WO2023191333A1 - 위치 추론을 위한 전자 장치 및 시스템 - Google Patents

위치 추론을 위한 전자 장치 및 시스템 Download PDF

Info

Publication number
WO2023191333A1
WO2023191333A1 PCT/KR2023/003224 KR2023003224W WO2023191333A1 WO 2023191333 A1 WO2023191333 A1 WO 2023191333A1 KR 2023003224 W KR2023003224 W KR 2023003224W WO 2023191333 A1 WO2023191333 A1 WO 2023191333A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
electronic device
value
parameter set
processor
Prior art date
Application number
PCT/KR2023/003224
Other languages
English (en)
French (fr)
Inventor
이동섭
최형준
동열 이다니엘
양도준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220111688A external-priority patent/KR20230139756A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/127,473 priority Critical patent/US20230305144A1/en
Publication of WO2023191333A1 publication Critical patent/WO2023191333A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • This disclosure relates to electronic devices and systems for inferring the location of objects in a spatial structure. Specifically, the present disclosure relates to electronic devices and systems that adaptively generate signals optimized for a spatial structure and infer the location of an object within the spatial structure based on the optimized signals.
  • IOT information technology
  • various types of electronic devices such as smart TVs, AI speakers, home appliances, smartphones, and tablet personal computers are being connected in the IOT environment.
  • Indoor localization technology is receiving considerable research due to its great commercial and social value in the IOT environment.
  • indoor location inference technology infers location by performing analysis on static structures.
  • location inference technology has been attempted to analyze temporal changes in correlation analysis for dynamic subjects by defining a specific transmission signal at the transmitter and performing cross correlation matching from the received signal.
  • An electronic device for location inference includes a speaker that outputs an inaudible sound signal, at least one microphone that receives a first reflected wave signal in which the output inaudible sound signal is reflected by a spatial structure, and one or more It may include a memory that stores instructions, and at least one processor that executes one or more instructions stored in the memory. At least one processor may execute the one or more instructions for obtaining a signal change amount based on a correlation between a reference signal corresponding to the inaudible sound signal and the received first reflected wave signal.
  • At least one processor when the signal change amount exceeds a first threshold corresponding to the movement of the object, the one to obtain object position information corresponding to the location of the object in the spatial structure based on the signal change amount
  • the above instructions may be executed.
  • At least one processor may, when the amount of signal change exceeds a second threshold corresponding to a change in the spatial structure, determine a final result corresponding to the inaudible acoustic signal using a waveform optimization model.
  • One or more of the above instructions may be executed to update a parameter set.
  • At least one processor (a) obtains a first parameter set corresponding to a current generation, and (b) controls the speaker to output a plurality of candidate signals based on the first parameter set, and , (c) controlling the at least one microphone to receive second reflected wave signals in which the plurality of candidate signals are reflected by the spatial structure, and (d) receiving the plurality of candidate signals based on the second reflected wave signals.
  • the one or more instructions may be executed to update the final parameter set based on a sub-parameter set corresponding to a signal among signals whose performance value exceeds the first threshold.
  • At least one processor may execute the one or more instructions to iteratively perform operations (b) to (f) by replacing the current generation with the next generation when the termination condition is not satisfied. there is.
  • the waveform optimization model may be trained to output the final parameter set when the signal change amount and environmental condition information are input.
  • the object location information may include distance information corresponding to the distance between the electronic device and the object, and angle information corresponding to the angle formed between the electronic device and the object.
  • At least one processor may execute the one or more instructions for obtaining the distance information based on the first reflected wave signal and outputting the angle information using a machine learning model that inputs the distance information.
  • An electronic device for location inference may include a speaker, at least one microphone, a memory that stores one or more instructions, and at least one processor that executes one or more instructions stored in the memory.
  • the at least one processor may execute the one or more instructions for (a) obtaining a first parameter set corresponding to the current generation.
  • the at least one processor may (b) execute the one or more instructions for controlling the speaker to output a plurality of candidate signals based on the first parameter set.
  • the at least one processor may execute (c) the one or more instructions for controlling the at least one microphone to receive first reflected wave signals from which the plurality of candidate signals are reflected by a spatial structure.
  • the at least one processor may execute (d) the one or more instructions for obtaining fitness values for the plurality of candidate signals based on the first reflected wave signals.
  • the at least one processor may execute the one or more instructions for determining an end condition, which is (e) whether a performance value corresponding to the fitness value exceeds a first threshold value.
  • the at least one processor (f) when the termination condition is not satisfied, the one or more instructions for obtaining a second parameter set corresponding to a next generation based on a correlation between the performance value and the first parameter set. You can run .
  • At least one processor may execute the one or more instructions to iteratively perform operations (b) to (f) by replacing the current generation with the next generation when the termination condition is not satisfied. there is.
  • At least one processor obtains a final parameter set corresponding to a final signal whose performance value exceeds the first threshold among the plurality of candidate signals, and corresponds to the final signal.
  • the one or more instructions may be executed to obtain a reference signal.
  • At least one of the first and second parameter sets includes a plurality of sub-parameter sets corresponding to one of the plurality of candidate signals, and at least one of the plurality of sub-parameter sets and the final parameter corresponds to At least one of a waveform characteristic function, a waveform position function, and a time window of a signal, wherein the waveform characteristic function includes at least one value of amplitude, period, and shape of the corresponding signal,
  • the waveform position function may include at least one value of a frequency range, frequency interval, and delay time of the corresponding signal.
  • the fitness value includes a stability value and an identification value
  • the stability value includes a measurement value corresponding to a first time point and a measurement value corresponding to a second time point of any one of the first reflected wave signals.
  • the identity value may be a signal similarity value of a reflected wave signal corresponding to one of the plurality of candidate signals.
  • the performance value is a return value of a decision function that uses the stability value and the identity value of each of the plurality of candidate signals as variables, and the decision function weights one of the stability value and the identity value to obtain the performance value. can be returned.
  • the at least one processor acquires analysis data corresponding to the correlation, selects a waveform feature function and a time window based on the analysis data and the performance value, and selects a waveform feature function and a time window based on the analysis data and the performance value.
  • the one or more instructions for obtaining the second parameter set may be executed by performing at least one of a crossover operation and a mutation operation on at least one of the selected time windows.
  • the at least one processor may execute the one or more instructions for obtaining a waveform location function based on at least one of the performance value, the selected waveform characteristic function, and the selected time window.
  • the at least one processor selects a first set having the time window and the waveform feature function for which the stability value exceeds a second threshold, and the waveform feature function for which the identity value exceeds a third threshold. and select a second set with the time window, and a third set with the time window and the waveform feature function such that the stability value exceeds a fourth threshold and the identity value exceeds a fifth threshold. You can execute one or more of the instructions you select.
  • the at least one processor performs the intersection operation on the first set and the second set, and performs the mutation operation on the third set, based on the intersection operation result and the mutation operation result.
  • the one or more instructions may be executed to obtain the second parameter set.
  • the at least one processor acquires environmental condition information including at least one of temperature, pressure, humidity, and density of the space in which the electronic device is located, and determines the sound speed of the space based on the environmental condition information. and obtain the second parameter set corresponding to the next generation based further on the speed of sound.
  • the at least one processor outputs the second parameter set using a second machine learning model that inputs at least one of environmental condition information, the fitness value, and the first parameter set.
  • the above instructions can be executed.
  • a method for localization includes the steps of outputting an inaudible sound signal, receiving a first reflected wave signal in which the output inaudible sound signal is reflected by a spatial structure, and the inaudible sound signal. Obtaining a signal change amount based on a correlation between a reference signal corresponding to an acoustic signal and the received first reflected wave signal, when the signal change amount exceeds a first threshold corresponding to the movement of an object.
  • Updating the final parameter set corresponding to the inaudible acoustic signal using the waveform optimization model includes (a) obtaining a first parameter set corresponding to a current generation, (b) the first parameter set 1 Based on a parameter set, outputting a plurality of candidate signals, (c) receiving second reflected wave signals where the plurality of candidate signals are reflected by the spatial structure, (d) measuring fitness values for the plurality of candidate signals based on the fitness values, (e) an ending condition that is whether performance values for the plurality of candidate signals based on the fitness values exceed a first threshold value; determining, (f) if the termination condition is not satisfied, obtaining a second parameter set corresponding to the next generation based on the correlation between the performance value and the first parameter set, and (g) When the termination condition is satisfied, updating the final parameter set based on a sub-parameter set corresponding to a signal whose performance value exceeds the first threshold among the plurality of candidate signals. .
  • the step of updating the final parameter set corresponding to the inaudible acoustic signal using the waveform optimization model includes, if the termination condition is not satisfied, replacing the current generation with the next generation (b) to ( f) It may include the step of performing the operation iteratively.
  • the waveform optimization model may be trained to output the final parameter set using the signal change amount and environmental condition information as input.
  • the object location information may include distance information corresponding to the distance between the object and an electronic device performing the method for location inference, and angle information corresponding to a direction in which the object is located relative to the electronic device.
  • Obtaining the object location information may include obtaining the distance information based on the first reflected wave signal, and outputting the angle information using a machine learning model that inputs the distance information. You can.
  • the machine learning model can be trained to output the angle information by using the distance information as input.
  • the termination condition may include replacing the current generation with the next generation and performing steps (b) to (f) iteratively.
  • obtaining a final parameter set corresponding to a final signal that satisfies the termination condition among the plurality of candidate signals, and obtaining a reference signal corresponding to the final signal may include.
  • At least one of the first and second parameter sets includes a plurality of sub-parameter sets corresponding to one of the plurality of candidate signals, and at least one of the plurality of sub-parameter sets and the final parameter corresponds to At least one of a waveform characteristic function, a waveform position function, and a time window of a signal, wherein the waveform characteristic function includes at least one value of amplitude, period, and shape of the corresponding signal,
  • the waveform position function may include at least one value of a frequency range, frequency interval, and delay time of the corresponding signal.
  • the fitness value includes a stability value and an identification value
  • the stability value includes a measurement value corresponding to a first time point and a measurement value corresponding to a second time point of any one of the first reflected wave signals.
  • the identity value may be a signal similarity value of a reflected wave signal corresponding to one of the plurality of candidate signals.
  • the performance value is a return value of a decision function that uses the stability value and the identity value of each of the plurality of candidate signals as variables, and the decision function weights one of the stability value and the identity value to obtain the performance value. can be returned.
  • Obtaining the second parameter set includes acquiring analysis data corresponding to the correlation, selecting a waveform feature function and a time window based on the analysis data and the performance value, It may include obtaining the second parameter set by performing at least one of a crossover operation and a mutation operation on at least one of the selected waveform feature function and the selected time window.
  • Obtaining the second parameter set may include obtaining a waveform location function based on at least one of the performance value, the selected waveform feature function, and the selected time window.
  • Selecting a waveform feature function and a time window based on the analysis data and the performance value may include selecting a waveform feature function and a time window whose stability value exceeds a second threshold. selecting a set, selecting a second set having the waveform feature function and the time window for which the identity value exceeds a third threshold, and wherein the stability value exceeds a fourth threshold, and the identity and selecting a third set having the waveform feature function and the time window whose values exceed a fifth threshold.
  • Obtaining the second set of parameters by performing a crossover operation and a mutation operation on at least one of the selected waveform feature function and the selected time window comprises performing the intersection operation on the first set and the second set. It may include performing the mutation operation on the third set, and obtaining the second parameter set based on the intersection operation result and the mutation operation result.
  • Obtaining the second parameter set includes obtaining environmental condition information including at least one of temperature, air pressure, humidity, and density of the space, and the sound speed of the space based on the environmental condition information. and obtaining the second parameter set corresponding to the next generation based further on the speed of sound.
  • the step of acquiring the second parameter set includes outputting the second parameter set using a second machine learning model that inputs at least one of environmental condition information, the fitness value, and the first parameter set. It may include steps.
  • a system for location inference may include a first electronic device including at least one first microphone, and a second electronic device including at least one second microphone.
  • the first electronic device may further include a first speaker, a first memory storing one or more instructions, and at least one first processor executing one or more instructions stored in the first memory.
  • the at least one first processor may execute the one or more instructions for (a) obtaining a first parameter set corresponding to a first current generation.
  • the at least one first processor may (b) execute the one or more instructions for controlling the first speaker to output a first plurality of candidate signals based on the first parameter set.
  • the at least one first processor may (c) execute the one or more instructions for controlling the at least one first microphone to receive first reflected wave signals in which the first plurality of candidate signals are reflected by a spatial structure. there is.
  • the at least one first processor may execute the one or more instructions for (d) acquiring first data corresponding to the first plurality of candidate signals received by the at least one second microphone.
  • the at least one first processor may include (e) the one or more instructions for obtaining a first fitness value for the first plurality of candidate signals based on the first reflected wave signal and the first data. It can be run.
  • the at least one first processor may execute the one or more instructions that (f) identify a first termination condition, which is whether a first performance value corresponding to the first fitness value exceeds a first threshold value. the at least one first processor, (g) if the first termination condition is not satisfied, a second parameter corresponding to the first next generation based on the correlation between the first performance value and the first parameter set; One or more of the above instructions may be executed to
  • the at least one first processor measures the first fitness value corresponding to an indirect signal radiated to the spatial structure based on the first reflected wave signals, and based on the first data, the at least one The one or more instructions may be executed to measure the first fitness value corresponding to a direct signal received by the second microphone.
  • the first frequency band of the direct signal and the second frequency band of the indirect signal may be different from each other.
  • the at least one first processor acquires a final parameter set corresponding to a final signal that satisfies the first termination condition among the first plurality of candidate signals,
  • the signal may include the direct signal and the indirect signal, and the indirect signal may execute the one or more instructions to obtain a reference signal corresponding to a second reflected wave signal reflected by the spatial structure.
  • the second electronic device further includes a second speaker, a second memory storing one or more instructions, and at least one second processor executing the instructions stored in the second memory, wherein the at least one second The processor 1240 obtains a third parameter set corresponding to the second current generation, and controls the second speaker to output a third plurality of candidate signals based on the third parameter set, and the at least At least one instruction stored in the second memory may be executed to control a second microphone to receive third reflected wave signals from which the third plurality of candidate signals are reflected by the spatial structure.
  • the at least one first processor obtains third data corresponding to the third reflected wave signals from the second electronic device, and generates second data for the third plurality of candidate signals based on the third data. Obtain a fitness value, identify a second termination condition, which is whether a second performance value corresponding to the second fitness value exceeds the first threshold, and if the second termination condition is not satisfied, the first termination condition is determined.
  • the one or more instructions may be executed to obtain a fourth parameter set corresponding to a second next generation based on a correlation between two performance values and the third parameter set.
  • the at least one second processor obtains a second fitness value for the third plurality of candidate signals based on the third reflected wave signals, and a second performance value corresponding to the second fitness value is Identify a second termination condition, which is whether a first threshold is exceeded, and if the termination condition is not satisfied, corresponding to a second next generation based on the correlation between the second performance value and the third parameter set.
  • a fourth parameter set can be obtained.
  • a system for location inference may include a first electronic device and a second electronic device.
  • the first electronic device includes a first speaker that outputs a first inaudible sound signal, at least one first microphone that receives a first reflected wave signal in which the output first inaudible sound signal is reflected by a spatial structure, It may include a first memory that stores one or more instructions, and at least one first processor that executes one or more instructions stored in the memory.
  • the at least one first processor is configured to: at least one of the first reflected wave signal received by the at least one first microphone and the first inaudible sound signal received by the second electronic device; 1
  • the one or more instructions for obtaining the first signal change amount may be executed based on the correlation between the first reference signal corresponding to the inaudible sound signal.
  • the at least one first processor when the first signal change amount exceeds a first threshold corresponding to the movement of the object, sets the object corresponding to the position of the object in the spatial structure based on the first signal change amount.
  • the one or more instructions for obtaining location information may be executed.
  • the at least one first processor when the amount of change in the first signal exceeds a second threshold corresponding to a change in the spatial structure, uses a waveform optimization model to create a first processor corresponding to the first inaudible sound signal.
  • One or more of the above instructions may be executed to update the final parameter set.
  • the at least one first processor is configured to operate the first inaudible acoustic signal based on at least one of the first reflected wave signal received by the at least one first microphone and the first inaudible acoustic signal received by the second electronic device.
  • the one or more instructions may be executed to obtain device location information corresponding to the location of the first electronic device and the location of the second electronic device.
  • the at least one first processor selects a wake-up device to respond to a first user voice input corresponding to a wake-up keyword, based on the object location information and the device location information.
  • the wake-up device may be the first electronic device or the second electronic device.
  • the wake-up device may wake up in response to the first user's voice input and receive a second user's voice input after the first user's voice input.
  • the second electronic device includes a second speaker outputting a second inaudible sound signal, a second reflected wave signal in which the output second inaudible sound signal is reflected by the spatial structure, and the first inaudible sound signal.
  • At least one second microphone that receives, a second memory that stores one or more instructions, and at least one second processor that executes one or more instructions stored in the second memory, wherein the at least one second processor , at least one of the second reflected wave signal received by the at least one second microphone and the second inaudible acoustic signal received by the at least one first microphone, and corresponding to the second inaudible acoustic signal
  • a second signal change amount is obtained based on the correlation between the second reference signals, and when the second signal change amount exceeds the first threshold, the object location information is based on the second signal change amount.
  • a computer-readable recording medium recording a program to be executed on a computer is provided.
  • FIG. 1 is a block diagram illustrating an electronic device according to an embodiment.
  • FIGS. 2A to 2C are conceptual diagrams illustrating a method by which an electronic device generates a signal optimized for a spatial structure, according to an embodiment.
  • 3A to 3D are flowcharts showing a method of performing signal waveform optimization for location inference according to an embodiment.
  • FIG. 4A is a conceptual diagram for explaining correlation according to an embodiment.
  • FIG. 4B is a conceptual diagram for explaining selection of a waveform position function according to an embodiment.
  • Figure 4c is a scatter diagram for explaining a crossover operation and a mutation operation according to an embodiment.
  • FIG. 4D is a conceptual diagram for explaining waveform positions between candidate signals according to an embodiment.
  • FIG. 5 is a conceptual diagram illustrating a method in which an electronic device uses a signal optimized for a spatial structure according to an embodiment.
  • 6A to 6C are flowcharts showing a method of performing signal processing for location inference according to an embodiment.
  • 7A to 7B are graphs exemplarily showing the reception strength of a reflected wave signal according to an embodiment.
  • Figure 8 is a graph illustrating a machine learning model for acquiring object location information according to an embodiment.
  • 9A to 9D are graphs exemplarily showing the results of location inference according to an embodiment.
  • Figure 10 is a block diagram illustrating an electronic device according to an embodiment.
  • Figure 11 is a conceptual diagram illustrating how a system according to an embodiment generates a signal optimized for spatial structure.
  • 12A and 12B are conceptual diagrams illustrating how a system according to an embodiment uses signals optimized for spatial structure.
  • FIGS. 13A and 13B are conceptual diagrams illustrating a method for selecting a wakeup device by a system according to an embodiment.
  • spatial structure can be understood as the structure of space where an electronic device is located.
  • spatial structure can be understood as a characteristic of space formed by the boundaries of space, object(s) located within space, and/or the relationships between them. Accordingly, the spatial structure may differ depending on the space or characteristics of the space. For example, if the space has changed (e.g., the location of the electronic device has changed to a different space from the previous space) or the characteristics of the space have changed (e.g., the location of the electronic device has changed to a different location in the same space). (e.g., when the location of an object within the device changes), the spatial structure recognized by the electronic device may change.
  • location inference may mean the function of obtaining information about the location or movement of an object within a spatial structure.
  • a parameter set may be a set of sub-parameter sets.
  • Each of the sub-parameter sets may include a waveform feature function and a waveform location function of a corresponding signal (eg, one of a plurality of candidate signals).
  • a waveform feature function may include at least one parameter representing an inherent characteristic of a corresponding signal.
  • the waveform feature function may include parameters corresponding to at least one of the amplitude, period, and shape of the corresponding signal, but is not limited thereto.
  • the shape of the signal may be a sine wave, triangle wave, sawtooth wave, square wave, pulse wave, or a combination thereof.
  • the waveform position function may include at least one parameter indicating the position in the frequency domain or the time domain of the corresponding signal.
  • the waveform position function may include parameters corresponding to at least one of a frequency range (or band), frequency interval, and delay time, but is not limited thereto.
  • a time window may refer to a frame in which a reflected wave signal (e.g., an echo chirp signal) corresponding to a transmitted signal (e.g., a chirp signal) is received and divided in the time domain.
  • the reflected wave signal may be divided into multiple sub-signals with multiple time windows.
  • the first sub-signal may correspond to a first time frame
  • the second sub-signal may correspond to a second time frame.
  • the stability value is a value indicating the mutual similarity between measured values (e.g., distance) corresponding to the signal at n time points (or time windows) in the time domain of the signal (e.g., reflected wave signal). It can mean.
  • the stability value may include a degree of similarity between a first distance value measured based on the reflected wave signal in a first time window and a second distance value measured based on the reflected wave signal in a second time window.
  • Stability values may be referred to as robustness values.
  • the identification value may refer to a value indicating signal similarity between a direct wave signal (eg, an inaudible acoustic signal) and a reflected wave signal.
  • generation may refer to a set of a plurality of signals generated using a genetic algorithm.
  • a genetic algorithm is performed iteratively, where the set of signals in the current iteration may be referred to as the current generation, and the set of signals in the next iteration may be referred to as the next generation.
  • the genetic algorithm may also be referred to as a waveform optimization module or waveform optimization model.
  • a wake-up device refers to a device that responds to a user's keyword voice input.
  • the wakeup device may operate in a first standby mode to receive a keyword voice input.
  • the wakeup device may operate in a second standby mode to receive additional voice input in response to the keyword voice input. That is, when the wakeup device switches from the first standby mode to the second standby mode, the wakeup device may “wake up.”
  • FIG. 1 is a block diagram illustrating an electronic device according to an embodiment.
  • the electronic device 100 may be a device that transmits and receives acoustic signals (which may be referred to as audio signals or sound signals) and processes the acoustic signals.
  • the electronic device 100 includes mobile phones, smart phones, tablet PCs, digital cameras, camcorders, laptop computers, tablet PCs, desktops, e-readers, digital broadcasting terminals, PDAs (Personal Digital Assistants), It can be implemented in various devices such as PMP (Portable Multimedia Player), MP3 player, wearable device, home appliances (e.g. TV, refrigerator, air conditioner, air purifier, etc.), AI (Artificial Intelligence) speaker, robot, etc. However, it is not limited to this.
  • the electronic device 100 may recognize the spatial structure in which the electronic device 100 is located based on the acoustic signal.
  • the electronic device 100 may perform processing to optimize the acoustic signal based on the spatial structure.
  • the sound signal may include a signal in an inaudible frequency band (hereinafter, an inaudible sound signal).
  • an inaudible sound signal a signal in an inaudible frequency band
  • the electronic device 100 can monitor changes in spatial structure or movement of objects in real time without causing inconvenience to people.
  • the electronic device 100 includes a communication interface 110, a user interface 120, a speaker 130, a microphone 140, a sensor 150, a memory 160, and a processor 170. It can be included.
  • the communication interface 110 may support establishing a wired or wireless communication channel between the electronic device 100 and another external electronic device (not shown) or a server (not shown) and performing communication through the established communication channel.
  • the communication interface 110 receives data from another external electronic device (not shown) or a server (not shown) through wired or wireless communication, or receives data from another external electronic device (not shown) or a server (not shown). Data can be transmitted (not shown).
  • the communication interface 110 may be a wireless communication module (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (e.g., a local area network (LAN) ) may include a communication module, or a power line communication module), and at least one network (e.g., a short-range communication network (e.g., Bluetooth, WiFi direct, or IrDA (infrared data association)) using any one of the communication modules)
  • the device may communicate with another external electronic device (not shown) or a server (not shown) through a long-distance communication network (e.g., a cellular network, the Internet, or a computer network (e.g., LAN or WAN)).
  • a wireless communication module e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • the user interface 120 may refer to a means through which a user inputs data to control the electronic device 100.
  • the user interface 120 includes a key pad, a dome switch, and a touch pad (contact capacitive type, pressure resistive type, infrared detection type, surface ultrasonic conduction type, and integral type). It may include, but is not limited to, at least one of a tension measurement method, a piezo effect method, etc.), a jog wheel, or a jog switch.
  • user interface 120 may be omitted. In this case, at least part of the functions of the user interface 120 may be implemented in another external electronic device (not shown).
  • the speaker 130 may output an inaudible sound signal. Additionally, the speaker 130 can be used for multimedia playback or recording playback. Although not shown, the number of speakers 130 may be one or more. In this case, each of the at least one speakers is disposed at different angles (or directions) in the electronic device 100, so that inaudible sound signals can be output toward different angles.
  • the inaudible acoustic signal may be a chirp signal.
  • the microphone 140 may receive a reflected wave signal in which an inaudible sound signal is reflected by a spatial structure. Additionally, the microphone 140 can receive user voice input, etc. In this case, the microphone 140 may perform at least part of the functions of the user interface 120. Although not shown, the number of microphones 140 may be one or more. In this case, each of the at least one microphone is disposed at a different angle (or direction) in the electronic device 100, so that it can receive reflected wave signals heading toward the electronic device 100 at different angles.
  • the sensor 150 may detect an ambient condition around the electronic device 100 and generate environmental condition information, which is an electrical signal or data value corresponding to the detected environmental condition.
  • the environmental condition information may include information about at least one of temperature, atmospheric pressure, humidity, and density of the space where the electronic device 100 is located.
  • sensor 150 may be omitted. In this case, at least part of the function of the sensor 150 may be implemented in another external electronic device (not shown).
  • the electronic device 100 may receive environmental condition information generated by another external electronic device (not shown) through the communication interface 110.
  • the memory 160 may store data processed or scheduled to be processed by the processor 170, firmware, software, and process code.
  • the memory 160 contains data corresponding to at least one of the waveform optimization module 161, the signal processing module 162, the position inference module 163, the artificial intelligence module 164, and the artificial intelligence model. and program codes may be stored.
  • the waveform optimization module 161 may optimize the waveform of the inaudible acoustic signal based on the spatial structure.
  • the waveform optimization module 161 uses a waveform optimization model that inputs a plurality of inaudible acoustic signals (or may be referred to as a plurality of candidate signals), and uses a final inaudible acoustic signal (or (may be referred to as a final signal) can be obtained.
  • the signal processing module 162 can process various signals output to the speaker 130.
  • the location inference module 163 may infer the location of the object based on the inaudible acoustic signal and the corresponding reflected wave signal.
  • the artificial intelligence module 164 can train an artificial intelligence model (eg, deep learning model, machine learning model, etc.). Although not shown, there may be more than one artificial intelligence module 164 or artificial intelligence model depending on function or purpose. In one embodiment, the artificial intelligence module 164 may optimize the waveform of the inaudible acoustic signal using a trained artificial intelligence model. In one embodiment, the artificial intelligence module 164 may perform regression analysis on correlations between data using a trained artificial intelligence model. In one embodiment, the artificial intelligence module 164 may perform clustering on correlations between data using a trained artificial intelligence model. In one embodiment, the artificial intelligence module 164 can infer the location of an object using a trained artificial intelligence model.
  • an artificial intelligence model eg, deep learning model, machine learning model, etc.
  • An artificial intelligence model may include multiple neural network layers. Each of the plurality of neural network layers may include weight values. The artificial intelligence model can update the weight values of the neural network layers of the artificial intelligence model by learning the training dataset.
  • the memory 160 may be used as a main memory device of the electronic device 100.
  • the memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (e.g., SD or XD memory). etc.), DRAM (dynamic random access memory), SRAM (static random access memory), PRAM (phase-change random access memory), MRAM (magnetic random access memory), FeRAM (ferroelectric random access memory), RRAM (resistive random access) memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, and optical disk. can do.
  • Memory 160 may be referred to as buffer memory, working memory, or cache memory. Although not shown, the number of memories 160 may be one or more.
  • the processor 170 is electrically connected to components included in the electronic device 100 and may perform operations or data processing related to control and/or communication of components included in the electronic device 100.
  • the processor 170 may include at least one of a central processing unit (CPU), an application processor (AP), a graphic processing unit (GPU), or a neural processing unit (NPU).
  • the processor 170 may load and process commands or data received from at least one of the other components into the memory 160 and store the resulting data in the memory 160 .
  • at least one processor may perform distributed operations or data processing related to control and/or communication of components included in the electronic device 100.
  • the electronic device 100 may further include a separate processor, for example, a neural processing unit (NPU), for executing the artificial intelligence module 162.
  • NPU neural processing unit
  • the processor 170 may obtain the amount of signal change based on the correlation between a reference signal corresponding to an inaudible acoustic signal (may be referred to as a final inaudible acoustic signal) and the received reflected wave signal.
  • the reference signal refers to a signal that serves as a standard for comparison with the reflected wave signal and may be a predefined signal.
  • the reference signal may be a reflected wave signal received in a situation where there is a change in spatial structure, a change in environmental conditions, or no movement of an object.
  • the reference signal may be different depending on the inaudible acoustic signal and spatial structure.
  • the reference signal or its corresponding values may be stored in the memory 160.
  • the reflected wave signal may be a signal that is input to the microphone 140 by reflecting an inaudible sound signal output from the speaker 130 by the spatial structure.
  • the processor 170 may obtain object location information corresponding to the location of the object in the spatial structure based on the amount of signal change.
  • the first threshold value is a reference value for determining whether the signal has changed due to a change in the position of the object or for another reason. For example, if the amount of signal change does not exceed the first threshold corresponding to the movement of the object, the position of the object in the spatial structure has not changed, but the position (or orientation) of the electronic device 100 has changed or other factors It can be interpreted that the amount of signal change occurred due to this. Accordingly, when the amount of signal change does not exceed the first threshold corresponding to the movement of the object, the processor 170 may determine that the location of the object has not changed.
  • the processor 170 may update the final parameter set corresponding to the inaudible acoustic signal using a waveform optimization model.
  • the second threshold value is a reference value for determining whether the spatial structure has changed. If the amount of signal change does not exceed the second threshold, the processor 170 may determine that there is no change in the spatial structure.
  • a change in spatial structure may mean a change in environmental conditions (eg, temperature, atmospheric pressure, humidity, density, etc.) of the space where the electronic device 100 is located.
  • the electronic device 100 may obtain data corresponding to environmental conditions (i.e., environmental condition information) through the sensor 150 or the like.
  • the electronic device 100 may update the final parameter set corresponding to the inaudible acoustic signal using a waveform optimization model. Accordingly, even if environmental conditions change, the final parameter set corresponding to the inaudible acoustic signal optimized for the changed environmental conditions can be updated.
  • the first threshold may be greater than the second threshold.
  • whether the signal change amount exceeds the first threshold value and whether the second threshold value is exceeded may be identified based on the signal change amount within different time periods.
  • processor 170 may use a waveform optimization model to update the final parameter set corresponding to the inaudible acoustic signal when the amount of signal change exceeds a third threshold corresponding to a change in environmental conditions.
  • the third threshold value is a reference value for determining whether the environmental conditions of the space have changed. If the amount of signal change does not exceed the third threshold, the processor 170 may determine that there is no change in environmental conditions.
  • the processor 170 may obtain a first parameter set corresponding to the current generation.
  • the first parameter set may include characteristics of a plurality of candidate signals included in the current generation.
  • the processor 170 may obtain a random or predefined first parameter set.
  • the processor 170 may control the speaker 130 to output a plurality of candidate signals based on the first parameter set.
  • the candidate signals may be signals in the inaudible band (i.e., inaudible acoustic signals).
  • a plurality of candidate signals may be output at specific time and/or frequency intervals from each other.
  • the processor 170 may control the at least one microphone 140 to receive reflected wave signals from which a plurality of candidate signals are reflected by a spatial structure.
  • the processor 170 may obtain fitness value(s) for a plurality of candidate signals based on reflected wave signals corresponding to the plurality of candidate signals. That is, the processor 170 can obtain a fitness value for each of the plurality of candidate signals.
  • the fitness value may include a stability value and/or an identity value.
  • the processor 170 may calculate the performance value based on the fitness value.
  • the performance value may be a return value of a decision function whose variables are the stability value and identity value of each of the plurality of candidate signals.
  • the decision function may return a performance value by weighting one of the stability value and the identity value.
  • the processor 170 may determine a termination condition, which is whether the performance value corresponding to the fitness value exceeds a termination threshold.
  • the termination threshold may be a predefined value according to user or manufacturer settings.
  • the termination threshold may correspond to at least one of the convergence of the performance value, the number of generation changes (number of iterations), and the target value of the performance value.
  • the processor 170 may obtain a second parameter set corresponding to the next generation based on the correlation between the performance value and the first parameter set.
  • the processor 170 may obtain analysis data corresponding to the correlation between the performance value and the first parameter set.
  • the correlation may include, but is not limited to, correlation between the performance value and the amplitude of the signal, the waveform of the performance value and the signal, the period of the performance value and the signal, etc.
  • the correlation may include a correlation between features of the signal within the first parameter set, such as a correlation between the amplitude of the signal and the waveform of the signal.
  • analysis data may include correlation coefficients, correlations, sensitivities, etc. between input variables (e.g., waveform feature functions, time windows, and/or waveform position functions, etc.) and output values (e.g., performance values, and/or fitness values). may include.
  • the processor 170 may obtain analysis data corresponding to the correlation between the performance value and the first parameter set by performing uncertainty analysis and sensitivity analysis.
  • the processor 170 may use a clustering model that takes the performance value and the first parameter set as input to obtain analysis data corresponding to the correlation between the performance value and the first parameter set.
  • clustering models may include, but are not limited to, K-Means Clustering, Mean Shift, Gaussian Mixture Model, DBSCAN, Agglomerative Clustering, etc.
  • Processor 170 may select a waveform feature function and time window based on analysis data and performance values.
  • the processor 170 may classify and select waveform feature functions and time windows based on stability values and identity values. For example, if at least one of the stability values and identity values of the set with a particular waveform characteristic function and a particular time window has a relatively high impact on the resulting value of the function based on the stability value and the identity value. , the processor 170 can select the corresponding set.
  • processor 170 may select a first set of waveform feature functions and time windows whose stability values exceed a first reference value (which may also be referred to as a threshold value). For example, processor 170 may select a second set having a time window and waveform feature function whose identity value exceeds a second reference value. For example, processor 170 may select a third set having a time window and waveform feature function whose stability value exceeds a third reference value and whose identity value exceeds a fourth reference value.
  • a first reference value which may also be referred to as a threshold value.
  • processor 170 may select a second set having a time window and waveform feature function whose identity value exceeds a second reference value.
  • processor 170 may select a third set having a time window and waveform feature function whose stability value exceeds a third reference value and whose identity value exceeds a fourth reference value.
  • the processor 170 may obtain a second parameter set by performing at least one of a cross-over operation and a mutation operation on at least one of the selected waveform feature function and the selected time window.
  • the processor 170 may perform an intersection operation on the first set and the second set, and a mutation operation on the third set.
  • the processor 170 may obtain a second parameter set based on the intersection operation result and the mutation operation result.
  • the processor 170 may obtain a waveform position function based on at least one of a performance value, a selected waveform feature function, and a selected time window.
  • the processor 170 may replace the current generation with the next generation and repeatedly determine the termination condition.
  • the processor 170 may obtain a final parameter set corresponding to a signal (eg, final signal) whose performance value exceeds the termination threshold among the plurality of candidate signals. Processor 170 may update the final parameter set based on the obtained final parameter set. In one embodiment, processor 170 may obtain a reference signal corresponding to the inaudible acoustic signal with the final parameter set. The reference signal may correspond to a reflected wave signal in which an inaudible acoustic signal is reflected by a spatial structure.
  • the waveform optimization model may be learned to output a final parameter set when signal change amount and environmental condition information are input to the waveform optimization model. Accordingly, the processor 170 may use the waveform optimization model to obtain the final parameter set from the signal change amount and environmental condition information.
  • the object location information may include distance information corresponding to the distance between the electronic device 100 and the object, and angle information corresponding to the angle formed by the electronic device 100 and the object.
  • the object location information may include coordinate values (e.g., (x, y)) of the object with the electronic device 100 as the origin (e.g., (0, 0)).
  • the processor 170 may obtain distance information based on an inaudible acoustic signal. In one embodiment, the processor 170 may obtain angle information using a machine learning model that inputs distance information. For example, when distance information is input to a machine learning model, the machine learning model may be trained to output angle information.
  • the processor 170 may obtain object location information (eg, coordinate values) based on a reflected wave signal corresponding to the (optimized) inaudible acoustic signal.
  • the reflected wave signal may refer to a plurality of signals divided into time windows within a predefined time interval. That is, the processor 170 can obtain object location information using a machine learning model that inputs a plurality of signals corresponding to the reflected wave signal. For example, when a plurality of signals corresponding to a reflected wave signal are input to the machine learning model, the machine learning model may be trained to output object location information.
  • the loss function of the machine learning model may be implemented as mean square error (MSE), but is not limited thereto.
  • MSE mean square error
  • the loss function of a machine learning model is a random function that expresses the difference between the model's predicted value and the actual value, such as root mean square error (RMSE), binary crossentropy, and categorical crossentropy. It can be implemented as a function of .
  • RMSE root mean square error
  • binary crossentropy binary crossentropy
  • categorical crossentropy categorical crossentropy
  • the processor 170 may obtain ambient condition information including at least one of temperature, atmospheric pressure, humidity, and density of the space where the electronic device 100 is located.
  • the processor 170 may obtain the speed of sound in space based on environmental condition information.
  • Processor 170 may obtain a second set of parameters based further on the speed of sound.
  • the sensor 150 can detect the temperature, atmospheric pressure, humidity, and density of a space.
  • Environmental condition information may be generated based on temperature, pressure, humidity, and density detected by the sensor 150.
  • the processor 170 may obtain a second parameter set based on a machine learning model that inputs at least one of environmental condition information, fitness value, and first parameter set.
  • the configuration of the electronic device 100 is not limited to that shown in FIG. 1 and may additionally include components not shown in FIG. 1 or some of the components shown in FIG. 1 may be omitted. .
  • Each of the additional features of the above-described embodiments may be combined or combined with each other to the extent that they do not contradict each other.
  • FIGS. 2A to 2C are conceptual diagrams illustrating a method by which an electronic device generates a signal optimized for a spatial structure, according to an embodiment. For convenience of explanation, content that overlaps with the content described in FIG. 1 is omitted.
  • the electronic device 100 may obtain a first parameter set corresponding to the current generation.
  • the first parameter set may include a plurality of sub-parameter sets.
  • Each of the plurality of sub-parameter sets may correspond to one of the plurality of candidate signals.
  • the first sub-parameter set may be a combination of parameters representing at least one of a waveform feature function, a waveform position function, and a time window of the first candidate signal.
  • the second sub-parameter set may be a combination of parameters representing at least one of a waveform feature function, a waveform position function, and a time window of the second candidate signal.
  • the nth sub-parameter set may be a combination of parameters representing at least one of a waveform feature function, a waveform position function, and a time window of the nth candidate signal.
  • n may be a natural number.
  • the electronic device 100 may output a plurality of candidate signals (eg, S1a, S1b, S1c, and S1d) based on the first parameter set.
  • a plurality of candidate signals eg, S1a, S1b, S1c, and S1d
  • a plurality of candidate signals eg, S1a, S1b, S1c, and S1d
  • the electronic device 100 may output each of a plurality of candidate signals (eg, S1a, S1b, S1c, and S1d) for a predefined time.
  • the electronic device 100 may sequentially output each of a plurality of candidate signals (eg, S1a, S1b, S1c, and S1d).
  • the electronic device 100 may output the candidate signal S1a for a predefined time, and output the candidate signal S2a for a predefined time after a predefined delay time.
  • the electronic device 100 may output a candidate signal (eg, S1a) based on the waveform position function corresponding to the candidate signal (eg, S1a). For example, the electronic device 100 may output a candidate signal (eg, S1a) within a predefined frequency range.
  • the predefined frequency range may be at least a portion of the frequency range of the subaudible range.
  • the electronic device 100 may output the candidate signal S1a within a first frequency range and the candidate signal S1b within a second frequency range. In one embodiment, the first frequency range and the second frequency range may be spaced apart by a predefined frequency interval.
  • the electronic device 100 may include a first speaker and a second speaker. Signals output from the first speaker and the second speaker may be different from each other.
  • the first speaker may output a candidate signal (S1a)
  • the second speaker may output a candidate signal (S1b).
  • the electronic device 100 may receive first reflected wave signals in which a plurality of candidate signals are reflected by the spatial structure 10 .
  • Spatial structure 10 may include objects 11 (eg, furniture, home appliances, walls, etc.).
  • the candidate signal S1a may be reflected by the object 11.
  • the electronic device 100 may receive a reflected signal, that is, the first reflected wave signal SR1a.
  • the electronic device 100 may include a first microphone and a second microphone. Each of the first microphone and the second microphone may receive first reflected wave signals.
  • the electronic device 100 may obtain fitness values for a plurality of candidate signals based on the received first reflected wave signals.
  • Fitness values may include stability values and identity values.
  • the electronic device 100 may divide the received first reflected wave signal (eg, SR1a) into predefined time intervals.
  • the electronic device 100 may generate a plurality of sub-signals divided into time windows with predefined time intervals based on the received first reflected wave signal (eg, SR1a).
  • the first reflected wave signal (eg, SR1a) may be divided into n sub-signals in the time domain.
  • the first sub-signal may correspond to the first time window
  • the second sub-signal may correspond to the second time window
  • the n-th sub-signal may correspond to the n-th time window.
  • a plurality of sub-signals may be preprocessed to be suitable for signal analysis.
  • the electronic device 100 performs tasks such as noise removal, smoothing, outlier removal, spurious component removal, detrend, and filtering based on a plurality of sub-signals. can do.
  • the electronic device 100 may calculate a stability value of the candidate signal S1a corresponding to the first reflected wave signal (eg, SR1a) based on a plurality of sub-signals.
  • the stability value can be calculated through cross correlation between sub-signals of adjacent time windows.
  • the stability value may refer to the similarity of values measured based on a plurality of sub-signals.
  • the electronic device 100 may calculate distance values between the electronic device 100 and an arbitrary object 11 based on a plurality of sub-signals.
  • the electronic device 100 may calculate a first distance value based on the first sub-signal and calculate a second distance value based on the second sub-signal.
  • the present disclosure is not limited to the distance value, and the electronic device 100 may calculate any value inherent in the characteristics of the spatial structure 10.
  • the electronic device 100 may calculate a stability value of a candidate signal (eg, S1a) corresponding to the first reflected wave signal (eg, SR1a) based on the distance values.
  • the electronic device 100 may obtain environmental condition information from the sensor 150 or an external device.
  • the electronic device 100 may calculate the speed of sound based on environmental condition information.
  • the speed of sound may be calculated based on the temperature inside the spatial structure 10 among environmental condition information, and may follow the relationship of Equation 1 below.
  • TC is defined as the temperature in degrees Celsius
  • v sound is defined as the speed of sound.
  • the electronic device 100 may obtain the Celsius temperature inside the spatial structure 10 and calculate the speed of sound in the spatial structure 10 based on the obtained Celsius temperature.
  • the electronic device 100 can obtain elements that determine the speed of sound and calculate the speed of sound based on the relationship between the speed of sound and the elements.
  • the electronic device 100 may calculate the distance value based on the speed of sound, a candidate signal (eg, S1a), and a reflected wave signal (eg, SR1a).
  • the stability value may be calculated as the standard deviation of distance values calculated based on sub-signals. In this case, the smaller the stability value, the better the stability or robustness of the corresponding candidate signal (eg, S1a).
  • the stability value may follow the relationship of Equation 2 below.
  • Equation 2 s is defined as the identifier of the speaker, m is defined as the identifier of the microphone, t is defined as the identifier of the time window, i is defined as the individual index of the signal corresponding to the time window, n is defined as the number of indices of the signal corresponding to the time window. also, is defined as a value corresponding to the previous time window (t-1), and N is defined as a value corresponding to the current time window (t). is defined as the stability value for speaker s, microphone m, and time window t.
  • Equation 2 is only an example for calculating the stability value, and of course, any equation can be used to calculate the similarity of values corresponding to the time windows of the reflected wave signal.
  • the electronic device 100 may calculate an identity value of a candidate signal (eg, S1a) corresponding to the first reflected wave signal (eg, SR1a) based on a plurality of sub-signals. For example, the identity value may be calculated through cross-correlation analysis between a candidate signal (eg, S1a) and a first reflected wave signal (eg, SR1a) corresponding to the candidate signal (eg, S1a). In one embodiment, the electronic device 100 may decompose the harmonics of the first reflected wave signal (eg, SR1a) before cross-correlation analysis.
  • the stability value may follow the relationship of Equation 3 below.
  • Equation 3 s is defined as the identifier of the speaker, m is defined as the identifier of the microphone, t is defined as the identifier of the time window, i is defined as the individual index of the signal corresponding to the time window, n is defined as the number of indices of the signal corresponding to the time window. also, is defined as a value corresponding to the original signal (eg, candidate signal), and N is defined as a value corresponding to the reflected wave signal from which the original signal is reflected by the spatial structure 10. is defined as the identity value for speaker s, microphone m, and time window t.
  • Equation 3 is only an example for calculating the identity value, and of course, any equation can be used to calculate the signal similarity between the original signal and the reflected wave signal.
  • the electronic device 100 may calculate a performance value based on the suitability value.
  • the performance value may be a return value of a decision function that uses the stability value and identity value of each of the plurality of candidate signals as variables.
  • the decision function may follow the relationship in Equation 4:
  • Equation 4 is defined as the performance value of the candidate signal in the case of speaker s, microphone m, and time window t.
  • Equation 4 is only an example for calculating performance values, and of course, any equation with at least one of the stability value and the identity value as a variable can be used.
  • the electronic device 100 may determine whether the performance value corresponding to the suitability value exceeds the termination threshold (hereinafter, termination condition). The larger the performance value, the better the signal can be evaluated. If the performance value exceeds a predefined termination threshold, the termination condition may be satisfied.
  • the termination condition may be satisfied.
  • the termination condition may follow the relationship of Equation 5 below.
  • Equation 5 is defined as the termination threshold. performance value If it exceeds, the electronic device 100 may determine that the termination condition is not satisfied. performance value If it is less than or equal to, the electronic device 100 may determine that the termination condition is satisfied.
  • the electronic device 100 may compare performance values corresponding to previous generations with performance values of the current generation to determine whether there is convergence. If at least one of the performance values of the current generation converges to a specific value, the termination condition may be satisfied.
  • the electronic device 100 may count the number of times the termination condition is determined. The counted number of times may be equal to the number of generation replacements. If the counted number exceeds the threshold number, the termination condition may be satisfied.
  • the electronic device 100 may store a sub-parameter set of a candidate signal having a performance value that satisfies the termination condition.
  • the sub-parameter set may be stored in memory 160 or storage (not shown).
  • the electronic device 100 may obtain a second parameter set corresponding to the next generation based on the correlation between the performance value and the first parameter set.
  • the electronic device 100 can replace the current generation with the next generation. That is, the first parameter set can be replaced with the second parameter set.
  • the electronic device 100 is based on the replaced first parameter set (i.e., second parameter set) corresponding to the replaced current generation (i.e., next generation).
  • a plurality of candidate signals eg, S2a, S2b, S2c, S2d
  • the electronic device 100 may obtain performance values based on reflected wave signals of a plurality of candidate signals (eg, S2a, S2b, S2c, and S2d).
  • the electronic device 100 may repeatedly change generations until an end condition is satisfied based on performance values.
  • 3A to 3D are flowcharts showing a method of performing signal waveform optimization for location inference according to an embodiment. For convenience of explanation, content that overlaps with the content described in FIGS. 1 to 2C will be omitted.
  • a method in which the electronic device 100 performs signal waveform optimization for location inference may include steps S310 to S380.
  • steps S310 to S380 may be performed by the electronic device 100 or the processor 170.
  • the method of performing signal waveform optimization for position inference according to the present disclosure is not limited to that shown in FIG. 3A, and any one of the steps shown in FIG. 3A may be omitted, and steps not shown in FIG. 3A may be further used. It may also be included.
  • the electronic device 100 may obtain a first parameter set corresponding to the current generation.
  • the first parameter set may include sub-parameter sets for each of the plurality of candidate signals.
  • the electronic device 100 may obtain the first parameter set from the memory 160 or storage.
  • the electronic device 100 may obtain a first parameter set from an external device.
  • the electronic device 100 may output a plurality of candidate signals based on the first parameter set.
  • the processor 170 may control at least one speaker 130 to output a plurality of candidate signals based on the first parameter set.
  • At least one speaker 130 may output a plurality of candidate signals.
  • the electronic device 100 may include a first speaker and a second speaker, but the number of speakers is not limited thereto.
  • the first speaker and the second speaker may output the same or different candidate signals.
  • a plurality of candidate signals may be output at predefined time intervals.
  • the electronic device 100 may receive first reflected wave signals in which a plurality of candidate signals are reflected by the spatial structure 10.
  • the processor 170 may control the at least one microphone 140 to receive first reflected wave signals from which a plurality of candidate signals are reflected by the spatial structure.
  • At least one microphone 140 may receive first reflected wave signals.
  • the electronic device 100 may include a first microphone and a second microphone, and the number of speakers is not limited thereto.
  • the processor 170 may perform preprocessing on the received first reflected wave signals.
  • the electronic device 100 may obtain fitness values for a plurality of candidate signals based on the first reflected wave signals.
  • the processor 170 may calculate a fitness value for each of a plurality of candidate signals.
  • the electronic device 100 may determine an end condition, which is whether the performance value corresponding to the suitability value exceeds the first threshold value. If the termination condition is satisfied (Yes), the procedure is terminated. If the termination condition is not satisfied (No), the procedure is not terminated and moves to step S370.
  • step S370 the electronic device 100 may obtain a second parameter set corresponding to the next generation based on the correlation between the performance value and the first parameter set.
  • step S380 the electronic device 100 replaces the current generation with the next generation, and the procedure moves to step S320.
  • step S370 may include steps S371 to S373.
  • steps S371 to S373 may be performed by the electronic device 100 or the processor 170.
  • the detailed steps of step S370 are not limited to those shown in FIG. 3B, and any one of the steps shown in FIG. 3B may be omitted or steps not shown in FIG. 3B may be further included.
  • step S371 the electronic device 100 may acquire analysis data corresponding to the correlation.
  • the processor 170 may calculate the correlation between performance values and parameters of each of the plurality of candidate signals.
  • the electronic device 100 may select a waveform feature function and a time window based on analysis data corresponding to the correlation.
  • processor 170 may select a time window and waveform feature function that has a high correlation coefficient to the performance value.
  • the processor 170 may assign a probability proportional to the superiority of the performance value to the waveform feature function and time window with excellent performance value.
  • the processor 170 may perform a selection operation on the waveform feature function and time window based on the given probability.
  • processor 170 may recalculate the waveform position function based on the selected waveform feature function and time window.
  • the electronic device 100 may obtain a second parameter set by performing at least one of a crossover operation and a mutation operation on at least one of the selected waveform feature function and the selected time window.
  • parameters corresponding to a waveform feature function with an excellent identification value and parameters corresponding to a waveform feature function with an excellent stability value may intersect with each other.
  • the crossover operation is one of simple cross-over, k-point cross-over, uniform cross-over, or arithmetic cross-over. It can be performed using the cross-operation method.
  • parameters corresponding to a waveform characteristic function with excellent both identity and stability values may vary with a certain probability.
  • step S370 may include steps S374 to S376.
  • steps S374 to S376 may be performed by the electronic device 100 or the processor 170.
  • the detailed steps of step S370 are not limited to those shown in FIG. 3C, and any one of the steps shown in FIG. 3C may be omitted or steps not shown in FIG. 3C may be further included.
  • the electronic device 100 may obtain environmental condition information including information corresponding to at least one of temperature, atmospheric pressure, humidity, and density of the space in which the electronic device 100 is located.
  • step S375 the electronic device 100 may obtain the speed of sound in space based on environmental condition information.
  • step S376 the electronic device 100 may obtain a second parameter set corresponding to the next generation based on the speed of sound. For example, when calculating the stability value based on the distance value, the electronic device 100 may calculate a more accurate stability value based on the speed of sound according to the characteristics of the space.
  • the method of the electronic device 100 performing signal waveform optimization for location inference may further include steps S362 to S364.
  • steps S362 to S364 may be performed by the electronic device 100 or the processor 170.
  • step S362 the electronic device 100 may obtain a final parameter set corresponding to the final signal that satisfies the termination condition among the plurality of candidate signals.
  • the final parameter set may be stored in the memory 160 or storage (not shown) of the electronic device 100, or may be stored in an external device.
  • the electronic device 100 may acquire a reference signal corresponding to the final signal.
  • the electronic device 100 may output a final signal and receive a reflected wave signal in situations where there is no change in spatial structure, change in environmental conditions, or movement of an object.
  • the electronic device 100 may generate a reference signal or values corresponding to the reference signal based on the received reflected wave signal.
  • the reference signal or its corresponding values may be stored in the memory 160 or storage (not shown) of the electronic device 100, or may be stored in an external device.
  • FIG. 4A is a conceptual diagram for explaining correlation according to an embodiment.
  • the electronic device 100 may generate analysis data 400 corresponding to the correlation.
  • correlation may mean a correlation between a performance value and a plurality of parameters.
  • FIG. 4A only analysis data using shape function, cycle, and amplitude as variables among a plurality of parameters are shown, but the present disclosure is not limited thereto, and shows the intrinsic characteristics of the signal. Correlation can be analyzed using arbitrary parameters as variables.
  • Analysis data 400 is the result of an exemplary correlation analysis between normalized performance values, shape function, period, and amplitude. For example, if the x-axis is a performance value and the y-axis is a shape function, it shows the results of the correlation analysis between the performance value and the shape function. If the x-axis and y-axis have the same value, a histogram of the corresponding value is displayed.
  • the electronic device 100 may calculate a correlation coefficient between a performance value and one of a plurality of parameters (eg, shape function, period, amplitude, etc.).
  • a correlation coefficient exceeds a predefined value (i.e., has a high correlation coefficient)
  • the electronic device 100 selects a value corresponding to an excellent performance value among parameters with a high correlation coefficient based on the analysis data 400. You can select an area.
  • the smaller the performance value the better the signal performance.
  • values of parameters may be selected when the performance value is smaller than a predefined or adaptively determined reference value (eg, 0.1).
  • cluster (C1) indicates an area where the performance value is less than 0.1.
  • the value of the shape function corresponding to cluster C1 is 0.2 to 0.3, the value of period is 0.4 to 0.6, and the value of amplitude is 0.7 to 0.9. Accordingly, the electronic device 100 can select a waveform feature function and time window with excellent performance values from among the candidate signals.
  • FIG. 4B is a conceptual diagram for explaining selection of a waveform position function according to an embodiment.
  • the electronic device 100 may analyze the data distribution for the selected waveform feature function based on the analysis data 400.
  • Figure 4b shows the results of the data distribution as a box-and-whisker plot, but the present disclosure is not limited thereto, and of course can be implemented in any way to analyze the data distribution.
  • the electronic device 100 may select a waveform position function based on the data distribution for the selected waveform feature function. That is, the position in the frequency domain and/or time domain of the signal corresponding to the waveform characteristic function may be determined.
  • Figure 4c is a scatter diagram for explaining a crossover operation and a mutation operation according to an embodiment.
  • a scatter plot shows the stability value and identity value of each of the candidate signals.
  • the x-axis may correspond to stability values
  • the y-axis may correspond to identity values.
  • the stability value and the identity value may be normalized values.
  • the electronic device 100 selects a first set whose stability value is smaller than the first reference value, selects a second set whose identity value is smaller than the second reference value, and selects a second set whose stability value is smaller than the third reference value and whose identity value is smaller than the third reference value.
  • a third set smaller than the fourth reference value may be selected.
  • the electronic device 100 may perform a cross operation on the first set and the second set.
  • the electronic device 100 may perform a mutation operation on the third set.
  • FIG. 4D is a conceptual diagram for explaining waveform positions between candidate signals according to an embodiment.
  • the electronic device 100 may locate candidate signals in the frequency domain and time domain based on the waveform position function.
  • the electronic device 100 can control each candidate signal to be located in the frequency domain (fR) of the waveform position function.
  • the frequency region (fR) may refer to the frequency band of a specific candidate signal among the frequency bands of all candidate signals (eg, 18 KHz to 20 KHz).
  • the electronic device 100 can control candidate signals to be output with a delay time (tD) from each other.
  • the first candidate signal and the second candidate signal output continuously from the first candidate signal may be output separated from the first candidate signal by a delay time (tD).
  • the electronic device 100 can control candidate signals to be output with a frequency interval (fI) from each other.
  • the frequency interval (fI) may mean the frequency difference between the frequency domain of the first candidate signal and the frequency domain of the second candidate signal.
  • FIG. 5 is a conceptual diagram illustrating a method in which an electronic device uses a signal optimized for a spatial structure according to an embodiment.
  • the function, configuration, and operation of the electronic device 100 of FIG. 1 are similar to those of the electronic device 500, overlapping content will be omitted.
  • the following description will be made assuming that the electronic device 100 and the electronic device 500 of FIG. 1 are the same device.
  • the electronic device 500 may output an inaudible acoustic signal (IAS).
  • IAS inaudible acoustic signal
  • the electronic device 500 outputs an inaudible acoustic signal (IAS) based on the final parameter set (i.e., a sub-parameter set that satisfies the termination condition) stored in the memory or storage of the electronic device 500. can do.
  • the electronic device 100 may output an inaudible acoustic signal (IAS) based on the final parameter set obtained from an external device.
  • the electronic device 500 may include a plurality of speakers.
  • a plurality of speakers may output different inaudible acoustic signals (IAS).
  • IAS inaudible acoustic signals
  • a first inaudible sound signal may be output from a first speaker based on the first final parameter set
  • a second inaudible sound signal may be output from a second speaker based on the second final parameter set. That is, the electronic device 500 can output an inaudible acoustic signal (IAS) based on the final parameter set for each speaker.
  • IAS inaudible acoustic signal
  • the electronic device 500 may receive a first reflected wave signal (RS) in which the output inaudible acoustic signal (IAS) is reflected by the spatial structure 10.
  • the electronic device 500 may divide the first reflected wave signal RS based on the time window.
  • the electronic device 500 may include a plurality of microphones. Each of the plurality of microphones may receive the first reflected wave signal (RS). A plurality of microphones may be placed in different locations of the electronic device 500.
  • the electronic device 500 may obtain the signal change amount based on the correlation between the reference signal corresponding to the inaudible acoustic signal (IAS) and the received first reflected wave signal (RS). Correlation may refer to temporal changes in cross-correlation between signals. For example, if the correlation is high, the amount of signal change may be judged to be small, and if the correlation is low, the amount of signal change may be determined to be large.
  • IAS inaudible acoustic signal
  • RS received first reflected wave signal
  • the electronic device 500 may determine that movement of an object (eg, a person) has occurred within the spatial structure 10.
  • the first threshold may be predefined as the signal change amount corresponding to the movement of the object. For example, when a person present at the first location 12a of the spatial structure 10 moves to the second location 12b, the signal change amount may exceed the first threshold value.
  • the electronic device 500 may obtain object location information corresponding to the location of the object within the spatial structure 10 based on the amount of signal change. That is, the electronic device 500 can perform location inference for an object.
  • the electronic device 500 may obtain distance information based on the first reflected wave signal (RS).
  • the electronic device 500 may output angle information using a machine learning model that uses distance information as input.
  • a machine learning model can be trained to output angle information of an object by taking the distance information of the object as input.
  • the electronic device 500 may determine that a change in the spatial structure 10 has occurred.
  • the second threshold may be predefined as a signal change amount corresponding to a change in the spatial structure 10. For example, when furniture placed at the first position 11a of the spatial structure 10 is changed to the second position 11b, the signal change amount may exceed the second threshold value. For example, when the environmental conditions (eg, temperature) of the spatial structure 10 change, the signal change amount may exceed the second threshold value.
  • the electronic device 500 may update the final parameter set corresponding to the inaudible acoustic signal using the waveform optimization model.
  • the waveform optimization model may refer to the function and operation of the electronic device 100 described in FIGS. 1 to 4D. The method of updating the final parameter set using the waveform optimization model is explained in detail in Figure 6b.
  • the signal change amount corresponding to the movement of the object may be greater than the signal change amount corresponding to the change in the spatial structure 10. Accordingly, the first threshold may be greater than the second threshold. In one embodiment, when a signal change amount that exceeds the first threshold value occurs, the electronic device may not determine that a change in the spatial structure 10 has occurred even if it exceeds the second threshold value.
  • the waveform optimization model may be a model learned to output a final parameter set in which signal change amount and environmental condition information are input.
  • the waveform optimization model may correspond to the waveform optimization method using the genetic algorithm described in FIGS. 1 to 3D. Details of the waveform optimization model are explained in detail in Figure 6b.
  • 6A to 6C are flowcharts showing a method of performing signal processing for location inference according to an embodiment. For convenience of explanation, content that overlaps with the content described in FIGS. 1 to 5 will be omitted.
  • a method in which the electronic device 100 performs signal processing for location inference may include steps S610 to S650.
  • steps S610 to S650 may be performed by the electronic device 500 or a processor of the electronic device 500.
  • the method of performing signal processing for location inference according to the present disclosure is not limited to that shown in FIG. 6A, and any one of the steps shown in FIG. 6A may be omitted, or steps not shown in FIG. 6A may be further added. It may also be included.
  • the electronic device 500 may output an inaudible sound signal.
  • the inaudible acoustic signal may correspond to the final signal described in FIGS. 3A to 3D.
  • the electronic device 500 may output an inaudible sound signal based on the final parameter set.
  • step S620 the electronic device 500 may receive a first reflected wave signal in which the output inaudible sound signal is reflected by the spatial structure.
  • step S630 the electronic device 500 may obtain the amount of signal change based on the correlation between the reference signal corresponding to the inaudible sound signal and the received first reflected wave signal.
  • step S640 when the amount of signal change exceeds the first threshold value corresponding to the movement of the object, the electronic device 500 may acquire object position information corresponding to the position of the object in the spatial structure based on the amount of signal change. there is.
  • the electronic device 500 may update the final parameter set corresponding to the inaudible acoustic signal using the waveform optimization model when the amount of signal change exceeds the second threshold corresponding to the change in spatial structure. there is. In one embodiment, the electronic device 500 updates the final parameter set corresponding to the inaudible acoustic signal using the waveform optimization model when the amount of signal change exceeds a third threshold corresponding to a change in environmental conditions. can do.
  • step S650 may include steps S651 to S659.
  • steps S651 to S659 may be performed by the electronic device 500 or a processor of the electronic device 500.
  • the detailed steps of step S650 are not limited to those shown in FIG. 6B, and any one of the steps shown in FIG. 6B may be omitted or steps not shown in FIG. 6B may be further included.
  • the steps shown in FIG. 6B may correspond to the steps shown in FIG. 3A.
  • steps S651 to S658 performed by the electronic device 500 are similar to steps S310 to S380 performed by the electronic device 100, and thus description of overlapping content will be omitted.
  • the steps shown in FIG. 6B may include at least one embodiment described in FIGS. 1 to 5.
  • step S656 if the termination condition is satisfied, the procedure moves to step S659.
  • step S659 the electronic device 500 may update the final parameter set based on a sub-parameter set corresponding to a signal whose performance value exceeds the first threshold among the plurality of candidate signals.
  • the electronic device 500 may output an inaudible sound signal based on the updated final parameter set.
  • step S640 may include steps S642 and S644.
  • steps S642 to S644 may be performed by the electronic device 500 or a processor of the electronic device 500.
  • the detailed steps of step S640 are not limited to those shown in FIG. 6C, and any one of the steps shown in FIG. 6C may be omitted or steps not shown in FIG. 6C may be further included.
  • the electronic device 500 may obtain distance information corresponding to the distance of the object based on the first reflected wave signal.
  • distance information may be obtained through cross-correlation analysis between the first reflected wave signal and the inaudible acoustic signal.
  • the electronic device 500 may obtain angle information based on a machine learning model that inputs distance information.
  • the electronic device 500 may load the learned machine learning model into memory.
  • the learned machine learning model can output angle information based on distance information.
  • the electronic device 500 may obtain object location information within the spatial structure 10 based on distance information and angle information.
  • the electronic device 500 may include a first microphone (mic 1), a second microphone (mic 2), and a third microphone (mic 3).
  • the number of electronic devices 500 is not limited to this.
  • the positions of the first to third microphones (mic 1, mic 2, and mic 3) in the electronic device 500 may be different.
  • the x-axis may correspond to time
  • the y-axis may correspond to the reception strength of the reflected wave signal received by each microphone.
  • the electronic device 500 may be rotated by a specific angle (eg, 90°, 180°, 270°) about an arbitrary axis. The case where the electronic device 500 is not rotated will be described below assuming that it is rotated at a first angle (0°). That is, the reflected wave signal when the electronic device 500 is rotated at the first angle (0°) can be defined as the reference signal.
  • the reception strength of reflected wave signals received by microphones is exemplarily shown when the electronic device 500 is rotated by a specific angle without changing its position within the spatial structure 10.
  • FIG. 7B when the position within the spatial structure 10 of the electronic device 500 changes and is simultaneously rotated by a specific angle, the reception strength of reflected wave signals received by microphones is exemplarily shown.
  • the electronic device 500 may determine whether to update the final parameter set corresponding to the inaudible sound signal based on the amount of signal change in the reflected wave signal compared to the reference signal.
  • Figure 8 is a graph illustrating a machine learning model for acquiring object location information according to an embodiment.
  • movement of an object may occur within the spatial structure 10.
  • the object eg, 12a
  • the electronic device 500 may obtain distance information corresponding to the distance of the object based on each of the reflected wave signals received by the first to third microphones (mic 1, mic 2, and mic 3).
  • the angle information corresponds to the angle between the electronic device 500 and the object in the plane on which the electronic device 500 is placed
  • the distance information corresponds to the distance between the electronic device 500 and the object.
  • the object e.g., 12a
  • the object is separated from the electronic device 500 at a distance of about 1 m and at an angle of 0°
  • the object e.g., 12a
  • the third time point t3 the object (e.g., 12a) is separated from the electronic device 500 at a distance of about 2 m and at an angle of -60°.
  • the object e.g., 12a
  • the object is separated from the electronic device 500 at a distance of about 1 m and at an angle of 0°
  • the object is separated from the electronic device 500 at a distance of about 2 m and at an angle of 60°.
  • the electronic device 500 may learn a machine learning model using distance information as input and angle information corresponding to the distance information as ground truth.
  • the machine learning model can be learned by an external device.
  • the electronic device 500 may use a learned machine learning model. For example, the electronic device 500 may acquire (or infer) angle information based on a machine learning model that uses distance information as input. Accordingly, the electronic device 500 may obtain (or infer) object location information within the spatial structure 10 based on distance information and angle information.
  • FIGS. 9A to 9D are graphs exemplarily showing the results of location inference according to an embodiment.
  • the x-axis corresponds to the actual value
  • the y-axis corresponds to the predicted value (a distance value corresponding to distance information or an angle value corresponding to angle information).
  • Figures 9a and 9b show the correlation between actual and predicted values when the inaudible sound signal is not optimized according to one embodiment.
  • Figures 9c and 9d show the correlation between actual and predicted values when an inaudible sound signal is optimized according to an embodiment.
  • the correlation coefficients of the graphs in FIGS. 9C and 9B are higher than those in FIGS. 9A and 9B. That is, it can be seen that the accuracy of location inference is relatively high when the inaudible acoustic signal is optimized using the waveform optimization model according to one embodiment.
  • FIG. 10 is a block diagram illustrating an electronic device according to an embodiment.
  • the system 1000 for location inference (hereinafter referred to as system) may include a first electronic device 1100 and a second electronic device 1200.
  • the first electronic device 1100 may include a first microphone 1110, a first speaker 1120, a first memory 1130, and a first processor 1140.
  • the second electronic device 1200 may include a second microphone 1210, a second speaker 1220, a second memory 1230, and a second processor 1240.
  • the configuration, function, and operation of the first and second electronic devices 1100 and 1200 are similar to the electronic device 100 of FIG. 1 or the electronic device 500 of FIG. 5, and thus overlap with the content described in FIGS. 1 to 9d.
  • the contents are omitted below.
  • the first and second microphones 1110 and 1210 are connected to the microphone 140 of FIG. 1
  • the first and second speakers 1120 and 1220 are connected to the speaker 130 of FIG. 1.
  • the memories 1130 and 1230 may be similar in structure, function, and operation to the memory 160 of FIG. 1, and the first and second processors 1140 and 1140 may be similar to the processor 170 of FIG. 1.
  • the first speaker 1120 may output a first inaudible sound signal.
  • the first processor 1140 may control the first speaker 1120 to output a first inaudible sound signal.
  • the first microphone 1110 may receive a first reflected wave signal in which the output first inaudible sound signal is reflected by the spatial structure.
  • the first processor 1140 may control the first microphone 1110 to receive a first inaudible sound signal.
  • the first processor 1140 may generate at least one of a first reflected wave signal received by the first microphone 1110 and a first inaudible sound signal received by the second electronic device 1200, and a first inaudible sound signal.
  • the first signal change amount may be obtained based on the correlation between the first reference signals corresponding to the signal.
  • the first reference signal refers to a signal that serves as a standard for comparison with the first reflected wave signal received by the first microphone 1110 or the first inaudible sound signal received by the second electronic device 1200. , may be a predefined signal.
  • the first reference signal may be different depending on the object of comparison (eg, a first reflected wave signal or a first inaudible sound signal).
  • the second microphone 1210 of the second electronic device 1200 may receive the first inaudible sound signal.
  • the second electronic device 1200 may transmit data corresponding to the received first inaudible sound signal to the first electronic device 1100.
  • the first processor 1140 may obtain object position information corresponding to the position of the object in the spatial structure based on the first signal change amount. there is.
  • the first processor 1140 updates the first final parameter set corresponding to the first inaudible acoustic signal using the waveform optimization model. can do.
  • the first processor 1140 is configured to respond to at least one of the first reflected wave signal received by the first microphone 1110 and the first inaudible sound signal received by the second electronic device 1200. Based on this, device location information corresponding to the location of the first electronic device 1100 and the location of the second electronic device 1200 can be obtained.
  • the first processor 1140 may select a wake-up device to respond to the first user voice input corresponding to the wake-up keyword based on object location information and device location information. .
  • at least one of the first microphone 1110 and the second microphone 1210 may receive a first user voice input.
  • the wakeup device may be the first electronic device 1100 or the second electronic device 1200. According to the present disclosure, one electronic device among a plurality of electronic devices (e.g., the first electronic device 1100 and the second electronic device 1200) is selected as a wakeup device, so that all of the plurality of electronic devices wake up. The problem of upgrading can be resolved.
  • the wakeup device may wake up in response to a first user voice input.
  • the wakeup device may respond to a second user voice input following the first user voice input.
  • the second user voice input may correspond to a command for controlling at least one of the first electronic device 1100 and the second electronic device 1200.
  • the second speaker 1220 may output a second inaudible sound signal.
  • the second microphone 1210 may receive a second reflected wave signal in which the output second inaudible sound signal is reflected by a spatial structure and a first inaudible sound signal output by the first speaker 1120.
  • the second processor 1240 corresponds to at least one of the second reflected wave signal received by the second microphone 1210 and the second inaudible sound signal received by the first microphone 1110 and the final inaudible sound signal.
  • the second signal change amount can be obtained based on the correlation between the second reference signals.
  • the second reference signal refers to a signal that serves as a standard for comparison with the second reflected wave signal received by the second microphone 1210 or the second inaudible sound signal received by the first electronic device 1100. , may be a predefined signal. The second reference signal may be different depending on the object of comparison (eg, a second reflected wave signal or a second inaudible sound signal).
  • the second processor 1240 may obtain object location information based on the second signal change amount.
  • the second processor 1240 may update the second final parameter set corresponding to the second inaudible acoustic signal using the waveform optimization model.
  • the first processor 1140 may obtain a first parameter set corresponding to the first current generation.
  • the first processor 1140 may control the first speaker 1120 to output a first plurality of candidate signals based on the first parameter set.
  • the first processor 1140 may control the first microphone 1110 to receive first reflected wave signals in which the first plurality of candidate signals are reflected by the spatial structure.
  • the first processor 1140 may obtain first data corresponding to the first plurality of candidate signals received by the second microphone 1210.
  • the second electronic device 1200 may transmit first data to the first electronic device 1100.
  • the first processor 1140 may obtain a first fitness value for the first plurality of candidate signals based on the first reflected wave signal and the first data.
  • the first processor 1140 may identify a first termination condition, which is whether the first performance value corresponding to the first fitness value exceeds the first threshold value. If the first termination condition is not satisfied, the first processor 1140 may obtain a second parameter set corresponding to the first next generation based on the correlation between the first performance value and the first parameter set.
  • each of the first plurality of candidate signals may include a direct signal and an indirect signal.
  • Direct signals and indirect signals may be located in different frequency bands.
  • the direct signal may be a signal for the second electronic device 1200 to receive.
  • the direct signal may be a signal radiated directly from the first electronic device 1100 toward the second electronic device 1200.
  • An indirect signal may be a signal radiating to a spatial structure. Indirect signals may be radiated in all directions of the first electronic device 1100.
  • the indirect signal may be a signal reflected by a spatial structure and to be received by the first electronic device 1100.
  • the first processor 1140 may measure a first suitability value corresponding to an indirect signal radiated to a spatial structure based on the first reflected wave signals. In one embodiment, the first processor 1140 may measure a first fitness value corresponding to a direct signal received by the second microphone 1210 based on the first data.
  • the first processor 1140 when the first termination condition is satisfied, sets a final parameter set corresponding to the final signal whose first performance value exceeds the first threshold among the first plurality of candidate signals. can be obtained.
  • the first processor 1140 may obtain a reference signal corresponding to the second reflected wave signal in which the final signal is reflected by the spatial structure.
  • the final signal may include a direct signal and an indirect signal.
  • the second processor 1240 may obtain a third parameter set corresponding to the second current generation.
  • the second processor 1240 may control the second speaker 1220 to output a third plurality of candidate signals based on the third parameter set.
  • the second processor 1240 may control the second microphone 1210 to receive third reflected wave signals in which the plurality of candidate signals are reflected by the spatial structure.
  • the first processor 1140 may obtain third data corresponding to the third reflected wave signals from the second electronic device 1200.
  • the first processor 1140 may obtain a second fitness value for the third plurality of candidate signals based on the third data.
  • the first processor 1140 may identify a second termination condition, which is whether the second performance value corresponding to the second fitness value exceeds the first threshold value. If the second termination condition is not satisfied, the first processor 1140 may obtain a fourth parameter set corresponding to the second next generation based on the correlation between the second performance value and the third parameter set. If the second termination condition is not satisfied, the first processor 1140 may replace the second current generation with the second next generation.
  • the second processor 1240 may obtain a second fitness value for the third plurality of candidate signals based on the third data.
  • the second processor 1240 may identify a second termination condition, which is whether the second performance value corresponding to the second fitness value exceeds the first threshold value. If the second termination condition is not satisfied, the second processor 1240 may obtain a fourth parameter set corresponding to the second next generation based on the correlation between the second performance value and the third parameter set. If the second termination condition is not satisfied, the second processor 1240 may replace the second current generation with the second next generation.
  • system 1000 may include n electronic devices (n is a natural number).
  • the system 1000 may further include a third electronic device (not shown), and may be similar to the configuration, function, and operation of the first electronic device 1100 or the second electronic device 1200. .
  • Figure 11 is a conceptual diagram illustrating how a system according to an embodiment generates a signal optimized for spatial structure.
  • the system 1000 may include a first electronic device 1100 and at least one second electronic device (eg, 1200a, 1200b, and 1200c).
  • the first electronic device 1100 may obtain a first parameter set corresponding to the first current generation.
  • the first speaker 1120 may output a first plurality of candidate signals (eg, S1a, S1b, S1c, and S1d) based on the first parameter set.
  • the number of first speakers 1120 may be n, and each of the n first speakers may output signals in different directions. For example, one of the n first speakers outputs the candidate signal S1a toward the second electronic device 1200a, and the other outputs the candidate signal S1b toward the second electronic device 1200b.
  • the first electronic device 1100 may output individual signals toward the second electronic devices (eg, 1200a, 1200b, and 1200c).
  • At least one first microphone 1110 may receive first reflected wave signals SR1d in which the first plurality of candidate signals (eg, S1d) are reflected by the spatial structure.
  • the second electronic device may include at least one second microphone 1210. At least one second microphone 1210 may receive the first plurality of candidate signals (eg, S1a). The second electronic device (eg, 1200a) may generate first data corresponding to the received first plurality of candidate signals (eg, S1a). The first electronic device 1100 may obtain (or receive) first data from the second electronic device (eg, 1200a).
  • the first electronic device 1100 obtains a first fitness value for the first plurality of candidate signals (eg, S1a, S1b, S1c, and S1d) based on the first reflected wave signals SR1d and the first data. You can.
  • the first electronic device 1100 may measure a first suitability value corresponding to an indirect signal radiated to the spatial structure 10 based on the first reflected wave signals SR1d.
  • the indirect signal may correspond to the candidate signal S1d.
  • the first electronic device 1100 may directly measure a first suitability value corresponding to the signal based on the first data.
  • the direct signal may correspond to a candidate signal (eg, S1a, S1b, S1c).
  • the frequency band of the direct signal and the frequency band of the indirect signal may be different.
  • the first electronic device 1100 may identify a first termination condition, which is whether the first performance value corresponding to the first suitability value exceeds the first threshold value. If the first termination condition is not satisfied, the first electronic device 1100 may obtain a second parameter set corresponding to the first next generation based on the correlation between the first performance value and the first parameter set.
  • 12A and 12B are conceptual diagrams illustrating how a system according to an embodiment uses signals optimized for spatial structure.
  • the first electronic device 1100 selects the first of the first plurality of candidate signals (e.g., S1a, S1b, S1c, and S1d). 1
  • the final parameter set corresponding to the final signal eg, IAS1a, IAS1b, IAS1c, IAS1d
  • the final signal may include direct signals (IAS1a, IAS1b, IAS1c) and indirect signals (IASd1).
  • the first electronic device 1100 may acquire the second reflected wave signal RS1d in which the indirect signal IAS1d is reflected by the spatial structure 10.
  • the first electronic device 1100 receives the second reflected wave signal RS1d by the first electronic device 1100 and the final signal received by the second electronic device (e.g., 1200a, 1200b, 1200c). Based on at least one of (e.g., IAS1a, IAS1b, and IAS1c), device location information corresponding to the location of the first electronic device 1100 and the location of the second electronic device (e.g., 1200a, 1200b, and 1200c) can be obtained. there is.
  • a second electronic device may obtain a third parameter set corresponding to the second current generation.
  • the second electronic device eg, 1200a, 1200b, 1200c
  • the second electronic device may output a third plurality of candidate signals based on the third parameter set.
  • the second electronic device eg, 1200a, 1200b, 1200c
  • the second electronic device may obtain a second suitability value for the third plurality of candidate signals based on the third reflected wave signals.
  • the second electronic device (eg, 1200a, 1200b, 1200c) may identify a second termination condition as whether the second performance value corresponding to the second suitability value exceeds the first threshold value.
  • the second electronic device obtains a fourth parameter set corresponding to the second next generation based on the correlation between the second performance value and the third parameter set. can do.
  • the second electronic device e.g., 1200a, 1200b, 1200c
  • sends a final signal e.g., IAS2a, IAS2b, IAS2c, IAS2d
  • the final signal may include direct signals (IAS2a, IAS2b, IAS2c) and indirect signals (IAS2d).
  • the second electronic device may acquire the third reflected wave signal RS2d in which the indirect signal IAS2d is reflected by the spatial structure 10. Accordingly, when a plurality of second electronic devices (e.g., 1200a, 1200b, 1200c) exist in the spatial structure 10, each of the second electronic devices (e.g., 1200a, 1200b, 1200c) produces a different final signal. Can be printed.
  • the first electronic device 1100 receives the second reflected wave signal RS1d by the first electronic device 1100 and the final signal received by the second electronic device (e.g., 1200a, 1200b, 1200c). (e.g., IAS1a, IAS1b, IAS1c), the location of the first electronic device 1100 and the third reflected wave signal (RS2d) received by the second electronic device (e.g., 1200a, 1200b, 1200c). 2 Device location information corresponding to the location of the electronic device (eg, 1200a, 1200b, 1200c) can be obtained.
  • FIGS. 10 to 12 are conceptual diagrams illustrating a method for selecting a wakeup device by a system according to an embodiment.
  • the first electronic device 1100 and/or the second electronic device may use the final signal to infer the location of the person's spatial structure in real time.
  • the distance between the first electronic device 1100 and the second location 12b where the person is located is the first distance D1
  • the distance between the second electronic device 1200a and the second location 12b where the person is located is the first distance D1.
  • the second distance D2 is.
  • a wake-up keyword uttered by a person present at the second location 12b of the first electronic device 1100 and the second electronic device (e.g., 1200a, 1200b, 1200c)
  • a sentence including may be received as a first user voice input.
  • the first electronic device 1100 may select a wakeup device to respond to the first user voice input based on object location information and device location information. For example, among the object location information, the device with the closest distance between the second locations 12b where the person is located may be selected as the wake-up device. For example, when the second distance D2 is shorter than the first distance D1, the wakeup device may be the second electronic device 1200a.
  • the wakeup device may be the first electronic device 1100. Therefore, even if there are a plurality of devices that have received the first user's voice input, only one device can respond to the first user's voice input.
  • the selected wakeup device may wake up in response to the first user voice input.
  • the selected wake-up device may receive a second user voice input after the first user voice input.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' only means that it is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in a storage medium and temporarily. There is no distinction between storage cases.
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • an electronic device may adaptively generate a signal optimized for a spatial structure and perform position measurement of an object within the spatial structure based on the optimized signal.
  • an electronic device may perform position measurement of an object with high accuracy using ambient condition information including at least one of temperature, atmospheric pressure, humidity, or density of the space in which the electronic device is located.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 개시는 위치 추론을 위한 전자 장치 및 시스템에 관한 건이다. 본 개시의 실시 예에 따른 전자 장치는 비가청 음향 신호를 출력하는 스피커, 비가청 음향 신호가 공간 구조에 의해 반사된 제1 반사파 신호를 수신하는 적어도 하나의 마이크, 하나 이상의 인스트럭션을 저장하는 메모리, 및 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하되, 적어도 하나의 프로세서는, 비가청 음향 신호에 대응하는 기준 신호와, 제1 반사파 신호 간의 상관도에 기초하여 신호 변화량을 획득하고, 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 신호 변화량에 기초하여 공간 구조 내의 객체의 위치에 대응하는 객체 위치 정보를 획득하고, 신호 변화량이 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트하는, 하나 이상의 인스트럭션을 실행한다.

Description

위치 추론을 위한 전자 장치 및 시스템
본 개시는 공간 구조 내의 객체의 위치 추론을 위한 전자 장치 및 시스템에 관한 것이다. 구체적으로, 본 개시는 공간 구조에 최적화된 신호를 적응적으로 생성하고, 최적화된 신호에 기초하여 공간 구조 내의 객체의 위치를 추론하는 전자 장치 및 시스템에 관한 것이다.
IT(information technology)의 발달에 따라, 스마트 TV, AI 스피커, 가전제품, 스마트폰(smartphone), 태블릿 PC(tablet personal computer) 등 다양한 유형의 전자 장치들이 IOT 환경에서 연결되고 있다. 실내 위치 추론(Indoor Localization) 기술은 IOT 환경에서 큰 상업적, 사회적 가치로 인해 상당한 연구가 이루어지고 있다. 일반적으로 실내 위치 추론 기술은 정적 구조물에 대한 분석을 수행함으로써 위치를 추론한다. 최근에는, 송신단에서 특정 송신 신호를 정의하고 수신된 신호로부터 상관 분석(cross correlation) 매칭을 수햄함으로써, 동적 피사체에 대한 상관 분석의 시간적인 변화를 분석하는 위치 추론 기술이 시도되고 있다.
공간 구조, 신호를 출력하는 장치, 또는 온도 등과 같은 환경 조건에 따라 위치 추론의 결과가 다르기 때문에, 높은 정확도의 위치 추론에 대한 기술 수요가 지속적으로 증대되고 있다.
일 실시 예에 따른 위치 추론을 위한 전자 장치는, 비가청 음향 신호를 출력하는 스피커, 상기 출력된 비가청 음향 신호가 공간 구조에 의해 반사된 제1 반사파 신호를 수신하는 적어도 하나의 마이크, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 상기 비가청 음향 신호에 대응하는 기준 신호와, 상기 수신된 제1 반사파 신호 간의 상관도(correlation)에 기초하여 신호 변화량을 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 적어도 하나의 프로세서는, 상기 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 상기 신호 변화량에 기초하여 상기 공간 구조 내의 상기 객체의 위치에 대응하는 객체 위치 정보를 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다.. 적어도 하나의 프로세서는, 상기 신호 변화량이 상기 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 상기 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트하는 상기 하나 이상의 인스트럭션을 실행할 수 있다.
적어도 하나의 프로세서는, (a) 현재 세대(generation)에 대응하는 제1 파라미터 세트를 획득하고, (b) 상기 제1 파라미터 세트에 기초하여, 상기 스피커로 하여금 복수의 후보 신호들을 출력하도록 제어하고, (c) 상기 적어도 하나의 마이크로 하여금 상기 복수의 후보 신호들이 상기 공간 구조에 의해 반사된 제2 반사파 신호들을 수신하도록 제어하고, (d) 상기 제2 반사파 신호에 기초하여 상기 복수의 후보 신호들에 대한 적합도(fitness) 값을 측정하고, (e) 상기 적합도 값들에 기초한 상기 복수의 후보 신호들에 대한 성능 값이 제1 임계 값을 초과하는지 여부인 종료 조건을 판단하고, (f) 상기 종료 조건이 만족되지 않는 경우, 상기 성능 값 및 상기 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득하고, (g) 상기 종료 조건이 만족된 경우, 상기 복수의 후보 신호들 중 상기 성능 값이 상기 제1 임계 값을 초과하는 신호에 대응하는 서브 파라미터 세트에 기초하여 상기 최종 파라미터 세트를 업데이트하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
적어도 하나의 프로세서는, 상기 종료 조건이 만족되지 않는 경우, 상기 현재 세대를 상기 다음 세대로 교체하여 상기 (b) 내지 (f) 동작을 반복적으로(iteratively) 수행하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 파형 최적화 모델은, 상기 신호 변화량 및 환경 조건 정보가 입력되면 상기 최종 파라미터 세트를 출력하도록 학습될 수 있다.
상기 객체 위치 정보는, 상기 전자 장치와 상기 객체 간의 거리에 대응하는 거리 정보, 및 상기 전자 장치와 상기 객체가 형성하는 각도에 대응하는 각도 정보를 포함할 수 있다.
적어도 하나의 프로세서는, 상기 제1 반사파 신호에 기초하여 상기 거리 정보를 획득하고, 상기 거리 정보를 입력으로 하는 머신러닝 모델을 이용하여 상기 각도 정보를 출력하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
일 실시 예에 따른 위치 추론을 위한 전자 장치는, 스피커, 적어도 하나의 마이크, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, (a) 현재 세대에 대응하는 제1 파라미터 세트를 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 프로세서는, (b) 상기 제1 파라미터 세트에 기초하여, 상기 스피커로 하여금 복수의 후보 신호들을 출력하도록 제어하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 프로세서는, (c) 상기 적어도 하나의 마이크로 하여금 상기 복수의 후보 신호들이 공간 구조에 의해 반사된 제1 반사파 신호들을 수신하도록 제어하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 프로세서는, (d) 상기 제1 반사파 신호들에 기초하여 상기 복수의 후보 신호들에 대한 적합도(fitness) 값을 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 프로세서는, (e) 상기 적합도 값에 대응하는 성능 값이 제1 임계 값을 초과하는지 여부인 종료 조건을 판단하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 프로세서는, (f) 상기 종료 조건이 만족되지 않는 경우, 상기 성능 값 및 상기 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다.
적어도 하나의 프로세서는, 상기 종료 조건이 만족되지 않는 경우, 상기 현재 세대를 상기 다음 세대로 교체하여 상기 (b) 내지 (f) 동작을 반복적으로(iteratively) 수행하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
적어도 하나의 프로세서는, 상기 종료 조건이 만족된 경우, 상기 복수의 후보 신호들 중 상기 성능 값이 상기 제1 임계 값을 초과하는 최종 신호에 대응하는 최종 파라미터 세트를 획득하고, 상기 최종 신호에 대응하는 기준(reference) 신호를 획득하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 제1 및 제2 파라미터 세트 중 적어도 하나는 상기 복수의 후보 신호들 중 하나에 대응하는 복수의 서브 파라미터 세트들을 포함하고, 상기 복수의 서브 파라미터 세트들 및 상기 최종 파라미터 중 적어도 하나는, 대응하는 신호의 파형 특징 함수, 파형 위치 함수, 및 타임 윈도우(time window) 중 적어도 하나를 포함하고, 상기 파형 특징 함수는 상기 대응하는 신호의 진폭, 주기, 및 모양 중 적어도 하나의 값을 포함하고, 상기 파형 위치 함수는 상기 대응하는 신호의 주파수 범위, 주파수 간격, 및 지연 시간 중 적어도 하나의 값을 포함할 수 있다.
상기 적합도 값은 안정성(stability) 값과 식별성(identification) 값을 포함하고, 상기 안정성 값은 상기 제1 반사파 신호들 중 어느 하나의 제1 시점에 대응하는 측정 값과 제2 시점에 대응하는 측정 값의 상호 유사도(similarity) 값이고, 상기 식별성 값은 상기 복수의 후보 신호들 중 어느 하나와 대응하는 반사파 신호의 신호 유사도 값일 수 있다.
상기 성능 값은 상기 복수의 후보 신호들 각각의 상기 안정성 값과 상기 식별성 값을 변수로 하는 결정 함수의 반환 값이고, 상기 결정 함수는 상기 안정성 값 및 상기 식별성 값 중 어느 하나에 가중하여 상기 성능 값을 반환할 수 있다.
상기 적어도 하나의 프로세서는, 상기 상관 관계에 대응하는 분석 데이터를 획득하고, 상기 분석 데이터 및 상기 성능 값에 기초하여 파형 특징 함수(waveform feature function) 및 타임 윈도우를 선택하고, 상기 선택된 파형 특징 함수 및 상기 선택된 타임 윈도우 중 적어도 하나에 대해 교차 연산 및 돌연변이 연산 중 적어도 하나를 수행함으로써, 상기 제2 파라미터 세트를 획득하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 프로세서는, 상기 성능 값, 상기 선택된 파형 특징 함수, 상기 선택된 타임 윈도우 중 적어도 하나에 기초하여 파형 위치 함수(waveform location function)를 획득하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 프로세서는, 상기 안정성 값이 제2 임계 값을 초과하는 상기 파형 특징 함수 및 상기 타임 윈도우를 갖는 제1 세트를 선택하고, 상기 식별성 값이 제3 임계 값을 초과하는 상기 파형 특징 함수 및 상기 타임 윈도우를 갖는 제2 세트를 선택하고, 상기 안정성 값이 제4 임계 값을 초과하고, 상기 식별성 값이 제5 임계 값을 초과하는 상기 파형 특징 함수 및 상기 타임 윈도우를 갖는 제3 세트를 선택하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 프로세서는, 상기 제1 세트 및 상기 제2 세트에 대해 상기 교차 연산을 수행하고, 상기 제3 세트에 대해 상기 돌연변이 연산을 수행하고, 상기 교차 연산 결과 및 상기 돌연변이 연산 결과에 기초하여 상기 제2 파라미터 세트를 획득하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 프로세서는, 상기 전자 장치가 위치한 공간의 온도, 기압, 습도, 및 밀도 중 적어도 하나를 포함하는 환경 조건(ambient condition) 정보를 획득하고, 상기 환경 조건 정보에 기초하여 상기 공간의 음속을 획득하고, 상기 음속에 더 기초하여 상기 다음 세대에 대응하는 상기 제2 파라미터 세트를 획득하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 프로세서는, 환경 조건(ambient condition) 정보, 상기 적합도 값, 상기 제1 파라미터 세트 중 적어도 하나를 입력으로 하는 제2 머신러닝 모델을 이용하여 상기 제2 파라미터 세트를 출력하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
일 실시 예에 따른 위치 추론(localization)을 위한 방법은, 비가청 음향 신호를 출력하는 단계, 상기 출력된 비가청 음향 신호가 공간 구조에 의해 반사된 제1 반사파 신호를 수신하는 단계, 상기 비가청 음향 신호에 대응하는 기준 신호와, 상기 수신된 제1 반사파 신호 간의 상관도(correlation)에 기초하여 신호 변화량을 획득하는 단계, 상기 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 상기 신호 변화량에 기초하여 상기 공간 구조 내의 상기 객체의 위치에 대응하는 객체 위치 정보를 획득하는 단계, 및 상기 신호 변화량이 상기 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 상기 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트하는 단계를 포함할 수 있다.
상기 파형 최적화 모델을 이용하여 상기 비가청 음향 신호에 대응하는 상기 최종 파라미터 세트를 업데이트하는 단계는, (a) 현재 세대(generation)에 대응하는 제1 파라미터 세트를 획득하는 단계, (b) 상기 제1 파라미터 세트에 기초하여, 복수의 후보 신호들을 출력하는 단계, (c) 상기 복수의 후보 신호들이 상기 공간 구조에 의해 반사된 제2 반사파 신호들을 수신하는 단계, (d) 상기 제2 반사파 신호에 기초하여 상기 복수의 후보 신호들에 대한 적합도(fitness) 값을 측정하는 단계, (e) 상기 적합도 값들에 기초한 상기 복수의 후보 신호들에 대한 성능 값이 제1 임계 값을 초과하는지 여부인 종료 조건을 판단하는 단계, (f) 상기 종료 조건이 만족되지 않는 경우, 상기 성능 값 및 상기 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득하는 단계, 및 (g) 상기 종료 조건이 만족된 경우, 상기 복수의 후보 신호들 중 상기 성능 값이 상기 제1 임계 값을 초과하는 신호에 대응하는 서브 파라미터 세트에 기초하여 상기 최종 파라미터 세트를 업데이트하는 단계를 포함할 수 있다.
상기 파형 최적화 모델을 이용하여 상기 비가청 음향 신호에 대응하는 상기 최종 파라미터 세트를 업데이트하는 단계는, 상기 종료 조건이 만족되지 않는 경우, 상기 현재 세대를 상기 다음 세대로 교체하여 상기 (b) 내지 (f) 동작을 반복적으로(iteratively) 수행하는 단계를 포함할 수 있다.
상기 파형 최적화 모델은, 상기 신호 변화량 및 환경 조건 정보를 입력으로 하여 상기 최종 파라미터 세트를 출력하도록 학습될 수 있다.
상기 객체 위치 정보는, 상기 위치 추론을 위한 방법을 수행하는 전자 장치와 상기 객체 간의 거리에 대응하는 거리 정보, 및 상기 전자 장치 기준 상기 객체가 위치하는 방향에 대응하는 각도 정보를 포함할 수 있다.
상기 객체 위치 정보를 획득하는 단계는, 상기 제1 반사파 신호에 기초하여 상기 거리 정보를 획득하는 단계, 및 상기 거리 정보를 입력으로 하는 머신러닝 모델을 이용하여 상기 각도 정보를 출력하는 단계를 포함할 수 있다.
상기 머신러닝 모델은 상기 거리 정보를 입력으로 하여 상기 각도 정보를 출력하도록 학습될 수 있다.
일 실시 예에 따른 위치 추론을 위한 방법에 있어서, (a) 현재 세대에 대응하는 제1 파라미터 세트를 획득하는 단계, (b) 상기 제1 파라미터 세트에 기초하여, 복수의 후보 신호들을 출력하는 단계, (c) 상기 적어도 하나의 마이크로 하여금 상기 복수의 후보 신호들이 공간 구조에 의해 반사된 제1 반사파 신호들을 수신하는 단계, (d) 상기 제1 반사파 신호들에 기초하여 상기 복수의 후보 신호들에 대한 적합도(fitness) 값을 획득하는 단계, (e) 상기 적합도 값에 대응하는 성능 값이 제1 임계 값을 초과하는지 여부인 종료 조건을 판단하는 단계, 및 (f) 상기 종료 조건이 만족되지 않는 경우, 상기 성능 값 및 상기 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득하는 단계를 포함할 수 있다.
상기 종료 조건이 만족되지 않는 경우, 상기 현재 세대를 상기 다음 세대로 교체하여 상기 (b) 내지 (f) 단계를 반복적으로(iteratively) 수행하는 단계를 포함할 수 있다.
상기 종료 조건이 만족된 경우, 상기 복수의 후보 신호들 중 상기 종료 조건을 만족하는 최종 신호에 대응하는 최종 파라미터 세트를 획득하는 단계, 및 상기 최종 신호에 대응하는 기준(reference) 신호를 획득하는 단계를 포함할 수 있다.
상기 제1 및 제2 파라미터 세트 중 적어도 하나는 상기 복수의 후보 신호들 중 하나에 대응하는 복수의 서브 파라미터 세트들을 포함하고, 상기 복수의 서브 파라미터 세트들 및 상기 최종 파라미터 중 적어도 하나는, 대응하는 신호의 파형 특징 함수, 파형 위치 함수, 및 타임 윈도우(time window) 중 적어도 하나를 포함하고, 상기 파형 특징 함수는 상기 대응하는 신호의 진폭, 주기, 및 모양 중 적어도 하나의 값을 포함하고, 상기 파형 위치 함수는 상기 대응하는 신호의 주파수 범위, 주파수 간격, 및 지연 시간 중 적어도 하나의 값을 포함할 수 있다.
상기 적합도 값은 안정성(stability) 값과 식별성(identification) 값을 포함하고, 상기 안정성 값은 상기 제1 반사파 신호들 중 어느 하나의 제1 시점에 대응하는 측정 값과 제2 시점에 대응하는 측정 값의 상호 유사도(similarity) 값이고, 상기 식별성 값은 상기 복수의 후보 신호들 중 어느 하나와 대응하는 반사파 신호의 신호 유사도 값일 수 있다.
상기 성능 값은 상기 복수의 후보 신호들 각각의 상기 안정성 값과 상기 식별성 값을 변수로 하는 결정 함수의 반환 값이고, 상기 결정 함수는 상기 안정성 값 및 상기 식별성 값 중 어느 하나에 가중하여 상기 성능 값을 반환할 수 있다.
상기 제2 파라미터 세트를 획득하는 단계는, 상기 상관 관계에 대응하는 분석 데이터를 획득하는 단계, 상기 분석 데이터 및 상기 성능 값에 기초하여 파형 특징 함수(waveform feature function) 및 타임 윈도우를 선택하는 단계, 상기 선택된 파형 특징 함수 및 상기 선택된 타임 윈도우 중 적어도 하나에 대해 교차 연산 및 돌연변이 연산 중 적어도 하나를 수행함으로써, 상기 제2 파라미터 세트를 획득하는 단계를 포함할 수 있다.
상기 제2 파라미터 세트를 획득하는 단계는, 상기 성능 값, 상기 선택된 파형 특징 함수, 상기 선택된 타임 윈도우 중 적어도 하나에 기초하여 파형 위치 함수(waveform location function)를 획득하는 단계를 포함할 수 있다.
상기 분석 데이터 및 상기 성능 값에 기초하여 파형 특징 함수(waveform feature function) 및 타임 윈도우를 선택하는 단계는, 상기 안정성 값이 제2 임계 값을 초과하는 상기 파형 특징 함수 및 상기 타임 윈도우를 갖는 제1 세트를 선택하는 단계, 상기 식별성 값이 제3 임계 값을 초과하는 상기 파형 특징 함수 및 상기 타임 윈도우를 갖는 제2 세트를 선택하는 단계, 및 상기 안정성 값이 제4 임계 값을 초과하고, 상기 식별성 값이 제5 임계 값을 초과하는 상기 파형 특징 함수 및 상기 타임 윈도우를 갖는 제3 세트를 선택하는 단계를 포함할 수 있다.
상기 선택된 파형 특징 함수 및 상기 선택된 타임 윈도우 중 적어도 하나에 대해 교차 연산 및 돌연변이 연산을 수행함으로써, 상기 제2 파라미터 세트를 획득하는 단계는, 상기 제1 세트 및 상기 제2 세트에 대해 상기 교차 연산을 수행하는 단계, 상기 제3 세트에 대해 상기 돌연변이 연산을 수행하는 단계, 및 상기 교차 연산 결과 및 상기 돌연변이 연산 결과에 기초하여 상기 제2 파라미터 세트를 획득하는 단계를 포함할 수 있다.
상기 제2 파라미터 세트를 획득하는 단계는, 공간의 온도, 기압, 습도, 및 밀도 중 적어도 하나를 포함하는 환경 조건(ambient condition) 정보를 획득하는 단계, 상기 환경 조건 정보에 기초하여 상기 공간의 음속을 획득하는 단계, 및 상기 음속에 더 기초하여 상기 다음 세대에 대응하는 상기 제2 파라미터 세트를 획득하는 단계를 포함할 수 있다.
상기 제2 파라미터 세트를 획득하는 단계는, 환경 조건(ambient condition) 정보, 상기 적합도 값, 상기 제1 파라미터 세트 중 적어도 하나를 입력으로 하는 제2 머신러닝 모델을 이용하여 상기 제2 파라미터 세트를 출력하는 단계를 포함할 수 있다.
일 실시 예에 따른 위치 추론을 위한 시스템에 있어서, 적어도 하나의 제1 마이크를 포함하는 제1 전자 장치, 및 적어도 하나의 제2 마이크를 포함하는 제2 전자 장치를 포함할 수 있다. 상기 제1 전자 장치는, 제1 스피커, 하나 이상의 인스트럭션을 저장하는 제1 메모리, 및 상기 제1 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 적어도 하나의 제1 프로세서를 더 포함할 수 있다. 상기 적어도 하나의 제1 프로세서는, (a) 제1 현재 세대에 대응하는 제1 파라미터 세트를 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 제1 프로세서는, (b) 상기 제1 파라미터 세트에 기초하여, 상기 제1 스피커로 하여금 제1 복수의 후보 신호들을 출력하도록 제어하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 제1 프로세서는, (c) 상기 적어도 하나의 제1 마이크로 하여금 상기 제1 복수의 후보 신호들이 공간 구조에 의해 반사된 제1 반사파 신호들을 수신하도록 제어하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 제1 프로세서는, (d) 상기 적어도 하나의 제2 마이크에 의해 수신된 상기 제1 복수의 후보 신호들에 대응하는 제1 데이터를 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 제1 프로세서는, (e) 상기 제1 반사파 신호 및 상기 제1 데이터에 기초하여 상기 제1 복수의 후보 신호들에 대한 제1 적합도(fitness) 값을 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 제1 프로세서는, (f) 상기 제1 적합도 값에 대응하는 제1 성능 값이 제1 임계 값을 초과하는지 여부인 제1 종료 조건을 식별하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 제1 프로세서는, (g) 상기 제1 종료 조건이 만족되지 않는 경우, 상기 제1 성능 값 및 상기 제1 파라미터 세트 간의 상관 관계에 기초하여 제1 다음 세대에 대응하는 제2 파라미터 세트를 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 제1 프로세서는, 상기 제1 반사파 신호들에 기초하여, 상기 공간 구조에 방사되는 간접 신호에 대응하는 상기 제1 적합도 값을 측정하고, 상기 제1 데이터에 기초하여, 상기 적어도 하나의 제2 마이크에 의해 수신되는 직접 신호에 대응하는 상기 제1 적합도 값을 측정하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 직접 신호의 제1 주파수 대역과 상기 간접 신호의 제2 주파수 대역은 서로 다를 수 있다.
상기 적어도 하나의 제1 프로세서는, 상기 제1 종료 조건이 만족된 경우, 상기 제1 복수의 후보 신호들 중 상기 제1 종료 조건을 만족하는 최종 신호에 대응하는 최종 파라미터 세트를 획득하되, 상기 최종 신호는 상기 직접 신호 및 상기 간접 신호를 포함하고, 상기 간접 신호가 상기 공간 구조에 의해 반사된 제2 반사파 신호에 대응하는 기준(reference) 신호를 획득하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 제2 전자 장치는, 제2 스피커, 및 하나 이상의 인스트럭션을 저장하는 제2 메모리, 및 상기 제2 메모리에 저장된 인스트럭션을 실행하는 적어도 하나의 제2 프로세서를 더 포함하되, 상기 적어도 하나의 제2 프로세서(1240)는, 제2 현재 세대에 대응하는 제3 파라미터 세트를 획득하고, 상기 제3 파라미터 세트에 기초하여, 상기 제2 스피커로 하여금 제3 복수의 후보 신호들을 출력하도록 제어하고, 상기 적어도 하나의 제2 마이크로 하여금 상기 제3 복수의 후보 신호들이 상기 공간 구조에 의해 반사된 제3 반사파 신호들을 수신하도록 제어하는, 상기 제2 메모리에 저장된 적어도 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 제1 프로세서는, 상기 제2 전자 장치로부터 상기 제3 반사파 신호들에 대응하는 제3 데이터를 획득하고, 상기 제3 데이터에 기초하여 상기 제3 복수의 후보 신호들에 대한 제2 적합도 값을 획득하고, 상기 제2 적합도 값에 대응하는 제2 성능 값이 상기 제1 임계 값을 초과하는지 여부인 제2 종료 조건을 식별하고, 상기 제2 종료 조건이 만족되지 않는 경우, 상기 제2 성능 값 및 상기 제3 파라미터 세트 간의 상관 관계에 기초하여 제2 다음 세대에 대응하는 제4 파라미터 세트를 획득하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 제2 프로세서는, 상기 제3 반사파 신호들에 기초하여 상기 제3 복수의 후보 신호들에 대한 제2 적합도 값을 획득하고, 상기 제2 적합도 값에 대응하는 제2 성능 값이 상기 제1 임계 값을 초과하는지 여부인 제2 종료 조건을 식별하고, 상기 종료 조건이 만족되지 않는 경우, 상기 제2 성능 값 및 상기 제3 파라미터 세트 간의 상관 관계에 기초하여 제2 다음 세대에 대응하는 제4 파라미터 세트를 획득할 수 있다.
일 실시 예에 따른 위치 추론을 위한 시스템은, 제1 전자 장치, 및 제2 전자 장치를 포함할 수 있다. 상기 제1 전자 장치는, 제1 비가청 음향 신호를 출력하는 제1 스피커, 상기 출력된 제1 비가청 음향 신호가 공간 구조에 의해 반사된 제1 반사파 신호를 수신하는 적어도 하나의 제1 마이크, 하나 이상의 인스트럭션을 저장하는 제1 메모리, 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 적어도 하나의 제1 프로세서를 포함할 수 있다. 상기 적어도 하나의 제1 프로세서는, 상기 적어도 하나의 제1 마이크에 의해 수신된 상기 제1 반사파 신호 및 상기 제2 전자 장치에 의해 수신된 상기 제1 비가청 음향 신호 중 적어도 어느 하나와, 상기 제1 비가청 음향 신호에 대응하는 제1 기준 신호 간의 상관도(correlation)에 기초하여 제1 신호 변화량을 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 제1 프로세서는, 상기 제1 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 상기 제1 신호 변화량에 기초하여 상기 공간 구조 내의 상기 객체의 위치에 대응하는 객체 위치 정보를 획득하는 상기 하나 이상의 인스트럭션을 실행할 수 있다. 상기 적어도 하나의 제1 프로세서는, 상기 제1 신호 변화량이 상기 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 상기 제1 비가청 음향 신호에 대응하는 제1 최종 파라미터 세트를 업데이트하는 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 제1 프로세서는, 상기 적어도 하나의 제1 마이크에 의해 수신된 상기 제1 반사파 신호 및 상기 제2 전자 장치에 의해 수신된 상기 제1 비가청 음향 신호 중 적어도 하나에 기초하여 상기 제1 전자 장치의 위치 및 상기 제2 전자 장치의 위치에 대응하는 장치 위치 정보를 획득하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
상기 적어도 하나의 제1 프로세서는, 상기 객체 위치 정보 및 상기 장치 위치 정보에 기초하여, 웨이크업 키워드에 대응하는 제1 사용자 음성 입력에 응답할 웨이크업(wake-up) 디바이스를 선택하는, 상기 하나 이상의 인스트럭션을 실행하되, 상기 웨이크업 디바이스는 상기 제1 전자 장치 또는 상기 제2 전자 장치일 수 있다.
상기 웨이크업 디바이스는, 상기 제1 사용자 음성 입력에 응답하여 웨이크업하고, 상기 제1 사용자 음성 입력 이후의 제2 사용자 음성 입력을 수신할 수 있다.
상기 제2 전자 장치는, 제2 비가청 음향 신호를 출력하는 제2 스피커, 상기 출력된 제2 비가청 음향 신호가 상기 공간 구조에 의해 반사된 제2 반사파 신호와, 상기 제1 비가청 음향 신호를 수신하는 적어도 하나의 제2 마이크, 하나 이상의 인스트럭션을 저장하는 제2 메모리, 상기 제2 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 적어도 하나의 제2 프로세서를 포함하되, 상기 적어도 하나의 제2 프로세서는, 상기 적어도 하나의 제2 마이크에 의해 수신된 상기 제2 반사파 신호 및 상기 적어도 하나의 제1 마이크에 의해 수신된 상기 제2 비가청 음향 신호 중 적어도 하나와, 상기 제2 비가청 음향 신호에 대응하는 제2 기준 신호 간의 상관도(correlation)에 기초하여 제2 신호 변화량을 획득하고, 상기 제2 신호 변화량이 상기 제1 임계 값을 초과한 경우, 상기 제2 신호 변화량에 기초하여 상기 객체 위치 정보를 획득하고, 상기 제2 신호 변화량이 상기 제2 임계 값을 초과한 경우, 상기 파형 최적화 모델을 이용하여 상기 제2 비가청 음향 신호에 대응하는 제2 최종 파라미터 세트를 업데이트하는, 상기 하나 이상의 인스트럭션을 실행할 수 있다.
일 실시 예에 따르면, 본 개시의 기술적 과제를 해결하기 위하여, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 일 실시 예에 따른 전자 장치를 예시적으로 보여주는 블록도이다.
도 2a 내지 2c는 일 실시 예에 따른 전자 장치가 공간 구조에 최적화된 신호를 생성하는 방법을 예시적으로 보여주는 개념도들이다.
도 3a 내지 3d는 일 실시 예에 따른 위치 추론을 위한 신호 파형 최적화를 수행하는 방법을 보여주는 흐름도이다.
도 4a는 일 실시 예에 따른 상관 관계를 설명하기 위한 개념도이다.
도 4b는 일 실시 예에 따른 파형 위치 함수의 선택을 설명하기 위한 개념도이다.
도 4c는 일 실시 예에 따른 교차 연산 및 돌연변이 연산을 설명하기 위한 산점도이다.
도 4d는 일 실시 예에 따른 후보 신호들 간의 파형 위치를 설명하기 위한 개념도이다.
도 5는 일 실시 예에 따른 전자 장치가 공간 구조에 최적화된 신호를 이용하는 방법을 예시적으로 보여주는 개념도이다.
도 6a 내지 6c는 일 실시 예에 따른 위치 추론을 위한 신호 처리를 수행하는 방법을 보여주는 흐름도이다.
도 7a 내지 7b는 일 실시 예에 따른 반사파 신호의 수신 강도를 예시적으로 보여주는 그래프들이다.
도 8은 일 실시 예에 따른 객체 위치 정보를 획득하기 위한 머신러닝 모델을 예시적으로 보여주는 그래프이다.
도 9a 내지 9d는 일 실시 예에 따른 위치 추론의 결과를 예시적으로 보여주는 그래프들이다.
도 10은 일 실시 예에 따른 전자 장치를 예시적으로 보여주는 블록도이다.
도 11은 일 실시 예에 따른 시스템이 공간 구조에 최적화된 신호를 생성하는 방법을 예시적으로 보여주는 개념도이다.
도 12a 및 12b는 일 실시 예에 따른 시스템이 공간 구조에 최적화된 신호를 이용하는 방법을 예시적으로 보여주는 개념도들이다.
도 13a 및 13b는 일 실시 예에 따른 시스템이 웨이크업 디바이스를 선택하는 방법을 예시적으로 보여주는 개념도들이다.
본 명세서에서, 공간 구조는 전자 장치가 위치한 공간의 구조로 이해될 수 있다. 예를 들어, 공간 구조는 공간의 경계, 공간 내에 위치한 객체(들), 및/또는 이들간의 관계로 형성되는 공간의 특성으로 이해될 수 있다. 따라서, 공간 구조는 공간 또는 공간의 특성에 따라 상이할 수 있다. 예를 들어, 공간이 변경된 경우(예컨대, 전자 장치의 위치가 이전 공간과 다른 공간으로 변경된 경우) 또는 공간의 특성이 변경된 경우(예컨대, 전자 장치의 위치가 같은 공간의 다른 위치로 변경된 경우, 공간 내의 객체의 위치가 변경된 경우 등), 전자 장치가 인식하는 공간 구조는 변경될 수 있다.
본 명세서에서, 위치 추론은 공간 구조 내의 객체의 위치 또는 객체의 움직임 등에 대한 정보를 획득하는 기능을 의미할 수 있다.
본 명세서에서, 파라미터 세트는 서브 파라미터 세트들의 집합일 수 있다. 서브 파라미터 세트들 각각은 대응하는 신호(예컨대, 복수의 후보 신호들 중 하나)의 파형 특징 함수(waveform feature function) 및 파형 위치 함수(waveform location function)를 포함할 수 있다.
본 명세서에서, 파형 특징 함수는, 대응하는 신호의 내재적인 특징을 나타내는 적어도 하나의 파라미터를 포함할 수 있다. 예를 들어, 파형 특징 함수는 대응하는 신호의 진폭, 주기, 및 모양(shape) 중 적어도 하나의 값에 대응하는 파라미터를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 신호의 모양은 사인(sine)파, 삼각(triangle)파, 톱니(sawtooth)파, 사각(square)파, 펄스(pulse)파, 또는 이들의 조합일 수 있다.
본 명세서에서, 파형 위치 함수는, 대응하는 신호의 주파수 도메인에서의 위치 또는 시간 도메인에서의 위치를 나타내는 적어도 하나의 파라미터를 포함할 수 있다. 예를 들어, 파형 위치 함수는 주파수 범위(또는 대역), 주파수 간격, 및 지연 시간 중 적어도 하나의 값에 대응하는 파라미터를 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 명세서에서, 타임 윈도우(time window)는 송신된 신호(예컨대, 처프 신호)에 대응하는 반사파 신호(예컨대, 에코(echo) 처프 신호)가 수신되어 시간 도메인에서 분할된 프레임을 의미할 수 있다. 예를 들어, 반사파 신호는 복수의 타임 윈도우들을 갖도록 복수의 서브 신호들로 분할될 수 있다. 예를 들어, 제1 서브 신호는 제1 타임 프레임에 대응하고, 제2 서브 신호는 제2 타임 프레임에 대응할 수 있다.
본 명세서에서, 안정성(stability) 값은 신호(예컨대, 반사파 신호)의 시간 도메인의 n 개의 시점들(또는 타임 윈도우들)에서 신호에 대응하는 측정 값(예컨대, 거리)들 간의 상호 유사도를 나타내는 값을 의미할 수 있다. 예를 들어, 안정성 값은, 제1 타임 윈도우에서의 반사파 신호에 기초하여 측정된 제1 거리 값과 제2 타임 윈도우에서의 반사파 신호에 기초하여 측정된 제2 거리 값 간의 유사도를 포함할 수 있다. 안정성 값은 강건성 값으로 지칭될 수 있다. 식별성(identification) 값은 직접파 신호(예컨대, 비가청 음향 신호)와 반사파 신호 간의 신호 유사도를 나타내는 값을 의미할 수 있다.
본 명세서에서, 세대(generation)는 유전 알고리즘(genetic algorithm)을 이용하여 생성된 복수의 신호들의 세트를 의미할 수 있다. 예를 들어, 유전 알고리즘은 반복적으로(iteratively) 수행되는데, 현재 반복(iteration)에서의 신호 세트가 현재 세대로 지칭될 수 있고, 다음 반복에서의 신호 세트가 다음 세대로 지칭될 수 있다. 본 명세서에서, 유전 알고리즘은 파형 최적화 모듈 또는 파형 최적화 모델로도 지칭될 수 있다.
본 명세서에서, 웨이크업 디바이스는 사용자의 키워드 음성 입력에 응답하는 장치를 의미한다. 웨이크업 디바이스는 키워드 음성 입력을 수신하는 제1 대기 모드로 동작할 수 있다. 웨이크업 디바이스는 키워드 음성 입력에 응답하여 추가적인 음성 입력을 수신하는 제2 대기 모드로 동작할 수 있다. 즉, 웨이크업 디바이스가 제1 대기 모드에서 제2 대기 모드로 전환될 때, 웨이크업 디바이스는 "웨이크업"할 수 있다.
본 명세서에서, "우수한 값" 또는 "값이 우수한" 등의 표현은, 미리 정의된 임계 값보다 크거나 작은 경우를 의미한다.
도 1은 일 실시 예에 따른 전자 장치를 예시적으로 보여주는 블록도이다.
일 실시 예에 있어서, 전자 장치(100)는 음향(acoustic) 신호(오디오 신호 또는 사운드 신호로 지칭될 수 있음)를 송수신하고, 음향 신호를 프로세싱하는 장치일 수 있다. 예를 들어, 전자 장치(100)는 휴대폰, 스마트 폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 플레이어, 착용형 기기(wearable device), 가전 장치(예컨대, TV, 냉장고, 에어컨, 공기청정기 등), AI(Artificial Intelligence) 스피커, 로봇 등과 같은 다양한 장치로 구현될 수 있으나, 이에 한정되지 않는다.
전자 장치(100)는 음향 신호에 기초하여 전자 장치(100)가 위치한 공간 구조를 인식할 수 있다. 전자 장치(100)는 공간 구조에 기초하여 음향 신호를 최적화하는 프로세싱을 수행할 수 있다.
일 실시 예에 있어서, 음향 신호는 비가청(inaudible) 주파수 대역의 신호(이하, 비가청 음향 신호)를 포함할 수 있다. 본 개시에 따르면, 사람의 청각으로 인지하지 못하는 비가청 음향 신호를 이용함으로써, 사람에게 불편함 없이 전자 장치(100)가 공간 구조의 변경 또는 객체의 움직임을 실시간으로 모니터링할 수 있다.
도 1을 참조하면, 전자 장치(100)는 통신 인터페이스(110), 사용자 인터페이스(120), 스피커(130), 마이크(140), 센서(150), 메모리(160), 및 프로세서(170)를 포함할 수 있다.
통신 인터페이스(110)는 전자 장치(100)와 외부의 다른 전자 장치(미도시) 또는 서버(미도시) 사이의 유선 또는 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 일 실시 예에 있어서, 통신 인터페이스(110)는 유선 또는 무선 통신을 통해 외부의 다른 전자 장치(미도시) 또는 서버(미도시)로부터 데이터를 수신하거나 외부의 다른 전자 장치(미도시) 또는 서버(미도시)로 데이터를 송신할 수 있다. 몇몇 실시 예들에 있어서, 통신 인터페이스(110)는 무선 통신 모듈(예컨대, 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예컨대, LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있고, 그 중 어느 하나의 통신 모듈을 이용하여 적어도 하나의 네트워크(예컨대, 근거리 통신 네트워크(예컨대, 블루투스, WiFi direct 또는 IrDA(infrared data association)) 또는 원거리 통신 네트워크(예컨대, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예컨대, LAN 또는 WAN)))를 통하여 외부의 다른 전자 장치(미도시) 또는 서버(미도시)와 통신할 수 있다.
사용자 인터페이스(120)는 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 사용자 인터페이스(120)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다. 일 실시 예에 있어서, 사용자 인터페이스(120)는 생략될 수 있다. 이 경우, 사용자 인터페이스(120)의 기능의 적어도 일부는 외부의 다른 전자 장치(미도시)에 구현될 수 있다.
스피커(130)는 비가청 음향 신호를 출력할 수 있다. 또한, 스피커(130)는 멀티미디어 재생 또는 녹음 재생 등의 용도로 사용될 수 있다. 도시되지 않았지만, 스피커(130)의 개수는 하나 이상일 수 있다. 이 경우, 적어도 하나의 스피커 각각은 전자 장치(100)에서 서로 다른 각도(또는 방향)에 배치됨으로써, 서로 다른 각도를 향해 비가청 음향 신호를 출력할 수 있다. 예를 들어, 비가청 음향 신호는 처프(chirp) 신호일 수 있다.
마이크(140)는 비가청 음향 신호가 공간 구조에 의해 반사된 반사파 신호를 수신할 수 있다. 또한, 마이크(140)는 사용자 음성 입력 등을 수신할 수 있다. 이 경우, 마이크(140)는 사용자 인터페이스(120)의 기능의 적어도 일부를 수행할 수 있다. 도시되지 않았지만, 마이크(140)의 개수는 하나 이상일 수 있다. 이 경우, 적어도 하나의 마이크 각각은 전자 장치(100)에서 서로 다른 각도(또는 방향)에 배치됨으로써, 서로 다른 각도로 전자 장치(100)를 향하는 반사파 신호를 수신할 수 있다.
센서(150)는 전자 장치(100) 주변의 환경 조건(ambient condition)을 감지하고, 감지된 환경 조건에 대응하는 전기 신호 또는 데이터 값인 환경 조건 정보를 생성할 수 있다. 여기서, 환경 조건 정보는 전자 장치(100)가 위치한 공간의 온도, 기압, 습도, 및 밀도 중 적어도 하나에 대한 정보를 포함할 수 있다. 일 실시 예에 있어서, 센서(150)는 생략될 수 있다. 이 경우, 센서(150)의 기능의 적어도 일부는 외부의 다른 전자 장치(미도시)에 구현될 수 있다. 전자 장치(100)는 통신 인터페이스(110)를 통해 외부의 다른 전자 장치(미도시)에 의해 생성된 환경 조건 정보를 수신할 수 있다.
메모리(160)에는 프로세서(170)에 의하여 처리되거나 처리될 예정인 데이터, 펌웨어, 소프트웨어, 및 프로세스 코드 등이 저장될 수 있다. 일 실시 예에 있어서, 메모리(160)에는 파형 최적화 모듈(161), 신호 처리 모듈(162), 위치 추론 모듈(163), 인공지능 모듈(164), 및 인공지능 모델 중 적어도 하나에 대응되는 데이터 및 프로그램 코드들이 저장될 수 있다.
예를 들어, 파형 최적화 모듈(161)은 공간 구조에 기초하여 비가청 음향 신호의 파형을 최적화할 수 있다. 파형 최적화 모듈(161)은 복수의 비가청 음향 신호들(또는 복수의 후보 신호들로 지칭될 수 있음)을 입력으로 하는 파형 최적화 모델을 이용하여, 공간 구조에 최적화된 최종 비가청 음향 신호(또는 최종 신호로 지칭될 수 있음)를 획득할 수 있다. 신호 처리 모듈(162)은 스피커(130)로 출력되는 다양한 신호들을 프로세싱할 수 있다. 위치 추론 모듈(163)은 비가청 음향 신호 및 대응하는 반사파 신호에 기초하여 객체의 위치를 추론할 수 있다.
인공지능 모듈(164)은 인공지능 모델(예컨대, 딥러닝 모델, 머신러닝 모델 등)을 훈련할 수 있다. 도시되지 않았지만, 인공지능 모듈(164) 또는 인공지능 모델은 기능 또는 목적에 따라 하나 이상일 수 있다. 일 실시 예에 있어서, 인공지능 모듈(164)은 훈련된 인공지능 모델을 이용하여, 비가청 음향 신호의 파형을 최적화할 수 있다. 일 실시 예에 있어서, 인공지능 모듈(164)은 훈련된 인공지능 모델을 이용하여, 데이터 간 상관 관계에 대한 회귀 분석을 수행할 수 있다. 일 실시 예에 있어서, 인공지능 모듈(164)은 훈련된 인공지능 모델을 이용하여, 데이터 간 상관 관계에 대한 클러스터링을 수행할 수 있다. 일 실시 예에 있어서, 인공지능 모듈(164)은 훈련된 인공지능 모델을 이용하여, 객체의 위치를 추론할 수 있다.
인공지능 모델은 복수의 신경망 레이어들을 포함할 수 있다. 복수의 신경망 레이어들 각각은, 가중치 값들을 포함할 수 있다. 인공지능 모델은 학습 데이터셋을 학습함으로써 인공지능 모델의 신경망 레이어들의 가중치 값들을 갱신할 수 있다.
메모리(160)는 전자 장치(100)의 주 기억 장치로 이용될 수 있다. 예를 들어, 메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), DRAM(dynamic random access memory), SRAM(static random access memory), PRAM(phase-change random access memory), MRAM (magnetic random access memory), FeRAM(ferroelectric random access memory), RRAM(resistive random access memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 메모리(160)는 버퍼 메모리, 워킹 메모리, 또는 캐시 메모리로서 지칭될 수 있다. 도시되지 않았지만, 메모리(160)의 개수는 하나 이상일 수 있다.
프로세서(170)는 전자 장치(100)에 포함된 구성들과 전기적으로 연결되어, 전자 장치(100)에 포함된 구성들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다. 예를 들어, 프로세서(170)는 CPU(central processing unit), AP(application processor), GPU(graphic processing unit), 또는 NPU(neural processing unit) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 있어서, 프로세서(170)는 다른 구성들 중 적어도 하나로부터 수신된 명령 또는 데이터를 메모리(160)에 로드하여 처리하고, 결과 데이터를 메모리(160)에 저장할 수 있다. 도시되지 않았지만, 프로세서(170)는 기능 또는 목적에 따라 하나 이상일 수 있다. 이 경우, 적어도 하나의 프로세서는 전자 장치(100)에 포함된 구성들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 분산하여 수행할 수 있다. 예를 들어, 전자 장치(100)는 인공지능 모듈(162)을 실행하기 위한 별도의 프로세서, 예컨대, NPU(neural processing unit)를 더 포함할 수 있다.
프로세서(170)는 비가청 음향 신호(최종 비가청 음향 신호로 지칭될 수 있음)에 대응하는 기준(Reference) 신호와, 수신된 반사파 신호 간의 상관도(correlation)에 기초하여 신호 변화량을 획득할 수 있다. 여기서, 기준 신호는 반사파 신호와의 비교의 기준이 되는 신호를 의미하며, 미리 정의된 신호일 수 있다. 예를 들어, 기준 신호는 공간 구조의 변경, 환경 조건의 변경, 또는 객체의 움직임이 없는 상황에서 수신되는 반사파 신호일 수 있다. 기준 신호는 비가청 음향 신호 및 공간 구조에 따라 상이할 수 있다. 기준 신호 또는 그에 대응하는 값들은 메모리(160)에 저장될 수 있다. 반사파 신호는 스피커(130)로부터 출력된 비가청 음향 신호가 공간 구조에 의해 반사되어 마이크(140)로 입력된 신호일 수 있다.
프로세서(170)는 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 신호 변화량에 기초하여 공간 구조 내의 객체의 위치에 대응하는 객체 위치 정보를 획득할 수 있다. 제1 임계 값은 객체의 위치가 변화함으로써 신호가 변화한 것인지, 아니면 다른 이유로 신호가 변화한 것인지 판단하기 위한 기준 값이다. 예를 들어, 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과하지 않는 경우, 공간 구조 내의 객체의 위치가 변경된 것이 아니라, 전자 장치(100)의 위치(또는 방향)가 변화하거나 다른 요인으로 인해 신호 변화량이 발생된 것으로 해석될 수 있다. 따라서, 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과하지 않는 경우에는, 프로세서(170)는 객체의 위치가 변경되지 않은 것으로 판단할 수 있다.
프로세서(170)는 신호 변화량이 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트할 수 있다. 제2 임계 값은 공간 구조가 변경된 것인지 판단하기 위한 기준 값이다. 신호 변화량이 제2 임계 값을 초과하지 않는 경우에는, 프로세서(170)는 공간 구조의 변경이 없는 것으로 판단할 수 있다.
일 실시 예에 있어서, 공간 구조의 변경은 전자 장치(100)가 위치한 공간의 환경 조건(예컨대, 온도, 기압, 습도, 밀도 등)의 변경을 의미할 수 있다. 전자 장치(100)는 센서(150) 등을 통해 환경 조건에 대응하는 데이터(즉, 환경 조건 정보)를 획득할 수 있다. 전자 장치(100)는 환경 조건의 변경에 대응하여, 파형 최적화 모델을 이용하여 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트할 수 있다. 따라서, 환경 조건이 변경하더라도 변경된 환경 조건에 최적화된 비가청 음향 신호에 대응하는 최종 파라미터 세트가 업데이트될 수 있다.
일 실시 예에 있어서, 제1 임계 값은 제2 임계 값보다 클 수 있다. 일 실시 예에 있어서, 신호 변화량의 제1 임계 값의 초과 여부와 제2 임계 값의 초과 여부는 서로 다른 시구간 내에서의 신호 변화량에 기초하여 식별될 수 있다.
일 실시 예에 있어서, 프로세서(170)는 신호 변화량이 환경 조건의 변경에 대응하는 제3 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트할 수 있다. 제3 임계 값은 공간의 환경 조건이 변경된 것인지 판단하기 위한 기준 값이다. 신호 변화량이 제3 임계 값을 초과하지 않는 경우에는, 프로세서(170)는 환경 조건의 변경이 없는 것으로 판단할 수 있다.
일 실시 예에 있어서, 프로세서(170)는 현재 세대에 대응하는 제1 파라미터 세트를 획득할 수 있다. 예를 들어, 제1 파라미터 세트는 현재 세대에 포함되는 복수의 후보 신호들의 특징을 포함할 수 있다. 일 실시 예에 있어서, 현재 세대가 초기(initial) 세대인 경우, 프로세서(170)는 임의의 또는 미리 정의된 제1 파라미터 세트를 획득할 수 있다.
프로세서(170)는 제1 파라미터 세트에 기초하여, 스피커(130)로 하여금 복수의 후보 신호들을 출력하도록 제어할 수 있다. 예를 들어, 후보 신호들은 비가청 대역의 신호(즉, 비가청 음향 신호)들일 수 있다. 일 실시 예에 있어서, 복수의 후보 신호들은 서로 특정 시 간격 및/또는 주파수 간격을 가지고 출력될 수 있다.
프로세서(170)는 적어도 하나의 마이크(140)로 하여금 복수의 후보 신호들이 공간 구조에 의해 반사된 반사파 신호들을 수신하도록 제어할 수 있다.
프로세서(170)는 복수의 후보 신호들에 대응하는 반사파 신호들에 기초하여 복수의 후보 신호들에 대한 적합도(fitness) 값(들)을 획득할 수 있다. 즉, 프로세서(170)는 복수의 후보 신호들 각각에 대한 적합도 값을 획득할 수 있다. 일 실시 예에 있어서, 적합도 값은 안정성 값 및/또는 식별성 값을 포함할 수 있다.
일 실시 예에 있어서, 프로세서(170)는 적합도 값에 기초하여 성능 값을 계산할 수 있다. 일 실시 예에 있어서, 성능 값은 복수의 후보 신호들 각각의 안정성 값과 식별성 값을 변수로 하는 결정 함수의 반환 값일 수 있다. 일 실시 예에 있어서, 결정 함수는 안정성 값 및 식별성 값 중 어느 하나에 가중하여 성능 값을 반환할 수 있다.
프로세서(170)는 적합도 값에 대응하는 성능 값이 종료 임계 값을 초과하는지 여부인 종료 조건을 판단할 수 있다. 종료 임계 값은 사용자 또는 제조사의 설정에 따라 미리 정의된 값일 수 있다. 예를 들어, 종료 임계 값은 성능 값의 수렴 여부, 세대 교체 횟수(반복 횟수), 성능 값의 목표치 중 적어도 하나에 대응할 수 있다.
프로세서(170)는, 종료 조건이 만족되지 않는 경우, 성능 값 및 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득할 수 있다.
일 실시 예에 있어서, 프로세서(170)는 성능 값 및 제1 파라미터 세트 간의 상관 관계에 대응하는 분석 데이터를 획득할 수 있다. 예시적으로, 상관 관계는 성능 값과 신호의 진폭, 성능 값과 신호의 파형, 성능 값과 신호의 주기 등에 대한 상관 관계를 포함할 수 있으나, 이에 한정되지 않는다. 따라서, 상관 관계는 제1 파라미터 세트 내의 신호의 특징들 간의 상관 관계, 예컨대, 신호의 진폭과 신호의 파형 간의 상관 관계를 포함할 수 있다. 예를 들어, 분석 데이터는 입력 변수(예컨대, 파형 특징 함수, 타임 윈도우, 및/또는 파형 위치 함수 등)와 출력 값(예컨대, 성능 값, 및/또는 적합도 값) 간의 상관 계수, 상관성, 민감도 등을 포함할 수 있다.
일 실시 예에 있어서, 프로세서(170)는 불확실성(uncertainty) 분석 및 민감도(sensitivity) 분석을 수행함으로써, 성능 값 및 제1 파라미터 세트 간의 상관 관계에 대응하는 분석 데이터를 획득할 수 있다.
일 실시 예에 있어서, 프로세서(170)는 성능 값 및 제1 파라미터 세트를 입력으로 하는 클러스터링 모델을 이용하여, 성능 값 및 제1 파라미터 세트 간의 상관 관계에 대응하는 분석 데이터를 획득할 수 있다. 예를 들어, 클러스터링 모델은 K-Means Clustering, Mean Shift, Gaussian Mixture Model, DBSCAN, Agglomerative Clustering 등을 포함할 수 있으나, 이에 한정되지 않는다.
프로세서(170)는 분석 데이터 및 성능 값에 기초하여 파형 특징 함수 및 타임 윈도우를 선택할 수 있다. 일 실시 예에 있어서, 프로세서(170)는 안정성 값과 식별성 값에 기초하여 파형 특징 함수 및 타임 윈도우를 분류하여 선택할 수 있다. 예를 들어, 특정 파형 특징 함수 및 특정 타임 윈도우를 갖는 세트의 안정성 값 및 식별성 값 중 적어도 하나가, 안정성 값 및 식별성 값을 기초로 하는 함수의 결과 값에 있어서 비교적 높은 영향력(impact)을 갖는 경우, 프로세서(170)는 해당 세트를 선택할 수 있다.
예시적으로, 프로세서(170)는 안정성 값이 제1 기준 값(혹은 임계 값으로도 지칭될 수 있음)을 초과하는 파형 특징 함수 및 타임 윈도우를 갖는 제1 세트를 선택할 수 있다. 예를 들어, 프로세서(170)는 식별성 값이 제2 기준 값을 초과하는 파형 특징 함수 및 타임 윈도우를 갖는 제2 세트를 선택할 수 있다. 예를 들어, 프로세서(170)는 안정성 값이 제3 기준 값을 초과하고, 식별성 값이 제4 기준 값을 초과하는 파형 특징 함수 및 타임 윈도우를 갖는 제3 세트를 선택할 수 있다.
프로세서(170)는 선택된 파형 특징 함수 및 선택된 타임 윈도우 중 적어도 하나에 대해 교차(cross-over) 연산 및 돌연변이(mutation) 연산 중 적어도 하나를 수행함으로써, 제2 파라미터 세트를 획득 할 수 있다.
일 실시 예에 있어서, 프로세서(170)는 제1 세트 및 제2 세트에 대해 교차 연산을 하고, 제3 세트에 대해 돌연변이 연산을 수행할 수 있다. 프로세서(170)는 교차 연산 결과 및 돌연변이 연산 결과에 기초하여 제2 파라미터 세트를 획득할 수 있다.
일 실시 예에 있어서, 프로세서(170)는 성능 값, 선택된 파형 특징 함수, 및 선택된 타임 윈도우 중 적어도 하나에 기초하여 파형 위치 함수를 획득 할 수 있다.
일 실시 예에 있어서, 프로세서(170)는, 종료 조건이 만족되지 않는 경우, 현재 세대를 다음 세대로 교체하고, 종료 조건을 반복적으로 판단할 수 있다.
프로세서(170)는, 종료 조건이 만족된 경우, 복수의 후보 신호들 중 성능 값이 종료 임계 값을 초과하는 신호(예컨대, 최종 신호)에 대응하는 최종 파라미터 세트를 획득할 수 있다. 프로세서(170)는 획득된 최종 파라미터 세트에 기초하여 최종 파라미터 세트를 업데이트할 수 있다. 일 실시 예에 있어서, 프로세서(170)는 최종 파라미터 세트를 갖는 비가청 음향 신호에 대응하는 기준 신호를 획득할 수 있다. 기준 신호는 비가청 음향 신호가 공간 구조에 의해 반사된 반사파 신호에 대응할 수 있다.
일 실시 예에 있어서, 파형 최적화 모델에 신호 변화량 및 환경 조건 정보가 입력되면 최종 파라미터 세트를 출력하도록, 파형 최적화 모델이 학습될 수 있다. 따라서, 프로세서(170)는 파형 최적화 모델을 이용하여, 신호 변화량 및 환경 조건 정보로부터 최종 파라미터 세트를 획득할 수 있다.
일 실시 예에 있어서, 객체 위치 정보는, 전자 장치(100)와 객체 간의 거리에 대응하는 거리 정보, 및 전자 장치(100)와 객체가 형성하는 각도에 대응하는 각도 정보를 포함할 수 있다. 일 실시 예에 있어서, 객체 위치 정보는 전자 장치(100)를 원점(예컨대, (0, 0))으로 하는 객체의 좌표 값(예컨대, (x, y))을 포함할 수 있다.
일 실시 예에 있어서, 프로세서(170)는 비가청 음향 신호에 기초하여 거리 정보를 획득할 수 있다. 일 실시 예에 있어서, 프로세서(170)는 거리 정보를 입력으로 하는 머신러닝 모델을 이용하여 각도 정보를 획득할 수 있다. 예를 들어, 머신러닝 모델에 거리 정보가 입력되면 각도 정보를 출력하도록 머신러닝 모델이 학습될 수 있다.
일 실시 예에 있어서, 프로세서(170)는 (최적화된) 비가청 음향 신호에 대응하는 반사파 신호에 기초하여 객체 위치 정보(예컨대, 좌표 값)를 획득할 수 있다. 여기서, 반사파 신호는 미리 정의된 시 간격 내에서 타임 윈도우로 구분되는 복수의 신호들을 의미할 수 있다. 즉, 프로세서(170)는 반사파 신호에 대응하는 복수의 신호들을 입력으로 하는 머신러닝 모델을 이용하여 객체 위치 정보를 획득할 수 있다. 예를 들어, 머신러닝 모델에 반사파 신호에 대응하는 복수의 신호들이 입력되면 객체 위치 정보를 출력하도록 머신러닝 모델이 학습될 수 있다.
일 실시 예에 있어서, 머신러닝 모델의 손실 함수는 MSE(mean square error)로 구현될 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 머신러닝 모델의 손실 함수는 RMSE(root mean square error), 바이너리 교차 엔트로피(binary crossentropy), 범주형 교차 엔트로피(categorical crossentropy) 등 모델의 예측 값과 실제 값과의 차이를 표현하는 임의의 함수로 구현될 수 있다.
일 실시 예에 있어서, 프로세서(170)는 전자 장치(100)가 위치한 공간의 온도, 기압, 습도, 및 밀도 중 적어도 하나를 포함하는 환경 조건(ambient condition) 정보를 획득할 수 있다. 프로세서(170)는 환경 조건 정보에 기초하여 공간의 음속을 획득할 수 있다. 프로세서(170)는 음속에 더 기초하여 제2 파라미터 세트를 획득할 수 있다. 일 실시 예에 있어서, 센서(150)는 공간의 온도, 기압, 습도, 및 밀도 등을 감지할 수 있다. 센서(150)에서 감지된 온도, 기압, 습도, 및 밀도 등에 기초하여 환경 조건 정보가 생성될 수 있다.
일 실시 예에 있어서, 프로세서(170)는 환경 조건 정보, 적합도 값, 제1 파라미터 세트 중 적어도 하나를 입력으로 하는 머신러닝 모델에 기초하여 제2 파라미터 세트를 획득할 수 있다.
몇몇 실시 예들에 있어서, 전자 장치(100)의 구성은 도 1에 도시된 바에 한정되지 않으며, 도 1에 도시되지 않은 구성을 추가로 포함하거나, 도 1에 도시된 구성 중 일부를 생략할 수 있다. 상술한 실시 예들의 각각의 추가되는 특징들은 서로 모순되지 않는 범위에서 서로 결합되거나 조합될 수 있다.
도 2a 내지 2c는 일 실시 예에 따른 전자 장치가 공간 구조에 최적화된 신호를 생성하는 방법을 예시적으로 보여주는 개념도들이다. 설명의 편의를 위해, 도 1에서 설명한 내용과 중복되는 내용은 생략한다.
도 2a와 함께, 도 1을 참조하면, 전자 장치(100)는 현재 세대에 대응하는 제1 파라미터 세트를 획득할 수 있다. 제1 파라미터 세트는 복수의 서브 파라미터 세트들을 포함할 수 있다. 복수의 서브 파라미터 세트들 각각은 복수의 후보 신호들 중 하나에 대응할 수 있다. 예를 들어, 제1 서브 파라미터 세트는 제1 후보 신호의 파형 특징 함수, 파형 위치 함수, 및 타임 윈도우 중 적어도 하나를 나타내는 파라미터들의 조합일 수 있다. 제2 서브 파라미터 세트는 제2 후보 신호의 파형 특징 함수, 파형 위치 함수, 및 타임 윈도우 중 적어도 하나를 나타내는 파라미터들의 조합일 수 있다. 유사하게, 제n 서브 파라미터 세트는 제n 후보 신호의 파형 특징 함수, 파형 위치 함수, 및 타임 윈도우 중 적어도 하나를 나타내는 파라미터들의 조합일 수 있다. 예를 들어, n은 자연수일 수 있다.
전자 장치(100)는 제1 파라미터 세트에 기초하여 복수의 후보 신호들(예컨대, S1a, S1b, S1c, S1d)을 출력할 수 있다. 설명의 편의를 위해 네 개의 신호들만을 도시하였으나, 본 개시는 이에 제한되지 않는다. 예를 들어, 복수의 후보 신호들(예컨대, S1a, S1b, S1c, S1d)은 비가청 음역대의 주파수를 가질 수 있다. 예를 들어, 복수의 후보 신호들(예컨대, S1a, S1b, S1c, S1d)은 처프 신호들일 수 있다.
전자 장치(100)는 복수의 후보 신호들(예컨대, S1a, S1b, S1c, S1d) 각각을 미리 정의된 시간 동안 출력할 수 있다. 전자 장치(100)는 복수의 후보 신호들(예컨대, S1a, S1b, S1c, S1d) 각각을 순차적으로 출력할 수 있다. 예를 들어, 전자 장치(100)는 미리 정의된 시간 동안 후보 신호(S1a)를 출력하고, 미리 정의된 지연 시간 후에 미리 정의된 시간 동안 후보 신호(S2a)를 출력할 수 있다.
전자 장치(100)는 후보 신호(예컨대, S1a)에 대응하는 파형 위치 함수에 기초하여, 후보 신호(예컨대, S1a)를 출력할 수 있다. 예를 들어, 전자 장치(100)는 후보 신호(예컨대, S1a)를 미리 정의된 주파수 범위 내에서 출력할 수 있다. 예를 들어, 미리 정의된 주파수 범위는 비가청 음역대의 주파수 범위의 적어도 일부일 수 있다. 예를 들어, 전자 장치(100)는 후보 신호(S1a)를 제1 주파수 범위 내에서 출력하고, 후보 신호(S1b)를 제2 주파수 범위 내에서 출력할 수 있다. 일 실시 예에 있어서, 제1 주파수 범위와 제2 주파수 범위는 미리 정의된 주파수 간격만큼 이격될 수 있다.
일 실시 예에 있어서, 전자 장치(100)는 제1 스피커 및 제2 스피커를 포함할 수 있다. 제1 스피커 및 제2 스피커가 출력하는 신호들은 서로 다를 수 있다. 예를 들어, 제1 스피커는 후보 신호(S1a)를 출력하고, 제2 스피커는 후보 신호(S1b)를 출력할 수 있다.
도 2b와 함께, 도 1 및 도 2a를 참조하면, 전자 장치(100)는 복수의 후보 신호들이 공간 구조(10)에 의해 반사된 제1 반사파 신호들을 수신할 수 있다. 공간 구조(10)는 객체(11)(예컨대, 가구, 가전, 벽 등)를 포함할 수 있다. 예시적으로, 후보 신호(S1a)는 객체(11)에 의해 반사될 수 있다. 전자 장치(100)는 반사된 신호, 즉 제1 반사파 신호(SR1a)를 수신할 수 있다.
일 실시 예에 있어서, 전자 장치(100)는 제1 마이크 및 제2 마이크를 포함할 수 있다. 제1 마이크 및 제2 마이크 각각은 제1 반사파 신호들을 수신할 수 있다.
전자 장치(100)는 수신된 제1 반사파 신호들에 기초하여 복수의 후보 신호들에 대한 적합도 값들을 획득할 수 있다. 적합도 값은 안정성 값 및 식별성 값을 포함할 수 있다.
일 실시 예에 있어서, 전자 장치(100)는 수신된 제1 반사파 신호(예컨대, SR1a)를 미리 정의된 시 간격으로 나눌 수 있다. 전자 장치(100)는 수신된 제1 반사파 신호(예컨대, SR1a)에 기초하여, 미리 정의된 시 간격을 갖는 타임 윈도우로 나누어진 복수의 서브 신호들을 생성할 수 있다. 예를 들어, 제1 반사파 신호(예컨대, SR1a)는 타임 도메인에서 n 개의 서브 신호들로 나누어질 수 있다. 예를 들어, 제1 서브 신호는 제1 타임 윈도우에 대응하고, 제2 서브 신호는 제2 타임 윈도우에 대응하며, 제n 서브 신호는 제n 타임 윈도우에 대응할 수 있다.
일 실시 예에 있어서, 복수의 서브 신호들은 신호 분석에 적합하도록 전처리될 수 있다. 예를 들어, 전자 장치(100)는 복수의 서브 신호들에 기초하여, 잡음(noise) 제거, 평활화, 이상 값 제거, 스퓨리어스(spurious) 성분 제거, 추세 제거(detrend), 필터링 등의 작업을 수행할 수 있다.
전자 장치(100)는 복수의 서브 신호들에 기초하여 제1 반사파 신호(예컨대, SR1a)에 대응하는 후보 신호(S1a)의 안정성 값을 계산할 수 있다. 예를 들어, 안정성 값은 서로 인접한 타임 윈도우의 서브 신호들 간의 교차 상관분석(cross corealation)을 통해 계산될 수 있다.
일 실시 예에 있어서, 안정성 값은 복수의 서브 신호들에 기초하여 측정된 값들의 유사성을 의미할 수 있다. 예를 들어, 전자 장치(100)는 복수의 서브 신호들에 기초하여 전자 장치(100)와 임의의 객체(11) 간의 거리 값들을 계산할 수 있다. 예시적으로, 전자 장치(100)는 제1 서브 신호에 기초하여 제1 거리 값을 계산하고, 제2 서브 신호에 기초하여 제2 거리 값을 계산할 수 있다. 그러나, 본 개시는 거리 값에 한정되지 않으며, 전자 장치(100)는 공간 구조(10)의 특성을 내재하는 임의의 값을 계산할 수 있다. 전자 장치(100)는 거리 값들에 기초하여 제1 반사파 신호(예컨대, SR1a)에 대응하는 후보 신호(예컨대, S1a)의 안정성 값을 계산할 수 있다.
일 실시 예에 있어서, 전자 장치(100)는 센서(150) 또는 외부 장치로부터 환경 조건 정보를 획득할 수 있다. 전자 장치(100)는 환경 조건 정보에 기초하여 소리의 속도를 계산할 수 있다. 예를 들어, 환경 조건 정보 중 공간 구조(10) 내부의 온도에 기초하여 소리의 속도가 계산될 수 있으며, 다음과 같은 수학식 1의 관계를 따를 수 있다.
Figure PCTKR2023003224-appb-img-000001
수학식 1을 참고하면, TC는 섭씨 온도로 정의되고, vsound는 소리의 속도로 정의된다. 따라서, 전자 장치(100)는 공간 구조(10) 내부의 섭씨 온도를 획득하고, 획득된 섭씨 온도에 기초하여 공간 구조(10)에서의 소리의 속도를 계산할 수 있다. 예시적으로 소리의 속도와 온도 간의 관계식을 설명하였으나, 전자 장치(100)는 소리의 속도를 결정하는 요소들을 획득하고, 소리의 속도와 요소들 간의 관계식에 기초하여 소리의 속도를 계산할 수 있다. 전자 장치(100)는 소리의 속도, 후보 신호(예컨대, S1a), 및 반사파 신호(예컨대, SR1a)에 기초하여 거리 값을 계산할 수 있다.
일 실시 예에 있어서, 안정성 값은 서브 신호들에 기초하여 계산된 거리 값들의 표준 편차로 계산될 수 있다. 이 경우, 안정성 값이 작을수록 대응하는 후보 신호(예컨대, S1a)의 안정성 또는 강건성이 우수한 것으로 평가될 수 있다.
일 실시 예에 있어서, 안정성 값은 다음과 같은 수학식 2의 관계를 따를 수 있다.
Figure PCTKR2023003224-appb-img-000002
수학식 2를 참고하면, s는 스피커의 식별자로 정의되고, m은 마이크의 식별자로 정의되고, t는 타임 윈도우의 식별자로 정의되고, i는 타임 윈도우에 대응하는 신호의 개별 인덱스로 정의되고, n은 타임 윈도우에 대응하는 신호의 인덱스들의 개수로 정의된다. 또한,
Figure PCTKR2023003224-appb-img-000003
은 직전 타임 윈도우(t-1)에 대응하는 값으로 정의되고, N은 현재 타임 윈도우(t)에 대응하는 값으로 정의된다.
Figure PCTKR2023003224-appb-img-000004
는 스피커 s, 마이크 m, 타임 윈도우 t인 경우의 안정성 값으로 정의된다. 그러나, 수학식 2는 안정성 값을 계산하기 위한 일 예시에 불과하며, 반사파 신호의 타임 윈도우들에 대응하는 값들의 유사성을 계산하기 위한 임의의 수학식이 활용될 수 있음을 물론이다.
전자 장치(100)는 복수의 서브 신호들에 기초하여 제1 반사파 신호(예컨대, SR1a)에 대응하는 후보 신호(예컨대, S1a)의 식별성 값을 계산할 수 있다. 예를 들어, 식별성 값은 후보 신호(예컨대, S1a)와 후보 신호(예컨대, S1a)에 대응하는 제1 반사파 신호(예컨대, SR1a) 간의 교차 상관분석을 통해 계산될 수 있다. 일 실시 예에 있어서, 전자 장치(100)는, 교차 상관분석 전에, 제1 반사파 신호(예컨대, SR1a)의 고조파(harmonics)를 분해할 수 있다.
일 실시 예에 있어서, 안정성 값은 다음과 같은 수학식 3의 관계를 따를 수 있다.
Figure PCTKR2023003224-appb-img-000005
수학식 3을 참고하면, s는 스피커의 식별자로 정의되고, m은 마이크의 식별자로 정의되고, t는 타임 윈도우의 식별자로 정의되고, i는 타임 윈도우에 대응하는 신호의 개별 인덱스로 정의되고, n은 타임 윈도우에 대응하는 신호의 인덱스들의 개수로 정의된다. 또한,
Figure PCTKR2023003224-appb-img-000006
은 원본 신호(예컨대, 후보 신호)에 대응하는 값으로 정의되고, N은 원본 신호가 공간 구조(10)에 의해 반사된 반사파 신호에 대응하는 값으로 정의된다.
Figure PCTKR2023003224-appb-img-000007
는 스피커 s, 마이크 m, 타임 윈도우 t인 경우의 식별성 값으로 정의된다. 그러나, 수학식 3은 식별성 값을 계산하기 위한 일 예시에 불과하며, 원본 신호와 반사파 신호의 신호 유사성을 계산하기 위한 임의의 수학식이 활용될 수 있음을 물론이다.
전자 장치(100)는 적합도 값에 기초하여 성능 값을 계산할 수 있다. 성능 값은 복수의 후보 신호들 각각의 안정성 값과 식별성 값을 변수로 하는 결정 함수의 반환 값일 수 있다. 예를 들어, 결정 함수는 다음과 같은 수학식 4의 관계를 따를 수 있다.
Figure PCTKR2023003224-appb-img-000008
수학식 4를 참고하면,
Figure PCTKR2023003224-appb-img-000009
는 스피커 s, 마이크 m, 타임윈도우 t인 경우의 후보 신호의 성능 값으로 정의된다. 그러나, 수학식 4는 성능 값을 계산하기 위한 일 예시에 불과하며, 안정성 값 및 식별성 값 중 적어도 하나를 변수로 하는 임의의 수학식이 활용될 수 있음을 물론이다.
전자 장치(100)는 적합도 값에 대응하는 성능 값이 종료 임계 값을 초과하는지 여부(이하, 종료 조건)를 판단할 수 있다. 성능 값이 클수록 신호가 우수한 것으로 평가될 수 있다. 성능 값이 미리 정의된 종료 임계 값을 초과하는 경우, 종료 조건이 만족될 수 있다.
반대로, 성능 값이 작을수록 신호가 우수한 것으로 평가될 수 있다. 성능 값이 미리 정의된 종료 임계 값보다 작거나 같은(또는 작은) 경우, 종료 조건이 만족될 수 있다. 예를 들어, 종료 조건은 다음과 같은 수학식 5의 관계를 따를 수 있다.
Figure PCTKR2023003224-appb-img-000010
수학식 5를 참고하면,
Figure PCTKR2023003224-appb-img-000011
는 종료 임계 값으로 정의된다. 성능 값이
Figure PCTKR2023003224-appb-img-000012
를 초과하는 경우, 전자 장치(100)는 종료 조건이 만족되지 않은 것으로 판단할 수 있다. 성능 값이
Figure PCTKR2023003224-appb-img-000013
보다 작거나 같은 경우, 전자 장치(100)는 종료 조건이 만족된 것으로 판단할 수 있다.
일 실시 예에 있어서, 전자 장치(100)는 이전 세대들에 대응하는 성능 값들과 현재 세대의 성능 값들을 비교하여 수렴 여부를 판단할 수 있다. 현재 세대의 성능 값들 중 적어도 하나가 특정 값으로 수렴한 경우, 종료 조건이 만족될 수 있다.
일 실시 예에 있어서, 전자 장치(100)는 종료 조건을 판단하는 횟수를 카운트할 수 있다. 카운트된 횟수는 세대 교체 횟수와 동일할 수 있다. 카운트된 횟수가 임계 횟수를 초과하는 경우, 종료 조건이 만족될 수 있다.
종료 조건이 만족된 경우, 전자 장치(100)는 종료 조건을 만족한 성능 값을 갖는 후보 신호의 서브 파라미터 세트를 저장할 수 있다. 예를 들어, 서브 파라미터 세트는 메모리(160) 또는 스토리지(미도시)에 저장될 수 있다.
종료 조건이 만족되지 않은 경우, 전자 장치(100)는 성능 값 및 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득할 수 있다. 전자 장치(100)는 현재 세대를 다음 세대로 교체할 수 있다. 즉, 제1 파리미터 세트는 제2 파라미터 세트로 교체될 수 있다.
도 2c와 함께, 도 1, 2a 및 2b를 참조하면, 전자 장치(100)는 교체된 현재 세대(즉, 다음 세대)에 대응하는 교체된 제1 파라미터 세트(즉, 제2 파라미터 세트)에 기초하여, 복수의 후보 신호들(예컨대, S2a. S2b, S2c, S2d)을 출력할 수 있다. 전자 장치(100)는 복수의 후보 신호들(예컨대, S2a. S2b, S2c, S2d)의 반사파 신호들에 기초하여 성능 값들을 획득할 수 있다. 전자 장치(100)는 성능 값들에 기초하여 종료 조건이 만족될 때까지 반복하여 세대를 교체할 수 있다.
도 3a 내지 3d는 일 실시 예에 따른 위치 추론을 위한 신호 파형 최적화를 수행하는 방법을 보여주는 흐름도이다. 설명의 편의를 위해 도 1 내지 2c에서 설명한 내용과 중복되는 내용은 생략한다.
도 3a와 함께, 도 1 내지 2c를 참조하면, 전자 장치(100)가 위치 추론을 위한 신호 파형 최적화를 수행하는 방법은 단계 S310 내지 S380을 포함할 수 있다. 일 실시 예에 있어서, 단계 S310 내지 S380은 전자 장치(100) 또는 프로세서(170)에 의해 수행될 수 있다. 본 개시에 따른 위치 추론을 위한 신호 파형 최적화를 수행하는 방법은 도 3a에 도시된 바에 한정되지 않으며, 도 3a에 도시된 단계 중 어느 하나를 생략할 수도 있고, 도 3a에 도시되지 않은 단계를 더 포함할 수도 있다.
단계 S310에서, 전자 장치(100)는 현재 세대에 대응하는 제1 파라미터 세트를 획득할 수 있다. 제1 파라미터 세트는 복수의 후보 신호들 각각의 서브 파리미터 세트들을 포함할 수 있다. 일 실시 예에 있어서, 전자 장치(100)는 메모리(160) 또는 스토리지로부터 제1 파라미터 세트를 획득할 수 있다. 일 실시 예에 있어서, 전자 장치(100)는 외부 장치로부터 제1 파라미터 세트를 획득할 수 있다.
단계 S320에서, 전자 장치(100)는 제1 파라미터 세트에 기초하여 복수의 후보 신호들을 출력할 수 있다. 프로세서(170)는 제1 파라미터 세트에 기초하여 적어도 하나의 스피커(130)로 하여금 복수의 후보 신호들을 출력하도록 제어할 수 있다. 적어도 하나의 스피커(130)는 복수의 후보 신호들을 출력할 수 있다. 예를 들어, 전자 장치(100)는 제1 스피커 및 제2 스피커를 포함할 수 있으며, 스피커의 개수가 이에 한정되는 것은 아니다. 제1 스피커와 제2 스피커는 서로 같거나 다른 후보 신호들을 출력할 수 있다. 일 실시 예에 있어서, 복수의 후보 신호들은 미리 정의된 시 간격으로 출력될 수 있다.
단계 S330에서, 전자 장치(100)는 복수의 후보 신호들이 공간 구조(10)에 의해 반사된 제1 반사파 신호들을 수신할 수 있다. 프로세서(170)는 적어도 하나의 마이크(140)로 하여금 복수의 후보 신호들이 공간 구조에 의해 반사된 제1 반사파 신호들을 수신하도록 제어할 수 있다. 적어도 하나의 마이크(140)는 제1 반사파 신호들을 수신할 수 있다. 예를 들어, 전자 장치(100)는 제1 마이크 및 제2 마이크를 포함할 수 있으며, 스피커의 개수가 이에 한정되는 것은 아니다. 일 실시 예에 있어서, 프로세서(170)는 수신된 제1 반사파 신호들에 대한 전처리를 수행할 수 있다.
단계 S340에서, 전자 장치(100)는 제1 반사파 신호들에 기초하여 복수의 후보 신호들에 대한 적합도 값을 획득할 수 있다. 예를 들어, 프로세서(170)는 복수의 후보 신호들 각각에 대한 적합도 값을 계산할 수 있다.
단계 S350 및 S360에서, 전자 장치(100)는 적합도 값에 대응하는 성능 값이 제1 임계 값을 초과하는지 여부인 종료 조건을 판단할 수 있다. 종료 조건이 만족되는 경우(Yes), 절차는 종료된다. 종료 조건이 만족되지 않는 경우(No), 절차는 종료되지 않고 단계 S370으로 이동한다.
단계 S370에서, 전자 장치(100)는 성능 값 및 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득할 수 있다.
단계 S380에서, 전자 장치(100)는 현재 세대를 다음 세대로 교체하고, 절차는 단계 S320으로 이동한다.
도 3b와 함께, 도 1 내지 3a를 참조하면, 일 실시 예에 따른 단계 S370은 단계 S371 내지 S373을 포함할 수 있다. 일 실시 예에 있어서, 단계 S371 내지 S373은 전자 장치(100) 또는 프로세서(170)에 의해 수행될 수 있다. 단계 S370의 세부 단계들은 도 3b에 도시된 바에 한정되지 않으며, 도 3b에 도시된 단계 중 어느 하나를 생략할 수도 있고, 도 3b에 도시되지 않은 단계를 더 포함할 수도 있다.
단계 S371에서, 전자 장치(100)는 상관 관계에 대응하는 분석 데이터를 획득할 수 있다. 예를 들어, 프로세서(170)는 복수의 후보 신호들 각각의 성능 값 및 파라미터들 간의 상관 관계를 계산할 수 있다.
단계 S372에서, 전자 장치(100)는 상관 관계에 대응하는 분석 데이터에 기초하여 파형 특징 함수 및 타임 윈도우를 선택할 수 있다. 예를 들어, 프로세서(170)는 성능 값에 높은 상관 계수를 갖는 파형 특징 함수 및 타임 윈도우를 선택할 수 있다. 예를 들어, 프로세서(170)는 성능 값이 우수한 파형 특징 함수 및 타임 윈도우에 대하여, 성능 값의 우수성에 비례한 확률을 부여할 수 있다. 프로세서(170)는 부여된 확률에 기초하여 파형 특징 함수 및 타임 윈도우에 대해 선택 연산을 수행할 수 있다. 일 실시 예에 있어서, 프로세서(170)는 선택된 파형 특징 함수 및 타임 윈도우에 기초하여 파형 위치 함수를 재계산할 수 있다.
단계 S373에서, 전자 장치(100)는 선택된 파형 특징 함수 및 선택된 타임 윈도우 중 적어도 하나에 대해 교차 연산 및 돌연변이 연산 중 적어도 하나를 수행함으로써 제2 파라미터 세트를 획득할 수 있다. 예를 들어, 식별성 값이 우수한 파형 특징 함수에 대응하는 파라미터들과 안정성 값이 우수한 파형 특징 함수에 대응하는 파라미터들은 서로 교차될 수 있다. 예를 들어, 교차 연산은 단순 교차(simple cross-over), 복수점 교차(k-point cross-over), 균일 교차(uniform cross-over), 또는 산술 교차(arithmetic cross-over) 중 어느 하나의 교차 연산 방법으로 수행될 수 있다. 예를 들어, 식별성 값과 안정성 값 모두 우수한 파형 특징 함수에 대응하는 파라미터들은 일정한 확률로 변이될 수 있다. 교차 연산 및 돌연변이 연산을 수행함으로써, 다양한 파형 특징 함수에 대한 탐색이 가능하다.
도 3c와 함께, 도 1 내지 3a를 참조하면, 일 실시 예에 따른 단계 S370은 단계 S374 내지 S376을 포함할 수 있다. 일 실시 예에 있어서, 단계 S374 내지 S376은 전자 장치(100) 또는 프로세서(170)에 의해 수행될 수 있다. 단계 S370의 세부 단계들은 도 3c에 도시된 바에 한정되지 않으며, 도 3c에 도시된 단계 중 어느 하나를 생략할 수도 있고, 도 3c에 도시되지 않은 단계를 더 포함할 수도 있다.
단계 S374에서, 전자 장치(100)는 전자 장치(100)가 위치한 공간의 온도, 기압, 습도, 및 밀도 중 적어도 하나에 대응하는 정보를 포함하는 환경 조건 정보를 획득할 수 있다.
단계 S375에서, 전자 장치(100)는 환경 조건 정보에 기초하여 공간의 음속을 획득할 수 있다.
단계 S376에서, 전자 장치(100)는 음속에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득할 수 있다. 예를 들어, 거리 값에 기초하여 안정성 값을 계산하는 경우, 전자 장치(100)는 공간의 특징에 따른 음속에 기초하여 보다 정확한 안정성 값을 계산할 수 있다.
도 3d와 함께, 도 1 내지 3a를 참조하면, 일 실시 예에 따른 전자 장치(100)가 위치 추론을 위한 신호 파형 최적화를 수행하는 방법은 단계 S362 내지 S364를 더 포함할 수 있다. 일 실시 예에 있어서, 단계 S362 내지 S364는 전자 장치(100) 또는 프로세서(170)에 의해 수행될 수 있다. 그러나 도 3d에 도시된 바에 한정되지 않으며, 도 3d에 도시된 단계 중 어느 하나를 생략할 수도 있고, 도 3d에 도시되지 않은 단계를 더 포함할 수도 있다.
종료 조건이 만족되는 경우(Yes), 절차는 단계 S362로 이동한다. 단계 S362에서, 전자 장치(100)는 복수의 후보 신호들 중 종료 조건을 만족하는 최종 신호에 대응하는 최종 파라미터 세트를 획득할 수 있다. 최종 파라미터 세트는 전자 장치(100)의 메모리(160) 또는 스토리지(미도시)에 저장되거나, 외부 장치에 저장될 수 있다.
단계 S364에서, 전자 장치(100)는 최종 신호에 대응하는 기준 신호를 획득할 수 있다. 일 실시 예에 있어서, 전자 장치(100)는 최종 신호를 출력하고, 공간 구조의 변경, 환경 조건의 변경, 및 객체의 움직임이 없는 상황에서의 반사파 신호를 수신할 수 있다. 전자 장치(100)는 수신된 반사파 신호에 기초하여 기준 신호 또는 기준 신호에 대응하는 값들을 생성할 수 있다. 기준 신호 또는 그에 대응되는 값들은 전자 장치(100)의 메모리(160) 또는 스토리지(미도시)에 저장되거나, 외부 장치에 저장될 수 있다.
도 4a는 일 실시 예에 따른 상관 관계를 설명하기 위한 개념도이다. 도 4a와 함께, 도 1, 3a 및 3b를 참조하면, 전자 장치(100)는 상관 관계에 대응하는 분석 데이터(400)를 생성할 수 있다. 예를 들어, 상관 관계는 성능(Performance) 값 및 복수의 파라미터들 간의 상관 관계를 의미할 수 있다. 도 4a 에서는, 복수의 파라미터들 중 모양 함수(shape function), 주기(cycle), 진폭(amplitude)를 변수로 한 분석 데이터만을 도시하나, 본 개시는 이에 제한되지 않고, 신호의 내재적인 특성을 나타내는 임의의 파라미터들을 변수로 하여 상관 관계가 분석될 수 있다.
분석 데이터(400)는 정규화된 성능 값, 모양 함수, 주기, 진폭 간의 예시적인 상관 분석 결과이다. 예를 들어, x 축이 성능 값이고, y 축이 모양 함수인 경우, 성능 값과 모양 함수 간의 상관 분석 결과를 보여준다. x 축과 y 축이 서로 같은 값인 경우, 대응하는 값의 히스토그램을 보여준다.
일 실시 예에 있어서, 전자 장치(100)는 성능 값과 복수의 파라미터들(예컨대, 모양 함수, 주기, 진폭 등) 중 어느 하나 간의 상관 계수를 계산할 수 있다. 상관 계수가 미리 정의된 값을 초과하는 경우(즉, 높은 상관 계수를 갖는 경우), 전자 장치(100)는 분석 데이터(400)에 기초하여 높은 상관 계수를 갖는 파라미터들 중 우수한 성능 값에 대응되는 영역을 선택할 수 있다. 여기서, 성능 값은 작을수록 신호의 성능이 우수한 것으로 평가될 수 있다. 예를 들어, 성능 값이 미리 정의된 또는 적응적으로 결정되는 기준 값(예컨대, 0.1)보다 작은 경우의 파라미터들의 값을 선택할 수 있다. 예를 들어, 군집(C1)은 성능 값이 0.1 미만인 영역을 표시한다. 군집(C1)에 대응하는 모양 함수의 값은 0.2 내지 0.3이고, 주기의 값은 0.4 내지 0.6이고, 진폭의 값은 0.7 내지 0.9이다. 따라서, 전자 장치(100)는 후보 신호들 중 우수한 성능 값을 갖는 파형 특징 함수 및 타임 윈도우를 선택할 수 있다.
도 4b는 일 실시 예에 따른 파형 위치 함수의 선택을 설명하기 위한 개념도이다. 도 4a와 함께, 도 1, 3a, 3b, 4a를 참조하면, 전자 장치(100)는 분석 데이터(400)에 기초하여 선택된 파형 특징 함수에 대한 데이터 분포를 분석할 수 있다. 도 4b는 데이터 분포의 결과를 상자 수염 그림(box-and-whisker plot)으로 도시하나, 본 개시는 이에 한정되지 않고, 데이터 분포를 분석하는 임의의 방식으로 구현될 수 있음은 물론이다. 전자 장치(100)는 선택된 파형 특징 함수에 대한 데이터 분포에 기초하여 파형 위치 함수를 선택할 수 있다. 즉, 파형 특징 함수에 대응하는 신호의 주파수 도메인, 및/또는 시간 도메인에서의 위치가 결정될 수 있다.
도 4c는 일 실시 예에 따른 교차 연산 및 돌연변이 연산을 설명하기 위한 산점도이다. 도 4c와 함께, 도 1, 3a 및 3b를 참조하면, 산점도(scatter plot)는 후보 신호들 각각의 안정성 값과 식별성 값을 보여준다. x 축은 안정성 값에 대응하고, y 축은 식별성 값에 대응할 수 있다. 일 실시 예에 있어서, 안정성 값 및 식별성 값은 정규화된 값일 수 있다.
여기서, 안정성 값 및 식별성 값은 작을수록 우수한 것으로 평가될 수 있다. 그러나 본 개시는 이에 제한되지 않는다. 전자 장치(100)는 안정성 값이 제1 기준 값보다 작은 제1 세트를 선택하고, 식별성 값이 제2 기준 값보다 작은 제2 세트를 선택하고, 안정성 값이 제3 기준 값보다 작고 식별성 값이 제4 기준 값보다 작은 제3 세트를 선택할 수 있다. 전자 장치(100)는 제1 세트 및 제2 세트에 대해 교차 연산을 수행할 수 있다. 전자 장치(100)는 제3 세트에 대해 돌연변이 연산을 수행할 수 있다.
도 4d는 일 실시 예에 따른 후보 신호들 간의 파형 위치를 설명하기 위한 개념도이다. 도 4c와 함께, 도 1, 3a, 3b, 4a 및 4b를 참조하면, 전자 장치(100)는 파형 위치 함수에 기초하여 후보 신호들을 주파수 도메인 및 시간 도메인에 위치시킬 수 있다.
전자 장치(100)는 후보 신호들 각각이 파형 위치 함수의 주파수 영역(fR)에 위치하도록 제어할 수 있다. 주파수 영역(fR)은 전체 후보 신호들의 주파수 대역(예컨대, 18KHz~20KHz) 중 특정 후보 신호의 주파수 대역을 의미할 수 있다. 전자 장치(100)는 후보 신호들이 서로 지연 시간(tD)을 갖고 출력하도록 제어할 수 있다. 제1 후보 신호와 제1 후보 신호와 연속적으로 출력되는 제2 후보 신호는 제1 후보 신호와 지연 시간(tD)만큼 이격되어 출력될 수 있다. 전자 장치(100)는 후보 신호들이 서로 주파수 간격(fI)을 갖고 출력하도록 제어할 수 있다. 주파수 간격(fI)은 제1 후보 신호의 주파수 영역과 제2 후보 신호 간의 주파수 영역 간의 주파수 차이를 의미할 수 있다.
도 5는 일 실시 예에 따른 전자 장치가 공간 구조에 최적화된 신호를 이용하는 방법을 예시적으로 보여주는 개념도이다. 설명의 편의를 위해, 도 1의 전자 장치(100)의 기능, 구성, 및 동작은 전자 장치(500)의 기능, 구성, 및 동작과 유사하므로, 중복되는 내용은 생략한다. 도 1의 전자 장치(100)와 전자 장치(500)가 동일한 장치인 것을 가정하여 이하 설명한다.
도 5와 함께, 도 1 내지 2c를 참조하면, 전자 장치(500)는 비가청 음향 신호(IAS)를 출력할 수 있다. 예를 들어, 비가청 음향 신호(IAS)는 처프 신호일 수 있다. 일 실시 예에 있어서, 전자 장치(500)는 전자 장치(500)의 메모리 또는 스토리지에 저장된 최종 파라미터 세트(즉, 종료 조건을 만족하는 서브 파라미터 세트)에 기초하여 비가청 음향 신호(IAS)를 출력할 수 있다. 일 실시 예에 있어서, 전자 장치(100)는 외부 장치로부터 획득한 최종 파라미터 세트에 기초하여 비가청 음향 신호(IAS)를 출력할 수 있다.
일 실시 예에 있어서, 전자 장치(500)는 복수의 스피커들을 포함할 수 있다. 복수의 스피커들은 서로 다른 비가청 음향 신호(IAS)를 출력할 수 있다. 예를 들어, 제1 최종 파라미터 세트에 기초하여 제1 스피커에서 제1 비가청 음향 신호가 출력되고, 제2 최종 파라미터 세트에 기초하여 제2 스피커에서 제2 비가청 음향 신호가 출력될 수 있다. 즉, 전자 장치(500)는 스피커 별 최종 파라미터 세트에 기초하여 비가청 음향 신호(IAS)를 출력할 수 있다.　
전자 장치(500)는 출력된 비가청 음향 신호(IAS)가 공간 구조(10)에 의해 반사된 제1 반사파 신호(RS)를 수신할 수 있다. 전자 장치(500)는 타임 윈도우에 기초하여 제1 반사파 신호(RS)를 나눌 수 있다. 일 실시 예에 있어서, 전자 장치(500)는 복수의 마이크들을 포함할 수 있다. 복수의 마이크들 각각은 제1 반사파 신호(RS)를 수신할 수 있다. 복수의 마이크들은 전자 장치(500)의 서로 다른 위치에 배치될 수 있다.
전자 장치(500)는 비가청 음향 신호(IAS)에 대응하는 기준 신호와, 수신된 제1 반사파 신호(RS) 간의 상관도(correlation)에 기초하여 신호 변화량을 획득할 수 있다. 상관도는 신호들 간의 상호 상관(cross-correlation)의 시간적인 변화를 의미할 수 있다. 예를 들어, 상관도가 높은 경우, 신호 변화량은 작은 것으로 판단되고, 상관도가 낮은 경우, 신호 변화량은 큰 것으로 판단될 수 있다.
신호 변화량이 미리 정의된 제1 임계 값을 초과한 경우, 전자 장치(500)는 공간 구조(10) 내에서 객체(예컨대, 사람)의 움직임이 발생했다고 판단할 수 있다. 제1 임계 값은 객체의 움직임에 대응하는 신호 변화량으로 미리 정의될 수 있다. 예를 들어, 공간 구조(10)의 제1 위치(12a)에 존재하는 사람이 제2 위치(12b)로 이동한 경우, 신호 변화량이 제1 임계 값을 초과할 수 있다.　 전자 장치(500)는 신호 변화량에 기초하여 공간 구조(10) 내의 객체의 위치에 대응하는 객체 위치 정보를 획득할 수 있다. 즉, 전자 장치(500)는 객체에 대한 위치 추론을 수행할 수 있다.
일 실시 예에 있어서, 전자 장치(500)는 제1 반사파 신호(RS)에 기초하여 거리 정보를 획득할 수 있다. 전자 장치(500)는 거리 정보를 입력으로 하는 머신러닝 모델을 이용하여 각도 정보를 출력할 수 있다. 머신러닝 모델은 객체의 거리 정보를 입력으로 하여 객체의 각도 정보를 출력하도록 학습될 수 있다.
신호 변화량이 미리 정의된 제2 임계 값을 초과한 경우, 전자 장치(500)는 공간 구조(10)의 변경이 발생했다고 판단할 수 있다. 제2 임계 값은 공간 구조(10)의 변경에 대응하는 신호 변화량으로 미리 정의될 수 있다. 예를 들어, 공간 구조(10)의 제1 위치(11a)에 배치된 가구가 제2 위치(11b)로 변경된 경우, 신호 변화량이 제2 임계 값을 초과할 수 있다. 예를 들어, 공간 구조(10)의 환경 조건(예컨대, 온도)이 변경된 경우, 신호 변화량이 제2 임계 값을 초과할 수 있다. 전자 장치(500)는 파형 최적화 모델을 이용하여 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트할 수 있다. 여기서 파형 최적화 모델은 도 1 내지 4d에서 설명한 전자 장치(100)의 기능 및 동작을 의미할 수 있다. 파형 최적화 모델을 이용하여 최종 파라미터 세트를 업데이트하는 방법은 도 6b에서 상세하게 설명한다.
객체의 움직임에 대응하는 신호 변화량이 공간 구조(10)의 변경에 대응하는 신호 변화량보다 클 수 있다. 이에 따라, 제1 임계 값은 제2 임계 값보다 클 수 있다. 일 실시 예에 있어서, 제1 임계 값을 초과하는 신호 변화량이 발생한 경우, 제2 임계 값을 초과했다 하더라도 전자 장치는 공간 구조(10)의 변경이 발생한 것으로 판단하지 않을 수 있다.
일 실시 예에 있어서, 파형 최적화 모델은 신호 변화량 및 환경 조건 정보가 입력되는 최종 파라미터 세트가 출력되도록 학습된 모델일 수 있다.
일 실시 예에 있어서, 파형 최적화 모델은 도 1 내지 도 3d에서 설명한 유전 알고리즘을 이용한 파형 최적화 방법에 대응할 수 있다. 파형 최적화 모델의 세부 내용은 도 6b에서 상세하게 설명한다.
도 6a 내지 6c는 일 실시 예에 따른 위치 추론을 위한 신호 처리를 수행하는 방법을 보여주는 흐름도이다. 설명의 편의를 위해 도 1 내지 5에서 설명한 내용과 중복되는 내용은 생략한다.
도 6a와 함께, 도 5를 참조하면, 전자 장치(100)가 위치 추론을 위한 신호 처리를 수행하는 방법은 단계 S610 내지 S650을 포함할 수 있다. 일 실시 예에 있어서, 단계 S610 내지 S650은 전자 장치(500) 또는 전자 장치(500)의 프로세서에 의해 수행될 수 있다. 본 개시에 따른 위치 추론을 위한 신호 처리를 수행하는 방법은 도 6a에 도시된 바에 한정되지 않으며, 도 6a에 도시된 단계 중 어느 하나를 생략할 수 도 있고, 도 6a에 도시되지 않은 단계를 더 포함할 수도 있다.
단계 S610에서, 전자 장치(500)는 비가청 음향 신호를 출력할 수 있다. 예를 들어, 비가청 음향 신호는 도 3a 내지 3d에서 설명한 최종 신호에 대응할 수 있다. 전자 장치(500)는 최종 파라미터 세트에 기초하여 비가청 음향 신호를 출력할 수 있다.
단계 S620에서, 전자 장치(500)는 출력된 비가청 음향 신호가 공간 구조에 의해 반사된 제1 반사파 신호를 수신할 수 있다.
단계 S630에서, 전자 장치(500)는 비가청 음향 신호에 대응하는 기준 신호와, 수신된 제1 반사파 신호 간의 상관도에 기초하여 신호 변화량을 획득할 수 있다.
단계 S640에서, 전자 장치(500)는, 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 신호 변화량에 기초하여 공간 구조 내의 객체의 위치에 대응하는 객체 위치 정보를 획득할 수 있다.
단계 S650에서, 전자 장치(500)는, 신호 변화량이 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트할 수 있다. 일 실시 예에 있어서, 전자 장치(500)는, 신호 변화량이 환경 조건의 변경에 대응하는 제3 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트할 수 있다.
도 6b와 함께, 도 5를 참조하면, 일 실시 예에 따른 단계 S650은 단계 S651 내지 S659을 포함할 수 있다. 일 실시 예에 있어서, 단계 S651 내지 S659는 전자 장치(500) 또는 전자 장치(500)의 프로세서에 의해 수행될 수 있다. 단계 S650의 세부 단계들은 도 6b에 도시된 바에 한정되지 않으며, 도 6b에 도시된 단계 중 어느 하나를 생략할 수 도 있고, 도 6b에 도시되지 않은 단계를 더 포함할 수도 있다.
일 실시 예에 있어서, 도 6b에 도시된 단계들은 도 3a에 도시된 단계들에 대응할 수 있다. 예를 들어, 전자 장치(500)가 수행하는 단계 S651 내지 S658은 전자 장치(100)이 수행하는 단계 S310 내지 S380와 유사하므로, 중복되는 내용은 설명을 생략한다. 일 실시 예에 있어서, 도 6b에 도시된 단계들은 도 1 내지 5에서 설명한 적어도 하나의 실시 예들을 포함할 수 있다.
단계 S656에서, 종료 조건이 만족된 경우, 절차는 단계 S659로 이동한다. 단계 S659에서, 전자 장치(500)는 복수의 후보 신호들 중 성능 값이 제1 임계 값을 초과하는 신호에 대응하는 서브 파라미터 세트에 기초하여 최종 파라미터 세트를 업데이트할 수 있다. 일 실시 예에 있어서, 전자 장치(500)는 업데이트된 최종 파라미터 세트에 기초하여 비가청 음향 신호를 출력할 수 있다.
도 6b와 함께, 도 5를 참조하면, 일 실시 예에 따른 단계 S640은 단계 S642 및 S644을 포함할 수 있다. 일 실시 예에 있어서, 단계 S642 내지 S644는 전자 장치(500) 또는 전자 장치(500)의 프로세서에 의해 수행될 수 있다. 단계 S640의 세부 단계들은 도 6c에 도시된 바에 한정되지 않으며, 도 6c에 도시된 단계 중 어느 하나를 생략할 수 도 있고, 도 6c에 도시되지 않은 단계를 더 포함할 수도 있다.
단계 S642에서, 전자 장치(500)는 제1 반사파 신호에 기초하여 객체의 거리에 대응하는 거리 정보를 획득할 수 있다. 예를 들어, 거리 정보는 제1 반사파 신호와 비가청 음향 신호 간의 상호 상관 분석을 통해 획득될 수 있다.
단계 S644에서, 전자 장치(500)는 거리 정보를 입력으로 하는 머신러닝 모델에 기초하여 각도 정보를 획득할 수 있다. 전자 장치(500)는 학습된 머신러닝 모델을 메모리로 로드할 수 있다. 학습된 머신러닝 모델은 거리 정보에 기초하여 각도 정보를 출력할 수 있다. 일 실시 예에 있어서, 전자 장치(500)는 거리 정보와 각도 정보에 기초하여 공간 구조(10) 내의 객체 위치 정보를 획득할 수 있다.
도 7a 내지 7b는 일 실시 예에 따른 반사파 신호의 수신 강도를 예시적으로 보여주는 그래프들이다. 도 7a 내지 7b와 함께, 도 5를 참조하면, 전자 장치(500)는 제1 마이크(mic 1), 제2 마이크(mic 2), 및 제3 마이크(mic 3)을 포함할 수 있다. 다만, 전자 장치(500)의 개수는 이에 제한되지 않는다. 전자 장치(500)에서의 제1 내지 제3 마이크(mic 1, mic 2, mic 3)의 위치는 서로 다를 수 있다. 예를 들어, x 축은 시간에 대응하고, y 축은 마이크들 각각이 수신하는 반사파 신호의 수신 강도에 대응할 수 있다. 전자 장치(500)는 임의의 축을 기준으로 특정 각도(예컨대, 90°, 180°, 270°) 만큼 회전될 수 있다. 전자 장치(500)가 회전되지 않은 경우를 제1 각도(0°)로 회전된 것으로 가정하여 이하 설명한다. 즉, 전자 장치(500)가 제1 각도(0°)로 회전된 경우의 반사파 신호를 기준 신호로 정의할 수 있다.
도 7a를 참조하면, 전자 장치(500)의 공간 구조(10) 내의 위치는 변화하지 않고 특정 각도만큼 회전된 경우, 마이크들이 수신하는 반사파 신호들의 수신 강도를 예시적으로 보여준다. 도 7b를 참조하면, 전자 장치(500)의 공간 구조(10) 내의 위치가 변화되고 동시에 특정 각도만큼 회전된 경우, 마이크들이 수신하는 반사파 신호들의 수신 강도를 예시적으로 보여준다. 전자 장치(500)는 기준 신호 대비 반사파 신호의 신호 변화량에 기초하여 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트할지 여부를 결정할 수 있다.
도 8은 일 실시 예에 따른 객체 위치 정보를 획득하기 위한 머신러닝 모델을 예시적으로 보여주는 그래프이다. 도 8과 함께, 도 5 및 6b를 참조하면, 공간 구조(10) 내에서 객체(예컨대, 12a)의 움직임이 발생할 수 있다. 객체(예컨대, 12a)는 제1 시점(t1)부터 제5 시점(t5)까지 전자 장치(500)와의 특정 각도 및 특정 거리를 가지고 이동할 수 있다. 전자 장치(500)는 제1 내지 제3 마이크(mic 1, mic 2, mic 3)가 수신한 반사파 신호들 각각에 기초하여 객체의 거리에 대응하는 거리 정보를 획득할 수 있다.
설명의 편의를 위해, 각도 정보는 전자 장치(500)가 놓인 평면에서의 전자 장치(500)와 객체 간의 각도에 대응하고, 거리 정보는 전자 장치(500)와 객체 간의 거리에 대응하는 것으로 가정하여 이하 설명한다. 예를 들어, 제1 시점(t1)에서, 객체(예컨대, 12a)는 전자 장치(500) 기준 약 2m의 거리 및 60°의 각도로 떨어져 있고, 제2 시점(t2)에서, 객체(예컨대, 12a)는 전자 장치(500) 기준 약 1m의 거리 및 0°의 각도로 떨어져 있고, 제3 시점(t3)에서, 객체(예컨대, 12a)는 전자 장치(500) 기준 약 2m의 거리 및 -60°의 각도로 떨어져 있고, 제4 시점(t4)에서, 객체(예컨대, 12a)는 전자 장치(500) 기준 약 1m의 거리 및 0°의 각도로 떨어져 있고, 제5 시점(t5)에서, 객체(예컨대, 12a)는 전자 장치(500) 기준 약 2m의 거리 및 60°의 각도로 떨어져 있다.
전자 장치(500)는 거리 정보를 입력으로 하고, 거리 정보에 대응되는 각도 정보를 그라운드 트루스(ground truth)로 하여 머신러닝 모델을 학습시킬 수 있다. 그러나, 본 개시는 이에 제한되지 않으며, 외부 장치에 의해 머신러닝 모델이 학습될 수 있다. 전자 장치(500)는 학습된 머신러닝 모델을 이용할 수 있다. 예를 들어, 전자 장치(500)는 거리 정보를 입력으로 하는 머신러닝 모델에 기초하여 각도 정보를 획득(또는 추론)할 수 있다. 따라서, 전자 장치(500)는 거리 정보와 각도 정보에 기초하여 공간 구조(10) 내에서의 객체 위치 정보를 획득(또는 추론)할 수 있다.
도 9a 내지 9d는 일 실시 예에 따른 위치 추론의 결과를 예시적으로 보여주는 그래프들이다. 도 9a 내지 9d와 함께, 도 1 내지 8을 참조하면, x 축은 실제 값에 대응하고, y 축은 예측 값(거리 정보에 대응하는 거리 값 또는 각도 정보에 대응하는 각도 값)에 대응한다. 도 9a 및 9b는 일 실시 예에 따른 비가청 음향 신호가 최적화되지 않은 경우의 실제 값과 예측 값의 상관 관계를 보여준다. 도 9c 및 9d는 일 실시 예에 따른 비가청 음향 신호가 최적화된 경우의 실제 값과 예측 값의 상관 관계를 보여 준다. 도 9a 및 9b의 그래프들 대비 도 9c 및 9b의 그래프들의 상관 계수가 더 높다. 즉, 일 실시 예에 따른 파형 최적화 모델을 이용하여 비가청 음향 신호가 최적화된 경우의 위치 추론의 정확도가 상대적으로 높음을 알 수 있다.
도 10은 일 실시 예에 따른 전자 장치를 예시적으로 보여주는 블록도이다. 위치 추론을 위한 시스템(1000)(이하, 시스템)은 제1 전자 장치(1100) 및 제2 전자 장치(1200)를 포함할 수 있다.
도 10을 참조하면, 제1 전자 장치(1100)는 제1 마이크(1110), 제1 스피커(1120), 제1 메모리(1130), 및 제1 프로세서(1140)를 포함할 수 있다. 유사하게, 제2 전자 장치(1200)는 제2 마이크(1210), 제2 스피커(1220), 제2 메모리(1230), 및 제2 프로세서(1240)를 포함할 수 있다.
제1 및 제2 전자 장치(1100, 1200)의 구성, 기능, 동작은 도 1의 전자 장치(100) 또는 도 5의 전자 장치(500)와 유사하므로, 도 1 내지 9d에서 설명한 내용과 중복되는 내용은 이하 생략한다. 예를 들어, 제1 및 제2 마이크(1110, 1210)는 도 1의 마이크(140)와, 제1 및 제2 스피커(1120, 1220)은 도 1의 스피커(130)와, 제1 및 제2 메모리(1130, 1230)은 도 1의 메모리(160)와, 제1 및 제2 프로세서(1140, 1140)는 도 1의 프로세서(170)와 그 구성, 기능, 동작이 유사할 수 있다.
제1 스피커(1120)는 제1 비가청 음향 신호를 출력할 수 있다. 제1 프로세서(1140)는 제1 스피커(1120)로 하여금 제1 비가청 음향 신호를 출력하도록 제어할 수 있다.
제1 마이크(1110)는 출력된 제1 비가청 음향 신호가 공간 구조에 의해 반사된 제1 반사파 신호를 수신할 수 있다. 제1 프로세서(1140)는 제1 마이크(1110)로 하여금 제1 비가청 음향 신호를 수신하도록 제어할 수 있다.
제1 프로세서(1140)는 제1 마이크(1110)에 의해 수신된 제1 반사파 신호 및 제2 전자 장치(1200)에 의해 수신된 제1 비가청 음향 신호 중 적어도 어느 하나와, 제1 비가청 음향 신호에 대응하는 제1 기준 신호 간의 상관도에 기초하여 제1 신호 변화량을 획득할 수 있다. 여기서, 제1 기준 신호는 제1 마이크(1110)에 의해 수신된 제1 반사파 신호 또는 제2 전자 장치(1200)에 의해 수신된 제1 비가청 음향 신호와의 비교의 기준이 되는 신호를 의미하며, 미리 정의된 신호일 수 있다. 제1 기준 신호는 비교의 대상(예컨대, 제1 반사파 신호 또는 제1 비가청 음향 신호)에 따라 상이할 수 있다.
일 실시 예에 있어서, 제2 전자 장치(1200)의 제2 마이크(1210)는 제1 비가청 음향 신호를 수신할 수 있다. 제2 전자 장치(1200)는 수신된 제1 비가청 음향 신호에 대응하는 데이터를 제1 전자 장치(1100)로 송신할 수 있다.
제1 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 제1 프로세서(1140)는 제1 신호 변화량에 기초하여 공간 구조 내의 객체의 위치에 대응하는 객체 위치 정보를 획득할 수 있다.
제1 신호 변화량이 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 제1 프로세서(1140)는 파형 최적화 모델을 이용하여 제1 비가청 음향 신호에 대응하는 제1 최종 파라미터 세트를 업데이트할 수 있다.
일 실시 예에 있어서, 제1 프로세서(1140)는 제1 마이크(1110)에 의해 수신된 제1 반사파 신호 및 제2 전자 장치(1200)에 의해 수신된 제1 비가청 음향 신호 중 적어도 어느 하나에 기초하여, 제1 전자 장치(1100)의 위치 및 제2 전자 장치(1200)의 위치에 대응하는 장치 위치 정보를 획득할 수 있다.
일 실시 예에 있어서, 제1 프로세서(1140)는 객체 위치 정보 및 장치 위치 정보에 기초하여, 웨이크업 키워드에 대응하는 제1 사용자 음성 입력에 응답할 웨이크업(wake-up) 디바이스를 선택할 수 있다. 일 실시 예에 있어서, 제1 마이크(1110) 및 제2 마이크(1210) 중 적어도 하나는 제1 사용자 음성 입력을 수신할 수 있다. 일 실시 예에 있어서, 웨이크업 디바이스는 제1 전자 장치(1100) 또는 제2 전자 장치(1200)일 수 있다. 본 개시에 따르면, 복수의 전자 장치들(예컨대, 제1 전자 장치(1100) 및 제2 전자 장치(1200)) 중 하나의 전자 장치가 웨이크업 디바이스로 선택됨으로써, 복수의 전자 장치들 모두가 웨이크업하는 문제가 해소될 수 있다.
일 실시 예에 있어서, 웨이크업 디바이스는 제1 사용자 음성 입력에 응답하여 웨이크업할 수 있다. 웨이크업 디바이스는 제1 사용자 음성 입력 이후의 제2 사용자 음성 입력에 응답할 수 있다. 예를 들어, 제2 사용자 음성 입력은, 제1 전자 장치(1100) 및 제2 전자 장치(1200) 중 적어도 하나를 제어하는 명령에 대응할 수 있다.
일 실시 예에 있어서, 제2 스피커(1220)는 제2 비가청 음향 신호를 출력할 수 있다. 제2 마이크(1210)는 출력된 제2 비가청 음향 신호가 공간 구조에 의해 반사된 제2 반사파 신호와, 제1 스피커(1120)에 의해 출력된 제1 비가청 음향 신호를 수신할 수 있다. 제2 프로세서(1240)는 제2 마이크(1210)에 의해 수신된 제2 반사파 신호 및 제1 마이크(1110)에 의해 수신된 제2 비가청 음향 신호 중 적어도 하나와, 최종 비가청 음향 신호에 대응하는 제2 기준 신호 간의 상관도에 기초하여 제2 신호 변화량을 획득할 수 있다. 여기서, 제2 기준 신호는 제2 마이크(1210)에 의해 수신된 제2 반사파 신호 또는 제1 전자 장치(1100)에 의해 수신된 제2 비가청 음향 신호와의 비교의 기준이 되는 신호를 의미하며, 미리 정의된 신호일 수 있다. 제2 기준 신호는 비교의 대상(예컨대, 제2 반사파 신호 또는 제2 비가청 음향 신호)에 따라 상이할 수 있다.
제2 신호 변화량이 제1 임계 값을 초과한 경우, 제2 프로세서(1240)는 제2 신호 변화량에 기초하여 객체 위치 정보를 획득할 수 있다. 제2 신호 변화량이 제2 임계 값을 초과한 경우, 제2 프로세서(1240)는 파형 최적화 모델을 이용하여 제2 비가청 음향 신호에 대응하는 제2 최종 파라미터 세트를 업데이트할 수 있다.
일 실시 예에 있어서, 제1 프로세서(1140)는 제1 현재 세대에 대응하는 제1 파라미터 세트를 획득할 수 있다. 제1 프로세서(1140)는 제1 파라미터 세트에 기초하여, 제1 스피커(1120)로 하여금 제1 복수의 후보 신호들을 출력하도록 제어할 수 있다. 제1 프로세서(1140)는 제1 마이크(1110)로 하여금 제1 복수의 후보 신호들이 공간 구조에 의해 반사된 제1 반사파 신호들을 수신하도록 제어할 수 있다. 제1 프로세서(1140)는 제2 마이크(1210)에 의해 수신된 제1 복수의 후보 신호들에 대응하는 제1 데이터를 획득할 수 있다. 예를 들어, 제2 전자 장치(1200)는 제1 전자 장치(1100)로 제1 데이터를 송신할 수 있다. 제1 프로세서(1140)는 제1 반사파 신호 및 제1 데이터에 기초하여 제1 복수의 후보 신호들에 대한 제1 적합도 값을 획득할 수 있다. 제1 프로세서(1140)는 제1 적합도 값에 대응하는 제1 성능 값이 제1 임계 값을 초과하는지 여부인 제1 종료 조건을 식별할 수 있다. 제1 종료 조건이 만족되지 않는 경우, 제1 프로세서(1140)는 제1 성능 값 및 제1 파라미터 세트 간의 상관 관계에 기초하여 제1 다음 세대에 대응하는 제2 파라미터 세트를 획득할 수 있다.
일 실시 예에 있어서, 제1 복수의 후보 신호들 각각은 직접 신호와 간접 신호를 포함할 수 있다. 직접 신호와 간접 신호는 서로 다른 주파수 대역에 위치할 수 있다. 예를 들어, 직접 신호의 제1 주파수 대역과 간접 신호의 제2 주파수 대역은 서로 다를 수 있다. 직접 신호는 제2 전자 장치(1200)가 수신하기 위한 신호일 수 있다. 직접 신호는 제1 전자 장치(1100)에서 제2 전자 장치(1200)를 향해 직접적으로 방사된 신호일 수 있다. 간접 신호는 공간 구조에 방사되는 신호일 수 있다. 간접 신호는 제1 전자 장치(1100)의 모든 방향으로 방사될 수 있다. 간접 신호는 공간 구조에 의해 반사되어 제1 전자 장치(1100)가 수신하기 위한 신호일 수 있다.
일 실시 예에 있어서, 제1 프로세서(1140)는 제1 반사파 신호들에 기초하여 공간 구조에 방사되는 간접 신호에 대응하는 제1 적합도 값을 측정할 수 있다. 일 실시 예에 있어서, 제1 프로세서(1140)는 제1 데이터에 기초하여 제2 마이크(1210)에 의해 수신되는 직접 신호에 대응하는 제1 적합도 값을 측정할 수 있다.
일 실시 예에 있어서, 제1 종료 조건이 만족된 경우, 제1 프로세서(1140)는 제1 복수의 후보 신호들 중 제1 성능 값이 제1 임계 값을 초과하는 최종 신호에 대응하는 최종 파라미터 세트를 획득할 수 있다. 제1 프로세서(1140)는 최종 신호가 공간 구조에 의해 반사된 제2 반사파 신호에 대응하는 기준 신호를 획득할 수 있다. 일 실시 예에 있어서, 최종 신호는 직접 신호 및 간접 신호를 포함할 수 있다.
일 실시 예에 있어서, 제2 프로세서(1240)는 제2 현재 세대에 대응하는 제3 파라미터 세트를 획득할 수 있다. 제2 프로세서(1240)는 제3 파라미터 세트에 기초하여 제2 스피커(1220)로 하여금 제3 복수의 후보 신호들을 출력하도록 제어할 수 있다. 제2 프로세서(1240)는 제2 마이크(1210)로 하여금 복수의 후보 신호들이 공간 구조에 의해 반사된 제3 반사파 신호들을 수신하도록 제어할 수 있다.
일 실시 예에 있어서, 제1 프로세서(1140)는 제2 전자 장치(1200)로부터 제3 반사파 신호들에 대응하는 제3 데이터를 획득할 수 있다. 제1 프로세서(1140)는 제3 데이터에 기초하여 제3 복수의 후보 신호들에 대한 제2 적합도 값을 획득할 수 있다. 제1 프로세서(1140)는 제2 적합도 값에 대응하는 제2 성능 값이 제1 임계 값을 초과하는지 여부인 제2 종료 조건을 식별할 수 있다. 제2 종료 조건이 만족되지 않는 경우, 제1 프로세서(1140)는 제2 성능 값 및 제3 파라미터 세트 간의 상관 관계에 기초하여 제2 다음 세대에 대응하는 제4 파라미터 세트를 획득할 수 있다. 제2 종료 조건이 만족되지 않는 경우, 제1 프로세서(1140)는 제2 현재 세대를 제2 다음 세대로 교체할 수 있다.
일 실시 예에 있어서, 제2 프로세서(1240)는 제3 데이터에 기초하여 제3 복수의 후보 신호들에 대한 제2 적합도 값을 획득할 수 있다. 제2 프로세서(1240)는 제2 적합도 값에 대응하는 제2 성능 값이 제1 임계 값을 초과하는지 여부인 제2 종료 조건을 식별할 수 있다. 제2 종료 조건이 만족되지 않는 경우, 제2 프로세서(1240)는 제2 성능 값 및 제3 파라미터 세트 간의 상관 관계에 기초하여 제2 다음 세대에 대응하는 제4 파라미터 세트를 획득할 수 있다. 제2 종료 조건이 만족되지 않는 경우, 제2 프로세서(1240)는 제2 현재 세대를 제2 다음 세대로 교체할 수 있다.
도시되지 않았지만, 시스템(1000)은 n 개(n은 자연수)의 전자 장치들을 포함할 수 있다. 예시적으로, 시스템(1000)은 제3 전자 장치(미도시)를 더 포함할 수 있으며, 제1 전자 장치(1100) 또는 제2 전자 장치(1200)의 구성, 기능, 동작과 유사할 수 있다.
도 11은 일 실시 예에 따른 시스템이 공간 구조에 최적화된 신호를 생성하는 방법을 예시적으로 보여주는 개념도이다. 일 실시 예에 있어서, 시스템(1000)은 제1 전자 장치(1100) 및 적어도 하나의 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)를 포함할 수 있다.
도 11과 함께, 도 10을 참조하면, 제1 전자 장치(1100)는 제1 현재 세대에 대응하는 제1 파라미터 세트를 획득할 수 있다. 제1 스피커(1120)는 제1 파라미터 세트에 기초하여 제1 복수의 후보 신호들(예컨대, S1a, S1b, S1c, S1d)을 출력할 수 있다. 일 실시 예에 있어서, 제1 스피커(1120)의 개수는 n 개일 수 있으며, n 개의 제1 스피커들 각각은 서로 다른 방향을 향하여 신호들을 출력할 수 있다. 예를 들어, n 개의 제1 스피커들 중 어느 하나는 제2 전자 장치(1200a)를 향하여 후보 신호(S1a)를 출력하고, 다른 하나는 제2 전자 장치(1200b)를 향하여 후보 신호(S1b)를 출력하고, 또다른 하나는 제2 전자 장치(1200c)를 향하여 후보 신호(S1c)를 출력하고, 나머지는 공간 구조(10)로 후보 신호(S1d)를 방사할 수 있다. 즉, 제1 전자 장치(1100)는 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)를 향하여 개별적인 신호를 출력할 수 있다. 적어도 하나의 제1 마이크(1110)는 제1 복수의 후보 신호들(예컨대, S1d)이 공간 구조에 의해 반사된 제1 반사파 신호들(SR1d)을 수신할 수 있다.
제2 전자 장치(예컨대, 1200a)는 적어도 하나의 제2 마이크(1210)를 포함할 수 있다. 적어도 하나의 제2 마이크(1210)는 제1 복수의 후보 신호들(예컨대, S1a)를 수신할 수 있다. 제2 전자 장치(예컨대, 1200a)는 수신된 제1 복수의 후보 신호들(예컨대, S1a)에 대응하는 제1 데이터를 생성할 수 있다. 제1 전자 장치(1100)는 제2 전자 장치(예컨대, 1200a)로부터 제1 데이터를 획득(또는 수신)할 수 있다.
제1 전자 장치(1100)는 제1 반사파 신호들(SR1d) 및 제1 데이터에 기초하여 제1 복수의 후보 신호들(예컨대, S1a, S1b, S1c, S1d)에 대한 제1 적합도 값을 획득할 수 있다. 일 실시 예에 있어서, 제1 전자 장치(1100)는 제1 반사파 신호들(SR1d)에 기초하여 공간 구조(10)에 방사되는 간접 신호에 대응하는 제1 적합도 값을 측정할 수 있다. 여기서, 간접 신호는 후보 신호(S1d)에 대응할 수 있다. 제1 전자 장치(1100)는 제1 데이터에 기초하여, 직접 신호에 대응하는 제1 적합도 값을 측정할 수 있다. 여기서, 직접 신호는 후보 신호(예컨대, S1a, S1b, S1c)에 대응할 수 있다. 일 실시 예에 있어서, 직접 신호의 주파수 대역과 간접 신호의 주파수 대역은 서로 다를 수 있다.
제1 전자 장치(1100)는 제1 적합도 값에 대응하는 제1 성능 값이 제1 임계 값을 초과하는지 여부인 제1 종료 조건을 식별할 수 있다. 제1 종료 조건이 만족되지 않은 경우, 제1 전자 장치(1100)는 제1 성능 값 및 제1 파라미터 세트 간의 상관 관계에 기초하여 제1 다음 세대에 대응하는 제2 파라미터 세트를 획득할 수 있다.
도 12a 및 12b는 일 실시 예에 따른 시스템이 공간 구조에 최적화된 신호를 이용하는 방법을 예시적으로 보여주는 개념도들이다. 도 12a와 함께, 도 10 및 11을 참조하면, 제1 종료 조건이 만족된 경우, 제1 전자 장치(1100)는 제1 복수의 후보 신호들(예컨대, S1a, S1b, S1c, S1d) 중 제1 종료 조건을 만족하는 최종 신호(예컨대, IAS1a, IAS1b, IAS1c, IAS1d)에 대응하는 최종 파라미터 세트를 획득할 수 있다. 최종 신호는 직접 신호(IAS1a, IAS1b, IAS1c) 및 간접 신호(IASd1)를 포함할 수 있다. 제1 전자 장치(1100)는 간접 신호(IAS1d)가 공간 구조(10)에 의해 반사된 제2 반사파 신호(RS1d)를 획득할 수 있다.
일 실시 예에 있어서, 제1 전자 장치(1100)는 제1 전자 장치(1100)가 수신한 제2 반사파 신호(RS1d) 및 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)가 수신한 최종 신호(예컨대, IAS1a, IAS1b, IAS1c) 중 적어도 하나에 기초하여 제1 전자 장치(1100)의 위치 및 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)의 위치에 대응하는 장치 위치 정보를 획득할 수 있다.
도 12b와 함께, 도 10 및 11을 참조하면, 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)는 제2 현재 세대에 대응하는 제3 파라미터 세트를 획득할 수 있다. 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)는 제3 파라미터 세트에 기초하여 제3 복수의 후보 신호들을 출력할 수 있다. 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)는 제3 반사파 신호들에 기초하여 제3 복수의 후보 신호들에 대한 제2 적합도 값을 획득할 수 있다. 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)는 제2 적합도 값에 대응하는 제2 성능 값이 제1 임계 값을 초과하는지 여부는 제2 종료 조건을 식별할 수 있다. 종료 조건이 만족되지 않는 경우, 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)는 제2 성능 값 및 제3 파라미터 세트 간의 상관 관계에 기초하여 제2 다음 세대에 대응하는 제4 파라미터 세트를 획득할 수 있다. 종료 조건이 만족된 경우, 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)는 제3 복수의 후보 신호들 중 제1 종료 조건을 만족하는 최종 신호(예컨대, IAS2a, IAS2b, IAS2c, IAS2d)에 대응하는 최종 파라미터 세트를 획득할 수 있다. 최종 신호는 직접 신호 IAS2a, IAS2b, IAS2c) 및 간접 신호(IAS2d)를 포함할 수 있다. 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)는 간접 신호(IAS2d)가 공간 구조(10)에 의해 반사된 제3 반사파 신호(RS2d)를 획득할 수 있다. 따라서, 공간 구조(10) 내에 복수의 제2 전자 장치들(예컨대, 1200a, 1200b, 1200c)이 존재하는 경우, 제2 전자 장치들(예컨대, 1200a, 1200b, 1200c) 각각은 서로 다른 최종 신호를 출력할 수 있다.
일 실시 예에 있어서, 제1 전자 장치(1100)는 제1 전자 장치(1100)가 수신한 제2 반사파 신호(RS1d), 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)가 수신한 최종 신호(예컨대, IAS1a, IAS1b, IAS1c), 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)가 수신한 제3 반사파 신호(RS2d) 중 적어도 하나에 기초하여 제1 전자 장치(1100)의 위치 및 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)의 위치에 대응하는 장치 위치 정보를 획득할 수 있다.
도 13a 및 13b는 일 실시 예에 따른 시스템이 웨이크업 디바이스를 선택하는 방법을 예시적으로 보여주는 개념도들이다. 도 13a와 함께, 도 10 내지 12를 참조하면, 제1 위치(12a)에 존재하는 사람이 제2 위치(12b)로 이동한 경우를 가정하여 이하 설명한다. 제1 전자 장치(1100) 및/또는 제2 전자 장치(예컨대, 1200a, 1200b, 1200c)는 최종 신호를 이용하여 사람의 공간 구조 내의 위치를 실시간으로 추론할 수 있다. 예를 들어, 제1 전자 장치(1100)와 사람이 위치한 제2 위치(12b) 간의 거리는 제1 거리(D1)이고, 제2 전자 장치(1200a)와 사람이 위치한 제2 위치(12b) 간의 거리는 제2 거리(D2)인 것으로 추론될 수 있다.
도 13b와 함께, 도 1 내지 13a를 참조하면, 제1 전자 장치(1100) 및 제2 전자 장치(예컨대, 1200a, 1200b, 1200c) 제2 위치(12b)에 존재하는 사람이 발성한 웨이크업 키워드를 포함하는 문장을 제1 사용자 음성 입력으로 수신할 수 있다. 제1 전자 장치(1100)는 객체 위치 정보 및 장치 위치 정보에 기초하여 제1 사용자 음성 입력에 응답할 웨이크업 디바이스를 선택할 수 있다. 예를 들어, 객체 위치 정보 중 사람이 위치한 제2 위치(12b) 간의 거리가 가장 가까운 장치가 웨이크업 디바이스로 선택될 수 있다. 예를 들어, 제1 거리(D1)보다 제2 거리(D2)가 짧은 경우, 웨이크업 디바이스는 제2 전자 장치(1200a)일 수 있다. 예를 들어, 제2 거리(D2)보다 제1 거리(D1)가 짧은 경우, 웨이크업 디바이스는 제1 전자 장치(1100)일 수 있다. 따라서, 제1 사용자 음성 입력을 수신한 장치가 복수개라 하더라도, 하나의 장치만 제1 사용자 음성 입력에 응답할 수 있다.
일 실시 예에 있어서, 선택된 웨이크업 디바이스는 제1 사용자 음성 입력에 응답하여 웨이크업할 수 있다. 선택된 웨이크업 디바이스는 제1 사용자 음성 입력 이후의 제2 사용자 음성 입력을 수신할 수 있다.
일 실시 예에 있어서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, 비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 있어서, 본 명세서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 다양한 실시예에 따르면, 전자 장치는 공간 구조에 최적화된 신호를 적응적으로 생성하고, 최적화된 신호에 기초하여 공간 구조 내의 객체의 위치 측정을 수행할 수 있다.
본 개시의 다양한 실시예에 따르면, 전자 장치는 전자 장치가 위치한 공간의 온도, 대기압, 습도 또는 밀도 중 적어도 하나를 포함하는 주변 조건 정보를 사용하여 높은 정확도로 객체의 위치 측정을 수행할 수 있다.
이상에서 설명한 본 개시의 다양한 실시예에 따른 전자 장치는, 상술한 실시예 및 도면에 도시된 실시예에 한정되지 않으며, 본 개시의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변경, 수정 또는 변형이 이루어질 수 있음은 당업자에게 명백할 것이다.

Claims (15)

  1. 위치 추론(localization)을 위한 전자 장치(100)에 있어서,
    비가청 음향 신호를 출력하는 스피커(130);
    상기 출력된 비가청 음향 신호가 공간 구조에 의해 반사된 제1 반사파 신호를 수신하는 적어도 하나의 마이크(140);
    하나 이상의 인스트럭션을 저장하는 메모리(160); 및
    상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서(170)를 포함하되, 상기 적어도 하나의 프로세서(170)는,
    상기 비가청 음향 신호에 대응하는 기준 신호와, 상기 수신된 제1 반사파 신호 간의 상관도(correlation)에 기초하여 신호 변화량을 획득하고,
    상기 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 상기 신호 변화량에 기초하여 상기 공간 구조 내의 상기 객체의 위치에 대응하는 객체 위치 정보를 획득하고,
    상기 신호 변화량이 상기 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 상기 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트하는, 상기 하나 이상의 인스트럭션을 실행하는, 전자 장치(100).
  2. 제1항에 있어서,
    상기 파형 최적화 모델을 이용하여 상기 비가청 음향 신호에 대응하는 상기 최종 파라미터 세트를 업데이트하는, 상기 하나 이상의 인스트럭션은,
    (a) 현재 세대(generation)에 대응하는 제1 파라미터 세트를 획득하고,
    (b) 상기 제1 파라미터 세트에 기초하여, 상기 스피커로 하여금 복수의 후보 신호들을 출력하도록 제어하고,
    (c) 상기 적어도 하나의 마이크로 하여금 상기 복수의 후보 신호들이 상기 공간 구조에 의해 반사된 제2 반사파 신호들을 수신하도록 제어하고,
    (d) 상기 제2 반사파 신호에 기초하여 상기 복수의 후보 신호들에 대한 적합도(fitness) 값을 측정하고,
    (e) 상기 적합도 값들에 기초한 상기 복수의 후보 신호들에 대한 성능 값이 제1 임계 값을 초과하는지 여부인 종료 조건을 판단하고,
    (f) 상기 종료 조건이 만족되지 않는 경우, 상기 성능 값 및 상기 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득하고,
    (g) 상기 종료 조건이 만족된 경우, 상기 복수의 후보 신호들 중 상기 성능 값이 상기 제1 임계 값을 초과하는 신호에 대응하는 서브 파라미터 세트에 기초하여 상기 최종 파라미터 세트를 업데이트하는, 상기 하나 이상의 인스트럭션을 포함하는, 전자 장치(100).
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서(170)는,
    상기 종료 조건이 만족되지 않는 경우, 상기 현재 세대를 상기 다음 세대로 교체하여 상기 (b) 내지 (f) 동작을 반복적으로(iteratively) 수행하는, 상기 하나 이상의 인스트럭션을 더 포함하는, 전자 장치(100).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 파형 최적화 모델은, 상기 신호 변화량 및 환경 조건 정보가 입력되면 상기 최종 파라미터 세트를 출력하도록 학습된, 전자 장치(100).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 객체 위치 정보는, 상기 전자 장치와 상기 객체 간의 거리에 대응하는 거리 정보, 및 상기 전자 장치와 상기 객체가 형성하는 각도에 대응하는 각도 정보를 포함하는, 전자 장치(100).
  6. 제5항에 있어서,
    상기 객체 위치 정보를 획득하는, 상기 하나 이상의 인스트럭션은,
    상기 제1 반사파 신호에 기초하여 상기 거리 정보를 획득하고,
    상기 거리 정보를 입력으로 하는 머신러닝 모델을 이용하여 상기 각도 정보를 출력하는, 상기 하나 이상의 인스트럭션을 포함하는, 전자 장치(100).
  7. 제6항에 있어서,
    상기 머신러닝 모델은 상기 거리 정보를 입력으로 하여 상기 각도 정보를 출력하도록 학습된, 전자 장치(100).
  8. 위치 추론(localization)을 위한 전자 장치(100)에 있어서,
    스피커(130);
    적어도 하나의 마이크(140);
    하나 이상의 인스트럭션을 저장하는 메모리(160); 및
    상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서(170)를 포함하되, 상기 적어도 하나의 프로세서(170)는,
    (a) 현재 세대에 대응하는 제1 파라미터 세트를 획득하고,
    (b) 상기 제1 파라미터 세트에 기초하여, 상기 스피커로 하여금 복수의 후보 신호들을 출력하도록 제어하고,
    (c) 상기 적어도 하나의 마이크로 하여금 상기 복수의 후보 신호들이 공간 구조에 의해 반사된 제1 반사파 신호들을 수신하도록 제어하고,
    (d) 상기 제1 반사파 신호들에 기초하여 상기 복수의 후보 신호들에 대한 적합도(fitness) 값을 획득하고,
    (e) 상기 적합도 값에 대응하는 성능 값이 제1 임계 값을 초과하는지 여부인 종료 조건을 판단하고,
    (f) 상기 종료 조건이 만족되지 않는 경우, 상기 성능 값 및 상기 제1 파라미터 세트 간의 상관 관계에 기초하여 다음 세대에 대응하는 제2 파라미터 세트를 획득하는, 상기 하나 이상의 인스트럭션을 실행하는, 전자 장치(100).
  9. 제8항에 있어서,
    상기 적어도 하나의 프로세서(170)는,
    상기 종료 조건이 만족되지 않는 경우, 상기 현재 세대를 상기 다음 세대로 교체하여 상기 (b) 내지 (f) 동작을 반복적으로(iteratively) 수행하는, 상기 하나 이상의 인스트럭션을 더 실행하는, 전자 장치(100).
  10. 제8항 및 제9항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(170)는,
    상기 종료 조건이 만족된 경우, 상기 복수의 후보 신호들 중 상기 성능 값이 상기 제1 임계 값을 초과하는 최종 신호에 대응하는 최종 파라미터 세트를 획득하고,
    상기 최종 신호에 대응하는 기준(reference) 신호를 획득하는, 상기 하나 이상의 인스트럭션을 더 실행하는, 전자 장치(100).
  11. 제10항에 있어서,
    상기 제1 및 제2 파라미터 세트 중 적어도 하나는 상기 복수의 후보 신호들 중 하나에 대응하는 복수의 서브 파라미터 세트들을 포함하고,
    상기 복수의 서브 파라미터 세트들 및 상기 최종 파라미터 중 적어도 하나는, 대응하는 신호의 파형 특징 함수, 파형 위치 함수, 및 타임 윈도우(time window) 중 적어도 하나를 포함하고,
    상기 파형 특징 함수는 상기 대응하는 신호의 진폭, 주기, 및 모양 중 적어도 하나의 값을 포함하고,
    상기 파형 위치 함수는 상기 대응하는 신호의 주파수 범위, 주파수 간격, 및 지연 시간 중 적어도 하나의 값을 포함하는, 전자 장치(100).
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 적합도 값은 안정성(stability) 값과 식별성(identification) 값을 포함하고,
    상기 안정성 값은 상기 제1 반사파 신호들 중 어느 하나의 제1 시점에 대응하는 측정 값과 제2 시점에 대응하는 측정 값의 상호 유사도(similarity) 값이고,
    상기 식별성 값은 상기 복수의 후보 신호들 중 어느 하나와 대응하는 반사파 신호의 신호 유사도 값인, 전자 장치(100).
  13. 제12항에 있어서,
    상기 성능 값은 상기 복수의 후보 신호들 각각의 상기 안정성 값과 상기 식별성 값을 변수로 하는 결정 함수의 반환 값이고,
    상기 결정 함수는 상기 안정성 값 및 상기 식별성 값 중 어느 하나에 가중하여 상기 성능 값을 반환하는, 전자 장치(100).
  14. 제12항 및 제13항 중 어느 한 항에 있어서,
    상기 제2 파라미터 세트를 획득하는, 상기 하나 이상의 인스트럭션은,
    상기 상관 관계에 대응하는 분석 데이터를 획득하고,
    상기 분석 데이터 및 상기 성능 값에 기초하여 파형 특징 함수(waveform feature function) 및 타임 윈도우를 선택하고,
    상기 선택된 파형 특징 함수 및 상기 선택된 타임 윈도우 중 적어도 하나에 대해 교차 연산 및 돌연변이 연산 중 적어도 하나를 수행함으로써, 상기 제2 파라미터 세트를 획득하는, 상기 하나 이상의 인스트럭션을 포함하는 전자 장치(100).
  15. 위치 추론(localization)을 위한 방법에 있어서,
    비가청 음향 신호를 출력하는 단계(S610);
    상기 출력된 비가청 음향 신호가 공간 구조에 의해 반사된 제1 반사파 신호를 수신하는 단계(S620);
    상기 비가청 음향 신호에 대응하는 기준 신호와, 상기 수신된 제1 반사파 신호 간의 상관도(correlation)에 기초하여 신호 변화량을 획득하는 단계(S630);
    상기 신호 변화량이 객체의 움직임에 대응하는 제1 임계 값을 초과한 경우, 상기 신호 변화량에 기초하여 상기 공간 구조 내의 상기 객체의 위치에 대응하는 객체 위치 정보를 획득하는 단계(S640); 및
    상기 신호 변화량이 상기 공간 구조의 변경에 대응하는 제2 임계 값을 초과한 경우, 파형 최적화 모델을 이용하여 상기 비가청 음향 신호에 대응하는 최종 파라미터 세트를 업데이트하는 단계(S650)를 포함하는, 방법.
PCT/KR2023/003224 2022-03-28 2023-03-09 위치 추론을 위한 전자 장치 및 시스템 WO2023191333A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/127,473 US20230305144A1 (en) 2022-03-28 2023-03-28 Electronic device and system for localization

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0038381 2022-03-28
KR20220038381 2022-03-28
KR10-2022-0111688 2022-09-02
KR1020220111688A KR20230139756A (ko) 2022-03-28 2022-09-02 위치 추론을 위한 전자 장치 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/127,473 Continuation US20230305144A1 (en) 2022-03-28 2023-03-28 Electronic device and system for localization

Publications (1)

Publication Number Publication Date
WO2023191333A1 true WO2023191333A1 (ko) 2023-10-05

Family

ID=88202560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003224 WO2023191333A1 (ko) 2022-03-28 2023-03-09 위치 추론을 위한 전자 장치 및 시스템

Country Status (1)

Country Link
WO (1) WO2023191333A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140069069A (ko) * 2011-09-30 2014-06-09 마이크로소프트 코포레이션 음향 기반 위치 결정 기법
KR101678305B1 (ko) * 2015-07-03 2016-11-21 한양대학교 산학협력단 텔레프레즌스를 위한 하이브리드형 3d 마이크로폰 어레이 시스템 및 동작 방법
KR20170010170A (ko) * 2015-07-15 2017-01-26 한국전자통신연구원 음장 스펙트럼 변화 기반의 가스 감시 장치 및 그 가스 감시 방법
KR20190013264A (ko) * 2017-08-01 2019-02-11 주식회사 아이시냅스 비가청 음파를 이용한 스마트 기기의 정밀 위치 측위 시스마트 기기의 정밀 위치 측위 시스템 및 방법
KR20210063341A (ko) * 2018-08-23 2021-06-01 보드 오브 리전츠, 더 유니버시티 오브 텍사스 시스템 음향 신호를 사용한 손 운동의 추적에 의한 기기의 제어

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140069069A (ko) * 2011-09-30 2014-06-09 마이크로소프트 코포레이션 음향 기반 위치 결정 기법
KR101678305B1 (ko) * 2015-07-03 2016-11-21 한양대학교 산학협력단 텔레프레즌스를 위한 하이브리드형 3d 마이크로폰 어레이 시스템 및 동작 방법
KR20170010170A (ko) * 2015-07-15 2017-01-26 한국전자통신연구원 음장 스펙트럼 변화 기반의 가스 감시 장치 및 그 가스 감시 방법
KR20190013264A (ko) * 2017-08-01 2019-02-11 주식회사 아이시냅스 비가청 음파를 이용한 스마트 기기의 정밀 위치 측위 시스마트 기기의 정밀 위치 측위 시스템 및 방법
KR20210063341A (ko) * 2018-08-23 2021-06-01 보드 오브 리전츠, 더 유니버시티 오브 텍사스 시스템 음향 신호를 사용한 손 운동의 추적에 의한 기기의 제어

Similar Documents

Publication Publication Date Title
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2019216578A1 (en) Method and apparatus for executing cleaning operation
WO2020166892A1 (en) Electronic device for providing augmented reality user interface and operating method thereof
WO2020091210A1 (en) System and method of integrating databases based on knowledge graph
WO2019107945A1 (en) Method of providing service based on location of sound source and speech recognition device therefor
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2019054631A1 (en) ELECTRONIC DEVICE AND ITS CONTROL METHOD
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2019124963A1 (ko) 음성 인식 장치 및 방법
WO2020153750A1 (ko) 전자 장치에서 어플리케이션 목록 제공 방법 및 장치
EP3669181A1 (en) Vision inspection management method and vision inspection system
EP3773111A1 (en) Method and apparatus for executing cleaning operation
WO2019245331A1 (ko) 텍스트 입력 디바이스 및 그 방법
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
WO2022075668A1 (ko) 인공지능 모델을 분산 처리하는 시스템 및 그 동작 방법
WO2020130262A1 (ko) 컴퓨팅 장치 및 그 동작 방법
WO2020130301A1 (en) Electronic device for tracking user activity and method of operating the same
WO2022139461A1 (en) Three-dimensional angle of arrival capability in electronic devices
WO2021230503A1 (en) Electronic apparatus and controlling method thereof
WO2022025729A1 (en) Angle of arrival determination in electronic devices with fused decision from motion
WO2023191333A1 (ko) 위치 추론을 위한 전자 장치 및 시스템
WO2021132922A1 (en) Computing device and operation method thereof
WO2020096218A1 (en) Electronic device and operation method thereof
WO2020071858A1 (en) Electronic apparatus and assistant service providing method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23781191

Country of ref document: EP

Kind code of ref document: A1