WO2025216554A1 - 전자 장치와 그 동작 방법 - Google Patents

전자 장치와 그 동작 방법

Info

Publication number
WO2025216554A1
WO2025216554A1 PCT/KR2025/004828 KR2025004828W WO2025216554A1 WO 2025216554 A1 WO2025216554 A1 WO 2025216554A1 KR 2025004828 W KR2025004828 W KR 2025004828W WO 2025216554 A1 WO2025216554 A1 WO 2025216554A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
detection range
state
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/004828
Other languages
English (en)
French (fr)
Inventor
김연우
김동욱
김수향
김정섭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2025216554A1 publication Critical patent/WO2025216554A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0619—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
    • H04B7/0621—Feedback content
    • H04B7/0626—Channel coefficients, e.g. channel state information [CSI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor

Definitions

  • the present disclosure relates to an electronic device capable of detecting the approach of a user and a method of operating the same.
  • Smart displays can visually provide users with useful information, such as their current location, weather, and date, provide immediate responses to user queries, and offer a variety of content through media applications.
  • useful information such as their current location, weather, and date
  • smart display technology is also underway.
  • an electronic device may include a memory storing one or more instructions and at least one processor executing one or more instructions.
  • the electronic device may identify the presence of a user within a detection range of wireless fidelity (WiFi) channel state information (CSI).
  • WiFi wireless fidelity
  • CSI channel state information
  • the electronic device may identify whether a user is present within a first detection range based on ultrasound, by having the at least one processor execute one or more instructions.
  • the method of operating an electronic device may include a step of identifying the presence of a user within a detection range based on WiFi CSI when audio received through a microphone corresponds to a preset condition. In one embodiment of the present disclosure, the method of operating an electronic device may include a step of identifying the presence of a user within a first detection range based on ultrasound based on the presence of a user within the detection range based on WiFi CSI, based on the presence of a user within the detection range based on ambient sound being human sound.
  • a program for performing an operating method of an electronic device on a computer can be recorded on a computer-readable recording medium.
  • FIG. 1 illustrates an example in which an electronic device detects a user's approach and provides useful information in one embodiment of the present disclosure.
  • FIG. 2 is a flowchart illustrating an example of a method of operating an electronic device according to one embodiment of the present disclosure.
  • FIG. 3 is a drawing showing an example of a detection range of an electronic device according to one embodiment of the present disclosure.
  • FIG. 4 is a diagram showing an example of the operation of an electronic device when an ambient sound is identified by a person in one embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of an operation of an electronic device when an ambient sound caused by a person is identified and the presence of a user within a detection range based on WiFi CSI is identified in one embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of an operation of an electronic device when an ambient sound caused by a person is identified, the presence of a user within a detection range based on WiFi CSI is identified, and the presence of a user within a detection range based on ultrasound is identified in one embodiment of the present disclosure.
  • FIG. 7A is a diagram illustrating an example of a first state of an electronic device according to one embodiment of the present disclosure.
  • FIG. 7b is a diagram illustrating an example of a second state of an electronic device according to one embodiment of the present disclosure.
  • FIG. 8 is a drawing showing an example of a method of operating an electronic device according to one embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating an example of a method of operating an electronic device according to one embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating an example of an operation of an electronic device when a user is located outside a WiFi CSI-based detection range in one embodiment of the present disclosure.
  • FIG. 11 is a diagram showing an example of a configuration of an electronic device according to one embodiment of the present disclosure.
  • FIG. 12 is a diagram showing an example of a configuration of an electronic device and an input/output device connected to the electronic device according to one embodiment of the present disclosure.
  • each flowchart can be executed by one or more computer programs containing computer-executable instructions.
  • the one or more computer programs may be stored entirely in a single memory or may be divided and stored across multiple different memories.
  • a single processor or a combination of processors is a circuitry that performs processing, and may include circuitry such as an Application Processor (AP), a Communication Processor (CP), a Graphical Processing Unit (GPU), a Neural Processing Unit (NPU), a Microprocessor Unit (MPU), a System on Chip (SoC), or an Integrated Chip (IC).
  • AP Application Processor
  • CP Communication Processor
  • GPU Graphical Processing Unit
  • NPU Neural Processing Unit
  • MPU Microprocessor Unit
  • SoC System on Chip
  • IC Integrated Chip
  • connection may include a wireless connection or a wired connection.
  • components expressed as 'unit', 'module', etc. may be two or more components combined into one component, or one component may be divided into two or more components with more detailed functions.
  • each component described below may additionally perform some or all of the functions performed by other components in addition to its own main function, and of course, some of the main functions performed by each component may be performed exclusively by other components.
  • the expression 'at least one of a, b, or c' can refer to 'a', 'b', 'c', 'a and b', 'a and c', 'b and c', 'all of a, b, and c', or variations thereof.
  • the expression 'a or b' can refer to 'a', 'b', 'a and b', or variations thereof.
  • the expression 'a (or, b, c)' can refer to 'a', 'b', 'c', 'a and b', 'a and c', 'b and c', 'all of a, b, and c', or variations thereof.
  • identification may include identifying target information by directly determining, directly generating, or acquiring or receiving target information from an external source.
  • an electronic device identifying A may include identifying A by the electronic device directly determining or generating A.
  • an electronic device identifying A may include identifying A by receiving, being provided with, or acquiring A (or information about A) from another external electronic device, server, or system.
  • FIG. 1 illustrates an example in which an electronic device detects a user's approach and provides useful information in one embodiment of the present disclosure.
  • the electronic device (100) when a user (110) approaches the electronic device (100), the electronic device (100) may be configured to provide a specific function or a specific service to the user (110). When the user (110) is not using the electronic device (100) or is not in close proximity to the electronic device (100), the electronic device (100) may maintain a low-power state with low power consumption. Thereafter, when the electronic device (100) detects or recognizes the approach of the user (110), the electronic device (100) may exit the low-power state and provide a service to the user (110). For example, the electronic device (100) may detect the approach of the user (110) and execute a specific application. For example, the electronic device (100) may detect the approach of the user (110) and output a wired or wireless broadcast through at least one of a display or a speaker.
  • the electronic device (100) may detect the approach of a user (110) and provide specific information to the user (110). For example, the electronic device (100) may output visual elements (e.g., images, text, graphics, user interface (UI), etc.) representing specific information through a display. For example, the electronic device (100) may display visual elements on the display. For example, the electronic device (100) may output auditory elements (e.g., voice, notification, etc.) representing specific information through a speaker. For example, the electronic device (100) may output specific information in a form recognizable by the user (110) (e.g., haptic, document, etc.) through another output device (e.g., vibration generating device, printer, projector, etc.).
  • visual elements e.g., images, text, graphics, user interface (UI), etc.
  • UI user interface
  • the electronic device (100) may display visual elements on the display.
  • auditory elements e.g., voice, notification, etc.
  • the electronic device (100) may output specific
  • the type of specific information output upon user (110) access may be predetermined, set, or defined.
  • the type of specific information may be set by user input.
  • the type of specific information output upon user (110) access may be adaptively determined.
  • the type of specific information may change depending on the environment at the time of output.
  • specific information output upon user (110) access may include at least one of real-time information and pre-stored information.
  • the specific information may include information input, generated, or collected in real time.
  • the specific information may include information pre-stored in memory.
  • the specific information may include information input, generated, collected, or updated periodically.
  • the electronic device (100) can output date information, time information, weather information, smart home control information, and memo information through a display.
  • the electronic device (100) is a display device (e.g., a TV device) that includes or has a display built in, and can display date information, time information, weather information, smart home control information, and memo information on the display.
  • the electronic device (100) can display the output information on the display in the form of visual elements such as letters, numbers, identifiers, images, icons, and graphics.
  • an electronic device (100) may detect or recognize the approach of a user (110).
  • the electronic device (100) may detect or recognize the approach of a user (110) using a sensor, module, or device built into, included in, or connected to the electronic device (100).
  • the electronic device (100) can detect or recognize the approach of a user (110) by using a microphone (hereinafter, “microphone”) built into, included in, or connected to the electronic device (100). For example, the electronic device (100) can identify that the user (110) is located nearby by using ambient sounds (e.g., voices, footsteps, rustling sounds, etc.) input through the microphone. However, when only ambient sounds input through the microphone are used, the electronic device (100) cannot identify how close the user (110) is, and may incorrectly identify that the user (110) is located nearby even when sounds are generated by something other than the user.
  • ambient sounds e.g., voices, footsteps, rustling sounds, etc.
  • the electronic device (100) can detect or recognize the approach of a user (110) by using a speaker and a microphone built into, included in, or connected to the electronic device (100). For example, the electronic device (100) can identify that a user (110) is located nearby by using a phase shift between an ultrasonic signal (e.g., 18 to 20 KHz) output (or transmitted) through the speaker and an ultrasonic signal input (or received) through the microphone.
  • Ultrasonic waves are sound waves in the inaudible range, but when the electronic device (100) constantly transmits and receives ultrasonic signals, some younger users or pets may perceive the ultrasonic waves auditorily, and thus, may experience auditory stress.
  • an electronic device (100) may detect or recognize the approach of a user (110) using a motion sensor.
  • a method may be provided for an electronic device (100) to detect or recognize the approach of a user (110) using WiFi (wireless fidelity) channel state information (CSI).
  • WiFi CSI is channel state information and may include parameters measured while a signal is transmitted in a WiFi-based wireless channel.
  • WiFi CSI may include signal strength, signal phase, signal arrival time, beamforming feedback, channel interference degree, multipath, etc.
  • the electronic device (100) detects or recognizes the approach of a user (110) using WiFi CSI may be described later in the description of FIGS. 2 to 12 .
  • FIG. 2 is a flowchart illustrating an example of a method of operating an electronic device according to one embodiment of the present disclosure.
  • FIG. 2 may illustrate an example of a method by which an electronic device detects or recognizes a user's approach.
  • a method (200) may include steps 210 and 220.
  • steps 210 and 220 of the method (200) may be executed by at least one processor included in the electronic device.
  • the method (200) for operating the electronic device is not limited to that illustrated in FIG. 2 , and in one or more embodiments, additional steps not illustrated in FIG. 2 may be included, or some steps may be omitted.
  • the electronic device can identify the presence of a user within the detection range of the WiFi CSI if the audio received through the microphone corresponds to a preset condition.
  • the detection range of the WiFi CSI may include a range in which the presence or absence of an object (e.g., a person) or movement can be detected using the WiFi CSI.
  • the terms “detection range based on WiFi CSI,” “detection range of WiFi CSI,” or “detection range of WiFi CSI” may be used interchangeably.
  • an electronic device may receive audio via a microphone.
  • the electronic device may identify whether the received audio corresponds to a preset condition.
  • the preset condition may include conditions regarding whether the audio corresponds to ambient sounds of the electronic device, the volume, frequency, state of the audio, and the class of ambient sounds to which the audio corresponds.
  • the electronic device may identify whether the received audio corresponds to ambient sounds of the electronic device.
  • an electronic device can identify whether an ambient sound input through a microphone is a human sound. For example, if the received audio corresponds to an ambient sound, the electronic device can identify whether the ambient sound is a human sound based on at least one class associated with the ambient sound. For example, the electronic device can record the ambient sound (or audio received through a microphone) at regular intervals to identify whether the ambient sound is a human sound. To this end, power can be supplied to the microphone. The ambient sound can be converted into an electrical signal (e.g., electrical data) by the microphone and input to the electronic device. For example, the ambient sound can include sounds in the audible frequency band or sounds in the inaudible frequency band.
  • a microphone may be mounted, installed, built-in, or included in an electronic device as a component, input device, or module of the electronic device.
  • the microphone may be included as a component in a device separate from the electronic device or may be a separate device itself, and the separate device may be connected to the electronic device via wired or wirelessly.
  • the electronic device may receive data corresponding to ambient sound from the microphone (or a device including a microphone).
  • the microphone may be included in a remote control device (e.g., a Bluetooth remote control, a WiFi remote control) that transmits and receives data with the electronic device via wired or wirelessly.
  • the remote control device may convert the input ambient sound from an analog signal to a digital signal and transmit it to the electronic device via Bluetooth, infrared, or WiFi communication.
  • the microphone may be included in a client device (e.g., a smartphone, an AI speaker) that transmits and receives data with the electronic device via wired or wirelessly.
  • An application that controls the electronic device may be installed or executed on the client device.
  • the client device can convert the incoming ambient sound from an analog signal to a digital signal and transmit it to an electronic device via wireless or wired communication.
  • an electronic device may obtain information about a class of ambient sound (or a class corresponding to the ambient sound, a class related to the ambient sound) (e.g., a sound class, an audio class) to determine whether the ambient sound is a sound made by a person.
  • the ambient sound may be classified into one or more classes using a learning model, a classification algorithm, or the like.
  • the electronic device may classify the ambient sound into at least one class among a plurality of classes, and may determine whether the ambient sound is a sound made by a person using the information about the class of the ambient sound.
  • the electronic device may receive information about the class of the ambient sound from an external device, a server, or a system, and may determine whether the ambient sound is a sound made by a person.
  • the external device, the server, or the system may classify the ambient sound into at least one class among a plurality of classes, and provide information about the class of the ambient sound to the electronic device.
  • the electronic device can determine that the ambient sound is not a sound caused by a human being. For example, if an ambient sound is classified into a class corresponding to footsteps, the electronic device can determine that the ambient sound is a sound caused by a human being. To this end, information regarding whether each of the multiple classes corresponds to a sound caused by a human being or a sound caused by something other than a human being can be stored in the memory of the electronic device.
  • an electronic device can identify whether a microphone-input ambient sound is a human sound by receiving information from an external device, server, or system regarding whether the microphone-input ambient sound is a human sound.
  • the external device, server, or system can determine whether the microphone-input ambient sound is a human sound and provide the determination result to the electronic device.
  • an electronic device can identify the presence of a user within a detection range based on WiFi CSI. In one embodiment of the present disclosure, the electronic device can identify the presence of a user within the detection range based on WiFi CSI based on identifying that an ambient sound is a sound caused by a person (or that the ambient sound is not caused by something other than a person). For example, after identifying that an ambient sound is a sound caused by a person, the electronic device can identify the presence of a user within the detection range based on WiFi CSI.
  • an electronic device may acquire WiFi CSI and use the WiFi CSI to determine whether a user is present within a detection range based on the WiFi CSI.
  • the electronic device may transmit and receive WiFi signals (e.g., data) with an access point (AP), a soft AP, or a router device through a WiFi channel, and may acquire WiFi CSI for such WiFi channel.
  • the WiFi CSI may be acquired periodically, aperiodically, or continuously.
  • the WiFi CSI may dynamically change due to external factors such as changes in the physical environment, changes in the distance between a WiFi receiver and a transmitter, interference from external radio waves, or weather. Changes in the physical environment may include the presence, location, type, or movement of objects within a space where WiFi signals are transmitted and received.
  • an electronic device can determine whether a user is present within a detection range based on WiFi CSI based on whether there is a change in WiFi CSI, the type of change, or the degree of change. For example, an electronic device can determine whether a user is present within a detection range based on WiFi CSI using a machine learning model or algorithm based on the acquired WiFi CSI. For example, an electronic device can obtain information on whether a user is present within a detection range based on WiFi CSI by inputting WiFi CSI into a machine learning model or algorithm.
  • the machine learning model can include a model trained to detect the presence of an object or the movement of an object within a specific detection range (e.g., a target space) by using WiFi CSI as an input.
  • an electronic device can identify the presence of a user within a WiFi CSI-based detection range by receiving information about the presence of a user within a WiFi CSI-based detection range from an external device, server, or system.
  • the external device, server, or system can determine whether a user is within the WiFi CSI-based detection range and provide the determination result to the electronic device.
  • the electronic device may change, or control to change, from a first state in which power consumption is lower than a preset value to a second state in which power consumption is higher than a preset value based on the presence of a user within the detection range of the WiFi CSI.
  • the first state may include a state in which power consumption is lower than a normal state based on at least one of the speaker or the display not operating.
  • the second state may include a state in which power consumption is higher than a normal state based on at least one of the speaker or the display operating.
  • the normal state may include a predefined reference state or a state in which a specific function can be provided.
  • the normal state may include a state in which power consumption is as high as a preset value.
  • the electronic device can identify whether a user is present within the first detection range based on ultrasound. For example, if the received audio corresponds to a preset condition and a user is present within the detection range of the WiFi CSI, the electronic device can output an ultrasonic signal of a first intensity through a speaker. For example, the electronic device can identify whether the user is present within the first detection range based on the outputted ultrasonic signal of the first intensity and the ultrasonic signal input through the microphone.
  • an electronic device can identify the presence of a user within a first ultrasonic detection range based on the presence of a user within the detection range based on WiFi CSI, based on the presence of a user within the ambient sound. For example, if the electronic device identifies the presence of a user within the first ultrasonic detection range based on the presence of a user within the detection range based on WiFi CSI, the electronic device can identify the presence of a user within the first ultrasonic detection range.
  • the electronic device may output an ultrasonic signal of a first intensity through a speaker.
  • at least one processor of the electronic device may control a speaker inherent or included in the electronic device to generate the first ultrasonic signal.
  • the electronic device may transmit a signal, information, data, or message requesting or instructing the output of an ultrasonic signal to a speaker device connected to the electronic device via wire or wirelessly.
  • the speaker device may generate an ultrasonic signal of the first intensity according to the received signal, information, data, or message.
  • an ultrasonic signal output through a speaker can be reflected by any object and input to a microphone.
  • an electronic device can identify the presence of a user within a first ultrasound-based detection range by using the output ultrasonic signal of the first intensity and the ultrasonic signal input to the microphone. For example, the electronic device can determine whether a user is present within the first ultrasound-based detection range by using the output ultrasonic signal of the first intensity and the ultrasonic signal input to the microphone. For example, the electronic device can determine whether a user is present within the first ultrasound-based detection range by using the phase difference between the ultrasonic signal output through the speaker and the ultrasonic signal input to the microphone.
  • an electronic device can identify the presence of a user within a first ultrasonic-based detection range by receiving information about the presence of a user within a first ultrasonic-based detection range from an external device, server, or system.
  • the external device, server, or system can determine whether a user is within the first ultrasonic-based detection range and provide the determination result to the electronic device.
  • an electronic device may output or control to output a screen corresponding to the presence of a user based on the presence of a user within a first ultrasonic detection range.
  • the electronic device may output a specific screen on a display based on the presence of a user within the first ultrasonic detection range.
  • the electronic device may output a specific screen on the display.
  • at least one processor of the electronic device may control a display inherent or included in the electronic device to output (e.g., display) a specific screen.
  • the electronic device may transmit a signal, information, data, or message requesting or instructing the output of a specific screen to a display device connected to the electronic device by wire or wirelessly.
  • the display device may output (e.g., display) a specific screen based on the received signal, information, data, or message.
  • the electronic device can change or control to change from a second state in which power consumption is higher than a preset value to a first state in which power consumption is lower than a preset value based on the absence of a user within a first detection range based on ultrasonic waves.
  • FIG. 2 illustrates that the electronic device performs step 220 after performing step 210, this is not limited thereto.
  • the electronic device may perform step 210 after performing step 220, or may perform steps 210 and 220 in parallel.
  • FIG. 3 is a drawing showing an example of a detection range of an electronic device according to one embodiment of the present disclosure.
  • an electronic device e.g., a TV device
  • the electronic device (100) can identify the presence of a user within a sound-based detection range (310).
  • the electronic device (100) can detect or determine the presence of a user within the sound-based detection range (310) by using information about ambient sounds input through a microphone (e.g., input sound pressure level, type, frequency, length, characteristics, class, etc. of the ambient sounds). For example, if the ambient sound is a sound made by a person and the input sound pressure level of the ambient sound exceeds a threshold value, the electronic device (100) can determine that a user is present within the sound-based detection range (310).
  • a microphone e.g., input sound pressure level, type, frequency, length, characteristics, class, etc.
  • the sound-based detection range (310) may vary depending on the hardware settings, software settings, or surrounding environment (e.g., surrounding structures, etc.) of the detecting device.
  • the sound-based detection range (310) may be determined by the type, location, and directionality of the microphone or electronic device (100).
  • the sound-based detection range (310) may be determined by the sensitivity level on the hardware or the sensitivity level on the software.
  • the sound-based detection range (310) may vary depending on the surrounding noise environment. For example, in an environment with loud surrounding noise, the sound-based detection range (310) may be reduced.
  • Fig. 3 illustrates a sound-based detection range (310) as a single range
  • the sound-based detection range (310) may include multiple detection ranges (e.g., detection ranges according to sound pressure levels of ambient sounds). For example, a wide detection range may be formed for a high sound pressure level, i.e., a loud sound, and a narrow detection range may be formed for a low sound pressure level, i.e., a soft sound.
  • the sound-based detection range (310) illustrated in Fig. 3 may represent a detection range for an average sound pressure level, a medium sound pressure level, a highest frequency sound pressure level, or a highest sound pressure level of sounds that may be generated by a human.
  • the electronic device (100) can identify the presence of a user within a detection range (320) based on WiFi CSI.
  • WiFi CSI is channel state information of a WiFi wireless signal and may include information on the strength of a WiFi signal, phase information of a WiFi signal, noise level information, etc., and WiFi CSI may change depending on changes in the wireless environment, the presence of other wireless devices, and the presence of obstacles.
  • WiFi CSI may change depending on changes in the structure of a space where WiFi signals are transmitted and received, reflected, refracted, interfered with, or attenuated, the addition or removal of obstacles, or the mobility of a mobile device.
  • the electronic device (100) can detect or determine whether a user exists within a WiFi CSI-based detection range (320) by using WiFi CSI.
  • the WiFi CSI can be used after noise is removed.
  • the electronic device (100) can determine whether a user exists within a WiFi CSI-based detection range (320) by using a model trained to detect (or determine) the presence of a person within a WiFi CSI-based detection range (320) with the input of the WiFi CSI.
  • the electronic device (100) can determine whether a user exists within a WiFi CSI-based detection range (320) depending on whether or how much the WiFi CSI changes.
  • the electronic device (100) can determine that a user exists within the WiFi CSI-based detection range (320).
  • the reference WiFi CSI can include WiFi CSI for a state in which a user does not exist.
  • the electronic device (100) can identify the presence of a user within an ultrasonic-based detection range (330). For example, the electronic device (100) can output (or transmit) an ultrasonic signal through a speaker (or an ultrasonic signal generator), and the output ultrasonic signal can be reflected, refracted, interfered with, scattered, or attenuated and input through a microphone. The electronic device (100) can detect or determine the presence of a user within the ultrasonic-based detection range (330) by using the ultrasonic signal output through the speaker and the ultrasonic signal input through the microphone.
  • the electronic device (100) can detect or determine whether a user is present within an ultrasonic-based detection range (330) by using information (e.g., frequency, intensity, speed, phase) about an output ultrasonic signal and an input ultrasonic signal.
  • the electronic device (100) can detect or determine whether a user is present within an ultrasonic-based detection range (330) by using a phase difference, a difference in transmission and reception time, or a difference in intensity between the output ultrasonic signal and the input ultrasonic signal.
  • the electronic device (100) can detect or determine whether a user is present within an ultrasonic-based detection range (330) by using a model learned to detect whether a user is present within an ultrasonic-based detection range (330) by using information about an output ultrasonic signal and information about an input ultrasonic signal as inputs.
  • the ultrasonic-based detection range (330) can be determined based on the intensity of the output ultrasonic signal. For example, the stronger the output ultrasonic signal, the wider the ultrasonic-based detection range (330) can be formed. Conversely, the weaker the output ultrasonic signal, the narrower the ultrasonic-based detection range (330) can be formed. Accordingly, the electronic device (100) can output a strong ultrasonic signal through the speaker to detect a user located at a distant location.
  • each detection range is depicted in an ideal, theoretical, or fixed form in Figure 3, this is not a limitation.
  • shape or width of each detection range may vary depending on various factors such as spatial structure, obstacles, WiFi signal conditions, ultrasonic signal conditions, and the surrounding environment.
  • each detection range may be variable.
  • the WiFi CSI-based detection range (320) is illustrated as covering the widest range
  • the ultrasonic-based detection range (330) is illustrated as covering the narrowest range.
  • each detection range may vary, and thus is not limited thereto.
  • the sound-based detection range (310) or the ultrasonic-based detection range (330) may cover the widest range.
  • the WiFi CSI-based detection range (320) or the sound-based detection range (310) may cover the narrowest range.
  • FIG. 3 depicts each detection range two-dimensionally on a plan view, this is not a limitation.
  • at least one detection range may include a three-dimensional (e.g., spherical) range.
  • FIG. 4 is a diagram showing an example of the operation of an electronic device when an ambient sound is identified by a person in one embodiment of the present disclosure.
  • FIG. 4 may show an example of the operation of an electronic device (100) in a case where the ambient sound (410) input through a microphone in one embodiment of the present disclosure is a sound by a person, but there is no user within the detection range based on WiFi CSI.
  • the electronic device (100) can receive ambient sound (410) through a microphone associated with the electronic device (100).
  • the microphone associated with the electronic device (100) may include a sound sensor, a sound input module, or a sound input device capable of converting ambient sound into an electrical signal.
  • the microphone associated with the electronic device (100) may include a microphone built into or included in the electronic device (100).
  • the microphone associated with the electronic device (100) may include a microphone device connected to the electronic device (100) by wire or wirelessly.
  • the microphone associated with the electronic device (100) may include a microphone built into or included in a device connected to the electronic device (100) by wire or wirelessly.
  • the electronic device (100) can identify whether the ambient sound (410) is a sound by a person in order to identify the presence of a user within the sound-based detection range.
  • the electronic device (100) can extract features from the ambient sound (410) and classify the ambient sound (410) into at least one of a plurality of classes using the extracted features.
  • the electronic device (100) can use a learning model, a statistical model, a classification algorithm, or a signal processing algorithm for classifying input sounds.
  • the plurality of classes may include classes corresponding to sounds produced by non-human entities or classes corresponding to sounds produced by humans.
  • one or more of the plurality of classes may be predetermined to correspond to sounds produced by humans.
  • one or more of the plurality of classes may be predetermined to correspond to sounds produced by non-human entities.
  • the electronic device (100) can identify (or determine) the ambient sound (410) as a sound made by a person. In one embodiment of the present disclosure, if the ambient sound (410) is not classified into a class corresponding to a sound made by a non-human entity, the electronic device (100) can identify (or determine) the ambient sound (410) as a sound made by a person. For example, if the ambient sound (410) is classified into a speech sound class, a footstep sound class, a laughter sound class, etc., the electronic device (100) can identify (or determine) the ambient sound (410) as a sound made by a person.
  • the electronic device (100) can identify (or determine) the ambient sound (410) as not being a sound made by a person. For example, if the ambient sound (410) is not classified into a predefined class, the electronic device (100) can identify (or determine) the ambient sound (410) as a sound made by a human.
  • the electronic device (100) can identify whether a user is present within a detection range based on WiFi CSI.
  • the electronic device (100) can acquire WiFi CSI periodically or aperiodically.
  • the electronic device (100) can collect, calculate, receive, or generate WiFi CSI for WiFi signals transmitted and received with an AP device.
  • the electronic device (100) can use the acquired WiFi CSI to identify (or determine) whether a user is present within a detection range based on WiFi CSI.
  • the electronic device (100) may maintain its existing state.
  • the existing state of the electronic device (100) may include a state with low power consumption (or a state with low power consumption) (e.g., a power saving mode, a low power mode), and for example, may include a state in which power is not supplied to a speaker or display.
  • a detection range based on WiFi CSI may correspond to a specific indoor or outdoor space (e.g., a home, an office, a bedroom, etc.) in which the electronic device (100) is located.
  • the absence of a user in the detection range based on WiFi CSI may be regarded as the absence of a user in the corresponding specific indoor or outdoor space.
  • the electronic device (100) may continue to detect the presence of a user within the detection range based on WiFi CSI.
  • the electronic device (100) may not perform additional operations to detect the user until another ambient sound is input to the microphone.
  • the TV device can identify whether the ambient sound (410) from outside the house is a sound caused by a person. If the ambient sound (410) is not a sound caused by a person, the TV device may not perform additional actions to detect a user or change its state until another ambient sound is input through the microphone. If the ambient sound (410) is a sound caused by a person, the TV device can identify that no user is present inside the house based on WiFi CSI.
  • FIG. 5 is a diagram illustrating an example of an operation of an electronic device when an ambient sound caused by a person is identified and the presence of a user within a detection range based on WiFi CSI is identified in one embodiment of the present disclosure.
  • FIG. 5 illustrates an example of an operation of an electronic device (100) in a case where an ambient sound (410) input through a microphone is a sound made by a person and a user (110) is present within a detection range based on WiFi CSI, according to one embodiment of the present disclosure.
  • the electronic device (100) identifies the sound of boiling water input through the microphone as a sound made by a person, and thus can identify whether a user (110) is present inside a house using WiFi CSI.
  • the electronic device (100) when the electronic device (100) identifies that the ambient sound (410) input through the microphone is a sound made by a person, the electronic device (100) can identify (or determine) whether a user (110) is present within a detection range based on WiFi CSI. For example, the electronic device (100) can identify (or determine) whether a current user (110) is present within a detection range based on WiFi CSI using the current WiFi CSI.
  • the electronic device (100) may transition or change from an existing state to another state. For example, the electronic device (100) may transition or change from an existing state with low power consumption (e.g., power saving mode) to another state with high power consumption. For example, the electronic device (100) may transition from an existing state in which the speaker is powered off to a state in which the speaker is powered on. For example, the electronic device (100) may transition from an existing state in which the connection interface module with the speaker is powered off to a state in which the connection interface module with the speaker is powered on.
  • the existing state in which the connection interface module with the speaker is powered off to a state in which the connection interface module with the speaker is powered on.
  • the electronic device (100) can identify whether a user (110) is present within a first ultrasonic-based detection range (510). To this end, the electronic device (100) can output an ultrasonic signal through a speaker associated with the electronic device (100). For example, the electronic device (100) can transmit an inaudible ultrasonic signal through the speaker for a certain period of time.
  • a speaker associated with an electronic device (100) may include an output module or output device capable of generating, transmitting, or outputting an ultrasonic signal.
  • a speaker associated with an electronic device (100) may include a speaker built into or included in the electronic device (100).
  • a speaker associated with an electronic device (100) may include a speaker device connected to the electronic device (100) by wire or wirelessly.
  • a speaker associated with an electronic device (100) may include a speaker built into or included in a device connected to the electronic device (100) by wire or wirelessly.
  • the electronic device (100) may determine whether a user (110) exists within an ultrasonic-based first detection range (510) using the output ultrasonic signal and the input ultrasonic signal.
  • the ultrasonic-based first detection range (510) may include a proximity area (e.g., an area within 3 m) in which the user (110) can actually use the service of the electronic device (100).
  • the absence of the user (110) within the ultrasonic-based first detection range (510) may be regarded as meaning that the user (110) is not located in proximity to the electronic device (100).
  • the electronic device (100) may determine that the user (110) is not present in the first ultrasound-based detection range (510) using the input ultrasound signal that does not include the ultrasound signal reflected by the user (110). For example, even when the user (110) is located outside the first ultrasound-based detection range (510), the output ultrasound signal may be reflected by the user (110) and input to the microphone. In this case, the electronic device (100) may determine that the user (110) is present outside the first ultrasound-based detection range (510) using the input ultrasound signal.
  • the electronic device (100) may maintain its current state. For example, the electronic device (100) may continue to detect the presence of the user (110) within the first ultrasonic-based detection range (510). In one embodiment of the present disclosure, if there is no user (110) within the first ultrasonic-based detection range (510), the electronic device (100) may transition to a state with low power consumption. For example, the electronic device (100) may transition to a state in which the speaker is powered off. For example, the electronic device (100) may not perform additional operations to detect the user (110) until another ambient sound is input to the microphone.
  • the TV device can identify that the ambient sound (410) of the water boiling sound is a human sound, identify that the user (110) is present inside the house based on WiFi CSI, and identify that the user (110) is not located close to the TV device based on ultrasonic signals.
  • FIG. 6 is a diagram illustrating an example of an operation of an electronic device when an ambient sound caused by a person is identified, the presence of a user within a detection range based on WiFi CSI is identified, and the presence of a user within a detection range based on ultrasound is identified in one embodiment of the present disclosure.
  • FIG. 6 illustrates an example of an operation of an electronic device (100) in a case where, in one embodiment of the present disclosure, an ambient sound (410) input through a microphone is a sound caused by a person, a user (110) is present within a detection range based on WiFi CSI, and a user (110) is present within a detection range based on ultrasonic waves.
  • the electronic device (100) identifies a footstep sound input through a microphone as a sound caused by a person, and identifies that a user (110) is present inside a house, and thus can identify whether the user (110) is located close to the electronic device (100) using an ultrasonic signal.
  • the electronic device (100) can identify whether the user (110) is within a first ultrasonic-based detection range (510). When the user (110) is located within the first ultrasonic-based detection range (510), an ultrasonic signal output through a speaker can be reflected by the user (110) and input to a microphone. The electronic device (100) can determine whether the user (110) is within the first ultrasonic-based detection range (510) by using the output ultrasonic signal and the ultrasonic signal reflected and input to the microphone.
  • the presence of a user (110) within the first ultrasonic-based detection range (510) may be considered as the user (110) being located in proximity to the electronic device (100). Accordingly, the electronic device (100) may detect the approach of the user (110) by identifying that the user (110) is located within the first ultrasonic-based detection range (510).
  • the electronic device (100) when a user (110) is present within an ultrasonic-based first detection range (510), the electronic device (100) may perform a predetermined operation. For example, when the electronic device (100) detects the approach of the user (110), the electronic device (100) may output specific information through an output device associated with the electronic device (100).
  • the output device associated with the electronic device (100) may include an output device built into or included in the electronic device (100).
  • the output device associated with the electronic device (100) may include an output device connected to the electronic device (100) by wire or wirelessly.
  • the output device associated with the electronic device (100) may include an output device built into or included in a device connected to the electronic device (100) by wire or wirelessly.
  • the electronic device (100) may output a specific screen through a display associated with the electronic device (100).
  • the electronic device (100) may output a visual element (e.g., a graphic, an icon, an identifier, a character, an image, an index, etc.) representing specific information through a display associated with the electronic device (100).
  • a visual element e.g., a graphic, an icon, an identifier, a character, an image, an index, etc.
  • the electronic device (100) may output an auditory element (e.g., a voice, a notification, a sound, etc.) representing specific information through a speaker associated with the electronic device (100).
  • an auditory element e.g., a voice, a notification, a sound, etc.
  • the electronic device (100) may transition from a state in which the display is powered off (e.g., in a power-saving mode) to a state in which the display is powered on.
  • the electronic device (100) may transition from a previous state in which the connection interface module with the display is powered off to a state in which the connection interface module with the display is powered on.
  • the electronic device (100) may transition to a state in which the display is powered on.
  • the state in which the display is powered on may include a state in which the frame rate control (FRC) module is powered on, and the LCF backlight can be turned on.
  • the FRC module may be an on-board surface-mounted device (SMD) chip, and may include a module for reducing artifacts caused by slow discharge of the liquid crystal and converting broadcast signals to a higher frame rate.
  • SMD surface-mounted device
  • the electronic device (100) may transition to a state in which the display is powered on. For example, the electronic device (100) may transition to a power-on state of the display before identifying the presence of a user (110) within the first ultrasonic-based detection range (510).
  • the electronic device (100) can output a screen or visual element on the display as soon as it identifies the presence of a user (110) within the first ultrasonic detection range (510).
  • the electronic device (100) can output a screen or visual element on the display as soon as it identifies the presence of a user (110) within the first ultrasonic detection range (510).
  • a delay time may occur between the time of the user's (110) approach and the time of the display's output. Therefore, by applying power to the display in advance before identifying the presence of a user (110) within the first ultrasonic detection range (510), the delay time can be reduced.
  • the TV device can identify that the ambient sound (410) of footsteps is a human sound, identify that the user (110) is present inside the house based on WiFi CSI, and identify that the user (110) is located close to the TV device based on ultrasonic signals.
  • the TV device can output a screen including visual elements representing useful information on the display.
  • FIG. 7A is a diagram illustrating an example of a first state of an electronic device according to an embodiment of the present disclosure.
  • FIG. 7B is a diagram illustrating an example of a second state of an electronic device according to an embodiment of the present disclosure.
  • the electronic device (100) may include at least one processor (710), a high-definition multimedia interface (HDMI) module (720), a tuner module (730), a speaker (740), and a display (750).
  • the HDMI module (720) may perform a digital interface function for receiving or transmitting digital video and audio signals.
  • the tuner module (730) may receive and process terrestrial or cable TV broadcast signals.
  • the state of the electronic device (100) may include a power consumption state of the electronic device (100), and the electronic device (100) may be set to one of a plurality of power consumption states at one point in time.
  • the power consumption state of the electronic device (100) may indicate whether power is supplied to sensors, modules, or devices inherent in, included in, or wirelessly connected to the electronic device (100).
  • a state of low power consumption (or a state of low power consumption) may include a state in which power is supplied to a relatively small number of sensors, modules, or devices.
  • a state of high power consumption (or a state of high power consumption) may include a state in which power is supplied to a relatively large number of sensors, modules, or devices.
  • the electronic device (100) may transition from a first state with low power consumption to a second state with high power consumption based on identifying (or determining) that a user is present within a detection range based on WiFi CSI.
  • the first state may include a state in which at least one of the speaker (740) or the display (750) is powered off
  • the second state may include a state in which at least one of the speaker (740) or the display (750) is powered on.
  • the electronic device (100) may transition to a second state in which power is supplied to the speaker (740) to output an ultrasonic signal through the speaker (740).
  • the electronic device (100) may transition from a second state with high power consumption to a first state with low power consumption based on identifying (or determining) that a user is not present within a first ultrasonic-based detection range. For example, if it is determined that a user is not present within the first ultrasonic-based detection range, the electronic device (100) may cut off power to at least one of the speaker (740) and the display (750).
  • the electronic device (100) may enter a state in which the speaker (740) or the display (750) is turned off, thereby preventing unnecessary power consumption.
  • an electronic device (100) in a first state with low power consumption may have power supplied to the processor (710), but not to the HDMI module (720), the tuner module (730), the speaker (740), and the display (750).
  • the electronic device (100) may operate with low power consumption by not supplying power to the HDMI module (720), the tuner module (730), the speaker (740), and the display (750). Since power is not supplied to the HDMI module (720), the tuner module (730), the speaker (740), and the display (750) in the first state, functions of the electronic device (100) that require operation of the HDMI module (720), the tuner module (730), the speaker (740), or the display (750) may be deactivated.
  • the electronic device (100) in the second state with high power consumption may have power supplied to the processor (710), the speaker (740), and the display (750), but not to the HDMI module (720) and the tuner module (730).
  • the power consumption of the electronic device (100) in the second state may be higher than in the first state, but may be lower than in the state in which power is supplied to all of the processor (710), the HDMI module (720), the tuner module (730), the speaker (740), and the display (750).
  • functions of the electronic device (100) that require operation of the speaker (740) or the display (750) may be activated to be executed or provided.
  • the electronic device (100) illustrated in FIGS. 7A and 7B includes, but is not limited to, a processor (710), an HDMI module (720), a tuner module (730), a speaker (740), and a display (750).
  • the electronic device (100) may include a microphone (or a connection interface module with a microphone) and a WiFi module, and at least one of the first state or the second state may include a state in which power is supplied to at least one of the microphone or the WiFi module.
  • FIGS. 7A and 7B illustrate the first state and the second state as states of the electronic device, respectively, the states of the electronic device are not limited thereto.
  • the plurality of states of the electronic device may include more types of states.
  • the plurality of states may include a state in which power is supplied to the speaker (740) and the processor (710), and power is cut off to the HDMI module (720), the tuner module (730), and the display (750).
  • the plurality of states may include a state in which power is supplied to the display (750) and the processor (710), and power is cut off to the HDMI module (720), the tuner module (730), and the speaker (740).
  • FIG. 8 is a drawing showing an example of a method of operating an electronic device according to one embodiment of the present disclosure.
  • FIG. 8 may illustrate an example of the operation and interaction of a processor and each module included in an electronic device according to one embodiment of the present disclosure.
  • the electronic device may include a microphone module (810), at least one processor (812), a WiFi module (814), an ambient sound module (816), a power module (818), an ultrasonic transceiver module (820), a speaker module (822), and a display module (824).
  • at least one processor (812) may include an application processor (AP).
  • a method (800) may include steps 830 to 854.
  • the method (800) of operating an electronic device is not limited to that illustrated in FIG. 8, and in one or more embodiments, steps not illustrated in FIG. 8 may be further included, or some steps may be omitted.
  • the processor (812) can identify ambient sounds from the microphone module (810).
  • the processor (812) can identify ambient sounds input through the microphone module (810).
  • the ambient sounds can be recorded at regular intervals.
  • the microphone module (810) can convert ambient sounds into electrical signals
  • the processor (812) can identify the ambient sounds converted into electrical signals.
  • the ambient sounds converted into electrical signals can be stored in the memory of the electronic device.
  • the processor (812) can use the ambient sound module (816) to identify whether an ambient sound is a human sound. For example, the processor (812) can control the ambient sound module (816) to recognize human presence. For example, the ambient sound module (816) can determine whether an ambient sound is a human sound.
  • the processor (812) may provide or input ambient sounds (e.g., ambient sound data) to the ambient sound module (816).
  • the processor (812) may request, command, or instruct the ambient sound module (816) to determine whether the ambient sounds are human sounds.
  • the processor (812) can recognize presence from the ambient sound module (816). For example, the ambient sound module (816) can determine whether the ambient sound is a sound caused by a person and output or return the determination result. For example, if the ambient sound is a sound caused by a person, the ambient sound module (816) can output or return information (e.g., a result value) indicating that the ambient sound is a sound caused by a person to the processor (812). Accordingly, the processor (812) can identify that the ambient sound is a sound caused by a person, i.e., recognize presence, based on the return information from the ambient sound module (816).
  • the ambient sound module (816) can determine whether the ambient sound is a sound caused by a person and output or return the determination result. For example, if the ambient sound is a sound caused by a person, the ambient sound module (816) can output or return information (e.g., a result value) indicating that the ambient sound is a sound caused by a person to the processor (812). Accordingly
  • the processor (812) can identify the presence of a user within a WiFi-based detection range as a presence is recognized.
  • the processor (812) can identify WiFi CSI from the WiFi module (814) in step 836, and identify presence in a target space in step 838.
  • the WiFi module (814) can obtain, calculate, collect, generate, or store WiFi CSI.
  • the WiFi module (814) can store WiFi CSI for a target space in which no person is present as a reference WiFi CSI. If the current WiFi CSI has changed by a threshold amount or more from the reference WiFi CSI, the processor (812) can determine that a user is present within the WiFi-based detection range. For example, since the WiFi-based detection range may correspond to the target space, the processor (812) can determine presence in the target space by determining the presence of a user within the WiFi-based detection range.
  • the processor (812) can identify information indicating the presence of a user within a WiFi-based detection range from the WiFi module (814). For example, the processor (812) can request, command, or instruct the WiFi module (814) to determine the presence of a user within the WiFi-based detection range. Accordingly, the WiFi module (814) can determine the presence of a user within the WiFi CSI-based detection range and output or return information indicating the presence of a user within the WiFi CSI-based detection range to the processor (812).
  • the processor (812) may change the state of the electronic device. For example, the processor (812) may request, command, or instruct the power module (818) to change the power consumption state (or mode). Accordingly, the power module (818) may apply or cut off power to at least one module.
  • the processor (812) may request the power module (818) to change from a low-power state (e.g., an ambient sound reception state) to an ultrasonic transmission/reception state. Accordingly, the power module (818) may supply power to the speaker module (822) in step 842, and supply power to the display module (824) in step 844.
  • FIG. 8 illustrates that the power module (818) sequentially supplies power to the speaker module (822) and the display module (824), the present invention is not limited thereto.
  • the power module (818) may supply power to the speaker module (822) and the display module (824) simultaneously.
  • the processor (812) can identify the presence of a user within an ultrasonic-based detection range.
  • the processor (812) can request (or command, instruct) the ultrasonic transmission/reception module (820) to transmit (or output) an ultrasonic signal.
  • the processor (812) can request (or command, instruct) the ultrasonic transmission/reception module (820) to transmit (or output) an ultrasonic signal of a specific intensity or frequency.
  • the ultrasonic transmission/reception module (820) can transmit (or output) an ultrasonic signal through the speaker module (822).
  • the speaker module (822) can generate an ultrasonic signal of a specific frequency and a specific intensity according to a command, request, control, or instruction of the ultrasonic transmission/reception module (820).
  • the ultrasonic signal generated by the speaker module (822) may be reflected by an external object and input through the microphone module (810).
  • the microphone module (810) may convert the ultrasonic signal reflected by the external object into an electrical signal or data.
  • the ultrasonic signal input through the microphone module (810) may be provided to or input to the processor (812).
  • the processor (812) can identify the phase difference between the transmitted ultrasonic signal and the received ultrasonic signal from the ultrasonic transceiver module (820).
  • the processor (812) can use the phase difference between the transmitted ultrasonic signal and the received ultrasonic signal to determine whether a user is present within the ultrasonic-based detection range. For example, if the phase difference between the transmitted ultrasonic signal and the received ultrasonic signal is constant for a certain period of time, the processor (812) can determine that a user is absent within the ultrasonic-based detection range. For example, if the phase difference between the transmitted ultrasonic signal and the received ultrasonic signal changes for a certain period of time, the processor (812) can determine that a user is present within the ultrasonic-based detection range.
  • the processor (812) when the processor (812) identifies the presence of a user within the ultrasonic-based detection range, the processor (812) may output specific information. Referring to FIG. 8, in step 854, the processor (812) may display a screen on the display module (824). For example, the processor (812) may transmit data, information, instructions, requests, or commands for screen output to the display module (824), and the display module (824) may display a screen according to the received data, information, instructions, requests, or commands.
  • the processor (812) recognizes presence using ambient sound and then uses WiFi CSI to identify occupancy.
  • the processor (812) may identify occupancy in a target space using WiFi CSI and then use ambient sound to recognize presence. In this case, if presence is recognized by ambient sound, the processor (812) may change its state or output ultrasonic waves.
  • FIG. 9 is a flowchart illustrating an example of a method of operating an electronic device according to one embodiment of the present disclosure.
  • FIG. 9 illustrates an example of an operating method of an electronic device when the absence of a user within a detection range based on WiFi CSI is identified, but a loud ambient sound is identified.
  • an operating method (900) of an electronic device may include steps 910 to 940.
  • steps 910 to 940 of the method (900) may be executed by at least one processor included in the electronic device.
  • the operating method (900) of the electronic device is not limited to that illustrated in FIG. 9 , and in one or more embodiments, steps not illustrated in FIG. 9 may be further included, or some steps may be omitted.
  • the detection range based on WiFi CSI may not completely cover the target space (e.g., an indoor space such as a home or office) where the user is to be detected.
  • the target space may include a space outside the detection range based on WiFi CSI or a shadow space for WiFi signals.
  • the electronic device cannot detect a user existing in a space outside the detection range based on WiFi CSI or a shadow space among the target spaces based on WiFi CSI. Even if the electronic device identifies that a user is not present within the detection range based on WiFi CSI, the user may actually be present within the target space or may be entering the target space.
  • the electronic device needs to reconfirm whether the user is present in the target space (i.e., whether the user is present) or whether the user is entering.
  • the electronic device can identify the absence of a user within the WiFi CSI detection range.
  • the electronic device can detect or determine the absence of a user within the WiFi-based detection range using WiFi CSI.
  • the electronic device can identify whether the level of the received audio (or the ambient sound corresponding to the audio) is greater than or equal to a threshold.
  • the audio (or the ambient sound) in step 920 may include at least one of audio (or the ambient sound) received (or input) before identifying the absence of the user within the detection range based on WiFi CSI (i.e., step 910), audio (or the ambient sound) received (or input) during the identification, or audio (or the ambient sound) received (or input) after the identification.
  • the electronic device can identify whether the level (e.g., input sound pressure level) of the ambient sound input through the microphone is greater than or equal to a predetermined threshold.
  • the electronic device can determine whether the level of the ambient sound input through the microphone is greater than or equal to a threshold (e.g., 50 dB).
  • a threshold e.g., 50 dB.
  • the threshold may be determined based on the level of a sufficiently loud sound that can be considered to have originated within a target space.
  • an electronic device can identify whether the volume of an ambient sound corresponding to a specific class is greater than or equal to a threshold.
  • the specific class may include a class of sounds that may occur when a user enters a target space.
  • the specific class may include a class corresponding to the sound of a door closing, a class corresponding to the sound of shoes taking off, a class corresponding to the sound of a door lock, etc.
  • the electronic device can identify (or determine) whether an ambient sound input through a microphone corresponds to a specific class and identify whether the volume of the ambient sound corresponding to the specific class is greater than or equal to a threshold.
  • the electronic device may output a second intensity ultrasonic signal through the speaker.
  • the electronic device may output a second intensity ultrasonic signal through the speaker based on identifying the absence of a user within a detection range based on WiFi CSI and determining that the ambient sound level is greater than or equal to a threshold value.
  • the second intensity ultrasonic signal may be determined based on the structure and size of a target space or the position of the electronic device.
  • the second intensity ultrasonic signal may be stronger than the first intensity ultrasonic signal output when a user is present within a detection range based on WiFi CSI.
  • the electronic device can change from a first state in which power consumption is less than a preset value to a second state in which power consumption is more than a preset value when there is no user within the WiFi CSI detection range and the size of the received audio is greater than a threshold value.
  • An electronic device can identify the presence of a user within a second detection range based on ultrasound.
  • the electronic device can identify the presence of a user within a second detection range based on ultrasound.
  • the electronic device can identify the presence of a user within the second detection range based on ultrasound using an outputted ultrasonic signal of second intensity and an ultrasonic signal input through a microphone.
  • a second detection range based on an ultrasonic signal of second intensity may be wider than a first detection range based on an ultrasonic signal of first intensity. Accordingly, even if the absence of a user within a detection range based on WiFi CSI is identified, the electronic device can double-check whether a user exists or enters a target space based on sound and ultrasonic signals.
  • the electronic device can identify whether the user is located in proximity.
  • the electronic device can identify the presence of a user within a first ultrasonic-based detection range based on identifying the presence of a user within a second ultrasonic-based detection range. For example, if the presence of a user within a second ultrasonic-based detection range is identified, the electronic device can identify the presence of a user within the first ultrasonic-based detection range using an ultrasonic signal of a first intensity.
  • the electronic device can identify the presence of a user within a second detection range based on ultrasound. For example, when the volume of an ambient sound input through a microphone tends to increase, the electronic device can identify the presence of a user within the second detection range based on ultrasound. For example, when the input ambient sound is louder than the previously input ambient sound after the electronic device identifies the absence of a user within the detection range based on WiFi CSI, the electronic device can identify the presence of a user within the second detection range based on ultrasound.
  • FIG. 10 is a diagram illustrating an example of an operation of an electronic device when a user is located outside a WiFi CSI-based detection range in one embodiment of the present disclosure.
  • FIG. 10 may illustrate an example of a method of operation of an electronic device when the absence of a user (110) within a detection range based on WiFi CSI is identified, but a loud ambient sound is identified, in one embodiment of the present disclosure.
  • the electronic device may determine or identify that the user (110) does not exist within the WiFi CSI-based detection range (310). Therefore, even if it is identified that the user (110) does not exist within the WiFi CSI-based detection range (310), it is necessary to additionally detect whether the user (110) exists within the target space.
  • a target space e.g., a house
  • the electronic device may determine or identify that the user (110) does not exist within the WiFi CSI-based detection range (310). Therefore, even if it is identified that the user (110) does not exist within the WiFi CSI-based detection range (310), it is necessary to additionally detect whether the user (110) exists within the target space.
  • the WiFi CSI-based detection range (310) even if it is identified that the user (110) does not exist within the WiFi CSI-based detection range (310), if a loud ambient sound by a person is generated, a sound of a person entering the target space is generated, or the ambient sound gradually becomes louder, it may be assumed that the user (110) exists or the user (110) is entering the target space.
  • the electronic device may utilize ambient sound and ultrasound.
  • the electronic device may additionally identify (or detect, determine) whether a user (110) is present within the target space using ultrasound. For example, based on identifying that an ambient sound above a microphone decibel level is input, the electronic device may identify whether a user (110) is present within a second ultrasound-based detection range.
  • the electronic device may identify whether a user (110) is present within a second ultrasound-based detection range. For example, based on identifying that an increasingly louder ambient sound is input, the electronic device may identify whether a user (110) is present within a second ultrasound-based detection range.
  • the electronic device may output an ultrasonic signal of a second intensity through a speaker.
  • power may be supplied to the speaker associated with the electronic device.
  • the electronic device may transition from a low power consumption state to a high power consumption state.
  • the low power consumption state may include a state in which power is cut off to the speaker associated with the electronic device or a connection interface with the speaker.
  • the high power consumption state may include a state in which power is supplied to the speaker associated with the electronic device or a connection interface with the speaker.
  • the electronic device may output specific information based on identifying the presence of a user (110) within a second ultrasonic detection range. For example, if the user (110) is within the second ultrasonic detection range, the electronic device may output a screen including visual elements corresponding to the specific information on the display. For example, if the user (110) is within the second ultrasonic detection range, the electronic device may output an auditory element corresponding to the specific information through a speaker.
  • the electronic device may detect the presence of a user (110) in a target space using a second intensity ultrasonic signal, and then additionally detect the presence of the user (110) in a proximity area using a first intensity ultrasonic signal. For example, the electronic device may identify whether the user (110) is also present within a first ultrasonic-based detection range (510) based on identifying that the user (110) is present within a second ultrasonic-based detection range. The electronic device may output specific information based on identifying that the user (110) is also present within the first ultrasonic-based detection range (510). For example, the second ultrasonic-based detection range may correspond to the target space, and the first ultrasonic-based detection range (510) may correspond to a proximity area with the electronic device.
  • FIG. 11 is a diagram showing an example of a configuration of an electronic device according to one embodiment of the present disclosure.
  • the electronic device (1100) illustrated in FIG. 11 is an electronic device that outputs an image (or video), and may include a TV, a smart monitor, a smart display, an outdoor monitor, a gaming monitor, an electronic picture frame, a laptop, a desktop computer, a wearable device, a tablet PC (personal computer), an e-book terminal, a digital broadcasting terminal, a PDA (personal digital assistant), a PMP (portable multimedia player), a navigation device, an MP3 player, and the like.
  • the electronic device (1100) may include, but is not limited to, at least one processor (1110), a memory (1120), a communication module (1130), an input/output interface module (1140), an input device (1150), and an output device (1160).
  • the processor (1110) is electrically connected to components included in the electronic device (1100) and can execute operations or data processing related to control and/or communication of the components included in the electronic device (1100). In one embodiment of the present disclosure, the processor (1110) can load and process requests, commands, or data received from at least one of the other components into a memory and store the processing result data in the memory.
  • the processor (1110) is a component that controls a series of processes so that the electronic device (1100) operates according to the above-described embodiments, and may be configured with one or more processors.
  • One or more processors included in the processor (1110) may be circuitry such as a System on Chip (SoC), an Integrated Circuit (IC), etc.
  • One or more processors included in the processor (1110) may include at least one of a general-purpose processor such as a central processing unit (CPU), a Micro Processor Unit (MPU), an application processor (AP), a Digital Signal Processor (DSP), a graphics-only processor such as a GPU (graphic processing unit) or a VPU (vision processing unit), an artificial intelligence-only processor such as an NPU (neural processing unit), or a communication-only processor such as a CP (communication processor).
  • the artificial intelligence-only processor may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • the processor (1110) may include various processing circuits and/or multiple processors.
  • the term "processor” as used in this disclosure, including the claims, may include various processing circuits including at least one processor.
  • One or more of the at least one processor may be configured to perform one or more functions of the present disclosure, individually and/or collectively in a distributed manner.
  • processors when “processor,” “at least one processor,” or “one or more processors” is described as being configured to perform multiple functions, this may include situations where one processor performs some of the functions and other processor(s) perform other parts of the functions, and situations where a single processor performs all of the functions.
  • the at least one processor may include a combination of processors that perform various functions in a distributed manner.
  • the at least one processor may execute program instructions to achieve or perform various functions.
  • the processor (1110) can write data to the memory (1120), read data stored in the memory (1120), and in particular, process data according to predefined operation rules or artificial intelligence models by executing a program or at least one instruction stored in the memory (1120).
  • the processor (1110) can process input data or control other components to process it according to the data, operation rules, algorithms, methods, or models stored in the memory (1120).
  • the processor (1110) can perform operations of predefined operation rules, algorithms, methods, or models stored in the memory (1120) using the input data.
  • the memory (1120) is electrically connected to the processor (1110) and may store one or more modules, algorithms, operating rules, models, programs, instructions, or data related to the operation of components included in the electronic device (1100).
  • the memory (1120) may include any non-transitory computer-readable recording medium.
  • the memory (1120) may store one or more modules, algorithms, operating rules, models, programs, instructions, or data for processing and controlling the processor (1110).
  • the memory (1120) may be configured as a storage medium or a combination of storage media such as a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory, etc.), a random access memory (RAM), a static random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, an optical disk, etc., but is not limited thereto.
  • the memory (1120) may not exist separately and may be configured to be included in the processor (1110).
  • the memory (1120) may be configured as a volatile memory, a nonvolatile memory, or a combination of a volatile memory and a nonvolatile memory.
  • a program or at least one instruction for performing operations according to the above-described embodiments may be stored in the memory (1120).
  • the memory (1120) may also provide stored data to the processor (1110) at the request of the processor (1110).
  • the memory (1120) may store data and/or information identified, acquired, generated, or determined by the electronic device (1100).
  • the memory (1120) may store data and/or information identified, acquired, generated, or determined by the electronic device (1100) in a compressed form.
  • the memory (1120) may store predefined or determined information.
  • an electronic device (1100) may include a module that performs (or is used to perform) at least one operation. Some modules of the electronic device (1100) that perform at least one operation may be composed of multiple sub-modules or may constitute a single module.
  • modules that perform at least one operation of the electronic device (1100) may be implemented as hardware modules, software modules, and/or a combination thereof.
  • the software modules included in the electronic device (1100) may be included in the memory (1120).
  • the modules included in the memory (1120) may be executed by the processor (1110) to perform operations.
  • the modules (i.e., software modules) included in the memory (1120) may include programs, models, or algorithms that are executed according to the control or instructions of the processor (1110) and are configured to perform operations that derive output data for input data.
  • the electronic device (1100) may include a communication module (1130) (e.g., a communication interface module, a transmission/reception module) for communicating with other devices, servers, or systems.
  • a communication module (1130) e.g., a communication interface module, a transmission/reception module
  • the communication module (1130) of the electronic device (1100) may support the establishment of a wired or wireless communication channel (or connection, link) with another external device or server and the performance of communication through the established communication channel.
  • the communication module (1130) may receive signals, information, requests, and/or data (e.g., image data, sound data) from another external electronic device or server via wired communication or wireless communication, or transmit signals, information, requests, and/or data to another external electronic device or server.
  • signals, information, requests, and/or data e.g., image data, sound data
  • the communication module (1030) may include a wireless communication module (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (e.g., a local area network (LAN) communication module, or a power line communication module), and may communicate with an external electronic device or server via at least one network, for example, a short-range communication network (e.g., Bluetooth, WiFi direct, WiFi P2P, WiFi Aware, or IrDA (infrared data association)) or a long-range communication network (e.g., a cellular network, the Internet, or a computer network (e.g., a LAN or a WAN)) using any one of the communication modules.
  • a communication module for communicating with a server and a communication module for communicating with another electronic device may be different or the same.
  • the communication module (1130) may include a WiFi module (1132).
  • the WiFi module (1132) may support wireless network access of the electronic device (1100).
  • the WiFi module (1132) may support the electronic device (1100) to transmit and receive data with an external router device, an access point (AP) device, or a non-AP device via WiFi signals.
  • the electronic device (1100) may use the WiFi module (1132) to connect to the Internet and stream online content or browse the web via a wireless network.
  • the WiFi module (1132) may periodically or aperiodically collect, produce, or generate information (e.g., WiFi CSI) about a WiFi signal or WiFi channel used for WiFi communication of the electronic device (1100).
  • the WiFi module (1132) may acquire WiFi CSI without the control of the processor (1110).
  • the communication module (1130) may include a tuner module (1134).
  • the tuner module (1134) may receive and process TV broadcast signals.
  • the tuner module (1134) may receive TV broadcast signals via an antenna, cable, satellite, or other receiving device.
  • the tuner module (1134) may receive signals in various frequency bands and process signals of a frequency corresponding to a channel selected by a user.
  • the tuner module (1134) may process digital or analog signals so that a broadcast screen can be output on a display of an electronic device.
  • the input/output interface module (1140) is a module that supports connection and data transmission/reception between the electronic device (1100) and other electronic devices, and can manage and process input and output of data.
  • the input/output interface module (1140) can process transmission/reception of media content data, such as voice or video, between the electronic device (1100) and external devices.
  • the input/output interface module (1140) may include an input interface module (e.g., an input port), an output interface module (e.g., an output port), or an input/output integrated interface module (e.g., an input/output integrated port).
  • the electronic device can receive or input an audio signal from an external device (e.g., a microphone) using the input port.
  • the electronic device can output or transmit a video or audio signal to an external device (e.g., a display, a speaker, etc.) using the output port.
  • the input/output interface module (1140) may include an HDMI (High-Definition Multimedia Interface) module (1142) (e.g., HDMI port), DP (display port), RGB (Red-Green-Blue) port, DVI (Digital Visual Interface), Thunderbolt, etc.
  • HDMI High-Definition Multimedia Interface
  • DP display port
  • RGB Red-Green-Blue
  • Thunderbolt Thunderbolt
  • An input device (1150), an output device (1160), or an input/output integrated device may be included in the electronic device (1100) as a module constituting the electronic device (1100).
  • the input device (1150) may include a microphone (1152), a keyboard, a mouse, a camera, a touch pad, etc.
  • the output device (1160) may include a display (1162), a speaker (1164), a headset, a projector, etc.
  • the input/output integrated device may include a touch screen, etc.
  • the speaker (1164) may output both signals in the audible frequency band and signals in the inaudible frequency band.
  • the electronic device (1100) may include a speaker that outputs signals in the audible frequency band and a speaker (e.g., an ultrasonic transmitter) that outputs signals in the inaudible frequency band, respectively.
  • the electronic device (1100) is not limited to that illustrated in FIG. 11, and may include more components than those illustrated in FIG. 11, or components illustrated in FIG. 11 may be omitted.
  • FIG. 12 is a diagram showing an example of a configuration of an electronic device and an input/output device connected to the electronic device according to one embodiment of the present disclosure.
  • the electronic device (1100) may be connected to at least one of an external memory device, an external communication device, an external input/output interface device, an external input device, or an external output device, either wired or wirelessly.
  • the electronic device (1100) may utilize functions of the external device connected to the device by interacting with the external device connected to the device via wired or wireless means.
  • the electronic device (1100) may include a set-top box (STB), a Blu-ray disk player, a digital versatile disk (DVD) player, a game device, a digital camera, a camcorder, a streaming device, a home theater, and the like.
  • FIG. 11 illustrates an example in which an electronic device (1100) includes a microphone (1152), a display (1162), and a speaker (1164), the present invention is not limited thereto.
  • the electronic device may be connected to an external microphone (1210), an external display (1220), or an external speaker (1230) via a wire or wireless connection.
  • the electronic device may receive data (e.g., sound data) from the external microphone (1210) or transmit data (e.g., image data, sound data) to the external display (1220) or the external speaker (1230).
  • the electronic device can identify ambient sounds input through an external microphone (1210).
  • the external microphone (1210) can convert waves of the ambient sounds into ambient sound data (e.g., electrical signals), and the electronic device can receive the sound data from the external microphone (1210).
  • ambient sound data e.g., electrical signals
  • the electronic device can output a screen through an external display (1220).
  • the electronic device can output a visual element through the external display (1220).
  • the electronic device can transmit information, data, requests, or instructions regarding a visual element or screen to be output to the external display (1220), and the external display (1220) can output the visual element or screen according to the received information, data, requests, or instructions.
  • the electronic device can output an ultrasonic signal or an auditory element through an external speaker (1230).
  • the electronic device can transmit information, data, requests, or instructions regarding an ultrasonic signal or an auditory element to be output to the external speaker (1230), and the external speaker (1230) can output the ultrasonic signal or the auditory element according to the received information, data, requests, or instructions.
  • the electronic device may include an output interface (e.g., an output port) for outputting data to an external microphone (1210), an external display (1220), or an external speaker (1230).
  • the output port may include a port for outputting image data, a port for outputting sound data, or a port for outputting image data and sound data together.
  • the electronic device may include an input interface (e.g., an input port) for receiving data from an external microphone (1210), an external display (1220), or an external speaker (1230).
  • the electronic device may communicate with the external microphone (1210), the external display (1220), or the external speaker (1230) by wire or wirelessly to output data to the external microphone (1210), the external display (1220), or the external speaker (1230).
  • an operation described as being performed by an electronic device may be executed/performed by a module included or stored in the electronic device, executed/performed by at least one processor of the electronic device, or performed by the control of at least one processor of the electronic device using a module included or stored in the electronic device.
  • a TV without a motion sensor can detect a user using its existing microphone and speaker. Therefore, since no additional motion sensor is required, production costs can be reduced, power consumption can be reduced, and the device can be made lighter. For example, if sounds related to human actions are recognized through the microphone, the speaker can additionally use ultrasound to detect the user approaching the TV. Upon receiving this, the TV screen can automatically turn on and display useful information such as the weather, schedule, or memos.
  • Detecting a user solely based on sounds related to human behavior may be inaccurate due to noises from neighbors or upstairs, or from outside.
  • a user can be detected more accurately by utilizing not only ambient sounds but also WiFi CSI and ultrasound.
  • occupancy is determined solely based on sounds related to human behavior and speakers are powered on and ultrasound is transmitted, the speaker's lifespan may be shortened, and power relay noise may be generated during the power-on process.
  • by utilizing both sound and WiFi CSI to determine occupancy the need to power speakers and transmit ultrasound can be minimized.
  • an electronic device may include a memory that stores one or more instructions and at least one processor that executes one or more instructions.
  • the electronic device may identify the presence of a user within a detection range of wireless fidelity (WiFi) channel state information (CSI).
  • WiFi wireless fidelity
  • CSI channel state information
  • the electronic device may identify whether the user is present within a first detection range based on ultrasound, by the at least one processor executing one or more instructions.
  • the electronic device when at least one processor executes one or more commands, can output an ultrasonic signal of a first intensity through a speaker if the received audio corresponds to a preset condition and a user is present within the detection range of the WiFi CSI. In one embodiment of the present disclosure, when at least one processor executes one or more commands, the electronic device can identify whether the user is present within the first detection range based on the ultrasonic-based signal of the first intensity output and the ultrasonic signal input through the microphone.
  • At least one processor executes one or more commands, thereby controlling the electronic device to output a screen corresponding to the presence of a user based on the presence of a user within the first ultrasonic-based detection range.
  • At least one processor executes one or more instructions, so that the electronic device can be controlled to change from a first state in which power consumption is lower than a preset value to a second state in which power consumption is higher than the preset value, based on the presence of the user within the detection range of the WiFi CSI.
  • At least one processor executes one or more instructions, thereby controlling the electronic device to change from a second state in which power consumption is higher than a preset value to a first state in which power consumption is lower than the preset value, based on the absence of the user within the first detection range based on the ultrasound.
  • the first state may include a state in which power consumption is lower than the normal state power consumption based on at least one of the speaker or the display not being operated.
  • the second state may include a state in which power consumption is higher than the normal state power consumption based on at least one of the speaker or the display being operated.
  • At least one processor executes one or more instructions so that the electronic device can identify whether the ambient sound is a human sound based on at least one class associated with the ambient sound, if the audio received through the microphone corresponds to an ambient sound of the electronic device.
  • the electronic device when at least one processor executes one or more commands, can output an ultrasonic signal of a second intensity through a speaker if the user is not present within the WiFi CSI detection range and the volume of the received audio is greater than a threshold value. In one embodiment of the present disclosure, when at least one processor executes one or more commands, the electronic device can identify the presence of a user within a second detection range based on ultrasound using the outputted ultrasonic signal of the second intensity and the ultrasonic signal input to the microphone. In one embodiment of the present disclosure, the second detection range based on ultrasound can be wider than the first detection range based on ultrasound.
  • the electronic device when at least one processor executes one or more instructions, can change from a first state in which power consumption is less than a preset value to a second state in which power consumption is greater than the preset value when the user is absent within the WiFi CSI detection range and the size of the received audio is greater than a threshold value.
  • the ambient sound may correspond to a specific class.
  • At least one processor executes one or more instructions, so that the electronic device can identify whether a user is present within the first ultrasonic-based detection range based on whether a user is present within the second ultrasonic-based detection range.
  • At least one processor executes one or more instructions, so that the electronic device can transition from a second state with a high power consumption level to a first state with a low power consumption level based on the absence of a user within the second ultrasonic-based detection range.
  • a method of operating an electronic device may include a step of identifying the presence of a user within a detection range of wireless fidelity (WiFi) channel state information (CSI), if audio received through a microphone corresponds to a preset condition.
  • the method of operating an electronic device may include a step of identifying whether a user is present within a first detection range based on ultrasound, if the presence of a user within the detection range of the WiFi CSI is identified.
  • the step of identifying whether a user exists within the first detection range based on ultrasound may include the step of outputting an ultrasonic signal of first intensity through a speaker if the received audio corresponds to a preset condition and a user exists within the detection range of the WiFi CSI.
  • the step of identifying whether a user exists within the first detection range based on ultrasound may include the step of identifying whether a user exists within the first detection range based on the outputted ultrasonic signal of first intensity and an ultrasonic signal input through the microphone.
  • a method of operating an electronic device may include a step of controlling a screen corresponding to the presence of a user to be output based on the presence of a user within the first detection range based on ultrasound.
  • the step of identifying whether a user exists within the first detection range based on the ultrasonic wave may include a step of controlling a change from a first state in which power consumption is lower than a preset value to a second state in which power consumption is higher than the preset value based on the presence of the user within the detection range of the WiFi CSI.
  • a method of operating an electronic device may include a step of controlling the electronic device to change from a second state in which power consumption is greater than a preset value to a first state in which power consumption is less than the preset value, based on the absence of the user within the first detection range based on the ultrasonic wave.
  • the first state may include a state in which power consumption is lower than the normal state power consumption based on at least one of the speaker or the display not being operated.
  • the second state may include a state in which power consumption is higher than the normal state power consumption based on at least one of the speaker or the display being operated.
  • a method of operating an electronic device may include, if audio received through the microphone corresponds to an ambient sound of the electronic device, a step of identifying whether the ambient sound is a sound made by a human based on at least one class associated with the ambient sound.
  • the operating method of the electronic device may include a step of outputting an ultrasonic signal of a second intensity through a speaker when the user is absent within the WiFi CSI detection range and the volume of the received audio is greater than or equal to a threshold value.
  • the operating method of the electronic device may include a step of identifying the presence of the user within a second detection range based on ultrasound using the outputted ultrasonic signal of the second intensity and the ultrasonic signal input to the microphone.
  • the second detection range based on ultrasound may be wider than the first detection range based on ultrasound.
  • a method of operating an electronic device may include a step of changing from a first state in which power consumption is less than a preset value to a second state in which power consumption is greater than the preset value, if the user is not present within the WiFi CSI detection range and the size of the received audio is greater than a threshold value.
  • the ambient sound may correspond to a specific class.
  • a method of operating an electronic device may include a step of identifying whether the user is present within the first ultrasonic-based detection range based on the presence of the user within the second ultrasonic-based detection range.
  • a method of operating an electronic device may include a step of transitioning from a second state having a high power consumption level to a first state having a low power consumption level based on the absence of a user within the second ultrasonic-based detection range.
  • a program for performing an operating method of an electronic device on a computer can be recorded on a computer-readable recording medium.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • non-transitory storage medium simply means a tangible device that does not contain signals (e.g., electromagnetic waves). This term does not distinguish between cases where data is permanently stored in the storage medium and cases where data is temporarily stored.
  • a “non-transitory storage medium” may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in the present document may be provided as included in a computer program product.
  • the computer program product may be traded as a product between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read-only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) through an application store or directly between two user devices (e.g., smartphones).
  • a portion of the computer program product e.g., a downloadable app
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or an intermediary server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 개시의 일 실시예에 따른 전자 장치는, 하나 이상의 명령어를 저장하는 메모리 및 하나 이상의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 마이크를 통해 수신한 오디오가 기 설정된 조건에 대응되면, WiFi CSI의 감지 범위 내의 사용자 존재를 식별하고, WiFi CSI의 감지 범위 내 사용자가 존재가 식별되면, 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 식별할 수 있다.

Description

전자 장치와 그 동작 방법
본 개시는 사용자의 접근을 감지할 수 있는 전자 장치 및 그의 동작 방법에 관한 것이다.
인공지능 기술과 전자 기기 기술의 발전으로 스마트 홈 기기 시장이 더욱 성장하고 있다. 특히, 스마트 홈 기기들 중에서도 스크린이 탑재된 스마트 디스플레이 시장의 성장세가 두드러지게 나타난다. 스마트 디스플레이는, 현재 위치, 날씨, 날짜 등과 같은 사용자에게 유용한 정보를 시각적으로 제공할 수 있으며, 사용자 질의에도 즉각적으로 응답을 제공할 수 있고, 미디어 애플리케이션을 통해 다양한 콘텐츠를 제공할 수 있다. 이러한 스마트 디스플레이가 다양한 화면 크기로 개발 및 생산되며 화면 크기가 점점 대형화됨에 따라, 스마트 디스플레이 기술을 기존의 TV(television) 기술에 접목시킨, 스마트 디스플레이의 기능을 제공하는 TV에 대한 개발도 함께 이루어지고 있다.
한편, 화면 크기가 크지 않은 스마트 디스플레이는 전력 소비가 크지 않으므로, 사용자가 언제든 스마트 디스플레이의 기능을 즉각적으로 사용할 수 있도록, 오랜 시간 화면이 켜진 상태를 유지할 수 있다. 그러나, 비교적 화면 크기가 큰 TV는 전력 소비가 매우 크다. 또한, 디스플레이이 패널 보증 기간을 고려하면, TV의 화면이 항상 켜진 상태를 유지하는 것은 비효율적일 수 있다.
본 개시의 일 실시예에서, 전자 장치는 하나 이상의 명령어(instruction)를 저장하는 메모리 및 하나 이상의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는 마이크를 통해 수신한 오디오가 기 설정된 조건에 대응되면, WiFi(wireless fidelity) CSI(channel state information)의 감지 범위 내의 사용자 존재를 식별할 수 있다. 본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, WiFi CSI의 감지 범위 내 사용자 존재가 식별되면, 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 식별할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은 마이크를 통해 수신한 오디오가 기 설정된 조건에 대응되면, WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 식별하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치의 동작 방법은 주변 소리가 사람에 의한 소리이고, WiFi CSI 기반의 감지 범위 내 사용자가 존재함에 기초하여, 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부를 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법을 컴퓨터에서 수행하기 위한 프로그램이 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
도 1은 본 개시의 일 실시예에서 전자 장치가 사용자의 접근을 감지하여 유용한 정보를 제공하는 일례를 도시할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법의 일례를 나타내는 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 감지 범위의 일례를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에서 사람에 의한 주변 소리가 식별되는 경우의 전자 장치의 동작의 일례를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에서 사람에 의한 주변 소리가 식별되고, WiFi CSI 기반의 감지 범위 내 사용자의 존재가 식별되는 경우의 전자 장치의 동작의 일례를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에서 사람에 의한 주변 소리가 식별되고, WiFi CSI 기반의 감지 범위 내 사용자의 존재가 식별되고, 초음파 기반의 감지 범위 내 사용자의 존재가 식별되는 경우의 전자 장치의 동작의 일례를 나타내는 도면이다.
도 7a는 본 개시의 일 실시예에 따른 전자 장치의 제1 상태의 일례를 나타내는 도면이다.
도 7b는 본 개시의 일 실시예에 따른 전자 장치의 제2 상태의 일례를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에서, 전자 장치의 동작 방법의 일례를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법의 일례를 나타내는 흐름도이다.
도 10은 본 개시의 일 실시예에서 사용자가 WiFi CSI 기반의 감지 범위 외부에 위치하는 경우의 전자 장치의 동작의 일례를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 구성 일례를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 전자 장치의 구성 및 전자 장치와 연결된 입출력 장치의 일례를 나타내는 도면이다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다. 또한, 문맥상 명백하게 다르게 지시하지 않는 한, 단수의 형태 "a," "an," 및 "the"는 복수의 대상을 포함한다고 이해될 수 있다.
또한, 각각의 순서도에서의 블록들 및 순서도들의 조합들은 컴퓨터 실행 가능 명령어들을 포함하는 하나 이상의 컴퓨터 프로그램들에 의해 수행될 수 있다고 이해되어야 한다. 하나 이상의 컴퓨터 프로그램들은 단일 메모리에 모두 저장되거나, 또는 서로 다른 다수의 메모리들에 분할되어 저장될 수 있다.
본 문서에 설명된 모든 기능이나 동작은 하나의 프로세서 또는 프로세서들의 조합에 의해 처리될 수 있다. 하나의 프로세서 또는 프로세서들의 조합은 처리를 수행하는 회로 장치(circuitry)로서, AP (Application Processor), CP (Communication Processor), GPU (Graphical Processing Unit), NPU (Neural Processing unit), MPU (Microprocessor Unit), SoC (System on Chip), IC (Integrated Chip) 등과 같은 회로 장치를 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 발명에 대한 구체적인 설명에 앞서, 이하 본 명세서에서 사용되는 용어는 다음과 같이 정의되거나 이해될 수 있다.
본 명세서에서 일 구성요소가 다른 구성요소와 '연결된다' 거나 다른 구성요소에 '접속한다' 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 다른 구성요소와 직접 접속할 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속할 수도 있다고 이해되어야 할 것이다. 또한, '연결'은 무선 연결 또는 유선 연결을 포함할 수 있다.
또한, 본 명세서에서, '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
본 개시에서, 'a, b 또는 c 중 적어도 하나' 표현은 'a', 'b', 'c', 'a 및 b', 'a 및 c', 'b 및 c', 'a, b 및 c 모두', 혹은 그 변형들을 지칭할 수 있다. 본 개시에서, 'a 또는 b' 표현은 'a', 'b', 'a 및 b', 혹은 그 변형들을 지칭할 수 있다. 본 개시에서, 'a(또는, b, c)' 표현은 'a', 'b', 'c', 'a 및 b', 'a 및 c', 'b 및 c', 'a, b 및 c 모두', 혹은 그 변형들을 지칭할 수 있다.
본 개시에서, '식별'은 대상 정보를 직접 결정하거나, 직접 생성하거나, 외부로부터 획득하거나 수신함으로써, 대상 정보를 식별하는 것을 포함할 수 있다. 예를 들어, '전자 장치가 A를 식별하는 것'은 전자 장치가 A를 직접 결정하거나, 생성함으로써, A를 식별하는 것을 포함할 수 있다. 예를 들어, '전자 장치가 A를 식별하는 것'은 외부 다른 전자 장치, 서버 또는 시스템으로부터 A(또는 A에 대한 정보)를 수신하거나, 제공받거나, 획득함으로써, A를 식별하는 것을 포함할 수 있다.
도 1은 본 개시의 일 실시예에서 전자 장치가 사용자의 접근을 감지하여 유용한 정보를 제공하는 일례를 도시할 수 있다.
본 개시의 일 실시예에서, 사용자(110)가 전자 장치(100)에 접근하는 경우, 전자 장치(100)가 사용자(110)에게 특정 기능 또는 특정 서비스를 제공하도록 설정될 수 있다. 사용자(110)가 전자 장치(100)를 사용하지 않거나 전자 장치(100)와 근접하지 않은 경우에, 전자 장치(100)는 전력 소비가 적은 저전력 상태를 유지할 수 있다. 이후, 사용자(110)의 접근을 감지 또는 인지하는 경우, 전자 장치(100)는 저전력 상태에서 벗어나, 사용자(110)에게 서비스를 제공할 수 있다. 예를 들어, 전자 장치(100)는 사용자(110)의 접근을 감지하여, 특정 애플리케이션을 실행할 수 있다. 예를 들어, 전자 장치(100)는 사용자(110)의 접근을 감지하여, 유선 방송 또는 무선 방송을 디스플레이 또는 스피커 중 적어도 하나를 통해 출력할 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는 사용자(110)의 접근을 감지하여 특정 정보를 사용자(110)에게 제공할 수 있다. 예를 들어, 전자 장치(100)는 특정 정보를 나타내는 시각적 요소(예: 이미지, 문자, 그래픽, UI(user interface) 등)를 디스플레이를 통해 출력할 수 있다. 예를 들어, 전자 장치(100)는 시각적 요소를 디스플레이 상에 표시할 수 있다. 예를 들어, 전자 장치(100)는 특정 정보를 나타내는 청각적 요소(예: 음성, 알림 등)을 스피커를 통해 출력할 수 있다. 예를 들어, 전자 장치(100)는 특정 정보를 사용자(110)가 인지 가능한 형태(예: 햅틱(haptic), 문서 등)로 다른 출력 장치(예: 진동 발생 장치, 프린터, 프로젝터 등)를 통해 출력할 수 있다.
본 개시의 일 실시예에서, 사용자(110)의 접근에 따라 출력되는 특정 정보의 종류는, 미리 결정되거나, 설정되거나, 정의될 수 있다. 예를 들어, 특정 정보의 종류는, 사용자 입력에 의해 설정될 수 있다. 본 개시의 일 실시예에서, 사용자(110)의 접근에 따라 출력되는 특정 정보의 종류는, 적응적으로 결정될 수 있다. 예를 들어, 특정 정보의 종류는, 출력 시점의 환경에 따라 변경될 수 있다.
본 개시의 일 실시예에서, 사용자(110)의 접근에 따라 출력되는 특정 정보는, 실시간 정보 또는 기 저장된 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 특정 정보는 실시간으로 입력되거나, 생성되거나, 수집되는 정보를 포함할 수 있다. 예를 들어, 특정 정보는 메모리에 기 저장된 정보를 포함할 수 있다. 예를 들어, 특정 정보는 주기적으로 입력되거나, 생성되거나, 수집되거나, 업데이트되는 정보를 포함할 수 있다.
일례로, 도 1을 참조하면, 전자 장치(100)는 날짜 정보, 시간 정보, 날씨 정보, 스마트 홈 제어 정보 및 메모 정보를 디스플레이를 통해 출력할 수 있다. 예를 들어, 전자 장치(100)는 디스플레이를 포함하거나 내재하는 디스플레이 장치(예: TV 장치)으로서, 날짜 정보, 시간 정보, 날씨 정보, 스마트 홈 제어 정보 및 메모 정보를 디스플레이 상에 표시할 수 있다. 예를 들어, 전자 장치(100)는 출력되는 정보를 문자, 숫자, 식별자, 이미지, 아이콘, 그래픽 등과 같은 시각적 요소 형태로 디스플레이 상에 표시할 수 있다.
본 개시에서, 전자 장치(100)가 사용자(110)의 접근을 감지 또는 인지하기 위한 다양한 방법이 제공될 수 있다. 예를 들어, 전자 장치(100)는 전자 장치(100)에 내장되거나, 포함되거나, 전자 장치(100)와 연결된 센서, 모듈 또는 장치를 사용하여, 사용자(110)의 접근을 감지 또는 인지할 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는 전자 장치(100)에 내장되거나, 포함되거나, 전자 장치(100)와 연결된 마이크로폰(이하, 마이크)를 이용하여 사용자(110)의 접근을 감지 또는 인지할 수 있다. 예를 들어, 전자 장치(100)는 마이크를 통해 입력되는 주변 소리(예: 말소리, 발소리, 부스럭거리는 소리 등)를 이용하여 사용자(110)가 주변에 위치하고 있음을 식별할 수 있다. 그러나, 마이크를 통해 입력되는 주변 소리만을 이용하는 경우에는, 전자 장치(100)는 사용자(110)가 얼마나 가까이에 있는지 식별할 수 없으며, 사용자 외 다른 것에 의해 발생한 소리에도 사용자(110)가 주변에 위치한 것으로 잘못 식별할 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는 전자 장치(100)에 내장되거나, 포함되거나, 전자 장치(100)와 연결된 스피커 및 마이크를 이용하여, 사용자(110)의 접근을 감지 또는 인지할 수 있다. 예를 들어, 전자 장치(100)는 스피커를 통해 출력(또는 송신)되는 초음파(ultrasound) 신호(예: 18~20KHz)와 마이크를 통해 입력(또는 수신)되는 초음파 신호 사이의 위상차(phase shift)를 이용하여 사용자(110)가 주변에 위치하고 있음을 식별할 수 있다. 초음파는 비가청 영역대의 음파이나, 전자 장치(100)가 초음파 신호를 상시적으로 송수신하는 경우, 연령대가 낮은 일부 사용자 또는 반려 동물이 초음파를 청각적으로 인지할 수 있고, 이에 따라, 청각적으로 스트레스를 받을 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는 모션 센서를 이용하여, 사용자(110)의 접근을 감지 또는 인지할 수 있다. 이 경우, 기존에 모션 센서를 내장하거나, 포함하거나, 모션 센서와 유/무선으로 연결될 필요가 없었던 전자 장치(100)들은, 사용자(110) 감지 목적만으로, 추가적으로 모션 센서를 내장하거나, 포함하거나, 모션 센서와 유/무선으로 연결되어야 한다. 따라서, 추가 비용이 발생할 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)가 WiFi(wireless fidelity) CSI(channel state information)를 이용하여, 사용자(110)의 접근을 감지 또는 인지하는 방법이 제공될 수 있다. WiFi CSI는 채널 상태 정보로서, WiFi 기반의 무선 채널에서 신호가 전달되는 동안 측정되는 파라미터들을 포함할 수 있다. 예를 들어, WiFi CSI는 신호 강도, 신호 위상, 신호 도달 시간, 빔 포밍 피드백, 채널 간섭 정도, 다중 경로 등을 포함할 수 있다. 전자 장치(100)가 WiFi CSI를 이용하여, 사용자(110)의 접근을 감지 또는 인지하는 하나 이상의 실시예는, 이하 도 2 내지 도 12에 대한 설명에서 후술될 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법의 일례를 나타내는 흐름도이다.
도 2를 설명하는데 있어서, 도 1에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
도 2는 전자 장치가 사용자의 접근을 감지 또는 인지하는 방법의 일례를 나타낼 수 있다. 도 2를 참조하면, 본 개시의 일 실시예에 따른 방법(200)은 단계 210 및 220을 포함할 수 있다. 본 개시의 일 실시예에서, 방법(200)의 단계 210 및 220은 전자 장치에 포함되는 적어도 하나의 프로세서에 의해 실행될 수 있다. 전자 장치의 동작 방법(200)은 도 2에 도시된 바에 한정되지 않으며, 하나 이상의 실시예에서, 도 2에 도시되지 않은 단계를 더 포함하거나, 일부 단계가 생략될 수 있다.
단계 210에서, 전자 장치는 마이크를 통해 수신한 오디오가 기 설정된 조건에 대응되면, WiFi CSI의 감지 범위 내의 사용자 존재를 식별할 수 있다. 예를 들어, WiFi CSI의 감지 범위는 WiFi CSI를 이용하여 객체(예: 사람)의 존재 유무, 움직임 여부 등이 감지될 수 있는 범위를 포함할 수 있다. 본 개시에서, 'WiFi CSI 기반의 감지 범위', 'WiFi CSI 감지 범위' 또는 'WiFi CSI의 감지 범위'는 서로 혼용되어 사용될 수 있다.
본 개시의 일 실시예에서, 전자 장치는 마이크를 통해 오디오를 수신할 수 있다. 예를 들어, 전자 장치는 수신된 오디오가 기 설정된 조건에 대응되는지 여부를 식별할 수 있다. 예를 들어, 기 설정된 조건은, 오디오가 전자 장치의 주변 소리에 대응하는지 여부, 오디오의 크기, 주파수, 상태, 오디오가 대응되는 주변 소리의 클래스 등에 대한 조건을 포함할 수 있다. 예를 들어, 전자 장치는 수신된 오디오가 전자 장치의 주변 소리에 대응하는지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 마이크로 입력된 주변 소리가 사람에 의한 소리인지 여부를 식별할 수 있다. 예를 들어, 전자 장치는 수신된 오디오가 주변 소리에 대응하면, 주변 소리와 관련된 적어도 하나의 클래스에 기초하여, 주변 소리가 사람에 의한 소리인지 여부를 식별할 수 있다. 예를 들어, 전자 장치는 주변 소리(또는, 마이크를 통해 수신된 오디오)를 일정 시간 단위로 녹음하여, 주변 소리가 사람에 의한 소리인지 여부를 식별할 수 있다. 이를 위해, 마이크에는 전원이 인가될 수 있다. 주변 소리는 마이크에 의해 전기적 신호(예: 전기적 데이터)로 변환되어 전자 장치로 입력될 수 있다. 예를 들어, 주변 소리는 가청 주파수 대역의 소리 또는 비가청 주파수 대역의 소리를 포함할 수 있다.
본 개시의 일 실시예에서, 마이크는 전자 장치의 구성요소, 입력 장치 또는 모듈로서 전자 장치에 탑재되거나, 장착되거나, 내재되거나, 포함될 수 있다. 본 개시의 일 실시예에서, 마이크는 전자 장치와는 별도의 장치에 구성 요소로서 포함되거나 별도의 장치 그 자체일 수 있으며, 별도의 장치는 전자 장치와 유선 또는 무선으로 연결될 수 있다. 이 경우, 전자 장치는 마이크(또는, 마이크가 포함된 장치)로부터 주변 소리에 대응되는 데이터를 수신할 수 있다. 예를 들어, 마이크는 전자 장치와 유선 또는 무선으로 데이터를 송수신하는 원격 제어 장치(예: 블루투스 리모컨, WiFi 리모컨)에 포함될 수 있다. 이 경우, 원격 제어 장치는 입력되는 주변 소리를 아날로그 신호에서 디지털 신호로 변환하여, 블루투스 통신, 적외선 통신 또는 WiFi 통신으로 전자 장치에 전송할 수 있다. 예를 들어, 마이크는 전자 장치와 유선 또는 무선으로 데이터를 송수신하는 클라이언트 장치(예: 스마트폰, 인공지능 스피커)에 포함될 수 있다. 클라이언트 장치에는 전자 장치를 제어하는 애플리케이션이 설치 또는 실행될 수 있다. 이 경우, 클라이언트 장치는 입력되는 주변 소리를 아날로그 신호에서 디지털 신호로 변환하여, 무선 또는 유선 통신으로 전자 장치로 전송할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 주변 소리의 클래스(또는, 주변 소리에 대응되는 클래스, 주변 소리와 관련된 클래스)(예: 소리 클래스, 오디오 클래스)에 대한 정보를 획득하여, 주변 소리가 사람에 의한 소리인지 여부를 판정할 수 있다. 주변 소리는 학습 모델, 분류 알고리즘 등을 이용하여 하나 이상의 클래스로 분류될 수 있다. 예를 들어, 전자 장치는 주변 소리를 복수의 클래스 중에서 적어도 하나의 클래스로 분류하고, 주변 소리의 클래스에 대한 정보를 이용하여, 주변 소리가 사람에 의한 소리인지 여부를 판정할 수 있다. 예를 들어, 전자 장치는 외부 장치, 서버 또는 시스템으로부터 주변 소리의 클래스에 대한 정보를 수신하여, 주변 소리가 사람에 의한 소리인지 여부를 판정할 수 있다. 이 경우, 외부 장치, 서버 또는 시스템이 주변 소리를 복수의 클래스 중에서 적어도 하나의 클래스로 분류하고, 주변 소리의 클래스에 대한 정보를 전자 장치로 제공할 수 있다.
일례로, 주변 소리가 경적 소리에 대응되는 클래스로 분류되는 경우, 전자 장치는 주변 소리가 사람에 의한 소리가 아닌 것으로 판정할 수 있다. 일례로, 주변 소리가 발소리에 대응되는 클래스로 분류되는 경우, 전자 장치는 주변 소리가 사람에 의한 소리인 것으로 판정할 수 있다. 이를 위해, 복수의 클래스들 각각이 사람에 의한 소리에 대응되는 클래스인지 또는 사람 외의 것에 의한 소리에 대응되는 클래스인지에 대한 정보가 전자 장치의 메모리에 저장될 수 있다.
본 개시의 일 실시예에서, 전자 장치는 외부 장치, 서버 또는 시스템으로부터, 마이크로 입력된 주변 소리가 사람에 의한 소리인지 여부에 대한 정보를 수신함으로써, 마이크로 입력된 주변 소리가 사람에 의한 소리인지 여부를 식별할 수 있다. 이 경우, 외부 장치, 서버 또는 시스템이, 마이크로 입력된 주변 소리가 사람에 의한 소리인지 여부를 판정할 수 있으며, 판정 결과를 전자 장치로 제공할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 주변 소리가 사람에 의한 소리임(또는, 주변 소리가 사람 외의 것에 의한 소리가 아님)을 식별함에 기초하여, WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 전자 장치는 주변 소리가 사람에 의한 소리임을 식별한 후, WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 WiFi CSI를 획득하고, WiFi CSI를 이용하여 WiFi CSI 기반의 감지 범위에 사용자가 존재하는지 여부를 판정할 수 있다. 예를 들어, 전자 장치는 WiFi 채널을 통해 AP(access point) 장치, 소프트 AP 장치, 또는 라우터 장치와 서로 WiFi 신호(예: 데이터)를 송수신할 수 있으며, 이러한 WiFi 채널에 대하여 WiFi CSI를 획득할 수 있다. WiFi CSI는 주기적, 비주기적 또는 연속적으로 획득될 수 있다. WiFi CSI는 물리적 환경 변화, WiFi 수신기와 발신기 사이의 거리 변화, 외부 전파에 의한 간섭 또는 날씨와 같은 외부 요인에 의해 동적으로 변화할 수 있다. 물리적 환경 변화는, WiFi 신호가 송수신되는 공간 내의 객체의 존재 여부, 객체의 위치, 종류 또는 움직임을 포함할 수 있다.
예를 들어, 전자 장치는 WiFi CSI의 변화 여부, 변화 형태 또는 변화 정도를 기초로 WiFi CSI 기반의 감지 범위 내에 사용자가 존재하는지 여부를 판정할 수 있다. 예를 들어, 전자 장치는 획득되는 WiFi CSI를 기초로, 기계학습 모델 또는 알고리즘을 이용하여 WiFi CSI 기반의 감지 범위에 사용자가 존재하는지 여부를 결정할 수 있다. 예를 들어, 전자 장치는 WiFi CSI를 기계학습 모델 또는 알고리즘에 입력함으로써, WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부에 대한 정보를 획득할 수 있다. 기계학습 모델은 WiFi CSI를 입력으로 하여 특정 감지 범위(예: 대상 공간) 내 객체 존재 여부 또는 객체의 움직임 등을 감지하기 위해 학습된 모델을 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 외부 장치, 서버 또는 시스템으로부터, WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부에 대한 정보를 수신함으로써, WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 이 경우, 외부 장치, 서버 또는 시스템이, WiFi CSI 기반의 감지 범위 내 사용자가 존재하는지 여부를 판정할 수 있으며, 판정 결과를 전자 장치로 제공할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 WiFi CSI의 감지 범위 내 사용자가 존재함에 기초하여, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경하거나, 변경되도록 제어할 수 있다. 예를 들어, 제1 상태는, 스피커 또는 디스플레이 중 적어도 하나가 동작하지 않는 것에 기초하여 정상 상태의 전력 소비량보다 전력 소비량이 적은 상태를 포함할 수 있다. 예를 들어, 제2 상태는, 스피커 또는 디스플레이 중 적어도 하나가 동작하는 것에 기초하여 정상 상태의 전력 소비량보다 전력 소비량이 많은 상태를 포함할 수 있다. 예를 들어, 정상 상태는 기 정의된 기준 상태 또는 특정 기능이 제공 가능한 상태를 포함할 수 있다. 예를 들어, 정상 상태는 기 설정된 값만큼 전력을 소비하는 상태를 포함할 수 있다.
단계 220에서, 전자 장치는 WiFi CSI의 감지 범위 내 사용자 존재가 식별되면, 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 식별할 수 있다. 예를 들어, 전자 장치는 수신한 오디오가 기 설정된 조건에 대응하고 WiFi CSI의 감지 범위 내 사용자가 존재하면, 스피커를 통해 제1 세기의 초음파 신호를 출력할 수 있다. 예를 들어, 전자 장치는 출력된 제1 세기의 초음파 신호와 상기 마이크를 통해 입력되는 초음파 신호에 기초하여 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 주변 소리가 사람에 의한 소리이고, WiFi CSI 기반의 감지 범위 내 사용자가 존재함에 기초하여, 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 전자 장치는 주변 소리가 사람에 의한 소리임을 식별하고, WiFi CSI 기반의 감지 범위 내 사용자가 존재하는 것으로 식별하는 경우, 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부를 식별할 수 있다.
이를 위해, 본 개시의 일 실시예에서, 전자 장치는 스피커를 통해 제1 세기의 초음파 신호를 출력할 수 있다. 예를 들어, 전자 장치의 적어도 하나의 프로세서는, 전자 장치에 내재되거나 포함된 스피커가 제1 초음파 신호를 발생시키도록 제어할 수 있다. 예를 들어, 전자 장치는 초음파 신호의 출력을 요청하거나 지시하는 신호, 정보, 데이터 또는 메시지를, 전자 장치와 유선 또는 무선으로 연결된 스피커 장치로 전송할 수 있다. 이 경우, 스피커 장치는 수신되는 신호, 정보, 데이터 또는 메시지에 따라, 제1 세기의 초음파 신호를 발생시킬 수 있다.
스피커를 통해 출력된 초음파 신호는 임의의 객체에 의해 반사되어, 마이크로 입력될 수 있다. 본 개시의 일 실시예에서, 전자 장치는 출력된 제1 세기의 초음파 신호와 마이크로 입력되는 초음파 신호를 이용하여, 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 전자 장치는 출력된 제1 세기의 초음파 신호와 마이크로 입력되는 초음파 신호를 이용하여, 초음파 기반의 제1 감지 범위 내에 사용자가 존재하는지 여부를 판정할 수 있다. 예를 들어, 전자 장치는 스피커를 통해 출력되는 초음파 신호와 마이크로 입력되는 초음파 신호 간의 위상차를 이용하여 제1 감지 범위 내 사용자의 존재 여부를 판정할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 외부 장치, 서버 또는 시스템으로부터, 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부에 대한 정보를 수신함으로써, 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 이 경우, 외부 장치, 서버 또는 시스템이, 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 여부를 판정할 수 있으며, 판정 결과를 전자 장치로 제공할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 초음파 기반의 제1 감지 범위 내 사용자가 존재함에 기초하여, 사용자 존재에 대응한 화면을 출력하거나 출력하도록 제어할 수 있다. 예를 들어, 전자 장치는 초음파 기반의 제1 감지 범위 내 사용자가 존재함에 기초하여, 디스플레이 상에 특정 화면을 출력할 수 있다. 예를 들어, 전자 장치는 초음파 기반의 제1 감지 범위 내 사용자가 존재하는 것으로 식별하는 경우, 디스플레이 상에 특정 화면을 출력할 수 있다. 예를 들어, 전자 장치의 적어도 하나의 프로세서는, 전자 장치에 내재되거나 포함된 디스플레이가 특정 화면을 출력(예: 표시)하도록 제어할 수 있다. 예를 들어, 전자 장치는 특정 화면의 출력을 요청하거나 지시하는 신호, 정보, 데이터 또는 메시지를, 전자 장치와 유선 또는 무선으로 연결된 디스플레이 장치로 전송할 수 있다. 이 경우, 디스플레이 장치는 수신되는 신호, 정보, 데이터 또는 메시지에 따라, 특정 화면을 출력(예: 표시)할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 초음파 기반의 제1 감지 범위 내 사용자의 부존재에 기초하여, 기 설정된 값보다 전력 소비량이 많은 제2 상태에서 기 설정된 값보다 전력 소비량이 적은 제1 상태로 변경하거나, 변경되도록 제어할 수 있다.
도 2는 전자 장치가 단계 210을 수행한 후 단계 220을 수행하는 것으로 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 전자 장치는 단계 220을 수행한 후 단계 210을 수행하거나, 단계 210 및 220을 병렬적으로 수행할 수 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 감지 범위의 일례를 나타내는 도면이다.
도 3을 설명하는데 있어서, 도 1 또는 도 2에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
본 개시의 일 실시예에서, 전자 장치(예: TV 장치)(100)는 소리 기반의 감지 범위(310) 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 전자 장치(100)는 마이크로 입력되는 주변 소리에 대한 정보(예: 주변 소리의 입력 음압 레벨, 종류, 주파수, 길이, 특징, 클래스 등)를 이용하여, 소리 기반의 감지 범위(310) 내 사용자의 존재 여부를 감지 또는 판정할 수 있다. 일례로, 주변 소리가 사람에 의한 소리이고, 주변 소리의 입력 음압 레벨이 임계값을 초과하는 경우, 전자 장치(100)는 소리 기반의 감지 범위(310) 내에 사용자가 존재하는 것으로 판정할 수 있다.
본 개시의 일 실시예에서, 소리 기반의 감지 범위(310)는 감지하는 장치의 하드웨어 설정, 소프트웨어 설정 또는 주변 환경(예: 주변 구조 등)에 의해 변화할 수 있다. 예를 들어, 소리 기반의 감지 범위(310)는 마이크 또는 전자 장치(100)의 종류, 위치, 방향성에 의해 결정될 수 있다. 예를 들어, 소리 기반의 감지 범위(310)는 하드웨어 상의 민감도 수준 또는 소프트웨어 상의 민감도 수준에 의해 결정될 수 있다. 예를 들어, 소리 기반의 감지 범위(310)는 주변 소음 환경에 의해 달라질 수 있다. 일례로, 주변 소음이 큰 환경에서는, 소리 기반의 감지 범위(310)가 축소될 수 있다.
도 3은 소리 기반의 감지 범위(310)를 하나의 범위로 도시하고 있으나, 소리 기반의 감지 범위(310)는 복수의 감지 범위(예: 주변 소리의 음압 레벨 별 감지 범위)를 포함할 수 있다. 예를 들어, 음압 레벨이 높은, 즉, 큰 소리에 대해서는 넓은 감지 범위가 형성될 수 있으며, 음압 레벨이 낮은, 즉, 작은 소리에 대해서는 좁은 감지 범위가 형성될 수 있다. 도 3에 도시된 소리 기반의 감지 범위(310)는 사람에 의해 발생할 수 있는 소리들의 평균 음압 레벨, 중간 음압 레벨, 최고 빈도 음압 레벨 또는 최고 음압 레벨에 대한 감지 범위를 나타낼 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는 WiFi CSI 기반의 감지 범위(320) 내 사용자의 존재 여부를 식별할 수 있다. WiFi CSI는 WiFi 무선 신호의 채널 상태 정보로서, WiFi 신호의 세기 정보, WiFi 신호의 위상 정보, 노이즈 레벨 정보 등을 포함할 수 있으며, WiFi CSI는 무선 환경의 변화, 다른 무선 기기의 존재 여부, 방해물의 존재 여부에 따라 변화할 수 있다. 예를 들어, WiFi CSI는, WiFi 신호가 송수신, 반사, 굴절, 간섭 또는 감쇠되는 공간의 구조가 변화하거나, 방해물이 추가 또는 제거되거나, 이동체가 이동성에 따라 달라질 수 있다.
따라서, 전자 장치(100)는 WiFi CSI를 이용하여, WiFi CSI 기반의 감지 범위(320) 내 사용자의 존재 여부를 감지 또는 판정할 수 있다. 예를 들어, WiFi CSI는 노이즈가 제거된 후 사용될 수 있다. 예를 들어, 전자 장치(100)는 WiFi CSI의 입력으로 WiFi CSI 기반의 감지 범위(320) 내 사람의 존재 여부를 감지(또는 판정)하도록 학습된 모델을 이용하여, WiFi CSI 기반의 감지 범위(320) 내에 사용자가 존재하는지 여부를 판정할 수 있다. 예를 들어, 전자 장치(100)는 WiFi CSI의 변화 여부 또는 변화 정도에 따라, WiFi CSI 기반의 감지 범위(320) 내에 사용자가 존재하는지 여부를 판정할 수 있다. 일례로, 현재 WiFi CSI가, 기준 WiFi CSI로부터 임계 정도 이상 변화한 경우, 전자 장치(100)는 WiFi CSI 기반의 감지 범위(320) 내 사용자가 존재하는 것으로 판정할 수 있다. 기준 WiFi CSI는, 사용자가 존재하지 않는 상태에 대한 WiFi CSI를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는 초음파 기반의 감지 범위(330) 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 전자 장치(100)는 스피커(또는 초음파 신호 발생기)를 통해 초음파 신호를 출력(또는 송신)할 수 있으며, 출력된 초음파 신호는 반사, 굴절, 간섭, 산란 또는 감쇠되어 마이크를 통해 입력될 수 있다. 전자 장치(100)는 스피커를 통해 출력된 초음파 신호와 마이크를 통해 입력된 초음파 신호를 이용하여 초음파 기반의 감지 범위(330) 내에 사용자의 존재 여부를 감지 또는 판정할 수 있다.
예를 들어, 전자 장치(100)는 출력 초음파 신호와 입력 초음파 신호에 대한 정보(예: 주파수, 세기, 속도, 위상)를 이용하여, 초음파 기반의 감지 범위(330) 내에 사용자의 존재 여부를 감지 또는 판정할 수 있다. 예를 들어, 전자 장치(100)는 출력 초음파 신호와 입력 초음파 신호 간의 위상차, 송수신 시간 차이 또는 세기 차이 등을 이용하여, 초음파 기반의 감지 범위(330) 내에 사용자의 존재 여부를 감지 또는 판정할 수 있다. 예를 들어, 전자 장치(100)는, 출력 초음파 신호에 대한 정보와 입력 초음파 신호에 대한 정보를 입력으로 하여 초음파 기반의 감지 범위(330) 내 사용자의 존재 여부를 감지하도록 학습된 모델을 이용하여, 초음파 기반의 감지 범위(330) 내에 사용자의 존재 여부를 감지 또는 판정할 수 있다.
초음파 기반의 감지 범위(330)는 출력되는 초음파 신호의 세기에 따라 결정될 수 있다. 예를 들어, 출력되는 초음파 신호가 셀수록 넓은 초음파 기반의 감지 범위(330)가 형성될 수 있으며, 반대로, 출력되는 초음파 신호가 약할수록 좁은 초음파 기반의 감지 범위(330)가 형성될 수 있다. 따라서, 전자 장치(100)는 먼 곳에 위치한 사용자를 감지하기 위해, 스피커를 통해 센 초음파 신호를 출력할 수 있다.
도 3에서는 각 감지 범위를 이상적, 이론적 또는 고정적인 형태로 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 공간 구조, 방해물, WiFi 신호 상태, 초음파 신호 상태, 주변 환경 등의 다양한 요소에 의해 각 감지 범위의 형태 또는 넓이는 달라질 수 있다. 예를 들어, 각 감지 범위는 가변적일 수 있다.
도 3에서는, WiFi CSI 기반의 감지 범위(320)가 가장 넓은 범위를 커버하고, 초음파 기반의 감지 범위(330)가 가장 좁은 범위를 커버하는 것으로 도시하고 있으나, 상술한 바와 같이 각 감지 범위는 달라질 수 있으므로 이에 한정되지 않는다. 예를 들어, 소리 기반의 감지 범위(310) 또는 초음파 기반의 감지 범위(330)가 가장 넓은 범위를 커버할 수 있다. 예를 들어, WiFi CSI 기반의 감지 범위(320) 또는 소리 기반의 감지 범위(310)가 가장 좁은 범위를 커버할 수 있다.
도 3은 각 감지 범위를 평면도 상에 2차원적으로 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 적어도 하나의 감지 범위는 3차원 형태(예: 구형)의 범위를 포함할 수 있다.
도 4는 본 개시의 일 실시예에서 사람에 의한 주변 소리가 식별되는 경우의 전자 장치의 동작의 일례를 나타내는 도면이다.
도 4를 설명하는데 있어서, 도 1 내지 도 3 중 어느 하나에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
도 4는 본 개시의 일 실시예에서 마이크로 입력된 주변 소리(410)가 사람에 의한 소리이나, WiFi CSI 기반의 감지 범위 내에 사용자가 존재하지 않는 경우의 전자 장치(100)의 동작의 일례를 나타낼 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는 전자 장치(100)와 연관된 마이크를 통해 주변 소리(410)를 입력받을 수 있다. 전자 장치(100)와 연관된 마이크는 주변 소리를 전기적 신호로 변환할 수 있는 소리 센서, 소리 입력 모듈 또는 소리 입력 장치를 포함할 수 있다. 예를 들어, 전자 장치(100)와 연관된 마이크는, 전자 장치(100)에 내장되거나, 포함된 마이크를 포함할 수 있다. 예를 들어, 전자 장치(100)와 연관된 마이크는, 전자 장치(100)와 유선 또는 무선으로 연결된 마이크 장치를 포함할 수 있다. 예를 들어, 전자 장치(100)와 연관된 마이크는, 전자 장치(100)와 유선 또는 무선으로 연결된 장치에 내장되거나, 포함된 마이크를 포함할 수 있다.
사람에 의한 주변 소리가 마이크로 입력된다는 것, 즉, 주변 소리(410)가 사람에 의한 소리라는 것은 소리 기반의 감지 범위 내 사용자가 존재하는 것으로 간주될 수 있다. 따라서, 본 개시의 일 실시예에서, 전자 장치(100)는 소리 기반의 감지 범위 내 사용자의 존재 여부를 식별하기 위해, 주변 소리(410)가 사람에 의한 소리인지 여부를 식별할 수 있다. 이를 위해, 예를 들어, 전자 장치(100)는 주변 소리(410)로부터 피쳐(feature)를 추출하고, 추출된 피쳐를 이용하여 주변 소리(410)를 복수의 클래스 중 적어도 하나의 클래스로 분류할 수 있다. 주변 소리(410)를 분류하기 위해, 전자 장치(100)는 입력 소리를 분류하기 위한 학습 모델, 통계 모델, 분류 알고리즘 또는 신호 처리 알고리즘을 사용할 수 있다.
복수의 클래스는, 사람 외의 것에 의한 소리에 대응되는 클래스들 또는 사람에 의한 소리에 대응되는 클래스들을 포함할 수 있다. 예를 들어, 복수의 클래스 중 하나 이상의 클래스는 사람에 의한 소리에 대응되는 것으로 미리 결정될 수 있다. 예를 들어, 복수의 클래스 중 하나 이상의 클래스는 사람 외의 것에 의한 소리에 대응되는 것으로 미리 결정될 수 있다.
본 개시의 일 실시예에서, 주변 소리(410)가 사람에 의한 소리에 대응되는 클래스로 분류되는 경우, 전자 장치(100)는 주변 소리(410)를 사람에 의한 소리로 식별(또는 판정)할 수 있다. 본 개시의 일 실시예에서, 주변 소리(410)가 사람 외의 것에 의한 소리에 대응되는 클래스로 분류되지 않는 경우, 전자 장치(100)는 주변 소리(410)를 사람에 의한 소리로 식별(또는 판정)할 수 있다. 예를 들어, 주변 소리(410)가 말소리 클래스, 발소리 클래스, 또는 웃음 소리 클래스 등으로 분류되는 경우, 전자 장치(100)는 주변 소리(410)를 사람에 의한 소리로 식별(또는 판정)할 수 있다. 예를 들어, 주변 소리(410)가 개 짖는 클래스로 분류되는 경우, 전자 장치(100)는 주변 소리(410)가 사람에 의한 소리가 아닌 것으로 식별(또는 판정)할 수 있다. 예를 들어, 주변 소리(410)가 기 정의된 클래스로 분류되지 않는 경우, 전자 장치(100)는 주변 소리(410)를 사람에 의한 소리로 식별(또는 판정)할 수 있다.
본 개시의 일 실시예에서, 주변 소리(410)가 사람에 의한 소리임을 식별함에 기초하여, 전자 장치(100)는 WiFi CSI 기반의 감지 범위 내에 사용자가 존재하는지 여부를 식별할 수 있다. 이를 위해, 전자 장치(100)는 주기적으로 또는 비주기적으로 WiFi CSI를 획득할 수 있다. 예를 들어, 전자 장치(100)는 AP 장치와 송수신하는 WiFi 신호에 대하여 WiFi CSI를 수집하거나, 산출하거나, 수신하거나, 생성할 수 있다. 전자 장치(100)는 획득된 WiFi CSI를 이용하여, WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 식별(또는 판정)할 수 있다.
본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위 내 사용자가 존재하지 않는 것으로 식별하는 경우, 전자 장치(100)는 기존의 상태를 유지할 수 있다. 예를 들어, 전자 장치(100)의 기존의 상태는 전력 소비 정도가 낮은 상태(또는, 전력 소비량이 적은 상태)(예: 절전 모드, 저전력 모드)를 포함할 수 있으며, 일례로, 스피커 또는 디스플레이에 전원이 인가되지 않은 상태를 포함할 수 있다.
예를 들어, WiFi CSI 기반의 감지 범위는, 전자 장치(100)가 포함된 특정 실내 또는 실외 공간(예: 집, 사무실, 안방 등)에 대응될 수 있다. 따라서, WiFi CSI 기반의 감지 범위에 사용자가 부존재한다는 것은, 대응되는 특정 실내 또는 실외 공간에 사용자가 부존재하는 것으로 간주될 수 있다. 예를 들어, 특정 실내 또는 실외 공간에 사용자가 존재하지 않는 경우, 전자 장치(100)는 WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 계속해서 감지할 수 있다. 예를 들어, 특정 실내 또는 실외 공간에 사용자가 존재하지 않는 경우, 전자 장치(100)는, 다른 주변 소리가 마이크로 입력되기 전까지는 사용자를 감지하기 위한 추가적인 동작을 수행하지 않을 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 아무도 없는 집 내부로 집 외부의 소리가 전달되는 경우, TV 장치는 집 외부의 소리인 주변 소리(410)가 사람에 의한 소리인지 여부를 식별할 수 있다. 주변 소리(410)가 사람에 의한 소리가 아닌 경우, TV 장치는 다른 주변 소리가 마이크로 입력되기 전까지는 사용자를 감지하기 위한 추가적인 동작을 수행하거나, 상태를 변경하지 않을 수 있다. 주변 소리(410)가 사람에 의한 소리인 경우, TV 장치는 WiFi CSI를 기반으로 집 내부에 사용자가 존재하지 않음을 식별할 수 있다.
도 5는 본 개시의 일 실시예에서 사람에 의한 주변 소리가 식별되고, WiFi CSI 기반의 감지 범위 내 사용자의 존재가 식별되는 경우의 전자 장치의 동작의 일례를 나타내는 도면이다.
도 5를 설명하는데 있어서, 도 1 내지 도 4 중 어느 하나에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
도 5는 본 개시의 일 실시예에서, 마이크로 입력된 주변 소리(410)가 사람에 의한 소리이며, WiFi CSI 기반의 감지 범위 내에 사용자(110)가 존재하는 경우의 전자 장치(100)의 동작의 일례를 나타낼 수 있다. 도 5를 참조하면, 전자 장치(100)는 마이크로 입력된 물 끓는 소리를 사람에 의한 소리로 식별함에 따라, WiFi CSI를 이용하여 집 내부에 사용자(110)가 존재하는지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)가 마이크를 통해 입력되는 주변 소리(410)가 사람에 의한 소리임을 식별하는 경우, 전자 장치(100)는 WiFi CSI 기반의 감지 범위 내에 사용자(110)가 존재하는지 여부를 식별(또는 판정)할 수 있다. 예를 들어, 전자 장치(100)는 현재 WiFi CSI를 이용하여, WiFi CSI 기반의 감지 범위 내에 현재 사용자(110)가 존재하는지 여부를 식별(또는 판정)할 수 있다.
본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위 내 사용자(110)가 존재하는 것으로 식별함에 기초하여, 전자 장치(100)는 기존의 상태에서 다른 상태로 전환 또는 천이할 수 있다. 예를 들어, 전자 장치(100)는 전력 소비 정도가 낮은 기존의 상태(예: 절전 모드)에서 전력 소비 정도가 높은 다른 상태로 전환 또는 천이할 수 있다. 예를 들어, 전자 장치(100)는 스피커에 전원이 차단된 기존의 상태에서 스피커에 전원이 인가된 상태로 천이할 수 있다. 예를 들어, 전자 장치(100)는 스피커와의 연결 인터페이스 모듈에 전원이 차단된 기존의 상태에서 스피커와의 연결 인터페이스 모듈에 전원이 인가된 상태로 천이할 수 있다.
본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위 내 사용자(110)가 존재하는 것으로 식별함에 기초하여, 전자 장치(100)는 초음파 기반의 제1 감지 범위(510) 내 사용자(110)가 존재하는지 여부를 식별할 수 있다. 이를 위해, 전자 장치(100)는 전자 장치(100)와 연관된 스피커를 통해 초음파 신호를 출력할 수 있다. 예를 들어, 전자 장치(100)는 일정 시간동안 비가청 초음파 신호를 스피커를 통해 발신할 수 있다.
예를 들어, 전자 장치(100)와 연관된 스피커는 초음파 신호를 발생, 송신, 또는 출력할 수 있는 출력 모듈 또는 출력 장치를 포함할 수 있다. 예를 들어, 전자 장치(100)와 연관된 스피커는, 전자 장치(100)에 내장되거나, 포함된 스피커를 포함할 수 있다. 예를 들어, 전자 장치(100)와 연관된 스피커는, 전자 장치(100)와 유선 또는 무선으로 연결된 스피커 장치를 포함할 수 있다. 예를 들어, 전자 장치(100)와 연관된 스피커는, 전자 장치(100)와 유선 또는 무선으로 연결된 장치에 내장되거나, 포함된 스피커를 포함할 수 있다.
스피커를 통해 출력된 초음파 신호는 주변 객체에 의해 반사될 수 있으며, 반사된 초음파 신호는 전자 장치(100)와 연관된 마이크를 통해 입력될 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)는 출력된 초음파 신호와 입력된 초음파 신호를 이용하여, 초음파 기반의 제1 감지 범위(510) 내 사용자(110)의 존재 여부를 판정할 수 있다. 예를 들어, 초음파 기반의 제1 감지 범위(510)는 사용자(110)가 전자 장치(100)의 서비스를 실질적으로 이용할 수 있을 근접 영역(예: 3m 이내 영역)을 포함할 수 있다. 초음파 기반의 제1 감지 범위(510)에 사용자(110)가 부존재한다는 것은 사용자(110)가 전자 장치(100)와 근접하지 않은 곳에 위치하는 것으로 간주될 수 있다.
예를 들어, 사용자(110)가 초음파 기반의 제1 감지 범위(510) 외부에 위치하는 경우, 출력된 초음파 신호는 사용자(110)에 의해 반사되지 않을 수 있으며, 마이크로 입력되는 초음파 신호는 사용자(110)에 의해 반사된 초음파 신호를 포함하지 않을 수 있다. 이 경우, 전자 장치(100)는 사용자(110)에 의해 반사된 초음파 신호가 포함되지 않은 입력 초음파 신호를 이용하여, 초음파 기반의 제1 감지 범위(510)에 사용자(110)가 부존재하는 것으로 판정할 수 있다. 예를 들어, 사용자(110)가 초음파 기반의 제1 감지 범위(510) 외부에 위치하더라도, 출력된 초음파 신호가 사용자(110)에 의해 반사되어 마이크로 입력될 수 있다. 이 경우, 전자 장치(100)는 입력 초음파 신호를 이용하여, 초음파 기반의 제1 감지 범위(510) 외부에 사용자(110)가 존재하는 것으로 판정할 수 있다.
본 개시의 일 실시예에서, 초음파 기반의 제1 감지 범위(510) 내 사용자(110)가 존재하지 않는 경우, 전자 장치(100)는 현재 상태를 유지할 수 있다. 예를 들어, 전자 장치(100)는 초음파 기반의 제1 감지 범위(510) 내 사용자(110)의 존재 여부를 계속해서 감지할 수 있다. 본 개시의 일 실시예에서, 초음파 기반의 제1 감지 범위(510) 내 사용자(110)가 존재하지 않는 경우, 전자 장치(100)는 전력 소비 정도가 적은 상태로 천이할 수 있다. 예를 들어, 전자 장치(100)는 스피커에 전원이 차단된 상태로 천이할 수 있다. 예를 들어, 전자 장치(100)는 다른 주변 소리가 마이크로 입력되기 전까지는 사용자(110)를 감지하기 위한 추가적인 동작을 수행하지 않을 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 사용자(110)가 TV 장치와 먼 부엌에서 물을 끓이고 있는 경우, TV 장치는 물 끓는 소리인 주변 소리(410)가 사람에 의한 소리임을 식별하고, WiFi CSI를 기반으로 집 내부에 사용자(110)가 존재함을 식별하고, 초음파 신호를 기반으로 사용자(110)가 TV 장치로부터 근접한 곳에 위치하지 않음을 식별할 수 있다.
도 6은 본 개시의 일 실시예에서 사람에 의한 주변 소리가 식별되고, WiFi CSI 기반의 감지 범위 내 사용자의 존재가 식별되고, 초음파 기반의 감지 범위 내 사용자의 존재가 식별되는 경우의 전자 장치의 동작의 일례를 나타내는 도면이다.
도 6을 설명하는데 있어서, 도 1 내지 도 5 중 어느 하나에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
도 6은 본 개시의 일 실시예에서, 마이크로 입력된 주변 소리(410)가 사람에 의한 소리이며, WiFi CSI 기반의 감지 범위 내에 사용자(110)가 존재하고, 초음파 기반의 감지 범위 내에 사용자(110)가 존재하는 경우의 전자 장치(100)의 동작의 일례를 나타낼 수 있다. 도 6을 참조하면, 전자 장치(100)는 마이크로 입력된 발소리를 사람에 의한 소리로 식별하고, 집 내부에 사용자(110)가 존재하는 것으로 식별함에 따라, 초음파 신호를 이용하여 사용자(110)가 전자 장치(100)로부터 근접한 곳에 위치하는지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 주변 소리(410)가 사람에 의한 소리이고, WiFi CSI 기반의 감지 범위 내 사용자(110)가 존재함을 식별하는 경우, 전자 장치(100)는 초음파 기반의 제1 감지 범위(510) 내 사용자(110)가 존재하는지 여부를 식별할 수 있다. 사용자(110)가 초음파 기반의 제1 감지 범위(510) 내에 위치하는 경우, 스피커를 통해 출력된 초음파 신호는 사용자(110)에 의해 반사되어 마이크로 입력될 수 있다. 전자 장치(100)는 출력된 초음파 신호와 반사되어 마이크로 입력된 초음파 신호를 이용하여 초음파 기반의 제1 감지 범위(510)에 사용자(110)가 존재하는 것으로 판정할 수 있다.
예를 들어, 초음파 기반의 제1 감지 범위(510)에 사용자(110)가 존재한다는 것은 사용자(110)가 전자 장치(100)와 근접한 곳에 위치하는 것으로 간주될 수 있다. 따라서, 전자 장치(100)는 사용자(110)가 초음파 기반의 제1 감지 범위(510) 내부에 위치함을 식별함으로써, 사용자(110)의 접근을 감지할 수 있다.
본 개시의 일 실시예에서, 초음파 기반의 제1 감지 범위(510) 내 사용자(110)가 존재하는 경우, 전자 장치(100)는 기 결정된 동작을 수행할 수 있다. 예를 들어, 전자 장치(100)는 사용자(110)의 접근을 감지함에 따라, 전자 장치(100)와 연관된 출력 장치를 통해 특정 정보를 출력할 수 있다. 예를 들어, 전자 장치(100)와 연관된 출력 장치는, 전자 장치(100)에 내장되거나, 포함된 출력 장치를 포함할 수 있다. 예를 들어, 전자 장치(100)와 연관된 출력 장치는, 전자 장치(100)와 유선 또는 무선으로 연결된 출력 장치를 포함할 수 있다. 예를 들어, 전자 장치(100)와 연관된 출력 장치는, 전자 장치(100)와 유선 또는 무선으로 연결된 장치에 내장되거나, 포함된 출력 장치를 포함할 수 있다.
예를 들어, 전자 장치(100)는 사용자(110)의 접근을 감지함에 따라, 특정 화면을 전자 장치(100)와 연관된 디스플레이를 통해 출력할 수 있다. 예를 들어, 전자 장치(100)는 사용자(110)의 접근을 감지함에 따라, 특정 정보를 나타내는 시각적 요소(예: 그래픽, 아이콘, 식별자, 문자, 이미지, 인덱스 등)를 전자 장치(100)와 연관된 디스플레이를 통해 출력할 수 있다. 예를 들어, 전자 장치(100)는 사용자(110)의 접근을 감지함에 따라, 특정 정보를 나타내는 청각적 요소(예: 음성, 알림, 소리 등)를 전자 장치(100)와 연관된 스피커를 통해 출력할 수 있다.
전자 장치(100)와 연관된 디스플레이 상에 화면 또는 시각적 요소를 출력하기 위해, 디스플레이 또는 디스플레이와의 연결 인터페이스 모듈에 전원이 인가될 필요가 있다. 예를 들어, 전자 장치(100)는 디스플레이에 전원이 차단된 상태(예: 절전 모드)에서 디스플레이에 전원이 인가된 상태로 천이할 수 있다. 예를 들어, 전자 장치(100)는 디스플레이와의 연결 인터페이스 모듈에 전원이 차단된 기존의 상태에서 디스플레이와의 연결 인터페이스 모듈에 전원이 인가된 상태로 천이할 수 있다.
본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위 내 사용자(110)가 존재하는 것으로 식별함에 기초하여, 전자 장치(100)는 디스플레이에 전원이 인가된 상태로 천이할 수 있다. 예를 들어, 디스플레이에 전원이 인가된 상태는 FRC(frame rate control) 모듈에 전원이 인가된 상태로, LCF 백 라이트를 켤 수 있는 상태를 포함할 수 있다. FRC 모듈은 온 보드(on board) SMD(surface-mounted device) 칩으로, 액정의 느린 방전으로 인해 발생하는 아티팩트(artifact)를 줄이고, 방송 신호를 더 높은 프레임 속도로 변환하기 위한 모듈을 포함할 수 있다. 예를 들어, 초음파 기반의 제1 감지 범위(510) 내 사용자(110)가 존재하는 것으로 식별함에 기초하여, 전자 장치(100)는 디스플레이에 전원이 인가된 상태로 천이할 수 있다. 예를 들어, 초음파 기반의 제1 감지 범위(510) 내 사용자(110)의 존재 여부를 식별하기 전에 전자 장치(100)는 디스플레이에 전원이 인가된 상태로 천이할 수 있다.
초음파 기반의 제1 감지 범위(510) 내 사용자(110)의 존재 여부를 식별하기 전에 디스플레이에 전원이 인가되는 경우, 전자 장치(100)는 초음파 기반의 제1 감지 범위(510) 내 사용자(110)가 존재함을 식별하는 즉시 디스플레이 상에 화면 또는 시각적 요소를 출력할 수 있다. 반면, 초음파 기반의 제1 감지 범위(510) 내 사용자(110)가 존재함을 식별한 후에 디스플레이에 전원이 인가되어 화면 또는 시각적 요소를 출력하는 경우, 사용자(110)의 접근 시점과 디스플레이의 출력 시점 사이에 지연 시간이 발생할 수 있다. 따라서, 초음파 기반의 제1 감지 범위(510) 내 사용자(110)의 존재 여부를 식별하기 전에 디스플레이에 전원을 미리 인가함으로써, 지연 시간을 줄일 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 사용자(110)가 TV 장치와 가까운 위치로 걸어가는 경우, TV 장치는 발소리인 주변 소리(410)가 사람에 의한 소리임을 식별하고, WiFi CSI를 기반으로 집 내부에 사용자(110)가 존재함을 식별하고, 초음파 신호를 기반으로 사용자(110)가 TV 장치로부터 근접한 곳에 위치함을 식별할 수 있다. TV 장치는 디스플레이 상에 유용한 정보들을 나타내는 시각적 요소들을 포함하는 화면을 출력할 수 있다.
도 7a는 본 개시의 일 실시예에 따른 전자 장치의 제1 상태의 일례를 나타내는 도면이다. 도 7b는 본 개시의 일 실시예에 따른 전자 장치의 제2 상태의 일례를 나타내는 도면이다.
본 개시의 일 실시예에서, 전자 장치(100)는 적어도 하나의 프로세서(710), HDMI(high-definition multimedia interface) 모듈(720), 튜너 모듈(730), 스피커(740) 및 디스플레이(750)를 포함할 수 있다. 예를 들어, HDMI 모듈(720)은 디지털 비디오 및 오디오 신호를 수신 또는 전송하기 위한 디지털 인터페이스 기능을 수행할 수 있다. 예를 들어, 튜너 모듈(730)은 지상파 또는 케이블 TV 방송 신호를 수신하고 처리할 수 있다.
전자 장치(100)의 상태는 전자 장치(100)의 전력 소비 상태를 포함할 수 있으며, 전자 장치(100)는 하나의 시점에 복수의 전력 소비 상태 중 하나로 설정될 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)의 전력 소비 상태는 전자 장치(100)에 내재되거나, 포함되거나, 전자 장치(100)와 유무선으로 연결된 센서들, 모듈들 또는 장치들에 대한 전원인가 여부를 나타낼 수 있다. 예를 들어, 전력 소비 정도가 낮은 상태(또는 전력 소비량이 적은 상태)는 비교적 적은 수의 센서, 모듈 또는 장치에 전원이 인가된 상태를 포함할 수 있다. 예를 들어, 전력 소비 정도가 높은 상태(또는 전력 소비량이 많은 상태)는 비교적 많은 수의 센서, 모듈 또는 장치에 전원이 인가된 상태를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는, WiFi CSI 기반의 감지 범위 내 사용자가 존재하는 것을 식별(또는 판정)함에 기초하여, 전력 소비 정도가 낮은 제1 상태에서 전력 소비 정도가 높은 제2 상태로 천이할 수 있다. 예를 들어, 제1 상태는, 스피커(740) 또는 디스플레이(750) 중 적어도 하나에 전원이 차단된 상태를 포함하고, 제2 상태는 스피커(740) 또는 디스플레이(750) 중 적어도 하나에 전원이 인가된 상태를 포함할 수 있다. 예를 들어, WiFi CSI 기반의 감지 범위에 사용자가 존재하는 것으로 판정되는 경우, 전자 장치(100)는 스피커(740)를 통해 초음파 신호를 출력하기 위해, 스피커(740)에 전원이 인가된 제2 상태로 천이할 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는, 초음파 기반의 제1 감지 범위 내 사용자가 부존재하는 것을 식별(또는 판정)함에 기초하여, 전력 소비 정도가 큰 제2 상태에서 전력 소비 정도가 적은 제1 상태로 천이할 수 있다. 예를 들어, 초음파 기반의 제1 감지 범위 내 사용자가 부존재하는 것으로 판정되는 경우, 전자 장치(100)는 스피커(740) 또는 디스플레이(750) 중 적어도 하나에 전원을 차단할 수 있다. 예를 들어, 사용자가 전자 장치(100)에 먼 곳에 위치하여 전자 장치(100)가 스피커(740) 또는 디스플레이(750)를 필요로 하는 기능을 실행할 필요가 없는 경우, 전자 장치(100)는 스피커(740) 또는 디스플레이(750)에 전원이 차단된 상태로 진입함으로써, 불필요한 전력 소비를 방지할 수 있다.
도 7a를 참조하면, 전력 소비 정도가 낮은 제1 상태의 전자 장치(100)는, 프로세서(710)에 전원이 인가되어 있으나, HDMI 모듈(720), 튜너 모듈(730), 스피커(740) 및 디스플레이(750)에 전원이 인가되지 않을 수 있다. 제1 상태에서 전자 장치(100)는, HDMI 모듈(720), 튜너 모듈(730), 스피커(740) 및 디스플레이(750)에 전원을 인가하지 않음으로써, 낮은 소비 전력으로 동작할 수 있다. 제1 상태에서는 HDMI 모듈(720), 튜너 모듈(730), 스피커(740) 및 디스플레이(750)에 전원이 인가되지 않으므로, HDMI 모듈(720), 튜너 모듈(730), 스피커(740) 또는 디스플레이(750)의 동작을 필요로 하는 전자 장치(100)의 기능은 비활성화될 수 있다.
도 7b를 참조하면, 전력 소비 정도가 높은 제2 상태의 전자 장치(100)는, 프로세서(710), 스피커(740) 및 디스플레이(750)에 전원이 인가되고, HDMI 모듈(720) 및 튜너 모듈(730)에 전원이 인가되지 않을 수 있다. 제2 상태에서 전자 장치(100)의 소비 전력은 제1 상태에서 보다 높을 수 있으나, 프로세서(710), HDMI 모듈(720), 튜너 모듈(730), 스피커(740) 및 디스플레이(750) 모두에 전원이 인가된 상태 보다는 낮을 수 있다. 제2 상태에서는, 스피커(740) 및 디스플레이(750)에 전원이 인가되므로, 스피커(740) 또는 디스플레이(750)의 동작을 필요로 하는 전자 장치(100)의 기능은 실행 또는 제공 가능한 상태로 활성화될 수 있다.
도 7a 및 도 7b에 도시된 전자 장치(100)는 프로세서(710), HDMI 모듈(720), 튜너 모듈(730), 스피커(740) 및 디스플레이(750)를 포함하고 있으나, 이에 한정되지 않는다. 예를 들어, 전자 장치(100)는 마이크(또는 마이크와의 연결 인터페이스 모듈) 및 WiFi 모듈을 포함할 수 있으며, 제1 상태 또는 제2 상태 중 적어도 하나는 마이크 또는 WiFi 모듈 중 적어도 하나에 전원이 인가된 상태를 포함할 수 있다.
또한, 도 7a 및 도 7b는 각각 전자 장치의 상태로서 제1 상태와 제2 상태를 도시하고 있으나, 전자 장치의 상태는 이에 제한되지 않는다. 예를 들어, 전자 장치의 복수의 상태는, 더 많은 종류의 상태를 포함할 수 있다. 예를 들어, 복수의 상태는 스피커(740) 및 프로세서(710)에 전원이 인가되고, HDMI 모듈(720), 튜너 모듈(730), 및 디스플레이(750)에 전원이 차단된 상태를 포함할 수 있다. 예를 들어, 복수의 상태는 디스플레이(750) 및 프로세서(710)에 전원이 인가되고, HDMI 모듈(720), 튜너 모듈(730), 및 스피커(740)에 전원이 차단된 상태를 포함할 수 있다.
도 8은 본 개시의 일 실시예에서, 전자 장치의 동작 방법의 일례를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에서, 전자 장치에 포함된 프로세서와 각 모듈의 동작 및 상호 작용의 일례를 나타낼 수 있다. 본 개시의 일 실시예에서, 전자 장치는 마이크 모듈(810), 적어도 하나의 프로세서(812), WiFi 모듈(814), 주변 소리 모듈(816), 전원 모듈(818), 초음파 송수신 모듈(820), 스피커 모듈(822) 및 디스플레이 모듈(824)을 포함할 수 있다. 예를 들어, 적어도 하나의 프로세서(812)는 AP(application processor)를 포함할 수 있다.
도 8을 참조하면, 본 개시의 일 실시예에 따른 방법(800)은 단계 830 내지 854를 포함할 수 있다. 전자 장치의 동작 방법(800)은 도 8에 도시된 바에 한정되지 않으며, 하나 이상의 실시예에서, 도 8에 도시되지 않은 단계를 더 포함하거나, 일부 단계가 생략될 수 있다.
도 8을 참조하면, 단계 830에서, 프로세서(812)는 마이크 모듈(810)을 마이크 모듈(810)로부터 주변 소리를 식별할 수 있다. 예를 들어, 프로세서(812)는 마이크 모듈(810)을 통해 입력되는 주변 소리를 식별할 수 있다. 예를 들어, 주변 소리는 일정 시간 단위로 녹음될 수 있다. 예를 들어, 마이크 모듈(810)은 주변 소리를 전기적 신호로 변환할 수 있으며, 프로세서(812)는 전기적 신호로 변환된 주변 소리를 식별할 수 있다. 전기적 신호로 변환된 주변 소리는 전자 장치의 메모리에 저장될 수 있다.
본 개시의 일 실시예에서, 프로세서(812)는 주변 소리 모듈(816)을 이용하여 주변 소리가 사람에 의한 소리인지 여부를 식별할 수 있다. 예를 들어, 프로세서(812)는 인기척을 인지하기 위해, 주변 소리 모듈(816)을 제어할 수 있다. 예를 들어, 주변 소리 모듈(816)은 주변 소리가 사람에 의한 소리인지 여부를 판정할 수 있다.
도 8을 참조하면, 단계 832에서 프로세서(812)는 주변 소리 모듈(816)로 주변 소리(예: 주변 소리 데이터)를 제공 또는 입력할 수 있다. 예를 들어, 프로세서(812)는 주변 소리 모듈(816)로 주변 소리가 사람에 의한 소리인지 여부를 판정할 것을 요청, 명령 또는 지시할 수 있다.
도 8을 참조하면, 단계 834에서 프로세서(812)는 주변 소리 모듈(816)로부터 인기척을 인식할 수 있다. 예를 들어, 주변 소리 모듈(816)은 주변 소리가 사람에 의한 소리인지 여부를 판정하고, 판정 결과를 출력 또는 반환(return)할 수 있다. 예를 들어, 주변 소리가 사람에 의한 소리인 경우, 주변 소리 모듈(816)은 주변 소리가 사람에 의한 소리임을 나타내는 정보(예: 결과 값)를 프로세서(812)로 출력 또는 반환(return)할 수 있다. 따라서, 프로세서(812)는 주변 소리 모듈(816)의 반환 정보를 기초로, 주변 소리가 사람에 의한 소리임을 식별, 즉, 인기척을 인식할 수 있다.
본 개시의 일 실시예에서, 프로세서(812)는 인기척이 인식됨에 따라, WiFi 기반의 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 도 8을 참조하면, 프로세서(812)는 단계 836에서 WiFi 모듈(814)로부터 WiFi CSI를 식별하고, 단계 838에서 대상 공간에 대한 재실 여부를 식별할 수 있다. 예를 들어, WiFi 모듈(814)은 WiFi CSI를 획득하거나, 산출하거나, 수집하거나, 생성하거나, 저장할 수 있다. 예를 들어, WiFi 모듈(814)은 사람이 존재하지 않는 상태의 대상 공간에 대한 WiFi CSI를 기준 WiFi CSI로서 저장할 수 있다. 현재 WiFi CSI가 기준 WiFi CSI로부터 임계 정도 이상 변화한 경우, 프로세서(812)는 WiFi 기반의 감지 범위 내 사용자가 존재하는 것으로 판정할 수 있다. 예를 들어, WiFi 기반의 감지 범위는 대상 공간에 대응될 수 있으므로, 프로세서(812)는 WiFi 기반의 감지 범위 내 사용자의 존재 여부를 판정함으로써, 대상 공간에 대한 재실 여부를 판정할 수 있다.
본 개시의 일 실시예에서, 프로세서(812)는 WiFi 모듈(814)로부터 WiFi 기반의 감지 범위 내 사용자의 존재 여부를 나타내는 정보를 식별할 수 있다. 예를 들어, 프로세서(812)는 WiFi 모듈(814)로 WiFi 기반의 감지 범위 내 사용자의 존재 여부 판정을 요청, 명령 또는 지시할 수 있다. 이에 따라, WiFi 모듈(814)은 WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 판정하고, WiFi CSI 기반의 감지 범위 내 사용자의 존재 여부를 나타내는 정보를 프로세서(812)로 출력 또는 반환할 수 있다.
본 개시의 일 실시예에서, 대상 공간이 재실 상태로 식별되는 경우, 프로세서(812)는 전자 장치의 상태를 변경할 수 있다. 예를 들어, 프로세서(812)는 전원 모듈(818)에 전력 소비 상태(또는 모드)의 변경을 요청, 명령 또는 지시할 수 있다. 이에 따라, 전원 모듈(818)은 적어도 하나의 모듈에 대하여 전원을 인가하거나 차단할 수 있다.
도 8을 참조하면, 단계 840에서, 프로세서(812)는 저전력 상태(예: 주변음 수신 상태)에서 초음파 송수신 상태로의 변경을 전원 모듈(818)에 요청할 수 있다. 이에 따라, 전원 모듈(818)은 단계 842에서 스피커 모듈(822)에 전원을 인가하고, 단계 844에서 디스플레이 모듈(824)에 전원을 인가할 수 있다. 도 8에서는 전원 모듈(818)이 스피커 모듈(822)과 디스플레이 모듈(824)에 순차적으로 전원을 인가하는 것으로 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 전원 모듈(818)은 스피커 모듈(822)과 디스플레이 모듈(824)에 동시에 전원을 인가할 수 있다.
본 개시의 일 실시예에서, 대상 공간이 재실 상태로 식별되는 경우, 프로세서(812)는 초음파 기반의 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 도 8을 참조하면, 단계 846에서, 프로세서(812)는 초음파 송수신 모듈(820)에 초음파 신호의 발신(또는 출력)을 요청(또는, 명령, 지시)할 수 있다. 예를 들어, 프로세서(812)는 특정 세기 또는 주파수의 초음파 신호의 발신(또는 출력)을 초음파 송수신 모듈(820)에 요청(또는, 명령, 지시)할 수 있다. 이에 따라, 단계 848에서, 초음파 송수신 모듈(820)은 스피커 모듈(822)을 통해 초음파 신호를 발신(또는 출력)할 수 있다. 예를 들어, 스피커 모듈(822)은 초음파 송수신 모듈(820)의 명령, 요청, 제어 또는 지시에 따라 특정 주파수 및 특정 세기의 초음파 신호를 발생시킬 수 있다.
스피커 모듈(822)이 발생시킨 초음파 신호는 외부 객체에 의해 반사되어 마이크 모듈(810)을 통해 입력될 수 있다. 예를 들어, 마이크 모듈(810)은 외부 객체에 의해 반사되어 도달한 초음파 신호를 전기적 신호 또는 데이터로 변환할 수 있다. 도 8을 참조하면, 단계 850에서, 마이크 모듈(810)을 통해 입력된 초음파 신호는 프로세서(812)로 제공 또는 입력될 수 있다.
도 8을 참조하면, 단계 852에서, 프로세서(812)는 초음파 송수신 모듈(820)로부터 송신 초음파 신호와 수신 초음파 신호의 위상차를 식별할 수 있다. 프로세서(812)는 송신 초음파 신호와 수신 초음파 신호의 위상차를 이용하여, 초음파 기반의 감지 범위 내 사용자의 존재 여부를 판정할 수 있다. 예를 들어, 일정 시간 동안 송신 초음파 신호와 수신 초음파 신호의 위상차가 일정한 경우, 프로세서(812)는 초음파 기반의 감지 범위 내 사용자가 부존재하는 것으로 판정할 수 있다. 예를 들어, 일정 시간 동안 송신 초음파 신호와 수신 초음파 신호의 위상차가 변화하는 경우, 프로세서(812)는 초음파 기반의 감지 범위 내 사용자가 존재하는 것으로 판정할 수 있다.
본 개시의 일 실시예에서, 프로세서(812)는 초음파 기반의 감지 범위 내 사용자가 존재함을 식별하는 경우, 특정 정보를 출력할 수 있다. 도 8을 참조하면, 단계 854에서, 프로세서(812)는 디스플레이 모듈(824) 상에 화면을 표시할 수 있다. 예를 들어, 프로세서(812)는 디스플레이 모듈(824)로 화면 출력을 위한 데이터, 정보, 지시, 요청 또는 명령을 전송할 수 있고, 디스플레이 모듈(824)은 수신된 데이터, 정보, 지시, 요청 또는 명령에 따라 화면을 표시할 수 있다.
도 8에서는, 프로세서(812)가 주변 소리를 이용하여 인기척을 인식한 후 WiFi CSI를 이용하여 재실 여부를 식별하고 있으나, 이에 한정되지 않는다. 예를 들어, 프로세서(812)는 WiFi CSI를 이용하여 대상 공간의 재실을 식별한 후 주변 소리를 이용하여 인기척을 인식할 수 있다. 이 경우, 프로세서(812)는 주변 소리에 의해 인기척이 인식되면, 상태를 변경하거나, 초음파를 출력할 수 있다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법의 일례를 나타내는 흐름도이다.
도 9를 설명하는데 있어서, 도 1 내지 도 8 중 어느 하나에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
도 9는 WiFi CSI 기반의 감지 범위 내 사용자의 부존재가 식별되나, 큰 주변 소리가 식별되는 경우의 전자 장치의 동작 방법의 일례를 나타낼 수 있다. 도 9를 참조하면, 본 개시의 일 실시예에 따른 전자 장치의 동작 방법(900)은 단계 910 내지 940을 포함할 수 있다. 본 개시의 일 실시예에서, 방법(900)의 단계 910 내지 940은 전자 장치에 포함되는 적어도 하나의 프로세서에 의해 실행될 수 있다. 전자 장치의 동작 방법(900)은 도 9에 도시된 바에 한정되지 않으며, 하나 이상의 실시예에서, 도 9에 도시되지 않은 단계를 더 포함하거나, 일부 단계가 생략될 수 있다.
WiFi CSI 기반의 감지 범위는, 사용자를 감지하고자 하는 대상 공간(예: 집, 사무실 등 실내 공간)을 완벽하게 커버하지 못할 수 있다. 예를 들어, 대상 공간은, WiFi CSI 기반의 감지 범위 외의 공간 또는 WiFi 신호에 대한 음영 공간을 포함할 수 있다. 이 경우, 전자 장치는 WiFi CSI를 기반으로는, 대상 공간 중에서 WiFi CSI 기반의 감지 범위 외의 공간 또는 음영 공간에 존재하는 사용자를 감지할 수 없으며, 전자 장치가 WiFi CSI 기반의 감지 범위에 사용자가 부존재하는 것으로 식별하더라도, 실제로는 사용자가 대상 공간 내에 존재하거나, 사용자가 대상 공간으로 입장하고 있을 수 있다. 따라서, WiFi CSI 기반의 감지 범위 내에 사용자가 부존재하는 것으로 식별되더라도, 전자 장치는 대상 공간에 사용자가 존재하는지(즉, 사용자의 재실 여부) 또는 사용자가 입장하는지 여부를 재확인할 필요가 있다.
단계 910에서, 전자 장치는 WiFi CSI 감지 범위 내 사용자 부존재를 식별할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 WiFi CSI를 이용하여, WiFi 기반의 감지 범위 내 사용자가 부존재함을 감지 또는 판정할 수 있다.
단계 920에서, 전자 장치는 수신되는 오디오(또는 오디오에 대응되는 주변 소리)의 크기가 임계값 이상인지 여부를 식별할 수 있다. 예를 들어, 단계 920의 오디오(또는, 주변 소리)는, WiFi CSI 기반의 감지 범위 내 사용자의 부존재를 식별하기(즉, 단계 910) 전에 수신(또는 입력)되는 오디오(또는, 주변 소리), 식별하는 중에 수신(또는 입력)되는 오디오(또는, 주변 소리) 또는 식별한 후에 수신(또는 입력)되는 오디오(또는, 주변 소리) 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치는, 마이크로 입력되는 주변 소리의 크기(예: 입력 음압 레벨)가 기 결정된 임계값 이상인지 여부를 식별할 수 있다. 예를 들어, 전자 장치는 마이크로 입력되는 주변 소리의 크기가 임계값(예: 50dB) 이상인지 여부를 판정할 수 있다. 예를 들어, 임계값은 대상 공간 내에서 발생한 것으로 간주될 수 있는 충분히 큰 소리의 크기에 따라 결정될 수 있다.
본 개시의 일 실시예에서, 전자 장치는 특정 클래스에 대응되는 주변 소리의 크기가 임계값 이상인지 여부를 식별할 수 있다. 예를 들어, 특정 클래스는, 사용자가 대상 공간에 입장하는 경우 발생할 수 있는 소리에 대한 클래스를 포함할 수 있다. 일례로, 특정 클래스는, 문 닫는 소리에 대응되는 클래스, 신발 벗는 소리에 대응되는 클래스, 도어락 소리에 대응되는 클래스 등을 포함할 수 있다. 예를 들어, 전자 장치는 마이크로 입력되는 주변 소리가 특정 클래스에 대응되는지 여부를 식별(또는 판정)하고, 특정 클래스에 대응되는 주변 소리의 크기가 임계값 이상인지 여부를 식별할 수 있다.
주변 소리의 크기가 임계값 이상인 경우, 단계 930에서, 전자 장치는 스피커를 통해 제2 세기의 초음파 신호를 출력할 수 있다. 본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위 내 사용자의 부존재를 식별하고, 주변 소리의 크기가 임계값 이상인 것에 기초하여, 전자 장치는 스피커를 통해 제2 세기의 초음파 신호를 출력할 수 있다. 예를 들어, 제2 세기의 초음파 신호는 대상 공간의 구조, 크기 또는 전자 장치의 위치를 기초로 결정될 수 있다. 예를 들어, 제2 세기의 초음파 신호는 WiFi CSI 기반의 감지 범위 내 사용자가 존재하는 경우에 출력되는 제1 세기의 초음파 신호보다 더 셀 수 있다.
본 개시의 일 실시예에서, 전자 장치는 WiFi CSI 감지 범위 내 사용자가 부존재하고 수신한 오디오의 크기가 임계값 이상이면, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경할 수 있다.
전자 장치는 초음파 기반의 제2 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 도 9를 참조하면, 단계 940에서, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자의 존재를 식별할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 출력된 제2 세기의 초음파 신호 및 마이크로 입력되는 초음파 신호를 이용하여, 초음파 기반의 제2 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 제2 세기의 초음파 신호를 기반으로 하는 제2 감지 범위는 제1 세기의 초음파 신호를 기반으로 하는 제1 감지 범위보다 넓을 수 있다. 따라서, 전자 장치는 WiFi CSI 기반의 감지 범위 내 사용자의 부존재가 식별되더라도, 소리 및 초음파 신호를 기반으로 대상 공간에 사용자가 존재하거나 입장하는지 여부를 이중으로 확인할 수 있다.
초음파 신호를 이용하여 대상 공간 내 사용자가 존재하는 것으로 식별함에 따라, 전자 장치는 사용자가 근접한 곳에 위치하는지 여부를 식별할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자의 존재를 식별함에 기초하여, 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 초음파 기반의 제2 감지 범위 내 사용자가 존재하는 것으로 식별되는 경우, 전자 장치는 제1 세기의 초음파 신호를 이용하여 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부를 식별할 수 있다.
본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위 내 사용자가 부존재하는 것으로 식별되고, 마이크로 입력되는 주변 소리의 크기가 커지는 경우, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 마이크로 입력되는 주변 소리의 크기가 점점 커지는 경향성을 포함하는 경우, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자의 존재 여부를 식별할 수 있다. 예를 들어, 전자 장치는 WiFi CSI 기반의 감지 범위 내 사용자의 부존재를 식별한 후 입력되는 주변 소리가 전에 입력되는 주변 소리보다 큰 경우, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자의 존재 여부를 식별할 수 있다.
도 10은 본 개시의 일 실시예에서 사용자가 WiFi CSI 기반의 감지 범위 외부에 위치하는 경우의 전자 장치의 동작의 일례를 나타내는 도면이다.
도 10을 설명하는데 있어서, 도 1 내지 도 9 중 어느 하나에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
도 10은 본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위 내 사용자(110)의 부존재가 식별되나, 큰 주변 소리가 식별되는 경우의 전자 장치의 동작 방법의 일례를 나타낼 수 있다.
도 10에 도시된 바와 같이, 사용자(110)가 대상 공간(예: 집)에 존재하더라도, WiFi CSI 기반의 감지 범위(310)의 외부 또는 음영 공간에 위치하는 경우, 전자 장치는 WiFi CSI 기반의 감지 범위(310) 내 사용자(110)가 존재하지 않는 것으로 판정 또는 식별할 수 있다. 따라서, WiFi CSI 기반의 감지 범위(310) 내 사용자(110)가 존재하지 않는 것으로 식별되더라도, 대상 공간 내에 사용자(110)가 존재하는지 추가적으로 감지할 필요가 있다. 본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위(310) 내 사용자(110)가 존재하지 않는 것으로 식별되더라도, 사람에 의한 주변 소리가 크게 발생하거나, 사람이 대상 공간으로 입장하는 소리가 발생하거나, 주변 소리가 점점 커지는 경우, 대상 공간에 사용자(110)가 존재하거나 사용자(110)가 입장하고 있는 것으로 가정될 수 있다.
대상 공간에 대하여 사용자(110)의 존재 여부를 추가로 확인하기 위해, 전자 장치는 주변 소리 및 초음파를 이용할 수 있다. 본 개시의 일 실시예에서, WiFi CSI 기반의 감지 범위(310) 내 사용자(110)가 부존재하더라도, 마이크로 입력되는 주변 소리가 기 정의된 조건을 충족하는 경우, 전자 장치는 초음파를 이용하여 대상 공간 내에 사용자(110)가 존재하는지 여부를 추가로 식별(또는 감지, 판정)할 수 있다. 예를 들어, 마이크로 기준 데시벨 이상의 주변 소리가 입력되는 것을 식별함에 기초하여, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자(110)가 존재하는지 여부를 식별할 수 있다. 예를 들어, 특정 클래스에 대응되는 주변 소리가 입력되는 것을 식별함에 기초하여, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자(110)가 존재하는지 여부를 식별할 수 있다. 예를 들어, 점점 커지는 주변 소리가 입력되는 것을 식별함에 기초하여, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자(110)가 존재하는지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 초음파 기반의 제2 감지 범위 내 사용자(110)가 존재하는지 여부를 식별하기 위해, 전자 장치는 스피커를 통해 제2 세기의 초음파 신호를 출력할 수 있다. 스피커를 통해 제2 세기의 초음파 신호를 출력하기 위해, 전자 장치와 연관된 스피커에 전원이 인가될 수 있다. 예를 들어, WiFi CSI 기반의 감지 범위(310) 내 사용자(110)가 부존재하더라도, 마이크로 입력되는 주변 소리가 기 정의된 조건을 충족하는 경우, 전자 장치는 전력 소비 정도가 낮은 상태에서 전력 소비 정도가 높은 상태로 천이할 수 있다. 전력 소비 정도가 낮은 상태는, 전자 장치와 연관된 스피커 또는 스피커와의 연결 인터페이스에 전원이 차단된 상태를 포함할 수 있다. 전력 소비 정도가 높은 상태는 전자 장치와 연관된 스피커 또는 스피커와의 연결 인터페이스에 전원이 인가된 상태를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자(110)가 존재하는 것으로 식별함에 기초하여, 특정 정보를 출력할 수 있다. 예를 들어, 초음파 기반의 제2 감지 범위 내 사용자(110)가 존재하는 경우, 전자 장치는 특정 정보에 대응되는 시각적 요소가 포함된 화면을 디스플레이 상에 출력할 수 있다. 예를 들어, 초음파 기반의 제2 감지 범위 내 사용자(110)가 존재하는 경우, 전자 장치는 특정 정보에 대응되는 청각적 요소를 스피커를 통해 출력할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 제2 세기의 초음파 신호를 이용하여, 대상 공간에 대한 사용자(110)의 존재 여부를 감지한 후, 제1 세기의 초음파 신호를 이용하여 근접 영역에 대한 사용자(110)의 존재 여부를 추가로 감지할 수 있다. 예를 들어, 전자 장치는 초음파 기반의 제2 감지 범위 내 사용자(110)가 존재하는 것으로 식별함에 기초하여, 초음파 기반의 제1 감지 범위(510) 내에도 사용자(110)가 존재하는지 여부를 식별할 수 있다. 전자 장치는 초음파 기반의 제1 감지 범위(510) 내에도 사용자(110)가 존재하는 것으로 식별함에 기초하여, 특정 정보를 출력할 수 있다. 예를 들어, 초음파 기반의 제2 감지 범위는 대상 공간에 대응될 수 있으며, 초음파 기반의 제1 감지 범위(510)는 전자 장치와의 근접 영역에 대응될 수 있다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 구성 일례를 나타내는 도면이다.
도 11을 설명하는데 있어서, 도 1 내지 도 10에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
도 11에 도시된 전자 장치(1100)는, 이미지(또는, 영상)를 출력하는 전자 장치로서, TV, 스마트 모니터, 스마트 디스플레이, 옥외 모니터, 게이밍 모니터, 전자 액자, 노트북, 데스크탑 컴퓨터, 웨어러블 디바이스, 태블릿 PC(personal computer), 전자책 단말기, 디지털 방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, MP3 플레이어 등을 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치(1100)는 적어도 하나의 프로세서(1110), 메모리(1120), 통신 모듈(1130), 입출력 인터페이스 모듈(1140), 입력 장치(1150) 및 출력 장치(1160)를 포함할 수 있으나, 이에 한정되지 않는다.
프로세서(1110)는 전자 장치(1100)에 포함된 구성들과 전기적으로 연결되어, 전자 장치(1100)에 포함된 구성들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 본 개시의 일 실시예에서, 프로세서(1110)는 다른 구성들 중 적어도 하나로부터 수신된 요청, 명령 또는 데이터를 메모리에 로드하여 처리하고, 처리 결과 데이터를 메모리에 저장할 수 있다. 프로세서(1110)는 상술한 실시예들에 따라 전자 장치(1100)가 동작하도록 일련의 과정을 제어하는 구성으로서, 하나 또는 복수의 프로세서로 구성될 수 있다.
프로세서(1110)에 포함되는 하나 또는 복수의 프로세서는 System on Chip(SoC), Integrated Circuit(IC) 등과 같은 회로 장치(circuitry)일 수 있다. 프로세서(1110)에 포함되는 하나 또는 복수의 프로세서는 CPU(central processing unit), MPU(Micro Processor Unit), AP(application processor), DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU(graphic processing unit), VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서, NPU(neural processing unit)와 같은 인공지능 전용 프로세서 또는 CP(Communication Processor)와 같은 통신 전용 프로세서 중 적어도 하나를 포함할 수 있다. 프로세서(1110)에 포함되는 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 해당 인공지능 전용 프로세서는 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
프로세서(1110)는 다양한 프로세싱 회로 및/또는 복수의 프로세서를 포함할 수 있다. 예를 들어, 청구항을 포함하여 본 개시에서 사용된 용어 '프로세서'는 적어도 하나의 프로세서를 포함하는 다양한 프로세싱 회로를 포함할 수 있다. 적어도 하나의 프로세서 중 하나 이상의 프로세서는 개별적으로 및/또는 분산된 방식에서 집합적으로, 본 개시에서의 하나 이상의 기능을 수행하도록 구성될 수 있다. 본 개시에서, '프로세서', '적어도 하나의 프로세서', '하나 이상의 프로세서'가 다수의 기능들을 수행하도록 구성되는 것으로 설명되는 경우, 이는, 하나의 프로세서가 기능들의 일부를 수행하고 다른 프로세서(들)가 기능들의 다른 일부를 수행하는 상황과 단일 프로세서가 모든 기능들을 수행하는 상황을 포함할 수 있다. 또한, 적어도 하나의 프로세서는 분산된 방법으로 다양한 기능들을 수행하는 프로세서의 조합을 포함할 수 있다. 적어도 하나의 프로세서는 다양한 기능들을 달성하거나 수행하기 위해 프로그램 인스트럭션들을 실행할 수 있다.
프로세서(1110)는 메모리(1120)에 데이터를 기록하거나, 메모리(1120)에 저장된 데이터를 읽을 수 있으며, 특히 메모리(1120)에 저장된 프로그램 또는 적어도 하나의 인스트럭션을 실행함으로써 미리 정의된 동작 규칙 또는 인공지능 모델에 따라 데이터를 처리할 수 있다. 프로세서(1110)는, 메모리(1120)에 저장된 데이터, 동작 규칙, 알고리즘, 방법 또는 모델에 따라, 입력 데이터를 처리하거나, 처리하도록 다른 구성들을 제어할 수 있다. 프로세서(1110)는, 입력 데이터를 이용하여 메모리(1120)에 저장된 기 정의된 동작 규칙, 알고리즘, 방법 또는 모델의 동작을 수행할 수 있다.
메모리(1120)는 프로세서(1110)와 전기적으로 연결되고 전자 장치(1100)에 포함된 구성들의 동작과 관련된 하나 이상의 모듈, 알고리즘, 동작 규칙, 모델, 프로그램, 명령어 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(1120)는 비일시적인 임의의 컴퓨터 판독 가능한 기록 매체를 포함할 수 있다. 예를 들어, 메모리(1120)는 프로세서(1110)의 처리 및 제어를 위한 하나 이상의 모듈, 알고리즘, 동작 규칙, 모델, 프로그램, 명령어 또는 데이터를 저장할 수 있다. 메모리(1120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(random access memory, RAM) SRAM(static random access memory), 롬(read-only memory, ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 등과 같은 저장 매체 또는 저장 매체들의 조합으로 구성될 수 있으나, 이에 한정되지 않는다. 메모리(1120)는 별도로 존재하지 않고 프로세서(1110)에 포함되도록 구성될 수도 있다. 메모리(1120)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수도 있다. 메모리(1120)에는 상술한 실시예들에 따른 동작들을 수행하기 위한 프로그램 또는 적어도 하나의 인스트럭션이 저장될 수 있다. 메모리(1120)는 프로세서(1110)의 요청에 따라 저장된 데이터를 프로세서(1110)에 제공할 수도 있다.
본 개시의 일 실시예에서, 메모리(1120)는 전자 장치(1100)가 식별하거나 획득하거나 생성하거나 결정한 데이터 및/또는 정보를 저장할 수 있다. 예를 들어, 메모리(1120)는 전자 장치(1100)가 식별하거나 획득하거나 생성하거나 결정한 데이터 및/또는 정보를 압축된 형태로 저장할 수 있다. 본 개시의 일 실시예에서, 메모리(1120)는 미리 정의되거나 결정된 정보를 저장할 수 있다.
본 개시의 일 실시예에서, 전자 장치(1100)는 적어도 하나의 동작을 수행하는 (또는 수행하기 위해 사용되는) 모듈을 포함할 수 있다. 전자 장치(1100)의 적어도 하나의 동작을 수행하는 일부 모듈은 복수의 서브 모듈로 구성되거나, 하나의 모듈을 구성할 수 있다.
전자 장치(1100)의 적어도 하나의 동작을 수행하는 일부 모듈은 하드웨어 모듈, 소프트웨어 모듈 및/또는 그 조합으로 구현될 수 있다. 전자 장치(1100)에 포함되는 소프트웨어 모듈은 메모리(1120)에 포함될 수 있다. 본 개시의 일 실시예에서, 메모리(1120)에 포함된 모듈은 프로세서(1110)에 의해 실행됨으로써, 동작을 수행할 수 있다. 예를 들어, 메모리(1120)에 포함된 모듈(즉, 소프트웨어 모듈)은, 프로세서(1110)의 제어 또는 명령에 따라 실행되며, 입력 데이터에 대한 출력 데이터를 도출하는 동작들을 수행하도록 구성된 프로그램, 모델 또는 알고리즘을 포함할 수 있다.
전자 장치(1100)는 다른 장치, 서버 또는 시스템과 통신하기 위한 통신 모듈(1130)(예: 통신 인터페이스 모듈, 송수신 모듈)을 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치(1100)의 통신 모듈(1130)은 외부의 다른 장치 또는 서버와의 유선 또는 무선 통신 채널(또는 연결, 링크)의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
본 개시의 일 실시예에서, 통신 모듈(1130)은 유선 통신 또는 무선 통신을 통해 외부의 다른 전자 장치 또는 서버로부터 신호, 정보, 요청 및/또는 데이터(예: 영상 데이터, 소리 데이터)를 수신하거나 또는 외부의 다른 전자 장치 또는 서버에 대해 신호, 정보, 요청 및/또는 데이터를 송신할 수 있다. 본 개시의 일 실시예에 따르면, 통신 모듈(1030)은 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있고, 그 중 어느 하나의 통신 모듈을 이용하여 적어도 하나의 네트워크, 예컨대, 근거리 통신 네트워크 (예: 블루투스, WiFi direct, WiFi P2P, WiFi Aware 또는 IrDA(infrared data association)) 또는 원거리 통신 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN))를 통하여 외부 전자 장치 또는 서버와 통신할 수 있다. 예를 들어, 서버와의 통신을 위한 통신 모듈과 다른 전자 장치(예: 원격 제어 장치)와의 통신을 위한 통신 모듈은 서로 상이하거나 동일할 수 있다.
본 개시의 일 실시예에서, 통신 모듈(1130)은 WiFi 모듈(1132)을 포함할 수 있다. 예를 들어, WiFi 모듈(1132)은 전자 장치(1100)의 무선 네트워크 접속을 지원할 수 있다. 예를 들어, WiFi 모듈(1132)은 전자 장치(1100)가 외부 라우터 장치, AP(access point) 장치 또는 비 AP 장치와 WiFi 신호를 통해 데이터를 송수신하도록 지원할 수 있다. 예를 들어, 전자 장치(1100)는 WiFi 모듈(1132)을 이용하여, 인터넷에 연결되고 무선 네트워크를 통해 온라인 콘텐츠를 스트리밍하거나 웹 브라우징을 할 수 있다. 예를 들어, WiFi 모듈(1132)은 전자 장치(1100)의 WiFi 통신에 사용되는 WiFi 신호 또는 WiFi 채널 대한 정보(예: WiFi CSI)를 주기적으로 또는 비주기적으로 수집하거나, 산출하거나, 생성할 수 있다. 예를 들어, WiFi 모듈(1132)은 프로세서(1110)의 제어 없이도, WiFi CSI를 획득할 수 있다.
본 개시의 일 실시예에서, 통신 모듈(1130)은 튜너 모듈(1134)을 포함할 수 있다. 예를 들어, 튜너 모듈(1134)은 TV 방송 신호를 수신하고 처리할 수 있다. 예를 들어, 튜너 모듈(1134)은 안테나, 케이블, 위성 또는 다른 수신 장치를 통해 TV 방송 신호를 수신할 수 있다. 예를 들어, 튜너 모듈(1134)은 다양한 주파수 대역에서 신호를 수신하고, 사용자가 선택한 채널에 대응되는 주파수의 신호를 처리할 수 있다. 예를 들어, 전자 장치의 디스플레이 상에 방송 화면이 출력될 수 있도록, 튜너 모듈(1134)은 디지털 신호 또는 아날로그 신호를 처리할 수 있다.
입출력 인터페이스 모듈(1140)은 전자 장치(1100)와 다른 전자 장치 간의 연결 및 데이터 송수신을 지원하는 모듈로서, 데이터의 입력과 출력을 관리하고 처리할 수 있다. 예를 들어, 입출력 인터페이스 모듈(1140)은 전자 장치(1100)와 외부 장치들 간의 음성 또는 영상과 같은 미디어 콘텐츠 데이터의 송수신을 처리할 수 있다. 예를 들어, 입출력 인터페이스 모듈(1140)은 입력 인터페이스 모듈(예: 입력 포트), 출력 인터페이스 모듈(예: 출력 포트) 또는 입출력 통합 인터페이스 모듈(예: 입출력 통합 포트)를 포함할 수 있다. 예를 들어, 전자 장치는 입력 포트를 이용하여 외부 장치(예: 마이크)로부터 오디오 신호를 수신하거나 입력받을 수 있다. 예를 들어, 전자 장치는 출력 포트를 이용하여 외부 장치(예: 디스플레이, 스피커 등)에 영상 또는 오디오 신호를 출력 또는 송신할 수 있다. 예를 들어, 입출력 인터페이스 모듈(1140)은 HDMI(High-Definition Multimedia Interface) 모듈(1142)(예: HDMI 포트), DP(display port), RGB (Red-Green-Blue) 포트, DVI (Digital Visual Interface), 썬더볼트 (Thunderbolt) 등을 포함할 수 있다.
입력 장치(1150), 출력 장치(1160) 또는 입출력 통합 장치는, 전자 장치(1100)를 구성하는 모듈로서 전자 장치(1100)에 포함될 수 있다. 예를 들어, 입력 장치(1150)는 마이크(1152), 키보드, 마우스, 카메라, 터치 패드 등을 포함할 수 있고, 출력 장치(1160)는 디스플레이(1162), 스피커(1164), 헤드셋, 프로젝터 등을 포함할 수 있으며, 입출력 통합 장치는 터치스크린 등을 포함할 수 있다. 예를 들어, 스피커(1164)는 가청 주파수 대역의 신호와 비가청 주파수 대역의 신호를 모두 출력할 수 있다. 예를 들어, 전자 장치(1100)는 가청 주파수 대역의 신호를 출력하는 스피커와 비가청 주파수 대역의 신호를 출력하는 스피커(예: 초음파 발신기)를 각각 포함할 수 있다.
전자 장치(1100)는 도 11에 도시된 바에 한정되지 않으며, 도 11에 도시된 구성 요소들보다 더 많은 구성 요소들을 포함하거나, 도 11에 도시된 구성 요소가 생략될 수 있다.
도 12는 본 개시의 일 실시예에 따른 전자 장치의 구성 및 전자 장치와 연결된 입출력 장치의 일례를 나타내는 도면이다.
도 12을 설명하는데 있어서, 도 1 내지 도 11 중 어느 하나에서 상술한 설명과 중복되는 설명은 생략될 수 있다.
본 개시의 일 실시예에서, 전자 장치(1100)는, 외부의 메모리 장치, 외부의 통신 장치, 외부의 입출력 인터페이스 장치, 외부의 입력 장치 또는 외부의 출력 장치 중 적어도 하나와 유선 또는 무선으로 연결될 수 있다. 예를 들어, 전자 장치(1100)는 유선 또는 무선으로 연결된 외부의 장치와 상호 작용함으로써, 연결된 외부의 장치의 기능을 이용할 수 있다. 예를 들어, 전자 장치(1100)는, 셋탑 박스(set top box, STB), 블루레이 디스크(blue ray disk) 플레이어, DVD(digital versatile disk) 플레이어, 게임기기, 디지털 카메라, 캠코더, 스트리밍 장치, 홈 시어터 등을 포함할 수 있다.
도 11에서는 전자 장치(1100)가 마이크(1152), 디스플레이(1162) 및 스피커(1164)를 포함하는 일례를 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 도 12에 도시된 바와 같이, 전자 장치는 외부 마이크(1210), 외부 디스플레이(1220) 또는 외부 스피커(1230)와 유선 또는 무선으로 연결될 수 있다. 예를 들어, 전자 장치는 외부 마이크(1210)로부터 데이터(예: 소리 데이터)를 수신하거나 외부 디스플레이(1220) 또는 외부 스피커(1230)로 데이터(예: 영상 데이터, 소리 데이터)를 전송할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 외부 마이크(1210)로 입력된 주변 소리를 식별할 수 있다. 예를 들어, 외부 마이크(1210)이 주변 소리의 파동을 주변 소리 데이터(예: 전기적 신호)로 변환하고, 전자 장치는 소리 데이터를 외부 마이크(1210)로부터 수신할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 외부 디스플레이(1220)를 통해 화면을 출력할 수 있다. 예를 들어, 전자 장치는 외부 디스플레이(1220)를 통해 시각적 요소를 출력할 수 있다. 예를 들어, 전자 장치는 출력하고자 하는 시각적 요소 또는 화면에 대한 정보, 데이터, 요청, 또는 지시를 외부 디스플레이(1220)로 송신하고, 외부 디스플레이(1220)는 수신된 정보, 데이터, 요청 또는 지시에 따라 시각적 요소 또는 화면을 출력할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 외부 스피커(1230)를 통해 초음파 신호 또는 청각적 요소를 출력할 수 있다. 예를 들어, 전자 장치는 출력하고자 하는 초음파 신호 또는 청각적 요소에 대한 정보, 데이터, 요청 또는 지시를 외부 스피커(1230)로 송신하고, 외부 스피커(1230)는 수신된 정보, 데이터, 요청 또는 지시에 따라 초음파 신호 또는 청각적 요소를 출력할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 외부 마이크(1210), 외부 디스플레이(1220) 또는 외부 스피커(1230)로 데이터를 출력하기 위한 출력 인터페이스(예: 출력 포트)를 포함할 수 있다. 예를 들어, 출력 포트는, 영상 데이터를 출력하는 포트, 소리 데이터를 출력하는 포트 또는 영상 데이터와 소리 데이터를 함께 출력하는 포트를 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 외부 마이크(1210), 외부 디스플레이(1220) 또는 외부 스피커(1230)로부터 데이터를 입력받기 위한 입력 인터페이스(예: 입력 포트)를 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 외부 마이크(1210), 외부 디스플레이(1220) 또는 외부 스피커(1230)로 데이터를 출력하기 위해 외부 마이크(1210), 외부 디스플레이(1220) 또는 외부 스피커(1230)와 유선 또는 무선 통신할 수 있다.
본 개시에서 도 1 내지 도 12에서 중복되는 설명들은 생략된 것일 수 있으며, 도 1 내지 도 12에서 상술한 하나 이상의 실시예들은 서로 조합되어 적용/실시될 수 있다. 본 개시에서, 전자 장치에 의해 수행되는 것으로 기재된 동작은, 전자 장치에 포함되거나 저장된 모듈에 의해 실행/수행되거나, 전자 장치의 적어도 하나의 프로세서에 의해 실행/수행되거나, 전자 장치에 포함되거나 저장된 모듈을 이용하여 전자 장치의 적어도 하나의 프로세서의 제어에 의해 수행될 수 있다.
본 개시의 일 실시예에 따르면, 모션 센서가 탑재되지 않은 TV도 기존에 탑재된 마이크와 스피커를 이용하여 사용자를 감지할 수 있다. 따라서, 추가적인 모션 센서를 필요로 하지 않으므로, 생산 비용이 절감되고, 전력 소비가 감소하고, 기기를 경량화할 수 있다. 예를 들어, 마이크를 통해 사람의 행동과 관련된 소리가 인식되는 경우 추가적으로 스피커에 의한 초음파를 사용하여 사용자가 TV 앞으로 온 것을 감지하고, 이에 따라 TV 화면을 자동으로 켜고 날씨나 일정, 메모 등 유용한 정보를 표시할 수 있다.
옆 집이나 윗 집 사람 소리, 밖에서 들리는 소음 등으로 인해, 사람 행동과 관련된 소리만으로 사용자를 감지하는 것은 부정확 할 수 있다. 본 개시의 일 실시예에 따르면, 주변 소리 뿐만 아니라 WiFi CSI 및 초음파를 함께 이용하여 보다 정확히 사용자를 감지할 수 있다. 또한, 사람 행동과 관련된 소리만으로 재실 여부를 판단하여 스피커에 전원을 인가하고 초음파를 발신하는 경우, 스피커의 수명을 단축시킬 수 있으며, 전원 인가 과정에서 파워 릴레이(power relay) 소음이 발생할 수 있다. 본 개시의 일 실시예에 따르면, 소리와 WiFi CSI를 함께 이용하여 재실 여부를 판단함으로써, 스피커에 전원을 인가하여 초음파를 발신하는 것을 최소화할 수 있다.
본 개시의 일 실시예에서, 전자 장치는, 하나 이상의 명령어(instruction)를 저장하는 메모리 및 하나 이상의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 마이크를 통해 수신한 오디오가 기 설정된 조건에 대응되면, WiFi(wireless fidelity) CSI(channel state information)의 감지 범위 내의 사용자 존재를 식별할 수 있다. 본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 WiFi CSI의 감지 범위 내 상기 사용자 존재가 식별되면, 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 식별할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 수신한 오디오가 기 설정된 조건에 대응하고 상기 WiFi CSI의 감지 범위 내 사용자가 존재하면, 스피커를 통해 제1 세기의 초음파 신호를 출력할 수 있다. 본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 출력된 제1 세기의 초음파 신호와 상기 마이크를 통해 입력되는 초음파 신호에 기초하여 상기 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 초음파 기반의 제1 감지 범위 내 사용자가 존재함에 기초하여, 사용자 존재에 대응한 화면을 출력하도록 제어할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 WiFi CSI의 감지 범위 내 상기 사용자가 존재함에 기초하여, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 상기 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경되도록 제어할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 초음파 기반의 제1 감지 범위 내 상기 사용자의 부존재에 기초하여, 기 설정된 값보다 전력 소비량이 많은 제2 상태에서 상기 기 설정된 값보다 전력 소비량이 적은 제1 상태로 변경되도록 제어할 수 있다.
본 개시의 일 실시예에서, 제1 상태는, 스피커 또는 디스플레이 중 적어도 하나가 동작하지 않는 것에 기초하여 정상 상태의 전력 소비량보다 전력 소비량이 적은 상태일 수 있다. 본 개시의 일 실시예에서, 상기 제2 상태는, 상기 스피커 또는 상기 디스플레이 중 적어도 하나가 동작하는 것에 기초하여 상기 정상 상태의 전력 소비량보다 전력 소비량이 많은 상태를 포함할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 마이크를 통해 수신한 오디오가 전자 장치의 주변 소리에 대응하면, 상기 주변 소리와 관련된 적어도 하나의 클래스에 기초하여 상기 주변 소리가 사람에 의한 소리인지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 WiFi CSI 감지 범위 내 상기 사용자가 부존재하고 상기 수신한 오디오의 크기가 임계값 이상이면, 스피커를 통해 제2 세기의 초음파 신호를 출력할 수 있다. 본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 출력된 제2 세기의 초음파 신호 및 상기 마이크로 입력되는 초음파 신호를 이용하여, 초음파 기반의 제2 감지 범위 내 사용자의 존재를 식별할 수 있다. 본 개시의 일 실시예에서, 상기 초음파 기반의 제2 감지 범위는 상기 초음파 기반의 제1 감지 범위보다 넓을 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 WiFi CSI 감지 범위 내 상기 사용자가 부존재하고 상기 수신한 오디오의 크기가 임계값 이상이면, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 상기 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경할 수 있다.
본 개시의 일 실시예에서, 상기 주변 소리는 특정 클래스에 대응될 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 초음파 기반의 제2 감지 범위 내 사용자가 존재함에 기초하여, 상기 초음파 기반의 제1 감지 범위 내 사용자의 존재 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 프로세서가 하나 이상의 명령어를 실행함으로써, 전자 장치는, 상기 초음파 기반의 제2 감지 범위 내 사용자가 부존재함에 기초하여, 전력 소비 정도가 높은 제2 상태에서 전력 소비 정도가 낮은 제1 상태로 천이할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 마이크를 통해 수신한 오디오가 기 설정된 조건에 대응되면, WiFi(wireless fidelity) CSI(channel state information)의 감지 범위 내의 사용자 존재를 식별하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 WiFi CSI의 감지 범위 내 사용자 존재가 식별되면, 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 식별하는 단계는, 상기 수신한 오디오가 기 설정된 조건에 대응하고 상기 WiFi CSI의 감지 범위 내 사용자가 존재하면, 스피커를 통해 제1 세기의 초음파 신호를 출력하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 식별하는 단계는, 상기 출력된 제1 세기의 초음파 신호와 상기 마이크를 통해 입력되는 초음파 신호에 기초하여 상기 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 여부를 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 초음파 기반의 제1 감지 범위 내 사용자가 존재함에 기초하여, 사용자 존재에 대응한 화면을 출력하도록 제어하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 초음파 기반의 제1 감지 범위 내 사용자가 존재하는지 식별하는 단계는, 상기 WiFi CSI의 감지 범위 내 상기 사용자가 존재함에 기초하여, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 상기 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경되도록 제어하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 초음파 기반의 제1 감지 범위 내 상기 사용자의 부존재에 기초하여, 기 설정된 값보다 전력 소비량이 많은 제2 상태에서 상기 기 설정된 값보다 전력 소비량이 적은 제1 상태로 변경되도록 제어하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 제1 상태는, 스피커 또는 디스플레이 중 적어도 하나가 동작하지 않는 것에 기초하여 정상 상태의 전력 소비량보다 전력 소비량이 적은 상태일 수 있다. 본 개시의 일 실시예에서, 상기 제2 상태는, 상기 스피커 또는 상기 디스플레이 중 적어도 하나가 동작하는 것에 기초하여 상기 정상 상태의 전력 소비량보다 전력 소비량이 많은 상태를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 마이크를 통해 수신한 오디오가 전자 장치의 주변 소리에 대응하면, 상기 주변 소리와 관련된 적어도 하나의 클래스에 기초하여 상기 주변 소리가 사람에 의한 소리인지 여부를 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 WiFi CSI 감지 범위 내 상기 사용자가 부존재하고 상기 수신한 오디오의 크기가 임계값 이상이면, 스피커를 통해 제2 세기의 초음파 신호를 출력하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 출력된 제2 세기의 초음파 신호 및 상기 마이크로 입력되는 초음파 신호를 이용하여, 초음파 기반의 제2 감지 범위 내 사용자의 존재를 식별하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 초음파 기반의 제2 감지 범위는 상기 초음파 기반의 제1 감지 범위보다 넓을 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 WiFi CSI 감지 범위 내 상기 사용자가 부존재하고 상기 수신한 오디오의 크기가 임계값 이상이면, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 상기 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 주변 소리는 특정 클래스에 대응될 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 초음파 기반의 제2 감지 범위 내 상기 사용자가 존재함에 기초하여, 상기 초음파 기반의 제1 감지 범위 내 상기 사용자의 존재 여부를 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법은, 상기 초음파 기반의 제2 감지 범위 내 사용자가 부존재함에 기초하여, 전력 소비 정도가 높은 제2 상태에서 전력 소비 정도가 낮은 제1 상태로 천이하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치의 동작 방법을 컴퓨터에서 수행하기 위한 프로그램이 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (15)

  1. 전자 장치(1100)에 있어서,
    하나 이상의 명령어(instruction)를 저장하는 메모리(1120); 및
    적어도 하나의 프로세서(1110)를 포함하고,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써, 상기 전자 장치는,
    마이크(1152)를 통해 수신한 오디오가 기 설정된 조건에 대응되면, WiFi(wireless fidelity) CSI(channel state information)의 감지 범위 내의 사용자 존재를 식별하고,
    상기 WiFi CSI의 감지 범위 내 상기 사용자 존재가 식별되면, 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 식별하는, 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써 상기 전자 장치는,
    상기 수신한 오디오가 기 설정된 조건에 대응하고 상기 WiFi CSI의 감지 범위 내 사용자가 존재하면, 스피커(1164)를 통해 제1 세기의 초음파 신호를 출력하고,
    상기 출력된 제1 세기의 초음파 신호와 상기 마이크(1152)를 통해 입력되는 초음파 신호에 기초하여 상기 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 여부를 식별하는, 전자 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써 상기 전자 장치는,
    상기 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재함에 기초하여, 사용자 존재에 대응한 화면을 출력하도록 제어하는, 전자 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써 상기 전자 장치는,
    상기 WiFi CSI의 감지 범위 내 상기 사용자가 존재함에 기초하여, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 상기 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경되도록 제어하는, 전자 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써 상기 전자 장치는,
    상기 초음파 기반의 제1 감지 범위 내 상기 사용자의 부존재에 기초하여, 기 설정된 값보다 전력 소비량이 많은 제2 상태에서 상기 기 설정된 값보다 전력 소비량이 적은 제1 상태로 변경되도록 제어하는, 전자 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 제1 상태는, 스피커(1164) 또는 디스플레이(1162) 중 적어도 하나가 동작하지 않는 것에 기초하여 정상 상태의 전력 소비량보다 전력 소비량이 적은 상태이고,
    상기 제2 상태는, 상기 스피커(1164) 또는 상기 디스플레이(1162) 중 적어도 하나가 동작하는 것에 기초하여 상기 정상 상태의 전력 소비량보다 전력 소비량이 많은 상태를 포함하는, 전자 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써 상기 전자 장치는,
    상기 마이크를 통해 수신한 오디오가 전자 장치의 주변 소리에 대응하면, 상기 주변 소리와 관련된 적어도 하나의 클래스에 기초하여 상기 주변 소리가 사람에 의한 소리인지 여부를 식별하는, 전자 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써 상기 전자 장치는,
    상기 WiFi CSI 감지 범위 내 상기 사용자가 부존재하고 상기 수신한 오디오의 크기가 임계값 이상이면, 스피커(1164)를 통해 제2 세기의 초음파 신호를 출력하고,
    상기 출력된 제2 세기의 초음파 신호 및 상기 마이크(1152)로 입력되는 초음파 신호를 이용하여, 초음파 기반의 제2 감지 범위 내 상기 사용자의 존재를 식별하고,
    상기 초음파 기반의 제2 감지 범위는 상기 초음파 기반의 제1 감지 범위보다 넓은, 전자 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써 상기 전자 장치는,
    상기 WiFi CSI 감지 범위 내 상기 사용자가 부존재하고 상기 수신한 오디오의 크기가 임계값 이상이면, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 상기 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경하는, 전자 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(1110)가 상기 하나 이상의 명령어를 실행함으로써 상기 전자 장치는,
    상기 초음파 기반의 제2 감지 범위 내 상기 사용자가 존재함에 기초하여, 상기 초음파 기반의 제1 감지 범위 내 상기 사용자의 존재 여부를 식별하는, 전자 장치
  11. 전자 장치(1100)의 동작 방법에 있어서,
    마이크(1152)를 통해 수신한 오디오가 기 설정된 조건에 대응되면, WiFi(wireless fidelity) CSI(channel state information)의 감지 범위 내의 사용자 존재를 식별하는 단계; 및
    상기 WiFi CSI의 감지 범위 내 상기 사용자 존재가 식별되면, 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 식별하는 단계를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 식별하는 단계는,
    상기 수신한 오디오가 기 설정된 조건에 대응하고 상기 WiFi CSI의 감지 범위 내 사용자가 존재하면, 스피커(1164)를 통해 제1 세기의 초음파 신호를 출력하는 단계; 및
    상기 출력된 제1 세기의 초음파 신호와 상기 마이크(1152)를 통해 입력되는 초음파 신호에 기초하여 상기 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 여부를 식별하는 단계를 포함하는, 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재함에 기초하여, 사용자 존재에 대응한 화면을 출력하도록 제어하는 단계를 포함하는, 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 초음파 기반의 제1 감지 범위 내 상기 사용자가 존재하는지 식별하는 단계는,
    상기 WiFi CSI의 감지 범위 내 상기 사용자가 존재함에 기초하여, 기 설정된 값보다 전력 소비량이 적은 제1 상태에서 상기 기 설정된 값보다 전력 소비량이 많은 제2 상태로 변경되도록 제어하는 단계를 포함하는, 방법.
  15. 제11항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2025/004828 2024-04-11 2025-04-09 전자 장치와 그 동작 방법 Pending WO2025216554A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2024-0048858 2024-04-11
KR1020240048858A KR20250150388A (ko) 2024-04-11 2024-04-11 전자 장치와 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2025216554A1 true WO2025216554A1 (ko) 2025-10-16

Family

ID=97350606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/004828 Pending WO2025216554A1 (ko) 2024-04-11 2025-04-09 전자 장치와 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20250150388A (ko)
WO (1) WO2025216554A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120109538A (ko) * 2009-12-04 2012-10-08 티피 비전 홀딩 비.브이. 장치의 상태를 제어하는 장치 및 방법
KR102255451B1 (ko) * 2019-05-15 2021-05-21 주식회사 에스원 침입 감지 장치 및 이를 이용한 침입 감지 방법
US20220130416A1 (en) * 2020-10-27 2022-04-28 Arris Enterprises Llc Method and system for improving estimation of sound source localization by using indoor position data from wireless system
JP7217572B2 (ja) * 2018-09-20 2023-02-03 シグニファイ ホールディング ビー ヴィ 分散マイクロホンシステムを構成するための方法及びコントローラ
KR20230156704A (ko) * 2021-03-15 2023-11-14 퀄컴 인코포레이티드 텔레비전 환경에서의 라디오 주파수 감지

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120109538A (ko) * 2009-12-04 2012-10-08 티피 비전 홀딩 비.브이. 장치의 상태를 제어하는 장치 및 방법
JP7217572B2 (ja) * 2018-09-20 2023-02-03 シグニファイ ホールディング ビー ヴィ 分散マイクロホンシステムを構成するための方法及びコントローラ
KR102255451B1 (ko) * 2019-05-15 2021-05-21 주식회사 에스원 침입 감지 장치 및 이를 이용한 침입 감지 방법
US20220130416A1 (en) * 2020-10-27 2022-04-28 Arris Enterprises Llc Method and system for improving estimation of sound source localization by using indoor position data from wireless system
KR20230156704A (ko) * 2021-03-15 2023-11-14 퀄컴 인코포레이티드 텔레비전 환경에서의 라디오 주파수 감지

Also Published As

Publication number Publication date
KR20250150388A (ko) 2025-10-20

Similar Documents

Publication Publication Date Title
WO2020184842A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2012091185A1 (en) Display device and method of providing feedback for gestures thereof
WO2018174545A1 (en) Method and electronic device for transmitting audio data to multiple external devices
WO2019164323A1 (ko) 디스플레이 패널을 통해 표시되는 콘텐트의 저장을 제어하기 위한 전자 장치 및 방법
WO2015126121A1 (ko) 요청 정보에 따른 장치 제어 방법 및 이를 지원하는 장치
WO2021118225A1 (en) Display device and operating method thereof
EP3580831A1 (en) Wireless power transmitter, wireless power receiving electronic device, and method for operating the same
WO2019203499A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2019088692A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2021162267A1 (en) Apparatus and method for converting audio output
WO2024071725A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2019231068A1 (en) Electronic device and control method thereof
WO2020231243A1 (en) Electronic device and method of controlling thereof
WO2023090863A1 (ko) 전자 장치 및 그 동작 방법
WO2018190578A1 (en) Wireless power transmitter, wireless power receiving electronic device, and method for operating the same
WO2019132258A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2017018713A1 (en) Display apparatus and display method
EP3738305A1 (en) Electronic device and control method thereof
WO2017018705A1 (en) Image display apparatus and method of operating the same
WO2025216554A1 (ko) 전자 장치와 그 동작 방법
WO2022177166A1 (ko) 화면 재생률을 제어하는 방법 및 이를 지원하는 전자 장치
WO2019088592A1 (ko) 전자 장치 및 이의 제어방법
WO2020045953A1 (en) Display apparatus, method of controlling the same and recording medium thereof
WO2023158250A1 (ko) 음성 지원 서비스를 제공하는 방법 및 장치
WO2022131432A1 (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25786926

Country of ref document: EP

Kind code of ref document: A1