WO2023282449A1 - 가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법 - Google Patents

가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023282449A1
WO2023282449A1 PCT/KR2022/006370 KR2022006370W WO2023282449A1 WO 2023282449 A1 WO2023282449 A1 WO 2023282449A1 KR 2022006370 W KR2022006370 W KR 2022006370W WO 2023282449 A1 WO2023282449 A1 WO 2023282449A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
state information
electronic device
home appliance
operating state
Prior art date
Application number
PCT/KR2022/006370
Other languages
English (en)
French (fr)
Inventor
나덕균
권태준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN202280027675.8A priority Critical patent/CN117121105A/zh
Priority to EP22837803.0A priority patent/EP4276826A4/en
Priority to US17/811,030 priority patent/US20230009432A1/en
Publication of WO2023282449A1 publication Critical patent/WO2023282449A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present disclosure relates to an electronic device providing information indicating an operating state of a home appliance and an operating method thereof. Specifically, the present disclosure relates to an electronic device configured to identify an acoustic signal output from a home appliance without a network function, and output information on an operating state of the home appliance to a user based on the identification result, and an operating method thereof.
  • a user can receive various services using electronic devices.
  • voice recognition technology develops
  • a user can provide a voice input (eg, speech) to an electronic device and receive a response message according to the voice input through a service providing agent.
  • voice input eg, speech
  • a service providing agent e.g., Internet of Things (IoT) technology
  • IoT Internet of Things
  • home appliances In the case of home appliances, once purchased, they are used for a long time. Since older home appliances do not include network functions such as WiFi or Bluetooth, even if an electronic device (eg, AI speaker) having an IoT function is purchased, a network connection between the old home appliance and the electronic device is not possible. When a network connection between an electronic device and an older home appliance is not established, notification of an operating state of the home appliance or control of the home appliance using the electronic device is not possible, resulting in poor user convenience. In the case of older home appliances, it is difficult to additionally mount a network module, and even if the network module is installed, related software development is required to apply the IoT function.
  • network functions such as WiFi or Bluetooth
  • An object of the present disclosure is to provide an electronic device and an operating method for providing operating state information of a home appliance using an acoustic signal output from a home appliance without a network function.
  • An embodiment of the present disclosure provides an electronic device that recognizes a sound signal output from a home appliance and outputs operation state information corresponding to the recognized sound signal.
  • An embodiment of the present disclosure provides an electronic device that transmits operating state information to a mobile terminal so that operating state information corresponding to a sound signal output from a home appliance is output in the form of a notification message through a user's mobile terminal.
  • an embodiment of the present disclosure provides an electronic device that identifies an operating state of a home appliance and outputs operating state information.
  • An electronic device stores a plurality of sound signals output from at least one home appliance as a wake-up signal, and displays an operating state of the home appliance related to each of the plurality of sound signals.
  • a memory for storing a plurality of operation state information representing a plurality of operating states, and a processor, wherein the processor receives a first sound signal output by the first home appliance from among the plurality of sound signals through a microphone, and converts the received first sound signal to Identifying as a wake-up signal, identifying first operating state information corresponding to the first acoustic signal based on a plurality of operating state information, and outputting a notification message indicating the identified first operating state information You can control the output interface to
  • the memory stores at least one word spoken by a user as the wake-up signal
  • the processor receives a voice input spoken by the user through the microphone, and the at least one word spoken by the user is received from the voice input. As one word is identified, the voice input may be recognized as the wake-up signal.
  • the processor controls a communication interface to transmit the second sound signal received from the first home appliance to a server, and through the communication interface Second operation state information of the first home appliance corresponding to the second sound signal may be received from a server.
  • the processor calculates a similarity between the first sound signal and the plurality of sound signals stored in the memory, and selects a sound signal having a maximum value among the plurality of sound signals.
  • a sound signal corresponding to the first sound signal may be determined, and first operating state information corresponding to the determined acoustic signal may be identified among the plurality of operating state information.
  • the processor controls a communication interface to transmit the first operating state information to a user's mobile terminal connected through a wireless communication network, and a notification message indicating the first operating state information is sent through the mobile terminal. can be output.
  • the memory further stores a plurality of subsequent operation information that is recommended in relation to the plurality of operating state information, and the processor identifies first subsequent operation information related to the first operating state information; , the identified first subsequent operation information may be output.
  • the processor receives a new acoustic signal output by a newly registered new home appliance and new operating state information corresponding to the new acoustic signal from the server through a communication interface, and receives the received new home appliance.
  • Device identification information of the device, the new sound signal, and the new operating state information may be stored in the memory.
  • the processor transmits a registration request including device identification information and user account information of a new home appliance to a server through a communication interface, and the new home appliance includes the device identification information and the new home appliance. It may be registered in the server by connecting the user account information.
  • the processor receives update data for updating a wake-up signal detection module to perform a wake-up operation by recognizing a new sound signal output by the new home appliance from the server through the communication interface. and update the wake-up signal detection module using the received update data.
  • An operating method includes receiving a first acoustic signal output by a first home appliance, identifying the received first acoustic signal as a wake-up signal, Based on a plurality of operating state information stored in a memory, identifying first operating state information corresponding to a first acoustic signal, and outputting a notification message indicating the identified first operating state information, wherein the The memory stores a plurality of sound signals output by at least one home appliance as a wake-up signal, and stores a plurality of operating state information representing the operating state of the home appliance related to each of the plurality of sound signals. It can be.
  • the memory stores at least one word uttered by a user as the wake-up signal, the method comprising: receiving a voice input spoken by a user; The method may further include recognizing the voice input as the wake-up signal as the word is identified.
  • the method includes the steps of transmitting a second acoustic signal received from the first home appliance to a server after recognizing the voice input as the wake-up voice input, and the second acoustic signal from the server.
  • the method may further include receiving second operating state information of the first home appliance corresponding to .
  • the identifying of the first operating state information may include calculating a similarity between the first acoustic signal and the plurality of acoustic signals stored in the database, respectively; determining an acoustic signal having a maximum similarity as an acoustic signal corresponding to the first acoustic signal, and identifying first operating state information corresponding to the determined acoustic signal from among the plurality of operating state information can
  • the method may include transmitting the first operating state information to the mobile terminal so that a notification message indicating the first operating state information is output through a mobile terminal connected to the electronic device through a wireless communication network. may further include.
  • the memory further stores a plurality of subsequent operation information that is recommended in relation to the plurality of operating state information, and the method further includes first subsequent operation information related to the first operation state information from the memory.
  • the method may further include identifying, and outputting the identified first subsequent operation information.
  • the method further includes transmitting a registration request including device identification information and user account information of the new home appliance to a server, wherein the new home appliance includes the device identification information of the new home appliance and the user account information. It can be registered in the server by connecting user account information.
  • the method may include receiving, from a server, a new sound signal output by the new home appliance and new operating state information corresponding to the new sound signal, and the received new sound signal of the new home appliance.
  • the method may further include storing the signal and the new operating state information in the memory.
  • the method includes receiving, from the server, update data for updating a wake-up signal detection module to perform a wake-up operation by recognizing a new sound signal output by the new home appliance; and The method may further include updating the wake-up signal detection module using the updated data.
  • another embodiment of the present disclosure provides a computer-readable recording medium recording a program for execution on a computer.
  • another embodiment of the present disclosure is a communication interface for performing data communication with an electronic device through a wired or wireless communication network, a plurality of sound signals output by at least one home appliance, and a plurality of A memory for storing a plurality of operating state information indicating an operating state for each sound signal, and a processor, wherein the processor generates voice input uttered by a user from an electronic device and output by a home appliance through a communication interface.
  • a server that receives an acoustic signal, separates the audio input from the acoustic signal, identifies operating state information corresponding to the received acoustic signal from the database, and controls the communication interface to transmit the identified operating state information to the user's mobile terminal.
  • FIG. 1 is a diagram illustrating an operation of an electronic device outputting operation state information of a home appliance based on a sound signal output by the home appliance according to an embodiment of the present disclosure.
  • FIG. 2A is a diagram illustrating an embodiment in which an electronic device of the present disclosure outputs operating state information of a home appliance based on a sound signal output by the home appliance and transmits the operating state information to a mobile terminal.
  • 2B is a diagram illustrating an embodiment in which the electronic device of the present disclosure outputs operation state information of a home appliance based on a sound signal output by the home appliance and outputs a notification message through a mobile terminal.
  • FIG. 3 is a block diagram illustrating components of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of operating an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating an operating method of an electronic device, a home appliance, and a mobile terminal according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating an operating method of an electronic device, a home appliance, a server, and a mobile terminal according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating an operating method of an electronic device, a home appliance, a server, and a mobile terminal according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method for an electronic device to identify operating state information corresponding to a sound signal output by a home appliance according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram of an electronic device according to an embodiment of the present disclosure, outputting operating state information and subsequent action recommendation information of a home appliance based on a sound signal output by the home appliance, and recommending the operating state information and subsequent actions to a mobile terminal; It is a diagram showing an operation of transmitting information.
  • FIG. 10 is an embodiment in which an electronic device of the present disclosure outputs operating state information and subsequent action recommendation information of a home appliance based on a sound signal output by the home appliance, and transmits the operating state information and subsequent action recommendation information to a mobile terminal. It is a drawing showing an example.
  • FIG. 11 is a flowchart illustrating an operating method of an electronic device, a home appliance, and a mobile terminal according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating an operating method of an electronic device, a home appliance, a server, and a mobile terminal according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an embodiment in which an electronic device of the present disclosure updates a wake-up signal detection module using data received from a server.
  • FIG. 14 is a block diagram illustrating components of a server according to an embodiment of the present disclosure.
  • 15 is a flowchart illustrating a method of operating a server according to an embodiment of the present disclosure.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (e.g., an embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • a dedicated processor e.g., an embedded processor
  • It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • an 'electronic device' is a device that recognizes an acoustic signal output by a home appliance as a wake-up signal and outputs operating state information corresponding to the acoustic signal.
  • the electronic device includes a network function and may be connected to a server or a mobile terminal through a wired or wireless communication network.
  • the electronic device may be an AI speaker that performs a voice recognition function.
  • the electronic device is not limited thereto, and the electronic device may be, for example, a tablet PC, a laptop personal computer (PC), a workstation, a wearable device, a home camera, or a mobile medical device.
  • 'home appliances' are electronic devices used at home. Appliances include, for example, TVs, refrigerators, air purifiers, air conditioners, audio devices, induction, washing machines, clothes care machines, dryers, dishwashers, ovens, microwave ovens, air fryers, automatic pet feeders, water purifiers, and lighting devices. , Or may include at least one of the bidet, but is not limited thereto.
  • the home appliance may output a sound signal indicating an operating state. For example, the home appliance may output not only state information about the start, end, or operation of a function, but also a sound signal about an error or failure.
  • an 'acoustic signal' is a signal obtained by converting sound within an audible frequency range into an electrical waveform.
  • the sound signal may be in the form of a wave file, but is not limited thereto.
  • the acoustic signal may be output by the home appliance.
  • a 'wake-up signal' is a sound signal that activates an electronic device to switch to a voice recognition mode that performs a voice recognition function.
  • the electronic device operates in a standby mode or a sleep mode, and upon receiving a wake-up signal, may perform a wake-up operation of switching to a voice recognition mode for receiving a voice input from a user.
  • the electronic device may be woken up by detecting a wakeup signal through a wakeup signal detection module.
  • the wake-up signal may include, for example, a voice signal such as 'Hi Bixby' or 'Hello Galaxy'.
  • the wake-up signal may be a sound signal output from a home appliance. In this case, the sound signal may be previously registered as a wake-up signal by the user.
  • FIG. 1 is a diagram illustrating an operation of an electronic device 1000 outputting operating state information of a home appliance 2000 based on a sound signal output by the home appliance 2000 according to an embodiment of the present disclosure.
  • an electronic device 1000 is a device that recognizes a wake-up signal and performs an operation or function corresponding to the wake-up signal.
  • the electronic device 1000 may be an AI speaker.
  • the electronic device 1000 may be various types of devices including a microphone.
  • the electronic device 1000 may be a tablet PC, a laptop personal computer (PC), a workstation, a wearable device, a home camera, or a mobile medical device.
  • the home appliance 2000 may output a sound signal indicating an operating state.
  • the home appliance 2000 may output not only state information about the start, end, or operation of a function, but also a sound signal about an error or failure.
  • the output sound signal may be at least one of a sound effect, ringtone, melody, music, or voice signal.
  • the home appliance 2000 is a washing machine and may include a speaker 1500 outputting a sound signal indicating the end of washing.
  • the electronic device 1000 may receive a sound signal output by the speaker 1500 of the home appliance 2000 and identify operation state information corresponding to the received sound signal.
  • the electronic device 1000 compares the sound signal received from the home appliance 2000 with a pre-registered sound signal, and as a result of the comparison, the received sound signal and the pre-registered sound signal are the same or have a similarity.
  • the home appliance 2000 may wake up by recognizing the acoustic signal received as a wake-up signal.
  • the electronic device 1000 may ignore the sound signal without performing an operation in response to the sound signal.
  • the electronic device 1000 compares the sound signal recognized as the wake-up signal with the sound signal pre-stored in the database, and identifies the sound signal most similar to the sound signal received as the wake-up signal among the plurality of sound signals stored in the database as a result of the comparison. can do.
  • the electronic device 1000 may identify operating state information corresponding to the identified acoustic signal and obtain the operating state information from a database. In the embodiment shown in FIG. 1 , the electronic device 1000 may obtain 'washing end' information as operation state information corresponding to the received sound signal.
  • the electronic device 1000 may output a notification message indicating operation state information.
  • the electronic device 1000 may output a notification message in the form of a voice through the speaker 1500 (see FIGS. 2A and 3).
  • the electronic device 1000 may output a notification message indicating operation status information together with information indicating the subject of the operation.
  • the electronic device 1000 may output a voice message saying "Washing has been completed in the washing machine" as a notification message indicating operation state information of 'finished washing'.
  • the electronic device 1000 may transmit operating state information to the mobile terminal 4000 .
  • the mobile terminal 4000 may be at least one of a smart phone, a tablet PC, a digital camera, an e-book terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), or an MP3 player, but is limited thereto. It is not.
  • the mobile terminal 4000 may be a wearable device.
  • a wearable device is a device worn by a user, and is an accessory type device (eg, watch, ring, bracelet, anklet, necklace, glasses, contact lens), a head-mounted-device (HMD), a textile or It may include at least one of a clothing-integrated device (eg, electronic clothing), a body-attachable device (eg, a skin pad), or a bio-implantable device (eg, an implantable circuit).
  • the mobile terminal 4000 may be a smart phone.
  • the mobile terminal 4000 may receive operating state information from the electronic device 1000 and output a notification message 4100 indicating the received operating state information.
  • the mobile terminal 4000 may display a notification message 4100 indicating operation state information of the home appliance 2000 in the form of a pop-up message.
  • the mobile terminal 4000 may output a notification message in the form of a voice indicating operation state information of the home appliance 2000 through a speaker.
  • IoT devices with IoT functions cannot be connected to older home appliances that do not have network functions. If the IoT device is not connected to an old home appliance that does not have a network function, user convenience may be deteriorated because it cannot provide notification of an operating state of the home appliance or control the home appliance. In the case of older home appliances, it is difficult to additionally mount a network module, and even if the network module is additionally mounted, related software must be additionally developed in order to apply the IoT function, resulting in low efficiency. In order for a device with an IoT function to provide a notification of the operation status of a home appliance or to control a home appliance, it is inevitable to replace an existing old home appliance with a newer home appliance. In this case, a lot of cost is incurred.
  • the electronic device 1000 recognizes a sound signal output from the home appliance 2000, identifies operation state information corresponding to the sound signal, and outputs a notification message indicating the operation state information. Bar, even if the home appliance 2000 does not include a network function, the electronic device 1000 may provide an IoT function related to the home appliance 2000 . Accordingly, the electronic device 1000 of the present disclosure may improve user satisfaction and convenience. In addition, the electronic device 1000 of the present disclosure can eliminate the cost burden by outputting a notification message indicating the operating state information of the existing home appliance 2000 without the need to additionally purchase a new IoT device, thereby improving economic efficiency, Function utilization of the existing home appliance 2000 may be increased.
  • FIG. 2A is an electronic device 1000 of the present disclosure outputs operating state information of the home appliance 2000 based on a sound signal output by the home appliance 2000 and transmits the operating state information to a mobile terminal 4000 It is a drawing showing an embodiment of
  • FIG. 2A is a diagram for explaining data transmission/reception and operation execution between components, and arrows shown in FIG. 2A indicate data transmission/reception directions.
  • the electronic device 1000 may include a microphone 1100, a wakeup signal detection module 1310, a communication interface 1400, a speaker 1500, and a wakeup signal database 1600.
  • FIG. 2A only essential components for explaining the function and/or operation of the electronic device 1000 are shown.
  • the configuration included in the electronic device 1000 is not limited as shown in FIG. 2A. Components of the electronic device 1000 will be described in detail with reference to FIG. 3 .
  • the electronic device 1000 may receive a sound signal output by the speaker 1500 of the home appliance 2000 through the microphone 1100 .
  • the 'sound signal' received through the microphone 1100 may be at least one of effect sounds, ringtones, melodies, music, and voice signals.
  • the microphone 1100 may perform a preprocessing operation of removing noise (eg, non-acoustic components) from the acoustic signal output by the home appliance 2000 .
  • the microphone 1100 transmits a sound signal to the wake-up signal detection module 1310 .
  • the wake-up signal detection module 1310 is a module configured to recognize a specific sound signal among sound signals output by the home appliance 2000 as a wake-up signal.
  • the wake-up signal detection module 1310 compares the sound signal recognized as the wake-up signal with a plurality of sound signals 1610-1 to 1610-n previously stored in the wake-up signal database 1600, and according to the comparison result, a plurality of sound signals.
  • a sound signal corresponding to the sound signal received from the home appliance 2000 may be identified.
  • the wake-up signal detection module 1310 may extract operating state information mapped to the identified sound signal from among a plurality of operating state information 1620-1 to 1620-n pre-stored in the wake-up signal database 1600.
  • the wake-up signal database 1600 is a database for storing a previously acquired sound signal before the time at which the sound signal is received from the home appliance 2000 and operational state information of the home appliance 2000 corresponding to the previously acquired sound signal. to be.
  • the wake-up signal database 1600 includes a plurality of sound signals 1610-1 to 1610-n and a plurality of operating state information 1620-1 to 1620-n for each of the plurality of sound signals 1610-1 to 1610-n. n) may be stored.
  • the plurality of acoustic signals 1610-1 to 1610-n are paired with the corresponding plurality of operating state information 1620-1 to 1620-n and stored in the wake-up signal database 1600. It can be.
  • the plurality of acoustic signals 1610-1 to 1610-n and the plurality of operating state information 1620-1 to 1620-n may be stored in the wake-up signal database 1600 in a key-value type.
  • the plurality of sound signals 1610-1 to 1610-n are keys
  • the corresponding plurality of operating state information 1620-1 to 1620-n are values
  • the wakeup signal It can be stored in the database 1600.
  • the plurality of sound signals 1610-1 to 1610-n may be in the form of a wave file. However, it is not limited thereto, and the plurality of acoustic signals 1610-1 to 1610-n may be stored in the wake-up signal database 1600 in the form of a binary data file encoded in a binary format.
  • the pieces of operating state information 1620-1 to 1620-n include information about the operating state of the home appliance 2000 as well as device information (eg, device identification information, device type, etc.) of the home appliance 2000. may further include.
  • the first operating state information 1620-1 may be washing start information of the washing machine
  • the second operating state information 1620-2 may be washing completion information of the dishwasher.
  • the plurality of operating state information 1620-1 to 1620-n may include information about an error or failure of the home appliance 2000 as well as an operating state of the home appliance 2000.
  • the nth operating state information 1620-n may be information about a door failure of the washing machine.
  • the plurality of sound signals 1610-1 to 1610-n and the plurality of operating state information 1620-1 to 1620-n are obtained by a user input received through a registration process, and a wake-up signal It can be stored in the database 1600.
  • the present invention is not limited thereto, and in another embodiment, the plurality of sound signals 1610-1 to 1610-n and the plurality of operating state information 1620-1 to 1620-n may be obtained from a server.
  • the wake-up signal detection module 1310 may measure a similarity between the sound signal received through the microphone 1100 and the plurality of sound signals 1610-1 to 1610-n pre-stored in the wake-up signal database 1600. . In one embodiment, the wake-up signal detection module 1310 pre-processes the received sound signal, such as frequency sampling and offset processing, and converts the pre-processed sound signal to MFCCs (Mel-frequency cepstrum) and FBANK (Filter-bank) , or feature space maximum likelihood linear regression (fMLLR).
  • MFCCs Mel-frequency cepstrum
  • FBANK Fel-bank
  • fMLLR feature space maximum likelihood linear regression
  • the wake-up signal detection module 1310 classifies the acoustic feature vector into a specific acoustic signal using a classifier, and based on the probability value representing the classification result, a plurality of acoustic signals 1610-1 to 1610-n. Similarity can be measured.
  • the wake-up signal detection module 1310 may measure similarity between sound signals using an open source algorithm such as kaldi.
  • a method of measuring the similarity between the received acoustic signal and the plurality of acoustic signals 1610-1 to 1610-n by the wake-up signal detection module 1310 is not limited to the above method.
  • the wake-up signal detection module 1310 uses an algorithm that calculates a cross-correlation between waveforms of frequencies of the acoustic signal, uses cosine similarity, or a known acoustic signal.
  • a similarity measurement method can also be used.
  • the wake-up signal detection module 1310 may identify a sound signal having the maximum measured similarity among the plurality of sound signals 1610-1 to 1610-n stored in the wake-up signal database 1600.
  • the wake-up signal detection module 1310 may identify operational state information mapped to correspond to the identified sound signal among a plurality of operating state information 1620-1 to 1620-n stored in the wake-up signal database 1600. there is. For example, when the acoustic signal having the maximum measured similarity among the plurality of acoustic signals 1610-1 to 1610-n is the first acoustic signal 1610-1, the wake-up signal detection module 1310 determines the first acoustic signal 1610-1. The acoustic signal 1610-1 and the first operating state information 1620-1 mapped to the key-value type may be identified.
  • the wake-up signal detection module 1310 may extract the identified operating state information and provide it to the speaker 1500 or transmit it to the communication interface 1400 .
  • the speaker 1500 may output a notification message indicating operating state information provided from the wake-up signal detection module 1310 .
  • the speaker 1500 may output a voice message indicating operating state information.
  • the present invention is not limited thereto, and the speaker 1500 may output a notification sound including at least one of preset sound effects, ringtones, melodies, music, and songs according to the operating state information.
  • the communication interface 1400 may transmit operating state information to the user's mobile terminal 4000 through a wired or wireless communication network.
  • the communication interface 1400 may include, for example, wired LAN, wireless LAN, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE) ), WiBro (Wireless Broadband Internet, WiMAX), WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol), WiGig (Wireless Gigabit Alliance, WiGig) and at least one data communication network Operation state information may be transmitted to the mobile terminal 4000 using .
  • the mobile terminal 4000 may display a notification message 4100 indicating operating state information received from the communication interface 1400 of the electronic device 1000 .
  • the mobile terminal 4000 may display the notification message 4100 in the form of a pop-up message.
  • the present invention is not limited thereto, and the mobile terminal 4000 may output a notification message in the form of a voice indicating operating state information through a speaker.
  • the mobile terminal 4000 may be a device pre-registered in the server through a user account identical to that of the user of the electronic device 1000 .
  • the electronic device 1000 of the present disclosure outputs operation state information of the home appliance 2000 based on a sound signal output by the home appliance 2000, and a notification message is output through the mobile terminal 4000. It is a drawing showing an embodiment.
  • the electronic device 1000 may include a microphone 1100, a wake-up signal detection module 1310, a communication interface 1400, and a speaker 1500.
  • FIG. 2B only essential components for explaining the function and/or operation of the electronic device 1000 are shown.
  • the configuration included in the electronic device 1000 is not limited as shown in FIG. 2B.
  • the electronic device 1000 may further include a wake-up signal database 1600 (see FIG. 2A).
  • FIG. 2B is a diagram for explaining data transmission/reception and operation execution between components, and arrows shown in FIG. 2B indicate data transmission/reception directions.
  • the electronic device 1000 may receive a voice input from a user through the microphone 1100 .
  • 'Voice input' may be a voice uttered by a user.
  • the voice input may include a wake-up voice.
  • 'Wake-up voice' is a voice command that is received by the wake-up signal detection module 1310 and wakes up the electronic device 1000 to perform a voice recognition function, such as 'Hi Bixby' or 'Hello'. 'Galaxy' and the like.
  • the microphone 1100 may receive a user's voice input saying "Hi Bixby! Tell me the weather today".
  • the microphone 1100 may obtain a voice signal by converting the received voice input into a sound signal and removing noise (eg, non-voice components) from the sound signal.
  • the microphone 1100 may transmit a voice signal to the wake-up signal detection module 1310 .
  • the wake-up signal detection module 1310 may recognize a wake-up signal (eg, a signal corresponding to High Bixby) included in the voice signal obtained from the microphone 1100 . As the wake-up signal is recognized, the wake-up signal detection module 1310 may switch the electronic device 1000 from a standby mode to a voice recognition mode for activating a voice recognition function. As the electronic device 1000 switches to the voice recognition mode, the wake-up signal detection module 1310 may provide a voice signal to the communication interface 1400 .
  • a wake-up signal eg, a signal corresponding to High Bixby
  • the communication interface 1400 may transmit the voice signal obtained from the wake-up signal detection module 1310 to the server 3000 . Since the function and/or operation of the communication interface 1400 is the same as that described with reference to FIG. 2A, duplicate descriptions will be omitted.
  • the microphone 1100 may receive a sound signal output by the home appliance 2000 after receiving a voice input from a user.
  • the wake-up signal detection module 1310 recognizes the wake-up signal included in the voice input received from the user and provides the voice signal to the communication interface 1400, and then the operation ends. After the operation of the wake-up signal detection module 1310 is finished, the sound signal of the home appliance 2000 received through the microphone 1100 may be transferred to the communication interface 1400 .
  • the communication interface 1400 may transmit sound signals to the server 3000 .
  • the server 3000 may include a sound signal database 3400. Components included in the server 3000 are not limited as shown in FIG. 2B. Components of the server 3000 will be described in detail with reference to FIG. 14 .
  • the acoustic signal database 3400 includes a plurality of acoustic signals 3410-1 to 3410-n related to home appliances and a plurality of operating state information of home appliances related to each of the plurality of acoustic signals 3410-1 to 3410-n. It is a database that stores (3420-1 to 3420-n).
  • the plurality of acoustic signals 3410-1 to 3410-n and the plurality of operating state information 3420-1 to 3420-n are key-value types and are stored in the acoustic signal database 3400. may be stored in
  • the server 3000 measures the similarity between the sound signal received from the electronic device 1000 and the plurality of sound signals 3410-1 to 3410-n pre-stored in the sound signal database 3400, and the plurality of sound signals 3410 Among -1 to 3410-n), an acoustic signal having a maximum value of the measured similarity may be identified. Since the method of measuring the similarity between sound signals by the server 3000 is the same as the method performed by the wake-up signal detection module 1310 of FIG. 2A , duplicate descriptions are omitted. The server 3000 may identify operation state information mapped to correspond to the identified acoustic signal.
  • the server 3000 may identify the second sound signal 3410-2 and the second operation state information 3420-2 mapped to the key-value type.
  • the server 3000 may extract and transmit the identified operating state information to the electronic device 1000 .
  • the electronic device 1000 may receive operation state information from the server 3000 through the communication interface 1400 .
  • the communication interface 1400 may provide operating state information to the speaker 1500, and the speaker 1500 may output a notification message indicating the provided operating state information.
  • the server 3000 may transmit operating state information to the mobile terminal 4000 .
  • the mobile terminal 4000 may display a notification message 4100 indicating operation state information received from the server 3000 .
  • the mobile terminal 4000 may display the notification message 4100 in the form of a pop-up message.
  • the server 3000 may generate a voice signal received from the communication interface 1400 of the electronic device 1000, that is, a response message related to the user's speech.
  • the server 3000 converts the received voice signal into computer-readable text using ASR model (Automatic Speech Recognition), and uses NLU model (Natural Language Understanding) to convert a domain included in the text, An intent and a parameter may be recognized, and a response message corresponding to the domain, intent, and parameter may be generated using NLG model (Natural Language Generation).
  • the server 3000 may transmit the generated response message to the electronic electronic device 1000 .
  • the electronic device 1000 may receive a response message through the communication interface 1400 and output the received response message through the speaker 1500 .
  • the electronic device 1000 recognizes the sound signal output by the home appliance 2000 as a wake-up signal through the wake-up signal detection module 1310, and operates corresponding to the sound signal. Status information may be obtained, and operating status information may be output. Since the embodiment shown in FIG. 2A is an embodiment in which the electronic device 1000 operates in an on-device state without intervention of the server 3000 (see FIG. 2B), separate network costs are not incurred, Processing speed is fast. In addition, if the sound signal of the home appliance 2000 is previously stored in the wake-up signal database 1600 through a registration procedure, it can be operated, and thus convenience and user convenience can be improved.
  • voice input uttered by the user as well as the home appliance 2000 is received.
  • the electronic device 1000 performs a wake-up operation in which a standby mode (or sleep mode) is switched to a voice recognition mode by a wake-up signal included in a voice input received from the user, and the electronic device 1000 wakes up. After that, all voice signals and sound signals received are transmitted to the server 3000.
  • the sound signal output by the home appliance 2000 is transmitted to the server 3000, and the server 3000 may transmit operating state information corresponding to the sound signal to the electronic device 1000 again.
  • the server 3000 may store relatively more sound signals and related operating state information than on-devices. Therefore, the embodiment shown in FIG. 2B can provide operating state information by identifying acoustic signals that cannot be identified in the embodiment of FIG. can be high
  • FIG. 3 is a block diagram illustrating components of an electronic device 1000 according to an embodiment of the present disclosure.
  • the electronic device 1000 is a device that recognizes a wake-up signal and performs an operation or function corresponding to the wake-up signal.
  • the electronic device 1000 may be an AI speaker.
  • the electronic device 1000 may be a tablet PC, a laptop personal computer (PC), a workstation, a wearable device, a home camera, or a mobile medical device.
  • an electronic device 1000 may include a microphone 1100, a processor 1200, a memory 1300, a communication interface 1400, a speaker 1500, and a wakeup signal database 1600. there is.
  • the microphone 1100, processor 1200, memory 1300, communication interface 1400, speaker 1500, and wake-up signal database 1600 may be electrically and/or physically connected to each other.
  • the microphone 1100 may receive a sound signal or a voice signal.
  • the microphone 1100 may receive a sound signal output by the home appliance 2000 (see FIGS. 1, 2A, and 2B).
  • the 'sound signal' may be at least one of a sound effect, ringtone, melody, music, or voice signal.
  • the microphone 1100 may receive a voice input uttered by a user.
  • the microphone 1100 may obtain a voice signal by converting the received voice input into a sound signal and removing noise (eg, non-voice components) from the sound signal.
  • noise eg, non-voice components
  • the microphone 1100 may provide a sound signal or a voice signal to the processor 1200 .
  • the processor 1200 may execute one or more instructions of a program stored in the memory 1300 .
  • the processor 1200 may be composed of hardware components that perform arithmetic, logic and input/output operations and signal processing.
  • the processor 1200 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processors (DSPDs). Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays).
  • processor 1200 is illustrated as one element in FIG. 3, it is not limited thereto. In one embodiment, the processor 1200 may be composed of one or a plurality of one or more.
  • the processor 1200 may be configured as a dedicated hardware chip that performs artificial intelligence (AI) learning.
  • AI artificial intelligence
  • a program including instructions for outputting operation state information corresponding to the sound signal based on the sound signal output by the home appliance 2000 may be stored in the memory 1300 .
  • Instructions and program codes readable by the processor 1200 may be stored in the memory 1300 .
  • the processor 1200 may be implemented by executing instructions or program codes stored in the memory 1300 .
  • the memory 1300 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD or XD memory). etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), or It may be composed of at least one type of storage medium among optical disks.
  • Data related to the wake-up signal detection module 1310 may be stored in the memory 1300 .
  • a 'module' included in the memory 1300 refers to a unit that processes functions or operations performed by the processor 1200, and may be implemented as software such as instructions or program codes.
  • the processor 1200 may be implemented by executing instructions or program codes stored in the memory 1300 .
  • the wake-up signal detection module 1310 is a module configured to recognize a wake-up signal from a sound signal or voice signal. As the wake-up signal is recognized by the wake-up signal detection module 1310, the electronic device 1000 may perform a wake-up operation of switching from a standby mode or a sleep mode to a voice recognition mode.
  • the wake-up signal detection module 1310 compares the sound signal recognized as the wake-up signal with a plurality of sound signals pre-stored in the wake-up signal database 1600, and among the plurality of sound signals according to the comparison result. and to identify an acoustic signal corresponding to the received acoustic signal.
  • the processor 1200 may receive a sound signal or a voice signal through the microphone 1100 .
  • the processor 1200 executes instructions or program codes of the wake-up signal detection module 1310 to obtain the received sound signal and A corresponding sound signal among the plurality of sound signals may be identified by comparing a plurality of sound signals pre-stored in the wake-up signal database 1600 .
  • the processor 1200 measures the similarity between the sound signal received through the microphone 1100 and the plurality of sound signals stored in the wake-up signal database 1600, and based on the similarity, the microphone among the plurality of sound signals A sound signal corresponding to the sound signal received through 1100 may be identified.
  • the processor 1200 may preprocess the received acoustic signal, such as frequency sampling and offset processing, and convert the preprocessed acoustic signal into an acoustic feature vector.
  • the processor 1200 may convert an acoustic signal into an acoustic feature vector using, for example, at least one of Mel-frequency cepstrum (MFCCs), Filter-bank (FBANK), or Feature space Maximum Likelihood Linear Regression (fMLLR). there is.
  • the processor 1200 may calculate a probability value by which the acoustic feature vector is classified into a plurality of acoustic signals pre-stored in the wake-up signal database 1600 using a classifier.
  • the classifier may be, for example, at least one of logistic regression, support vector machine (SVM), decision tree, or random forest.
  • the processor 1200 may measure similarities between acoustic signals using an open source algorithm such as kaldi.
  • the processor 1200 may extract at least one acoustic signal having a calculated probability value exceeding a preset threshold, and may identify an acoustic signal having a maximum probability value from among the extracted at least one acoustic signal.
  • a method for the processor 1200 to measure the similarity between the sound signal received through the microphone 1100 and the plurality of sound signals stored in the wake-up signal database 1600 is not limited to the above-described embodiment.
  • the processor 1200 may use an algorithm for calculating cross-correlation between waveforms of frequencies of acoustic signals, use cosine similarity, or a known acoustic signal similarity measurement method. It is also possible to measure similarity between acoustic signals using .
  • the processor 1200 may identify operating state information corresponding to the identified acoustic signal from the wake-up signal database 1600 .
  • the wake-up signal database 1600 may store a plurality of sound signals and a plurality of operating state information about each of the plurality of sound signals.
  • a plurality of operation state information corresponding to each of a plurality of sound signals may be stored in the wake-up signal database 1600 .
  • a plurality of acoustic signals and a plurality of operating state information may be stored in the wakeup signal database 1600 in a key-value type.
  • a plurality of acoustic signals may be stored as keys, and a plurality of corresponding operating state information may be stored as values in the wakeup signal database 1600 .
  • the processor 1200 may identify, from the wakeup signal database 1600, operation state information mapped to the identified acoustic signal and key-value type. A specific embodiment in which the processor 1200 identifies operating state information from the wake-up signal database 1600 based on the similarity between sound signals will be described in detail with reference to FIG. 8 .
  • the processor 1200 may extract the identified operating state information from the wake-up signal database 1600 and provide the information to the communication interface 1400 .
  • the communication interface 1400 may transmit operating state information to the mobile terminal 4000 so that the operating state information is output in the form of a notification message through the mobile terminal 4000 .
  • processor 1200 may provide operating status information to speaker 1500 .
  • the processor 1200 may provide the communication interface 1400 or the speaker 1500 with a subsequent operation related to the operation state information.
  • the wake-up signal database 1600 may further store not only a plurality of acoustic signals and a plurality of operating state information, but also subsequent operation information that may be recommended as an operation subsequent to each of the plurality of operating state information.
  • a plurality of sound signals, a plurality of operation state information, and a plurality of subsequent operation information may be paired with each other and stored.
  • the processor 1200 extracts subsequent operation information corresponding to the identified operating state information from among a plurality of subsequent operation information stored in the wake-up signal database 1600, and transmits the extracted subsequent operation information to the communication interface 1400. ) through the user's mobile terminal 4000, or can be output in the form of a voice message through the speaker 1500.
  • a specific embodiment in which the processor 1200 provides subsequent operation information will be described in detail with reference to FIGS. 9 to 12 .
  • the electronic device 1000 may register a new home appliance to the server 3000 .
  • the processor 1200 may register a new home appliance by transmitting device identification information of the new home appliance to the server 3000 through an application.
  • New home appliances may be registered in the server 3000 through the same account as that of the user logged into the electronic device 1000 .
  • Device identification information and sound signals of new home appliances may not be stored in the wake-up signal database 1600 .
  • the processor 1200 may transmit to the server 3000 a signal requesting to provide device information of the new home appliance and a sound signal of the new home appliance.
  • the processor 1200 requests update data for updating the wake-up signal detection module 1310 from the server 3000 through the communication interface 1400, and the wake-up signal detection module from the server 3000.
  • Update data for updating 1310 may be received.
  • the update data may include, for example, device identification information of the new home appliance, a new acoustic signal output by the new home appliance, and new operating state information corresponding to the new acoustic signal.
  • the processor 1200 may update the wake-up signal detection module 1310 using update data received from the server 3000 . An embodiment in which the processor 1200 updates the wake-up signal detection module 1310 using the update data received from the server 3000 will be described in detail with reference to FIG. 13 .
  • the processor 1200 may receive a new sound signal output by a new home appliance using the microphone 1100 and store the received new sound signal in the wake-up signal database 1600. there is. In this case, the processor 1200 may store the new sound signal output by the new home appliance together with the device identification information of the new home appliance in the wakeup signal database 1600 .
  • the processor 1200 When a wakeup signal initiated by the user through the microphone 1100, for example, a voice input including a voice such as 'Hi Bixby' or 'Hello Galaxy' is received, the processor 1200 operates a wakeup signal detection module. High Bixby included in the voice input may be recognized as a wake-up signal using commands related to 1310 or program codes. After the wake-up signal is recognized, the processor 1200 wakes up, and after the wake-up, the sound signal of the home appliance 2000 received through the microphone 1100 is not recognized or processed by the processor 1200, It may be transmitted to the server 3000 (see FIG. 2B) through the communication interface 1400.
  • the server 3000 see FIG. 2B
  • the processor 1200 may receive operation state information corresponding to the sound signal from the server 3000 through the communication interface 1400 .
  • the server 3000 compares the sound signal received from the electronic device 1000 with a plurality of sound signals 3410-1 to 3410-n stored in the sound signal database 3400 (see FIG. 2B) to correspond to the corresponding sound signal. Acoustic signals can be identified.
  • the server 3000 may search the database for operating state information corresponding to the identified acoustic signal.
  • the server 3000 may transmit the searched operating state information to the electronic device 1000 .
  • the communication interface 1400 is configured to transmit/receive data with the server 3000 or the mobile terminal 4000 through a wired or wireless communication network.
  • the communication interface 1400 may include, for example, wired LAN, wireless LAN, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE) ), WiBro (Wireless Broadband Internet, WiMAX), WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol), WiGig (Wireless Gigabit Alliance, WiGig) and at least one data communication network Data communication with the server 3000 or the mobile terminal 4000 may be performed using
  • the communication interface 1400 may transmit operating state information to the server 3000 or the mobile terminal 4000 under the control of the processor 1200 .
  • the communication interface 1400 may transmit a sound signal or a voice signal to the server 3000 under the control of the processor 1200 .
  • the speaker 1500 is configured to output an audio signal.
  • the speaker 1500 may output a notification message indicating operating state information under the control of the processor 1200 .
  • the speaker 1500 may output a voice message indicating operating state information.
  • the present invention is not limited thereto, and the speaker 1500 may output a notification sound including at least one of preset sound effects, ringtones, melodies, music, and songs according to the operating state information.
  • the electronic device 1000 may further include a display unit.
  • the display unit may display the notification message in the form of a text or graphic user interface (UI) under the control of the processor 1200 .
  • the display unit includes, for example, a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode display, a flexible display, and a 3D display. (3D display) or electrophoretic display (electrophoretic display).
  • the wake-up signal database 1600 is a storage medium that stores a plurality of sound signals and a plurality of operating state information related to the plurality of sound signals.
  • the wake-up signal database 1600 may be composed of non-volatile memory.
  • Non-volatile memory refers to a storage medium that stores and maintains information even when power is not supplied and can use the stored information again when power is supplied.
  • Non-volatile memory includes, for example, a flash memory, a hard disk, a solid state drive (SSD), a multimedia card micro type, and a card-type memory (eg, SD or XD memory, etc.), a ROM (Read Only Memory; ROM), a magnetic disk, or an optical disk.
  • SSD solid state drive
  • ROM Read Only Memory
  • magnetic disk or an optical disk.
  • the wake-up signal database 1600 is shown as a component separate from the memory 1300, but is not limited thereto.
  • the wake up signal database 1600 may be included within the memory 1300 or may be a component integrated with the memory 1300.
  • the wake-up signal database 1600 is implemented in the form of an external memory not included in the electronic device 1000 or a web-based storage medium connected through wired/wireless communication through the communication interface 1400. may be implemented.
  • FIG. 4 is a flowchart illustrating an operating method of the electronic device 1000 according to an embodiment of the present disclosure.
  • the electronic device 1000 receives the first sound signal output by the home appliance 2000.
  • the electronic device 1000 may receive the first sound signal output by the speaker 1500 of the home appliance 2000 through a microphone.
  • the 'first sound signal' received by the electronic device 1000 through a microphone may be at least one of a sound effect, ringtone, melody, music, or voice signal.
  • the electronic device 1000 may perform a preprocessing operation of removing noise (eg, non-acoustic components) from the first acoustic signal output by the home appliance 2000 .
  • noise eg, non-acoustic components
  • the electronic device 1000 recognizes the first acoustic signal as a wake-up signal.
  • the first acoustic signal may be previously registered as a wake-up signal.
  • the electronic device 1000 may recognize the first sound signal as a wake-up signal by comparing the received first sound signal with a sound signal previously registered as a wake-up signal. As a result of the comparison, when the received first sound signal and the pre-registered sound signal are the same or the degree of similarity exceeds a preset threshold, the electronic device 1000 wakes up the first sound signal received from the home appliance 2000. signal can be recognized.
  • the electronic device 1000 may operate in a standby mode or a sleep mode and wake up to switch to a voice recognition mode that performs a voice recognition function.
  • the electronic device 1000 may ignore the sound signal without performing an operation in response to the sound signal.
  • step S430 the electronic device 1000 identifies first operating state information corresponding to the first acoustic signal from the wake-up signal database 1600 (see FIGS. 2A and 3).
  • the electronic device 1000 uses a wake-up signal detection module 1310 (see FIGS. 2B and 3 ) to use a first sound signal and a plurality of sound signals pre-stored in the wake-up signal database 1600 ( 1610-1 to 1610-n, see FIG. 2A), and according to the comparison result, among the plurality of sound signals 1610-1 to 1610-n, the first sound signal received from the home appliance 2000 in step S410 A corresponding acoustic signal can be identified.
  • the electronic device 1000 includes the first acoustic signal received from the home appliance 2000 in step S410 and the plurality of acoustic signals 1610-1 to 1610-n previously stored in the wake-up signal database 1600.
  • the similarity between the sound signals may be measured, and the sound signal having the maximum value of the measured similarity among the plurality of sound signals 1610-1 to 1610-n may be identified.
  • the electronic device 1000 provides first operating state information mapped to correspond to the identified sound signal among a plurality of operating state information (1620-1 to 1620-n, see FIG. 2A) pre-stored in the wake-up signal database 1600. can be identified.
  • step S440 the electronic device 1000 outputs a notification message indicating the identified first operating state information.
  • the electronic device 1000 may output a voice message indicating operating state information through the speaker 1500 (see FIG. 3).
  • the electronic device 1000 is not limited thereto, and the electronic device 1000 may output a notification sound including at least one of preset sound effects, ringtones, melodies, music, or songs according to operation state information through a speaker.
  • the electronic device 1000 may display a notification message in the form of text or GUI.
  • FIG. 5 is a flowchart illustrating an operating method of the electronic device 1000, the home appliance 2000, and the mobile terminal 4000 according to an embodiment of the present disclosure.
  • FIG 5 illustrates an embodiment in which the electronic device 1000 receives only a sound signal output by the home appliance 2000 without receiving a voice input uttered by a user.
  • the home appliance 2000 outputs a sound signal according to an operating state.
  • the home appliance 2000 may output an acoustic signal related to state information related to the start, end, or operation of a function and/or operation, or an audio signal related to an error or failure.
  • the sound signal output by the home appliance 2000 may be at least one of a sound effect, ringtone, melody, music, or voice signal.
  • the home appliance 2000 may output a sound signal indicating the end of washing, and if the home appliance 2000 is a refrigerator, the home appliance 2000 may open a door.
  • a sound signal indicating opening may be output, and when the home appliance 2000 is a dryer, the home appliance 2000 may output an error sound signal indicating drainage water freezing.
  • step S520 the electronic device 1000 receives a sound signal output by the home appliance 2000.
  • the electronic device 1000 may receive a sound signal output by the home appliance 2000 through a microphone.
  • the microphone may perform a preprocessing operation to remove noise (eg, non-acoustic components) from the received acoustic signal.
  • step S530 the electronic device 1000 recognizes the sound signal as a wake-up signal and performs a wake-up operation.
  • the electronic device 1000 operates in a standby mode or a sleep mode, and then performs a wake-up operation of switching to a voice recognition function when a sound signal is received from the home appliance 2000. .
  • step S540 the electronic device 1000 identifies a sound signal corresponding to the sound signal output by the home appliance 2000 from the wake-up signal database 1600 (see FIGS. 2A and 3).
  • the electronic device 1000 includes the sound signal received from the home appliance 2000 in step S520 and a plurality of sound signals 1610-1 pre-stored in the wake-up signal database (1600, see FIGS. 2A and 3). to 1610-n, see FIG. 2A), and among the plurality of acoustic signals 1610-1 to 1610-n, an acoustic signal having the maximum value of the measured similarity may be identified.
  • step S550 the electronic device 1000 identifies operational state information mapped to correspond to the identified acoustic signal from the wake-up signal database 1600.
  • the electronic device 1000 maps an operation to correspond to an identified sound signal among a plurality of operation state information (1620-1 to 1620-n, see FIG. 2A) pre-stored in the wake-up signal database 1600. status information can be identified.
  • the electronic device 1000 may extract operating state information from the wake-up signal database 1600 .
  • the electronic device 1000 transmits the extracted operating state information to the mobile terminal 4000.
  • the electronic device 1000 includes, for example, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE), and Wireless Broadband Internet (Wibro).
  • WiMAX World Interoperability for Microwave Access, WiMAX
  • SWAP Shared Wireless Access Protocol
  • WiGig Wireless Gigabit Alliance, WiGig
  • RF communication using at least one data communication network to transmit operating state information to a mobile terminal ( 4000) can be transmitted.
  • step S570 the mobile terminal 4000 receives operating state information from the electronic device 1000 and outputs a notification message indicating the operating state information.
  • the mobile terminal 4000 may display a notification message in the form of a pop-up message.
  • the present invention is not limited thereto, and the mobile terminal 4000 may output a notification message in the form of a voice indicating operation state information through the speaker 1500 (see FIG. 3).
  • FIG. 6 is a flowchart illustrating an operating method of the electronic device 1000, the home appliance 2000, the server 3000, and the mobile terminal 4000 according to an embodiment of the present disclosure.
  • FIG. 6 illustrates an embodiment in which the electronic device 1000 receives a sound signal output by the home appliance 2000 after receiving a voice input uttered by a user.
  • the electronic device 1000 and the mobile terminal 4000 may be devices pre-registered in the server 3000 with the same user account.
  • step S610 the electronic device 1000 performs a wake-up operation upon receiving a wake-up voice from the user.
  • 'Wake-up voice' is a voice command that causes the electronic device 1000 in a standby mode or sleep mode to switch to a voice recognition mode and perform a voice recognition function.
  • the electronic device 1000 may receive a wake-up voice such as 'Hi Bixby' or 'Hello Galaxy' uttered by the user.
  • the electronic device 1000 recognizes the wake-up voice as a wake-up signal and performs a wake-up operation.
  • the electronic device 1000 compares the received wake-up voice with a pre-registered wake-up signal using the wake-up signal detection module 1310 (see FIGS. 2B and 3), and pre-registers the comparison result. If it is determined that the wake-up signal is the same as the received wake-up signal, a wake-up operation may be performed.
  • the electronic device 1000 receives a voice input from the user.
  • the electronic device 1000 may receive a voice input using a microphone 1100 (see FIGS. 2B and 3).
  • 'Voice input' may be a voice uttered by a user.
  • the voice input may be, for example, "tell me the weather today”.
  • the electronic device 1000 converts the voice input into a voice signal.
  • the electronic device 1000 may obtain a voice signal by converting a voice input received through the microphone 1100 into a sound signal and removing noise (eg, non-voice components) from the sound signal. there is.
  • the electronic device 1000 transmits a voice signal to the server 3000.
  • the electronic device 1000 includes, for example, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE), and Wireless Broadband Internet (Wibro).
  • WiMAX World Interoperability for Microwave Access, WiMAX
  • SWAP Shared Wireless Access Protocol
  • WiGig Wireless Gigabit Alliance, WiGig
  • RF communication using at least one data communication network to transmit the voice signal to the server (3000) can be sent to
  • step S620 the home appliance 2000 outputs a sound signal according to an operating state.
  • the home appliance 2000 may output an acoustic signal related to state information related to the start, end, or operation of a function and/or operation, or an audio signal related to an error or failure. Since step S620 is identical to step S510 shown in FIG. 5, duplicate descriptions will be omitted.
  • step S630 the electronic device 1000 receives a sound signal output from the home appliance 2000.
  • the received sound signal may be a sound signal pre-registered as a wake-up signal. Since step S630 is the same as step S520 shown in FIG. 5, duplicate descriptions will be omitted.
  • the electronic device 1000 transmits a sound signal to the server 3000.
  • the electronic device 1000 may transmit the sound signal to the server 3000 without recognizing it as a wake-up signal even when the sound signal is received.
  • the electronic device 1000 includes, for example, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE), and Wireless Broadband Internet (Wibro).
  • WiMAX World Interoperability for Microwave Access, WiMAX
  • SWAP Shared Wireless Access Protocol
  • WiGig Wireless Gigabit Alliance, WiGig
  • RF communication using at least one data communication network to transmit the acoustic signal to the server (3000) can be sent to
  • the server 3000 identifies a sound signal corresponding to the sound signal received from the electronic device 1000 in the sound signal database 3400 (see FIG. 2B).
  • the server 3000 may include a sound signal database 3400.
  • the sound signal database 3400 includes a plurality of sound signals 3410-1 to 3410-n (see FIG. 2B) and a plurality of operation state information 3420-1 for each of the plurality of sound signals 3410-1 to 3410-n. to 3420-n, see FIG. 2B).
  • the plurality of acoustic signals 3410-1 to 3410-n and the plurality of operating state information 3420-1 to 3420-n are key-value types and are stored in the acoustic signal database 3400. may be stored in
  • the server 3000 measures similarities between the sound signals received from the electronic device 1000 and the plurality of sound signals 3410-1 to 3410-n pre-stored in the sound signal database 3400, respectively, and the plurality of sound signals ( Among 3410-1 to 3410-n), an acoustic signal having a maximum similarity may be identified.
  • the server 3000 identifies operation state information mapped to correspond to the identified acoustic signal in the acoustic signal database 3400.
  • the server 3000 may extract operating state information stored in the acoustic signal database 3400 with the identified acoustic signal and key-value type. For example, among the plurality of sound signals 3410-1 to 3410-n pre-stored in the sound signal database 3400, the sound signal having the maximum similarity with the sound signal received from the electronic device 1000 is the first sound signal.
  • the server 3000 may extract the first operation state information mapped to the first acoustic signal and key-value type.
  • step S642 the server 3000 transmits operating state information to the electronic device 1000.
  • step S643 the server 3000 transmits operating state information to the mobile terminal 4000.
  • FIG. 6 shows that the server 3000 simultaneously transmits operating state information to the electronic device 1000 and the mobile terminal 4000, the present invention is not limited thereto.
  • the server 3000 may perform step S642 of transmitting the operating state information to the electronic device 1000 before step S643 of transmitting the mobile terminal 4000, and conversely, step S643 may be performed before step S642. can also be done
  • the electronic device 1000 outputs a notification message.
  • the electronic device 1000 may output a notification message indicating operation state information.
  • the electronic device 1000 may output a voice message indicating operating state information through a speaker.
  • the electronic device 1000 is not limited thereto, and the electronic device 1000 may output a notification sound including at least one of preset sound effects, ringtones, melodies, music, or songs according to operation state information through a speaker.
  • step S660 the mobile terminal 4000 outputs a notification message indicating the operating state information received from the server 3000.
  • the mobile terminal 4000 may display a notification message in the form of a pop-up message.
  • the present invention is not limited thereto, and the mobile terminal 4000 may output a notification message in the form of a voice indicating operating state information through a speaker.
  • the server 3000 may generate a notification message indicating operation state information.
  • the server 3000 may generate a notification message indicating operation state information using a Natural Language Generation (NLG) model 3316 (see FIG. 14).
  • the generated notification message may be configured in text form.
  • the server 3000 may transmit a notification message composed of text to the electronic device 1000 and the mobile terminal 4000 .
  • Each of the electronic device 1000 and the mobile terminal 4000 may output a notification message received from the server 3000 .
  • FIG. 7 is a flowchart illustrating an operating method of the electronic device 1000, the home appliance 2000, the server 3000, and the mobile terminal 4000 according to an embodiment of the present disclosure.
  • the electronic device 1000 first receives a sound signal output by the home appliance 2000 and then receives a voice input uttered by a user will be described as an example.
  • the electronic device 1000 first receives an end sound (wake-up signal) of a washing machine, and then receives a wake-up voice (eg, Hi Bixby) and a voice input (eg, tell me today's weather) from the user. can do.
  • a wake-up voice eg, Hi Bixby
  • a voice input eg, tell me today's weather
  • the electronic device 1000 and the mobile terminal 4000 may be devices pre-registered in the server 3000 with the same user account.
  • step S710 the home appliance 2000 outputs a sound signal according to an operating state.
  • the home appliance 2000 may output an acoustic signal related to state information related to the start, end, or operation of a function and/or operation, or an audio signal related to an error or failure. Since step S710 is the same as step S510 shown in FIG. 5, duplicate descriptions will be omitted.
  • step S720 the electronic device 1000 receives the sound signal output by the home appliance 2000. Since step S720 is the same as step S520 shown in FIG. 5, duplicate descriptions will be omitted.
  • step S721 the electronic device 1000 recognizes the sound signal as a wake-up signal and performs a wake-up operation. Since step S721 is the same as step S530 shown in FIG. 5, duplicate descriptions are omitted.
  • step S722 the electronic device 1000 determines whether a voice input spoken by the user is received.
  • the voice input may be, for example, "tell me the weather today”.
  • the electronic device 1000 When a voice input is not received from the user (step S723), the electronic device 1000 outputs a sound signal corresponding to the sound signal received from the home appliance 2000 from the wake-up signal database 1600 (see FIGS. 2A and 3). identify
  • step S724 the electronic device 1000 identifies operational state information mapped to correspond to the identified acoustic signal from the wake-up signal database 1600.
  • Steps S723 and S724 are the same as steps S540 and S550 shown in FIG. 5, respectively, and thus duplicate descriptions are omitted.
  • the electronic device 1000 When the electronic device 1000 receives a voice input from the user (step S725), the electronic device 1000 transmits a sound signal and a voice signal to the server 3000.
  • the electronic device 1000 includes, for example, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE), and Wireless Broadband Internet (Wibro). , WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol), WiGig (Wireless Gigabit Alliance, WiGig) and RF communication using at least one data communication network to transmit sound signals and voice signals to a server (3000).
  • the server 3000 separates a sound signal and a voice signal.
  • the server 3000 may extract only the voice signal and separate the sound signal by using a noise canceling function.
  • the server 3000 identifies an acoustic signal corresponding to the separated acoustic signal from the acoustic signal database 3400.
  • the server 3000 transmits the sound signal separated in step S730 to a plurality of sound signals (3410-1 to 3410-n, see FIG. 2b) pre-stored in the sound signal database (3400, see FIG. 2b), respectively. It is possible to compare and identify an acoustic signal corresponding to the comparison result.
  • the server 3000 measures the similarity between the sound signal separated in step S730 and the plurality of sound signals 3410-1 to 3410-n pre-stored in the sound signal database 3400, respectively, and the plurality of sound signals. Among the signals 3410-1 to 3410-n, an acoustic signal having a maximum similarity may be identified.
  • the server 3000 identifies operation state information mapped to correspond to the identified acoustic signal in the acoustic signal database 3400.
  • the server 3000 maps the identified sound signals among a plurality of operating state information (3420-1 to 3420-n, see FIG. 2B) pre-stored in the sound signal database 3400 to key-value types. Operation status information can be extracted. For example, among the plurality of sound signals 3410-1 to 3410-n pre-stored in the sound signal database 3400, the sound signal having the maximum similarity with the sound signal received from the electronic device 1000 is the first sound signal. In the case of a signal, the server 3000 may extract the first operation state information mapped to the first acoustic signal and key-value type.
  • step S733 the server 3000 transmits operating state information to the electronic device 1000.
  • step S734 the server 3000 transmits operating state information to the mobile terminal 4000.
  • step S740 the electronic device 1000 outputs a notification message indicating operating state information. Since step S740 is the same as step S650 shown in FIG. 6, duplicate descriptions will be omitted.
  • step S750 the mobile terminal 4000 outputs a notification message indicating operating state information. Since step S750 is the same as step S660 shown in FIG. 6, duplicate descriptions will be omitted.
  • the electronic device 1000 determines whether to process the sound signal output by the home appliance 2000 according to whether a voice input is received from the user after the wake-up voice. .
  • the electronic device 1000 transmits both the sound signal and the voice signal to the server 3000, and the server 3000 transmits operation state information corresponding to the sound signal. is identified and transmitted to the electronic device 1000.
  • the electronic device 1000 outputs a notification message indicating operation state information received from the server 3000 .
  • the electronic device 1000 When a voice input is not received from the user (step S722), the electronic device 1000 performs an operation corresponding to the sound signal from the wake-up signal database 1600 on-device without intervention of the server 3000. State information is identified, and a notification message indicating the identified operation state information is output.
  • FIG. 8 is a flowchart illustrating a method for the electronic device 1000 to identify operating state information corresponding to a sound signal output by a home appliance according to an embodiment of the present disclosure.
  • Step S810 to S830 shown in FIG. 8 are steps that embody step S420 shown in FIG. 4 .
  • Steps S840 and S850 shown in FIG. 8 embody step S430 of FIG. 4 .
  • Step S810 shown in FIG. 8 is performed after step S410 shown in FIG. 4 is performed.
  • step S440 shown in FIG. 4 is performed.
  • step S810 the electronic device 1000 transmits the received first sound signal and a plurality of sound signals (1610-1 to 1610-n, see FIG. 2A) pre-stored in the wake-up signal database (1600, see FIGS. 2A and 3). ) Calculate the similarity between each.
  • the electronic device 1000 may preprocess the acoustic signal received from the home appliance 2000, such as frequency sampling or offset processing, and convert the preprocessed acoustic signal into an acoustic feature vector.
  • the electronic device 1000 may convert an acoustic signal into an acoustic feature vector using, for example, at least one of Mel-frequency cepstrum (MFCCs), Filter-bank (FBANK), or Feature space Maximum Likelihood Linear Regression (fMLLR).
  • MFCCs Mel-frequency cepstrum
  • FBANK Filter-bank
  • fMLLR Feature space Maximum Likelihood Linear Regression
  • the electronic device 1000 uses a classifier to determine a probability value by which the acoustic feature vector can be classified into a plurality of acoustic signals (1610-1 to 1610-n, see FIG. 2A) pre-stored in the wake-up signal database 1600. can be calculated.
  • the classifier may be, for example, at least one of logistic regression, support vector machine (SVM), decision tree, or random forest.
  • SVM support vector machine
  • the electronic device 1000 determines the similarity between the sound signal received from the home appliance 2000 and the plurality of sound signals 1610-1 to 1610-n pre-stored in the wake-up signal database 1600 based on the calculated probability value, respectively.
  • the probability value may be a value within a range of 0 or more and 1 or less. For example, the closer the probability value is to 1, the higher the degree of similarity.
  • the method by which the electronic device 1000 calculates the degree of similarity of sound signals is not limited to the above method.
  • the electronic device 1000 uses an algorithm or cosine similarity that calculates a cross-correlation between waveforms of frequencies of acoustic signals, or uses a known acoustic signal similarity measurement method.
  • the similarity between the sound signals may be calculated.
  • step S820 the electronic device 1000 compares the calculated similarity with a preset threshold.
  • step S830 when the calculated similarity exceeds a preset threshold (step S830), the electronic device 1000 recognizes the first sound signal as a wake-up signal and performs a wake-up operation.
  • the electronic device 1000 recognizes the first sound signal as a wake-up signal and performs a wake-up operation.
  • one or more sound signals whose calculated similarity with the first sound signal exceeds a preset threshold may be provided.
  • the electronic device 1000 while the electronic device 1000 operates in a standby mode or a sleep mode, the similarity between the first acoustic signal and a plurality of acoustic signals stored in the wake-up signal database 1600 exceeds a preset threshold. In this case, a wake-up operation of switching to a voice recognition function in a standby mode may be performed.
  • step S840 the electronic device 1000 determines a sound signal having a maximum similarity calculated among the plurality of sound signals 1610-1 to 1610-n stored in the wake-up signal database 1600.
  • the electronic device 1000 may extract at least one sound signal whose similarity calculated in step S810 exceeds a preset threshold among the plurality of sound signals 1610-1 to 1610-n.
  • the electronic device 1000 may identify a sound signal having a maximum similarity calculated from among at least one extracted sound signal.
  • the electronic device 1000 may determine the identified sound signal as a sound signal corresponding to the sound signal received from the home appliance 2000 .
  • the electronic device 1000 identifies operating state information corresponding to the identified sound signal among a plurality of operating state information (1620-1 to 1620-n, see FIG. 2A) stored in the wake-up signal database 1600. do.
  • the wake-up signal database 1600 may store a plurality of operating state information 1620-1 to 1620-n mapped to each of the plurality of acoustic signals 1610-1 to 1610-n.
  • the plurality of acoustic signals 1610-1 to 1610-n and the plurality of operating state information 1620-1 to 1620-n are key-value type wake-up signal database ( 1600) can be stored.
  • the electronic device 1000 may identify the identified acoustic signal and operational state information mapped to the key-value type from the wakeup signal database 1600 .
  • the electronic device 1000 when the calculated similarity is equal to or less than a preset threshold (step S860), the electronic device 1000 maintains the standby mode. For example, when the sound signal output by the refrigerator is not stored in the wake-up signal database 1600, the electronic device 1000 determines that the calculated similarity is equal to or less than a preset threshold, does not wake up, and stands by. mode can be maintained.
  • FIG. 9 is a diagram of an electronic device 1000 according to an embodiment of the present disclosure, based on a sound signal output from the home appliance 2000, outputting operation state information and subsequent operation recommendation information of the home appliance 2000, and a mobile terminal It is a diagram showing an operation of transmitting operation status information and subsequent operation recommendation information to 4000.
  • the electronic device 1000 receives a sound signal output by the speaker 1500 of the home appliance 2000, and generates an operation status information notification message 910 corresponding to the received sound signal and a follow-up operation.
  • a recommendation message 920 may be output.
  • the electronic device 1000 recognizes the acoustic signal received from the home appliance 2000 as a wake-up signal, wakes up, and outputs a notification message 910 indicating operating state information corresponding to the acoustic signal. Since the embodiment described in FIGS. 1 to 8 is the same, duplicate descriptions are omitted.
  • the follow-up action information is action information recommended to the user as a follow-up action in relation to the action state information.
  • the subsequent operation information may be 'information on fault inspection and repair of the washing machine'.
  • the follow-up operation information may include a 'telephone number of a fault repair center' or 'location information of a fault repair center'.
  • the electronic device 1000 may output a follow-up action recommendation message 920 recommending follow-up action information to the user.
  • the electronic device 1000 sends a follow-up operation recommendation message 920, "Would you like to inspect and repair the broken part?
  • the phone number of the A/S center is 1588-XXXX. Close The A/S center is XX, XXX-gil, XX-gu, Seoul.”
  • the electronic device 1000 may transmit operation state information and subsequent operation information to the mobile terminal 4000 .
  • the mobile terminal 4000 receives operation status information and follow-up operation information from the electronic device 1000, and outputs a notification message 4100 indicating the received operation status information and a follow-up operation recommendation message 4200 recommending a follow-up operation. can do.
  • the mobile terminal 4000 transmits a notification message 4100 indicating operation status information of the home appliance 2000 and a follow-up operation recommendation message 4200 according to the operation status information as a pop-up message. form can be displayed.
  • the mobile terminal 4000 may display the follow-up action recommendation message 4200 in the form of a 'shortcut link' for executing a related application capable of performing a follow-up action.
  • the mobile terminal 4000 displays “a failure of the washing machine door has been detected” as a notification message 4100 representing operation state information of the home appliance 2000, and recommends a follow-up operation.
  • the phone application shortcut link 4210 of "Call the washing machine A/S center” and the map application shortcut link 4220 of "Looking up the address of the washing machine A/S center” may be displayed. .
  • the mobile terminal 4000 may output information on the operating state of the home appliance 2000 and a voice message recommending a subsequent operation through a speaker.
  • the electronic device 1000 not only outputs a notification message 910 notifying operation state information of the home appliance 2000 based on the sound signal output from the home appliance 2000, User convenience may be improved by outputting a subsequent operation recommendation message 920 for recommending a subsequent operation according to the operating state of the home appliance 2000 .
  • a subsequent operation recommendation message 920 for recommending a subsequent operation according to the operating state of the home appliance 2000 .
  • the phone number of the repair center or the address of the repair center is notified to the user even if the user does not directly search for the related follow-up operation. Since it can be provided intuitively, efficiency can be improved and satisfaction can be improved.
  • the electronic device 1000 outputs a notification message 910 indicating operation status information according to the sound signal output by the home appliance 2000, as well as a recommendation message 920 regarding subsequent operation information related to the operation status information. A specific method for doing this will be described in detail with reference to FIGS. 10 to 12 .
  • FIG. 10 is an electronic device 1000 of the present disclosure outputs operating state information and subsequent action recommendation information of the home appliance based on a sound signal output by the home appliance 2000, and outputs the operating state information and subsequent action to a mobile terminal. It is a diagram illustrating an embodiment of transmitting recommendation information.
  • the electronic device 1000 may include a microphone 1100, a wake-up signal detection module 1310, a communication interface 1400, a speaker 1500, and a wake-up signal database 1600.
  • a microphone 1100 the electronic device 1000 may include a microphone 1100, a wake-up signal detection module 1310, a communication interface 1400, a speaker 1500, and a wake-up signal database 1600.
  • FIG. 10 only essential components for explaining the function and/or operation of the electronic device 1000 are shown. The configuration included in the electronic device 1000 is not limited as shown in FIG. 10 .
  • the electronic device 1000 may receive a sound signal output by the speaker 1500 of the home appliance 2000 through the microphone 1100 .
  • the 'sound signal' received through the microphone 1100 may be at least one of effect sounds, ringtones, melodies, music, and voice signals.
  • the wake-up signal detection module 1310 is a module configured to recognize an acoustic signal output by the home appliance 2000 as a wake-up signal.
  • the wake-up signal detection module 1310 compares the sound signal recognized as the wake-up signal with a plurality of sound signals 1610-1 to 1610-n previously stored in the wake-up signal database 1600, and according to the comparison result, a plurality of sound signals.
  • a sound signal corresponding to the sound signal received from the home appliance 2000 may be identified.
  • the wake-up signal detection module 1310 identifies among a plurality of operation state information 1620-1 to 1620-n and a plurality of subsequent operation information 1630-1 to 1630-n previously stored in the wake-up signal database 1600. Operation state information and subsequent operation information mapped to correspond to the sound signal may be extracted.
  • the wake-up signal database 1600 includes previously acquired sound signals of the home appliance 2000, operation state information of the home appliance 2000 represented by the sound signals, and information on recommended subsequent actions related to the operation state information. can be saved
  • the wake-up signal database 1600 includes a plurality of sound signals 1610-1 to 1610-n and a plurality of operating state information 1620-1 to 1620-n for each of the plurality of sound signals 1610-1 to 1610-n. n), and a plurality of subsequent operation information 1630-1 to 1630-n related to each of the plurality of operation state information 1620-1 to 1620-n may be stored.
  • the plurality of acoustic signals 1610-1 to 1610-n are keys, and a plurality of associated operation state information 1620-1 to 1620-n and a plurality of subsequent operation information 1630-n 1 to 1630-n are values, and may be mapped and stored in the wake-up signal database 1600.
  • the plurality of subsequent operation information 1630 - 1 to 1630 - n is operation information recommended to the user as a subsequent operation in relation to the operation state of the home appliance 2000 .
  • the plurality of subsequent operation information 1630 - 1 to 1630 - n may be obtained by a user input received through a registration process and stored in the wakeup signal database 1600 .
  • the present invention is not limited thereto, and the plurality of subsequent operation information 1630-1 to 1630-n may be obtained from the server 3000.
  • the plurality of subsequent operation information 1630-1 to 1630-n is associated with a plurality of sound signals 1610-1 to 1610-n and a plurality of operation state information 1620-1 to 1620-n, respectively. It can be mapped to correspond and stored in the wake-up signal database 1600.
  • at least one subsequent operation information may be mapped to one operation state information.
  • the subsequent operation information may include a 'troubleshooting center phone number' and 'breakdown repair center location information'.
  • the wake-up signal detection module 1310 may identify operating state information corresponding to the sound signal output by the home appliance 2000 from the wake-up signal database 1600 and extract the operating state information. Since the specific embodiment in which the wake-up signal detection module 1310 identifies operating state information corresponding to the acoustic signal received from the home appliance 2000 is the same as that described with reference to FIGS. 1 to 8 , duplicate descriptions are omitted.
  • the wakeup signal detection module 1310 may identify subsequent operation information mapped to correspond to the identified operation state information from the wakeup signal database 1600 . For example, when the first acoustic signal 1610-1 is identified as a signal corresponding to the acoustic signal received from the home appliance 2000, the wake-up signal detection module 1310 from the wake-up signal database 1600 First operation state information 1620-1 and first subsequent operation information 1630-1 mapped to correspond to the first acoustic signal 1610-1 may be identified. The wakeup signal detection module 1310 may extract the identified first operation state information 1620-1 and first subsequent operation information 1630-1 from the wakeup signal database 1600.
  • the wake-up signal detection module 1310 may provide the extracted operation state information and subsequent operation information to the speaker 1500 or transfer them to the communication interface 1400 .
  • the speaker 1500 may output a notification message indicating operation state information provided from the wakeup signal detection module 1310 and a follow-up operation recommendation message recommending follow-up operation information.
  • the speaker 1500 may output a voice message indicating operation state information and subsequent operation information.
  • the communication interface 1400 may transmit operation state information and subsequent operation information to the user's mobile terminal 4000 through a wired or wireless communication network.
  • the mobile terminal 4000 receives operation status information and follow-up operation information from the communication interface 1400 of the electronic device 1000, and a notification message 4100 indicating the operation status information and a follow-up operation recommendation message recommending a follow-up operation ( 4200) can be output.
  • the mobile terminal 4000 may display the follow-up action recommendation message 4200 in the form of a 'shortcut link' for executing a related application capable of performing a follow-up action.
  • the mobile terminal 4000 displays "A failure of the washing machine door has been detected" as a notification message 4100 indicating operation state information of the home appliance 2000, and displays a follow-up operation recommendation message 4200.
  • a shortcut link 4210 of a phone application of “making a call to a washing machine A/S center” and a shortcut link 4220 of a map application of “looking up an address of a washing machine A/S center” may be displayed.
  • FIG. 11 is a flowchart illustrating an operating method of the electronic device 1000, the home appliance 2000, and the mobile terminal 4000 according to an embodiment of the present disclosure.
  • FIG. 11 illustrates an embodiment in which the electronic device 1000 receives a sound signal output by the home appliance 2000 and provides operation state information and subsequent operation information corresponding to the received sound signal.
  • the electronic device 1000 processes the sound signal on-device without intervention of the server 3000 .
  • step S1110 the home appliance 2000 outputs a sound signal according to an operating state.
  • the home appliance 2000 may output an acoustic signal related to state information related to the start, end, or operation of a function and/or operation, or an audio signal related to an error or failure. Since step S1110 is the same as step S510 shown in FIG. 5, duplicate descriptions are omitted.
  • step S1120 the electronic device 1000 receives a sound signal output by the home appliance 2000.
  • step S1130 the electronic device 1000 recognizes the sound signal as a wake-up signal and performs a wake-up operation.
  • step S1140 the electronic device 1000 identifies a sound signal corresponding to the sound signal output by the home appliance 2000 from the wake-up signal database 1600 (see FIG. 10).
  • step S1150 the electronic device 1000 identifies operational state information mapped to correspond to the identified acoustic signal from the wake-up signal database 1600 (see FIG. 10).
  • steps S1120 to S1150 are the same as steps S520 to S550 shown in FIG. 5 , overlapping descriptions will be omitted.
  • the electronic device 1000 identifies subsequent operation information mapped to correspond to the operation state information from the wake-up signal database 1600.
  • the wake-up signal database 1600 includes a plurality of sound signals 1610-1 to 1610-n (see FIG. 10), a plurality of operation state information (1620-1 to 1620-n (see FIG. 10)), and a plurality of subsequent operations.
  • Information (1630-1 to 1630-n, see FIG. 10) may be stored.
  • the plurality of acoustic signals 1610-1 to 1610-n and the plurality of operating state information 1620-1 to 1620-n are mapped into key-value types and stored in the wake-up signal database 1600. It can be.
  • the plurality of acoustic signals 1610-1 to 1610-n are keys, corresponding to a plurality of operation state information 1620-1 to 1620-n and a plurality of subsequent operation information 1630-1. through 1630-n) are values, and may be mapped and stored in the wakeup signal database 1600.
  • the electronic device 1000 may identify, from the wake-up signal database 1600, subsequent operation information mapped to correspond to the operation state information identified in step S1150. For example, when the identified operating state information is first operating state information, the electronic device 1000 identifies first subsequent operating information mapped to correspond to the first operating state information from the wake-up signal database 1600.
  • the electronic device 1000 transmits operation state information and subsequent operation information to the mobile terminal 4000.
  • the electronic device 1000 includes, for example, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE), and Wireless Broadband Internet (Wibro).
  • WiMAX World Interoperability for Microwave Access, WiMAX
  • SWAP Shared Wireless Access Protocol
  • WiGig Wireless Gigabit Alliance, WiGig
  • RF communication using at least one data communication network, operation state information and subsequent operation information may be transmitted to the mobile terminal 4000.
  • the mobile terminal 4000 receives operation state information and subsequent operation information from the electronic device 1000, and outputs a notification message indicating the operation state information and a subsequent operation recommendation message recommending the next operation information.
  • the mobile terminal 4000 may display a notification message and a follow-up action recommendation message in the form of a pop-up message.
  • the present invention is not limited thereto, and the mobile terminal 4000 may output a voice notification message indicating operation state information and follow-up operation information through a speaker.
  • FIG. 12 is a flowchart illustrating an operating method of the electronic device 1000, the home appliance 2000, the server 3000, and the mobile terminal 4000 according to an embodiment of the present disclosure.
  • the electronic device 1000 after the electronic device 1000 receives a voice input uttered by a user, receives a sound signal output by the home appliance 2000, and provides operation state information and subsequent operation information corresponding to the sound signal shows an example of
  • the electronic device 1000 and the mobile terminal 4000 may be devices pre-registered in the server 3000 with the same user account.
  • step S1210 the electronic device 1000 receives a wake-up voice from the user and, upon receiving the wake-up voice, performs a wake-up operation.
  • 'Wake-up voice' is a voice command that causes the electronic device 1000 in a standby mode or sleep mode to switch to a voice recognition mode for performing a voice recognition function.
  • the wake-up voice may include, for example, 'Hi Bixby' or 'Hello Galaxy'.
  • the electronic device 1000 recognizes the wake-up voice as a wake-up signal and performs a wake-up operation.
  • the electronic device 1000 compares the received wake-up voice with a pre-registered wake-up signal using the wake-up signal detection module 1310 (see FIGS. 2B and 3), and pre-registers the comparison result. If it is determined that the wake-up signal is the same as the received wake-up signal, a wake-up operation may be performed.
  • step S1211 the electronic device 1000 receives a voice input from the user.
  • the electronic device 1000 may receive a voice input using a microphone 1100 (see FIGS. 2B and 3).
  • 'Voice input' may be a voice uttered by a user.
  • the voice input may be, for example, "tell me the weather today”.
  • the electronic device 1000 converts the voice input into a voice signal.
  • the electronic device 1000 converts a voice input received from a microphone 1100 (see FIG. 10) into a sound signal, and removes noise (eg, non-voice components) from the sound signal to obtain a voice signal.
  • noise eg, non-voice components
  • step S1213 the electronic device 1000 transmits a voice signal to the server 3000.
  • step S1220 the home appliance 2000 outputs a sound signal according to an operating state.
  • the home appliance 2000 may output an acoustic signal related to state information related to the start, end, or operation of a function and/or operation, or an audio signal related to an error or failure.
  • step S1230 the electronic device 1000 receives a sound signal output by the home appliance 2000.
  • the electronic device 1000 transmits a sound signal to the server 3000.
  • the electronic device 1000 may transmit the received sound signal to the server 3000 without operating the wake-up signal detection module 1310 .
  • the electronic device 1000 includes, for example, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE), and Wireless Broadband Internet (Wibro).
  • WiMAX World Interoperability for Microwave Access, WiMAX
  • SWAP Shared Wireless Access Protocol
  • WiGig Wireless Gigabit Alliance, WiGig
  • RF communication using at least one data communication network to transmit the acoustic signal to the server (3000) can be sent to
  • the server 3000 identifies operation state information and subsequent operation information corresponding to the sound signal.
  • the server 3000 may include a sound signal database 3400.
  • the acoustic signal database 3400 may store a plurality of acoustic signals, a plurality of operation state information, and a plurality of subsequent operation information.
  • a plurality of sound signals, a plurality of related operation state information, and a plurality of subsequent operation information may be mapped into key-value types and stored in the sound signal database 3400 .
  • a plurality of sound signals may be stored as keys, and a plurality of corresponding operation state information and a plurality of subsequent operation information may be stored as values in the sound signal database 3400 .
  • the server 3000 measures the similarity between the sound signal received from the electronic device 1000 and a plurality of sound signals pre-stored in the sound signal database 3400, and the sound signal having the maximum value of the measured similarity among the plurality of sound signals. can identify.
  • the server 3000 identifies operation state information and subsequent operation information mapped to correspond to the acoustic signals identified in the acoustic signal database 3400 .
  • the server 3000 may extract operation state information and subsequent operation information stored in the acoustic signal database 3400 with the identified acoustic signal and key-value type.
  • the server 3000 First operation state information and first subsequent operation information mapped to the first acoustic signal and key-value type may be extracted.
  • step S1241 the server 3000 transmits operation state information and subsequent operation information to the electronic device 1000.
  • step S1242 the server 3000 transmits operation state information and subsequent operation information to the mobile terminal 4000.
  • FIG. 12 illustrates that the server 3000 simultaneously transmits operation state information and subsequent operation information to the electronic device 1000 and the mobile terminal 4000, the present invention is not limited thereto.
  • FIG. 13 is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure updates the wake-up signal detection module 1310 using update data received from the server 3000.
  • the electronic device 1000 includes a processor 1200, a wake-up signal detection module 1310, a communication interface 1400, and a wake-up signal database 1600, and a server 3000 communicates It may include an interface 3100, a processor 3200, a wake-up signal detection module update data 3320, and a sound signal database 3400.
  • a processor 3200 In the electronic device 1000 and the server 3000 shown in FIG. 13 , only essential components for explaining the function and/or operation of updating the wake-up signal detection module 1310 of the electronic device 1000 are illustrated. Components included in the electronic device 1000 and the server 3000 are not limited as illustrated in FIG. 13 .
  • a plurality of sound signals 1610-1 to 1610-n and a plurality of operating state information 1620-1 to 1620-n may be stored in the wake-up signal database 1600.
  • a plurality of acoustic signals 1610-1 to 1610-n and a plurality of operating state information 1620-1 to 1620-n stored in the wake-up signal database 1600 are obtained from user input received from the user through a registration procedure. and can be stored.
  • the server 3000 may include a sound signal database 3400 that stores a plurality of sound signals 3410-1 to 3410-n and 3412 and a plurality of operating state information 3420-1 to 3420-n and 3422. there is.
  • the first acoustic signal 3410-1 to the n-th acoustic signal 3410-n stored in the acoustic signal database 3400 are first acoustic signals stored in the wake-up signal database 1600 of the electronic device 1000. It may be the same as the sound signal 1610-1 to the n-th sound signal 1610-n.
  • the first operating state information 3420-1 to the n-th operating state information 3420-n stored in the sound signal database 3400 are stored in the wake-up signal database 1600 of the electronic device 1000. It may be the same as the first operating state information 1620-1 to the n-th operating state information 1620-n.
  • the server 3000 may further store the sound signal of the new home appliance and operating state information related to the sound signal.
  • the 'new home appliance' refers to a home appliance newly purchased or acquired by the user of the electronic device 1000 and registered in the server 3000 through the electronic device 1000 .
  • the electronic device 1000 may log in through a user account and perform a registration process of registering device identification information (eg, device id, device serial number, etc.) of a new home appliance to the user account of the server 3000.
  • the new home appliance may include a speaker that outputs a sound signal indicating an operating state without including a network function.
  • the server 3000 may store a sound signal output by a new home appliance and operation state information indicated by the sound signal through a registration procedure.
  • the new acoustic signal 3412 output by the new electrical appliance and the new operating state of the new electrical appliance indicated by the new acoustic signal 3412 are included.
  • Information 3422 may be stored.
  • the new operation state information 3422 stored in the sound signal database 3400 may further include device information about a new home appliance that outputs the new sound signal 3412 .
  • the new operating state information 3422 may include device identification information (eg, device id) of the new home appliance or information about the device type.
  • the new sound signal output by the new home appliance and the new operating state information indicated by the new sound signal may not be stored in the wakeup signal database 1600 of the electronic device 1000 by the user.
  • the server 3000 may store, in the memory 330 , wakeup signal detection module update data 3320 for updating the wakeup signal detection module 1310 of the electronic device 1000 .
  • the wake-up signal detection module 1310 of the electronic device 1000 recognizes the new sound signal 3412 output by the new home appliance, and generates the new sound signal 3412. It may be data for updating the wake-up signal detection module 1310 to the latest version to identify the new operating state information 3422 , which is the operating state information of the new home appliance indicated by .
  • the wake-up signal database 1600 of the electronic device 1000 includes information output by the new home appliance. Acoustic signals may not be stored. In this case, even if a sound signal is output by the new home appliance, the wake-up signal detection module 1310 of the electronic device 1000 cannot recognize the output sound signal as a wake-up signal, and thus the operation state information of the new home appliance. cannot identify
  • step S1310 the processor 1200 of the electronic device 1000 transmits an update request signal of the wake-up signal detection module 1310 to the server 3000 through the communication interface 1400.
  • the electronic device 1000 receives a user input requesting an update of firmware or software constituting the wake-up signal detection module 1310, and when the user input is received, an update request query ) may be transmitted to the server 3000.
  • the processor 1200 sends a query requesting an update of the wake-up signal detection module 1310 to a server (eg, 1 hour, 1 day, 1 week, 1 month, etc.) 3000) can be transmitted.
  • the electronic device 1000 may transmit version information of the wakeup signal detection module 1310 together with the update request signal.
  • step S1320 the server 3000 transmits the wake-up signal detection module update data 3320 to the electronic device 1000 through the communication interface 3100 in response to the update request signal received from the electronic device 1000.
  • the processor 3200 of the server 3000 checks the version information of the wake-up signal detection module 1310 received from the electronic device 1000, and the version of the wake-up signal detection module update data 3320. information can be compared. As a result of the comparison, if the wakeup signal detection module 1310 is not the latest version, the processor 3200 may control the communication interface 3100 to transmit the wakeup signal detection module update data 3320 to the electronic device 1000.
  • the wake-up signal detection module update data 3320 may include the latest version of firmware or software that recognizes the new sound signal 3412 and identifies new operating state information 3422 .
  • the wake-up signal detection module update data 3320 may access the acoustic signal database 3400 to obtain a new acoustic signal 3412 and new operating state information 3422.
  • the present invention is not limited thereto, and the wakeup signal detection module update data 3320 may include a new sound signal 3412 and new operating state information 3422.
  • the communication interface 1400 of the electronic device 1000 and the communication interface 3100 of the server 3000 may transmit and receive data through a wired or wireless communication network.
  • the electronic device 1000 and the server 3000 may include, for example, wired LAN, wireless LAN, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), At least one of Bluetooth Low Energy (BLE), Wireless Broadband Internet (Wibro), World Interoperability for Microwave Access (WiMAX), Shared Wireless Access Protocol (SWAP), Wireless Gigabit Alliance (WiGig), and RF communications
  • a query signal or update data may be transmitted and received using one data communication network.
  • step S1330 the electronic device 1000 acquires a new sound signal 3412 and new operating state information 3422 from the wake-up signal detection module update data 3320 received from the server 3000, and acquires the new sound signal.
  • the signal 3412 and the new operating state information 3422 are stored in the wake-up signal database 1600.
  • the electronic device 1000 provides not only the new acoustic signal 3412 and the new operating state information 3422, but also device information of the new home appliance, for example, device identification information and device type of the new home appliance. Information can be stored in the wake-up signal database 1600 .
  • step S1340 the processor 1200 of the electronic device 1000 receives the wakeup signal detection module update data through the communication interface 1400.
  • step S1350 the processor 1200 of the electronic device 1000 updates the wake-up signal detection module 1310 using the wake-up signal detection module update data 3320.
  • the electronic device 1000 updates the wake-up signal detection module 1310 to the latest version using the wake-up signal detection module update data 3320 received from the server 3000.
  • the electronic device 1000 can detect the new sound signal 3412 output by the new home appliance as a wake-up signal, and the new sound signal 3412 represents the new sound signal 3412.
  • Operation status information 3422 can be identified. Even if a user purchases a new home appliance without a network function, the user can grasp operation state information according to a sound signal of the new home appliance through the electronic device 1000 without incurring additional costs. Accordingly, embodiments of the present disclosure may improve user convenience and satisfaction without an economic burden.
  • FIG. 14 is a block diagram illustrating components of a server according to an embodiment of the present disclosure.
  • the server 3000 may receive a sound signal from the electronic device 1000, identify operating state information corresponding to the received sound signal, and transmit it to the electronic device 1000.
  • the server 3000 is not limited thereto, and the server 3000 receives a voice signal from the user's utterance from the electronic device 1000 and analyzes the received voice signal using the natural language processing module 3320 to determine the voice signal analysis result. A response message according to this may be transmitted to the electronic device 1000 .
  • a server 3000 may include a communication interface 3100, a processor 3200, a memory 3300, and a sound signal database 3400.
  • the communication interface 3100 is configured to transmit/receive data with the electronic device 1000 or the mobile terminal 4000 through a wired or wireless communication network.
  • the communication interface 3100 may include, for example, wired LAN, wireless LAN, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), and Bluetooth Low Energy (BLE). ), WiBro (Wireless Broadband Internet, WiMAX), WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol), WiGig (Wireless Gigabit Alliance, WiGig) and at least one data communication network Data communication may be performed with the electronic device 1000 or the mobile terminal 4000 using .
  • the communication interface 3100 may receive at least one of a sound signal and a voice signal from the electronic device 1000 under the control of the processor 3200 .
  • the audio signal is a signal output by the home appliance 2000, and the audio signal is a signal converted from a voice input uttered by a user.
  • the communication interface 3100 may transmit operating state information to the electronic device 1000 or the mobile terminal 4000 under the control of the processor 3200 .
  • the processor 3200 may execute one or more instructions of a program stored in the memory 3300 .
  • the processor 3200 may be composed of hardware components that perform arithmetic, logic and input/output operations and signal processing.
  • the processor 3200 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processors (DSPDs). Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays).
  • the processor 3200 may be configured as a dedicated hardware chip that performs artificial intelligence (AI) learning.
  • AI artificial intelligence
  • Instructions and program codes readable by the processor 3200 may be stored in the memory 3300 .
  • the processor 3200 may be implemented by executing instructions or program codes stored in the memory 3300 .
  • the memory 3300 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD or XD memory). etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), or It may be composed of at least one type of storage medium among optical disks.
  • Instructions or program codes for each of the operation state identification module 3310 , the wakeup signal detection module update data 3320 , and the natural language processing module 3330 may be stored in the memory 3300 .
  • a 'module' included in the memory 3300 refers to a unit that processes functions or operations performed by the processor 3200, and may be implemented as software such as instructions or program codes.
  • the operating state identification module 3310 is a module configured to identify the operating state of the home appliance 2000 by recognizing a sound signal received from the electronic device 1000 . In one embodiment, the operating state identification module 3310 compares the sound signal with a plurality of sound signals pre-stored in the sound signal database 3400, and according to the comparison result, the sound corresponding to the received sound signal among the plurality of sound signals. configured to identify a signal. The operating state identification module 3310 is configured to identify operating state information corresponding to the identified acoustic signal among a plurality of operating state information stored in the acoustic signal database 3400 .
  • the processor 3200 may receive a sound signal or voice signal from the electronic device 1000 through the communication interface 3100 .
  • the processor 3200 compares the received sound signal with a plurality of sound signals pre-stored in the sound signal database 3400 by executing instructions or program codes of the operating state identification module 3310 to correspond among the plurality of sound signals. Acoustic signals can be identified.
  • the processor 3200 measures the similarity between the received sound signal and a plurality of sound signals stored in the sound signal database 3400, and based on the similarity, among the plurality of sound signals received from the electronic device 1000 An acoustic signal corresponding to the acoustic signal may be identified.
  • the specific method for the processor 3200 of the server 3000 to measure the similarity between the sound signals and to identify the corresponding sound signals is the same as the method performed by the processor 1200 of the electronic device 1000 shown in FIG. 3. , duplicate descriptions are omitted.
  • the processor 3200 may identify operation state information corresponding to the identified acoustic signal from the acoustic signal database 3400 .
  • a plurality of sound signals and a plurality of operation state information corresponding to each of the plurality of sound signals may be stored in the sound signal database 3400 .
  • a plurality of sound signals and a plurality of operating state information may be stored in the sound signal database 3400 in a key-value type.
  • a plurality of sound signals may be stored as keys, and a plurality of corresponding operating state information may be stored as values in the sound signal database 3400 .
  • the processor 3200 may identify the identified acoustic signal and operating state information mapped to the key-value type from the acoustic signal database 3400 .
  • the processor 3200 may extract the identified operation state information from the sound signal database 3400 and provide the information to the communication interface 3100 .
  • the processor 3200 may control the communication interface 3100 to transmit the extracted operating state information to the electronic device 1000 .
  • the processor 3200 may generate a notification message indicating operating state information.
  • the processor 3200 may generate a notification message indicating operation state information of the home appliance 2000 using a Natural Language Generation (NLG) model 3338 .
  • NLG Natural Language Generation
  • the processor 3200 may generate a notification message indicating the end of washing, indicating the end of washing, when operation state information 'Washing of the washing machine is finished' is identified from the sound signal database 3400. there is.
  • the processor 3200 identifies operation state information of 'refrigerator door open' from the sound signal database 3400, the processor 3200 indicates "The refrigerator door is open. Please close the door.” .” can generate a notification message.
  • the notification message generated by the processor 3200 may be data in text form.
  • the processor 3200 may control the communication interface 3100 to transmit text data including a notification message to the electronic device 1000 or the user's mobile terminal 4000 .
  • the wakeup signal detection module update data 3320 is data for updating the wakeup signal detection module 1310 (see FIG. 13 ) of the electronic device 1000 .
  • the wake-up signal detection module update data 3320 is obtained by recognizing a new sound signal output by the new home appliance by the wake-up signal detection module 1310 of the electronic device 1000, and the new sound signal indicated by the new home appliance. This may be data for updating the wake-up signal detection module 1310 to the latest version so that new operating state information, which is operating state information, can be identified. Since the description of the wake-up signal detection module update data 3320 is the same as that of FIG. 13, a duplicate description will be omitted.
  • the natural language processing module 3330 is a module configured to recognize a voice signal received from the electronic device 1000 and provide a response message according to a result of recognizing the voice signal.
  • the 'voice signal' is a signal uttered by a user and converted from a voice input received by the electronic device 1000 .
  • a voice signal may be received from the electronic device 1000 .
  • the natural language processing module 3330 may include an ASR model 3332, an NLU model 3334, a DM model 3336, and an NLG model 3338.
  • the ASR model 3332 is a model configured to convert a voice signal into a text form readable by the processor 3200.
  • the processor 3200 may perform Automatic Speech Recognition (ASR) by executing instructions or program codes of the ASR model 3332 .
  • ASR Automatic Speech Recognition
  • the processor 3200 may convert the voice signal received from the electronic device 1000 into text by performing ASR.
  • the NLU (Natural Language Understanding) model 3334 is a model configured to interpret the text converted by the ASR model 3332 and recognize an intent according to the text interpretation result.
  • An 'intent' is information representing an intention included in a user's utterance, and may include a user's request, question, action, and the like.
  • the processor 3200 may obtain intent information from text by executing instructions or program codes constituting the NLU model 3334 . For example, when the text is "Let me know the weather today", the processor 3200 may obtain intent information 'weather information request'.
  • the NLU model 3334 may obtain information about the domain or parameters of the text as well as the intent by interpreting the text.
  • the NLU model 3334 may be configured as a rule-based model, but is not limited thereto. In one embodiment, the NLU model 3334 may be composed of an AI model.
  • the NLU model 3334 includes, for example, a convolution neural network (CNN), a recurrent neural network (RNN), a support vector machine (SVM), a linear regression, a logistic regression ( logistic regression), naive Bayes classification, random forest, decision tree, or k-nearest neighbor algorithm, or a combination thereof.
  • the DM (Dialogue Management) model 3336 is configured to receive at least one data of the domain, intent, or parameter output from the NLU model 3334 and output a related response message.
  • the DM model 3336 may provide a response or response message according to the intention of the user's voice input.
  • the processor 3200 may obtain a response message regarding the user's intent by executing instructions or program codes constituting the DM model 3336.
  • a natural language generation (NLG) model 3338 is a model configured to generate a response message received from the DM model 3336 in a natural language form.
  • the processor 3200 may generate a natural language response message by executing instructions or program codes constituting the NLU model 3334. For example, processor 3200 "raised the volume on the TV by one level.” You can create a response message like
  • the processor 3200 may transmit the generated response message to the electronic device 1000 through the communication interface 3100 . In one embodiment, the processor 3200 may transmit a response message to the user's mobile terminal through the communication interface 3100 .
  • 15 is a flowchart illustrating an operating method of the server 3000 according to an embodiment of the present disclosure.
  • step S1510 the server 3000 receives a voice signal uttered by the user and a sound signal output by the home appliance 2000 from the electronic device 1000.
  • the 'sound signal' is a signal output by the home appliance 2000
  • the 'voice signal' is a signal converted from a voice input uttered by a user.
  • step S1520 the server 3000 separates a voice signal and a sound signal.
  • the server 3000 may extract only the voice signal and separate the sound signal by using a noise canceling function.
  • the server 3000 identifies operation state information corresponding to the sound signal from the sound signal database (3400, see FIG. 14). In one embodiment, the server 3000 compares the sound signal received in step S1510 with a plurality of sound signals (3410-1 to 3410-n, see FIG. 2B) previously stored in the sound signal database 3400, and compares the comparison result. Accordingly, among the plurality of sound signals 3410-1 to 3410-n, a sound signal corresponding to the sound signal received from the home appliance 2000 may be identified. In an embodiment, the server 3000 measures the similarity between the sound signal received from the electronic device 1000 in step S1510 and the plurality of sound signals 3410-1 to 3410-n previously stored in the sound signal database 3400. And, among the plurality of sound signals 3410-1 to 3410-n, the sound signal having the maximum measured similarity value may be identified.
  • the server 3000 may identify operational state information mapped to correspond to the identified acoustic signal among a plurality of operating state information (3420-1 to 3420-n, see FIG. 2B) previously stored in the acoustic signal database 3400. .
  • step S1540 the server 3000 transmits the identified operating state information to the mobile terminal 4000.
  • the server 3000 may transmit operating state information to the electronic device 1000 as well as the mobile terminal 4000 .
  • the server 3000 is illustrated as transmitting operation state information to the mobile terminal 4000, but is not limited thereto.
  • the server 3000 may generate a notification message indicating the operating state information identified in step S1530 using the NLG model 3338 (see FIG. 14).
  • the server 3000 may transmit text data including a notification message to the mobile terminal 4000 or the electronic device 1000 of the user.
  • a program executed by the electronic device 1000 described in this specification may be implemented as a hardware component, a software component, and/or a combination of hardware components and software components.
  • a program can be executed by any system capable of executing computer readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
  • Computer-readable recording media include, for example, magnetic storage media (e.g., read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and optical reading media (e.g., CD-ROM) (CD-ROM) and DVD (Digital Versatile Disc).
  • ROM read-only memory
  • RAM random-access memory
  • CD-ROM CD-ROM
  • DVD Digital Versatile Disc
  • a computer-readable recording medium may be distributed among computer systems connected through a network, and computer-readable codes may be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed by a processor.
  • a computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish between cases in which data is stored semi-permanently or temporarily in the storage medium.
  • the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • program according to the embodiments disclosed in this specification may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product may include a software program and a computer-readable storage medium in which the software program is stored.
  • a computer program product is a product in the form of a software program (eg, a downloadable application) that is distributed electronically through a manufacturer of an electronic device or an electronic market (eg, Google Play Store, App Store). ) may be included.
  • a software program eg, a downloadable application
  • an electronic market e.g, Google Play Store, App Store
  • the storage medium may be a server of a manufacturer of the vehicle or electronic device 1000, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • a server 3000 (see FIGS. 2B and 15) and another electronic device (eg, a mobile terminal 4000 (see FIGS. 2A and 2B)), It may include a storage medium of the server 3000 or a storage medium of an electronic device.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a software program itself transmitted from the electronic device 1000 to the electronic device or a third device, or transmitted from the third device to the electronic device.
  • one of the electronic device 1000, the electronic device, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the electronic device 1000, the electronic device, and the third device may execute the computer program product to implement the method according to the disclosed embodiments in a distributed manner.
  • the electronic device 1000 executes a computer program product stored in the memory 1300 (see FIG. 3) to control another electronic device communicatively connected to the electronic device 1000 to perform a method according to the disclosed embodiments. can do.
  • the third device may execute a computer program product to control an electronic device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the electronic device 1000 and execute the downloaded computer program product.
  • the third device may perform the method according to the disclosed embodiments by executing a computer program product provided in a pre-loaded state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)

Abstract

네트워크 기능을 포함하지 않는 가전기기의 동작 상태 정보를 나타내는 전자 장치 및 그 동작 방법을 제공한다. 본 개시의 일 실시예는, 마이크로폰을 통해 가전기기에 의해 출력되는 제1 음향 신호를 수신하고, 수신된 제1 음향 신호를 웨이크 업 신호(wake-up signal)로 인식하고, 데이터베이스로부터 제1 음향 신호에 대응되는 제1 동작 상태 정보를 식별하고, 식별된 제1 동작 상태 정보를 나타내는 알림 메시지를 출력하는 전자 장치를 제공한다.

Description

가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법
본 개시는 가전기기의 동작 상태를 나타내는 정보를 제공하는 전자 장치 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시는 네트워크 기능이 없는 가전기기로부터 출력되는 음향 신호를 식별하고, 식별 결과에 기초하여 가전기기의 동작 상태 정보를 사용자에게 출력하도록 구성되는 전자 장치 및 그 동작 방법에 관한 것이다.
멀티 미디어 기술 및 네트워크 기술이 발전함에 따라, 사용자는 전자 장치를 이용하여 다양한 서비스를 제공받을 수 있게 되었다. 특히, 음성 인식 기술이 발전함에 따라, 사용자는 전자 장치에 음성 입력(예를 들어, 발화)을 제공하고, 서비스 제공 에이전트를 통해 음성 입력에 따른 응답 메시지를 수신할 수 있게 되었다. 최근에는 IoT (Internet of Things) 기술의 발전으로 인하여, 가정 내 가전기기로부터 동작 상태에 관한 정보를 알림 형태로 제공받거나, 사용자의 음성 입력을 통해 가전기기를 제어할 수 있다.
가전기기의 경우, 한번 구매하면 오래 사용하는 특성이 있다. 구형 가전기기의 경우 WiFi 또는 블루투스(Bluetooth)와 같은 네트워크 기능을 포함하지 않으므로, IoT 기능을 갖는 전자 장치(예컨대, AI 스피커)를 구매하더라도 구형 가전기기와 전자 장치 간의 네트워크 연결은 불가능하다. 전자 장치와 구형 가전기기 간의 네트워크 연결이 되지 않는 경우, 전자 장치를 이용한 가전기기의 동작 상태 알림 또는 가전기기의 제어가 불가능하므로, 사용자 편의성이 떨어지는 문제점이 있다. 구형 가전기기의 경우, 네트워크 모듈을 추가로 장착하는 것이 어렵고, 네트워크 모듈을 장착하더라도 IoT 기능을 적용하기 위해서는 관련 소프트웨어 개발 등이 필요하다.
따라서, 구형 가전기기에서는 IoT 기능을 이용하는 것이 어려우므로, 사용자가 가전 기기에서 IoT 기능을 이용하기 위해서는 기존 보유 가전기기를 IoT 기능을 갖춘 신규 가전기기로 교체하여야 하므로, 비용적인 문제점이 있다.
본 개시는 네트워크 기능이 없는 가전기기로부터 출력되는 음향 신호를 이용하여 가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
본 개시의 일 실시예는 가전기기로부터 출력되는 음향 신호를 인식하고, 인식된 음향 신호에 대응되는 동작 상태 정보를 출력하는 전자 장치를 제공한다. 본 개시의 일 실시예는 가전기기로부터 출력된 음향 신호에 대응되는 동작 상태 정보가 사용자의 모바일 단말을 통해 알림 메시지 형태로 출력되도록, 모바일 단말에 동작 상태 정보를 전송하는 전자 장치를 제공한다.
상술한 기술적 과제를 해결하기 위하여 본 개시는 일 실시예는, 가전기기의 동작 상태를 식별하고, 동작 상태 정보를 출력하는 전자 장치를 제공한다. 본 개시의 일 실시예에 따른 전자 장치는 적어도 하나의 가전 기기에서 출력되는 복수의 음향 신호를 웨이크 업 신호(wake-up signal)로 저장하고, 복수의 음향 신호 각각에 관련된 가전기기의 동작 상태를 나타내는 복수의 동작 상태 정보를 저장하는 메모리, 및 프로세서를 포함하고, 프로세서는 마이크로폰을 통해 복수의 음향 신호 중에서 제1 가전기기에 의해 출력되는 제1 음향 신호를 수신하고, 수신된 제1 음향 신호를 웨이크 업 신호(wake-up signal)로 식별하고, 복수의 동작 상태 정보에 기초하여 제1 음향 신호에 대응되는 제1 동작 상태 정보를 식별하고, 식별된 제1 동작 상태 정보를 나타내는 알림 메시지를 출력하도록 출력 인터페이스 제어할 수 있다.
일 실시 예에서, 상기 메모리는 사용자에 의해 발화되는 적어도 하나의 단어를 상기 웨이크 업 신호로 저장하고, 상기 프로세서는 상기 마이크로폰을 통해 사용자에 의해 발화된 음성 입력을 수신하고, 상기 음성 입력으로부터 상기 적어도 하나의 단어를 식별함에 따라, 상기 음성 입력을 상기 웨이크 업 신호로 인식할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 음성 입력을 상기 웨이크 업 신호로 인식한 이후, 상기 제1 가전기기로부터 수신된 제2 음향 신호를 서버로 전송하도록 통신 인터페이스를 제어하고, 상기 통신 인터페이스를 통해 상기 서버로부터 상기 제2 음향 신호에 대응되는 상기 제1 가전기기의 제2 동작 상태 정보를 수신할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 제1 음향 신호와 상기 메모리에 저장된 상기 복수의 음향 신호 간의 유사도(similarity)를 각각 산출하고, 상기 복수의 음향 신호 중 산출된 유사도가 최대값인 음향 신호를 상기 제1 음향 신호에 대응되는 음향 신호로 결정하고, 상기 복수의 동작 상태 정보 중 상기 결정된 음향 신호와 대응되는 제1 동작 상태 정보를 식별할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 제1 동작 상태 정보를 무선 통신 네트워크를 통해 연결된 사용자의 모바일 단말에 전송하도록 통신 인터페이스를 제어하고, 상기 제1 동작 상태 정보를 나타내는 알림 메시지가 상기 모바일 단말을 통해 출력될 수 있다.
일 실시 예에서, 상기 메모리에는, 상기 복수의 동작 상태 정보와 관련되어 추천되는 복수의 후속 동작 정보가 더 저장되고, 상기 프로세서는 상기 제1 동작 상태 정보와 관련되는 제1 후속 동작 정보를 식별하고, 상기 식별된 제1 후속 동작 정보를 출력할 수 있다.
일 실시 예에서, 상기 프로세서는 통신 인터페이스를 통해, 서버로부터 새로 등록된 신규 가전기기에 의해 출력되는 신규 음향 신호, 및 상기 신규 음향 신호에 대응되는 신규 동작 상태 정보를 수신하고, 상기 수신된 신규 가전기기의 디바이스 식별 정보, 상기 신규 음향 신호, 및 상기 신규 동작 상태 정보를 상기 메모리에 저장할 수 있다.
일 실시 예에서, 상기 프로세서는 통신 인터페이스를 통해, 신규 가전기기의 디바이스 식별 정보 및 사용자 계정 정보를 포함하는 등록 요청을 서버에 전송하고, 상기 신규 가전기기는, 상기 신규 가전기기의 디바이스 식별 정보와 상기 사용자 계정 정보를 연결하여 상기 서버에 등록될 수 있다.
일 실시 예에서, 상기 프로세서는 상기 통신 인터페이스를 통해, 상기 신규 가전기기에 의해 출력되는 신규 음향 신호를 인식하여 웨이크 업 동작을 수행하도록 웨이크 업 신호 감지 모듈을 업데이트하기 위한 업데이트 데이터를 상기 서버로부터 수신하고, 상기 수신된 업데이트 데이터를 이용하여 상기 웨이크 업 신호 감지 모듈을 업데이트할 수 있다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 다른 실시예는 가전기기에 의해 출력되는 음향 신호로부터 동작 상태 정보를 식별하는 전자 장치의 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 동작 방법은, 제1 가전기기에 의해 출력되는 제1 음향 신호를 수신하는 단계, 수신된 제1 음향 신호를 웨이크 업 신호(wake-up signal)로 식별하는 단계, 메모리에 저장된 복수의 동작 상태 정보에 기초하여, 제1 음향 신호에 대응되는 제1 동작 상태 정보를 식별하는 단계, 및 식별된 제1 동작 상태 정보를 나타내는 알림 메시지를 출력하는 단계를 포함하고, 상기 메모리에는 적어도 하나의 가전기기에 의해 출력되는 복수의 음향 신호를 웨이크 업 신호(wake-up signal)로 저장하고, 복수의 음향 신호 각각에 관련된 가전기기의 동작 상태를 나타내는 복수의 동작 상태 정보가 저장될 수 있다.
일 실시 예에서, 상기 메모리는 사용자에 의해 발화되는 적어도 하나의 단어를 상기 웨이크 업 신호로 저장하고, 상기 방법은 사용자에 의해 발화된 음성 입력을 수신하는 단계, 및 상기 음성 입력으로부터 상기 적어도 하나의 단어를 식별함에 따라, 상기 음성 입력을 상기 웨이크 업 신호로 인식하는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 방법은 상기 음성 입력을 상기 웨이크 업 음성 입력으로 인식한 이후, 상기 제1 가전기기로부터 수신된 제2 음향 신호를 서버로 전송하는 단계, 및 상기 서버로부터 상기 제2 음향 신호에 대응되는 상기 제1 가전기기의 제2 동작 상태 정보를 수신하는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 제1 동작 상태 정보를 식별하는 단계는 상기 제1 음향 신호와 상기 데이터베이스에 저장된 상기 복수의 음향 신호 간의 유사도(similarity)를 각각 산출하는 단계, 상기 복수의 음향 신호 중 산출된 유사도가 최대값인 음향 신호를 상기 제1 음향 신호에 대응되는 음향 신호로 결정하는 단계, 및 상기 복수의 동작 상태 정보 중 상기 결정된 음향 신호와 대응되는 제1 동작 상태 정보를 식별하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 방법은 상기 제1 동작 상태 정보를 나타내는 알림 메시지가 상기 전자 장치와 무선 통신 네트워크를 통해 연결된 모바일 단말을 통해 출력되도록, 상기 제1 동작 상태 정보를 상기 모바일 단말에 전송하는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 메모리에는, 상기 복수의 동작 상태 정보와 관련되어 추천되는 복수의 후속 동작 정보가 더 저장되고, 상기 방법은 상기 메모리로부터 상기 제1 동작 상태 정보와 관련되는 제1 후속 동작 정보를 식별하는 단계, 및 상기 식별된 제1 후속 동작 정보를 출력하는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 방법은 신규 가전기기의 디바이스 식별 정보 및 사용자 계정 정보를 포함하는 등록 요청을 서버에 전송하는 단계를 더 포함하고, 상기 신규 가전기기는 상기 신규 가전기기의 디바이스 식별 정보와 상기 사용자 계정 정보를 연결하여 상기 서버에 등록될 수 있다.
일 실시 예에서, 상기 방법은 서버로부터, 상기 신규 가전기기에 의해 출력되는 신규 음향 신호, 및 상기 신규 음향 신호에 대응되는 신규 동작 상태 정보를 수신하는 단계, 및 상기 수신된 신규 가전기기의 신규 음향 신호, 및 신규 동작 상태 정보를 상기 메모리에 저장하는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 방법은 상기 신규 가전기기에 의해 출력되는 신규 음향 신호를 인식하여 웨이크 업 동작을 수행하도록 웨이크 업 신호 감지 모듈을 업데이트하기 위한 업데이트 데이터를 상기 서버로부터 수신하는 단계, 및 상기 수신된 업데이트 데이터를 이용하여 상기 웨이크 업 신호 감지 모듈을 업데이트하는 단계를 더 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 다른 실시예는, 전자 장치와 유선 또는 무선 통신 네트워크를 통해 데이터 통신을 수행하는 통신 인터페이스, 적어도 하나의 가전기기에 의해 출력되는 복수의 음향 신호 및 복수의 음향 신호 각각에 관한 동작 상태를 나타내는 복수의 동작 상태 정보를 저장하는 메모리, 및 프로세서를 포함하고, 상기 프로세서는 통신 인터페이스를 통해, 전자 장치로부터 사용자에 의해 발화된 음성 입력 및 가전기기에 의해 출력된 음향 신호를 수신하고, 음성 입력과 음향 신호를 분리하고, 데이터베이스로부터 수신된 음향 신호에 대응되는 동작 상태 정보를 식별하고, 식별된 동작 상태 정보를 사용자의 모바일 단말에 전송하도록 통신 인터페이스를 제어하는 서버를 제공한다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치가 가전기기에 의해 출력되는 음향 신호에 기초하여 가전기기의 동작 상태 정보를 출력하는 동작을 도시한 도면이다.
도 2a는 본 개시의 전자 장치가 가전기기에 의해 출력되는 음향 신호에 기초하여 가전기기의 동작 상태 정보를 출력하고, 모바일 단말에 동작 상태 정보를 전송하는 실시예를 도시한 도면이다.
도 2b는 본 개시의 전자 장치가 가전기기에 의해 출력되는 음향 신호에 기초하여 가전기기의 동작 상태 정보를 출력하고, 모바일 단말을 통해 알림 메시지가 출력되는 실시예를 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 구성 요소를 도시한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치, 가전기기, 및 모바일 단말의 동작 방법을 도시한 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치, 가전기기, 서버, 및 모바일 단말의 동작 방법을 도시한 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치, 가전기기, 서버, 및 모바일 단말의 동작 방법을 도시한 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치가 가전기기에 의해 출력된 음향 신호에 대응되는 동작 상태 정보를 식별하는 방법을 도시한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 가전기기에 의해 출력되는 음향 신호에 기초하여 가전기기의 동작 상태 정보 및 후속 동작 추천 정보를 출력하고, 모바일 단말에 동작 상태 정보 및 후속 동작 추천 정보를 전송하는 동작을 도시한 도면이다.
도 10은 본 개시의 전자 장치가 가전기기에 의해 출력되는 음향 신호에 기초하여 가전기기의 동작 상태 정보 및 후속 동작 추천 정보를 출력하고, 모바일 단말에 동작 상태 정보 및 후속 동작 추천 정보를 전송하는 실시예를 도시한 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치, 가전기기, 및 모바일 단말의 동작 방법을 도시한 흐름도이다.
도 12는 본 개시의 일 실시예에 따른 전자 장치, 가전기기, 서버, 및 모바일 단말의 동작 방법을 도시한 흐름도이다.
도 13은 본 개시의 전자 장치가 서버로부터 수신한 데이터를 이용하여 웨이크 업 신호 감지 모듈을 업데이트하는 실시예를 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 서버의 구성 요소를 도시한 블록도이다.
도 15는 본 개시의 일 실시예에 따른 서버의 동작 방법을 도시한 흐름도이다.
하기에서 논의되는 도 1 내지 도 15 및 본 개시의 원리(principles)를 설명하기 위하여 사용되는 다양한 실시예들은 단지 예시를 위한 것이며, 본 개시의 범위(scope)를 제한하는 것으로 어떤 식으로든 해석되어서는 안된다. 통상의 기술을 가진 자는 본 개시 내용의 원리가 임의의 적절하게 배열된 시스템 또는 장치에서 구현될 수 있음을 이해할 것이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서 '전자 장치'는 가전기기에 의해 출력되는 음향 신호를 웨이크 업 신호(wake-up signal)로 인식하고, 음향 신호에 대응되는 동작 상태 정보를 출력하는 디바이스이다. 전자 장치는 네트워크 기능을 포함하고, 유선 또는 무선 통신 네트워크를 통해 서버 또는 모바일 단말과 연결될 수 있다. 일 실시예에서, 전자 장치는 음성 인식 기능을 수행하는 AI 스피커일 수 있다. 그러나 이에 한정되는 것은 아니고, 전자 장치는 예를 들어, 태블릿 PC, 랩탑 PC(laptop personal computer), 워크스테이션, 웨어러블 디바이스(wearable device), 홈 카메라, 또는 모바일 의료기기일 수 있다.
본 개시에서 '가전기기'는 가정에서 사용되는 전자 기기이다. 가전기기는 예를 들어, TV, 냉장고, 공기 청정기, 에어컨, 오디오 장치, 인덕션, 세탁기, 의류 관리기, 건조기, 식기세척기, 오븐, 전자레인지, 에어 프라이어, 반려 동물을 위한 자동 급식기, 정수기, 조명 장치, 또는 비데 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 가전기기는 동작 상태를 나타내는 음향 신호를 출력할 수 있다. 예를 들어, 가전기기는 기능의 시작, 종료, 또는 동작 중에 관한 상태 정보뿐만 아니라, 오류 또는 고장에 관한 음향 신호를 출력할 수 있다.
본 개시에서 '음향 신호'는 가청 주파수 범위 내의 소리를 전기적 파형으로 변환한 신호이다. 일 실시예에서, 음향 신호는 웨이브 파일(wave file) 형태일 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 음향 신호는 가전기기에 의해 출력될 수 있다.
본 개시에서, '웨이크 업 신호'는 전자 장치를 활성화하여 음성 인식 기능을 수행하는 음성 인식 모드로 전환하도록 하는 음향 신호이다. 전자 장치는 대기 모드 또는 슬립 모드(sleep mode)로 동작하다가, 웨이크 업 신호를 수신함에 따라 사용자로부터 음성 입력을 수신하기 위한 음성 인식 모드로 전환하는 웨이크 업(wake up) 동작을 수행할 수 있다. 일 실시예에서, 전자 장치는 웨이크 업 신호 감지 모듈을 통해 웨이크 업 신호를 감지하여, 웨이크 업 될 수 있다. 웨이크 업 신호는 예를 들어, '하이 빅스비' 또는 '헬로우 갤럭시' 등의 음성 신호를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다. 예를 들어, 웨이크 업 신호는 가전 기기에서 출력되는 음향 신호일 수도 있다. 이때, 음향 신호는 사용자에 의해 웨이크 업 신호로 미리 등록될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치(1000)가 가전기기(2000)에 의해 출력되는 음향 신호에 기초하여 가전기기(2000)의 동작 상태 정보를 출력하는 동작을 도시한 도면이다.
도 1을 참조하면, 전자 장치(1000)는 웨이크 업 신호를 인식하고, 웨이크 업 신호에 대응되는 동작 또는 기능을 수행하는 디바이스이다. 일 실시예에서, 전자 장치(1000)는 AI 스피커일 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 마이크로폰을 포함하는 다양한 종류의 장치일 수 있다. 예를 들어, 전자 장치(1000)는 태블릿 PC, 랩탑 PC(laptop personal computer), 워크스테이션, 웨어러블 디바이스(wearable device), 홈 카메라, 또는 모바일 의료기기일 수 있다.
가전기기(2000)는 동작 상태를 나타내는 음향 신호를 출력할 수 있다. 일 실시예에서, 가전기기(2000)는 기능의 시작, 종료, 또는 동작 중에 관한 상태 정보 뿐만 아니라, 오류 또는 고장에 관한 음향 신호를 출력할 수 있다. 여기서, 출력되는 음향 신호는 효과음, 벨소리, 멜로디, 음악, 또는 음성 신호 중 적어도 하나일 수 있다. 도 1에 도시된 실시예에서, 가전기기(2000)는 세탁기이고, 세탁의 종료를 나타내는 음향 신호를 출력하는 스피커(1500)를 포함할 수 있다.
전자 장치(1000)는 가전기기(2000)의 스피커(1500)에 의해 출력된 음향 신호를 수신하고, 수신된 음향 신호에 대응되는 동작 상태 정보를 식별할 수 있다. 일 실시예에서, 전자 장치(1000)는 가전기기(2000)로부터 수신된 음향 신호와 기 등록된 음향 신호를 비교하고, 비교 결과 수신된 음향 신호와 기 등록된 음향 신호가 동일하거나 또는 유사도가 기 설정된 임계치를 초과하는 경우, 가전기기(2000)로부터 수신된 음향 신호를 웨이크 업 신호로 인식하여, 웨이크 업(wake-up)될 수 있다. 일 실시예에서, 가전기기(2000)로부터 수신된 음향 신호가 기 등록된 음향 신호와 유사하지 않은 경우, 전자 장치(1000)는 음향 신호에 응답하는 동작을 수행하지 않고, 무시할 수 있다.
전자 장치(1000)는 웨이크 업 신호로 인식된 음향 신호를 데이터베이스 내에 기 저장된 음향 신호와 비교하고, 비교 결과 데이터베이스에 저장된 복수의 음향 신호 중 웨이크 업 신호로 수신된 음향 신호와 가장 유사한 음향 신호를 식별할 수 있다. 전자 장치(1000)는 식별된 음향 신호에 대응되는 동작 상태 정보를 식별하고, 데이터베이스로부터 동작 상태 정보를 획득할 수 있다. 도 1에 도시된 실시예에서, 전자 장치(1000)는 수신된 음향 신호에 대응되는 동작 상태 정보로서, '세탁 종료' 정보를 획득할 수 있다.
전자 장치(1000)는 동작 상태 정보를 나타내는 알림 메시지를 출력할 수 있다. 전자 장치(1000)는 스피커(1500, 도 2A 및 도 3 참조)를 통해 음성 형태의 알림 메시지를 출력할 수 있다. 일 실시예에서, 전자 장치(1000)는 동작의 주체를 나타내는 정보와 함께, 동작 상태 정보를 나타내는 알림 메시지를 출력할 수 있다. 도 1에 도시된 실시예에서, 전자 장치(1000)는 '세탁 종료'의 동작 상태 정보를 나타내는 알림 메시지로서, "세탁기에서 세탁이 완료되었습니다"는 음성 메시지를 출력할 수 있다.
일 실시예에서, 전자 장치(1000)는 동작 상태 정보를 모바일 단말(4000)에 전송할 수 있다. 모바일 단말(4000)은 스마트 폰(smart phone), 태블릿 PC, 디지털 카메라, 전자북 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 또는 MP3 플레이어 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 모바일 단말(4000)은 웨어러블 디바이스일 수도 있다. 웨어러블 디바이스는 사용자에 의해 착용되는 디바이스로서, 액세서리 형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있다. 도 1에 도시된 실시예에서, 모바일 단말(4000)은 스마트 폰일 수 있다.
모바일 단말(4000)은 전자 장치(1000)로부터 동작 상태 정보를 수신하고, 수신된 동작 상태 정보를 나타내는 알림 메시지(4100)를 출력할 수 있다. 일 실시예에서, 모바일 단말(4000)는 가전기기(2000)의 동작 상태 정보를 나타내는 알림 메시지(4100)를 팝 업 메시지(pop-up message) 형태로 디스플레이할 수 있다. 다른 실시예에서, 모바일 단말(4000)은 가전기기(2000)의 동작 상태 정보를 나타내는 음성 형태의 알림 메시지를 스피커를 통해 출력할 수도 있다.
AI 스피커와 같은 IoT 기능을 갖는 디바이스는 네트워크 기능을 갖추지 않은 구형 가전기기와는 연결할 수 없다. IoT 디바이스가 네트워크 기능을 갖지 않는 구형 가전기기와 연결되지 않는 경우, 가전기기의 동작 상태 알림을 제공하거나 가전기기를 제어할 수 없으므로, 사용자 편의성이 저하될 수 있다. 구형 가전기기의 경우 네트워크 모듈을 추가로 장착하는 것이 어렵고, 네트워크 모듈을 추가로 장착하더라도 IoT 기능을 적용하기 위해서는 관련 소프트웨어 추가로 개발하여야 하므로, 효율성이 낮아진다. IoT 기능을 갖는 디바이스가 가전기기의 동작 상태 알림을 제공하거나, 가전기기를 제어하기 위해서는 기존 보유 중인 구형 가전기기를 최신 가전기기로 교체할 수 밖에 없다. 이 경우 비용이 많이 발생된다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 가전기기(2000)로부터 출력되는 음향 신호를 인식하고, 음향 신호에 대응되는 동작 상태 정보를 식별하며, 동작 상태 정보를 나타내는 알림 메시지를 출력하는 바, 가전기기(2000)가 네트워크 기능을 포함하지 않지 않더라도 전자 장치(1000)는 가전기기(2000)와 관련된 IoT 기능을 제공할 수 있다. 따라서, 본 개시의 전자 장치(1000)는 사용 만족도 및 편의성을 향상시킬 수 있다. 또한, 본 개시의 전자 장치(1000)는 신규 IoT 기기를 추가 구매할 필요 없이, 기존 가전기기(2000)의 동작 상태 정보를 나타내는 알림 메시지를 출력함으로써, 비용 부담을 없앨 수 있어 경제적 효용성을 향상시키고, 기존 가전기기(2000)의 기능 활용도를 높일 수 있다.
도 2a는 본 개시의 전자 장치(1000)가 가전기기(2000)에 의해 출력되는 음향 신호에 기초하여 가전기기(2000)의 동작 상태 정보를 출력하고, 모바일 단말(4000)에 동작 상태 정보를 전송하는 실시예를 도시한 도면이다.
도 2a는 구성 요소들 간의 데이터 송수신과 동작 수행을 설명하기 위한 도면으로서, 도 2a에 도시된 화살표는 데이터의 송수신 방향을 나타낸다.
도 2a를 참조하면, 전자 장치(1000)는 마이크로폰(1100), 웨이크 업 신호 감지 모듈(1310), 통신 인터페이스(1400), 스피커(1500), 및 웨이크 업 신호 데이터베이스(1600)를 포함할 수 있다. 도 2a에는 전자 장치(1000)의 기능 및/또는 동작을 설명하기 위한 필수적인 구성 요소만 도시되었다. 전자 장치(1000)가 포함하고 있는 구성이 도 2a에 도시된 바와 같이 한정되는 것은 아니다. 전자 장치(1000)의 구성 요소에 대해서는 도 3에서 상세하게 설명하기로 한다.
전자 장치(1000)는 마이크로폰(1100)을 통해 가전기기(2000)의 스피커(1500)에 의해 출력되는 음향 신호를 수신할 수 있다. 마이크로폰(1100)을 통해 수신되는 '음향 신호'는 효과음, 벨소리, 멜로디, 음악, 또는 음성 신호 중 적어도 하나일 수 있다. 마이크로폰(1100)은 가전기기(2000)에 의해 출력된 음향 신호로부터 노이즈(예를 들어, 비 음향 성분)를 제거하는 전처리 동작을 수행할 수 있다. 마이크로폰(1100)은 음향 신호를 웨이크 업 신호 감지 모듈(1310)에 전송한다.
웨이크 업 신호 감지 모듈(1310)은 가전기기(2000)에 의해 출력되는 음향 신호들 중에서 특정 음향 신호를 웨이크 업 신호(wake-up signal)로 인식하도록 구성되는 모듈이다. 웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호로 인식한 음향 신호를 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n)와 비교하고, 비교 결과에 따라 복수의 음향 신호(1610-1 내지 1610-n) 중 가전기기(2000)로부터 수신된 음향 신호에 대응되는 음향 신호를 식별할 수 있다. 웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 동작 상태 정보(1620-1 내지 1620-n) 중 식별된 음향 신호에 매핑된 동작 상태 정보를 추출할 수 있다.
웨이크 업 신호 데이터베이스(1600)는, 가전기기(2000)로부터 음향 신호가 수신되는 시점 이전에 기 획득된 음향 신호 및 기 획득된 음향 신호에 대응되는 가전기기(2000)의 동작 상태 정보를 저장하는 데이터베이스이다. 웨이크 업 신호 데이터베이스(1600)에는 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 음향 신호(1610-1 내지 1610-n) 각각에 관한 복수의 동작 상태 정보(1620-1 내지 1620-n)가 저장되어 있을 수 있다. 일 실시예에서, 복수의 음향 신호(1610-1 내지 1610-n)는 대응되는 복수의 동작 상태 정보(1620-1 내지 1620-n)와 페어링(pairing)되어 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 일 실시예에서, 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 동작 상태 정보(1620-1 내지 1620-n)는 키-밸류 타입으로 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 예를 들어, 복수의 음향 신호(1610-1 내지 1610-n)는 키(key)로서, 대응되는 복수의 동작 상태 정보(1620-1 내지 1620-n)는 밸류(value)로서, 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다.
복수의 음향 신호(1610-1 내지 1610-n)는 웨이브 파일(wave file) 형태일 수 있다. 그러나, 이에 한정되지 않고, 복수의 음향 신호(1610-1 내지 1610-n)는 이진 형태로 인코딩된 바이너리 데이터(binary data) 파일 형태로 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다.
복수의 동작 상태 정보(1620-1 내지 1620-n)는 가전기기(2000)의 동작 상태에 관한 정보뿐만 아니라, 가전기기(2000)의 디바이스 정보(예를 들어, 디바이스 식별 정보, 디바이스 타입 등)를 더 포함할 수 있다. 예를 들어, 제1 동작 상태 정보(1620-1)는 세탁기의 세탁 시작 정보이고, 제2 동작 상태 정보(1620-2)는 식기 세척기의 세척 완료 정보일 수 있다.
일 실시예에서, 복수의 동작 상태 정보(1620-1 내지 1620-n)는 가전기기(2000)의 동작 상태뿐만 아니라, 가전기기(2000)의 오류 또는 고장에 관한 정보를 포함할 수도 있다. 예를 들어, 제n 동작 상태 정보(1620-n)는 세탁기의 도어 고장에 관한 정보일 수 있다.
일 실시예에서, 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 동작 상태 정보(1620-1 내지 1620-n)는 등록 과정을 통해 수신된 사용자 입력에 의해 획득되고, 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 그러나 이에 한정되는 것은 아니고, 다른 실시예에서 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 동작 상태 정보(1620-1 내지 1620-n)는 서버로부터 획득될 수도 있다.
웨이크 업 신호 감지 모듈(1310)은 마이크로폰(1100)을 통해 수신된 음향 신호와 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n) 간의 유사도를 측정할 수 있다. 일 실시예에서, 웨이크 업 신호 감지 모듈(1310)은 수신된 음향 신호를 주파수 샘플링, 오프셋(offset) 처리 등 전처리하고, 전처리된 음향 신호를 MFCCs(Mel-frequency cepstrum), FBANK(Filter-bank), 또는 fMLLR(Feature space Maximum Likelihood Linear Regression) 중 적어도 하나를 이용하여 음향 특징 벡터로 변환할 수 있다. 웨이크 업 신호 감지 모듈(1310)은 분류기(classifier)를 이용하여 음향 특징 벡터를 특정 음향 신호로 분류하고, 분류 결과를 나타내는 확률값에 기초하여 복수의 음향 신호(1610-1 내지 1610-n)과의 유사도를 측정할 수 있다. 웨이크 업 신호 감지 모듈(1310)은 예를 들어, kaldi와 같은 오픈소스 알고리즘을 사용하여 음향 신호 간의 유사도를 측정할 수 있다.
그러나, 웨이크 업 신호 감지 모듈(1310)이 수신된 음향 신호와 복수의 음향 신호(1610-1 내지 1610-n) 간의 유사도를 측정하는 방법이 전술한 방법으로 한정되는 것은 아니다. 예를 들어, 웨이크 업 신호 감지 모듈(1310)은 음향 신호의 주파수의 파형 간의 상관 관계(cross-correlation)을 계산하는 알고리즘을 이용하거나, 코사인 유사도(cosine similarity)를 이용하거나, 또는 공지의 음향 신호 유사도 측정 방법을 사용할 수도 있다.
웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 음향 신호(1610-1 내지 1610-n) 중 측정된 유사도가 최대인 음향 신호를 식별할 수 있다.
웨이크 업 신호 감지 모듈(1310)은, 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 동작 상태 정보(1620-1 내지 1620-n) 중 식별된 음향 신호에 대응되도록 매핑된 동작 상태 정보를 식별할 수 있다. 예를 들어, 복수의 음향 신호(1610-1 내지 1610-n) 중 측정된 유사도가 최대인 음향 신호가 제1 음향 신호(1610-1)인 경우, 웨이크 업 신호 감지 모듈(1310)은 제1 음향 신호(1610-1)와 키-밸류 타입으로 매핑된 제1 동작 상태 정보(1620-1)를 식별할 수 있다.
웨이크 업 신호 감지 모듈(1310)은 식별된 동작 상태 정보를 추출하여, 스피커(1500)에 제공하거나 또는 통신 인터페이스(1400)에 전달할 수 있다.
스피커(1500)는 웨이크 업 신호 감지 모듈(1310)로부터 제공받은 동작 상태 정보를 나타내는 알림 메시지를 출력할 수 있다. 일 실시예에서, 스피커(1500)는 동작 상태 정보를 나타내는 음성 메시지를 출력할 수 있다. 그러나, 이에 한정되는 것은 아니고, 스피커(1500)는 동작 상태 정보에 따라 기 설정된 효과음, 벨소리, 멜로디, 음악, 또는 노래 중 적어도 하나를 포함하는 알림음을 출력할 수도 있다.
통신 인터페이스(1400)는 유선 또는 무선 통신 네트워크를 통해 동작 상태 정보를 사용자의 모바일 단말(4000)에 전송할 수 있다. 통신 인터페이스(1400)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 모바일 단말(4000)에 동작 상태 정보를 전송할 수 있다.
모바일 단말(4000)은 전자 장치(1000)의 통신 인터페이스(1400)로부터 수신된 동작 상태 정보를 나타내는 알림 메시지(4100)를 디스플레이할 수 있다. 일 실시예에서, 모바일 단말(4000)은 팝 업 메시지 형태로 알림 메시지(4100)를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 모바일 단말(4000)은 스피커를 통해, 동작 상태 정보를 나타내는 음성 형태의 알림 메시지를 출력할 수도 있다.
모바일 단말(4000)은 전자 장치(1000)의 사용자의 사용자 계정(user account)과 동일한 사용자 계정을 통해 서버에 기 등록된 장치일 수 있다.
도 2b는 본 개시의 전자 장치(1000)가 가전기기(2000)에 의해 출력되는 음향 신호에 기초하여 가전기기(2000)의 동작 상태 정보를 출력하고, 모바일 단말(4000)을 통해 알림 메시지가 출력되는 실시예를 도시한 도면이다.
도 2b를 참조하면, 전자 장치(1000)는 마이크로폰(1100), 웨이크 업 신호 감지 모듈(1310), 통신 인터페이스(1400), 및 스피커(1500)를 포함할 수 있다. 도 2b에는 전자 장치(1000)의 기능 및/또는 동작을 설명하기 위한 필수적인 구성 요소만 도시되었다. 전자 장치(1000)가 포함하고 있는 구성이 도 2b에 도시된 바와 같이 한정되는 것은 아니다. 예를 들어, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600, 도 2a 참조)를 더 포함할 수 있다. 도 2b는 구성 요소들 간의 데이터 송수신과 동작 수행을 설명하기 위한 도면으로서, 도 2b에 도시된 화살표는 데이터의 송수신 방향을 나타낸다.
전자 장치(1000)는 마이크로폰(1100)을 통해 사용자로부터 음성 입력을 수신할 수 있다. '음성 입력'은 사용자에 의해 발화된 음성일 수 있다. 음성 입력은 웨이크 업 음성을 포함할 수 있다. '웨이크 업 음성'은 웨이크 업 신호 감지 모듈(1310)에 의해 수신되고, 음성 인식 기능을 수행하도록 전자 장치(1000)를 웨이크 업 하는 음성 명령어로서, 예를 들어, '하이 빅스비' 또는 '헬로우 갤럭시' 등을 포함할 수 있다. 도 2b에 도시된 실시예에서, 마이크로폰(1100)은 "하이 빅스비! 오늘 날씨 알려줘~"라는 사용자의 음성 입력을 수신할 수 있다.
일 실시예에서, 마이크로폰(1100)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다. 마이크로폰(1100)은 음성 신호를 웨이크 업 신호 감지 모듈(1310)에 전송할 수 있다.
웨이크 업 신호 감지 모듈(1310)은 마이크로폰(1100)으로부터 획득된 음성 신호에 포함되는 웨이크 업 신호(예컨대, 하이 빅스비에 대응하는 신호)를 인식할 수 있다. 웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호가 인식됨에 따라, 전자 장치(1000)를 대기 모드로부터 음성 인식 기능을 활성화하는 음성 인식 모드로 전환할 수 있다. 전자 장치(1000)가 음성 인식 모드로 전환됨에 따라, 웨이크 업 신호 감지 모듈(1310)은 음성 신호를 통신 인터페이스(1400)에 제공할 수 있다.
통신 인터페이스(1400)는 웨이크 업 신호 감지 모듈(1310)로부터 획득한 음성 신호를 서버(3000)로 전송할 수 있다. 통신 인터페이스(1400)의 기능 및/또는 동작은 도 2a에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
마이크로폰(1100)은 사용자로부터 음성 입력을 수신한 이후, 가전기기(2000)에 의해 출력되는 음향 신호를 수신할 수 있다.
웨이크 업 신호 감지 모듈(1310)은 사용자로부터 수신된 음성 입력에 포함된 웨이크 업 신호를 인식하고, 음성 신호를 통신 인터페이스(1400)에 제공한 이후 동작이 종료된다. 웨이크 업 신호 감지 모듈(1310)의 동작이 종료된 이후, 마이크로폰(1100)을 통해 수신된 가전기기(2000)의 음향 신호는 통신 인터페이스(1400)로 전달될 수 있다. 통신 인터페이스(1400)는 음향 신호를 서버(3000)에 전송할 수 있다.
서버(3000)는 음향 신호 데이터베이스(3400)를 포함할 수 있다. 서버(3000)가 포함하는 구성 요소가 도 2b에 도시된 바와 같이 한정되는 것은 아니다. 서버(3000)의 구성 요소에 대해서는 도 14에서 상세하게 설명하기로 한다.
음향 신호 데이터베이스(3400)는 가전 기기들과 관련된 복수의 음향 신호(3410-1 내지 3410-n) 및 복수의 음향 신호(3410-1 내지 3410-n) 각각과 관련된 가전 기기들의 복수의 동작 상태 정보(3420-1 내지 3420-n)를 저장하는 데이터베이스이다. 일 실시예에서, 복수의 음향 신호(3410-1 내지 3410-n)와 복수의 동작 상태 정보(3420-1 내지 3420-n)는 키-밸류(key-value) 타입으로 음향 신호 데이터베이스(3400)에 저장되어 있을 수 있다.
서버(3000)는 전자 장치(1000)로부터 수신된 음향 신호와 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호(3410-1 내지 3410-n) 간의 유사도를 측정하고, 복수의 음향 신호(3410-1 내지 3410-n) 중 측정된 유사도가 최대값인 음향 신호를 식별할 수 있다. 서버(3000)가 음향 신호 간 유사도를 측정하는 방법은 도 2a의 웨이크 업 신호 감지 모듈(1310)가 수행하는 방법과 동일하므로, 중복되는 설명은 생략한다. 서버(3000)는 식별된 음향 신호에 대응되도록 매핑된 동작 상태 정보를 식별할 수 있다. 예를 들어, 복수의 음향 신호(3410-1 내지 3410-n) 중 전자 장치(1000)로부터 수신된 음향 신호와의 유사도가 최대값인 음향 신호가 제2 음향 신호(3410-2)인 경우, 서버(3000)는 제2 음향 신호(3410-2)와 키-밸류 타입으로 매핑된 제2 동작 상태 정보(3420-2)를 식별할 수 있다. 서버(3000)는 식별된 동작 상태 정보를 추출하여, 전자 장치(1000)에 전송할 수 있다.
전자 장치(1000)는 통신 인터페이스(1400)를 통해 서버(3000)로부터 동작 상태 정보를 수신할 수 있다. 통신 인터페이스(1400)는 동작 상태 정보를 스피커(1500)에 제공하고, 스피커(1500)는 제공받은 동작 상태 정보를 나타내는 알림 메시지를 출력할 수 있다.
서버(3000)는 동작 상태 정보를 모바일 단말(4000)에 전송할 수도 있다. 모바일 단말(4000)은 서버(3000)로부터 수신된 동작 상태 정보를 나타내는 알림 메시지(4100)를 디스플레이할 수 있다. 일 실시예에서, 모바일 단말(4000)은 팝 업 메시지 형태로 알림 메시지(4100)를 디스플레이할 수 있다.
도 2b에는 도시되지 않았지만, 서버(3000)는 전자 장치(1000)의 통신 인터페이스(1400)로부터 수신된 음성 신호, 즉 사용자의 발화에 관한 응답 메시지를 생성할 수 있다. 일 실시예에서, 서버(3000)는 ASR 모델(Automatic Speech Recognition)을 이용하여 수신된 음성 신호를 컴퓨터로 판독 가능한 텍스트로 변환하고, NLU 모델(Natural Language Understanding)을 이용하여 텍스트에 포함되는 도메인, 인텐트(intent), 및 파라미터(parameter)을 인식하며, NLG 모델(Natural Language Generation)을 이용하여 도메인, 인텐트 및 파라미터에 대응되는 응답 메시지를 생성할 수 있다. 서버(3000)는 생성된 응답 메시지를 전자 전자 장치(1000)에 전송할 수 있다. 전자 장치(1000)는 통신 인터페이스(1400)를 통해 응답 메시지를 수신하고, 수신된 응답 메시지를 스피커(1500)를 통해 출력할 수 있다.
도 2a에 도시된 실시예에서, 전자 장치(1000)는 웨이크 업 신호 감지 모듈(1310)을 통해 가전기기(2000)에 의해 출력되는 음향 신호를 웨이크 업 신호로 인식하고, 음향 신호에 대응되는 동작 상태 정보를 획득하며, 동작 상태 정보를 출력할 수 있다. 도 2a에 도시된 실시예는 전자 장치(1000)가 서버(3000, 도 2b 참조)의 개입 없이, 온 디바이스(on-device) 상태로 동작하는 실시예이므로, 별도의 네트워크 비용이 발생되지 않고, 처리 속도가 빠르다. 또한, 등록 절차를 통해 웨이크 업 신호 데이터베이스(1600)에 가전기기(2000)의 음향 신호를 미리 저장해두면 동작할 수 있으므로, 편리하고 사용자 편의성을 향상시킬 수 있다.
도 2b에 도시된 실시예에는, 도 2a의 실시예와는 달리 가전기기(2000) 뿐만 아니라, 사용자에 의해 발화된 음성 입력이 수신되는 경우이다. 도 2b의 실시예에서, 전자 장치(1000)는 사용자로부터 수신된 음성 입력에 포함되는 웨이크 업 신호에 의해 대기 모드(또는 슬립 모드)로부터 음성 인식 모드로 전환되는 웨이크 업 동작을 수행하며, 웨이크 업 된 이후에는 수신되는 모든 음성 신호 및 음향 신호를 서버(3000)로 전송한다. 가전기기(2000)에 의해 출력된 음향 신호는 서버(3000)로 전송되고, 서버(3000)는 음향 신호에 대응되는 동작 상태 정보를 다시 전자 장치(1000)에 전송할 수 있다. 도 2b에 도시된 실시예는 전자 장치(1000)가 통신 네트워크를 이용하므로, 네트워크 비용이 발생될 수 있다. 서버(3000)는 온 디바이스 보다 상대적으로 많은 음향 신호와 관련 동작 상태 정보를 저장할 수 있다. 따라서, 도 2b에 도시된 실시예는 도 2a의 실시예에서 식별할 수 없는 음향 신호에 대해서도 식별하여 동작 상태 정보를 제공할 수 있고, 따라서 가전기기(2000)로부터 출력되는 음향 신호의 인식 정확도가 높을 수 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성 요소를 도시한 블록도이다.
전자 장치(1000)는 웨이크 업 신호를 인식하고, 웨이크 업 신호에 대응되는 동작 또는 기능을 수행하는 디바이스이다. 일 실시예에서, 전자 장치(1000)는 AI 스피커일 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 태블릿 PC, 랩탑 PC(laptop personal computer), 워크스테이션, 웨어러블 디바이스(wearable device), 홈 카메라, 또는 모바일 의료기기일 수 있다.
도 3을 참조하면, 전자 장치(1000)는 마이크로폰(1100), 프로세서(1200), 메모리(1300), 통신 인터페이스(1400), 스피커(1500), 및 웨이크 업 신호 데이터베이스(1600)를 포함할 수 있다. 마이크로폰(1100), 프로세서(1200), 메모리(1300), 통신 인터페이스(1400), 스피커(1500), 및 웨이크 업 신호 데이터베이스(1600)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
마이크로폰(1100)은 음향 신호 또는 음성 신호를 수신할 수 있다. 일 실시예에서, 마이크로폰(1100)은 가전기기(2000, 도 1, 도 2a, 도 2b 참조)에 의해 출력되는 음향 신호를 수신할 수 있다. '음향 신호'는 효과음, 벨소리, 멜로디, 음악, 또는 음성 신호 중 적어도 하나일 수 있다.
일 실시예에서, 마이크로폰(1100)은 사용자에 의해 발화된 음성 입력을 수신할 수 있다. 마이크로폰(1100)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다.
마이크로폰(1100)은 음향 신호 또는 음성 신호를 프로세서(1200)에 제공할 수 있다.
프로세서(1200)는 메모리(1300)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 한정되는 것은 아니다.
도 3에는 프로세서(1200)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 일 실시예에서, 프로세서(1200)는 하나 또는 하나 이상의 복수 개로 구성될 수 있다.
일 실시예에서, 프로세서(1200)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다.
메모리(1300)에는 가전기기(2000)에 의해 출력된 음향 신호에 기초하여, 음향 신호에 대응되는 동작 상태 정보를 출력하기 위한 명령어들(instruction)을 포함하는 프로그램이 저장될 수 있다. 메모리(1300)에는 프로세서(1200)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(1200)는 메모리(1300)에 저장된 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
메모리(1300)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 또는 광 디스크 중 적어도 하나의 타입의 저장매체로 구성될 수 있다.
메모리(1300)에는 웨이크 업 신호 감지 모듈(1310)에 관한 데이터가 저장되어 있을 수 있다. 메모리(1300)에 포함되는 '모듈'은 프로세서(1200)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.
이하의 실시예에서, 프로세서(1200)는 메모리(1300)에 저장된 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
웨이크 업 신호 감지 모듈(1310)은 음향 신호 또는 음성 신호로부터 웨이크 업 신호(wake-up signal)를 인식하도록 구성되는 모듈이다. 웨이크 업 신호 감지 모듈(1310)에 의해 웨이크 업 신호를 인식함에 따라, 전자 장치(1000)는 대기 모드 또는 슬립 모드(sleep mode)로부터 음성 인식 모드로 전환하는 웨이크 업 동작을 수행할 수 있다.
일 실시예에서, 웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호로 인식한 음향 신호를 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호와 비교하고, 비교 결과에 따라 복수의 음향 신호 중 수신된 음향 신호에 대응되는 음향 신호를 식별하도록 구성된다.
프로세서(1200)는 마이크로폰(1100)을 통해 음향 신호 또는 음성 신호를 수신할 수 있다. 가전기기(2000)에 의해 출력된 음향 신호가 마이크로폰(1100)을 통해 수신되는 경우, 프로세서(1200)는 웨이크 업 신호 감지 모듈(1310)의 명령어들 또는 프로그램 코드를 실행함으로써, 수신된 음향 신호와 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호를 비교하여, 복수의 음향 신호 중 대응되는 음향 신호를 식별할 수 있다.
일 실시예에서, 프로세서(1200)는 마이크로폰(1100)을 통해 수신된 음향 신호와 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 음향 신호 간의 유사도를 측정하고, 유사도에 기초하여 복수의 음향 신호 중 마이크로폰(1100)을 통해 수신된 음향 신호에 대응되는 음향 신호를 식별할 수 있다. 일 실시예에서, 프로세서(1200)는 수신된 음향 신호를 주파수 샘플링, 오프셋(offset) 처리 등 전처리하고, 전처리된 음향 신호를 음향 특징 벡터로 변환할 수 있다. 프로세서(1200)는 예를 들어, MFCCs(Mel-frequency cepstrum), FBANK(Filter-bank), 또는 fMLLR(Feature space Maximum Likelihood Linear Regression) 중 적어도 하나를 이용하여 음향 신호를 음향 특징 벡터로 변환할 수 있다. 프로세서(1200)는 분류기(classifier)를 이용하여 음향 특징 벡터가 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호로 분류될 수 있는 확률값을 산출할 수 있다. 분류기는 예를 들어, 로지스틱 회귀(Logistic regression), SVM(Support Vector Machine), Decision tree, 또는 랜덤 포레스트(random forest) 중 적어도 하나일 수 있다. 프로세서(1200)는 예를 들어, kaldi와 같은 오픈소스 알고리즘을 사용하여 음향 신호 간의 유사도를 측정할 수 있다.
프로세서(1200)는 산출된 확률값이 기 설정된 임계치를 초과하는 적어도 하나의 음향 신호를 추출하고, 추출된 적어도 하나의 음향 신호 중 확률값이 최대값인 음향 신호를 식별할 수 있다.
프로세서(1200)가 마이크로폰(1100)을 통해 수신된 음향 신호와 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 음향 신호 간의 유사도를 측정하는 방법이 전술한 실시예로 한정되는 것은 아니다. 다른 실시예에서, 프로세서(1200)는 음향 신호의 주파수의 파형 간의 상관 관계(cross-correlation)을 계산하는 알고리즘을 이용하거나, 코사인 유사도(cosine similarity)를 이용하거나, 또는 공지의 음향 신호 유사도 측정 방법을 이용하여, 음향 신호 간 유사도를 측정할 수도 있다.
프로세서(1200)는 웨이크 업 신호 데이터베이스(1600)로부터 식별된 음향 신호에 대응되는 동작 상태 정보를 식별할 수 있다. 웨이크 업 신호 데이터베이스(1600)는 복수의 음향 신호 및 복수의 음향 신호 각각에 관한 복수의 동작 상태 정보를 저장할 수 있다. 웨이크 업 신호 데이터베이스(1600)에는 복수의 음향 신호 각각에 대응되는 복수의 동작 상태 정보가 저장되어 있을 수 있다. 일 실시예에서, 복수의 음향 신호 및 복수의 동작 상태 정보는 키-밸류 타입으로 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 예를 들어, 복수의 음향 신호는 키(key)로서, 대응되는 복수의 동작 상태 정보는 밸류(value)로서, 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 프로세서(1200)는 식별된 음향 신호와 키-밸류 타입으로 매핑된 동작 상태 정보를 웨이크 업 신호 데이터베이스(1600)로부터 식별할 수 있다. 프로세서(1200)가 음향 신호 간의 유사도에 기초하여 웨이크 업 신호 데이터베이스(1600)로부터 동작 상태 정보를 식별하는 구체적인 실시예에 대해서는 도 8에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1200)는 식별된 동작 상태 정보를 웨이크 업 신호 데이터베이스(1600)로부터 추출하여 통신 인터페이스(1400)에 제공할 수 있다. 통신 인터페이스(1400)는 동작 상태 정보가 모바일 단말(4000)을 통해 알림 메시지 형태로 출력되도록, 모바일 단말(4000)에 동작 상태 정보를 전송할 수 있다.
다른 실시예에서, 프로세서(1200)는 동작 상태 정보를 스피커(1500)에 제공할 수 있다.
프로세서(1200)는 동작 상태 정보와 관련된 후속 동작을 통신 인터페이스(1400) 또는 스피커(1500)에 제공할 수 있다. 일 실시예에서, 웨이크 업 신호 데이터베이스(1600)는 복수의 음향 신호 및 복수의 동작 상태 정보뿐만 아니라, 복수의 동작 상태 정보 각각에 후속되는 동작으로 추천될 수 있는 후속 동작 정보를 더 저장할 수 있다. 웨이크 업 신호 데이터베이스(1600)에는 복수의 음향 신호, 복수의 동작 상태 정보, 및 복수의 후속 동작 정보가 서로 관련되는 정보끼리 페어링(pairing)되어 저장될 수 있다. 일 실시예에서, 프로세서(1200)는 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 후속 동작 정보 중 식별된 동작 상태 정보에 대응되는 후속 동작 정보를 추출하고, 추출된 후속 동작 정보를 통신 인터페이스(1400)를 통해 사용자의 모바일 단말(4000)로 전송하거나, 또는 스피커(1500)를 통해 음성 메시지 형태로 출력할 수 있다. 프로세서(1200)가 후속 동작 정보를 제공하는 구체적인 실시예에 대해서는 도 9 내지 도 12에서 상세하게 설명하기로 한다.
일 실시예에서, 전자 장치(1000)는 신규 가전기기를 서버(3000)에 등록할 수 있다. 프로세서(1200)는 애플리케이션을 통해, 신규 가전기기의 디바이스 식별 정보를 서버(3000)에 전송함으로써 신규 가전기기를 등록할 수 있다. 신규 가전기기는 전자 장치(1000)에 로그인된 사용자의 계정과 동일한 계정을 통해 서버(3000)에 등록될 수 있다. 웨이크 업 신호 데이터베이스(1600)에는 신규 가전기기의 디바이스 식별 정보 및 음향 신호가 저장되어 있지 않을 수 있다. 이 경우, 프로세서(1200)는 신규 가전기기의 디바이스 정보 및 신규 가전기기의 음향 신호를 제공해줄 것을 요청하는 신호를 서버(3000)에 전송할 수 있다. 일 실시예에서, 프로세서(1200)는 통신 인터페이스(1400)를 통해 서버(3000)에 웨이크 업 신호 감지 모듈(1310)을 업데이트 하기 위한 업데이트 데이터를 요청하고, 서버(3000)로부터 웨이크 업 신호 감지 모듈(1310)을 업데이트하기 위한 업데이트 데이터를 수신할 수 있다. 업데이트 데이터는 예를 들어, 신규 가전기기의 디바이스 식별 정보, 신규 가전기기에 의해 출력되는 신규 음향 신호, 및 신규 음향 신호에 대응되는 신규 동작 상태 정보를 포함할 수 있다. 프로세서(1200)는 서버(3000)로부터 수신된 업데이트 데이터를 이용하여 웨이크 업 신호 감지 모듈(1310)을 업데이트 할 수 있다. 프로세서(1200)가 서버(3000)로부터 수신된 업데이트 데이터를 이용하여 웨이크 업 신호 감지 모듈(1310)을 업데이트하는 실시예에 대해서는 도 13에서 상세하게 설명하기로 한다.
그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 마이크로폰(1100)을 이용하여 신규 가전기기에 의해 출력되는 신규 음향 신호를 수신하고, 수신된 신규 음향 신호를 웨이크 업 신호 데이터베이스(1600)에 저장할 수도 있다. 이 경우, 프로세서(1200)는 신규 가전기기에 의해 출력되는 신규 음향 신호를 신규 가전기기의 디바이스 식별 정보와 함께 웨이크 업 신호 데이터베이스(1600)에 저장할 수 있다.
마이크로폰(1100)을 통해 사용자로부터 발화된 웨이크 업 신호, 예를 들어 '하이 빅스비' 또는 '헬로우 갤럭시' 등과 같은 음성을 포함하는 음성 입력이 수신되는 경우, 프로세서(1200)는 웨이크 업 신호 감지 모듈(1310)과 관련된 명령어들 또는 프로그램 코드를 이용하여 음성 입력에 포함된 하이 빅스비를 웨이크 업 신호로 인식할 수 있다. 웨이크 업 신호가 인식된 이후, 프로세서(1200)는 웨이크 업 되고, 웨이크 업 된 이후 마이크로폰(1100)을 통해 수신된 가전기기(2000)의 음향 신호는 프로세서(1200)에 의해 인식되거나 처리되지 않고, 통신 인터페이스(1400)를 통해 서버(3000, 도 2b 참조)로 전송될 수 있다.
프로세서(1200)는 통신 인터페이스(1400)를 통해, 서버(3000)로부터 음향 신호에 대응되는 동작 상태 정보를 수신할 수 있다. 예를 들어, 서버(3000)는 전자 장치(1000)로부터 수신된 음향 신호를 음향 신호 데이터베이스(3400, 도 2b 참조)에 저장된 복수의 음향 신호(3410-1 내지 3410-n)과 비교하여 대응되는 음향 신호를 식별할 수 있다. 서버(3000)는, 식별된 음향 신호에 대응되되는 동작 상태 정보를 데이터베이스에서 검색할 수 있다. 서버(3000)는 검색된 동작 상태 정보를 전자 장치(1000)에 전송할 수 있다.
통신 인터페이스(1400)는 유선 또는 무선 통신 네트워크를 통해 서버(3000) 또는 모바일 단말(4000)과 데이터 송수신을 수행하도록 구성된다. 통신 인터페이스(1400)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 서버(3000) 또는 모바일 단말(4000)과 데이터 통신을 수행할 수 있다.
통신 인터페이스(1400)는 프로세서(1200)의 제어에 의해 동작 상태 정보를 서버(3000) 또는 모바일 단말(4000)에 전송할 수 있다. 일 실시예에서, 통신 인터페이스(1400)는 프로세서(1200)의 제어에 의해 음향 신호 또는 음성 신호를 서버(3000)에 전송할 수 있다.
스피커(1500)는 오디오 신호를 출력하도록 구성된다. 스피커(1500)는 프로세서(1200)의 제어에 의해 동작 상태 정보를 나타내는 알림 메시지를 출력할 수 있다. 일 실시예에서, 스피커(1500)는 동작 상태 정보를 나타내는 음성 메시지를 출력할 수 있다. 그러나, 이에 한정되는 것은 아니고, 스피커(1500)는 동작 상태 정보에 따라 기 설정된 효과음, 벨소리, 멜로디, 음악, 또는 노래 중 적어도 하나를 포함하는 알림음을 출력할 수도 있다.
도 3에는 도시되지 않았지만, 전자 장치(1000)는 디스플레이부를 더 포함할 수 있다. 일 실시예에서, 디스플레이부는 프로세서(1200)의 제어에 의해 알림 메시지를 문자 또는 그래픽 UI(Graphic User Interface) 형태로 디스플레이할 수 있다. 디스플레이부는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 또는 전기영동 디스플레이(electrophoretic display) 중 적어도 하나로 구성될 수 있다.
웨이크 업 신호 데이터베이스(1600)는 복수의 음향 신호 및 복수의 음향 신호와 관련되는 복수의 동작 상태 정보를 저장하는 저장 매체이다. 웨이크 업 신호 데이터베이스(1600)는 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리(Non-volatile memory)는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 의미한다. 비휘발성 메모리는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(Read Only Memory; ROM), 자기 디스크, 또는 광디스크 중 적어도 하나를 포함할 수 있다. 도 3에서 웨이크 업 신호 데이터베이스(1600)는 메모리(1300)와 별개의 구성 요소로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 웨이크 업 신호 데이터베이스(1600)는 메모리(1300) 내에 포함되거나, 또는 메모리(1300)와 통합되는 하나의 구성 요소일 수 있다. 그러나, 이에 한정되는 것은 아니고, 웨이크 업 신호 데이터베이스(1600)는 전자 장치(1000)에 포함되지 않은 외장 메모리 형태로 구현되거나 또는 통신 인터페이스(1400)를 통해 유무선 통신을 통해 연결되는 웹 기반 저장 매체로 구현될 수도 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다.
단계 S410에서, 전자 장치(1000)는 가전기기(2000)에 의해 출력되는 제1 음향 신호를 수신한다. 일 실시예에서, 전자 장치(1000)는 마이크로폰을 통해 가전기기(2000)의 스피커(1500)에 의해 출력되는 제1 음향 신호를 수신할 수 있다. 전자 장치(1000)가 마이크로폰을 통해 수신하는 '제1 음향 신호'는 효과음, 벨소리, 멜로디, 음악, 또는 음성 신호 중 적어도 하나일 수 있다.
일 실시예에서, 전자 장치(1000)는 가전기기(2000)에 의해 출력된 제1 음향 신호로부터 노이즈(예를 들어, 비 음향 성분)를 제거하는 전처리 동작을 수행할 수 있다.
단계 S420에서, 전자 장치(1000)는 제1 음향 신호를 웨이크 업 신호(wake-up signal)로 인식한다. 일 실시예에서, 제1 음향 신호는 웨이크 업 신호로서 미리 등록되어 있을 수 있다. 전자 장치(1000)는 수신된 제1 음향 신호를 웨이크 업 신호로 미리 등록된 음향 신호와 비교함으로써, 제1 음향 신호를 웨이크 업 신호로 인식할 수 있다. 비교 결과, 수신된 제1 음향 신호와 기 등록된 음향 신호가 동일하거나, 유사도가 기 설정된 임계치를 초과하는 경우, 전자 장치(1000)는 가전기기(2000)로부터 수신된 제1 음향 신호를 웨이크 업 신호로 인식할 수 있다. 제1 음향 신호를 웨이크 업 신호를 인식함에 따라, 전자 장치(1000)는 대기 모드 또는 슬립 모드(sleep mode)로 동작하다가, 음성 인식 기능을 수행하는 음성 인식 모드로 전환하도록 웨이크 업 될 수 있다.
다른 실시예에서, 가전기기(2000)로부터 수신된 제1 음향 신호가 기 등록된 음향 신호와 유사하지 않은 경우, 전자 장치(1000)는 음향 신호에 응답하는 동작을 수행하지 않고, 무시할 수 있다.
단계 S430에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600, 도 2a 및 도 3 참조)로부터 제1 음향 신호에 대응되는 제1 동작 상태 정보를 식별한다. 일 실시예에서, 전자 장치(1000)는 웨이크 업 신호 감지 모듈(1310, 도 2b 및 도 3 참조)을 이용하여, 제1 음향 신호와 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n, 도 2a 참조)와 비교하고, 비교 결과에 따라 복수의 음향 신호(1610-1 내지 1610-n) 중 단계 S410에서 가전기기(2000)로부터 수신된 제1 음향 신호에 대응되는 음향 신호를 식별할 수 있다. 일 실시예에서, 전자 장치(1000)는 단계 S410에서 가전기기(2000)로부터 수신된 제1 음향 신호와 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n) 간의 유사도를 측정하고, 복수의 음향 신호(1610-1 내지 1610-n) 중 측정된 유사도의 값이 최대인 음향 신호를 식별할 수 있다.
전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 동작 상태 정보(1620-1 내지 1620-n, 도 2a 참조) 중 식별된 음향 신호와 대응되도록 매핑된 제1 동작 상태 정보를 식별할 수 있다.
단계 S440에서, 전자 장치(1000)는 식별된 제1 동작 상태 정보를 나타내는 알림 메시지를 출력한다. 일 실시예에서, 전자 장치(1000)는 스피커(1500, 도 3 참조)를 통해 동작 상태 정보를 나타내는 음성 메시지를 출력할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 스피커를 통해 동작 상태 정보에 따라 기 설정된 효과음, 벨소리, 멜로디, 음악, 또는 노래 중 적어도 하나를 포함하는 알림음을 출력할 수도 있다.
일 실시예에서, 전자 장치(1000)는 알림 메시지를 문자 또는 GUI 형태로 디스플레이할 수도 있다.
도 5는 본 개시의 일 실시예에 따른 전자 장치(1000), 가전기기(2000), 및 모바일 단말(4000)의 동작 방법을 도시한 흐름도이다.
도 5는 전자 장치(1000)가 사용자에 의해 발화된 음성 입력을 수신하지 않고, 가전기기(2000)에 의해 출력되는 음향 신호만 수신하는 실시예를 도시한다.
단계 S510에서, 가전기기(2000)는 동작 상태에 따른 음향 신호를 출력한다. 가전기기(2000)는 기능 및/또는 동작의 시작, 종료, 동작 중에 관한 상태 정보에 관한 음향 신호 또는 오류, 고장에 관한 음향 신호를 출력할 수 있다. 가전기기(2000)에 의해 출력되는 음향 신호는 효과음, 벨소리, 멜로디, 음악, 또는 음성 신호 중 적어도 하나일 수 있다. 예를 들어, 가전기기(2000)가 세탁기인 경우, 가전기기(2000)는 세탁의 종료를 나타내는 음향 신호를 출력할 수 있고, 가전기기(2000)가 냉장고인 경우, 가전기기(2000)는 문 열림을 나타내는 음향 신호를 출력할 수 있고, 가전기기(2000)가 건조기인 경우 가전기기(2000)는 배수 호수 동결을 나타내는 에러 음향 신호를 출력할 수 있다.
단계 S520에서, 전자 장치(1000)는 가전기기(2000)에 의해 출력되는 음향 신호를 수신한다. 일 실시예에서, 전자 장치(1000)는 마이크로폰을 통해 가전기기(2000)에 의해 출력된 음향 신호를 수신할 수 있다. 마이크로폰은 수신된 음향 신호로부터 노이즈(예를 들어, 비 음향 성분)를 제거하는 전처리 동작을 수행할 수 있다.
단계 S530에서, 전자 장치(1000)는 음향 신호를 웨이크 업 신호로 인식하여, 웨이크 업 동작을 수행한다. 일 실시예에서, 전자 장치(1000)는 대기 모드 또는 슬립 모드(sleep mode)로 동작하다가, 가전기기(2000)로부터 음향 신호가 수신됨에 따라 음성 인식 기능으로 전환하는 웨이크 업 동작을 수행할 수 있다.
단계 S540에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600, 도 2a 및 도 3 참조)로부터, 가전기기(2000)에 의해 출력된 음향 신호에 대응되는 음향 신호를 식별한다. 일 실시예에서, 전자 장치(1000)는 단계 S520에서 가전기기(2000)로부터 수신된 음향 신호와 웨이크 업 신호 데이터베이스(1600, 도 2a 및 도 3 참조)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n, 도 2a 참조) 간의 유사도를 측정하고, 복수의 음향 신호(1610-1 내지 1610-n) 중 측정된 유사도의 값이 최대인 음향 신호를 식별할 수 있다.
단계 S550에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)로부터 식별된 음향 신호에 대응되도록 매핑된 동작 상태 정보를 식별한다. 일 실시예에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 동작 상태 정보(1620-1 내지 1620-n, 도 2a 참조) 중 식별된 음향 신호와 대응되도록 매핑된 동작 상태 정보를 식별할 수 있다. 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)로부터 동작 상태 정보를 추출할 수 있다.
단계 S560에서, 전자 장치(1000)는 추출된 동작 상태 정보를 모바일 단말(4000)에 전송한다. 전자 장치(1000)는 예를 들어, 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 동작 상태 정보를 모바일 단말(4000)에 전송할 수 있다.
단계 S570에서, 모바일 단말(4000)은 전자 장치(1000)로부터 동작 상태 정보를 수신하고, 동작 상태 정보를 나타내는 알림 메시지를 출력한다. 일 실시예에서, 모바일 단말(4000)은 팝 업 메시지 형태로 알림 메시지를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 모바일 단말(4000)은 스피커(1500, 도 3 참조)를 통해, 동작 상태 정보를 나타내는 음성 형태의 알림 메시지를 출력할 수도 있다.
도 6은 본 개시의 일 실시예에 따른 전자 장치(1000), 가전기기(2000), 서버(3000), 및 모바일 단말(4000)의 동작 방법을 도시한 흐름도이다.
도 6은 전자 장치(1000)가 사용자에 의해 발화된 음성 입력을 수신한 이후, 가전기기(2000)에 의해 출력되는 음향 신호를 수신하는 실시예를 도시한다.
도 6에서, 전자 장치(1000) 및 모바일 단말(4000)은 동일한 사용자 계정(user account)으로 서버(3000)에 기 등록된 장치일 수 있다.
단계 S610에서, 전자 장치(1000)는 사용자로부터 웨이크 업 음성을 수신함에 따라, 웨이크 업 동작을 수행한다. '웨이크 업 음성'은 대기 모드 또는 슬립 모드 상태인 전자 장치(1000)가 음성 인식 모드로 전환하여 음성 인식 기능을 수행하도록 하는 음성 명령어이다. 전자 장치(1000)는 예를 들어, 사용자에 의해 발화된 '하이 빅스비' 또는 '헬로우 갤럭시' 등과 같은 웨이크 업 음성을 수신할 수 있다.
전자 장치(1000)는 웨이크 업 음성을 웨이크 업 신호로 인식하여, 웨이크 업 동작을 수행한다. 일 실시예에서, 전자 장치(1000)는 웨이크 업 신호 감지 모듈(1310, 도 2b 및 도 3 참조)을 이용하여, 수신된 웨이크 업 음성을 미리 등록된 웨이크 업 신호와 비교하고, 비교 결과 미리 등록된 웨이크 업 신호와 동일하다고 판단한 경우 웨이크 업 동작을 수행할 수 있다.
단계 S611에서, 전자 장치(1000)는 사용자로부터 음성 입력을 수신한다. 일 실시예에서, 전자 장치(1000)는 마이크로폰(1100, 도 2b 및 도 3 참조)을 이용하여 음성 입력을 수신할 수 있다. '음성 입력'은 사용자에 의해 발화된 음성일 수 있다. 음성 입력은 예를 들어, "오늘 날씨 알려줘~"일 수 있다.
단계 S612에서, 전자 장치(1000)는 음성 입력을 음성 신호로 변환한다. 일 실시예에서, 전자 장치(1000)는 마이크로폰(1100)을 통해 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다.
단계 S613에서, 전자 장치(1000)는 음성 신호를 서버(3000)에 전송한다. 전자 장치(1000)는 예를 들어, 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 음성 신호를 서버(3000)에 전송할 수 있다.
단계 S620에서, 가전기기(2000)는 동작 상태에 따른 음향 신호를 출력한다. 가전기기(2000)는 기능 및/또는 동작의 시작, 종료, 동작 중에 관한 상태 정보에 관한 음향 신호 또는 오류, 고장에 관한 음향 신호를 출력할 수 있다. 단계 S620은 도 5에 도시된 S510과 동일하므로, 중복되는 설명은 생략한다.
단계 S630에서, 전자 장치(1000)는 가전기기(2000)로부터 출력되는 음향 신호를 수신한다. 수신된 음향 신호는 웨이크 업 신호로서 미리 등록된 음향 신호일 수 있다. 단계 S630은 도 5에 도시된 S520과 동일하므로, 중복되는 설명은 생략한다.
단계 S631에서, 전자 장치(1000)는 음향 신호를 서버(3000)로 전송한다. 일 실시예에서, 전자 장치(1000)는 음향 신호가 수신되더라도 웨이크 업 신호로 인식하지 않고, 음향 신호를 서버(3000)로 전송할 수 있다. 전자 장치(1000)는 예를 들어, 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 음향 신호를 서버(3000)에 전송할 수 있다.
단계 S640에서, 서버(3000)는 전자 장치(1000)로부터 수신된 음향 신호에 대응되는 음향 신호를 음향 신호 데이터베이스(3400, 도 2b 참조)에서 식별한다. 서버(3000)는 음향 신호 데이터베이스(3400)를 포함할 수 있다. 음향 신호 데이터베이스(3400)는 복수의 음향 신호(3410-1 내지 3410-n, 도 2b 참조) 및 복수의 음향 신호(3410-1 내지 3410-n) 각각에 관한 복수의 동작 상태 정보(3420-1 내지 3420-n, 도 2b 참조)를 저장하고 있을 수 있다. 일 실시예에서, 복수의 음향 신호(3410-1 내지 3410-n)와 복수의 동작 상태 정보(3420-1 내지 3420-n)는 키-밸류(key-value) 타입으로 음향 신호 데이터베이스(3400)에 저장되어 있을 수 있다.
서버(3000)는 전자 장치(1000)로부터 수신된 음향 신호와 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호(3410-1 내지 3410-n) 간의 유사도를 각각 측정하고, 복수의 음향 신호(3410-1 내지 3410-n) 중 측정된 유사도가 최대값인 음향 신호를 식별할 수 있다.
단계 S641에서, 서버(3000)는 음향 신호 데이터베이스(3400)에서 식별된 음향 신호에 대응되도록 매핑된 동작 상태 정보를 식별한다. 일 실시예에서, 서버(3000)는 식별된 음향 신호와 키-밸류 타입으로 음향 신호 데이터베이스(3400)에 저장된 동작 상태 정보를 추출할 수 있다. 예를 들어, 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호(3410-1 내지 3410-n) 중 전자 장치(1000)로부터 수신된 음향 신호와의 유사도가 최대값인 음향 신호가 제1 음향 신호인 경우, 서버(3000)는 제1 음향 신호와 키-밸류 타입으로 매핑된 제1 동작 상태 정보를 추출할 수 있다.
단계 S642에서, 서버(3000)는 동작 상태 정보를 전자 장치(1000)에 전송한다.
단계 S643에서, 서버(3000)는 동작 상태 정보를 모바일 단말(4000)에 전송한다. 도 6에는 서버(3000)가 동작 상태 정보를 전자 장치(1000)와 모바일 단말(4000)에 동시에 전송하는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 서버(3000)는 전자 장치(1000)에 동작 상태 정보를 전송하는 단계 S642를 모바일 단말(4000)에 전송하는 단계 S643 보다 먼저 수행할 수 있고, 반대로 단계 S643을 단계 S642 보다 먼저 수행할 수도 있다.
단계 S650에서, 전자 장치(1000)는 알림 메시지를 출력한다. 전자 장치(1000)는 동작 상태 정보를 나타내는 알림 메시지를 출력할 수 있다. 일 실시예에서, 전자 장치(1000)는 스피커를 통해 동작 상태 정보를 나타내는 음성 메시지를 출력할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 스피커를 통해 동작 상태 정보에 따라 기 설정된 효과음, 벨소리, 멜로디, 음악, 또는 노래 중 적어도 하나를 포함하는 알림음을 출력할 수도 있다.
단계 S660에서, 모바일 단말(4000)은 서버(3000)로부터 수신된 동작 상태 정보를 나타내는 알림 메시지를 출력한다. 일 실시예에서, 모바일 단말(4000)은 팝 업 메시지 형태로 알림 메시지를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 모바일 단말(4000)은 스피커를 통해, 동작 상태 정보를 나타내는 음성 형태의 알림 메시지를 출력할 수도 있다.
일 실시예에서, 서버(3000)는 동작 상태 정보를 나타내는 알림 메시지를 생성할 수도 있다. 이 경우, 서버(3000)는 NLG 모델(Natural Language Generation)(3316, 도 14 참조)을 이용하여 동작 상태 정보를 나타내는 알림 메시지를 생성할 수 있다. 생성된 알림 메시지는 텍스트 형태로 구성될 수 있다. 이 경우, 서버(3000)는 텍스트로 구성된 알림 메시지를 전자 장치(1000) 및 모바일 단말(4000)에 전송할 수 있다. 전자 장치(1000) 및 모바일 단말(4000) 각각은 서버(3000)로부터 수신된 알림 메시지를 출력할 수 있다.
도 7은 본 개시의 일 실시예에 따른 전자 장치(1000), 가전기기(2000), 서버(3000), 및 모바일 단말(4000)의 동작 방법을 도시한 흐름도이다.
도 7에서는 전자 장치(1000)가 가전기기(2000)에 의해 출력된 음향 신호를 먼저 수신한 이후, 사용자에 의해 발화된 음성 입력을 수신하는 경우를 예로 들어 설명하기로 한다. 예를 들어, 전자 장치(1000)는 세탁기의 종료음(웨이크 업 신호)을 먼저 수신하고, 이후 사용자로부터의 웨이크 업 음성(예컨대, 하이 빅스비) 및 음성 입력(예컨대, 오늘 날씨 알려줘)을 수신할 수 있다.
도 7에서, 전자 장치(1000) 및 모바일 단말(4000)은 동일한 사용자 계정(user account)으로 서버(3000)에 기 등록된 장치일 수 있다.
단계 S710에서, 가전기기(2000)는 동작 상태에 따른 음향 신호를 출력한다. 가전기기(2000)는 기능 및/또는 동작의 시작, 종료, 동작 중에 관한 상태 정보에 관한 음향 신호 또는 오류, 고장에 관한 음향 신호를 출력할 수 있다. 단계 S710은 도 5에 도시된 S510과 동일하므로, 중복되는 설명은 생략한다.
단계 S720에서, 전자 장치(1000)는 가전기기(2000)에 의해 출력된 음향 신호를 수신한다. 단계 S720은 도 5에 도시된 S520과 동일하므로, 중복되는 설명은 생략한다.
단계 S721에서, 전자 장치(1000)는 음향 신호를 웨이크 업 신호로 인식하여, 웨이크 업 동작을 수행한다. 단계 S721은 도 5에 도시된 단계 S530과 동일하므로, 중복되는 설명은 생략한다.
단계 S722에서, 전자 장치(1000)는 사용자로부터 발화된 음성 입력을 수신하는지 여부를 판단한다. 음성 입력은 예를 들어, "오늘 날씨 알려줘~" 일 수 있다.
사용자로부터 음성 입력이 수신되지 않은 경우(단계 S723), 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600, 도 2a 및 도 3 참조)로부터 가전기기(2000)로부터 수신된 음향 신호에 대응되는 음향 신호를 식별한다.
단계 S724에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)로부터 식별된 음향 신호에 대응되도록 매핑된 동작 상태 정보를 식별한다.
단계 S723 및 단계 S724는 도 5에 도시된 단계 S540 및 단계 S550과 각각 동일하므로, 중복되는 설명은 생략한다.
전자 장치(1000)가 사용자로부터 발화된 음성 입력을 수신하는 경우(단계 S725), 전자 장치(1000)는 음향 신호와 음성 신호를 서버(3000)에 전송한다. 전자 장치(1000)는 예를 들어, 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 음향 신호 및 음성 신호를 서버(3000)에 전송할 수 있다.
단계 S730에서, 서버(3000)는 음향 신호와 음성 신호를 분리한다. 일 실시예에서, 서버(3000)는 노이즈 캔슬링(noise canceling) 기능을 이용하여 음성 신호만을 추출하고, 음향 신호를 분리할 수 있다.
단계 S731에서, 서버(3000)는 분리된 음향 신호에 대응되는 음향 신호를 음향 신호 데이터베이스(3400)에서 식별한다. 일 실시예에서, 서버(3000)는 단계 S730에서 분리된 음향 신호를 음향 신호 데이터베이스(3400, 도 2b 참조)에 기 저장된 복수의 음향 신호(3410-1 내지 3410-n, 도 2b 참조)와 각각 비교하고, 비교 결과 대응되는 음향 신호를 식별할 수 있다. 일 실시예에서, 서버(3000)는 단계 S730에서 분리된 음향 신호와 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호(3410-1 내지 3410-n) 간의 유사도를 각각 측정하고, 복수의 음향 신호(3410-1 내지 3410-n) 중 측정된 유사도가 최대값인 음향 신호를 식별할 수 있다.
단계 S732에서, 서버(3000)는 음향 신호 데이터베이스(3400)에서 식별된 음향 신호에 대응되도록 매핑된 동작 상태 정보를 식별한다. 일 실시예에서, 서버(3000)는 음향 신호 데이터베이스(3400)에 기 저장된 복수의 동작 상태 정보(3420-1 내지 3420-n, 도 2b 참조) 중 식별된 음향 신호와 키-밸류 타입으로 매핑된 동작 상태 정보를 추출할 수 있다. 예를 들어, 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호(3410-1 내지 3410-n) 중 전자 장치(1000)로부터 수신된 음향 신호와의 유사도가 최대값인 음향 신호가 제1 음향 신호인 경우, 서버(3000)는 제1 음향 신호와 키-밸류 타입으로 매핑된 제1 동작 상태 정보를 추출할 수 있다.
단계 S733에서, 서버(3000)는 동작 상태 정보를 전자 장치(1000)에 전송한다.
단계 S734에서, 서버(3000)는 동작 상태 정보를 모바일 단말(4000)에 전송한다.
단계 S740에서, 전자 장치(1000)는 동작 상태 정보를 나타내는 알림 메시지를 출력한다. 단계 S740은 도 6에 도시된 S650과 동일하므로, 중복되는 설명은 생략한다.
단계 S750에서, 모바일 단말(4000)은 동작 상태 정보를 나타내는 알림 메시지를 출력한다. 단계 S750은 도 6에 도시된 S660과 동일하므로, 중복되는 설명은 생략한다.
도 7에 도시된 실시예에서, 전자 장치(1000)는 웨이크 업 음성 이후에, 사용자로부터 음성 입력이 수신되는지 여부에 따라 가전기기(2000)에 의해 출력되는 음향 신호를 처리할 지 여부가 결정된다.
구체적으로, 사용자로부터 음성 입력이 수신되는 경우(단계 S725), 전자 장치(1000)는 음향 신호 및 음성 신호를 모두 서버(3000)에 전송하고, 서버(3000)가 음향 신호에 대응되는 동작 상태 정보를 식별하여 전자 장치(1000)에 전송한다. 전자 장치(1000)는 서버(3000)로부터 수신된 동작 상태 정보를 나타내는 알림 메시지를 출력한다.
사용자로부터 음성 입력이 수신되지 않는 경우(단계 S722), 전자 장치(1000)는 서버(3000)의 개입없이, 온 디바이스(on-device)로 웨이크 업 신호 데이터베이스(1600)로부터 음향 신호에 대응되는 동작 상태 정보를 식별하고, 식별된 동작 상태 정보를 나타내는 알림 메시지를 출력한다.
도 8은 본 개시의 일 실시예에 따른 전자 장치(1000)가 가전기기에 의해 출력된 음향 신호에 대응되는 동작 상태 정보를 식별하는 방법을 도시한 흐름도이다.
도 8에 도시된 S810 내지 S830은 도 4에 도시된 단계 S420을 구체화한 단계들이다. 도 8에 도시된 단계 S840 및 S850은 도 4의 단계 S430을 구체화한 단계들이다. 도 8에 도시된 단계 S810은 도 4의 단계 S410이 수행된 이후에 수행된다. 도 8에 도시된 단계 S850이 수행된 이후에는 도 4의 단계 S440가 수행된다.
단계 S810에서, 전자 장치(1000)는 수신된 제1 음향 신호와 웨이크 업 신호 데이터베이스(1600, 도 2a 및 도 3 참조)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n, 도 2a 참조) 간의 유사도(similarity)를 각각 산출한다. 일 실시예에서, 전자 장치(1000)는 가전기기(2000)로부터 수신된 음향 신호를 주파수 샘플링, 오프셋(offset) 처리 등 전처리 하고, 전처리된 음향 신호를 음향 특징 벡터로 변환할 수 있다. 전자 장치(1000)는 예를 들어, MFCCs(Mel-frequency cepstrum), FBANK(Filter-bank), 또는 fMLLR(Feature space Maximum Likelihood Linear Regression) 중 적어도 하나를 이용하여 음향 신호를 음향 특징 벡터로 변환할 수 있다. 전자 장치(1000)는 분류기(classifier)를 이용하여 음향 특징 벡터가 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n, 도 2a 참조)로 분류될 수 있는 확률값을 산출할 수 있다. 분류기는 예를 들어, 로지스틱 회귀(Logistic regression), SVM(Support Vector Machine), Decision tree, 또는 랜덤 포레스트(random forest) 중 적어도 하나일 수 있다. 전자 장치(1000)는 산출된 확률값에 기초하여 가전기기(2000)로부터 수신된 음향 신호와 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n) 간의 유사도를 각각 산출할 수 있다. 확률값은 0 이상 1 이하의 범위 내의 값일 수 있다. 예를 들어, 확률값이 1에 가까울수록 유사도가 높음을 의미한다.
그러나, 전자 장치(1000)가 음향 신호의 유사도를 산출하는 방식이 전술한 방식으로 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 음향 신호의 주파수의 파형 간의 상관 관계(cross-correlation)을 계산하는 알고리즘 또는 코사인 유사도(cosine similarity)를 이용하거나, 또는 공지의 음향 신호 유사도 측정 방법을 이용하여, 음향 신호 간 유사도를 산출할 수도 있다.
단계 S820에서, 전자 장치(1000)는 산출된 유사도와 기 설정된 임계치를 비교한다.
비교 결과, 산출된 유사도가 기 설정된 임계치를 초과하는 경우(단계 S830), 전자 장치(1000)는 제1 음향 신호를 웨이크 업 신호로 인식하여 웨이크 업 동작을 수행한다. 일 실시예에서, 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 음향 신호 중 제1 음향 신호와의 산출된 유사도가 기 설정된 임계치를 초과하는 음향 신호는 하나 또는 그 이상의 복수일 수 있다.
일 실시예에서, 전자 장치(1000)는 대기 모드 또는 슬립 모드(sleep mode)로 동작하다가, 제1 음향 신호와 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 음향 신호 간의 유사도가 기 설정된 임계치를 초과하는 경우, 대기 모드에서 음성 인식 기능으로 전환하는 웨이크 업 동작을 수행할 수 있다.
단계 S840에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 음향 신호(1610-1 내지 1610-n) 중 산출된 유사도가 최대값인 음향 신호를 결정한다. 전자 장치(1000)는 복수의 음향 신호(1610-1 내지 1610-n) 중 단계 S810에서 산출된 유사도가 기 설정된 임계치를 초과하는 적어도 하나의 음향 신호를 추출할 수 있다. 일 실시예에서, 전자 장치(1000)는 추출된 적어도 하나의 음향 신호 중 산출된 유사도가 최대값인 음향 신호를 식별할 수 있다.
전자 장치(1000)는 식별된 음향 신호를 가전기기(2000)로부터 수신된 음향 신호에 대응되는 음향 신호로 결정할 수 있다.
단계 S850에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 동작 상태 정보(1620-1 내지 1620-n, 도 2a 참조) 중 식별된 음향 신호에 대응되는 동작 상태 정보를 식별한다. 웨이크 업 신호 데이터베이스(1600)에는 복수의 음향 신호(1610-1 내지 1610-n) 각각과 매핑된 복수의 동작 상태 정보(1620-1 내지 1620-n)가 저장되어 있을 수 있다. 일 실시예에서, 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 동작 상태 정보(1620-1 내지 1620-n)는 키(key)-밸류(value) 타입으로 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 전자 장치(1000)는 식별된 음향 신호와 키-밸류 타입으로 매핑된 동작 상태 정보를 웨이크 업 신호 데이터베이스(1600)로부터 식별할 수 있다.
비교 결과, 산출된 유사도가 기 설정된 임계치 이하인 경우(단계 S860), 전자 장치(1000)는 대기 모드를 유지한다. 예를 들어, 냉장고에 의해 출력된 음향 신호가 웨이크 업 신호 데이터베이스(1600)에 저장되어 있지 않은 경우, 전자 장치(1000)는 산출된 유사도가 기 설정된 임계치 이하인 것으로 판단하고, 웨이크 업 되지 않고, 대기 모드를 유지할 수 있다.
도 9는 본 개시의 일 실시예에 따른 전자 장치(1000)가 가전기기(2000)로부터 출력되는 음향 신호에 기초하여 가전기기(2000)의 동작 상태 정보 및 후속 동작 추천 정보를 출력하고, 모바일 단말(4000)에 동작 상태 정보 및 후속 동작 추천 정보를 전송하는 동작을 도시한 도면이다.
도 9를 참조하면, 전자 장치(1000)는 가전기기(2000)의 스피커(1500)에 의해 출력된 음향 신호를 수신하고, 수신된 음향 신호에 대응되는 동작 상태 정보 알림 메시지(910) 및 후속 동작 추천 메시지(920)를 출력할 수 있다. 전자 장치(1000)가 가전기기(2000)로부터 수신된 음향 신호를 웨이크 업 신호로 인식하여, 웨이크 업(wake-up)되고, 음향 신호에 대응되는 동작 상태 정보를 나타내는 알림 메시지(910)를 출력하는 실시예는 도 1 내지 도 8에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
후속 동작 정보는 동작 상태 정보와 관련하여 후속되는 동작으로서 사용자에게 추천되는 동작 정보이다. 예를 들어, 가전기기(2000)가 '세탁기'이고, 동작 상태 정보가 '세탁기의 도어 고장'인 경우, 후속 동작 정보는 '세탁기 고장 점검 및 수리에 관한 정보'일 수 있다. 예를 들어, 후속 동작 정보는 '고장 수리 센터 전화번호' 또는 '고장 수리 센터 위치 정보'를 포함할 수 있다.
전자 장치(1000)는 후속 동작 정보를 사용자에게 추천하는 후속 동작 추천 메시지(920)를 출력할 수 있다. 도 9에 도시된 실시예에서, 전자 장치(1000)는 후속 동작 추천 메시지(920)로서, "고장 부위의 점검 및 수리를 받아보시겠습니까? A/S 센터의 전화번호는 1588-XXXX입니다. 가까운 A/S 센터는 서울시 XX구 XXX길 XX 입니다."라는 메시지를 출력할 수 있다.
전자 장치(1000)는 동작 상태 정보 및 후속 동작 정보를 모바일 단말(4000)에 전송할 수 있다. 모바일 단말(4000)은 전자 장치(1000)로부터 동작 상태 정보 및 후속 동작 정보를 수신하고, 수신된 동작 상태 정보를 나타내는 알림 메시지(4100) 및 후속 동작을 추천하는 후속 동작 추천 메시지(4200)를 출력할 수 있다. 일 실시예에서, 모바일 단말(4000)는 가전기기(2000)의 동작 상태 정보를 나타내는 알림 메시지(4100) 및 동작 상태 정보에 따른 후속 동작 추천 메시지(4200)를 팝 업 메시지(pop-up message) 형태로 디스플레이할 수 있다. 일 실시예에서, 모바일 단말(4000)은 후속 동작 추천 메시지(4200)를 후속 동작을 수행할 수 있는 관련 애플리케이션을 실행하기 위한 '바로가기 링크' 형태로 디스플레이할 수 있다. 도 9에 도시된 실시예에서, 모바일 단말(4000)은 가전기기(2000)의 동작 상태 정보를 나타내는 알림 메시지(4100)로서, "세탁기 도어의 고장이 감지되었습니다."를 디스플레이하고, 후속 동작 추천 메시지(4200)로서, "세탁기 A/S 센터 전화 걸기"의 전화 애플리케이션 바로가기 링크(4210) 및 "세탁기 A/S 센터의 주소 찾아보기"의 지도 애플리케이션 바로가기 링크(4220)를 디스플레이할 수 있다.
다른 실시예에서, 모바일 단말(4000)은 가전기기(2000)의 동작 상태 정보 및 후속 동작을 추천하는 음성 메시지를 스피커를 통해 출력할 수도 있다.
도 9에 도시된 실시예에 따른 전자 장치(1000)는 가전기기(2000)로부터 출력되는 음향 신호에 기초하여 가전기기(2000)의 동작 상태 정보를 알리는 알림 메시지(910)를 출력할 뿐만 아니라, 가전기기(2000)의 동작 상태에 따른 후속 동작을 추천해주는 후속 동작 추천 메시지(920)를 함께 출력함으로써, 사용자 편의성을 향상시킬 수 있다. 특히, 가전기기(2000)의 동작 중단, 고장, 오류 등 동작 상태에 문제가 생겼을 때, 수리 센터의 전화 번호를 알려주거나, 또는 수리 센터의 주소를 알려줌으로써 사용자가 관련 후속 동작을 직접 찾아보지 않더라도 직관적으로 제공할 수 있으므로, 효율성이 향상되고 만족감이 향상될 수 있다.
전자 장치(1000)가 가전기기(2000)에 의해 출력되는 음향 신호에 따른 동작 상태 정보를 나타내는 알림 메시지(910)뿐만 아니라, 동작 상태 정보와 관련되는 후속 동작 정보에 관한 추천 메시지(920)를 출력하는 구체적인 방법에 대해서는 도 10 내지 도 12에서 상세하게 설명하기로 한다.
도 10은 본 개시의 전자 장치(1000)가 가전기기(2000)에 의해 출력되는 음향 신호에 기초하여 가전기기의 동작 상태 정보 및 후속 동작 추천 정보를 출력하고, 모바일 단말에 동작 상태 정보 및 후속 동작 추천 정보를 전송하는 실시예를 도시한 도면이다.
도 10을 참조하면, 전자 장치(1000)는 마이크로폰(1100), 웨이크 업 신호 감지 모듈(1310), 통신 인터페이스(1400), 스피커(1500), 및 웨이크 업 신호 데이터베이스(1600)를 포함할 수 있다. 도 10에는 전자 장치(1000)의 기능 및/또는 동작을 설명하기 위한 필수적인 구성 요소만 도시되었다. 전자 장치(1000)가 포함하고 있는 구성이 도 10에 도시된 바와 같이 한정되는 것은 아니다.
전자 장치(1000)는 마이크로폰(1100)을 통해 가전기기(2000)의 스피커(1500)에 의해 출력되는 음향 신호를 수신할 수 있다. 마이크로폰(1100)을 통해 수신되는 '음향 신호'는 효과음, 벨소리, 멜로디, 음악, 또는 음성 신호 중 적어도 하나일 수 있다.
웨이크 업 신호 감지 모듈(1310)은 가전기기(2000)에 의해 출력되는 음향 신호를 웨이크 업 신호(wake-up signal)로 인식하도록 구성되는 모듈이다. 웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호로 인식한 음향 신호를 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 음향 신호(1610-1 내지 1610-n)와 비교하고, 비교 결과에 따라 복수의 음향 신호(1610-1 내지 1610-n) 중 가전기기(2000)로부터 수신된 음향 신호에 대응되는 음향 신호를 식별할 수 있다. 웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호 데이터베이스(1600)에 기 저장된 복수의 동작 상태 정보(1620-1 내지 1620-n) 및 복수의 후속 동작 정보(1630-1 내지 1630-n) 중 식별된 음향 신호와 대응되도록 매핑된 동작 상태 정보 및 후속 동작 정보를 추출할 수 있다.
웨이크 업 신호 데이터베이스(1600)는, 기 획득된 가전기기(2000)의 음향 신호, 음향 신호가 나타내는 가전기기(2000)의 동작 상태 정보, 및 동작 상태 정보와 관련되어 추천되는 후속 동작에 관한 정보를 저장할 수 있다. 웨이크 업 신호 데이터베이스(1600)에는 복수의 음향 신호(1610-1 내지 1610-n), 복수의 음향 신호(1610-1 내지 1610-n) 각각에 관한 복수의 동작 상태 정보(1620-1 내지 1620-n), 및 복수의 동작 상태 정보(1620-1 내지 1620-n) 각각에 관련된 복수의 후속 동작 정보(1630-1 내지 1630-n)가 저장되어 있을 수 있다. 일 실시예에서, 복수의 음향 신호(1610-1 내지 1610-n)은 키(key)로서, 관련되는 복수의 동작 상태 정보(1620-1 내지 1620-n) 및 복수의 후속 동작 정보(1630-1 내지 1630-n)는 밸류(value)로서, 매핑되어 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다.
복수의 후속 동작 정보(1630-1 내지 1630-n)는 가전기기(2000)의 동작 상태와 관련하여 후속되는 동작으로서 사용자에게 추천되는 동작 정보이다. 일 실시예에서, 복수의 후속 동작 정보(1630-1 내지 1630-n)는 등록 과정을 통해 수신된 사용자 입력에 의해 획득되고, 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 그러나 이에 한정되는 것은 아니고, 복수의 후속 동작 정보(1630-1 내지 1630-n)는 서버(3000)로부터 획득될 수도 있다.
전술한 바와 같이, 복수의 후속 동작 정보(1630-1 내지 1630-n)는 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 동작 상태 정보(1620-1 내지 1620-n)과 각각 대응되도록 매핑되어 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 일 실시예에서, 하나의 동작 상태 정보에는 적어도 하나의 후속 동작 정보가 매핑될 수도 있다. 예를 들어, 동작 상태 정보가 '세탁기의 도어 고장'인 경우, 후속 동작 정보는 '고장 수리 센터 전화번호' 및 '고장 수리 센터 위치 정보'를 포함할 수 있다.
웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호 데이터베이스(1600)로부터 가전기기(2000)에 의해 출력된 음향 신호에 대응되는 동작 상태 정보를 식별하고, 동작 상태 정보를 추출할 수 있다. 웨이크 업 신호 감지 모듈(1310)이 가전기기(2000)로부터 수신된 음향 신호에 대응되는 동작 상태 정보를 식별하는 구체적인 실시예는 도 1 내지 도 8에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
웨이크 업 신호 감지 모듈(1310)은 식별된 동작 상태 정보와 대응되도록 매핑된 후속 동작 정보를 웨이크 업 신호 데이터베이스(1600)로부터 식별할 수 있다. 예를 들어, 가전기기(2000)로부터 수신한 음향 신호에 대응되는 신호로서 제1 음향 신호(1610-1)가 식별된 경우, 웨이크 업 신호 감지 모듈(1310)은 웨이크 업 신호 데이터베이스(1600)로부터 제1 음향 신호(1610-1)와 대응되도록 매핑된 제1 동작 상태 정보(1620-1) 및 제1 후속 동작 정보(1630-1)를 식별할 수 있다. 웨이크 업 신호 감지 모듈(1310)은 식별된 제1 동작 상태 정보(1620-1) 및 제1 후속 동작 정보(1630-1)를 웨이크 업 신호 데이터베이스(1600)로부터 추출할 수 있다.
웨이크 업 신호 감지 모듈(1310)은 추출된 동작 상태 정보 및 후속 동작 정보를 스피커(1500)에 제공하거나 또는 통신 인터페이스(1400)에 전달할 수 있다.
스피커(1500)는 웨이크 업 신호 감지 모듈(1310)로부터 제공받은 동작 상태 정보를 나타내는 알림 메시지 및 후속 동작 정보를 추천하는 후속 동작 추천 메시지를 출력할 수 있다. 일 실시예에서, 스피커(1500)는 동작 상태 정보 및 후속 동작 정보를 나타내는 음성 메시지를 출력할 수 있다.
통신 인터페이스(1400)는 유선 또는 무선 통신 네트워크를 통해 동작 상태 정보 및 후속 동작 정보를 사용자의 모바일 단말(4000)에 전송할 수 있다.
모바일 단말(4000)은 전자 장치(1000)의 통신 인터페이스(1400)로부터 동작 상태 정보 및 후속 동작 정보를 수신하고, 동작 상태 정보를 나타내는 알림 메시지(4100) 및 후속 동작을 추천하는 후속 동작 추천 메시지(4200)를 출력할 수 있다. 일 실시예에서, 모바일 단말(4000)은 후속 동작 추천 메시지(4200)를 후속 동작을 수행할 수 있는 관련 애플리케이션을 실행하기 위한 '바로가기 링크' 형태로 디스플레이할 수 있다. 예를 들어, 모바일 단말(4000)은 가전기기(2000)의 동작 상태 정보를 나타내는 알림 메시지(4100)로서, "세탁기 도어의 고장이 감지되었습니다."를 디스플레이하고, 후속 동작 추천 메시지(4200)로서, "세탁기 A/S 센터 전화 걸기"의 전화 애플리케이션 바로가기 링크(4210) 및 "세탁기 A/S 센터의 주소 찾아보기"의 지도 애플리케이션 바로가기 링크(4220)를 디스플레이할 수 있다.
도 11은 본 개시의 일 실시예에 따른 전자 장치(1000), 가전기기(2000), 및 모바일 단말(4000)의 동작 방법을 도시한 흐름도이다.
도 11은 전자 장치(1000)가 가전기기(2000)에 의해 출력되는 음향 신호를 수신하고, 수신된 음향 신호에 대응되는 동작 상태 정보 및 후속 동작 정보를 제공하는 실시예를 도시한다. 도 11에 도시된 실시예에서 전자 장치(1000)는 서버(3000)의 개입없이, 온-디바이스(on-device)로 음향 신호를 처리한다.
단계 S1110에서, 가전기기(2000)는 동작 상태에 따른 음향 신호를 출력한다. 가전기기(2000)는 기능 및/또는 동작의 시작, 종료, 동작 중에 관한 상태 정보에 관한 음향 신호 또는 오류, 고장에 관한 음향 신호를 출력할 수 있다. 단계 S1110은 도 5에 도시된 단계 S510과 동일하므로, 중복되는 설명을 생략한다.
단계 S1120에서, 전자 장치(1000)는 가전기기(2000)에 의해 출력되는 음향 신호를 수신한다.
단계 S1130에서, 전자 장치(1000)는 음향 신호를 웨이크 업 신호로 인식하여, 웨이크 업 동작을 수행한다.
단계 S1140에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600, 도 10 참조)로부터, 가전기기(2000)에 의해 출력된 음향 신호에 대응되는 음향 신호를 식별한다.
단계 S1150에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600, 도 10 참조)로부터 식별된 음향 신호에 대응되도록 매핑된 동작 상태 정보를 식별한다.
단계 S1120 내지 S1150은 도 5에 도시된 단계 S520 내지 S550과 각각 동일하므로, 중복되는 설명은 생략한다.
단계 S1160에서, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)로부터, 동작 상태 정보에 대응되도록 매핑된 후속 동작 정보를 식별한다. 웨이크 업 신호 데이터베이스(1600)에는 복수의 음향 신호(1610-1 내지 1610-n, 도 10 참조), 복수의 동작 상태 정보(1620-1 내지 1620-n, 도 10 참조), 및 복수의 후속 동작 정보(1630-1 내지 1630-n, 도 10 참조)가 저장되어 있을 수 있다. 일 실시예에서, 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 동작 상태 정보(1620-1 내지 1620-n)는 키-밸류 타입으로 매핑되어 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다. 예를 들어, 복수의 음향 신호(1610-1 내지 1610-n)는 키(key)로서, 대응되는 복수의 동작 상태 정보(1620-1 내지 1620-n) 및 복수의 후속 동작 정보(1630-1 내지 1630-n)는 밸류(value)로서, 매핑되어 웨이크 업 신호 데이터베이스(1600)에 저장될 수 있다.
전자 장치(1000)는 단계 S1150에서 식별된 동작 상태 정보와 대응되도록 매핑된 후속 동작 정보를 웨이크 업 신호 데이터베이스(1600)로부터 식별할 수 있다. 예를 들어, 식별된 동작 상태 정보가 제1 동작 상태 정보인 경우, 전자 장치(1000)는 웨이크 업 신호 데이터베이스(1600)로부터 제1 동작 상태 정보와 대응되도록 매핑된 제1 후속 동작 정보를 식별할 수 있다.
단계 S1170에서, 전자 장치(1000)는 동작 상태 정보 및 후속 동작 정보를 모바일 단말(4000)에 전송한다. 전자 장치(1000)는 예를 들어, 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 동작 상태 정보 및 후속 동작 정보를 모바일 단말(4000)에 전송할 수 있다.
단계 S1180에서, 모바일 단말(4000)은 전자 장치(1000)로부터 동작 상태 정보 및 후속 동작 정보를 수신하고, 동작 상태 정보를 나타내는 알림 메시지 및 후속 동작 정보를 추천하는 후속 동작 추천 메시지를 출력한다. 일 실시예에서, 모바일 단말(4000)은 팝 업 메시지 형태로 알림 메시지 및 후속 동작 추천 메시지를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 모바일 단말(4000)은 스피커를 통해, 동작 상태 정보 및 후속 동작 정보를 나타내는 음성 형태의 알림 메시지를 출력할 수도 있다.
도 12는 본 개시의 일 실시예에 따른 전자 장치(1000), 가전기기(2000), 서버(3000), 및 모바일 단말(4000)의 동작 방법을 도시한 흐름도이다.
도 12는 전자 장치(1000)가 사용자에 의해 발화된 음성 입력을 수신한 이후, 가전기기(2000)에 의해 출력되는 음향 신호를 수신하고, 음향 신호에 대응되는 동작 상태 정보 및 후속 동작 정보를 제공하는 실시예를 도시한다.
도 12에서, 전자 장치(1000) 및 모바일 단말(4000)은 동일한 사용자 계정(user account)으로 서버(3000)에 기 등록된 장치일 수 있다.
단계 S1210에서, 전자 장치(1000)는 사용자로부터 웨이크 업 음성을 수신하고, 웨이크 업 음성을 수신함에 따라 웨이크 업 동작을 수행한다. '웨이크 업 음성'은 대기 모드 또는 슬립 모드 상태인 전자 장치(1000)가 음성 인식 기능을 수행하기 위한 음성 인식 모드로 전환하도록 하는 음성 명령어이다. 웨이크 업 음성은 예를 들어, '하이 빅스비' 또는 '헬로우 갤럭시' 등을 포함할 수 있다.
전자 장치(1000)는 웨이크 업 음성을 웨이크 업 신호로 인식하여, 웨이크 업 동작을 수행한다. 일 실시예에서, 전자 장치(1000)는 웨이크 업 신호 감지 모듈(1310, 도 2b 및 도 3 참조)을 이용하여, 수신된 웨이크 업 음성을 미리 등록된 웨이크 업 신호와 비교하고, 비교 결과 미리 등록된 웨이크 업 신호와 동일하다고 판단한 경우 웨이크 업 동작을 수행할 수 있다.
단계 S1211에서, 전자 장치(1000)는 사용자로부터 음성 입력을 수신한다. 일 실시예에서, 전자 장치(1000)는 마이크로폰(1100, 도 2b 및 도 3 참조)을 이용하여 음성 입력을 수신할 수 있다. '음성 입력'은 사용자에 의해 발화된 음성일 수 있다. 음성 입력은 예를 들어, "오늘 날씨 알려줘~"일 수 있다.
단계 S1212에서, 전자 장치(1000)는 음성 입력을 음성 신호로 변환한다. 일 실시예에서, 전자 장치(1000)는 마이크로폰(1100, 도 10 참조)으로부터 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다.
단계 S1213에서, 전자 장치(1000)는 음성 신호를 서버(3000)에 전송한다.
단계 S1220에서, 가전기기(2000)는 동작 상태에 따른 음향 신호를 출력한다. 가전기기(2000)는 기능 및/또는 동작의 시작, 종료, 동작 중에 관한 상태 정보에 관한 음향 신호 또는 오류, 고장에 관한 음향 신호를 출력할 수 있다.
단계 S1230에서, 전자 장치(1000)는 가전기기(2000)에 의해 출력되는 음향 신호를 수신한다.
단계 S1231에서, 전자 장치(1000)는 음향 신호를 서버(3000)로 전송한다. 일 실시예에서, 전자 장치(1000)는 웨이크 업 신호 감지 모듈(1310)을 동작시키지 않고, 수신된 음향 신호를 서버(3000)로 전송할 수 있다. 전자 장치(1000)는 예를 들어, 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 음향 신호를 서버(3000)에 전송할 수 있다.
단계 S1240에서, 서버(3000)는 음향 신호에 대응되는 동작 상태 정보 및 후속 동작 정보를 식별한다. 서버(3000)는 음향 신호 데이터베이스(3400)를 포함할 수 있다. 일 실시예에서, 음향 신호 데이터베이스(3400)는 복수의 음향 신호, 복수의 동작 상태 정보, 및 복수의 후속 동작 정보를 저장하고 있을 수 있다. 일 실시예에서, 복수의 음향 신호, 관련되는 복수의 동작 상태 정보 및 복수의 후속 동작 정보는 키-밸류 타입으로 매핑되어 음향 신호 데이터베이스(3400)에 저장될 수 있다. 예를 들어, 복수의 음향 신호는 키(key)로서, 대응되는 복수의 동작 상태 정보 및 복수의 후속 동작 정보는 밸류(value)로서, 음향 신호 데이터베이스(3400)에 저장될 수 있다.
서버(3000)는 전자 장치(1000)로부터 수신된 음향 신호와 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호 간의 유사도를 각각 측정하고, 복수의 음향 신호 중 측정된 유사도가 최대값인 음향 신호를 식별할 수 있다. 서버(3000)는 음향 신호 데이터베이스(3400)에서 식별된 음향 신호에 대응되도록 매핑된 동작 상태 정보 및 후속 동작 정보를 식별한다. 일 실시예에서, 서버(3000)는 식별된 음향 신호와 키-밸류 타입으로 음향 신호 데이터베이스(3400)에 저장된 동작 상태 정보 및 후속 동작 정보를 추출할 수 있다. 예를 들어, 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호 중 전자 장치(1000)로부터 수신된 음향 신호와의 유사도가 최대값인 음향 신호가 제1 음향 신호인 경우, 서버(3000)는 제1 음향 신호와 키-밸류 타입으로 매핑된 제1 동작 상태 정보 및 제1 후속 동작 정보를 추출할 수 있다.
단계 S1241에서, 서버(3000)는 동작 상태 정보 및 후속 동작 정보를 전자 장치(1000)에 전송한다.
단계 S1242에서, 서버(3000)는 동작 상태 정보 및 후속 동작 정보를 모바일 단말(4000)에 전송한다. 도 12에는 서버(3000)가 동작 상태 정보 및 후속 동작 정보를 전자 장치(1000)와 모바일 단말(4000)에 동시에 전송하는 것으로 도시되었지만, 이에 한정되는 것은 아니다.
도 13은 본 개시의 전자 장치(1000)가 서버(3000)로부터 수신한 업데이트 데이터를 이용하여 웨이크 업 신호 감지 모듈(1310)을 업데이트하는 실시예를 도시한 도면이다.
도 13을 참조하면, 전자 장치(1000)는 프로세서(1200), 웨이크 업 신호 감지 모듈(1310), 통신 인터페이스(1400), 및 웨이크 업 신호 데이터베이스(1600)를 포함하고, 서버(3000)는 통신 인터페이스(3100), 프로세서(3200), 웨이크 업 신호 감지 모듈 업데이트 데이터(3320), 및 음향 신호 데이터베이스(3400)를 포함할 수 있다. 도 13에 도시된 전자 장치(1000) 및 서버(3000)에는 전자 장치(1000)의 웨이크 업 신호 감지 모듈(1310)을 업데이트하는 기능 및/또는 동작을 설명하기 위한 필수 구성 요소만이 도시되었다. 전자 장치(1000) 및 서버(3000)가 포함하고 있는 구성이 도 13에 도시된 바와 같이 한정되는 것은 아니다.
웨이크 업 신호 데이터베이스(1600)에는 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 동작 상태 정보(1620-1 내지 1620-n)가 저장되어 있을 수 있다. 웨이크 업 신호 데이터베이스(1600)에 저장된 복수의 음향 신호(1610-1 내지 1610-n) 및 복수의 동작 상태 정보(1620-1 내지 1620-n)는 등록 절차를 통해 사용자로부터 수신되는 사용자 입력으로부터 획득되고, 저장될 수 있다.
서버(3000)는 복수의 음향 신호(3410-1 내지 3410-n, 3412) 및 복수의 동작 상태 정보(3420-1 내지 3420-n, 3422)를 저장하는 음향 신호 데이터베이스(3400)를 포함할 수 있다. 일 실시예에서, 음향 신호 데이터베이스(3400)에 저장된 제1 음향 신호(3410-1) 내지 제n 음향 신호(3410-n)는 전자 장치(1000)의 웨이크 업 신호 데이터베이스(1600)에 저장된 제1 음향 신호(1610-1) 내지 제n 음향 신호(1610-n)와 동일할 수 있다. 일 실시예에서, 음향 신호 데이터베이스(3400)에 저장된 제1 동작 상태 정보(3420-1) 내지 제n 동작 상태 정보(3420-n)는 전자 장치(1000)의 웨이크 업 신호 데이터베이스(1600)에 저장된 제1 동작 상태 정보(1620-1) 내지 제n 동작 상태 정보(1620-n)와 동일할 수 있다.
서버(3000)는 신규 가전기기의 음향 신호 및 음향 신호와 관련된 동작 상태 정보를 더 저장할 수 있다. 여기서, '신규 가전기기'는 전자 장치(1000)의 사용자가 새롭게 구매하거나, 또는 획득하여 전자 장치(1000)를 통해 서버(3000)에 등록한 가전기기를 의미한다.
전자 장치(1000)는 사용자 계정을 통해 로그인하고, 신규 가전기기의 디바이스 식별 정보(예를 들어, 디바이스 id, 디바이스 일련 번호 등)를 서버(3000)의 사용자 계정에 등록하는 등록 절차를 수행할 수 있다. 신규 가전기기는 네트워크 기능을 포함하지 않고, 동작 상태를 나타내는 음향 신호를 출력하는 스피커를 포함할 수 있다.
서버(3000)는 등록 절차를 통해, 신규 가전기기에 의해 출력되는 음향 신호 및 음향 신호가 나타내는 동작 상태 정보를 저장할 수 있다. 도 13에 도시된 실시예에서, 서버(3000)의 음향 신호 데이터베이스(3400)에는 신규 가전기기에 의해 출력되는 신규 음향 신호(3412) 및 신규 음향 신호(3412)가 나타내는 신규 가전기기의 신규 동작 상태 정보(3422)가 저장될 수 있다. 음향 신호 데이터베이스(3400)에 저장된 신규 동작 상태 정보(3422)는 신규 음향 신호(3412)를 출력하는 신규 가전기기에 관한 디바이스 정보를 더 포함할 수 있다. 예를 들어, 신규 동작 상태 정보(3422)는 신규 가전기기의 디바이스 식별 정보(예를 들어, 디바이스 id) 또는 디바이스 타입에 관한 정보를 포함할 수 있다. 신규 가전기기에 의해 출력되는 신규 음향 신호 및 신규 음향 신호가 나타내는 신규 동작 상태 정보는 사용자에 의해 전자 장치(1000)의 웨이크 업 신호 데이터베이스(1600)에 저장되어 있지 않을 수 있다.
서버(3000)는 전자 장치(1000)의 웨이크 업 신호 감지 모듈(1310)을 업데이트하기 위한 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)를 메모리(330)에 저장할 수 있다. 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)는, 전자 장치(1000)의 웨이크 업 신호 감지 모듈(1310)이 신규 가전기기에 의해 출력되는 신규 음향 신호(3412)를 인식하여, 신규 음향 신호(3412)가 나타내는 신규 가전기기의 동작 상태 정보인 신규 동작 상태 정보(3422)를 식별할 수 있도록 웨이크 업 신호 감지 모듈(1310)을 최신 버전으로 업데이트하기 위한 데이터일 수 있다.
사용자가 신규 가전기기를 구매하거나, 전자 장치(1000)를 통해 신규 가전기기를 서버(3000)에 등록하는 경우, 전자 장치(1000)의 웨이크 업 신호 데이터베이스(1600)에는 신규 가전기기에 의해 출력되는 음향 신호가 저장되지 않을 수 있다. 이 경우, 신규 가전기기에 의해 음향 신호가 출력되더라도 전자 장치(1000)의 웨이크 업 신호 감지 모듈(1310)은 출력된 음향 신호를 웨이크 업 신호로 인식할 수 없고, 따라서 신규 가전기기의 동작 상태 정보를 식별할 수 없다.
단계 S1310에서, 전자 장치(1000)의 프로세서(1200)는 통신 인터페이스(1400)를 통해 웨이크 업 신호 감지 모듈(1310)의 업데이트 요청 신호를 서버(3000)에 전송한다. 일 실시예에서, 전자 장치(1000)는 웨이크 업 신호 감지 모듈(1310)를 구성하는 펌웨어(firmware) 또는 소프트웨어를 업데이트를 요청하는 사용자 입력을 수신하고, 사용자 입력이 수신됨에 따라 업데이트 요청 쿼리(query)를 서버(3000)에 전송할 수 있다. 그러나, 이에 한정되는 것은 아니다. 다른 실시예에서, 프로세서(1200)는 기 설정된 시간 주기(예를 들어, 1시간, 1일, 1주일, 한달 등)에 따라 웨이크 업 신호 감지 모듈(1310)의 업데이트를 요청하는 쿼리를 서버(3000)에 전송할 수 있다.
전자 장치(1000)는 서버(3000)에 업데이트 요청 신호를 전송하는 경우, 업데이트 요청 신호와 함께 웨이크 업 신호 감지 모듈(1310)의 버전 정보를 전송할 수 있다.
단계 S1320에서, 서버(3000)는 전자 장치(1000)로부터 수신된 업데이트 요청 신호에 응답하여, 통신 인터페이스(3100)를 통해 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)를 전자 장치(1000)에 전송한다. 일 실시예에서, 서버(3000)의 프로세서(3200)는 전자 장치(1000)로부터 수신된 웨이크 업 신호 감지 모듈(1310)의 버전 정보를 확인하고, 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)의 버전 정보와 비교할 수 있다. 비교 결과, 웨이크 업 신호 감지 모듈(1310)이 최신 버전이 아닌 경우, 프로세서(3200)는 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)를 전자 장치(1000)에 전송하도록 통신 인터페이스(3100)를 제어할 수 있다.
웨이크 업 신호 감지 모듈 업데이트 데이터(3320)는, 신규 음향 신호(3412)를 인식하여 신규 동작 상태 정보(3422)를 식별하도록 하는 최신 버전의 펌웨어 또는 소프트웨어를 포함할 수 있다. 일 실시예에서, 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)는 음향 신호 데이터베이스(3400)에 액세스하여, 신규 음향 신호(3412) 및 신규 동작 상태 정보(3422)를 획득할 수 있다. 그러나 이에 한정되는 것은 아니고, 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)는 신규 음향 신호(3412) 및 신규 동작 상태 정보(3422)를 포함할 수도 있다.
단계 S1310 및 S1320에서, 전자 장치(1000)의 통신 인터페이스(1400)와 서버(3000)의 통신 인터페이스(3100)는 유선 또는 무선 통신 네트워크를 통해 데이터를 송수신할 수 있다. 전자 장치(1000)와 서버(3000)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 쿼리 신호 또는 업데이트 데이터를 송수신할 수 있다.
단계 S1330에서, 전자 장치(1000)는 서버(3000)로부터 수신된 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)로부터 신규 음향 신호(3412) 및 신규 동작 상태 정보(3422)를 획득하고, 획득된 신규 음향 신호(3412) 및 신규 동작 상태 정보(3422)를 웨이크 업 신호 데이터베이스(1600)에 저장한다. 일 실시예에서, 전자 장치(1000)는 신규 음향 신호(3412) 및 신규 동작 상태 정보(3422)뿐만 아니라, 신규 가전기기의 디바이스 정보, 예를 들어 신규 가전기기의 디바이스 식별 정보 및 디바이스 타입에 관한 정보를 웨이크 업 신호 데이터베이스(1600)에 저장할 수 있다.
단계 S1340에서, 전자 장치(1000)의 프로세서(1200)는 통신 인터페이스(1400)를 통해 웨이크 업 신호 감지 모듈 업데이트 데이터를 수신한다.
단계 S1350에서, 전자 장치(1000)의 프로세서(1200)는 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)를 이용하여, 웨이크 업 신호 감지 모듈(1310)을 업데이트한다.
도 13에 도시된 실시예에서, 전자 장치(1000)는 서버(3000)로부터 수신된 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)를 이용하여, 웨이크 업 신호 감지 모듈(1310)을 최신 버전으로 업데이트할 수 있다. 웨이크 업 신호 감지 모듈(1310)의 업데이트를 통해, 전자 장치(1000)는 신규 가전기기가 출력하는 신규 음향 신호(3412)를 웨이크 업 신호로서 감지할 수 있고, 신규 음향 신호(3412)가 나타내는 신규 동작 상태 정보(3422)를 식별할 수 있다. 사용자는 네트워크 기능이 없는 가전기기를 새로 구입하더라도, 추가 비용을 부담하지 않고 전자 장치(1000)를 통해 신규 가전기기의 음향 신호에 따른 동작 상태 정보를 파악할 수 있다. 따라서, 본 개시의 실시예는 경제적 부담없이 사용자 편의성 및 만족도를 향상시킬 수 있다.
도 14는 본 개시의 일 실시예에 따른 서버의 구성 요소를 도시한 블록도이다.
서버(3000)는 전자 장치(1000)로부터 음향 신호를 수신하고, 수신된 음향 신호에 대응되는 동작 상태 정보를 식별하여 전자 장치(1000)에 전송할 수 있다. 그러나 이에 한정되는 것은 아니고, 서버(3000)는 전자 장치(1000)로부터 사용자의 발화에 의한 음성 신호를 수신하고, 자연어 처리 모듈(3320)을 이용하여 수신된 음성 신호를 해석함으로써 음성 신호 해석 결과에 따른 응답 메시지를 전자 장치(1000)에 전송할 수 있다.
도 14를 참조하면, 서버(3000)는 통신 인터페이스(3100), 프로세서(3200), 메모리(3300), 및 음향 신호 데이터베이스(3400)를 포함할 수 있다.
통신 인터페이스(3100)는 유선 또는 무선 통신 네트워크를 통해 전자 장치(1000) 또는 모바일 단말(4000)과 데이터 송수신을 수행하도록 구성된다. 통신 인터페이스(3100)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 전자 장치(1000) 또는 모바일 단말(4000)과 데이터 통신을 수행할 수 있다.
일 실시예에서, 통신 인터페이스(3100)는 프로세서(3200)의 제어에 의해, 전자 장치(1000)로부터 음향 신호 및 음성 신호 중 적어도 하나를 수신할 수 있다. 음향 신호는 가전기기(2000)에 의해 출력되는 신호이고, 음성 신호는 사용자에 의해 발화된 음성 입력으로부터 변환된 신호이다.
일 실시예에서, 통신 인터페이스(3100)는 프로세서(3200)의 제어에 의해, 동작 상태 정보를 전자 장치(1000) 또는 모바일 단말(4000)에 전송할 수 있다.
프로세서(3200)는 메모리(3300)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(3200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(3200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 프로세서(3200)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다.
메모리(3300)에는 프로세서(3200)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(3200)는 메모리(3300)에 저장된 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
메모리(3300)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 또는 광 디스크 중 적어도 하나의 타입의 저장매체로 구성될 수 있다.
메모리(3300)에는 동작 상태 식별 모듈(3310), 웨이크 업 신호 감지 모듈 업데이트 데이터(3320), 및 자연어 처리 모듈(3330) 각각에 관한 명령어들 또는 프로그램 코드가 저장되어 있을 수 있다. 메모리(3300)에 포함되는 '모듈'은 프로세서(3200)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.
동작 상태 식별 모듈(3310)은 전자 장치(1000)로부터 수신된 음향 신호를 인식하여 가전기기(2000)의 동작 상태를 식별하도록 구성되는 모듈이다. 일 실시예에서, 동작 상태 식별 모듈(3310)은 음향 신호를 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호와 비교하고, 비교 결과에 따라 복수의 음향 신호 중 수신된 음향 신호에 대응되는 음향 신호를 식별하도록 구성된다. 동작 상태 식별 모듈(3310)은 음향 신호 데이터베이스(3400)에 저장된 복수의 동작 상태 정보 중 식별된 음향 신호에 대응되는 동작 상태 정보를 식별하도록 구성된다.
프로세서(3200)는 통신 인터페이스(3100)를 통해 전자 장치(1000)로부터 음향 신호 또는 음성 신호를 수신할 수 있다. 프로세서(3200)는 동작 상태 식별 모듈(3310)의 명령어들 또는 프로그램 코드를 실행함으로써, 수신된 음향 신호와 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호를 비교하여, 복수의 음향 신호 중 대응되는 음향 신호를 식별할 수 있다. 일 실시예에서, 프로세서(3200)는 수신된 음향 신호와 음향 신호 데이터베이스(3400)에 저장된 복수의 음향 신호 간의 유사도를 측정하고, 유사도에 기초하여 복수의 음향 신호 중 전자 장치(1000)로부터 수신된 음향 신호에 대응되는 음향 신호를 식별할 수 있다. 서버(3000)의 프로세서(3200)가 음향 신호 간의 유사도를 측정하고, 대응되는 음향 신호를 식별하는 구체적인 방법은 도 3에 도시된 전자 장치(1000)의 프로세서(1200)가 수행하는 방법과 동일하므로, 중복되는 설명은 생략한다.
프로세서(3200)는 음향 신호 데이터베이스(3400)로부터 식별된 음향 신호에 대응되는 동작 상태 정보를 식별할 수 있다. 음향 신호 데이터베이스(3400)에는 복수의 음향 신호 및 복수의 음향 신호 각각에 대응되는 복수의 동작 상태 정보가 저장되어 있을 수 있다. 일 실시예에서, 복수의 음향 신호 및 복수의 동작 상태 정보는 키-밸류 타입으로 음향 신호 데이터베이스(3400)에 저장될 수 있다. 예를 들어, 복수의 음향 신호는 키(key)로서, 대응되는 복수의 동작 상태 정보는 밸류(value)로서, 음향 신호 데이터베이스(3400)에 저장될 수 있다. 프로세서(3200)는 식별된 음향 신호와 키-밸류 타입으로 매핑된 동작 상태 정보를 음향 신호 데이터베이스(3400)로부터 식별할 수 있다.
프로세서(3200)는 식별된 동작 상태 정보를 음향 신호 데이터베이스(3400)로부터 추출하여 통신 인터페이스(3100)에 제공할 수 있다. 프로세서(3200)는 추출된 동작 상태 정보를 전자 장치(1000)에 전송하도록 통신 인터페이스(3100)를 제어할 수 있다.
일 실시예에서, 프로세서(3200)는 동작 상태 정보를 나타내는 알림 메시지를 생성할 수 있다. 프로세서(3200)는 NLG(Natural Language Generation) 모델(3338)을 이용하여, 가전기기(2000)의 동작 상태 정보를 나타내는 알림 메시지를 생성할 수 있다. 예를 들어, 프로세서(3200)는 음향 신호 데이터베이스(3400)로부터 '세탁기의 세탁 종료'라는 동작 상태 정보를 식별한 경우, 세탁 종료를 나타내는 "세탁기에서 세탁이 완료되었습니다"는 알림 메시지를 생성할 수 있다. 다른 예를 들어, 프로세서(3200)는 음향 신호 데이터베이스(3400)로부터 '냉장고 문 열림'이라는 동작 상태 정보를 식별한 경우, 냉장고 문을 닫으라는 취지의 "냉장고의 문이 열렸습니다. 문을 닫아주세요."라는 알림 메시지를 생성할 수 있다.
프로세서(3200)에 의해 생성된 알림 메시지는 텍스트 형태의 데이터일 수 있다. 프로세서(3200)는 알림 메시지를 포함하는 텍스트 데이터를 전자 장치(1000) 또는 사용자의 모바일 단말(4000)에 전송하도록 통신 인터페이스(3100)를 제어할 수 있다.
웨이크 업 신호 감지 모듈 업데이트 데이터(3320)는, 전자 장치(1000)의 웨이크 업 신호 감지 모듈(1310, 도 13 참조)을 업데이트하기 위한 데이터이다. 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)는, 전자 장치(1000)의 웨이크 업 신호 감지 모듈(1310)이 신규 가전기기에 의해 출력되는 신규 음향 신호를 인식하여, 신규 음향 신호가 나타내는 신규 가전기기의 동작 상태 정보인 신규 동작 상태 정보를 식별할 수 있도록 웨이크 업 신호 감지 모듈(1310)을 최신 버전으로 업데이트하기 위한 데이터일 수 있다. 웨이크 업 신호 감지 모듈 업데이트 데이터(3320)에 관한 설명은 도 13에서의 설명과 동일하므로, 중복되는 설명은 생략한다.
자연어 처리 모듈(3330)은 전자 장치(1000)로부터 수신된 음성 신호를 인식하고, 음성 신호의 인식 결과에 따라 응답 메시지를 제공하도록 구성되는 모듈이다. 여기서, '음성 신호'는 사용자에 의해 발화되고, 전자 장치(1000)에 의해 수신된 음성 입력으로부터 변환된 신호이다. 음성 신호는 전자 장치(1000)로부터 수신될 수 있다. 자연어 처리 모듈(3330)은 ASR 모델(3332), NLU 모델(3334), DM 모델(3336), 및 NLG 모델(3338)을 포함할 수 있다.
ASR 모델(3332)은 음성 신호를 프로세서(3200)에 의해 판독 가능한 텍스트(text) 형태로 변환하도록 구성되는 모델이다. 프로세서(3200)는 ASR 모델(3332)의 명령어들 또는 프로그램 코드를 실행함으로써, ASR(Automatic Speech Recognition)을 수행할 수 있다. 프로세서(3200)는 ASR을 수행하여, 전자 장치(1000)로부터 수신된 음성 신호를 텍스트로 변환할 수 있다.
NLU(Natural Language Understanding) 모델(3334)은 ASR 모델(3332)에 의해 변환된 텍스트를 해석하고, 텍스트 해석 결과에 따라 인텐트(intent)를 인식하도록 구성되는 모델이다. '인텐트(intent)'는 사용자의 발화에 포함되는 의도를 나타내는 정보로서, 사용자의 요청, 질문, 동작 수행 등을 포함할 수 있다. 프로세서(3200)는 NLU 모델(3334)을 구성하는 명령어들 또는 프로그램 코드를 실행함으로써, 텍스트로부터 인텐트 정보를 획득할 수 있다. 예를 들어, 텍스트가 "오늘 날씨 알려줘~" 인 경우, 프로세서(3200)는 '날씨 정보 요청'이라는 인텐트 정보를 획득할 수 있다. 일 실시예에서, NLU 모델(3334)은 텍스트를 해석함으로써, 인텐트 뿐만 아니라, 텍스트의 도메인(domain) 또는 파라미터(parameter)에 관한 정보를 획득할 수도 있다.
NLU 모델(3334)은 룰 기반(rule-based) 모델로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, NLU 모델(3334)은 인공지능 모델(AI model)로 구성될 수도 있다. NLU 모델(3334)은 예를 들어, 컨볼루션 신경망 모델(convolution neural network; CNN), 순환 신경망 모델(recurrent neural network; RNN), SVM(Support Vector Machine), 선형 회귀(linear regression), 로지스틱 회귀(logistic regression), 나이브 베이즈 분류(Naive Bayes), 랜덤 포레스트(random forest), decision tree, 또는 k-nearest neighbor algorithm 중 적어도 하나 또는 이들의 조합으로 구성될 수도 있다.
DM(Dialogue Management) 모델(3336)은 NLU 모델(3334)로부터 출력된 도메인, 인텐트 또는 파라미터 중 적어도 하나의 데이터를 입력 받아, 관련 응답 메시지를 출력하도록 구성된다. 일 실시예에서, DM 모델(3336)은 사용자의 음성 입력의 의도에 따른 응답 또는 답변 메시지를 제공할 수 있다. 프로세서(3200)는 DM 모델(3336)을 구성하는 명령어들 또는 프로그램 코드를 실행함으로써, 사용자의 인텐트에 관한 응답 메시지를 획득할 수 있다.
NLG(Natural Language Generation) 모델(3338)은 DM 모델(3336)로부터 수신된 응답 메시지를 자연어 형태로 생성하도록 구성되는 모델이다. 프로세서(3200)는 NLU 모델(3334)을 구성하는 명령어들 또는 프로그램 코드를 실행함으로써, 자연어 형태의 응답 메시지를 생성할 수 있다. 예를 들어, 프로세서(3200)는 "TV의 볼륨을 1단계 올렸습니다." 와 같은 응답 메시지를 생성할 수 있다.
프로세서(3200)는 생성된 응답 메시지를 통신 인터페이스(3100)를 통해 전자 장치(1000)에 전송할 수 있다. 일 실시예에서, 프로세서(3200)는 통신 인터페이스(3100)를 통해 응답 메시지를 사용자의 모바일 단말에 전송할 수도 있다.
도 15는 본 개시의 일 실시예에 따른 서버(3000)의 동작 방법을 도시한 흐름도이다.
단계 S1510에서, 서버(3000)는 전자 장치(1000)로부터, 사용자에 의해 발화된 음성 신호 및 가전기기(2000)에 의해 출력된 음향 신호를 수신한다. '음향 신호'는 가전기기(2000)에 의해 출력되는 신호이고, '음성 신호'는 사용자에 의해 발화된 음성 입력으로부터 변환된 신호이다.
단계 S1520에서, 서버(3000)는 음성 신호와 음향 신호를 분리한다. 일 실시예에서, 서버(3000)는 노이즈 캔슬링(noise canceling) 기능을 이용하여 음성 신호만을 추출하고, 음향 신호를 분리할 수 있다.
단계 S1530에서, 서버(3000)는 음향 신호 데이터베이스(3400, 도 14 참조)로부터 음향 신호에 대응되는 동작 상태 정보를 식별한다. 일 실시예에서, 서버(3000)는 단계 S1510에서 수신된 음향 신호를 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호(3410-1 내지 3410-n, 도 2b 참조)와 비교하고, 비교 결과에 따라 복수의 음향 신호(3410-1 내지 3410-n) 중 가전기기(2000)로부터 수신된 음향 신호에 대응되는 음향 신호를 식별할 수 있다. 일 실시예에서, 서버(3000)는 단계 S1510에서 전자 장치(1000)로부터 수신된 음향 신호와 음향 신호 데이터베이스(3400)에 기 저장된 복수의 음향 신호(3410-1 내지 3410-n) 간의 유사도를 측정하고, 복수의 음향 신호(3410-1 내지 3410-n) 중 측정된 유사도의 값이 최대인 음향 신호를 식별할 수 있다.
서버(3000)는 음향 신호 데이터베이스(3400)에 기 저장된 복수의 동작 상태 정보(3420-1 내지 3420-n, 도 2b 참조) 중 식별된 음향 신호와 대응되도록 매핑된 동작 상태 정보를 식별할 수 있다.
단계 S1540에서, 서버(3000)는 식별된 동작 상태 정보를 모바일 단말(4000)에 전송한다. 일 실시예에서, 서버(3000)는 동작 상태 정보를 모바일 단말(4000)뿐만 아니라, 전자 장치(1000)에 전송할 수 있다.
도 15에서, 서버(3000)는 동작 상태 정보를 모바일 단말(4000)에 전송하는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 서버(3000)는 NLG 모델(3338, 도 14 참조)을 이용하여 단계 S1530에서 식별된 동작 상태 정보를 나타내는 알림 메시지를 생성할 수 있다. 서버(3000)는 알림 메시지를 포함하는 텍스트 데이터를 사용자의 모바일 단말(4000) 또는 전자 장치(1000)에 전송할 수 있다.
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버(3000, 도 2b 및 도 15 참조) 및 타 전자 장치(예를 들어, 모바일 단말(4000, 도 2a 및 도 2b 참조))로 구성되는 시스템에서, 서버(3000)의 저장매체 또는 전자 장치의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 장치(예를 들어, 모바일 단말(4000))가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(1000), 전자 장치, 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 전자 장치, 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(1000)가 메모리(1300, 도 3 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 전자 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
본 개시는 다양한 실시예로 설명되었지만, 본 기술 분야의 통상의 지식을 가진 자에게 다양한 변경 및 수정이 제안될 수 있다. 본 개시 내용은 첨부된 청구범위의 범위(scope) 내에 속하는 변경 및 수정을 포함하도록 의도된다.

Claims (15)

  1. 가전기기의 동작 상태를 나타내는 정보를 제공하는 전자 장치에 있어서,
    적어도 하나의 가전 기기에서 출력되는 복수의 음향 신호를 복수의 웨이크 업 신호(wake-up signal)로 저장하고, 상기 복수의 음향 신호 각각에 관련된 가전기기의 동작 상태를 나타내는 복수의 동작 상태 정보를 저장하는 메모리; 및
    프로세서;
    를 포함하고,
    상기 프로세서는,
    마이크로폰을 통해 상기 복수의 음향 신호 중에서 제1 가전기기에 의해 출력되는 제1 음향 신호를 수신하고, 수신된 상기 제1 음향 신호를 웨이크 업 신호(wake-up signal)로 식별하고, 상기 복수의 동작 상태 정보에 기초하여 상기 제1 음향 신호에 대응되는 제1 동작 상태 정보를 식별하고,
    상기 식별된 제1 동작 상태 정보를 나타내는 알림 메시지를 출력하도록 출력 인터페이스 제어하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 메모리는 사용자에 의해 발화되는 적어도 하나의 단어를 상기 웨이크 업 신호로 저장하고,
    상기 프로세서는,
    상기 마이크로폰을 통해 사용자에 의해 발화된 음성 입력을 수신하고,
    상기 음성 입력으로부터 상기 적어도 하나의 단어를 식별함에 따라, 상기 음성 입력을 상기 웨이크 업 신호로 인식하는, 전자 장치.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 음성 입력을 상기 웨이크 업 신호로 인식한 이후, 상기 제1 가전기기로부터 수신된 제2 음향 신호를 서버로 전송하도록 통신 인터페이스를 제어하고,
    상기 통신 인터페이스를 통해 상기 서버로부터 상기 제2 음향 신호에 대응되는 상기 제1 가전기기의 제2 동작 상태 정보를 수신하는, 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 음향 신호와 상기 메모리에 저장된 상기 복수의 음향 신호 간의 유사도(similarity)를 각각 산출하고, 상기 제1 동작 상태 정보를 식별하고,
    상기 프로세서는,
    상기 복수의 음향 신호 중 산출된 유사도가 최대값인 음향 신호를 상기 제1 음향 신호에 대응되는 음향 신호로 결정하고, 상기 복수의 동작 상태 정보 중 상기 결정된 음향 신호와 대응되는 제1 동작 상태 정보를 식별하는, 전자 장치.
  5. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 동작 상태 정보를 무선 통신 네트워크를 통해 연결된 사용자의 모바일 단말에 전송하도록 통신 인터페이스를 제어하고,
    상기 제1 동작 상태 정보를 나타내는 알림 메시지가 상기 모바일 단말을 통해 출력되는, 전자 장치.
  6. 제1 항에 있어서,
    상기 메모리에는, 상기 복수의 동작 상태 정보와 관련되어 추천되는 복수의 후속 동작 정보가 더 저장되고,
    상기 프로세서는,
    상기 제1 동작 상태 정보와 관련되는 제1 후속 동작 정보를 식별하고, 상기 식별된 제1 후속 동작 정보를 출력하는, 전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    통신 인터페이스를 통해, 서버로부터 새로 등록된 신규 가전기기에 의해 출력되는 신규 음향 신호, 및 상기 신규 음향 신호에 대응되는 신규 동작 상태 정보를 수신하고,
    상기 수신된 신규 가전기기의 디바이스 식별 정보, 상기 신규 음향 신호, 및 상기 신규 동작 상태 정보를 상기 메모리에 저장하는, 전자 장치.
  8. 전자 장치가 가전기기의 동작 상태를 나타내는 정보를 제공하는 방법에 있어서,
    제1 가전기기에 의해 출력되는 제1 음향 신호를 수신하는 단계;
    수신된 상기 제1 음향 신호를 웨이크 업 신호(wake-up signal)로 식별하는 단계;
    메모리에 저장된 복수의 동작 상태 정보에 기초하여, 상기 제1 음향 신호에 대응되는 제1 동작 상태 정보를 식별하는 단계; 및
    상기 식별된 제1 동작 상태 정보를 나타내는 알림 메시지를 출력하는 단계;
    를 포함하고,
    상기 메모리에 적어도 하나의 가전기기에 의해 출력되는 복수의 음향 신호를 복수의 웨이크 업 신호(wake-up signal)로 저장하고, 상기 복수의 음향 신호 각각에 관련된 가전기기의 동작 상태를 나타내는 상기 복수의 동작 상태 정보가 저장되는, 방법.
  9. 제8 항에 있어서,
    상기 메모리에 사용자에 의해 발화되는 적어도 하나의 단어를 상기 웨이크 업 신호로 저장하는 단계;
    사용자에 의해 발화된 음성 입력을 수신하는 단계; 및
    상기 음성 입력으로부터 상기 적어도 하나의 단어를 식별함에 따라, 상기 음성 입력을 상기 웨이크 업 신호로 인식하는 단계;
    를 더 포함하는, 방법.
  10. 제9 항에 있어서,
    상기 음성 입력을 상기 웨이크 업 음성 입력으로 인식한 이후, 상기 제1 가전기기로부터 수신된 제2 음향 신호를 서버로 전송하는 단계; 및
    상기 서버로부터 상기 제2 음향 신호에 대응되는 상기 제1 가전기기의 제2 동작 상태 정보를 수신하는 단계;
    를 더 포함하는, 방법.
  11. 제8 항에 있어서,
    상기 제1 음향 신호와 상기 데이터베이스에 저장된 상기 복수의 음향 신호 간의 유사도(similarity)를 각각 산출하는 단계;
    를 더 포함하고,
    상기 제1 동작 상태 정보를 식별하는 단계는,
    상기 복수의 음향 신호 중 산출된 유사도가 최대값인 음향 신호를 상기 제1 음향 신호에 대응되는 음향 신호로 결정하는 단계; 및
    상기 복수의 동작 상태 정보 중 상기 결정된 음향 신호와 대응되는 제1 동작 상태 정보를 식별하는 단계;
    를 포함하는, 방법.
  12. 제8 항에 있어서,
    상기 제1 동작 상태 정보를 나타내는 알림 메시지가 상기 전자 장치와 무선 통신 네트워크를 통해 연결된 모바일 단말을 통해 출력되도록, 상기 제1 동작 상태 정보를 상기 모바일 단말에 전송하는 단계;
    를 더 포함하는, 방법.
  13. 제8 항에 있어서,
    상기 메모리에 상기 복수의 동작 상태 정보와 관련되어 추천되는 복수의 후속 동작 정보를 저장하는 단계;
    상기 메모리로부터 상기 제1 동작 상태 정보와 관련되는 제1 후속 동작 정보를 식별하는 단계; 및
    상기 식별된 제1 후속 동작 정보를 출력하는 단계;
    를 더 포함하는, 방법.
  14. 제8 항에 있어서, 상기 방법은,
    신규 가전기기의 디바이스 식별 정보 및 사용자 계정 정보를 포함하는 등록 요청을 서버에 전송하는 단계를 더 포함하고,
    상기 등록 요청은 상기 신규 가전기기의 디바이스 식별 정보와 상기 사용자 계정 정보의 연결에 기초하여 상기 신규 가전기기를 상기 서버에 등록하는 요청을 포함하는, 방법.
  15. 컴퓨터 프로그램을 구현하는(embodying) 컴퓨터로 판독 가능한 기록 매체에 있어서,
    상기 컴퓨터 프로그램은 전자 장치의 프로세서에 의해 실행될 때 상기 프로세서가:
    제1 가전기기에 의해 출력되는 제1 음향 신호를 수신하고,
    수신된 상기 제1 음향 신호를 웨이크 업 신호(wake-up signal)로 식별하고,
    메모리에 저장된 복수의 동작 상태 정보에 기초하여, 상기 제1 음향 신호에 대응되는 제1 동작 상태 정보를 식별하고,
    상기 식별된 제1 동작 상태 정보를 나타내는 알림 메시지를 출력하고,
    상기 기록매체는, 상기 메모리에 적어도 하나의 가전기기에 의해 출력되는 복수의 음향 신호를 복수의 웨이크 업 신호(wake-up signal)로 저장하고, 상기 복수의 음향 신호 각각에 관련된 가전기기의 동작 상태를 나타내는 상기 복수의 동작 상태 정보가 저장되는,
    동작을 수행하기 위한 컴퓨터로 판독 가능한 프로그램 코드를 포함하는, 기록 매체.
PCT/KR2022/006370 2021-07-08 2022-05-03 가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법 WO2023282449A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280027675.8A CN117121105A (zh) 2021-07-08 2022-05-03 提供家用电器的操作状态信息的电子设备及其操作方法
EP22837803.0A EP4276826A4 (en) 2021-07-08 2022-05-03 ELECTRONIC DEVICE PROVIDING OPERATING STATUS INFORMATION OF A HOUSEHOLD APPLIANCE, AND ITS OPERATING METHOD
US17/811,030 US20230009432A1 (en) 2021-07-08 2022-07-06 Electronic device for providing operation state information of household electrical device and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0089950 2021-07-08
KR1020210089950A KR20230009213A (ko) 2021-07-08 2021-07-08 가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/811,030 Continuation US20230009432A1 (en) 2021-07-08 2022-07-06 Electronic device for providing operation state information of household electrical device and method of operating the same

Publications (1)

Publication Number Publication Date
WO2023282449A1 true WO2023282449A1 (ko) 2023-01-12

Family

ID=84801893

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/006370 WO2023282449A1 (ko) 2021-07-08 2022-05-03 가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230009213A (ko)
WO (1) WO2023282449A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170107281A (ko) * 2016-03-15 2017-09-25 엘지전자 주식회사 음향 센서, 및 이를 구비하는 홈 어플라이언스 시스템
KR20180080011A (ko) * 2017-01-03 2018-07-11 주식회사 엘지유플러스 가전제품 동작상태 감지 장치 및 가전제품 동작상태 감지 방법
US20200096253A1 (en) * 2019-08-15 2020-03-26 Lg Electronics Inc. Intelligent inspection device and refrigerator with the same
KR20210044509A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 음성 인식의 향상을 지원하는 전자 장치
KR20210064859A (ko) * 2019-11-26 2021-06-03 (주)엘컴텍 스마트 서비스 제공장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170107281A (ko) * 2016-03-15 2017-09-25 엘지전자 주식회사 음향 센서, 및 이를 구비하는 홈 어플라이언스 시스템
KR20180080011A (ko) * 2017-01-03 2018-07-11 주식회사 엘지유플러스 가전제품 동작상태 감지 장치 및 가전제품 동작상태 감지 방법
US20200096253A1 (en) * 2019-08-15 2020-03-26 Lg Electronics Inc. Intelligent inspection device and refrigerator with the same
KR20210044509A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 음성 인식의 향상을 지원하는 전자 장치
KR20210064859A (ko) * 2019-11-26 2021-06-03 (주)엘컴텍 스마트 서비스 제공장치 및 그 방법

Also Published As

Publication number Publication date
KR20230009213A (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
WO2020222444A1 (en) Server for determining target device based on speech input of user and controlling target device, and operation method of the server
WO2020060325A1 (ko) 전자 장치, 시스템 및 음성 인식 서비스 이용 방법
WO2020027498A1 (en) Electronic device and method for determining electronic device to perform speech recognition
WO2019078588A1 (ko) 전자 장치 및 그의 동작 방법
WO2019039834A1 (en) METHOD FOR PROCESSING VOICE DATA AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2020032563A1 (en) System for processing user voice utterance and method for operating same
WO2020091505A1 (en) Electronic device and method for intelligent interaction thereof
WO2019172627A1 (en) System for processing user utterance and controlling method thereof
WO2020071858A1 (en) Electronic apparatus and assistant service providing method thereof
WO2019212213A1 (en) Electronic device and method of executing function of electronic device
AU2019319322B2 (en) Electronic device for performing task including call in response to user utterance and operation method thereof
WO2020218650A1 (ko) 전자기기
WO2019017715A1 (en) ELECTRONIC DEVICE AND SYSTEM FOR DETERMINING SPEECH INPUT RECEIVING TIME BASED ON CONTEXTUAL INFORMATION
WO2020263016A1 (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
WO2019194426A1 (en) Method for executing application and electronic device supporting the same
WO2020218686A1 (en) Display device and controlling method of display device
WO2020050475A1 (ko) 전자 장치 및 단축 명령어에 대응하는 태스크 수행 방법
WO2019000466A1 (zh) 人脸识别方法、装置、存储介质及电子设备
WO2018174445A1 (ko) 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치
WO2019017665A1 (en) ELECTRONIC APPARATUS FOR PROCESSING A USER STATEMENT FOR CONTROLLING AN EXTERNAL ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THE APPARATUS
WO2022075609A1 (ko) 멀티 챗봇을 이용하여 질의에 응답하는 전자 장치 및 그 제어 방법
WO2021086127A1 (en) Hub device, multi-device system including the hub device and plurality of devices, and operating method of the hub device and multi-device system
WO2019039873A1 (ko) Tts 모델을 생성하는 시스템 및 전자 장치
WO2019059579A1 (en) DEVICE AND METHOD FOR PROVIDING AN ANSWER TO A DEVICE USE INTERROGATION

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837803

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022837803

Country of ref document: EP

Effective date: 20230810

NENP Non-entry into the national phase

Ref country code: DE