KR102395013B1

KR102395013B1 - Method for operating artificial intelligence home appliance and voice recognition server system

Info

Publication number: KR102395013B1
Application number: KR1020170113550A
Authority: KR
Inventors: 이홍규; 박재훈; 원재용; 유진아
Original assignee: 엘지전자 주식회사
Priority date: 2017-09-05
Filing date: 2017-09-05
Publication date: 2022-05-04
Also published as: KR20190026521A

Abstract

본 발명의 일 측면에 따른 인공지능 홈 어플라이언스의 동작 방법은, 복수의 마이크(MIC)를 통하여 기설정된 호출어를 포함하는 음성 신호를 수신하는 단계, 복수의 마이크를 통하여 수신된 음성 신호 중 적어도 2 이상의 마이크를 통하여 수신된 음성 신호를 음성 인식 서버 시스템으로 전송하는 단계, 및, 음성 인식 서버 시스템으로부터 발화자의 음성 명령 입력 대기를 위한 웨이크 업 통보 신호를 수신하면, 기설정된 경과 시간 동안 발화자의 음성 명령 입력을 위한 명령어 대기 모드로 진입하는 단계를 포함함으로써, 사용자의 의도에 부합하지 않는 호출어 인식을 방지하고 음성 인식 성능을 향상할 수 있다.The method of operating an artificial intelligence home appliance according to an aspect of the present invention includes receiving a voice signal including a preset call word through a plurality of microphones (MIC), and at least two of the voice signals received through the plurality of microphones. Transmitting the voice signal received through the above microphone to the voice recognition server system, and receiving a wake-up notification signal for waiting for the speaker's voice command input from the voice recognition server system, the speaker's voice command for a preset elapsed time By including the step of entering the command standby mode for input, it is possible to prevent the recognition of a calling word that does not match the user's intention and improve the voice recognition performance.

Description

Method for operating artificial intelligence home appliance and voice recognition server system

본 발명은 홈 어플라이언스, 음성 인식 서버 시스템 및 그 동작 방법에 관한 것으로, 더욱 상세하게는 사용자의 자연어 음성 명령을 인식하고, 동작할 수 있는 홈 어플라이언스, 음성 인식 서버 시스템 및 그 동작 방법에 관한 것이다.The present invention relates to a home appliance, a voice recognition server system, and an operating method thereof, and more particularly, to a home appliance capable of recognizing and operating a user's natural language voice command, a voice recognition server system, and an operating method thereof.

가정이나 사무실 등의 소정 공간에서 사용되는 공기조화기, 세탁기, 청소기 등 홈 어플라이언스(Home appliance)들은 각각 사용자의 조작에 따라 고유의 기능과 동작을 수행하였다.BACKGROUND ART Home appliances such as air conditioners, washing machines, and vacuum cleaners used in predetermined spaces such as homes or offices perform unique functions and operations according to user manipulation.

예를 들어, 공기조화기는 냉매를 압축하는 압축기와 압축된 냉매를 응축하는 응축기와 응축된 냉매를 팽창하는 팽창밸브와 팽창된 냉매를 실내공기와 열교환시키는 증발기를 포함하여 구성되어 실내공간을 냉난방하는 장치로, 실내 온도를 조정하는 기능을 수행한다.For example, the air conditioner is configured to include a compressor for compressing a refrigerant, a condenser for condensing the compressed refrigerant, an expansion valve for expanding the condensed refrigerant, and an evaporator for heat-exchanging the expanded refrigerant with indoor air. A device that performs the function of adjusting the room temperature.

또한, 냉장고는 음식물을 저장하고, 세탁기는 세탁물을 처리하며, 청소기는 청소 기능, 조리기기는 음식물을 조리하는 기능 등을 수행한다.In addition, the refrigerator stores food, the washing machine processes laundry, the vacuum cleaner performs a cleaning function, and the cooking appliance performs a function of cooking food.

이러한 홈 어플라이언스의 동작을 위해서, 사용자는, 홈 어플라이언스 본체에 구비된 버튼 등을 직접 조작하거나, 매번 본체로 이동하여 입력하여야 하는 불편함을 피해 리모콘 등의 원격제어장치를 사용할 수 있다.For the operation of the home appliance, a user may directly manipulate a button provided on the main body of the home appliance, or use a remote control device such as a remote control to avoid the inconvenience of having to move to the main body and input each time.

하지만, 리모콘을 사용하는 경우에도, 사용자가 기능별로 조작키를 선택하여 입력해야 하므로, 그 사용이 불편하고, 실내가 어두울 경우 리모콘 및 조작키를 식별하기 위한 별도의 조명이 필요하게 되는 문제점이 있었다.However, even in the case of using the remote control, since the user has to select and input operation keys for each function, the use is inconvenient, and when the room is dark, there is a problem in that a separate light is required to identify the remote control and operation keys. .

따라서, 음성인식 기술을 이용하여 홈 어플라이언스를 제어하는 방안에 대한 연구가 증가하고 있다.Accordingly, research on a method of controlling a home appliance using a voice recognition technology is increasing.

한편, 음성인식 기술을 이용한 홈 어플라이언스 제어에 있어서, 정확한 음성 인식을 위해, 사용자가 기설정된 호출어를 발화한 후에, 입력하는 음성에 대해서 음성 인식 후 인식 결과에 따라 동작하는 경우가 많았다.On the other hand, in home appliance control using voice recognition technology, for accurate voice recognition, after the user utters a preset call word, the input voice is often operated according to the recognition result after voice recognition.

하지만, 음성으로 제어 가능한 기기가 증가함에 따라, 복수의 기기가 동일한 호출어가 설정될 수 있다.However, as the number of voice-controllable devices increases, a plurality of devices may set the same call word.

이 경우에, 사용자의 호출어 발화로 복수의 기기가 자연어 음성 명령을 받을 준비가 되도록 웨이크 업(wake-up)된다. In this case, the plurality of devices are woken up to be ready to receive the natural language voice command by the user's utterance of the calling word.

이에 따라, 사용자의 음성 명령 발화 후, 복수의 기기가 음성 인식을 시도하고, 동일한 명령을 수행하게 되므로, 시스템 과부하나 중복 제어로 인한 오동작 발생의 위험이 커질 수 있고, 음성 오인식의 위험도 커질 수 있다.Accordingly, after the user's voice command is uttered, since a plurality of devices attempt voice recognition and perform the same command, the risk of malfunction due to system overload or redundant control may increase, and the risk of voice misrecognition may increase. .

따라서, 동일한 호출어를 사용하는 기기들을 효과적으로 제어할 수 있는 방안이 요구된다.Accordingly, there is a need for a method for effectively controlling devices using the same call word.

본 발명의 목적은, 동일한 호출어를 사용하는 홈 어플라이언스들을 효과적으로 제어할 수 있는 홈 어플라이언스, 음성 인식 서버 시스템 및 그 동작 방법을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a home appliance, a voice recognition server system, and an operating method thereof that can effectively control home appliances using the same call word.

본 발명의 목적은, 효율적으로 자연어를 인식, 처리할 수 있는 홈 어플라이언스, 음성 인식 서버 시스템 및 그 동작 방법을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a home appliance, a voice recognition server system, and an operating method thereof that can efficiently recognize and process natural language.

본 발명의 목적은, 사용자의 음성 명령을 인식하여 제어 가능한 홈 어플라이언스 및 음성 인식 서버 시스템을 제공함에 있다.An object of the present invention is to provide a home appliance and a voice recognition server system that can be controlled by recognizing a user's voice command.

본 발명의 목적은, 음성 인식 과정에서 발생할 수 있는 오인식, 오동작을 방지할 수 있는 홈 어플라이언스, 음성 인식 서버 시스템 및 그 동작 방법을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a home appliance, a voice recognition server system, and an operating method thereof that can prevent erroneous recognition and malfunction that may occur in a voice recognition process.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 홈 어플라이언스의 동작 방법은, 복수의 마이크(MIC)를 통하여 기설정된 호출어를 포함하는 음성 신호를 수신하는 단계, 복수의 마이크를 통하여 수신된 음성 신호 중 적어도 2이상의 마이크를 통하여 수신된 음성 신호를 음성 인식 서버 시스템으로 전송하는 단계, 및, 음성 인식 서버 시스템으로부터 발화자의 음성 명령 입력 대기를 위한 웨이크 업 통보 신호를 수신하면, 기설정된 경과 시간 동안 발화자의 음성 명령 입력을 위한 명령어 대기 모드로 진입하는 단계를 포함함으로써, 사용자의 의도에 부합하지 않는 호출어 인식을 방지하고 음성 인식 성능을 향상할 수 있다.In order to achieve the above or other object, a method of operating a home appliance according to an aspect of the present invention includes receiving a voice signal including a preset call word through a plurality of microphones (MIC), receiving through a plurality of microphones Transmitting a voice signal received through at least two or more microphones among the voice signals to the voice recognition server system, and receiving a wake-up notification signal for waiting for the speaker's voice command input from the voice recognition server system By including the step of entering a command standby mode for inputting a voice command of the speaker for a period of time, it is possible to prevent recognition of a calling word inconsistent with the user's intention and improve voice recognition performance.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 음성 인식 서버 시스템의 동작 방법은, 복수의 홈 어플라이언스가 각각 구비하는 복수의 마이크(MIC)를 통하여 입력된 호출어를 포함하는 음성 신호를 복수의 홈 어플라이언스로부터 수신하는 단계, 복수의 마이크를 통하여 입력된 음성 신호의 시간차에 기초하여, 복수의 홈 어플라이언스에 대한 발화자의 방향성 정보를 판별하는 단계, 방향성 정보에 기초하여, 복수의 홈 어플라이언스 중 하나의 홈 어플라이언스를 선택하는 단계, 및, 선택된 홈 어플라이언스로 발화자의 음성 명령 입력 대기를 위한 웨이크 업 통보 신호를 전송하는 단계를 포함함으로써, 사용자의 의도에 부합하지 않는 호출어 인식을 방지하고 음성 인식 성능을 향상할 수 있다.In order to achieve the above or other object, a method of operating a voice recognition server system according to an aspect of the present invention receives a voice signal including a call word input through a plurality of microphones (MICs) provided in a plurality of home appliances, respectively. Receiving from a plurality of home appliances, based on the time difference of voice signals input through the plurality of microphones, determining the direction information of the talker for the plurality of home appliances, based on the direction information, among the plurality of home appliances Selecting one home appliance, and transmitting a wake-up notification signal for waiting for input of a voice command of a speaker to the selected home appliance, thereby preventing call word recognition inconsistent with the user's intention and voice recognition performance can be improved.

본 발명의 실시예들 중 적어도 하나에 의하면, 동일한 호출어를 사용하는 홈 어플라이언스들을 효과적으로 제어할 수 있다.According to at least one of the embodiments of the present invention, it is possible to effectively control home appliances using the same call word.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 음성 입력에 따라 홈 어플라이언스가 동작함으로써, 사용자가 리모콘을 조작할 필요가 없어, 사용자 편의성을 증대시킬 수 있다.In addition, according to at least one of the embodiments of the present invention, since the home appliance operates according to a voice input, the user does not need to operate the remote control, thereby increasing user convenience.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 효율적으로 자연어를 인식, 처리할 수 있다.In addition, according to at least one of the embodiments of the present invention, it is possible to efficiently recognize and process natural language.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 음성 인식 과정에서 발생할 수 있는 오인식, 오동작을 방지할 수 있다.Also, according to at least one of the embodiments of the present invention, it is possible to prevent erroneous recognition and malfunction that may occur during the speech recognition process.

한편, 그 외의 다양한 효과는 후술될 본 발명의 실시예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 것이다.On the other hand, various other effects will be disclosed directly or implicitly in the detailed description according to the embodiment of the present invention to be described later.

도 1은 본 발명의 일 실시예에 따른 음성 인식 서버 시스템 및 홈 어플라이언스를 포함하는 스마트 홈 시스템을 간략히 도시한 도면이다.
도 2는 홈 어플라이언스의 다양한 예를 설명하는 도면이다.
도 3a는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 일예이다.
도 3b는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 일예이다.
도 4는 본 발명의 일 실시예에 따른 서버의 내부 블록도의 일예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 홈 어플라이언스의 내부 블록도의 일예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 홈 어플라이언스의 내부 블록도의 일예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 홈 어플라이언스 및 음성 인식 서버 시스템의 개념도이다.
도 9는 본 발명의 일 실시예에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다.
도 10은 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 동작 방법을 도시한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 홈 어플라이언스와 음성 인식 서버 시스템의 동작 방법을 도시한 순서도이다.
도 12는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 동작예이다.1 is a diagram schematically illustrating a smart home system including a voice recognition server system and a home appliance according to an embodiment of the present invention.
2 is a view for explaining various examples of a home appliance.
3A is an example of a voice recognition server system according to an embodiment of the present invention.
3B is an example of a voice recognition server system according to an embodiment of the present invention.
4 is a diagram illustrating an example of an internal block diagram of a server according to an embodiment of the present invention.
5 is a diagram illustrating an example of an internal block diagram of a home appliance according to an embodiment of the present invention.
6 is a diagram illustrating an example of an internal block diagram of a home appliance according to an embodiment of the present invention.
7 is a flowchart illustrating a method of operating a home appliance according to an embodiment of the present invention.
8 is a conceptual diagram of a home appliance and a voice recognition server system according to an embodiment of the present invention.
9 is a flowchart illustrating a method of operating a home appliance according to an embodiment of the present invention.
10 is a flowchart illustrating a method of operating a voice recognition server system according to an embodiment of the present invention.
11 is a flowchart illustrating a method of operating a home appliance and a voice recognition server system according to an embodiment of the present invention.
12 is an operation example of a voice recognition server system according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, it goes without saying that the present invention is not limited to these embodiments and may be modified in various forms.

도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다. In the drawings, in order to clearly and briefly describe the present invention, the illustration of parts irrelevant to the description is omitted, and the same reference numerals are used for the same or extremely similar parts throughout the specification.

한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.On the other hand, the suffixes "module" and "part" for the components used in the following description are given simply in consideration of the ease of writing the present specification, and do not give a particularly important meaning or role by themselves. Accordingly, the terms “module” and “unit” may be used interchangeably.

도 1은 본 발명의 일 실시예에 따른 음성 인식 서버 시스템 및 홈 어플라이언스를 포함하는 스마트 홈 시스템을 간략히 도시한 도면이고 도 2는 홈 어플라이언스의 다양한 예를 설명하는 도면이다. 1 is a diagram schematically illustrating a smart home system including a voice recognition server system and a home appliance according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating various examples of the home appliance.

도 1을 참조하면, 본 발명의 일 실시예에 따른 스마트 홈 시스템(10)은, 통신 모듈(미도시)을 구비하여 다른 기기와 통신하거나 네트워크에 접속할 수 있는 홈 어플라이언스(home appliance, 200)와 음성 인식 및 가전 제어를 위한 복수의 서버를 포함하는 음성 인식 서버 시스템(100)을 포함하여 구성될 수 있다.Referring to FIG. 1 , a smart home system 10 according to an embodiment of the present invention includes a home appliance 200 having a communication module (not shown) capable of communicating with other devices or accessing a network; It may be configured to include a voice recognition server system 100 including a plurality of servers for voice recognition and home appliance control.

도 2를 참조하면, 홈 어플라이언스(200)에는 통신 모듈을 구비한 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 세탁기(200d), 조리기기(200e) 등이 해당될 수 있다.Referring to FIG. 2 , the home appliance 200 may include an air conditioner 200a having a communication module, a robot cleaner 200b, a refrigerator 200c, a washing machine 200d, a cooking appliance 200e, and the like. there is.

또한, 본 발명의 일 실시예에 따른 스마트 홈 시스템(10)은, 스마트 폰(smart phone), 태블릿(Tablet) PC 등 휴대 단말기(미도시)를 포함할 수 있다.In addition, the smart home system 10 according to an embodiment of the present invention may include a mobile terminal (not shown) such as a smart phone, a tablet PC, or the like.

홈 어플라이언스(200)는 내부에 통신 모듈을 구비하여 스마트 홈 시스템(10) 내/외부의 전자기기들과 통신할 수 있다. The home appliance 200 may have a communication module therein to communicate with electronic devices inside/outside the smart home system 10 .

본 발명의 일 실시예에 따른 스마트 홈 시스템(10)은 액세스 포인트(access point: AP) 장치(300)를 더 포함할 수 있고, 홈 어플라이언스(200)는 액세스 포인트 장치(300)를 통하여 무선 인터넷 네트워크에 접속하여 다른 기기들과 통신할 수 있다.The smart home system 10 according to an embodiment of the present invention may further include an access point (AP) device 300 , and the home appliance 200 is wireless Internet through the access point device 300 . You can connect to the network and communicate with other devices.

액세스 포인트 장치(300)는 스마트 홈 시스템(10) 내의 전자 기기들에, 소정 통신 방식에 의한 무선 채널을 할당하고, 해당 채널을 통해, 무선 데이터 통신을 수행할 수 있다. The access point device 300 may allocate a wireless channel according to a predetermined communication method to electronic devices in the smart home system 10 and perform wireless data communication through the corresponding channel.

여기서, 소정 통신 방식은, 와이파이(Wi-Fi) 통신 방식일 수 있다. 이에 대응하여, 홈 어플라이언스(200)가 구비하는 통신 모듈은 와이파이 통신 모듈일 수 있으나, 본 발명은 통신 방식에 한정되지 않는다.Here, the predetermined communication method may be a Wi-Fi communication method. Correspondingly, the communication module provided in the home appliance 200 may be a Wi-Fi communication module, but the present invention is not limited to the communication method.

또는, 홈 어플라이언스(200)는 다른 종류의 통신 모듈을 구비하거나 복수의 통신 모듈을 구비할 수 있다. 예를 들어, 홈 어플라이언스(200)는 NFC 모듈, 지그비(zigbee) 통신 모듈, 블루투스(Bluetooth™) 통신 모듈 등을 포함할 수 있다.Alternatively, the home appliance 200 may include different types of communication modules or a plurality of communication modules. For example, the home appliance 200 may include an NFC module, a Zigbee communication module, a Bluetooth™ communication module, and the like.

홈 어플라이언스(200)는 와이파이(wi-fi) 통신 모듈 등을 통해 음성 인식 서버 시스템(100)에 포함되는 서버 또는 외부의 소정 서버, 사용자의 휴대 단말기 등과 연결 가능하고, 원격 모니터링, 원격 제어 등 스마트 기능을 지원할 수 있다.The home appliance 200 can be connected to a server included in the voice recognition server system 100 or an external predetermined server, a user's mobile terminal, etc. through a Wi-Fi communication module, etc., and is smart such as remote monitoring and remote control. function can be supported.

사용자는 휴대 단말기를 통하여 스마트 홈 시스템(10) 내의 홈 어플라이언스(200)에 관한 정보를 확인하거나 홈 어플라이언스(200)를 제어할 수 있다.The user may check information on the home appliance 200 in the smart home system 10 or control the home appliance 200 through the mobile terminal.

한편, 사용자가 가정 내에서 홈 어플라이언스(200)를 제어하거나 소정 정보를 확인하고자 하는 경우에도 휴대 단말기를 반드시 이용해야 하는 것은 불편할 수 있다.Meanwhile, even when a user wants to control the home appliance 200 or check predetermined information in the home, it may be inconvenient to have to use the mobile terminal.

예를 들어, 사용자가 휴대 단말기의 현재 위치를 모르거나 다른 장소에 있는 경우에 다른 방식으로 홈 어플라이언스(200)를 제어할 수 있는 수단이 있는 것이 더 효율적이다.For example, if the user does not know the current location of the mobile terminal or is in another location, it is more efficient to have a means for controlling the home appliance 200 in a different way.

본 발명의 일 실시예에 따른 홈 어플라이언스(200)는 사용자의 음성 입력을 수신할 수 있고, 음성 인식 서버 시스템(100)은 사용자의 음성 입력을 인식, 분석하여 홈 어플라이언스(200)를 제어할 수 있다.The home appliance 200 according to an embodiment of the present invention may receive a user's voice input, and the voice recognition server system 100 may control the home appliance 200 by recognizing and analyzing the user's voice input. there is.

이에 따라, 사용자는 휴대 단말기, 원격제어장치를 조작하지 않고서도 홈 어플라이언스(200)를 제어할 수 있다.Accordingly, the user can control the home appliance 200 without operating the mobile terminal or the remote control device.

한편, 상기 음성 인식 서버 시스템(100)에 포함되는 서버들 중 적어도 일부는 홈 어플라이언스의 제조 회사, 판매 회사가 운영하는 서버이거나 제조 회사 또는 판매 회사가 서비스를 위탁한 회사가 운영하는 서버일 수 있다. On the other hand, at least some of the servers included in the voice recognition server system 100 may be a server operated by a home appliance manufacturing company or a sales company, or a server operated by a manufacturing company or a company entrusted with a service by the sales company. .

도 3a는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 일예이다.3A is an example of a voice recognition server system according to an embodiment of the present invention.

도 3a를 참조하면, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템은, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 분석하여 음성 명령을 판별하는 음성 서버(110)를 포함할 수 있다. Referring to FIG. 3A , the voice recognition server system according to an embodiment of the present invention includes a voice server 110 that receives voice data from a home appliance 200a and analyzes the received voice data to determine a voice command. may include

음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 상기 수신한 음성 데이터를 텍스트(text) 데이터로 변환하며, 텍스트 데이터를 분석하여 음성 명령을 판별할 수 있다.The voice server 110 may receive voice data from the home appliance 200a, convert the received voice data into text data, and analyze the text data to determine a voice command.

또한, 음성 서버(110)는, 판별한 음성 명령에 대응하는 신호를 소정 서버로 송신할 수 있다.Also, the voice server 110 may transmit a signal corresponding to the determined voice command to a predetermined server.

예를 들어, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템은 상기 음성 서버(110)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신하고, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하는 연계 서비스 서버(120)와 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200a)로 송신하는 가전 제어 서버(130)를 포함할 수 있다.For example, the voice recognition server system according to an embodiment of the present invention receives a signal corresponding to the determined voice command from the voice server 110 and generates a request signal corresponding to the determined voice command. It may include a link service server 120 and a home appliance control server 130 for transmitting a control signal based on a request signal received from the link service server 120 to the home appliance (200a).

상기 홈 어플라이언스(200a)는 사용자가 발화한 음성 명령 입력을 수신하여 수신한 음성 명령 입력에 기초한 음성 데이터를 상기 음성 서버(110)로 송신할 수 있다.The home appliance 200a may receive a voice command input uttered by a user and transmit voice data based on the received voice command input to the voice server 110 .

상기 음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition: ASR) 서버(111), 상기 자동 음성 인식 서버(111)로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하며, 상기 판별한 음성 명령에 기초하는 응답 신호를 상기 홈 어플라이언스(200a)로 송신하는 자연어 처리(Natural Language Processing: NLP) 서버(112), 및, 상기 홈 어플라이언스(200a)로부터 상기 응답 신호에 대응하는 텍스트를 포함하는 신호를 수신하고, 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200a)로 송신하는 텍스트 음성 변환(Text to Speech: TTS) 서버(113)를 포함할 수 있다.The voice server 110 receives voice data from the home appliance 200a and converts the received voice data into text data. An Automatic Speech Recognition (ASR) server 111, the automatic Natural language processing for receiving the text data from the voice recognition server 111, analyzing the received text data to determine a voice command, and transmitting a response signal based on the determined voice command to the home appliance 200a ( Natural Language Processing (NLP) server 112, and receives a signal including text corresponding to the response signal from the home appliance 200a, converts the text included in the received signal into voice data, It may include a text-to-speech (TTS) server 113 that transmits to the appliance 200a.

상기 자동 음성 인식 서버(111)는 홈 어플라이언스(200a)로부터 수신한 음성 데이터에 대하여 음성 인식을 수행하여 텍스트 데이터를 생성하여 상기 자연어 처리 서버(112)로 송신할 수 있다.The automatic voice recognition server 111 may perform voice recognition on voice data received from the home appliance 200a to generate text data and transmit it to the natural language processing server 112 .

상기 자연어 처리 서버(112)는 상기 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터를 자연어 처리 알고리즘에 따라 분석하여 음성 명령을 판별할 수 있다. The natural language processing server 112 may analyze the text data received from the automatic speech recognition server 111 according to a natural language processing algorithm to determine a voice command.

상기 자연어 처리 서버(112)는 자연어 처리 알고리즘에 따라 사람이 일상적으로 사용하고 있는 언어인 자연어를 처리할 수 있고, 사용자의 의도(intent)를 분석할 수 있다. 상기 자연어 처리 서버(112)는 상기 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터에 대하여 자연어 처리를 수행하여 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다.The natural language processing server 112 may process a natural language, which is a language that humans use daily, according to a natural language processing algorithm, and may analyze a user's intent. The natural language processing server 112 may perform natural language processing on the text data received from the automatic speech recognition server 111 to determine a voice command that meets the user's intention.

이에 따라, 상기 자연어 처리 서버(112)는 사용자가 일상적인 사용 언어로 음성 명령을 입력하더라도 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다. Accordingly, the natural language processing server 112 may determine a voice command that meets the user's intention even if the user inputs a voice command in a language used in daily life.

상기 자연어 처리 서버(112)는 자연어 처리 결과에 대응하는 신호, 즉, 판별한 음성 명령에 대응하는 신호를 상기 연계 서비스 서버(120)로 송신할 수 있다.The natural language processing server 112 may transmit a signal corresponding to the natural language processing result, that is, a signal corresponding to the determined voice command to the linked service server 120 .

상기 연계 서비스 서버(120)는, 상기 자연어 처리 서버(112)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신할 수 있다.The linked service server 120 may receive a signal corresponding to the determined voice command from the natural language processing server 112 .

상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이면, 상기 가전 제어 서버(130)와 통신하여 대응하는 동작을 수행할 수 있다.If the determined voice command relates to the home appliance 200a, the linked service server 120 may communicate with the home appliance control server 130 to perform a corresponding operation.

또는, 상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이 아니면, 외부의 외부 서비스(121)와 통신하여 대응하는 동작을 수행할 수 있다.Alternatively, if the determined voice command is not related to the home appliance 200a, the linked service server 120 may communicate with the external external service 121 to perform a corresponding operation.

예를 들어, 상기 연계 서비스 서버(120)는 판별한 음성 명령이 날씨, 주식, 뉴스 등의 정보를 요청하는 명령이면, 요청된 정보에 대응하는 서비스를 제공하는 서버로 해당 정보를 요청하고 수신할 수 있다.For example, if the determined voice command is a command for requesting information such as weather, stock, news, etc., the linked service server 120 may request and receive the information from a server that provides a service corresponding to the requested information. can

또한, 상기 연계 서비스 서버(120)는 수신한 정보를 음성 서버(110)로 송신할 수 있고, 상기 자연어 처리 서버(112)는 수신한 정보를 홈 어플라이언스(200a)로 전달할 수 있다.In addition, the linked service server 120 may transmit the received information to the voice server 110 , and the natural language processing server 112 may transmit the received information to the home appliance 200a.

상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이면, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하여 상기 가전 제어 서버(130)로 송신할 수 있다.If the determined voice command relates to the home appliance 200a, the linked service server 120 may generate a request signal corresponding to the determined voice command and transmit it to the home appliance control server 130 .

상기 가전 제어 서버(130)는, 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200a)로 송신할 수 있다.The home appliance control server 130 may transmit a control signal based on a request signal received from the linked service server 120 to the home appliance 200a.

예를 들어, 공기조화기(200a)의 설정 온도를 변경하는 요청이 수신되면, 상기 가전 제어 서버(130)는 상기 공기조화기(200a)로 설정 온도를 변경하는 제어 신호를 송신할 수 있다.For example, when a request to change the set temperature of the air conditioner 200a is received, the home appliance control server 130 may transmit a control signal for changing the set temperature to the air conditioner 200a.

한편, 홈 어플라이언스(200a)는 상기 가전 제어 서버(130)로부터 수신한 제어 신호에 따라 대응하는 동작을 수행할 수 있다. On the other hand, the home appliance (200a) may perform a corresponding operation according to the control signal received from the home appliance control server (130).

또한, 홈 어플라이언스(200a)는 요청받은 동작을 수행한 후 동작을 수행하였음을 알리는 신호를 상기 가전 제어 서버(130)로 송신할 수 있다.In addition, the home appliance 200a may transmit a signal indicating that the operation has been performed after performing the requested operation to the home appliance control server 130 .

또한, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200a)로부터 상기 제어 신호에 대한 응답 신호를 수신하고, 상기 응답 신호에 대응하는 처리 결과 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.In addition, the home appliance control server 130 may receive a response signal to the control signal from the home appliance 200a, and transmit processing result information corresponding to the response signal to the linked service server 120 . there is.

상기 음성 서버(110)는, 상기 처리 결과 정보를 포함하는 응답 신호를 상기 홈 어플라이언스(200a)로 송신할 수 있다.The voice server 110 may transmit a response signal including the processing result information to the home appliance 200a.

또한, 상기 음성 서버(110)는, 상기 홈 어플라이언스(200a)로부터 상기 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함하는 신호를 수신하고, 상기 수신한 출력 문구 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200a)로 전송할 수 있다.In addition, the voice server 110 receives a signal including an output phrase text corresponding to the processing result information from the home appliance 200a, and converts the received output phrase text into voice data to convert the received output text text into voice data. It can be transmitted to (200a).

이 경우에, 상기 자연어 처리 서버(112)가 상기 홈 어플라이언스(200a)로 송신하는 상기 판별한 음성 명령에 기초하는 응답 신호는, 상기 처리 결과 정보를 포함할 수 있다.In this case, the response signal based on the determined voice command transmitted from the natural language processing server 112 to the home appliance 200a may include the processing result information.

한편, 홈 어플라이언스(200a)는 상기 자연어 처리 서버(112)로부터 상기 판별한 음성 명령에 기초하는 응답 신호를 수신할 수 있다. 여기서, 응답 신호를 상기 판별한 음성 명령에 대응하는 응답의 텍스트 데이터를 포함할 수 있다.Meanwhile, the home appliance 200a may receive a response signal based on the determined voice command from the natural language processing server 112 . Here, the response signal may include text data of a response corresponding to the determined voice command.

예를 들어, 사용자가 공기조화기의 설정 온도를 변경하는 음성 명령을 입력한 경우에, 상기 응답 신호는 설정 온도를 변경하였음을 나타내는 텍스트 데이터를 포함할 수 있다.For example, when the user inputs a voice command for changing the set temperature of the air conditioner, the response signal may include text data indicating that the set temperature has been changed.

한편, 홈 어플라이언스(200a)는 수신한 응답 신호에 대응하는 텍스트를 포함하는 신호를 상기 텍스트 음성 변환 서버(113)로 송신할 수 있다. 여기서, 상기 응답 신호에 대응하는 텍스트를 포함하는 신호는 상기 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함할 수 있다.Meanwhile, the home appliance 200a may transmit a signal including text corresponding to the received response signal to the text-to-speech conversion server 113 . Here, the signal including the text corresponding to the response signal may include the output phrase text corresponding to the processing result information.

한편, 상기 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200a)로 송신할 수 있다. 여기서 변환된 음성 데이터는 음원 파일을 포함할 수 있다. Meanwhile, the text-to-speech server 113 may convert text included in the received signal into voice data and transmit it to the home appliance 200a. Here, the converted voice data may include a sound source file.

상기 홈 어플라이언스(200a)는 스피커를 통하여 수신한 음성 데이터에 기초한 음성 안내 메시지를 출력할 수 있다.The home appliance 200a may output a voice guidance message based on voice data received through a speaker.

한편, 상기 연계 서비스 서버(120)는, 상기 판별한 음성 명령에 대응하는 신호에 기초하여 상기 홈 어플라이언스(200a)의 상태 정보를 상기 가전 제어 서버(130)로 요청하고, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200a)의 상태 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다. 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200a)의 상태 정보가 확보되어 있는 상태가 아닌 경우에는, 상기 홈 어플라이언스(200a)로 상태 정보를 요청하여 수신할 수 있다.Meanwhile, the linked service server 120 requests the home appliance control server 130 for status information of the home appliance 200a based on a signal corresponding to the determined voice command, and the home appliance control server 130 ) may transmit the status information of the home appliance 200a to the linked service server 120 . The home appliance control server 130 may request and receive status information from the home appliance 200a when the status information of the home appliance 200a is not secured.

한편, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200a)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 가능한 경우에, 상기 가전 제어 서버(130)로 상기 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.On the other hand, the linked service server 120 responds to the voice command determined by the home appliance control server 130 when support of the voice command determined based on the status information of the home appliance 200a is possible. A request signal can be transmitted.

또는, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200a)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 불가능한 경우에, 상기 자연어 처리 서버(112)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.Alternatively, when the linked service server 120 cannot support the voice command determined based on the status information of the home appliance 200a, the function not supported in the current state as the natural language processing server 112 It is possible to transmit a signal indicating that

이 경우에도, 홈 어플라이언스(200a)는 상기 텍스트 음성 변환 서버(113)로 음성 데이터를 요청, 수신하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.Even in this case, the home appliance 200a may request and receive voice data from the text-to-speech conversion server 113 and output a voice guidance message indicating that the function is not supported in the current state.

실시예에 따라서는, 상기 음성 서버(110)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 예를 들어, 사용자의 음성 명령의 의도를 분석한 상기 자연어 처리 서버(112)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. According to an embodiment, the voice server 110 may determine whether the determined voice command can be supported. For example, the natural language processing server 112 that has analyzed the intention of the user's voice command may determine whether the determined voice command can be supported.

이 경우에, 상기 판별한 음성 명령이 지원 불가능한 명령을 포함하고 있는 경우, 상기 자연어 처리 서버(112)가 송신하는 상기 판별한 음성 명령에 기초하는 응답 신호는 상기 판별한 음성 명령이 상기 홈 어플라이언스(200a)가 지원하지 않는 기능임을 알리는 신호일 수 있다.In this case, when the determined voice command includes a command that cannot be supported, a response signal based on the determined voice command transmitted by the natural language processing server 112 is the home appliance ( 200a) may be a signal indicating that the function is not supported.

본 발명의 일 실시예에 따른 음성 서버(110) 및 이를 포함하는 음성 인식 서버 시스템(100)은, 자연어 음성처리를 위해 여러 역할을 하는 서버를 유기적으로 연결하여 이용할 수 있다.The voice server 110 and the voice recognition server system 100 including the same according to an embodiment of the present invention can be used by organically connecting servers that play various roles for natural language voice processing.

홈 어플라이언스(200)는 음성 명령의 수신 및 전처리, 서버 전송까지의 동작을 수행하고, 음성 서버(110)는, 음성/텍스트 변환, 의도분석, 명령 식별 등 자연어 처리 과정을 수행할 수 있다.The home appliance 200 may perform operations up to reception and pre-processing of a voice command and transmission to a server, and the voice server 110 may perform natural language processing such as voice/text conversion, intention analysis, and command identification.

음성 서버(110)가 자연어 처리를 수행함으로써, 홈 어플라이언스 내부 임베디드 모듈의 CPU, 메모리 등의 부담을 감소시킬 수 있다.Since the voice server 110 performs natural language processing, it is possible to reduce the load on the CPU and memory of the embedded module inside the home appliance.

한편, 연계 서비스 서버(120)는 외부 서비스 및 가전 제어 서버(130)와 통신하여 사용자의 음성 명령에 기초한 동작을 수행할 수 있다.Meanwhile, the linked service server 120 may communicate with an external service and home appliance control server 130 to perform an operation based on a user's voice command.

한편, 홈 어플라이언스(200)는 음성 서버(110)로부터 음원 파일을 포함하는 음성 데이터를 수신하여, 음성 안내 메시지를 오디오로 출력함으로써, 청각적 피드백으로 사용자의 음성 입력에 화답할 수 있다.Meanwhile, the home appliance 200 may receive voice data including a sound source file from the voice server 110 and output a voice guidance message as audio, thereby responding to the user's voice input with auditory feedback.

홈 어플라이언스(200)는 음성 서버(110)로부터 음성 파일을 스트리밍으로 전달 받아 사용자에게 음성 안내 메시지를 재생, 출력할 수 있다. 이에 따라 홈 어플라이언스(200)는 다양한 음원 파일을 저장하고 있을 필요가 없다. The home appliance 200 may receive a voice file from the voice server 110 as streaming and reproduce and output a voice guidance message to the user. Accordingly, the home appliance 200 does not need to store various sound source files.

한편, 연계 서비스 서버(120)를 통하여 다른 서버와 충돌하지 않으면서도 다양한 외부 서비스들과의 연계가 가능하다. 또한, 외부 서비스 연동 서버를 통해 의도분석 시 외부 정보를 반영하여 의도분석 성공률을 높일 수 있다.Meanwhile, through the linked service server 120 , it is possible to link with various external services without colliding with other servers. In addition, it is possible to increase the success rate of intention analysis by reflecting external information during intention analysis through an external service interworking server.

본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100)은, 복수의 서버를 통해, 호환성 및 연결성을 확보하고, 최종 제어 명령은 가전 제어 서버(130)를 활용함으로써, 음성 인식 과정과 가전 제어 서버(130)를 통해 와이파이 통신을 이용한 가전 제어 사이의 충돌 및 휴대 단말기를 통한 가전 제어와 홈 어플라이언스(200)를 통한 음성 입력에 의한 가전 제어 간 충돌을 막을 수 있다.The voice recognition server system 100 according to an embodiment of the present invention secures compatibility and connectivity through a plurality of servers, and the final control command utilizes the home appliance control server 130, so that the voice recognition process and home appliance control Through the server 130 , it is possible to prevent a conflict between home appliance control using Wi-Fi communication and a conflict between home appliance control through a mobile terminal and home appliance control by voice input through the home appliance 200 .

본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100)은, 서버 간 유기적인 연결을 통해 어느 한 서버에 의존하여 특정서버에 부하가 몰리는 것을 줄일 수 있고, 각각의 서버 별 역할이 달라, 특정 서버에서 문제가 생길 경우 동일한 역할을 하는 타 서버와의 연계를 통해 쉽게 대응이 가능하다. The voice recognition server system 100 according to an embodiment of the present invention can reduce the load on a specific server depending on one server through an organic connection between servers, and the role of each server is different, If there is a problem in the server, it can be easily dealt with by linking with other servers that play the same role.

또한, 복수의 서버들을 독립적으로 수시로 업데이트할 수 있어, 성능 개선에 유리하다.In addition, a plurality of servers can be independently updated frequently, which is advantageous for performance improvement.

도 3b는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 일예이다.3B is an example of a voice recognition server system according to an embodiment of the present invention.

도 3b에서 예시된 음성 인식 서버 시스템은, 도 3a에서 예시된 음성 인식 서버 시스템이 음성 안내 메시지 출력을 위한 음성 데이터가 홈 어플라이언스(200a)로 전송되는 과정을 개선하여 음성 제어 응답 시간을 향상한 것이다.The voice recognition server system illustrated in FIG. 3B improves the voice control response time by improving the process in which the voice recognition server system illustrated in FIG. 3A transmits voice data for outputting a voice guidance message to the home appliance 200a. .

따라서, 도 3a와 도 3b에서 예시된 음성 인식 서버 시스템은 상기 차이점 이외의 동작은 실질적으로 동일하게 수행할 수 있고, 이하에서는 동일한 부분에 대해서는 간략히 기술한다.Accordingly, the voice recognition server system illustrated in FIGS. 3A and 3B may perform substantially the same operations except for the above differences, and the same parts will be briefly described below.

도 3b를 참조하면, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템은, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 분석하여 음성 명령을 판별하는 음성 서버(110)를 포함할 수 있다.Referring to FIG. 3B , the voice recognition server system according to an embodiment of the present invention includes a voice server 110 that receives voice data from a home appliance 200a and analyzes the received voice data to determine a voice command. may include

또한, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템은, 상기 음성 서버(110)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신하고, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하는 연계 서비스 서버(120)와 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200a)로 송신하는 가전 제어 서버(130)를 더 포함할 수 있다.In addition, the voice recognition server system according to an embodiment of the present invention receives a signal corresponding to the determined voice command from the voice server 110, and generates a request signal corresponding to the determined voice command. It may further include a home appliance control server 130 for transmitting a control signal based on a request signal received from the service server 120 and the linked service server 120 to the home appliance (200a).

도 3b에서 예시된 음성 인식 서버 시스템은, 홈 어플라이언스(200a)의 요청 없이도, 상기 음성 서버(110)가 상기 음성 명령에 기초하는 처리 결과 정보를 포함하는 음성 데이터를 상기 홈 어플라이언스(200a)로 송신할 수 있다.In the voice recognition server system illustrated in FIG. 3B , the voice server 110 transmits voice data including processing result information based on the voice command to the home appliance 200a without a request from the home appliance 200a. can do.

상기 음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식 서버(111), 상기 자동 음성 인식 서버(111)로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리 서버(112), 및, 상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여 상기 홈 어플라이언스(200a)로 송신하는 텍스트 음성 변환 서버(113)를 포함할 수 있다.The voice server 110 receives voice data from the home appliance 200a and converts the received voice data into text data. A natural language processing server 112 that receives the text data and analyzes the received text data to determine a voice command, and converts a response signal based on the voice command into voice data and transmits it to the home appliance 200a It may include a text-to-speech server 113 that does.

본 실시예에서도, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200a)로부터 상기 제어 신호에 대한 응답 신호를 수신하고, 상기 응답 신호에 대응하는 처리 결과 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.Also in this embodiment, the home appliance control server 130 receives a response signal to the control signal from the home appliance 200a, and transmits processing result information corresponding to the response signal to the linked service server 120 . can send

상기 연계 서비스 서버(120)는 음성 서버(110), 더욱 상세하게는 자연어 처리 서버(112)로 상기 처리 결과 정보를 전달할 수 있다.The linked service server 120 may transmit the processing result information to the voice server 110 , more specifically, the natural language processing server 112 .

이 경우에, 상기 텍스트 음성 변환 서버(113)가 상기 홈 어플라이언스(200a)로 송신하는 음성 데이터는, 상기 처리 결과 정보를 포함할 수 있다.In this case, the voice data transmitted by the text-to-speech conversion server 113 to the home appliance 200a may include the processing result information.

또한, 상기 연계 서비스 서버(120)는, 상기 판별한 음성 명령에 대응하는 신호에 기초하여 상기 홈 어플라이언스(200a)의 상태 정보를 상기 가전 제어 서버로 요청하고, 상기 가전 제어 서버는, 상기 홈 어플라이언스(200a)의 상태 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.In addition, the linked service server 120 requests status information of the home appliance 200a to the home appliance control server based on a signal corresponding to the determined voice command, and the home appliance control server includes the home appliance The status information of 200a may be transmitted to the linked service server 120 .

또한, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200a)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 가능한 경우에, 상기 가전 제어 서버(130)로 상기 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.In addition, the linked service server 120 responds to the voice command determined by the home appliance control server 130 when support of the voice command determined based on the status information of the home appliance 200a is possible. A request signal can be transmitted.

또는, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200a)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 불가능한 경우에, 상기 음성 서버(110)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.Alternatively, the linked service server 120 is a function that is not currently supported by the voice server 110 when it is impossible to support the voice command determined based on the status information of the home appliance 200a. A signal can be sent to notify.

예를 들어, 상기 연계 서비스 서버(120)는 상기 자연어 처리 서버(112)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다. For example, the linked service server 120 may transmit a signal indicating that the function is not supported in the current state to the natural language processing server 112 .

또한, 상기 자연어 처리 서버(112)는 상기 텍스트 음성 변환 서버(113)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 전달하고, 상기 텍스트 음성 변환 서버(113)는 대응하는 음성 데이터를 생성하여 홈 어플라이언스(200a)로 송신할 수 있다.In addition, the natural language processing server 112 transmits a signal indicating that the function is not supported in the current state to the text-to-speech server 113, and the text-to-speech server 113 generates corresponding voice data It may transmit to the appliance 200a.

홈 어플라이언스(200a)는 상기 텍스트 음성 변환 서버(113)로부터 음성 데이터를 수신하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.The home appliance 200a may receive voice data from the text-to-speech server 113 and output a voice guidance message indicating that the function is not supported in the current state.

홈 어플라이언스(200a)가 동작한 후 제일 마지막으로 음성 안내를 위한 텍스트 음성 변환 서버(113)에 해당 동작에 대한 안내 멘트를 요청할 경우 동작과 안내 멘트 사이에 시간 차가 발생할 수 있다. After the home appliance 200a operates, when a text-to-speech conversion server 113 for voice guidance finally requests a guide for the corresponding operation, a time difference may occur between the operation and the guide.

하지만, 본 발명의 일 실시예에 따르면, 의도분석이 완료되어 동작 요청이 자연어 처리 서버(112)에서 송신될 때, 이와 동시에 텍스트 음성 변환 서버(113)로 정보를 제공해줄 수 있다.However, according to an embodiment of the present invention, when the intention analysis is completed and the operation request is transmitted from the natural language processing server 112 , information may be provided to the text-to-speech conversion server 113 at the same time.

또한, 가전 제어 서버(130)에서 홈 어플라이언스(200a)에 제어 명령을 내리는 시점에 준하여 텍스트 음성 변환 서버(113)에서 홈 어플라이언스(200a)로 안내멘트를 제공할 수 있다.In addition, it is possible to provide a guide from the text-to-speech server 113 to the home appliance 200a according to the time when the home appliance control server 130 gives a control command to the home appliance 200a.

이에 따라, 홈 어플라이언스(200a) 동작과 동시 또는 바로 후 안내멘트가 발화될 수 있다.Accordingly, a guide message may be ignited simultaneously with or immediately after the operation of the home appliance 200a.

본 실시예에 따르면, 자연어 처리 서버(112)와 텍스트 음성 변환 서버(113)를 바로 연결함으로써, 가전 제어 서버(130)를 통한 제어명령과 안내멘트 사이의 시간 차를 최소화할 수 있다.According to this embodiment, by directly connecting the natural language processing server 112 and the text-to-speech server 113, it is possible to minimize the time difference between the control command and the announcement through the home appliance control server 130.

한편, 도 3a와 도 3b에서는 홈 어플라이언스(200)로 공기조화기(200a)를 예시하여 설명하였지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 홈 어플라이언스(200)에는 공기조화기(200a) 외에 로봇청소기(200b), 냉장고(200c), 세탁기(200d), 조리기기(200e) 등이 해당될 수 있다.Meanwhile, although the air conditioner 200a is illustrated and described as the home appliance 200 in FIGS. 3A and 3B , the present invention is not limited thereto. For example, the home appliance 200 may include a robot cleaner 200b, a refrigerator 200c, a washing machine 200d, and a cooking appliance 200e in addition to the air conditioner 200a.

한편, 본 발명의 일 측에 따르면, 도 3a와 도 3b과 달리, 음성 인식 및 처리를 위한 자동 음성 인식 서버(111), 자연어 처리 서버(112), 텍스트 음성 변환 서버(113)는 하나의 통합 서버로 구성될 수 있다.On the other hand, according to one side of the present invention, unlike FIGS. 3A and 3B , the automatic voice recognition server 111 for voice recognition and processing, the natural language processing server 112 , and the text-to-speech conversion server 113 are integrated into one It can be configured as a server.

또한, 실시예에 따라서는, 연계 서비스 서버(120)와 가전 제어 서버(130)는 하나의 통합 서버로 구성될 수 있다.In addition, depending on the embodiment, the linked service server 120 and the home appliance control server 130 may be configured as one integrated server.

본 발명에 따르면, 음성 입력에 따라 홈 어플라이언스가 동작함으로써, 사용자가 리모콘 등 원격제어장치, 휴대 단말기 등을 조작할 필요가 없어, 사용자 편의성을 증대시킬 수 있다.According to the present invention, since the home appliance operates according to a voice input, the user does not need to operate a remote control device such as a remote control, a mobile terminal, etc., and thus user convenience can be increased.

또한, 도 3a와 도 3b를 참조하여 설명한 것과 같이, 본 발명은 복수의 서버를 이용하여, 사용자의 자연어 음성 명령을 인식하고, 대응하는 제어 동작을 수행함으로써, 홈 어플라이언스, 각 서버의 시스템 자원에 제한되지 않고 효율적으로 자연어를 인식, 처리할 수 있다.In addition, as described with reference to FIGS. 3A and 3B , the present invention uses a plurality of servers to recognize a user's natural language voice command and perform a corresponding control operation, thereby providing the home appliance and system resources of each server. It can recognize and process natural language efficiently without limitation.

도 4는 본 발명의 일 실시예에 따른 서버의 내부 블록도의 일예를 도시한 도면으로, 상기 서버는, 자동 음성 인식 서버(111), 자연어 처리 서버(112), 텍스트 음성 변환 서버(113), 연계 서비스 서버(120), 가전 제어 서버(130)일 수 있다.4 is a diagram illustrating an example of an internal block diagram of a server according to an embodiment of the present invention, wherein the server includes an automatic speech recognition server 111 , a natural language processing server 112 , and a text-to-speech server 113 . , the linked service server 120 , it may be a home appliance control server 130 .

도 4를 참조하면, 서버는, 통신 모듈(420), 저장부(430), 및 프로세서(410)를 구비할 수 있다.Referring to FIG. 4 , the server may include a communication module 420 , a storage 430 , and a processor 410 .

프로세서(410)는, 서버의 전반적인 동작을 제어할 수 있다.The processor 410 may control the overall operation of the server.

통신 모듈(420)은, 휴대 단말기, 공기조화기 등 홈 어플라이언스, 다른 서버 등으로부터 상태 정보, 동작 정보, 조작 정보, 음성 데이터, 문자 데이터 등 각종 데이터를 수신할 수 있다. The communication module 420 may receive various data, such as status information, operation information, operation information, voice data, and text data, from a mobile terminal, a home appliance such as an air conditioner, or another server.

그리고 통신 모듈(420)은 수신되는 각종 정보에 대응하는 데이터를 그대로 또는 소정 처리 후에 휴대 단말기, 공기조화기 등 홈 어플라이언스, 다른 서버 등으로 송신할 수 있다.In addition, the communication module 420 may transmit data corresponding to various types of received information as it is or after predetermined processing to a mobile terminal, a home appliance such as an air conditioner, or another server.

이를 위해, 통신 모듈(420)은 인터넷 모듈, 이동 통신 모듈 등 하나 이상의 통신 모듈을 구비할 수 있다.To this end, the communication module 420 may include one or more communication modules such as an Internet module and a mobile communication module.

저장부(430)는, 수신되는 정보를 저장하고, 이에 대응하는 결과 정보 생성을 위한 데이터를 구비할 수 있다.The storage unit 430 may store received information and include data for generating result information corresponding thereto.

저장부(430)는 해당 서버의 동작을 위한 데이터가 저장될 수 있다. 예를 들어, 저장부(430)에는, 자동 음성 인식 서버(111)의 경우 자동 음성 인식 알고리즘 등이 저장되고, 가전 제어 서버(130)의 경우 홈 어플라이언스의 제품 정보, 상태 정보, 홈 어플라이언스의 제어를 위한 데이터가 저장될 수 있다.The storage unit 430 may store data for the operation of the corresponding server. For example, in the storage unit 430 , an automatic voice recognition algorithm is stored in the case of the automatic voice recognition server 111 , and product information of the home appliance, status information, and control of the home appliance in the case of the home appliance control server 130 . Data for can be stored.

한편, 서버는, 공기조화기 등 홈 어플라이언스 제조사가 운영하는 서버 또는 서비스 제공자가 운영하는 서버일 수 있고, 일종의 클라우드(Cloud) 서버일 수 있다.Meanwhile, the server may be a server operated by a home appliance manufacturer such as an air conditioner or a server operated by a service provider, or may be a kind of cloud server.

서버는 수신하는 음성 데이터에 대하여 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 저장부(430)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.The server may perform machine learning, such as deep learning, on the received voice data, and the storage unit 430 may store data used for machine learning, result data, and the like.

머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.Deep Learning, a type of machine learning, learns from data in multiple stages down to a deep level.

딥러닝(Deep learning)은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다. Deep learning may represent a set of machine learning algorithms that extract core data from a plurality of data as the level increases.

딥러닝 구조는 인공신경망(ANN)를 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(DNN)으로 구성될 수 있다.The deep learning structure may include an artificial neural network (ANN), for example, the deep learning structure is composed of a deep neural network (DNN) such as CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), DBN (Deep Belief Network), etc. can be

본 발명에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등일 수 있다.The deep learning structure according to the present invention may use various well-known structures. For example, the deep learning structure according to the present invention may be a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Deep Belief Network (DBN), or the like.

RNN(Recurrent Neural Network)은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.RNN (Recurrent Neural Network) is widely used in natural language processing, etc., and is an effective structure for processing time-series data that changes with time. .

DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)를 구성할 수 있다. DBN (Deep Belief Network) is a deep learning structure composed of multi-layered Restricted Boltzman Machine (RBM), a deep learning technique. By repeating Restricted Boltzman Machine (RBM) learning, when a certain number of layers is reached, a Deep Belief Network (DBN) having the corresponding number of layers can be configured.

CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다. CNN (Convolutional Neural Network) is a model that simulates human brain function based on the assumption that when a person recognizes an object, it extracts the basic features of the object, then performs complex calculations in the brain and recognizes the object based on the result. am.

한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.On the other hand, learning of the artificial neural network can be accomplished by adjusting the weight of the connection line between nodes (and adjusting the bias value if necessary) so that a desired output is obtained for a given input. In addition, the artificial neural network may continuously update a weight value by learning. In addition, a method such as back propagation may be used for learning the artificial neural network.

한편, 서버에는 머신 러닝)으로 기학습된 인공신경망(Artificial Neural Network)이 탑재될 수 있다.On the other hand, the server may be equipped with an artificial neural network previously learned by machine learning.

본 발명의 일 실시 예에 따른 서버는, 수신되는 음성 데이터를 입력 데이터로 하는 머신 러닝(machine learning) 기반의 음성 인식을 수행할 수 있다. The server according to an embodiment of the present invention may perform machine learning-based voice recognition using received voice data as input data.

프로세서(410)는 인공신경망, 예를 들어, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함될 수 있고, 심층신경망을 학습할 수 있다.The processor 410 may include an artificial neural network, for example, a deep neural network (DNN) such as a convolutional neural network (CNN), a recurrent neural network (RNN), a deep belief network (DBN), and a deep neural network. can learn

상기 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다.As the machine learning method of the artificial neural network, both unsupervised learning and supervised learning may be used.

한편, 상기 프로세서(410)는 설정에 따라 학습 후 음성 인식 인공신경망 구조로 업데이트시키도록 제어할 수 있다.Meanwhile, the processor 410 may control to update the structure of the speech recognition artificial neural network after learning according to a setting.

도 5는 본 발명의 일 실시예에 따른 홈 어플라이언스의 내부 블록도의 일예를 도시한 도면이다. 5 is a diagram illustrating an example of an internal block diagram of a home appliance according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 홈 어플라이언스(200)는, 카메라(210), 사용자의 음성 명령을 수신하는 오디오 입력부(220), 조작부(230), 각종 데이터를 저장하는 메모리(250), 다른 전자기기와 무선 통신하는 통신부(270), 각 홈 어플라이언스에 구현된 동작을 수행하는 구동부(280), 소정 정보를 영상으로 표시하는 디스플레이(292), 소정 정보를 오디오로 출력하는 오디오 출력부(291), 각종 데이터를 센싱하는 센서부(215), 및, 전반적인 동작을 제어하는 제어부(240)를 포함할 수 있다.Referring to FIG. 5 , a home appliance 200 according to an embodiment of the present invention includes a camera 210 , an audio input unit 220 for receiving a user's voice command, a manipulation unit 230 , and a memory for storing various data. 250, a communication unit 270 for wirelessly communicating with other electronic devices, a driving unit 280 for performing an operation implemented in each home appliance, a display 292 for displaying predetermined information as an image, and an audio outputting predetermined information It may include an audio output unit 291 , a sensor unit 215 for sensing various data, and a control unit 240 for controlling overall operations.

오디오 입력부(220)는, 외부의 오디오 신호, 사용자 음성 명령을 입력받을 수 있다. 이를 위해, 오디오 입력부(220)는, 하나 이상의 마이크(MIC)를 구비할 수 있다. 또한, 사용자의 음성 명령을 더 정확히 수신하기 위하여 오디오 입력부(220)는 복수의 마이크(221, 222)를 구비할 수 있다. 복수의 마이크(221, 222)는, 서로 다른 위치에 이격되어 배치될 수 있고, 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다. The audio input unit 220 may receive an external audio signal or a user voice command. To this end, the audio input unit 220 may include one or more microphones (MIC). Also, in order to more accurately receive a user's voice command, the audio input unit 220 may include a plurality of microphones 221 and 222 . The plurality of microphones 221 and 222 may be disposed to be spaced apart from each other, and may obtain an external audio signal and process it as an electrical signal.

도 5 등에서는 오디오 입력부(220)가 제1 마이크(221)와 제2 마이크(222)의 2개의 마이크를 구비하는 예를 도시하였으나, 본 발명은 이에 한정되지 않는다.5 illustrates an example in which the audio input unit 220 includes two microphones, a first microphone 221 and a second microphone 222 , but the present invention is not limited thereto.

오디오 입력부(220)는 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성 명령을 제어부(240) 또는 소정 서버에서 인식할 수 있도록 데이터화할 수 있다. The audio input unit 220 may include a processing unit that converts analog sound into digital data or may be connected to the processing unit to convert a user input voice command into data so that the control unit 240 or a predetermined server can recognize it.

한편, 오디오 입력부(220)는 사용자의 음성 명령을 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.Meanwhile, the audio input unit 220 may use various noise removal algorithms for removing noise generated in the process of receiving a user's voice command.

또한, 오디오 입력부(220)는 각 마이크(221, 222)에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다.In addition, the audio input unit 220 may include components for processing audio signals, such as a filter for removing noise from the audio signal received from the microphones 221 and 222 , and an amplifier for amplifying and outputting a signal output from the filter. .

메모리(250)는 홈 어플라이언스의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.The memory 250 records various types of information necessary for the operation of the home appliance, and may include a volatile or nonvolatile recording medium. A recording medium stores data that can be read by a microprocessor, such as HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic may include tapes, floppy disks, optical data storage devices, and the like.

메모리(250)에는 홈 어플라이언스의 동작제어를 위한 데이터, 동작 중 센서부(215)를 통해 감지 또는 측정되는 데이터와, 통신부(270)를 통해 수신되는 데이터 등이 저장될 수 있다. The memory 250 may store data for operation control of the home appliance, data sensed or measured through the sensor unit 215 during operation, and data received through the communication unit 270 .

실시예에 따라서는, 메모리(250)에는 사용자가 입력한 음성 명령의 음원 파일이 저장될 수 있고, 저장된 음원 파일은 통신부(270)을 통하여 음성 인식 서버 시스템(100)으로 전송될 수 있다. 또한, 상기 저장된 음원 파일은 기설정된 시간 경과 또는 기설정된 동작 수행 후에 삭제될 수 있다.According to an embodiment, a sound source file of a voice command input by a user may be stored in the memory 250 , and the stored sound source file may be transmitted to the voice recognition server system 100 through the communication unit 270 . In addition, the stored sound source file may be deleted after a preset time elapses or a preset operation is performed.

한편, 메모리(250)에는 음성 인식을 위한 데이터가 저장될 수 있고, 제어부(240)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다. Meanwhile, data for voice recognition may be stored in the memory 250 , and the controller 240 may process a user's voice input signal received through the audio input unit 220 and perform a voice recognition process.

또는, 실시예에 따라서는, 홈 어플라이언스(200)는 음성 인식 모듈(미도시)을 포함하고, 음성 인식 모듈이 호출어 인식 등 간단한 음성 인식을 수행할 수 있다. 음성 인식 모듈을 포함하는 실시예에 대해서는 도 6을 참조하여 상세히 후술한다.Alternatively, according to an embodiment, the home appliance 200 may include a voice recognition module (not shown), and the voice recognition module may perform simple voice recognition such as call word recognition. An embodiment including a voice recognition module will be described later in detail with reference to FIG. 6 .

또한, 음성 신호의 호출어 포함 여부를 판별하기 위한 호출어 판단 알고리즘이 메모리(250)에 저장될 수 있다. ,Also, a calling word determination algorithm for determining whether the voice signal includes a calling word may be stored in the memory 250 . ,

상기 제어부(240) 및 음성 인식 모듈은 상기 호출어 판단 알고리즘에 기초하여 상기 음성 신호의 상기 호출어 포함 여부를 판별할 수 있다.The control unit 240 and the voice recognition module may determine whether the call word is included in the voice signal based on the call word determination algorithm.

한편, 간단한 음성 인식은 홈 어플라이언스(200)가 수행하고, 자연어 처리 등 고차원의 음성 인식은 음성 인식 서버 시스템(100)에서 수행될 수 있다.Meanwhile, simple voice recognition may be performed by the home appliance 200 , and high-level voice recognition such as natural language processing may be performed by the voice recognition server system 100 .

예를 들어, 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에, 홈 어플라이언스(200)는 음성 명령어를 수신하기 위한 상태로 전환될 수 있다. 이 경우에, 홈 어플라이언스(200)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 서버 시스템(100)을 통하여 수행할 수 있다. For example, when a wake up voice signal including a preset call word is received, the home appliance 200 may be switched to a state for receiving a voice command. In this case, the home appliance 200 may perform only a voice recognition process up to whether or not a call word is inputted, and subsequent voice recognition for the user's voice input may be performed through the voice recognition server system 100 .

홈 어플라이언스이 시스템 자원에는 한계가 있으므로, 복잡한 자연어 인식 및 처리는 음성 인식 서버 시스템(100)을 통하여 수행될 수 있다.Since the home appliance has a limited system resource, complex natural language recognition and processing may be performed through the voice recognition server system 100 .

또는, 호출어 음성 입력 여부의 판단은 홈 어플라이언스(200)와 음성 인식 서버 시스템(100)에서 이중으로 수행될 수 있다. 이에 따라, 호출어 음성 입력 판단의 오인식을 줄이고, 인식률을 높일 수 있다. Alternatively, the determination of whether to input the call word may be performed in the home appliance 200 and the voice recognition server system 100 dually. Accordingly, it is possible to reduce erroneous recognition of the calling word voice input determination and increase the recognition rate.

메모리(250)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 메모리(250)에는 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식하기 위한 데이터가 저장될 수 있다. 이 경우에, 제어부(240)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호로부터 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식할 수 있다. Limited data may be stored in the memory 250 . For example, data for recognizing a wake-up voice signal including a preset call word may be stored in the memory 250 . In this case, the controller 240 may recognize a wake up voice signal including a preset call word from the user's voice input signal received through the audio input unit 220 .

한편, 호출어는 제조사에 의해 설정될 수 있고, 홈 어플라이언스 별로 다른 호출어가 설정될 수 있다. 예를 들어, 공기조화기의 경우에는 "LG 휘센", 냉장고의 경우에는 "LG 디오스"가 호출어로 설정될 수 있다.Meanwhile, the call word may be set by the manufacturer, and a different call word may be set for each home appliance. For example, in the case of an air conditioner, "LG Whisen" and in the case of a refrigerator, "LG Dios" may be set as the calling word.

또한, 호출어는 사용자에 의해 설정 변경이 가능하다. In addition, the setting of the call word can be changed by the user.

제어부(240)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성 명령을, 통신부(270)를 통하여, 음성 인식 서버 시스템(100)에 송신하도록 제어할 수 있다. The controller 240 may control to transmit a user's voice command input after recognition of a wake up voice signal to the voice recognition server system 100 through the communication unit 270 .

통신부(270)는, 하나 이상의 통신 모듈을 구비하여, 다른 전자기기와, 무선 통신을 수행하여, 각종 신호를 주고 받을 수 있다. 예를 들어, 통신부(270)는 스마트 홈 시스템(10) 내/외부의 전자기기들과 통신할 수 있다. The communication unit 270 may include one or more communication modules to perform wireless communication with other electronic devices to transmit and receive various signals. For example, the communication unit 270 may communicate with electronic devices inside/outside the smart home system 10 .

또한, 통신부(270)는 억세스 포인트 장치(300)와 통신하고, 억세스 포인트 장치(300)를 통하여 무선 인터넷 네트워크에 접속하여 다른 기기들과 통신할 수 있다.Also, the communication unit 270 may communicate with the access point device 300 and communicate with other devices by accessing a wireless Internet network through the access point device 300 .

또한, 제어부(240)는 통신부(270)를 통해 홈 어플라이언스(200)의 상태 정보, 사용자의 음성 명령 등을 음성 인식 서버 시스템(100) 등으로 전송할 수 있다. Also, the control unit 240 may transmit state information of the home appliance 200 and a user's voice command to the voice recognition server system 100 or the like through the communication unit 270 .

한편, 통신부(270)를 통하여 제어 신호가 수신되면, 제어부(240)는 수신되는 제어 신호에 따라 동작하도록 홈 어플라이언스(200)를 제어할 수 있다.Meanwhile, when a control signal is received through the communication unit 270 , the control unit 240 may control the home appliance 200 to operate according to the received control signal.

디스플레이(292)는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시할 수 있다.The display 292 may display information corresponding to a user's command input, a processing result corresponding to the user's command input, an operation mode, an operation state, an error state, and the like as an image.

실시예에 따라서는, 디스플레이(292)는, 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 디스플레이(292)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다. According to an embodiment, the display 292 may be configured as a touch screen by forming a layer structure with the touch pad. In this case, the display 292 may be used as an input device capable of inputting information by a user's touch in addition to an output device.

또한, 오디오 출력부(291)는, 제어부(240)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 오디오로 출력할 수 있다. In addition, the audio output unit 291, according to the control of the control unit 240, a notification message such as a warning sound, an operation mode, an operation state, an error state, information corresponding to the user's command input, processing corresponding to the user's command input Results can be output as audio.

한편, 오디오 출력부(291)는, 제어부(240)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.Meanwhile, the audio output unit 291 may convert the electrical signal from the control unit 240 into an audio signal and output it. To this end, a speaker or the like may be provided.

또한, 본 발명의 일 실시예에 따른 홈 어플라이언스(200)는, 음성 인식 과정 및 홈 어플라이언스 제어 과정 중에 발생할 수 있는 다양한 상황들을 고려한 사용자 경험(User Experience, UX)을 제공할 수 있다.In addition, the home appliance 200 according to an embodiment of the present invention may provide a user experience (UX) in consideration of various situations that may occur during the voice recognition process and the home appliance control process.

제어부(240)는 음성 인식 과정 및 홈 어플라이언스 제어 과정의 각 단계에 대응하여 소정 정보를 시각적/청각적 수단으로 사용자에게 제공하도록 오디오 출력부(291) 및 디스플레이(292)를 제어할 수 있다.The controller 240 may control the audio output unit 291 and the display 292 to provide predetermined information to the user through visual/auditory means in response to each step of the voice recognition process and the home appliance control process.

제어부(240)는 디스플레이(292)를 제어하여 음성 인식 과정 및 홈 어플라이언스 제어 과정의 각 단계에 대응하여 시각적 정보를 제공할 수 있다.The controller 240 may control the display 292 to provide visual information in response to each step of the voice recognition process and the home appliance control process.

또한, 제어부(240)는 오디오 출력부(291)를 제어하여 음성 인식 과정 및 홈 어플라이언스 제어 과정의 각 단계에 대응하여 청각적 정보를 제공할 수 있다.Also, the controller 240 may control the audio output unit 291 to provide auditory information in response to each step of the voice recognition process and the home appliance control process.

구동부(280)는 홈 어플라이언스에 구현된 동작을 수행하는 것으로, 각 홈 어플라이언스별로 다르게 구성될 수 있다.The driving unit 280 performs an operation implemented in the home appliance, and may be configured differently for each home appliance.

예를 들어, 홈 어플라이언스가 냉장고인 경우, 구동부(280)는, 냉장실에 냉각된 공기를 공급하기 위한 냉장실 팬을 동작시키는 냉장실 구동부, 냉동실에 냉각된 공기를 공급하기 위한 냉동실 팬을 동작시키는 냉동실 구동부, 냉매를 압축하기 위한 압축기를 동작시키는 압축기 구동부 등을 포함할 수 있다. For example, when the home appliance is a refrigerator, the driving unit 280 includes a refrigerating compartment driving unit operating a refrigerating compartment fan for supplying cooled air to the refrigerating compartment, and a freezing compartment driving unit operating a freezing compartment fan for supplying cooled air to the freezing compartment. , a compressor driving unit for operating a compressor for compressing the refrigerant, and the like.

다른 예로, 홈 어플라이언스가 세탁기인 경우, 구동부(280)는, 드럼 또는 터브를 구동하는 구동부 등을 포함할 수 있다. As another example, when the home appliance is a washing machine, the driving unit 280 may include a driving unit for driving a drum or a tub.

또, 다른 예로, 홈 어플라이언스가 공기조화기인 경우, 구동부(280)는, 실외기 내의 압축기를 구동하기 위한 압축기 구동부, 열교환을 위한 실외기 팬을 동작시키는 실외기 팬 구동부, 열교환을 위한 실내기팬을 동작시키는 실내기 팬 구동부 등을 포함할 수 있다.As another example, when the home appliance is an air conditioner, the driving unit 280 includes a compressor driving unit for driving a compressor in the outdoor unit, an outdoor unit fan driving unit for operating an outdoor unit fan for heat exchange, and an indoor unit for operating an indoor unit fan for heat exchange. It may include a fan driving unit and the like.

또, 다른 예로, 홈 어플라이언스가 조리기기인 경우, 구동부(280)는, 캐비티 내로 마이크로웨이브를 출력하는 마이크로웨이브 구동부 등을 포함할 수 있다. Also, as another example, when the home appliance is a cooking appliance, the driving unit 280 may include a microwave driving unit for outputting microwaves into the cavity.

또, 다른 예로, 홈 어플라이언스가 청소기인 경우, 구동부(280)는, 공기 흡입을 위한 팬 모터 구동부 등을 포함할 수 있다. Also, as another example, when the home appliance is a cleaner, the driving unit 280 may include a fan motor driving unit for sucking air.

한편, 홈 어플라이언스(200)는 사용자 입력을 위한 조작부(230), 홈 어플라이언스(200) 주변 소정 범위를 촬영할 수 있는 카메라(210)를 더 포함할 수 있다. Meanwhile, the home appliance 200 may further include a manipulation unit 230 for user input and a camera 210 capable of photographing a predetermined range around the home appliance 200 .

조작부(230)는, 복수의 조작 버튼을 구비하여, 입력되는 버튼에 대응하는 신호를 제어부(240)로 전달할 수 있다.The manipulation unit 230 may include a plurality of manipulation buttons to transmit a signal corresponding to the input button to the control unit 240 .

카메라(210)는 홈 어플라이언스(200) 주변, 외부 환경 등을 촬영하는 것으로, 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. The camera 210 is to photograph the surroundings of the home appliance 200, the external environment, and the like, and several such cameras may be installed for each part for photographing efficiency.

예를 들어, 카메라(210)는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광 다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지 센서(예를 들어, CMOS image sensor)와, 광 다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.For example, the camera 210 includes at least one optical lens and an image sensor (for example, CMOS image sensor) and a digital signal processor (DSP) configured to form an image based on signals output from the photodiodes. The digital signal processor may generate a still image as well as a moving picture composed of frames composed of still images.

한편, 카메라(210)가 촬영하여 획득된 영상은 메모리(250)에 저장될 수 있다.Meanwhile, an image obtained by photographing by the camera 210 may be stored in the memory 250 .

본 발명의 일 실시예에 따르면, 제어부(240)는, 상기 카메라(210)가 획득하는 영상에 기초하여, 사용자의 존재 여부 및, 홈 어플라이언스와의 거리 정보를 판별할 수 있다.According to an embodiment of the present invention, the controller 240 may determine the presence of the user and distance information from the home appliance based on the image acquired by the camera 210 .

센서부(215)는 하나 이상의 센서를 포함하여, 온도, 습도, 공기의 오염도를 측정하거나 홈 어플라이언스의 동작 상태를 센싱할 수 있다.The sensor unit 215 may include one or more sensors to measure temperature, humidity, air pollution, or sense an operating state of a home appliance.

이를 위해, 센서부(215)는, 온도를 센싱하는 온도 센서, 습도를 센싱하는 복수의 습도 센서, 공기 상태를 감지하는 각종 공기 오염 감지 센서 중 적어도 하나를 포함할 수 있다.To this end, the sensor unit 215 may include at least one of a temperature sensor sensing temperature, a plurality of humidity sensors sensing humidity, and various air pollution detection sensors sensing an air condition.

제어부(240)는 홈 어플라이언스로 입력되거나 출력되는 데이터의 흐름을 제어하고, 센서부(215)로부터 입력된 데이터에 기초하여 제어명령을 생성하여 인가할 수 있다.The controller 240 may control the flow of data input or output to the home appliance, and may generate and apply a control command based on the data input from the sensor unit 215 .

본 발명의 일 실시예에 따르면, 센서부(215)는 사용자의 존재 여부, 사용자와 홈 어플라이언스와의 거리를 감지하기 위하여 PIR 센서 등 인체 감지 센서를 더 구비할 수 있다.According to an embodiment of the present invention, the sensor unit 215 may further include a human body detection sensor such as a PIR sensor to detect the presence of a user and a distance between the user and the home appliance.

이 경우에, 제어부(240)는, 상기 센서부(215)가 획득하는 데이터에 기초하여, 사용자의 존재 여부 및 홈 어플라이언스와의 거리 정보를 판별할 수 있고, 이에 따라 홈 어플라이언스를 제어할 수 있다.In this case, the control unit 240, based on the data obtained by the sensor unit 215, may determine the presence of the user and distance information from the home appliance, and thus control the home appliance. .

도 6은 본 발명의 일 실시예에 따른 홈 어플라이언스의 내부 블록도의 다른 예를 도시한 도면이다. 6 is a diagram illustrating another example of an internal block diagram of a home appliance according to an embodiment of the present invention.

도 6을 참조하면, 홈 어플라이언스(200)는, 카메라(210), 사용자의 음성 명령을 수신하는 오디오 입력부(220), 조작부(230), 각종 데이터를 저장하는 메모리(250), 다른 전자기기와 무선 통신하는 통신부(270), 각 홈 어플라이언스에 구현된 동작을 수행하는 구동부(280), 소정 정보를 영상으로 표시하는 디스플레이(292), 소정 정보를 오디오로 출력하는 오디오 출력부(291), 각종 데이터를 센싱하는 센서부(215), 및, 전반적인 동작을 제어하는 제어부(240), 프로세서(260)를 포함할 수 있다.Referring to FIG. 6 , the home appliance 200 includes a camera 210 , an audio input unit 220 for receiving a user's voice command, a manipulation unit 230 , a memory 250 for storing various data, and other electronic devices. A communication unit 270 for wireless communication, a driving unit 280 for performing an operation implemented in each home appliance, a display 292 for displaying predetermined information as an image, an audio output unit 291 for outputting predetermined information as audio, various It may include a sensor unit 215 for sensing data, and a controller 240 and a processor 260 for controlling overall operations.

도 6의 홈 어플라이언스(200)의 내부 블록도는, 도 5와 유사하나, 프로세서(260)가 더 구비되며, 오디오 입력부(220), 오디오 출력부(291), 통신부(270), 카메라(210), 및 프로세서(260)가 하나의 단일 모듈인 음성 인식 모듈(205) 내에 구비되는 것에 그 차이가 있다.An internal block diagram of the home appliance 200 of FIG. 6 is similar to that of FIG. 5 , but further includes a processor 260 , and an audio input unit 220 , an audio output unit 291 , a communication unit 270 , and a camera 210 . ), and the processor 260 is provided in one single module, the voice recognition module 205 .

한편, 프로세서(260)는, 오디오 입력부(220), 오디오 출력부(291), 통신부(270), 카메라(210) 등을 제어할 수 있다.Meanwhile, the processor 260 may control the audio input unit 220 , the audio output unit 291 , the communication unit 270 , the camera 210 , and the like.

이하에서는, 도 5와의 차이를 중심으로 기술한다.Hereinafter, the difference from FIG. 5 will be mainly described.

프로세서(260)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다. The processor 260 may process a user's voice input signal received through the audio input unit 220 and perform a voice recognition process.

예를 들어, 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에, 프로세서(260)는 음성 명령어를 수신하기 위한 상태로 전환될 수 있다. 이 경우에, 프로세서(260)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 서버 시스템(100)을 통하여 수행할 수 있다.For example, when a wake up voice signal including a preset call word is received, the processor 260 may be switched to a state for receiving a voice command. In this case, the processor 260 may only perform a voice recognition process up to whether or not the calling word is inputted, and subsequent voice recognition for the user's voice input may be performed through the voice recognition server system 100 .

프로세서(260)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성 명령을, 통신부(270)를 통하여, 음성 인식 서버 시스템(100)에 송신하도록 제어할 수 있다. The processor 260 may control a user's voice command input after recognition of a wake up voice signal to be transmitted to the voice recognition server system 100 through the communication unit 270 .

또한, 프로세서(260)는 통신부(270)를 통해 홈 어플라이언스(200)의 상태 정보, 사용자의 음성 명령 등을 음성 인식 서버 시스템(100) 등으로 전송할 수 있다. Also, the processor 260 may transmit state information of the home appliance 200 and a user's voice command to the voice recognition server system 100 or the like through the communication unit 270 .

한편, 통신부(270)를 통하여 제어 신호가 수신되면, 프로세서(260)는 제어 신호를 제어부(240)로 전송하고, 제어부(240)는 수신되는 제어 신호에 따라 동작하도록 홈 어플라이언스(200)를 제어할 수 있다.Meanwhile, when a control signal is received through the communication unit 270 , the processor 260 transmits the control signal to the control unit 240 , and the control unit 240 controls the home appliance 200 to operate according to the received control signal. can do.

결국, 음성 인식 모듈(205)을 통해, 음성 데이터 획득, 서버 시스템(100)과의 통신, 및 대응하는 사운드 출력을 수행할 수 있게 된다.As a result, through the voice recognition module 205 , it is possible to obtain voice data, communicate with the server system 100 , and output a corresponding sound.

한편, 음성 인식 모듈(205)은, 도 2에서 도시한 홈 어플라이언스 외에, 다양한 전자 기기에 부착될 수 있다. 또는 다른 전자 기기에 부착되는 것 없이, 별도의 장치로서, 사용될 수도 있다.Meanwhile, the voice recognition module 205 may be attached to various electronic devices in addition to the home appliance illustrated in FIG. 2 . Alternatively, it may be used as a separate device without being attached to another electronic device.

도 7은 본 발명의 일 실시예에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다.7 is a flowchart illustrating a method of operating a home appliance according to an embodiment of the present invention.

도 7을 참조하면, 홈 어플라이언스(200)는, 사용자 입력에 의해, 음성 인식 기능을 활성화할 수 있다(S710). 사용자 입력에 따라 홈 어플라이언스(200)의 제어부(240)는, 마이크(221, 222)를 활성화할 수 있다. Referring to FIG. 7 , the home appliance 200 may activate a voice recognition function in response to a user input ( S710 ). According to a user input, the controller 240 of the home appliance 200 may activate the microphones 221 and 222 .

또는, 홈 어플라이언스(200)는 음성 인식 기능 활성화에 대한 설정에 따라서 자동으로 음성 인식 기능을 활성화할 수 있다. Alternatively, the home appliance 200 may automatically activate the voice recognition function according to a setting for activating the voice recognition function.

예를 들어, 전원이 켜지면, 홈 어플라이언스(200)는 자동으로 마이크(221, 222)를 활성화하고, 음성 인식 기능을 활성화할 수 있다.For example, when power is turned on, the home appliance 200 may automatically activate the microphones 221 and 222 and activate a voice recognition function.

본 발명의 일 실시예에 따른 홈 어플라이언스(200)는, 음성 인식 과정 및 홈 어플라이언스 제어 과정 중에 발생할 수 있는 다양한 상황들을 고려한 사용자 경험(User Experience, UX)을 제공할 수 있다.The home appliance 200 according to an embodiment of the present invention may provide a user experience (UX) in consideration of various situations that may occur during a voice recognition process and a home appliance control process.

디스플레이(292)는 공기조화기(200a)의 운전 모드, 현재 상태, 설정 항목들을 여러 가지 시각적 이미지로 표시할 수 있다. 디스플레이(292)는 공기조화기(200a)의 운전 모드, 현재 상태, 설정 항목들을 문자, 숫자, 기호로 표시할 수 있고, 아이콘과 같은 그래픽 이미지로 표시할 수 있다. The display 292 may display the operation mode, current state, and setting items of the air conditioner 200a in various visual images. The display 292 may display the operation mode, current state, and setting items of the air conditioner 200a using letters, numbers, and symbols, and may display graphic images such as icons.

또한, 디스플레이(292)는 음성 입력의 처리 과정 별로 대응하는 정보를 표시할 수 있다.Also, the display 292 may display information corresponding to each processing process of the voice input.

도 7을 참조하면, 음성 인식 기능이 활성화되면, 상기 디스플레이(292)는, 마이크 아이콘을 점등하여 표시하고, 제어부(240)는 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호의 입력을 위한 웨이크업 신호 대기 모드로 진입하도록 제어할 수 있다(S715).Referring to FIG. 7 , when the voice recognition function is activated, the display 292 lights and displays a microphone icon, and the controller 240 inputs a wake up voice signal including a preset call word. It is possible to control to enter the wake-up signal standby mode for (S715).

한편, 음성 인식 기능이 비활성화되면 상기 마이크 아이콘의 표시가 종료될 수 있다.Meanwhile, when the voice recognition function is deactivated, the display of the microphone icon may be terminated.

또한, 오디오 출력부(291)는 호출어를 포함하는 발화를 안내하는 음성 안내 메시지를 출력할 수 있다. 예를 들어, 호출어가 "Hi LG"로 설정되어 있다면, 오디오 출력부(291)는 "Hi LG라고 말하면 음성 인식 기능을 사용할 수 있습니다"와 같은 음성 안내 메시지를 음성 출력할 수 있다.Also, the audio output unit 291 may output a voice guidance message for guiding an utterance including a call word. For example, if the call word is set to “Hi LG”, the audio output unit 291 may output a voice guidance message such as “You can use the voice recognition function when you say Hi LG”.

한편, 홈 어플라이언스의 마이크(221, 222)가 활성화된 상태에서, 사용자로부터 음성 입력이 수신되는 경우, 마이크(221, 222)는, 입력 음성을 수신하고, 이를 제어부(240)로 전달할 수 있다.Meanwhile, when a voice input is received from a user while the microphones 221 and 222 of the home appliance are activated, the microphones 221 and 222 may receive the input voice and transmit it to the controller 240 .

한편, 마이크(221, 222)를 통해 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에(S720), 홈 어플라이언스(200)는 음성 명령어를 수신하기 위한 명령어 대기 모드로 전환될 수 있다(S725). 마이크(221, 222)를 통해 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에(S720), 제어부(240)는 명령어 대기 모드로 진입하도록 제어할 수 있다(S725). On the other hand, when a wake up voice signal including a preset call word is received through the microphones 221 and 222 ( S720 ), the home appliance 200 enters a command standby mode for receiving a voice command. can be switched (S725). When a wake up voice signal including a preset call word is received through the microphones 221 and 222 (S720), the controller 240 may control to enter the command standby mode (S725) .

홈 어플라이언스(200)가 항상 자연어 명령어를 대기하게 되면, 음성인식 기능에서 소비하는 전력과 CPU 점유율 및 음성 인식 서버 시스템의 서버 부하에 부담이 된다.When the home appliance 200 always waits for a natural language command, the power consumed by the voice recognition function, the CPU share, and the server load of the voice recognition server system are burdened.

따라서, 홈 어플라이언스(200)는 명령어 대기 상태에서 들어오는 음성 신호에 대해서만 서버로 전송할 수 있다.Accordingly, the home appliance 200 may transmit only an incoming voice signal to the server in the command standby state.

또한, 홈 어플라이언스(200)는 명령어를 대기하는 시간에 조건을 주고 시간 내 명령 입력시 명령어 완료 시점까지는 소리를 받아서 서버로 전달할 수 있다.In addition, the home appliance 200 may give a condition to the waiting time for a command, and when a command is input within the time, it may receive a sound and transmit it to the server until the command is completed.

본 발명의 일측에 따르면, 홈 어플라이언스(200)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 서버 시스템(100)을 통하여 수행할 수 있다. According to one aspect of the present invention, the home appliance 200 performs only a voice recognition process up to whether the calling word is inputted, and subsequent voice recognition for the user's voice input can be performed through the voice recognition server system 100 . .

또는, 호출어 음성 입력 여부의 판단은 홈 어플라이언스(200)와 음성 인식 서버 시스템(100)에서 이중으로 수행될 수 있다. Alternatively, the determination of whether to input the call word may be performed in the home appliance 200 and the voice recognition server system 100 dually.

한편, 상기 호출어는 제조사에 의해 설정될 수 있고, 홈 어플라이언스 별로 다른 호출어가 설정될 수 있다. 예를 들어, 공기조화기의 경우에는 "LG 휘센", 냉장고의 경우에는 "LG 디오스"가 호출어로 설정될 수 있다. 또한, 상기 호출어는 사용자에 의해 설정 변경이 가능하다. Meanwhile, the call word may be set by the manufacturer, and a different call word may be set for each home appliance. For example, in the case of an air conditioner, "LG Whisen" and in the case of a refrigerator, "LG Dios" may be set as the calling word. Also, the setting of the call word can be changed by the user.

한편, 복수의 홈 어플라이언스에 대해 동일한 호출어가 설정될 수도 있다. 예를 들어, "Hi LG"가 공통의 호출어로 설정될 수 있다. 이 경우에, 어느 홈 어플라이언스가 사용자의 음성을 처리하고 응답할 지가 매우 중요해진다. Meanwhile, the same call word may be set for a plurality of home appliances. For example, "Hi LG" may be set as a common call word. In this case, it becomes very important which home appliance will process and respond to the user's voice.

복수의 기기가 동일한 호출어를 사용하는 경우에 대해서는 도 9 내지 도 12를 참조하여 상세히 후술한다.A case in which a plurality of devices use the same call word will be described later in detail with reference to FIGS. 9 to 12 .

한편, 상기 제어부(240)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성 명령을, 통신부(270)를 통하여, 음성 인식 서버 시스템(100)에 송신하도록 제어할 수 있다(S730). Meanwhile, the control unit 240 may control to transmit a user's voice command input after recognition of a wake up voice signal to the voice recognition server system 100 through the communication unit 270 . (S730).

한편, 사용자의 음성 명령을 무기한으로 기다리는 것은 시스템 자원이 낭비되고, 명령어를 입력하지 않는 사용자의 의도에도 부합하지 않으므로 명령어 대기 모드에서는 소정 경과 시간 동안에 입력되는 음성 명령만 처리하도록 설정될 수 있다(S727).On the other hand, indefinitely waiting for a user's voice command wastes system resources and does not match the intention of the user who does not input the command. Therefore, in the command standby mode, it may be set to process only the voice command input for a predetermined elapsed time (S727). ).

이 경우에, 상기 제어부(240)는, 상기 기설정된 경과 시간 이내에 수신된 음성 명령을 포함하는 음성 데이터를 음성 서버(110)로 전송하도록 제어할 수 있다(S730). In this case, the controller 240 may control to transmit the voice data including the voice command received within the preset elapsed time to the voice server 110 (S730).

한편, 상기 기설정된 경과 시간 이내에 상기 음성 명령이 수신되지 않으면(S727), 상기 제어부(240)는, 다시 상기 웨이크업 신호 대기 모드로 전환하도록 제어할 수 있다.On the other hand, if the voice command is not received within the preset elapsed time (S727), the controller 240 may control to switch back to the wake-up signal standby mode.

실시예에 따라서는, 제1 시간 이내에 상기 통신부(270)가 상기 음성 서버(110)로부터 상기 음성 명령에 기초한 응답 신호를 수신하지 못하면, 상기 오디오 출력부(291)는 기다려달라는 음성 안내 메시지를 출력할 수 있다. 이 경우에, 상기 제1 시간 이후 제2 시간 이내에도 상기 통신부(270)가 상기 음성 명령에 기초한 응답 신호를 수신하지 못하면, 상기 오디오 출력부(291)는 음성 명령의 재입력을 요청하는 음성 안내 메시지를 출력할 수 있다.According to an embodiment, if the communication unit 270 does not receive a response signal based on the voice command from the voice server 110 within a first time period, the audio output unit 291 outputs a voice guidance message asking to wait. can do. In this case, if the communication unit 270 does not receive a response signal based on the voice command within a second time after the first time, the audio output unit 291 provides a voice guidance requesting re-input of the voice command. You can print a message.

상기 제어부(240)는, 상기 제2 시간 이내에도 상기 통신부(270)가 상기 음성 명령에 기초한 응답 신호를 수신하지 못하면, 상기 명령어 대기 모드로 전환하도록 제어할 수 있다.If the communication unit 270 does not receive a response signal based on the voice command even within the second time period, the control unit 240 may control to switch to the command standby mode.

본 발명의 일 실시예에 따른 홈 어플라이언스(200)는, 다른 방식으로도 사용자에게 소정 정보를 제공할 수 있다.The home appliance 200 according to an embodiment of the present invention may provide predetermined information to a user in another method.

예를 들어, 본 발명의 일 실시예에 따른 홈 어플라이언스(200)는 기설정된 경과 시간 이내에 음성 명령이 수신되면, 명령어를 수신하였음을 사용자에게 알리기 위하여, 구동부(280)가 명령어 수신에 대응하는 피드백 동작을 수행할 수 있다.For example, in the home appliance 200 according to an embodiment of the present invention, when a voice command is received within a preset elapsed time, in order to notify the user that the command has been received, the driving unit 280 provides feedback corresponding to the command reception. action can be performed.

실시예에 따라서는, 상기 기설정된 경과 시간 이내에 상기 음성 명령이 수신되면(S727), 홈 어플라이언스(200)가 명령어를 수신하였음을 사용자에게 알리기 위하여, 제어부(240)는 명령어 수신에 대응하는 피드백 동작을 수행하도록 제어할 수 있다.According to an embodiment, when the voice command is received within the preset elapsed time (S727), in order to notify the user that the home appliance 200 has received the command, the controller 240 performs a feedback operation corresponding to the command reception. can be controlled to perform

이 경우에, 상기 제어부(240)의 제어에 따라, 구동부(280)는 기설정된 동작을 수행할 수 있다.In this case, under the control of the controller 240 , the driving unit 280 may perform a preset operation.

한편, 음성 서버(110) 및 이를 포함하는 음성 인식 서버 시스템(100)은 상술한 것과 같이 홈 어플라이언스(200)로부터 수신되는 음성 명령을 포함하는 음성 데이터를 인식하고 처리할 수 있다.Meanwhile, the voice server 110 and the voice recognition server system 100 including the same may recognize and process voice data including a voice command received from the home appliance 200 as described above.

이에 따라, 통신부(270)가 가전 제어 서버(130)로부터 상기 음성 명령에 기초한 제어 신호를 수신하면(S740), 제어부(240)는 수신한 제어 신호에 대응하여 동작하도록 홈 어플라이언스(200)를 제어할 수 있다(S745).Accordingly, when the communication unit 270 receives a control signal based on the voice command from the home appliance control server 130 (S740), the control unit 240 controls the home appliance 200 to operate in response to the received control signal. It can be done (S745).

또한, 통신부(270)가 상기 음성 서버(110)로부터 상기 음성 명령에 기초한 응답 신호를 수신하면(S750), 제어부(240)는 수신한 응답 신호에 대응하는 음성 안내 메시지를 출력하도록 오디오 출력부(291)를 제어할 수 있다(S770).In addition, when the communication unit 270 receives a response signal based on the voice command from the voice server 110 (S750), the control unit 240 outputs a voice guidance message corresponding to the received response signal to the audio output unit ( 291) can be controlled (S770).

실시예에 따라서는, 상기 응답 신호가 음성 데이터를 포함하지 않는 경우(S760), 제어부(240)는 상기 음성 서버(110)로 음성 데이터를 요청하여(S765), 상기 음성 서버(110)로부터 요청한 음성 데이터를 수신하도록 제어할 수 있다.According to an embodiment, when the response signal does not include voice data (S760), the controller 240 requests the voice data from the voice server 110 (S765), and receives the request from the voice server 110 (S765). It can be controlled to receive voice data.

한편, 음성 인식 결과에 따라서, 상기 통신부(270)를 통하여 상기 음성 서버(110)로부터 음성 인식 실패에 대응하는 신호를 수신할 수 있다. 이 경우에, 제어부(240)는 음성 명령의 재입력을 요청하는 음성 안내 메시지를 출력하도록 오디오 출력부(291)를 제어하고, 다시 상기 명령어 대기 모드로 전환하도록 제어할 수 있다.Meanwhile, according to the voice recognition result, a signal corresponding to voice recognition failure may be received from the voice server 110 through the communication unit 270 . In this case, the control unit 240 may control the audio output unit 291 to output a voice guidance message requesting re-input of a voice command, and may control to switch to the command standby mode again.

또한, 판별된 음성 명령의 지원 가능 여부 판별에 따라서, 상기 통신부(270)를 통하여 상기 음성 서버(110)로부터 상기 음성 명령이 지원되지 않는 기능에 관한 것임을 알리는 신호를 수신할 수 있다(S735). 이 경우에, 제어부(240)는 상기 음성 명령이 지원되지 않는 기능에 관한 것임을 알리는 음성 안내 메시지를 출력하도록 오디오 출력부(291)를 제어할 수 있다(S737).In addition, according to the determined whether the voice command can be supported, a signal notifying that the voice command is related to a function not supported may be received from the voice server 110 through the communication unit 270 (S735). In this case, the controller 240 may control the audio output unit 291 to output a voice guidance message indicating that the voice command relates to a function that is not supported (S737).

이 경우에, 제어부(240)는 웨이크업 신호 대기 모드로 전환하도록 제어할 수 있다.In this case, the controller 240 may control to switch to the wakeup signal standby mode.

또는, 제어부(240)는 다시 상기 명령어 대기 모드로 전환하도록 제어할 수 있다.Alternatively, the controller 240 may control to switch back to the command standby mode.

본 발명에 따르면 각 상황에 맞는 시각적 정보 및/또는 음성 안내 메시지를 제공함으로써, 음성 제어 명령 시 어느 단계에서 어떤 문제로 정상제어 되지 않는지 정확하게 파악할 수 있다는 장점이 있다. 또한, 제품을 제어할 수 있는 명령어의 자유도가 높아 사용성이 개선된다.According to the present invention, by providing visual information and/or voice guidance messages suitable for each situation, there is an advantage in that it is possible to accurately identify at which stage and which problem the normal control is not performed during the voice control command. In addition, the degree of freedom of commands to control the product is high, which improves usability.

도 8은 본 발명의 일 실시예에 따른 홈 어플라이언스 및 음성 인식 서버 시스템의 개념도이다.8 is a conceptual diagram of a home appliance and a voice recognition server system according to an embodiment of the present invention.

도 8을 참조하면, 스마트 홈 시스템은 자연어 음성 처리를 위한 음성 인식 서버 시스템(100)을 포함할 수 있다.Referring to FIG. 8 , the smart home system may include a voice recognition server system 100 for natural language voice processing.

또한, 음성 인식 기능을 지원하는 홈 어플라이언스들이 증가함에 따라, 스마트 홈 시스템은 동일한 호출어가 설정된 복수의 홈 어플라이언스들(200a 내지 200f)을 포함할 수 있다.Also, as home appliances supporting a voice recognition function increase, the smart home system may include a plurality of home appliances 200a to 200f to which the same call word is set.

도 8을 참조하면, 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 세탁기(200d), 조리기기(200e), 공기청정기(200f)가 동일한 호출어를 사용할 수 있다. 예를 들어, 복수의 홈 어플라이언스들(200a 내지 200f)의 동일한 호출어로 “Hi LG”가 설정될 수 있다.Referring to FIG. 8 , the air conditioner 200a, the robot cleaner 200b, the refrigerator 200c, the washing machine 200d, the cooking appliance 200e, and the air cleaner 200f may use the same call word. For example, “Hi LG” may be set as the same call word of the plurality of home appliances 200a to 200f.

복수의 홈 어플라이언스들(200a 내지 200f)에 설정된 호출어가 동일할 때, 사용자가 “Hi LG” 등 호출어를 발화하면, 호출어를 수신한 모든 홈 어플라이언스가 자연어 음성 명령을 받을 준비가 되도록 깨어나 명령어 대기 모드로 진입할 수 있다.When the call word set in the plurality of home appliances 200a to 200f is the same, if the user utters a call word such as “Hi LG”, all home appliances that have received the call word wake up to be ready to receive a natural language voice command You can enter standby mode.

예를 들어, 사용자의 호출어 발화 위치 및 홈 어플라이언스들(200a 내지 200f)의 배치 위치에 따라, 복수의 홈 어플라이언스들(200a 내지 200f) 중 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 조리기기(200e)가 사용자가 발화한 호출어를 수신할 수 있다.For example, the air conditioner 200a, the robot cleaner 200b, and the refrigerator among the plurality of home appliances 200a to 200f according to the user's utterance position of the call word and the arrangement position of the home appliances 200a to 200f. In step 200c, the cooking appliance 200e may receive a call word uttered by the user.

이 경우에, 호출어를 수신한 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 조리기기(200e)가 모두 이후의 사용자 음성 입력에 반응할 수 있다.In this case, the air conditioner 200a, the robot cleaner 200b, the refrigerator 200c, and the cooking appliance 200e that have received the call word may all respond to the user's voice input thereafter.

한편, 사용자가 특정 기기를 음성으로 제어하고자 할 때, 사용자는 제어하고자 하는 기기를 바라보고 발화하거나 제어하고자 하는 기기 근처에서 발화할 확률이 매우 높다.On the other hand, when the user wants to control a specific device by voice, the user has a very high probability of looking at the device to be controlled and uttering or uttering near the device to be controlled.

따라서, 사용자가 특정 호출어를 부를 때, 제어 대상 기기가 가장 근처에 있거나 사용자 정면에 있다고 가정할 수 있다. Accordingly, when the user calls a specific call word, it may be assumed that the controlling device is closest to or in front of the user.

본 발명은, 스마트 홈 시스템에 동일한 호출어가 설정된 기기가 여러 대 있을 경우, 사용자와 가장 근접해 있거나 정면에 있는 홈 어플라이언스(200a)만 웨이크 업(wake-up)되어 명령어 대기 모드로 진입하도록 제어할 수 있다.In the present invention, when there are several devices with the same call word set in the smart home system, only the home appliance 200a closest to or in front of the user wakes up and can be controlled to enter the command standby mode. there is.

또한, 사용자와 가장 근접해 있거나 정면에 있는 홈 어플라이언스(200a)만이 사용자의 음성 명령을 인식하고 수행하도록 제어할 수 있다.In addition, only the home appliance 200a closest to or in front of the user may be controlled to recognize and perform the user's voice command.

도 8을 참조하면, 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 조리기기(200e)가 구비하는 마이크로 사용자가 발화한 호출어가 수신될 수 있다.Referring to FIG. 8 , a call word uttered by a micro user provided in the air conditioner 200a, the robot cleaner 200b, the refrigerator 200c, and the cooking appliance 200e may be received.

각 홈 어플라이언스(200a, 200b, 200c, 200e)는 복수의 마이크를 포함할 수 있다. 각 홈 어플라이언스(200a, 200b, 200c, 200e)는 최소한 2개의 마이크를 구비할 수 있다.Each home appliance 200a, 200b, 200c, 200e may include a plurality of microphones. Each home appliance 200a, 200b, 200c, 200e may include at least two microphones.

각 홈 어플라이언스(200a, 200b, 200c, 200e)는 복수의 마이크를 통하여 수신된 음성 신호에서 잡음 처리 등 전처리 과정을 수행한 후에, 호출어를 포함하는 음성 데이터를 음성 인식 서버 시스템(100)으로 전송할 수 있다.Each home appliance 200a, 200b, 200c, 200e transmits voice data including a call word to the voice recognition server system 100 after performing pre-processing such as noise processing on the voice signal received through the plurality of microphones. can

이 경우에, 각 홈 어플라이언스(200a, 200b, 200c, 200e)는 적어도 2이상의 마이크를 통해 수신된 음성 신호에 기초한 음성 데이터를 음성 인식 서버 시스템(100)으로 전송할 수 있다. In this case, each home appliance 200a, 200b, 200c, 200e may transmit voice data based on a voice signal received through at least two or more microphones to the voice recognition server system 100 .

예를 들어, 각 홈 어플라이언스(200a, 200b, 200c, 200e)가 좌/우측 마이크를 구비하는 경우, 좌측 마이크를 통해 수신한 호출어 음성 데이터와 우측 마이크를 통해 수신한 호출어 음성 데이터를 음성 인식 서버 시스템(100)으로 전송할 수 있다. For example, when each home appliance 200a, 200b, 200c, or 200e is provided with a left/right microphone, voice recognition of the caller voice data received through the left microphone and the caller voice data received through the right microphone may be transmitted to the server system 100 .

또한, 각 홈 어플라이언스(200a, 200b, 200c, 200e)는 음성 신호를 수신한 시간 정보 등 소정 정보를 음성 인식 서버 시스템(100)으로 전송할 수 있다. Also, each home appliance 200a , 200b , 200c , 200e may transmit predetermined information, such as information on a time when a voice signal is received, to the voice recognition server system 100 .

예를 들어, 각 홈 어플라이언스(200a, 200b, 200c, 200e)는 음성 인식 서버 시스템(100)으로 등록된 제품 ID정보, 인식된 시간 정보, 호출어 발화 음성 데이터를 전송할 수 있다.For example, each of the home appliances 200a, 200b, 200c, and 200e may transmit registered product ID information, recognized time information, and call word utterance voice data to the voice recognition server system 100 .

한편, 음성 인식 서버 시스템(100)의 음성 서버(110)는, 수신되는 음성 데이터를 인식할 수 있다. 또한, 음성 서버(110)는, 수신되는 음성 데이터 신호의 크기, 사용자의 방향성 정보, 인식 정확도를 판별할 수 있다.Meanwhile, the voice server 110 of the voice recognition server system 100 may recognize received voice data. Also, the voice server 110 may determine the size of the received voice data signal, the direction information of the user, and the recognition accuracy.

음성 서버(110)는, 판별 결과를 가전 제어 서버(130)로 전송할 수 있다. 이를 수신한 가전 제어 서버(130)는 음성 인식 및 방향성 정보로부터 사용자가 어떤 홈 어플라이언스(200a)를 호출한 것인지를 판단하여 원격 제어할 수 있다.The voice server 110 may transmit the determination result to the home appliance control server 130 . Upon receiving this, the home appliance control server 130 may determine which home appliance 200a the user has called from the voice recognition and direction information, and may perform remote control.

예를 들어, 가전 제어 서버(130)는, 사용자가 가장 정면에 위치하는 공기조화기(200a)를 사용자가 호출한 것으로 판별할 수 있다.For example, the home appliance control server 130 may determine that the user has called the air conditioner 200a located in the front of the user.

또한, 가전 제어 서버(130)는, 동일 시간대에 전송된 호출어가 다수라면, 음성 신호의 크기가 크고, 인식 정확도가 높은 값을 가지는 공기조화기(200a)에게만 응대하도록 제어할 수 있다.In addition, the home appliance control server 130 may control to respond only to the air conditioner 200a having a large voice signal and a high recognition accuracy, if there are multiple call words transmitted in the same time zone.

도 8에서는 공기조화기(200a)가 선택되어 제어된 상태를 사용자에게 표시하고 효과음 또는 음성 피드백을 제어할 수 있다.In FIG. 8 , a selected and controlled state of the air conditioner 200a may be displayed to the user and a sound effect or voice feedback may be controlled.

도 9는 본 발명의 일 실시예에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다.9 is a flowchart illustrating a method of operating a home appliance according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일 실시예에 따른 홈 어플라이언스는, 복수의 마이크(221, 222)를 통하여 기설정된 호출어를 포함하는 음성 신호를 수신할 수 있다(S910).Referring to FIG. 9 , the home appliance according to an embodiment of the present invention may receive a voice signal including a preset call word through a plurality of microphones 221 and 222 ( S910 ).

본 발명의 일 실시예에 따른 홈 어플라이언스는, 적어도 2이상의 마이크(221, 222)를 포함할 수 있고, 2이상의 마이크(221, 222)가 각각 사용자의 음성 신호를 수신할 수 있다.The home appliance according to an embodiment of the present invention may include at least two or more microphones 221 and 222, and the two or more microphones 221 and 222 may receive a user's voice signal, respectively.

통신부(270)는, 제어부(240)의 제어에 따라, 상기 복수의 마이크(221, 222)를 통하여 수신된 음성 신호 중 적어도 2이상의 마이크(221, 222)를 통하여 수신된 음성 신호를 음성 인식 서버 시스템(100)으로 전송할 수 있다(S920).The communication unit 270 transmits, under the control of the controller 240 , a voice signal received through at least two microphones 221 and 222 among the voice signals received through the plurality of microphones 221 and 222 to a voice recognition server. It can be transmitted to the system 100 (S920).

예를 들어, 오디오 입력부(220)가 제1 마이크(221)와 제2 마이크(222)를 구비하고 있다면, 통신부(270)는, 제1 마이크(221)와 제2 마이크(222)에서 수신된 음성 신호를 전부 음성 인식 서버 시스템(100)으로 전송할 수 있다.For example, if the audio input unit 220 is provided with the first microphone 221 and the second microphone 222 , the communication unit 270 receives the received from the first microphone 221 and the second microphone 222 . All voice signals may be transmitted to the voice recognition server system 100 .

또한, 제1 마이크(221)와 제2 마이크(222)가 좌측, 우측 등 어느 위치에 배치되었는 지 등 배치 정보도 함께 음성 인식 서버 시스템(100)으로 전송할 수 있다.In addition, arrangement information such as where the first microphone 221 and the second microphone 222 are disposed, such as left and right, may also be transmitted to the voice recognition server system 100 .

음성 인식 서버 시스템(100)는 수신한 데이터에 기초하여, 소정 홈 어플라이언스를 선택하여, 선택된 홈 어플라이언스에게는 발화자의 음성 명령 입력 대기를 위한 웨이크 업 통보 신호를 전송할 수 있다.The voice recognition server system 100 may select a predetermined home appliance based on the received data, and transmit a wakeup notification signal for waiting for the speaker's voice command input to the selected home appliance.

통신부(270)가 상기 음성 인식 서버 시스템으로부터 발화자의 음성 명령 입력 대기를 위한 웨이크 업 통보 신호를 수신하면(S930), 제어부(240)는 기설정된 경과 시간 동안 상기 발화자의 음성 명령 입력을 위한 명령어 대기 모드로 진입하도록 제어할 수 있다(S960).When the communication unit 270 receives a wake-up notification signal for waiting for the speaker's voice command input from the voice recognition server system (S930), the control unit 240 waits for a command for inputting the speaker's voice command for a preset elapsed time It can be controlled to enter the mode (S960).

한편, 통신부(270)가 상기 음성 인식 서버 시스템(100)으로부터 상기 발화자의 음성 명령에 응답하지 않도록 제어하는 슬립(sleep) 신호를 수신하면(S940), 제어부(240)는, 이후에 입력되는 음성 명령을 처리하지 않는 슬립(sleep) 모드로 진입하도록 제어할 수 있다(S970).On the other hand, when the communication unit 270 receives a sleep signal for controlling not to respond to the speaker's voice command from the voice recognition server system 100 (S940), the control unit 240 controls the voice input later It can be controlled to enter a sleep mode that does not process commands (S970).

실시예에 따라서는, 음성 인식 서버 시스템(100)는 선택되지 않은 홈 어플라이언스에게는 어떠한 신호도 전송하지 않을 수도 있다.According to an embodiment, the voice recognition server system 100 may not transmit any signal to an unselected home appliance.

따라서, 통신부(270)가 어떠한 신호도 수신하지 못한 체 설정시간이 경과하면(S950), 제어부(240)는, 이후에 입력되는 음성 명령을 처리하지 않는 슬립(sleep) 모드로 진입하도록 제어할 수 있다(S970).Therefore, when the communication unit 270 does not receive any signal and the set time elapses (S950), the control unit 240 can control to enter a sleep mode that does not process a voice command input later. There is (S970).

한편, 제어부(240)는, 상기 웨이크 업 통보 신호의 수신(S930)에 대응하는 피드백 동작을 수행하도록 제어할 수 있다.Meanwhile, the controller 240 may control to perform a feedback operation corresponding to the reception of the wakeup notification signal ( S930 ).

예를 들어, 제어부(240)는, 오디오 출력부(291)가 효과음, 음성 안내 등 소정 오디오 신호를 출력하도록 제어할 수 있다.For example, the control unit 240 may control the audio output unit 291 to output a predetermined audio signal, such as sound effects and voice guidance.

또한, 제어부(240)는, 디스플레이(292)가 소정 영상을 표시하도록 제어할 수 있다.Also, the controller 240 may control the display 292 to display a predetermined image.

명령어 대기 모드(S960)로 진입한 홈 어플라이언스는, 상기 마이크(221, 222)를 통하여 사용자가 발화한 음성 명령을 수신할 수 있고, 상기 음성 명령을 포함하는 음성 데이터를 상기 음성 인식 서버 시스템(100)으로 전송할 수 있다.The home appliance that has entered the command standby mode (S960) may receive a voice command uttered by a user through the microphones 221 and 222, and transmit voice data including the voice command to the voice recognition server system 100 ) can be transmitted.

이후, 상기 통신부(270)가 상기 음성 인식 서버 시스템(100)으로부터 상기 음성 명령에 기초한 제어 신호를 수신하면, 상기 제어부(240)는, 수신한 제어 신호에 대응하여 동작하도록 제어할 수 있다.Thereafter, when the communication unit 270 receives a control signal based on the voice command from the voice recognition server system 100 , the control unit 240 may control to operate in response to the received control signal.

또한, 상기 통신부(270)가 상기 음성 인식 서버 시스템(100)으로부터 상기 음성 명령에 기초한 응답 신호를 수신하면, 상기 제어부(240)는, 수신한 응답 신호에 대응하는 음성 안내 메시지를 출력하도록 오디오 출력부(291)를 제어할 수 있다.In addition, when the communication unit 270 receives a response signal based on the voice command from the voice recognition server system 100 , the controller 240 outputs an audio message corresponding to the received response signal. The unit 291 may be controlled.

만약, 상기 응답 신호가 음성 데이터를 포함하지 않는 경우, 제어부(240)는, 상기 음성 인식 서버 시스템(100)으로 음성 데이터를 요청할 수 있다.If the response signal does not include voice data, the controller 240 may request voice data from the voice recognition server system 100 .

상기 통신부(270)가 상기 음성 인식 서버 시스템(100)으로부터 요청한 음성 데이터를 수신하면, 상기 제어부(240)는, 수신한 음성 데이터에 기초하는 음성 안내 메시지를 출력하도록 오디오 출력부(291)를 제어할 수 있다.When the communication unit 270 receives the requested voice data from the voice recognition server system 100 , the controller 240 controls the audio output unit 291 to output a voice guidance message based on the received voice data. can do.

도 10은 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 동작 방법을 도시한 순서도이다.10 is a flowchart illustrating a method of operating a voice recognition server system according to an embodiment of the present invention.

도 10을 참조하면, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100)은, 복수의 홈 어플라이언스가 각각 구비하는 복수의 마이크(MIC)를 통하여 입력된 호출어를 포함하는 음성 신호를 상기 복수의 홈 어플라이언스로부터 수신할 수 있다(S1010).Referring to FIG. 10 , the voice recognition server system 100 according to an embodiment of the present invention transmits a voice signal including a call word input through a plurality of microphones (MICs) provided in a plurality of home appliances, respectively. It can be received from a plurality of home appliances (S1010).

상기 복수의 홈 어플라이언스는 동일한 호출어가 설정될 수 있고, 호출어를 수신한 홈 어플라이언스는 호출어를 포함하는 음성 데이터를 음성 신호를 수신한 마이크 정보, 마이크 배치 정보 등과 함께 음성 인식 서버 시스템(100)으로 전송할 수 있다.The plurality of home appliances may have the same call word set, and the home appliance that has received the call word transmits voice data including the call word together with the microphone information and microphone arrangement information that has received the voice signal in the voice recognition server system 100 can be sent to

또한, 음성 인식 서버 시스템(100)은 상기 복수의 홈 어플라이언스의 식별 정보(제품 ID 등), 상기 음성 신호의 입력(수신) 시간 정보 등을 더 수신할 수 있다.In addition, the voice recognition server system 100 may further receive identification information (product IDs, etc.) of the plurality of home appliances, input (reception) time information of the voice signal, and the like.

음성 인식 서버 시스템(100)은, 수신함 음성 데이터에 기초하여 음성 인식 과정을 수행할 수 있다(S1020). 예를 들어, 음성 서버(110)는, 수신된 음성 데이터에 포함되는 사용자 음성을 인식하고 처리할 수 있다.The voice recognition server system 100 may perform a voice recognition process based on the voice data in the inbox (S1020). For example, the voice server 110 may recognize and process a user's voice included in the received voice data.

또한, 음성 인식 서버 시스템(100)은, 상기 복수의 마이크를 통하여 입력된 음성 신호의 시간차에 기초하여, 상기 복수의 홈 어플라이언스에 대한 발화자의 방향성 정보를 판별할 수 있다(S1030).In addition, the voice recognition server system 100 may determine the direction information of the talker with respect to the plurality of home appliances based on the time difference between the voice signals input through the plurality of microphones (S1030).

예를 들어, 음성 서버(110) 또는 가전 제어 서버(130)는, 좌측 마이크와 우측 마이크에 음성 신호가 수신된 시간이 차이가 없을수록 해당 홈 어플라이언스가 발화자 정면에 있다고 판별할 수 있다.For example, the voice server 110 or the home appliance control server 130 may determine that the corresponding home appliance is in front of the talker as there is no difference in the time that the voice signal is received by the left microphone and the right microphone.

한편, 음성 인식 서버 시스템(100)은, 상기 방향성 정보에 기초하여, 상기 복수의 홈 어플라이언스 중 하나의 홈 어플라이언스를 선택할 수 있다(S1040).Meanwhile, the voice recognition server system 100 may select one home appliance from among the plurality of home appliances based on the directionality information (S1040).

예를 들어, 가전 제어 서버(130)는 자체적으로 판별한 결과 또는 음성 서버(110)로부터 수신한 판별 결과에 따라, 복수의 홈 어플라이언스 중 하나의 홈 어플라이언스를 선택할 수 있다.For example, the home appliance control server 130 may select one home appliance from among a plurality of home appliances according to a result of its own determination or a determination result received from the voice server 110 .

상기 가전 제어 서버(130)는, 상기 입력 시간 정보가 소정 시간 구간 범위에 포함되는 음성 신호들을 추출하고, 추출된 음성 신호에 기초하여, 하나의 홈 어플라이언스를 선택할 수 있다. The home appliance control server 130 may extract voice signals in which the input time information is included in a predetermined time interval range, and select one home appliance based on the extracted voice signal.

소정 시간 구간 범위 내에 수신되는 음성 신호는 동일한 사용자 발화에 의한 음성 신호로 판별할 수 있다. 따라서, 상기 가전 제어 서버(130)는, 복수의 홈 어플라이언스로부터 수신되는 음성 신호 중 동일한 사용자 발화에 의한 음성 신호들을 추출하고, 추출된 음성 신호에 기초하여, 하나의 홈 어플라이언스를 선택할 수 있다. A voice signal received within a predetermined time interval may be determined as a voice signal generated by the same user utterance. Accordingly, the home appliance control server 130 may extract voice signals generated by the same user utterance among voice signals received from a plurality of home appliances, and select one home appliance based on the extracted voice signals.

상기 가전 제어 서버(130)는, 상기 복수의 홈 어플라이언스에 대한 발화자의 방향성 정보에 기초하여, 상기 발화자에 가장 정면에 위치하는 홈 어플라이언스를 선택할 수 있다.The home appliance control server 130 may select a home appliance located most in front of the talker based on the talker's direction information for the plurality of home appliances.

한편, 발화자를 기준으로 정면에 위치하는 홈 어플라이언스도 복수개 존재할 수 있다. 또한, 발화자를 기준으로 정면에 위치하는 홈 어플라이언스라도 사용자로부터 너무 멀리 떨어져 음성 신호가 작게 수신된다면 해당 홈 어플라이언스를 제어한다고 판단하기 어렵다. 따라서, 방향성 정보뿐만 아니라, 음성 신호의 신호 크기를 더 고려할 수 있다.Meanwhile, a plurality of home appliances positioned in front of the talker may also exist. In addition, even if the home appliance is located in front of the talker, it is difficult to determine that the home appliance is controlled if the voice signal is received too far away from the user. Accordingly, it is possible to further consider the signal magnitude of the voice signal as well as the directionality information.

즉, 상기 가전 제어 서버(130)는, 상기 음성 신호의 신호 크기가 소정 기준치 이상인 음성 신호에 대응하는 홈 어플라이언스 중 상기 발화자에 가장 정면에 위치하는 홈 어플라이언스를 선택할 수 있다.That is, the home appliance control server 130 may select a home appliance located in front of the talker from among the home appliances corresponding to a voice signal having a signal level of the voice signal equal to or greater than a predetermined reference value.

한편, 상기 가전 제어 서버(130)는, 상기 복수의 홈 어플라이언스에 대한 발화자의 방향성 정보에 기초하여, 상기 발화자를 기준으로 소정 각도 이내에 위치하는 홈 어플라이언스 중 가장 신호 크기가 큰 음성 신호에 대응하는 홈 어플라이언스를 선택할 수 있다.On the other hand, the home appliance control server 130, based on the direction information of the talker for the plurality of home appliances, a home corresponding to a voice signal with the largest signal magnitude among home appliances located within a predetermined angle with respect to the talker. You can choose an appliance.

본 실시예는 발화자를 기준으로 소정 각도 이내에 위치하는 홈 어플라이언스를 1차 판별하고, 1차 판별된 홈 어플라이언스 중 신호 크기를 비교하여, 최종적으로 특정 홈 어플라이언스를 선택할 수 있다.In this embodiment, home appliances located within a predetermined angle with respect to the talker may be primarily determined, and signal magnitudes of the firstly determined home appliances may be compared, and a specific home appliance may be finally selected.

한편, 음성 인식 서버 시스템(100)은, 상기 선택된 홈 어플라이언스로 상기 발화자의 음성 명령 입력 대기를 위한 웨이크 업 통보 신호를 전송할 수 있다(S1050).Meanwhile, the voice recognition server system 100 may transmit a wake-up notification signal for waiting for the speaker's voice command input to the selected home appliance (S1050).

실시예에 따라서는, 음성 인식 서버 시스템(100)은, 상기 복수의 홈 어플라이언스 중 상기 선택된 홈 어플라이언스를 제외한 하나 이상의 홈 어플라이언스로 상기 발화자의 음성 명령에 응답하지 않도록 제어하는 슬립(sleep) 신호를 전송할 수 있다(S1060).According to an embodiment, the voice recognition server system 100 transmits a sleep signal for controlling not to respond to the speaker's voice command to one or more home appliances other than the selected home appliance among the plurality of home appliances. It can be (S1060).

동일 호출어를 사용하는 음성 인식 홈 어플라이언스가 가정 내에 여러대 있을 경우, 사용자는 특정 홈 어플라이언스에게 명령어를 내리고 싶지만, 호출어가 동일하여 인접해 있는 다른 음성 인식 홈 어플라이언스도 모두 웨이크 업(wake-up)될 수 있다.If there are multiple voice recognition home appliances using the same call word in the home, the user wants to give a command to a specific home appliance, but all other voice recognition home appliances in the vicinity with the same call word also wake up. can be

이를 방지하기 위해, 본 발명은, 음성의 방향 정보와 세기 정보를 이용하여 하나의 홈 어플라이언스만 응답시킬 수 있다.To prevent this, according to the present invention, only one home appliance can respond using direction information and strength information of a voice.

본 발명에 따르면, 사용자가 호출어를 발화하고, 여러 홈 어플라이언스들에서 호출어가 인식이 되었을 때, 각 홈 어플라이언스들은 등록된 제품 ID 정보 등 식별 정보, 호출어가 인식된 시간 정보, 약 1초 가량의 음성 데이터(호출어 발화 음성 데이터) 등을 음성 인식 서버 시스템(100)으로 전송할 수 있다.According to the present invention, when a user utters a call word and the call word is recognized by several home appliances, each home appliance receives identification information such as registered product ID information, time information at which the call word is recognized, and about 1 second. Voice data (voice data uttered by a calling word) may be transmitted to the voice recognition server system 100 .

음성 인식 서버 시스템(100)은 수신한 음성 데이터에 기초하여 호출어를 재인식을 해서, 정확도를 재추출하고 전송된 음성의 세기도 측정할 수 있다.The voice recognition server system 100 may re-recognize the calling word based on the received voice data, re-extract the accuracy, and measure the strength of the transmitted voice.

또한 각 홈 어플라이언스들은 2개 이상의 마이크 입력 신호 정보를 모두 보내고, 음성 인식 서버 시스템(100)에서, 화자의 발화 방향 정보를 판별할 수 있다.In addition, each home appliance may transmit information on two or more microphone input signals, and the voice recognition server system 100 may determine the speaker's utterance direction information.

음성 인식 서버 시스템(100)의 소정 서버는, 화자의 발화 방향 정보에 기초하여 소정 홈 어플라이언스를 선택할 수 있다.A predetermined server of the voice recognition server system 100 may select a predetermined home appliance based on the speaker's utterance direction information.

예를 들어, 가전 제어 서버(130)는 각 홈 어플라이언스들로부터 동일한 시간대에 받은 데이터 중에 가장 정면에 위치하는 홈 어플라이언스에게 웨이크 업(wake-up) 통보 신호를 전송하고 나머지 홈 어플라이언스에는 슬립(sleep) 신호를 보내 응대를 하지 않게 한다.For example, the home appliance control server 130 transmits a wake-up notification signal to the home appliance located in the front of the data received from each home appliance at the same time period and sleeps to the other home appliances. Send a signal to stop responding.

또한, 가전 제어 서버(130)는 각 홈 어플라이언스들로부터 동일한 시간대에 받은 데이터 중에 가장 큰 음성 세기를 가지고, 정확도가 높은 홈 어플라이언스에게 웨이크 업(wake-up) 통보 신호를 전송하고 나머지 홈 어플라이언스에는 슬립(sleep) 신호를 보내 응대를 하지 않게 한다. In addition, the home appliance control server 130 transmits a wake-up notification signal to the home appliance having the highest voice strength among data received in the same time period from each home appliance and having high accuracy, and sends a sleep-up notification signal to the rest of the home appliances. Send a (sleep) signal to stop responding.

본 실시예에서도, 음성 크기와 정확도가 비슷할 경우, 가전 제어 서버(130)는 방향 정보가 정면쪽에서(90도 주변) 발화된 홈 어플라이언스에게 우선권을 부여할 수 있다.Also in this embodiment, when the voice volume and accuracy are similar, the home appliance control server 130 may give priority to the home appliance whose direction information is uttered from the front side (around 90 degrees).

한편, 웨이크 업(wake-up) 통보 신호를 받은 가전만 사용자로부터 자연어 음성 명령을 받고, 동작을 수행할 수 있다.On the other hand, only the home appliance that has received a wake-up notification signal may receive a natural language voice command from the user and perform an operation.

이에 따라, 호출어가 동일하더라도, 사용자를 중심으로 가장 가까이 있는 홈 어플라이언스만 먼저 응대하기 때문에, 음성 인식 거리가 짧아져, 인식 성공률도 높아질 수 있다.Accordingly, even if the call word is the same, since only the home appliance closest to the user is answered first, the voice recognition distance is shortened and the recognition success rate can be increased.

또한, 본 발명에 따르면, 동시에 여러 대의 홈 어플라이언스가 동작하지 않기 때문에, 이로 인한 서버 제어의 과부하를 방지할 수 있다.In addition, according to the present invention, since a plurality of home appliances do not operate at the same time, it is possible to prevent overload of server control due to this.

도 11은 본 발명의 일 실시예에 따른 홈 어플라이언스와 음성 인식 서버 시스템의 동작 방법을 도시한 순서도이다.11 is a flowchart illustrating a method of operating a home appliance and a voice recognition server system according to an embodiment of the present invention.

도 11을 참조하면, N개의 홈 어플라이언스에서 호출어 인식이 됐을 때(S1110), N개의 홈 어플라이언스는 필요한 정보를 음성 서버(110)로 전송할 수 있다(S1120).Referring to FIG. 11 , when a call word is recognized by the N home appliances ( S1110 ), the N home appliances may transmit necessary information to the voice server 110 ( S1120 ).

예를 들어, N개의 홈 어플라이언스는, 호출어가 포함된 음성 데이터, 입력 시간 정보, 제품 식별 정보 등을 전송할 수 있다.For example, the N home appliances may transmit voice data including a call word, input time information, product identification information, and the like.

한편, 음성 서버(110)는 수신한 음성 데이터에 기초하여 호출어를 재인식을 해서, 정확도를 재추출하고, 전송된 음성의 세기도 측정할 수 있다(S1130).Meanwhile, the voice server 110 may re-recognize the call word based on the received voice data, re-extract the accuracy, and measure the strength of the transmitted voice (S1130).

또한, 음성 서버(110)는 각 홈 어플라이언스의 2개 이상의 마이크 입력 신호 정보에서, 화자의 발화 방향 정보를 판별할 수 있다. 예를 들어, 음성 서버(110)는 각 홈 어플라이언스가 구비하는 복수의 마이크에 호출어가 입력된 시간 차이를 비교하여 화자의 발화 방향 정보를 판별할 수 있다(S1130).Also, the voice server 110 may determine the speaker's utterance direction information from information on two or more microphone input signals of each home appliance. For example, the voice server 110 may determine the utterance direction information of the speaker by comparing the time difference at which the call word is input into a plurality of microphones provided in each home appliance ( S1130 ).

가전 제어 서버(130)는, 음성 인식 정확도, 음성 신호 크기, 방향성 정보 중 하나 이상에 기초하여, 사용자 근접 홈 어플라이언스를 선택할 수 있다(S1140). The home appliance control server 130 may select the user's proximity home appliance based on one or more of voice recognition accuracy, voice signal magnitude, and directionality information (S1140).

또한, 가전 제어 서버(130)는, 선택된 홈 어플라이언스 등으로 제어 신호를 전송할 수 있다(S1140).In addition, the home appliance control server 130 may transmit a control signal to the selected home appliance (S1140).

예를 들어, 가전 제어 서버(130)는, 상기 선택된 홈 어플라이언스로 상기 발화자의 음성 명령 입력 대기를 위한 웨이크 업 통보 신호를 전송할 수 있다.For example, the home appliance control server 130 may transmit a wake-up notification signal for waiting for the speaker's voice command input to the selected home appliance.

실시예에 따라서는, 가전 제어 서버(130)는, 상기 복수의 홈 어플라이언스 중 상기 선택된 홈 어플라이언스를 제외한 하나 이상의 홈 어플라이언스로 상기 발화자의 음성 명령에 응답하지 않도록 제어하는 슬립(sleep) 신호를 전송할 수 있다.According to an embodiment, the home appliance control server 130 may transmit a sleep signal for controlling not to respond to the speaker's voice command to one or more home appliances other than the selected home appliance among the plurality of home appliances. there is.

한편, 상기 선택된 홈 어플라이언스는 명령어 대기 모드로 진입하고, 명령어 대기 모드에서 입력되는 사용자의 음성 명령에 따라 제어될 수 있다(S1150).Meanwhile, the selected home appliance enters a command standby mode and may be controlled according to a user's voice command input in the command standby mode (S1150).

또한, 상기 선택된 홈 어플라이언스는 사용자의 음성 명령에 따라 동작하면서, 이에 대한 음성 안내 메시지를 출력할 수 있다(S1160).In addition, the selected home appliance may output a voice guidance message therefor while operating according to a user's voice command (S1160).

도 12는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 동작예이다.12 is an operation example of a voice recognition server system according to an embodiment of the present invention.

도 12를 참조하면, 공기초화기(200a)와 세탁기(200d)가 사용자가 발화한 호출어를 수신할 수 있다.Referring to FIG. 12 , the air freshener 200a and the washing machine 200d may receive a call word uttered by the user.

공기초화기(200a)와 세탁기(200d)는 복수의 마이크를 구비하고, 각각 복수의 마이크로 입력된 호출어 음성 데이터, 호출어가 입력된 시간 정보, 호출어가 입력된 마이크 식별 정보, 제품 식별 정보 등을 음성 서버(110)로 전송할 수 있다.The air purifier 200a and the washing machine 200d are provided with a plurality of microphones, and each receive call word voice data input into a plurality of microphones, call word input time information, call word input microphone identification information, product identification information, and the like. It can be transmitted to the voice server 110 .

상기 음성 서버(110)는, 홈 어플라이언스(200)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식 서버(111), 상기 자동 음성 인식 서버(111)로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하며, 상기 판별한 음성 명령에 기초하는 응답 신호를 홈 어플라이언스(200)로 송신하는 자연어 처리 서버(112), 및, 상기 홈 어플라이언스(200)로부터 상기 응답 신호에 대응하는 텍스트를 포함하는 신호를 수신하고, 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200)로 송신하는 텍스트 음성 변환 서버(113)를 포함할 수 있다.The voice server 110 receives voice data from the home appliance 200 and converts the received voice data into text data. From the automatic voice recognition server 111 , a natural language processing server 112 that receives the text data, analyzes the received text data to determine a voice command, and transmits a response signal based on the determined voice command to the home appliance 200; A text-to-speech server 113 that receives a signal including text corresponding to the response signal from the appliance 200, converts the text included in the received signal into voice data, and transmits it to the home appliance 200 may include

상기 자동 음성 인식 서버(111)는 공기초화기(200a)와 세탁기(200d)로부터 수신한 음성 데이터에 대하여 음성 인식을 수행하여 텍스트 데이터를 생성하여 상기 자연어 처리 서버(112)로 송신할 수 있다.The automatic voice recognition server 111 may perform voice recognition on voice data received from the air purifier 200a and the washing machine 200d to generate text data and transmit it to the natural language processing server 112 .

상기 자연어 처리 서버(112)는 상기 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터를 자연어 처리 알고리즘에 따라 분석하여 호출어 및 음성 명령을 판별할 수 있다. The natural language processing server 112 may analyze the text data received from the automatic speech recognition server 111 according to a natural language processing algorithm to determine a calling word and a voice command.

한편, 상기 자연어 처리 서버(112)는 호출어를 재인식해서, 정확도를 재추출하고 전송된 음성의 세기도 측정하며, 화자의 발화 방향 정보를 추출할 수 있다. Meanwhile, the natural language processing server 112 may re-recognize the calling word, re-extract the accuracy, measure the intensity of the transmitted voice, and extract the speaker's utterance direction information.

상기 자연어 처리 서버(112)는 음성 인식 정확도, 음성 세기 정보, 화자의 발화 방향 정보 등을 가전 제어 서버(130)로 전송할 수 있다.The natural language processing server 112 may transmit voice recognition accuracy, voice strength information, speaker's utterance direction information, and the like to the home appliance control server 130 .

가전 제어 서버(130)는 상기 방향 정보에 기초하여, 공기초화기(200a)와 세탁기(200d) 중 발화자 정명에 있을 것으로 판별되는 공기초화기(200a)로 발화자의 음성 명령 입력 대기를 위한 웨이크 업 통보 신호를 전송할 수 있다.Based on the direction information, the home appliance control server 130 wakes up for waiting for the speaker's voice command input to the air purifier 200a, which is determined to be in the name of the talker among the air igniter 200a and the washing machine 200d, based on the direction information. A notification signal can be transmitted.

또한, 가전 제어 서버(130)는, 세탁기(200d)로 발화자의 음성 명령에 응답하지 않도록 제어하는 슬립(sleep) 신호를 전송할 수 있다.In addition, the home appliance control server 130 may transmit a sleep signal for controlling not to respond to the speaker's voice command to the washing machine 200d.

이후, 공기초화기(200a)는 입력되는 사용자의 음성 명령을 음성 서버(110)로보내고, 도 3a 등을 참조하여 설명한 것과 같이, 음성 서버(I110)의 응답 신호, 가전 제어 서버(130)의 제어 신호에 따라 동작할 수 있다.Thereafter, the air purifier 200a sends the inputted user's voice command to the voice server 110, and as described with reference to FIG. 3a, the response signal of the voice server I110, the home appliance control server 130 of It can operate according to a control signal.

세탁기(200d)는 입력되는 사용자의 음성 명령을 소정 시간 무시할 수 있다.The washing machine 200d may ignore the input user's voice command for a predetermined time.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 음성 인식 과정에서 발생할 수 있는 오인식, 오동작을 방지할 수 있다.In addition, according to at least one of the embodiments of the present invention, it is possible to prevent erroneous recognition and malfunction that may occur during the speech recognition process.

본 발명에 따른 음성 서버, 음성 인식 서버 시스템 및 홈 어플라이언스는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.In the voice server, voice recognition server system, and home appliance according to the present invention, the configuration and method of the embodiments described above cannot be limitedly applied, but the embodiments are the examples of each embodiment so that various modifications can be made. All or a part may be selectively combined and configured.

한편, 본 발명의 실시예에 따른 음성 서버, 음성 인식 서버 시스템 및 홈 어플라이언스의 동작 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the method of operating a voice server, a voice recognition server system, and a home appliance according to an embodiment of the present invention can be implemented as processor-readable codes on a processor-readable recording medium. The processor-readable recording medium includes all types of recording devices in which data readable by the processor is stored. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and also includes those implemented in the form of carrier waves such as transmission over the Internet. . In addition, the processor-readable recording medium is distributed in a computer system connected to a network, so that the processor-readable code can be stored and executed in a distributed manner.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

음성 인식 서버 시스템: 100
음성 서버: 110
ASR 서버: 111
NLP 서버: 112
TTS 서버: 113
연계 서비스 서버: 120
가전 제어 서버: 130
홈 어플라이언스: 200Speech Recognition Server System: 100
Voice Server: 110
ASR Server: 111
NLP Server: 112
TTS Server: 113
Linked service server: 120
Appliance Control Server: 130
Home Appliance: 200

Claims

Receiving a voice signal including a call word input through the plurality of microphones (MIC) from a plurality of home appliances each having a plurality of microphones (MIC);
determining a direction of a speaker with respect to each of the plurality of home appliances based on the voice signals input through the plurality of microphones;
selecting one of the plurality of home appliances based on the direction of the talker;
transmitting a wake-up notification signal for waiting for the speaker to input a voice command to the selected home appliance; and,
and transmitting a sleep signal for controlling not to respond to the speaker's voice command to other home appliances except for the selected home appliance among the plurality of home appliances.

delete

According to claim 1,
The step of selecting any one of the plurality of home appliances includes a home determined to be located most in front of the talker because the time difference at which the voice signal is received by the plurality of microphones is the smallest among the plurality of home appliances. Method of operation of a voice recognition server system, characterized in that selecting the appliance.

According to claim 1,
The selecting of the home appliance may include, among home appliances corresponding to a voice signal having a signal magnitude of the voice signal equal to or greater than a predetermined reference value, the time difference at which the voice signal is received by the plurality of microphones is the smallest, and is the most front to the talker. A method of operating a voice recognition server system, characterized in that selecting a home appliance determined to be located in the

According to claim 1,
The selecting of the home appliance comprises selecting a home appliance corresponding to a voice signal having the largest signal magnitude among home appliances located within a predetermined angle with respect to the talker based on the direction of the talker. How the recognition server system works.

delete