KR101936640B1 - Home appliance, and voice recognition module - Google Patents
Home appliance, and voice recognition module Download PDFInfo
- Publication number
- KR101936640B1 KR101936640B1 KR1020170042087A KR20170042087A KR101936640B1 KR 101936640 B1 KR101936640 B1 KR 101936640B1 KR 1020170042087 A KR1020170042087 A KR 1020170042087A KR 20170042087 A KR20170042087 A KR 20170042087A KR 101936640 B1 KR101936640 B1 KR 101936640B1
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- server
- home appliance
- data
- unit
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000003058 natural language processing Methods 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 abstract description 24
- 230000006870 function Effects 0.000 description 64
- 230000004044 response Effects 0.000 description 43
- 238000006243 chemical reaction Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 230000007246 mechanism Effects 0.000 description 22
- 238000007664 blowing Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 9
- 239000003990 capacitor Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000004140 cleaning Methods 0.000 description 8
- 239000003507 refrigerant Substances 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 8
- 238000009499 grossing Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000001816 cooling Methods 0.000 description 6
- 238000005406 washing Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 238000010411 cooking Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000007599 discharging Methods 0.000 description 3
- 150000002500 ions Chemical class 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000007791 dehumidification Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000012717 electrostatic precipitator Substances 0.000 description 2
- 230000003028 elevating effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
- Selective Calling Equipment (AREA)
Abstract
본 발명은 홈 어플라이언스, 및 음성 인식 모듈에 관한 것이다. 본 발명의 실시예에 따른 홈 어플라이언스는, 교류 전원을 출력하는 인버터를 구비하는 구동부와, 음성을 획득하는 오디오 입력부와, 음성 인식 처리를 수행하는 서버 시스템으로, 오디오 입력부로부터의 음성 데이터를 전송하며, 서버 시스템으로부터 음성 데이터에 대한 인식 결과 데이터를 수신하는 통신부와, 구동부, 오디오 입력부, 통신부를 제어하는 제어부를 포함하며, 제어부는, 음성 데이터 내에 기 저장된 키워드가 포함되는 경우, 키워드에 대응하는 동작을 수행하도록 제어하고, 음성 데이터 내에 기 저장된 키워드가 포함되지 않고 자연어가 포함되는 경우, 자연어를 포함하는 음성 데이터를 서버 시스템으로 전송하도록 제어하고, 서버 시스템으로부터 결과 데이터를 수신하고, 결과 데이터에 대응하는 동작을 수행하도록 제어한다. 이에 따라, 음성 인식을 효율적으로 수행할 수 있게 된다. The present invention relates to a home appliance and a speech recognition module. A home appliance according to an embodiment of the present invention includes a drive unit including an inverter for outputting an AC power source, an audio input unit for acquiring a voice, and a server system for performing a voice recognition process. The home appliance transmits voice data from the audio input unit A communication unit for receiving the recognition result data on the voice data from the server system, and a control unit for controlling the driving unit, the audio input unit, and the communication unit. When the pre-stored keyword is included in the voice data, And controls the voice data including the natural language to be transmitted to the server system when the voice data does not include the pre-stored keyword but includes the natural language, receives the result data from the server system, So as to perform the operation. Thus, speech recognition can be efficiently performed.
Description
본 발명은 홈 어플라이언스, 및 음성 인식 모듈에 관한 것으로, 더욱 상세하게는, 음성 인식을 효율적으로 수행할 수 있는 홈 어플라이언스, 및 음성 인식 모듈에 관한 것이다.The present invention relates to a home appliance and a speech recognition module, and more particularly, to a home appliance and a speech recognition module capable of efficiently performing speech recognition.
가정이나 사무실 등의 소정 공간에서 사용되는 공기조화기, 세탁기, 청소기 등 홈 어플라이언스(Home appliance)들은 각각 사용자의 조작에 따라 고유의 기능과 동작을 수행하였다.Home appliances such as an air conditioner, a washing machine, a vacuum cleaner, and the like used in a predetermined space such as a home or an office have performed unique functions and operations according to user's operations, respectively.
예를 들어, 공기조화기는 냉매를 압축하는 압축기와 압축된 냉매를 응축하는 응축기와 응축된 냉매를 팽창하는 팽창밸브와 팽창된 냉매를 실내공기와 열교환시키는 증발기를 포함하여 구성되어 실내공간을 냉난방하는 장치로, 실내 온도를 조정하는 기능을 수행한다.For example, the air conditioner includes a compressor for compressing the refrigerant, a condenser for condensing the compressed refrigerant, an expansion valve for expanding the condensed refrigerant, and an evaporator for exchanging the expanded refrigerant with the room air, The device performs the function of adjusting the room temperature.
또한, 냉장고는 음식물을 저장하고, 세탁기는 세탁물을 처리하며, 청소기는 청소 기능, 조리기기는 음식물을 조리하는 기능 등을 수행한다.The refrigerator stores food, the washing machine processes the laundry, the cleaner performs the cleaning function, and the cooking device performs the cooking function.
이러한 공기조화기 등 홈 어플라이언스의 동작을 위해서, 사용자는, 홈 어플라이언스 본체에 구비된 버튼 등을 직접 조작하거나, 매번 본체로 이동하여 입력하여야 하는 불편함을 피해 리모콘 등의 원격제어장치를 사용할 수 있다.In order to operate the home appliances such as the air conditioner, the user can use a remote control device such as a remote controller to avoid the inconvenience of manually operating buttons or the like provided on the home appliance main body or moving to the main body every time .
하지만, 리모콘을 사용하는 경우에도, 사용자가 기능별로 조작키를 선택하여 입력해야 하므로, 그 사용이 불편하고, 실내가 어두울 경우 리모콘 및 조작키를 식별하기 위한 별도의 조명이 필요하게 되는 문제점이 있었다.However, even when a remote controller is used, the user has to select and input an operation key for each function, which is inconvenient to use, and when the room is dark, separate illumination for identifying the remote controller and the operation key is required .
따라서, 음성인식 기술을 이용하여 홈 어플라이언스를 제어하는 방안에 대한 연구가 증가하고 있다.Therefore, there is an increasing research on a method of controlling a home appliance using speech recognition technology.
종래 기술 1(공개특허공보 10-1999-00069703호)은 공기조화기용 리모콘이 음성 입력부 및 신호 처리부를 구비하여 음성 인식에 따른 조작 신호를 생성, 전송한다.Prior Art 1 (Laid-Open Patent Publication No. 10-1999-00069703) discloses a remote controller for an air conditioner having an audio input unit and a signal processing unit to generate and transmit an operation signal according to voice recognition.
종래 기술 2(공개특허공보 10-2006-0015092호)는 입력되는 음성신호를 디지털 신호 및 텍스트로 변환 후, 데이터베이스 내 일치하는 제어 명령 존재 여부 확인하고, 일치하는 제어명령이 있으면 공기조화기 내 각 장치를 제어하며, 일치하는 제어명령이 없으면 키워드를 추출하여 연계된 제어명령에 따라 공기조화기 내 각 장치를 제어한다.In the conventional art 2 (Japanese Unexamined Patent Publication (Kokai) No. 10-2006-0015092), an input voice signal is converted into a digital signal and text, and it is checked whether there is a control command in the database. And if there is no matching control command, extracts the keyword and controls each device in the air conditioner according to the associated control command.
하지만, 리모콘 및 공기조화기 등 개별 장치가 구비할 수 있는 시스템 자원에는 한계가 있다. 특히 단순한 몇 가지 단어만 인식하는 것이 아니라 자연어를 인식하기 위해서는 높은 연산량이 요구되어 개별 장치에 장착되는 임베디드 모듈로는 구현이 어렵다.However, there is a limit to the system resources that individual devices such as remote controllers and air conditioners can have. Especially, it is difficult to realize embedded modules that are installed in individual devices because it requires a high computation amount to recognize natural words rather than only a few words.
따라서, 종래 기술 1과 종래 기술 2의 음성 인식 기술은, 전 세계 사용자들의 다양한 자연어 음성 명령을 인식하고 처리하는데 한계가 있었다.Therefore, the speech recognition technology of the related art 1 and the conventional art 2 has a limitation in recognizing and processing various natural language voice commands of users all over the world.
그러므로, 개별 장치의 시스템 자원의 제약 없이 자연어를 인식하고 처리할 수 있고, 홈 어플라이언스를 편리하게 제어할 수 있는 방안이 요구된다.Therefore, there is a need for a method that can recognize and process natural language without restriction of the system resources of the individual devices, and can conveniently control the home appliance.
또한, 사용 편의성 및 만족도를 향상하기 위하여, 음성 인식 과정 및 홈 어플라이언스 제어 과정 중에 발생할 수 있는 다양한 상황들을 고려한 사용자 경험(User Experience, UX)을 제공하는 것이 필요하다.Also, in order to improve usability and satisfaction, it is necessary to provide a user experience (UX) considering various situations that may occur during a speech recognition process and a home appliance control process.
본 발명의 목적은, 음성 인식을 효율적으로 수행할 수 있는 홈 어플라이언스, 및 음성 인식 모듈을 제공함에 있다.It is an object of the present invention to provide a home appliance and a speech recognition module that can efficiently perform speech recognition.
한편, 본 발명의 다른 목적은, 서버 시스템과의 통신에 의해 자연어 음성 인식을 수행할 수 있는 홈 어플라이언스, 및 음성 인식 모듈을 제공함에 있다.It is another object of the present invention to provide a home appliance and a speech recognition module capable of performing natural language speech recognition by communication with a server system.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 홈 어플라이언스는, 교류 전원을 출력하는 인버터를 구비하는 구동부와, 음성을 획득하는 오디오 입력부와, 음성 인식 처리를 수행하는 서버 시스템으로, 오디오 입력부로부터의 음성 데이터를 전송하며, 서버 시스템으로부터 음성 데이터에 대한 인식 결과 데이터를 수신하는 통신부와, 구동부, 오디오 입력부, 통신부를 제어하는 제어부를 포함하며, 제어부는, 음성 데이터 내에 기 저장된 키워드가 포함되는 경우, 키워드에 대응하는 동작을 수행하도록 제어하고, 음성 데이터 내에 기 저장된 키워드가 포함되지 않고 자연어가 포함되는 경우, 자연어를 포함하는 음성 데이터를 서버 시스템으로 전송하도록 제어하고, 서버 시스템으로부터 결과 데이터를 수신하고, 결과 데이터에 대응하는 동작을 수행하도록 제어한다.According to an aspect of the present invention, there is provided a home appliance comprising: a driving unit including an inverter for outputting an AC power; an audio input unit for acquiring a voice; a server system for performing voice recognition processing; And a control unit for controlling the driving unit, the audio input unit, and the communication unit. The control unit controls the communication unit such that when the stored keyword is included in the audio data And controls the voice data including the natural language to be transmitted to the server system when the keyword is not included in the voice data and the natural word is included in the voice data, And performs an operation corresponding to the result data And it controls to perform.
한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 음성 인식 모듈은, 음성을 획득하는 오디오 입력부와, 음성 인식 처리를 수행하는 서버 시스템으로, 오디오 입력부로부터의 음성 데이터를 전송하며, 서버 시스템으로부터 음성 데이터에 대한 인식 결과 데이터를 수신하는 통신부와, 오디오 입력부, 통신부를 제어하는 프로세서를 포함하며, 프로세서는, 음성 데이터 내에 기 저장된 키워드가 포함되는 경우, 키워드에 대응하는 동작을 수행하도록 제어하고, 음성 데이터 내에 기 저장된 키워드가 포함되지 않고 자연어가 포함되는 경우, 자연어를 포함하는 음성 데이터를 서버 시스템으로 전송하도록 제어하고, 서버 시스템으로부터 결과 데이터를 수신하고, 결과 데이터에 대응하는 동작을 수행하도록 제어한다.According to another aspect of the present invention, there is provided a voice recognition module including: an audio input unit for acquiring voice; and a server system for performing voice recognition processing. The voice recognition module transmits voice data from an audio input unit, And a processor for controlling the audio input unit and the communication unit. The processor controls to perform an operation corresponding to the keyword when the keyword stored in the voice data is included in the voice data When the keyword is not included in the voice data but includes the natural language, the voice data including the natural language is controlled to be transmitted to the server system, the result data is received from the server system, and the operation corresponding to the result data is performed .
본 발명의 실시예에 따르면, 홈 어플라이언스는, 교류 전원을 출력하는 인버터를 구비하는 구동부와, 음성을 획득하는 오디오 입력부와, 음성 인식 처리를 수행하는 서버 시스템으로, 오디오 입력부로부터의 음성 데이터를 전송하며, 서버 시스템으로부터 음성 데이터에 대한 인식 결과 데이터를 수신하는 통신부와, 구동부, 오디오 입력부, 통신부를 제어하는 제어부를 포함하며, 제어부는, 음성 데이터 내에 기 저장된 키워드가 포함되는 경우, 키워드에 대응하는 동작을 수행하도록 제어하고, 음성 데이터 내에 기 저장된 키워드가 포함되지 않고 자연어가 포함되는 경우, 자연어를 포함하는 음성 데이터를 서버 시스템으로 전송하도록 제어하고, 서버 시스템으로부터 결과 데이터를 수신하고, 결과 데이터에 대응하는 동작을 수행하도록 제어함으로써, 음성 인식을 효율적으로 수행할 수 있게 된다.According to an embodiment of the present invention, a home appliance includes a drive unit including an inverter for outputting AC power, an audio input unit for acquiring voice, and a server system for performing voice recognition processing, And a control unit for controlling the drive unit, the audio input unit, and the communication unit. The control unit includes a control unit for controlling the drive unit, the audio input unit, And controls the voice data including the natural language to be transmitted to the server system when the voice data does not include the pre-stored keyword but includes the natural language, receives the result data from the server system, By controlling to perform the corresponding operation , It is possible to efficiently perform speech recognition.
특히, 간단한 음성인 키워드 음성에 대해, 미리 저장한 상태에서, 음성 데이터 내에 키워드가 포함되는 경우, 서버 시스템과의 통신할 필요 없이, 해당하는 동작을 바로 수행할 수 있게 되므로, 신속하게, 키워드 음성에 대한 동작을 수행할 수 있게 된다.Particularly, when a keyword is included in the voice data in a state in which the keyword voice is a simple voice, it is possible to perform the corresponding operation immediately without communicating with the server system. Therefore, Lt; / RTI >
한편, 음성 데이터 내에 키워드가 아닌 자연어가 포함된 경우, 서버 시스템을 통해, 자연어 인식을 수행함으로써, 자연어 인식의 정확성이 향상되게 된다.On the other hand, when natural language is included in the voice data instead of keywords, the accuracy of natural language recognition is improved by performing natural language recognition through the server system.
한편, 제어부는, 서버 시스템으로부터 결과 데이터가 수신되지 않는 경우, 재명령 요청 멘트를 출력하도록 제어함으로써, 사용자의 이용 편의성이 증대될 수 있게 된다.On the other hand, when the result data is not received from the server system, the control unit controls the output of the re-order request message so that the user's convenience of use can be increased.
한편, 제어부는, 서버 시스템 내의 자동 음성 인식 서버, 자연어 처리 서버, 연계 서비스 서버 중 어느 하나의 고장인 경우, 해당하는 대기 멘트를 출력하도록 제어함으로써, 사용자에게, 서버 시스템의 어느 서버가 고장인 지 여부를 알려줄 수 있게 된다.On the other hand, when any one of the automatic speech recognition server, the natural language processing server, and the linkage service server in the server system fails, the control unit controls the user to determine which server of the server system is malfunctioning I will be able to tell you whether.
한편, 본 발명의 실시예에 따르면, 음성 인식 모듈은, 음성을 획득하는 오디오 입력부와, 음성 인식 처리를 수행하는 서버 시스템으로, 오디오 입력부로부터의 음성 데이터를 전송하며, 서버 시스템으로부터 음성 데이터에 대한 인식 결과 데이터를 수신하는 통신부와, 오디오 입력부, 통신부를 제어하는 프로세서를 포함하며, 프로세서는, 음성 데이터 내에 기 저장된 키워드가 포함되는 경우, 키워드에 대응하는 동작을 수행하도록 제어하고, 음성 데이터 내에 기 저장된 키워드가 포함되지 않고 자연어가 포함되는 경우, 자연어를 포함하는 음성 데이터를 서버 시스템으로 전송하도록 제어하고, 서버 시스템으로부터 결과 데이터를 수신하고, 결과 데이터에 대응하는 동작을 수행하도록 제어함으로써, 음성 인식을 효율적으로 수행할 수 있게 된다.According to an embodiment of the present invention, there is provided a voice recognition module including: an audio input unit for acquiring voice; and a server system for performing voice recognition processing, wherein the voice recognition module transmits voice data from the audio input unit, And a processor for controlling the audio input unit and the communication unit, wherein the processor controls to perform an operation corresponding to the keyword when the stored keyword is included in the audio data, By controlling the voice data including the natural language to be transmitted to the server system when the stored keyword is not included and the natural language is included, receiving result data from the server system, and performing an operation corresponding to the result data, Can be efficiently performed.
특히, 간단한 음성인 키워드 음성에 대해, 미리 저장한 상태에서, 음성 데이터 내에 키워드가 포함되는 경우, 서버 시스템과의 통신할 필요 없이, 해당하는 동작을 바로 수행할 수 있게 되므로, 신속하게, 키워드 음성에 대한 동작을 수행할 수 있게 된다.Particularly, when a keyword is included in the voice data in a state in which the keyword voice is a simple voice, it is possible to perform the corresponding operation immediately without communicating with the server system. Therefore, Lt; / RTI >
한편, 음성 데이터 내에 키워드가 아닌 자연어가 포함된 경우, 서버 시스템을 통해, 자연어 인식을 수행함으로써, 자연어 인식의 정확성이 향상되게 된다.On the other hand, when natural language is included in the voice data instead of keywords, the accuracy of natural language recognition is improved by performing natural language recognition through the server system.
한편, 프로세서는, 서버 시스템으로부터 결과 데이터가 수신되지 않는 경우, 재명령 요청 멘트를 출력하도록 제어함으로써, 사용자의 이용 편의성이 증대될 수 있게 된다.On the other hand, when the result data is not received from the server system, the processor controls the output of the re-order request message so that the user's usability can be increased.
한편, 프로세서는, 서버 시스템 내의 자동 음성 인식 서버, 자연어 처리 서버, 연계 서비스 서버 중 어느 하나의 고장인 경우, 해당하는 대기 멘트를 출력하도록 제어함으로써, 사용자에게, 서버 시스템의 어느 서버가 고장인 지 여부를 알려줄 수 있게 된다.On the other hand, in the event of failure of any one of the automatic speech recognition server, the natural language processing server and the linkage service server in the server system, the processor controls the output of the corresponding queue to inform the user which server of the server system is faulty I will be able to tell you whether.
도 1은 본 발명의 일 실시예에 따른 음성 인식 서버 시스템 및 홈 어플라이언스를 포함하는 스마트 홈 시스템을 간략히 도시한 도면이다.
도 2는 홈 어플라이언스의 다양한 예를 설명하는 도면이다.
도 3a는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 일예이다.
도 3b는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 다른 예이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 신호 흐름을 예시한 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 신호 흐름을 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 서버의 내부 블록도의 일예를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 홈 어플라이언스의 내부 블록도의 일예를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 공기조화기의 내부 블록도의 일부를 도시한 도면이다.
도 13과 도 14는 본 발명의 일 실시예에 따른 공기조화기의 외관을 간략히 도시한 도면이다.
도 15는 본 발명에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다.
도 16은 본 발명에 따른 음성 인식 서버 시스템 및 홈 어플라이언스를 포함하는 스마트 홈 시스템의 동작 방법을 도시한 순서도이다.
도 17 내지 도 21은 본 발명에 따른 음성 인식 서버 시스템 및 홈 어플라이언스의 다양한 동작에 관한 설명에 참조되는 도면이다.
도 22는 본 발명의 실시예에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다.
도 23은 본 발명의 일 실시예에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다.
도 24a 내지 도 26f는 도 22 또는 도 23의 동작 방법 설명에 참조되는 도면이다.
도 27은 본 발명의 일 실시예에 따른 홈 어플라이언스의 내부 블록도의 다른 예를 도시한 도면이다.
도 28은 도 11 또는 도 27의 구동부의 내부 블록도의 일예를 예시한다.
도 29는 도 28의 모터 구동장치의 내부 회로도의 일예이다.
도 30은 도 29의 인버터 제어부의 내부 블록도이다.1 is a view illustrating a smart home system including a voice recognition server system and a home appliance according to an embodiment of the present invention.
2 is a diagram illustrating various examples of home appliances.
3A is an example of a speech recognition server system according to an embodiment of the present invention.
3B is another example of a speech recognition server system according to an embodiment of the present invention.
4 to 6 are diagrams illustrating a signal flow of a speech recognition server system according to an embodiment of the present invention.
7 to 9 are diagrams illustrating a signal flow of a speech recognition server system according to an embodiment of the present invention.
FIG. 10 is a diagram showing an example of an internal block diagram of a server according to an embodiment of the present invention.
11 is a block diagram illustrating an example of an internal block diagram of a home appliance according to an embodiment of the present invention.
12 is a view showing a part of an internal block diagram of an air conditioner according to an embodiment of the present invention.
13 and 14 are views showing an outline of an air conditioner according to an embodiment of the present invention.
15 is a flowchart illustrating an operation method of a home appliance according to the present invention.
16 is a flowchart illustrating an operation method of a smart home system including a speech recognition server system and a home appliance according to the present invention.
17 to 21 are views referred to in explaining various operations of the speech recognition server system and the home appliance according to the present invention.
22 is a flowchart illustrating an operation method of a home appliance according to an embodiment of the present invention.
23 is a flowchart illustrating an operation method of a home appliance according to an embodiment of the present invention.
Figs. 24A to 26F are diagrams referred to in the description of the operation method of Fig. 22 or Fig.
27 is a view showing another example of an internal block diagram of a home appliance according to an embodiment of the present invention.
Fig. 28 illustrates an example of an internal block diagram of the driving unit of Fig. 11 or Fig.
29 is an example of an internal circuit diagram of the motor driving apparatus of Fig.
30 is an internal block diagram of the inverter control unit of FIG. 29;
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, it is needless to say that the present invention is not limited to these embodiments and can be modified into various forms.
도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다. In the drawings, the same reference numerals are used for the same or similar parts throughout the specification.
한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.The suffix " module " and " part " for components used in the following description are given merely for convenience of description and do not give special significance or role in themselves. Thus, " module " and " part " may be used interchangeably.
도 1은 본 발명의 일 실시예에 따른 음성 인식 서버 시스템 및 홈 어플라이언스를 포함하는 스마트 홈 시스템을 간략히 도시한 도면이고 도 2는 홈 어플라이언스의 다양한 예를 설명하는 도면이다. FIG. 1 is a schematic view of a smart home system including a speech recognition server system and a home appliance according to an embodiment of the present invention. FIG. 2 is a view for explaining various examples of a home appliance.
도 1을 참조하면, 본 발명의 일 실시예에 따른 스마트 홈 시스템(10)은, 통신 모듈(미도시)을 구비하여 다른 기기와 통신하거나 네트워크에 접속할 수 있는 홈 어플라이언스(home appliance, 200)와, 음성 인식 및 가전 제어를 위한 복수의 서버를 포함하는 음성 인식 서버 시스템(100)을 포함할 수 있다.Referring to FIG. 1, a
도 2를 참조하면, 홈 어플라이언스(200)에는 통신 모듈을 구비한 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 세탁기(200d), 조리기기(200e) 등이 해당될 수 있다.2, the
또한, 본 발명의 일 실시예에 따른 스마트 홈 시스템(10)은, 스마트 폰(smart phone), 태블릿(Tablet) PC 등의 이동 단말기(미도시)를 포함할 수 있다.In addition, the
홈 어플라이언스(200)는, 내부에 통신 모듈을 구비하여 스마트 홈 시스템(10) 내/외부의 전자기기들과 통신할 수 있다. The
본 발명의 일 실시예에 따른 스마트 홈 시스템(10)은, 억세스 포인트(access point: AP) 장치(300)를 더 포함할 수 있고, 홈 어플라이언스(200)는, 억세스 포인트 장치(300)를 통하여 무선 인터넷 네트워크에 접속하여 다른 기기들과 통신할 수 있다.The
억세스 포인트 장치(300)는, 스마트 홈 시스템(10) 내의 전자 기기들에, 소정 통신 방식에 의한 유선 또는 무선 채널을 할당하고, 해당 채널을 통해, 무선 데이터 통신을 수행할 수 있다. The
여기서, 소정 통신 방식은, 와이파이(Wi-Fi) 통신 방식일 수 있다. 이에 대응하여, 홈 어플라이언스(200)가 구비하는 통신 모듈은 와이파이 통신 모듈일 수 있으나, 본 발명은 통신 방식에 한정되지 않는다.Here, the predetermined communication method may be a Wi-Fi communication method. Correspondingly, the communication module included in the
또는, 홈 어플라이언스(200)는, 다른 종류의 통신 모듈을 구비하거나 복수의 통신 모듈을 구비할 수 있다. 예를 들어, 홈 어플라이언스(200)는 NFC 모듈, 지그비(zigbee) 통신 모듈, 블루투스(Bluetooth™) 통신 모듈 등을 포함할 수 있다.Alternatively, the
홈 어플라이언스(200)는, 와이파이(wi-fi) 통신 모듈 등을 통해 음성 인식 서버 시스템(100)에 포함되는 서버 또는 외부의 소정 서버, 사용자의 이동 단말기 등과 연결 가능하고, 원격 모니터링, 원격 제어 등 스마트 기능을 지원할 수 있다.The
사용자는 이동 단말기를 통하여 스마트 홈 시스템(10) 내의 홈 어플라이언스(200)에 관한 정보를 확인하거나 홈 어플라이언스(200)를 제어할 수 있다.The user can check information on the
한편, 사용자가 가정 내에서 홈 어플라이언스(200)를 제어하거나 소정 정보를 확인하고자 하는 경우에도 이동 단말기를 반드시 이용해야 하는 것은 불편할 수 있다.On the other hand, it may be inconvenient for a user to use the mobile terminal even when the user wants to control the
예를 들어, 사용자가 이동 단말기의 현재 위치를 모르거나 다른 장소에 있는 경우에 다른 방식으로 홈 어플라이언스(200)를 제어할 수 있는 수단이 있는 것이 더 효율적이다.For example, it is more efficient to have a means to control the
본 발명의 일 실시예에 따른 홈 어플라이언스(200)는 사용자의 음성 입력을 수신할 수 있고, 음성 인식 서버 시스템(100)은, 사용자의 음성 입력을 인식, 분석하여 홈 어플라이언스(200)를 제어할 수 있다.The
이에 따라, 사용자는 이동 단말기, 원격제어장치를 조작하지 않고서도 홈 어플라이언스(200)를 제어할 수 있다.Accordingly, the user can control the
한편, 음성 인식 서버 시스템(100)에 포함되는 서버들 중 적어도 일부는, 홈 어플라이언스의 제조 회사, 판매 회사가 운영하는 서버이거나 제조 회사 또는 판매 회사가 서비스를 위탁한 회사가 운영하는 서버일 수 있다. At least some of the servers included in the voice
도 3a는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 일예이다.3A is an example of a speech recognition server system according to an embodiment of the present invention.
도 3a를 참조하면, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100a)은, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 분석하여 음성 명령을 판별하는 음성 서버(110)와, 연계 서비스 서버(120)와, 가전 제어 서버(130)를 포함할 수 있다. 3A, a voice
또한, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100a)은, 음성 서버(110)로부터 판별한 음성 명령에 대응하는 신호를 수신하고, 판별한 음성 명령에 대응하는 요청 신호를 생성하는 연계 서비스 서버(120)와, 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 홈 어플라이언스(200a)로 송신하는 가전 제어 서버(130)를 더 포함할 수 있다.The voice
음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하며, 텍스트 데이터를 분석하여 음성 명령을 판별할 수 있다.The
또한, 음성 서버(110)는, 판별한 음성 명령에 대응하는 신호를 소정 서버로 송신할 수 있다.Further, the
홈 어플라이언스(200a)는, 사용자가 발화한 음성 명령 입력을 수신하여 수신한 음성 명령 입력에 기초한 음성 데이터를 음성 서버(110)로 송신할 수 있다.The
음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition: ASR) 서버(111), 자동 음성 인식 서버(111)로부터 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하며, 판별한 음성 명령에 기초하는 응답 신호를 홈 어플라이언스(200a)로 송신하는 자연어 처리(Natural Language Processing: NLP) 서버(112), 및, 홈 어플라이언스(200a)로부터 응답 신호에 대응하는 텍스트를 포함하는 신호를 수신하고, 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 홈 어플라이언스(200a)로 송신하는 텍스트 음성 변환(Text to Speech: TTS) 서버(113)를 포함할 수 있다.The
자동 음성 인식 서버(111)는, 홈 어플라이언스(200a)로부터 수신한 음성 데이터에 대하여 음성 인식을 수행하여 텍스트 데이터를 생성하여 자연어 처리 서버(112)로 송신할 수 있다.The automatic
자연어 처리 서버(112)는 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터를 자연어 처리 알고리즘에 따라 분석하여 음성 명령을 판별할 수 있다. The natural
자연어 처리 서버(112)는 자연어 처리 알고리즘에 따라 사람이 일상적으로 사용하고 있는 언어인 자연어를 처리할 수 있고, 사용자의 의도(intent)를 분석할 수 있다. 자연어 처리 서버(112)는 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터에 대하여 자연어 처리를 수행하여 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다.The natural
이에 따라, 자연어 처리 서버(112)는 사용자가 일상적인 사용 언어로 음성 명령을 입력하더라도 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다. Accordingly, the natural
자연어 처리 서버(112)는 자연어 처리 결과에 대응하는 신호, 즉, 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다.The natural
연계 서비스 서버(120)는, 음성 서버(110), 특히, 자연어 처리 서버(112)로부터 판별한 음성 명령에 대응하는 신호를 수신하고, 판별한 음성 명령에 대응하는 요청 신호를 생성할 수 있다.The linking
연계 서비스 서버(120)는, 자연어 처리 서버(112)로부터 판별한 음성 명령에 대응하는 신호를 수신할 수 있다.The
연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이면, 가전 제어 서버(130)와 통신하여 대응하는 동작을 수행할 수 있다.The
또는, 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이 아니면, 외부의 외부 서비스(121)와 통신하여 대응하는 동작을 수행할 수 있다.Alternatively, if the determined voice command is not related to the
예를 들어, 연계 서비스 서버(120)는 판별한 음성 명령이 날씨, 주식, 뉴스 등의 정보를 요청하는 명령이면, 요청된 정보에 대응하는 서비스를 제공하는 서버로 해당 정보를 요청하고 수신할 수 있다.For example, if the determined voice command is a command for requesting information such as weather, stock, news, etc., the
또한, 연계 서비스 서버(120)는 수신한 정보를 음성 서버(110)로 송신할 수 있고, 자연어 처리 서버(112)는 수신한 정보를 홈 어플라이언스(200a)로 전달할 수 있다.Also, the linking
연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이면, 판별한 음성 명령에 대응하는 요청 신호를 생성하여 가전 제어 서버(130)로 송신할 수 있다.If the determined voice command is related to the
가전 제어 서버(130)는, 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 홈 어플라이언스(200a)로 송신할 수 있다.The home
예를 들어, 공기조화기(200a)의 설정 온도를 변경하는 요청이 수신되면, 가전 제어 서버(130)는 공기조화기(200a)로 설정 온도를 변경하는 제어 신호를 송신할 수 있다.For example, when a request to change the set temperature of the
한편, 홈 어플라이언스(200a)는 가전 제어 서버(130)로부터 수신한 제어 신호에 따라 대응하는 동작을 수행할 수 있다. Meanwhile, the
또한, 홈 어플라이언스(200a)는 요청받은 동작을 수행한 후 동작을 수행하였음을 알리는 신호를 가전 제어 서버(130)로 송신할 수 있다.In addition, the
또한, 가전 제어 서버(130)는, 홈 어플라이언스(200a)로부터 제어 신호에 대한 응답 신호를 수신하고, 응답 신호에 대응하는 처리 결과 정보를 연계 서비스 서버(120)로 송신할 수 있다.The home
음성 서버(110)는, 처리 결과 정보를 포함하는 응답 신호를 홈 어플라이언스(200a)로 송신할 수 있다.The
또한, 음성 서버(110)는, 홈 어플라이언스(200a)로부터 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함하는 신호를 수신하고, 수신한 출력 문구 텍스트를 음성 데이터로 변환하여 홈 어플라이언스(200a)로 전송할 수 있다.In addition, the
이 경우에, 자연어 처리 서버(112)가 홈 어플라이언스(200a)로 송신하는 판별한 음성 명령에 기초하는 응답 신호는, 처리 결과 정보를 포함할 수 있다.In this case, the response signal based on the voice command determined by the natural
한편, 홈 어플라이언스(200a)는 자연어 처리 서버(112)로부터 판별한 음성 명령에 기초하는 응답 신호를 수신할 수 있다. 여기서, 응답 신호를 판별한 음성 명령에 대응하는 응답의 텍스트 데이터를 포함할 수 있다.On the other hand, the
예를 들어, 사용자가 공기조화기의 설정 온도를 변경하는 음성 명령을 입력한 경우에, 응답 신호는 설정 온도를 변경하였음을 나타내는 텍스트 데이터를 포함할 수 있다.For example, when the user inputs a voice command to change the set temperature of the air conditioner, the response signal may include text data indicating that the set temperature has been changed.
한편, 홈 어플라이언스(200a)는 수신한 응답 신호에 대응하는 텍스트를 포함하는 신호를 텍스트 음성 변환 서버(113)로 송신할 수 있다. 여기서, 응답 신호에 대응하는 텍스트를 포함하는 신호는 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함할 수 있다.On the other hand, the
한편, 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 홈 어플라이언스(200a)로 송신할 수 있다. 여기서 변환된 음성 데이터는 음원 파일을 포함할 수 있다. On the other hand, the text-to-
홈 어플라이언스(200a)는 스피커를 통하여 수신한 음성 데이터에 기초한 음성 안내 메시지를 출력할 수 있다.The
한편, 연계 서비스 서버(120)는, 판별한 음성 명령에 대응하는 신호에 기초하여 홈 어플라이언스(200a)의 상태 정보를 가전 제어 서버(130)로 요청하고, 가전 제어 서버(130)는, 홈 어플라이언스(200a)의 상태 정보를 연계 서비스 서버(120)로 송신할 수 있다. 가전 제어 서버(130)는, 홈 어플라이언스(200a)의 상태 정보가 확보되어 있는 상태가 아닌 경우에는, 홈 어플라이언스(200a)로 상태 정보를 요청하여 수신할 수 있다.On the other hand, the
한편, 연계 서비스 서버(120)는, 홈 어플라이언스(200a)의 상태 정보에 기초하여 판별한 음성 명령의 지원이 가능한 경우에, 가전 제어 서버(130)로 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.On the other hand, when it is possible to support the voice command determined based on the state information of the
또는, 연계 서비스 서버(120)는, 홈 어플라이언스(200a)의 상태 정보에 기초하여 판별한 음성 명령의 지원이 불가능한 경우에, 자연어 처리 서버(112)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.Alternatively, when it is impossible to support the voice command determined based on the state information of the
이 경우에도, 홈 어플라이언스(200a)는 텍스트 음성 변환 서버(113)로 음성 데이터를 요청, 수신하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.Also in this case, the
실시예에 따라서는, 음성 서버(110)가, 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 예를 들어, 사용자의 음성 명령의 의도를 분석한 자연어 처리 서버(112)가, 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. According to the embodiment, the
이 경우에, 판별한 음성 명령이 지원 불가능한 명령을 포함하고 있는 경우, 자연어 처리 서버(112)가 송신하는 판별한 음성 명령에 기초하는 응답 신호는 판별한 음성 명령이 홈 어플라이언스(200a)가 지원하지 않는 기능임을 알리는 신호일 수 있다.In this case, when the determined voice command includes an instruction that can not be supported, the response signal based on the voice command determined by the natural
본 발명의 일 실시예에 따른 음성 서버(110) 및 이를 포함하는 음성 인식 서버 시스템(100a)은, 자연어 음성처리를 위해 여러 역할을 하는 서버를 유기적으로 연결하여 이용할 수 있다.The
홈 어플라이언스(200)는 음성 명령의 수신 및 전처리, 서버 전송까지의 동작을 수행하고, 음성 서버(110)는, 음성/텍스트 변환, 의도분석, 명령 식별 등 자연어 처리 과정을 수행할 수 있다.The
음성 서버(110)가 자연어 처리를 수행함으로써, 홈 어플라이언스 내부 임베디드 모듈의 CPU, 메모리 등의 부담을 감소시킬 수 있다.By performing the natural language processing by the
한편, 연계 서비스 서버(120)는 외부 서비스 및 가전 제어 서버(130)와 통신하여 사용자의 음성 명령에 기초한 동작을 수행할 수 있다.Meanwhile, the
한편, 홈 어플라이언스(200)는 음성 서버(110)로부터 음원 파일을 포함하는 음성 데이터를 수신하여, 음성 안내 메시지를 오디오로 출력함으로써, 청각적 피드백으로 사용자의 음성 입력에 화답할 수 있다.On the other hand, the
홈 어플라이언스(200)는 음성 서버(110)로부터 음성 파일을 스트리밍으로 전달 받아 사용자에게 음성 안내 메시지를 재생, 출력할 수 있다. 이에 따라 홈 어플라이언스(200)는 다양한 음원 파일을 저장하고 있을 필요가 없다. The
한편, 연계 서비스 서버(120)를 통하여 다른 서버와 충돌하지 않으면서도 다양한 외부 서비스들과의 연계가 가능하다. 또한, 외부 서비스 연동 서버를 통해 의도분석 시 외부 정보를 반영하여 의도분석 성공률을 높일 수 있다.Meanwhile, it is possible to link with various external services without colliding with other servers through the
본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100a)은, 복수의 서버를 통해, 호환성 및 연결성을 확보하고, 최종 제어 명령은 가전 제어 서버(130)를 활용함으로써, 음성 인식 과정과 가전 제어 서버(130)를 통해 와이파이 통신을 이용한 가전 제어 사이의 충돌 및 이동 단말기를 통한 가전 제어와 홈 어플라이언스(200)를 통한 음성 입력에 의한 가전 제어 간 충돌을 막을 수 있다.The speech
본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100a)은, 서버 간 유기적인 연결을 통해 어느 한 서버에 의존하여 특정서버에 부하가 몰리는 것을 줄일 수 있고, 각각의 서버 별 역할이 달라, 특정 서버에서 문제가 생길 경우 동일한 역할을 하는 타 서버와의 연계를 통해 쉽게 대응이 가능하다.The speech
또한, 복수의 서버들을 독립적으로 수시로 업데이트할 수 있어, 성능 개선에 유리하다.In addition, a plurality of servers can be independently updated from time to time, which is advantageous for performance improvement.
도 3b는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 다른 예이다.3B is another example of a speech recognition server system according to an embodiment of the present invention.
도 3b에서 예시된 음성 인식 서버 시스템(100b)은, 도 3a에서 예시된 음성 인식 서버 시스템이 음성 안내 메시지 출력을 위한 음성 데이터가 홈 어플라이언스(200a)로 전송되는 과정을 개선하여 음성 제어 응답 시간을 향상한 것이다.The voice
따라서, 도 3a와 도 3b에서 예시된 음성 인식 서버 시스템은 차이점 이외의 동작은 실질적으로 동일하게 수행할 수 있고, 이하에서는 동일한 부분에 대해서는 간략히 기술한다.Therefore, the speech recognition server system illustrated in FIG. 3A and FIG. 3B can perform substantially the same operations except for the difference, and the same portions will be briefly described below.
도 3b를 참조하면, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템은, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 분석하여 음성 명령을 판별하는 음성 서버(110)를 포함할 수 있다. 3B, a speech recognition server system according to an embodiment of the present invention includes a
또한, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100b)은, 음성 서버(110)로부터 판별한 음성 명령에 대응하는 신호를 수신하고, 판별한 음성 명령에 대응하는 요청 신호를 생성하는 연계 서비스 서버(120)와, 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 홈 어플라이언스(200a)로 송신하는 가전 제어 서버(130)를 더 포함할 수 있다.In addition, the speech
도 3b에서 예시된 음성 인식 서버 시스템은, 홈 어플라이언스(200a)의 요청 없이도, 음성 서버(110)가 음성 명령에 기초하는 처리 결과 정보를 포함하는 음성 데이터를 홈 어플라이언스(200a)로 송신할 수 있다.The voice recognition server system illustrated in FIG. 3B can transmit voice data including processing result information based on a voice command to the
음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식 서버(111), 자동 음성 인식 서버(111)로부터 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리 서버(112), 및, 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여 홈 어플라이언스(200a)로 송신하는 텍스트 음성 변환 서버(113)를 포함할 수 있다.The
본 실시예에서도, 가전 제어 서버(130)는, 홈 어플라이언스(200a)로부터 제어 신호에 대한 응답 신호를 수신하고, 응답 신호에 대응하는 처리 결과 정보를 연계 서비스 서버(120)로 송신할 수 있다.Also in this embodiment, the home
연계 서비스 서버(120)는 음성 서버(110), 더욱 상세하게는 자연어 처리 서버(112)로 처리 결과 정보를 전달할 수 있다.The
이 경우에, 텍스트 음성 변환 서버(113)가 홈 어플라이언스(200a)로 송신하는 음성 데이터는, 처리 결과 정보를 포함할 수 있다.In this case, the voice data transmitted by the text-to-
또한, 연계 서비스 서버(120)는, 판별한 음성 명령에 대응하는 신호에 기초하여 홈 어플라이언스(200a)의 상태 정보를 가전 제어 서버로 요청하고, 가전 제어 서버는, 홈 어플라이언스(200a)의 상태 정보를 연계 서비스 서버(120)로 송신할 수 있다.The
또한, 연계 서비스 서버(120)는, 홈 어플라이언스(200a)의 상태 정보에 기초하여 판별한 음성 명령의 지원이 가능한 경우에, 가전 제어 서버(130)로 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.When it is possible to support the voice command determined based on the state information of the
또는, 연계 서비스 서버(120)는, 홈 어플라이언스(200a)의 상태 정보에 기초하여 판별한 음성 명령의 지원이 불가능한 경우에, 음성 서버(110)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.Alternatively, when it is impossible to support the voice command determined based on the state information of the
예를 들어, 연계 서비스 서버(120)는 자연어 처리 서버(112)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다. For example, the
또한, 자연어 처리 서버(112)는 텍스트 음성 변환 서버(113)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 전달하고, 텍스트 음성 변환 서버(113)는 대응하는 음성 데이터를 생성하여 홈 어플라이언스(200a)로 송신할 수 있다.In addition, the natural
홈 어플라이언스(200a)는 텍스트 음성 변환 서버(113)로부터 음성 데이터를 수신하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.The
실시예에 따라서는, 음성 서버(110)가, 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 예를 들어, 사용자의 음성 명령의 의도를 분석한 자연어 처리 서버(112)가, 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. According to the embodiment, the
이 경우에, 판별한 음성 명령이 지원 불가능한 명령을 포함하고 있는 경우, 자연어 처리 서버(112)가 송신하는 판별한 음성 명령에 기초하는 응답 신호는 판별한 음성 명령이 홈 어플라이언스(200a)가 지원하지 않는 기능임을 알리는 신호일 수 있다.In this case, when the determined voice command includes an instruction that can not be supported, the response signal based on the voice command determined by the natural
홈 어플라이언스(200a)가 동작한 후 제일 마지막으로 음성 안내를 위한 텍스트 음성 변환 서버(113)에 해당 동작에 대한 안내 멘트를 요청할 경우 동작과 안내 멘트 사이에 시간 차가 발생할 수 있다. When the
하지만, 본 발명의 일 실시예에 따르면, 의도분석이 완료되어 동작 요청이 자연어 처리 서버(112)에서 송신될 때, 이와 동시에 텍스트 음성 변환 서버(113)로 정보를 제공해줄 수 있다.However, according to an embodiment of the present invention, when the intention analysis is completed and the operation request is transmitted from the natural
또한, 가전 제어 서버(130)에서 홈 어플라이언스(200a)에 제어 명령을 내리는 시점에 준하여 텍스트 음성 변환 서버(113)에서 홈 어플라이언스(200a)로 안내멘트를 제공할 수 있다.In addition, the text-to-
이에 따라, 홈 어플라이언스(200a) 동작과 동시 또는 바로 후 안내멘트가 발화될 수 있다.Accordingly, the announcement can be made simultaneously or immediately with the operation of the
본 실시예에 따르면, 자연어 처리 서버(112)와 텍스트 음성 변환 서버(113)를 바로 연결함으로써, 가전 제어 서버(130)를 통한 제어명령과 안내멘트 사이의 시간 차를 최소화할 수 있다.According to the present embodiment, by directly connecting the natural
한편, 도 3a와 도 3b에서는 홈 어플라이언스(200)로 공기조화기(200a)를 예시하여 설명하였지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 홈 어플라이언스(200)에는 공기조화기(200a) 외에 로봇청소기(200b), 냉장고(200c), 세탁기(200d), 조리기기(200e) 등이 해당될 수 있다.3A and 3B, the
한편, 본 발명의 일 측에 따르면, 도 3a와 도 3b과 달리, 음성 인식 및 처리를 위한 자동 음성 인식 서버(111), 자연어 처리 서버(112), 텍스트 음성 변환 서버(113)는 하나의 통합 서버로 구성될 수 있다.3A and 3B, an automatic
또한, 실시예에 따라서는, 연계 서비스 서버(120)와 가전 제어 서버(130)는 하나의 통합 서버로 구성될 수 있다.Also, according to an embodiment, the
본 발명에 따르면, 음성 입력에 따라 홈 어플라이언스가 동작함으로써, 사용자가 리모콘 등 원격제어장치, 이동 단말기 등을 조작할 필요가 없어, 사용자 편의성을 증대시킬 수 있다.According to the present invention, since the home appliance operates according to the voice input, it is not necessary for the user to operate the remote control device such as the remote controller, the mobile terminal, etc., and the user convenience can be increased.
또한, 도 3a와 도 3b를 참조하여 설명한 것과 같이, 본 발명은 복수의 서버를 이용하여, 사용자의 자연어 음성 명령을 인식하고, 대응하는 제어 동작을 수행함으로써, 홈 어플라이언스, 각 서버의 시스템 자원에 제한되지 않고 효율적으로 자연어를 인식, 처리할 수 있다.As described with reference to FIGS. 3A and 3B, the present invention recognizes a user's natural language voice command using a plurality of servers, and performs a corresponding control operation so that the system resources of the home appliance, Natural language can be recognized and processed efficiently without limitation.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 신호 흐름을 예시한 도면으로, 도 3a에 예시된 음성 인식 서버 시스템의 신호 흐름을 예시한 도면이다.FIGS. 4 to 6 are diagrams illustrating a signal flow of a speech recognition server system according to an embodiment of the present invention, which illustrates a signal flow of a speech recognition server system illustrated in FIG. 3A.
도 4는 사용자의 음성 명령에 따라 홈 어플라이언스가 동작하는 통상적인 상황에서의 신호 흐름을 예시한다.4 illustrates signal flow in a typical situation in which the home appliance operates in response to a user's voice command.
이하에서는 홈 어플라이언스(200)로 공기조화기(200a)를 예시하여 설명하지만, 본 발명은 이에 한정되지 않는다.Hereinafter, the
도 4를 참조하면, 본 발명의 일 실시예에 따른 홈 어플라이언스(200), 예를 들어, 공기조화기(200a)는, 사용자의 음성 명령을 수신할 수 있고(S410), 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S420). Referring to FIG. 4, the
예를 들어, 공기조화기(200a)는, 사용자가 "LG 휘센, 온도 18도로 해"와 같이 온도 설정을 변경하는 명령을 수신하면, 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여, 자동 음성 인식 서버(111)로 송신할 수 있다.For example, when the user receives an instruction to change the temperature setting such as " LG Whishen,
한편, 공기조화기(200a)는, 호출어를 포함하는 웨이크 업 신호를 수신한 후, 명령어 입력을 대기하다가 입력되는 음성 명령을 음성 서버(110)로 송신할 수 있다.On the other hand, after receiving the wake up signal including the caller, the
또는, 공기조화기(200a)는 호출어 및 음성 명령을 포함하는 연속적인 음성 입력을 수신할 수 있다. 이 경우에, 공기조화기(200a)는, 호출어를 인식하고, 음성 명령을, 음성 서버(110)로 송신할 수 있다.Alternatively, the
한편, 시스템(10) 내부에서 기기 상호 간에 통신할 때, 송수신하는 신호는, 주고받는 메인 데이터 외에, 각 기기의 식별(ID) 정보, 수행하는 작업(task)에 대한 세션(session) 값 등을 더 포함할 수 있다.Meanwhile, when communicating with each other in the
자동 음성 인식 서버(111)는, 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S431), 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S433).The automatic
자연어 처리 서버(112)는, 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S441).The natural
예를 들어, 자연어 처리 서버(112)는, "LG 휘센, 온도 18도로 해"에서 사용자가 공기조화기(200a)의 설정 온도를 18도로 변경하라는 의도의 음성 명령을 판별할 수 있다.For example, the natural
자연어 처리 서버(112)는, 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로, 송신할 수 있다(S443).The natural
연계 서비스 서버(120)가, 가전 제어 서버(130)로 공기조화기(200a)의 현재 상태 정보를 요청하면(S451), 가전 제어 서버(130)는, 공기조화기(200a)의 현재 상태 정보를 조회하여(S453), 연계 서비스 서버(120)로 공기조화기(200a)의 현재 상태 정보를 송신할 수 있다(S455).When the
만약, 가전 제어 서버(130)가, 공기조화기(200a)의 현재 상태 정보를 가지고 있지 않다면, 가전 제어 서버(130)는, 공기조화기(200a)로 현재 상태 정보를 요청하여 수신할 수 있다.If the home
한편, 연계 서비스 서버(120)는, 상태 정보를 수신한 이후, 판별한 음성 명령에 따라, 해당 공기조화기(200a)의 설정 온도를 18도로 변경하라는 요청 신호를 가전 제어 서버(130)로 송신할 수 있다(S461).On the other hand, after receiving the status information, the
가전 제어 서버(130)는, 요청 신호에 기초하여, 제어 신호를 생성, 공기조화기(200a)로 송신함으로써, 공기조화기(200a)를 제어할 수 있다(S463).The home
또한, 가전 제어 서버(130)는, 공기조화기(200a)의 제어 후, 홈 어플라이언스로부터 제어 신호에 대한 응답 신호를 수신하고, 요청에 대한 동작이 성공했음을 알리는 처리 결과 정보를 연계 서비스 서버(120)로 송신할 수 있다(S465).After the control of the
연계 서비스 서버(120)는, "에어컨 온도를 18도로 설정합니다" 등 처리 결과 정보에 대응하는 신호를 자연어 처리 서버(112)로 송신할 수 있고(S470), 자연어 처리 서버(112)는 판별한 사용자의 음성 명령에 기초하는 응답 신호를 홈 어플라이언스(200a)로 송신할 수 있다(S481). 여기서, 판별한 사용자의 음성 명령에 기초하는 응답 신호는 처리 결과 정보를 포함할 수 있다.The
한편, 홈 어플라이언스(200a)는 응답 신호에 대응하는 텍스트(출력 문구)를 포함하는 신호를 송신하고(S483), 이를 수신한 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여(S485), 홈 어플라이언스(200a)로 송신할 수 있다(S487).On the other hand, the
홈 어플라이언스(200a)는 수신한 음성 데이터에 기초하여 "에어컨 온도를 18도로 설정합니다" 등 음성 안내 메시지를 출력할 수 있다(S490).The
도 5는 해당 홈 어플라이언스의 미지원 기능을 요청하는 경우에 신호 흐름을 예시한다.FIG. 5 illustrates signal flow when requesting a non-serving function of the home appliance.
도 5를 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는, "LG 휘센, 빨래 시작" 등 공기조화기(200a)가 지원하지 않는 빨래 기능에 대한 사용자의 음성 명령을 수신할 수 있다(S510).5, the
공기조화기(200a)는, 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S520). 공기조화기(200a)는, 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.The
자동 음성 인식 서버(111)는, 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S531), 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S533).The automatic
자연어 처리 서버(112)는, 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S541).The natural
또한, 자연어 처리 서버(112)는, 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 본 실시예에서, 자연어 처리 서버(112)는, 공기조화기(200a)가 지원하지 않는 빨래 기능을 사용자가 요청했음을 판별할 수 있다.Further, the natural
이후, 자연어 처리 서버(112)는, 공기조화기(200a)로 판별한 음성 명령이 홈 어플라이언스가 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S543).Thereafter, the natural
한편, 홈 어플라이언스(200a)는, 응답 신호에 대응하는 텍스트(출력 문구)를 포함하는 신호를 송신하고(S551), 이를 수신한 텍스트 음성 변환 서버(113)는, 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여(S553), 홈 어플라이언스(200a)로 송신할 수 있다(S555).On the other hand, the
홈 어플라이언스(200a)는 수신한 음성 데이터에 기초하여 "지원하지 않는 기능입니다" 등 음성 안내 메시지를 출력할 수 있다(S560).The
도 6은 해당 홈 어플라이언스의 현재 동작 모드에서 미지원 기능을 요청하는 경우에 신호 흐름을 예시한다.6 illustrates signal flow when requesting a non-serving function in the current operating mode of the home appliance.
도 6을 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는 "LG 휘센, 쿨파워 시작해" 등 공기조화기(200a)의 특정 모드 운전을 지시하는 사용자의 음성 명령을 수신할 수 있다(S610).Referring to FIG. 6, the
공기조화기(200a)는, 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S620). 공기조화기(200a)는, 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.The
자동 음성 인식 서버(111)는, 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S631), 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S633).The automatic
자연어 처리 서버(112)는, 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S641).The natural
예를 들어, 자연어 처리 서버(112)는, "LG 휘센, 쿨파워 시작해"에서 사용자가 공기조화기(200a)를 쿨파워 모드로 운전하라는 의도의 음성 명령을 판별할 수 있다.For example, the natural
자연어 처리 서버(112)는, 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다(S643).The natural
연계 서비스 서버(120)가, 가전 제어 서버(130)로 공기조화기(200a)의 현재 상태 정보를 요청하면(S651), 가전 제어 서버(130)는, 공기조화기(200a)의 현재 상태 정보를 조회하여(S653), 연계 서비스 서버(120)로 공기조화기(200a)의 현재 상태 정보를 송신할 수 있다(S655).When the
만약 가전 제어 서버(130)가, 공기조화기(200a)의 현재 상태 정보를 가지고 있지 않다면, 가전 제어 서버(130)는, 공기조화기(200a)로 현재 상태 정보를 요청하여 수신할 수 있다.If the home
한편, 연계 서비스 서버(120)는, 상태 정보를 수신한 이후, 공기조화기(200a)의 현재 상태 정보를 기준으로 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다(S657). Meanwhile, after receiving the status information, the
예를 들어, 현재 공기조화기(200a)가 제습 모드로 운전 중이고, 쿨파워 모드는 냉방 모드에서만 지원되는 경우에, 자연어 처리 서버(112)는, 현재 상태에서 지원하지 않는 쿨파워 모드를 사용자가 요청했음을 판별할 수 있다.For example, when the
이후, 연계 서비스 서버(120)는, 자연어 처리 서버(112)로 판별한 음성 명령이 홈 어플라이언스(200a)가 현재 상태에서 지원하지 않는 기능임을 알리는 응답 신호를, 송신할 수 있다(S660).Thereafter, the
또한, 자연어 처리 서버(112)는, 판별한 음성 명령이 홈 어플라이언스(200a)로 현재 상태에서 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S671).In addition, the natural
한편, 홈 어플라이언스(200a)는, 응답 신호에 대응하는 텍스트(출력 문구)를 포함하는 신호를 송신하고(S673), 이를 수신한 텍스트 음성 변환 서버(113)는, 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여(S675), 홈 어플라이언스(200a)로 송신할 수 있다(S677).On the other hand, the
홈 어플라이언스(200a)는 수신한 음성 데이터에 기초하여 "쿨파워는 냉방모드에서만 지원됩니다" 등 음성 안내 메시지를 출력할 수 있다(S680).The
도 7 내지 도 9는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 신호 흐름을 예시한 도면으로, 도 3b에 예시된 음성 인식 서버 시스템의 신호 흐름을 예시한 도면이다.7 to 9 are diagrams illustrating a signal flow of a speech recognition server system according to an embodiment of the present invention, and are a diagram illustrating a signal flow of a speech recognition server system illustrated in FIG. 3B.
도 7은 사용자의 음성 명령에 따라 홈 어플라이언스가 동작하는 통상적인 상황에서의 신호 흐름을 예시한다.7 illustrates a signal flow in a typical situation in which the home appliance operates according to a user's voice command.
도 7을 참조하면, 본 발명의 일 실시예에 따른 홈 어플라이언스(200), 예를 들어, 공기조화기(200a)는 사용자의 음성 명령을 수신할 수 있고(S710), 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S720). 7, the
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S731), 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S733).The automatic
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S741).The natural
예를 들어, 자연어 처리 서버(112)는 "LG 휘센, 온도 18도로 해"에서 사용자가 공기조화기(200a)의 설정 온도를 18도로 변경하라는 의도의 음성 명령을 판별할 수 있다.For example, the natural
자연어 처리 서버(112)는 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다(S743).The natural
연계 서비스 서버(120)가 가전 제어 서버(130)로 공기조화기(200a)의 현재 상태 정보를 요청하면(S751), 가전 제어 서버(130)는 공기조화기(200a)의 현재 상태 정보를 조회하여(S753), 연계 서비스 서버(120)로 공기조화기(200a)의 현재 상태 정보를 송신할 수 있다(S755).When the
만약 가전 제어 서버(130)가 공기조화기(200a)의 현재 상태 정보를 가지고 있지 않다면, 가전 제어 서버(130)는 공기조화기(200a)로 현재 상태 정보를 요청하여 수신할 수 있다.If the home
한편, 상태 정보를 수신한 연계 서비스 서버(120)는 판별한 음성 명령에 따라 해당 공기조화기(200a)의 설정 온도를 18도로 변경하라는 요청 신호를 가전 제어 서버(130)로 송신할 수 있다(S761).On the other hand, upon receiving the status information, the
가전 제어 서버(130)는, 요청 신호에 기초하여, 제어 신호를 생성, 공기조화기(200a)로 송신함으로써, 공기조화기(200a)를 제어할 수 있다(S763).The home
또한, 가전 제어 서버(130)는, 공기조화기(200a)의 제어 후 홈 어플라이언스로부터 제어 신호에 대한 응답 신호를 수신하고, 요청에 대한 동작이 성공했음을 알리는 처리 결과 정보를 연계 서비스 서버(120)로 송신할 수 있다(S765).The home
연계 서비스 서버(120)는, "에어컨 온도를 18도로 설정합니다" 등 처리 결과 정보에 대응하는 신호를 자연어 처리 서버(112)로 송신할 수 있다(S770).The linking
한편, 자연어 처리 서버(112)는 판별한 사용자의 음성 명령에 기초하는 응답 신호를 텍스트 음성 변환 서버(113)로 송신할 수 있다(S781). 여기서, 판별한 사용자의 음성 명령에 기초하는 응답 신호는 처리 결과 정보를 포함할 수 있다.On the other hand, the natural
한편, 텍스트 음성 변환 서버(113)는 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여(S783), 홈 어플라이언스(200a)로 송신할 수 있다(S785).On the other hand, the text-to-
홈 어플라이언스(200a)는 수신한 음성 데이터에 기초하여 "에어컨 온도를 18도로 설정합니다" 등 음성 안내 메시지를 출력할 수 있다(S790).The
도 8은 해당 홈 어플라이언스의 미지원 기능을 요청하는 경우에 신호 흐름을 예시한다.FIG. 8 illustrates a signal flow when requesting a non-supported function of the home appliance.
도 8을 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는 "LG 휘센, 빨래 시작" 등 공기조화기(200a)가 지원하지 않는 빨래 기능에 대한 사용자의 음성 명령을 수신할 수 있다(S810).Referring to FIG. 8, the
공기조화기(200a)는 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S820). 공기조화기(200a)는 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.The
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S831), 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S833).The automatic
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S841).The natural
또한, 자연어 처리 서버(112)는 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 본 실시예에서는, 자연어 처리 서버(112)는 공기조화기(200a)가 지원하지 않는 빨래 기능을 사용자가 요청했음을 판별할 수 있다.In addition, the natural
이후, 자연어 처리 서버(112)는 텍스트 음성 변환 서버(113)로 판별한 음성 명령이 홈 어플라이언스가 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S843).Thereafter, the natural
텍스트 음성 변환 서버(113)는 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여(S845), 홈 어플라이언스(200a)로 송신할 수 있다(S847).The text-to-
홈 어플라이언스(200a)는 수신한 음성 데이터에 기초하여 "지원하지 않는 기능입니다" 등 음성 안내 메시지를 출력할 수 있다(S850).The
도 9는 해당 홈 어플라이언스의 현재 동작 모드에서 미지원 기능을 요청하는 경우에 신호 흐름을 예시한다.FIG. 9 illustrates signal flow when requesting a non-serving function in the current operating mode of the home appliance.
도 9를 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는 "LG 휘센, 쿨파워 시작해" 등 공기조화기(200a)의 특정 모드 운전을 지시하는 사용자의 음성 명령을 수신할 수 있다(S910).Referring to FIG. 9, the
공기조화기(200a)는 수신된 사용자의 음성 명령을 음성 서버(110)로 송신할 수 있다(S920). 공기조화기(200a)는 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성 인식 서버(111)로 송신할 수 있다.The
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고(S931), 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S933).The automatic
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다(S941).The natural
예를 들어, 자연어 처리 서버(112)는 "LG 휘센, 쿨파워 시작해"에서 사용자가 공기조화기(200a)를 쿨파워 모드로 운전하라는 의도의 음성 명령을 판별할 수 있다.For example, the natural
자연어 처리 서버(112)는 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다(S943).The natural
연계 서비스 서버(120)가 가전 제어 서버(130)로 공기조화기(200a)의 현재 상태 정보를 요청하면(S951), 가전 제어 서버(130)는 공기조화기(200a)의 현재 상태 정보를 조회하여(S953), 연계 서비스 서버(120)로 공기조화기(200a)의 현재 상태 정보를 송신할 수 있다(S955).When the
만약 가전 제어 서버(130)가 공기조화기(200a)의 현재 상태 정보를 가지고 있지 않다면, 가전 제어 서버(130)는 공기조화기(200a)로 현재 상태 정보를 요청하여 수신할 수 있다.If the home
한편, 상태 정보를 수신한 연계 서비스 서버(120)는 공기조화기(200a)의 현재 상태 정보를 기준으로 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다(S957). 예를 들어, 현재 공기조화기(200a)가 제습 모드로 운전 중이고, 쿨파워 모드는 냉방 모드에서만 지원되는 경우에, 자연어 처리 서버(112)는 현재 상태에서 지원하지 않는 쿨파워 모드를 사용자가 요청했음을 판별할 수 있다.On the other hand, the
이후, 연계 서비스 서버(120)는 자연어 처리 서버(112)로 판별한 음성 명령이 홈 어플라이언스(200a)가 현재 상태에서 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S960).Thereafter, the
또한, 자연어 처리 서버(112)로 판별한 음성 명령이 텍스트 음성 변환 서버(113)로 현재 상태에서 지원하지 않는 기능임을 알리는 응답 신호를 송신할 수 있다(S971).In addition, a response signal indicating that the voice command determined by the natural
한편, 텍스트 음성 변환 서버(113)는, 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여(S973), 홈 어플라이언스(200a)로 송신할 수 있다(S975).On the other hand, the text-to-
홈 어플라이언스(200a)는 수신한 음성 데이터에 기초하여 "쿨파워는 냉방모드에서만 지원됩니다" 등 음성 안내 메시지를 출력할 수 있다(S980).The
본 발명에 따르면, 사용자의 명령을 이해 못한 경우,제공할 수 없는 기능인 경우 등에 대하여 적합한 음성 안내를 제공하는 사용자 경험을 구현할 수 있다.According to the present invention, it is possible to implement a user experience that provides appropriate voice guidance for cases in which a command of a user is not understood or a function that can not be provided.
명령 처리 중 발생하는 각각의 상황과 시점에 맞는 안내 멘트를 제공함으로써, 사용자의 불편함을 최소화할 수 있다.By providing an announcement tailored to each situation and time occurring during command processing, the inconvenience of the user can be minimized.
도 10은 본 발명의 일 실시예에 따른 서버의 내부 블록도의 일예를 도시한 도면으로, 서버는, 자동 음성 인식 서버(111), 자연어 처리 서버(112), 텍스트 음성 변환 서버(113), 연계 서비스 서버(120), 가전 제어 서버(130)일 수 있다.10 is a block diagram of an internal block diagram of a server according to an embodiment of the present invention. The server includes an automatic
도 10을 참조하면, 서버는, 통신 모듈(1020), 저장부(1030), 및 프로세서(1010)를 구비할 수 있다.Referring to FIG. 10, the server may include a
프로세서(1010)는, 서버의 전반적인 동작을 제어할 수 있다.The
통신 모듈(1020)은, 이동 단말기, 공기조화기 등 홈 어플라이언스, 다른 서버 등으로부터 상태 정보, 동작 정보, 조작 정보, 음성 데이터, 문자 데이터 등 각종 데이터를 수신할 수 있다. The
그리고 통신 모듈(1020)은 수신되는 각종 정보에 대응하는 데이터를 그대로 또는 소정 처리 후에 이동 단말기, 공기조화기 등 홈 어플라이언스, 다른 서버 등으로 송신할 수 있다.The
이를 위해, 통신 모듈(1020)은 인터넷 모듈, 이동 통신 모듈 등 하나 이상의 통신 모듈을 구비할 수 있다.To this end, the
저장부(1030)는, 수신되는 정보를 저장하고, 이에 대응하는 결과 정보 생성을 위한 데이터를 구비할 수 있다.The
저장부(1030)는 해당 서버의 동작을 위한 데이터가 저장될 수 있다. 예를 들어, 저장부(1030)에는, 자동 음성 인식 서버(111)의 경우 자동 음성 인식 알고리즘 등이 저장되고, 가전 제어 서버(130)의 경우 홈 어플라이언스의 제품 정보, 상태 정보, 홈 어플라이언스의 제어를 위한 데이터가 저장될 수 있다.The
한편, 서버는, 공기조화기 등 홈 어플라이언스 제조사가 운영하는 서버 또는 서비스 제공자가 운영하는 서버일 수 있고, 일종의 클라우드(Cloud) 서버일 수 있다.Meanwhile, the server may be a server operated by a home appliance manufacturer such as an air conditioner or a server operated by a service provider, or may be a kind of a cloud server.
도 11은 본 발명의 일 실시예에 따른 홈 어플라이언스의 내부 블록도의 일예를 도시한 도면이다. 11 is a block diagram illustrating an example of an internal block diagram of a home appliance according to an embodiment of the present invention.
도 11을 참조하면, 본 발명의 일 실시예에 따른 홈 어플라이언스(200)는, 카메라(210), 사용자의 음성 명령을 수신하는 오디오 입력부(220), 조작부(230), 각종 데이터를 저장하는 메모리(250), 다른 전자기기와 무선 통신하는 통신부(270), 각 홈 어플라이언스에 구현된 동작을 수행하는 구동부(280), 소정 정보를 영상으로 표시하는 디스플레이(292), 소정 정보를 오디오로 출력하는 오디오 출력부(291), 및, 전반적인 동작을 제어하는 제어부(240)를 포함할 수 있다.11, a
오디오 입력부(220)는, 외부의 오디오 신호, 사용자 음성 명령을 입력받을 수 있다. 이를 위해, 오디오 입력부(220)는, 하나 이상의 마이크(MIC)를 구비할 수 있다. 또한, 사용자의 음성 명령을 더 정확히 수신하기 위하여 오디오 입력부(220)는 복수의 마이크(221, 222)를 구비할 수 있다. 복수의 마이크(221, 222)는, 서로 다른 위치에 이격되어 배치될 수 있고, 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다. The
도 11 등에서는 오디오 입력부(220)가 제1 마이크(221)와 제2 마이크(222)의 2개의 마이크를 구비하는 예를 도시하였으나, 본 발명은 이에 한정되지 않는다.11 and the like, the
오디오 입력부(220)는 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성 명령을 제어부(240) 또는 소정 서버에서 인식할 수 있도록 데이터화할 수 있다. The
한편, 오디오 입력부(220)는 사용자의 음성 명령을 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.Meanwhile, the
또한, 오디오 입력부(220)는 각 마이크(221, 222)에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다.The
메모리(250)는 홈 어플라이언스의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.The
한편, 메모리(250)에는 음성 인식을 위한 데이터가 저장될 수 있고, 제어부(240)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다. Meanwhile, the
한편, 간단한 음성 인식은 홈 어플라이언스(200)가 수행하고, 자연어 처리 등 고차원의 음성 인식은 음성 인식 서버 시스템(100)에서 수행될 수 있다.Meanwhile, a simple speech recognition may be performed by the
예를 들어, 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에, 홈 어플라이언스(200)는 음성 명령어를 수신하기 위한 상태로 전환될 수 있다. 이 경우에, 홈 어플라이언스(200)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 서버 시스템(100)을 통하여 수행할 수 있다. For example, in the case where a wake up voice signal including a preset caller is received, the
홈 어플라이언스이 시스템 자원에는 한계가 있으므로, 복잡한 자연어 인식 및 처리는 음성 인식 서버 시스템(100)을 통하여 수행될 수 있다.Home appliances Because there is a limit to these system resources, complex natural language recognition and processing can be performed through the speech
메모리(250)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 메모리(250)에는 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식하기 위한 데이터가 저장될 수 있다. 이 경우에, 제어부(240)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호로부터 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식할 수 있다. Limited data may be stored in the
한편, 호출어는 제조사에 의해 설정될 수 있고, 홈 어플라이언스 별로 다른 호출어가 설정될 수 있다. 예를 들어, 공기조화기의 경우에는 "LG 휘센", 냉장고의 경우에는 "LG 디오스"가 호출어로 설정될 수 있다.On the other hand, the caller can be set by the manufacturer, and another caller can be set for each home appliance. For example, " LG whisen " in the case of an air conditioner and " LG dios " in the case of a refrigerator may be set as an invocation word.
또한, 호출어는 사용자에 의해 설정 변경이 가능하다. In addition, the caller can be changed by the user.
제어부(240)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성 명령을, 통신부(270)를 통하여, 음성 인식 서버 시스템(100)에 송신하도록 제어할 수 있다. The
통신부(270)는, 하나 이상의 통신 모듈을 구비하여, 다른 전자기기와, 무선 통신을 수행하여, 각종 신호를 주고 받을 수 있다. 예를 들어, 통신부(270)는 마트 홈 시스템(10) 내/외부의 전자기기들과 통신할 수 있다. The
또한, 통신부(270)는 억세스 포인트 장치(300)와 통신하고, 억세스 포인트 장치(300)를 통하여 무선 인터넷 네트워크에 접속하여 다른 기기들과 통신할 수 있다.The
또한, 제어부(240)는 통신부(270)를 통해 홈 어플라이언스(200)의 상태 정보, 사용자의 음성 명령 등을 음성 인식 서버 시스템(100) 등으로 전송할 수 있다. The
한편, 통신부(270)를 통하여 제어 신호가 수신되면, 제어부(240)는 수신되는 제어 신호에 따라 동작하도록 홈 어플라이언스(200)를 제어할 수 있다.Meanwhile, when a control signal is received through the
디스플레이(292)는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시할 수 있다.The
실시예에 따라서는, 디스플레이(292)는, 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 디스플레이(292)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다. According to an embodiment, the
또한, 오디오 출력부(291)는, 제어부(240)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 오디오로 출력할 수 있다. The
한편, 오디오 출력부(291)는, 제어부(240)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.On the other hand, the
구동부(280)는 홈 어플라이언스에 구현된 동작을 수행하는 것으로, 각 홈 어플라이언스별로 다르게 구성될 수 있다.The driving
예를 들어, 홈 어플라이언스가 냉장고인 경우, 구동부(280)는, 냉장실에 냉각된 공기를 공급하기 위한 냉장실 팬을 동작시키는 냉장실 구동부, 냉동실에 냉각된 공기를 공급하기 위한 냉동실 팬을 동작시키는 냉동실 구동부, 냉매를 압축하기 위한 압축기를 동작시키는 압축기 구동부 등을 포함할 수 있다. For example, when the home appliance is a refrigerator, the driving
다른 예로, 홈 어플라이언스가 세탁기인 경우, 구동부(280)는, 드럼 또는 터브를 구동하는 구동부 등을 포함할 수 있다. As another example, when the home appliance is a washing machine, the driving
또, 다른 예로, 홈 어플라이언스가 공기조화기인 경우, 구동부(280)는, 실외기 내의 압축기를 구동하기 위한 압축기 구동부, 열교환을 위한 실외기 팬을 동작시키는 실외기 팬 구동부, 열교환을 위한 실내기팬을 동작시키는 실내기 팬 구동부 등을 포함할 수 있다.As another example, when the home appliance is an air conditioner, the driving
또, 다른 예로, 홈 어플라이언스가 조리기기인 경우, 구동부(280)는, 캐비티 내로 마이크로웨이브를 출력하는 마이크로웨이브 구동부 등을 포함할 수 있다. As another example, when the home appliance is a cooker, the driving
또, 다른 예로, 홈 어플라이언스가 청소기인 경우, 구동부(280)는, 공기 흡입을 위한 팬 모터 구동부 등을 포함할 수 있다. As another example, when the home appliance is a cleaner, the driving
한편, 홈 어플라이언스(200)는 사용자 입력을 위한 조작부(230), 홈 어플라이언스(200) 주변 소정 범위를 촬영할 수 있는 카메라(210)를 더 포함할 수 있다. The
조작부(230)는, 복수의 조작 버튼을 구비하여, 입력되는 버튼에 대응하는 신호를 제어부(240)로 전달할 수 있다.The
카메라(210)는 홈 어플라이언스(200) 주변, 외부 환경 등을 촬영하는 것으로, 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. The
예를 들어, 카메라(210)는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광 다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지 센서(예를 들어, CMOS image sensor)와, 광 다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.For example, the
한편, 카메라(210)가 촬영하여 획득된 영상은 메모리(250)에 저장될 수 있다.Meanwhile, the image captured by the
도 12는 본 발명의 일 실시예에 따른 공기조화기의 내부 블록도의 일부를 도시한 도면이고, 도 13과 도 14는 본 발명의 일 실시예에 따른 공기조화기의 외관을 간략히 도시한 도면이다.FIG. 12 is a view showing a part of an internal block diagram of an air conditioner according to an embodiment of the present invention, and FIGS. 13 and 14 are views schematically showing an appearance of an air conditioner according to an embodiment of the present invention to be.
더욱 상세하게는, 도 12는 도 11에 예시된 홈 어플라이언스가 도 13과 도 14에 예시된 공기조화기(200a)인 경우에, 공기조화기(200a)의 구동부(280a)에 포함되는 베인 구동부(1210)와 팬 구동부(1220)를 예시한다.12 is a view showing a state in which the home appliance illustrated in Fig. 11 is the
도 13과 도 14는 본 발명의 일 실시예에 따른 공기조화기의 실내기 외관을 간략히 도시한 도면이다.FIG. 13 and FIG. 14 are views briefly showing an appearance of an indoor unit of an air conditioner according to an embodiment of the present invention.
도 11 내지 도 14를 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는, 사용자의 음성 명령을 수신하는 마이크(221, 222), 다른 전자기기와 무선 통신하는 통신부(270), 전반적인 동작을 제어하는 제어부(240), 및, 제어부(240)의 제어에 따라 베인을 구동하는 베인 구동부(1210)를 포함할 수 있다.11 to 14, an
또한, 본 발명의 일 실시예에 따른 공기조화기(200a)는, 제어부(240)의 제어에 따라 팬을 구동하는 팬 구동부(1220)를 더 포함할 수 있다.In addition, the
마이크(221, 222)는 외부의 오디오 신호, 사용자 음성 명령을 입력받을 수 있다. 또한 마이크(221, 222)는 외부의 오디오 신호, 사용자 음성 명령을 획득하여 전기적인 신호로 처리할 수 있다. The
본 실시예의 공기조화기(200a)는 공기흡입구(미도시)가 형성된 흡입바디(202), 공기흡입구로 흡입된 공기가 통과하는 열교환기(미도시), 공기흡입구로 공기를 흡입하여 열교환기를 통과시킨 후 송풍하는 팬(미도시), 공기가 다시 실내로 토출되도록 형성된 토출구(207R, 207U, 207D)가 형성될 수 있다.The
또한, 토출구(207R, 207U, 207D)에는, 토출구(190)를 개폐시키고, 토출되는 공기의 풍향을 조절하는 루버(미도시) 및/또는 베인(261R, 261L, 261U, 261D) 등 풍향 조절 수단이 배치되고, 제어부(240)의 제어에 따라 모터 등을 구동하여 풍향 조절 수단의 각도 및 방향을 전환할 수 있다. 이에 따라, 토출구(207R, 207U, 207D)를 통해 토출되는 공기의 풍향을 조절할 수 있다. 또한, 풍향 조절 수단의 동작을 제어함으로써, 기류의 송풍방향, 송풍범위 등을 조절할 수 있다.The
예를 들어, 베인(261R, 261L, 261U, 261D)을 어느 한 방향을 향하도록 고정시켜 어느 한 방향으로의 송풍이 이루어지도록 할 수도 있고, 베인의 방향이 설정된 범위 내에서 계속해서 변화되는 동작(이하 "스윙동작"이라 한다)이 실시되도록 함으로써 설정된 범위 내에서 송풍방향을 계속해서 변화시키는 형태로 설정된 범위에 대한 송풍이 이루어지도록 할 수도 있다. 또한, 베인(261R, 261L, 261U, 261D)의 스윙동작이 이루어지는 각도 범위를 조절함으로써 송풍이 이루어지는 범위를 조금 더 좁히거나 넓힐 수도 있다.For example, the
한편, 공기조화기 내부에는 흡입구로 흡입된 실내의 공기가 토출구(207R, 207U, 207D)를 통해 실내 공간으로 배출되는 흐름을 제어하기 위한 팬이 설치되어 있는데, 팬은 팬 구동부(1220)에 의해 회전이 조절되고, 팬 구동부(1220)의 작동은 제어부(240)에 의해 제어된다.Meanwhile, the inside of the air conditioner is provided with a fan for controlling the flow of indoor air sucked into the indoor air through the
따라서, 제어부(240)는 베인 구동부(1210) 및 팬 구동부(1220)를 제어하여 공기조화기(200a)로부터 토출되는 공기의 흐름(기류)의 방향을 제어할 수 있다. 제어부(240)는 팬 모터의 속도를 제어하여 기류의 양과 속도를 제어하고, 루버, 베인 등 풍향 조절 수단을 제어하여 기류의 방향을 제어할 수 있다.Accordingly, the
한편, 공기조화기는 복수의 베인(261R, 261L, 261U, 261D)을 포함할 수 있다. 또한, 복수의 베인(261R, 261L, 261U, 261D) 중 적어도 일부는 상이한 방식으로 동작할 수 있다.On the other hand, the air conditioner may include a plurality of
예를 들어, 상측 베인(261U)은 팬의 상부에 승강 가능하게 배치되어 동작시 승강하여 구동할 수 있다. 이를 위해, 공기조화기(200a)는 상측 베인(261U)을 승강시키는 승강 기구(1211)를 포함할 수 있다. For example, the
또한, 상측 베인(261U)은 상승하여 공기 토출구(207U)를 통하여 팬에서 송풍된 공기 중 적어도 일부를 실내로 토출하는 상부 토출바디로 기능할 수 있다.The
흡입바디(202)는 베이스(201) 상측에 설치될 수 있다. 흡입바디(202)는 베이스(201)와 함께 공기조화기의 배면측 외관을 형성할 수 있다. 흡입바디(202)는 공기조화기의 배면 상부 외관을 형성할 수 있다. 흡입바디(202)는 베이스(201)와 함께 공기조화기의 리어 케이스를 구성할 수 있고, 흡입바디(202)는 공기조화기의 리어 어퍼 케이스일 수 있으며, 베이스(201)는 공기조화기의 리어 로어 케이스일 수 있다. The
베이스(201)에는 공기조화기의 각종 전장부품을 제어하는 제어부(240)가 설치될 수 있다. 여기서, 공기조화기의 각종 전장부품은 팬 등을 포함할 수 있다. 베이스(201)에는 베이스(201)의 전방에 배치되는 베이스 커버(225)가 설치될 수 있다.A
공기조화기는 공기를 청정시키는 정화유닛(미도시)을 더 포함할 수 있다. 정화유닛은 흡입바디(202)에 배치될 수 있다. 정화유닛은 공기유동 방향으로 열교환기 이전에 배치될 수 있다. 정화유닛은 흡입바디(202)와 열교환기 사이에 배치되는 것이 가능하고, 흡입바디(202)의 후방에 배치되는 것이 가능하다. 정화유닛은 공기 중의 이물질이 걸러지는 필터를 포함할 수 있다. 정화유닛은 공기에 이온을 발생시키는 이온발생기를 포함할 수 있다. 정화유닛은 공기 중의 이물질을 방전시켜 집진하는 전기집진기를 포함할 수 있다. 정화유닛은 필터와 이온발생기와 전기집진기 중 적어도 하나를 포함할 수 있다. The air conditioner may further include a purifying unit (not shown) for purifying the air. The purifying unit may be disposed in the
열교환기는 공기흡입구 전방에 위치될 수 있다. 열교환기는 공기흡입구로 흡입된 공기를 냉매와 열교환할 수 있다. 열교환기는 공기흡입구와 팬의 사이에 위치되게 설치될 수 있다.The heat exchanger may be located in front of the air inlet. The heat exchanger can heat-exchange the air sucked into the air inlet with the refrigerant. The heat exchanger may be installed between the air inlet and the fan.
공기조화기는 실외기에 설치된 압축기의 구동시, 열교환기로 저온 저압의 냉매가 통과할 수 있고, 열교환기는 공기흡입구를 통과한 공기를 냉각할 수 있다. 압축기의 온시, 열교환기는 냉매와 공기를 열교환시켜 공기를 냉각시킬 수 있고, 공기조화기는 냉방기로 기능할 수 있다. When the compressor installed in the outdoor unit is driven, the air conditioner can cool the low-temperature and low-pressure refrigerant through the heat exchanger, and the heat exchanger can cool the air passing through the air inlet. When the compressor is on, the heat exchanger can cool the air by exchanging heat between the refrigerant and the air, and the air conditioner can function as a cooler.
팬은 열교환기의 전방에 위치될 수 있다. 팬은 후방의 공기를 흡인하여 상,하,좌,우측 중 적어도 어느 한 방향으로 송풍하는 원심팬으로 구성될 수 있다. 팬은 시로코팬으로 구성될 수 있다. 팬은 상,하,좌,우측 네 방향으로 공기를 송풍하는 시로코팬으로 구성될 수 있다. The fan may be located in front of the heat exchanger. The fan may be constituted by a centrifugal fan that sucks air in the rear and blows air in at least one of the upper, lower, left, and right directions. The fan can consist of a sirocco fan. The fan may be a sirocco fan that blows air in four directions: up, down, left, and right.
팬은 복수개 송풍팬을 포함할 수 있다. 복수개의 송풍팬은 상하 방향으로 순차적으로 배치될 수 있다. 복수개 송풍팬은 그 각각이 시로코팬으로 구성될 수 있다.상측 베인(261U)The fan may include a plurality of blowing fans. The plurality of blowing fans can be sequentially arranged in the vertical direction. Each of the plurality of blowing fans may be constituted by a sirocco fan. The
상측 베인(261U)의 전면에는 상부 프론트 공기 토출구(207U)가 형성될 수 있다. 상측 베인(261U)의 하면에 팬에서 상측 방향으로 송풍된 공기가 유입되는 공기유입구(미도시)가 형성될 수 있다. 상측 베인(261U)은 내부의 팬에서 상측 방향으로 송풍된 공기를 전방 방향으로 안내할 수 있다. An upper
상측 베인(261U)은 팬의 상측에 승강되게 배치될 수 있다. 상측 베인(261U)은 상승시 상부 프론트 공기 토출구(207U)가 상승되어 공기를 토출할 수 있고, 하강시 상부 프론트 공기 토출구(207U)가 은닉될 수 있다. The
공기조화기는 상측 베인(261U)의 승강을 안내하는 승강 가이드(208)를 더 포함할 수 있다. 승강 가이드(208)는 팬 및 열교환기의 상측에 위치되게 설치될 수 있다. 상측 베인(261U)은 상승시 상부 프론트 공기 토출구(207U)가 승강 가이드(208) 상측에 위치되어 공기를 토출할 수 있고, 하강시 상부 프론트 공기 토출구(207U)가 승강 가이드(208) 내측에 위치되어 은닉될 수 있다.The air conditioner may further include an
승강 기구(1211)는 모터 등의 구동원과, 구동원의 구동시 상측 베인(261U)을 승강시키는 동력전달부재를 포함할 수 있다. 동력전달부재는 구동원에 설치된 피니언과, 피니언에 치합된 랙을 포함할 수 있다. The elevating
승강 기구(1211)는 운전모드에 따라 다른 높이까지 상승할 수 있다. 제어부(240)는 사용자의 운전모드 선택에 따라 승강 기구(1211)를 제어할 수 있다.The
예를 들어, 제어부(240)는 운전모드에 따라 상부 프론트 공기 토출구(207U)가 최대로 개방되는 최대 개방높이까지 상측 베인(261U)을 상승시키거나, 상부 프론트 공기 토출구(207U)의 일부만 개방되는 높이까지 상측 베인(261U)을 상승할 수 있다. For example, the
공기조화기(200a)의 측면에는 팬에서 옆 방향으로 송풍된 공기가 통과하는 사이드 공기 토출구(207R)가 형성될 수 있다.A
또한, 공기조화기의 측면에는 팬에서 옆으로 송풍된 공기의 풍향을 조절하고, 좌측 공기 토출구 및 우측 공기 토출구(207R)를 여닫을 수 있는 사이드 베인(261R, 261L)이 배치될 수 있다. 사이드 베인(261R, 261L)은 좌측 베인(261L)과 우측 베인(261R)을 포함할 수 있다.
사이드 베인(261R, 261L)은 회전 가능하게 설치될 수 있다. 공기조화기는 사이드 베인(261R, 261L)을 회전시키는 사이드 구동기구(1212, 1213)를 포함할 수 있다. 사이드 구동기구(1212, 1213)는 좌측 베인 구동기구(1212)와 우측 베인 구동기구(1213)를 포함할 수 있다.The side vanes 261R and 261L may be rotatably installed. The air conditioner may include
사이드 구동기구(1212, 1213)는 모터 등의 구동원을 포함할 수 있다. 사이드 구동기구(1212, 1213)는 구동원에 연결되어 구동원의 구동시 사이드 베인(261R, 261L)을 회전시키는 링크나 기어 등의 적어도 하나의 동력전달부재를 포함할 수 있다.The
사이드 구동기구(1212, 1213)는 제어부(240)에 의해 냉방운전시 개방모드로 제어될 수 있다. 또한, 사이드 구동기구(1212, 1213)는, 제어부(240)의 제어에 따라, 좌측 베인(261L)과 우측 베인(261R)을 소정 개방각으로 회전시킬 수 있다.The
이에 따라, 송풍 방향을 제어할 수도 있고, 스윙동작이 실시되도록 함으로써 설정된 범위 내에서 송풍방향을 계속해서 변화시키는 형태로 설정된 범위에 대한 송풍이 이루어지도록 할 수도 있다. 또한, 스윙동작이 이루어지는 각도 범위를 조절함으로써 송풍이 이루어지는 범위를 조금 더 좁히거나 넓힐 수도 있다.Thus, the blowing direction can be controlled, and blowing can be performed in a range set in a manner that continuously changes the blowing direction within the set range by causing the swinging operation to be performed. In addition, by adjusting the angle range in which the swing motion is performed, the range in which the blowing is performed can be further narrowed or broadened.
공기조화기는 하측에 위치하고 하부 프론트 공기 토출구(207D)가 형성된 하측 베인(261D)을 더 포함할 수 있다.The air conditioner may further include a
하측 베인(261D)은 팬에서 하측 방향으로 송풍된 공기를 전방 방향으로 토출할 수 있다. 하측 베인(261D)은 내부에 공기가 통과하는 유로가 형성될 수 있다. 하측 베인(261D)의 전면에는 외부로 공기를 토출하는 하부 프론트 공기 토출구(207D)가 형성될 수 있다. . The
공기조화기는 하부 프론트 공기 토출구(207D)를 개폐하는 개폐기구(1214)를 더 포함할 수 있다. 개폐기구(1214)는 하부 프론트 공기 토출구(207D)를 개폐하기 위해 하측 베인(261D)을 움직이는 무빙 키트(미도시)를 포함할 수 있다. 무빙 키트는 모터 등의 구동원과, 무빙 키트가 안착되는 무빙 키트 캐리어와, 구동원의 구동시 무빙 키트 캐리어를 진퇴시키는 적어도 하나의 동력전달부재를 포함할 수 있다. The air conditioner may further include an opening /
하측 베인(261D)은 전진되어 하부 프론트 공기 토출구(207D)를 차폐할 수 있고, 후퇴되어 하부 프론트 공기 토출구(207D)를 개방할 수 있다. The
개폐기구(1214)는 소정 모드로 운전시 하부 프론트 공기 토출구(207D)를 개방하는 개방모드로 제어될 수 있다. The opening /
공기조화기는 팬의 전방에 배치되는 송풍기 커버(282)를 더 포함할 수 있고, 송풍기 커버(282)는 공기조화기의 전면 상부 외관을 형성할 수 있다. 송풍기 커버(282)는 베이스 커버(225)의 상측에 위치되게 배치될 수 있고, 베이스 커버(225)와 함께 공기조화기의 전면측 외관을 형성할 수 있다. 송풍기 커버(282)는 베이스 커버(225)와 함께 공기조화기의 프론트 커버를 구성할 수 있다. 송풍기 커버(282)는 공기조화기의 프론트 어퍼 커버일 수 있고, 베이스 커버(225)는 공기조화기의 프론트 로어 커버일 수 있다. The air conditioner may further include a
공기조화기는 각종 정보를 표시하는 디스플레이(292)가 설치될 수 있다. 또한, 공기조화기는 오디오 신호를 출력하는 오디오 출력부(291)를 더 포함할 수 있고, 오디오 출력부(291)의 스피커는 공기조화기의 전면 또는 적절한 위치에 배치될 수 있다.The air conditioner may be provided with a
또한, 공기조화기는 각종 명령을 입력할 수 있는 다수의 버튼을 구비하는 조작부(230), 홈 어플라이언스(200) 주변 소정 범위를 촬영할 수 있는 카메라(210)를 포함할 수 있다. In addition, the air conditioner may include an
한편, 본 발명의 일측에 따르면, 송풍기 커버(282) 또는 베이스 커버(225)의 전면에는 전면 패널(1300)이 배치되고, 전면 패널(1300)에는 디스플레이(292), 오디오 출력부(291)의 스피커, 조작부(230)의 조작 버튼들이 배치될 수 있다.According to one aspect of the present invention, a
공기조화기는 복수의 운전 모드에 따라 운전할 수 있다. 제어부(240)는, 선택된 운전 모드에 따라 베인 구동부(1210), 팬 구동부(1220) 등을 제어할 수 있다.The air conditioner can be operated according to a plurality of operation modes. The
예를 들어, 소정 운전 모드에서 제어부(240)는 복수의 베인(261R, 261L, 261U, 261D)이 토출구를 전부 개방하도록 제어할 수 있다.For example, in the predetermined operation mode, the
또는 소정 운전 모드에서 제어부(240)는 특정 베인이 토출구를 개방하지 않고 닫혀 있도록 제어할 수 있다. 예를 들어, 소정 운전 모드에서 제어부(240)는 하측 베인(261D)이 닫혀있도록 제어할 수 있다.Or in the predetermined operation mode, the
또한, 제어부(240)는 운전 모드에 따라 상측 베인(261R)이 상승 높이, 좌/우측 베인(261R, 261L)의 개방각을 조절할 수 있다.In addition, the
또한, 제어부(240)는 운전 모드에 따라 팬의 회전 속도를 제어함으로써 풍량을 조절할 수 있다.In addition, the
한편, 도 13과 도 14에 예시된 공기조화기의 외관 및 구조는 예시적인 것으로 본 발명은 이에 한정되지 않는다. 예를 들어, 마이크(221, 222), 카메라(210), 오디오 출력부(291), 베인들(261R, 261L, 261U, 261D)의 위치, 개수, 구조 등은 설계 사양에 따라 달라질 수 있다. On the other hand, the appearance and structure of the air conditioner illustrated in Figs. 13 and 14 are illustrative, and the present invention is not limited thereto. For example, the positions, numbers, structures, and the like of the
도 15는 본 발명에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다.15 is a flowchart illustrating an operation method of a home appliance according to the present invention.
도 15를 참조하면, 홈 어플라이언스(200)는, 사용자 입력에 의해, 음성 인식 기능을 활성화할 수 있다(S1510). 사용자 입력에 따라 홈 어플라이언스(200)의 제어부(240)는, 마이크(221, 222)를 활성화할 수 있다. Referring to FIG. 15, the
또는, 홈 어플라이언스(200)는 음성 인식 기능 활성화에 대한 설정에 따라서 자동으로 음성 인식 기능을 활성화할 수 있다. Alternatively, the
예를 들어, 전원이 켜지면, 홈 어플라이언스(200)는 자동으로 마이크(221, 222)를 활성화하고, 음성 인식 기능을 활성화할 수 있다.For example, when the power is turned on, the
홈 어플라이언스의 마이크(221, 222)가 활성화된 상태에서, 사용자로부터 음성 입력이 수신되는 경우, 마이크(221, 222)는, 입력 음성을 수신하고, 이를 제어부(240)로 전달할 수 있다.When a voice input is received from the user while the
한편, 홈 어플라이언스(200)는, 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호의 입력을 위한 웨이크업 신호 대기 모드로 진입할 수 있다(S1515). Meanwhile, the
마이크(221, 222)를 통해 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에(S1520), 홈 어플라이언스(200)는 음성 명령어를 수신하기 위한 명령어 대기 모드로 전환될 수 있다(S1525). If a wake-up voice signal including a predetermined caller is received via the
홈 어플라이언스(200)가 항상 자연어 명령어를 대기하게 되면, 음성인식 기능에서 소비하는 전력과 CPU 점유율 및 음성 인식 서버 시스템의 서버 부하에 부담이 된다.If the
따라서, 홈 어플라이언스(200)는 명령어 대기 상태에서 들어오는 음성 신호에 대해서만 서버로 전송할 수 있다.Therefore, the
또한, 홈 어플라이언스(200)는 명령어를 대기하는 시간에 조건을 주고 시간 내 명령 입력시 명령어 완료 시점까지는 소리를 받아서 서버로 전달할 수 있다.In addition, the
본 발명의 일측에 따르면, 홈 어플라이언스(200)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 서버 시스템(100)을 통하여 수행할 수 있다. According to one aspect of the present invention, the
한편, 호출어는 제조사에 의해 설정될 수 있고, 홈 어플라이언스 별로 다른 호출어가 설정될 수 있다. 예를 들어, 공기조화기의 경우에는 "LG 휘센", 냉장고의 경우에는 "LG 디오스", 세탁기의 경우에는 "LG 트롬"이, 호출어로 설정될 수 있다. 한편, 호출어는 사용자에 의해 설정 변경이 가능하다. On the other hand, the caller can be set by the manufacturer, and another caller can be set for each home appliance. For example, "LG Whishen" for an air conditioner, "LG Dios" for a refrigerator, and "LGTorm" for a washing machine can be set as an invocation word. On the other hand, the caller can be changed by the user.
한편, 제어부(240)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성 명령을, 통신부(270)를 통하여, 음성 인식 서버 시스템(100)에 송신하도록 제어할 수 있다(S1530). On the other hand, the
한편, 사용자의 음성 명령을 무기한으로 기다리는 것은 시스템 자원이 낭비되고, 명령어를 입력하지 않는 사용자의 의도에도 부합하지 않으므로 명령어 대기 모드에서는 소정 경과 시간 동안에 입력되는 음성 명령만 처리하도록 설정될 수 있다(S1527).On the other hand, waiting indefinitely for a user's voice command is wasteful of system resources and does not match the intention of a user who does not input a command. Therefore, in the command standby mode, only voice commands input during a predetermined elapsed time can be set to be processed ).
이 경우에, 제어부(240)는, 기설정된 경과 시간 이내에 수신된 음성 명령을 포함하는 음성 데이터를 음성 서버(110)로 전송하도록 제어할 수 있다(S1530). In this case, the
한편, 기설정된 경과 시간 이내에 음성 명령이 수신되지 않으면(S1527), 제어부(240)는, 다시 웨이크업 신호 대기 모드로 전환하도록 제어할 수 있다.On the other hand, if no voice command is received within a preset elapsed time (S1527), the
실시예에 따라서는, 기설정된 경과 시간 이내에 음성 명령이 수신되면(S1527), 홈 어플라이언스(200)가 명령어를 수신하였음을 사용자에게 알리기 위하여, 제어부(240)는 명령어 수신에 대응하는 피드백 동작을 수행하도록 제어할 수 있다(S1529).According to an embodiment, when a voice command is received within a preset elapsed time (S1527), the
이 경우에, 제어부(240)의 제어에 따라, 구동부(280)는 기설정된 동작을 수행할 수 있다.In this case, according to the control of the
예를 들어, 홈 어플라이언스(200)가 공기조화기(200a)인 경우에, 구동부(280)는 베인 구동부(1210), 팬 구동부(1220) 등을 포함할 수 있다.For example, when the
기설정된 경과 시간 이내에 음성 명령이 수신됨에 따라 베인 구동부(1210)는 승강, 이동, 회전, 스윙(swing) 동작 중 적어도 하나를 수행하도록 하나 이상의 베인(261R, 261L, 261U, 261D)을 구동할 수 있다.As voice commands are received within a predetermined elapsed time, the
예를 들어, 승강 기구(1211)는 상측 베인(261U)을 승강시킬 수 있다. 상측 베인(261U)이 토출구(207U)를 개방하지 않고 닫혀 있는 상태에서는 승강 기구(1211)는 상측 베인(261U)을 소정 높이까지 상승시킬 수 있다.For example, the
또한, 좌측 베인 구동기구(1212)와 우측 베인 구동기구(1213)는, 제어부(240)의 제어에 따라, 좌측 베인(261L)과 우측 베인(261R)을 소정 각도로 회전시킬 수 있다.The left
또한, 좌측 베인 구동기구(1212)와 우측 베인 구동기구(1213)는, 좌측 베인(261L)과 우측 베인(261R)이 소정 범위 내에서 회전을 반복하는 스윙 동작을 수행하도록 제어할 수 있다.The left
또한, 개폐기구(1214)는 하측 베인(261D)을 내측 방향으로 전진 이동시켜, 하부 프론트 공기 토출구(207D)를 개방할 수 있다.Further, the opening /
본 발명의 일 실시예에 따르면, 기설정된 경과시간 이내에 음성 명령이 수신되면 베인(261R, 261L, 261U, 261D)을 움직여서 명령어의 수신을 직관적으로 사용자에게 알릴 수 있어, 사용자의 신뢰도를 높일 수 있다.According to an embodiment of the present invention, when a voice command is received within a preset elapsed time, the
또한, 사용자가 공기조화기(200a)에 음성 명령을 입력할 때에는 대부분의 경우가 공기조화기(200a)를 동작시키려는 의도이므로, 선제적으로 베인(261R, 261L, 261U, 261D)을 움직이고, 이후에 판별된 음성 명령에 대응하여 동작함으로써 사용자의 음성 명령에 더 빠르게 대응할 수 있다.When the user inputs voice commands to the
한편, 팬 구동부(1220)는, 기설정된 경과 시간 이내에 음성 명령이 수신됨에 따라 팬을 구동할 수 있다.On the other hand, the
예를 들어, 팬 구동부(1220)는, 멈춰 있던 팬을 회전시킬 수 있다. 또는 팬 구동부(1220)는 회전 중인 팬의 회전 속도를 낮추거나 정지시킬 수 있다.For example, the
한편, 음성 서버(110) 및 이를 포함하는 음성 인식 서버 시스템(100)은 도 1 내지 도 9를 참조하여 설명한 것과 같이 홈 어플라이언스(200)로부터 수신되는 음성 명령을 포함하는 음성 데이터를 인식하고 처리할 수 있다.Meanwhile, the
이에 따라, 통신부(270)가 가전 제어 서버(130)로부터 음성 명령에 기초한 제어 신호를 수신하면(S1540), 제어부(240)는 수신한 제어 신호에 대응하여 동작하도록 홈 어플라이언스(200)를 제어할 수 있다(S1545).Accordingly, when the
또한, 통신부(270)가 음성 서버(110)로부터 음성 명령에 기초한 응답 신호를 수신하면(S1550), 제어부(240)는 수신한 응답 신호에 대응하는 음성 안내 메시지를 출력하도록 오디오 출력부(291)를 제어할 수 있다(S1570).When the
실시예에 따라서는, 응답 신호가 음성 데이터를 포함하지 않는 경우(S1560), 제어부(240)는 음성 서버(110)로 음성 데이터를 요청하여(S1565), 음성 서버(110)로부터 요청한 음성 데이터를 수신하도록 제어할 수 있다.The
한편, 음성 인식 결과에 따라서, 통신부(270)를 통하여 음성 서버(110)로부터 음성 인식 실패에 대응하는 신호를 수신할 수 있다. 이 경우에, 제어부(240)는 음성 명령의 재입력을 요청하는 음성 안내 메시지를 출력하도록 오디오 출력부(291)를 제어하고, 다시 명령어 대기 모드로 전환하도록 제어할 수 있다.On the other hand, according to the speech recognition result, the signal corresponding to the speech recognition failure can be received from the
또한, 판별된 음성 명령의 지원 가능 여부 판별에 따라서, 통신부(270)를 통하여 음성 서버(110)로부터 음성 명령이 지원되지 않는 기능에 관한 것임을 알리는 신호를 수신할 수 있다(S1535). 이 경우에, 제어부(240)는 음성 명령이 지원되지 않는 기능에 관한 것임을 알리는 음성 안내 메시지를 출력하도록 오디오 출력부(291)를 제어할 수 있다.In accordance with the discrimination of supportability of the discriminated voice command, a signal indicating that the voice command is not supported from the
이 경우에, 제어부(240)는 웨이크업 신호 대기 모드로 전환하도록 제어할 수 있다.In this case, the
또는, 제어부(240)는 다시 명령어 대기 모드로 전환하도록 제어할 수 있다.Alternatively, the
본 발명에 따르면 각 상황에 맞는 음성 안내 메시지를 제공함으로써, 음성 제어 명령 시 어느 단계에서 어떤 문제로 정상제어 되지 않는지 정확하게 파악할 수 있다는 장점이 있다. 또한, 제품을 제어할 수 있는 명령어의 자유도가 높아 사용성이 개선된다.According to the present invention, by providing a voice guidance message for each situation, it is possible to accurately grasp at which stage a voice control command is not normally controlled. In addition, the degree of freedom of commands for controlling the product is high, and usability is improved.
도 16은 본 발명에 따른 음성 인식 서버 시스템 및 홈 어플라이언스를 포함하는 스마트 홈 시스템의 동작 방법을 도시한 순서도이다.16 is a flowchart illustrating an operation method of a smart home system including a speech recognition server system and a home appliance according to the present invention.
도 16을 참조하면, 홈 어플라이언스(200)는, 음성 인식 기능을 활성화하여(S1611), 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호의 입력을 위한 웨이크업 신호 대기 모드로 진입할 수 있다(S1612). 16, the
"LG 휘센", "LG 디오스", "LG 트롬", "LG 시그니쳐" 등 기설정된 호출어가 마이크(221, 222)를 통해 입력되면(S1613), 홈 어플라이언스(200)는, 음성 명령어를 수신하기 위한 명령어 대기 모드로 전환될 수 있다(S1614). When the preset callers such as " LG Whishen ", " LG Dios ", " LG Tromm ", and " LG Signature " are input through the
명령어 대기 모드에서는 소정 경과 시간 동안에 입력되는 음성 명령만 처리하도록 설정될 수 있다(S1615). 예를 들어, 6초의 경과 시간이 설정될 수 있고, 이 경우에, 제어부(240)는, 6초 이내에 수신된 음성 명령을 포함하는 음성 데이터를 음성 서버(110)로 전송하도록 제어할 수 있다(S1621). In the command standby mode, it is possible to set to process only voice commands input during a predetermined elapsed time (S1615). For example, an elapsed time of 6 seconds may be set, and in this case, the
한편, 기설정된 경과 시간 이내에 음성 명령이 수신되지 않으면(S1621), 제어부(240)는, 다시 웨이크업 신호 대기 모드로 전환하도록 제어할 수 있다.On the other hand, if no voice command is received within a preset elapsed time (S1621), the
본 발명의 일측에 따르면, 홈 어플라이언스(200)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 서버 시스템(100)을 통하여 수행할 수 있다. According to one aspect of the present invention, the
음성 서버(110)는 홈 어플라이언스(200)로부터 음성 명령을 포함하는 음성 데이터가 수신되면(S1621), 자연어 처리를 수행하여 사용자의 의도를 분석하고 음성 명령을 판별할 수 있다(S1622).The
음성 명령이 정상적으로 분석되지 않으면(S1623), 음성 서버(110)는 홈 어플라이언스(200)로 음성 명령 분석 실패를 알리고, 홈 어플라이언스(200)는 사용자의 재명령 요청 멘트를 포함하는 음성 안내 메지지를 발화할 수 있다(S1662). If the voice command is not normally analyzed (S1623), the
이 경우에, 음성 명령 분석 실패시 재명령 요청 및 재명령 분석 과정은 기설정된 횟수만큼만 수행하도록 설정될 수 있다(S1661).In this case, the re-order request and the re-order analysis process may be set to be performed only a predetermined number of times (S1661).
예를 들어, 3회 이상 정상 분석이 실패하면 재명령을 요청하지 않고, 제어부(240)는, 다시 웨이크업 신호 대기 모드로 전환하도록 제어할 수 있다.For example, if the normal analysis fails three times or more, the
한편, 음성 명령이 정상적으로 분석되면(S1623), 음성 서버(110)는 판별한 음성 명령에 대응하는 신호 연계 서비스 서버(120)로 송신할 수 있다.On the other hand, if the voice command is normally analyzed (S1623), the
한편, 연계 서비스 서버(120)는 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. On the other hand, the
예를 들어, 연계 서비스 서버(120)는 판별한 음성 명령이 해당 홈 어플라이언스(200)가 지원하는 기능인지 여부를 판별할 수 있다(S1631).For example, the
또한, 연계 서비스 서버(120)는 판별한 음성 명령이 해당 홈 어플라이언스(200)의 현재 상태에서 지원하는 기능인지 여부, 음성 명령으로 제공되는 기능인지 여부 등을 판별할 수 있다(S1632).The
만약, 판별한 음성 명령이 지원할 수 있는 기능이 아니면, 도 1 내지 도 9를 참조하여 설명한 것과 같이, 연계 서비스 서버(120)는 음성 서버(110)를 경유하여 홈 어플라이언스(200)로 지원할 수 있는 기능이 아니라는 응답 신호를 송신할 수 있다.If the identified voice command is not a function that can be supported by the voice command, as described above with reference to FIGS. 1 to 9, the
이에 따라, 홈 어플라이언스(200)는 '지원하지 않는 기능입니다', '음성 지원하지 않는 기능입니다' 등의 음성 안내 메시지를 출력할 수 있다(S1671, S1672).Accordingly, the
또한, 제어부(240)는 웨이크업 신호 대기 모드로 전환하도록 제어할 수 있다. Also, the
연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200)에 관한 것이면, 가전 제어 서버(130)와 통신하여 대응하는 동작을 수행할 수 있다. The
또는, 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200)에 관한 것이 아니면, 외부의 외부 서비스와 통신하여 대응하는 동작을 수행할 수 있다.Alternatively, if the determined voice command is not related to the
연계 서비스 서버(120)는, 판별한 음성 명령이 홈 어플라이언스(200)를 제어하는 것이면, 판별한 음성 명령에 대응하는 요청 신호를 생성하여, 가전 제어 서버(130)로 송신할 수 있다.The
가전 제어 서버(130)는 연계 서비스 서버(120)로부터 요청 신호를 수신하여, 요청 신호에 기초하는 제어 신호를 홈 어플라이언스(200)로 송신할 수 있다.The home
예를 들어, 공기조화기(200a)의 설정 온도를 변경하는 요청이 수신되면, 가전 제어 서버(130)는 공기조화기(200a)로 설정 온도를 변경하는 제어 신호를 송신할 수 있다.For example, when a request to change the set temperature of the
한편, 홈 어플라이언스(200)는 가전 제어 서버(130)로부터 수신한 제어 신호에 따라 대응하는 동작을 수행할 수 있다(S1640). Meanwhile, the
또한, 홈 어플라이언스(200)는 요청받은 동작을 수행한 후 동작을 수행하였음을 알리는 신호를 가전 제어 서버(130)로 송신할 수 있다.In addition, the
또한, 가전 제어 서버(130)는, 홈 어플라이언스(200)로부터 제어 신호에 대한 응답 신호를 수신하고, 요청에 대한 동작이 성공했음을 알리는 처리 결과 정보를 연계 서비스 서버(120)로 송신할 수 있다.The home
연계 서비스 서버(120)는, "에어컨 온도를 18도로 설정합니다" 등 처리 결과 정보에 대응하는 신호를 자연어 처리 서버(112)로 송신할 수 있고, 자연어 처리 서버(112)는 판별한 사용자의 음성 명령에 기초하는 응답 신호를 홈 어플라이언스(200)로 송신할 수 있다. The
한편, 홈 어플라이언스(200)는 음성 서버(110)로부터 수신한 음성 데이터에 기초하여 "에어컨 온도를 18도로 설정합니다" 등 안내 멘트를 포함하는 음성 안내 메시지를 발화할 수 있다(S1650).On the other hand, the
도 17 내지 도 21은 본 발명에 따른 음성 인식 서버 시스템 및 홈 어플라이언스의 다양한 동작에 관한 설명에 참조되는 도면이다. 17 to 21 are views referred to in explaining various operations of the speech recognition server system and the home appliance according to the present invention.
본 발명의 일 실시예에 따른 홈 어플라이언스(200)는 기설정된 경과 시간 이내에 음성 명령이 수신되면, 명령어를 수신하였음을 사용자에게 알리기 위하여, 명령어 수신에 대응하는 피드백 동작을 수행할 수 있다.The
도 17과 도 18은 홈 어플라이언스(200)가 공기조화기(200a)인 경우에 수행하는 피드백 동작들을 예시한다.17 and 18 illustrate feedback operations performed when the
도 17을 참조하면, 공기조화기(200a)의 마이크(221, 222)를 통하여 설정된 경과 시간 이내에 음성 명령이 수신되면, 베인 구동부(1210)는 상측 베인(261U)을 소정 높이까지 상승시킬 수 있다.17, when a voice command is received within the set elapsed time through the
또한, 베인 구동부(1210)는 좌측 베인(261L)과 우측 베인(261R)을 소정 각도로 회전시킬 수 있다.In addition, the
또한, 베인 구동부(1210)는 하측 베인(261D)을 내측 방향으로 전진 이동시켜, 하부 프론트 공기 토출구(207D)를 개방할 수 있다.In addition, the
공기조화기(200a)가 특정 운전모드로 동작하고 있지 않아 공기 토출구들이 닫혀 있는 상태에 있을 때, 음성 명령이 수신되면, 베인 구동부(1210)는 제어부(240)의 제어에 따라 복수의 베인(261R, 261L, 261U, 261D) 전부를 구동할 수 있다. When the voice command is received when the
또는, 베인 구동부(1210)는 복수의 베인(261R, 261L, 261U, 261D) 중 일부를 구동할 수도 있다.Alternatively, the
도 18을 참조하면, 마이크(221, 222)를 통하여 설정된 경과 시간 이내에 음성 명령이 수신되면, 베인 구동부(1210)는 제어부(240)의 제어에 따라 좌측 베인(261L)과 우측 베인(261R)을 소정 각도로 회전시킬 수 있다.18, when a voice command is received within the set elapsed time through the
또한, 베인 구동부(1210)는, 좌측 베인(261L)과 우측 베인(261R)이 소정 범위 내에서 회전을 반복하는 스윙 동작을 수행하도록 제어할 수 있다.In addition, the
본 발명의 일 실시예에 따르면, 기설정된 경과시간 이내에 음성 명령이 수신되면 베인(261R, 261L, 261U, 261D)을 움직여서 명령어의 수신을 직관적으로 사용자에게 알릴 수 있어, 사용자의 신뢰도를 높일 수 있다.According to an embodiment of the present invention, when a voice command is received within a preset elapsed time, the
또한, 사용자가 공기조화기(200a)에 음성 명령을 입력할 때에는 대부분의 경우가 공기조화기(200a)를 동작시키려는 의도이므로, 선제적으로 베인(261R, 261L, 261U, 261D)을 움직이고, 이후에 판별된 음성 명령에 대응하여 동작함으로써 사용자의 음성 명령에 더 빠르게 대응할 수 있다.When the user inputs voice commands to the
도 19 내지 도 21은 사용자의 자연어 음성 명령 입력에 대응하여 공기조화기가 대응하는 동작을 수행하는 다양한 예들을 도시한다.19 to 21 show various examples in which the air conditioner performs a corresponding operation in response to a user's natural language voice command input.
도 19를 참조하면, 사용자는 "냄새 제거 해줘"와 같은 자연어로 음성 명령(1910)을 입력할 수 있다. 마이크(221, 222)를 통하여 사용자의 음성 명령(1910)을 수신한 공기조화기(200a)는 음성 명령(1910)을 음성 인식 시스템(100)에 전달할 수 있다.Referring to Fig. 19, the user can input a
음성 인식 시스템(100)은 수신된 음성 명령(1910)을 분석하여 공기 청정 기능을 원하는 사용자의 의도를 판별할 수 있다. 이에 따라, 음성 인식 시스템(100)은 공기조화기(200a)로 공기 청정 기능을 구동하라는 제어 신호와 해당 동작에 대응하는 응답 신호를 송신할 수 있다.The
공기조화기(200a)는 공기 청정 기능을 구동하고, "공기청정 기능을 구동합니다"와 같은 음성 안내 메시지(1920)를 출력할 수 있다.The
도 20을 참조하면, 사용자는 "절전 기능 켜줘"와 같은 키워드(keyword)로 음성 명령(2010)을 입력할 수 있다. 마이크(221, 222)를 통하여 사용자의 음성 명령(2010)을 수신한 공기조화기(200a)는, 내부 저장부 또는 메모리에 저장된 키워드 데이터와의 비교를 통해, 수신된 음성 명령(2010)을 분석하여 공기 청정 기능을 원하는 사용자의 의도를 판별할 수 있다. Referring to FIG. 20, the user can input the
이에 따라, 공기조화기(200a)는 절전 기능을 구동하고, "절전 기능을 시작합니다"와 같은 음성 안내 메시지(2020)를 출력할 수 있다.Accordingly, the
한편, 본 발명의 일 실시예에 따른 음성 인식 시스템(100)은, 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이 아니면, 외부 서비스(121)와 통신하여 대응하는 동작을 수행할 수 있다.Meanwhile, the
도 21을 참조하면, 사용자는 "오늘 날씨 어때"와 같은 자연어로 음성 명령(2110)을 입력할 수 있다. 마이크(221, 222)를 통하여 사용자의 음성 명령(2110)을 수신한 공기조화기(200a)는 음성 명령(2110)을 음성 인식 시스템(100)에 전달할 수 있다.Referring to FIG. 21, the user may enter a
음성 인식 시스템(100)은 수신된 음성 명령(2110)을 분석하여 날씨 정보를 원하는 사용자의 의도를 판별할 수 있다. 이에 따라, 음성 인식 시스템(100)은 날씨 정보를 제공하는 외부 서비스 또는 인터넷 네트워크에 접속하여 날씨 정보를 요청, 수신할 수 있다.The
또한, 음성 인식 시스템(100)은 수신한 날씨 정보에 기초한 데이터를 홈 어플라이언스(200a)로 송신할 수 있다.Further, the
공기조화기(200a)는 수신한 데이터에 기초하여 "서울은 오후부터 비가 내려요" 등 날씨 정보를 포함하는 음성 안내 메시지(2120)를 출력할 수 있다.The
도 22는 본 발명의 실시예에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이다. 22 is a flowchart illustrating an operation method of a home appliance according to an embodiment of the present invention.
도면을 참조하면, 홈 어플라이언스(200)의 제어부(240)는, 조작부(230)의 소정키의 동작에 의해, 음성 인식 모드가 활성화되도록 제어할 수 있다(S2210).Referring to the drawing, the
예를 들어, 홈 어플라이언스(200)의 제어부(240)는, 조작부(230)의 음싱 인식키(231)가 동작하는 경우, 음성 인식 모드가 활성화되도록 제어할 수 있다. For example, the
음성 인식 모드 활성화를 위해, 제어부(240)는, 오디오 입력부(220)에 전원을 공급하도록 제어할 수 있다. 이에 따라, 오디오 입력부(220) 내의 마이크에 전원이 입력되어, 동작할 수 있게 된다.In order to activate the voice recognition mode, the
다음, 홈 어플라이언스(200)의 제어부(240)는, 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호의 입력을 위한 웨이크업 신호 대기 모드로 진입하도록 제어할 수 있다(S2215).Next, the
즉, 오디오 입력부(220)에 전원이 공급되어, 음성 인식 모드가 활성화된 경우, 오디오 입력부(220)의 마이크를 통해, 음성 데이터를 저장할 수 있으며, 이러한 상태를 웨이크 업 신호 대기 모드 상태라 명명할 수 있다.That is, when power is supplied to the
한편, 홈 어플라이언스(200)의 제어부(240)는, 사용자의 발화에 의해, 호출어가 입력되는 경우(S2220), 음성 명령어를 수신하기 위한 명령어 대기 모드로 전환되도록 제어할 수 있다(S2225).Meanwhile, the
예를 들어, "LG 휘센", "LG 디오스", "LG 트롬", "LG 시그니쳐" 등 기설정된 호출어가 마이크(221, 222)를 통해 입력되면(S2213), 홈 어플라이언스(200)의 제어부(240)는, 입력되는 음성 데이터와 호출어를 비교하여, 일치하는 경우, 명령어 대기 모드로 전환되도록 제어할 수 있다.For example, when preset callers such as " LG Whishen ", " LG Dios ", " LG Tromm ", and " LG Signature " are input through the
한편, 명령어 대기 모드 상태는, 기준 시간 동안의 키워드 명령 또는 자연어 명령을 입력받기 위해 대기하는 상태를 의미할 수 있다.On the other hand, the command standby mode state may mean a state of waiting for receiving a keyword command or a natural language command for a reference time.
이러한 대기 모드 상태는, 기준 시간 동안만 수행되는 것이 바람직하다.This standby mode state is preferably performed only during the reference time.
한편, 홈 어플라이언스(200)의 제어부(240)는, 대기 모드 상태의 경과 시간이, 기준 시간(Tref)를 초과하는 경우, S2215 단계(S2215)로 복귀하도록 제어할 수 있다. 즉, 다시, 호출어가 입력되어야 하는 상태로 복귀할 수 있다.On the other hand, the
한편, 홈 어플라이언스(200)의 제어부(240)는, 대기 모드 상태 중 음성 명령의 입력 시간이, 기준 시간(Tref) 이내인 경우, 명령어 입력 여부를 판단하고(S2228), 해당하는 경우, 키워드 명령인지 여부를 판단할 수 있다(S2229). 그리고, 홈 어플라이언스(200)의 제어부(240)는, 입력되는 음성 데이터 내에 키워드가 포함되는 경우, 키워드 분석을 수행할 수 있다(S2242). 그리고, 홈 어플라이언스(200)의 제어부(240)는, 키워드에 대응하는 동작을 수행하도록 제어할 수 있다(S2229). 그리고, 홈 어플라이언스(200)의 제어부(240)는, 키워드에 대응하는 안내 멘트를 출력하도록 제어할 수 있다(S2270).On the other hand, when the input time of the voice command is within the reference time (Tref) in the standby mode, the
키워드 명령은, 홈 어플라이언스(200) 내의 메모리(250)에 기 저장된 음성에 대응하는 명령으로서, 예를 들어, "전원 온", "전원 오프", "절전 운전" 등과 같은, 홈 어플라이언스(200)의 조작부(230)에 대응하는 명령을 나타낼 수 있다.The keyword command is a command corresponding to the voice stored in the
홈 어플라이언스(200)의 제어부(240)는, 오디오 입력부(220)를 통해 입력되는 음성 데이터와 메모리(250)에 저장된 키워드를 비교하여, 일치하는 경우, 음성 데이터가 키워드 명령인 것으로 판별, 및 분석하고, 키워드에 대응하는 동작을 수행하도록 제어할 수 있다. The
예를 들어, "전원 온"과 같은, 키워드가 음성 데이터 내에 포함된 경우, 홈 어플라이언스(200)의 제어부(240)는, 대기 모드 상태의 홈 어플라이언스(200)의 전원을 온 시킬 수 있다. 특히, 전력 소비가 가장 큰 구동부(280)에 전원이 공급되도록 제어할 수 있다.For example, when a keyword such as " Power on " is included in the voice data, the
다른 예로, "전원 오프"와 같은, 키워드가 음성 데이터 내에 포함된 경우, 홈 어플라이언스(200)의 제어부(240)는, 동작 모드 상태의 홈 어플라이언스(200)의 전원을 오프 시킬 수 있다. 특히, 전력 소비가 가장 큰 구동부(280)에 전원이 공급되지 않도록 제어할 수 있다.As another example, when a keyword such as " power off " is included in the voice data, the
또 다른 예로, "절전 기능 켜줘"와 같은, 키워드가 음성 데이터 내에 포함된 경우, 홈 어플라이언스(200)의 제어부(240)는, 동작 모드 상태의 홈 어플라이언스(200)를 절전 모드 상태로 동작하도록 제어할 수 있다. 예를 들어, 홈 어플라이언스(200)의 제어부(240)는, 전력 소비가 가장 큰 구동부(280) 내의 인버터(420)의 스위칭 횟수를 낮추거나, 인버터(420)의 동작 시간을 낮추도록 제어할 수 있다. As another example, when the keyword is included in the voice data such as " turn on the power save function ", the
홈 어플라이언스(200)의 제어부(240)는, 음성 데이터 내에 키워드 명령이 포함되는 경우, 키워드 명령에 대응하는 안내 멘트를, 오디오 출력부(281)를 통해, 출력하도록 제어할 수 있다.The
예를 들어, 홈 어플라이언스(200)의 제어부(240)는, "전원 온", "전원 오프", "절전 운전" 등과 같은 키워드 명령이 입력되는 경우, "전원이 온됩니다.", "전원이 오프됩니다.", "절전 운전합니다." 등과 같은, 사운드를 출력하도록 제어할 수 있다.For example, when a keyword command such as " power on ", " power off ", " power save operation ", or the like is input, the
한편, 제2229(S2229) 단계에서, 입력되는 음성 명령이 키워드 명령이 아닌 경우, 홈 어플라이언스(200)의 제어부(240)는, 자연어 명령에 대한 음성 인식을 위해, 서버 시스템(100)으로, 음성 데이터를 전송하도록 제어할 수 있다(S2230).On the other hand, if the input voice command is not a keyword command in step 2229 (S2229), the
예를 들어, 기준 시간(tref) 이내의 음성 데이터를, 스트리밍 방식으로, 서버 시스템(100)으로, 전송할 수 있다. 여기서, 기준 시간(tref)은, 6초에 대응할 수 있으나, 이에 한정되지 않으며, 다양한 예가 가능하다.For example, voice data within the reference time (tref) can be transmitted to the
한편, 홈 어플라이언스(200)의 제어부(240)는, 6초 이내에 수신된 음성 명령을 포함하는 음성 데이터에 대한 신호 처리를 수행한 후, 신호 처리된 음성 데이터를, 서버 시스템, 특히 음성 서버(110)로 전송하도록 제어할 수 있다.Meanwhile, the
다음, 홈 어플라이언스(200)의 제어부(240)는, 서버 시스템(100)으로부터, 음성 명령에 대응하는 결과 데이터를 수신할 수 있다.Next, the
한편, 홈 어플라이언스(200)의 제어부(240)는, 결과 데이터가 정상적으로 수신되었는지 여부를 판단할 수 있다(S2232).Meanwhile, the
이때, 홈 어플라이언스(200)의 제어부(240)는, 결과 데이터가 정싱적으로 수신되지 않는 경우, 서버 시스템(100)으로, 소정 횟수 만큼, 음성 데이터를 다시 전송할 수 있다.At this time, the
한편, 소정 횟수 전송에도 불구하고, 결과 데이터가 정싱적으로 수신되지 않는 경우(S2246), 홈 어플라이언스(200)의 제어부(240)는, 사용자에게 재발화를 요구하는, 재명령 요청 멘트를 출력하도록 제어할 수 있다(S2248). 이에 따라, 사용자는, 음성 명령을 재발화할 수 있다.On the other hand, if the result data is not received regularly (S2246) despite the predetermined number of transmissions, the
한편, 홈 어플라이언스(200)의 제어부(240)는, 결과 데이터가 정싱적으로 수신되는 경우, 결과 데이터 내의 동작 데이터에 기초하여, 홈 어플라이언스에서 수행 가능한 기능인 지 여부를 판단할 수 있다(S2234).On the other hand, when the result data is received legitimately, the
이때, 홈 어플라이언스에서 수행 또는 지원이 불가능한 경우, 홈 어플라이언스(200)의 제어부(240)는, '지원하지 않는 기능입니다."와 같은, 수행 또는 지원 불가 메시지가 출력되도록 제어할 수 있다(S2252).At this time, if the
한편, 홈 어플라이언스(200)의 제어부(240)는, 결과 데이터가 정싱적으로 수신며, 결과 데이터 내의 동작 데이터가 수행 또는 지원 가능한 상태에서, 결과 데이터 내의 음성 데이터가, 음성 지원 가능한 지 여부를 판단할 수 있다(S2236).On the other hand, the
이때, 홈 어플라이언스에서 음성 수행 또는 지원이 불가능한 경우, 홈 어플라이언스(200)의 제어부(240)는, '음성 지원하지 않는 기능입니다."와 같은, 음성 수행 또는 지원 불가 메시지가 출력되도록 제어할 수 있다(S2254).At this time, when the home appliance is unable to perform voice support or support, the
한편, 홈 어플라이언스(200)의 제어부(240)는, 대화형 명령이 결과 데이터로서 수신되는 경우(S2238), 선택형 답변을 발화되도록 제어할 수 있다(S2262).On the other hand, when the interactive command is received as the result data (S2238), the
한편, 홈 어플라이언스(200)의 제어부(240)는, 결과 데이터 내의 음성 데이터에 기초하여, 안내 멘트를 출력하도록 제어할 수 있다(S2270).On the other hand, the
도 22에서 기술한 바와 같이, 입력되는 음성 데이터 내에, 키워드가 포함되는 경우, 홈 어플라이언스(200) 내에서 음성 인식 등을 수행하여, 해당 동작을 수행하고, 음성 데이터 내에 키워드가 아닌 자연어가 포함되는 경우, 서버 시스템(100)으로 전송하여, 음성 인식이 수행되도록 함으로써, 음성 인식을 효율적으로 수행할 수 있게 된다.As described in FIG. 22, when a keyword is included in the input voice data, voice recognition or the like is performed in the
특히, 간단한 음성인 키워드 음성에 대해, 미리 저장한 상태에서, 음성 데이터 내에 키워드가 포함되는 경우, 서버 시스템(100)과의 통신할 필요 없이, 해당하는 동작을 바로 수행할 수 있게 되므로, 신속하게, 키워드 음성에 대한 동작을 수행할 수 있게 된다.In particular, in the case where a keyword is included in the voice data in a state in which the keyword voice is a simple voice, it is possible to perform the corresponding operation immediately without having to communicate with the
한편, 음성 데이터 내에 키워드가 아닌 자연어가 포함된 경우, 서버 시스템(100)을 통해, 자연어 인식을 수행함으로써, 자연어 인식의 정확성이 향상되게 된다.On the other hand, when the voice data includes a natural language other than a keyword, the natural language recognition is performed through the
한편, 제어부(240)는, 서버 시스템(100)으로부터 결과 데이터가 수신되지 않는 경우, 재명령 요청 멘트를 출력하도록 제어함으로써, 사용자의 이용 편의성이 증대될 수 있게 된다.On the other hand, when the result data is not received from the
도 23은 본 발명의 일 실시예에 따른 홈 어플라이언스의 동작 방법을 도시한 순서도이고, 도 24a 내지 도 26f는 도 22 또는 도 23의 동작 방법 설명에 참조되는 도면이다.FIG. 23 is a flowchart illustrating an operation method of a home appliance according to an embodiment of the present invention, and FIGS. 24A to 26F are diagrams referred to the description of the operation method of FIG. 22 or FIG.
도면을 참조하면, 먼저, 제어부(240)는, 음성 인식 모드가 활성화되었는 지 여부를 판단한다(S2310). Referring to the drawing, first, the
예를 들어, 도 24a에 도시된 공기조화기(200a)의 조작부(230) 내의 음성 인식 모드 버튼(231)이 조작되는 경우, 공기조화기(200a)의 제어부(240)는, 음성 인식 모드가 활성화되도록 제어할 수 있다.For example, when the voice recognition mode button 231 in the
한편, 음성 인식 모드가 활성화된 경우, 제어부(240)는, 오디오 입력부(220)에 전원이 공급되도록 제어할 수 있다.On the other hand, when the voice recognition mode is activated, the
다음, 제어부(240)는, 음성 인식 모드가 활성화된 상태에서, 제1 시간 이내에 음성 입력이 있는 지 여부를 판단한다(S2315).Next, in a state in which the voice recognition mode is activated, the
음성 입력이 있는 경우, 홈 어플라이언스(200)의 오디오 입력부(220)는, 사용자의 음성을 수신할 수 있으며, 이에 따라, 음성을 전기 신호로 변환하여, 음성 데이터를 출력할 수 있다.When there is a voice input, the
음성 데이터는, 호출어를 포함할 수 있다. 예를 들어, 호출어로, "LG 휘센", "LG 디오스", "LG 트롬", "LG 시그니쳐" 등이 예시될 수 있다.The voice data may include a caller. For example, "LG Whishen", "LG Dios", "LG Trom", "LG Signature" and the like can be exemplified as the calling words.
한편, 음성 데이터는, 호출어 이후의 키워드 명령 또는 자연어 명령을 포함할 수 있다.On the other hand, the voice data may include a keyword command after the caller or a natural language command.
다음, 홈 어플라이언스(200)의 제어부(240)는, 입력되는 음성 데이터 내에 키워드가 포함되는지 여부를 판단할 수 있다(S2320). Next, the
그리고, 홈 어플라이언스(200)의 제어부(240)는, 입력되는 음성 데이터 내에 키워드가 포함되는 경우, 키워드에 대응하는 사운드를 출력하도록 제어할 수 있다(S2350). 그리고, 홈 어플라이언스(200)의 제어부(240)는, 입력되는 음성 데이터 내에 키워드가 포함되는 경우, 키워드에 대응하는 동작을 수행하도록 제어할 수 있다(S2355).If the keyword is included in the input voice data, the
키워드 명령은, 홈 어플라이언스(200) 내의 메모리(250)에 기 저장된 음성에 대응하는 명령으로서, 예를 들어, "전원 온", "전원 오프", "절전 운전" 등과 같은, 홈 어플라이언스(200)의 조작부(230)에 대응하는 명령을 나타낼 수 있다.The keyword command is a command corresponding to the voice stored in the
홈 어플라이언스(200)의 제어부(240)는, 오디오 입력부(220)를 통해 입력되는 음성 데이터와 메모리(250)에 저장된 키워드를 비교하여, 일치하는 경우, 음성 데이터가 키워드 명령인 것으로 판별, 및 분석하고, 키워드에 대응하는 동작을 수행하도록 제어할 수 있다. The
예를 들어, "전원 온"과 같은, 키워드가 음성 데이터 내에 포함된 경우, 홈 어플라이언스(200)의 제어부(240)는, 대기 모드 상태의 홈 어플라이언스(200)의 전원을 온 시킬 수 있다. 특히, 전력 소비가 가장 큰 구동부(280)에 전원이 공급되도록 제어할 수 있다.For example, when a keyword such as " Power on " is included in the voice data, the
다른 예로, "전원 오프"와 같은, 키워드가 음성 데이터 내에 포함된 경우, 홈 어플라이언스(200)의 제어부(240)는, 동작 모드 상태의 홈 어플라이언스(200)의 전원을 오프 시킬 수 있다. 특히, 전력 소비가 가장 큰 구동부(280)에 전원이 공급되지 않도록 제어할 수 있다.As another example, when a keyword such as " power off " is included in the voice data, the
또 다른 예로, "절전 기능 켜줘"와 같은, 키워드가 음성 데이터 내에 포함된 경우, 홈 어플라이언스(200)의 제어부(240)는, 동작 모드 상태의 홈 어플라이언스(200)를 절전 모드 상태로 동작하도록 제어할 수 있다. 예를 들어, 홈 어플라이언스(200)의 제어부(240)는, 전력 소비가 가장 큰 구동부(280) 내의 인버터(420)의 스위칭 횟수를 낮추거나, 인버터(420)의 동작 시간을 낮추도록 제어할 수 있다. As another example, when the keyword is included in the voice data such as " turn on the power save function ", the
홈 어플라이언스(200)의 제어부(240)는, 음성 데이터 내에 키워드 명령이 포함되는 경우, 키워드 명령에 대응하는 사운드를, 오디오 출력부(281)를 통해, 출력하도록 제어할 수 있다.The
예를 들어, 홈 어플라이언스(200)의 제어부(240)는, "전원 온", "전원 오프", "절전 운전" 등과 같은 키워드 명령이 입력되는 경우, "전원이 온됩니다.", "전원이 오프됩니다.", "절전 운전합니다." 등과 같은, 사운드를 출력하도록 제어할 수 있다.For example, when a keyword command such as " power on ", " power off ", " power save operation ", or the like is input, the
한편, 홈 어플라이언스(200)의 제어부(240)는, 입력되는 음성 데이터 내에 키워드가 포함되지 않는 경우, 서버 시스템(100)과의 접속 상태가 불안정한 지 여부를 판단할 수 있다(S2325).On the other hand, when the keyword is not included in the input voice data, the
그리고, 홈 어플라이언스(200)의 제어부(240)는, 서버 시스템(100)과의 접속 상태가 불안정한 경우, 즉, 서버 시스템(100)과의 통신이 원활하지 않은 경우, 기 저장된 대기 멘트를 출력하도록 제어할 수 있다(S2360). When the connection state with the
예를 들어, 제어부(240)는, 서버 시스템(100) 내의 자동 음성 인식 서버(111), 자연어 처리 서버(112), 연계 서비스 서버(120) 중 어느 하나의 고장인 경우, 각각 해당하는 대기 멘트를 출력하도록 제어할 수 있다. 이에 대해서는, 도 26a 내지 도 26f를 참조하여 기술한다.For example, when any one of the automatic
한편, 제2320 단계(S2320), 제2325 단계(S2325)가 모두 해당되지 않는 경우, 제어부(240)는, 서버 시스템(100)으로 음성 데이터를 전송할 수 있다(S2330).On the other hand, if neither step 2320 (S2320) nor step 2325 (S2325) are all applicable, the
이때, 제어부(240)는, 오디오 입력부(220)로부터의 음성 데이터에, 통신부(270)의 전송용 데이터를 부가하도록 제어할 수 있다.At this time, the
다음, 홈 어플라이언스(200)의 제어부(240)는, 서버 시스템(100)으로부터 전송한 음성 데이터에 대응하는 결과 데이터를 수신할 수 있다(S2335).Next, the
수신한 결과 데이터는, 전송한 음성 데이터에 대응하여, 서버 시스템(100)에서 전송한 발화용 음성 데이터일 수 있다.The received result data may be voice data for speech transmitted from the
한편, 수신한 결과 데이터는, 서버 시스템(100)에서 전송한 발화용 음성 데이터 외에, 서버 시스템(100)에서 전송한 발화용 음성 데이터에 대응하는 홈 어플라이언스의 동작에 관한 동작 데이터를 더 포함할 수 있다.On the other hand, the received result data may further include operation data related to the operation of the home appliance corresponding to the speech data for speech transmitted from the
이에 따라, 홈 어플라이언스(200)의 제어부(240)는, 수신한 결과 데이터에 기초하여, 수신한 결과 데이터에 대응하는 사운드를, 오디오 출력부(281)를 통해, 출력하도록 제어할 수 있다(S2340). The
이에 따라, 사용자의 자연어 음성에 대응하는, 발화용 음성 데이터를, 홈 어플라이언스(200)를 통해 출력할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있게 된다.Accordingly, speech data for speech corresponding to the user's natural speech can be output through the
한편, 홈 어플라이언스(200)의 제어부(240)는, 수신한 결과 데이터로서, 홈 어플라이언스의 동작에 관한 동작 데이터를 수신하는 경우, 홈 어플라이언스의 동작에 관한 동작 데이터에 기초하여, 동작하도록 구동부(280) 등을 제어할 수 있다(S2345).On the other hand, when receiving the operation data related to the operation of the home appliance as the received result data, the
이하에서는, 키워드 명령과 자연어 명령에 의한 동작을 비교하여 설명한다.Hereinafter, the operation based on the keyword instruction and the natural language instruction will be described in comparison.
도 24a는, "절전 기능 켜줘"와 같은 키워드(2010)가 발화된 경우를 예시한다. 이에 따라, 공기조화기(200a)의 제어부(240)는, 내부에 기 저장된 키워드를 검색하여, "절전 기능 켜줘"의 음성 데이터에 매칭을 수행할 수 있다.24A illustrates a case where a
그리고, 분석 완료된 경우, 공기조화기(200a)의 제어부(240)는, 절전 냉방 기능이 수행되도록 제어할 수 있다. 그리고, "절전냉장 기능을 시작합니다"와 같은 안내 멘트를 출력하도록 제어할 수 있다.When the analysis is completed, the
한편, 공기조화기(200a)의 제어부는, 절전 운전이 수행되도록,압축기를 구동하는 실외기 내의 인버터(420)의 스위칭 동작 횟수가 작아지도록, 또는 스위칭 기간이 작아지도록, 제어할 수 있다.On the other hand, the control unit of the
다음, 도 24c는, "오늘 날씨 어때"와 같은 자연어(2110)가 발화된 경우를 예시한다. Next, Fig. 24C illustrates a case where the
공기조화기(200a)의 제어부(240)는, 내부에 기 저장된 키워드를 검색하여, " "오늘 날씨 어때"의 음성 데이터의 매칭을 수행할 수 있다. 매칭되지 않는 경우, 자연어로 판단할 수 있다. The
공기조화기(200a)의 제어부(240)는, 음성 데이터가 자연어로 판단하는 경우, 음성 인식을 위해, 도 24c와 같이, 자연어(1910)에 대응하는 음성 데이터(2414)를, 서버 시스템(100)으로 전송하도록 제어할 수 있다.The
그리고, 서버 시스템(100)으로부터, 결과 데이터(2418)를 수신할 수 있다.Then, the
한편, 결과 데이터 수신 이후, 공기조화기(200a)의 제어부(240)는, 도 24d와 같이, 수신한 데이터에 기초하여 "서울은 오후부터 비가 내려요" 등 날씨 정보를 포함하는 음성 안내 메시지(2120)를 출력하도록 제어할 수 있다.On the other hand, after receiving the result data, the
도 24e는, 도 24a 및 도 24b의 키워드 발화시(T1)부터 키워드에 대응하는 멘트 출력 시간(T2)까지의 제1 기간(P1)과, 도 24c 및 도 24d의 자연어 발화시(Ta)부터 자연어에 대응하는 멘트 출력 시간(Ta)까지의 제2 기간(Pa)을, 비교한 도면이다.24E shows a first period P1 from the keyword ignition T1 of Fig. 24A and Fig. 24B to the moment output time T2 corresponding to the keyword, and a second period P1 from the natural ignition timing Ta of Figs. 24C and 24D And the second period Pa up to the moment output time Ta corresponding to the natural language.
도면을 참조하면, 키워드 인식 기간(P1)이 자연어 인식 기간(P2) 보다 짧은 것을 알 수 있다.Referring to the drawing, it can be seen that the keyword recognition period P1 is shorter than the natural language recognition period P2.
본 발명과 같이, 간단한 명령어인 키워드 명령을, 홈 어플라이언스(200)의 내부에서 인식함으로써, 홈 어플라이언스의 동작을 신속하게 수행할 수 있게 되며, 복잡한 명령어인 자연어 명령을, 외부의 서버 시스템(100)을 통해 인식함으로써, 정확한 자연어 인식을, 함께 도모할 수 있게 된다.As described above, according to the present invention, by recognizing a keyword command, which is a simple command, in the
도 25a 내지 도 25c는 자연어 인식, 및 그에 대응하는 동작을 예시하는 도면이다.25A to 25C are diagrams illustrating natural language recognition and corresponding operations.
먼저, 도 25a는, "냄새 제거 해줘"와 같은 자연어(1910)의 발화시, 공기조화기(200a)가, 자연어(1910)에 대응하는 음성 데이터(2412)에 전송용 데이터(2414)가 부가된 데이터(2410)를, 서버 시스템(100)으로 전송하는 것을 예시한다.First, FIG. 25A shows a case in which when the
그리고, 서버 시스템(100)으로부터, 결과 데이터(2418)를 수신하는 것을 예시한다. Then, receiving the
결과 데이터(2418)의 수신에 따라, 공기조화기(200a)의 제어부(240)는, 공기 청정 운전이 수행되도록, 내부의 팬 모터를 구동하면서, 공기 청정 운전 관련 사운드(1920)를 출력하도록 제어할 수 있다. The
도 25b는, "절전 기능 켜줘"와 같은 자연어(2010)"의 발화시, 공기조화기(200a)가, 자연어(2010)에 대응하는 음성 데이터(2422)에 전송용 데이터(2424)와 카메라(210)로 촬영한 이미지 데이터((2423)가 부가된 데이터(2420)를, 서버 시스템(100)으로 전송하는 것을 예시한다.25B shows an example in which the
그리고, 서버 시스템(100)으로부터, 결과 데이터(2428)를 수신하는 것을 예시한다. Then, receiving the
또는, 공기조화기(200a)의 제어부(240)는, 음성 데이터(2422)와, 전송용 데이터(2424) 외에, 카메라(210)에서 획득한 비디오 데이터와, 현재 동작 상태 데이터를, 서버 시스템(100)으로 전송하도록 제어할 수 있다. Alternatively, the
이때, 서버 시스템(100)은, 카메라(210)에서 획득한 비디오 데이터와 현재 동작 상태 데이터에 기초하여, 풍향 각도 데이터를 결과 데이터 내에 부가하여, 전송할 수 있다. 이에 따라, 절전 모드가 수행될 수 있게 된다.At this time, the
결과 데이터(2428)의 수신에 따라, 공기조화기(200a)의 제어부는, 절전 운전이 수행되도록, 제어하면서, 절전 운전 관련 사운드(2020)를 출력하도록 제어할 수 있다. Upon reception of the
예를 들어, 도 25b와 같이, 공기조화기(200a)의 풍향의 각도가 θa인 경우, 공기조화기(200a)의 제어부는, 절전 운전이 수행되도록, 도 25c와 같이, 공기조화기(200a)의 풍향의 각도가 θa 보다 작은 θb가 되도록 제어할 수 있다. 이에 따라, 절전 운전이 수행될 수 있게 된다.25B, when the angle of the wind direction of the
도 26a 내지 도 26f는, 서버 시스템(100)으로부터 결과 데이터가 원활히 수신되지 않는 경우, 홈 어플라이언스, 특히 공기조화기(200a)에서 출력되는 다양한 멘트를 예시한다.26A to 26F illustrate various items output from the home appliance, particularly, the
먼저, 도 26a는, 자연어(2210)에 대응하는 음성 데이터 전송시, 공기조화기(200a)와 서버 시스템(100)과의 네트워크 연결이 되지않은 상태를 나타낸다.26A shows a state in which no network connection is established between the
이에 따라, 공기조화기(200a)의 제어부(240)는, "네트워크 연결이 원활하지 않습니다."와 같은 안내 멘트(2610)를 출력하도록 제어할 수 있다. Accordingly, the
다음, 도 26b는, 자연어(2210)에 대응하는 음성 데이터 전송시, 공기조화기(200a)와 서버 시스템(100)과의 네트워크 연결이 불안정한 상태를 나타낸다.Next, Fig. 26B shows a state in which network connection between the
이에 따라, 공기조화기(200a)의 제어부(240)는, "잠시만 기다려 주세요"와 같은 안내 멘트(2620)를 출력하도록 제어할 수 있다. Accordingly, the
다음, 도 26c는, 자연어(2210)에 대응하는 음성 데이터 전송시, 서버 시스템(100) 내의 자동 음성 인식 서버(111)의 지연 상태를 나타낸다.26C shows a delayed state of the automatic
이에 따라, 공기조화기(200a)의 제어부(240)는, "죄송합니다. 다시 한번 말씀해 주세요"와 같은 안내 멘트(2630)를 출력하도록 제어할 수 있다. Accordingly, the
다음, 도 26d는, 자연어(2210)에 대응하는 음성 데이터 전송시, 서버 시스템(100) 내의 자연어 처리 서버(112)의 지연 상태를 나타낸다.26D shows a delayed state of the natural
이에 따라, 공기조화기(200a)의 제어부(240)는, "음성 인식 서버에서 예외가 발생했습니다. 잠시 후에 다시 시도해 주세요"와 같은 안내 멘트(2640)를 출력하도록 제어할 수 있다. Accordingly, the
다음, 도 26d는, 자연어(2210)에 대응하는 음성 데이터 전송시, 서버 시스템(100) 내의 연계 서비스 서버(120)의 확인 버그 상태를 나타낸다.26D shows a confirmation bug status of the associated
이에 따라, 공기조화기(200a)의 제어부(240)는, "음성 시나리오 서버에서 예외가 발생했습니다."와 같은 안내 멘트(2650)를 출력하도록 제어할 수 있다. Accordingly, the
다음, 도 26e는, 자연어(2210)에 대응하는 음성 데이터 전송시, 서버 시스템(100) 내의 연계 서비스 서버(120)의 확인 지연 상태를 나타낸다.Next, Fig. 26E shows the confirmation delay state of the
이에 따라, 공기조화기(200a)의 제어부(240)는, "네트워크가 원활하지 않습니다. 잠시 후에 다시 시도해주세요."와 같은 안내 멘트(2660)를 출력하도록 제어할 수 있다. Accordingly, the
이와 같이, 각각의 증상에 따라, 서로 다른 멘트를 출력함으로써, 사용자 등은, 서버 시스템(100)의 상태를 간접적으로 확인할 수 있게 된다.As described above, by outputting different messages according to the respective symptoms, the user or the like can indirectly check the state of the
한편, 홈 어플라이언스(200)는, 네트워크 연결이 되지 않는 경우를 제외하고는, 서버 시스템(100)의 이상시, 서버 시스템(100)의 상태 데이터 등을 수신할 수 있다. 이에 따라, 도 26b 내지 도 26f의 다양한 멘트를 출력할 수 있게 된다.On the other hand, the
도 27은 본 발명의 일 실시예에 따른 홈 어플라이언스의 내부 블록도의 다른 예를 도시한 도면이다. 27 is a view showing another example of an internal block diagram of a home appliance according to an embodiment of the present invention.
도면을 참조하면, 홈 어플라이언스(200)는, 카메라(210), 사용자의 음성 명령을 수신하는 오디오 입력부(220), 조작부(230),각종 데이터를 저장하는 메모리(250), 다른 전자기기와 무선 통신하는 통신부(270), 각 홈 어플라이언스에 구현된 동작을 수행하는 구동부(280), 소정 정보를 영상으로 표시하는 디스플레이(292), 소정 정보를 오디오로 출력하는 오디오 출력부(291), 및, 전반적인 동작을 제어하는 제어부(240), 프로세서(260)를 포함할 수 있다.Referring to the drawings, a
도 27의 홈 어플라이언스(200)의 내부 블록도는, 도 11과 유사하나, 프로세서(260)가 더 구비되며, 오디오 입력부(220), 오디오 출력부(291), 통신부(270), 카메라(210), 및 프로세서(260)가 하나의 단일 모듈인 음성 인식 모듈(205) 내에 구비되는 것에 그 차이가 있다.The internal block diagram of the
한편, 프로세서(260)는, 오디오 입력부(220), 오디오 출력부(291), 통신부(270), 카메라(210) 등을 제어할 수 있다.The
이하에서는, 도 11과의 차이를 중심으로 기술한다.Hereinafter, the difference from Fig. 11 will be mainly described.
프로세서(260)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다. The
예를 들어, 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에, 프로세서(260)는 음성 명령어를 수신하기 위한 상태로 전환될 수 있다. 이 경우에, 프로세서(260)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 서버 시스템(100)을 통하여 수행할 수 있다.For example, when a wake up voice signal is received that includes a preset caller, the
프로세서(260)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성 명령을, 통신부(270)를 통하여, 음성 인식 서버 시스템(100)에 송신하도록 제어할 수 있다. The
또한, 프로세서(260)는 통신부(270)를 통해 홈 어플라이언스(200)의 상태 정보, 사용자의 음성 명령 등을 음성 인식 서버 시스템(100) 등으로 전송할 수 있다. The
한편, 통신부(270)를 통하여 제어 신호가 수신되면, 프로세서(260)는 제어 신호를 제어부(240)로 전송하고, 제어부(240)는 수신되는 제어 신호에 따라 동작하도록 홈 어플라이언스(200)를 제어할 수 있다.When the control signal is received through the
결국, 음성 인식 모듈(205)을 통해, 음성 데이터 획득, 서버 시스템(100)과의 통신, 및 대응하는 사운드 출력을 수행할 수 있게 된다.Eventually, through the
한편, 음성 인식 모듈(205)은, 도 2에서 도시한 홈 어플라이언스 외에, 다양한 전자 기기에 부착될 수 있다. 또는 다른 전자 기기에 부착되는 것 없이, 별도의 장치로서, 사용될 수도 있다.On the other hand, the
한편, 도 27의 프로세서(260)는, 도 11의 제어부(240)의 기능을 수행할 수 있으며, 특히, 도 22 내지 도 26f에 기술한 동작을 모두 수행할 수 있다.On the other hand, the
한편, 도 11 또는 도 27 등에서 기술한 구동부(280)는, 모터 구동부일 수 있으며, 이하에서는 모터 구동장치로 명명할 수도 있다.On the other hand, the driving
도 28은 본 발명의 실시예에 따른 모터 구동장치의 내부 블록도의 일예를 예시하고, 도 29는 도 28의 모터 구동장치의 내부 회로도의 일예이다.FIG. 28 illustrates an example of an internal block diagram of a motor driving apparatus according to an embodiment of the present invention, and FIG. 29 illustrates an example of an internal circuit diagram of the motor driving apparatus of FIG.
도면을 참조하여 설명하면, 본 발명의 실시예에 따른 모터 구동장치(280)는, 센서리스(sensorless) 방식으로 모터를 구동하기 위한 것으로서, 인버터(420), 인버터 제어부(430)를 포함할 수 있다.The
또한, 본 발명의 실시예에 따른 모터 구동장치(280)는, 컨버터(410), dc 단 전압 검출부(B), 평활 커패시터(C), 출력전류 검출부(E)를 포함할 수 있다. 또한, 구동부(280)는, 입력 전류 검출부(A), 리액터(L) 등을 더 포함할 수도 있다.The
이하에서는, 도 28, 및 도 29의 모터 구동장치(280) 내의 각 구성 유닛들의 동작에 대해 설명한다.Hereinafter, the operation of each of the constituent units in the
리액터(L)는, 상용 교류 전원(405, vs)과 컨버터(410) 사이에 배치되어, 역률 보정 또는 승압동작을 수행한다. 또한, 리액터(L)는 컨버터(410)의 고속 스위칭에 의한 고조파 전류를 제한하는 기능을 수행할 수도 있다. The reactor L is disposed between the commercial AC power source 405 (v s ) and the
입력 전류 검출부(A)는, 상용 교류 전원(405)으로부터 입력되는 입력 전류(is)를 검출할 수 있다. 이를 위하여, 입력 전류 검출부(A)로, CT(current trnasformer), 션트 저항 등이 사용될 수 있다. 검출되는 입력 전류(is)는, 펄스 형태의 이산 신호(discrete signal)로서, 인버터 제어부(430)에 입력될 수 있다.The input current detection section A can detect the input current (i s ) input from the commercial
컨버터(410)는, 리액터(L)를 거친 상용 교류 전원(405)을 직류 전원으로 변환하여 출력한다. 도면에서는 상용 교류 전원(405)을 단상 교류 전원으로 도시하고 있으나, 삼상 교류 전원일 수도 있다. 상용 교류 전원(405)의 종류에 따라 컨버터(410)의 내부 구조도 달라진다. The
한편, 컨버터(410)는, 스위칭 소자 없이 다이오드 등으로 이루어져, 별도의 스위칭 동작 없이 정류 동작을 수행할 수도 있다.Meanwhile, the
예를 들어, 단상 교류 전원인 경우, 4개의 다이오드가 브릿지 형태로 사용될 수 있으며, 삼상 교류 전원인 경우, 6개의 다이오드가 브릿지 형태로 사용될 수 있다. For example, in the case of a single-phase AC power source, four diodes may be used in the form of a bridge, and in the case of a three-phase AC power source, six diodes may be used in the form of a bridge.
한편, 컨버터(410)는, 예를 들어, 2개의 스위칭 소자 및 4개의 다이오드가 연결된 하프 브릿지형의 컨버터가 사용될 수 있으며, 삼상 교류 전원의 경우, 6개의 스위칭 소자 및 6개의 다이오드가 사용될 수도 있다. On the other hand, the
컨버터(410)가, 스위칭 소자를 구비하는 경우, 해당 스위칭 소자의 스위칭 동작에 의해, 승압 동작, 역률 개선 및 직류전원 변환을 수행할 수 있다.When the
평활 커패시터(C)는, dc단 커패시터라고도 명명될 수 있으며, 입력되는 전원을 평활하고 이를 저장한다. 도면에서는, 평활 커패시터(C)로 하나의 소자를 예시하나, 복수개가 구비되어, 소자 안정성을 확보할 수도 있다. The smoothing capacitor C, also referred to as a dc-stage capacitor, smoothes the input power supply and stores it. In the drawing, one element is exemplified by the smoothing capacitor C, but a plurality of elements are provided so that the element stability can be ensured.
한편, 도면에서는, 컨버터(410)의 출력단에 접속되는 것으로 예시하나, 이에 한정되지 않고, 직류 전원이 바로 입력될 수도 있다., 예를 들어, 태양 전지로부터의 직류 전원이 평활 커패시터(C)에 바로 입력되거나 직류/직류 변환되어 입력될 수도 있다. 이하에서는, 도면에 예시된 부분을 위주로 기술한다.For example, when a direct current power from the solar cell is supplied to the smoothing capacitor C (not shown), the direct current power is supplied to the smoothing capacitor C It may be input directly or may be DC / DC converted and input. Hereinafter, the portions illustrated in the drawings are mainly described.
한편, 평활 커패시터(C) 양단은, 직류 전원이 저장되므로, 이를 dc 단 또는 dc 링크단이라 명명할 수도 있다. On the other hand, both ends of the smoothing capacitor C are referred to as a dc stage or a dc stage because the dc power source is stored.
dc 단 전압 검출부(B)는 평활 커패시터(C)의 양단인 dc 단 전압(Vdc)을 검출할 수 있다. 이를 위하여, dc 단 전압 검출부(B)는 저항 소자, 증폭기 등을 포함할 수 있다. 검출되는 dc 단 전압(Vdc)은, 펄스 형태의 이산 신호(discrete signal)로서, 인버터 제어부(430)에 입력될 수 있다.The dc voltage detection unit B can detect the dc voltage Vdc at both ends of the smoothing capacitor C. [ For this purpose, the dc voltage detection unit B may include a resistance element, an amplifier, and the like. The detected dc voltage source Vdc can be input to the
인버터(420)는, 복수개의 인버터 스위칭 소자를 구비하고, 스위칭 소자의 온/오프 동작에 의해 평활된 직류 전원(Vdc)을 소정 주파수의 삼상 교류 전원(va,vb,vc)으로 변환하여, 삼상 동기 모터(530)에 출력할 수 있다. The
인버터(420)는, 각각 서로 직렬 연결되는 상암 스위칭 소자(Sa,Sb,Sc) 및 하암 스위칭 소자(S'a,S'b,S'c)가 한 쌍이 되며, 총 세 쌍의 상,하암 스위칭 소자가 서로 병렬(Sa&S'a,Sb&S'b,Sc&S'c)로 연결된다. 각 스위칭 소자(Sa,S'a,Sb,S'b,Sc,S'c)에는 다이오드가 역병렬로 연결된다. The
인버터(420) 내의 스위칭 소자들은 인버터 제어부(430)로부터의 인버터 스위칭 제어신호(Sic)에 기초하여 각 스위칭 소자들의 온/오프 동작을 하게 된다. 이에 의해, 소정 주파수를 갖는 삼상 교류 전원이 삼상 동기 모터(530)에 출력되게 된다. The switching elements in the
인버터 제어부(430)는, 센서리스 방식을 기반으로, 인버터(420)의 스위칭 동작을 제어할 수 있다. 이를 위해, 인버터 제어부(430)는, 출력전류 검출부(E)에서 검출되는 출력전류(io)를 입력받을 수 있다.The
인버터 제어부(430)는, 인버터(420)의 스위칭 동작을 제어하기 위해, 인버터 스위칭 제어신호(Sic)를 인버터(420)에 출력한다. 인버터 스위칭 제어신호(Sic)는 펄스폭 변조 방식(PWM)의 스위칭 제어신호로서, 출력전류 검출부(E)에서 검출되는 출력전류(io)을 기초로 생성되어 출력된다. 인버터 제어부(430) 내의 인버터 스위칭 제어신호(Sic)의 출력에 대한 상세 동작은 도 30를 참조하여 후술한다.The
출력전류 검출부(E)는, 인버터(420)와 삼상 모터(530) 사이에 흐르는 출력전류(io)를 검출한다. 즉, 모터(530)에 흐르는 전류를 검출한다. 출력전류 검출부(E)는 각 상의 출력 전류(ia,ib,ic)를 모두 검출할 수 있으며, 또는 삼상 평형을 이용하여 두 상의 출력 전류를 검출할 수도 있다.The output current detection section E detects the output current i o flowing between the
출력전류 검출부(E)는 인버터(420)와 모터(530) 사이에 위치할 수 있으며, 전류 검출을 위해, CT(current trnasformer), 션트 저항 등이 사용될 수 있다. The output current detection unit E may be located between the
션트 저항이 사용되는 경우, 3개의 션트 저항이, 인버터(420)와 동기 모터(530) 사이에 위치하거나, 인버터(420)의 3개의 하암 스위칭 소자(S'a,S'b,S'c)에 일단이 각각 접속되는 것이 가능하다. 한편, 삼상 평형을 이용하여, 2개의 션트 저항이 사용되는 것도 가능하다. When a shunt resistor is used, three shunt resistors are placed between the
한편, 1개의 션트 저항이 사용되는 경우, 상술한 커패시터(C)와 인버터(420) 사이에서 해당 션트 저항이 배치되는 것도 가능하다.On the other hand, when one shunt resistor is used, the shunt resistor may be disposed between the capacitor C and the
검출된 출력전류(io)는, 펄스 형태의 이산 신호(discrete signal)로서, 인버터 제어부(430)에 인가될 수 있으며, 검출된 출력전류(io)에 기초하여 인버터 스위칭 제어신호(Sic)가 생성된다. 이하에서는 검출된 출력전류(io)가 삼상의 출력 전류(ia,ib,ic)인 것으로 병행하여 기술할 수도 있다. The detected output current (i o) are, as discrete signals (discrete signal) of the pulse type, may be applied to the
한편, 삼상 모터(530)는, 고정자(stator)와 회전자(rotar)를 구비하며, 각상(a,b,c 상)의 고정자의 코일에 소정 주파수의 각상 교류 전원이 인가되어, 회전자가 회전을 하게 된다. On the other hand, the three-
이러한 모터(530)는, 예를 들어, 표면 부착형 영구자석 동기전동기(Surface-Mounted Permanent-Magnet Synchronous Motor; SMPMSM), 매입형 영구자석 동기전동기(Interior Permanent Magnet Synchronous Motor; IPMSM), 및 동기 릴럭턴스 전동기(Synchronous Reluctance Motor; Synrm) 등을 포함할 수 있다. 이 중 SMPMSM과 IPMSM은 영구자석을 적용한 동기 전동기(Permanent Magnet Synchronous Motor; PMSM)이며, Synrm은 영구자석이 없는 것이 특징이다. The
도 30은 도 29의 인버터 제어부의 내부 블록도이다.30 is an internal block diagram of the inverter control unit of FIG. 29;
도 30을 참조하면, 인버터 제어부(430)는, 축변환부(310), 속도 연산부(320), 전류 지령 생성부(330), 전압 지령 생성부(340), 축변환부(350), 및 스위칭 제어신호 출력부(360)를 포함할 수 있다.30, the
축변환부(310)는, 출력 전류 검출부(E)에서 검출된 삼상 출력 전류(ia,ib,ic)를 입력받아, 정지좌표계의 2상 전류(iα,iβ)로 변환한다.The
한편, 축변환부(310)는, 정지좌표계의 2상 전류(iα,iβ)를 회전좌표계의 2상 전류(id,iq)로 변환할 수 있다. On the other hand, the
속도 연산부(320)는, 축변환부(310)에서 축변화된 정지좌표계의 2상 전류(iα,iβ)에 기초하여, 연산된 위치()와 연산된 속도()를 출력할 수 있다.Based on the two-phase current (i?, I?) Of the stationary coordinate system changed in the axis by the
한편, 전류 지령 생성부(330)는, 연산 속도()와 속도 지령치(ω* r)에 기초하여, 전류 지령치(i* q)를 생성한다. 예를 들어, 전류 지령 생성부(330)는, 연산 속도()와 속도 지령치(ω* r)의 차이에 기초하여, PI 제어기(335)에서 PI 제어를 수행하며, 전류 지령치(i* q)를 생성할 수 있다. 도면에서는, 전류 지령치로, q축 전류 지령치(i* q)를 예시하나, 도면과 달리, d축 전류 지령치(i* d)를 함께 생성하는 것도 가능하다. 한편, d축 전류 지령치(i* d)의 값은 0으로 설정될 수도 있다. On the other hand, the current
한편, 전류 지령 생성부(330)는, 전류 지령치(i* q)가 허용 범위를 초과하지 않도록 그 레벨을 제한하는 리미터(미도시)를 더 구비할 수도 있다.On the other hand, the current
다음, 전압 지령 생성부(340)는, 축변환부에서 2상 회전 좌표계로 축변환된 d축, q축 전류(id,iq)와, 전류 지령 생성부(330) 등에서의 전류 지령치(i* d,i* q)에 기초하여, d축, q축 전압 지령치(v* d,v* q)를 생성한다. 예를 들어, 전압 지령 생성부(340)는, q축 전류(iq)와, q축 전류 지령치(i* q)의 차이에 기초하여, PI 제어기(344)에서 PI 제어를 수행하며, q축 전압 지령치(v* q)를 생성할 수 있다. 또한, 전압 지령 생성부(340)는, d축 전류(id)와, d축 전류 지령치(i* d)의 차이에 기초하여, PI 제어기(348)에서 PI 제어를 수행하며, d축 전압 지령치(v* d)를 생성할 수 있다. 한편, 전압 지령 생성부(340)는, d 축, q축 전압 지령치(v* d,v* q)가 허용 범위를 초과하지 않도록 그 레벨을 제한하는 리미터(미도시)를 더 구비할 수도 있다.Next, the voltage
한편, 생성된 d축, q축 전압 지령치(v* d,v* q)는, 축변환부(350)에 입력된다.On the other hand, the generated d-axis and q-axis voltage command values (v * d and v * q ) are input to the
축변환부(350)는, 속도 연산부(320)에서 연산된 위치()와, d축, q축 전압 지령치(v* d,v* q)를 입력받아, 축변환을 수행한다.The
먼저, 축변환부(350)는, 2상 회전 좌표계에서 2상 정지 좌표계로 변환을 수행한다. 이때, 속도 연산부(320)에서 연산된 위치()가 사용될 수 있다.First, the
그리고, 축변환부(350)는, 2상 정지 좌표계에서 3상 정지 좌표계로 변환을 수행한다. 이러한 변환을 통해, 축변환부(1050)는, 3상 출력 전압 지령치(v*a,v*b,v*c)를 출력하게 된다.Then, the
스위칭 제어 신호 출력부(360)는, 3상 출력 전압 지령치(v*a,v*b,v*c)에 기초하여 펄스폭 변조(PWM) 방식에 따른 인버터용 스위칭 제어 신호(Sic)를 생성하여 출력한다. The switching control
출력되는 인버터 스위칭 제어 신호(Sic)는, 게이트 구동부(미도시)에서 게이트 구동 신호로 변환되어, 인버터(420) 내의 각 스위칭 소자의 게이트에 입력될 수 있다. 이에 의해, 인버터(420) 내의 각 스위칭 소자들(Sa,S'a,Sb,S'b,Sc,S'c)이 스위칭 동작을 하게 된다.The output inverter switching control signal Sic may be converted into a gate driving signal in a gate driving unit (not shown) and input to the gate of each switching element in the
본 발명의 실시예에 따른 홈 어플라이언스, 및 음성 인식 모듈은, 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The configuration and method of the embodiments described above are not limited to be applied to the home appliance and the voice recognition module according to the embodiment of the present invention, All or some of them may be selectively combined.
한편, 본 발명의 홈 어플라이언스의 동작방법 또는 음성 인식 모듈의 동작방법은, 홈 어플라이언스 또는 음성 인식 모듈에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. Meanwhile, the method of operating the home appliance or the method of operating the voice recognition module of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the home appliance or the voice recognition module. The processor-readable recording medium includes all kinds of recording apparatuses in which data that can be read by the processor is stored.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.
Claims (15)
교류 전원을 출력하는 인버터를 구비하는 구동부;
음성을 획득하는 오디오 입력부;
음성 인식 처리를 수행하는 서버 시스템으로, 상기 오디오 입력부로부터의 음성 데이터를 전송하며, 상기 서버 시스템으로부터 상기 음성 데이터에 대한 인식 결과 데이터를 수신하는 통신부; 및
상기 구동부, 상기 오디오 입력부, 상기 통신부를 제어하는 제어부;를 포함하며,
상기 제어부는,
상기 음성 데이터 내에 기 저장된 키워드가 포함되는 경우, 키워드에 대응하는 동작을 수행하도록 제어하고,
상기 음성 데이터 내에 기 저장된 키워드가 포함되지 않고 자연어가 포함되는 경우, 상기 자연어를 포함하는 상기 음성 데이터를 상기 서버 시스템으로 전송하도록 제어하고, 상기 서버 시스템으로부터 결과 데이터를 수신하고, 상기 결과 데이터에 대응하는 동작을 수행하도록 제어하며,
상기 제어부는,
상기 서버 시스템과의 통신이 원활하지 않은 경우, 기 저장된 대기 멘트를 출력하도록 제어하며,
상기 서버 시스템으로부터 상기 결과 데이터가 수신되지 않는 경우, 재명령 요청 멘트를 출력하도록 제어하는 것을 특징으로 하는 홈 어플라이언스.An audio output unit;
A driving unit having an inverter for outputting AC power;
An audio input unit for acquiring audio;
A communication unit for transmitting voice data from the audio input unit and receiving recognition result data on the voice data from the server system, the server system performing voice recognition processing; And
And a controller for controlling the driving unit, the audio input unit, and the communication unit,
Wherein,
When the keyword stored in the voice data is included, controlling to perform an operation corresponding to the keyword,
Controlling the voice data including the natural language to be transmitted to the server system when the voice data does not include a pre-stored keyword and includes a natural language, receiving result data from the server system, To perform an operation to perform the operation,
Wherein,
When the communication with the server system is not smooth, controlling to output the previously stored queue,
And to output a re-order request message when the result data is not received from the server system.
상기 음성 데이터 내에 기 저장된 키워드가 포함된 경우의, 상기 키워드에 대응하는 동작시까지의 소요 기간은, 상기 음성 데이터 내에 자연어가 포함된 경우의, 상기 자연어에 대응하는 동작시까지의 소요 기간 보다 짧은 것을 특징으로 하는 홈 어플라이언스.The method according to claim 1,
The period of time required until the operation corresponding to the keyword when the keyword stored in the voice data is included is shorter than the required period until the operation corresponding to the natural language in the case where the natural language is included in the voice data Home appliances characterized by.
상기 키워드는, 상기 서버 시스템으로부터의 업데이트 데이터에 기초하여 업데이트되는 것을 특징으로 하는 홈 어플라이언스.The method according to claim 1,
Wherein the keyword is updated based on update data from the server system.
상기 제어부는
상기 결과 데이터에 음성 데이터가 포함되는 경우, 상기 오디오 출력부를 통해, 상기 결과 데이터에 대응하는 사운드가 출력되도록 제어하는 것을 특징으로 하는 홈 어플라이언스.The method according to claim 1,
The control unit
And controls to output a sound corresponding to the result data through the audio output unit when the result data include audio data.
상기 제어부는,
상기 서버 시스템으로부터 상기 결과 데이터가 수신되지 않는 횟수가 소정 횟수 이상인 경우, 상기 재명령 요청 멘트를 출력하도록 제어하는 것을 특징으로 하는 홈 어플라이언스.The method according to claim 1,
Wherein,
And to output the re-order request message when the number of times that the result data is not received from the server system is equal to or greater than a predetermined number of times.
상기 제어부는,
상기 서버 시스템 내의 자동 음성 인식 서버, 자연어 처리 서버, 연계 서비스 서버 중 어느 하나의 고장인 경우, 해당하는 대기 멘트를 출력하도록 제어하는 것을 특징으로 하는 홈 어플라이언스.The method according to claim 1,
Wherein,
Wherein the controller is configured to control to output a corresponding quote when a failure occurs in any one of an automatic speech recognition server, a natural language processing server, and a linkage service server in the server system.
음성을 획득하는 오디오 입력부;
음성 인식 처리를 수행하는 서버 시스템으로, 상기 오디오 입력부로부터의 음성 데이터를 전송하며, 상기 서버 시스템으로부터 상기 음성 데이터에 대한 인식 결과 데이터를 수신하는 통신부; 및
상기 오디오 입력부, 상기 통신부를 제어하는 프로세서;를 포함하며,
상기 프로세서는,
상기 음성 데이터 내에 기 저장된 키워드가 포함되는 경우, 키워드에 대응하는 동작을 수행하도록 제어하고,
상기 음성 데이터 내에 기 저장된 키워드가 포함되지 않고 자연어가 포함되는 경우, 상기 자연어를 포함하는 상기 음성 데이터를 상기 서버 시스템으로 전송하도록 제어하고, 상기 서버 시스템으로부터 결과 데이터를 수신하고, 상기 결과 데이터에 대응하는 동작을 수행하도록 제어하며,
상기 프로세서는,
상기 서버 시스템과의 통신이 원활하지 않은 경우, 기 저장된 대기 멘트를 출력하도록 제어하며,
상기 서버 시스템으로부터 상기 결과 데이터가 수신되지 않는 경우, 재명령 요청 멘트를 출력하도록 제어하는 것을 특징으로 하는 음성 인식 모듈.An audio output unit;
An audio input unit for acquiring audio;
A communication unit for transmitting voice data from the audio input unit and receiving recognition result data on the voice data from the server system, the server system performing voice recognition processing; And
A processor for controlling the audio input unit and the communication unit,
The processor comprising:
When the keyword stored in the voice data is included, controlling to perform an operation corresponding to the keyword,
Controlling the voice data including the natural language to be transmitted to the server system when the voice data does not include a pre-stored keyword and includes a natural language, receiving result data from the server system, To perform an operation to perform the operation,
The processor comprising:
When the communication with the server system is not smooth, controlling to output the previously stored queue,
And to output a re-order request message when the result data is not received from the server system.
상기 음성 데이터 내에 기 저장된 키워드가 포함된 경우의, 상기 키워드에 대응하는 동작시까지의 소요 기간은, 상기 음성 데이터 내에 자연어가 포함된 경우의, 상기 자연어에 대응하는 동작시까지의 소요 기간 보다 짧은 것을 특징으로 하는 음성 인식 모듈.10. The method of claim 9,
The period of time required until the operation corresponding to the keyword when the keyword stored in the voice data is included is shorter than the required period until the operation corresponding to the natural language in the case where the natural language is included in the voice data And a speech recognition module.
상기 키워드는, 상기 서버 시스템으로부터의 업데이트 데이터에 기초하여 업데이트되는 것을 특징으로 하는 음성 인식 모듈.10. The method of claim 9,
Wherein the keyword is updated based on update data from the server system.
상기 프로세서는
상기 결과 데이터에 음성 데이터가 포함되는 경우, 상기 오디오 출력부를 통해, 상기 결과 데이터에 대응하는 사운드가 출력되도록 제어하는 것을 특징으로 하는 음성 인식 모듈.10. The method of claim 9,
The processor
And controls the audio output unit to output a sound corresponding to the result data when the result data includes audio data.
상기 프로세서는,
상기 서버 시스템 내의 자동 음성 인식 서버, 자연어 처리 서버, 연계 서비스 서버 중 어느 하나의 고장인 경우, 해당하는 대기 멘트를 출력하도록 제어하는 것을 특징으로 하는 음성 인식 모듈.10. The method of claim 9,
The processor comprising:
Wherein the controller is configured to control the output of the corresponding quote message when any one of the automatic speech recognition server, the natural language processing server, and the linkage service server in the server system fails.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170042087A KR101936640B1 (en) | 2017-03-31 | 2017-03-31 | Home appliance, and voice recognition module |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170042087A KR101936640B1 (en) | 2017-03-31 | 2017-03-31 | Home appliance, and voice recognition module |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180111311A KR20180111311A (en) | 2018-10-11 |
KR101936640B1 true KR101936640B1 (en) | 2019-01-09 |
Family
ID=63864957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170042087A KR101936640B1 (en) | 2017-03-31 | 2017-03-31 | Home appliance, and voice recognition module |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101936640B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021223232A1 (en) * | 2020-05-08 | 2021-11-11 | 赣州市牧士电子有限公司 | Gaia ai voice control-based smart tv multilingual recognition system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014171144A1 (en) * | 2013-04-19 | 2014-10-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Control method for household electrical appliance, household electrical appliance control system, and gateway |
-
2017
- 2017-03-31 KR KR1020170042087A patent/KR101936640B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014171144A1 (en) * | 2013-04-19 | 2014-10-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Control method for household electrical appliance, household electrical appliance control system, and gateway |
Also Published As
Publication number | Publication date |
---|---|
KR20180111311A (en) | 2018-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3404655B1 (en) | Home appliance and method for operating the same | |
KR101976427B1 (en) | Method for operating voice recognition server system | |
KR101957169B1 (en) | Method for operating voice server | |
KR101924963B1 (en) | Method for operating home appliance | |
KR102112565B1 (en) | Method for operating home appliance and voice recognition server system | |
KR20180127100A (en) | Method for operating home appliance and voice recognition server system | |
KR20180110979A (en) | Voice server, voice recognition server system, and method for operating the same | |
KR101951328B1 (en) | Air conditioner, and home appliance | |
KR102188090B1 (en) | A smart home appliance, a method for operating the same and a system for voice recognition using the same | |
KR20180110974A (en) | Voice server, voice recognition server system, and method for operating the same | |
KR101965880B1 (en) | Method for voice recognition | |
KR101957170B1 (en) | Home appliance and method for operating the same | |
KR20100026353A (en) | Air conditioner and controlling method thereof | |
KR20190026519A (en) | Method for operating air conditioner | |
KR101949363B1 (en) | Home appliance | |
KR101936639B1 (en) | Home appliance and home appliance system | |
KR101936640B1 (en) | Home appliance, and voice recognition module | |
KR20180110971A (en) | Home appliance, and voice recognition module | |
KR102219800B1 (en) | Voice server, voice recognition server system, and method for operating the same | |
KR102219799B1 (en) | Voice server, voice recognition server system, and method for operating the same | |
US9998941B2 (en) | Mobile terminal and electronic device | |
KR20180110973A (en) | Home appliance and method for operating the same | |
KR20180111309A (en) | Home appliance, and Air conditioner | |
KR101965181B1 (en) | Home appliance, and voice recognition module | |
KR20190054707A (en) | Voice server, voice recognition server system, and method for operating the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |