KR20180111310A - 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템 - Google Patents

홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템 Download PDF

Info

Publication number
KR20180111310A
KR20180111310A KR1020170042086A KR20170042086A KR20180111310A KR 20180111310 A KR20180111310 A KR 20180111310A KR 1020170042086 A KR1020170042086 A KR 1020170042086A KR 20170042086 A KR20170042086 A KR 20170042086A KR 20180111310 A KR20180111310 A KR 20180111310A
Authority
KR
South Korea
Prior art keywords
home appliance
speech recognition
server
recognition algorithm
user
Prior art date
Application number
KR1020170042086A
Other languages
English (en)
Other versions
KR101989106B1 (ko
Inventor
오정규
권민구
김성학
신규열
임태형
한동우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020170042086A priority Critical patent/KR101989106B1/ko
Publication of KR20180111310A publication Critical patent/KR20180111310A/ko
Application granted granted Critical
Publication of KR101989106B1 publication Critical patent/KR101989106B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/283Processing of data at an internetworking point of a home automation network

Abstract

본 발명은, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템에 관한 것이다. 본 발명의 실시예에 따른 홈 어플라이언스는, 사용자 음성 명령을 수신하는 마이크와 제1 음성 인식 알고리즘을 저장하는 메모리와 사용자 음성 명령을, 서버로 전송하고, 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 서버로부터 수신하는 통신부 및 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 메모리에 저장된, 제1 음성 인식 알고리즘을 업데이트하도록 제어하는 제어부를 포함한다. 이에 따라, 음성 인식 알고리즘을 사용자 특성에 맞게 최적화 할 수 있다.

Description

홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템{Home appliance, voice recognition module and home appliance system}
본 발명은, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템에 관한 것으로, 보다 상세하게는, 음성 인식 알고리즘을 사용자 특성에 맞게 최적화할 수 있는, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템에 관한 것이다.
가정이나 사무실 등의 소정 공간에서 사용되는 공기조화기, 세탁기, 청소기 등 홈 어플라이언스(Home appliance)들은 각각 사용자의 조작에 따라 고유의 기능과 동작을 수행하였다.
이러한 홈 어플라이언스의 동작을 위해서, 사용자는, 홈 어플라이언스 본체에 구비된 버튼 등을 직접 조작하거나, 매번 본체로 이동하여 입력하여야 하는 불편함을 피해 리모콘 등의 원격제어장치를 사용할 수 있었다.
하지만, 리모콘을 사용하는 경우에도, 사용자가 기능별로 조작키를 선택하여 입력해야 하므로, 그 사용이 불편하고, 실내가 어두울 경우 리모콘 및 조작키를 식별하기 위한 별도의 조명이 필요하게 되는 문제점이 있었다.
따라서, 음성인식 기술을 이용하여 홈 어플라이언스를 제어하는 방안에 대한 연구가 증가하고 있다. 아울러 음성 인식 기능을 향상시키기 위한 업데이트 방법에 대한 연구도 활발히 진행되고 있는 실정이다.
종래 음성 인식 기술의 업데이트 방법은, 모든 대상 기기에 대해서 일률적인 버전의 업데이트 데이터가 배포되는 형식이었다.
그러나 음성 인식 기술의 경우, 개인별, 지역별, 연령별, 성별에 대한 인식 편차가 존재하여, 하나의 업데이트 데이터로 모두에게 같은 수준의 성능을 확보하기 어렵다는 문제점이 있다.
본 발명의 목적은, 음성 인식 알고리즘을 사용자 특성에 맞게 최적화 할 수 있는, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템을 제공함에 있다.
상기 목적을 달성하기 위한, 본 발명의 실시예에 따른 홈 어플라이언스는, 사용자 음성 명령을 수신하는 마이크와 제1 음성 인식 알고리즘을 저장하는 메모리와 사용자 음성 명령을, 서버로 전송하고, 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 서버로부터 수신하는 통신부 및 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 메모리에 저장된, 제1 음성 인식 알고리즘을 업데이트하도록 제어하는 제어부를 포함한다.
상기 목적을 달성하기 위한, 본 발명의 다른 실시예에 따른, 음성 인식 모듈은, 사용자 음성 명령을 수신하는 마이크와 제1 음성 인식 알고리즘을 저장하는 메모리와 사용자 음성 명령을, 서버로 전송하고, 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 서버로부터 수신하는 통신부 및 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 메모리에 저장된, 제1 음성 인식 알고리즘을 업데이트하도록 제어하는 프로세서를 포함한다.
상기 목적을 달성하기 위한, 본 발명의 또 다른 실시예에 따른, 홈 어플라이언스 시스템은, 제1 음성 인식 알고리즘을 저장하며, 사용자 음성 명령을 전송하는 홈 어플라이언스 및 제2 음성 인식 알고리즘을 저장하는 저장부와, 사용자 음성 명령을 수신하는 통신 모듈과, 제2 음성 인식 알고리즘을 기초로, 사용자 음성 명령을 인식하는 프로세서를 구비하는 서버를 포함하고, 서버는, 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 홈 어플라이언스로 전송하고, 제2 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 서버에 저장된, 제2 음성 인식 알고리즘을 업데이트하며, 홈 어플라이언스는, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 홈 어플라이언스에 저장된, 제1 음성 인식 알고리즘을 업데이트 한다.
본 발명의 일 실시예에 따르면, 홈 어플라이언스는, 서버로부터, 사용자 음성 인식 알고리즘 관련 업데이트 데이터를 받아 업데이트를 수행하므로, 사용자 특성에 맞게 최적화 된, 음성 인식 알고리즘을 제공할 수 있다.
또한, 홈 어플라이언스는, 사용자 특성에 맞는, 음성 인식 알고리즘의 주기적 혹은 비 주기적인 업데이트 데이터를 수신 받을 수 있다.
또한, 홈 어플라이언스는, 서버를 통해 개선된 음성 인식 알고리즘 관련 업데이트 데이터를 수신하여 업데이트를 진행하므로, 서버에 저장된 음성 인식 알고리즘의 업데이트에 비해, 모듈에 저장된 음성 인식 알고리즘의 업데이트가 어렵다는 문제점을 해결할 수도 있다.
또한, 홈 어플라이언스는, 음성 인식 알고리즘의 업데이트로 인하여, 사용자 음성 인식 성능을 향상 시킬 수 있다.
또한, 홈 어플라이언스는, 서버에 버전 정보를 요청하여, 서버에 저장된 버전이 최신 버전인 경우, 업데이트 데이터를 수신 받아 업데이트를 진행할 수 있으므로, 홈 어플라이언스는, 홈 어플라이언스에 저장된 음성 인식 알고리즘을 최신의 버전으로 유지하여, 개선된 음성 인식 기능을 제공할 수 있게 된다.
본 발명의 다른 실시예에 따르면, 음성 인식 모듈은, 서버로부터, 사용자 음성 인식 알고리즘 관련 업데이트 데이터를 받아 업데이트를 수행하므로, 사용자 특성에 맞게 최적화 된, 음성 인식 알고리즘을 제공할 수 있다.
본 발명의 또 다른 실시예에 따르면, 홈 어플라이언스 시스템은, 서버를 통해 음성 인식 알고리즘을 업데이트 하므로, 통합적인 업데이트 관리가 가능하다는 장점이 있다.
또한, 홈 어플라이언스 시스템은, 간단한 음성 인식은 홈 어플라이언스가 수행하고, 자연어 처리 등 고차원의 음성 인식을 서버에서 수행될 수 있어, 자연어 음성 제어가 갖는 장점은 그대로 유지하면서도, 간단한 명령에 대해서는, 서버와 무관하게 즉각적인 대응이 가능하다.
또한, 홈 어플라이언스 시스템은, 지역별 언어 차이에 의한 사용자 지역 음성 인식 알고리즘을 이용하므로, 음성 인식 기술의 경우, 지역별 인식 편차가 존재하여, 하나의 소프트웨어로 모두에게 같은 수준의 성능을 확보하기 어렵다는 문제점을 해결할 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 홈 어플라이언스 시스템의 구성도이다.
도 2는, 홈 어플라이언스의 다양한 예를 설명하는 도면이다.
도 3은, 본 발명의 일 실시예에 따른 서버의 내부 블록도이다.
도 4a 내지 도 4b는, 본 발명의 일 실시예에 따른, 음성 인식 서버 시스템의 일 예이다.
도 5a는, 본 발명의 일 실시예에 따른, 홈 어플라이언스의 간략한 내부 블록도이다.
도 5b는, 본 발명의 다른 실시예에 따른, 홈 어플라이언스의 간략한 내부 블록도이다.
도 6은, 본 발명의 일 실시예에 따른, 공기조화기의 내부 블록도의 일부를 도시한 도면이다.
도 7 내지 도 8는, 본 발명의 일 실시예에 따른, 공기조화기의 외관을 간략히 도시한 도면이다.
도 9는, 본 발명의 일 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도 10은, 본 발명의 다른 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도 11는, 도 9의 동작방법을 설명하기 위한 참조도면이다.
도 12은, 본 발명의 또 다른 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도 13는, 도 12의 동작 방법을 설명하기 위한 참조도면이다.
도 14는, 본 발명의 또 다른 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작방법에 대한 순서도이다.
도 15은 내지 도 16은, 도 14의 동작 방법을 설명하기 위한 참조도면이다.
도 17은, 본 발명의 또 다른 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작 방법에 대한 순서도이다.
도 18는, 도 17의 동작방법을 설명하기 위한 참조도면이다.
도 19a 내지 도 19C는, 본 발명의 설명에 참조되는 도면이다.
도 20 내지 도 21은, 본 발명의 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 “모듈” 및 “부”는 서로 혼용되어 사용될 수도 있다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것들의 존재, 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은, 본 발명의 일 실시예에 따른, 홈 어플라이언스 시스템의 구성도이다.
도면을 참조하면, 발명의 일 실시예에 따른 홈 어플라이언스 시스템(10)은, 통신 모듈(미도시)을 구비하여 다른 기기와 통신하거나 네트워크에 접속할 수 있는 홈 어플라이언스(home appliance, 200)와 서버(400)를 포함 하여 구성될 수 있다.
또한, 본 발명의 일 실시예에 따른 홈 어플라이언스 시스템(10)은, 스마트 폰(smart phone), 태블릿(Tablet) PC 등 휴대 단말기(미도시)를 포함할 수 있다.
홈 어플라이언스(200)는, 내부에 통신 모듈을 구비하여 홈 어플라이언스 시스템(10) 내/외부의 전자기기들과 통신할 수 있다.
예를 들어, 홈 어플라이언스 시스템(10) 내에 복수의 홈 어플라이언스(200)가 존재하는 경우, 복수의 홈 어플라이언스(200)는, 통신 모듈을 통해 서로 정보 전송이 가능할 수 있다.
본 발명의 일 실시예에 따른 홈 어플라이언스 시스템(10)은, 액세스 포인트(access point: AP) 장치(300)를 더 포함할 수 있고, 홈 어플라이언스(200)는 액세스 포인트 장치(300)를 통하여 무선 인터넷 네트워크에 접속하여 다른 기기들과 통신할 수 있다.
액세스 포인트 장치(300)는, 홈 어플라이언스 시스템(10) 내의 전자 기기들에, 소정 통신 방식에 의한 무선 채널을 할당하고, 해당 채널을 통해, 무선 데이터 통신을 수행할 수 있다.
여기서, 소정 통신 방식은, 와이파이(Wi-Fi) 통신 방식일 수 있다. 이에 대응하여, 홈 어플라이언스(200)가 구비하는 통신 모듈은 와이파이 통신 모듈일 수 있으나, 본 발명은 통신 방식에 한정되지 않는다.
또는, 홈 어플라이언스(200)는, 다른 종류의 통신 모듈을 구비하거나 복수의 통신 모듈을 구비할 수 있다. 예를 들어, 홈 어플라이언스(200)는 NFC 모듈, 지그비(zigbee) 통신 모듈, 블루투스(Bluetooth™) 통신 모듈 등을 포함할 수 있다.
홈 어플라이언스(200)는, 와이파이(wi-fi) 통신 모듈 등을 통해 홈 어플라이언스 시스템에 포함되는 서버 또는 외부의 소정 서버, 사용자의 휴대 단말기 등과 연결 가능하고, 원격 모니터링, 원격 제어 등 스마트 기능을 지원할 수 있다.
사용자는 휴대 단말기를 통하여 홈 어플라이언스 시스템(10) 내의 홈 어플라이언스(200)에 관한 정보를 확인하거나 홈 어플라이언스(200)를 제어할 수 있다.
한편, 어떤 기능을 발휘하는 기계장치를 만든다고 할 때, 그것을 제어하는 모든 회로를 하드웨어로만 만든다면, 그 구조도 복잡해질 수 있다. 이경우, 상당 부분을 소프트웨어로 대체하되, 그 소프트웨어에 저장된 기억 장치를 하드웨어의 중심부분으로 구성하면, 매우 간단하면서도 적은 비용으로 문제를 해결할 수 있게 되어 유용할 수 있다.
따라서, 홈 어플라이언스(200)는, 유선 또는 무선 네트 워크를 통해 펌웨어(Firmware) 업데이트를 수행 할 수 있고, 무선상에서 펌웨어 업데이트 하는 것을 FOTA(Firmware Over The Air)라고 할 수 있다.
또한, 홈 어플라이언스(200)는, 서버(400)에 접속하여, 제품 등록을 수행 할 수 있으며, 최신 펌웨어 다운로드, 애플리케이션 다운로드, 최신 운전 코스 다운로드, 최신 동작 프로그램 다운로드, 기타 프로그램 다운로드 등을 수행할 수 있다.
또한, 구동부(280)의 출력, 원격 고장 진단 주기, 각 제어부와의 통신 주기 등을 변경 할 수 있는 소프트웨어의 업데이트도 가능할 수 있다.
다른 예로, 홈 어플라이언스는(200), 음성 인식 및 가전 제어를 위한 복수의 서버를 포함하는 음성 인식 서버 시스템(100)에 접속 할 수도 있다.
홈 어플라이언스(200)가, 음성 인식 서버 시스템(100)에 접속하는 경우, 홈 어플라이언스(200)는, 사용자 음성 인식을 위한 알고리즘을, 메모리(250)에 저장할 수 있다. 홈 어플라이언스(200)에 저장되는 음성 인식 알고리즘을 제1 음성 인식 알고리즘이라고 할 수 있다.
한편, 음성 인식 서버 시스템(100)은, 사용자 음성 인식을 위한 알고리즘을, 저장부(401)에 저장할 수 있고, 이를 제2 음성 인식 알고리즘이라고 할 수 있다.
한편, 사용자 음성 명령 중 비교적 간단한 어휘의 호출어 또는, 키워드 음성 명령은, 홈 어플라이언스(200)의 제1 음성 인식 알고리즘에 의해 인식되어, 홈 어플라이언스(200)의 동작을 제어할 수 있다.
또한, 사용자 음성 명령 중 자연어 음성 명령은, 음성 인식 서버 시스템(100)에 전송되어, 제2 음성 인식 알고리즘에 의해 인식될 수 있다. 이 경우, 서버(400)는 인식 결과를 텍스트 형식의 파일로 변환하여 홈 어플라이언스(200)에 전송하고, 홈 어플라이언스(200)는, 이를 기초로 홈 어플라이언스(200)의 동작을 제어할 수 있다.
한편, 상기와 같이, 서버(400)는, 음성 인식 및 가전 제어를 위한 복수의 서버를 포함하는 음성 인식 서버 시스템(100)을 포함하여 구성될 수 있고, 이하에서는, 서버(400)가, 음성 인식 서버 시스템(100)을 포함하여 구성되는 경우, 음성 인식 서버 시스템(100)을 서버(400)라고 통칭하여 명명할 수 있다.
한편, 음성 인식 기술의 경우, 개인별, 지역별, 연령별, 성별에 대한 인식 편차가 존재하여, 하나의 업데이트 데이터로 모두에게 같은 수준의 성능을 확보하기 어렵다는 문제점이 있다.
본 발명의 일 실시예에 따른, 서버(400)는, 사용자 음성 명령을 기초로, 기계 학습에 의해 사용자 음성 인식 관련 업데이트 데이터를 생성할 수 있다. 또한, 서버(400)는 이를 기초로, 홈 어플라이언스(200)에 제1 음성 인식 알고리즘 관련 업데이트 데이터를 전송하거나, 서버(400)에 저장된 제2 음성 인식 알고리즘을 업데이트 할 수 있다. 이에 따라, 사용자 특성에 맞는 음성 인식 알고리즘을 제공할 수 있게 된다.
한편, 상기 홈 어플라이언스 시스템(10)에 포함되는 서버(400)들 중 적어도 일부는 홈 어플라이언스의 제조 회사, 판매 회사가 운영하는 서버(400)거나 제조 회사 또는 판매 회사가 서비스를 위탁한 회사가 운영하는 서버(400)일 수 있다.
도 2는, 홈 어플라이언스의 다양한 예를 설명하는 도면이다.
도 2를 참조하면, 홈 어플라이언스(200)에는 통신 모듈을 구비한 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 세탁기(200d), 조리기기(200e) 등이 해당될 수 있다. 한편, 홈 어플라이언스(200)는, 다양한 예가 더 가능하다.
도 3은, 본 발명의 일 실시예에 따른, 서버의 내부 블록도이다.
도면을 참조하면, 서버(400)는, 펌웨어 업데이트를 위한 서버일 수 있다. 또한, 서버(400)는, 음성 인식 및 가전 제어를 위한 복수의 서버를 포함하는, 음성 인식 서버 시스템(100)을 포함하여 구성될 수 있다.
서버(400)가, 음성 인식 서버 시스템(100)으로 구성될 경우, 서버(400)는, 음성 인식 알고리즘을 저장하는 저장부(401)와, 사용자 음성 명령을 수신하는 통신 모듈(403)과, 음성 인식 알고리즘을 기초로, 사용자 음성 명령을 인식하는 프로세서를 구비할 수 있다. 한편, 저장부(401)에 저장된 음성 인식 알고리즘을 제2 음성 인식 알고리즘이라고 할 수 있다.
저장부(401)는, 수신되는 정보를 저장하고, 이에 대응하는 결과 정보 생성을 위한 데이터를 구비할 수 있다. 또한, 저장부(401)는, 홈 어플라이언스(200) 전반의 동작에 관한 데이터를 저장할 수 있다.
저장부(401)는, 음성 인식 알고리즘 업데이트 데이터의 버전 정보, 히스토리 정보, 빌드 번호 등을 저장할 수 있다. 예를 들어, 서버(400)가 펌웨어 업데이트를 위한 서버(400)인 경우, 저장부(401)는, 펌웨어 업데이트 데이터의 버전 정보, 펌웨어 업데이트의 히스토리 정보, 펌웨어 업데이트 빌드 번호 등을 저장할 수 있다. 또한, 저장부(410)는, 홈 어플라이언스(200)의 전력 사용량, 전력 사용시간, 자주 사용하는 애플리케이션정보, 사용자 주소등의 정보도 저장할 수 있다.
또한, 서버(400)가 음성 인식 서버 시스템(100)을 포함하여 구성되는 경우, 저장부(401)는, 사용자 음성 명령을 기초로 기계 학습에 의해 생성되는 음성 인식 관련 업데이트 데이터의 버전 정보, 히스토리 정보, 빌드 번호 등을 저장할 수 있다. 또한, 저장부(410)는 사용자 특성 데이터를 저장 및 분류 할 수 있고, 상기 사용자 특성데이터는, 사용자 목소리 톤, 세기, 빠르기, 자주 사용하는 키워드, 성별, 나이, 생체정보, 지역별 언어차이 등 일 수 있다.
통신 모듈(403)은, 휴대 단말기, 홈 어플라이언스(200), 다른 서버 등으로부터 상태 정보, 동작 정보, 조작 정보, 음성 데이터, 문자 데이터 등 각종 데이터를 수신할 수 있다.
또한, 통신 모듈(403)은, 수신되는 각종 정보에 대응하는 데이터를 그대로 또는 소정 처리 후에 휴대 단말기, 공기조화기 등 홈 어플라이언스(200), 다른 서버 등으로 송신할 수 있다.
통신 모듈(403)은, 홈 어플라이언스(200) 또는 이동 단말기로부터, 홈 어플라이언스(200)와 관련한 제품 정보 등을 수신할 수 있으며, 이에 따라, 해당 홈 어플라이언스(200)의 등록 완료 시 등록 완료 정보를 전송할 수 있다.
통신 모듈(403)은, 홈 어플라이언스(200)의 펌웨어 업데이트를 위해, 홈 어플라이언스(200)로부터 펌웨어 업데이트의 버전 정보를 수신 받거나, 저장부(401)에 저장된 펌웨어 업데이트 버전 정보를, 홈 어플라이언스(200)로 전송 할 수 있다.
통신 모듈(403)은, 홈 어플라이언스(200) 또는 이동 단말기로부터, 홈 어플라이언스(200)의 펌웨어 업데이트 요청을 수신할 수 있으며, 이에 따라, 업데이트된 펌웨어를, 홈 어플라이언스(200) 또는 이동 단말기로 전송할 수 있다.
통신 모듈(403)은, 홈 어플라이언스(200) 또는 이동 단말기로부터, 홈 어플라이언스(200)음성 명령을 수신할 수 있다. 그리고 음성 인식된 텍스트 형식의 음성 데이터를 홈 어플라이언스(200) 또는 이동 단말기로 전송할 수 있다.
통신 모듈(403)은, 홈 어플라이언스(200)에 저장된, 제1 음성 인식 알고리즘의 업데이트를 위한, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 홈 어플라이언스(200)로 전송 할 수 있다.
제1 음성 인식 알고리즘 관련 업데이트 데이터의 전송은, 비 주기적으로도 가능하고, 시간, 일, 주, 월 및 년의 기간 중 하나 이상의 일정 기간 간격으로도 할 수 있다.
이를 위해, 통신 모듈(330)은, 인터넷 모듈, 이동 통신 모듈 등 하나 이상의 통신 모듈(330)을 구비할 수 있다.
프로세서(402)는, 서버(400)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(402)는, 홈 어플라이언스(200) 또는 이동 단말기로부터, 펌웨어 업데이트 요청을 수신하는 경우, 업데이트된 펌웨어를 홈 어플라이언스(200) 또는 이동 단말기로 전송하도록 제어할 수 있다.
다른 예로, 음성 인식 서버 시스템(100)의 경우, 저장부(401)는, 홈 어플라이언스(200) 또는 이동 단말기로부터 수신되는 음성 데이터를, 제2 음성 인식 알고리즘을 이용하여, 텍스트 형식의 음성 데이터로 변환한 후, 변환된 음성 데이터를, 홈 어플라이언스(200) 또는 이동 단말기로 전송하도록 제어할 수 있다.
또 다른 예로, 프로세서(402)는, 홈 어플라이언스(200) 또는 이동 단말기로부터, 제품 정보를 수신하는 경우, 제품 등록하도록 제어할 수 있다.
한편, 서버(400)는, 홈 어플라이언스 제조사가 운영하는 서버 또는 서비스 제공자가 운영하는 서버일 수 있고, 일종의 클라우드(Cloud) 서버일 수 있다.
도 4a는, 본 발명의 일 실시예에 따른, 음성 인식 서버 시스템의 일 예이다.
도면을 참조하면, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100)은, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 분석하여 음성 명령을 판별하는 음성 서버(110)를 포함할 수 있다. 한편, 음성 데이터는, 홈 어플라이언스(200a)로부터 수신한, 사용자 음성 명령일 수 있다.
음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 상기 수신한 음성 데이터를 텍스트(text) 데이터로 변환하며, 텍스트 데이터를 분석하여 음성 명령을 판별할 수 있다.
또한, 음성 서버(110)는, 판별한 음성 명령에 대응하는 신호를 소정 서버로 송신할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100)은, 상기 음성 서버(110)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신하고, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하는 연계 서비스 서버(120)와 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200a)로 송신하는 가전 제어 서버(130)를 포함할 수 있다.
상기 홈 어플라이언스(200a)는, 사용자가 발화한 음성 명령 입력을 수신하여 수신한 음성 명령 입력에 기초한 음성 데이터를 상기 음성 서버(110)로 송신할 수 있다.
상기 음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition: ASR) 서버(111), 상기 자동 음성 인식 서버(111)로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하며, 상기 판별한 음성 명령에 기초하는 응답 신호를 상기 홈 어플라이언스(200a)로 송신하는 자연어 처리(Natural Language Processing: NLP) 서버(112), 및, 상기 홈 어플라이언스(200a)로부터 상기 응답 신호에 대응하는 텍스트를 포함하는 신호를 수신하고, 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200a)로 송신하는 텍스트 음성 변환(Text to Speech: TTS) 서버(113)를 포함할 수 있다.
상기 자동 음성 인식 서버(111)는 홈 어플라이언스(200a)로부터 수신한 음성 데이터에 대하여 음성 인식을 수행하여 텍스트 데이터를 생성하여 상기 자연어 처리 서버(112)로 송신할 수 있다.
상기 자연어 처리 서버(112)는 상기 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터를 자연어 처리 알고리즘에 따라 분석하여 음성 명령을 판별할 수 있다. 자연어 처리 알고리즘은 제2 음성 인식 알고리즘이라고 할 수 있다.
상기 자연어 처리 서버(112)는 자연어 처리 알고리즘에 따라 사람이 일상적으로 사용하고 있는 언어인 자연어를 처리할 수 있고, 사용자의 의도(intent)를 분석할 수 있다. 상기 자연어 처리 서버(112)는 상기 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터에 대하여 자연어 처리를 수행하여 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다.
이에 따라, 상기 자연어 처리 서버(112)는 사용자가 일상적인 사용 언어로 음성 명령을 입력하더라도 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다.
상기 자연어 처리 서버(112)는 자연어 처리 결과에 대응하는 신호, 즉, 판별한 음성 명령에 대응하는 신호를 상기 연계 서비스 서버(120)로 송신할 수 있다.
상기 연계 서비스 서버(120)는, 상기 자연어 처리 서버(112)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신할 수 있다.
상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이면, 상기 가전 제어 서버(130)와 통신하여 대응하는 동작을 수행할 수 있다.
또는, 상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이 아니면, 외부 서비스(121)와 통신하여 대응하는 동작을 수행할 수 있다.
예를 들어, 상기 연계 서비스 서버(120)는 판별한 음성 명령이 날씨, 주식, 뉴스 등의 정보를 요청하는 명령이면, 요청된 정보에 대응하는 서비스를 제공하는 서버로 해당 정보를 요청하고 수신할 수 있다.
또한, 상기 연계 서비스 서버(120)는 수신한 정보를 음성 서버(110)로 송신할 수 있고, 상기 자연어 처리 서버(112)는 수신한 정보를 홈 어플라이언스(200a)로 전달할 수 있다.
상기 연계 서비스 서버(120)는 판별한 음성 명령이 홈 어플라이언스(200a)에 관한 것이면, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하여 상기 가전 제어 서버(130)로 송신할 수 있다.
상기 가전 제어 서버(130)는, 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200a)로 송신할 수 있다.
예를 들어, 공기조화기(200a)의 설정 온도를 변경하는 요청이 수신되면, 상기 가전 제어 서버(130)는 상기 공기조화기(200a)로 설정 온도를 변경하는 제어 신호를 송신할 수 있다.
한편, 홈 어플라이언스(200a)는 상기 가전 제어 서버(130)로부터 수신한 제어 신호에 따라 대응하는 동작을 수행할 수 있다.
또한, 홈 어플라이언스(200a)는 요청 받은 동작을 수행한 후 동작을 수행하였음을 알리는 신호를 상기 가전 제어 서버(130)로 송신할 수 있다.
또한, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200a)로부터 상기 제어 신호에 대한 응답 신호를 수신하고, 상기 응답 신호에 대응하는 처리 결과 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.
상기 음성 서버(110)는, 상기 처리 결과 정보를 포함하는 응답 신호를 상기 홈 어플라이언스(200a)로 송신할 수 있다.
또한, 상기 음성 서버(110)는, 상기 홈 어플라이언스(200a)로부터 상기 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함하는 신호를 수신하고, 상기 수신한 출력 문구 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200a)로 전송할 수 있다.
이 경우에, 상기 자연어 처리 서버(112)가 상기 홈 어플라이언스(200a)로 송신하는 상기 판별한 음성 명령에 기초하는 응답 신호는, 상기 처리 결과 정보를 포함할 수 있다.
한편, 홈 어플라이언스(200a)는 상기 자연어 처리 서버(112)로부터 상기 판별한 음성 명령에 기초하는 응답 신호를 수신할 수 있다. 여기서, 응답 신호를 상기 판별한 음성 명령에 대응하는 응답의 텍스트 데이터를 포함할 수 있다.
예를 들어, 사용자가 공기조화기의 설정 온도를 변경하는 음성 명령을 입력한 경우에, 상기 응답 신호는 설정 온도를 변경하였음을 나타내는 텍스트 데이터를 포함할 수 있다.
한편, 홈 어플라이언스(200a)는 수신한 응답 신호에 대응하는 텍스트를 포함하는 신호를 상기 텍스트 음성 변환 서버(113)로 송신할 수 있다. 여기서, 상기 응답 신호에 대응하는 텍스트를 포함하는 신호는 상기 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함할 수 있다.
한편, 상기 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 상기 홈 어플라이언스(200a)로 송신할 수 있다. 여기서 변환된 음성 데이터는 음원 파일을 포함할 수 있다.
상기 홈 어플라이언스(200a)는 스피커를 통하여 수신한 음성 데이터에 기초한 음성 안내 메시지를 출력할 수 있다.
한편, 상기 연계 서비스 서버(120)는, 상기 판별한 음성 명령에 대응하는 신호에 기초하여 상기 홈 어플라이언스(200a)의 상태 정보를 상기 가전 제어 서버(130)로 요청하고, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200a)의 상태 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다. 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200a)의 상태 정보가 확보되어 있는 상태가 아닌 경우에는, 상기 홈 어플라이언스(200a)로 상태 정보를 요청하여 수신할 수 있다.
한편, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200a)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 가능한 경우에, 상기 가전 제어 서버(130)로 상기 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.
또는, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200a)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 불가능한 경우에, 상기 자연어 처리 서버(112)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.
이 경우에도, 홈 어플라이언스(200a)는 상기 텍스트 음성 변환 서버(113)로 음성 데이터를 요청, 수신하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.
실시예에 따라서는, 상기 음성 서버(110)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 예를 들어, 사용자의 음성 명령의 의도를 분석한 상기 자연어 처리 서버(112)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다.
이 경우에, 상기 판별한 음성 명령이 지원 불가능한 명령을 포함하고 있는 경우, 상기 자연어 처리 서버(112)가 송신하는 상기 판별한 음성 명령에 기초하는 응답 신호는 상기 판별한 음성 명령이 상기 홈 어플라이언스(200a)가 지원하지 않는 기능임을 알리는 신호일 수 있다.
본 발명의 일 실시예에 따른, 음성 인식 서버 시스템(100)은, 자연어 음성처리를 위해 여러 역할을 하는 서버를 유기적으로 연결하여 이용할 수 있다.
홈 어플라이언스(200)는 음성 명령의 수신 및 전 처리, 서버 전송까지의 동작을 수행하고, 음성 서버(110)는, 음성/텍스트 변환, 의도분석, 명령 식별 등 자연어 처리 과정을 수행할 수 있다.
음성 서버(110)가 자연어 처리를 수행함으로써, 홈 어플라이언스 내부 임베디드 모듈의 CPU, 메모리 등의 부담을 감소시킬 수 있다.
도 4b는 본 발명의 일 실시예에 따른 음성 인식 서버 시스템의 일 예이다.
도 4b에서 예시된 음성 인식 서버 시스템(100)은, 도 4a에서 예시된 음성 인식 서버 시스템(100)의 음성 안내 메시지 출력을 위한 음성 데이터가 홈 어플라이언스(200a)로 전송되는 과정을 개선하여 음성 제어 응답 시간을 향상한 것이다.
따라서, 도 4a와 도 4b에서 예시된 음성 인식 서버 시스템(100)은 상기 차이점 이외의 동작은 실질적으로 동일하게 수행할 수 있고, 이하에서는 동일한 부분에 대해서는 간략히 기술한다.
도면을 참조하면, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100)은, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 분석하여 음성 명령을 판별하는 음성 서버(110)를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 음성 인식 서버 시스템(100)은, 상기 음성 서버(110)로부터 상기 판별한 음성 명령에 대응하는 신호를 수신하고, 상기 판별한 음성 명령에 대응하는 요청 신호를 생성하는 연계 서비스 서버(120)와 상기 연계 서비스 서버(120)로부터 수신되는 요청 신호에 기초하는 제어 신호를 상기 홈 어플라이언스(200a)로 송신하는 가전 제어 서버(130)를 더 포함할 수 있다.
도 4b에서 예시된 음성 인식 서버 시스템(100)은, 홈 어플라이언스(200a)의 요청 없이도, 상기 음성 서버(110)가 상기 음성 명령에 기초하는 처리 결과 정보를 포함하는 음성 데이터를 상기 홈 어플라이언스(200a)로 송신할 수 있다.
상기 음성 서버(110)는, 홈 어플라이언스(200a)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식 서버(111), 상기 자동 음성 인식 서버(111)로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리 서버(112), 및, 상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여 상기 홈 어플라이언스(200a)로 송신하는 텍스트 음성 변환 서버(113)를 포함할 수 있다.
본 실시예에서도, 상기 가전 제어 서버(130)는, 상기 홈 어플라이언스(200a)로부터 상기 제어 신호에 대한 응답 신호를 수신하고, 상기 응답 신호에 대응하는 처리 결과 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.
상기 연계 서비스 서버(120)는 음성 서버(110), 더욱 상세하게는 자연어 처리 서버(112)로 상기 처리 결과 정보를 전달할 수 있다.
이 경우에, 상기 텍스트 음성 변환 서버(113)가 상기 홈 어플라이언스(200a)로 송신하는 음성 데이터는, 상기 처리 결과 정보를 포함할 수 있다.
또한, 상기 연계 서비스 서버(120)는, 상기 판별한 음성 명령에 대응하는 신호에 기초하여 상기 홈 어플라이언스(200a)의 상태 정보를 상기 가전 제어 서버로 요청하고, 상기 가전 제어 서버는, 상기 홈 어플라이언스(200a)의 상태 정보를 상기 연계 서비스 서버(120)로 송신할 수 있다.
또한, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200a)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 가능한 경우에, 상기 가전 제어 서버(130)로 상기 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.
또는, 상기 연계 서비스 서버(120)는, 상기 홈 어플라이언스(200a)의 상태 정보에 기초하여 상기 판별한 음성 명령의 지원이 불가능한 경우에, 상기 음성 서버(110)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.
예를 들어, 상기 연계 서비스 서버(120)는 상기 자연어 처리 서버(112)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다.
또한, 상기 자연어 처리 서버(112)는 상기 텍스트 음성 변환 서버(113)로 현재 상태에서 지원되지 않는 기능임을 알리는 신호를 전달하고, 상기 텍스트 음성 변환 서버(113)는 대응하는 음성 데이터를 생성하여 홈 어플라이언스(200a)로 송신할 수 있다.
홈 어플라이언스(200a)는 상기 텍스트 음성 변환 서버(113)로부터 음성 데이터를 수신하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.
실시예에 따라서는, 상기 음성 서버(110)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다. 예를 들어, 사용자의 음성 명령의 의도를 분석한 상기 자연어 처리 서버(112)가, 상기 판별한 음성 명령의 지원 가능 유무를 판별할 수 있다.
이 경우에, 상기 판별한 음성 명령이 지원 불가능한 명령을 포함하고 있는 경우, 상기 자연어 처리 서버(112)가 송신하는 상기 판별한 음성 명령에 기초하는 응답 신호는 상기 판별한 음성 명령이 상기 홈 어플라이언스(200a)가 지원하지 않는 기능임을 알리는 신호일 수 있다.
홈 어플라이언스(200a)가 동작한 후 제일 마지막으로 음성 안내를 위한 텍스트 음성 변환 서버(113)에 해당 동작에 대한 안내 멘트를 요청할 경우 동작과 안내 멘트 사이에 시간 차가 발생할 수 있다.
하지만, 본 발명의 일 실시예에 따르면, 의도분석이 완료되어 동작 요청이 자연어 처리 서버(112)에서 송신될 때, 이와 동시에 텍스트 음성 변환 서버(113)로 정보를 제공해줄 수 있다.
또한, 가전 제어 서버(130)에서 홈 어플라이언스(200a)에 제어 명령을 내리는 시점에 준하여 텍스트 음성 변환 서버(113)에서 홈 어플라이언스(200a)로 안내 멘트를 제공할 수 있다.
이에 따라, 홈 어플라이언스(200a) 동작과 동시 또는 바로 후 안내 멘트가 발화될 수 있다.
본 실시예에 따르면, 자연어 처리 서버(112)와 텍스트 음성 변환 서버(113)를 바로 연결함으로써, 가전 제어 서버(130)를 통한 제어명령과 안내 멘트 사이의 시간 차를 최소화할 수 있다.
한편, 도 4a와 도 4b에서는 홈 어플라이언스(200)로 공기조화기(200a)를 예시하여 설명하였지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 홈 어플라이언스(200)에는 공기조화기(200a) 외에 로봇청소기(200b), 냉장고(200c), 세탁기(200d), 조리기기(200e) 등이 해당될 수 있다.
한편, 본 발명의 일 측에 따르면, 도 4a와 도 4b과 달리, 음성 인식 및 처리를 위한 자동 음성 인식 서버(111), 자연어 처리 서버(112), 텍스트 음성 변환 서버(113)는 하나의 통합 서버로 구성될 수 있다.
또한, 실시예에 따라서는, 연계 서비스 서버(120)와 가전 제어 서버(130)는 하나의 통합 서버로 구성될 수 있다.
도 5a는, 본 발명의 일 실시예에 따른, 홈 어플라이언스의 간략한 내부 블록도이다.
도면을 참조하면, 본 발명의 일 실시예에 따른, 홈 어플라이언스(200)는, 사용자의 음성 명령을 수신하는 오디오 입력부(220), 각종 데이터를 저장하는 메모리(250), 다른 전자기기와 무선 통신하는 통신부(270), 각 홈 어플라이언스에 구현된 동작을 수행하는 구동부(280), 소정 정보를 영상으로 표시는 디스플레이(292), 소정 정보를 오디오로 출력하는 오디오 출력부(291), 사용자의 명령을 입력 받는 입력부(260), 카메라(210) 및, 전반적인 동작을 제어하는 제어부(240)를 포함할 수 있다.
입력부(260)는, 사용자 음성 인식 알고리즘 또는 사용자 지역 음성 인식 알고리즘 중 적어도 어느 하나의 사용 명령을 입력 받을 수 있으며 이에 대해서는 후술한다.
입력부(260)는, 업데이트 데이터의 선택 신호를 입력 받을 수 있으며 이에 대해서는 후술한다.
오디오 입력부(220)는, 외부의 오디오 신호, 사용자 음성 명령을 입력 받을 수 있다. 이를 위해, 오디오 입력부(220)는, 하나 이상의 마이크(MIC)를 구비할 수 있다. 또한, 사용자의 음성 명령을 더 정확히 수신하기 위하여 오디오 입력부(220)는 복수의 마이크(221, 222)를 구비할 수 있다. 복수의 마이크(221, 222)는, 서로 다른 위치에 이격 되어 배치될 수 있고, 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다.
도 5a 등에서는, 오디오 입력부(220)가 제1 마이크(221)와 제2 마이크(222)의 2개의 마이크를 구비하는 예를 도시하였으나, 본 발명은 이에 한정되지 않는다.
오디오 입력부(220)는 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성 명령을 제어부(240) 또는 소정 서버에서 인식할 수 있도록 데이터화 할 수 있다.
한편, 오디오 입력부(220)는 사용자의 음성 명령을 입력 받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
또한, 오디오 입력부(220)는 각 마이크(221, 222)에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다.
메모리(250)는 홈 어플라이언스의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비 휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(microprocessor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
메모리(250)는, 음성 인식 알고리즘을 저장할 수 있고, 메모리(250)에 저장된 음성 인식 알고리즘은, 기 설정된 호출어를 포함하는 웨이크업 음성, 또는 기 설정된 키워드를 인식하는 제1 음성 인식 알고리즘일 수 있다. 또한, 메모리(250)는, 서버(400)로부터 수신한, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 저장할 수도 있다. 한편, 제1 음성 인식 알고리즘은 홈 어플라이언스(200) 내부에 마련되는 임베디드 형식으로 구현될 수 있다.
한편, 간단한 음성 인식은 홈 어플라이언스(200)가 수행하고, 자연어 처리 등 고차원의 음성 인식은 홈 어플라이언스 시스템(10)에서 수행될 수 있다.
예를 들어, 기 설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에, 홈 어플라이언스(200)는 음성 명령어를 수신하기 위한 상태로 전환될 수 있다. 이 경우에, 홈 어플라이언스(200)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 홈 어플라이언스 시스템(10)을 통하여 수행할 수 있다.
다른 예로, 기 설정된 어휘는 키워드(Keyword)로 명명될 수 있고, 키워드 명령이 수신되는 경우에, 홈 어플라이언스(200)는, 상기 키워드 명령을 인식하여, 홈 어플라이언스(200)의 동작을 제어할 수 있다. 예를 들어 키워드 명령은, “냉방모드” , ”쿨파워모드” , “공기청정모드”, “제습모드” 등과 같이 비교적 간단한 어휘일 수 있다.
한편, 홈 어플라이언스 시스템(10) 자원에는 한계가 있으므로, 복잡한 자연어 인식 및 처리는 홈 어플라이언스 시스템(10)을 통하여 수행될 수 있다.
상기 메모리(250)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 상기 메모리(250)에는 기 설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식하기 위한 데이터가 저장될 수 있다. 다른 예로, 메모리(250)에는, 기 설정된, 키워드 명령을 인식하기 위한 데이터가 저장될 수도 있다. 기 설정된 호출어를 포함하는 웨이크 업 음성 신호를 인식하기 위한 데이터 또는 기 설정된, 키워드 명령을 인식하기 위한 데이터는 제1 음성 인식 알고리즘일 수 있다.
한편, 상기 호출어는 제조사에 의해 설정될 수 있고, 홈 어플라이언스 별로 다른 호출어가 설정될 수 있다. 예를 들어, 공기조화기의 경우에는 "LG 휘센", 냉장고의 경우에는 "LG 디오스"가 호출어로 설정될 수 있다.
한편, 홈 어플라이언스(200)의 제어부(240)는, 사용자 음성을 입력 받아, 호출어를 변경 할 수 있고, 호출어의 개수를 변경 할 수도 있다.
또한, 제어부(240)는, 복수의 사용자에 대하여, 복수의 호출어를 설정 할 수도 있다. 이에 따라, 홈 어플라이언스(200)는, 사용자별로 개인화된, 동작을 수행하는 것도 가능하다.
메모리(250)는, 현재 설치된, 제1 음성 인식 알고리즘 업데이트의 버전 정보, 히스토리 정보, 빌드 번호 등을 저장할 수 있다.
상기 제어부(240)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성 명령을, 통신부(270)를 통하여, 홈 어플라이언스 시스템(10)에 송신하도록 제어할 수 있다.
통신부(270)는, 하나 이상의 통신 모듈을 구비하여, 다른 전자기기와, 무선 통신을 수행하여, 각종 신호를 주고 받을 수 있다. 예를 들어, 통신부(270)는 홈 어플라이언스 시스템(10) 내/외부의 전자기기들과 통신할 수 있다.
또한, 통신부(270)는 액세스 포인트 장치(300)와 통신하고, 액세스 포인트 장치(300)를 통하여 무선 인터넷 네트워크에 접속하여 다른 기기들과 통신할 수 있다.
또한, 제어부(240)는 통신부(270)를 통해 홈 어플라이언스(200)의 상태 정보, 사용자의 음성 명령 등을 홈 어플라이언스 시스템(10) 등으로 전송할 수 있다.
한편, 상기 통신부(270)를 통하여 제어 신호가 수신되면, 제어부(240)는 수신되는 제어 신호에 따라 동작하도록 홈 어플라이언스(200)를 제어할 수 있다.
통신부(270)는, 마이크에 수신된 사용자 음성 명령을, 서버(400)로 전송하고, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 서버(400)로부터 수신할 수 있다.
제어부(240)는, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 홈 어플라이언스(200) 메모리(250)에 저장된, 음성 인식 알고리즘을 업데이트 할 수 있다.
제어부(240)는, 서버(400)에 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수 있다. 한편, 홈 어플라이언스는, 외부의 이동 단말기의 애플리케이션을 통해 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수도 있다.
제1 음성 인식 알고리즘 관련 업데이트 데이터의 요청은, 비 주기적으로도 가능하고, 시간, 일, 주, 월 및 년의 기간 중 하나 이상의 일정 기간 간격으로도 할 수 있다.
한편, 복수의 제1 음성 인식 알고리즘 관련 업데이트 데이터 요청 신호를 구분하기 위하여, 제1 음성 인식 알고리즘 관련 업데이트 데이터 요청 신호는 식별 정보를 포함할 수 있다.
제어부(240)는, 서버(400)로부터, 서버에 저장된 제1 음성 인식 알고리즘 업데이트 버전 정보를 수신하고, 메모리(250)에 저장된 버전 정보와, 수신된 버전 정보를 비교하여, 수신된 버전 정보가 최신 버전인 경우, 서버(400)로, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수 있다.
제어부(240)는, 메모리(250)에 제1 음성 인식 알고리즘 관련 업데이트 데이터가 수신되면, 업데이트 수행 시점을 사용자가 설정할 수 있는 메뉴를 제공할 수 있다. 또한, 제어부(240)는, 사용자가 설정한 시점에, 메모리에 저장된, 제1 음성 인식 알고리즘을 업데이트 하도록 제어할 수 있다.
제어부(240)는, 제1 음성 인식 알고리즘을 기초로, 사용자 명령을 인식하여, 홈 어플라이언스의 동작을 제어할 수 있다.
제어부(240)는, 서버(400)로, 사용자 음성 외에, 홈 어플라이언스(200)의 제품 정보, 지역 정보, 네트워크 정보, 설정 정보, 자주 사용하는 기능 정보 또는 홈 어플라이언스(200)에 저장된 정보 중 적어도 어느 하나를 함께 전송 할 수 있다.
디스플레이(292)는, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태, 업데이트 버전정보, 업데이트 히스토리 정보, 빌드 번호 등을 영상으로 표시할 수 있다.
실시예에 따라서는, 상기 디스플레이(292)는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 상기 디스플레이(292)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
오디오 출력부(291)는 제어부(240)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 오디오로 출력할 수 있다. 오디오 출력부(291)는, 제어부(240)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
구동부(280)는 홈 어플라이언스에 구현된 동작을 수행하는 것으로, 각 홈 어플라이언스별로 다르게 구성될 수 있다.
예를 들어, 홈 어플라이언스가 냉장고인 경우, 구동부(280)는, 냉장실에 냉각된 공기를 공급하기 위한 냉장실 팬을 동작시키는 냉장실 구동부, 냉동실에 냉각된 공기를 공급하기 위한 냉동실 팬을 동작시키는 냉동실 구동부, 냉매를 압축하기 위한 압축기를 동작시키는 압축기 구동부 등을 포함할 수 있다.
다른 예로, 홈 어플라이언스가 세탁기인 경우, 구동부(280)는, 드럼 또는 터브를 구동하는 구동부 등을 포함할 수 있다.
또, 다른 예로, 홈 어플라이언스가 공기조화기인 경우, 구동부(280)는, 실외기 내의 압축기를 구동하기 위한 압축기 구동부, 열교환을 위한 실외기 팬을 동작시키는 실외기 팬 구동부, 열교환을 위한 실내기팬을 동작시키는 실내기 팬 구동부 등을 포함할 수 있다.
또, 다른 예로, 홈 어플라이언스가 조리기기인 경우, 구동부(280)는, 캐비티 내로 마이크로웨이브를 출력하는 마이크로웨이브 구동부 등을 포함할 수 있다.
또, 다른 예로, 홈 어플라이언스가 청소기인 경우, 구동부(280)는, 공기 흡입을 위한 팬 모터 구동부 등을 포함할 수 있다.
한편, 홈 어플라이언스(200)는 사용자 입력을 위한 조작부(230), 홈 어플라이언스(200) 주변 소정 범위를 촬영할 수 있는 카메라(210)를 더 포함할 수 있다.
조작부(230)는, 복수의 조작 버튼을 구비하여, 입력되는 버튼에 대응하는 신호를 제어부(240)로 전달할 수 있다.
카메라(210)는 홈 어플라이언스(200) 주변, 외부 환경 등을 촬영하는 것으로, 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다.
예를 들어, 카메라(210)는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
한편, 상기 카메라(210)가 촬영하여 획득된 영상은 메모리(250)에 저장될 수 있다.
도 5b는, 본 발명의 다른 실시예에 따른, 음성 인식 모듈의 간략한 내부 블록도이다.
도면을 참조하면, 본 발명의 일 실시예에 따른, 음성 인식 모듈(272)은, 사용자의 음성 명령을 수신하는 오디오 입력부(220), 소정 정보를 오디오로 출력하는 오디오 출력부(291), 사용자 음성 명령을, 서버로 전송하고, 음성 인식 알고리즘 관련 데이터를 서버로부터 수신하는 통신부(270), 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 메모리(250)에 저장된, 음성 인식 알고리즘을 업데이트하는 프로세서(271)를 포함할 수 있다.
도 5a와의 차이점은, 오디오 입력부(220), 오디오 출력부(291), 통신부(270), 메모리(250) 및 프로세서(271)가 하나의 단일 모듈인 음성 인식 모듈(205) 내에 구비 되는 것에 그 차이가 있다.
메모리(250)는, 음성 인식 알고리즘을 저장할 수 있고, 메모리(250)에 저장된 음성 인식 알고리즘은, 기 설정된 호출어를 포함하는, 웨이크업 음성 또는 기 설정된 키워드를 인식하는 제1 음성 인식 알고리즘일 수 있다. 또한, 메모리(250)는, 서버(400)로부터 수신한, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 저장할 수도 있다.
한편, 간단한 음성 인식은 홈 어플라이언스(200)가 수행하고, 자연어 처리 등 고차원의 음성 인식은 홈 어플라이언스 시스템(10)에서 수행될 수 있다.
예를 들어, 기 설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에, 홈 어플라이언스(200)는 음성 명령어를 수신하기 위한 상태로 전환될 수 있다. 이 경우에, 홈 어플라이언스(200)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 홈 어플라이언스 시스템(10)을 통하여 수행할 수 있다.
다른 예로, 기 설정된 어휘는 키워드(Keyword)로 명명될 수 있고, 키워드 명령이 수신되는 경우에, 홈 어플라이언스(200)는, 상기 키워드 명령을 인식하여, 홈 어플라이언스(200)의 동작을 제어할 수 있다. 예를 들어 키워드 명령은, “냉방모드”, ”쿨파워모드”, “공기청정모드”, “제습모드” 등과 같이 비교적 간단한 어휘일 수 있다.
한편, 홈 어플라이언스 시스템 자원에는 한계가 있으므로, 복잡한 자연어 인식 및 처리는 홈 어플라이언스 시스템(10)을 통하여 수행될 수 있다.
상기 메모리(250)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 상기 메모리(250)에는 기 설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식하기 위한 데이터가 저장될 수 있다. 다른 예로, 메모리(250)에는, 기 설정된, 키워드 명령을 인식하기 위한 데이터가 저장될 수도 있다. 기 설정된 호출어를 포함하는 웨이크 업 음성 신호를 인식하기 위한 데이터 또는 기 설정된, 키워드 명령을 인식하기 위한 데이터는 제1 음성 인식 알고리즘일 수 있다.
한편, 상기 호출어는 제조사에 의해 설정될 수 있고, 홈 어플라이언스 별로 다른 호출어가 설정될 수 있다. 예를 들어, 공기조화기의 경우에는 "LG 휘센", 냉장고의 경우에는 "LG 디오스"가 호출어로 설정될 수 있다.
한편, 홈 어플라이언스(200)의 제어부(240)는, 사용자 음성을 입력 받아, 호출어를 변경 할 수 있고, 호출어의 개수를 변경 할 수도 있다.
또한, 제어부(240)는, 복수의 사용자에 대하여, 복수의 호출어를 설정 할 수도 있다. 이에 따라, 홈 어플라이언스(200)는, 사용자별로 개인화된, 동작을 수행하는 것도 가능하다.
메모리(250)는, 현재 설치된, 제1 음성 인식 알고리즘 업데이트의 버전 정보, 히스토리 정보, 빌드 번호 등을 저장할 수 있다.
오디오 입력부(220)는, 외부의 오디오 신호, 사용자 음성 명령을 입력 받을 수 있다. 이를 위해 오디오 입력부(220)는, 하나 이상의 마이크를 구비할 수 있다. 또한, 사용자의 음성 명령을 더 정확히 수신하기 위하여 오디오 입력부(220)는 복수의 마이크(221,2221)를 구비할 수 있다. 복수의 마이크(221,222)는, 서로 다른 위치에 이격 되어 배치될 수 있고, 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다.
오디오 입력부(220)는 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성 명령을 프로세서(271) 또는 소정 서버에서 인식할 수 있도록 데이터화 할 수 있다.
한편, 오디오 입력부(220)는 사용자의 음성 명령을 입력 받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
또한, 오디오 입력부(220)는 각 마이크(221, 222)에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다.
오디오 출력부(291)는, 사용자 음성 명령에 대응하는 정보 또는 사용자 음성에 대응하는 처리 결과 등을 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
통신부(270)는, 마이크에 수신된 사용자 음성 명령을, 서버(400)로 전송하고, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 서버(400)로부터 수신할 수 있다.
프로세서(271)는, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 홈 어플라이언스(200) 메모리(250)에 저장된, 음성 인식 알고리즘을 업데이트 할 수 있다.
프로세서(271)는, 서버(400)에 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수 있다. 한편, 홈 어플라이언스는, 외부의 이동 단말기의 애플리케이션을 통해 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수도 있다.
한편, 복수의 제1 음성 인식 알고리즘 관련 업데이트 데이터 요청 신호를 구분하기 위하여, 제1 음성 인식 알고리즘 관련 업데이트 데이터 요청 신호는 식별 정보를 포함할 수 있다.
프로세서(271)는, 서버(400)로부터, 서버에 저장된 제1 음성 인식 알고리즘 업데이트 버전 정보를 수신하고, 메모리(250)에 저장된 버전 정보와, 수신된 버전 정보를 비교하여, 수신된 버전 정보가 최신 버전인 경우, 서버(400)로, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수 있다.
프로세서(271)는, 메모리(250)에 제1 음성 인식 알고리즘 관련 업데이트 데이터가 수신되면, 업데이트 수행 시점을 사용자가 설정할 수 있는 메뉴를 제공할 수 있다. 또한, 프로세서(271)는, 사용자가 설정한 시점에, 메모리에 저장된, 제1 음성 인식 알고리즘을 업데이트 하도록 제어할 수 있다.
프로세서(271)는, 서버(400)로, 사용자 음성 외에, 홈 어플라이언스(200)의 제품 정보, 지역 정보, 네트워크 정보, 설정 정보, 자주 사용하는 기능 정보 또는 홈 어플라이언스(200)에 저장된 정보 중 적어도 어느 하나를 함께 전송 할 수 있다.
결국, 음성 인식 모듈(272)을 통해, 음성 데이터 획득, 서버(400)와의 통신, 대응하는 사운드 출력 및 음성 인식 알고리즘의 업데이트를 수행할 수 있게 된다.
한편, 음성 인식 모듈(272)는, 도 2에서 도시한 홈 어플라이언스 외에, 다양한 전자 기기에 부착될 수 있다. 또는 다른 전자 기기에 부착되는 것 없이, 별도의 장치로서, 사용될 수도 있다.
도 6은, 본 발명의 일 실시예에 따른, 공기조화기의 내부 블록도의 일부를 도시한 도면이고, 도 7 내지 도 8는, 본 발명의 일 실시예에 따른 공기조화기의 외관을 간략히 도시한 도면이다.
더욱 상세하게는, 도 6은, 도 5a에 예시된 홈 어플라이언스(200)가 도 7 내지 도 8 에 예시된 공기조화기(200a)인 경우에, 공기조화기(200a)의 구동부(280a)에 포함되는 베인 구동부(1210)와 팬 구동부(1220)를 예시한다.
도 5a, 도 6 내지 도 8을 참조하면, 본 발명의 일 실시예에 따른 공기조화기(200a)는, 사용자의 음성 명령을 수신하는 마이크(221, 222), 다른 전자기기와 무선 통신하는 통신부(270), 전반적인 동작을 제어하는 제어부(240), 및, 상기 제어부(240)의 제어에 따라 베인을 구동하는 베인 구동부(1210)를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 공기조화기(200a)는, 상기 제어부(240)의 제어에 따라 팬을 구동하는 팬 구동부(1220)를 더 포함할 수 있다.
마이크(221, 222)는 외부의 오디오 신호, 사용자 음성 명령을 수신 받을 수 있다. 또한 마이크(221, 222)는 외부의 오디오 신호, 사용자 음성 명령을 획득하여 전기적인 신호로 처리할 수 있다.
본 실시예의 공기조화기(200a)는 공기흡입구(미도시)가 형성된 흡입바디(202), 공기흡입구로 흡입된 공기가 통과하는 열교환기(미도시), 공기흡입구로 공기를 흡입하여 열교환기를 통과시킨 후 송풍하는 팬(미도시), 공기가 다시 실내로 토출 되도록 형성된 토출구(207R, 207U, 207D)가 형성될 수 있다.
또한, 토출구(207R, 207U, 207D)에는, 토출구(190)를 개폐 시키고, 토출 되는 공기의 풍향을 조절하는 루버(미도시) 및/또는 베인(261R, 261L, 261U, 261D) 등 풍향 조절 수단이 배치되고, 제어부(240)의 제어에 따라 모터 등을 구동하여 풍향 조절 수단의 각도 및 방향을 전환할 수 있다. 이에 따라, 토출구(207R, 207U, 207D)를 통해 토출 되는 공기의 풍향을 조절할 수 있다. 또한, 풍향 조절 수단의 동작을 제어함으로써, 기류의 송풍 방향, 송풍 범위 등을 조절할 수 있다.
예를 들어, 베인(261R, 261L, 261U, 261D)을 어느 한 방향을 향하도록 고정시켜 어느 한 방향으로의 송풍이 이루어지도록 할 수도 있고, 베인의 방향이 설정된 범위 내에서 계속해서 변화되는 동작(이하 "스윙동작"이라 한다)이 실시되도록 함으로써 설정된 범위 내에서 송풍 방향을 계속해서 변화시키는 형태로 설정된 범위에 대한 송풍이 이루어지도록 할 수도 있다. 또한, 베인(261R, 261L, 261U, 261D)의 스윙동작이 이루어지는 각도 범위를 조절함으로써 송풍이 이루어지는 범위를 조금 더 좁히거나, 넓힐 수도 있다.
한편, 공기조화기 내부에는 흡입구로 흡입된 실내의 공기가 토출구(207R, 207U, 207D)를 통해 실내 공간으로 배출되는 흐름을 제어하기 위한 팬이 설치되어 있는데, 상기 팬은 팬 구동부(1220)에 의해 회전이 조절되고, 상기 팬 구동부(1220)의 작동은 제어부(240)에 의해 제어된다.
따라서, 제어부(240)는 베인 구동부(1210) 및 팬 구동부(1220)를 제어하여 공기조화기(200a)로부터 토출 되는 공기의 흐름(기류)의 방향을 제어할 수 있다. 제어부(240)는 팬 모터의 속도를 제어하여 기류의 양과 속도를 제어하고, 루버, 베인 등 풍향 조절 수단을 제어하여 기류의 방향을 제어할 수 있다.
한편, 공기조화기는 복수의 베인(261R, 261L, 261U, 261D)을 포함할 수 있다. 또한, 복수의 베인(261R, 261L, 261U, 261D) 중 적어도 일부는 상이한 방식으로 동작할 수 있다.
예를 들어, 상측 베인(261U)은 팬의 상부에 승강 가능하게 배치되어 동작시 승강하여 구동할 수 있다. 이를 위해, 공기조화기(200a)는 상측 베인(261U)을 승강 시키는 승강기구(1211)를 포함할 수 있다.
또한, 상측 베인(261U)은 상승하여 공기토출구(207U)를 통하여 팬에서 송풍된 공기 중 적어도 일부를 실내로 토출하는 상부 토출 바디로 기능할 수 있다.
흡입바디(202)는 베이스(201) 상측에 설치될 수 있다. 흡입바디(202)는 베이스(201)와 함께 공기조화기의 배면측 외관을 형성할 수 있다. 흡입바디(202)는 공기조화기의 배면 상부 외관을 형성할 수 있다. 흡입바디(202)는 베이스(201)와 함께 공기조화기의 리어 케이스를 구성할 수 있고, 흡입바디(202)는 공기조화기의 리어 어퍼 케이스일 수 있으며, 베이스(201)는 공기조화기의 리어 로어 케이스일 수 있다.
베이스(201)에는 공기조화기의 각종 전장부품을 제어하는 제어부(240)가 설치될 수 있다. 여기서, 공기조화기의 각종 전장부품은 팬 등을 포함할 수 있다. 베이스(201)에는 베이스(201)의 전방에 배치되는 베이스 커버(225)가 설치될 수 있다.
공기조화기는 공기를 청정시키는 정화유닛(미도시)을 더 포함할 수 있다. 정화유닛은 흡입바디(202)에 배치될 수 있다. 정화유닛은 공기유동 방향으로 열교환기 이전에 배치될 수 있다. 정화유닛은 흡입바디(202)와 열교환기 사이에 배치되는 것이 가능하고, 흡입바디(202)의 후방에 배치되는 것이 가능하다. 정화유닛은 공기 중의 이물질이 걸러지는 필터를 포함할 수 있다. 정화유닛은 공기에 이온을 발생시키는 이온발생기를 포함할 수 있다. 정화유닛은 공기 중의 이물질을 방전시켜 집진하는 전기집진기를 포함할 수 있다. 정화유닛은 필터와 이온발생기와 전기집진기 중 적어도 하나를 포함할 수 있다.
열교환기는 공기흡입구 전방에 위치될 수 있다. 열교환기는 공기흡입구로 흡입된 공기를 냉매와 열교환할 수 있다. 열교환기는 공기흡입구와 팬의 사이에 위치되게 설치될 수 있다.
공기조화기는 실외기에 설치된 압축기의 구동시, 열교환기로 저온 저압의 냉매가 통과할 수 있고, 열교환기는 공기흡입구를 통과한 공기를 냉각할 수 있다. 압축기의 온시, 열교환기는 냉매와 공기를 열교환시켜 공기를 냉각시킬 수 있고, 공기조화기는 냉방기로 기능할 수 있다.
팬은 열교환기의 전방에 위치될 수 있다. 팬은 후방의 공기를 흡인하여 상, 하, 좌, 우측 중 적어도 어느 한 방향으로 송풍하는 원심팬으로 구성될 수 있다. 팬은 상, 하, 좌, 우측 네 방향으로 공기를 송풍하는 시로코팬으로 구성될 수 있다.
팬은 복수개 송풍팬을 포함할 수 있다. 복수개의 송풍팬은 상하 방향으로 순차적으로 배치될 수 있다. 복수개 송풍팬은 그 각각이 시로코팬으로 구성될 수 있다.
상측 베인(261U)의 전면에는 상부 프론트 공기토출구(207U)가 형성될 수 있다. 상측 베인(261U)의 하면에 팬에서 상측 방향으로 송풍된 공기가 유입되는 공기유입구(미도시)가 형성될 수 있다. 상측 베인(261U)은 내부의 팬에서 상측 방향으로 송풍된 공기를 전방 방향으로 안내할 수 있다.
상측 베인(261U)은 팬의 상측에 승강 되게 배치될 수 있다. 상측 베인(261U)은 상승시 상부 프론트 공기토출구(207U)가 상승되어 공기를 토출할 수 있고, 하강시 상부 프론트 공기토출구(207U)가 은닉될 수 있다.
공기조화기는 상측 베인(261U)의 승강을 안내하는 승강가이드(208)를 더 포함할 수 있다. 승강가이드(208)는 팬 및 열교환기의 상측에 위치되게 설치될 수 있다. 상측 베인(261U)은 상승시 상부 프론트 공기토출구(207U)가 승강가이드(208) 상측에 위치되어 공기를 토출할 수 있고, 하강시 상부 프론트 공기토출구(207U)가 승강가이드(208) 내측에 위치되어 은닉될 수 있다.
승강기구(1211)는 모터 등의 구동원과, 구동원의 구동시 상측 베인(261U)을 승강 시키는 동력전달부재를 포함할 수 있다. 동력전달부재는 구동원에 설치된 피니언과, 피니언에 치합된 랙을 포함할 수 있다.
승강기구(1211)는 운전모드에 따라 다른 높이까지 상승할 수 있다. 제어부(240)는 사용자의 운전모드 선택에 따라 상기 승강기구(1211)를 제어할 수 있다.
예를 들어, 제어부(240)는 운전모드에 따라 상부 프론트 공기토출구(207U)가 최대로 개방되는 최대 개방높이까지 상측 베인(261U)을 상승시키거나, 상부 프론트 공기토출구(207U)의 일부만 개방되는 높이까지 상측 베인(261U)을 상승할 수 있다.
공기조화기(200a)의 측면에는 팬에서 옆 방향으로 송풍된 공기가 통과하는 사이드 공기토출구(207R)가 형성될 수 있다.
또한, 공기조화기의 측면에는 팬에서 옆으로 송풍된 공기의 풍향을 조절하고, 좌측 공기토출구 및 우측 공기토출구(207R)를 여닫을 수 있는 사이드 베인(261R, 261L)이 배치될 수 있다. 사이드 베인(261R, 261L)은 좌측 베인(261L)과 우측 베인(261R)을 포함할 수 있다.
사이드 베인(261R, 261L)은 회전 가능하게 설치될 수 있다. 공기조화기는 사이드 베인(261R, 261L)을 회전시키는 사이드 구동기구(1212, 1213)를 포함할 수 있다. 사이드 구동기구(1212, 1213)는 좌측 베인 구동기구(1212)와 우측 베인 구동기구(1213)를 포함할 수 있다.
사이드 구동기구(1212, 1213)는 모터 등의 구동원을 포함할 수 있다. 사이드 구동기구(1212, 1213)는 구동원에 연결되어 구동원의 구동시 사이드 베인(261R, 261L)을 회전시키는 링크나 기어 등의 적어도 하나의 동력전달부재를 포함할 수 있다.
사이드 구동기구(1212, 1213)는 제어부(240)에 의해 냉방운전시 개방모드로 제어될 수 있다. 또한, 사이드 구동기구(1212, 1213)는, 제어부(240)의 제어에 따라, 좌측 베인(261L)과 우측 베인(261R)을 소정 개방각으로 회전시킬 수 있다.
이에 따라, 송풍 방향을 제어할 수도 있고, 스윙동작이 실시되도록 함으로써 설정된 범위 내에서 송풍 방향을 계속해서 변화시키는 형태로 설정된 범위에 대한 송풍이 이루어지도록 할 수도 있다. 또한, 스윙동작이 이루어지는 각도 범위를 조절함으로써 송풍이 이루어지는 범위를 조금 더 좁히거나 넓힐 수도 있다.
공기조화기는 하측에 위치하고 하부 프론트 공기토출구(207D)가 형성된 하측 베인(261D)을 더 포함할 수 있다.
하측 베인(261D)은 팬에서 하측 방향으로 송풍된 공기를 전방 방향으로 토출할 수 있다. 하측 베인(261D)은 내부에 공기가 통과하는 유로가 형성될 수 있다. 하측 베인(261D)의 전면에는 외부로 공기를 토출하는 하부 프론트 공기토출구(207D)가 형성될 수 있다.
공기조화기는 하부 프론트 공기토출구(207D)를 개폐하는 개폐기구(1214)를 더 포함할 수 있다. 개폐기구(1214)는 하부 프론트 공기토출구(207D)를 개폐하기 위해 하측 베인(261D)을 움직이는 무빙 키트(미도시)를 포함할 수 있다. 무빙 키트는 모터 등의 구동원과, 무빙 키트가 안착되는 무빙 키트 캐리어와, 구동원의 구동시 무빙 키트 캐리어를 진퇴시키는 적어도 하나의 동력전달부재를 포함할 수 있다.
하측 베인(261D)은 전진 되어 하부 프론트 공기토출구(207D)를 차폐할 수 있고, 후퇴되어 하부 프론트 공기토출구(207D)를 개방할 수 있다.
개폐기구(1214)는 소정 모드로 운전시 하부 프론트 공기토출구(207D)를 개방하는 개방모드로 제어될 수 있다.
공기조화기는 팬의 전방에 배치되는 송풍기 커버(282)를 더 포함할 수 있고, 송풍기 커버(282)는 공기조화기의 전면 상부 외관을 형성할 수 있다. 송풍기 커버(282)는 베이스 커버(225)의 상측에 위치되게 배치될 수 있고, 베이스 커버(225)와 함께 공기조화기의 전면측 외관을 형성할 수 있다. 송풍기 커버(282)는 베이스 커버(225)와 함께 공기조화기의 프론트 커버를 구성할 수 있다. 송풍기 커버(282)는 공기조화기의 프론트 어퍼 커버일 수 있고, 베이스 커버(225)는 공기조화기의 프론트 로어 커버일 수 있다.
공기조화기는 각종 정보를 표시하는 디스플레이(292)가 설치될 수 있다. 또한, 공기조화기는 오디오 신호를 출력하는 오디오 출력부(291)를 더 포함할 수 있고, 오디오 출력부(291)의 스피커는 공기조화기의 전면 또는 적절한 위치에 배치될 수 있다.
또한, 공기조화기는 각종 명령을 입력할 수 있는 다수의 버튼을 구비하는 조작부(230), 홈 어플라이언스(200) 주변 소정 범위를 촬영할 수 있는 카메라(210)를 포함할 수 있다.
한편, 본 발명의 일 측에 따르면, 송풍기 커버(282) 또는 베이스 커버(225)의 전면에는 전면 패널(1300)이 배치되고, 전면 패널(1300)에는 디스플레이(292), 오디오 출력부(291)의 스피커, 조작부(230)의 조작 버튼들이 배치될 수 있다.
공기조화기는 복수의 운전 모드에 따라 운전할 수 있다. 제어부(240)는, 선택된 운전 모드에 따라 베인 구동부(1210), 팬 구동부(1220) 등을 제어할 수 있다.
예를 들어, 소정 운전 모드에서 제어부(240)는 복수의 베인(261R, 261L, 261U, 261D)이 토출구를 전부 개방하도록 제어할 수 있다.
또는 소정 운전 모드에서 제어부(240)는 특정 베인이 토출구를 개방하지 않고 닫혀 있도록 제어할 수 있다. 예를 들어, 소정 운전 모드에서 제어부(240)는 하측 베인(261D)이 닫혀 있도록 제어할 수 있다.
또한, 제어부(240)는 운전 모드에 따라 상측 베인(261R)이 상승 높이, 좌/우측 베인(261R, 261L)의 개방각을 조절할 수 있다.
또한, 제어부(240)는 운전 모드에 따라 팬의 회전 속도를 제어함으로써 풍량을 조절할 수 있다.
한편, 도 7 내지 도 8에 예시된 공기조화기의 외관 및 구조는 예시적인 것으로 본 발명은 이에 한정되지 않는다. 예를 들어, 마이크(221, 222), 카메라(210), 오디오 출력부(291), 베인들(261R, 261L, 261U, 261D)의 위치, 개수, 구조 등은 설계 사양에 따라 달라질 수 있다.
도 9는, 본 발명의 일 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작 방법에 대한 순서도이다.
도면을 참조하면, 홈 어플라이언스(200)는, 제1 음성 인식 알고리즘을 저장하며, 사용자 음성 명령을 서버(400)에 전송 할 수 있다(S1010).
서버(400)는, 통신 모듈(403)을 통해, 사용자 음성 명령을 수신하며, 사용자 음성 명령은, 사용자 음성 정보가 되어 저장부(401)에 저장될 수 있다(S1031)
한편, 사용자 음성 정보는, 사용자의 목소리 톤, 세기, 빠르기, 자주 사용하는 키워드, 사용자의 성별, 나이, 생체정보, 지역별 언어차이 등의 사용자 특성 데이터일 수 있다.
서버(400)는, 서버(400)에 저장된 사용자 음성 정보에 기초하여 기계 학습을 수행 할 수 있으며(S1032), 서버(400)는, 상기 기계 학습을 통해 제1 음성 인식 알고리즘 관련 업데이트 데이터를 생성 할 수 있다(S1033).
한편, 제1 음성 인식 알고리즘은, 기 설정된 호출어를 포함하는 웨이크업 음성 신호를 인식하기 위한 알고리즘 또는 기 설정된 비교적 간단한 어휘의 키워드를 인식 하기 위한 알고리즘 일 수 있다.
한편, 홈 어플라이언스(200)는, 서버(400)에 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수 있다(S1050). 또한, 홈 어플라이언스(200)는, 외부 이동 단말기의 애플리케이션을 통해 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수도 있다.
서버(400)는, 홈 어플라이언스(200) 또는 이동 단말기의 요청에 대응하여, 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 홈 어플라이언스(200)에 전송 할 수 있다(S1070). 한편, 홈 어플라이언스(200) 또는 이동 단말기의 요청 없이 서버(400)가 주기적 혹은 비주기적으로 제1 음성 인식 알고리즘 관련 업데이트 데이터를 전송 하는 것도 가능하다.
한편, 홈 어플라이언스(200)는, 업데이트 히스토리 정보 전송이 가능하고, 서버(400)는, 홈 어플라이언스(200)의 히스토리 정보를 분석하여, 기존 업데이트 데이터와 충돌 되지 않는, 업데이트 데이터를 홈 어플라이언스(200)로 전송 할 수 있다.
한편, 홈 어플라이언스 시스템(10)내에, 복수의 홈 어플라이언스(200)가 존재하는 경우, 복수의 홈 어플라이언스(200)는 통신 모듈(미도시)을 통해 서로 정보 전송이 가능할 수 있다. 이 경우, 적어도 어느 하나의 홈 어플라이언스(200)(제1 홈 어플라이언스)는, 서버(400)로부터, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 수신 받아, 다른 홈 어플라이언스(200)(제2 홈 어플라이언스)로 업데이트 데이터를 전송 할 수 있다.
예를 들어, 홈 어플라이언스 시스템(10)내에, 공기조화기(200a), 로봇청소기(200b), 냉장고(200c)가 존재하는 경우, 공기조화기(200a)는, 서버(400)로부터 제1음성 인식 알고리즘 관련 업데이트 데이터를 수신 받아. 로봇청소기(200b) 와 냉장고(200c)로 업데이트 데이터를 전송 할 수 있다. 한편, 공기조화기(200a)와 로봇청소기(200b)가 서버(400)로부터 제1 음성 인식 알고리즘 관련 업데이트 데이터를 수신받은 경우, 공기조화기(200a) 또는 로봇청소기(200b) 중 적어도 어느 하나는, 냉장고(200c)로 업데이트 데이터를 전송 할 수 있다.
또한, 복수의 홈 어플라이언스(200) 중 어느 적어도 어느 하나의 홈 어플라이언스(200)(제1 홈 어플라이언스)가 제1 음성 인식 알고리즘 관련 업데이트 데이터를 수신 받은 경우, 제1 홈 어플라이언스는, 업데이트 데이터를 수신 받지 못한 다른 홈 어플라이언스(200)(제2 홈 어플라이언스)에게, 서버(400)로의 업데이트 데이터 요청 금지 신호를 전송 할 수 있다.
예를 들어, 홈 어플라이언스 시스템(10)내에, 공기조화기(200a), 로봇청소기(200b), 냉장고(200c)가 존재하는 경우, 공기조화기(200a)가 제1 음성 인식 알고리즘 관련 업데이트 데이터를 수신 받은 경우, 공기조화기(200a)는, 로봇청소기(200b)와 냉장고(200c)에게 서버(400)로의 업데이트 데이터 요청 금지 신호를 전송 할 수 있다. 이에 따라 로봇청소기(200b)와 냉장고(200c)는, 서버(400)로 업데이트 요청을 하지 않을 수 있다.
한편, 홈 어플라이언스(200)는, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 홈 어플라이언스(200)에 저장된 제1 음성 인식 알고리즘을 업데이트 할 수 있다(S1090).
따라서, 제1 음성 인식 알고리즘은 서버(400)에 저장된 사용자 음성 정보를 기초로, 기계 학습에 의해 생성되는, 사용자 음성 인식 알고리즘일 수 있다.
따라서, 사용자는 사용자 특성에 맞는 음성 인식 알고리즘을 사용할 수 있게 되므로, 음성 인식 성능이 향상될 수 있다.
또한, 사용자 특성에 맞는, 음성 인식 알고리즘의 주기적 혹은 비 주기적인 업데이트로 인하여, 사용자 특성에 최적화된 음성 인식 알고리즘의 사용이 가능할 수 있다.
또한, 서버에 저장된 음성 인식 알고리즘의 업데이트에 비해, 모듈에 저장된 음성 인식 알고리즘의 업데이트가 어렵다는 문제를 해결할 수 있다.
또한, 자연어 음성 제어가 갖는 장점은 그대로 유지하면서도, 간단한 명령에 대해서는, 키워드 인식으로 서버(400)와 무관하게 즉각적 대응이 가능하다는 장점이 있다.
도 10은, 본 발명의 다른 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작 방법에 대한 순서도이다.
도면을 참조하면, 홈 어플라이언스(200)는, 마이크를 통해 사용자 음성 명령을 수신하고, 사용자 음성 명령을 서버(400)로 전송할 수 있다.
서버(400)는, 복수의 사용자 음성 명령을 수집하며(S910), 복수의 사용자 음성 명령은, 사용자 음성 정보가 되어 저장부(401)에 저장될 수 있다(S930).
서버(400)는, 사용자 음성 정보를 기초로, 기계 학습의 과정을 수행할 수 있다(S950). 이 때, 기계 학습 알고리즘은 신경망(Neural Network), 결정 트리(Decision Tree), 유전 알고리즘(Genetic Algorithm), 유전자 프로그래밍(Genetic Programming), 가우스 과정 회귀, 선형 분별 분석, K 근접 이웃(K-Nearest Neighbor), 퍼셉트론, 방사 기저 함수 네트워크, 서포트 벡터 머신(Support Vector Machine), 딥 러닝(Deep Leanrning) 중 어느 하나일 수 있다.
예를 들어, 초기 사용자 음성 정보들에 대하여, 지도 학습(Supervised Learning)을 수행하고, 이후, 홈 어플라이언스(200)에 입력되는 사용자 음성 정보에 대하여 비지도 학습(Unsupervised Learning)을 진행하여, 사용자 음성 정보를 예측할 수 있다.
한편, 서버(400)가 음성 인식 시스템(100)인 경우, 기계 학습 하는 서버는, 음성 인식 시스템(100)에 속하는 복수의 서버 중 적어도 어느 하나 일 수 있다.
서버(400)는, 사용자 음성 정보를 기초로, 기계 학습에 의해 생성된, 음성 인식 관련 업데이트 데이터를 생성할 수 있으며(S970), 음성 인식 관련 업데이트 데이터를 기초로, 음성 인식 알고리즘을 업데이트 할 수 있다(S990).
이에 따라, 사용자 음성 정보를 학습하여, 사용자 특성에 맞게 업데이트된 음성 인식 관련 업데이트 데이터를 전송하므로, 각 사용자에게 최적화된 홈 어플라이언스 및 홈 어플라이언스 시스템을 제공할 수 있다.
한편, 상기 음성 인식 알고리즘은, 제1 또는, 제2 음성 인식 알고리즘이 될 수 있는 것은 물론이다.
한편, 서버(400)는, 홈 어플라이언스(200)를 사용하는, 복수의 사용자에 대하여 기계 학습을 수행 할 수 있다. 서버(400)는, 복수의 사용자에 대하여, 기계 학습을 수행하고, 기계 학습을 기초로 생성된 음성 인식 알고리즘 관련 업데이트 데이터를 개별 사용자를 위한 업데이트 데이터로 사용 할 수 있다.
한편, 홈 어플라이언스(200)는, 개별 사용자에 대한, 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 개별 사용자에 대한, 제1 음성 인식 알고리즘을 각각 업데이트 할 수 있다. 이에 따라 복수 사용자 각각에 대하여 사용자 맞춤의 음성 인식 알고리즘이 제공 될 수 있다.
한편, 서버(400)는, 사용 빈도가 높은 사용자에 대하여 기계 학습을 수행 할 수 있다. 서버(400)는, 사용 빈도가 높은 사용자에 대하여, 기계 학습을 수행하고, 기계 학습을 기초로 음성 인식 관련 업데이트 데이터를 생성할 수 있다.
한편, 홈 어플라이언스(200)는, 사용 빈도가 높은 사용자에 대한, 음성 인식 관련 업데이트 데이터를 수신 받을 수 있다. 홈 어플라이언스(200)는, 이를 기초로 제1 음성 인식 알고리즘을 업데이트 할 수 있다. 이에 따라, 홈 어플라이언스(200)는, 사용 빈도가 높은 사용자에 대한 음성 인식 알고리즘을 제공 할 수 있다.
한편, 홈 어플라이언스(200)는, 사용자 음성 명령을 서버(400)로 전송하고, 서버(400)는, 사용자 음성 명령을 카운트 하여, 사용 빈도가 높은 사용자 음성 명령들을 저장할 수 있다.
또한, 서버(400)는, 사용 빈도가 높은 사용자 음성 명령을 소정 개수 선택하여, 제2 음성 인식 알고리즘 관련 업데이트 데이터를 생성할 수 있고, 이를 기초로, 제2 음성 인식 알고리즘을 업데이트 할 수 있다.
또한, 서버(400)는, 사용 빈도가 높은 사용자 음성 명령을 소정 개수 선택하여, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 생성할 수도 있고, 이를 홈 어플라이언스로 전송 할 수도 있다.
한편, 홈 어플라이언스(200)는, 사용 빈도가 높은 사용자 음성 명령에 대한 상기 업데이트 데이터를 수신 받을 수 있고, 이를 기초로 제1 음성 인식 알고리즘을 업데이트 할 수 있다. 따라서, 자연어 음성 명령이라도 사용자의 음성 명령 패턴은 동일 또는 유사 할 수 있고, 사용 빈도가 높은 사용자 음성 명령에 대해서는, 홈 어플라이언스(200)에서 직접 처리하게 되어, 동작 제어 속도가 향상 될 수 있다.
예를 들어, "절전 기능 켜줘"와 같은, 자연어 음성 명령의 사용 빈도가 높은 경우, 서버(400)는, 이를 기초로, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 생성하여, 홈 어플라이언스로 전송 할 수 있고, 홈 어플라이언스(200)는 상기 업데이트 데이터를 수신 받아, 제1 음성 인식 알고리즘을 업데이트 할 수 있다. 이후, 사용자의 "절전 기능 켜줘"에 대하여, 홈 어플라이언스(200)는, 즉각적인 대응이 가능하게 된다.
또한, 홈 어플라이언스(200)는, 사용자 음성 명령 외에, 사용 빈도가 높은 기능 정보도 서버(400)에 전송 가능하다. 한편, 서버(400)는, 사용 빈도가 높은 사용자 음성 명령과, 사용 빈도가 높은 기능 정보를 분석하여 개선된, 음성 인식 관련 업데이트 데이터를 생성 할 수도 있다.
도 11은 도9의 동작 방법을 설명하기 위한 참조도면이다.
도면을 참조하면, 사용자는, 홈 어플라이언스(200)에 사용자 음성 명령을 입력할 수 있다(1110).
한편, 사용자 음성 명령은, 기 설정된 호출어를 포함하는 웨이크업 음성 또는 기 설정된 비교적 간단한 어휘의 키워드일 수 있다. 또한, 사용자 음성 명령은, 자연어 음성 명령일 수 있다.
예를 들어, 사용자 음성 명령은, “LG휘센” 과 같은 웨이크업 음성 일수 있다. 다른 예로, 사용자 음성 명령은, “공기 청정 모드”와 같은 키워드 음성 명령일 수 있다. 또 다른 예로, 사용자 음성 명령은, “절전 기능 켜줘”와 같은 자연어 음성 명령일 수 있다.
마이크(221, 222)를 통하여 사용자 음성명령을 수신한 홈 어플라이언스(200)는, 사용자 음성 명령을 액세스 포인트 장치(300)를 통해, 외부 네트 워크와 연결된 서버(400)에 전송 할 수 있다(1130).
서버(400)는, 사용자 음성 명령을 기초로, 기계 학습에 의해 제1 음성 인식 알고리즘 관련 업데이트 데이터를 생성할 수 있다.
또한, 홈 어플라이언스(200)는, 서버(400)에 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수 있다(1150).
서버(400)는, 홈 어플라이언스 업데이트 데이터 요청에 대응하여, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 전송 할 수 있다(1170).
도 12는, 본 발명의 또 다른 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작 방법에 대한 순서도이다.
도면을 참조하면, 홈 어플라이언스(200)는, 사용자 음성 명령을 서버(400)로 전송하고(S1210), 서버(400)는, 통신 모듈(403)을 통해, 사용자 음성 명령을 수신할 수 있다.
한편, 서버(400)는, 저장부(401)를 구비하고, 저장부(401)는, 제2 음성 인식 알고리즘을 저장할 수 있다. 또한, 저장부(401)는, 홈 어플라이언스(200)로부터 수신한, 사용자 음성 명령을, 사용자 음성 정보로 저장할 수 있다(S1231).
한편, 사용자 음성 정보는, 사용자의 목소리 톤, 세기 빠르기, 자주 사용하는 키워드, 사용자의 성별, 나이, 생체정보, 지역별 언어차이 등의 사용자 특성 데이터일 수 있다.
서버(400)는, 저장부(401)에 저장된, 사용자 음성 정보에 기초하여 기계 학습을 수행 할 수 있으며(S1232), 서버(400)는, 상기 기계 학습을 통해 제2 음성 인식 알고리즘 관련 업데이트 데이터를 생성 할 수 있다(S1233).
한편, 제2 음성 인식 알고리즘은 자연어 음성 명령을 인식하기 위한 음성 인식 알고리즘 일 수 있다.
서버(400)는, 제2 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 서버(400)에 저장된 제2 음성 인식 알고리즘을 업데이트 할 수 있다(S1234).
한편, 사용자는, “절전 기능 켜줘”와 같은 자연어 음성 명령을 발화할 수 있다. 홈 어플라이언스(200)는, 수신된, 자연어 음성 명령을 서버(400)로 전송 할 수 있다(S1250).
서버(400)는 제2 음성 인식 알고리즘을 기초로 자연어 음성 명령을 인식할 수 있으며(S1270), 인식된 자연어 음성 명령을, 텍스트 형식의 음성 데이터로 변환 할 수 있다(S1235).
서버(400)는, 변환된 텍스트 형식의 음성 데이터를 홈 어플라이언스(200)로 전송 할 수 있다(S1290).
홈 어플라이언스(200)는, 텍스트 형식의 음성 데이터를 기초로, 홈 어플라이언스(200)의 동작을 제어할 수 있다(S1220). 예를 들어, 사용자의 “절전 기능 켜줘”에 대응하여, 홈 어플라이언스의 절전 기능을 동작 시킬 수 있다.
제2 음성 인식 알고리즘은, 서버(400)에 저장된 사용자 음성 정보를 기초로, 기계 학습에 의해 생성되는, 사용자 음성 인식 알고리즘일 수 있다.
따라서, 서버(400)를 통해 음성 인식 알고리즘을 업데이트 하므로, 통합적인 업데이트 관리가 가능하다는 장점이 있다.
또한, 서버(400)를 통해 비교적 용이하게 자연어 음성 인식 알고리즘을 업데이트 할 수 있으며, 주기적인 업데이트로 인하여 다양한 자연어 처리가 가능하다는 장점도 있다.
도 13은, 도12의 동작 방법을 설명하기 위한 참조도면이다.
도면을 참조하면, 사용자는, 홈 어플라이언스(200)에 사용자 음성 명령을 입력할 수 있다(1310).
한편, 사용자 음성 명령은, 기 설정된 호출어를 포함하는 웨이크업 음성 또는 기 설정된 비교적 간단한 어휘의 키워드일 수 있다. 또한, 사용자 음성 명령은, 자연어 음성 명령일 수 있다.
예를 들어, 사용자 음성 명령은, “LG휘센” 과 같은 웨이크업 음성 일수 있다. 다른 예로, 사용자 음성 명령은, “공기 청정 모드”와 같은 키워드 음성 명령일 수 있다. 또 다른 예로, 사용자 음성 명령은, “절전 기능 켜줘”와 같은 자연어 음성 명령일 수 있다.
마이크(221, 222)를 통하여 사용자 음성 명령을 수신한 홈 어플라이언스(200)는, 사용자 음성 명령을 액세스 포인트 장치(300)를 통해, 외부 네트 워크와 연결된 서버(400)에 전송 할 수 있다(1330).
서버(400)는, 사용자 음성 명령을 기초로, 기계 학습에 의해 제2 음성 인식 알고리즘 관련 업데이트 데이터를 생성할 수 있다.
서버(400)는, 제2 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 서버(400)에 저장된 제2 음성 인식 알고리즘을 업데이트 할 수 있다.
한편, 사용자는, “냄새 제거 해줘”와 같은 자연어 음성 명령을 발화할 수 있다(1311). 자연어 음성 명령은, 홈 어플라이언스(200)의 마이크(221, 222)를 통하여 수신될 수 있고, 홈 어플라이언스(200)는, 자연어 음성 명령을 액세스 포인트 장치(300)를 통해, 외부 네트 워크와 연결된 서버(400)에 전송 할 수 있다(1350).
서버(400)는 제2 음성 인식 알고리즘을 기초로 자연어 음성 명령을 인식할 수 있으며, 인식된 자연어 음성 명령은 텍스트 형식의 음성 데이터로 변환 될 수 있다.
서버(400)는, 변환된 텍스트 형식의 음성 데이터를 홈 어플라이언스(200)로 전송할 수 있다(1370).
홈 어플라이언스(200)는, 텍스트 형식의 음성 데이터를 기초로, 홈 어플라이언스(200)의 동작을 제어할 수 있다. 예를 들어 사용자의 “냄새 제거 해줘”의 자연어 음성 명령이 수신된 경우, 홈 어플라이언스는, 공기 청정 기능을 동작 시킬 수 있다.
한편, 제1 음성 인식 알고리즘 관련 업데이트 데이터의 생성, 제2 음성 인식 알고리즘 관련 업데이트 데이터의 생성은, 동시에 수행될 수도 있다.
한편, 음성 인식 알고리즘 업데이트는, 제1 음성 인식 알고리즘 업데이트 또는 제2 음성 인식 알고리즘 업데이트 중 적어도 어느 하나만 수행될 수도 있다.
도 14는, 본 발명의 또 다른 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작 방법에 대한 순서도이다.
도면을 참조하면, 홈 어플라이언스(200)는, 마이크를 통해 사용자 음성 명령을 수신하고, 사용자 음성 명령을 서버(400)로 전송할 수 있다.
서버(400)는, 복수의 사용자 음성 명령을 수집하며(S1410), 복수의 사용자 음성 명령은, 사용자 음성 정보가 되어 저장부(401)에 저장될 수 있다(S1430).
한편, 사용자 음성에는 지역별 언어 차이에 의한 사용자 특성 데이터가 있을 수 있다. 서버(400)는, 사용자 음성 정보 중 지역별 언어 차이에 의한, 사용자 지역 음성 정보를 분류 할 수 있다(S1431). 여기서, 지역별 언어 차이는, 사투리(방언), 어조, 억양, 성조, 어휘, 발음 등으로 예시될 수 있다.
예를 들어, 서버(400)는, 지역별 언어 차이의 표준 패턴을 미리 저장할 수 있고. 입력된 사용자 음성과 지역별 언어 차이의 표준 패턴을 비교하여, 비슷한 패턴의 사용자 음성을 분류 할 수 있다. 분류된 사용자 음성은, 사용자 지역 음성 정보가 될 수 있다.
다른 예로, 서버(400)는, 지역별 언어 차이에 대응하는 모델을 저장할 수 있고, 지역별 언어 차이에 대응하는 모델로부터, 입력된 사용자 음성에 대응하는 계열이 관측될 확률, 입력된 사용자 음성이 천이하는 확률, 입력된 사용자 음성이 천이할 때 출력되는 계열이 발생하는 확률 등을 기초로 사용자 음성을 분류 할 수 있다.
또 다른 예로, 서버(400)는, 지역별 언어 차이에 대응하는 기준 파라미터를 저장할 수 있고, 입력된 사용자 음성으로부터 특징 파라미터를 추출하고, 그 특징 파라미터를 기준 파라미터와 비교하여, 사용자 음성을 분류 할 수 있다.
한편, 지역별 언어 차이와 관련된 방언이, 서버(400)에 저장되어 있지 않은 경우, 서버(400)는, 복수의 홈 어플라이언스(200)로부터, 홈 어플라이언스(200) 명령을 수신할 때, 해당 홈 어플라이언스(200)의 지역 정보를 함께 수신하며, 동일 지역에 속하는 홈 어플라이언스(200)에서 수신된 방언을 학습하여, 해당 지역에 관한 방언으로 분류 할 수 있다.
서버(400)는, 사용자 음성 정보를 기초로, 기계 학습의 과정을 수행할 수 있다(S1450). 예를 들어 서버(400)는 사용자의 목소리 톤, 세기, 빠르기, 자주 사용하는 키워드, 사용자의 성별, 나이 정보 등을 기초로, 기계 학습의 과정을 수행할 수 있다.
또한, 서버(400)는, 사용자 음성 정보에서 분류된, 사용자 지역 음성 정보를 기초로, 기계 학습의 과정을 수행할 수 있다(S1451). 예를 들어 서버(400)는, 사투리(방언), 어조, 억양, 성조, 어휘, 발등 등의 음성 정보를 기초로 기계 학습의 과정을 수행할 수 있다.
이 때, 기계 학습 알고리즘은 신경망(Neural Network), 결정 트리(Decision Tree), 유전 알고리즘(Genetic Algorithm), 유전자 프로그래밍(Genetic Programming), 가우스 과정 회귀, 선형 분별 분석, K 근접 이웃(K-Nearest Neighbor), 퍼셉트론, 방사 기저 함수 네트워크, 서포트 벡터 머신(Support Vector Machine), 딥 러닝(Deep Leanrning) 중 어느 하나일 수 있다.
한편, 서버(400)는, 홈 어플라이언스(200)를 사용하는, 복수의 사용자에 대하여 기계 학습을 수행 할 수 있다. 서버(400)는, 복수의 사용자에 대하여, 기계 학습을 수행하고, 기계 학습을 기초로 생성된 음성 인식 알고리즘 관련 업데이트 데이터를 개별 사용자별로 분류 할 수 있다.
서버(400)는, 사용자 음성 정보를 기초로, 기계 학습에 의해 생성된, 사용자 음성 인식 관련 업데이트 데이터를 생성할 수 있으며(S1470), 사용자 음성 인식 관련 업데이트 데이터를 기초로, 사용자 음성 인식 알고리즘을 업데이트 할 수 있다(S1490).
서버(400)는, 사용자 지역 음성 정보를 기초로, 기계 학습에 의해 생성된, 사용자 지역 음성 인식 관련 업데이트 데이터를 생성할 수 있으며(S1471), 사용자 지역 음성 인식 관련 업데이트 데이터를 기초로, 사용자 지역 음성 인식 알고리즘을 업데이트 할 수 있다(S1491).
서버(400)는, 사용자 특성 정보를 기초로, 기계 학습에 의해 생성된, 사용자 특정 음성 인식 관련 업데이트 데이터를 생성할 수 있으며, 사용자 특성 음성 인식 관련 업데이트 데이터를 기초로, 사용자 특성 음성 인식 알고리즘을 업데이트 할 수도 있다.
이에 따라, 음성 인식 기술의 경우, 지역별 인식 편차가 존재하여, 하나의 소프트웨어로 모두에게 같은 수준의 성능을 확보하기 어렵다는 문제점을 해결할 수 있다.
또한, 사용자 특성 데이터 중, 지역별 언어 차이 인식에 특화된 음성 인식 모듈을 제공 할 수 있다.
도 15는, 도 14의 동작 방법을 설명하기 위한 참조도면이다.
도면을 참조하면, 홈 어플라이언스(200)는, 제1 음성 인식 알고리즘을 저장하며, 사용자 음성 명령을 서버(400)에 전송 할 수 있다(S1510).
서버(400)는, 통신 모듈(403)을 통해, 사용자 음성 명령을 수신하며, 사용자 음성 명령은, 사용자 음성 정보가 되어 저장부(401)에 저장될 수 있다(S1531)
서버(400)는, 지역 음성 인식 기능이 활성화 되지 않은 경우, 도 9에서와 같이, 사용자 음성 정보에 기초하여 기계 학습을 수행 할 수 있으며, 서버(400)는, 상기 기계 학습을 통해 제1 음성 인식 알고리즘 관련 업데이트 데이터를 생성 할 수 있다.
서버(400)는, 지역 음성 인식 기능이 활성화 되어 있는 경우, 사용자 음성 정보 중, 사용자 지역 음성 정보를 분류하여 저장부(401)에 저장할 수 있다(S1533).
서버(400)는, 지역 음성 인식 기능이 활성화 되어 있는 경우, 사용자 지역 음성 정보에 기초하여 기계 학습을 수행 할 수 있으며(S1534), 서버(400)는, 상기 기계 학습을 통해 제1 음성 인식 알고리즘 관련 업데이트 데이터를 생성 할 수 있다(S1535).
한편, 제1 음성 인식 알고리즘은, 기 설정된 호출어를 포함하는 웨이크업 음성 신호를 인식하기 위한 알고리즘 또는 기 설정된 비교적 간단한 어휘의 키워드 명령을 인식 하기 위한 알고리즘 일 수 있다.
한편, 홈 어플라이언스(200)는, 서버(400)에 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청 할 수 있다(S1550). 또한, 홈 어플라이언스(200)는, 외부 이동 단말기의 애플리케이션을 통해 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청할 수도 있다.
한편, 홈 어플라이언스(200) 또는 이동 단말기의 요청 없이 서버(400)가 주기적 혹은 비주기적으로 제1 음성 인식 알고리즘 관련 업데이트 데이터를 전송 하는 것도 가능하다.
홈 어플라이언스(200)의 입력부(260)는, 업데이트 데이터의 입력 신호를 입력 받을 수 있다.
예를 들어, 홈 어플라이언스(200)의 입력부(260)는, 사용자 음성 정보에 기초하여 기계 학습에 의해 생성된 제1 음성 인식 알고리즘 관련 업데이트 데이터 또는 사용자 지역 음성 정보에 기초하여 기계 학습에 의해 생성된 제1 음성 인식 알고리즘 관련 업데이트 데이터 중 적어도 어느 하나의 선택 신호를 입력 받을 수 있다.
서버(400)는, 홈 어플라이언스(200) 또는 이동 단말기의 요청에 대응하여 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 홈 어플라이언스(200)에 전송 할 수 있다(S1570).
예를 들어, 서버(400)는, 사용자가 입력한 업데이트 요청 신호에 대응하여, 사용자 음성 정보에 기초하여 기계 학습에 의해 생성된 제1 음성 인식 알고리즘 관련 업데이트 데이터 또는 사용자 지역 음성 정보에 기초하여 기계 학습에 의해 생성된 제1 음성 인식 알고리즘 관련 업데이트 데이터를 선택적으로 전송 할 수 있다.
이 경우, 홈 어플라이언스(200)는, 사용자 입력에 따라, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 홈 어플라이언스(200)에 저장된 제1 음성 인식 알고리즘을 업데이트 할 수 있다(S1591).
예를 들어, 사용자가, 사용자 음성 정보에 기초하여 기계 학습에 의해 생성된 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 선택하여 수신 받은 경우, 홈 어플라이언스(200)는, 이를 기초로 제1 음성 인식 알고리즘을 업데이트 할 수 있다.
예를 들어, 사용자가, 사용자 지역 음성 정보에 기초하여 기계 학습에 의해 생성된 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 선택하여 수신 받은 경우, 홈 어플라이언스(200)는, 이를 기초로 제1 음성 인식 알고리즘을 업데이트 할 수 있다.
한편, 서버(400)는, 사용자 음성 정보에 기초하여 기계 학습에 의해 생성된 제1 음성 인식 알고리즘 관련 업데이트 데이터 및 사용자 지역 음성 정보에 기초하여 기계 학습에 의해 생성된 제1 음성 인식 알고리즘 관련 업데이트 데이터를 모두 전송 할 수도 있다.
이 경우, 홈 어플라이언스(200)는, 입력부(260)를 통해, 사용자 음성 인식 알고리즘 또는 사용자 지역 음성 인식 알고리즘 중, 적어도 어느 하나의 사용 명령을 입력 받아(S1592), 이를 사용 할 수 있다.
예를 들어, 사용자가, 사용자 지역 음성 인식 알고리즘을 선택한 경우, 홈 어플라이언스는 사용자 지역 음성 인식 알고리즘을 사용하여 사용자 음성을 인식 할 수 있다(S1593).
따라서, 제1 음성 인식 알고리즘은, 서버에 저장된 사용자 음성 정보 중 지역별 언어 차이에 의한, 사용자 지역 음성 정보를 기초로, 기계 학습에 의해 생성되는 사용자 지역 음성 인식 알고리즘 일 수 있다.
도 16은, 도 14의 동작 방법을 설명하기 위한 참조도면이다.
도면을 참조하면, 홈 어플라이언스(200)는 사용자 음성 명령을 서버(400)로 전송하고(S1610) 서버(400)는, 통신 모듈(403)을 통해, 사용자 음성 명령을 수신할 수 있다.
한편, 서버(400)는, 저장부(401)를 구비하고, 저장부(401)는, 제2 음성 인식 알고리즘을 저장할 수 있다. 또한, 저장부(401)는, 홈 어플라이언스(200)로부터 수신한, 사용자 음성 명령을, 사용자 음성 정보로 저장할 수 있다(S1631).
서버(400)는, 지역 음성 인식 기능이 활성화 되지 않은 경우, 도 12에서와 같이, 사용자 음성 정보에 기초하여 기계 학습을 수행 할 수 있으며, 서버(400)는, 상기 기계 학습을 통해 제2 음성 인식 알고리즘 관련 업데이트 데이터를 생성 할 수 있다.
서버(400)는, 지역 음성 인식 기능이 활성화 되어 있는 경우, 사용자 음성 정보 중, 사용자 지역 음성 정보를 분류하여 저장부(401)에 저장할 수 있다(S1633).
서버(400)는, 지역 음성 인식 기능이 활성화 되어 있는 경우, 사용자 지역 음성 정보에 기초하여 기계 학습을 수행 할 수 있으며(S1634), 서버(400)는, 상기 기계 학습을 통해 제2 음성 인식 알고리즘 관련 업데이트 데이터를 생성 할 수 있다(S1635).
한편, 제2 음성 인식 알고리즘은 자연어 음성 명령을 인식하기 위한 음성 인식 알고리즘 일 수 있다.
서버(400)는, 제2 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 서버(400)에 저장된 제2 음성 인식 알고리즘을 업데이트 할 수 있다(S1636).
홈 어플라이언스(200)의 입력부(260)는, 음성 인식 알고리즘의 입력 신호를 입력 받을 수 있다.
예를 들어, 홈 어플라이언스(200)의 입력부(260)는, 사용자 음성 정보에 기초하여 기계 학습에 의해 생성된 제2 음성 인식 알고리즘 또는 사용자 지역 음성 정보에 기초하여 기계 학습에 의해 생성된 제2 음성 인식 알고리즘 중 적어도 어느 하나의 입력 신호를 입력 받을 수 있다. 사용자 입력은, 사용자 음성 발화 전이라면 언제라도 가능하다.
홈 어플라이언스(200)는, 사용자의 입력 신호를 서버(400)로 전송할 수 있다(S1650). 따라서, 사용자의 입력 신호에 의해, 서버(400)의 사용자 음성 인식 알고리즘 또는 사용자 지역 음성 알고리즘을 선택하여 사용할 수 있다.
한편, 사용자는, “절전 기능 켜줘”와 같은 자연어 음성 명령을 발화할 수 있다. 홈 어플라이언스(200)는, 수신된, 자연어 음성 명령을 서버(400)로 전송 할 수 있다(S1670).
서버(400)는, 제2 음성 인식 알고리즘을 기초로 자연어 음성 명령을 인식할 수 있으며(S1620), 인식된 자연어 음성 명령을, 텍스트 형식의 음성 데이터로 변환 할 수 있다(S1640).
예를 들어, 사용자가, 사용자 음성 정보에 기초하여 기계 학습에 의해 생성된 제2 음성 인식 알고리즘을 선택한 경우, 사용자 음성 정보에 기초하여 기계 학습에 의해 생성된 제2 음성 인식 알고리즘을 기초로 자연어 음성 명령을 인식하여 텍스트 형식의 음성 데이터로 변환 할 수 있다.
예를 들어, 사용자가, 사용자 지역 음성 정보에 기초하여 기계 학습에 의해 생성된 제2 음성 인식 알고리즘을 선택한 경우, 사용자 지역 음성 정보에 기초하여 기계 학습에 의해 생성된 제2 음성 인식 알고리즘을 기초로 자연어 음성 명령을 인식하여 텍스트 형식의 음성 데이터로 변환 할 수 있다.
따라서, 제2 음성 인식 알고리즘은, 서버에 저장된 사용자 음성 정보 중 지역별 언어 차이에 의한, 사용자 지역 음성 정보를 기초로, 기계 학습에 의해 생성되는 사용자 지역 음성 인식 알고리즘 일 수 있다.
한편, 서버(400)는, 변환된 텍스트 형식의 음성 데이터를 홈 어플라이언스(200)로 전송 할 수 있다(S1690).
홈 어플라이언스(200)는, 텍스트 형식의 음성 데이터를 기초로, 홈 어플라이언스(200)의 동작을 제어할 수 있다(S1660). 예를 들어, 사용자의 “절전 기능 켜줘”에 대응하여, 홈 어플라이언스의 절전 기능을 동작 시킬 수 있다.
도 17은, 본 발명의 또 다른 실시예에 따른, 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작 방법에 대한 순서도이다.
도면을 참조하면, 홈 어플라이언스(200)의 메모리(250)는, 현재 설치된, 제1 음성 인식 알고리즘 업데이트의 버전 정보를 저장할 수 있고, 홈 어플라이언스(200)는, 서버(400)에 버전 정보를 요청할 수 있다(S1710)
또한, 서버(400)의 저장부(401)도, 음성 인식 알고리즘 업데이트 데이터의 버전 정보를 저장할 수 있고, 서버(400) 역시, 홈 어플라이언스(200)에 업데이트 버전 정보를 요청 할 수 있다(S1710)
업데이트 버전 정보 요청 또는 전송은, 비 주기적으로도 가능하고, 시간, 일, 주, 월 및 년의 기간 중 하나 이상의 일정 기간 간격으로도 할 수 있다.
홈 어플라이언스(200)는, 서버(400)의 업데이트 버전 정보 요청에 대응하여, 서버(400)로 업데이트 버전 정보를 전송 할 수 있다(S1730).
또한, 서버(400)도, 홈 어플라이언스(200)의 업데이트 버전 정보 요청에 대응하여, 홈 어플라이언스(200)로 업데이트 버전 정보를 전송 할 수 있다(S1730).
홈 어플라이언스(200)는, 서버로부터, 서버에 저장된, 제1 음성 인식 알고리즘 업데이트 버전 정보를 수신하고, 메모리(250)에 저장된 버전 정보와, 수신된 버전 정보를 비교할 수 있다(S1750).
홈 어플라이언스(200)는, 업데이트 버전 정보를 비교하여, 메모리(250)에 저장된 버전 정보가 최신 버전이 아닌 경우, 서버(400)에 제1 음성 인식 알고리즘 관련 업데이트 데이터를 전송해 줄 것을 요청 할 수 있다(S1770).
홈 어플라이언스(200)는, 업데이트 버전 정보를 비교하여, 메모리(250)에 저장된 버전 정보가 최신 버전인 경우, 업데이트 전송 요청을 하지 않는다.
홈 어플라이언스(200)는 제1 음성 인식 알고리즘을 최신의 버전으로 유지할 수 있으므로, 최신의 음성 인식 알고리즘의 사용을 통해, 개선된 음성 인식의 효과를 가질 수 있다.
도 18은, 도 17의 동작 방법을 설명하기 위한 참조도면이다.
도면을 참조하면, 홈 어플라이언스(200)의 메모리(250)는, 현재 설치된, 제1 음성 인식 알고리즘 업데이트의 버전 정보를 저장할 수 있다. 예를 들어, 메모리(250)에 저장된 버전 정보는 “4.4.2” 일 수 있다.
한편, 서버(400)의 저장부(340)도, 현재 설치된, 제1 음성 인식 알고리즘 업데이트의 버전 정보를 저장할 수 있다. 예를 들어, 저장부(340)에 저장된 버전 정보는, “5.0” 일 수 있다.
홈 어플라이언스(200)의 제어부(240)는, 액세스 포인트 장치(300)를 통하여 서버(400)에 업데이트 버전 정보를 요청할 수 있다(1810).
서버(400)는, 홈 어플라이언스(200)의 업데이트 버전 정보 요청에 대응하여, 홈 어플라이언스(200)로 업데이트 버전 정보를 전송 할 수 있다(1830).
홈 어플라이언스(200)의 제어부(240)는, 서버(400)로부터, 서버(400)에 저장된, 제1 음성 인식 알고리즘 업데이트의 버전 정보를 수신하고, 메모리(250)에 저장된 버전 정보와 수신된 버전 정보를 비교 할 수 있다.
제어부(240)는, 서버(400)로부터 수신된 버전 정보가 최신 버전인 경우, 서버(400)로, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청 할 수 있다(1850). 예를 들어, 메모리(250)에 저장된 버전 정보가 “4.4.2” 이고 서버(400)로부터 수신된 버전 정보가 “5.0”인 경우, 수신된 버전 정보가 최신 버전이므로, 제어부(240)는, 서버(400)로 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청 할 수 있다.
서버(400)는, 서버(400)에 저장된 버전 정보가 최신 버전이고, 홈 어플라이언스(200)의 업데이트 데이터 전송 요청이 있는 경우, 홈 어플라이언스(200)로 제1 음성 인식 알고리즘 관련 업데이트 데이터를 전송 할 수 있다(1870).
이에 따라, 홈 어플라이언스(200)의 제1 음성 인식 알고리즘을 항상 최신 버전으로 유지할 수 있다.
도 19a 내지 도 19c는 본 발명의 설명에 참조되는 도면이다.
도면을 참조하면, 제1 시점(T=t1)에서, 홈 어플라이언스(200)는 “LG 휘센 냉방 모드(1910)(제1 사용자 음성 명령)”와 같은 키워드 음성 명령을 입력 받을 수 있다. 마이크(221,222)를 통하여 사용자 음성 명령을 수신한, 공기 조화기(200a)의 제어부(240)는, “다시 말씀해 주세요(1911)”와 같은 재명령 메시지를 오디오 출력부(291)를 통해 출력하도록 제어할 수 있다.
공기 조화기(200a)의 제어부(240)는, 서버(400)에 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청 할 수 있고(1940), 서버(400)는 공기 조화기(200a)의 업데이트 데이터 요청에 대응하여, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 전송 할 수 있다(1950).
공기 조화기(200a)는, 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 메모리(250)에 저장된, 제1 음성 인식 알고리즘을 업데이트 할 수 있다. 예를 들어, 공기 조화기(200a)는, 제1 음성 인식 알고리즘 업데이트 이후, 성능이 향상된 제1 음성 인식 알고리즘을 구비 할 수 있다.
제2 시점(T=t3)에서, 홈 어플라이언스(200)는, 제1 시점(T=t1)에서와 같이, “LG 휘센 냉방 모드(1960)(제1 사용자 음성 명령)”의 키워드 음성 명령을 입력 받을 수 있다. 마이크(221,222)를 통하여 사용자 음성 명령을 수신한, 공기 조화기(200a)의 제어부(240)는, 제1 음성 인식 알고리즘을 기초로, 사용자 음성 명령을 인식할 수 있다.
공기 조화기(200a)는, 사용자 음성 명령을 인식하여, 공기 조화기(200a)의 동작을 제어할 수 있다. 예를 들어, 제어부(240)는, 제2 시점(T=t3)에서, 사용자의 “LG휘센 냉방 모드(1960)”를 인식하여, 공기 조화기(200a)를 냉방 모드로 동작 시킬 수 있다.
공기 조화기(200a)의 오디오 출력부(291)는, 사용자 음성 명령에 대응하는 처리 결과를 출력할 수 있다. 예를 들어, 사용자의 “LG 휘센 냉방 모드”에 대응하여, “냉방 모드로 동작 합니다”를 출력할 수 있다.
도 20 내지 도 21은, 본 발명의 설명에 참조되는 도면이다.
도 20과 도 21은, 홈 어플라이언스(200)가 공기 조화기(200a)인 경우에 수행하는 피드백 동작들을 예시한다.
도 20을 참조하면, 공기조화기(200a)의 마이크(221, 222)를 통하여 설정된 경과 시간 이내에 음성 명령이 수신되면, 베인 구동부(1210)는 상측 베인(261U)을 소정 높이까지 상승시킬 수 있다.
또한, 베인 구동부(1210)는 좌측 베인(261L)과 우측 베인(261R)을 소정 각도로 회전시킬 수 있다.
또한, 베인 구동부(1210)는 하측 베인(261D)을 내측 방향으로 전진 이동시켜, 하부 프론트 공기토출구(207D)를 개방할 수 있다.
공기조화기(200a)가 특정 운전모드로 동작하고 있지 않아 공기토출구들이 닫혀 있는 상태에 있을 때, 음성 명령이 수신되면, 베인 구동부(1210)는 제어부(240)의 제어에 따라 복수의 베인(261R, 261L, 261U, 261D) 전부를 구동할 수 있다.
또는, 베인 구동부(1210)는 복수의 베인(261R, 261L, 261U, 261D) 중 일부를 구동할 수도 있다.
도 21을 참조하면, 마이크(221, 222)를 통하여 설정된 경과 시간 이내에 음성 명령이 수신되면, 베인 구동부(1210)는 제어부(240)의 제어에 따라 좌측 베인(261L)과 우측 베인(261R)을 소정 각도로 회전시킬 수 있다.
또한, 베인 구동부(1210)는, 좌측 베인(261L)과 우측 베인(261R)이 소정 범위 내에서 회전을 반복하는 스윙 동작을 수행하도록 제어할 수 있다.
본 발명에 따른 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템은, 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 실시예에 따른 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템의 동작 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
10: 홈 어플라이언스 시스템
100: 음성 인식 서버 시스템
200: 홈 어플라이언스
200a: 공기 조화기
272: 음성 인식 모듈
240: 제어부
250: 메모리
400: 서버
401: 저장부
402: 프로세서
403: 통신 모듈

Claims (15)

  1. 사용자 음성 명령을 수신하는 마이크;
    제1 음성 인식 알고리즘을 저장하는 메모리;
    상기 사용자 음성 명령을, 서버로 전송하고, 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 상기 서버로부터 수신하는 통신부; 및
    상기 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 상기 메모리에 저장된, 상기 제1 음성 인식 알고리즘을 업데이트하도록 제어하는 제어부; 를 포함하는 것을 특징으로 하는,
    홈 어플라이언스.
  2. 제1 항에 있어서,
    상기 제어부는,
    상기 서버에, 상기 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청하는 것을 특징으로 하는,
    홈 어플라이언스
  3. 제 1항에 있어서,
    상기 메모리는,
    현재 설치된, 제1 음성 인식 알고리즘 업데이트의 버전 정보, 히스토리 정보, 빌드 번호 중 적어도 어느 하나를 저장하는 것을 특징으로 하는,
    홈 어플라이언스.
  4. 제 3항에 있어서,
    상기 제어부는,
    상기 서버로부터, 상기 서버에 저장된, 제1 음성 인식 알고리즘 업데이트의 버전 정보를 수신하고, 상기 메모리에 저장된 버전 정보와, 수신된 버전 정보를 비교하여, 상기 수신된 버전 정보가 최신 버전인 경우, 상기 서버로, 상기 제1 음성 인식 알고리즘 관련 업데이트 데이터를 요청하는 것을 특징으로 하는,
    홈 어플라이언스.
  5. 제 1항에 있어서,
    상기 메모리는,
    상기 제1 음성 인식 알고리즘 관련 업데이트 데이터를 저장하고,
    상기 제어부는,
    상기 제1 음성 인식 알고리즘 관련 업데이트 데이터가 수신되면, 업데이트 수행 시점을 상기 사용자가 설정할 수 있는 메뉴를 제공하는 것을 특징으로 하는,
    홈 어플라이언스.
  6. 제 5항에 있어서,
    상기 제어부는,
    상기 사용자가 설정한 시점에, 상기 메모리에 저장된, 상기 제1 음성 인식 알고리즘을 업데이트하도록 제어하는 것을 특징으로 하는,
    홈 어플라이언스.
  7. 제 1항에 있어서,
    상기 사용자 음성 명령에 대응하는 정보 또는 상기 사용자 음성에 대응하는 처리 결과 중 적어도 어느 하나를 출력하는 오디오 출력부; 를 더 포함하는 것을 특징으로 하는,
    홈 어플라이언스.
  8. 제 7항에 있어서,
    상기 제어부는,
    제1 시점에 입력되는 제1 사용자 음성 명령에 대하여, 재명령 메시지를 상기 오디오 출력부를 통해, 출력하도록 제어하고, 상기 제1 음성 인식 알고리즘 업데이트 이후, 제2 시점에 입력되는 상기 제1 사용자 음성 명령을 인식 하여, 홈 어플라이언스의 동작을 제어하는 것을 특징으로 하는,
    홈 어플라이언스.
  9. 제 1항에 있어서,
    상기 제어부는,
    상기 제1 음성 인식 알고리즘을 기초로, 상기 사용자 음성 명령을 인식하여, 홈 어플라이언스의 동작을 제어하는 것을 특징으로 하는,
    홈 어플라이언스.
  10. 사용자 음성 명령을 수신하는 마이크;
    제1 음성 인식 알고리즘을 저장하는 메모리;
    상기 사용자 음성 명령을, 서버로 전송하고, 제1 음성 인식 알고리즘 관련 업데이트 데이터를, 상기 서버로부터 수신하는 통신부; 및
    상기 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 상기 메모리에 저장된, 상기 제1 음성 인식 알고리즘을 업데이트하도록 제어하는 프로세서; 를 포함하는 것을 특징으로 하는,
    음성 인식 모듈.
  11. 제1 음성 인식 알고리즘을 저장하며, 사용자 음성 명령을 전송하는 홈 어플라이언스; 및
    제2 음성 인식 알고리즘을 저장하는 저장부와, 상기 사용자 음성 명령을 수신하는 통신 모듈과, 상기 제2 음성 인식 알고리즘을 기초로, 상기 사용자 음성 명령을 인식하는 프로세서를 구비하는 서버; 를 포함하고,
    상기 서버는,
    제1 음성 인식 알고리즘 관련 업데이트 데이터를, 홈 어플라이언스로 전송하고, 제2 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 상기 서버에 저장된, 상기 제2 음성 인식 알고리즘을 업데이트하며,
    상기 홈 어플라이언스는,
    상기 제1 음성 인식 알고리즘 관련 업데이트 데이터를 기초로, 상기 홈 어플라이언스에 저장된, 상기 제1 음성 인식 알고리즘을 업데이트 하는 것을 특징으로 하는,
    홈 어플라이언스 시스템.
  12. 제 11항에 있어서,
    상기 제1 또는 제2 음성 인식 알고리즘 중 적어도 어느 하나는,
    상기 서버에 저장된, 사용자 음성 정보를 기초로, 기계 학습에 의해 생성되는, 사용자 음성 인식 알고리즘인 것을 특징으로 하는,
    홈 어플라이언스 시스템
  13. 제 12항에 있어서,
    상기 제1 또는 제2 음성 인식 알고리즘 중 적어도 어느 하나는,
    상기 서버에 저장된, 상기 사용자 음성 정보 중, 지역별 언어 차이에 의한, 사용자 지역 음성 정보를 기초로, 기계 학습에 의해 생성되는, 사용자 지역 음성 인식 알고리즘인 것을 특징으로 하는,
    홈 어플라이언스 시스템.
  14. 제 13항에 있어서,
    상기 홈 어플라이언스는,
    상기 사용자 음성 인식 알고리즘, 또는 상기 사용자 지역 음성 인식 알고리즘 중, 적어도 어느 하나의 사용 명령을 입력 받는, 입력부; 를 더 포함하는 것을 특징으로 하는,
    홈 어플라이언스 시스템.
  15. 제 11항에 있어서,
    상기 제1 음성 인식 알고리즘은,
    키워드 명령을 인식하는 알고리즘을 포함하며,
    상기 제2 음성 인식 알고리즘은,
    자연어 음성 명령을 인식하는 알고리즘을 포함하는 것을 특징으로 하는,
    홈 어플라이언스 시스템
KR1020170042086A 2017-03-31 2017-03-31 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템 KR101989106B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170042086A KR101989106B1 (ko) 2017-03-31 2017-03-31 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170042086A KR101989106B1 (ko) 2017-03-31 2017-03-31 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템

Publications (2)

Publication Number Publication Date
KR20180111310A true KR20180111310A (ko) 2018-10-11
KR101989106B1 KR101989106B1 (ko) 2019-06-13

Family

ID=63864940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170042086A KR101989106B1 (ko) 2017-03-31 2017-03-31 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템

Country Status (1)

Country Link
KR (1) KR101989106B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379422A (zh) * 2019-07-16 2019-10-25 深圳创维-Rgb电子有限公司 线下远场语音控制系统、控制方法及设备
KR20200121845A (ko) * 2018-12-03 2020-10-26 구글 엘엘씨 텍스트 독립 화자 인식
KR20210008520A (ko) * 2018-09-25 2021-01-22 구글 엘엘씨 화자 임베딩(들)과 트레이닝된 생성 모델을 이용한 화자 분리
CN114513541A (zh) * 2022-03-15 2022-05-17 安徽奥克斯智能电气有限公司 一种程序更新方法、空调和程序更新系统
CN115077155A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302995A (ja) * 2002-04-12 2003-10-24 Canon Inc 音声認識文法の更新方法、情報処理装置及びコンピュータ・プログラム
JP2010134367A (ja) * 2008-12-08 2010-06-17 Mitsubishi Electric Corp 電気機器
KR20120079246A (ko) * 2011-01-04 2012-07-12 엘지전자 주식회사 공기 조화기의 제어 방법
KR20150038658A (ko) * 2007-06-27 2015-04-08 마이크로소프트 코포레이션 소프트웨어 자동 공급을 위한 기술

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302995A (ja) * 2002-04-12 2003-10-24 Canon Inc 音声認識文法の更新方法、情報処理装置及びコンピュータ・プログラム
KR20150038658A (ko) * 2007-06-27 2015-04-08 마이크로소프트 코포레이션 소프트웨어 자동 공급을 위한 기술
JP2010134367A (ja) * 2008-12-08 2010-06-17 Mitsubishi Electric Corp 電気機器
KR20120079246A (ko) * 2011-01-04 2012-07-12 엘지전자 주식회사 공기 조화기의 제어 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210008520A (ko) * 2018-09-25 2021-01-22 구글 엘엘씨 화자 임베딩(들)과 트레이닝된 생성 모델을 이용한 화자 분리
KR20230018534A (ko) * 2018-09-25 2023-02-07 구글 엘엘씨 화자 임베딩(들)과 트레이닝된 생성 모델을 이용한 화자 분리
US11735176B2 (en) 2018-09-25 2023-08-22 Google Llc Speaker diarization using speaker embedding(s) and trained generative model
KR20200121845A (ko) * 2018-12-03 2020-10-26 구글 엘엘씨 텍스트 독립 화자 인식
US11527235B2 (en) 2018-12-03 2022-12-13 Google Llc Text independent speaker recognition
CN110379422A (zh) * 2019-07-16 2019-10-25 深圳创维-Rgb电子有限公司 线下远场语音控制系统、控制方法及设备
CN110379422B (zh) * 2019-07-16 2022-05-20 深圳创维-Rgb电子有限公司 线下远场语音控制系统、控制方法及设备
CN115077155A (zh) * 2021-03-10 2022-09-20 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN115077155B (zh) * 2021-03-10 2023-12-22 松下电器研究开发(苏州)有限公司 冰箱及智能冰箱系统
CN114513541A (zh) * 2022-03-15 2022-05-17 安徽奥克斯智能电气有限公司 一种程序更新方法、空调和程序更新系统

Also Published As

Publication number Publication date
KR101989106B1 (ko) 2019-06-13

Similar Documents

Publication Publication Date Title
KR101989106B1 (ko) 홈 어플라이언스, 음성 인식 모듈 및 홈 어플라이언스 시스템
US11183173B2 (en) Artificial intelligence voice recognition apparatus and voice recognition system
KR102553299B1 (ko) 데이터 학습 서버 및 이의 학습 모델 생성 및 이용 방법
US20200104094A1 (en) Customizable embedded vocal command sets for a lighting and/or other environmental controller
US11615792B2 (en) Artificial intelligence-based appliance control apparatus and appliance controlling system including the same
KR101924963B1 (ko) 홈 어플라이언스의 동작 방법
US20150053779A1 (en) Devices and methods for interacting with an hvac controller
KR102395013B1 (ko) 인공지능 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
KR102373652B1 (ko) 인공지능 공기조화기의 동작 방법
KR101957169B1 (ko) 음성 서버의 동작 방법
KR102416782B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
CN108694948A (zh) 语音服务器、语音识别服务器系统及其动作方法
KR101976427B1 (ko) 음성 인식 서버 시스템의 동작 방법
KR20180127100A (ko) 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
CN108694943A (zh) 语音服务器、语音识别服务器系统及其动作方法
WO2015003377A1 (zh) 智能住宅系统及其运作方法
CN113223514A (zh) 基于IoT环境中的非语音声音的语音命令解析方法及装置
KR101965880B1 (ko) 음성 인식 방법
US20220270601A1 (en) Multi-modal smart audio device system attentiveness expression
KR102219800B1 (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR20180110977A (ko) 홈 어플라이언스 및 그 동작 방법
KR102219799B1 (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR20180130315A (ko) 홈 어플라이언스 및 그 동작 방법
US20220123956A1 (en) Server, terminal device, and method for home appliance management thereby
CN111308921A (zh) 基于语音控制设备的方法及控制终端设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right