KR20190084566A - 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법 - Google Patents

음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법 Download PDF

Info

Publication number
KR20190084566A
KR20190084566A KR1020180002475A KR20180002475A KR20190084566A KR 20190084566 A KR20190084566 A KR 20190084566A KR 1020180002475 A KR1020180002475 A KR 1020180002475A KR 20180002475 A KR20180002475 A KR 20180002475A KR 20190084566 A KR20190084566 A KR 20190084566A
Authority
KR
South Korea
Prior art keywords
voice
server
data
laundry processing
voice command
Prior art date
Application number
KR1020180002475A
Other languages
English (en)
Other versions
KR102498007B1 (ko
Inventor
이흥규
안준희
이재훈
강효정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180002475A priority Critical patent/KR102498007B1/ko
Priority to US16/242,770 priority patent/US10978067B2/en
Publication of KR20190084566A publication Critical patent/KR20190084566A/ko
Application granted granted Critical
Publication of KR102498007B1 publication Critical patent/KR102498007B1/ko

Links

Images

Classifications

    • D06F33/02—
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/28—Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F39/00—Details of washing machines not specific to a single type of machines covered by groups D06F9/00 - D06F27/00 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462—LAN interconnection over a bridge based backbone
    • H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2101/00—User input for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2101/20—Operation modes, e.g. delicate laundry washing programs, service modes or refreshment cycles
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/52—Changing sequence of operational steps; Carrying out additional operational steps; Modifying operational steps, e.g. by extending duration of steps
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/58—Indications or alarms to the control system or to the user
    • D06F2105/60—Audible signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Washing Machine And Dryer (AREA)
  • Artificial Intelligence (AREA)

Abstract

본 발명은 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법에 관한 것으로, 자연어로 구성된 음성명령을 입력받아, 음성을 인식하여 음성명령에 대응하는 동작을 설정하고, 그에 대한 안내멘트를 음성으로 출력함으로써, 사용자의 음성발화에 의한 자연어를 인식하여 처리하여 세탁물 처리기기를 용이하게 제어하고 모니터링 할 수 있다. 또한, 사용자의 음성명령에 대한 의도를 분석함으로써, 세탁물 처리기기의 동작을 제어뿐 아니라, 사용자의 요구에 따른 응답을 출력할 수 있고, 동작상태에 따른 가이드를 제공할 수 있다. 또한, 본 발명은 의도분석이 불가능한 케이스를 분류하여 별도로 분석함으로써 의도분석에 대한 학습데이터를 구축할 수 있고, 음성인식을 이용하여 세탁물 처리기기의 기능 외에도 부가적인 서비스를 제공할 수 있다.

Description

음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법{Laundry Treating Apparatus Control System by Voice Recognition and operating Method the same}
본 발명은 사용자의 자연어 명령을 인식하여 동작을 제어하는 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법에 관한 것이다.
일반적으로 세탁물 처리기기는, 물과 세제의 화학적 분해 작용과 물과 세탁물 간의 마찰 등 물리적 작용 등을 이용하여, 의복, 침구 등(이하, ‘세탁물’이라 약칭함)에 묻은 오염물질을 분리해내는 장치를 통칭하는 것이다.
이러한 세탁물 처리기기는 세탁물을 수용하는 드럼이 회전 가능하게 설치되는 것을 기본 구조로 하고, 전방면에 구비된 투입구를 통해 의류를 장치에 투입하는 프론트 로딩 방식과, 장치의 상부면에 구비된 투입구를 통해 의류를 장치에 투입하는 탑 로딩 방식으로 구분될 수 있다.
세탁물 처리기기는 두 가지 방식 중 어느 것이든 세탁물을 수용하는 드럼이 회전함으로써 세탁물의 세탁, 헹굼, 탈수 및/또는 건조 단계가 순차적으로 또는 선택적으로 수행됨으로써 세탁물이 처리된다.
이러한 세탁물 처리기기는 전면 또는 상면에 위치하는 디스플레이와 복수의 스위치를 사용자가 직접 조작함으로써, 동작하게 된다. 또한, 최근에는 세탁물 처리기기가 인터넷 등의 네트워크에 연결되고, 됨에 따라 세탁물 처리기기와 휴대 단말을 네트워크로 연결하여, 단말의 제어용 어플리케이션을 통해 제어할 수 있도록
최근에는 사용자의 음성을 인식하여 기기의 동작을 제어하는 추세이다. 그에 따라 세탁물 처리기기 또한, 사용자의 음성을 인식하여 동작하도록 하는 연구가 증가하고 있다.
대한민국 공개특허 10-1999-00069703호(종래기술1)는 공기조화기용 리모콘이 음성 입력부 및 신호 처리부를 구비하여 음성 인식에 따른 조작 신호를 생성, 전송하도록 구성된다.
또한, 대한민국 공개특허 10-2006-0015092호(종래 기술 2)는 입력되는 음성신호를 디지털 신호 및 텍스트로 변환 후, 데이터베이스 내 일치하는 제어 명령 존재 여부 확인하고, 일치하는 제어명령이 있으면 공기조화기 내 각 장치를 제어하며, 일치하는 제어명령이 없으면 키워드를 추출하여 연계된 제어명령에 따라 공기조화기 내 각 장치를 제어한다.
그러나 이러한 종래기술은 리모콘 및 공기조화기 등 개별 장치가 구비할 수 있는 시스템 자원에는 한계가 있다. 특히 단순한 몇 가지 단어만 인식하는 것이 아니라 자연어를 인식하기 위해서는 높은 연산량이 요구되어 개별 장치에 장착되는 임베디드 모듈로는 구현이 어렵다.
또한, 대한민국 공개특허 10-2017-0110319호(종래기술3)은 음성을 인식하여 동작을 제어하기는 하나, 특정 옷감의 종류에 대해서만 처리가 가능하고, 해당 옷감에 대한 지정된 코스가 동작하도록 하는 것으로, 그 사용이 제한적이고, 다양한 음성을 인식하는데에는 한계가 있다.
또한, 종래 기술의 음성 인식 기술은, 전 세계 사용자들의 다양한 자연어 음성 명령을 인식하고 처리하는데 한계가 있었다.
그러므로 의류제어장치의 시스템 자원의 제약 없이 자연어를 인식하고 처리할 수 있고, 의류제어장치를 편리하게 제어할 수 있는 방안이 요구된다.
본 발명이 해결하고자 하는 과제는 효율적으로 자연어를 인식하여 처리하고, 인식된 자연어를 바탕으로 사용자의 의도를 분석하여 동작하는 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법을 제공하는 것이다.
상기 과제를 달성하기 위하여, 본 발명에 따른 세탁물 처리기기는, 자연어로 구성된 음성명령이 입력되는 오디오 입력부, 상기 오디오 입력부로부터 입력된 상기 음성명령을 음성데이터로써 음성인식시스템으로 전송하고, 상기 음성인식시스템으로부터 응답신호를 수신하는 통신부, 상기 음성인식시스템의 음성인식 결과에 따라, 상기 응답신호에 대응하는 동작을 설정하고, 동작상태를 출력하며, 안내멘트가 출력되도록 하는 제어부, 상기 동작에 대응하는 상기 안내멘트를 출력하는 오디오 출력부를 포함하고, 상기 제어부는 상기 음성인식시스템의 의도분석결과와, 동작상태에 대응하여 설정가능 여부 또는 지원가능 여부를 판단하여 상기 동작을 설정하는 것을 특징으로 한다.
상기 제어부는, 상기 음성인식시스템과 연결된 가전제어서버로부터 상기 음성명령에 대응하는 제어신호가 수신되면, 상기 제어신호에 대응하여 동작을 설정하고, 상기 음성인식시스템으로 상기 안내멘트에 대한 음원파일을 요청하여 수신된 상기 음원파일을 상기 오디오 출력부로 인가하는 것을 특징으로 한다.
본 발명은 자연어의 음성명령이 입력되는 세탁물 처리기기, 세탁물 처리기기로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition) 서버, 상기 자동 음성 인식 서버로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리(Natural Language Processing) 서버, 상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여 상기 세탁물 처리기기로 송신하는 텍스트 음성 변환(Text to Speech) 서버 및 상기 자연어 처리 서버로부터 수신되는 데이터와 상기 세탁물 처리기기의 상태에 대응하여, 상기 세탁물 처리기기로, 상기 음성명령에 대응하는 제어신호를 전송하는 가전제어서버를 포함하고, 상기 세탁물 처리기기는, 상기 가전제어서버로부터 수신되는 상기 제어신호에 대응하여 동작을 설정하고, 상기 텍스트 음성 변환 서버로부터 제공되는 음원파일을 이용하여 안내멘트를 출력하는 것을 특징으로 한다.
본 발명의 세탁물 처리기기의 동작방법은, 자연어로 구성된 음성명령이 입력되는 단계, 상기 음성명령을 음성데이터로 변환하여 음성인식시스템으로 전송하고, 상기 음성인식시스템으로부터 응답신호를 수신하는 단계, 상기 음성명령에 대한 상기 음성인식시스템의 의도분석결과와, 동작상태에 대응하여 설정가능 여부 또는 지원가능 여부를 판단하여 상기 응답신호에 대응하는 동작을 설정하는 단계 및 상기 동작에 대응하는 상기 안내멘트를 출력하는 단계를 포함한다.
본 발명의 세탁물 처리기기 제어시스템의 동작방법은, 세탁물 처리기기로, 자연어로 구성된 음성명령이 입력되는 단계, 상기 세탁물 처리기기가 상기 음성명령을 변환하여 음성데이터를 자동 언어 인식 서버로 전송하는 단계, 상기 자동 언어 인식서버가, 상기 음성데이터를 텍스트로 변환하는 단계, 자연어 처리 서버가, 상기 텍스트를 분석하여 상기 음성명령을 판별하는 단계, 상기 가전제어서버가 상기 세탁물 처리기기의 상태와 상기 자연서 처리 서버로부터 수신되는, 상기 음성명령에 대응하는 데이터를 분석하여, 상기 세탁물 처리기기로, 상기 음성명령에 대응하는 제어신호를 전송하는 단계, 상기 세탁물 처리기기가 상기 제어신호에 따라 동작을 설정하는 단계 및 텍스트 변환 서버로부터 제공되는 음원파일에 따라 상기 동작에 대한 안내멘트를 출력하는 단계를 포함한다.
상기와 같이 구성되는 본 발명에 따른 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법은, 사용자의 음성발화에 의한 자연어를 인식하여 처리하여 세탁물 처리기기를 용이하게 제어하고 모니터링 할 수 있다.
본 발명은 사용자의 음성명령에 대한 의도를 분석함으로써, 세탁물 처리기기의 동작을 제어뿐 아니라, 사용자의 요구에 따른 응답을 출력할 수 있고, 동작상태에 따른 가이드를 제공할 수 있다.
또한, 본 발명은 의도분석이 불가능한 케이스를 분류하여 별도로 분석함으로써 의도분석에 대한 학습데이터를 구축할 수 있고, 음성인식을 이용하여 세탁물 처리기기의 기능 외에도 부가적인 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템이 간략하게 도시된 도이다.
도 2는 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템의 세탁물 처리기기, 음성인식시스템 및 가전제어서버가 도시된 도이다.
도 3은 본 발명의 일 실시예에 따른 세탁물 처리기기가 도시된 도이다.
도 4는 본 발명의 일 실시예에 따른 세탁물 처리기기의 제어구성이 간략하게 도시된 블록도이다.
도 5는 도 4의 세탁물 처리기기의 구동부의 구성이 도시된 블록도이다.
도 6은 본 발명의 세탁물 처리기기 제어시스템의 가전제어서버의 구성이 간략하게 도시된 블록도이다.
도 7 및 도 8 은 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템의 신호흐름이 도시된 예시도이다.
도 9 는 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템의 음성인식에 따른 신호흐름이 도시된 흐름도이다.
도 10 은 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템의 음성인식을 이용한 세탁물 처리기기 동작방법이 도시된 순서도이다.
도 11은 본 발명의 일 실시예에 따른 세탁물 처리기기의 컨트롤패널의 예시도이다.
도 12 는 본 발명의 일 실시예에 따른 세탁물 처리기기의 음성인식단계별 디스플레이가 도시된 예시도이다.
도 13 은 본 발명의 일 실시예에 따른 세탁물 처리기기의 동작을 설명하는데 참조되는 예시도이다.
도 14 는 본 발명의 일 실시예에 따른 세탁물 처리기기의 음성인식을 통한 코스 설정을 설명하는데 참조되는 예시도이다.
도 15 는 본 발명의 일 실시예에 따른 세탁물 처리기기의 세탁가이드를 설명하는데 참조되는 예시도이다.
도 16 및 도 17 은 본 발명의 일 실시예에 따른 세탁물 처리기기의 에러처리를 설명하는데 참조되는 예시도이다.
도 18 은 본 발명의 일 실시예에 따른 세탁물 처리기기의 상태를 안내하는 방법을 설명하는데 참조되는 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명은 세탁물 처리기기에 포함되는 제어부 및 그 외 각 부의 구성이, 하나 또는 그 이상의 프로세서(Micro Processor)로 구현될 수 있고, 하드웨어 장치로 구현될 수 있음을 명시한다.
이하, 본 발명의 실시예들에 의하여 세탁물 처리기기를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템이 간략하게 도시된 도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템은, 통신 모듈을 구비하여 다른 기기와 통신하거나 네트워크에 접속할 수 있는 가전기기(200)와, 음성을 인식하고 처리하는 음성인식시스템(100), 음성인식결과에 따라 가전기기를 제어하는 가전제어서버(130)를 포함한다. 필요에 따라 가전제어서버는 음성인식시스템에 포함될 수 있다.
가전기기(200)는 세탁물 처리기기(201), 공기조화기(204), 이동로봇(203), 냉장고(202)를 포함하고, TV(미도시), 조리기기(미도시) 등이 포함될 수 있다.
또한, 가전기기는 스마트 폰(smart phone), 태블릿(Tablet) PC 등 휴대 단말기(미도시)를 포함할 수 있다.
가전기기(200)는 통신모듈을 포함하여 각 기기가 상호 연결되어 네트워크를 형성하고, 가전기기 네트워크는 통신장치(219)를 통해 외부의 네트워크, 예를 들어 인터넷과 연결될 수 있다. 또한, 가전기기(200)는 별도의 음성인식 및 가전제어를 위한 네트워크에 연결될 수 있다.
통신장치(219)는 가전기기 간에 상호 데이터 송수신이 가능하고, 각 가전기기가 음성인식시스템(100) 및 가전제어서버(130)와 통신 가능하도록 하는 액세스 포인트(access point: AP)일 수 있다.
가전기기(200)의 통신방식은 와이파이(Wi-Fi) 통신 방식일 수 있다. 와이파이는 통신방식의 일예일 뿐, 본 발명은 통신 방식에 한정되지 않는다.
또한, 가전기기(200)는 다른 종류의 통신 모듈을 구비하거나 복수의 통신 모듈을 구비할 수 있다. 예를 들어, 가전기기는 NFC 모듈, 지그비(zigbee) 통신 모듈, 블루투스(Bluetooth™) 통신 모듈 등을 포함할 수 있다.
가전기기(200)는 와이파이(wi-fi) 통신 모듈 등을 통해 음성인식시스템(100)에 포함되는 서버 또는 외부의 소정 서버, 사용자의 휴대 단말기 등과 연결 가능하고, 원격 모니터링, 원격 제어 등 스마트 기능을 지원할 수 있다. 사용자는 휴대 단말기를 통하여 가전기기(200)에 관한 정보를 확인하거나 가전기기(200)를 제어할 수 있다.
가전기기(200)는 사용자의 음성 입력을 수신할 수 있고, 음성인식시스템(100)은 사용자의 음성 입력을 인식, 분석하며, 가전제어서버(130)는 가전기기(200)를 제어할 수 있다.
한편, 음성인식시스템(100)에 포함되는 서버들 중 적어도 일부는 가전기기의 제조 회사, 판매 회사가 운영하는 서버이거나 제조 회사 또는 판매 회사가 서비스를 위탁한 회사가 운영하는 서버일 수 있다.
도 2는 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템의 세탁물 처리기기, 음성인식시스템 및 가전제어서버가 도시된 도이다. 이하, 가전기기는 세탁물 처리기기를 예로하여 설명하기로 한다.
도 2에 도시된 바와 같이, 세탁물 처리기기 제어시스템은, 가전기기(200), 음성인식시스템(100), 가전제어서버(130)를 포함하고, 요구되는 서비스를 제공하는 서비스서버(120)를 포함할 수 있다.
음성인식시스템(100)은 세탁물 처리기기(201)로부터 음성데이터를 수신하여, 음성데이터를 분석하고, 그에 따른 음성명령을 판단하는 음성인식시스템(100)을 포함한다.
음성인식시스템(100)은, 세탁물 처리기기(201)로부터 음성 데이터를 수신하고, 수신한 음성데이터를 텍스트(text) 데이터로 변환하며, 텍스트 데이터를 분석하여 음성 명령을 판별할 수 있다. 또한, 음성인식시스템(100)은, 판별한 음성 명령에 대응하는 신호를 가전제어서버(130) 또는 서비스서버(120)로 송신할 수 있다.
가전제어서버(130)는 수신되는 요청 신호에 기초하는 제어 신호를 세탁물 처리기기(201)로 송신한다. 서비스서버(120)는 요청신호에 대응하는 서비스를 판단하여 서비스데이터를 송신한다.
음성인식시스템(100)은, 자동 음성 인식(Automatic Speech Recognition: ASR) 서버(111), 자연어 처리(Natural Language Processing: NLP) 서버(112), 텍스트 음성 변환(Text to Speech: TTS) 서버(113)를 포함할 수 있다.
또한, 음성인식시스템(100)은 음성명령에 대응하는 요청신호를 생성하여 가전제어서버(130) 또는 서비스서버(120)로 전송하는 연계서비스서버(미도시)를 더 포함할 수 있다.
음성인식시스템(100)의 자동 음성 인식 서버(111), 자연어 처리 서버(112), 및 텍스트 음성 변환서버(113)는 도시된 바와 같이 각각 하나 또는 복수의 서버로 구성될 수 있다. 또한, 음성인식시스템(100)의 자동 음성 인식 서버(111), 자연어 처리 서버(112), 및 텍스트 음성 변환서버(113)는 하나의 음성서버를 형성할 수 있다.
자동 음성 인식 서버(111)는 세탁물 처리기기(201)로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환한다.
자동 음성 인식 서버(111)는 세탁물 처리기기(201)로부터 수신한 음성 데이터에 대하여 음성 인식을 수행하여 텍스트 데이터를 생성하여 자연어 처리 서버(112)로 송신할 수 있다.
자연어 처리 서버(112)는 자동 음성 인식 서버(111)로부터 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하며, 판별한 음성 명령에 기초하는 응답 신호를 세탁물 처리기기(201)로 송신한다.
자연어 처리 서버(112)는 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터를 자연어 처리 알고리즘에 따라 분석하여 음성 명령을 판별할 수 있다.
자연어 처리 서버(112)는 자연어 처리 알고리즘에 따라 사람이 일상적으로 사용하고 있는 언어인 자연어를 처리할 수 있고, 사용자의 의도(intent)를 분석할 수 있다. 자연어 처리 서버(112)는 자동 음성 인식 서버(111)로부터 수신한 텍스트 데이터에 대하여 자연어 처리를 수행하여 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다.
자연어 처리 서버(112)는 사용자가 일상적인 사용 언어로 음성 명령을 입력하더라도 사용자의 의도에 부합하는 음성 명령을 판별할 수 있다.
자연어 처리 서버(112)는 자연어 처리 결과에 대응하는 신호, 즉, 판별한 음성 명령에 대응하는 신호를 가전제어서버(130) 또는 서비스서버(120)로 송신할 수 있다.
자연어 처리 서버(112)는 판별한 음성 명령이 세탁물 처리기기(201)에 관한 것이면, 가전 제어 서버(130)와 통신하여 대응하는 동작을 수행하도록 하고, 음성 명령이 세탁물 처리기기(201)를 포함한 가전기기에 관한 것이 아니면, 외부의 서비스서버(120)와 통신하여 대응하는 동작을 수행하도록 할 수 있다.
자연어 처리 서버(112)는 세탁물 처리기기(201)의 상태 정보에 기초하여 판별한 음성 명령의 지원 가능 여부를 판단하고, 가전 제어 서버(130)로 판별한 음성 명령에 대응하는 요청 신호를 송신하거나, 또는 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다. 경우에 따라, 세탁물 처리기기의 음성 명령에 대한 지원 가능 여부는, 가전제어서버(130)에 의해 판단될 수 있다.
텍스트 음성 변환서버(113)는 세탁물 처리기기(201)로부터 응답 신호에 대응하는 텍스트를 포함하는 신호를 수신하고, 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 세탁물 처리기기(201)로 송신한다.
세탁물 처리기기(201)는 사용자가 발화한 음성 명령 입력을 수신하여 수신한 음성 명령 입력에 기초한 음성 데이터를 음성인식시스템(100)으로 송신할 수 있다.
가전제어서버(130)는, 수신되는 요청 신호에 기초하는 제어 신호를 세탁물 처리기기(201)로 송신할 수 있다.
예를 들어, 세탁물 처리기기(201)의 설정 온도를 변경하는 요청이 수신되면, 가전 제어 서버(130)는 세탁물 처리기기(201)로 설정 온도를 변경하는 제어 신호를 송신할 수 있다.
한편, 세탁물 처리기기(201)는 가전 제어 서버(130)로부터 수신한 제어 신호에 따라 대응하는 동작을 수행할 수 있다.
또한, 세탁물 처리기기(201)는 요청받은 동작을 수행한 후 동작을 수행하였음을 알리는 신호를 가전 제어 서버(130)로 송신할 수 있다.
또한, 가전 제어 서버(130)는, 세탁물 처리기기(201)로부터 제어 신호에 대한 응답 신호를 수신하고, 응답 신호에 대응하는 처리 결과 정보를 송신할 수 있다.
또한, 가전제어서버(130)는 세탁물 처리기기(201)로부터 수신되는 동작결과를 음성인식시스템(100)으로 송신하고, 처리 결과 정보를 포함하는 응답 신호를 세탁물 처리기기(201)로 송신할 수 있다.
음성인식시스템(100)은, 세탁물 처리기기(201)로부터 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함하는 신호를 수신하고, 수신한 출력 문구 텍스트를 음성 데이터로 변환하여 세탁물 처리기기(201)로 전송할 수 있다. 자연어 처리 서버(112)가 세탁물 처리기기(201)로 송신하는 판별한 음성 명령에 기초하는 응답 신호는, 처리 결과 정보를 포함할 수 있다.
세탁물 처리기기(201)는 자연어 처리 서버(112)로부터 판별한 음성 명령에 기초하는 응답 신호를 수신할 수 있다. 여기서, 응답 신호는 판별한 음성 명령에 대응하는 응답의 텍스트 데이터를 포함할 수 있다.
예를 들어, 사용자가 세탁물 처리기기의 물온도를 변경하는 음성 명령을 입력한 경우에, 응답 신호는 물온도를 변경하였음을 나타내는 텍스트 데이터를 포함할 수 있다.
한편, 세탁물 처리기기(201)는 수신한 응답 신호에 대응하는 텍스트를 포함하는 신호를 텍스트 음성 변환 서버(113)로 송신할 수 있다. 여기서, 응답 신호에 대응하는 텍스트를 포함하는 신호는 처리 결과 정보에 대응하는 출력 문구 텍스트를 포함할 수 있다.
한편, 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여 세탁물 처리기기(201)로 송신할 수 있다. 여기서 변환된 음성 데이터는 음원 파일을 포함할 수 있다.
세탁물 처리기기(201)는 스피커를 통하여 수신한 음성 데이터에 기초한 음성 안내 메시지를 출력할 수 있다.
한편, 자연어 처리 서버(112)는 세탁물 처리기기(201)의 상태 정보에 기초하여 판별한 음성 명령이 세탁물 처리기기(201)에서 지원할 수 있는지 여부를 판단하고, 지원 가능한 경우에, 가전 제어 서버(130)로 판별한 음성 명령에 대응하는 요청 신호를 송신할 수 있다.
또한, 자연어 처리 서버(112)는 세탁물 처리기기(201)의 상태 정보에 기초하여 판별한 음성 명령의 지원이 불가능한 경우에, 지원되지 않는 기능임을 알리는 신호를 송신할 수 있다. 지원되지 않는 기능임을 알리는 신호는, 자연어 처리 서버(112)가 송신하는 판별한 음성 명령에 기초하는 응답 신호에 포함될 수 있다.
세탁물 처리기기(201)는 텍스트 음성 변환 서버(113)로 음성 데이터를 요청하여, 현재 상태에서 지원되지 않는 기능임을 알리는 음성 안내 메시지를 출력할 수 있다.
실시예에 따라서는, 가전제어서버(130)에서 음성 명령의 지원 가능 유무를 판별할 수 있다.
본 발명의 세탁물 처리기기 제어시스템은, 자연어 음성처리를 위해 여러 역할을 하는 서버를 유기적으로 연결하여 이용할 수 있다.
세탁물 처리기기(201)는 음성 명령의 수신 및 전처리, 서버 전송까지의 동작을 수행하고, 음성인식시스템(100)은 음성/텍스트 변환, 의도분석, 명령 식별 등 자연어 처리 과정을 수행할 수 있다.
음성인식시스템(100)에서 자연어 처리를 수행함으로써, 세탁물 처리기기(201)는 내부 임베디드 모듈의 CPU, 메모리 등의 부담을 감소시킬 수 있다.
세탁물 처리기기(201)는 음성인식시스템(100)으로부터 음원 파일을 포함하는 음성 데이터를 수신하여, 음성 안내 메시지를 오디오로 출력함으로써, 청각적 피드백으로 사용자의 음성 입력에 화답할 수 있다.
세탁물 처리기기(201)는 음성인식시스템(100)으로부터 음성 파일을 스트리밍으로 전달받아 사용자에게 음성 안내 메시지를 재생, 출력할 수 있다. 이에 따라 세탁물 처리기기(201)는 다양한 음원 파일을 저장하고 있을 필요가 없다.
세탁물 처리기기 제어시스템은 복수의 서버를 통해, 호환성 및 연결성을 확보하고, 최종 제어 명령은 가전 제어 서버(130)를 활용함으로써, 음성 인식 과정과 가전 제어 서버(130)를 통해 와이파이 통신을 이용한 가전 제어 사이의 충돌 및 휴대 단말기를 통한 가전 제어와 가전기기(200)를 통한 음성 입력에 의한 가전 제어 간 충돌을 막을 수 있다.
또한, 세탁물 처리기기 제어시스템은, 서버 간 유기적인 연결을 통해 어느 한 서버에 의존하여 특정서버에 부하가 몰리는 것을 줄일 수 있고, 각각의 서버 별 역할이 달라, 특정 서버에서 문제가 생길 경우 동일한 역할을 하는 타 서버와의 연계를 통해 쉽게 대응이 가능하다.
또한, 복수의 서버들을 독립적으로 수시로 업데이트할 수 있어, 성능 개선에 유리하다.
도 3은 본 발명의 일 실시예에 따른 세탁물 처리기기가 도시된 도이다.
도 3에 도시된 바와 같이, 세탁물 처리기기(201)는 외관을 형성하고, 전방(F)에 세탁물이 투입되는 투입구가 형성된 캐비닛(20)과, 캐비닛(20) 내로 세탁물이 출입하는 투입구를 개폐하는 도어(30)와, 캐비닛 내부에 배치되며 세탁수를 수용하는 터브(미도시)와, 터브 내부에서 회전가능하게 배치되는 드럼(31)과, 드럼에 토크를 인가하여 회전시키는 구동부(미도시)를 포함한다.
세탁물 처리기기(201)는 사용자 입력을 받아들이며, 동작상태를 표시하는 컨트롤패널(40), 세제가 투입하는 세제투입부(41)를 더 포함할 수 있다.
캐비닛(20)은 세탁물의 출입이 가능하도록 투입구(미도시)가 형성된다. 캐비닛(20)에는 투입구의 개폐가 가능하도록 도어(30)가 회전 가능하게 결합된다. 세탁물 처리기기(201)의 도어(30)에는 컨트롤패널(40)이 구비될 수 있다. 또한, 세탁물 처리기기(201)는 컨트롤패널(40)이 캐비닛(20)에 구비되는 것도 가능하다.
터브는 세탁수를 수용하는 공간을 형성한다. 터브는 드럼(31)의 외부에 드럼(31)을 감싸며 배치된다. 터브의 전면에는 터브홀이 형성되며, 터브홀은 드럼(31) 내부로 세탁물의 출입이 가능하도록 캐비닛(20)의 투입구와 연통되도록 형성된다.
구동부는 터브의 후방에 배치되어 회전력을 발생시킬 수 있다. 구동부는 회전축(미도시)과 연결되어 드럼(31)을 회전시킬 수 있다. 구동부는 드럼(31)을 다양한 속도 또는 방향으로 회전시킬 수 있다.
드럼(31)은 세탁물이 수용되어 회전한다. 드럼(31)은 터브 내부에 배치된다. 드럼(31)은 회전 가능한 원통 형상으로 형성된다. 드럼(31)은 세탁수가 통과되도록 복수의 통공이 형성된다. 드럼(31)은 구동부의 회전력을 전달받아 회전한다.
캐비닛(20) 내부에는 외부 수원으로부터 세탁수를 터브 내부로 공급하는 급수부(미도시)와 터브 내부에 세탁수를 외부로 배출하는 배수부(미도시)를 포함할 수 있다.
컨트롤패널(40)에는 사용자를 통해 세탁 코스 선택이나, 각 행정별 동작 시간 및 예약 등의 각종 동작 명령을 입력받는 조작부(미도시)와, 세탁물 처리기기(201)의 동작 상태를 표시하는 출력부(미도시)가 구비될 수 있다.
본 실시예에 따른 컨트롤패널(40)은 도어(30)에 배치된다. 즉, 도어(30)의 프론트커버(미도시)에는 입력부 및 표시부가 형성되고, 프론트커버의 후방에 상기의 입력부 및 표시부를 제어하는 컨트롤패널(40)이 배치될 수 있다.
도 4는 본 발명의 일 실시예에 따른 세탁물 처리기기의 제어구성이 간략하게 도시된 블록도이다.
본 발명에 따른 세탁물 처리기기(201)는 조작부(230), 출력부(290), 센서부(260), 구동부(280), 통신부(270), 메모리(250), 신호처리부(210), 오디오입력부(220) 그리고 동작 전반을 제어하는 제어부(240)를 포함한다.
조작부(230)는 컨트롤 패널(40)에 설치되는 적어도 하나의 버튼, 스위치, 터치패드와 같은 입력수단을 포함한다.
조작부(230)는 전원입력, 동작모드, 세탁물의 종류, 세탁코스, 수위, 온도 등의 설정, 예약을 포함한 운전설정을 입력한다. 조작부(230)는 세탁물의 종류가 선택되고, 전원키가 입력되면, 운전설정에 대한 데이터를 제어부(240)로 입력한다.
출력부(290)는 운전설정 및 동작상태에 대한 정보를 출력한다.
출력부(290)는 데이터는 문자, 숫자 아이콘, 이미지, 특수문자 중 적어도 하나의 조합으로 정보를 표시하는 디스플레이(292), 소정의 효과음 또는 경고음을 출력하는 오디오출력부(291)를 포함한다.
디스플레이(292)는 LCD, LED, OLED 등의 표시수단으로 구성되고, 터치패드가 레이어드된 터치스크린을 포함할 수 있다. 디스플레이(292)는 점등 여부, 점등색상, 점멸 여부에 따라 동작상태를 출력하는 조명부(미도시)를 더 포함할 수 있다.
디스플레이(292)는 세탁물 처리기기의 운전설정 및 동작제어를 위한 메뉴화면을 포함할 수 있고, 운전설정 또는 동작상태에 대하여 문자, 숫자, 이미지 중 적어도 하나의 조합으로 구성된 안내 메시지 또는 경고를 출력할 수 있다.
디스플레이(292)는 점등 여부에 따라 동작상태를 나타내는 LED, 세븐세그먼트를 통해 음성인식단계를 표시한다.
오디오출력부(291)는 음성안내, 소정의 경고음, 효과음을 출력한다. 오디오출력부(291)는 버저 또는 스피커를 포함한다.
오디오 입력부(220)는, 외부의 오디오 신호, 사용자 음성 명령을 입력받을 수 있다. 오디오 입력부(220)는, 하나 이상의 마이크(MIC)를 구비할 수 있다.
또한, 사용자의 음성 명령을 더 정확히 수신하기 위하여 오디오 입력부(220)는 복수의 마이크(221, 222)를 구비할 수 있다. 복수의 마이크(221, 222)는, 서로 다른 위치에 이격되어 배치될 수 있고, 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다.
오디오 입력부(220)는 제1 마이크(221)와 제2 마이크(222)를 포함한다. 본 발명은 2개의 마이크를 구비하는 것을 예로 하여 설명하나, 이에 한정되지 않는다.
오디오 입력부(220)는 아날로그 소리를 디지털 데이터로 변환하는 신호처리부(210)에 연결되어 사용자 입력 음성 명령을 제어부(240) 또는 소정 서버에서 인식할 수 있도록 데이터화 할 수 있다.
오디오 입력부(220)는 사용자의 음성 명령을 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
신호처리부(210)는 오디오 입력부(220)의 각 마이크(221, 222)에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다. 필요에 따라 오디오 입력부(220)와 신호처리부(210)는 하나의 모듈로 구성될 수 있다.
메모리(250)는 세탁물 처리기기의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
메모리(250)는 세탁물 처리기기의 동작제어를 위한 제어 데이터, 입력되는 운전설정 데이터, 설정에 따라 산출되는 동작시간에 대한 데이터, 세탁코스에 대한 데이터, 에러 발생 여부를 판단하기 위한 데이터가 저장된다. 또한, 메모리(250)에는 세탁물 처리기기가 동작하는 중에 발생되거나 또는 센서부(260)를 통해 감지되는 데이터, 통신부(270)를 통해 송수신되는 데이터가 저장된다.
한편, 메모리(250)에는 음성 인식을 위한 데이터가 저장될 수 있고, 제어부(240)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다.
간단한 음성 인식은 세탁물 처리기기(201)에서 수행하고, 자연어 처리 등 고차원의 음성 인식은 음성인식시스템(100)에서 수행될 수 있다.
메모리(250)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 메모리(250)에는 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식하기 위한 데이터가 저장될 수 있다. 이 경우에, 제어부(240)는 오디오 입력부(220)를 통하여 수신되는 사용자의 음성 입력 신호로부터 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호를 인식할 수 있다.
예를 들어, 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호가 수신되는 경우에, 세탁물 처리기기(201)는 음성 명령어를 수신하기 위한 상태로 전환될 수 있다. 이 경우에, 세탁물 처리기기(201)는 호출어 음성 입력 여부까지의 음성 인식 과정만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 음성 인식 시스템(100)을 통하여 수행할 수 있다.
세탁물 처리기기(201)의 시스템 자원에는 한계가 있으므로, 복잡한 자연어 인식 및 처리는 음성인식시스템(100)을 통하여 수행될 수 있다.
호출어는 제조사에 의해 설정될 수 있고, 가전기기 별로 다른 호출어가 설정될 수 있다. 예를 들어, 세탁물 처리기기의 경우에는, "LG 트롬" 또는 "세탁기" 가 호출어로 설정될 수 있다.
또한, 호출어는 사용자에 의해 설정 변경이 가능하다.
제어부(240)는, 웨이크 업(wake up) 음성 신호의 인식 이후에 입력되는 사용자의 음성 명령을, 통신부(270)를 통하여, 음성인식시스템(100)에 송신하도록 제어할 수 있다.
통신부(270)는, 하나 이상의 통신 모듈을 구비하여, 다른 전자기기와, 무선 통신을 수행하여, 각종 신호를 주고 받을 수 있다. 예를 들어, 통신부(270)는 마트 홈 시스템(10) 내/외부의 전자기기들과 통신할 수 있다.
통신부(270)는 세탁물 처리기기의 동작상태를 단말 또는 다른 세탁물 처리기기로 전송하고, 단말 또는 외부의 서버로부터 제어명령을 수신할 수 있다.
통신부(270)는 지그비, 블루투스 등의 근거리 무선통신뿐 아니라, 와이파이, 와이브로 등의 통신모듈을 포함하여 데이터를 송수신한다.
전원부(미도시)는 공급되는 상용전원을 변환하여 동작전원을 공급한다. 전원부는 과전류를 차단하고, 공급되는 전원을 정류 및 평활하여 소정 크기의 동작전원을 공급한다.
센서부(260)는 복수의 센서를 포함하여 세탁물 처리기기의 전압 또는 전류를 측정하고, 모터의 회전속도, 수위, 온도 및 습도를 감지하여 제어부(240)로 입력한다.
센서부(260)는 도어센서(미도시), 온도센서(미도시), 전류센서(미도시), 수위센서를 포함할 수 있다. 또한, 센서부(260)는 모터의 회전속도를 감지하는 속도센서, 습도센서, 세탁물의 상태/재질 등을 감지하는 세탁물감지센서 등을 더 포함할 수 있다.
온도센서는 세탁물 처리기기의 내부의 온도, 수온을 감지하고, 히터가 구비되는 경우 히터의 온도를 감지한다. 온도센서는 복수개가 구비되어, 각각 상이한 위치에 설치되어 온도를 감지한다. 수위센서는 터브로 공급되는 물의 높이를 감지한다. 전류센서는 모터로 인가되는 전류를 감지하고 도어센서는 도어의 개폐 여부를 감지한다. 도어센서는 설정에 따른 동작을 수행하기 전, 도어의 개폐 상태를 감지하여 감지신호를 제어부(240)로 입력한다. 또한, 도어센서는 세탁물의 끼임 여부를 감지할 수 있다.
구동부(280)는 제어부의 제어명령에 따라 연결된 모터, 밸브 등의 구동을 제어한다. 예를 들어 구동부(280)는 공급되는 전원을, 모터가 회전동작하기 위한 전원으로 변환하여 인가함으로써, 모터의 동작을 제어한다.
제어부(240)는 세탁, 헹굼, 탈수 및 건조의 일련의 세탁과정을 제어한다. 이하, 세탁을 수행하는 것은, 세탁행정, 헹굼행정, 탈수행정, 건조행정을 포함하는 모든 동작을 나타냄을 명시한다.
제어부(240)는 입력되는 운전설정을 메모리(250)에 저장하고, 메모리에 저장된 데이터에 대응하여 세탁코스에 따른 수위 및 온도 설정 그리고 제어패턴을 호출하여 동작을 제어한다.
제어부(240)는 운전설정 또는 동작상태가 출력부(290)를 통해 출력되도록 한다. 또한, 제어부(240)는 통신부(270)를 통해 데이터가 외부로 송신되도록 하고, 외부로부터 수신되는 데이터를 처리한다. 제어부(240)는 통신부(270)를 통해 수신되는 다른 세탁물 처리기기의 데이터를 바탕으로 상호 연동하여 동작하도록 운전설정을 변경할 수 있다.
제어부(240)는 입력된 설정에 따라 구동부(280)를 제어하고, 그에 따라 세탁, 헹굼, 탈수의 일련의 세탁과정이 수행되도록 한다.
또한, 제어부(240)는 오디오입력부(220)를 통해 입력되어 신호처리부(210)에 의해 변환되는 오디오데이터를 통신부(270)를 통해 음성인식시스템(100)으로 전송하고, 가전제어서버(130)로부터 인가되는 제어신호에 대응하여 동작을 설정한다. 또한, 제어부(240)는 음성인식시스템(100)으로부터 수신되는 데이터가 오디오출력부(291)를 통해 출력되도록 제어한다.
제어부(240)는 음성인식시스템(100)의 의도분석결과와, 세탁물 처리기기(201)의 동작상태에 대응하여 설정가능 여부 또는 지원가능 여부를 판단하여 상기 동작을 설정한다.
제어부는 또한, 음성인식시스템과 연결된 가전제어서버(130)로부터 음성명령에 대응하는 제어신호가 수신되면, 제어신호에 대응하여 동작을 설정하고, 음성인식시스템(100)으로 안내멘트에 대한 음원파일을 요청하여 수신된 상기 음원파일을 오디오 출력부(291)로 인가하여 안내멘트가 출력되도록 한다.
제어부(240)는, 음성인식키의 입력에 따라 음성인식 대기모드를 설정하고, 오디오 입력부를 통해 음성명령이 입력되도록 한다. 제어부는 가전제어서버(130)로부터 수신되는 제어신호에 대응하여 동작을 설정하여 제어하며, 동작상태 또는 진행상태가 상기 디스플레이를 통해 출력되도록 한다.
제어부(240)는 음성인식을 위한 대기상태에서 오디오 입력부를 통해 음성명령이 입력되면, 디스플레이(292)에 표시되는 음성인식아이콘이 가변되도록 제어한다. 제어부(240)는 음성인식아이콘의 점멸주기를 가변하여, 음성인식 단계를 표시한다.
제어부(240)는, 음성인식시스템(100)으로 음성데이터를 전송하여 음성인식이 진행되는 도중, 디스플레이(292)에 문자, 숫자, 아이콘, 이미지 중 적어도 하나의 조합으로 진행상태를 표시할 수 있다.
제어부는 음성명령에 따른 세탁가이드요청에 대응하여, 세탁방법을 설명하는 가이드가 안내멘트로 출력하도록 하고, 또한, 세탁물 처리기기의 동작상태를 안내멘트로 출력할 수 있으며, 또한 에러발생 시, 에러에 대한 정보와 그에 대한 대응방안을 안내멘트로서 출력할 수 있다. 안내멘트는 음성으로 출력된다.
제어부는 안내멘트를 재출력하는 경우, 동일한 의미의 상이한 어휘로 구성된 상기 안내멘트를 출력되도록 한다. 예를 들어 인식하지 못한 경우, '죄송합니다, 다시 입력해 주세요.' 또는 '인식하지 못하였습니다.','인식에 실패하였습니다' 등과 같이 동일한 인식 실패 상황에서, 상이한 어휘의 안내멘트가 랜덤으로 출력되도록 한다.
도 5는 도 4의 세탁물 처리기기의 구동부의 구성이 도시된 블록도이다.
도 5에 도시된 바와 같이, 구동부(280)는 제어부의 제어명령에 따라, 드럼(31)에 연결되어 드럼에 구동력을 제공하는 모터를 제어하고, 물의 공급 및 배수를 제어하며, 밸브의 온/오프를 조절한다.
구동부(280)는 모터구동부(281), 급수부(282), 배수부(283), 히터구동부(284)를 포함한다. 구동부(280)는 세탁물 처리기기의 각 구성에 따라 복수의 구동부로 구성되거나, 경우에 따라 하나의 구동부로 구성될 수 있다.
모터구동부(281)는 드럼(31)의 회전방향, 회전각 및 회전속도를 제어한다. 모터구동부(281)는 설정된 세탁코스 및 진행되는 세탁, 헹굼, 탈수에 따라 모터가 상이하게 동작하도록 제어한다. 구동부(280)는 구동부의 회전방향, 회전각 및 회전속도를 상이하게 제어함으로써, 드럼 내의 세탁수가 특정 형태의 수류를 형성하도록 한다.
급수부(282)는 급수밸브(286)의 개폐를 제어한다. 급수부(282)는 세탁 및 헹굼 행정에 따라 물이 연속으로 급수되거나 소정시간 급수 후 정지되는 것을 반복하도록 하여 단속 급수되도록 한다.
배수부(283)는 배수밸브(288)의 개폐를 제어하고, 배수펌프(388)의 동작을 제어하여, 터브내의 물이 배수호스를 통해 외부로 배출되도록 한다.
히터구동부(284)는 세탁수를 가열하기 이한 히터(289)의 동작을 제어한다. 히터구동부(284)는 히터로 공급되는 전원을 제어하고, 세탁수온에 따라 히터가 동작하도록 한다. 또한, 히터구동부(284)는 건조행정의 세탁물을 건조시킬 수 있다.
도 6은 본 발명의 세탁물 처리기기 제어시스템의 가전제어서버의 구성이 간략하게 도시된 블록도이다.
도 6에 도시된 바와 같이, 가전제어서버는(130)는 통신 모듈(330), 저장부(310), 및 프로세서(320)를 구비할 수 있다. 가전제어서버 뿐 아니라, 자동 음성 인식 서버(111), 자연어 처리 서버(112), 텍스트 음성 변환 서버(113)에도 적용된다.
프로세서(320)는, 서버의 전반적인 동작을 제어할 수 있다.
통신 모듈(330)은, 휴대 단말기, 공기조화기 등의 가전기기, 다른 서버 등으로부터 상태 정보, 동작 정보, 조작 정보, 음성 데이터, 문자 데이터 등 각종 데이터를 수신할 수 있다.
그리고 통신 모듈(330)은 수신되는 각종 정보에 대응하는 데이터를 그대로 또는 소정 처리 후에 휴대 단말기, 세탁물 처리기기 등의 가전기기, 다른 서버 등으로 송신할 수 있다.
이를 위해, 통신 모듈(330)은 인터넷 모듈, 이동 통신 모듈 등 하나 이상의 통신 모듈을 구비할 수 있다.
저장부(310)는, 수신되는 정보를 저장하고, 이에 대응하는 결과 정보 생성을 위한 데이터를 구비할 수 있다.
저장부(310)는 해당 서버의 동작을 위한 데이터가 저장될 수 있다. 예를 들어, 저장부(310)에는, 자동 음성 인식 서버(111)의 경우 자동 음성 인식 알고리즘 등이 저장되고, 가전 제어 서버(130)의 경우 가전기기의 제품 정보, 상태 정보, 가전기기의 제어를 위한 데이터가 저장될 수 있다.
한편, 음성인식시스템 및 가전제어서버는, 각각 세탁물 처리기기 등 가전기기가 운영하는 서버 또는 서비스 제공자가 운영하는 서버일 수 있고, 일종의 클라우드(Cloud) 서버일 수 있다.
도 7 및 도 8 은 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템의 신호흐름이 도시된 예시도이다.
도 7 에 도시된 바와 같이, 사용자의 음성명령이 세탁물 처리기기(201)로 입력된다(S1). 세탁물 처리기기(201)는 수신된 사용자의 음성 명령을 음성인식시스템(100)로 송신할 수 있다(S2).
예를 들어 세탁물 처리기기(201)는 '트롬, 표준코스로 세탁해'와 같이 코스를 설정하는 명령을 수신하면, 수신한 음성 명령을 웨이브(wave) 파일 등 소정 포맷의 디지털 음성 데이터로 변환하여 자동 음성인식시스템(100)으로 송신할 수 있다.
세탁물 처리기기(201)는 호출어를 포함하는 웨이크 업 신호를 수신한 후, 명령어 입력을 대기하다가 입력되는 음성 명령을 음성인식시스템(100)로 송신할 수 있다. 또는, 세탁물 처리기기(201)는 호출어 및 음성 명령을 포함하는 연속적인 음성 입력을 수신할 수 있다.
세탁물 처리기기(201), 가전제어서버, 음성인식시스템(100)을 포함하는 시스템 내에서, 기기 상호 간에 통신할 때, 송수신하는 신호는, 주고받는 메인 데이터 외에 각 기기의 식별 정보, 수행하는 작업(task)에 대한 세션(session) 값 등을 더 포함할 수 있다.
자동 음성 인식 서버(111)는 수신한 음성 데이터를 인식하여 텍스트(text) 데이터로 변환할 수 있고, 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S3).
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다.
자연어 처리 서버(112)는 "트롬, 표준코스로 세탁해"에서 사용자가 세탁물 처리기기(201)의 세탁코스를 설정하라는 의도의 음성 명령을 판별할 수 있다.
자연어 처리 서버(112)는 상기 판별한 음성 명령에 대응하는 신호를 연계 서비스 서버(120)로 송신할 수 있다(S4).
가전 제어 서버(130)는 세탁물 처리기기(201)의 현재 상태 정보를 조회하고, 판별한 음성 명령에 따라 해당 세탁물 처리기기(201)에 대한 제어신호를 생성한다. 예를 들어 표준세탁코스로 설정하라는 신호를 세탁물 처리기기(201)로 전송할 수 있다(S5).
세탁물 처리기기(201)는 가전제어서버의 제어신호에 따라 표준코스를 설정하여 동작한다. 또한, 세탁물 처리기기(201)는 제어신호에 대한 응답신호를 가전제어서버(130)로 전송한다(S6).
가전 제어 서버(130)는, 세탁물 처리기기(201)의 제어 후, 제어 신호에 대한 응답 신호를 수신하고, 요청에 대한 동작이 성공했음을 알리는 처리 결과 정보를 자연어처리서버(112)로 전송한다.
이때, 가전 제어서버(130)는 자연어 처리 서버(112)로 표준코스 설정에 대한 처리 결과 정보에 대응하는 신호를 자연어 처리 서버(112)로 송신할 수 있다(S7).
자연어 처리 서버(112)는 처리결과에 대응하는 신호를 자동음성인식서버(111)로 전송하고(S8), 그에 대한 처리 결과는 세탁물 처리기기(201)로 송신할 수 있다(S9). 여기서, 판별한 사용자의 음성 명령에 기초하는 응답 신호는 상기 처리 결과 정보를 포함할 수 있다. 응답신호는, "표준코스를 설정합니다" 와 같은 처리 결과 정보에 대응하는 텍스트(출력 문구)를 포함할 수 있다.
세탁물 처리기기(201)는 응답신호의 텍스트를 텍스트 음성 변환 서버(113)로 전송하고(S10), 텍스트 음성 변환 서버는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여, 세탁물 처리기기(201)로 송신할 수 있다(S11).
세탁물 처리기기(201)는 수신된 안내멘트(PCM)를 오디오출력부(291)를 통해 출력한다(S12). 그에 따라 사용자는 음성명령에 대한 처리결과를 음성으로 확인할 수 있다. 예를 들어 세탁물 처리기기(201)는 '트롬, 표준코스로 세탁해'에 대한 음성명령에 대하여, '표준코스가 설정되었습니다.'라는 처리결과를 안내멘트로 출력할 수 있다.
한편, 세탁물 처리기기(201)로 입력된 음성명령이 지원하지 않는 기능에 관한 것인 경우, 가전제어서버(130)는 세탁물 처리기기(201)의 상태를 조회하여 지원하지 않는 기능임을 판단하고, 그에 따라 '지원하지 않는 기능입니다.'라는 텍스트를 출력하도록 세탁물 처리기기(201)로 전송할 수 있다. 경우에 따라 자연어 처리 서버(112)에서 기능 지원 여부를 판단할 수 있다. 자연어 처리 서버는 가전제어서버로 가전기기의 상태조회를 요청하여 판단 가능하다.
이때 판별된 음성명령에 대한 응답신호는 가전제어서버로부터 세탁물 처리기기로 전송되거나, 자연어처리서버 및 자동 음성인식서버를 통해 세탁물 처리기기로 송신될 수 있다.
세탁물 처리기기는 수신된 응답신호에 포함된 텍스트를 텍스트 변환서버(113)로 전송하고, 텍스트 변환서버(113)로부터 수신되는 음원파일을 수신하여 오디오출력부를 통해 '지원하지 않는 기능입니다.'라는 안내멘트를 출력할 수 있다.
도 8은 사용자의 음성명령에 따라 외부 서비스를 제공하는 신호흐름이 도시된 도이다.
도 8에 도시된 바와 같이, 세탁물 처리기기(201)는 사용자로부터 "오늘 날씨 어때"와 같은 음성명령이 입력되면(S21), 음성명령을 변환하여 자동 음성인식서버(111)로 전송한다(S22). 자동 음성인식 서버(111)는 수신함 음성 데이터를 인식하여 텍스트로 변환하고 텍스트 데이터를 자연어 처리 서버(112)로 송신할 수 있다(S23).
자연어 처리 서버(112)는 수신한 텍스트 데이터에 대한 자연어 처리를 수행하여 사용자의 음성 명령의 의도를 분석, 판별할 수 있다. 또한, 자연어 처리 서버(112)는 판별한 음성 명령이 세탁물 처리기기의 동작에 관한 것이 아님을 판단하고, 판별된 음성에 대한 데이터를 서비스서버(120)로 전송한다(S24). 자연어 처리서버(112)는 요청된 정보의 종류에 따라 외부 서비스를 제공하는 서비스 서버로 데이터를 전송한다. 예를 들어 날씨에 관한 정보는 날씨 서비스 서버로 전송한다.
서비스 서버(120)는 수신된 데이터에 대한 응답신호를 생성하여 자연어처리서버(112)로 전송한다(S25).
자연어 처리 서버(112)는 응답신호를 자동 음성인식서버로 전송하고(S26), 자동 음성인식서버는 응답신호를 세탁물 처리기기(201)로 전송한다(S27).
세탁물 처리기기(201)는 수신되는 응답신호에 포함된 텍스트를 텍스트 음성변환서버(113)로 전송하고(S28), 이를 수신한 텍스트 음성 변환 서버(113)는 수신한 신호에 포함되는 텍스트를 음성 데이터로 변환하여, 세탁물 처리기기(201)로 송신할 수 있다(S29).
세탁물 처리기기(201)는 수신한 음성 데이터에 기초하여 "오늘 날씨는 최고기온 10도로 맑고, 미세먼지는 좋음입니다." 등 음성 안내 메시지를 출력할 수 있다(S30).
도 9 는 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템의 음성인식에 따른 신호흐름이 도시된 흐름도이다.
도 9에 도시된 바와 같이, 세탁물 처리기기(201)는 의성인식기능이 활성화된 상태에서, 사용자의 음성명령(S51)이 입력되면, 음성신호를 입력받는다.
세탁물 처리기기(201)는 기설정된 호출어를 포함하는 웨이크 업(wake up) 음성 신호의 입력을 위한 웨이크업 신호 대기 모드로 진입할 수 있다. 또한, 기설정된 호출어가 마이크(221, 222)를 통해 입력되면 음성 명령어를 수신하기 위한 명령어 대기 모드로 전환될 수 있다.
세탁물 처리기기(201)는 음성명령을 음성데이터로 변환하여 자동 음성인식서버(111)로 송신한다(S53). 자동음성인식서버(111)는 음성데이터를 인식하여 텍스트로 변환하고(S55), 판별된 음성에 대한 텍스트를 자연어 처리서버(112)로 전송한다(S57).
자연어 처리 서버(112)는 음성인식된 텍스트를 분석하여 사용자의 의도를 분석한다(S59).자연어 처리 서버(112)는 분석결과를 가전제어서버(130)로 전송한다(S61). 자연어 처리서버(112)는 음성명령이 세탁기의 동작 설정, 변경, 안내에 관한 것인지, 세탁기의 동작 이외의 외부 정보를 요청하는 것인지 여부를 판단할 수 있다.
가전제어서버(130)는 자연어 처리 서버로부터 수신된 분석결과에 대응하여, 세탁물 처리기기의 제품상태를 조회한다(S63). 가전제어서버는 판별된 음성에 대한 명령이 세탁물 처리기기에서 지원 가능한지 여부를 확인한다(S65).
가전제어서버(130)는 지원 가능한 기능인 경우, 제품제어를 위한 제어신호를 생성하고(S69), 제어신호를 세탁물 처리기기(201)로 전송한다(S71).
세탁물 처리기기(201)는 가전제어서버의 제어신호에 따라 동작을 설정한다(S72). 세탁물 처리기기는 제어신호에 대한 동작결과를 가전제어서버(130)으로 전소한다(S73).
가전제어서버(130)는 가전기기의 응답을 확인하고, 그에 대한 결과를 자연어 처리서버 및 자동 음성인식서버로 전송한다. 또한, 자동음성인식서버는 세탁물 처리기기로 결과를 회신한다(S75). 이때 자연어처리서버 및 자동음성인식서버는 처리 결과에 대한 텍스트를 생성하여 세탁물 처리기기로 응답신호를 전송한다.
세탁물 처리기기는 수신되는 응답신호에 대한 텍스트를 텍스트음성변환서버(113)로 전송하고, 텍스트음성변환서버는 텍스트를 음원파일로 변환하여(S79), 세탁물 처리기기로 전송한다(S81).
세탁물 처리기기는 음원파일을 오디오출력부를 통해 안내멘트로 출력한다(S83).
한편, 가전제어서버(130)는 지원하지 않는 기능인 경우, 그에 대한 응답신호를 생성하여 자연어 처리서버로 전송하고, 자연어 처리서버는 자동음성인식서버로 전송하며, 자동음성인식서버는 세탁물 처리기기로 응답신호를 전송한다(S67).
세탁물 처리기기는 응답신호에 포함된 '지원하지 않는 기능입니다.'의 텍스트를 텍스트음성변환서버로 전송하고(S77), 텍스트음성변환서버 수신된 텍스트를 음원파일로 변환하고(S79) 세탁물 처리기기로 전송한다(S81).
세탁물 처리기기는 수신된 음원파일을 안내멘트로 출력한다(S83).
도 10 은 본 발명의 일 실시예에 따른 세탁물 처리기기 제어시스템의 음성인식을 이용한 세탁물 처리기기 동작방법이 도시된 순서도이다.
도 10에 도시된 바와 같이, 세탁물 처리기기(201)는 음성명령이 입력되면(S310), 음성명령을 음성데이터로써 음성인식시스템(100)으로 전송하여, 운전명령인지 여부를 판단한다(S320).
이때, 음성인식시스템을 통해 음성데이터는 텍스트로 변환되고, 자연어 처리 서버에 의해 의도분석이 수행된다. 의도분석을 통해, 세탁물 처리기기(201)의 운전에 대한 명령인지 여부를 판단할 수 있다. 가전제어서버(130)는 의도분석 및 음성인식 결과를 바탕으로 세탁물 처리기기에 대한 제어신호를 인가할 수 있다. 또한, 세탁물 처리기기(201)는 음성인식시스템(100) 또는 가전제어서버(130)로부터 응답신호를 수신받는다. 이하, 음성인식 시스템에 의한 신호처리는 앞서 설명한 도 7 내지 9에 도시된 바와 같고, 그에 대한 설명은 하기에서 생략하기로 한다.
세탁물 처리기기(201)는 운전명령인 경우 현재 전원상태를 판단한다(S330). 전원이 오프상태인 경우 세탁물 처리기기(201)는 전원제어 가능 여부를 판단하고(S340). 전원제어가 가능한 경우, 전원을 켠다(S350).
또한, '전원켜'와 같은 음성명령이 입력되면, 그에 따라 전원을 켤 수 있다.
한편, 전원제어가 불가능한 경우, 사용자의 터치 또는 키입력을 통해 전원을 켤 수 없는 경우, 세탁물 처리기기(201)는 오디오출력부를 통해 '설정할 수 없습니다.' 또는 '전원을 켠 후 명령해 주세요'와 같은 안내멘트를 출력한다(S420). 이때, 안내멘트는 상황에 따라, 음성인식시스템(100)의 텍스트음성변환서버로부터 제공된다.
세탁물 처리기기(201)는 전원이 켜진 상태에서, 현재 동작중인지 여부를 판단한다(S360).
세탁물 처리기기(201)는, 이미 기 설정된 동작을 수행하는 중인 경우, 음성명령에 따라 현재 동작을 변경할 수 있는지 여부를 판단한다(S370). 현재 동작을 변경할 수 없는 경우, '설정할 수 없습니다.' 또는 '동작중에는 변경할 수 없습니다.'와 같은 안내멘트를 출력한다(S420).
동작이 정지된 상태이거나 또는 설정을 변경할 수 있는 경우, 세탁물 처리기기(201)는 음성명령이 지원 가능한 기능인지 여부를 판단한다(S380).
세탁물 처리기기(201)는, 지원이 불가능한 경우, '지원하지 않는 기능입니다.'와 같은 안내멘트를 출력한다(S430).
한편, 입력된 음성명령이 지원 가능한 운전명령이고, 전원이 켜진 상태이면, 현재 기 설정된 동작이 없거나, 또는 동작중이라도 변경할 수 있는 경우, 세탁물 처리기기(201)는, 음성인식된 결과에 따라 운전을 설정한다(S390).
예를 들어 '표준세탁코스로 세탁해'와 같은 음성명령이 입력된 경우, 세탁물 처리기기(201)는, 음성인식시스템(100) 및 가전제어서버(130)를 통해 표준세탁코스 설정에 따른 제어신호를 수신하여, 표준세탁코스를 설정하게 된다.
또한, 세탁물 처리기기(201)는, 제어신호에 대한 응답으로 운전설정에 따른 동작결과를 가전제어서버로 전송한다.
세탁물 처리기기(201)는 수신되는 응답신호를 바탕으로, 텍스트음성 변환서버에서 제공되는 안내멘트를 출력한다(S400). 예를 들어 '표준세탁이 설정되었습니다.'와 같은 안내멘트가 출력될 수 있다.
세탁물 처리기기(201)는, 설정에 따라 동작을 시작한다(S410).
한편, 음성명령이 운전명령이 아니라, 가이드요청인 경우(S440), 요청된 가이드에 대한 안내멘트를 출력한다(S450). 예를 들어 맥주세탁방법 등과 같은 세탁방법에 대한 안내를 출력할 수 있다.
또한, 세탁물 처리기기(201)는, 가이드된 세탁방식에 대하여, 코스로 설정 가능한지 여부를 판단한다(S460).
코스로 설정 가능한 경우 가이드에 대한 안내가 출력완료되면 코스설정에 대한 안내멘트와 함께, 앞서 설명한 바와 같이 세탁물 처리기기(201)의 현재 상태에 대응하여 세탁코스를 설정한다(S330 내지 S410). '코스로 설정하시겠습니까?'와 같은 안내멘트에 대한 사용자의 응답에 따라 코스 설정을 진행할 수 있다.
코스로 설정할 수 없는 경우에는 '코스로 설정할 수 없습니다. 수동으로 설정해 주세요'와 같은 안내멘트를 출력할 수 있다(S470). 경우에 따라 코스로 설정할 수 없는 경우에는 가이드에 대한 안내멘트를 종료하고 새로운 음성명령이 입력되는 것은 대기할 수 있다.
또한, 음성명령이 운전명령이나 가이드요청이 아닌 경우, 앞서 설명한 도 8과 같이 날씨 등의 외부 서비스에 관한 경우, 서비스서버(120)를 통해 수신되는 데이터를 텍스트음성변환서버를 통해 음원데이터를 제공받아 안내멘트를 출력할 수 있다(S470).
또한, 음성명령이 운전명령, 가이드요청, 외부 서비스에 관한 것이 아니라면, 그에 대응하는 안내멘트를 출력한다. 예를 들어 세탁물 처리기기(201)의 에러에 대한 경우 세탁물 처리기기(201)에 대한 상태정보를 안내멘트로 출력할 수 있고, 또한, 음성을 인식할 수 없는 경우에는 '알아듣지 못하였습니다. 다시 한번 말씀해 주세요.'와 같은 안내멘트를 출력할 수 있다.
도 11은 본 발명의 일 실시예에 따른 세탁물 처리기기의 컨트롤패널의 예시도이다.
세탁물 처리기기(201)는, 도 11에 도시된 바와 같이, 컨트롤 패널이 구성된다.
컨트롤패널(40)에는 복수의 키와, 세탁코스 및 설정에 대한 메뉴가 표시된다.
컨트롤패널(40)에는 전원키(231), 동작키(232), 코스설정키(236a 내지 236d), 기능설정키(234, 235a 내지 235d, 237a 내지 237d)가 구비된다.
또한, 컨트롤패널(40)에는 코스메뉴(293), 설정메뉴(297)가 디스플레이(292)에 표시된다.
전원키(231)는 롱키 입력 시 스마트진단키로 사용될 수 있다.
동작키(232)는 조작횟수에 따라 동작 또는 일시정지키로 동작한다. 설정된 동작을 시작하거나, 또는 동작 중에 일시정지 할 수 있다.
코스설정키(236a 내지 236d)는 세탁, 헹굼, 탈수, 물온도에 대한 개별 설정이 가능하다.
기능설정키(234, 235a 내지 235d, 237a 내지 237d)는 예약(235c), 스마트케어(235b), 스팀(235a), 터보샷(237a)과 같은 운전설정과, 내마음(237b), 구김방지(237c), 버튼음(237d)과 같은 보조설정이 가능하다.
빨래추가키(234)는 동작 중 빨리추가 시 동작을 일시정지하고 도어의 락을 해제한다. 빨래추가키(234)는 키입력 방식에 따라 음성인식키로 사용될 수 있다. 예를 들어 롱키 입력 시 음성인식키로 동작할 수 있다. 이하 음성인식키인 것으로 설명한다.
코스메뉴(293)는, 매일코스키(233a), 위생코스키(233b), 맞춤코스키(233c)에 의해 설정된다. 코스메뉴는 어느 하나가 선택될 수 있고, 경우에 따라 복수개가 중복 설정될 수 있다. 예를 들어 표준세탁에 찌든 때 설정이 가능하다.
또한, 설정메뉴(297)는 기능설정키(234, 235a 내지 235d, 237a 내지 237d)에 의한 설정사항이 표시된다. 세탁, 헹굼, 탈수, 물온도에 대한 설정 내용에 표시되고, 세탁시간표시부(296)에 세탁시간이 표시된다. 또한, 설정메뉴에는 현재 진행중인 동작이 표시되고, 세탁물 처리기기(201)의 인터넷 연결상태가 인터넷아이콘(298)로 표시된다.
음성인식키(234)가 설정되면, 설정메뉴(297)의 음성인식아이콘(295)이 표시된다.
음성인식키(234)가 선택되면, 램프(294)가 점등되고, 사용자의 음성명령을 입력받을 수 있게 된다. 음성인식키가 설정되면, 세탁물 처리기기(201)의 전원이 오프된 상태에서도 음성인식이 가능하다.
세탁물 처리기기(201)는, 음성인식키가 설정되면, 전원이 오프된 상태에서 호출음이나, 사용자 명령을 입력받아 그에 따른 안내멘트를 출력하거나 전원을 켜고 동작을 설정할 수 있다.
음성인식키(234)가 해제되면, 사용자의 음성명령을 인식하지 못하게 된다.
도 12 는 본 발명의 일 실시예에 따른 세탁물 처리기기의 음성인식단계별 디스플레이가 도시된 예시도이다.
도 12의 (a)는 음성인식 단계를 표시한 흐름도이고, 도 12의 (b)는 (a)의 단계별 디스플레이 변화가 도시된 도이다. 또한, 도 12의 (c)는 음성인식중의 디스플레이 변화가 도시된 도이다.
도 12의 (a) 내지 (c)와 같이, 음성인식키(234)가 입력되면, 음성인식 대기상태가 된다(481). 이때, 설정메뉴(297)에는 음성인식아이콘(295)이 점등된다(491).
제어부(240)는 음성인식 상태에 따라 음성인식아이콘(295)의 점등상태가 상이하게 표시되도록 한다.
사용자가 소정의 음성명령을 입력하면(482), 음성인식아이콘(295)은 제 1 시간 간격으로 점멸표시된다(492). 세탁물 처리기기는 호출음을 인식할 수 있다.
계속적으로 음성명령이 입력되면(483), 음성명령으로 인식하여 음성인식아이콘(295)은 제 2 시간 간격으로 점멸표시된다(493). 호출음 이후에 이어지는 운전설정에 대한 음성명령을 인식한다.
입력된 음성명령에 대하여, 세탁물 처리기기(201)는, 음성명령을 음성데이터로써 음성인식시스템(100)으로 전송한다. 음성인식시스템을 통해 명령을 인식하는 동안(484), 음성인식아이콘(295)은 점등상태를 유지하고, 더불어 세탁시간표시부(296)에 애니메니션이 표시된다(494).
이때 표시되는 애니메이션은 도 12의 (c)와 같다. 소정시간 간격으로 점등되는 위치가 변경되면, 소정 이미지를 출력하여 진행중임을 나타낼 수 있다. 명령인식에 따라. 예를 들어, 세탁시간 표시부의 일부가 순차적으로 점등되면서 원의 형태를 그릴 수 있다. 그외에도 소정 숫자나 문자를 표시하여 시간은 카운트할 수 있다. 애니메이션은, 문자, 숫자, 아이콘, 이미지 중 적어도 하나의 조합으로 진행상태를 표시할 수 있다.
음성인식시스템(100) 및 가전제어서버에 의해 음성인식이 완료되어 제어신호가 수신되면, 세탁물 처리기기(201)는 제어신호에 따른 명령을 수행한다(485). 설정메뉴(297)에는 세탁시간표시부(296)의 애니메니션이 표시는 중지되고, 음성인식아이콘(295)은 점등상태를 유지한다(495).
또한, 세탁물 처리기기(201)는, 이상이 있는 경우 에러를 안내할 수 있다(486).
수행결과에 대한 안내멘트가 오디오출력부(291)를 통해 출력될 수 있다.
세탁물 처리기기(201)는, 입력된 음성명령에 대한 처리가 완료되면, 대기상태로 전환된다(487). 음성인식 설정은 유지되므로, 음성인식아이콘(295)은 점등상태를 유지한다(496).
도 13 은 본 발명의 일 실시예에 따른 세탁물 처리기기의 동작을 설명하는데 참조되는 예시도이다.
도 13에 도시된 바와 같이, 사용자의 음성명령에 대응하여 세탁물 처리기기(201)는 동작을 설정하거나 그에 대한 안내멘트를 출력한다.
사용자가 세탁에 대한 설정을 음성명령으로 입력할 수 있다.
사용자가 '세탁코스(A), 옵션종류(B), 옵션(C)에 대하여 음성명령을 입력하면(S500), 세탁물 처리기기(201)는, 각각 세탁코스, 옵션종류, 옵션을 인식하여 동작을 설정하거나, 현재 동작상태 또는 지원 가능 여부에 따라 안내멘트를 출력한다.
세탁물 처리기기(201)는, 안내멘트 출력 시, 사용자의 음성명령에 포함된, 세탁코스(A), 옵션종류(B), 옵션(C)에 대한 안내멘트를 출력한다.
예를 들어, 사용자가 ' 표준세탁코스로 물온도 냉수로 설정해'와 같은 자연어로 음성명령을 입력할 수 있다.
이때, 세탁물 처리기기(201)는 음성인식시스템(100)을 통해, 세탁코스(A)는 '표준세탁', 옵션종류(B)는 '물온도', 옵션(C)은 '냉수'로 인식할 수 있다.
또한, 음성인식시스템(100)은 음성명령을 분석하여, 운전을 설정하고자 하는 사용자의 의도를 판별할 수 있다. 가전제어서버는 인식결과와, 세탁물 처리기기(201)의 현재 상태를 바탕으로 제어신호를 인가하거나, 음성명령에 대한 응답신호가 전송되도록 한다.
따라서, 세탁물 처리기기(201)는 현재 기 설정된 동작이 있고 변경이 불가능한 경우, '현재 상태에서는 표준세탁, 물온도 옵션을 변경할 수 없습니다.'와 같은 안내멘트를 출력할 수 있다(S501).
세탁물 처리기기(201)는 음성명령을 통해 인식된 설정이 지원하지 않는 기능인 경우, 예를 들어 물온도 100도 와 같은 음성명령에 대하여, '지원하지 않는 기능입니다.'와 같은 안내멘트를 출력할 수 있다(S503).
또한, 세탁코스(A), 옵션종류(B), 옵션(C)에 대하여, 세탁코스는 설정 가능하나, 옵션에 문제가 있는 경우, 예를 들어 물온도가 지정되어 있는 세탁코스의 경우, 물온도 변경이 불가능함을 알리는 안내멘트를 출력한다.
세탁물 처리기기(201)는 세탁코스를 설정 한 후, '찬물세탁코스로 설정하였습니다. 선택하신 코스에서 물온도는 설정할 수 없습니다.'와 같은 안내멘트를 출력할 수 있다(S505).
세탁물 처리기기(201)는 입력된 음성명령이, 기 설정된 운전설정과 동일한 경우 '말씀하신 표준세탁코스, 물온도는 이미 설정되어 있습니다.'와 같은 안내멘트를 출력할 수 있다(S507).
또한, 세탁물 처리기기(201)는 입력된 음성명령에 대하여, 설정 가능하면, 운전설정을 완료한 후, ' 표준세탁코스에, 물온도 냉수로 설정합니다.'와 같은 안내멘트를 출력할 수 있다(S509).
세탁물 처리기기(201)는 입력된 음성명령에 따라 세탁코스를 설정하되, 다른 설정과 충돌이 있는 경우에 대하여, 충돌내용(D)에 대한 안내멘트를 출력할 수 있다(S511). 예를 들어, '기능성 의류코스를 설정하였습니다. 기능성 의류코스에서 스팀설정은 불가능합니다.'와 같이 코스 설정 및, 코스와 옵션의 충돌에 대한 안내멘트를 출력할 수 있다.
또한, 세탁물 처리기기(201)는 옵션충돌이 발생하거나, 음성명령에 옵션설정이 없는 경우, 그에 대하여 설정가능한 리스트(E)를 안내멘트로 출력할 수 있다(S513). 예를 들어 '기능성의류코스를 설정하였습니다. 선택하신 코스에서 물온도는 '냉수'와 '30도'와 같이 선택가능한 리스트를 안내멘트로 출력할 수 있다.
한편, 전원이 오프(OFF)된 상태에서는 '전원이 꺼져있습니다. 코스나 옵션설정은 전원을 켜고 말씀해 주세요.'와 같은 안내멘트를 출력할 수 있다(S515). 이에 대하여, 사용자는 전원키를 입력하거나, 또는 '전원켜'와 같은 새로운 음성명령을 입력할 수 있다.
음성인식시스템(100)은, 사용자의 음성명령에 대하여, 키워드를 추출하여 음성명령을 인식할 뿐 아니라, 지정된 단어에 한정하지 않고 변화가능한 다양한 어미에 대해서도 인식 가능하도록 한다.
예를 들어, '전원켜'라는 음성명령에 대하여, 전원 켜줘, 전원 켜봐, 전원 켜봐라, 전원 켜볼래 등과 같이 사용자의 말투, 사투리 등에 따라 변경되는 부분까지 반영하여 모두 전원 켜와 동일하게 세탁물 처리기기의 전원 온(ON)으로 인식하도록 한다.
세탁코스를 설정하는데 있어서도, 표준세탁코스의 경우, 표준, 표준선택, 표준으로, 표준설정, 표준코스, 표준으로 선택 등과 같은 음성명령에 대하여 모두 표준세탁코스로 인식할 수 있도록 한다.
인식하지 못하는 음성명령에 대하여, 음성인식시스템은 별도로 데이터베이스를 구축하여, 누적된 데이터를 분석하여 새로운 음성명령을 학습할 수 있다.
도 14 는 본 발명의 일 실시예에 따른 세탁물 처리기기의 음성인식을 통한 코스 설정을 설명하는데 참조되는 예시도이다.
앞서 설명한 바와 같이, 세탁코스, 옵션종류, 옵션으로 구분된 음성명령 이외에도 세탁물 처리기기의 코스를 설정할 수 있다.
도 14에 도시된 바와 같이, 사용자가 지정된 코스명을 음성명령으로 입력하지 않더라고 코스 설정이 가능하다.
사용자가 '하던 대로 선택해줘' 또는 '알아서 선택해줘'라는 음성명령을 입력하면(521), 세탁물 처리기기(201)는 스마트케어코스를 선택할 수 있다(541).
스마트케어코스는 사용자의 코스 사용빈도에 따라, 최근 한달간 가장 많이 사용한 코스를 분석하여 코스를 설정할 수 있고, 또한, 투입된 옷감의 종류를 분석하여 세탁코스를 설정할 수 있다.
또한, 사용자가 '그냥 선택해줘'라는 음성명령을 입력하면, 세탁물 처리기기(201)는 기본 세탁코스인, 표준세탁코스를 선택할 수 있다(543).
사용자가 '시간단축코스 선택해줘'라는 음성명령을 입력하면, 총 세탁시간이 단축된 스피드워시를 선택할 수 있다(545).
사용자가 '밤중 선택해줘' 또는 '조용히 선택해줘'라는 음성명령을 입력하면, 저소음모드 또는 조용조용모드를 설정할 수 있다(547).
사용자가 '등산복/비닐옷 선택해줘'라는 음성명령을 입력하면, '기능성 의류' 코스를 선택할 수 있다(549)
또한, 사용자가 '속옷/팬티 선택해줘'라는 음성명령을 입력하면, 세탁물 처리기기는 란제리코스 또는 울코스를 선택할 수 있다(511).
이와 같이, 세탁물 처리기기는 지정된 용어의 세탁코스나 옵션종류가 아니더라도, 음성명령의 의도를 분석하여 유사한 세탁코스를 설정할 수 있다.
도 15 는 본 발명의 일 실시예에 따른 세탁물 처리기기의 세탁가이드를 설명하는데 참조되는 예시도이다.
도 15의 (a)에 도시된 바와 같이, 사용자의 세탁 가이드 요청에 대하여 세탁물 처리기기는 음성인식시스템(100) 및 가전제어서버(130) 을 통해 인식되는 명령과 음원파일을 바탕으로, 가이드를 안내멘트로 출력할 수 있다.
사용자가 가이드종류(X)에 대한 세탁방법을 요청할 수 있다. 예를 들어 '맥주에 대한 세탁방법 알려줘'라고 음성명령을 입력하면, 세탁물 처리기기는 가이드종류(X)를 인식하고, 그에 대한 가이드를 안내멘트로 출력한다. 예를 들어 '맥주나 포도주의 경우 물, 알코올, 식초를 8:1:1 비율로 섞은 물에 세탁하시는 방법을 추천 드립니다.'와 같은 안내멘트를 출력할 수 있다(565).
또한, 사인펜 세탁방법이 요청된 경우 '사인펜 잉크의 경우 미지근한 물에 합성세제를 넣고 여러번 비벼주세요.'와 같은 안내멘트를 출력할 수 있다.
도 15의 (b)에 도시된 바와 같이, 안내된 세탁 가이드에 대하여, 세탁물 처리기기(201)는, 설정이 가능한 경우 '세탁코스로 설정할까요?'와 같은 추가 안내멘트를 출력할 수 있다(S567).
추가안내멘트를 출력하면, 세탁물 처리기기(201)는 소정시간 음성인식을 대기하여, 사용자의 답변을 입력받는다. 사용자가 '설정해줘'와 같은 음성명령을 입력하면(569), 제시된 세탁가이드에 따른 코스를 설정한 후, '세탁코스가 설정되었습니다.'와 같은 안내멘트를 출력할 수 있다(571).
만약 세탁코스 설정 문의에 대하여, 사용자가 '아니', '필요없어'와 같은 음성명령을 입력하면, 세탁코스를 설정하지 않고, 세탁가이드 안내를 종료한다.
한편, 앞서 설명한 맥주세탁방법의 경우, 제시된 혼합액은 세탁물 처리기기에서 처리할 수 없는 것이므로, 이에 대한 추가 세탁코스 설정은 불가능하다. 사인펜의 경우에도 사용자에 의해 처리되는 부분이므로 세탁코스로는 설정할 수 없다.
코스로 설정할 수 없는 경우에는 세탁가이드 안내를 종료한다.
도 16 및 도 17 은 본 발명의 일 실시예에 따른 세탁물 처리기기의 에러처리를 설명하는데 참조되는 예시도이다.
도 16에 도시된 바와 같이, 사용자가 '문제 있니?'와 같은 음성명령을 입력하면, 세탁물 처리기기(201)는 음성인식시스템(100)을 통해 의도분석결과를 받아, 그에 대응하는 안내멘트를 출력할 수 있다.
'문제 있니?'와 같은 음성명령이, 현재 세탁물 처리기기(201)의 상태 또는 에러발생 여부를 묻는 것이라는 의도분석을 통해, '세탁기 뚜껑이 열려 있습니다. 문을 닫아주세요.' 또는 '현재 자체 감지된 문제 사항은 없습니다.'와 같은 안내멘트를 출력할 수 있다.
또한, 세탁물 처리기기(201)에 이상발생 시, 도 17에 도시된 바와 같이 에러코드에 관련하여 구체적인 정보를 안내멘트로 출력할 수 있다.
사용자로부터 '문제있니?'라는 음성명령이 입력되면, 현재 발생된 에러를 기준으로, 도어에러에 관련하여, '세탁기 문이 열려있습니다. 문을 닫아 주세요'ㅇ와 같은 안내멘트를 출력하거나(580), 문잠김 에러에 대하여, '세탁기의 문이 잠지 않았습니다. 물을 여닫는 부분에 이물질이 있는지 확인해주세요'와 같은 안내멘트를 출력할 수 있다(581). 발생된 에러에 관련하여 에러발생 원인을 판단하여 안내할 수 있다.
또한, 세탁물 처리기기(201)는 급수에러 시, '급수가 되지 않습니다. 수도꼭지가 잠겨있는지, 수압이 낮거나 급수구가 막혀있는지, 급수호스는 제대로 연결되어 있는지 확인해 주세요'와 같은 안내멘트를 출력할 수 있다(582).
세탁물 처리기기(201)는 이와 같이 발생된 에러의 종류와, 그 에러가 발생할 가능성이 있는 원인을 안내멘트로써 출력함으로써, 사용자가 자가점검을 수행하도록 유도할 수 있다. 배수에러의 경우, 호스연결이나 급수구 막힘 등의 경우, 서비스 기사방문 없이 사용자가 해결할 수 있는 부분이므로, 점검을 통해 원인을 확인하고 해결할 수 있도록 한다.
또한, 탈수에러에 대하여, '진동과 소음이 심합니다. 탈수가 잘 되도록 세탁물을 고르게 펴주세요.'와 같이 세탁물의 엉킴에 의한 문제를 해소할 수 있도록 안내멘트를 출력할 수 있다(584).
수위센서에 이상이 있는 경우에는, '수위센서가 작동하지 않습니다.'와 같은 안내멘트를 출력한다(585). 세탁물 처리기기는 'AS를 신청하시겠습니까? 와 같은 추가 안내멘트를 출력하여, 사용자가 서비스신청을 진행하도록 가이드 할 수 있다. 또한, 필요에 따라 전화번호나 접속사이트를 제공하여 서비스신청방법을 안내멘트로 출력할 수 있다.
세탁물 과다도 이상이 발생하는 경우, '세탁물의 양이 너무 많습니다. 세탁량을 조금 줄여주세요.'와 같은 안내멘트를 출력할 수 있고(586), 급수밸브의 이상에 대하여 '급수밸브에 이상이 있습니다.'와 같은 안내멘트를 출력하고(587), 또한, 온도센서이상에 대하여, '온도센서에 이상이 있습니다.'와 같은 안내멘트를 출력할 수 있다(588).
또한, 동결감지 시, 세탁물 처리기기는 '세탁기가 얼어 있습니다. 사용설명서를 참고하여 얼어있는 부품을 녹인 후 사용해 주세요'와 같이 에러상태와, 해결방법을 제시하는 안내멘트를 출력할 수 있다(589).
도 18 은 본 발명의 일 실시예에 따른 세탁물 처리기기의 상태를 안내하는 방법을 설명하는데 참조되는 예시도이다.
도 18의 (a)에 도시된 바와 같이, 세탁물 처리기기는 지원하지 않거나 설정이 불가능한 경우에 대하여, 각 상황에 따라 '음성으로 지원하지 않는 기능입니다. 앱이나 제품에서 변경해 주세요'(601) 또는 '지원하지 않는 기능입니다'(602)와 같은 안내멘트를 출력할 수 있다. 또한, 세탁물 처리기기는 등록이 필요한 경우, 등록방법을 함께 안내할 수 있다. 예를 들어, '음성인식 서비스를 위해 제품등록이 필요합니다. 스마트 씽큐앱에서 제품을 등록해 주세요'와 같은 안내멘트를 출력할 수 있다.
도 18의 (b)와 같이 음성명령을 인식할 수 없는 경우, 그에 대한 안내멘트를 출력할 수 있다.
세탁물 처리기기(201)는 '죄송해요. 다시 한번 말씀해 주세요'와 같은 안내멘트를 출력할 수 있다. 다음 음성명령에 대하여 인식할 ㅅ 없는 경우에는 '말씀을 이해하지 못했어요.'와 같이 동일한 상황에서도 표현이 다른, 즉 의미는 동일하나 상이한 어휘로 구성된 안내멘트가 출력되도록 할 수 있다.
또한, 원격제어가 불가능하거나, 잠금이 설정된 경우, '잠금설정(N)에 의해 음성명령을 수행할 수 없습니다.'와 같은 안내멘트를 출력할 수 있다(606). 차일드락이나 잠금이 설정된 경우 출력될 수 있고, 또한, 원격제어중에는 설정할 수 없는 경우에도 이와 같은 안내멘트를 출력할 수 있다.
에러가 발생한 경우에는, '제품에러를 해결 한 후에 음성명령을 말씀해 주세요.'와 같이 안내멘트를 출력할 수 있다(607). 이때 발생된 에러에 대하여 다시 한번 안내멘트를 출력할 수 있고, 또한 서비스신청을 진행하도록 가이드 할 수 있다.
네트워크에 이상이 있는 경우에는 도 18의 (c)에 도시된 바와 같이, '네트워크 연결상태를 확인해 주세요'(609) 또는 현재 서비스 연결이 원활하지 않습니다. 잠시 후 다시 시도해 주세요'(612)와 같은 안내멘트를 출력할 수 있다.
세탁물 처리기기(201)는 그 외, 각 에러상황에 대응하는 안내멘트를 출력할 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 음성인식시스템 111: 자동 음성 인식 서버
112: 자연어 처리 서버 113: 텍스트 음성 변환서버
120: 서비스서버 130: 가전제어서버
200: 가전기기 201: 세탁물 처리기기

Claims (24)

  1. 자연어로 구성된 음성명령이 입력되는 오디오 입력부;
    상기 오디오 입력부로부터 입력된 상기 음성명령을 음성데이터로써 음성인식시스템으로 전송하고, 상기 음성인식시스템으로부터 응답신호를 수신하는 통신부;
    상기 음성인식시스템의 음성인식 결과에 따라, 상기 응답신호에 대응하는 동작을 설정하고, 동작상태를 출력하며, 안내멘트가 출력되도록 하는 제어부;
    상기 동작에 대응하는 상기 안내멘트를 출력하는 오디오 출력부를 포함하고,
    상기 제어부는 상기 음성인식시스템의 의도분석결과와, 동작상태에 대응하여 설정가능 여부 또는 지원가능 여부를 판단하여 상기 동작을 설정하는 것을 특징으로 하는 세탁물 처리기기.
  2. 제 1 항에 있어서,
    상기 제어부는, 상기 음성인식시스템과 연결된 가전제어서버로부터 상기 음성명령에 대응하는 제어신호가 수신되면, 상기 제어신호에 대응하여 동작을 설정하고,
    상기 음성인식시스템으로 상기 안내멘트에 대한 음원파일을 요청하여 수신된 상기 음원파일을 상기 오디오 출력부로 인가하는 것을 특징으로 하는 세탁물 처리기기.
  3. 제 1 항에 있어서,
    음성인식키를 포함하는 조작부; 및
    메뉴화면 및 동작상태를 출력하는 디스플레이;를 더 포함하고,
    상기 제어부는, 상기 음성인식키의 입력에 따라 음성인식 대기모드를 설정하고, 가전제어서버로부터 수신되는 제어신호에 대응하여 동작을 설정하여 제어하며, 동작상태 또는 진행상태가 상기 디스플레이를 통해 출력되도록 하는 것을 특징으로 하는 세탁물 처리기기.
  4. 제 3 항에 있어서,
    상기 제어부는, 상기 음성인식키가 선택되면, 음성인식을 위한 대기상태로 전환하고, 상기 오디오 입력부를 통해 음성명령이 입력되면, 상기 디스플레이에 표시되는 음성인식아이콘을 변경하여 출력하는 것을 특징으로 하는 세탁물 처리기기.
  5. 제 3 항에 있어서,
    상기 제어부는, 상기 음성인식시스템으로 음성데이터를 전송하여 음성인식이 진행되는 도중, 상기 디스플레이에 문자, 숫자, 아이콘, 이미지 중 적어도 하나의 조합으로 진행상태를 표시하는 것을 특징으로 하는 세탁물 처리기기.
  6. 제 1 항에 있어서,
    상기 오디오 입력부는 복수개의 마이크를 포함하는 것을 특징으로 하는 세탁물 처리기기.
  7. 제 1 항에 있어서,
    상기 제어부는 상기 음성명령에 따른 세탁가이드요청에 대응하여, 세탁방법을 설명하는 가이드를 상기 안내멘트로 출력하는 것을 특징으로 하는 세탁물 처리기기.
  8. 제 1 항에 있어서,
    상기 제어부는 상기 안내멘트를 재출력하는 경우, 동일한 의미의 상이한 어휘로 구성된 상기 안내멘트를 출력하는 것을 특징으로 하는 세탁물 처리기기.
  9. 제 1 항에 있어서,
    상기 제어부는 에러발생 시, 에러에 대한 설명 및 대응방안이 포함된 상기 안내멘트가 출력되도록 하는 것을 특징으로 하는 세탁물 처리기기.
  10. 제 1 항에 있어서,
    상기 음성인식시스템은 세탁물 처리기기로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition) 서버;
    상기 자동 음성 인식 서버로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리(Natural Language Processing) 서버; 및,
    상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여 상기 세탁물 처리기기로 송신하는 텍스트 음성 변환(Text to Speech) 서버;를 포함하는 세탁물 처리기기.
  11. 자연어의 음성명령이 입력되는 세탁물 처리기기;
    세탁물 처리기기로부터 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition) 서버;
    상기 자동 음성 인식 서버로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리(Natural Language Processing) 서버;
    상기 음성 명령에 기초하는 응답 신호를 음성 데이터로 변환하여 상기 세탁물 처리기기로 송신하는 텍스트 음성 변환(Text to Speech) 서버; 및
    상기 자연어 처리 서버로부터 수신되는 데이터와 상기 세탁물 처리기기의 상태에 대응하여, 상기 세탁물 처리기기로, 상기 음성명령에 대응하는 제어신호를 전송하는 가전제어서버를 포함하고,
    상기 세탁물 처리기기는, 상기 가전제어서버로부터 수신되는 상기 제어신호에 대응하여 동작을 설정하고, 상기 텍스트 음성 변환 서버로부터 제공되는 음원파일을 이용하여 안내멘트를 출력하는 것을 특징으로 하는 세탁물 처리기기 제어시스템.
  12. 제 11 항에 있어서,
    상기 자연어 처리 서버는, 상기 음성명령을 인식하지 못하는 경우, 인식에 실패한 음성데이터를 별도로 분류하여 저장하고, 누적된 데이터를 분석하여 새로운 음성인식데이터를 학습하는 것을 특징으로 하는 세탁물 처리기기.
  13. 제 11 항에 있어서,
    날씨, 시간, 증권 등의 서비스를 제공하는 서비스 서버를 더 포함하고,
    상기 세탁물 처리기기로부터 운전설정 이외의 상기 음성명령에 대응하여 상시 서비스서버로 접속하여 데이터를 수신하는 것을 특징으로 하는 세탁물 처리기기.
  14. 자연어로 구성된 음성명령이 입력되는 단계;
    상기 음성명령을 음성데이터로 변환하여 음성인식시스템으로 전송하고, 상기 음성인식시스템으로부터 응답신호를 수신하는 단계;
    상기 음성명령에 대한 상기 음성인식시스템의 의도분석결과와, 동작상태에 대응하여 설정가능 여부 또는 지원가능 여부를 판단하여 상기 응답신호에 대응하는 동작을 설정하는 단계; 및
    상기 동작에 대응하는 안내멘트를 출력하는 단계를 포함하는 세탁물 처리기기의 동작방법.
  15. 제 14 항에 있어서,
    상기 음성인식시스템과 연결된 가전제어서버로부터 상기 음성명령에 대응하는 제어신호가 수신되는 단계;
    상기 제어신호에 대응하여 동작을 설정하는 단계; 및
    상기 음성인식시스템으로 음원파일을 요청하여 수신된 상기 음원파일을 오디오 출력부로 인가하여 상기 안내멘트를 출력하는 단계를 더 포함하는 세탁물 처리기기의 동작방법.
  16. 제 14 항에 있어서,
    음성인식키가 입력되면, 상기 음성명령이 입력되는 것을 대기하는 단계; 및
    상기 음성명령의 인식 및 처리과정을 디스플레이에 출력하는 단계를 더 포함하는 세탁물 처리기기의 동작방법. .
  17. 제 16 항에 있어서,
    상기 음성인식이 진행되는 도중, 상기 디스플레이에 문자, 숫자, 아이콘, 이미지 중 적어도 하나의 조합으로 진행상태를 표시하는 것을 특징으로 하는 세탁물 처리기기의 동작방법.
  18. 제 14 항에 있어서,
    상기 음성명령에 따른 세탁가이드요청에 대응하여, 세탁방법을 설명하는 가이드를 상기 안내멘트로 출력하는 단계를 더 포함하는 세탁물 처리기기의 동작방법.
  19. 제 14 항에 있어서,
    상기 안내멘트를 재출력하는 경우, 동일한 의미의 상이한 어휘로 구성된 상기 안내멘트를 출력하는 단계를 더 포함하는 세탁물 처리기기의 동작방법.
  20. 제 1 항에 있어서,
    에러발생 시, 에러에 대한 설명 및 대응방안이 포함된 상기 안내멘트를 출력하는 단계를 더 포함하는 세탁물 처리기기의 동작방법.
  21. 세탁물 처리기기로, 자연어로 구성된 음성명령이 입력되는 단계;
    상기 세탁물 처리기기가 상기 음성명령을 변환하여 음성데이터를 자동 언어 인식 서버로 전송하는 단계;
    상기 자동 언어 인식 서버가, 상기 음성데이터를 텍스트로 변환하는 단계;
    자연어 처리 서버가, 상기 텍스트를 분석하여 상기 음성명령을 판별하는 단계;
    가전제어서버가 상기 세탁물 처리기기의 상태와 상기 자연어 처리 서버로부터 수신되는, 상기 음성명령에 대응하는 데이터를 분석하여, 상기 세탁물 처리기기로, 상기 음성명령에 대응하는 제어신호를 전송하는 단계;
    상기 세탁물 처리기기가 상기 제어신호에 따라 동작을 설정하는 단계; 및
    텍스트 변환 서버로부터 제공되는 음원파일에 따라 상기 동작에 대한 안내멘트를 출력하는 단계를 포함하는 세탁물 처리기기 제어시스템의 동작방법.
  22. 제 21 항에 있어서,
    상기 음성명령이 상기 세탁물 처리기기의 운전설정에 관한 것이 아닌 경우, 날씨, 시간, 증권 등의 서비스 서버로 연결하여, 데이터를 요청하는 단계를 더 포함하는 세탁물 처리기기 제어시스템의 동작방법.
  23. 제 21 항에 있어서,
    상기 음성명령에 대응하는 데이터에 따라, 상기 세탁물 처리기기에서 지원 가능한지 여부를 판단하는 단계를 더 포함하고,
    지원이 불가능한 경우, 지원 불가능에 따른 응답신호를 상기 세탁물 처리기기로 전송하는 단계를 더 포함하는 세탁물 처리기기 제어시스템의 동작방법.
  24. 제 21 항에 있어서,
    상기 음성데이터에 대한 인식에 실패하면, 상기 음성데이터를 별도로 분류하여 저장하고, 분류된 데이터를 다시 분석하여 음성인식데이터로 추가하여 학습하는 단계를 더 포함하는 세탁물 처리기기 제어시스템의 동작방법.

KR1020180002475A 2018-01-08 2018-01-08 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법 KR102498007B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180002475A KR102498007B1 (ko) 2018-01-08 2018-01-08 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법
US16/242,770 US10978067B2 (en) 2018-01-08 2019-01-08 Home appliance, control system by voice recognition and operating method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180002475A KR102498007B1 (ko) 2018-01-08 2018-01-08 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법

Publications (2)

Publication Number Publication Date
KR20190084566A true KR20190084566A (ko) 2019-07-17
KR102498007B1 KR102498007B1 (ko) 2023-02-08

Family

ID=67140154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002475A KR102498007B1 (ko) 2018-01-08 2018-01-08 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법

Country Status (2)

Country Link
US (1) US10978067B2 (ko)
KR (1) KR102498007B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190096307A (ko) * 2019-07-29 2019-08-19 엘지전자 주식회사 음성 인식 서비스를 제공하는 인공 지능 장치 및 그의 동작 방법
KR20210074000A (ko) * 2019-12-11 2021-06-21 엘지전자 주식회사 정수기 및 그 제어 방법
CN113862954A (zh) * 2020-06-30 2021-12-31 青岛海尔洗衣机有限公司 语音处理方法及洗衣机
US11244695B2 (en) 2019-09-02 2022-02-08 Lg Electronics Inc. Noise manageable electronic apparatus and method for controlling the same
WO2023146031A1 (ko) * 2022-01-25 2023-08-03 엘지전자 주식회사 세탁 종료 후 가이드 정보를 제공하는 방법 및 장치
US12021719B2 (en) 2022-07-15 2024-06-25 Lg Electronics Inc. Artificial intelligence apparatus and method for providing target device manual thereof

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239582A1 (ja) * 2018-06-15 2019-12-19 三菱電機株式会社 機器制御装置、機器制御システム、機器制御方法、および、機器制御プログラム
WO2020045902A1 (ko) * 2018-08-27 2020-03-05 엘지전자 주식회사 의류처리장치
JP6955115B2 (ja) * 2018-10-05 2021-10-27 三菱電機株式会社 音声操作支援システム、音声操作システム、音声処理装置、音声操作支援装置、音声操作支援方法及びプログラム
US10650819B2 (en) 2018-10-15 2020-05-12 Midea Group Co., Ltd. System and method for providing portable natural language processing interface across multiple appliances
US10978046B2 (en) 2018-10-15 2021-04-13 Midea Group Co., Ltd. System and method for customizing portable natural language processing interface for appliances
JP7110371B2 (ja) 2018-12-03 2022-08-01 グーグル エルエルシー スマートデバイスの効率的制御および／またはリンク化
US11182123B2 (en) * 2019-04-30 2021-11-23 Whirlpool Corporation User-interface system for a laundry appliance
US11686032B2 (en) 2019-04-30 2023-06-27 Whirlpool Corporation User-interface system for a laundry appliance
KR20200126509A (ko) * 2019-04-30 2020-11-09 삼성전자주식회사 가전기기 및 이의 제어 방법
US11377772B2 (en) 2019-05-23 2022-07-05 Whirlpool Corporation Laundry appliance
US11761134B2 (en) 2019-05-23 2023-09-19 Whirlpool Corporation Laundry appliance
KR102699274B1 (ko) * 2019-07-16 2024-08-26 엘지전자 주식회사 세탁기
JP2022096305A (ja) * 2020-12-17 2022-06-29 キヤノン株式会社 情報処理システム、画像処理装置、情報処理システムの制御方法、及びプログラム
CN112779721B (zh) * 2020-12-21 2022-01-25 珠海格力电器股份有限公司 洗衣机的控制方法、装置、洗衣机、存储介质及处理器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002011276A (ja) * 2000-06-29 2002-01-15 Hitachi Ltd モニター表示部を備えた電気洗濯機及びモニター表示方法
KR20030072807A (ko) * 2002-03-06 2003-09-19 엘지전자 주식회사 냉장고 디스플레이부 제어방법
JP2005311864A (ja) * 2004-04-23 2005-11-04 Toshiba Corp 家電機器、アダプタ装置および家電機器システム
KR20110137614A (ko) * 2010-06-17 2011-12-23 엘지전자 주식회사 가전기기 및 그 동작방법
KR20160100765A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 전자 장치 및 음성 인식 기능 운용 방법
US20170154623A1 (en) * 2014-02-21 2017-06-01 Microsoft Technology Licensing, Llc. Pronunciation learning through correction logs
JP2017107078A (ja) * 2015-12-10 2017-06-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声対話方法、音声対話装置及び音声対話プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308408B1 (en) * 2000-07-24 2007-12-11 Microsoft Corporation Providing services for an information processing system using an audio interface
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN108010522A (zh) * 2016-11-02 2018-05-08 松下电器（美国）知识产权公司 信息处理方法以及记录介质
KR102371313B1 (ko) * 2017-05-29 2022-03-08 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법
KR102412523B1 (ko) * 2017-07-18 2022-06-24 삼성전자주식회사 음성 인식 서비스 운용 방법, 이를 지원하는 전자 장치 및 서버
EP3663906B1 (en) * 2017-08-02 2024-04-03 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus and information processing method
CN107564518B (zh) * 2017-08-21 2021-10-22 百度在线网络技术（北京）有限公司 智能设备控制方法、装置及计算机设备
CN108130683A (zh) * 2017-12-21 2018-06-08 迪尔阿扣基金两合公司 一种家用电器以及用于运行家用电器的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002011276A (ja) * 2000-06-29 2002-01-15 Hitachi Ltd モニター表示部を備えた電気洗濯機及びモニター表示方法
KR20030072807A (ko) * 2002-03-06 2003-09-19 엘지전자 주식회사 냉장고 디스플레이부 제어방법
JP2005311864A (ja) * 2004-04-23 2005-11-04 Toshiba Corp 家電機器、アダプタ装置および家電機器システム
KR20110137614A (ko) * 2010-06-17 2011-12-23 엘지전자 주식회사 가전기기 및 그 동작방법
US20170154623A1 (en) * 2014-02-21 2017-06-01 Microsoft Technology Licensing, Llc. Pronunciation learning through correction logs
KR20160100765A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 전자 장치 및 음성 인식 기능 운용 방법
JP2017107078A (ja) * 2015-12-10 2017-06-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声対話方法、音声対話装置及び音声対話プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190096307A (ko) * 2019-07-29 2019-08-19 엘지전자 주식회사 음성 인식 서비스를 제공하는 인공 지능 장치 및 그의 동작 방법
US11244695B2 (en) 2019-09-02 2022-02-08 Lg Electronics Inc. Noise manageable electronic apparatus and method for controlling the same
KR20210074000A (ko) * 2019-12-11 2021-06-21 엘지전자 주식회사 정수기 및 그 제어 방법
KR20220024326A (ko) * 2019-12-11 2022-03-03 엘지전자 주식회사 정수기 및 그 제어 방법
CN113862954A (zh) * 2020-06-30 2021-12-31 青岛海尔洗衣机有限公司 语音处理方法及洗衣机
CN113862954B (zh) * 2020-06-30 2024-03-12 青岛海尔洗衣机有限公司 语音处理方法及洗衣机
WO2023146031A1 (ko) * 2022-01-25 2023-08-03 엘지전자 주식회사 세탁 종료 후 가이드 정보를 제공하는 방법 및 장치
US12021719B2 (en) 2022-07-15 2024-06-25 Lg Electronics Inc. Artificial intelligence apparatus and method for providing target device manual thereof

Also Published As

Publication number Publication date
KR102498007B1 (ko) 2023-02-08
US20190214009A1 (en) 2019-07-11
US10978067B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
KR20190084566A (ko) 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법
KR101709483B1 (ko) 가전기기 및 그 동작방법
RU2544824C2 (ru) Бытовое устройство, системы бытового устройства и способ приведения их в действие
EP3733952B1 (en) Washing machine
KR102051369B1 (ko) 가전기기, 가전기기 시스템 및 그 제어방법
US6718307B1 (en) Speech input device with attention span
CN109754807A (zh) 语音交互设备和用于语音交互设备的控制方法
CN104131442B (zh) 洗衣机远程控制方法及系统
KR102448500B1 (ko) 인공지능 세탁기 및 그 제어 방법
EP3660839B1 (en) System and method for voice recognition of home appliance
KR102389594B1 (ko) 인공지능 세탁물 처리기기 및 음성 인식 서버 시스템의 동작 방법
US11404060B2 (en) Electronic device and control method thereof
US11615792B2 (en) Artificial intelligence-based appliance control apparatus and appliance controlling system including the same
JP2018036397A (ja) 応答システムおよび機器
KR20100122030A (ko) 세탁기를 제어하는 휴대 단말기 및 그 동작 방법
KR101881648B1 (ko) 욕실용 스마트 미러 장치
KR102395013B1 (ko) 인공지능 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
US20190130898A1 (en) Wake-up-word detection
EP3866134B1 (en) Home appliance and method for controlling thereof
KR102677288B1 (ko) 의류처리장치 및 의류처리장치의 음성인식 방법
KR20210009247A (ko) 음성 인식 기능을 구비한 세탁물 처리기기의 제어 방법
JP2019118478A (ja) 衣類処理装置
KR102674535B1 (ko) 의류처리장치 및 의류처리장치의 음성인식 방법
US20240129155A1 (en) Home appliance, and method for outputting information about home appliance
WO2024183808A1 (zh) 一种衣物处理装置语音控制方法、装置、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant