KR20200016642A - 인공지능과 음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법 - Google Patents

인공지능과 음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법 Download PDF

Info

Publication number
KR20200016642A
KR20200016642A KR1020180091972A KR20180091972A KR20200016642A KR 20200016642 A KR20200016642 A KR 20200016642A KR 1020180091972 A KR1020180091972 A KR 1020180091972A KR 20180091972 A KR20180091972 A KR 20180091972A KR 20200016642 A KR20200016642 A KR 20200016642A
Authority
KR
South Korea
Prior art keywords
home appliance
unit
door
voice
state
Prior art date
Application number
KR1020180091972A
Other languages
English (en)
Other versions
KR102541585B1 (ko
Inventor
신효상
윤성준
장용운
전병우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180091972A priority Critical patent/KR102541585B1/ko
Priority to US16/521,520 priority patent/US11335340B2/en
Publication of KR20200016642A publication Critical patent/KR20200016642A/ko
Application granted granted Critical
Publication of KR102541585B1 publication Critical patent/KR102541585B1/ko

Links

Images

Classifications

    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F37/00—Details specific to washing machines covered by groups D06F21/00 - D06F25/00
    • D06F37/42—Safety arrangements, e.g. for stopping rotation of the receptacle upon opening of the casing door
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00—Control of operations performed in washing machines or washer-dryers 
    • D06F33/30—Control of washing machines characterised by the purpose or target of the control 
    • D06F33/47—Responding to irregular working conditions, e.g. malfunctioning of pumps 
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00—Control of operations performed in washing machines or washer-dryers 
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F39/00—Details of washing machines not specific to a single type of machines covered by groups D06F9/00 - D06F27/00 
    • D06F39/12—Casings; Tubs
    • D06F39/14—Doors or covers; Securing means therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2101/00—User input for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00—Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/40—Opening or locking status of doors
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/50—Starting machine operation, e.g. delayed start or re-start after power cut
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/58—Indications or alarms to the control system or to the user
    • D06F2105/60—Audible signals
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/62—Stopping or disabling machine operation
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F31/00—Washing installations comprising an assembly of several washing machines or washing units, e.g. continuous flow assemblies
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/28—Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Textile Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Washing Machine And Dryer (AREA)
  • Artificial Intelligence (AREA)

Abstract

본 발명은 음성 인식을 통해 입력된 시작 명령을 기초로 세탁 또는 건조 동작을 수행하는 홈어플라이언스 및 이의 제어 방법에 관한 기술이다. 본 발명에 따른 홈어플라이언스 및 이의 제어 방법은, 세탁부에 설치된 도어의 상태를 감지하는 센서부와, 센서부에서 감지된 도어의 상태 변화를 기초로 동작 명령을 수행하는 제어부를 포함한다. 이때, 제어부는 전원이 켜진 이후에 도어가 열림상태(Open state)에서 닫힘상태(Close state)으로 변경된 경우, 사용자의 음성 신호에서 추출된 동작 명령을 기초로 세탁부의 동작을 제어한다. 이를 통해, 본 발명은 음성 인식을 기반으로 입력된 동작 시작 명령을 수행할 수 있다.

Description

음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법{Home appliance performing based on voice recognition and method for controlling thereof}
본 발명은 음성 인식을 통해 입력된 동작 시작 명령을 수행하는 홈어플라이언스 및 이의 제어 방법에 관한 기술이다.
가정이나 사무실 등의 소정 공간에서 사용되는 홈어플라이언스(Home appliance)들은 각각 고유의 기능과 동작을 수행한다. 여기에서, 홈어플라이언스에는 세탁기, 건조기, 에어컨, 로봇청소기, 공기청정기, 냉장고, 오븐레인지, 정수기 등을 포함될 수 있다.
이 중에서 세탁기는 세탁물을 세탁하기 위한 드럼 또는 터브와, 이를 회전시키는 모터를 포함할 수 있다. 마찬가지로, 건조기는 세탁물을 건조시키기 위한 드럼 또는 터브와, 이를 회전시키는 모터를 포함할 수 있다.
이러한 세탁기 또는 건조기에 구비된 드럼 또는 터브는, 많은 세탁물을 수용할 수 있도록 넓은 내부 공간을 갖는다. 이에 따라, 어린이나 애완동물이 드럼 또는 터브 안에 들어갔다가 안에 갇히는 경우, 안전사고가 발생할 수 있는 문제가 있었다.
이러한 안전사고를 방지하기 위하여, 종래의 세탁기 또는 건조기는 세탁 또는 건조 시작 동작을 위해서는 반드시 물리적인 버튼을 눌러야 하는 제약이 있었다.
즉, 전술한 제약은 세탁 또는 건조 시작 동작 전에 드럼 또는 터브 안을 사용자가 확인한 경우에 한하여 제품을 동작시킴으로써, 안전사고를 방지할 수 있다. 따라서, 종래의 세탁기 또는 건조기는 음성인식을 통하여 세탁 또는 건조 시작을 명령하여도, 전술한 제약 때문에 제품이 해당 명령을 수행하지 못하였다.
전술한 제약은 안전사고를 예방하는 취지에서 바람직하다. 다만, 이러한 제약이 일률적으로 적용됨에 따라 사용자가 미리 드럼 또는 터브를 확인한 경우에도, 음성인식을 통한 동작 시작 명령은 수행되지 못한다. 따라서 전술한 제약은 사용자 조작의 불편함을 야기하는 문제점이 있었다.
본 발명의 목적은 사용자가 드럼 또는 터브를 확인한 경우, 음성 인식을 기반으로 입력된 동작 시작 명령을 수행할 수 있도록 하는 홈어플라이언스 및 이의 제어 방법을 제공하는 것이다.
또한, 본 발명의 목적은 제품의 전원이 켜진 상태 이후, 도어에 대한 상태 변화를 기초로 동작 시작 명령을 수행함으로써 안전사고를 예방할 수 있는 홈어플라이언스 및 이의 제어 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 홈어플라이언스 및 이의 제어 방법은, 세탁부에 설치된 도어의 상태를 감지하는 센서부와, 센서부에서 감지된 도어의 상태 변화를 기초로 동작 명령을 수행하는 제어부를 포함한다. 이때, 제어부는 전원이 켜진 이후에 도어가 열림상태(Open state)에서 닫힘상태(Close state)으로 변경된 경우, 사용자의 음성 신호에서 추출된 동작 명령을 기초로 세탁부의 동작을 제어한다. 이를 통해, 본 발명은 음성 인식을 기반으로 입력된 동작 시작 명령을 수행할 수 있다.
또한, 본 발명에 따른 홈어플라이언스 및 이의 제어 방법은, 홈어플라이언스의 전원이 켜진 이후, 도어의 상태 변화를 저장하는 도어 히스토리를 기초로, 동작 명령을 수행하는 제어부를 포함한다. 이때, 제어부는 전원이 켜진 이후에 도어가 열림상태(Open state)에서 닫힘상태(Close state)으로 변경된 경우, 사용자의 음성 신호에서 추출된 동작 명령을 기초로 세탁부의 동작을 제어한다. 이를 통해, 본 발명은 사용자가 도어를 개폐하여 드럼 또는 터브의 내부를 확인한 경우에만 동작 시작 명령을 수행함으로써, 안전사고를 예방할 수 있다.
본 발명에 따른 홈어플라이언스 및 이의 제어 방법은, 드럼 또는 터브 안을 사용자가 확인한 경우에 한하여 제품을 동작시켜 안전사고를 방지하겠다는 제약의 취지를 만족시킬 수 있다. 본 발명은 음성 인식을 기반으로 입력된 동작 시작 명령을 수행할 수 있다. 이에 따라, 본 발명은 동작 시작을 위해 반드시 해당 제품에 구비된 동작 시작 버튼을 눌러야 하는 불편함을 없앨 수 있다. 또한, 사용자는 음성으로 홈어플라이언스의 동작이 시작되도록 제어할 수 있다. 따라서, 홈어플라이언스를 이용하는 사용자의 편의성은 향상될 수 있다.
또한, 본 발명에 따른 홈어플라이언스 및 이의 제어 방법은 홈어플라이언스의 전원이 켜진 이후에 도어가 열림상태에서 닫힘상태로 변경된 경우에만 동작 시작 명령을 수행한다. 이에 따라, 안전사고의 발생 가능성은 낮아질 수 있다. 또한, 안정성과 편리성이 확보됨에 따라, 홈어플라이언스에 대한 브랜드 가치는 향상될 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 홈어플라이언스를 나타내는 사시도이다.
도 2는 도 1의 홈어플라이언스를 나타내는 블럭도이다.
도 3은 본 발명의 다른 실시예에 따른 홈어플라이언스와 통신하는 음성 인식 서버 시스템을 나타내는 도면이다.
도 4는 도 3의 홈어플라이언스와 음성 인식 서버 시스템 사이의 관계를 나타내는 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 홈어플라이언스의 제어 방법을 설명하기 위한 순서도이다.
도 6은 도 5의 S160 단계에서 사용자의 동작 명령을 수신하는 단계를 자세히 설명하기 위한 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 홈어플라이언스의 제어 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
이하에서, 도 1 내지 도 7을 참조하여 본 발명의 실시예에 따른 홈어플라이언스 및 이의 제어 방법에 대해 살펴보도록 한다.
도 1은 본 발명의 일 실시예에 따른 홈어플라이언스를 나타내는 사시도이다. 홈어플라이언스는 세탁기, 건조기, 에어컨, 로봇청소기, 공기청정기, 냉장고, 오븐레인지, 정수기 등을 포함할 수 있다. 설명의 편의를 위하여, 도 1에서는 세탁기를 예로 들어 도시하였다.
다만, 본 발명이 세탁기에 한정되는 것은 아니며, 본 발명의 몇몇 실시예에 따른 홈어플라이언스의 제어 방법은 어린이 또는 애완동물가 갇힐 수 있는 내부 공간을 구비한 다양한 홈어플라이언스에 적용이 가능한다.
도 1을 참조하면, 홈어플라이언스(100)(즉, 세탁기)는 복수의 세탁부를 포함할 수 있다. 구체적으로, 홈어플라이언스(100)는 제1 세탁부(150A)와 제2 세탁부(150B)를 포함할 수 있다.
제1 세탁부(150A)와 제2 세탁부(150B)는 서로 인접하게 배치될 수 있다. 예를 들어, 제1 세탁부(150A)와 제2 세탁부(150B)는 상하로 배치될 수 있다.
이때, 제1 세탁부(150A)와 제2 세탁부(150B)는 상호 결합 및 분리 되도록 구성될 수 있다. 제1 세탁부(150A)와 제2 세탁부(150B)는 각각의 하우징을 가질 수 있다. 여기에서, 각각의 하우징은 서로 결합 및 분리 가능하도록 형성될 수 있다.
또한, 제1 세탁부(150A)와 제2 세탁부(150B)는 하나의 하우징 내에 배치될 수 있다. 이 경우 제1 세탁부(150A)와 제2 세탁부(150B)는 하우징 내에 고정되어 분리되지 않을 수 있다.
제1 세탁부(150A)와 제2 세탁부(150B)는 각각 프런트로드(Front Load) 또는 탑로드(Top Load) 방식으로 구성될 수 있다.
여기에서, 프런트로드 방식은 전면에서 세탁조 내부로 세탁물을 투입하는 형태를 갖는다. 따라서, 프런트로드 방식은 세탁물이 처리되는 세탁조가 실질적으로 수평축을 기준으로 회전한다.
한편, 탑로드 방식은 상면에서 세탁조 내부로 세탁물을 투입하는 형태를 갖는다. 따라서, 탑로드 방식은 세탁물이 처리되는 세탁조가 실질적으로 수직축을 기준으로 회전한다.
도 1에는 제1 세탁부(150A)가 프런트로드 방식으로 구성되고, 제2 세탁부(150B)가 탑로드 방식으로 구성되는 것을 도시하였다. 다만, 본 발명이 이에 한정되는 것은 아니며, 제1 세탁부(150A)와 제2 세탁부(150B)는 다양한 방식으로 변형되어 실시될 수 있다.
제1 세탁부(150A)는 제1 세탁조(151A), 제1 도어(153A), 및 제1 인터페이스부(180A)를 포함할 수 있다. 제1 도어(153A)는 제1 세탁조(151A)의 투입구에 설치된다. 제1 인터페이스부(180A)는 제1 세탁부(150A)의 동작을 제어할 수 있는 다양한 버튼을 구비한다.
마찬가지로, 제2 세탁부(150B)는 제2 세탁조(151B), 제2 도어(153B), 및 제2 인터페이스부(180B)를 포함할 수 있다. 제2 도어(153B)는 제2 세탁조(151B)의 투입구에 설치된다. 제2 인터페이스부(180B)는 제2 세탁부(150B)의 동작을 제어할 수 있는 다양한 버튼을 구비한다.
즉, 제1 세탁부(150A)와 제2 세탁부(150B)는 각각 별개의 세탁조(151A, 151B), 도어(153A, 153B), 및 인터페이스부(180A, 180B)를 구비할 수 있다. 이에 따라, 제1 세탁부(150A)와 제2 세탁부(150B)는 상호 독립적으로 동작할 수 있다.
한편, 어린이 또는 애완동물은 신체의 크기가 작기 때문에, 제1 세탁조(151A) 또는 제2 세탁조(151B)에 쉽게 들어갈 수 있다. 어린이 또는 애완동물이 세탁조(151A, 151B)에 들어간 상태에서 홈어플라이언스(100)가 동작하는 경우, 어린이 또는 애완동물은 큰 상해를 입을 수 있다.
따라서, 어린이 또는 애완동물이 들어가 발생할 수 있는 안전사고를 사전에 예방할 수 있도록, 본 발명의 홈어플라이언스(100)는 사용자가 세탁조(151A, 151B)의 내부를 확인한 경우에만 동작이 시작되도록 제어될 수 있다.
참고로, 도면에 도시된 것과는 달리, 홈어플라이언스(100)는 하나의 세탁부(150)만을 포함할 수 있다. 이 경우, 세탁부(150)는 세탁조(151), 도어(153), 및 인터페이스부(180)를 각각 하나씩만 구비할 수 있다.
이하에서는, 설명의 편의를 위하여 홈어플라이언스(100)가 하나의 세탁부(150)만을 구비한 것을 예로 들어 설명하도록 한다.
사용자가 홈어플라이언스(100)의 인터페이스부(180)에 구비된 버튼을 직접 누르는 경우, 사용자가 세탁부(150)의 내부를 확인할 가능성이 높다.
다만, 사용자가 음성 발화를 통해 홈어플라이언스(100)의 동작 시작 명령을 내리는 경우, 사용자가 세탁부(150)의 내부를 확인하지 않을 가능성이 존재한다.
따라서, 사용자가 직접 세탁부(150)에 구비된 도어(153)를 열었다가 닫은 도어 히스토리가 존재하는 경우에만, 본 발명의 홈어플라이언스(100)는 음성 신호를 통해 제공된 동작 시작 명령을 수행할 수 있다. 이는 사용자가 세탁부(150)의 내부를 확인하지 않는 잠재적인 위험을 제거하기 위함이다.
즉, 소프트웨어적인 로직을 통해 사용자가 세탁부(150)의 내부를 확인한 것이 증명된 경우에만, 음성 신호를 통해 제공된 동작 시작 명령은 수행될 수 있다.
이하에서는 음성 신호를 통해 제공된 동작 시작 명령을 수행할 수 있는 홈어플라이언스(100)의 구체적인 구성요소에 대해 살펴보도록 한다.
도 2는 도 1의 홈어플라이언스를 나타내는 블럭도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 홈어플라이언스(100)는 음성입력부(110), 음성안내부(120), 음성 인식부(130), 제어부(140), 세탁부(150), 센서부(160), 통신부(170), 인터페이스부(180), 메모리부(190) 및 전원부(195)를 포함한다.
음성입력부(110)는 사용자의 음성 신호를 입력받을 수 있다. 이를 위해, 음성입력부(110)는 하나 이상의 마이크(MIC)를 구비할 수 있다.
참고로, 사용자의 음성 신호를 정확히 수신하기 위하여, 음성입력부(110)는 복수의 마이크를 구비할 수 있다. 이때, 복수의 마이크는 서로 다른 위치에 이격되어 배치될 수 있다.
음성입력부(110)는 복수의 마이크에서 수신된 데이터를 비교하여 잡음(noise)을 제거할 수 있다. 사용자의 음성 신호를 입력받는 과정에서 발생하는 잡음을 제거하기 위해, 음성입력부(110)는 다양한 잡음 제거 알고리즘을 이용할 수 있다. 또한, 음성입력부(110)는 각 마이크에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다. 이를 통해, 음성입력부(110)는 사용자의 음성 신호를 정확히 수신할 수 있다.
음성안내부(120)는 음성 데이터를 소리로 변환하여 출력할 수 있다. 음성안내부(120)는 전기 신호를 소리로 변환하는 구성요소(예를 들어, 스피커 등)을 구비할 수 있다. 음성안내부(120)는 사용자에게 홈어플라이언스(100)의 현재 상태 및 알림 메시지를 소리로 안내할 수 있다.
음성안내부(120)는 이후에 설명할 TTS부(135)로부터 음성 데이터를 수신하여 재생할 수 있다.
음성 인식부(130)은 음성입력부(110)로부터 사용자의 음성 신호에 관한 데이터를 수신한다. 음성 인식부(130)은 ASR(Automatic Speech Recognition; 이하, ASR)부(131), NLP(Natural Language Processing or Natural Language Understanding: 이하, NLP)부(133), 및 TTS(Text to Speech: 이하, TTS)부(135)를 포함한다.
ASR부(131)는 음성입력부(110)로부터 수신한 음성 데이터를 텍스트(text) 데이터로 변환한다. ASR부(131)는 자연어 인식부 또는 목소리 인식부 등으로 다양하게 표현될 수 있다. ASR부(131)는 음성 데이터를 텍스트 데이터로 변환하기 위한 다양한 기술과 알고리즘을 이용할 수 있다. ASR부(131)에서 변환된 텍스트 데이터는 NLP부(133)에 전달된다.
NLP부(133)는 미리 저장된 자연어 처리 알고리즘을 분석하여 음성 신호를 판별할 수 있다. NLP부(133)는 자연어 처리 알고리즘에 따라 사람이 일상적으로 사용하고 있는 언어인 자연어를 처리할 수 있고, 사용자의 의도(intent)를 분석할 수 있다. 즉, NLP부(133)는 ASR부(131)로부터 수신한 텍스트 데이터에 대하여 자연어 처리를 수행하여 사용자의 의도에 부합하는 동작 명령을 판별할 수 있다. NLP부(133)는 의도 분석부, 자연어 처리부, 또는 복합문장 인식부 등으로 다양하게 표현될 수 있다. NLP부(133)는 사용자의 의도를 판단하기 위한 다양한 기술과 알고리즘을 이용할 수 있다.
구체적으로, NLP부(133)는 ASR부(131)로부터 수신한 텍스트 데이터를 분석하여 동작 명령에 대한 키워드를 추출한다. 예를 들어, 추출된 키워드는 세탁부(150)의 동작 시작을 의미하는 동작 명령이 포함될 수 있다.
TTS부(135)는 텍스트를 음성 데이터로 변환한다. TTS부(135)는 음성 합성부 또는 음성 변환부 등으로 다양하게 표현될 수 있다. TTS부(135)는 텍스트를 음성 데이터로 변환하기 위한 다양한 기술과 알고리즘을 이용할 수 있다.
TTS부(135)는 변환된 음성 데이터를 음성안내부(120)에 전달한다. 이때, TTS부(135)가 수신한 텍스트에는 홈어플라이언스(100)의 상태정보 또는 안내메시지가 포함될 수 있다. TTS부(135)는 홈어플라이언스(100)의 상태정보 또는 안내메시지를 NLP부(133) 또는 제어부(140)로부터 수신할 수 있다.
제어부(140)는 홈어플라이언스(100)에 포함된 구성요소의 전반적인 제어를 수행할 수 있다.
제어부(140)는 홈어플라이언스(100)의 전원이 켜진 이후에, 세탁부(150)에 포함된 도어(153)의 상태 변화를 참고하여 세탁부(150)의 동작을 제어할 수 있다. 도어(153)의 상태 변화는 후술할 메모리부(190)에 저장될 수 있다.
제어부(140)는 메모리부(190)를 참조하여 홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)가 열림상태(Open state)에서 닫힘상태(Close state)로 변경되었는지 여부를 판단한다.
홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)가 열림상태(Open state)에서 닫힘상태(Close state)로 변경된 경우, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어할 수 있다.
반면, 홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)가 닫힘상태(Close state)를 유지하는 경우, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 수행하지 않는다. 이어서, 제어부(140)는 세탁부(150)에 대한 확인을 요청하는 안내메시지를 생성하여 음성 인식부(130)(즉, TTS부(135))에 전달할 수 있다.
예를 들어, 상기 안내메시지는 “터브(Tub)의 내부를 확인해 주세요”라는 내용을 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 안내메시지는 다양하게 변형되어 실시될 수 있다.
한편, 안내메시지가 음성안내부(120)를 통해 출력된 이후에, 도어(153)는 사용자에 의해 열림상태(Open state)에서 닫힘상태(Close state)로 전환될 수 있다. 이때, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어할 수 있다.
추가로, 제어부(140)는 음성 인식 과정 및 세탁기 제어 과정의 각 단계에 대응하여 소정 정보를 시각적 또는 청각적 수단으로 사용자에게 제공할 수 있다.
예를 들어, 제어부(140)는 음성 인식 과정 및 세탁기 제어 과정에 대한 시각적 정보를 인터페이스부(180)에 표시할 수 있다. 또한, 제어부(140)는 음성 인식 과정 및 홈어플라이언스 제어 과정에 대한 청각적 정보를 음성안내부(120)를 통해 제공할 수 있다.
세탁부(150)는 세탁물을 수용할 수 있는 세탁조(151)와 세탁조(151)를 회전시키는 모터(미도시)가 구비된다. 세탁부(150)에는 세탁조(151)의 투입구를 개폐시키는 도어(153)가 설치될 수 있다.
센서부(160)는 세탁부(150)에 설치된 도어(153)의 상태를 감지할 수 있다. 센서부(160)는 세탁부(150)에 설치된 도어(153)가 열림상태(Open state)인지 닫힘상태(Close state) 여부를 감지할 수 있다.
센서부(160)는 홈어플라이언스(100)의 전원이 켜진 경우에만 동작할 수 있다. 센서부(160)에서 감지된 결과는 제어부(140)에 전달될 수 있다. 제어부(140)는 센서부(160)로부터 수신한 도어(153)의 상태 정보를 메모리부(190)에 저장할 수 있다.
통신부(170)는 하나 이상의 통신 모듈을 구비한다. 이를 통해, 통신부(170)는 다른 전자기기와 무선 통신을 수행하여 각종 신호를 주고 받을 수 있다. 예를 들어, 통신부(170)는 무선 인터넷 네트워크를 이용하여 별도의 서버들과 데이터를 주고받을 수 있다.
인터페이스부(180)는 복수의 조작 버튼과 디스플레이를 포함할 수 있다. 복수의 조작버튼을 이용하여, 사용자는 세탁 코스 또는 추가 세탁 옵션을 설정할 수 있다. 디스플레이는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작 코스, 동작 상태, 에러 상태 등을 표시할 수 있다. 또한, 인터페이스부(180)는 터치패드와 터치스크린이 결합된 형태로 구성될 수 있다.
메모리부(190)는 세탁기의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 메모리부(190)에는 음성 인식을 위한 데이터가 데이터베이스 형태로 저장될 수 있다.
또한, 메모리부(190)는 홈어플라이언스(100)의 전원이 켜진 이후에 센서부(160)에서 감지한 도어(153)의 상태 변화에 관한 데이터를 저장할 수 있다. 이때, 센서부(160)로부터 수신한 데이터는 휘발성 메모리부에 저장될 수 있다. 따라서, 홈어플라이언스(100)의 전원이 꺼지는 경우, 센서부(160)로부터 수신한 데이터는 삭제될 수 있다.
전원부(195)는 홈어플라이언스(100)에 포함된 모든 구성요소에 전원을 제공할 수 있다. 다만, 제어부(140)는 특정 조건 하에서 홈어플라이언스(100)의 전원을 턴온시키거나 턴오프시킬 수 있다. 따라서, 홈어플라이언스(100)의 전원이 꺼진 상태에서, 전원부(195)는 홈어플라이언스(100)의 전원을 턴온시키기 위한 최소전력을 제어부(140)에 제공할 수 있다.
추가적으로, 홈어플라이언스(100)의 제어부(140)는 수신되는 음성 데이터에 대하여 머신 러닝(machine learning)을 수행할 수 있다. 메모리부(190)는 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
보다 자세히 설명하자면, 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.
딥러닝(Deep learning)은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)를 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(DNN)으로 구성될 수 있다.
제어부(140)는 공지된 다양한 딥러닝 구조를 이용할 수 있다. 예를 들어, 제어부(140)는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등의 구조를 이용할 수 있다.
구체적으로, CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.
RNN(Recurrent Neural Network)은 자연어 처리 등에 많이 이용되며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.
DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여 일정 수의 레이어가 되면, 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)이 구성될 수 있다.
한편, 제어부(140)의 인공신경망 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도조정)함으로써 이루어질 수 있다.
또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.
한편, 메모리부(190)에는 머신 러닝으로 기학습된 인공신경망(Artificial Neural Network)이 탑재될 수 있다.
즉, 본 발명의 일 실시예에 따른 홈어플라이언스(100)는, 수신되는 음성 데이터를 입력 데이터로 하는 머신 러닝(machine learning) 기반의 음성 인식을 수행할 수 있다. 이때, 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 또한, 제어부(140)는 설정에 따라 학습 후 음성 인식 인공신경망 구조로 업데이트시키도록 제어할 수 있다.
본 발명의 다른 실시예에서, 음성 인식부(130)과 제어부(140)는 별도의 외부 서버로 구성되어 실시될 수 있다. 이하에서는, 음성 인식부(130)의 동작을 수행하는 음성 인식 서버(230)와 제어부(140)의 동작을 수행하는 제어 서버(240)를 포함하는 음성 인식 서버 시스템(200)에 대해 도 3 및 도 4를 참조하여 살펴보도록 한다.
도 3은 본 발명의 다른 실시예에 따른 홈어플라이언스와 통신하는 음성 인식 서버 시스템을 나타내는 도면이다. 도 4는 도 3의 홈어플라이언스와 음성 인식 서버 시스템 사이의 관계를 나타내는 블럭도이다.
도 3 및 도 4를 참조하면, 본 발명의 다른 실시예에 따른 홈어플라이언스(100)는 음성입력부(110), 음성안내부(120), 제어부(140), 세탁부(150), 센서부(160), 통신부(170), 인터페이스부(180), 메모리부(190) 및 전원부(195)를 포함한다.
본 발명의 다른 실시예에 따른 홈어플라이언스(100)에 포함된 각 구성요소는 도 2를 참조하여 설명한 본 발명의 일 실시예에 따른 홈어플라이언스(100)에 포함된 각 구성요소와 실질적으로 동일하게 동작할 수 있다. 이하에서 도 2를 참조하여 설명한 내용과 중복되는 내용은 생략하고 차이점을 위주로 설명하도록 한다.
음성 인식 서버 시스템(200)은 홈어플라이언스(100)와 무선 통신 네트워크를 통하여 데이터를 교환한다. 또한, 음성 인식 서버 시스템(200)은 홈어플라이언스(100)의 동작을 제어할 수 있다.
음성 인식 서버 시스템(200)은 음성 인식 서버(230)와 제어 서버(240)를 포함한다.
음성 인식 서버(230)는 ASR 서버(231), NLP 서버(233), TTS 서버(235)를 포함할 수 있다. 음성 인식 서버(230)는 전술한 일 실시예에 따른 홈어플라이언스(100)에 포함된 음성 인식부(130)과 실질적으로 동일하게 동작할 수 있다.
구체적으로, ASR 서버(231)는 통신부(170)를 통하여 음성입력부(110)에서 생성된 음성 데이터를 수신한다. ASR 서버(231)는 수신한 음성 데이터를 텍스트(text) 데이터로 변환한다. ASR 서버(231)는 자연어 인식 서버 또는 음성 인식 서버 등으로 다양하게 표현될 수 있다. ASR 서버(231)는 음성 데이터를 텍스트 데이터로 변환하기 위한 다양한 기술과 알고리즘을 이용할 수 있다. 변환된 텍스트 데이터는 NLP 서버(233)에 전달된다.
NLP 서버(233)는 자연어 처리 알고리즘에 따라 사람이 일상적으로 사용하고 있는 언어인 자연어를 처리할 수 있고, 사용자의 의도(intent)를 분석할 수 있다. 즉, NLP 서버(233)는 ASR 서버(231)로부터 수신한 텍스트 데이터에 대하여 자연어 처리를 수행하여 사용자의 의도에 부합하는 동작 명령을 판별할 수 있다. 이때, NLP 서버(233)는 의도 분석 서버, 자연어 처리 서버, 또는 복합문장 인식 서버 등으로 다양하게 표현될 수 있다. NLP 서버(233)는 사용자의 의도를 판단하기 위한 다양한 기술과 알고리즘을 이용할 수 있다.
이때, NLP 서버(233)는 ASR 서버(231)로부터 수신한 텍스트 데이터를 분석하여 동작 명령에 대한 키워드를 추출한다. 예를 들어, 추출된 키워드에는 세탁부(150)의 동작 시작을 의미하는 동작 명령이 포함될 수 있다.
이어서, NLP 서버(233)는 동작 명령을 제어 서버(240)에 전달한다.
추가적으로, NLP 서버(233)는 외부 서비스 서버(500)와 통신할 수 있다. 예를 들어, 사용자의 음성 명령이 날씨, 주식, 뉴스 등의 정보를 요청하는 명령인 경우, NLP 서버(233)는 해당 서비스를 제공하는 서버로 관련 정보를 요청할 수 있다. 외부 서비스 서버(500)로부터 NLP 서버(233)에 수신된 정보는 홈어플라이언스(100) 또는 제어 서버(240)에 전달될 수 있다.
TTS 서버(235)는 텍스트를 음성 데이터로 변환한다. TTS 서버(235)는 음성 합성 서버 또는 음성 변환 서버 등으로 다양하게 표현될 수 있다. TTS 서버(235)는 텍스트를 음성 데이터로 변환하기 위한 다양한 기술과 알고리즘을 이용할 수 있다. TTS부(135)는 변환된 음성 데이터를 통신부(170)를 통해 홈어플라이언스(100)의 음성안내부(120)에 전달한다. 이때, TTS 서버(235)가 수신한 텍스트에는 전술한 홈어플라이언스(100)의 상태정보 또는 안내메시지가 포함될 수 있다.
제어 서버(240)는 NLP 서버(233)로부터 수신한 동작 명령을 기초로 홈어플라이언스(100)의 동작을 제어할 수 있다.
제어 서버(240)는 홈어플라이언스(100)의 전원이 켜진 이후에, 세탁부(150)에 포함된 도어(153)의 상태 변화를 참고하여 세탁부(150)의 동작을 제어할 수 있다. 이때, 제어 서버(240)는 홈어플라이언스(100)의 메모리부(190)에 저장된 도어(153)의 상태 변화를 수신하여 이용할 수 있다.
구체적으로, 제어 서버(240)는 홈어플라이언스(100)의 메모리부(190)를 참조하여 홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)가 열림상태(Open state)에서 닫힘상태(Close state)로 변경되었는지 여부를 판단한다.
홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)가 열림상태(Open state)에서 닫힘상태(Close state)로 변경된 경우, 제어부(140)는 NLP 서버(233)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어할 수 있다.
반면, 홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)가 닫힘상태(Close state)를 유지하는 경우, 제어 서버(240)는 음성 인식부(130)로부터 수신한 동작 명령을 수행하지 않는다.
이어서, 제어 서버(240)는 세탁부(150)에 대한 확인을 요청하는 안내메시지를 생성하여 홈어플라이언스(100)에 전달할 수 있다. 예를 들어, 상기 안내메시지는 “터브(Tub)의 내부를 확인해 주세요”라는 내용을 포함할 수 있다.
이어서, 안내메시지가 음성안내부(120)를 통해 출력된 이후에, 도어(153)는 사용자에 의해 열림상태(Open state)에서 닫힘상태(Close state)로 전환될 수 있다. 이때, 제어 서버(240)는 NLP 서버(233)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어할 수 있다.
참고로, 음성 인식 서버(230)는 수신되는 음성 데이터에 대하여 머신 러닝(machine learning)을 수행할 수 있다. 머신 러닝에 사용되는 알고리즘 및 데이터 등은 각 서버에 저장되어 이용될 수 있다. 머신 러닝에 대한 설명은 전술하였으므로, 여기에서 자세한 설명은 생략하도록 한다.
한편, 본 발명의 일 실시예에 따른 홈어플라이언스(100)에서와 달리, 본 발명의 다른 실시예에 따른 홈어플라이언스(100)의 제어부(140)는 홈어플라이언스(100)에 포함된 구성요소의 전반적인 제어 동작만을 수행할 수 있다.
예를 들어, 제어부(140)는 제어 서버(240)로부터 수신한 제어 신호를 기초로 홈어플라이언스(100)의 각 구성요소의 동작을 제어할 수 있다. 또한, 제어부(140)는 음성입력부(110)에서 수신한 음성 데이터를 통신부(170)를 통해 ASR 서버(231)에 전달할 수 있다. 또한, 제어부(140)는 통신부(170)에서 수신한 안내메시지를 음성안내부(120)에 전달할 수 있다. 또한, 인터페이스부(180)를 통하여, 제어부(140)는 홈어플라이언스(100)의 동작 상태를 사용자에게 알릴 수 있다.
정리하면, 도 2를 참조하여 살펴보았듯이, 전술한 본 발명의 음성 인식 및 홈어플라이언스의 제어 동작은 모두 홈어플라이언스(100)에서 수행될 수 있다.
한편, 도 3 및 도 4를 참조하여 살펴보았듯이, 전술한 본 발명의 음성 인식 및 홈어플라이언스의 제어 동작의 전부 또는 일부는 별도의 서버(즉, 음성 인식 서버(230) 또는 제어 서버(240))에서 수행될 수 있다. 다만, 각 실시예에서 수행되는 음성 인식 및 홈어플라이언스의 제어 방법은 실질적으로 동일할 수 있다.
이하에서는 설명의 편의를 위하여, 도 2에 나타난 실시예를 기준으로 본 발명의 몇몇 실시예에 따른 홈어플라이언스(100)의 제어 방법에 대해 설명하도록 한다.
다만, 홈어플라이언스(100)의 제어 방법은 음성 인식 서버(230)와 제어 서버(240)에서 실질적으로 동일하게 수행될 수 있다.
도 5는 본 발명의 일 실시예에 따른 홈어플라이언스의 제어 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 홈어플라이언스의 제어 방법은, 우선 제어부(140)는 홈어플라이언스(100)(예를 들어, 세탁기)의 전원이 켜져 있는지 확인한다(S110).
이어서, 홈어플라이언스(100)의 전원이 켜져 있는 경우, 제어부(140)는 세탁부(150)에 설치된 도어(153)의 현재 상태를 확인한다(S120). 제어부(140)는 센서부(160)를 이용하여 도어(153)의 현재 상태를 확인할 수 있다.
이어서, 도어(153)의 현재 상태가 열림상태(Open state)인 경우, 사용자는 세탁부(150) 내에 세탁물을 투입한다(S140). 여기에서, 도어(153)의 현재 상태가 열림상태(Open state)인 경우를 '시나리오 1(S1)'이라 정의한다.
시나리오 1(S1)의 경우, 사용자는 세탁물 투입을 마치고, 도어(153)를 닫는다(S150). 이때, 도어(153)는 닫힘상태(Close state)로 전환되고, 센서부(160)는 이를 감지하여 제어부(140)에 전달한다.
이어서, 제어부(140)는 사용자로부터 음성을 통하여 동작 명령을 수신한다(S160). 이때, 사용자는 홈어플라이언스(100)의 동작 시작을 의도하는 음성 신호를 발화할 수 있다. 음성 인식부(130)는 사용자의 음성 신호를 수신하고 분석하여 동작 명령을 추출할 수 있다. 음성 인식부(130)에서 추출된 동작 명령은 제어부(140)에 전달될 수 있다.
이어서, 제어부(140)는 홈어플라이언스(100)의 전원이 켜진 이후의 도어 히스토리(Door History)를 체크한다(S170). 여기에서, 도어 히스토리는 홈어플라이언스(100)의 전원이 켜진 이후의 도어(153)의 상태 변화를 나타낸다. 도어 히스토리는 메모리부(190)에 저장되어 이용될 수 있다.
이어서, 홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)의 상태가 열림상태(Open state)에서 닫힘상태(Close state)로 변경되는 경우, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어한다(S180).
이때, 제어부(140)는 메모리부(190)에 저장된 도어 히스토리를 참조하여, 도어(153)의 상태가 홈어플라이언스(100)의 전원이 켜진 이후에 열림상태(Open state)에서 닫힘상태(Close state)로 변경되었는지를 판단할 수 있다.
시나리오 1(S1)은 홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)의 상태가 열림상태(Open state)에서 닫힘상태(Close state)로 전환된 경우에 해당한다. 따라서, 시나리오 1(S1)의 사용자는 세탁물을 투입하는 과정에서 세탁부(150)의 내부를 확인하였을 확률이 높으므로, 제어부(140)는 사용자의 음성을 통한 동작 명령을 수행할 수 있다.
반면, S120 단계에서, 도어(153)의 현재 상태가 닫힘상태(Close state)인 경우, 제어부(140)는 이후에 사용자가 도어(153)를 열었는지 여부를 감지한다(S130). 제어부(140)는 센서부(160)를 통하여 도어(153)의 상태를 감지할 수 있다.
여기에서, 도어(153)의 현재 상태가 닫힘상태(Close state)이고, 사용자가 도어(153)를 열림상태(Open state)로 전환시킨 경우를 '시나리오 2(S2)'라 정의한다. 또한, 도어(153)의 현재 상태가 닫힘상태(Close state)이고, 사용자가 도어(153)를 닫힘상태(Close state)로 유지시킨 경우를 '시나리오 3(S3)'이라 정의한다. 이하에서는 시나리오 2(S2)와 시나리오 3(S3)에 대해 설명하도록 한다.
시나리오 2(S2)의 경우, 전술한 S140 단계 내지 S170 단계가 반복된다.
시나리오 2(S2)의 경우, S170 단계에서 제어부(140)는 도어(153)의 상태가 홈어플라이언스(100)의 전원이 켜진 이후에 열림상태(Open state)에서 닫힘상태(Close state)로 변경된 것을 확인할 수 있다.
따라서, 제어부(140)는 전술한 S180 단계를 수행한다. 즉, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어할 수 있다.
반면, 시나리오 3(S3)의 경우, 도어(153)의 상태 변화는 이루어지지 않는다. 즉, 도어(153)가 계속해서 닫힘상태(Close state)를 유지한다. 이어서, 제어부(140)는 사용자로부터 음성을 통하여 동작 명령을 수신하게 된다(S160).
이어서, 제어부(140)는 홈어플라이언스(100)의 전원이 켜진 이후의 도어 히스토리(Door History)를 체크한다(S170). 이때, 도어(153)는 홈어플라이언스(100)의 전원이 켜진 이후에 계속해서 닫힘상태(Close state)를 유지하고 있다.
이 경우, 제어부(140)는 세탁부(150)에 대한 확인을 요청하는 안내메시지를 생성한다(S190). 이는 세탁부(150) 내부에 대한 사용자의 확인이 이루어지지 않아, 안전사고의 위험이 있기 때문이다. 이 경우, 제어부(140)는 동작 명령을 기초로 세탁부(150)를 동작시킬 수 없다.
이어서, 제어부(140)는 생성된 안내메시지를 TTS부(135)에 전달할 수 있다. TTS부(135)에서 음성 데이터로 변환된 안내메시지는 음성안내부(120)를 통해 소리로 출력될 수 있다.
예를 들어, 안내메시지는 “터브(Tub)의 내부를 확인해 주세요”라는 내용을 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 안내메시지는 다양하게 변형되어 실시될 수 있다.
이어서, 안내메시지가 음성안내부(120)를 통해 출력된 이후에, 도어(153)는 사용자에 의해 열렸다가 닫힐 수 있다(S195). 이는 안내메시지를 인지한 사용자가 세탁부(150)의 내부를 확인하였음을 나타낸다. 이 경우, 사용자가 세탁부(150)의 내부를 확인하였으므로, 안전사고의 발생 가능성은 낮아진다.
따라서, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어할 수 있다(S180).
정리하면, 본 발명의 일 실시예에 따른 홈어플라이언스의 제어 방법에서, 홈어플라이언스(100)의 동작시 안전사고가 발생할 확률은 낮은 경우에만, 제어부(140)는 사용자의 음성 명령을 기초로 세탁부(150)를 동작시킬 수 있다.
이에 따라, 사용자는 음성으로 홈어플라이언스의 동작이 시작되도록 제어할 수 있다. 본 발명은 동작 시작을 위해 반드시 해당 제품에 구비된 동작 시작 버튼을 눌러야 하는 불편함을 없앨 수 있다. 또한, 홈어플라이언스의 안전에 대한 신뢰도는 향상될 수 있다.
이하에서는, 사용자의 음성 신호를 기초로 동작 명령을 추출하는 S160 단계에 대한 일 실시예에 대해 자세히 살펴보도록 한다.
도 6은 도 5의 S160 단계에서 사용자의 동작 명령을 수신하는 단계를 자세히 설명하기 위한 순서도이다.
도 6을 참조하면, 전술한 S160 단계에서, 홈어플라이언스(100)는 사용자의 음성을 수신한다(S161). 홈어플라이언스(100)는 음성입력부(110)를 통해 사용자의 음성 데이터를 입력받는다. 입력받은 음성 데이터는 음성 인식부(130)에 전달될 수 있다.
이어서, 음성 인식부(130)은 입력받은 음성 데이터에 기동어가 포함되어 있는지 여부를 판단한다(S162).
여기에서, 기동어는 제조사에 의해 설정될 수 있다. 예를 들어, 홈어플라이언스(100)의 기동어는 "하이 LG" 또는 "LG 트롬"등 이 될 수 있다. 이때, 기동어는 다양하게 변형되어 설정될 수 있다.
이어서, 입력받은 음성 데이터에 기동어가 포함된 경우, 홈어플라이언스(100)는 음성입력부(110)를 통하여 사용자로부터 자연어 명령을 수신할 수 있다(S163).
이어서, 자연어 명령이 수신되는 경우, ASR부(131)는 수신된 음성 데이터에 대해 음성 인식 동작을 수행한다(S164). ASR부(131)는 수신된 음성 데이터를 텍스트(text) 데이터로 변환한다. 변환된 텍스트 데이터는 NLP부(133)에 전달된다.
이어서, NLP부(133)는 ASR부(131)에서 수행된 음성 인식 동작의 결과를 분석한다(S165). 즉, NLP부(133)는 수신한 텍스트 데이터에서 음성 명령에 대한 키워드를 추출한다. 예를 들어, 추출된 키워드는 세탁부(150)의 동작 시작을 의미하는 동작 명령이 포함될 수 있다.
이어서, 추출된 키워드에 동작 명령이 포함된 경우, NLP부(133)는 동작 명령을 제어부(140)에 전달한다(S166).
이어서, 제어부(140)는 홈어플라이언스(100)의 전원이 켜진 이후의 도어 히스토리(Door History)를 기초로 동작 명령의 수행 여부를 결정한다(S170).
S170 단계에 대한 설명은 앞에서 자세히 설명하였으므로, 여기에서 중복되는 설명은 생략하도록 한다.
이하에서는, 도 5의 S110 단계에서 홈어플라이언스(100)의 전원이 오프된 경우, 홈어플라이언스의 제어 방법에 대해 자세히 살펴보도록 한다.
도 7은 본 발명의 다른 실시예에 따른 홈어플라이언스의 제어 방법을 설명하기 위한 순서도이다.
도 7을 참조하면, 도 5의 S110 단계에서, 홈어플라이언스(100)의 전원이 오프된 경우, 제어부(140)는 도어(153)의 현재 상태를 확인한다(S210, S220). 이때, 제어부(140)는 센서부(160)를 이용하여 도어(153)의 현재 상태를 확인할 수 있다.
참고로, 전원부(195)는 제어부(140)의 동작을 위한 최소전력을 홈어플라이언스(100)의 전원이 오프된 상태에서도 계속해서 제공할 수 있다. 이때, 제어부(140)에 제공된 전력은 센서부(160)의 동작에 이용될 수 있다. 다만, 특정 순간에만 센서부(160)에 전력을 제공함으로써, 제어부(140)는 센서부(160)를 동작시킬 수 있다.
이어서, 도어(153)의 현재 상태가 열림상태(Open state)인 경우, 사용자는 세탁부(150) 내에 세탁물을 투입한다(S242). 여기에서, 도어(153)의 현재 상태가 열림상태(Open state)인 경우를 '시나리오 4(S4)'라고 정의한다.
시나리오 4(S4)의 경우, 사용자는 세탁물 투입을 마치고 도어(153)를 닫는다(S244). 이때, 도어(153)는 닫힘상태(Close state)로 전환되나, 홈어플라이언스(100)의 전원은 오프된 상태이므로, 센서부(160)는 도어(153)의 상태 변화를 감지하지 못할 수 있다. 또는, 센서부(160)에서 감지된 데이터가 메모리부(190)의 도어 히스토리에 저장되지 않을 수 있다.
이어서, 홈어플라이언스(100)의 동작을 위해, 사용자는 홈어플라이언스(100)의 전원을 턴온시킨다(S246).
이어서, 제어부(140)는 사용자로부터 음성을 통하여 동작 명령을 수신한다(S260). 이때, 사용자는 홈어플라이언스(100)의 동작 시작을 의도하는 음성 신호를 발화할 수 있다. 음성 인식부(130)는 사용자의 음성 신호를 수신하고 분석하여 동작 명령을 추출할 수 있다. 음성 인식부(130)에서 추출된 동작 명령은 제어부(140)에 전달될 수 있다.
이어서, 제어부(140)는 홈어플라이언스(100)의 전원이 켜진 이후의 도어 히스토리(Door History)를 체크한다(S170). 여기에서, 도어 히스토리는 홈어플라이언스(100)의 전원이 켜진 이후의 도어(153)의 상태 변화를 나타낸다. 도어 히스토리는 메모리부(190)에 저장되어 이용될 수 있다.
이어서, 홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)의 상태가 열림상태(Open state)에서 닫힘상태(Close state)로 변경되는 경우, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어한다(S180).
이때, 제어부(140)는 메모리부(190)에 저장된 도어 히스토리를 참조하여, 도어(153)의 상태가 홈어플라이언스(100)의 전원이 켜진 이후에 열림상태(Open state)에서 닫힘상태(Close state)로 변경되었는지를 판단할 수 있다.
시나리오 4(S4)는 홈어플라이언스(100)의 전원이 켜진 이후에 도어(153)의 상태가 닫힘상태(Close state)를 유지하는 경우에 해당한다. 따라서, 시나리오 4(S4)의 사용자는 세탁물을 투입하는 과정에서 세탁부(150)의 내부를 확인하지 못하였을 확률이 높으므로, 제어부(140)는 사용자의 음성을 통한 동작 명령을 홀딩(holding) 시킨다.
이어서, 제어부(140)는 세탁부(150)에 대한 확인을 요청하는 안내메시지를 생성한다(S290).
이어서, 제어부(140)는 생성된 안내메시지를 TTS부(135)에 전달할 수 있다. TTS부(135)에서 음성 데이터로 변환된 안내메시지는 음성안내부(120)를 통해 소리로 출력될 수 있다.
이어서, 안내메시지가 음성안내부(120)를 통해 출력된 이후에, 도어(153)는 사용자에 의해 열렸다가 닫힐 수 있다(S295). 이는 안내메시지를 인지한 사용자가 세탁부(150)의 내부를 확인하였음을 나타낸다. 이 경우, 사용자가 세탁부(150)의 내부를 확인하였으므로, 안전사고의 발생 가능성은 낮아진다.
이어서, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어할 수 있다(S280).
반면, 안내메시지가 음성안내부(120)를 통해 출력된 이후에 도어(153)의 상태 변화가 없는 경우, 제어부(140)는 사용자의 음성을 통한 동작 명령을 수행하지 못한다.
한편, S220 단계에서, 도어(153)의 현재 상태가 닫힘상태(Close state)인 경우, 제어부(140)는 사용자가 도어(153)를 열었는지 여부를 감지한다(S230). 제어부(140)는 센서부(160)를 통하여 도어(153)의 상태를 감지할 수 있다.
여기에서, 도어(153)의 현재 상태가 닫힘상태(Close state)이고, 사용자가 도어(153)를 열림상태(Open state)로 전환시킨 경우를 '시나리오 5(S5)'라 정의한다. 또한, 도어(153)의 현재 상태가 닫힘상태(Close state)이고, 사용자가 도어(153)를 닫힘상태(Close state)로 유지시킨 경우를 '시나리오 6(S6)'이라 정의한다. 이하에서는 시나리오 5(S5)와 시나리오 6(S6)에 대해 설명하도록 한다.
시나리오 5(S5)의 경우, 도어(153)가 사용자에 의해 닫힘상태(Close state)에서 열림상태(Open state)로 전환된다.
이때, 제어부(140)는 홈어플라이언스(100)의 전원을 자동으로 턴온시킨다(S252). 사용자가 도어(153)를 열었다는 것은 홈어플라이언스(100)의 사용 의사가 있음을 나타내기 때문이다.
이어서, 사용자는 세탁부(150) 내에 세탁물을 투입한다(S254).
이어서, 사용자는 세탁물 투입을 마치고, 도어(153)를 닫는다(S256).
이어서, 제어부(140)는 사용자로부터 음성을 통하여 동작 명령을 수신한다(S260).
이어서, 제어부(140)는 홈어플라이언스(100)의 전원이 켜진 이후의 도어 히스토리(Door History)를 체크한다(S170).
시나리오 5(S5)는 홈어플라이언스(100)의 전원이 자동으로 켜진 이후에 도어(153)의 상태가 열림상태(Open state)에서 닫힘상태(Close state)로 전환된 경우에 해당한다. 따라서, 시나리오 5(S5)의 사용자는 세탁물을 투입하는 과정에서 세탁부(150)의 내부를 확인하였을 확률이 높으므로, 제어부(140)는 사용자의 음성을 통한 동작 명령을 수행할 수 있다.
반면, 시나리오 6(S6)의 경우, 도어(153)의 상태 변화가 이루어지지 않은 채, 사용자는 홈어플라이언스(100)의 전원을 턴온시킨다(S246)
이어서, 제어부(140)는 사용자로부터 음성을 통하여 동작 명령을 수신한다(S260).
이어서, 제어부(140)는 홈어플라이언스(100)의 전원이 켜진 이후의 도어 히스토리(Door History)를 체크한다(S270). 이때, 도어(153)는 홈어플라이언스(100)의 전원이 켜진 이후에 계속해서 닫힘상태(Close state)를 유지하고 있다.
시나리오 6(S6)의 경우, 제어부(140)는 세탁부(150)에 대한 확인을 요청하는 안내메시지를 생성한다(S290). 이는 세탁부(150) 내부에 대한 사용자의 확인이 이루어지지 않아, 안전사고의 위험이 있기 때문이다. 이 경우, 제어부(140)는 동작 명령을 기초로 세탁부(150)를 동작시킬 수 없다.
이어서, 제어부(140)는 생성된 안내메시지를 TTS부(135)에 전달할 수 있다. 이어서, TTS부(135)에서 음성 데이터로 변환된 안내메시지는 음성안내부(120)를 통해 소리로 출력될 수 있다.
이어서, 안내메시지가 음성안내부(120)를 통해 출력된 이후에, 도어(153)는 사용자에 의해 열림상태(Open state)에서 닫힘상태(Close state)로 전환될 수 있다(S295). 이는 안내메시지를 인지한 사용자가 세탁부(150)의 내부를 확인하였음을 나타낸다.
이어서, 제어부(140)는 음성 인식부(130)로부터 수신한 동작 명령을 기초로 세탁부(150)의 동작을 제어할 수 있다(S280).
반면, 안내메시지가 음성안내부(120)를 통해 출력된 이후에 도어(153)의 상태 변화가 없는 경우, 제어부(140)는 사용자의 음성을 통한 동작 명령을 수행하지 못한다.
정리하면, 본 발명의 다른 실시예에 따른 홈어플라이언스의 제어 방법에서, 홈어플라이언스(100)의 동작시 안전사고가 발생할 확률은 낮은 경우에만, 제어부(140)는 사용자의 음성 명령을 기초로 세탁부(150)를 동작시킬 수 있다.
이에 따라, 사용자는 음성으로 홈어플라이언스의 동작이 시작되도록 제어할 수 있다. 따라서, 본 발명은 동작 시작을 위해 반드시 해당 제품에 구비된 동작 시작 버튼을 눌러야 하는 불편함을 없앨 수 있다. 또한, 홈어플라이언스의 안전에 대한 신뢰도는 향상될 수 있다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
100: 홈어플라이언스 110: 음성입력부
120: 음성안내부 130: 음성 인식부
131: ASR부 133: NLP부
135: TTS부 140: 제어부
150: 세탁부 160: 센서부
170: 통신부 180: 인터페이스부
190: 메모리부 195: 전원부
200: 음성 인식 서버 시스템

Claims (14)

  1. 사용자의 음성 신호를 수신하는 음성 입력부;
    상기 수신된 음성 신호에서 동작 명령을 추출하는 음성 인식부;
    세탁물을 세탁하는 세탁부;
    상기 세탁부에 설치된 도어의 상태를 감지하는 센서부; 및
    상기 센서부에서 감지된 상기 도어의 상태 변화를 기초로, 상기 동작 명령을 수행하는 제어부를 포함하되,
    상기 제어부는,
    전원이 켜진 이후에 상기 도어가 열림상태(Open state)에서 닫힘상태(Close state)으로 변경된 경우, 상기 동작 명령을 기초로 상기 세탁부의 동작을 제어하는
    홈어플라이언스.
  2. 제1항에 있어서,
    상기 제어부는, 전원이 켜진 이후에 상기 도어가 닫힘상태를 유지한 경우, 상기 세탁부에 대한 확인을 요청하는 안내메시지를 생성하는
    홈어플라이언스.
  3. 제2항에 있어서,
    상기 음성 인식부는,
    상기 수신된 음성 신호를 텍스트로 변환하는 자연어 인식부(ASR부)와,
    상기 변환된 텍스트에서 동작 명령을 추출하는 의도 분석부(NLP부)와,
    상기 안내메시지를 음성 데이터로 변환하는 TTS부를 포함하는
    홈어플라이언스.
  4. 제3항에 있어서,
    상기 음성 데이터를 소리로 변환하여 출력하는 음성 안내부를 더 포함하고,
    상기 제어부는,
    상기 안내메시지가 출력된 이후에, 상기 도어가 열림상태에서 닫힘상태로 변경되는 경우, 상기 동작 명령을 기초로 상기 세탁부의 동작을 제어하는
    홈어플라이언스.
  5. 제1항에 있어서,
    상기 홈어플라이언스의 각 구성요소에 전원을 제공하는 전원부를 더 포함하고,
    상기 제어부는, 상기 홈어플라이언스의 전원이 꺼진 상태에서 상기 도어가 열리는 경우, 상기 홈어플라이언스의 전원이 턴온되도록 상기 전원부를 제어하는
    홈어플라이언스.
  6. 제5항에 있어서,
    상기 전원부는, 상기 홈어플라이언스의 전원을 턴온시키기 위한 최소전력을 상기 제어부에 항상 제공하는
    홈어플라이언스.
  7. 제1항에 있어서,
    상기 센서부에서 측정한 데이터를 저장하는 메모리부를 더 포함하고,
    상기 메모리부는, 상기 홈어플라이언스의 전원이 켜진 이후에 상기 도어의 상태 변화를 저장하는
    홈어플라이언스.
  8. 제7항에 있어서,
    상기 홈어플라이언스의 전원이 꺼지는 경우, 상기 메모리부에 저장된 데이터는 초기화되는
    홈어플라이언스.
  9. 홈어플라이언스 또는 음성 인식 서버 시스템에서 수행되는 홈어플라이언스의 제어 방법에 있어서,
    사용자의 음성 신호를 수신하고, 수신된 음성 신호에서 동작 명령을 추출하는 단계;
    상기 홈어플라이언스의 세탁부에 설치된 도어의 상태 변화를 저장하는 도어 히스토리를 확인하는 단계; 및
    상기 도어 히스토리에서 상기 홈어플라이언스의 전원이 켜진 이후 상기 도어가 열림상태에서 닫힘상태로 변경된 경우, 상기 동작 명령을 기초로 상기 세탁부의 동작을 제어하는 단계를 포함하는
    홈어플라이언스의 제어 방법.
  10. 제9항에 있어서,
    상기 홈어플라이언스의 전원이 켜진 이후에 상기 도어가 닫힘상태를 유지한 경우, 상기 세탁부에 대한 확인을 요청하는 안내메시지를 출력하는 단계를 더 포함하는
    홈어플라이언스의 제어 방법.
  11. 제10항에 있어서,
    상기 안내메시지가 출력된 이후에, 상기 도어가 열림상태에서 닫힘상태로 변경되는 경우, 상기 동작 명령을 기초로 상기 홈어플라이언스를 제어하는 단계를 더 포함하는
    홈어플라이언스의 제어 방법.
  12. 제9항에 있어서,
    상기 홈어플라이언스의 전원이 꺼진 상태에서 상기 도어가 열리는 경우, 상기 홈어플라이언스의 전원을 턴온시키는 단계를 더 포함하는
    홈어플라이언스의 제어 방법.
  13. 제9항에 있어서,
    상기 도어 히스토리는, 상기 홈어플라이언스의 전원이 켜진 이후의 상기 도어의 상태 변화를 저장하는
    홈어플라이언스의 제어 방법.
  14. 제8항에 있어서,
    상기 도어 히스토리는, 상기 홈어플라이언스의 전원이 꺼지는 경우 초기화되는
    홈어플라이언스의 제어 방법.
KR1020180091972A 2018-08-07 2018-08-07 인공지능과 음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법 KR102541585B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180091972A KR102541585B1 (ko) 2018-08-07 2018-08-07 인공지능과 음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법
US16/521,520 US11335340B2 (en) 2018-08-07 2019-07-24 Home appliance operating based on artificial intelligence and voice recognition and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180091972A KR102541585B1 (ko) 2018-08-07 2018-08-07 인공지능과 음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200016642A true KR20200016642A (ko) 2020-02-17
KR102541585B1 KR102541585B1 (ko) 2023-06-07

Family

ID=69406357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180091972A KR102541585B1 (ko) 2018-08-07 2018-08-07 인공지능과 음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법

Country Status (2)

Country Link
US (1) US11335340B2 (ko)
KR (1) KR102541585B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128217A1 (ko) * 2021-12-31 2023-07-06 삼성전자주식회사 세탁기 및 그 제어 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111948950A (zh) * 2020-07-20 2020-11-17 青岛海尔空调器有限总公司 用于语音遥控的系统、方法、装置及设备
WO2022108151A1 (ko) * 2020-11-20 2022-05-27 삼성전자주식회사 건조기 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960034547A (ko) * 1995-03-31 1996-10-24 배순훈 세탁기의 전원스위치 온 제어방법
JP2005311864A (ja) * 2004-04-23 2005-11-04 Toshiba Corp 家電機器、アダプタ装置および家電機器システム
KR20090036419A (ko) * 2007-10-09 2009-04-14 엘지전자 주식회사 세탁장치의 세탁방법
KR20140095779A (ko) * 2013-01-25 2014-08-04 엘지전자 주식회사 세탁기 및 세탁기 제어방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4520576A (en) * 1983-09-06 1985-06-04 Whirlpool Corporation Conversational voice command control system for home appliance
US7866190B2 (en) * 2005-06-30 2011-01-11 Lg Electronics Inc. Washing machine having broadcasting receiver
US9230560B2 (en) * 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
KR20140122109A (ko) * 2013-04-09 2014-10-17 엘지전자 주식회사 가전기기 제어 시스템 및 가전기기 제어 시스템 제어방법
KR101974368B1 (ko) * 2013-04-19 2019-05-02 삼성전자주식회사 가전기기 및 그 제어방법
KR20140144504A (ko) * 2013-06-11 2014-12-19 삼성전자주식회사 가전 기기와 모바일 기기, 가전 기기의 제어 시스템
WO2015055239A1 (en) * 2013-10-16 2015-04-23 Saronikos Trading And Services, Unipessoal Lda Laundry washing machine with speech recognition and response capabilities and method for operating same
DE102014107163A1 (de) * 2014-05-21 2015-11-26 Vorwerk & Co. Interholding Gmbh Elektrisch betriebenes Haushaltsgerät
KR20160116880A (ko) * 2015-03-31 2016-10-10 엘지전자 주식회사 드럼 세탁기 및 그 제어 방법
US9691378B1 (en) * 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
US10268814B1 (en) * 2015-12-16 2019-04-23 Western Digital Technologies, Inc. Providing secure access to digital storage devices
CN108570795B (zh) * 2017-03-07 2021-01-22 重庆海尔滚筒洗衣机有限公司 一种洗衣机的远程控制方法
KR102418952B1 (ko) * 2017-08-31 2022-07-08 삼성전자주식회사 음성인식 기능을 갖는 가전제품

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960034547A (ko) * 1995-03-31 1996-10-24 배순훈 세탁기의 전원스위치 온 제어방법
JP2005311864A (ja) * 2004-04-23 2005-11-04 Toshiba Corp 家電機器、アダプタ装置および家電機器システム
KR20090036419A (ko) * 2007-10-09 2009-04-14 엘지전자 주식회사 세탁장치의 세탁방법
KR20140095779A (ko) * 2013-01-25 2014-08-04 엘지전자 주식회사 세탁기 및 세탁기 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128217A1 (ko) * 2021-12-31 2023-07-06 삼성전자주식회사 세탁기 및 그 제어 방법

Also Published As

Publication number Publication date
US11335340B2 (en) 2022-05-17
US20200051557A1 (en) 2020-02-13
KR102541585B1 (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
JP6887031B2 (ja) 方法、電子装置、家庭用機器ネットワークおよび記憶媒体
KR20200016642A (ko) 인공지능과 음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법
US11577379B2 (en) Robot and method for recognizing wake-up word thereof
KR20200007496A (ko) 개인화 ASR(automatic speech recognition) 모델을 생성하는 전자 장치 및 이를 동작하는 방법
US11585039B2 (en) Method for preventing accident performed by home appliance and cloud server using artificial intelligence
KR102044526B1 (ko) 인공지능에 기반하여 음성 인식을 향상시키는 방법 및 이를 구현하는 장치
US11749277B2 (en) Home appliance and method for controlling thereof
JP2016018078A (ja) 音声認識装置及び音声認識システム
CN109003604A (zh) 一种实现低功耗待机的语音识别方法及系统
KR20200007530A (ko) 사용자 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR20190024472A (ko) 가전 기기의 음성 인식을 위한 시스템과 서버, 방법
CN111656437A (zh) 信息处理装置、信息处理方法、程序和信息处理系统
US20240071408A1 (en) Acoustic event detection
US10952075B2 (en) Electronic apparatus and WiFi connecting method thereof
US20200342876A1 (en) Method, device and computer-readable storage medium having instructions for processing a speech input, transportation vehicle, and user terminal with speech processing
KR20190101100A (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
US12087320B1 (en) Acoustic event detection
CN105118505A (zh) 一种语音控制方法及系统
US11664018B2 (en) Dialogue system, dialogue processing method
JP2019191477A (ja) 音声認識装置及び音声認識方法
KR20210054246A (ko) 전자장치 및 그 제어방법
KR20220060739A (ko) 전자장치 및 그 제어방법
KR20200048976A (ko) 전자 장치 및 그 제어 방법
KR20220169242A (ko) 전자 장치 및 전자 장치의 개인화된 음성 처리 방법
KR20230091735A (ko) 외부 기기를 제어하는 전자 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant