KR102371752B1 - 가전 기기 및 그의 제어방법 - Google Patents

가전 기기 및 그의 제어방법 Download PDF

Info

Publication number
KR102371752B1
KR102371752B1 KR1020170111395A KR20170111395A KR102371752B1 KR 102371752 B1 KR102371752 B1 KR 102371752B1 KR 1020170111395 A KR1020170111395 A KR 1020170111395A KR 20170111395 A KR20170111395 A KR 20170111395A KR 102371752 B1 KR102371752 B1 KR 102371752B1
Authority
KR
South Korea
Prior art keywords
home appliance
voice
voice recognition
led
leds
Prior art date
Application number
KR1020170111395A
Other languages
English (en)
Other versions
KR20190024415A (ko
Inventor
전설희
김화성
양희경
천은진
황순훈
이지은
최웅철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170111395A priority Critical patent/KR102371752B1/ko
Priority to CN201880053713.0A priority patent/CN111033473A/zh
Priority to EP18850973.1A priority patent/EP3633513A4/en
Priority to US16/643,477 priority patent/US20200365150A1/en
Priority to PCT/KR2018/009681 priority patent/WO2019045358A1/ko
Publication of KR20190024415A publication Critical patent/KR20190024415A/ko
Application granted granted Critical
Publication of KR102371752B1 publication Critical patent/KR102371752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/04—Signal transfer or data transmission arrangements
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/28—Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress
    • D06F34/32—Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress characterised by graphical features, e.g. touchscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3013—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/325—Display of status information by lamps or LED's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10—Controlling the intensity of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2101/00—User input for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/58—Indications or alarms to the control system or to the user
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/04—Signal transfer or data transmission arrangements
    • D06F34/05—Signal transfer or data transmission arrangements for wireless communication between components, e.g. for remote monitoring or control
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/28—Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress
    • D06F34/30—Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress characterised by mechanical features, e.g. buttons or rotary dials
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

가전 기기가 개시된다. 본 가전기기는 가전 기기가 제공하는 적어도 하나의 기능 각각의 선택 상태를 개별적으로 표시하는 적어도 하나의 LED(Light Emitting Diode) 및 사용자 음성이 입력되면 입력된 음성에 대한 음성 인식 중임을 나타내도록 적어도 하나의 LED를 제어하고, 음성 인식이 완료되면 적어도 하나의 LED가 음성 인식에 따라 점등되도록 적어도 하나의 LED 를 제어하는 프로세서를 포함한다.

Description

가전 기기 및 그의 제어방법 { HOME APPLIANCE AND CONTROLLING METHOD THEREOF }
본 개시는 가전 기기 및 그의 제어방법에 관한 것으로 가전 기기에 구비된 LED(Light Emitting Diode)를 이용해 음성 명령한 피드백을 제공하는 가전 기기 및 그의 제어방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 가전기기들이 개발 및 보급되고 있다. 가정에 흔히 보급되어 있는 가전기기의 예로는 세탁기, 건조기, 에어컨, 전기레인지, 전자레인지, 오븐, 냉장고, 공기청정기 등이 있다.
한편, 상기와 같은 가전기기들은 표시 기능을 주된 목적으로 하고 있지 않기 때문에 별도의 디스플레이 패널을 탑재하고 있지 않은 경우가 많았다. 디스플레이패널을 탑재하지 않거나, 탑재하고 있더라도 소량의 정보를 표시하는데 적합한 크기의 디스플레이 패널을 가진 가전기기들은 대개 별도의 LED 불빛으로 가전제품의 상태, 동작 등을 안내하였다.
한편, 최근에는 전자 기기를 조금 더 편리하고 직관적으로 제어하기 위하여 음성 인식을 이용한 기술이 개발되고 있었고, 음성 인식 기능을 탑재한 가전기기도 활발히 보급되었다.
하지만, 디스플레이 패널이 없거나 충분한 크기의 디스플레이 패널이 없는 가전기기의 경우 음성인식의 상태 및 동작을 안내할 수 있는 마땅한 방법이 존재하지 않았다. 이에 따라 사용자가 음성 인식 기능의 사용을 꺼려하거나 아예 사용하지 않는 경우도 많았다.
본 개시는 상술한 문제의 해결과 관련하여 안출된 것으로, 본 개시의 목적은 가전 기기에 구비된 LED를 이용해 음성 명령한 피드백을 제공하는 가전 기기 및 그의 제어방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 가전 기기는 상기 가전 기기가 제공하는 적어도 하나의 기능 각각의 선택 상태를 개별적으로 표시하는 적어도 하나의 LED(Light Emitting Diode) 및 사용자 음성이 입력되면 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 적어도 하나의 LED를 제어하고, 음성 인식이 완료되면 상기 적어도 하나의 LED가 상기 음성 인식에 따라 점등되도록 상기 적어도 하나의 LED를 제어하는 프로세서를 포함한다.
이 경우, 본 실시 예에 따른 가전 기기는 상기 가전 기기가 제공하는 적어도 하나의 기능을 선택받기 위한 조작 부재를 더 포함할 수 있다.
한편, 상기 가전 기기는 상기 적어도 하나의 LED를 포함한 복수의 LED를 포함하고, 상기 프로세서는, 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 복수의 LED 중 적어도 2 이상의 LED를 순차적으로 점등하거나 상기 복수의 LED 중 적어도 하나의 LED를 점멸할 수 있다.
한편, 상기 프로세서는, 상기 가전 기기의 에러 상태, 자가 진단 상태 또는 소프트웨어 업그레이드 상태를 나타내도록 상기 적어도 하나의 LED를 제어할 수 있다.
한편, 상기 가전 기기는 세탁기이고, 상기 적어도 하나의 LED는, 적어도 하나의 세탁 기능의 선택 상태를 개별적으로 표시하는 것일 수 있다.
한편, 상기 조작 부재는 조그휠이며, 상기 적어도 하나의 LED는, 상기 조그휠 주위를 둘러싸는 형태로 배치될 수 있다.
한편, 본 실시 예에 따른 가전 기기는 음성 인식을 위한 외부 서버와 통신하는 통신부를 더 포함하며, 상기 프로세서는, 상기 입력된 음성에 대응하는 음성 신호를 상기 통신부를 통해 상기 외부 서버로 전송하여 상기 외부 서버로부터 음성 인식 결과를 수신할 수 있다.
이 경우, 상기 프로세서는, 상기 외부 서버로부터 음성 인식 결과를 기다리는 동안 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 적어도 하나의 LED를 제어할 수 있다.
한편, 상기 프로세서는, 기 설정된 이벤트가 발생하면 음성 인식 모드를 개시하고, 음성 인식 모드가 개시되었음을 나타내도록 상기 적어도 하나의 LED를 제어할 수 있다.
이 경우, 상기 기 설정된 이벤트는, 기 설정된 호출어를 포함한 사용자 음성이 입력되는 이벤트 또는 상기 가전 기기에 마련된 특정 버튼이 선택되는 이벤트일 수 있다.
한편, 상기 프로세서는, 음성 인식 중임을 나타내는 점등 방식과는 다른 점등 방식으로 상기 음성 인식 모드가 개시되었음을 나타내도록 상기 적어도 하나의 LED를 제어할 수 있다.
한편, 본 실시 예에 따른 가전 기기는 마이크를 더 포함하며, 상기 프로세서는, 상기 마이크를 통하여 사용자 음성이 입력되면 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 적어도 하나의 LED를 제어할 수 있다.
한편, 본 실시 예에 따른 가전 기기는 스피커를 더 포함하며, 상기 프로세서는, 상기 음성 인식에 대응하는 음성 안내를 상기 스피커를 통해 출력할 수 있다.
이 경우, 상기 프로세서는, 상기 적어도 하나의 LED 중 상기 스피커의 볼륨 레벨에 대응하는 개수의 LED를 점등할 수 있다.
한편, 상기 가전 기기는, 세탁기, 건조기, 에어컨, 전기레인지, 전자레인지, 오븐, 냉장고 또는 공기청정기일 수 있다.
한편, 본 개시의 일 실시 예에 따른, 적어도 하나의 기능 각각의 선택 상태를 개별적으로 표시하는 적어도 하나의 LED를 포함하는 가전 기기의 제어방법은, 사용자 음성이 입력되면 상기 입력된 음성에 대한 음성 인식 중임을 상기 적어도 하나의 LED를 이용하여 표시하는 단계, 음성 인식을 수행하는 단계 및 음성 인식이 완료되면 상기 적어도 하나의 LED가 상기 음성 인식에 따라 점등되도록 제어하는 단계를 포함한다.
이 경우, 상기 가전 기기는 상기 적어도 하나의 LED를 포함한 복수의 LED를포함하고, 상기 표시하는 단계는, 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 복수의 LED 중 적어도 2 이상의 LED를 순차적으로 점등하거나 상기 복수의 LED 중 적어도 하나의 LED를 점멸할 수 있다.
한편, 본 실시 예에 따른 가전 기기의 제어방법은 상기 가전 기기의 에러 상태, 자가 진단 상태 또는 소프트웨어 업그레이드 상태를 나타내도록 상기 적어도 하나의 LED를 제어하는 단계를 더 포함할 수 있다.
한편, 상기 음성 인식을 수행하는 단계는, 상기 입력된 음성에 대응하는 음성 신호를 음성 인식을 위한 외부 서버로 전송하는 단계 및 상기 외부 서버로부터 음성 인식 결과를 수신하는 단계를 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 음성 인식 시스템은, 적어도 하나의 기능 각각의 선택 상태를 개별적으로 표시하는 적어도 하나의 LED를 포함하며, 사용자 음성이 입력되면 입력된 음성에 대응하는 음성 신호를 서버로 전송하는 가전 기기 및 상기 가전 기기로부터 수신한 음성 신호에 대응하는 음성 인식 결과를 상기 가전 기기로 전송하는 서버를 포함하며, 상기 가전 기기는, 상기 서버로부터 음성 인식 결과를 기다리는 동안 음성 인식 중임을 나타내도록 상기 적어도 하나의 LED를 제어하고, 상기 서버로부터 수신된 음성 인식 결과에 따라 상기 적어도 하나의 LED의 점등을 제어한다.
도 1은 본 개시의 일 실시 예에 따른 가전 기기의 구성을 설명하기 위한 블럭도,
도 2 내지 도 4는 본 개시의 다양한 실시 예에 따른 가전 기기가 포함한 복수의 LED를 설명하기 위한 도면,
도 5a는 본 개시의 일 실시 예에 따른 음성 인식 서버를 설명하기 위한 도면,
도 5b는 본 개시의 일 실시 예에 따른 음성 인식 방법을 설명하기 위한 도면,
도 6 내지 도 8은 본 개시의 다양한 실시 예에 따른 가전 기기의 LED 점등 방식을 설명하기 위한 도면,
도 9는 본 개시의 일 실시 예에 따른 음성 인식 모드의 개시 방법을 설명하기 위한 도면,
도 10은 음성 인식 모드가 개시되었음을 나타내기 위한 방법의 일 예를 설명하기 위한 도면,
도 11은 본 개시의 일 실시 예에 따른 가전 기기의 음성 명령에 따른 동작의 일 예를 설명하기 위한 도면,
도 12는 본 개시의 일 실시 예에 따른 가전 기기의 볼륨 조절 방법을 설명하기 위한 도면,
도 13a 내지 도 14b는 가전 기기가 세탁기인 경우의 음성 제어 방식의 다양한 예를 설명하기 위한 도면,
도 15a 내지 도 15h는 가전 기기가 오븐인 경우의 음성 제어 방식의 다양한 예를 설명하기 위한 도면,
도 16은 본 개시의 또 다른 실시 예에 따른 가전 기기의 구성을 설명하기 위한 블럭도, 그리고
도 17 내지 도 19는 본 개시의 다양한 실시 예에 따른 가전 기기의 제어방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 가전 기기를 설명하기 위한 도면이다.
가전 기기(100)는 ), 적어도 하나의 LED(120-1 ~ 120-n) 및 프로세서(130)를 포함한다. 가전 기기(100)가 복수의 LED를 포함한 경우, 도 1에서 n은 2 이상의 숫자를 의미하며, 가전 기기(100)가 하나의 LED를 포함한 경우 n번째 LED(120-n) 는 생략될 수 있다.
가전 기기(100)는 예컨대 세탁기, 건조기, 에어컨, 전기레인지, 전자레인지, 오븐, 냉장고, 공기청정기 등과 같은 전자 기기일 수 있다.
적어도 하나의 LED(120-1 ~ 120-n) 각각은 하나의 색을 발광하거나, 다양한 색을 발광할 수 있고, 하나의 밝기 또는 다양한 밝기를 가질 수 있다.
적어도 하나의 LED(120-1 ~ 120-n)는 가전 기기(100)의 종류, 조작 방식 등에 따라 다양한 형태로 구현될 수 있는데 그 중 몇몇 예들을 도 2 내지 도 4에 도시하였다.
도 2는 본 개시의 일 실시 예에 따른 가전 기기(100)에서 복수의 LED (120-1 ~ 120-6)가 배치된 일부 영역을 도시한 것이다.
도 2를 참고하면, 전자 기기(100)는 복수의 LED(120-1 ~ 120-6)를 포함하고, 복수의 LED(120-1 ~ 120-6)는 가전 기기(100)가 제공하는 복수의 기능 각각의 선택 상태를 개별적으로 표시할 수 있다. 여기서 기능이라는 용어는 메뉴, 모드(상태), 옵션, 셋팅 등과 같은 용어를 포괄하는 의미이다. 예컨대, 가전 기기(100)가 세탁기인 경우 가전 기기(100)는 전원 온/오프 기능, 세탁 예약 기능, 세탁 기능, 탈수 기능 등을 제공하며, 예컨대 세탁 기능 내에서는 수온 조절 기능, 세탁 시간 조절 기능 등과 같은 하위 기능을 제공한다. 이와 같이 상위 기능, 하위 기능들을 통틀어 모두 기능이라고 칭하도록 한다.
예를 들어, 가전 기기(100)가 제공하는 AA기능이 선택된 경우, 프로세서(130)는 제1 LED(120-1)를 점등할 수 있다. 이후, AA기능에 대한 선택이 해제된 경우, 프로세서(130)는 제1 LED(120-1)를 소등할 수 있다. 복수의 기능이 동시에 선택된 경우, 복수의 LED 가 동시에 점등될 수 있다. 예컨대, AA기능, BB기능 및 CC기능이 선택된 경우, 프로세서(130)는 제1 LED (120-1), 제2 LED (120-2) 및 제3 LED (120-3)를 동시에 점등할 수 있다. 이와 같은 방식으로 기능의 선택 상태를 표시할 수 있다.
가전 기기(100)가 세탁기인 경우, 복수의 LED (120-1 ~ 120-7)는 복수의 서로 다른 세탁 기능의 선택 상태를 개별적으로 표시하는 것일 수 있다. 예컨대 AA기능은 이불빨래 기능, BB 기능은 아기옷 세탁 기능일 수 있다.
한편, 가전 기기(100)는 사용자 조작을 입력받기 위한 조작 부재를 더 포함할 수 있다. 조작 부재를 통해 사용자는 가전 기기(100)가 제공하는 적어도 하나의 기능을 선택할 수 있다. 조작 부재는 예컨대 버튼, 터치 패드, 조그휠(jog wheel) 등과 다양한 형태 및 상기 다양한 형태의 조합으로 구현될 수 있다.
적어도 하나의 LED(120-1 ~ 120-n)는 가전 기기(100)의 조작 부재와 연관되어 배치될 수 있다. 예컨대, 조작 부재의 적어도 하나의 버튼에 대응되는 위치에 적어도 하나의 LED(120-1 ~ 120-n)가 배치될 수 있다. 또 다른 예로, 조작 부재가 조그휠인 경우, 조작 부재를 둘러싸는 형태로 적어도 하나의 LED(120-1 ~ 120-n)가 배치될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 가전 기기(100)에서 복수의 LED(120-1 ~ 120-7)의 배치 형태를 도시한 것으로서, 복수의 LED(120-1 ~ 120-7)가 조그휠 형태의 조작 부재(110)를 둘러싸도록 배치된 예를 도시한 것이다.
도 3을 참고하면, 복수의 LED(120-1 ~ 120-7)는 조그휠 형태의 조작 부재(110) 주위를 일정 간격을 두고 배치될 수 있다. 사용자는 조작 부재(110)를 회전하여 원하는 기능을 선택할 수 있다. 그리고 조작 부재(110)를 회전하여 선택된 기능에 대응하는 LED 가 점등될 수 있다.
도 4는 본 개시의 일 실시 예에 따른 가전 기기(100)에서 복수의 LED(120-1 ~ 120-7)가 배치된 일부 영역을 도시한 것이다.
도 4를 참고하면, 복수의 LED(120-1 ~ 120-7)는 FND(Flexible Numeric Display)를 구성하는 것일 수 있다. FND는 숫자나 간단한 기호 표현에 주로 애용되는 것으로 7 세그먼트라고도 불린다. 7 세그먼트는 캐소드 공통형(Common Cathod)과 애노드 공통형(Common Anode)로 분류될 수 있다. 프로세서(130)는 복수의 LED(120-1 ~ 120-7)를 개별적으로 점등하여 특정 숫자 또는 문자를 표시함으로써 특정 기능이 선택되었음을 나타낼 수 있다.
프로세서(130)는 가전 기기(100)의 전반적인 동작을 제어할 수 있는 구성으로, 예컨대 CPU, MPU, GPU, DSP 등을 포함할 수 있고, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 프로세서(230)는 MICOM, ASIC 등으로 구현될 수 있다.
프로세서(130)는 가전 기기(100)의 상태에 대한 정보를 적어도 하나의 LED(120-1 ~ 120-n) 각각을 점등하거나 소등하여 나타낼 수 있다. 예컨대, 가전 기기(100)에 마련된 조작 부재를 통해 가전 기기(100)의 특정 기능이 선택되면, 프로세서(130)는 선택된 기능에 대응하는 LED를 점등할 수 있다.
한편, 본 개시에 따른 가전 기기(100)는 조작 부재를 통한 사용자의 조작뿐만 아니라 사용자의 음성에 의해 제어될 수도 있다. 구체적으로, 가전 기기(100)는 음성 인식을 위한 외부 서버와의 통신을 통해 사용자 음성에 대응하는 제어 동작을 수행할 수 있다. 이하 도 5a 내지 도 5b를 참고하여 좀 더 구체적으로 설명하도록 한다.
도 5a는 본 개시의 일 실시 예에 따른 음성 인식을 위한 서버(200)를 설명하기 위한 블럭도이다.
도 5a를 참조하면, 서버(200)는 통신부(210), 메모리(220) 및 프로세서(230)를 포함한다.
통신부(210)는 외부 장치와 통신을 수행하기 위한 구성이다. 예컨대 통신부(210)는 예컨대, 근거리 통신망(LAN: Local Area Network) 또는 인터넷망을 통해 외부 기기에 접속될 수 있고, 무선 통신 방식(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신)으로 외부 기기와 통신을 수행할 수 있다. 통신부(210)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다.
통신부(210)는 가전 기기(100)로부터 음성 신호를 수신할 수 있고, 음성 신호에 대한 인식의 결과로서 응답 정보를 가전 기기(100)로 전송할 수 있다.
또한 통신부(210)는 인터넷 망을 통해 웹 서버와 통신을 수행하여, 각종 검색 키워드를 웹 서버로 전송하고 그에 따른 웹 검색 결과를 수신할 수 있다.
메모리(220)는 서버(200) 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다.
메모리(220)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 한편, 메모리(220)는 서버(200) 내의 저장 매체뿐만 아니라, 외부 저장 매체, 예를 들어, micro SD 카드, USB 메모리 또는 네트워크를 통한 웹 서버(Web server) 등으로 구현될 수 있다.
메모리(220)는 도메인별로 데이터베이스를 구비할 수 있다. 도메인은 자연어 문장이 포함되는 범주(category) 또는 주제(topic)을 의미하는 것으로서, 예컨대 세탁기 도메인, 오븐 도메인과 같이 장치 종류로 구분된 여러 도메인들이 존재할 수 있고, 또 다른 예로, 세탁 방법에 관한 정보 제공 도메인, 세탁 코스 검색 도메인, 에러 해결 정보 제공 도메인과 같이 제공 서비스의 주제로 구분된 여러 도메인들이 존재할 수 있다. 예를 들어 세탁기 도메인에 대한 데이터 베이스는 세탁기에서 발생할 수 있는 다양한 상황에 대한 대화 패턴을 저장할 수 있다. 예를 들어, "이불빨래 코스가 뭐야?"에 대한 답변으로 “이불이나 침구류를 세탁하는 코스입니다.”를 저장하고, "세탁 얼마나 더 해야돼?"에 대한 답변으로 "○○분 남았습니다"를 저장할 수 있다.
또한, 메모리(220)는 사용자의 발화 의도별로 제어 명령을 매칭시켜 저장하고 있을 수 있다. 예를 들어, 사용자의 발화 의도가 세탁 모드 변경인 경우 세탁 모드가 변경되도록 하는 제어 명령을 매칭시켜 저장하고, 사용자의 발화 의도가 예약 세탁인 경우 예약 세탁 기능을 실행시키기 위한 제어 명령을 매칭시켜 저장할 수 있다.
또한, 메모리(220)는 ASR(Automatic Speech Recognition) 모듈, NLU(natural language understanding) 모듈을 포함할 수 있다. ASR 모듈은 도메인마다 특화된 음향 모델 (Acoustic Model)과 언어 모델 (Language Model)에 기반하여 음성 신호를 텍스트로 변환하기 위한 모듈이다. 그리고 NLU 모듈은 변환된 텍스트를 시스템이 이해할 수 있도록 하는 여러 가지 분석을 하기 위한 모듈이다.
프로세서(230)는 서버(200)의 전반적인 동작을 제어할 수 있는 구성으로, 예컨대 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 프로세서(230)는 MICOM, ASIC 등으로 구현될 수 있다.
프로세서(230)는 통신부(210)를 통해 가전 기기(100)로부터 음성 신호가 수신되면 ASR 모듈을 이용하여 음성 신호가 속하는 도메인에 대하여 특화된 음향 모델과 언어 모델을 이용하여 주어진 음성 신호를 텍스트로 변환할 수 있다.
구체적으로 프로세서(230)는 주어진 음성 신호에서 음성의 특징을 추출할 수 있다. 특징 추출 과정에서는 불필요하게 중복되는 음성정보를 없애고 동일 음성 신호들 간의 일관성을 높임과 동시에 다른 음성 신호와는 변별력을 높일 수 있는 정보를 추출한다. 이러한 정보를 특징벡터라고 한다. 특징벡터 추출 기술들로는 선형예측계수(Linear Predictive Coefficient), 켑스트럼(Cepstrum), 멜프리퀀시켑스트럼(Mel Frequency Cepstral Coefficient, MFCC), 주파수 대역별 에너지(Filter Bank Energy) 등이 이용될 수 있다.
그리고 프로세서(230)는 특징 추출에서 얻어진 특징벡터에 대해 유사도 측정 및 인식과정을 수행할 수 있다. 예컨대, VQ(Vector Quantization), HMM(hidden Markov model), DTW(Dynamic Time Warping) 등이 이용될 수 있다. 이 경우, 유사도 측정 및 인식을 위해서 음성의 신호적인 특성을 모델링하여 비교하는 음향모델과, 인식어휘에 해당하는 단어나 음절 등의 언어적인 순서 관계를 모델링하는 언어모델이 사용된다.
그리고 프로세서(230)는 변환된 텍스트에 대하여 NLU 모듈을 이용하여 사용자 발화의 의도를 파악하기 위한 자연어 이해 처리를 수행할 수 있다. 자연어 이해 처리 과정 중 형태소 분석, 구문분석, 화행(dialogue act), 주행(main action) 및 개체명(named entity) 분석 등이 수행될 수 있다.
구체적으로, 프로세서(230)는 변환된 텍스트를 의미를 지닌 가장 작은 단위인 형태소 단위로 구분해 각 형태소가 어떤 품사를 가지는지 분석하는 형태소 분석을 수행할 수 있다. 형태소 분석으로 명사, 동사, 형용사, 조사 등의 품사 정보를 알 수 있다.
이후 프로세서(230)는 구문분석 처리를 수행할 수 있다. 구문분석은 사용자의 발화를 명사구, 동사구, 형용사구 등 특정 기준을 가지고 구분하고, 구분된 각 덩어리(chunk) 사이에 어떠한 관계가 존재하는지 분석하는 것이다. 이러한 구문분석을 통해 사용자 발화의 주어, 목적어, 수식어구들을 파악할 수 있다.
그리고 프로세서(230)는 변환된 텍스트로부터 화행(dialog act), 주행(main act), 개체명(named entity)을 추출할 수 있다. 여기에서, 화행은 발화 속에 포함된 대화 목적을 수행하기 위한 화자의 의도된 행위를 나타내는 것으로, 사용자의 발화가 행위 요구(Request)인지, 화자가 청자에게 어떤 변수의 값을 요구하는 것(WH-Question)인지, 또는 화자가 청자에게 YES/NO의 답을 요구하는 것(YN-Question)인지, 화자가 청자에게 정보를 제공(inform)하는 것인지 등을 나타내는 것이다. 그리고 주행은 해당 발화가 특정 도메인에서 대화를 통해 원하는 행위를 나타내는 의미적인 정보를 의미한다. 예를 들어, 세탁기 도메인에서 주행은 세탁 코스 선택, 세탁 예약 등을 포함할 수 있다. 그리고 개체명은 특정 도메인에서 의도하는 행동의 의미를 구체화하기 위해서 부가되는 정보이다.
프로세서(230)는 추출된 화행, 주행 및 개체명으로부터 판단된 사용자 의도에 대응하는 응답 정보를 생성할 수 있다. 응답 정보는 가전 기기(100)가 특정 기능을 수행할 수 있도록 하는 제어 명령 및/또는 가전 기기(100)의 스피커를 통해 출력될 음성 신호를 포함할 수 있다.
프로세서(230)는 메모리(210)에 기 저장된 정보를 기초로 응답 정보를 생성할 수 있고, 인터넷 망으로 연결된 웹서버로부터 검색된 정보를 기초로 응답 정보를 생성할 수 있다. 또한 프로세서(230)는 가전 기기(100)로부터 상태 정보를 수신하여 상태 정보를 기초로 응답 정보를 생성할 수 있다.
그리고 프로세서(230)는 생성된 응답 정보를 통신부(210)를 통해 가전 기기(100)로 전송할 수 있다.
예를 들어, 가전 기기(100)가 세탁기이고 사용자가 발화한 음성이 “이불빨래 코스가 뭐야”인 경우, 화행은 ‘WH-Question’, 주행은 ‘세탁 코스 안내', 개체명은 ‘이불빨래’로 추출될 수 있다. 이와 같이 추출된 화행, 주행, 개체명을 이용하여 프로세서(230)는 해당 발화가 속한 도메인의 데이터 베이스를 기초로 “이불이나 침구류를 세탁하는 코스입니다.”라는 문장을 생성하고, 이를 TTS(Text to Speech) 알고리즘을 이용하여 음성 신호로서 변환하여, 변환된 음성 신호를 포함한 응답 정보를 가전 기기(100)로 전송할 수 있다. 가전 기기(100)에선 응답 정보에 포함된 음성 신호를 스피커를 통해 출력할 수 있다.
또 다른 예로, 가전 기기(100)가 세탁기이고 사용자가 발화한 음성이 "세탁 언제 끝나?"인 경우, 화행은 ‘WH-Question’, 주행은 '세탁 상태 안내', '잔여 시간'으로 추출될 수 있다. 이와 같이 추출된 화행, 주행, 개체명을 이용하여 프로세서(230)는 세탁기 도메인의 데이터베이스로부터 "○○분 남았습니다."를 답변 문장으로서 선택할 수 있다. 그리고 프로세서(230)는 가전 기기(100)에 상태 정보를 요청하여 가전 기기(100)로부터 상태 정보가 수신되면 상태 정보로부터 세탁 잔여 시간 정보(예컨대, 13분)를 추출하고, 상기 답변 문장에 삽입하여 "13분 남았습니다"라는 텍스트를 생성할 수 있다. 이와 같이 생성된 텍스트 대하여 TTS 알고리즘을 적용하여 음성 신호로 변환하고, 변환된 음성 신호를 포함한 응답 정보를 가전 기기(100)로 전송할 수 있다. 가전 기기(100)에선 응답 정보에 포함된 음성 신호를 스피커를 통해 출력할 수 있다.
또 다른 예로, 가전 기기(100)가 세탁기이고 사용자가 발화한 음성이 “옷에 커피를 쏟았는데 어떻게 빨아야해”인 경우, 화행은 ‘WH-Question’, 주행은 ‘세탁 코스 선택’, 개체명은 ‘커피’, ‘쏟음’으로 추출될 수 있다. 이와 같이 추출된 화행, 주행, 개체명을 이용하여 프로세서(230)는 적절한 응답 정보를 생성할 수 있다. 예컨대 프로세서(230)는 세탁기 도메인의 데이터베이스로부터“쿠킹 및 다이닝 코스로 세탁하면 됩니다”라는 텍스트를 생성하고 이를 TTS(Text to Speech) 알고리즘을 이용하여 음성 신호로서 변환하여, 음성 신호를 포함한 응답 정보를 가전 기기(100)로 전달한다. 가전 기기(100)에선 응답 정보에 포함된 음성 신호를 스피커를 통해 출력할 수 있다. 서버(200)는 음성 신호뿐만 아니라, 쿠킹 및 다이닝 코스가 선택되도록 하는 제어 명령도 응답 정보에 포함시켜 가전 기기(100)로 전달할 수 있고, 가전 기기(100)는 제어 명령에 따라 쿠킹 코스 및 다이닝 코스를 선택할 수 있다. 그리고 가전 기기(100)는 쿠킹 코스 및 다이닝 코스에 대응하는 LED를 점등함으로써 사용자에게 해당 기능이 선택되었음을 알릴 수 있다.
또 다른 예로, 가전 기기(100)가 전자레인지이고 사용자가 발화한 음성이 “쾌속 해동해.”인 경우, 화행은 ‘Request’, 주행은 ‘조리모드 선택’, 개체명은 ‘쾌속해동’으로 추출될 수 있다. 이와 같이 추출된 화행, 주행, 개체명을 이용하여 프로세서(230)는 가전 기기(100)의 조리 모드를 쾌속 해동으로 선택하기 위한 제어 명령을 포함한 응답 정보를 통신부(210)를 통해 가전 기기(100)로 전송할 수 있다. 응답 정보를 수신한 가전 기기(100)는 응답 정보에 포함된 제어 명령에 따라 쾌속 해동 모드를 선택하고, 쾌속 해동 모드에 대응하는 LED를 점등할 수 있다.
도 5b는 상술한 서버(200)와 가전 기기(100)의 음성 인식 과정을 설명하기 위한 흐름도이다.
도 5b를 참고하면, 가전 기기(100)는 가전 기기(100)에 구비된 마이크 또는 외부 장치에 구비된 마이크를 통해 음성이 입력되면(S510), 입력된 음성을 디지털의 음성 신호로 변환한다(S520). 이 경우 노이즈 성분을 제거하는 과정이 수행될 수 있다. 그리고 가전 기기(100)는 음성 신호를 서버(200)에 전송한다(S530).
서버(200)는 가전 기기(100)로부터 수신된 음성 신호를 텍스트로 변환한다(S540). 구체적으로, 서버(200)는 상술한 바와 같이 ASR(Automatic Speech Recognition) 처리를 통해 음향 모델과 언어 모델을 이용해서 음성 신호를 텍스트로 변환할 수 있다.
그리고 서버(200)는 변환된 텍스트를 기초로 제어명령 및 음성 신호 중 적어도 하나를 포함한 응답 정보를 생성할 수 있다(S550). 구체적으로, 서버(200)는 메모리(210) 상술한 바와 같은 자연어 이해 처리(NLU)를 통해 음성 신호가 변환된 텍스트에 매칭되는 제어 명령을 결정할 수 있으며, 상기 텍스트에 대응되는 답변 텍스트를 생성할 수 있다. 이 경우, 서버(200)는 서버(200)에 기 저장된 데이터, 웹 서버에서 검색된 데이터, 가전 기기(100)로부터 수집된 데이터 등을 활용할 수 있다. 서버(200)는 답변 텍스트를 음성 신호로서 변환할 수 있고, 제어 명령 및 음성 신호 중 적어도 하나를 포함한 응답 정보를 생성할 수 있다.
그리고 서버(200)는 생성된 응답 정보를 가전 기기(100)로 전송한다(S560). 가전 기기(100)는 수신된 응답 정보에 제어 명령이 포함된 경우, 해당 제어 명령에 대응하는 기능을 수행할 수 있고, 수신된 응답 정보에 음성 신호가 포함된 경우 해당 음성 신호를 스피커를 통해 출력할 수 있으며, 수신된 응답 정보에 제어 명령과 음성 신호가 포함된 경우 제어 명령에 대응하는 기능을 수행하고 스피커를 통해 음성 신호를 출력할 수 있다(S570). 이 경우 가전 기기(100)는 제어 명령에 대응하는 기능을 실행하고 적어도 하나의 LED(120-1 ~ 120-n) 중 해당 기능에 대응하는 LED를 점등함으로써 해당 기능이 실행됨을 사용자에게 알릴 수 있다.
한편, 서버(200)가 가전 기기(100)로 제공하는 응답 정보는 음성 신호를 포함하는 대신 텍스트를 포함할 수 있고, 가전 기기(100)에서 텍스트를 음성 신호로 전환하여 스피커로 출력하는 것도 가능하다. 또한, 서버(200)로부터 제공된 정보가 스피커를 통해 청각적으로 제공되는 것에 한정되는 것은 아니고, 서버(200)는 가전 기기(100)에서 시각적으로 출력될 정보를 가전 기기(100)로 제공할 수 있고, 해당 정보가 가전 기기(100)의 디스플레이를 통해 표시되는 것도 가능하다.
한편, 서버(200)로부터 음성 인식의 결과, 즉 응답 정보를 기다리는 동안 전자 장치(100)의 프로세서(130)는 음성 인식 중임을 표시하도록 적어도 하나의 LED (120-1 ~ 120-n)를 제어할 수 있다. 예컨대 프로세서(130)는 서버(200)로부터 음성 인식 결과를 기다리는 동안 조그휠 형태의 조작 부재 주위에 배치된 복수의 LED 가 순차적으로 점등되도록 제어할 수 있다. 복수의 LED 가 순차적으로 점등되는 예를 도 6 내지 도 8을 참고하여 설명하도록 한다.
도 6은 본 개시의 일 실시 예에 따른 조그 휠 형태의 조작 부재(110)의 주위를 둘러싸는 형태로 배치된 복수의 LED(120-1 ~ 120-n)가 순차적으로 점등되는 것을 나타낸 도면이다.
프로세서(130)는 서버(200)로부터 인식 결과를 기다리는 동안 도 6에 도시된 것처럼 복수의 LED(120-1 ~ 120-n)를 순차적으로 점등할 수 있다. 이를 통해 사용자는 음성 인식이 이루어지는 중임을 알 수 있다.
도 7은 또 다른 실시 예에 따른 순차적인 점등 방식을 나타낸 것으로서, 프로세서(130)는 서버(200)로부터 인식 결과를 기다리는 동안 도 7에 도시된 것처럼 복수의 LED(120-1 ~ 120-n)를 순차적으로 점등할 수 있다.
도 8은 또 다른 실시 예에 따른 순차적인 점등 방식을 나타낸 것으로서, 프로세서(130)는 서버(200)로부터 인식 결과를 기다리는 동안 도 8에 도시된 것처럼 복수의 LED(120-1 ~ 120-n)를 순차적으로 점등할 수 있다.
도 6 내지 도 8은 예시일 뿐, 다른 방식으로 복수의 LED (120-1 ~ 120-n)를 제어하는 것도 가능하다. 예컨대, 프로세서(130)는 서버(200)로부터 인식 결과를 기다리는 동안 복수의 LED(120-1 ~ 120-n) 전체가 점멸되도록 제어할 수 있다.
한편, 상술한 예에선 음성 인식이 서버(200)에서 수행되는 것으로 설명하였으나, 가전 기기(100)에서 음성 인식 기능이 수행되는 것도 가능하다. 이 경우에도 가전 기기(100)에서 음성 신호가 처리되는 동안 음성 인식 중임을 표시하도록 프로세서(130)는 적어도 하나의 LED(120-1 ~ 120-n)를 제어할 수 있다.
또 다른 예로, 가전 기기(100)에서 일부 음성에 대한 인식이 수행될 수 있고, 나머지 음성에 대해선 서버(200)에서 수행될 수 있다. 예컨대, 가전 기기(100)는 입력된 음성에서 호출어(트리거 키워드)를 인식할 수 있고, 호출어가 인식되면 음성 인식 모드(음성을 입력받을 수 있는 준비 상태)를 개시할 수 있다. 그리고 가전 기기(100)는 음성 인식 모드(음성 인식 상태) 동안에 입력되는 음성을 서버(200)로 전송할 수 있다. 가전 기기(100)는 음성 인식 모드 개시 이후 기 설정된 시간 이상 동안 음성이 입력되지 않으면 음성 인식 모드를 해제할 수 있다.
이와 같이 호출어를 이용해서 음성 인식 모드를 개시하는 방식에 따르면, 사용자가 음성 인식을 의도하고 발화한 음성, 즉 호출어를 발화한 후에 발화한 음성에 대해서만 음성 인식이 수행될 수 있으므로 음성 인식에서의 효율성이 증대될 수 있다.
호출어는 음성 인식 모드를 실행시키기 위한 것으로서 예컨대 "빅스비", "하이 세탁기", "하이 오븐", "하이 에어컨" 등과 같이 한 단어 또는 짧은 문장으로 이루어진 것일 수 있다.
한편, 호출어의 인식이 가전 기기(100)에서 수행되는 것도 가능하고, 서버(200)에서 수행되는 것도 가능하다. 이 경우, 서버(200)는 가전 기기(100)로부터 수신된 음성 신호에 호출어가 포함되었다고 판단된 경우에 이후의 음성에 대해 음성 인식을 수행한다.
호출어를 발화하는 방식 이외에, 본 개시의 또 다른 실시 예에 따르면 가전 기기에 마련된 조작 부재에 대한 사용자 조작에 의해 음성 인식 모드가 개시되는 것도 가능하다. 이에 대한 일 예를 도 9를 참고하여 설명하도록 한다.
도 9는 본 개시의 일 실시 예에 따른 음성 인식 모드의 개시 방법을 설명하기 위한 도면이다.
도 9를 참고하면, 조그휠 형태의 조작 부재(110)는 누름 입력을 수신할 수 있는 형태이다. 즉, 조그휠 형태의 조작 부재(110)는 회전 입력뿐만 아니라 버튼처럼 누름 입력도 수신할 수 있다. 도 9에 도시한 것처럼 사용자가 조작 부재(110)를 누르면, 프로세서(130)는 음성 인식 모드를 개시할 수 있다. 음성 인식 모드의 개시 이후에 기 설정된 시간 동안 음성 입력이 없으면 음성 인식 모드는 자동으로 해제될 수 있다. 또는, 수동으로 음성 인식 모드가 해제되는 것도 가능한데, 예컨대 사용자가 조작 부재(110)를 다시 한 번 더 누르면 음성 인식 모드가 해제될 수 있다.
음성 인식 모드를 개시하기 위해 호출어를 사용자가 발화하는 경우 오인식하는 경우가 발생할 수 있다. 이와 같은 상황이 여러 번 반복되면 사용자는 음성인식서비스를 사용하기 꺼려진다. 호출어를 발화하는 것에 추가적으로 도 9에서 설명한 것과 같이 조작 부재(110)의 특정 버튼을 누르는 것으로 음성 인식 모드를 개시하는 방식을 이용하면 사용자는 음성 인식 서비스에 좀 더 용이하게 접근할 수 있을 것이다.
음성 인식 모드가 개시되면, 프로세서(130)는 음성 인식 모드가 개시되었음을 나타내도록 적어도 하나의 LED(120-1 ~ 120-n)를 제어할 수 있다.
이 경우 프로세서(130)는 음성 인식 중임을 나타내는 점등 방식과는 다른 점등 방식으로 음성 인식 모드가 개시되었음을 나타내도록 적어도 하나의 LED(120-1 ~ 120-n)를 제어할 수 있다. 점등 방식은 발광하는 시간, 발광된 LED의 개수, 발광 색상, 발광 순서 등 중 적어도 하나로 결정될 수 있다.
일 실시 예에 따르면, 프로세서(130)는 음성 인식 모드가 개시되었음을 나타내거나 입력된 음성을 인식 중임을 나타내기 위해 도 6 내지 도 8에서 설명한 것처럼 적어도 하나의 LED (120-1 ~ 120-n)를 순차적으로 점등할 수 있다. 이 경우, 프로세서(130)는 음성 인식 모드가 개시되었음을 나타내는 경우에는 노란색으로 적어도 하나의 LED (120-1 ~ 120-n)를 순차적으로 점등할 수 있고, 이후 음성이 입력되어서 음성 인식 중에는 파란색으로 적어도 하나의 LED(120-1 ~ 120-n)를 순차적으로 점등할 수 있다.
도 10은 음성 인식 모드가 개시되었음을 알리는 본 개시의 또 다른 실시 예에 따른 방식을 설명하기 위한 도면이다.
도 10은 가전 기기(100)가 에어컨인 경우를 도시한 것으로서 프로세서(130)는 음성 인식 모드가 개시되었음을 알리는 문구가 표시되도록 적어도 하나의 LED(120-1 ~ 120-n)를 제어할 수 있다. 여기서 적어도 하나의 LED(120-1 ~ 120-n)는 글자를 표시할 수 있도록 배치된 것일 수 있다. 예컨대 도 10에 도시된 것처럼 "듣고있어요 말씀하세요"가 표시될 수 있다. 한편, 가전 기기(100)는 LCD 패널을 포함할 수 있고, LCD 패널에서 정보를 표시하는 것도 가능하다.
또 다른 예에 따르면, 가전 기기(100)는 스피커를 통해 음성 인식 모드가 개시되었음을 알리는 음성을 출력할 수 있다. 예컨대 프로세서(130)는 음성 인식 모드가 개시되면 가전 기기(100)의 스피커를 통해 "무엇을 원하세요?", "안녕하세요? 원하시는 것을 말씀해주세요" 등과 같은 음성을 출력할 수 있다.
프로세서(130)는 음성 인식 모드가 개시되고 입력된 음성에 대한 음성 인식이 완료되면, 음성 인식 결과에 대응되는 LED가 점등되도록 적어도 하나의 LED (120-1 ~ 120-n)를 제어할 수 있다. 이에 대한 일 예를 도 11에 도시하였다.
도 11은 가전 기기(100)가 세탁기이고 조작 부재(110) 주위에 복수의 세탁 기능에 각각 대응하는 복수의 LED(120-1 ~ 120-n)가 배치된 것을 도시한 도면이다.
도 11을 참고하면, 세탁기인 가전 기기(100)는 다양한 세탁 기능을 제공하는데, 예컨대 표준, 삶음, 에코버블, 파워버블, 스포츠버블, 베이비버블, 원스탑버블, 울/란제리 세탁, 이불세탁, 이불털기, 에어살균, 패딩케어, 아웃도어 발수케어, 에어워시, 소량/쾌속 세탁과 같은 다양한 세탁 기능을 제공할 수 있다. 그리고 각 세탁 기능에 대응되는 복수의 LED(120-1 ~ 120-n)가 존재한다.
사용자는 조작 부재(110)를 회전시켜서 세탁 기능(예컨대, 세탁 코스, 세탁 볼륨)을 선택할 수 있고, 또는 원하는 세탁 기능과 연관된 음성을 발화하여 해당 세탁 기능을 선택할 수 있다. 예컨대, 사용자가 "표준코스로 해줘"라고 말하면, 이에 대한 음성 인식이 처리되는 동안 프로세서(130)는 복수의 LED(120-1 ~ 120-n)를 도 6에서처럼 순차적으로 점등하다가 음성 인식이 완료되면 복수의 LED(120-1 ~ 120-n) 중에서 음성 인식 결과에 대응되는 표준 세탁 기능에 해당하는 제1 LED (120-1)가 점등될 수 있다. 그리고 프로세서(130)는 가전 기기(100)의 스피커를 통해 "표준코스 선택하셨습니다. 세탁 시작합니다."와 같은 음성 안내를 출력할 수 있다.
가전 기기(100)의 스피커에서 출력되는 사운드의 볼륨을 조절하는 것이 가능하다. 일 실시 예에 따르면, 가전 기기에 마련된 조작 부재를 통한 사용자 조작에 따라 사운드 볼륨 조절이 가능하다. 구체적인 예로, 조작 부재에 마련된 특정 버튼을 누르는 횟수에 대응되게 볼륨 레벨이 증가하거나 감소할 수 있다. 프로세서(130)는 스피커의 현재 볼륨 레벨을 나타내기 위해 스피커의 볼륨 레벨에 대응하는 개수의 LED를 점등할 수 있다.
한편, 스피커의 볼륨은 음성으로도 조절할 수 있다. 도 12를 참고하면, 사용자가 예컨대 "볼륨 3으로 해줘"를 발화하면, 프로세서(130)는 스피커 볼륨을 3으로 조절하면서, 볼륨이 3으로 조절되었음을 나타내기 위해 복수의 LED(120-1 ~ 120-n) 중 3개의 LED 를 점등할 수 있다. 또한 "볼륨이 3으로 설정되었습니다"라는 음성 안내를 출력할 수도 있다. 볼륨 레벨이 증가하면 점등된 LED 의 개수가 증가하고 볼륨 레벨이 감소하면 점등된 LED 의 개수가 감소하는 방식으로 사용자에게 볼륨 레벨에 대해 피드백을 할 수 있다.
상술한 실시 예에 따르면 사용자는 원하는 볼륨 크기로 설정하여 음성 안내를 받을 수 있고, 직관적으로 소리 크기를 알고 조절할 수 있게 된다.
본 개시에 따르면, 가전 기기(100)는 사용자가 발화한 음성에 단순히 매칭된 기능이 선택되는 것이 아니라, 사용자가 발화한 음성의 의미, 의도를 파악하여 기능을 추천할 수 있으며, 또한, 가전 기기(100)는 단순히 사용자로부터의 일방향 음성 명령으로 제어되는 것이 아니라 사용자와 마치 대화하듯이 상호 작용을 통해 제어될 수 있다. 이에 대해선 이하에서 구체적인 예를 들어 설명하도록 한다.
도 13a 내지 도 13d는 사용자가 발화한 음성에 대응하여 세탁기인 가전 기기(100)가 복수의 세탁 기능을 결정하는 실시 예를 설명하기 위한 것이다.
도 13a를 참고하면 사용자가 호출어로서 예컨대 "빅스비"를 발화하면, 가전 기기(100)는 호출어를 인식(가전 기기(100) 자체적으로 인식 또는 서버(200)를 통하여 인식)하고, 음성 인식 모드가 개시되었음을 사용자에게 알린다. 예컨대 "네, 말씀하세요"와 같은 음성 응답을 출력할 수 있다. 이에 대응하여, 사용자가 도 13b에 도시한 것과 같이 "오늘 등산 갔다 왔는데, 등산복은 어떻게 빨지?"와 같은 음성을 발화하면, 가전 기기(100)는 서버(200)에 상기 음성에 대응하는 음성 신호를 전달하여 음성 인식 결과를 기다린다. 기다리는 동안 가전 기기(100)의 복수의 LED(120-1 ~ 120-n)를 한 칸씩 이동시켜가며 점등할 수 있다. 예를 들어, 표준 세탁에 해당하는 LED를 점등한 뒤, 강력세탁에 해당하는 LED를 점등하는 식으로 한칸씩 이동시켜가며 점등할 수 있다. 이로써 사용자는 자신의 문의가 처리되고 있음을 인식할 수 있다.
이후, 도 13c에 도시된 바와 같이 가전 기기(100)는 서버(200)로부터 수신한 음성 인식의 결과를 바탕으로 복수의 세탁 기능을 결정하여 사용자에게 추천할 수 있다. 예컨대, 아웃도어 코스, 수온 30도, 헹굼 3회, 탈수 중(middle), 버블불림 기능을 사용자에게 음성으로서 추천할 수 있다. 그러면서 가전 기기(100)는 추천하는 기능들 각각에 해당하는 LED를 점등할 수 있다.
이후, 도 13d에 도시된 바와 같이 사용자가 추천한 기능에 대해 확인하는 음성, 예컨대 "응, 그렇게 해줘."를 발화하면, 가전 기기(100)는 추천한 기능대로 세탁을 진행한다. 한편, 사용자의 답변에서 긍정, 부정의 의미를 인식하는 정도는 서버(200)를 거치지 않더라도 가전 기기(100)에서 수행되는 것도 가능하다.
이와 같이 사용자가 가전 기기(100)가 제공하는 기능에 대해 잘 모르고 있는 경우라도 니즈를 말하면 가전 기기(100)가 최적의 기능을 자동으로 찾아주어 선택해 줄 수 있으므로 사용 편의성이 증대될 수 있다.
도 14a 내지 도 14b는 본 개시의 일 실시 예에 따른 세탁 완료 알림 예약 방법을 설명하기 위한 도면이다.
도 14a를 참고하면, 가전 기기(100)는 세탁을 수행하고, 세탁 소요 기간을 음성으로서 사용자에게 알림할 수 있다. 예컨대 "예상 세탁 시간은 1시간 30분 입니다. 완료 시에 알려드릴게요."라는 음성이 출력될 수 있다. 이에 대응하여 사용자는 긍정 또는 부정의 답변을 발화할 수 있다. 부정의 답변의 예로, 예컨대 도 14a에 도시한 바와 같이 사용자가 "아니, 끝나기 5분 전에"라는 음성을 발화하면, 가전 기기(100)는 세탁 완료 알림 예약을 끝나기 5분 전으로 설정하고, 사용자에게 예약이 완료되었음을 도 14b에 도시한 것처럼 "네"와 같은 음성을 출력함으로써 알릴 수 있다. 이 밖에도, 사용자가 "오후 4시에 집에 돌아오니까 그때까지 세탁 완료해줘"라고 발화하면, 가전 기기(100)는 세탁이 오후 4시에 완료될 수 있도록 세탁 시간을 조절할 수 있다.
도 13a 내지 도 14b를 참고하여 설명한 실시 예 이외에도 다양한 시나리오가 가능하다. 가전 기기(100)가 세탁기인 경우 몇몇의 시나리오를 다음 표 1에 정리하였다.
기능 시나리오
(볼드체:사용자의 음성, 이텔릭체:가전 기기(100)의 음성)
동작 및 코스 설정
 “ 베이비 버블코스로 세탁해줘”
“헹굼 추가해줘”
동작 추가 “표준 코스에 헹굼 추가해줘”
동작 예약 “2시에 표준 코스로 세탁해줘”
남은 시간 확인 “얼마나 더 해야 돼 ?”
“30분 남았습니다.”
코스 설명


 “이불빨래 코스가 뭐야?”
“이불이나 침구류를 세탁하는 코스로, 한 종류의 세탁물을 2.5kg 이하로 넣어주시면 가장 효과적으 로 빨래할 수 있습니다. 지금 시작할까요?”
세탁 가능 여부 확인
 “ 스니커즈 빨아 줘.”
“ 스니커즈는 빨 수 없어요! 꺼내주세요”
통세척 이력 확인
 “ 통세척 마지막으로 언제 했지?”
“지난달 15일에 하셨어요. 2주 후 통세척 해주세요.”
대화
(동작, 코스 설정 및 예약)
 “집에 오기 전까지 빨래 해줘 .”
“언제 오세요?”
“6시”
“네. 알겠습니다. 걱정 마세요 .”
빨랫감 기반 코스 추천
 “아기 옷이랑 타월 넣었어.”
“ 베이비 케어 코스로 세탁할까요?”
오염물 기반 코스 추천
 “옷에 커피를 쏟았는데 어떻게 빨아야해 ?”
“ 쿠킹 & 다이닝 코스로 돌리면 돼요. 세탁 시작할까요?”
사용패턴 기반 코스 추천


 “세탁해줘.”
“가장 최근에 수행한 코스로 동작할까요?”
“아니. 마이사이클 3번.”
“ 마이사이클 3번으로 세탁 시작합니다.”
날씨 기반 세탁 추천
 “오늘은 비가 많이 오네요. 빨래를 내일 하시는 건 어떠세요?”
"어떤 세탁을 원하세요? 오늘은 비가 와서 탈수를 기본적으로 1200 rpm으로 세팅할게요"
사용자 의도 파악 세탁 추천 "나 오늘 등산했어."
" 아웃도어케어코스로 세탁해드릴게요."
통세척 추천 "지난달 1일에 통세척 하셨습니다. 오늘 통세척 할까요?”
에러 조치 안내


 “급수가 안돼요. 밸브가 잠겼는지 확인해주세요.”
“세제가 투입이 되지 않아요. 세제가 없는지 확인해주세요.”

"세탁기에 무슨 문제가 생긴거야 ?"
"문이 열렸어요. 문을 닫아주세요."
A/S 예약 안내

 “세제가 투입이 안돼요 . 자동세제투입장치에 문제가 생겼습니다. 방문기사의 부품 교체가 필요합니다. A/S를 신청해 드릴까요?”
OTN “해당 문제는 소프트웨어적으로 해결가능 합니다. 업데이 트를 하시겠습니까?”
세제 구매
 “세제를 다 썼어.”, “세제 구매”
“ 지난 번에 구매하셨던 것으로 할까요?”
영상인식 기반 코스 추천
 “청바지, 후드티 , 면바지, 셔츠를 넣으셨네요. 청바지는 이염가능성이 있으므로 다음에 세탁해주세요.(도어열림)”
캘린더 기반 코스 추천
 “오늘은 운동회가 있었군요. 찌든 때 코스에 헹굼 1회 추가하겠습니다.”
날씨 기반 코스 추천
 “오늘은 황사주의보가 내렸어요. 아웃도어 코스에 헹굼 1회 추가하겠습니다.”
목소리 구별 차일드락 “ 차일드락 ”(부모)
세제 구매 추천 “세제가 떨어질 때가 되었어요. 새로 구매하세요.”

"세제가 곧 떨어집니다. 세제를 구매할까요?"
"그래."
영상인식 기반 세탁 가능 여부 확인 “세탁 불가능한 방수포를 넣으셨어요! 꺼내주세요!”
도 15a 내지 도 15h는 사용자가 발화한 음성에 대응하여 오븐인 가전 기기(100)가 조리 기능을 제안하는 실시 예를 설명하기 위한 것이다.
도 15a를 참고하면 사용자가 호출어로서 예컨대 "빅스비"를 발화하면, 가전 기기(100)는 호출어를 인식하여, 음성 인식 모드가 개시되었음을 사용자에게 알린다. 예컨대 "네, 말씀하세요"와 같은 음성 응답을 출력할 수 있다. 이후 사용자가 도 15b에 도시한 것과 같이 "냉장고에 소고기랑 치즈가 있어. 무엇을 해먹는 게 좋을까?"와 같은 음성을 발화하면, 가전 기기(100)는 서버(200)에 상기 음성에 대응하는 음성 신호를 전달하여 음성 인식 결과를 기다린다. 기다리는 동안 가전 기기(100)의 복수의 LED (120-1 ~ 120-n)로 구성된 라이트닝 휠이 회전하는 것처럼 보이도록 복수의 LED(120-1 ~ 120-n)가 점등될 수 있다. 이로써 사용자는 자신의 문의가 처리되고 있음을 인식할 수 있다.
이후, 도 15c에 도시된 바와 같이 가전 기기(100)는 서버(200)로부터 수신한 음성 인식의 결과를 바탕으로 음식을 추천할 수 있다. 예컨대, 비프타코 또는 라자냐를 사용자에게 추천할 수 있다. 그러면서 가전 기기(100)는 추천한 음식에 해당하는 정보를 가전 기기(100)의 디스플레이 모듈(180)을 통해 표시할 수 있다. 예컨대, 추천된 음식의 사진들을 2초 간격으로 전환하여 디스플레이 모듈(180)을 통해 표시할 수 있다.
이후, 도 15d에 도시된 바와 같이 사용자가 추천한 음식에 대해 확인하는 음성, 예컨대 "음, 라자냐 먹을래"를 발화하면, 가전 기기(100)는 해당 음성을 서버(200)로 전달하여 음성 인식 결과를 기다린다. 그동안 가전 기기(100)의 라이트닝 휠을 회전한다. 이후 음성 인식의 결과로서 가전 기기(100)가 서버(200)로부터 라자냐의 레시피를 수신한다. 그리고 라자냐의 조리에 적합한 기능을 자동으로 선택하고, 선택된 기능에 대응하는 LED를 점등한다. 예컨대 도 15e에 도시한 것처럼 가전 기기(100)는 "라자냐에 맞는 온도, 시간, 모드를 윗쪽 오븐에 세팅했어요. 지금부터 레시피 읽어드릴게요"라는 음성을 출력하면서, 세팅된 온도, 시간 또는 모드에 대응하는 LED를 점등할 수 있다.
이후 가전 기기(100)는 도 15f에 도시된 것처럼 라자냐의 조리법을 음성으로 출력할 수 있다. 이 경우, 가전 기기(100)는 조리법을 사용자의 조리 페이스에 맞게 단계별로 출력할 수 있다. 예컨대 사용자가 "잠시만! 다 볶고 말해줄게."와 같은 음성을 발화하면 가전 기기(100)는 조리법을 읽어주는 것을 잠시 멈출 수 있다. 그리고 나서 도 15g에 도시한 것처럼 사용자가 다음 스텝을 요구하면, 다음 단계의 조리법에 해당하는 음성을 출력할 수 있다. 음성을 출력하는 방식 이외에도 디스플레이 모듈(180)을 통하여 사용자에게 정보를 제공하는 것도 가능하다.
조리의 마지막 단계까지 완료되면, 가전 기기(100)는 조리가 완료되었음을 사용자에게 알릴 수 있다 예컨대, 도 15h에 도시한 것처럼 가전 기기(100)는 "조리가 끝났습니다. 10분 후에 살짝 식으면 드세요."라는 음성을 출력할 수 있다.
도 15a 내지 도 15h를 참고하여 설명한 실시 예 이외에도 다양한 시나리오가 가능하다. 가전 기기(100)가 오븐인 경우 몇몇의 시나리오를 다음 표 2에 정리하였다.
기능 시나리오
(볼드체:사용자의 음성, 이텔릭체:가전 기기(100)의 음성)
동작 및 코스 설정
 “탈취 시작”
“그릴 30분 시작해줘”
“ 찐고구마 (또는 스마트쿡 2번) 시작”
“ 찐고구마 코스 선택하셨습니다. 스팀으로 25분간 조리 시작합니다.”
동작 추가 “200도로 예열해줘”
“15분 타이머 설정”
동작 예약 “20분 후 조리 시작”
“2시에 예열 시작”
남은 시간 확인 “얼마나 더 해야 돼 ?”
“1분 30초 남았습니다.”
스마트쿡 코스 설명

 “돼지 수육 코스가 뭐야?”
“돼지고기 300~600g을 스팀으로 25~30분간 찌는 코스입니다. 조리 시작할까요?”
재료와 조리법 설정
 “안심 스테이크 미디움 레어로 ”
“안심 스테이크 미디움 레어 . 조리 시작합니다.”
사진 촬영 및 전송
 “지금 오븐 사진 핸드폰으로 보내줄래?”
“네. 핸드폰으로 사진 전송했습니다.”
대화
(동작, 코스 설정 및 예약)
 “퇴근하고 집에 올 때 예열해 줘.”
“언제 퇴근하세요?”
“6시”
“몇 도로 예열할까요?”
“300도”
“6시 10분까지 300도로 예열해놓을게요.”
식재료 기반 코스 추천
 “웰빙건조 시작해줘”
“어떤 재료를 넣으셨나요?”
“고구마”
“3시간 동안 웰빙건조 동작합니다 ”
무게 기반 코스 추천

 “쾌속 해동”
“ 육류인가요 생선류인가요 ?”
“육류”
“무게는 얼마나 되나요?”
“600g”
“3분간 해동합니다.”
사용패턴 기반 레시피 추천 “지난번 로스트치킨 요리하셨던 것처럼 겉을 바삭하게 할까요?”
선호도 기반 레시피 추천 “스테이크는 미디움 레어로 드시죠?”
레시피를 처음부터 끝까지 안내 "치킨은 몇 도로 구워야하지 ?"
"치킨은 200도로 30분간 구우면 됩니다. 20분이 지났을 때 한번 뒤집어야 하니 그때 알려 드릴께요!"
에러 조치 안내
 “내부 온도가 너무 높습니다. 전원을 자동으로 끄겠습니다.”
A/S 예약 안내
 “온도센서 값을 읽을 수 없습니다. 제품 교체를 해야 할 것으로 판단됩니다. A/S 기사 방문을 신청할까요?”
OTN “해당 문제는 소프트웨어적으로 해결가능 합니다. 업데이트를 하시겠습니까?”
메뉴 추천 “나 오늘 뭐 먹지?”
“간단히 피자를 데워드시는 거 어때요?”
지역 기반 레시피 추천
 “추수감사절엔 칠면조구이를 드셔야죠.”(미국)
“ 슈바이네브라튼을 요리해드릴게요."(독일)
캘린더 기반 레시피 추천 “오늘 저녁 파티에 맥앤치즈 어떠세요?”
냉장고 연동 레시피 추천
 “어제 계란과 버섯을 새로 구매 하셨던데 , 아침식사로 오믈렛 어떠세요?”
“연어를 오늘까지 꼭 드셔야해요 . 저녁으로 연어구이 어떠세요?”
목소리 구별 차일드락 “ 차일드락 ”(부모)
무게 측정 또는 영상 인식 기반 조리시간 설정
 “1인분 치킨 스테이크 조리 시작합니다. 10분만 기다려주세요.”
“스테이크가 두꺼워 조리시간을 조금 더 늘리겠습니다.”
영상인식 조리 용기 및 기기 확인
 “내열 플라스틱 용기는 오븐모드에서 사용할 수 없습니다.”
“레인지 모드에서는 알루미늄 포일을 제거해주세요.”
석쇠 사용 알림 “레인지 모드에서는 석쇠를 사용할 수 없습니다.”
Burning 사전 알림 “ 음식이 탈 것 같아요. 그만 조리할까요?”
Burning 알림 “음식이 타고 있습니다. 전원을 자동으로 끄겠습니다."
도 16은 본 개시의 또 다른 실시 예에 따른 가전 기기(100')의 구성을 설명하기 위한 블럭도이다. 도 16의 구성 중 도 1에서 설명한 구성과 중복되는 부분이 있으므로, 이하에서 생략된 내용이라 하더라도 도 1을 통해 기술된 내용은 도 16에 대한 설명에도 적용될 수 있다.
도 16을 참고하면, 가전 기기(100)는 조작모듈(115), 복수의 LED(120-1 ~ 120-n), 프로세서(130), 통신부(140), 마이크(150), 메모리(160), LED 구동 회로(170), 디스플레이 모듈(180), 스피커(190)를 포함한다.
통신부(140)는 서버(200) 등의 외부 장치와 통신을 수행하기 위한 구성이다. 예컨대 통신부(140)는 예컨대, 근거리 통신망(LAN: Local Area Network) 또는 인터넷망을 통해 외부 기기에 접속될 수 있고, 무선 통신 방식(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신)으로 외부 기기와 통신을 수행할 수 있다. 통신부(140)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다.
가전 기기(100')에 마이크(150)가 구비되어 있지 않은 경우, 가전 기기(100')는 외부 장치의 마이크를 통해 입력된 음성에 대응하는 음성신호를 통신부(140)를 통해 수신할 수 있다.
프로세서(130)는 마이크(150) 또는 외부 장치의 마이크를 통해 입력된 음성에 대응하는 음성 신호를 통신부(140)를 통해 서버(200)로 음성신호를 전송할 수 있다. 서버(200)는 수신한 음성 신호에 대하여 수행한 음성 인식의 결과를 전송하고, 통신부(140)를 통해 상기 음성 인식의 결과가 수신될 수 있다.
한편, 외부 장치의 마이크를 통해 입력된 음성에 대응하는 음성 신호는 가전 기기(100)가 아닌 다른 장치를 거쳐 서버(200)로 전달되거나 혹은 상기 외부 장치가 직접적으로 서버(200)로 음성 신호를 전달할 수 있고, 가전 기기(100)는 서버(200)로부터 음성 인식 결과만을 수신하는 형태로 구현될 수도 있다. 또한, 서버(200)가 음성 인식 결과를 가전 기기(100)로 전달하는 것이 아니라 상기 외부 장치로 전달하고, 상기 외부 장치가 가전 기기(100)를 음성 인식 결과에 따라 제어하는 것도 가능하다.
마이크(150)는 사용자가 발화한 음성을 수신할 수 있고, 수신된 음성에 대응하는 음성 신호를 생성할 수 있다. 마이크(150)는 가전 기기(100)와 일체형으로 구현되거나 또는 분리될 수 있다. 분리된 마이크(150)는 가전 기기(100)와 전기적으로 연결될 수 있다.
프로세서(130)는 마이크(150)를 통하여 사용자 음성이 입력되면 입력된 음성에 대한 음성 인식 중임을 나타내도록 복수의 LED (120-1 ~ 120-n)를 제어할 수 있다.
일 실시 예에 따르면, 마이크(150)는 전력 절감을 위해 기 설정된 이벤트가 있는 경우에만 활성화(전원 공급)될 수 있다. 예컨대, 조작 부재(110)의 특정 버튼이 눌러지면 마이크가 활성화되고, 마이크 활성화 이후 음성 입력이 기 설정된 시간 동안 없으면 마이크(150)가 비활성화될 수 있다.
조작 모듈(115)은 사용자로부터 물리적인 조작을 받기 위한 조작 부재(110)와, 조작 부재(110)를 통한 입력을 해석하는 소프트웨어 모듈(116)을 포함할 수 있다. 조작 부재(110)가 조그휠인 경우, 조그휠을 사용자가 회전하는 입력이 조작 부재(110)를 통해 입력되면, Encoder S/W를 통한 회전 정보를 프로세서(130)가 수신한다. 조작 부재(110)의 버튼을 누르는 사용자 조작이 입력되면 Tack S/W를 통한 버튼 누름 정보를 프로세서(130)가 수신한다. 이러한 정보를 기초로 프로세서(130)는 다른 구성들을 제어할 수 있다.
스피커(190)는 사운드를 출력하기 위한 구성으로, 가전 기기(100)의 상태와 관련한 다양한 사운드를 출력할 수 있다. 예컨대, 가전 기기(100)가 에러 상태인 경우 강한 비프음을 출력할 수 있고, 가전 기기(100)의 특정 동작이 완료된 경우(예컨대 세탁의 완료), 이를 알리기 위한 사운드를 출력할 수도 있다.
프로세서(130)는 음성 인식 결과에 대응하는 음성 안내를 스피커(190)를 통해 출력할 수 있다.
디스플레이 모듈(180)은 다양한 정보를 표시하기 위한 구성으로, 예컨대 LCD(Liquid Crystal Display), OLED(organic light emitting diodes) 등의 디스플레이를 포함할 수 있다.
디스플레이 모듈(180)은 가전 기기(100)의 상태에 대한 정보를 표시할 수 있다. 예컨대, 디스플레이 모듈(180)은 가전 기기(100)의 통신 연결 상태를 표시할 수 있다. 예컨대, 가전 기기(100)가 와이파이(Wireless Fidelity)로 네트워크에 연결되어 있는 경우 디스플레이 모듈(180)을 통해 와이파이 아이콘이 표시될 수 있고, 가전 기기(100)가 타 장치와 블루투스 연결이 되어 있으면 디스플레이 모듈(180)을 통해 블루투스 아이콘이 표시될 수 있다.
음성 인식 결과에 대응하는 음성 안내를 스피커(190)를 통해 출력하는 대신에 음성 인식 결과에 대응하는 시각적 안내를 디스플레이 모듈(180)을 통해 표시할 수 있다. 또는 스피커(190)와 디스플레이 모듈(180)을 이용하여 음성 안내와 시각적 안내를 동시에 제공하는 것도 가능하다.
메모리(160)는 가전 기기(100) 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다.
메모리(160)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 한편, 메모리(160)는 가전 기기(100) 내의 저장 매체뿐만 아니라, 외부 저장 매체, 예를 들어, micro SD 카드, USB 메모리 또는 네트워크를 통한 웹 서버(Web server) 등으로 구현될 수 있다.
사용자의 음성, 조작 부재(110)의 조작, 또는 가전 기기(100)가 자동으로 선택한 가전 기기(100)의 기능의 설정치가 메모리(160)에 저장될 수 있다.
메모리(160)에는 볼륨 설정 값이 저장될 수 있다. 예컨대, 도 12를 참고하여 설명한 것처럼 사용자가 볼륨을 음성으로 조절하는 경우, 마지막 볼륨 설정 값이 메모리(160)에 저장될 수 있다.
또한 메모리(160)에는 가전 기기(100)의 사용 이력이 저장될 수 있다. 예컨대, 가전 기기(100)가 세탁기인 경우, 사용된 세탁 코스에 대한 정보가 메모리(160)에 저장될 수 있고, 이후 사용자로부터 "세탁해줘"라는 음성이 입력되면 프로세서(130)는 메모리(160)에 저장된 사용 이력을 기초로 자주 사용된 세탁 코스를 자동으로 선택하여 세탁을 수행할 수 있다.
또한, 가전 기기(100)가 오븐인 경우 메모리(160)에는 조리 데이터가 저장되어 있을 수 있다. 조리 데이터는 조리 타입, 조리 온도 및 조리 시간에 대한 정보를 포함하며, 조리 순서에 대한 정보를 포함할 수 있다. 사용자는 조작 부재(110)를 통하여 원하는 조리 모드를 선택할 수 있고, 프로세서(130)는 선택된 조리 모드에 대응하는 조리 데이터를 기초로 조리를 수행할 수 있다.
LED 구동 회로(170)는 LED 구동 집적 회로(LED driver integrated circuit)로 구현될 수 있고, 프로세서(130)의 제어에 따라 음성명령의 결과 및 가전 기기(100)의 상태, 동작을 복수의 LED(120-1 ~ 120-n)를 통해 안내할 수 있다. LED 구동 회로(170)는 복수의 LED(120-1 ~ 120-n) 각각에 포함된 R/G/B 칩 LED의 색상 조합 조정을 통하여 다양한 색을 구현할 수 있다.
프로세서(130)는 가전 기기(100)의 전반적인 동작 및 가전 기기(100)의 내부 구성요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다. 프로세서(130)는 CPU, ASIC, SoC로 구현될 수 있다. 본 개시의 일 실시 예에 따르면 음성 인식을 처리하는 별도의 프로세서가 구비될 수 있다.
프로세서(130)는 메모리(160)에 액세스하여, 메모리(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
특히, 프로세서(130)는 입력된 음성에 대응하는 음성 신호를 통신부(140)를 통해 서버(200)로 전송하고 서버(200)로부터 음성 인식 결과를 수신할 수 있다.
프로세서(130)는 가전 기기(100)에 에러 발생 시, 복수의 LED(120-1 ~ 120-n)가 에러 발생 상태를 표시하도록 제어할 수 있다. 예컨대, 가전 기기(100)는 자가 진단 기능을 수행할 수 있다. 자가 진단 기능을 수행하는 동안 이를 사용자에게 알리기 위해 가전 기기(100)는 예컨대 복수의 LED(120-1 ~ 120-n) 각각이 특정색(예컨대 주황색)을 순차적으로 발광하도록 제어할 수 있다.
자가 진단 기능을 수행한 결과 에러가 발생한 것으로 판단된 경우, 프로세서(130)는 예컨대 복수의 LED(120-1 ~ 120-n) 전체에서 특정 색(예컨대 빨간색) 불빛이 깜빡이도록 제어할 수 있다. 그리고 프로세서(130)는 에러 상태에 대한 정보를 외부 서버로 전달하고, 외부 서버에선 에러를 분석하고 조치사항을 도출한다. 이와 같이 에러가 무엇인지 파악하는 동안 또는 에러 해결 방법에 대한 안내법을 분석하는 동안 프로세서(130)는 복수의 LED(120-1 ~ 120-n) 각각이 특정 색(예컨대 빨간색)을 순차적으로 발광하도록 제어할 수 있다. 외부 서버는 에러에 대한 조치 방법을 포함한 응답 정보를 가전 기기(100')로 제공할 수 있고, 가전 기기(100')는 이를 수신하여 에러에 대한 조치 방법에 대한 음성 안내를 스피커(190)를 통해 출력한다. 예컨대 세탁기인 가전 기기(100')에서 도어가 열린 에러 상황이 발생한 경우 "문이 열려 있어요. 닫아주세요."와 같은 음성 안내가 스피커(190)를 통해 출력될 수 있다. 한편, 상기와 같은 자가 진단은 주기적으로 또는 특정 기능 수행 시에 이루어질 수 있다.
또 다른 예로, 프로세서(130)는 가전 기기(100)의 소프트웨어를 업그레이드하는 동안 예컨대 복수의 발광 LED(120-1 ~ 120-n) 각각이 특정색(예컨대 노란색)을 순차적으로 발광하도록 제어할 수 있다.
상술한 바와 같이 본 개시에 따르면, 음성인식모드가 개시된 상태인지(즉, 음성입력을 대기 중인지), 음성 신호를 분석 중인지(즉, 음성을 인식 중인지), 답변이 도출되었는지, 기기 에러가 있는지, 자가진단 중인지, 소프트웨어 업그레이드 중인지 등을 복수의 발광 LED (120-1 ~ 120-n)의 불빛으로 알 수 있다.
가전 기기(100')가 세탁기인 경우, 프로세서(130)는 사용자가 발화한 음성의 인식 결과에 대응하는 세탁 코스를 결정하고, 상기 결정된 세탁 코스가 포함하는 복수의 세탁 기능을 선택하여 선택된 복수의 세탁 기능에 해당하는 복수의 LED를 점등할 수 있다. 따라서, 복수의 세탁 기능을 일일이 사용자가 수동으로 선택하지 않더라도 특정 문장 혹은 단어를 말하는 것만으로도 복수의 세탁 기능이 선택될 수 있으므로 사용자의 편의성이 증대될 수 있다.
도 17 내지 도 20은 가전 기기(100)(또는 가전 기기(100')의 제어 방법의 흐름도를 도시한 것이다.
도 17은 가전 기기(100)에서 음성 입력을 받는 과정의 흐름도를 도시한 것이다. 도 17에선 각 단계에서 복수의 LED의 발광 상태((a), (b), (c))도 함께 도시하였다.
먼저, 가전 기기(100)의 전원이 턴온 되면, 통신부가 턴온되고(S1710), 음성인식모듈이 턴온되고(S1720), 복수의 발광 LED가 턴온될 수 있다(S1730). 이 경우, 음성 서비스가 가능함을 알리기 위해 예컨대 가전 기기의 복수의 LED는 무지개 빛을 발광할 수 있고 스피커를 통해 "안녕하세요? 원하시는 것을 말씀해주세요."라는 음성이 출력될 수 있다(a).
호출어가 발화되는 경우(S1750) 또는 조작 부재(110)의 버튼(예컨대 조그휠의 버튼)이 눌러지는 경우(S1760)에 음성 인식 모드가 개시된다(S1740). 조작 부재(110)의 버튼을 누름으로써 음성 인식 모드를 개시시키는 방식에선, 조작 부재(110)의 버튼이 눌러지기 전까지는 마이크가 턴 오프 상태였다가 조작 부재(110)의 버튼이 눌러지면 마이크가 턴 온될 수 있다. 본 실시 예에 따르면 마이크가 항상 턴온 되어 있는 경우보다 전력 소비를 절감시킬 수 있다.
음성 인식 모드가 개시되면 음성 인식 모드가 개시되었음을 알리기 위해 복수의 LED는 한칸씩 이동되면서 점등될 수 있다(b).
가전 기기(100)는 음성 인식 모드 개시 후, 기설정된 시간(예컨대 10초) 동안 음성이 입력되는지 판단한다(S1770). 음성이 입력되지 않으면, 대기 모드로 전환(즉, 음성 인식 모드의 해제)된다(S1780). 대기 모드에서는 복수의 LED가 모두 소등될 수 있다(c).
음성이 마이크를 통해 입력되면, 가전 기기(100)는 서버(200)로 입력된 음성에 대응하는 음성 신호를 전송한다(S1790).
도 18은 서버(200)로부터 수신된 음성 인식 결과를 가전 기기(100)가 사용자에게 전달하는 과정을 설명하기 위한 흐름도이다.
서버(200)로부터 음성 인식 결과가 수신되면(S1810), 가전 기기(100)는 복수의 LED (120-1~ 120-n) 중 음성 인식 결과에 대응되는 LED를 점등할 수 있다(S1820). 예컨대 (a)로 나타낸 것과 같이 특정 LED만 점등될 수 있다. 한편, 가전 기기(100)는 서버(200)로부터 수신한 음성 인식 결과(응답 정보)에 음성 신호가 포함되어 있으면 스피커를 턴온하고(S1830), 음성 신호에 대응하는 음성 안내를 스피커를 통해 출력한다(S1840).
그리고 출력된 음성 안내에 대응하여 사용자로부터 답변이 필요한 경우인지를 판단하여(S1850), 답변이 필요치 않은 경우이면 대기 모드로 전환(또는 음성인식모드 해제)한다(S1860). 대기 모드에서는 복수의 LED가 모두 소등될 수 있다(b). 답변이 필요한 경우이면 음성인식모드를 개시한다(S1870). 답변이 필요한 경우란, 음성 안내가 “가장 최근에 수행한 코스로 동작할까요?”와 같이 사용자에게 답변을 요구하는 경우를 예로 들 수 있다.
가전 기기(100)는 음성 인식 모드 개시 후, 기 설정된 시간(예컨대 10초) 동안 음성이 입력되는지 판단한다(S1880). 음성이 입력되지 않으면, 대기 모드로 전환된다(S1885). 대기 모드에서는 복수의 LED가 모두 소등될 수 있다(c).
음성이 마이크를 통해 입력되면, 가전 기기(100)는 서버(200)로 입력된 음성에 대응하는 음성 신호를 전송한다(S1890).
본 실시 예에서는 외부 서버에서 음성 인식을 처리하는 것으로 설명하였지만, 구현시에는 가전 기기(100) 내에 음성 인식 알고리즘을 저장하고, 외부 서버의 이용 없이 직접 음성 인식 동작을 수행할 수도 있다.
도 19는 본 개시의 일 실시 예에 따른, 적어도 하나의 기능 각각의 선택 상태를 개별적으로 적어도 하나의 LED를 포함하는 가전 기기의 제어 방법을 설명하기 위한 흐름도이다. 도 19에 도시된 흐름도는 본 명세서에서 설명되는 가전 기기(100, 100')에서 처리되는 동작들로 구성될 수 있다. 따라서, 이하에서 생략된 내용이라 하더라도 가전 기기(100, 100')에 관하여 기술된 내용은 도 19에 도시된 흐름도에도 적용될 수 있다.
도 19를 참고하면, 가전 기기는 사용자 음성이 입력되면 입력된 음성에 대한 음성 인식 중임을 적어도 하나의 LED를 이용하여 표시한다(S1910).
한편, S1910 단계 이전에, 음성 인식 모드를 개시하는 과정이 먼저 요구될 수 있다. 음성 인식 모드를 개시한다는 것은 음성을 입력받을 수 있는 준비 상태가 된다는 것을 의미한다. 다시 말해, 입력된 음성에 대해 인식 처리를 수행하는 상태가 되는 것이다. 음성 인식 모드는 기 설정된 이벤트가 발생하면 개시될 수 있다. 예컨대, 기 설정된 호출어(예컨대, 빅스비, 하이 세탁기)를 포함한 사용자 음성이 입력되는 이벤트 또는 조작 부재의 특정 버튼이 선택되는 이벤트가 발생하면 음성 인식 모드가 개시될 수 있다. 가전 기기는 음성 인식 모드가 개시되면 이를 적어도 하나의 LED를 특정 방식으로 점등하여 나타낼 수 있다.
그리고 음성 인식 모드인 상태에서 사용자 음성이 입력되면 입력된 음성에 대한 음성 인식 중임을 적어도 하나의 LED를 이용하여 표시할 수 있다.
한편, 가전 기기는 가전 기기의 각 상태마다 서로 다른 점등 방식으로 적어도 하나의 LED를 이용하여 각 상태를 나타낼 수 있다. 일 예로, 음성 인식 중임을 나타내는 점등 방식과 음성 인식 모드가 개시되었음을 나타내는 점등 방식은 서로 다를 수 있다.
음성 인식 모드가 개시되었음을 나타내는 점등 방식은 예컨대, 복수의 LED중 적어도 2 이상의 LED를 순차적으로 점등하는 방식일 수 있다. 그리고 음성 인식 중임을 나타내는 점등 방식은 예컨대, 적어도 하나의 LED를 점멸하는 방식일 수 있다. 반대의 경우도 가능하다.
가전 기기는 입력된 음성에 대한 음성 인식을 수행한다(S1920). 가전 기기 자체적으로 구비한 음성 인식 모듈을 통하여 음성 인식을 수행할 수 있고, 외부 서버의 도움으로 음성 인식을 수행하는 것도 가능하다. 후자의 경우, 가전 기기는 입력된 음성에 대응하는 음성 신호를 음성 인식을 위한 외부 서버로 전송하고 상기 외부 서버로부터 음성 인식 결과를 수신할 수 있다. 그리고 가전 기기는 상기 외부 서버로부터 음성 인식 결과를 기다리는 동안 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 적어도 하나의 LED를 제어할 수 있다.
그리고 가전 기기는 음성 인식이 완료되면 적어도 하나의 LED가 상기 음성 인식에 따라 점등되도록 제어한다(S1930). 예컨대, 음성 인식 결과가 특정 기능의 선택을 나타내면, 상기 특정 기능에 해당하는 LED를 점등한다.
그리고 가전 기기(100)는 상기 선택된 특정 기능을 수행할 수 있다. 한편, 특정 기능 수행 이전에, 해당 기능을 수행할 수 있는지 자체적으로 점검하는 과정이 수행될 수 있다. 구체적으로, 가전 기기(100)는 자체 점검을 작동하여 에러가 감지되면, 감지된 에러에 대한 정보를 외부 서버로 전송한다. 외부 서버에선 에러를 분석하고 이에 대한 조치 사항을 도출하여 가전 기기로 전달할 수 있다. 이에 따라 가전 기기는 에러 상황을 해결하기 위한 안내 정보를 사용자에게 제공할 수 있다. 에러 상태가 해결되면, 상기 특정 기능의 수행을 개시한다.
한편, 가전 기기는 가전 기기의 에러 상태, 자가 진단 상태 또는 소프트웨어 업그레이드 상태를 나타내도록 적어도 하나의 LED를 제어할 수 있다. 각 상태를 나타내는 방식은, 다양할 수 있다. 예컨대, 각 상태마다 발광 색상을 다르게 할 수 있고, 각 상태마다 서로 다른 패턴의 점등 방식으로 적어도 하나의 LED를 제어할 수 있다.
상술한 다양한 실시 예에 따르면, LCD와 같은 디스플레이를 탑재하지 않은 제품이더라도 LED 점등을 통해 음성 제어에 대한 피드백을 할 수 있게 된다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 가전 기기의 제어방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
예를 들어, 사용자 음성이 입력되면 입력된 음성에 대한 음성 인식 중임을 가전 기기에 포함된 적어도 하나의 LED를 이용하여 표시하는 단계, 음성 인식을 수행하는 단계, 음성 인식이 완료되면 적어도 하나의 LED가 상기 음성 인식에 따라 점등되도록 제어하는 단계를 포함하는 제어방법을 실행하기 위한 프로그램이 기록된 기록 매체가 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 가전 기기
120-1 ~ 120-n: 적어도 하나의 LED

Claims (20)

  1. 가전 기기에 있어서,
    음성 인식을 위한 외부 서버와 통신하는 통신부;
    상기 가전 기기가 제공하는 적어도 하나의 기능 각각의 선택 상태를 개별적으로 표시하는 적어도 하나의 LED(Light Emitting Diode); 및
    사용자 음성이 입력되면 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 적어도 하나의 LED를 제어하고, 음성 인식이 완료되면 상기 적어도 하나의 LED가 상기 음성 인식에 따라 점등되도록 상기 적어도 하나의 LED를 제어하는 프로세서;를 포함하며,
    상기 가전 기기는 상기 적어도 하나의 LED를 포함한 복수의 LED를 포함하고,
    상기 프로세서는,
    상기 입력된 음성에 대응하는 음성 신호를 상기 통신부를 통해 상기 외부 서버로 전송하여 상기 외부 서버로부터 음성 인식 결과를 수신하고, 상기 외부 서버로부터 음성 인식 결과를 기다리는 동안 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 복수의 LED 중 적어도 2 이상의 LED를 순차적으로 점등하는 가전 기기.
  2. 제1항에 있어서,
    상기 가전 기기가 제공하는 적어도 하나의 기능을 선택받기 위한 조작 부재;를 더 포함하는 가전 기기.
  3. 삭제
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 가전 기기의 에러 상태, 자가 진단 상태 또는 소프트웨어 업그레이드 상태를 나타내도록 상기 적어도 하나의 LED를 제어하는 가전 기기.
  5. 제1항에 있어서,
    상기 가전 기기는 세탁기이고,
    상기 적어도 하나의 LED는,
    적어도 하나의 세탁 기능의 선택 상태를 개별적으로 표시하는 가전 기기.
  6. 제2항에 있어서,
    상기 조작 부재는 조그휠이며,
    상기 적어도 하나의 LED는,
    상기 조그휠 주위를 둘러싸는 형태로 배치된 가전 기기.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 프로세서는,
    기 설정된 이벤트가 발생하면 음성 인식 모드를 개시하고, 음성 인식 모드가 개시되었음을 나타내도록 상기 적어도 하나의 LED를 제어하는 가전 기기.
  10. 제9항에 있어서,
    상기 기 설정된 이벤트는,
    기 설정된 호출어를 포함한 사용자 음성이 입력되는 이벤트 또는 상기 가전 기기에 마련된 특정 버튼이 선택되는 이벤트인 가전 기기.
  11. 제9항에 있어서,
    상기 프로세서는,
    음성 인식 중임을 나타내는 점등 방식과는 다른 점등 방식으로 상기 음성 인식 모드가 개시되었음을 나타내도록 상기 적어도 하나의 LED를 제어하는 가전 기기.
  12. 제1항에 있어서,
    마이크;를 더 포함하며,
    상기 프로세서는,
    상기 마이크를 통하여 사용자 음성이 입력되면 상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 적어도 하나의 LED를 제어하는 가전 기기.
  13. 제1항에 있어서,
    스피커;를 더 포함하며,
    상기 프로세서는,
    상기 음성 인식에 대응하는 음성 안내를 상기 스피커를 통해 출력하는 가전 기기.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 LED 중 상기 스피커의 볼륨 레벨에 대응하는 개수의 LED를 점등하는 가전 기기.
  15. 제1항에 있어서,
    상기 가전 기기는,
    세탁기, 건조기, 에어컨, 전기레인지, 전자레인지, 오븐, 냉장고 또는 공기청정기인 가전 기기.
  16. 적어도 하나의 기능 각각의 선택 상태를 개별적으로 표시하는 적어도 하나의 LED를 포함하는 가전 기기의 제어방법에 있어서,
    사용자 음성이 입력되면 상기 입력된 음성에 대한 음성 인식 중임을 상기 적어도 하나의 LED를 이용하여 표시하는 단계;
    음성 인식을 수행하는 단계; 및
    음성 인식이 완료되면 상기 적어도 하나의 LED가 상기 음성 인식에 따라 점등되도록 제어하는 단계;를 포함하고,
    상기 음성 인식을 수행하는 단계는,
    상기 입력된 음성에 대응하는 음성 신호를 음성 인식을 위한 외부 서버로 전송하는 단계; 및
    상기 외부 서버로부터 음성 인식 결과를 수신하는 단계;를 포함하며,
    상기 가전 기기는 상기 적어도 하나의 LED를 포함한 복수의 LED를 포함하고,
    상기 표시하는 단계는,
    상기 입력된 음성에 대한 음성 인식 중임을 나타내도록 상기 복수의 LED 중 적어도 2 이상의 LED를 순차적으로 점등하는 가전 기기의 제어방법.
  17. 삭제
  18. 제16항에 있어서,
    상기 가전 기기의 에러 상태, 자가 진단 상태 또는 소프트웨어 업그레이드 상태를 나타내도록 상기 적어도 하나의 LED를 제어하는 단계;를 더 포함하는 가전 기기의 제어방법.
  19. 삭제
  20. 음성 인식 시스템에 있어서,
    적어도 하나의 기능 각각의 선택 상태를 개별적으로 표시하는 적어도 하나의 LED를 포함하며, 사용자 음성이 입력되면 입력된 음성에 대응하는 음성 신호를 서버로 전송하는 가전 기기; 및
    상기 가전 기기로부터 수신한 음성 신호에 대응하는 음성 인식 결과를 상기 가전 기기로 전송하는 서버;를 포함하며,
    상기 가전 기기는,
    상기 가전 기기는 상기 적어도 하나의 LED를 포함한 복수의 LED를 포함하고,
    상기 서버로부터 음성 인식 결과를 기다리는 동안 음성 인식 중임을 나타내도록 상기 복수의 LED 중 적어도 2 이상의 LED를 순차적으로 점등하고, 상기 서버로부터 수신된 음성 인식 결과에 따라 상기 적어도 하나의 LED의 점등을 제어하는 음성 인식 시스템.
KR1020170111395A 2017-08-31 2017-08-31 가전 기기 및 그의 제어방법 KR102371752B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170111395A KR102371752B1 (ko) 2017-08-31 2017-08-31 가전 기기 및 그의 제어방법
CN201880053713.0A CN111033473A (zh) 2017-08-31 2018-08-22 家用电器及其控制方法
EP18850973.1A EP3633513A4 (en) 2017-08-31 2018-08-22 HOUSEHOLD APPLIANCES AND ASSOCIATED CONTROL PROCESS
US16/643,477 US20200365150A1 (en) 2017-08-31 2018-08-22 Home appliance and control method therefor
PCT/KR2018/009681 WO2019045358A1 (ko) 2017-08-31 2018-08-22 가전 기기 및 그의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170111395A KR102371752B1 (ko) 2017-08-31 2017-08-31 가전 기기 및 그의 제어방법

Publications (2)

Publication Number Publication Date
KR20190024415A KR20190024415A (ko) 2019-03-08
KR102371752B1 true KR102371752B1 (ko) 2022-03-07

Family

ID=65527607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170111395A KR102371752B1 (ko) 2017-08-31 2017-08-31 가전 기기 및 그의 제어방법

Country Status (5)

Country Link
US (1) US20200365150A1 (ko)
EP (1) EP3633513A4 (ko)
KR (1) KR102371752B1 (ko)
CN (1) CN111033473A (ko)
WO (1) WO2019045358A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6921969B2 (ja) * 2017-09-20 2021-08-18 シャープ株式会社 空気清浄機
US10885077B2 (en) * 2017-09-28 2021-01-05 Google Llc Subquery generation from a query
KR102428782B1 (ko) * 2017-12-29 2022-08-03 엘지전자 주식회사 세탁기 및 세탁기의 동작방법
KR20210058418A (ko) * 2019-11-14 2021-05-24 엘지전자 주식회사 가전기기 및 가전기기 제어 방법
WO2021107345A1 (ko) * 2019-11-28 2021-06-03 엘지전자 주식회사 냉장고
US11671311B2 (en) * 2020-10-23 2023-06-06 Netapp, Inc. Infrastructure appliance malfunction detection
CN112998538A (zh) * 2021-03-10 2021-06-22 上海松下微波炉有限公司 蒸烤箱
KR102640325B1 (ko) 2021-12-21 2024-02-23 엘지전자 주식회사 냉장고, 가전기기 및 가전기기 제어시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084413A1 (ko) 2012-11-28 2014-06-05 엘지전자 주식회사 가전 기기 구동 장치 및 방법
US20150382047A1 (en) 2014-06-30 2015-12-31 Apple Inc. Intelligent automated assistant for tv user interactions
US20170068423A1 (en) 2015-09-08 2017-03-09 Apple Inc. Intelligent automated assistant in a media environment
US20170206900A1 (en) 2016-01-20 2017-07-20 Samsung Electronics Co., Ltd. Electronic device and voice command processing method thereof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304450B2 (en) * 2016-05-10 2019-05-28 Google Llc LED design language for visual affordance of voice user interfaces
JP2004282295A (ja) * 2003-03-14 2004-10-07 Sangaku Renkei Kiko Kyushu:Kk ワンタイムｉｄの生成方法、認証方法、認証システム、サーバ、クライアントおよびプログラム
KR20060032060A (ko) * 2004-10-11 2006-04-14 주식회사 대우일렉트로닉스 드럼세탁기용 엘이디 가이드 마운팅 구조
KR20080061901A (ko) * 2006-12-28 2008-07-03 주식회사 유진로봇 로봇의 입출력 장치에 의한 효율적인 음성인식 방법 및시스템
KR20080096239A (ko) * 2007-04-27 2008-10-30 정장오 주방tv 및 홈네트워크시스템 및 가전기기를 음성으로제어하는 음성인식 네트워크주방tv시스템.
KR101423082B1 (ko) * 2013-01-11 2014-07-24 한밭대학교 산학협력단 음성인식 스위치 시스템
US10380852B2 (en) * 2017-05-12 2019-08-13 Google Llc Systems, methods, and devices for activity monitoring via a home assistant

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084413A1 (ko) 2012-11-28 2014-06-05 엘지전자 주식회사 가전 기기 구동 장치 및 방법
US20150382047A1 (en) 2014-06-30 2015-12-31 Apple Inc. Intelligent automated assistant for tv user interactions
US20170068423A1 (en) 2015-09-08 2017-03-09 Apple Inc. Intelligent automated assistant in a media environment
US20170206900A1 (en) 2016-01-20 2017-07-20 Samsung Electronics Co., Ltd. Electronic device and voice command processing method thereof

Also Published As

Publication number Publication date
US20200365150A1 (en) 2020-11-19
EP3633513A4 (en) 2020-07-22
WO2019045358A1 (ko) 2019-03-07
KR20190024415A (ko) 2019-03-08
EP3633513A1 (en) 2020-04-08
CN111033473A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
KR102371752B1 (ko) 가전 기기 및 그의 제어방법
US11422772B1 (en) Creating scenes from voice-controllable devices
US11353259B2 (en) Augmented-reality refrigerator and method of controlling thereof
CN111095399B (zh) 助理应用的语音用户接口快捷方式
US20200193996A1 (en) Restocking Method and System
US10573171B2 (en) Method of associating user input with a device
KR102416782B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US20220282910A1 (en) Augmented-reality refrigerator and method of controlling thereof
CN104866274B (zh) 信息处理方法及电子设备
CN110045638B (zh) 一种烹饪信息的推荐方法、装置及存储介质
US20220358927A1 (en) Recommending automated assistant action for inclusion in automated assistant routine
CN105740020A (zh) 应用程序的启动方法、启动装置和终端
CN109410950B (zh) 一种烹饪设备的语音控制方法及系统
JP2003108183A (ja) 音声制御装置及び加熱調理器
CN109380975A (zh) 烹饪器具及其控制方法和系统、服务器
CN208957616U (zh) 烹饪器具及其控制系统、服务器
AU2019302632B2 (en) Method for operating a cooking appliance
CN113223510B (zh) 冰箱及其设备语音交互方法、计算机可读存储介质
CN110164426A (zh) 语音控制方法和计算机存储介质
KR102567454B1 (ko) 조리 과정에 대한 타임라인을 결정할 수 있는 전자 장치
CN113359569A (zh) 菜谱的处理方法及装置
WO2022181039A1 (ja) 音声インタフェースを起動させる方法、コンピュータプログラム及び制御装置
EP4301092A1 (en) Controller and heating cooker having said controller
JPH06128A (ja) 炊飯器
CN116310415A (zh) 一种有效保障容器内部卫生的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant