KR102088322B1 - 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템 - Google Patents

인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템 Download PDF

Info

Publication number
KR102088322B1
KR102088322B1 KR1020180141611A KR20180141611A KR102088322B1 KR 102088322 B1 KR102088322 B1 KR 102088322B1 KR 1020180141611 A KR1020180141611 A KR 1020180141611A KR 20180141611 A KR20180141611 A KR 20180141611A KR 102088322 B1 KR102088322 B1 KR 102088322B1
Authority
KR
South Korea
Prior art keywords
appliance
control
information
control command
recognition
Prior art date
Application number
KR1020180141611A
Other languages
English (en)
Inventor
이흥규
류재철
박상배
백승면
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180141611A priority Critical patent/KR102088322B1/ko
Priority to US16/686,022 priority patent/US11615792B2/en
Application granted granted Critical
Publication of KR102088322B1 publication Critical patent/KR102088322B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명의 실시 예에 따른 인공지능 기반의 어플라이언스 제어 장치는, 음성 처리 장치 또는 제어 명령 입력 장치와 연결되고, 상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로부터 어플라이언스에 대한 제어 명령을 수신하는 통신부와, 상기 수신된 제어 명령에 기초하여 상기 어플라이언스에 대한 설정 환경을 인식하고, 인식된 설정 환경에 기초하여 상기 어플라이언스에 대한 제어 정보를 생성하는 인식 모듈을 포함하는 인식 장치; 및 상기 인식 장치로부터 상기 제어 정보를 수신하고, 수신된 제어 정보에 기초하여 제어 신호를 생성하고, 생성된 제어 신호를 상기 어플라이언스 또는 상기 어플라이언스와 연결된 제어 명령 입력 장치로 전송하는 제어 장치를 포함한다.

Description

인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템{APPLIANCE CONTROLLING APPARATUS BASED ON ARTIFICIAL INTELLIGENCE AND APPLIANCE CONTROLLING SYSTEM INCLUDING THE SAME}
본 발명은 어플라이언스 제어 장치에 관한 것으로서, 특히 인공지능 기술에 기반하여 어플라이언스를 제어할 수 있는 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 시스템에 관한 것이다.
최근 인공지능(artificial intelligence) 기술에 대한 관심이 증가하고 있다. 상기 인공지능 기술의 여러 분야 중 인간의 학습 능력을 컴퓨터 상에서 실현하기 위한 기술로서 머신 러닝이 존재한다.
종래의 머신 러닝은 통계학 기반의 분류, 회귀, 군집 모델이 중심이었다. 특히, 분류, 회귀 모델의 지도 학습에서는 학습 데이터의 특성과 이러한 특성을 기반으로 새로운 데이터를 구별하는 학습 모델이 사전에 정의되었다. 이와 달리, 최근 빅데이터 개념의 등장과 함께 관심도가 증가하는 딥러닝은, 방대한 양의 데이터를 이용하여 컴퓨터가 스스로 특성을 찾아내고 판별하는 것이다.
최근 이러한 딥러닝과 관련되어 오픈소스로 제공되는 딥러닝 프레임워크들이 등장하였고, 이에 따라 효과적인 학습 및 인식을 위해, 딥러닝 알고리즘 외에 학습 과정, 학습 방법, 학습에 사용되는 데이터의 추출 및 선정과 관련된 기술이 더욱 중요해지고 있다. 또한, 머신 러닝을 다양한 제품이나 서비스에 이용하기 위한 연구가 증가하고 있다.
한편, 기술의 발전에 따라, 가정 내에 구비되는 홈 어플라이언스의 종류가 증가하고 있고, 홈 어플라이언스에 구비되는 각종 부가 기능이 증가하는 추세이다. 이에 따라, 상기 홈 어플라이언스와 같은 어플라이언스에 인공지능 기술을 적용하여, 사용자로 하여금 다양한 환경이나 상황에 맞추어 홈 어플라이언스들을 최적의 방식으로 이용할 수 있도록 하기 위한 연구가 활발히 진행되고 있다.
본 발명이 해결하고자 하는 과제는, 사용자로부터 수신되는 어플라이언스 제어 명령으로부터 최적의 어플라이언스 설정 환경을 인식하여 어플라이언스의 동작을 제어할 수 있는 인공지능 기반의 어플라이언스 제어 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 어플라이언스에서 발생한 이벤트에 기초하여 상기 어플라이언스 또는 연동 가능한 어플라이언스에 대한 설정 환경을 인식하여 다양한 어플라이언스의 동작을 능동적으로 제어할 수 있는 인공지능 기반의 어플라이언스 제어 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 마이크로폰 등의 음성 입력 수단이 구비되지 않은 어플라이언스에 대한 음성 제어를 가능하게 하는 제어 명령 입력 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 어플라이언스 제어 장치와 연결하기 위한 통신 모듈이 구비되지 않은 어플라이언스에 유선 또는 근거리 무선 통신 방식 등으로 연결되어, 상기 어플라이언스 제어 장치와 상기 어플라이언스 간의 신호나 데이터 전달을 가능하게 하는 제어 명령 입력 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 어플라이언스에 대한 설정 환경을 인식하여 제어 정보를 생성할 때, 사용자와의 인터랙션을 통해 사용자의 의도에 최적화된 제어 정보의 생성이 가능한 어플라이언스 제어 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 어플라이언스 제어 장치는, 음성 처리 장치 또는 제어 명령 입력 장치와 연결되고, 상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로부터 어플라이언스에 대한 제어 명령을 수신하는 통신부와, 상기 수신된 제어 명령에 기초하여 상기 어플라이언스에 대한 설정 환경을 인식하고, 인식된 설정 환경에 기초하여 상기 어플라이언스에 대한 제어 정보를 생성하는 인식 모듈을 포함하는 인식 장치; 및 상기 인식 장치로부터 상기 제어 정보를 수신하고, 수신된 제어 정보에 기초하여 제어 신호를 생성하고, 생성된 제어 신호를 상기 어플라이언스 또는 상기 어플라이언스와 연결된 제어 명령 입력 장치로 전송하는 제어 장치를 포함한다.
상기 인식 모듈은, 상기 수신된 제어 명령으로부터 상기 어플라이언스에 대한 설정 환경을 인식하기 위한 인식 모델을 갖는 제1 인식기, 및 상기 인식된 설정 환경에 기초하여 상기 제어 정보를 생성하는 제어 정보 생성 모듈을 포함할 수 있다.
상기 인식 모듈은, 상기 제어 명령 및 상기 인식 결과를 이용하여, 상기 제1 인식기에 포함된 상기 인식 모델을 업데이트할 수 있다.
실시 예에 따라, 상기 인식 장치는 사용자 프로파일 및 어플라이언스 프로파일을 저장하는 메모리를 더 포함하고, 상기 통신부를 통해 연결된 외부 컨텐츠 서버로부터 외부 컨텐츠를 수신하고, 상기 제1 인식기는, 상기 외부 컨텐츠, 상기 사용자 프로파일, 및 상기 어플라이언스 프로파일 중 적어도 하나와 상기 제어 명령으로부터 상기 설정 환경을 인식할 수 있다.
상기 메모리에 저장된 사용자 프로파일은, 사용자가 보유한 어플라이언스들의 모델 정보, 사용 패턴, 구동 히스토리, 그룹 정보, 및 그룹별 대표 어플라이언스 정보 중 적어도 하나를 포함하고, 상기 메모리에 저장된 어플라이언스 프로파일은, 어플라이언스들의 모델들 각각에 대해, 지원가능한 기능 또는 모드들에 대한 정보를 포함할 수 있다.
상기 제어 정보 생성 모듈은, 상기 인식된 설정 환경에 기초하여, 상기 어플라이언스의 식별 정보, 상기 설정 환경에 기초하여 제어되는 기능 또는 모드 정보, 및 상기 기능 또는 모드와 관련된 설정값 정보 중 적어도 하나를 포함하는 상기 제어 정보를 생성할 수 있다.
상기 제어 장치는, 상기 제어 정보를 수신한 경우, 상기 제어 정보에 포함된 상기 어플라이언스의 식별 정보에 기초하여, 상기 어플라이언스의 상기 기능 또는 모드 정보, 및 상기 설정값 정보 중 적어도 하나에 대응하는 코드 정보를 획득하고, 획득된 코드 정보를 포함하는 상기 제어 신호를 생성할 수 있다.
실시 예에 따라, 상기 제어 장치는 상기 어플라이언스를 포함하는 그룹의 대표 어플라이언스를 통해 상기 어플라이언스로 상기 제어 신호를 전송할 수 있다.
실시 예에 따라, 상기 제어 장치는 상기 어플라이언스 또는 상기 어플라이언스와 연결된 제어 명령 입력 장치로부터, 상기 제어 명령에 따른 응답 또는 이벤트 정보를 수신하고, 수신된 응답 또는 이벤트 정보를 상기 인식 장치로 전송할 수 있다. 상기 인식 모듈은, 수신된 응답 또는 이벤트 정보로부터 상기 어플라이언스 또는 상기 어플라이언스와 연동된 타겟 어플라이언스에 대한 설정 환경을 인식하기 위한 인식 모델을 갖는 제2 인식기를 더 포함할 수 있다. 상기 제어 정보 생성 모듈은, 상기 인식된 설정 환경에 기초하여 상기 어플라이언스 또는 상기 타겟 어플라이언스에 대한 제어 정보를 생성할 수 있다.
상기 인식 장치는, 상기 응답 또는 이벤트 정보와, 상기 인식 결과를 이용하여 상기 제2 인식기에 포함된 상기 인식 모델을 업데이트할 수 있다.
실시 예에 따라, 상기 인식 장치는 사용자 프로파일 및 어플라이언스 프로파일을 저장하는 메모리를 더 포함하고, 상기 통신부를 통해 연결된 외부 컨텐츠 서버로부터 외부 컨텐츠를 수신하고, 상기 제2 인식기는, 상기 외부 컨텐츠, 상기 사용자 프로파일, 및 상기 어플라이언스 프로파일 중 적어도 하나와 상기 응답 또는 이벤트 정보로부터 상기 설정 환경을 인식할 수 있다.
실시 예에 따라, 상기 인식 모듈은 상기 인식된 설정 환경에 기초한 안내 정보를 생성하는 가이드 제공 모듈을 더 포함하고, 상기 인식 장치는, 상기 생성된 안내 정보를 상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로 전송하도록 상기 통신부를 제어할 수 있다.
상기 인식 장치는, 상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로부터 상기 안내 정보에 기초한 응답을 수신하고, 수신된 응답에 기초하여, 상기 어플라이언스 또는 상기 타겟 어플라이언스에 대한 제어 정보를 생성하고, 생성된 제어 정보를 상기 제어 장치로 전송할 수 있다.
본 발명의 실시 예에 따른 어플라이언스 제어 시스템은, 어플라이언스에 대한 제어 명령을 수신하고, 수신된 제어 명령을 인식 장치 또는 음성 처리 장치로 전송하는 제어 명령 입력 장치; 상기 제어 명령 입력 장치 또는 상기 음성 처리 장치로부터 상기 제어 명령을 수신하고, 수신된 제어 명령에 기초하여 상기 어플라이언스에 대한 설정 환경을 인식하고, 인식된 설정 환경에 기초하여 상기 어플라이언스에 대한 제어 정보를 생성하는 상기 인식 장치; 및 상기 인식 장치로부터 상기 제어 정보를 수신하고, 수신된 제어 정보에 기초하여 제어 신호를 생성하고, 생성된 제어 신호를 상기 어플라이언스 또는 상기 어플라이언스와 연결된 제어 명령 입력 장치로 전송하는 제어 장치를 포함한다.
상기 제어 명령 입력 장치는, 상기 제어 명령을 포함하는 음성을 수신하는 마이크로폰, 및 상기 수신된 음성을 상기 음성 처리 장치로 전송하는 통신부를 포함할 수 있다.
실시 예에 따라, 상기 어플라이언스와 연결된 제어 명령 입력 장치는, 인터페이스부 또는 상기 통신부의 근거리 무선 통신 모듈을 통해 상기 어플라이언스와 연결되고, 상기 제어 장치로부터 수신되는 상기 제어 신호를, 상기 인터페이스부 또는 상기 근거리 무선 통신 모듈을 통해 상기 어플라이언스로 전송할 수 있다.
실시 예에 따라, 상기 인식 장치는 상기 인식된 설정 환경에 기초한 안내 정보를 생성하고, 생성된 안내 정보를 상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로 전송할 수 있다. 상기 제어 명령 입력 장치는, 상기 인식 장치 또는 상기 음성 처리 장치로부터 수신되는 상기 안내 정보를 출력하고, 출력된 안내 정보에 기초한 응답을 수신하고, 수신된 응답을 상기 인식 장치 또는 상기 음성 처리 장치로 전송할 수 있다.
본 발명의 실시 예에 따르면, 어플라이언스 제어 장치는 머신 러닝 등 인공지능 기반의 기학습된 데이터를 이용하여, 사용자로부터 수신된 제어 명령 또는 어플라이언스로부터 수신된 이벤트 정보로부터 어플라이언스에 대한 최적의 설정 환경을 인식함으로써, 어플라이언스의 효율적인 동작을 가능하게 할 수 있다.
또한, 어플라이언스 제어 장치는 어플라이언스에서 발생한 이벤트에 기초하여 상기 어플라이언스 또는 연동 가능한 어플라이언스에 대한 최적의 제어를 가능하게 하여, 사용자의 편의성 및 만족도 향상이 가능하다.
또한, 어플라이언스 제어 시스템의 제어 명령 입력 장치는 마이크로폰을 구비하여 사용자의 제어 명령을 음성으로 수신할 수 있다. 상기 제어 명령 입력 장치가 구현됨에 따라, 사용자는 마이크로폰이 구비되지 않은 어플라이언스를 음성으로 제어할 수 있다. 뿐만 아니라, 어플라이언스는 마이크로폰을 필수적으로 포함하지 않을 수 있으므로, 어플라이언스 내에 마이크로폰의 내장 시 요구되는 성능 테스트나 최적 위치에 대한 테스트로 인한 개발 시간이나 비용의 소모를 방지할 수 있다.
또한, 어플라이언스 제어 장치는 제어 명령 입력 장치를 통한 사용자와의 인터랙션을 통해 어플라이언스에 대한 제어 정보를 생성함으로써, 사용자의 의도를 정확히 반영한 어플라이언스 제어 동작을 수행할 수 있다. 이에 따라, 어플라이언스 제어 장치를 통해 제공되는 서비스에 대한 사용자의 만족도가 극대화될 수 있다.
뿐만 아니라, 제어 명령 입력 장치는 와이파이 등의 무선 통신 모듈이 구비되지 않은 어플라이언스와 USB 인터페이스 등을 통해 유선으로 연결되거나, 블루투스 등의 근거리 통신 방식을 통해 연결될 수 있다. 이에 따라, 어플라이언스 제어 장치는 상기 제어 명령 입력 장치를 통해 어플라이언스의 동작을 효과적으로 제어할 수 있다.
도 1은 본 발명의 실시 예에 따른 어플라이언스 제어 시스템의 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 어플라이언스 제어 장치의 개략적인 블록도이다.
도 3은 도 2에 도시된 제어 장치의 개략적인 블록도이다.
도 4는 도 1에 도시된 제어 명령 입력 장치의 개략적인 블록도이다.
도 5는 제어 명령 입력 장치의 일례로서 포터블 음성 입력 장치를 나타내는 도면이다.
도 6은 어플라이언스 제어 시스템의 제어 동작의 일례를 나타내는 래더 다이어그램이다.
도 7 및 도 8은 도 6에 도시된 제어 동작의 예시도이다.
도 9는 도 6에 도시된 제어 동작의 다른 예시도이다.
도 10 내지 도 11은 도 6에 도시된 제어 동작의 다른 실시 예로서, 제어 장치가 포터블 음성 입력 장치를 통해 어플라이언스를 제어하는 동작을 나타내는 예시도이다.
도 12는 본 발명의 실시 예에 따른 인공지능 기반의 어플라이언스 제어 장치의 개략적인 블록도이다.
도 13은 도 12에 도시된 인식 장치의 개략적인 블록도이다.
도 14와 도 15는 도 13에 도시된 인식 모듈을 보다 구체적으로 나타낸 도면이다.
도 16 내지 도 17은, 도 14 및 도 15의 제1 인식기와 제2 인식기에 적용되는 인공지능의 일례로서 딥러닝(deep learning)을 설명하기 위한 도면들이다.
도 18은 도 14에 도시된 제1 인식기의 인식 동작 및 학습 동작을 설명하기 위한 도면이다.
도 19는 인공지능 기반의 어플라이언스 제어 장치의 어플라이언스 제어 동작의 일례를 설명하기 위한 플로우차트이다.
도 20은 도 19에 도시된 제어 동작과 관련된 예시도이다.
도 21은 도 15에 도시된 제2 인식기의 인식 동작 및 학습 동작을 설명하기 위한 도면이다.
도 22는 인공지능 기반의 어플라이언스 제어 장치의 어플라이언스 제어 동작의 다른 일례를 설명하기 위한 플로우차트이다.
도 23은 도 22에 도시된 제어 동작과 관련된 예시도이다.
도 24는 인공지능 기반의 어플라이언스 제어 장치의 어플라이언스 제어 동작의 또 다른 일례를 설명하기 위한 래더 다이어그램이다.
도 25 내지 도 26는 도 24의 제어 동작과 관련된 구체적인 실시 예를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명한다. 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 어플라이언스 제어 시스템의 개념도이다.
도 1을 참조하면, 어플라이언스 제어 시스템은 어플라이언스 제어 장치(10), 적어도 하나의 제어 명령 입력 장치(20), 및 적어도 하나의 어플라이언스(30)를 포함할 수 있다.
이하, 본 명세서에서는 어플라이언스가 가정에서 사용되는 홈 어플라이언스인 것으로 가정하여 설명하나, 본 발명의 실시 예가 홈 어플라이언스에만 한정되는 것은 아니다. 예컨대, 상기 어플라이언스는 업무 공간 등에서 사용되는 오피스 어플라이언스를 포함할 수도 있고, 기타 다양한 어플라이언스를 포함할 수 있다.
어플라이언스 제어 장치(10)는 제어 명령 입력 장치(20)로부터 다양한 형태의 제어 명령을 수신하고, 수신된 제어 명령에 기초한 제어 신호를 어플라이언스(30)로 전송할 수 있다.
또한, 어플라이언스 제어 장치(10)는 어플라이언스(30)에서 발생한 이벤트에 대한 정보를 수신하고, 수신된 정보를 제어 명령 입력 장치(20)를 통해 사용자에게 알릴 수 있다.
이러한 어플라이언스 제어 장치(10)는 적어도 하나의 서버로 구현될 수 있다. 어플라이언스 제어 장치(10)의 구체적인 구성 및 동작에 대해서는 추후 보다 상세히 설명하기로 한다.
제어 명령 입력 장치(20)는 사용자로부터 어플라이언스(30)의 제어를 위한 제어 명령을 수신하고, 수신된 제어 명령을 어플라이언스 제어 장치(10)로 전송할 수 있다.
상기 제어 명령은, 제어 명령 입력 장치(20)의 형태에 따라 다양한 형태로 입력될 수 있다. 예컨대, 제어 명령 입력 장치(20)가 마이크로폰을 포함하는 경우, 상기 제어 명령은 음성 형태로 입력될 수 있다. 한편, 제어 명령 입력 장치(20)가 디스플레이를 포함하는 경우, 상기 제어 명령은 텍스트 형태나 그래픽 형태 등으로 입력될 수 있다.
또한, 제어 명령 입력 장치(20)는 스피커나 디스플레이 등의 출력 수단을 구비할 수 있다. 이에 따라, 제어 명령 입력 장치(20)는 상기 입력된 제어 명령에 따른 처리 결과나 응답 등을 출력하거나, 어플라이언스 제어 장치(10)로부터 수신되는 정보나 데이터를 출력할 수 있다. 상기 정보나 데이터는 어플라이언스(30)에서 발생하는 각종 이벤트와 관련된 것일 수 있다.
예컨대, 제어 명령 입력 장치(20)는 스마트폰이나 태블릿 PC 등의 이동 단말기, 마이크로폰 등의 입력 수단이 내장된 오디오 출력 장치(예컨대, 인공지능 스피커), 상기 입력 수단이 내장된 어플라이언스(예컨대, 마이크로폰을 갖는 에어컨, 세탁기 등) 등을 포함할 수 있다.
또한, 제어 명령 입력 장치(20)는 포터블 음성 입력 장치를 포함할 수도 있다. 상기 포터블 음성 입력 장치는 특정 공간의 임의의 위치에 설치되거나, 어플라이언스의 소정 위치에 착탈될 수 있다.
실시 예에 따라, 포터블 음성 입력 장치는 USB 인터페이스 등을 통해 어플라이언스와 유선으로 연결되거나, 블루투스 등의 근거리 무선 통신 방식을 통해 어플라이언스와 연결될 수 있다. 이에 따라, 어플라이언스에 와이파이 모듈 등의 유무선 인터넷 모듈이 구비되지 않더라도, 상기 어플라이언스는 포터블 음성 입력 장치를 통해 어플라이언스 제어 서버(10)와 신호 또는 데이터를 주고받을 수 있다.
상기 포터블 음성 입력 장치는 사용자로부터 음성 형태의 제어 명령을 수신하고, 수신된 제어 명령을 어플라이언스 제어 장치(10)로 전송할 수 있다. 상기 포터블 음성 입력 장치의 예시적인 형태에 대해서는 추후 도 5를 참조하여 설명하기로 한다.
어플라이언스(30)는 특정 기능을 수행하기 위한 기기를 의미할 수 있다. 예컨대, 상기 어플라이언스(30)는 공기조화기, 공기청정기, 청소기, 의류관리기, 냉장고, 오븐, 식기세척기, 정수기, 세탁기, 건조기 등의 각종 홈 어플라이언스를 포함할 수 있다.
어플라이언스(30) 각각은 어플라이언스 제어 장치(10) 또는 다른 어플라이언스(30)와의 통신 연결을 위한 통신 모듈을 포함할 수 있다. 예컨대, Wi-Fi 등의 무선 인터넷 모듈이 구비된 어플라이언스(30)는 어플라이언스 제어 장치(10)와 연결될 수 있다.
반면, 블루투스 등의 근거리 통신 모듈이 구비된 어플라이언스(30)는 상기 무선 인터넷 모듈이 구비된 다른 어플라이언스(30) 또는 제어 명령 입력 장치(20)와 연결되어, 상기 다른 어플라이언스 또는 제어 명령 입력 장치(20)를 통해 어플라이언스 제어 장치(10)와 연결될 수 있다. 이 경우, 상기 다른 어플라이언스는 일종의 허브로서 기능할 수도 있다.
실시 예에 따라, 어플라이언스(30)는 통신 모듈을 구비하지 않을 수도 있다. 이러한 어플라이언스(30)는 제어 명령 입력 장치(20)와 USB 인터페이스 등을 통해 유선으로 연결됨으로써, 상기 제어 명령 입력 장치(20)를 통해 어플라이언스 제어 장치(10)와 신호 또는 데이터 등을 주고받을 수 있다.
실시 예에 따라, 상기 어플라이언스(30)는 마이크로폰 등의 입력 수단을 구비할 수 있다. 이 경우, 어플라이언스(30)는 제어 명령 입력 장치(20)로도 기능할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 어플라이언스 제어 장치의 개략적인 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 어플라이언스 제어 장치(10a)는 음성 처리 장치(11) 및 제어 장치(13)를 포함할 수 있다. 음성 처리 장치(11) 및 제어 장치(13) 각각은 별도의 서버 형태로 구현될 수도 있고, 하나의 서버에 통합적으로 구현될 수도 있다.
음성 처리 장치(11)는 제어 명령 입력 장치(20a)로부터 음성을 수신할 수 있다. 예컨대, 상기 음성은 사용자가 발화한 자연어로서, 상기 자연어에는 특정 어플라이언스에 대한 제어 명령이 포함될 수 있다.
음성 처리 장치(11)는 수신된 음성을 처리하여 텍스트로 변환하고, 변환된 텍스트로부터 특정 어플라이언스에 대한 제어 명령을 획득할 수 있다. 음성 처리 장치(11)는 획득된 제어 명령을 제어 장치(13)로 전송할 수 있다. 또는, 음성 처리 장치(11)는 제어 장치(13)로부터 전송된 텍스트 또는 코드 형태의 메시지나 각종 정보를 음성 형태로 변환하고, 변환된 음성 형태의 안내 메시지 또는 각종 정보를 제어 명령 입력 장치(20a)로 전송할 수 있다.
구체적으로, 음성 처리 장치(11)는 ASR (automatic speech recognition) 모듈(111), NLP (Natural language processing) 모듈(113), 및 TTS (text to speech) 모듈(115)을 포함할 수 있다. 상기 ASR 모듈(111), NLP 모듈(113), 및 TTS 모듈(115)은 하나의 서버 내에 구현되거나, 각각 별도의 서버로 구현될 수 있다.
ASR 모듈(111)은 기 공지된 자동 음성 인식 기술을 이용하여, 제어 명령 입력 장치(20a)로부터 전송된 음성을 텍스트로 변환할 수 있다.
NLP 모듈(113)은 변환된 텍스트로부터 제어 장치(13) 또는 어플라이언스(30)가 처리 가능한 제어 명령이 포함되어 있는지 여부를 확인(분석)할 수 있다. 예컨대, NLP 모듈(113)은 상기 변환된 텍스트에 대응하는 자연어로부터 어플라이언스(30)의 식별을 위한 키워드, 및/또는 어플라이언스(30)의 기능이나 동작과 관련된 키워드를 획득할 수 있다. NLP 모듈(113)은 획득된 키워드에 기초하여 상기 제어 명령을 확인할 수 있다.
또는, NLP 모듈(113)은 제어 장치(13)로부터 전송된 메시지 또는 정보에 기초하여, 상기 메시지 또는 정보를 포함하는 자연어 형태의 텍스트를 생성하고, 생성된 텍스트를 TTS 모듈(115)로 전송할 수 있다.
TTS 모듈(115)은 NLP 모듈(113)로부터 전송된 텍스트를 음성으로 변환하고, 변환된 음성을 제어 명령 입력 장치(20a)로 전송할 수 있다.
제어 장치(13)는, 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로부터 어플라이언스(30)에 대한 제어 명령을 수신하고, 수신된 제어 명령에 대응하는 제어 신호를 생성할 수 있다. 제어 장치(13)는 생성된 제어 신호를 어플라이언스(30)로 전송할 수 있다. 한편, 제어 명령 입력 장치(20b)는 사용자로부터 텍스트 형태의 제어 명령을 수신하거나, 디스플레이를 통해 표시한 GUI에 기초하여 입력되는 제어 명령을 수신할 수 있다.
한편, 제어 장치(13)는 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)에 기초하여 상기 제어 신호를 생성할 수 있다.
사용자 프로파일(UP)은 제어 명령 입력 장치(20a)의 사용자가 보유한 어플라이언스들에 대한 정보를 포함할 수 있다. 실시 예에 따라, 사용자 프로파일(UP)은 사용자가 보유한 어플라이언스들의 제품 정보(모델 정보), 상기 보유한 어플라이언스들 각각에 대한 구동 히스토리, 사용 패턴, 에러 히스토리, 수리 내역 등의 다양한 정보를 더 포함할 수 있다.
실시 예에 따라, 사용자가 보유한 어플라이언스들은 공간별 또는 기능별 등의 기준에 따라 그룹화되고, 각 그룹의 대표 어플라이언스만이 제어 장치(13)와 직접 연결될 수 있다. 예컨대, 거실에 위치한 어플라이언스들 중 공기청정기가 근거리 통신 모듈만을 구비하여 제어 장치(13)와 직접 연결될 수 없는 경우, 공기청정기는 에어컨을 통해 제어 장치(13)와 연결될 수 있다. 이 경우, 거실에 위치한 어플라이언스들 중 에어컨이 대표 어플라이언스에 해당할 수 있다.
제어 장치(13)는 상기 대표 어플라이언스를 통해 나머지 어플라이언스를 제어할 수 있다. 이를 위해, 사용자 프로파일(UP)에는 상기 어플라이언스들의 그룹 정보, 대표 어플라이언스 정보, 및/또는 어플라이언스들 간의 연결 정보 등이 더 포함될 수 있다.
어플라이언스 프로파일(AP)은 어플라이언스의 제품들(모델들) 각각이 지원하는 기능들(모드들)에 대한 정보와, 기능들 각각에 대한 데이터 형식(예컨대, 코드 정보) 등을 포함할 수 있다.
제어 장치(13)는 상기 제어 명령, 사용자 프로파일(UP), 및 어플라이언스 프로파일(AP)에 기초하여 상기 제어 신호를 생성할 수 있다. 예컨대, 상기 제어 명령이 공기조화기를 제습 모드로 구동시키는 명령을 포함하는 경우, 제어 장치(13)는 사용자 프로파일(UP)로부터 사용자가 보유한 공기조화기의 제품 정보(모델 정보)를 획득할 수 있다. 그리고, 제어 장치(13)는 어플라이언스 프로파일(AP)로부터 상기 사용자가 보유한 공기조화기의 모델의 제습 모드에 대한 코드 정보를 획득할 수 있다. 제어 장치(13)는 획득된 코드 정보를 이용하여, 상기 공기조화기의 제습 모드를 구동시키기 위한 제어 신호를 생성할 수 있다. 제어 장치(13)는 생성된 제어 신호를 공기조화기로 전송하고, 공기조화기는 수신된 제어 신호에 응답하여 제습 모드를 활성화할 수 있다.
한편, 어플라이언스(30)는, 세부 모델에 따라 특정 기능에 대한 코드 정보가 상이할 수 있다. 즉, 모델에 따라 코드 정보가 파편화되어 있을 수 있다. 이 경우, 제어 장치(13)가 제어 명령에 기초한 제어 신호를 생성하기 위해서는, 상기 모델들 각각에 대한 코드 정보를 획득하는 추가적인 과정이 필요할 수 있다. 제어 장치(13)는 다수의 사용자들 각각으로부터 수신되는 다수의 제어 명령들 각각을 처리하여 제어 신호를 생성하므로, 상기 추가적인 과정은 제어 장치(13)의 부하 증가 및 처리속도 지연을 초래할 수 있다.
이에 따라, 어플라이언스 제어 장치(10a)는 타겟 어플라이언스(또는 제어 대상 어플라이언스)의 모델에 대한 코드 정보를 갖는 제어 신호를 생성하는 동작을 수행하는 데이터 변환 모듈(15)을 더 포함할 수 있다. 데이터 변환 모듈(15)은 제어 장치(13)와 별도의 서버로 구현되거나, 제어 장치(13)와 함께 하나의 서버로 구현될 수도 있다. 또는, 데이터 변환 모듈(15)은 어플라이언스 제어 장치(10a)와 별도의 구성으로 구현될 수도 있다. 실시 예에 따라, 데이터 변환 모듈(15)은 복수 개로 구현되어, 각각의 데이터 변환 모듈(15)이 제어 장치(13)와 연결될 수도 있다.
상기 데이터 변환 모듈(15)이 존재하는 경우, 제어 장치(13)는 제어 명령에 기초하여 어플라이언스에서 제어될 기능에 대한 통합 코드 정보를 포함하는 제어 신호를 생성할 수 있다. 상기 통합 코드 정보는, 특정 어플라이언스 제품군에 대해 공통적으로 설정된 코드 정보를 의미할 수 있다.
데이터 변환 모듈(15)은 상기 제어 신호에 포함된 통합 코드 정보를, 타겟 어플라이언스의 모델에 대한 코드 정보로 변환할 수 있다.
이를 위해, 상기 어플라이언스 프로파일(AP)은 데이터 변환 모듈(15)에 구비될 수도 있다. 이 경우, 제어 장치(13)는 데이터 변환 모듈(15)로 상기 타겟 어플라이언스의 모델 정보를 상기 제어 신호와 함께 상기 데이터 변환 모듈(15)로 전송할 수 있다. 데이터 변환 모듈(15)은 제어 장치(13)로부터 수신된 모델 정보에 기초하여 상기 제어 신호의 코드 정보를 변환할 수 있다.
이러한 데이터 변환 모듈(15)은 제어 서버(13)를 보조하는 일종의 클라우드렛(cloudlet)과 같은 플랫폼으로 구현될 수 있다. 데이터 변환 모듈(15)은 상술한 바와 같은 동작을 통해 제어 장치(13)의 부하를 분산시킬 수 있다. 이에 따라, 제어 장치(13)의 부하가 효과적으로 저감될 수 있고, 처리 속도의 지연을 최소화할 수 있다.
이하, 도 3을 참조하여 본 발명의 실시 예에 따른 제어 장치(13)의 구성에 대해 설명하기로 한다.
도 3은 도 2에 도시된 제어 장치의 개략적인 블록도이다.
도 3을 참조하면, 제어 장치(13)는 프로세서(131), 통신부(132), 메모리(133), 및 제어 신호 생성 모듈(134)을 포함할 수 있다.
프로세서(131)는 제어 장치(13)의 전반적인 동작을 제어할 수 있다.
프로세서(131)는 통신부(132)를 통해 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로부터 어플라이언스(30)에 대한 제어 명령을 수신할 수 있다. 프로세서(131)는 상기 수신된 제어 명령에 기초한 제어 신호를 생성하도록 제어 신호 생성 모듈(134)을 제어할 수 있다. 프로세서(131)는 통신부(132)를 통해 어플라이언스(30)로 상기 생성된 제어 신호를 송신할 수 있다. 이를 위해, 통신부(132)는 인터넷 모듈, 이동 통신 모듈 등 적어도 하나의 통신 모듈을 포함할 수 있다.
실시 예에 따라, 프로세서(131)는 통신부(132)를 통해 어플라이언스(30)로부터 상기 제어 신호에 따른 응답을 수신하거나, 어플라이언스(30)의 동작 정보나 상태 정보 등을 수신할 수 있다. 프로세서(131)는 수신된 응답, 동작 정보, 또는 상태 정보를 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로 전송할 수 있다. 또는, 프로세서(131)는 수신된 응답, 동작 정보, 또는 상태 정보에 기초한 제어 신호를 생성하도록 제어 신호 생성 모듈(134)을 제어할 수 있다. 프로세서(131)는 통신부(132)를 통해 상기 생성된 제어 신호를 어플라이언스(30)로 전송할 수 있다.
이러한 프로세서(131)는 적어도 하나의 CPU(central processing unit), AP(application processor), 집적 회로, 마이크로 컨트롤러, 기타 기능 수행을 위한 전기적인 유닛 등을 포함할 수 있다.
메모리(133)는 제어 장치(13)의 동작을 위한 각종 정보, 데이터, 및 알고리즘을 저장할 수 있다. 이러한 메모리(133)는 비휘발성 메모리 및 휘발성 메모리를 포함할 수 있다. 상기 비휘발성 메모리는 상기 각종 정보, 데이터, 및 알고리즘을 저장할 수 있고, 휘발성 메모리는 제어 장치(13)의 동작 중 획득된 데이터 또는 상기 비휘발성 메모리로부터 로드된 정보, 데이터, 알고리즘 등을 일시적으로 저장할 수 있다.
특히, 메모리(133)는 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)을 저장할 수 있다. 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)은 제어 신호 생성 모듈(134)이 타겟 어플라이언스에 대한 제어 신호를 생성하기 위해 필요한 정보를 포함할 수 있다.
도 2에서 상술한 바와 같이, 사용자 프로파일(UP)은 제어 명령 입력 장치(20a 또는 20b)의 사용자가 보유한 어플라이언스들에 대한 정보를 포함할 수 있다. 실시 예에 따라, 사용자 프로파일(UP)은 사용자가 보유한 어플라이언스들의 제품 정보(모델 정보), 상기 보유한 어플라이언스들 각각에 대한 구동 히스토리, 사용 패턴, 에러 히스토리, 수리 내역 등의 다양한 정보를 더 포함할 수 있다.
어플라이언스 프로파일(AP)은 어플라이언스의 제품들(모델들) 각각이 지원하는 기능들(모드들)에 대한 정보와, 기능들 각각에 대한 데이터 형식(예컨대, 코드 정보) 등을 포함할 수 있다.
실시 예에 따라, 제어 장치(13)가 별도의 데이터베이스 장치와 연결되는 경우에는, 상기 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)은 상기 데이터베이스 장치에 구비될 수 있다. 프로세서(131)는 상기 데이터베이스 장치로부터 사용자 프로파일(UP)의 적어도 일부 또는 어플라이언스 프로파일(AP)의 적어도 일부를 수신하여 상기 메모리(133)에 저장할 수 있다.
제어 신호 생성 모듈(134)은 음성 처리 서버(11) 또는 제어 명령 입력 장치(20b) 등으로부터 수신된 제어 명령에 대응하는 제어 신호를 생성할 수 있다. 도 3에서는 제어 신호 생성 모듈(134)이 프로세서(131)와 별도의 구성인 것으로 도시되어 있으나, 실시 예에 따라 제어 신호 생성 모듈(134)은 프로세서(131)에 포함되는 구성일 수도 있다.
제어 신호 생성 모듈(134)은, 사용자 프로파일(UP)로부터 사용자가 보유한 어플라이언스들 중 상기 제어 명령에 따라 제어될 어플라이언스의 모델 정보를 획득할 수 있다. 그리고, 제어 신호 생성 모듈(134)은, 상기 제어될 어플라이언스의 모델과 관련된 데이터 중, 상기 제어 명령에 따라 수행될 기능에 대응하는 데이터(예컨대, 코드 정보)를 어플라이언스 프로파일(AP)로부터 획득할 수 있다. 제어 신호 생성 모듈(134)은 획득된 데이터(코드 정보)를 포함하는 제어 신호를 생성할 수 있다.
실시 예에 따라, 어플라이언스 제어 장치(10)가 데이터 변환 모듈(15)을 포함하는 경우, 제어 신호 생성 모듈(134)은 상기 제어 명령에 따라 수행될 기능에 대한 통합 코드 정보를 포함하는 제어 신호를 생성할 수 있다. 데이터 변환 모듈(15)은 상기 통합 코드 정보를, 상기 제어될 어플라이언스의 모델에 대응하는 코드 정보로 변환할 수 있다.
이하, 도 4 내지 도 5를 참조하여 본 발명의 실시 예에 따른 제어 명령 입력 장치에 대해 설명한다.
도 4는 도 1에 도시된 제어 명령 입력 장치의 개략적인 블록도이다.
도 4를 참조하면, 제어 명령 입력 장치(20)는 통신부(210), 입력부(220), 출력부(230), 메모리(240), 제어부(250), 전원 공급부(260), 및 인터페이스부(270)를 포함할 수 있다. 도 4에 도시된 구성들은 제어 명령 입력 장치(20)를 구현하는 데 있어 필수적인 것은 아닌 바, 제어 명령 입력 장치(20)는 보다 많거나 적은 구성 요소들을 포함할 수 있다.
통신부(210)는, 제어 명령 입력 장치(20)를 네트워크를 통해 어플라이언스 제어 장치(10), 음성 처리 장치(11), 제어 장치(13), 어플라이언스(30), 및/또는 사용자의 단말기 등과 연결하기 위한 적어도 하나의 통신 모듈을 포함할 수 있다. 예컨대, 통신부(210)는 블루투스, NFC(near field communication)와 같은 근거리 통신 모듈, Wi-Fi 등의 무선 인터넷 모듈이나 이동 통신 모듈을 포함할 수 있다. 제어부(250)는 통신부(210)를 통해 어플라이언스 제어 장치(10), 구체적으로 음성 처리 장치(11) 또는 제어 장치(13)으로 제어 명령을 전송하거나, 어플라이언스(30)로 제어 신호를 전송할 수 있다. 또한, 제어부(250)는 통신부(210)를 통해 상기 음성 처리 장치(11) 또는 제어 장치(13)로부터 어플라이언스(30)와 관련된 정보나 데이터를 수신하거나, 어플라이언스(30)로부터 정보 또는 데이터를 수신할 수 있다.
입력부(220)는 사용자의 조작 등의 행위에 의해 소정 신호, 정보 및/또는 데이터를 제어 명령 입력 장치(20)로 입력하는 입력 수단을 포함할 수 있다. 예컨대, 상기 입력 수단은 마이크로폰(221), 터치 입력부(222), 및 버튼 입력부(223) 중 적어도 하나를 포함할 수 있다. 사용자는 입력부(220)를 통해 제어 명령 입력 장치(20)의 동작을 제어할 수 있다.
특히, 사용자는 입력부(220)를 통해 타겟 어플라이언스의 제어를 위한 제어 명령을 입력할 수 있다. 사용자는 마이크로폰(221)을 통해 음성 형태의 제어 명령을 입력할 수 있다. 또는, 사용자는 터치 입력부(222)나 버튼 입력부(223)를 통해 텍스트 형태의 제어 명령을 입력하거나, 디스플레이(232)를 통해 출력된 메뉴 또는 아이콘을 선택함으로써 제어 명령을 입력할 수 있다.
출력부(230)는 제어 명령 입력 장치(20)의 동작이나 상태와 관련된 정보를 출력할 수 있다. 실시 예에 따라, 출력부(230)는 어플라이언스 제어 장치(10)로부터 수신되는 정보나 데이터를 출력할 수 있다. 예컨대, 어플라이언스 제어 장치(10)로부터 수신되는 정보나 데이터는, 어플라이언스(30)의 동작이나 상태와 관련된 정보, 입력부(220)를 통해 입력한 제어 명령에 대한 응답이나 처리 결과 등을 포함할 수 있다.
일례로, 출력부(230)는 각종 정보나 데이터를 음성이나 사운드 형태로 출력하는 스피커(231), 상기 각종 정보나 데이터를 텍스트 또는 그래픽 형태로 출력하는 디스플레이(232), 및 상기 각종 정보나 데이터를 광의 색상이나 밝기, 발광 패턴 등을 통해 출력하는 광 출력부(233) 중 적어도 하나를 포함할 수 있다.
메모리(240)에는, 제어 명령 입력 장치(20)에 포함된 구성 요소들의 동작을 제어하기 위한 제어 데이터, 입력부(220)를 통해 획득된 입력에 대응하는 동작을 수행하기 위한 데이터 등의 각종 데이터가 저장될 수 있다.
제어부(250)는 제어 명령 입력 장치(20)의 전반적인 동작을 제어할 수 있다. 특히, 제어부(250)는 입력부(220)를 제어하여 사용자로부터 어플라이언스(30)에 대한 제어 명령을 획득할 수 있다. 제어부(250)는 획득된 제어 명령을 통신부(210)를 통해 어플라이언스 제어 장치(10)로 전송할 수 있다. 또한, 제어부(250)는 통신부(210)를 통해 어플라이언스 제어 장치(10)로부터 각종 정보나 데이터를 수신하고, 수신된 정보나 데이터를 출력하도록 출력부(230)를 제어할 수 있다.
제어부(250)는 적어도 하나의 CPU, 마이컴, AP 등의 하드웨어를 포함할 수 있다.
전원 공급부(260)는 제어 명령 입력 장치(20)에 포함된 구성 요소들 각각의 동작에 필요한 전원을 공급할 수 있다.
예컨대, 전원 공급부(260)는 외부의 전력원과 연결되어 상기 전력원으로부터 제공되는 전력을 상기 구성 요소들로 공급하는 장치에 해당할 수 있다.
실시 예에 따라, 전원 공급부(260)는 배터리를 포함할 수 있다. 상기 배터리는 제어 명령 입력 장치(20) 내에 구비될 수 있고, 제어 명령 입력 장치(20)에 포함된 전원 연결 단자를 통해 외부의 전원과 연결되어 충전될 수 있다. 상기 배터리가 구비된 제어 명령 입력 장치(20)는 특정 공간 내에서 사용자 등에 의해 이동가능한 포터블 형태의 장치로 구현될 수 있다.
한편, 전원 공급부(260)는 외부로부터 무선으로 전력을 공급받기 위한 무선 전력 수신부(예컨대, 코일)을 더 포함할 수 있다. 이 경우, 제어 명령 입력 장치(20)는 무선 전력 송신부가 구비된 어플라이언스(30) 또는 무선 전력 충전 장치 등에 근접하게 안착, 부착, 또는 장착되어, 상기 무선 전력 송신부로부터 전력을 공급받을 수 있다. 실시 예에 따라, 전원 공급부(260)에 구현된 무선 전력 전송 방식에 따라, 제어 명령 입력 장치(20)는 무선 전력 송신부와 소정 거리 이격된 상태에서도 전력을 공급받을 수도 있다. 전원 공급부(260)는 공급받은 전력을 이용하여 배터리를 충전할 수 있다.
인터페이스부(270)는 제어 명령 입력 장치(20)를 다른 기기와 연결하기 위한 인터페이스를 제공할 수 있다. 예컨대, 인터페이스부(270)는 USB(universal serial bus) 등과 같은 유선 연결을 위한 인터페이스를 제공할 수 있다.
예컨대, 제어 명령 입력 장치(20)는 인터페이스부(270)를 통해 어플라이언스(30)와 연결될 수 있다. 상기 어플라이언스(30)는 통신 모듈이 구비되지 않은 어플라이언스일 수 있으나, 이에 한정되는 것은 아니다. 즉, 통신 모듈이 구비되지 않은 어플라이언스(30)는 제어 명령 입력 장치(20)를 통해 어플라이언스 제어 장치(10)와 신호 또는 데이터를 송수신할 수 있다.
실시 예에 따라, 제어 명령 입력 장치(20)는 인터페이스부(270)를 통해 어플라이언스(30)로부터 전력을 공급받을 수도 있다.
상술한 제어 명령 입력 장치(20)는 인공지능 스피커 장치나 어플라이언스(30) 등을 포함할 수 있다. 한편, 본 발명의 실시 예에 따르면, 제어 명령 입력 장치(20)는 소정 공간 내에서 사용자 등에 의해 이동가능한 포터블 음성 입력 장치를 포함할 수 있다. 상기 포터블 음성 입력 장치와 관련하여 이하 도 5를 참조하여 설명한다.
도 5는 제어 명령 입력 장치의 일례로서 포터블 음성 입력 장치를 나타내는 도면이다.
도 5를 참조하면, 포터블 음성 입력 장치(21a)는 특정 공간(예컨대, 가정) 내에서 사용자가 원하는 위치에 배치되어, 사용자로부터 음성 형태의 제어 명령을 수신할 수 있다. 또한, 상기 포터블 음성 입력 장치(21a)는 사용자에 의해 배치 위치가 자유롭게 변경될 수 있다.
포터블 음성 입력 장치(21a)는 외관을 형성하는 케이싱(201), 적어도 하나의 마이크로폰(221), 복수의 버튼 입력부(223a~223d), 스피커(231), 및 광 출력부(233)를 포함할 수 있다. 도 5에 도시된 포터블 음성 입력 장치(21a)의 형태는 설명의 편의를 위한 일례에 해당하는 바, 포터블 음성 입력 장치(21a)가 도 5의 형태에만 한정되는 것은 아니다.
이하, 마이크로폰(221), 복수의 버튼 입력부(223a~223d), 및 광 출력부(233)가 배치된 부분을 포터블 음성 입력 장치(21a)의 상부로 정의하고, 스피커(233)가 배치된 부분을 포터블 음성 입력 장치(21a)의 하부로 정의한다.
포터블 음성 입력 장치(21a)는 공간 내의 다양한 위치에 안착, 부착, 또는 장착될 수 있고, 이 때 포터블 음성 입력 장치(21a)의 하부의 저면이 안착면, 부착면, 또는 장착면에 해당할 수 있다.
이 경우, 포터블 음성 입력 장치(21a)의 상부에 마이크로폰(221), 복수의 버튼 입력부(223a~223d), 및 광 출력부(233)가 구비될 수 있다. 따라서, 마이크로폰(221)은 사용자의 음성을 보다 정확히 수신할 수 있다. 또한, 사용자는 버튼 입력부(223a~223d)를 용이하게 조작할 수 있으며, 광 출력부(233)로부터 출력되는 광을 용이하게 확인할 수 있다.
상기 포터블 음성 입력 장치(21a)는 마이크로폰(221)을 구비하여, 사용자로부터 음성 형태의 제어 명령을 수신할 수 있다. 실시 예에 따라, 도 5에 도시된 바와 같이, 포터블 음성 입력 장치(21a)에는 복수의 마이크로폰(221)이 구비되어, 사용자가 발화한 음성을 보다 정확하게 수신할 수 있다.
즉, 사용자는 포터블 음성 입력 장치(21a)를 이용하여, 마이크로폰이 구비되지 않은 어플라이언스에 대해서도 음성을 통한 제어가 가능할 수 있다.
한편, 어플라이언스(30)에 마이크로폰(221)이 구비되는 경우, 어플라이언스(30)의 모델들 각각마다 소정의 음성 인식률을 달성하기 위한 마이크로폰(221)의 최적 위치나 마이크로폰(221)의 성능 등에 대한 테스트가 필요할 수 있다. 즉, 제품 개발 시 상기 테스트로 인한 추가 시간이나 비용이 소모될 수 있다. 또한, 상기 최적 위치에 마이크로폰(221)이 구현되기 위해, 공정의 난이도가 증가할 수 있다. 또한, 어플라이언스(30)의 구동 중에는, 소음으로 인해 마이크로폰(221)이 수신한 음성의 인식이 용이하지 않을 수 있다.
상기 포터블 음성 입력 장치(21a)가 구현됨에 따라, 어플라이언스(30) 내에 마이크로폰(221)이 구비되지 않을 수 있고, 상술한 테스트 시간이나 비용 소모, 공정 난이도 증가 등의 문제가 해소될 수 있다.
도 5를 계속 참조하면, 어플라이언스(30)는 복수의 버튼 입력부(223a~223d)를 포함할 수 있다. 사용자는 복수의 버튼 입력부(223a~223d)를 통해 포터블 음성 입력 장치(21a)의 동작을 제어할 수 있다.
일례로, 복수의 버튼 입력부(223a~223d)는 사용자가 음성을 입력하기 위한 음성 입력 버튼(223a), 스피커(231)의 출력을 비활성화하는 음소거 버튼(223b), 볼륨 증가 버튼(223c), 및 볼륨 감소 버튼(223d)을 포함할 수 있으나, 복수의 버튼 입력부는 다양한 형태로 구현될 수 있다.
음성 입력 버튼(223a)은 사용자로부터 어플라이언스(30)의 제어 명령을 포함하는 음성을 획득하기 위한 버튼일 수 있다. 다르게 표현하면, 음성 입력 버튼(223a)은 마이크로폰(221)을 활성화시키는 버튼에 해당할 수 있다.
예컨대, 사용자가 음성 입력 버튼(223a)을 누른 후 또는 누른 동안, 제어부(250)는 마이크로폰(221)을 활성화시켜 사용자가 발화한 음성을 획득할 수 있다. 사용자는 음성의 발화를 완료한 후 음성 입력 버튼(223a)을 다시 누르거나, 누름 동작을 종료할 수 있다. 이 경우, 제어부(250)는 마이크로폰(221)을 비활성화시키고, 수신된 음성을 음성 처리 장치(11)로 전송할 수 있다.
광 출력부(233)는 포터블 음성 입력 장치(21a)의 동작 정보나 상태 정보를 나타낼 수 있다. 광 출력부(233)는 적어도 하나의 LED를 포함할 수 있다. 예컨대, 제어부(250)는 포터블 음성 입력 장치(21a)가 수행 중인 동작이나, 포터블 음성 입력 장치(21a)의 상태에 따라 서로 다른 방식(예컨대, 색상, 밝기, 점멸 패턴, 발광하는 LED의 수 등)으로 광을 출력하도록 광 출력부(233)를 제어할 수 있다.
예를 들어, 사용자가 음성 입력 버튼(223a)을 누르는 동안, 광 출력부(233)는 음성 수신 중임을 나타내는 광을 출력할 수 있다. 사용자는 출력된 광에 기초하여 음성의 발화를 개시할 수 있고, 발화가 완료된 후 음성 입력 버튼(223a)의 누름을 종료할 수 있다. 광 출력부(233)는 음성 입력 버튼(223a)의 누름이 종료된 경우, 음성이 수신되었음을 나타내는 광 또는 수신된 음성이 음성 처리 장치(11)로 전송됨을 나타내는 광을 출력할 수 있다.
즉, 사용자는 포터블 음성 입력 장치(21a)를 통해, 타겟 어플라이언스와 이격된 상태에서도 음성으로 상기 타겟 어플라이언스를 편리하게 제어할 수 있다.
한편, 포터블 음성 입력 장치(21a)에 무선 전력 수신부(수신 코일 등)가 구비되는 경우, 상기 무선 전력 수신부는 포터블 음성 입력 장치(21a)의 상기 저면에 인접하게 배치될 수 있다. 어플라이언스(30)에 무선 전력 송신부(송신 코일)가 구비되는 경우, 포터블 음성 입력 장치(21a)는 상기 무선 전력 송신부가 구비된 위치에 대응하도록 안착, 부착, 또는 장착되어, 어플라이언스(30)로부터 전력을 공급받을 수 있다. 실시 예에 따라, 포터블 음성 입력 장치(21a)는 어플라이언스(30)로부터 수신되는 전력의 특성(주파수, 세기 등)에 기초하여, 어플라이언스(30)의 종류를 인식할 수도 있다.
다른 실시 예에 따라, 포터블 음성 입력 장치(21a)는 어플라이언스(30)의 소정 위치에 부착 또는 장착되어, 어플라이언스(30)의 입력 수단으로서 기능할 수 있다. 예컨대, 포터블 음성 입력 장치(21a)는 어플라이언스(30)의 소정 위치에 부착 또는 장착되고, 사용자는 상기 포터블 음성 입력 장치(21a)의 버튼을 조작하거나 포터블 음성 입력 장치(21a)를 회전 조작함으로써, 어플라이언스(30)의 동작을 제어하는 명령을 입력할 수 있다. 이 경우, 종래의 어플라이언스(30)에 구비되는 다이얼이나 버튼 등의 각종 입력 수단이 제거 또는 간소화될 수 있으므로, 어플라이언스(30)의 제조 시 공정 편의성이 향상될 수 있고 디자인 제약이 감소될 수 있다.
실시 예에 따라, 포터블 음성 입력 장치(21a)는 마이크로폰(221)을 통해 어플라이언스(30)의 구동 시 발생하는 소음 데이터를 획득할 수 있다. 포터블 음성 입력 장치(21a)는 획득된 소음 데이터를 서버로 전송하여, 서버로 하여금 어플라이언스(30)의 이상 유무 등의 상태를 원격으로 판단하도록 할 수도 있다.
도 6은 어플라이언스 제어 시스템의 제어 동작의 일례를 나타내는 래더 다이어그램이다.
도 6에서는 사용자로부터 입력되는 제어 명령이 음성 형태인 것으로 가정하여 설명한다.
도 6을 참조하면, 제어 명령 입력 장치(20a)는 사용자로부터 제어 명령을 포함하는 음성을 수신하고(S600), 수신된 음성을 음성 처리 장치(11)로 전송할 수 있다(S605).
예컨대, 사용자는 상기 제어 명령을 포함하는 음성을 발화할 수 있고, 제어 명령 입력 장치(20a)는 마이크로폰(221)을 통해 상기 사용자로부터 발화된 음성을 수신할 수 있다.
도 5에 도시된 포터블 음성 입력 장치(21a)를 예로 들면, 사용자는 음성 입력 버튼(223a)을 누른 후, 또는 음성 입력 버튼(223a)을 누르는 동안 상기 제어 명령을 포함하는 음성을 발화할 수 있다. 포터블 음성 입력 장치(21a)의 제어부(250)는 상기 음성 입력 버튼(223a)이 눌려짐에 따라 마이크로폰(221)을 활성화하여 상기 음성을 획득할 수 있다. 제어부(250)는 수신된 음성을 통신부(210)를 통해 음성 처리 장치(11)로 전송할 수 있다.
실시 예에 따라, 포터블 음성 입력 장치(21a)에 별도의 음성 입력 버튼(223a)이 구비되지 않은 경우, 제어부(250)는 마이크로폰(221)을 항상 활성화하고, 사용자로부터 기설정된 시동어 및 제어 명령이 포함된 음성이 수신된 경우, 상기 음성을 음성 처리 장치(11)로 전송할 수도 있다.
음성 처리 장치(11)는 제어 명령 입력 장치(20a)로부터 전송된 음성으로부터 제어 명령을 인식하고(S610), 인식된 제어 명령을 제어 장치(13)로 전송할 수 있다(S615).
도 2에서 상술한 바와 같이, 음성 처리 장치(11)의 ASR 모듈(111)은 제어 명령 입력 장치(20a)로부터 전송된 음성을 텍스트 형태로 변환하고, NLP 모듈(113)은 변환된 텍스트로부터 어플라이언스(30)가 처리 가능한 제어 명령이 포함되어 있는지 여부를 인식할 수 있다. 제어 명령이 포함된 경우, NLP 모듈(113)은 제어 명령을 제어 장치(13)로 전송할 수 있다.
제어 장치(13)는 상기 제어 명령이 수신된 경우, 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)에 기초하여 상기 제어 명령에 대응하는 제어 신호를 생성할 수 있다(S620).
도 2 및 도 3에서 상술한 바와 같이, 제어 장치(13)의 제어 신호 생성 모듈(134)은, 음성 처리 장치(11)로부터 수신된 제어 명령에 대응하는 제어 신호를 생성할 수 있다.
제어 신호 생성 모듈(134)은 사용자 프로파일(UP)로부터 사용자가 보유한 어플라이언스들 중, 상기 제어 명령에 따라 제어될 어플라이언스의 모델 정보를 획득할 수 있다. 그리고, 제어 신호 생성 모듈(134)은, 상기 제어될 어플라이언스의 모델과 관련된 데이터 중, 상기 제어 명령에 따라 수행될 기능에 대응하는 데이터(예컨대, 코드 정보)를 어플라이언스 프로파일(AP)로부터 획득할 수 있다. 제어 신호 생성 모듈(134)은 획득된 데이터(코드 정보)를 포함하는 제어 신호를 생성할 수 있다.
제어 장치(13)는 생성된 제어 신호를 어플라이언스(30)로 전송하고(S625), 어플라이언스(30)는 제어 장치(13)로부터 전송된 제어 신호를 처리할 수 있다(S630). 어플라이언스(30)는 상기 제어 신호의 처리 결과를 포함하는 응답을 제어 장치(13)로 전송할 수 있다(S635).
제어 장치(13)의 프로세서(131)는 제어 신호 생성 모듈(134)에 의해 생성된 제어 신호를 상기 제어될 어플라이언스(30; 타겟 어플라이언스)로 전송하도록 통신부(132)를 제어할 수 있다.
어플라이언스(30)는 수신된 제어 신호에 포함된 데이터에 기초하여, 어플라이언스(30)가 수행할 동작 또는 기능을 인식하고, 인식된 동작 또는 기능을 수행함으로써 상기 제어 신호를 처리할 수 있다.
어플라이언스(30)는 상기 제어 신호의 처리 결과를 포함하는 응답(또는 응답 신호)을 제어 장치(13)로 전송할 수 있다. 예컨대, 상기 응답은 상기 제어 신호에 따라 수행되는 동작 또는 기능과 관련된 정보, 상기 동작 또는 기능이 수행됨에 따른 어플라이언스(30)의 상태 정보 등을 포함할 수 있다.
실시 예에 따라, 어플라이언스(30)가 USB 인터페이스 또는 근거리 무선 통신 방식을 통해 제어 명령 입력 장치(20a)와 연결된 경우, 제어 장치(13)의 프로세서(131)는 상기 제어 신호를 상기 제어 명령 입력 장치(20a)를 통해 어플라이언스(30)로 전송할 수 있다. 그리고, 어플라이언스(30)는 상기 응답을 제어 명령 입력 장치(20a)를 통해 제어 장치(13)로 전송할 수 있다. 이에 대해서는 추후 도 10 내지 도 11을 통해 설명한다.
제어 장치(13)는 수신된 응답에 기초하여, 제어 명령 입력 장치(20a)를 통해 출력할 메시지를 생성하고(S640), 생성된 메시지를 음성 처리 장치(11)로 전송할 수 있다(S645).
프로세서(131)는 어플라이언스(30)로부터 상기 응답이 수신되면, 수신된 응답에 포함된 정보에 기초하여 메시지를 생성할 수 있다. 상기 메시지는, 상기 응답에 포함된 정보의 키워드나 제어값 등을 포함할 수 있다.
프로세서(131)는 생성된 메시지를 음성 처리 장치(11)로 전송하도록 통신부(132)를 제어할 수 있다.
음성 처리 장치(11)는 수신된 메시지에 기초한 음성 메시지를 생성하고(S650), 생성된 음성 메시지를 제어 명령 입력 장치(20a)로 전송할 수 있다(S655).
음성 처리 장치(11)의 TTS 모듈(115)은 수신된 메시지를 음성 형태로 변환함으로써 음성 메시지를 생성하고, 생성된 음성 메시지를 제어 명령 입력 장치(20a)로 전송할 수 있다.
실시 예에 따라, NLP 모듈(113)은 상기 수신된 메시지에 포함된 키워드나 제어값에 기초하여, 상기 메시지를 자연어 형태로 처리할 수 있다. TTS 모듈(115)은 상기 NLP 모듈(113)에 의해 처리된 자연어 형태의 메시지를 이용하여 음성 메시지를 생성할 수 있다. 이에 따라, 음성 처리 장치(11)는 제어 명령 입력 장치(20a)가 어플라이언스(30)의 처리 결과를 자연어 형태로 출력하도록 할 수 있다.
비록 도시되지는 않았으나, 실시 예에 따라 제어 장치(13)는 제어 명령 입력 장치(20b)로도 상기 생성된 메시지를 전송할 수도 있다.
제어 명령 입력 장치(20a)는 수신된 음성 메시지를 출력함으로써, 사용자가 입력한 제어 명령에 대한 처리 결과를 사용자에게 안내할 수 있다(S660).
제어 명령 입력 장치(20a)의 제어부(250)는 음성 처리 장치(11)로부터 수신된 음성 메시지를 출력하도록 스피커(231)를 제어할 수 있다.
실시 예에 따라, 제어 명령 입력 장치(20a)가 제어 장치(13)로부터 상기 메시지를 수신한 경우, 제어부(250)는 수신된 메시지를 디스플레이(232) 또는 광 출력부(233)를 통해 출력할 수도 있다.
즉, 도 6의 실시 예에 따르면, 제어 장치(13)는 사용자로부터 제어 명령이 입력된 경우, 상기 사용자의 보유 어플라이언스 정보를 이용하여 타겟 어플라이언스의 모델에 대응하는 제어 신호를 생성할 수 있으므로, 상기 제어 명령의 처리 정확도를 향상시킬 수 있다.
이하 도 7 내지 도 9를 참조하여, 도 6의 실시 예와 관련된 예시들을 설명한다.
도 7 및 도 8은 도 6에 도시된 제어 동작의 예시도이다.
도 7을 참조하면, 사용자(USER)는 에어컨(30a)과 이격된 위치에 존재하는 경우, 사용자(USER)가 소지하거나 사용자(USER)와 근접한 위치에 배치된 포터블 음성 입력 장치(21a)를 이용하여 “하이 LG, 에어컨 26℃로 켜줘.”에 해당하는 음성(VO)을 입력할 수 있다. 이 때, 사용자는 상기 음성(VO)의 입력 시 음성 입력 버튼(223a)을 조작할 수 있다.
포터블 음성 입력 장치(21a)는 수신된 음성(VO)을 음성 처리 장치(11)로 전송할 수 있다.
음성 처리 장치(11)의 ASR 모듈(111)은 수신된 음성(VO)을 텍스트로 변환하고, NLP 모듈(113)은 변환된 텍스트로부터 사용자가 '에어컨'을 '설정온도 26℃'로 구동하도록 명령함을 인식할 수 있다. 인식 결과에 기초하여, NLP 모듈(113)은 타겟 어플라이언스가 '에어컨'이고, 실내 온도를 '26℃'로 설정하도록 제어하는 제어 명령(CMD)을 제어 장치(13)로 전송할 수 있다.
제어 장치(13)는 수신된 제어 명령(CMD)으로부터 타겟 어플라이언스가 '에어컨'임을 인식할 수 있다. 제어 장치(13)는 사용자 프로파일(UP)로부터, 사용자가 보유한 '에어컨'의 모델 정보를 획득할 수 있다. 모델 정보가 획득되면, 제어 장치(13)는 어플라이언스 프로파일(AP)로부터, 상기 모델을 '설정온도 26℃'로 구동시키는 동작에 대한 코드 정보를 획득할 수 있다. 예컨대, 상기 코드 정보는 16진법에 의한 헥사 코드(hexadecimal code) 등의 형태를 가질 수 있으나, 이에 한정되는 것은 아니다.
제어 장치(13)는 획득된 코드 정보를 포함하는 제어 신호(CTRL)를 생성하고, 생성된 제어 신호(CTRL)를 사용자가 보유한 어플라이언스들(30a, 30b) 중 에어컨(30a)으로 전송할 수 있다. 에어컨(30a)은 상기 제어 신호(CTRL)를 수신하고, 수신된 제어 신호(CTRL)에 포함된 코드 정보에 기초하여, 실내 온도를 26℃로 조절하도록 구동(예컨대, 실내 온도가 26℃보다 높은 경우 냉방 가동)함으로써 상기 제어 신호(CTRL)를 처리(PROCESS)할 수 있다.
도 8을 참조하면, 에어컨(30a)은 상기 제어 신호(CTRL)의 처리 결과를 포함하는 응답 신호(RESP)를 생성하고, 생성된 응답 신호(RESP)를 제어 장치(13)로 전송할 수 있다. 상기 응답 신호(RESP)는 에어컨(30a)의 구동 정보를 포함할 수 있다. 예컨대, 도 7과 도 8의 예에서, 상기 응답 신호(RESP)는 '설정온도 26℃' 및 '냉방 모드'를 나타내는 정보를 포함할 수 있다.
제어 장치(13)는 수신된 응답 신호(RESP)로부터 상기 구동 정보를 획득하고, 획득된 구동 정보를 포함하는 메시지(MSG)를 생성할 수 있다. 예컨대, 상기 메시지(MSG)는 '설정온도 26℃' 및 '냉방 모드'를 의미하는 키워드나 제어값을 포함할 수 있다. 제어 장치(13)는 생성된 메시지(MSG)를 음성 처리 장치(11)로 전송할 수 있다.
음성 처리 장치(11)는, 수신된 메시지(MSG)로부터 음성 메시지(V_MSG)를 생성할 수 있다. 예컨대, NLP 모듈(113)은 수신된 메시지(MSG)에 포함된 키워드나 제어값('설정온도 26℃' 및 '냉방 모드')에 기초하여, 상기 메시지(MSG)를 자연어 텍스트(예컨대, "에어컨이 설정온도 26℃로 냉방을 가동합니다.")로 변환할 수 있다. TTS 모듈(115)은 상기 자연어 텍스트로부터 음성 메시지(V_MSG)를 생성하고, 생성된 음성 메시지(V_MSG)를 포터블 음성 입력 장치(21a)로 전송할 수 있다.
포터블 음성 입력 장치(21a)는, 수신된 음성 메시지(V_MSG)를 스피커(231)를 통해 출력할 수 있다. 사용자(USER)는 포터블 음성 입력 장치(21a)로부터 출력된 음성 메시지(V_MSG)에 기초하여, 제어 명령의 처리 여부 및 어플라이언스(30)의 동작 상태를 확인할 수 있다.
도 9는 도 6에 도시된 제어 동작의 다른 예시도이다. 도 9의 실시 예에서, 음성 처리 장치(11)의 동작은 도 7의 실시 예와 실질적으로 동일한 바, 이에 대한 설명은 간략화한다.
도 9를 참조하면, 사용자(USER)는 주방에 위치한 상태에서, 거실에 존재하는 공기청정기(30c)의 동작을 제어하고자 할 수 있다. 이 때, 사용자(USER)는 주방에 존재하고, 마이크로폰을 포함하는 어플라이언스(예컨대, 냉장고(22a))를 통해 상기 공기청정기(30c)의 동작을 제어할 수 있다. 비록 도시되지는 않았으나, 사용자(USER)는 가정 내의 공간을 이동하는 로봇 청소기나 홈 로봇을 통해 상기 공기청정기(30c)의 동작을 제어할 수도 있다.
구체적으로, 사용자(USER)는 냉장고(22a)를 통해 “하이 LG, 공기청정기 켜줘.”에 해당하는 음성(VO)을 입력할 수 있다. 냉장고(22a)는 수신된 음성(VO)을 음성 처리 장치(11)로 전송할 수 있다.
음성 처리 장치(11)는 수신된 음성(VO)으로부터 제어 명령(CMD)을 인식하고, 인식된 제어 명령(CMD)을 제어 장치(13)로 전송할 수 있다.
제어 장치(13)는 수신된 제어 명령(CMD)으로부터 타겟 어플라이언스가 '공기청정기'임을 인식할 수 있다. 제어 장치(13)는 사용자 프로파일(UP)로부터, 사용자가 보유한 '공기청정기'의 모델 정보를 획득할 수 있다.
또한, 제어 장치(13)는 사용자 프로파일(UP)로부터, 사용자가 보유한 어플라이언스들의 그룹 정보, 대표 어플라이언스 정보, 및/또는 어플라이언스들 간의 연결 정보를 획득할 수 있다. 도 8에 도시된 실시 예에 따르면, 사용자 프로파일(UP)에는 에어컨(30a), 로봇 청소기(30b), 및 공기청정기(30c)가 포함된 제1 그룹, 및 세탁기(30d)와 건조기(30e)가 포함된 제2 그룹에 대한 정보가 저장될 수 있다. 또한, 사용자 프로파일(UP)에는 제1 그룹의 대표 어플라이언스가 에어컨(30a)이고, 제2 그룹의 대표 어플라이언스가 세탁기(30d)임을 나타내는 정보가 저장될 수 있다.
획득된 정보에 기초하여, 제어 장치(13)는 에어컨(30a)을 통해 공기청정기(30c)를 제어할 수 있음을 확인할 수 있다.
제어 장치(13)는 어플라이언스 프로파일(AP)로부터, 상기 사용자가 보유한 공기청정기의 모델의 전원을 온 시키는 동작에 대한 코드 정보를 획득할 수 있다. 제어 장치(13)는 획득된 코드 정보를 포함하는 제어 신호(CTRL)를 생성하고, 생성된 제어 신호(CTRL)를 에어컨(30a)으로 전송할 수 있다.
에어컨(30a)은 상기 제어 신호(CTRL)를 수신하고, 수신된 제어 신호(CTRL)가 공기청정기(30c)에 대한 제어 신호임을 확인할 수 있다. 확인 결과에 기초하여, 에어컨(30a)은 상기 제어 신호(CTRL)를 공기청정기(30c)로 전송하고, 공기청정기(30c)는 수신된 제어 신호(CTRL)에 응답하여 전원을 온 시킬 수 있다.
즉, 도 9에 도시된 실시 예에 따르면, 사용자는 인접한 다른 어플라이언스를 이용하여 원하는 어플라이언스를 편리하게 제어할 수 있다. 또한, 제어 장치(13)는 그룹의 대표 어플라이언스를 통해, 제어 장치(13)와 직접 연결되지 않은 어플라이언스의 동작을 효과적으로 제어할 수 있다.
도 10 내지 도 11은 도 6에 도시된 제어 동작의 다른 실시 예로서, 제어 장치가 포터블 음성 입력 장치를 통해 어플라이언스를 제어하는 동작을 나타내는 예시도이다.
도 10을 참조하면, 세탁기(30d)는 제어 장치(13)과 연결되기 위한 와이파이 모듈 등의 무선 인터넷 모듈이 구비되지 않은 어플라이언스일 수 있다. 본 발명의 실시 예에 따르면, 포터블 음성 입력 장치(21a)는 USB 인터페이스를 통해 세탁기(30d)와 연결되어, 세탁기(30d)와 제어 장치(13) 간의 신호 또는 데이터 등의 송수신을 가능하게 한다.
사용자(USER)는 포터블 음성 입력 장치(21a)를 이용하여 “하이 LG, 세탁기 표준코스로 돌려줘.”에 해당하는 음성(VO)을 입력할 수 있다. 이 때, 사용자는 음성(VO)의 입력 시 포터블 음성 입력 장치(21a)의 음성 입력 버튼(223a)을 조작할 수 있다.
포터블 음성 입력 장치(21a)는 수신된 음성(VO)을 음성 처리 장치(11)로 전송할 수 있다.
음성 처리 장치(11)의 ASR 모듈(111)은 수신된 음성(VO)을 텍스트로 변환하고, NLP 모듈(113)은 변환된 텍스트로부터 사용자가 '세탁기'를 '표준코스'로 구동하도록 명령함을 인식할 수 있다. 인식 결과에 기초하여, NLP 모듈(113)은 타겟 어플라이언스가 '세탁기'이고, 세탁코스를 '표준코스'로 설정하도록 제어하는 제어 명령(CMD)을 제어 장치(13)로 전송할 수 있다.
제어 장치(13)는 수신된 제어 명령(CMD)으로부터 타겟 어플라이언스가 '세탁기'임을 인식할 수 있다. 제어 장치(13)는 사용자 프로파일(UP)로부터, 사용자가 보유한 '세탁기'의 모델 정보를 획득할 수 있다. 모델 정보가 획득되면, 제어 장치(13)는 어플라이언스 프로파일(AP)로부터, 상기 모델을 '표준코스'로 구동시키는 동작에 대한 코드 정보를 획득할 수 있다.
제어 장치(13)는 획득된 코드 정보를 포함하는 제어 신호(CTRL)를 생성하고, 생성된 제어 신호(CTRL)를 세탁기(30d)와 연결된 포터블 음성 입력 장치(21a)로 전송할 수 있다. 포터블 음성 입력 장치(21a)는 수신된 제어 신호(CTRL)를, USB 인터페이스(또는 근거리 무선 통신 방식)를 통해 세탁기(30d)로 전송할 수 있다. 세탁기(30d)는 포터블 음성 입력 장치(21a)로부터 상기 제어 신호(CTRL)를 수신하고, 수신된 제어 신호(CTRL)에 포함된 코드 정보에 기초하여, 세탁코스를 표준코스로 설정하고, 설정된 표준코스로 구동함으로써 상기 제어 신호(CTRL)를 처리(PROCESS)할 수 있다.
도 11을 참조하면, 세탁기(30d)는 상기 제어 신호(CTRL)의 처리 결과를 포함하는 응답 신호(RESP)를 생성하고, 생성된 응답 신호(RESP)를 상기 USB 인터페이스(또는 근거리 무선 통신 방식)를 통해 포터블 음성 입력 장치(21a)로 전송할 수 있다. 상기 응답 신호(RESP)는 세탁기(30d)의 구동 정보를 포함할 수 있다. 예컨대, 도 10과 도 11의 예에서, 상기 응답 신호(RESP)는 '표준코스' 로 구동함을 나타내는 정보를 포함할 수 있다.
포터블 음성 입력 장치(21a)는 수신된 응답 신호(RESP)를 제어 장치(13)로 전송할 수 있다. 제어 장치(13)는 수신된 응답 신호(RESP)로부터 상기 구동 정보를 획득하고, 획득된 구동 정보를 포함하는 메시지(MSG)를 생성할 수 있다. 예컨대, 상기 메시지(MSG)는 '표준코스'를 의미하는 키워드와, 구동 완료까지 남은 시간 등의 부가적인 정보를 포함할 수 있다. 제어 장치(13)는 생성된 메시지(MSG)를 음성 처리 장치(11)로 전송할 수 있다.
음성 처리 장치(11)는, 수신된 메시지(MSG)로부터 음성 메시지(V_MSG)를 생성할 수 있다. 예컨대, NLP 모듈(113)은 수신된 메시지(MSG)에 포함된 키워드 ('표준코스') 등에 기초하여, 상기 메시지(MSG)를 자연어 텍스트(예컨대, “세탁기가 표준코스로 세탁을 시작합니다.”)로 변환할 수 있다. TTS 모듈(115)은 상기 자연어 텍스트로부터 음성 메시지(V_MSG)를 생성하고, 생성된 음성 메시지(V_MSG)를 포터블 음성 입력 장치(21a)로 전송할 수 있다.
포터블 음성 입력 장치(21a)는, 수신된 음성 메시지(V_MSG)를 스피커(231)를 통해 출력할 수 있다. 사용자(USER)는 포터블 음성 입력 장치(21a)로부터 출력된 음성 메시지(V_MSG)에 기초하여, 제어 명령의 처리 여부 및 세탁기(30d)의 구동 상태를 확인할 수 있다.
즉, 도 10과 도 11에 도시된 실시 예에 따르면, 사용자는 마이크로폰 및 통신 모듈이 구비되지 않은 어플라이언스에 포터블 음성 입력 장치(21a)와 같은 제어 명령 입력 장치(20)를 연결함으로써, 상기 어플라이언스를 음성 등으로 편리하게 제어할 수 있다.
도 12는 본 발명의 실시 예에 따른 인공지능 기반의 어플라이언스 제어 장치의 개략적인 블록도이고, 도 13은 도 12에 도시된 인식 장치의 개략적인 블록도이다.
도 12를 참조하면, 인식 장치(12)를 제외한 나머지 구성은 도 2의 실시 예와 유사한 바, 이에 대한 설명은 생략하기로 한다.
한편, 이하 도면들에서는 인식 장치(12)와 제어 장치(13)가 별도의 구성인 것으로 설명하나, 실시 예에 따라서는 인식 장치(12)와 제어 장치(13)가 일체의 구성으로 구현될 수도 있다. 뿐만 아니라, 어플라이언스 제어 장치(10b)에 포함된 각 구성들 중 적어도 일부가 일체의 구성으로 구현될 수도 있다.
어플라이언스 제어 장치(10b)는 인식 장치(12)를 더 포함할 수 있다. 인식 장치(12)가 구비된 경우, 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)은 제어 장치(13)가 아닌 인식 장치(12)에 포함될 수 있다.
인식 장치(12)는 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로부터 입력된 제어 명령으로부터, 인공지능 기반의 인식 모델을 통해 어플라이언스에 대한 제어 정보를 생성할 수 있다. 상기 어플라이언스에 대한 제어 정보는, 상기 제어 명령뿐만 아니라 외부 컨텐츠나 사용자의 어플라이언스 사용 패턴 등의 다양한 데이터를 활용하여, 입력된 제어 명령으로부터 생성된 최적의 제어 정보를 의미할 수 있다.
이와 관련하여 도 13을 참조하면, 인식 장치(12)는 상기 어플라이언스에 대한 제어 정보를 생성하기 위해, 인공 지능 기반으로 구축된 인식기를 갖는 인식 모듈(124)을 포함할 수 있다. 상기 인식기 및 인식 모듈(124)에 대해서는 추후 도 14 내지 도 18, 도 21 등을 통해 보다 상세히 설명한다.
인식 장치(12)는 프로세서(121), 통신부(122), 메모리(123), 및 인식 모듈(124)을 포함할 수 있다.
프로세서(121)는 인식 장치(12)의 전반적인 동작을 제어할 수 있다.
프로세서(121)는 통신부(122)를 통해 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로부터 타겟 어플라이언스에 대한 제어 명령을 수신할 수 있다.
프로세서(121)는 상기 수신된 제어 명령에 기초하여 타겟 어플라이언스에 대한 제어 정보를 생성하도록 인식 모듈(124)을 제어할 수 있다. 프로세서(131)는 통신부(122)를 통해 제어 장치(13)로 상기 제어 정보를 송신할 수 있다. 이를 위해, 통신부(122)는 인터넷 모듈, 이동 통신 모듈 등 적어도 하나의 통신 모듈을 포함할 수 있다.
실시 예에 따라, 프로세서(121)는 통신부(122)를 통해 제어 장치(13)로부터 상기 제어 정보에 따른 응답을 수신하거나, 어플라이언스(30)의 이벤트 정보를 수신할 수 있다. 프로세서(121)는 수신된 응답이나 이벤트 정보를 인식 모듈(124)로 입력하고, 인식 모듈(124)은 상기 응답이나 이벤트 정보에 기초하여 어플라이언스(30) 또는 상기 어플라이언스(30)와 연동 또는 연관되는 타겟 어플라이언스에 대한 제어 정보를 생성하거나, 사용자에게 제공할 안내 메시지(안내 정보)를 생성할 수 있다.
이러한 프로세서(121)는 적어도 하나의 CPU(central processing unit), AP(application processor), 집적 회로, 마이크로 컨트롤러, 기타 기능 수행을 위한 전기적인 유닛 등을 포함할 수 있다.
메모리(123)는 인식 장치(12)의 동작을 위한 각종 정보, 데이터, 및 알고리즘을 저장할 수 있다. 이러한 메모리(123)는 비휘발성 메모리 및 휘발성 메모리를 포함할 수 있다. 상기 비휘발성 메모리는 상기 각종 정보, 데이터, 및 알고리즘을 저장할 수 있고, 휘발성 메모리는 인식 장치(12)의 동작 중 획득된 데이터 또는 상기 비휘발성 메모리로부터 로드된 정보, 데이터, 알고리즘 등을 일시적으로 저장할 수 있다.
또한, 메모리(123)는 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)을 저장할 수 있다. 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)은 인식 모듈(124)이 타겟 어플라이언스에 대한 제어 신호를 생성하기 위해 필요한 정보를 포함할 수 있다. 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)에 포함된 정보의 예들에 대해서는 도 2 등에서 상술한 바 있다.
인식 모듈(124)은 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로부터 수신된 제어 명령으로부터, 인공지능 기반의 인식 모델을 이용하여 상기 제어 명령과 관련된 타겟 어플라이언스의 최적의 설정 환경을 인식하고, 인식 결과에 기초하여 타겟 어플라이언스에 대한 제어 정보를 생성할 수 있다.
또는, 인식 모듈(124)은 제어 장치(13)로부터 수신되는 응답 또는 어플라이언스(30)의 이벤트 정보로부터, 인공지능 기반의 인식 모델을 이용하여 상기 응답 또는 이벤트 정보에 기초한 다양한 상황을 인식하고, 인식 결과에 기초하여 어플라이언스(30) 또는 상기 어플라이언스(30)와 연동 또는 연관되는 타겟 어플라이언스에 대한 제어 정보를 생성하거나, 사용자에게 제공할 안내 메시지(안내 정보)를 생성할 수 있다.
예컨대, 인식 모듈(124)은 머신 러닝(machine learning)으로 기학습된 데이터(예컨대, 인공신경망(artificial neural network; ANN))를 갖는 인식기(125, 127; 도 14 및 도 15 참조)를 포함할 수 있다.
인식기(125, 127)에 대해서는 추후 도 14 내지 도 15 등을 통해 보다 상세히 설명한다.
데이터베이스(40)는 다양한 사용자들 각각의 어플라이언스 사용 패턴이나 인식기(125, 127)의 학습 데이터 등 인식 장치(12)의 동작과 관련된 각종 정보 및 데이터를 저장할 수 있다. 실시 예에 따라, 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)은 데이터베이스(40)에 저장될 수 있고, 인식 장치(12)는 구동 시 데이터베이스(40)로부터 상기 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)을 획득할 수 있다. 데이터베이스(40)에 사용자 프로파일(UP) 및 어플라이언스 프로파일(AP)이 저장된 경우, 어플라이언스의 제조사는 사용자의 어플라이언스 구매 정보를 이용하여 데이터베이스(40)의 사용자 프로파일(UP)을 편리하게 업데이트할 수 있다. 또한, 어플라이언스의 제조사는 신제품의 출시 시, 상기 신제품의 정보가 어플라이언스 프로파일(AP)에 포함되도록 용이하게 업데이트할 수 있다.
외부 컨텐츠 서버(50)는 인식 모듈(124)의 제어 정보 생성 또는 안내 메시지 생성에 필요한 각종 정보를 제공할 수 있다. 예컨대, 외부 컨텐츠 서버(50)는 날씨 정보를 제공하는 서버(기상 서비스 제공 서버 등), 음원이나 영상 컨텐츠를 제공하는 서버 등 다양한 정보를 제공하는 서버를 의미할 수 있다.
제어 장치(13)는 상기 인식 장치(12)로부터 전송되는 인공지능 기반 제어 명령과, 타겟 어플라이언스의 코드 정보로부터 제어 신호를 생성하고, 생성된 제어 신호를 어플라이언스(30)로 전송할 수 있다. 또한, 제어 장치(13)는 어플라이언스(30)로부터 수신되는 응답이나 이벤트 정보를 인식 장치(12)로 전송할 수 있다.
도 14와 도 15는 도 13에 도시된 인식 모듈을 보다 구체적으로 나타낸 도면이다.
이하 본 명세서에서, 인식 모듈(124)은 제1 인식기(125)와 제2 인식기(127)를 포함하는 것으로 설명한다. 제1 인식기(125)와 제2 인식기(127)는 서로 다른 형태의 인공신경망 구조를 구비할 수 있다. 다만, 인식 모듈(124)에 구비되는 인공신경망 구조의 수가 이에 한정되는 것은 아닌 바, 인식 모듈(124)에는 보다 많거나 적은 인공신경망 구조가 구비될 수도 있다.
도 14를 참조하면, 인식 모듈(124)은 제1 인식기(125)와 제어 정보 생성 모듈(126)을 포함할 수 있다.
제1 인식기(125)는 인공지능(artificial intelligence)의 일 분야인 머신 러닝 기반의 인식 모델을 포함할 수 있다. 이러한 제1 인식기(125)는 통신부(210)를 통해 수신되는 제어 명령을 상기 인식 모델로 입력하여, 상기 제어 명령의 타겟 어플라이언스에 대한 최적의 설정 환경을 인식할 수 있다.
상기 제어 명령은 상기 타겟 어플라이언스에 대한 식별 정보, 제어하고자 하는 기능이나 동작, 및/또는 제어 시 설정값 등을 나타내는 적어도 하나의 키워드를 포함할 수 있다. 한편, 실시 예에 따라서는, 제어 명령은 상기 타겟 어플라이언스의 기능과 관련된 키워드를 포함할 수도 있다.
프로세서(121)는 상기 제어 명령에 포함된 적어도 하나의 키워드를 상기 제1 인식기(125)로 입력할 수 있다.
예컨대, 상기 인식 모델은 소프트웨어 또는 하드웨어 형태의 인공신경망(ANN)을 포함할 수 있다. 예를 들어, 상기 인공신경망은 딥러닝(deep learning)으로 학습된 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(deep neural network; DNN)을 포함할 수 있다.
제1 인식기(125)는 상기 제어 명령이 입력되면, 입력된 제어 명령에 포함된 적어도 하나의 키워드에 대응하는 적어도 하나의 정보 사이의 연관성, 패턴 등을 발견하여 특징 맵을 형성할 수 있다. 예컨대, 제1 인식기(125)는 입력된 적어도 하나의 키워드로부터 하위레벨 특징, 중간레벨 특징, 및 상위레벨 특징을 추출하여 타겟 어플라이언스에 대한 최적의 설정 환경을 인식할 수 있다. 상기 연관성, 패턴 및 특징들은 이전 입력된 다수의 제어 명령 및 그에 대응하는 설정 환경으로부터 학습된 것일 수 있다.
실시 예에 따라, 제1 인식기(125)는 상기 제어 명령에 더하여, 외부 컨텐츠 서버(50)로부터 수신되는 외부 컨텐츠, 사용자 프로파일(UP), 및/또는 어플라이언스 프로파일(AP)을 이용하여 상기 타겟 어플라이언스에 대한 최적의 설정 환경을 인식할 수 있다. 이에 대해서는 추후 도 18 내지 도 20을 통해 보다 상세히 설명하기로 한다.
제어 정보 생성 모듈(126)은, 제1 인식기(125)의 인식 결과에 기초하여, 타겟 어플라이언스의 동작을 제어하기 위한 제어 정보를 생성할 수 있다. 예컨대, 제어 정보는 타겟 어플라이언스가 제공하는 기능 또는 동작 중 적어도 하나에 대한 활성화 여부에 대한 정보, 및 활성화되는 기능에 대한 설정값을 포함할 수 있다.
실시 예에 따라, 제1 인식기(125)의 인식 결과가 타겟 어플라이언스에 대한 제어 정보의 형태로 제공되거나, 프로세서(121)가 상기 인식 결과에 기초하여 상기 제어 정보를 생성하는 경우, 상기 제어 정보 생성 모듈(126)은 별도로 구비되지 않을 수도 있다.
즉, 제1 인식기(125)는 사용자로부터 입력되는 제어 명령으로부터 타겟 어플라이언스에 대한 최적의 제어 정보를 생성하는 역할을 수행할 수 있다.
한편, 도 15를 참조하면, 인식 모듈(124)은 제2 인식기(127)와 가이드 제공 모듈(128)을 더 포함할 수 있다.
제2 인식기(127)는 제1 인식기(125)와 마찬가지로 인공지능(artificial intelligence)의 일 분야인 머신 러닝 기반의 인식 모델을 포함할 수 있다.
이러한 제2 인식기(127)는 제어 장치(13)로부터 어플라이언스(30)의 이벤트 정보 또는 사용자로부터 입력된 제어 명령에 따른 응답이 수신되면, 수신된 이벤트 정보 또는 응답을 상기 인식 모델로 입력하여, 상기 이벤트 정보나 응답과 관련된 상황을 인식할 수 있다.
상기 이벤트 정보는 어플라이언스(30)의 특정 기능이나 동작이 개시/중단/완료됨을 나타내는 정보나, 이상 발생 여부에 대한 정보, 및 기타 어플라이언스(30)에서 발생한 다양한 이벤트에 대한 정보를 포함할 수 있다.
제2 인식기(127)는 상기 이벤트 정보 또는 응답이 입력되면, 입력된 이벤트 정보 또는 응답에 포함된 적어도 하나의 정보 사이의 연관성, 패턴 등을 발견하여 특징 맵을 형성할 수 있다. 예컨대, 제2 인식기(127)는 입력된 적어도 하나의 정보로부터 하위레벨 특징, 중간레벨 특징, 및 상위레벨 특징을 추출하여 상기 이벤트 정보 또는 응답에 따라 발생한 상황을 인식할 수 있다. 상기 연관성, 패턴 및 특징들은 이전 입력된 다수의 제어 명령 및 그에 대응하는 설정 환경으로부터 학습된 것일 수 있다.
실시 예에 따라, 제2 인식기(127)는 상기 이벤트 정보 또는 응답에 더하여, 외부 컨텐츠 서버(50)로부터 수신되는 외부 컨텐츠, 사용자 프로파일(UP), 및/또는 어플라이언스 프로파일(AP)을 추가로 이용하여 상기 상황을 인식할 수도 있다. 이에 대해서는 추후 도 21 내지 도 26을 통해 보다 상세히 설명하기로 한다.
가이드 제공 모듈(128)은, 제2 인식기(127)의 인식 결과에 기초하여, 사용자에게 상기 인식된 상황과 관련된 정보를 안내하기 위한 안내 메시지를 생성할 수 있다. 예컨대, 상기 안내 메시지는 어플라이언스(30)의 기능이나 동작이 개시/중단/완료됨을 나타내는 정보나, 이상 발생 여부에 대한 정보, 기타 이벤트에 대한 정보를 포함할 수 있다.
뿐만 아니라, 상기 안내 메시지는 상기 이벤트 정보나 응답에 따라 인식된 상황과 관련하여, 어플라이언스(30)의 추가 제어 또는 어플라이언스(30)와 연동 또는 연관된 다른 타겟 어플라이언스의 제어를 안내 또는 요청하는 메시지를 포함할 수도 있다. 이와 관련된 실시 예들에 대해서는 추후 도 24 내지 도 26을 통해 설명하기로 한다.
실시 예에 따라, 도 14에 도시된 제어 정보 생성 모듈(126)은 제2 인식기(127)의 인식 결과에 기초하여 어플라이언스(30) 또는 어플라이언스(30)와 연동 또는 연관된 다른 타겟 어플라이언스에 대한 제어 정보를 생성할 수도 있다. 상기 생성된 제어 정보는 통신부(122)를 통해 제어 장치(13)로 전송될 수 있다.
이하 도 16과 도 17을 참조하여, 인식 모듈(124)의 인식기들(125, 127)에 적용되는 인공지능 기술의 일례로서 딥 러닝에 대해 보다 상세히 설명한다.
도 16 내지 도 17은, 도 14 및 도 15의 제1 인식기와 제2 인식기에 적용되는 인공지능의 일례로서 딥러닝(deep learning)을 설명하기 위한 도면들이다.
인공지능이란 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 일 분야에 해당한다. 이러한 인공지능의 연구 분야 중 하나인 머신 러닝은 경험적 데이터를 기반으로 예측을 수행하고, 학습을 통해 스스로의 성능을 향상시키는 시스템을 의미할 수 있다. 머신 러닝의 일종인 딥러닝 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.
딥러닝은 단계를 높여갈수록 복수의 데이터로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(artificial neural network(ANN))을 포함할 수 있고, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(deep neural network)으로 구성될 수 있다.
도 16을 참조하면, 인공신경망은 입력 레이어(Input Layer), 히든 레이어(Hidden Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연결된다. 인접한 레이어 사이의 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다.
도 17을 참조하면, 컴퓨팅 장치(머신)는 투입된 입력 데이터(1510)로부터 일정한 패턴을 발견해 특징맵(feature map)을 형성할 수 있다. 예컨대, 컴퓨팅 장치(머신)는 하위레벨 특징(1520)부터, 중간레벨 특징(1530), 및 상위레벨 특징(1540)을 추출하여, 대상을 인식하고 그 결과를 출력(1550)할 수 있다.
인공신경망은 다음 순서의 레이어로 갈수록 더욱 상위레벨의 특징으로 추상화할 수 있다.
도 16과 도 17을 참조하면, 각 노드들은 활성화 모델에 기초하여 동작할 수 있고, 활성화 모델에 따라 입력값에 대응하는 출력값이 결정될 수 있다.
임의의 노드, 예를 들어, 하위레벨 특징(1520)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 중간레벨 특징(1530)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 중간레벨 특징(1530)의 노드는 하위레벨 특징(1520)의 복수의 노드들로부터 출력되는 값들을 입력받을 수 있다.
이 때, 각 노드의 입력값은 이전 레이어의 노드의 출력값에 웨이트(weight)가 적용된 값일 수 있다. 웨이트는 노드 간의 연결 강도를 의미할 수 있다.
또한, 딥러닝 과정은 적절한 웨이트를 찾아내는 과정으로도 볼 수 있다.
한편, 임의의 노드, 예를 들어, 중간레벨 특징(1530)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 상위레벨 특징(1540)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 상위레벨 특징(1540)의 노드는 중간레벨 특징(1530)의 복수의 노드로부터 출력되는 값들을 입력받을 수 있다.
인공신경망은 각 레벨에 대응하는 학습된 레이어(layer)를 이용하여, 각 레벨에 대응하는 특징 정보를 추출할 수 있다. 인공신경망은 순차적으로 추상화하여, 가장 상위 레벨의 특징 정보를 활용하여 소정 대상을 인식할 수 있다.
예를 들어, 딥러닝에 의한 얼굴인식 과정을 살펴보면, 컴퓨터는 입력 영상으로부터, 픽셀의 밝기에 따라 밝은 픽셀과 어두운 픽셀을 구분하고, 테두리, 에지 등 단순한 형태를 구분한 후, 조금 더 복잡한 형태와 사물을 구분할 수 있다. 최종적으로 컴퓨터는 인간의 얼굴을 규정하는 형태를 파악할 수 있다.
본 발명에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등일 수 있다.
RNN(Recurrent Neural Network)은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.
DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)를 구성할 수 있다.
CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.
한편, 메모리(123)에는 상기 인공신경망을 학습하기 위한 데이터가 저장될 수 있다. 또한, 실시 예에 따라서는, 메모리(123)에는 인공신경망 구조를 이루는 웨이트, 바이어스들이 저장될 수 있다. 또는, 실시 예에 따라서는, 상기 인공신경망 구조를 이루는 웨이트, 바이어스들은 인식 모듈(124)의 임베디드 메모리에 저장될 수도 있다.
한편, 인식 모듈(124)은 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로부터 제어 명령이 획득되어 그에 대응하는 제어 정보가 인식될 때마다, 획득된 제어 명령 및 제어 정보를 이용하여 제1 인식기(125)의 학습 과정을 수행할 수 있다. 또한, 인식 모듈(124)은 제어 장치(13)로부터 어플라이언스(30)의 이벤트 정보 또는 제어 명령에 따른 응답이 획득되어 그에 대응하는 상황이 인식될 때마다 제2 인식기(127)의 학습 과정을 수행할 수 있다. 상기 학습 과정이 수행됨에 따라, 웨이트 등 인공신경망 구조가 업데이트될 수 있다.
또는, 상기 학습 과정은 인식 장치(12)와 연결되는 다른 장치에서 수행되고, 인식 장치(12)는 상기 다른 장치로부터 머신 러닝과 관련된 데이터를 수신할 수도 있다. 이 경우, 인식 장치(12)는 수신된 머신 러닝과 관련된 데이터에 기초하여 인식 모듈(124)의 제1 인식기(125) 및/또는 제2 인식기(127)를 업데이트할 수 있다.
이하 도 18 내지 도 26을 참조하여, 본 발명의 실시 예에 따른 인식 장치(12)가 구비된 어플라이언스 제어 시스템의 동작과 관련된 다양한 예들을 설명한다.
도 18은 도 14에 도시된 제1 인식기의 인식 동작 및 학습 동작을 설명하기 위한 도면이다.
도 18을 참조하면, 도 14 등에서 상술한 바와 같이, 제1 인식기(125)는 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로부터 제어 명령이 입력(INPUT)되면, 입력된 제어 명령에 기초하여 타겟 어플라이언스에 대한 최적의 설정 환경을 인식하여 인식 결과를 출력할 수 있다. 실시 예에 따라, 상기 제어 명령에 더하여, 외부 컨텐츠 서버(50)로부터 수신되는 외부 컨텐츠, 사용자 프로파일(UP), 및/또는 어플라이언스 프로파일(AP)이 제1 인식기(125)로 입력(INPUT)될 수도 있다. 예컨대, 제1 인식기(125)로 입력되는 사용자 프로파일(UP)은 상기 타겟 어플라이언스에 대한 사용자의 사용 패턴이나 구동 히스토리 등을 포함할 수 있다. 또한, 제1 인식기(125)로 입력되는 어플라이언스 프로파일(AP)은 상기 타겟 어플라이언스의 모델이 지원하는 기능 정보 등을 포함할 수 있다.
도 18에서는 설명의 편의를 위해 상기 출력된 인식 결과가 제어 정보(CTR_INFO)에 대응하는 것으로 가정한다. 예컨대, 상기 제어 정보(CTR_INFO)는 상기 타겟 어플라이언스의 식별 정보, 상기 설정 환경에 따라 활성화(또는 비활성화)되는 기능에 대한 정보, 상기 기능에 대한 설정값 또는 제어값에 대한 정보 등 타겟 어플라이언스의 제어와 관련된 각종 정보를 포함할 수 있다.
실시 예에 따라, 제1 인식기(125)는 1회의 인식 결과를 최종 인식 결과로서 출력할 수 있으나, 복수 회의 인식 동작을 반복 또는 연속 수행하고, 복수 회의 인식 결과에 기초하여 최종 인식 결과를 출력함으로써, 인식 정확도를 보다 향상시킬 수도 있다.
한편, 제1 인식기(125)는 수신된 제어 명령을 수집하고, 수집된 제어 명령으로부터 추출된 특징점들과, 타겟 어플라이언스에 대한 최적 설정 환경의 인식 결과를 이용하여 제1 인식기(125)의 학습을 수행할 수 있다. 상기 학습을 통해, 제1 인식기(125)에 포함된 인공신경망의 파라미터들(웨이트 및 바이어스)이 업데이트될 수 있다. 상기 수집된 제어 명령은 인식 장치(12)의 메모리(123) 또는 인식 모듈(124)의 임베디드 메모리에 저장되거나, 데이터베이스(40)에 저장될 수 있다.
한편, 실시 예에 따라 상기 학습 동작은 인식 장치(12)와 연결된 별도의 학습 서버에서 수행될 수도 있다. 이 경우, 상기 학습 서버는 인식 장치(12)로부터 수신되는 제어 명령 및 인식 결과에 기초하여 학습 동작을 수행할 수 있다. 이러한 학습 서버는 인공신경망, 예를 들어 도 4 내지 도 5에서 상술한 CNN, RNN, DBN 등 심층신경망을 포함할 수 있다. 상기 학습 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다.
상기 학습 서버는 학습 동작의 수행에 따라 업데이트된 학습 데이터를 인식 장치(12)로 전송하고, 인식 장치(12)는 수신된 학습 데이터에 기초하여 제1 인식기(125)에 포함된 인공신경망 구조를 학습된 구조로 업데이트할 수 있다.
도 19는 인공지능 기반의 어플라이언스 제어 장치의 어플라이언스 제어 동작의 일례를 설명하기 위한 플로우차트이다.
도 19를 참조하면, 어플라이언스 제어 장치(10b)는 제어 명령 입력 장치(20a)로부터 제어 명령을 포함하는 음성을 획득하고(S1700), 획득된 음성으로부터 제어 명령을 인식할 수 있다(S1710). S1700 단계 및 S1710 단계는 도 6의 S605 단계 및 S610 단계와 실질적으로 동일한 바, 이에 대한 구체적인 설명은 생략한다.
어플라이언스 제어 장치(10b)는 인식된 제어 명령을 인공지능 기반의 인식기(예컨대, 제1 인식기(125))로 입력하여, 타겟 어플라이언스에 대한 제어 정보를 획득할 수 있다(S1720).
인식 장치(12)는 음성 처리 장치(11)로부터 상기 인식된 제어 명령을 수신할 수 있다. 실시 예에 따라, 인식 장치(12)는 제어 명령 입력 장치(20b)로부터 제어 명령을 수신할 수도 있다.
인식 장치(12)의 인식 모듈(124)은, 수신된 제어 명령을 제1 인식기(125)로 입력할 수 있다. 제1 인식기(125)는 인공지능 기반의 인식 모델(예컨대, 인공신경망 구조)을 이용하여, 상기 입력된 제어 명령으로부터 타겟 어플라이언스에 대한 최적의 설정 환경을 인식할 수 있다. 인식 모듈(124)은 인식된 설정 환경에 기초하여 타겟 어플라이언스에 대한 제어 정보를 생성할 수 있다.
실시 예에 따라, 인식 모듈(124)은 상기 제어 명령에 더하여, 외부 컨텐츠 서버(50)로부터 수신되는 외부 컨텐츠, 사용자 프로파일(UP), 및/또는 어플라이언스 프로파일(AP)을 제1 인식기(125)로 입력하여 상기 최적의 설정 환경을 인식할 수도 있다.
어플라이언스 제어 장치(10b)는 획득된 제어 정보에 기초한 제어 신호를 상기 타겟 어플라이언스로 전송할 수 있다(S1730).
인식 장치(12)는 상기 타겟 어플라이언스에 대한 제어 정보를 제어 장치(13)로 전송할 수 있다.
제어 장치(13)는 수신된 제어 정보에 기초하여 상기 타겟 어플라이언스에 대한 제어 신호를 생성하고, 생성된 제어 신호를 상기 타겟 어플라이언스로 전송할 수 있다. 예컨대, 제어 장치(13)는 상기 제어 정보에 포함된 타겟 어플라이언스 모델 정보(또는 식별 정보), 활성화 또는 비활성화되는 기능이나 동작의 정보에 기초하여, 상기 타겟 어플라이언스의 상기 기능이나 동작에 대응하는 코드 정보를 어플라이언스 프로파일(AP)로부터 획득할 수 있다. 이를 위해, 어플라이언스 프로파일(AP)은 제어 장치(13)에도 저장될 수 있다. 또는, 인식 장치(12)는 메모리(123)에 저장된 어플라이언스 프로파일(AP) 중, 상기 타겟 어플라이언스와 관련된 정보를 상기 제어 정보와 함께 제어 장치(13)로 전송할 수도 있다.
한편, 도 10 내지 도 11의 실시 예와 유사하게, 통신 모듈이 구비되지 않은 타겟 어플라이언스가 제어 명령 입력 장치(20; 예컨대 포터블 음성 입력 장치(21a))와 연결될 수 있다. 이 경우, 제어 장치(13)는 생성된 제어 신호를 상기 제어 명령 입력 장치(20)를 통해 상기 타겟 어플라이언스로 전송할 수 있다. 이를 위해, 사용자 프로파일(UP)에는 상기 타겟 어플라이언스가 제어 명령 입력 장치(20)와 연결된 상태임을 의미하는 정보가 포함될 수 있다. 인식 장치(12)는 상기 정보를 제어 장치(13)로 전송할 수 있고, 제어 장치(13)는 수신된 정보에 기초하여 상기 제어 신호를 제어 명령 입력 장치(20)로 전송할 수 있다.
도 20은 도 19에 도시된 제어 동작과 관련된 예시도이다.
도 20을 참조하면, 사용자(USER)는 에어컨(30a)과 이격된 위치에 존재하는 경우, 사용자(USER)가 소지하거나 사용자(USER)와 근접한 위치에 배치된 제어 명령 입력 장치(예컨대, 포터블 음성 입력 장치(21a))를 이용하여 “하이 LG, 에어컨 켜줘.”에 해당하는 음성(VO)을 입력할 수 있다. 이 때, 사용자는 상기 음성(VO)의 입력 시 음성 입력 버튼(223a)을 조작할 수 있다.
포터블 음성 입력 장치(21a)는 수신된 음성(VO)을 음성 처리 장치(11)로 전송할 수 있다.
음성 처리 장치(11)의 ASR 모듈(111)은 수신된 음성(VO)을 텍스트로 변환하고, NLP 모듈(113)은 변환된 텍스트로부터 사용자가 '에어컨'이 '온'되도록 명령함을 인식할 수 있다. 인식 결과에 기초하여, NLP 모듈(113)은 타겟 어플라이언스가 '에어컨'이고, 에어컨(30a)의 전원을 '온'하도록 제어하는 제어 명령(CMD)을 인식 장치(12)로 전송할 수 있다.
인식 장치(12)는 수신된 제어 명령(CMD)을 제1 인식기(125)로 입력할 수 있다. 또한, 인식 장치(12)는 외부 컨텐츠 서버(50)로부터 수신되는 외부 컨텐츠(EX_CONT)를 상기 제1 인식기(125)로 함께 입력할 수 있다. 예컨대, 외부 컨텐츠(EX_CONT)는 실외 온도가 '32℃'이고, 실외 습도가 '90%'임을 나타내는 정보를 포함할 수 있다.
비록 도시되지는 않았으나, 인식 장치(12)는 사용자 프로파일(UP)에 포함된 에어컨(30a)의 사용 패턴에 대한 정보, 및/또는 어플라이언스 프로파일(AP)에 포함된 에어컨(30a) 모델이 지원하는 모드 정보를 제1 인식기(125)로 함께 입력할 수도 있다.
제1 인식기(125)에 구비된 인식 모델(인공신경망)은, 입력된 제어 명령(CMD) 및 외부 컨텐츠(EX_CONT)로부터, 타겟 어플라이언스(에어컨(30a))에 대한 최적의 설정 환경을 인식할 수 있다. 예컨대, 상기 에어컨(30a)에 대한 최적의 설정 환경은 설정온도 '26℃'의 '강냉방 모드'에 해당할 수 있다. 인식 장치(12)의 제어 정보 생성 모듈(126)은, 상기 인식 결과에 기초하여 타겟 어플라이언스가 에어컨(30a)이고, 동작 모드가 '강냉방 모드'이며, 설정온도가 '26℃'임을 나타내는 제어 정보(CTR_INFO)를 생성할 수 있다.
즉, 도 6에 도시된 실시 예와 달리, 사용자의 제어 명령(CMD)에 에어컨(30a)의 설정 온도에 대한 정보가 포함되지 않더라도, 인식 장치(12)는 인공지능 기반의 제1 인식기(125)를 통해 에어컨(30a)에 대한 최적의 설정 환경을 인식하여 상기 설정 온도에 대한 정보를 생성할 수 있다.
제어 장치(13)는 인식 장치로부터 제어 정보(CTR_INFO)를 수신하고, 수신된 제어 정보(CTR_INFO)에 기초한 제어 신호(CTRL)를 생성할 수 있다. 제어 장치(13)는 생성된 제어 신호(CTRL)를 사용자가 보유한 어플라이언스들 중 에어컨(30a)으로 전송할 수 있다. 에어컨(30a)은 상기 제어 신호(CTRL)를 수신하고, 수신된 제어 신호(CTRL)에 포함된 코드 정보에 기초하여, 설정 온도 26℃의 강냉방 모드로 구동함으로써 상기 제어 신호(CTRL)를 처리(PROCESS)할 수 있다.
실시 예에 따라, 도 10 내지 도 11과 유사하게 에어컨(30a)에는 통신 모듈이 구비되지 않고, 포터블 음성 입력 장치(21a)가 에어컨(30a)과 연결(예컨대, USB 인터페이스 또는 근거리 무선 통신 방식)될 수 있다. 이 경우, 제어 장치(13)는 상기 제어 신호(CTRL)를 포터블 음성 입력 장치(21a)로 전송하고, 포터블 음성 입력 장치(21a)는 수신된 제어 신호(CTRL)를 에어컨(30a)으로 전송할 수 있다.
도 21은 도 15에 도시된 제2 인식기의 인식 동작 및 학습 동작을 설명하기 위한 도면이다.
도 21을 참조하면, 도 15 등에서 상술한 바와 같이, 제2 인식기(127)는 제어 장치(13)로부터 어플라이언스의 이벤트 정보가 입력(INPUT)되면, 입력된 이벤트 정보와 관련된 상황을 인식할 수 있다. 실시 예에 따라, 상기 이벤트 정보에 더하여, 외부 컨텐츠 서버(50)로부터 수신되는 외부 컨텐츠, 사용자 프로파일(UP), 및/또는 어플라이언스 프로파일(AP)이 제2 인식기(127)로 입력(INPUT)될 수도 있다. 예컨대, 제2 인식기(127)로 입력되는 사용자 프로파일(UP)은 상기 어플라이언스 및 상기 어플라이언스와 연동 또는 연관된 다른 어플라이언스들에 대한 사용 패턴이나 구동 히스토리 등의 정보를 포함할 수 있다. 또한, 제2 인식기(127)로 입력되는 어플라이언스 프로파일(AP)은 상기 어플라이언스 및/또는 상기 연동 또는 연관된 다른 어플라이언스들 중, 사용자가 보유한 모델들이 지원하는 기능 정보 등을 포함할 수 있다.
도 21에서는, 인식 장치(12)가 제2 인식기(127)의 인식 결과에 기초하여 어플라이언스와 연동하는 타겟 어플라이언스에 대한 제어 정보(CTR_INFO)를 생성하는 실시 예를 설명한다. 한편, 인식 장치(12)는 도 15에서 상술한 바와 같이, 상기 제2 인식기(127)의 인식 결과에 기초하여 사용자에게 제공할 안내 메시지를 생성할 수도 있다.
예컨대, 상기 제어 정보(CTR_INFO)는 상기 타겟 어플라이언스의 식별 정보, 상기 인식된 상황에 따라 활성화(또는 비활성화)되는 기능에 대한 정보, 상기 기능에 대한 설정값 또는 제어값에 대한 정보 등 타겟 어플라이언스의 제어와 관련된 각종 정보를 포함할 수 있다. 한편, 상기 인식된 상황에 기초하여 복수의 타겟 어플라이언스들이 제어될 수 있고, 이 경우 인식 장치(12)는 복수의 타겟 어플라이언스들 각각에 대한 제어 정보를 생성할 수도 있다.
실시 예에 따라, 제2 인식기(127)는 1회의 인식 결과를 최종 인식 결과로서 출력할 수 있으나, 복수 회의 인식 동작을 반복 또는 연속 수행하고, 복수 회의 인식 결과에 기초하여 최종 인식 결과를 출력함으로써, 인식 정확도를 보다 향상시킬 수도 있다.
한편, 제2 인식기(127)는 수신된 입력(INPUT)을 수집하고, 수집된 입력(INPUT)으로부터 추출된 특징점들과, 상기 이벤트 정보에 따른 상황 인식 결과를 이용하여 제2 인식기(127)의 학습을 수행할 수 있다. 상기 학습을 통해, 제2 인식기(127)에 포함된 인공신경망의 파라미터들(웨이트 및 바이어스)이 업데이트될 수 있다. 상기 수집된 제어 명령은 인식 장치(12)의 메모리(123) 또는 인식 모듈(124)의 임베디드 메모리에 저장되거나, 데이터베이스(40)에 저장될 수 있다.
도 22는 인공지능 기반의 어플라이언스 제어 장치의 어플라이언스 제어 동작의 다른 일례를 설명하기 위한 플로우차트이다.
도 22를 참조하면, 어플라이언스 제어 장치(10b)는 어플라이언스(30)로부터 이벤트 정보를 획득하고(S2000), 상기 어플라이언스(30)에 대한 정보 및 상기 이벤트 정보를 인공지능 기반의 인식기(예컨대, 제2 인식기(127))로 입력할 수 있다(S2010).
어플라이언스(30)는 특정 기능이나 동작의 개시/중단/완료나, 이상 상황 발생 등의 이벤트가 발생하면, 상기 이벤트에 대응하는 이벤트 정보를 제어 장치(13)로 전송할 수 있다. 실시 예에 따라, 어플라이언스(30)가 제어 명령 입력 장치(20; 예컨대 포터블 음성 입력 장치(21a))와 연결된 경우, 어플라이언스(30)는 상기 이벤트 정보를 제어 명령 입력 장치(20)를 통해 상기 제어 장치(13)로 전송할 수도 있다.
제어 장치(13)는 수신된 이벤트 정보를 인식 장치(12)로 전송할 수 있다. 인식 장치(12)의 인식 모듈(124)은 수신된 이벤트 정보와, 상기 이벤트 정보를 전송한 어플라이언스(30) 정보를 제2 인식기(127)로 입력할 수 있다.
제2 인식기(127)는 인공지능 기반의 인식 모델(예컨대, 인공신경망 구조)을 이용하여, 상기 입력된 제어 명령으로부터 상기 이벤트와 관련된 상황을 인식할 수 있다. 인식 모듈(124)은 인식된 설정 환경에 기초하여 타겟 어플라이언스에 대한 제어 정보를 생성할 수 있다.
실시 예에 따라, 인식 모듈(124)은 상기 이벤트 정보 및 어플라이언스 정보에 더하여, 외부 컨텐츠 서버(50)로부터 수신되는 외부 컨텐츠, 사용자 프로파일(UP), 및/또는 어플라이언스 프로파일(AP)을 제2 인식기(127)로 입력하여 상기 이벤트와 관련된 상황을 인식할 수도 있다.
어플라이언스 제어 장치(10b)는 상기 인식기의 인식 결과에 기초하여 상기 어플라이언스(30)와 연동되는 타겟 어플라이언스에 대한 제어 정보를 획득할 수 있다(S2020).
예컨대, 제2 인식기(127)에 의해 인식된 상황은, 상기 어플라이언스(30)에서 발생한 이벤트와 연동되는 타겟 어플라이언스에 대한 제어가 요구되는 상황일 수 있다.
이 경우, 제2 인식기(127)는 상기 타겟 어플라이언스의 설정 환경을 상기 인식 결과로서 출력하고, 제어 정보 생성 모듈(126)은 상기 설정 환경에 기초하여 상기 타겟 어플라이언스에 대한 제어 정보를 생성할 수 있다.
어플라이언스 제어 장치(10b)는 획득된 제어 정보에 기초한 제어 신호를 상기 타겟 어플라이언스로 전송할 수 있다(S2030).
S2030 단계는 도 19의 S1730 단계와 유사한 바, 이에 대한 설명은 생략한다.
즉, 도 22에 도시된 실시 예에 따르면, 인식 장치(12)는 특정 어플라이언스에서 발생한 이벤트로부터, 상기 이벤트와 연동 또는 연관된 다른 어플라이언스의 제어가 필요함을 인공지능 기반으로 인식할 수 있다. 인식 장치(12)는 인식 결과에 기초하여 상기 다른 어플라이언스를 자동으로 제어함으로써, 사용자의 편의성을 극대화할 수 있다.
도 23은 도 22에 도시된 제어 동작과 관련된 예시도이다.
도 23을 참조하면, 세탁기(30d)는 이불모드로 구동하여 세탁물의 세탁을 수행할 수 있다. 상기 이불모드의 구동이 완료된 경우, 세탁기(30d)는 이불모드의 구동이 완료되었음을 나타내는 이벤트 정보(EVENT)를 제어 장치(13)로 전송할 수 있다. 실시 예에 따라, 통신 모듈이 구비되지 않은 세탁기(30d)가 포터블 음성 입력 장치(21a)와 연결된 경우, 세탁기(30d)는 상기 이벤트 정보(EVENT)를 포터블 음성 입력 장치(21a)를 통해 제어 장치(13)로 전송할 수 있다.
제어 장치(13)는 세탁기(30d) 또는 포터블 음성 입력 장치(21a)로부터 수신된 이벤트 정보(EVENT) 또는 상기 이벤트 정보(EVENT)를 가공한 가공된 이벤트 정보(EVENT_INFO)를 인식 장치(12)로 전송할 수 있다. 예컨대, 상기 이벤트 정보(EVENT_INFO)는 이벤트가 발생한 어플라이언스 정보(세탁기)와, 해당 어플라이언스에 발생한 이벤트(이불모드 완료)를 포함할 수 있다.
인식 장치(12)는 수신된 이벤트 정보(EVENT_INFO)를 제2 인식기(127)로 입력할 수 있다. 또한, 인식 장치(12)는 외부 컨텐츠 서버(50)로부터 수신되는 외부 컨텐츠(EX_CONT)를 상기 제2 인식기(127)로 함께 입력할 수 있다. 예컨대, 외부 컨텐츠(EX_CONT)는 실외 습도가 '90%'이고, 미세먼지 상태가 '나쁨'을 나타내는 환경 정보를 포함할 수 있다.
비록 도시되지는 않았으나, 인식 장치(12)는 사용자 프로파일(UP)에 포함된 세탁기(30d) 또는 세탁기(30d)와 관련된 다른 어플라이언스들과 관련된 정보, 및/또는 어플라이언스 프로파일(AP)에 포함된 세탁기(30d) 또는 상기 다른 어플라이언스들이 지원하는 기능이나 모드에 대한 정보를 제2 인식기(127)로 함께 입력할 수도 있다.
제2 인식기(127)에 구비된 인식 모델(인공신경망)은, 입력된 이벤트 정보(EVENT_INFO) 및 외부 컨텐츠(EX_CONT)로부터, 상기 이벤트와 관련된 상황을 인식할 수 있다. 예컨대, 제2 인식기(127)는, 세탁기(30d)의 이불모드가 완료되고, 실외 습도가 90%이며, 미세먼지 상태가 '나쁨'인 경우, 건조기(30e)의 구동이 필요한 상황임을 인식할 수 있다.
인식 장치(12)의 제어 정보 생성 모듈(126)은, 상기 인식 결과에 기초하여 타겟 어플라이언스가 건조기(30e)이고, 동작 모드가 '이불 모드' 임을 나타내는 제어 정보(CTR_INFO)를 생성할 수 있다.
제어 장치(13)는 인식 장치(12)로부터 제어 정보(CTR_INFO)를 수신하고, 수신된 제어 정보(CTR_INFO)에 기초한 제어 신호(CTRL)를 생성할 수 있다. 예컨대, 건조기(30e)가 상기 '이불 모드'를 지원하는 경우, 제어 장치(13)는 상기 '이불 모드'에 대응하는 코드 정보를 포함하는 제어 신호(CTRL)를 생성할 수 있다. 반면, 실시 예에 따라 건조기(30e)가 상기 '이불 모드'를 지원하지 않는 경우, 제어 장치(13)는 건조기(30e)가 지원하는 다른 모드들 중 '이불 모드'를 대체가능한 모드에 대응하는 코드 정보를 포함하는 제어 신호(CTRL)를 생성할 수도 있다.
실시 예에 따라, 제어 장치(13) 대신 제어 정보 생성 모듈(126)이 건조기(30e)가 지원하는 모드를 확인할 수도 있다. 이 경우, 제어 정보 생성 모듈(126)은 건조기(30e)가 '이불 모드'를 지원하지 않는 경우, '이불 모드'를 대체가능한 모드를 나타내는 제어 정보(CTR_INFO)를 생성할 수 있다.
제어 장치(13)는 생성된 제어 신호(CTRL)를 사용자가 보유한 어플라이언스들 중 건조기(30e)(또는 건조기(30e)와 연결된 포터블 음성 입력 장치(21a))로 전송할 수 있다. 건조기(30e)는 제어 장치(13) 또는 포터블 음성 입력 장치(21a)로부터 상기 제어 신호(CTRL)를 수신하고, 수신된 제어 신호(CTRL)에 포함된 코드 정보에 기초하여, 구동 모드를 '이불 모드'로 자동 설정한 채로 대기할 수 있다. 사용자는 세탁기(30d)에 수용된 세탁물을 건조기(30e)로 투입하고, 건조기(30e)의 시작 버튼을 조작함으로써 건조기(30e)를 편리하게 이용할 수 있다.
도 24는 인공지능 기반의 어플라이언스 제어 장치의 어플라이언스 제어 동작의 또 다른 일례를 설명하기 위한 래더 다이어그램이다.
도 24를 참조하면, 어플라이언스(31)는 이벤트가 발생한 경우 이벤트 정보를 제어 장치(13)로 전송할 수 있다(S2200, S2205). 제어 장치(13)는 수신된 이벤트 정보에 기초하여 어플라이언스 정보 및 이벤트 정보를 인식 장치(12)로 전송할 수 있다(S2210).
인식 장치(12)는 수신된 어플라이언스 정보 및 이벤트 정보에 기초하여, 상기 이벤트와 관련된 상황을 인식할 수 있다. 예컨대, 상기 인식 결과가 상기 이벤트와 연동되는 타겟 어플라이언스(32)에 대한 제어가 필요한 상황인 경우, 인식 장치(12)는 인식 결과에 기초하여 타겟 어플라이언스(32)에 대한 제어 정보를 획득할 수 있다(S2215).
S2200 단계 내지 S2215 단계는 도 22 내지 도 23에서 상술한 실시 예와 유사할 수 있다.
이 후, 도 22 및 도 23에 도시된 실시 예와 달리, 인식 장치(12)는 상기 인식된 상황에 기초한 안내 메시지 또는 상기 제어 정보에 기초한 안내 메시지를 생성하고, 생성된 안내 메시지를 제어 명령 입력 장치(20)로 전송할 수 있다(S2220).
예컨대, 가이드 제공 모듈(178)은 상기 인식된 상황 또는 상기 제어 정보에 기초하여, 타겟 어플라이언스(32)의 구동이 필요함을 나타내는 안내 메시지를 생성할 수 있다.
인식 장치(12)는 생성된 안내 메시지를 음성 처리 장치(11) 또는 제어 명령 입력 장치(20b)로 전송할 수 있다. 음성 처리 장치(11)는 수신된 안내 메시지를 포함하는 음성을 생성하고, 생성된 음성을 제어 명령 입력 장치(20a)로 전송할 수 있다.
제어 명령 입력 장치(20)는 수신된 안내 메시지를 출력부(230)를 통해 음성, 텍스트, 그래픽 등의 형태로 출력하고(S2225), 출력된 안내 메시지에 기초한 응답을 사용자로부터 수신할 수 있다(S2230). 제어 명령 입력 장치(20)는 수신된 응답을 인식 장치(12)로 전송할 수 있다(S2235).
예컨대, 제어 명령 입력 장치(20)가 포터블 음성 입력 장치(21a)인 경우, 포터블 음성 입력 장치(21a)는 음성 처리 장치(11)로부터 수신된 안내 메시지를 스피커(231)를 통해 음성으로 출력할 수 있다. 포터블 음성 입력 장치(21a)는 출력된 음성에 기초한 사용자의 응답을 마이크로폰(221)을 통해 음성 형태로 수신할 수 있다.
제어 명령 입력 장치(20)는 수신된 응답을 인식 장치(12)로 직접 전송하거나 음성 처리 장치(11)를 통해 인식 장치(12)로 전송할 수 있다. 예컨대, 포터블 음성 입력 장치(21a)는 음성 형태로 수신된 사용자의 응답을 음성 처리 장치(11)로 전송할 수 있다. 음성 처리 장치(11)는 수신된 음성을 텍스트 형태 등으로 변환하고, 변환된 형태의 응답을 인식 장치(12)로 전송할 수 있다.
인식 장치(12)는 수신된 응답에 기초하여 타겟 어플라이언스(32)에 대한 제어 정보를 생성할 수 있다(S2240).
예컨대, 수신된 응답이 상기 안내 메시지에 대한 동의 또는 수락에 해당하거나, S2215 단계에서 획득된 제어 정보와 동일한 제어 정보를 나타내는 경우, 인식 장치(12)는 S2215 단계와 동일한 제어 정보를 생성할 수 있다.
반면, 수신된 응답이 상기 안내 메시지에 포함된 제어 정보와 상이한 제어 정보를 나타내는 경우, 인식 장치(12)는 수신된 응답에 기초하여 상기 타겟 어플라이언스(32)에 대한 제어 정보를 재생성할 수 있다.
실시 예에 따라, 상기 안내 메시지의 전송과 응답 수신은 복수 회에 걸쳐 단계적으로 수행될 수도 있다. 이에 대해서는 추후 도 25 내지 도 26의 실시 예를 통해 설명한다.
인식 장치(12)는 생성된 제어 정보를 제어 장치(13)로 전송할 수 있다(S2245). 한편, 인식 장치(12)는 수신된 응답에 기초한 학습 동작을 수행함으로써, 사용자의 의도에 대응하도록 인공신경망 구조를 업데이트할 수 있다(S2250). 제어 장치(13)는 수신된 제어 정보에 기초한 제어 신호를 생성하고(S2255), 생성된 제어 신호를 타겟 어플라이언스(32)로 전송할 수 있다(S2260). 타겟 어플라이언스(32)는 수신된 제어 신호를 처리할 수 있다(S2265).
즉, 어플라이언스 제어 장치(10b)는 인식 장치(12)를 이용하여, 특정 어플라이언스에서 발생한 이벤트와 관련된 상황을 인식하고, 인식된 상황에 기초하여 어플라이언스 또는 다른 어플라이언스의 동작을 지능적으로 제어할 수 있다. 이에 따라, 어플라이언스 제어 장치가 제공하는 서비스에 대한 사용자의 만족도가 극대화될 수 있다.
또한, 어플라이언스 제어 장치(10b)는 인식 장치(12)를 이용하여, 사용자와의 인터랙션을 통해 사용자의 의도를 정확히 반영한 어플라이언스 제어 서비스를 제공할 수 있다.
도 25 내지 도 26은 도 24의 제어 동작과 관련된 구체적인 실시 예를 설명하기 위한 도면이다.
도 25 내지 도 26에서, 제어 명령 입력 장치(20)는 포터블 음성 입력 장치(21a)인 것으로 가정하여 설명한다.
도 25를 참조하면, 세탁기(30d)는 세탁 모드가 종료된 경우, 세탁 종료를 알리는 이벤트 정보를 제어 장치(13)를 통해 인식 장치(12)로 전송할 수 있다(S2300, S2305). 세탁기(30d)가 포터블 음성 입력 장치(21a)와 연결된 경우, 세탁기(30d)는 포터블 음성 입력 장치(21a)로 상기 이벤트 정보를 전송하고, 포터블 음성 입력 장치(21a)는 상기 이벤트 정보를 제어 장치(13)를 통해 인식 장치(12)로 전송할 수 있다.
인식 장치(12)는 수신된 이벤트 정보에 기초하여 세탁이 종료되었음을 포터블 음성 입력 장치(21a)를 통해 사용자에게 안내할 수 있다(S2310).
예컨대, 음성 처리 장치(11)는 인식 장치(12)로부터 수신되는 안내 메시지에 기초하여 세탁 완료를 안내하는 제1 음성(G1)을 생성하고, 생성된 제1 음성(G1)을 포터블 음성 입력 장치(21a)로 전송할 수 있다. 포터블 음성 입력 장치(21a)는 수신된 제1 음성(G1)을 스피커(231)를 통해 출력할 수 있다.
한편, 인식 장치(12)는 상기 이벤트 정보에 기초하여 건조기(30e)의 구동이 필요한 상황임을 인식하고, 사용자의 건조기 보유 여부를 인식할 수 있다(S2315). 예컨대, 인식 장치(12)는 제2 인식기(127)를 통해 상기 건조기 보유 여부를 인식하거나, 사용자 프로파일(UP)로부터 상기 건조기 보유 여부를 인식할 수 있다.
사용자가 건조기(30e)를 보유한 경우, 인식 장치(12)는 건조기(30e)의 구동을 안내하는 안내 메시지를 음성 처리 장치(11)로 전송할 수 있다(S2320).
음성 처리 장치(11)는 수신된 안내 메시지에 기초하여 건조기(30e)의 구동 여부를 확인받기 위한 제2 음성(G2)을 생성하고, 생성된 제2 음성(G2)을 포터블 음성 입력 장치(21a)로 전송할 수 있다. 포터블 음성 입력 장치(21a)는 수신된 제2 음성(G2)을 스피커(231)를 통해 출력할 수 있다.
사용자는, 출력된 제2 음성(G2)에 기초하여 건조기(30e)의 사용 여부를 판단할 수 있다. 건조기(30e)를 사용하고자 하는 경우, 사용자는 건조기의 구동을 요청하는 제1 응답(R1)을 포터블 음성 입력 장치(21a)로 입력할 수 있다. 포터블 음성 입력 장치(21a) 및 음성 처리 장치(11)는 상기 제1 응답(R1)에 기초하여 건조기(30e)의 구동 요청을 인식 장치(12)로 전송할 수 있다(S2325).
건조기(30e)의 구동 요청이 수신되면, 인식 장치(12)는 건조기(30e)의 제어를 위해 세탁기(30d)의 세탁 모드를 인식 또는 확인하고(S2330), 인식 결과에 기초하여 건조기(30e)의 구동 모드를 설정하기 위한 안내 메시지를 음성 처리 장치(11)로 전송할 수 있다(S2335).
예컨대, 세탁기(30d)의 세탁 모드가 “아기옷 코스”인 경우, 인식 장치(12)는 건조기(30e)의 구동 모드를 상기 “아기옷 코스”와 관련된 모드로 설정할 것인지 여부를 확인받기 위한 안내 메시지를 생성할 수 있다.
음성 처리 장치(11)는 수신된 안내 메시지에 기초하여 건조기(30e)에 설정될 구동 모드를 질의하는 제3 음성(G3)을 생성하고, 생성된 제3 음성(G3)을 포터블 음성 입력 장치(21a)로 전송할 수 있다. 포터블 음성 입력 장치(21a)는 수신된 제3 음성(G3)을 스피커(231)를 통해 출력할 수 있다.
사용자는 출력된 제3 음성(G3)에 기초하여 건조기(30e)에 설정할 구동 모드를 판단할 수 있다. 예컨대, 상기 “아기옷 코스”와 관련된 모드로 상기 건조기(30e)의 구동 모드를 설정하고자 하는 경우, 사용자는 수락 또는 동의에 해당하는 제2 응답(R2)을 포터블 음성 입력 장치(21a)로 입력할 수 있다. 포터블 음성 입력 장치(21a) 및 음성 처리 장치(11)는 상기 제2 응답(R2)에 기초하여 사용자의 수락 또는 동의에 해당하는 응답을 인식 장치(12)로 전송할 수 있다(S2340).
인식 장치(12)는 수신된 제2 응답(R2)에 기초하여, 건조기(30e)의 스펙, 즉 건조기(30e)가 지원 가능한 모드들에 대해 인식(또는 확인)할 수 있다(S2345). 실시 예에 따라, S2345 단계는 S2330 단계에서 함께 수행될 수도 있다.
인식 장치(12)는 인식 결과에 기초하여 건조기(30e)에 대한 제어 정보를 생성하고, 생성된 제어 정보를 제어 장치(13)로 전송할 수 있다(S2350).
상술한 바와 같이 사용자로부터 수락 또는 동의에 해당하는 응답(R2)을 수신한 경우, 인식 장치(12)는 세탁기(30d)의 “아기옷 코스”에 대응하는 모드로 건조기(30e)의 구동 모드를 설정하는 제어 정보를 생성할 수 있다.
한편, 사용자로부터 건조기(30e)의 특정 모드를 지정하는 응답이 수신되는 경우, 인식 장치(12)는 상기 수신된 응답에 해당하는 모드로 건조기(30e)의 구동 모드를 설정하는 제어 정보를 생성할 수 있다.
제어 장치(13)는 수신된 제어 정보에 기초한 제어 신호를 생성하고, 생성된 제어 신호를 건조기(30e)로 전송(또는 포터블 음성 입력 장치(21a)를 통해 건조기(30e)로 전송)할 수 있다(S2355). 건조기(30e)는 수신된 제어 신호에 기초하여 건조기(30e)의 구동 모드를 설정할 수 있다(S2360).
또한, 인식 장치(12)는 상기 제2 응답(R2)에 기초하여 건조기(30e)의 구동 모드가 설정되었음을 안내하는 안내 메시지를 음성 처리 장치(11)로 전송할 수 있다. 상기 안내 메시지는 S2350 단계 이후 자동으로 수행되거나, S2360 단계 이후 건조기(30e)로부터 수신되는 응답에 기초하여 수행될 수 있다.
음성 처리 장치(11)는 수신된 안내 메시지에 기초하여 건조기(30e)에 설정된 구동 모드에 대해 안내하는 제4 음성(G4)을 생성하고, 생성된 제4 음성(G4)을 포터블 음성 입력 장치(21a)로 전송할 수 있다. 포터블 음성 입력 장치(21a)는 수신된 제4 음성(G4)을 스피커(231)를 통해 출력할 수 있다. 사용자는 출력된 제4 음성(G4)에 기초하여, 세탁기(30d)에 수용된 세탁물을 건조기(30e)로 투입하고, 건조기(30e)에 설정된 구동 모드로 건조기(30e)를 가동시킬 수 있다.
즉, 도 25 내지 도 26에 도시된 실시 예에 따르면, 어플라이언스 제어 장치(10b)는 인식 장치(12)를 이용하여, 사용자와의 단계적인 인터랙션을 통해 사용자의 의도를 정확히 반영한 어플라이언스 제어 서비스를 제공할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 음성 처리 장치 또는 제어 명령 입력 장치와 연결되고, 상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로부터 어플라이언스에 대한 제어 명령을 수신하는 통신부와,
    상기 수신된 제어 명령에 기초하여 상기 어플라이언스에 대한 설정 환경을 인식하고, 인식된 설정 환경에 기초하여 상기 어플라이언스에 대한 제어 정보를 생성하는 인식 모듈을 포함하는 인식 장치; 및
    상기 인식 장치로부터 상기 제어 정보를 수신하고, 수신된 제어 정보에 기초하여 제어 신호를 생성하고, 생성된 제어 신호를 상기 어플라이언스 또는 상기 어플라이언스와 연결된 제어 명령 입력 장치로 전송하는 제어 장치를 포함하고,
    상기 인식 모듈은,
    상기 수신된 제어 명령으로부터 상기 어플라이언스에 대한 설정 환경을 인식하기 위한 인식 모델을 갖는 제1 인식기; 및
    상기 인식된 설정 환경에 기초하여 상기 제어 정보를 생성하는 제어 정보 생성 모듈을 포함하고,
    상기 제어 장치는,
    상기 어플라이언스 또는 상기 어플라이언스와 연결된 제어 명령 입력 장치로부터 상기 어플라이언스의 이벤트 정보를 수신하고, 수신된 이벤트 정보를 상기 인식 장치로 전송하고,
    상기 인식 모듈은,
    상기 이벤트 정보로부터 상기 어플라이언스와 연동되는 타겟 어플라이언스에 대한 설정 환경을 인식하는 인식 모델을 갖는 제2 인식기를 더 포함하는
    어플라이언스 제어 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 인식 모듈은,
    상기 제어 명령 및 상기 어플라이언스에 대한 설정 환경의 인식 결과를 이용하여, 상기 제1 인식기에 포함된 상기 인식 모델을 업데이트하는
    어플라이언스 제어 장치.
  4. 제1항에 있어서,
    상기 인식 장치는 사용자 프로파일 및 어플라이언스 프로파일을 저장하는 메모리를 더 포함하고,
    상기 통신부를 통해 연결된 외부 컨텐츠 서버로부터 외부 컨텐츠를 수신하고,
    상기 제1 인식기는,
    상기 외부 컨텐츠, 상기 사용자 프로파일, 및 상기 어플라이언스 프로파일 중 적어도 하나와 상기 제어 명령으로부터 상기 설정 환경을 인식하는
    어플라이언스 제어 장치.
  5. 제4항에 있어서,
    상기 메모리에 저장된 사용자 프로파일은,
    사용자가 보유한 어플라이언스들의 모델 정보, 사용 패턴, 구동 히스토리, 그룹 정보, 및 그룹별 대표 어플라이언스 정보 중 적어도 하나를 포함하고,
    상기 메모리에 저장된 어플라이언스 프로파일은,
    어플라이언스들의 모델들 각각에 대해, 지원가능한 기능 또는 모드들에 대한 정보를 포함하는
    어플라이언스 제어 장치.
  6. 제1항에 있어서,
    상기 제어 정보 생성 모듈은,
    상기 인식된 설정 환경에 기초하여, 상기 어플라이언스의 식별 정보, 상기 설정 환경에 기초하여 제어되는 기능 또는 모드 정보, 및 상기 기능 또는 모드와 관련된 설정값 정보 중 적어도 하나를 포함하는 상기 제어 정보를 생성하는
    어플라이언스 제어 장치.
  7. 제6항에 있어서,
    상기 제어 장치는,
    상기 제어 정보를 수신한 경우, 상기 제어 정보에 포함된 상기 어플라이언스의 식별 정보에 기초하여, 상기 어플라이언스의 상기 기능 또는 모드 정보, 및 상기 설정값 정보 중 적어도 하나에 대응하는 코드 정보를 획득하고, 획득된 코드 정보를 포함하는 상기 제어 신호를 생성하는
    어플라이언스 제어 장치.
  8. 제6항에 있어서,
    상기 제어 장치는,
    상기 어플라이언스를 포함하는 그룹의 대표 어플라이언스를 통해 상기 어플라이언스로 상기 제어 신호를 전송하는 어플라이언스 제어 장치.
  9. 제1항에 있어서,
    상기 제어 장치는,
    상기 어플라이언스 또는 상기 어플라이언스와 연결된 제어 명령 입력 장치로부터, 상기 제어 명령에 따른 응답을 수신하고, 수신된 응답을 상기 인식 장치로 전송하고,
    상기 제2 인식기는,
    수신된 응답으로부터, 상기 어플라이언스, 또는 상기 어플라이언스와 연동된 타겟 어플라이언스에 대한 설정 환경을 인식하고,
    상기 제어 정보 생성 모듈은,
    상기 인식된 설정 환경에 기초하여 상기 어플라이언스 또는 상기 타겟 어플라이언스에 대한 제어 정보를 생성하는
    어플라이언스 제어 장치.
  10. 제9항에 있어서,
    상기 인식 장치는,
    상기 응답 또는 이벤트 정보와, 상기 타겟 어플라이언스에 대한 설정 환경의 인식 결과를 이용하여 상기 제2 인식기에 포함된 상기 인식 모델을 업데이트하는
    어플라이언스 제어 장치.
  11. 제9항에 있어서,
    상기 인식 장치는,
    사용자 프로파일 및 어플라이언스 프로파일을 저장하는 메모리를 더 포함하고,
    상기 통신부를 통해 연결된 외부 컨텐츠 서버로부터 외부 컨텐츠를 수신하고,
    상기 제2 인식기는,
    상기 외부 컨텐츠, 상기 사용자 프로파일, 및 상기 어플라이언스 프로파일 중 적어도 하나와 상기 응답 또는 이벤트 정보로부터 상기 설정 환경을 인식하는
    어플라이언스 제어 장치.
  12. 제9항에 있어서,
    상기 인식 모듈은,
    상기 인식된 설정 환경에 기초한 안내 정보를 생성하는 가이드 제공 모듈을 더 포함하고,
    상기 인식 장치는,
    상기 생성된 안내 정보를 상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로 전송하도록 상기 통신부를 제어하는
    어플라이언스 제어 장치.
  13. 제12항에 있어서,
    상기 인식 장치는,
    상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로부터 상기 안내 정보에 기초한 응답을 수신하고,
    수신된 응답에 기초하여, 상기 어플라이언스 또는 상기 타겟 어플라이언스에 대한 제어 정보를 생성하고,
    생성된 제어 정보를 상기 제어 장치로 전송하는
    어플라이언스 제어 장치.
  14. 어플라이언스에 대한 제어 명령을 수신하고, 수신된 제어 명령을 인식 장치 또는 음성 처리 장치로 전송하는 제어 명령 입력 장치;
    상기 제어 명령 입력 장치 또는 상기 음성 처리 장치로부터 상기 제어 명령을 수신하고, 수신된 제어 명령에 기초하여 상기 어플라이언스에 대한 설정 환경을 인식하고, 인식된 설정 환경에 기초하여 상기 어플라이언스에 대한 제어 정보를 생성하는 상기 인식 장치; 및
    상기 인식 장치로부터 상기 제어 정보를 수신하고, 수신된 제어 정보에 기초하여 제어 신호를 생성하고, 생성된 제어 신호를 상기 어플라이언스 또는 상기 어플라이언스와 연결된 제어 명령 입력 장치로 전송하는 제어 장치를 포함하고,
    상기 인식 장치는,
    상기 수신된 제어 명령으로부터 상기 어플라이언스에 대한 설정 환경을 인식하는 인식 모델을 갖는 제1 인식기; 및
    상기 인식된 설정 환경에 기초하여 상기 제어 정보를 생성하는 제어 정보 생성 모듈을 포함하고,
    상기 제어 장치는,
    상기 어플라이언스로부터 상기 어플라이언스의 이벤트 정보를 수신하고, 수신된 이벤트 정보를 상기 인식 장치로 전송하고,
    상기 인식 장치는,
    상기 이벤트 정보로부터 상기 어플라이언스와 연동되는 타겟 어플라이언스에 대한 설정 환경을 인식하는 인식 모델을 갖는 제2 인식기를 더 포함하는 어플라이언스 제어 시스템.
  15. 제14항에 있어서,
    상기 제어 명령 입력 장치는,
    상기 제어 명령을 포함하는 음성을 수신하는 마이크로폰; 및
    상기 수신된 음성을 상기 음성 처리 장치로 전송하는 통신부를 포함하는
    어플라이언스 제어 시스템.
  16. 제15항에 있어서,
    상기 어플라이언스와 연결된 제어 명령 입력 장치는,
    인터페이스부 또는 상기 통신부의 근거리 무선 통신 모듈을 통해 상기 어플라이언스와 연결되고,
    상기 제어 장치로부터 수신되는 상기 제어 신호를, 상기 인터페이스부 또는 상기 근거리 무선 통신 모듈을 통해 상기 어플라이언스로 전송하는
    어플라이언스 제어 시스템.
  17. 삭제
  18. 제14항에 있어서,
    상기 제어 장치는,
    상기 어플라이언스로부터 상기 제어 명령에 따른 응답을 수신하고, 수신된 응답을 상기 인식 장치로 전송하고,
    상기 제2 인식기는,
    수신된 응답으로부터, 상기 어플라이언스, 또는 상기 어플라이언스와 연동된 타겟 어플라이언스에 대한 설정 환경을 인식하고,
    상기 제어 정보 생성 모듈은 상기 인식된 설정 환경에 기초하여 상기 어플라이언스 또는 상기 타겟 어플라이언스에 대한 제어 정보를 생성하는
    어플라이언스 제어 시스템.
  19. 제18항에 있어서,
    상기 인식 장치는,
    상기 인식된 설정 환경에 기초한 안내 정보를 생성하고, 생성된 안내 정보를 상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로 전송하고,
    상기 제어 명령 입력 장치는,
    상기 인식 장치 또는 상기 음성 처리 장치로부터 수신되는 상기 안내 정보를 출력하고,
    출력된 안내 정보에 기초한 응답을 수신하고, 수신된 응답을 상기 인식 장치 또는 상기 음성 처리 장치로 전송하는
    어플라이언스 제어 시스템.
  20. 제19항에 있어서,
    상기 인식 장치는,
    상기 음성 처리 장치 또는 상기 제어 명령 입력 장치로부터 상기 응답을 수신하고,
    수신된 응답에 기초하여 상기 어플라이언스 또는 상기 타겟 어플라이언스에 대한 제어 정보를 생성하고,
    생성된 제어 정보를 상기 제어 장치로 전송하는
    어플라이언스 제어 시스템.
KR1020180141611A 2018-11-16 2018-11-16 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템 KR102088322B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180141611A KR102088322B1 (ko) 2018-11-16 2018-11-16 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템
US16/686,022 US11615792B2 (en) 2018-11-16 2019-11-15 Artificial intelligence-based appliance control apparatus and appliance controlling system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141611A KR102088322B1 (ko) 2018-11-16 2018-11-16 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템

Publications (1)

Publication Number Publication Date
KR102088322B1 true KR102088322B1 (ko) 2020-03-12

Family

ID=69719735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141611A KR102088322B1 (ko) 2018-11-16 2018-11-16 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템

Country Status (2)

Country Link
US (1) US11615792B2 (ko)
KR (1) KR102088322B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186531A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 전자 장치 및 전자 장치의 기기 연결 방법
US12114377B2 (en) 2021-03-05 2024-10-08 Samsung Electronics Co., Ltd. Electronic device and method for connecting device thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10897374B2 (en) * 2017-11-06 2021-01-19 Computime Ltd. Scalable smart environment for controlling a plurality of controlled apparatuses using a connection hub to route a processed subset of control data received from a cloud computing resource to terminal units
US11211071B2 (en) * 2018-12-14 2021-12-28 American International Group, Inc. System, method, and computer program product for home appliance care
KR20210067605A (ko) * 2019-11-29 2021-06-08 엘지전자 주식회사 인공 지능을 이용한 상업용 세탁기의 제어 방법 및 그 시스템
US20210384979A1 (en) * 2020-06-03 2021-12-09 Telefonaktiebolaget Lm Ericsson (Publ) Information communication using equipment indicator lights
US11532313B2 (en) * 2020-08-27 2022-12-20 Google Llc Selectively storing, with multiple user accounts and/or to a shared assistant device: speech recognition biasing, NLU biasing, and/or other data
CN118805058A (zh) * 2021-07-09 2024-10-18 格林通讯工程有限公司 自动可编程除湿机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100122027A (ko) * 2009-05-11 2010-11-19 엘지전자 주식회사 가전기기를 제어하는 휴대 단말기
KR101896216B1 (ko) * 2018-05-28 2018-09-06 노진호 스마트 홈 네트워크 시스템
KR20180119070A (ko) * 2017-04-24 2018-11-01 엘지전자 주식회사 전자기기
KR20180122106A (ko) * 2017-05-02 2018-11-12 네이버 주식회사 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2365189A (en) * 2000-07-26 2002-02-13 Canon Kk Voice-controlled machine
US6975994B2 (en) * 2001-09-12 2005-12-13 Technology Innovations, Llc Device for providing speech driven control of a media presentation
US7752050B1 (en) * 2004-09-03 2010-07-06 Stryker Corporation Multiple-user voice-based control of devices in an endoscopic imaging system
US20070271512A1 (en) * 2006-05-17 2007-11-22 Knight John M Method for personalizing an appliance user interface
MX2009000753A (es) * 2006-07-20 2009-03-16 Lg Electronics Inc Metodo y operacion de sistema interactivo de refrigerador.
US20110184740A1 (en) * 2010-01-26 2011-07-28 Google Inc. Integration of Embedded and Network Speech Recognizers
US9953643B2 (en) * 2010-12-23 2018-04-24 Lenovo (Singapore) Pte. Ltd. Selective transmission of voice data
US9026431B1 (en) * 2013-07-30 2015-05-05 Google Inc. Semantic parsing with multiple parsers
US10410630B2 (en) * 2014-06-19 2019-09-10 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
US9741344B2 (en) * 2014-10-20 2017-08-22 Vocalzoom Systems Ltd. System and method for operating devices using voice commands
KR102445382B1 (ko) * 2017-07-10 2022-09-20 삼성전자주식회사 음성 처리 방법 및 이를 지원하는 시스템
CN110678922A (zh) * 2017-12-06 2020-01-10 谷歌有限责任公司 闪避和擦除来自附近设备的音频
KR102025566B1 (ko) * 2018-07-27 2019-09-26 엘지전자 주식회사 인공지능을 이용한 홈어플라이언스 및 음성 인식 서버 시스템과, 이의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100122027A (ko) * 2009-05-11 2010-11-19 엘지전자 주식회사 가전기기를 제어하는 휴대 단말기
KR20180119070A (ko) * 2017-04-24 2018-11-01 엘지전자 주식회사 전자기기
KR20180122106A (ko) * 2017-05-02 2018-11-12 네이버 주식회사 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
KR101896216B1 (ko) * 2018-05-28 2018-09-06 노진호 스마트 홈 네트워크 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186531A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 전자 장치 및 전자 장치의 기기 연결 방법
US12114377B2 (en) 2021-03-05 2024-10-08 Samsung Electronics Co., Ltd. Electronic device and method for connecting device thereof

Also Published As

Publication number Publication date
US11615792B2 (en) 2023-03-28
US20200082827A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
KR102088322B1 (ko) 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템
EP3599605B1 (en) Home appliance and speech recognition server system and method for controlling thereof
US20200243071A1 (en) Artificial intelligence voice recognition apparatus and voice recognition system
EP2926502B1 (en) Voice-controlled configuration of an automation system
US11862010B2 (en) Apparatus, system and method for using a universal controlling device for displaying a graphical user element in a display device
KR102395013B1 (ko) 인공지능 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
CN108196469A (zh) 一种ai控制件、智能家居控制系统及控制方法
WO2014190886A1 (zh) 智能交互系统及其软件系统
KR101253148B1 (ko) 스마트폰과 중계 홈서버를 이용한 적외선 신호 학습이 가능한 디지털기기 제어시스템
KR20200085143A (ko) 외부 장치를 등록하는 대화형 제어 시스템 및 방법
CN106251605A (zh) 语音识别功能的启动方法、装置和系统及遥控器
KR102629796B1 (ko) 음성 인식의 향상을 지원하는 전자 장치
KR20200094845A (ko) 서버, 단말 장치 및 이의 가전기기 관리 방법
KR102639776B1 (ko) 음성 입력 장치
KR102685531B1 (ko) Em 신호의 특징을 등록하여 외부 장치를 식별하는 방법 및 상기 방법을 적용한 전자 장치
JP2018152757A (ja) ネットワークシステム、情報処理方法、サーバ、および端末
KR20190104953A (ko) 음성 입력 장치
CN112002326A (zh) 一种交互方法及机器人设备
JP6698428B2 (ja) ネットワークシステム、情報処理方法、およびサーバ
JP7145502B2 (ja) コントローラ、照明システム、照明制御方法及びプログラム
US11477568B2 (en) Voice input apparatus
KR20220083199A (ko) 전자장치 및 그 제어방법
KR20230016415A (ko) 가전 장치 및 방법과 이를 위한 프로그램
KR20220138744A (ko) 전자 장치 및 IoT 제어 정보 공유 방법
KR20230091735A (ko) 외부 기기를 제어하는 전자 장치 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant