KR20140037519A - 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법 - Google Patents

자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법 Download PDF

Info

Publication number
KR20140037519A
KR20140037519A KR1020120103764A KR20120103764A KR20140037519A KR 20140037519 A KR20140037519 A KR 20140037519A KR 1020120103764 A KR1020120103764 A KR 1020120103764A KR 20120103764 A KR20120103764 A KR 20120103764A KR 20140037519 A KR20140037519 A KR 20140037519A
Authority
KR
South Korea
Prior art keywords
control
command
user
information
conversation
Prior art date
Application number
KR1020120103764A
Other languages
English (en)
Other versions
KR101909498B1 (ko
Inventor
구형근
장두성
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020120103764A priority Critical patent/KR101909498B1/ko
Publication of KR20140037519A publication Critical patent/KR20140037519A/ko
Application granted granted Critical
Publication of KR101909498B1 publication Critical patent/KR101909498B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법에 관한 것으로서, 하나의 단말에서 음성이나 필기를 통한 자연어 대화형으로 입력되는 명령어로 다양한 가전기기를 원격으로 제어하기 위한 제어 단말 및 그 방법에 관한 것이다.

Description

자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법{Control Station for Remote Control of Home Appliances by Recognition of Natural Language Based Command and Method thereof}
본 발명은 가전기기를 원격 제어하는 제어 단말 및 그 방법에 관한 것으로서, 하나의 단말에서 음성이나 필기를 통한 자연어 대화형으로 입력되는 명령어로 다양한 가전기기를 원격으로 제어하기 위한 제어 단말 및 그 방법에 관한 것이다.
종래에는 가전기기를 원격 제어하기 위해서는 해당 기기와 함께 제공되는 리모콘과 같은 원격 단말기를 사용하였으며, 다수의 가전기기를 제어하기 위해서는 통상 각각에 대한 별도의 원격 단말기들을 구비하여야만 하였다. 이러한 다수의 단말기들을 구비하는 불편함을 해소하기 위해서, 하나의 단말기에서 주변의 가전기기를 인식하여 각 가전기기의 제어코드를 획득한 후 하나의 단말기에서 다수의 주변 가전을 제어하는 기술 (대한민국 특허출원번호 2001-0065339 참조), 음성 명령어를 해석하여 홈 네트워크 상의 정해진 여러 가전기기 중 하나에 대한 제어 명령어로 변환하는 기술 (대한민국 특허출원번호 2003-0075020 참조), 가능한 여러 제어 명령어 중, 상황인지 정보를 이용하여 가장 가능성이 높은 제어 명령어를 선택하는 기술(대한민국 특허출원번호 10-2006-0093008 참조) 등이 고안되었다.
그러나, 이러한 종래의 기술들은 모두 단말기를 통하여 제어되는 것이 미리 정의된 가전기기에 대하여 제어 명령어를 미리 분석해 놓은 경우에만 적용이 가능하며, 원격 단말기에서 주변의 임의의 복수개의 가전기기를 인식하여 이들에 대한 음성 명령 제어를 수행하고자 할 때는 종래의 기술만으로는 정확한 제어를 하는 것이 불가능하다. 즉, ‘임의의 복수 개의 가전기기’를 제어하기 위하여 사전에 어떠한 조합의 가전기기가 연결될 것인가가 미리 정의되어 있지 않은 경우에, 동일하거나 유사한 여러 대의 가전기기를 임의대로 연결이 가능한 상태로 하여 하나 이상의 가전기기를 정확히 제어할 수 없는 문제점이 있다.
예를 들어, 음성 명령 제어에서 주변에 동일한 가전기기가 여러 대 존재할 경우, 종래의 기술들에서는 각 가전기기에 중복되는 명령어에 대한 처리를 예상하지 않아 사용자가 어떠한 가전기기를 제어하고자 하는 지에 대해 사용자에게 다시 물어보는 과정이 없으므로, 사용자가 제어하고자 하는 대상 가전기기와 다른 가전기기가 제어되는 등 정확한 제어를 수행하지 못하는 문제점이 있다.
또한, 예를 들어, 사용자는 가전기기 제어를 위한 음성 명령어를 편하게 하기 위해 '소리 줄여'와 같이 짧게 말하는 경우가 빈번하나, 동일한 음성 명령어가 TV, 오디오, 전화기 등의 여러 개의 가전기기에 걸쳐 모두 해당하기 때문에, 이들을 모두 제어할 것인지, 일부만 제어할 것인지 등을 결정하는 방법이 필요하지만, 종래의 기술들에서는 이와 같이 충돌되는 명령어에 대한 처리를 예상하지 않으므로, 연결될 수 있는 가전기기가 미리 정의된 세트가 아니라 임의의 가전기기일 경우, 여러 개의 제어 명령어로 해석이 가능한 음성 명령어를 정확한 의미의 제어 명령어로 변환하지 못하고, 제어 대상 가전기기와 다른 가전기기가 제어되는 등 정확한 제어를 수행하지 못하는 문제점이 있다.
또한, 예를 들어, 음성 명령어로서 '모든 전원 꺼'와 같은 복합 명령어에 대해 사전에 연결된 조합 가능한 가전의 종류가 결정되어 있을 때는 이러한 복합 명령어에 대해 각각의 가전에 대해 어떠한 제어를 할 것인지의 정의를 미리 정의하여 놓는 것이 가능하지만, 연결될 수 있는 가전기기가 미리 정의된 세트가 아니라 임의의 가전기기일 경우, 제어 대상 가전기기들을 정확히 특정하여 제어를 수행하지 못하는 문제점이 있다.
그리고, 최근 음성 인식 기술의 성능이 발전함에 따라 모든 IT 기업들이 앞다투어 음성인식을 활용한 대화형 시스템을 출시하고 있다. 그러나 아직 M2M(Machine to Machine, 사물지능통신) 기술이 모든 가전기기, 전자제품에 널리 쓰이지 않고 있으며, 음성/대화 기술의 영역상 자연어 처리 분야가 M2M 과 같은 복수 기기들간의 통신과는 거리가 있어 아직까지 그 영역이 단순 단일 기기에의 명령에 국한되고 있다. 또한 아직 대화 시스템의 완성도가 낮아 다양한 활용성을 보여주지는 못하고 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 하나의 단말에서 음성이나 필기를 통한 자연어 대화형으로 입력되는 명령어로 주변의 복수개의 임의의 가전기기를 원격으로 제어하기 위한 제어 단말 및 그 방법을 제공하는 데 있다.
또한, 도메인 규칙, 대화 추론 규칙 등을 통한 사용자와의 대화를 통해 임의의 중복된 가전기기에 대한 명령어, 서로 명령어가 충돌되는 가전기기에 대한 명령어, 임의의 가전기기들에 대한 복합 명령어 등의 의미를 정확하게 해석하여 복수개의 임의의 가전기기를 원격으로 제어하기 위한 제어 단말 및 그 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 본 발명의 일면에 따른, 기기를 제어하기 위한 제어 단말에 있어서, 하나 이상의 기기로부터 수신하는 기기 정보를 분석하여 각 제어 코드에 대한 제어 명령어를 포함하는 지식 정보를 생성하는 지식 수집부; 상기 지식 수집부에서 생성하는 상기 지식 정보를 저장하는 저장부; 사용자로부터 입력되는 명령어(예, 단말 화면 상에 터치로 입력되는 필기 내용, 또는 음성 신호 등)를 문자 명령어로 변환하는 제어 입력부; 상기 지식 정보를 바탕으로 상기 문자 명령어를 해석하여 하나 이상의 제어 대상 기기와 제어 명령어를 결정하고 상기 하나 이상의 제어 대상 기기를 제어하기 위한 상기 제어 명령어에 대응된 제어 코드를 추출하는 대화 처리부; 및 추출된 상기 제어 코드를 상기 하나 이상의 제어 대상 기기로 전송하는 전송부를 포함한다.
그리고, 본 발명의 다른 일면에 따른, 제어 단말에서 사용자가 입력하는 명령어에 따라 기기를 제어하기 위한 기기 제어 방법에 있어서, 제어 단말에서 전송하는 요청 메시지에 응답하는 하나 이상의 기기로부터 기기 정보를 수신하는 단계; 상기 제어 단말에서 상기 기기 정보를 분석하여 각 제어 코드에 대한 제어 명령어를 포함하는 각 기기의 지식 정보를 생성하여 저장 수단에 저장하는 단계; 상기 제어 단말에서 사용자로부터 입력되는 명령어를 문자 명령어로 변환하고, 상기 지식 정보를 바탕으로 상기 문자 명령어를 해석하여 하나 이상의 제어 대상 기기와 제어 명령어를 결정하는 단계; 및 상기 제어 명령어에 대응된 제어 코드를 추출하여 상기 하나 이상의 제어 대상 기기로 전송하는 단계를 포함한다.
상기 지식 정보를 생성하여 저장 수단에 저장하는 단계는, 상기 문자 명령어의 해석에 기초가 되는 해석 사전(해석 대상 문자를 포함함), 추론 규칙(사용자와 대화의 기초가 되는 문자들의 집합을 포함함), 도메인 규칙(기기 구분자를 포함함), 및 응답 규칙(제어 명령어와 제어 코드를 포함함)을 포함하는 상기 지식 정보를 저장하는 단계를 포함한다.
상기 결정하는 단계는, 상기 문자 명령어의 형태소를 분석하여 기기 구분자와 명령 정보를 추출하는 단계; 및 상기 기기 구분자에 대한 제어 대상 기기와 상기 명령 정보에 대한 제어 명령어의 추정을 시도하고 사용자와 대화 여부를 판단하는 단계를 포함한다.
상기 기기 제어 방법은, 결정된 상기 제어 대상 기기와 상기 제어 명령어에 대한 이력 정보를 저장 수단에 저장하는 단계를 더 포함하고, 상기 판단의 결과 모호성으로 상기 추정이 실패한 후 상기 지식 정보에 포함된 기기들의 상황 정보와 상기 이력 정보를 기초로 상기 제어 대상 기기와 상기 제어 명령어의 추정을 재시도하고, 상기 재시도에 따른 추정이 다시 실패하면 사용자와 대화를 결정할 수 있다.
상기 기기 제어 방법은, 상기 사용자와 대화가 결정되면, 상기 제어 명령어가 추정될 때까지 반복적으로, 상기 추론 규칙을 이용하여 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시하고, 이에 응답하여 사용자가 입력하는 명령어에 따라 상기 추정을 다시 시도하는 단계를 더 포함한다.
상기 추정이 실패한 후에 시도된 상기 추정이 성공하면, 해당 제어 대상 기기와 제어 명령어에 대한 이력 정보를 상기 저장 수단에 업데이트하여, 사용자의 입력 명령어에 대한 다음의 상기 추정에 이용할 수 있다.
상기 저장하는 단계에서 상기 지식 정보를 기초로 기기 구분자를 포함하는 중복 명령어에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가하며, 상기 결정하는 단계에서 상기 문자 명령어에 중복 명령어가 포함되면 상기 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시할 수 있다.
상기 저장하는 단계에서 상기 지식 정보를 기초로 기기 구분자 이외의 어절이나 구문을 포함하는 충돌 명령어에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가하며, 상기 결정하는 단계에서 상기 문자 명령어에 충돌 명령어가 포함되면 상기 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시할 수 있다.
상기 저장하는 단계에서 상기 지식 정보를 기초로 기기 구분자 및 그 이외의 어절이나 구문을 포함하는 복합 명령어에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가하며, 상기 결정하는 단계에서 상기 문자 명령어에 복합 명령어가 포함되면 상기 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시할 수 있다.
상기 저장하는 단계에서 상기 지식 정보를 기초로 기기 구분자, 또는 어절이나 구문에 유사 의미어로 갖는 문자들의 집합을 포함하는 중복 사전을 상기 해석 사전에 추가하며, 상기 결정하는 단계에서 상기 문자 명령어에 대하여 상기 해석 사전의 참조 시에 상기 중복 사전에 따른 유사 의미어의 포함 여부를 우선적으로 판단하여, 해당 제어 대상 기기와 제어 명령어를 결정할 수 있다.
상기 저장하는 단계에서 상기 지식 정보를 기초로 기기들의 추론 규칙을 조합하여 관련된 명령 유사성이 있는 문자들의 집합을 포함하는 중복 추론 규칙을 상기 추론 규칙에 추가하며, 상기 결정하는 단계에서 상기 문자 명령어에 대하여 상기 추론 규칙의 참조 시에 상기 중복 추론 규칙에 따른 명령 유사성의 포함 여부를 우선적으로 판단하여, 해당 제어 대상 기기와 제어 명령어를 결정할 수 있다.
상기 저장하는 단계에서 상기 지식 정보를 기초로 기기들의 상기 응답 규칙에 포함된 규칙, 및 상기 해석 사전에 포함된 상황 정보를 공유하도록 상기 지식 정보를 업데이트하며, 상기 결정하는 단계에서 상기 문자 명령어에 대하여 업데이트된 상기 지식 정보에 따라 해당 제어 대상 기기와 제어 명령어의 결정에 다른 기기의 응답 규칙이나 상황을 이용할 수 있다.
상기 기기는 상기 제어 단말과 유선 통신, 또는 근거리 무선 통신으로 통신하고, 상기 제어 코드에 따라 해당 동작을 제어하는 가전 기기일 수 있다.
상기 제어 단말은 게이트웨이와 유선 통신, 또는 근거리 무선 통신으로 통신하고, 상기 게이트웨이가 상기 제어 단말로부터 수신하는 상기 제어 코드를 유선 통신, 또는 근거리 무선 통신으로 상기 기기로 전송할 수 있다.
본 발명에 따른 복수개의 임의의 가전기기를 원격으로 제어하기 위한 제어 단말 및 그 방법에 따르면, 사용자는 임의의 복수 가전기기에 대해 하나의 단말에서 자연어 대화를 통하여 원격 제어할 수 있다. 단말을 사용하는 사용자의 취향, 상황(context) 정보, 이력정보, 현재 연결된 가전들의 정보 등을 이용하여 자동 생성된 도메인/추론 규칙을 이용하여 사용자의 명령으로부터 제어코드를 결정할 수 있는 경우에는 바로 제어를 시작하고, 여러 개의 제어코드로 변환될 수 있는 경우에 대해서만 제어를 결정할 수 있게 하기 위해 꼭 필요한 정보를 사용자에게 질문하여 다시 얻는 대화를 수행하여, 최종적으로 제어를 수행할 수 있다. 이러한 방식을 통해 필요할 경우에만 필요한 정보를 사용자에게 질의하면서 중복/충돌 명령이 되는 임의의 가전기기에 대해 정확한 제어를 제공하는 효율적이면서도 정확한 제어방법을 제공한다.
또한, 본 발명은 미리 정의된 가전기기 집합에 대해서만 적용할 수 있는 방법이 아니라, 신규로 개발되는 각종 기기에 대해서도 일반적으로 사용할 수 있는 방법으로서, 신규 기기가 추가되더라도 새로운 단말을 추가 개발하거나 수정할 필요가 없이 하나의 단말에서 추가된 기기를 용이하게 제어할 수 있다. 이와 같은 본 발명의 제어 단말과 각종 기기 간에는 M2M(Machine to Machine, 사물지능통신) 프로토콜 기반으로 연동하여 명령과 제어가 이루어질 수 있다.
도 1은 본 발명의 일실시예에 따른 제어 단말이 사용되는 네트워크 환경을 설명하기 위한 도면이다.
도 2는 도 1의 제어 단말을 구체적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 제어 단말의 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 제어 단말의 동작을 설명하기 위한 참조 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 제어 단말이 사용되는 네트워크 환경을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 제어 시스템(100)은, 각종 기기(120)의 동작을 원격 제어하기 위한 제어 단말(110)을 포함하며, 경우에 따라서는 제어 단말(110)이 전송하는 제어 코드를 각종 기기(120)로 전송되도록 중계하는 게이트웨이(130)를 더 포함할 수도 있다.
본 발명에서 언급되는 각종 기기(120)는, 예를 들어, 냉장고, TV, 컴퓨터, 밥솥(통), 세탁기, 에어컨 등 홈내의 각종 가전기기일 수 있으며, 홈내의 보일러, 가스 밸브, 현관 도어락, 창문 개폐기 등 댁내의 안전이 요구되는 중요 기기들일 수도 있다.
본 발명의 제어 단말(110)은 위와 같은 하나 이상의 기기로부터 수신하는 기기 정보를 분석하여 각 제어 코드에 대한 제어 명령어를 포함하는 지식 정보(해석 사전(해석 대상 문자를 포함함), 추론 규칙(사용자와 대화의 기초가 되는 문자들의 집합을 포함함), 도메인 규칙(기기 구분자를 포함함), 및 응답 규칙(제어 명령어와 제어 코드를 포함함) 등)를 생성하고, 사용자로부터 입력되는 명령어를 문자 명령어로 변환하여 이를 해석하여 위와 같은 지식 정보를 바탕으로 하나 이상의 제어 대상 기기와 제어 명령어를 결정하고 해당 기기를 제어하기 위한 상기 제어 명령어에 대응된 제어 코드를 추출하여 해당 제어 대상 기기로 전송함으로써 각종 기기(120)의 동작(예, 파워 온/오프, 도어락의 열림/닫힘, TV 채널, 세탁기 시작/중지, 에어컨 온도 등)을 제어할 수 있다.
제어 단말(110)은 직접 각종 기기(120)와 유선 통신, 또는 근거리 무선 통신(예, 블루투스, 지그비, NFC(Near Field Communiation) 등)으로 통신할 수 있으며, 경우에 따라서는 게이트웨이(130)와 유선 통신, 또는 근거리 무선 통신으로 통신하고, 게이트웨이(130)가 제어 단말(110)로부터 수신하는 제어 코드 등 필요한 신호를 유선 통신, 또는 근거리 무선 통신(예, 블루투스, 지그비, NFC(Near Field Communiation) 등)으로 기기(120)로 전송할 수도 있다.
이를 위하여, 이와 같은 기기(120)는 제어 단말(110) 또는 게이트웨이(130)와 통신하기 위한 위와 같은 유선 통신(예, 시리얼 통신 등), 또는 근거리 무선 통신용 모듈을 포함할 수 있고, 제어 단말(110)로부터 수신하는 제어 코드에 따라 기기의 동작을 제어할 수 있는 제어 모듈을 포함할 수 있다.
이외에도, 기기(120)는 외부 네트워크(이동통신 네트워크 또는 IP 네트워크)를 통한 통신을 위한 해당 통신 모듈 등을 포함할 수도 있으며, 이 때에는 게이트웨이(130)도 3G(WCDMA)/4G(LTE) 등 이동통신 네트워크 또는 IP(Internet Protocol) 네트워크를 통해 해당 통신 방식에 따른 신호로 인터넷 상의 소정의 서비스 서버와 통신할 수 있으며, 제어 단말(110)은 이와 같은 외부 네트워크(이동통신 네트워크 또는 IP 네트워크)를 통해 서비스 서버가 제공하는 각종 기기(120)를 조회할 수 있으며, 원하는 제어 대상 기기에 대한 제어 코드를 전송할 수도 있다.
예를 들어, 제어 단말(110)은 본 발명의 제어 서비스를 위한 전용 단말일 수 있으며, 이외에도 위와 같은 이동통신 네트워크 또는 IP 네트워크를 통해 통신할 수 있는 단말일 수도 있다. 예를 들어, 제어 단말(110)로서 이동통신 기지국이나 무선 인터넷을 지원하는 AP(Access Point) (또는 유선 인터넷)를 통해 네트워크(이동통신 네트워크 또는 IP 네트워크)에 접속하여 서비스를 제공받을 수 있는 스마트폰, 아이폰 등이 사용될 수 있으며, 인터넷 상의 소정의 서비스 서버를 통하여 적절한 응용 프로그램(또는 앱)을 설치하여 본 발명의 제어 서비스를 이용할 수 있다. 제어 단말(110)로서 이동통신 또는 무선 인터넷 서비스를 제공받을 수 있는 노트북, PC, PDA, PMP 등의 단말이 사용될 수도 있다.
도 2는 도 1의 제어 단말(110)을 구체적으로 설명하기 위한 도면이다. 먼저, 도 2를 참조하여 제어 단말(110)의 구성을 간략히 설명한다.
도 2를 참조하면, 본 발명의 일실시예에 따른 제어 단말(110)은, 통신부(210), 지식 수집부(220), 저장부(230), 제어 입력부(240), 대화 처리부(250), 전송부(260), 및 대화 출력부(270)를 포함한다.
통신부(210)는 기기(120) 또는 게이트웨이(130)와 통신하기 위한 위와 같은 유선 통신(예, 시리얼 통신 등), 또는 근거리 무선 통신용 모듈(예, 블루투스, 지그비, NFC(Near Field Communiation) 등)을 포함할 수 있으며, 외부 네트워크(이동통신 네트워크 또는 IP 네트워크)에 접속하기 위한 통신 모듈을 포함할 수도 있다.
지식 수집부(220)는 주변에 존재하는 각종 기기(120)를 탐지하기 위하여, 통신부(210)를 통해 하나 이상의 각종 기기(120)로 요청 메시지를 전송할 수 있으며, 이에 응답하는 하나 이상의 기기(120)로부터 기기 정보를 수신하고, 수신한 기기 정보를 분석하여 각 제어 코드에 대한 제어 명령어를 포함하는 지식 정보를 생성하여 저장부(230)에 저장한다.
각종 기기(120)는 기기의 종류, 해석 사전, 추론 규칙, 도메인 규칙, 및 응답 규칙 등 해당 기기에 대한 명령어를 해석하고, 사용자와 대화를 수행하는 데 필요한 정보를 포함하는 기기 정보를 파일 형태 등으로 저장 수단에 가지고 있으며, 위와 같은 요청 메시지에 따라 제어 단말(110)로 전송할 수 있다. 이외에도, 각종 기기(120)는 위와 같은 기기 정보 전체를 가지고 있을 수도 있지만, 해당 기기 정보를 입수할 수 있는 인터넷 상의 서비스 서버의 URL(Uniform Resource Locator)을 위와 같은 요청 메시지에 따라 제공함으로써, 제어 단말(110)이 해당 URL을 통하여 다운로드 받도록 할 수도 있다.
즉, 지식 수집부(220)는 대화 모델 조합기(221)과 중복/충돌 해결기(222)를 포함하며, 대화 모델 조합기(221)는 사용자가 입력하는 명령어에 대한 해당 문자 명령어의 해석에 기초가 되는 해석 사전(해석 대상 문자를 포함함), 추론 규칙(사용자와 대화의 기초가 되는 문자들의 집합을 포함함), 도메인 규칙(기기 구분자를 포함함), 및 응답 규칙(제어 명령어와 제어 코드를 포함함)을 포함하는 지식 정보를 저장부(230)에 저장한다.
해석 사전(해석 대상 문자를 포함함)은, 사용자의 명령어에 포함되고 해석의 대상이 될, 도 4와 같이, 주어, 명사, 목적어, 동사 등 각 형태소별 문자들을 포함하며, 기기의 설치 시 입력된 상황정보(예, 거실, 안방 등 위치)가 포함될 수 있다. 도메인 규칙(기기 구분자를 포함함)은 형광등, 스탠드1, 스탠드2 등 기기를 구분하기 위한 ID를 (가전기기#15, type, TV) 등과 같이 제어대상 일련번호, 가전기기의 종류, 가전기기의 이름 등이 포함될 수 있다. 응답 규칙(제어 명령어와 제어 코드를 포함함)은, 해당 기기의 제어를 위한 명령어 셋트로서, 각각의 제어 명령(예, 꺼, 켜 등)에 대한 제어 코드들(예, Turn On, Turn Off 등)을 포함한다.
추론 규칙(사용자와 대화의 기초가 되는 문자들의 집합을 포함함)은, 사용자의 명령어에 대하여 주어, 명사, 목적어, 동사 등이 해석 사전에 포함되는 지 여부를 추론하는 순서(예, 의도(예, turn off) + 대상(예, TV) + 기기 ID(가전기기#15) 등)에 대한 규칙들을 포함하고, 하기하는 바와 같이 대화처리부(250)에서 이를 바탕으로 추론 과정 중 사용자의 의도에 맞는 명령어의 추정이 실패하면 사용자와 대화를 위한 대화문(예, "제어 대상이 TV 인가요?", "Select", "AllorSomething" 등)을 만들 수 있도록 사용자와 대화의 기초가 되는 문자들을 포함할 수 있다.
중복/충돌 해결기(222)는, 아래에서도 설명하는 바와 같이, 상기 지식 정보를 기초로 기기 구분자(예, 기기 ID 등)를 포함하는 중복 명령어(예, "TV 좀 꺼" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, Select 등)을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가할 수 있다. 또한, 중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기 구분자 이외의 어절이나 구문을 포함하는 충돌 명령어(예, "소리 좀 줄여" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, AllorSomething 등)을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가할 수 있다.
또한, 중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기 구분자 및 그 이외의 어절이나 구문을 포함하는 복합 명령어(예, "모든 전원 꺼" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, "CCTV 도 끌까요?")을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가할 수 있다.
이외에도 중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기 구분자, 또는 어절이나 구문에 유사 의미어(예, 불, 전등, 스탠드, 가스불 등)로 갖는 문자들의 집합을 포함하는 중복 사전을 상기 해석 사전에 추가할 수 있으며, 상기 지식 정보를 기초로 기기들의 추론 규칙을 조합하여 관련된 명령 유사성(예, 높임/낮춤, 꺼/켜 등)이 있는 문자들의 집합을 포함하는 중복 추론 규칙을 상기 추론 규칙에 추가할 수 있다.
또한, 중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기들의 상기 응답 규칙에 포함된 규칙, 및 상기 해석 사전에 포함된 상황 정보(예, 위치, 거리 등)를 공유하도록 상기 지식 정보를 업데이트할 수 있다.
제어 입력부(240)는 사용자로부터 입력되는 명령어를 문자 명령어로 변환한다. 사용자는 제어를 위한 명령을 음성으로 입력할 수 있으며, 해당 음성은 소정의 마이크로폰에서 음성 신호로 변환되어 명령어로서 입력될 수 있다. 이외에도 사용자는 대화 출력부(270)의 디스플레이 수단을 통하여 구동된 터치스크린 화면을 통하여 화면 상에 터치로 필기식으로 명령을 입력할 수도 있다. 제어 입력부(240)는 이와 같이 입력되는 음성 신호 또는 필기 내용을 소정 프로세서에서 처리하여 텍스트 형태의 해당 문자로 변환할 수 있으며, 이와 같이 변환된 문자가 하기에서 처리되는 문자 명령어로서 입력된다.
대화 처리부(250)는 연동부(251)를 통해 연동되는 저장부(230)의 지식 정보를 바탕으로 위와 같은 문자 명령어의 질의를 해석하고 하나 이상의 제어 대상 기기와 제어 명령어를 추론하여 결정하며, 해당 하나 이상의 제어 대상 기기를 제어하기 위한 해당 제어 명령어에 대응된 제어 코드를 추출할 수 있다. 전송부(260)는 대화 처리부(250)에서 추출된 상기 제어 코드를 통신 프로토콜에 맞게 변환하여 통신부(210)를 통해 해당 하나 이상의 제어 대상 기기로 전송한다.
대화 처리부(250)는 연동부(251)를 통해 연동되는 저장부(230)의 해석 사전과 도메인 규칙 등 지식 정보를 이용하여 질의 명령어의 의미를 추론하게 되며, 지식 정보에 포함된 현재 사용자의 위치(예, 기기로부터 거리 등), 시간 등의 상황(context) 정보, 사용자의 취향 정보, 이력 관리부(253)에 저장된 최근에 사용자가 제어를 한 이력정보 등을 감안하여, 추론규칙, 도메인 규칙 등을 이용하여, 사용자 명령어로부터 제어 대상 기기와 제어 명령어를 결정하여 제어를 할 것인가 여부 등을 결정할 수 있다. 대화 처리부(250)는 단 하나의 제어를 결정하지 못하고 해당 추론이 실패하면, 사용자에게 다시 질문을 할 것인가, 질문을 한다면 무엇을 어떻게 물어볼 것인가를 결정할 수 있다. 대화 처리부(250)는 단 하나의 제어를 결정하지 못하고 여러 개의 제어코드가 결정될 수 있다고 판단하면, 제어를 결정할 수 있게 하기 위한 대화문을 생성해 대화 출력부(270)를 통해 디스플레이 또는 음성으로 출력하여, 사용자에게 질문하여 다시 명령어를 얻는 대화를 수행하여, 최종적으로 정확히 제어 대상 기기를 제어할 수 있게 된다.
이하, 도 3의 흐름도를 참조하여 본 발명의 일실시예에 따른 제어 단말(110)의 동작을 좀 더 자세히 설명한다.
먼저, 제어 단말(110)의 소정 응용 프로그램을 실행하고, 사용자는 ID, 패스워드 등을 입력하여 응용 프로그램의 작동에 따라 서비스를 받을 수 있으며, 제어 단말(110)은 기기(120)와 주고 받는 신호의 세기 등을 확인해 기기(120)의 상황 정보(예, 거리)를 실시간 확인하며 인지할 수 있고, 거실, 안방 등 위치에 대한 상항 정보는 기기의 설치시 기기에 미리 입력된 정보일 수 있다(S11). 또한, 제어 단말(110)의 대화처리부(250)는 기기(120)와의 연결 시간, 거리 등의 로그 정보를 인식해 이력 관리부(253)를 업데이트할 수 있으며 이력 관리부(253)에서 기존에 등록된 제어 대상 기기들에 대한 이력이 있는지 여부 등을 확인한다(S12).
제어 단말(110)의 지식 수집부(220)는 주변에 존재하는 각종 기기(120)를 탐지하기 위하여, 통신부(210)를 통해 새로운 하나 이상의 각종 기기(120)로 요청 메시지를 전송할 수 있으며, 이에 응답하는 하나 이상의 기기(120)로부터 기기 정보를 수신하고, 수신한 기기 정보를 분석하여 각 제어 코드에 대한 제어 명령어를 포함하는 지식 정보를 생성하여 저장부(230)에 업데이트할 수 있다(S13). 위에서도 기술한 바와 같이 기기(120)로부터 전체 기기 정보를 수신할 수도 있지만, 기기(120)로부터 수신하는 URL에 따라 지식 수집부(220)는 해당 URL에 접속하여 다운로드 받을 수도 있다.
즉, 지식 수집부(220)는 대화 모델 조합기(221)과 중복/충돌 해결기(222)를 포함하며, 대화 모델 조합기(221)는 사용자가 입력하는 명령어에 대한 해당 문자 명령어의 해석에 기초가 되는 해석 사전(해석 대상 문자를 포함함), 추론 규칙(사용자와 대화의 기초가 되는 문자들의 집합을 포함함), 도메인 규칙(기기 구분자를 포함함), 및 응답 규칙(제어 명령어와 제어 코드를 포함함)을 포함하는 지식 정보를 저장부(230)에 업데이트한다.
해석 사전(해석 대상 문자를 포함함)은, 사용자의 명령어에 포함되고 해석의 대상이 될, 도 4와 같이, 주어, 명사, 목적어, 동사 등 각 형태소별 문자들을 포함한다. 도메인 규칙(기기 구분자를 포함함)은 형광등, 스탠드1, 스탠드2 등 기기를 구분하기 위한 ID를 (가전기기#15, type, TV) 등과 같이 제어대상 일련번호, 가전기기의 종류, 가전기기의 이름 등이 포함될 수 있다. 응답 규칙(제어 명령어와 제어 코드를 포함함)은, 해당 기기의 제어를 위한 명령어 셋트로서, 각각의 제어 명령(예, 꺼, 켜 등)에 대한 제어 코드들(예, Turn On, Turn Off 등)을 포함한다.
추론 규칙(사용자와 대화의 기초가 되는 문자들의 집합을 포함함)은, 사용자의 명령어에 대하여 주어, 명사, 목적어, 동사 등이 해석 사전에 포함되는 지 여부를 추론하는 순서(예, 의도(예, turn off) + 대상(예, TV) + 기기 ID(가전기기#15) 등)에 대한 규칙들을 포함하고, 하기하는 바와 같이 대화처리부(250)에서 이를 바탕으로 추론 과정 중 사용자의 의도에 맞는 명령어의 추정이 실패하면 사용자와 대화를 위한 대화문(예, "제어 대상이 TV 인가요?", "Select", "AllorSomething" 등)을 만들 수 있도록 사용자와 대화의 기초가 되는 문자들을 포함할 수 있다.
중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기 구분자(예, 기기 ID 등)를 포함하는 중복 명령어(예, "TV 좀 꺼" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, Select 등)을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가할 수 있다(S14). 또한, 중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기 구분자 이외의 어절이나 구문을 포함하는 충돌 명령어(예, "소리 좀 줄여" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, AllorSomething 등)을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가할 수 있다.
또한, 중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기 구분자 및 그 이외의 어절이나 구문을 포함하는 복합 명령어(예, "모든 전원 꺼" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, "CCTV 도 끌까요?")을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가할 수 있다.
이외에도 중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기 구분자, 또는 어절이나 구문에 유사 의미어(예, 불, 전등, 스탠드, 가스불 등)로 갖는 문자들의 집합을 포함하는 중복 사전을 상기 해석 사전에 추가할 수 있으며, 상기 지식 정보를 기초로 기기들의 추론 규칙을 조합하여 관련된 명령 유사성(예, 높임/낮춤, 꺼/켜 등)이 있는 문자들의 집합을 포함하는 중복 추론 규칙을 상기 추론 규칙에 추가할 수 있다.
또한, 중복/충돌 해결기(222)는, 상기 지식 정보를 기초로 기기들의 상기 응답 규칙에 포함된 규칙, 및 상기 해석 사전에 포함된 상황 정보(예, 위치, 거리 등)를 공유하도록 상기 지식 정보를 업데이트할 수 있다(S15). 예를 들어, 도 4와 같이, 스탠드의 경우 (위치)를 사전이나 규칙에 가지고 있으나 형광등은 (위치)가 없다. M2M통신을 통한 상황 정보로 형광등이 스탠드2와 가까움을 인지할 수 있으며, 상황 정보를 이용한 대화모델 조합을 통하여 스탠드의 위치에 대한 대화 모델을 형광등에 이용할 수 있다. 예를 들어, 거실과 부엌에 형광등이 각각 있을 때, “거실 형광등 좀 꺼줘” 라고 음성 명령어가 입력된 경우 형광등의 대화모델에는 위치에 관한 모델이 없고, 거실이라는 단어를 알아들을 수 없으므로 둘 중 어떤 것을 말하는지 판단할 수 없다. 그러나 조합된 대화 모델에는 "(위치)+(ID)+(목적어)+끄다"가 있으므로, 거실이 뜻하는 바를 인지할 수 있고 이로 인해 “거실 형광등 좀 꺼줘”라는 명령에 대해 추가적인 질의 없이 바로 대응이 가능하다. 이는 M2M 통신과 대화모델 조합이라는 개념으로 가능한 것이다.
이와 같이 준비가 되면, 사용자는 제어 입력부(240)를 통해 터치 스크린을 이용한 터치 방식으로 명령을 위한 필기를 하거나 음성으로 명령할 수 있으며, 제어 입력부(240)는 이와 같이 입력되는 음성 또는 필기 내용을 소정 프로세서에서 처리하여 텍스트 형태의 해당 문자 명령어로 변환할 수 있다(S21).
이에 따라 대화 처리부(250)는 연동부(251)를 통해 연동되는 저장부(230)의 지식 정보를 바탕으로 위와 같은 문자 명령어의 질의를 해석하고 하나 이상의 제어 대상 기기와 제어 명령어를 추론하여 결정하며(S23), 해당 하나 이상의 제어 대상 기기를 제어하기 위한 해당 제어 명령어에 대응된 제어 코드를 추출할 수 있다(S24). 전송부(260)는 대화 처리부(250)에서 추출된 상기 제어 코드를 통신 프로토콜에 맞게 변환하여 통신부(210)를 통해 해당 하나 이상의 제어 대상 기기로 전송하여 제어되도록 한다.
위와 같은 추론 과정(S23)에서, 대화 처리부(250)는 해석 사전을 참조하여 문자 명령어의 형태소(주어, 명사, 목적어, 동사 등)를 분석하여 기기 구분자와 명령 정보(기기 구분자 이외의 어절이나 구문 등)를 추출할 수 있으며, 추론 규칙과 도메인 규칙에 따라 해당 기기 구분자에 대한 제어 대상 기기와 해당 명령 정보에 대한 제어 명령어(예, 꺼, 켜 등)의 추정을 시도하고 사용자와 대화 여부를 판단하게 된다.
이전에 위와 같은 추론 과정으로 결정된 해당 제어 대상 기기와 해당 제어 명령어에 대한 이력 정보가 대화 처리부(250)에 의해 이력 관리부(253)에 저장되어 있으며, 대화 처리부(250)는 위와 같은 추론 과정에서 해당 판단의 결과 모호성으로 해당 추정이 실패하면(S23), 저장부(230)의 지식 정보에 포함된 위와 같은 기기들의 상황 정보와 이력 정보를 기초로 해당 제어 대상 기기와 제어 명령어의 추정을 재시도하고(S30), 이런 재시도에 따른 추정이 다시 실패하면 사용자와 대화를 결정한다(S31).
대화 처리부(250)는 단 하나의 제어를 결정하지 못하고 해당 추론이 실패하면, 사용자에게 질문을 할 것인가, 질문을 한다면 무엇을 어떻게 물어볼 것인가를 결정할 수 있다(S32). 대화 처리부(250)는 단 하나의 제어를 결정하지 못하고 여러 개의 제어코드가 결정될 수 있다고 판단하면, 제어를 결정할 수 있게 하기 위한 대화문을 생성해 대화 출력부(270)를 통해 디스플레이 또는 음성으로 출력하여(S33), 사용자에게 질문하여 다시 명령어를 얻는 대화를 수행하여, 최종적으로 정확히 제어 대상 기기를 제어할 수 있게 된다.
즉, 사용자와 대화가 결정되면, 대화 처리부(250)는 해당 제어 명령어가 추정될 때까지 반복적으로, 위와 같은 추론 규칙과 도메인 규칙 등을 이용하여 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시하고, 이에 응답하여 사용자가 입력하는 명령어에 따라 상기 추정을 다시 시도하게 된다(S34).
이와 같이 S23 단계, S31 단계의 추정이 실패한 후에 시도된 위와 같은 S34 단계의 추정이 성공하면, 대화 처리부(250)는 해당 제어 대상 기기와 제어 명령어에 대한 이력 정보, 대화 이력 등을 이력 관리부(253)에 업데이트하여(S40), 사용자의 입력 명령어에 대한 다음의 추정에 새로운 대화 모델로서 이용할 수 있게 한다(S41).
위와 같은 S23 단계, S31 단계, S34 단계와 같이, 저장부(230)의 지식 정보를 바탕으로 위와 같은 문자 명령어의 질의를 해석하고 하나 이상의 제어 대상 기기와 제어 명령어를 추론하여 결정하기 위한 명령어 추정 과정에서, 예를 들어, 사용자가 입력한 명령어가 "TV 좀 꺼줘"인 경우에, 대화 처리부(250)는 해석 사전을 이용하여 "의도=TurnOff, 대상=TV"로 해석할 수 있으며, {(가전#15,type,TV)} 과 같은 도메인 규칙과 {의도+대상->Specify(대상), 의도+대상+가전ID->Control(가전ID,의도)}와 같은 추론 규칙에 기초하여, 응답 규칙에 따라 Control(가전#15,TurnOff)와 같은 제어 명령어와 제어코드를 생성할 수 있으며, 이에 따라 전송부(260)는 가전#15로 해당 제어 코드 "TurnOff"를 통신부(210)를 통해 전송하여 가전#15가 전원이 오프되도록 제어할 수 있다.
또한, 중복/충돌 해결기(222)는, S14 단계에서 위와 같은 지식 정보를 기초로 기기 구분자(예, 기기 ID 등)를 포함하는 중복 명령어(예, "TV 좀 꺼" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, Select 등)을 포함하는 별도 추론 규칙을 추론 규칙에 추가였으며, 대화 처리부(250)는 위와 같은 S23 단계, S31 단계, S34 단계와 같은 추론 과정에서, 문자 명령어에 중복 명령어가 포함되면 위와 같은 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면, 즉, 대화 출력부(270)의 화면으로 표시할 수 있다. 이때 대화 출력부(270)의 스피커를 통해 음성으로 대화문을 출력할 수도 있다.
만일, 거실과 주방의 두 대의 TV가 동시에 연결되는 경우, 대화모델 조합기(221)에서는 도메인 규칙을 {(가전#15,type,TV), (가전#18,type,TV), (가전#15,location,거실), (가전#18,location,주방)} 과 같은 형태로 정의할 수 있으며, 이러한 경우가 발견되면 중복/충돌 해결기(222)에서는 추론규칙에 {중복(가전ID)->Select(가전ID)}와 같은 중복을 해결하기 위한 추론 규칙을 자동 추가할 수 있다. 이러한 도메인 규칙과 추론규칙을 통해 대화 처리부(250)는 "TV 좀 꺼줘"라는 입력에 대해, "의도=TurnOff, 대상=TV, Select(가전#15, 가전#18)"와 같은 대화 추론을 생성할 수 있으며, 이에 따라 "끄기를 원하는 TV가 거실인가요? 주방인가요?"와 같이 사용자에게 정확한 제어를 위해 필요한 대화문을 생성할 수 있다. 대화 출력부(270)를 통해 화면 또는 음성으로 이와 같은 대화문이 출력될 수 있다.
만일 중복/충돌 해결기(222)에서 "어느 정도 거리가 있는 두 가전을 동시 제어가 가능할 때는, 사용자에게 질의하지 않고 가까운 기기를 제어한다"와 같은 상황인지에 기반한 추론 규칙을 생성토록 하고, 단말(110)에서 기기와의 위치 또는 거리 정보를 받아들일 수 있다면, 이러한 상황정보를 대화 처리부(250)가 이용하여 기기들 간의 거리와, 사용자(제어단말)와의 거리를 이용하여 추론 규칙에서 허용하는 경우는 사용자에게 다시 질문을 하지 않고 제어할 기기를 결정하여 제어코드를 해당 기기로 송출할 수도 있다.
또한, 중복/충돌 해결기(222)는, S14 단계에서 위와 같은 지식 정보를 기초로 기기 구분자 이외의 어절이나 구문을 포함하는 충돌 명령어(예, "소리 좀 줄여" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, AllorSomething 등)을 포함하는 별도 추론 규칙을 추론 규칙에 추가하였으며, 대화 처리부(250)는 위와 같은 S23 단계, S31 단계, S34 단계와 같은 추론 과정에서, 해당 문자 명령어에 충돌 명령어가 포함되면 위와 같은 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면, 즉, 대화 출력부(270)의 화면으로 표시할 수 있다. 이때 대화 출력부(270)의 스피커를 통해 음성으로 대화 구문을 출력할 수도 있다.
예를 들어, "소리 좀 줄여 줘"라는 명령어에 TV와 전화기 두 개가 동시에 제어가능한 충돌이 일어나는 경우, 대화모델 조합기(221)에서는 연결된 기기의 정보로부터 도메인 규칙을 {(가전#15,type,TV), (가전#17,type,전화기), (가전#15,기능,VolumeDown), (가전#17, 기능,VolumeDown)} 과 같은 형태로 정의할 수 있으며, 이러한 경우가 발생하면 중복/충돌 해결기(222)에서는 추론규칙에 {충돌(가전ID)->AllorSomething(가전ID)}와 같은 중복을 해결하기 위한 추론 규칙을 자동 추가할 수 있다.
이러한 도메인 규칙과 대화규칙을 통해 대화 처리부(250)에서는 "의도= VolumeDown, AllorSomething(가전#15, 가전#17)"와 같은 대화 추론을 생성할 수 있으며, 이에 따라 "TV와 전화기를 모두 소리를 줄일까요? 아니면 어떤 것을 줄일까요?"와 같이 사용자에게 정확한 제어를 위해 필요한 대화 구문을 생성할 수 있다. 대화 출력부(270)를 통해 화면 또는 음성으로 이와 같은 대화문이 출력될 수 있다.
또한, 중복/충돌 해결기(222)는, S14 단계에서 위와 같은 지식 정보를 기초로 기기 구분자 및 그 이외의 어절이나 구문을 포함하는 복합 명령어(예, "모든 전원 꺼" 등)에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문(예, "CCTV 도 끌까요?")을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가하였으며, 대화 처리부(250)는 위와 같은 S23 단계, S31 단계, S34 단계와 같은 추론 과정에서, 문자 명령어에 복합 명령어가 포함되면 위와 같은 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면, 즉, 대화 출력부(270)의 화면으로 표시할 수 있다. 이때 대화 출력부(270)의 스피커를 통해 음성으로 대화 구문을 출력할 수도 있다.
예를 들어, 임의의 연결된 기기들에 "모든 전원 꺼"와 같은 복합명령어를 허용하는 기기가 포함되어 있을 경우, 대화모델 조합기(221)에서 연결된 기기의 정보로부터 "PowerOff"기능을 가진 기기들과, PowerOff를 할 때, 재확인절차를 거쳐야 하는 예외적인 기기들의 정보를 자동 추출하여 도메인 규칙에 자동 반영할 수 있으며, 중복/충돌 해결기(222)는 복합명령어에 대해 즉시 수행하되 예외적인 가전에 대해 예외현상을 수행하도록 하는 복합명령어의 일반적인 행동요령을 추론 규칙으로 생성하여 추가할 수 있다. 이러한 환경에서 대화 처리부(250)는 "모든 전원 꺼"와 같은 복합명령어에 대해 일부 해당하는 기기에 대해서는 제어코드를 즉시 생성하고, CCTV와 같은 예외적인 가전에 대해 "CCTV도 끌까요?"같은 확인질문을 생성하는 것이 가능하다.
이외에도 중복/충돌 해결기(222)는, 위와 같은 지식 정보를 기초로 기기 구분자, 또는 어절이나 구문에 유사 의미어(예, 불, 전등, 스탠드, 가스불 등)로 갖는 문자들의 집합을 포함하는 중복 사전을 상기 해석 사전에 추가할 수 있으며, 이에 따라 대화 처리부(250)는 위와 같은 S23 단계, S31 단계, S34 단계와 같은 추론 과정에서, 해당 문자 명령어에 대하여 상기 해석 사전의 참조 시에 상기 중복 사전에 따른 유사 의미어의 포함 여부를 우선적으로 판단하여 해당 제어 대상 기기와 제어 명령어를 결정할 수도 있다.
또한, 중복/충돌 해결기(222)는, 위와 같은 지식 정보를 기초로 기기들의 추론 규칙을 조합하여 관련된 명령 유사성(예, 높임/낮춤, 꺼/켜 등)이 있는 문자들의 집합을 포함하는 중복 추론 규칙을 상기 추론 규칙에 추가할 수 있다. 이에 따라 대화 처리부(250)는 위와 같은 S23 단계, S31 단계, S34 단계와 같은 추론 과정에서, 해당 문자 명령어에 대하여 상기 추론 규칙의 참조 시에 상기 중복 추론 규칙에 따른 명령 유사성의 포함 여부를 우선적으로 판단하여, 해당 제어 대상 기기와 제어 명령어를 결정할 수도 있다.
예를 들어, "불 꺼" (사용자가 거실에 있을 때)라는 명령어에 대하여, 중복어 사전에 의해 불={형광등, 스탠드1, 스탠드2}가 모두 포함될 수 있으며, 상황(Context) 정보에 의해 사용자에 가까운 형광등, 스탠드2등을 인지할 수 있는 경우에, 여전히 모호성이 생기므로 "{형광등, 스탠드2}가 있습니다. 어떤 것을 끌까요?"와 같은 대화문을 통해 사용자에 질의 할 수 있으며, 이때 "다 꺼" 라는 명령어가 입력되면 "모두 다 끔"에 대한 제어 명령어와 제어코드를 발생할 수 있다. 이와 같은 이 대화 로그는 이력 관리부(253)에 관리될 수 있으며, 이와 같은 과정이 복수회 반복되면 "불 꺼"에 대해서 대화 처리부(250)는 항상 "모두 다 끔"에 대한 제어 명령어와 제어코드를 발생할 수 있다. 모호성을 자체적으로 해결한 경우 결과를 반드시 대화출력부(270)를 통해 사용자에게 "형광등, 스탠드2를 껐습니다."와 같이 고지할 수 있다. 또한, 모호성이 생기는 상황에 대해 처음에 질의한 후 사용자 대답, 모호성 해결의 형태였다면, 대화 로그 수집에 따라 이후 같은 모호성에 대해서는 모호성 자체 해결 후 해결 내용을 사용자에게 고지의 형태로 바뀔 수도 있다.
또한, 중복/충돌 해결기(222)는, 위와 같은 지식 정보를 기초로 기기들의 상기 응답 규칙에 포함된 규칙, 및 상기 해석 사전에 포함된 상황 정보(예, 위치, 거리 등)를 공유하도록 상기 지식 정보를 업데이트할 수 있다. 이에 따라 대화 처리부(250)는 위와 같은 S23 단계, S31 단계, S34 단계와 같은 추론 과정에서, 해당 문자 명령어에 대하여 업데이트된 상기 지식 정보에 따라 해당 제어 대상 기기와 제어 명령어의 결정에 다른 기기의 응답 규칙이나 상황을 이용할 수 있게 된다.
예를 들어, 도 4와 같이, 스탠드의 경우 (위치)를 사전이나 규칙에 가지고 있으나 형광등은 (위치)가 없다. M2M통신을 통한 상황 정보로 형광등이 스탠드2와 가까움을 인지할 수 있으며, 상황 정보를 이용한 대화모델 조합을 통하여 스탠드의 위치에 대한 대화 모델을 형광등에 이용할 수 있다. 예를 들어, 거실과 부엌에 형광등이 각각 있을 때, “거실 형광등 좀 꺼줘” 라고 음성 명령어가 입력된 경우 형광등의 대화모델에는 위치에 관한 모델이 없고, 거실이라는 단어를 알아들을 수 없으므로 둘 중 어떤 것을 말하는지 판단할 수 없다. 그러나 조합된 대화 모델에는 "(위치)+(ID)+(목적어)+끄다"가 있으므로, 거실이 뜻하는 바를 인지할 수 있고 이로 인해 “거실 형광등 좀 꺼줘”라는 명령에 대해 추가적인 질의 없이 바로 대응이 가능하다. 이는 M2M 통신과 대화모델 조합이라는 개념으로 가능한 것이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
제어 단말(110)
기기(120)
게이트웨이(130)
통신부(210)
지식 수집부(220)
저장부(230)
제어 입력부(240)
대화 처리부(250)
전송부(260)
대화 출력부(270)

Claims (16)

  1. 기기를 제어하기 위한 제어 단말에 있어서,
    하나 이상의 기기로부터 수신하는 기기 정보를 분석하여 각 제어 코드에 대한 제어 명령어를 포함하는 지식 정보를 생성하는 지식 수집부;
    상기 지식 수집부에서 생성하는 상기 지식 정보를 저장하는 저장부;
    사용자로부터 입력되는 명령어를 문자 명령어로 변환하는 제어 입력부;
    상기 지식 정보를 바탕으로 상기 문자 명령어를 해석하여 하나 이상의 제어 대상 기기와 제어 명령어를 결정하고 상기 하나 이상의 제어 대상 기기를 제어하기 위한 상기 제어 명령어에 대응된 제어 코드를 추출하는 대화 처리부; 및
    추출된 상기 제어 코드를 상기 하나 이상의 제어 대상 기기로 전송하는 전송부
    를 포함하는 것을 특징으로 하는 제어 단말.
  2. 제어 단말에서 사용자가 입력하는 명령어에 따라 기기를 제어하기 위한 기기 제어 방법에 있어서,
    제어 단말에서 전송하는 요청 메시지에 응답하는 하나 이상의 기기로부터 기기 정보를 수신하는 단계;
    상기 제어 단말에서 상기 기기 정보를 분석하여 각 제어 코드에 대한 제어 명령어를 포함하는 각 기기의 지식 정보를 생성하여 저장 수단에 저장하는 단계;
    상기 제어 단말에서 사용자로부터 입력되는 명령어를 문자 명령어로 변환하고, 상기 지식 정보를 바탕으로 상기 문자 명령어를 해석하여 하나 이상의 제어 대상 기기와 제어 명령어를 결정하는 단계; 및
    상기 제어 명령어에 대응된 제어 코드를 추출하여 상기 하나 이상의 제어 대상 기기로 전송하는 단계
    를 포함하는 것을 특징으로 하는 기기 제어 방법.
  3. 제2항에 있어서,
    상기 지식 정보를 생성하여 저장 수단에 저장하는 단계는,
    상기 문자 명령어의 해석에 기초가 되는 해석 사전(해석 대상 문자를 포함함), 추론 규칙(사용자와 대화의 기초가 되는 문자들의 집합을 포함함), 도메인 규칙(기기 구분자를 포함함), 및 응답 규칙(제어 명령어와 제어 코드를 포함함)을 포함하는 상기 지식 정보를 저장하는 단계
    를 포함하는 것을 특징으로 하는 기기 제어 방법.
  4. 제2항에 있어서,
    상기 결정하는 단계는,
    상기 문자 명령어의 형태소를 분석하여 기기 구분자와 명령 정보를 추출하는 단계; 및
    상기 기기 구분자에 대한 제어 대상 기기와 상기 명령 정보에 대한 제어 명령어의 추정을 시도하고 사용자와 대화 여부를 판단하는 단계
    를 포함하는 것을 특징으로 하는 기기 제어 방법.
  5. 제4항에 있어서,
    결정된 상기 제어 대상 기기와 상기 제어 명령어에 대한 이력 정보를 저장 수단에 저장하는 단계를 더 포함하고,
    상기 판단의 결과 모호성으로 상기 추정이 실패한 후 상기 지식 정보에 포함된 기기들의 상황 정보와 상기 이력 정보를 기초로 상기 제어 대상 기기와 상기 제어 명령어의 추정을 재시도하고, 상기 재시도에 따른 추정이 다시 실패하면 사용자와 대화를 결정하는 것을 특징으로 하는 기기 제어 방법.
  6. 제5항에 있어서,
    상기 사용자와 대화가 결정되면, 상기 제어 명령어가 추정될 때까지 반복적으로, 상기 추론 규칙을 이용하여 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시하고, 이에 응답하여 사용자가 입력하는 명령어에 따라 상기 추정을 다시 시도하는 단계
    를 더 포함하는 것을 특징으로 하는 기기 제어 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 추정이 실패한 후에 시도된 상기 추정이 성공하면, 해당 제어 대상 기기와 제어 명령어에 대한 이력 정보를 상기 저장 수단에 업데이트하여, 사용자의 입력 명령어에 대한 다음의 상기 추정에 이용하는 것을 특징으로 하는 기기 제어 방법.
  8. 제3항에 있어서,
    상기 저장하는 단계에서 상기 지식 정보를 기초로 기기 구분자를 포함하는 중복 명령어에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가하며,
    상기 결정하는 단계에서 상기 문자 명령어에 중복 명령어가 포함되면 상기 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시하는 것을 특징으로 하는 기기 제어 방법.
  9. 제3항에 있어서,
    상기 저장하는 단계에서 상기 지식 정보를 기초로 기기 구분자 이외의 어절이나 구문을 포함하는 충돌 명령어에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가하며,
    상기 결정하는 단계에서 상기 문자 명령어에 충돌 명령어가 포함되면 상기 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시하는 것을 특징으로 하는 기기 제어 방법.
  10. 제3항에 있어서,
    상기 저장하는 단계에서 상기 지식 정보를 기초로 기기 구분자 및 그 이외의 어절이나 구문을 포함하는 복합 명령어에 반응하는 기기들 중 제어 대상 기기를 결정하기 위하여 설정한 대화문을 포함하는 별도 추론 규칙을 상기 추론 규칙에 추가하며,
    상기 결정하는 단계에서 상기 문자 명령어에 복합 명령어가 포함되면 상기 대화문에 기초한 사용자와 대화를 위한 구문을 생성하여 단말 화면으로 표시하는 것을 특징으로 하는 기기 제어 방법.
  11. 제3항에 있어서,
    상기 저장하는 단계에서 상기 지식 정보를 기초로 기기 구분자, 또는 어절이나 구문에 유사 의미어로 갖는 문자들의 집합을 포함하는 중복 사전을 상기 해석 사전에 추가하며,
    상기 결정하는 단계에서 상기 문자 명령어에 대하여 상기 해석 사전의 참조 시에 상기 중복 사전에 따른 유사 의미어의 포함 여부를 우선적으로 판단하여, 해당 제어 대상 기기와 제어 명령어를 결정하는 것을 특징으로 하는 기기 제어 방법.
  12. 제3항에 있어서,
    상기 저장하는 단계에서 상기 지식 정보를 기초로 기기들의 추론 규칙을 조합하여 관련된 명령 유사성이 있는 문자들의 집합을 포함하는 중복 추론 규칙을 상기 추론 규칙에 추가하며,
    상기 결정하는 단계에서 상기 문자 명령어에 대하여 상기 추론 규칙의 참조 시에 상기 중복 추론 규칙에 따른 명령 유사성의 포함 여부를 우선적으로 판단하여, 해당 제어 대상 기기와 제어 명령어를 결정하는 것을 특징으로 하는 기기 제어 방법.
  13. 제3항에 있어서,
    상기 저장하는 단계에서 상기 지식 정보를 기초로 기기들의 상기 응답 규칙에 포함된 규칙, 및 상기 해석 사전에 포함된 상황 정보를 공유하도록 상기 지식 정보를 업데이트하며,
    상기 결정하는 단계에서 상기 문자 명령어에 대하여 업데이트된 상기 지식 정보에 따라 해당 제어 대상 기기와 제어 명령어의 결정에 다른 기기의 응답 규칙이나 상황을 이용하는 것을 특징으로 하는 기기 제어 방법.
  14. 제2항에 있어서,
    상기 기기는 상기 제어 단말과 유선 통신, 또는 근거리 무선 통신으로 통신하고, 상기 제어 코드에 따라 해당 동작을 제어하는 가전 기기인 것을 특징으로 하는 기기 제어 방법.
  15. 제2항에 있어서,
    상기 제어 단말은 게이트웨이와 유선 통신, 또는 근거리 무선 통신으로 통신하고, 상기 게이트웨이가 상기 제어 단말로부터 수신하는 상기 제어 코드를 유선 통신, 또는 근거리 무선 통신으로 상기 기기로 전송하는 것을 특징으로 하는 기기 제어 방법.
  16. 제2항에 있어서,
    상기 사용자로부터 입력되는 명령어는, 단말 화면 상에 터치로 입력되는 필기 내용, 또는 음성 신호로 이루어진 것을 특징으로 하는 기기 제어 방법.
KR1020120103764A 2012-09-19 2012-09-19 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법 KR101909498B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120103764A KR101909498B1 (ko) 2012-09-19 2012-09-19 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120103764A KR101909498B1 (ko) 2012-09-19 2012-09-19 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140037519A true KR20140037519A (ko) 2014-03-27
KR101909498B1 KR101909498B1 (ko) 2018-10-19

Family

ID=50646315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120103764A KR101909498B1 (ko) 2012-09-19 2012-09-19 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법

Country Status (1)

Country Link
KR (1) KR101909498B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953648B2 (en) 2015-05-11 2018-04-24 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
KR20190036252A (ko) * 2017-09-27 2019-04-04 주식회사 케이티 음성데이터를 이용한 건물 내의 기기 제어서비스 제공시스템 및 방법
KR20190071641A (ko) 2019-06-04 2019-06-24 엘지전자 주식회사 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법
KR102042688B1 (ko) * 2018-05-30 2019-11-08 (주)유비벨록스모바일 Iot 가전 제어 시스템
KR102042689B1 (ko) * 2018-05-30 2019-11-08 (주)유비벨록스모바일 Iot 가전 등록 시스템
KR20190143504A (ko) * 2018-05-30 2019-12-31 주식회사 유비벨록스모바일 Iot 가전의 기능 제어 프로토콜 생성을 위한 클라우드-ai 서버
KR20200123510A (ko) * 2019-04-16 2020-10-30 주식회사 유비벨록스모바일 IoT 가전을 위한 IoT 프로토콜 빌더 시스템
US10868903B2 (en) 2015-11-16 2020-12-15 Samsung Electronics Co., Ltd. Electronic device and control method therefor
CN112346366A (zh) * 2020-11-03 2021-02-09 深圳Tcl新技术有限公司 终端设备的控制方法、装置、设备及计算机可读存储介质
US11182565B2 (en) 2018-02-23 2021-11-23 Samsung Electronics Co., Ltd. Method to learn personalized intents
US11314940B2 (en) 2018-05-22 2022-04-26 Samsung Electronics Co., Ltd. Cross domain personalized vocabulary learning in intelligent assistants
US11474683B2 (en) 2017-03-10 2022-10-18 Samsung Electronics Co., Ltd. Portable device and screen control method of portable device
WO2024191140A1 (ko) * 2023-03-14 2024-09-19 김시환 스마트폰에서 프로그램 실행 및 기기 제어 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020222539A1 (en) 2019-05-02 2020-11-05 Samsung Electronics Co., Ltd. Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same
KR102295859B1 (ko) 2019-09-09 2021-08-31 주식회사 코맥스 5g 또는 lte를 이용하는 전세대의 통신 단말기를 통해 월패드를 제어하는 장치 및 방법
US12112753B2 (en) 2021-02-19 2024-10-08 Samsung Electronics Co., Ltd. Method and mobile device for processing command based on utterance input
WO2023080574A1 (ko) * 2021-11-03 2023-05-11 삼성전자 주식회사 음성 인식 서비스를 제공하는 전자 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030013732A (ko) * 2001-08-09 2003-02-15 한국전자통신연구원 네트워크 기반 홈서버의 가전기기 제어방법 및 그 장치
KR20030034413A (ko) * 2001-10-23 2003-05-09 한국전자통신연구원 원격 가전 제어 시스템 및 그 방법
KR20050091418A (ko) * 2004-03-12 2005-09-15 엘지전자 주식회사 홈 네트워크 시스템의 제어메뉴 구현장치 및 방법
KR20070008990A (ko) * 2005-07-14 2007-01-18 주식회사 케이티 지식기반 홈네트워크에서 사용자 적응적 서비스 제공을위한 추론 장치
KR101094530B1 (ko) * 2005-11-21 2011-12-19 주식회사 케이티 문자메시지의 언어 처리를 이용한 원격 제어 서비스 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030013732A (ko) * 2001-08-09 2003-02-15 한국전자통신연구원 네트워크 기반 홈서버의 가전기기 제어방법 및 그 장치
KR20030034413A (ko) * 2001-10-23 2003-05-09 한국전자통신연구원 원격 가전 제어 시스템 및 그 방법
KR20050091418A (ko) * 2004-03-12 2005-09-15 엘지전자 주식회사 홈 네트워크 시스템의 제어메뉴 구현장치 및 방법
KR20070008990A (ko) * 2005-07-14 2007-01-18 주식회사 케이티 지식기반 홈네트워크에서 사용자 적응적 서비스 제공을위한 추론 장치
KR101094530B1 (ko) * 2005-11-21 2011-12-19 주식회사 케이티 문자메시지의 언어 처리를 이용한 원격 제어 서비스 장치 및 그 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953648B2 (en) 2015-05-11 2018-04-24 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10868903B2 (en) 2015-11-16 2020-12-15 Samsung Electronics Co., Ltd. Electronic device and control method therefor
US11474683B2 (en) 2017-03-10 2022-10-18 Samsung Electronics Co., Ltd. Portable device and screen control method of portable device
KR20190036252A (ko) * 2017-09-27 2019-04-04 주식회사 케이티 음성데이터를 이용한 건물 내의 기기 제어서비스 제공시스템 및 방법
US11182565B2 (en) 2018-02-23 2021-11-23 Samsung Electronics Co., Ltd. Method to learn personalized intents
US11314940B2 (en) 2018-05-22 2022-04-26 Samsung Electronics Co., Ltd. Cross domain personalized vocabulary learning in intelligent assistants
KR102042688B1 (ko) * 2018-05-30 2019-11-08 (주)유비벨록스모바일 Iot 가전 제어 시스템
KR102042689B1 (ko) * 2018-05-30 2019-11-08 (주)유비벨록스모바일 Iot 가전 등록 시스템
KR20190143504A (ko) * 2018-05-30 2019-12-31 주식회사 유비벨록스모바일 Iot 가전의 기능 제어 프로토콜 생성을 위한 클라우드-ai 서버
KR20200123510A (ko) * 2019-04-16 2020-10-30 주식회사 유비벨록스모바일 IoT 가전을 위한 IoT 프로토콜 빌더 시스템
US10901380B2 (en) 2019-06-04 2021-01-26 Lg Electronics Inc. Apparatus and method for controlling operation of home appliance, home appliance and method for operating of home appliance
KR20190071641A (ko) 2019-06-04 2019-06-24 엘지전자 주식회사 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법
CN112346366A (zh) * 2020-11-03 2021-02-09 深圳Tcl新技术有限公司 终端设备的控制方法、装置、设备及计算机可读存储介质
WO2024191140A1 (ko) * 2023-03-14 2024-09-19 김시환 스마트폰에서 프로그램 실행 및 기기 제어 방법

Also Published As

Publication number Publication date
KR101909498B1 (ko) 2018-10-19

Similar Documents

Publication Publication Date Title
KR20140037519A (ko) 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법
JP7198861B2 (ja) ホームオートメーションのためのインテリジェントアシスタント
CN107276864B (zh) 智能语音设备控制家电的方法、装置及系统
US20180301148A1 (en) Connecting assistant device to devices
US10057125B1 (en) Voice-enabled home setup
US20200135191A1 (en) Digital Voice Butler
JP7483801B2 (ja) アシスタントクライアントデバイスによるスマートデバイスのローカルな制御および／または登録
CN106683674A (zh) 利用语音控制智能家居的系统及方法
KR20220104078A (ko) Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공
KR20210046581A (ko) 스마트 장치의 효율적이고 낮은 대기시간 자동 어시스턴트 제어
CN113615141B (zh) 账号关联方法、装置、系统、服务器以及存储介质
EP2933789B1 (en) Security alarm system with adaptive speech processing
KR20160019054A (ko) Sns를 이용하여 홈 오토메이션 기기를 원격 제어하기 위한 통합관리서버, sns를 이용한 홈 오토메이션 기기 원격 제어 시스템 및 방법
EP3493484A1 (en) Devices, systems and methods for communication in an iot environment
US11676591B1 (en) Smart computing device implementing artificial intelligence electronic assistant
KR20200079602A (ko) 사용자별 맞춤형 서비스 제공 IoT 시스템
WO2017025929A2 (en) Communication gateway for access of different remote services or devices
KR102546643B1 (ko) 지능형 단말 관리 시스템 및 방법
Cirillo et al. FMDB Transactions on Sustainable Computer Letters
KR101484702B1 (ko) 사용자 다이알로그에 따른 서비스 제공 방법 및 다이알로그 에이전트 시스템
KR20210008696A (ko) 전자 장치 및 이의 음성 인식 방법
CN117809644A (zh) 电子设备、语音识别方法、装置及存储介质
CN116564311A (zh) 设备控制方法、装置、电子设备及可读存储介质
Benedetto et al. Integration of Home Assistant with an open-source Voice Assistant

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right