KR20090084212A - 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법 - Google Patents

멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법 Download PDF

Info

Publication number
KR20090084212A
KR20090084212A KR1020080010256A KR20080010256A KR20090084212A KR 20090084212 A KR20090084212 A KR 20090084212A KR 1020080010256 A KR1020080010256 A KR 1020080010256A KR 20080010256 A KR20080010256 A KR 20080010256A KR 20090084212 A KR20090084212 A KR 20090084212A
Authority
KR
South Korea
Prior art keywords
gesture
voice
input
control command
unit
Prior art date
Application number
KR1020080010256A
Other languages
English (en)
Inventor
이근배
김경덕
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020080010256A priority Critical patent/KR20090084212A/ko
Publication of KR20090084212A publication Critical patent/KR20090084212A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K5/00—Feeding devices for stock or game ; Feeding wagons; Feeding stacks
    • A01K5/01—Feed troughs; Feed pails

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Birds (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

음성 대화 인터페이스와 제스처 인터페이스를 이용하여 홈 네트워크의 상태 정보와 제어 방법을 사용자에게 제공하는 홈 네트워크 제어 시스템 및 그 방법이 개시된다. 홈 네트워크 제어 시스템은 사용자로부터 음성 입력을 받는 음성 입력부와, 사용자로부터 제스처 입력을 받는 제스처 입력부와, 입력된 음성 입력으로부터 음성을 인식하고, 미리 정형화되어 있는 형태의 의미구조로 변환하는 음성 인식 및 이해부와, 제스처 입력으로부터 제스처를 인식하고, 인식된 제스처를 미리 정형화되어 있는 형태의 의미구조로 변환하는 제스처 인식 및 이해부와, 통합된 의미구조를 생성하는 멀티모달 의미 통합부와, 통합된 의미구조를 제어명령으로 변환하는 멀티모달 제어명령 관리부 및 홈 네트워크 장치에 상기 제어명령을 전달하는 홈 네트워크 장치 관리부를 구비한다. 따라서 자연어로 된 음성 입력과 제스처 입력을 홈 네트워크 제어에 동시에 사용함으로써 사용자에게 자연스럽고 편리한 형태의 인터페이스를 제공할 수 있다.
멀티모달, 대화, 인터페이스, 홈 네트워크, 제어

Description

멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템 및 그 방법{HOME NETWORK CONTROL SYSTEM AND METHOD USING MULTIMODAL SPOKEN LANGUAGE INTERFACE}
본 발명은 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 음성 대화 인터페이스와 제스처 인터페이스를 이용하여 홈 네트워크의 상태 정보와 제어 방법을 사용자에게 제공하는 홈 네트워크 제어 시스템 및 그 방법에 관한 것이다.
홈 네트워크란 다양한 유선 및/또는 무선 기술을 적용하여 개인용 컴퓨터(personal computer, 이하 “PC”라 함), 가전기기, 제어기기, 각종 시설 등은 물론 휴대하고 다니는 휴대전화, 개인 휴대 정보 단말기 등을 통합한 네트워크를 의미하며, 외부의 공중 네트워크와 접속되고, 또 그의 일부로서 존재하는 것을 전제로 한다.
상기 홈 네트워크에는 이더넷(ethernet), 전력선 통신(power line communication, PLC), IEEE 1394, Home PNA 등과 같은 유선 기술과, IEEE 802.11 WLAN, IEEE 802.15 WPAN, 초광대역 무선(ultra-wideband, UWB)과 같은 무선 기술, 범용 플러그 엔 플레이(universal plug & play, UPnP), HAVI(home audio/video interoperability), JINI(Java intelligent network infra-structure), HNCP(home network control protocol)등과 같은 홈 네트워크 제어 미들웨어 등이 사용될 수 있다.
이러한 홈 네트워크 제어를 위한 종래의 기술로는 휴대폰, 개인 휴대 정보 단말기(personal digital assistant, 이하 “PDA”라 함) 또는 통합 리모컨 등의 기기를 통해 집안이나 집 밖에서 음성으로 명령을 내리는 형태의 인터페이스가 있다.
그러나 기존의 음성 대화 인터페이스는 기기가 제공하는 음성 이외의 입출력 인터페이스를 충분히 활용하지 못하는 경우가 많고, 음성만으로는 그 표현에 한계가 있을 수 있으며, 자연언어를 사용하여 표현의 한계를 부분적으로 극복한다 하더라도 음성 입력의 길이가 길어지게 되어 음성 인식 오류가 일어날 가능성이 커지게 된다는 한계를 가지고 있었다.
특히 홈 네트워크 제어 환경은 통상적으로 아웃도어 환경에 비해 소음 및 사용 상 이동이 적어 음성 인식에 유리하지만, 주된 사용자가 유년층에서부터 노년층에 이르기까지 다양하고, 대부분의 사용자가 홈 네트워크 제어에 관한 숙련자가 아니어서 음성 대화 인터페이스에만 의존했을 때 음성 인식 오류 등 사용 상 문제점이 드러나게 된다.
상기와 같이 음성 대화 인터페이스만을 이용하는 단일 인터페이스 방식을 사용할 경우에 발생되는 인식의 오류와 표현의 한계를 극복하기 위한 방법으로서, 다 양한 인터페이스를 복합적으로 활용하는 멀티모달 대화 인터페이스 방식이 도입되고 있다.
예컨대 음성 입력과 터치스크린을 이용한 펜 입력을 동시에 사용하는 방식 등이 멀티모달 대화 인터페이스 방식에 해당하며, 음성만을 인터페이스로 하는 경우에 비해 음성 입력의 길이가 짧아지기 때문에 음성 인식 오류가 날 가능성이 작아지게 되며 음성만으로는 표현하기에 불가능하거나 난해한 표현에 대해서도 동작이 가능하게 된다.
그 결과 멀티모달 대화 인터페이스 시스템은 기기가 제공하는 음성 이외의 입출력 인터페이스를 충분히 활용하여 사용자와 홈 네트워크 간의 효과적인 상호작용을 가능하게 한다.
따라서 본 발명의 목적은 음성 대화 인터페이스와 제스처 인터페이스를 이용하여 홈 네트워크의 상태 정보와 제어 방법을 사용자에게 제공하는 홈 네트워크 제어 시스템을 제공하는 것이다.
또한, 본 발명의 다른 목적은 음성 대화 인터페이스와 제스처 인터페이스를 이용하여 사용자에게 자연스럽고 편리한 홈 네트워크 제어 방법을 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템은, 사용자로부터 음성 입력을 받는 마이크를 포함한 음성 입력부와, 사용자로부터 제스처 입력을 받는 제스처 입력부와, 상기 음성 입력부로부터 입력된 음성 입력으로부터 음성을 인식하고, 인식된 음성을 미리 정형화되어 있는 형태의 의미구조로 변환하는 음성 인식 및 이해부와, 상기 제스처 입력부로부터 입력된 제스처 입력으로부터 제스처를 인식하고, 인식된 제스처를 미리 정형화되어 있는 형태의 의미구조로 변환하는 제스처 인식 및 이해부와, 상기 음성 인식 및 이해부로부터 전달되는 의미구조와 상기 제스처 인식 및 이해부로부터 전달되는 의미구조로부터 통합된 의미구조를 생성하는 멀티모달 의미 통합부와, 상기 멀티모달 의미 통합부로부터 전달되는 상기 통합된 의미구조를 제어명령으로 변환하는 멀티모달 제어명령 관리부 및 상기 멀티모달 제어명 령 관리부로부터 상기 제어명령을 전달받고, 홈 네트워크 장치에 상기 제어명령을 전달하는 홈 네트워크 장치 관리부를 구비한다.
상기 제스처 입력부는 사용자로부터 상기 제스처 입력으로서 펜 터치 입력을 받는 터치스크린을 포함할 수 있다.
상기 제스처 입력부는 지자기 센서, 가속도 센서, 고도 센서 또는 자이로 센서 중 적어도 하나를 이용하여 상기 제스처 입력으로서 사용자의 움직임 및/또는 위치 정보입력을 받을 수 있다.
상기 제스처 입력부는 카메라를 이용하여 상기 제스처 입력으로서 사용자의 움직임 및/또는 위치 정보 입력을 받을 수 있다.
상기 제스처 인식 및 이해부는 상기 제스처 입력부로부터 입력된 제스처 입력으로부터 제스처를 인식하는 제스처 인식부 및 상기 인식된 제스처를 미리 정형화되어 있는 형태의 의미구조로 변환하는 제스처 이해부를 구비할 수 있다.
상기 음성 인식 및 이해부는 상기 음성 입력부로부터 입력된 음성 입력을 문자열로 변환하여 인식하는 음성 인식부 및 상기 문자열로 변환하여 인식된 음성을 미리 정형화되어 있는 형태의 의미구조로 변환하는 음성 이해부를 구비할 수 있다.
상기 멀티모달 제어명령 관리부는 상기 홈 네트워크 장치 관리부로부터 상기 제어명령의 결과를 전달 받을 수 있다. 이 경우 상기 홈 네트워크 제어 시스템은 상기 멀티모달 제어명령 관리부로부터 상기 제어명령의 결과를 전달받고, 상기 제어명령의 결과를 사용자에게 전달하는 사용자 정보 전달부를 추가로 구비할 수 있다.
상기 멀티모달 제어명령 관리부는 상기 멀티모달 의미 통합부로부터 전달되는 상기 통합된 의미구조를 상기 제어명령으로 변환함에 있어, 상기 멀티모달 의미 통합부가 이전에 생성한 통합된 의미구조를 추가로 고려할 수 있다.
또한, 상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 일 측면에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 방법은, 음성 및/또는 제스처를 입력하는 단계와, 상기 음성 입력 및/또는 상기 제스처 입력으로부터 음성 및/또는 제스처를 인식하는 단계와, 상기 음성 및/또는 제스처를 미리 정형화되어 있는 형태의 의미구조로 이해하는 단계와, 상기 이해된 음성 및/또는 제스처의 의미구조로부터 통합된 의미구조를 생성하는 단계와, 상기 통합된 의미구조를 제어명령으로 변환하는 단계 및 상기 제어명령을 홈 네트워크 장치에 전달하는 단계를 포함한다.
상기 음성 및/또는 제스처를 입력하는 단계는 음성 및 제스처의 동시 입력이 가능할 수 있다.
상기 음성 입력 및/또는 상기 제스처 입력으로부터 음성 및/또는 제스처를 인식하는 단계는 음성을 인식함에 있어서 상기 음성 입력을 문자열로 변환할 수 있다.
상기 홈 네트워크 제어 방법은 상기 홈 네트워크 장치로부터 상기 제어명령의 결과를 전달 받는 단계를 추가로 포함할 수 있다. 이 경우 상기 홈 네트워크 제어 방법은 상기 제어명령의 결과를 사용자에게 전달하는 단계를 추가로 포함할 수 있다.
상기 통합된 의미구조를 제어명령으로 변환하는 단계는 상기 이해된 음성 및/또는 제스처의 의미구조로부터 통합된 의미구조를 생성하는 단계를 통하여 이전에 생성된 통합된 의미구조를 추가로 고려할 수 있다.
상기와 같은 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템 및 그 방법에 따르면, 자연어로 된 음성 입력과 제스처 입력을 홈 네트워크 제어에 동시에 사용함으로써 사용자에게 자연스럽고 편리한 형태의 인터페이스를 제공할 수 있다.
또한, 일상 대화와 유사한 시스템을 이용하기 때문에 사용자에게 자연스러운 흐름으로 제어명령을 내릴 수 있으며, 음성 입력과 제스처 입력을 동시에 지원하기 때문에 음성만으로 나타내기 난해한 명령을 표현할 수 있다.
나아가, 터치스크린 상의 펜 입력, 지자기 센서, 가속도 센서, 고도 센서, 자이로(gyro) 센서 또는 카메라 등을 통한 사용자 또는 홈 네트워크 단말기 등의 움직임 및/또는 위치 입력을 이용함으로써 사용자의 음성 입력 길이를 줄이게 되어 기존 홈 네트워크 시스템에서 문제가 되었던 음성 인식 오류가 발생할 확률을 줄일 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명 의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템의 구성을 나타내는 블록도이다.
도 1을 참조하면, 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템은 음성 입력부(110), 제스처 입력부(120), 음성 인식 및 이해부(130), 제스처 인식 및 이해부(140), 멀티모달 의미 통합부(150), 멀티모달 제어명령 관리부(160), 홈 네트워크 장치 관리부(170) 및 사용자 정보 전달부(180)를 포함한다.
구체적으로 상기 음성 입력부(110)는 음성 입력 장치를 사용하여 사용자의 음성 입력을 받아 자연어 형태의 아날로그 및/또는 디지털 음성 신호로 변환하여 출력하는 장치이며, 상기 음력 입력 장치는 마이크 등의 장치일 수 있다.
상기 음성 입력부(110)는 상기 음성 입력 장치와 통상적으로 이러한 종류의 장치에 요구되는 내부 메모리 및 처리 장치(processing unit)를 구비하고 홈 네트워크 작동 공간(큰방, 작은방, 거실, 부엌 등)의 천장 또는 벽 등에 위치되는 단독 의 장치가 될 수 있고, 휴대폰, PDA, 통합 리모컨, 임베디드(embedded) 장치 또는 PC 등의 형태를 가지는 홈 네트워크 단말기의 일부 구성요소가 될 수도 있으며, 홈 네트워크 작동 공간(큰방, 작은방, 거실, 부엌 등)의 천장 또는 벽 등에 위치되는 임베디드 장치 또는 PC 등의 형태를 가지는 홈 네트워크 제어 장치의 일부 구성요소가 될 수도 있다.
상기 제스처 입력부(120)는 제스처 입력 장치를 사용하여 사용자로부터 제스처 입력을 받는 장치이고, 상기 제스처 입력 장치로서 터치스크린 및/또는 카메라를 사용하는 경우 상기 음성 입력부(110)와 마찬가지로 단독 형태의 장치, 상기 홈 네트워크 단말기의 일부 구성요소 또는 상기 홈 네트워크 제어 장치의 일부 구성요소가 될 수 있으며, 상기 제스처 입력 장치로서 지자기 센서, 가속도 센서, 고도 센서 또는 자이로 센서 중 적어도 하나를 사용하는 경우 단독 형태의 장치 또는 상기 홈 네트워크 단말기의 일부 구성요소가 될 수 있다.
본 발명에 있어 “제스처”란 통상의 멀티모달 대화 인터페이스에서 사용되는 터치스크린 상의 펜 입력뿐만 아니라 정보기술 분야 일반에 있어서 사용되는 의미까지 포함하는 것으로, 손동작, 몸동작, 얼굴 표정, 눈 동작 또는 입술의 움직임까지 포함한다.
상기 제스처 입력부(120)는 상기 제스처 입력 장치로서 터치스크린을 포함할 수 있으며, 이 경우 상기 제스처 입력부(120)는 사용자로부터 일련의 펜 터치 입력을 받아 상기 터치스크린 상의 일련의 X좌표 및 Y좌표 등을 출력할 수 있다.
상기 제스처 입력부(120)는 상기 제스처 입력 장치로서 지자기 센서를 포함할 수 있으며, 이 경우 상기 제스처 입력부(120)는 사용자에 의한 상기 홈 네트워 크 단말기의 일련의 동작(움직임) 입력을 받아 자북(북극) 방향의 절대방향과 일련의 홈 네트워크 단말기의 진행방향 등을 출력할 수 있다.
상기 제스처 입력부(120)는 상기 제스처 입력 장치로서 가속도 센서를 포함할 수 있으며, 이 경우 상기 제스처 입력부(120)는 사용자에 의한 상기 홈 네트워크 단말기의 일련의 동작(움직임) 입력을 받아 X, Y, Z 벡터 값을 이용한 일련의 홈 네트워크 단말기의 동작 정보 등을 출력할 수 있다.
상기 제스처 입력부(120)는 상기 제스처 입력 장치로서 고도 센서를 포함할 수 있으며, 이 경우 상기 제스처 입력부(120)는 사용자에 의한 상기 홈 네트워크 단말기의 일련의 동작(움직임) 입력을 받아 일련의 홈 네트워크 단말기의 높이 정보 등을 출력할 수 있다.
상기 제스처 입력부(120)는 상기 제스처 입력 장치로서 자이로 센서를 포함할 수 있으며, 이 경우 상기 제스처 입력부(120)는 사용자에 의한 상기 홈 네트워크 단말기의 일련의 동작(움직임) 입력을 받아 일련의 홈 네트워크 단말기의 운동방향, 가속도 및/또는 3차원 공간에서의 위치 정보 등을 출력할 수 있다.
상기 제스처 입력부(120)는 상기 제스처 입력 장치로서 카메라를 포함할 수 있으며, 이 경우 상기 제스처 입력부(120)는 사용자 자신의 동작(움직임) 입력 또는 사용자에 의한 상기 홈 네트워크 단말기의 일련의 동작(움직임) 입력을 받아 일련의 사용자의 동작 정보 또는 일련의 홈 네트워크 단말기의 동작 정보 등을 출력할 수 있다.
상기 음성 인식 및 이해부(130)는 상기 음성 입력부(110)로부터 입력된 자연 어 형태의 음성 입력을 받아들여 문자열 등의 형태로 변환하여 음성을 인식한 뒤, 상기 문자열 등의 형태로 인식된 음성을 미리 정형화되어 있는 형태의 의미구조로 변환하여 음성을 이해하는 장치이며, 상기 음성 입력부(110)와 마찬가지로 단독 형태의 장치, 상기 홈 네트워크 단말기의 일부 구성요소 또는 상기 홈 네트워크 제어 장치의 일부 구성요소가 될 수 있다.
상기 음성 인식 및 이해부(130)에서의 상기 “미리 정형화되어 있는 형태의 의미구조”란 예컨대 “조명 켜기”, “조명 끄기”, “텔레비전 켜기”, “텔레비전 끄기”, “에어컨 온도 확인”등과 같이 홈 네트워크 장치 제어와 관련된 명령의 형태를 가지는 의미구조를 말한다.
상기 제스처 인식 및 이해부(140)는 상기 제스처 입력부로부터 입력된 제스처 입력으로부터 홈 네트워크 제어 시스템이 동작하는 공간 내의 특정 지점 등의 형태로 제스처를 인식한 뒤, 상기 인식된 제스처를 미리 정형화되어 있는 형태의 의미구조로 변환하여 제스처를 이해하는 장치이며, 상기 음성 입력부(110)와 마찬가지로 단독 형태의 장치, 상기 홈 네트워크 단말기의 일부 구성요소 또는 상기 홈 네트워크 제어 장치의 일부 구성요소가 될 수 있다.
상기 제스처 인식 및 이해부(140)에서의 상기 “홈 네트워크 제어 시스템이 동작하는 공간 내의 특정 지점”이란 예컨대 “큰방”, “작은방”, “거실”, “스탠드”, “텔레비전” 등과 같이 홈 네트워크 제어 시스템이 동작하는 공간 내에서 다른 연관관계를 고려하지 아니한 선택된 개체 그 자체를 가리킬 수 있고, 또는 별도 처리를 하지 아니한 상기 제스처 입력부로부터의 입력 그 자체일 수도 있다.
상기 제스처 인식 및 이해부(140)에서의 상기 “미리 정형화되어 있는 형태의 의미구조”란 예컨대 “큰방”, “작은방”, “거실”, “큰방의 스탠드”, “거실의 텔레비전”등과 같이 홈 네트워크 제어 시스템이 동작하는 공간 내의 선택된 개체 또는 선택된 장소의 종류 및 범위 등의 정보의 형태를 가지는 의미구조를 말한다.
상기 제스처 인식 및 이해부(140)는, 상기 제스처 입력 장치로서 터치스크린을 포함하는 상기 제스처 입력부(120)로부터 상기 터치스크린 상의 X좌표 및 Y좌표 등을 제스처 입력으로 받는 경우, 이를 홈 네트워크 제어 시스템이 동작하는 공간 내의 특정 지점을 지정하는 것으로 인식하고, 최종적으로는 홈 네트워크 제어 시스템이 동작하는 공간 내의 선택된 개체 또는 선택된 장소의 종류 및 범위 등의 정보의 형태를 가지는 의미구조로 변환한다.
상기 제스처 인식 및 이해부(140)는, 상기 제스처 입력 장치로서 지자기 센서, 가속도 센서, 고도 센서, 자이로 센서 또는 카메라 중 적어도 하나를 이용하는 상기 제스처 입력부(120)로부터 제스처 입력을 받는 경우에 있어서는, 사용자 또는 상기 홈 네트워크 단말기의 특정한 한 형태의 동작(움직임)이 홈 네트워크 제어 시스템이 동작하는 공간 내의 특정한 한 지점 등을 지정하는 것으로, 사용자가 상기 제스처 인식 및 이해부(140)의 동작 이전에 홈 네트워크 제어 시스템에 미리 등록시켜 놓았음을 전제로 한다.
예를 들어, 상기 제스처 입력부(120)가 상기 홈 네트워크 단말기의 일부 구성요소이고, 상기 제스처 입력부(120)의 상기 제스처 입력 장치로서 지자기 센서를 사용하는 경우, 사용자가 상기 홈 네트워크 단말기를 위에서 아래로 움직이는 동작은 큰방을 지정하고, 사용자가 상기 홈 네트워크 단말기를 위에서 아래로, 그리고 다시 위로 V자 형태로 움직이는 동작은 거실의 텔레비전을 지정하는 등의 방식으로 홈 네트워크 제어 시스템에 미리 등록시켜 놓을 수 있다.
상기 제스처 인식 및 이해부(140)는 상기 제스처 입력 장치로서 지자기 센서, 가속도 센서, 고도 센서, 자이로 센서 또는 카메라 중 적어도 하나를 포함하는 상기 제스처 입력부(120)로부터 제스처 입력을 받는 경우, 상술한 바와 같이 홈 네트워크 제어 시스템에 미리 등록된 바에 따라 상기 제스처 입력을 홈 네트워크 제어 시스템이 동작하는 공간 내의 특정 지점을 지정하는 것으로 인식하고, 최종적으로는 홈 네트워크 제어 시스템이 동작하는 공간 내의 선택된 개체 또는 선택된 장소의 종류 및 범위 등의 정보의 형태를 가지는 의미구조로 변환한다.
상기 멀티모달 의미 통합부(150)는 상기 음성 인식 및 이해부(130)에 의해 변환된 사용자 음성의 의미구조와 상기 제스처 인식 및 이해부(140)에 의해 변환된 사용자 제스처의 의미구조로부터 통합된 의미구조를 생성하는 장치이며, 상기 음성 입력부(110)와 마찬가지로 단독 형태의 장치, 상기 홈 네트워크 단말기의 일부 구성요소 또는 상기 홈 네트워크 제어 장치의 일부 구성요소가 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템을 이용하는 사용자의 동작을 나타내는 개념도이다.
도 2를 참조하면, 본 발명에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템의 사용자는 음성과 제스처를 동시에 이용하여 홈 네트워크 제어 명령을 내릴 수 있다. 사용자는 음성 입력으로서 “여기 불을 꺼라.”라고 음성 입력하는 동시에, 제스처 입력으로서 홈 네트워크 단말기의 터치스크린에 표시되고 있는 큰방 부분을 펜으로 동그라미를 그리는 동작을 하게 되면, 상기 음성 인식 및 이해부(130)와 상기 제스처 인식 및 이해부(140)를 거쳐 각각의 입력이 미리 정형화되어 있는 의미구조의 형태로 변환된다.
상술한 바와 같이 여기서 미리 정형화된 음성의 의미구조는 “조명 켜기”, “조명 끄기”, “텔레비전 켜기”, “텔레비전 끄기”, “에어컨 온도 확인”등과 같은 홈 네트워크 장치 제어와 관련된 명령의 형태를 가지며, 미리 정형화된 제스처의 의미구조는 선택된 개체나 선택된 장소의 종류 및 범위 등의 정보의 형태를 가진다. 따라서 음성과 제스처의 의미구조는 “큰방의 조명을 끄기”라는 통합된 의미구조로 합쳐진다.
도 1을 다시 참조하면, 상기 멀티모달 제어명령 관리부(160)는 상기 멀티모달 의미 통합부(150)로부터 전달되는 상기 통합된 의미구조를 제어명령으로 변환하고, 상기 제어명령을 상기 홈 네트워크 장치 관리부(170)에 전달하며, 나아가 그 제어명령의 결과를 받아 이를 사용자에게 전달하기 위해 상기 사용자 정보 전달부(180)에 넘기는 장치이고, 상기 음성 입력부(110)와 마찬가지로 단독 형태의 장치, 상기 홈 네트워크 단말기의 일부 구성요소 또는 상기 홈 네트워크 제어 장치의 일부 구성요소가 될 수 있다.
이 경우 상기 멀티모달 제어명령 관리부(160)는 상기 제어명령을 변환함에 있어 상기 멀티모달 의미 통합부(150)로부터 전달되는 상기 통합된 의미구조 뿐만 아니라 상기 멀티모달 의미 통합부(150)가 지금까지 생성했던 통합된 의미구조를 함께 고려할 수 있다.
그 이유는 대용어 해소(anaphora resolution)를 하여야 하는 경우 홈 네트워크 제어 시스템이 적합한 응답을 보이기 위해서는 사용자의 최근 마지막 입력으로는 부족한 경우가 있기 때문이다. 상기 “대용어 해소”란 지시 대명사를 비롯한 여러 대용어가 실제 어떤 단어 또는 개체를 가리키는지 알아내는 것을 의미하며, 나아가 주어 등이 생략된 경우 생략된 표현이 실제 어떤 단어 또는 개체를 가리키는지 알아내는 영조응(0-anaphora)까지 포함한다. 대용어 해소는 직전의 통합된 의미구조 변환 이력을 참조할 수 있고, 예전의 통합된 의미구조 변환 이력에 확률점수를 매겨 참조할 수도 있다.
상기 통합된 의미구조 변환 이력을 고려하기 위하여 상기 멀티모달 의미 통합부(150) 또는 상기 멀티모달 제어명령 관리부(160)는 상기 멀티모달 의미 통합부(150)가 지금까지 생성했던 통합된 의미구조를 저장하는 통합된 의미구조 변환 이력 데이터베이스를 가질 수 있다.
상기 멀티모달 의미 통합부(150)가 상기 통합된 의미구조 변환 이력 데이터베이스를 가지는 경우, 상기 멀티모달 제어명령 관리부(160)는 상기 멀티모달 의미 통합부(150)로부터 새로 생성된 통합된 의미구조뿐만 아니라 상기 통합된 의미구조 변환 이력을 함께 입력으로 받을 수 있다. 상기 멀티모달 제어명령 관리부(160)가 상기 통합된 의미구조 변환 이력 데이터베이스를 가지는 경우, 상기 멀티모달 제어명령 관리부(160)는 상기 멀티모달 의미 통합부(150)로부터 새로 생성된 통합된 의 미구조를 입력으로 받을 수 있다.
상기 멀티모달 제어명령 관리부(160)가 상기 제어명령을 변환함에 있어 고려 대상으로 하는 상기 통합된 의미구조 변환 이력의 범위는 직전 제어명령의 변환 및 출력 이후부터 현재까지의 것들을 포함하거나, 이전에 생성된 모든 통합된 의미구조까지 포함할 수 있다.
상기 멀티모달 제어명령 관리부(160)가 상기 통합된 의미구조 변환 이력을 참조하여 상기 제어명령으로 변환하는 과정을 이하에서 예를 들어 설명한다. 이 경우 사용자가 직전에 “큰방의 조명을 끄기” 제어명령을 내린 후, 새로운 제어명령으로서 “토요일 저녁 9시 45분에 KBS에서 방영하는 드라마 대조영 녹화”라는 제어명령을 내리려고 한다고 가정한다. 이 경우 직전 제어명령인 “큰방의 조명을 끄기”의 변환 및 출력 이후부터의 상기 통합된 의미구조 변환 이력이 상기 제어명령의 변환에 있어 고려 대상이 된다.
사용자가 홈 네트워크 단말기 등을 통해“텔레비전 녹화 좀 해줘.”라는 음성 입력과 터치스크린 상의 거실 부분을 펜으로 동그라미 치는 제스처 입력을 하였다면, 상기 음성 입력 및 제스처 입력으로부터 생성된 통합된 의미구조만으로는 사용자가 현재 목적하는 “토요일 저녁 9시 45분에 KBS에서 방영하는 드라마 대조영 녹화”라는 제어명령으로 변환하는데 적합하지 아니하고, 이전 통합된 의미구조 변환 이력도 존재하지 않으므로, 홈 네트워크 제어 시스템은 “어떤 프로그램을 녹화 할까요?”라는 질문을 하게 된다. 상기 생성된 통합된 의미구조는 이후 제어명령의 변환에 있어 제1 통합된 의미구조 변환 이력으로서 고려된다.
상기 홈 네트워크 제어 시스템의 상기 질문에 대해 사용자가 다시 “드라마 대조영”이라는 음성 입력을 하였다면, 상기 음성 입력으로부터 생성된 통합된 의미구조만으로는 사용자가 현재 목적하는 제어명령으로 변환하는데 적합하지 아니하고, 상기 제1 통합된 의미구조 변환 이력을 함께 고려하여도 제어명령으로 변환하는데 적합하지 아니하므로 홈 네트워크 제어 시스템은 “대조영은 토요일, 일요일 저녁 9시 45분에 방영됩니다. 어느 것을 녹화할까요?”라는 질문을 하게 된다. 상기 생성된 통합된 의미구조는 이후 제어명령의 변환에 있어 제2 통합된 의미구조 변환 이력으로서 고려된다.
상기 홈 네트워크 제어 시스템의 상기 질문에 대해 사용자가 다시 “토요일 것으로 녹화해 줘.”라고 음성 입력을 하였다면, 상기 질문에 대해 사용자가 다시 “드라마 대조영”이라는 음성 입력을 하였다면, 상기 음성 입력으로부터 생성된 통합된 의미구조만으로는 사용자가 현재 목적하는 제어명령으로 변환하는데 적합하지 아니하나, 상기 제1 및 제2 통합된 의미구조 변환 이력을 함께 고려하면 제어명령으로 변환하는데 적합하므로 홈 네트워크 시스템은 “토요일 저녁 9시 45분에 KBS에서 방영하는 대조영을 녹화하겠습니다.”라고 대답을 하고 홈 네트워크 장치에 상기 녹화 명령을 내리게 된다.
이상에서 본 바와 같이, 상기와 같은 홈 네트워크 제어 과정을 진행함에 있어 사용자의 첫 번째 음성 입력이 없이 사용자의 두 번째 음성 입력만이 있었다면 “드라마 대조영”이라는 음성 입력만으로는 그 텔레비전 프로그램을 녹화하라는 사용자의 의도를 홈 네트워크 제어 시스템은 파악할 수 없다. 즉, “텔레비전 녹화 좀 해줘.”라는 사용자의 첫 번째 음성 입력에 대한 정보를 홈 네트워크 시스템이 고려하여야 사용자 의도를 제대로 파악하여 적합한 홈 네트워크 제어명령을 낼 수 있다.
상기와 같은 이유로 상기 멀티모달 제어명령 관리부(160)가 최종적으로 상기 제어명령을 변환하여 출력하기까지 상기 음성입력부(110), 상기 제스처 입력부(120), 상기 음성 인식 및 이해부(130), 상기 제스처 인식 및 이해부(140) 및 상기 멀티모달 의미 통합부(150)를 거치는 상술한 일련의 과정이 복수 번 반복될 수 있다.
상기 홈 네트워크 장치 관리부(170)는 상기 멀티모달 제어명령 관리부(160)로부터 상기 제어명령을 전달받고, 홈 네트워크 장치에 상기 제어명령을 전달하며, 상기 홈 네트워크 장치로부터 상기 제어명령의 결과를 받아 이를 상기 멀티모달 제어명령 관리부(160)에 넘기는 장치이고, 상기 음성 입력부(110)와 마찬가지로 단독 형태의 장치, 상기 홈 네트워크 단말기의 일부 구성요소 또는 상기 홈 네트워크 제어 장치의 일부 구성요소가 될 수 있다.
상기 사용자 정보 전달부(180)는 상기 멀티모달 제어명령 관리부(160)로부터 상기 제어명령의 결과를 전달받고, 상기 제어명령의 결과를 사용자에게 전달하는 장치이며, 상기 음성 입력부(110)와 마찬가지로 단독 형태의 장치, 상기 홈 네트워크 단말기의 일부 구성요소 또는 상기 홈 네트워크 제어 장치의 일부 구성요소가 될 수 있다. 상기 사용자 정보 전달부(180)는 정보 전달 장치로서 디스플레이 장치, 스피커 등을 구비할 수 있다.
도 3은 본 발명의 일 실시예에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템에서 사용자의 동작에 대한 상기 홈 네트워크 제어 시스템의 반응을 나타내는 개념도이다.
도 3을 참조하면, 상기 도 2에서 설명된 사용자의 동작에 대하여 홈 네트워크 제어 시스템은 상기 “큰방의 조명을 끄기”에 해당하는 홈 네트워크 장치 제어명령을 수행하여 큰방의 조명을 차단한 뒤, “큰방의 조명을 껐습니다.”라는 음성을 합성하여 사용자에게 들려주거나, 홈 네트워크 단말기 등의 디스플레이 장치에서 큰방의 색을 검게 표현하여 큰방의 조명이 꺼져 있음을 나타낸다.
도 4는 본 발명의 다른 일 실시예에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 방법의 순서를 나타내는 흐름도이다.
도 4를 참조하면, 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 방법은 음성 및/또는 제스처 입력 단계(S210), 음성 및/또는 제스처 인식 단계(S220), 음성 및/또는 제스처 이해 단계(S230), 통합된 의미구조 생성 단계(S240), 제어명령 변환 단계(S250) 및 제어명령 전달 단계(S260)를 포함한다. 그리고 추가적 구성요소로서 제어명령 결과 수집 단계(S270), 제어명령 결과 전달 단계(S280) 또는 홈 네트워크 제어 종료 단계(S290) 중 적어도 하나를 포함할 수 있다.
구체적으로 상기 음성 및/또는 제스처 입력 단계(S210)는 마이크 등의 음성 입력 장치를 사용하여 사용자로부터 음성 입력을 받아 자연어 형태의 아날로그 및/또는 디지털 음성 신호로 변환하고, 터치스크린, 지자기 센서, 가속도 센서, 고도 센서, 자이로 센서 또는 카메라 등의 제스처 입력 장치를 사용하여 사용자로부터 제스처 입력을 받는 단계이다. 상기 음성 및/또는 제스처 입력 단계(S210)에서 사용자는 음성 및 제스처를 동시에 입력할 수 있다.
상기 음성 및/또는 제스처 인식 단계(S220)는 상기 자연어 형태의 음성 입력을 받아들여 문자열 등의 형태로 변환하여 음성을 인식하고, 상기 제스처 입력으로부터 홈 네트워크 제어 시스템이 동작하는 공간 내의 특정 지점 등의 형태로 제스처를 인식하는 단계이다.
상기 음성 및/또는 제스처 이해 단계(S230)는 상기 문자열 등의 형태로 인식된 음성을 미리 정형화되어 있는 형태의 의미구조로 변환하여 음성을 이해하고, 상기 홈 네트워크 제어 시스템이 동작하는 공간 내의 특정 지점 등의 형태로 인식된 제스처를 미리 정형화되어 있는 형태의 의미구조로 변환하여 제스처를 이해하는 단계이다.
상기 통합된 의미구조 생성 단계(S240)는 상기 음성 및/또는 제스처 이해 단계(S230)에서 변환된 사용자 음성의 의미구조와 사용자 제스처의 의미구조로부터 통합된 의미구조를 생성하는 단계이다. 이 부분은 상기 도 1에서 상기 멀티모달 의미 통합부(150)와 관련하여 상술한 바와 같다. 따라서 용이한 이해와 중복된 내용의 혼동을 회피하기 위해 설명은 생략키로 한다.
상기 제어명령 변환 단계(S250)는 상기 통합된 의미구조 생성 단계(S240)에서 생성된 상기 통합된 의미구조와, 필요한 경우 상기 통합된 의미구조 생성 단계(S240)에서 지금까지 생성되었던 통합된 의미구조를 추가로 함께 고려하여 제어 명령으로 변환하는 단계이다.
상기 제어명령 변환 단계(S250)는 상기 통합된 의미구조 생성 단계(S240)에서 생성된 상기 통합된 의미구조로부터 제어명령을 변환함에 있어 상기 통합된 의미구조 생성 단계(S240)에서 생성된 상기 통합된 의미구조 뿐만 아니라 상기 통합된 의미구조 생성 단계(S240)에서 지금까지 생성되었던 통합된 의미구조를 함께 고려하여 대용어 해소 등의 제어명령 변환 준비가 완료되었는지를 확인하는 과정을 포함할 수 있다.
상기 확인하는 과정을 포함하는 이유는 대용어 해소 등을 하여야 하는 경우 홈 네트워크 제어 시스템이 적합한 응답을 보이기 위해서는 사용자의 최근 마지막 입력으로는 부족한 경우가 있기 때문이다. 이 부분은 상기 도 1에서 상기 멀티모달 제어명령 관리부(160)와 관련하여 상술한 바와 같다. 따라서 용이한 이해와 중복된 내용의 혼동을 회피하기 위해 설명은 생략키로 한다.
상기 제어명령 변환 단계(S250)에서 제어명령의 변환 준비가 완료되었다고 판단되면 상기 제어명령 변환을 진행하고, 그렇지 않으면 다시 상기 음성 및/또는 제스처 입력 단계(S210)로 돌아가 사용자가 추가적으로 음성 및/또는 제스처를 입력하도록 한다.
상기 제어명령 전달 단계(S260)는 상기 제어명령 변환 단계(S250)에서 생성된 상기 제어명령을 홈 네트워크 장치에 전달하는 단계이다.
상기 제어명령 결과 수집 단계(S270)는 상기 홈 네트워크 장치로부터 상기 제어명령의 결과를 받는 단계이다.
상기 제어명령 결과 전달 단계(S280)는 상기 제어명령 결과 수집 단계(S270)에서 수집된 상기 제어명령의 결과를 사용자에게 전달하는 단계이다.
상기 홈 네트워크 제어 종료 단계(S290)는 사용자가 제어명령을 계속 할 것인지를 결정하는 단계로서, 제어명령을 계속 할 것으로 결정하였다면 다시 상기 음성 및/또는 제스처 입력 단계(S210)로 돌아가 사용자가 음성 및/또는 제스처를 입력하게 되고, 종료를 결정하였다면 홈 네트워크 제어는 종료되게 된다.
이상 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템을 이용하는 사용자의 동작을 나타내는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 시스템에서 사용자의 동작에 대한 상기 홈 네트워크 제어 시스템의 반응을 나타내는 개념도이다.
도 4는 본 발명의 다른 일 실시예에 따른 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어 방법의 순서를 나타내는 흐름도이다.
* 도면의 주요부분에 대한 부호의 설명 *
110 : 음성 입력부 120 : 제스처 입력부
130 : 음성 인식 및 이해부 140 : 제스처 인식 및 이해부
150 : 멀티모달 의미 통합부 160 : 멀티모달 제어명령 관리부
170 : 홈 네트워크 장치 관리부 180 : 사용자 정보 전달부

Claims (15)

  1. 사용자로부터 음성 입력을 받는 마이크를 포함한 음성 입력부;
    사용자로부터 제스처 입력을 받는 제스처 입력부;
    상기 음성 입력부로부터 입력된 음성 입력으로부터 음성을 인식하고, 인식된 음성을 미리 정형화되어 있는 형태의 의미구조로 변환하는 음성 인식 및 이해부;
    상기 제스처 입력부로부터 입력된 제스처 입력으로부터 제스처를 인식하고, 인식된 제스처를 미리 정형화되어 있는 형태의 의미구조로 변환하는 제스처 인식 및 이해부;
    상기 음성 인식 및 이해부로부터 전달되는 의미구조와 상기 제스처 인식 및 이해부로부터 전달되는 의미구조로부터 통합된 의미구조를 생성하는 멀티모달 의미 통합부;
    상기 멀티모달 의미 통합부로부터 전달되는 상기 통합된 의미구조를 제어명령으로 변환하는 멀티모달 제어명령 관리부 및
    상기 멀티모달 제어명령 관리부로부터 상기 제어명령을 전달받고, 홈 네트워크 장치에 상기 제어명령을 전달하는 홈 네트워크 장치 관리부를 구비하는 홈 네트워크 제어 시스템.
  2. 제1항에 있어서,
    상기 제스처 입력부는 사용자로부터 상기 제스처 입력으로서 펜 터치 입력을 받는 터치스크린을 포함하는 것을 특징으로 하는 홈 네트워크 제어 시스템.
  3. 제1항에 있어서,
    상기 제스처 입력부는 지자기 센서, 가속도 센서, 고도 센서 또는 자이로 센서 중 적어도 하나를 이용하여 상기 제스처 입력으로서 사용자의 움직임 및/또는 위치 정보입력을 받는 것을 특징으로 하는 홈 네트워크 제어 시스템.
  4. 제1항에 있어서,
    상기 제스처 입력부는 카메라를 이용하여 상기 제스처 입력으로서 사용자의 움직임 및/또는 위치 정보 입력을 받는 것을 특징으로 하는 홈 네트워크 제어 시스템.
  5. 제1항에 있어서,
    상기 제스처 인식 및 이해부는
    상기 제스처 입력부로부터 입력된 제스처 입력으로부터 제스처를 인식하는 제스처 인식부 및
    상기 인식된 제스처를 미리 정형화되어 있는 형태의 의미구조로 변환하는 제스처 이해부를 구비하는 것을 특징으로 하는 홈 네트워크 제어 시스템.
  6. 제1항에 있어서,
    상기 음성 인식 및 이해부는
    상기 음성 입력부로부터 입력된 음성 입력을 문자열로 변환하여 인식하는 음성 인식부 및
    상기 문자열로 변환하여 인식된 음성을 미리 정형화되어 있는 형태의 의미구조로 변환하는 음성 이해부를 구비하는 것을 특징으로 하는 홈 네트워크 제어 시스템.
  7. 제1항에 있어서,
    상기 멀티모달 제어명령 관리부는 상기 홈 네트워크 장치 관리부로부터 상기 제어명령의 결과를 전달 받는 것을 특징으로 하는 홈 네트워크 제어 시스템.
  8. 제7항에 있어서,
    상기 멀티모달 제어명령 관리부로부터 상기 제어명령의 결과를 전달받고, 상기 제어명령의 결과를 사용자에게 전달하는 사용자 정보 전달부를 추가로 구비하는 것을 특징으로 하는 홈 네트워크 제어 시스템.
  9. 제1항에 있어서,
    상기 멀티모달 제어명령 관리부는
    상기 멀티모달 의미 통합부로부터 전달되는 상기 통합된 의미구조를 상기 제어명령으로 변환함에 있어, 상기 멀티모달 의미 통합부가 이전에 생성한 통합된 의 미구조를 추가로 고려하는 것을 특징으로 하는 홈 네트워크 제어 시스템.
  10. 음성 및/또는 제스처를 입력하는 단계;
    상기 음성 입력 및/또는 상기 제스처 입력으로부터 음성 및/또는 제스처를 인식하는 단계;
    상기 음성 및/또는 제스처를 미리 정형화되어 있는 형태의 의미구조로 이해하는 단계;
    상기 이해된 음성 및/또는 제스처의 의미구조로부터 통합된 의미구조를 생성하는 단계;
    상기 통합된 의미구조를 제어명령으로 변환하는 단계 및
    상기 제어명령을 홈 네트워크 장치에 전달하는 단계를 포함하는 홈 네트워크 제어 방법.
  11. 제10항에 있어서,
    상기 음성 및/또는 제스처를 입력하는 단계는 음성 및 제스처의 동시 입력이 가능한 것을 특징으로 하는 홈 네트워크 제어 방법.
  12. 제10항에 있어서,
    상기 음성 입력 및/또는 상기 제스처 입력으로부터 음성 및/또는 제스처를 인식하는 단계는
    음성을 인식함에 있어서 상기 음성 입력을 문자열로 변환하는 것을 특징으로 하는 홈 네트워크 제어 방법.
  13. 제10항에 있어서,
    상기 홈 네트워크 장치로부터 상기 제어명령의 결과를 전달 받는 단계를 추가로 포함하는 것을 특징으로 하는 홈 네트워크 제어 방법.
  14. 제13항에 있어서,
    상기 제어명령의 결과를 사용자에게 전달하는 단계를 추가로 포함하는 것을 특징으로 하는 홈 네트워크 제어 방법.
  15. 제10항에 있어서,
    상기 통합된 의미구조를 제어명령으로 변환하는 단계는
    상기 이해된 음성 및/또는 제스처의 의미구조로부터 통합된 의미구조를 생성하는 단계를 통하여 이전에 생성된 통합된 의미구조를 추가로 고려하는 것을 특징으로 하는 홈 네트워크 제어 방법.
KR1020080010256A 2008-01-31 2008-01-31 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법 KR20090084212A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080010256A KR20090084212A (ko) 2008-01-31 2008-01-31 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080010256A KR20090084212A (ko) 2008-01-31 2008-01-31 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20090084212A true KR20090084212A (ko) 2009-08-05

Family

ID=41204799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080010256A KR20090084212A (ko) 2008-01-31 2008-01-31 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20090084212A (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945493A (zh) * 2010-09-14 2011-01-12 中兴通讯股份有限公司 一种家居智能网络系统、控制装置及方法
KR101030603B1 (ko) * 2009-12-03 2011-04-20 성균관대학교산학협력단 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법
WO2013005869A1 (en) * 2011-07-01 2013-01-10 Empire Technology Development Llc Adaptive user interface
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101305339B1 (ko) * 2011-11-14 2013-09-06 한국과학기술원 사용자 인터페이스를 제공하기 위한 네트워크 시스템
US9002714B2 (en) 2011-08-05 2015-04-07 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR20180080346A (ko) * 2010-08-06 2018-07-11 구글 엘엘씨 컨텍스트에 기초한 입력 명확화
WO2018190507A1 (ko) * 2017-04-14 2018-10-18 네이버 주식회사 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
WO2018212470A1 (ko) * 2017-05-19 2018-11-22 네이버 주식회사 음성요청에 대응하는 정보 제공을 위한 미디어 선택
WO2020045950A1 (en) * 2018-08-27 2020-03-05 Samsung Electronics Co., Ltd. Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
WO2020080753A1 (ko) * 2018-10-18 2020-04-23 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2020153818A1 (en) * 2019-01-23 2020-07-30 Samsung Electronics Co., Ltd. Method of controlling external electronic device and electronic device for supporting same
CN112099630A (zh) * 2020-09-11 2020-12-18 济南大学 一种多模态意图逆向主动融合的人机交互方法
KR20210132936A (ko) * 2020-04-28 2021-11-05 동명대학교산학협력단 인공지능 홈오토메이션 시스템
US11468123B2 (en) 2019-08-13 2022-10-11 Samsung Electronics Co., Ltd. Co-reference understanding electronic apparatus and controlling method thereof
US11531455B2 (en) 2018-10-18 2022-12-20 Samsung Electronics Co., Ltd. Electronic device and method of controlling electronic device
CN117807557A (zh) * 2024-01-10 2024-04-02 广州和兴机电科技有限公司 数控机床的多模态交互控制方法及系统
US12026666B2 (en) 2018-10-18 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and method of controlling electronic device

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101030603B1 (ko) * 2009-12-03 2011-04-20 성균관대학교산학협력단 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법
US10839805B2 (en) 2010-08-06 2020-11-17 Google Llc Disambiguating input based on context
KR20180080346A (ko) * 2010-08-06 2018-07-11 구글 엘엘씨 컨텍스트에 기초한 입력 명확화
CN101945493A (zh) * 2010-09-14 2011-01-12 中兴通讯股份有限公司 一种家居智能网络系统、控制装置及方法
WO2013005869A1 (en) * 2011-07-01 2013-01-10 Empire Technology Development Llc Adaptive user interface
US9002714B2 (en) 2011-08-05 2015-04-07 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US9733895B2 (en) 2011-08-05 2017-08-15 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
WO2013022221A3 (en) * 2011-08-05 2013-04-25 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101305339B1 (ko) * 2011-11-14 2013-09-06 한국과학기술원 사용자 인터페이스를 제공하기 위한 네트워크 시스템
WO2018190507A1 (ko) * 2017-04-14 2018-10-18 네이버 주식회사 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
US11004452B2 (en) 2017-04-14 2021-05-11 Naver Corporation Method and system for multimodal interaction with sound device connected to network
WO2018212470A1 (ko) * 2017-05-19 2018-11-22 네이버 주식회사 음성요청에 대응하는 정보 제공을 위한 미디어 선택
KR20180126946A (ko) * 2017-05-19 2018-11-28 네이버 주식회사 음성요청에 대응하는 정보 제공을 위한 미디어 선택
WO2020045950A1 (en) * 2018-08-27 2020-03-05 Samsung Electronics Co., Ltd. Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
US11514917B2 (en) 2018-08-27 2022-11-29 Samsung Electronics Co., Ltd. Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
WO2020080753A1 (ko) * 2018-10-18 2020-04-23 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11531455B2 (en) 2018-10-18 2022-12-20 Samsung Electronics Co., Ltd. Electronic device and method of controlling electronic device
US12026666B2 (en) 2018-10-18 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and method of controlling electronic device
WO2020153818A1 (en) * 2019-01-23 2020-07-30 Samsung Electronics Co., Ltd. Method of controlling external electronic device and electronic device for supporting same
US11128713B2 (en) 2019-01-23 2021-09-21 Samsung Electronics Co., Ltd. Method of controlling external electronic device and electronic device for supporting same
US11468123B2 (en) 2019-08-13 2022-10-11 Samsung Electronics Co., Ltd. Co-reference understanding electronic apparatus and controlling method thereof
KR20210132936A (ko) * 2020-04-28 2021-11-05 동명대학교산학협력단 인공지능 홈오토메이션 시스템
CN112099630A (zh) * 2020-09-11 2020-12-18 济南大学 一种多模态意图逆向主动融合的人机交互方法
CN112099630B (zh) * 2020-09-11 2024-04-05 济南大学 一种多模态意图逆向主动融合的人机交互方法
CN117807557A (zh) * 2024-01-10 2024-04-02 广州和兴机电科技有限公司 数控机床的多模态交互控制方法及系统

Similar Documents

Publication Publication Date Title
KR20090084212A (ko) 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법
CN111989741B (zh) 具有动态可切换端点的基于语音的用户接口
US10657963B2 (en) Method and system for processing user command to provide and adjust operation of electronic device by analyzing presentation of user speech
CN100498654C (zh) 一种利用自然语言设置和操作可控对象的方法和系统
EP3507798A1 (en) Processing voice commands based on device topology
KR100488206B1 (ko) 제어장치, 제어시스템 및 컴퓨터 프로그램 제품
TWI295024B (en) Remote control system capable of controlling an electronic device at different modes and method thereof
CN104620597A (zh) 控制与设备连接的外部装置的系统和方法
CN111869185A (zh) 生成基于IoT的通知并提供命令以致使客户端设备的自动助手客户端自动呈现基于IoT的通知
US11749271B2 (en) Method for controlling external device based on voice and electronic device thereof
CN111819553A (zh) 学习个性化意图的方法
JP2019040602A (ja) 人工知能機器における連続会話機能
Nath et al. Low-cost android app based voice operated room automation system
JP2010055375A (ja) 電子機器操作指示装置およびその操作方法
KR20200057501A (ko) 전자 장치 및 그의 와이파이 연결 방법
Maestre et al. Smart home interoperability: the DomoEsi project approach
JP5610283B2 (ja) 外部機器制御装置、その外部機器制御方法及びプログラム
KR20200042137A (ko) 변형 발화 텍스트를 제공하는 전자 장치 및 그것의 동작 방법
Ganji et al. Home Automation Using Voice and Gesture Control
EP4184309A1 (en) Display device
KR100534612B1 (ko) 분산 지능형 홈로봇 제어 시스템
CN114299939A (zh) 一种智能设备、智能家居的语音控制设备及控制方法
KR100645597B1 (ko) 로봇 리모컨 서비스 방법 및 장치
CN211321425U (zh) 投影机控制系统
CN110248229A (zh) 一种人机交互方法、系统及该系统的工作方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application