KR20090050501A

KR20090050501A - 홈네트워크에서의 멀티모달 인터페이스 시스템 및 방법

Info

Publication number: KR20090050501A
Application number: KR1020070116965A
Authority: KR
Inventors: 김신곤
Original assignee: 주식회사 르네코
Priority date: 2007-11-16
Filing date: 2007-11-16
Publication date: 2009-05-20

Abstract

본 발명은 홈네트워크에서의 멀티모달 인터페이스 시스템 및 방법에 관한 것으로, 보다 자세하게는 홈네트워크에서 다양한 형태의 입/출력이 가능한 멀티모달 인터페이스의 지원을 하기 위하여 각 컴포넌트의 API(Application Programming Interface)를 제공함으로써, 멀티모달 인터페이스를 이용하여 응용서비스를 제어할 수 있도록 하는 홈네트워크에서의 멀티모달 인터페이스 시스템 및 방법에 관한 것이다.

본 발명의 홈네트워크에서의 멀티모달 인터페이스 시스템 및 방법은 단말기로부터 데이터를 입력받고, 상기 데이터를 변환시켜 관리부로 전송하기 위한 입력부; 상기 입력부로부터 전송받은 데이터를 응용프로그램에 전송하고, 상기 응용프로그램으로부터 전송받은 결과데이터를 출력부로 전송하기 위한 관리부; 상기 관리부로부터 전송받은 결과데이터를 출력 모드를 결정하여 출력하고, 출력결과를 상기 관리부로 전송하기 위한 출력부; 상기 관리부의 제어에 따라 응용 프로그램에 대한 정보를 저장 및 검색하기 위한 저장부; 상기 단말기와 응용프로그램간의 세션이 끊어지지 않도록 하기 위한 세션부; 및 사용자의 선호도에 따라 상기 단말기에 해당하는 상기 출력 모드가 바뀔 수 있도록 환경을 제공하기 위한 환경설정부를 포함함에 기술적 특징이 있다.

홈네트워크, 멀티모달, 인터페이스

Description

홈네트워크에서의 멀티모달 인터페이스 시스템 및 방법{Multimodal interface System and method for home network}

기존의 그래픽 인터페이스에 음성 인터페이스를 추가한 형태의 멀티모달 인터페이스를 이용하여 사용자 편의에 따라 음성으로도 입/출력할 수 있도록 하는 기술이 개발된 상태이다. 즉, 터치스크린이 장착된 무선통신 단말기를 사용하여 이동하지 않을 경우에는 음성 인터페이스로 전환하여 음성으로 명령을 내리고 결과를 통보받을 수 있도록 한다. 물론, 입/출력 기능을 서로 다른 종류의 인터페이스를 통해 각각 수행할 수도 있다.

그러나, 종래의 멀티모달 인터페이스 시스템은 그 사용이 웹 브라우저에 제한되는 문제점이 있었다. 즉, 일반 시스템의 응용 프로그램에는 적용하기 어려운 문제점이 있었고, 입/출력 장치에 독립적인 프레임워크의 부재로 말미암아 각 인터페이스별로 시스템이 별대로 동작하는 문제점이 있었다.

또한, 종래의 홈네트워크 제어 시스템의 인터페이스 장치(Interfacing Module)는 멀티모달 인터페이스를 통해 입력받은 사용자의 질의 또는 센서 에이전트를 통해 입력받은 센서값(명령)를 홈네트워크 제어 시스템이 인식할 수 있도록 변환할 수는 있었으나, 홈네트워크 제어 시스템으로부터의 입력값에 대한 처리결과를 음성 또는 영상으로 출력할 수 없는 문제점이 있었다.

상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 각 컴포넌트의 API를 제공하여 멀티모달 인터페이스의 지원이 가능토록 하는 홈네트워크에서의 멀티모달 인터페이스 시스템을 제공함에 본 발명의 목적이 있다.

본 발명의 상기 목적은 단말기로부터 데이터를 입력받고, 상기 데이터를 변환시켜 관리부로 전송하기 위한 입력부; 상기 입력부로부터 전송받은 데이터를 응용프로그램에 전송하고, 상기 응용프로그램으로부터 전송받은 결과데이터를 출력부로 전송하기 위한 관리부; 상기 관리부로부터 전송받은 결과데이터를 출력 모드를 결정하여 출력하고, 출력결과를 상기 관리부로 전송하기 위한 출력부; 상기 관리부의 제어에 따라 응용 프로그램에 대한 정보를 저장 및 검색하기 위한 저장부; 상기 단말기와 응용프로그램간의 세션이 끊어지지 않도록 하기 위한 세션부; 및 사용자의 선호도에 따라 상기 단말기에 해당하는 상기 출력 모드가 바뀔 수 있도록 환경을 제공하기 위한 환경설정부를 포함하는 홈네트워크에서의 멀티모달 인터페이스 시스템에 의해 달성된다.

또한, 본 발명의 다른 목적은 관리부에서 입출력 장치를 확인하여 사용가능한 입출력 장치의 정보를 파악하는 제 1단계; 상기 입출력 장치로부터 데이터를 입력받고, 상기 데이터를 변환하여 관리부로 전송하는 제 2단계; 상기 관리부는 저장 부에 기저장되어 있는 응용 프로그램 관련 정보를 이용하여 이에 대응하는 응용프로그램에 상기 데이터를 전송하는 제 3단계; 상기 응용 프로그램은 상기 데이터를 처리하고, 그에 대응하는 결과데이터를 관리부에 전송하는 제 4단계; 상기 결과데이터가 출력이 필요할 경우, 출력부에서는 출력 모드를 결정하는 제 5단계; 및 상기 출력 모드가 결정되면 상기 결과데이터를 출력하는 제 6단계를 포함하는 홈네트워크에서의 멀티모달 인터페이스 방법에 의해 달성된다.

또한, 본 발명의 상기 입력부는 상기 단말기로부터 입력받은 데이터를 텍스트로 변환시키는 인식모듈; 상기 인식모듈에서 변환시킨 텍스트를 EMMA로 변환시키는 해석모듈; 및 상기 해석모듈에서 변환된 데이터를 통합하여 상기 관리부로 전송하는 통합모듈로 구성됨이 바람직하다.

또한, 본 발명의 상기 출력부는 상기 관리부로부터 전송받은 결과데이터에 해당하는 출력 모드를 결정하기 위한 생성 모듈; 상기 결과데이터를 표현하는 정보를 추가하기 위한 스타일 모듈; 및 상기 스타일 모듈에서 전송받은 결과데이터를 출력하기 위한 렌더링 모듈로 구성됨이 바람직하다.

또한, 본 발명의 상기 저장부는 상기 응용 프로그램에 대한 초기 실행 명령어, 실행파일 위치정보와 같은 정보를 저장하는 것으로 이루어짐이 바람직하다.

또한, 본 발명의 제 5단계에서 상기 결과데이터의 출력이 필요하지 않을 경우에는 진행을 종료시키도록 하는 것으로 구성됨이 바람직하다.

따라서, 본 발명의 홈네트워크에서의 멀티모달 인터페이스 시스템 및 방법은 각 컴포넌트의 API를 제공함으로써 홈네트워크에서 다양한 형태의 입/출력이 가능한 멀티모달 인터페이스를 지원할 수 있는 장점이 있고, 멀티모달 인터페이스를 이용하여 응용서비스를 제어할 수 있는 효과가 있다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 홈네트워크에서의 멀티모달 인터페이스 시스템의 구성도이다. 도 1을 참조하면, 입력부(110), 관리부(120), 응용프로그램(130), 세션부(140), 환경설정부(150), 저장부(160), 출력부(170)로 구성되며, 입력부(110)는 인식모듈(112), 해석모듈(114), 통합모듈(116)을 포함하고, 출력 부(170)는 생성모듈(172), 스타일모듈(174), 렌더링모듈(176)로 구성된다.

입력부(110)의 인식모듈(112)은 음성, 필기체, 키보드 또는 그래픽이 입력되는 곳으로, 음성이 입력되면 인식 모듈(112)에서는 음향, 언어, 문법 등의 정보를 이용하여 텍스트로 변환시킨다. 또한, 필기체로 입력되면 필기체 모형, 언어, 문법 등의 정보를 이용하여 텍스트로 변환시키고, 포인팅 디바이스가 입력되면 버튼을 누르는 순간 x-y좌표를 읽어서 텍스트로 변환시킨다.

해석모듈(114)은 인식모듈(112)에서 변환시킨 텍스트를 동일한 표현의 텍스트로 해석하여 변환시키는 것으로, 예를 들어 "응", "그래" 등의 내용을 "네"로 변환시키도록 한다. 또한, 해석모듈(114)에서 변환시킨 텍스트의 결과는 EMMA로 변환되어 통합모듈(116)로 전송된다.

상기 EMMA는 Extensible Multimodal Annotation Markup Language로써, 입력부(110)와 관리부(120)를 연결해 주는 표준 언어이며, 입력시간, 인식결과에 대한 신뢰값, 다양한 입력 종류가 표현될 수 있도록 해주는 메타 정보가 표현되도록 해준다.

통합모듈(116)은 해석모듈(114)에서 변환시킨 데이터를 통합하여 관리부(120)로 전송하는 것으로, 예를 들어, 포인팅 디바이스로 가르키면서 음성으로 "여기에 저장해"라고 한다면, 포인팅 디바이스의 가리키는 부분은 좌표축으로 변환시키고, 음성은 독립적으로 해석하고 통합하여 관리부(120)에서 해석될 수 있도록 한다.

관리부(120)는 통합모듈(116)로부터 전송받은 데이터를 이용하여 응용 프로 그램(130)을 실행하도록 하며, 응용 프로그램(130)에서 실행한 결과데이터를 출력부(170)에 전송하도록 한다.

세션부(140)는 다양한 단말기가 사용되더라도 이에 대한 세션이 끊기지 않도록 하여 멀티모달 응용 프로그램(130)과의 지속적인 연결을 유지할 수 있도록 해준다. 환경설정부(150)는 단말기의 변화에 따라 출력 모드를 쉽게 바꿀 수 있도록 환경을 구성해주도록 하며, 단말기가 선정되고 사용자 선호에 따라 자동으로 단말기가 변환되도록 시스템 환경을 만들어주도록 한다.

저장부(160)는 멀티모달을 지원하는 각 응용 프로그램에 대한 초기 실행 명령어, 실행파일 위치 정보 등의 정보를 저장한다. 즉, 관리부(120)의 요청에 따라 응용 프로그램에 대한 정보를 저장하거나, 내부 정보를 검색하여 관리부(120)로 전송하도록 한다.

출력부(170)는 응용 프로그램(130)에서 실행된 결과데이터를 관리부(120)로부터 전송받아 출력하고, 출력결과를 관리부(120)에 전송함으로써, 관리부(120)에서 출력 여부를 확인할 수 있도록 한다. 출력부(170)의 생성모듈(172)은 관리부(120)로부터 결과데이터가 입력되면 어떤 모드로 출력할 것인지를 결정하게 되며, 상기 모드는 음성, 그래픽 등을 뜻한다. 출력 모드가 하나로 결정되었으나, 결정된 모드의 출력이 불가능할 경우, 다른 모드로 출력할 수 있도록 한다.

스타일 모듈(174)은 생성모듈(172)에 의해 출력 모드가 결정되었으면, 그 정보를 표현하는 것에 대한 정보를 추가하는 것으로, 그래픽 모드일 경우, 화면의 위치에 대한 정보를 추가한다. 음성 모드일 경우에는 단어와 단어 사이의 간격에 대 한 정보가 추가되는 것을 뜻한다. 음성 출력을 제어하기 위해서 CSS(Cascading Style Sheet)가 사용되고, 출력은 SSML(Speech Synthesis Markup Language)로 표현되며, 그래픽은 XHTML(eXtensible Hyper Text Markup Language)가 사용되는 것이 바람직하나, 이에 한정하지 않도록 한다.

렌더링 모듈(176)은 스타일 모듈(174)로부터 전송받은 데이터를 출력하는 것으로, 음성이 출력되거나 화면에 그래픽이 나타나도록 그림을 그리도록 함으로써, 입력받은 데이터의 대응되는 결과물을 출력한다.

도 2는 본 발명의 실시예에 따른 홈네트워크에서의 멀티모달 인터페이스 방법의 순서도이다. 도 2를 참조하면, 관리부에서는 입출력 장치를 확인하여 사용 가능한 입출력 장치에 대한 정보를 파악하고(S210), 입력부는 상기 입출력 장치로부터 데이터를 입력받는다(S220).

입력받은 상기 데이터를 입력부에서는 변환시키는 것으로(S230), 인식모듈에서 입력된 데이터를 텍스트로 변환시키고, 해석모듈에서 의미가 같은 텍스트를 동일한 단어의 텍스트로 변환하여 이를 통합하는 통합모듈에서 관리부로 변환시킨 데이터를 전송한다(S240).

관리부는 저장부에 기저장되어 있는 응용 프로그램 관련 정보를 이용해 상기 입력부로부터 전송받은 데이터에 해당하는 응용 프로그램에 전송한다(S250). 응용프로그램에서는 관리자를 통해 전송받은 데이터를 처리하고, 대응되는 결과데이터를 관리부에 전송하도록 한다(S260). 이에, 응용 프로그램에서는 관리부를 통해 전송받은 데이터를 처리하고, 결과데이터에 대해 출력이 필요한 경우에는 이에 대응 되는 출력 요구를 관리부에 하도록 한다(S270).

결과데이터의 출력요구가 없을 경우, 처리과정이 종료되며, 결과데이터의 출력요구가 있는 경우, 관리부에서는 대응되는 결과데이터를 출력부로 전송하고, 출력부에서 출력 모드를 결정하며(S280), 결정된 출력 모드를 통하여 결과데이터를 출력한다(S290). 상기 출력 모드는 음성, 그래픽 등을 포함하도록 한다.

본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.

도 1은 본 발명의 실시예에 따른 홈네트워크에서의 멀티모달 인터페이스 시스템의 구성도,

도 2는 본 발명의 실시예에 따른 홈네트워크에서의 멀티모달 인터페이스 방법의 순서도이다.

<도면의 주요 부분에 대한 부호의 설명>

110 : 입력부 120 : 관리부

130 : 응용 프로그램 140 : 세션부

150 : 환경설정부 160 : 저장부

170 : 출력부

Claims

홈네트워크에서의 멀티모달 인터페이스 시스템에 있어서,

단말기로부터 데이터를 입력받고, 상기 데이터를 변환시켜 관리부로 전송하기 위한 입력부;

상기 입력부로부터 전송받은 데이터를 응용프로그램에 전송하고, 상기 응용프로그램으로부터 전송받은 결과데이터를 출력부로 전송하기 위한 관리부;

상기 관리부로부터 전송받은 결과데이터를 출력 모드를 결정하여 출력하고, 출력결과를 상기 관리부로 전송하기 위한 출력부;

상기 관리부의 제어에 따라 응용 프로그램에 대한 정보를 저장 및 검색하기 위한 저장부;

상기 단말기와 응용프로그램간의 세션이 끊어지지 않도록 하기 위한 세션부; 및

사용자의 선호도에 따라 상기 단말기에 해당하는 상기 출력 모드가 바뀔 수 있도록 환경을 제공하기 위한 환경설정부

를 포함하는 홈네트워크에서의 멀티모달 인터페이스 시스템.
제 1항에 있어서, 상기 입력부는,

상기 단말기로부터 입력받은 데이터를 텍스트로 변환시키는 인식모듈;

상기 인식모듈에서 변환시킨 텍스트를 EMMA로 변환시키는 해석모듈; 및

상기 해석모듈에서 변환된 데이터를 통합하여 상기 관리부로 전송하는 통합모듈

을 포함하는 홈네트워크에서의 멀티모듈 인터페이스 시스템.
제 1항에 있어서, 상기 출력부는,

상기 관리부로부터 전송받은 결과데이터에 해당하는 출력 모드를 결정하기 위한 생성 모듈;

상기 결과데이터를 표현하는 정보를 추가하기 위한 스타일 모듈; 및

상기 스타일 모듈에서 전송받은 결과데이터를 출력하기 위한 렌더링 모듈

을 포함하는 홈네트워크에서의 멀티모달 인터페이스 시스템.
제 1항에 있어서,

상기 저장부는 상기 응용 프로그램에 대한 초기 실행 명령어, 실행파일 위치정보와 같은 정보를 저장하는 홈네트워크에서의 멀티모달 인터페이스 시스템.
홈네트워크에서의 멀티모달 인터페이스 방법에 있어서,

관리부에서 입출력 장치를 확인하여 사용가능한 입출력 장치의 정보를 파악하는 제 1단계;

상기 입출력 장치로부터 데이터를 입력받고, 상기 데이터를 변환하여 관리부로 전송하는 제 2단계;

상기 관리부는 저장부에 기저장되어 있는 응용 프로그램 관련 정보를 이용하여 이에 대응하는 응용프로그램에 상기 데이터를 전송하는 제 3단계;

상기 응용 프로그램은 상기 데이터를 처리하고, 그에 대응하는 결과데이터를 관리부에 전송하는 제 4단계;

상기 결과데이터가 출력이 필요할 경우, 출력부에서는 출력 모드를 결정하는 제 5단계; 및

상기 출력 모드가 결정되면 상기 결과데이터를 출력하는 제 6단계

를 포함하는 홈네트워크에서의 멀티모달 인터페이스 방법.
제 5항에 있어서,

상기 제 5단계에서 상기 결과데이터의 출력이 필요하지 않을 경우에는 진행을 종료시키도록 하는 홈네트워크에서의 멀티모달 인터페이스 방법.