KR100873470B1 - Multi-modal interface system - Google Patents

Multi-modal interface system Download PDF

Info

Publication number
KR100873470B1
KR100873470B1 KR1020060078901A KR20060078901A KR100873470B1 KR 100873470 B1 KR100873470 B1 KR 100873470B1 KR 1020060078901 A KR1020060078901 A KR 1020060078901A KR 20060078901 A KR20060078901 A KR 20060078901A KR 100873470 B1 KR100873470 B1 KR 100873470B1
Authority
KR
South Korea
Prior art keywords
output
input
application program
modal
interface
Prior art date
Application number
KR1020060078901A
Other languages
Korean (ko)
Other versions
KR20070061272A (en
Inventor
최은정
이동우
이용희
박준석
한동원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20070061272A publication Critical patent/KR20070061272A/en
Application granted granted Critical
Publication of KR100873470B1 publication Critical patent/KR100873470B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은 멀티모달 인터페이스 시스템에 관한 것임.The present invention relates to a multimodal interface system.

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은 다양한 형태의 입/출력이 가능한 사용자 인터페이스를 지원하기 위해 멀티모달 인터페이스 프레임워크를 통해 입/출력 장치 및 응용 프로그램에 독립적인 멀티모달 인터페이스를 제공하기 위한, 멀티모달 인터페이스 시스템을 제공하는데 그 목적이 있음.The present invention provides a multimodal interface system for providing an independent multimodal interface to an input / output device and an application program through a multimodal interface framework to support various types of input / output user interfaces. There is a purpose.

3. 발명의 해결방법의 요지3. Summary of Solution to Invention

본 발명은, 다수의 이기종 입력 장치 및 다수의 이기종 출력 장치를 구비한 시스템에 있어서, 상기 다수의 이기종 입력 장치 중에서 적어도 어느 하나의 입력 장치로부터 입력받은 입력데이터에 대해 멀티모달 관리수단으로부터의 제어에 따라 외부의 해당 인식장치를 통해 상기 입력데이터에 상응하는 인식결과를 획득해 상기 멀티모달 관리수단을 통해 응용 프로그램측으로 전달하기 위한 입력분석수단; 상기 응용 프로그램측으로부터 출력받은 출력데이터에 대해 멀티모달 관리수단으로부터의 제어에 따라 외부의 해당 출력변환장치를 통해 상기 출력데이터에 상응하는 변환결과를 획득해 상기 다수의 이기종 출력 장치 중에서 적어도 어느 하나의 출력 장치로 전달하기 위한 출력설계수단; 및 상기 응용 프로그램의 입력인터페이스에 따라 상기 입력분석수단을 제어해 외부의 해당 인식장치를 통해 상기 입력데이터에 상응하는 인식결과를 획득하도록 하고, 상기 다수의 이기종 출력 장치의 각 출력인터페이스에 따라 상기 출력설계수단을 제어해 외부의 해당 출력변환장치를 통해 상기 출력데이터에 상응하는 변환결과를 획득하도록 하기 위한 상기 멀티모달 관리수단을 포함함.The present invention is directed to a system having a plurality of heterogeneous input devices and a plurality of heterogeneous output devices, wherein the input data received from at least one of the plurality of heterogeneous input devices is controlled from a multi-modal management means. Input analysis means for acquiring a recognition result corresponding to the input data through an external corresponding recognition device and delivering the recognition result to an application program through the multi-modal management means; At least one of the plurality of heterogeneous output devices by acquiring a conversion result corresponding to the output data through an external corresponding output conversion device under control of the multi-modal management means for the output data output from the application program side. Output design means for delivering to the output device; And controlling the input analyzing means according to an input interface of the application program to obtain a recognition result corresponding to the input data through a corresponding external recognition device, and outputting the output data according to each output interface of the plurality of heterogeneous output devices. And multimodal management means for controlling a design means to obtain a conversion result corresponding to the output data through an external corresponding output conversion device.

4. 발명의 중요한 용도4. Important uses of the invention

본 발명은 멀티모달 인터페이스 시스템 등에 이용됨.The present invention is used for a multimodal interface system.

Description

멀티모달 인터페이스 시스템{System for multimodal interface}System for multimodal interface

도 1은 본 발명에 따른 멀티모달 인터페이스 시스템의 일실시예 구성도.1 is a block diagram of an embodiment of a multi-modal interface system according to the present invention.

도 2는 본 발명에 따른 멀티모달 인터페이스 시스템에서 제공하는 멀티모달 인터페이스 프레임워크 스택에 대한 일실시예 설명도.2 is a diagram illustrating an embodiment of a multi-modal interface framework stack provided by a multi-modal interface system according to the present invention.

도 3은 본 발명에 따른 멀티모달 인터페이스 시스템의 다른 실시예 구성도.3 is another embodiment configuration diagram of a multi-modal interface system according to the present invention.

도 4는 본 발명에 따른 멀티모달 인터페이스 시스템에 있어 입출력 데이터 처리 동작을 보여주는 일실시예 순서도.4 is a flowchart illustrating an input / output data processing operation in a multi-modal interface system according to the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

10 : 멀티모달 에이전트 11 : 멀티모달 관리자10: multimodal agent 11: multimodal manager

12 : 입력분석기 13 : 출력설계기12: input analyzer 13: output designer

14 : 응용정보저장소 20 : 인식기14: Application Information Repository 20: Recognizer

21 : 음성인식기 22 : 제스처 인식기21: speech recognizer 22: gesture recognizer

23 : 햅틱 인식기 30 : 출력변환기23: haptic recognizer 30: output converter

31 : 음성합성기 32 : 햅틱 출력기31: speech synthesizer 32: haptic output

본 발명은 멀티모달 인터페이스 시스템에 관한 것으로, 더욱 상세하게는 다양한 형태의 입/출력이 가능한 사용자 인터페이스를 지원하기 위해 멀티모달 인터페이스 프레임워크를 통해 입/출력 장치 및 응용 프로그램에 독립적인 멀티모달 인터페이스를 제공하기 위한, 멀티모달 인터페이스 시스템에 관한 것이다.The present invention relates to a multi-modal interface system, and more particularly to a multi-modal interface independent of input / output devices and applications through a multi-modal interface framework to support a user interface capable of various types of input / output. To provide a multi-modal interface system.

본 발명에서 휴대용 단말기란 웨어러블 컴퓨터, 무선통신 단말기, 휴대용 멀티미디어 플레이어 등과 같이 개인이 휴대하면서 컴퓨팅 기능이 가능한 단말기를 말한다.In the present invention, the portable terminal refers to a terminal capable of carrying a computing function while being carried by an individual such as a wearable computer, a wireless communication terminal, a portable multimedia player, and the like.

그리고, 본 발명에서 무선통신 단말기란 이동통신 단말기, 개인휴대통신 단말기(PCS), 개인용디지털 단말기(PDA), 스마트폰, 차세대이동통신 단말기(IMT-2000), 무선랜 단말기 등과 같이 무선통신이 가능한 단말기를 말한다.In addition, in the present invention, the wireless communication terminal is capable of wireless communication such as a mobile communication terminal, a personal mobile communication terminal (PCS), a personal digital terminal (PDA), a smartphone, a next generation mobile communication terminal (IMT-2000), a wireless LAN terminal, and the like. Speak terminal.

종래 컴퓨터 시스템의 사용자 인터페이스는 키보드, 마우스, 모니터 등을 이용한 그래픽 인터페이스가 주류를 이루었다. The user interface of a conventional computer system has become a mainstream graphical interface using a keyboard, a mouse, a monitor, and the like.

최근 들어 휴대용 컴퓨터의 사용이 대중화되면서 두 손이 자유로운 상태에서 입력과 출력을 수행할 수 있도록 하는 사용자 인터페이스, 즉 다양한 종류의 장치를 이용한 입/출력 인터페이스에 대한 기술 개발이 활발히 진행되고 있다. Recently, as the use of a portable computer is popularized, technology development for a user interface, that is, an input / output interface using various kinds of devices, which allows input and output to be performed freely with two hands is being actively progressed.

예를 들면, 기존의 그래픽 인터페이스(예 : 터치스크린)에 음성 인터페이스 를 추가한 형태의 멀티모달 인터페이스를 이용하여 사용자 편의에 따라 음성으로도 입/출력할 수 있도록 하는 기술이 개발된 상태이다. 즉, 터치스크린이 장착된 무선통신 단말기를 사용하여 이동하지 않을 경우에는 터치스크린 방식으로 입/출력을 수행하고(펜으로 입력하고 화면으로 출력), 이동중일 경우에는 음성 인터페이스로 전환하여 음성으로 명령을 내리고 결과를 통보받을 수 있도록 한다. 물론, 입/출력 기능을 서로 다른 종류의 인터페이스를 통해 각각 수행(일예로, 음성으로 입력하고 화면을 통해 출력)할 수도 있다.For example, a technology has been developed to enable input / output with voice according to user convenience by using a multi-modal interface in which a voice interface is added to an existing graphic interface (eg, a touch screen). In other words, when not moving using a wireless communication terminal equipped with a touch screen, input / output is performed using a touch screen method (entering with a pen and outputting to a screen). Have them come down and be notified of the results. Of course, the input / output function may be performed through different types of interfaces (for example, voice input and output through a screen).

그런데, 상기에서 설명한 바와 같은 종래의 멀티모달 인터페이스 시스템은 그 사용이 웹 브라우저에 제한되는 문제점이 있었다. 즉, 일반 시스템의 응용 프로그램(예 : 일정관리 프로그램)에는 적용하기 어려운 문제점이 있었다. 또한, 입/출력 장치에 독립적인 프레임워크의 부재로 말미암아 각 인터페이스(그래픽 인터페이스, 음성 인터페이스 등)별로 시스템이 별개로 동작하는 문제점이 있었다.However, the conventional multimodal interface system as described above has a problem that its use is limited to a web browser. That is, there is a problem that is difficult to apply to the application of general system (eg, calendar program). In addition, there is a problem that the system operates separately for each interface (graphic interface, voice interface, etc.) due to the absence of a framework independent of the input / output device.

한편, 종래의 멀티모달 인터페이스 시스템에 대하여 예를 들어 살펴보면 다음과 같다.Meanwhile, the conventional multimodal interface system will be described as follows.

대한민국 공개특허 "유무선 기반의 음성 인터페이스를 이용한 멀티모달 시스템 및 이를 수행하는 방법(공개번호 10-2005-0039826)"에 대하여 살펴보면, 무선 인터넷을 사용하는 모든 단말기(예 : PDA, 휴대폰)에서 원하는 정보의 검색을 위해 키패드의 입력이나 터치패드를 이용하던 단일 인터페이스를 뛰어넘어 다중의 인터페이스를 이용해 사용자의 입력 방법이나 단말기의 출력 방법을 개선함으로써, 사용성을 향상시키기 위한 시스템을 개시하고 있다. 이때, 음성망과 데이터망을 개별 적으로 연결하지 않고 단일 데이터망을 통해 모든 인터페이스를 수용하여 음성과 텍스트를 이용해 원하는 정보를 요청할 수 있도록 한다. 또한, 기존의 코드분할다중접속(Code Division Multiple Access), 확산대역 코드분할다중접속(Wideband Code Division Multiple Access) 뿐만 아니라 와이브로 및 하향고속화패킷접속방식(High Speed Downlink Packet Access)을 통한 전송방식에도 적용되어 더욱 빠른 속도로 데이터를 송/수신할 수 있도록 한다(그에 따라, 데이터 이용료가 저렴해진다).Republic of Korea Patent Publication "Multi-modal system using a wired and wireless based voice interface and a method for performing the same (Publication No. 10-2005-0039826)", look at the desired information in all terminals (eg PDA, mobile phone) using the wireless Internet A system for improving usability is disclosed by improving a user's input method or a terminal output method using multiple interfaces beyond a single interface that uses a keypad input or a touch pad for searching. In this case, it is possible to request all the information using voice and text by accommodating all interfaces through a single data network without separately connecting the voice network and the data network. In addition, the present invention is applied to transmission schemes using WiBro and High Speed Downlink Packet Access as well as existing Code Division Multiple Access and Spreadband Code Division Multiple Access. This allows data to be transmitted / received at a higher rate (thus lowering data usage costs).

그런데, 상기 종래 기술의 경우 음성으로 입력받은 사용자 정보를 유/무선 네트워크를 통해 멀티모달 서버측에 전송하여 서버의 자원을 활용해 인식, 처리하도록 한 후 그 결과를 획득하는 방식으로 동작하므로, 유/무선 네트워크가 멀티모달 인터페이스 시스템의 제공에 필수적인 요소가 되는 문제점이 있었다. 즉, 멀티모달 인터페이스 시스템 자체적으로 멀티모달 인터페이스를 제공할 수 없는 문제점이 있었다.However, in the conventional technology, since the user information received by voice is transmitted to a multi-modal server through a wired / wireless network, the server is operated in a manner of recognizing and processing the resources of the server and then obtaining the result. There has been a problem that a wireless network is an essential element for providing a multimodal interface system. That is, there is a problem in that the multimodal interface system itself cannot provide a multimodal interface.

한편, 상기와 같은 종래 기술에 있어 하나의 기기에 대한 입출력 장치가 고정되어 있는데, 이는 다양한 입출력 장치에 대한 동시 처리를 제공하지 못할 뿐더러 하나의 입력에 대한 해당 수행 결과를 그 즉시 출력하지 못하고 있으며, 특히 서로 다른 종류의 입력 장치들의 동시 입력에 대해 해당 입력 장치에 대응되는 출력 장치에서만 그 결과를 각각 출력하고 있는 형편이다. 예컨대, 상기와 같은 종래 기술에서는 서로 다른 종류의 입력 장치들의 동시 입력에 대해 융합시켜 해당 결과를 적절한 출력 장치로 출력해 주는 기능을 지원하지 못하는 문제점이 있다.Meanwhile, in the conventional technology as described above, an input / output device for a single device is fixed, which does not provide simultaneous processing for various input / output devices and does not immediately output a corresponding execution result for one input. In particular, the results of the simultaneous input of different types of input devices are outputted only at the output device corresponding to the corresponding input device. For example, in the above-described conventional technology, there is a problem in that a function of fusing simultaneous input of different types of input devices and outputting a corresponding result to an appropriate output device is not supported.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 다양한 종류의 장치를 통해 입/출력할 수 있도록 하기 위하여 라이브러리 형태의 각 컴포넌트 API(Application Programming Interface), 즉 멀티모달 인터페이스 프레임워크를 통해 입/출력 장치 및 응용 프로그램(외부 네트워크)에 독립적인 멀티모달 인터페이스를 제공하기 위한, 멀티모달 인터페이스 시스템을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and input / output through each component API (Application Programming Interface), that is, a multi-modal interface framework, in order to enable input / output through various kinds of devices. An object of the present invention is to provide a multimodal interface system for providing an independent multimodal interface to a device and an application program (external network).

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명은, 다수의 이기종 입력 장치 및 다수의 이기종 출력 장치를 구비한 시스템에 있어서, 상기 다수의 이기종 입력 장치 중에서 적어도 어느 하나의 입력 장치로부터 입력받은 입력데이터에 대해 멀티모달 관리수단으로부터의 제어에 따라 외부의 해당 인식장치를 통해 상기 입력데이터에 상응하는 인식결과를 획득해 상기 멀티모달 관리수단을 통해 응용 프로그램측으로 전달하기 위한 입력분석수단; 상기 응용 프로그램측으로부터 출력받은 출력데이터에 대해 멀티모달 관리수단으로부터의 제어에 따라 외부의 해당 출력변환장치를 통해 상기 출력데이터에 상응하는 변환결과를 획득해 상기 다수의 이기종 출력 장치 중에서 적어도 어느 하나의 출력 장치로 전달하기 위한 출력설계수단; 및 상기 응용 프로그램의 입력인터페이스에 따라 상기 입력분석수단을 제어해 외부의 해당 인식장치를 통해 상기 입력데이터에 상응하는 인식결과를 획득하도록 하고, 상기 다수의 이기종 출력 장치의 각 출력인터페이스에 따라 상기 출력설계수단을 제어해 외부의 해당 출력변환장치를 통해 상기 출력데이터에 상응하는 변환결과를 획득하도록 하기 위한 상기 멀티모달 관리수단을 포함한다.
또한, 상기 본 발명은, 상기 응용 프로그램의 입력인터페이스에 관한 정보 및 상기 응용 프로그램의 출력인터페이스에 관한 정보를 저장하는 응용정보저장수단을 더 포함하되, 상기 멀티모달 관리수단은, 상기 응용 프로그램의 입력인터페이스에 관한 정보 및 상기 응용 프로그램의 출력인터페이스에 관한 정보를 토대로 상기 응용 프로그램으로 전달할 입력데이터에 대한 인식 제어 및 상기 응용 프로그램으로부터 전달받은 출력데이터에 대한 변환 제어를 수행하는 것을 특징으로 한다.The present invention for achieving the above object, in a system having a plurality of heterogeneous input device and a plurality of heterogeneous output device, multi-modal to the input data received from at least one input device of the plurality of heterogeneous input device Input analysis means for acquiring a recognition result corresponding to the input data through a corresponding external recognition device according to control from a management means and transferring the recognition result to an application program through the multi-modal management means; At least one of the plurality of heterogeneous output devices by acquiring a conversion result corresponding to the output data through an external corresponding output conversion device under control of the multi-modal management means for the output data output from the application program side. Output design means for delivering to the output device; And controlling the input analyzing means according to an input interface of the application program to obtain a recognition result corresponding to the input data through a corresponding external recognition device, and outputting the output data according to each output interface of the plurality of heterogeneous output devices. And multimodal management means for controlling a design means to obtain a conversion result corresponding to the output data through an external corresponding output conversion device.
The present invention may further include application information storage means for storing information about an input interface of the application program and information about an output interface of the application program, wherein the multi-modal management means includes: input of the application program; Based on the information on the interface and the information on the output interface of the application program, it is characterized in that the recognition control on the input data to be delivered to the application program and the conversion control on the output data received from the application program.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 멀티모달 인터페이스 시스템의 일실시예 구성도이다.1 is a block diagram of an embodiment of a multi-modal interface system according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 멀티모달 인터페이스 시스템은, 응용 프로그램으로부터 넘겨받은 입/출력 정보를 각각 입력분석기(12)와 출력설계기(13)로 전달하고, 그 결과를 각각 전달받음에 따라 상기 응용 프로그램으로 회신하기 위한 멀티모달 관리자(11), 상기 멀티모달 관리자(11)로부터 전달받는 동작제어 정보(인식 시작/종료 등) 및 인식제어 정보(인식에 필요한 문법 등)를 바탕으로 하여 사용자 입력(입력 정보임)을 해당 인식기(20)로 전달하고, 상기 인식기(20)로부터 인식 결과를 전달받음에 따라 일정 데이터 포맷으로 변환하여 멀티모달 관리 자(11)로 전달하기 위한 입력분석기(12), 멀티모달 관리자(11)로부터 출력정보를 넘겨받아 출력변환기(30)로 전달하고 그 결과를 회신받아 출력 장치(도시되지 않음)를 통해 출력하며 상기 출력 결과를 멀티모달 관리자(11)로 회신하기 위한 출력설계기(13), 및 멀티모달 인터페이스 프레임워크를 지원하는 응용 프로그램에 대한 정보(예 : 초기 실행 명령어, 실행파일 위치정보)를 저장하기 위한 응용정보저장소(14)를 포함한다.As shown in FIG. 1, the multi-modal interface system according to the present invention transmits input / output information received from an application program to the input analyzer 12 and the output designer 13, respectively, and delivers the results. Based on the multi-modal manager 11, the operation control information (recognition start / end, etc.) and the recognition control information (grammar required for recognition, etc.) received from the multi-modal manager 11 for returning to the application program as received. In order to transfer the user input (which is input information) to the corresponding recognizer 20 and convert the result of the recognition from the recognizer 20 into a predetermined data format and deliver it to the multimodal manager 11. It receives the output information from the analyzer 12, the multi-modal manager 11 and transfers it to the output converter 30, and receives the result and outputs it through an output device (not shown) and outputs the output. An output designer 13 for returning a section to the multimodal manager 11, and an application for storing information (e.g., initial execution command, executable file location information) for an application supporting the multimodal interface framework. An information storage 14 is included.

도 1에 추가적으로 점선으로 도시화된 그래픽 유저 인터페이스(71a, 71b)는 본 발명에서 제시하는 멀티모달 인터페이스 시스템에 있어 기존의 GUI 시스템과의 연동을 보여주기 위함이다. 예컨대, 이러한 GUI 시스템과의 연동을 고려한 멀티모달 인터페이스 시스템에서는 이 그래픽 유저 인터페이스(71a, 71b)를 통해 키보드, 마우스, 펜 등의 입출력을 처리한다.The graphical user interfaces 71a and 71b illustrated in dashed lines in addition to FIG. 1 are intended to show the interworking with the existing GUI system in the multi-modal interface system proposed by the present invention. For example, in the multi-modal interface system considering the linkage with the GUI system, input / output of a keyboard, a mouse, a pen, and the like are processed through the graphic user interfaces 71a and 71b.

한편, 본 발명에서 제시하는 멀티모달 인터페이스 시스템의 바람직한 실시예는 도 1에 도시된 바와 같이, 기존의 GUI 시스템의 처리 동작 없이도 키보드, 마우스, 펜 등의 그래픽 입출력 장치를 모두 입력분석기에서 처리하는 것이다. 물론, 기존의 디스플레이 역시 출력설계기에서 제어됨을 당업자라면 쉽게 이해할 수 있을 것이다. 이하, 본 발명의 바람직한 멀티모달 인터페이스 시스템의 구성에 대해 살펴보기로 한다.On the other hand, a preferred embodiment of the multi-modal interface system proposed in the present invention is to process all the graphic input and output devices, such as keyboard, mouse, pen, etc. in the input analyzer without the processing operation of the conventional GUI system. . Of course, it will be apparent to those skilled in the art that existing displays are also controlled at the output designer. Hereinafter, the configuration of a preferred multi-modal interface system of the present invention will be described.

상기 멀티모달 관리자(11)는 응용 프로그램(예 : 일정관리 프로그램)과 멀티모달 인터페이스 프레임워크 사이에서 인터페이스 역할을 수행한다. 즉, 응용 프로그램으로부터 넘겨받는 입/출력 정보를 입력분석기(12)와 출력설계기(13)로 각각 전달하여 해석 및 분석하도록 하고, 그 결과를 넘겨받음에 따라 해당되는 응용 프로그램으로 회신한다. 상기 멀티모달 관리자(11)는 입력분석기(12), 출력설계기(13), 응용정보저장소(14)를 제어하여 응용 프로그램에서 요구하는 기능을 제공하도록 한다.The multimodal manager 11 serves as an interface between an application program (eg, a schedule management program) and a multimodal interface framework. That is, the input / output information received from the application program is transmitted to the input analyzer 12 and the output designer 13, respectively, to be analyzed and analyzed, and the result is returned to the corresponding application program. The multi-modal manager 11 controls the input analyzer 12, the output designer 13, and the application information store 14 to provide the functions required by the application program.

또한, 입력분석기(12)는 멀티모달 관리자(11)로부터 사용자 입력을 인식하기 위한 각종 정보를 전달받고, 해당되는 인식기(20)를 호출하여 실행하도록 한 후 그 인식 결과를 전달받음에 따라 멀티모달 관리자(11)로 회신한다. 이때, 상기 인식 결과를 일정 데이터 포맷(기 약정된 포맷)으로 변환하여 멀티모달 관리자(11)로 전달한다. 상기 인식기(20)로는 음성인식기(21), 제스처 인식기(22), 햅틱 인식기(23)를 예로 들 수 있다.In addition, the input analyzer 12 receives various information for recognizing user input from the multi-modal manager 11, calls the corresponding recognizer 20 to execute the multi-modal according to the received recognition result. Return to the manager (11). At this time, the recognition result is converted into a predetermined data format (pre-contracted format) and transmitted to the multi-modal manager 11. Examples of the recognizer 20 include a voice recognizer 21, a gesture recognizer 22, and a haptic recognizer 23.

또한, 출력설계기(13)는 멀티모달 관리자(11)로부터 출력 정보를 넘겨받아 해당 출력변환기(30)를 호출하여 실행하고 그 실행 결과를 전달받는다. 그리고, 상기 전달받은 실행 결과를 출력 장치를 통해 출력한 후 그 출력 결과를 일정 데이터 포맷으로 변환하여 멀티모달 관리자(11)로 회신한다. 여기서, 출력변환기(30)로는 음성합성기(31), 햅틱 출력기(32)를 일예로 들 수 있다.In addition, the output designer 13 receives the output information from the multi-modal manager 11, calls and executes the corresponding output converter 30, and receives the execution result. After the received execution result is output through the output device, the output result is converted into a predetermined data format and returned to the multi-modal manager 11. Here, the output converter 30 may include, for example, a voice synthesizer 31 and a haptic output 32.

또한, 응용정보저장소(14)는 멀티모달 프레임워크를 지원하는 각 응용 프로그램에 대한 초기 실행 명령어, 실행파일 위치정보 등의 정보를 저장한다. 즉, 멀티모달 관리자(11)의 요청에 따라 응용 프로그램에 대한 정보를 저장하거나, 내부 정보를 검색하여 멀티모달 관리자(11)로 전달한다.In addition, the application information store 14 stores information such as initial execution instructions, executable file location information, and the like for each application program supporting the multimodal framework. That is, at the request of the multi-modal manager 11, information about the application program is stored or internal information is retrieved and transferred to the multi-modal manager 11.

도 2 는 본 발명에 따른 멀티모달 인터페이스 시스템에서 제공하는 멀티모달 인터페이스 프레임워크 스택에 대한 일실시예 설명도이다.2 is a diagram illustrating an embodiment of a multi-modal interface framework stack provided by a multi-modal interface system according to the present invention.

도 2에 도시된 바와 같이, 본 발명에 따른 멀티모달 인터페이스 프레임워크 스택에는 멀티모달 에이전트(10)와 다양한 입/출력 방식을 지원하기 위한 라이브러리가 포함된다.As shown in FIG. 2, the multimodal interface framework stack according to the present invention includes a multimodal agent 10 and a library for supporting various input / output schemes.

이때, 멀티모달 에이전트(10)는 각종 응용 프로그램, 예를 들면 엠피쓰리 플레이어, 카메라 프로그램, 일정관리 프로그램 등과 각종 입/출력을 위한 라이브러리 간의 매개체가 된다.At this time, the multi-modal agent 10 is a medium between various application programs, for example, MP3 player, camera program, schedule management program, and the like.

또한, 각각의 입/출력을 위한 인터페이스는 라이브러리 형태로 제공되고, 하부의 시스템 라이브러리를 이용하여 각 기능을 수행하게 된다. In addition, the interface for each input / output is provided in the form of a library, and performs each function using the system library below.

도 3은 본 발명에 따른 멀티모달 인터페이스 시스템의 다른 실시예 구성도이다.3 is a configuration diagram of another embodiment of a multi-modal interface system according to the present invention.

각 입출력 장치별로 해당되는 인식 엔진, 출력 엔진이 구비될 수 있는데, 이러한 각 엔진은 본 멀티모달 에이전트가 탑재된 단말기에 구성되거나[도 1 참조], 도 3에 도시된 바와 같이 인식 시스템(80) 상의 음성 인식서버(81), 제스처 인식서버(82) 및 햅틱 인식서버(83) 등과, 출력변환시스템(90) 상의 음성 합성서버(91) 및 햅틱 출력서버(92) 등으로 구성될 수 있다.A recognition engine and an output engine corresponding to each input / output device may be provided. Each of the engines may be configured in a terminal equipped with the multimodal agent [see FIG. 1], or as shown in FIG. 3. The voice recognition server 81, the gesture recognition server 82, the haptic recognition server 83, and the like, and the voice synthesis server 91 and the haptic output server 92 on the output conversion system 90 may be configured.

예컨대, 단말기는, 입력분석기를 사용해 인식 시스템(80)으로 입력 정보를 전송해 이에 대한 결과를 회신받아 처리하고, 출력설계기를 사용해 출력변환시스템(90)으로 출력 정보를 전송해 이에 대한 결과를 회신받아 처리하는 것이다.For example, the terminal, by using the input analyzer transmits the input information to the recognition system 80. The solution to respond to the results received processing, and transmits the output information to the output conversion system (90) with an output design results for this The response is processed.

이와 같이 도 3에 도시된 본 발명의 다른 실시예에 따른 멀티모달 인터페이스 시스템은 휴대 단말기, 착용형 단말기 등과 같이 통상의 컴퓨터에 비해 컴퓨팅 수행 기능이 떨어지는 저성능 기종의 단말기에 구현되는 것이 바람직하다.As described above, the multi-modal interface system according to another exemplary embodiment of the present invention shown in FIG. 3 is preferably implemented in a terminal of a low performance model having a lower computing performance than a conventional computer such as a portable terminal and a wearable terminal.

물론, 도 1에 도시된 본 발명의 일실시예에 따른 멀티모달 인터페이스 시스템은 통상의 컴퓨터뿐만 아니라 휴대 단말기, 착용형 단말기 등에도 구현될 수 있는데, 이러한 경우에 있어 해당 단말기가 본 멀티모달 인터페이스 시스템의 입출력 데이터 처리 동작을 충분히 수행할 정도면 무방함을 당업자라면 쉽게 이해할 수 있을 것이다.Of course, the multi-modal interface system according to an embodiment of the present invention shown in FIG. 1 may be implemented not only in a conventional computer but also in a portable terminal, a wearable terminal, and the like. It will be readily understood by those skilled in the art that the input / output data processing operation may be sufficiently performed.

도 4는 본 발명에 따른 멀티모달 인터페이스 시스템에 있어 입출력 데이터 처리 동작을 보여주는 일실시예 순서도이다.4 is a flowchart illustrating an input / output data processing operation in a multi-modal interface system according to the present invention.

먼저, 멀티모달 관리자(11)에서는 멀티모달 인터페이스 프레임워크를 이용하여 입출력 장치를 확인하여 사용 가능한 입출력 장치에 대한 정보를 파악해 둔다(401).First, the multi-modal manager 11 checks the input / output device using the multi-modal interface framework to grasp information on the available input / output device (401).

이후, 입력분석기(12)에서는 입력 장치로부터 입력 데이터를 전달받으면 이 입력 데이터를 분석하고서(402, 403), 그 분석 결과로 입력 데이터에 대한 인식을 수행해야 되는 경우에는 이에 적합한 인식기[음성인식기(21), 제스처 인식기(22), 햅틱 인식기(23) 중 적어도 하나 이상의 인식기]로 상기 입력 데이터를 보내며, 이에 해당되는 인식기로부터 그 인식 결과를 회신받는다(404, 405). 그리고서, 입력 분석기(12)에서는 인식기로부터 회신받은 인식 결과를 멀티모달 관리자(11)로 전달한다(406).Subsequently, when the input analyzer receives the input data from the input device, the input analyzer 12 analyzes the input data (402, 403), and if it is necessary to perform recognition on the input data as a result of the analysis, a suitable recognizer [voice recognizer ( 21), the input data is sent to at least one or more of the gesture recognizer 22 and the haptic recognizer 23, and the recognition result is returned from the corresponding recognizer (404, 405). Then, the input analyzer 12 transmits the recognition result returned from the recognizer to the multimodal manager 11 (406).

한편, 입력분석기(12)에서는 상기 입력 데이터 분석 결과로 입력 데이터에 대한 인식을 수행해야 되지 않아도 되는 경우에는 곧바로 입력 데이터에 대응되는 입력 결과[인식 결과]를 멀티모달 관리자(11)로 전달한다.On the other hand, in the input analyzer 12, if it is not necessary to perform the recognition of the input data as the input data analysis result, the input result (recognition result) corresponding to the input data is immediately transmitted to the multi-modal manager (11).

그에 따라[입력분석기로부터 인식 결과를 전달받음에 따라], 멀티모달 관리자(11)에서는 응용정보저장소(14)에 기 저장되어 있는 응용 프로그램 관련 정보를 이용해 상기 입력분석기로부터 전달받은 인식 결과를 해당되는 응용 프로그램으로 전달한다(407). 이에, 응용 프로그램에서는 멀티모달 관리자(11)를 통해 전달받은 인식 결과를 처리하고서, 이 처리 결과에 대해 출력이 필요한 경우에는 이에 대응되는 출력 요구를 멀티모달 관리자(11)에게 하게 된다.Accordingly, as the recognition result is received from the input analyzer, the multi-modal manager 11 uses the application related information previously stored in the application information store 14 to recognize the recognition result received from the input analyzer. Pass it to the application (407). Therefore, the application program processes the recognition result received through the multi-modal manager 11, and if the output is required for the processing result, the output request corresponding to the multi-modal manager 11 is made.

상기 응용 프로그램으로의 인식 결과 전달 결과로 응용 프로그램으로부터 출력 요구를 받으면, 멀티모달 관리자(11)에서는 응용 프로그램으로부터 요구받은 출력 정보에 대해 가공이 필요한지를 검사한다(408, 409). 물론, 상기 응용 프로그램으로의 인식 결과 전달 결과로 응용 프로그램으로부터 출력 요구가 없으면 멀티모달 관리자(11)에서는 본 처리 과정을 종료한다.When the output request from the application program is received as a result of the recognition result transfer to the application program, the multi-modal manager 11 checks whether the processing information is required for the output information requested from the application program (408, 409). Of course, if there is no output request from the application program as a result of passing the recognition result to the application program, the multi-modal manager 11 ends the process.

상기 출력 정보 가공 필요에 대해 검사한 결과로 응용 프로그램으로부터 요구받은 출력 정보에 대해 가공을 해야 되는 경우에는, 멀티모달 관리자(11)에서는 해당되는 출력변환기[음성합성기(31), 햅틱 출력기(32) 등]를 호출, 이용하여 그 가공된 출력 정보를 회신받는다(410). 이러한 출력 데이터는 출력설계기(13)로 전 달된다.When the output information requested from the application program needs to be processed as a result of checking the output information processing needs, the multi-modal manager 11 has a corresponding output converter (voice synthesizer 31, haptic output 32). And the like] are used to return the processed output information (410). This output data is passed to the output designer (13).

한편, 상기 출력 정보 가공 필요에 대해 검사한 결과로 응용 프로그램으로부터 요구받은 출력 정보에 대해 가공을 해야 되지 않아도 되는 경우에는, 멀티모달 관리자(11)에서는 출력 정보를 출력설계기(13)로 곧바로 전달한다.On the other hand, when it is not necessary to process the output information requested from the application program as a result of checking the output information processing needs, the multi-modal manager 11 transfers the output information directly to the output designing machine 13. do.

그에 따라, 출력설계기(13)에서는 위 출력 정보를 토대로 출력 장치에 적합한 출력 데이터를 설계해 해당 출력 장치로 출력이 이루어지도록 한다(411, 412).Accordingly, the output designer 13 designs output data suitable for the output device based on the above output information so that the output is output to the corresponding output device (411, 412).

전술한 바와 같은 본 발명은, 다양한 종류의 장치를 통해 대화형 입/출력을 지원할 수 있도록 라이브러리 형태의 각 컴포넌트 API를 제공함으로써, 이를 이용하여 효율적으로 응용 프로그램을 개발할 수 있도록 한다. The present invention as described above, by providing each component API in the form of a library to support interactive input / output through various kinds of devices, it is possible to efficiently develop an application program using this.

또한, 일정관리 프로그램을 예로 들어 사용자 입장에서의 멀티모달 인터페이스를 살펴보면, 사용자는 멀티모달 관리자(11)를 통해 펜, 음성 등으로 일정계획의 검색을 요구하고, 멀티모달 관리자(11)는 일정을 검색하여 해당 일정계획을 음성, 화면 등으로 제공한다. 그리고, 약속시각이 되면 소리, 진동 등을 이용하여 사용자에게 알려준다. 즉, 음성, 펜, 화면, 진동 등의 다양한 입출력 방식을 이용하여 사용자가 입/출력할 수 있도록 한다.In addition, looking at the multi-modal interface from the user's point of view as a schedule management program as an example, the user requests the search of the schedule plan with a pen, voice, etc. through the multi-modal manager 11, the multi-modal manager 11 Search and provide the schedule by voice or screen. Then, when the appointment time arrives, the user is informed using sound, vibration, and the like. That is, the user may input / output using various input / output methods such as voice, pen, screen, and vibration.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 멀티모달 인터페이스 프레임워크를 컴포넌트화함으로써, 새로운 입/출력 관련 기술 개발시 확장성을 제공할 수 있는 효과가 있다.The present invention as described above, by componentizing the multi-modal interface framework, there is an effect that can provide scalability when developing a new input / output related technology.

즉, 본 발명은 다양한 종류의 장치를 통해 입/출력할 수 있도록 하기 위하여 라이브러리 형태의 각 컴포넌트 API(Application Programming Interface), 즉 멀티모달 인터페이스 프레임워크를 제공함으로써, 입/출력 장치 및 외부 네트워크에 독립적으로 멀티모달 인터페이스를 제공할 수 있다.That is, the present invention provides each component API (Application Programming Interface) in the form of a library, that is, a multi-modal interface framework in order to be able to input and output through various kinds of devices, thereby independent of the input and output devices and the external network. It can provide a multimodal interface.

Claims (6)

다수의 이기종 입력 장치 및 다수의 이기종 출력 장치를 구비한 시스템에 있어서,In a system having a plurality of heterogeneous input devices and a plurality of heterogeneous output devices, 상기 다수의 이기종 입력 장치 중에서 적어도 어느 하나의 입력 장치로부터 입력받은 입력데이터에 대해 멀티모달 관리수단으로부터의 제어에 따라 외부의 해당 인식장치를 통해 상기 입력데이터에 상응하는 인식결과를 획득해 상기 멀티모달 관리수단을 통해 응용 프로그램측으로 전달하기 위한 입력분석수단;The multi-modal is obtained by acquiring a recognition result corresponding to the input data through a corresponding external recognition device according to a control from a multi-modal management means for input data input from at least one input device among the plurality of heterogeneous input devices. Input analysis means for delivering to the application program through the management means; 상기 응용 프로그램측으로부터 출력받은 출력데이터에 대해 멀티모달 관리수단으로부터의 제어에 따라 외부의 해당 출력변환장치를 통해 상기 출력데이터에 상응하는 변환결과를 획득해 상기 다수의 이기종 출력 장치 중에서 적어도 어느 하나의 출력 장치로 전달하기 위한 출력설계수단; 및At least one of the plurality of heterogeneous output devices by acquiring a conversion result corresponding to the output data through an external corresponding output conversion device under control of the multi-modal management means for the output data output from the application program side. Output design means for delivering to the output device; And 상기 응용 프로그램의 입력인터페이스에 따라 상기 입력분석수단을 제어해 외부의 해당 인식장치를 통해 상기 입력데이터에 상응하는 인식결과를 획득하도록 하고, 상기 다수의 이기종 출력 장치의 각 출력인터페이스에 따라 상기 출력설계수단을 제어해 외부의 해당 출력변환장치를 통해 상기 출력데이터에 상응하는 변환결과를 획득하도록 하기 위한 상기 멀티모달 관리수단The input analysis means is controlled according to an input interface of the application program to obtain a recognition result corresponding to the input data through a corresponding external recognition device, and the output design according to each output interface of the heterogeneous output devices. The multi-modal management means for controlling the means to obtain a conversion result corresponding to the output data through an external corresponding output conversion device. 을 포함하는 멀티모달 인터페이스 시스템.Multi-modal interface system comprising a. 제 1 항에 있어서,The method of claim 1, 상기 멀티모달 관리수단은,The multi-modal management means, 상기 입력 장치로부터 입력받은 입력데이터가 상기 응용 프로그램에서 사용(처리)되도록 상기 입력분석수단에게 상기 입력데이터에 상응하는 인식결과를 요구해 해당 인식결과를 상기 응용 프로그램으로 전달하는 것을 특징으로 하는 멀티모달 인터페이스 시스템.The multi-modal interface, characterized in that the input analysis means for the recognition result corresponding to the input data to the input analysis means so that the input data received from the input device is used (processed) in the application program and delivers the recognition result to the application program. system. 제 2 항에 있어서,The method of claim 2, 상기 입력분석수단은,The input analysis means, 상기 멀티모달 관리수단의 제어에 따라 상기 입력데이터에 대해 외부의 음성인식장치, 제스처 인식장치 및 햅틱 인식장치 중 어느 하나의 인식장치를 통해 해당 인식결과를 획득하는 것을 특징으로 하는 멀티모달 인터페이스 시스템.And a corresponding recognition result obtained through any one of an external voice recognition device, a gesture recognition device, and a haptic recognition device with respect to the input data under the control of the multi-modal management means. 제 1 항에 있어서,The method of claim 1, 상기 멀티모달 관리수단은,The multi-modal management means, 상기 응용 프로그램측으로부터 출력받은 출력데이터가 상기 다수의 이기종 출력 장치 중에서 적어도 어느 하나의 출력 장치에서 사용(처리)되도록 상기 출력설계수단에게 상기 출력데이터를 외부의 해당 출력변환장치를 통해 변환해 해당 변환결과를 해당 출력 장치로 출력하도록 제어하는 것을 특징으로 하는 멀티모달 인터페이스 시스템.Convert the output data to the output design means through the corresponding output conversion device externally so that the output data output from the application program is used (processed) in at least one output device among the plurality of heterogeneous output devices. And control the output to the corresponding output device. 제 4 항에 있어서,The method of claim 4, wherein 상기 출력설계수단은,The output design means, 상기 멀티모달 관리수단의 제어에 따라 상기 출력데이터에 대해 외부의 음성합성장치, 햅틱 출력장치 중 어느 하나의 출력변환장치를 통해 해당 변환결과를 획득하는 것을 특징으로 하는 멀티모달 인터페이스 시스템.And a corresponding conversion result for the output data through one of an external voice synthesis device and a haptic output device under the control of the multi-modal management means. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 5, 상기 응용 프로그램의 입력인터페이스에 관한 정보 및 상기 응용 프로그램의 출력인터페이스에 관한 정보를 저장하는 응용정보저장수단을 더 포함하되,Applied information storage means for storing information about the input interface of the application program and information about the output interface of the application program, 상기 멀티모달 관리수단은,The multi-modal management means, 상기 응용 프로그램의 입력인터페이스에 관한 정보 및 상기 응용 프로그램의 출력인터페이스에 관한 정보를 토대로 상기 응용 프로그램으로 전달할 입력데이터에 대한 인식 제어 및 상기 응용 프로그램으로부터 전달받은 출력데이터에 대한 변환 제어를 수행하는 것을 특징으로 하는 멀티모달 인터페이스 시스템.Performing recognition control on input data to be transmitted to the application program and conversion control on output data received from the application program based on the information about the input interface of the application program and the information about the output interface of the application program. Multimodal interface system.
KR1020060078901A 2005-12-09 2006-08-21 Multi-modal interface system KR100873470B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050121051 2005-12-09
KR1020050121051 2005-12-09

Publications (2)

Publication Number Publication Date
KR20070061272A KR20070061272A (en) 2007-06-13
KR100873470B1 true KR100873470B1 (en) 2008-12-15

Family

ID=38357208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060078901A KR100873470B1 (en) 2005-12-09 2006-08-21 Multi-modal interface system

Country Status (1)

Country Link
KR (1) KR100873470B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
JP2012502325A (en) * 2008-09-10 2012-01-26 ジュンヒュン スン Multi-mode articulation integration for device interfacing
KR101529262B1 (en) * 2011-07-01 2015-06-29 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 Adaptive user interface

Also Published As

Publication number Publication date
KR20070061272A (en) 2007-06-13

Similar Documents

Publication Publication Date Title
KR102490776B1 (en) Headless task completion within digital personal assistants
US7216351B1 (en) Systems and methods for synchronizing multi-modal interactions
US8024194B2 (en) Dynamic switching between local and remote speech rendering
JP5394738B2 (en) Voice-controlled wireless communication device / system
US7680816B2 (en) Method, system, and computer program product providing for multimodal content management
CN103198830B (en) For realizing the method and apparatus of distributed multi-modal application
US20110202342A1 (en) Multi-modal web interaction over wireless network
JP5249755B2 (en) Dynamic user experience with semantic rich objects
US9164649B2 (en) Presenting context information in a computing device
US11183188B2 (en) Voice assistant-enabled web application or web page
RU2355045C2 (en) Sequential multimodal input
KR20080001706A (en) Method and apparatus for application window grouping and management
JP2005149484A (en) Successive multimodal input
KR20010085878A (en) Conversational computing via conversational virtual machine
KR100873470B1 (en) Multi-modal interface system
US20160292564A1 (en) Cross-Channel Content Translation Engine
CN112612531A (en) Application program starting method and device, electronic equipment and storage medium
EP1209660B1 (en) Voice navigation in web applications
Turunen et al. Spoken and multimodal communication systems in mobile settings
US20150170321A1 (en) Application computing method of mobile terminal, and apparatus and system for supporting the same
JP2006053893A (en) Data processing system, data processing method, processing device, terminal unit, portable terminal unit, and program
JP2008293244A (en) Service scenario preparation support device, service scenario preparation support program, and method therefor
Katsurada et al. XISL: A modality-independent MMI description language
KR20090050501A (en) Multimodal interface system and method for home network
KR20090058360A (en) Method, system and computer-readable recording medium for extracting text from web page, converting same text into audio data file, and providing resultant audio data file

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121101

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141117

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee