JPH0895734A - Multimodal input control method and multimodal interaction system - Google Patents

Multimodal input control method and multimodal interaction system

Info

Publication number
JPH0895734A
JPH0895734A JP23506194A JP23506194A JPH0895734A JP H0895734 A JPH0895734 A JP H0895734A JP 23506194 A JP23506194 A JP 23506194A JP 23506194 A JP23506194 A JP 23506194A JP H0895734 A JPH0895734 A JP H0895734A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
input
means
event
window
input means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP23506194A
Other languages
Japanese (ja)
Inventor
Hiroyuki Kamio
広幸 神尾
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PURPOSE: To facilitate processing for multimodal input that requires complex control.
CONSTITUTION: An information processing equipment on which a window system accepting a pointing input as an event through a keyboard interface 21 and a mouse interface 22 is actuated is provided with an interaction management part 24. Then an input reception part 201 receives the coordinates of a position at which a user touches a touch panel, a speech recognition reception part 202 the recognition result of a speech that the user vocalizes and which is inputted through a speech recognition part 17, a proximity sensor reception part 203 a sensor state inputted through a proximity sensor control part 19, and a time interruption reception part 204 a time interruption initiated by a window management part respectively; and the received inputs are converted by an input conversion part 205 into events of the window system and sent to windows of the window system.
COPYRIGHT: (C)1996,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、ユーザと情報処理機器との間で自然な対話を実現するマルチモーダル対話システムに係り、特に複雑な制御を必要とするマルチモーダル入力の処理を行うのに好適なマルチモーダル入力制御方法に関する。 The present invention relates to relates to a multimodal dialogue system to achieve a natural interaction between the user and the information processing apparatus, to perform processing of multimodal input that requires particularly complex control of the preferred multimodal input control method.

【0002】 [0002]

【従来の技術】従来、入力手段が複数種存在するマルチモーダル対話システムでは、全ての入力を管理し、対話を進行する対話管理部において複雑な管理を必要とされていた。 Conventionally, in a multi-modal dialogue system input means are present more, manages all of the input has been required a complex management in an interactive managing unit traveling dialogue. つまり、使用された入力手段によって異なる制御方法を対話管理部で行っていた。 That has been performed with different control method by the input means used by the dialog manager.

【0003】 [0003]

【発明が解決しようとする課題】上記したように従来のマルチモーダル対話システムでは、使用される入力手段によって異なる制御方法を対話管理部において適用していた。 In conventional multimodal dialogue system as described above [0008], was applied in the dialog management unit different control method by the input means used. このため、新たな入力手段を追加することは、大規模な対話管理部の変更を伴うこととなり、事実上不可能であった。 Therefore, adding a new input means comprises a fact related to changes in large dialogue management unit was virtually impossible.

【0004】本発明は上記事情を考慮してなされたものでその目的は、複雑な制御を必要とするマルチモーダル入力の処理が容易に行えるマルチモーダル入力制御方法およびマルチモーダル対話システムを提供することにある。 [0004] The present invention is their purpose has been made in consideration of the above circumstances, to provide a multimodal input control method and multimodal dialogue system processing multimodal inputs can be easily requiring complicated control It is in.

【0005】 [0005]

【課題を解決するための手段及び作用】本発明の第1の観点に係る構成は、少なくとも表示手段とポインティング機能を有する第1の入力手段を備え、この第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器に適用されるマルチモーダル入力制御方法であって、上記第1の入力手段とは別に設けられる当該第1の入力手段とは異なる種類の第2の入力手段からの入力情報を受信し、その受信した入力情報をウインドウシステムのイベントに変換して当該ウインドウシステム上のウインドウに送信することにより、第2の入力手段からの入力をウインドウシステムのイベントとして取り扱うようにしたことを特徴とするものである。 Configuration according to the first aspect of the means and functions to an aspect of the present invention comprises a first input means having at least a display unit and a pointing function, the pointing by the first input means as the event a multimodal input method for controlling window system is applied to an information processing device which is activated to accept different types of second input means with the first input means are provided separately from the aforementioned first input means receiving input information from, by sending to the window on the window system by converting the input information that received the event window system, to handle input from the second input means as the event window system it is characterized in that the the.

【0006】このような構成においては、例えばマウスやキーボードなどの第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器に、第1の入力手段とは異なる種類の例えばマウスやキーボード以外の第2の入力手段を追加しても、第2の入力手段からの入力情報がウインドウシステムのイベントに変換されて当該ウインドウシステム上のウインドウに送信されるため、第2の入力手段からの入力を第1の入力手段からの入力と同様に単一のウインドウシステムのイベント(ウインドウイベント) [0006] In such a configuration, the information processing device window system is started for accepting a pointing as an event by the first input means, such as a mouse or a keyboard, different types of for example a mouse from the first input means be added and the second input means other than the keyboard, the input information from the second input means is transmitted by being converted into an event of the window system in a window on the window system, the second input means inputting first input as well as events in a single window system from the input means from the (window events)
として取り扱うことができ、複雑な制御を必要とするマルチモーダル入力の取り扱いが単一の処理で行える。 It can be handled as the handling of multimodal inputs that require complex control can be performed in a single processing.

【0007】また本発明の第2の観点に係る構成は、上記第2の入力手段がタッチパネルの場合に、そこからの入力情報を受信して、その受信した入力情報で示されるユーザのタッチした座標をウインドウシステムの座標に変換し、この変換された座標の位置に存在するウインドウを識別して、その識別したウインドウに対してイベントを送信するようにしたことを特徴とする。 Further the configuration according to the second aspect of the present invention, when the second input means is a touch panel, and receives input information from it, and a touch of the user indicated by the received input information converting the coordinates to the coordinates of the window system, identify a window at the position of the transformed coordinates, characterized by being adapted to send an event to the identified window.

【0008】このような構成においては、タッチ入力を単一のウインドウイベントとして取り扱え、タッチパネルによるポインティングを、マウスによってポインティングされたように扱うことが可能となる。 [0008] In such a configuration, able to handle touch input as a single window events, pointing the touch panel, it is possible to handle as is pointed by the mouse.

【0009】また本発明の第3の観点に係る構成は、上記第2の入力手段が入力音声を認識する音声認識手段の場合に、この音声認識手段からの認識結果を受信して、 Further the configuration according to the third aspect of the present invention, when the second input means is voice recognition means for recognizing an input speech, to receive the recognition result from the speech recognition means,
その受信した認識結果をもとにその認識結果に対して予め割り当てておいたウインドウを識別し、その識別したウインドウに対してイベントを送信するようにしたことを特徴とする。 The received recognition results identifying the window that had been previously assigned to the recognition result on the basis, characterized by being adapted to send an event to the identified window.

【0010】このような構成においては、音声入力を単一のウインドウイベントとして取り扱え、認識結果に対応した処理を行うことが可能となる。 [0010] In such a configuration, able to handle voice input as a single window event, it is possible to perform the processing corresponding to the recognition result. また本発明の第4 The fourth aspect of the present invention
の観点に係る構成は、上記第2の入力手段が一定周期毎に時間割込を発生する時間割込手段の場合に、そこからの割込を受信して、その受信した割込の時刻をもとにその時刻に対して予め割り当てておいたウインドウを識別し、その識別したウインドウに対してイベントを送信するようにしたことを特徴とする。 The configuration according to the aspect, the original in the case of a timer interrupt means said second input means generates a timer interrupt at every predetermined period, receives an interrupt from there, the time of the interrupt that the received to identify the window that had been previously assigned to that time, it is characterized in that so as to send an event to the identified window.

【0011】このような構成においては、時間割込を単一のウインドウイベントとして取り扱え、割込時刻に対応した処理を行うことが可能となる。 [0011] In such a configuration, it handled the timer interrupt as a single window event, it is possible to perform the processing corresponding to the interrupt time. また本発明の第5 The fifth aspect of the present invention
の観点に係る構成は、上記第2の入力手段が物体等の存在を検知するセンサと当該センサの状態を検出するセンサ制御手段から構成される場合に、このセンサ制御手段により得られるセンサ状態を受信して、その受信したセンサ状態の変化時には、その際のセンサ状態をもとにその状態に対して予め割り当てておいたウインドウを識別し、その識別したウインドウに対してイベントを送信するようにしたことを特徴とする。 Configuration according to the aspect, when composed of a sensor control means for said second input means for detecting the state of the sensor and the sensor for detecting the presence of an object such as a sensor state obtained by the sensor control means received, as at the time of change of the received sensor status, and identifies the window that had been previously assigned to that state on the basis of the sensor states at that time, it sends an event to the identified window characterized in that it was. このような構成においては、センサ入力を単一のウインドウイベントとして取り扱え、センサ状態に対応した処理を行うことが可能となる。 In such a configuration, able to handle the sensor input as a single window event, it is possible to perform the processing corresponding to the sensor state.

【0012】 [0012]

【実施例】図1は本発明の一実施例に係るマルチモーダル対話システムの全体構成を示すブロック図である。 DETAILED DESCRIPTION FIG. 1 is a block diagram showing the overall configuration of a multi-modal interaction system according to an embodiment of the present invention. 図1のマルチモーダル対話システムは、情報処理機器としての例えばワークステーションを用いて実現されており、ポインティング機能を持つ入力手段としてのキーボード(KB)11およびマウス12と、CRTディスプレイ、液晶ディスプレイ等の表示部13とを備えている。 Multimodal interaction system of Figure 1 is realized using, for example, the workstation as an information processing apparatus, a keyboard (KB) 11 and a mouse 12 as an input means having a pointing function, CRT display, such as a liquid crystal display and a display unit 13. この表示部13の解像度は、例えば1000×10 The resolution of the display unit 13, for example, 1000 × 10
00ドットであるものとする。 00 is assumed to be dot.

【0013】図1のマルチモーダル対話システムはまた、表示部13の表示画面に重ねて設けられてユーザのタッチ入力に用いられる例えば1152×900ドットの解像度のタッチパネル14と、タッチパネル14上でタッチされた位置の座標を入力するためのタッチパネルコントロール部15と、ユーザの音声入力に用いられるマイクロホン16と、マイクロホン16により入力された音声を認識する音声認識部17と、ユーザの接近を検知する近接センサ18と、近接センサ18の状態を検出して入力する近接センサ制御部19とを備えている。 [0013] Multimodal dialogue system of FIG. 1 is also an example 1152 × 900 dots resolution touch panel 14 used superimposed provided to the touch input of the user on the display screen of the display unit 13 is touched on the touch panel 14 and a touch panel control unit 15 for inputting the coordinate position, the proximity sensor and a microphone 16 used for audio input of the user, a voice recognition unit 17 recognizes the voice input by the microphone 16, for detecting the approach of a user 18, and a proximity sensor controller 19 for inputting and detecting the state of the proximity sensor 18.

【0014】図1のマルチモーダル対話システムは更に、ワークステーション本体20を備えている。 [0014] Multimodal dialogue system of Fig. 1 further includes a workstation body 20. このワークステーション本体20では、ウインドウシステムが起動される。 In the workstation main body 20, the window system is started. このウインドウシステムは、例えばXウインドウ(米国マサチューセッツ工科大学の登録商標)である。 The window system is an example, X Window (registered trademark of Massachusetts Institute of Technology).

【0015】ワークステーション本体20は、キーボード11からの入力を司るキーボードインタフェース(K The workstation main body 20, a keyboard interface (K which controls input from the keyboard 11
B−IF)21と、マウス12からの入力を司るマウスインタフェース(M−IF)22と、ウインドウ管理部(ウインドウマネジャ)23と、本発明に直接関係する対話管理部24とを有している。 And B-IF) 21, a mouse interface (M-IF) 22 which controls the input from the mouse 12, and has window management section (window manager) 23, and a dialogue management unit 24 which is directly related to the present invention .

【0016】ウインドウ管理部23は、(マウスインタフェース22を介して与えられる)マウス12からのポインティング入力を受けて、その座標に存在するウインドウに対して、マウス12のボタンがクリックされたということを表すイベントを送信するようになっている。 The window management unit 23, that receives the pointing input from the (given via the mouse interface 22) the mouse 12, with respect to the window that exists in the coordinates, mouse button 12 is clicked It is adapted to send an event that represents.
ウインドウ管理部23は、(キーボードインタフェース21を介して与えられる)キーボード11(上の例えばカーソルキー操作に従う)からのポインティング入力に対しても、マウス12のクリックとして扱うようになっている。 Window management unit 23 is adapted to handle as a click of even for pointing input from (keyboard interface 21 is provided via a) the keyboard 11 (according to e.g. a cursor key operation above), the mouse 12. ウインドウ管理部23はまた、一定周期で時間割込を発生するようになっている。 Window management unit 23 is also adapted to generate a timer interrupt at a constant period.

【0017】対話管理部24は、ユーザとの対話を管理するものであり、ユーザのタッチパネル14を用いたタッチ入力、マイクロホン16を用いた音声入力、近接センサ18の状態を、それぞれタッチパネルコントロール部15、音声認識部17、近接センサ制御部19を介して取り込み、その入力をウインドウシステムのイベントに変換するようになっている。 The dialogue management unit 24 is for managing the interaction with the user, a touch input, voice input, the state of the proximity sensor 18, the touch panel control unit 15, respectively using the microphone 16 with a touch panel 14 of the user , the speech recognition unit 17 captures via a proximity sensor controller 19, so as to convert the input to the event of the window system. 対話管理部24はまた、 Dialogue management unit 24 also,
ウインドウ管理部23から発生される時間割込を受けて時刻(例えば後述する時間割込ウインドウ217の表示開始時点を基準とする時刻)を計測し、その時刻をウインドウシステムのイベントに変換するようにもなっている。 In response to a timer interrupt generated by the window management unit 23 measures the time (for example, time relative to the display start time of the timer interrupt window 217 to be described later), also adapted to convert the time to the event window system ing.

【0018】図2は対話管理部24の機能構成を示すブロック図である。 [0018] FIG. 2 is a block diagram showing the functional structure of the dialogue management unit 24. この対話管理部24は、タッチパネルコントロール部15により入力される(ユーザがタッチパネル14をタッチした位置の)座標を受信する入力受信部201と、音声認識部17の認識結果を受信する音声認識受信部202と、近接センサ制御部19により検出される近接センサ18の状態(センサ状態)を受信する近接センサ受信部203と、ウインドウ管理部23からの時間割込を受信して時刻(割込時刻)を計測する時間割込受信部204と、入力変換部205とを有している。 The dialogue management unit 24 is input by the touch panel control unit 15 and the input receiving unit 201 that receives the coordinates (user positions of touches the touch panel 14), the speech recognition receiving unit that receives the recognition result of the speech recognition unit 17 and 202, a proximity sensor reception unit 203 that receives the state of the proximity sensor 18, which is detected by the proximity sensor control unit 19 (sensor state), the time to receive the timer interrupt from the window management unit 23 (interruption time) a timer interrupt reception unit 204 to be measured and an input conversion unit 205.

【0019】入力変換部205は、入力受信部201からの座標、音声認識受信部202からの認識結果、近接センサ受信部203からのセンサ状態、および時間割込受信部204からの時刻(の情報)を受けて、その受け取った情報をウインドウシステムのイベントに変換して当該ウインドウシステム上のウインドウに送信するものである。 The input conversion unit 205, the coordinate of the input reception unit 201, a recognition result from the voice recognition receiving unit 202, the sensor status from the proximity sensor receiver 203, and the time (information) from the timer interrupt reception unit 204 in response to, and transmits to the window on the window system and converts the received information to the event of the window system.

【0020】入力変換部205は、座標データ変換部2 The input conversion unit 205, the coordinate data converting unit 2
06と、ウインドウ識別部207と、イベント送信部2 And 06, a window identification section 207, an event transmission unit 2
08,209と、イベント送信先テーブル210および音声認識ウインドウ211を(属性として)持つ音声認識オブジェクト212と、イベント送信先テーブル21 And 08,209, and the speech recognition object 212 to the event destination table 210 and a voice recognition window 211 having (as an attribute), the event destination table 21
3および近接センサウインドウ214を(属性として) 3 and a proximity sensor window 214 (as an attribute)
持つ近接センサオブジェクト215と、イベント送信先テーブル216および時間割込ウインドウ217を(属性として)持つ時間割込オブジェクト218とを有している。 A proximity sensor object 215 having, and a timer interrupt object 218 with an event destination table 216 and a timer interrupt window 217 (as an attribute).

【0021】座標データ変換部206は、入力受信部2 The coordinate data converting unit 206, an input reception unit 2
01により受信された座標を表示部13上の座標(ウインドウシステムの座標)に変換するものである。 And converts the coordinates on the display unit 13 the received coordinates (window system of coordinates) by 01. ウインドウ識別部207は、座標データ変換部206により変換された座標の位置に存在するウインドウを識別して、 Window identification unit 207 identifies the window at the position of the transformed coordinates by the coordinate data converting unit 206,
そのウインドウのウインドウID(ウインドウ識別子) Window ID of the window (window identifier)
をイベント送信部208に出力するものである。 And outputs to the event transmission unit 208.

【0022】イベント送信部208は、ウインドウ識別部207から出力されたウインドウIDのウインドウにイベントを送信するものである。 The event transmission unit 208 is configured to send events to the window of the output window ID from the window identification portion 207. イベント送信部209 The event transmission unit 209
は、音声認識受信部202からの認識結果を受けて、その認識結果とイベントを音声認識オブジェクト212の音声認識ウインドウ210に送信し、近接センサ受信部203からのセンサ状態を受けて、そのセンサ状態の変化時にそのセンサ状態とイベントを近接センサオブジェクト215の近接センサウインドウ213に送信し、そして時間割込受信部204からの時刻(の情報)を受けて、その時刻とイベントを時間割込オブジェクト218 Receives the recognition result from the voice recognition receiving unit 202, and sends the recognition results and events to the speech recognition window 210 of the speech recognition object 212 receives the sensor status from the proximity sensor receiver 203, the sensor status the sends the sensor status and events to the proximity sensor window 213 of the proximity sensor object 215 at the time of change, and receives the time (information) from the timer interrupt reception unit 204, a timer interrupt object 218 the time and event
の時間割込ウインドウ216に送信するものである。 It is intended to send to the timer interrupt window 216.

【0023】イベント送信先テーブル210は、図3 [0023] The event destination table 210, as shown in FIG. 3
(a)に示すように、複数の認識結果のそれぞれに対して割り当てているウインドウのウインドウIDを登録しておくものである。 (A), the one in which registering the window ID of the window that is allocated to each of the plurality of recognition results.

【0024】音声認識ウインドウ211は、イベント送信部209からイベントと認識結果を受けた場合に、その認識結果によりイベント送信先テーブル210を検索して、その認識結果に割り当てられているウインドウI The speech recognition window 211, when receiving an event as a recognition result from the event transmission unit 209 searches the event destination table 210 by the recognition result, the window I assigned to the recognition result
Dを識別し、対応するウインドウにイベントを送信するものである。 Identifies D, it is to send the event to the corresponding window.

【0025】音声認識オブジェクト212は、オブジェクト指向でのオブジェクトであり、上記した音声認識ウインドウ211の機能を実現するための処理手続きを有している。 The speech recognition object 212 is an object in an object-oriented, and has a processing procedure for realizing the functions of the speech recognition window 211 described above.

【0026】イベント送信先テーブル213は、図3 [0026] The event destination table 213, as shown in FIG. 3
(b)に示すように、複数のセンサ状態のそれぞれに対して割り当てているウインドウのウインドウIDを登録しておくものである。 (B), the one in which registering the window ID of the window that is allocated to each of the plurality of sensors state.

【0027】近接センサウインドウ214は、イベント送信部209からイベントとセンサ状態を受けた場合に、そのセンサ状態によりイベント送信先テーブル21 The proximity sensor window 214, when receiving the event and sensor status from the event transmission unit 209, the event destination table 21 by the sensor state
3を検索して、そのセンサ状態に割り当てられているウインドウIDを識別し、対応するウインドウにイベントを送信するものである。 3 Locate and a to identify the window ID assigned to the sensor state, and transmits the event to the corresponding window.

【0028】近接センサオブジェクト215は、オブジェクト指向でのオブジェクトであり、上記した近接センサウインドウ214の機能を実現するための処理手続きを有している。 The proximity sensor object 215 is an object in an object-oriented, and has a processing procedure for realizing the functions of the proximity sensor window 214 described above.

【0029】イベント送信先テーブル216は、図3 [0029] The event destination table 216, as shown in FIG. 3
(c)に示すように、複数の時刻(割込時刻)のそれぞれに対して割り当てているウインドウのウインドウID (C), the window ID of the window that is allocated to each of the plurality of times (interruption time)
を登録しておくものである。 It is intended to be registered.

【0030】時間割込ウインドウ217は、イベント送信部209からイベントと時刻を受けた場合に、その時刻によりイベント送信先テーブル213を検索して、その時刻に割り当てられているウインドウIDを識別し、 The timer interrupt window 217, when receiving the event and the time from the event transmission unit 209, and search for events destination table 213 by that time, to identify the window ID that is assigned to that time,
対応するウインドウにイベントを送信するものである。 It is intended to send events to the corresponding window.

【0031】時間割込オブジェクト218は、オブジェクト指向でのオブジェクトであり、上記した時間割込ウインドウ217の機能を実現するための処理手続きを有している。 The timer interrupt object 218 is an object in an object-oriented, and has a processing procedure for realizing the functions of the timer interrupt window 217 described above.

【0032】次に、本発明の一実施例の動作を、タッチパネル14上でユーザがタッチ入力を行った場合を例に説明する。 Next, the operation of the embodiment of the present invention, illustrating a case where the user on the touch panel 14 has performed a touch input to the Examples. ユーザがタッチパネル14で任意のポイントをタッチすると、タッチパネルコントロール部15は、 When the user touches any point on the touch panel 14, the touch panel control unit 15,
ユーザがタッチしたタッチパネル14上の位置を検出し、その位置の座標データを対話管理部24に送信する。 User to detect the position on the touch panel 14 touched, transmits the coordinate data of the position in the dialogue management unit 24.

【0033】タッチパネルコントロール部15から対話管理部24に送信された座標データは当該対話管理部2 The coordinate data sent to the dialog manager 24 from the touch panel control unit 15 the dialog management unit 2
4内の入力受信部201により受信され、座標データ変換部206に送られる。 It is received by the input receiving unit 201 in the 4 and sent to the coordinate data converting unit 206.

【0034】座標データ変換部206は、この座標データ、即ちタッチパネル14上の座標データを、表示部1 The coordinate data converting unit 206 stores the coordinate data, namely the coordinate data on the touch panel 14, the display unit 1
3の大きさ(解像度)に対応した座標に変換する。 Converting the coordinates corresponding to the three dimensions (resolution). ここでは、1000×1000ドットの解像度を持つタッチパネル14の座標データが、1152×900ドットの解像度の表示部13(の表示画面)上の座標データに変換される。 Here, the coordinate data of the touch panel 14 with a 1000 × 1000 dots resolution, it is converted into the coordinate data on the 1152 × 900 dots resolution of the display unit 13 (display screen). この変換後の座標データは座標データ変換部206からウインドウ識別部207に送られる。 Coordinate data after the conversion is transmitted from the coordinate data converting unit 206 to the window identification portion 207.

【0035】ウインドウ識別部207は、座標データ変換部206から送られた表示部13の解像度に変換された座標データをもとに、その座標の位置に存在するウインドウを探す。 The window identification section 207, based on the coordinate data converted to the resolution of the display unit 13 sent from the coordinate data converting unit 206 searches for a window at the position of the coordinate. 本対話システムで動作するウインドウシステム(Xウインドウシステム)の各ウインドウはそれぞれ固有のウインドウIDを持っており、ウインドウ識別部207は、探したウインドウのウインドウIDをイベント送信部208に送る。 Each window of the window system operating in the interactive system (X Window System) is respectively have a unique window ID, the window identification section 207 sends the window ID of the window that looking in the event transmission unit 208.

【0036】イベント送信部208は、ウインドウ識別部207から送られたウインドウIDのウインドウに対し、マウス12のボタンがクリックされたということを表すイベントを送信する。 The event transmission unit 208, with respect to the window of the window ID sent from the window identification section 207, and transmits an event indicating that the mouse button 12 is clicked.

【0037】以上の一連の流れによって、タッチパネル14によるポインティングを、マウス12によってポインティングされたように扱うことができる。 [0037] Through the above series of flows, the pointing by the touch panel 14, can be handled as is pointed by the mouse 12. 次に、音声入力の取扱いについて説明する。 Next, a description will be given of the handling of voice input.

【0038】ユーザがマイクロホン16に向かって発声した音声は、音声認識部17により認識され、その認識結果が対話管理部24に送られる。 The voice user utters toward the microphone 16 is recognized by the voice recognition unit 17, the recognition result is sent to the dialog manager 24. 音声認識部17から対話管理部24に送られた認識結果は当該対話管理部2 Recognition results sent to the dialogue management unit 24 from the voice recognition unit 17 the dialog management unit 2
4内の音声認識受信部202により受信され、イベント送信部209に送られる。 It is received by the speech recognition receiving unit 202 in the 4, sent to the event transmission unit 209.

【0039】イベント送信部209は、この認識結果をイベントと共に、音声認識オブジェクト212の音声認識ウインドウ211に送信する。 The event transmission unit 209, the recognition result with the event, and transmits the voice recognition window 211 of the speech recognition object 212. すると音声認識ウインドウ211は、イベント送信部209から送られた認識結果により図3(a)に示したようなイベント送信先テーブル210を検索し、その認識結果に対して予め割り当てられているウインドウのウインドウIDを取得する。 Then the voice recognition window 211, the recognition result sent from the event transmission unit 209 retrieves the event transmission destination table 210 shown in FIG. 3 (a), the previously assigned has windows for the recognition result to get the window ID. そして音声認識ウインドウ211は、このウインドウIDのウインドウに対してイベントを送信する。 The speech recognition window 211 transmits an event to the window of the window ID. したがって、上記認識結果が例えば「ねずみ」であるときは、図3(a)のイベント送信先テーブル210の場合には、ウインドウID=1のウインドウに対してイベントが送信される。 Therefore, when the recognition result such as "mouse" in the case of the event destination table 210 of FIG. 3 (a), the event is sent to the window ID = 1 window.

【0040】次に、近接センサ18の情報の取扱いについて説明する。 Next, a description will be given of the handling of information of the proximity sensor 18. 近接センサ18はユーザが本システムに接近するとオン(ON)状態となり、本システムから離れるとオフ(OFF)状態となる。 Proximity sensor 18 is when the user approaches to the system-on and (ON) state, away from the system off (OFF) state.

【0041】近接センサ制御部19は、近接センサ18 The proximity sensor control unit 19, the proximity sensor 18
の状態(センサ状態)を検出して、その状態を対話管理部24に送信する。 By detecting the state (sensor state), and transmits the state to the dialogue management unit 24. 近接センサ制御部19から対話管理部24に送信されたセンサ状態は当該対話管理部24内の近接センサ受信部203により受信される。 Proximity sensor state transmitted from the sensor control unit 19 to the dialogue management unit 24 is received by the proximity sensor receiving portion 203 of the dialogue control portion 24. 近接センサ受信部203は、受信したセンサ状態が変化した場合に、その際のセンサ状態をイベント送信部209に送る。 Proximity sensor reception unit 203, when the received sensor status has changed, sending the sensor state at that time to the event transmission unit 209.

【0042】イベント送信部209は、この(近接センサ18の)センサ状態をイベントと共に、近接センサオブジェクト212の近接センサウインドウ214に送信する。 The event transmission unit 209, the (proximity sensor 18) Sensor state with the event, and transmits the proximity sensor window 214 of the proximity sensor object 212. すると近接センサウインドウ214は、イベント送信部209から送られたセンサ状態により図3(b) Then the proximity sensor window 214, FIG. 3 by a sensor state sent from the event transmission unit 209 (b)
に示したようなイベント送信先テーブル213を検索し、そのセンサ状態に対して予め割り当てられているウインドウのウインドウIDを取得する。 It retrieves the event transmission destination table 213 as shown in, to obtain the window ID of the previously assigned has windows for the sensor state. そして近接センサウインドウ214は、このウインドウIDのウインドウに対してイベントを送信する。 The proximity sensor window 214, and the event is sent to the window of the window ID. したがって、上記センサ状態が例えば「OFF」であるとき(「OFF」に変化したとき)は、図3(b)のイベント送信先テーブル213の場合には、ウインドウID=2のウインドウに対してイベントが送信される。 Therefore, (when changed to "OFF") when the sensor state is, for example, "OFF", when the event transmission destination table 213 of FIG. 3 (b), event for the window ID = 2 of the window There are transmitted.

【0043】次に、ウインドウ管理部23からの時間割込(に従う時刻)の取扱いについて説明する。 Next, a description will be given of the handling of the timetable included in the room rate (time to follow in) from the window management unit 23. ウインドウ管理部23からは一定周期で時間割込が発生する。 From the window management unit 23 a timer interrupt is generated at a constant cycle. このウインドウ管理部23からの時間割込は対話管理部2 A timer interrupt from this window management unit 23 dialogue management unit 2
4内の時間割込受信部204で受信される。 It is received by the timer interrupt reception unit 204 in the 4.

【0044】時間割込受信部204は、ウインドウ管理部23からの一定周期の時間割込をカウントすることにより、時刻(割込時刻)を計測する。 The timer interrupt reception unit 204, by counting the timer interrupt of a predetermined period from the window management unit 23 measures the time (interruption time). ここで、時間割込受信部204での時刻計測の開始時点は時間割込オブジェクト218の時間割込ウインドウ217が画面上に置かれた(表示された)ときとなっており、その時点からの経過時間が当該時間割込受信部204にて計測されることになる。 Here, the beginning of the time measurement in the timer interrupt reception unit 204 is a when a timer interrupt window 217 the timer interrupt object 218 is placed on the screen (displayed), the elapsed time from that point It will be measured by the timer interrupt reception unit 204.

【0045】時間割込受信部204は、ウインドウ管理部23から時間割込を受信する毎に上記の時刻(割込時刻、経過時間)を計測し、その時刻をイベント送信部2 The timer interrupt reception unit 204, the window management unit above time (interruption time, elapsed time) each time it receives the timer interrupt from the 23 measures, the event transmission unit 2 and the time
09に送る。 And it sends it to the 09.

【0046】イベント送信部209は、この時刻をイベントと共に、時間割込オブジェクト218の時間割込ウインドウ217に送信する。 The event transmission unit 209, this time with the event, and sends it to the timer interrupt window 217 of a timer interrupt object 218. すると時間割込ウインドウ217は、イベント送信部209から送られた時刻により図3(b)に示したようなイベント送信先テーブル2 Then a timer interrupt window 217, and FIG. 3 (b) as shown in an event destination table 2 by the time sent from the event transmission unit 209
16を検索し、その時刻に対して予め割り当てられているウインドウのウインドウIDを取得する。 16 searching, obtains the window ID of the previously Allocated window for that time. そして時間割込ウインドウ217は、このウインドウIDのウインドウに対してイベントを送信する。 And a timer interrupt window 217, and the event is sent to the window of the window ID. したがって、上記時刻が例えば「3.0(秒)」であるときは、図3(c) Therefore, when the time is, for example, "3.0 seconds" is, FIG. 3 (c)
のイベント送信先テーブル216の場合には、ウインドウID=3のウインドウに対してイベントが送信される。 In the case of an event destination table 216, an event is sent to the window ID = 3 windows.

【0047】以上に述べたような対話管理部24の機能(により実現されるマルチモーダル入力制御方法)によって、音声入力、タッチ入力、センサ入力(センサ状態)、更には時間割込入力(の時刻)などのマルチモーダル入力を単一のウインドウシステムのイベントとして取り扱うことができる。 The [0047] function of the dialogue management unit 24 as mentioned above (multi-modal input control method implemented by), voice input, touch input, sensor input (sensor state), even timer interrupt input (time) can handle multimodal input such as the event of a single window system. これにより、マウスとキーボードのみで動作するGUI(Graphical User Interface) As a result, GUI that works only with the mouse and keyboard (Graphical User Interface)
を作成し、上記機能を付加することによって、容易にマルチモーダル対話システムを構築することができる。 Create and by adding the above functions, it can be constructed easily multimodal dialogue systems.

【0048】なお、前記実施例では、(マイクロホン1 [0048] In the above embodiment, (a microphone 1
6および音声認識部17を介しての)音声入力と、(タッチパネル14およびタッチパネルコントロール部15 6 and via the speech recognition unit 17 of) the speech input (touch panel 14 and the touch panel control unit 15
を介しての)タッチ入力と、(近接センサ18および近接センサ制御部19を介しての)センサ入力と、ウインドウ管理部23からの時間割込入力との4種類の入力が、いずれも対話管理部24の機能により、システム(のウインドウ管理部23)がサポートしている標準的な入力(ここではキーボード11およびマウス12からのポインティング入力)と同様に、ウインドウシステムのイベントとして取り扱われる構成としたが、標準的な入力以外の入力の種類は、上記4種類に限るものではなく、それより少なくても多くても構わない。 And the) and touch input through, (and in the) sensor inputs via the proximity sensor 18 and proximity sensor control unit 19, the four types of input and timer interrupt input from the window management unit 23, both the dialog management unit the function of the 24, similar to the system standard input supports (window management unit 23 of) (here pointing input from the keyboard 11 and mouse 12), a configuration which is treated as an event window system , the type of input other than standard input is not limited to the above four types, it may be more or less than that.

【0049】 [0049]

【発明の効果】以上詳述したように本発明によれば、複雑なマルチモーダル入力を単一のウインドウイベントとして扱うことができるため、容易にマルチモーダル対話を実現することができる。 According to the present invention as described in detail above, it is possible to handle complex multimodal input as a single window event, it is possible to realize easily multimodal interaction. これにより複雑なマルチモーダル対話システム(ATM、地図案内システムなど)を作成する前に、プロトタイプを作成し、ユーザインタフェースの評価を行うことも可能となる。 Before thereby creating complex multimodal dialogue systems (ATM, such as a map guidance system), to create a prototype, it is possible to evaluate the user interface.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施例に係るマルチモーダル対話システムの全体構成を示すブロック図。 Block diagram illustrating the overall configuration of a multi-modal interaction system according to an embodiment of the present invention; FIG.

【図2】図1中の対話管理部24の機能構成を示すブロック図。 2 is a block diagram showing the functional structure of the dialogue control portion 24 in FIG.

【図3】図1中のイベント送信先テーブル210,21 [Figure 3] event destination table shown in FIG. 1 210,21
3,216の一例を示す図。 Diagram illustrating an example of 3,216.

【符号の説明】 DESCRIPTION OF SYMBOLS

11…キーボード(KB)、12…マウス、13…表示部、14…タッチパネル、15…タッチパネルコントロール部、16…マイクロホン、17…音声認識部、18 11 ... keyboard (KB), 12 ... mouse, 13 ... display unit, 14 ... panel, 15 ... touch panel control section, 16 ... microphone, 17 ... speech recognition unit, 18
…近接センサ、19…近接センサ制御部、20…ワークステーション本体、21…キーボードインタフェース(KB−IF)、22…マウスインタフェース(M−I ... proximity sensor, 19 ... proximity sensor control unit, 20 ... workstation body, 21 ... keyboard interface (KB-IF), 22 ... mouse interface (M-I
F)、23…ウインドウ管理部、24…対話管理部、2 F), 23 ... window management unit, 24 ... dialogue management unit, 2
01…入力受信部、202…音声認識受信部、203… 01 ... input receiving section, 202 ... voice recognition receiving unit, 203 ...
近接センサ受信部、204…時間割込受信部、205… Proximity sensor reception unit, 204 ... timer interrupt reception unit, 205 ...
入力変換部、206…座標データ変換部、207…ウインドウ識別部、208,209…イベント送信部、21 Input conversion unit, 206 ... coordinate data conversion unit, 207 ... window identification section, 208, 209 ... event transmission unit, 21
0,213,216…イベント送信先テーブル、211 0,213,216 ... events destination table, 211
…音声認識ウインドウ、212…音声認識オブジェクト(処理実行手段)、214…近接センサウインドウ、2 ... Voice recognition window, 212 ... voice recognition object (process execution means), 214 ... proximity sensor window 2
15…近接センサオブジェクト(処理実行手段)、21 15 ... proximity sensor object (process execution means), 21
7…時間割込ウインドウ、218…時間割込オブジェクト(処理実行手段)。 7 ... a timer interrupt window, 218 ... timer interrupt object (process execution means).

Claims (10)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器に適用され、前記第1の入力手段とは異なる種類の第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うためのマルチモーダル入力制御方法であって、 前記第2の入力手段からの入力情報を受信し、その受信した入力情報を前記ウインドウシステムのイベントに変換して当該ウインドウシステム上のウインドウに送信することにより、前記第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うことを特徴とするマルチモーダル入力制御方法。 1. A and a first input means having at least a display unit and a pointing function, window system accepting a pointing by said first input means as the event is applied to an information processing apparatus is started, the first a is an input means multimodal input control method for handling input from different types of the second input means as the event of the window system, receives input information from said second input means, the by transmitting to the window on the window system the received input information is converted into an event of the window system, the multi-modal, wherein the handle input from said second input means as the event of the window system input control method.
  2. 【請求項2】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器に適用され、前記第1の入力手段とは異なる種類の第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うためのマルチモーダル入力制御方法であって、 前記第2の入力手段がタッチパネルの場合に、前記第2 Wherein a first input means having at least a display unit and a pointing function, window system accepting a pointing by said first input means as the event is applied to an information processing apparatus is started, the first a is an input means multimodal input control method for handling input from different types of the second input means as the event of the window system, when the second input means is a touch panel, the second
    の入力手段からの入力情報を受信して、その受信した入力情報で示されるユーザのタッチした座標を前記ウインドウシステムの座標に変換し、この変換された座標の位置に存在するウインドウを識別して、その識別したウインドウに対してイベントを送信することにより、前記第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うことを特徴とするマルチモーダル入力制御方法。 Receive input information from input means, converts the touched coordinates user indicated by the received input information to the coordinates of the window system to identify the window at the position of the converted coordinates by sending an event to the identified window, multimodal input control method characterized by handling an input from said second input means as the event of the window system.
  3. 【請求項3】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器に適用され、前記第1の入力手段とは異なる種類の第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うためのマルチモーダル入力制御方法であって、 前記第2の入力手段が入力音声を認識する音声認識手段の場合に、前記音声認識手段からの認識結果を受信して、その受信した認識結果をもとにその認識結果に対して予め割り当てておいたウインドウを識別し、その識別したウインドウに対してイベントを送信することにより、前記第2の入力手段からの入力を前記ウインドウシステムのイベントとし 3. a first input means having at least a display unit and a pointing function, window system accepting a pointing by said first input means as the event is applied to an information processing apparatus is started, the first multi a modal input control method, the second input means is voice recognition means for recognizing the input speech for handling input from different types of the second input means and the input means as the event of the window system in the case of the receives the recognition result from the speech recognition means, to identify the window that had been previously assigned to the recognition result based on the received recognition results, an event for the identified window by sending an input from said second input means as an event of the window system 取り扱うことを特徴とするマルチモーダル入力制御方法。 Multimodal input control method characterized by handling.
  4. 【請求項4】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器に適用され、前記第1の入力手段とは異なる種類の第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うためのマルチモーダル入力制御方法であって、 前記第2の入力手段が一定周期毎に時間割込を発生する時間割込手段の場合に、前記時間割込手段からの割込を受信して、その受信した割込の時刻をもとにその時刻に対して予め割り当てておいたウインドウを識別し、その識別したウインドウに対してイベントを送信することにより、前記第2の入力手段からの入力を前記ウインドウシステムのイベン 4. a first input means having at least a display unit and a pointing function, window system accepting a pointing by said first input means as the event is applied to an information processing apparatus is started, the first a is an input means multimodal input control method for handling input from different types of the second input means as the event of the window system, the second input means generates a timer interrupt at every predetermined cycle when the timer interrupt means, said receiving an interrupt from the timer interrupt means, the time of the interrupt that the received identifying a window which has been previously assigned to that time to the original, and the identification by sending an event to a window, the input from the second input means of said window system events として取り扱うことを特徴とするマルチモーダル入力制御方法。 Multimodal input control method characterized by treated as.
  5. 【請求項5】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器に適用され、前記第1の入力手段とは異なる種類の第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うためのマルチモーダル入力制御方法であって、 前記第2の入力手段が、物体等の存在を検知するセンサと当該センサの状態を検出するセンサ制御手段から構成される場合に、前記センサ制御手段により得られる前記センサの状態を受信して、その受信した前記センサの状態の変化時には、その際のセンサ状態をもとにその状態に対して予め割り当てておいたウインドウを識別し、その識別したウイン 5. a first input means having at least a display unit and a pointing function, window system accepting a pointing by said first input means as the event is applied to an information processing apparatus is started, the first a is an input means multimodal input control method for handling input from different types of the second input means as the event of the window system, the second input means, detects the presence of an object such as when composed of sensor control means for detecting the state of the sensor and the sensor receives the status of said sensor obtained by the sensor control unit, at the time of change of state of the sensor the received sensor at that time identifying a window which has been previously assigned state to its state on the basis of the identification WIN ウに対してイベントを送信することにより、前記第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うことを特徴とするマルチモーダル入力制御方法。 By sending an event to c, multimodal input control method characterized by handling an input from said second input means as the event of the window system.
  6. 【請求項6】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器を用いて構成されるマルチモーダル対話システムにおいて、 前記第1の入力手段とは異なる種類の第2の入力手段と、 この第2の入力手段からの入力情報を受信する受信手段と、 この受信手段により受信された入力情報を前記ウインドウシステムのイベントに変換して当該ウインドウシステム上のウインドウに送信する入力変換手段とを具備し、 Further comprising: a first input means having at least a display unit and a pointing function, multi configured using an information processing device that the window system is started up for accepting a pointing by said first input means as the event in modal dialogue system, and different kinds of the second input means and said first input means, receiving means for receiving input information from the second input means, the input information received by the receiving means comprising an input conversion unit which transmits to the window on the window system is converted into an event of the window system,
    前記第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うことを特徴とするマルチモーダル対話システム。 Multimodal interaction system characterized by handling an input from said second input means as the event of the window system.
  7. 【請求項7】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器を用いて構成されるマルチモーダル対話システムにおいて、 前記第1の入力手段とは異なる種類の第2の入力手段であるタッチパネルと、 前記第2の入力手段からの入力情報を受信する入力受信手段と、 この受信手段により受信された入力情報で示されるユーザのタッチした座標を前記ウインドウシステムの座標に変換する座標データ変換手段と、 この座標データ変換手段により変換された座標の位置に存在するウインドウを識別するウインドウ識別手段と、 このウインドウ識別手段により識別されたウインドウに対してイベン 7. a first input means having at least a display unit and a pointing function, multi configured using an information processing device that the window system is started up for accepting a pointing by said first input means as the event in modal dialog system, a touch panel is a different type of the second input means and said first input means, an input receiving means for receiving input information from said second input means, is received by the receiving means the coordinate data converting means for touch coordinates of the user to convert the coordinates of the window system shown in the input information, and the window identification means for identifying a window at the position of the transformed coordinates by the coordinate data converting means, event for the identified window by the window identification means を送信するイベント送信手段とを具備し、前記第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うことを特徴とするマルチモーダル対話システム。 Multimodal interaction system comprising an event transmission means for transmitting, characterized in that handle input from said second input means as the event of the window system.
  8. 【請求項8】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器を用いて構成されるマルチモーダル対話システムにおいて、 前記第1の入力手段とは異なる種類の第2の入力手段である、入力音声を認識する音声認識手段と、 この音声認識手段からの認識結果を受信する音声認識受信手段と、 この受信手段により受信された認識結果と認識が行われたことを示すイベントを送信するイベント送信手段と、 このイベント送信手段からのイベントと認識結果を受信して、その受信した認識結果をもとにその認識結果に対して予め割り当てておいたウインドウを識別し、その識別したウインドウに対 8. a first input means having at least a display unit and a pointing function, multi configured using an information processing device that the window system is started up for accepting a pointing by said first input means as the event in modal dialogue system, wherein the first input means is a different type of the second input means, a speech recognition means for recognizing an input speech, a speech recognition receiving means for receiving a recognition result from the speech recognition means and event transmission means for transmitting an event indicating that the recognition result and recognition received by the receiving means has been performed, and receives an event as a recognition result from the event transmission unit, also the recognition result the received identifying a window which has been previously assigned to the recognition result to the bets, pair the identified windows てイベントを送信する処理実行手段とを具備し、前記第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うことを特徴とするマルチモーダル対話システム。 Multimodal interaction system comprising a processing executing means for transmitting the event, wherein the handle input from said second input means as the event of the window system Te.
  9. 【請求項9】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器を用いて構成されるマルチモーダル対話システムにおいて、 前記第1の入力手段とは異なる種類の第2の入力手段である、一定周期毎に時間割込を発生する時間割込手段と、 この時間割込手段からの割込を受信して、その受信した割込の時刻を発生する時間割込受信手段と、 この受信手段により発生された時刻とイベントを送信するイベント送信手段と、 このイベント送信手段からのイベントと時刻を受信して、その受信した時刻をもとにその時刻に対して予め割り当てておいたウインドウを識別し、その識別したウインドウに 9. a first input means having at least a display unit and a pointing function, multi configured using an information processing device that the window system is started up for accepting a pointing by said first input means as the event in modal dialogue system, wherein the first input means is a different type of the second input means, a timer interrupt means for generating a timer interrupt at every predetermined period, receives an interrupt from the timer interrupt means , a timer interrupt receiving means for generating the time interrupts the received, and event transmission means for transmitting the generated time and events by the receiving means receives the event and time of this event transmission unit, the identifying a window which has been previously allocated received time against the time on the basis on the identified window してイベントを送信する処理実行手段とを具備し、前記第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うことを特徴とするマルチモーダル対話システム。 Multimodal interaction system that includes a processing executing means for sending events, and wherein the handling input from said second input means as the event of the window system.
  10. 【請求項10】 少なくとも表示手段とポインティング機能を有する第1の入力手段とを備え、前記第1の入力手段によるポインティングをイベントとして受け付けるウインドウシステムが起動される情報処理機器を用いて構成されるマルチモーダル対話システムにおいて、 前記第1の入力手段とは異なる種類の第2の入力手段であって、物体等の存在を検知するセンサと当該センサの状態を検出するセンサ制御手段から構成される第2の入力手段と、 前記センサ制御手段により得られる前記センサの状態を受信するセンサ受信手段と、 この受信手段により受信された前記センサの状態が変化したときに、その際のセンサ状態とイベントを送信するイベント送信手段と、 このイベント送信手段からのイベントとセンサ状態を受信して、その 10. a first input means having at least a display unit and a pointing function, multi configured using an information processing device that the window system is started up for accepting a pointing by said first input means as the event in modal dialog system, the a first different type of the second input means and the input means, the composed sensor control means for detecting the state of the sensor and the sensor for detecting the presence of an object such as a 2 input means, transmitting a sensor receiving means for receiving a status of the sensor obtained by the sensor control unit, when the state of the sensor received by the receiving means is changed, the sensor status and events at that time and event transmission means for, receiving events and sensor status from the event transmission unit, the 信したセンサ状態をもとにその状態に対して予め割り当てておいたウインドウを識別し、その識別したウインドウに対してイベントを送信する処理実行手段とを具備し、前記第2の入力手段からの入力を前記ウインドウシステムのイベントとして取り扱うことを特徴とするマルチモーダル対話システム。 The signal was sensor status identifies the window that had been previously assigned to the state on the basis; and a process execution means for transmitting an event to the identified window, from the second input means multimodal interaction system characterized by handling the input as an event of the window system.
JP23506194A 1994-09-29 1994-09-29 Multimodal input control method and multimodal interaction system Pending JPH0895734A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23506194A JPH0895734A (en) 1994-09-29 1994-09-29 Multimodal input control method and multimodal interaction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23506194A JPH0895734A (en) 1994-09-29 1994-09-29 Multimodal input control method and multimodal interaction system

Publications (1)

Publication Number Publication Date
JPH0895734A true true JPH0895734A (en) 1996-04-12

Family

ID=16980504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23506194A Pending JPH0895734A (en) 1994-09-29 1994-09-29 Multimodal input control method and multimodal interaction system

Country Status (1)

Country Link
JP (1) JPH0895734A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6823308B2 (en) * 2000-02-18 2004-11-23 Canon Kabushiki Kaisha Speech recognition accuracy in a multimodal input system
WO2008050963A1 (en) * 2006-10-25 2008-05-02 Yun Yong Ko Method of story telling presentation and manufacturing multimedia file using computer, and computer input device and computer system for the same
US7406420B2 (en) 2002-07-23 2008-07-29 Omron Corporation Data input method and data input device for inputting text and voice data
US7421655B2 (en) 2003-07-10 2008-09-02 Canon Kabushiki Kaisha Presenting information indicating input modalities
DE102009058146A1 (en) 2009-12-12 2011-06-16 Volkswagen Ag Method for determining action e.g. output of control command to vehicle system, in motor vehicle, involves seeing object groups as specified object groups when specifying data specifies only objects representing partial amount of objects

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6823308B2 (en) * 2000-02-18 2004-11-23 Canon Kabushiki Kaisha Speech recognition accuracy in a multimodal input system
US7406420B2 (en) 2002-07-23 2008-07-29 Omron Corporation Data input method and data input device for inputting text and voice data
US7421655B2 (en) 2003-07-10 2008-09-02 Canon Kabushiki Kaisha Presenting information indicating input modalities
WO2008050963A1 (en) * 2006-10-25 2008-05-02 Yun Yong Ko Method of story telling presentation and manufacturing multimedia file using computer, and computer input device and computer system for the same
DE102009058146A1 (en) 2009-12-12 2011-06-16 Volkswagen Ag Method for determining action e.g. output of control command to vehicle system, in motor vehicle, involves seeing object groups as specified object groups when specifying data specifies only objects representing partial amount of objects

Similar Documents

Publication Publication Date Title
US6842795B2 (en) Methods and apparatus for shifting focus between multiple devices
US5920841A (en) Speech supported navigation of a pointer in a graphical user interface
US5579481A (en) System and method for controlling data transfer between multiple interconnected computer systems with an untethered stylus
US7444001B2 (en) Gesture activated home appliance
US6668244B1 (en) Method and means of voice control of a computer, including its mouse and keyboard
US6651045B1 (en) Intelligent human/computer interface system
US20040021645A1 (en) Coordinate input apparatus, control method thereof, and program
US8275617B1 (en) Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands
US4914624A (en) Virtual button for touch screen
US20030055655A1 (en) Text processing system
US6654496B1 (en) Method and apparatus for selecting symbols using strokes on a user interface
US5404458A (en) Recognizing the cessation of motion of a pointing device on a display by comparing a group of signals to an anchor point
US5252951A (en) Graphical user interface with gesture recognition in a multiapplication environment
US7036080B1 (en) Method and apparatus for implementing a speech interface for a GUI
US20030214488A1 (en) Input device and touch area registration method
Fukumoto et al. " Finger-Pointer": Pointing interface by image processing
US20130138424A1 (en) Context-Aware Interaction System Using a Semantic Model
US6526381B1 (en) Remote control with speech recognition
JPH0933278A (en) Display device for operation of on-vehicle equipment
Marsic et al. Natural communication with information systems
US7158117B2 (en) Coordinate input apparatus and control method thereof, coordinate input pointing tool, and program
JPH08212005A (en) Three-dimensional position recognition type touch panel device
US20070094618A1 (en) Multiple cursor system
US7230582B1 (en) Wearable computer in a process control environment
US6853972B2 (en) System and method for eye tracking controlled speech processing

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040217