JPH09258945A - Individual information equipment - Google Patents

Individual information equipment

Info

Publication number
JPH09258945A
JPH09258945A JP6780196A JP6780196A JPH09258945A JP H09258945 A JPH09258945 A JP H09258945A JP 6780196 A JP6780196 A JP 6780196A JP 6780196 A JP6780196 A JP 6780196A JP H09258945 A JPH09258945 A JP H09258945A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
pen
computer
input
paper
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6780196A
Other languages
Japanese (ja)
Inventor
Hirokazu Aoshima
Yasuharu Nanba
Hideki Sakao
Shunichi Tano
Taminori Tomita
民則 冨田
秀樹 坂尾
俊一 田野
康晴 難波
弘和 青島
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To use a computer with a user interface in a human-centered form and not in a computer-centered form by making the computer interactive in a multi-modal form such as voice, handwriting and gesture.
SOLUTION: Paper 2 on a real disk 1, an environment viewer 3, a pen input computer 4, a keyboard 9, a pen with scanner 8, a microphone 6, a speaker 5 and a camera 7 are provided. The pen input computer 4 displays the file of a virtual desk top and executes application as the interface of real paper and virtual paper by using the pen with scanner 8, which incorporates a small CCD camera in the pen. The desk top is displayed in the environment viewer 3 and an intelligent agent 10 and the like are displayed on the monitor. The displayed agent 10 extracts a user intention from the multi-modal indication from an instruction (by pen, voice and gesture) for the system, solves a problem and outputs a result.
COPYRIGHT: (C)1997,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、パーソナルコンピュータをはじめとするコンピュータや携帯情報機器等のユーザインタフェース技術に係る。 The present invention relates to relates to a user interface technology, such as a computer or a portable information devices such as personal computers. より詳細には、キーボード、マウス、ペン、音声、身振りなど複数のメディアを用いた指示に基づき、ユーザに代わってコンピュータやアプリケーションソフトウエア等を制御し、静止画、動画、音声、効果音等の複数のメディアを用いて応答するマルチモーダル個人情報機器に関する。 More specifically, a keyboard, mouse, pen, voice, based on an instruction using a plurality of media such as gestures to control the computer and application software, etc. on behalf of the user, a still image, video, audio, etc. sound effects It relates to a multi-modal personal information devices to respond by using a plurality of media.

【0002】 [0002]

【従来の技術】現在パーソナルコンピュータをはじめとするコンピュータがオフィス、家庭において急速に普及している。 BACKGROUND OF THE INVENTION current computer, including the personal computer has been rapidly spread office, in the home. その原動力はハードウエアの面でのコストパフォーマンスの飛躍的な向上、およびソフトウエア面でのグラフィカルユーザインタフェース導入によるユーザフレンドリネスの改善にあると考えられる。 Its driving force is considered to dramatic improvements in cost in terms of hardware, and by a graphical user interface introduced by software surface to improve the user friendliness. 例えば、文献「JA Sohnson, et. al. : ACE: Building Interac For example, the literature "JA Sohnson, et al:.. ACE: Building Interac
tive Graphical Applications, Communications of the tive Graphical Applications, Communications of the
ACM, Vol, 36, No. 4, pp. 400-55, 1993」にはグラフィカルユーザインタフェースの優位さが述べられている。 ACM, Vol, 36, No. 4, pp. 400-55, superiority of graphical user interfaces have been described in 1993 ".

【0003】 [0003]

【発明が解決しようとする課題】しかし、上記技術を基本にしたグラフィカルユーザインタフェースベースのユーザインタフェースを持つコンピュータが、オフィス、 The object of the invention is to be Solved However, a computer with a graphical user interface-based user interface, which was based on the above-mentioned technology, office,
家庭に普及するとともに、現在のコンピュータが有する以下に示す3つの問題点(問題点(1)〜(3))が認識されつつある。 With spread to homes, becoming three problems described below with the current computer (Problem (1) to (3)) is recognized.

【0004】問題点(1)不自然な作業環境 コンピュータが不必要な場合は、机上を自由に使えるもの。 [0004] The problem (1) When an unnatural work environment computer is unnecessary, free-to-use thing the desk. しかし、一旦コンピュータが必要となると、ユーザは、モニタ上の狭いデスクトップに縛りつけられてしまう。 However, once the computer is required, the user would be tied to narrow the desktop on the monitor.

【0005】これはコンピュータが我々の活動世界を無視し、我々の活動の場をコンピュータの扱い易い仮想的なモニタ上のデスクトップに限定していることに起因している。 [0005] This is due to the fact that the computer is limited to the desktop on our activities to ignore the world, we in the field of computer activities easy to handle virtual monitor.

【0006】問題点(2)限定された入出力方法 現在のコンピュータの入出力は、キーボード、マウス、 [0006] The input and output of the problem (2) limited input and output method of the current computer, keyboard, mouse,
画面上の表示に限定されている。 It has been limited to the display on the screen. コンピュータとの円滑なインタフェースには入出力バンドの拡大が必要である。 The smooth interface with the computer there is a need for expansion of input and output band.

【0007】問題点(3)非知的なユーザインタフェース コンピュータに対する操作を、例えばグラフィカルユーザインタフェースによるダイレクトマニピュレーションなどで明示的に指示しなければならない。 [0007] Problem (3) operations on non-intelligent user interface computer, for example, must be explicitly indicated in such direct manipulation by the graphical user interface. なにができるかということに加えて、どのようにやるかまでユーザが知らなければならない。 In addition to the fact that what can be, you must know the user to how to do. また、コンピュータには多くのデータが格納されているのにもかかわらず、それがコンピュータに認識されない。 Moreover, despite the many data are stored in the computer, it is not recognized in the computer. さらに、ネットワーク上には貴重なデータが保持されているにもかかわらず利用が困難である。 Further, on the network it is difficult despite utilization valuable data is held.

【0008】本発明の目的は、コンピュータ中心ではなく、より人間中心のユーザインタフェースを有するコンピュータ利用環境を提供することにある。 An object of the present invention is not a computer center, it is to provide a computer-based environment having a user interface of a more human-centered.

【0009】 [0009]

【課題を解決するための手段】上記の目的を達成するために、本発明では、人間中心・実世界中心の考え方により設計し、音声、手書き、ジェスチャ等のマルチモーダルな形態で対話可能なコンピュータとする。 To achieve the above object SUMMARY OF THE INVENTION In the present invention, designed according to the concept of the human heart, the real world center, voice, handwriting, interactive computer capable multimodal form gesture such as to.

【0010】ここで、これらの問題点を解決するためには、各問題点を独立としてではなく、総合的にとらえる必要がある。 [0010] Here, in order to solve these problems, rather than each problem as an independent, it is necessary to capture comprehensively. 問題点(1)の解決のためには、新たなコンピューティング環境を提示しなくてはならない。 For solve the problems (1), must present a new computing environment. そこで必要となる入出力(問題点(2))は、その環境と密接に関係している。 Therefore, it is necessary input and output (Problem (2)) is closely related to the environment. さらに、知的な処理(問題点(3))は、コンピューテイング環境に深く関連し、さらに高度な入出力は知的処理抜きには実用として供することはできない。 Additionally, intelligent process (Problem (3)) is closely related to computing queuing environment, more sophisticated input and output to the intelligent processing vent can not serve as practical.

【0011】まず、問題点(1)はコンピュータ側だけの論理でユーザインタフェース環境が設計されてきたことから発生している。 [0011] First, problems (1) the user interface environment logic only computer side is generated from what has been designed. 現在、この問題点を解決する方法は完全なバーチャルリアリティの採用か、実世界への回帰と考えられているが、本発明では、実世界と仮想世界の融合により解決を図る。 Current, or the adoption of a complete virtual reality is how to solve this problem, but it is believed that a return to the real world, in the present invention, attempt to resolve by the fusion of the virtual world and the real world. 具体的には、『実デスク+仮想デスク+実ペーパ+仮想ペーパ』の組み合わせで解決を図る。 Specifically, attempt to resolve a combination of "real desk + virtual desk + real paper + virtual paper".

【0012】すなわち、実デスクの上に実際の紙(実ペーパ、図1での2)が乗っている世界がコンピュータレスの世界であり、これに、仮想デスクを表わすモニタと、仮想ペーパを表わすペン入力コンピュータを数枚乗せた環境である。 [0012] In other words, the actual desk actual on top of the paper world are riding (real paper, 2 in Figure 1) is the world of computer-less, to this, representing a monitor representing a virtual desk, a virtual paper a few sheets placed on the environment of the pen input computer.

【0013】より具体的には以下の手段により問題点を解決する。 [0013] More specifically solves the problem by the following means.

【0014】(1)デスクトップなどの業務環境を仮想的に表示する装置である環境ビューワ、表示入力一体型ペン入力コンピュータで実現された紙と同様なインタフェースを有する仮想ペーパ、マイク、スピーカ、カメラ、ペン、キーボードを構成要素とする。 [0014] (1) Environmental viewer is a device that virtually display the operating environment, such as a desktop, a virtual paper having the same interface and paper is realized by the display input integrated pen-input computer, a microphone, a speaker, a camera, pen, as a component of the keyboard.

【0015】(2)環境ビューワに、以下の3種を区別して表示するとよりよい。 [0015] (2) to the environment viewer, better and display to distinguish the following three types. まず第1には、電子的なファイルやホルダ(フォルダ)などのような仮想的にしか存在しないものである。 First the first, electronic files and holders (folder) in which only exists in virtually like. 第2に、ネットワークで結合されたエアコン、ビデオ、電灯などのような現実の世界に存在しかつ計算機から操作できるものである。 Second, it can operate combined in the network the air conditioning, video, from there to the real world, such as lights and computer. 最後に、机の上に置いてある実際の紙などのように現実の世界に存在し計算機から操作できないものである。 Finally, it can not be operated from the existing computer in the real world, such as the actual paper that is placed on top of the desk.

【0016】(3)さらに好適には、その現実の世界に存在しかつ計算機から操作できるもの、および現実の世界に存在し計算機から操作できないものは、業務環境の状況をカメラから入力しそれを解析することにより位置を特定し、仮想ビューワ内に表示されているデスクトップ等の仮想的な世界の対応する位置に重ねて表示する。 [0016] (3) More preferably, it can operate from present and calculator in the world of that reality, and the reality of what can not be operated from existing computer in the world, it inputs the status of the task environment from the camera It locates by analyzing and displayed over the virtual corresponding position in the world, such as desktops that are displayed in the virtual viewer.

【0017】(4)さらに好適には、環境ビューワには環境の大まかな様子だけが表示する。 [0017] (4) More preferably, the environmental viewer only rough state of the environment is displayed. この際、環境ビューワ上のデスクトップ等に表示されている文章ファイルの詳細な内容は、仮想ペーパ上に表示する。 In this case, the detailed contents of the text file that is displayed on the desktop or the like on the environment viewer, to display on the virtual paper. この時、環境ビューワには表示しなくともよい。 In this case, it may not be displayed in the environment viewer.

【0018】(5)さらに、環境ビューワには、自分のオフィス、他人のオフィス、図書室等の複数の環境が同時に表示するとよりよい。 [0018] (5) In addition, the environment viewer, his office, others of office, better and more environment are displayed at the same time, such as a library.

【0019】(6)最後に、仮想ペーパを複数枚隣り合せに置いた場合、1枚の大きなパッドとして連動して動作可能とする。 [0019] (6) Finally, when placing the virtual paper on a plurality next combined, and operable in conjunction as a single large pad.

【0020】次に問題点(2)と問題点(3)は、以下の手段で実現されるマルチモーダルな入出力が可能な知的なエージェントの導入により解決する。 [0020] Next problem (2) and problems (3) is solved by the introduction of multimodal input and output intelligent agents capable realized by the following means.

【0021】(1)個人情報機器全体を管理するエージェントを設ける。 [0021] (1) providing an agent to manage the entire personal information devices. このエージェントは、音声、ジェスチャ、ペンジェスチャ、ペンおよびキーボードのうち少なくとも2つによる入力を同時に用いたマルチモーダル入力で処理する。 This agent, voice, gestures, pen gesture, treated with multimodal input using simultaneous inputs from at least two of the pen and a keyboard.

【0022】(2)環境ビューワに複数の環境が表示されたいる場合、エージェントは、複数の環境を対象に指示を実行するとよりよい。 [0022] (2) If the environmental viewer multiple environments are displayed, the agent may more when executing instructions for multiple environments.

【0023】(3)また、より好適には、ユーザが入力した音声やペン入力内容として、仮想ペーパに音声認識結果あるいは手書き文字認識結果として一旦表示する。 [0023] (3) In addition, more preferably, as a voice or pen entries entered by the user, once displayed as a speech recognition result or handwriting recognition result to the virtual paper.
その認識結果がエージェントの指示として実行可能である場合、表示色を変えユーザに知らせ、その指示を実行した場合は、仮想ペーパ上から消し、実行しない場合はそのまま認識結果を仮想ペーパ上に残す。 If the recognition result is executable as an indication of the agent informs the user changing the display color, the case of executing the instruction, off from the virtual paper, if not performed leave the recognition result on a virtual paper.

【0024】(4)また、エージェントは、音声、効果音、環境ビューワ表示、仮想ペーパのうち少なくとも2 [0024] (4) In addition, the agent, voice, sound effects, environment viewer display, out of the virtual paper at least 2
つの表示による出力を同時に用いたマルチモーダル出力で応答する。 It responds with multimodal output using One of displaying a by simultaneously output.

【0025】(5)エージェントの姿を、環境ビューワにエージェントのシンボルとして表示する。 [0025] (5) the appearance of the agent, to display as an agent of the symbol to the environment viewer. 実行可能な指示を認識した場合、表示したシンボルの表情を変えるとともに、内容をテキストで表示しながらそれを実行する。 If you recognize the executable instructions, along with changing the look of the display the symbol, to run it while displaying the contents in the text.

【0026】(6)ユーザの指示内容が、状況から推察して確実な場合、仮想ペーパで色の変わって表示されているコマンドとして認識された部分をタップした場合、 [0026] (6) If the instruction contents of the user, if you inferred from the situation reliable, which tap the recognized part as a command that is displayed changes color on a virtual paper,
エージェントに対して『OK』と言った場合、OKのジェスチャをした場合、エージェントに触れた場合、ユーザがエージェントに目を合わせてうなずいた場合、エージェントがその指示を実行する。 If you say "OK" to the agent, in the case where the gesture of OK, if you touch the agent, if the user has nodded to fit the eye to the agent, the agent to execute the instruction.

【0027】(7)環境ビューワの電子ファイルをダブルタップする、電子ファイルを仮想ペーパに重ね合わせる、音声やジェスチャを使って、『これをオープン』のように指示する、ことにより環境ビューワに表示されている電子ファイル等を仮想ペーパに簡単に表示可能とする。 [0027] (7) to double-tap the environmental viewer electronic file, to superimpose the electronic file to a virtual paper, using voice and gesture, is instructed to "open it", it appears in the environment viewer by and that the electronic files and the like, and can easily be displayed on the virtual paper.

【0028】 [0028]

【発明の実施の形態】以下、図面を用いて本発明の実施例を説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an embodiment of the present invention will be described with reference to the drawings. 図1に本発明の第一の実施例の外観を示す。 Showing an appearance of a first embodiment of the present invention in FIG. 本実施例は、図1に示すように、以下の構成要件を有する。 This embodiment, as shown in FIG. 1 has the following configuration requirements. 実デスク1の上の実際の紙2、仮想デスクを表示する環境ビューワ3と、仮想ペーパを表わすペン(手書き)入力コンピュータ4、キーボード9、および小型 The actual paper 2 on the real desk 1, the environment viewer 3 for displaying a virtual desk, pen representing the virtual paper (handwritten) input computer 4, a keyboard 9, and a small
CCDカメラをペンに内蔵したスキャナ付ペン8、マイク6、スピーカ5、机上の様子を入力するカメラ7より構成されている。 Scanner with pen 8 with a built-in CCD camera in the pen, a microphone 6, a speaker 5, and is composed of a camera 7 for inputting the state of the desk. 本発明では、これら構成要件をユーザの使用しやすい環境となるよう構成する。 In the present invention, it is configured to be those configuration requirements and user use and friendly environment. なお、環境ビューワ3にはエージェント10が表示される。 Incidentally, the agent 10 is displayed on the environment viewer 3.

【0029】環境ビューワ3には、従来とほぼ同様のグラフィカルユーザインタフェースでのデスクトップが表示される。 [0029] Environmental viewer 3 is a conventional desktop at substantially the same graphical user interface is displayed. このモニタには、ファイル、ホルダ、メールのインボックス、インテリジェントエージェント10などが表示される。 This monitor, file, holder, e-mail in-box, such as the intelligent agent 10 is displayed. 机上にある実物(例えば実際の紙2) Real on the desk (for example, the actual paper 2)
は、カメラ7を通して実デスクを監視することにより、 By monitoring the real desk through the camera 7,
この仮想デスクトップに表示される。 It is displayed in this virtual desktop.

【0030】ペン入力コンピュータ4は、仮想ペーパに対応する。 The pen-input computer 4, corresponding to the virtual paper. 仮想デスクトップのファイルの表示やアプリケーションの実行は、ペン入力コンピュータ4で行う。 Execution of the display and application of virtual desktop file is carried out in the pen-input computer 4.
ペン入力コンピュータ4は、仮想ペーパである。 Pen-input computer 4 is a virtual paper. したがって、ペンで操作されるものである。 Accordingly, it is intended to be operated with a pen. ここで、ペン入力コンピュータ4は、「認識を伴わないインクモードを持つ」、「2つのペン入力コンピュータを横に置くと1つの大きな仮想ペーパとなる」などの実ペーパの特徴を持つ。 Here, the pen-input computer 4, "with the ink mode without recognition", with a real paper characteristics, such as "place the two pen computer beside the one large virtual paper".

【0031】小型CCDカメラをペンに内蔵したスキャナ付ペン8を用いて、実ペーパと仮想ペーパのインタフェースをとる。 [0031] using a scanner with pen 8 with a built-in miniature CCD camera in the pen, to interface real paper and virtual paper. すなわち、実ペーパの情報はペン型のスキャナで取り込まれ、ペン入力コンピュータ上の指定領域へ認識されたデータあるいは生のスキャンデータが転送される。 That is, the information of the real paper is incorporated in a pen type scanner, recognized data or raw scan data to the specified area on the pen-input computer is transferred.

【0032】複数のペン入力コンピュータ、環境ビューワおよびスキャナ付ペン等は赤外線等の室内(あるいはデスクトップ)LANで結合しておく。 The plurality of pen-input computer, environmental viewer and pen with scanner keep bonded indoors (or desktop) LAN such as infrared rays. そしてこれらを協調的に動作させる。 Then cooperatively operate them.

【0033】エージェントへの指示はペン、音声、ジェスチャ、キーボードの複数のモードを用いて行われる。 [0033] instructions to the agent pen, voice, gestures, carried out using a plurality of modes of the keyboard.
同じモードに対応する入力メディア(複数のペン入力コンピュータ、モニタ、マイクなど)が複数存在する。 Input media corresponding to the same mode (s pen-input computer, monitor, a microphone) there are multiple. 例えば、ペン入力はどのペン入力コンピュータでも行うことができ、また、ジェスチャは、どのペン入力コンピュータでも環境ビューワ上でも行うことができる。 For example, the pen input can also be performed in which the pen-input computer, also, the gesture may be performed also on environmental viewer on any pen-input computer. すなわち、入力モードは複数の入力メデイア(装置)に分散されることになる。 That is, the input mode will be dispersed to a plurality of input media (devices).

【0034】出力としては、環境ビューワやペン入力コンピュータに表示されるほか、音声合成など利用し音声や効果音、グラフィカル表示などを用いてマルチモーダルに出力する。 [0034] Examples of the output, in addition to be displayed on the environment viewer and pen-input computer, voice and sound effects to use, such as speech synthesis, and outputs it to the multi-modal by using a graphical display.

【0035】エージェント10が環境ビューワ上に表示し、これを知的処理のシンボルとしてもよい。 The agent 10 is displayed on the environment viewer, this may be as a symbol of intellectual processing. 具体的には、システムに対する命令(ペン、音声、ジェスチャ) Specifically, the instruction to the system (pen, voice, gestures)
は、この知的エージェントが処理するという形になる。 It will form of this intellectual agent processes.

【0036】エージェントは、マルチモーダルな指示からユーザの意図を抽出し、それをもとに問題解決し、結果を出力するという処理を行う。 [0036] The agent, the intention of the user is extracted from the multimodal instructions to solve the problem based on it, it performs a process of outputting a result.

【0037】図2に、本システムの構成図を示す。 [0037] FIG. 2 shows a block diagram of the present system. 本システムは、3台のワークステーション101、102、 The system 3 workstations 101, 102,
103、および4台のペンパソコン105、106、1 103, and four pen PC 105,106,1
07、108、入出力用のパソコン104、アプリケーションをバックグラウンドで実行するためのパソコン1 07,108, the personal computer 1 for executing computer 104 for input and output, the application in the background
09から構成される。 It consists of 09.

【0038】ワークステーション101、102、10 [0038] workstation 101,102,10
3のソフトウエア構造は、OS110、その上部にワークステーションとパソコン間の通信ソフトウエア111 Software structure 3, OS 110, the communication software 111 between workstations and personal computers on the top
から構成される。 It consists of. ワークステーション103は音声認識、カメラ入力専用であり、そのために音声認識サーバ120、画像入力サーバ121を稼働させている。 Workstation 103 is speech recognition, a camera input only, and operate the voice recognition server 120, an image input server 121 for this purpose. ワークステーション101は、本個人情報環境全体の制御プログラム112と、後述するマルチモーダルアナライザ(MMA)113および印刷文字認識サーバ114、手書き文字認識サーバ115が稼働している。 Workstation 101 includes a control program 112 of the entire personal information environment, multimodal analyzer (MMA) 113 and a print character recognition server 114 to be described later, handwriting recognition server 115 is running. ワークステーション102は、本個人情報環境全体の制御プログラム112の他に、後述するマルチモーダル問題解決器(MMIP)117、マルチモーダル応答生成器(MM Workstation 102, in addition to the personal information environment overall control program 112, the multimodal problem solving apparatus described later (MMIP) 117, a multi-modal response generator (MM
G)118、および、音声合成サーバ119、一般アプリケーションプログラム116が稼働している。 G) 118 and the voice synthesizing server 119, the general application program 116 is running.

【0039】また、本システムでは、ペンパソコン(ペン入力コンピュータ)105、106、107、108 [0039] Further, in the present system, the pen PC (pen-input computer) 105, 106, 107, and 108
およびパソコン109はOS127を有し、その上にワークステーションとパソコン間の通信ソフトウエア12 And the personal computer 109 has a OS 127, the communication software 12 between workstations and personal computers on it
6、本個人情報環境全体の制御プログラム125および仮想ペーパのソフトウエア123、OS127上アプリケーションの外部からの制御プログラム124が稼働している。 6, the control program 124 is running from the outside of the personal information of the environment overall control program 125 and the virtual paper software 123, OS 127 on the application. パソコン104もOS127を有し、その上にワークステーションとパソコン間の通信ソフトウエア1 PC 104 also has an OS 127, a communication software 1 between workstations and personal computers on it
26、本個人情報環境全体の制御プログラム125、および、ペン型スキャナ入力128、キーボード入力12 26, the personal information environment overall control program 125 and, the pen type scanner input 128, keyboard input 12
9、環境ビューワ管理130のプログラムが稼働している。 9, the program of environmental viewer management 130 is running.

【0040】本システムでは、図3に示すように、知的エージェント32を各ペンパソコン(ペン入力コンピュータ)や環境ビューワで実行中のアプリケーション31 [0040] In this system, as shown in FIG. 3, the intelligent agent 32 running on each pen computer (pen-input computer) and the environment viewer application 31
とユーザを介在するシステムとしてみなす。 Regarded as a system for intervening user and. ユーザは、 The user,
アプリケーションを知的エージェントを介さずに直接操作することも、知的エージェントの助けを借りてアプリケーションを利用することも可能である。 It is also, it is also possible to use the application with the help of intelligent agents to work directly with the application without the intervention of the intelligent agent.

【0041】次に、この個人情報機器の利用法について説明する。 Next, a description will be given of usage of this personal information devices. ユーザは図1に示すように、以下の環境で利用する。 The user, as shown in FIG. 1, use in the following environments. (a)複数のペンパソコン(ペン入力コンピュータ)4、(b)環境ビューワ(仮想デスクトップ、知的エージェント)3、(c)スキャナ付ペン8のハードウエアと実際の紙が混在した環境で利用する。 (A) a plurality of pen PC (pen-input computer) 4, is used in (b) environment viewer (virtual desktop, intelligent agents) 3, (c) the actual paper and the hardware of the scanner with a pen 8 has a mixed environment . この環境によりユーザは、ペン、音声、ジェスチャ(ペン、タッチ)を同時に混在させインタフェースすることが可能である。 User This environment may be the interface mix pen, voice, gestures (pen, touch) at the same time.

【0042】(1)基本操作:知的エージェント機能を使わない場合 環境ビューワ(仮想デスクトップ)5に種々の書類を表示する。 [0042] (1) Basic Operation: to display a variety of documents to the intelligent agent when the function does not use the environment viewer (virtual desktop) 5. ここで、ユーザが、表示されたものから所望のものを選択(「オープン」)すると、選択されたものが手許のペン入力コンピュータのうち少なくとも1台に現われ、操作を行うことができる。 Here, the user selects a desired one from those displayed ( "open"), the appeared in at least one of the pen-input computer of the hand those selected, it is possible to perform the operation.

【0043】つまり、以下にあげるようにユーザは複数の操作の仕方から選ぶことができる。 [0043] That is, the user can choose from the way of a plurality of operation as listed below. ペンによる手書き、ペンによるタップ、ペン型スキャナ、キーボードを用いて操作を行うことができる。 Handwriting with a pen, it is possible to perform an operation using the tap with the pen, the pen type scanner, a keyboard. この場合、ユーザにとってのメリットは、以下の通りである。 In this case, the benefits for the user are as follows.

【0044】(a)作業環境が机上に拡大され、机上で紙やペンを用いて自然に作業できること (b)実ペーパと同じメタファで仮想ペーパを使うことができること (c)実ペーパと仮想ペーパのインタフェースがペン型スキャナでとれること (例えば、実ペーパ上に重要なデータがある場合、ペン型スキャナで容易に仮想ペーパ上にもってくることが可能) (2)応用操作:知的エージェント機能を使う場合 知的エージェント機能を使う場合、以下の入力構成要件に対応したマルチモーダル入出力が可能となる。 [0044] (a) working environment is enlarged on the desk, that you can use the virtual paper in the same metaphor and that (b) the actual paper that can work naturally using paper and pen on the desk (c) the actual paper and the virtual paper the interface can take a pen-type scanner (e.g., if there is data on the real paper, can bring on a readily virtual paper with a pen-type scanner) (2) application operation: intelligent agent function If the case using the intelligent agent used functions, multi-modal input and output is possible that corresponds to the following input configuration requirements. この構成要件とは、(a)ペン、(b)音声、(c)ジェスチャ(ペン)、(d)キーボードなどである。 And the configuration requirements, (a) the pen, (b) voice, (c) Gesture (pen), and the like (d) keyboard. 知的エージェントが有する情報は、(a)アプリケーションに関する情報(記憶されているデータの意味および外部から操作する方法)、(b)個人情報(ユーザが教えた情報)、 Information intelligent agent has the (method of operating means and the external data being stored) information on (a) the application, (b) personal information (information that the user has taught),
(c)言語情報(単語、シソーラス、意味)などである。 (C) language information (word, thesaurus, meaning), and the like.

【0045】知的エージェントがアプリケーション(アドレス帳)に関する知識を用いると、以下のような操作が可能となる。 [0045] When the intelligent agent is using the knowledge about the application (address book), the following operation is possible.

【0046】例えば、手紙をペン入力コンピュータで作成し、五百旗頭さんにそれをfaxする場合、姓名が難しいので、音声とペンとジェスチャを用いて図4のように指示することができる(41)。 [0046] For example, to create a letter with a pen input computer, if you want to fax it to the Iokibe's, it is difficult first and last name, it is possible to instruct as shown in FIG. 4 by using the voice and pen and gesture (41). この処理においては、まず、マルチモーダル入力の意味解析が行なわれる。 In this process, first, the semantic analysis of multimodal input is performed. すなわち、ペンで指されたペン入力コンピュータのファイルが「この手紙」であり、音声とペン入力を合わせて1つの文とみなす必要がある(これが後述するマルチモーダル意味処理(MMIP)の仕事である)。 That is, a file pointed pen-input computer by pen "this letter" is the work of combined voice and pen input should be considered as one statement (multimodal meaning process which will be described later (MMIP) ). 次に、faxするには、五百旗頭さんのfax番号が必要であるので、知的エージェントはアドレス帳というアプリケーションで五百旗頭さんのfax番号を検索する。 Then, to the fax is, five hundred since the upper part of a flag's fax number is required, the intelligent agent is to find the fax number of Mr. Iokibe an application named address book.
この時、知的エージェントは、アドレス帳というアプリケーションには名前と電話番号が記憶されているというアプリケーションに関する情報、および、その検索するという操作がどのように外部から実行可能であることを知らなければならない。 At this time, intelligent agent, information about the application of the name and phone number to the application that the address book is stored, and, without knowing that the operation that the search can be executed how externally not not. 逆に、アプリケーションが知的エージェントによって利用されるには、このような情報および外部から機能の呼び出し機能をエージェントに伝える方法が必要である。 Conversely, the application is utilized by the intelligent agents, there is a need for a method of transmitting a calling functions of this kind of information and external to the agent.

【0047】また、上記の例では、五百旗頭さんのfa [0047] In addition, in the above example, Iokibe's fa
x番号をアドレス帳アプリケーションからもってきたが、直接知的エージェントに教えた情報を用いることもできる。 Has been with the x number from the address book application, it is also possible to use the information taught directly to the intelligent agent. 例えば、『五百旗頭さんのfax番号はxxxである。 For example, "Iokibe's fax number is xxx. 』と教えれば、アドレス帳アプリケーションがなくてもよい。 This by telling a ", which may or may not address book application.

【0048】図5に、ペン型スキャナを用いた利用例5 [0048] FIG. 5, application example 5 using the wand
1を示す。 Shows the 1. ユーザは注文書を通信販売会社にfaxしようとしているが、そのfax番号が、新聞(実物の紙) While a user is trying to fax the order form to mail-order company, the fax number, newspaper (real paper)
上にあるため、「ここに」と音声で指示しながら、同時にペン型スキャナで入力する。 Because of the above, while indicated by voice as "here", enter the pen type scanner simultaneously. この場合、fax番号だけを厳密にスキャンする必要はなく、ラフにスキャンすれば、意味(この場合、電話番号であるとの予測)から、適切なものだけが切り取られて用いられる。 In this case, there is no need to scan only strictly fax number, if scanning the rough, meaning (in this case, the prediction of the a telephone number) from used by only appropriate is cut.

【0049】この応用操作においてのユーザメリットは、(a)マルチモーダル入力によって自然に、簡単に、指示することができること、(b)知的エージェントが複雑なアプリケーションを使いこなしてくれること(他システムの情報も自動的に参照できる)および(c)個人的な情報(メモ)を自然言語(マルチモーダル入力が可)でエージェントに教えると、それを知識として用いることなどである。 The user benefits in this application operation, (a) naturally by multimodal input easily, that can be indicated, (b) the intelligent agent us mastering complex applications (other system When information is also teach agent automatically see it) and (c) personal information (note) a natural language (multimodal input is possible), it is like to use it as knowledge.

【0050】以下、オフィスワークにおける利用例を図6に示す。 [0050] The following shows an example of usage in the office work in Figure 6. 音声か手書きで『絵のこの部分を、部長にファックスせよ。 This part of the "picture in the voice or handwriting, whether fax to the director. 』と指示をしながら、『この部分』を言うと同時に、対象部分をペンで丸くで囲むという操作をした場合(例61)、エージェントは対象部分から絵を切りだし、それを部長に自動的にファックスする。 "And while the instruction," and at the same time we say this part ", in the case where the operation that enclosed in round the target portion with a pen (Example 61), the agent cut out a picture from the target portion, automatically it to the Director fax to.

【0051】音声か手書きで『予算資料の中にあるグラフを、ここにコピーせよ。 [0051] The graph is in the "budget document by voice or handwriting, whether copy here. 』と指示をしながら、『ここ』を言うと同時に、対象場所をペンでタップした場合(例62)、エージェントは予算資料か格納されているファイルを自動的に探し、その中からグラフを持ってきてタップした場所にコピーする。 "And while the instruction, and at the same time say" here ", if you tap the target location in the pen (Example 62), the agent automatically looks for a file that is stored or budget documents, with a graph from the to copy to the location where you tap come.

【0052】音声か手書きで『私の顔写真はこれです。 [0052] This is "my face photos with voice or handwriting. 』と指示をしながら、『これ』を言うと同時に、ペン入力コンピュータに表示されている写真を丸で囲んだあるいはあるいは、ペン型スキャナで実際の写真をスキャンした場合(例63)、エージェントはこれを知識として保存し後で利用する。 "And while the instruction," and at the same time say this ", or or enclosed a photo that is displayed in the pen-input computer in the circle, if you scan the actual photos in the pen-type scanner (Example 63), the agent utilized in the later and save it as knowledge.

【0053】この後、音声か手書きで『私の顔写真を表示せよ。 [0053] After that, the case displays the "My face photos with voice or handwriting. 』と指示した場合(例64)、エージェントは前の会話で教えられた情報をもとに写真を表示する。 "As if you had instructed (Example 64), the agent displays the photos on the basis of the taught information in front of the conversation.

【0054】また、音声か手書きで『田中さんの住所はここで、電話番号は、これだ。 [0054] In addition, in this case, "Tanaka's address by voice or handwriting, telephone number, This is it. 』と指示をしながら、 "And while the instruction,
『ここ』『これ』を言うと同時に、ペン型スキャナで名刺の対応する部分をスキャンした場合(例65)、エージェントはこれをマルチメデア知識として保存し後で利用する。 At the same time it refers to "here" "this", when scanning a corresponding portion of a business card with a pen-type scanner (Example 65), the agent utilized in later save it as Maruchimedea knowledge.

【0055】図7に、全体の処理フローを示す。 [0055] Figure 7 shows the overall processing flow. 知的認識機構71、73、76は2段階のフィードバックループを持つ。 Intellectual recognition mechanism 71,73,76 has a two-stage feedback loop. 第1のフィードバックループは知的認識機構71、73、76内部に存在する。 The first feedback loop is present within the intellectual recognition mechanism 71,73,76. ここでは、知的認識機構71、73、76が持つ辞書、形態素情報を用いて認識結果の修正を行う。 Here, it corrects the recognition result using a dictionary with intellectual recognition mechanism 71,73,76, the morpheme information. 第2のフィードバックはマルチモーダル入力機構78からの制約情報や予測情報を用いて行われる。 The second feedback is performed using the restriction information and the prediction information from the multi-modal input mechanism 78. 基本的な認識エンジン72、74、75は公開されている通常のアルゴリズムを用いて実現する。 It achieved using conventional algorithm basic recognition engine 72,74,75 published.
これらのフィードバックは、ペン認識機構75においては行の切り出し、文字の切り出しまで、印刷文字認識機構73においては、意味のある領域の切り出し、行の切り出し、文字の切り出しまで作用させる。 These feedback, clipping line in pen recognition mechanism 75, until the cut-out letters, the printed character recognition system 73 cuts out a meaningful region, cut lines, to act to cut the characters.

【0056】一方、音声認識機構71は、上記2つと比べて認識率がけた違いに悪いので、異なるアプローチをとる。 Meanwhile, the speech recognizer 71, since bad differences the two and compared to the recognition rate is only take a different approach. すなわち、マルチモーダル入力機構78からの制約を認識候補の辞書や認識候補の文法という形式でまず音声認識に知らせ、それを用いて認識するという、制約主導型の認識を主とする。 That is, multimodal inform constraint from the input mechanism 78 to the first speech recognition in the form of the grammar dictionary and recognizing candidates of the recognition candidates, that recognizes and used to mainly recognition constraints driven.

【0057】これらの知的認識機構は、図2において、 [0057] These intellectual recognition mechanism is, in FIG. 2,
ワークステーション101、103上のソフトウエアモジュール114、115、120、121として実装されている。 It is implemented as software modules 114,115,120,121 on the workstation 101, 103.

【0058】マルチモーダル入力機構78は、「構文記述+制約記述(意味、時間)」の表現で知識ベース77 [0058] The multi-modal input mechanism 78, "Syntax description + constraint description (meaning, time)" knowledge base 77 in terms of
に格納されているデータを用いる。 The data stored for use. すなわち、形式を重要視した構文記述と、意味を重視した制約記述を併用し、その処理(パージング処理)においても、構文重視から制約重視までのレベルを設ける。 That is, the syntax descriptions importance to form, in combination with an emphasis on meaning constraint description, also in the process (purging process), providing a level of from syntax emphasis to constraint oriented. つまり、構文を重視すると効率的な処理が可能となり。 In other words, efficient processing is possible and when I focus on syntax. 制約記述を重視すると、非構文的でも時間をかければ解析可能となる。 When you focus on constraint description, also a non-syntactic made possible analysis by multiplying the time. 制約記述を重視した場合、組み合わせ爆発的に計算量が増加するが、従来技術である高速パージングアルゴリズムとの併用で、計算可能なレベルまで効率化する。 If that emphasizes constraint description, combinations explosively computation amount increases, in combination with high-speed purging algorithm is prior art, efficient to calculate levels.

【0059】マルチモーダル入力機構78は知識ベース77に保持されている知識を用いて、入力として認識できる場合、その結果を問題解決機構79に伝えるが、認識できない場合、どのように認識しなおすべきかを、知的認識機構71、73、76に伝える。 [0059] Multimodal input mechanism 78 using knowledge stored in the knowledge base 77, if it can recognize as an input, but conveys the result to the problem solving mechanism 79, not recognize how to re-recognize or the, tell the intellectual recognition mechanism 71,73,76.

【0060】マルチモーダル入力機構78のメインモジュールは図2において、ワークステーション101上のソフトウエアモジュール113として実装される。 [0060] The main module of the multimodal input mechanism 78 in FIG. 2 is implemented as a software module 113 on the workstation 101.

【0061】マルチモーダル入力機構78から問題解決機構79に入力された認識結果は、その意味を問題解決機能79が知識ベース80を利用して解析し、その結果をマルチモーダル生成機構82に知らせる。 [0061] Multimodal input mechanism 78 recognition results input to problem solving mechanism 79 from analyzes using the meaning problem solving function 79 a knowledge base 80, informs the result to the multimodal generating mechanism 82. また、マルチモーダル入力機構78からの認識結果が事実の場合は知識ベース80に登録される。 Also, the recognition result from the multimodal input mechanism 78 is in the case of fact is registered in the knowledge base 80. 問題解決機構79のメインモジュールは図2において、ワークステーション10 In the main module 2 problem solving mechanism 79, the workstation 10
2上のソフトウエアモジュール117として実装される。 Implemented as a software module 117 on 2.

【0062】問題解決機構79からマルチモーダル生成機構82に入力された応答のデータに基づき、マルチモーダル生成機構82では、環境ビューワ、仮想ペーパからの文字/画像の出力83、85、環境ビューワ、仮想ペーパ、およびエージェントからの音声での出力84を行う。 [0062] Based on the data of the response input from the problem solving mechanism 79 to the multimodal generating mechanism 82, the multi-modal generating mechanism 82, the environment viewer, the output of the character / image from the virtual paper 83 and 85, the environment viewer, virtual paper, and the output 84 of a voice from the agent do. 出力メディアの選択、出力方法は、ノウハウ81 Selection of the output media, output methods, know-how 81
を用いて導き出す。 Derived by using the. 例えば、質問と答えの関係から発話のストレス、スピードを適応的に設定する。 For example, the stress of the speech from the questions and answers of the relationship, to set the speed adaptively.

【0063】マルチモーダル生成機構82のメインモジュールは図2において、ワークステーション102上のソフトウエアモジュール118として実装されている。 [0063] The main module of the multimodal generating mechanism 82 in FIG. 2 is implemented as a software module 118 on the workstation 102.
また、音声出力のモジュールはワークステーション10 Further, the module of the audio output workstation 10
2上のソフトウエアモジュール119である。 It is a software module 119 on the 2.

【0064】図7で示したシステムの処理フロー内の、 [0064] in the processing flow of the system shown in FIG. 7,
サブシステムからの入力87とは、仮想ペーパ上で動作中のアプリケーションからのその動作状態の報告などを表わす。 An input 87 from the subsystem represent like report its operating state from the application running on the virtual paper. これを用いて、アプリケーションの現在の状態を考慮に入れた問題解決を問題解決機構79で実行する。 And used to perform problem resolution containing the current state of the application into account in problem solving mechanism 79.

【0065】また、サブシステムへの出力86とは、仮想ペーパ上で動作中のアプリケーションへの制御指示に加え、本個人情報環境の構成要素である、環境ビューワ、エージェント、仮想ビューワの制御指示も含む。 [0065] Further, the output 86 to the subsystem, in addition to the control instruction to the application running on the virtual paper, which is a component of the personal information environment, environmental viewer, the agent also control instruction virtual viewer including. すなわち、問題解決機構では、ユーザへの応答方策に加え、自システムおよび他アプリケーションの実行制御方策も同時に生成する。 That is, in the problem solving mechanism, in addition to the response measures to the user, the execution control strategy of the own system and other applications are also simultaneously generated.

【0066】 [0066]

【発明の効果】以上説明したように本発明の実施例によれば、人間中心・実世界中心の考え方により設計され、 According to an embodiment of the present invention as described above, according to the present invention, designed by the concept of the human heart, the real world center,
音声、手書き、ジェスチャ等のマルチモーダルな形態で対話可能な、より人間中心のユーザインタフェースを有するコンピュータ利用環境を持つ個人情報を実現することが可能となる。 Speech, handwriting, which can interact in a multi-modal forms of gestures such, it is possible to realize a personal information with computer use environment having a user interface of a more human-centered.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第一の実施形態を示す図である。 1 is a diagram showing a first embodiment of the present invention.

【図2】プログラム構造と機器構成を示す図である。 2 is a diagram showing a program structure and equipment configuration.

【図3】エージェントの位置付けを表わす図である。 FIG. 3 is a diagram showing the position of the agent.

【図4】利用形態の例を説明する図である。 4 is a diagram illustrating an example of a utilization form.

【図5】利用形態の例を説明する図である。 5 is a diagram illustrating an example of a utilization form.

【図6】利用形態の例を説明する図である。 6 is a diagram illustrating an example of a utilization form.

【図7】本発明の処理フローを説明する図である。 7 is a drawing describing the processing flow of the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

1…実デスク、2…実際の紙、3…仮想デスクを表示する環境ビューワ、4…仮想ペーパを表わすペン入力コンピュータ、5…スピーカ、6…マイク、7…カメラ、8 1 ... real desk, 2 ... actual paper, 3 ... environment viewer to view the virtual desk, 4 ... pen-input computer for representing a virtual paper, 5 ... speaker, 6 ... microphone, 7 ... camera, 8
…小型CCDカメラをペンに内蔵したスキャナ付ペン、9 With ... scanner with built-in small-sized CCD camera in the pen pen, 9
…キーボード、10…エージェント ... keyboard, 10 ... agent

───────────────────────────────────────────────────── フロントページの続き (72)発明者 冨田 民則 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 青島 弘和 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Tomita Min-seok, Kawasaki City, Kanagawa Prefecture Aso District Ozenji 1099 address Co., Ltd., Hitachi systems development Laboratory in (72) inventor Hirokazu Aoshima Kawasaki City, Kanagawa Prefecture Aso District Ozenji 1099 address Ltd. formula company Hitachi system development within the Institute

Claims (1)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】作業者の作業を支援する個人情報機器において、 前記作業に必要なもののうち、現実に存在するものを認識する認識手段と、 認識された現実に存在するものを計算機により操作可能なものと不可能なものに区別して、仮想的にのみ存在するもの、現実に存在し前記計算機により操作可能なもの、および現実の世界に存在し前記計算機により操作不可能なものをそれぞれ区別して表示する表示手段とを有し、 前記表示手段の表示は、前記現実に存在するものを存在する位置に対応させて表示することを特徴とする個人情報機器。 1. A personal information device for supporting the work of the worker, among those required for the work, and recognition means for recognizing what exists in reality, be operated by computer to those present in the recognized real to distinguish the ones things and not those that exist only in a virtual, capable operated by actually exist the computer, and the reality of the present world the computer what inoperable individually distinguished and display means for displaying, the display of the display means, personal information device and displaying in correspondence with the positions that exist that present in the reality.
JP6780196A 1996-03-25 1996-03-25 Individual information equipment Pending JPH09258945A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6780196A JPH09258945A (en) 1996-03-25 1996-03-25 Individual information equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6780196A JPH09258945A (en) 1996-03-25 1996-03-25 Individual information equipment

Publications (1)

Publication Number Publication Date
JPH09258945A true true JPH09258945A (en) 1997-10-03

Family

ID=13355424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6780196A Pending JPH09258945A (en) 1996-03-25 1996-03-25 Individual information equipment

Country Status (1)

Country Link
JP (1) JPH09258945A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7312788B2 (en) 2003-03-11 2007-12-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Gesture-based input device for a user interface of a computer
JP2010033604A (en) * 2009-11-09 2010-02-12 Sony Corp Information input device and information input method
JP2014044725A (en) * 2012-08-27 2014-03-13 Samsung Electronics Co Ltd Method of providing user interface, machine-readable storage medium, and portable terminal
JP2017037658A (en) * 2009-02-20 2017-02-16 ボイスボックス テクノロジーズ コーポレーション System and method for processing multi-modal device interaction in natural language voice service environment
WO2017033544A1 (en) * 2015-08-24 2017-03-02 ソニー株式会社 Information processing device, information processing method, and program
CN106597908A (en) * 2017-01-07 2017-04-26 武克易 Learning table body feeling control method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7312788B2 (en) 2003-03-11 2007-12-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Gesture-based input device for a user interface of a computer
JP2017037658A (en) * 2009-02-20 2017-02-16 ボイスボックス テクノロジーズ コーポレーション System and method for processing multi-modal device interaction in natural language voice service environment
JP2010033604A (en) * 2009-11-09 2010-02-12 Sony Corp Information input device and information input method
JP2014044725A (en) * 2012-08-27 2014-03-13 Samsung Electronics Co Ltd Method of providing user interface, machine-readable storage medium, and portable terminal
WO2017033544A1 (en) * 2015-08-24 2017-03-02 ソニー株式会社 Information processing device, information processing method, and program
CN106597908A (en) * 2017-01-07 2017-04-26 武克易 Learning table body feeling control method

Similar Documents

Publication Publication Date Title
Bolt “Put-that-there”: Voice and gesture at the graphics interface
Grudin The case against user interface consistency
US5761641A (en) Method and system for creating voice commands for inserting previously entered information
Greenberg et al. Issues and experiences designing and implementing two group drawing tools
US5309555A (en) Realtime communication of hand drawn images in a multiprogramming window environment
Smith et al. The Star user interface: An overview
Katsh Law in a digital world: Computer networks and cyberspace
Long Jr et al. Implications for a gesture design tool
Gentner et al. The anti-mac interface
US6473006B1 (en) Method and apparatus for zoomed display of characters entered from a telephone keypad
US20040218451A1 (en) Accessible user interface and navigation system and method
US20030058267A1 (en) Multi-level selectable help items
Myers et al. Extending the windows desktop interface with connected handheld computers
US20030107584A1 (en) Security system and method for visual display
Tan et al. WinCuts: manipulating arbitrary window regions for more effective use of screen space
EP0538705A1 (en) Graphical user interface with gesture recognition in a multiapplication environment
US7137076B2 (en) Correcting recognition results associated with user input
US20050034083A1 (en) Intuitive graphic user interface with universal tools
Engelbart Authorship provisions in AUGMENT
US20040093568A1 (en) Handwritten file names
US20060119588A1 (en) Apparatus and method of processing information input using a touchpad
US6504956B1 (en) Method and apparatus for digitally capturing handwritten notes
US20030097250A1 (en) Communication support apparatus and method
Schmandt et al. Augmenting a window system with speech input
Saund et al. Stylus input and editing without prior selection of mode