JPH0381817A - 手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム - Google Patents

手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム

Info

Publication number
JPH0381817A
JPH0381817A JP1217360A JP21736089A JPH0381817A JP H0381817 A JPH0381817 A JP H0381817A JP 1217360 A JP1217360 A JP 1217360A JP 21736089 A JP21736089 A JP 21736089A JP H0381817 A JPH0381817 A JP H0381817A
Authority
JP
Japan
Prior art keywords
input
stroke
information processing
handwritten
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1217360A
Other languages
English (en)
Inventor
Soshiro Kuzunuki
壮四郎 葛貫
Yasushi Fukunaga
泰 福永
Hiroshi Shojima
博 正嶋
Toshifumi Arai
俊史 荒井
Masaki Miura
三浦 雅樹
Toshimi Yokota
登志美 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP1217360A priority Critical patent/JPH0381817A/ja
Priority to DE69033397T priority patent/DE69033397T2/de
Priority to EP90912462A priority patent/EP0440812B1/en
Priority to CA002039725A priority patent/CA2039725C/en
Priority to PCT/JP1990/001078 priority patent/WO1991003013A1/ja
Publication of JPH0381817A publication Critical patent/JPH0381817A/ja
Priority to US08/082,528 priority patent/US5903667A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、紙とペン感覚で入力できる手書入力情報処理
装置およびそれを用いた手書入力情報処理システムに関
し、特に書式文書に好適な手書入力情報処理装置に関す
る。
〔従来の技術〕
紙とペン感覚で入力できる手書入力情報処理装置として
、従来英国公開番号0821938274号、強国公開
番号DE3511353A1号、日本国特開昭63−1
84130号、さらに、ジグ・シー・イチ・アイ・ボリ
ューム18、ナンバー2 (1989年)第73頁から
第74頁(SIGCHl、Volumel 8、Num
ber 2 。
(1989)、PP73−74)等がある。
一方、タッチスクリーン式に書式データを入力するもの
に、従来、日本国特開昭63−158623号(米国優
先権主張:υ5940,408号)がある。
以上の従来技術は、画面に直接あるいはタッチ入力でき
るのが特徴である。
さらに、CRT画面の特定の領域(アイコンやメニュー
)に動作記述し、マウスのクリック(スイッチのオン、
オフ)があるとその動作記述が実行されるものとして、
コンプリート・ハイパーカード・ハンドブック(198
7)(The Complete HyrerCjzr
d Handbook、Bantom Books I
nc、、Good man。
D(1987))がある。
また、最近のワークステーションのユーザインタフェー
ス方式として、例えば、日経コンピュータ4月24日号
、1989年、第81頁〜第92頁に開示されているよ
うに、X windowのツールキットがある。これは
、オブジェクト指向の環境を特徴としている。
〔発明が解決しようとする課題〕
上記従来技術は1紙とペン感覚で入力でき、かつ、ユー
ザの意図を理解して実行してくれる手書環境について配
慮がされておらず、人間の思考形態になじまないという
問題点があった。この問題点を第2図〜第4図を用いて
、更に説明する。
今、第2図に示すメール用書式文書を計算機で処理する
場合について考える。第2図のメール用書式文書G10
0は、各々GIIO−G210の領域に分割すればよい
。ここで、受信者入力領域G130、発信者入力領域G
150、用件入力領域G170.内容入力領域G190
では、計算機内部で内容を把握する必要があるため、手
書文字のストロークに対し、その手書ストロークを認撤
する必要がある。なお、受信者入力領域G130では、
入力が終了すると、この文書を受信考究にメール転送す
る情報として使用される。
一方コメント入力領域G210は、特に計算機内部で情
報として処理される必要がなく、単に受信者が書きこん
だ内容を発信者に戻せばよい情報であるため、手書スト
ロークが入力されると、清書はされず、画像の手書コメ
ントとすればよい。
以上の、メール用書式文書を従来の方法で計算機上で実
現しようとすると、第3図に示すように、メニュー領域
G220.G230を指示しながら、手書入力しなけれ
ばならない。例えば、発信者領域0150とコメント領
域G210に手書入力し、次にこのメール文書を転送し
ようとすると、ユーザの操作は下記のようになる。
(1)メニュー領域G220の“文字”をペン2で指示
(2)発信者の入力領域G150に手書文字をペン2で
入力 (3)メニュー領域G220のa画像”をペン2で指示
(4)コメントの入力領域G210に手書コメントをペ
ン2で入力。
(5) 1m面の内容を把握し、OKであれば、メニュ
ー領域G230の“転送”をペン2で指示。
上記のように、メニュー操作(1) 、 (3) 、 
(5)は、ユーザが意識しなければならず、人間の思考
を中断するという問題点があった。
また、従来のタッチスクリーン式書式入力装置では、メ
ニューが階層構成となり、次々とメニューを指示するの
みで、データを入力できる利点はあるが、特定の書式に
限定され、データもメニューの中から選択せねばならず
、各種の書式に簡単に対応できないという問題がある。
一方、Xwindowツールキットおよびハイパーカー
ドでは第4図に示すようにポインティング入力装置のマ
ウスでCRT画面をクリックしながら対話するものであ
るが1画面をペンで直接触って操作したり、手書きで文
字や図形を入力することはできない。従って、紙とペン
感覚で処理装置と会話することができないという問題点
があった。
さらに、上記従来技術の他の問題点として、従来の情報
処理装置は机上(ディスクトップ)あるいはひざ上(ラ
ップトツブ)のサイズであるため、ノート感覚でどこに
でも持ち運べ、またどこでも使用できるまでにはいたら
ないという問題があった。
本発明の目的は、紙とペンのノート感覚で入力でき、か
つ、情報処理装置がユーザの意図を理解し、実行してく
れる環境を提供するにある。
さらに、他の目的として、情報処理装置をノートあるい
はシートサイズに薄型化し、どこにでも。
持ち運べ、どこでも使用できる装置を提供するにある。
〔課題を解決するための手段〕
上記目的を達成するために、本発明では、手書座標入力
装置と平面ディスプレイを一体化構造とした手書入力部
を有した情報処理装置において、前記手書入力部の画面
の領域単位に、処理動作を予め定義する書式定義部と前
記領域に手書ストロークが入力されると前記書式定義部
により予め定義された処理動作を実行するストローク解
釈実行部を設け、これにより紙とペン感覚で入力でき、
かつ、ユーザの意図を理解し実行してくれる手書き環境
を実現したものである。
特に、手書ストロークを文字9図形、線分、さらに編集
記号のコードに認識するための゛動作記述とその処理環
境を有していること、さらに1手書入力部の画面を1つ
あるいは複数の認識領域部と非!!!識領域部に分割し
1手書ストロークが入力されると各々の領域に対応して
所定のコードデータあるいは画像データに変換するよう
にしたことが特徴である。
また、上記、他の目的を達成するために、情報処理装置
を構成する手書座標入力装置と平面ディスプレイ、さら
にその処理のための論理回路を、ガラス上に実装し、各
々を一体化構造することにより、ガラスの厚さのみのノ
ートあるいはシート状にしたものである。さらに、ファ
イルはメモリカードとして、モータレス化とし、またコ
ードレス化するために、電池および無線インタフェース
を採用したこと、さらにネットワーク利用を前提として
、前記手書入力部、書式定義部、ストローク解釈実行部
を構成したものである。
〔作用〕
手書入力部は、入力と画面が一体化構造となっているた
め、画面操作は入力操作をも意味しており、紙とペン感
覚での入力が可能となる。
この手書入力部の画面に対し、書式定義部では。
伝票やメール文書等の画面レイアウトをまず定義する。
次にこれらの画面レイアウトから領域を自動設定したり
、領域を再設定したりして、意味のある領域を複数個生
成する。次に、この領域毎にストロークが入力されたら
どんな処理動作をして欲しいかの動作記述を定義する。
たとえば、ある領域では、手書ストロークが入力される
と、文字として認識し、その場所に清書表示し、かつ、
他の領域の所定の位置にも同じ文字を表示したい、また
、その領域では手書ストロークを編集記号としても認識
し、かつ1編集記号の下側にある文字を編集したい、ま
た、ある領域では手書ストロークを手書コメントの画像
データとしたいなどと定義する。なお、この動作記述は
、手書の処理動作に好適な手書専用記述言語で定義する
ストローク解釈実行部は、前記書式定義部で定義された
文書に対して、手書ストロークが入力されると、対応領
域に予め定義された動作記述が呼び出され、この動作記
述に従い、解釈実行するものである。
一般には、書式定義は一旦行えば、内容やレイアウトが
変わらない限り、−回定義するのみである。したがって
、利用者は、必要な書式文書を呼出し、必要な個所(領
域)に直接手書入力するだけで良い、すると処理装置が
その領域で意味するものを解釈実行してくれるため、ユ
ーザの意図を理解し、実行する環境が実現できる。
次に、手書入力情報処理装置は、入出力デバイスと論理
回路とをガラス上に全て一体化構造に実装し、かつ、フ
ァイルは着脱可能なメモリカードに格納する。さらに電
池や無線インタフェースを装備して、ネットワークとア
クセスできるようにし、どこにいても使用できるように
した。これにより、オフィスや、出張先、電車の中、あ
るいは家庭で自由に利用できる。
〔実施例〕
以下、本発明の一実施例を第1図、第5図〜第36図を
用いて説明する。ここで、引出し線の番号名称の付は方
は下記に示す通りとする。
(i)1〜22;デバイスあるいはシステムの名称(i
i)Hxxx〜;ハードウェア部品の名称(xxxは番
号) (iii)Pxxx〜;システム構成の名称(汁)Tx
xx〜;テーブル構成の名称(v)Gxxx〜;画面の
領域名称 (vi)Fxxx〜;プログラムのフローチャート名称
第1図は本発明の一実施例の手書入力情報処理装置のシ
ステム構成を示したものである。
Plooは本発明のシステム構成の内部ブロック図でマ
イクロコンピュータ等の処理装置により、構成される。
H211は手書座標入力装置と平面ディスプレイを一体
化構造とした手書入力ハードウェア、PIIOは手書入
力バードウェアH211の座標データを読み込むストロ
ーク入力部、T100はストローク入力部が読み込んだ
データをバッファするストロークバッファ、P120は
書式定義部、T2O0は生成した書式定義データ、P1
40はストローク解釈実行部、P130はコードレス化
を図るめためのワイヤレス入出力部、9はアンテナ、P
150はマイク7やスピーカ6と接続し、電話等を実現
する音声入出力部である。
第1図を用いて、本発明の一実施例の動作概要を次に説
明する。手書入力バードウェアH211より、入力した
座標データはストローク入力部P110を介して一旦ス
トロークバッファT100に格納される。ストローク入
力部P11oでは、手書六カデータを読みこむと同時に
手書入力ハードウェアH211に、その筆跡を表示して
いるため紙にペンで描いているような感覚となる。スト
ロークバッファT100の座標データは書式定義部P1
20とストローク解釈実行部P140から順次読み出さ
れ処理される。
まず、全体の処理モードを定義モードにすると、書式定
義部が起動される。書式定義部PL20では、エディタ
機能を用いて、書式文書を作威し、この書式文書の領域
を切り出し設定する。この領域に対し、手書ストローク
が入力されたとき、どんな処理動作をして欲しいかを手
書専用記述言語(UI/HAND−TALKと称す)で
定義する。
この動作定義の結果は、書式定義データT2O0として
ファイルされる。この書式定義データT2O0は、書式
が変更されないかぎり、ストローク解釈実行部P140
より、何回でも利用できる。
次に、全体の処理モードを上記の定義モードから、運用
モードに変更すると、ストローク解釈実行部P 140
が起動され、ストロークバッファT100の座標データ
と、上記領域毎に定義した書式定義データT2O0を読
み出し1手書ストロークを解釈実行する。解釈実行の結
果は、手書入力バードウェアH211に表示したり、ワ
イヤレス入出力部P130を介して、他の処理装置と情
報交換したり、音声入出力部P150を介して、電話を
かけたりすることができる。
第5図は、本発明の一実施例のイメージを第2図のメー
ル書式文書を例に示したものである。第5図0110〜
G250は、各領域に対する、動作記述の内容で、この
部分は通常画面には表示されない。ここで、たとえばG
220のOBJ。
メニュー”は動作記述のプログラムの名称である。
各々のプログラム動作記述内容は後述するが、要するに
、ある任意の領域に手書きストロークが入力されると、
その領域にプログラムされた記述に従い、手書ストロー
クが処理されて行く。例えば、G170の用件領域やG
190の内容領域では、手書文字が認識され、清書表示
されていることを示している。また、G210のコメン
ト領域は、ペン2で手書メモを入力し、そのままの筆跡
表示をしている。
以上のように、本発明の一実施例では、紙とペン感覚で
所定の領域に直接入力できるものである。
以下、本発明の一実施例の詳細を次の項目にしたがい説
明する。
(1)手書入力情報処理装置を用いたシステム全体構成
(第6図) (2)手書入力情報処理装置のハードウェア構成(第7
図〜第9図) (3)手書入力情報処理装置の詳細システム構成とその
動作説明(第10図〜第13図) (4)詳細プログラムとその動作説明(第14図〜第3
6図) (1)手書入力情報処理装置を用いたシステム全体構成 第6図にシステム全体構成を示す、1.10は手書入力
情報処理装置本体、2はペン、3は手書座標入力装置と
平面ディスプレイが一体化構造の手書入力バードウェア
H211の画面、4〜5はファイルやプログラムを格納
するメモリカード、6はスピーカ、7はマイク、8はペ
ンによる筆跡データ、9はワイヤレスターミナル(WT
)12と無8!20で交信するためのアンテナで手書入
力情報処理袋!1の筐体に内蔵している。11゜15は
ネットワー・りで、11はISDN(統合デジタルサー
ビス網)ターミナル19と接続されるネットワーク、1
5はワークステーション(W S )16、プリントサ
ーバ(PS)17、ファイルサーバ(FS)18と接続
されるLAN(Local AreaNetwork)
で、例えば、イーサネットやトークンリングが用いられ
る。
ワイヤレスターミナル(WT)12,13は、11.1
5の両ネットワークと接続されており、手書入力情報処
理装置1,10からはどちらのネットワークもアクセス
出来るようになっている。
なお、ISDN用ネツトワークには、ファクシミリ(F
AX)14が接続されている。
上記システム構成では手書入力情報処理装置1単独でも
動作できるが、他の情報処理装置とネットワークを介し
て、データの共用化や処理の分散も可能である。
一方、装置1,10はワイヤレスターミナル(WT)1
2.13と無線で接続できるため、持ち運びが自由とな
り、使い勝手が向上する。また、FAXと接続できるた
め、手書入力情報処理装置1の入力データをISDN網
22を介して、そのままオンラインで他のFAXに出力
したり、あるいは手書入力情報処理装置同志でネットワ
ークを介して、メール交換や、通信会議が可能となる。
特に通信会議では、音声と手書データによるオンライン
通信会議ができるため、遠隔同志の打合せに好適である
(2)手書入力情報処理装置のハードウェア構成第7図
は、手書入力情報処理装置のハードウェアの断面図で(
a)は通常用いられる形態の装置の、(b)は本装置を
第8図に示したようにプレゼンテーション用に構成した
断面図である。
第7図(a)において、Hloは座標入力用のガラスで
X軸座標検出用の透明電極H20が2−テイングされて
いる。一方、Y軸座標検出用の透明電極H60は液晶(
LCD)表示用のガラスH50と共用し、その裏側にコ
ーティングされている。したがって、液晶表示用のガラ
スはH30とH50であり、その中間に液晶H40があ
る。
H80,I(100は座標入力や本処理装置fの処理を
行なう論理回路であり、座標入力用ガラスHIOの裏側
に実装されている。
これはCOG (Chip On Grass)技術で
LSIのベアチップを座標検出用あるいは表示用セグメ
ントのない周辺部に直接ボンディングするものである、
最近、液晶のドライバICの実装に適用されている、L
SIのベアチップを直接ガラスにボンディングするため
、現在主流の表面実装技術より、さらに小型化、薄型が
可能である。
なお1本発明の一実施例では、座標入力用ガラスHIO
上に上記論理回路H80,Hlooをボンディング(た
が、これを液晶表示用のガラスH30あるいはH2Oに
ボンディングしても良い。
H2Oはバックライト用のEL(エレクトロ・ルミネセ
ンス)、H2Oはメモリカード4,5のコネクタ、HI
IOは本処理装置lの電池である。
6.7はスピーカとマイクで各々超薄型のものとし、ハ
ンズフリーの電話に使用する。
以上説明したように、座標入力用のデバイス、表示用の
デバイス、さらに論理デバイスは一体化構造として、薄
型化したことが特徴である。
第7図(b)は本処理装置の筐体の裏側を切り開き、バ
ックライト用H70のELを除き、透過型としたもので
ある。これは、第8図に示すように、OHP (オーバ
ーへラドプロジェクタ)23〜27の光源ランプ25の
光源27がレンズ24を介し、本処理装置を通過し、ミ
ラー26を介してスクリーンに本処理装置の画面を表示
するようにしたものである。これは、LCD0HPと言
われるもので、最近、パソコンの画面表示用として製品
化されている。
従って、本処理装置では、このようにLCD0)IPと
して、用いても良いし、直接ベン2を用いて、透明シー
トにマジックペンで書くような感覚で手書入力もできる
ため、プレゼンテーションにも好適である。特にカラー
LCDを用いると効果的なプレゼンテーションが行なえ
る。
なお、第7図(a)(b)は個別の処理装置としたが、
(a)から(d)へ切り換えられるようハト構成しても
よい。
第9図は、本手書入力情報処理装置の論理回路のハード
ブロック構成を示したものである。H2O0は全体ブロ
ック構成、H2O1はマイクロプロセッサMPU、H2
O2はこのMPUのバス信号線、H2O3は主メモリ、
H2O4はLCD表示用の表示メモリ、H2O3はメモ
リカード4,5用のカードインタフェース(I/F) 
、H2O6はワイヤレスI/F、H2O7は座標入力(
TB)用のTBI/F、H2O3は表示メモリH2O4
に画像展開し、かつLCDに表示する描画プロセッサ、
H2O9はスピーカ6やマイク7とインタフェースする
ための音声I/F、H210はオプション用キーボード
(KB)H212のKBI/Fである。キーボードH2
12は通常は不要で、データ入力やプログラム開発に必
要に応じて接続して使用するものである。なお、アンテ
ナ9は第6図で前述のように、本処理装置の筐体1に内
蔵されている。特に、第6図に示したように、手書入力
時にペン2を持つ手等の影響を受けないよう、上部に配
置している。
上記論理回路はほとんどが、LSIやICで構成できる
ため前述のようにガラス上にボンディングできる。特に
ボンディング出来ない部品については、−旦別基板上に
実装し、その基板と論理ICとをワイヤリングすること
で対処する。
(3)手書入力情報処理装置の詳細システム構成とその
動作説明 第10図は、第1図システム構成の書式定義部120の
詳細システム構成図、第11図は、ストローク解釈実行
処理部P140の詳細システム構成図である。
第1O図において、P121はストローク管理部、P1
22は画面定義部、P123は動作定義部、P124は
手書専用記述言語UI/HAND−TALKのソースデ
ータTl2Oを翻訳するUI/HAND−TALK、言
語トランスレータである。Tll0は画面定義部P12
2で処理されたデータを格納する画面データ、T130
は、P122.P123.P124で使用するプログラ
ムのモジュールファイルで、UI/HAND−TALK
基本関数や、その他の応用(AP)関数である。
一方、第11図において、P141はP121と同様の
ストローク管理部である。P142はUI/HAND−
TALK定義データT2ooを読み込み、これを解釈実
行するUI/HAND−TALKインタプリタである。
第10図、第11図に示すように、本発明の一実施例で
は、手書専用記述言語(UI/HAND−TALK)を
前提としている。この言語は後述するが、最近、マンマ
シンインターフェイスとして脚光を浴びているオブジェ
クト指向プログラミングの概念を用いた手書専用のイン
タプリタで、特に、手書ストロークの管理や認識に特徴
がある。
さて、第10図、第11図のシステム構成の動作及び機
能を第12図を用いて以下説明する。まず、第10図の
書式定義部PL20から説明する。
書式定義部P120は大別して、画面定義と動作定義に
分かれる。これは第12図(a)(b)に示すメニュー
領域MENU2のモードにより、どちらかのプログラム
を起動される。
第12図(a)は画面定義モードの画面で、これには、
書式文書画面G100を定義するため、サブメニューM
ENU3が表示されている0例えば、9文字人力”をペ
ン2で指示すると文字入力シートG320が表示され、
このシートの矩形入カニリアに手書入力ストロークを入
力すると、文字として認識し、シートG100のカーソ
ル位置に吹成と文字を清書表示することができる。これ
は、オプションのキーボード(KB)を接続し1、かな
漢字変換ソフトを用いて行っても良い。
同様に、メニューMENU3の“作図”を指示すると、
作図用のシートが表示され、作図することができる。
一方、′テンプレート”メニューは、受信者や発信者の
ように良く利用される画面はその動作記述も含めファイ
ルされており、これを呼び出して貼り付けることで画面
定義効率を向上できるメニューである。
画面定義が完了するとメニューMENU3の“完了”を
指示してこの処理は終了する。
以上のように、この画面定義部120は、いわゆる画面
エディタの機能と同等のものである。
次に第10図の動作定義部P123は、第1211 (
b) ニ示すように、jニューMENU2t))“動作
定義″を指示するとストローク管理部P121により起
動される。そして、サブメニューMENU 3がこのモ
ードに対応して表示される。今、動作定義したい領域を
指示すると、第12図(b)に示したように動作記述用
シートG410が表われ、このシートに対応領域の動作
を記述することになる。例えば、定義しようとする画面
G100の用件領域では、文字入力のための動作記述を
メニューMENU3の゛′文字入力”や“記述言語”メ
ニューを用いて定義する。
たとえば、「入力用ストロークのイベントが検出された
ら、そのストロークを文字として切り出し、そのストロ
ークを文字認識せよJと定義する(G410の定義内容
)、なお、良く利用される記述については、記述言語シ
ートG420を呼び出し対応メニューを指示するのみで
簡単に定義することが出来る。また記述言語シートを用
いず、予め定義された内容のファイルを呼び出す記述命
令を設けてもよい。
このように定義した記述データは第10図のUI/HA
ND−TALKソースファイルTl2Oに格納される。
そして、第12図(b)のメニューMENU3の“完了
”を指示すると、第10図のP124のUI/HAND
−TALK言語トランスレータが起動され、Tl2O’
l’T130のファイルを参照して、T2O0のUl/
HAND−TALK定義データ(中間データ)が作成さ
れる。
ここで、定義しようとしている画面G100の各領域は
、画面定義部P122が第12図(a)のメニューME
NU3の“完了”を判断したとき、画面データT110
を参照して、自動抽出するものとする。但し、領域の再
設定や、グルーピング(2つ以上の領域を1つにまとめ
ること)などのように、領域の編集を行なうときは、第
12図(b)のメニ!−MENU3の“領域″を指示し
て行なう。
以上の画面定義と動作定義の2つの定義が完了すると、
第12図(c)に示すようにメニューMENU2の“運
用”を指示することで、実際の書式文書の入力が可能と
なる。第12図(0)の画面G500では、用件の領域
G170に直接手書ストロークを入力していることを示
している。
すなわち、用件入力用領域G170に手書ストロークが
入力されると、第11図のストローク管理部P141は
、第12図(b)の0410に定義された“0bjec
t用件”を起動する。このプログラムは前述のように手
書入力ストロークを文字認識するよう動作定義している
ため、第12図(c)のように次々と手書ストロークが
文字として認識され、かつ表示されることになる。
なお、この処理は第11図に示したU I /HAND
−TALKインタプリタが、ファイルT2O0とT13
0を参照して行なう。
さて、′運用”モードにおいて、書式文書にどのような
動作記述がされているか概略を知りたい場合がある。こ
の場合には、第13図に示すように、メニューMENU
3の“定義表示”をペンで指示すると、各領域に定義さ
れている動作記述内容がアイコン(絵文字)で概略表示
される。例えば、受信者の領域には、6文字認識”と゛
′メール”が定義されていることが表示される。これは
、まず最初に手書ストロークを文字として認識し、次に
この文字の宛名にこの文書をメール転送することを意味
している。
このように概略表示することで、領域にどんな意味が定
義されているかがわかり、特に新しい書式を使用すると
きや、領域の定義内容を忘れた場合に便利な機能である
さらに詳細な情報、例えば、文字認識機能のうた、どん
な文字種を認識するかを知りたいとき、“文字認識”の
絵文字をさらに指示すると、その内容を表示するように
しても良い。しかし、動作内容を変更したり、追加した
い場合は、前述の定義モードに移行しないとこれはでき
ない。
以上のような定義表示の種類を第33図に示す。
第13図以外の定義表示の種類として、認識機能では、
円や四角形等の“図形認識″、ファンダーイン等の“線
分認識”、赤ペンで文書を編集するときの“編集記号認
識″がある。更に、第6図のネットワークの機能利用を
考えたものとして、“電話”1通信会議として使用する
″チルライティング、ならびに“FAX”などがある。
(4)詳細プログラムとその動作説明 最後に、以上で述べたシステム構成の詳細プログラムを
第14図〜第36図のフローチャートと手書専用記述言
語(UI/HAND−TALK)による動作記述例を用
いて説明する。
第14回は、本処理装置のメインプログラムである。ま
ず、ステップF100で初期化を行なう。
この処理では、テーブルの初期化やUI/HAND−T
ALKインタプリンタに必要な初期化および画面の初期
化表示をおこなう。
次に、ストロークバッファT100のデータ入力処理(
ステップF200)を行ない、第12図に述べたメニュ
ーMENU2の処理モードを判定する(ステップF30
0)、この判定により、画面定義処理(ステップF40
0) 、あるいは動作定義処理(ステップF500)、
運用処理(ステップF600)のいずれかが起動される
以下、各々の具体的フローチャートを説明する。
第15図は、画面定義処理(ステップF400)の詳細
フローチャートである。この処理では、サブメニューM
ENU3 (第12図(a))に応じて、対応処理が起
動される。
まず、ストロークバッファからデータを入力しくステッ
プF410)、このデータからサブメニューのモードを
判定しくステップF420)、文字入力処理(ステップ
F430)、作図処理(ステップF440) 、テンプ
レート処理(ステップF450)のいずれかを起動する
。なお、画面定義モードの判定(ステップF420)で
“完了″を認識すると、本画面定義処理は、画面データ
をファイルして終了する(ステップF460)。
第16図は、動作定義処理(ステップF500)の詳細
フローチャートである。
まず、最初に、画面定義処理(ステップF 400)で
定義した画面データT100をもとに、領域の自動抽出
処理を行なう(ステップF510)。
紙の上に書かれている書式文書については、各領域は、
主に書式を分けるために記入された直線を主体とした境
界線で分離されている。しかしながら、全ての領域が上
記規則によっているわけではない。この例とその際の領
域分離方法について、第17図を用いて次に説明する。
第17図(a)の例では、領域a−gが存在し、同図(
b)の例では、領域h −sまで存在する。
実線は図面上に書かれた線で、破線が抽出された領域を
示す。以下、領域分離方法を説明する。
(i)閉領域探索法 第17図(a)a−cは、宛名などに良く利用される楕
円図形による閉領域である。ここで、楕円図形の矩形枠
を領域とする。また、同図d−gも各々閉領域である。
したがって、この閉領域を探索することで領域を分離で
きる。閉領域の探索方法として、第9図の表示メモリH
2O4に描画された線画データを1ライン毎に走査して
探索する方法や線画を順次辿っていき、1番車さなルー
プを1つの領域として分離する方法がある。
(n)U字型矩形領域探索法 第17図(b)のに、n、q、m、p、sの領域のよう
に、矩形領域の1辺が欠けた領域をU字型矩形領域と称
す。このような書式は1表の場合に良く用いられる。
この領域の分離法として、ある任意の点から、線画を辿
っていき、端点に達したら、逆向きに線画を辿り、他方
の端点に辿りついたとき、今までに作成したデータ(例
えば4方向の量子コード)をもとに、U字型矩形領域を
分離する方法がある。
(団)空白文字探索法 第17図(b)の年月日の空白文字領域り、i。
jがその対象領域である。
これは1文字画面を定義するとき、その文字列のマツピ
ング座標を記憶しておき、このマツピング座標と文字列
の空白コードを探索することにより、分離できる。
以上、領域の自動抽出方法を説明したが、これ以外の方
法を用いても良い6 さて、第16図のフローチャートに戻って、領域の自動
抽出処理のあとは、ストロークバッファのデータ入力処
理(ステップF520)を行ない、第12図(b)に示
したサブメニューMENU3の動作定義モードを判定す
る(ステップF530)、この動作定義モードにより、
対応の処理が起動される(ステップF540〜F570
)。
ここで、領域処理(ステップF560)は、ステップF
510で抽出した領域の削除、変更や新たな領域の追加
、更に、複数領域のグルーピング処理などを行なうもの
である。なお、グルーピング処理とは、例えば、第17
図(b)n、qの2つの領域を1つにする場合の処理で
ある。
設定された領域に対し、必要に応じてその領域を塗り潰
したり、色を付けたり1点線で表示したりのハイライテ
ング表示を行なうと、記述定義がやりやすい。
ステップF530で“完了”メニューを判定すると、U
l/HAND−TALK言語処理(ステップF 570
)が行なわれ、tJI/HAND−TALK定義データ
T2O0が生成される。このデータは、中間コードであ
り、第11図のインタプリタで解釈実行される。
以上、定義処理の詳細フローチャートを説明した。次に
、第14図の運用処理(ステップF600)を第18図
〜第36図を用いて以下説明する。
第18図は、既に定義された書式文書を実際に使用する
場合の運用処理のフローチャートである。
この処理は、前述したオブジェクト指向プログラミング
の手法を用いておこなわれる。まず、この手法による処
理の基本概念を述べ2次に1個々の動作記述の内容を述
べる。
第18図において、ステップF610は、イベント処理
に関するもので、ストロークバッファ入力処理(ステッ
プF611)、イベント処理(ステップF612)、イ
ベント発生判断処理(ステップF613)がある。
このイベント処理のイベント(事象)には、第34図の
ように5種類ある。すなわち、(i)ストロークオン(
)二手書ストロークがオフからオン状態に移ったイベン
ト (n)ストロークオフ():手書ストロークがオンから
オフ状態に移ったイベント (fit)ストロークタイムアウト()二手書ストロー
クがオフしてから所定時間経過したイベント(tv)ペ
ンボタンオン():ペン先に付いたボタンがオフからオ
ン状態に移ったイベント (V)ペンボタンオフ():ペン先に付いたボタンがオ
ンからオフ状態に移ったイベント である。これ以外のイベントとして、ストロークオンの
座標が自領域から他領域へ移動した場合や逆の自領域に
ストロークが入ってきた場合があるが、図には省略した
第34図に示した物理デバイスは、ペンが1本のため各
々1種類であるが、論理デバイスの概念を導入して、物
理デバイスを複数の論理デバイスに拡張できるようにし
ている。
第35図は、物理デバイスを入力用デバイスと編集用デ
バイスの2つの論理デバイスに拡張したのである。
これにより1例えば、1本のペンを、あるときは入力用
のペンとして、あるときは編集用のペンとして、多目的
に利用することができる。また、特定の人のみしか使用
できないペンなどにも拡張できる。
この拡張を行なうためには、物理デバイスと論理デバイ
スの対応をとる機能が必要である(対応のとり方は後述
)。第34図は5種類の物理デバイスを入力用の論理デ
バイスに対応をとったものである。勿論、ペンボタンの
みを編集用ペンボタンに割り当てることも可能である。
第34図のイベントにおいて、()の中はイベントの引
数を記述するもので、何も書かない場合には、デフォル
トが使用される。
イベントの引数として、下記がある。
(a)ストロークオン、オフの引数 このイベントの引数は、イベント発生時の座標の特徴番
号を記述する。特徴番号として、ストロークの始点、終
点9重心点、中心点がある。
例えば、重心点を選ぶとチエツクマークの入力に好適で
ある。なお、デフォルトは、ストロークオンは始点、ス
トロークオフは終点である。
(b)ストロークタイムアウトの引数 タイムアウトの時間を記述する。デフォルトは、2秒で
ある。
(C)ペンボタンオフ、オンの引数 ペンボタンの種別番号を記述する。なお、このボタンは
、通常、ペン先に付いているもので、マウスボタンに相
当し、1個(左)あるいは2個(左右)ある。デフォル
トは(左)である。
第18図に戻り、イベント処理(ステップF610)で
は、第34図に述べたイベントの発生を検出すると、そ
のイベントが発生した座標(ストロークタイムアウトと
ペンボタンでは、前に操作していた座標)を知り、その
座標上の領域のオブジェクトに起動をかける。
受は取ったオブジェクトは、そのイベントの種類を見て
、自分のオブジェクトに記述があれば、その処理を行な
う。もしなければ、自分を含む重なった下の領域のオブ
ジェクト、第5図の例では、G11Oのシートオブジェ
クトに処理を渡す仕掛けになっている。
第18図で、今、オブジェクトA (objectA 
() )が起動されたとしよう。オブジェクトAでは、
自分に定義されたイベント処理を行なうが、他のオブジ
ェクトに何らかの処理を依頼したい。このとき、オブジ
ェクト指向プログラミングでは、メツセージ起動により
行なう。メツセージ起動は下記形式により行なう。
5END オブジェクト名メツセージ名(引数)ここで
、オブジェクト名は送り先の名称、メツセージ名はその
オブジェクトのメツセージ名称である。
すなわち、オブジェクトAは、他のオブジェクトB、C
に、オブジェクトCは、他のオブジェクトDに処理を依
頼するために。
5end B  メツセージ1() send Cメツセージ2() send D メツセージ3() を発行する。ここで、メツセージl〜3はメツセージ名
称である。
以上述べたように、オブジェクト指向テログラミングで
は、イベント起動とメツセージ起動により、オブジェク
トが次々と処理されていく。
なお、全てのオブジェクト処理が終了すると、ステップ
F610のイベント処理に戻るようになっている。
以上、運用処理の基本処理概念を述べたが、次に具体的
な処理動作を第19図〜第36図を用いて説明する。
以下の説明では、第5図のメール書式文書について、動
作記述例とその処理内容を説明する。第19図以下の図
で右端の数字は説明用の行番号である。
第19図は、第5図G220のメニューオブジェクトの
動作記述例で(a)は入力メニューのオブジェクト、(
b)は編集メニューのオブジェクトである。この動作記
述は、手書ストロークを文字や図形等のオブジェクトを
入力するための入力モードか、それらのオブジェクトを
編集するための編集モードかを切り換えるメニューのた
めの記述である。
ここで、 0bject  入力メニュー(menu)( ) の“0bject”は、オブジェクトを表わす予約語、
“入力メニュー”は、オブジェクトの名称。
“(menu)”は、この“入力メニュー”オブジェク
トのプロトタイプ、すなわち、オブジェクト+xenu
の機能及びデータ構造を継承していることを示している
。この継承機能を利用すると、基本的なオブジェクトを
作り、その上に機能を追加して、新しいオブジェクトを
作るなどのモジュール構造を図れる利点がある。第1行
目の11(31と第8行目の”)”は、オブジェクトの
始まりと終わりを示す。
この“入カメニュー″オブジェクトでは、第34図で述
べた物理デバイスと論理デバイスとの対応を定義し、か
つ、自分のメニューをハイライティングする動作記述を
している。すなわち1編集用ストロークオフ()のイベ
ントが発生したら(M集用ストロークに物理デバイスを
割当てているため、まずこのイベントが発生)、まず、
第34図のNo、1.2のデバイスの割当変更をおこな
う(第1′9図(a)の第3〜4行目)、デバイスの割
当変更はevent map関数により行なう。
次に、入力されたストロークを消去し、更にメニューハ
イライト処理を行なって、このオブジェクトの処理は終
了する(第5〜6行目)。
第19図(b)は、9編集メニュー”オブジェクトの動
作記述であるが、″入力メニュー”オブジェクトとほぼ
同一記述となるため、説明を割愛する。
第20図は、第5図0110の“シート”オブジェクト
の動作記述である。なお、このオブジェクトのプロトタ
イプはwindowである。
このオブジェクトでは、白紙と同じ意味を持たせるため
、手書ストロークが入力されても、ストロークを消去す
るのみで、それ以外では、何もしないように記述してい
る。
具体的には、入力用あるいは編集用ストロークのイベン
トが発生したら、各々ストローク消去のみを行ない、処
理を終了する。これにより、−旦、手書ストロークの筆
跡が表示されるが、ストロークがオフされるたびに、そ
の筆跡が消去されるため、意味のない領域への入力は何
もなかったように処理できる。
第21図は、第5図0130の受信者領域のオブジェク
トの動作記述例である。
この領域の動作記述は、まず手書ストロークを文字とし
て認識し、次にこの認識した文字コードをメールの宛名
として文書を転送する記述である。
この図の第1〜3行目は、手書ストロークの型を定義す
る記述である。この手書ストローク型について、以下そ
の概念、目的を説明する。
第36図は、手書ストローク型の種類を示したものであ
る。大別して下記5種類がある。
(i)文字ストローク型(CHA  ST)文字として
認識されるストロークである。
(ii)図形ストローク型(GRAPHST)図形とし
て認識されるストロークである。
(iii)線分ストローク型(LINE  ST)図形
以外の線分として認識されるストローク型である。
(〜)画像ストローク型(IMAGE  ST)画像と
して認識されるストロークである。
(V)編集ストローク型(PROOF  ST)編集記
号として認識されるストロークである。
また、各々のストローク型には、さらに、小分類の型が
ある。特に、文字ストローク型が10種類と多い。
以上のように、手書ストロークは、多目的に利用される
が、書式文書では領域により、逆にストロークの種類が
限定されることが多い0例えば、第17図(b)の書式
文書のKtltjの領域では、数字のみしか許さない。
一方、第5図0130受信者領域では、氏名を入力する
ため、漢字筒1゜第2水準、ひらがな、カタカナの文字
のみが許される。
このため、各領域によってどのようなストローク型が入
力されるか限定されている場合、それを定義することに
より、認識の性能を向上させたり、その型以外のストロ
ークが入力されたら、誤入力としてユーザにアラーム表
示したりすることができる。
また、ストローク型を予め定義できるため、第3図の従
来例の0220に示したように、ストロークの種類を指
定するメニューを設ける必要がないため、モードレス化
に貢献し、使い勝手が大幅に向上する。
更に、このストローク型を、下記のように、認識範囲を
指定できるように拡張することにより、多くの用途に利
用できる。例えば。
5ttypedef ALPHA L(H,I、T、A
、C):HITACHIattributss=pas
s name: HITACHIと定義すると、pas
s nameという静的変数は、HITACHIのスト
ローク型であると解釈する。そして、この型は、英字大
文字ALPHA L型で、かつ、H,I。
T、A、Cの文字コードのみしか許さないと解釈する。
したがって、ある領域にHITACHIストローク型が
定義されると、特定の文字のみしか認識できないため、
パスワード的な使い方ができる。
また、このストローク型と範囲指定の定義方法を第32
図に示した伝票の入力に用いると好適である。例えば、
仕様領域G720は、品名により特定の文字しかない場
合が多い。このため、この品名の特定のコードを宣言し
ておけば、それ以外の文字が入力されたら、操作者にア
ラーム表示することができ、誤入力を未然に防ぐことが
できる。
第21図の例では、変数name resultをNA
MEストローク型に、変数proof result 
@6 PROOFストローク型に宣言した例である。
なお、′!”は論理和、attributesは変数が
静的(常駐メモリに変数を確保)であることを、var
iablesは変数が動的(スタックに変数を確保)で
あることを意味している。
第21図には、下記3つのイベント記述がある。
(i ) event入力用ストロークオン()(ii
) event入力用ストロークタイムアウト()(u
i) event 編集用ストロークタイムアウト()
(i)のイベントが発生すると、まず、ストロークを文
字として切り出すた、め、第9行目、すなわち。
5end  ストローク切出 枠 (切出OK)を実行
する。これは゛、1ストローク切出”オブジェクトの“
枠”というメツセージを処理し、その結果を“切出OK
”のフラグに反映して欲しいという意味である。
次に、第10行目で、 if  切出OK (5end  認識 認識実行(name resul
t))の記述を実行する。この記述は1文字切出用フラ
グ(切出OK)が真ならば、後述の第22図に示す“認
識”オブジェクトの“認識実行″のメツセージを実行し
、その結果をnarse resultに格納して欲し
いという意味である。
しかし、文字切出用フラグ(切出OK)が偽ならば、第
11行目の while  ストロークオフ() を実行し、手書ストロークがオンからオフになるまでル
ープする。
次に(it)の入力用ストロークタイムアウトのイベン
トが発生すると、まず、′認識”オブジェクトの″認識
実行”のメツセージを転送する(第14行目)。次に認
識結果のコードを受信者名に登録するメツセージを転送
しく第15行目)、最後に、このメール文書を送信する
ため、′転送”オブジェクトのメツセージ“メール”を
転送して終了する(第16行目)。
最後に、(iii)のイベントは、編集記号で受信者名
の修正行なう場合の記述である。
以上、′受信者″″オブジェクトの動作記述を述べ光が
、他のオブジェクトついても、以下、簡単に説明する。
第22図は、′認識”オブジェクトの動作記述を示した
図で、6つのメツセージ記述がある。
このオブジェクトは領域に対応したものではなく、他の
オブジェクトからのメツセージにより起動されるオブジ
ェクトである。
第3〜11行目の最初のメツセージ記述、messag
e認識実行(result:5TTYPE) (は、こ
のオブジェクトメインプログラムである。
ここで、第3行目の“5TTYPE”はダミーのストロ
ーク型である。
通常のPASCAL等のプログラミング言語では、実引
数と仮引数の型が一致しないとシンタックスエラーとし
て認識されるが1本手書専用記述言語では、この考え方
と異なり、むしろ、ストローク型は変数に付属する属性
データと考える。すなわち、以上で述べた“5TTYP
E”は、何の属性もないダミーのストローク型で、実行
時に実引数の属性が継承されることを意味している。例
えば、第21図の第10.第14行目にあるように、 5end  el&識 認識実行(name resu
lt)が実行されると、name resultのスト
ローク型は、第21図の第4行目にあるように予め、”
NAME”と定義されている。このため実行時に型を継
承することから、”5TTYPE”は、  ”NA肝”
と同一のストローク型になる。
一方、第21図の第19行目にあるように、5end 
 認識 認識実行(proof result)を実行
すると、”5TTYPE”は“PROOF”型が継承さ
れる。
したがって、第22図第4行目に示すように、5end
  ストローク型 種類(result)のメツセージ
を転送することにより、ストロークの型を実行時に判定
することができる。
ストロークの型が判定できたら、第5〜10行目に示す
ように、各々のストローク型によって認識するメツセー
ジを送信して、′認識実行”の処理動作を終了する。
個々の認識処理については、第22図の第12行目以下
にその動作記述がされている。
ここで、第31行目の“編集記号認識実行”のメツセー
ジ中に、 5end  編集 種類(kind) があり、これに注目してみる。これは、編集記号が入力
された座標位置(proof result)座標より
判断)から、その下にあるコードを探索し、これにより
編集対象の種類を判断するメツセージの処理である。
例えば、proof resultの座標下に、文字コ
ードがあれば文字編集であるし、図形コードがあれば図
形編集が各々実行される。これは、第35行目の 5end  ii集 実行(kind、 proof 
result)により、実行される。
また1編集対象を判別する他の方法として、領域毎に編
集用変数を定義し、この変数の値や属性をみて判断する
方法がある。
次に、第23図は、主に、第22図のオブジェクトより
、起動されるτ表示″オブジェクトの記述である。この
オブジェクトでは、特に、第4行目の下記記述に注目で
みる。
5end  範囲チエツク 結果は(cha resu
lt、ok)この記述は、認識したコードが、5tty
pedefで定義した範囲の文字コードかどうかをチエ
ツクし、その結果をZ(okJFフラグに反映して欲し
いという意味である。ここで、cha resultの
データ構造は、第24図に示すように、認識コード(2
バイト)、ストローク型属性(3バイト)、範囲テーブ
ルへのポインタ(2バイト)となる、他のストローク型
のデータ構造についても同様である。
したがって、動作記述で定義した文字範囲は、この範囲
テーブルに記憶されているため、このコードと認識コー
ドを判定することで範囲チエツクができる。
第23図第5行目において、範囲チエツクの結果が偽で
あれば、′アラーム表示”を実行し、操作者に何らかの
警告メツセージを出すことができる。
第25図は、第5図0150の領域の“発信者”オブジ
ェクトの記述である。
このオブジェクトは手書ストロークを文字として認識し
、そのコードを手書の発信者として、登録するための記
述である。
この記述では、第21図の″受信者”オブジェクトにお
いて、第16行目のメール転送の記述がない点と、第2
5図第15行目の記述が゛受信者登録”から、発信者登
録”に変わっているだけで、他は同じである。
第26図は、第5図0170の領域の11用件”オブジ
ェクトの記述である。
このオブジェクトは、用件の標題を入力するためのもの
で1手書ストロークを文字として認識して表示するかま
たは、文字編集のための記述である。記述内容について
は、′受信者”オブジェクトの説明から容易に類推でき
るため、説明を割愛する。
第27図は、第5図0190領域の“内容”オブジェク
トの記述である。
このオブジェクトは用件の具体的内容を入力するための
記述で、パ用件′″オブジェクトと同様に。
文字認識と文字編集のための記述がしである。ただし、
この“内容”オブジェクトでは、あらゆる文字が入力で
きるように、静的変数c resultのストローク型
を第36図に示したほとんどの文字が認識できるよう宣
言している(第27図の第1〜5行目)。
第28図は、第5図0210領域の“コメント”オブジ
ェクトの記述である。
この領域は、前述のように、手書きしたストロークをコ
ードとして認識せずに、そのままの画像として利用する
ためのエリアである。したがって、手書ストロークを画
像とするためにこのオブジェクトでは、静的変数ima
ge resulfはDOTストローク型に宣言してい
る(第1行目)。この宣言は第5行目の記述に反映され
、実際に手書コメントが入力できるようになる。なお、
画像編集についても記述がある(第8〜10行目)、。
第29図は、第5図G240の領域の“垂直スクロール
”オブジェクトの記述である。この゛′垂直スクロール
”オブジェクトは、′画面操作”というプロトタイプを
指定し、この機能を利用し実際のスクロール処理を実施
する。すなわち、領域にストロークが入力されるとスト
ロークがオフされるまで上または下にスクロール処理を
行なうものである。
なお、″画面操作”のオブジェクトは、第30図に示し
た。ここで、第4行目の get 5croll co(x * y)は、現在の
スクロール位置座標(xyy)を調べる関数、第5行目
の 5croll exec (x 、 y 、 o 、 
delta y)は、実際にスクロールを実行する関数
である。
また、delta yは、第29図第4行目のgetj
alta co(delta x、delta y)関
数により得られる。
なお、′垂直スクロール”オブジェクトは、入力及び編
集のどちらのモードでも、イベントを受付けるように定
義している。
第31図は、第5図0130の領域の″受信者″オブジ
ェクトの他の記述例である。この記述例は、受信者にメ
ール文書が転送されてきた時、特定領域の属性を動的に
変更する記述である。
第6行目の attributes=c result : DOT
に注目してみる。 c−resultは静的変数であり
、後のオブジェクト処理の属性変更が優先されるものと
する。したがって、第27図第5行目のattribu
tes=c result : ALL CIAより、
優先されるため、実際に受信者がメールを受は取った時
、第5図の0190の“内容”領域の属性は、画像(D
OT)のストローク型に変更されることになる。
例えば、担当者の作る書類は1手書ストロークが入力さ
れると、清書文字に変換されるが、上長へこの書類が転
送されたときは、それは変換されず、そのままのストロ
ークになり、自由にメモが入力できる場合の例である。
これは、実際の組織の中でも良く見られる。
以上、本発明の一実施例について述べたが、効果を以下
にのべる。
まず第1の効果として、手書座標入力装置と平置ディス
プレイ(L CD)を一体化構造の手書入力部において
、領域単位に一手書ストロークの動作記述を予め定義す
る書式定義部と、手書ストロークが入力されたとき、こ
の領域に定義された動作記述を解釈実行するストローク
解釈実行部を設けたため1手書ストロークを入力すると
、その意味をマシンが自動的に解釈できるようになった
。これにより、丁度紙にペンで入力する形態に近くなり
、かつ、人間の思考形態を中断せずに入力でき、マンマ
シンインタフェースが大幅に向上する効果がある。
第2の効果として、領域毎に手書ストロークを認識し、
コードに変換する手書認識機能を記述できるため、メー
ル、電話、FAX、会議等のネットワークを用いたシス
テム機能を手書ストロークで操作できる。したがって、
従来のポイント指定に比べ、オフィス業務を模擬しやす
く、まさに、パーソナル秘書の役割を本手書入力情報シ
ステムで支援することができる。
第3の効果として、前記書式定義部とストローク解釈実
行部は、手書ストロークの種類とその認識範囲を定義で
きるため、認識率の性能向上と誤入力への対応が可能と
なる。このため、特に伝票書式文書の入力に好適である
第4の効果として、書式の画面定義を終了した段階で動
作定義を行なう領域を処理装置が自動抽出するため、ユ
ーザは、領域の設定をしなくても良く書式定義の効率向
上となる。
第5の効果として、特定の領域から白身あるいは他の領
域の手書ストロークの処理動作内容を属性変更のみで簡
単に変更できる機構を設けたため、書式定義の柔軟性と
使い勝手を向上できる効果がある。
第6の効果として、手書入力部の入力系と書式定義部あ
るいはストローク解釈実行部の機能系は、ストロークバ
ッファでインタフェースしているため、入力系と機能系
を分離でき、機能系の速度に依存せずに次々に手書スト
ロークを入力することができる。このため、操作者の応
答遅れによるいらいらを軽減できる効果がある。
第7の効果として、本処理装置は、ネットワークと無線
でインタフェースし、かつ、電池を内蔵しているため、
ポータビリティがある。このため。
オフィス内で、あるいは出張先で、あるいは家庭で自由
に使用することができる。
第8の効果として、処理装置の論理回路をも手書入力部
のガラスに実装しているため、ノートあるいはシート状
に薄型化できる効果がある。
第9の効果として、本処理装置の論理回路は、手書入力
部の周辺部に実装しているため、OHPに乗せてプレゼ
ンテーションに用いることができる。
次に、本発明の他の実施例を第37〜42図により説明
する。
第37図〜38図は、手書入力部、書式定義部。
ストローク解釈実行部の各処理系をネットワーク上に分
散したシステム構成図である。
第37図は、書式定義部P120とストローク解釈実行
部P140の2つの処理系をネットワーク上のワークス
テーションWSに分散処理させ、手書入力部P110の
処理系のみを本処理装置に分散させたシステム構成図で
ある。
この構成図では、手書入力情報処理装置は、手書入力部
と音声等のマンマシン部のみしかなく、処理装置は小型
化、低価格化できる効果がある。
第38図は1手書入力部PIIO−1と書式定義部PL
20の処理系を手書入力情報処理装置P300に1手書
入力部PIIO−2と解釈実行部P140の処理系を他
の手書入力情報処理装置P400に分散させたシステム
構成図である。この構成の考え方は、書式を定義する部
署とこれを運用する部署に分離して、お互いには、UI
/HAND−TALK定義データで交換するものである
。なお、この定義データの交換は、ネットワークを介さ
ずメモリカードを用いても良い。
この構成では、書式文書の定義データを一箇所で管理で
きるため、文書の管理がしやすいこと、さらに、運用す
る部署では、手書の書式を定義するエディタが不要で、
システム規模を小さくでき、低価格化できる効果がある
第39図では、複数のストローク入力部を設けたシステ
ム構成図である。すなわち、手書入力部に第1ストロー
ク入力部P110と第2ストローク入力部P115を設
け、第40図の例のように。
第1ストローク入力部を本発明の一実施例と同じくペン
による手書入力を、第2ストローク入力部を他方の手も
しくは足による画面操作用ストローク入力を行なう。
一般に、右利きの人の場合、ペンを右手に持つと左手は
なにもしていない。このため、左手でスクロール操作を
したり、基本的なメニュー操作を行なうと好適なマンマ
シンインタフェースとなる。
例えば、第40図に示すように、第2ストローク入カニ
リアに左手で右下に引きすると画面G100は右下にス
クロールされることになる。
第41図は、第2ストローク入カニリアのUスクロール
”用オブジェクトの動作記述例、第42図はこの入カニ
リア用のイベントマツプ図である。
すなわち、第41図の動作記述では、画面操作用ストロ
ークオンのイベントが発生したら、画面操作用ストロー
クがオフするまで、2次元スクロールを実行するよう動
作記述している。ここで、第5行目の 5end  画面操作 2次元スクロール(delta
 x。
(delta y) は、第30図の″画面操作”オブジェクトに記述されて
いるメツセージである。なお、第39〜40図において
、第2ストローク入カニリアを第1ストローク入カニリ
アと重ならないよう配置したが、これをオーバラップさ
せてもよい。この場合、画面を手で直接上下左右にスク
ロールさせることができるため、紙を引きするような感
覚になり、より現実の世界近くなる。
以上、第39〜41図に説明した他の実施例では、両手
を駆使して手書入力情報処理装置とインタフェースでき
るため、マンマシン性が大幅に向上できる効果がある。
次に本発明の一実施例である第5図の動作説明図では、
入力と編集のモード変更をメニューで指定していたが、
これ以外のモード変更として、ペンボタンで切り換える
方法や手書ストロークの特徴情報であるストローク長で
行なう方法がある。
ストローク長で切り換える方法を以下に示す。
この動作記述は下記のようになる。
if  ストローク長く=シきい値 (5end  ストローク切出 枠(切出ok)if 
 切出o k (send  認識 認識実行())e
vent map (’入力用ストロークオン。
′入力用ストロークオフ。
1人力用ストロークタイムア ウト) ) 1se ( event map (’編集用ストロークオン。
9編集用ストロークオフ。
1編集用ストロークタイムア ウト) ) 以上の内容を例えば、第27図の“内容′″オブジエク
ト入力用ストロークオンのイベントに記述することより
、入力と編集の切り換えメニューを不要にできる。これ
により、さらに、モードレス化が図れ使い勝手を向上さ
せることができる。
また、本発明の一実施例では、第1図のP120゜P1
40では、インタプリタを前提としたが、これを通常の
プログラミング言語と同じようにコンパイラで構成して
も良い。ただし、動作記述を変更する場合、その度にプ
ログラムをコンパイルする必要がある。
また、本発明の一実施例では、手書ストロークの物理デ
バイスを入力用と編集用の2つの論理デバイスに拡張し
たが、ディスプレイがカラー表示できるものであれば、
論理デバイスの種類により色を変更でき、さらに、使い
勝手がよくなる。例えば、入力用では、黒色を、編集用
では、赤色を用いると実際の紙とペンのイメージに近く
なる。
また、カラーディスプレイを用いることにより、認識す
る領域と認識しない領域(画像)等を色で区別すること
ができ、ユーザの入力をさらにしやすくすることができ
る。
また、本発明の一実施例では、手書座標入力装置と平面
ディスプレイは一体化構造としたが、これを分離した構
造であっても良い、しかし、この場合、手元と表示面を
繰返しみなければならないという欠点がある。
また、本発明の一実施例である第9図の電池をバッテリ
ーからソーラ電池にしても良い。
また、本発明の一実施例である第7図の座標入力用とデ
ィスプレイ用ガラスをプラスチックの材料としても良い
、この場合、本来の紙のイメージニ近<なり、シートコ
ンピュータまたはペーパコンピュータになり、オフィス
環境もよりペーパレス化が図れる。
〔発明の効果〕
本発明によれば、手書座標入力装置と平面ディスプレイ
を一体化構造にした手書入力部を有した手書入力情報処
理装置において、手書入力部の各領域毎に予めどんな処
理をするかの動作定義をしておき、手書入力があるとこ
れを解釈実行するように構成したため、紙とペン感覚で
、しかも人間の思考形態を中断せずに入力でき、マンマ
シンインタフェースが大幅に向上する効果がある。
また、手書入力情報処理装置の論理回路を手書入力部の
ガラス上に実装して、ノートも°しくはシート状に薄型
化するとともに、無線と電池でコードレス化を図ってい
るため、何処にでも持ち運び自由となる効果がある。
また、手書ストロークをコードに変換する認識機能とネ
ットワークを駆使した処理機能を記述できる機構を設け
たため、文書作成、メール、電話。
FAX、会議等のオフィス業務の大半をサポートする電
子秘書システムを構築できる効果がある。
【図面の簡単な説明】
第1図は本発明の一実施例のシステム構成図、第2図〜
第4図は従来例の操作説明図、第5図は第1図の動作説
明図、第6図は本発明の一実施例を用いたシステム全体
構成図、第7図〜第9図は第1図のハードウェア構成図
、第10図〜第13図は第1図の詳細システム構成図と
その動作説明図、第14図〜第36図は第1図のフロー
チャート、プログラムならびにその動作説明図、第37
図〜第42図は本発明の他の実施例を説明するシステム
構成図とその動作説明図である。 H211・・・手書入力バードウェア、piio・・・
ストローク入力部、T100・・・ストロークバッファ
、P120・・・書式定義部、P140・・・ストロー
ク解釈実行部、T2O0・・・UI/HAND−TAL
K定義データ、P2S5・・・ワイヤレス入出力部、P
2S5・・・音声入出力部、6・・・スピーカ、7・・
・マ第 2 図 第 図 第 4 図 220 第 図 第 図 第 8 図 7 第 図 第 12 図 第 3 図 2 第 4 図 第 15 図 第 6 図 第 7 図 填 8 図 第 19 図 第 0 図 第21 図 第22図 第23 図 第25 図 第 6 図 第 27 図 第 8 図 第 9 図 第 0 図 第 31 図 第32図 第 33図 第 4 図 第 35 図 第 6 図 第 41 図 第 2 図

Claims (1)

  1. 【特許請求の範囲】 1、手書座標入力装置と平面ディスプレイを一体化した
    手書入力部を有する情報処理装置において、 前記手書入力部の画面を1以上の領域により構成し、そ
    の領域単位に、処理動作を予め定義する書式定義部と 前記領域に手書ストロークが入力されると前記書式定義
    部により定義された処理動作を実行するストローク解釈
    実行部を設けたことを特徴とする手書入力情報処理装置
    。 2、請求項1記載の前記書式定義部およびストローク解
    釈実行部は、それぞれ前記手書入力部の1つまたは複数
    の手書ストロークを所定のコードに認識する手書き認識
    の処理動作記述と、その記述された処理動作を実行する
    ことを特徴とする手書入力情報処理装置。 3、請求項1記載の前記書式定義部およびストローク解
    釈実行部は、前記手書入力部の1つまたは複数の手書ス
    トロークの特徴データを抽出し、この特徴データを前記
    処理動作記述の情報に用いることを特徴とする手書入力
    情報処理装置。 4、請求項1乃至3のうちいずれかに記載の前記書式定
    義部は、 前記画面のレイアウトを定義する画面定義部と前記画面
    定義部により定義された領域毎に、手書ストロークの処
    理動作を記述する動作定義部とで構成されることを特徴
    とする手書入力情報処理装置。 5、前記画面定義部の画面定義データに基づき、前記動
    作定義部による動作記述の対象領域を抽出することを特
    徴とする請求項4記載の手書入力情報処理装置。 6、請求項5記載の前記領域は、画面定義データの線画
    情報に基づき、閉領域あるいは前記閉領域である矩形の
    一辺が欠けたU字型矩形領域あるいは文字列上の空白文
    字領域のいずれかによつて抽出されることを特徴とする
    手書入力情報処理装置。 7、前記書式定義部およびストローク解釈実行部は、各
    々特定の領域から他の特定の1つまたは複数領域の手書
    ストロークの処理動作内容を変更する動作記述及びその
    実行処理を含む請求項1乃至3のうちいずれかに記載の
    手書入力情報処理装置。 8、前記書式定義部およびストローク解釈実行部は、手
    書ストロークの種類を少なくとも、文字ストローク型、
    図形ストローク型、線分ストローク型、画像ストローク
    型、編集ストローク型に分類し、これらを1つまたは複
    数定義する記述とその実行処理を含む請求項1乃至3の
    うちいずれかに記載の手書入力情報処理装置。 9、前記文字ストローク型、図形ストローク型、線分ス
    トローク型、編集ストローク型は、各々認識対象コード
    を1つ、または、複数指定できる範囲を指定する記述と
    その実行処理を含む請求項8記載の手書入力情報処理装
    置。 10、前記記述により指定された範囲以外に、ストロー
    ク入力があつたとき、アラーム表示することを特徴とす
    る請求項9記載の手書入力情報処理装置。 11、前記ストローク解釈実行部は、所定の操作で各領
    域に対し定義された動作記述内容を絵文字で概略表示す
    る手段を有することを特徴とする請求項1乃至3のうち
    いずれかに記載の手書入力情報処理装置。 12、前記編集ストローク型のストロークが入力された
    とき、そのストローク座標下にある編集対象のコードを
    判定し、そのコードの種類に対応して編集処理を実行す
    ることを特徴とする請求項8記載の手書入力情報処理装
    置。 13、請求項1乃至3のうちいずれかに記載の手書情報
    処理装置は、 手書座標入力用ガラスとディスプレイ用ガラスとを一体
    構造とし、且つ、少なくとも手書入力された座標の検出
    又は入力されたストロークに対する処理を行なう論理回
    路を、前記一体構造としたガラス上に直接ボンディング
    して成ることを特徴とする手書入力情報処理装置。 14、請求項13記載の前記論理回路は、 座標検出用及び表示用のセグメントとの重なりを回避し
    て前記ガラスの周辺部にボンディングされることを特徴
    とする手書入力情報処理装置。 15、前記手書入力部の処理系は、前記書式定義部もし
    くは前記ストローク解釈実行部の処理系とは別処理とし
    、前記手書入力部の処理系を優先処理させるとともに、
    両処理系間はストロークバッファでインタフェースした
    ことを特徴とする請求項1乃至3のうちいずれかに記載
    の手書入力情報処理装置。 16、複数の情報処理装置と、手書座標入力装置と平面
    ディスプレイを一体化した手書入力部を有する手書入力
    情報処理装置とをネットワークを介して接続し、 前記手書入力情報処理装置は、少なくとも手書ストロー
    クを入力する手書入力部と、前記手書入力部により入力
    した手書ストロークを他の情報処理装置に前記ネットワ
    ークを介して伝送する伝送部とから成り、 前記他の複数の情報処理装置は、少なくとも前記手書入
    力部の画面の領域単位に処理動作を予め定義する書式定
    義部と、前記書式定義部で定義された処理動作を実行る
    ストローク解釈実行部と、前記ネットワークを介して前
    記手書情報処理装置へデータを伝送するための伝送手段
    とから成ることを特徴とする手書入力情報システム。 17、複数の情報処理装置と、手書座標入力装置と平面
    ディスプレイを一体化した手書入力部を有する手書入力
    情報処理装置とをネットワークを介して接続し、 前記手書入力情報処理装置は、少なくとも手書ストロー
    クを入力する手書入力部と、前記手書入力部の画面の領
    域単位に処理動作を予め定義する書式定義部と、前記手
    書入力部により入力した手書ストローク及び前記書式定
    義部により定義された処理動作内容を他の情報処理装置
    に前記ネットワークを介して伝送する伝送部とから成り
    、 前記他の複数の情報処理装置は、少なくとも前記書式定
    義部で定義された処理動作を実行するストローク解釈実
    行部と、前記ネットワークを介して前記手書情報処理装
    置へ前記解釈実行結果を伝送するための伝送手段とから
    成ることを特徴とする手書入力情報システム。 18、複数の情報処理装置と、手書座標入力装置と平面
    ディスプレイを一体化した手書入力部を有する手書入力
    情報処理装置とをネットワークを介して接続し、 前記手書入力情報処理装置は、少なくとも手書ストロー
    クを入力する手書入力部と、前記手書入力部により入力
    した手書ストロークを他の情報処理装置に前記ネットワ
    ークを介して伝送する伝送部とから成り、 前記他の複数の情報処理装置のうち1の情報処理装置は
    、前記手書入力部の画面の領域単位に処理動作を予め定
    義する書式定義部と、前記書式定義部により定義された
    処理動作内容を他の情報処理装置に前記ネットワークを
    介して伝送する伝送部とから成り、 前記他の複数の情報処理装置のうち他の情報処理装置は
    、少なくとも前記書式定義部で定義された処理動作を実
    行するストローク解釈実行部と、前記ネットワークを介
    して前記手書情報処理装置へ前記解釈実行結果を伝送す
    るための伝送手段とから成ることを特徴とする手書入力
    情報システム。 19、前記手書入力部を有する情報処理装置は、ネット
    ワークと無線で接続するワイヤレス入出力手段を有した
    ことを特徴とする請求項16乃至18のうちいずれかに
    記載の手書入力情報システム。 20、前記手書入力部は、複数の座標入力装置を有する
    ことを特徴とする請求項1乃至3のうちいずれかに記載
    の手書入力処理装置。 21、前記複数の座標入力装置は、入力ペンによる座標
    入力装置及び、直接手または足でタッチすることにより
    ストロークを入力する装置であることを特徴とする請求
    項20記載の手書入力情報処理装置。 22、前記手書入力部は、複数の座標入力装置を有する
    ことを特徴とする請求項16乃至18のうちいずれかに
    記載の手書入力情報システム。 23、前記複数の座標入力装置は、入力ペンによる座標
    入力装置及び、直接手または足でタッチすることにより
    ストロークを入力する装置であることを特徴とする請求
    項22記載の手書入力情報システム。 24、前記手書入力部を有する情報処理装置は、ローカ
    ルエリアネットワークもしくはISDNを介して、他の
    情報処理と接続され、ネットワーク上の資源を利用する
    動作記述とその実行処理を含む請求項16項乃至18項
    のうちいずれかに記載の手書入力情報システム。 25、手書座標入力装置と平面ディスプレイを一体化し
    た手書入力部を有する情報処理装置において、 前記手書入力部の画面を認識領域部と非認識領域部に分
    割したことを特徴とする手書入力情報処理装置。 26、前記認識領域部に手書ストロークが入力されると
    所定のコードデータに変換し、また、前記非認識領域部
    に手書ストロークが入力されると画像データに変換し又
    は前記手書ストロークを消去することを特徴とする請求
    項25記載の手書入力情報処理装置。 27、前記認識領域部と非認識領域部は、各々1つまた
    は、複数個設けたことを特徴とする請求項25記載の手
    書入力情報処理装置。 28、手書入力部の画面の領域単位に処理動作を定義し
    、その領域内に前記手書ストロークが入力されると、前
    記定義された処理動作を実行することを特徴とする手書
    入力部を有する手書情報処理装置。 29、手書入力部の画面の領域単位に定義された処理動
    作に従い、入力ストロークに対する処理を行なう手書入
    力部と、 他の処理装置との間での手書入力ストロークに関する情
    報を送受信するためのアンテナと、前記手書入力部とア
    ンテナに対して電源を供給する電池とを有することを特
    徴とする手書入力情報処理装置。
JP1217360A 1989-08-25 1989-08-25 手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム Pending JPH0381817A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP1217360A JPH0381817A (ja) 1989-08-25 1989-08-25 手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム
DE69033397T DE69033397T2 (de) 1989-08-25 1990-08-24 System und Vorrichtung für handschriftlich eingegebene Information
EP90912462A EP0440812B1 (en) 1989-08-25 1990-08-24 System and apparatus for handwritten input information
CA002039725A CA2039725C (en) 1989-08-25 1990-08-24 Handwritten input data processor and system
PCT/JP1990/001078 WO1991003013A1 (fr) 1989-08-25 1990-08-24 Processeur de donnees d'entree ecrites a la main et systeme de donnees d'entree ecrites a la main utilisant ce processeur
US08/082,528 US5903667A (en) 1989-08-25 1993-06-25 Handwritten input information processing apparatus and handwritten input information system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1217360A JPH0381817A (ja) 1989-08-25 1989-08-25 手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP11270383A Division JP2000172428A (ja) 1999-01-01 1999-09-24 情報処理装置及びそれを用いた情報システム

Publications (1)

Publication Number Publication Date
JPH0381817A true JPH0381817A (ja) 1991-04-08

Family

ID=16702955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1217360A Pending JPH0381817A (ja) 1989-08-25 1989-08-25 手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム

Country Status (6)

Country Link
US (1) US5903667A (ja)
EP (1) EP0440812B1 (ja)
JP (1) JPH0381817A (ja)
CA (1) CA2039725C (ja)
DE (1) DE69033397T2 (ja)
WO (1) WO1991003013A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991440A (en) * 1991-06-21 1999-11-23 Canon Kabushiki Kaisha Method and apparatus for recognizing input handwritten characters associated with title information
KR100503167B1 (ko) * 2000-08-04 2005-07-25 에이치. 김 리차드 다목적으로 조절할 수 있는 단일 시트 상자
US11117692B2 (en) 2012-02-08 2021-09-14 B+ Equipment Process and machine for reducing the height of boxes with a square or rectangular cross section

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4856116A (en) * 1988-07-07 1989-08-15 Sullivan Lloyd S Sweatbands
JP2986047B2 (ja) * 1993-04-29 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション ディジタル入力用表示装置並びに入力処理装置および方法
AU684872B2 (en) * 1994-03-10 1998-01-08 Cable And Wireless Plc Communication system
DE19534242A1 (de) * 1995-09-17 1997-03-20 Wolfgang Glaesker Verfahren zum anwendungsoptimierten Betreiben eines tastaturlosen Personal-Computers
US6664982B1 (en) * 1995-10-16 2003-12-16 Nec Corporation Multi-user on-screen keyboard
US7113173B1 (en) 1995-10-16 2006-09-26 Nec Corporation Local handwriting recognition in a wireless interface tablet device
US6055333A (en) * 1995-12-28 2000-04-25 Motorola, Inc. Handwriting recognition method and apparatus having multiple selectable dictionaries
US5970455A (en) * 1997-03-20 1999-10-19 Xerox Corporation System for capturing and retrieving audio data and corresponding hand-written notes
US6292857B1 (en) * 1997-06-05 2001-09-18 Microsoft Corporation Method and mechanism for coordinating input of asynchronous data
US6144764A (en) * 1997-07-02 2000-11-07 Mitsui High-Tec, Inc. Method and apparatus for on-line handwritten input character recognition and recording medium for executing the method
US6333994B1 (en) * 1999-03-31 2001-12-25 International Business Machines Corporation Spatial sorting and formatting for handwriting recognition
JP2000284895A (ja) 1999-03-31 2000-10-13 Hitachi Software Eng Co Ltd 座標入力ペン並びにそれを用いた電子ボード、座標入力システム及び電子ボードシステム
US7721948B1 (en) * 1999-05-25 2010-05-25 Silverbrook Research Pty Ltd Method and system for online payments
US6839623B1 (en) 2000-02-16 2005-01-04 Telefonaktiebolaget Lm Ericsson (Publ) Positioning applications for an electronic reading device
EP1264270B1 (en) * 2000-02-16 2004-04-28 Telefonaktiebolaget LM Ericsson (publ) Printer pen
US20010033293A1 (en) * 2000-02-16 2001-10-25 Magnus Hollstrom Electronic pen help feedback and information retrieval
US6832116B1 (en) 2000-02-16 2004-12-14 Telefonaktiebolaget L M Ericsson (Publ) Method and system for controlling an electronic utility device using an electronic reading device
US6885878B1 (en) * 2000-02-16 2005-04-26 Telefonaktiebolaget L M Ericsson (Publ) Method and system for using an electronic reading device as a general application input and navigation interface
US6813396B1 (en) 2000-02-16 2004-11-02 Telefonatiebolaget L.M. Ericsson (Publ) Method for sharing information between electronic reading devices
US6952497B1 (en) 2000-02-16 2005-10-04 Telefonaktiebolaget L M Ericsson (Publ) Method and system for electronically recording transactions and performing security function
US6864880B2 (en) * 2000-03-21 2005-03-08 Anoto Ab Device and method for communication
US6724936B1 (en) 2000-08-23 2004-04-20 Art-Advanced Recognition Technologies, Ltd. Handwriting input device and method using a single character set
DE10043538B4 (de) * 2000-09-05 2004-10-14 Grundig Ag Zusatzgerät zur Darstellung von Fernsehrundfunksignalen und Internetsignalen unter optimierten Benutzungsbedingungen
KR100417774B1 (ko) * 2001-02-23 2004-02-14 박주현 컴퓨터내로 문자를 입력하는 장치 및 문자 인식방법
US7571384B1 (en) * 2001-05-31 2009-08-04 Palmsource, Inc. Method and system for handwriting recognition with scrolling input history and in-place editing
EP1302891A1 (de) * 2001-10-12 2003-04-16 Siemens Aktiengesellschaft Vorrichtung zum Erfassen und Darstellen von Bewegungen
JP2003162687A (ja) * 2001-11-28 2003-06-06 Toshiba Corp 手書き文字入力装置、手書き文字認識プログラム
US7417773B2 (en) * 2002-09-30 2008-08-26 Pitney Bowes Inc. Method and system for creating and sending a facsimile using a digital pen
US7167586B2 (en) * 2002-09-30 2007-01-23 Pitney Bowes Inc. Method and system for remote form completion
US7343042B2 (en) * 2002-09-30 2008-03-11 Pitney Bowes Inc. Method and system for identifying a paper form using a digital pen
US7634729B2 (en) * 2002-11-10 2009-12-15 Microsoft Corporation Handwritten file names
US7284200B2 (en) * 2002-11-10 2007-10-16 Microsoft Corporation Organization of handwritten notes using handwritten titles
SE0401647D0 (sv) * 2004-06-28 2004-06-28 Anoto Ab Coding and decoding of data
US8823636B2 (en) 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
US8340476B2 (en) * 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US20060212430A1 (en) 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US8749480B2 (en) 2005-03-18 2014-06-10 The Invention Science Fund I, Llc Article having a writing portion and preformed identifiers
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8290313B2 (en) * 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US7813597B2 (en) 2005-03-18 2010-10-12 The Invention Science Fund I, Llc Information encoded in an expression
US8787706B2 (en) 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
JP4982486B2 (ja) * 2005-06-17 2012-07-25 アノト アクティエボラーク 位置および情報の符号を組み合わせるための方法およびシステム
JP2007080076A (ja) * 2005-09-15 2007-03-29 Fuji Xerox Co Ltd 筆記内容記録システム及び筆記内容記録方法
JP2009520246A (ja) * 2005-10-25 2009-05-21 キャラクテル リミテッド カスタマゼーションによらない書式データ抽出
US9648287B2 (en) * 2007-02-15 2017-05-09 Stewart Carl Note capture device
WO2010086991A1 (ja) * 2009-01-30 2010-08-05 富士通株式会社 画像表示装置、画像表示方法及びコンピュータプログラム
KR101658239B1 (ko) * 2010-04-15 2016-09-30 삼성전자주식회사 애니메이션 메시지 생성 방법 및 장치
CN104350459B (zh) * 2012-03-30 2017-08-04 诺基亚技术有限公司 用户接口、关联装置和方法
US10546052B2 (en) * 2015-10-12 2020-01-28 Sugarcrm Inc. Structured touch screen interface for mobile forms generation for customer relationship management (CRM)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0109581A3 (en) * 1982-11-22 1985-04-24 Allied Corporation A system for locating information fields on a display and for generating field descriptors with information related to each of the display fields
JPS60131041U (ja) * 1984-02-08 1985-09-02 シャープ株式会社 手書き入力情報の処理装置
JPS6120120A (ja) * 1984-07-06 1986-01-28 Nippon Telegr & Teleph Corp <Ntt> タツチパネル制御方式
JPS61183730A (ja) * 1985-02-08 1986-08-16 Fujitsu Ltd 複合通信端末装置
JPH0785254B2 (ja) * 1985-09-27 1995-09-13 株式会社東芝 文字画像読取装置
US4972496A (en) * 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
JPS6349822A (ja) * 1986-08-20 1988-03-02 Canon Inc 会議用情報処理装置
US4763356A (en) * 1986-12-11 1988-08-09 AT&T Information Systems, Inc. American Telephone and Telegraph Company Touch screen form entry system
JPS63155386A (ja) * 1986-12-19 1988-06-28 Ricoh Co Ltd 帳票デ−タ読取装置
US5063600A (en) * 1990-05-14 1991-11-05 Norwood Donald D Hybrid information management system for handwriting and text
US5134669A (en) * 1990-06-13 1992-07-28 National Computer Systems Image processing system for documentary data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991440A (en) * 1991-06-21 1999-11-23 Canon Kabushiki Kaisha Method and apparatus for recognizing input handwritten characters associated with title information
KR100503167B1 (ko) * 2000-08-04 2005-07-25 에이치. 김 리차드 다목적으로 조절할 수 있는 단일 시트 상자
US11117692B2 (en) 2012-02-08 2021-09-14 B+ Equipment Process and machine for reducing the height of boxes with a square or rectangular cross section

Also Published As

Publication number Publication date
CA2039725C (en) 2001-01-16
EP0440812A1 (en) 1991-08-14
WO1991003013A1 (fr) 1991-03-07
EP0440812A4 (en) 1995-09-06
CA2039725A1 (en) 1991-02-26
DE69033397D1 (de) 2000-01-20
DE69033397T2 (de) 2000-04-13
US5903667A (en) 1999-05-11
EP0440812B1 (en) 1999-12-15

Similar Documents

Publication Publication Date Title
JPH0381817A (ja) 手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム
US11010027B2 (en) Device, method, and graphical user interface for manipulating framed graphical objects
US20200356254A1 (en) Handwriting entry on an electronic device
JP5204305B2 (ja) 携帯用端末機におけるパターン認識を用いたユーザインターフェース装置及び方法
JP5859508B2 (ja) 対話型ポップアップビューを備えたデバイス、方法、およびグラフィカルユーザインタフェース
US9600178B2 (en) Mobile terminal
KR102314274B1 (ko) 컨텐츠 처리 방법 및 그 전자 장치
TWI653545B (zh) 用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體
CN111324266B (zh) 用于对文档中的内容对象进行共享的设备、方法和图形用户界面
EP0394614A2 (en) Advanced user interface
JP6599127B2 (ja) 情報検索システム及び方法
KR101273396B1 (ko) 통신단말장치 및 이를 이용한 통신시스템
US20040240739A1 (en) Pen gesture-based user interface
KR20130024220A (ko) 휴대단말기의 입력 장치 및 방법
EP2871563A1 (en) Electronic device, method and storage medium
TWI505155B (zh) 電容和電磁雙模觸摸屏的觸控方法及手持式電子設備
CN104461338A (zh) 可携式电子装置及控制可携式电子装置的方法
WO2020019330A1 (zh) 一种邮件翻译的方法及电子设备
CN113641283A (zh) 电子设备及其屏幕书写模式切换方法和介质
US11165903B1 (en) Apparatus for transmitting message and method thereof
CN106708353B (zh) 即时通讯方法、客户端及电子设备
KR20140092459A (ko) 메모 레이어와 어플리케이션 사이에 데이터를 주고 받는 방법 및 이를 구비한 전자장치
JP2000172428A (ja) 情報処理装置及びそれを用いた情報システム
JP2022041313A (ja) 表示装置、表示方法、プログラム
JPH06301484A (ja) 情報処理装置および情報処理装置における表示情報の指示方法