JPH06149467A

JPH06149467A - 情報処理装置

Info

Publication number: JPH06149467A
Application number: JP29615592A
Authority: JP
Inventors: Masamitsu Takahashi; 正光高橋; Yukihiro Shibata; 幸弘柴田; Akinori Miake; 明紀三明; Hiroshi Okuno; 浩史奥野; Hiroshi Nishida; 博西田; Yutaka Nakamura; 豊中村; Hiroyuki Shigematsu; 浩幸重松
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1992-11-05
Filing date: 1992-11-05
Publication date: 1994-05-27
Anticipated expiration: 2015-01-17
Also published as: JP2999335B2

Abstract

(57)【要約】【構成】タブレット３２と入力ペン１６から得られた
軌跡座標を軌跡座標抽出部３３により抽出する。軌跡描
画部３４でこの軌跡座標に基づいて軌跡イメージを生成
しディスプレイ３１に供給する。また、ジェスチャーコ
マンド判定部３６により、抽出された軌跡座標をジェス
チャーコマンドテーブル３７に格納されているジェスチ
ャーコマンドと照合して、軌跡座標の描く線画に対応し
たジェスチャーコマンドを認識する。認識結果としての
ジェスチャーコマンドと、軌跡座標に基づいて認識した
編集の対象となる文字または文字列の位置情報とをテキ
スト編集部３８に与える。この構成においては、手書き
入力の線画が描かれて、そのジェスチャーコマンドを認
識すると、画面に手書き認識用入力ボードを表示させる
等の諸機能を備えている。【効果】手書き編集の特性を活用して操作性を向上さ
せることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画面上でペン等による
手書きでの編集を行えるようにした情報処理装置に関す
るものである。

【０００２】

【従来の技術】従来、ワードプロセッサやコンピュータ
等の情報処理装置においては、キーボードにより入力を
行うのが一般的であった。このような情報処理装置で
は、文書等の編集を行う場合、カーソル移動のキー操作
によりカーソルを移動させて編集箇所や編集領域の指定
を行い、編集用のキー操作により所望の編集処理を実行
させていた。上記の情報処理装置に対し、近年では、座
標入力用のペンを用いて、画面を直接指し示すことによ
り座標入力を行ったり、画面上で文字等の入力を行える
ようにした装置がある。

【０００３】上記のような手書き入力を可能にした情報
処理装置で、画面上に手書きにより文字を入力する例に
ついて説明する。

【０００４】例えば、図１３に示すように「本日は良い
天気です。」という文章の「良い」の前に「大変」を加
える場合、まず、同図の（ａ）に示す画面５１において
文末にあるカーソル５２を、同図の（ｂ）に示すように
キーまたはペン等により「良」の位置に移動させる。そ
して、画面５１の下部に設けられたガイダンス領域５３
内の手書きボタン５４が押されると、同図の（ｃ）に示
すように、ガイダンス領域５３の上側に手書き認識用入
力ボード５５が現れる。したがって、その手書き認識用
入力ボード５５内に設けられたウインド５６に「大変」
と手書きを行うと、文章中の「良い」の前に「大変」が
加えられる。

【０００５】また、このような手書きによる入力を可能
にした情報処理装置では、手書きにより文書等の編集を
行ういわゆるジェスチャー機能を備えたものがある。こ
の種の情報処理装置は、各種の編集処理を実行させるた
めの複数のコマンドをそれぞれ特有の形状の線画に対応
させて記憶しており、ペン等により画面上に線画が描か
れると、その線画の形状に応じたコマンドを認識して編
集処理を行うようになっている。

【０００６】

【発明が解決しようとする課題】ところが、上記のよう
に手書きで文字を入力する場合、カーソル５２の位置指
定のための操作と手書き認識用入力ボード５５を表示さ
せるための手書きボタン５４の操作とが必要になってい
た。この場合、カーソル５２の位置指定を行う領域と手
書きボタン５４の操作を行うガイダンス領域５３とが離
れているため、操作性があまり良くないという問題点が
あった。

【０００７】また、手書き編集の可能な情報処理装置に
おいて手書き編集を行う場合、コマンドが正しく認識さ
れたか否か、あるいは意図したコマンドで認識がなされ
たか否かは特にユーザに告知されることがなかった。こ
のため、コマンドが正しく認識された否かは、編集処理
が実行された後にしか確認することができず、入力した
線画が意図したコマンドに対応したものであるか否か
は、線画入力時の画面の表示内容と編集処理実行後にお
ける画面の表示内容とを比較することでしか確認するこ
とができなかった。

【０００８】また、各編集機能には、それぞれ特有の形
状の線画が対応付けられているので、可能となる編集機
能の数だけ線画を用意する必要がある。このため、編集
機能の数が増加すると、描きにくく、覚えにくい複雑な
形状の線画を採用しなければならず、ユーザが編集機能
を使いこなすにはかなりの学習が強いられる。しかも、
線画の数が増加すると、コマンドの認識処理において
も、その処理過程が複雑になり、認識速度や認識率の低
下を招来することになる。

【０００９】さらに、手書き編集の可能な情報処理装置
でキーボードによる入力操作も可能なものでは、手書き
編集処理の実行時においてキーボードによる入力が可能
であった。このため、手書き編集処理中にキー入力によ
り誤動作の生じるおそれがあった。例えば、編集処理に
よりスペースを設けようとする場合に、ユーザが不用意
にキーボードに触れたために、一字抹消等の別の処理が
割り込んでしまい、編集の内容が変わってしまうことが
あった。

【００１０】本発明は、上記の事情に鑑みてなされたも
のであって、手書きによる文字等の入力における操作性
の改善を図るとともに、手書き編集における上記のよう
な各問題点を解決して手書き編集の実用性をより高める
ことを目的としている。

【００１１】

【課題を解決するための手段】本発明の請求項１の情報
処理装置は、上記の課題を解決するために、例えば入力
ペンとタブレットとからなる描画用の入力手段を備え
て、入力手段による画面からの手書き入力を可能にする
とともに、入力手段により描かれる線画に対応付けられ
た編集命令を記憶しており、入力手段により画面上の情
報に重ねて線画が描かれると、その情報に対し、重ねら
れた線画に対応する編集命令に基づいて編集処理を行う
情報処理装置において、手書き入力を行う編集命令が認
識されるとその編集命令が指定された位置に対し手書き
入力を行うための手書き入力領域を表示する手書き入力
領域表示手段を備えていることを特徴としている。

【００１２】本発明の請求項２の情報処理装置は、上記
の課題を解決するために、例えば入力ペンとタブレット
とからなる描画用の入力手段を備えるとともに、入力手
段により描かれる線画に対応付けられた編集命令を記憶
しており、入力手段により画面上の情報に重ねて線画が
描かれると、その情報に対し、重ねられた線画に対応す
る編集命令に基づいて編集処理を行う一方、キーボード
を備えてキーによる入力を可能にした情報処理装置にお
いて、編集処理が行われている間は上記キーボードのキ
ー入力を無効にするキー入力無効手段を備えていること
を特徴としている。

【００１３】本発明の請求項３ないし請求項７の情報処
理装置は、上記の課題を解決するために、例えば入力ペ
ンとタブレットとからなる描画用の入力手段を備えると
ともに、入力手段により描かれる線画に対応付けられた
編集命令を記憶しており、入力手段により画面上の情報
に重ねて線画が描かれると、その情報に対し、重ねられ
た線画に対応する編集命令に基づいて編集処理を行う情
報処理装置において、以下の手段を講じていることを特
徴としている。

【００１４】すなわち、請求項３の情報処理装置は、編
集命令が認識されると、このことを音により告知する告
知手段を備えている。

【００１５】請求項４の情報処理装置は、編集命令が認
識されると、その編集命令の名称を画面に表示する編集
命令表示手段を備えている。

【００１６】請求項５の情報処理装置は、請求項４の情
報処理装置であって、認識された編集命令の編集対象と
して指定された１文字を表示するか、あるいは同様に指
定された複数文字の少なくとも先頭の１文字を表示する
編集対象表示手段を備えている。

【００１７】請求項６の情報処理装置は、編集対象が複
数文字であるとき、その編集領域が指定され、かつ編集
命令が認識されると編集対象が１文字であるときの編集
命令と同じ編集処理を上記の編集領域の複数文字に実行
するようになされている。

【００１８】請求項７の情報処理装置は、編集対象が複
数文字であるとき、その編集領域が指定されると実行可
能な編集命令の種類を限定する編集命令限定手段を備え
ており、編集領域が指定され、かつ編集命令が認識され
ると編集対象が１文字であるときの編集命令と同じ編集
処理を上記の編集領域の複数文字に実行するようになさ
れている。

【００１９】

【作用】上記の請求項１の情報処理装置では、手書き入
力を行う編集命令が認識されると、手書き入力領域表示
手段手により、画面に手書き入力を行うための手書き入
力領域が表示される。それゆえ、手書き入力を行う編集
命令に応じた線画を画面上に描くだけで画面に手書き入
力領域が表示され、手書き入力箇所の指定と手書き入力
領域の表示とを１つの操作で行うことができる。

【００２０】上記請求項２の情報処理装置では、編集処
理が行われている間は、キー入力無効手段により、キー
ボードのキー入力が無効になる。それゆえ、編集処理実
行中にキー入力による誤動作が生じることがなくなる。

【００２１】上記請求項３の情報処理装置では、編集命
令が認識されると、告知手段により、このことが音にて
告知される。それゆえ、ユーザは、編集命令の認識が正
しく行われたことを確認することができる。

【００２２】上記請求項４の情報処理装置では、編集命
令が認識されると、編集命令表示手段により、その編集
命令の名称が画面に表示される。それゆえ、ユーザは、
編集命令の認識が正しく行われたことを画面上で確認す
ることができるとともに、画面に表示された編集命令の
名称により、認識された編集命令が意図したものである
か否かの確認も行うことができる。

【００２３】上記請求項５の情報処理装置では、請求項
４の情報処理装置において編集対象表示手段を備えるこ
とにより、認識された編集命令の編集対象として指定さ
れた１文字を表示するか、あるいは同様に指定された複
数文字の少なくとも先頭の１文字が表示される。それゆ
え、編集対象が編集命令に正しく対応付けられたか否か
を画面上で確認することができる。

【００２４】上記請求項６の情報処理装置では、編集対
象が複数文字であるとき、その編集領域が指定され、か
つ編集命令が認識されると、編集対象が１文字であると
きの編集命令と同じ編集処理が上記の編集領域の複数文
字に実行される。それゆえ、編集対象が複数文字である
とき、その文字数に応じた形状の線画を用意する必要が
なくなり、１つの線画で１つまたは複数の文字を同じ編
集命令により編集処理することができる。

【００２５】上記請求項７の情報処理装置では、上記請
求項６の情報処理装置と同様、編集対象となる複数文字
と１文字とに同じ編集命令による編集処理が行われる
が、さらに、編集命令限定手段により、編集領域が指定
されると実行可能な編集命令の種類が限定される。これ
により、例えば、編集の領域が指定された際に誤動作の
原因となる文字挿入等の編集命令が実行されないように
することができる。

【００２６】

【実施例】本発明の一実施例について図１ないし図１２
に基づいて説明すれば、以下の通りである。

【００２７】本実施例に係る情報処理装置は、図２に示
すように、制御部として、ＣＰＵ（Central Processing
Unit)１と、ＲＯＭ（Read Only Memory) ２と、ＲＡＭ
（Random Access Memory）３と、プリンタコントローラ
４と、表示コントローラ５と、ＦＤコントローラ６と、
ＩＣカードインタフェース７と、キーインタフェース８
と、ペンインタフェース９と、手書き編集インタフェー
ス１０とを備えている。本情報処理装置は、キーインタ
フェース８に接続されるキーボード１５により、カーソ
ル移動、文字の入力、編集等を行う他、ペンインタフェ
ース９に接続される入力ペン１６により同様の操作を行
うことができるように構成されている。

【００２８】ＣＰＵ１は、本情報処理装置の動作を制御
する中央制御部であり、メインバスを介して上記の各部
と接続されている。このＣＰＵ１は、キーボード１５お
よび入力ペン１６による入力操作に基づいてカーソル移
動、文字等の入力、編集等を実行するようになってい
る。

【００２９】ＣＰＵ１は、上記の基本的な機能に加え、
手書き編集による手書き入力用の領域を表示する機能を
有している。より具体的には、ＣＰＵ１は、入力ペン１
６により入力された線画に対応するジェスチャーコマン
ドすなわち編集命令が手書き入力を行うものである場
合、ジェスチャーコマンドが後述する手書き編集インタ
フェース１０により認識されると、図３に示すように、
画面２１に手書き入力領域としてのウインド２２を表示
させるようになっており、手書き入力領域表示手段とし
ての機能を有している。

【００３０】また、ＣＰＵ１は、ジェスチャーを行う際
に、キーボード１５のキー入力があった場合にキー入を
無効にするようになっており、キー入力無効手段として
の機能を有している。

【００３１】さらに、ＣＰＵ１は、ジェスチャーを実行
する際、ジェスチャーコマンドが認識されると、図示し
ない低音ブザーを鳴らす一方、ジェスチャーコマンドが
認識されないと、図示しない高音ブザーを鳴らすように
なっており、告知手段としての機能を有している。

【００３２】これに加えて、ＣＰＵ１は、ジェスチャー
コマンドが認識されると、図５に示すように、画面２１
の下端部に表示されるコマンド名表示領域２７に、認識
されたジェスチャーコマンドのコマンド名を表示させる
とともに、編集文字表示領域２８に、ジェスチャーの対
象となる文字を少なくとも１文字表示させるようになっ
ており、編集命令表示手段および編集対象表示手段とし
ての機能を有している。

【００３３】ここで、上記の機能をさらに詳しく説明す
る。

【００３４】この機能においては、認識可能なジェスチ
ャーコマンドのコマンド名がＪＴＹＰＥに０以上の整数
により関連付けられており、表示するコマンド名の文字
数が、そのＪＴＹＰＥに対応してカウントテーブル（CO
UNTTABLE) に格納されている。また、後述のジェスチャ
ーコマンドテーブル３７の各ジェスチャーコマンドが格
納されているアドレスの先頭を示すポインタが、ＪＴＹ
ＰＥに対応してポインタテーブル（MOJIPTR)に格納され
ている。上記の関係をまとめると、例えば次の表１のよ
うになる。なお、ジェスチャーコマンドと認識できなか
った場合は、ＪＴＹＰＥを−１とする。

【００３５】

【表１】

【００３６】カウントテーブルの値は作業用カウンタに
カウントされ、ポインタテーブルの値は作業用ポインタ
に収容されるようになっており、作業用ポインタの値で
示されるコマンド名の文字列を作業用カウンタのカウン
ト値だけ上記のようにして表示するようになっている。

【００３７】また、編集対象となる文字または文字列が
存在するか否かをＰＣＯＵＮＴの値“１”か“０”に対
応させている。ＰＣＯＵＮＴの値が“１”であるときに
は、後述するテキストメモリ３９内の編集対象となる１
文字または文字列の先頭を示すポインタ（POINTMOJIPT
R) に基づいて、その１文字または文字列の先頭の少な
くとも１文字を上記のように表示するようになってい
る。一方、ＰＣＯＵＮＴの値が“０”であるときには、
編集文字表示領域２８に空白を１文字分だけ表示するよ
うになっている。なお、編集対象となる文字列と他の文
字列との判別を容易にするため、編集文字表示領域２８
に表示する文字数を文字列の先頭から数文字としてもよ
い。

【００３８】引き続いて、本情報処理装置のシステム構
成について説明する。

【００３９】ＲＡＭ２は、入力データやＣＰＵ１の演算
結果等を一時的に格納する機能を有する随時書込み／読
出し可能なメモリであり、複数のワークエリアが割り当
てられている。ＲＯＭ３は、本情報処理装置を動作させ
るためのプログラムやデータ等を予め格納している読出
し専用のメモリである。

【００４０】プリンタコントローラ４は、プリンタ１１
が接続されており、ＣＰＵ１の指令に基づいてプリンタ
１１の印字動作を制御するようになっている。表示コン
トローラ５は、ＣＰＵ１からの表示データをビデオ信号
に変換して表示装置１２に送出するとともに、ＣＰＵ１
の指令により表示装置１２の表示動作を制御するように
なっている。表示装置１２は、後述するディスプレイ３
１およびタブレット３２（図１参照）を備えている。

【００４１】ＦＤコントローラ６は、ＣＰＵ１との交信
によってフロッピディスク装置１３を制御するようにな
っている。ＩＣカードインタフェース７は、ＩＣカード
用スロットを含んでおり、ＩＣカード１４内のＣＰＵや
メモリとＣＰＵ１との交信を中継するようになってい
る。

【００４２】キーインタフェース８は、キーボード１５
が接続されており、キーボード１５からのキーデータを
取込むようになっている。ペンインタフェース９は、ス
タイラスペン等の入力手段となる入力ペン１６が接続さ
れており、入力ペン１６により発生したペンデータを取
込むようになっている。

【００４３】手書き編集インタフェース１０は、手書き
認識辞書１７が接続されており、手書き認識辞書１７内
に格納されているジェスチャーコマンドを読出し、ペン
インタフェース９により取込まれたペンデータに基づい
て、入力ペン１６により描かれた線画の形状に対応する
ジェスチャーコマンドを認識して特定するようになって
いる。また、手書き編集インタフェース１０は、複数の
文字に対し指定された編集領域の文字列に１つのジェス
チャーコマンドで編集処理を行う領域指定モードが設定
される場合に、１つの文字に対し１つのジェスチャーコ
マンドで編集処理を行う通常モードの場合とで手書き認
識辞書１７のジェスチャーコマンドの読出しを異ならせ
ている。

【００４４】具体的には、手書き認識辞書１７は、例え
ば３種類用意されており、領域指定モードの場合、辞書
１７−１・１７−２から読出しが行われる一方、通常指
定モードの場合、辞書１７−１・１７−３から読出しが
行われ、領域指定モードが設定されたときに扱える編集
機能が限定されるようになっている。これにより、例え
ば、キー入力で領域指定を行う際に禁止している文字挿
入等の機能が認識対象から外される。このように、手書
き編集インタフェース１０は、編集命令限定手段として
の機能を有している。

【００４５】続いて、ジェスチャーおよび手書き入力を
実行するための基本構成について図１に基づいて説明す
る。

【００４６】この基本構成は、入力ペン１６、ディスプ
レイ３１、タブレット３２、軌跡座標抽出部３３、軌跡
描画部３４、ビットマップメモリ３５、ジェスチャーコ
マンド判定部３６、ジェスチャーコマンドテーブル３
７、テキスト編集部３８、テキストメモリ３９、手書文
字認識部４０および手書文字テーブル４１を備えてい
る。

【００４７】入力手段としての透明のタブレット３２
は、ディスプレイ３１に重ねられており、入力ペン１６
のペン先が接触すると、接触した位置に応じた電位の変
化等を軌跡座標として発生するような構造になってい
る。軌跡座標抽出部３３は、ペンインタフェース９に含
まれており、タブレット３２からの軌跡座標を順次抽出
するようになっている。

【００４８】軌跡描画部３４は、テキスト編集部３８と
同様にＣＰＵ１内に設けられ、軌跡座標抽出部３３によ
り抽出された軌跡座標をつないだ軌跡イメージを生成す
るようになっている。その軌跡イメージは、ＲＡＭ２内
に設けられるビットマップメモリ３５に供給され、ビッ
トマップメモリ３５でディスプレイ３１に表示されてい
るイメージと合成され、ディスプレイ３１に送出され
る。

【００４９】ジェスチャーコマンド判定部３６は、前記
の手書き編集インタフェース１０内に設けられており、
抽出された軌跡座標をジェスチャーコマンドテーブル３
７に格納されているジェスチャーコマンドの基本ストロ
ークのデータと照合して、軌跡座標が描く線画に最も近
似する基本ストロークに対応するジェスチャーコマンド
を認識するようになっている。ジェスチャーコマンド判
定部３６は、上記のコマンド認識の後、認識したジェス
チャーコマンドと、軌跡座標に基づいて認識した編集の
対象となる文字または文字列の位置情報とをテキスト編
集部３８に与えるようになっている。

【００５０】ジェスチャーコマンドテーブル３７は、線
画で表される基本ストロークのデータをジェスチャーコ
マンドと対応付けて格納しており、前記の手書き認識辞
書１７内に設けられている。ジェスチャーコマンドとし
ては、例えば、表２に示すようなものが用意されてい
る。

【００５１】

【表２】

【００５２】具体的には、一字抹消を行うジェスチャー
コマンドの場合、Ｖの字に似た形状で左から右に描かれ
る線画が基本ストロークとして対応し、この基本ストロ
ークにおけるペンダウン座標に位置する文字が削除され
るようになっている。複数の文字を消去する部分消去
も、一字抹消と同様にＶの字に似た形状の基本ストロー
クであり、消去する領域が指定された後に描かれると部
分消去として認識されるようになっている。また、アン
ダーラインを行うジェスチャーコマンドの場合、アンダ
ーラインを施す文字または文字列上に水平方向に左から
右に描かれる直線が基本ストロークとして対応してい
る。

【００５３】テキスト編集部３８は、ＣＰＵ１内に設け
られ、ジェスチャーコマンド判定部３６で認識されたジ
ェスチャーコマンドに基づいて、ジェスチャーコマンド
と同時に供給された位置情報に相当するテキストメモリ
３９内の文字または文字列に対し編集処理を行うように
なっている。また、テキスト編集部３８は、ジェスチャ
ーコマンド判定部３６からのジェスチャーコマンドを受
け付けるだけでなく、キーボード１５からのコマンドも
受け付けて、キー操作による編集処理を行うようにも構
成されている。

【００５４】上記のテキスト編集部３８は、複数文字に
わたる編集領域が指定されてＣＰＵ１により領域指定モ
ードが設定されると、その編集領域の文字列に、１文字
に対して編集を行う通常モードの場合と同じジェスチャ
ーコマンドの編集処理を行うようになっている。

【００５５】テキストメモリ３９は、ディスプレイ３１
に表示される文字または文字列を格納するメモリであ
り、ビットマップメモリ３５と同様ＲＡＭ２内に設けら
れている。テキストメモリ３９の文字データは、ビット
マップメモリ３５内のイメージと合成されて、ディスプ
レイ３１に表示されるようになっている。

【００５６】手書文字認識部４０は、前記のジェスチャ
ーコマンド判定部３６と処理上の同等位置すなわち手書
き編集インタフェース１０に設けられている。また、手
書文字テーブル４１は、ジェスチャーコマンドテーブル
３７と同様に手書き認識辞書１７内に設けられている。

【００５７】手書文字認識部４０は、軌跡座標抽出部３
３により抽出された軌跡座標と手書文字テーブル４１に
格納された複数の基本文字ストロークとを照合し、軌跡
座標が描く線画に最も近似する基本文字ストロークに対
応する文字コードを認識してテキスト編集部３８に与え
るようになっている。このように、手書文字認識部４０
は、ジェスチャーコマンド判定部３６が軌跡座標に基づ
いてジェスチャーコマンドを認識する処理と同様な処理
を行うようになっているが、文字入力の場合は編集箇所
を必要としないので、テキスト編集部３８に位置情報を
供給しない点がジェスチャーコマンド判定部３６と異な
っている。

【００５８】上記のように構成される情報処理装置によ
る手書き入力の具体例について説明する。

【００５９】本情報処理装置で文字入力を行う場合、例
えば、図３の（ａ）に示すように、画面２１に表示され
る「本日は良い天気です。」という文章中の「良い」の
前に「大変」を入力しようとするときの手順について説
明する。まず、同図の（ｂ）に示すように、表１にもあ
る「△」に似た形状の線画を「良」のほぼ中心を基点
（ペンダウンの点）として描いて手書き文字入力の線画
を入力することにより、ジェスチャーから手書き入力に
移行する。これにより、カーソル２３が図３の（ａ）に
示す「す」の位置から「良」の位置に移動し、ガイダン
ス領域２５の上段に手書き認識用入力ボード２４が現れ
る。

【００６０】手書き認識用入力ボード２４は、手書き入
力領域としてのウインド２２を有している。このウイン
ド２２は、３文字分の入力スペースを有しており、テキ
スト編集部３８で生成される。例えば、同図の（ｃ）に
示すように、ウインド２２の第１入力エリアに「大」が
書かれると、軌跡座標抽出部３３からの「大」の軌跡座
標が抽出される。すると、その軌跡座標に基づいて軌跡
描画部３４により描かれたイメージが、ビットマップメ
モリ３６で現在ディスプレイ３１に表示されているイメ
ージと合成される。したがって、上記のようにして入力
ペン１６により書かれる文字は、同時にディスプレイ３
１に表示される。

【００６１】次いで、入力ペン１６がタブレット３２か
ら離されると、手書文字認識部４０で、座標軌跡と手書
文字テーブル４１の基本文字ストロークとの照合により
最適の文字コードが得られる。そして、この文字コード
に基づいてテキスト編集部３８の処理により、テキスト
メモリ３９内に「大」が加えられ、「良」の前に「大」
が表示される。上記の第１入力エリアの文字認識は、ウ
インド２２の第２入力エリアに入力ペン１６が置かれる
と同時に実行される。

【００６２】さらに、ウインド２２の第２入力エリアに
「変」が書かれると、上記と同様にして入力ペン１６の
操作と同時にディスプレイ３１に表示され、画面２１の
文章中には「大」の次に「変」が加えられる。

【００６３】なお、本情報処理装置は、上記のように入
力ペン１６による手書き文字入力のジェスチャーにより
ウインド２２を表示させるようになっているが、従来通
り、画面２１の下部に設けられたガイダンス領域２５に
表示される手書きボタン２６を押すことによりウインド
２２を表示させるようにもなっている。

【００６４】次に、本情報処理装置によるジェスチャー
の具体例について説明する。

【００６５】図４の（ａ）に示す文字列から例えば
「え」を一字抹消する場合、入力ペン１６にて「え」の
上を基点としてほぼ「Ｖ」のように線画が描かれると、
その軌跡座標が軌跡座標抽出部３３により抽出される。
すると、その軌跡座標に基づいて軌跡描画部３４により
描かれたイメージが、ビットマップメモリ３６で現在デ
ィスプレイ３１に表示されているイメージと合成され
る。したがって、上記のようにして入力ペン１６により
描かれる線画は、同時に画面２１に現れる。

【００６６】次いで、入力ペン１６がタブレット３２か
ら離されると、ジェスチャーコマンド判定部３６で、座
標軌跡とジェスチャーコマンドテーブル３７内のジェス
チャーコマンドとの照合により得られた一字抹消のジェ
スチャーコマンドが得られ、このジェスチャーコマンド
とともに位置情報がテキスト編集部３８に送出される。
そして、テキスト編集部３８の処理により、同図の
（ｂ）に示すように、カーソル２３が現在の位置から位
置情報に基づいた位置に移動し、テキストメモリ３９内
の「え」がジェスチャーコマンドに基づいて抹消され、
軌跡座標抽出部３３等は次のジェスチャー操作に備えて
待機状態となる。

【００６７】また、ジェスチャーが行われる際には、図
５の（ａ）に示すように、画面２１の下端部にコマンド
名表示領域２７と編集文字表示領域２８とが並んで表示
される。例えば、一字抹消の場合、ジェスチャーコマン
ド判定部３６により一字抹消のジェスチャーコマンドが
認識されると、ＲＡＭ２に取り込まれたジェスチャーコ
マンドのコードがテキスト編集部３８により文字化され
る。また、消去される「あ」の文字コードも一旦ＲＡＭ
２に取り込まれてテキスト編集部３８により文字化され
る。

【００６８】そして、ジェスチャーコマンドの種別すな
わち「一字抹消」がコマンド名表示領域２７に表示さ
れ、抹消される文字すなわち「あ」が編集文字表示領域
２８に表示される。ジェスチャーコマンドが認識された
ときは、上記の表示とともに低音ブザーが鳴らされる。

【００６９】さらに、ジェスチャー処理において、１文
字を抹消する場合と複数文字を抹消する場合の違いにつ
いて説明する。

【００７０】図６の（ａ）に示すような「手書き編集…
説明します。」の文章中で、例えば最初から４文字目の
「編」を抹消する場合、前述したような手順で「編」の
上からほぼ「Ｖ」のように線画を描くことにより、
「編」が抹消される。

【００７１】一方、複数の文字を抹消する場合、図６の
（ｂ）に示すように、例えば、抹消する「つ」から
「を」までの領域が前記の入力ペン１６による入力でカ
ーソル２３にて示されると、その位置データがＲＡＭ２
に取り込まれる。ジェスチャーコマンドが認識される
と、ＲＡＭ２内の位置データに基づいて上記の領域の文
字が抹消される。

【００７２】ところで、上記のように領域を指定する場
合、入力ペン１６によるポインティング操作を利用する
が、例えば、図７の（ａ）に示すように、「う」と
「ふ」を入力ペン１６によりポインティングすれば、同
図の（ｂ）に示すように、「う」と「ふ」とを結ぶ直線
が対角線となる長方形の領域が指定される。ポインティ
ングを行う場合、ジェスチャーコマンド判定部３６によ
り軌跡座標とジェスチャーコマンドとの照合は行われず
位置情報のみ出力される。

【００７３】ここで、本情報処理装置において手書き入
力を実行する処理手順について説明する。

【００７４】図８のフローチャートに示すように、入力
ペン１６による線画の入力が行われて、その線画に対応
するジェスチャーコマンドが手書き入力に移行するため
のものであるか、すなわち手書き認識用入力ボード２４
の表示用のコマンドであるか否かを判断する（Ｓ１）。
ここで、そのコマンドでない場合、他のコマンド判断に
移行する。

【００７５】Ｓ１で上記のコマンドでないと判断した場
合、入力ペン１６により座標入力された位置へカーソル
２３を移動させる（Ｓ２）。次いで、手書き認識用入力
ボード２４が表示されたときにカーソル２３が隠れない
ように、画面２１をスクロールし（Ｓ３）、手書き認識
用入力ボード２４を表示する（Ｓ４）。

【００７６】そして、手書き認識用入力ボード２４のウ
インド２２に書き込まれた手書き文字のデータを読込み
（Ｓ５）、読込みが終了したか否かを判断する（Ｓ
６）。読込みが終了していれば、そのまま処理を終了
し、読込みが終了していなければ、カーソル２３の位置
にデータを入力して（Ｓ７）、処理がＳ５に戻る。

【００７７】次に、ジェスチャー実行時にキー入力があ
った場合の処理手順について説明する。

【００７８】まず、図９のフローチャートに示すよう
に、ペンデータまたはキーデータを取り込む処理が行わ
れる。この処理においては、ペン割込みが生じるとペン
データを取込む一方（Ｓ１１）、キー割込みが生じると
キーデータを取込み（Ｓ１２）、取込んだペンデータま
たはキーデータをＲＡＭ２内のキーバッファに格納する
（Ｓ１３）。

【００７９】ペンデータまたはキーデータの取込みが終
了すると、図１０のフローチャートに示すように、キー
バッファからデータを取出し（Ｓ２１）、そのデータが
ペンデータであるか否かを判断する（Ｓ２２）。上記の
データがペンデータである場合、ジェスチャー処理を実
行して（Ｓ２３）、処理が終了する。

【００８０】また、Ｓ２２でキーバッファ内のデータが
キーデータであると判断した場合、ジェスチャーの途中
であるか否かを判断する（Ｓ２４）。ジェスチャーの途
中である場合、ジェスチャーの途中でキーボード１５の
キー入力があったことになり、ブザーを鳴らしてエラー
であることを告知する（Ｓ２５）。一方、ジェスチャー
の途中でない場合、キー操作によるアプリケーション処
理を実行する（Ｓ２６）。

【００８１】ジェスチャー処理を行う場合、入力ペン１
６により線画が入力されると、その線画に対応するジェ
スチャーコマンドの認識が行われるが、コマンド認識を
ユーザに告知する処理手順を次に説明する。

【００８２】この処理では、図１１のフローチャートに
示すように、ＪＴＹＰＥの値が“−１”であるか否かを
判断する（Ｓ３１）。ＪＴＹＰＥの値が“−１”でなけ
ればジェスチャーコマンドが認識されたことになるの
で、このことを低音ブザーを鳴らすことにより告知する
（Ｓ３２）。また、ＪＴＹＰＥの値に応じたコマンド名
の文字数を COUNTTABLE JTYPE から取出して COUNT（作
業用カウンタ）にセットするとともに、上記のコマンド
名のアドレスの先頭を示すポインタを MOJIPTRTABLE JT
YPE から取出して MOJIPTR（作業用ポインタ）にセット
する（Ｓ３３）。

【００８３】次いで、 MOJIPTRにより指定されたコマン
ド名を COUNTの文字数だけコマンド名表示領域２７に表
示し（Ｓ３４）、ＰＣＯＵＮＴが“０”であるか否かを
判断する（Ｓ３５）。編集対象とする文字または文字列
があればＰＣＯＵＮＴが“１”となり、POINTMOJIPTRに
より指定された文字または文字列の先頭１文字を編集文
字表示領域２８に表示する（Ｓ３６）。

【００８４】一方、Ｓ３５でＰＣＯＵＮＴが“０”であ
る場合、空白を１文字分だけ編集文字表示領域２８に表
示する（Ｓ３７）。また、Ｓ３１の判断でＪＴＹＰＥの
値が“−１”である場合、ジェスチャーコマンドが認識
されなかったことを高音ブザーを鳴らすことにより告知
する（Ｓ３８）。

【００８５】上記のようにしてジェスチャーコマンドの
認識が確認されると、ジェスチャー処理が実行される
が、本情報処理装置では、１つの線画で１文字および複
数の文字に対し同じ編集処理を実行するように構成され
ている。次にその処理手順について説明する。

【００８６】図１２のフローチャートに示すように、入
力ペン１６による描画がなされ、この描画が入力ペン１
６がアップされるか、あるいはキーボード１５によるキ
ー入力がなされるまで行われる（Ｓ４１）。描画が終了
すると、描画により得られたペン座標の全データをジェ
スチャーコマンド判定部３６に渡すため、そのデータを
一旦ＲＡＭ２内の特定の領域に格納する（Ｓ４２）。

【００８７】認識過程に入ると、まず、現在の入力モー
ドを調べ、入力モードが領域指定モードであるか否かを
判断する（Ｓ４３）。領域指定モードである場合、手書
き編集インタフェース１０により手書き認識辞書から認
識辞書１７−１・１７−２を読出す（Ｓ４４）。また、
領域指定モードでない場合、手書き認識辞書から認識辞
書１７−１・１７−３を読出す（Ｓ４５）。

【００８８】次いで、認識処理が実行され（Ｓ４６）、
線画の形状がジェスチャーコマンド判定部３６により認
識されると、その認識結果がジェスチャーコマンドとし
て出力される。このとき、線画が認識されなければ、エ
ラーとして処理する。

【００８９】認識が成功した場合、そのジェスチャーコ
マンドが一字抹消や部分消去といった消去コマンドであ
るか否かを判断する（Ｓ４７）。消去コマンドであれ
ば、現在が領域指定モードであるか否かを判断し（Ｓ４
８）、ここで領域指定モードでなければ１文字だけ消去
を実行して（Ｓ４９）、処理が終了する。また、Ｓ４８
の判断で領域指定モードであれば、複数文字の消去を実
行して（Ｓ５０）、処理が終了する。そして、Ｓ４７の
判断でジェスチャーコマンドが消去コマンドでなけれ
ば、その他の各種コマンドによる編集処理を行って（Ｓ
５１）、処理が終了する。

【００９０】以上述べたように、本実施例に係る情報処
理装置では、手書き入力を行う線画が入力され、そのジ
ェスチャーコマンドが認識されると、画面２１に手書き
認識用入力ボード２４を表示させるようになっているの
で、直接手書き入力を行う位置に上記の線画を描くだけ
で、手書き認識用入力ボード２４とウインド２２が現れ
て文字の手書き入力が可能になり、操作が簡単かつ分か
りやすくなる。

【００９１】一方、ジェスチャー機能において、本情報
処理装置は、ジェスチャーの実行時に誤ってキー操作が
行われた場合、キー入力を無効とするようになっている
ので、キーデータが割り込んで誤動作が生じることを回
避することができる。また、ジェスチャーコマンドの認
識が正しく行われたか否かをブザーで告知することによ
り、その確認が容易になる。これとともに、ジェスチャ
ーコマンドの認識が正しく行われると、そのコマンド名
と編集対象となる文字とを表示するので、認識を確実に
確認することができる。

【００９２】さらに、編集対象が１文字である場合も領
域指定された複数文字である場合も、１つのジェスチャ
ーコマンドで編集処理を行うので、コマンド数の増加を
最小限にとどめて、認識速度や認識率の低下を抑制する
ことができる。そのうえ、領域指定モードにおいては、
認識対象となる線画の種類を限定することにより、誤動
作を防止することができる。例えば、領域指定モードで
誤動作の原因となる文字挿入等のジェスチャーコマンド
が実行されないようにすることができる。しかも、上記
のように線画の種類を限定すると、認識処理が簡素化さ
れ、認識速度や認識率の向上を図ることも可能になる。

【００９３】

【発明の効果】以上のように、本発明の請求項１の情報
処理装置は、手書き入力を行う編集命令が認識されると
その編集命令が指定された位置に対し手書き入力を行う
ための手書き入力領域を表示する手書き入力領域表示手
段を備えている構成であるので、手書き入力を行う編集
命令に応じた線画を画面上に描くだけで画面に手書き入
力領域が表示され、手書き入力箇所の指定と手書き入力
領域の表示とを１つの操作で行うことができる。したが
って、この情報処理装置によれば、操作の簡略化を図
り、手書き入力の操作性を大幅に向上させることができ
るという効果を奏する。

【００９４】本発明の請求項２の情報処理装置は、編集
処理が行われている間は上記キーボードのキー入力を無
効にするキー入力無効手段を備えている構成であるの
で、編集処理実行中にキー入力による誤動作が生じるこ
とがなくなり、編集処理を確実に実行することができる
という効果を奏する。

【００９５】本発明の請求項３の情報処理装置は、編集
命令が認識されると、このことを音により告知する告知
手段を備えている構成であるので、編集命令の認識を容
易に確認することができるという効果を奏する。

【００９６】本発明の請求項４の情報処理装置は、編集
命令が認識されると、その編集命令の名称を画面に表示
する編集命令表示手段を備えている構成であるので、編
集命令の認識が正しく行われたことを画面上で確認する
ことができるとともに、画面に表示された編集命令の名
称により、認識された編集命令が意図したものであるか
否かの確認も行うことができる。したがって、この情報
処理装置によれば、編集命令の認識をより確実に確認す
ることができるという効果を奏する。

【００９７】本発明の請求項５の情報処理装置は、上記
請求項４の情報処理装置において、認識された編集命令
の編集対象として指定された１文字を表示するか、ある
いは同様に指定された複数文字の少なくとも先頭の１文
字を表示する編集対象表示手段を備えている構成である
ので、編集対象が編集命令に正しく対応付けられたか否
かを画面上で確認することができるという効果を奏す
る。

【００９８】本発明の請求項６の情報処理装置は、編集
対象が複数文字であるとき、その編集領域が指定され、
かつ編集命令が認識されると編集対象が１文字であると
きの編集命令と同じ編集処理を上記の編集領域の複数文
字に実行するようになされているので、編集命令の集約
化を図り、編集命令の認識速度や認識率の低下を抑制す
ることができるという効果を奏する。

【００９９】本発明の請求項７の情報処理装置は、編集
対象が複数文字であるとき、その編集領域が指定され、
かつ編集命令が認識されると編集対象が１文字であると
きの編集命令と同じ編集処理を上記の編集領域の複数文
字に実行するようになされているので、上記請求項６の
情報処理装置と同様、編集命令の集約化を図ることがで
きるとともに、編集領域の指定時に編集命令を限定する
ことにより、誤動作を防止し、編集命令の認識速度や認
識率を向上させることができるという効果を奏する。

【０１００】このように、上記の各情報処理装置は、個
々に異なる特徴を備えているが、いずれも手書き編集の
特性を活用して操作性を向上させることができるという
効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例に係る情報処理装置における
ジェスチャーを実行するための基本構成を示すブロック
図である。

【図２】上記の情報処理装置の主要部の概略構成を示す
ブロック図である。

【図３】ジェスチャーから手書き入力に移行する操作の
具体例を示す説明図である。

【図４】ジェスチャーの具体例を示す説明図である。

【図５】ジェスチャーコマンドの認識によるコマンド名
および編集対象の表示を示す説明図である。

【図６】通常モードおよび領域指定モードにおけるジェ
スチャー処理を説明する説明図である。

【図７】入力ペンによるポインティングの具体例を示す
説明図である。

【図８】ジェスチャーから手書き入力に移行する操作手
順を示すフローチャートである。

【図９】ペンデータまたはキーデータの取込みの処理手
順を示すフローチャートである。

【図１０】ジェスチャー実行時にキー入力を無効にする
処理手順を示すフローチャートである。

【図１１】ジェスチャーコマンドの認識結果を告知する
処理手順を示すフローチャートである。

【図１２】通常モードまたは領域指定モードによるジェ
スチャーの処理手順を示すフローチャートである。

【図１３】従来の手書き入力が可能な情報処理装置にお
ける手書き入力の画面の表示操作を示す説明図である。

【符号の説明】

１ＣＰＵ（手書き入力領域表示手段、キー入力無効
手段、告知手段、編集命令表示手段、編集対象表示手
段）２ＲＡＭ１０手書き編集インタフェース（編集命令限定手
段）１６入力ペン（入力手段）２１画面２２ウインド（手書き入力領域）２７コマンド名表示領域２８編集文字表示領域３１ディスプレイ３２タブレット（入力手段）３６ジェスチャーコマンド判定部（編集箇所指定手
段）３７ジェスチャーコマンドテーブル３８テキスト編集部４０手書文字認識部４１手書文字テーブル

───────────────────────────────────────────────────── フロントページの続き (72)発明者奥野浩史大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者西田博大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者中村豊大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者重松浩幸大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内

Claims

【特許請求の範囲】

【請求項１】描画用の入力手段を備えて、入力手段によ
る画面からの手書き入力を可能にするとともに、入力手
段により描かれる線画に対応付けられた編集命令を記憶
しており、入力手段により画面上の情報に重ねて線画が
描かれると、その情報に対し、重ねられた線画に対応す
る編集命令に基づいて編集処理を行う情報処理装置にお
いて、手書き入力を行う編集命令が認識されるとその編集命令
が指定された位置に対し手書き入力を行うための手書き
入力領域を表示する手書き入力領域表示手段を備えてい
ることを特徴とする情報処理装置。
【請求項２】描画用の入力手段を備えるとともに、入力
手段により描かれる線画に対応付けられた編集命令を記
憶しており、入力手段により画面上の情報に重ねて線画
が描かれると、その情報に対し、重ねられた線画に対応
する編集命令に基づいて編集処理を行う一方、キーボー
ドを備えてキーによる入力を可能にした情報処理装置に
おいて、上記の編集処理が行われている間は上記キーボードのキ
ー入力を無効にするキー入力無効手段を備えていること
を特徴とする情報処理装置。
【請求項３】描画用の入力手段を備えるとともに、入力
手段により描かれる線画に対応付けられた編集命令を記
憶しており、入力手段により画面上の情報に重ねて線画
が描かれると、その情報に対し、重ねられた線画に対応
する編集命令に基づいて編集処理を行う情報処理装置に
おいて、編集命令が認識されると、このことを音により告知する
告知手段を備えていることを特徴とする情報処理装置。
【請求項４】描画用の入力手段を備えるとともに、入力
手段により描かれる線画に対応付けられた編集命令を記
憶しており、入力手段により画面上の情報に重ねて線画
が描かれると、その情報に対し、重ねられた線画に対応
する編集命令に基づいて編集処理を行う情報処理装置に
おいて、編集命令が認識されると、その編集命令の名称を画面に
表示する編集命令表示手段を備えていることを特徴とす
る情報処理装置。
【請求項５】認識された編集命令の編集対象として指定
された１文字を表示するか、あるいは同様に指定された
複数文字の少なくとも先頭の１文字を表示する編集対象
表示手段を備えていることを特徴とする請求項４に記載
の情報処理装置。
【請求項６】描画用の入力手段を備えるとともに、入力
手段により描かれる線画に対応付けられた編集命令を記
憶しており、入力手段により画面上の情報に重ねて線画
が描かれると、その情報に対し、重ねられた線画に対応
する編集命令に基づいて編集処理を行う情報処理装置に
おいて、編集対象が複数文字であるとき、その編集領域が指定さ
れ、かつ編集命令が認識されると編集対象が１文字であ
るときの編集命令と同じ編集処理を上記の編集領域の複
数文字に実行するようになされていることを特徴とする
情報処理装置。
【請求項７】描画用の入力手段を備えるとともに、入力
手段により描かれる線画に対応付けられた編集命令を記
憶しており、入力手段により画面上の情報に重ねて線画
が描かれると、その情報に対し、重ねられた線画に対応
する編集命令に基づいて編集処理を行う情報処理装置に
おいて、編集対象が複数文字であるとき、その編集領域が指定さ
れると実行可能な編集命令の種類を限定する編集命令限
定手段を備えており、編集領域が指定され、かつ編集命
令が認識されると編集対象が１文字であるときの編集命
令と同じ編集処理を上記の編集領域の複数文字に実行す
るようになされていることを特徴とする情報処理装置。