JP3258978B2 - ジェスチャー処理装置及びジェスチャー処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画面上でペン等に
よる手書きでの編集を行えるようにした情報処理装置で
あり、詳しくはジェスチャー処理装置に関するものであ
る。

【０００２】

【従来の技術】近年、液晶表示等の表示部分と、入力ペ
ン等との当接部位の座標を検出するタブレットとを一体
化した表示装置を備え、入力ペンにより直接編集できる
ように設定された情報機器、いわゆるペン情報入力方式
の情報機器が市場に現れている。したがって、上記表示
装置は、紙とペンを連想させるように、あたかも原稿用
紙での校正と同様のことを、上記タブレット上で実現で
きるものとなっており、上記のような情報機器として
は、例えば××××××の日本語ワードプロセッサ″×
×××××××″等が知られている。

【０００３】これらのペン情報入力機器において、その
特性をより生かすための機能として、ジェスチャー機能
というものが考えられた。このようなジェスチャー機能
は、予め設定して記憶しておいた編集記号により、入力
ペンでタブレット上の所望する位置の文字等を、任意の
編集記号で描画することにより、表示装置上の文章を直
接的に編集できるようになっている。

【０００４】したがって、上記ペン情報入力機器では、
各編集機能に対応する基本ストロークを予めジェスチャ
ーコマンドテーブルとして記憶しておき、入力ペンおよ
びタブレットを用いて入力されたイメージを、上記各基
本ストロークとそれぞれ比較して、そのイメージと所定
範囲内で一致する基本ストロークから、上記イメージに
対応する編集機能を検出している。

【０００５】

【発明が解決しようとする課題】ところが、上記ペン情
報入力機器では、例えば部分消去、移動、複写、アンダ
ーライン、スペース挿入など大量の文字列に対して処理
される編集機能の場合、そのような機能が実行された
後、編集前の元の状態に戻そうとしても、必ずしもその
元の状態に戻せるとは限らない。また、元の状態に戻す
ことができても、編集操作の途中や編集操作後では、ワ
ークフラグ等の動作状況が変化していることが多く、そ
れらを再設定したりするため、その復元操作が煩雑なも
のとなり、復元操作に手間取るという問題を生じてい
る。

【０００６】また、上記ペン情報入力機器では、従来か
らの横書きだけではなく縦書きの文章に対しても、ジェ
スチャー機能による編集機能を付与しようとすると、横
書きと縦書きの文章を校正する際の編集記号が異なる場
合が多く、ジェスチャーコマンドテーブルに記憶してお
くコマンドとそれに対応する基本ストロークが増加す
る。これにより、入力されたイメージとの比較による、
対応するコマンドの検出処理に手間取り、処理時間が増
加するという問題と、ユーザーが記憶しておく基本スト
ローク数が増加することから、それらの認識率が低下す
るという問題も生じている。

【０００７】

【課題を解決するための手段】本発明のジェスチャー処
理装置は、以上の課題を解決するために、座標入力手段
から入力される連続する座標のストロークを抽出するス
トローク抽出手段と、複数の基本ストロークの各々に対
応して復元及び編集を含むコマンドを記憶したテーブル
手段と、抽出されたストロークとテーブル手段に記憶さ
れた基本ストロークを照合して最も近似する基本ストロ
ークに対応するコマンドを認識し出力するジェスチャー
認識手段と、各種コマンドを入力するキー入力手段と、
表示画面に表示されている文字等の画像情報を前記ジェ
スチャー認識手段から出力されるコマンド及び前記キー
入力手段から入力されるコマンドに従って編集する編集
処理手段と、前記編集処理手段による編集がジェスチャ
ー認識手段から出力されるコマンドによる編集である場
合に編集前の表示画面での画像情報及び動作状況を既に
記憶されている情報に換えて記憶する画面情報記憶手段
と、前記編集処理手段による編集がジェスチャー認識手
段から出力されるコマンドによる編集である場合にセッ
トされ、前記キー入力手段から入力されるコマンドによ
る編集である場合にリセットされる識別子と、ジェスチ
ャー認識手段が復元コマンドを認識したときの前記識別
子の状態がセット状態にある場合に画面情報記憶手段に
記憶されている画像情報及び動作状況を読み出し設定す
る復元手段とを備えるジェスチャー処理装置である。

【０００８】また、本発明のジェスチャー処理方法は、
座標入力手段から入力される連続する座標のストローク
を抽出し、抽出されたストロークと予め記憶された基本
ストロークを照合し最も近似する基本ストロークに対応
する復元及び編集コマンドを認識し、表示画面に表示さ
れている文字等の画像情報を認識された第１編集コマン
ド又はキー入力手段から入力された第２編集コマンドに
従って編集する時、当該編集が第１編集コマンドによる
ものであれば識別子をセットすると共に編集前の表示画
面での画像情報及び動作状況を記憶手段に格納し、第２
編集コマンドによるものであれば識別子をリセットし、
認識されたコマンドが復元コマンドを認識したときの前
記識別子の状態がセット状態にある場合に画面情報記憶
手段に記憶されている画像情報及び動作状況を読み出し
設定するようにしたことを特徴とするジェスチャー処理
方法である。

【０００９】

【発明の実施の形態】本発明の一実施例を実施例１とし
て図１ないし図２１に基づいて説明すれば、以下の通り
である。

【００１０】〔実施例１〕情報処理装置では、図２に示
すブロック図のように、プログラムを実行する中央処理
装置（Centra l Proccesing Unit、以下、ＣＰＵとい
う）１が設けられ、そのＣＰＵ１のバスライン１８に、
各種データを記憶して読み出すためのＲＡＭ２、制御プ
ログラムを格納しておくＲＯＭ３、プリンタ５を制御す
るプリンタコントローラ４、外部記憶手段としてのＩＣ
カード６に対して読み書きするためのＩＣカードインタ
ーフェース７、およびフロッピーディスクドライブ（以
下、ＦＤＤという）８を制御するＦＤコントローラ９が
接続されている。

【００１１】さらに、上記バスライン１８には、入力手
段としてのキーボード１０からの信号を上記バスライン
１８に入力するためのキーインターフェース１１と、液
晶ディスプレイ等の表示装置１４を制御するための表示
コントロール１５とが接続されている。

【００１２】その上、上記バスライン１８には、上記表
示装置１４の画像上と当接して、情報を入力したり、選
択したりする入力ペン１２からの信号をペン座標に変換
して上記バスライン１８に入力するためのペンインター
フェース１３が接続されており、よって、上記入力ペン
１２は、上記画像上を示す、いわゆるポインティング機
能や、上記画像上に所定のイメージを描画することによ
り、画像上の情報を選択したり、編集記号を入力したり
できるジェスチャー機能のための入力手段となってい
る。

【００１３】また、上記バスライン１８には、手書き編
集インターフェース１６が接続されており、その手書き
編集インターフェース１６では、後に詳述するように、
上記の入力ペン１２からのペン座標をそれぞれ示す各座
標データの信号により、メモリである手書き認識辞書
（記憶手段）１７に予め記憶されている各基本ストロー
ク（基本イメージ）に基づいて、上記各座標データの認
識結果を上記バスライン１８に出力するようになってい
る。

【００１４】また、上記手書き認識辞書１７では、文字
や記号を示す各基本ストロークが、後述する横書きジェ
スチャーコマンドテーブル２７、縦書きジェスチャーコ
マンドテーブル３４、手書き文字テーブル３０というよ
うに内容により分類されてそれぞれ格納されている。

【００１５】このような基本ストロークの例としては、
改行を示す編集記号である逆Ｌ字が、例えば図３に示す
ように、９×９の枡目のそれぞれ相当する座標位置に〇
で示したように埋まって、すなわち各枡目に相当する座
標での入力ペン１２の通過の有る無しで示されている。
なお、上記の有る無しの判定においては所定の閾値が設
定されている。

【００１６】なお、図示しないが、上記基本ストローク
は、一筆書きで描画できるように設定されて、その描画
方向、つまり、上記基本ストロークの両端の何れの一方
が起点であるかも記憶されている。

【００１７】一方、図２に示すように、前記表示装置１
４の画面上に、その画面の各座標を検出するための透明
なタブレット１９が一体的に形成されていて、上記タブ
レット１９は、図４（ａ）に示すように、碁盤の目状に
各ＸＹ（ 640×400 ）座標が設定されていて、前記の表
示装置１４の文字配列、例えば図４（ｂ）に示す縦40
行、横80列に対応するようになっている。

【００１８】これにより、図２に示す前記入力ペン１２
の先端部が、上記タブレット１９上に当接すると、その
タブレット１９におけるペン座標が、前記ペンインター
フェース１３にて検出され、座標コードに変換されてバ
スライン１８に出力される。

【００１９】なお、上記のタブレットの方式としては、
入力ペン１２が当接して描画すると、その軌跡の各座標
が検出できるものであれば特に限定されないが、例えば
静電結合式タブレットや、電気ひずみおよび磁気ひずみ
式タブレット、また、感圧式や超音波式や電気機械式タ
ブレットも使用できる。

【００２０】このような上記構成を用いて、表示装置１
４上に文章を作成する場合、キーボード１０から入力さ
れた文字や記号が、キーインターフェース１１にて所定
の文字コードや記号コードにそれぞれ変換されて、それ
ら各コードがＣＰＵ１（図１におけるテキスト編集部１
ａ）により一旦ＲＡＭ２に順次格納される（図１におけ
るテキストメモリ２ａ）。

【００２１】その後、そのＲＡＭ２に格納されたコード
を、キーボード１０からの指示とＲＯＭ３に格納されて
いるプログラムとに基づいて、ＣＰＵ１が、表示装置１
４に表示できるようにＲＡＭ２上に再度配列する（図１
におけるビットマップメモリ２ｂ）。続いて、上記ＲＡ
Ｍ２上の各コード配列を、表示コントロール１５を介し
て表示装置１４上に表示するようなっている。

【００２２】また、上記構成では、このように一旦表示
装置１４上に表示された文章を、キーボード１０、表示
装置１４上に設定されたアイコン領域からの入力された
指示、または後述する入力ペン１２による指示により編
集できて、上記ＣＰＵ１は、所定のプログラムおよび上
記指示に従って、ＲＡＭ２におけるビットマップメモリ
２ｂの各コード配列を並べ換える、つまり編集すること
ができるようになっている。

【００２３】次に、表示装置１４上に表示されている文
章の編集を容易にするためのジェスチャー機能について
説明する。まず、図１に示すように、ＣＲＴや液晶等の
表示装置１４と、その表示面上に設けられた透明なタブ
レット１９とが一体に構成されたディスプレイタブレッ
ト２０上で、その表示装置１４上で表示されている文章
等の画像の所望の位置において、例えば編集記号を示す
イメージを入力ペン１２にて描画する。

【００２４】そのような描画の各座標データは、上記タ
ブレット１９および入力ペン１２に接続されている軌跡
座標抽出部２１にて順次検出される。このとき、上記座
標データの内、上記入力ペン１２とタブレット１９とが
最初に当接したＸＹ座標であるペンダウン座標が、図５
（ａ）に示すタブレット１９におけるジェスチャー機能
の有効領域１９ａ内であるか無効領域１９ｂ内であるか
を、上記軌跡座標抽出部２１からの座標データが入力さ
れるジェスチャー判定部２２にて判定される。

【００２５】さらに、上記ジェスチャー判定部２２で
は、上記のペンダウン座標が有効であると判定される
と、そのペンダウン座標が、表示装置１４における各表
示画面に応じて設定され、入力ペン１２により選択等が
実行される図５（ｂ）に示すペンボタン領域１９ｃであ
るか否かが判定される。

【００２６】その後、上記ペンダウン座標が、前記の有
効領域１９ａ内であり、かつ、上記のペンボタン領域１
９ｃでないことが判定されると、上記ジェスチャー判定
部２２から座標データが入力される軌跡判定部２３は、
ジェスチャー機能のＯＮを示すジェスチャー機能ＯＮフ
ラグをフラグ指示部２４にセットする。

【００２７】このフラグ指示部２４に、ジェスチャー機
能ＯＮフラグがセットされていると、上記の描画軌跡を
示す各座標データは、ペンダウン座標も含めて軌跡判定
部２３に接続されている座標データバッファ２５にそれ
ぞれ順次記憶される。

【００２８】その上、上記フラグ指示部２４にジェスチ
ャー機能ＯＮフラグがセットされていると、前記ジェス
チャー判定部２２は、入力される座標データが有効領域
内であるか否か、およびペンボタン領域であるか否かの
判定を停止して、入力された座標データを全て有効とし
て軌跡判定部２３に出力するようになっている。

【００２９】上記の入力ペン１２による描画が終了し
て、入力ペン１２がタブレット１９から離間するペンア
ップの状態となると、軌跡判定部２３は上記のジェスチ
ャー機能ＯＮフラグがセットされていることを確認し
て、上記各軌跡座標データの全てが上記座標データバッ
ファ２５からジャスチャーコマンド判定部２６に出力さ
れる。

【００３０】なお、上記のように各座標データが全てジ
ャスチャーコマンド判定部２６に出力されると、上記フ
ラグ指示部２４によるジェスチャー機能ＯＮフラグがリ
セットされるようになっている。

【００３１】上記各軌跡座標データは、そのジャスチャ
ーコマンド判定部２６にて正規化されて図２に示す手書
き認識辞書１７に含まれる、例えば横書きジェスチャー
コマンドテーブル２７にそれぞれ格納されている各基本
ストロークのデータと順次比較照合される。

【００３２】このように上記構成では、上記フラグ指示
部２４にジェスチャー機能ＯＮフラグがセットされてい
ると、前記ジェスチャー判定部２２は、入力される座標
データが有効領域内であるか否か、およびペンボタン領
域であるか否かの判定を停止して、入力された座標デー
タを全て有効として軌跡判定部２３に出力するようにな
っている。

【００３３】このことから、図５（ｃ）に示すように、
ペンダウン座標が有効領域１９ａ内であれば、入力ペン
１２による他の軌跡座標が、無効領域１９ｂであって
も、入力ペン１２による描画が有効なものとなってい
て、描画途中に誤って無効領域１９ｂを通過させて、入
力ペン１２による描画を無効となり、再度入力しなおす
という手間を省くことができる。ただし、図５（ｄ）に
示すように、ペンダウン座標が無効領域１９ｂである
と、エラー処理に移行し、ジェスチャー機能が停止す
る。

【００３４】なお、図１および図２に示すように、上記
のジャスチャーコマンド判定部２６は前記の手書き編集
インターフェース１６に含まれ、また、前記の軌跡座標
抽出部２１、ジェスチャー判定部２２、軌跡判定部２３
およびフラグ指示部２４は、前記のペンインターフェー
ス１３に含まれており、前記の座標データバッファ２５
はＲＡＭ２に記憶領域が設定されている。

【００３５】前記の横書きジェスチャーコマンドテーブ
ル２７には、図示している一字抹消コマンド２７ａ、ス
ペース挿入コマンド２７ｂ、手書き文字入力コマンド２
７ｃに対応する基本ストロークの他に、例えば図６に示
す複数の基本ストロークが、それぞれ対応するコマンド
と共に記憶されている。

【００３６】一方、前記の縦書きジェスチャーコマンド
テーブル３４には、例えば図７に示すように、複数の縦
書き用の基本ストロークが、それぞれ対応するコマンド
と共に記憶されている。したがって、上記図７に示す縦
書き用の各基本ストロークと、横書き用の各基本ストロ
ークと異なるものは６種となり、他の基本ストロークが
共通となる。

【００３７】また、上記手書き認識辞書１７における各
テーブル２７・３０・３４を、ジャスチャーコマンド判
定部２６からアクセス可能とアクセス不可とをそれぞれ
選択して設定できるテーブル選択部（選択手段）３２が
設けられており、そのテーブル選択部３２での選択は、
テキスト編集部１ａを介して入力ペン１２やキーボード
１０等の入力手段によって設定できるようになってい
る。

【００３８】なお、上記テーブル選択部３２では、各基
本ストロークを個々にジャスチャーコマンド判定部２６
からアクセス可能とアクセス不可とが選択設定できるよ
うにもなっており、また、上記各基本ストロークをグル
ーピングして、各グループ毎に、アクセス可能とアクセ
ス不可とが選択設定できるようにもなっている。

【００３９】また、上記の各基本ストロークにそれぞれ
対応する各コマンドのアクセス可能とアクセス不可とを
表にして記憶して、その表を任意に呼び出して表示装置
１４で表示するための登録バッファ３３が設けられてい
る。さらに、この登録バッファ３３では、上記テーブル
選択部３２においてグルーピングされている場合、例え
ば、全て無効、一部有効、全て有効から選択できるよう
に、グルーピングの表も記憶できるようになっている。

【００４０】前記のジャスチャーコマンド判定部２６
は、上記の各基本ストロークとの比較照合の結果、前記
の軌跡座標と最も近似する基本ストロークに対応したコ
マンドを、テキスト編集部１ａに出力すると共に、供給
された軌跡座標から上記コマンドにより処理される文字
または文字列の座標情報、つまり表示装置１４における
位置情報を上記テキスト編集部１ａに出力する。

【００４１】これにより、上記テキスト編集部１ａは、
テキストメモリ２ａ内の文字や記号の配列の上記位置情
報の文字や記号を、削除したり、その位置に挿入したり
して編集できることになる。

【００４２】このとき、テキスト編集部１ａは、上記の
ようなジェスチャー機能の起動後に、つまり入力ペン１
２によるジェスチャー機能による編集記号の入力操作を
開始して、復元機能と異なる他の編集機能が入力される
と、表示装置１４において表示されているテキストメモ
リ２ａ内の画面情報を、呼び出して一時記憶しておくメ
モリである画面情報バッファ（記憶領域）３１が設定さ
れている。

【００４３】さらに、上記テキスト編集部１ａは、上記
のようなジェスチャー機能の起動時に、各機能の動作状
況を示す各ワークフラグのセットまたはリセットを上記
画面情報バッファ３１にそれぞれ記憶させるようになっ
ている。

【００４４】したがって、上記各ワークフラグのセット
／リセット状態をそれぞれ検出して、上記の各状態を示
す信号を前記テキスト編集部１ａに出力し、かつ、後述
するように画面情報バッファ３１にて記憶された元の各
ワークフラグに基づいて、現在の各ワークフラグを再設
定するワークフラグ検出・復元手段３５が設けられてい
る。

【００４５】このように上記画面情報バッファ３１に画
面情報およびワークフラグが記憶、つまりセーブされる
と、セーブフラグをセットするセーブフラグ部３１ａが
画面情報バッファ３１に設定されている。

【００４６】なお、上記画面情報バッファ３１では、次
の画面情報が記憶されると、以前に記憶された画面情報
および各ワークフラグのセット／リセットの記憶はクリ
アされるようになっている。

【００４７】また、上記のテキスト編集部１ａは、ジャ
スチャーコマンド判定部２６からのコマンドのみが入力
されるだけでなく、前述したようにキーボード１０から
のコマンドも入力されて、そのコマンドによる編集等が
できるようになっている。

【００４８】一方、上記の軌跡座標の処理とは独立し
て、軌跡座標抽出部２１により抽出された軌跡座標デー
タは、軌跡描画部２８に出力されて上記軌跡座標データ
をつないだ軌跡イメージとなる。

【００４９】生成された軌跡イメージは、ビットマップ
メモリ２ｂに現在形成されている文字列、記号列または
イメージと合成されて、そのビットマップメモリ２ｂに
記憶される。したがって、オペレータが入力ペン１２
で、タブレット１９をなぞって入力したジェスチャーイ
メージは、リアルタイムに表示装置１４上に表示される
ことになる。

【００５０】このようなジェスチャー編集の操作例を図
８および図９に示す。まず、図８において、ディスプレ
イタブレット２０に表示されているテキストの内、文字
「え」を一字抹消する場合、入力ペン１２にて「え」の
文字の上を「Ｖ」のようにジェスチャー、つまり描画し
た後、上記入力ペン１２をディスプレイタブレット２０
上から離す。

【００５１】なお、上のような描画の際、その開始位置
が、上記の文字の描画範囲内で有ることが上記の文字の
認識において肝要である。上記のように消去・抹消系が
指示される文字の位置を容易に精度よく認識するため、
上記文字の描画範囲のほぼ中央部から描画を開始するこ
とが望ましい。

【００５２】続いて、その軌跡座標が抽出されて軌跡イ
メージがディスプレイタブレット２０における表示装置
１４に表示されると共に、基本ストロークとの照合によ
り得られた「Ｖ」の描画に相当する一字抹消のコマンド
と共に、上記の「え」の文字の位置情報が、テキスト編
集部１ａに出力される。

【００５３】その後、上記の位置情報に基づいて、表示
装置１４におけるカーソル１４ａが元の位置、例えば
「ほ」の文字の位置から入力ペン１２にて操作された位
置、つまり上記の場合文字「え」の位置に移動した後、
前記のテキストメモリ２ａ内の上記の「え」を、上記の
コマンドに基づき抹消することにより、ビットマップメ
モリ２ｂ内の上記の「え」の文字が消去され、上記表示
装置１４における上記の「え」が抹消される。このよう
にしてジェスチャー編集が完了する。

【００５４】また、図９に示すように、各編集記号を図
示しない入力ペンにより、ディスプレイタブレット２０
上に描画することにより、上記と同様に、ジェスチャー
編集が可能となっている。なお、上記の編集記号のイメ
ージである基本ストロークは任意に設定できるようにな
っている。

【００５５】次に、上記の構成によるポインティング機
能について説明する。まず、従来のワードプロセッサで
は、テキスト上の複数文字を領域指定する場合等にはカ
ーソルを順次移動させていたが、上記構成では、図１０
に示すように、カーソル１４ａの位置を直接入力ペン１
２の指示によりダイレクトに移動指示が可能となってい
る。

【００５６】なお、前記のジェスチャーとポインティン
グとの切り替えは、抽出された座標が軌跡を伴わない一
点の座標であるか否か、すなわち上記各座標が連続であ
るか否かによって判断しており、このような判断は、前
記軌跡判定部２３にて行われている。

【００５７】そこで、例えば、ポインティングであると
判断した場合、得られた座標は、横書きジェスチャーコ
マンドテーブル２７と照合せず、その座標の位置情報の
みをテキスト編集部１ａに出力させている。

【００５８】次に、上記構成を用いて、手書き文字入力
について説明する。手書き文字入力は、前記のジェスチ
ャー編集が軌跡座標と予め記憶した基本ストロークとを
照合する処理と同等の処理方法により実行できるように
なっている。

【００５９】つまり、図１に示すように、ジャスチャー
コマンド判定部２６と処理上の同等位置に、すなわち手
書き編集インターフェース１６に、手書き文字認識部２
９が形成され、手書き文字を予め記憶している手書き文
字テーブル３０が、横書きジェスチャーコマンドテーブ
ル２７と同様に図２に示す手書き認識辞書１７に形成さ
れている。

【００６０】上記の手書き文字認識部２９は、軌跡座標
抽出部２１から供給される軌跡座標と、手書き文字テー
ブル３０に記憶されている複数の基本文字ストロークと
を照合し、最も近似する基本文字ストロークに対応する
文字コードを上記の手書き文字テーブル３０からテキス
ト編集部１ａに出力させる。

【００６１】このような手書き文字入力機能と、前記の
ジェスチャー編集機能との異なる点は、手書き文字認識
部２９が位置情報を出力しないことである。なお、上記
の手書き文字入力機能は、キーボード１０からの指示
や、表示装置１４上のアイコンからの指示から立ち上げ
可能にしており、また、ディスプレイタブレット２０の
タブレット１９上に、例えば横書き用のジェスチャー機
能の場合、図６に示すように、「△」をジェスチャーす
ることにより、ジェスチャー編集機能から立ち上げ可能
となっている。

【００６２】このような手書き文字入力機能の操作例に
ついて説明すると、図１１に示すように、手書き文字入
力機能が立ち上げられると、ディスプレイタブレット２
０の所定位置に、手書き文字入力のためのウインドウ１
４ｂが表示され、そのウインドウ１４ｂ内の第１入力エ
リアに、入力ペン１２にて文字を、例えば「す」と手書
きする。

【００６３】その後、次の入力のため隣接する第２エリ
アに入力ペン１２を接触させると、そのとき上記の第１
エリアに手書きされた軌跡座標の文字認識が、前記の手
書き文字テーブル３０を参照して前記手書き文字認識部
２９にて前述したように実行され、その認識結果の文字
をカーソル１４ａが示す位置に入力して表示するように
なっている。

【００６４】これにより、例えば草書体などの字体を予
め、手書き文字テーブル３０に記憶させておき、その草
書体を手書きで入力して、上記手書き文字テーブル３０
における草書字体を表示・印刷等が可能となっている。
なお、上記の各ジェスチャー機能では、横書き用のジェ
スチャー機能の例を挙げたが、縦書き用のジェスチャー
機能でも同様である。

【００６５】次に、上記実施例１の構成におけるジェス
チャー機能での復元機能を含めた各編集機能の動作例に
ついて図１２のフローチャートを参照しながら説明す
る。まず、表示装置１４に表示された文章を編集する場
合、入力ペン１２を用いるジェスチャー機能による手書
き編集か、他の編集方法、例えばキーボード１０による
キー編集かを選択する（ステップ１、以下ステップをＳ
と略する）。

【００６６】このとき、ジェスチャー機能による手書き
編集か、他の編集方法かが判定され（Ｓ２）、他の編集
方法が選択されると、セーブフラグ部３１ａでのフラグ
をリセットし（Ｓ３）、その通常編集処理を実行し（Ｓ
４）、処理を完了する。

【００６７】一方、ジェスチャー機能による手書き編集
であれば、続いて、その手書き編集が復元機能か、他の
編集機能かが判定され（Ｓ５）、他の編集機能、例えば
一字抹消であれば、その編集機能が選択され（Ｓ６）、
その後、復元に必要な文書データおよびその時のワーク
フラグを画面情報バッファ３１にセーブする（Ｓ７）。
その次に、セーブフラグ部３１ａにセーブフラグをセッ
ト（Ｓ８）した後、上記の編集機能を実行し（Ｓ９）処
理を完了する。

【００６８】一方、前記のＳ５における判定が復元機能
であれば、まず、セーブフラグ部３１ａのセーブフラグ
がセット状態であるか、リセット状態であるかを判定し
（Ｓ１０）、リセット状態であれば、ブザー等のエラー
処理に移行し（Ｓ１１）、処理が終了する。

【００６９】また、セーブフラグがセット状態であれ
ば、前記の画面情報バッファ３１に予め記憶された元の
画面情報をおよびワークフラグを呼び出して復元処理を
実行し（Ｓ１２）、続いて、セーブフラグ部３１ａのセ
ーブフラグをリセットして（Ｓ１３）、処理を完了す
る。

【００７０】次に、上記の動作例の一具体例を、図１３
ないし図１６を参照しながら説明すると、まず、図１３
に示すように、表示装置１４における表示画面での文章
中の例えば「坂」に対して、手書き編集記号の一字抹消
機構を入力ペン１２により手書き入力する。

【００７１】このように復元機能と異なる他の編集機能
である一字抹消が入力されると、復元処理のために、図
２に示すＲＡＭ２にある図１に示すテキストメモリ２ａ
にある現在の文書データと、その時に全機能で共通使用
するワークフラグを、上記のＲＡＭ２の別領域にある画
面情報バッファ３１に一時セーブする。

【００７２】その後、上記のＲＡＭ２にあるセーブフラ
グ部３１ａのセーブフラグをセットする。その次に、上
記の復元処理のための処理を終了すると、図１４に示す
ように、実際に一字抹消処理を実行する。

【００７３】その後、上記の一字抹消処理が、例えば誤
りで、元の文章に復元させる場合、まず、入力ペン１２
およびタブレット１９により、図１５に示すように、手
書き編集記号の復元記号を入力する。その後、セーブフ
ラグ部３１ａにおけるセーブフラグをチェックする。そ
のセーブフラグ部３１ａでのセーブフラグがリセット状
態であれば、手書き編集復元処理が実行不可のため、ブ
ザー等のエラー処理に移行し、処理を終了する。

【００７４】一方、上記セーブフラグ部３１ａでのセー
ブフラグがセット状態であれば、画面情報バッファ３１
から元の画面情報およびそのときのワークフラグを呼び
出して、図１６に示すように、手書き編集一字抹消にて
消去した文字「坂」の復元処理を実行する。続いて、復
元処理実行後の復元処理を実行不可にするために、上記
のセーブフラグ部３１ａにおけるセーブフラグをリセッ
トする。なお、上記の図１４および図１６における□は
カーソル位置を示す。

【００７５】このように上記実施例１の構成では、手書
き編集を実行する前に、文書データおよびその時のワー
クフラグをセーブしておくことにより、誤って手書き編
集を実行した場合においても、復元処理を指定するだけ
で文書データおよびその時のワークフラグを元に戻し、
表示装置１４上での文書を手書き編集前の状態に迅速
に、かつ、確実に復元できる。

【００７６】これにより、上記構成は、上記のような手
書き編集を取り消す場合等、予め以前の画面情報および
ワークフラグが記憶されているため、例えば図１７に示
すように、入力ペン１２の軌跡表示、認識領域の矩形表
示、認識情報の表示、編集機能の認識表示の一覧、処理
結果の取消か否かを問うメッセージ等を表示しても、上
記の表示やメッセージを一度消去してから、文章データ
を再配列する手間を省くことができる。したがって、上
記構成は、編集画面の再表示、認識機能実行、編集処理
の取消し等の実行が迅速化できる。

【００７７】次に、上記実施例１の構成における横書き
用のジェスチャー機能と縦書き用ジェスチャー機能の動
作例について図１８を参照しながら説明する。まず、上
記構成では、縦書きか、横書きかを、図２１に示すよう
に、テキストメモリ２ａに記憶された書式情報の中に設
定されており、例えば縦書きの時は０、横書きの時は１
に設定されている。

【００７８】まず、ジェスチャー機能が起動時に、上記
の書式情報をテキスト編集部１ａにて判定し（Ｓ２
１）、上記テキスト編集部１ａが横書きと判定すれば、
その結果に基づいてテーブル選択部３２が、横書きジェ
スチャーコマンドテーブル２７をアクセス可能に設定
し、縦書きジェスチャーコマンドテーブル３４をアクセ
ス不可に設定し、上記横書きジェスチャーコマンドテー
ブル２７を参照して、横書き用認識を実行する（Ｓ２
２）。

【００７９】一方、テキスト編集部１ａが縦書きと判定
すれば、その結果に基づいてテーブル選択部３２が、横
書きジェスチャーコマンドテーブル２７をアクセス不可
に設定し、縦書きジェスチャーコマンドテーブル３４を
アクセス可能に設定し、上記縦書きジェスチャーコマン
ドテーブル３４を参照して、縦書き用認識を実行する
（Ｓ２３）。

【００８０】続いて、上記の認識結果に基づいてテキス
ト編集部１ａは編集を実行し（Ｓ２４）、その結果を表
示装置１４に表示して（Ｓ２５）、処理が完了する。

【００８１】このように、横書きと縦書きとの書式設定
に応じて、各テーブル２７・３４を個々に参照できるか
ら、横書きでのジェスチャー機能による編集、例えば図
１９に示すように、ディスプレイタブレット２０におい
て、横書きでの描画軌跡１２ａによりセンタリング編集
が可能となり、一方、縦書きでのジェスチャー機能の編
集、例えば図２０に示すように、ディスプレイタブレッ
ト２０において、縦書きでの描画軌跡１２ａによりセン
タリング編集が可能となる。

【００８２】上記の両者での認識は、例えば表１に示す
ように、正規化された各座標データと、各テーブル２７
・３４に記憶された基本ストロークの各座標データとが
比較照合されて実行される。

【００８３】

【表１】 したがって、上記の両者の認識のための各基本ストロー
クを一つのテーブルにそれぞれ記憶しておき、上記の認
識動作を実行すると、基本ストロークの数が増加して、
その各基本ストロークとの比較照合に時間がかかること
が多いが、上記構成では、例えば文章を作成する際にま
ず設定される書式設定を利用して、各テーブル２７・３
４の一方のテーブルの各基本ストロークと比較照合すれ
ばよく、各テーブル２７・３４のアクセス可能と不可と
を設定することにより、各基本ストロークとの比較照合
という認識経過時間を短縮化できるものとなっている。

【００８４】次に、本発明の他の実施例を実施例２とし
て、図６および図７、並びに図２２および図２３に基づ
いて説明する。なお、上記実施例１と同様の機能を有す
る各部材は、同一の部材番号を付与してその説明を省い
た。

【００８５】〔実施例２〕情報処理装置では、図２２に
示すように、例えば横書きジェスチャーコマンドテーブ
ル２７に、各基本ストロークが、対応するコマンドと共
に記憶されており、それらの基本ストロークは、図６と
図７とに示されているように、共通の基本ストローク、
例えば一字消去等を含み、一方、横書きと縦書きとでは
異なるが、例えば横書き用の基本ストロークを約９０°
時計方向に回転させると、縦書き用の基本ストロークに
一致する変換可能な基本ストローク（以下、変換可能ス
トロークという）を含んでいる。

【００８６】また、上記構成では、上記の変換可能スト
ロークの記憶の際には、その記憶領域のアドレス等を記
憶しておくヘッド部等の一部に、回転変換により他方の
基本ストロークとして使用できることを示す例えば０が
格納されている。

【００８７】そこで、テキスト編集部１ａは、現在編集
中の文章が縦書きか、横書きかを書式設定等から判定し
た結果、縦書きの場合、ジャスチャーコマンド判定部２
６にその判定結果を出力する。

【００８８】そして、上記構成では、上記ジャスチャー
コマンド判定部２６からの指示信号に基づいて、前記の
横書きジェスチャーコマンドテーブル２７から呼び出さ
れる基本ストロークが変換可能ストロークであると、そ
の変換可能ストロークを回転変換して、ジャスチャーコ
マンド判定部２６に出力する変換手段３６が設定されて
いる。

【００８９】次に、上記実施例２の構成による動作例
を、図２３のフローチャートを参照しながら説明する
と、まず、ジェスチャー機能が起動時に、前記実施例１
において述べた書式情報をテキスト編集部１ａにて判定
する（Ｓ３１）。

【００９０】上記テキスト編集部１ａが横書きと判定す
れば、その結果に基づいてジャスチャーコマンド判定部
２６が、上記横書きジェスチャーコマンドテーブル２７
から各基本ストロークを呼び出し（Ｓ３２）、上記各基
本ストロークとジェスチャー機能による描画と比較照合
して、横書き用認識を実行する（Ｓ３３）。

【００９１】一方、上記テキスト編集部１ａが縦書きと
判定すれば、その結果に基づいてジャスチャーコマンド
判定部２６が、上記横書きジェスチャーコマンドテーブ
ル２７から各基本ストロークを呼び出し（Ｓ３４）、そ
の基本ストロークが変換可能ストロークか否かを判定す
る（Ｓ３５）。

【００９２】もし、変換可能ストロークであれば、変換
手段３６により約９０°時計方向に回転変換して（Ｓ３
６）、ジャスチャーコマンド判定部２６に出力し、他
方、変換可能ストロークでなければ変換が不要と判定し
て、その基本ストロークをジャスチャーコマンド判定部
２６に出力して前記Ｓ３３に移行する。

【００９３】上記Ｓ３３では、ジャスチャーコマンド判
定部２６にて、呼び出された各基本ストロークとジェス
チャー機能での描画座標データとが順次比較照合され
て、所定の範囲で一致しない場合、Ｓ３１に戻り待機状
態となる。

【００９４】一方、ジャスチャーコマンド判定部２６に
て、呼び出された基本ストロークとジェスチャー機能で
の描画座標データとが比較照合されて、所定の範囲で一
致した場合、認識完了とし、その認識結果に基づいて横
書き、または縦書きの編集を実行し（Ｓ３４）、その編
集結果を表示装置１４に表示して（Ｓ３５）、処理を完
了する。

【００９５】このように上記実施例２の構成では、横書
きジェスチャーコマンドテーブル２７における各基本ス
トロークを、縦書きに変換可能な変換可能ストロークと
それらと異なる共通な基本ストロークとに識別して記憶
しておき、縦書きの際には、識別された上記変換可能ス
トロークを変換手段３６にて変換してジャスチャーコマ
ンド判定部２６に出力することにより、横書きでの編集
と縦書きでの編集を、同一の横書きジェスチャーコマン
ドテーブル２７を用いて可能となっている。

【００９６】したがって、上記構成では、上記の両者の
認識のための各基本ストロークを一つのテーブルにそれ
ぞれ記憶しておき、上記の認識動作を実行すると、基本
ストロークの数が増加して、それら各基本ストロークと
の比較照合に時間がかかるが、上記構成では、例えば文
章を作成する際にまず設定される書式設定を利用して、
横書きジェスチャーコマンドテーブル２７の各基本スト
ロークと比較照合すればよく、各基本ストロークとの比
較照合という認識経過時間を短縮化できるものとなって
いる。

【００９７】また、横書きジェスチャーコマンドテーブ
ル２７における記憶領域を低減できて、ユーザー用のメ
モリ領域を増大化できて、アプリケーションプログラム
等への使用範囲を拡大できる。

【００９８】その上、上記構成では、変換手段３６にお
ける回転変換のルールが簡便なものに設定できるから、
一方の、例えば横書き用の変換可能ストロークを覚えて
いれば、縦書きの変換可能ストロークも容易に想定でき
て、横書きと縦書きでのジェスチャー機能による編集が
可能となると共に、覚えておく必要のある基本ストロー
クの数を軽減できる。これにより、各基本ストロークの
認識率を向上させることが可能となる。

【００９９】

【発明の効果】本発明のジェスチャー処理装置及びジェ
スチャー処理方法では、ジェスチャー機能による編集時
に、元の画像情報が予め記憶領域に記憶されているた
め、誤った編集処理等により、元の画像に復元する際の
復元処理を迅速化できるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の実施例１におけるジェスチャー処理装
置の要部ブロック図である。

【図２】本発明のジェスチャー処理装置のブロック図で
ある。

【図３】本発明のジェスチャー処理装置における基本ス
トロークの記憶例を示す説明図である。

【図４】本発明のジェスチャー処理装置におけるディス
プレイタブレットを示し、（ａ）はディスプレイタブレ
ットのタブレットを分割して示す各座標を示す説明図で
あり、（ｂ）はディスプレイタブレットの表示装置の縦
ないしは横書きの配列を示す説明図である。

【図５】本発明ジェスチャー処理装置におけるディスプ
レイタブレットを示し、（ａ）は有効領域と無効領域を
示す説明図、（ｂ）はペンボタン領域を示す説明図、
（ｃ）は有効な描画軌跡例を示す説明図、（ｄ）は無効
な描画軌跡例を示す説明図である。

【図６】本発明ジェスチャー処理装置における横書き用
の基本ストローク例を示す説明図である。

【図７】本発明ジェスチャー処理装置における縦書き用
の基本ストローク例を示す説明図である。

【図８】本発明ジェスチャー処理装置におけるジェスチ
ャー機能の使用例を示す説明図である。

【図９】本発明ジェスチャー処理装置のジェスチャー機
能の他の使用例を示す説明図である。

【図１０】本発明のジェスチャー機能におけるポインテ
ィング機能を示す説明図である。

【図１１】本発明のジェスチャー機能における手書き文
字入力機能を示す説明図である。

【図１２】本発明のジェスチャー機能におけるセーブ機
能を示すフローチャートである。

【図１３】本発明のセーブ機能の一具体例における初期
画面を示す説明図である。

【図１４】本発明の初期画面に一編集処理が実行された
編集画面を示す説明図である。

【図１５】上記編集画面に復元編集記号を入力した復元
指示画面を示す説明図である。

【図１６】上記の復元指示画面から復元した初期画面を
示す説明図である。

【図１７】本発明のジェスチャー機能における種々の編
集処理がそれぞれ実行された各表示画面をそれぞれ示す
説明図である。

【図１８】本発明のジェスチャー機能における横書きと
縦書きと認識実行する際のフローチャートである。

【図１９】本発明のジェスチャー機能による横書きでの
編集例を示し、（ａ）は編集記号を入力した表示画面、
（ｂ）は上記編集記号による編集が実行された表示画面
を示す説明図である。

【図２０】本発明のジェスチャー機能による縦書きでの
編集例を示し、（ａ）は編集記号を入力した表示画面、
（ｂ）は上記編集記号による編集が実行された表示画面
を示す説明図である。

【図２１】本発明のジェスチャー機能における横書きと
縦書きとを識別するための書式情報の記憶領域を示す説
明図である。

【図２２】本発明の実施例２におけるジェスチャー処理
装置の要部ブロック図である。

【図２３】本発明のジェスチャー処理装置における基本
ストロークの変換を示すフローチャートである。

【符号の説明】

１２入力ペン １４表示装置 １９タブレット ３１画面情報バッファ（記憶領域）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡野 裕二 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 重松 浩幸 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 昭62−256023（ＪＰ，Ａ) 特開 平２−257270（ＪＰ，Ａ) 特開 昭58−195959（ＪＰ，Ａ) 特開 平６−289983（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/033 380 G06F 3/00 620 G06F 3/033 360

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】座標入力手段から入力される連続する座標
   のストロークを抽出するストローク抽出手段と、 複数の基本ストロークの各々に対応して復元及び編集を
   含むコマンドを記憶したテーブル手段と、 抽出されたストロークとテーブル手段に記憶された基本
   ストロークを照合して最も近似する基本ストロークに対
   応するコマンドを認識し出力するジェスチャー認識手段
   と、 各種コマンドを入力するキー入力手段と、 表示画面に表示されている文字等の画像情報を前記ジェ
   スチャー認識手段から出力されるコマンド及び前記キー
   入力手段から入力されるコマンドに従って編集する編集
   処理手段と、 前記編集処理手段による編集がジェスチャー認識手段か
   ら出力されるコマンドによる編集である場合に編集前の
   表示画面での画像情報及び動作状況を既に記憶されてい
   る情報に換えて記憶する画面情報記憶手段と、 前記編集処理手段による編集がジェスチャー認識手段か
   ら出力されるコマンドによる編集である場合にセットさ
   れ、前記キー入力手段から入力されるコマンドによる編
   集である場合にリセットされる識別子と、 ジェスチャー認識手段が復元コマンドを認識したときの
   前記識別子の状態がセット状態にある場合に画面情報記
   憶手段に記憶されている画像情報及び動作状況を読み出
   し設定する復元手段とを備えるジェスチャー処理装置。
2. 【請求項２】座標入力手段から入力される連続する座標
   のストロークを抽出し、 抽出されたストロークと予め記憶された基本ストローク
   を照合し最も近似する基本ストロークに対応する復元及
   び編集コマンドを認識し、 表示画面に表示されている文字等の画像情報を認識され
   た第１編集コマンド又はキー入力手段から入力された第
   ２編集コマンドに従って編集する時、当該編集が第１編
   集コマンドによるものであれば識別子をセットすると共
   に編集前の表示画面での画像情報及び動作状況を記憶手
   段に格納し、第２編集コマンドによるものであれば識別
   子をリセットし、 認識されたコマンドが復元コマンドを認識したときの前
   記識別子の状態がセット状態にある場合に画面情報記憶
   手段に記憶されている画像情報及び動作状況を読み出し
   設定するようにしたことを特徴とするジェスチャー処理
   方法。