JP2963589B2 - ジェスチャー処理装置およびジェスチャー処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画面上でペン等による
手書きでの編集を行えるようにした情報処理装置であ
り、詳しくはジェスチャー処理装置に関するものであ
る。

【０００２】

【従来の技術】近年、液晶表示等の表示部分と、入力ペ
ン等との当接部位の座標を検出するタブレットとを一体
化した表示装置を備え、入力ペンにより直接編集できる
ように設定された情報機器、いわゆるペン情報入力方式
の情報機器が市場に現れている。したがって、上記表示
装置は、紙とペンを連想させるように、あたかも原稿用
紙での校正と同様のことを、上記タブレット上で実現で
きるものとなっており、上記のような情報機器として
は、例えばシャープ社製の日本語ワードプロセッサ"WV-
S200" 等が知られている。

【０００３】これらのペン情報入力機器において、その
特性をより生かすための機能として、ジェスチャー機能
というものが考えられた。このようなジェスチャー機能
は、予め設定して記憶しておいた編集記号により、入力
ペンでタブレット上の所望する位置の文字等を、任意の
編集記号で描画することにより、表示装置上の文章を直
接的に編集できるようになっている。

【０００４】したがって、上記ペン情報入力機器では、
各編集機能に対応する基本ストロークを予めジェスチャ
ーコマンドテーブルとして記憶しておき、入力ペンおよ
びタブレットを用いて入力されたイメージを、上記各基
本ストロークとそれぞれ比較して、そのイメージと所定
範囲内で一致する基本ストロークから、上記イメージに
対応する編集機能を検出している。

【０００５】

【発明が解決しようとする課題】ところが、上記ペン情
報入力機器では、例えば部分消去、移動、複写、アンダ
ーライン、スペース挿入など大量の文字列に対して処理
される編集機能の場合、そのような機能が実行された
後、編集前の元の状態に戻そうとしても、必ずしもその
元の状態に戻せるとは限らない。また、元の状態に戻す
ことができても、編集操作の途中や編集操作後では、ワ
ークフラグ等の動作状況が変化していることが多く、そ
れらを再設定したりするため、その復元操作が煩雑なも
のとなり、復元操作に手間取るという問題を生じてい
る。

【０００６】また、上記ペン情報入力機器では、従来か
らの横書きだけではなく縦書きの文章に対しても、ジェ
スチャー機能による編集機能を付与しようとすると、横
書きと縦書きの文章を校正する際の編集記号が異なる場
合が多く、ジェスチャーコマンドテーブルに記憶してお
くコマンドとそれに対応する基本ストロークが増加す
る。これにより、入力されたイメージとの比較による、
対応するコマンドの検出処理に手間取り、処理時間が増
加するという問題と、ユーザーが記憶しておく基本スト
ローク数が増加することから、それらの認識率が低下す
るという問題も生じている。

【０００７】

【０００８】

【課題を解決するための手段】本発明の請求項１記載の
ジェスチャー処理装置は、以上の課題を解決するため
に、座標入力手段から入力される連続する座標のストロ
ークを抽出するストローク抽出手段と、縦書き用と横書
き用とで異なる第１基本ストローク、及び、縦書き用と
横書き用とに共通の第２基本ストロークの各々に対応し
て編集コマンドを記憶したテーブル手段と、表示画面に
表示されている文書情報が縦書き文書であるか横書き文
書であるかを判定する書式判定手段と、抽出されたスト
ロークとテーブル手段に記憶された基本ストロークを照
合し最も近似する基本ストロークに対応する編集コマン
ドを認識するものであって、抽出されたストロークに近
似する基本ストロークが第１基本ストロークである場合
には書式判定手段の判定結果を用いたコマンド認識を行
い、抽出されたストロークに近似する基本ストロークが
第２基本ストロークである場合には書式判定手段による
判定結果によらず対応する編集コマンドを認識するジェ
スチャー認識手段と、表示画面に表示されている縦書き
又は横書きの文書情報を認識されたコマンドに従って編
集するジェスチャー編集処理手段とを備えるジェスチャ
ー処理装置である。

【０００９】

【００１０】請求項２記載のジェスチャー処理方法は、
座標入力手段から入力される連続する座標のストローク
を抽出し、抽出されたストロークを予め記憶された基本
ストロークと照合して最も近似する基本ストロークに対
応する編集コマンドを表示画面に表示された文書の書式
が縦書きであるか横書きであるかに応じて認識し、認識
された編集コマンドに従い表示画面に表示されている文
書情報を編集するジェスチャー処理方法であって、前記
基本ストロークは縦書き用と横書き用とで異なる第１基
本ストローク、及び、縦書き用と横書き用とに共通の第
２基本ストロークを含み、抽出されたストロークとの照
合により最も近似する基本ストロークが第１基本ストロ
ークである場合には書式判定手段の判定結果を用いたコ
マンド認識を行い、抽出されたストロークとの照合によ
り最も近似する基本ストロークが第２基本ストロークで
ある場合には書式判定手段による判定結果によらず対応
する編集コマンドを認識するようにしたことを特徴とす
るジェスチャー処理方法である。

【００１１】

【００１２】

【００１３】

【００１４】

【００１５】

【００１６】

【００１７】

【実施例】本発明の一実施例を実施例１として図１ない
し図２１に基づいて説明すれば、以下の通りである。 〔実施例１〕情報処理装置では、図２に示すブロック図
のように、プログラムを実行する中央処理装置（Centra
l Proccesing Unit 、以下、ＣＰＵという）１が設けら
れ、そのＣＰＵ１のバスライン１８に、各種データを記
憶して読み出すためのＲＡＭ２、制御プログラムを格納
しておくＲＯＭ３、プリンタ５を制御するプリンタコン
トローラ４、外部記憶手段としてのＩＣカード６に対し
て読み書きするためのＩＣカードインターフェース７、
およびフロッピーディスクドライブ（以下、ＦＤＤとい
う）８を制御するＦＤコントローラ９が接続されてい
る。

【００１８】さらに、上記バスライン１８には、入力手
段としてのキーボード１０からの信号を上記バスライン
１８に入力するためのキーインターフェース１１と、液
晶ディスプレイ等の表示装置１４を制御するための表示
コントロール１５とが接続されている。

【００１９】その上、上記バスライン１８には、上記表
示装置１４の画像上と当接して、情報を入力したり、選
択したりする入力ペン１２からの信号をペン座標に変換
して上記バスライン１８に入力するためのペンインター
フェース１３が接続されており、よって、上記入力ペン
１２は、上記画像上を示す、いわゆるポインティング機
能や、上記画像上に所定のイメージを描画することによ
り、画像上の情報を選択したり、編集記号を入力したり
できるジェスチャー機能のための入力手段となってい
る。

【００２０】また、上記バスライン１８には、手書き編
集インターフェース１６が接続されており、その手書き
編集インターフェース１６では、後に詳述するように、
上記の入力ペン１２からのペン座標をそれぞれ示す各座
標データの信号により、メモリである手書き認識辞書
（記憶手段）１７に予め記憶されている各基本ストロー
ク（基本イメージ）に基づいて、上記各座標データの認
識結果を上記バスライン１８に出力するようになってい
る。

【００２１】また、上記手書き認識辞書１７では、文字
や記号を示す各基本ストロークが、後述する横書きジェ
スチャーコマンドテーブル２７、縦書きジェスチャーコ
マンドテーブル３４、手書き文字テーブル３０というよ
うに内容により分類されてそれぞれ格納されている。

【００２２】このような基本ストロークの例としては、
改行を示す編集記号である逆Ｌ字が、例えば図３に示す
ように、９×９の枡目のそれぞれ相当する座標位置に〇
で示したように埋まって、すなわち各枡目に相当する座
標での入力ペン１２の通過の有る無しで示されている。
なお、上記の有る無しの判定においては所定の閾値が設
定されている。

【００２３】なお、図示しないが、上記基本ストローク
は、一筆書きで描画できるように設定されて、その描画
方向、つまり、上記基本ストロークの両端の何れの一方
が起点であるかも記憶されている。

【００２４】一方、図２に示すように、前記表示装置１
４の画面上に、その画面の各座標を検出するための透明
なタブレット１９が一体的に形成されていて、上記タブ
レット１９は、図４（ａ）に示すように、碁盤の目状に
各ＸＹ（ 640×400 ）座標が設定されていて、前記の表
示装置１４の文字配列、例えば図４（ｂ）に示す縦40
行、横80列に対応するようになっている。

【００２５】これにより、図２に示す前記入力ペン１２
の先端部が、上記タブレット１９上に当接すると、その
タブレット１９におけるペン座標が、前記ペンインター
フェース１３にて検出され、座標コードに変換されてバ
スライン１８に出力される。

【００２６】なお、上記のタブレットの方式としては、
入力ペン１２が当接して描画すると、その軌跡の各座標
が検出できるものであれば特に限定されないが、例えば
静電結合式タブレットや、電気ひずみおよび磁気ひずみ
式タブレット、また、感圧式や超音波式や電気機械式タ
ブレットも使用できる。

【００２７】このような上記構成を用いて、表示装置１
４上に文章を作成する場合、キーボード１０から入力さ
れた文字や記号が、キーインターフェース１１にて所定
の文字コードや記号コードにそれぞれ変換されて、それ
ら各コードがＣＰＵ１（図１におけるテキスト編集部１
ａ）により一旦ＲＡＭ２に順次格納される（図１におけ
るテキストメモリ２ａ）。

【００２８】その後、そのＲＡＭ２に格納されたコード
を、キーボード１０からの指示とＲＯＭ３に格納されて
いるプログラムとに基づいて、ＣＰＵ１が、表示装置１
４に表示できるようにＲＡＭ２上に再度配列する（図１
におけるビットマップメモリ２ｂ）。続いて、上記ＲＡ
Ｍ２上の各コード配列を、表示コントロール１５を介し
て表示装置１４上に表示するようなっている。

【００２９】また、上記構成では、このように一旦表示
装置１４上に表示された文章を、キーボード１０、表示
装置１４上に設定されたアイコン領域からの入力された
指示、または後述する入力ペン１２による指示により編
集できて、上記ＣＰＵ１は、所定のプログラムおよび上
記指示に従って、ＲＡＭ２におけるビットマップメモリ
２ｂの各コード配列を並べ換える、つまり編集すること
ができるようになっている。

【００３０】次に、表示装置１４上に表示されている文
章の編集を容易にするためのジェスチャー機能について
説明する。まず、図１に示すように、ＣＲＴや液晶等の
表示装置１４と、その表示面上に設けられた透明なタブ
レット１９とが一体に構成されたディスプレイタブレッ
ト２０上で、その表示装置１４上で表示されている文章
等の画像の所望の位置において、例えば編集記号を示す
イメージを入力ペン１２にて描画する。

【００３１】そのような描画の各座標データは、上記タ
ブレット１９および入力ペン１２に接続されている軌跡
座標抽出部２１にて順次検出される。このとき、上記座
標データの内、上記入力ペン１２とタブレット１９とが
最初に当接したＸＹ座標であるペンダウン座標が、図５
（ａ）に示すタブレット１９におけるジェスチャー機能
の有効領域１９ａ内であるか無効領域１９ｂ内であるか
を、上記軌跡座標抽出部２１からの座標データが入力さ
れるジェスチャー判定部２２にて判定される。

【００３２】さらに、上記ジェスチャー判定部２２で
は、上記のペンダウン座標が有効であると判定される
と、そのペンダウン座標が、表示装置１４における各表
示画面に応じて設定され、入力ペン１２により選択等が
実行される図５（ｂ）に示すペンボタン領域１９ｃであ
るか否かが判定される。

【００３３】その後、上記ペンダウン座標が、前記の有
効領域１９ａ内であり、かつ、上記のペンボタン領域１
９ｃでないことが判定されると、上記ジェスチャー判定
部２２から座標データが入力される軌跡判定部２３は、
ジェスチャー機能のＯＮを示すジェスチャー機能ＯＮフ
ラグをフラグ指示部２４にセットする。

【００３４】このフラグ指示部２４に、ジェスチャー機
能ＯＮフラグがセットされていると、上記の描画軌跡を
示す各座標データは、ペンダウン座標も含めて軌跡判定
部２３に接続されている座標データバッファ２５にそれ
ぞれ順次記憶される。

【００３５】その上、上記フラグ指示部２４にジェスチ
ャー機能ＯＮフラグがセットされていると、前記ジェス
チャー判定部２２は、入力される座標データが有効領域
内であるか否か、およびペンボタン領域であるか否かの
判定を停止して、入力された座標データを全て有効とし
て軌跡判定部２３に出力するようになっている。

【００３６】上記の入力ペン１２による描画が終了し
て、入力ペン１２がタブレット１９から離間するペンア
ップの状態となると、軌跡判定部２３は上記のジェスチ
ャー機能ＯＮフラグがセットされていることを確認し
て、上記各軌跡座標データの全てが上記座標データバッ
ファ２５からジャスチャーコマンド判定部２６に出力さ
れる。

【００３７】なお、上記のように各座標データが全てジ
ャスチャーコマンド判定部２６に出力されると、上記フ
ラグ指示部２４によるジェスチャー機能ＯＮフラグがリ
セットされるようになっている。

【００３８】上記各軌跡座標データは、そのジャスチャ
ーコマンド判定部２６にて正規化されて図２に示す手書
き認識辞書１７に含まれる、例えば横書きジェスチャー
コマンドテーブル２７にそれぞれ格納されている各基本
ストロークのデータと順次比較照合される。

【００３９】このように上記構成では、上記フラグ指示
部２４にジェスチャー機能ＯＮフラグがセットされてい
ると、前記ジェスチャー判定部２２は、入力される座標
データが有効領域内であるか否か、およびペンボタン領
域であるか否かの判定を停止して、入力された座標デー
タを全て有効として軌跡判定部２３に出力するようにな
っている。

【００４０】このことから、図５（ｃ）に示すように、
ペンダウン座標が有効領域１９ａ内であれば、入力ペン
１２による他の軌跡座標が、無効領域１９ｂであって
も、入力ペン１２による描画が有効なものとなってい
て、描画途中に誤って無効領域１９ｂを通過させて、入
力ペン１２による描画を無効となり、再度入力しなおす
という手間を省くことができる。ただし、図５（ｄ）に
示すように、ペンダウン座標が無効領域１９ｂである
と、エラー処理に移行し、ジェスチャー機能が停止す
る。

【００４１】なお、図１および図２に示すように、上記
のジャスチャーコマンド判定部２６は前記の手書き編集
インターフェース１６に含まれ、また、前記の軌跡座標
抽出部２１、ジェスチャー判定部２２、軌跡判定部２３
およびフラグ指示部２４は、前記のペンインターフェー
ス１３に含まれており、前記の座標データバッファ２５
はＲＡＭ２に記憶領域が設定されている。

【００４２】前記の横書きジェスチャーコマンドテーブ
ル２７には、図示している一字抹消コマンド２７ａ、ス
ペース挿入コマンド２７ｂ、手書き文字入力コマンド２
７ｃに対応する基本ストロークの他に、例えば図６に示
す複数の基本ストロークが、それぞれ対応するコマンド
と共に記憶されている。

【００４３】一方、前記の縦書きジェスチャーコマンド
テーブル３４には、例えば図７に示すように、複数の縦
書き用の基本ストロークが、それぞれ対応するコマンド
と共に記憶されている。したがって、上記図７に示す縦
書き用の各基本ストロークと、横書き用の各基本ストロ
ークと異なるものは６種となり、他の基本ストロークが
共通となる。

【００４４】また、上記手書き認識辞書１７における各
テーブル２７・３０・３４を、ジャスチャーコマンド判
定部２６からアクセス可能とアクセス不可とをそれぞれ
選択して設定できるテーブル選択部（選択手段）３２が
設けられており、そのテーブル選択部３２での選択は、
テキスト編集部１ａを介して入力ペン１２やキーボード
１０等の入力手段によって設定できるようになってい
る。

【００４５】なお、上記テーブル選択部３２では、各基
本ストロークを個々にジャスチャーコマンド判定部２６
からアクセス可能とアクセス不可とが選択設定できるよ
うにもなっており、また、上記各基本ストロークをグル
ーピングして、各グループ毎に、アクセス可能とアクセ
ス不可とが選択設定できるようにもなっている。

【００４６】また、上記の各基本ストロークにそれぞれ
対応する各コマンドのアクセス可能とアクセス不可とを
表にして記憶して、その表を任意に呼び出して表示装置
１４で表示するための登録バッファ３３が設けられてい
る。さらに、この登録バッファ３３では、上記テーブル
選択部３２においてグルーピングされている場合、例え
ば、全て無効、一部有効、全て有効から選択できるよう
に、グルーピングの表も記憶できるようになっている。

【００４７】前記のジャスチャーコマンド判定部２６
は、上記の各基本ストロークとの比較照合の結果、前記
の軌跡座標と最も近似する基本ストロークに対応したコ
マンドを、テキスト編集部１ａに出力すると共に、供給
された軌跡座標から上記コマンドにより処理される文字
または文字列の座標情報、つまり表示装置１４における
位置情報を上記テキスト編集部１ａに出力する。

【００４８】これにより、上記テキスト編集部１ａは、
テキストメモリ２ａ内の文字や記号の配列の上記位置情
報の文字や記号を、削除したり、その位置に挿入したり
して編集できることになる。

【００４９】このとき、テキスト編集部１ａは、上記の
ようなジェスチャー機能の起動後に、つまり入力ペン１
２によるジェスチャー機能による編集記号の入力操作を
開始して、復元機能と異なる他の編集機能が入力される
と、表示装置１４において表示されているテキストメモ
リ２ａ内の画面情報を、呼び出して一時記憶しておくメ
モリである画面情報バッファ（記憶領域）３１が設定さ
れている。

【００５０】さらに、上記テキスト編集部１ａは、上記
のようなジェスチャー機能の起動時に、各機能の動作状
況を示す各ワークフラグのセットまたはリセットを上記
画面情報バッファ３１にそれぞれ記憶させるようになっ
ている。

【００５１】したがって、上記各ワークフラグのセット
／リセット状態をそれぞれ検出して、上記の各状態を示
す信号を前記テキスト編集部１ａに出力し、かつ、後述
するように画面情報バッファ３１にて記憶された元の各
ワークフラグに基づいて、現在の各ワークフラグを再設
定するワークフラグ検出・復元手段３５が設けられてい
る。

【００５２】このように上記画面情報バッファ３１に画
面情報およびワークフラグが記憶、つまりセーブされる
と、セーブフラグをセットするセーブフラグ部３１ａが
画面情報バッファ３１に設定されている。

【００５３】なお、上記画面情報バッファ３１では、次
の画面情報が記憶されると、以前に記憶された画面情報
および各ワークフラグのセット／リセットの記憶はクリ
アされるようになっている。

【００５４】また、上記のテキスト編集部１ａは、ジャ
スチャーコマンド判定部２６からのコマンドのみが入力
されるだけでなく、前述したようにキーボード１０から
のコマンドも入力されて、そのコマンドによる編集等が
できるようになっている。

【００５５】一方、上記の軌跡座標の処理とは独立し
て、軌跡座標抽出部２１により抽出された軌跡座標デー
タは、軌跡描画部２８に出力されて上記軌跡座標データ
をつないだ軌跡イメージとなる。

【００５６】生成された軌跡イメージは、ビットマップ
メモリ２ｂに現在形成されている文字列、記号列または
イメージと合成されて、そのビットマップメモリ２ｂに
記憶される。したがって、オペレータが入力ペン１２
で、タブレット１９をなぞって入力したジェスチャーイ
メージは、リアルタイムに表示装置１４上に表示される
ことになる。

【００５７】このようなジェスチャー編集の操作例を図
８および図９に示す。まず、図８において、ディスプレ
イタブレット２０に表示されているテキストの内、文字
「え」を一字抹消する場合、入力ペン１２にて「え」の
文字の上を「Ｖ」のようにジェスチャー、つまり描画し
た後、上記入力ペン１２をディスプレイタブレット２０
上から離す。

【００５８】なお、上のような描画の際、その開始位置
が、上記の文字の描画範囲内で有ることが上記の文字の
認識において肝要である。上記のように消去・抹消系が
指示される文字の位置を容易に精度よく認識するため、
上記文字の描画範囲のほぼ中央部から描画を開始するこ
とが望ましい。

【００５９】続いて、その軌跡座標が抽出されて軌跡イ
メージがディスプレイタブレット２０における表示装置
１４に表示されると共に、基本ストロークとの照合によ
り得られた「Ｖ」の描画に相当する一字抹消のコマンド
と共に、上記の「え」の文字の位置情報が、テキスト編
集部１ａに出力される。

【００６０】その後、上記の位置情報に基づいて、表示
装置１４におけるカーソル１４ａが元の位置、例えば
「ほ」の文字の位置から入力ペン１２にて操作された位
置、つまり上記の場合文字「え」の位置に移動した後、
前記のテキストメモリ２ａ内の上記の「え」を、上記の
コマンドに基づき抹消することにより、ビットマップメ
モリ２ｂ内の上記の「え」の文字が消去され、上記表示
装置１４における上記の「え」が抹消される。このよう
にしてジェスチャー編集が完了する。

【００６１】また、図９に示すように、各編集記号を図
示しない入力ペンにより、ディスプレイタブレット２０
上に描画することにより、上記と同様に、ジェスチャー
編集が可能となっている。なお、上記の編集記号のイメ
ージである基本ストロークは任意に設定できるようにな
っている。

【００６２】次に、上記の構成によるポインティング機
能について説明する。まず、従来のワードプロセッサで
は、テキスト上の複数文字を領域指定する場合等にはカ
ーソルを順次移動させていたが、上記構成では、図１０
に示すように、カーソル１４ａの位置を直接入力ペン１
２の指示によりダイレクトに移動指示が可能となってい
る。

【００６３】なお、前記のジェスチャーとポインティン
グとの切り替えは、抽出された座標が軌跡を伴わない一
点の座標であるか否か、すなわち上記各座標が連続であ
るか否かによって判断しており、このような判断は、前
記軌跡判定部２３にて行われている。

【００６４】そこで、例えば、ポインティングであると
判断した場合、得られた座標は、横書きジェスチャーコ
マンドテーブル２７と照合せず、その座標の位置情報の
みをテキスト編集部１ａに出力させている。

【００６５】次に、上記構成を用いて、手書き文字入力
について説明する。手書き文字入力は、前記のジェスチ
ャー編集が軌跡座標と予め記憶した基本ストロークとを
照合する処理と同等の処理方法により実行できるように
なっている。

【００６６】つまり、図１に示すように、ジャスチャー
コマンド判定部２６と処理上の同等位置に、すなわち手
書き編集インターフェース１６に、手書き文字認識部２
９が形成され、手書き文字を予め記憶している手書き文
字テーブル３０が、横書きジェスチャーコマンドテーブ
ル２７と同様に図２に示す手書き認識辞書１７に形成さ
れている。

【００６７】上記の手書き文字認識部２９は、軌跡座標
抽出部２１から供給される軌跡座標と、手書き文字テー
ブル３０に記憶されている複数の基本文字ストロークと
を照合し、最も近似する基本文字ストロークに対応する
文字コードを上記の手書き文字テーブル３０からテキス
ト編集部１ａに出力させる。

【００６８】このような手書き文字入力機能と、前記の
ジェスチャー編集機能との異なる点は、手書き文字認識
部２９が位置情報を出力しないことである。なお、上記
の手書き文字入力機能は、キーボード１０からの指示
や、表示装置１４上のアイコンからの指示から立ち上げ
可能にしており、また、ディスプレイタブレット２０の
タブレット１９上に、例えば横書き用のジェスチャー機
能の場合、図６に示すように、「△」をジェスチャーす
ることにより、ジェスチャー編集機能から立ち上げ可能
となっている。

【００６９】このような手書き文字入力機能の操作例に
ついて説明すると、図１１に示すように、手書き文字入
力機能が立ち上げられると、ディスプレイタブレット２
０の所定位置に、手書き文字入力のためのウインドウ１
４ｂが表示され、そのウインドウ１４ｂ内の第１入力エ
リアに、入力ペン１２にて文字を、例えば「す」と手書
きする。

【００７０】その後、次の入力のため隣接する第２エリ
アに入力ペン１２を接触させると、そのとき上記の第１
エリアに手書きされた軌跡座標の文字認識が、前記の手
書き文字テーブル３０を参照して前記手書き文字認識部
２９にて前述したように実行され、その認識結果の文字
をカーソル１４ａが示す位置に入力して表示するように
なっている。

【００７１】これにより、例えば草書体などの字体を予
め、手書き文字テーブル３０に記憶させておき、その草
書体を手書きで入力して、上記手書き文字テーブル３０
における草書字体を表示・印刷等が可能となっている。
なお、上記の各ジェスチャー機能では、横書き用のジェ
スチャー機能の例を挙げたが、縦書き用のジェスチャー
機能でも同様である。

【００７２】次に、上記実施例１の構成におけるジェス
チャー機能での復元機能を含めた各編集機能の動作例に
ついて図１２のフローチャートを参照しながら説明す
る。まず、表示装置１４に表示された文章を編集する場
合、入力ペン１２を用いるジェスチャー機能による手書
き編集か、他の編集方法、例えばキーボード１０による
キー編集かを選択する（ステップ１、以下ステップをＳ
と略する）。

【００７３】このとき、ジェスチャー機能による手書き
編集か、他の編集方法かが判定され（Ｓ２）、他の編集
方法が選択されると、セーブフラグ部３１ａでのフラグ
をリセットし（Ｓ３）、その通常編集処理を実行し（Ｓ
４）、処理を完了する。

【００７４】一方、ジェスチャー機能による手書き編集
であれば、続いて、その手書き編集が復元機能か、他の
編集機能かが判定され（Ｓ５）、他の編集機能、例えば
一字抹消であれば、その編集機能が選択され（Ｓ６）、
その後、復元に必要な文書データおよびその時のワーク
フラグを画面情報バッファ３１にセーブする（Ｓ７）。
その次に、セーブフラグ部３１ａにセーブフラグをセッ
ト（Ｓ８）した後、上記の編集機能を実行し（Ｓ９）処
理を完了する。

【００７５】一方、前記のＳ５における判定が復元機能
であれば、まず、セーブフラグ部３１ａのセーブフラグ
がセット状態であるか、リセット状態であるかを判定し
（Ｓ１０）、リセット状態であれば、ブザー等のエラー
処理に移行し（Ｓ１１）、処理が終了する。

【００７６】また、セーブフラグがセット状態であれ
ば、前記の画面情報バッファ３１に予め記憶された元の
画面情報をおよびワークフラグを呼び出して復元処理を
実行し（Ｓ１２）、続いて、セーブフラグ部３１ａのセ
ーブフラグをリセットして（Ｓ１３）、処理を完了す
る。

【００７７】次に、上記の動作例の一具体例を、図１３
ないし図１６を参照しながら説明すると、まず、図１３
に示すように、表示装置１４における表示画面での文章
中の例えば「坂」に対して、手書き編集記号の一字抹消
機構を入力ペン１２により手書き入力する。

【００７８】このように復元機能と異なる他の編集機能
である一字抹消が入力されると、復元処理のために、図
２に示すＲＡＭ２にある図１に示すテキストメモリ２ａ
にある現在の文書データと、その時に全機能で共通使用
するワークフラグを、上記のＲＡＭ２の別領域にある画
面情報バッファ３１に一時セーブする。

【００７９】その後、上記のＲＡＭ２にあるセーブフラ
グ部３１ａのセーブフラグをセットする。その次に、上
記の復元処理のための処理を終了すると、図１４に示す
ように、実際に一字抹消処理を実行する。

【００８０】その後、上記の一字抹消処理が、例えば誤
りで、元の文章に復元させる場合、まず、入力ペン１２
およびタブレット１９により、図１５に示すように、手
書き編集記号の復元記号を入力する。その後、セーブフ
ラグ部３１ａにおけるセーブフラグをチェックする。そ
のセーブフラグ部３１ａでのセーブフラグがリセット状
態であれば、手書き編集復元処理が実行不可のため、ブ
ザー等のエラー処理に移行し、処理を終了する。

【００８１】一方、上記セーブフラグ部３１ａでのセー
ブフラグがセット状態であれば、画面情報バッファ３１
から元の画面情報およびそのときのワークフラグを呼び
出して、図１６に示すように、手書き編集一字抹消にて
消去した文字「坂」の復元処理を実行する。続いて、復
元処理実行後の復元処理を実行不可にするために、上記
のセーブフラグ部３１ａにおけるセーブフラグをリセッ
トする。なお、上記の図１４および図１６における□は
カーソル位置を示す。

【００８２】このように上記実施例１の構成では、手書
き編集を実行する前に、文書データおよびその時のワー
クフラグをセーブしておくことにより、誤って手書き編
集を実行した場合においても、復元処理を指定するだけ
で文書データおよびその時のワークフラグを元に戻し、
表示装置１４上での文書を手書き編集前の状態に迅速
に、かつ、確実に復元できる。

【００８３】これにより、上記構成は、上記のような手
書き編集を取り消す場合等、予め以前の画面情報および
ワークフラグが記憶されているため、例えば図１７に示
すように、入力ペン１２の軌跡表示、認識領域の矩形表
示、認識情報の表示、編集機能の認識表示の一覧、処理
結果の取消か否かを問うメッセージ等を表示しても、上
記の表示やメッセージを一度消去してから、文章データ
を再配列する手間を省くことができる。したがって、上
記構成は、編集画面の再表示、認識機能実行、編集処理
の取消し等の実行が迅速化できる。

【００８４】次に、上記実施例１の構成における横書き
用のジェスチャー機能と縦書き用ジェスチャー機能の動
作例について図１８を参照しながら説明する。まず、上
記構成では、縦書きか、横書きかを、図２１に示すよう
に、テキストメモリ２ａに記憶された書式情報の中に設
定されており、例えば縦書きの時は０、横書きの時は１
に設定されている。

【００８５】まず、ジェスチャー機能が起動時に、上記
の書式情報をテキスト編集部１ａにて判定し（Ｓ２
１）、上記テキスト編集部１ａが横書きと判定すれば、
その結果に基づいてテーブル選択部３２が、横書きジェ
スチャーコマンドテーブル２７をアクセス可能に設定
し、縦書きジェスチャーコマンドテーブル３４をアクセ
ス不可に設定し、上記横書きジェスチャーコマンドテー
ブル２７を参照して、横書き用認識を実行する（Ｓ２
２）。

【００８６】一方、テキスト編集部１ａが縦書きと判定
すれば、その結果に基づいてテーブル選択部３２が、横
書きジェスチャーコマンドテーブル２７をアクセス不可
に設定し、縦書きジェスチャーコマンドテーブル３４を
アクセス可能に設定し、上記縦書きジェスチャーコマン
ドテーブル３４を参照して、縦書き用認識を実行する
（Ｓ２３）。

【００８７】続いて、上記の認識結果に基づいてテキス
ト編集部１ａは編集を実行し（Ｓ２４）、その結果を表
示装置１４に表示して（Ｓ２５）、処理が完了する。

【００８８】このように、横書きと縦書きとの書式設定
に応じて、各テーブル２７・３４を個々に参照できるか
ら、横書きでのジェスチャー機能による編集、例えば図
１９に示すように、ディスプレイタブレット２０におい
て、横書きでの描画軌跡１２ａによりセンタリング編集
が可能となり、一方、縦書きでのジェスチャー機能の編
集、例えば図２０に示すように、ディスプレイタブレッ
ト２０において、縦書きでの描画軌跡１２ａによりセン
タリング編集が可能となる。

【００８９】上記の両者での認識は、例えば表１に示す
ように、正規化された各座標データと、各テーブル２７
・３４に記憶された基本ストロークの各座標データとが
比較照合されて実行される。

【００９０】

【表１】

【００９１】したがって、上記の両者の認識のための各
基本ストロークを一つのテーブルにそれぞれ記憶してお
き、上記の認識動作を実行すると、基本ストロークの数
が増加して、その各基本ストロークとの比較照合に時間
がかかることが多いが、上記構成では、例えば文章を作
成する際にまず設定される書式設定を利用して、各テー
ブル２７・３４の一方のテーブルの各基本ストロークと
比較照合すればよく、各テーブル２７・３４のアクセス
可能と不可とを設定することにより、各基本ストローク
との比較照合という認識経過時間を短縮化できるものと
なっている。

【００９２】次に、本発明の他の実施例を実施例２とし
て、図６および図７、並びに図２２および図２３に基づ
いて説明する。なお、上記実施例１と同様の機能を有す
る各部材は、同一の部材番号を付与してその説明を省い
た。

【００９３】〔実施例２〕 情報処理装置では、図２２に示すように、例えば横書き
ジェスチャーコマンドテーブル２７に、各基本ストロー
クが、対応するコマンドと共に記憶されており、それら
の基本ストロークは、図６と図７とに示されているよう
に、共通の基本ストローク、例えば一字消去等を含み、
一方、横書きと縦書きとでは異なるが、例えば横書き用
の基本ストロークを約９０°時計方向に回転させると、
縦書き用の基本ストロークに一致する変換可能な基本ス
トローク（以下、変換可能ストロークという）を含んで
いる。

【００９４】また、上記構成では、上記の変換可能スト
ロークの記憶の際には、その記憶領域のアドレス等を記
憶しておくヘッド部等の一部に、回転変換により他方の
基本ストロークとして使用できることを示す例えば０が
格納されている。

【００９５】そこで、テキスト編集部１ａは、現在編集
中の文章が縦書きか、横書きかを書式設定等から判定し
た結果、縦書きの場合、ジャスチャーコマンド判定部２
６にその判定結果を出力する。

【００９６】そして、上記構成では、上記ジャスチャー
コマンド判定部２６からの指示信号に基づいて、前記の
横書きジェスチャーコマンドテーブル２７から呼び出さ
れる基本ストロークが変換可能ストロークであると、そ
の変換可能ストロークを回転変換して、ジャスチャーコ
マンド判定部２６に出力する変換手段３６が設定されて
いる。

【００９７】次に、上記実施例２の構成による動作例
を、図２３のフローチャートを参照しながら説明する
と、まず、ジェスチャー機能が起動時に、前記実施例１
において述べた書式情報をテキスト編集部１ａにて判定
する（Ｓ３１）。

【００９８】上記テキスト編集部１ａが横書きと判定す
れば、その結果に基づいてジャスチャーコマンド判定部
２６が、上記横書きジェスチャーコマンドテーブル２７
から各基本ストロークを呼び出し（Ｓ３２）、上記各基
本ストロークとジェスチャー機能による描画と比較照合
して、横書き用認識を実行する（Ｓ３３）。

【００９９】一方、上記テキスト編集部１ａが縦書きと
判定すれば、その結果に基づいてジャスチャーコマンド
判定部２６が、上記横書きジェスチャーコマンドテーブ
ル２７から各基本ストロークを呼び出し（Ｓ３４）、そ
の基本ストロークが変換可能ストロークか否かを判定す
る（Ｓ３５）。

【０１００】もし、変換可能ストロークであれば、変換
手段３６により約９０°時計方向に回転変換して（Ｓ３
６）、ジャスチャーコマンド判定部２６に出力し、他
方、変換可能ストロークでなければ変換が不要と判定し
て、その基本ストロークをジャスチャーコマンド判定部
２６に出力して前記Ｓ３３に移行する。

【０１０１】上記Ｓ３３では、ジャスチャーコマンド判
定部２６にて、呼び出された各基本ストロークとジェス
チャー機能での描画座標データとが順次比較照合され
て、所定の範囲で一致しない場合、Ｓ３１に戻り待機状
態となる。

【０１０２】一方、ジャスチャーコマンド判定部２６に
て、呼び出された基本ストロークとジェスチャー機能で
の描画座標データとが比較照合されて、所定の範囲で一
致した場合、認識完了とし、その認識結果に基づいて横
書き、または縦書きの編集を実行し（Ｓ３４）、その編
集結果を表示装置１４に表示して（Ｓ３５）、処理を完
了する。

【０１０３】このように上記実施例２の構成では、横書
きジェスチャーコマンドテーブル２７における各基本ス
トロークを、縦書きに変換可能な変換可能ストロークと
それらと異なる共通な基本ストロークとに識別して記憶
しておき、縦書きの際には、識別された上記変換可能ス
トロークを変換手段３６にて変換してジャスチャーコマ
ンド判定部２６に出力することにより、横書きでの編集
と縦書きでの編集を、同一の横書きジェスチャーコマン
ドテーブル２７を用いて可能となっている。

【０１０４】したがって、上記構成では、上記の両者の
認識のための各基本ストロークを一つのテーブルにそれ
ぞれ記憶しておき、上記の認識動作を実行すると、基本
ストロークの数が増加して、それら各基本ストロークと
の比較照合に時間がかかるが、上記構成では、例えば文
章を作成する際にまず設定される書式設定を利用して、
横書きジェスチャーコマンドテーブル２７の各基本スト
ロークと比較照合すればよく、各基本ストロークとの比
較照合という認識経過時間を短縮化できるものとなって
いる。

【０１０５】また、横書きジェスチャーコマンドテーブ
ル２７における記憶領域を低減できて、ユーザー用のメ
モリ領域を増大化できて、アプリケーションプログラム
等への使用範囲を拡大できる。

【０１０６】その上、上記構成では、変換手段３６にお
ける回転変換のルールが簡便なものに設定できるから、
一方の、例えば横書き用の変換可能ストロークを覚えて
いれば、縦書きの変換可能ストロークも容易に想定でき
て、横書きと縦書きでのジェスチャー機能による編集が
可能となると共に、覚えておく必要のある基本ストロー
クの数を軽減できる。これにより、各基本ストロークの
認識率を向上させることが可能となる。

【０１０７】

【０１０８】

【発明の効果】請求項１記載のジェスチャー処理装置
は、ジェスチャーコマンド（編集コマンド）に対して、
縦書き用と横書き用とに共通するテーブルとして第２基
本ストロークを持っており、縦書きの文章および横書き
用の文章を編集できるコマンドにおいて、双方を兼用す
る変換可能基本イメージが相互に変換可能となっている
から、その兼用される変換可能基本イメージは、相互に
類似点を備えて容易に認識できる。

【０１０９】

【０１１０】請求項２記載のジェスチャー処理方法は、
ジェスチャーコマンド（編集コマンド）に対して、縦書
き用と横書き用とに共通するテーブルとして第２基本ス
トロークを記憶しておき、縦書きの文章および横書き用
の文章を編集できるコマンドにおいて、双方を兼用する
変換可能基本イメージを相互に変換可能としているか
ら、その兼用される変換可能基本イメージは、相互に類
似点を備えて容易に認識できる。

【０１１１】

【０１１２】

【０１１３】

【０１１４】

【０１１５】

【図面の簡単な説明】

【図１】本発明の実施例１における情報処理装置の要部
ブロック図である。

【図２】上記の情報処理装置のブロック図である。

【図３】上記の情報処理装置における基本ストロークの
記憶例を示す説明図である。

【図４】上記の情報処理装置におけるディスプレイタブ
レットを示し、（ａ）はディスプレイタブレットのタブ
レットを分割して示す各座標を示す説明図であり、
（ｂ）はディスプレイタブレットの表示装置の縦ないし
は横書きの配列を示す説明図である。

【図５】上記情報処理装置におけるディスプレイタブレ
ットを示し、（ａ）は有効領域と無効領域を示す説明
図、（ｂ）はペンボタン領域を示す説明図、（ｃ）は有
効な描画軌跡例を示す説明図、（ｄ）は無効な描画軌跡
例を示す説明図である。

【図６】上記情報処理装置における横書き用の基本スト
ローク例を示す説明図である。

【図７】上記情報処理装置における縦書き用の基本スト
ローク例を示す説明図である。

【図８】上記情報処理装置におけるジェスチャー機能の
使用例を示す説明図である。

【図９】上記情報処理装置のジェスチャー機能の他の使
用例を示す説明図である。

【図１０】上記のジェスチャー機能におけるポインティ
ング機能を示す説明図である。

【図１１】上記のジェスチャー機能における手書き文字
入力機能を示す説明図である。

【図１２】上記のジェスチャー機能におけるセーブ機能
を示すフローチャートである。

【図１３】上記のセーブ機能の一具体例における初期画
面を示す説明図である。

【図１４】上記の初期画面に一編集処理が実行された編
集画面を示す説明図である。

【図１５】上記編集画面に復元編集記号を入力した復元
指示画面を示す説明図である。

【図１６】上記の復元指示画面から復元した初期画面を
示す説明図である。

【図１７】上記のジェスチャー機能における種々の編集
処理がそれぞれ実行された各表示画面をそれぞれ示す説
明図である。

【図１８】上記のジェスチャー機能における横書きと縦
書きと認識実行する際のフローチャートである。

【図１９】上記のジェスチャー機能による横書きでの編
集例を示し、（ａ）は編集記号を入力した表示画面、
（ｂ）は上記編集記号による編集が実行された表示画面
を示す説明図である。

【図２０】上記のジェスチャー機能による縦書きでの編
集例を示し、（ａ）は編集記号を入力した表示画面、
（ｂ）は上記編集記号による編集が実行された表示画面
を示す説明図である。

【図２１】上記のジェスチャー機能における横書きと縦
書きとを識別するための書式情報の記憶領域を示す説明
図である。

【図２２】本発明の実施例２における情報処理装置の要
部ブロック図である。

【図２３】上記の情報処理装置における基本ストローク
の変換を示すフローチャートである。

【符号の説明】

１２ 入力ペン １４ 表示装置 １９ タブレット ３１ 画面情報バッファ（記憶領域）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡野 裕二 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 重松 浩幸 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 昭63−303420（ＪＰ，Ａ) 特開 昭63−316226（ＪＰ，Ａ) 特開 平５−61596（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 3/00 620 G06F 3/033 380

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】座標入力手段から入力される連続する座標
   のストロークを抽出するストローク抽出手段と、 縦書き用と横書き用とで異なる第１基本ストローク、及
   び、縦書き用と横書き用とに共通の第２基本ストローク
   の各々に対応して編集コマンドを記憶したテーブル手段
   と、 表示画面に表示されている文書情報が縦書き文書である
   か横書き文書であるかを判定する書式判定手段と、 抽出されたストロークとテーブル手段に記憶された基本
   ストロークを照合し最も近似する基本ストロークに対応
   する編集コマンドを認識するものであって、 抽出されたストロークに近似する基本ストロークが第１
   基本ストロークである場合には書式判定手段の判定結果
   を用いたコマンド認識を行い、抽出されたストロークに
   近似する基本ストロークが第２基本ストロークである場
   合には書式判定手段による判定結果によらず対応する編
   集コマンドを認識するジェスチャー認識手段と、 表示画面に表示されている縦書き又は横書きの文書情報
   を認識されたコマンドに従って編集するジェスチャー編
   集処理手段とを備えるジェスチャー処理装置。
2. 【請求項２】座標入力手段から入力される連続する座標
   のストロークを抽出し、抽出されたストロークを予め記
   憶された基本ストロークと照合して最も近似する基本ス
   トロークに対応する編集コマンドを表示画面に表示され
   た文書の書式が縦書きであるか横書きであるかに応じて
   認識し、認識された編集コマンドに従い表示画面に表示
   されている文書情報を編集するジェスチャー処理方法で
   あって、 前記基本ストロークは縦書き用と横書き用とで異なる第
   １基本ストローク、及び、縦書き用と横書き用とに共通
   の第２基本ストロークを含み、 抽出されたストロークとの照合により最も近似する基本
   ストロークが第１基本ストロークである場合には書式判
   定手段の判定結果を用いたコマンド認識を行い、抽出さ
   れたストロークとの照合により最も近似する基本ストロ
   ークが第２基本ストロークである場合には書式判定手段
   による判定結果によらず対応する編集コマンドを認識す
   るようにしたことを特徴とするジェスチャー処理方法。