JP3292752B2 - ジェスチャー処理装置およびジェスチャー処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画面上でペン等による
手書きでの編集を行えるようにした情報処理装置であ
り、詳しくは、ジェスチャー処理装置およびジェスチャ
ー処理方法に関するものである。

【０００２】

【従来の技術】近年、液晶表示等の表示部分と、入力ペ
ン等との当接部位の座標を検出するタブレットとを一体
化した表示装置を備え、入力ペンにより直接編集できる
ように設定された情報機器、いわゆるペン情報入力方式
の情報機器が市場に現れている。したがって、上記表示
装置は、紙とペンを連想させるように、あたかも原稿用
紙での校正と同様のことを、上記タブレット上で実現で
きるものとなっており、上記のような情報機器として
は、例えばシャープ社製の日本語ワードプロセッサ“WV
-S200 ”等が知られている。

【０００３】これらのペン情報入力機器において、その
特性をより生かすための機能として、ジェスチャー機能
というものが考えられた。このようなジェスチャー機能
は、予め設定して記憶しておいた編集記号により、入力
ペンでタブレット上の所望する位置の文字等を、任意の
編集記号で描画することにより、表示装置上の文章を編
集できるようになっている。

【０００４】

【発明が解決しようとする課題】ところが、上記従来で
は、描画開始時のペンダウン時から、描画完了時のペン
アップが完了した後に、その入力ペンによるジェスチャ
ー機能が有効か無効かを判別しており、ジェスチャー機
能の動作に時間がかかっていた。また、上記従来では、
描画中に入力ペンが、ジェスチャー機能の無効領域であ
る、アイコン等の領域を通ると、ジェスチャー機能をキ
ャンセルしていたため、そのようなキャンセル時には再
度設定し直して、入力ペンによりタブレット上を描画す
る必要があり、ジェスチャー機能に手間取っているとい
う問題を生じている。

【０００５】また、上記従来では、例えば、ユーザーが
意図しないで、消去や抹消系の編集記号を入力して、意
図しない文章に編集することがあり、そのような文章を
元に戻すのに手間取るという問題も生じている。

【０００６】さらに、上記従来では、ジェスチャー機能
を有効に機能させるために、入力ペンの軌跡や編集記号
のリスト等を表示できるようになっているが、そのよう
な表示の消去と表示とを繰り返すと、その処理時間が大
きくなり処理速度が遅くなるという問題も生じている。

【０００７】

【０００８】

【０００９】

【課題を解決するための手段】本発明の請求項１記載の
ジェスチャー処理装置は、以上の課題を解決するため
に、液晶ディスプレイ等の表示手段と、入力ペン等の入
力手段により指示された表示手段の表示面上での連続す
る座標のストロークを出力する座標抽出手段と、複数の
基本ストローク毎に対応する編集コマンドを記憶する記
憶手段と、記憶手段に記憶された編集コマンドの有効／
無効を選択する選択手段と、座標抽出手段から出力され
た連続する座標のストロークを記憶手段に記憶された基
本ストロークと照合し最も近似する基本ストロークに対
応する編集コマンドを認識すると共に、当該編集コマン
ドが選択手段により選択された有効コマンドであればこ
れを出力するジェスチャー認識手段と、ジェスチャー認
識手段から出力される編集コマンドに基づき表示手段に
表示された情報を編集する編集手段とを備えていること
を特徴としている。

【００１０】請求項２記載のジェスチャー処理装置は、
請求項１記載の構成に加えて、上記選択手段は複数の編
集コマンドの有効／無効を一括に選択するようにしたこ
とを特徴としている。

【００１１】

【００１２】

【００１３】請求項３記載のジェスチャー処理方法は、
液晶ディスプレイ等の表示手段と、入力ペン等の入力手
段により指示された表示手段の表示面上での連続する座
標のストロークを出力する座標抽出手段とを備えるジェ
スチャー処理装置におけるジェスチャー処理方法であっ
て、複数の基本ストローク毎に対応する編集コマンドを
記憶し、記憶された編集コマンドの有効／無効を選択
し、座標抽出手段から出力された連続するストロークを
記憶された基本ストロークと照合して最も近似する基本
ストロークに対応する編集コマンドを認識すると共に、
当該編集コマンドが選択された有効コマンドであればこ
れを出力し、出力された編集コマンドに基づき、表示手
段に表示された情報を編集することを特徴としている。

【００１４】請求項４記載のジェスチャー処理方法は、
請求項３記載の構成に加えて、複数の編集コマンドの有
効／無効を、一括に選択するようにしたことを特徴とし
ている。

【００１５】

【００１６】

【００１７】

【作用】請求項１記載の構成によれば、前記編集コマン
ドの有効と無効とを選択手段により設定できるから、例
えば、消去系の編集コマンドを呼び出し無効に設定すれ
ば、特に初心者によく見られるように、操作に不慣れな
ために、消去系の編集コマンドを呼び出して表示面上の
情報を誤って消去する虞を回避できる。

【００１８】請求項２記載の構成によれば、有効な編集
コマンドと、無効と設定された編集コマンドとを組分け
して、一括して設定できるから、例えば、初心者向けに
消去・抹消系の編集コマンドを無効と設定しておき、他
の編集コマンドのみを一括して有効と設定できて、その
ような設定操作を簡素化できる。

【００１９】

【００２０】

【００２１】請求項３記載の方法によれば、前記編集コ
マンドの有効と無効とを設定できるから、例えば、消去
系の編集コマンドを呼び出し無効に設定すれば、特に初
心者によく見られるように、操作に不慣れなために、消
去系の編集コマンドを呼び出して表示面上の情報を誤っ
て消去する虞を回避できる。

【００２２】請求項４記載の方法によれば、有効な編集
コマンドと、無効となる編集コマンドとを組分けして、
一括して設定できるから、例えば、初心者向けに消去・
抹消系の編集コマンドを無効と設定しておき、他の編集
コマンドのみを一括して有効と設定できて、そのような
設定操作を簡素化できる。

【００２３】

【実施例】本発明の一実施例について図１ないし図２３
に基づいて説明すれば、以下の通りである。情報処理装
置としてのジェスチャー処理装置では、図２に示すブロ
ック図のように、プログラムを実行する中央処理装置
（Central Proccesing Unit 、以下、ＣＰＵという）１
が設けられ、そのＣＰＵ１のバスライン１８に、各種デ
ータを記憶して読み出すためのＲＡＭ２、制御プログラ
ムを格納しておくＲＯＭ３、プリンタ５を制御するプリ
ンタコントローラ４、外部記憶手段としてのＩＣカード
６に対して読み書きするためのＩＣカードインターフェ
ース７、およびフロッピーディスクドライブ（以下、Ｆ
ＤＤという）８を制御するＦＤコントローラ９が接続さ
れている。

【００２４】さらに、上記バスライン１８には、入力手
段としてのキーボード１０からの信号を上記バスライン
１８に入力するためのキーインターフェース１１と、液
晶ディスプレイ等の表示装置（表示手段）１４を制御す
るための表示コントローラ１５とが接続されている。

【００２５】その上、上記バスライン１８には、上記表
示装置１４の画像上と当接して、情報を入力したり、選
択したりする入力ペン１２からの信号をペン座標に変換
して上記バスライン１８に入力するためのペンインター
フェース１３が接続されており、よって、上記入力ペン
１２は、上記画像上を示す、いわゆるポインティング機
能や、上記画像上を所定のイメージを描画することによ
り、画像上の情報を選択したり、編集記号を入力したり
できるジェスチャー機能のための入力手段となってい
る。

【００２６】また、上記バスライン１８には、手書き編
集インターフェース１６が接続されており、その手書き
編集インターフェース１６では、後に詳述するように、
上記の入力ペン１２からのペン座標をそれぞれ示す各座
標データの信号により、メモリである手書き認識辞書
（記憶手段）１７に基づいて、上記各座標データの認識
結果を上記バスライン１８に出力するようになってい
る。

【００２７】また、上記手書き認識辞書１７では、文字
や記号を示す各基本ストロークが、後述する（１）横書
きジェスチャーコマンドテーブル、（２）手書き文字テ
ーブルと（３）縦書きジェスチャーコマンドテーブルと
いうように内容により分類されてそれぞれ格納されてい
る。このような基本ストロークの例としては、改行を示
す編集記号である逆Ｌ字が、図３に示すように、９×９
の枡目のそれぞれ相当する位置に〇で示したように埋ま
って示されている。

【００２８】一方、図２に示すように、前記表示装置１
４の画面上に、その画面の各座標を検出するための透明
なタブレット（座標抽出手段）１９が一体的に形成され
ていて、上記タブレット１９は、表示装置１４の文字配
列、例えば図４（ｂ）に示す縦40行、横80例に対応する
ように、図４（ａ）に示す碁盤の目状に各ＸＹ（ 640×
400 ）座標が設定されている。

【００２９】これにより、図２に示す前記入力ペン１２
の先端部が、上記タブレット１９上に当接すると、その
タブレット１９におけるペン座標が、前記ペンインター
フェース１３にて検出され、座標コードに変換されてバ
スライン１８に出力される。

【００３０】なお、上記のタブレットの方式としては、
入力ペン１２が当接して描画すると、その軌跡の各座標
が検出できるものであれば特に限定されないが、例えば
静電結合式タブレットや、電気ひずみおよび磁気ひずみ
式タブレット、また、感圧式や超音波式や電気機械式タ
ブレットも使用できる。

【００３１】このような上記構成を用いて、表示装置１
４上に文章を作成する場合、キーボード１０から入力さ
れた文字や記号が、キーインターフェース１１にて所定
の文字コードや記号コードにそれぞれ変換されて、それ
ら各コードがＣＰＵ１（図１におけるテキスト編集部１
ａ）により一旦ＲＡＭ２に順次格納される（図１におけ
るテキストメモリ２ａ）。

【００３２】その後、そのＲＡＭ２に格納されたコード
を、キーボード１０からの指示とＲＯＭ３に格納されて
いるプログラムとに基づいて、ＣＰＵ１が、表示装置１
４に表示できるようにＲＡＭ２上に再度配列する（図１
におけるビットマップメモリ２ｂ）。続いて、上記ＲＡ
Ｍ２上の各コード配列を、表示コントローラ１５を介し
て表示装置１４上に表示するようなっている。

【００３３】また、上記構成では、このように一旦表示
装置１４上に表示された文章を、キーボード１０、表示
装置１４上に設定されたアイコン、または後述する入力
ペン１２による指示により編集できて、上記ＣＰＵ（編
集手段）１は、所定のプログラムおよび上記指示に従っ
て、ＲＡＭ２におけるビットマップメモリ２ｂの各コー
ド配列を並べ換える、つまり編集することができるよう
になっている。

【００３４】次に、表示装置１４上に表示されている文
章の編集を容易にするためのジェスチャー機能について
説明する。まず、図１に示すように、ＣＲＴや液晶等の
表示装置１４と、その表示面上に設けられた透明なタブ
レット１９とが一体に構成されたディスプレイタブレッ
ト２０上で、その表示装置１４上で表示されている文章
等の画像の所望の位置において、例えば編集記号を示す
イメージを入力ペン１２にて描画する。

【００３５】そのような描画の各座標データは、上記タ
ブレット１９に接続されている軌跡座標抽出部２１にて
順次検出される。このとき、上記座標データの内、上記
入力ペン１２とタブレット１９とが最初に当接したＸＹ
座標であるペンダウン座標が、図５に示すタブレット１
９におけるジェスチャー機能の有効領域１９ａ内である
か無効領域１９ｂ内であるかを、上記軌跡座標抽出部２
１からの座標データが入力されるジェスチャー判定部
（判定手段）２２にて判定される。

【００３６】さらに、上記ジェスチャー判定部２２で
は、上記のペンダウン座標が有効であると判定される
と、そのペンダウン座標が、表示装置１４における各表
示画面に応じて設定され、入力ペン１２により選択等が
実行されるペンボタン領域であるか否かが判定される。

【００３７】その後、上記ペンダウン座標が、有効領域
内であり、かつ、ペンボタン領域でないことが判定され
ると、上記ジェスチャー判定部２２から座標データが入
力される軌跡判定部２３は、ジェスチャー機能のＯＮを
示すジェスチャー機能ＯＮフラグをフラグ指示部（停止
手段）２４にセットする。

【００３８】このフラグ指示部２４に、ジェスチャー機
能ＯＮフラグがセットされていると、上記の描画軌跡を
示す各座標データは、ペンダウン座標も含めて軌跡判定
部２３に接続されている座標データバッファ２５にそれ
ぞれ順次記憶される。

【００３９】その上、上記フラグ指示部２４にジェスチ
ャー機能ＯＮフラグがセットされていると、前記ジェス
チャー判定部２２は、入力される座標データが有効領域
内であるか否か、およびペンボタン領域であるか否かの
判定を停止して、入力された座標データ（ストローク）
を全て有効として軌跡判定部２３に出力するようになっ
ている。

【００４０】上記の入力ペン１２による描画が終了し
て、入力ペン１２がタブレット１９から離間するペンア
ップの状態となると、軌跡判定部２３は上記のジェスチ
ャー機能ＯＮフラグがセットされていることを確認し
て、上記各軌跡座標データの全てが上記データバッファ
２５からジェスチャーコマンド判定部（ジェスチャー認
識手段）２６に出力される。

【００４１】なお、上記のように各座標データが全てジ
ェスチャーコマンド判定部２６に出力されると、上記フ
ラグ指示部２４によるジェスチャー機能ＯＮフラグがリ
セットされるようになっている。

【００４２】上記各軌跡座標データは、そのジェスチャ
ーコマンド判定部２６にて正規化されて図２に示す手書
き認識辞書１７に含まれるジェスチャーコマンドテーブ
ル２７にそれぞれ格納されている基本ストロークのデー
タと照合される。なお、上記のジェスチャーコマンド判
定部２６は前記の手書き編集インターフェース１６に含
まれ、また、前記の軌跡座標抽出部２１、ジェスチャー
判定部２２、軌跡判定部２３およびフラグ指示部２４
は、前記のペンインターフェース１３に含まれており、
前記の座標データバッファ２５はＲＡＭ２に記憶領域が
設定されている。

【００４３】上記のジェスチャーコマンドテーブル２７
には、図示している一字抹消コマンド２７ａ、スペース
挿入コマンド２７ｂ、手書き文字入力コマンド２７ｃに
対応する基本ストロークの他に、例えば図６および図７
に示す複数の基本ストロークが、それぞれ対応するコマ
ンド（編集コマンド）と共に記憶されている。

【００４４】また、上記ジェスチャーコマンドテーブル
２７における各基本ストロークを、ジェスチャーコマン
ド判定部２６からアクセス可能とアクセス不可とをそれ
ぞれ選択して設定できるコマンド選択部（選択手段）３
２が設けられており、そのコマンド選択部３２での選択
は、テキスト編集部１ａを介して入力ペン１２やキーボ
ード１０等の入力手段によって設定できるようになって
いる。

【００４５】なお、上記コマンド選択部３２では、各基
本ストロークを個々にジェスチャーコマンド判定部２６
からアクセス可能とアクセス不可とが選択設定できるよ
うになっており、また、上記各基本ストロークをグルー
ピングして、各グループ毎に、アクセス可能とアクセス
不可とが選択設定（設定手段）できるようにもなってい
る。

【００４６】また、上記の各基本ストロークにそれぞれ
対応する各コマンドのアクセス可能とアクセス不可とを
表にして記憶して、その表を任意に呼び出して表示装置
１４で表示するための登録バッファ３３が設けられてい
る。さらに、この登録バッファ３３では、上記コマンド
選択部３２においてグルーピングされている場合、例え
ば、全て無効、一部有効、全て有効から選択できるよう
に、グルーピングの表も記憶できるようになっている。

【００４７】前記のジェスチャーコマンド判定部２６
は、上記の各基本ストロークとの照合の結果、前記の軌
跡座標と最も近似する基本ストロークに対応したコマン
ドを、テキスト編集部１ａに出力すると共に、供給され
た軌跡座標から上記コマンドにより処理される文字また
は文字列の座標情報、つまり表示装置１４における位置
情報を上記テキスト編集部１ａに出力する。

【００４８】これにより、上記テキスト編集部１ａは、
テキストメモリ２ａ内の文字や記号の配列の上記位置情
報の文字や記号を、削除したり、その位置に挿入したり
して編集できることになる。このとき、テキスト編集部
１ａは、上記のようなジェスチャー機能の起動時に、つ
まり入力ペン１２による入力操作を開始する直前に、表
示装置１４において表示されているテキストメモリ２ａ
内の画面情報を、呼び出して一時記憶しておくメモリで
ある画面情報バッファ（記憶領域）３１が設定されてい
る。なお、上記画面情報バッファ３１では、次の画面情
報が記憶されると、以前の記憶された画面情報はクリア
されるようになっている。

【００４９】これにより、上記の編集を取り消す場合
等、予め以前の画面情報が記憶されているため、例えば
図１７に示すように、入力ペン１２の軌跡表示、認識領
域の矩形表示、認識情報の表示、認識表示の一覧、処理
結果の取消か否かを問うメッセージ等を表示しても、編
集画面の再表示、認識機能実行、編集処理の取消し等の
実行が迅速化できる。

【００５０】また、上記のテキスト編集部１ａは、ジェ
スチャーコマンド判定部２６からのコマンドのみが入力
されるだけでなく、前述したようにキーボード１０から
のコマンドも入力されて、そのコマンドによる編集等が
できるようになっている。

【００５１】一方、上記の軌跡座標の処理とは独立し
て、軌跡座標抽出部２１により抽出された軌跡座標デー
タは、軌跡描画部２８に出力されて上記軌跡座標データ
をつないだ軌跡イメージとなる。

【００５２】生成された軌跡イメージは、ビットマップ
メモリ２ｂに現在形成されている文字列、記号列または
イメージと合成されて、そのビットマップメモリ２ｂに
記憶される。したがって、オペレータが入力ペン１２
で、タブレット１９をなぞって入力したジェスチャーイ
メージは、リアルタイムに表示装置１４上に表示される
ことになる。

【００５３】このようなジェスチャー編集の操作例を図
８および図９に示す。まず、図８において、ディスプレ
イタブレット２０に表示されているテキストの内、文字
「え」を一字抹消する場合、入力ペン１２にて「え」の
文字の上を「Ｖ」のようにジェスチャー、つまり描画し
た後、上記入力ペン１２をディスプレイタブレット２０
上から離す。

【００５４】なお、上のような描画の際、その開始位置
が、上記の文字の範囲内で有ることが上記の文字の認識
において肝要である。特に指示する文字の認識を容易に
するため、上記の文字のほぼ中央部から描画を開始する
ことが望ましい。

【００５５】続いて、その軌跡座標が抽出されて軌跡イ
メージがディスプレイタブレット２０における表示装置
１４に表示されると共に、基本ストロークとの照合によ
り得られた「Ｖ」の描画に相当する一字抹消のコマンド
と共に、上記の「え」の文字の位置情報が、テキスト編
集部１ａに出力される。

【００５６】その後、上記の位置情報に基づいて、表示
装置１４におけるカーソル１４ａが元の位置、例えば
「ほ」の文字の位置から入力ペン１２にて操作された位
置、つまり上記の場合文字「え」の位置に移動した後、
前記のテキストメモリ２ａ内の上記の「え」を、上記の
コマンドに基づき抹消することにより、ビットマップメ
モリ２ｂ内の上記の「え」の文字が消去され、上記表示
装置１４における上記の「え」が抹消される。このよう
にしてジェスチャー編集が完了する。

【００５７】また、図９に示すように、各編集記号を図
示しない入力ペンにより、ディスプレイタブレット２０
上に描画することにより、上記と同様に、ジェスチャー
編集が可能となっている。なお、上記の編集記号のイメ
ージである基本ストロークは任意に設定できるようにな
っている。

【００５８】次に、上記の構成によるポインティング機
能について説明する。まず、従来のワードプロセッサで
は、テキスト上の複数文字を領域指定する場合等にはカ
ーソルを順次移動させていたが、上記構成では、カーソ
ル１４ａの位置を直接入力ペン１２の指示によりダイレ
クトに移動指示が可能となっている。

【００５９】なお、前記のジェスチャーとポインティン
グとの切り替えは、抽出された座標が軌跡を伴わない一
点の座標であるか否か、すなわち上記各座標が連続であ
るか否かによって判断しており、このような判断は、前
記軌跡判定部２３にて行われている。

【００６０】そこで、例えば、ポインティングであると
判断した場合、得られた座標は、ジェスチャーコマンド
テーブル２７と照合せず、その座標の位置情報のみをテ
キスト編集部１ａに出力させている。このようなポイン
ティング機能の操作例は図１０に示す通りである。

【００６１】次に、上記構成を用いて、手書き文字入力
について説明する。手書き文字入力は、前記のジェスチ
ャー編集が軌跡座標と予め記憶した基本ストロークとを
照合する処理と同等の処理方法により実行できるように
なっている。

【００６２】つまり、図１に示すように、ジェスチャー
コマンド判定部２６と処理上の同等位置に、すなわち手
書き編集インターフェース１６に、手書き文字認識部２
９が形成され、手書き文字を予め記憶している手書き文
字テーブル３０が、ジェスチャーコマンドテーブル２７
と同様に図２に示す手書き認識辞書１７に形成されてい
る。

【００６３】上記の手書き文字認識部２９は、軌跡座標
抽出部２１から供給される軌跡座標と、手書き文字テー
ブル３０に記憶されている複数の基本文字ストロークと
を照合し、最も近似する基本文字ストロークに対応する
文字コードを上記の手書き文字テーブル３０からテキス
ト編集部１ａに出力させる。

【００６４】このような手書き文字入力機能と、前記の
ジェスチャー編集機能との異なる点は、手書き文字認識
部２９が位置情報を出力しないことである。なお、上記
の手書き文字入力機能は、キーボード１０からの指示
や、表示装置１４上のアイコンからの指示から立ち上げ
可能にしており、また、ディスプレイタブレット２０の
タブレット１９上に、図６に示すように、「△」をジェ
スチャーすることにより、ジェスチャー編集機能から立
ち上げ可能となっている。

【００６５】このような手書き文字入力機能の操作例に
ついて説明すると、図１１に示すように、手書き文字入
力機能が立ち上げられると、ディスプレイタブレット２
０の所定位置に、手書き文字入力のためのウインドウ１
４ｂが表示され、そのウインドウ１４ａ内の第１入力エ
リアに、入力ペン１２にて文字を、例えば「す」と手書
きする。

【００６６】その後、次の入力のため隣接する第２エリ
アに入力ペン１２を接触させると、そのとき上記の第１
エリアに手書きされた軌跡座標の文字認識が、前記の手
書き文字テーブル３０を参照して前記手書き文字認識部
２９にて前述したように実行され、その認識結果の文字
をカーソル１４ａが示す位置に入力して表示するように
なっている。

【００６７】これにより、例えば草書体などの字体を予
め、手書き文字テーブル３０に記憶させておき、その草
書体を手書きで入力して、上記手書き文字テーブル３０
における草書字体を表示・印刷等が可能となっている。

【００６８】次に、ジェスチャー編集機能における上記
構成の動作例（ジェスチャー処理方法）について図１２
のフローチャートを参照しながら説明すると、まず、入
力ペン１２の先端部がディスプレイタブレット２０上の
所望する位置で当接または押圧、つまりダウンされる
と、その時の座標が、ペンインターフェース１３を介し
て示される。

【００６９】一方、表示装置１４における例えばアイコ
ン領域や、ペンボタン領域での入力ペン１２の機能は選
択機能である。したがって、上記のようなジェスチャー
編集機能のディスプレイタブレット２０上での有効範囲
は、上記の各領域を除外したタブレット１９領域とな
る。

【００７０】このことから、上記ディスプレイタブレッ
ト２０におけるタブレット１９では、例えば図１３に示
すように、上記のディスプレイタブレット２０において
用いられる各画面に応じて予め、タブレット１９におけ
る有効領域１９ａと、ジェスチャー機能に優先する例え
ばアイコン領域を示す無効領域１９ｂと、ジェスチャー
機能に優先するペンボタン領域１９ｃがそれぞれ設定さ
れている。

【００７１】そこで、前述したようにペンダウンが実行
されて、その座標データ信号が軌跡座標抽出部２１に出
力されると、まず、その最初の入力ペン１２の接触座標
であるペンダウン座標を検出し（ステップ１、以下ステ
ップをＳと略す）、前記の有効領域座標とを比較し（Ｓ
２）、その結果、上記ペンダウン座標が、有効領域座標
外であればジェスチャー機能は無効となりジェスチャー
機能が終了する。

【００７２】また、上記ペンダウン座標が、有効領域座
標内であれば、次のステップとして、ジェスチャー機能
を禁止する他の要因の一つであるペンボタン領域が、上
記ペンダウン座標に有るか否かを検出し（Ｓ３）、その
ペンダウン座標が、上記ペンボタン領域の座標上であれ
ば、そのペンボタン処理のルーティンに移行する（Ｓ
４）。

【００７３】一方、上記ペンダウン座標が、ペンボタン
領域の座標外であれば、そのペンダウン座標を記憶して
おき、入力ペン１２による次の座標データが入力される
と、その座標データと上記のペンダウン座標とを比較し
て、上記入力座標が上記ペンダウン座標に対して連続、
つまり、そのＸ座標、Ｙ座標の少なくとも一方が連続て
あることが８座標分連続か否かを判定する（Ｓ５）。

【００７４】このとき、上記各座標データが連続軌跡で
あれば、ジェスチャー機能をＯＮとして、ジェスチャー
ＯＮフラグがセットされる（Ｓ６）と共に、入力ペン１
２がジェスチャー機能の有効領域外、つまりアイコン領
域等を通っても、そのアイコン領域での入力ペン１２の
アイコン指示機能は停止される。また、上記Ｓ５におけ
る判定が連続軌跡ではない場合、ポインティング処理ル
ーティンに移行する（Ｓ７）。

【００７５】なお、上記のＳ５とＳ６のステップを逆、
すなわちジェスチャーＯＮフラグのセットが先でもよ
い。この場合、各座標データが連続でない時、ポインテ
ィング処理ルーティンに移行するが、その際には上記ジ
ェスチャーＯＮフラグがリセットされるようになってい
る。

【００７６】その後、ジェスチャー操作、つまり入力ペ
ン１２によるタブレット１９上での所定のイメージの入
力操作が行われて、入力ペン１２とタブレット１９との
当接が解除、すなわち入力ペン１２がアップされると、
図１４のフローチャートに示すように、まず、上記のよ
うにジェスチャー機能がＯＮであることを示す前記フラ
グがセットされているか否かを判定し（Ｓ１１）、上記
フラグがセットされていなければ、上記の入力操作がジ
ェスチャー機能と無関係な動作と判定されて、ジェスチ
ャー機能を終了する。

【００７７】また、上記フラグがセットされていれば、
ジェスチャーコマンド判定部２６は、ペンダウン座標か
らペンアップの座標に至る入力ペン１２の各座標データ
を、認識処理のために、まず、専用の座標データメモリ
に正規化して格納する（Ｓ１２）。

【００７８】次に、上記各座標データの認識処理を、ジ
ェスチャーコマンド判定部２６にて実行し（Ｓ１３）、
続いて、ジェスチャーコマンドテーブル２７との比較の
上で認識ＯＫであれば（Ｓ１４）、その認識結果にそっ
た各編集処理を実行して（Ｓ１５）、ジェスチャー編集
が完了する。また、上記の認識処理で認識不能な場合は
エラー処理（Ｓ１６）に移行して、上記のジェスチャー
編集を終了する。

【００７９】このように上記実施例の構成では、ペンア
ップに際しては、そのときのペン座標が、ジェスチャー
機能の有効領域外であっても、その時点でジェスチャー
機能ＯＮとなっておれば、ジェスチャー認識を実行でき
るようになっており、さらに、ペンダウン座標が、前記
有効領域内、およびペンボタン領域外であれば、上記ペ
ンダウン座標に続く描画軌跡の座標が、上記の有効領域
外、およびペンボタン領域内であって、その描画軌跡の
座標データを有効として、その認識処理に移行できるよ
うになっている。

【００８０】したがって、上記構成は、例えば図１５に
示すように、Ａ点で、図示しない入力ペンがダウンされ
た場合、Ａ点はジェスチャー有効領域１９ａ内にあるた
め、そのダウン移行後の入力ペンの描画によるジェスチ
ャー機能がＯＮとなり、その入力ペンによる描画が完了
後、その入力ペンのアップ座標が例えＢ点となり、その
Ｂ点がジェスチャー有効領域１９ａ外、つまり無効領域
１９ｂとなっても、上記の描画、すなわちジェスチャー
は有効となる。また、描画軌跡の途中における各座標
が、上記無効領域１９ｂとなっても同様である。

【００８１】しかし、上記構成は、例えば図１６に示す
ように、ジェスチャー有効領域外、すなわち無効領域１
９ａ内となるＣ点にて、図示しない入力ペンがダウンさ
れると、その入力ペンによる操作はジェスチャー機能Ｏ
ＦＦとなり、例えばアイコン処理等に移行することとな
る。

【００８２】ところで、従来のようなジェスチャー機能
では、描画が完了した後に、その描画が有効であるか否
かを判定していたため、その判定に時間がかかってお
り、また、上記のような入力ペンによる描画の途中にお
いて、その入力ペンが、ジェスチャーの有効領域外の無
効領域や、ペンボタン領域となるタブレット領域と当接
すると、そのジェスチャー機能の処理が停止して、エラ
ー処理に移行していた。

【００８３】このため、上記従来では、入力ペンの操作
を、操作開始だけではなく操作完了までの操作に気を使
う必要があり、そのジェスチャー機能における描画に手
間取り、その操作性が劣化していた。

【００８４】しかしながら、上記実施例の構成では、入
力ペン１２によるペンダウン座標がジェスチャー機能の
有効領域１９ａ内であれば、ジェスチャー機能を開始す
ると共に、入力ペン１２による描画中は、その入力ペン
１２がジェスチャーの有効領域１９ａ外、つまり無効領
域１９ｂまたはペンボタン領域１９ｃに当接しても、そ
の描画を有効としている。

【００８５】これにより、上記構成は、ペンダウン座標
によってジェスチャー機能を開始できるから、そのジェ
スチャー機能に必要な、例えばジェスチャーコマンドテ
ーブル２７の呼び出し等を予め準備できるので、ジェス
チャー機能の迅速化を図ることが可能となり、その上、
入力ペン１２による描画中において、上記有効領域を特
に意識する必要がなく、ジェスチャー機能の操作性を向
上できるものとなっている。

【００８６】次に、上記ジェスチャー機能におけるコマ
ンド選択機能の際の各動作について図１８のフローチャ
ートを参照しながら説明する。上記のコマンド選択機能
の処理を、キーボード１０等の入力手段からの指示信号
により起動させると、まず、認識でき得る全てのコマン
ドの処理機能名を呼び出した後（Ｓ２１）、その各処理
機能名を表の項目として表示装置１４にて表示する（Ｓ
２２）。

【００８７】続いて、キーボード１０における実行キー
により、各項目毎に有効／無効を選定した後（Ｓ２
３）、キー操作にて有効／無効コマンドの更新か否かを
例えば図１９に示すように設定する（Ｓ２４）。このと
き、新たに選定した有効／無効コマンドに更新する場合
は、実行キーをＯＮとして、上記の選定データを取り込
んで（Ｓ２５）、更新し（Ｓ２６）、表示装置１４にお
ける画面をクリアして（Ｓ２７）、前記の処理を完了
し、一方、新たに選定した有効／無効コマンドに更新し
ない場合は、解除キーをＯＮして更新しないで、表示装
置１４における画面をクリアして（Ｓ２７）、前記処理
を終了する。

【００８８】次に、上記コマンド選択機能における登録
・呼出処理についての際の各動作について図２０のフロ
ーチャートを参照しながら説明する。まず、上記の登録
・呼出処理を、入力ペン１２やキーボード１０等の入力
手段からの指示信号により起動させると、まず、登録処
理か呼出処理かを判断し（Ｓ３１）、登録処理であれ
ば、現在の有効／無効コマンドデータの全てを表示装置
１４に呼び出して（Ｓ３２）、確認した後、登録名をキ
ーボード１０等から入力して（Ｓ３３）、その登録名と
共に上記有効／無効コマンドデータを登録バッファ３３
に記憶させて（Ｓ３４）、上記登録処理を完了する。

【００８９】一方、前記Ｓ３１において呼出処理であれ
ば、登録名を入力して選択した後（Ｓ３５）、登録バッ
ファ３３内の登録名を検索し（Ｓ３６）、その登録名に
該当する有効／無効コマンドデータを呼び出して表示装
置１４に表示し（Ｓ３７）、それまでの有効／無効コマ
ンドデータを上記登録名の有効／無効コマンドデータに
更新して（Ｓ３８）、呼出処理を完了する。

【００９０】このように上記実施例の構成では、個々の
コマンドに対して、それぞれ有効と無効とを設定できる
ことにより、ユーザーが必要とするジェスチャー機能は
有効とすることができる。これにより、不必要なジェス
チャー機能の認識による誤動作を防止することができ、
さらに、ユーザーが認識するジェスチャーコマンドの数
を低減できるから、コマンドのユーザー認識率を高める
ことができる。

【００９１】したがって、上記構成は、ジェスチャー機
能に用いる各コマンドの誤認識を低減できて、ユーザー
の意図に、より正確な編集処理が可能となる。

【００９２】また、上記構成では、複数のユーザーが同
一の情報処理装置を用いる場合等において、ユーザー毎
にコマンドの有効／無効とを選定して、その選定内容を
記憶、つまり登録しておくことができる。これにより、
複数のユーザーが個々に必要とするジェスチャー機能を
いつでも任意に選定できて、各ユーザーの編集方法等に
合った編集処理が容易に可能となる。

【００９３】その上、上記構成は、ユーザーが替わる毎
に個々のユーザーに必要なジェスチャー機能を代えた
時、不用意に不必要なジェスチャー機能による誤った編
集を行うことに起因する文章等の作成に手間取るという
ことを軽減できる。

【００９４】次に、上記のコマンド選択機能における有
効／無効のグルーピングによるモード選択処理について
図２１を参照しながら説明する。上記構成がジェスチャ
ー機能中において、キーボード１０や入力ペン１２等に
よって、モード選択キーによる割り込みを発生させる
と、まず、認識でき得る全てのコマンドの処理機能名を
呼び出した後、その各処理機能名を表の項目として表示
装置１４にて表示する（Ｓ４１）。

【００９５】続いて、キーボード１０における実行キー
により、各項目毎に有効／無効を選定して、有効コマン
ドグループと無効コマンドグループとを設定した後（Ｓ
４２）、いままでの有効／無効コマンドを上記のように
選定したコマンドに更新するか否かをキー操作にて設定
する（Ｓ４３）。

【００９６】このとき、新たに選定した有効／無効コマ
ンドに更新する場合は、実行キーをＯＮとして、上記の
選定データを取り込んで更新し（Ｓ４４）、表示装置１
４における画面をクリアして（Ｓ４５）、前記のモード
選択処理を完了し、一方、新たに選定した有効／無効コ
マンドに更新しない場合は、解除キーをＯＮして更新し
ないで、表示装置１４における画面をクリアし（Ｓ４
５）、前記モード選択処理を終了する。

【００９７】このように上記構成では、ジェスチャー機
能における無効コマンドを設定できることにより、上述
したようにジェスチャー機能におけるジェスチャーコマ
ンドの誤認識を防止することができる。

【００９８】その上、上記構成は、例えば消去・抹消系
のコマンドを無効とし、他のコマンドを有効とする設定
により、ジェスチャー編集は有効とすることができる
が、ジェスチャー動作によって、表示装置１４上におけ
る文章等の画像が誤消去される虞が回避される。このよ
うな一部有効のジェスチャー機能選択の画面の例を図２
１に示す。

【００９９】このように一部有効を選択できるから、ジ
ェスチャー機能を扱う初心者に対し、表示装置１４上に
おける文章等の画像が誤消去される虞を防止する効果が
特に大きく、上記構成を操作する際の不手際による文章
等の再作成といった手間を省くことができて、操作性を
向上させることができる。

【０１００】また、上記構成は、画面情報バッファ３１
を設けて、図２３のフローチャートに示すように、ジェ
スチャー機能が立ち上がると、その時の表示装置１４上
の画像情報を上記画面情報バッファ３１に記憶、すなわ
ちセーブさせておく（Ｓ５１）。

【０１０１】続いて、入力ペン１２がダウンされて（Ｓ
５２）、上記入力ペン１２により編集機能を指示するコ
マンドが入力されて（Ｓ５３）、編集範囲の認識が確定
して（Ｓ５４，Ｓ５５）、上記入力ペン１２がアップす
ると（Ｓ５２）、上記コマンドおよび編集範囲をジェス
チャーコマンド判定部２６に出力し（Ｓ５６）する。

【０１０２】その後、表示装置１４の表示画面を前記の
画面情報バッファ３１にセーブした画面情報を上記表示
画面を戻す（Ｓ５７）。続いて、テキストメモリ２ａに
も記憶されている上記画面情報に対して、編集動作等の
機能を実行し、その結果を表示装置１４に表示する（Ｓ
５８）。

【０１０３】次に、その表示装置１４の表示画面を取り
消すか否かを判別し（Ｓ５９）、取り消さない場合は上
記のジェスチャー機能を完了し、取り消す場合は、前記
の画面情報バッファ３１にセーブされている画面情報に
表示装置１４の表示画面を戻し、かつ、上記テキストメ
モリ２ａ内の画面情報も元に戻す（Ｓ６０）。

【０１０４】このように上記構成は、ジェスチャー機能
の入力ペン１２による操作直前の表示装置１４上の画像
情報を上記画面情報バッファ３１に記憶させるから、前
述したようにジェスチャー機能の取り消し等の際の、元
の画像への復帰を迅速化できるものとなっている。

【０１０５】

【０１０６】

【０１０７】

【発明の効果】本発明の請求項１記載のジェスチャー処
理装置および請求項３記載のジェスチャー処理方法は、
編集コマンドの有効／無効を選択手段により設定できる
ため、入力手段による誤った指示により表示面上の情報
を誤処理することを回避でき、操作性を向上できるとい
う効果を奏する。

【０１０８】本発明の請求項２記載のジェスチャー処理
装置および請求項４記載のジェスチャー処理方法は、さ
らに、編集コマンドの有効／無効を一括して設定できる
ため、設定操作を簡素化できて操作性を向上できるとい
う効果を奏する。

【図面の簡単な説明】

【図１】本発明のジェスチャー処理装置の要部ブロック
図である。

【図２】上記のジェスチャー処理装置のブロック図であ
る。

【図３】上記のジェスチャー処理装置における基本スト
ロークの認識例を示す説明図である。

【図４】上記のジェスチャー処理装置のディスプレイタ
ブレットにおける位置情報を示す説明図であって、
（ａ）はタブレット、（ｂ）は表示装置の表示面であ
る。

【図５】上記のディスプレイタブレットにおけるジェス
チャー機能有効領域とジェスチャー機能無効領域とを示
す説明図である。

【図６】上記の基本ストロークの各例とそれらにそれぞ
れ対応するコマンドを示す説明図である。

【図７】上記の基本ストロークの各例とそれらにそれぞ
れ対応するコマンドを示す説明図である。

【図８】上記のジェスチャー処理装置におけるジェスチ
ャー機能の編集動作例を示す説明図である。

【図９】上記のジェスチャー処理装置におけるジェスチ
ャー機能の各編集動作例を示す説明図である。

【図１０】上記のジェスチャー処理装置におけるポイン
ティング機能の動作例を示す説明図である。

【図１１】上記のジェスチャー処理装置における手書き
文字入力機能の動作例を示す説明図である。

【図１２】上記のジェスチャー機能におけるペンダウン
時のフローチャートである。

【図１３】上記のディスプレイタブレットにおけるペン
ボタン領域を示す説明図である。

【図１４】上記のジェスチャー機能におけるペンアップ
時のフローチャートである。

【図１５】上記のジェスチャー機能におけるディスプレ
イタブレット上での軌跡の例を示す説明図である。

【図１６】上記のジェスチャー機能におけるディスプレ
イタブレット上での他の軌跡の例を示す説明図である。

【図１７】上記のジェスチャー機能におけるディスプレ
イタブレットでの表示例を示す説明図である。

【図１８】上記のジェスチャー機能における呼び出しの
有効／無効を設定する際のフローチャートである。

【図１９】上記のジェスチャー機能における呼び出しの
有効／無効を設定する際の表示装置での表示例を示す説
明図である。

【図２０】上記のジェスチャー機能における登録・呼出
を設定する際のフローチャートである。

【図２１】上記のジェスチャー機能におけるモードの設
定の際のフローチャートである。

【図２２】上記のモードを選択する際の表示装置での表
示例を示す説明図である。

【図２３】上記のジェスチャー機能における画像情報の
セーブ方法を示すフローチャートである。

【符号の説明】１ ＣＰＵ（編集手段） １２ 入力ペン（入力手段） １４ 表示装置（表示手段） １９ タブレット（座標抽出手段） ２２ ジェスチャー判定部（判定手段）２６ ジェスチャーコマンド判定部（ジェスチャー認識
手段） ３２ コマンド選択部（選択手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂本 宗紀 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 長澤 宏行 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 中尾 寛 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 中島 靖浩 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 倉田 正明 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平２−12514（ＪＰ，Ａ) 特開 昭64−38817（ＪＰ，Ａ) 特開 平３−150625（ＪＰ，Ａ) 特開 平１−125614（ＪＰ，Ａ) 特開 昭63−184130（ＪＰ，Ａ) 特開 昭64−8473（ＪＰ，Ａ) 特開 平４−148412（ＪＰ，Ａ) 特開 平４−42316（ＪＰ，Ａ) 実開 平４−18037（ＪＰ，Ｕ) 米国特許5157384（ＵＳ，Ａ) 国際公開92／16900（ＷＯ，Ａ１)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】液晶ディスプレイ等の表示手段と、 入力ペン等の入力手段により指示された表示手段の表示
   面上での連続する座標のストロークを出力する座標抽出
   手段と、 複数の基本ストローク毎に対応する編集コマンドを記憶
   する記憶手段と、 記憶手段に記憶された編集コマンドの有効／無効を選択
   する選択手段と、 座標抽出手段から出力された連続する座標のストローク
   を記憶手段に記憶された基本ストロークと照合し最も近
   似する基本ストロークに対応する編集コマンドを認識す
   ると共に、当該編集コマンドが選択手段により選択され
   た有効コマンドであればこれを出力するジェスチャー認
   識手段と、 ジェスチャー認識手段から出力される編集コマンドに基
   づき表示手段に表示された情報を編集する編集手段とを
   備えているジェスチャー処理装置。
2. 【請求項２】上記選択手段は複数の編集コマンドの有効
   ／無効を一括に選択するようにした請求項１記載のジェ
   スチャー処理装置。
3. 【請求項３】液晶ディスプレイ等の表示手段と、入力ペ
   ン等の入力手段により指示された表示手段の表示面上で
   の連続する座標のストロークを出力する座標抽出手段と
   を備えるジェスチャー処理装置におけるジェスチャー処
   理方法であって、 複数の基本ストローク毎に対応する編集コマンドを記憶
   し、 記憶された編集コマンドの有効／無効を選択し、 座標抽出手段から出力された連続するストロークを記憶
   された基本ストロークと照合して最も近似する基本スト
   ロークに対応する編集コマンドを認識すると共に、当該
   編集コマンドが選択された有効コマンドであればこれを
   出力し、 出力された編集コマンドに基づき、表示手段に表示され
   た情報を編集するジェスチャー処理方法。
4. 【請求項４】複数の編集コマンドの有効／無効を、一括
   に選択するようにした請求項３記載のジェスチャー処理
   方法。