JPH11345071A - ジェスチャ―処理装置及びジェスチャ―処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 ジェスチャー入力された編集処理が、希望す
るものであるか否かの確認を容易にし操作性を向上す
る。 【解決手段】 タブレット３２と入力ペン１６から得ら
れた軌跡座標を軌跡座標抽出部３３により抽出する。軌
跡描画部３４でこの軌跡座標に基づいて軌跡イメージを
生成しディスプレイ３１に供給する。また、ジェスチャ
ーコマンド判定部３６により、抽出された軌跡座標をジ
ェスチャーコマンドテーブル３７に格納されているジェ
スチャーコマンドと照合して、軌跡座標の描く線画に対
応したジェスチャーコマンドを認識する。認識結果とし
てのジェスチャーコマンドと、軌跡座標に基づいて認識
した編集の対象となる文字または文字列の位置情報とを
テキスト編集部３８に与える。この構成においては、ジ
ェスチャー入力された編集コマンド名と、そのコマンド
の編集対象となる画像情報とを画面上に表示する機能を
備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画面上でペン等に
よる手書きでの編集を行えるようにした情報処理装置に
関するものである。

【０００２】

【従来の技術】従来、ワードプロセッサやコンピュータ
等の情報処理装置においては、キーボードにより入力を
行うのが一般的であった。このような情報処理装置で
は、文書等の編集を行う場合、カーソル移動のキー操作
によりカーソルを移動させて編集箇所や編集領域の指定
を行い、編集用のキー操作により所望の編集処理を実行
させていた。上記の情報処理装置に対し、近年では、座
標入力用のペンを用いて、画面を直接指し示すことによ
り座標入力を行ったり、画面上で文字等の入力を行える
ようにした装置がある。

【０００３】上記のような手書き入力を可能にした情報
処理装置で、画面上に手書きにより文字を入力する例に
ついて説明する。

【０００４】例えば、図１３に示すように「本日は良い
天気です。」という文章の「良い」の前に「大変」を加
える場合、まず、同図の（ａ）に示す画面５１において
文末にあるカーソル５２を、同図の（ｂ）に示すように
キーまたはペン等により「良」の位置に移動させる。そ
して、画面５１の下部に設けられたガイダンス領域５３
内の手書きボタン５４が押されると、同図の（ｃ）に示
すように、ガイダンス領域５３の上側に手書き認識用入
力ボード５５が現れる。その手書き認識用入力ボード５
５内に設けられたウインド５６に「大変」と手書きを行
うと、文章中の「良い」の前に「大変」が加えられる。

【０００５】また、このような手書きによる入力を可能
にした情報処理装置では、手書きにより文書等の編集を
行ういわゆるジェスチャー機能を備えたものがある。こ
の種の情報処理装置は、各種の編集処理を実行させるた
めの複数のコマンドをそれぞれ特有の形状の線画に対応
させて記憶しており、ペン等により画面上に線画が描か
れると、その線画の形状に応じたコマンドを認識して編
集処理を行うようになっている。

【０００６】

【発明が解決しようとする課題】ところが、上記のよう
に手書きで文字を入力する場合、カーソル５２の位置指
定のための操作と手書き認識用入力ボード５５を表示さ
せるための手書きボタン５４の操作とが必要になってい
た。この場合、カーソル５２の位置指定を行う領域と手
書きボタン５４の操作を行うガイダンス領域５３とが離
れているため、操作性があまり良くないという問題点が
あった。

【０００７】また、手書き編集の可能な情報処理装置に
おいて手書き編集を行う場合、コマンドが正しく認識さ
れたか否か、あるいは意図したコマンドで認識がなされ
たか否かは特にユーザに告知されることがなかった。こ
のため、コマンドが正しく認識された否かは、編集処理
が実行された後にしか確認することができず、入力した
線画が意図したコマンドに対応したものであるか否か
は、線画入力時の画面の表示内容と編集処理実行後にお
ける画面の表示内容とを比較することでしか確認するこ
とができなかった。

【０００８】また、各編集機能には、それぞれ特有の形
状の線画が対応付けられているので、可能となる編集機
能の数だけ線画を用意する必要がある。このため、編集
機能の数が増加すると、描きにくく、覚えにくい複雑な
形状の線画を採用しなければならず、ユーザが編集機能
を使いこなすにはかなりの学習が強いられる。しかも、
線画の数が増加すると、コマンドの認識処理において
も、その処理過程が複雑になり、認識速度や認識率の低
下を招来することになる。

【０００９】さらに、手書き編集の可能な情報処理装置
でキーボードによる入力操作も可能なものでは、手書き
編集処理の実行時においてキーボードによる入力が可能
であった。このため、手書き編集処理中にキー入力によ
り誤動作の生じるおそれがあった。例えば、編集処理に
よりスペースを設けようとする場合に、ユーザが不用意
にキーボードに触れたために、一字抹消等の別の処理が
割り込んでしまい、編集の内容が変わってしまうことが
あった。

【００１０】本発明は、上記の事情に鑑みてなされたも
のであって、手書きによる文字等の入力における操作性
の改善を図るとともに、手書き編集における上記のよう
な各問題点を解決して手書き編集の実用性をより高める
ことを目的としている。

【００１１】

【課題を解決するための手段】上述の目的を達成するた
めに本発明は、座標入力手段から入力される連続する座
標のストロークを抽出するストローク抽出手段と、複数
の基本ストロークに対応して各種編集コマンドを記憶し
たテーブル手段と、抽出されたストロークと予め記憶さ
れた基本ストロークとを照合して最も近似する基本スト
ロークに対応する編集コマンドを認識するジェスチャー
認識手段と、表示画面に表示されている文字等の画像情
報のうち、認識された編集コマンドによって編集される
画像情報を特定して、編集コマンド名と共に表示画面に
識別表示する表示制御手段と、表示画面に表示されてい
る文字等の画像情報を認識されたコマンドに従って編集
するジェスチャー編集処理手段とを備えていることを特
徴とするジェスチャー処理装置である。

【００１２】また、本発明は座標入力手段から入力され
る連続する座標のストロークを抽出し、抽出されたスト
ロークと予め記憶された基本ストロークとを照合して最
も近似する基本ストロークに対応する編集コマンドを認
識し、表示画面に表示されている文字等の画像情報のう
ち、認識された編集コマンドによって編集される画像情
報を特定して、編集コマンド名と共に表示画面に識別表
示し、表示画面に表示されている文字等の画像情報を認
識されたコマンドに従って編集することを特徴とするジ
ェスチャー処理方法である。

【００１３】以上の本発明によれば、表示制御手段によ
り、編集コマンドの名称が画面上に表示されるので、現
在実行中の編集処理が、希望するものであるか否かの確
認ができ、操作性が向上する。

【００１４】

【発明の実施の形態】本発明の一実施例について図１な
いし図１２に基づいて説明すれば、以下の通りである。

【００１５】本実施例に係る情報処理装置は、図２に示
すように、制御部として、ＣＰＵ（Central Processing
Unit)１と、ＲＡＭ（Random Access Memory）２と、Ｒ
ＯＭ（Read Only Memory)３と、プリンタコントローラ
４と、表示コントローラ５と、ＦＤコントローラ６と、
ＩＣカードインタフェース７と、キーインタフェース８
と、ペンインタフェース９と、手書き編集インタフェー
ス１０とを備えている。本情報処理装置は、キーインタ
フェース８に接続されるキーボード１５により、カーソ
ル移動、文字の入力、編集等を行う他、ペンインタフェ
ース９に接続される入力ペン１６により同様の操作を行
うことができるように構成されている。

【００１６】ＣＰＵ１は、本情報処理装置の動作を制御
する中央制御部であり、メインバスを介して上記の各部
と接続されている。このＣＰＵ１は、キーボード１５お
よび入力ペン１６による入力操作に基づいてカーソル移
動、文字等の入力、編集等を実行するようになってい
る。

【００１７】ＣＰＵ１は、上記の基本的な機能に加え、
手書き編集による手書き入力用の領域を表示する機能を
有している。より具体的には、ＣＰＵ１は、入力ペン１
６により入力された線画に対応するジェスチャーコマン
ドすなわち編集命令が手書き入力を行うものである場
合、ジェスチャーコマンドが後述する手書き編集インタ
フェース１０により認識されると、図３に示すように、
画面２１に手書き入力領域としてのウインド２２を表示
させるようになっており、手書き入力領域表示手段とし
ての機能を有している。

【００１８】また、ＣＰＵ１は、ジェスチャーを行う際
に、キーボード１５のキー入力があった場合にキー入を
無効にするようになっており、キー入力無効手段として
の機能を有している。

【００１９】さらに、ＣＰＵ１は、ジェスチャーを実行
する際、ジェスチャーコマンドが認識されると、図示し
ない低音ブザーを鳴らす一方、ジェスチャーコマンドが
認識されないと、図示しない高音ブザーを鳴らすように
なっており、告知手段としての機能を有している。

【００２０】これに加えて、ＣＰＵ１は、ジェスチャー
コマンドが認識されると、図５に示すように、画面２１
の下端部に表示されるコマンド名表示領域２７に、認識
されたジェスチャーコマンドのコマンド名を表示させる
とともに、編集文字表示領域２８に、ジェスチャーの対
象となる文字を少なくとも１文字表示させるようになっ
ており、編集命令表示手段および編集対象表示手段とし
ての機能を有している。

【００２１】ここで、上記の機能をさらに詳しく説明す
る。

【００２２】この機能においては、認識可能なジェスチ
ャーコマンドのコマンド名がＪＴＹＰＥに０以上の整数
により関連付けられており、表示するコマンド名の文字
数が、そのＪＴＹＰＥに対応してカウントテーブル（CO
UNTTABLE) に格納されている。また、後述のジェスチャ
ーコマンドテーブル３７の各ジェスチャーコマンドが格
納されているアドレスの先頭を示すポインタが、ＪＴＹ
ＰＥに対応してポインタテーブル（MOJIPTR)に格納され
ている。上記の関係をまとめると、例えば次の表１のよ
うになる。なお、ジェスチャーコマンドと認識できなか
った場合は、ＪＴＹＰＥを−１とする。

【００２３】

【表１】 カウントテーブルの値は作業用カウンタにカウントさ
れ、ポインタテーブルの値は作業用ポインタに収容され
るようになっており、作業用ポインタの値で示されるコ
マンド名の文字列を作業用カウンタのカウント値だけ上
記のようにして表示するようになっている。

【００２４】また、編集対象となる文字または文字列が
存在するか否かをＰＣＯＵＮＴの値“１”か“０”に対
応させている。ＰＣＯＵＮＴの値が“１”であるときに
は、後述するテキストメモリ３９内の編集対象となる１
文字または文字列の先頭を示すポインタ（POINTMOJIPT
R) に基づいて、その１文字または文字列の先頭の少な
くとも１文字を上記のように表示するようになってい
る。一方、ＰＣＯＵＮＴの値が“０”であるときには、
編集文字表示領域２８に空白を１文字分だけ表示するよ
うになっている。なお、編集対象となる文字列と他の文
字列との判別を容易にするため、編集文字表示領域２８
に表示する文字数を文字列の先頭から数文字としてもよ
い。

【００２５】引き続いて、本情報処理装置のシステム構
成について説明する。

【００２６】ＲＡＭ２は、入力データやＣＰＵ１の演算
結果等を一時的に格納する機能を有する随時書込み／読
出し可能なメモリであり、複数のワークエリアが割り当
てられている。ＲＯＭ３は、本情報処理装置を動作させ
るためのプログラムやデータ等を予め格納している読出
し専用のメモリである。

【００２７】プリンタコントローラ４は、プリンタ１１
が接続されており、ＣＰＵ１の指令に基づいてプリンタ
１１の印字動作を制御するようになっている。表示コン
トローラ５は、ＣＰＵ１からの表示データをビデオ信号
に変換して表示装置１２に送出するとともに、ＣＰＵ１
の指令により表示装置１２の表示動作を制御するように
なっている。表示装置１２は、後述するディスプレイ３
１およびタブレット３２（図１参照）を備えている。

【００２８】ＦＤコントローラ６は、ＣＰＵ１との交信
によってフロッピディスク装置１３を制御するようにな
っている。ＩＣカードインタフェース７は、ＩＣカード
用スロットを含んでおり、ＩＣカード１４内のＣＰＵや
メモリとＣＰＵ１との交信を中継するようになってい
る。

【００２９】キーインタフェース８は、キーボード１５
が接続されており、キーボード１５からのキーデータを
取込むようになっている。ペンインタフェース９は、ス
タイラスペン等の入力手段となる入力ペン１６が接続さ
れており、入力ペン１６により発生したペンデータを取
込むようになっている。

【００３０】手書き編集インタフェース１０は、手書き
認識辞書１７が接続されており、手書き認識辞書１７内
に格納されているジェスチャーコマンドを読出し、ペン
インタフェース９により取込まれたペンデータに基づい
て、入力ペン１６により描かれた線画の形状に対応する
ジェスチャーコマンドを認識して特定するようになって
いる。また、手書き編集インタフェース１０は、複数の
文字に対し指定された編集領域の文字列に１つのジェス
チャーコマンドで編集処理を行う領域指定モードが設定
される場合に、１つの文字に対し１つのジェスチャーコ
マンドで編集処理を行う通常モードの場合とで手書き認
識辞書１７のジェスチャーコマンドの読出しを異ならせ
ている。

【００３１】具体的には、手書き認識辞書１７は、例え
ば３種類用意されており、領域指定モードの場合、辞書
１７−１・１７−２から読出しが行われる一方、通常指
定モードの場合、辞書１７−１・１７−３から読出しが
行われ、領域指定モードが設定されたときに扱える編集
機能が限定されるようになっている。これにより、例え
ば、キー入力で領域指定を行う際に禁止している文字挿
入等の機能が認識対象から外される。このように、手書
き編集インタフェース１０は、編集命令限定手段として
の機能を有している。

【００３２】続いて、ジェスチャーおよび手書き入力を
実行するための基本構成について図１に基づいて説明す
る。

【００３３】この基本構成は、入力ペン１６、ディスプ
レイ３１、タブレット３２、軌跡座標抽出部３３、軌跡
描画部３４、ビットマップメモリ３５、ジェスチャーコ
マンド判定部３６、ジェスチャーコマンドテーブル３
７、テキスト編集部３８、テキストメモリ３９、手書文
字認識部４０および手書文字テーブル４１を備えてい
る。

【００３４】入力手段としての透明のタブレット３２
は、ディスプレイ３１に重ねられており、入力ペン１６
のペン先が接触すると、接触した位置に応じた電位の変
化等を軌跡座標として発生するような構造になってい
る。軌跡座標抽出部３３は、ペンインタフェース９に含
まれており、タブレット３２からの軌跡座標を順次抽出
するようになっている。

【００３５】軌跡描画部３４は、テキスト編集部３８と
同様にＣＰＵ１内に設けられ、軌跡座標抽出部３３によ
り抽出された軌跡座標をつないだ軌跡イメージを生成す
るようになっている。その軌跡イメージは、ＲＡＭ２内
に設けられるビットマップメモリ３５に供給され、ビッ
トマップメモリ３５でディスプレイ３１に表示されてい
るイメージと合成され、ディスプレイ３１に送出され
る。

【００３６】ジェスチャーコマンド判定部３６は、前記
の手書き編集インタフェース１０内に設けられており、
抽出された軌跡座標をジェスチャーコマンドテーブル３
７に格納されているジェスチャーコマンドの基本ストロ
ークのデータと照合して、軌跡座標が描く線画に最も近
似する基本ストロークに対応するジェスチャーコマンド
を認識するようになっている。ジェスチャーコマンド判
定部３６は、上記のコマンド認識の後、認識したジェス
チャーコマンドと、軌跡座標に基づいて認識した編集の
対象となる文字または文字列の位置情報とをテキスト編
集部３８に与えるようになっている。

【００３７】ジェスチャーコマンドテーブル３７は、線
画で表される基本ストロークのデータをジェスチャーコ
マンドと対応付けて格納しており、前記の手書き認識辞
書１７内に設けられている。ジェスチャーコマンドとし
ては、例えば、表２に示すようなものが用意されてい
る。

【００３８】

【表２】 具体的には、一字抹消を行うジェスチャーコマンドの場
合、Ｖの字に似た形状で左から右に描かれる線画が基本
ストロークとして対応し、この基本ストロークにおける
ペンダウン座標に位置する文字が削除されるようになっ
ている。複数の文字を消去する部分消去も、一字抹消と
同様にＶの字に似た形状の基本ストロークであり、消去
する領域が指定された後に描かれると部分消去として認
識されるようになっている。また、アンダーラインを行
うジェスチャーコマンドの場合、アンダーラインを施す
文字または文字列上に水平方向に左から右に描かれる直
線が基本ストロークとして対応している。

【００３９】テキスト編集部３８は、ＣＰＵ１内に設け
られ、ジェスチャーコマンド判定部３６で認識されたジ
ェスチャーコマンドに基づいて、ジェスチャーコマンド
と同時に供給された位置情報に相当するテキストメモリ
３９内の文字または文字列に対し編集処理を行うように
なっている。また、テキスト編集部３８は、ジェスチャ
ーコマンド判定部３６からのジェスチャーコマンドを受
け付けるだけでなく、キーボード１５からのコマンドも
受け付けて、キー操作による編集処理を行うようにも構
成されている。

【００４０】上記のテキスト編集部３８は、複数文字に
わたる編集領域が指定されてＣＰＵ１により領域指定モ
ードが設定されると、その編集領域の文字列に、１文字
に対して編集を行う通常モードの場合と同じジェスチャ
ーコマンドの編集処理を行うようになっている。

【００４１】テキストメモリ３９は、ディスプレイ３１
に表示される文字または文字列を格納するメモリであ
り、ビットマップメモリ３５と同様ＲＡＭ２内に設けら
れている。テキストメモリ３９の文字データは、ビット
マップメモリ３５内のイメージと合成されて、ディスプ
レイ３１に表示されるようになっている。

【００４２】手書文字認識部４０は、前記のジェスチャ
ーコマンド判定部３６と処理上の同等位置すなわち手書
き編集インタフェース１０に設けられている。また、手
書文字テーブル４１は、ジェスチャーコマンドテーブル
３７と同様に手書き認識辞書１７内に設けられている。

【００４３】手書文字認識部４０は、軌跡座標抽出部３
３により抽出された軌跡座標と手書文字テーブル４１に
格納された複数の基本文字ストロークとを照合し、軌跡
座標が描く線画に最も近似する基本文字ストロークに対
応する文字コードを認識してテキスト編集部３８に与え
るようになっている。このように、手書文字認識部４０
は、ジェスチャーコマンド判定部３６が軌跡座標に基づ
いてジェスチャーコマンドを認識する処理と同様な処理
を行うようになっているが、文字入力の場合は編集箇所
を必要としないので、テキスト編集部３８に位置情報を
供給しない点がジェスチャーコマンド判定部３６と異な
っている。

【００４４】上記のように構成される情報処理装置によ
る手書き入力の具体例について説明する。

【００４５】本情報処理装置で文字入力を行う場合、例
えば、図３の（ａ）に示すように、画面２１に表示され
る「本日は良い天気です。」という文章中の「良い」の
前に「大変」を入力しようとするときの手順について説
明する。まず、同図の（ｂ）に示すように、表１にもあ
る「△」に似た形状の線画を「良」のほぼ中心を基点
（ペンダウンの点）として描いて手書き文字入力の線画
を入力することにより、ジェスチャーから手書き入力に
移行する。これにより、カーソル２３が図３の（ａ）に
示す「す」の位置から「良」の位置に移動し、ガイダン
ス領域２５の上段に手書き認識用入力ボード２４が現れ
る。

【００４６】手書き認識用入力ボード２４は、手書き入
力領域としてのウインド２２を有している。このウイン
ド２２は、３文字分の入力スペースを有しており、テキ
スト編集部３８で生成される。例えば、同図の（ｃ）に
示すように、ウインド２２の第１入力エリアに「大」が
書かれると、軌跡座標抽出部３３からの「大」の軌跡座
標が抽出される。すると、その軌跡座標に基づいて軌跡
描画部３４により描かれたイメージが、ビットマップメ
モリ３６で現在ディスプレイ３１に表示されているイメ
ージと合成される。したがって、上記のようにして入力
ペン１６により書かれる文字は、同時にディスプレイ３
１に表示される。

【００４７】次いで、入力ペン１６がタブレット３２か
ら離されると、手書文字認識部４０で、座標軌跡と手書
文字テーブル４１の基本文字ストロークとの照合により
最適の文字コードが得られる。そして、この文字コード
に基づいてテキスト編集部３８の処理により、テキスト
メモリ３９内に「大」が加えられ、「良」の前に「大」
が表示される。上記の第１入力エリアの文字認識は、ウ
インド２２の第２入力エリアに入力ペン１６が置かれる
と同時に実行される。

【００４８】さらに、ウインド２２の第２入力エリアに
「変」が書かれると、上記と同様にして入力ペン１６の
操作と同時にディスプレイ３１に表示され、画面２１の
文章中には「大」の次に「変」が加えられる。

【００４９】なお、本情報処理装置は、上記のように入
力ペン１６による手書き文字入力のジェスチャーにより
ウインド２２を表示させるようになっているが、従来通
り、画面２１の下部に設けられたガイダンス領域２５に
表示される手書きボタン２６を押すことによりウインド
２２を表示させるようにもなっている。

【００５０】次に、本情報処理装置によるジェスチャー
の具体例について説明する。

【００５１】図４の（ａ）に示す文字列から例えば
「え」を一字抹消する場合、入力ペン１６にて「え」の
上を基点としてほぼ「Ｖ」のように線画が描かれると、
その軌跡座標が軌跡座標抽出部３３により抽出される。
すると、その軌跡座標に基づいて軌跡描画部３４により
描かれたイメージが、ビットマップメモリ３６で現在デ
ィスプレイ３１に表示されているイメージと合成され
る。したがって、上記のようにして入力ペン１６により
描かれる線画は、同時に画面２１に現れる。

【００５２】次いで、入力ペン１６がタブレット３２か
ら離されると、ジェスチャーコマンド判定部３６で、座
標軌跡とジェスチャーコマンドテーブル３７内のジェス
チャーコマンドとの照合により得られた一字抹消のジェ
スチャーコマンドが得られ、このジェスチャーコマンド
とともに位置情報がテキスト編集部３８に送出される。
そして、テキスト編集部３８の処理により、同図の
（ｂ）に示すように、カーソル２３が現在の位置から位
置情報に基づいた位置に移動し、テキストメモリ３９内
の「え」がジェスチャーコマンドに基づいて抹消され、
軌跡座標抽出部３３等は次のジェスチャー操作に備えて
待機状態となる。

【００５３】また、ジェスチャーが行われる際には、図
５の（ａ）に示すように、画面２１の下端部にコマンド
名表示領域２７と編集文字表示領域２８とが並んで表示
される。例えば、一字抹消の場合、ジェスチャーコマン
ド判定部３６により一字抹消のジェスチャーコマンドが
認識されると、ＲＡＭ２に取り込まれたジェスチャーコ
マンドのコードがテキスト編集部３８により文字化され
る。また、消去される「あ」の文字コードも一旦ＲＡＭ
２に取り込まれてテキスト編集部３８により文字化され
る。

【００５４】そして、ジェスチャーコマンドの種別すな
わち「一字抹消」がコマンド名表示領域２７に表示さ
れ、抹消される文字すなわち「あ」が編集文字表示領域
２８に表示される。ジェスチャーコマンドが認識された
ときは、上記の表示とともに低音ブザーが鳴らされる。

【００５５】さらに、ジェスチャー処理において、１文
字を抹消する場合と複数文字を抹消する場合の違いにつ
いて説明する。

【００５６】図６の（ａ）に示すような「手書き編集…
説明します。」の文章中で、例えば最初から４文字目の
「編」を抹消する場合、前述したような手順で「編」の
上からほぼ「Ｖ」のように線画を描くことにより、
「編」が抹消される。

【００５７】一方、複数の文字を抹消する場合、図６の
（ｂ）に示すように、例えば、抹消する「つ」から
「を」までの領域が前記の入力ペン１６による入力でカ
ーソル２３にて示されると、その位置データがＲＡＭ２
に取り込まれる。ジェスチャーコマンドが認識される
と、ＲＡＭ２内の位置データに基づいて上記の領域の文
字が抹消される。

【００５８】ところで、上記のように領域を指定する場
合、入力ペン１６によるポインティング操作を利用する
が、例えば、図７の（ａ）に示すように、「う」と
「ふ」を入力ペン１６によりポインティングすれば、同
図の（ｂ）に示すように、「う」と「ふ」とを結ぶ直線
が対角線となる長方形の領域が指定される。ポインティ
ングを行う場合、ジェスチャーコマンド判定部３６によ
り軌跡座標とジェスチャーコマンドとの照合は行われず
位置情報のみ出力される。

【００５９】ここで、本情報処理装置において手書き入
力を実行する処理手順について説明する。

【００６０】図８のフローチャートに示すように、入力
ペン１６による線画の入力が行われて、その線画に対応
するジェスチャーコマンドが手書き入力に移行するため
のものであるか、すなわち手書き認識用入力ボード２４
の表示用のコマンドであるか否かを判断する（Ｓ１）。
ここで、そのコマンドでない場合、他のコマンド判断に
移行する。

【００６１】Ｓ１で上記のコマンドでないと判断した場
合、入力ペン１６により座標入力された位置へカーソル
２３を移動させる（Ｓ２）。次いで、手書き認識用入力
ボード２４が表示されたときにカーソル２３が隠れない
ように、画面２１をスクロールし（Ｓ３）、手書き認識
用入力ボード２４を表示する（Ｓ４）。

【００６２】そして、手書き認識用入力ボード２４のウ
インド２２に書き込まれた手書き文字のデータを読込み
（Ｓ５）、読込みが終了したか否かを判断する（Ｓ
６）。読込みが終了していれば、そのまま処理を終了
し、読込みが終了していなければ、カーソル２３の位置
にデータを入力して（Ｓ７）、処理がＳ５に戻る。

【００６３】次に、ジェスチャー実行時にキー入力があ
った場合の処理手順について説明する。

【００６４】まず、図９のフローチャートに示すよう
に、ペンデータまたはキーデータを取り込む処理が行わ
れる。この処理においては、ペン割込みが生じるとペン
データを取込む一方（Ｓ１１）、キー割込みが生じると
キーデータを取込み（Ｓ１２）、取込んだペンデータま
たはキーデータをＲＡＭ２内のキーバッファに格納する
（Ｓ１３）。

【００６５】ペンデータまたはキーデータの取込みが終
了すると、図１０のフローチャートに示すように、キー
バッファからデータを取出し（Ｓ２１）、そのデータが
ペンデータであるか否かを判断する（Ｓ２２）。上記の
データがペンデータである場合、ジェスチャー処理を実
行して（Ｓ２３）、処理が終了する。

【００６６】また、Ｓ２２でキーバッファ内のデータが
キーデータであると判断した場合、ジェスチャーの途中
であるか否かを判断する（Ｓ２４）。ジェスチャーの途
中である場合、ジェスチャーの途中でキーボード１５の
キー入力があったことになり、ブザーを鳴らしてエラー
であることを告知する（Ｓ２５）。一方、ジェスチャー
の途中でない場合、キー操作によるアプリケーション処
理を実行する（Ｓ２６）。

【００６７】ジェスチャー処理を行う場合、入力ペン１
６により線画が入力されると、その線画に対応するジェ
スチャーコマンドの認識が行われるが、コマンド認識を
ユーザに告知する処理手順を次に説明する。

【００６８】この処理では、図１１のフローチャートに
示すように、ＪＴＹＰＥの値が“−１”であるか否かを
判断する（Ｓ３１）。ＪＴＹＰＥの値が“−１”でなけ
ればジェスチャーコマンドが認識されたことになるの
で、このことを低音ブザーを鳴らすことにより告知する
（Ｓ３２）。また、ＪＴＹＰＥの値に応じたコマンド名
の文字数を COUNTTABLE JTYPE から取出して COUNT（作
業用カウンタ）にセットするとともに、上記のコマンド
名のアドレスの先頭を示すポインタを MOJIPTRTABLE JT
YPE から取出して MOJIPTR（作業用ポインタ）にセット
する（Ｓ３３）。

【００６９】次いで、MOJIPTRにより指定されたコマン
ド名を COUNTの文字数だけコマンド名表示領域２７に表
示し（Ｓ３４）、ＰＣＯＵＮＴが“０”であるか否かを
判断する（Ｓ３５）。編集対象とする文字または文字列
があればＰＣＯＵＮＴが“１”となり、POINTMOJIPTRに
より指定された文字または文字列の先頭１文字を編集文
字表示領域２８に表示する（Ｓ３６）。

【００７０】一方、Ｓ３５でＰＣＯＵＮＴが“０”であ
る場合、空白を１文字分だけ編集文字表示領域２８に表
示する（Ｓ３７）。また、Ｓ３１の判断でＪＴＹＰＥの
値が“−１”である場合、ジェスチャーコマンドが認識
されなかったことを高音ブザーを鳴らすことにより告知
する（Ｓ３８）。

【００７１】上記のようにしてジェスチャーコマンドの
認識が確認されると、ジェスチャー処理が実行される
が、本情報処理装置では、１つの線画で１文字および複
数の文字に対し同じ編集処理を実行するように構成され
ている。次にその処理手順について説明する。

【００７２】図１２のフローチャートに示すように、入
力ペン１６による描画がなされ、この描画が入力ペン１
６がアップされるか、あるいはキーボード１５によるキ
ー入力がなされるまで行われる（Ｓ４１）。描画が終了
すると、描画により得られたペン座標の全データをジェ
スチャーコマンド判定部３６に渡すため、そのデータを
一旦ＲＡＭ２内の特定の領域に格納する（Ｓ４２）。

【００７３】認識過程に入ると、まず、現在の入力モー
ドを調べ、入力モードが領域指定モードであるか否かを
判断する（Ｓ４３）。領域指定モードである場合、手書
き編集インタフェース１０により手書き認識辞書から認
識辞書１７−１・１７−２を読出す（Ｓ４４）。また、
領域指定モードでない場合、手書き認識辞書から認識辞
書１７−１・１７−３を読出す（Ｓ４５）。

【００７４】次いで、認識処理が実行され（Ｓ４６）、
線画の形状がジェスチャーコマンド判定部３６により認
識されると、その認識結果がジェスチャーコマンドとし
て出力される。このとき、線画が認識されなければ、エ
ラーとして処理する。

【００７５】認識が成功した場合、そのジェスチャーコ
マンドが一字抹消や部分消去といった消去コマンドであ
るか否かを判断する（Ｓ４７）。消去コマンドであれ
ば、現在が領域指定モードであるか否かを判断し（Ｓ４
８）、ここで領域指定モードでなければ１文字だけ消去
を実行して（Ｓ４９）、処理が終了する。また、Ｓ４８
の判断で領域指定モードであれば、複数文字の消去を実
行して（Ｓ５０）、処理が終了する。そして、Ｓ４７の
判断でジェスチャーコマンドが消去コマンドでなけれ
ば、その他の各種コマンドによる編集処理を行って（Ｓ
５１）、処理が終了する。

【００７６】以上述べたように、本実施例に係る情報処
理装置では、手書き入力を行う線画が入力され、そのジ
ェスチャーコマンドが認識されると、画面２１に手書き
認識用入力ボード２４を表示させるようになっているの
で、直接手書き入力を行う位置に上記の線画を描くだけ
で、手書き認識用入力ボード２４とウインド２２が現れ
て文字の手書き入力が可能になり、操作が簡単かつ分か
りやすくなる。

【００７７】一方、ジェスチャー機能において、本情報
処理装置は、ジェスチャーの実行時に誤ってキー操作が
行われた場合、キー入力を無効とするようになっている
ので、キーデータが割り込んで誤動作が生じることを回
避することができる。また、ジェスチャーコマンドの認
識が正しく行われたか否かをブザーで告知することによ
り、その確認が容易になる。これとともに、ジェスチャ
ーコマンドの認識が正しく行われると、そのコマンド名
と編集対象となる文字とを表示するので、認識を確実に
確認することができる。

【００７８】さらに、編集対象が１文字である場合も領
域指定された複数文字である場合も、１つのジェスチャ
ーコマンドで編集処理を行うので、コマンド数の増加を
最小限にとどめて、認識速度や認識率の低下を抑制する
ことができる。そのうえ、領域指定モードにおいては、
認識対象となる線画の種類を限定することにより、誤動
作を防止することができる。例えば、領域指定モードで
誤動作の原因となる文字挿入等のジェスチャーコマンド
が実行されないようにすることができる。しかも、上記
のように線画の種類を限定すると、認識処理が簡素化さ
れ、認識速度や認識率の向上を図ることも可能になる。

【００７９】

【発明の効果】以上説明したように、本発明によれば編
集命令の名称を画面上に表示するので、現在実行中の編
集処理が、希望するものかどうかの確認ができるため、
操作性が向上するという特有の効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例に係る情報処理装置における
ジェスチャーを実行するための基本構成を示すブロック
図である。

【図２】上記の情報処理装置の主要部の概略構成を示す
ブロック図である。

【図３】ジェスチャーから手書き入力に移行する操作の
具体例を示す説明図である。

【図４】ジェスチャーの具体例を示す説明図である。

【図５】ジェスチャーコマンドの認識によるコマンド名
および編集対象の表示を示す説明図である。

【図６】通常モードおよび領域指定モードにおけるジェ
スチャー処理を説明する説明図である。

【図７】入力ペンによるポインティングの具体例を示す
説明図である。

【図８】ジェスチャーから手書き入力に移行する操作手
順を示すフローチャートである。

【図９】ペンデータまたはキーデータの取込みの処理手
順を示すフローチャートである。

【図１０】ジェスチャー実行時にキー入力を無効にする
処理手順を示すフローチャートである。

【図１１】ジェスチャーコマンドの認識結果を告知する
処理手順を示すフローチャートである。

【図１２】通常モードまたは領域指定モードによるジェ
スチャーの処理手順を示すフローチャートである。

【図１３】従来の手書き入力が可能な情報処理装置にお
ける手書き入力の画面の表示操作を示す説明図である。

【符号の説明】

１ ＣＰＵ ２ ＲＡＭ ３ ＲＯＭ １０ 手書き編集インタフェース １６ 入力ペン ２１ 画面 ２２ ウインド ２７ コマンド名表示領域 ２８ 編集文字表示領域 ３１ ディスプレイ ３２ タブレット ３６ ジェスチャーコマンド判定部 ３７ ジェスチャーコマンドテーブル ３８ テキスト編集部 ４０ 手書文字認識部 ４１ 手書文字テーブル

───────────────────────────────────────────────────── フロントページの続き (72)発明者 奥野 浩史 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 西田 博 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 中村 豊 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 重松 浩幸 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】座標入力手段から入力される連続する座標
   のストロークを抽出するストローク抽出手段と、 複数の基本ストロークに対応して各種編集コマンドを記
   憶したテーブル手段と、 抽出されたストロークと予め記憶された基本ストローク
   とを照合して最も近似する基本ストロークに対応する編
   集コマンドを認識するジェスチャー認識手段と、 表示画面に表示されている文字等の画像情報のうち、認
   識された編集コマンドによって編集される画像情報を特
   定して、編集コマンド名と共に表示画面に識別表示する
   表示制御手段と、 表示画面に表示されている文字等の画像情報を認識され
   たコマンドに従って編集するジェスチャー編集処理手段
   とを備えていることを特徴とするジェスチャー処理装
   置。
2. 【請求項２】座標入力手段から入力される連続する座標
   のストロークを抽出し、 抽出されたストロークと予め記憶された基本ストローク
   とを照合して最も近似する基本ストロークに対応する編
   集コマンドを認識し、 表示画面に表示されている文字等の画像情報のうち、認
   識された編集コマンドによって編集される画像情報を特
   定して、編集コマンド名と共に表示画面に識別表示し、 表示画面に表示されている文字等の画像情報を認識され
   たコマンドに従って編集することを特徴とするジェスチ
   ャー処理方法。