JP3398981B2 - 手書き入力情報処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばペン等からの手
書き入力による文字や図形等を認識して処理する手書き
入力情報処理装置に関するものである。

【０００２】

【従来の技術】従来より、コンピュータによって文書や
図形を編集する場合、例えばディスプレイ上にメニュー
を表示し、その中からカーソル等を用いて所望のメニュ
ーを選択し、更に所望の文字や文節，文章或いは図形等
を選択して編集処理を行う方式が存在する。具体的に
は、ディスプレイ上に、ファイルキャビネットや文書受
けトレー等を表示し、これを座標入力装置で選択する方
式がある。

【０００３】しかし、上記方式では、カーソルを上下左
右に頻繁に移動して編集を実行するため、凝視点が移動
してオペレータの思考が乱れがちであり、作業能率が低
下すると言う欠点がある。

【０００４】このため、最近は、従来のキーボードやマ
ウスの代わりに、ペン（スタイラスペン）で操作するコ
ンピュータが発表されている。

【０００５】このペン操作型コンピュータは、例えばセ
ンサが設けられた液晶画面に表示されているメニューを
上記スタイラスペンで触れるだけで操作が行える事と、
片手で入力が可能な事、初心者による操作が容易な事、
更に例えば既に作成された文書や図形等を画面上に呼出
して編集をするのに便利な事が特徴となっている。

【０００６】ここで、上記編集においては、いわゆるジ
ェスチャと呼ばれるコマンド（編集校正記号）をスタイ
ラスペンで画面上に描くことにより、例えば文書の挿入
や削除等の処理が行われる。

【０００７】また、上記ジェスチャとしては、例えば表
１の表(1) に示すようなものが使用されている。

【０００８】

【表１】

【０００９】

【発明が解決しようとする課題】ところで、上述したよ
うなペン入力による従来のコンピュータ（手書き入力情
報処理装置）は、基本的に欧米文字のように横書きの文
字入力に対応したジェスチャが使用されるようになされ
ており、日本語対応が充分でないことが欠点となってい
る。

【００１０】すなわち、上記ジェスチャには、日本語の
文字・記号群に含まれる形状と同じものが異なった意味
に使用されている。例えば、表１の表(1) に示すジェス
チャの機能の内の“改行”の機能を示すジェスチャは、
日本語における指定文字列の終端を示す（」：かぎかっ
こ）と形状的に同じものが使用されている。

【００１１】また、日本語は、縦書きと横書きの両方を
使用できるものであるが、上記従来のジェスチャは横書
き専用として開発されているため、縦書き対しては正確
に規定されていない。

【００１２】そこで本発明は、縦書き，横書きの双方及
び日本語にも対応でき、更に操作性をも向上させた手書
き入力情報処理装置を提供することを目的とするもので
ある。

【００１３】

【課題を解決するための手段】本発明の手書き入力情報
処理装置は、上述の目的を達成するために提案されたも
のであり、編集校正対象を表示する表示手段と、筆跡に
応じた座標データを生成する座標入力手段と、前記座標
入力手段で生成された座標データを、予め定義されてい
る複数の編集校正記号の中から、認識した筆跡形状に最
も類似した編集校正記号に基づいて認識し、その筆跡形
状の方向性にかかわらず特定する記号判別手段と、前記
記号判別手段によって特定された編集校正記号に割り当
てられている機能に応じて前記編集校正対象に対して編
集校正処理を施す編集校正処理手段とを具備するもので
ある。

【００１４】ここで、前記記号判別手段によって特定さ
れた編集校正記号に割り当てられている機能を解釈し、
前記筆跡形状の記入位置に隣接する編集校正対象の属性
に応じて変化する機能である場合は、前記編集校正対象
に対する前記筆跡形状の向きに応じて機能を一義的に解
釈する機能解釈手段を有し、前記編集校正処理手段で
は、前記編集校正対象に対して、前記機能解釈手段によ
って解釈された機能に対応した編集校正処理を施すよう
にしている。

【００１５】また、上記編集校正記号は、上記編集校正
対象が文字である場合には上記編集校正対象を仮名漢字
変換する始点から終点までの範囲と仮名漢字変換の指示
とを連続した筆跡で指定する仮名漢字変換記号（仮名漢
字変換ジェスチャ）とする。

【００１６】この時、上記仮名漢字変換ジェスチャの形
状としては終点左回りの形状や、終点右回りの形状、始
点左回りの形状、始点右回りの形状とすることができ
る。

【００１７】さらに、上記編集校正記号は、編集校正処
理コマンド（ジェスチャコマンド）の効果を取り消すと
共に座標データへの変換を指示する変換ジェスチャ及び
／又は座標データの入力を取り消すと共にジェスチャコ
マンドへの変換を指示する変換ジェスチャとする。

【００１８】また更に、上記編集校正記号は編集校正対
象の属性に応じたパラメータを設定する引き出し線記号
（引き出し線ジェスチャ）や、入力の終了を指示する入
力終了ジェスチャとすることができる。

【００１９】その他、本発明の手書き入力情報処理装置
は、実行済の編集校正処理に対応する編集校正記号に応
じた情報を保持し、当該編集校正記号に応じた情報を上
記表示手段に表示することができ、また、先に入力され
た編集校正記号の機能を、当該編集校正記号に応じた情
報の表示の上に入力された編集校正記号で修飾する機能
を有し、更に、複数の編集校正記号の各々の機能に対応
した編集校正処理を一括して行う際に、特定の編集校正
記号に対しては当該特定の編集校正記号の機能を即時実
行する機能を有することができる。

【００２０】

【作用】本発明の手書き入力情報処理装置によれば、記
号判別手段は、認識した筆跡形状に最も類似した編集校
正記号をその筆跡形状の方向性にかかわらず特定するよ
うにしているため、縦書き，横書きの何れであっても対
応することができるようになる。

【００２１】

【実施例】以下、本発明の手書き入力情報処理装置の実
施例について図面を参照しながら説明する。

【００２２】本実施例の手書き入力情報処理装置は、図
１に示すように、例えば文字，図形等の編集校正対象を
表示する表示手段としての液晶表示部を有する表示・タ
ブレットブロック５９と、スタイラスペン６０による筆
跡に応じた座標データを生成する座標入力手段としての
上記表示・タブレットブロック５９上に設けられるタブ
レット及びこのタブレットをコントロールするタブレッ
トコントローラ８５と、前記座標入力手段で生成された
座標データに基づいて筆跡形状を認識し例えばシステム
ＲＯＭ（リード・オンリー・メモリ）５２内に予め定義
されている複数の編集校正記号（以下ジェスチャとす
る）の中から認識した筆跡形状に最も類似したジェスチ
ャをその筆跡形状の方向性にかかわらず特定する記号判
別手段及び当該記号判別手段によって特定されたジェス
チャに割り当てられている機能に応じて前記編集校正対
象に対して編集校正処理を施す編集校正処理手段として
の機能を有するＣＰＵ（中央処理ユニット）５１とを具
備するものである。

【００２３】言い換えれば、本実施例の手書き入力情報
処理装置のＣＰＵ５１は、上記記号判別手段としての機
能と共に、当該記号判別手段によって特定されたジェス
チャに割り当てられている機能を解釈し、前記筆跡形状
の記入位置に隣接する編集校正対象の属性に応じて変化
する機能である場合には、前記編集校正対象に対する前
記筆跡形状の向きに応じて機能を一義的に解釈する機能
解釈手段の機能と、前記編集校正対象に対して前記機能
解釈手段によって解釈された機能に対応した編集校正処
理を施す編集校正処理手段の機能とを有するものであ
る。

【００２４】すなわち、この図１において、本実施例装
置は、メインバスを介して各構成要素を制御する上記Ｃ
ＰＵ５１と、システムのプログラム及び後述する各テー
ブルの内容や上記予め定義されている複数のジェスチャ
の情報が格納されている上記システムＲＯＭ５２と、処
理途中データ等が書込／読出されるワークＲＡＭ５５
と、上記液晶（ＬＣＤ）表示部及びダブレットからなる
表示・タブレットブロック５９と、筆跡入力手段として
のスタイラスペン６０と、メインバスを介して上記ＣＰ
Ｕ５１に接続されると共に上記表示・タブレットブロッ
ク５９と接続され上記タブレットをコントロールするタ
ブレットコントローラ５８と、メインバスを介して上記
ＣＰＵ５１と接続されると共に上記表示・タブレットブ
ロック５９の液晶表示部をコントロールするＬＣＤコン
トローラ５７と、画像表示用データを書込／読出する上
記ＬＣＤコントローラ５７及びＣＰＵ５１により制御さ
れるビデオＲＡＭ５６と、キーの打鍵による使用者の文
字入力や編集操作等を受け付けるキーボード５４と、当
該キーボード５４をコントロールするキーボードコント
ローラ５３とからなるものである。

【００２５】なお、本実施例の手書き入力情報処理装置
の全体構成（外観）は、図２に示すようになものであ
る。すなわち、この図２において、本実施例装置は、上
記表示・タブレットブロック５９に例えば文字，図形や
上記スタイラスペン６０（図２ではスタイラスペン３）
による筆跡が入力及び表示されると共に内部にマイクロ
コンピュータ（上記ＣＰＵ５１や各コントローラ５７，
５８，５３やＲＯＭ５２，ＲＡＭ５５，５６等）を内蔵
しプログラムにより後述する本実施例の各種動作を行う
表示・タブレットブロック５９（図２２では１）の液晶
表示部と、使用者（ユーザ，オペレータ）が上記表示・
タブレットブロック５９の液晶表示部上の任意の位置を
指示することによりその座標値が計測される表示・タブ
レットブロック５９のタブレット入力装置とペン３（図
１のタブレット及びスタイラスペン６０）と、上記キー
ボード２（図１のキーボード５４）とからなるものであ
る。

【００２６】ここで、本実施例装置の具体的な内容の説
明に先立ち、本発明実施例の特徴及び基本思想について
以下に説明する。

【００２７】本発明実施例では、例えば表２の表(2) 〜
表６の表(6) に示すようなジェスチャを用いることで、
以下に示すような特徴を有するものとしている。なお、
表２の表(2) には、従来のジェスチャ（前述した表(1)
のジェスチャ）と対応する本実施例でのジェスチャを示
している。また、表３の(3) には基本となるジェスチャ
を示し、表４の表(4) には文字列操作のジェスチャを、
表５の表(5) には高速操作に対応するジェスチャを、表
６の表(6) には後述の一括実行型編集で使用するジェス
チャを示している。

【００２８】

【表２】

【００２９】

【表３】

【００３０】

【表４】

【００３１】

【表５】

【００３２】

【表６】

【００３３】本実施例の特徴としては、先ず第１に、日
本語に対応するジェスチャ形状セットを使用するように
している。すなわち、日本語の縦書きにも対応できるよ
うに、記号の向きを使用者に意識させないジェスチャ形
状を選んでいる。例えば、縦書きでも使用できる上記表
(2) 及び表(4) に示す“空白”，“タブ”，“改行”等
のジェスチャの形状や、回転した向きでも使用できる表
(2) 或いは表(3) に示す“範囲指定”や“挿入”のジェ
スチャの形状を用いるようにしている。また、表(3) に
示す“変換”のジェスチャ形状や表(3) の＊に示す“テ
キストの選択”（“候補選択”）のジェスチャ形状のよ
うに変換や訂正等で多く使用される操作に素早く描ける
ジェスチャ形状を用意している。

【００３４】第２に、記憶し易い基本ジェスチャを使用
するようにしている。すなわち、少ない基本ジェスチャ
で一通りの操作ができるようにしている。このため、操
作の意味を統一し、同じ意味の機能なら操作の対象が違
っていても同じジェスチャを利用できるようにしてい
る。例えば、表(3) に示す“移動”のジェスチャにより
例えばファイルの移動や図形の移動が行え、表(3) に示
す“方向”のジェスチャにより例えばスクラップブック
のページ送り、仮名漢字変換の候補送りが行える。

【００３５】第３に、表(3) の引き出し線ジェスチャに
よる容易な補助入力を可能としている。この引き出し線
ジェスチャにより、後述のオブジェクトへの属性設定
や、仮名漢字変換の候補選択シートの呼び出し、ジェス
チャで指定できない命令の入力、ファイル情報の参照等
を容易にしている。

【００３６】本実施例においては、ＣＰＵが処理するこ
とが可能なおよそ全てのデータの塊、すなわちファイ
ル、ビットマップ、座標値、キー入力、アイコン、直線
図形、プログラムコード、その他、何らかの処理を行う
際に処理対象となり得るデータの塊をオブジェクトと呼
ぶ。データの塊の選び方は任意であり、オブジェクトが
他のオブジェクトを包含することもある。例えば、文
字、文字列、段落等はそれぞれがオブジェクトである。

【００３７】第４に、繰り返し操作を簡単に行えるよう
にしている。すなわち、表(5) に示す“実行”のジェス
チャを用いて直前の操作の繰り返し実行を可能としてい
る。例えば、赤色で太字という設定後、設定を忘れた文
字を選択して上記表(5) に示す“入力終了指示”のジェ
スチャを入力することで、後に選択した文字を赤色で太
字にすることができる。また、表(3) の“方向”のジェ
スチャを用いることで検索，置換等の繰り返し実行を可
能としている。例えば、検索文字列を指定後、検索され
た文字列の上で表(3) の“方向”のジェスチャを入力す
ることで、次の検索された文字列へのスキップを可能と
する。

【００３８】その他、後述のジェスチャオンジェスチャ
の機能によって、より多彩かつ効率的な操作を可能とし
ており、引き出し線ジェスチャを利用した後述の文字併
記型のジェスチャへの拡張も可能となっている。また、
一括実行型編集でも利用可能となっている。

【００３９】次に、本発明の基本思想について述べる。

【００４０】本実施例では、上記ジェスチャを、筆跡を
もってコンピュータに使用者の意思を伝達する方法と定
義している。ただし、筆跡の形状，組み合わせは無数に
存在し、その全てに意味付けを与えることは不可能であ
るので、実際には少ない画数で描ける記号のような形状
をジェスチャに利用することになる。

【００４１】ペンで記述できる記号の中には、一端に矢
印を付けた任意形状の自由曲線（一端に（＞）を付けた
任意形状の自由曲線、或いは、長線部分が自由曲線とな
る矢印）のように、形状の中に不定形な部分を含むもの
もある。本実施例では、このような不定形な部分を含ん
だ形状の記号についてもジェスチャの一種としている。

【００４２】また、ジェスチャの設計を行う場合におい
て、当該ジェスチャの設計とは、ペンで描く形状（記
号）に対してコンピュータの解釈を割り当てる作業とな
る。しかし実際にはコンピュータの解釈については幾つ
かの考え方が存在する。例えば、形状を直接アプリケー
ションの各機能に割り当ててゆくことを考えることがで
き、各機能をもう少し細かいレベルの意味にまで分解し
て、それら基本機能に対して形状を割り当てることも考
えられる。

【００４３】前者は、まとまった意味の処理を１つのジ
ェスチャで実行できるため、慣れれば高速な入力が期待
できる反面、覚えるべきジェスチャの数が多くなり、形
状を意味から連想で覚えるのが難しい等の問題が生ず
る。後者は、１つの処理を実行するのにいくつかのジェ
スチャを必要として入力量が前者に比べて多くなること
が考えられるが、反面覚えるべきジェスチャは少ない。
また、日常使用している記号からの類推で記号を覚える
ことができる等の利点がある。

【００４４】これらのことから、本実施例では、基本的
に後者の考えを採用し、前者の方が優れている点につい
ては改善のための工夫を盛り込んで対処するようにして
いる。実際には、形状に対して、選ぶ，消す，移動，設
定，方向，・・・等の基本的な意味を割り当て、これを
ジェスチャセットとしている。

【００４５】ここで、形状に対して基本的な意味を割り
当てた場合には、基本的な意味をどのように解釈してコ
ンピュータが動作するべきか問題になる。なぜならば、
意味が基本的なので解釈の違いによって幾つもの動作が
可能になる上、それによって実際のアプリケーションの
操作法が決定されるからである。したがって、意味の解
釈についても何らかの指針がなければ操作の統一性が達
成されないことになる。

【００４６】このため、本実施例では、この問題に対処
するために、場面毎の適用例を以下に述べるようにして
意味と動作の対応を付け、標準的な操作環境の実現を可
能としている。また、上記ジェスチャセットの中核をな
す基本的な意味の選定は以下の考えに基づいて行ってい
る。

【００４７】第１に、基本的なジェスチャだけを使って
コンピュータの操作を一通り行えるようにしている。第
２に、非熟練者にも充分理解できるように机上作業で用
いられる概念を利用している。第３に、コンピュータ操
作において一般的な概念を快適で高速な操作のために利
用するようにしている。第４に意味の重ね合わせ（復
合）が容易なように留意している。

【００４８】このため、基本ジェスチャ、高速ジェスチ
ャという２つのカテゴリに意味を分類し、上記基本ジェ
スチャで最も基本的な操作を、上記高速ジェスチャで快
適な操作を実現するようにしている。

【００４９】次に、上記ジェスチャの形状は以下の条件
に基づいて選んでいる。

【００５０】第１の条件として、普段紙上で使用してい
る記号をそのままの意味で使用できるようにする。第２
の条件として、全ての形状は上下左右どの向きに描いて
も同じ意味となるようにする。第３の条件として、それ
ぞれの意味に１画で素早く描ける形状を用意する。第４
の条件として、他の記号，文字と類似した形状のジェス
チャには別の形状も用意する。第５の条件として、ジェ
スチャ同士の重ね合わせが可能な形状を選ぶようにす
る。

【００５１】これらにより、第１の条件から普段使用し
ている記号がそのまま使える覚え易い操作を実現し、第
２の条件から使いたい記号を使いたい向きで使える自然
な操作を可能とし、第３の条件から素早く描ける形状を
利用した熟練者にも快適で高速な入力を可能とすると共
に実装が容易な１画のジェスチャで基本的なシステムが
構築でき、第４の条件から誤認識を避ける描き方を熟練
者が選択できる自由度の高い操作が可能となり、第５の
条件からジェスチャへのジェスチャ操作を許す形状セッ
トを可能としている。

【００５２】上記各条件に合うように、本実施例ではそ
れぞれの意味に対して複数の形状が割り当てられる場合
がある。その場合、基本的な形状を基本ジェスチャと
し、その他の形状を前記各表(2) 〜表(6) に示すよう
に、別形ジェスチャと分類している。このように分類す
ることにより、使用者はとりあえず基本ジェスチャを覚
えれば、基本的な操作を全て行うことができ、必要に応
じてその他の形状を覚えて便利に使用することができる
ようになる。

【００５３】さらに、本実施例のジェスチャを利用した
編集操作の発展した形として、編集記号を予め幾つも入
力しておき、編集実行の指示があったときに一気に編集
操作を実行する一括実行型編集も可能としている。この
一括実行型編集を利用すれば、従来の校正作業から無理
なく移行でき、なおかつ編集指示が目で見て判る形状で
表現できるようになる。

【００５４】本実施例では、上記一括実行型編集に対応
するために以下のようなことを行っている。

【００５５】先ず、第１に、入力し易いジェスチャと見
て意味の判り易いジェスチャの双方を用意し、第２に、
編集指示を直接文字で記入する文字併記型編集を容易に
する引き出し線を採用し、第３に、既に記入したジェス
チャの上にジェスチャを書き込み、意味を追加，変更す
る本実施例でジェスチャオンジェスチャと呼ぶ考えを導
入し、第４に、例えばキーボードによるなどのジェスチ
ャ以外の方法で入力された処理をジェスチャの形に変換
して表示する機能を導入し、第５に、一括実行型編集時
であっても例外的に入力直後に実行される即時実行ジェ
スチャと呼ぶ考えを導入している。

【００５６】これらの工夫により、本実施例では、一括
実行型編集に容易に対応できるようになっている。ま
た、一括実行型編集と逐次実行型編集の中間の状態すな
わち一つのジェスチャでは入力が完了せずに幾つかのジ
ェスチャの組み合わせで初めて命令が実行されるような
編集も可能としている。

【００５７】また、本実施例では、例えばファイルの指
定やコンピュータの基本設定の操作や、文書／図形編集
操作や、日本語文字認識，変換、取り消し操作の繰り返
しをする場合等にジェスチャを適用することができるよ
うになっている。

【００５８】以下、上記表(2) 〜表(6) に示した各ジェ
スチャの形状と機能の対応における各ジェスチャの意味
について説明する。

【００５９】先ず、“ヘルプ”は、操作法，補助的情報
等の情報を提示する。このヘルプによれば、説明を提示
するための対話ウインドウが自動的に開き、使用者はウ
インドウ内のメニューを選択して所望の情報を閲覧す
る。この場合、使用者が説明して欲しい対象の上にジェ
スチャを描くのは自然な操作であるが、ジェスチャをど
こに描いても希望の説明に辿り着けることも要求され
る。従って、対話ウインドウは、筆跡の下のオブジェク
トに対する説明を提示するための選択枝と質疑応答によ
り希望の説明を提示するための選択枝の両方を提供する
ことが望ましい。

【００６０】“取り消し”では、直前に行なった操作あ
るいは筆跡の下に書き込まれているジェスチャの処理を
取り消し、操作を行なう前の状態に戻す。２度続けて取
り消しを行なった場合、さらに前の操作を取り消す（多
重取り消し) 動作と、取り消し操作自身を取り消す（ト
グル取り消し) 動作の二種類が考えられる。二つの動作
の選択法については後述する。

【００６１】ここで、この“取り消し”は対象オブジェ
クト別に以下のように動作する。例えば、ジェスチャ上
に記入された場合は、下に記されたジェスチャの操作を
取り消す（実行前の状態に戻す）。例えば、属性入力ウ
インドウ，仮名漢字変換ウインドウ等の一時的に開くウ
インドウの場合には、先ず現在までのウインドウ上の入
力を全て無効とし、次に一時的に開いていたウインドウ
が閉じ、最後に引出し線を引き出す以前の状態に戻す。
上記以外のウインドウの場合には、指定されたウインド
ウ上の直前の操作を取り消す（実行前の状態に戻す) 。

【００６２】また、上記多重取り消しとトグル取り消し
の選択には、ジェスチャオンジェスチャを利用すること
ができる。取り消しジェスチャの上に“上送り”を描い
た場合には上記多重取り消しとしてひとつづつ前の処理
を取り消し、“下送り”を描いた場合には上記トグル取
り消しとなりひとつづつ取り消した処理を復活する。ま
た、“取り消し”を再度描くと取り消した全ての処理を
復活する。

【００６３】“開く”では、筆跡の下にあるオブジェク
トを開く。この“開く”とは、オブジェクト内の対象を
操作可能とする機能のことであり、例えば、ファイルを
開くとエディタが起動し、アプリケーションソフトを開
くとアプリケーションソフトが起動し、プリンタアイコ
ンを開くとプリンタの機種，印刷待ち状態等が表示さ
れ、印刷する対象の入力を促す。

【００６４】ここで、“開く”は対象オブジェクト別に
以下のように動作する。例えば、アプリケーションソフ
トのアイコン（含む一覧表の項目等) の場合は、アプリ
ケーションソフトを起動する。例えば、ファイルフォル
ダのアイコンである場合には、ファイルフォルダを開き
内容を表示する。また例えば、閲覧可能なファイルのア
イコンである場合には、対象のファイルを閲覧するため
のアプリケーションを起動する（操作対象は指定された
ファイル) 。

【００６５】“位置”／“オブジェクト指定”では、指
示された位置を指定位置として設定、あるいは指示され
たオブジェクトを指定オブジェクトとして追加設定す
る。位置指定操作に入力が限定されている場合を除き、
付近にオブジェクトがあればオブジェクト指定操作とみ
なされる。オブジェクトが指定された場合は直前までに
指定されていたオブジェクトに追加する形で指定され
る。この追加操作は指定されたオブジェクトに対して何
らかの操作が施されるまで継続する。また、既に指定さ
れているオブジェクトを指示した場合はそのオブジェク
トを指定オブジェクトの中から除外する。

【００６６】ここで、位置を指定する場合はペンで叩い
た位置そのものが設定されるのが通常であるが、付近に
図形の端点，線上点等を持つ特別なオブジェクトがあれ
ば、これらの点を指定位置とすることも可能である。オ
ブジェクトを指定する場合は、ペンで叩いた位置から設
定された範囲内に存在するオブジェクトが指定オブジェ
クトとして設定されるが、その設定された範囲にオブジ
ェクトが存在しない場合はオブジェクトの指定は実行さ
れない。２つ以上のオブジェクトがある場合にどちらを
選ぶかは状況に依存する。

【００６７】また、指定されたオブジェクトが次のステ
ップに進むための契機を待って待機している場合には、
次のステップに進む契機として機能する。このジェスチ
ャを“次送り”と呼ぶ。待機中のオブジェクトがｙｅ
ｓ，ｎｏ等の入力を要求している場合はプログラム等に
より予め定められている値（デフォルト値）を承認した
こととする。

【００６８】オブジェクトが階層構造を持っているよう
な場合、どの階層のオブジェクトを指定したいのかは１
点を指示する入力では分らない。どの階層のオブジェク
トが指定されるかはアプリケーションが決定してよい。
但し、どの階層のオブジェクトが選択されたかを使用者
に明確に伝える必要がある。また、当該ジェスチャで指
定されたオブジェクトに対しては、方向指示のジェスチ
ャによって指定されるオブジェクトの階層を上下できる
ようにしてよい。

【００６９】また、当該ジェスチャは対象オブジェクト
別に以下のように動作する。先ず、次のステップに進む
ために待機しているオブジェクトにおいては、オブジェ
クトに対してデフォルト値が入力されたものとし、待機
状態を解除する。例えば、デフォルト値がｙｅｓの対話
ウインドウが対象オブジェクトである場合、当該ジェス
チャはｙｅｓボタンを押した場合と同等に機能し、デフ
ォルト値がｎｏの対話ウインドウではｎｏボタンを押し
た場合と同等に機能し、文字列検索の検索カーソルでは
次の一致文字列を検出し、文字列置換の検索カーソルで
は当該文字列置換の検索カーソルで示された文字列を置
換したうえ次の一致文字列を検索し、仮名漢字変換中の
文節では当該仮名漢字変換中の文節の次候補を表示す
る。

【００７０】その他のオブジェクトにおいて、指示され
たオブジェクトが現在指定状態にない場合は、指示され
たオブジェクトを指定オブジェクトの中に加え、指示さ
れたオブジェクトが指定オブジェクトに追加されたこと
を何らかの方法で強調して表示する（反転，点滅，色変
更・・・）。また、指定されたオブジェクトが既に指定
状態にある場合は、指示されたオブジェクトを指定オブ
ジェクトから除外し、指示されたオブジェクトを通常の
表示に戻す。

【００７１】さらに、待機中のオブジェクトに次のステ
ップに進むように指示した場合、進む方向は直前までの
方向となる。例えば逆再生中に静止させた動画を当該ジ
ェスチャにより静止解除すると逆再生が始まる。方向を
変更する場合は方向のジェスチャが必要となる。

【００７２】“範囲指定”では、筆跡の角の部分から２
本の線分によって区切られる９０度分の方向を指定領域
とする。すなわち例えば（「、すなわち横書き用の鉤括
弧）の形状のジェスチャは角の部分から右下方向を指定
領域とする。さらにもうひとつの（」）型のジェスチャ
と一組になって矩形範囲の指定となる。また、縦書き用
の鉤括弧の型のジェスチャも一組でやはり矩形範囲の指
定となる。

【００７３】但し文字列のように紐状の連続性を持ち、
しかも行毎に折り畳まれているオブジェクトに対して描
かれた場合、２つのジェスチャにはさまれた紐状の区間
全体が指定対象となる場合がある。例えば図３のような
場合である。ただし、図３の図中○及び×は文字を意味
し、図中ＧＥがジェスチャである。

【００７４】この図３の例では日本語の鈎括弧と同じく
図中×の範囲が指定対象となる。これに対して、矩形の
範囲を指定したい場合は図４のようにすればよい。

【００７５】この図４において、対となる括弧が存在し
ない状態、或は図４の図中ＧＥ₁ とＧＥ₂ のように矩形
を成さない組合せの場合は、開ている方向に無限に長さ
のある領域指定の状態となる。

【００７６】すなわち、図５の例に示すように括弧以下
の文章は文書の終りまで全て指定された状態となる。

【００７７】しかし、この図５の場合、ひとつ目の括弧
が描かれた状態で括弧以下の全てのオブジェクトを指定
状態にするのは計算機にとって非常に負担が大きく、対
になるジェスチャが入力されたときに範囲外になったオ
ブジェクトを指定から外すのも大きな負担となる。そこ
で、そのような場合には対となる括弧が現れるか指定さ
れたオブジェクトに対する操作が実行されるまではオブ
ジェクトを選択状態にしなくてもよい。

【００７８】また、括弧で指定された領域内に括弧が描
かれると、括弧同士の対応の問題が生じる。このような
場合はどの括弧が対応するか使用者に確認して決定する
必要がある。

【００７９】ここで、当該“範囲指定”は対象オブジェ
クト別に以下のように動作する。すなわち、上述の場合
のみ２つ１組で紐状範囲指定操作として動作する。それ
以外の場合は２つ１組で矩形範囲指定操作として動作す
る。ただ１つの当該ジェスチャは４半平面の範囲指定操
作として動作する。また、明示的に座標としての指定範
囲を求められていない場合、当該ジェスチャにより指定
された範囲内にオブジェクトが存在すればオブジェクト
指定操作となる。指定された範囲にかかり、なおかつ指
定された範囲からはみ出すようなオブジェクトについて
は大部分が指定された範囲に含まれていればそのオブジ
ェクトは指定されたと判断するのが望ましい。

【００８０】また、当該ジェスチャの形状は日本語の鈎
括弧と完全に形状が一致している。従って文字とジェス
チャの両方が入力可能な状況では、当該ジェスチャの入
力と鈎括弧の入力が筆跡形状だけでは区別できない。従
って状況に応じた両者の区別が必要となるが、さらに誤
認識救済のためにジェスチャと座標データを切替えるジ
ェスチャを実装することが望まれる。

【００８１】“方向”では、筆跡の開始点の下にあるオ
ブジェクトを筆跡が払った方向に送る。当該ジェスチャ
では２次元平面上の実際の方向だけでなく上下，前後等
の言葉で表される抽象的な方向の双方を指定することが
できる。抽象的な方向指定における実際の動作は対象と
なる（筆跡の開始点の下にある）オブジェクトによって
大きく異なるが、基本的には順序をもつオブジェクトに
対してひとつ隣のオブジェクトに移る操作を意味する。

【００８２】図６には、方向の呼称を示している。すな
わちこの図６において、上はＮ、下はＳ、左はＷ、右は
Ｅ、斜め右上はＮＥ、斜め右下はＳＥ、斜め左上はＮ
Ｗ、斜め左下はＳＷとしている。Ｎ方向のジェスチャは
“上送り”、Ｓ方向は“下送り”、Ｅ方向は“右送
り”、Ｗ方向は“左送り”と呼ぶ。

【００８３】実際の（視認できる）位置関係が明らかな
場合で、その位置関係と抽象的な順序に割り当てられた
方向が相違する場合は、実際の位置関係の操作を実装す
る。例えばページ送りについては、右開きの本を参照し
ている場合と左開きの本を参照している場合では右のペ
ージを読むための操作を同一とする（従って次のページ
を読むための操作は逆向きとなる。この操作を“次送
り”と呼ぶ。）。

【００８４】抽象的な順序と方向の対応関係のうち以下
のものは定義されている。例えば、上下（ＮＳ）は階層
構造の上下を表し、グループ化されたオブジェクトの指
定の際などに利用される。前後（ＷＥ）は同レベルの順
序関係を表し、認識結果の次候補表示などに利用され
る。上下関係はあるが前後関係はないオブジェクト、前
後関係はあるが上下関係はないオブジェクトを操作する
場合は（前＝上）（後＝下）と割り当て、操作可能な方
向を増やすことができる。

【００８５】オブジェクトを送る操作と視点を送る操作
の違いについては注意が必要である。例えば横書きのワ
ードプロセッサを利用している場合、紙に相当する部分
に対してＮ方向に本ジェスチャを描くことにより文書の
続きの部分が現れる。ところが、文字列を検索している
場合に、次の文字列を検索するのにＮ方向のジェスチャ
を描くのは不自然である。これは前者が巻紙を上方向に
送る操作であるのに対して後者（次の文字列の検索）が
検索カーソルを次の検索文字列（下方にある）に送る操
作だからである。後者はカーソルを下方向に送る意味で
Ｓ方向のジェスチャを描くべきである。

【００８６】なお、なるべく多くの場面でペンでタブレ
ットを叩く“位置／オブジェクト指定”のジェスチャに
よる“次送り”の機能を利用できるようにし、使用者の
混乱を避けるべきである。

【００８７】ここで、当該“方向”は対象オブジェクト
別に以下のように動作する。すなわち、アプリケーショ
ン上で紙として扱われるウインドウの場合は、指定され
た方向へのスクロールとする。オブジェクト指定等によ
り既に指定されているオブジェクトの場合は、上記図６
のＮ方向のジェスチャでひとつ上の階層のオブジェクト
を指定し、Ｓ方向のジェスチャでひとつ下の階層のオブ
ジェクトを指定する。例えば、図形オブジェクトの場
合、Ｎ方向のジェスチャで現在指定されているよりもも
うひとつ上の（大きな）グループを指定し、Ｓ方向のジ
ェスチャで現在指定されているよりももうひとつ下の
（細かい）グループを指定する。また、例えば、文書オ
ブジェクトの場合は、Ｎ方向のジェスチャで１文字→章
→単語→（文節→）文→段落→節→章→文全体と指定
し、Ｓ方向のジェスチャで文全体→章→節→段落→文→
（文節→）単語→１文字と指定する。なお、この文書オ
ブジェクト及びグループの指定についての詳細は後述す
る。更に、検索カーソル（検索文字列上の反転等の強調
部分）の場合は、Ｎ方向のジェスチャで前候補検索を、
Ｓ方向のジェスチャで次候補検索を、Ｗ方向のジェスチ
ャで前候補検索（横書き）, 次候補検索（縦書き）を、
Ｅ方向のジェスチャで次候補検索（横書き) , 前候補検
索（縦書き）を指示する。変換操作中のオブジェクトの
場合には、Ｗ方向のジェスチャで前候補を、Ｅ方向のジ
ェスチャで次候補を指示する。

【００８８】なお、当該ジェスチャの形状は非常に単純
であり、他の記述と形状だけでは区別するのが困難かの
ように考えられる場合がある。しかし、筆跡を払う速度
など形状以外の情報を検出することで充分に区別するこ
とができる。

【００８９】“消す”では、筆跡の下が指定領域であれ
ば現在指定されている領域を全てクリアし、筆跡の下が
指定されているオブジェクトであれば現在指定されてい
るオブジェクトを全て消去し、筆跡の下が指定状態でな
ければ筆跡の下にあるオブジェクトを消去する。致命的
な削除操作となるような場合は確認を求める。また、オ
ブジェクトを事前に指定せずに消去する場合は、ジェス
チャのサイズ，外形と附近のオブジェクトのサイズ，外
形を比較して消去するオブジェクトを決定する。

【００９０】ここで、上記“消す”は対象オブジェクト
別に以下のように動作する。すなわち、対象がジェスチ
ャの場合は、対象ジェスチャの操作を取り消し、元の状
態にする。例えば、文字を囲っている範囲指定のジェス
チャ（○）に重ねて“消す”のジェスチャ（×）を描く
と指定された範囲を通常状態に戻し、引出し線に重ねて
“消す”のジェスチャ（×）を描くと設定用のウインド
ウを設定破棄で閉じる。また、ファイルのアイコンの場
合は、ファイルを削除する。更に、図形オブジェクトの
場合は、その図形オブジェクトを消去する。文字列オブ
ジェクトの場合は、その文字列オブジェクトを消去し、
この消去により発生したすき間を詰める。

【００９１】“移動”のジェスチャでは、現在指定され
ている領域，オブジェクトを移動する。指定がなければ
筆跡の開始点の下にあるオブジェクトを移動する。移動
先は筆跡の終了点とする。移動先に特殊なオブジェクト
が存在する場合は、移動が行なわれないことがある。例
えばファイルのアイコンをプリンタのアイコンの上まで
移動した場合、移動したファイルの印刷を行なう指示と
して解釈され、移動は実際には行なわれずファイルのア
イコンは元の位置に戻る。

【００９２】ここで、この“移動”のジェスチャは対象
オブジェクト別に以下のように動作する。すなわち、終
点が特定の機能を表す特殊なオブジェクトだった場合
は、対象オブジェクト（移動してきたオブジェクト）を
機能を及ぼす対象に設定し、当該機能に対応した処理を
行う。終点が特定の機能を表す特殊なオブジェクト以外
だった場合と対象オブジェクトが機能で処理できない場
合は、通常の移動処理となる。例えば、ファイルのアイ
コンの場合は、ファイルを移動する。この場合、始点と
終点がディレクトリの境界を越えた位置にあればディレ
クトリ間の移動となり、同一ディレクトリやフォルダ内
にあればファイルアイコンの表示位置の移動になる。ま
た、図形オブジェクトの場合は、対象オブジェクトを始
点と終点の座標差分だけ並行移動する。文字列オブジェ
クトの場合は、対象オブジェクトを終点位置に文字列挿
入し、元々の対象オブジェクトを文字列削除する（文字
詰めも行なう）。

【００９３】“引き出し線”のジェスチャでは、現在指
定されている領域，オブジェクトに設定されている情報
を参照あるいは設定する。指定がなければ筆跡の開始点
の下にあるオブジェクトを対象とする。筆跡の終了点付
近に情報の参照，入力用のウインドウを自動的に開く。

【００９４】このとき、対象オブジェクトによって開く
ウインドウの種類を変えることにより、使用者にとって
便利なメニュー呼び出しとなる。例えば、仮名漢字変換
中の文節から線を引き出せば変換候補一覧ウインドウが
呼び出され、線図形から線を引き出せば線種・色等の属
性設定ウインドウが呼び出されるような切替を行うこと
ができる。

【００９５】また、当該ジェスチャはジェスチャ操作に
よって大まかに設定されたパラメータを詳細に入力し直
す際にも用いられる。例えば、画面上に表示が残ってい
る移動のジェスチャのマークから線を引き出した場合、
移動距離・角度・移動前の座標・移動先の座標値等が表
示され、値を変更することにより移動量の微調整が可能
となる。

【００９６】ここで、この“引き出し線”のジェスチャ
は対象オブジェクト別に以下のように動作する。すなわ
ち、ジェスチャの場合は、ジェスチャ操作の詳細なパラ
メータの参照，設定がなされる。ファイルのアイコンの
場合は、ファイル名，ファイルの作成日，作成者，サイ
ズ，作成時に使用したアプリケーション等の情報をウイ
ンドウに提示する。ファイル名，読み書き許可フラグ等
の変更可能な情報についてはウインドウ上で変更を受け
付ける。幾つものファイルが指定されていた場合は一覧
表が提示される。また、アプリケーションのアイコンの
場合は、アプリケーション名，著作権，購入者名，サイ
ズ等の情報をウインドウに表示する。ユーザーによる細
かい設定を行なうための選択枝がウインドウ上に存在
し、選択することによりアプリケーションの環境設定な
どを行なうことができる。図形オブジェクトの場合は、
色，線種などの属性値をウインドウに表示する。属性値
を設定するための選択枝とその他の操作のための選択枝
がウインドウ上に存在し、属性設定や各種操作を行なう
ことができる。文字列オブジェクトの場合は、色，文字
種，サイズ，文字間隔，行間隔などの属性値をウインド
ウに表示する。属性値を設定するための選択肢とその他
の操作のための選択枝がウインドウ上に存在し、属性設
定や各種操作を行なうことができる。仮名漢字変換中の
文節の場合は、変換候補の一覧表を表示するための変換
候補一覧ウインドウが開かれる。文字認識後の文字場合
は、認識候補の一覧表を表示するための文字認識ウイン
ドウが開かれる。

【００９７】“変換”のジェスチャでは、現在指定され
ているオブジェクトに対して変換操作を施す。オブジェ
クトが指定されていない場合は筆跡の下にあるオブジェ
クトが対象となる。アンダーライン，傍線の先頭や末尾
に変換のための形状を組み合わせた短縮型の入力が可能
である。変換動作は、対象となるオブジェクトによって
大きく異なるが、基本的な意味は変換機能の起動と第一
候補の表示である。

【００９８】ここで、上記“変換”のジェスチャは対象
オブジェクト別に以下のように動作する。すなわち、ジ
ェスチャの場合は、ジェスチャ認識ミスを修正する候補
ウインドウを開く。ファイルのアイコンの場合は、ファ
イルのデータ形式の変換を行なうためのウインドウが開
く。図形オブジェクトの場合は、図形の認識を行ない認
識結果を表示する。文字列オブジェクトの場合は、仮名
漢字変換を行なう。文字認識後の文字場合は、認識候
補，単漢字変換の一覧表を表示するための文字認識ウイ
ンドウが開かれる。

【００９９】“挿入”のジェスチャでは、筆跡の尖った
部分（挿入指示部分）にオブジェクトを挿入する。筆跡
で指定された位置に挿入のためのウインドウを開く。

【０１００】この“挿入”のジェスチャは対象オブジェ
クト別に以下のように動作する。すなわち、図形オブジ
ェクトの場合は、筆跡で指定された位置に筆跡で指定さ
れた方向に図形挿入指示のためのウインドウを開く。こ
の場合、余白の挿入，選択図形の挿入などを行なうこと
ができる。また、頂点の向きが下向きや上向きとなる挿
入記号の場合は縦線状の余白を作り、頂点の向きが左向
きや右向きの挿入記号の場合は横線状の余白を作る。余
白を作成する線上にかかっている図形については、変形
せずにどちらかに移動する場合と余白分だけ長くなるよ
うに変形して余白地帯上に再表示する場合のいずれかの
処理を使用者が選択できることが望ましい。更に、余白
幅が指定された場合はその値分だけが余白の幅となる。
文字列オブジェクトの場合は、文字列入力ウインドウを
開き、挿入文字列の入力を促す。対象オブジェクトが範
囲指定された文字列だった場合は対象範囲の文字列が文
字列入力用のウインドウ上に転送される。ウインドウを
開いた後挿入する文字列を選択してウインドウ上に移動
することにより、既に入力済みの文字列が挿入される。
データベースの一覧表の場合は、項目方向に挿入記号を
描くと新規項目追加用のウインドウが開く。既存項目を
選択してウインドウ上に移動することにより項目の並べ
変えが可能となる。また、データ方向に挿入記号を描く
と新規データ挿入用のメニューウインドウが開く。既存
のデータを選択してウインドウ上に移動することにより
データの並べ変えが可能となる。

【０１０１】“複写”のジェスチャでは、現在指定され
ている領域，オブジェクトを複写する。指定がなければ
筆跡の開始点の下にあるオブジェクトを複写する。複写
先は筆跡の終了点となる。複写先に特殊なオブジェクト
が存在する場合は複写が行なわれないことがある。

【０１０２】この“複写”のジェスチャは対象オブジェ
クト別に以下のように動作する。すなわち、終点が例え
ばプリンターアイコンなどのように特定の機能を表す特
殊なオブジェクトを指示している場合において、当該特
定機能が対象オブジェクトに変更を加えるものの場合
は、先ず始めに対象オブジェクトの複写を実行（複写先
は対象オブジェクトと同一位置）し、複写したオブジェ
クトを操作対象に設定し、当該特定機能に対応する処理
を実行する。また、終点が特定の機能を表す特殊なオブ
ジェクトだった場合において、当該特定機能が対象オブ
ジェクトに変更を加えないものの場合は、対象オブジェ
クトを操作対象に設定し、当該特定機能に対応する処理
を実行する（但し後者を前者と同じ扱いにしてもよ
い）。終点がそれ以外のオブジェクトだった場合は通常
の複写処理が行われる。ファイルのアイコンの場合は、
ファイルを複写する。始点と終点がディレクトリの境界
を超えた位置にあればディレクトリを超えた複写とな
り、同一ディレクトリ内にあればディレクトリ内複写と
なる。複写されたオブジェクトに元のオブジェクトと別
の名前を与える必要がある場合、計算機が自動的に行な
っても構わないし、使用者に名前の入力を求めても構わ
ない。図形オブジェクトの場合は、対象オブジェクトを
始点と終点の座標差分だけ並行移動した位置に複写を生
成する。文字列オブジェクトの場合は、終点位置に対象
文字列と同一の文字列を挿入する。

【０１０３】“カット”のジェスチャでは、筆跡の書き
だし部分（あるいはその極近傍）にあるオブジェクトを
カットバッファと呼ばれる特殊な領域に移動する。指定
操作が事前に行なわれていた場合は指定されたオブジェ
クトをカットバッファに移動する。カットバッファとは
作業帳のようなオブジェクトであり、ＯＳ（基本ソフ
ト）あるいはアプリケーションソフトが用意する。カッ
トバッファに移動されたオブジェクトは、ペーストと呼
ばれる操作によってアプリケーションソフトに戻され
る。これによってページをまたいだ移動などを効率よく
行なうことができる。また、オブジェクトを消去する目
的でカット利用することもできる。ＯＳによってカット
バッファの機能が実現されている場合は、アプリケーシ
ョンソフト同士がカットバッファを共有することになる
ので、それを仲介してアプリケーションソフト同士のオ
ブジェクトの受渡しが可能になる。

【０１０４】この“カット”のジェスチャは対象オブジ
ェクト別に以下のように動作する。例えば、文字列が対
象の場合は、対象文字列がカットバッファに移動され、
対象文字列があった場所に後続の文字列が詰められる。
図形オブジェクトが対象の場合は、対象図形がカットバ
ッファに移動される。また、その他のオブジェクトが対
象の場合において、カットバッファが受け入れできない
オブジェクトの場合は、動作しない

【０１０５】なお、カットバッファが何を受け入れるか
はシステムに依存する。文字列からファイル、プリンタ
その他全てのものを受け付けるものも考えられるし、文
字列しか受け付けないものも考えられる。

【０１０６】“コピー”のジェスチャでは、筆跡の書き
だしのカギの先端部分（あるいはそのごく近傍）にある
オブジェクトをカットバッファに複写する。指定操作が
事前に行なわれていた場合は指定されたオブジェクトを
カットバッファに複写する。ペースト操作と組み合わせ
て、離れた場所への複写や連続した複写に利用する。

【０１０７】この“コピー”のジェスチャは対象オブジ
ェクト別に以下のように動作する。カットバッファが受
け入れできる対象オブジェクトの場合は、対象オブジェ
クトがカットバッファに複写され、カットバッファが受
け入れできない対象オブジェクトの場合は、動作しな
い。

【０１０８】“ペースト”のジェスチャでは、筆跡の書
きだしのカギの先端部分にカットバッファにあるオブジ
ェクトを複写する。カギの先端部分に文字列オブジェク
トが存在し、カットバッファのオブジェクトも文字列で
ある場合は文字列挿入が行なわれる。いずれの場合もカ
ットバッファの中身には影響を及ぼさない。指定操作が
事前に行なわれていた場合は指定が取り消される。カッ
ト，コピー操作と組み合わせて、離れた場所への移動，
複写，連続複写などに利用する。

【０１０９】この“ペースト”のジェスチャは対象オブ
ジェクト別に以下のように動作する。例えば、対象が存
在しない場合は、カギの先端位置にカットバッファのオ
ブジェクトを複写する。ジェスチャが対象の場合は、カ
ギの先端位置にカットバッファのオブジェクトを複写す
る（ジェスチャの指定は無視する）。文字列オブジェク
トが対象の場合において、カットバッファのオブジェク
トが文字列である場合は、対象文字列にカットバッファ
の文字列を挿入する。また、文字列オブジェクトが対象
の場合において、カットバッファのオブジェクトが文字
列以外である場合は、カギの先端位置にカットバッファ
のオブジェクトを複写する。その他のオブジェクトが対
象の場合は、矢尻の先端位置にカットバッファのオブジ
ェクトを複写する（但し、カットバッファの内容が矢尻
の先端位置に複写可能なオブジェクトである場合であ
り、それ以外の場合は動作せず警告を発する) 。

【０１１０】“入力終了指示”のジェスチャでは、現在
行なっている入力，選択等の操作を終了し、処理を実行
する。直前の処理の再実行，一括実行型編集時の編集の
実行，引出し線による詳細設定など終了の契機がはっき
りしない入力操作の終了に用いられる。処理を先に指定
して後から対象となるオブジェクトを指定する場合も指
定終了の契機を伝えるために使用する。また、処理が指
示されていない場合は指定されたオブジェクトに対して
直前の処理を実行する。

【０１１１】取り消し操作直後の実行操作は取り消しの
再実行という意味と今取り消してしまった命令の再実行
という意味の２通りに解釈できる。どちらの解釈を望む
かは使用者と状況によって異なるので、使用者から特に
指定があった場合を除き、どちらを実行するか使用者に
確認を求めるのが望ましい。

【０１１２】この“入力終了指示”のジェスチャは対象
オブジェクト別に以下のように動作する。例えば、属性
入力ウインドウ，仮名漢字変換ウインドウ等の一時的に
開くウインドウの場合は、現在までの入力を全て有効と
し、一時的に開いていたウインドウが閉じ、属性ウイン
ドウならば属性設定を行なう等の処理を実行する。それ
以外のウインドウの場合において、処理とオブジェクト
が指定されている場合は、指定されているオブジェクト
に指定された処理を施す。また、上記属性入力ウインド
ウ，仮名漢字変換ウインドウ等の一時的に開くウインド
ウ以外のウインドウの場合において、オブジェクトのみ
が指定されている場合は、指定されているオブジェクト
に直前に実行された処理を施す。指定されたオブジェク
トの種類が、直前に実行された処理に対して不適切な場
合、指定されたオブジェクトに対して実行可能な処理
を、実行された処理群の中から時系列を遡って選び出
す。同じく、上記属性入力ウインドウ，仮名漢字変換ウ
インドウ等の一時的に開くウインドウ以外のウインドウ
の場合において、処理とオブジェクトの両方とも指定さ
れていない場合は、直前に実行された処理を実行する。
但し、実行されるのはもう一度（同じオブジェクトを）
拡大する等の処理とオブジェクトの両方を省略しても操
作に意味のある場合のみである。

【０１１３】“空白”のジェスチャでは、ペンを下ろし
た点の前の文字と後ろの文字との間に空白文字を挿入す
る。

【０１１４】この“空白”のジェスチャは対象オブジェ
クト別に以下のように動作する。例えば、文字列上に記
入された場合は、ペンを下ろした点の前の文字と後ろの
文字との間に空白文字を挿入する。

【０１１５】“タブ”のジェスチャでは、ペンを下ろし
た点の前の文字と後ろの文字との間にタブ文字を挿入す
る。

【０１１６】この“タブ”のジェスチャは対象オブジェ
クト別に以下のように動作する。例えば、文字列上に記
入された場合は、ペンを下ろした点の前の文字と後ろの
文字との間にタブ文字を挿入する。

【０１１７】“改行”のジェスチャでは、筆跡によって
区切られた部分で文字列を改行する。

【０１１８】この“改行”のジェスチャは、対象オブジ
ェクト別に以下のように動作する。例えば、文字列上に
記入された場合は、筆跡の文字列を横切る部分によって
指定された位置で文字列を改行する。

【０１１９】“接続”のジェスチャでは、筆跡の前後の
文字列オブジェクトを接続する。

【０１２０】この“接続”のジェスチャは対象オブジェ
クト別に以下のように動作する。例えば、文字列の行間
に記入された場合は、前後の行の末尾と先頭を接続する
（改行を削除する）。

【０１２１】“ジェスチャ座標データ切替え”のジェス
チャでは、ジェスチャとして認識された筆跡を座標デー
タに切替える。或いは座標データとして認識された筆跡
をジェスチャとして認識する。

【０１２２】この“ジェスチャ座標データ切替え”のジ
ェスチャは、対象オブジェクト別に以下のように動作す
る。例えば、ジェスチャ上に記入された場合は、ジェス
チャ操作を取り消し、ジェスチャとして解釈された筆跡
を座標データとして入力したものとする。ペン筆跡から
の座標データとして入力されて生成されたオブジェクト
上に当該ジェスチャが記入された場合は、そのオブジェ
クトを削除しそのオブジェクトを生成した座標データを
その形状によるジェスチャとして入力されたものと扱
う。解釈が難しい場合は認識候補一覧を使用者に提示し
て指示を仰ぐ。

【０１２３】一括実行型編集時の動作の変更点におい
て、“取り消し”のジェスチャが他のジェスチャ上に記
入された場合は、下に記されたジェスチャ記述が消去さ
れ、取り消しのジェスチャを一時的に残す（次の入力で
消える) 。または、下に記されたジェスチャに変更取り
消しの印“イキ”が付加される。属性入力ウインドウ，
仮名漢字変換ウインドウ等の一時的に開くウインドウの
場合は、現在までのウインドウ上の入力を全て無効と
し、一時的に開いていたウインドウを閉じ、引出し線を
消去する。それ以外のウインドウの場合は、直前に記入
されたジェスチャ記述が消去され、取り消しのジェスチ
ャを一時的に残す（次の入力で消える）。または、直前
に記入されたジェスチャに変更取り消しの印“イキ”が
付加される。

【０１２４】さらに、一括実行型編集時の動作の変更点
において、“入力終了指示”のジェスチャは、対象とな
るオブジェクトが実行を保留しているジェスチャである
場合は、実行を保留しているジェスチャに対応する処理
を実行する。属性入力ウインドウ，仮名漢字変換ウイン
ドウ等の一時的に開くウインドウの場合は、現在までの
入力を全て有効とし、一時的に開いていたウインドウが
閉じ、実行されるべき操作を引き出し線の先に文字で記
入する（文字併記型ジェスチャとして認識される）。そ
れ以外のウインドウの場合は、編集の一括実行がなされ
る。

【０１２５】本発明実施例では、上述したような各ジェ
スチャを用いて以下のようなことを実現している。

【０１２６】先ず、仮名漢字変換ジェスチャーについて
述べる。

【０１２７】例えば、本実施例の仮名漢字変換する始点
から終点までの範囲と仮名漢字変換の指示とを連続した
筆跡で指定する仮名漢字変換ジェスチャとしては、図７
の(a),(b),(c),(d) 或いは図８の(a),(b),(c),(d) に示
すように滑らかな筆跡の始端側（始点ＳＰ側）或いは終
端側に図中点線部分に１２，１３，１４，１５に示すよ
うな特殊な形状を付加した形状を用いる。なお、図７の
(a) 及び図８の(a) には認識すべき特殊な形状として終
端が左回りの形状を示し、図７の(b) 及び図８の(b) に
は終端が右回りの形状を、図７の(c) 及び図８の(c) に
は始点が右回りの形状を、図７の(d) 及び図８の(d) に
は始点が左回りの形状を示している。

【０１２８】仮名漢字変換を行う場合の手順は、上記ジ
ェスチャに対応する筆跡を認識し、次に、当該筆跡が極
近傍を通過した文字を検索してこの筆跡の通過順に並
べ、その後この筆跡が極近傍を通過した文字列を仮名漢
字変換する。

【０１２９】すなわち、例えば、図９の(a) に示すよう
な“きょうはてんきがいい”という文字列が表示されて
いるとする。この時、本実施例装置の前記スタイラスペ
ン６０により、当該文字列の内の仮名漢字変換を行いた
い文字列（“きょうは”の文字列）近傍に、図９の(b)
に示すような筆跡ＰＭを描く。当該筆跡ＰＭが描かれる
と、本実施例装置は、この筆跡ＰＭが仮名漢字変換ジェ
スチャかどうかを判定し、仮名漢字変換であると判定す
ると、仮名漢字変換機能を呼び出し、当該筆跡ＰＭで指
示される文字列に対して仮名漢字変換を行う。これによ
り、上記図９の(b) に示した文字列は仮名漢字変換さ
れ、図９の(c) に示すように、“今日はてんきがいい”
のように変換が実行される。なお、図９の(d) に示すよ
うに、文字列をつめ、ジェスチャ表示もこれにあわせて
変更するような実現を行ってもよい。

【０１３０】なお、本実施例の仮名漢字変換の手順につ
いては後述のフローチャートにおいて詳述する。

【０１３１】本実施例の仮名漢字変換機能は、図１０の
(a),(b) に示すように、縦書きの文字列に対しても機能
する。すなわち、縦書き，横書きで操作が統一されてい
る。また、図１１の(a),(b) のように特殊なレイアウト
の文字列に対しても、図１１の(a) の図中筆跡ＰＭのよ
うに通常の文字列と同様に指示すれば仮名漢字変換が可
能となっている。

【０１３２】ところで、例えば、図１２の(a) に示す筆
跡ＰＭのように、文字列の繋がりとは異なる向きに筆跡
を描いた場合は、本実施例では、図１２の(a) の文字列
が図１２の(b) に示すように変換されることになる。こ
れに対して、例えば、文字列の方向と筆跡の方向を比較
し、仮名漢字変換の対象とする文字の選び方を工夫する
ことにより、図１２の(c) に示すような変換を行なうよ
うに設定することも当然可能である。また、文字列に対
して図１２の(d) に示すような軌跡ＰＭを書き込んだ場
合には、本実施例では、図１２の(e) のような変換がな
されることになる。この場合も、例えば、文字列の方向
と筆跡の方向を比較する等により、図１２の(f) に示す
ような変換を行なうことが可能である。

【０１３３】なお、上記図９〜図１２の例では、仮名漢
字変換の実行後に変換を指示した筆跡が残っている例を
示しているが、変換結果の表示と共に筆跡を消去するよ
うな実現を行ってもよい。また、図９の(d) のように変
換後の文字列の長さに合わせて筆跡を変形して表示する
ことにより、変換の操作の途中であることを明示するこ
とも可能である。

【０１３４】上述のようなことから、本実施例によれ
ば、素早く仮名漢字変換ができ、縦書きでも横書きでも
同じ操作で仮名漢字変換ができ、また、特殊なレイアウ
トで表示されている文字でも同じ操作で仮名漢字変換が
可能となっている。

【０１３５】図１３には、仮名漢字変換ジェスチャのフ
ローチャートを示す。ただし、このフローチャートで
は、簡単のため終端で左回り形状をとる場合についてを
表している。他の３つの形状についてもほぼ同様な手段
によって判定できる。

【０１３６】この図１３において、ステップＳ１１で
は、前記スタイラスペン６０からの１画の筆跡入力を待
つ。当該ステップＳ１１で筆跡入力がなされると、ステ
ップＳ１２に進む。このステップＳ１２では、上記ステ
ップＳ１１で入力された筆跡の平滑化が行われた後、ス
テップＳ１３に進む。

【０１３７】当該ステップＳ１３では、上記筆跡に自分
自身の筆跡と交差した部分が存在するか否かを判断す
る。ここで、上記筆跡に交差する部分が存在する場合
（Ｙｅｓ）にはステップＳ１４に進み、存在しない場合
（Ｎｏ）には後述するステップＳ１８に進む。

【０１３８】上記ステップＳ１４では、上記筆跡の交差
する部分が１つか否かの判断が行われる。当該ステップ
Ｓ１４で上記交差する部分が１つと判断した場合（Ｙｅ
ｓ）にはステップＳ１５に進み、交差する部分が１つで
ないと判断した場合（Ｎｏ）にはステップＳ１８に進
む。

【０１３９】上記ステップＳ１５では、上記交差点の間
の筆跡は、左周りか否かの判断が行われる。当該ステッ
プＳ１５で上記交差点の間の筆跡が左周りであると判断
した場合（Ｙｅｓ）にはステップＳ１７に進み、左周り
でないと判断した場合（Ｎｏ）は、ステップＳ１８に進
む。

【０１４０】上記ステップＳ１７では、上記筆跡の始点
ＳＰと上記交差した点（交点）の長さが、筆跡の終点Ｅ
Ｐと上記交点との長さよりも長いか否かの判断がなされ
る。当該ステップＳ１７で上記始点ＳＰと交点との長さ
が終点ＥＰと交点との長さよりも長いと判断した場合
（Ｙｅｓ）にはステップＳ１９に進み、上記始点ＳＰと
交点との長さが終点ＥＰと交点との長さよりも長くない
（終点ＥＰと交点との長さの方が始点ＳＰと交点との長
さよりも長い）と判断した場合（Ｎｏ）にはステップＳ
１８に進む。

【０１４１】上記ステップＳ１９では、上記始点ＳＰか
ら上記交点までの軌跡に沿った文字の検索を行う。この
ステップＳ１９の後はステップＳ１１０に進み、当該ス
テップＳ１１０では上記検索した文字に対する仮名漢字
変換の起動（実行）がなされる。このステップＳ１１０
の後はステップＳ１１に戻る。

【０１４２】上記ステップＳ１３〜ステップＳ１７での
各判断においてＮｏと判断された場合の上記ステップＳ
１８では、その他の処理がなされる。すなわち、上記ス
テップＳ１１の筆跡入力は、仮名漢字変換のジェスチャ
ではないため、他のジェスチャ或いは図形，文字等の入
力としてそれらに対応する処理を行う。このステップＳ
１８の後はステップＳ１１に戻る。

【０１４３】次に、本実施例装置における形状の類似し
たジェスチャの区別の機能について述べる。

【０１４４】上記形状の類似したジェスチャの区別を行
う際の手順としては、先ず、入力筆跡の形状認識を行な
う。この認識結果の形状の種類から、その形状に対応す
る機能のリストを作成する。上記リストされた機能の各
々について、入力筆跡の周囲に筆跡の大きさと向きによ
って決定される判定領域を設ける。但し領域の形・大き
さは機能の種類によって異なる。次に、画面上で判定領
域内に存在するデータを検索し、この検索で発見したデ
ータの画面上での向きと大きさを入力筆跡の向きと大き
さと比較する。また、データと入力筆跡の位置関係も適
合するかどうか検査する。この検査とは、操作の対象と
なるデータとして適しているかどうかの検査のことであ
る。データや機能の種類によって検査の手続きを変更す
ることでより正確な検査を行なうことができる。更に、
上記比較及び検査の結果、向きや大きさの関係から適合
するデータがなければ、今調べている種類の機能を上記
リストから除外する。その後、リストされた機能の中
で、上記調べた適合度の得点が最も高いものを入力筆跡
が示す機能として採用する。但し筆跡が、その機能を示
すジェスチャとしては標準から外れた形状だった場合
は、得点を割り引いて評価するような実現も当然可能で
ある。

【０１４５】本実施例では、上記形状の類似したジェス
チャの区別として、例えば、表３の表(3) に示した“範
囲指定”のジェスチャに対応する入力筆跡と、“挿入”
のジェスチャに対応する入力筆跡との区別を行う場合を
例に挙げて説明する。

【０１４６】ここで、例えば、上記“範囲指定”のジェ
スチャの機能を機能Ａとし、上記“挿入”のジェスチャ
の機能を機能Ｂとする。

【０１４７】これら二つのジェスチャは、図１４の(a)
に示すジェスチャＧＥ_A と、図１４の(b) に示すジェス
チャＧＥ_B のように、“範囲指定”と“挿入”として使
用されるが、これらジェスチャＧＥ_A とジェスチャＧＥ
_B は形状だけ見ると非常に類似している。

【０１４８】このようなことから、例えば、図１５の
(a) に示すような文字列が表示されており、この文字列
に対して図１５の(b) に示すような筆跡ＰＭの入力がな
された場合、本実施例では以下に示す図１６のフローチ
ャートのようにして、この入力筆跡が何れのジェスチャ
に対応しているかを判断している。

【０１４９】図１６には、筆跡の形状の類似したジェス
チャの区別を行うためのフローチャートを示す。

【０１５０】この図１６において、ステップＳ２１では
ペン入力或いはキーボード等からの入力待ち状態となっ
ており、当該ステップＳ２１で入力がなされるとステッ
プＳ２２に進む。

【０１５１】当該ステップＳ２２では、上記入力がペン
からの筆跡か否かの判断がなされる。このステップＳ２
２で入力が筆跡であると判断された場合（Ｙｅｓ）はス
テップＳ２４に進み、Ｎｏと判断された場合にはステッ
プＳ２３に進む。当該ステップＳ２３では、上記入力が
筆跡でないため、その入力（例えばキーボード入力）に
対応する処理を行う。このステップＳ２３の後はステッ
プＳ２１に戻る。また、上記ステップＳ２４では上記筆
跡入力の平滑化を行い、その後ステップＳ２５に進む。

【０１５２】当該ステップＳ２５では、上記筆跡入力以
前に入力された筆跡の中に認識が保留されたものが存在
するか否かの判断を行う。このステップＳ２５において
保留された筆跡入力が発見された場合（Ｙｅｓ）はステ
ップＳ２６に進み、無い場合（Ｎｏ）はステップＳ２８
に進む。

【０１５３】上記ステップＳ２８では、上記筆跡入力
（１つの筆跡入力）の認識を行う。例えば、例えば前記
システムＲＯＭ５２等に保持されている形状認識用テー
ブルを使用して上記筆跡入力の認識を行う。具体的に
は、上記筆跡入力の形状と対応する当該形状認識用テー
ブル内の形状番号Ｓｎｏを返すような処理を行う。な
お、当該形状認識用テーブル内に上記筆跡入力に対応す
る形状番号Ｓｎｏが無い場合には、未登録のコード（未
登録を意味する番号）を返す。なお、未登録のコード
は、何れのジェスチャでなく、どのジェスチャの一部で
もない筆跡入力に対して出力される。

【０１５４】上記ステップＳ２８の後は、ステップＳ２
９に進む。このステップＳ２９では、上記形状番号Ｓｎ
ｏが登録されていないものか否かの判断を行う。すなわ
ち、当該ステップＳ２９では上記ステップＳ２８から未
登録のコードが返されてきたか否かの判断がなされ、こ
のステップＳ２９で未登録であると判断した場合（Ｙｅ
ｓ）にはステップＳ２１０に進み、未登録でない（登録
されている）と判断した場合（Ｎｏ）にはステップＳ２
１１に進む。なお、ステップＳ２１０では、上記未登録
の筆跡入力（図形，文字等）に対応する処理を行う。当
該ステップＳ２１０の後はステップＳ２１に戻る。

【０１５５】また、上記ステップＳ２５でＹｅｓと判断
されると上記筆跡入力は１画でないため、ステップＳ２
６では多筆跡の認識が行われる。このステップＳ２６で
も上記ステップＳ２８と同様に、例えばシステムＲＯＭ
５２等に保持されている多筆跡のジェスチャに対応する
形状認識用テーブルを使用して上記多筆跡入力の認識を
行う。このステップＳ２６の後は、ステップＳ２７に進
む。このステップＳ２７では、上記ステップＳ２９同様
に、形状番号Ｓｎｏが登録されていない（未登録）もの
か否かの判断を行い、Ｙｅｓと判断した場合には上記ス
テップＳ２８に進み、Ｎｏと判断した場合にはステップ
Ｓ２１１に進む。

【０１５６】上記ステップＳ２９或いはステップＳ２７
でＮｏと判断されてステップＳ２１１に進むと、当該ス
テップＳ２１１では上記形状番号Ｓｎｏが確定さていな
い（未確定）ものか否かの判断がなされる。このステッ
プＳ２１１で未確定であると判断した場合（Ｙｅｓ）は
ステップＳ２１９に進み、未確定でない（確定されたも
の）と判断した場合（Ｎｏ）はステップＳ２１２に進
む。未確認であるとは、入力筆跡がジェスチャ形状の一
部となりうることを意味する。なお、上記ステップＳ２
１９では、認識保留筆跡に登録した後、上記ステップＳ
２１に戻る。登録された筆跡は、ステップＳ２５でチェ
ックされ、ステップＳ２６で利用される。

【０１５７】上記ステップＳ２１２では、上記システム
ＲＯＭ５２に格納されている上記形状番号Ｓｎｏに対応
する機能リストのテーブルの参照が行われる。その後、
ステップＳ２１３で判定領域の算出が機能リストの各項
目別に行われる。

【０１５８】上記ステップＳ２１３で判定領域の算出が
行われると、ステップＳ２１４で上記判定領域内のデー
タ（画面に表示されている文字や図形等のデータ）の検
索を行う。なお、画面上の指定領域内のデータを発見す
る機構はＣＡＤ等で一般的に利用されているものを使用
する。

【０１５９】このステップＳ２１４の後は、ステップＳ
２１５で上記検索されたデータの向き，大きさ，位置，
種類等の検査を行う。ただし、このステップＳ２１５で
は、向き，大きさ，位置の検査を実行するが、比較の方
法は上記機能Ａと機能Ｂでは異なり、機能の種類によっ
て、別の比較手続きが呼び出される。その後、ステップ
Ｓ２１６で適合するデータを持たない機能を機能リスト
から削除する。このステップＳ２１６の後のステップＳ
２１７では後述するジェスチャ番号Ｇｎｏに上記機能リ
スト中で最も得点の高い機能に対するジェスチャ番号を
与え、次のステップＳ２１８では当該ジェスチャ番号Ｇ
ｎｏに対応するジェスチャに対して通常のジェスチャ処
理を実行する。その後、ステップＳ２１に戻る。ジェス
チャ番号とは、ジェスチャにより決定される機能の全て
に各々を区別できるようにと割り当てた番号のことであ
る。

【０１６０】図１７には上記図１６のフローチャートに
おける機能リスト内の機能Ａの判定領域の算出（ステッ
プＳ２１３）の具体的な処理のフローチャートを示す。

【０１６１】この図１７のフローチャートにおいて、ス
テップＳ２２１では、図１８に示すように、入力筆跡の
始点ＳＰと頂点ａｐと終点ＥＰとで成す角の２等分線
（直線Ｘ）を求め、ステップＳ２２２に進む。上記ステ
ップＳ２２２では、上記頂点ａｐを通り、上記直線Ｘと
４５°の確度をなす図１８の直線２本（直線Ｘ_1A，
Ｘ_2A）を求める。次のステップＳ２２３では、上記始点
ＳＰと終点ＥＰを通る直線と上記直線Ｘとの図１８に示
す交点Ｐを求めた後、ステップＳ２２４に進む。当該ス
テップＳ２２４では、上記直線Ｘ_1AとＸ_2Aとに囲まれた
上記交点Ｐを含む４半平面の図１８に示す領域Ｅ_A を上
記機能Ａの判定領域とする。

【０１６２】図１９には、上記図１６のフローチャート
における機能リスト内の機能Ｂの判定領域の算出（ステ
ップＳ２１３）の具体的な処理のフローチャートを示
す。

【０１６３】この図１９のフローチャートにおいて、ス
テップＳ２３１では、図２０に示すように、入力筆跡の
始点ＳＰと頂点ａｐと終点ＥＰとで成す角の２等分線
（直線Ｘ）を求め、ステップＳ２３２に進む。このステ
ップＳ２３２では、図２０に示すように、上記頂点ａｐ
を通り上記直線Ｘと直交する直線Ｙを求める。次のステ
ップＳ２３３では入力筆跡の長さＬを取得し、ステップ
Ｓ２３４では上記始点ＳＰと終点ＥＰとを通る直線と上
記直線Ｘとの図２０に示す交点Ｐを求めた後、ステップ
Ｓ２３５に進む。当該ステップＳ２３５では、図２０に
示すように、直線Ｘを上記直線Ｙに沿って上記長さＬの
ａ倍（ａ・Ｌ）だけ平行移動した２本の直線Ｘ_1B，Ｘ_2B
を求める。次のステップＳ２３６では図２０に示すよう
に上記直線Ｙを直線Ｘに沿って上記交点Ｐの逆側に上記
長さＬのｂ倍（ｂ・Ｌ）だけ平行移動した直線Ｙ₁ を求
め、ステップＳ２３７では図２０に示すように上記直線
Ｙを上記直線Ｘに沿って上記交点Ｐ側に上記長さＬのｃ
倍（ｃ・Ｌ）だけ移動した直線Ｙ₂ を求める。その後、
ステップＳ２３８では、上記直線Ｘ_1B，Ｘ_2B，Ｙ₁ ，Ｙ
₂ に囲まれた閉領域を操作Ｂの判定領域Ｅ_B とする。
ａ，ｂ，ｃの値は、上記図１のＲＯＭ５２等に予め保持
しておく。

【０１６４】図２１には、上記図１６のフローチャート
における例えば上記機能Ｂについての向き，大きさ，位
置の検査（ステップＳ２１５）の具体的な処理のフロー
チャートを示す。

【０１６５】この図２１において、ステップＳ２４１で
は先に求めた判定領域Ｅ_B 内のデータのうちの例えば最
初に発見されたデータをＤとする。ステップＳ２４２で
はこのデータＤに対して例えば１００点の得点を与える
とする。ステップＳ２４３では、上記データＤが例えば
文章のデータか否かの判断がなされ、文章のデータであ
ると判断した場合（Ｙｅｓ）にはステップＳ２４４に進
み、文章のデータでないと判断した場合（Ｎｏ）には後
述するステップＳ２４９に進む。

【０１６６】上記ステップＳ２４３で上記データＤが文
字のデータであると判断されてステップＳ２４４に進む
と、当該ステップＳ２４４では上記データＤを含む１行
分の文字列を取得し、次にステップＳ２４５で上記取得
した文字列の文字送り方向と、前記図１９のフローチャ
ートのステップＳ２３２で求めた直線Ｙとの成す角Ｒを
求める。なお、この角Ｒの角度は−９０°＜Ｒ≦９０°
である。

【０１６７】次に、ステップＳ２４６では上記角Ｒの絶
対値が角度３０°より大きいか否かの判断が行われる。
当該ステップＳ２４６で角Ｒの絶対値が角度３０°より
大きいと判断した場合（Ｙｅｓ）はステップＳ２４９に
進み、小さいと判断した場合（Ｎｏ）はステップＳ２４
７に進む。

【０１６８】当該ステップＳ２４７では上記角Ｒの絶対
値が角度１０°以下であるか否かの判断が行われる。当
該ステップＳ２４７で上記角Ｒの絶対値が角度１０°以
下であると判断された場合（Ｙｅｓ）は後述するステッ
プＳ２５２に進み、上記角Ｒの絶対値が角度１０°より
大きいと判断された場合（Ｎｏ）はステップＳ２４８に
進む。

【０１６９】当該ステップＳ２４８では上記角Ｒの絶対
値が角度２０°以下であるか否かの判断が行われる。当
該ステップＳ２４８で上記角Ｒの絶対値が角度２０°以
下であると判断された場合（Ｙｅｓ）はステップＳ２５
１に進み、上記角Ｒの絶対値が角度２０°より大きいと
判断された場合（Ｎｏ）はステップＳ２５０に進む。

【０１７０】上記ステップＳ２５０では上記データＤの
得点を４０点とし、ステップＳ２５１では上記データＤ
の得点を７０点とした後、ステップＳ２５２に進む。

【０１７１】上記ステップＳ２５０，Ｓ２５１の後或い
は上記ステップＳ２４７でＹｅｓと判断されてステップ
Ｓ２５２に進むと、当該ステップＳ２５２では前記直線
Ｙが文字列の外形４角形と交わるか否かの判断が行われ
る。このステップＳ２５２で交わると判断した場合（Ｙ
ｅｓ）には後述するステップＳ２５５に進み、交わらな
いと判断した場合（Ｎｏ）にはステップＳ２５３に進
む。

【０１７２】ステップＳ２５３では、上記外形４角形が
直線Ｙの交点Ｐ側か否かの判断を行う。このステップＳ
２５３で外形４角形が上記直線Ｙの交点Ｐ側と判断した
場合（Ｙｅｓ）にはステップＳ２５４に進み、直線Ｙの
交点Ｐ側でないと判断した場合（Ｎｏ）にはステップＳ
２５５に進む。

【０１７３】上記ステップＳ２５４では、上記データＤ
の得点から４０点を減点する処理が行われた後、ステッ
プＳ２５５に進む。

【０１７４】ここで、前記ステップＳ２４３でデータＤ
が文字のデータで無いと判断された場合（Ｎｏ）、或い
は、ステップＳ２４６で角Ｒの絶対値が３０°より大き
いと判断した場合（Ｙｅｓ）のステップＳ２４９では、
上記データＤの得点を０点とする。このステップＳ２４
９の後は、上記ステップＳ２５５に進む。

【０１７５】上記ステップＳ２５５では、次のデータが
有るか否かの判断を行う。このステップＳ２５５で次の
データが有ると判断した場合（Ｙｅｓ）はステップＳ２
５６に進み、当該ステップＳ２５６で上記次のデータを
Ｄとした後前記ステップＳ２４２に戻る。また、上記ス
テップＳ２５５で次のデータが無いと判断した場合（Ｎ
ｏ）は処理を終了する。

【０１７６】すなわち、前述の図１５の例において、例
えば、図２２の(a) に示すように図中筆跡ＰＭに対応す
る機能Ａについての判定領域Ｅ_A 内には文字のデータが
無く、図２２の(b) に示すように図中筆跡ＰＭに対応す
る機能Ｂについての判定領域Ｅ_B 内には２文字のデータ
（“気”と“良”）が存在することが判る。

【０１７７】このことから、上記機能Ａについては判定
領域Ｅ_A 内にデータがなかったので、適合データ無しと
なり、機能Ｂでは上記図２１のフローチャートのステッ
プＳ２４１〜ステップＳ２５６に示す方法で検査が行わ
れる。本実施例では、図２２の(b) の“今日は天気良
い”という文字列が上記操作Ｂの操作対象として適合し
ているという結果がでる。なお、検査の結果、向きや大
きさの関係が適合するデータは機能Ｂだけが持っている
ので、上記機能Ａは機能リストから削除される。

【０１７８】上述したようなことから、本実施例によれ
ば、ジェスチャの認識精度が向上し、画面上のデータ配
置に応じて１つの形状を別々のジェスチャとして取り扱
うことが可能になる。また、回転角を変えて形状を描く
ことで区別していた複数のジェスチャを上述の方法で区
別すれば、画面上のデータに応じた自由な角度でジェス
チャを描き込めるようになる。特に全てのジェスチャを
このように扱えば、どの向きからでもジェスチャを描き
込めるような操作体系を実現できる。

【０１７９】なお、上記判定領域の計算法は、上述した
例に限られるものではない。本実施例は、ジェスチャ機
能の種類別に異なった判定領域を設け、ジェスチャの筆
跡の方向，大きさ，特徴点の位置に応じて判定領域の形
を算出する（変化させる）という判定領域の計算方法の
一例を挙げているが、この考え方に基づきながら、別の
計算法により判定領域を算出することも可能である。

【０１８０】次に、ジェスチャを通常座標データに変換
する変換ジェスチャについて説明する。

【０１８１】ジェスチャを通常座標データに変換する手
順としては、先ず、ジェスチャから通常座標データへの
変換ジェスチャを認識する。次に、この変換ジェスチャ
が、あるジェスチャの上に描き込まれたジェスチャであ
ることを判定する（筆跡の下にあるジェスチャを例えば
ジェスチャＡとする）。その後、このジェスチャＡによ
って実行された処理を取り消し、ジェスチャＡを入力し
た際の筆跡を単なる座標データとして処理し直す。

【０１８２】本実施例では、上記変換ジェスチャとし
て、図２３に示す筆跡ＰＭのような形状のジェスチャを
用いるようにしている。また、ここでは、ジェスチャを
通常座標データに変換する場合の当該変換されるジェス
チャとしては、例えば、図２４に示すような画面上のデ
ータ（この図２４の例では文字データ）を丸く囲う軌跡
ＰＭを例に挙げている。

【０１８３】例えば、図２５の(a) に示すような長方形
の図形データが画面上に表示されているとする。この場
合において、使用者が、例えばこの長方形の図形を囲む
ような自由曲線を入力しようと思い、図２５の(b) に示
すような筆跡ＰＭを入力したとする。この時、コンピュ
ータは上記図２５の(b) の筆跡ＰＭを上記長方形の図形
データに対する選択のジェスチャであると認識し、当該
長方形の図形データを選択状態にしてしまったような場
合、次のようなことを行う。

【０１８４】すなわち、図２５の(b) のように、選択さ
れたデータとジェスチャ筆跡が表示されている場合に、
使用者は、図２５の(c) のように上記変換ジェスチャの
筆跡ＰＭ_N を入力する。この時、本実施例装置は、上記
２５の(b) の筆跡ＰＭに対応するジェスチャの操作の取
り消しを実行し、これにより、上記長方形の図形データ
の選択状態を解除する。次に、本実施例装置は、上記図
２５の(c) の筆跡ＰＭ_o を、座標データ入力として再登
録する。この結果、画面上には、図２５の(c)の筆跡Ｐ
Ｍ_o のような自由曲線のデータが追加表示される。な
お、この図２５の(c) には、上記変換ジェスチャの筆跡
ＰＭ_N もそのまま同時に表示されている例を示している
が、上記ジェスチャを座標データに変換した後には、こ
の筆跡ＰＭ_N を消去する処理を付け加えるようにしても
よい。

【０１８５】また、上述の例では、ジェスチャを通常座
標データに変換する場合を例に挙げているが、本実施例
装置は、その逆、すなわち通常座標データとして認識さ
れたものをジェスチャに変換することも可能である。

【０１８６】この場合の手順としては、先ず、通常座標
データからジェスチャへの変換ジェスチャを認識する。
次に、筆跡入力によって生成されたデータの上に描き込
まれたジェスチャであることを判定する（ジェスチャの
下にあるデータを入力した際の筆跡データを筆跡Ａとす
る）。この筆跡Ａによって生成されたデータを削除し、
筆跡Ａをジェスチャとして認識し直す。

【０１８７】例えば、上述した図２５を例に挙げて説明
すると、図２５の(a) に示すような例えば長方形の図形
データが画面上に表示されている場合において、例えば
この長方形の図形を囲むような図２５の(b) に示すよう
な筆跡ＰＭを入力したとし、コンピュータが当該図２５
の(b) の筆跡ＰＭを自由曲線の座標データであると認識
したとする。

【０１８８】この場合、使用者は、上述同様に、図２５
の(c) のように上記変換ジェスチャの筆跡ＰＭ_N を入力
する。この時、本実施例装置は、上記図２５の(b) の筆
跡ＰＭに対応する自由曲線の通常座標データの取り消し
を実行し、次に上記図２５の(c) の筆跡ＰＭ_o を例えば
選択のジェスチャ入力として再登録する。この結果、上
記画面上の長方形の図形データが選択状態となされる。

【０１８９】なお、上述したジェスチャを通常座標デー
タに変換する変換ジェスチャと、通常座標データをジェ
スチャに変換する変換ジェスチャとを組み合わせて両方
とも同一の形状を持つジェスチャとしておき、下にジェ
スチャがあれば当該ジェスチャを通常座標データに変換
する動作とし、逆に、下に通常座標データがあれば当該
通常座標データをジェスチャに変換する動作とするよう
に、切替えて使用するようなことが可能である。

【０１９０】上述のようなことから、従来ならば操作の
取り消しや再度の筆跡の入力という２つの入力が必要だ
ったのが、本実施例により１度の入力で訂正ができるよ
うになる。また、従来ならば筆跡が入力された逆順にし
か入力を取り消せないが、本発明により画面上にジェス
チャの筆跡表示が残っている間ならば、任意の筆跡を通
常データに変換することができる。更に、本実施例によ
れば、画面上にデータの表示が残っている間ならば、任
意の筆跡をジェスチャに変換することができるようにな
る。

【０１９１】図２６には、上述したジェスチャから通常
座標データへの変換、或いは通常座標データからジェス
チャへの変換の上記変換ジェスチャの処理のフローチャ
ートを示す。

【０１９２】この図２６において、ステップＳ３２で１
画の筆跡入力を待ち、１画の筆跡入力があると、ステッ
プＳ３３で当該入力筆跡の平滑化を行う。

【０１９３】次のステップＳ３４では、上記入力筆跡の
形状が、上記図２３に示したような変換ジェスチャに対
応する形状であるか否かの判断が行われる。このステッ
プＳ３４で入力形状が変換ジェスチャに対応する形状で
あると判断した場合（Ｙｅｓ）はステップＳ３６に進
み、変換ジェスチャに対応する形状でないと判断した場
合（Ｎｏ）はステップＳ３５に進む。このステップＳ３
５では、上記入力筆跡が他のジェスチャ或いは文字，図
形である場合にはそれらに対応する処理を行う。

【０１９４】上記ステップＳ３４でＹｅｓと判断した場
合のステップＳ３６では、上記入力筆跡の下にジェスチ
ャが有るか否かの判断を行う。当該ステップＳ３４で入
力筆跡下にジェスチャが有ると判断した場合（Ｙｅｓ）
にはステップＳ３８に進み、無いと判断した場合（Ｎ
ｏ）にはステップＳ３７に進む。

【０１９５】上記ステップＳ３６でＹｅｓと判断される
と、ステップＳ３８で上記入力筆跡下のジェスチャによ
り先に実行された処理を取り消す処理を行った後、ステ
ップＳ３１０で上記入力筆跡下のジェスチャの筆跡を通
常の座標入力として再登録を行う。このステップＳ３１
０の後はステップＳ３２に戻る。

【０１９６】また、上記ステップＳ３６でＮｏと判断さ
れた場合のステップＳ３７では上記入力筆跡の下にデー
タ（文字，図形等のデータ）が有るか否かの判断が行わ
れる。当該ステップＳ３７で入力筆跡下にデータが有る
と判断した場合（Ｙｅｓ）にはステップＳ３９に進み、
無いと判断した場合（Ｎｏ）にはステップＳ３２に戻
る。

【０１９７】上記ステップＳ３９では、上記入力筆跡下
のデータがペンで描いたデータか否かの判断を行う。当
該ステップＳ３９で上記入力筆跡下のデータがペンで描
いたデータであると判断した場合（Ｙｅｓ）にはステッ
プＳ３１１に進み、ペンで描いたデータでないと判断し
た場合（Ｎｏ）にはステップＳ３２に戻る。

【０１９８】上記ステップＳ３１１では上記入力筆跡下
のデータを削除し、その後、ステップＳ３１２では上記
入力筆跡下のデータの筆跡をジェスチャとして再登録す
る。このステップＳ３１２の後はステップＳ３２に戻
る。

【０１９９】また、本実施例における引き出し線のジェ
スチャの手順は、以下のようにする。

【０２００】先ず、一連の操作により座標点を二つ取得
する。例えば、タブレット上の２つの点を順番にペンで
叩くことで２つの座標点を入力する。この場合、他の操
作と紛らわしい場合は本操作だけを受け付けるように予
めボタン等で動作を切り換えればよい。また、例えば１
筆跡の始点と終点を２つの座標点とみなして取得する。
この場合、他の操作と紛らわしい場合は形状認識機構を
利用して筆跡の途中部分の特別な形状を認識してそれを
契機に本発明の操作に移ればよい。本操作だけを受け付
けるようにあらかじめボタン等で動作を切り換えておく
ようにしてもよい。

【０２０１】次に、画面上で始めに入力された点の下に
あるデータを処理対象として設定する。例えば、１筆跡
で入力された場合は始点の座標の下を検査し、その下に
アイコンがあればアイコンを処理対象として設定する。
また、下に文字列があれば、始点に最も近い１文字を処
理対象として設定する。既に選択操作が行なわれてい
て、選択対象となっているデータが下にあれば、選択操
作で選択されていた全てのデータを処理対象とする。

【０２０２】さらに、画面上で後から入力された点の位
置を、処理対象としたデータに関する情報の表示，入力
場所とする。例えば１筆跡で操作が入力された場合は終
点の座標を表示，入力場所として設定し、ウィンドウシ
ステムがあれば、情報を表示するウィンドウをその座標
に開けばよい。なお、枠が見えないウィンドウを開いて
もよい。または四角い領域を終点の座標付近に設定し、
画面に外枠を描いてもよい。なお、枠を描かない場合も
考えられる。

【０２０３】また、指定場所に表示される情報の種類・
表示形式を操作対象のデータの種類によって切り換える
ことも可能である。ここで、指定場所から情報を入力す
る方法としては、メニューの選択や、データとなる数値
や文字列入力等が考えられるが、その他にも機能を略号
化した文字列の入力（例えば文字列に対する引き出し線
の機能文字列入力位置に“トルツメ”という文字列を入
力した場合には文字列を削除し空白を詰める処理を行な
う）を受け付けることも可能である。

【０２０４】さらに、入力された情報を入力後も続けて
画面上に残しておくために、入力された情報を略号化さ
れた文字列または記号に変換し、入力完了後に引き出し
線の筆跡の先端に表示し、引き出し線の筆跡とともに表
示を保持し続けることもできる。この場合、情報表示部
分に例えば“画面に表示を残して終了”というボタンを
付けておくか、略号で情報を表示して残しておくモード
を予め設定しておけばよい。

【０２０５】ここで、形状認識機構を用いて本発明を実
施する場合、筆跡の始点と終点を任意の位置に持ってゆ
けなければならない。また、本実施例では上記条件を満
たすように引き出し線ジェスチャの形状を、図２７の
(a) 或いは(b) に示すような形状としている。例えば、
図２７の(a) に示すこのジェスチャの形状を用いること
で、筆跡ＰＭの始点ＳＰと終点ＥＰを任意の位置に持っ
てきても筆跡ＰＭの途中の図中点線で囲む特徴形状２５
２のような折り返し部分だけで充分他のジェスチャ形状
と区別できる。また、図２７の(b) に示すジェスチャの
形状も、筆跡ＰＭの途中の図中点線で囲む特徴形状２５
４のようなループ部分だけで充分他のジェスチャー形状
と区別できる。従って、任意の位置から任意の方向に引
き出し線を描いても充分認識は可能となる。

【０２０６】本実施例では、上述した図２７の(a) 或い
は(b) に示すような形状を引き出し線ジェスチャとして
おり、既存の形状認識機構を活用して任意の位置，方
向，大きさで描かれた引き出し線を認識するようにして
いる。

【０２０７】また、本実施例装置には、例えばキーボー
ド上に“引き出し線モード”，“引き出し線モード解
除”という２つのボタンを用意している。ただし、これ
は説明を簡潔に行なうために利用するものであり、本発
明を実施する際に省略可能であることは当然である。さ
らに、本実施例装置では既存のウィンドウシステムを利
用するものとしている。

【０２０８】ここで、例えば、画面上に図２８の(a) に
示すような文字列が表示されているとする。本実施例で
は、上記文字列中の数字の部分を例えばゴシック体の文
字に変えるための操作を実行する場合を例に挙げる。こ
の場合、本実施例装置において、例えば、上記“引き出
し線モード”のボタンを押し、更に図２８の(b) に示す
ようにな軌跡ＰＭを入力する。この時、例えばワークＲ
ＡＭ５５に座標１として始点ＳＰの位置が、座標２とし
て終点ＥＰの位置が保存される。その後、座標１の下に
ある数字を操作対象として選択する。なお、座標の位置
から、その位置にあるデータを検索するには既存の機構
を利用する。

【０２０９】例えば、発見されたデータが文字である
と、表７の表(7) に示す対応表を用いて、文字に対して
使用するメニュー項目を選び出す。この表(7) の対応表
を利用する以外にも可能な操作を選びだしリストに登録
していく等の方法も当然考えられる。

【０２１０】

【表７】

【０２１１】次に、メニューのデータ表示部分に選択さ
れた文字の現在の属性をセットする。例えば、文字サイ
ズ＝９ポイント，文字種＝明朝，文字色＝黒のようにセ
ットする。

【０２１２】次に、上記座標２の位置にメニュー用のウ
インドウを表示し、内部に上記選択したメニュー項目と
設定した現在の属性を表示する。この表示される画面は
図２８の(c) に示すウインドウ２９３のようになる。こ
のメニューウインドウ２９３において、上記表(7) の対
応表に出ている項目を先頭から幾つか表示し、溢れた部
分はその他の操作を押した時に操作できるようにする。
なお、本実施例装置には、メニューを終了することがで
きるように取消ボタン，終了ボタン、表示を残して終了
ボタンの３つを用意してある。また、メニューの表示，
各項目のデータ入力・終了ボタンの判定には既存のウィ
ンドウシステムの機構を利用している。

【０２１３】次に、例えば、上記メニューウインドウ２
９３に示されるメニュー中の項目２９４で示される“ゴ
チック”のボタンをペンで押す。これにより、メニュー
中の項目２９６で示される領域にゴチックと表示される
（ウィンドウシステムが自動的に処理する）。ここで、
項目２９５で示される“表示を残して終了”のボタンを
ペンで押すと入力が完了する。ウィンドウシステムはメ
ニューのウィンドウを消去する。なお、項目２９４の
“ゴチック”のボタンを押す代わりに項目２９６で示さ
れる領域にキーボード入力や手書き文字入力を利用して
ゴチックという文字列を直接入力することも可能であ
る。その際、ゴチック→ゴチ等の略語や、ゴチック→ゴ
シック等の別名の入力を許すことも当然考えられる。

【０２１４】その後、ウィンドウシステムからの情報を
参照すると終了条件は“表示を残して終了”なので、入
力された変更指示を有効にする。ウィンドウシステムの
情報から指示を抜き出し処理対象となっているデータに
設定する。これにより、図２８の(d) に示すように、数
字の部分だけ文字がゴチック体に変化する。このとき、
終了条件が上記“表示を残して終了”なので引き出し線
のジェスチャの筆跡は残される。例えば、“終了”を選
べばジェスチャ筆跡が消される。

【０２１５】さらに、設定に使用した文字列を座標２の
位置に表示する。これにより、図２８の(d) に示す“ゴ
チック”の文字が表示される。これにより、画面上でゴ
チックフォントが使用できない装置においてもどのよう
な操作が実行されたかが一目で理解できる。特に一括実
行型編集では、その場でフォントが切り替わらないので
非常に便利な機能である。なお、この表示をＯＮ・ＯＦ
Ｆできる仕組みを付け加えることは当然考えられる。ま
た、この表示を見やすくするために文字列の表示位置を
修正することは当然考えられる。更に、文字列で指定さ
れなかった操作も文字列に変換して表示することもで
き、文字列を略号に変換して（例えばゴチック→ゴチ）
表示することも可能である。その他、幾つかの指定を行
なった場合は文字列を列記すれば良いのは当然である。

【０２１６】なお、本実施例の変形として、座標２の先
に開くウィンドウを図２９の点線３２６で示す透明なウ
ィンドウとし、ウィンドウ内を全面手書き文字認識領域
とすることも可能である。さらに図２９に示すような後
述する入力終了指示のジェスチャＧＥ₃₂₅ をウィンドウ
内で有効にすると、手書き文字入力による各種機能の利
用が可能となる。この図２９には、上記図２７の(a) の
形状のジェスチャＧＥ₃₂₂ を用いている。

【０２１７】上述したようなことから、本実施例によれ
ば、データに対する詳細な情報の設定が便利になり、デ
ータに対して設定されている属性などの参照が簡単にな
り、属性等の情報のうち画面上で表現しにくいものを表
示する方法を提供することができる。また、一括実行型
編集時に、入力した指示を一目で確認できるようにな
る。

【０２１８】図３０には、上述した引き出し線ジェスチ
ャにおける具体的な処理のフローチャートを示す。

【０２１９】この図３０において、ステップＳ５１では
入力を待ち、入力が有るとステップＳ５２では当該入力
が筆跡か否かの判断を行う。当該ステップＳ５２で上記
入力が筆跡であると判断した場合（Ｙｅｓ）には後述す
るステップＳ５３に進み、筆跡でないと判断した場合に
はステップＳ５７に進む。

【０２２０】当該ステップＳ５７では上記入力が「引き
出し線モード」ボタンか否かの判断を行い、引き出し線
モードであると判断した場合（Ｙｅｓ）にはステップＳ
５８に進み、当該ステップＳ５８で引き出し線モードを
示すフラグＨｆｌａｇに“１”を立ててステップＳ５１
に戻る。また、上記ステップＳ５７で入力が「引き出し
線モード」ボタンでないと判断した場合（Ｎｏ）にはス
テップＳ５９に進む。

【０２２１】このステップＳ５９では、上記入力が「引
き出し線モード解除」ボタンを示すものであるか否かの
判断を行い、引き出し線モード解除と判断した場合（Ｙ
ｅｓ）にはステップＳ５１０に進み、当該ステップＳ５
１０で引き出し線モードを示すフラグＨｆｌａｇに
“０”（すなわち引き出し線モード解除を示すフラグ）
を立ててステップＳ５１に戻る。上記ステップＳ５９で
「引き出し線モード解除」ボタンでないと判断した場合
には、ステップＳ５１１で例えばキー入力などによる上
記入力に対応する処理を行った後、上記ステップＳ５１
に戻る。

【０２２２】一方、上記ステップＳ５２で入力が筆跡で
あると判断（Ｙｅｓ）してステップＳ５３に進むと、こ
のステップＳ５３では上記引き出し線モードを示すフラ
グＨｆｌａｇが“０”（引き出し線モード解除を示すフ
ラグ）となっているか否かの判断を行う。このステップ
Ｓ５３で上記フラグＨｆｌａｇが“０”であると判断し
た場合（Ｙｅｓ）にはステップＳ５４に進み、“０”で
ない（“１”）と判断した場合（Ｎｏ）には後述するス
テップＳ５２０に進む。

【０２２３】上記ステップＳ５３でＹｅｓと判断すると
上記ステップＳ５４で上記入力の筆跡の形状の認識を行
った後ステップＳ５５に進む。

【０２２４】上記ステップＳ５５では、上記入力筆跡が
引き出し線の形状であるか否かの判断を行い、引き出し
線の形状であると判断した場合（Ｙｅｓ）にはステップ
Ｓ５２０に進み、引き出し線の形状でないと判断した場
合（Ｎｏ）にはステップＳ５６に進む。当該ステップＳ
５６では入力筆跡（他のジェスチャ，文字，図形等）に
対応する処理を行った後、ステップＳ５１に戻る。

【０２２５】ステップＳ５３でＮｏと判断した場合、或
いはステップＳ５５でＹｅｓと判断すると、ステップＳ
５２０で上記入力筆跡の始点ＳＰの座標を座標１とし、
ステップＳ５２１で入力筆跡の終点ＥＰの座標を座標２
とする。上記ステップＳ５２１の後はステップＳ５２２
に進む。

【０２２６】上記ステップＳ５２２では上記座標１近傍
のデータの検索を行った後ステップＳ５２３に進む。こ
のステップＳ５２３では例えば前述のシステムＲＯＭ５
２等に保持されているメニュー項目テーブルの中から上
記ステップＳ５２２の検索で発見したデータに応じたも
のを選択する。

【０２２７】上記ステップＳ５２３の後は、ステップＳ
５２４に進み当該ステップＳ５２４で現在データに設定
されている値を表示欄に登録し、次にステップＳ５２５
で上記座標２の位置にメニューを表示すると共にデータ
の入力を行う。

【０２２８】次に、ステップＳ５２６では、上記メニュ
ーから入力されたデータを取得し、ステップＳ５２７に
進む。当該ステップＳ５２７では、上記メニューの中か
ら例えば取消の操作が取得されて終了となされたか否か
の判断を行い、取消の操作が取得されて終了したとと判
断した場合（Ｙｅｓ）にはステップＳ５３１に進む。ま
た、当該ステップＳ５２７で取消の操作が取得されずに
終了したと判断した場合（Ｎｏ）には、ステップＳ５２
８に進む。

【０２２９】上記ステップＳ５２８では入力された操作
（メニューで取得した操作）を実行した後ステップＳ５
２９に進む。

【０２３０】ステップＳ５２９では、上記メニューで取
得した操作が終了の操作となって終了となされたか否か
の判断が行われる。当該ステップＳ５２９で終了の操作
が取得されて終了となったと判断した場合（Ｙｅｓ）に
はステップＳ５３１に進み、終了の操作が取得されずに
終了したと判断した場合（Ｎｏ）にはステップＳ５３０
に進む。

【０２３１】上記ステップＳ５３０では入力された機能
を表す文字列を上記座標２から表示する処理を行い、上
記ステップＳ５３１では引き出し線の筆跡を消去する。
これらステップＳ５３０，Ｓ５３１の後はステップＳ５
１に戻る。

【０２３２】次に、入力終了指示ジェスチャについて説
明する。

【０２３３】上記入力終了指示ジェスチャの処理の手順
として、先ず、入力終了指示のジェスチャを認識する。
このとき、ジェスチャが描き込まれたウィンドウ上で、
入力／選択されたがまだ処理されていないデータ、或い
は入力されたがまだ操作が実行されていないジェスチャ
を検索する。ここで、発見されたものがデータだった場
合は、発見したデータ（群）については全て入力は完了
したとみなし、そのデータの処理を行う。実行すべき処
理が指定されていなかった場合に、過去に実行された処
理のうち発見したデータに対して実行可能な最も最近の
処理を実行することも可能である。また、発見されたの
がジェスチャだった場合は、発見したジェスチャ（群）
についてはひとつひとつ対応する処理を実行する。何も
発見されなかった場合は、何もしなくてもよいが、直前
に行なった処理を直前のデータに対してもう１度実行す
るようなことも可能である。もう１度実行することが不
可能ならば無視すればよい。

【０２３４】以下、具体的に説明する。表示画面上に
は、図３１の(a) に示す様な文字列が表示されていると
する。ここで、引き出し線ジェスチャＧＥ₃₃₁ を用いて
“１”の数字をゴチック書体にしたとする。このゴチッ
ク書体化処理は、処理内容登録リストに登録しておく。
次に、ジェスチャＧＥ₃₃₅ により“２”と“３”の２文
字を選択状態とする。

【０２３５】ここで、図３１の(a) のジェスチャＧＥ
₃₃₆ に示すような筆跡を入力したとき、入力された筆跡
は、入力終了指示ジェスチャと判定される。このとき、
選択状態のデータがあれば、選択状態データに対して施
すことが可能な最新の処理を選択状態データに対して実
行する。なお、選択状態のデータが存在しない時には未
処理のジェスチャの存在を判定し、存在する時には、発
見したジェスチャ（１つ以上）について、例えば、入力
時系列順に実行する。また、未処理ジェスチャーが存在
しない時は、何も実行しない。

【０２３６】次に、処理が終了した段階の表示画面に
は、図３１の(b) に示すような数字がゴチック書体とな
された表示が行なわれる。なお、この場合、ジェスチャ
の筆跡を消去する機構を加えることも可能である。

【０２３７】上述したようなことから、本実施例によれ
ば、入力終了指示ジェスチャを文字列を入力する入力枠
において文字列入力の終了を示すジェスチャとして利用
でき、また、幾つもの選択枝を選べるメニューにおいて
選択の終了を示すジェスチャとして利用できる。更に、
対象を指定しておき、直前の処理をもう一度実行するジ
ェスチャとして利用できる。その他、一括実行型の編集
に対して編集実行を指示するジェスチャとして利用でき
る。上記のように、入力終了指示ジェスチャは同一形状
のジェスチャにもかかわらず様々な異なった処理を起動
させる。

【０２３８】図３２には上述した入力終了指示ジェスチ
ャの具体的動作のフローチャートを示す。

【０２３９】この図３２において、ステップＳ６０１で
１画の入力を待ち、１画の入力がなされると、ステップ
Ｓ６０２では入力画の筆跡の形状の認識を行う。次のス
テップＳ６０２１では上記形状認識の結果、上記入力筆
跡が選択ジェスチャか否かの判断を行う。当該ステップ
Ｓ６０２１で入力筆跡が選択ジェスチャであると判断し
た場合（Ｙｅｓ）にはステップＳ６１０に進み、入力筆
跡が選択ジェスチャでないと判断した場合（Ｎｏ）には
ステップＳ６０２２に進む。当該ステップＳ６０２２で
は上記形状認識の結果、上記入力筆跡が引き出し線ジェ
スチャか否かの判断を行う。当該ステップＳ６０２２で
入力筆跡が引き出し線ジェスチャであると判断した場合
（Ｙｅｓ）にはステップＳ６０６に進み、入力筆跡が引
き出し線ジェスチャでないと判断した場合（Ｎｏ）には
ステップＳ６０２３に進む。当該ステップＳ６０２３で
は上記形状認識の結果、上記筆跡入力が入力終了指示ジ
ェスチャか否かの判断を行う。当該ステップＳ６０２３
で入力筆跡が入力終了指示ジェスチャであると判断した
場合（Ｙｅｓ）にはステップＳ６０３に進み、入力筆跡
が入力終了指示ジェスチャでないと判断した場合（Ｎ
ｏ）にはステップＳ６０２４に進み、その他の処理がな
される。すなわち、上記ステップＳ６０１の筆跡入力
は、選択ジェスチャ，引き出し線ジェスチャ，入力終了
指示ジェスチャのいずれでもないため、他のジェスチャ
或いは図形，文字等の入力としてそれらに対応する処理
を行う。このステップＳ６０２４の後はステップＳ６０
１に戻る。

【０２４０】ここで、上記ステップＳ６０２で選択ジェ
スチャであると判断されると、上記ステップＳ６１０で
は選択ジェスチャが囲む領域の文字を選択状態としてス
テップＳ６０１に戻る。

【０２４１】上記ステップＳ６０２で引き出し線ジェス
チャであると判断した場合には、ステップＳ６０６で文
字入力を待つ。このステップＳ６０６で文字入力が有る
と、ステップＳ６０７では文字入力が終了したか否かの
判断を行う。このステップＳ６０７で文字入力が終了し
ていないと判断した場合（Ｎｏ）はステップＳ６０６に
戻り、文字入力が終了したと判断した場合（Ｙｅｓ）に
はステップＳ６０８に進む。

【０２４２】当該ステップＳ６０８では入力内容に対応
する処理が実行（例えばゴチック化）され、その後、ス
テップＳ６０９で処理の名称が処理名保存テーブルに登
録される（例えば処理名称は「選択された文字列のゴチ
ック」化）。当該ステップＳ６０９の後はステップＳ６
０１に戻る。

【０２４３】また、上記ステップＳ６０２で入力終了指
示ジェスチャであると判断されると、上記ステップＳ６
０３では選択状態のデータが存在するか否かの判断を行
い、存在すると判断した場合（Ｙｅｓ）にはステップＳ
６０４に進み、存在しないと判断した場合（Ｎｏ）には
ステップＳ６１１に進む。

【０２４４】上記ステップＳ６０４ではステップＳ６０
９で登録した処理名称の中で選択状態のデータに対して
実行可能な最近の処理を実行した後、ステップＳ６０１
に戻る。ステップＳ６１１では、未処理のジェスチャが
存在するか否かの判断を行い、未処理のジェスチャが存
在すると判断した場合（Ｙｅｓ）にはステップＳ６１２
で発見した１以上のジェスチャについて例えば入力時系
列順に実行する処理を行った後ステップＳ６０１に戻
る。また、ステップＳ６１１で未処理のジェスチャが存
在しないと判断した場合（Ｎｏ）にはステップＳ６０１
に戻る。

【０２４５】また、本実施例では、実行された操作が表
示されるようにもなっている。すなわち、この場合の手
順としては、先ず、例えばキーボードやファイルから入
力された操作をジェスチャによる操作で表現する。ひと
つのジェスチャでは表現できない場合は幾つかのジェス
チャに変換して表現する。更に、どうしてもジェスチャ
として表現できない場合には、操作を表すアイコンで代
用する。次に、変換されたジェスチャに相当する筆跡を
操作対象となった画面上の場所に表示する。以後ジェス
チャとして入力された操作と同等に扱う。

【０２４６】例えば、図３３の(a) の図中点線で囲む文
字データがジェスチャＧＥ₃₇₁ により選択状態にあると
する。本実施例では、例えばキーボードにより、これら
選択状態の文字データをゴチック書体にするとして、そ
の機能指定を入力したとする。なお、本実施例ではキー
ボード入力としているが、例えばマウス／ペンによるメ
ニュー選択による機能指定によってもよい。機能指定の
際には例えばキーボードより入力された文字をバッファ
リングしリターンキー入力などを契機として入力を終了
し、文字列の解釈を行ない発行された機能の内容を得
る。上記発行された機能指定に対応するジェスチャ番号
を表８の表(8) のテーブルから得る。ここでは簡単のた
めに、１つの機能に対して１ジェスチャ番号を与えてい
るが、適切な圧縮方法により経済的な表現方法をとるこ
とも出来る。

【０２４７】

【表８】

【０２４８】本実施例では、機能とジェスチャ番号の対
応を表す表(8) の表中の“ゴチック書体”からジェスチ
ャ番号３０００２を得る。次に、ジェスチャ番号に対応
するパラメトリック図形データを表９の表(9) のテーブ
ルから検索する。その後、得られた図形データに、当該
機能によって処理されるべきデータの中心座標などのパ
ラメータを付加する。この例では、選択状態にある上記
図３３の(a) の図中点線で囲う部分の文字データの外接
四角形の中心座標を与える。

【０２４９】

【表９】

【０２５０】本実施例では、この表(9) の表中ジェスチ
ャ番号３０００２からパラメトリック図形データ“〜ゴ
チ”を得る。次に、上記ジェスチャ番号により真偽判定
を行ない、対応するジェスチャ表示処理へと移行する。
本実施例では、上述のようにゴチック書体への変換の指
定が発行されており、先ず、パラメトリック図形データ
及び対応するパラメータからゴチック書体ジェスチャの
表示処理を行なう。その結果、引き出し線の先に文字
“ゴチ”を付加した図３３の(b) に示す引き出し線ＧＥ
₃₇₂ 及び文字３７３が表示される。その後、ゴチック書
体実行を行う。本実施例では、図３３の(a) のＧＥ₃₇₁
で囲まれた文字データをゴチック書体に変換すること
で、図３３の(c) に示すようにゴチック書体の数字が表
示されるようになる。

【０２５１】なお、生成したジェスチャの表示が既存の
画面上の情報と競合して視覚的あるいは操作上不都合が
生じる場合には、生成ジェスチャの移動／変形などの処
理を施すことも可能である。さらに、本機構を有効／無
効にする機構を含むようにすることも実現可能である。

【０２５２】上述したようなことから、本実施例によれ
ば、今行なわれた操作が何であったかを画面を見ただけ
で一目で理解できるようになる。また、一括実行型編集
をしている時にキーボードから入力した命令も実行を保
留して画面に表示しておくことができる。更に、予め入
力しておいた一連の操作手続きを一端画面上でジェスチ
ャとして表示し、確認，修正してから実行できる（一括
実行型編集を利用する）。

【０２５３】図３４には上述した実行された操作の表示
の動作手順のフローチャートを示す。ここでは、簡単の
ため筆跡入力により実行されるジェスチャは“選択”，
“ゴチック書体”，“取り消し”の３種のみとしてあ
る。

【０２５４】この図３４において、ステップＳ７０１で
はキーボードによる入力が有るか否かの判断を行い、キ
ーボード入力が有ったと判断した場合（Ｙｅｓ）は後述
するステップＳ７１０に進み、無いと判断した場合には
ステップＳ７０２に進む。

【０２５５】上記ステップＳ７０２では１画の筆跡入力
が有ったか否かの判断を行い、１画の筆跡入力が有った
と判断した場合（Ｙｅｓ）にはステップＳ７２１に進
み、無いと判断した場合（Ｎｏ）にはステップＳ７０１
に戻る。

【０２５６】上記ステップＳ７２１では上記１画の入力
筆跡が選択ジェスチャか否かの判断を行う。当該ステッ
プＳ７２１で選択ジェスチャであると判断した場合（Ｙ
ｅｓ）はステップＳ７０４に進み、選択ジェスチャでな
いと判断した場合（Ｎｏ）には後述するステップＳ７２
２に進む。

【０２５７】上記ステップＳ７２１でＹｅｓと判断され
ると、ステップＳ７０４で選択ジェスチャを表示した
後、ステップＳ７０５で当該選択ジェスチャの操作が実
行されてステップＳ７０１に戻る。

【０２５８】また、上記ステップＳ７２１でＮｏと判断
された場合のステップＳ７２２では、上記入力筆跡がゴ
チック書体ジェスチャか否かの判断が行われる。当該ス
テップＳ７２２でゴチック書体ジェスチャであると判断
した場合（Ｙｅｓ）にはステップＳ７０６に進み、ゴチ
ック書体ジェスチャでないと判断した場合（Ｎｏ）には
後述するステップＳ７２３に進む。

【０２５９】上記ステップＳ７２２でＹｅｓと判断され
ると、ステップＳ７０６でゴチック書体ジェスチャが表
示され、ステップＳ７０７でそのゴチック書体ジェスチ
ャの操作が実行された後、ステップＳ７０１に戻る。

【０２６０】さらに、上記ステップＳ７２２でＮｏと判
断された場合のステップＳ７２３では、入力筆跡が取消
ジェスチャか否かの判断が行われ、取消ジェスチャであ
ると判断した場合にステップＳ７０８に進み、取消ジェ
スチャでないと判断した場合にはステップＳ７０１に戻
る。

【０２６１】上記ステップＳ７２３でＹｅｓと判断され
ると、ステップＳ７０８で取消ジェスチャが表示され、
ステップＳ７０９でその取消ジェスチャの操作が実行さ
れた後、ステップＳ７０１に戻る

【０２６２】一方、上記ステップＳ７０１でＹｅｓと判
断されると、ステップＳ７１０ではキーボードからの入
力の文字の入力が行われ、次のステップＳ７１１ではキ
ーボードからの入力が終了したか否かの判断が行われ
る。当該ステップＳ７１１で入力が終了していないと判
断した場合（Ｎｏ）にはステップＳ７１０に戻り、入力
が終了したと判断した場合（Ｙｅｓ）にはステップＳ７
１２に進む。

【０２６３】上記ステップＳ７１２では前述した表(8)
に示すテーブルから、上記ステップＳ７１０で入力した
文字列を検索し、対応するジェスチャ番号を得る。次に
ステップＳ７１３では、表(9) に示したジェスチャと図
形との対応を示すテーブルから上記ジェスチャ番号に対
応した図形データを得てステップＳ７１４に進む。

【０２６４】ステップＳ７１４では、上記図形データに
大きさ、位置などのパラメータを付加する。付加するパ
ラメータは表示画面の大きさや、処理されるべきデータ
の位置などから計算する。その後、ステップＳ７１５に
進む。

【０２６５】上記ステップＳ７１５では上記検索された
データが選択ジェスチャか否かの判断を行い、当該ステ
ップＳ７１５で選択ジェスチャであると判断した場合
（Ｙｅｓ）には、上記ステップＳ７０４に進み、このス
テップＳ７０４以後上述同様の処理が施される。また、
ステップＳ７１５で選択ジェスチャでないと判断した場
合（Ｎｏ）は、ステップＳ７１６に進む。

【０２６６】当該ステップＳ７１６ではゴチック書体ジ
ェスチャであるか否かの判断を行う、当該ステップＳ７
１６でゴチック書体ジェスチャであると判断した場合
（Ｙｅｓ）には、上記ステップＳ７０６に進み、このス
テップＳ７０６以後上述同様の処理が施される。さら
に、ステップＳ７１６でゴチック書体ジェスチャでない
と判断した場合（Ｎｏ）にはステップＳ７１７に進む。

【０２６７】当該ステップＳ７１７では取消ジェスチャ
であるか否かの判断を行う、当該ステップＳ７１７で取
消ジェスチャであると判断した場合（Ｙｅｓ）には、上
記ステップＳ７０８に進み、このステップＳ７０８以後
上述同様の処理が施される。さらに、ステップＳ７１７
で取消ジェスチャでないと判断した場合（Ｎｏ）にはス
テップＳ７０１に戻る。

【０２６８】また、本実施例では、前述したジェスチャ
オンジェスチャの動作例として、取り消し，消去，引き
出し線，入力終了指示，オブジェクト指定，方向（“上
送り”，“下送り”，“右送り”，“左送り”）のジェ
スチャが他のジェスチャの上に（又は上から始まるよう
に）描かれた場合、当該下のジェスチャの動作を修正す
る特殊なジェスチャとして動作するようにしている。本
実施例でのジェスチャオンジェスチャの手順は以下のよ
うである。

【０２６９】先ず、上記取り消しのジェスチャの場合、
取り消しのジェスチャを認識し、ジェスチャの上に描き
込まれたジェスチャであることを判定（筆跡下にあるジ
ェスチャをジェスチャＡとする）し、ジェスチャの上に
描き込まれたと判断した場合は、取り消しのジェスチャ
の処理を切り替えて、ジェスチャＡの動作を以下のごと
く修正する。すなわち、ジェスチャＡで実行された処理
を取り消し、ジェスチャＡでは何の処理も行われなかっ
たことにする。なお、通常取り消しのジェスチャでは、
直線の処理の取り消しが実行される。

【０２７０】なお、下記手順のうち、入力筆跡がジェス
チャのうえに描かれたかどうかを判定する際には、入力
筆跡とジェスチャが交差しなくても、入力筆跡がそのジ
ェスチャを指示していることが明らかな場合には、入力
筆跡がジェスチャの上に描かれたと判定するような処理
を行う。

【０２７１】上記消去のジェスチャの場合、消去のジェ
スチャを認識し、ジェスチャの上に描き込まれたジェス
チャであることを判定（筆跡下にあるジェスチャをジェ
スチャＡとする）し、ジェスチャの上に描き込まれたと
判断した場合は、消去のジェスチャの処理を切り替え
て、ジェスチャＡの動作を以下のごとく修正する。すな
わち、ジェスチャＡで実行された処理を取り消し、ジェ
スチャＡでは何の処理も行われなかったことにする。な
お、通常消去のジェスチャでは当該消去のジェスチャの
筆跡下の図形や文字ファイル等の消去が実行される。

【０２７２】上記引き出し線のジェスチャの場合、引き
出し線のジェスチャを認識し、引き出し線が他のジェス
チャから引き出されていることを判定し（引き出し線の
始点が指し示すジェスチャをジェスチャＡとする）、ジ
ェスチャの上に描き込まれたと判断した場合は、引き出
し線のジェスチャの処理を切り替えて、ジェスチャＡの
動作を以下のごとく修正する。すなわち、引き出し線が
開くウインドウにジェスチャＡで実行された処理のパラ
メータを表示したウインドウを開き、通常の引き出し線
ジェスチャと同様にウインドウへの入力を受け付け、入
力終了後修正されたパラメータに従ってジェスチャＡの
処理を再実行する。複写処理のように、処理を再実行し
た場合と処理を取り消してやり直した場合で動作が異な
ってしまうときには、ジェスチャＡで実行された処理を
一度取り消してから先に指定されたパラメータに従って
もう一度処理を実行すればよい。また、ジェスチャＡの
筆跡を認識した時に認識結果として複数の種類のジェス
チャが候補となっていた場合は、その候補一覧もウイン
ドウに表示して、ジェスチャＡの種類そのものを変更す
るために利用することもできる。その際には、ジェスチ
ャＡで実行された処理を一度取り消してから指定された
種類の処理を実行すればよい。なお、通常引き出し線の
ジェスチャでは、図形や文字列その他のデータに対する
属性の参照，設定などが実行される。

【０２７３】上記入力終了指示ジェスチャの場合、入力
終了指示のジェスチャを認識し、ジェスチャの上に描き
込まれたジェスチャであることを判定（筆跡の下にある
ジェスチャをジェスチャＡとする）し、ジェスチャの上
に描き込まれたと判断した場合は、入力終了指示のジェ
スチャの処理を切り替えて、ジェスチャＡの動作を以下
のごとく修正する。すなわち、一括実行型編集を行って
いるときなどでジェスチャＡの処理の実行が保留されて
いる場合、ジェスチャＡの保留状態を解除して処理を直
ちに実行する。なお、一括実行型編集を行っている場
合、通常入力終了指示のジェスチャでは保留されている
全てのジェスチャの処理が実行される。

【０２７４】上記オブジェクト指定のジェスチャの場
合、オブジェクト指定のジェスチャを認識し、ジェスチ
ャの上に描き込まれたジェスチャであることを判定（筆
跡下にあるジェスチャをジェスチャＡとする）し、ジェ
スチャの上に描き込まれたと判断した場合は、オブジェ
クト指定のジェスチャの処理を切り替えて、ジェスチャ
Ａの動作を以下のごとく修正する。すなわち、ジェスチ
ャＡで実行された処理に対応する“その次”という処理
の有無を判定し、有る場合は当該“その次”という処理
を実行する。“その次”という処理とは、例えば文字列
検索の処理に対しては“次の一致文字列の検索”という
処理が“その次”という処理であり、取り消しの処理に
対しては“さらにもう一つ前の処理の取り消し”という
処理が“その次”という処理である。上記“その次”と
いう処理の有無の判定を行うためには、各処理と“その
次”という処理の対応を示すテーブルを予め用意してお
けばよい。なお、通常オブジェクト指定のジェスチャで
は、指示されたデータを選択された状態にする処理が実
行される。

【０２７５】上記右送り，左送りのジェスチャの場合、
右送り，左送りのジェスチャを認識し、ジェスチャの上
に描き込まれたジェスチャであることを判定（筆跡下に
あるジェスチャをジェスチャＡとする）し、ジェスチャ
の上に描き込まれたと判断した場合は、右送り，左送り
のジェスチャの処理を切り替えて、ジェスチャＡの動作
を以下のごとく修正する。すなわち、右送りのジェスチ
ャの場合、ジェスチャＡで実行された処理に対応する前
記“その次”という処理の有無を判定し、有る場合は当
該“その次”という処理を実行する。左送りのジェスチ
ャの場合、ジェスチャＡで実行された処理に対応する
“その前”という処理の有無を判定し、有る場合は当該
“その前”という処理を実行する。“その前”という処
理とは、例えば文字列検索の処理に対しては“一つ前の
一致文字列の検索”という処理が“その前”という処理
であり、取り消しの処理に対しては“一つ前の取り消し
の処理の取り消し”という処理が“その前”という処理
である。上記“その前”という処理の有無の判定を行う
ためには、前記“その次”という処理の場合と同様にす
ればよい。右送り，左送りのジェスチャの筆跡の方向と
処理の対応を自然にするため、ジェスチャＡの種類に応
じて、右送りで“その前”、左送りで“その次”という
対応に切り替える処理を付け加えてもよい。

【０２７６】上記上送り，下送りのジェスチャの場合、
先ず、上送り，下送りのジェスチャを認識し、ジェスチ
ャの上に描き込まれたジェスチャであることを判定（筆
跡下にあるジェスチャをジェスチャＡとする）し、ジェ
スチャの上に描き込まれたと判断した場合は、上送り，
下送りのジェスチャの処理を切り替えて、ジェスチャＡ
の動作を以下のごとく修正する。すなわち、上送りのジ
ェスチャの場合、ジェスチャＡで実行された処理に対応
する前記“その上”という処理の有無を判定し、有る場
合は当該“その上”という処理を実行する。“その上”
という処理とは、例えばグループ選択の処理に対しては
“一つ上のレベルのグループの選択”という処理が“そ
の上”という処理であり、横書き文書中の文字列検索の
処理に対しては“一つ前の一致文字列の検索”という処
理が“その上”という処理である。“その上”という処
理が無い場合はジェスチャＡで実行された処理に対応す
る前記“その前”という処理の有無を判定し、有る場合
は当該“その前”という処理を実行する。下送りのジェ
スチャの場合、ジェスチャＡで実行された処理に対応す
る“その下”という処理の有無を判定し、有る場合は当
該“その下”という処理を実行する。“その下”という
処理とは、例えばグループ選択の処理に対しては“一つ
下のレベルのグループの選択”という処理が“その下”
の処理であり、横書き文書中の文字列検索の処理に対し
ては“次の一致文字列の検索”という処理がその下の処
理である。上記“その上”，“その下”という処理の有
無の判定を行うためには前記“その次”という処理の場
合と同様にすればよい。グループのレベルについては後
述する。

【０２７７】具体的には、以下のようにする。

【０２７８】先ず、直前の操作を取り消す“取消ジェス
チャ”の形状は前述した表(3) に示される通りであり、
本実施例では前記仮名漢字変換ジェスチャを取り消す場
合について説明する。

【０２７９】例えば、図３５の(a) に示すような文字列
データが画面に表示されているとする。このとき、図３
５の(b) に示すような仮名漢字変換ジェスチャに対応す
る筆跡ＰＭ₃₉₂ を入力したとし、この仮名漢字変換ジェ
スチャにより仮名漢字変換が実行された場合において上
記筆跡ＰＭ₃₉₂ に対応する仮名漢字変換ジェスチャによ
り文字列が例えば図３５の(c) に示すような文字列４０
３に変換されたとする。なお、この例では、同時に筆跡
ＰＭ₄₀₄ による仮名漢字変換も行っている。すなわち、
この例では、最初に行った仮名漢字変換で誤った変換が
なされたとする。この場合、図３５の(d) に示すよう
に、上記“取消”のジェスチャ形状をもつ筆跡ＰＭ₄₁₃
を上記仮名漢字変換ジェスチャ筆跡ＰＭ₃₉₂ の上に記入
する。これにより、上記筆跡ＰＭ₄₁₃ の下のジェスチャ
が検索される。この場合、仮名漢字変換ジェスチャが発
見され、当該仮名漢字変換ジェスチャの操作を取り消す
操作が行われるようになる。上記取り消しが実行された
後の表示は、図３５の(e) に示すようになる。なお、取
り消したジェスチャを画面上から消去する機構を付ける
ことも可能である。

【０２８０】上記の例以外にも、例えば以下に示すよう
な組み合わせにおいてジェスチャの修正を行うことが考
えられる。すなわち、 任意のジェスチャ ＋ 消去 → ジェスチャの取り消し 任意のジェスチャ ＋ 引き出し線 → 処理パラメータの確認・修正又は ジェスチャの認識候補の一覧メニ ュー 変換ジェスチャ ＋ 次送り → 次候補 変換ジェスチャ ＋ 左送り → 前候補 変換ジェスチャ ＋ 右送り → 次候補 変換ジェスチャ ＋ 上送り → 前候補群表示 変換ジェスチャ ＋ 下送り → 次候補群表示 取り消しジェスチャ ＋ 次送り → さらにもう１操作取り消し 取り消しジェスチャ ＋ 上送り → 取り消し操作を１段取り消し 取り消しジェスチャ ＋ 下送り → さらにもう１操作取り消し 選択ジェスチャ ＋ 上送り → 選択範囲のレベルを広げる 選択ジェスチャ ＋ 下送り → 選択範囲のレベルを狭める 等である。

【０２８１】なお、上述した、選択＋上送り、或いは、
選択＋下送りの際の選択範囲のレベルの例としては以下
のようなものを挙げることができる。

【０２８２】例えば、テキストデータの場合において、
日本語の場合は、下位レベルから順に例えば１文字→１
文節→１文→１段落（見出し付きの区切りの場合は１項
→１節→１章）→全文のように上位レベルに移る。英語
の場合は、下位レベルから順に例えば１文字→１単語→
１文→１段落（見出し付きの区切りの場合は１項→１節
→１章）→全文のように上位レベルに移る。

【０２８３】また、図形データの場合には、下位レベル
から順に例えば要素図形→部品→グループ→大グループ
→大大グループ→・・・→全図形のように上位レベルに
移る。なお、要素図形とは、線分，折れ線，円弧，楕
円，スプライン等のあるソフトウェアで扱える最も細か
い図形の単位である。また、部品とは、要素図形の集ま
りである。ただし、部品というレベルを持たないソフト
ウェアもある。通常は意味のある図形となるように要素
図形を集めて部品とする。例えば、部品“矢印”のよう
に線分や折れ線からなるものがある。また、１つの要素
図形が部品になることももちろんある。例えば、折れ線
からなる部品“抵抗器”等である。これらは、データベ
ースを参照して入力するのが普通である。筆跡により入
力された要素図形はそれぞれを部品として扱うことがあ
る。

【０２８４】なお、上記グループとは、幾つか（１つで
もよい）の要素図形，部品，グループの集まりである。
グループの集まりでグループを作ることもでき、グルー
プとグループの間に包含関係が生じることがある。この
場合、含まれる側のグループを下位のグループ含む側の
グループを上位のグループと呼ぶ。図形データの上位，
下位の関係は図３６に示すようになる。

【０２８５】上述したようなことから、本実施例によれ
ば、引き出し線によりジェスチャで正確な処理を実行で
きるようになり、ジェスチャの組合せで実行できる処理
が増えたので覚えるべきジェスチャ形状を少なくするこ
とができる。また、今までは最後の処理（から順番に）
しか取り消せなかったが、画面に筆跡が残っている任意
の処理を取り消すことができるようになる。更に、“ど
んどん先まで取り消してゆく処理”と“取り消し処理を
取り消す処理”とを分りやすく区別できる。なお、“先
まで取り消す”は取り消しジェスチャの上に次送りのジ
ェスチャを入力し、“取り消しを取り消す”は取り消し
ジェスチャの上に消去のジェスチャを入力することであ
る。

【０２８６】図３７には、上述したジェスチャオンジェ
スチャの具体的な処理のフローチャートを示す。

【０２８７】この図３７において、ステップＳ８１では
１画の筆跡入力を待ち、１画の筆跡入力があるとステッ
プＳ８２で当該入力筆跡の平滑化が行われる。

【０２８８】このステップＳ８２で平滑化された後、ス
テップＳ８３では上記筆跡入力以前に入力された筆跡の
中に認識が保留されたものが存在するか否かの判断を行
う。このステップＳ８３において保留された筆跡が有っ
た場合（Ｙｅｓ）は後述するステップＳ８５に進み、無
い場合（Ｎｏ）はステップＳ８４に進む。

【０２８９】上記ステップＳ８４では、上記筆跡入力
（１つの筆跡入力）の認識を行う。例えば、システムＲ
ＯＭ５２等に保持されているジェスチャ認識用テーブル
を使用して上記筆跡入力の認識を行う。すなわち、１画
の筆跡の形状を認識して対応するジェスチャ番号Ｇｎｏ
を返すような処理を行う。なお、当該ジェスチャ認識用
テーブル内に上記１画の筆跡の形状に対応するジェスチ
ャ番号Ｇｎｏが無い場合には、未登録のコード（未登録
を意味する番号）を返す。

【０２９０】上記ステップＳ８４の後は、ステップＳ８
７に進む。このステップＳ８７では、上記ジェスチャ番
号Ｇｎｏが登録されていないものか否かの判断を行う。
すなわち、当該ステップＳ８７では上記ステップＳ８４
から未登録のコードが返されてきたか否かの判断を行
い、このステップＳ８７で未登録であると判断した場合
（Ｙｅｓ）にはステップＳ８８に進み、未登録でない
（登録されている）と判断した場合（Ｎｏ）にはステッ
プＳ８９に進む。なお、ステップＳ８８では、上記未登
録の図形，文字等に対応する処理を行う。当該ステップ
Ｓ８８の後はステップＳ８１に戻る。

【０２９１】また、上記ステップＳ８３でＹｅｓと判断
されると上記筆跡入力は１画でないため、ステップＳ８
５では多筆跡の認識が行われる。このステップＳ８５で
も上記ステップＳ８４と同様に、例えばシステムＲＯＭ
５２等に保持されている多筆跡のジェスチャ認識用テー
ブルを使用して上記多筆跡の形状の認識を行う。このス
テップＳ８５の後は、ステップＳ８６に進む。このステ
ップＳ８６では、上記ステップＳ８７同様に、ジェスチ
ャ番号Ｇｎｏが登録されていない（未登録）ものか否か
の判断を行い、Ｙｅｓと判断した場合には上記ステップ
Ｓ８４に進み、Ｎｏと判断した場合にはステップＳ８９
に進む。

【０２９２】上記ステップＳ８７或いはステップＳ８６
でＮｏと判断されてステップＳ８９に進むと、当該ステ
ップＳ８９では上記ジェスチャ番号Ｇｎｏが確定さてい
ない（未確定）ものか否かの判断がなされる。このステ
ップＳ８９で未確定であると判断した場合（Ｙｅｓ）は
ステップＳ８２０に進み、未確定でない（確定されたも
の）と判断した場合（Ｎｏ）はステップＳ８１２に進
む。なお、上記ステップＳ８２０では、認識保留筆跡に
登録した後、上記ステップＳ８１に戻る。

【０２９３】上記ステップＳ８１２では、上記入力筆跡
にジェスチャが有るか否かの判断を行い、ジェスチャが
あると判断した場合（Ｙｅｓ）にはステップＳ８１４に
進み、ジェスチャがないと判断した場合（Ｎｏ）にはス
テップＳ８１３に進む。

【０２９４】上記ステップＳ８１２でＮｏと判断される
と、当該ステップＳ８１３で上記入力筆跡のジェスチャ
に対応する通常のジェスチャ処理を行い、その後ステッ
プＳ８１に戻る。

【０２９５】ステップＳ８１２でＹｅｓと判断される
と、ステップＳ８１４では上記入力筆跡の下のジェスチ
ャの種類を取得しそのジェスチャにジェスチャ番号Ｄｎ
ｏを与え（検索で発見されたジェスチャのジェスチャ番
号をＤｎｏに設定する）、ステップＳ８１５では入力筆
跡のジェスチャと当該入力筆跡の下のジェスチャのジェ
スチャ番号からジェスチャオンジェスチャとして実行す
べき手続きを得るために手続き番号を予め登録してある
２次元配列（テーブル）ＧＧｔｂｌから、当該ジェスチ
ャ番号Ｄｎｏ，ジェスチャ番号Ｇｎｏに対応した当該手
続番号ｋを得る。

【０２９６】その後、ステップＳ８１６では、ジェスチ
ャオンジェスチャの各種操作を実際に実施する手続きの
エントリーを予めジェスチャ番号順に登録してある１次
元配列（テーブル）ＧＧｆｕｎｃから上記手続番号ｋに
対応する手続の図１のＲＯＭ５２における格納番地を求
めて、その手続を実行する。このステップＳ８１６の後
はステップＳ８１に戻る。

【０２９７】上述したフローチャートにおけるテーブル
ＧＧｔｂｌ及びＧＧｆｕｎｃについて以下に述べる。

【０２９８】ここでは、例えば、“データ選択”，“仮
名漢字変換”，“引き出し線”，“上送り”，“下送
り”，“取消”，“消去”の７つのジェスチャを実装す
る場合を例にとり、それぞれの配列の内容を示す。ＧＧ
ｔｂｌは表１０の表(10)に示す内容となる。縦軸はＤｎ
ｏの値、横軸はＧｎｏの値で、表の中身がｋの値とな
る。縦軸横軸共にジェスチャの種類が記入されている
が、実際にはＧｎｏ，Ｄｎｏは該当するジェスチャを示
す数値である。ＧＧｆｕｎｃは、表１１の表(11)に示す
内容となる。手続の内容の部分には、実際には図１のＲ
ＯＭ５２上で当該手続が格納されている番地が並んでい
る。

【０２９９】

【表１０】

【０３００】

【表１１】

【０３０１】なお、表１１に示すテーブルＧＧｆｕｎｃ
において、手続き番号の２０番では手続き番号の９番の
手続きを利用して幾つもの操作が取り消されていた場
合、一気に全ての取り消しを取り止め、取り消しジェス
チャがなかった状態にする。

【０３０２】また、他のジェスチャオンジェスチャにつ
いても、テーブルに正しく手続番号を登録しておけば上
述同様のことを実現できる。

【０３０３】また、本実施例における即時実行ジェスチ
ャの場合の手順は以下のようになる。先ず、筆跡の形状
認識を行ない実行するジェスチャの種類を得る。ここ
で、認識の結果得られたジェスチャの種類があらかじめ
定めた特別な種類ならば、一括実行型編集機能を使用し
ている最中にも関わらず即座にジェスチャを実行する。
それ以外の種類ならば、後に一括して実行するようにジ
ェスチャを蓄積する。

【０３０４】ここでは、図３８の(a) に示すような文字
消去ジェスチャと、図３８の(b) に示すような取り消し
ジェスチャーを用いて説明を行う。

【０３０５】ここで、例えば、“一括実行型編集”機能
を既にＯＮにしているとする。画面上に例えば図３９の
(a) に示すような文字列データが表示されているとす
る。このとき、例えば図３９の(b) に示すような筆跡Ｐ
Ｍ（文字列消去ジェスチャ）を入力すると、当該文字列
消去ジェスチャは即時実行ジェスチャーではないので、
一旦対応する処理が図１のＲＡＭ５５上に用意した処理
登録バッファに登録され蓄積される。この場合、実際に
処理が実行されたわけではないので、画面には変化が起
きない。ただし、一旦入力筆跡を削除した後、認識した
ジェスチャを清書して出力するようなことも可能であ
る。次に、上記文字列消去のジェスチャが誤り（文字列
の削除は誤り）であった場合には、例えば図３９の(c)
に示すような筆跡ＰＭ₄₇₂ を図３９の(c) の筆跡ＰＭ
₄₇₁ （図３９の(b) の筆跡ＰＭ）上に入力する。この筆
跡ＰＭ₄₇₂ に対応する取り消しジェスチャは即時実行ジ
ェスチャであり、この即時実行ジェスチャに対応する手
続きが実行される。

【０３０６】本実施例の場合、当該ジェスチャが即時実
行ジェスチャであるか否か、さらに即時実行ジェスチャ
であった場合に実行すべき処理を決定するために、ＲＯ
Ｍ５２上に一次元配列（テーブル）を用意している。こ
のテーブルをＩＧｔｂｌと呼ぶ。ＩＧｔｂｌの各要素に
は即時実行ジェスチャに対応して実行すべき処理の種類
を表す番号が格納されている。即時実行型ジェスチャ以
外のジェスチャに対応する要素には「非即時実行」を表
す数、例えば０が格納される。例えば、文字列消去のジ
ェスチャに対応するジェスチャ番号が３だったとする。
文字列消去ジェスチャは即時実行ジェスチャではない。
したがって、ＩＧｔｂｌの３番目の要素には「非即時実
行」を表す０が格納されている。また、取り消しジェス
チャのジェスチャ番号が例えば５だったとすると、取り
消しジェスチャは即時実行型ジェスチャなので、ＩＧｔ
ｂｌの５番目の要素には「非即時実行」を表す数以外の
数、例えば１０が格納されている。上記のテーブルを利
用すれば、入力されたジェスチャが即時実行型ジェスチ
ャであるか否かを判定でき、しかも即時実行型ジェスチ
ャであった場合には実行すべき処理の種類を番号で得る
ことができる。本実施例の場合、上記ＩＧｔｂｌで得た
処理の種類を示す数から、処理を行う手続きのＲＯＭ５
２上での格納番地を得るためのテーブルをＲＯＭ５２上
に用意している。これをＩＧｆｕｎｃと呼ぶ。ＩＧｆｕ
ｎｃの各要素には、即時実行ジェスチャに対応して実行
されるべき処理手続きのＲＯＭ５２上での格納番地が格
納されている。例えば、取り消しジェスチャが入力さ
れ、上記ＩＧｔｂｌにより１０という処理の種類を表す
数字を得た後、ＩＧｆｕｎｃの１０番目の要素を参照す
れば、取り消しジェスチャに対応した処理を行う手続き
のＲＯＭ５２上の格納番地、例えば６５００番地を得る
ことができる。表１２の表(12)には、上記例におけるＩ
Ｇｔｂｌを、表１３の表(13)には上記例におけるＩＧｆ
ｕｎｃの内容を示している。

【０３０７】

【表１２】

【０３０８】

【表１３】

【０３０９】上記即時実行ジェスチャーの操作が完了す
ると、画面表示は図３９の(a) の状態に戻る。なお、一
括実行型編集時にも即時実行ジェスチャは即座に動作す
る。

【０３１０】上述したようなことから、本実施例では、
一括実行型編集時に誤った編集操作をジェスチャで入力
した場合にも、動作を切り換えることなくジェスチャで
訂正することができるようになる。また、誤った編集操
作を直ちに訂正することにより、画面上には実行される
編集記号のみが残るので、最終的に実行される編集操作
を画面を見ただけで容易に把握できるようになる。

【０３１１】図４０には、上述した即時実行ジェスチャ
の具体的な動作のフローチャートを示す。

【０３１２】この図４０において、ステップＳ９１では
ペン入力或いはキーボード等からの入力待ち状態となっ
ており、当該ステップＳ９１で入力がなされるとステッ
プＳ９２に進む。

【０３１３】当該ステップＳ９２では、上記入力がペン
からの筆跡か否かの判断がなされる。このステップＳ９
２で入力が筆跡であると判断された場合（Ｙｅｓ）はス
テップＳ９４に進み、Ｎｏと判断された場合にはステッ
プＳ９３に進む。当該ステップＳ９３では、上記入力が
筆跡でないため、その入力（例えばキーボード入力）に
対応する処理を行う。このステップＳ９３の後はステッ
プＳ９１に戻る。また、上記ステップＳ９４では上記筆
跡入力の平滑化を行い、その後ステップＳ９５に進む。

【０３１４】このステップＳ９４で平滑化された後、ス
テップＳ９５では上記筆跡入力以前に入力された筆跡の
中に認識が保留されたものが存在するか否かの判断を行
う。このステップＳ９５において保留された筆跡が発見
された場合（Ｙｅｓ）は後述するステップＳ９７に進
み、発見されない場合（Ｎｏ）はステップＳ９６に進
む。

【０３１５】上記ステップＳ９６では、上記筆跡入力
（１つの筆跡入力）の認識を行う。例えば、システムＲ
ＯＭ５２等に保持されているジェスチャ認識用テーブル
を使用して上記筆跡入力の認識を行う。すなわち、１画
の筆跡の形状を認識して対応するジェスチャ番号Ｇｎｏ
を返すような処理を行う。なお、当該ジェスチャ認識用
テーブル内に上記１画の筆跡の形状に対応するジェスチ
ャ番号Ｇｎｏが無い場合には、未登録のコード（未登録
を意味する番号）を返す。

【０３１６】上記ステップＳ９６の後は、ステップＳ９
９に進む。このステップＳ９９では、上記ジェスチャ番
号Ｇｎｏが登録されていない（未登録）ものか否かの判
断を行う。すなわち、当該ステップＳ９９では上記ステ
ップＳ９６から未登録のコードが返されてきたか否かの
判断を行い、このステップＳ９９で未登録であると判断
した場合（Ｙｅｓ）にはステップＳ９１０に進み、未登
録でない（登録されている）と判断した場合（Ｎｏ）に
はステップＳ９１１に進む。なお、ステップＳ９１０で
は、上記未登録の図形，文字等に対応する処理を行う。
当該ステップＳ９１０の後はステップＳ９１に戻る。

【０３１７】また、上記ステップＳ９５でＹｅｓと判断
されると上記筆跡入力は１画でないため、ステップＳ９
７では多筆跡の認識が行われる。このステップＳ９７で
も上記ステップＳ９６と同様に、例えばシステムＲＯＭ
５２等に保持されている多筆跡のジェスチャ認識用テー
ブルを使用して上記多筆跡の形状の認識を行う。このス
テップＳ９７の後は、ステップＳ９８に進む。このステ
ップＳ９８では、上記ステップＳ９９同様に、ジェスチ
ャ番号Ｇｎｏが登録されていない（未登録）ものか否か
の判断を行い、Ｙｅｓと判断した場合には上記ステップ
Ｓ９６に進み、Ｎｏと判断した場合にはステップＳ９１
１に進む。

【０３１８】上記ステップＳ９９或いはステップＳ９８
でＮｏと判断されてステップＳ９１１に進むと、当該ス
テップＳ９１１では上記ジェスチャ番号Ｇｎｏが確定さ
ていない（未確定）ものか否かの判断がなされる。この
ステップＳ９１１で未確定であると判断した場合（Ｙｅ
ｓ）はステップＳ９１２に進み、未確定でない（確定さ
れたもの）と判断した場合（Ｎｏ）はステップＳ９１３
に進む。なお、上記ステップＳ９１２では、認識保留筆
跡に登録した後、上記ステップＳ９１に戻る。

【０３１９】上記ステップＳ９１３では、一括実行モー
ドか否か判断を行い、一括実行モードであると判断した
場合（Ｙｅｓ）はステップＳ９１５に進み、一括実行モ
ードでないと判断した場合（Ｎｏ）はステップＳ９１４
に進む。

【０３２０】上記ステップＳ９１３でＮｏと判断される
と、上記ステップＳ９１４で上記一括実行モードでない
通常のジェスチャ処理を行い、その後ステップＳ９１に
戻る。

【０３２１】ステップＳ９１３でＹｅｓと判断される
と、ステップＳ９１５では、筆跡のジェスチャ番号Ｇｎ
ｏから即時実行型ジェスチャとして実行すべき処理に対
応する手続番号ｋを、手続番号があらかじめ登録してあ
る１次元配列（テーブル）ＩＧｔｂｌから得る。

【０３２２】このステップＳ９１５の後は、ステップＳ
９１６に進む。当該ステップＳ９１６では上記手続番号
ｋが非即時の手続であるか否かの判断を行う。このステ
ップＳ９１６で非即時でないと判断した場合（Ｙｅｓ）
にはステップＳ９１７に進み、非即時であると判断した
場合（Ｎｏ）にはステップＳ９１８に進む。

【０３２３】ステップＳ９１７では非即時ジェスチャを
前述の処理登録バッファに登録を行った後ステップＳ９
１に戻り、ステップＳ９１８ではジェスチャの各種操作
を実際に実施する手続きの図１のＲＯＭ５２上における
格納番地を予めＩＧｔｂｌの要素の値に対応した順に登
録してある１次元配列（テーブル）ＩＧｆｕｎｃから上
記手続番号ｋに対応する手続きの図１のＲＯＭ５２にお
ける格納番地を求めて、その手続を実行する。このステ
ップＳ９１８の後はステップＳ９１に戻る。

【０３２４】前述した表(12)のＩＧｔｂｌと表(13)のＩ
Ｇｆｕｎｃを使用すると、上記ステップＳ９１８では６
５００番地に格納された手続きが実行される。図４１に
は、この６５００番地に格納された手続きのフローチャ
ートを示す。この図４１において、ステップＳ１００１
では、前記入力筆跡に表示されているジェスチャを検索
する。次のステップＳ１００２では上記ステップＳ１０
０１でジェスチャが発見されたか否かを判断する。ここ
で、上記ジェスチャが発見された場合（Ｙｅｓ）にはス
テップＳ１００３に進み、発見されなかった場合（Ｎ
ｏ）には後述するステップＳ１００４に進む。当該ステ
ップＳ１００３では発見されたジェスチャを処理対象に
設定してステップＳ１００５に進む。また、上記ステッ
プＳ１００２でＹｅｓと判断されると、処理の対象が直
接指示されなかったのでステップＳ１００４では最後に
入力されたジェスチャを処理対象に設定し、ステップＳ
１００５に進む。ステップＳ１００３或いはステップＳ
１００４からステップＳ１００５に進むと、対象となる
ジェスチャに対する取り消し処理が実行される。この取
り消し処理では、対象となるジェスチャと前記入力筆跡
の双方を消去する処理も行う。なお、ステップＳ１００
４において、ジェスチャ以外の処理を設定してもよい。

【０３２５】本実施例では、表３の表(3) 〜表６の表
(6) に示した形状を用い、上述したような各ジェスチャ
からなる包括的ジェスチャーセットを用いることで、前
述した各ジェスチャに対応する機構を矛盾なく共存でき
るようにしている。すなわち、前述した各フローチャー
トを適切につなぎ合わせることにより上述した各機構を
全て利用できるようになる。また、各ジェスチャに利用
している形状は、任意の方向に傾けて描いても充分区別
できるようになっている。従って、任意の方向からジェ
スチャを書き込める操作体系を構築することが可能とな
る。また、紙の上で普段利用している小数の形状を覚え
るだけで上述の便利な機構を全て利用でき、一括実行型
の編集でも矛盾なく利用できる。

【０３２６】前述したようなことから、本実施例によれ
ば、表３の表(3) 〜表６の表(6) の各ジェスチャは、日
本語のように縦書き，横書きに対応でき、ジェスチャは
向きを変えて使用しても同じ意味を持つようになってい
る。また、変換，訂正等の頻繁に使用する指示も素早く
描くことができるジェスチャを用意している。更に、基
本ジェスチャだけで装置の一通りの操作が可能で、処理
対象によって意味が変わらない基本的な機能を定義し、
様々な場面でジェスチャの意味を統一している。したが
って、ジェスチャが入力された状況に応じた適切な処理
を行うことが可能となる。

【０３２７】また、例えば、引き出し線により、素早く
補助メニューを呼び出すことが可能であると共に、対象
を指定しているので補助メニューの内容を限定，選択す
ることが容易にでき、メニューの位置をユーザが自由に
設定するできる。

【０３２８】更に、例えば“実行”のジェスチャを利用
して直前の処理を簡単に繰り返すことが可能であり、方
向のジェスチャを利用して簡単に“次のもの”という繰
り返しが可能となる。

【０３２９】その他、ユーザは既存のジェスチャセット
から無理なく移行することができ、一括実行型の編集に
も矛盾なく利用でき、ジェスチャにジェスチャを描き込
むことで意味の複合や修正が可能となる。また、文字併
記型のジェスチャへも対応することができる。

【０３３０】

【発明の効果】上述のように、本発明の手書き入力情報
処理装置においては、編集校正対象を表示し、筆跡に応
じた座標データを生成すると共に、この生成された座標
データに基づいて筆跡形状を認識して予め定義されてい
る複数の編集校正記号の中から認識した筆跡形状に最も
類似した編集校正記号をその筆跡形状の方向性にかかわ
らず特定し、さらにこの特定された編集校正記号に割り
当てられている機能に応じて前記編集校正対象に対して
編集校正処理を施すようにすることで、縦書き，横書き
及び日本語にも対応でき、更に操作性をも向上させるこ
とを可能としている。

【図面の簡単な説明】

【図１】本実施例装置の信号処理回路系のブロック回路
図である。

【図２】本実施例装置の全体構成を示す図である。

【図３】範囲指定において２つのジェスチャに挟まれた
紐状の区間を指定する例を説明するための図である。

【図４】範囲指定において矩形の範囲を指定する例を説
明するための図である。

【図５】範囲指定において矩形を成さない組み合わせの
例を説明するための図である。

【図６】方向の呼称を説明するための図である。

【図７】横書きに対応する仮名漢字変換のジェスチャの
形状を示す図である。

【図８】縦書きに対応する仮名漢字変換のジェスチャの
形状を示す図である。

【図９】横書きの文字列に対して仮名漢字変換を施す例
を説明するための図である。

【図１０】縦書きの文字列に対して仮名漢字変換を施す
例を説明するための図である。

【図１１】特殊なレイアウトの文字列に対して仮名漢字
変換を施す一例を説明するための図である。

【図１２】特殊なレイアウトの文字列に対して仮名漢字
変換を施す他の例を説明するための図である。

【図１３】仮名漢字変換ジェスチャの動作を示すフロー
チャートである。

【図１４】類似形状のジェスチャの一例を説明するため
の図である。

【図１５】類似形状のジェスチャを区別する際の文字列
及びジェスチャの一例を示す図である。

【図１６】類似形状のジェスチャの区別の全体の動作を
示すフローチャートである。

【図１７】機能Ａの判定領域算出のフローチャートであ
る。

【図１８】本実施例での類似形状の区別の際の機能Ａの
判定領域を説明するための図である。

【図１９】機能Ｂの判定領域算出のフローチャートであ
る。

【図２０】本実施例での類似形状の区別の際の機能Ｂの
判定領域を説明するための図である。

【図２１】機能Ｂについての向き，大きさ，位置の検査
のフローチャートである。

【図２２】機能Ａ及び機能Ｂの判定領域を説明するため
の図である。

【図２３】ジェスチャから通常座標データへの変換及び
通常座標データからジェスチャへの変換を行うジェスチ
ャの形状を示す図である。

【図２４】変換されるジェスチャ（軌跡）の一例を示す
図である。

【図２５】ジェスチャから通常座標データへの変換の手
順を説明するための図である。

【図２６】ジェスチャから通常座標データへの変換及び
通常座標データからジェスチャへの変換の動作を示すフ
ローチャートである。

【図２７】引き出し線のジェスチャの形状を示す図であ
る。

【図２８】引き出し線ジェスチャと引き出し線ジェスチ
ャの動作を説明するめたの図である。

【図２９】引き出し線ジェスチャの変形例を示す図であ
る。

【図３０】引き出し線ジェスチャの動作を示すフローチ
ャートである。

【図３１】入力終了指示ジェスチャを説明するための図
である。

【図３２】入力終了指示ジェスチャの動作を示すフロー
チャートである。

【図３３】実行された操作の表示を説明するための図で
ある。

【図３４】実行された操作の表示の動作のフローチャー
トである。

【図３５】ジェスチャオンジェスチャを説明するための
図である。

【図３６】図形データの上位，下位を説明するための図
である。

【図３７】ジェスチャオンジェスチャの動作を示すフロ
ーチャートである。

【図３８】即時実行ジェスチャの例を示す図である。

【図３９】即時実行ジェスチャの手順を説明するための
図である。

【図４０】即時実行ジェスチャの動作を示すフローチャ
ートである。

【図４１】即時実行ジェスチャの動即時取り消しの動作
を示すフローチャートである。

【符号の説明】

１・・・・・液晶表示装置 ２，５４・・キーボード ３，６０・・スタイラスペン ５１・・・・ＣＰＵ ５２・・・・システムＲＯＭ ５３・・・・キーボードコントローラ ５５・・・・ワークＲＡＭ ５６・・・・ビデオＲＡＭ ５７・・・・ＬＣＤコントローラ ５８・・・・タブレットコントローラ ５９・・・・表示・タブレットブロック

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/03 G06F 3/033 G06F 17/21 G06F 17/24

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 編集校正対象を表示する表示手段と、 筆跡に応じた座標データを生成する座標入力手段と、 前記座標入力手段で生成された座標データを、予め定義
   されている複数の編集校正記号の中から、認識した筆跡
   形状に最も類似した編集校正記号に基づいて認識し、そ
   の筆跡形状の方向性にかかわらず特定する記号判別手段
   と、 前記記号判別手段によって特定された編集校正記号に割
   り当てられている機能に応じて前記編集校正対象に対し
   て編集校正処理を施す編集校正処理手段とを具備するこ
   とを特徴とする手書き入力情報処理装置。
2. 【請求項２】 前記記号判別手段によって特定された編
   集校正記号に割り当てられている機能を解釈し、前記筆
   跡形状の記入位置に隣接する編集校正対象の属性に応じ
   て変化する機能である場合は、前記編集校正対象に対す
   る前記筆跡形状の向きに応じて機能を一義的に解釈する
   機能解釈手段を有し、 前記編集校正処理手段では、前記編集校正対象に対し
   て、前記機能解釈手段によって解釈された機能に対応し
   た編集校正処理を施すことを特徴とする請求項１に記載
   の手書き入力情報処理装置。
3. 【請求項３】 前記編集校正記号は、前記編集校正対象
   が文字である場合には当該編集校正対象を仮名漢字変換
   する始点から終点までの範囲と仮名漢字変換の指示とを
   連続した筆跡で指定する仮名漢字変換記号とすることを
   特徴とする請求項１に記載の手書き入力情報処理装置。
4. 【請求項４】 上記仮名漢字変換記号の形状は、終点左
   回りの形状とすることを特徴とする請求項３に記載の手
   書き入力情報処理装置。
5. 【請求項５】 上記仮名漢字変換記号の形状は、終点右
   回りの形状とすることを特徴とする請求項３に記載の手
   書き入力情報処理装置。
6. 【請求項６】 上記仮名漢字変換記号の形状は、始点左
   回りの形状とすることを特徴とする請求項３に記載の手
   書き入力情報処理装置。
7. 【請求項７】 上記仮名漢字変換記号の形状は、始点右
   回りの形状とすることを特徴とする請求項３に記載の手
   書き入力情報処理装置。
8. 【請求項８】 上記編集校正記号は、編集校正処理コマ
   ンドから座標データへの変換を指示する変換記号とする
   ことを特徴とする請求項１に記載の手書き入力情報処理
   装置。
9. 【請求項９】 上記編集校正記号は、座標データから編
   集校正処理コマンドへの変換を指示する変換記号とする
   ことを特徴とする請求項１に記載の手書き入力情報処理
   装置。
10. 【請求項１０】 上記編集校正記号は、編集校正処理コ
    マンドから座標データへの変換、及び、座標データから
    編集校正処理コマンドへの変換を指示する変換記号とす
    ることを特徴とする請求項８及び９に記載の手書き入力
    情報処理装置。
11. 【請求項１１】 上記編集校正記号は、編集校正対象の
    属性に応じたパラメータを設定する引き出し線記号とす
    ることを特徴とする請求項１に記載の手書き入力情報処
    理装置。
12. 【請求項１２】 上記編集校正記号は、入力の終了を指
    示する入力終了記号とすることを特徴とする請求項１に
    記載の手書き入力情報処理装置。
13. 【請求項１３】 実行済の編集校正処理に対応する編集
    校正記号に応じた情報を保持し、当該編集校正記号に応
    じた情報を上記表示手段に表示することを特徴とする請
    求項１に記載の手書き入力情報処理装置。
14. 【請求項１４】 先に入力された編集校正記号の機能
    を、当該先に入力された編集校正記号に応じた情報の表
    示の上に入力された編集校正記号で修飾する機能を有す
    ることを特徴とする請求項１３に記載の手書き入力情報
    処理装置。
15. 【請求項１５】 複数の編集校正記号の各々の機能に対
    応した編集校正処理を一括して行う際に、特定の編集校
    正記号に対しては当該特定の編集校正記号の機能を即時
    実行する機能を有することを特徴とする請求項１に記載
    の手書き入力情報処理装置。