JP3181409B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ジェスチャ入力による
処理機能を備えたペン入力方式の情報処理装置に関す
る。

【０００２】

【従来の技術】近年、ペン入力方式を用いたワードプロ
セッサ、パーソナルコンピュータ等の情報処理装置が実
用化されている。このペン入力方式を用いた情報処理装
置は、ＬＣＤ等の表示パネルに座標入力装置であるタブ
レットを重ね合わせて構成し、付属のペンを使用して文
字やジェスチャ記号を画面上に入力したり、メニューを
ペンでクリックすることにより、各機能を実行するよう
にしている。そして、上記ペンによる手書き文字やジェ
スチャ記号が入力されると、内部の手書き文字認識プロ
グラムやジェスチャ認識プログラムが起動してペンで書
かれたものを認識する。

【０００３】

【発明が解決しようとする課題】上記ペン入力方式を用
いた従来の情報処理装置においては、ある機能を実行す
る場合、コマンドを手書き文字で入力したり、特定領域
に表示したメニューをペンで選択することにより所望の
機能を指定している。例えば印刷書式を設定する場合、
ジェスチャ入力表示画面で印刷書式設定のジェスチャを
入力すると、書式フォーマットの入力画面が表示され、
ここで用紙サイズを入力した後、１行文字数を入力、１
頁行数を入力…と、順次入力していかねばならなかっ
た。また、案内状などの定型フォーマットを作成する場
合、見出しはセンタリング、宛先は左寄せ、送り人名は
右寄せ、章見出しは左から一文字下げて段付けするな
ど、センタリング、段付けなどレイアウトよう操作を順
次入力しなければならなかった。

【０００４】このような印刷書式設定、文書レイアウト
等、複数の操作により、ある機能を実現したり、あるい
は複数の機能を組合わせて指定するような場合は、操作
が複雑となり、機能指定が非常に面倒であるという問題
があった。

【０００５】本発明は上記の点を考慮してなされたもの
で、従来、複数の操作で実現していた機能、あるいは複
数の連続する機能を簡単な操作で指定することができる
ペン入力方式の情報処理装置を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】本発明は、表示画面上に
座標入力装置が対応して設けられ、この座標入力装置に
対してペンにて入力を行なう情報処理装置において、前
記ペンによる複数の操作を１つのジェスチャ記号に対応
させて登録するジェスチャ登録モードの処理実行の指定
に応じて、ジェスチャ登録モードの処理実行を行なうジ
ェスチャ登録モード処理実行手段と、前記ジェスチャ登
録モード処理実行手段によるジェスチャ登録モードの実
行時に、前記ペンから入力されたジェスチャ記号の形か
ら認識に必要なジェスチャ認識データを抽出するジェス
チャ認識データ抽出手段と、前記ペンにより指定された
複数の操作を示すジェスチャ処理内容データを取得する
ジェスチャ処理内容データ取得手段と、前記ジェスチャ
認識データ抽出手段にて抽出された前記ジェスチャ認識
データと前記ジェスチャ処理内容データと取得手段にて
取得された前記ジェスチャ処理内容データとを対応させ
た状態でそれぞれ記憶する記憶手段と、前記ジェスチャ
登録モードの実行時でない場合に前記ペンから入力され
たジェスチャ記号について、前記記憶手段に記憶された
前記ジェスチャ認識データに基づいて認識し前記記憶手
段に登録されているか否かを判断する判断手段と、前記
判断手段により登録されていると判断された場合に、前
記記憶手段を参照して前記認識されたジェスチャ認識デ
ータに対応する前記ジェスチャ処理内容データを求め、
当該ジェスチャ処理内容データで示される複数の操作に
対応する複数の処理を実行する処理実行手段とを具備す
ることを特徴とする。

【０００７】また、本発明は、表示画面上に座標入力装
置が対応して設けられ、この座標入力装置に対してペン
にて入力を行なう情報処理装置上で実行される情報処理
方法において、前記ペンによる複数の操作を１つのジェ
スチャ記号に対応させて登録するジェスチャ登録モード
の処理実行の指定に応じて、ジェスチャ登録モードの処
理実行を行ない、前記ジェスチャ登録モードの実行時
に、前記ペンから入力されたジェスチャ記号の形から認
識に必要なジェスチャ認識データを抽出し、前記ペンに
より指定された複数の操作を示すジェスチャ処理内容デ
ータを取得し、前記抽出された前記ジェスチャ認識デー
タと前記取得された前記ジェスチャ処理内容データとを
対応させた状態で前記情報処理装置の記憶手段にそれぞ
れ記憶し、前記ジェスチャ登録モードの実行時でない場
合に前記ペンから入力されたジェスチャ記号について、
前記記憶手段に記憶された前記ジェスチャ認識データに
基づいて認識し前記記憶手段に登録されているか否かを
判断し、登録されていると判断された時、前記記憶手段
を参照して前記認識されたジェスチャ認識データに対応
する前記ジェスチャ処理内容データを求め、当該ジェス
チャ処理内容データで示される複数の操作に対応する複
数の処理を実行することを特徴とする。

【０００８】

【０００９】

【００１０】

【００１１】

【００１２】

【００１３】

【００１４】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。

【００１５】図１は、本発明の一実施例に係るペン入力
方式の情報処理装置の構成を示すブロック図である。図
１において、１は全体の制御を司るＣＰＵで、このＣＰ
Ｕ１にはバスラインＢＵＳを介してＲＯＭ２、各種辞書
３、ＲＡＭ４、表示コントローラ５、ＶＲＡＭ６、タブ
レットコントローラ７、外部インタフェース８が接続さ
れる。

【００１６】上記ＲＯＭ２は、ＣＰＵ１を制御するため
のプログラムや各種データを格納する読出し専用の不揮
発性メモリである。また、このＲＯＭ２には、手書き文
字の認識、ジェスチャ記号の認識・実行処理等のプログ
ラムも格納される。

【００１７】辞書３としては、図２（ａ）に示すよう
に、入力されたジェスチャ記号を認識するための辞書３
０１、手書き文字を認識するための辞書３０２、認識し
たジェスチャに対する登録・処理等を実行するための辞
書３０３、入力されたかな文字を漢字に変換するための
かな漢字変換辞書３０４等、各種辞書が設けられてい
る。

【００１８】上記ジェスチャ認識用辞書３０１には、各
種ジェスチャ記号を認識するためのデータが登録され
る。即ち、ジェスチャ認識用辞書３０１には、ジェスチ
ャ記号の形から認識に必要なデータが抽出して登録され
る。また、ジェスチャ処理用辞書には、認識したジェス
チャに対する処理を実行するためのデータが登録され
る。

【００１９】ＲＡＭ４は、ＣＰＵ１が各種データを一時
保存するために使用する読み書き可能なメモリであり、
図２（ｂ）に示すようにワーキングエリア４０１、文書
バッファ４０２、登録ジェスチャ記号記憶エリア４０
３、登録機能登録エリア４０４等が設けられる。

【００２０】表示コントローラ５は、ＣＰＵ１の制御の
下にＶＲＡＭ６の内容を表示パネル例えばＬＣＤパネル
９に表示させる。ＶＲＡＭ６は、ＬＣＤパネル９に表示
する内容を保存している読み書き可能なメモリであり、
ＣＰＵ１により制御される。

【００２１】上記ＬＣＤパネル９の前面には、座標入力
装置例えば透明タブレット１０が重ねて設けられる。こ
の透明タブレット１０は、データ入力用のペン１１と共
にタブレットコントローラ７に接続される。上記透明タ
ブレット１０は、ペン１１で押された位置を検出し、そ
の検出した位置（座標）情報をタブレットコントローラ
７に入力する。上記ペン１１は、ペン先にスイッチを備
えており、ペン先をＬＣＤパネル９にタッチした際にス
イッチオン、離した時にスイッチオフするようになって
おり、そのスイッチのオン／オフ情報がタブレットコン
トローラ７に送られる。

【００２２】このタブレットコントローラ７は、透明タ
ブレット１０及びペン１１を制御し、透明タブレット１
０が検出したペンの位置情報やペン１１からのスイッチ
情報をＣＰＵ１に伝達する。このＣＰＵ１は、タブレッ
トコントローラ７から送られてくる透明タブレット１０
やペン１１の情報を得て、表示コントローラ５やＶＲＡ
Ｍ６を制御してＬＣＤパネル９に必要な情報を表示す
る。

【００２３】図３は、ＬＣＤパネル９の表示される文書
作成画面の例を示したものである。図３に示すように、
画面の上部及び中央部が作成した文書の表示領域２１、
下部が編集領域２２となっている。上記文書表示領域２
１は、ジェスチャ記号の入力領域を兼ねており、この領
域にペン１１により記号、文字等が書かれると、ジェス
チャ記号が入力されたものとしてＣＰＵ１により認識処
理される。

【００２４】一方、編集領域２２には、例えば「単漢
字」、「選択／実行」、「スペース」等の各種の機能を
示すキーが表示されていると共に、文字入力枠２３及び
認識文字の次候補を示す認識次候補領域２４が表示され
る。上記文字入力枠２３内にペン１１により文字が入力
された場合にのみ、文字として認識処理される。上記文
字入力枠２３に入力された文字が確定すると、つまり、
「選択／実行」キーがペンにより指定されると、その入
力文字が文書表示領域２１のカーソル２５により指定さ
れている位置に表示される。

【００２５】また、上記編集領域２２の最下行には、そ
のときの入力モード、書式設定内容等が表示される。

【００２６】次に上記実施例の動作を説明する。

【００２７】文字入力により文書を作成する場合は、図
３における文字入力枠２３内にペン１１により文字を入
力する。この文字入力枠２３内に文字が入力されると、
ＣＰＵ１は、文字入力が行なわれたものと判断し、辞書
３を参照して文字に対する認識処理を実行する。

【００２８】また、ジェスチャ記号を入力する場合は、
ペン１１を使用して文書表示領域２１にジェスチャ記号
を書くことにより入力する。ＣＰＵ１は、文書表示領域
２１に文字、記号等が書かれると、ジェスチャ入力が行
なわれたものと判断して、辞書３及びＲＡＭ４内のジェ
スチャ認識用辞書等を参照し、その認識処理を実行す
る。

【００２９】しかして、本発明は、例えば作成する文書
の書式設定、印刷様式の設定、各種動作モードの設定
等、従来、複数の操作で実現していた機能、あるいは複
数の連続する機能をジェスチャ記号の入力により実行さ
せるものであるが、この実行に際しては、予めジェスチ
ャ記号とその処理内容を対応付けてＲＡＭ４に登録す
る。

【００３０】以下、このジェスチャの登録処理について
図４のフローチャートを参照して説明する。ユーザー
は、ジェスチャの登録に際して、まず、ステップＡ1 に
示すようにジェスチャ記号あるいはメニュー等によりジ
ェスチャ登録モードを指定する。次にジェスチャとして
登録したい処理を機能キーへのペンタッチ等により順次
指定する。ＣＰＵ１は、指定された機能に対する処理を
順次実行すると共に、その実行した処理内容をＲＡＭ４
内の処理登録用バッファに記憶する（ステップＡ2 ）。
この場合、この処理用バッファには、実行した処理の具
体的なプログラムではなく、処理の種類のみを記憶す
る。

【００３１】ユーザーは、上記のように処理内容を指定
した後、ジェスチャ記号の登録を指示し（ステップＡ3
）、登録したいジェスチャ記号をペン１１により文書
表示領域２１に入力する（ステップＡ4 ）。ＣＰＵ１
は、入力されたジェスチャ記号、つまり、登録したいジ
ェスチャ記号の形から認識に必要なデータを抽出してＲ
ＡＭ４内の認識データ登録用バッファに書き込む（ステ
ップＡ5 ）。その後、ＣＰＵ１は、上記入力された処理
及びジェスチャ記号を登録して良いかどうかのメッセー
ジを画面上の特定領域に表示し、確認のキー操作が行な
われるまで待機する（ステップＡ6 ）。

【００３２】このときユーザーは、上記のジェスチャ記
号及び処理内容を登録して良い場合は、「選択／実行」
キーを操作し、誤った操作を行なった時など、登録を取
り消したい場合は「取消」キーを操作する。ＣＰＵ１
は、「取消」キーが操作された場合は、そのままステッ
プＡ2 に戻って次の登録操作に備え、「選択／実行」キ
ーが操作された場合は、上記処理登録用バッファに保持
されているジェスチャ処理の内容をＲＡＭ４内のジェス
チャ処理用辞書に登録すると共に、上記認識データ登録
用バッファに保持されているジェスチャ認識用データを
ジェスチャ認識用辞書に登録する（ステップＡ7 ，Ａ8
）。

【００３３】この場合、ジェスチャ処理用辞書とジェス
チャ認識用辞書には、それぞれのデータを同じ番地に書
き込むか、あるいはジェスチャ認識用辞書に対応するジ
ェスチャ処理用辞書の番地を記憶させる。即ち、入力さ
れたジェスチャ記号をジェスチャ認識用辞書を参照して
認識した際に、そのジェスチャ記号に対応する処理内容
をジェスチャ処理用辞書から読出せるようにする。

【００３４】上記のようにして複数の処理の組み合わ
せ、及びその処理を指定するジェスチャ記号をＲＡＭ４
内の辞書に予め登録する。

【００３５】なお、上記ジェスチャの登録では、所望の
処理を実行させた後に登録するジェスチャ記号を入力す
るようにしたが、登録するジェスチャ記号を最初に入力
し、その後に所望の処理を指定するようにしてもよい
（図５のフローチャート参照）。

【００３６】次に上記のようにして登録されたジェスチ
ャを実行する場合の処理について、図６に示すフローチ
ャートを参照して説明する。

【００３７】ジェスチャ記号を入力する場合は、上記し
たようにペン１１を使用して文書表示領域２１にジェス
チャ記号を書くことにより行なう。

【００３８】ＣＰＵ１は、文書表示領域２１に文字、記
号等が書かれると、ジェスチャ入力が行なわれたものと
判断し（ステップＢ1 ）、辞書３及びＲＡＭ４内のジェ
スチャ認識用辞書を参照して、その認識処理を実行する
（ステップＢ2 ）。この際、まず、入力されたジェスチ
ャ記号が辞書３あるいはＲＡＭ４内のジェスチャ認識用
辞書に登録されているか否かをチェックし（ステップＢ
3 ）、登録されていなければ、上記図４に示したジェス
チャの登録処理に進む。これにより辞書３、ＲＡＭ４に
登録に未登録のジェスチャを認識した場合は、自動登録
させることも可能である。

【００３９】入力されたジェスチャ記号が辞書に登録さ
れている場合は、更に、辞書３に予め登録されされてい
るものか、あるいはＲＡＭ４内のジェスチャ認識用辞書
に追加登録されたものであるかを判断する（ステップＢ
4 ）。追加登録されたジェスチャでなければ、辞書３に
記憶されているジェスチャの処理、つまり、予めシステ
ムで設定されているジェスチャの処理を実行し（ステッ
プＢ5 ）、追加登録されているジェスチャであれば、Ｒ
ＡＭ４内のジェスチャ認識用辞書及びジェスチャ登録用
辞書に追加登録されているジェスチャ、即ち、ステップ
Ｂ2 で認識されたジェスチャの処理を実行する（ステッ
プＢ6 ）。この場合、ＣＰＵ１は、ジェスチャ処理用辞
書に追加登録されている処理の種類に応じてＲＯＭ２に
記憶されているプログラムを読出し、それに従って処理
を実行する。

【００４０】従って、ＲＡＭ４内のジェスチャ認識用辞
書に追加登録したジェスチャ記号を入力することによ
り、１回のジェスチャ記号の入力で、予め指定した複数
の処理を実行させることができる。

【００４１】本発明では、上記実施例で示したように、
印刷様式の設定、各種動作モードの設定等をジェスチャ
記号と対応させて登録することができるが、更に、ジェ
スチャ記号をパスワードとして登録することができる。
すなわち、上記図４に示したジェスチャ登録モードで、
メニュー等によりパスワードの登録機能を選択し、ペン
１１によりパスワードとしてのジェスチャ記号を入力す
る。これにより、上記し実施例の場合と同様の処理が行
なわれ、ＲＡＭ４内のジェスチャ処理用辞書にパスワー
ドに対する処理が登録され、ジェスチャ認識用辞書にパ
スワードとして入力したジェスチャ記号が登録される。

【００４２】上記のようにパスワードを登録した場合
は、装置の電源を投入した後、ペン１１によりパスワー
ドとしてのジェスチャ記号を入力する。このジェスチャ
記号の入力により、上記図６のフローチャートに示した
処理が実行され、装置が起動されて、それ以後の入力操
作が可能になる。

【００４３】上記のようにジェスチャ記号をパスワード
として登録しておくと、装置を操作する場合に、登録し
たジェスチャ記号を入力するのみで装置の操作を開始す
ることが可能となり、文字による複雑なパスワードを入
力する必要がなく、装置の起動を非常に簡単に行なうこ
とができる。

【００４４】

【発明の効果】以上詳記したように本発明によれば、複
数の処理の組み合わせと、その組み合わせ処理を指定す
るジェスチャ記号を予め辞書に登録し、ジェスチャ記号
が入力された際に、そのジェスチャ記号に対応する処理
を辞書から読出して実行するようにしたので、１つのジ
ェスチャ記号を入力するのみで、複数の処理を連続して
行なわせることができ、例えば印刷様式の設定、各種動
作モードの設定等、複雑な設定を簡単に指定でき、操作
性を著しく向上することができる。

【００４５】

【図面の簡単な説明】

【図１】本発明の一実施例によるペン入力方式の情報処
理装置の構成を示すブロック図。

【図２】同実施例における辞書及びＲＡＭの構成例を示
す図。

【図３】同実施例における表示画面の機能表示例を示す
図。

【図４】ジェスチャの登録処理を示すフローチャート。

【図５】ジェスチャの登録処理の他の例を示すフローチ
ャート。

【図６】ジェスチャの実行処理を示すフローチャート。

【符号の説明】

１…ＣＰＵ、 ２…ＲＯＭ、 ３…辞書、 ４…
ＲＡＭ、 ５…表示コントローラ、 ６…ＶＲＡ
Ｍ、 ７…タブレットコントローラ、 ８…外部イ
ンタフェース、 ９…ＬＣＤパネル、 １０…透明
タブレット、１１…ペン、 ２１…文書表示領域、
２２…編集領域、 ２３…文字入力枠， ２４…
認識次候補領域、 ２５…カーソル。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 表示画面上に座標入力装置が対応して設
   けられ、この座標入力装置に対してペンにて入力を行な
   う情報処理装置において、 前記ペンによる複数の操作を１つのジェスチャ記号に対
   応させて登録するジェスチャ登録モードの処理実行の指
   定に応じて、ジェスチャ登録モードの処理実行を行なう
   ジェスチャ登録モード処理実行手段と、 前記ジェスチャ登録モード処理実行手段によるジェスチ
   ャ登録モードの実行時に、前記ペンから入力されたジェ
   スチャ記号の形から認識に必要なジェスチャ認識データ
   を抽出するジェスチャ認識データ抽出手段と、 前記ペンにより指定された複数の操作を示すジェスチャ
   処理内容データを取得するジェスチャ処理内容データ取
   得手段と、 前記ジェスチャ認識データ抽出手段にて抽出された前記
   ジェスチャ認識データと前記ジェスチャ処理内容データ
   と取得手段にて取得された前記ジェスチャ処理内容デー
   タとを対応させた状態でそれぞれ記憶する記憶手段と、 前記ジェスチャ登録モードの実行時でない場合に前記ペ
   ンから入力されたジェスチャ記号について、前記記憶手
   段に記憶された前記ジェスチャ認識データに基づいて認
   識し前記記憶手段に登録されているか否かを判断する判
   断手段と、 前記判断手段により登録されていると判断された場合
   に、前記記憶手段を参照して前記認識されたジェスチャ
   認識データに対応する前記ジェスチャ処理内容データを
   求め、当該ジェスチャ処理内容データで示される複数の
   操作に対応する複数の処理を実行する処理実行手段と を
   具備することを特徴とする情報処理装置。
2. 【請求項２】 表示画面上に座標入力装置が対応して設
   けられ、この座標入力装置に対してペンにて入力を行な
   う情報処理装置上で実行される情報処理方法において、 前記ペンによる複数の操作を１つのジェスチャ記号に対
   応させて登録するジェスチャ登録モードの処理実行の指
   定に応じて、ジェスチャ登録モードの処理実行を行な
   い、 前記ジェスチャ登録モードの実行時に、前記ペンから入
   力されたジェスチャ記 号の形から認識に必要なジェスチ
   ャ認識データを抽出し、 前記ペンにより指定された複数の操作を示すジェスチャ
   処理内容データを取得し、 前記抽出された前記ジェスチャ認識データと前記取得さ
   れた前記ジェスチャ処理内容データとを対応させた状態
   で前記情報処理装置の記憶手段にそれぞれ記憶し、 前記ジェスチャ登録モードの実行時でない場合に前記ペ
   ンから入力されたジェスチャ記号について、前記記憶手
   段に記憶された前記ジェスチャ認識データに基づいて認
   識し前記記憶手段に登録されているか否かを判断し、 登録されていると判断された時、前記記憶手段を参照し
   て前記認識されたジェスチャ認識データに対応する前記
   ジェスチャ処理内容データを求め、当該ジェスチャ処理
   内容データで示される複数の操作に対応する複数の処理
   を実行する ことを特徴とする情報処理方法。