JPH0683524A

JPH0683524A - ペン入力方式

Info

Publication number: JPH0683524A
Application number: JP23624292A
Authority: JP
Inventors: Ichiji Ishigaki; 一司石垣; Ikuko Ueda; 郁子植田; Toshiyuki Fukuoka; 俊之福岡
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-09-04
Filing date: 1992-09-04
Publication date: 1994-03-25

Abstract

(57)【要約】【目的】本発明は、ペンにより入力を行うペン入力方
式に関し、文字やジェスチャーの入力を行う際に、人間
にとって自然で効率が良く、かつ間違いの少ない入力方
式を実現することを目的とする。【構成】画面上よりペンによって入力された情報から
入力形状（文字あるいはジェスチャー）を認識する入力
形状認識部４および当該入力形状の座標位置を抽出する
入力位置抽出部３と、第２座標入力手段５とを備え、入
力形状認識部４によって認識された入力形状、および入
力位置抽出部３によって抽出した座標位置あるいは第２
座標入力手段５によって入力された座標位置のいずれか
を入力イベントと決定するように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ペンにより入力を行う
ペン入力方式に関するものである。ディスプレイと座標
入力装置を一体化したペン入力コンピュータの入力方式
であって、特に、ペンでも指タッチでも座標入力が行え
るペン入力コンピュータで、人間にとって自然な操作に
よりデータ入力や命令実行を可能とするペン入力方式で
ある。

【０００２】従来のコンピュータが主にキーボードやマ
ウスで操作・入力するのに対し、近年、入力をペンで行
うコンピュータが開発されてきた。このペン入力コンピ
ュータは、液晶やプラズマ方式の薄型平面ディスプレイ
にペンで座標入力ができる座標入力装置（タブレットや
タッチパネル）を重畳し、あたかも紙にペンで文字を書
くような感覚でコンピュータを操作することができると
いう特徴をもっている。

【０００３】このペン入力コンピュータは、ペンで書か
れた文字を認識することで文字入力を行う他に、画面上
の位置をペンで直接指示することにより座標入力を行っ
たり、ペンの特別な動作を認識することで削除や複写な
どの操作を実行するジェスチャー入力を行う、などの機
能を持っている。

【０００４】この際、ペンのみでなく更に指タッチでも
座標入力などを行い、操作性が良く、効率的な入力を可
能にすることが望まれている。

【０００５】

【従来の技術】従来のペン入力コンピュータは、画面の
ある位置に文字を入力したり、画面上のある対象（オブ
ジェクト）に対して削除、複写、移動などのコマンドを
発行する時の操作方法として、大きく分けて次の２種類
の方法がある。

【０００６】操作の対象となる位置やオブジェクト
の上に直接文字入力やジェスチャーを行う方法。操作の対象となる位置やオブジェクトをペンで一旦
指示した後、異なる場所で文字入力やジェスチャーを行
う方法。

【０００７】図８は、の方法の例を示す。図８の（ａ
−１）、（ａ−２）、（ａ−３）は、伝票入力を行う画
面を示す。（ａ−１）は、画面上に表示した伝票を示す。

【０００８】（ａ−２）は、伝票上の対応する位置に直
接に文字（ここでは“１００”）を図示のように記入す
る。（ａ−３）は、（ａ−２）で入力された文字を読み取っ
て認識し、その位置に入力された文字（ここでは“１０
０”）をデータとして表示すると共に処理する。

【０００９】以上のように、画面上の伝票中の該当する
位置に直接にペンで文字入力を行い、これを認識してデ
ータを表示すると共に内部に取り込んで処理を行う。図
８の（ｂ−１）（ｂ−２）は、ファイルを削除する画面
を示す。

【００１０】（ｂ−１）は、ファイル名一覧上で削除す
るファイル名の上に“Ｘ”というジェスチャーをペンで
入力する。（ｂ−２）は、（ｂ−１）で入力されたジェスチャーの
位置から対象となるオブジェクト（ここではファイル
名）を決定すると共に、“Ｘ”という形状から“削除”
という命令を解釈し、対応するファイルの削除処理を行
う。

【００１１】以上のように、画面上のファイル名一覧中
の該当するファイル名に削除を表すジェスチャー“Ｘ”
をペンで書き込み、この書き込まれた位置および形状を
認識し、その位置のファイル名の削除処理を行う。

【００１２】図９は、の方法の例を示す。図９の（ａ
−１）、（ａ−２）、（ａ−３）は、伝票入力を行う画
面を示す。（ａ−１）は、伝票上の対応する位置をペン入力する。

【００１３】（ａ−２）は、（ａ−１）のペン入力に対
応して入力カーソルを当該ペン入力の位置に移動した状
態で、画面上の任意の位置に文字（ここでは“１０
０”）をペン入力する。

【００１４】（ａ−３）は、（ａ−２）で書かれた文字
を認識し、入力カーソルの位置に挿入して表示すると共
にデータとして処理する。以上のように、画面上の伝票中の該当する位置にペン入
力して入力カーソルをその位置に移動した状態で、画面
上の任意の位置にデータをペン入力し、これを認識して
データを入力カーソルの位置に表示すると共に内部に取
り込んで処理を行う。

【００１５】図９の（ｂ−１）、（ｂ−２）は、ファイ
ルを削除する画面を示す。（ｂ−１）は、ファイル名一覧上で削除するファイル名
をペン入力して選択する。

【００１６】（ｂ−２）は、（ｂ−１）で選択したファ
イル名にカーソルを移動した状態で、任意の位置にジェ
スチャー“Ｘ”（削除ジェスチャー）をペン入力する。（ｂ−３）は、（ｂ−２）のジェスチャー“Ｘ”で指示
された削除処理を行い、ファイル名を削除する。

【００１７】図１０は、従来の構成図を示す。これは、
上述した図８のの方法のペン入力コンピュータの構成
図である。図１０の構成および動作を簡単に説明する。
ペン座標入力手段３１から入力されたペンの座標データ
は、入力切出部３２によって、時間情報およびペンのア
ップダウン情報をもとに一連の意味のある座標データ列
を切り出し、入力位置抽出部３３および入力形状識別部
３４に通知する。

【００１８】入力形状識別部３４は、文字認識部３５お
よびジェスチャー認識部３６を起動し、座標データ列の
形状をもとにペン入力の意味するもの（文字あるいはジ
ェスチャーに対応する形状）を決定する。このとき、１
つの形状に対し、複数の意味が考えられる場合（例えば
“Ｘ”という形状に対して、文字の“Ｘ”と、ジェスチ
ャーの“削除”の２つが考えられる場合）、これら可能
性のある候補を入力イベント生成部３７に通知する。

【００１９】入力位置抽出部３３は、入力された座標デ
ータ列の意味の中心となる座標位置（書き始め位置、座
標列の重心点、座標列の存在する領域の中心点などのい
ずれか）を決定し、入力イベント生成部３７に通知す
る。

【００２０】入力イベント生成部３７は、プログラム実
行部３８からのデータをもとに、入力形状識別部３４か
ら通知された文字、ジェスチャーの候補の中から、入力
位置抽出部３３で決定された位置情報で許される最も可
能性の高いものを選び出し、最終的に入力イベント（入
力の種類とその位置座標のペア）を決定する。例えば上
記の“Ｘ”の例の場合、入力位置が文字入力領域ならば
文字の“Ｘ”を選び、入力位置がファイル名の上ならば
ジェスチャーの“削除”を選ぶ。このように、入力され
た位置に応じて意味を決定する。

【００２１】生成された入力イベントは、プログラム実
行部３８に通知し、この入力イベントに基づいて文字入
力やジェスチャー実行などの処理を行う。また、ペン座
標入力部３１から通知された座標データは、入力切出部
３２を通じて筆跡表示部４０に通知する。そして、プロ
グラム実行部３８のデータに基づいてプログラム表示部
３９が表示するプログラムの出力画面とディスプレイ表
示部４１によって重ね合わされ、平面ディスプレイ４２
に表示する。この筆跡は、入力イベントを決定した時点
で自動的に消去する。

【００２２】上述した構成を持つペン入力コンピュータ
は、ペン座標入力部３１と、平面ディスプレイ４２が重
ね合わせて構成されているので、あたかも紙に書くよう
な感覚で、操作できる。

【００２３】

【発明が解決しようとする課題】上述した図８のの方
式によれば、画面上に表示されている対象物の上に直接
に文字入力やジェスチャーを行えるので、利用者にとっ
て自然で効率の良い入力を実現できる利点があるが、ジ
ェスチャーの対象が比較的小さい場合にはジェスチャー
の対象を間違えて処理する危険性が生じるという問題が
ある。また、一般的にディスプレイ上に表示できる文字
に比べてペンで入力可能な文字サイズがひとまわり大き
いため、ディスプレイ上の入力領域が小さいとペンによ
る手書き文字が入力領域をはみ出してしまうなどの問題
がある。

【００２４】一方、の方式によれば、ジェスチャーの
対象を間違えたり、入力領域をはみ出すなどの問題は生
じないが、の方式によれば１つの操作で済んでいたも
のが、選択＋入力という２段階の操作になって効率が低
下してしまうと共に、人間にとって操作が幾分不自然と
なってしまうという問題がある。

【００２５】本発明は、これらの問題を解決するため、
文字やジェスチャーの入力を行う際に、人間にとって自
然で効率が良く、かつ間違いの少ない入力方式を実現す
ることを目的としている。

【００２６】

【課題を解決するための手段】図１および図６を参照し
て課題を解決するための手段を説明する。図１および図
６において、入力位置抽出部３は、画面上よりペンによ
って入力された情報から入力形状（文字あるいはジェス
チャー）の位置を抽出するものである。

【００２７】入力形状識別部４は、画面上よりペンによ
って入力された情報から入力形状（文字あるいはジェス
チャー）を認識するものである。第２座標入力手段５
は、第２の座標入力手段であって、例えば指タッチによ
る座標入力手段である。

【００２８】入力形状識別部１５は、第２座標入力手段
５によって入力された情報から入力形状（ジェスチャ
ー）を認識するものである。入力位置抽出部１４は、第
２座標入力手段５によって入力された情報から入力形状
（ジェスチャー）の位置を抽出するものである。

【００２９】

【作用】本発明は、図１に示すように、画面上よりペン
によって入力された情報から入力形状識別部４が入力形
状（文字あるいはジェスチャー）を認識および入力位置
抽出部３が入力形状の位置を抽出し、認識した入力形
状、および抽出した位置あるいは第２座標入力手段７か
らの位置のいずれかを入力イベントとするようにしてい
る。

【００３０】また、画面上よりペンによって入力された
情報から入力形状識別部４が入力形状（文字あるいはジ
ェスチャー）を認識および入力位置抽出部３が入力形状
（文字あるいはジェスチャー）の位置を抽出すると共
に、第２座標入力手段５によって入力された情報から入
力形状識別部１５が入力形状（ジェスチャー）を認識お
よび入力位置抽出部１４が入力形状の位置を抽出し、上
記認識した入力形状のいずかおよび上記抽出した位置の
いずれかを入力イベントとするようにしている。

【００３１】この際、第２座標入力手段５として指タッ
チによる座標入力手段とするようにしている。また、入
力形状識別部４、１５が入力された情報と予め設定した
ジェスチャー表４４とを照合してジェスチャーを認識す
るようにしている。

【００３２】従って、文字やジェスチャーの入力を行う
際に、第２座標入力手段５を用いることにより、人間に
とって自然で効率の良い、間違いの少ない入力方式を実
現することが可能となる。

【００３３】

【実施例】次に、図１から図５を用いて本発明の実施例
の構成および動作を順次詳細に説明する。

【００３４】図１は、本発明の原理構成図を示す。図１
において、ペン座標入力手段１は、ディスプレイ上から
ペンで文字やジェスチャーを書いたときのペンのダウン
した座標位置、ダウンしたまま書いたときの座標、アッ
プしたときの座標位置などを入力するものである。

【００３５】入力切出部２は、ペン座標入力手段１から
入力されたペンの座標データをもとに、時間情報、ペン
のダウン、アップ情報、座標、ペンが入力有効領域から
離れた否かなどの情報をもとに、一連の意味のある座標
データ列を切り出すものである。例えば、ペンが入力面
に接触している間の連続した座標データを１つの単位
（ストローク）とし、１つのストロークが入力されてか
ら一定時間が経過したか、あるいはペンが入力有効領域
から大きく離れた場合に、それまでに入力されたストロ
ークの列を求めて、入力単位として切り出す。これら切
り出した座標データ列は、入力位置抽出部３および入力
形状識別部４に通知する。

【００３６】入力位置抽出部３は、通知された座標デー
タ列の意味の中心となる座標位置を決定するものであ
る。入力形状識別部４は、通知された座標データ列をも
とに、予め設定したジェスチャー表４４を参照してジェ
スチャーと判定したり、文字と認識したりするものであ
る。

【００３７】ジェスチャー表４４は、ジャスチャーを認
識するために予めその形状を設定した表である。第２座
標入力手段５は、第２の座標入力手段であって、例えば
指タッチパネルである。

【００３８】入力位置決定部６は、入力位置抽出部３に
よって抽出された座標データ列の中心位置あるいは第２
座標入力手段５によって入力された位置のいずれかを、
入力位置として決定するものである。例えば第２座標入
力手段５から位置が入力されたときはこの位置を入力位
置と決定し、第２座標入力手段５から位置が入力されな
かったときに入力位置抽出部３によって抽出された位置
を入力位置として決定したりするものである（図４、図
５参照）。

【００３９】入力イベント生成部７は、入力イベントと
して、入力形状識別部４によって認識されたジェスチャ
ーあるいは文字、および入力位置決定部６によって決定
された位置を、入力イベントとして決定するものであ
る。

【００４０】プログラム実行部８は、画面上に各種伝票
やファイル名一覧などを表示するものである。図２は、
本発明の１実施例構成図を示す。ここで、１から３は図
１の構成の同一であるので説明を省略する。

【００４１】図２において、入力形状識別部４１は、文
字認識部４２およびジェスチャー認識部４３を起動し、
通知された座標データ列をもとにペン入力の意味する形
状が文字かジェスチャーかを判定するものである。

【００４２】文字認識部４２は、通知された座標データ
列をもとに文字認識を行い、英字、数字、漢字などの文
字コードを決定するものである。ジェスチャー認識部４
３は、予め設定したジェスチャー表４４を参照して、通
知された座標データ列についてジェスチャーに該当する
か否かを判別するものである。

【００４３】ジェスチャー表４４は、後述する図３に示
すように、ペン書きした形状（ジェスチャー）に対応づ
けてその意味を予め設定した表である。例えば手書きの
“×”は削除と設定する。ここで、１つの形状に対し、
複数の意味が存在する場合がある。例えば形状“Ｘ”
は、文字の“Ｘ”と、ジェスチャーの“×”（削除）の
可能性があるので、入力形状識別部４１は、これら可能
性のある複数の候補（文字コードおよびジェスチャー）
を決定し、入力イベント生成部７に通知する。

【００４４】指タッチ座標入力手段５１は、第２座標入
力手段５の例であって、ここでは、指タッチによって位
置座標を入力するものである。入力位置決定部６は、指
タッチ座標入力手段５１からの座標入力があれば当該指
タッチ座標入力手段５１から入力した位置座標を、指タ
ッチ座標入力手段５１からの入力がないときは入力位置
抽出部３からの位置座標を、入力イベント生成部７に送
出するものである。

【００４５】入力イベント生成部７は、プログラム実行
部８からのデータにもとづいて、入力形状識別部４から
入力された文字およびジェスチャーの候補の中から、入
力位置決定部６で決定された位置情報で許される最も可
能性の高いもの（文字あるいはジェスチャー）を選びだ
し、最終的な入力イベント（入力の種類、位置座標のペ
ア）を決定する。例えば“Ｘ”の場合、プログラムの実
行状態に応じて、入力位置が文字入力領域ならば文字の
“Ｘ”を選び、入力位置が文字入力域でなく、ファイル
名などの場合ならばジェスチャーの“削除”を選択す
る。この場合、単に文字かジェスチャーか決定するだけ
でなく、文字の場合には入力位置が数字のみの入力域な
らば候補の文字コード（複数）の中から数字の文字コー
ドのみを選択する。ジェスチャーの場合には、その位置
に応じて有効なジェスチャーの種類を制限することもで
きる。以上のようにして決定した入力イベント（文字／
ジェスチャー、位置）はプログラム実行部８に通知す
る。

【００４６】プログラム実行部８は、通知された入力イ
ベントをもとに、実際に文字入力やジェスチャーの実行
などの処理を行う。プログラム表示部９は、プログラム
実行部８から通知されたデータをもとに画面上に文字な
どを表示するものである。

【００４７】ディスプレイ表示部１０は、プログラム表
示部９から通知された文字などを持つ画面をディスプレ
イ１１上に表示したり、筆跡表示部１２から通知された
ペンの筆跡の文字やジェスチャーをディスプレイ１１上
に重畳して表示したりするものである。

【００４８】筆跡表示部１２は、入力切出部２から通知
されたペンの筆跡の座標データをもとに、ペンの筆跡を
ディスプレイ１１上に表示するものである。このディス
プレイ１１上に表示したペンの筆跡は、入力イベント生
成部７によって入力イベントが決定された時点で消去す
る。

【００４９】図３は、本発明のジェスチャー表の例を示
す。ここで、左側のジェスチャーは、図２のペン座標入
力手段１によって入力した情報であって、このジェスチ
ャーに対応づけて、その意味を図示のように予め設定す
る。例えば“×”は“削除”と設定する。

【００５０】次に、図４に示す順序に従い、図１、図２
の構成の動作を詳細に説明する。ここでは、ジェスチャ
ーをペン座標入力手段１から入力した場合について説明
する。

【００５１】図４において、Ｓ１は、第２座標入力手段
５によって画面上を指示する。このときの座標を（ｘ、
ｙ）とする。Ｓ２は、Ｓ１で第２座標入力手段５から位
置（ｘ、ｙ）を入力したことに対応して、入力位置決定
部６がこの座標（ｘ、ｙ）を保持する。

【００５２】Ｓ３は、ペン座標入力手段１によってここ
ではジェスチャーを入力する。Ｓ４は、入力位置抽出部
３が通知された座標データ列をもとにジェスチャー位置
を決定する。例えば座標データ列の書きはじめ座標、座
標列の重心点、座標列の存在する領域の中心点などがあ
るが、ここでは座標列の重心点の座標をジェスチャーの
位置（Ｘ、Ｙ）と決定する。

【００５３】Ｓ５は、入力形状識別部４がジェスチャー
表４４を参照して形状を判断する。これは、ジェスチャ
ー認識部４３が通知された座標データ群をもとに、図３
のジェスチャー表４４を参照してジェスチャーがここで
は見つかったので、Ｓ６でジェスチャーと決定する。

【００５４】Ｓ７は、ジェスチャー認識部４４でジェス
チャー種別Ｊを決定する。これは、ジェスチャー認識部
４３が図３のジェスチャー表４４を参照して、該当する
ジェスチャーに対応する意味（例えば“×”に対応する
意味“削除”）をＪと決定する。

【００５５】Ｓ８は、Ｓ７で決定されたジェスチャーＪ
を入力イベント生成部７が保持する。Ｓ９は、座標が保
持されているか判別する。ＹＥＳの場合には、入力位置
決定部６に第２座標入力手段５からの座標が保持されて
いたので、Ｓ１０で入力イベントをジェスチャー：Ｊ位置：（ｘ、ｙ）と決定する。即ち、第２座標入力手段５から入力された
位置（ｘ、ｙ）と、ペン座標入力手段１によって入力さ
れたジェスチャーＪを入力イベントとして決定する。

【００５６】一方、ＮＯの場合には、第２座標入力手段
５から位置が入力されなかったので、Ｓ１１で入力イベ
ントをジェスチャー：Ｊ位置：（Ｘ、Ｙ）と決定する。即ち、ペン座標入力手段１から入力された
位置（Ｘ、Ｙ）と、ペン座標入力手段１によって入力さ
れたジェスチャーＪを入力イベントとして決定する。

【００５７】以上によって、第２座標入力手段５から位
置の入力があった場合、この位置とペン座標入力手段１
から入力されたジェスチャーＪとを入力イベントと決定
し、一方、第２座標入力手段５から位置の入力がなかっ
た場合、ペン座標入力手段１から入力された位置および
ジェスチャーＪを入力イベントと決定する。これによ
り、例えば利用者が左手の指により第２座標入力手段５
から位置を入力すると共に右手に持ったペンでペン座標
入力手段１からジェスチャーを入力したり、右手に持っ
たペンのみでペン座標入力手段１からジェスチャーと位
置の両者を入力したり、自由に使い分けることができ
る。

【００５８】次に、図５に示す順序に従い、図１、図２
の構成の動作を詳細に説明する。ここでは、文字をペン
座標入力手段１から入力した場合について説明する。図
５において、Ｓ２１は、第２座標入力手段５によって画
面上を指示する。このときの座標を（ｘ、ｙ）とする。

【００５９】Ｓ２２は、Ｓ２１で第２座標入力手段５か
ら位置（ｘ、ｙ）を入力したことに対応して、入力位置
決定部６がこの座標（ｘ、ｙ）を保持する。Ｓ２３は、
ペン座標入力手段１によってここでは文字を入力する。

【００６０】Ｓ２４は、入力位置抽出部３が通知された
座標データ列をもとに文字位置を決定する。例えば座標
データ列の書きはじめ座標、座標列の重心点、座標列の
存在する領域の中心点などがあるが、ここでは座標列の
重心点の座標を文字の位置（Ｘ、Ｙ）と決定する。

【００６１】Ｓ２５は、入力形状識別部４がジェスチャ
ー表４４を参照して形状を判断する。これは、ジェスチ
ャー認識部４３が通知された座標データ群をもとに、図
３のジェスチャー表４４を参照してジェスチャーがここ
では見つからなかったので、Ｓ２６でジェスチャーでな
いと判断する。

【００６２】Ｓ２７は、文字認識部４２で文字Ｃを決定
する。これは、文字認識部４２が辞書やテンプレートと
照合して合致する文字Ｃを決定する。Ｓ２８は、Ｓ２７
で決定された文字（認識文字）を入力イベント生成部７
が保持する。

【００６３】Ｓ２９は、座標が保持されているか判別す
る。ＹＥＳの場合には、入力位置決定部６に第２座標入
力手段５からの座標が保持されていたので、Ｓ３０で入
力イベントを文字：Ｃ位置：（ｘ、ｙ）と決定する。即ち、第２座標入力手段５から入力された
位置（ｘ、ｙ）と、ペン座標入力手段１によって入力さ
れた文字Ｃを入力イベントとして決定する。

【００６４】一方、ＮＯの場合には、第２座標入力手段
５から位置が入力されなかったので、Ｓ３１で入力イベ
ントを文字：Ｃ位置：（Ｘ、Ｙ）と決定する。即ち、ペン座標入力手段１から入力された
位置（Ｘ、Ｙ）と、ペン座標入力手段１によって入力さ
れた文字Ｃを入力イベントとして決定する。

【００６５】以上によって、第２座標入力手段５から位
置の入力があった場合、この位置とペン座標入力手段１
から入力された文字Ｃとを入力イベントと決定し、一
方、第２座標入力手段５から位置の入力がなかった場
合、ペン座標入力手段１から入力された位置および文字
Ｃを入力イベントと決定する。これにより、例えば利用
者が左手の指により第２座標入力手段５から位置を入力
すると共に右手に持ったペンでペン座標入力手段１から
文字を入力したり、右手に持ったペンのみでペン座標入
力手段１から文字と位置の両者を入力したり、自由に使
い分けることができる。

【００６６】次に、図６および図７を用いて本発明の他
の実施例の構成および動作を詳細に説明する。図６は、
本発明の他の実施例構成図を示す。これは、図１および
図２の実施例構成図に比し、更に第２座標入力手段５の
側にも、入力切出部１３、入力位置抽出部１４および入
力形状識別部１５を設けた例である。以下説明する。

【００６７】図６において、入力切出部１３は、第２座
標入力手段５から入力された座標データをもとに、時間
情報、ペンのダウン、アップ情報、座標、ペンが入力有
効領域から離れた否かなどの情報をもとに、一連の意味
のある座標データ列を切り出すものである。

【００６８】入力位置抽出部１４は、通知された座標デ
ータ列の意味の中心となる座標位置を決定するものであ
る。入力形状識別部１５は、通知された座標データ列を
もとに、予め設定したジェスチャー表４４を参照してジ
ェスチャーと判定するものである。ここでは、第２座標
入力手段５として指タッチ座標入力手段などを用いるの
で、文字のような複雑な字形を入力することが困難なの
で、ここでは文字認識は行わない。

【００６９】次に、図７に示す順序に従い、図６の構成
の動作を詳細に説明する。ここでは、第２座標入力手段
５から位置およびジェスチャーを入力し、ペン座標入力
手段１から位置およびジェスチャー、文字を入力する場
合について以下説明する。

【００７０】図７において、Ｓ４１は、第２座標入力手
段５によってジェスチャーを入力する。Ｓ４２は、入力
位置抽出部１４がジェスチャー位置（ｘ、ｙ）を決定す
る。例えば座標データ列の書きはじめ座標、座標列の重
心点、座標列の存在する領域の中心点などがあるが、こ
こでは座標列の重心点の座標をジェスチャーの位置
（ｘ、ｙ）と決定する。

【００７１】Ｓ４３は、入力位置決定部６が第２座標入
力手段５から入力されたジェスチャーの座標（ｘ、ｙ）
を保持する。Ｓ４４は、入力形状識別部１５によって起
動されたジェスチャー認識部４３がジェスチャー表４４
を参照して形状を判断する。ここでは、Ｓ４５でジェス
チャーとして有効（通知された座標データ群をもとにジ
ェスチャー表４４を参照して該当するジェスチャーが設
定されていて有効）となり、Ｓ４６でジェスチャー認識
部でジェスチャー種別ｊを決定する。

【００７２】Ｓ４７は、Ｓ４５でジェスチャー種別ｊが
決定され、ジェスチャー入力があったと判明したので、
入力要素決定部１６に通知する。Ｓ４８は、Ｓ４７で通
知を受けた入力要素決定部１６がここでは入力要素ｊと
決定する。

【００７３】Ｓ４９は、入力イベント生成部７がここで
は、第２座標入力手段５からのみ、位置（ｘ、ｙ）とジ
ェスチャーｊが入力されたと判明したので、入力イベン
トとをジェスチャー：ｊ位置：（ｘ、ｙ）と決定する。

【００７４】以上によって、第２座標入力手段５のみか
ら位置（ｘ、ｙ）とジェスチャーｊのみが入力され、ペ
ン座標入力手段１から入力されないとき、入力イベント
を［ｊ、（ｘ、ｙ）］と決定する。

【００７５】Ｓ５０は、ペン座標入力手段１によってジ
ェスチャーを入力する。Ｓ５１は、入力位置抽出部３が
ジェスチャーの位置（Ｘ、Ｙ）を決定する。Ｓ５２は、
入力形状識別部１５によって起動されたジェスチャー認
識部４３がジェスチャー表４４を参照して形状を判断す
る。ここでは、Ｓ５３でジェスチャーとして有効（通知
された座標データ群をもとにジェスチャー表４４を参照
して該当するジェスチャーが設定されていて有効）とな
り、Ｓ５４でジェスチャー認識部でジェスチャー種別Ｊ
を決定する。

【００７６】Ｓ５５は、Ｓ５４で通知を受けた入力要素
決定部１６がここでは入力要素Ｊと決定する。Ｓ５６
は、入力位置決定部６が座標が保持されているか判別す
る。ＹＥＳの場合には、第２座標入力手段５からの座標
（ｘ、ｙ）が保持されていたので、Ｓ５７で入力イベン
トをジェスチャー：Ｊ位置：（ｘ、ｙ）と決定する。これにより、第２座標入力手段５からの位
置（ｘ、ｙ）が保持され、ペン座標入力手段１からジェ
スチャーＪが入力されたとき、入力イベントを［Ｊ、
（ｘ、ｙ）］と決定する。

【００７７】一方、ＮＯの場合には、第２座標入力手段
５からの座標（ｘ、ｙ）が保持されていなかったので、
Ｓ５８で入力イベントをジェスチャー：Ｊ位置：（Ｘ、Ｙ）と決定する。これにより、第２座標入力手段５からの位
置（ｘ、ｙ）が保持されていなかったとき、ペン座標入
力手段１からジェスチャーＪが入力され、位置が（Ｘ、
Ｙ）のときに、入力イベントを［Ｊ、（Ｘ、Ｙ）］と決
定する。

【００７８】

【発明の効果】以上説明したように、本発明によれば、
ペン座標入力手段１および第２座標入力手段５を設けて
ジェスチャー／文字や位置の入力をもとに入力イベント
を決定する構成を採用しているため、文字やジェスチャ
ーの入力を行う際に、第２座標入力手段５を用い、人間
にとって自然で効率の良い、間違いの少ない入力方式を
実現することができる。具体的に言えば、ペン座標入力
手段１の他に第２座標入力手段５として指タッチ座標入
力手段を用い、左指のタッチで位置、ジェスチャーを入
力し、右手に持ったペンで位置、ジェスチャー、文字を
入力することにより、左指のみでジェスチャー、位置を
入力したり、両者でジェスチャー、位置を入力したり、
右手のペンのみでジェスチャー、位置を入力したり、利
用者の状況に応じて任意に使い分けることができる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の１実施例構成図である。

【図３】本発明のジェスチャー表の例である。

【図４】本発明の動作説明図（ジェスチャー入力の場
合）である。

【図５】本発明の動作説明図（文字入力の場合）であ
る。

【図６】本発明の他の実施例構成図である。

【図７】本発明の他の動作説明図である。

【図８】従来技術の説明図である。

【図９】従来技術の説明図である。

【図１０】従来技術の構成図である。

【符号の説明】

１：ペン座標入力手段２、１３：入力切出部３、１４：入力位置抽出部４、１５：入力形状識別部４２：文字認識部４３：ジェスチャー認識部４４：ジェスチャー表５：第２座標入力手段５１：指タッチ座標入力手段６：入力位置決定部７：入力イベント生成部８：プログラム実行部９：プログラム表示部１０：ディスプレイ表示部１１：ディスプレイ１２：筆跡表示部１６：入力要素決定部

Claims

【特許請求の範囲】

【請求項１】ペンにより入力を行うペン入力方式におい
て、画面上よりペンによって入力された情報から入力形状
（文字あるいはジェスチャー）を認識する入力形状識別
部（４）および当該入力形状の座標位置を抽出する入力
位置抽出部（３）と、第２座標入力手段（５）とを備え、上記入力形状識別部（４）によって認識された入力形
状、および上記入力位置抽出部（３）によって抽出した
座標位置あるいは上記第２座標入力手段（５）によって
入力された座標位置のいずれかを入力イベントと決定す
るように構成したことを特徴とするペン入力方式。
【請求項２】ペンにより入力を行うペン入力方式におい
て、画面上よりペンによって入力された情報から入力形状
（文字あるいはジェスチャー）を認識する入力形状識別
部（４）および当該入力形状の座標位置を抽出する入力
位置抽出部（３）と、第２座標入力手段（５）によって入力された情報から入
力形状（ジェスチャー）を認識する入力形状識別部（１
５）および当該入力形状の座標位置を抽出する入力位置
抽出部（１４）とを備え、上記入力形状識別部（４）あるいは上記入力形状識別部
（１５）のいずれかによって認識された入力形状、およ
び上記入力位置抽出部（３）によって抽出した座標位置
あるいは上記第２座標入力手段（５）によって入力され
た座標位置のいずれかを入力イベントと決定するように
構成したことを特徴とするペン入力方式。
【請求項３】上記第２座標入力手段（５）として指タッ
チによる座標入力手段としたことを特徴とする請求項１
記載および請求項２記載のペン入力方式。
【請求項４】上記入力形状識別部（４）、（１５）が入
力された情報と予め設定したジェスチャー表（４４）と
を照合してジェスチャーを認識するように構成したこと
を特徴とする請求項１記載および請求項２記載のペン入
力方式。