JP5565320B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

開示する技術は、情報処理装置及び情報処理プログラムに関する。

従来より、手書き入力とソフトウェアキーボード入力とを選択できる装置では、利用者が適宜切り替えて利用する必要があった。これに対して、ソフトウェアキーボード上に筆跡を重ねて入力できるようにする技術として、表示一体型座標入力装置、及び２種類のタッチパネル付きディスプレイ装置が提案されている（特許文献１、特許文献２、及び特許文献３）。

上記の表示一体型座標入力装置は、入力された筆跡の始点及び終点が、ソフトウェアキーボード上の同一キー内で閉じているかどうかにより、手書き入力であるか、またはキーボード入力であるかを判定している。

また、上記２種類のタッチパネル付きディスプレイ装置のうちの１つ目のタッチパネル付きディスプレイ装置は、タッチからリリースまでの移動軌跡のサイズに基づいて、手書き入力であるか、またはキーボード入力であるかを判定している。

また、２つ目のタッチパネル付きディスプレイ装置は、一定時間のタッチ位置の停留によって、手書き入力であるか、またはキーボード入力であるかを判定している。

特開平９−３１９５０２号公報 特開２００５−９２５３８号公報 特開２００５−８５２４２号公報

しかしながら、小さい筆跡は同一キー内で閉じることが多いため、上記の表示一体型座標入力装置は、小さい点や句読点などを手書き入力として判定できない場合がある、という問題がある。また、上記の表示一体型座標入力装置は、隣り合うキー間の境界付近でタッチされた場合、わずかなブレにより誤って筆跡入力として判定してしまう、という問題がある。

上記の１つ目のタッチパネル付きディスプレイ装置では、素早く複数のキーを押下する時に指がキー上をかすめてしまうと、軌跡サイズが大きくなってしまい、誤判定が生じてしまう、という問題がある。

上記の２つ目のタッチパネル付きディスプレイ装置は、ユーザの意図的な停留操作を必要とするため、停留のための待ち時間が必要となってしまう、という問題がある。

開示する技術が解決しようとする課題は、手書き入力であるか、またはキー操作であるかを精度良く判定することにある。

開示する技術は、表示装置の表示画面上における位置の入力を受け付け、前記表示装置の表示画面上に、操作される複数の操作領域を表示させ、連続して受け付けた前記位置の入力の始点から終点までの入力時間を測定する。次に、開示する技術は、連続して受け付けた前記位置の入力の始点から終点までの入力軌跡のサイズを算出する。開示する技術は、前記入力軌跡のサイズと閾値との予め求められた関係に基づいて、前記算出された前記入力軌跡のサイズに対応する前記閾値を算出する。そして、開示する技術は、前記測定された前記入力時間と、前記算出された前記閾値とを比較して、前記入力時間が前記閾値以上である場合に、前記受け付けた前記位置の入力が、手書き入力であると判定し、前記入力時間が、前記閾値未満である場合に、前記受け付けた前記位置の入力が、前記表示させた前記操作領域の操作であると判定する。

開示する技術によれば、手書き入力であるか、キー操作であるかを精度良く判定することができる、という効果が得られる。

第１の実施の形態に係る情報処理構成を示す概略図である。 第１の実施の形態に係る情報処理装置の機能ブロック図である。 タッチパネルディスプレイにキーボードが表示されている様子を示す図である。 入力軌跡のサイズと手書き入力の最小入力時間との関係を示すグラフである。 キー操作時に一瞬横ずれが起きる様子と、手書き入力を行っている様子を示す図である。 第１の実施の形態に係る情報処理装置の入力判定処理ルーチンの内容を示すフローチャートである。 入力軌跡のサイズと手書き入力の最小入力時間との関係を示すグラフである。 入力軌跡のサイズと手書き入力の最小入力時間との関係を示すグラフである。 入力軌跡のサイズと手書き入力の最小入力時間との関係を示すグラフである。 入力軌跡のサイズと手書き入力の最小入力時間との関係を示すグラフである。 ベクトル方向を量子化した様子を示す図である。 特徴点の抽出方法を説明するための図である。 記録媒体に記憶されたプログラムが、ＨＤＤにインストールされる様子を示す図である。 閾値算出部として機能する閾値テーブルを示す図である。

以下、実施形態について詳細に説明する。

図１に示すように、携帯型の情報処理装置１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、ＨＤＤ１８、タッチパネルディスプレイ２０、及びこれらを相互に接続するためのバス２２を備えている。携帯型の情報処理装置１０は、例えば、携帯電話、スマートフォン、ＰＤＡ（Ｐｏｒｔａｂｌｅ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、又は小型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。

ＣＰＵ１２は、各種プログラムを実行する。ＲＯＭ１４には、各種プログラムやパラメータ等が記憶されている。ＲＡＭ１６は、ＣＰＵ１２による各種プログラムの実行時におけるワークエリア等として用いられる。ＨＤＤ１８には、後述する印刷処理ルーチンなどのプログラムを含む各種プログラムや各種データが記憶されている。

タッチパネルディスプレイ２０は、ディスプレイ上に透過型のタッチパネルが重ねられて形成され、各種情報がディスプレイの表示面に表示されると共に、ユーザがタッチパネルに触れることにより所望の情報や指示が入力される。

タッチパネルディスプレイ２０は、例えば、アナログ抵抗膜方式のタッチパネルを用いており、それぞれＸ座標、Ｙ座標を検出するための、抵抗膜が印刷された上下２枚のフィルムを備えている。なお、タッチパネルディスプレイ２０が、表示装置の一例である。

図２は、情報処理装置１０を、機能ブロックで表す。図２に示すように、情報処理装置１０は、ポインティング入力部２４、キー表示部２５、時間計測部２６、軌跡記憶部２８、軌跡サイズ算出部３０、時間長算出部３２、及び入力手段判定部３４を備えている。なお、ポインティング入力部２４が、入力受付部の一例であり、キー表示部２５が、表示制御部の一例である。また、時間長算出部３２が、閾値算出部の一例である。

ポインティング入力部２４は、タッチパネルディスプレイ２０からのポインティング座標の入力を受け付ける。例えば、ユーザがタッチパネルディスプレイ２０に触れると、上下のフィルムの抵抗膜が接触し、タッチパネルディスプレイ２０のフィルム両端の電圧値から、ポインティング入力部２４は、ユーザが触れている位置の座標（Ｘ座標、Ｙ座標）の入力を受け付ける。

ポインティング入力部２４は、受け付けた入力座標を、軌跡記憶部２８に出力する。

また、ポインティング入力部２４は、入力座標として、タッチパネルディスプレイ２０上でのタッチからリリースまでの座標を連続して受け付ける。また、ポインティング入力部２４は、タッチパネルディスプレイ２０上でのタッチにより入力が開始されたことを、時間計測部２６に通知する。

キー表示部２５は、図３に示すように、複数種類のアルファベットに対応する複数のキーを含むソフトウェアキーボードをタッチパネルディスプレイ２０上に表示する。なお、表示されるソフトウェアキーボードの形状や大きさ、種類は限定されない。したがって、キーは、正方形だけでなく、細長形状や、細長形状を湾曲させた形状にするなど特殊な形であってもよい。本実施の形態では、キーは正方形であって、複数のキーが一般的なＱＷＥＲＴＹ配列をしている場合について説明する。また、複数のキーが、複数の操作領域の一例である。

時間計測部２６は、ポインティング入力部２４からタッチパネルディスプレイ２０のタッチによる入力開始の通知を受けると、その時点からの経過時間を測定し、タッチパネルディスプレイ２０のタッチの始点から終点までの入力時間を計測する。

軌跡記憶部２８は、ポインティング入力部２４から出力された座標情報を受け取り、蓄積する。軌跡記憶部２８は、少なくとも入力の始点から終点までの座標情報を順番に記憶する。なお、ポインティング入力部２４から次の入力の始点が出力されたときは、軌跡記憶部２８に記憶された、以前の座標情報は消去されてもよい。

軌跡サイズ算出部３０は、軌跡記憶部２８に記憶された座標列の情報から、タッチ点の入力軌跡のサイズとして、入力軌跡の全長を算出する。例えば、軌跡サイズ算出部３０は、順番で隣り合う座標間の距離の和を、入力軌跡の全長として算出する。

時間長算出部３２は、予め求められた、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係に基づいて、軌跡サイズ算出部３０で求められたサイズに対応する、手書き入力時の最小入力時間を、閾値として算出する。

ここで、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係は、以下に説明するように求められる。

まず、実際に、ユーザが、上記図３に示すように、タッチパネルディスプレイ２０上に文字などを多数手書き入力して、情報処理装置１０が、入力軌跡のサイズに対する入力時間を収集する。また、情報処理装置１０が、収集した入力軌跡のサイズに対する入力時間に基づいて、入力軌跡のサイズ毎に、入力時間の最小値を求める。例えば、表１に示す実測値が得られる。なお、入力軌跡のサイズが１の実績値が取得できない場合でも、入力軌跡のサイズが１となる場合の閾値を計算できるように、入力軌跡のサイズが０の場合の時間を初期値として設定しておくことが望ましい。

┌───────────────┬──────────────┐
│ 入力軌跡のサイズ │ 入力時間の最小値 │
├───────────────┼──────────────┤
│ 0 │ 0 │
├───────────────┼──────────────┤
│ 3 │ 12 │
├───────────────┼──────────────┤
│ 5 │ 17 │
├───────────────┼──────────────┤
│ 7 │ 19 │
├───────────────┼──────────────┤
│ 10 │ 22 │
├───────────────┼──────────────┤
│ 13 │ 25 │
├───────────────┼──────────────┤
│ 15 │ 28 │
├───────────────┼──────────────┤
│ 19 │ 31 │
├───────────────┼──────────────┤
│ 23 │ 35 │
├───────────────┼──────────────┤
│ 26 │ 40 │
├───────────────┼──────────────┤
│ 27 │ 41 │
└───────────────┴──────────────┘

実測値は、サンプル数が十分でない場合、離散的に得られる。そこで、情報処理装置１０が、図４に示すように、入力軌跡のサイズ及び入力時間の組み合わせを示す隣り合う点の間を、直線で結んで直線補間し、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係を示すグラフを求める。

また、時間長算出部３２は、軌跡サイズ算出部３０で求められたサイズが、予め求められた対応関係の入力軌跡のサイズの最大値（実測値の最大値）より大きい場合には、入力軌跡のサイズの最大値に対応する手書き入力時の最小入力時間を用いる。実測値の最大値を超える大きな軌跡は、キー操作と手書き入力とを判別する時間マージンが大きく、大雑把な閾値を設定しても正常に判定できる。そのため、実測値の最大値よりも大きな軌跡を、実測値の最大値の閾値で判定しても誤判定することがない。例えば、予め求めた対応関係において、入力軌跡のサイズの最大値５０に、手書き入力時の最小入力時間０．４秒が対応している場合、軌跡サイズ算出部３０が入力軌跡のサイズ８０を算出すると、時間長算出部３２は、最小入力時間として０．４秒を用いる。

また、時間長算出部３２は、軌跡サイズ算出部３０で求められたサイズが、予め求められた対応関係の、入力軌跡のサイズの最大値に一定値を加算した値より大きい場合には、対応する最小入力時間として、非常に小さい値（例えば、０）を算出してもよい。これによって、キー操作時の指ずれとしてあり得ないほど大きな入力軌跡は、常に手書き入力と判定される。

また、入力手段判定部３４は、時間長算出部３２で算出された最小入力時間を閾値として、時間計測部２６によって計測された入力時間が、閾値以上であるか否かを判定して、手書き入力であるか、あるいは、キー操作であるかを判定する。

人が意識的に書く手書き入力では、入力軌跡のサイズに基づいて求められる最小の入力時間以上の入力時間がかかるため、入力手段判定部３４は、時間計測部２６によって計測された入力時間が、閾値以上である場合、手書き入力であると判定する。入力手段判定部３４は、時間計測部２６によって計測された入力時間が、閾値未満である場合、キー操作であると判定する。

例えば、図５（Ａ）に示すように、キー操作時に横ズレが生じた場合には、計測された入力時間が、キー操作における入力軌跡のサイズに対応する最小入力時間より短くなり、入力手段判定部３４によって、キー操作であると判定される。

また、図５（Ｂ）に示すように、意識的な手書き入力である場合には、計測された入力時間が、キー操作における入力軌跡のサイズに対応する最小入力時間以上となり、入力手段判定部３４によって、手書き入力であると判定される。

情報処理装置１０は、更に、筆跡入力部３６、文字認識部３８、キー選定部４０、及びキー処理実行部４２を備えている。なお、筆跡入力部３６及び文字認識部３８が、手書き入力処理部の一例であり、キー選定部４０が、操作選定部の一例である。また、キー処理実行部４２が、操作入力処理部の一例である。

なお、手書き入力処理部は、文字認識に限るものではなく、手書きのメモを残すような、イメージを編集保存するソフトウェアであってもよい。

また、操作選定部は、キー選定に限るものではなく、アイコンの指示や、Ｗｅｂブラウザで表示されるイメージの指示や、入力領域の選択や、チェックボックスや、ラジオボタンや、リストボックスなどの画面上のソフト的な部品を操作する処理でもよい。また、操作入力処理部は、アイコンの指示や、Ｗｅｂブラウザでのイメージの指示による、ソフトウェアの実行や、Ｗｅｂページのジャンプであってもよい。また、操作入力処理部は、Ｗｅｂブラウザで表示される入力領域へのフォーカスの移動や、ソフト的な部品を操作する処理を行ってもよい。

筆跡入力部３６は、入力手段判定部３４によって手書き入力と判定されたとき、軌跡記憶部２８に記憶されている座標列の情報を取得し、手書き入力による入力軌跡として、文字認識部３８へ出力する。

文字認識部３８は、文字認識用の辞書データベースを備え、筆跡入力部３６から出力された入力軌跡に対して、文字認識を行う。

キー選定部４０は、入力手段判定部３４によってキー操作であると判定されたとき、軌跡記憶部２８に記憶されている座標列の情報と、タッチパネルディスプレイ２０上に表示されている各キーの位置とを比較して、操作対象となるキーを選定する。該当するキーの選定方法として、従来既知の一般的な方法を用いればよい。例えば、キー選定部４０は、座標列の最初の点、最後の点、または入力軌跡の外接矩形の中心点が、キー表示の各領域の何れに含まれるか、あるいは、キー表示の各領域の何れに最も近いかを判定することによって、該当するキーを選定する。

キー処理実行部４２は、キー選定部４０によって選定されたキーに対応する処理を実行する。例えば、キー処理実行部４２は、選定されたキーに対応する文字を入力として受け付ける処理を実行する。

次に、第１の実施の形態の作用を説明する。

情報処理装置１０が、タッチパネルディスプレイ２０上に、ソフトウェアキーボードを表示しているときに、情報処理装置１０のＣＰＵ１２によって、図６に示す入力判定処理ルーチンが実行される。

ステップ１００において、ＣＰＵ１２が、タッチパネルディスプレイ２０からのポインティング座標の入力が開始されたか否かを判定する。ポインティング座標の入力が開始された場合には、ステップ１０２へ進み、ＣＰＵ１２が、現時点からの経過時間の計測を開始する。そして、ステップ１０４において、ＣＰＵ１２が、タッチパネルディスプレイ２０からのポインティング座標の入力が終了されたか否かを判定する。ポインティング座標の入力が終了した場合には、ステップ１０６へ進み、ＣＰＵ１２が、上記ステップ１０２で開始した時間計測を停止し、入力時間を計測する。

次のステップ１０８では、ＣＰＵ１２が、タッチパネルディスプレイ２０から入力された座標列の情報を軌跡記憶部２８に記憶する。そして、ステップ１１０において、ＣＰＵ１２が、軌跡記憶部２８に記憶された座標列の情報から、入力軌跡のサイズを算出する。

ステップ１１２では、ＣＰＵ１２が、入力軌跡のサイズと、手書き入力時の最小入力時間との関係を表わし、かつ、予め求められた対応関係に基づいて、上記ステップ１１０で算出した入力軌跡のサイズに対応する、入力時間に関する閾値を算出する。次のステップ１１４では、ＣＰＵ１２が、上記ステップ１１０で計測した入力時間が、上記ステップ１１２で算出した閾値以上であるか否かを判定する。

計測した入力時間が閾値以上である場合には、タッチパネルディスプレイ２０からの入力が手書き入力であると判断され、ステップ１１６において、ＣＰＵ１２が、軌跡記憶部２８に記憶された座標列の情報を入力軌跡として、文字認識部３８へ出力する。そして、ＣＰＵ１２は、入力判定処理ルーチンを終了する。

一方、計測した入力時間が閾値未満である場合には、タッチパネルディスプレイ２０からの入力がキー操作であると判断され、ステップ１１８へ移行する。ステップ１１８において、ＣＰＵ１２が、軌跡記憶部２８に記憶された座標列の情報と、表示されている各キーの位置とを比較して、操作対象となるキーを選定する。そして、ステップ１２０において、ＣＰＵ１２が、上記ステップ１１８で選定したキーの操作に対応する処理を実行して、入力判定処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る情報処理装置１０は、タッチパネルディスプレイ上のタッチによる入力軌跡のサイズを算出する。次に、情報処理装置１０は、入力軌跡のサイズと、手書き入力時の最小入力時間との関係式に基づいて、算出された入力軌跡のサイズに対応する最小入力時間を、閾値として算出する。そして、情報処理装置１０は、測定された入力時間と、算出された閾値とを比較して、タッチパネルディスプレイ上のタッチによる入力が、手書き入力であるか、又はキー操作であるかを判定する。従って、情報処理装置１０は、手書き入力であるか、キー操作であるかを精度良く判定することができる。

また、情報処理装置１０は、入力軌跡のサイズ毎に求めた手書き入力時の最小入力時間に対して、線形補間を行い、入力軌跡のサイズと手書き入力時の最小入力時間との対応関係を求める。これによって、情報処理装置１０は、任意の入力軌跡のサイズに対応して、手書き入力時の最小入力時間を閾値として算出することができる。

なお、上記の実施の形態では、軌跡サイズ算出部３０が、入力軌跡の全長を、サイズとして求める場合を例に説明したが、これに限定されるものではない。例えば、軌跡サイズ算出部３０が、入力軌跡の外接矩形の面積、外接矩形の長辺の長さ、又は外接矩形の高さと幅の和を、入力軌跡のサイズとして求めるようにしてもよい。

また、上記の実施の形態では、情報処理装置１０が、入力軌跡のサイズ毎に求めた、入力時間の最小値の実測値に基づいて、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係を求める場合を例に説明したが、これに限定されるものではない。例えば、情報処理装置１０が、入力軌跡のサイズ毎に求めた、入力時間の最小値の推定値に基づいて、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係を求めるようにしてもよい。

また、上記の実施の形態では、情報処理装置１０が、入力軌跡のサイズ及び入力時間の組み合わせを示す隣り合う点の間を、直線で結んで直線補間することにより、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係を求める場合を例に説明した。しかし、これに限定されるものではない。例えば、情報処理装置１０が、入力軌跡のサイズ及び入力時間の組み合わせを示す隣り合う点の間を、曲線で結んで曲線補間することにより、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係を求めるようにしてもよい。情報処理装置１０は、曲線補間の方法として、例えば、スプライン補間やベジェ曲線補間などの従来既知の手法を用いればよい。

次に第２の実施の形態について説明する。なお、第２の実施の形態に係る情報処理装置の構成は、第１の実施の形態と同一構成であるので、同一符号を付して、構成に関する説明を省略する。

第２の実施の形態では、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係の求め方が、第１の実施の形態と異なっている。

入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係は、以下に説明するように求められる。

まず、ユーザが、タッチパネルディスプレイ２０上に文字などを多数手書き入力して、情報処理装置１０が、入力軌跡のサイズに対する入力時間を収集する。また、情報処理装置１０が、入力軌跡のサイズ毎に、入力時間の最小値を求める。

次に、情報処理装置１０が、図８に示すように、最小二乗法を用いて、実測値に対する直線近似を行う。例えば、最小二乗法を用いた近似は、y=axという直線により表される直線の係数aを変化させ、求められた直線と、実測したデータとの距離の二乗の総和を順次求め、総和が最も小さくなる係数aを導き出し、導き出した係数aを用いて直線近似してもよい。図８に示す例で係数を求めると、入力軌跡のサイズと手書き入力時の最小入力時間との関係式として、以下の直線を表わす式が得られる。
y = 1.657381616x
ただし、xが入力軌跡のサイズであり、yが手書き入力時の最小入力時間である。

なお、第２の実施の形態に係る情報処理装置１０の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

上記の第２の実施の形態では、情報処理装置１０が、最小二乗法を用いて、実測値に対する直線近似を行う場合を例に説明したが、これに限定されるものではない。情報処理装置１０が、最小二乗法を用いて、実測値に対する曲線近似を行うようにしてもよい。例えば、最小二乗法を用いた近似は、y=a・e^bx+cという指数関数の係数abcを変化させ、求められた曲線と、実測したデータとの距離の二乗の総和を順次求め、総和が最も小さくなる係数abcを用いて近似してもよい。情報処理装置１０が、図９に示すように、実測値に対して、指数関数で表わされる曲線で近似するようにしてもよい。上記図９の例では、指数関数として、以下の関係式に近似された。
y = -47.7879 e^-0.05227x+50.81237
このように、係数abはマイナスになるように制限をかけて最小二乗法を用いて近似することが望ましい。情報処理装置１０は、指数関数で表わされる曲線で実測値を近似することにより、実測値の最大値を超える大きな軌跡での閾値の変化が少なく、実測値が得られなかった大きな手書き入力の軌跡で誤判断につながるような値にはならない。

また、最小二乗法を用いた近似は、y=a・log(b・x+1)+cという対数関数の係数abcを変化させ、求められた曲線と、実測したデータとの距離の二乗の総和を順次求め、総和が最も小さくなる係数abcを用い近似してもよい。情報処理装置１０が、図１０に示すように、実測値に対して、対数関数で表わされる曲線で近似するようにしてもよい。上記図１０の例では、対数関数として、以下の関係式に近似された。
y = 21.74556 log(0.172067 x+1)+ 1.293963
このように、情報処理装置１０は、対数関数で表わされる曲線で実測値を近似することにより、実測値の最大値を超える大きな軌跡の閾値の変化が少なく、実測値が得られなかった大きな手書き入力の軌跡で誤判断につながるような値にはならない。

また、情報処理装置１０が、入力軌跡のサイズの範囲を、複数の区間に分け、区間毎に、手書き入力時の最小入力時間との対応関係に対して、直線近似又は曲線近似を行うようにしてもよい。例えば、情報処理装置１０が、入力軌跡のサイズの範囲を、一定値間隔で複数の区間に分けるようにしてもよい。この場合、情報処理装置１０は、区間の間隔を、離散的に得られる入力軌跡のサイズの実測値の間隔に応じて定めてもよい。また、情報処理装置１０が、区間の間隔を少しずつ広げながら、区間毎に、実測値に対して直線近似又は曲線近似を行い、実測値の近似誤差が一定範囲内に収まるときの最大の区間の間隔を、区間の間隔として決定してもよい。

また、情報処理装置１０が、離散的に得られる入力軌跡のサイズの実測値の間隔を、区間の間隔として、入力軌跡のサイズの範囲を、複数の区間に分けてもよい。

次に第３の実施の形態について説明する。なお、第３の実施の形態に係る情報処理装置の構成は、第１の実施の形態と同一構成であるため、同一符号を付して説明を省略する。

第３の実施の形態では、入力軌跡のサイズの求め方が、第１の実施の形態と異なっている。

第３の実施の形態では、軌跡サイズ算出部３０は、軌跡記憶部２８に記憶された座標列の情報から、入力軌跡の座標点間の長さに、座標点間の為すベクトルの方向に応じた重み付け及び隣接ベクトルとの為す角度に応じた重み付けを行う。軌跡サイズ算出部３０は、重み付けを行った値の合計値を、タッチ点の入力軌跡のサイズとして算出する。

例えば、軌跡サイズ算出部３０は、ベクトル方向に応じた重み付けとして、図１１に示すように、８段階に量子化した方向各々について定めた倍率を、座標点間のベクトルの長さに乗算する。重み係数（倍率）が大きければ、算出される入力軌跡のサイズも大きくなって、手書き入力に判定され易くなる。また、文字を手書き入力するとき、多くの場合は、入力軌跡の方向がおおよそ下方向か右方向となり、上方向や左方向になる頻度は非常に少ない。したがって、軌跡サイズ算出部３０は、上記図１１のように、ベクトルが上方向や左方向を向いた座標点間の長さに対して大きな重み付けを与えることで、手書き入力が文字を対象としたものである場合、判定精度を向上させることができる。

また、キー操作したときに起こる指ずれはほとんどの場合直線的であり、キー操作時の入力軌跡の屈曲は起き難い。大きな屈曲が起きた場合は、手書き入力であると判定され易くした方が良い。

そこで、軌跡サイズ算出部３０は、各座標点について、座標点の前後のベクトルについて、方向差を求める。方向差が一定値以上であった場合、軌跡サイズ算出部３０は、座標点の前後のベクトルのうち後のベクトルの長さに対して、大きな重み付けをする。例えば、ある座標点の前後のベクトルにおける方向差が一定値４５度以上であったとき、軌跡サイズ算出部３０は、後のベクトルに対して、長さを２倍する。方向差が一定値以内であれば、軌跡サイズ算出部３０は、重み付けをしない。

軌跡サイズ算出部３０は、上記のように、入力軌跡の座標点間の長さに重み付けを行い、重み付けを行った長さの合計値を、タッチ点の入力軌跡のサイズとして算出する。

以上説明したように、第３の実施の形態に係る情報処理装置によれば、入力軌跡が、複数のキーを素早く押下していく際に起こる一瞬のタッチの横ずれでは生じにくい形状、例えば直線的でない複雑な形状である場合、手書き入力と判定され易くなる。また、入力軌跡が、手書き入力では生じにくいような形状、例えば下から上に向かう直線などである場合、情報処理装置は、手書き入力と判定され難くなるように、入力軌跡のサイズを求めることができる。

なお、上記の実施の形態では、軌跡サイズ算出部３０は、入力軌跡の座標点間の長さに、重み係数を乗算する場合を例に説明したが、これに限定されるものではない。軌跡サイズ算出部３０は、入力軌跡の座標点間の長さに、重み係数を加算するようにしてもよい。

また、上記の実施の形態では、軌跡サイズ算出部３０は、入力軌跡の座標点間の各々の長さに重み付けを行う場合を例に説明したが、これに限定されるものではない。軌跡サイズ算出部３０は、入力軌跡から特徴点を抽出し、特徴点間の各々の長さに重み付けを行うようにしてもよい。これによって、タッチパネルディスプレイ２０からのサンプリングノイズを除去することができる。軌跡サイズ算出部３０は、特徴点の抽出方法として、従来既知の手法を用いればよい。例えば、軌跡サイズ算出部３０は、以下に説明するように、入力軌跡から特徴点を抽出する。図１２（Ａ）に示すように、入力軌跡のサンプリング点が、点１〜点５として得られた場合について説明する。

まず、軌跡サイズ算出部３０は、始点である点１を特徴点とする。そして、軌跡サイズ算出部３０は、特徴点からそれ以降の点ｉに伸ばした直線と、その間の点との距離のうち最大の距離値d_iを求める。上記図１２（Ａ）の例では、軌跡サイズ算出部３０は、点１−点４の直線と、その間の点２および点３との距離を求め、距離値最大である直線１−４と点２との距離をd₄としている。この距離値d_iは、点１から点ｉまでの入力軌跡が、どの程度直線からはみ出しているのかを表す。軌跡サイズ算出部３０は、このd_iが距離のしきい値D以上となる最初の点ｉを見つける。見つけた点が点jであれば、軌跡サイズ算出部３０は、点j−1を次の特徴点とする。図１２（Ｂ）の例ではｊ＝５であるから、軌跡サイズ算出部３０は、点４を次の特徴点とする。軌跡サイズ算出部３０は、次の特徴点を基点として同様の処理を行い、以降の特徴点を順次見つけていく。軌跡サイズ算出部３０は、特徴点の探索が終点まで到達したら、特徴点の抽出を終了する。なお、軌跡サイズ算出部３０は、終点も特徴点とする。

以上のように、軌跡サイズ算出部３０は、入力軌跡から特徴点を抽出する。なお、しきい値Dは定数であり、しきい値Ｄを大きく設定するほど、ノイズは除去されやすくなるが、軌跡の特徴が失われやすくなる。

また、上記の第１の実施の形態〜第３の実施の形態では、情報処理装置１０が、入力軌跡のサイズから、手書き入力とキー入力を識別する閾値となる時間を求める場合を例に説明したが、これに限定されるものではない。情報処理装置１０が、入力軌跡の入力時間に対する軌跡のサイズを収集し、入力軌跡の入力時間に基づいて、軌跡のサイズの閾値を求めるようにしてもよい。例えば、直線x=ayの係数aを、前述の最小二乗法により求めてもよい。

また、上記の第１の実施の形態〜第３の実施の形態では、直線近似、または曲線近似により、閾値を求める実施例を説明したが、これに限定されるものではない。図１４は閾値算出部として機能する閾値テーブルである。例えば、実測値から得られた情報を基に、図１４に示すように、入力軌跡の入力時間と軌跡のサイズから直接閾値を求めるようにしてもよい。例えば、入力軌跡のサイズが５ピクセルで、入力軌跡の入力時間が３０ｍｓの場合には、図１４に示すテーブルを参照すると１であるため、手書き入力と判断する。また、入力軌跡のサイズが５ピクセルで、入力軌跡の入力時間が５ｍｓの場合には、図１４に示すテーブルを参照すると０であるため、キー入力と判断する。なお、図１４に示すテーブルは、数ピクセル単位のテーブルを表しているが、１ピクセル単位でテーブルを作成してもよい。また、図１４に示すテーブルは、数ｍｓｅｃ単位のテーブルを表しているが、１ｍｓｅｃ単位のテーブルを作成してもよい。

また、上記の第１の実施の形態〜第３の実施の形態では、情報処理装置１０が、入力軌跡のサイズと、手書き入力時の最小入力時間との対応関係を求める場合を例に説明したが、これに限定されるものではない。情報処理装置１０が、入力軌跡のサイズと、キー操作時の最大入力時間との対応関係を求めるようにしてもよい。この場合、入力軌跡のサイズと、キー操作時の最大入力時間との対応関係は、以下に説明するように求められる。

まず、実際に、ユーザが、タッチパネルディスプレイ２０上に、キー操作のための入力を行い、情報処理装置１０が、入力軌跡のサイズに対する入力時間を収集する。また、情報処理装置１０が、収集した入力軌跡のサイズに対する入力時間に基づいて、入力軌跡のサイズ毎に、入力時間の最大値を求める。情報処理装置１０は、入力軌跡のサイズ毎に求めた入力時間の最大値に基づいて、入力軌跡のサイズと、キー操作時の最大入力時間との対応関係を求める。時間長算出部３２は、入力軌跡のサイズと、キー操作時の最大入力時間との関係を表わし、かつ、予め求められた対応関係に基づいて、軌跡サイズ算出部３０で求められたサイズに対応する、キー操作時の最大入力時間を、閾値として算出する。

このように、情報処理装置１０は、入力軌跡のサイズ毎に求めたキー操作時の最大入力時間に対して、線形補間、曲線補間、直線近似、又は曲線近似を行って、入力軌跡のサイズとキー操作時の最大入力時間との対応関係を求める。これによって、情報処理装置１０は、任意の入力軌跡のサイズに対応して、キー操作時の最大入力時間を閾値として算出することができる。

また、情報処理装置１０が、手書き入力時の入力軌跡のサイズに対する入力時間を収集して、入力軌跡のサイズ毎に、入力時間の最小値を求める場合を例に説明したが、これに限定されるものではない。情報処理装置１０が、手書き入力時の入力軌跡のサイズに対する入力時間を収集すると共に、キー操作時の入力軌跡のサイズに対する入力時間を収集して、入力軌跡のサイズ毎に、入力時間の最小値を求めるようにしてもよい。この場合には、情報処理装置１０が、入力軌跡のサイズ毎に、収集した手書き入力時の入力時間の範囲と、収集したキー操作時の入力時間の範囲との重複する領域の中心を求め、求められた中心に対応する入力時間を、手書き入力時の入力時間の最小値とする。又は、情報処理装置１０が、入力軌跡のサイズ毎に、収集した手書き入力時の入力時間の正規分布と、収集したキー操作時の入力時間の正規分布とを求め、両者の正規分布が交わる点に対応する入力時間を、手書き入力時の入力時間の最小値とする。

また、情報処理装置１０は、ハードウェアの機構に関して、特に限定されない。例えば、ディスプレイは有機ＥＬ方式でも液晶方式でもよく、ソフトウェアキーボードや入力筆跡を表示するのに十分な表示分解能があればよい。また、タッチパネルは、静電容量方式、光学式、又は電磁誘導方式であってもよく、ソフトウェアキーボードへのタッチ入力および手書き入力が行える程度のサンプリングレートおよび分解能があれば方式は問わない。

また、情報処理装置１０は、タッチパネルディスプレイへのタッチを入力とする場合を例に説明したが、これに限定されるものではない。情報処理装置１０は、例えば、マウス、トラックボール、カメラ映像のリアルタイム解析による物体トラッキングなど、任意のポインティングデバイスを用いてもよい。マウスやトラックボールを用いる場合には、ポインティング入力部２４は、ボタン操作中の座標入力を受け付ける。物体トラッキングを用いる場合には、ポインティング入力部２４は、ボタン操作に類する何らかのアクション、例えばトラッキング物体にボタンがあればそのボタンの操作、あるいは物体を手前に突き出す動作などを検出する。そして、ポインティング入力部２４は、検出したアクションに応じた座標入力を受け付ける。

また、情報処理装置１０には、手書き入力によって文字が入力される場合を例に説明したが、これに限定されるものではない。情報処理装置１０には、手書き入力によって、記号や図形が入力されてもよい。

更に、上記では、入力判定処理ルーチンを実行するためのプログラムが、ＨＤＤ１８に記憶されている態様を説明したが、当該プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の可搬型の記録媒体に記憶されている形態で提供することも可能である。例えば、図１３に示すように、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の、入力判定処理ルーチンを実行するためのプログラムを記憶した記録媒体５２が、情報処理装置１０のドライブ装置５０にセットされる。そして、入力判定処理ルーチンを実行するためのプログラムが、記録媒体５０からドライブ装置５０を介して、ＨＤＤ１８にインストールされる。

１０ 情報処理装置
１２ ＣＰＵ
１４ ＲＯＭ
１６ ＲＡＭ
１８ ＨＤＤ
２０ タッチパネルディスプレイ
２４ ポインティング入力部
２５ キー表示部
２６ 時間計測部
２８ 軌跡記憶部
３０ 軌跡サイズ算出部
３２ 時間長算出部
３４ 入力手段判定部
３６ 筆跡入力部
３８ 文字認識部
４０ キー選定部
４２ キー処理実行部

Claims (13)

1. 表示装置の表示画面上における位置の入力を受け付ける入力受付部と、
   前記表示装置の表示画面上に、操作される複数の操作領域を表示させる表示制御部と、
   前記入力受付部によって連続して受け付けた前記位置の入力の始点から終点までの入力時間を測定する時間測定部と、
   前記入力受付部によって連続して受け付けた前記位置の入力の始点から終点までの入力軌跡のサイズを算出する軌跡サイズ算出部と、
   入力時間と入力軌跡のサイズとの関係に基づいて閾値を算出する閾値算出部と、
   前記時間測定部によって測定された前記入力時間と、前記軌跡サイズ算出部によって算出された前記入力軌跡のサイズに基づいて、前記閾値算出部によって算出された前記閾値を比較し、比較結果に応じて、前記入力受付部によって受け付けた前記位置の入力が、手書き入力であるか、前記表示制御部によって表示させた前記操作領域の操作であるかを判定する入力判定部と、
   を含む情報処理装置。
2. 前記閾値算出部は、入力軌跡のサイズと閾値との予め求められた関係に基づいて、前記軌跡サイズ算出部によって算出された前記入力軌跡のサイズに対応する前記閾値を算出し、
   前記入力判定部は、前記時間測定部によって測定された前記入力時間と、前記閾値算出部によって算出された前記閾値を比較して、前記入力時間が大きい場合には手書き入力と判定し、前記入力時間が小さい場合には前記表示制御部によって表示させた前記操作領域の操作と判定する請求項１記載の情報処理装置。
3. 前記関係を、
   前記入力軌跡のサイズ毎に予め求められた、前記サイズの入力軌跡が手書き入力として入力されたときの前記入力時間の最小値に基づく、前記入力軌跡のサイズと前記入力時間の最小値との対応関係に対して、線形近似、線形補間、曲線近似、及び曲線補間の何れかを行うことにより求めた請求項２記載の情報処理装置。
4. 前記関係を、
   前記入力軌跡のサイズ毎に予め求められた、前記サイズの入力軌跡が前記操作領域の操作として入力されたときの前記入力時間の最大値に基づく、前記入力軌跡のサイズと前記入力時間の最大値との対応関係に対して、線形近似、線形補間、曲線近似、及び曲線補間の何れかを行うことにより求めた請求項２記載の情報処理装置。
5. 前記関係を、
   前記入力軌跡のサイズに関する区間毎に、前記区間における前記対応関係に対して線形近似及び曲線近似の何れかを行うことにより求めた請求項３又は４記載の情報処理装置。
6. 前記関係を、前記対応関係を対数関数で近似することにより求めた請求項３〜請求項５の何れか１項記載の情報処理装置。
7. 前記関係を、前記対応関係を指数関数で近似することにより求めた請求項３〜請求項５の何れか１項記載の情報処理装置。
8. 前記軌跡サイズ算出部は、前記入力軌跡の全長を前記サイズとして算出する請求項１〜請求項７の何れか１項記載の情報処理装置。
9. 前記軌跡サイズ算出部は、前記入力軌跡について求められる外接矩形の面積又は前記外接矩形の長辺の長さを前記サイズとして算出する請求項１〜請求項７の何れか１項記載の情報処理装置。
10. 前記軌跡サイズ算出部は、前記入力軌跡の各部分の長さに、該部分の向かう方向又は前記方向の変化に応じた重み付けをして、合計した値を、前記サイズとして算出する請求項１〜請求項７の何れか１項記載の情報処理装置。
11. 前記入力判定部によって手書き入力であると判定された前記位置の入力の入力軌跡に基づいて、前記入力軌跡を記憶する軌跡記憶部から入力軌跡を読み出して、入力軌跡を用いる処理を実行する手書き入力処理部と、
    前記入力判定部によって前記操作領域の操作であると判定された前記位置の入力の入力軌跡に基づいて、前記複数の操作領域から、操作された操作領域を選定する操作選定部と、
    前記操作選定部によって選定された前記操作領域に対応する処理を実行する操作入力処理部と、
    を更に含む請求項１〜請求項１０の何れか１項記載の情報処理装置。
12. 前記表示制御部は、前記複数の操作領域として、キーボードを前記表示装置の表示画面上に表示させる請求項１〜請求項１１の何れか１項記載の情報処理装置。
13. コンピュータに、
    表示装置の表示画面上における位置の入力を受け付け、
    前記表示装置の表示画面上に、操作される複数の操作領域を表示させ、
    連続して受け付けた前記位置の入力の始点から終点までの入力時間を測定し、
    連続して受け付けた前記位置の入力の始点から終点までの入力軌跡のサイズを算出し、
    入力時間と入力軌跡のサイズとの関係に基づいて閾値を算出し、
    前記測定された前記入力時間と、前記算出された前記入力軌跡のサイズに基づいて、前記算出された前記閾値を比較し、比較結果に応じて、前記受け付けた前記位置の入力が、手書き入力であるか、前記表示させた前記操作領域の操作であるかを判定する
    処理を実行させる情報処理プログラム。

Images