JP5682394B2 - タッチパネルを用いた操作入力検知装置 - Google Patents

Description

本発明は、タッチパネルを用いた操作入力検知装置に関し、特に、指を用いて行われたジェスチャーによる操作入力を検知する技術に関する。

タッチパネルは、様々な電子機器に対する入力手段として広く利用されており、コンピュータに対する入力装置としても、キーボードやマウスとともに普及しているデバイスである。たとえば、多くのノート型パソコンには、キーボードに隣接してタッチパネル（タッチパッド）が設けられ、マウスの代用となる入力機器として利用されている。また、キーボードを備えていないタブレット型のパソコン、携帯電話、その他の電子機器にもタッチパネルが利用されてきており、このような電子機器では、ディスプレイ画面がタッチパネルのタッチ面を構成し、ユーザからの操作入力を受け付ける構成になっている。

タッチパネルは、原理的には、ユーザの指が触れた位置を特定するデバイスであるが、指の接触位置の時間的変遷を解析することにより、指を用いて行われたジェスチャーによる操作入力を検知することが可能になる。特に、最近では、マルチタッチ入力が可能なタッチパネル装置が普及し始めており、複数の指によって行われた様々なジェスチャーを検知する技術が実用化している。この技術を利用すれば、ユーザは、タッチパネルに対して指を用いたジェスチャーを行うだけで、様々な指示を入力することが可能になる。

たとえば、下記の特許文献１には、アナログ抵抗膜方式のマルチタッチ対応型タッチパネル装置の構成が開示されており、特許文献２には、静電容量方式のマルチタッチ対応型タッチパネル装置の構成が開示されている。また、特許文献３には、このようなマルチタッチ対応型タッチパネル装置を用いて、ユーザが行った様々なジェスチャー動作を検知する技術が開示されている。具体的には、各指のタッチ面上での移動動作を組み合わせることにより、スライド、回転などのジェスチャーにより操作入力を行うことができる。

特開２０１０−２６６４１号公報 特開２００８−０９７６０９号公報 特表２００９−５２５５３８号公報

タッチパネルを用いてユーザからの操作入力をジェスチャーとして受け付ける場合、ユーザがどのジェスチャーを行ったのかを正確に認識することが重要である。ところが、タッチパネルは、抵抗膜の抵抗変化や静電容量素子の容量変化などを電気的に検出する仕組を利用した装置であるため、使用する場所の温度や湿度などの環境によって、出力信号の強度が変化する性質をもっている。その上、ユーザによって、指の太さ、タッチパネルに対する押圧力、指の接触角度などに個人差が生じるため、従来提案されている技術では、ユーザが行ったジェスチャーを正確に認識することは困難である。

特に、マルチタッチ対応型タッチパネル装置を用いた場合、１本指によるジェスチャー、２本指によるジェスチャー、３本指によるジェスチャー、...などを混在させることが可能になり、多数のジェスチャーを定義して用いることができる。ところが、定義するジェスチャーの数が増えれば増えるほど、実際にユーザが行ったジェスチャーがどのジェスチャーであるのかを正確に認識することが難しくなる。ユーザが行ったジェスチャーが誤認識されると、電子機器に対しては、ユーザが意図した操作入力とは全く異なる別な操作入力が与えられることになるので、ユーザは、誤認識された操作入力を取り消す操作を行った上で、ジェスチャーをやり直す必要があり、操作性が低下することは避けられない。

そこで本発明は、ユーザからタッチ面上でのジェスチャーとして与えられた操作入力を正確に検知することができるタッチパネルを用いた操作入力検知装置を提供することを目的とする。

(1) 本発明の第１の態様は、タッチパネルを用いた操作入力検知装置において、
タッチ面に対するユーザの指の接触状態を検知するタッチパネル装置と、ユーザに提示する情報を表示するディスプレイ装置と、デジタル処理ユニットと、を設け、
デジタル処理ユニットを、
タッチパネル装置から与えられる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する代表点認識部と、
代表点認識部の認識結果に基づいて、接触状態の時間的な変化態様を解析して解析パターンを得るパターン解析部と、
ディスプレイ装置の画面上にタッチ面上で複数ｍ通りのジェスチャーを行う旨の指示を表示し、当該指示に基づくユーザのｍ通りのジェスチャー動作についてパターン解析部によって得られた各解析パターンを、それぞれサンプルパターンとして採取するサンプルパターン採取部と、
第ｋ番目（１≦ｋ≦ｍ）のジェスチャーを行う旨の指示を表示したときに採取された解析パターンを、第ｋ番目のジェスチャーに対応するサンプルパターンとして格納するサンプルパターン格納部と、
外部から操作入力の検知を要求する検知要求信号が与えられた後に、パターン解析部によって得られた解析パターンを操作入力パターンとして採取する操作入力パターン採取部と、
採取された操作入力パターンを、サンプルパターン格納部に格納されている複数ｍ通りのサンプルパターンと比較し、合致もしくは近似したサンプルパターンを選択するパターン選択部と、
パターン選択部で選択されたサンプルパターンに対応するジェスチャーを示す情報を、操作入力の検知結果を示す検知結果信号として外部へ出力する検知結果出力部と、
によって構成し、
サンプルパターン採取部が、タッチパネル装置のタッチ面を分割することによって得られる複数の領域について、それぞれ別個にジェスチャーを行う旨の指示を表示し、個々の領域ごとにそれぞれサンプルパターンを採取し、
サンプルパターン格納部が、個々の領域ごとにそれぞれ別個独立したサンプルパターンを格納し、
パターン選択部が、ジェスチャーが行われた主たる領域を認識し、当該認識領域についてのサンプルパターンとの比較を行うことによりパターン選択を行うようにしたものである。

(2) 本発明の第２の態様は、上述した第１の態様に係るタッチパネルを用いた操作入力検知装置において、
デジタル処理ユニットが、現在利用中のユーザを特定する情報を入力しこれを保存するユーザ特定部を更に備え、
サンプルパターン採取部が、ユーザ特定部によって特定されたユーザごとにそれぞれ独立してサンプルパターンを採取し、
サンプルパターン格納部が、ユーザ特定部によって特定されたユーザごとにそれぞれ独立してサンプルパターンを格納し、
パターン選択部が、ユーザ特定部によって特定されたユーザについてのサンプルパターンとの比較を行うことによりパターン選択を行うようにしたものである。

(3) 本発明の第３の態様は、上述した第１または第２の態様に係るタッチパネルを用いた操作入力検知装置において、
タッチパネル装置が長方形のタッチ面を有しており、
サンプルパターン採取部が、タッチ面を横長状態で利用する横長モードと、タッチ面を縦長状態で利用する縦長モードと、について、それぞれ別個独立したサンプルパターンを採取し、
サンプルパターン格納部が、横長モードと縦長モードとについて、それぞれ別個独立してサンプルパターンを格納し、
パターン選択部が、現時点のモードを認識する機能を有し、当該認識モードについてのサンプルパターンとの比較を行うことによりパターン選択を行うようにしたものである。

(4) 本発明の第４の態様は、上述した第３の態様に係るタッチパネルを用いた操作入力検知装置において、
タッチパネル装置が重力加速度を検出するセンサを有し、
パターン選択部が、センサの出力信号に基づいて現時点のモードを認識する機能を有するようにしたものである。

(5) 本発明の第５の態様は、上述した第１〜第４の態様に係るタッチパネルを用いた操作入力検知装置において、
タッチパネル装置が、タッチ面上の個々の位置について指の接触度を示す信号を出力し、
代表点認識部が、接触度が所定の基準値以上の値を示すタッチ面上の閉領域を接触領域と認識し、「接触領域内で接触度がピークとなる位置」もしくは「タッチ面を水平面とし、接触度を高さ方向にとった座標系において、接触領域上に形成される山の重心位置」を代表点と認識するようにしたものである。

(6) 本発明の第６の態様は、上述した第１〜第５の態様に係るタッチパネルを用いた操作入力検知装置において、
代表点認識部が、各接触領域について、タッチ面上に定義された二次元ＸＹ座標系における代表点の座標値（ｘ，ｙ）および現在時刻ｔを認識し、値（ｘ，ｙ，ｔ）を含む代表点データを所定の時間間隔で出力し、
パターン解析部が、代表点データに基づいて、解析パターンを得るようにしたものである。

(7) 本発明の第７の態様は、上述した第６の態様に係るタッチパネルを用いた操作入力検知装置において、
タッチパネル装置が、タッチ面上の個々の位置について指の接触度を示す信号を出力し、
代表点認識部が、各接触領域について、更に「接触領域内の接触度のピーク値」もしくは「タッチ面を水平面とし、接触度を高さ方向にとった座標系において、接触領域上に形成される山の体積」を接触領域の強度値ａと認識し、値（ｘ，ｙ，ａ，ｔ）を含む代表点データＱ（ｘ，ｙ，ａ，ｔ）を所定の時間間隔で出力し、
パターン解析部が、代表点データＱ（ｘ，ｙ，ａ，ｔ）に基づいて、解析パターンを得るようにしたものである。

(8) 本発明の第８の態様は、上述した第７の態様に係るタッチパネルを用いた操作入力検知装置において、
パターン解析部が、値ａが所定の基準値以上の代表点データＱ（ｘ，ｙ，ａ，ｔ）のみに基づいてパターンの解析を行うようにしたものである。

(9) 本発明の第９の態様は、上述した第６〜８の態様に係るタッチパネルを用いた操作入力検知装置において、
パターン解析部が、
代表点データを格納する代表点データ格納部と、
代表点データに基づいて、同一の指の動きを示す複数の代表点の集合体からなるストロークを認識するストローク認識部と、
ストローク認識部によって認識された個々のストロークの特性を認識する特性認識部と、
ストローク認識部および特性認識部による認識結果に基づいて、固有の特性をもった１つのストロークもしくは複数のストロークの組み合わせを１つのパターンに対応づけることにより、解析パターンを決定するパターン決定部と、
を有するようにしたものである。

(10) 本発明の第１０の態様は、上述した第９の態様に係るタッチパネルを用いた操作入力検知装置において、
ストローク認識部が、代表点認識部から出力された時間的に連続した一群の代表点データに基づいて、第ｉ番目の時刻ｔ_ｉに得られた代表点と第（ｉ−１）番目の時刻ｔ_ｉ−１に得られた代表点との距離が所定の基準以下となる２つの代表点を同一のストロークに所属する代表点と認識することにより、ストロークの認識を行うようにしたものである。

(11) 本発明の第１１の態様は、上述した第９または第１０の態様に係るタッチパネルを用いた操作入力検知装置において、
特性認識部が、少なくとも、１つのストロークを構成する複数の代表点を時系列に沿った順番で連結した場合の連結線の長さの総和を示すストローク長Ｌと、ストロークの湾曲の程度を示すストローク湾曲度Ｃとを、当該ストロークの特性を示す値として算出するようにしたものである。

(12) 本発明の第１２の態様は、上述した第１１の態様に係るタッチパネルを用いた操作入力検知装置において、
特性認識部が、合計ｎ個の代表点の集合体からなるストロークについて、第ｉ番目の代表点Ｑ_ｉの座標値を（ｘ_ｉ，ｙ_ｉ）とし、第（ｉ−１）番目の代表点Ｑ_ｉ−１の座標値を（ｘ_ｉ−１，ｙ_ｉ−１）とし、代表点Ｑ_ｉ−１から代表点Ｑ_ｉへ向かうベクトルをＶ_ｉ、第（ｉ−２）番目の代表点Ｑ_ｉ−２から代表点Ｑ_ｉ−１へ向かうベクトルをＶ_ｉ−１とし、ベクトルＶ_ｉがベクトルＶ_ｉ−１に対してなす角度を変位角φ_ｉとしたときに、
Ｌ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
Ｃ＝Σ _i=3〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・φ_ｉ
／Σ _i=3〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
なる演算によって、ストローク長Ｌおよびストローク湾曲度Ｃを算出するようにしたものである。

(13) 本発明の第１３の態様は、上述した第１１または第１２の態様に係るタッチパネルを用いた操作入力検知装置において、
パターン決定部が、ストローク長Ｌおよびストローク湾曲度Ｃに基づいて各ストロークを複数の種別に分類し、特定の種別もしくはその組み合わせに対して特定の解析パターンを対応させることにより、解析パターンを決定するようにしたものである。

(14) 本発明の第１４の態様は、上述した第１３の態様に係るタッチパネルを用いた操作入力検知装置において、
パターン決定部が、ストローク長Ｌが所定の基準値Ｌth未満のストロークを「点ストローク」なる種別に分類し、ストローク長Ｌが基準値Ｌth以上のストロークを「線ストローク」とし、「線ストローク」のうち、湾曲度Ｃの絶対値が所定の基準値Ｃth未満のストロークを「直線ストローク」なる種別に分類し、「線ストローク」のうち、湾曲度Ｃの絶対値が基準値Ｃth以上のストロークを「曲線ストローク」なる種別に分類し、「点ストローク」、「直線ストローク」、「曲線ストローク」なる種別もしくはこれらの組み合わせに対してそれぞれ特定の解析パターンを対応づけることにより、解析パターンの決定を行うようにしたものである。

(15) 本発明の第１５の態様は、上述した第１４の態様に係るタッチパネルを用いた操作入力検知装置において、
ストロークが時計まわりに回転する場合と反時計まわりに回転する場合とで、互いに符号が異なるようにストローク湾曲度Ｃを定め、
パターン決定部が、ストローク湾曲度Ｃの符号に基づいて、「曲線ストローク」なる種別を、更に「時計まわり曲線ストローク」と「反時計まわり曲線ストローク」との２通りの種別に分けて取り扱い、パターンの決定を行うようにしたものである。

(16) 本発明の第１６の態様は、上述した第１４または第１５の態様に係るタッチパネルを用いた操作入力検知装置において、
特性認識部が、更に、ＸＹ平面上でのストローク全体の方位を示すストローク方位Ｂを、当該ストロークの特性を示す値として算出するようにしたものである。

(17) 本発明の第１７の態様は、上述した第１６の態様に係るタッチパネルを用いた操作入力検知装置において、
特性認識部が、合計ｎ個の代表点の集合体からなるストロークについて、第（ｉ−１）番目の代表点Ｑ_ｉ−１から第ｉ番目の代表点Ｑ_ｉへ向かうベクトルＶ_ｉが所定の基準座標軸に対してなす角度を方位角θ_ｉとしたときに、
Ｂ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・θ_ｉ
／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
なる演算によって、ストローク方位Ｂを算出するようにしたものである。

(18) 本発明の第１８の態様は、上述した第１６または第１７の態様に係るタッチパネルを用いた操作入力検知装置において、
パターン決定部が、ストローク方位Ｂに基づいて、「直線ストローク」なる種別を、更に、方位の異なる複数Ｗ通りの種別に分けて取り扱い、パターンの決定を行うようにしたものである。

(19) 本発明の第１９の態様は、上述した第１４〜第１８の態様に係るタッチパネルを用いた操作入力検知装置において、
特性認識部が、更に、ＸＹ平面上でのストロークの位置を示すストローク位置Ｐを、当該ストロークの特性を示す値として算出するようにしたものである。

(20) 本発明の第２０の態様は、上述した第１９の態様に係るタッチパネルを用いた操作入力検知装置において、
特性認識部が、合計ｎ個の代表点の集合体からなるストロークについて、第ｉ番目の代表点Ｑ_ｉの座標値を（ｘ_ｉ，ｙ_ｉ）とし、第（ｉ−１）番目の代表点Ｑ_ｉ−１の座標値を（ｘ_ｉ−１，ｙ_ｉ−１）としたときに、
ｘｐ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・ｘ_ｉ
／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
ｙｐ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・ｙ_ｉ
／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
なる演算によって、ストローク位置Ｐ（ｘｐ，ｙｐ）の座標値を算出するようにしたものである。

(21) 本発明の第２１の態様は、上述した第１９または第２０の態様に係るタッチパネルを用いた操作入力検知装置において、
パターン決定部が、複数のストロークを含むパターンに対しては、ストローク位置Ｐを参照することにより相互位置関係を把握し、相互位置関係が異なるパターンを区別してパターンの決定を行うようにしたものである。

(22) 本発明の第２２の態様は、上述した第９〜第２１の態様に係るタッチパネルを用いた操作入力検知装置において、
パターン選択部が、採取された操作入力パターンに合致するサンプルパターンが存在しない場合に、操作入力パターンに含まれるストロークの特性に近似した特性をもったストロークを含む近似サンプルパターンを選択するようにしたものである。

(23) 本発明の第２３の態様は、上述した第２２の態様に係るタッチパネルを用いた操作入力検知装置において、
デジタル処理ユニットが、検知結果出力部が過去に出力した検知結果の履歴を格納する履歴格納部を更に備え、
パターン選択部が、近似サンプルパターンを選択する際に、上記履歴を参照し、過去の選択頻度が高いサンプルパターンほど、より近似するサンプルパターンとする判断を行うようにしたものである。

(24) 本発明の第２４の態様は、上述した第１１〜第２１の態様に係るタッチパネルを用いた操作入力検知装置において、
パターン選択部が、採取された操作入力パターンに合致するもしくは近似するサンプルパターンが存在しない場合に、操作入力パターンに含まれる複数のストロークのうち、ストローク長Ｌの最も短いストロークを削除した修正操作入力パターンを作成し、修正操作入力パターンに合致するサンプルパターンを選択するようにしたものである。

(25) 本発明の第２５の態様は、上述した第１〜第２４の態様に係るタッチパネルを用いた操作入力検知装置において、
タッチパネル装置およびディスプレイ装置を、表示画面がタッチ面を構成するタッチパネル付ディスプレイ装置によって構成したものである。

(26) 本発明の第２６の態様は、上述した第１〜第２５の態様に係るタッチパネルを用いた操作入力検知装置と、
当該操作入力検知装置に対して検知要求信号を与えるとともに、当該操作入力検知装置から検知結果信号の出力を受ける機能をもった外部ユニットと、
によって、電子機器を構成したものである。

(27) 本発明の第２７の態様は、上述した第１〜第２４の態様に係るタッチパネルを用いた操作入力検知装置におけるデジタル処理ユニットを、コンピュータにプログラムを組み込むことにより構成したものである。

(28) 本発明の第２８の態様は、タッチ面に対するユーザの指の接触状態を検知するタッチパネル装置と、ユーザに提示する情報を表示するディスプレイ装置と、が接続されたコンピュータによって、ユーザのタッチパネル装置に対する操作入力を検知するタッチパネルを用いた操作入力検知方法を、
予めユーザのサンプル操作を登録する準備段階と、ユーザの実操作入力を受け付けてこれを検知する検知段階と、によって構成し、
準備段階では、
コンピュータが、ディスプレイ装置の画面上にタッチ面上で所定のジェスチャーを行う旨の指示を表示し、当該指示に基づくユーザのジェスチャー動作によってタッチパネル装置から得られる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する段階と、
コンピュータが、代表点の時間的変遷に基づいて、接触状態の時間的な変化態様を解析し、その結果をジェスチャーに対応するサンプルパターンとして採取する段階と、
を複数ｍ通りのジェスチャーについて実行し、個々のジェスチャーに対応するサンプルパターンを採取する処理が行われるようにし、
検知段階では、
コンピュータが、実操作入力の検知が必要なときに、タッチパネル装置から与えられる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する段階と、
コンピュータが、代表点の時間的変遷に基づいて、接触状態の時間的な変化態様を解析し、その結果を実操作入力に対応する操作入力パターンとして採取する段階と、
コンピュータが、採取された操作入力パターンを、準備段階で採取した複数ｍ通りのサンプルパターンと比較し、合致もしくは近似したサンプルパターンを選択する段階と、
コンピュータが、選択されたサンプルパターンに対応する操作入力がなされた旨を検知する段階と、
が行われるようにし、
準備段階で、コンピュータが、タッチパネル装置のタッチ面を分割することによって得られる複数の領域について、それぞれ別個にジェスチャーを行う旨の指示を表示し、個々の領域ごとにそれぞれサンプルパターンを採取する処理を行い、
検知段階で、コンピュータが、ジェスチャーが行われた主たる領域を認識し、当該認識領域についてのサンプルパターンとの比較を行うことによりパターン選択を行うようにしたものである。

(29) 本発明の第２９の態様は、上述した第２８の態様に係るタッチパネルを用いた操作入力検知方法において、
準備段階で、コンピュータが、複数のユーザについてそれぞれ別個独立したサンプルパターンを採取する処理を行い、
検知段階で、コンピュータが、現在利用中のユーザを特定し、当該ユーザについてのサンプルパターンとの比較を行うことによりパターン選択を行うようにしたものである。

本発明に係るタッチパネルを用いた操作入力検知装置では、タッチパネル装置から与えられる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷が認識され、その変化パターンが解析される。しかも、ユーザは、準備段階において、様々なジェスチャーの解析パターンをサンプルパターンとして登録しておくことができる。そして、実際の検知段階では、ユーザが行ったジェスチャーのパターンが操作入力パターンとして採取され、当該採取パターンに合致もしくは近似するパターンが、サンプルパターンの中から選択され、選択されたサンプルパターンに対応するジェスチャーを示す情報が、操作入力の検知結果として出力される。このように、準備段階で予め登録しておいたサンプルパターンを用いて、操作入力パターンに合致もしくは近似するパターン選択が行われるため、ユーザの操作入力を正確に検知することができるようになる。

特に、マルチタッチ対応型タッチパネル装置を用いて、複数の指を用いた多様なジェスチャーによる操作入力を検知する場合でも、ユーザに固有のジェスチャー動作の特徴を予め採取してサンプルパターンとして登録しておくことができるので、当該ユーザが行ったジェスチャー動作を正確に認識することができ、正確な操作入力の検知が可能になる。

また、複数のユーザによる利用が予定されている操作入力検知装置の場合は、現在利用中のユーザを特定する情報を入力しこれを保存するユーザ特定部を設け、個々のユーザごとにそれぞれ独立してサンプルパターンを採取するようにすれば、個々のユーザに固有の特徴をそれぞれ考慮した正確な操作入力の検知が可能になる。

更に、比較的大面積のタッチパネル装置の場合、ユーザが全く同一のジェスチャー動作を行ったつもりでも、タッチ面の位置によって、個々の指の接触の度合いが異なり、実際に得られる解析パターンが異なるケースが少なくない。このようなケースに対応するには、タッチパネル装置のタッチ面を分割して複数の領域を定義し、個々の領域ごとにそれぞれ別個独立したサンプルパターンを採取すればよい。そうすれば、ジェスチャーが行われた主たる領域を認識し、当該認識領域についてのサンプルパターンとの比較を行うことにより、正確な操作入力の検知が可能になる。タッチパネル装置が長方形のタッチ面を有している場合は、ユーザが縦長状態で利用しているのか、横長状態で利用しているのかを区別するようにすれば、一層正確な操作入力の検知が可能になる。

代表点の時間的変遷に基づく変化パターンの解析は、同一の指の動きを示す複数の代表点の集合体からなるストロークを認識するのが効果的である。複数のストロークが認識された場合、ユーザが複数の指を用いてジェスチャー動作を行っていることが認識できる。また、個々のストロークについて、ストローク長Ｌとストローク湾曲度Ｃとを求めるようにすれば、各ストロークを、点ストローク、直線ストローク、曲線ストロークに分けて把握することができ、これら異なるストロークもしくはその組み合わせによってパターンを定義できるので、類型的に複数のパターン定義が可能になる。更に、ストローク方位Ｂおよびストローク位置Ｐを求めるようにすれば、より詳細な類型バリエーションをもったパターン定義が可能になる。

パターン選択の際に、完全に合致したサンプルパターンが存在しない場合には、近似したサンプルパターンを選択することにより、サンプルパターン採取時とは多少異なったジェスチャー動作を行った場合でも、有効な操作入力として検知できる運用を行うことができるようになる。この場合、近似度を過去の履歴を参照して決定するようにすれば、より妥当な判断が可能になる。また、パターンが合致しない場合に、ストローク長Ｌの短いストロークを削除することにより、指が誤って触れたことによって生じたストロークを無視した取り扱いができるようになる。

本発明の基本的な実施形態に係るタッチパネルを用いた操作入力検知装置の構成を示すブロック図である。 図１に示すタッチパネル装置１０のタッチ面に対する指の接触状態の一例を示す平面図である。 図２に示す接触状態において、タッチパネル装置１０から得られる検知信号を示すグラフである。 図１に示す操作入力検知装置のパターン解析部１２０の詳細な構成を示すブロック図である。 図４に示すストローク認識部１２２によるストローク認識処理の原理を示す平面図である。 図４に示す特性認識部１２３によって認識されるストローク特性を示す平面図である。 図６に示すストローク特性を算出する原理を示すグラフである。 図６に示すストローク特性を算出する具体的な演算式を示す図である。 図４に示すパターン決定部１２４によるパターン決定処理の手順を示す流れ図である。 図４に示すパターン決定部１２４によって決定された解析パターンのいくつかの例を示す平面図である。 ２本指を用いたジェスチャーの種類を例示する平面図である。 図１に示す操作入力検知装置のディスプレイ装置２０に表示される指示画面の一例を示す平面図である。 図１に示す操作入力検知装置のサンプルパターン格納部１５０に格納されているサンプルパターンの一例を示す平面図である。 図１３に示すサンプルパターンとは異なる別なユーザのサンプルパターンの一例を示す平面図である。 本発明の変形例に係るタッチパネルを用いた操作入力検知装置の構成を示すブロック図である。 図１５に示す操作入力検知装置のサンプルパターン格納部１５０に格納されているユーザごとのサンプルパターンの一例を示す平面図である。 タッチ面上に複数の領域を定義し、個々の領域ごとにサンプルパターンを採取した例を示す平面図である。 本発明の別な変形例に係るタッチパネルを用いた操作入力検知装置の構成を示すブロック図である。 図１８に示す操作入力検知装置のタッチパネル付ディスプレイ装置３０に表示される指示画面の一例を示す平面図である。 図１８に示す操作入力検知装置のサンプルパターン格納部１５０に格納されている領域ごとのサンプルパターンの一例を示す平面図である。 図１８に示す操作入力検知装置のタッチパネル付ディスプレイ装置３０を横長状態で利用する場合と縦長状態で利用する場合を示す平面図である。 ストローク方位Ｂに基づいて３６通りの直線ストロークを定義した例を示す平面図である。 ストローク方位Ｂに基づいて８通りの曲線ストロークを定義した例を示す平面図である。 ストローク湾曲度Ｃに基づいて４通りの曲線ストロークを定義した例を示す平面図である。 ２本指を用いたジェスチャーのバリエーションを示す平面図である。 本発明の更に別な変形例に係るタッチパネルを用いた操作入力検知装置の構成を示すブロック図である。 ２本指を上から下にスライドさせるジェスチャーを行った場合に得られた具体的な代表点データの一例を示す表である。 図２７に示す代表点データを解析することにより得られたパターンを示す平面図である。 ２本指を左から右にスライドさせるジェスチャーを行った場合に得られた具体的な代表点データの一例を示す表である。 図２９に示す代表点データを解析することにより得られたパターンを示す平面図である。 ２本指による時計まわりのジェスチャーを行った場合に得られた具体的な代表点データの一例を示す表である。 図３１に示す代表点データを解析することにより得られたパターンを示す平面図である。 ２本指による反時計まわりのジェスチャーを行った場合に得られた具体的な代表点データの一例を示す表である。 図３３に示す代表点データを解析することにより得られたパターンを示す平面図である。 本発明に係るタッチパネルを用いた操作入力検知方法の手順を示す流れ図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１．本発明に係る操作入力検知装置の基本構成 ＞＞＞
図１は、本発明の基本的な実施形態に係るタッチパネルを用いた操作入力検知装置の構成を示すブロック図である。図示のとおり、この操作入力検知装置は、タッチパネル装置１０，ディスプレイ装置２０，デジタル処理ユニット１００によって構成されており、外部ユニット２００からの要求に基づいて、ユーザが指によるジェスチャー動作として行った操作入力を検知し、検知結果を外部ユニット２００に返す機能を果たす。

ここで、タッチパネル装置１０は、タッチ面に対するユーザの指の接触状態を検知し、検知信号を出力する装置である。このようなタッチパネル装置１０としては、主として、抵抗膜方式の装置と静電容量方式の装置とが市販されている。また、ディスプレイ装置２０は、ユーザに提示する情報を表示する一般的な装置であり、本発明では、準備段階において、ユーザに対して所定のジェスチャーを行う旨の指示を提示するために利用される。

一方、デジタル処理ユニット１００は、図において一点鎖線で囲われた領域内の各ブロックから構成される。具体的には、デジタル処理ユニット１００は、図示のとおり、代表点認識部１１０，パターン解析部１２０，サンプルパターン採取部１３０，操作入力パターン採取部１４０，サンプルパターン格納部１５０，パターン選択部１６０，検知結果出力部１７０によって構成される。ここに示す実施形態の場合、このデジタル処理ユニット１００は、コンピュータに専用のプログラムを組み込むことによって実現されている。また、コンピュータとして、ノート型パソコンを用いた場合は、当該ノート型パソコンに備わっているタッチパッドをタッチパネル装置１０としてそのまま利用することができ、当該ノート型パソコンに備わっている液晶ディスプレイ等をそのままディスプレイ装置２０として利用することができる。

外部ユニット２００は、この操作入力検知装置を利用して、ユーザからの操作入力を受け付け、様々な処理を実行する装置であり、ここに示す実施形態の場合、この外部ユニット２００も、コンピュータに専用のプログラムを組み込むことによって実現されている。具体的には、コンピュータにＯＳプログラムおよびアプリケーションプログラムを組み込むことにより外部ユニット２００を構成することができ、当該ＯＳプログラムもしくはアプリケーションプログラムがユーザからの操作入力を必要とした場合、外部ユニット２００からデジタル処理ユニット１００に対して検知要求信号が出され、検知結果がデジタル処理ユニット１００から外部ユニット２００に返されることになる。

要するに、外部ユニット２００は、操作入力検知装置に対して検知要求信号を与えるとともに、当該操作入力検知装置から検知結果信号の出力を受ける機能をもった装置であり、この検知結果信号により、ユーザがどのような操作入力を行ったかを認識し、当該操作入力に対応する処理を実行することになる。結局、この外部ユニット２００に、操作入力検知装置（タッチパネル装置１０，ディスプレイ装置２０，デジタル処理ユニット１００）を付加することにより構成される電子機器は、ユーザの指によるジェスチャー動作を操作入力として受け付け、何らかの処理を行う機器ということになる。

なお、図示の実施形態の場合、タッチパネル装置１０およびディスプレイ装置２０は、デジタル処理ユニット１００と外部ユニット２００とによって共用される構成になっているが、もちろん、外部ユニット２００が別系統のユーザインターフェイスを備えている場合には、タッチパネル装置１０およびディスプレイ装置２０を外部ユニット２００に利用させる必要はない。ただ、実用上は、ハードウエアを効率的に利用するため、図示の例のような共用形態を採るのが好ましい。特に、ノート型パソコンを利用した場合、タッチパネル装置１０およびディスプレイ装置２０を、当該ノート型パソコンに組み込まれたタッチパッドおよびディスプレイによって構成することができ、デジタル処理ユニット１００および外部ユニット２００を、当該ノート型パソコンに組み込んだプログラムによって構成することができる。

続いて、デジタル処理ユニット１００の各構成要素の機能について説明する。まず、代表点認識部１１０は、タッチパネル装置１０から与えられる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する機能を有する構成要素である。後述するように、タッチパネル装置１０は、縦横に配置された多数の格子点位置における指の接触状態を電気信号として出力する装置であり、ユーザの指の接触領域は、複数の格子点の集合として認識される。代表点認識部１１０は、この接触領域の代表位置（たとえば、中心位置）を代表点として認識するとともに、その時間的変遷を認識する機能を果たす。

一方、パターン解析部１２０は、この代表点認識部１１０の認識結果に基づいて、接触状態の時間的な変化態様を解析して解析パターンを得る機能を果たす。すなわち、代表点認識部１１０が認識した代表点が時間的にどのように移動するかを解析し、その移動形態をパターン化する処理を行うことになる。たとえば、ユーザがタッチ面上で、「１本の指を上から下へとスライドするジェスチャー」を行った場合、当該動作は、「１つの代表点が縦方向に移動するパターン」として認識される。ここでは、このパターン解析部１２０による解析によって得られたパターンを「解析パターン」と呼ぶことにする。こうして得られた解析パターンは、サンプルパターン採取部１３０もしくは操作入力パターン採取部１４０において利用される。

サンプルパターン採取部１３０は、ディスプレイ装置２０の画面上に、タッチ面上で複数ｍ通りのジェスチャーを行う旨の指示を表示し、当該指示に基づくユーザのｍ通りのジェスチャー動作についてパターン解析部１２０によって得られた各解析パターンを、それぞれサンプルパターンとして採取する機能を果たす。

また、サンプルパターン格納部１５０は、サンプルパターン採取部１３０が、第ｋ番目（１≦ｋ≦ｍ）のジェスチャーを行う旨の指示を表示したときに採取された解析パターンを、第ｋ番目のジェスチャーに対応するサンプルパターンとして格納する機能を果たす。たとえば、「１本の指を上から下へとスライドするジェスチャー」を行うよう指示した場合に得られた解析パターンは、当該ジェスチャーに対応するサンプルパターンとして格納され、「２本の指を左から右へとスライドするジェスチャー」を行うよう指示した場合に得られた解析パターンは、当該ジェスチャーに対応するサンプルパターンとして格納される。

このように、本発明に係る操作入力検知装置を利用するには、事前に準備段階として、複数ｍ通りのジェスチャー動作についてそれぞれサンプルパターンを採取し、これらをサンプルパターン格納部１５０に格納する登録作業を行う必要がある。このような準備段階が終了すれば、サンプルパターン採取部１３０の役割は完了する（もちろん、必要に応じて、新たなジェスチャー動作について新たなサンプルパターンを採取することも可能である）。準備段階が完了した後は、以下に述べる各構成要素の機能を利用して、実際の検出段階を行うことができる。

まず、操作入力パターン採取部１４０は、外部ユニット２００から操作入力の検知を要求する検知要求信号が与えられた後に、パターン解析部１２０によって得られた解析パターンを操作入力パターンとして採取する機能を果たす。一方、パターン選択部１６０は、操作入力パターン採取部１４０によって採取された操作入力パターンを、サンプルパターン格納部１５０に格納されている複数ｍ通りのサンプルパターンと比較し、合致したサンプルパターンを選択する機能を果たす。選択結果は、検知結果出力部１７０に伝えられる。検知結果出力部１７０は、パターン選択部１６０で選択されたサンプルパターンに対応するジェスチャーを示す情報を、操作入力の検知結果を示す検知結果信号として外部ユニット２００へ出力する機能を果たす。

以上の処理を外部ユニット２００側から見ると、ユーザによる何らかの操作入力が必要なときに、操作入力パターン採取部１４０に対して検知要求信号を与えると、ユーザがジェスチャー動作を終えた後に、検知結果出力部１７０から検知結果信号が出力されてくることになる。ここで、この検知結果信号は、ユーザが行ったジェスチャー動作が、予め登録してある複数ｍ通りのジェスチャー動作のいずれに対応するものであるかを示す信号（もしくは、合致するジェスチャー動作が登録されていないことを示すエラー信号）になる。

このように、本発明では、サンプルパターン格納部１５０内に予め登録しておいた複数ｍ通りのサンプルパターンを用いて、操作入力パターン採取部１４０によって採取された操作入力パターンに合致するパターン選択が行われるため、たとえユーザのジェスチャー動作が標準的なジェスチャー動作とかけ離れていたとしても、ユーザのジェスチャー動作に基づいて正しい操作入力の検知が可能になる。

一般に、１本指を縦もしくは横方向にスライドさせるような単純なジェスチャー動作は、ユーザ間でそれほど大きな相違は生じないであろう。しかしながら、２本指、３本指といった複数の指を用い、スライド、回転、タップなどを組み合わせた複雑なジェスチャーによって様々な操作入力を行う電子機器の場合、同じジェスチャーを行うように指示を与えたとしても、実際にタッチ面上で行われるジェスチャー動作には、ユーザ間にバラツキが生じ、パターン解析部１２０によってそれぞれ異なる解析パターンが得られる可能性がある。

本発明では、準備段階において、ユーザ自身によって複数ｍ通りのジェスチャー動作が実行され、そのときに得られた解析パターンがそれぞれ各ジェスチャーについてのサンプルパターンとして登録されることになる。そして、検出段階では、得られた操作入力パターンが複数ｍ通りのサンプルパターンと比較され、特定のジェスチャーの選択が行われる。したがって、ジェスチャー動作にユーザに固有の特徴があったとしても、当該特徴を利用して、ユーザの操作入力を正確に検知することができるようになる。

＜＜＜ §２．各構成要素による具体的処理 ＞＞＞
ここでは、図１に示すデジタル処理ユニット１００を構成する個々の要素が実行する具体的な処理内容を説明する。もちろん、ここで説明する具体的な処理は、本発明の一実施例を示すものであり、本発明は、この実施例に限定されるものではない。

＜２−１：代表点認識部の具体的な処理＞
既に述べたとおり、代表点認識部１１０は、タッチパネル装置１０から与えられる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する構成要素である。図２は、このタッチパネル装置１０のタッチ面に対する指の接触状態の一例を示す平面図である。図示のとおり、一般的なタッチパネル装置１０のタッチ面には、縦横に格子線が定義されており、この格子線の交点に配置された多数の格子点位置における指の接触状態が電気信号として検知される。抵抗膜方式のタッチパネル装置の場合は格子点位置における電気抵抗値の変化が電気信号として取り出され、静電容量方式のタッチパネル装置の場合は格子点位置における静電容量値の変化が電気信号として取り出される。

ここでは、説明の便宜上、このタッチ面上に図示のような二次元ＸＹ座標系を定義し、タッチ面上の任意の点の位置を座標値（ｘ，ｙ）で示すことにする。たとえば、格子点Ｈの位置は、Ｈ（ｘ，ｙ）なる座標値で表される。図示の例では、縦方向の格子線はＸ軸方向にピッチｄｘで並んでおり、横方向の格子線はＹ軸方向にピッチｄｙで並んでいる。結局、指の接触状態を示す電気信号は、横方向にピッチｄｘ、縦方向にピッチｄｙで配列された多数の格子点ごとの離散値として得られることになる。指の接触状態を検知する用途では、ピッチｄｘ，ｄｙは５ｍｍ程度以下であれば十分である。

図２にハッチングを施して示す領域Ａ１，Ａ２は、指がタッチ面に接触した接触領域を示している。この例では、ユーザが２本の指の先端をタッチ面に接触させた状態が示されている。この場合、接触領域Ａ１，Ａ２内に位置する格子点について、接触状態を示す有意な信号が得られる。図３は、図２に示す接触状態において、Ｙ座標値ｙ_ｋで示される横方向の格子線上の検出値を示すグラフであり、ピッチｄｘで描かれたバーは、個々の格子点で得られた検出値を示している。実際には、格子点は二次元平面上に分布しているため、タッチパネル装置１０から与えられる検知信号は、図３に示すグラフを紙面の奥行き方向にも拡張した三次元のグラフで表現される。このように、実際の検出値は、図の横方向にピッチｄｘ、図の奥行き方向にピッチｄｙで配置された離散的な格子点について得られるだけであるが、これらの離散値を補間することにより、図示のような包絡面Ｅを求めることができる。

図３に示すとおり、接触領域Ａ１，Ａ２に対応する部分は、山のような盛り上がりを示している。これは、指による接触状態が、各格子点の位置における抵抗値や静電容量値の変化量、すなわちアナログ量として検出されるためである。ここに示す例では、このアナログ量は８ビットのデジタル量（０〜２５５の数値）に変換され、代表点認識部１１０に取り込まれる。すなわち、指による接触状態を示す信号は、接触／非接触を示す二値信号として取り込まれるわけではない。タッチパネル装置１０は、タッチ面上の個々の位置について、指の接触度（接触の程度・指の押圧力）を示す信号を出力し、代表点認識部１１０には、段階的な接触度を示す検出値が取り込まれることになる。もちろん、タッチ面に対する押圧力が大きければ、それだけ大きな検出値が取り込まれる。

なお、抵抗膜の抵抗値や静電容量素子の容量値は、使用する場所の温度や湿度などの環境によっても変化するので、実際の使用環境では、指が全く触れていない領域についてもノイズ成分としての検出値が出力される。図３に示すグラフにおいて、接触領域Ａ１，Ａ２以外の部分（山の裾野）の検出値が０になっていないのは、このノイズ成分が検出されているためである。そこで、代表点認識部１１０は、接触度を示す検出値について、所定の基準値Thを定め、検出値が基準値Th以上の値を示すタッチ面上の閉領域を接触領域と認識する処理を行う。図３に示す例の場合、検出値が基準値Th以上の値を示す２つの山の部分が接触領域と認識され、その結果、図２にハッチングを施して示す接触領域Ａ１，Ａ２の認識が行われる。

ただ、ユーザが行ったジェスチャー動作は、このような接触領域の時間的な変遷パターンとして把握されるので、ジェスチャー動作のパターン解析を行う上では、面積をもった領域の情報のままよりも、位置を示す点の情報に変換した方が取り扱いに便利である。そこで、代表点認識部１１０では、個々の接触領域Ａ１，Ａ２について、それぞれ代表点Ｑ１，Ｑ２を求める処理が行われる。これらの代表点は、ＸＹ座標系の座標値を用いて、Ｑ１（ｘ１，ｙ１），Ｑ２（ｘ２，ｙ２）のような形式の位置データとして得ることができる。

各代表点Ｑ１，Ｑ２は、各接触領域Ａ１，Ａ２の代表位置を示す点であれば、どのような方法で決定してもかまわない。図３に示す例では、「接触領域内で接触度がピークとなる位置」（要するに、山の頂点の位置）として、各接触領域Ａ１，Ａ２についての代表点Ｑ１，Ｑ２の位置を求めている。なお、図３では、説明の便宜上、山の頂点に点Ｑ１，Ｑ２をプロットしてあるが、実際の代表点Ｑ１，Ｑ２は、タッチ面（すなわち、ＸＹ平面）上に定義される点であるから、これら山の頂点をＸＹ平面に投影した点が代表点Ｑ１，Ｑ２ということになる。また、図２に示すとおり、点Ｑ１，Ｑ２は、Ｙ座標値ｙ_ｋで示される横方向の格子線上の点ではないので、図３に示す点Ｑ１は、実際には、グラフの紙面より若干手前の点であり、図３に示す点Ｑ２は、実際には、グラフの紙面より若干奥の点ということになる。

代表点を決定する別な方法は、基準値Th以上の部分からなる山の重心位置（より正確に表現すれば、タッチ面を水平面とし、接触度を高さ方向にとった座標系において、接触領域上に形成される山の重心位置）を代表点の位置とする方法である。この方法では、山の重心位置を決定する演算が必要になるが、山全体の体積分布を考慮して代表点を決定することができるので、より適切な代表点を求めることができる。

ユーザが、タッチ面上で指を動かしてジェスチャー動作を行うと、タッチパネル装置１０から与えられる検知信号は、時々刻々と変化することになるので、当然ながら、代表点Ｑの位置も時間とともに変化する。そこで、代表点認識部１１０は、各接触領域について、タッチ面上に定義された二次元ＸＹ座標系における代表点Ｑの座標値（ｘ，ｙ）を上述した方法で認識するとともに、現在時刻ｔを認識し、値（ｘ，ｙ，ｔ）を含む代表点データを所定の時間間隔で出力する処理を行う。

たとえば、サンプリング期間を５０ｍｓに設定しておけば、代表点認識部１１０は、５０ｍｓおきに、タッチパネル装置１０から与えられた検知信号に基づいて認識されたすべての代表点Ｑの位置座標（ｘ，ｙ）を、その時点の時刻ｔを示す情報とともに出力する処理を行うことになる。なお、タッチパネル装置１０がイベントドリブン型の装置である場合は、指の接触状態に所定以上の変化が生じた場合にのみ、検知信号が出力されることになる。このような場合、代表点認識部１１０には、一定周期で検出信号が得られなくなるが、時間軸上での補間処理を行うことにより、たとえば、５０ｍｓというサンプリング期間ごとの位置座標（ｘ，ｙ）を求めればよい。もちろん、サンプリング期間は、必ずしも５０ｍｓのような一定周期にする必要はないので、イベントドリブン型の装置から検知信号が与えられるたびに、その時点の代表点Ｑの位置座標（ｘ，ｙ）とその時点の時刻ｔを出力するようにしてもかまわない。

ここで説明した実施例の場合、タッチパネル装置１０から与えられる検知信号は、図３のグラフに示すように、接触度を示す８ビットの検出値によって構成されている。このように、タッチパネル装置１０が、タッチ面上の個々の位置について指の接触度を示す信号を出力する機能をもっている場合、代表点Ｑの位置座標（ｘ，ｙ）だけでなく、当該代表点位置における指の押圧力を示す強度値ａを求めることができる。

この強度値ａは、たとえば、「接触領域内の接触度のピーク値」として定義することができる。図３に示す例の場合、接触領域Ａ１についての強度値ａ１は、図に点Ｑ１として示す山の頂点の高さ（接触度）として定義され、接触領域Ａ２についての強度値ａ２は、図に点Ｑ２として示す山の頂点の高さ（接触度）として定義される。あるいは、山の体積（正確に表現すれば、タッチ面を水平面とし、接触度を高さ方向にとった座標系において、接触領域上に形成される山の体積）として、強度値ａを定義することもできる。

この実施例の場合、代表点認識部１１０は、各接触領域について、それぞれ強度値ａを認識し、値（ｘ，ｙ，ａ，ｔ）を含む代表点データＱ（ｘ，ｙ，ａ，ｔ）を所定の時間間隔で出力する処理を行う。結局、この代表点データＱ（ｘ，ｙ，ａ，ｔ）は、時刻ｔに、座標値（ｘ，ｙ）で示される代表点Ｑの付近に、強度値ａで示される押圧力をもって指が接触した、という事実を示す情報ということになる。複数の指が同時にタッチ面に接触した場合は、時刻ｔが同一の複数の代表点データＱ（ｘ，ｙ，ａ，ｔ）が同時に出力される。

＜２−２：パターン解析部の具体的な処理＞
続いて、パターン解析部１２０において行われる具体的な処理を説明する。上述したとおり、パターン解析部１２０には、代表点認識部１１０から、所定の時間間隔で（たとえば、５０ｍｓのサンプル期間ごとに）代表点データＱ（ｘ，ｙ，ａ，ｔ）が与えられる。パターン解析部１２０は、こうして与えられた代表点データＱ（ｘ，ｙ，ａ，ｔ）に基づいて、指の接触状態の時間的な変化態様を解析し、類型化されたいずれかのパターンに当てはめる処理を行う。ここでは、こうして当てはめられたパターンを「解析パターン」と呼ぶ。結局、パターン解析部１２０は、ある一定の期間に与えられた一群の代表点データＱ（ｘ，ｙ，ａ，ｔ）に基づいて、所定の解析パターンを得る処理を行うことになる。ここでは、この解析パターンを得るまでの具体的な処理方法の一例を詳述する。

図４は、パターン解析部１２０の詳細な構成を示すブロック図である。図示のとおり、パターン解析部１２０は、代表点データ格納部１２１、ストローク認識部１２２、特性認識部１２３、パターン決定部１２４の各構成要素からなる。実際には、これらの各構成要素は、専用のプログラムが組み込まれたコンピュータによって実現される。

＜２−２−１：代表点データ格納部＞
代表点データ格納部１２１は、代表点認識部１１０から与えられる代表点データを格納する構成得要素である。上述したとおり、ここに示す実施例の場合、代表点データは、Ｑ（ｘ，ｙ，ａ，ｔ）なる形式のデータである。図には、代表点データ格納部１２１内に、時刻ｔ＝ｔ１，ｔ２，ｔ３，... ，ｔ９の各時点において得られた代表点データＱが格納された例が示されている。図の１行目に格納されている代表点データＱ１１（ｘ１１，ｙ１１，ａ１１，ｔ１）は、時刻ｔ１の時点のデータであり、図の２行目に格納されている代表点データＱ１２（ｘ１２，ｙ１２，ａ１２，ｔ２）は、時刻ｔ２の時点のデータである。また、図の３行目には、２組の代表点データＱ１３（ｘ１３，ｙ１３，ａ１３，ｔ３）およびＱ２３（ｘ２３，ｙ２３，ａ２３，ｔ３）が格納された状態が示されているが、これら２組のデータは、いずれも同一時刻ｔ３の時点のデータである。以下、時刻ｔ８の行に至るまで、２組のデータが格納されており、最後の時刻ｔ９の行では、１組の代表点データＱ２９（ｘ２９，ｙ２９，ａ２９，ｔ９）が格納されている。

なお、ここでは、時刻ｔ１の前には、代表点データが与えられない休止期間が存在し、時刻ｔ９の後にも、代表点データが与えられない休止期間が存在するものとする。このような休止期間は、タッチパネル装置１０からの検知信号が得られない場合に生じ、ユーザがタッチ面から指を離している状態を示している。逆に言えば、時刻ｔ１〜ｔ９の期間は、ユーザがタッチ面に指を接触させ、何らかのジェスチャー動作を行っている状態を示している。パターン解析部１２０は、このように、ある一定の連続した期間に与えられた一群の代表点データＱ（ｘ，ｙ，ａ，ｔ）を解析対象として、以下に述べるような解析処理を行うことになる。

＜２−２−２：ストローク認識部＞
ストローク認識部１２２は、代表点データ格納部１２１に格納されている解析対象となる一群の代表点データＱ（ｘ，ｙ，ａ，ｔ）、すなわち、前後に所定の休止期間が存在する一定の連続した時間ｔを含むデータを読み出し、これら読み出した代表点データに基づいて、同一の指の動きを示す複数の代表点の集合体からなるストロークを認識する処理を行う。

たとえば、図４の代表点データ格納部１２１内に格納されている１５組の代表点データＱ１１（ｘ１１，ｙ１１，ａ１１，ｔ１）〜Ｑ２９（ｘ２９，ｙ２９，ａ２９，ｔ９）によって示される１５個の代表点Ｑ１１〜Ｑ２９を、その座標値に基づいてＸＹ平面上にプロットすることにより、図５に示すような結果が得られた場合を考えてみる。ここで、たとえば代表点Ｑ１１は、座標値（ｘ１１，ｙ１１）で示される位置にプロットされた点である。

このような結果が得られたのは、時刻ｔ１において、代表点Ｑ１１の位置に指が接触しており、時刻ｔ２において、代表点Ｑ１２の位置に指が接触しており、時刻ｔ３において、代表点Ｑ１３およびＱ２３の位置に指が接触しており、時刻ｔ４において、代表点Ｑ１４およびＱ２４の位置に指が接触しており、時刻ｔ５において、代表点Ｑ１５およびＱ２５の位置に指が接触しており、時刻ｔ６において、代表点Ｑ１６およびＱ２６の位置に指が接触しており、時刻ｔ７において、代表点Ｑ１７およびＱ２７の位置に指が接触しており、時刻ｔ８において、代表点Ｑ１８およびＱ２８の位置に指が接触しており、時刻ｔ９において、代表点Ｑ２９の位置に指が接触していたためである。

このような１５個の代表点を、その時間を考慮して解析すれば、図の左方に破線で囲って示す８個の代表点Ｑ１１〜Ｑ１８は、同一の指の動きを示す複数の代表点の集合体からなるストロークＳ１を構成しており、図の右方に破線で囲って示す７個の代表点Ｑ２３〜Ｑ２９も、別な同一の指の動きを示す複数の代表点の集合体からなるストロークＳ２を構成していることが認識できる。結局、ストローク認識部１２２は、図４の代表点データ格納部１２１内に格納されている１５組の代表点データＱ１１（ｘ１１，ｙ１１，ａ１１，ｔ１）〜Ｑ２９（ｘ２９，ｙ２９，ａ２９，ｔ９）に基づいて、それぞれ同一の指の動きを示す２組のストロークＳ１，Ｓ２を認識することができる。

このストローク認識部１２２による具体的なストローク認識アルゴリズムとしては、たとえば「代表点認識部１１０から出力された時間的に連続した一群の代表点データに基づいて、第ｉ番目の時刻ｔ_ｉに得られた代表点と第（ｉ−１）番目の時刻ｔ_ｉ−１に得られた代表点との距離が所定の基準ｄ以下となる２つの代表点を同一のストロークに所属する代表点と認識する」というアルゴリズムを採用することができる。

図５に示す実例に上記アルゴリズムを適用すれば、次のようなプロセスで、２組のストロークＳ１，Ｓ２の認識が行われる。ここでは、距離の基準ｄとして、図５の上端に示す長さが予め設定されていたものとしよう。この場合、まず、時刻ｔ１における代表点Ｑ１１を基準として、時刻ｔ２における代表点Ｑ１２が同一ストロークに所属する点であるか否かの判定が行われる。図示の例の場合、両者間の距離ｄ１＜ｄであるから、代表点Ｑ１２は代表点Ｑ１１と同一のストロークに所属する点と認識される。

次に、時刻ｔ３における代表点Ｑ１３，Ｑ２３についての判定が行われる。この場合、代表点Ｑ１３については、距離ｄ２＜ｄであるから、代表点Ｑ１３は代表点Ｑ１２と同一のストロークに所属する点と認識される。これに対して、代表点Ｑ２３については、距離ｄ３＞ｄであるから、代表点Ｑ２３は代表点Ｑ１２とは異なるストロークに所属する点と認識される。

続いて、時刻ｔ４における代表点Ｑ１４，Ｑ２４についての判定が行われる。この場合、代表点Ｑ１４については、距離ｄ４＜ｄであり、距離ｄ５＞ｄであるから、代表点Ｑ１４は代表点Ｑ１３と同一のストロークに所属する点であるが、代表点Ｑ２３とは異なるストロークに所属する点と認識される。一方、代表点Ｑ２４については、距離ｄ６＜ｄであり、距離ｄ７＞ｄであるから、代表点Ｑ２４は代表点Ｑ２３と同一のストロークに所属する点であるが、代表点Ｑ１３とは異なるストロークに所属する点と認識される。以下、同様の処理を繰り返すことにより、結局、代表点Ｑ１１〜Ｑ１８は、同一のストロークＳ１に所属する点と認識され、代表点Ｑ２３〜Ｑ２９は、別な同一のストロークＳ２に所属する点と認識されることになる。

図では、２組のストロークが認識された例を示したが、もちろん、１組だけのストロークが認識される場合もあれば（ユーザが１本指でジェスチャー動作を行った場合）、３組以上のストロークが認識される場合もある（ユーザが３本以上の指でジェスチャー動作を行った場合）。距離の基準値ｄは、ユーザが２本の指を揃えてタッチ面に触れた場合に得られる２つの代表点間の距離よりも短く、かつ、ユーザが指をタッチ面で動かした場合の１サンプル期間の移動距離よりも長くなるような適当な値に設定すればよい（ユーザの指の動きが速い場合でも、１サンプル期間を短く設定すれば、適切な基準値ｄを設定可能である）。

なお、実用上は、このパターン解析部１２０で解析を行う際には、値ａが所定の基準値以上の代表点データＱ（ｘ，ｙ，ａ，ｔ）のみに基づいてパターンの解析を行うようにするのが好ましい。具体的には、ストローク認識部１２２が、代表点データ格納部１２１に格納されている解析対象となる一群の代表点データＱ（ｘ，ｙ，ａ，ｔ）を読み出す際に、強度値ａが所定基準未満となる代表点データＱ（ｘ，ｙ，ａ，ｔ）については、読み出しを行わないようにすればよい。

強度値ａは、ユーザの指の押圧力を示すパラメータになるので、強度値ａが所定基準未満となる代表点Ｑは、ユーザの指が触れてないのに何らかのノイズの影響で生じたものであるか、あるいは、ユーザの意図に反して、たまたま小指などの無関係な指が誤ってタッチ面に触れてしまったために生じたものである可能性が高い。そこで、このような代表点Ｑは、解析対象には含めないようにすれば、より正確な解析が可能になる。

＜２−２−３：特性認識部＞
特性認識部１２３は、ストローク認識部１２２によって認識された個々のストロークの特性を認識する処理を行う。１本のストロークは、ユーザの１本の指の動きの軌跡を示すものであり、その特性を認識することにより、ユーザが行ったジェスチャー動作の特徴を解析する上で役立つ情報を得ることができる。

ここに示す実施例では、１本のストロークについて、ストローク長Ｌ，ストローク位置Ｐ（ｘｐ，ｙｐ），ストローク方位Ｂ，ストローク湾曲度Ｃという４つのパラメータを、ストローク特性を示す値として算出している。以下、図６を参照して、これら４つのパラメータが示すストローク特性を説明する。

図６は、この特性認識部１２３によって認識されるストローク特性を説明する平面図である。図の中央には、図５に示すストロークＳ１が示されている。このストロークＳ１は、上述したとおり、代表点Ｑ１１（時刻ｔ１）から代表点Ｑ１８（時刻ｔ８）に至るまでの８個の代表点によって構成され、ユーザの指による上から下へのスライド動作を示すものである。

ストローク長Ｌは、このストロークＳ１の全長を示すパラメータであり、具体的には、ここに示す実施例の場合、「１つのストロークＳ１を構成する複数の代表点Ｑ１１〜Ｑ１８を時系列に沿った順番で連結した場合の連結線の長さの総和」と定義している。このような定義によるストローク長Ｌは、厳密に言えば、実際のユーザの指の移動軌跡の全長とは若干異なるが、実用上、問題は生じない。図示の例の場合、線分Ｑ１１−Ｑ１２の長さ、線分Ｑ１２−Ｑ１３の長さ、線分Ｑ１３−Ｑ１４の長さ、線分Ｑ１４−Ｑ１５の長さ、線分Ｑ１５−Ｑ１６の長さ、線分Ｑ１６−Ｑ１７の長さ、線分Ｑ１７−Ｑ１８の長さの総和がスクロール長Ｌになる。このストローク長Ｌは、後述するように、当該ストロークが「点ストローク」か「線ストローク」かを判定するために用いられる。

一方、ストローク位置Ｐ（ｘｐ，ｙｐ）は、ストロークＳ１のＸＹ平面上での位置を示すパラメータであり、座標値（ｘｐ，ｙｐ）によって表される。具体的には、図示のとおり、ストロークＳ１の代表的な位置（たとえば、全代表点Ｑ１１〜Ｑ１８の重心位置）を示す点Ｐを定め、この点Ｐの座標値（ｘｐ，ｙｐ）をストローク位置とすればよい。このストローク位置Ｐ（ｘｐ，ｙｐ）は、後述するように、複数のストロークが存在する場合に、相互位置関係を把握するために利用される。また、§３−２で述べる変形例においては、ジェスチャーが行われた領域を判定するために利用される。

また、ストローク方位Ｂは、ＸＹ平面上でのストロークＳ１全体の向きを示すパラメータである。大まかな概念としては、図示のとおり、ストロークＳ１の全体的な向きを示す方位ベクトルＷを定め、この方位ベクトルＷと所定の座標軸（図示の例の場合Ｘ軸）とのなす角度として、ストローク方位Ｂを定めることができる。ストローク方位Ｂの具体的な算出方法については後述する。このストローク方位Ｂは、ユーザの指の動きの向きを判定するために用いられる。

そして、ストローク湾曲度Ｃは、文字どおり、ストロークＳ１の湾曲の程度を示すパラメータである。ここに示す実施例の場合、後述するように、ストロークの湾曲の程度が大きければ大きいほど、湾曲度Ｃの絶対値が大きくなるようなパラメータとして定義している。このストローク湾曲度Ｃは、当該ストロークが「直線ストローク」か「曲線ストローク」かを判定するために用いられる。また、ここに示す実施例の場合、ストロークが時計まわりに回転する場合と反時計まわりに回転する場合とで、互いに符号が異なるようにストローク湾曲度Ｃを定めている。したがって、「曲線ストローク」と判定されたストロークについては、更に、ストローク湾曲度Ｃの符号によって、「時計まわり曲線ストローク」か「反時計まわり曲線ストローク」かの判定を行うことが可能になる。

続いて、上述した４つのパラメータ（ストローク特性）を算出する具体的な方法の一例を説明する。図７は、このストローク特性の算出方法の原理を示すグラフである。ストローク認識部１２２において認識された１本のストロークは、時系列に基づいて順番が付された複数ｎ個の代表点Ｑの集合体である。そこで、いま、図７(a) に示すように、第ｉ番目の代表点Ｑ_ｉ、その直前の第（ｉ−１）番目の代表点Ｑ_ｉ−１、更にその直前の第（ｉ−２）番目の代表点Ｑ_ｉ−２の位置関係を考える。ここで、代表点Ｑ_ｉの座標値を（ｘ_ｉ，ｙ_ｉ）とし、代表点Ｑ_ｉ−１の座標値を（ｘ_ｉ−１，ｙ_ｉ−１）とし、代表点Ｑ_ｉ−２の座標値を（ｘ_ｉ−２，ｙ_ｉ−２）とする。また、代表点Ｑ_ｉ−１から代表点Ｑ_ｉへ向かうベクトルをＶ_ｉ、代表点Ｑ_ｉ−２から代表点Ｑ_ｉ−１へ向かうベクトルをＶ_ｉ−１とし、ベクトルＶ_ｉがベクトルＶ_ｉ−１に対してなす角度を変位角φ_ｉとし、ベクトルＶ_ｉが所定の基準座標軸（この例ではＸ軸）に対してなす角度を方位角θ_ｉとする。

なお、ここでは、角度について、反時計まわりの方向を正、時計まわりの方向を負にとった場合の例を示すことにする。したがって、図７(a) に示す例の場合、変位角φ_ｉは、実際には負の値をとり、ベクトルＶ_ｉの方向がベクトルＶ_ｉ−１の方向に対して時計まわりに変位していることが示される。このように、変位角φ_ｉは、−１８０°＜φ_ｉ≦＋１８０°の範囲内の値として定義される。同様に、図７(a) に示す例の場合、方位角θ_ｉも、実際には負の値をとり、ベクトルＶ_ｉの方向がＸ軸正方向（図の右方向）に対して時計まわりに変位していることが示される。この方位角θ_ｉも、−１８０°＜θ_ｉ≦＋１８０°の範囲内の値として定義され、図７(b) に示すとおり、ＸＹ座標系上で、０°は右方向、＋９０°は上方向、−９０°は下方向、±１８０°は左方向を示すことになる。

さて、このような定義を行うと、４つのストローク特性を示すパラメータ値は、図８に示すような具体的な演算式によって算出することができる。以下、この図８に示されている演算式を順に説明する。

まず、ストローク長Ｌは、
Ｌ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
なる演算式によって算出される。この式は、第１番目の代表点Ｑ１〜第ｎ番目の代表点Ｑｎまで、各代表点を順に連結する線分の長さの総和を求める演算式になっている。

一方、ストローク位置Ｐは、座標値（ｘｐ，ｙｐ）で示され、これらの座標値は、
ｘｐ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・ｘ_ｉ
／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
ｙｐ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・ｙ_ｉ
／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
なる演算によって算出される。この式は、第２番目の代表点Ｑ２〜第ｎ番目の代表点Ｑｎまで、各代表点のＸ座標値およびＹ座標値の重み付き平均値となっている。すなわち、分子の（（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２なる項が、第ｉ番目代表点Ｑ_ｉの座標値ｘ_ｉおよびｙ_ｉに乗ぜられる重みであり、ベクトルＶ_ｉの長さに相当する。もちろん、第１番目の代表点Ｑ１〜第ｎ番目の代表点Ｑｎまで、各代表点のＸ座標値およびＹ座標値の単純平均値を、座標値（ｘｐ，ｙｐ）とするようにしてもかまわないが、ベクトルＶ_ｉの長さを重みとする重み付き平均値を用いれば、ストローク全体の位置をより反映したストローク位置Ｐを得ることができる。

また、ストローク方位Ｂは、図７に示す方位角θ_ｉの平均値として求めることができる。方位角θ_ｉは、ベクトルＶ_ｉの方位を示すものであるから、これらの平均を求めることにより、ストローク全体の方位を得ることができる。ただ、ここに示す実施例では、ストローク位置Ｐを算出する場合と同様に、ベクトルＶ_ｉの長さを重みとする重み付き平均値を求めるようにしている。すなわち、ストローク方位Ｂは、
Ｂ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・θ_ｉ
／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
なる演算によって算出される。ここでも、分子の（（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２なる項が、ベクトルＶ_ｉの方位角θ_ｉに乗ぜられる重みであり、ベクトルＶ_ｉの長さに相当する。

そして、ストローク湾曲度Ｃは、図７に示す変位角φ_ｉの平均値として求めることができる。変位角φ_ｉは、ベクトルＶ_ｉがベクトルＶ_ｉ−１に対して、どちらの方向（反時計まわり、もしくは時計まわり）にどれだけの角度曲がったかを示すパラメータである。したがって、たとえば、平均値が０に近ければ、当該ストロークは全体的には反時計まわりにも、時計まわりにも、曲がっていないことになり、直線に近いことを示す。平均値の絶対値が大きければ大きいほど、いずれかの方向に湾曲していることになる。ここに示す実施例では、この変位角φ_ｉの平均値を求める際にも、ベクトルＶ_ｉの長さを重みとする重み付き平均値を求めるようにしている。すなわち、ストローク湾曲度Ｃは、
Ｃ＝Σ _i=3〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・φ_ｉ
／Σ _i=3〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
なる演算によって算出される。ここでも、分子の（（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２なる項が、変位角φ_ｉに乗ぜられる重みであり、ベクトルＶ_ｉの長さに相当する。なお、変位角φ_ｉは、代表点Ｑ_ｉ−２から代表点Ｑ_ｉ−１へ向かうベクトルＶ_ｉ−１に対して、代表点Ｑ_ｉ−１から代表点Ｑ_ｉへ向かうベクトルＶ_ｉがなす角度であるので、ｉ≧３の場合に定義される角度ということになる。このため、ストローク湾曲度Ｃを求める上記演算式の分母・分子は、ｉ＝３〜ｎについての総和になる。

＜２−２−４：パターン決定部＞
パターン決定部１２４は、ストローク認識部１２２および特性認識部１２３による認識結果に基づいて、固有の特性をもった１つのストロークもしくは複数のストロークの組み合わせを１つのパターンに対応づけることにより、解析パターンを決定する処理を行う。ここに示す実施例では、個々のストロークをその特性に基づいて複数の種別に分類し、特定の種別もしくはその組み合わせに対して特定の解析パターンを対応させることにより、解析パターンを決定する処理を行うことになる。

最も単純なストロークの分類法は、ストローク長Ｌに基づいて、「点ストローク」と「線ストローク」とに分類する方法である。すなわち、ストローク長Ｌが所定の基準値Ｌth未満のストロークを「点ストローク」なる種別に分類し、ストローク長Ｌが基準値Ｌth以上のストロークを「線ストローク」なる種別に分類することができる。別言すれば、「点ストローク」は、ユーザの指がほとんど移動していないストロークであり、「線ストローク」は、ユーザの指がある程度移動しているストロークと言うことができる。

また、ストローク長Ｌに、ストローク湾曲度Ｃを組み合わせると、「点ストローク」，「直線ストローク」，「曲線ストローク」の３つに分類することができるようになる。すなわち、上述したストローク長Ｌを利用した分類によって、「線ストローク」なる種別に分類されたストロークのうち、湾曲度Ｃの絶対値が所定の基準値Ｃth未満のストロークを「直線ストローク」なる種別に分類し、湾曲度Ｃの絶対値が基準値Ｃth以上のストロークを「曲線ストローク」なる種別に分類すればよい。

なお、ユーザが指を直線的に移動させる意図で、タッチ面上でジェスチャー動作を行ったとしても、その移動軌跡は完全な直線になることは稀であり、実際には、ストローク湾曲度Ｃは０にはならない。そこで、直線的な移動と判断できる限界となる適切な湾曲度Ｃを基準値Ｃthに設定しておくようにすれば、ユーザの行ったジェスチャー動作が直線を意図したものか、曲線を意図したものかを区別することができる。基準値Ｃthの具体的な数値を設定するには、たとえば、何人かのユーザに「指を直線的に移動するジェスチャーを行う」旨の指示を与えたときと、「指を曲線的に移動するジェスチャーを行う」旨の指示を与えたときとで、それぞれ得られる検知信号に基づいてストローク湾曲度Ｃを算出し、両者の中間的な値を基準値Ｃthとするような方法を採ればよい。

このように、ストローク長Ｌとストローク湾曲度Ｃとを用いれば、ストロークを「点ストローク」、「直線ストローク」、「曲線ストローク」なる３つの種別に分類することができる。したがって、ユーザが１本指によるジェスチャー動作を行うことを前提とする場合は、これら３つの種別に対して、それぞれ「点ストローク」パターン、「直線ストローク」パターン、「曲線ストローク」パターンなる３つの解析パターンを対応づけることができる。また、２本指によるジェスチャー動作を加えることも可能である。２本指によるジェスチャー動作については、２つのストロークの種別の組み合わせに対して、特定の解析パターンを対応づけることができる。たとえば、「点ストローク＋直線ストローク」パターン、「直線ストローク＋曲線ストローク」パターンといった具合である。もちろん、３本指以上によるジェスチャー動作についても同様である。

更に、複数のストロークを含むパターンに対しては、ストローク位置Ｐを参照することにより相互位置関係を把握し、相互位置関係が異なるパターンを区別してパターンの決定を行うこともできる。たとえば、「左側の点ストローク＋右側の直線ストローク」パターン、「上側の直線ストローク＋下側の曲線ストローク」パターンといった具合である。

ここで述べる実施例の場合、ストロークの種別を更に増やすため、「曲線ストローク」なる種別については、ストローク湾曲度Ｃの符号に基づいて、更に「時計まわり曲線ストローク」と「反時計まわり曲線ストローク」との２通りの種別に分けて取り扱うようにしている。前述したとおり、ストローク湾曲度Ｃは、ストロークが時計まわりに回転する場合と反時計まわりに回転する場合とで、互いに符号が異なるように定義されているので、ストローク湾曲度Ｃの符号を参照すれば、「時計まわり曲線ストローク」と「反時計まわり曲線ストローク」との分類を行うことが可能である。

一方、「直線ストローク」なる種別については、ストローク方位Ｂに基づいて、「直線ストローク」なる種別を、更に、方位の異なる４通りの種別に分けて取り扱うようにしている。図７(b) に示すように、ストローク方位Ｂは、−１８０°〜＋１８０°の数値を示すパラメータであり、ＸＹ平面上で特定の方向を示す役割を果たす。ここで述べる実施例の場合、−１３５°＜Ｂ≦−４５°の場合には「下方向直線ストローク」、−４５°＜Ｂ≦＋４５°の場合には「右方向直線ストローク」、＋４５°＜Ｂ≦＋１３５°の場合には「上方向直線ストローク」、＋１３５°＜Ｂもしくは−１３５°≧Ｂの場合には「左方向直線ストローク」との分類を行っている。

結局、ここで述べる実施例の場合、パターン決定部１２４は、ストローク認識部１２２で認識された個々のストロークを、特性認識部１２３で認識された３つのストローク特性（ストローク長Ｌ，ストローク湾曲度Ｃ，ストローク方位Ｂ）を参照することにより、「点ストローク」，「時計まわり曲線ストローク」，「反時計まわり曲線ストローク」，「上方向直線ストローク」，「下方向直線ストローク」，「左方向直線ストローク」，「右方向直線ストローク」なる７種類の種別のいずれかに分類する処理を行う。

そして、ストローク認識部１２２で認識されたストロークが１つだけの場合は、当該特定の種別に基づいて解析パターンを決定する処理を行う。たとえば、「時計まわり曲線ストローク」という種別の単一のストロークのみを含むジェスチャー動作に対しては、「時計まわり曲線ストローク」パターンという解析パターンが対応づけられることになる。結局、単一のストロークのみを含むジェスチャー動作に対しては、７通りの解析パターンのいずれかが対応づけられる。

一方、ストローク認識部１２２で認識されたストロークが複数ある場合は、個々のストロークの種別の組み合わせに対して特定の解析パターンを対応づける処理が行われる。このとき、ストローク位置Ｐを参照することにより、複数のストロークについて相互位置関係を把握し、相互位置関係が異なるパターンを区別してパターンの決定を行うことになる。たとえば、左右の位置関係にある２つのストロークを含むジェスチャー動作に対しては、「左側の時計まわり曲線ストローク＋右側の下方向直線ストローク」パターンと、「右側の時計まわり曲線ストローク＋左側の下方向直線ストローク」パターンと、は異なる解析パターンになる。

図９は、上述した方針に基づいて、パターン決定部１２４によって行われるパターン決定処理の手順を示す流れ図である。まず、ステップＳ１１において、ストローク番号を示すパラメータｊが初期値１に設定され、ステップＳ１２において、第ｊ番目のストロークＳｊについて、特性認識部１２３で算出された特性、すなわち、ストローク長Ｌ，ストローク位置Ｐ，ストローク方位Ｂ，ストローク湾曲度Ｃなる４つのパラメータ値が抽出される。そして、ステップＳ１３において、ストローク長Ｌが所定の基準値Ｌthと比較される。ここで、Ｌ＜Ｌthである場合には、ステップＳ１４において、当該ストロークが「点ストローク」と認識される。

一方、ステップＳ１３において、Ｌ≧Ｌthである場合には、「線ストローク」であると認識され、更にステップＳ１５において、ストローク湾曲度Ｃの絶対値が所定の基準値Ｃthと比較される。ここで、｜Ｃ｜≧Ｃthである場合には、ステップＳ１６において、当該ストロークが「曲線ストローク」と認識され、｜Ｃ｜＜Ｃthである場合には、ステップＳ１８において、当該ストロークが「直線ストローク」と認識される。

ステップＳ１６において「曲線ストローク」との認識がなされた場合は、ステップＳ１７において、湾曲度Ｃの符号により湾曲方向の決定が行われる。すなわち、湾曲度Ｃが正の場合は「反時計まわり曲線ストローク」であると認識され、湾曲度Ｃが負の場合は「時計まわり曲線ストローク」であると認識される。一方、ステップＳ１８において「直線ストローク」との認識がなされた場合は、ステップＳ１９において、ストローク方位Ｂに基づいて、上述したように上下左右の決定がなされる。

いずれの場合も、ステップＳ２０において、第ｊ番目のストロークＳｊに対して、７種類の種別のうちのいずれかが対応づけられる。すなわち、ストロークＳｊに対して、特定の種別が決定される。図９のステップＳ２０のブロック内に示されている白抜き図形による記号は、この７種類の種別、すなわち、「点ストローク」，「時計まわり曲線ストローク」，「反時計まわり曲線ストローク」，「上方向直線ストローク」，「下方向直線ストローク」，「左方向直線ストローク」，「右方向直線ストローク」を示している。以下、本願の図では、この７種類のストローク種別を、これらの白抜き図形による記号で示すことにする。

こうして、第ｊ番目のストロークＳｊについて、所定の種別が決定されると、ステップＳ２１を経て、ステップＳ２２へ進み、ストローク番号を示すパラメータｊが１だけ更新され、再びステップＳ１２からの処理が繰り返し実行される。このような処理が、ストローク認識部１２２で認識された全ストロークについて完了すると、ステップＳ２１を経て、ステップＳ２３へ進み、各ストロークの種別とストローク位置Ｐに基づいて、所定の解析パターンが決定される。

上述したとおり、ストローク認識部１２２で認識されたストロークが１つのみである場合は、当該ストロークの種別に対応する解析パターンが対応づけられるが、認識されたストロークが複数ある場合は、その相互位置関係を考慮した種別の組み合わせに対して、１つの解析パターンが対応づけられる。

図１０は、パターン決定部１２４によって決定された解析パターンのいくつかの例を示す平面図である。パターンＰＴ（Ａ），ＰＴ（Ｂ）は、いずれもストローク認識部１２２で認識されたストロークが１つのみである場合の解析パターンであり、ユーザが１本指でジェスチャー動作を行った場合に得られる解析パターンである。すなわち、パターンＰＴ（Ａ）は、「時計まわり曲線ストローク」なる種別の単一ストロークのみを含むジェスチャー動作を解析することによって得られるパターンであり、パターンＰＴ（Ｂ）は、「下方向直線ストローク」なる種別の単一ストロークのみを含むジェスチャー動作を解析することによって得られるパターンである。

これに対して、パターンＰＴ（Ｃ）〜ＰＴ（Ｅ）は、ストローク認識部１２２で認識されたストロークが２つある場合の解析パターンであり、ユーザが２本指でジェスチャー動作を行った場合に得られる解析パターンである。上述したとおり、複数のストロークが認識された場合には、その相互位置関係を考慮した種別の組み合わせに対して、１つの解析パターンが対応づけられる。したがって、パターンＰＴ（Ｃ）〜ＰＴ（Ｅ）は、いずれも「時計まわり曲線ストローク」と「下方向直線ストローク」との組み合わせからなるパターンであるが、互いに異なる解析パターンとなる。すなわち、パターンＰＴ（Ｃ）は、「左側の時計まわり曲線ストローク＋右側の下方向直線ストローク」パターンであり、パターンＰＴ（Ｄ）は、「左側の下方向直線ストローク＋右側の時計まわり曲線ストローク」パターンであり、パターンＰＴ（Ｅ）は、「上側の下方向直線ストローク＋下側の時計まわり曲線ストローク」パターンである。

２つのストロークの相互位置関係は、それぞれのストローク位置Ｐ（ｘｐ，ｙｐ）に基づいて決定すればよい。ここに示す実施例では、相互位置関係を「左右の関係」と「上下の関係」とのいずれか一方に判断するようにしている。具体的には、第１のストロークＳ１の位置をＰ１（ｘｐ１，ｙｐ１）とし、第２のストロークＳ２の位置をＰ２（ｘｐ２，ｙｐ２）とし、位置偏差Δｘ＝｜ｘｐ１−ｘｐ２｜，Δｙ＝｜ｙｐ１−ｙｐ２｜を求め、Δｘ＞Δｙの場合には「左右の関係」と判断し、Δｘ＜Δｙの場合には「上下の関係」と判断している。「左右の関係」との判断が行われた場合には、ストローク位置ＰのＸ座標値の大小により、どちらのストロークが左側で、どちらのストロークが右側かの判断が行われ、「上下の関係」との判断が行われた場合には、ストローク位置ＰのＹ座標値の大小により、どちらのストロークが上側で、どちらのストロークが下側かの判断が行われる。

＜２−３：サンプルパターン採取部および格納部の具体的な処理＞
続いて、図１に示す装置におけるサンプルパターン採取部１３０およびサンプルパターン格納部１５０によって行われる具体的な処理を説明する。サンプルパターン採取部１３０は、ディスプレイ装置２０の画面上に「タッチ面上で複数ｍ通りのジェスチャーを行う」旨の指示を表示し、当該指示に基づくユーザのｍ通りのジェスチャー動作について、パターン解析部１２０によって得られた各解析パターンを、それぞれサンプルパターンとして採取する処理を行う。

ユーザに指示する「複数ｍ通りのジェスチャー」は、指を用いたジェスチャーであれば、どのようなジェスチャーを定めてもよい。特に、１本の指だけでなく、複数の指を用いたジェスチャーには、様々なバリエーションが存在する。図１１は、２本指を用いたジェスチャーの種類を例示する平面図である。図示の黒矢印は、２本の指のタッチ面上での移動方向を示しており、Ｇ１〜Ｇ６の６種類の異なるジェスチャーが示されている。

ジェスチャーＧ１は、２本の指を下から上へとスライドさせる「上スクロール」のジェスチャーであり、ジェスチャーＧ２は、２本の指を上から下へとスライドさせる「下スクロール」のジェスチャーであり、ジェスチャーＧ３は、２本の指を右から左へとスライドさせる「左スクロール」のジェスチャーであり、ジェスチャーＧ４は、２本の指を左から右へとスライドさせる「右スクロール」のジェスチャーである。また、ジェスチャーＧ５は、２本の指を互いに時計まわりの方向へ回転させる「時計まわり」のジェスチャーであり、ジェスチャーＧ６は、２本の指を互いに反時計まわりの方向へ回転させる「反時計まわり」のジェスチャーである。

ここでは、説明の便宜上、図１１に示す６通りのジェスチャー動作について、それぞれサンプルパターンを登録する処理を行う例を述べることにする。実用上は、必要に応じて、この他にも様々なジェスチャー動作を登録することができる。もちろん、１本の指を用いたジェスチャー動作や３本以上の指を用いたジェスチャー動作を併せて登録することもできる。

このような登録を行うために、ユーザは、まずサンプルパターン採取部１３０に対して初期設定を行う旨の指示を与える。実際には、コンピュータをサンプルパターン採取部１３０として機能させるためのプログラムを起動する操作を行えばよい。すると、サンプルパターン採取部１３０は、６通りのジェスチャー動作のそれぞれについて、順にジェスチャー登録を指示する画面をディスプレイ装置２０に表示し、当該指示に基づくユーザのジェスチャー動作について、パターン解析部１２０によって得られた解析パターンを、当該ジェスチャーについてのサンプルパターンとして採取する処理を行う。

図１２は、このサンプルパターン採取部１３０の機能によって、ディスプレイ装置２０に表示される指示画面の一例を示す平面図である。この指示画面は、図１１に示すジェスチャーＧ１「上スクロール」を登録するための指示画面であり、ユーザに、タッチ面上で、２本指を上方向に平行に移動させるジェスチャーを行うよう指示する画面である。この指示を見たユーザは、タッチパネル装置１０のタッチ面上で、指示されたジェスチャー動作を行うことになる。ユーザが行ったジェスチャー動作は、パターン解析部１２０で解析され、当該ジェスチャー動作に対して、所定の解析パターンが対応づけられる。サンプルパターン採取部１３０は、こうして得られた解析パターンを、当該ジェスチャーについてのサンプルパターンとして採取することになる。

サンプルパターン格納部１５０は、こうして採取された各サンプルパターンを格納する機能を果たす。すなわち、サンプルパターン採取部１３０が、第ｋ番目（１≦ｋ≦ｍ）のジェスチャーを行う旨の指示を表示したときに採取された解析パターンを、第ｋ番目のジェスチャーに対応するサンプルパターンとして格納する。

図１３は、このようにしてサンプルパターン格納部１５０に格納されたサンプルパターンの一例を示す平面図である。ここに示されている６つのサンプルパターンＳＰ（Ｇ１）〜ＳＰ（Ｇ６）は、それぞれ図１１に示す６種類のジェスチャーＧ１〜Ｇ６に対応するサンプルパターンである。

ここで、サンプルパターンＳＰ（Ｇ１），ＳＰ（Ｇ３），ＳＰ（Ｇ５）は、標準的なサンプルパターンであり、パターンを構成する各ストロークの種別（白抜きの図形で示す）は、図１１に示すジェスチャーＧ１，Ｇ３，Ｇ５の黒矢印の種別に一致している。しかしながら、サンプルパターンＳＰ（Ｇ２），ＳＰ（Ｇ４），ＳＰ（Ｇ６）は、若干標準的なパターンから逸脱している。

たとえば、サンプルパターンＳＰ（Ｇ２）は、図１１に示すジェスチャーＧ２「下スクロール」に対応するものであるから、本来であれば、左右のストロークともに、「下方向直線ストローク」（下向きの白抜き矢印）になるはずであるが、実際には、左側のストロークは「時計まわり曲線ストローク」になっている。このような結果が得られた理由は、このユーザ自身は、「２本指を下方向に平行に移動させるジェスチャー」を行っているつもりであるが、実際には、左側の指の動きは時計まわりに回転していたためである。すなわち、このユーザには、２本指を下方向に平行に移動させる動作を行わせた場合、左側の指の動きが時計まわりに回転する、という固有の癖があることになる。

同様に、サンプルパターンＳＰ（Ｇ４）は、このユーザには、２本指を右方向に平行に移動させる動作を行わせた場合、下側の指の動きが時計まわりに回転する、という固有の癖があることを示している。また、サンプルパターンＳＰ（Ｇ６）は、このユーザには、２本指を共に反時計まわりに回転させる動作を行わせた場合、右側の指がほとんど動かない、という固有の癖があることを示している。本発明の重要な特徴は、準備段階で行われるジェスチャー登録の作業によって、個々のジェスチャーについてユーザの固有の癖を予めサンプルパターンとして登録しておく点にある。このように、準備段階で予めサンプルパターンの登録を行っておけば、検出段階ではこのサンプルパターンを参照することにより、ユーザが行った操作入力を正確に検知することができるようになるのである。

もちろん、ユーザによって、それぞれジェスチャーの癖が異なるので、別なユーザが登録作業を行えば、サンプルパターン格納部１５０内に格納されるサンプルパターンも異なったものになる。図１４は、別なユーザの登録作業によってサンプルパターン格納部１５０内に格納されたサンプルパターンを示す平面図である。この図１４に示す例も、図１１に示す６通りのジェスチャーについて得られたサンプルパターンであるが、図１３に示す例と比較すると、それぞれ異なる内容のパターンが登録されていることがわかる。

＜２−４：操作入力パターン採取部・パターン選択部・検知結果出力部の処理＞
操作入力パターン採取部１４０は、外部ユニット２００から操作入力の検知を要求する検知要求信号が与えられた後に、パターン解析部１２０によって得られた解析パターンを操作入力パターンとして採取する処理を行う。そして、パターン選択部１６０は、こうして採取された操作入力パターンを、サンプルパターン格納部１５０に格納されている複数ｍ通りのサンプルパターンと比較し、合致したサンプルパターンを選択する処理を行う。最後に、検知結果出力部１７０は、パターン選択部１６０で選択されたサンプルパターンに対応するジェスチャーを示す情報を、操作入力の検知結果を示す検知結果信号として外部ユニット２００へ出力する処理を行う。

§１で述べたとおり、外部ユニット２００では、何らかの処理を行うプログラムが実行されており、当該プログラムが、ユーザからの何らかの操作入力を必要としたときに、外部ユニット２００からデジタル処理ユニット１００に対して検知要求信号が出されることになる。この場合、この外部ユニット２００で実行されているプログラムは、たとえば、図１１に示す６通りのジェスチャーＧ１〜Ｇ６を、それぞれ特定の操作入力と認識して処理を続行するように設計されている。

ここでは、一例として、外部ユニット２００からの検知要求信号が与えられた後に、タッチパネル装置１０に対してユーザのジェスチャー動作が行われ、パターン解析部１２０が当該ジェスチャー動作を解析することによって、図１０に示すパターンＰＴ（Ｃ）が解析パターンとして得られたものとしよう。この場合、操作入力パターン採取部１４０は、この図１０に示すパターンＰＴ（Ｃ）を操作入力パターンとして採取し、パターン選択部１６０に引き渡す処理を行う。パターン選択部１６０は、こうして引き渡されたパターンＰＴ（Ｃ）を、サンプルパターン格納部１５０に格納されている図１３に示す６通りのサンプルパターンＳＰ（Ｇ１）〜ＳＰ（Ｇ６）と比較し、合致したサンプルパターンＳＰ（Ｇ２）を選択する処理を行う。その結果、検知結果出力部１７０は、当該サンプルパターンＳＰ（Ｇ２）に対応するジェスチャーＧ２を示す情報を、検知結果信号として外部ユニット２００へ出力する。なお、合致するサンプルパターンが見つからない場合には、たとえば、エラーメッセージを検知結果信号として返すようにすればよい。

かくして、外部ユニット２００には、ユーザからジェスチャーＧ２に対応する操作入力がなされた旨の検知結果信号が返されることになる。外部ユニット２００で実行されているプログラムは、当該操作入力に応じて、所定の処理を続行することになる。たとえば、図１１に示すジェスチャーＧ１に対応する操作入力があった場合には、画面を上方にスクロールし、ジェスチャーＧ５に対応する操作入力があった場合には、オブジェクトを時計まわりに回転させる、というような処理が行われることになる。

上例において、ユーザは、ジェスチャーＧ２「２本指による下スクロール」に関して、２本指を下方向に平行に移動させているつもりであるのに、実際には、左側の指の動きが時計まわりに回転してしまう、という固有の癖を有している。従来の操作入力検知装置では、このような固有の癖を考慮せずに、ジェスチャーＧ２「２本指による下スクロール」が行われた場合には、左右に並んだ２本の「下方向直線ストローク」が得られるとの前提で検知処理が行われていたため、上例の場合には正しい検知を行うことができない。本願発明では、このようなユーザに固有の癖をサンプルパターンとして登録してあるため、固有の癖を考慮した正確な検知処理が可能になる。

＜＜＜ §３．様々な変形例 ＞＞＞
以上、本発明に係る操作入力検知装置の基本的実施形態の構成を§１で述べ、各構成要素による具体的処理を§２で述べた。そこで、ここでは、本発明の様々な変形例を述べることにする。

＜３−１：ユーザを特定する変形例＞
図１５は、本発明の変形例に係るタッチパネルを用いた操作入力検知装置の構成を示すブロック図である。図１に示す基本的実施形態との相違点は、デジタル処理ユニット１００の代わりに、デジタル処理ユニット１００Ａが用いられている点である。デジタル処理ユニット１００Ａの大きな特徴は、デジタル処理ユニット１００に、ユーザ特定部１８０を付加した点である。

ユーザ特定部１８０は、現在利用中のユーザを特定する情報を入力しこれを保存する機能を有する構成要素である。ここに示す例の場合、外部ユニット２００から、ユーザ特定部１８０に対してユーザ識別コードＵが与えられ、ユーザ特定部１８０は、このユーザ識別コードＵを現在利用中のユーザを特定する情報として入力し、保存する。これは、一般的な電子機器の場合、外部ユニット２００を利用中のユーザと、本発明に係る操作入力検知装置を利用中のユーザとが同一であると考えることができるためである。

たとえば、図１５に示されている全ブロックが、所定のプログラムを組み込んだパソコンによって構成されている場合、ユーザは、当該パソコンに所定のユーザ識別コードＵ（アカウント）を用いてログインして利用することになる。この場合、外部ユニット２００内にユーザ識別コードＵが格納されているので、ユーザ特定部１８０は、この外部ユニット２００内に格納されているユーザ識別コードＵを取り込むことにより、現在利用中のユーザを特定することができる。

一方、サンプルパターン採取部１３０Ａの機能は、図１に示す装置におけるサンプルパターン採取部１３０の機能とほぼ同じである。ただ、ユーザ特定部１８０によって特定されたユーザごとにそれぞれ独立してサンプルパターンを採取する処理を行う。同様に、サンプルパターン格納部１５０Ａの機能も、図１に示す装置におけるサンプルパターン格納部１５０の機能とほぼ同じである。ただ、ユーザ特定部１８０によって特定されたユーザごとにそれぞれ独立してサンプルパターンを格納する処理を行う。図１３と図１４を比較すればわかるように、全く同じジェスチャーについて採取されたサンプルパターンであっても、ユーザには固有の癖があるため、得られたサンプルパターンはユーザごとに異なる場合がある。図１５に示す変形例では、サンプルパターン格納部１５０Ａ内に、それぞれユーザごとのサンプルパターンが格納されることになる。

図１６は、図１５に示す操作入力検知装置のサンプルパターン格納部１５０Ａに格納されているユーザごとのサンプルパターンの一例を示す平面図である。この例では、ユーザ識別コードＵａ，Ｕｂ，Ｕｃをもった３人のユーザＡ，Ｂ，Ｃについて、それぞれ別個独立したサンプルパターンＳＰ（Ｕａ），ＳＰ（Ｕｂ），ＳＰ（Ｕｃ）が格納されている状態が示されている。ここで、個々のサンプルパターンＳＰ（Ｕａ），ＳＰ（Ｕｂ），ＳＰ（Ｕｃ）は、それぞれが、たとえば図１３に示すような６個のサンプルパターンによって構成されている。

また、パターン選択部１６０Ａの機能は、図１に示す装置におけるパターン選択部１６０の機能とほぼ同じである。ただ、パターン選択を行う際には、ユーザ特定部１８０によって特定されたユーザについてのサンプルパターンとの比較を行うことによりパターン選択を行うことになる。たとえば、ユーザ特定部１８０内にユーザ識別コードＵａが保存されており、現在利用中のユーザがユーザＡであることが特定されている場合、パターン選択部１６０Ａは、サンプルパターン格納部１５０Ａ内のユーザＡについてのサンプルパターンＳＰ（Ｕａ）を用いた比較を行うことにより、パターン選択を行うことになる。

このように、図１５に示す変形例によれば、複数のユーザによる利用が予定されていた場合でも、個々のユーザに固有の特徴をそれぞれ考慮した正確な操作入力の検知が可能になる。

＜３−２：領域を特定する変形例＞
図１や図１５では、説明の便宜上、タッチパネル装置１０とディスプレイ装置２０とを別個のブロックとして示しているが、タッチパネル装置１０およびディスプレイ装置２０を、表示画面がタッチ面を構成するタッチパネル付ディスプレイ装置によって構成することも可能である。最近は、タブレット型の電子機器、多機能携帯電話、携帯型ゲーム機も普及しており、これらの機器では、通常、タッチパネル付ディスプレイ装置が利用されている。

このようなタッチパネル付ディスプレイ装置を組み込んだ電子機器では、ユーザは、ディスプレイ画面上の任意の位置をタッチすることができる。したがって、表示画面が広くなればなるほどタッチ面も広くなる。ところが、タッチ面が広くなると、ジェスチャーを行う場所によって、得られる解析パターンに相違が生じる可能性がある。最近は、１７インチ程度の表示画面を有するタッチパネル付ディスプレイ装置を組み込んだ電子機器も市販されている。このような電子機器を、たとえば、横長状態で左手で保持したまま、右手の指を用いて画面（タッチ面）上で様々なジェスチャー動作を行う場合を考えてみる。この場合、画面の左端でジェスチャーを行った場合と、右端でジェスチャーを行った場合とでは、ユーザが同一のジェスチャーを行っているつもりでも、パターン解析部１２０から得られる解析パターンは異なったものになる可能性がある。タッチパネル付ディスプレイ装置を複数台並べて、より大型のタッチパネル付ディスプレイ装置として使用する場合に、この傾向はさらに顕著となる。

このようなケースに対応するには、タッチパネル装置のタッチ面を分割して複数の領域を定義し、個々の領域ごとにそれぞれ別個独立したサンプルパターンを採取すればよい。そうすれば、ジェスチャーが行われた主たる領域を認識し、当該認識領域についてのサンプルパターンとの比較を行うことにより、正確な操作入力の検知が可能になる。

図１７は、タッチパネル付ディスプレイ装置のタッチ面（表示面）を４つの領域Ｔ１〜Ｔ４に分割し、個々の領域ごとにサンプルパターンを別個独立して採取した例を示す平面図である。図の下欄には、ユーザに図１１に示すジェスチャーＧ５（２本指による時計まわりのジェスチャー）を個々の領域で行うよう指示を与えたときに、パターン解析部１２０から得られた解析パターンを、それぞれの領域のサンプルパターンとして採取した例が示されている。

図１７下欄の結果を見ると、領域Ｔ１についてのサンプルパターンＳＰ（Ｇ５Ｔ１）と領域Ｔ２についてのサンプルパターンＳＰ（Ｇ５Ｔ２）とは、いずれも「左側の時計まわり曲線ストローク＋右側の時計まわり曲線ストローク」パターンになっているものの、領域Ｔ３についてのサンプルパターンＳＰ（Ｇ５Ｔ３）は、「左側の点ストローク＋右側の時計まわり曲線ストローク」パターンとなり、領域Ｔ４についてのサンプルパターンＳＰ（Ｇ５Ｔ４）は、「左側の下方向直線ストローク＋右側の時計まわり曲線ストローク」パターンとなっている。これら４つのサンプルパターンは、いずれもジェスチャーＧ５についてのサンプルパターンＳＰ（Ｇ５）であることに変わりはないが、その内容は領域により異なっている。これは人体の骨格や筋肉などの生物学的構造に起因する現象と考えられる。

このように、ユーザが意図的に同じジェスチャーを行っているにもかかわらず、個々の領域ごとに得られる解析パターンが異なる可能性のある、比較的大きな面積をもったタッチパネル装置に本発明を適用する場合は、個々の領域ごとにそれぞれ別個独立したサンプルパターンを採取しておき、特定のジェスチャーによる操作入力パターンに対応するサンプルパターンを選択する際には、当該ジェスチャーが行われた領域についてのサンプルパターンと比較を行うようにするのが好ましい。

図１８は、このような機能を備えた変形例に係る操作入力検知装置の構成を示すブロック図である。図１に示す基本的実施形態との相違点は、タッチパネル装置１０およびディスプレイ装置２０の代わりに、タッチパネル付ディスプレイ装置３０（後述するように、この実施例では、重力加速度センサが内蔵されている）が用いられている点と、デジタル処理ユニット１００の代わりに、デジタル処理ユニット１００Ｂが用いられている点である。タッチパネル付ディスプレイ装置３０は、上述したように、ディスプレイの画面上にタッチパネルが設けられている装置であり、タッチパネル装置１０とディスプレイ装置２０とを兼用することができる。

デジタル処理ユニット１００Ｂ内のサンプルパターン採取部１３０Ｂは、図１に示す装置におけるサンプルパターン採取部１３０とほぼ同じ機能をもった構成要素である。ただ、タッチパネルのタッチ面を分割することによって得られる複数の領域Ｔ１〜Ｔ４について、それぞれ別個にジェスチャーを行う旨の指示を表示し、個々の領域Ｔ１〜Ｔ４ごとにそれぞれ別個独立したサンプルパターンを採取する処理を行う。

図１９は、このサンプルパターン採取部１３０Ｂによって、タッチパネル付ディスプレイ装置３０に表示される指示画面の一例を示す平面図である。この例では、画面上の領域Ｔ１にハッチングを施して、このハッチング領域内で、２本指を上方向に平行に移動させるジェスチャー（図１１に示すジェスチャーＧ１）を行うような指示を行っている。この指示を見たユーザが、画面上のハッチングが施されている領域内で、当該ジェスチャーを行うと、これを解析することによって得られた解析パターンが、ジェスチャーＧ１の領域Ｔ１についてのサンプルパターンＳＰ（Ｇ１Ｔ１）として、サンプルパターン格納部１５０Ｂに格納される。

サンプルパターン採取部１３０Ｂは、領域Ｔ２，Ｔ３，Ｔ４についても、同様に、ジェスチャーＧ１を行うよう指示を出し、そのときに得られた各解析パターンが、ジェスチャーＧ１のそれぞれ領域Ｔ２，Ｔ３，Ｔ４についてのサンプルパターンＳＰ（Ｇ１Ｔ２），ＳＰ（Ｇ１Ｔ３），ＳＰ（Ｇ１Ｔ４）として、サンプルパターン格納部１５０Ｂに格納される。もちろん、他のジェスチャーＧ２〜Ｇ６についても、それぞれ各領域Ｔ１〜Ｔ４について、同様の方法でサンプルパターンの採取が行われる。

デジタル処理ユニット１００Ｂ内のサンプルパターン格納部１５０Ｂは、図１に示す装置におけるサンプルパターン採取部１３０とほぼ同じ機能をもった構成要素である。ただ、個々の領域Ｔ１〜Ｔ４ごとに採取された各サンプルパターンを、それぞれ別個独立して格納することになる。図２０は、サンプルパターン格納部１５０Ｂに格納されている領域ごとのサンプルパターンの一例を示す平面図である。ここで、図示するサンプルパターンＳＰ（Ｔ１）は、図１７に示す領域Ｔ１で行われた６通りのジェスチャーＧ１〜Ｇ６について採取されたサンプルパターンＳＰ（Ｇ１Ｔ１）〜ＳＰ（Ｇ６Ｔ１）を示している。同様に、サンプルパターンＳＰ（Ｔ２），ＳＰ（Ｔ３），ＳＰ（Ｔ４）は、それぞれ図１７に示す領域Ｔ２，Ｔ３，Ｔ４で行われた６通りのジェスチャーＧ１〜Ｇ６について採取されたパターンである。

一方、デジタル処理ユニット１００Ｂ内のパターン選択部１６０Ｂは、図１に示す装置におけるパターン選択部１６０とほぼ同じ機能をもった構成要素である。ただ、サンプルパターン格納部１５０Ｂ内には、個々の領域ごとに異なるサンプルパターンが格納されているので、パターン選択部１６０Ｂは、採取された操作入力パターンの元になるジェスチャーが行われた主たる領域を認識し、当該認識領域についてのサンプルパターンとの比較を行うことによりパターン選択を行うことになる。

ジェスチャーが行われた主たる領域を認識するには、パターン解析部１２０の解析結果を利用すればよい。既に述べたとおり、パターン解析部１２０の解析処理プロセスでは、代表点の時間的変遷を示す検知信号からストロークが認識され、個々のストロークについてストローク位置Ｐ（ｘｐ，ｙｐ）が算出される。そこで、パターン選択部１６０Ｂは、このストローク位置Ｐ（ｘｐ，ｙｐ）に基づいて、ジェスチャーが行われた主たる領域を認識することができる。

たとえば、操作入力パターンが単一のストロークのみを含んでいる場合は、当該ストロークについてのストローク位置Ｐ（ｘｐ，ｙｐ）が、領域Ｔ１〜Ｔ４のいずれに所属するかを判定し、ストローク位置Ｐ（ｘｐ，ｙｐ）を含む領域をジェスチャーが行われた主たる領域と認定すればよい。また、操作入力パターンが複数のストロークを含んでいる場合は、たとえば、当該複数のストロークのストローク位置Ｐ（ｘｐ，ｙｐ）の重心位置を計算し、当該重心位置を含む領域をジェスチャーが行われた主たる領域と認定すればよい。

なお、ジェスチャーが領域の境界近傍で行われた場合、たとえば、左側のストロークは領域Ｔ１に含まれ、右側のストロークは領域Ｔ２に含まれる、という状況も起こり得る。このような場合でも、両ストローク位置の重心位置を含む領域をジェスチャーが行われた主たる領域と認定し、操作入力パターンを当該認定領域についてのサンプルパターンと比較する処理を行えば、パターン選択部１６０Ｂによる処理が滞ることはない。ただ、より柔軟な対応を採るのであれば、ジェスチャーが行われた両領域のサンプルパターンを参照した選択処理が行われるようにするのが好ましい。その場合には、まず第１に、重心位置を含む領域についてのサンプルパターンと比較する処理を行い、その結果、一致するサンプルパターンが存在しなかった場合には、第２に、いずれかのストロークのストローク位置Ｐを含む領域についてのサンプルパターンと比較する処理を行う、という選択手順を採るようにすればよい。

なお、図１７では、タッチ面を横方向に４分割して、４つの矩形領域Ｔ１〜Ｔ４を定義しているが、タッチ面の分割方法や分割数は任意である。したがって、縦方向に分割してもよいし、縦横ともに分割するようにしてもよい。もちろん、分割によって得られる各領域の形状も矩形に限定されるものではなく、たとえば、同心円状に分割して、円弧状の領域を形成するようにしてもよい。

また、図示の例のように、タッチパネル装置が長方形のタッチ面を有している場合は、ユーザが縦長状態で利用しているのか、横長状態で利用しているのかを区別するようにすれば、一層正確な操作入力の検知が可能になる。たとえば、図１７に示すような長方形のタッチ面をもった装置の場合、同じ分割態様で領域Ｔ１〜Ｔ４を定義したとしても、図２１(a) に示すように横長状態で利用する場合と、図２１(b) に示すように縦長状態で利用する場合とでは、同じジェスチャーについて得られる解析パターンは異なるものになる可能性が高い。たとえば、同じ領域Ｔ１でも、図２１(a) に示すように横長状態で利用すれば最も左側に位置する領域になるが、図２１(b) に示すように縦長状態で利用すれば最も上側に位置する領域になるので、ユーザが同じ領域Ｔ１でジェスチャーを行ったとしても、利用状態が横長か縦長かによって、実質的には、異なる領域でジェスチャーを行っていることになる。

そこで、タッチパネル装置が長方形のタッチ面を有している場合、サンプルパターン採取部１３０Ｂが、このタッチ面を横長状態で利用する横長モードと縦長状態で利用する縦長モードと、について、それぞれ別個独立したサンプルパターンを採取するようにし、サンプルパターン格納部１５０Ｂが、横長モードと縦長モードとについて、それぞれ別個独立してサンプルパターンを格納するようにしておけばよい。

具体的には、横長モードの場合は、左から順に、横長Ｔ１領域，横長Ｔ２領域，横長Ｔ３領域，横長Ｔ４領域という４つの領域を定義し、縦長モードの場合は、上から順に、縦長Ｔ１領域，縦長Ｔ２領域，縦長Ｔ３領域，縦長Ｔ４領域という４つの領域を定義すればよい。この場合、実質的に、８通りの領域について、それぞれサンプルパターンが別個独立して採取されることになる。

なお、横長モードで装置の左右を入れ替えた場合や、縦長モードで装置の上下を入れ替えた場合にも適切な対応を採るため、各領域は、タッチパネルの物理的な特定部分に設定されるのではなく、その時点での空間的位置関係に基づいて設定されるようにしておくのが好ましい。たとえば、「横長Ｔ１領域」は、タッチパネルに固有のある特定部分を意味するのではなく、タッチパネルを横長に保持した状態において、一番左側にある領域を意味することになる。

また、この場合、パターン選択部１６０Ｂには、現時点のモード（横長モードか縦長モードか）を認識する機能をもたせておき、当該認識モードについてのサンプルパターンとの比較を行うことによりパターン選択を行うことができるようにしておく。モード認識は、ユーザにいずれのモードで使用しているかを入力させることによって行うことも可能であるが、ここに示す実施例では、タッチパネル付ディスプレイ装置３０として、重力加速度を検出するセンサ（重力の作用する方向を検出するセンサ）を内蔵した装置を利用しているため、パターン選択部１６０Ｂは、このセンサの出力信号に基づいて現時点の装置の姿勢を認識することができ、横長モードで使用中か縦長モードで使用中かを認識することができる。

以上、図１８を参照して、領域を特定する変形例を述べたが、もちろん、この変形例に、§３−１で述べたユーザを特定する変形例（図１５）を組み合わせることも可能である。この場合、サンプルパターンは、個々のユーザごとに、かつ、個々の領域ごとに、それぞれ別個独立して採取され、サンプルパターン格納部１５０Ｂに格納されることになる。また、パターン選択部１６０Ｂは、操作入力パターンを、特定のユーザの特定の領域についてのサンプルパターンと比較して、対応するパターンの選択を行うことになる。

＜３−３：解析パターンの多様化＞
前述した基本的な実施例では、§２−２−４で説明したとおり、パターン決定部１２４が、各ストロークを、「点ストローク」，「時計まわり曲線ストローク」，「反時計まわり曲線ストローク」，「上方向直線ストローク」，「下方向直線ストローク」，「左方向直線ストローク」，「右方向直線ストローク」という７つの種別のうちのいずれかに分類する処理を行い、その組み合わせにより、１つの解析パターンを当てはめる処理を行っていたが、ストロークの分類種別は必ずしも上記７通りに限定されるわけではなく、よりきめの細かな分類を行うことも可能である。

たとえば、§２−２−４で説明した実施例では、ストローク方位Ｂに基づいて、「直線ストローク」を、上下左右の４通りの種別に分けた取り扱いを行っているが、「直線ストローク」は、必ずしも上下左右の４通りの種別に分ける必要はなく、一般に、方位の異なる複数Ｗ通りの種別に分けて取り扱うことが可能である。

図２２は、Ｗ＝３６に設定し、「直線ストローク」をストローク方位Ｂに基づいて３６通りの種別に分類した例を示す平面図である。この分類によれば、「直線ストローク」が、１０°単位の細かな向きに応じて細分化されることになる。図の白抜きの矢印は、この３６通りの種別を示す記号である。ストローク方位Ｂは、−１８０°〜＋１８０°の値をとるパラメータであるから、図２２に示す３６通りの角度種別の中から、「直線ストローク」のストローク方位Ｂが示す角度に最も近い角度種別を選ぶことにより、当該「直線ストローク」を３６通りの細分化された種別に分類することができる。

もちろん、「曲線ストローク」を細分化することも可能である。§２−２−４で説明した実施例では、ストローク湾曲度Ｃの符号のみを参照して、「時計まわり曲線ストローク」か「反時計まわり曲線ストローク」かのいずれかに分類しているが、ストローク方位Ｂを組み合わせることにより、細分化を行うことが可能である。図２３は、ストローク方位Ｂを参照することにより、「曲線ストローク」を合計８通りの種別に分類した例を示す平面図である。図の上段に示す４通りの種別は、いずれも「時計まわり曲線ストローク」であるが、ストローク方位Ｂによって、「右方向時計まわり曲線ストロークα１」，「下方向時計まわり曲線ストロークα２」，「左方向時計まわり曲線ストロークα３」，「上方向時計まわり曲線ストロークα４」に細分化されている。同様に、図の下段に示す４通りの種別は、いずれも「反時計まわり曲線ストローク」であるが、ストローク方位Ｂによって、「左方向反時計まわり曲線ストロークβ１」，「上方向反時計まわり曲線ストロークβ２」，「右方向反時計まわり曲線ストロークβ３」，「下方向反時計まわり曲線ストロークβ４」に細分化されている。

図２４は、更に、ストローク湾曲度Ｃの絶対値を考慮した細分化を行った例である。すなわち、図示の種別α１−１，α１−２，α１−３，α１−４は、いずれも図２３に示す「右方向時計まわり曲線ストロークα１」に属しているが、ストローク湾曲度Ｃの絶対値が異なっている。

このように、個々のストロークの種別を細分化すれば、当然、これらストロークによって定義される解析パターンは多様化することになる。特に、複数の指を用いたジェスチャーに対する解析パターンは、複数のストロークの組み合わせによって定義されることになるので、個々のストロークの種別が増えれば、これらの組み合わせによって定義される解析パターンのバリエーションは指数的に増加する。したがって、より精度の高い操作入力の検知が可能になる。

ただ、解析パターンが多様化すると、特定の操作入力パターンに合致するサンプルパターンが見つからないケースが多くなり、パターン選択部１６０が、エラーの検知結果信号を返すケースが多発する可能性がある。たとえば、§２−２−４で説明した基本的な実施例では、ストローク方位がＢ＝１０°でも、Ｂ＝−２０°でも、「直線ストローク」は「右方向直線ストローク」という種別に分類されることになるが、図２２に示すような細分化を行った場合、それぞれ別な種別の直線ストロークに分類されてしまうことになる。

たとえば、あるジェスチャーＧのサンプルパターン採取時に、左から右へ移動させた指の動きが「ストローク方位Ｂ＝１０°の直線ストローク」と認識され、そのようなストロークを含む解析パターンが、「ジェスチャーＧのサンプルパターン」として登録された場合を考える。続いて、同じジェスチャーＧの操作入力を行うために、左から右へ指を移動させる動作を行った結果、「ストローク方位Ｂ＝−２０°の直線ストローク」を含む操作入力パターンが認識されたとしよう。この場合、§２−２−４で説明した基本的な実施例では、いずれの直線ストロークも「右方向直線ストローク」という種別に分類されるので、両パターンは合致し、当該操作入力は、問題なく「ジェスチャーＧ」と検知される。

ところが、図２２に示すような細分化を行った場合、「ストローク方位Ｂ＝１０°の直線ストローク」と「ストローク方位Ｂ＝−２０°の直線ストローク」とは別な種別であるため、合致するサンプルパターンは見つからない。そのため、パターン選択部１６０は、合致するパターンを選択することができず、エラーを示す検知結果信号を出力せざるを得なくなる。実際、図２２に示すように、ストローク方位Ｂを１０°単位で細分化して種別を定めた場合、かなりの頻度でエラーを示す検知結果信号が出力されることになろう。

そこで、ストローク特性を細分化する運用を行う場合は、パターン選択部１６０が、採取された操作入力パターンに合致するサンプルパターンがサンプルパターン格納部内に存在しない場合には、操作入力パターンに含まれるストロークの特性に近似した特性をもったストロークを含む近似サンプルパターンを選択するようにすればよい。

たとえば、上例の場合、「方位Ｂ＝−２０°の直線ストローク」を含むサンプルパターンが存在しない場合には、まず、方位Ｂを１０°だけ増減し、「方位Ｂ＝−１０°もしくは−３０°の直線ストローク」を含むサンプルパターンを近似サンプルパターンとして選択するようにし、そのような近似サンプルパターンも存在しない場合には、方位Ｂを２０°だけ増減し、「方位Ｂ＝０°もしくは−４０°の直線ストローク」を含むサンプルパターンを近似サンプルパターンとして選択するようにし、そのような近似サンプルパターンも存在しない場合には、方位Ｂを３０°だけ増減し、「方位Ｂ＝１０°もしくは−５０°の直線ストローク」を含むサンプルパターンを近似サンプルパターンとして選択する、というように、近似範囲を徐々に広げた判定を行うようにすればよい。そうすれば、合致するサンプルパターンがない場合には、できるだけ近似度の高いサンプルパターンが近似サンプルパターンとして選択されることになる。もちろん、近似範囲の限界を、たとえば±３０°と定めておき、その範囲内の近似サンプルパターンがみつからない場合は、近似サンプルパターンなしとして、エラー信号を返すようにすればよい。

このように、パターン選択の際に、完全に合致したサンプルパターンが存在しない場合には、近似したサンプルパターンを選択することにより、サンプルパターン採取時とは多少異なったジェスチャー動作を行った場合でも、有効な操作入力として検知できる運用を行うことができるようになる。

＜３−４：ジェスチャー動作の多様化＞
前述した基本的な実施例では、§２−３で説明したとおり、サンプルパターン採取部１３０が、図１１に示す６通りのジェスチャー動作について、それぞれサンプルパターンを登録する処理を行う例を述べたが、もちろん、実際には、必要に応じて、この他にも様々なジェスチャー動作を登録することができる。もちろん、１本の指を用いたジェスチャーや３本以上の指を用いたジェスチャーを登録することも可能である。

図２５に示すジェスチャーＧ１１〜Ｇ１８は、２本指を用いたジェスチャーのバリエーションである。ジェスチャーＧ１１〜Ｇ１４は、２本指を互いに遠ざけるように移動させるジェスチャーであり、たとえば、対象物を拡大表示させる操作入力を示すジェスチャーとして利用することができる。一方、ジェスチャーＧ１５〜Ｇ１８は、２本指を互いに近づけるように移動させるジェスチャーであり、たとえば、対象物を縮小表示させる操作入力を示すジェスチャーとして利用することができる。ジェスチャーＧ１１〜Ｇ１４や、ジェスチャーＧ１５〜Ｇ１８は、それぞれ指の移動方向が異なるバリエーションであり、この移動方向のバリエーションによって、それぞれ異なる操作入力を行うことが可能である。

＜３−５：選択履歴を考慮する変形例＞
図２６は、本発明の更に別な変形例に係るタッチパネルを用いた操作入力検知装置の構成を示すブロック図である。図１に示す基本的実施形態との相違点は、デジタル処理ユニット１００の代わりに、デジタル処理ユニット１００Ｃが用いられている点である。デジタル処理ユニット１００Ｃの大きな特徴は、デジタル処理ユニット１００に、履歴格納部１９０を付加した点である。

履歴格納部１９０は、検知結果出力部１７０が過去に出力した検知結果の履歴を格納する機能をもった構成要素である。検知結果出力部１７０は、パターン選択部１６０Ｃで選択されたサンプルパターンに対応するジェスチャーを示す情報を、操作入力の検知結果を示す検知結果信号として外部へ出力する機能を有している。そこで、履歴格納部１９０は、検知結果出力部１７０が検知結果信号を出力するたびに、その履歴を格納する処理を行う。

このような履歴は、§３−３の解析パターンを多様化する変形例で述べたように、パターン選択部１６０Ｃが、近似サンプルパターンを選択する際に役立てることができる。すなわち、解析パターンを多様化したために、サンプルパターン格納部１５０内に合致するサンプルパターンが格納されていなかった場合、パターン選択部１６０Ｃは、操作入力パターンに含まれるストロークの特性に近似した特性をもったストロークを含む近似サンプルパターンを選択することができるが、その際に、履歴格納部１９０に格納されている履歴を参照し、過去の選択頻度が高いサンプルパターンほど、より近似するサンプルパターンとする判断を行うことができる。

たとえば、§３−３では、「ストローク方位Ｂ＝１０°の直線ストローク」を含む解析パターンが「ジェスチャーＧのサンプルパターン」として登録されていた場合に、「方位Ｂ＝−２０°の直線ストローク」を含む操作入力パターンが与えられた場合の選択方法を述べた。この場合、「方位Ｂ＝−２０°の直線ストローク」に対して、たとえば、方位Ｂが±３０°以内となる直線ストロークを近似ストロークと定義し、そのような近似ストロークを含むサンプルパターンのうち、過去の選択頻度が最も高いサンプルパターンを、近似度が最も高いサンプルパターンとして取り扱い、これを近似サンプルパターンとして選択する処理を行えばよい。

一般に、ユーザは、同じ操作入力を繰り返し与える傾向にあるので、近似度を過去の履歴を参照して決定するようにすれば、より妥当な判断が可能になる。

＜３−６：短いストロークを無視する変形例＞
これまで述べた基本的な実施例では、§２−２−２で述べたとおり、図４の代表点データ格納部１２１に格納されている解析対象となる一群の代表点データに基づいて、同一の指の動きを示す複数の代表点の集合体からなるストロークの認識が行われる。しかしながら、このような方法で認識されるストロークは、必ずしもユーザの指の軌跡を示す正しいストロークになるとは限らない。

一応、図３のグラフに示すとおり、接触度が所定の基準値Th未満となる検出値については、代表点Ｑの認識が行われることはないが、何らかのノイズ成分がたまたま基準値Th以上の検出値を生じさせたり、ユーザの意図に反して、たまたま小指などの無関係な指が誤ってタッチ面に触れてしまったりすると、無用な代表点Ｑが認識され、このような代表点Ｑに基づいて、無用なストロークが認識されてしまうことになる。

このような現象が生じると、たとえば、ユーザが２本指のジェスチャーを行っているのに、３つのストロークが認識され、採取された操作入力パターンは、３つのストロークを含むパターンとして取り扱われることになる。その結果、パターン選択部は、採取された操作入力パターンに合致する、もしくは近似するサンプルパターンを選択することができなくなる。

そこで、パターン選択部が、採取された操作入力パターンに合致するもしくは近似するサンプルパターンを選択することができない場合には、当該操作入力パターンに含まれる複数のストロークのうち、ストローク長Ｌの最も短いストロークを削除した修正操作入力パターンを作成し、この修正操作入力パターンに合致するサンプルパターンを選択するようにすればよい。ストローク長Ｌの短いストロークは、ノイズやユーザの誤操作によって生じた無用なストロークである可能性が高いため、ストローク長Ｌの短いストロークを削除することにより、無用なストロークを無視した取り扱いができるようになる。

＜＜＜ §４．具体的なデータ解析の例 ＞＞＞
ここでは、実際にユーザがジェスチャー動作を行うことにより得られた代表点データの測定例と、この代表点データを解析することにより得られたパターンの例を示しておく。

図２７は、２本指を上から下にスライドさせるジェスチャーを行った場合に得られた具体的な代表点データの一例を示す表である。この代表点データは、図４に示す代表点データ格納部１２１に格納された実データに相当する。この表の左側の４列に示すデータは、第１のストロークＳ１を構成する代表点のデータであり、右側の４列に示すデータは、第２のストロークＳ２を構成する代表点のデータである。具体的には、timeの欄のデータは、時刻ｔ（単位ｍｓ）を示しており、Ｘ，Ｙ，Ampの欄のデータは、それぞれ代表点のＸ座標値，Ｙ座標値，そして強度値を示している。この表では、第１のストロークＳ１のデータ（左半分）と第２のストロークＳ２のデータ（右半分）とを、時刻ｔを揃えて掲載している。したがって、表の同一行に記載されている代表点データは、同一時刻における指の接触情報を示すことになる。

図２８は、図２７に示す代表点データを解析することにより得られた解析パターンを示す平面図である。図示のとおり、この解析パターンは、上から下に向かう第１のストロークＳ１を左側に配置し、上から下に向かう第２のストロークＳ２を右側に配置したパターンである。パターン解析部１２０では、既に述べたとおり、各ストロークＳ１，Ｓ２について特性を示すパラメータ値を算出し、このパラメータ値に基づいて、各ストロークをいくつかの種別に分類することになる。図２７の表の下欄には、ストロークＳ１，Ｓ２について算出されたストローク長Ｌ，ストローク方位Ｂ，ストローク湾曲度Ｃの具体的な数値が示されている。これらの数値は、表に掲載された代表点データを用いて、図８に示す演算式に基づく演算を行うことにより得られたものである。

ここでは、ストローク長Ｌの基準値Ｌthを、Ｌth＝１に設定し、ストローク湾曲度の基準値Ｃthを、Ｃth＝１５に設定している。したがって、図９に示すパターン決定処理では、ステップＳ１３において、Ｌ＜１の場合は点ストロークとの認識がなされる。また、線ストロークとの認識がなされた場合は、ステップＳ１５において、｜Ｃ｜＜１５の場合は直線ストロークとの認識がなされる。図２７に示す例の場合、ストロークＳ１，Ｓ２は、いずれもＬ＞１であるから、線ストロークと認識され、いずれも｜Ｃ｜＜１５であるから、直線ストロークと認識される。そして、ステップＳ１９において、方位Ｂの値に基づいて、「下方向」との決定がなされ、ステップＳ２０において、いずれのストロークに対しても「下方向直線ストローク」なる種別が決定される。かくして、最終的には、ステップＳ２３において、「左側の下方向直線ストローク＋右側の下方向直線ストローク」なる解析パターン（図１４のサンプルパターンＳＰ（Ｇ２））が決定される。

一方、図２９は、２本指を左から右にスライドさせるジェスチャーを行った場合に得られた具体的な代表点データの一例を示す表であり、図３０は、図２９に示す代表点データを解析することにより得られた解析パターンを示す平面図である。図示のとおり、この解析パターンは、左から右に向かう第１のストロークＳ１を下側に配置し、左から右に向かう第２のストロークＳ２を上側に配置したパターンである。やはり図２９の表の下欄には、これらのストロークについて算出された各パラメータ値が示されている。

この例の場合も、ストロークＳ１，Ｓ２は、いずれもＬ＞１であるから、線ストロークと認識され、いずれも｜Ｃ｜＜１５であるから、直線ストロークと認識される。そして、ステップＳ１９において、方位Ｂの値に基づいて、「右方向」との決定がなされ、ステップＳ２０において、いずれのストロークに対しても「右方向直線ストローク」なる種別が決定される。かくして、最終的には、ステップＳ２３において、「上側の右方向直線ストローク＋下側の右方向直線ストローク」なる解析パターン（図１４のサンプルパターンＳＰ（Ｇ４））が決定される。

また、図３１は、２本指を共に時計まわりに回転させるジェスチャーを行った場合に得られた具体的な代表点データの一例を示す表であり、図３２は、図３１に示す代表点データを解析することにより得られた解析パターンを示す平面図である。図示のとおり、この解析パターンは、上から下に向かう第１のストロークＳ１を右側に配置し、下から上に向かう第２のストロークＳ２を左側に配置したパターンである。やはり図３１の表の下欄には、これらのストロークについて算出された各パラメータ値が示されている。

この例の場合も、ストロークＳ１，Ｓ２は、いずれもＬ＞１であるから、線ストロークと認識される。ただ、湾曲度Ｃに関しては、いずれも｜Ｃ｜＞１５であるから、曲線ストロークと認識される。そして、ステップＳ１７において、いずれも湾曲度Ｃが負の値を示しているため、湾曲方向は時計まわりとの決定がなされ、ステップＳ２０において、いずれのストロークに対しても「時計まわり曲線ストローク」なる種別が決定される。かくして、最終的には、ステップＳ２３において、「左側の時計まわり曲線ストローク＋右側の時計まわり曲線ストローク」なる解析パターン（図１３のサンプルパターンＳＰ（Ｇ５））が決定される。

最後の図３３は、２本指を共に反時計まわりに回転させるジェスチャーを行った場合に得られた具体的な代表点データの一例を示す表であり、図３４は、図３３に示す代表点データを解析することにより得られた解析パターンを示す平面図である。図示のとおり、この解析パターンは、ほぼ同位置に留まる第１のストロークＳ１を右側に配置し、上から下に向かう第２のストロークＳ２を左側に配置したパターンである。やはり図３３の表の下欄には、これらのストロークについて算出された各パラメータ値が示されている。

この例の場合、ストロークＳ２は、Ｌ＞１であるから、線ストロークと認識されるが、ストロークＳ１は、Ｌ＜１であるから、点ストロークと認識されることになる。また、線ストロークと認識されたストロークＳ２の湾曲度Ｃは、｜Ｃ｜＞１５であるから、曲線ストロークと認識され、湾曲度Ｃは正の値を示しているため、湾曲方向は反時計まわりとの決定がなされる。そこで、ステップＳ２０において、ストロークＳ１に対しては「点ストローク」なる種別が決定され、ストロークＳ２に対しては「反時計まわり曲線ストローク」なる種別が決定される。かくして、最終的には、ステップＳ２３において、「左側の反時計まわり曲線ストローク＋右側の点ストローク」なる解析パターン（図１３のサンプルパターンＳＰ（Ｇ６））が決定される。

＜＜＜ §５．本発明に係る操作入力検知方法の基本手順 ＞＞＞
最後に、本発明に係る操作入力検知方法の基本手順を述べておく。この方法は、タッチ面に対するユーザの指の接触状態を検知するタッチパネル装置と、ユーザに提示する情報を表示するディスプレイ装置と、が接続されたコンピュータによって、ユーザのタッチパネル装置に対する操作入力を検知する方法ということになり、これまで述べてきた本発明に係る操作入力検知装置を用いて行われる。

図３５は、この操作入力検知方法の手順を示す流れ図である。図示のとおり、この手順は、予めユーザのサンプル操作を登録する準備段階（ステップＳ３１〜Ｓ３３）と、ユーザの実操作入力を受け付けてこれを検知する検知段階（ステップＳ３４〜Ｓ３８）とによって構成される。

ここで、準備段階では、コンピュータが、ディスプレイ装置の画面上にタッチ面上で所定のジェスチャーを行う旨の指示を表示し、当該指示に基づくユーザのジェスチャー動作によってタッチパネル装置から得られる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する段階（ステップＳ３１）と、コンピュータが、代表点の時間的変遷に基づいて、接触状態の時間的な変化態様を解析し、その結果をジェスチャーに対応するサンプルパターンとして採取する段階（ステップＳ３２）とが行われ、これらの各段階を、複数ｍ通りのジェスチャーについて実行し（ステップＳ３３）、個々のジェスチャーに対応するサンプルパターンを採取する処理が行われる。

一方、検知段階では、コンピュータが、実操作入力の検知が必要なときに、タッチパネル装置から与えられる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する段階（ステップＳ３４）と、コンピュータが、代表点の時間的変遷に基づいて、接触状態の時間的な変化態様を解析し、その結果を実操作入力に対応する操作入力パターンとして採取する段階（ステップＳ３５）と、コンピュータが、採取された操作入力パターンを、準備段階で採取した複数ｍ通りのサンプルパターンと比較し、合致もしくは近似したサンプルパターンを選択する段階（ステップＳ３６）と、コンピュータが、選択されたサンプルパターンに対応する操作入力がなされた旨を検知する段階（ステップＳ３７）と、が行われ、必要に応じて、これらの段階が繰り返し実行される（ステップＳ３８）。

なお、§３−１にユーザを特定する変形例として述べたとおり、準備段階で、コンピュータが、複数のユーザについてそれぞれ別個独立したサンプルパターンを採取する処理を行い、検知段階で、コンピュータが、現在利用中のユーザを特定し、当該ユーザについてのサンプルパターンとの比較を行うことによりパターン選択を行うようにすれば、ユーザに固有の特徴をそれぞれ考慮した正確な操作入力の検知が可能になる。

また、§３−２に領域を特定する変形例として述べたとおり、準備段階で、コンピュータが、タッチパネル装置のタッチ面を分割することによって得られる複数の領域について、それぞれ別個にジェスチャーを行う旨の指示を表示し、個々の領域ごとにそれぞれサンプルパターンを採取する処理を行い、検知段階で、コンピュータが、ジェスチャーが行われた主たる領域を認識し、当該認識領域についてのサンプルパターンとの比較を行うことによりパターン選択を行うようにすれば、ジェスチャーが行われた領域を考慮した正確な操作入力の検知が可能になる。

１０：タッチパネル装置
２０：ディスプレイ装置
３０：タッチパネル付ディスプレイ装置
１００，１００Ａ，１００Ｂ，１００Ｃ：デジタル処理ユニット
１１０：代表点認識部
１２０：パターン解析部
１２１：代表点データ格納部
１２２：ストローク認識部
１２３：特性認識部
１２４：パターン決定部
１３０，１３０Ａ，１３０Ｂ：サンプルパターン採取部
１４０：操作入力パターン搾取部
１５０，１５０Ａ，１５０Ｂ：サンプルパターン格納部
１６０，１６０Ａ，１６０Ｂ，１６０Ｃ：パターン選択部
１７０：検知結果出力部
１８０：ユーザ特定部
１９０：履歴格納部
２００：外部ユニット
Ａ１，Ａ２：接触領域
ａ１１〜ａ２９：強度値
Ｂ：ストローク方位
Ｃ：ストローク湾曲度
Ｃth：ストローク湾曲度の基準値
ｄ：距離の基準値
ｄ１〜ｄ７：２点間の距離
ｄｘ，ｄｙ：格子線ピッチ
Ｅ：包絡面
Ｇ１〜Ｇ１８：ジェスチャー
Ｈ（ｘ，ｙ）：格子点
ｉ，ｊ：番号を示すパラメータ
Ｌ：ストローク長
Ｌth：ストローク長の基準値
ｎ：１つのストロークに含まれる代表点の数
Ｏ：座標系の原点
Ｐ：ストローク位置
ＰＴ（Ａ）〜ＰＴ（Ｅ）：解析パターン
Ｑ１，Ｑ２，... ，Ｑ２９：代表点
Ｑ_ｉ−２，Ｑ_ｉ−１，Ｑ_ｉ：代表点
Ｓ１，Ｓ２，Ｓ_ｊ：ストローク
Ｓ１１〜Ｓ３８：流れ図の各ステップ
ＳＰ：サンプルパターン
Ｔ１〜Ｔ４：領域
Th：接触度の基準値
ｔ１〜ｔ９：時刻
Ｕ，Ｕａ，Ｕｂ，Ｕｃ：ユーザ識別コード
Ｖ_ｉ−１，Ｖ_ｉ：ベクトル
Ｗ：方位ベクトル
Ｘ：座標軸
ｘ１，ｘ２，... ，ｘ２９：代表点のＸ座標値
ｘ_ｉ−２，ｘ_ｉ−１，ｘ_ｉ：代表点のＸ座標値
ｘｐ：ストローク位置ＰのＸ座標値
Ｙ：座標軸
ｙ１，ｙ２，... ，ｙ２９：代表点のＹ座標値
ｙ_ｉ−２，ｙ_ｉ−１，ｙ_ｉ：代表点のＹ座標値
ｙ_ｋ：格子線のＹ座標値
ｙｐ：ストローク位置ＰのＹ座標値
α１〜α４：曲線ストロークの種別
α１−１〜α１−４：曲線ストロークの種別
β１〜β４：曲線ストロークの種別
θ，θ_ｉ：方位角
φ，φ_ｉ：変位角

Claims (29)

1. タッチ面に対するユーザの指の接触状態を検知するタッチパネル装置と、ユーザに提示する情報を表示するディスプレイ装置と、デジタル処理ユニットと、を備え、
   前記デジタル処理ユニットは、
   前記タッチパネル装置から与えられる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する代表点認識部と、
   前記代表点認識部の認識結果に基づいて、接触状態の時間的な変化態様を解析して解析パターンを得るパターン解析部と、
   前記ディスプレイ装置の画面上に前記タッチ面上で複数ｍ通りのジェスチャーを行う旨の指示を表示し、当該指示に基づくユーザのｍ通りのジェスチャー動作について前記パターン解析部によって得られた各解析パターンを、それぞれサンプルパターンとして採取するサンプルパターン採取部と、
   第ｋ番目（１≦ｋ≦ｍ）のジェスチャーを行う旨の指示を表示したときに採取された解析パターンを、第ｋ番目のジェスチャーに対応するサンプルパターンとして格納するサンプルパターン格納部と、
   外部から操作入力の検知を要求する検知要求信号が与えられた後に、前記パターン解析部によって得られた解析パターンを操作入力パターンとして採取する操作入力パターン採取部と、
   採取された操作入力パターンを、前記サンプルパターン格納部に格納されている複数ｍ通りのサンプルパターンと比較し、合致もしくは近似したサンプルパターンを選択するパターン選択部と、
   前記パターン選択部で選択されたサンプルパターンに対応するジェスチャーを示す情報を、操作入力の検知結果を示す検知結果信号として外部へ出力する検知結果出力部と、
   を備え、
   前記サンプルパターン採取部が、前記タッチパネル装置のタッチ面を分割することによって得られる複数の領域について、それぞれ別個にジェスチャーを行う旨の指示を表示し、個々の領域ごとにそれぞれサンプルパターンを採取し、
   前記サンプルパターン格納部が、前記個々の領域ごとにそれぞれ別個独立したサンプルパターンを格納し、
   前記パターン選択部が、ジェスチャーが行われた主たる領域を認識し、当該認識領域についてのサンプルパターンとの比較を行うことによりパターン選択を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
2. 請求項１に記載の操作入力検知装置において、
   デジタル処理ユニットが、現在利用中のユーザを特定する情報を入力しこれを保存するユーザ特定部を更に備え、
   サンプルパターン採取部が、前記ユーザ特定部によって特定されたユーザごとにそれぞれ独立してサンプルパターンを採取し、
   サンプルパターン格納部が、前記ユーザ特定部によって特定されたユーザごとにそれぞれ独立してサンプルパターンを格納し、
   パターン選択部が、前記ユーザ特定部によって特定されたユーザについてのサンプルパターンとの比較を行うことによりパターン選択を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
3. 請求項１または２に記載の操作入力検知装置において、
   タッチパネル装置が長方形のタッチ面を有しており、
   サンプルパターン採取部が、前記タッチ面を横長状態で利用する横長モードと、前記タッチ面を縦長状態で利用する縦長モードと、について、それぞれ別個独立したサンプルパターンを採取し、
   サンプルパターン格納部が、前記横長モードと前記縦長モードとについて、それぞれ別個独立してサンプルパターンを格納し、
   パターン選択部が、現時点のモードを認識する機能を有し、当該認識モードについてのサンプルパターンとの比較を行うことによりパターン選択を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
4. 請求項３に記載の操作入力検知装置において、
   タッチパネル装置が重力加速度を検出するセンサを有し、
   パターン選択部が、前記センサの出力信号に基づいて現時点のモードを認識する機能を有することを特徴とするタッチパネルを用いた操作入力検知装置。
5. 請求項１〜４のいずれかに記載の操作入力検知装置において、
   タッチパネル装置が、タッチ面上の個々の位置について指の接触度を示す信号を出力し、
   代表点認識部が、前記接触度が所定の基準値以上の値を示す前記タッチ面上の閉領域を接触領域と認識し、「前記接触領域内で接触度がピークとなる位置」もしくは「タッチ面を水平面とし、接触度を高さ方向にとった座標系において、接触領域上に形成される山の重心位置」を代表点と認識することを特徴とするタッチパネルを用いた操作入力検知装置。
6. 請求項１〜５のいずれかに記載の操作入力検知装置において、
   代表点認識部が、各接触領域について、タッチ面上に定義された二次元ＸＹ座標系における代表点の座標値（ｘ，ｙ）および現在時刻ｔを認識し、値（ｘ，ｙ，ｔ）を含む代表点データを所定の時間間隔で出力し、
   パターン解析部が、前記代表点データに基づいて、解析パターンを得ることを特徴とするタッチパネルを用いた操作入力検知装置。
7. 請求項６に記載の操作入力検知装置において、
   タッチパネル装置が、タッチ面上の個々の位置について指の接触度を示す信号を出力し、
   代表点認識部が、各接触領域について、更に「接触領域内の接触度のピーク値」もしくは「タッチ面を水平面とし、接触度を高さ方向にとった座標系において、接触領域上に形成される山の体積」を前記接触領域の強度値ａと認識し、値（ｘ，ｙ，ａ，ｔ）を含む代表点データＱ（ｘ，ｙ，ａ，ｔ）を所定の時間間隔で出力し、
   パターン解析部が、前記代表点データＱ（ｘ，ｙ，ａ，ｔ）に基づいて、解析パターンを得ることを特徴とするタッチパネルを用いた操作入力検知装置。
8. 請求項７に記載の操作入力検知装置において、
   パターン解析部が、値ａが所定の基準値以上の代表点データＱ（ｘ，ｙ，ａ，ｔ）のみに基づいてパターンの解析を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
9. 請求項６〜８のいずれかに記載の操作入力検知装置において、
   パターン解析部が、
   代表点データを格納する代表点データ格納部と、
   前記代表点データに基づいて、同一の指の動きを示す複数の代表点の集合体からなるストロークを認識するストローク認識部と、
   前記ストローク認識部によって認識された個々のストロークの特性を認識する特性認識部と、
   前記ストローク認識部および前記特性認識部による認識結果に基づいて、固有の特性をもった１つのストロークもしくは複数のストロークの組み合わせを１つのパターンに対応づけることにより、解析パターンを決定するパターン決定部と、
   を有することを特徴とするタッチパネルを用いた操作入力検知装置。
10. 請求項９に記載の操作入力検知装置において、
    ストローク認識部が、代表点認識部から出力された時間的に連続した一群の代表点データに基づいて、第ｉ番目の時刻ｔ_ｉに得られた代表点と第（ｉ−１）番目の時刻ｔ_ｉ−１に得られた代表点との距離が所定の基準以下となる２つの代表点を同一のストロークに所属する代表点と認識することにより、ストロークの認識を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
11. 請求項９または１０に記載の操作入力検知装置において、
    特性認識部が、少なくとも、１つのストロークを構成する複数の代表点を時系列に沿った順番で連結した場合の連結線の長さの総和を示すストローク長Ｌと、ストロークの湾曲の程度を示すストローク湾曲度Ｃとを、当該ストロークの特性を示す値として算出することを特徴とするタッチパネルを用いた操作入力検知装置。
12. 請求項１１に記載の操作入力検知装置において、
    特性認識部が、合計ｎ個の代表点の集合体からなるストロークについて、第ｉ番目の代表点Ｑ_ｉの座標値を（ｘ_ｉ，ｙ_ｉ）とし、第（ｉ−１）番目の代表点Ｑ_ｉ−１の座標値を（ｘ_ｉ−１，ｙ_ｉ−１）とし、代表点Ｑ_ｉ−１から代表点Ｑ_ｉへ向かうベクトルをＶ_ｉ、第（ｉ−２）番目の代表点Ｑ_ｉ−２から代表点Ｑ_ｉ−１へ向かうベクトルをＶ_ｉ−１とし、ベクトルＶ_ｉがベクトルＶ_ｉ−１に対してなす角度を変位角φ_ｉとしたときに、
    Ｌ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
    Ｃ＝Σ _i=3〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・φ_ｉ
    ／Σ _i=3〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
    なる演算によって、ストローク長Ｌおよびストローク湾曲度Ｃを算出することを特徴とするタッチパネルを用いた操作入力検知装置。
13. 請求項１１または１２に記載の操作入力検知装置において、
    パターン決定部が、ストローク長Ｌおよびストローク湾曲度Ｃに基づいて各ストロークを複数の種別に分類し、特定の種別もしくはその組み合わせに対して特定の解析パターンを対応させることにより、解析パターンを決定することを特徴とするタッチパネルを用いた操作入力検知装置。
14. 請求項１３に記載の操作入力検知装置において、
    パターン決定部が、ストローク長Ｌが所定の基準値Ｌth未満のストロークを「点ストローク」なる種別に分類し、ストローク長Ｌが前記基準値Ｌth以上のストロークを「線ストローク」とし、「線ストローク」のうち、湾曲度Ｃの絶対値が所定の基準値Ｃth未満のストロークを「直線ストローク」なる種別に分類し、「線ストローク」のうち、湾曲度Ｃの絶対値が前記基準値Ｃth以上のストロークを「曲線ストローク」なる種別に分類し、「点ストローク」、「直線ストローク」、「曲線ストローク」なる種別もしくはこれらの組み合わせに対してそれぞれ特定の解析パターンを対応づけることにより、解析パターンの決定を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
15. 請求項１４に記載の操作入力検知装置において、
    ストロークが時計まわりに回転する場合と反時計まわりに回転する場合とで、互いに符号が異なるようにストローク湾曲度Ｃを定め、
    パターン決定部が、ストローク湾曲度Ｃの符号に基づいて、「曲線ストローク」なる種別を、更に「時計まわり曲線ストローク」と「反時計まわり曲線ストローク」との２通りの種別に分けて取り扱い、パターンの決定を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
16. 請求項１４または１５に記載の操作入力検知装置において、
    特性認識部が、更に、ＸＹ平面上でのストローク全体の方位を示すストローク方位Ｂを、当該ストロークの特性を示す値として算出することを特徴とするタッチパネルを用いた操作入力検知装置。
17. 請求項１６に記載の操作入力検知装置において、
    特性認識部が、合計ｎ個の代表点の集合体からなるストロークについて、第（ｉ−１）番目の代表点Ｑ_ｉ−１から第ｉ番目の代表点Ｑ_ｉへ向かうベクトルＶ_ｉが所定の基準座標軸に対してなす角度を方位角θ_ｉとしたときに、
    Ｂ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・θ_ｉ
    ／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
    なる演算によって、ストローク方位Ｂを算出することを特徴とするタッチパネルを用いた操作入力検知装置。
18. 請求項１６または１７に記載の操作入力検知装置において、
    パターン決定部が、ストローク方位Ｂに基づいて、「直線ストローク」なる種別を、更に、方位の異なる複数Ｗ通りの種別に分けて取り扱い、パターンの決定を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
19. 請求項１４〜１８のいずれかに記載の操作入力検知装置において、
    特性認識部が、更に、ＸＹ平面上でのストロークの位置を示すストローク位置Ｐを、当該ストロークの特性を示す値として算出することを特徴とするタッチパネルを用いた操作入力検知装置。
20. 請求項１９に記載の操作入力検知装置において、
    特性認識部が、合計ｎ個の代表点の集合体からなるストロークについて、第ｉ番目の代表点Ｑ_ｉの座標値を（ｘ_ｉ，ｙ_ｉ）とし、第（ｉ−１）番目の代表点Ｑ_ｉ−１の座標値を（ｘ_ｉ−１，ｙ_ｉ−１）としたときに、
    ｘｐ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・ｘ_ｉ
    ／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
    ｙｐ＝Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２・ｙ_ｉ
    ／Σ _i=2〜n （（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）^１／２
    なる演算によって、ストローク位置Ｐ（ｘｐ，ｙｐ）の座標値を算出することを特徴とするタッチパネルを用いた操作入力検知装置。
21. 請求項１９または２０に記載の操作入力検知装置において、
    パターン決定部が、複数のストロークを含むパターンに対しては、ストローク位置Ｐを参照することにより相互位置関係を把握し、相互位置関係が異なるパターンを区別してパターンの決定を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
22. 請求項９〜２１のいずれかに記載の操作入力検知装置において、
    パターン選択部が、採取された操作入力パターンに合致するサンプルパターンが存在しない場合に、前記操作入力パターンに含まれるストロークの特性に近似した特性をもったストロークを含む近似サンプルパターンを選択することを特徴とするタッチパネルを用いた操作入力検知装置。
23. 請求項２２に記載の操作入力検知装置において、
    デジタル処理ユニットが、検知結果出力部が過去に出力した検知結果の履歴を格納する履歴格納部を更に備え、
    パターン選択部が、近似サンプルパターンを選択する際に、前記履歴を参照し、過去の選択頻度が高いサンプルパターンほど、より近似するサンプルパターンとする判断を行うことを特徴とするタッチパネルを用いた操作入力検知装置。
24. 請求項１１〜２１のいずれかに記載の操作入力検知装置において、
    パターン選択部が、採取された操作入力パターンに合致するもしくは近似するサンプルパターンが存在しない場合に、前記操作入力パターンに含まれる複数のストロークのうち、ストローク長Ｌの最も短いストロークを削除した修正操作入力パターンを作成し、前記修正操作入力パターンに合致するサンプルパターンを選択することを特徴とするタッチパネルを用いた操作入力検知装置。
25. 請求項１〜２４のいずれかに記載の操作入力検知装置において、
    タッチパネル装置およびディスプレイ装置を、表示画面がタッチ面を構成するタッチパネル付ディスプレイ装置によって構成したことを特徴とするタッチパネルを用いた操作入力検知装置。
26. 請求項１〜２５のいずれかに記載の操作入力検知装置と、
    当該操作入力検知装置に対して検知要求信号を与えるとともに、当該操作入力検知装置から検知結果信号の出力を受ける機能をもった外部ユニットと、
    を備えることを特徴とする電子機器。
27. 請求項１〜２４のいずれかに記載の操作入力検知装置におけるデジタル処理ユニットとしてコンピュータを機能させるプログラム。
28. タッチ面に対するユーザの指の接触状態を検知するタッチパネル装置と、ユーザに提示する情報を表示するディスプレイ装置と、が接続されたコンピュータによって、ユーザの前記タッチパネル装置に対する操作入力を検知する方法であって、
    予めユーザのサンプル操作を登録する準備段階と、ユーザの実操作入力を受け付けてこれを検知する検知段階と、によって構成され、
    前記準備段階では、
    コンピュータが、前記ディスプレイ装置の画面上に前記タッチ面上で所定のジェスチャーを行う旨の指示を表示し、当該指示に基づくユーザのジェスチャー動作によって前記タッチパネル装置から得られる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する段階と、
    コンピュータが、前記代表点の時間的変遷に基づいて、接触状態の時間的な変化態様を解析し、その結果を前記ジェスチャーに対応するサンプルパターンとして採取する段階と、
    を複数ｍ通りのジェスチャーについて実行し、個々のジェスチャーに対応するサンプルパターンを採取する処理が行われ、
    前記検知段階では、
    コンピュータが、実操作入力の検知が必要なときに、前記タッチパネル装置から与えられる検知信号に基づいて、ユーザの指の接触領域の代表位置を示す代表点の時間的変遷を認識する段階と、
    コンピュータが、前記代表点の時間的変遷に基づいて、接触状態の時間的な変化態様を解析し、その結果を前記実操作入力に対応する操作入力パターンとして採取する段階と、
    コンピュータが、採取された操作入力パターンを、前記準備段階で採取した複数ｍ通りのサンプルパターンと比較し、合致もしくは近似したサンプルパターンを選択する段階と、
    コンピュータが、選択されたサンプルパターンに対応する操作入力がなされた旨を検知する段階と、
    が行われ、
    前記準備段階で、コンピュータが、前記タッチパネル装置のタッチ面を分割することによって得られる複数の領域について、それぞれ別個にジェスチャーを行う旨の指示を表示し、個々の領域ごとにそれぞれサンプルパターンを採取する処理を行い、
    前記検知段階で、コンピュータが、ジェスチャーが行われた主たる領域を認識し、当該認識領域についてのサンプルパターンとの比較を行うことによりパターン選択を行うことを特徴とするタッチパネルを用いた操作入力検知方法。
29. 請求項２８に記載の操作入力検知方法において、
    準備段階で、コンピュータが、複数のユーザについてそれぞれ別個独立したサンプルパターンを採取する処理を行い、
    検知段階で、コンピュータが、現在利用中のユーザを特定し、当該ユーザについてのサンプルパターンとの比較を行うことによりパターン選択を行うことを特徴とするタッチパネルを用いた操作入力検知方法。

Images