JP5759659B2 - タッチパネルに対する押下圧力を検出する方法および携帯式端末装置 - Google Patents

Description

本発明は、タッチパネルを複数の指が同時に押下する際の各指の押下圧力を検出する技術に関し、さらにはそのような技術を利用した携帯式端末装置の新たな入力デバイスに関する。

スマートフォン、タブレット端末、コンパーチブル・モードで利用可能なタブレット式のノートブック型パーソナル・コンピュータ（ノートＰＣ）などでは、タッチスクリーンを指で操作して入力することができる。タッチスクリーンは、フラットパネル型ディスプレイとそれに積層された透明なタッチパネルで構成されている。タッチパネルは静電容量式、抵抗膜式または赤外線式などのさまざまな原理でタッチする指の座標を検出する。タッチスクリーンでは、同時に複数の指の座標を検出して操作するマルチタッチ・ジェスチャの入力を実現することができる。近年、タッチスクリーンに圧力センサを組み合わせたより高度な入力装置の開発が行われている。

非特許文献１は、米国のSynaptics（登録商標）社が開発したForcePad（登録商標）という入力装置について開示している。ForcePad（登録商標）は、静電容量式のセンサ・アレイの下の４隅にそれぞれ圧力センサを設けて、５本の指の押下圧力を同時に検出することができる。特許文献１は、表示画面上の複数の操作位置それぞれにおける圧力値を推定することが可能な情報処理装置を開示する。同文献には、表示画面の四隅にそれぞれ圧力センサＳ１〜Ｓ４を配置して３点の各タッチ位置の押下圧力を推定する方法を記載している。

同文献の発明では、最初にタッチ位置の座標をタッチスクリーンで検出し、当該座標に対する重心位置候補情報を生成して重心位置を導出する。重心位置候補情報は、各タッチ位置における押下圧力の候補値とそれに対応する重心圧力との可能性のある複数の組み合わせ情報である。つぎに、４個の圧力センサの検出結果とそれに対応する重心圧力を関係づけた複数の組み合わせ情報を用意する。

そして、圧力センサの検出結果に基づく重心位置に一致する重心位置候補情報の重心位置に対応するタッチ位置の押下圧力を実際の押下圧力と推定する。同文献には、圧力センサの数は４個に限定せず、重心位置を特定することが可能な任意の数の圧力センサを備えることが記載されている。また、４点以上の重心位置を導出する場合も３点に基づき導出する場合と同様に処理するので説明を省略するとしている。特許文献２は、押下した画面の座標と押下圧力の検出が可能なタッチパネルを開示する。同文献には、タッチパネルの１点を押下したときにタッチパネルの４隅に配置された４個の圧力センサの荷重から、押下位置の座標と押下圧力を計算する式を記載している。

特開２０１０−２４４２５２号公報 特開２００６−１２６９９７号公報

Synaptics ForcePadTM 、［online］、［平成２５年５月２日検索］、インターネット、URL〈http://www.synaptics.com/solutions/products/forcepad〉

タッチスクリーンの平面的な位置に多数の圧力センサを設けることで、複数の指で同時に押下したときに各指による押下圧力を検出することは可能だが、精度を向上するためには圧力センサの数を増やす必要があり構造が複雑になってかつコストも増大する。これに対して特許文献１の発明では、原理的には４個の圧力センサで同時に４個以上の操作位置での押下圧力を推定することができると思われる。

引用文献１の方法では、タッチ位置が３点の場合に重心位置Ｘ_ｇ、Ｘ_ｙはともに３点の押下圧力Ｐ_ａ、Ｐ_ｂ、Ｐ_ｃがわかれば計算できるが、４つの圧力センサの検出値では直接的にタッチ位置の押下圧力Ｐ_ａ、Ｐ_ｂ、Ｐ_ｃを求めることができないため、３つのタッチ位置の座標に対する３つの押下圧力の組み合わせとそれに対応する１点の重心座標からなる重心位置候補情報を生成する必要がある。また、圧力センサの値と重心位置の関係も各圧力センサの値が取り得る範囲においてすべての値の組み合わせと１点の重心座標を計算し、重心位置候補情報の重心位置と比較する必要がある。

したがって、タッチ位置が増大するにしたがってプロセッサの演算量が増大し、応答速度が低下したり他の処理の時間が増大したり消費電力が増大したりする。この問題を現実的に解決するには、少なくとも圧力センサの数を増やす必要があると思われる。また、タブレット端末やスマートフォンでは、一方の手でタッチスクリーンを操作するために筐体を他方の手で保持する必要があり、使用状況によっては安定して保持できないために落下させたり、操作が不便であったりすることがある。このとき筐体を両手で保持しながら裏面に設けたタッチパネルでタッチスクリーンに対する操作と同等の操作ができればタブレット端末やスマートフォンの操作が容易になる。また、裏面から操作すれば画面が指の陰に隠れることもない。本発明はこのような背景に鑑みて携帯式端末装置に適した新たな入力デバイスを提供するものである。

そこで本発明の目的は４個の圧力センサで荷重を検出できるタッチパネルを複数の指で同時に押下したときに各指の押下圧力を検出する方法を提供することにある。さらに本発明の目的は、プロセッサの少ない計算量で押下圧力を検出する方法を提供することにある。さらに本発明の目的は、タッチパネルから携帯式端末装置に文字を入力する方法を提供することにある。さらに本発明の目的は、タッチパネルからタッチスクリーンに対して行う操作と同等の操作をする方法を提供することにある。さらに本発明の目的はそのような方法を実現する携帯式端末装置、入力デバイスおよびコンピュータ・プログラムを提供することにある。

本発明の第１の態様は、Ｘ−Ｙ座標が定義されたタッチパネルと押下されたタッチパネルの荷重を検出する４個の圧力センサを備える入力システムにおいて各指の押下圧力を検出する方法を提供する。入力システムはタッチパネルを押下圧力Ｆで押下した指の座標Ｘ，Ｙを受け取り、さらに４個の圧力センサから検出圧力Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３を受け取る。

入力システムは、各指の座標と特許請求の範囲に記載する式（１）〜（４）を利用して押下圧力Ｆを計算する。入力システムは、押下する指が４本以下の場合は、特許請求の範囲に記載する式（１）、（２）、（３）、（４）に４個の検出圧力と各指の座標を入力して各指の押下圧力を計算することができる。入力システムは、特許請求の範囲に記載する式（１）〜（４）を利用することでプロセッサの少ない計算量で押下圧力を得ることができるため、消費電力の低減が求められる携帯式端末装置の入力デバイスに適している。

押下する指が５本以上のときは、各指の座標と検出圧力から左手の指の押下圧力に対する重心の重心圧力および重心座標と右手の指の押下圧力に対する重心の重心圧力および重心座標を推定し、推定した重心圧力と重心座標から検出圧力に対する左手の重心圧力による寄与成分と右手の重心圧力による寄与成分を分離し、特許請求の範囲に記載する式（１）、（２）、（３）、（４）と寄与成分から各指の押下圧力Ｆを計算することができる。

重心圧力および重心座標は、左手の重心圧力をＧ_ａ、重心座標をＸ_ａ，Ｙ_ａとし、右手の重心圧力をＧ_ｂ、重心座標をＸ_ｂ，Ｙ_ｂとしたときに、さまざまな方法でいずれか２つの未知数の推定値を先に取得してから、残りの未知数を計算して推定することができる。未知数の推定値の取得は、各手の重心に近い圧力センサが検出した検出圧力を利用することができる。このとき利用する検出圧力の数は２個が望ましい。

たとえば、重心座標Ｘ_ａ、Ｘ_ｂの推定値を先に取得し、取得した重心座標Ｘ_ａ、Ｘ_ｂの推定値と検出圧力Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３から、残りの未知数である重心圧力Ｇ_ａ、Ｇ_ｂと重心座標Ｙ_ａ、Ｙ_ｂを計算することができる。あるいは先に重心座標Ｙ_ａ、Ｙ_ｂの推定値を取得し、取得した重心座標Ｙ_ａ、Ｙ_ｂの推定値と検出圧力Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３から、重心圧力Ｇ_ａ、Ｇ_ｂと重心座標Ｘ_ａ、Ｘ_ｂを計算することができる。重心座標Ｘ_ａ、Ｘ_ｂの推定値は特許請求の範囲に記載する式（５）で、複数の右手の指で押下するときに各指のＸ座標に対する各指の押下圧力Ｆ_ａ１、Ｆ_ａ２、Ｆ_ａ３、Ｆ_ａ４を重みとする加重平均で計算することができる。

重みとなる右手の各指の押下圧力は、４個の圧力センサが、Ｘ軸上またはＸ軸に平行な第１のライン上に配置された第１の圧力センサおよび第２の圧力センサと、Ｘ軸に平行な第２のライン上に配置された第３の圧力センサおよび第４の圧力センサで構成されるときに、右手の重心圧力を第１の圧力センサと第３の圧力センサだけが検出し、左手の重心圧力を第２の圧力センサと第４の圧力センサだけが検出すると仮定して推定することができる。

重みとなる右手の各指の押下圧力はまた、第１のラインのＹ座標に第１の圧力センサの検出圧力を割り当て、第２のラインのＹ座標に第３の圧力センサの検出圧力を割り当て、Ｘ軸に検出圧力を設定して第１の圧力センサの検出圧力と第３の圧力センサの検出圧力の間に近似線を設定し、右手の各指のＹ座標と近似線から推定することができる。

重心圧力Ｇ_ａ、Ｇ_ｂと重心座標Ｙ_ａ、Ｙ_ｂは、取得した重心座標Ｘ_ａ、Ｘ_ｂの推定値と特許請求の範囲に記載する式（６）〜（９）を利用して計算することができる。寄与成分の分離は、特許請求の範囲に記載する式（６）〜（９）の右辺第１項を利用して重心圧力Ｇ_ａの寄与成分を計算し、右辺第２項を利用して重心圧力Ｇ_ｂの寄与成分を計算して行うことができる。各指の押下圧力Ｆは、重心圧力Ｇ_ａの寄与成分と特許請求の範囲に記載する式（１）〜（４）を利用して左手の各指の押下圧力Ｆを計算し、重心圧力Ｇ_ｂの寄与成分と特許請求の範囲に記載する式（１）、（２）、（３）、（４）を利用して右手の各指の押下圧力Ｆを計算することができる。

押下した指の中に親指を含む場合は、検出圧力に対する、親指の押下圧力に対する重心の重心圧力による寄与成分と残りの指の押下圧力に対する重心の重心圧力による寄与成分を分離して押下圧力Ｆを計算することができる。１０本の指の座標を検出したときは、２本の親指の押下圧力に対する重心の重心圧力をＦ２とし重心座標をＸ_２，Ｙ_２としたときに入力システムを特許請求の範囲に記載する式（１０）〜（１２）が解けるように機能させて押下圧力Ｆを計算することができる。

本発明の他の態様では、筐体の裏面に設けたタッチパネルと押下されたタッチパネルの荷重を検出する４個の圧力センサを備える携帯式端末装置に文字を入力する方法を提供する。このとき検出した指の座標に基づいてタッチパネルに仮想キーボードを定義する。そして押下した各指の座標と、押下した座標に定義された仮想キーボードのキーからキー・コードを生成する。

本発明のさらに他の態様では、筐体の裏面に設けたタッチパネルと押下されたタッチパネルの荷重を検出する４個の圧力センサとディスプレイを備える携帯式端末装置においてディスプレイが表示する画面に対するポインティング操作をする方法を提供する。各指および各指の組み合わせまたはいずれかに対して所定のポインティング操作を定義する。そして押下した指または指の組み合わせに対して定義されたポインティング操作に対応するポインティング・データを生成する。筐体の裏面で文字を入力したりポインティング操作をしたりすることで、筐体を両手で安定的に保持し、かつ、ディスプレイの表示範囲を確保しながら操作することができる。

本発明により、４個の圧力センサで荷重を検出できるタッチパネルを複数の指で同時に押下したときに各指の押下圧力を検出する方法を提供することができた。さらに本発明により、プロセッサの少ない計算量で押下圧力を検出する方法を提供することができた。さらに本発明により、タッチパネルから携帯式端末装置に文字を入力する方法を提供することができた。さらに本発明により、タッチパネルからタッチスクリーンに対して行う操作と同等の操作をする方法を提供することができた。さらに本発明によりそのような方法を実現する携帯式端末装置、入力デバイスおよびコンピュータ・プログラムを提供することができた。

タブレット端末１０のハードウェアの構成を説明するための機能ブロック図である。 タブレット端末１０のタッチパネルを操作するときの様子を説明するための図である。 圧力エレメントＳ_０〜Ｓ_３の検出圧力からタッチパネル２９の一点を押下したときの押下圧力を求める基本方程式を導く方法を説明する図である。 入力システム１００の構成を説明するための機能ブロック図である。 タッチパネル２９に形成した仮想キーボードを説明するための図である。 親指を除く８本の指で押下したときの各指の押下圧力の推定方法を説明するための図である。 １０本の指で押下したときの各指の押下圧力の推定方法を説明するための図である。 入力システム１００の動作を説明するためのフローチャートである。 ８本の指の押下圧力を推定する手順を説明するためのフローチャートである。 圧力エレメントＳ_０〜Ｓ_３の配置を説明する図である。

［タブレット端末とタッチパネルの操作方法］
図１は、本実施の形態にかかる携帯式端末装置の一例となるタブレット端末１０のハードウェアの構成を説明するための機能ブロック図である。タブレット端末１０は、チップセット１７に接続されたＣＰＵ１１、ＨＤＤ１９、入力コントローラ２７を含んでいる。ＣＰＵ１１には、メイン・メモリ１３、ビデオカード１５が接続されている。ビデオカード１５にはディスプレイ２１が接続されている。

入力コントローラ２７には、表面タッチパネル２３、圧力センサ２５、裏面タッチパネル２９および圧力センサ３１が接続されている。表面タッチパネル２３および裏面タッチパネル２９は、指のタッチ位置の座標からアナログの座標信号を生成して入力コントローラ２７に送る。本発明においては、タッチパネルが指の座標を検出する原理を限定する必要はなく、静電容量式、抵抗膜式、または赤外線式などのさまざまなタイプのタッチパネルを採用することができる。

入力コントローラ２７は、表面タッチパネル２３または裏面タッチパネル２９から受け取った座標信号から座標データを生成しＣＰＵ１１に割り込みをかけて実行中のプログラムに送る。入力コントローラ２７は、マルチタッチ操作に適応しており、同時にタッチした複数の指の座標信号を認識することができる。表面タッチパネル２３は透明な材料で形成されておりディスプレイ２１に積層されてタッチスクリーン２０を構成する。

圧力センサ２５、３１はそれぞれ４個の圧力エレメントで構成され入力コントローラ２７に接続されている。４個の圧力エレメントは、表面タッチパネル２３または裏面タッチパネル２９の荷重を分担して計測し、それぞれがアナログの圧力信号（検出圧力）を入力コントローラ２７に送る。圧力センサ２５、３１は、表面タッチパネル２３または裏面タッチパネル２９に対する押下圧力を検出するために設ける。本発明においては、圧力センサ２５、３１のいずれか一方だけを設けるようにしてもよい。

入力コントローラ２７は圧力センサ２５、３１の各４個の圧力エレメントについて検出圧力から圧力データを生成してＣＰＵ１１が実行しているプログラムに送る。ＨＤＤ１９は、オペレーティング・システム（ＯＳ）、アプリケーション・プログラム、デバイス・ドライバなどのプログラムを格納する。ＨＤＤ１９はまた、本実施の形態にかかる入力システム１００（図４参照）を実現するためのプログラムを格納する。

図２は、タブレット端末１０のタッチパネルを操作するときの様子を説明するための図である。表面タッチパネル２３を含むタッチスクリーン２０は筐体の表面に配置され裏面タッチパネル２９は筐体の裏面に配置される。図２（Ａ）は、タブレット端末１０を両手で抱えながら裏面タッチパネル２９を右手と左手の親指を除いた残り８本の指で操作している様子を示している。

図２（Ｂ）は机上においたタブレット端末１０のタッチスクリーン２０にソフトウェア・キーボードを表示して右手と左手の合計１０本の指で操作している様子を示している。タッチスクリーン２０にソフトウェア・キーボードを表示する場合には、９インチ型ないし１１インチ型のタブレット端末が適している。また図２（Ａ）のように裏面タッチパネル２９を操作する場合は、それよりも小さい５インチ型ないし７インチ型のタブレット端末またはスマートフォンにも適している。

［１点での押下圧力と４個の圧力センサの検出圧力との関係を示す基本方程式］
図３は、裏面タッチパネル２９が任意の１点の押下座標（Ｘ，Ｙ）において指で押下されたときの押下圧力Ｆと４個の圧力エレメントＳ_０〜Ｓ_３の検出圧力の関係を示す基本方程式を導出する方法を説明する図である。ここでは圧力センサ３１を構成する４個の圧力エレメントＳ_０、Ｓ_１、Ｓ_２、Ｓ_３が長方形の裏面タッチパネル２９の４隅に配置され、裏面タッチパネル２９を支持しているものとする。圧力エレメントＳ_０は、裏面タッチパネル２９に定義したＸ−Ｙ座標の原点（０，０）に配置されている。圧力エレメントＳ_１はＹ軸上に配置され圧力エレメントＳ_２はＸ軸上に配置されている。また、圧力エレメントＳ_３は残りのコーナーに配置されている。

裏面タッチパネル２９は所定の剛性を備えており、圧力エレメントＳ_０〜Ｓ_３の位置より内側の１点が押下されたときの反力または荷重は、押下位置からの距離に応じた大きさで４個の圧力エレメントＳ_０〜Ｓ_３が分担する。以下においては、記号Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３を各圧力エレメントが検出した検出圧力の意味でも使用し、押下圧力Ｆで押下座標Ｘ、Ｙを押下したときに、圧力エレメントがそれぞれ検出圧力Ｓ_０〜Ｓ_３を示すものとする。

このとき押下圧力Ｆとそれに対抗する圧力エレメントＳ_０〜Ｓ_３の反力による力の釣り合いから式（１）を導くことができる。
F=S₀+S₁+S₂+S₃ (1)
つぎに、圧力エレメントＳ_０とＳ_２を結ぶ線上に力Ｆ_ｍが作用する座標ａを設定し、圧力エレメントＳ１とＳ３を結ぶ線上に力Ｆ_ｎが作用する座標ｂを設定したときに、押下圧力Ｆは座標ａ、ｂに作用する力Ｆ_ｍ、Ｆ_ｎの合力に相当してＦ＝Ｆ_ｍ＋Ｆ_ｎの関係があること、および力のモーメントの釣り合いを示す（１−Ｙ）：Ｙ＝Ｆ_ｍ：Ｆ_ｎの関係を使って式（２）、（３）を得る。
Fm=(1-Y)F (2)
Fn=YF (3)

つづいて式（２）、（３）とＦ_ｍ＝Ｓ_０＋Ｓ_２、Ｆ_ｎ＝Ｓ_１＋Ｓ_３、Ｘ：（１−Ｘ）＝Ｓ_２：Ｓ_０、およびＸ：（１−Ｘ）＝Ｓ_３：Ｓ_１の関係より式（４）〜（７）を得る。
S₀=(1-X)Fm (4)
S₁=(1-X)Fn (5)
S₂=XFm (6)
S₃=XFn (7)

式（４）〜（７）に式（２）、（３）を代入して、押下座標（Ｘ，Ｙ）を押下圧力Ｆで押下したときの検出圧力Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３を求める４個の式（８）〜（１１）で構成された基本方程式を得る。
S₀=(1-X)(1-Y)F (8)
S₁=(1-X)YF (9)
S₂=X(1-Y)F (10)
S₃=XYF (11)
基本方程式は、表面タッチパネル２３についても適用することができる。

タッチパネル２９は、裏面タッチパネル２９に同時にタッチした複数の指の座標を周知の方法で検出することができる。したがって、基本方程式を利用して同時に複数の指で押下したときの各指の押下圧力Ｆを計算する場合、４つの検出圧力Ｓ_０〜Ｓ_３と各押下座標Ｘ、Ｙが既知数で、押下する指の本数に相当する数の押下圧力Ｆが未知数となる。多元連立１次方程式は、未知数の数と方程式の本数が一致すればクラメルの公式やガウスの消去法などの手法を使ってコンピュータが一意の解を求めることができる。

式（８）〜（１１）の４元連立１次方程式は未知数である押下圧力Ｆが４個以下であれば一意に解を求めることができるため、同時に押下する指の数が４本以下であれば、４個の圧力エレメントの検出圧力Ｓ_０〜Ｓ_３から各押下圧力Ｆを計算することができる。しかし、図２で説明したように左右の８本または１０本の指で同時に押下するような場合は、４個の検出圧力Ｓ_０〜Ｓ_３では８個の押下圧力Ｆを未知数とする基本方程式を解くことはできない。本実施の形態にかかる図４に示す入力システム１００は、以下に説明するように基本方程式を使って５本以上の指で同時に押下したときの各指の押下圧力Ｆを推定することができる。

［入力システム］
図４は、入力システム１００の構成を説明するための機能ブロック図である。入力システム１００は、図１、図２に示した表面タッチパネル２３、裏面タッチパネル２９、圧力センサ２５、３１および入力コントローラ２７のハードウェア要素に加えて、押下圧力推定部１１３、キーボード・データ生成部１１５、およびポインティング・データ生成部１１７を含んでいる。入力システム１００を構成するには、表面タッチパネル２３と圧力センサ２５の組または裏面タッチパネル２９と圧力センサ３１の組のいずれか一方だけを含むようにしてもよい。

押下圧力推定部１１３の各要素、キーボード・データ生成部１１５、およびポインティング・データ生成部１１７はＣＰＵ１１、メイン・メモリ１３、およびチップセット１７などのハードウェアとＨＤＤ１９に格納されたプログラムとの協働により機能が形成される。押下圧力推定部１１３は、操作パターン認識部１１３ａ、押下圧力計算部１１３ｂ、出力部１１３ｃおよびタイミング調整部１１３ｄを含んでいる。操作パターン認識部１１３ａは、入力コントローラ１１１から、表面タッチパネル２３または裏面タッチパネル２９の座標データを受け取って、押下位置の座標データの生成、当該座標を押下する指の種類の特定、指の本数の計算、親指を含むか否かの判断、および両手操作か片手操作かの判断などの押下パターンの認識を行う。

押下圧力計算部１１３ｂは、操作パターン認識部１１３から受け取った押下パターンを示すデータに基づいて、各指の押下圧力を推定するために必要なすべての計算を行う。計算のアルゴリズムは、以下において詳細に説明する。出力部１１３ｃは、押下圧力計算部１１３ｂから受け取った各指の押下圧力から出力データを生成してキーボード・データ生成部１１５またはポインティング・データ生成部１１７に送る。

出力データは、押下する指の識別子、座標、および押下圧力を含む。複数の指を同時に押下したときは、出力部１１３は出力データを指ごとに生成する。入力システム１００は、キーボード・モードまたはポインティング・モードのいずれか一方で動作することができる。キーボード・モードは、タッチスクリーン２０に表示されたソフトウェア・キーボードをタッチ操作する場合と同じように表面タッチパネル２３または裏面タッチパネル２９を指で押下してシステムにキーボードで定義された文字や記号を入力する動作モードである。

ポインティング・モードは、ディスプレイ２１にマウス・カーソルを表示して、ノートＰＣのポインティング・デバイスを操作したり、タッチスクリーン２０を指で操作したりする場合と同じように画面のスクロール、マウス・ポインタの移動、画面の拡大・縮小、またはアイコンの指示入力などを行う動作モードである。ポインティング・モードは、タッチスクリーン２０に対する操作をしないで、裏面タッチパネル２９から画面を操作する場合に利用すると便利である。出力部１１３ｃは、キーボード・データ生成部１１５またはポインティング・データ生成部１１７からの切り換え信号により入力システム１００の動作モードをキーボード・モードまたはポインティング・モードのいずれか一方に切り換える。

出力部１１３ｃは、キーボード・モードのときに出力データをキーボード・データ生成部１１５に出力し、ポインティング・モードのときにポインティング・データ生成部１１７に出力する。タイミング調整部１１３ｄは、押下圧力推定部１１３の動作タイミングを調整する。タイミング調整部１１３ｄは、キーボード・モードのときに入力コントローラ１１１から所定値以上の検出圧力のデータを受け取ったタイミングに同調してキーボード・データ生成部１１５に出力データを送るように押下圧力推定部１１３を動作させる。タイミング調整部１１３ｄはポインティング・モードのときにＣＰＵ１１がポーリングする一定の周期でポインティング・データ生成部１１７に出力データを送るように押下圧力推定部１１３を動作させる。

キーボード・データ生成部１１５およびポインティング・データ生成部１１７は、押下圧力推定部１１３が生成する出力データの利用形態の一例であり、本発明における押下圧力推定部１１３が生成した出力データの用途はキーボード・モードまたはポインティング・モードの形成に限定するものではない。キーボード・データ生成部１１５およびポインティング・データ生成部１１７はいずれか一方だけを設けるようにしてもよい。

キーボード・データ生成部１１５は出力部１１３ｃから受け取った出力データから、ソフトウェア・キーボードと同等のキー・コードを生成してユーザ・ファンクション１１９に送る。ポインティング・データ生成部１１７は、出力部１１３ｃから受け取った出力データからタッチスクリーン２０が表示する画面に対する操作またはノートＰＣのポインティング・デバイスの操作に対応するポインティング・データを生成してユーザ・ファンクション１１９に送る。ユーザ・ファンクション１１９は、キーボード・データ生成部１１５またはポインティング・データ生成部１１７の出力を利用するＯＳやアプリケーションなどのプログラムで構成される。

［キーボード・データ生成部］
図５は、キーボード・データ生成部１１５の構成を説明する図である。キーボード・データ生成部１１５は一例としてキーボード・モードで裏面タッチパネル２９に対する操作が行われるときに動作する。タブレット端末１０を図２（Ｂ）のように利用する場合は、タッチスクリーン２０にソフトウェア・キーボードを表示して文字を入力することができる。ソフトウェア・キーボードを両手の指で操作するときに、左手の人指し指をＦキーにおき、右手の人指し指をＪキーにおいたときの各指の位置をホームポジションという。

キーボード・データ生成部１１５は、入力システム１００がキーボード・モードのときに裏面タッチパネル２９に仮想キーボードを形成する。仮想キーボードは左キー群３０１ａと右キー群３０１で構成された座標上にだけ存在する視認できないキーボードである。キーボード・データ生成部１１５は、出力部１１３ｃから受け取った出力データの中から左手の人指し指の座標にＦキーを割り当て右手の人指し指の座標にＦキーを割り当てて、座標上に左キー群３０１ａ、および右キー群３０１ｂを定義する。左キー群３０１ａはソフトウェア・キーボードにおいては左手の指で操作するキー群で、右キー群３０１ｂは右手の指で操作するキー群である。キーボード・データ生成部１１５は、所定値以上の押下圧力で押下されたキーのキー・コードをユーザ・ファンクション１１９に送る。

このとき図２（Ａ）に示すようにユーザはタッチスクリーン２０をみながら裏面タッチパネル２９に形成された仮想キーボードを操作する。タッチスクリーン２０に、ソフトウェア・キーボードを表示しないようにすれば、アプリケーションの表示領域を確保できるため利便性が向上する。あるいは、アプリケーションの表示の上に薄くソフトウェア・キーボードのキーを表示してもよい。また、図２（Ｂ）に示すようにタッチスクリーン２０の画面の一部が手の陰に隠れることがないため、広い表示範囲を確保できる。

裏面タッチパネル２９を利用した仮想キーボードはタブレット端末１０を手で保持しながら両手の指を使用して操作できるため操作時の安定性にも優れている。キーボード・データ生成部１１５は表面タッチパネル２３にソフトウェア・キーボードに相当する配列の仮想キーボードを形成することもできる。出力部１１３ｃは仮想キーボードに対する所定の入力を受け取ったときに、入力システム１００をポインティング・モードに切り換えることができる。

［ポインティング・データ生成部］
ポインティング・データ生成部１１７は、一例としてポインティング・モードで裏面タッチパネル２９に対する操作が行われるきに動作して裏面タッチパネル２９をポインティング・デバイスとして機能させる。以下、各指に対するポインティング機能の割り当て方法の一例を説明する。ポインティング・データ生成部１１７は、左手の人指し指、中指、薬指および小指の各押下圧力から画面の上方向、左方向、右方向および左方向へのスクロール・データを生成してユーザ・ファンクション１１９に送る。ポインティング・データ生成部１１７が出力するスクロール・データは、押下圧力の大きさに対応する情報を含む。したがってユーザ・ファンクション１１９は、押下圧力の大きさに応じてスクロール速度を変更することができる。

ポインティング・データ生成部１１７は、タッチスクリーン２０にマウス・ポインタを表示する。ポインティング・データ生成部１１７は右手の人指し指、中指、薬指および小指の各押下圧力からマウス・ポインタの上方向、左方向、右方向および左方向への移動データを生成してユーザ・ファンクション１１９に送る。ポインティング・データ生成部１１７が出力する移動データは、押下圧力の大きさに対応する情報を含む。したがってユーザ・ファンクション１１９は、押下圧力の大きさに応じてマウス・ポインタの移動速度を変更することができる。

ポインティング・データ生成部１１７は、右手の人指し指と中指を同時に所定値以上の押下圧力で押下したときに、マウス・ポインタの座標においてタッチスクリーン２０に対するタッチが行われた場合に相当する入力データを生成してユーザ・ファンクション１１９に送ることができる。ポインティング・データ生成部１１７は、左右の２本の人指し指を同時に所定値以上の押下圧力で押下したときに、ディスプレイ２１が表示する画面を拡大し、左右の２本の薬指を同時に所定値以上の押下圧力で押下したときに画面を縮小することができる。

このときポインティング・データ生成部１１７はユーザ・ファンクション１１９に押下圧力の大きさに対応する情報を送ることで画面の拡大、縮小の速度を変えることができる。裏面タッチパネル２９をポインティング・デバイスとして利用することで、タブレット端末１０を両手で支えながら操作することができる。出力部１１３ｃはポインティング・データ生成部１１７から所定のポインティング・データを受け取ったときに、入力システム１００をキーボード・モードに切り換えることができる。

［左右８本の指で押下する場合の押下圧力の推定方法］
つぎに裏面タッチパネル２９を例にして、図２（Ａ）に示すように左右の８本の指で操作するときに、基本方程式を使って各指の押下圧力を推定する方法を説明する。図６（Ａ）は、左右の指の各押下位置Ｌ_１〜Ｌ_４、Ｒ_１〜Ｒ_４における押下圧力Ｆ_ａ１〜Ｆ_ａ４、Ｆ_ｂ１〜Ｆ_ｂ４、および押下座標（Ｘ_ａ１，Ｙ_ａ１）〜（Ｘ_ａ４〜Ｙ_ａ４）、（Ｘ_ｂ１，Ｙ_ｂ１）〜（Ｘ_ｂ４，Ｙ_ｂ４）を示している。また、左の指の押下圧力に対する重心の押下圧力（重心圧力）Ｇ_ａ、重心座標Ｘ_ａ、Ｙ_ａと右の指の押下圧力に対する重心圧力Ｇ_ｂ、重心座標Ｘ_ｂ、Ｙ_ｂを示している。

裏面タッチパネル２９にはＸ軸とＹ軸が定義され、座標の原点を含む４隅には４個の圧力エレメントＳ_０〜Ｓ_３が配置されている。座標の原点には、圧力エレメントＳ_０が配置されている。入力コントローラ２７は、裏面タッチパネル２９に対する指のタッチ位置の座標を検出する。前述のように８本の指を同時に押下したときの未知数となる８本の指の押下圧力Ｆ_ａ１〜Ｆ_ｂ４を４個の検出圧力Ｓ_０〜Ｓ_３を既知数にして基本方程式から求めるには、未知数を４個以下にする必要がある。

本実施の形態では、未知数を減らすために最初に左指の押下圧力Ｆ_ａ１〜Ｆ_ａ４と右指の押下圧力Ｆ_ｂ１〜Ｆ_ｂ４を、それぞれ重心圧力Ｇ_ａ、Ｇ_ｂで代表させる。ここに、Ｇ_ａ＝ΣＦ_ａ、Ｇ_ｂ＝ΣＦ_ｂの関係が成立する。基本方程式に８本の指の押下圧力を代表する重心圧力Ｇａ、Ｇｂを導入すると検出圧力Ｓ_０〜Ｓ_３はそれぞれ、左指の重心圧力Ｇ_ａの寄与成分と右指の重心圧力Ｇ_ｂの寄与成分が合成された値になるため、基本方程式（８）〜（１１）を式（１２）〜（１５）のように表すことができる。
S₀=(1-Xa)(1-Ya)Ga+(1-Xb)(1-Yb)Gb (12)
S₁=(1-Xa)YaGa+(1-Xb)YbGb (13)
S₂=Xa(1-Ya)Ga+Xb(1-Yb)Gb (14)
S₃=XaYaGa+XbYbGb (15)

式（１２）〜（１５）の右辺第１項が左手の重心圧力Ｇ_ａの寄与成分Ｓ_０ ^’〜Ｓ_３ ^’で、右辺第２項が右手の重心圧力Ｇ_ｂの寄与成分Ｓ_０ ^’’〜Ｓ_３ ^’’に相当する。式（１２）〜（１５）では、未知数をＧ_ａ、Ｘ_ａ、Ｙ_ａ、Ｇ_ｂ、Ｘ_ｂ、Ｙ_ｂの６個まで減らすことができるが、まだ方程式を解くことはできない。ここで、図２（Ａ）に着目すると、裏面タッチパネル２９を操作するときの両手の指は、Ｘ軸方向で相互に大きく離れ結果として重心圧力Ｇ_ａはタッチスクリーン２０側からみたときの左端の近くに発生し重心圧力Ｇ_ｂは右端の近くに発生する。本実施の形態では両手の重心圧力Ｇ_ａ、Ｇ_ｂがＸ軸方向で離れていることを利用して、後に説明する方法で重心座標Ｘ_ａとＸ_ｂの近似解（推定値）を求めて基本方程式を解く。

式（１２）〜（１５）に対して実測値である４個の検出圧力Ｓ_０〜Ｓ_３と推定値である重心座標Ｘ_ａ、Ｘ_ｂを代入すると、４個の未知数Ｙ_ａ、Ｙ_ｂ、Ｇ_ａ、Ｇ_ｂを含む４元連立１次方程式になるためこれを解くことができる。式（１２）〜（１５）から左手の寄与成分Ｓ_０ ^’〜Ｓ_３ ^’だけの基本方程式を作成すると式（１６）〜（１９）を得る。
S₀'=(1-Xa)(1-Ya)Ga (16)
S₁'=(1-Xa)YaGa (17)
S₂'=Xa(1-Ya)Ga (18)
S₃'=XaYaGa (19)

同様に右手の寄与成分Ｓ_０ ^’’〜Ｓ_３ ^’’だけの基本方程式を作成すると式（２０）〜（２３）を得る。
S₀''=(1-Xb)(1-Yb)Gb (20)
S₁''=(1-Xb)YbGb (21)
S₂''=Xb(1-Yb)Gb (22)
S₃''=XbYbGb (23)

Ｇ_ａ、Ｘ_ａ、Ｙ_ａ、Ｇ_ｂ、Ｘ_ｂ、Ｙ_ｂは後に説明する方法で推定値を求めるため、式（１６）〜（２３）に代入して、左手の寄与成分Ｓ_０ ^’〜Ｓ_３ ^’と右手の寄与成分Ｓ_０ ^’’〜Ｓ_３ ^’’を算出することができる。ここで基本方程式（８）〜（１１）により、左手の寄与成分Ｓ_０ ^’〜Ｓ_３ ^’と各指の押下座標（Ｘ_ａ１、Ｙ_ａ１）、（Ｘ_ａ２、Ｙ_ａ２）、（Ｘ_ａ３、Ｙ_ａ３）、（Ｘ_ａ４、Ｙ_ａ４）を既知数とし、押下圧力Ｆ_ａ１、Ｆ_ａ２、Ｆ_ａ３、Ｆ_ａ４を未知数とする式（２４）〜（２７）を得る。
S₀'=(1-Xa₁)(1-Ya₁)Fa1+(1-Xa₂)(1-Ya₂)Fa₂+(1-Xa₃)(1-Ya₃)Fa₃+(1-Xa₄)(1-Ya₄)Fa₄ (24)
S₁'=(1-Xa₁)Ya₁Fa₁+(1-Xa₂)Ya₂Fa₂+(1-Xa₃)Ya₃Fa₃+(1-Xa₄)Ya₄Fa₄ (25)
S₂'=Xa₁(1-Ya₁)Fa₁+Xa₂(1-Ya₂)Fa₂+Xa₃(1-Ya₃)Fa₃+Xa₄(1-Ya₄)Fa₄ (26)
S₃'=Xa₁Ya₁Fa₁+Xa₂Ya₂Fa₂+Xa₃Ya₃Fa₃+Xa₄Ya₄Fa₄ (27)

右手の寄与成分Ｓ_０ ^’’〜Ｓ_３ ^’’についても同様に各指の押下圧力Ｆ_ｂ１、Ｆ_ｂ２、Ｆ_ｂ３、Ｆ_ｂ４を未知数とする式（２８）〜（３１）を得ることができる。
S₀''=(1-Xb₁)(1-Yb₁)Fb₁+(1-Xb₂)(1-Yb₂)Fb₂+(1-Xb₃)(1-Yb₃)Fb₃+(1-Xb₄)(1-Yb₄)Fb₄ (28)
S₁''=(1-Xb₁)Yb₁Fb₁+(1-Xb₂)Yb₂Fb₂+(1-Xb₃)Yb₃Fb₃+(1-Xb₄)Yb₄Fb₄ (29)
S₂''=Xb₁(1-Yb₁)Fb₁+Xb₂(1-Yb₂)Fb₂+Xb₃(1-Yb₃)Fb₃+Xb₄(1-Yb₄)Fb₄ (30)
S₃''=Xb₁Yb₁Fb₁+Xb₂Yb₂Fb₂+Xb₃Yb₃Fb₃+Xb₄Yb₄Fb₄ (31)

式（２４）〜（２７）と式（２８）〜（３１）はともに４つの押下圧力Ｆ_ａ１〜Ｆ_ａ４または押下圧力Ｆ_ｂ１〜Ｆ_ｂ４を未知数とする４元連立１次方程式であるため、一意に解を求めることができる。以上において、８本指を例示して各指の押下圧力を推定する手順を説明したが、上記の手順は指の本数が５本以上７本以下の場合にも適用することができる。なお、指の本数が４本以下のときは、上記の手順によらないでも基本方程式（８）〜（１１）からより正確な押下圧力を計算することができる。

［重心のＸ座標を推定する方法］
図６（Ｂ）は左手または右手の重心座標Ｘ_ａ、Ｘ_ｂを推定する方法を説明する図である。重心座標Ｘ_ａ、Ｘ_ｂを計算する理論式は各指の押下圧力を重みとする式（３２）、（３３）となる。式（３２）は押下圧力Ｆ_ａ１〜Ｆ_ａ４を押下座標Ｘ_ａ１〜Ｘ_ａ４の重みとし、式（３３）は押下圧力Ｆ_ｂ１〜Ｆ_ｂ４を押下座標Ｘ_ｂ１〜Ｘ_ｂ４の重みとして各指の座標を加重平均する。

ここで、押下圧力Ｆ_ａ１〜Ｆ_ｂ４が未知数であるため、式（３２）、（３３）から重心座標Ｘ_ａ，Ｘ_ｂを求めることはできない。押下圧力Ｆ_ａ１〜Ｆ_ｂ４を推定するために本実施の形態では、最初に、図２（Ａ）に示すように操作するときの各指の位置の特徴から左手の指と右手の指が検出圧力Ｓ_０〜Ｓ_３に与える影響を分離して考える。すなわち、圧力センサＳ_２、Ｓ_３の検出圧力は左手の指の押下圧力Ｆ_ａ１〜Ｆ_ａ４による影響が大きく、圧力センサＳ_０、Ｓ_１の検出圧力は右手の指の押下圧力Ｆ_ｂ１〜Ｆ_ｂ４による影響が大きいと想定する。

以後右手の指について説明すると、各指が任意の押下圧力Ｆ_ｂ１〜Ｆ_ｂ４で押下したときに、検出圧力Ｓ_０と検出圧力Ｓ_１の合計がＧ_ｂ＝ΣＦ_ｂに相当すると想定する。このとき、人指し指や中指の押下圧力が大きい場合は検出圧力Ｓ_０が検出圧力Ｓ_１よりも大きくなり、小指や薬指の押下圧力が大きい場合は検出圧力Ｓ_１が検出圧力Ｓ_０よりも大きくなる。

図６（Ａ）に示すように右手の４本の指はＹ軸方向にほぼ直線５３に沿って並んでいるため、近似的に重力座標Ｘ_ｂは直線５３上を各指の押下圧力のバランスに応じて移動すると考えられる。図６（Ｂ）において、Ｘ座標に検出圧力を設定し、圧力エレメントＳ_０のＹ座標０に対して検出圧力Ｓ_０を割り当て、圧力エレメントＳ_１のＹ座標Ｙ_１に対して検出圧力Ｓ_１を割り当てた近似直線５１を用意する。

各指の押下圧力Ｆ_ｂ１〜Ｆ_ｂ４と重心座標Ｘ_ｂは近似線５１上に存在すると考えられるため、近似直線５１のＹ座標Ｙ_ｂ１〜Ｙ_ｂ４に対応するＸ座標から各押下圧力Ｆ_ｂ１〜Ｆ_ｂ４の推定値Ｆ_ｂ１ ^’〜Ｆ_ｂ４ ^’を求めることができる。図６（Ｂ）は検出圧力Ｓ_０がＳ_１より大きい場合を例示しているが、小指または薬指の押下圧力が大きいために検出圧力Ｓ_１がＳ_０より大きい場合もそれに対応する近似直線５１を設定して推定値Ｆ_ｂ１ ^’〜Ｆ_ｂ４ ^’を求めることができる。

推定した押下圧力Ｆ_ｂ１ ^’〜Ｆ_ｂ４ ^’を式（３３）に代入すると、右指の重心座標の推定値Ｘ_ｂを求めることができる。左指の重心座標Ｘ_ａの推定値も同様の手順で検出圧力Ｓ_２、Ｓ_３から求めることができる。上記手順では、近似直線５１上に押下圧力Ｆ_ｂ１〜Ｆ_ｂ４が存在すると想定し、各指のＹ座標と近似直線５１の式から加重平均の重みとなる各指の押下圧力の推定値Ｆ_ｂ１ ^’〜Ｆ_ｂ４ ^’を求めて右指の重心座標Ｘ_ｂを推定したが、近似直線５１を直線に限定する必要はない。たとえば、ユーザごとの指の力や操作位置などの個性を押下圧力推定部５１が学習して曲線で近似させることもできる。

式（１２）〜（１５）は、未知数を４個にすると解くことができるため重心座標Ｙ_ａ、Ｙ_ｂの推定値または重心圧力Ｇ_ａ、Ｇ_ｂの推定値を先に求めるようにしてもよい。たとえば、図２（Ｂ）に示すような操作方法では、検出圧力Ｓ_０、Ｓ_１は左手の重心圧力の影響が強く検出圧力Ｓ_２、Ｓ_３は右手の重心圧力の影響が強いといえる。そして左手と右手のそれぞれの薬指から小指まではＹ軸方向にほぼ直線的に並んでいると想定することができる。

そしてＸ座標が０と圧力エレメントＳ_２までの中間に検出圧力Ｓ_０、Ｓ_１の合計値に応じた近似線を引いて各指の押下圧力の推定値を求める、式（３２）、（３３）を重心座標Ｙ_ａ、Ｙ_ｂを求める形に変形した式で重心座標Ｙ_ａ、Ｙ_ｂの推定値を求めることができる。つぎに重心座標Ｙ_ａ、Ｙ_ｂの推定値を式（１２）〜（１５）に代入して未知数である重心座標Ｘ_ａ、Ｘ_ｂと重心圧力Ｇ_ａ、Ｇ_ｂを求めることができる。図６（Ａ）では最初に推定する重心座標（Ｘ軸）が左右の手が並ぶ方向に直角な方向であるのに対し、図２（Ｂ）では最初に推定する重心座標（Ｙ軸）が左右の手が並ぶ方向と同一になる。

先に重心圧力Ｇ_ａ、Ｇ_ｂを推定する場合は、Ｇ_ａ＝Ｓ_２＋Ｓ_３、Ｇｂ＝Ｓ_０＋Ｓ_１とみなすことができる。このように、右手または左手の押下圧力に対する重心と当該重心に近い検出圧力Ｓ_０〜Ｓ_３を利用していずれかの未知数を推定し、未知数を４個にした後に、式（１２）〜（１５）を解くことができる。このとき、４個の検出圧力Ｓ_０〜Ｓ_３の中で、重心に近い２個の検出圧力を利用することが望ましい。なお、重心座標の推定は、出力部１１３ｃが出力データを出力するタイミングに同調した頻度で行うことができる。

［１０本指で操作する場合の押下圧力の推定方法］
つぎに表面タッチパネル２３を、図２（Ｂ）に示すように左右の１０本の指で操作するときに、基本方程式（８）〜（１１）を使って各指の押下圧力を推定する方法を説明する。図７は、左右の指の各押下位置Ｌ_１〜Ｌ_５、Ｒ_１〜Ｒ_５における押下圧力Ｆ_ａ１〜Ｆ_ａ５、Ｆ_ｂ１〜Ｆ_ｂ５、および押下座標（Ｘ_ａ１，Ｙ_ａ１）〜（Ｘ_ａ５〜Ｙ_ａ５）、（Ｘ_ｂ１、Ｙ_ｂ１）〜（Ｘ_ｂ５、Ｙ_ｂ５）を示している。また、左手の親指を除いた４本の指の重心圧力Ｇ_ａと重心座標Ｘ_ａ、Ｙ_ａおよび右手の親指を除いた４本の指の重心圧力Ｇ_ｂと重心座標Ｘ_ｂ、Ｙ_ｂを示している。押下位置Ｌ_５、Ｒ_５はそれぞれの手の親指の押下位置である。

図７には、さらに、親指２本の押下圧力Ｆ_ａ５、Ｆ_ｂ５に対する重心の重心圧力Ｆ_２と重心座標Ｘ_２、Ｙ_２、残りの８本の指の押下圧力Ｆ_ａ１、〜Ｆ_ａ４、Ｆ_ｂ１、〜Ｆ_ｂ４に対する重心の重心圧力Ｆ_８と重心座標Ｘ_８、Ｙ_８を示している。この場合、親指の重心座標Ｘ_２、Ｙ_２は、圧力エレメントＳ_１とＳ_３を結ぶライン５４に近い位置に存在し、８本の指の重心座標Ｘ_８、Ｙ_８はそれより圧力センサＳ_０とＳ_２を結ぶライン５５に近い位置に存在して２つの重心座標Ｙ_２，Ｙ_８はＹ軸方向で所定の距離だけ離れる。

ここで、検出圧力Ｓ_０、Ｓ_２の合計は重心圧力Ｆ_８による影響が大きく、検出圧力Ｓ_１、Ｓ_３の合計は重心圧力Ｆ_２による影響が大きいと想定できるため、式（３４）、（３５）を得る。
F₂=S₁+S₃ (34）
F₈=S₀+S₂ (35)

つぎに式（９）、（１１）から式（３６）、（３７）を得る。
S₁=(1-X₂)Y₂F₂ (36)
S₃=X₂Y₂F₂ (37)
式（３４）、（３６）、（３７）は、未知数が３個の３元連立１次方程式であるため、これを解いてＦ_２、Ｘ_２、Ｙ_２の推定値を求めることができる。つぎに式（８）、（１０）から式（３８）、（３９）を得る。
S₀=(1-X₈)(1-Y₈)F₈ (38)
S₂=X₈(1-Y₈)F₈ (39)
式（３５）、（３８）、（３９）は、未知数が３個の３元連立１次方程式であるため、これを解いてＦ_８、Ｘ_８、Ｙ_８の推定値を求めることができる。

つぎに、式（１６）〜（２３）を利用して、検出圧力Ｓ_０〜Ｓ_３に対する重心圧力Ｆ_８の寄与成分Ｓ_０ ^’〜Ｓ_３ ^’と重心圧力Ｆ_２の寄与成分Ｓ_０ ^’’〜Ｓ_３ ^’’を分離する。寄与成分Ｓ_１ ^’’、Ｓ_３ ^’’を式（２４）〜（２７）に適用すると親指の押下圧力Ｆ_ａ５、Ｆ_ｂ５の推定値を求めることができる。また、寄与成分Ｓ_０ ^’〜Ｓ_３ ^’を式（１２）〜（１５）のＳ_０〜Ｓ_３に適用すると、すでに説明した８本の指で押下する場合の推定方法を適用して各指の押下圧力Ｆ_ａ１〜Ｆ_ａ４、およびＦ_ｂ１〜Ｆ_ｂ４を推定することができる。

なお、上記の計算において、Ｆ_２の寄与成分Ｓ_０ ^’’〜Ｓ_３ ^’’を検出圧力Ｓ_０〜Ｓ_３から引き算して８本の指の寄与成分Ｓ_０ ^’〜Ｓ_３ ^’を求めるようにしてもよい。以上において、１０本の指で操作する場合を例示して各指の押下圧力を推定する手順を説明したが、上記の手順は親指を含む指の本数が６本以上９本以下の場合にも適用することができる。

［片手の５本指で操作する場合の押下圧力の推定方法］
図７においてたとえば左手の５本の指で操作する場合は、押下位置Ｌ_５が親指の重心座標Ｘ_２、Ｙ_２となり、検出圧力Ｓ_０〜Ｓ_３に対する押下圧力Ｆ_ａ５の寄与成分Ｓ_０ ^’’〜Ｓ_３ ^’’と残りの４本指の重心圧力Ｇ_ａの寄与成分Ｓ_０ ^’〜Ｓ_３ ^’を分離することができる。そして、式（２４）〜（２７）のＳ_０ ^’〜Ｓ_３ ^’に分離した寄与成分Ｓ_０ ^’〜Ｓ_３ ^’を適用して押下圧力Ｆ_ａ１〜Ｆ_ａ４の推定値を求めることができる。

［押下圧力推定の手順］
つぎに図８のフローチャートを参照して、入力システム１００の動作を説明する。両手の１０本の指による操作を含めて入力システム１００の全体動作を説明するために、表面タッチパネル２３を通じて図２（Ｂ）のように入力するときの各指の押下圧力を推定する手順を説明する。ただし、ユーザは図２（Ｂ）のような典型的な位置に指を配置して押下するとは限らず、また、操作する指の数も１本から１０本までさまざまな態様を含んでいるものとする。

ブロック２０１で表面タッチパネル２３を押下すると入力コントローラ２７は、圧力センサ２５から検出圧力を取得して圧力データを出力する。また入力コントローラ２７は、表面タッチパネル２３から座標信号を取得してタッチした指の座標データを出力する。ブロック２０３で押下パターン認識部１１３ａは、受け取った座標データから押下した指の本数を計算する。指の本数が４本以下のときはブロック２０５に移行して、押下圧力計算部１１３ｂが式（８）〜（１１）を使って各指の押下圧力を推定する。指の構成は、片手の指だけで４本以下でも両手の指を合わせて４本以下でもよい。また、４本以下の指の中には親指を含んでいてもよい。

押下した指の本数が５本以上だと判断したときは、ブロック２０７で押下パターン認識部１１３ａは、操作した各指のＸ座標とＹ座標から親指を含むか否かを判断する。親指を含まない場合はブロック１２７に移行する。ブロック１２７に移行するときの指の構成は、左右について４本＋４本の合計８本、４本＋３本の合計７本、４本＋２本、３本＋３本の合計６本、または４本＋１本、３本＋２本の合計５本のいずれかとなる。

親指を含む場合にブロック２０９で押下パターン認識部１１３ａは、操作した各指のＸ座標とＹ座標から操作した指が片手の指か両手の指かを判断する。片手と判断したときは５本指で操作したことになるため、ブロック２１１で押下圧力計算部１１３ｂは上述のように検出圧力Ｓ_０〜Ｓ_３に対する親指の押下圧力の寄与成分と残りの４本指の重心圧力の寄与成分を分離する。そして、ブロック２１３で押下圧力計算部１１３は親指の押下圧力を算出しブロック２１５で式（２４）〜（２７）に検出圧力Ｓ_０〜Ｓ_３に対する４本の指による重心圧力の寄与成分を代入して４本の各指の押下圧力を推定する。

ブロック２０９で押下パターン認識部１１３ａは、操作が両手であると判断したときは、ブロック２１７で親指の座標と残りの指の座標から検出圧力Ｓ_０〜Ｓ_３に対する親指の寄与成分を分離できるか否かを判断する。親指の座標がＹ軸方向の中央部付近である場合は、親指の寄与成分の推定誤差が多くなるためブロック２２１でユーザ・ファンクション１１９にメッセージを送ってディスプレイ２１に操作位置の変更のためのプロンプトを表示する。

ブロック２１９で押下パターン認識部１１３ａは、親指を除いた残りの指のＸ座標または左人指し指のＸ座標および右人指し指のＸ座標から、左手の重心のＸ座標と右手の重心のＸ座標を簡単に推定して、検出圧力Ｓ_０〜Ｓ_３に対する各重心圧力の寄与成分を分離できるか否かを判断する。右手と左手が接近しすぎて分離できないと判断したときはブロック２２１に移行し、分離できると判断したときはブロック２２３に移行する。

ブロック２２３で押下圧力計算部１１３ｂは、検出圧力Ｓ_０〜Ｓ_３に対する親指の重心圧力と残りの指の重心圧力の寄与成分を分離し、ブロック２２５で親指の押下圧力を算出する。ブロック２２７で押下圧力計算部１１３ｃは残りの各指の押下圧力を推定する。ブロック２２９で出力部１１３ｃは、各指の識別子、座標および押下圧力を含む出力データを出力する。

図９は、図８のブロック２２７の手順を詳細に説明するためのフローチャートである。ブロック３０１では、図６（Ｂ）の近似線と式（３２）、（３３）を使って重心座標Ｘ_ａ、Ｘ_ｂの推定値を取得する。ブロック３０３では、重心座標Ｘ_ａ、Ｘ_ｂの推定値と式（１６）〜（２３）から重心座標Ｙ_ａ、Ｙ_ｂと重心圧力Ｇ_ａ、Ｇ_ｂを計算する。ブロック３０５では、推定した重心圧力Ｇ_ａ、Ｇ_ｂ、重心座標Ｘ_ａ、Ｘ_ｂ、Ｙ_ａ、Ｙ_ｂから検出圧力Ｓ０〜Ｓ１に対する左右の手の重心圧力Ｇ_ａ、Ｇ_ｂ、の寄与成分Ｓ^’、Ｓ^’’を計算する。ブロック３０７では、寄与成分Ｓ^’と式（２４）〜（２７）から左手の各指の押下圧力Ｆ_ａ１〜Ｆ_ａ４を計算し、ブロック３０９では寄与成分Ｓ^’’と式（２８）〜（３１）から右手の各指の押下圧力Ｆ_ａ１〜Ｆ_ａ４を計算する。

［圧力エレメントの配置］
図６、図７では、圧力エレメントＳ_０〜Ｓ_３を矩形状のタッチパネルの検出領域を画定する長辺と短辺が交差する４つのコーナーにそれぞれ配置したが、圧力エレメントＳ_０〜Ｓ_３は図１０（Ａ）〜（Ｃ）に示すように座標が定義された長辺と短辺の検出領域に対してさまざまな位置に配置することができる。図１０（Ａ）では圧力エレメントＳ_０、Ｓ_１とＳ_２、Ｓ_３がそれぞれ短辺上で近付くように配置され、図１０（Ｂ）では、圧力エレメントＳ_０、Ｓ_２とＳ_１、Ｓ_３がそれぞれ長辺上で近付くように配置されている。また、図１０（Ｃ）では、圧力エレメントＳ_０〜Ｓ_３が長辺と短辺で囲まれた領域より内側に入り込んだ位置に配置されている。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１０ タブレット端末
２０ タッチスクリーン
２３ 表面タッチパネル
２５ 裏面タッチパネルに対する押下圧力を検出する圧力センサ
２９ 裏面タッチパネル
３１ 裏面タッチパネルに対する押下圧力を検出する圧力センサ
Ｓ_０〜Ｓ_３ 圧力センサ２５、３１を構成する圧力エレメントまたは検出圧力
Ｆ 押下圧力
Ｇ_ａ、Ｇ_ｂ、Ｆ_２、Ｆ_８ 指の押下圧力に対する重心の重心圧力
１１３ 押下圧力推定部

Claims (21)

1. Ｘ−Ｙ座標が定義されたタッチパネルと押下された該タッチパネルの荷重を検出する４個の圧力センサを備える入力システムにおいて各指の押下圧力を検出する方法であって、
   前記タッチパネルを押下圧力Ｆで押下した指の座標Ｘ，Ｙと、前記４個の圧力センサが検出した検出圧力Ｓ _０ 、Ｓ _１ 、Ｓ _２ 、Ｓ _３ から前記入力システムを式（１）、（２）、（３）、（４）
   S₀=(1-X)(1-Y)F (1)
   S₁=(1-X)YF (2)
   S₂=X(1-Y)F (3)
   S₃=XYF (4)
   が解けるように機能させるステップと、
   左右の指を合わせて５本以上の指の座標を検出するステップと、
   各指の座標と前記検出圧力から左手の指の押下圧力に対する重心の重心圧力および重心座標と右手の指の押下圧力に対する重心の重心圧力および重心座標を推定するステップと、
   推定した前記重心圧力と前記重心座標から前記検出圧力に対する左手の前記重心圧力による寄与成分と右手の前記重心圧力による寄与成分を分離するステップと、
   各指の座標と前記寄与成分と式（１）、（２）、（３）、（４）を利用して各指の押下圧力を計算するステップと
   を有する方法。
2. 前記重心圧力および重心座標を推定するステップが、
   左手の重心圧力をＧ_ａとし重心座標をＸ_ａ，Ｙ_ａとし、右手の重心圧力をＧ_ｂとし重心座標をＸ_ｂ，Ｙ_ｂとしたときに
   重心座標Ｘ_ａ、Ｘ_ｂの推定値を取得するステップと、
   取得した前記重心座標Ｘ_ａ、Ｘ_ｂの推定値と前記検出圧力Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３から重心圧力Ｇ_ａ、Ｇ_ｂと重心座標Ｙ_ａ、Ｙ_ｂを計算するステップと
   を含む請求項１に記載の方法。
3. 前記重心座標Ｘ_ａ、Ｘ_ｂの推定値を取得するステップが、
   右手の４本の指の座標を検出したときに、右手の重心座標をＸ_ａとし右手の各指の押下圧力をＦ_ａ１、Ｆ_ａ２、Ｆ_ａ３、Ｆ_ａ４として前記入力システムを式（５）
   

   

   が解けるように機能させるステップと、
   前記押下圧力Ｆ_ａ１、Ｆ_ａ２、Ｆ_ａ３、Ｆ_ａ４を推定するステップと
   を含む請求項２に記載の方法。
4. 前記４個の圧力センサが、Ｘ軸上またはＸ軸に平行な第１のライン上に配置された第１の圧力センサおよび第２の圧力センサと、Ｘ軸に平行な第２のライン上に配置された第３の圧力センサおよび第４の圧力センサで構成され、
   前記押下圧力Ｆ_ａ１、Ｆ_ａ２、Ｆ_ａ３、Ｆ_ａ４を推定するステップが、右手の前記重心圧力を前記第１の圧力センサと前記第３の圧力センサだけが検出し、左手の前記重心圧力を前記第２の圧力センサと前記第４の圧力センサだけが検出すると推定するステップを含む請求項２に記載の方法。
5. 前記押下圧力Ｆ_ａ１、Ｆ_ａ２、Ｆ_ａ３、Ｆ_ａ４を推定するステップが、
   前記第１のラインのＹ座標に前記第１の圧力センサの検出圧力を割り当て、前記第２のラインのＹ座標に前記第３の圧力センサの検出圧力を割り当て、Ｘ軸に前記検出圧力を設定して前記第１のライン上の前記第１の圧力センサの検出圧力と前記第２のライン上の前記第３の圧力センサの検出圧力の間に近似線を設定するステップと、
   右手の各指のＹ座標と前記近似線からＸ軸上で右手の各指の押下圧力を推定するステップと
   を含む請求項４に記載の方法。
6. 前記重心圧力Ｇ_ａ、Ｇ_ｂと重心座標Ｙ_ａ、Ｙ_ｂを計算するステップが、
   前記入力システムを式（６）、（７）、（８）、（９）
   S₀=(1-Xa)(1-Ya)Ga+(1-Xb)(1-Yb)Gb (6)
   S₁=(1-Xa)YaGa+(1-Xb)YbGb (7)
   S₂=Xa(1-Ya)Ga+Xb(1-Yb)Gb (8)
   S₃=XaYaGa+XbYbGb (9)
   が解けるように機能させるステップと、
   前記重心座標Ｘ_ａ、Ｘ_ｂの推定値と式（６）、（７）、（８）、（９）を利用して前記重心圧力Ｇ_ａ、Ｇ_ｂと前記重心座標Ｙ_ａ、Ｙ_ｂを計算するステップと
   を含む請求項２から請求項５のいずれかに記載の方法。
7. 前記寄与成分を分離するステップが、
   式（６）、（７）、（８）、（９）の右辺第１項を利用して前記重心圧力Ｇ_ａの寄与成分を計算し、右辺第２項を利用して前記重心圧力Ｇ_ｂの寄与成分を計算するステップを含む請求項６に記載の方法。
8. 前記各指の押下圧力を計算するステップが、
   前記重心圧力Ｇ_ａの寄与成分と式（１）、（２）、（３）、（４）を利用して左手の各指の押下圧力を計算するステップと、
   前記重心圧力Ｇ_ｂの寄与成分と式（１）、（２）、（３）、（４）を利用して右手の各指の押下圧力を計算するステップと
   を含む請求項７に記載の方法。
9. 前記各指の押下圧力を計算するステップが、
   親指の座標を検出するステップと、
   前記検出圧力に対する、親指の押下圧力に対する重心の重心圧力による寄与成分と残りの指の押下圧力に対する重心の重心圧力による寄与成分を分離するステップ
   を有する請求項１から請求項８のいずれかに記載の方法。
10. 前記各指の押下圧力を計算するステップが、
    １０本の指の座標を検出するステップと、
    ２本の親指の押下圧力に対する重心の重心圧力をＦ２とし重心座標をＸ_２，Ｙ_２としたときに前記入力システムを式（１０）、（１１）、（１２）
    F₂=S₁+S₃ (10）
    S₁=(1-X₂)Y₂F₂ (11)
    S₃=X₂Y₂F₂ (12)
    が解けるように機能させるステップを含む請求項９に記載の方法。
11. 筐体の裏面に設けたタッチパネルと押下された該タッチパネルの荷重を検出する４個の圧力センサを備える携帯式端末装置に文字を入力する方法であって、
    前記タッチパネルを所定値以上の押下圧力で押下した複数の指の座標を検出するステップと、
    前記４個の圧力センサから検出圧力を受け取るステップと、
    前記検出した指の座標に基づいて前記タッチパネルに仮想キーボードを定義するステップと、
    各指の座標と前記検出圧力から左手の指の押下圧力に対する重心の重心圧力および重心座標と右手の指の押下圧力に対する重心の重心圧力および重心座標を推定するステップと、
    前記重心圧力と前記重心座標から前記検出圧力に対する左手の前記重心圧力の寄与成分と右手の前記重心圧力の寄与成分を分離するステップと、
    前記寄与成分と各指の座標から各指の押下圧力を算出するステップと、
    押下した各指の座標と、押下した座標に定義された前記仮想キーボードのキーからキー・コードを生成するステップと
    を有する方法。
12. 筐体の裏面に設けたタッチパネルと押下された該タッチパネルの荷重を検出する４個の圧力センサとタッチスクリーンを備える携帯式端末装置において前記タッチスクリーンが表示する画面に対するポインティング操作をする方法であって、
    前記タッチパネルを押下した複数の指の座標を認識するステップと、
    各指および各指の組み合わせまたはいずれかに対して所定の前記ポインティング操作を定義するステップと、
    前記４個の圧力センサから検出圧力を受け取るステップと、
    各指の座標と前記検出圧力から左手の指の押下圧力に対する重心の重心圧力および重心座標と右手の指の押下圧力に対する重心の重心圧力および重心座標を推定するステップと、
    推定した前記重心圧力と前記重心座標から前記検出圧力に対する左手の前記重心圧力の寄与成分と右手の前記重心圧力の寄与成分を分離するステップと、
    前記寄与成分と各指の座標から各指の押下圧力を算出するステップと、
    押下した指または指の組み合わせに対して定義されたポインティング操作に対応するポインティング・データを生成するステップと
    を有する方法。
13. ディスプレイを備える携帯式端末装置であって、
    操作する指の座標を検出するタッチパネルと、
    前記タッチパネルの荷重を検出する４個の圧力センサと、
    前記タッチパネルから受け取った座標から操作する指の本数を認識する操作パターン認識部と、
    各指の座標と前記４個の圧力センサから受け取った検出圧力から左手の指および右手の指のそれぞれについて重心圧力と重心座標を推定し、推定した前記重心圧力と前記重心座標から前記検出圧力に対する左手の前記重心圧力の寄与成分と右手の前記重心圧力の寄与成分を分離し、各寄与成分と各指の座標から各指の押下圧力を算出する押下圧力計算部と、
    操作した指の種類、座標および押下圧力を含む出力データを出力する出力部と
    を有する携帯式端末装置。
14. 前記タッチパネルが前記ディスプレイと反対側の面に取り付けられている請求項１３に記載の携帯式端末装置。
15. 前記出力部から出力データを受け取ってキーボードのキー・コードを生成するキーボード・データ生成部を有する請求項１４に記載の携帯式端末装置。
16. 前記キーボード・データ生成部は、左手の人指し指および右手の人指し指が操作した位置を基準にして前記タッチパネルに仮想キーボードを形成する請求項１５に記載の携帯式端末装置。
17. 前記出力部から出力データを受け取って前記ディスプレイに表示する画面を操作する入力データを生成するポインティング・データ生成部を有する請求項１４から請求項１６のいずれかに記載の携帯式端末装置。
18. 前記ポインティング・データ生成部は、指ごとに画面のスクロール操作機能、およびマウス・ポインタの移動操作機能のいずれかを割り当てる請求項１７に記載の携帯式端末装置。
19. 前記ポインティング・データ生成部は、各指の押下圧力から画面のスクロール速度またはマウス・ポインタの移動速度に対応するデータを生成する請求項１７に記載の携帯式端末装置。
20. タッチパネルと押下された該タッチパネルの荷重を検出する４個の圧力センサを備えるコンピュータに、
    前記タッチパネルを押下した指の座標を検出する機能と、
    前記４個の圧力センサから検出圧力を受け取る機能と、
    各指の座標と前記検出圧力から複数の指の押下圧力に対する第１の重心の重心圧力と他の複数の指の押下圧力に対する第２の重心の重心圧力を推定する機能と、
    前記検出圧力に対する前記第１の重心の重心圧力の第１の寄与成分と前記第２の重心の重心圧力の第２の寄与成分を分離する機能と、
    前記分離した第１の寄与成分および前記第２の寄与成分と各指の座標から各指の押下圧力を算出する機能と
    を実現させるためのコンピュータ・プログラム。
21. 電子機器の入力デバイスであって、
    複数の指の座標を検出する操作パネルと、
    押下された前記操作パネルの荷重を検出する４個の圧力センサと、
    前記操作パネルが検出した座標を認識する操作パターン認識部と、
    押下する各指の座標と前記４個の圧力センサから受け取った検出圧力から左手の指および右手の指のそれぞれについて各指の押下圧力に対する重心の重心圧力と重心座標を推定し、推定した前記重心圧力と前記重心座標から前記検出圧力に対する左手の前記重心圧力の寄与成分と右手の前記重心圧力の寄与成分を分離し、各寄与成分と各指の座標から各指の押下圧力を算出する押下圧力計算部と
    を有する入力デバイス。

Images