JP7085195B2 - 情報処理端末、情報処理方法、及び情報処理プログラム - Google Patents

Description

本発明は、タッチ式の入力画面を有する情報処理端末と、情報処理方法及び情報処理プログラムに関する。

スマートフォンをはじめとして、タッチ入力が可能なモバイル型の情報処理端末が急速に普及している。タッチ操作として、ディスプレイ上で複数の指を開閉するピンチイン、ピンチアウトの操作や、スワイプによるアプリケーションの切り替えも頻繁に行われている。複数本の指を用いる操作は、マルチタッチ入力とも呼ばれる。これらの動作では、通常は一方の手で端末装置を保持し、他方の手の指で画面上を操作する。一般的な地図アプリケーションでは、マルチタッチ入力により、地図の拡大縮小と回転が一度の操作で実現される。しかし、電車やバスでつり革につかまっている、荷物を持っているなど、ユーザの片手がふさがっているときは、マルチタッチ入力やスワイプ等の操作が困難になる場合がある。

片手操作の手法として、モバイル端末のタッチパネルに指を接触させてそのまま押し込むことでズームインを行い、画面上で指を軽くスライドさせてから画面を押すことでズームアウトする方法が提案されている（たとえば、非特許文献１参照）。

また、タッチパネルを押す親指の接触面積（コンタクトサイズ）を変えることで、操作モードを変える手法が提案されている（たとえば、非特許文献２参照）。この文献では、親指の指先の小さな接触面積でタッチパネルを押すことでズームアウトし、親指の腹の大きな接触面積でパッチパネルを押すことでズームインを行っている。

さらに、押下圧力の大小と接触面積の大小を組み合わせた操作方法も提案されている（たとえば、特許文献１及び非特許文献３参照）。

特開２００６－３４５２０９

Miyaki, T. and Rekimoto, J. Graspzoom: Zooming and scrolling control model for single-handed mobile interaction, Proceedings of the 11th International Conference on Human-Computer Interaction with Mobile Devices and Services, ACM (New York, NY, USA, 2009), 11:1-11:4. Boring, S. et al., The Fat Thumb: Using the Thumb's Contact Size for Single-Handed Mobile Interaction, Proceedings of the 14th International Conference on Human-computer interaction with mobile devices and services, ACM (New York, NY, USA, 2012), 39-48. Rekimoto, J. and Schwesig, C. Presenseii: Bi-directional touch and pressure sensing interactions with tactile feedback, CHI '06 Extended Abstracts on Human Factors in Computing Systems, ACM (New York, NY, USA, 2006), 1253-1258.

これまで提案されている手法は、情報処理端末の効果的かつ直感的な操作として十分ということはできない。特に、圧力変化の方向と接触面積の関係については検討されておらず、ユーザの意図する動作を正確に検知してズーム、回転、濃淡等のパラメータを簡易かつ直感的に調整できる技術が望まれている。

本発明は、直感的なタッチ操作と正確な端末動作を実現する情報処理端末と情報処理方法を提供することを目的とする。

上記の目的を達成するために、本発明では、圧力変化の方向に応じて異なるトリガレベルでパラメータ調整モードを起動し、パラメータ調整モードの起動後は、全圧力範囲で特定のモードのパラメータの調整を可能にする。

具体的には、タッチパネルを有する情報処理端末は、
前記タッチパネルに印加される圧力を検知するセンサと、
前記センサの出力に基づき、前記圧力が所定のレベルに変化したときに起動される特定のモードおいて、当該特定のモードで用いられるパラメータの調整を可能するパラメータ調整モードを起動する制御部と、
を有し、
前記制御部は、圧力変化の方向に応じて異なるトリガレベルを用いて、前記パラメータ調整モードを起動するか否かを判定し、前記パラメータ調整モードが起動された後は、前記情報処理端末で検知可能な全圧力範囲にわたって、前記圧力変化の方向に対応して前記特定のモードで前記パラメータを増加または減少させることを特徴とする。

タッチパネルを有する情報処理端末において、直感的なタッチ操作と正確な端末動作を実現することができる。

所定の圧力レベルをトリガとするモード開始を説明する図である。 実験の条件を説明する図である。 指の異なる部位で異なる強さで接触したときの圧力とコンタクトサイズの関係を示す図である。 実験１の測定結果を示す図である。 実験２の測定結果を示す図である。 測定結果に基づいて、識別精度を正規化コンタクトサイズの関数として示す図である。 圧力印加時と圧力リリース時の被験者の最小コンタクトサイズと最大コンタクトサイズの平均値を示す図である。 実験１と実験２の圧力制御の平均精度を示す。 片手操作のときの圧力とコンタクトサイズの時間遷移を示す。 実施形態の検証に基づく実施形態のモード切り替えと、パラメータ増減の組み合わせを説明する図である。 図１１の基本動作を示すフローチャートである。 圧力変化の方向によるパラメータ調整のフローチャートである。 モード選択とパラメータ制御の一例を示す図である。 情報処理端末のハードウエア構成図である。 実施形態の情報処理端末の機能ブロック図である。

本発明は、圧力印加だけではなく、圧力解放（リリース）の動作と、圧力レベルの低い領域を用いたパラメータ制御の有用性に着目して、情報処理端末のモード／パラメータ制御の効果的な手法を提供する。実施形態では、圧力と接触面積（コンタクトサイズ）の相関を考慮して、圧力の増減（押圧と解放）と接触面積の大小を組み合わせた効果的な操作と、操作検出時の適切な補正技術を提供する。

より具体的には、所定の圧力レベルへの到達をトリガとして、選択されたモードでのパラメータの双方向への調整（増減）を可能にする。後述するように、圧力レベルが変わっても指先のコンタクトサイズの大小は精度良く識別可能であり、少なくとも２つのコンタクトサイズと複数の圧力レベルを組み合わせて、モードとパラメータの制御が可能である。圧力レベルの設定は、段階的なレベルを設定してもよいし、段階を区切らないで連続的な値を用いてもよい。コンタクトサイズと圧力レベルの組み合わせによるモードとパラメータの制御を実証するために、後述する予備実験を行う。

発明者らは、タッチパネルに印加または解放される圧力とコンタクトサイズは相互に影響すること、及び、いったん指を離した後に新たにタッチパネルに接触して圧力をかける場合と、連続した接触状態で圧力を増減する場合とでは接触面積変化の態様が異なることを見出した。

実施形態では、圧力増減とコンタクトサイズの大小を組み合わせたタッチ操作を実現する際に、接触状態に応じて異なる閾値または補正係数を用いて、ユーザが意図する操作を正確に検出する。所定の圧力レベルをトリガとして、通常のタッチ操作と区別されるパラメータ調整モードが開始され、圧力の増減方向に応じたパラメータ調整を行う。圧力変化の方向に応じて、適切な補正係数を適用してもよい。この手法は、特に片手操作のときに有用である。

ここで、通常のタッチ操作とは、タップ、フリック、スワイプ等、モバイル型の情報処理端末で一般的に用いられている操作である。典型的には、アイコンの選択、テキスト入力、ページ／スライドの選択等に使用される操作である。パラメータ調整モードでパラメータが調整される操作モードまたは機能として、ズームモード、回転モード、ペイントモード等がある。これらの操作モードまたは機能におけるパラメータの調整の例として、倍率調整（ズームインとズームアウト）、回転方向の調整（時計回りと反時計回り）、濃淡の調整（濃い色と薄い色）等がある。

図１は、所定の圧力レベルをトリガとするモード開始を説明する図である。図１（Ａ）は、パラメータ増加モード開始のトリガを示し、図１（Ｂ）はパラメータ減少モード開始のトリガを示す。いずれも横軸は時間（マイクロ秒）、縦軸は圧力である。圧力レベルは、低圧力レベルの領域と、モード開始レベルの領域と、高圧力レベルの領域に分けられる。特定のモードを起動させるモード開始レベルの領域は、圧力レベルＬ１からＬ２の間の領域である（Ｌ１＜Ｌ２）。

図１（Ａ）において、タッチパネルにかかる圧力がＬ１に達するまでは、情報処理端末は通常のタッチ入力モードにある。Ｌ１から圧力の増加が続いて、圧力レベルがモード開始領域の上限のＬ２に達したときに、パラメータ増加モードによりパラメータの調整が可能になる。圧力増加の過程では、モード開始領域の下限（Ｌ１）に達しただけでは、特定モードでのパラメータの調整を意図した操作か否かの判別が難しいからである。圧力変化の方向が増大方向にあるときは、モード開始領域の上限（Ｌ２）に達したことをトリガとして、パラメータの調整を可能とする。

図１（Ｂ）では、いったん圧力レベルＬ１を超えたがＬ２に達する前にモード開始レベルの下限（Ｌ１）に戻ったときに、パラメータ減少モードでパラメータの調整が可能になる。モード開始領域内で、Ｌ２に至らずに下限のＬ１に戻るということは、一定時間モード開始領域が選択されていたことを意味し、ユーザが特定のモードでパラメータを減少する方向の操作を意図していると推定されるからである。

図１（Ａ）と図１（Ｂ）の双方で、特定のモードが起動されたならば、タッチパネルから指が離れて通常のタッチ操作に戻るまで、低圧力の領域から高圧力までを含む全圧力範囲で圧力増減によるパラメータ調整が可能になる。これにより、タッチ操作の多様性と操作検出の正確性を向上する。

圧力変化にコンタクトサイズを組み合わせて簡便かつ正確なタッチ操作を実現するために、次に検証すべきことは、
（１）どのような圧力レベルにおいてもコンタクトサイズを正しく区別できるか否か、と
（２）ユーザは異なるコンタクトサイズで圧力を双方向に変化させることができるか否かである。そこで、以下の予備実験を行って、検証課題（１）と（２）を検討する。

＜予備実験＞
２３歳から６４歳までの１２人の被験者（うち女性が１０人、左利きが３人）を対象に２種類の実験を行う。すべての被験者はスマートフォンでのタッチ入力の経験者であり、うち３人は、圧力の強弱を利用した感圧タッチ入力の経験者である。実験用に、本発明のアプリケーションを「iPhone（登録商標）7 plus」（ｉＯＳ１０，１９２０×１０８０ピクセル）にインストールし、内蔵センサで圧力とコンタクトサイズを検出する。

被験者は、異なるコンタクトサイズで、「弱」「中」「強」の圧力レベルのいずれかでタッチ操作を行う。ハードウエアの制限上、最大の圧力レベルは重力加速度で３３７（ｇ）である。そこで、０～１１２（ｇ）を「弱」、１１２～２２４（ｇ）を「中」、２２４～３３７（ｇ）を「強」と区分する。

図２は、実験の条件を説明する図である。図２（Ａ）は、スマートフォン等の情報処理端末１０のタッチパネル１２の領域の区分を示す。図２（Ｂ）は、タッチパネル１２を操作するときのコンタクト位置及び形状と、そのときの圧力表示を模式的に示す。図２（Ｃ）は指のタッチ角度によるコンタクトサイズの調整を示す。ここで、「タッチパネル」というときは、表面保護カバー、タッチセンサ、液晶表示パネル等を含む入力／表示画面全体を含むものとする。

タッチパネル１２上の領域は、図２（Ａ）に示すように、密なドットで示されるコーナー（CORNER）、粗いドットで示されるサイド（SIDE）、及び中央（CENTER）の領域に区分される。図２（Ｂ）に示すように、タッチパネル１２上に、被験者がタッチすべき位置とコンタクトサイズを示すマーカ２１が表示される。コンタクトサイズは、図２（Ｃ）に示すように、「指先」と「指の腹」の２種類とする。指先で操作してコンタクトサイズを小さくするときは、タッチパネル１２の表面に対する指の角度を大きくする（たとえば６０°～９０°）。指の腹で操作してコンタクトサイズを大きくするときは、タッチパネル１２の表面に対する指の角度を小さくする（たとえば０°～３０°）。

被験者は指示された位置とコンタクトサイズでタッチパネル１２にタッチし、指示されたとおり圧力を印加し、または解放する。圧力を変更する際には、指示された圧力レベルを１秒間維持する。タッチ位置、コンタクトサイズ、及び圧力の組み合わせはランダムに指示される。

被験者が異なるコンタクトサイズでタッチパネル１２への圧力を変化させる際に、目的の圧力が得られていることを確認できるように、図２（Ｂ）のように、表示画面の上端と下端にインジケータ１１を表示する。インジケータ１１はターゲットの圧力レベルを示すターゲットマーク１１Ｔと、現在の圧力レベルを示す圧力マーク１１Ｍを含む。印加される圧力に応じて圧力マーク１１Ｍはインジケータ１１内にて左右にアニメーションする。この例で、左端は無圧力（非タッチ時）であり、右端は上限圧力（３３７ｇ）を表わす。これにより、目視で確認しつつ感圧の調整を行う。

すべての圧力値、コンタクトサイズ、エラー値は、インストールされたアプリケーションにより記録される。圧力マーク１１Ｍがターゲットマーク１１Ｔに達した後にターゲットマーク１１Ｔの左端よりも左側に移動した場合、あるいはターゲットマーク１１Ｔがインジケータ１１の中央部に設定されているときに圧力マークがターゲットマーク１１Ｔを超えた場合に、エラーとしてその回数がカウントされる。

なお、実験に先立って、成人では被験者間にコンタクトサイズのばらつきは少なく、「指先」と「指の腹」を使い分けることで、精度良くコンタクトサイズが識別できること、及び、圧力をパラメータ調整のための連続的な入力値として使用できることを確認した。

図３に示すように、押下圧とコンタクトサイズの変化状態を比較した場合、「指先」、「指の腹」、「指の側面」のいずれの部位を用いた場合も、圧力の変化の割合（傾き）が急峻なのに対し、コンタクトサイズの変化の割合は小さい。コンタクトサイズよりも押下圧力の方がより細かいステップサイズで取得できることから、圧力をパラメータ調整のための連続的な入力値として用いる方が、精密な操作が可能である。

＜実験１＞
実験１では、スマートフォンをテーブル上に置いて、被験者は利き腕の人差指で指示された領域に、指示されたコンタクトサイズと圧力レベルでタッチ操作する。圧力印加と、圧力リリースの両方で測定を行う。

圧力印加の測定では、コンタクトサイズは「指先」と「指の腹」の２種類、圧力レベルは「弱」、「中」、「強」の３種類、被験者の数は１２人、タッチパネル１２上の位置は１５ブロックである（２×３×１２×１５＝１０８０試行）。

圧力リリースの測定では、圧力を「強」のレベルから弱めていく。インジケータ１１の圧力マーク１１Ｍの初期位置を右端の「強」の位置として、ターゲットマーク１１Ｔは指示に応じて、インジケータ１１の左側の「弱」の位置、または中央の「中」の位置に設定される。

圧力リリース測定のコンタクトサイズは「指先」と「指の腹」の２種類、ターゲットの圧力レベルは「弱」、「中」の２種類、被験者の数は１２人、タッチパネル１２上の位置は１５ブロックである（２×２×１２×１５＝７２０試行）。

＜実験２＞
実験２では、片手操作で同じ測定を行う。被験者は利き腕にスマートフォンを持って、同じ手の指でタッチ操作する。実験１と異なり、指の可動範囲が限られるため、被験者はタッチパネル１２のどの位置を押下してもよい。タッチパネル１２上の領域は５ブロックに分割される。

圧力印加の測定では、コンタクトサイズは「指先」と「指の腹」の２種類、圧力レベルは「弱」、「中」、「強」の３種類、被験者の数は１２人、タッチパネル１２上の位置は５ブロックである（２×３×１２×５＝３６０試行）。

圧力リリースの測定では、コンタクトサイズは「指先」と「指の腹」の２種類、ターゲットとする圧力レベルは「弱」、「中」の３種類、被験者の数は１２人、タッチパネル１２上の位置は５ブロックである（２×２×１２×５＝２４０試行）。

図４は実験１の測定結果を示し、図５は実験２の測定結果を示す。図４（Ａ）と図５（Ａ）は、圧力印加時のコンタクトサイズのヒストグラム、図４（Ｂ）と図５（Ｂ）は、圧力リリース時のコンタクトサイズのヒストグラムである。いずれも縦軸は発生数、横軸は正規化されたコンタクトサイズである。

図６は、図４及び図５の測定結果に基づいて、識別精度を正規化コンタクトサイズの関数として算出したグラフである。正規化コンタクトサイズで閾値が０．４のときに、すべての測定結果で識別精度が最も高くなる。実験１と実験２の双方で、最大識別精度を得られるときの閾値は、圧力印加時よりも圧力リリースの方が大きくなっている。

図３～６の結果から、コンタクトの種類として「指先」と「指の腹」を用い、コンタクトサイズ識別のための閾値を適切に設定することで、上記の検証課題（１）、すなわち、どのような圧力レベルにおいてもコンタクトサイズを正しく区別し得ることが確認される。

図７は、「指先」と「指の腹」のそれぞれで、圧力印加時と圧力リリース時の被験者の最小コンタクトサイズ（Ｍｉｎ）と最大コンタクトサイズ（Ｍａｘ）の平均値を示す。検出コンタクトサイズは、接触点数（Ｐｔ）で表されている。図７（Ａ）は実験１の測定結果に基づく平均値、図７（Ｂ）は実験２の測定結果に基づく平均値である。

「指の腹」を用いたときは、実験１と実験２の双方で、圧力印加か圧力リリースかによって平均最小コンタクトサイズに差が生じる。「指の腹」の最小コンタクトサイズは、圧力リリース時の方が、圧力印加時よりも大きくなる。「指先」を用いたときは、実験１では圧力印加時も圧力リリース時もコンタクトサイズに差はないが、実験２（片手操作）で、最小コンタクトサイズに差が生じる。片手操作では、「指先」で操作する場合も、圧力印加時と圧力リリース時で最小コンタクトサイズに差が生じる。ただし、「指の腹」による操作と比較して、圧力リリース時と圧力印加時でコンタクトサイズの差は小さい。

図８は、実験１と実験２の圧力制御の平均精度を示す。各タスクで中央値は９３％、標準偏差は１．４である。圧力印加時は、「弱」、「中」、「強」の３段階の平均精度を求め、圧力リリース時は、圧力が「強」の状態から減少させて、「中」と「弱」の２段階の平均精度を求める。平均精度の検討は、ＡＮＯＶＡ（analysis of variance；分散分析法）を用いて行う。

スマートフォンをテーブルに置いて操作する実験１では、圧力印加と圧力リリースの双方で、圧力レベルに応じて圧力制御の精度に差が生じる。実験２（片手操作）では、圧力印加時の平均精度に大きな差は生じないが、圧力リリース時に圧力レベルによって平均精度に差が生じる。

さらに、圧力印加時は、圧力を「弱」の状態で安定的に維持することが難しいが、圧力リリース時では逆に、圧力を「弱」の状態に維持するときの制御精度が高い。圧力リリース時には、「強」の状態から減少させて「中」のレベルに維持することが困難である。

図９は、親指の腹で片手操作するときの圧力とコンタクトサイズの時間遷移を示す。破線が圧力遷移、実線がコンタクトサイズの遷移である。圧力印加時と、圧力リリース時では、コンタクトサイズの変化の仕方が異なる。ユーザが指でタッチパネルにタッチするときは、最初は小さなコンタクトサイズから徐々に大きくなる。圧力を開放するときは、最初はコンタクトサイズは大きく、圧力解放とともにコンタクトサイズは徐々に小さくなるが、その変化は緩やかであり、変化の範囲も小さい。

図７と図９の結果から、圧力印加時と圧力リリース時とで、コンタクトサイズによるモード判定の閾値及び／または補正係数の設定を異ならせることが望ましいとわかる。また、図８と図９の結果から、圧力印加時の圧力変化はほぼリニアであるが、圧力リリース時の変化は必ずしもリニアではない。圧力リリース時には、検出された圧力レベルから対応するパラメータ値を算出する際に補正係数を適用することが考えられる。あるいは、圧力印加と圧力リリース時の双方でパラメータ値の算出に補正係数を用い、圧力印加と圧力リリースで異なる補正係数を適用してもよい。

上記の検証課題（２）については、圧力印加と圧力リリースでコンタクトサイズに一定の幅が生じ得るが、圧力変化の方向に応じて閾値または補正係数を適切に設定することでユーザの操作意図を精度良く判断することができる。

図１０は、上記の検証課題（１）及び（２）に基づく実施形態のモード切り替えと、パラメータ増減の組み合わせを説明する図である。図１のように、圧力が所定のレベル（パラメータ増加モードでＬ２、パラメータ減少モードでＬ１）に達したならば、コンタクトサイズの大小に応じて特定の機能が起動される。たとえば、コンタクトサイズが小さいとき（指先での操作）はズーム機能が起動される。コンタクトサイズが大きいときは（指の腹での操作）、回転機能が起動される。

一方、感圧（パラメータの増減）では、タッチパネルを押す圧力が増大しているときはパラメータを大きくする方向、たとえば、ズーム機能ではズーム率を増加させ、回転モードでは、回転角を所定の方向（たとえば時計回りの方向）に増加させる。パッチパネルを押す圧力が減少しているときは、パラメータを小さくする方向、たとえば、ズームモードではズーム率を減少させ、回転モードでは、回転角を小さくする方向（たとえば反時計回りの方向）に変化させる。

一般に、地図アプリでは、地図の拡大・縮小と回転に、異なるマルチタッチジェスチャが割り当てられているが、マルチタッチジェスチャは片手操作に不向きである。実施形態のように、感圧を３段階に、接触面積を２段階に分けて図１０のようなマッピングを行うことで、片手操作でマルチタッチジェスチャを代替することができる。スマートフォン等のモバイル型の情報処理端末では、感圧値とコンタクトサイズ（接触面積）の値は、わずかな時間のタッチでも取得可能であり、取得した値を離散的にも連続的にも用いることができる。圧力値は、変化のステップサイズが細かいため、パラメータ調整のための入力値として連続的な変化に用いることができる。

なお、コンタクトサイズによるモード選択は、ズームモードと回転モードに限定されない。たとえば、描画アプリを用いるときは、「指先」でタブ選択モードが開始され、圧力増加で右方向へシフト、圧力減少で左方向へシフト調整してもよい。「指の腹」でレイヤ選択モードが開始され、圧力印加で現在のレイヤよりも深いレイヤにシフトし、圧力減少で浅いレイヤにシフト調整してもよい。

図１１は、図１０の基本動作を示すフローチャートである。情報処理端末１０の動作時に、タッチが検出されたか否かが繰り返し判断される（Ｓ１１）。タッチが検知されると（Ｓ１１でＹＥＳ）、押下圧力が所定のレベル以下か否かが判断される（Ｓ１２）。所定のレベルは、たとえば、図１の圧力レベルＬ１である。圧力が所定のレベル以下のときは（Ｓ１２でＹＥＳ）、通常のタッチモードで動作する（Ｓ１３）。通常のタッチモードでの動作中もコンタクトサイズはモニタされ、コンタクトサイズがゼロになったか否かが判断される（Ｓ１４）。コンタクトサイズがゼロになったとき（Ｓ１４でＹＥＳ）、すなわちユーザの指が離れたときは、Ｓ１１以降の処理が繰り返される。コンタクトサイズがゼロでない場合は（Ｓ１４でＮＯ）、Ｓ１２以降の処理が繰り返される。

圧力レベルが所定のレベルを超えたときは（Ｓ１２でＮＯ）、コンタクトサイズが第１のサイズより小さいか否かが判断される（Ｓ１５）。コンタクトサイズが第１のサイズよりも小さい場合は（Ｓ１５でＹＥＳ）、指先による操作であると判断され、特定のモード、この例ではズームモードが起動され、圧力に応じたパラメータ調整が行われる（Ｓ１６）。パラメータ調整の例として、圧力が第１レベル（「弱」）でズームアウト、第２レベル（「中」）でステイ、第３レベル（「強」）でズームインに制御される。コンタクトサイズがゼロになるまで（すなわち、指が離れるまで）、選択されたモードで圧力増減によるパラメータ調整が行われる（Ｓ１８でＮＯの場合にＳ１６に戻る）。

コンタクトサイズが第１のサイズ以上の場合は（Ｓ１５でＮＯ）、指の腹による操作であると判断され、別の特定のモード、この例では回転モードが起動され、圧力に応じたパラメータ調整が行われる（Ｓ１８）。パラメータ調整の例として、圧力が第１レベル（「弱」）で左回り、第２レベル（「中」）でステイ、第３レベル（「強」）で右回りに制御される。コンタクトサイズがゼロになるまで（すなわち、指が離れるまで）、選択されたモードで圧力増減によるパラメータ調整が行われる（Ｓ１９でＮＯの場合にＳ１８に戻る）。

コンタクトサイズがゼロになった場合は（Ｓ１７またはＳ１９でＹＥＳ）、電源がオンの間はＳ１１に戻ってタッチの有無が判断され、電源がオフになるまで（Ｓ２０でＹＥＳ）ステップＳ１１以降が繰り返される。

図１２は、圧力変化の方向によるパラメータ調整のフローチャートである。情報処理端末１０の動作時に、タッチが検出されたか否かが繰り返し判断される（Ｓ２１）。タッチが検出されると（Ｓ２１でＹＥＳ）、押下の圧力レベルが第１レベル（Ｌ１）以下か否かが判断される（Ｓ２２）。圧力レベルがＬ１以下のときは（Ｓ２２でＹＥＳ）、通常のタッチモードで動作する（Ｓ２３）。通常のタッチモードでの動作中もコンタクトサイズはモニタされ、コンタクトサイズがゼロになったか否かが判断される（Ｓ２４）。コンタクトサイズがゼロになったとき（Ｓ２４でＹＥＳ）、すなわちユーザの指が離れたときは、Ｓ２１以降の処理が繰り返される。コンタクトサイズがゼロでない場合は（Ｓ２４でＮＯ）、Ｓ２２以降の処理が繰り返される。

圧力レベルがＬ１を超えたときは（Ｓ２２でＮＯ）、圧力レベルが増加して第２レベルＬ２に達したか否かが判断される（Ｓ２５）。ここで、Ｌ１＜Ｌ２である。圧力レベルがＬ２に達したときは（Ｓ２５でＹＥＳ）、パラメータ増加モードが起動され（Ｓ２６）、２段階のレベル判断でコンタクトサイズに応じたモードが特定される（Ｓ２９）。

圧力レベルがＬ２に達しないときは（Ｓ２５でＮＯ）、圧力レベルがＬ１まで低減したか否かが判断される（Ｓ２７）。圧力レベルがＬ１まで低下しない場合は（Ｓ２７でＮＯ）、Ｓ２５に戻って、現在の圧力状態がモニタされる。圧力レベルがＬ１まで低下したときは（Ｓ２７でＹＥＳ）、パラメータ減少モードが起動され（Ｓ２８）、コンタクトサイズに応じたモードが特定される（Ｓ２９）。

ステップＳ２９で、検出されたコンタクトサイズからユーザが意図するモードを特定する。事前にユーザはキャリブレーションを行って検出されたコンタクトサイズの値の補正係数を算出しておいてもよい。キャリブレーションは、たとえば、指先（ＴＩＰ）と指の腹（ＰＡＤ）のそれぞれにおいて、感圧レベルの弱→中への変化（加圧１）、中→強への変化（加圧２）、強→中への変化（減圧１）、中→弱への変化（減圧２）を５回ずつ行う。キャリブレーションの結果から補正値を計算する。

たとえば、各押圧の姿勢（指先、指の腹）、感圧段階（弱・中・強）、および圧力方向（減圧・加圧）における接触面積の平均値を算出し、その比率を用いる。ここで、基準とする値は、上述の実験結果より加圧時の「中」レベルと、減圧時の「中」レベルと、減圧時の「強」レベルの平均値とする。

具体例を挙げると、標準化後の「指先」の加圧時の接触面積は「弱」で０．２、「中」で０．３、「強」で０．４、減圧時の接触面積は、「弱」で０．２、「中」で０．２、「強」で０．２であったとする（数値の単位はｃｍ²）。基準値は（加圧時の「中」レベルの接触面積と減圧時の「中」レベルの接触面積と減圧時の「強」レベルの接触面積の和）／（圧力レベルの段階数）であり、この例では（0.3 + 0.2 + 0.2)/3=0.23となる。この基準値をもとに、加圧時の「強」の補正係数を求めると、0.4/0.23=1.7となる。

この補正係数の算出と適用は、図１１のステップＳ１５のコンタクトサイズの判定にも適用可能である。

コンタクトサイズが所定の大きさ以下の場合は「指先」による操作と判断されて、対応するモード、たとえば、ズームモードが特定される。コンタクトサイズが所定の大きさを超える場合は、「指の腹」での操作と判断されて、対応するモード、たとえば回転モードが特定される。

パラメータ増加モードが起動されているか、パラメータ減少モードが起動されているかに応じて、コンタクトサイズ判断の閾値を異ならせてもよい。パラメータ増加モードの場合は、コンタクトサイズ判別の閾値を正規化サイズで０．３に設定し、パラメータ減少モードの場合は、コンタクトサイズ判別の閾値を正規化サイズで０．４に設定してもよい（図７参照）。あるいは、パラメータ減少モードとパラメータ増加モードで、検出されたコンタクトサイズに異なる補正係数を乗算することで、判別精度を高めてもよい。

パラメータ増加モードまたはパラメータ減少モードが起動され、コンタクトサイズに応じたモードが特定されると、圧力の変化の方向に応じてパラメータの調整が行われる（Ｓ３０）。いったんパラメータ増減モードが起動されると（Ｓ２６及びＳ２８）、Ｌ１以下の領域を含めた圧力の全範囲を用いてパラメータが調整される。圧力が増加する場合は、パラメータを増加方向（たとえば、倍率、回転角、移動量がプラス側に変化する方向）に調整する。圧力が減少する場合は、パラメータを減少方向（たとえば、倍率、回転角、移動量がマイナス側に変化する方向）に調整する。

圧力の変化が増加（圧力印加）か減少（圧力リリース）かに応じて、検出された圧力値からパラメータ値を算出する際に異なる補正係数を適用してもよい。

圧力変化に基づくパラメータの調整は、ステップＳ３１でコンタクトサイズがゼロになるまで継続される。コンタクトサイズがゼロになった場合、すなわち指がタッチパネルから離れた場合は（Ｓ３１でＹＥＳ）、ステップＳ２１に戻ってＳ２１以降の処理が繰り返される。図１３の処理フローは、情報処理端末１０の動作中は繰り返し行われるのでループになっているが、電源オフで処理フローは終了する。

図１３は、実施形態のタッチ操作の一例として、ペイントアプリでのパラメータ制御の例を示す。この例では、コンタクトサイズと圧力の双方を連続値的に検出して、所望の線幅と所望の濃淡レベルで描画を実現する。図１３の左図は、指先でのタッチ操作で、細い線を描画する。図１３の右図は、指の腹でのタッチ操作で、太い線を描画する。いずれの場合も、圧力レベルを色の濃淡（アルファ値）に割り当てて、所望の線幅で所望の濃さの線を描くことができる。

この例でも、圧力リリースにより色を薄くする場合と、圧力印加により色を濃くする場合とで、検出される圧力レベルからアルファ値を算出するときに異なる補正係数を適用してもよい。

図１４は、実施形態のパラメータ制御が適用される情報処理端末１００のハードウエア構成図である。情報処理端末１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ストレージ１０４、通信インターフェース（Ｉ／Ｆ）１０５、表示入力装置１０６、センサ群１０７、カメラ１０８、スピーカ１０９、及びマイク１１０し、これらはバス１１１で相互接続されている。

ＣＰＵ１０１は、ＲＯＭ１０３やストレージ１０４等に格納されたプログラムやデータをＲＡＭ１０２上に読み出し、処理を実行することで、情報処理端末１００の各機能を実現する。ＲＡＭ１０２は、ＣＰＵ１０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ１０３は、電源を切ってもプログラムやデータを保持することができる不揮発性のメモリである。ストレージ１０４は、ＳＳＤ（Solid State Drive）、フラッシュＲＯＭ等のストレージデバイスであり、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等を記憶する。

通信Ｉ／Ｆ１０５は、ＬＴＥ／３Ｇ方式のモバイルデータ通信網に接続するインターフェース、無線ＬＡＮ方式のネットワークに接続するインターフェース、近距離または近接場型の無線通信インターフェース等を含む。

表示入力装置１０６は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示デバイスとタッチパネルが一体化されたタッチパネルディスプレイである。表示入力装置１０６は、図２のタッチパネル１２に相当する。

センサ群１０７は、タッチ位置、押下圧力、コンタクトサイズを検出する感圧タッチセンサの外に、磁気センサ、光センサ、ジャイロセンサ等を含んでいてもよい。センサ群１０７の一部、特に感圧タッチセンサは、表示入力装置１０６と一体的に形成されていてもよい。

カメラ１０８は、たとえばＣＭＯＳイメージセンサを用いたカメラモジュールである。スピーカ１０９は音波出力素子を含み、音波信号を音波に変換して出力する。マイク１１０は、マイクロフォン等の収音素子を含み、取得した音波を音波信号に変換する。バス１１１は、これらのハードウエアブロックを相互接続して、アドレス信号、データ信号、各種制御信号等を伝送する。

図１５は、情報処理端末１００の機能ブロック図である。情報処理端末１００は、表示・操作部２０１、入力検知部２０２、制御部２０３、及び記憶部２０６を有する。制御部２０３は、モード判定部２０４とパラメータ制御部２０５を有する。表示・操作部２０１は表示入力装置１０６で実現される。入力検知部２０２はセンサ群１０７で実現される。制御部２０３はＣＰＵ１０１で実現される。記憶部２０６は、ＲＯＭ１０３またはストレージ１０４で実現される。

表示・操作部２０１は、ユーザのタッチ操作による入力を受け付ける。入力検知部２０２は、タッチ操作による操作情報を検知する。操作情報は、タッチ位置、コンタクトサイズ、押下圧力等を含む。記憶部２０６は、パラメータ増加モードとパラメータ減少モード開始のための閾値（Ｌ１、Ｌ２）、コンタクトサイズ判定の閾値、検出された圧力レベル及び／又はコンタクトサイズに適用される補正係数等を記憶する。

モード判定部２０４は、入力検知部２０２で検知された操作情報と、記憶部２０６に保存された閾値及び／または補正係数に基づいて、通常タッチモードで動作するか、特定のモードを開始するかを判断する。より具体的には、検出された圧力レベルと圧力の変化の方向、及びトリガ用の閾値に基づいて、トリガ条件が満たされるときに、パラメータ増加モード、またはパラメータ減少モードを起動する。パラメータの増加または減少を可能にするパラメータ調整モードが起動されたならば、コンタクトサイズに基づいて、特定の操作モード（ズームモード、回転モード、ペイントモード等）を選択する。

パラメータ制御部２０５は、選択された特定の操作モードで用いられるパラメータを、検出されている圧力レベルに基づいて調整する。たとえば、ズームモードの倍率、回転モードの回転角、ペイントモードの濃淡などが、圧力変化に基づいて調整される。圧力変化の方向、すなわち圧力が強められているか、弱められているかに応じて、検出された値からパラメータ値を算出する際に異なる補正係数が適用されてもよい。

このような構成により、情報処理端末１００は直感的で簡単なユーザ操作を可能にし、かつユーザ操作を正確に検出することができる。情報処理端末１００は、片手で多彩な操作を可能にする点で優れている。

上述した特定の実施例では、２つのコンタクトサイズと３つの圧力レベルを用いたが、３つのコンタクトサイズを用いてより細かい制御としてもよいし、ペイントツールを操作するときは、圧力レベルとして連続値を用いてもよい。

１０、１００ 情報処理端末
１２ タッチパネル
１０１ ＣＰＵ（プロセッサ）
１０２ ＲＡＭ（メモリ）
１０３ ＲＯＭ（メモリ）
１０４ ストレージ
１０６ 表示入力装置
１０７ センサ群
２０１ 表示・操作部
２０２ 入力検知部
２０３ 制御部
２０４ モード判定部
２０５ パラメータ制御部
２０６ 記憶部

Claims (8)

1. タッチパネルを有する情報処理端末において、
   前記タッチパネルに印加される圧力を検知するセンサと、
   前記センサの出力に基づき、前記圧力が所定のレベルに変化したときに起動される特定のモードにおいて、当該特定のモードで用いられるパラメータの調整を可能にするパラメータ調整モードを起動する制御部と、
   を有し、
   前記制御部は、圧力変化の方向に応じて異なるトリガレベルを用いて、前記パラメータ調整モードを起動するか否かを判定し、前記パラメータ調整モードが起動された後は、前記情報処理端末で検知可能な全圧力範囲にわたって、前記圧力変化の方向に対応して前記特定のモードで前記パラメータを増加または減少し、前記圧力変化の方向に対応して前記パラメータを増加または減少するときに、前記圧力が増大する方向に変化しているときと、前記圧力が減少する方向に変化しているときで、パラメータ値の算出に異なる補正係数を適用することを特徴とする情報処理装置。
2. 前記制御部は、前記センサで検出される前記圧力が、通常のタッチモードで用いられる圧力レベルよりも高い第１レベルに達し、その後、圧力増大により前記第１レベルよりも高い第２レベルに達したときにパラメータ増加モードを起動し、
   前記圧力が前記第１レベルを超えて前記第２レベルに達する前に前記第１レベルに戻ったときにパラメータ減少モードを起動し、
   前記パラメータ増加モードと前記パラメータ減少モードのいずれか一方が起動された後は、前記第１レベルよりも低い圧力と、前記第２レベルよりも高い圧力を含む全圧力範囲にわたって、前記圧力変化の方向に対応して前記パラメータを増加または減少することを特徴とする請求項１に記載の情報処理装置。
3. 前記センサは、前記タッチパネルに触れているコンタクトサイズを検出するセンサを含み、
   前記制御部は、前記パラメータ調整モードが起動されたときに、前記コンタクトサイズに基づいて前記特定のモードを選択し、前記特定のモードの前記パラメータを前記圧力に応じて調整することを特徴とする請求項１または２に記載の情報処理装置。
4. タッチパネルを有する情報処理端末において、
   前記タッチパネルをタッチする圧力を検出し、
   圧力変化の方向に応じて異なるトリガレベルを用いて、前記圧力が前記トリガレベルに変化したか否かを判定し、
   前記圧力が前記トリガレベルに変化したときに起動される特定のモードにおいて、当該特定のモードで用いられるパラメータの調整を可能にするパラメータ調整モードを起動し、
   前記パラメータ調整モードが起動された後は、前記情報処理端末で検知可能な全圧力範囲にわたって、前記圧力変化の方向に対応して前記特定のモードで前記パラメータを増加または減少し、
   前記圧力変化の方向に対応して前記パラメータを増加または減少するときに、前記圧力が増大する方向に変化しているときと、前記圧力が減少する方向に変化しているときで、パラメータ値の算出に異なる補正係数を適用することを特徴とする情報処理方法。
5. 前記情報処理端末で検出される前記圧力が、通常のタッチモードで用いられる圧力レベルよりも高い第１レベルに達し、その後、圧力増大により前記第１レベルよりも高い第２レベルに達したときに、パラメータ増加モードを起動し、
   前記圧力が前記第１レベルを超えて前記第２レベルに達する前に前記第１レベルに戻ったときに、パラメータ減少モードを起動し、
   前記パラメータ増加モードと前記パラメータ減少モードのいずれか一方が起動された後は、前記第１レベルよりも低い圧力と、前記第２レベルよりも高い圧力を含む全圧力範囲にわたって、前記圧力変化の方向に対応して前記パラメータを増加または減少することを特徴とする請求項４に記載の情報処理方法。
6. 前記パラメータ調整モードが起動されたときに、前記タッチパネルをタッチするコンタクトサイズに応じて前記特定のモードを選択し、前記特定のモードの前記パラメータを前記圧力に応じて調整することを特徴とする請求項４または５に記載の情報処理方法。
7. タッチパネルを有する情報処理端末に、
   前記タッチパネルをタッチする圧力を検出する手順と、
   圧力変化の方向に応じて異なるトリガレベルを用いて、前記圧力が前記トリガレベルに変化したか否かを判定する手順と、
   前記圧力が前記トリガレベルに変化したときに起動される特定のモードにおいて、当該特定のモードで用いられるパラメータの調整を可能にするパラメータ調整モードを起動する手順と、
   前記パラメータ調整モードが起動された後は、前記情報処理端末で検知可能な全圧力範囲にわたって、前記圧力変化の方向に対応して前記特定のモードで前記パラメータを増加または減少する手順と、
   前記圧力変化の方向に対応して前記パラメータを増加または減少するときに、前記圧力が増大する方向に変化しているときと、前記圧力が減少する方向に変化しているときで、パラメータ値の算出に異なる補正係数を適用する手順と、
   を実行させる情報処理プログラム。
8. 前記情報処理端末で検出される前記圧力が、通常のタッチモードで用いられる圧力レベルよりも高い第１レベルに達し、その後、圧力増大により前記第１レベルよりも高い第２レベルに達したときに、パラメータ増加モードを起動する手順と、
   前記圧力が前記第１レベルを超えて前記第２レベルに達する前に前記第１レベルに戻ったときに、パラメータ減少モードを起動する手順と、
   前記パラメータ増加モードと前記パラメータ減少モードのいずれか一方が起動された後は、前記第１レベルよりも低い圧力と前記第２レベルよりも高い圧力を含む全圧力範囲にわたって、前記圧力変化の方向に対応して前記パラメータを増加または減少する手順と、
   をさらに含むことを特徴とする請求項７に記載の情報処理プログラム。

Images