JP5718042B2

JP5718042B2 - タッチ入力処理装置、情報処理装置およびタッチ入力制御方法

Info

Publication number: JP5718042B2
Application number: JP2010288131A
Authority: JP
Inventors: 平田　真一; 真一平田
Original assignee: Sony Interactive Entertainment Inc; Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2010-12-24
Filing date: 2010-12-24
Publication date: 2015-05-13
Anticipated expiration: 2030-12-24
Also published as: EP2657811B1; CN103270485B; EP2657811A1; JP2012137837A; EP2657811A4; CN103270485A; US20130278530A1; US8976140B2; WO2012086176A1

Description

この発明は、タッチパネルに対する入力を処理する装置および方法に関する。

表示画面に直接、人間が指で触れることにより入力を行うことができるタッチパネルやタッチパッドなどのインタフェース機器がパーソナルコンピュータ、各種の携帯機器や携帯電話などで幅広く利用されている。最近では、タッチ点の座標以外にも、タッチの強さ（圧力）や、指の向きなど、タッチ点に関する属性情報を取得することができる機器も登場している。

特許文献１には、表裏両面に表示画面を備えた携帯型画像表示装置が開示されている。

特開２０１０−２６０６４号公報

最近の携帯端末は表示画面の視認性を高めたり、高画質の画像を閲覧できるように、大きなサイズのタッチパネルディスプレイを備えたものが増えている。そのため、携帯端末をグリップしている指でタッチパネルディスプレイの全域をタッチして操作することは難しくなっている。また、子どもや女性など手が小さいユーザは携帯端末を片手で持ちながらではタッチパネルディスプレイの遠いところまでは指が届かず、すべての領域にタッチできないこともある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、タッチパネルの全域に対して容易にタッチ操作を行うことのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様のタッチ入力処理装置は、タッチパネルにおけるタッチ点の座標位置を取得するタッチ座標取得部と、前記タッチパネルの一部が前記タッチパネルの全域を操作するための拡大操作エリアに設定されており、タッチ点の座標位置が前記タッチパネルの拡大操作エリア内であるか否かを判定するエリア判定部と、タッチ点がドラッグされたかどうかを判定するドラッグ判定部と、タッチ点の座標位置が前記拡大操作エリア内であり、そのタッチ点がドラッグされた場合に、タッチ入力による操作モードを通常操作モードから拡大操作モードへ切り替える操作モード切替部と、拡大操作モードに切り替えられた場合に、前記拡大操作エリア内の現実のタッチ点の座標を、前記タッチパネルの全域をタッチ対象とする仮想的なタッチ点の座標へ変換するタッチ座標変換部とを含む。

本発明の別の態様は、情報処理装置である。この装置は、タッチパネルと前記タッチパネルにおけるタッチ入力を検出して信号として出力するタッチパネルコントローラとを含むタッチパネルユニットと、タッチパネルユニットにより検出されたタッチ入力に関する情報を処理するタッチ入力処理部と、前記タッチパネルに設けられるディスプレイデバイスに表示すべきデータを制御する表示制御部とを含む。前記タッチ入力処理部は、タッチ点の座標位置を取得するタッチ座標取得部と、前記タッチパネルの一部が前記タッチパネルの全域を操作するための拡大操作エリアに設定されており、タッチ点の座標位置が前記タッチパネルの拡大操作エリア内であるか否かを判定するエリア判定部と、タッチ点がドラッグされたかどうかを判定するドラッグ判定部と、タッチ点の座標位置が前記拡大操作エリア内であり、そのタッチ点がドラッグされた場合に、タッチ入力による操作モードを拡大操作へ切り替える操作モード切替部と、拡大操作モードに切り替えられた場合に、前記拡大操作エリア内の現実のタッチ点の座標を、前記タッチパネルの全域をタッチ対象とする仮想的なタッチ点の座標へ変換するタッチ座標変換部とを含む。

本発明のさらに別の態様は、タッチ入力制御方法である。この方法は、タッチパネルにおけるタッチ入力を制御するタッチ入力制御方法であって、タッチパネルにおけるタッチ点の座標位置を取得するステップと、前記タッチパネルの一部が前記タッチパネルの全域を操作するための拡大操作エリアに設定されており、タッチ点の座標位置が前記タッチパネルの拡大操作エリア内であるか否かを判定するステップと、タッチ点がドラッグされたかどうかを判定するステップと、タッチ点の座標位置が前記拡大操作エリア内であり、そのタッチ点がドラッグされた場合に、タッチ入力による操作モードを通常操作モードから拡大操作モードへ切り替えるステップと、拡大操作モードに切り替えられた場合に、前記拡大操作エリア内の現実のタッチ点の座標を、前記タッチパネルの全域をタッチ対象とする仮想的なタッチ点の座標へ変換するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、タッチパネルの一部の領域をタッチすることでタッチパネルの全域に対してタッチ操作を行うことができる。

実施の形態に係る情報処理装置の構成図である。タッチ入力処理部の構成図である。携帯ゲーム機におけるタッチ入力位置を説明する図である。ノートサイズの携帯端末におけるタッチ入力位置を説明する図である。タッチパネルにおける拡大操作エリアとタッチ点の座標のスケーリングを説明する図である。図２のタッチ座標変換部によるタッチ点の座標変換を説明する図である。図２の操作モード切替部による操作モードの切り替えを説明する図である。図２のタッチ入力処理部による操作モードの切り替え処理を説明するフローチャートである。図９（ａ）、（ｂ）は、拡大操作モードにあるときの現実のタッチ点と、仮想的なポインティング箇所に表示されるポインタとの関係を説明する図である。図１０（ａ）、（ｂ）は、通常操作モードにあるときの現実のタッチ点と、仮想的なポインティング箇所との関係を説明する図である。タッチパネルにおけるマルチタッチの例を説明する図である。マルチタッチの場合の操作モードの切り替え処理を説明するフローチャートである。図１３（ａ）〜（ｄ）は、マルチタッチの場合の操作モード切替の例を説明する図である。図１４（ａ）〜（ｄ）は、マルチタッチの場合の操作モード切替の別の例を説明する図である。

図１は、実施の形態に係る情報処理装置１００の構成図である。図１に示す情報処理装置１００の機能構成の一部または全部は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。

情報処理装置１００は、タッチパネルユニット１４０、信号処理部１５０、メインプロセッサ１６０、メモリ１７０、表示制御部１８０、およびディスプレイ１９０を含む。

タッチパネルユニット１４０は、タッチパネル１１０と、フレキシブル基板１２０によりタッチパネル１１０に接続されたタッチパネルコントローラ１３０とを含む。

タッチパネル１１０は、各種方式で、指などによる接触点（位置）（以下、「タッチ点（位置）」と呼ぶ）と、タッチ点（位置）における接触状態を示す静電容量や電気抵抗量などの検知量（以下、「タッチ状態量」と呼ぶ）を検出する入力装置であり、液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどのディスプレイ１９０の上に重ねて設置される。これにより、ユーザはディスプレイ１９０の画面を見ながら、タッチパネル１１０に指で直接触れることで画面に対する操作を入力することができる。

タッチパネル１１０は、一例として、静電容量方式タッチパネルである。タッチパネルコントローラ１３０は、タッチパネル１１０の各点の静電容量の変化量を測定してタッチ点の位置とタッチ点の静電容量値を検出する。

ここでは、静電容量方式のタッチパネル１１０を例にとって説明したが、指やペンなどで触れたときに何らかの測定量が時系列データとして取得できるタッチパネルであれば、静電容量方式に限らず、任意の方式のものを利用することができる。たとえば、感圧式タッチパネルでもよく、光学式タッチパネルであってもよい。

信号処理部１５０は、タッチパネルコントローラ１３０が検出したタッチ点の静電容量の時系列データを取得して、メモリ１７０に対してデータを読み書きしながら信号処理を行い、各時点でのタッチ点の位置座標を出力する。

メインプロセッサ１６０は、信号処理部１５０から各時点のタッチ点の位置座標を取得し、タッチ入力による指示を実行する。メインプロセッサ１６０は、メモリ１７０にロードされた標準的なタッチ入力処理用のライブラリを用いてタッチ入力処理を実行する。たとえば、メインプロセッサ１６０は、タッチパネルに対するタップ、ダブルタップ、ドラッグなどの各種のタッチ入力を検出して、タップであれば、タップされた位置に表示されたオブジェクト、ファイル、ボタン、メニューなどを選択し、ダブルタップであれば、タップされた位置を拡大または縮小表示したり、選択されたファイルを開けたりし、ドラッグであれば、タッチ位置のアイコンやオブジェクトを移動させたり、画面をスクロールさせるなど、タッチ入力のタイプに応じた操作を実行する。

表示制御部１８０は、ゲームの画面やアプリケーションの出力画面などをディスプレイ１９０に表示する。また、表示制御部１８０は、タッチパネル１１０上のタッチ位置を視覚的にユーザに伝えるために、タッチ位置にカーソルを表示したり、タッチ位置の画像を拡大表示したり、タッチ位置をハイライト表示させるなど、表示画面にタッチ位置を強調するエフェクトを与えることができる。

図２は、タッチ入力処理部２００の構成図である。タッチ入力処理部２００の各機能は、プログラムコードとしてメモリ１７０に保持され、メインプロセッサ１６０によって読み出されて実行される。タッチ入力処理部２００の機能の少なくとも一部を専用ハードウェアを用いて実現してもよい。

タッチ座標取得部１０は、信号処理部１５０からタッチ点の位置座標を取得し、取得した位置座標をドラッグ判定部２０、エリア判定部３０、およびタッチ座標変換部５０に与える。

図３は、携帯ゲーム機４００におけるタッチ入力位置を説明する図である。同図は携帯ゲーム機４００を左手でグリップしているところであり、ユーザは左手の親指４１０でディスプレイ上のタッチパネルに触れて画面に対して操作入力を与えることができる。ユーザは、携帯ゲーム機４００をグリップしている左手の親指４１０が届く範囲でタッチパネルに触れることができ、携帯ゲーム機４００が小型であれば、タッチパネルの少なくとも左半分に触れることができ、グリップの仕方を変えれば、タッチパネルの右半分に左手の親指４１０を届かせることもできる。また、ユーザが両手で携帯ゲーム機４００をグリップしているときは、右手の親指を使えば、タッチパネルの右半分に触れることができ、両手でタッチパネルのほぼ全域に触れて画面上でタップ、ダブルタップ、ドラッグなどの操作をすることができる。

図４は、ノートサイズの携帯端末４２０におけるタッチ入力位置を説明する図である。ノートサイズの携帯端末４２０では、ディスプレイ上のタッチパネルの領域が広いため、携帯端末４２０をグリップしている左手の親指４１０が届く範囲は限られ、グリップしている左手の親指４１０だけでタッチパネルの全域に触れることはできない。

そこで、本実施の形態では、一例として、グリップしている左手の親指４１０が届く範囲を拡大操作エリアに設定し、拡大操作エリア内での現実のタッチ入力がタッチパネル全域への仮想的なタッチ入力となるように、タッチ点の座標を変換する。これにより、拡大操作エリア内でタッチ入力を行うだけで、タッチパネル全域に対するタッチ入力を行うことができるようになる。

図５は、タッチパネルにおける拡大操作エリアとタッチ点の座標のスケーリングを説明する図である。

携帯端末４２０のタッチパネルの一部の領域、ここでは携帯端末４２０をグリップしている左手の親指４１０が触れることのできる範囲を拡大操作エリア４３０として設定する。タッチパネルの拡大操作エリア４３０以外の領域を通常操作エリア４４０という。親指４１０による拡大操作エリア４３０内の現実のタッチ点４５０の座標は、拡大操作エリア４３０をタッチパネルの全域に拡大するスケーリングにより、仮想的なタッチ点４６０の座標に変換される。ユーザの親指４１０は実際には拡大操作エリア４３０のタッチ点４５０に触れているが、座標変換により、タッチパネルの仮想上のタッチ点４６０に触れているものとして扱われる。

上記の例では、携帯端末４２０をグリップしている手の親指が届く範囲に拡大操作エリア４３０を設定したが、ユーザの好みにより、拡大操作エリア４３０はタッチパネルのいずれの領域に設定してもかまわない。たとえば、右手で携帯端末４２０をグリップする場合は、右手の親指が届く範囲に拡大操作エリア４３０を設定してもよいし、グリップする手の親指の位置とは無関係に、タッチパネルに触れやすい領域を拡大操作エリア４３０に設定してもよい。たとえば、タッチパネルを人差し指で触ってタッチ入力を与える場合に、人差し指で触れる領域を拡大操作エリア４３０に設定してもよい。アプリケーションが個別に拡大操作エリア４３０を設定してもよく、ユーザが拡大操作エリア４３０を設定してもよい。表示制御部１８０は、ユーザに拡大操作エリア４３０に設定された領域を知らせるために、拡大操作エリア４３０の枠を表示したり、拡大操作エリア４３０の画像に何らかのエフェクトを施してもよい。

図２に戻り、エリア判定部３０は、タッチ点の座標が拡大操作エリア内にあるかどうかを判定し、タッチ点が拡大操作エリアにあるか、通常操作エリアにあるかを操作モード切替部４０に通知する。

ドラッグ判定部２０は、タッチ点がドラッグされているかどうかを判定する。ドラッグ判定部２０は、タッチ点の位置座標の時系列データから、タッチ点の位置座標の変化を調べ、タッチ点の位置座標が連続的に変化しているなら、ユーザがタッチパネルをタッチしながらドラッグしていると判定する。ドラッグ判定部２０は、タッチ点がドラッグされているかどうかを操作モード切替部４０に通知する。

操作モード切替部４０は、タッチ点が拡大操作エリア内にあり、タッチ点がドラッグされている場合に、タッチ入力による操作モードを通常操作モードから拡大操作モードに切り替える。通常操作モードとは、現実のタッチ点がそのままタッチパネルのタッチ位置になるモードであり、拡大操作モードとは、拡大操作エリア内での現実のタッチ入力がタッチパネル全域への仮想的なタッチ入力となるように、タッチ点の座標が変換されるモードである。

操作モード切替部４０は、タッチ点が通常操作エリア内にある場合、タッチ入力による操作モードを通常操作モードに設定する。通常操作モードの場合、通常操作エリア内の現実のタッチ点の座標はそのままタッチパネルのタッチ位置となる。

操作モード切替部４０は、タッチ点が拡大操作エリア内にあるが、そのタッチ点がドラッグされていない場合は、拡大操作モードに切り替えることなく、通常操作モードを維持する。

拡大操作エリア内でタッチされた点がドラッグされて拡大操作エリアから外に出て通常操作エリア内に入った場合、操作モード切替部４０は、拡大操作モードから通常操作モードに切り替える。一方、通常操作エリア内でタッチされた点がドラッグされて拡大操作エリア内に入った場合でも、操作モード切替部４０は、拡大操作モードに切り替えることなく、通常操作モードを維持する。

操作モード切替部４０は、決定した操作モードをタッチ座標変換部５０に通知する。タッチ座標変換部５０は、タッチ座標取得部１０から取得した現実のタッチ点の座標を操作モードに応じて変換する。タッチ座標変換部５０は、拡大操作モードの場合、拡大操作エリア内でのタッチ入力がタッチパネル全域に対するタッチ入力になるように、現実のタッチ点の座標を変換し、通常操作モードの場合、現実のタッチ点の座標を変換せずに、そのままタッチパネルに対するタッチ位置として出力する。

図６は、タッチ座標変換部５０によるタッチ点の座標変換を説明する図である。タッチパネルの横方向をＸ軸、縦方向をＹ軸とし、タッチパネルの左下の隅を原点（０，０）とし、右上の隅の座標を（Ｘ＿ｍａｘ，Ｙ＿ｍａｘ）とする。タッチパネルの横方向の大きさＷｘは、Ｗｘ＝Ｘ＿ｍａｘ、縦方向の大きさＷｙは、Ｗｙ＝Ｙ＿ｍａｘである。

拡大操作エリア４３０は、同図に示す長方形の領域であり、右上の頂点Ａの座標を（Ｘ１２、Ｙ１２）とし、左下の頂点Ｂの座標を（Ｘ１１、Ｙ１１）とする。拡大操作エリア４３０の横方向の大きさＷｘ１は、Ｗｘ１＝Ｘ１２−Ｘ１１であり、縦方向の大きさＷｙ１は、Ｗｙ１＝Ｙ１２−Ｙ１１である。

ここで拡大操作エリア４３０の左下の頂点Ｂの座標を原点（０，０）としていないのは、携帯端末４２０を左手でグリップしている場合、タッチパネルの左下隅の原点付近を親指で触れることは難しいため、原点付近を拡大操作エリア４３０から外したいからである。これは実装上の設計事項であり、拡大操作エリア４３０の左下の頂点Ｂの座標を原点（０，０）としても（すなわち、Ｘ１１＝Ｙ１１＝０としても）、基本的な動作には違いはない。

拡大操作エリア４３０内の現実のタッチ点Ｐ（Ｘ，Ｙ）は、拡大操作モードでは、タッチパネル全域に対する仮想的なタッチ点Ｐ’（Ｘ'，Ｙ’）に次式のように座標変換される。
Ｘ’＝｛（Ｘ−Ｘ１１）／Ｗｘ１｝×Ｗｘ
Ｙ’＝｛（Ｙ−Ｙ１１）／Ｗｙ１｝×Ｗｙ

この座標変換により、拡大操作モードでは、現実には拡大操作エリア内の位置（符号４５０）をタッチしても、仮想的に通常操作エリアのタッチパネルの位置（符号４６０）をタッチしているように扱われる。ただし、通常操作モードにある場合は、拡大操作エリア内の現実のタッチ位置はそのままタッチパネルに対するタッチ位置となる。

図７は、操作モード切替部４０による操作モードの切り替えを説明する図である。図６と同様にタッチパネルに座標系を設定し、拡大操作エリア４３０の周囲に遷移エリア４３５を設ける。遷移エリア４３５は、拡大操作エリア４３０に対するマージンとして設定される。たとえば、指でタッチされる領域を円形で近似したとき、指タッチ領域の円の直径の半分程度の大きさ、具体的には３ミリ程度のマージンを拡大操作エリア４３０の周囲に設ける。マージンである遷移エリア４３５内でタッチ入力がなされた場合でも、そのタッチ入力を拡大操作エリア４３０内でなされたタッチ入力とみなす。このマージンにより、拡大操作エリアの境界付近で指タッチする場合のタッチ入力位置の誤差を吸収することができる。

拡大操作エリア４３０内でタッチ点Ｐ１をタッチしてそのままドラッグし、拡大操作エリア４３０を出て通常操作エリア４４０内のタッチ点Ｐ２まで移動してタッチパネルから指を離したとする。拡大操作エリア４３０内のタッチ点Ｐ１から通常操作エリア４４０内のタッチ点Ｐ２までの移動軌跡の内、拡大操作エリア４３０と遷移エリア４３５の範囲にある部分は、操作モード切替部４０により拡大操作モードに設定されるが、拡大操作エリア４３０と遷移エリア４３５の範囲から外れる部分は、通常操作モードに設定される。このように、拡大操作エリア４３０内でタッチを開始してドラッグすると、最初は拡大操作モードであるが、いったん拡大操作エリア４３０から外に出て、通常操作エリア４４０に入ると、それ以降は通常操作モードに切り替わる。

一方、通常操作エリア４４０内でタッチ点Ｐ３をタッチしてそのままドラッグし、拡大操作エリア４３０に入り、拡大操作エリア４３０内のタッチ点Ｐ４まで移動してタッチパネルから指を離したとする。この場合、通常操作エリア４４０内のタッチ点Ｐ３から拡大操作エリア４３０内のタッチ点Ｐ４までの移動軌跡はすべて、操作モード切替部４０により通常操作モードに設定される。このように、通常操作エリア４４０内でタッチを開始してドラッグした場合、拡大操作エリア４３０内に入っても、通常操作モードが維持される。

図８は、タッチ入力処理部２００による操作モードの切り替え処理を説明するフローチャートである。図８に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１０のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１０のＮ）と表示する。

タッチ座標取得部１０は、タッチパネルがタッチされた場合（Ｓ１０のＹ）、タッチ点の位置座標を取得する。タッチパネルがタッチされていない場合（Ｓ１０のＮ）、ステップＳ１０のタッチ入力の検出を繰り返す。

エリア判定部３０は、タッチ点の位置座標が拡大操作エリア内にあるかどうかを判定する（Ｓ１２）。タッチ点が拡大操作エリア内にない場合（Ｓ１２のＮ）、操作モード切替部４０は、タッチ入力による操作モードを通常操作モードに設定する（Ｓ１４）。タッチ点が拡大操作エリア内にある場合（Ｓ１２のＹ）、操作モード切替部４０は、操作モードを通常操作モードに設定する（Ｓ１６）。

次に、ドラッグ判定部２０は、拡大操作エリア内のタッチ点がドラッグされたかどうかを判定する（Ｓ１８）。拡大操作エリア内のタッチ点がドラッグされることなく、タッチパネルから指が離れた場合（Ｓ１８のＮ）、ステップＳ１６に戻り、操作モード切替部４０は、操作モードを通常操作モードのまま維持する。この場合、ユーザは拡大操作エリア内をタップしただけである。拡大操作エリア内をタップした場合は、タッチ点の座標を変換せずに、拡大操作エリア内のタッチ点をそのままタッチパネルに対するタッチ位置とする。

拡大操作エリア内のタッチ点がドラッグされた場合（Ｓ１８のＹ）、ステップＳ２０に進み、エリア判定部３０が、ドラッグされたタッチ点が拡大操作エリアとその周囲に設けられた遷移エリアの範囲内にあるかどうかを判定する。ドラッグされたタッチ点が依然として拡大操作エリアと遷移エリアの範囲内にある場合（Ｓ２０のＹ）、操作モード切替部４０は、操作モードを通常操作モードから拡大操作モードに切り替え（Ｓ２４）、ステップＳ１８に戻る。ドラッグされたタッチ点が拡大操作エリアと遷移エリアの範囲から出て通常操作エリア内に入った場合（Ｓ２０のＮ）、操作モード切替部４０は、操作モードを通常操作モードに設定する（Ｓ２２）。

ユーザが拡大操作エリア４３０内でタッチして、拡大操作モードに入ったとき、タッチパネルのどこをポインティングしているのか把握しづらい。そこで、拡大操作モードでは、拡大操作エリア４３０内の現実のタッチ点Ｐ（Ｘ，Ｙ）に対応するタッチパネル全域に対する仮想的なタッチ点Ｐ’（Ｘ'，Ｙ’）の位置にポインタなどのアイコンを表示し、ポインティング箇所を視覚的に把握できるようにしてもよい。

図９（ａ）、（ｂ）は、拡大操作モードにあるときの現実のタッチ点と、仮想的なポインティング箇所に表示されるポインタとの関係を説明する図である。ここでは、簡単のため、拡大操作エリア４３０の周囲にマージンとして設けられる遷移エリア４３５は無視して説明する。

図９（ａ）に示すように、拡大操作エリア４３０内でタッチ点Ｑ１をタッチしてそのままドラッグし、拡大操作エリア４３０内をタッチ点Ｑ２、タッチ点Ｑ３のように移動したとする。タッチ点の移動軌跡は、破線矢印で示されている。現実のタッチ点Ｑ１、Ｑ２、Ｑ３が拡大操作エリア４３０内にある間、拡大操作モードにあるので、タッチパネル全域に対する仮想的なタッチ点Ｑ１’、Ｑ２’、Ｑ３’は、図９（ｂ）で示すように、上述の座標変換式により定まる位置にある。

拡大操作モードでは、ユーザは、図９（ａ）に示すように、拡大操作エリア４３０内のタッチ点Ｑ１、Ｑ２、Ｑ３の上に指を置いているが、仮想的なタッチ点Ｑ１’、Ｑ２’、Ｑ３’は図９（ｂ）に示す位置である。そのため、ユーザがどの位置を仮想的にポインティングしているかを把握しやすいように、仮想的なタッチ点Ｑ１’、Ｑ２’、Ｑ３’の位置にポインタ５０１、５０２、５０３を表示して、ポインティング箇所を視覚的に示す。ポインタ５０１、５０２、５０３を表示する代わりに、仮想的なタッチ点Ｑ１’、Ｑ２’、Ｑ３’の位置とその近傍を拡大表示したり、何らかのエフェクトを施してもよい。

図１０（ａ）、（ｂ）は、通常操作モードにあるときの現実のタッチ点と、仮想的なポインティング箇所との関係を説明する図である。

図９（ａ）で示した拡大操作エリア４３０の境界にあるタッチ点Ｑ３の位置からさらにドラッグを続け、図１０（ａ）に示すように、拡大操作エリア４３０から外に出て、通常操作エリア４４０内をタッチ点Ｑ４、Ｑ５のように移動したとする。タッチ点の移動軌跡は、破線矢印で示されている。拡大操作エリア４３０から外に出て、通常操作エリア４４０に入ると、それ以降は通常操作モードに切り替わる。通常操作モードでは座標変換は行われないから、現実のタッチ点Ｑ３、Ｑ４、Ｑ５が、図１０（ｂ）に示すように、そのままタッチパネルに対するタッチ点Ｑ３、Ｑ４、Ｑ５になる。

通常操作モードでは、ユーザは、図１０（ａ）に示すように、通常操作エリア４４０においてタッチ点Ｑ３、Ｑ４、Ｑ５の上に指を置いており、それがそのまま図１０（ｂ）に示すようにタッチパネルに対するタッチ点Ｑ３、Ｑ４、Ｑ５になっている。指のある位置がそのままタッチパネルに対するタッチ点であるから、ポインタなどを表示して視覚的にポインティング位置を示す必要はない。図１０（ｂ）の通常操作モードにおけるディスプレイ画面では、図９（ｂ）の拡大操作モードにおけるディスプレイ画面とは違って、ポインティング箇所にポインタを表示しないのはそのためである。

なお、通常操作モードにおいてもポインタの表示をしてもよい。通常操作モードにおけるポインタの表示の有無はユーザが設定可能であってもよい。

図９（ａ）、（ｂ）のように、拡大操作モードにあるときに、仮想的なタッチ点にポインタを表示することで、ユーザはポインティング箇所を視覚的に把握することができ、操作の利便性が向上する。さらに、図１０（ａ）、（ｂ）のように、通常操作モードではポインタを表示しない場合は、拡大操作モードから通常操作モードに切り替わるとポインタが消えるため、ユーザは拡大操作モードから通常操作モードへの切り替えを認識して、操作モードに応じた操作をすることができ、混乱することがない。

以上の説明では、タッチパネルのタッチ点は１箇所であったが、タッチパネルがマルチタッチ対応である場合は、タッチ点は複数箇所ある。以下、マルチタッチの場合の操作モードの切り替え処理を説明する。

図１１は、タッチパネルにおけるマルチタッチの例を説明する図である。同図はピンチと呼ばれるタッチ操作を示す。ピンチとはタッチパネル上を二本の指で触れてつまむような動作をして、指と指の間を広げたり（ピンチアウト）、縮めたりする（ピンチイン）ことである。

ピンチ操作では、たとえば、同図のように、親指が拡大操作エリア４３０内にあったとしても、人差し指は通常操作エリア４４０内にある。このような場合、親指の方が拡大操作エリア４３０内でドラッグ動作をしているからといって、操作モード切替部４０が拡大操作モードに切り替えてしまうと、タッチ入力は意図したピンチ操作にならなくなる。

そこで、マルチタッチの場合は、複数のタッチ点の内、少なくとも一つのタッチ点が通常操作エリア４４０内にあるときは、操作モード切替部４０は、すべてのタッチ点について操作モードを通常操作モードに設定する。

図１２は、マルチタッチの場合の操作モードの切り替え処理を説明するフローチャートである。マルチタッチの場合の各タッチ点についてのステップＳ３０、Ｓ３２、Ｓ３４、Ｓ３６の各処理は、それぞれシングルタッチの場合のタッチ点についての図８のステップＳ１０、Ｓ１２、Ｓ１４、Ｓ１６の各処理と同じであるから、説明を省略する。

ステップＳ３８において、ドラッグ判定部２０は、拡大操作エリア内の少なくとも一つのタッチ点がドラッグされたかどうかを判定し、エリア判定部３０は、通常操作エリア内に他のタッチ点があるかどうかを判定する。拡大操作エリア内のタッチ点がドラッグされなかった場合、または、通常操作エリア内に他のタッチ点がある場合（Ｓ３８のＮ）、ステップＳ３６に戻り、操作モード切替部４０は、操作モードを通常操作モードのまま維持する。この場合、拡大操作エリア内の少なくとも一つのタッチ点の座標を変換せず、拡大操作エリア内の少なくとも一つのタッチ点をそのままタッチパネルに対するタッチ位置とする。

拡大操作エリア内の少なくとも一つのタッチ点がドラッグされ、かつ、通常操作エリア内に他のタッチ点がない場合（Ｓ３８のＹ）、ステップＳ４０に進み、エリア判定部３０が、ドラッグされた少なくとも一つのタッチ点が拡大操作エリアとその周囲に設けられた遷移エリアの範囲内にあるかどうかを判定する。ドラッグされた少なくとも一つのタッチ点が依然として拡大操作エリアと遷移エリアの範囲内にある場合（Ｓ４０のＹ）、操作モード切替部４０は、すべてのタッチ点について操作モードを通常操作モードから拡大操作モードに切り替え（Ｓ４４）、ステップＳ３８に戻る。ドラッグされた少なくとも一つのタッチ点が拡大操作エリアと遷移エリアの範囲から出た場合（Ｓ４０のＮ）、操作モード切替部４０は、すべてのタッチ点について操作モードを通常操作モードに設定する（Ｓ４２）。

図１３（ａ）〜（ｄ）は、マルチタッチの場合の操作モード切替の例を説明する図である。同図の丸で囲んだ数字はタッチ点を示しており、数字の小さい順にタッチされたことを示す。丸で囲んだ数字から出る矢印はそのタッチ点がドラッグされたことを示す。Ｎは通常操作モード、Ｅは拡大操作モードを示す。各タッチ点の操作モードの変化が各図の下に時系列で示されている。

図１３（ａ）のように、第１タッチ点が通常操作エリアにあり、第２タッチ点が拡大操作エリアにあるとする。第２タッチ点が拡大操作エリア内でドラッグされる。第１タッチ点が通常操作モードＮにあるため、第２タッチ点はドラッグされても、通常操作モードＮにとどまる。すなわち、第１タッチ点の通常操作モードＮが第２タッチ点に伝搬している。

図１３（ｂ）のように、第１タッチ点と第２タッチ点がともに拡大操作エリアにあり、第２タッチ点がドラッグされて拡大操作エリアから外に出たとする。第２タッチ点は拡大操作エリア内でドラッグされることにより、通常操作モードＮから拡大操作モードＥに切り替わる。これに伴い、第１タッチ点も通常操作モードＮから拡大操作モードＥに切り替わる。その後、第２タッチ点が引き続きドラッグされて拡大操作エリアから外に出ると、第２タッチ点の操作モードは拡大操作モードＥから通常操作モードＮに切り替わる。これに伴い、第１タッチ点も拡大操作モードＥから通常操作モードＮに切り替わる。この場合も、第２タッチ点の操作モードの切り替わりが第１タッチ点に伝搬している。

図１３（ｃ）のように、第１タッチ点と第２タッチ点がともに拡大操作エリアにあり、第１タッチ点が拡大操作エリアでドラッグされたとする。第１タッチ点は拡大操作エリア内でドラッグされることにより、通常操作モードＮから拡大操作モードＥに切り替わる。第１タッチ点の操作モードの切り替えが第２タッチ点に伝搬し、第２タッチ点も通常操作モードＮから拡大操作モードＥに切り替わる。

図１３（ｄ）のように、第１タッチ点と第２タッチ点がともに拡大操作エリアにあり、第１タッチ点がドラッグされて拡大操作エリアから外に出たとする。第１タッチ点は拡大操作エリア内でドラッグされることにより、通常操作モードＮから拡大操作モードＥに切り替わり、それが第２タッチ点に伝搬し、第２タッチ点も通常操作モードＮから拡大操作モードＥに切り替わる。その後、第１タッチ点が引き続きドラッグされて拡大操作エリアから外に出ると、第１タッチ点の操作モードは拡大操作モードＥから通常操作モードＮに切り替わり、それが第２タッチ点に伝搬し、第２タッチ点も拡大操作モードＥから通常操作モードＮに切り替わる。

図１４（ａ）〜（ｄ）は、マルチタッチの場合の操作モード切替の別の例を説明する図である。

図１４（ａ）のように、第１タッチ点、第２タッチ点、第３タッチ点がいずれも拡大操作エリアにあり、第３タッチ点がドラッグされて拡大操作エリアから外に出たとする。第３タッチ点は拡大操作エリア内でドラッグされることにより、通常操作モードＮから拡大操作モードＥに切り替わり、それが第１および第２タッチ点に伝搬し、第１および第２タッチ点も通常操作モードＮから拡大操作モードＥに切り替わる。その後、第３タッチ点が引き続きドラッグされて拡大操作エリアから外に出ると、第３タッチ点の操作モードは拡大操作モードＥから通常操作モードＮに切り替わり、それが第１および第２タッチ点に伝搬し、第１および第２タッチ点も拡大操作モードＥから通常操作モードＮに切り替わる。

図１４（ｂ）のように、第１タッチ点が通常操作エリアにあり、第２タッチ点が拡大操作エリアにあり、第１タッチ点がドラッグされた拡大操作エリアに入ったとする。この場合、第１タッチ点は拡大操作エリアに入っても通常操作モードＮにとどまるため、第２タッチ点も通常操作モードＮから変わることがない。なお、第２タッチ点はドラッグされていないから、それ自体で拡大操作モードＥに切り替わることもない。

図１４（ｃ）のように、第１タッチ点は拡大操作エリアにあり、拡大操作エリア内でドラッグされ、その後、通常操作エリアに発生した第２タッチ点がドラッグされ、拡大操作エリアに入ったとする。第１タッチ点は拡大操作エリア内でドラッグされたことにより、通常操作モードＮから拡大操作モードＥに切り替わる。その後、通常操作エリアに発生した第２タッチ点が発生したことにより、第２タッチ点が通常操作モードＮに設定され、それが第１タッチ点に伝搬し、第１タッチ点は拡大操作モードＥから通常操作モードＮに切り替わる。その後、第２タッチ点が拡大操作エリアに入っても通常操作モードＮにとどまるため、第１タッチ点も通常操作モードＮのまま変わらない。

図１４（ｄ）のように、第１タッチ点は拡大操作エリアにあり、拡大操作エリア内でドラッグされ、その後、通常操作エリアに第２タッチ点が発生し、さらにその後、通常操作エリアに第３タッチ点が発生し、ドラッグされて拡大操作エリアに入ったとする。この場合、第１タッチ点は拡大操作エリア内でのドラッグにより、通常操作モードＮから拡大操作モードＥに切り替わる。その後、通常操作エリアに第２タッチ点が発生したことにより、第２タッチ点が通常操作モードに設定され、それが第１タッチ点に伝搬するため、第１タッチ点は拡大操作モードＥから通常操作モードＮに切り替わる。その後、通常操作エリアに発生した第３タッチ点が拡大操作エリアに入っても通常操作モードＮにとどまるため、第１および第２タッチ点は通常操作モードＮのまま変わらない。

このように、マルチタッチ入力の場合、通常操作エリア内に一つでもタッチ点が発生すると、拡大操作エリア内でドラッグされているタッチ点があっても、拡大操作モードにはしない。これは、ユーザが通常操作エリアにタッチした時点で、拡大操作エリアにタッチ入力しているのではなく、タッチパネル全体に対してタッチ入力している意図が明らかであるからである。同様に、拡大操作中に、通常操作エリアに新たにタッチ点が検出された場合も、すべてのタッチ点を拡大操作モードから通常操作モードに切り替える。通常操作エリアに他のタッチ点が検出されない場合は、シングルタッチの場合と同様、拡大操作エリア内のドラッグなしのタッチ操作（タップ操作）は通常操作モードで、拡大操作エリア内のドラッグ操作は拡大操作モードで取り扱われる。

以上述べたように、本実施の形態の情報処理装置によれば、拡大操作エリアにおいてドラッグせずにタッチしてその位置で指をタッチパネルから離した場合は、タッチパネルに対する通常のタッチ入力として扱い、拡大操作エリアにおいてタッチしながらドラッグした場合は、拡大操作モードに切り替え、座標変換をしてタッチパネルの全域に対するタッチ入力として扱う。これにより、タッチパネルの広い領域を直接タッチしなくても、タッチパネルの一部の拡大操作エリアをタッチしてドラッグするだけで、タッチパネルの全域に対してタッチ操作が可能になる。

ユーザはタッチパネルに対して複雑なタッチ操作をしなくても、タッチパネルの一部に設けられた拡大操作エリア内で単にドラッグするだけで拡大操作に移行して、タッチパネルの全域を操作でき、また、タッチパネルから指を離すだけで、再び通常操作モードに戻ることができる。したがって、通常操作モードによるタッチパネルに対するダイレクトポインティングと、拡大操作モードによるタッチパネル全域の間接的なポインティングとをシームレスに切り替えることが可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の説明では、拡大操作エリアはタッチパネルディスプレイをグリップする手の親指の可動範囲に設定する例を説明したが、拡大操作エリアはユーザがタッチパネルディスプレイ画面上の任意の領域に設定してもよく、また、アプリケーションが適切な領域に拡大操作エリアを設定してもよい。たとえば、アプリケーションによっては文字入力画面を表示する場合があり、文字入力画面が拡大操作エリアと重なる場合は、拡大操作エリアを一時的に無効にしたり、拡大操作エリアを別の文字入力画面に重ならない別の領域に移動してもよい。またゲームアプリケーションの場合、タッチパネルディスプレイの全領域をユーザが直接タッチできるようにしたいこともある。そのような場合、拡大操作エリアは設定せずに、タッチパネルディスプレイの全領域を通常操作エリアとしてもよい。

１０タッチ座標取得部、２０ドラッグ判定部、３０エリア判定部、４０操作モード切替部、５０タッチ座標変換部、１００情報処理装置、１１０タッチパネル、１２０フレキシブル基板、１３０タッチパネルコントローラ、１４０タッチパネルユニット、１５０信号処理部、１６０メインプロセッサ、１７０メモリ、１８０表示制御部、１９０ディスプレイ、２００タッチ入力処理部。

Claims

タッチパネルにおけるタッチ点の座標位置を取得するタッチ座標取得部と、
前記タッチパネルの一部が前記タッチパネルの全域を操作するための拡大操作エリアに設定されており、タッチ点の座標位置が前記タッチパネルの拡大操作エリア内であるか否かを判定するエリア判定部と、
タッチ点がドラッグされたかどうかを判定するドラッグ判定部と、
タッチ点の座標位置が前記拡大操作エリア内であり、そのタッチ点がドラッグされた場合に、タッチ入力による操作モードを通常操作モードから拡大操作モードへ切り替える操作モード切替部と、
拡大操作モードに切り替えられた場合に、前記拡大操作エリア内の現実のタッチ点の座標を、前記タッチパネルの全域をタッチ対象とする仮想的なタッチ点の座標へ変換するタッチ座標変換部とを含むことを特徴とするタッチ入力処理装置。
タッチ点の座標位置が前記拡大操作エリア外にある場合、操作モード切替部は、タッチ入力による操作モードを通常操作モードに設定し、
前記タッチ座標変換部は、通常操作モードの場合、前記拡大操作エリア外の現実のタッチ点の座標をそのまま前記タッチパネルの全域をタッチ対象とするタッチ点の座標として出力することを特徴とする請求項１に記載のタッチ入力処理装置。
前記操作モード切替部は、タッチ点の座標位置が前記拡大操作エリア内であるが、そのタッチ点がドラッグされなかった場合は、拡大操作モードに切り替えることなく、通常操作モードを維持し、
前記タッチ座標変換部は、通常操作モードの場合、前記拡大操作エリア内の現実のタッチ点の座標をそのまま前記タッチパネルの全域をタッチ対象とするタッチ点の座標として出力することを特徴とする請求項１または２に記載のタッチ入力処理装置。
前記エリア判定部により、ドラッグされたタッチ点が前記拡大操作エリア外に出たと判定された場合、前記操作モード切替部は、拡大操作モードから通常操作モードに切り替えることを特徴とする請求項１から３のいずれかに記載のタッチ入力処理装置。
前記エリア判定部により、前記拡大操作エリア外のタッチ点がドラッグされて前記拡大操作エリア内に入ったと判定された場合でも、前記操作モード切替部は、拡大操作モードに切り替えることなく、通常操作モードを維持することを特徴とする請求項２に記載のタッチ入力処理装置。
前記タッチパネルがマルチタッチ対応であり、前記タッチ座標取得部がマルチタッチに対応して複数のタッチ点の座標位置を取得する場合、
前記操作モード切替部は、タッチ点の座標位置が前記拡大操作エリア内であり、そのタッチ点がドラッグされ、かつ、拡大操作エリア外に他のタッチ点がない場合に、すべてのタッチ点についてタッチ入力による操作モードを通常操作モードから拡大操作モードへ切り替えることを特徴とする請求項１から５のいずれかに記載のタッチ入力処理装置。
前記操作モード切替部は、少なくとも一つのタッチ点が拡大操作エリア外にある場合は、すべてのタッチ点についてタッチ入力による操作モードを通常操作モードに設定することを特徴とする請求項６に記載のタッチ入力処理装置。
タッチパネルと前記タッチパネルにおけるタッチ入力を検出して信号として出力するタッチパネルコントローラとを含むタッチパネルユニットと、
タッチパネルユニットにより検出されたタッチ入力に関する情報を処理するタッチ入力処理部と、
前記タッチパネルに設けられるディスプレイデバイスに表示すべきデータを制御する表示制御部とを含み、
前記タッチ入力処理部は、
タッチ点の座標位置を取得するタッチ座標取得部と、
前記タッチパネルの一部が前記タッチパネルの全域を操作するための拡大操作エリアに設定されており、タッチ点の座標位置が前記タッチパネルの拡大操作エリア内であるか否かを判定するエリア判定部と、
タッチ点がドラッグされたかどうかを判定するドラッグ判定部と、
タッチ点の座標位置が前記拡大操作エリア内であり、そのタッチ点がドラッグされた場合に、タッチ入力による操作モードを拡大操作へ切り替える操作モード切替部と、
拡大操作モードに切り替えられた場合に、前記拡大操作エリア内の現実のタッチ点の座標を、前記タッチパネルの全域をタッチ対象とする仮想的なタッチ点の座標へ変換するタッチ座標変換部とを含むことを特徴とする情報処理装置。
タッチパネルにおけるタッチ入力を制御するタッチ入力制御方法であって、
タッチパネルにおけるタッチ点の座標位置を取得するステップと、
前記タッチパネルの一部が前記タッチパネルの全域を操作するための拡大操作エリアに設定されており、タッチ点の座標位置が前記タッチパネルの拡大操作エリア内であるか否かを判定するステップと、
タッチ点がドラッグされたかどうかを判定するステップと、
タッチ点の座標位置が前記拡大操作エリア内であり、そのタッチ点がドラッグされた場合に、タッチ入力による操作モードを通常操作モードから拡大操作モードへ切り替えるステップと、
拡大操作モードに切り替えられた場合に、前記拡大操作エリア内の現実のタッチ点の座標を、前記タッチパネルの全域をタッチ対象とする仮想的なタッチ点の座標へ変換するステップとを含むことを特徴とするタッチ入力制御方法。
タッチパネルにおけるタッチ点の座標位置を取得する機能と、
前記タッチパネルの一部が前記タッチパネルの全域を操作するための拡大操作エリアに設定されており、タッチ点の座標位置が前記タッチパネルの拡大操作エリア内であるか否かを判定する機能と、
タッチ点がドラッグされたかどうかを判定する機能と、
タッチ点の座標位置が前記拡大操作エリア内であり、そのタッチ点がドラッグされた場合に、タッチ入力による操作モードを通常操作モードから拡大操作モードへ切り替える機能と、
拡大操作モードに切り替えられた場合に、前記拡大操作エリア内の現実のタッチ点の座標を、前記タッチパネルの全域をタッチ対象とする仮想的なタッチ点の座標へ変換する機能とをコンピュータに実現させることを特徴とするプログラム。
請求項１０のプログラムを格納したことを特徴とする記録媒体。