JP6073782B2 - 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム - Google Patents

Description

本発明は、タッチパネルが配置された表示部の表示を制御する表示装置、表示制御方法及び表示制御プログラム、並びに、タッチパネルに対する入力操作を受け付ける入力装置、入力支援方法及びプログラムに関する。

従来、表示装置に応用可能な近接タッチパネル技術が知られている。近接タッチパネル技術とは、パネルに対して水平なＸＹ方向の位置だけでなく、垂直なＺ方向の位置も検出し、ＸＹＺの座標位置に応じた処理を可能にする技術である（例えば、非特許文献１参照）。

また、近接タッチパネル装置の一例として、表示部の画面と指示手段（指又はスタイラスペン等）との距離を算出し、この距離に応じて表示の内容を変更させるものが知られている（例えば、特許文献１参照）。

日本国特開２００８−２５０９４８号公報

鷲野浩之、岡野祐一、川又武典著 「３次元タッチパネルインタフェース」 情報処理学会 インタラクション２００９

しかしながら、上記従来の表示装置である特許文献１の近接タッチパネル装置は、指等の向きを考慮していないので、単に近接タッチパネルに指等を近づけるだけで表示の内容が変更されると、その変更に伴って予期しない表示内容の一部が指等により隠れてしまい、見にくくなり、ユーザの表示内容に対する視認性を劣化させることがあった。

本発明は、上記事情に鑑みてなされたものであり、タッチパネルの使用時、使用者が画面に表示された情報を容易に視認できる表示装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。

本発明の入力装置は、検知対象が近接又は接触したことを検知するタッチパネルと、前記タッチパネルにより近接又は接触したことが検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出する位置検出部と、前記タッチパネルが配置された表示部と、前記位置検出部により検出された前記位置座標に基づいて、前記検知対象の向きを判定する向き判定部と、前記向き判定部により判定された前記検知対象の向きに基づいて、前記検知対象によって遮られる前記表示部の表示内容の一部を避けるように、前記表示部に表示させる表示制御部と、を備える表示装置であって、前記向き判定部は、前記位置検出部により検出された前記検知対象の前記Ｚ方向の座標が第１の座標範囲にある場合、前記検知対象の向きを判定し、前記表示制御部は、前記位置検出部により検出された前記検知対象の前記Ｚ方向の座標が前記第１の座標範囲よりも前記Ｚ方向の座標が小さい第２の座標範囲にある場合、前記検知対象によって遮られる前記表示部の画面を避けるように前記表示部に表示させる。

また、本発明の入力装置は、検知対象が近接又は接触したことを検知可能なタッチパネルと、前記タッチパネルにより近接又は接触が検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出可能な位置検出部と、前記タッチパネルが配置された表示部と、を備えた入力装置であって、前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも所定時間より長い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示し、前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも前記所定時間より短い場合、前記表示部が前記インジケータを表示せず、前記検知対象の前記タッチパネルの面への接触が検知されたとき、前記インジケータが表示されていれば前記インジケータの示す前記ＸＹ方向の位置に対して前記検知対象の接触に対応付けられた処理を行い、前記インジケータが表示されていなければ前記検知対象の接触が検知されたＸＹ方向の座標に対して前記検知対象の接触に対応付けられた処理を行う。

また、本発明の入力装置は、検知対象が近接又は接触したことを検知可能なタッチパネルと、前記タッチパネルにより近接又は接触が検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出可能な位置検出部と、前記タッチパネルが配置された表示部と、を備えた入力装置であって、前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも所定速度より遅い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示し、前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも前記所定速度より速い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示せず、前記検知対象の前記タッチパネルの面への接触が検知されたとき、前記インジケータが表示されていれば前記インジケータの示す前記ＸＹ方向の位置に対して前記検知対象の接触に対応付けられた処理を行い、前記インジケータが表示されていなければ前記検知対象の接触が検知されたＸＹ方向の座標に対して前記検知対象の接触に対応付けられた処理を行う。

本発明によれば、タッチパネルの使用時、使用者が画面に表示された情報を容易に視認できる。

第１の実施形態における表示装置としての３次元タッチパネル装置の機能構成例を示すブロック図 （Ａ）、（Ｂ）第１の実施形態における３次元タッチパネル装置の外観例を示す図 （Ａ）、（Ｂ）第１の実施形態における近接タッチパネルが検知する高さ範囲の一例を示す図 第１の実施形態における３次元タッチパネル装置の表示制御手順の一例を示すフローチャート （Ａ）、（Ｂ）第１の実施形態における指の向きを決定する方法の一例を説明するための図 （Ａ）〜（Ｃ）第１の実施形態における指が接近したことによりポップアップ画面が表示される表示部の画面例を示す図 （Ａ）、（Ｂ）第１の実施形態における指が第１閾値以内と第２閾値以内にある場合の表示部の画面例を示す図 第２以降の各実施形態における入力装置としての３次元タッチパネル装置の機能構成例を示すブロック図 ３次元タッチパネル装置の表示部における表示画面及びユーザの指の位置の具体例を示す図 ３次元タッチパネル装置の操作面とユーザの指との位置関係の具体例を示す図 第２の実施形態の３次元タッチパネル装置の動作を説明するフローチャート 第３の実施形態の３次元タッチパネル装置の動作を説明するフローチャート 第４の実施形態の３次元タッチパネル装置の動作を説明するフローチャート 第５の実施形態の３次元タッチパネル装置の動作を説明するフローチャート 第６の実施形態の３次元タッチパネル装置の動作を説明するフローチャート 第７の実施形態の３次元タッチパネル装置の動作を説明するフローチャート 第８の実施形態の３次元タッチパネル装置の動作を説明するフローチャート 第９の実施形態の３次元タッチパネル装置の動作を説明するフローチャート

（第１の実施形態）
以下、本発明に係る表示装置の第１の実施形態について図面を用いて説明する。

本実施形態の表示装置は、タッチパネルの面に沿って水平なＸＹ方向の位置だけでなく、タッチパネルの面に対して垂直なＺ方向の位置も検出可能な近接タッチパネルを搭載した３次元タッチパネル装置に適用される。

図１は、第１の実施形態における表示装置としての３次元タッチパネル装置１の機能構成例を示すブロック図である。３次元タッチパネル装置１は、制御部１０、位置検出部３０、表示部４０、および近接タッチパネル５０、を有して構成される。

制御部１０は、３次元タッチパネル装置１全体を制御する。また、制御部１０は、向き判定部１２および表示制御部１４を有する。

向き判定部１２は、後述するように、位置検出部３０により検出された位置座標に基づいて、近接タッチパネル５０に接触する指等の検知される対象（検知対象）の向きを判定する。この向き判定部１２による判定の仕方については後述する。

表示制御部１４は、表示部４０の表示を制御するとともに、向き判定部１２から通知される指等の方向をもとに、指等が接近した際に表示される、吹き出し等のポップアップ画面の表示位置を制御する。このとき、表示制御部１４は、向き判定部１２により判定された指等の検知対象の向きに基づいて、検知対象によって遮られる表示部４０の一部を避けるよう、表示部４０の表示を制御する。

位置検出部３０は、近接タッチパネル５０の出力をもとに、近接タッチパネル５０に接近したあるいは接触した指などの位置、つまり近接タッチパネル５０に対して水平なＸＹ座標および垂直なＺ座標を検出し、制御部１０内の向き判定部１２に通知する。すなわち、位置検出部３０は、近接タッチパネル５０により近接したことが検知された指等の検知対象の、ＸＹ方向の座標とＺ方向の座標とを含む位置座標を検出する。

表示部４０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）ディスプレイ）からなり、画面に各種のアイコン等を表示する。また、表示部４０上には、近接タッチパネル５０が配置される。

近接タッチパネル５０は、表示部４０の画面上に配置され、多点検出（検知）が可能な静電容量方式のタッチパネルである。つまり、近接タッチパネル５０は、検知対象としての指等が近接又は接触したことを検知する。この近接タッチパネル５０は、ユーザの指等が近づくと、近接タッチパネル５０に沿って水平なＸＹ方向に配置されたセンサによって検出される電流値が大きくなることを利用し、近接タッチパネル５０に対して垂直方向（Ｚ方向）の距離に応じた信号を位置検出部３０に出力する。

図２は、第１の実施形態における３次元タッチパネル装置１の外観例を示す図である。図２（Ａ）は、表示部４０にメニュー画面が縦方向を長手方向として表示された場合を示す。メニュー画面における各種のアイコン４１が指でタッチされると、このアイコン４１に対応する処理が制御部１０によって実行される。また、図２（Ｂ）は、表示部４０に写真リスト画面が横方向を長手方向として表示された場合を示す。写真リスト画面におけるサムネイル４５がタッチされると、このサムネイル４５の拡大等の処理が行われる。

本実施形態の３次元タッチパネル装置１では、指が画面にタッチする前の、近接した状態（ホバー中）でも、後述するように、表示部４０の画面の表示が変化する。図３は、第１の実施形態における近接タッチパネル５０が検知する高さ範囲の一例を示す図である。図３（Ａ）は、近接タッチパネル５０の横方向（厚さ方向）から見た、画面からの高さ方向に位置する指の検知範囲の一例を示す。図３（Ｂ）は、近接タッチパネル５０の上方から見た、近接タッチパネル５０と指との位置関係の一例を示す。

本実施形態では、２つの閾値（第１閾値、第２閾値）が位置検出部３０に設定されている。近接タッチパネル５０から出力される信号をもとに、位置検出部３０は、第１閾値（５ｃｍ）以内の指の近接と第２閾値（１ｃｍ）以内の指の近接とを識別する。なお、第１閾値および第２閾値はそれぞれ近接タッチパネル５０の仕様、操作性等により任意に設定可能である。また、３つ以上の閾値を設定して指の近接を識別するようにしてもよい。

上記構成を有する３次元タッチパネル装置１の表示動作例について説明する。

３次元タッチパネル装置１では、指（検知対象の一例）が画面（ＬＣＤ面）の高さ方向において上方から下がってきて第１閾値（例えば５ｃｍ）以内（第１の座標範囲）に到達すると、向き判定部１２により指の向きが判定される。さらに、指が下降して画面から第２閾値（例えば１ｃｍ）以内（第２の座標範囲）に到達すると、指の位置に対応するアイテム（アイコン４１もしくはサムネイル４５）のポップアップ画面が、指の向きに合わせて表示される。さらに、指が近接タッチパネル５０に接触すると、指がタッチされたアイテムに対応する処理が制御部１０によって行われる。接触時の処理も指の向きにあわせた動作にすることもできる。

このように、向き判定部１２は、位置検出部３０により検出された指等の検知対象のＺ方向の座標が第１の座標範囲にある場合に、検知対象の向きを判定し、表示制御部１４は、検知対象のＺ方向の座標が第２の座標範囲にある場合に、検知対象によって遮られる表示部４０の画面を避けるように表示部４０の表示を制御する。これにより、３次元タッチパネル装置１は、指（検知対象）のＺ方向における空間上の位置によって、段階的に処理を行うことができる。

図４は、第１の実施形態における３次元タッチパネル装置１の表示制御手順の一例を示すフローチャートである。この表示制御プログラムは、制御部１０内のＲＯＭに格納されており、位置検出部３０によって第１閾値（５ｃｍ）以内に指が検知された場合、割り込み処理として制御部１０内のＣＰＵによって実行される。また、第１閾値（５ｃｍ）以内に指が検知されなくなると、この処理は停止される。

まず、制御部１０は、指の向きをデフォルトである「上」に設定する（ステップＳ１）。本実施形態では、指の向きは８方向、つまり上、下、左、右、右上、右下、左上、左下の方向に設定可能である。なお、指の向きは、８方向に限らず、任意の方向に設定されてもよい。

続いて、制御部１０は、位置検出部３０によって第２閾値（１ｃｍ）以内に指が検知されたか否かを判別する（ステップＳ２）。指の高さが第２閾値を越える場合（ステップＳ２、ＮＯ）、制御部１０は、近接タッチパネル５０により検出される検知点が２点以上あるか否かを判別する（ステップＳ３）。

１点である場合（ステップＳ３、ＮＯ）、制御部１０の動作は、ステップＳ２の処理に戻る。一方、２点以上ある場合（ステップＳ３、ＹＥＳ）、向き判定部１２は、２点以上の検知点の位置から指の向きを決定する（ステップＳ４）。この後、制御部１０の動作はステップＳ２の処理に戻る。

一方、ステップＳ２で指の高さが第２閾値（１ｃｍ）以下である場合（ステップＳ２、ＹＥＳ）、表示制御部１４は、ステップＳ４で決定された指の向きをもとに、その指の先に位置するように、ポップアップ画面を表示させる（図６（Ａ）〜（Ｃ）参照）（ステップＳ５）。ここでは、ポップアップ画面は、８方向のいずれか１つの方向であって、指の先の方向に位置するように表示される。この後、制御部１０の動作はステップＳ２の処理に戻る。

図５は、第１の実施形態におけるステップＳ４で指の向きを決定する方法の一例を説明するための図である。図５（Ａ）は、近接タッチパネル５０の上方から見た場合のホバー中に近接する指の位置の一例を示す。図５（Ｂ）は、近接タッチパネル５０の横方向（厚さ方向）から見た場合のホバー中に近接する指の位置の一例を示す。

例えば、人差し指でタッチ操作を行う際、通常、親指又は中指も第１閾値（５ｃｍ）以内となり、３本の指により３点が検出されることがある。この場合、図５（Ａ）に示すように、近接タッチパネル５０の上方（Ｚ方向）から見て、人差し指、親指、中指の検知点で三角形が形成され、向き判定部１２は、人差し指の検知点６５を頂点とし、親指の検知点６６と中指の検知点６７を結ぶ直線を底辺とする三角形の傾きあるいは形状から人差し指の向きを決定する。また、このとき、近接タッチパネル５０に対して最も近い人差し指の検知点（第３の点）と２番目に近い親指の検知点（第２の点）とを結ぶ直線の右側に、３番目に近い中指の検知点（第１の点）がある場合、向き判定部１２は、右手と判断することができる。一方、向き判定部１２は、左側に中指の検知点（第１の点）がある場合、左手と判断することもできる。

このように、向き判定部１２は、位置検出部３０により３点の位置座標が検出された場合、３点のうち、Ｚ方向の座標が最も大きい第１の点と２番目に大きい第２の点とを結ぶ直線と、Ｚ方向の座標が３番目に大きい第３の点と、の位置関係に基づいて、指等の検知対象の向きを判定する。例えば、図５（Ｂ）に示すように、ｚ方向の座標が最も大きい第１の点は人差し指の検知点６５、ｚ方向の座標が２番目に大きい第２の点は親指の検知点６６、ｚ方向の座標が３番目に大きい第３の点は中指の検知点６７である。これにより、向き判定部１２は、３つの検知点６５，６６，６７で指（例えば人差し指）の向きを確実に決定することができる。

指の向きの決定の仕方は、他にも様々な方法が考えられる。例えば、人差し指でタッチ操作を行う際、親指と合わせて２点が検出されることがある。この場合、向き判定部１２は、Ｚ方向の座標の大きい親指の検知点（第１の点）からＺ方向の座標の小さい人差し指の検知点（第２の点）に至るベクトルの方向から指等の検知対象の向きを決定する。これにより、向き判定部１２は、２点でも簡単に指の向きを決定することができる。さらに、向き判定部１２は、親指のように遠い点から人差し指のように近接タッチパネル５０に近い点へと左斜め上（左上）方向となるベクトルが指の向きとして決定された場合、同時に右手と判断することができる。

また、人差し指の検知点を通るＸ軸もしくはＹ軸の直線に対して親指が右側にあるか左側にあるかによって指の向きが変わる。例えば、表示制御部１４は、人差し指等の検知点（第２の点）でアイコン等の表示対象を特定し、親指の検知点（第１の点）をこの直線に対して右側あるいは左側に動かすことによって、使用者が意図的に表示対象のポップアップ画面等の表示位置を制御するようにしてもよい。このように、表示制御部１４は、２点のうち第２の点で表示部４０の画面に表示された表示対象を特定し、第１の点の位置座標に応じて、特定された表示対象に関する情報の表示部４０における表示位置を制御してもよい。これにより、表示制御部１４は、ユーザの動作に応じて情報の表示位置を柔軟に変更することができる。

また、片手で親指によりタッチ操作する場合、向き判定部１２は、親指の腹とこの親指の付け根部分とを検出することで、指の向きを決定することも可能である。

また、３つ以上の検知点が検出される場合、向き判定部１２は、人差し指と親指の２つの検知点から決定される直線に対してどちらの側に検知点の数が多いか、あるいは検知点の面積が大きいかによって、右手か左手かを判断するようにしてもよい。

なお、本実施形態では、２点以上の検知点があった場合、指の向きが決定されたが、向き判定部１２は、１点の検知点であっても、最初に検出された座標から、一定距離以上離れて検知点の座標が検出された場合、この２検知点に対応する指は別の指であると判定し、この検知点の移動方向から指の移動方向を決定するようにしてもよい。そして、表示制御部１４は、この指の移動方向をもとに、その移動先にポップアップの表示位置を制御するようにしてもよい。

また、ステップＳ４で指の向きが決定される際、表示制御部１４は、人差し指を含む手の部分と表示部４０の画面とのＸＹ方向における重複範囲（重複部分）を推定することを並行して行う。この推定される重複範囲は、使用者自身の人差し指近傍の手の部分によって、表示部４０の画面が視界から遮られると考えられる範囲であり、例えば検出された検知点の数と位置座標から算出可能である。

例えば、向き判定部１２は指の向きから右手であるか左手であるかを判断し、右手である場合、表示制御部１４は、人差し指の検知点である位置座標を頂点とする幾何学形状が手の部分であるとして、この手の部分と表示部４０の画面の重複範囲がＸＹ方向に算出される。このように、表示制御部１４は、表示部４０の画面が視界から遮られると考えられる範囲を定量的に求めることができる。

このように、表示制御部１４は、ＸＹ方向における表示部４０の画面と検知対象との重複部分を推定し、この重複部分を避けて表示部４０が表示するよう制御する。これにより、指等の検知対象により必要な情報が隠れてしまうことを防止でき、ユーザは容易に表示内容を確認することができ、ユーザの表示部４０の表示内容の視認性を劣化させることがない。

なお、手の部分の形状を厳密な形として求めなくてもよく、表示制御部１４は、単純な楕円形又は四角形等、単純な図形に置き換えることで、重複範囲の計算が簡単になる。あるいは、表示制御部１４は、計算することなく、常に、検知点から一定の範囲を手の部分であるとしてもよい。この場合、表示制御部１４は、検知点となる人差し指が右手である場合に左上隅を頂点とする四角形等の形状とし、左手である場合、右上隅を頂点とする四角形等の形状とすることも可能である。

また、上記説明では、指の向きを決定することと、右手あるいは左手を判断することが同時に行われたが、同時に行われなくてもよい。例えば、表示制御部１４は、タッチ操作を行う手を、常に右手もしく左手としてあらかじめ登録しておき、前述した手順で決定された指の向きに応じて、右手もしくは左手によって視界が遮られないように、ポップアップなどの表示を制御するようにしてもよい（例えば、右手設定は左上表示、左手設定は右上表示）。

図６は、第１の実施形態における指が接近したことによりポップアップ画面が表示される表示部４０の画面例を示す図である。図６（Ａ）は、縦方向を長手方向として表示されたメニュー画面に対し、右手の人差し指で指示する場合を示す。この場合、人差し指６３が近接するアイコン４１の内容を表すポップアップ画面（吹き出し）４２が人差し指６３から逃れるように、つまり、前述した重複範囲を避けるように、左上方向に表示される。

図６（Ｂ）は、横方向を長手方向として表示された写真リスト画面に対し、左手の人差し指で指示する場合を示す。この場合、人差し指６３が近接するサムネイル４５の内容を表すポップアップ画面（吹き出し）４６が右上方向に表示される。図６（Ｃ）は、横方向を長手方向として表示された写真リスト画面に対し、右手の人差し指で指示する場合を示す。この場合も同様に、人差し指６３が近接するサムネイル４５の内容を表すポップアップ画面（吹き出し）４６が左上方向に表示される。

このように、表示制御部１４は、向き判定部１２により判定された指等の検知対象の向きに基づいて、検知対象からその向きの先へ（例えば右手のときに人指し指が左上を向いているのでアイコン等の左上に）、表示部４０が表示対象に関する情報（例えばポップアップ）を表示するよう制御してもよい。これにより、より見やすい位置にポップアップ等を表示することができる。

以上により、本実施形態の３次元タッチパネル装置１は、人差し指等で画面に表示されたアイコンもしくはサムネイルをタッチ操作し、近接タッチパネル５０を使用する時、人差し指等から逃れるようにポップアップ画面を表示する。これにより、３次元タッチパネル装置１は、人差し指等を含む手によって画面に表示されたアイテムが隠れてしまうことが回避され、使用者に表示部４０の画面に表示されたアイテム等を容易に視認させることができる。

なお、上記実施形態では、指が近接したアイテムに関するポップアップ画面を表示させる場合を示したが、表示態様の変化はポップアップ画面に限られない。表示制御部１４が、指が近接したアイテムだけを指の方向にあわせて拡大表示してもよいし、指を含む手で覆われる画面の範囲（重複範囲）内に表示されるアイテムを、この重複範囲を避けるように、残りの画面部分に退避するように画面全体の表示を変化させてもよい。

また、表示制御部１４は、指が画面の上方から下がってきて、第１閾値以内に到達した場合、さらに、指等が下降して画面から第２閾値以内に到達した場合、その旨、つまり「ホバー中」であることを表示部４０の画面に表示させるようにしてもよい。

図７は、第１の実施形態における指が第１閾値以内と第２閾値以内にある場合の表示部４０の画面例を示す図である。図７（Ａ）では、指が第１閾値以内に到達した場合、画面の上部に「ホバー中」の文字メッセージ７１が表示されている。図７（Ｂ）では、指が第２閾値以内に到達した場合、画面の上部に「ホバー中」の文字メッセージ７１が表示されるととともに、アイテムの内容を表すポップアップが表示されている。これにより、３次元タッチパネル装置１は、使用者にホバー中であることを明示的に認識させることができる。なお、３次元タッチパネル装置１は、指が第１閾値から第２閾値にある間、「ホバー中」の文字メッセージ７１を表示し続けてもよい。この場合、表示制御部１４は、第１閾値以内に入った場合と第２閾値以内に入った場合とでメッセージ内容を変更し、あるいは文字の属性（色、大きさ、フォント）などを変更して区別できるようにしてもよい。

また、上記実施形態では、近接タッチパネル５０は、近接する指等の位置を検知する場合を示したが、指の代わりに導電性のスタイラスペンなどを検知する構成にしてもよい。

また、上記実施形態の機能を実現するプログラムを、ネットワークあるいは各種記憶媒体を介して３次元タッチパネル装置１に供給し、この３次元タッチパネル装置１のコンピュータが読み出して実行するプログラムも、本発明の適用範囲である。

第１の実施形態の近接タッチパネル５０に関連する先行技術として、参考特許文献１の入力表示装置が知られている。参考特許文献１の入力表示装置は、指の位置からずれた位置にポインタを表示し、ユーザが画面上の小さいボタン等に指で触れる際に、操作対象のボタンが指で隠れるのを防止でき、指で操作する位置を正確に位置決めするための操作を簡易化することができる。

（参考特許文献１）日本国特開２００９−２６１５５号公報

しかし、ユーザが例えば大きいボタン又は画像のように比較的サイズの大きいオブジェクトを操作しようとする場合には、操作する位置を指し示すポインタの位置が実際の指の位置からずれているため、かえって指の位置決めが難しくなる。即ち、サイズの大きいオブジェクトを操作する場合であっても、直感的な操作を行うことができず、ユーザは表示されたポインタを見ながら慎重に指を動かして位置決めしなければなない。そのため、素早いタッチ操作ができなくなり、ユーザの操作性が損なわれる。

また、第１の実施形態において検知対象の位置からずれた位置にポインタを表示させる技術に関する先行技術として、参考特許文献２の情報処理装置が知られている。この情報処理装置は、ペン入力装置を備え、操作するペン入力装置の先端位置と画面上に表示するペンカーソルの位置との間に所定量のオフセットを与えるか否かを画面の領域毎に切り替える。これにより、オフセットの影響により操作性が損なわれるのを抑制可能である。

（参考特許文献２）日本国特開平６−１３１１２０号公報

しかし、参考特許文献２では、画面上の領域毎に「オフセットを与えるか否か」を表す属性を予め決定しておかなければならない。このため、汎用的な用途に利用することが困難であると考えられる。例えば、ウェブブラウザを用いてＨＴＭＬ（Hypertext Markup Language）で記述されたコンテンツを表示する場合であれば、タッチする対象が大きいかどうかはコンテンツ次第であるため、予め属性を決めておくことは困難である。

（第２の実施形態〜第９の実施形態）
そこで、第２以降の各実施形態では、タッチパネルに対するユーザの入力操作に応じて、入力操作の対象を直接的に指し示すインジケータを画面に表示するか否かを簡易に判定し、快適な操作感を享受させる入力装置、入力支援方法及びプログラムを説明する。

＜前提の説明＞
以下の各実施形態の入力装置は、様々な情報又はデータを画面に表示する機能を有する表示部を含む電子機器に搭載可能である。このような電子機器の具体例として、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、ＰＤＡ（personal digital assistant）、電子書籍端末等がある。以下の説明においては、代表例として、第２以降の各実施形態の入力装置をスマートフォンとした場合について説明する。

なお、本発明は、装置としての入力装置、又は入力装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、入力装置により実行される各動作（ステップ）を含む入力支援方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。

第２以降の各実施形態の入力装置は、ユーザの入力操作を受け付け、ユーザが画面上に表示された表示内容（例えばオブジェクト）に対して操作しようとしている位置を直接的に指し示すインジケータ（例えばポインタＰＴ）を画面上に表示し又は非表示（消去）する。

第２以降の各実施形態の入力装置は、ユーザの入力操作を受け付けることにより、例えばユーザが指示した処理を実行することが可能になる。処理の対象となるオブジェクトは、処理可能なコンテンツのデータファイル、コンテンツの中の一部分の領域、アプリケーション（プログラム）、コンテンツ又はアプリケーションと関連付けられたアイコン、ハイパーリンクされた文字列等である。なお、コンテンツの具体例としては、静止画、動画、文字列、音声情報、あるいはそれらの複数の組み合わせ等がある。

更に、以下の各実施形態において、処理の代表例は次の通りであるが、これらの処理に限定されない。第１の処理は、ユーザの操作により指定されたアプリケーションを起動する処理である。第２の処理は、ユーザの操作により指定されたコンテンツのファイルを開く処理である。第３の処理は、起動したアプリケーション上でユーザ操作により指定された機能を実行する処理である。第４の処理は、処理中のコンテンツに対してユーザ操作により指定された編集を施す処理である。

後述するように、第２以降の各実施形態の入力装置は、ユーザの操作面であるタッチパネル及び表示部における画面の表面或いはその表面に近接した空間上のユーザの指の位置を検知することができる。この位置を表現するために、互いに直交する３軸、すなわちｘ軸、ｙ軸、ｚ軸の各軸方向の位置情報を用いる。ここで、ｘ軸、ｙ軸は、タッチパネルの表面と平行な向きの軸を表す。また、ｚ軸はタッチパネルの表面に対して垂直な方向の軸を表す。

以下の説明では、タッチパネルの表面上に接触しているユーザの指等の平面上の位置を表現するために２軸の２次元座標（ｘ、ｙ）を用いる。また、タッチパネルの表面上から離間した空間上の位置に近接しているユーザの指等の空間上の位置を表現するために３軸の３次元座標（ｘ、ｙ、ｚ）を用いる。３軸の３次元座標（ｘ、ｙ、ｚ）におけるｚ軸方向の位置は、タッチパネルの表面に対する垂直（ｚ）方向の高さを表している。

更に、以下の説明において、指をタッチパネルの面上から離間した空間上の位置にかざす操作又はタッチパネルの面上から離間した空間上の位置からタッチパネルの面に対して略平行にスライドする操作を、「ホバー操作」と定義する。従って、指がタッチパネルの面上に直接タッチする操作は「ホバー操作」ではなく、タッチ操作となる。なお、ホバー操作において指とタッチパネルの面上との距離は、タッチパネルが検出する静電容量に反比例するため、タッチパネルが検出可能な静電容量の範囲に対応する距離であることが好ましい。

また、タッチパネルの面から十分に離れた位置から指をタッチパネルに近づけて「ホバー操作」に遷移した状態を「ホバーイン」と定義する。従って、指が近接したことをタッチパネルが検知することができるときのｚ座標（高さ）をｚｔｈとすると、「ホバーイン」に遷移した状態とは、指とタッチパネルとの距離（ｚ座標、高さ）となった状態である。

また、「ホバー操作」状態から指をタッチパネルの面から遠ざけたために「ホバー操作」でなくなった状態を「ホバーアウト」と定義する。従って、「ホバーアウト」に遷移した状態とは、指とタッチパネルとの距離（ｚ座標、高さ）が閾値ｚｔｈを超えた状態である。なお、ここでは閾値ｚｔｈを長さとして表しているが、例えば静電容量として表しても良く、閾値ｚｔｈの単位は長さの単位（例えばｃｍ）ではなく、Ｆ（ファラド）となる。

＜第２以降の各実施形態に共通する３次元タッチパネル装置１の構成例＞
図８は、第２以降の各実施形態における入力装置としての３次元タッチパネル装置１の機能構成例を示すブロック図である。なお、図８に示した３次元タッチパネル装置１の構成は、後述する様々な実施形態の全てに共通である。

図１に示すように、３次元タッチパネル装置１は、制御部１０、位置検出部３０、表示部４０及び近接タッチパネル５０を含む。制御部１０は、ポインタ座標制御部１１、アプリケーション処理部１３及びポインタ表示制御部１５を含む。

近接タッチパネル５０（タッチパネル）は、平面状の操作面を有しており、操作面の微小領域毎に、検知対象物（例えば指又はスタイラス）が近接したこと又は接触したことを検知することができる。近接タッチパネル５０は、検知対象物（例えばユーザの指）の３次元座標（ｘ、ｙ、ｚ）の情報を周期的に取得する。この取得タイミングは、例えば１５ミリ秒周期とする。以下、近接タッチパネル５０の検知対象物として、ユーザの指を用いて説明する。即ち、ユーザは、指を近接タッチパネル５０の操作面に近づけることにより、３次元タッチパネル装置１に対して入力操作を行うことができる。なお、指の代わりにペン或いはスタイラスを用いることも可能である。具体例としては、近接タッチパネル５０は、操作面の微小領域毎に静電容量の大きさを検知することにより、指等の検知対象物の近接状態又は接触状態を検知できる。

位置検出部３０は、近接タッチパネル５０の操作面に近接又は接触した指等の検知対象物の各軸方向の位置を示す３次元座標（ｘ、ｙ、ｚ）を算出して抽出する。また、位置検出部３０は、指等の検知対象物の状態として、「非検出状態」、「近接状態」及び「接触状態」のうちいずれかの状態を検知する。なお、近接状態はユーザの指がホバー操作中に検知され、接触状態はユーザの指がタッチ操作中に検知される。

表示部４０は、例えば表示画面を有するＬＣＤ又は有機ＥＬディスプレイを用いて構成され、制御部１０から出力されたデータ又はポインタ等の可視情報を表示画面に表示する。表示部４０の表示画面上には、透明な材料により構成されている近接タッチパネル５０の操作面が重なった状態で配置されている。

また、近接タッチパネル５０上で検出される指の操作位置の２次元座標（ｘ、ｙ）と、表示部４０の表示画面上の各位置とは互いに一致するように制御される。従って、ユーザは、表示部４０の表示画面に表示された可視情報（例えばオブジェクト）を見ながら、可視情報に直接触れるような感覚で操作することができる。

制御部１０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、３次元タッチパネル装置１の総括的な制御を行い、その他の種々の演算処理又は制御処理を行う。制御部１０は、制御部１０に内蔵されているＲＯＭ（不図示）に格納されているプログラム及びデータを読み込んで、第２以降の各実施形態における種々の処理を行う。

ポインタ座標制御部１１は、位置検出部３０が検出した指の３次元座標（ｘ、ｙ、ｚ）及び予め定められた判定条件を基に、ポインタＰＴを表示するか否かを判定し、判定結果をポインタ表示制御部１５に出力する。ポインタ座標制御部１１は、位置検出部３０が検出した指の３次元座標（ｘ、ｙ、ｚ）を基に、ユーザの入力操作としてホバー操作又はタッチ操作のいずれかを検出し、入力操作に応じた指示をアプリケーション処理部１３に出力する。ポインタ座標制御部１１は、必要に応じてアプリケーション処理部１３の状態を参照する。

アプリケーション処理部１３は、自動的に又はユーザの入力操作に従って様々なアプリケーションプログラムを実行する。アプリケーション処理部１３は、アプリケーションプログラムが生成した様々な可視情報、例えばアプリケーションの全体を表すフレーム、メニュー、ボタン、アイコン等を表示部４０の表示画面上に表示する。アプリケーション処理部１３は、現在実行しているアプリケーションの情報又は表示部４０の表示画面の表示領域毎に表示されているオブジェクトの情報を判定してポインタ座標制御部１１に出力する。

ポインタ表示制御部１５は、操作対象の位置を指し示すポインタＰＴを表示部４０の表示画面上に表示させる。ポインタＰＴを表示する位置は、位置検出部３０が検出した指等の２次元座標（ｘ、ｙ）に基づいて決定される。ポインタＰＴを表示する位置の詳細については後述する。また、ポインタＰＴを表示部４０の表示画面上に表示するか否かは、ポインタ座標制御部１１の判定結果により決定される。

＜表示部４０の画面表示例＞
図９は、３次元タッチパネル装置１の表示部４０における表示画面及びユーザの指ＵＦの位置の具体例を示す図である。図９に示すように、表示部４０の表示画面上には様々なアイコン等の可視情報（例えばオブジェクト）が表示されている。表示部４０の表示画面には近接タッチパネル５０が重なって配置されているので、ユーザは表示画面に手ＵＨを近づけて、表示画面の表示内容を見ながら所望の操作対象に指ＵＦで触れるような操作を行うことにより、所望の入力操作を行うことができる。

図９では、表示画面上にポインタＰＴとして、矢印形状のパターンを有するオブジェクトが表示されている。このポインタＰＴは、矢印の先端の位置が操作対象の位置を指し示すように制御されている。また、図９に示す例では、ポインタＰＴの表示位置は、所定量のオフセットが与えられている。即ち、ユーザの指ＵＦの先端位置の２次元座標（ｘ、ｙ）ではなく、ユーザの指ＵＦの先端位置の２次元座標（ｘ、ｙ）から所定量のオフセットが与えられた位置にポインタＰＴが表示されている。

このように、３次元タッチパネル装置１は、指ＵＦの先端位置の２次元座標（ｘ、ｙ）ではなく、指ＵＦの先端位置の２次元座標（ｘ、ｙ）から所定量のオフセットが与えられた位置にポインタＰＴを表示することにより、指ＵＦが表示部４０の表示画面に近づいた場合に、ポインタＰＴ又は小さい操作対象のオブジェクト（例えばアイコン又はボタン等）が指ＵＦに隠れてユーザの視界から見えなくなることを避けることができ、ユーザの表示画面に表示されている表示内容に対する視認性を向上させることができる。

＜指の検出状態の具体例＞
図１０は、３次元タッチパネル装置１の操作面とユーザの指ＵＦとの位置関係の具体例を示す図である。表示部４０の表示画面上に配置されている近接タッチパネル５０は、近接タッチパネル５０の性能理論値によれば、図１０に示すように、例えば表示画面（近接タッチパネル５０の操作面）からのｚ方向の距離が１０ｃｍ以内であれば、指ＵＦの存在及び指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）を検知でき、距離が１０ｃｍよりも離れると非検知状態になる。

しかし、指ＵＦと近接タッチパネル５０の操作面との間の距離が離れすぎている状態では、近接タッチパネル５０における指ＵＦの位置決めの精度が３次元タッチパネル装置１の使用状況によっては劣化することが考えられる。従って、近接タッチパネル５０は、図１０に示すように、例えば近接タッチパネル５０の操作面からのｚ方向の距離が２ｃｍ以内の時に、ユーザの指ＵＦのホバー操作を受け付けるとする。この場合、近接タッチパネル５０が指ＵＦの近接状態を検知することができるか否かを判定するための閾値ｚｔｈは２ｃｍとなる。

即ち、ポインタ座標制御部１１は、位置検出部３０が検出した３次元座標（ｘ、ｙ、ｚ）のｚ方向の位置を閾値ｚｔｈ（２ｃｍ）と比較し、ユーザの指ＵＦによりホバー操作が行われているか否かを判定する。従って、図１０に示すように、ユーザが手ＵＨを近接タッチパネル５０に近づけた際には、近接タッチパネル５０の操作面と指ＵＦとの間のｚ方向の距離が１０ｃｍ以内になった時点で「非検出状態」ではなくなるが、近接タッチパネル５０は、近接タッチパネル５０の操作面と指ＵＦとの間のｚ方向の距離が閾値ｚｔｈ（２ｃｍ）よりも離れたときに、ホバーアウト状態を検知する。

近接タッチパネル５０は、近接タッチパネル５０の操作面と指ＵＦとの間のｚ方向の距離が閾値ｚｔｈ（２ｃｍ）以内になると、ホバーイン状態を検知し、ユーザの指ＵＦによりホバー操作が行われていることを検知する。また、近接タッチパネル５０は、近接タッチパネル５０の操作面と指ＵＦとの間のｚ方向の距離が予め定められたタッチ判定用閾値未満となるか又は実際に接触したことを検知した場合に、ユーザの指ＵＦによりタッチ操作が行われたことを検知する。なお、閾値ｚｔｈについては、３次元タッチパネル装置１の動作中において変更しても良い。

＜３次元タッチパネル装置１の動作＞
次に、第２以降の各実施形態の入力装置としての３次元タッチパネル装置１の動作について、図１１から図１８までの各図を参照して説明する。

＜第２の実施形態＞
図１１は、第２の実施形態における３次元タッチパネル装置１の動作を説明するフローチャートである。制御部１０のポインタ座標制御部１１は、図１１に示すフローチャートの動作を実行することにより、ポインタＰＴの表示又は非表示の制御と、ポインタＰＴの表示位置を制御する。なお、図１１に示す各動作のステップにおいて、等号「＝」は右辺の内容を左辺に代入することを意味し、図１２以降の各図においても同様である。

図１１に示す座標入力制御が開始すると、ポインタ座標制御部１１は、位置検出部３０から出力された指の位置座標を監視し、指ＵＦの近接を検知するまで待機する（Ｓ１１）。即ち、ポインタ座標制御部１１は、指ＵＦの位置に関する近接タッチパネル５０の操作面からのｚ方向の距離と図１０に示す閾値ｚｔｈとを比較する（Ｓ１１）。ユーザの指ＵＦが近接タッチパネル５０に近づいてホバーアウト状態からホバーイン状態になる、即ち、指ＵＦの位置に関する近接タッチパネル５０の操作面からのｚ方向の距離が閾値ｚｔｈ以下となった場合には（Ｓ１１、ＹＥＳ）、ポインタ座標制御部１１の動作は次のステップＳ１２に進む。

ポインタ座標制御部１１は、ポインタＰＴの表示位置の座標オフセット量を初期化する（Ｓ１２）。即ち、ポインタ座標制御部１１は、ｘ方向のオフセット量を表すパラメータｄＸに「０」を代入し、ｙ方向のオフセット量を表すパラメータｄＹに「０」を代入する。従って、最初の状態では、オフセット量は「０」になる。オフセット量は、指ＵＦの近接を検出した３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の位置の２次元座標（ｘ、ｙ）とポインタＰＴの表示位置との間のずれ量を意味する。

ポインタ座標制御部１１は、ポインタ表示制御部１５にポインタＰＴを非表示させる（Ｓ１３）。また、ホバー操作を開始してからの経過時間を測定するために、ポインタ座標制御部１１は、不図示のタイマに計時動作を開始させる（Ｓ１４）。なお、タイマは、図８に示す３次元タッチパネル装置１に図示されていないが、例えば制御部１０内に設けられ、制御部１０内の各部からの指示を受けて計時動作を開始する。タイマの計時動作によりカウントされている経過時間情報は、制御部１０内の各部から必要に応じて参照される。

ポインタ座標制御部１１は、ユーザの指ＵＦの操作状態を監視するために、位置検出部３０から指ＵＦの位置を表す３次元座標（ｘ、ｙ、ｚ）の情報を取得し、現在、ユーザの指ＵＦにより行われている操作種別（例えば、タッチ操作又はホバー操作）の操作状態情報を取得する（Ｓ１５）。

ステップＳ１５の後の処理群ＰＲ１では、ポインタ座標制御部１１は、ポインタＰＴの表示制御を実行する。なお、第３，第４，第５，第６，第７，第８の各実施形態では、図１２，図１３，図１４，図１５，図１６，図１７の点線内の処理群ＰＲ２，ＰＲ３，ＰＲ４１，ＰＲ４２，ＰＲ４３，ＰＲ５の内容が異なる。

先ず、ポインタ座標制御部１１は、予め定められた判定条件に従って、ポインタＰＴを表示するか否かを判定する（Ｓ１６）。即ち、処理群ＰＲ１では、ポインタ座標制御部１１は、ステップＳ１５において取得された操作状態情報が非タッチ操作を示す情報であって、且つ、ステップＳ１４においてタイマの計時動作を開始させてから所定時間Ｔ１が経過したか否かを判定する（Ｓ１６）。操作状態情報が非タッチ操作（例えばホバー操作。以下同様）を示す情報であって、且つ、所定時間Ｔ１が経過した場合には（Ｓ１６、ＹＥＳ）、ポインタ座標制御部１１は、ポインタＰＴを表示すると判定する。この後、ポインタ座標制御部１１の動作はステップＳ１７に進む。

一方、操作状態情報が非タッチ操作を示す情報ではない場合、即ち、操作状態情報がタッチ操作を示す情報である場合（Ｓ１６、ＮＯ）、又は、所定時間Ｔ１が経過していない場合には（Ｓ１６、ＮＯ）、ポインタ座標制御部１１は、ポインタＰＴを表示しないと判定する。この後、ポインタ座標制御部１１の動作はステップＳ１９に進む。

ステップＳ１７では、ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量として、パラメータｄＸに予め定められた定数ＯＸを代入し、パラメータｄＹに予め定められた定数ＯＹを代入する（Ｓ１７）。以下の説明において、定数ＯＸ，ＯＹは、正の所定値である。

ポインタ座標制御部１１は、ポインタ表示制御部１５に、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ１７により代入されたオフセット量（ｄＸ、ｄＹ）ほどずれた位置にポインタＰＴを表示させる旨の指示を出力する（Ｓ１８）。なお、この指示には、オフセット量（ｄＸ、ｄＹ）の情報が含まれている。

ポインタ表示制御部１５は、ポインタ座標制御部１１から出力された指示に従って、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ１７により代入されたオフセット量（ｄＸ、ｄＹ）ほどずらした位置にポインタＰＴを表示する（Ｓ１８）。なお、ポインタＰＴは、例えば指ＵＦが指し示す方向の延長線上の方向に表示される。

ポインタ座標制御部１１は、表示画面上に表示されたオブジェクトのうちユーザの操作対象の位置を指し示す近接タッチパネル５０上の２次元座標の座標値として、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の各座標値と、ステップＳ１７により代入されたオフセット量（ｄＸ、ｄＹ）とを加算した座標値とする（Ｓ１９）。

なお、ステップＳ１９では、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の各座標値とオフセット量（ｄＸ、ｄＹ）とが加算されているが、指ＵＦの方向に応じて加算されたり減算されたりしても良く、以下の各実施形態においても同様である。

例えば、第１の実施形態において説明したように、ポインタ座標制御部１１は、ユーザの指ＵＦの向きを判定した上で、例えば指ＵＦの向きがＸ軸の負方向であってＹ軸の正方向である場合（図９参照）にはオフセット量ｄＸを減算してオフセット量ｄＹを加算する。また、ポインタ座標制御部１１は、例えば指ＵＦの向きがＸ軸の正方向であってＹ軸の負方向である場合にはオフセット量ｄＸを加算してオフセット量ｄＹを減算する。なお、オフセット量の加算又は減算については、以下の各実施形態においても同様である。

なお、ステップＳ１６において所定時間Ｔ１が経過していない場合にはポインタＰＴは表示されないが、ステップＳ１１において検知された指ＵＦの３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）に、ステップＳ１２におけるオフセット量の初期値（ｄＸ、ｄＹ）＝（０、０）が加算される（Ｓ１９）。

ポインタ座標制御部１１は、ステップＳ１９において加算又は減算によって修正されたポインタＰＴ表示位置、即ち、ユーザの操作対象を指し示す位置の座標と、ユーザの指ＵＦの操作状態情報（タッチの有無等の状態を表す情報）をアプリケーション処理部１３に通知する（Ｓ２０）。アプリケーション処理部１３は、ユーザの指ＵＦによるタッチ等の入力操作を受け付けることができる。

ポインタ座標制御部１１は、位置検出部３０からの出力を基にタッチ操作又はホバー操作が行われていると判定している間は（Ｓ２１、ＹＥＳ）、ステップＳ１５からステップＳ２１の各動作を繰り返して実行する。ユーザの指ＵＦが近接タッチパネル５０の操作面から閾値ｚｔｈを超えて離間すると（Ｓ２１、ＮＯ）、ポインタ座標制御部１１の動作はステップＳ２２に進む。

ポインタ座標制御部１１は、ポインタ表示制御部１５にポインタＰＴを非表示させ（Ｓ２２）、指ＵＦによるホバー操作を検知していない旨をアプリケーション処理部１３に通知する（Ｓ２３）。なお、図１１に示す動作は繰り返して実行される。即ち、ステップＳ２３の後、再びステップＳ１１に戻ってステップＳ１１からステップＳ２３までの各動作が繰り返される。

以上により、本実施形態の３次元タッチパネル装置１は、図１１に示す動作を行うことにより、ポインタＰＴの表示又は非表示を自動的に切り替えることができる。即ち、初期状態ではポインタＰＴは非表示になる。また、ユーザが指を操作面に接近させる操作によって、ホバーアウトからホバーイン（ホバー操作）に遷移した後、一定の時間Ｔ１（例えば１秒間）を経過するまではポインタＰＴの非表示状態が維持される。また、ホバーイン（ホバー操作）に遷移した後で一定の時間Ｔ１を経過するとポインタＰＴが表示状態に切り替わる。更に、タッチ操作又はホバー操作状態から、ユーザが指を遠ざけてホバーアウトに遷移した場合には、ポインタＰＴは非表示に切り替わる。

また、ポインタＰＴを表示する時には、ポインタＰＴの表示位置と一致するように、ユーザが操作する位置も、実際の指の位置からオフセット量（ｄｘ、ｄｙ）だけずれた位置になる。ポインタＰＴが非表示状態の時には、オフセット量の影響はなくなり、ユーザが操作する位置は実際の指の位置と一致する。

例えば、画面上に表示されている比較的大きいボタンをユーザが指でタッチして操作しようとする場合には、操作対象領域の面積が大きいので、ユーザは指でボタンをすばやくタッチすることができる。このような場合には、指の操作に要する時間が短いので、ホバーアウトからホバーイン（ホバー操作）に遷移した後、所定時間Ｔ１が経過する前にタッチ操作が終了する。従って、この場合にはポインタＰＴは非表示のままであり、操作する位置についてはオフセット量の影響は生じない。このため、ユーザは直感的な指の操作によりすばやく入力操作を行うことができる。

一方、画面上に表示されている比較的小さいボタンをユーザが指でタッチして操作しようとする場合には、操作対象領域の面積が小さいので、ユーザは操作する指の位置を細かく調整する必要がある。この場合も、最初はポインタＰＴが非表示であるが、ホバーアウトからホバーイン（ホバー操作）に遷移した後、そのまま所定時間Ｔ１が経過するとポインタＰＴが自動的に表示される。また、ポインタＰＴが表示される位置は、指の位置に対してオフセット量（ｄｘ、ｄｙ）だけずれている。このため、ユーザが指を操作面に近づけた場合でも、操作対象のボタンやポインタＰＴが指に隠れることはなく、位置決めを容易に行うことができる。

従って、本実施形態の３次元タッチパネル装置１は、面積の大きいボタン及び面積の小さいボタンのいずれに対しても、ユーザは指で触れて簡単に入力操作することができる。また、ポインタＰＴを表示するか否かを事前に決めておく必要がないので汎用性が高く、オブジェクトの種類を問わず様々な用途で利用できる。

＜第３の実施形態＞
図１２は、第３の実施形態における３次元タッチパネル装置１の動作を説明するフローチャートである。図１２に示す処理群ＰＲ２は、図１１に示す処理群ＰＲ１と同様に、ポインタＰＴの表示制御を説明し、制御部１０内のポインタ座標制御部１１により実行される。本実施形態では、図１１に示す各ステップＳ１１〜Ｓ１５の各動作が実行された後に図１２に示すステップＳ２０１の動作が実行され、図１２に示すステップＳ２０５の動作が実行された後に図１１に示すステップＳ２０以降の各動作が実行される。以下、本実施形態を含む後述の各実施形態において、図１１に示す各ステップＳ１１〜Ｓ１５の各動作、並びに図１１に示すステップＳ２０以降の動作の説明は省略する。

図１１に示すステップＳ１５の後の処理群ＰＲ２では、ポインタ座標制御部１１は、位置検出部３０から取得した指の位置を指し示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の情報をアプリケーション処理部１３に出力する（Ｓ２０１）。アプリケーション処理部１３は、ポインタ座標制御部１１から出力された２次元座標（ｘ、ｙ）の位置の表示領域に表示されているオブジェクトの情報を判定してポインタ座標制御部１１に出力する（Ｓ２０１）。

ポインタ座標制御部１１は、アプリケーション処理部１３から出力されたオブジェクト（例えばボタン、メニュー、アイコン等）の情報及びステップＳ１５において取得された操作状態情報を基に、タッチ操作が行われていない状態であるか否か及びポインタＰＴの表示が必要か否かを判定する（Ｓ２０２）。例えば、ポインタ座標制御部１１は、ステップＳ１５において取得された操作状態情報が非タッチ操作を示す情報であるか否かを判定すると共に、ホバー操作中の指ＵＦの位置に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の表示領域に表示されているオブジェクトの大きさと所定の閾値とを比較する。ポインタ座標制御部１１は、操作状態情報が非タッチ操作を示す情報ではない場合又は所定の閾値を超える大きいオブジェクトである場合にはポインタＰＴの表示を不要と判定し、操作状態情報が非タッチ操作を示す情報であり且つ所定の閾値を超えない小さいオブジェクトである場合には、ポインタＰＴの表示を必要と判定する。

また、ステップＳ１５において取得された操作状態情報が非タッチ操作を示す情報であっても、例えばＨＴＭＬで記述された文書のコンテンツが表示部４０の表示画面に表示されている場合、ポインタ座標制御部１１は、コンテンツ上の領域毎に埋め込まれている画像、ボタン、リンク等のオブジェクトの種類又は大きさに応じて、ポインタＰＴの表示が必要か否かを判定する。例えば、ポインタ座標制御部１１は、ステップＳ１５において取得された操作状態情報が非タッチ操作を示す情報であっても、ホバー操作中の指ＵＦの位置に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置がコンテンツ上でサイズの大きい画像又はボタンの領域の内側である場合はポインタＰＴの表示は不要と判定し、ステップＳ１５において取得された操作状態情報が非タッチ操作を示す情報であって、且つ、サイズの小さいリンクが表示されている領域の近傍である場合はポインタＰＴの表示は必要と判定する。

操作状態情報が非タッチ操作を示す情報であって結果的にポインタＰＴの表示が必要と判定された場合には（Ｓ２０２、ＹＥＳ）、ポインタ座標制御部１１の動作はステップＳ２０３に進み、操作状態情報が非タッチ操作を示す情報ではなく結果的にポインタＰＴの表示が不要と判定された場合には（Ｓ２０２、ＮＯ）、ポインタ座標制御部１１の動作はステップＳ２０５に進む。

ステップＳ２０３では、ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量として、パラメータｄＸに予め定められた定数ＯＸを代入し、パラメータｄＹに予め定められた定数ＯＹを代入する（Ｓ２０３）。

ポインタ座標制御部１１は、ポインタ表示制御部１５に、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ２０３により代入されたオフセット量（ｄＸ、ｄＹ）ほどずれた位置にポインタＰＴを表示させる旨の指示を出力する（Ｓ２０４）。なお、この指示には、オフセット量（ｄＸ、ｄＹ）の情報が含まれている。

ポインタ表示制御部１５は、ポインタ座標制御部１１から出力された指示に従って、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ２０３により代入されたオフセット量（ｄＸ、ｄＹ）ほどずらした位置にポインタＰＴを表示する（Ｓ２０４）。

ポインタ座標制御部１１は、表示画面上に表示されたオブジェクトのうちユーザの操作対象の位置を指し示す近接タッチパネル５０上の２次元座標の座標値として、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の各座標値と、ステップＳ２０３により代入されたオフセット量（ｄＸ、ｄＹ）とを加算した座標値とする（Ｓ２０５）。

なお、ステップＳ２０２においてポインタＰＴの表示が不要と判定された場合にはポインタＰＴは表示されないが、ステップＳ１１において検知された指ＵＦの３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）に、ステップＳ１２におけるオフセット量の初期値（ｄＸ、ｄＹ）＝（０、０）が加算される（Ｓ２０５）。

以上により、本実施形態の３次元タッチパネル装置１は、図１２に示す処理群ＰＲ２を実行することにより、ユーザの指ＵＦが現在指し示している領域について、ポインタＰＴを表示するか否かを動的に切り替えることができる。即ち、所定の閾値を超えるサイズが大きいオブジェクトを操作する場合のようにユーザがポインタＰＴを使わずに指ＵＦで直感的に操作したい時にはポインタＰＴを非表示にすることができる。また、所定の閾値を超えないサイズが小さいオブジェクトを操作する場合のようにユーザがポインタＰＴを必要とする状況においては、ポインタＰＴを表示することができる。また、本実施形態の３次元タッチパネル装置１は、ポインタ表示の要否を判定するために、第２の実施形態のように所定時間Ｔ１経過の時間待ちをする必要がなく、ポインタＰＴの表示を素早く実行できる。

＜第４の実施形態＞
図１３は、第４の実施形態における３次元タッチパネル装置１の動作を説明するフローチャートである。図１３に示す処理群ＰＲ３は、図１１に示す処理群ＰＲ１と同様に、ポインタＰＴの表示制御を説明し、制御部１０内のポインタ座標制御部１１により実行される。本実施形態では、図１１に示す各ステップＳ１１〜Ｓ１５の各動作が実行された後に図１３に示すステップＳ３０１の動作が実行され、図１３に示すステップＳ３０７の動作が実行された後に図１１に示すステップＳ２０以降の各動作が実行される。

図１１に示すステップＳ１５の後の処理群ＰＲ３では、ポインタ座標制御部１１は、ホバーアウト状態からホバーイン状態に遷移した後における１回目の位置検出部３０からのｚ方向の座標取得か否かを判定する（Ｓ３０１）。即ち、ポインタ座標制御部１１は、指ＵＦのｚ方向における移動速度（近接速度）の算出に必要な過去の座標データが存在するか否かを判定する。１回目のｚ方向の座標取得であればｚ方向の近接速度を計算できないので、ポインタ座標制御部１１の動作はステップＳ３０６に進む。２回目以降のｚ方向の座標取得であれば、ポインタ座標制御部１１の動作はステップＳ３０２に進む。

ステップＳ３０２では、ポインタ座標制御部１１は、前回ｚ方向の座標を取得した時から現在までの経過時間とｚ方向の移動距離（ｚ座標の変位差）を取得する（Ｓ３０２）。また、ポインタ座標制御部１１は、ステップＳ１５において取得された操作状態情報及びステップＳ３０２で得られたｚ方向の経過時間及び移動距離を基に、ステップＳ１５において取得された操作状態情報がタッチ操作を示す情報であるか否かを判定すると共に、今回の瞬間移動速度、即ち、ステップＳ３０２で得られた移動距離を経過時間で除算した値を算出する。なお、移動距離及び移動速度に関しては、ここでは近接タッチパネル５０の操作面（表示画面）に近づく方向（ｚ軸の負方向）を正とし、近接タッチパネル５０の操作面（表示画面）から遠ざかる方向（ｚ軸の正方向）を負とする。更に、ポインタ座標制御部１１は、ステップＳ３０２で得られたｚ方向の瞬間移動速度と予め定められた速度閾値Ｖ１とを比較する（Ｓ３０３）。

操作状態情報がタッチ操作を示す情報である場合又は瞬間移動速度が速度閾値Ｖ１を超える場合にはポインタ座標制御部１１の動作はステップＳ３０６に進み、操作状態情報がタッチ操作を示す情報ではない場合であって且つ瞬間移動速度が速度閾値Ｖ１以下である場合にはポインタ座標制御部１１の動作はステップＳ３０４に進む。

ステップＳ３０４では、ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量として、パラメータｄＸに予め定められた定数ＯＸを代入し、パラメータｄＹに予め定められた定数ＯＹを代入する（Ｓ３０４）。

ポインタ座標制御部１１は、ポインタ表示制御部１５に、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ３０４により代入されたオフセット量（ｄＸ、ｄＹ）ほどずれた位置にポインタＰＴを表示させる旨の指示を出力する（Ｓ３０５）。なお、この指示には、オフセット量（ｄＸ、ｄＹ）の情報が含まれている。

ポインタ表示制御部１５は、ポインタ座標制御部１１から出力された指示に従って、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ３０４により代入されたオフセット量（ｄＸ、ｄＹ）ほどずらした位置にポインタＰＴを表示する（Ｓ３０５）。

ポインタ座標制御部１１は、表示画面上に表示されたオブジェクトのうちユーザの操作対象の位置を指し示す近接タッチパネル５０上の２次元座標の座標値として、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の各座標値と、ステップＳ３０４により代入されたオフセット量（ｄＸ、ｄＹ）とを加算した座標値とする（Ｓ３０６）。

なお、ステップＳ３０１において１回目のｚ方向の座標取得であると判定された場合にはポインタＰＴは表示されないが、ステップＳ１１において検知された指ＵＦの３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）に、ステップＳ１２におけるオフセット量の初期値（ｄＸ、ｄＹ）＝（０、０）が加算される（Ｓ３０６）。

ポインタ座標制御部１１は、位置検出部３０から今回取得した座標及びこの座標を取得した時刻の情報を次回のステップＳ３０３以降の動作のために、３次元タッチパネル装置１に内蔵されるメモリ（図８には不図示）に記憶する（Ｓ３０７）。

以上により、本実施形態の３次元タッチパネル装置１は、図１３に示す処理群ＰＲ３を実行することにより、実際のユーザの指ＵＦの動き（近接速度）の大きさを基に、ポインタＰＴを表示するか否かを簡易に判定することができる。即ち、サイズの大きいボタン等をユーザが直接触れて直感的に操作したいと考えている状況では、指を早く表示画面に近接させる可能性が高い。この場合、ｚ方向の瞬間移動速度が速度閾値Ｖ１よりも大きくなるので、３次元タッチパネル装置１は、ポインタＰＴを非表示することができる。また、この場合はオフセット量の影響を受けないので、ユーザが指ＵＦで直接タッチした位置に対する入力操作を実行することができる。

一方、例えば指に隠れて見えなくなるような小さいボタンを操作する場合には、ユーザは指ＵＦを慎重に動かすことになり、指ＵＦを比較的ゆっくりと表示画面に近接させる可能性が高い。この場合は、ｚ方向の瞬間移動速度が閾値Ｖ１以下になるので、３次元タッチパネル装置１は、オフセット量ほどずらした位置にポインタＰＴを表示することができる。従って、ユーザは指ＵＦの位置から少しずれた位置に表示されるポインタＰＴにより操作位置を視認して確認しながら、正確な位置決めを行った上で入力操作を容易に行うことができる。

＜第５の実施形態＞
図１４は、第５の実施形態における３次元タッチパネル装置１の動作を説明するフローチャートである。図１４に示す処理群ＰＲ４１は、図１１に示す処理群ＰＲ１と同様に、ポインタＰＴの表示制御を説明し、制御部１０内のポインタ座標制御部１１により実行される。本実施形態では、図１１に示す各ステップＳ１１〜Ｓ１５の動作が実行された後に図１４に示すステップＳ４１１の動作が実行され、図１４に示すステップＳ４１５の動作が実行された後に図１１に示すステップＳ２０以降の動作が実行される。

図１１に示すステップＳ１５の後の処理群ＰＲ４１では、ポインタ座標制御部１１は、ユーザが指ＵＦを表示画面にタッチした後に指ＵＦを表示画面から離す操作（タッチのリリース）を行ったか否かを判定する（Ｓ４１１）。即ち、ポインタ座標制御部１１は、位置検出部３０から取得した指ＵＦの３次元座標（ｘ、ｙ、ｚ）の情報を基に、前回取得した時には「タッチ」状態（ｚ座標＝０）であって、今回取得した時には「非タッチ」状態（ｚ座標≠０）であるか否かを判定する（Ｓ４１１）。

なお、ステップＳ４１１中に示す「＆＆」は論理積（ＡＮＤ）を意味し、以下の各実施形態においても同様である。近接タッチパネル５０が前回取得した指ＵＦの３次元座標のｚ座標が０（タッチ状態）から０でない値（非タッチ状態）に遷移した場合には（Ｓ４１１、ＹＥＳ）、ポインタ座標制御部１１の動作はステップＳ４１２に進む。近接タッチパネル５０が前回取得した指ＵＦの３次元座標のｚ座標が０（タッチ状態）から０でない値（非タッチ状態）に遷移していない場合には（Ｓ４１１、ＮＯ）、ポインタ座標制御部１１の動作はステップＳ４１６に進む。

ステップＳ４１２では、ポインタ座標制御部１１は、図１１に示すステップＳ１４で計時動作を開始したタイマのカウンタをリセットさせた後、タイマの計時動作を再開させる（Ｓ４１２）。

ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量を解除し、具体的には、パラメータｄＸに「０」を代入し、パラメータｄＹに「０」を代入する（Ｓ４１３）。

ポインタ座標制御部１１は、ポインタ表示制御部１５にポインタＰＴを非表示させる（Ｓ４１４）。

一方、ステップＳ４１６では、ポインタ座標制御部１１は、ステップＳ１５において取得された操作状態情報が非タッチ操作を示す情報であって、且つ、図１１に示すステップＳ１４でタイマの計時動作を開始させてから所定時間Ｔ１が経過したか否かを判定する（Ｓ４１６）。操作状態情報が非タッチ操作を示す情報であって、且つ、所定時間Ｔ１が経過した場合には（Ｓ４１６、ＹＥＳ）、ポインタ座標制御部１１は、ポインタＰＴを表示すると判定する。この判定後、ポインタ座標制御部１１の動作はステップＳ４１７に進む。

一方、操作状態情報が非タッチ操作を示す情報ではない場合、即ち、操作状態情報がタッチ操作を示す情報である場合（Ｓ４１６、ＮＯ）、又は、所定時間Ｔ１が経過していない場合には（Ｓ４１６、ＮＯ）、ポインタ座標制御部１１は、ポインタＰＴを表示しないと判定する。この判定後、ポインタ座標制御部１１の動作はステップＳ４１５に進む。

ステップＳ４１７では、ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量として、パラメータｄＸに予め定められた定数ＯＸを代入し、パラメータｄＹに予め定められた定数ＯＹを代入する（Ｓ４１７）。

ポインタ座標制御部１１は、ポインタ表示制御部１５に、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ４１７により代入されたオフセット量（ｄＸ、ｄＹ）ほどずれた位置にポインタＰＴを表示させる旨の指示を出力する（Ｓ４１８）。なお、この指示には、オフセット量（ｄＸ、ｄＹ）の情報が含まれている。

ポインタ表示制御部１５は、ポインタ座標制御部１１から出力された指示に従って、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ４１７により代入されたオフセット量（ｄＸ、ｄＹ）ほどずらした位置にポインタＰＴを表示する（Ｓ４１８）。

ポインタ座標制御部１１は、表示画面上に表示されたオブジェクトのうちユーザの操作対象の位置を指し示す近接タッチパネル５０上の２次元座標の座標値として、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の各座標値と、ステップＳ４１７により代入されたオフセット量（ｄＸ、ｄＹ）とを加算した座標値とする（Ｓ４１５）。

なお、ステップＳ４１６において所定時間Ｔ１が経過していないと判定された場合にはポインタＰＴは表示されないが、ステップＳ１１において検知された指ＵＦの３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）に、ステップＳ１２におけるオフセット量の初期値（ｄＸ、ｄＹ）＝（０、０）が加算される（Ｓ４１５）。

ユーザが画面上の様々なオブジェクトを操作しようとする場合に、例えば次のような状況が想定される。ユーザが比較的小さいボタンを操作（タッチ）した後で、比較的大きい別のボタンを操作する場合がある。従って、３次元タッチパネル装置１が図１１に示す処理群ＰＲ１を実行する場合には、小さいボタンを操作する際にポインタＰＴが表示され、ホバーアウトする位置まで指を遠ざけない限り、ポインタＰＴの表示が継続される。そのため、ユーザが次に大きいボタンを一連の操作として連続的に操作する時にオフセットの影響が現れ、ユーザは自分が思っているような直感的な操作ができない。

以上により、本実施形態の３次元タッチパネル装置１は、図１４に示す処理群ＰＲ４１を実行することにより、小さいボタンを操作する際にポインタＰＴを表示した後、ユーザが指をタッチしこのタッチを直ぐに解除すれば、ステップＳ４１４においてポインタＰＴを一旦非表示し、オフセット量の影響を解除する。更に、ユーザが小さいボタンの次に大きいボタンを連続して操作する時には、３次元タッチパネル装置１は、オフセット量の影響を受けることなく、目的のボタンに直接タッチするような直感的な入力操作をユーザに対して簡易に行わせることができる。

更に、３次元タッチパネル装置１は、本実施形態におけるタッチリリース後にポインタＰＴを非表示にすることに加え、第２の実施形態におけるポインタＰＴの表示要否の判定条件を組み合わせることで、ユーザの指ＵＦが所定時間Ｔ１を超えて近接状態を維持するか否かに応じて、ポインタＰＴの表示又は非表示を簡易に切り替えることができる。

＜第６の実施形態＞
図１５は、第６の実施形態における３次元タッチパネル装置１の動作を説明するフローチャートである。図１５に示す処理群ＰＲ４２は、図１１に示す処理群ＰＲ１と同様に、ポインタＰＴの表示制御を説明し、制御部１０内のポインタ座標制御部１１により実行される。本実施形態では、図１１に示す各ステップＳ１１〜Ｓ１５の各動作が実行された後に図１５に示すステップＳ４２１の動作が実行され、図１５に示すステップＳ４２５の動作が実行された後に図１１に示すステップＳ２０以降の各動作が実行される。

図１１に示すステップＳ１５の後の処理群ＰＲ４２では、ポインタ座標制御部１１は、ユーザが指ＵＦを表示画面にタッチした後に指ＵＦを表示画面から離す操作（タッチのリリース）を行ったか否かを判定する（Ｓ４２１）。即ち、ポインタ座標制御部１１は、位置検出部３０から取得した指ＵＦの３次元座標（ｘ、ｙ、ｚ）の情報を基に、前回取得した時には「タッチ」状態（ｚ座標＝０）であって、今回取得した時には「非タッチ」状態（ｚ座標≠０）であるか否かを判定する（Ｓ４２１）。

近接タッチパネル５０が前回取得した指ＵＦの３次元座標のｚ座標が０（タッチ状態）から０でない値（非タッチ状態）に遷移した場合には（Ｓ４２１、ＹＥＳ）、ポインタ座標制御部１１の動作はステップＳ４２２に進む。近接タッチパネル５０が前回取得した指ＵＦの３次元座標のｚ座標が０（タッチ状態）から０でない値（非タッチ状態）に遷移していない場合には（Ｓ４２１、ＮＯ）、ポインタ座標制御部１１の動作はステップＳ４２６に進む。

ステップＳ４２２では、ポインタ座標制御部１１は、図１１に示すステップＳ１４で計時動作を開始したタイマのカウンタをリセットさせた後、タイマの計時動作を再開させる（Ｓ４２２）。

ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量を解除し、具体的には、パラメータｄＸに「０」を代入し、パラメータｄＹに「０」を代入する（Ｓ４２３）。

ポインタ座標制御部１１は、ポインタ表示制御部１５にポインタＰＴを非表示させる（Ｓ４２４）。

一方、ステップＳ４２６では、ポインタ座標制御部１１は、位置検出部３０から取得した指の位置を指し示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の情報をアプリケーション処理部１３に出力する（Ｓ４２６）。アプリケーション処理部１３は、ポインタ座標制御部１１から出力された２次元座標（ｘ、ｙ）の位置の表示領域に表示されているオブジェクトの情報を判定してポインタ座標制御部１１に出力する（Ｓ４２６）。

ポインタ座標制御部１１は、ステップＳ４２６においてアプリケーション処理部１３から取得した情報及びステップＳ１５において取得された操作状態情報を基に、タッチ操作が行われていない状態であるか否か及びポインタＰＴの表示が必要か否かを判定する（Ｓ４２７）。ステップＳ４２７の動作の詳細は、図１２に示すステップＳ２０２と同一であるため説明を省略する。

操作状態情報が非タッチ操作を示す情報であって結果的にポインタＰＴの表示が必要と判定された場合には（Ｓ４２７、ＹＥＳ）、ポインタ座標制御部１１の動作はステップＳ４２８に進む。操作状態情報が非タッチ操作を示す情報ではなく結果的にポインタＰＴの表示が不要と判定された場合には（Ｓ４２７、ＮＯ）、ポインタ座標制御部１１の動作はステップＳ４２５に進む。

ステップＳ４２８では、ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量として、パラメータｄＸに予め定められた定数ＯＸを代入し、パラメータｄＹに予め定められた定数ＯＹを代入する（Ｓ４２８）。

ポインタ座標制御部１１は、ポインタ表示制御部１５に、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ４２８により代入されたオフセット量（ｄＸ、ｄＹ）ほどずれた位置にポインタＰＴを表示させる旨の指示を出力する（Ｓ４２９）。なお、この指示には、オフセット量（ｄＸ、ｄＹ）の情報が含まれている。

ポインタ表示制御部１５は、ポインタ座標制御部１１から出力された指示に従って、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ４２８により代入されたオフセット量（ｄＸ、ｄＹ）ほどずらした位置にポインタＰＴを表示する（Ｓ４２９）。

ポインタ座標制御部１１は、表示画面上に表示されたオブジェクトのうちユーザの操作対象の位置を指し示す近接タッチパネル５０上の２次元座標の座標値として、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の各座標値と、ステップＳ４２８により代入されたオフセット量（ｄＸ、ｄＹ）とを加算した座標値とする（Ｓ４２５）。

なお、ステップＳ４２７においてポインタＰＴの表示が不要と判定された場合にはポインタＰＴは表示されないが、ステップＳ１１において検知された指ＵＦの３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）に、ステップＳ１２におけるオフセット量の初期値（ｄＸ、ｄＹ）＝（０、０）が加算される（Ｓ４２５）。

以上により、本実施形態の３次元タッチパネル装置１は、図１５に示す処理群ＰＲ４２を実行することにより、図１４の処理群ＰＲ４１を実行する場合と同様に、ポインタＰＴを表示した後にユーザが表示画面から指を離間させてタッチ状態を解除すれば、ポインタＰＴを一旦非表示に簡易に切り替えることができる。

更に、３次元タッチパネル装置１は、本実施形態におけるタッチリリース後にポインタＰＴを非表示にすることに加え、第３の実施形態におけるポインタＰＴの表示要否の判定条件を組み合わせることで、ユーザの指ＵＦが現在指し示している領域について、ポインタＰＴを表示するか否かを動的に切り替えることができる。

＜第７の実施形態＞
図１６は、第７の実施形態における３次元タッチパネル装置１の動作を説明するフローチャートである。図１６に示す処理群ＰＲ４３は、図１１に示す処理群ＰＲ１と同様に、ポインタＰＴの表示制御を説明し、制御部１０内のポインタ座標制御部１１により実行される。本実施形態では、図１１に示す各ステップＳ１１〜Ｓ１５の各動作が実行された後に図１６に示すステップＳ４３１の動作が実行され、図１６に示すステップＳ４３６の動作が実行された後に図１１に示すステップＳ２０以降の各動作が実行される。

図１１に示すステップＳ１５の後の処理群ＰＲ４３では、ポインタ座標制御部１１は、ユーザが指ＵＦを表示画面にタッチした後に指ＵＦを表示画面から離す操作（タッチのリリース）を行ったか否かを判定する（Ｓ４３１）。即ち、ポインタ座標制御部１１は、位置検出部３０から取得した指ＵＦの３次元座標（ｘ、ｙ、ｚ）の情報を基に、前回取得した時には「タッチ」状態（ｚ座標＝０）であって、今回取得した時には「非タッチ」状態（ｚ座標≠０）であるか否かを判定する（Ｓ４３１）。

近接タッチパネル５０が前回取得した指ＵＦの３次元座標のｚ座標が０（タッチ状態）から０でない値（非タッチ状態）に遷移した場合には（Ｓ４３１、ＹＥＳ）、ポインタ座標制御部１１の動作はステップＳ４３２に進む。近接タッチパネル５０が前回取得した指ＵＦの３次元座標のｚ座標が０（タッチ状態）から０でない値（非タッチ状態）に遷移していない場合には（Ｓ４３１、ＮＯ）、ポインタ座標制御部１１の動作はステップＳ４３７に進む。

ステップＳ４３２では、ポインタ座標制御部１１は、図１１に示すステップＳ１４で計時動作を開始したタイマのカウンタをリセットさせた後、タイマの計時動作を再開させる（Ｓ４３２）。

ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量を解除し、具体的には、パラメータｄＸに「０」を代入し、パラメータｄＹに「０」を代入する（Ｓ４３３）。

ポインタ座標制御部１１は、ポインタ表示制御部１５にポインタＰＴを非表示させる（Ｓ４３４）。

一方、ステップＳ４３７では、ポインタ座標制御部１１は、ホバーアウト状態からホバーイン状態に遷移した後における１回目の位置検出部３０からのｚ方向の座標取得か否かを判定する（Ｓ４３７）。即ち、ポインタ座標制御部１１は、指ＵＦのｚ方向における移動速度（近接速度）の算出に必要な過去の座標データが存在するか否かを判定する。１回目のｚ方向の座標取得であればｚ方向の近接速度を計算できないので、ポインタ座標制御部１１の動作はステップＳ４３５に進む。２回目以降のｚ方向の座標取得であれば、ポインタ座標制御部１１の動作はステップＳ４３８に進む。

ステップＳ４３８では、ポインタ座標制御部１１は、前回ｚ方向の座標を取得した時から現在までの経過時間とｚ方向の移動距離（ｚ座標の変位差）を取得する（Ｓ４３８）。また、ポインタ座標制御部１１は、ステップＳ１５において取得された操作状態情報及びステップＳ４３８で得られたｚ方向の経過時間及び移動距離を基に、ステップＳ１５において取得された操作状態情報がタッチ操作を示す情報であるか否かを判定すると共に、今回の瞬間移動速度、即ち、ステップＳ４３８で得られた移動距離を経過時間で除算した値を算出する。なお、移動距離及び移動速度に関しては、ここでは近接タッチパネル５０の操作面（表示画面）に近づく方向（ｚ軸の負方向）を正とし、近接タッチパネル５０の操作面（表示画面）から遠ざかる方向（ｚ軸の正方向）を負とする。更に、ポインタ座標制御部１１は、ステップＳ４３８で得られたｚ方向の瞬間移動速度と予め定められた速度閾値Ｖ１とを比較する（Ｓ４３９）。

操作状態情報がタッチ操作を示す情報である場合又は瞬間移動速度が速度閾値Ｖ１を超える場合にはポインタ座標制御部１１の動作はステップＳ４３５に進み、操作状態情報がタッチ操作を示す情報ではない場合であって且つ瞬間移動速度が速度閾値Ｖ１以下である場合にはポインタ座標制御部１１の動作はステップＳ４４０に進む。

ステップＳ４４０では、ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量として、パラメータｄＸに予め定められた定数ＯＸを代入し、パラメータｄＹに予め定められた定数ＯＹを代入する（Ｓ４４０）。

ポインタ座標制御部１１は、ポインタ表示制御部１５に、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ３０４により代入されたオフセット量（ｄＸ、ｄＹ）ほどずれた位置にポインタＰＴを表示させる旨の指示を出力する（Ｓ４４１）。なお、この指示には、オフセット量（ｄＸ、ｄＹ）の情報が含まれている。

ポインタ表示制御部１５は、ポインタ座標制御部１１から出力された指示に従って、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ４４０により代入されたオフセット量（ｄＸ、ｄＹ）ほどずらした位置にポインタＰＴを表示する（Ｓ４４１）。

ポインタ座標制御部１１は、表示画面上に表示されたオブジェクトのうちユーザの操作対象の位置を指し示す近接タッチパネル５０上の２次元座標の座標値として、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の各座標値と、ステップＳ４４０により代入されたオフセット量（ｄＸ、ｄＹ）とを加算した座標値とする（Ｓ４３５）。

なお、ステップＳ４３７において１回目のｚ方向の座標取得であると判定された場合にはポインタＰＴは表示されないが、ステップＳ１１において検知された指ＵＦの３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）に、ステップＳ１２におけるオフセット量の初期値（ｄＸ、ｄＹ）＝（０、０）が加算される（Ｓ４３５）。

ポインタ座標制御部１１は、位置検出部３０から今回取得した座標及びこの座標を取得した時刻の情報を次回のステップＳ４３９以降の動作のために、３次元タッチパネル装置１に内蔵されるメモリ（図８には不図示）に記憶する（Ｓ４３６）。

以上により、本実施形態の３次元タッチパネル装置１は、図１６に示す処理群ＰＲ４３を実行することにより、図１４の処理群ＰＲ４１を実行する場合と同様に、ポインタＰＴを表示した後にユーザが表示画面から指を離間させてタッチ状態を解除すれば、ポインタＰＴを一旦非表示に簡易に切り替えることができる。

更に、３次元タッチパネル装置１は、本実施形態におけるタッチリリース後にポインタＰＴを非表示にすることに加え、第４の実施形態におけるポインタＰＴの表示要否の判定条件を組み合わせることで、ユーザの指ＵＦの動き（近接速度）の大きさを基にしてポインタＰＴを表示するか否かを簡易に切り替えることができる。

＜第８の実施形態＞
図１７は、第８の実施形態における３次元タッチパネル装置１の動作を説明するフローチャートである。図１７に示す処理群ＰＲ５は、図１１に示す処理群ＰＲ１と同様に、ポインタＰＴの表示制御を説明し、制御部１０内のポインタ座標制御部１１により実行される。本実施形態では、図１１に示す各ステップＳ１１〜Ｓ１５の各動作が実行された後に図１７に示すステップＳ５０１の動作が実行され、図１７に示すステップＳ５１２の動作が実行された後に図１１に示すステップＳ２０以降の各動作が実行される。

図１１に示すステップＳ１５の後の処理群ＰＲ５では、ポインタ座標制御部１１は、ユーザが指ＵＦを表示画面にタッチした後に指ＵＦを表示画面から離す操作（タッチのリリース）を行ったか否かを判定する（Ｓ５０１）。即ち、ポインタ座標制御部１１は、位置検出部３０から取得した指ＵＦの３次元座標（ｘ、ｙ、ｚ）の情報を基に、前回取得した時には「タッチ」状態（ｚ座標＝０）であって、今回取得した時には「非タッチ」状態（ｚ座標≠０）であるか否かを判定する（Ｓ５０１）。

近接タッチパネル５０が前回取得した指ＵＦの３次元座標のｚ座標が０（タッチ状態）から０でない値（非タッチ状態）に遷移した場合には（Ｓ５０１、ＹＥＳ）、ポインタ座標制御部１１の動作はステップＳ５０８に進む。近接タッチパネル５０が前回取得した指ＵＦの３次元座標のｚ座標が０（タッチ状態）から０でない値（非タッチ状態）に遷移していない場合には（Ｓ５０１、ＮＯ）、ポインタ座標制御部１１の動作はステップＳ５０２に進む。

ステップＳ５０８では、ポインタ座標制御部１１は、図１１に示すステップＳ１４で計時動作を開始したタイマのカウンタをリセットさせた後、タイマの計時動作を再開させる（Ｓ５０８）。

ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量を解除し、具体的には、パラメータｄＸに「０」を代入し、パラメータｄＹに「０」を代入する（Ｓ５０９）。

ポインタ座標制御部１１は、ポインタ表示制御部１５にポインタＰＴを非表示させ（Ｓ５１０）、タッチリリースフラグＦ１０に「１」をセットする（Ｓ５１１）。なお、図１７に示すフローチャートの動作の初期状態では、タッチリリースフラグＦ１０は「０」とする。

一方、ステップＳ５０２では、ポインタ座標制御部１１は、タッチリリースフラグＦ１０が０（ゼロ）であるか否かを判定する（Ｓ５０２）。タッチリリースフラグＦ１０が初期値「０」であればポインタ座標制御部１１の動作はステップＳ５０３に進み、タッチリリースフラグＦ１０＝「１」であればポインタ座標制御部１１の動作はステップＳ５０４に進む。

ポインタ座標制御部１１は、予め定められた第１判定条件に従って、ポインタＰＴの表示要否に関する比較処理を行う（Ｓ５０３）。また、ポインタ座標制御部１１は、予めに定められた第２判定条件に従って、ポインタＰＴの表示要否に関する比較処理を行う（Ｓ５０４）。

具体例としては、図１１に示すステップＳ１６の判定条件、即ち、ステップＳ１４においてタイマの計時動作を開始させてから所定時間Ｔ１が経過したか否かに応じて、ポインタＰＴの表示要否を判定すること、を第１判定条件とする。本実施形態では、この第１判定条件は、ポインタ座標制御部１１の動作において予め規定されているとする。

また、図１２に示すステップＳ２０１及びＳ２０２の処理、即ち、アプリケーション処理部１３から出力された表示部４０の表示画面における表示領域毎のオブジェクト（例えばボタン、メニュー、アイコン等）の情報を基に、ポインタＰＴの表示要否を判定すること、を第２判定条件とする。本実施形態では、この第２判定条件は、ポインタ座標制御部１１の動作において予め規定されているとする。

なお、上述した第１判定条件及び第２判定条件は一例にすぎず、ポインタ座標制御部１１は、ステップＳ５０３及びＳ５０４において、例えば図１１に示すステップＳ１６の判定条件に従って、ポインタＰＴの表示要否を判定し、ステップＳ５０３では判定条件における所定時間Ｔ１に「０．５秒」を用い、ステップＳ５０４では判定条件における所定時間Ｔ１に「１秒」を用いても良い。

ステップＳ５０５では、ポインタ座標制御部１１は、ステップＳ５０３又はステップＳ５０４の判定結果及びステップＳ１５において取得された操作状態情報を基に、タッチ操作が行われていない状態であるか否か及びポインタＰＴの表示要否を判定する（Ｓ５０５）。操作状態情報が非タッチ操作を示す情報であって結果的にステップＳ５０３の第１判定条件又はステップＳ５０４の第２判定条件に従ってポインタＰＴを表示すると判定された場合にはポインタ座標制御部１１の動作はステップＳ５０６に進み、操作状態情報が非タッチ操作を示す情報ではなく結果的にポインタＰＴを表示しないと判定された場合にはポインタ座標制御部１１の動作はステップＳ５１２に進む。

ステップＳ５０６では、ポインタ座標制御部１１は、ポインタＰＴの表示位置のオフセット量として、パラメータｄＸに予め定められた定数ＯＸを代入し、パラメータｄＹに予め定められた定数ＯＹを代入する（Ｓ５０６）。

ポインタ座標制御部１１は、ポインタ表示制御部１５に、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ５０６により代入されたオフセット量（ｄＸ、ｄＹ）ほどずれた位置にポインタＰＴを表示させる旨の指示を出力する（Ｓ５０７）。なお、この指示には、オフセット量（ｄＸ、ｄＹ）の情報が含まれている。

ポインタ表示制御部１５は、ポインタ座標制御部１１から出力された指示に従って、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の位置から、ステップＳ４２８により代入されたオフセット量（ｄＸ、ｄＹ）ほどずらした位置にポインタＰＴを表示する（Ｓ５０７）。

ポインタ座標制御部１１は、表示画面上に表示されたオブジェクトのうちユーザの操作対象の位置を指し示す近接タッチパネル５０上の２次元座標の座標値として、ステップＳ１１により検知された指ＵＦの位置を示す３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）の各座標値と、ステップＳ５０６により代入されたオフセット量（ｄＸ、ｄＹ）とを加算した座標値とする（Ｓ５１２）。

なお、ステップＳ５０５においてポインタＰＴの表示が不要と判定された場合にはポインタＰＴは表示されないが、ステップＳ１１において検知された指ＵＦの３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の２次元座標（ｘ、ｙ）に、ステップＳ１２におけるオフセット量の初期値（ｄＸ、ｄＹ）＝（０、０）が加算される（Ｓ５１２）。

以上により、本実施形態の３次元タッチパネル装置１は、図１７に示すステップＳ５０２〜ステップＳ５０４のように、ポインタＰＴの表示要否に関する判定条件を、３次元タッチパネル装置１の使用状況に応じて切り替え、ポインタＰＴの表示又は非表示をより適切且つ簡易に制御できる。即ち、３次元タッチパネル装置１は、ユーザがポインタＰＴの表示を必要とする時に素早くポインタＰＴを表示することができ、ユーザがポインタＰＴの表示を必要としない時には素早くポインタＰＴを非表示にしてオフセットの影響をなくすことができる。

＜第９の実施形態＞
図１８は、第９の実施形態における３次元タッチパネル装置１の動作を説明するフローチャートである。図１８に示す各動作は、上述したポインタＰＴを表示する場合のオフセット量又は表示位置を、３次元タッチパネル装置１の使用状況に合わせて変更する場合に用いられる。

図１８に示す各動作は、ポインタ座標制御部１１により、例えば短い周期で周期的に実行される。従って、３次元タッチパネル装置１は、図１１〜図１７に示すいずれかの動作を実行する際に、図１８に示す動作を並行して実行することができる。上述した第２〜第８の各実施形態でオフセット量のパラメータＯＸ，ＯＹは共に定数であったが、本実施形態ではＯＸ、ＯＹは変数とする。以下、図１８に示す動作について説明する。なお、図１８に示す動作の前提として、上述した第２〜第８の各実施形態により、表示部４０の表示画面上にポインタＰＴが表示されているとする。

ポインタ座標制御部１１は、位置検出部３０から出力された指の３次元座標（ｘ、ｙ、ｚ）に対応する近接タッチパネル５０上の位置の２次元座標（ｘ、ｙ）の変化を監視することにより、ポインタ移動方向が左右（ｘ軸方向）のいずれであるかを検出する（Ｓ５１）。

ポインタ座標制御部１１は、位置検出部３０から出力された指の３次元座標（ｘ、ｙ、ｚ）のｚ方向の変化及び時間を監視することにより、ｚ方向の指の近接速度Ｖｚを算出する（Ｓ５２）。

ポインタ座標制御部１１は、ステップＳ５２で得られた近接速度Ｖｚと予め定められた速度閾値Ｖｔｈ１とを比較する（Ｓ５３）。ここで、近接速度Ｖｚが速度閾値Ｖｔｈ１を超えている場合には、ポインタ座標制御部１１の動作はステップＳ５４に進み、近接速度Ｖｚが速度閾値Ｖｔｈ１以下である場合には、ポインタ座標制御部１１の動作はステップＳ５５に進む。

また、ポインタ座標制御部１１は、ステップＳ５２で得られた近接速度Ｖｚと予め定められた速度閾値Ｖｔｈ２とを比較する（Ｓ５５）。ここで、近接速度Ｖｚが速度閾値Ｖｔｈ２を超えている場合には、ポインタ座標制御部１１の動作はステップＳ５６に進み、近接速度Ｖｚが速度閾値Ｖｔｈ２以下である場合には、ポインタ座標制御部１１の動作はステップＳ５７に進む。

ステップＳ５４では、ポインタ座標制御部１１は、ｘ方向の位置のオフセット量を表す変数ＯＸに予め定められた定数「Ｖｘ０」を代入し、ｙ方向の位置のオフセット量を表す変数ＯＹに予め定められた定数「Ｖｙ０」を代入する（Ｓ５４）。

また、ステップＳ５６では、ポインタ座標制御部１１は、ｘ方向の位置のオフセット量を表す変数ＯＸに予め定められた定数「Ｖｘ１」を代入し、ｙ方向の位置のオフセット量を表す変数ＯＹに予め定められた定数「Ｖｙ１」を代入する（Ｓ５６）。

また、ステップＳ５７では、ポインタ座標制御部１１は、ｘ方向の位置のオフセット量を表す変数ＯＸに予め定められた定数「Ｖｘ２」を代入し、ｙ方向の位置のオフセット量を表す変数ＯＹに予め定められた定数「Ｖｙ２」を代入する（Ｓ５７）。

ステップＳ５４、ステップＳ５６又はステップＳ５７の後、ポインタ座標制御部１１は、ステップＳ５１で検出されたポインタＰＴの移動方向が左方向又は右方向のいずれであるのかを判定する（Ｓ５８）。ポインタＰＴの移動方向が右方向の場合は、ポインタ座標制御部１１の動作はステップＳ５９に進み、ポインタＰＴの移動方向が左方向の場合は、図１８に示す動作は終了する。

ステップＳ５９では、ポインタ座標制御部１１は、ｘ方向の位置のオフセット量を表す変数ＯＸの符号を反転する（Ｓ５９）。即ち、ポインタ座標制御部１１は、変数ＯＸの値が正の場合は負の値に変更し、負の場合は正の値に変更することで、既にオフセット量ほどずれたポインタＰＴの表示位置の２次元座標（ｘ、ｙ）を更に補正する。

上述したように、ポインタＰＴを表示する位置と実際の指ＵＦの近接状態における空間上の位置との間のオフセット量は、変数ＯＸ、ＯＹにより決定される。従って、本実施形態の３次元タッチパネル装置１は、図１８に示す動作を実行することにより、ポインタＰＴの表示位置のオフセット量及びオフセットの方向を、ユーザの指ＵＦの動き（近接速度）に応じて変更することができる。即ち、ユーザが指ＵＦを表示画面（近接タッチパネル５０）に近接させる時の近接速度の大きさに応じて、３種類のオフセット量を使い分けることができる。

また、ユーザの指が表示画面の左方向に向かって移動している時には、３次元タッチパネル装置１は、図９に示すように指ＵＦの左上方にポインタＰＴを表示し、指ＵＦが右方向に移動している時には、オフセット量の符号（＋／−）を反転して指ＵＦの右上方にポインタを表示することができる。

＜その他の変形例＞
上述した各実施形態では、ユーザがポインタＰＴの表示を必要としない場合にポインタＰＴを非表示させているが、ポインタＰＴを表示させた状態を継続した上で、ポインタＰＴの表示位置のオフセット量を変更しても良い。即ち、ユーザがポインタＰＴの表示を必要としない場合には、オフセット量（ｄＸ、ｄＹ）を０にし、指ＵＦの位置とユーザの操作対象となる表示画面上の位置とがずれないようにすれば、ポインタＰＴの表示が継続していても問題は生じない。

また、図１１に示すステップＳ１１では、指ＵＦの近接状態における位置の表示画面からの距離が閾値ｚｔｈ以下になったことが検知され、即ち、ホバーイン状態に遷移したか否かが判定されている。つまり、ホバーイン状態に遷移したことを契機として、ポインタＰＴの表示制御が開始している。しかし、ポインタＰＴの表示制御の開始距離は、ホバーイン状態に遷移するための条件（閾値ｚｔｈ以下）とは異なる閾値を用いて判定されても良い。

また、図１１に示すステップＳ２１では、指ＵＦの近接状態における位置の表示画面からの距離が閾値ｚｔｈを超えたことが検知され、即ち、ホバーアウト状態に遷移したか否かが判定され、閾値ｚｔｈを超えた場合にポインタＰＴの表示制御が終了している。しかし、ポインタＰＴの表示制御の終了距離は、ホバーアウト状態に遷移するための条件（閾値ｚｔｈより大きい）とは異なる閾値を用いて判定されても良い。

また、図１１では、ホバーアウト状態に遷移したことがステップＳ２１において判定されると、直ちに、ポインタ座標制御部１１は、ポインタＰＴを非表示する（Ｓ２２）。しかし、ポインタＰＴを非表示するタイミングは様々な変形が考えられる。例えば、ホバーアウト状態に遷移したことが判定されてから所定時間（例えば０．５秒）が経過するまではポインタＰＴの表示状態が継続されても良い。図１４に示すステップＳ４１４においてポインタＰＴを非表示するタイミングについても同様である。

また、図１３に示す処理群ＰＲ３では、ステップＳ３０３においてｚ方向の近接速度と速度閾値Ｖ１とが比較されているが、ポインタ座標制御部１１は、同時に他の方向の移動速度も考慮して判定しても良い。例えば、ｘｙ平面に平行な方向の移動速度が所定値以下で、且つｚ方向の移動速度が所定値以下の場合に限り、ポインタＰＴを表示しても良い。

更に、図１４に示す処理群ＰＲ４１では、ステップＳ４１１でタッチ状態からタッチが解除された（タッチのリリース）ことが検知されると、ポインタＰＴが一旦非表示されている（Ｓ４１４）。しかし、ポインタ座標制御部１１は、タッチの解除以外の操作によって、ポインタＰＴを非表示しても良い。例えば、ポインタＰＴが表示されている状態で、アプリケーションの制御により画面上にポップアップ画面が表示されたことが検知された場合は、ポインタ座標制御部１１は、ポインタＰＴを一旦非表示し、ステップＳ４１６の条件を満たす時にポインタＰＴを再表示させる。或いは、ポインタ座標制御部１１は、ポインタＰＴが表示されている状態で、指ＵＦのｚ方向の近接速度（画面から離れる方向）が所定以上になったことを検知した場合にポインタＰＴを一旦非表示し、ステップＳ３０３（図１３参照）の条件を満たす時にポインタＰＴを再表示させても良い。

以上、図面を参照して各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本出願は、２０１１年５月１６日出願の日本特許出願（特願２０１１−１０９３４４）に基づくものであり、その内容はここに参照として取り込まれる。

本発明は、タッチパネルの使用時、使用者が画面に表示された情報を容易に視認できる表示装置、表示制御方法、及び表示制御プログラム等に有用である。

１ ３次元タッチパネル装置
１０ 制御部
１１ ポインタ座標制御部
１２ 向き判定部
１３ アプリケーション処理部
１４ 表示制御部
１５ ポインタ表示制御部
３０ 位置検出部
４０ 表示部
４１ アイコン
４２、４６ ポップアップ
４５ サムネイル
５０ 近接タッチパネル
６３ 人差し指
６５、６６、６７ 検知点
７１ 文字メッセージ

Claims (21)

1. 検知対象が近接又は接触したことを検知するタッチパネルと、
   前記タッチパネルにより近接又は接触したことが検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出する位置検出部と、
   前記タッチパネルが配置された表示部と、
   前記位置検出部により検出された前記位置座標に基づいて、前記検知対象の向きを判定する向き判定部と、
   前記向き判定部により判定された前記検知対象の向きに基づいて、前記検知対象によって遮られる前記表示部の表示内容の一部を避けるように、前記表示部に表示させる表示制御部と、を備える表示装置であって、
   前記向き判定部は、前記位置検出部により検出された前記検知対象の前記Ｚ方向の座標が第１の座標範囲にある場合、前記検知対象の向きを判定し、
   前記表示制御部は、前記位置検出部により検出された前記検知対象の前記Ｚ方向の座標が前記第１の座標範囲よりも前記Ｚ方向の座標が小さい第２の座標範囲にある場合、前記検知対象によって遮られる前記表示部の画面を避けるように前記表示部に表示させる、
   表示装置。
2. 請求項１に記載の表示装置であって、
   前記表示制御部は、前記ＸＹ方向における前記表示部の画面と前記検知対象との重複部分を推定し、前記重複部分を避けて前記表示部に表示させる、
   表示装置。
3. 請求項１に記載の表示装置であって、
   前記表示制御部は、前記向き判定部により判定された前記検知対象の向きに基づいて、前記表示部の表示内容の一部を前記検知対象からその向きの先へ、前記表示部に表示させる、
   表示装置。
4. 請求項１から３までのうちいずれか一項に記載の表示装置であって、
   前記向き判定部は、前記位置検出部により２点の位置座標が検出された場合、前記２点のうち前記Ｚ方向の座標が大きい第１の点から前記Ｚ方向の座標の小さい第２の点に至るベクトルの方向に基づいて、前記検知対象の向きを判定する、
   表示装置。
5. 請求項１から３までのうちいずれか一項に記載の表示装置であって、
   前記向き判定部は、前記位置検出部により３点の位置座標が検出された場合、前記３点のうち、前記Ｚ方向の座標が最も大きい第１の点と２番目に大きい第２の点とを結ぶ直線と、前記Ｚ方向の座標が３番目に大きい第３の点と、の位置関係に基づいて、前記検知対象の向きを判定する、
   表示装置。
6. 請求項４に記載の表示装置であって、
   前記表示制御部は、前記２点のうち前記第２の点で前記画面に表示された表示対象を特定し、前記第１の点の位置座標に応じて、前記特定された表示対象に関する情報の前記表示部における表示位置を制御する、
   表示装置。
7. 請求項１に記載の表示装置であって、
   前記表示制御部は、前記Ｚ方向の座標が前記第１の座標範囲にある場合又は前記第２の座標範囲にある場合、その旨を前記表示部に表示させる、
   表示装置。
8. 検知対象が近接又は接触したことを検知するタッチパネルを有する表示装置において利用可能な表示制御方法であって、
   前記タッチパネルにより近接又は接触したことが検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出するステップと、
   前記検出された位置座標に基づいて、前記検知対象の向きを判定するステップと、
   前記判定された前記検知対象の向きに基づいて、前記タッチパネルが配置された表示部において前記検知対象によって遮られる表示内容の一部を避けるように前記表示部に表示させるステップと、を有する表示制御方法であって、
   検出された前記検知対象の前記Ｚ方向の座標が第１の座標範囲にある場合、前記検知対象の向きを判定し、
   検出された前記検知対象の前記Ｚ方向の座標が前記第１の座標範囲よりも前記Ｚ方向の座標が小さい第２の座標範囲にある場合、前記検知対象によって遮られる前記表示部の画面を避けるように前記表示部に表示させる、
   表示制御方法。
9. 検知対象が近接又は接触したことを検知するタッチパネルを有する表示装置であるコンピュータに、
   前記タッチパネルにより近接又は接触したことが検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出するステップと、
   前記検出された位置座標に基づいて、前記検知対象の向きを判定するステップと、
   前記判定された前記検知対象の向きに基づいて、前記タッチパネルが配置された表示部において前記検知対象によって遮られる一部を避けるよう、前記表示部の表示を制御する
   ステップを備え、
   検出された前記検知対象の前記Ｚ方向の座標が第１の座標範囲にある場合、前記検知対象の向きを判定し、
   検出された前記検知対象の前記Ｚ方向の座標が前記第１の座標範囲よりも前記Ｚ方向の座標が小さい第２の座標範囲にある場合、前記検知対象によって遮られる前記表示部の画面を避けるように前記表示部に表示させること、を実行させる、
   表示制御プログラム。
10. 検知対象が近接又は接触したことを検知可能なタッチパネルと、
    前記タッチパネルにより近接又は接触が検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出可能な位置検出部と、
    前記タッチパネルが配置された表示部と、を備えた入力装置であって、
    前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも所定時間より長い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示し、
    前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも前記所定時間より短い場合、前記表示部が前記インジケータを表示せず、
    前記検知対象の前記タッチパネルの面への接触が検知されたとき、前記インジケータが表示されていれば前記インジケータの示す前記ＸＹ方向の位置に対して前記検知対象の接触に対応付けられた処理を行い、前記インジケータが表示されていなければ前記検知対象の接触が検知されたＸＹ方向の座標に対して前記検知対象の接触に対応付けられた処理を行う、
    入力装置。
11. 請求項１０に記載の入力装置であって、
    前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも所定時間より長い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを、前記位置検出部により検出された前記検知対象のＸＹ方向の座標を所定のオフセット量ほど移動させた位置に表示する、
    入力装置。
12. 請求項１０又は請求項１１に記載の入力装置であって、
    前記インジケータが表示された後に、前記検知対象が前記タッチパネルの面に対して接触した状態から非接触状態になった場合に、前記表示部に表示された前記インジケータを非表示する、
    入力装置。
13. 請求項１０から請求項１２のいずれか１項に記載の入力装置であって、
    前記表示部の表示領域毎に、前記表示部に表示されているオブジェクトを判定するアプリケーション処理部と、を更に備え、
    前記判定された前記表示領域毎の前記オブジェクトを基に、前記表示部は、前記検知対象が指定する操作対象の位置に、前記インジケータを表示し、又は前記インジケータを表示しない、
    入力装置。
14. 検知対象が近接又は接触したことを検知可能なタッチパネルと、
    前記タッチパネルにより近接又は接触が検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出可能な位置検出部と、
    前記タッチパネルが配置された表示部と、を備えた入力装置において利用可能な入力支援方法であって、
    前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも所定時間より長い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示し、
    前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも前記所定時間より短い場合、前記表示部が前記インジケータを表示せず、
    前記検知対象の前記タッチパネルの面への接触が検知されたとき、前記インジケータが表示されていれば前記インジケータの示す前記ＸＹ方向の位置に対して前記検知対象の接触に対応付けられた処理を行い、前記インジケータが表示されていなければ前記検知対象の接触が検知されたＸＹ方向の座標に対して前記検知対象の接触に対応付けられた処理を行う、
    入力支援方法。
15. 検知対象が近接又は接触したことを検知可能なタッチパネルと、
    前記タッチパネルにより近接又は接触が検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出可能な位置検出部と、
    前記タッチパネルが配置された表示部と、を備えた入力装置であるコンピュータに実行させるためのプログラムであって、
    前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも所定時間より長い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示し、
    前記Ｚ方向について前記検知対象が前記タッチパネルから離間し、かつ前記検知対象と前記タッチパネルとの距離が所定距離未満である時間が、少なくとも前記所定時間より短い場合、前記表示部が前記インジケータを表示せず、
    前記検知対象の前記タッチパネルの面への接触が検知されたとき、前記インジケータが表示されていれば前記インジケータの示す前記ＸＹ方向の位置に対して前記検知対象の接触に対応付けられた処理を行い、前記インジケータが表示されていなければ前記検知対象の接触が検知されたＸＹ方向の座標に対して前記検知対象の接触に対応付けられた処理を行う、
    プログラム。
16. 検知対象が近接又は接触したことを検知可能なタッチパネルと、
    前記タッチパネルにより近接又は接触が検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出可能な位置検出部と、
    前記タッチパネルが配置された表示部と、を備えた入力装置であって、
    前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも所定速度より遅い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示し、
    前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも前記所定速度より速い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示せず、
    前記検知対象の前記タッチパネルの面への接触が検知されたとき、前記インジケータが表示されていれば前記インジケータの示す前記ＸＹ方向の位置に対して前記検知対象の接触に対応付けられた処理を行い、前記インジケータが表示されていなければ前記検知対象の接触が検知されたＸＹ方向の座標に対して前記検知対象の接触に対応付けられた処理を行う、
    入力装置。
17. 請求項１６に記載の入力装置であって、
    前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも所定速度より遅い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを、前記位置検出部により検出された前記検知対象のＸＹ方向の座標を所定のオフセット量ほど移動させた位置に表示する、
    入力装置。
18. 請求項１６又は請求項１７に記載の入力装置であって、
    前記インジケータが表示された後に、前記検知対象が前記タッチパネルの面に対して接触した状態から非接触状態になった場合に、前記表示部に表示された前記インジケータを非表示する、
    入力装置。
19. 請求項１６から請求項１８のいずれか１項に記載の入力装置であって、
    前記表示部の表示領域毎に、前記表示部に表示されているオブジェクトを判定するアプリケーション処理部と、を更に備え、
    前記判定された前記表示領域毎の前記オブジェクトを基に、前記表示部は、前記検知対象が指定する操作対象の位置を、前記インジケータを表示し、又は前記インジケータを表示しない、
    入力装置。
20. 検知対象が近接又は接触したことを検知可能なタッチパネルと、
    前記タッチパネルにより近接又は接触が検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出可能な位置検出部と、
    前記タッチパネルが配置された表示部と、を備えた入力装置において利用可能な入力支援方法であって、
    前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも所定速度より遅い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示し、
    前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも前記所定速度より速い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示せず、
    前記検知対象の前記タッチパネルの面への接触が検知されたとき、前記インジケータが表示されていれば前記インジケータの示す前記ＸＹ方向の位置に対して前記検知対象の接触に対応付けられた処理を行い、前記インジケータが表示されていなければ前記検知対象の接触が検知されたＸＹ方向の座標に対して前記検知対象の接触に対応付けられた処理を行う、
    入力支援方法。
21. 検知対象が近接又は接触したことを検知可能なタッチパネルと、
    前記タッチパネルにより近接又は接触が検知された前記検知対象の、前記タッチパネルの面に沿う方向であるＸＹ方向の座標と、前記タッチパネルの面に対して垂直方向であるＺ方向の座標とを含む位置座標を検出可能な位置検出部と、
    前記タッチパネルが配置された表示部と、を備えた入力装置であるコンピュータに実行させるためのプログラムであって、
    前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも所定速度より遅い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示し、
    前記Ｚ方向について前記検知対象の前記タッチパネルに対する近接速度が、少なくとも前記所定速度より速い場合、前記表示部が、前記検知対象が指定する操作対象の前記ＸＹ方向の位置を指し示すインジケータを表示せず、
    前記検知対象の前記タッチパネルの面への接触が検知されたとき、前記インジケータが表示されていれば前記インジケータの示す前記ＸＹ方向の位置に対して前記検知対象の接触に対応付けられた処理を行い、前記インジケータが表示されていなければ前記検知対象の接触が検知されたＸＹ方向の座標に対して前記検知対象の接触に対応付けられた処理を行う、
    プログラム。

Images