JP6331022B2 - 表示装置、表示制御方法、及び表示制御プログラム - Google Patents

Description

本開示は、タッチパネルを備えた表示装置、その表示制御方法及びプログラムに関する。

タッチパネルを備えた表示装置には、ユーザがタッチパネル上でポインティングデバイス（電子ペンやマウス等）を用いて文字や図形等を入力したり、手のタッチ操作により画面に表示されたアイコンやウインドウを選択したりする装置が知られている。
また、ユーザが手のタッチにより操作する場合、手のひらや指の開き具合に応じて、表示制御を行う表示装置が知られている（例えば、特許文献１参照）。かかる表示装置は、画面をタッチした指の接点とその接点を結ぶ線とを検出し、検出された点と線とにより形成される多角形の面積を算出し、その面積の大きさに応じて、表示切替速度を変更する。

特開２０１１−００３０７４号公報

タッチパネルを備えた表示装置の普及が進む中、タッチによる操作性を向上させる要請は高い。
本開示は、タッチパネルを備えた表示装置において、タッチによる操作性を向上させることを目的とする。

本開示における表示装置は、タッチパネルを有する表示装置であって、表示部と制御部とを備える。表示部は、タッチ操作に応じた情報を表示可能な画面を有する。制御部は、表示部の画面においてタッチ操作による複数の接触位置を検出し、同検出結果に基づいて表示部を制御する。表示部は、画面において、複数の接触位置から所定間隔を空けた位置に第１の選択情報を表示し、複数の接触位置のうち一以上の接触位置が移動した場合は、移動後の接触位置から所定間隔を空けた位置に第１の選択情報を移動して表示する。
本開示における表示制御方法は、タッチパネルを有する表示装置により実行する表示制御方法であって、表示装置の画面においてタッチ操作による複数の接触位置を検出し、画面において、複数の接触位置から所定間隔を空けた位置に第１の選択情報を表示させ、画面において、複数の接触位置のうち一以上の接触位置が移動した場合は、移動後の接触位置から所定間隔を空けた位置に第１の選択情報を移動して表示させる。

本開示における表示制御プログラムは、タッチパネルを有する表示装置においてコンピュータにより実行される表示制御プログラムであって、表示装置の画面においてタッチ操作による複数の接触位置を検出し、画面において、複数の接触位置から所定間隔を空けた位置に第１の選択情報を表示させ、画面において、複数の接触位置のうち一以上の接触位置が移動した場合は、移動後の接触位置から所定間隔を空けた位置に第１の選択情報を移動して表示させる。

本開示は、タッチパネルを備えた表示装置において、タッチによる操作性を向上させるのに有効である。

タブレット端末の構成を示す図。 タブレット端末の表示パネルの断面図。 タブレット端末の概略構成図。 実施の形態１に係るメニュー表示動作のフローチャート。 実施の形態１に係るメニューの表示例を示す図。 実施の形態２に係るメニュー表示動作のフローチャート。 実施の形態２に係るメニュー表示動作のフローチャート。 実施の形態２によるタッチ操作の一例を示す図。 実施の形態２の制御装置による接触位置間の距離測定を説明するための図。 実施の形態２の制御装置による手の大きさ及び位置の測定を説明するための図。 実施の形態２によるメニュー表示例を示す図。 実施の形態２によるメニュー表示位置の補正を説明するための図。 実施の形態２の変形例に係るメニュー表示例を示す図。 同変形例に係るメニュー表示動作のフローチャート。 その他実施の形態に係るメニュー表示例を示す図。 その他実施の形態に係るメニューの形態を示す図。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
後述する実施形態に係る表示装置は、画面をユーザがタッチしたとき、そのタッチした手の近辺であってユーザが見やすい位置にメニュー表示を行なうものである。特に、ユーザは、設計図等、精密な図形を画面上に描写するため、片方で電子ペン等のポインティングデバイスを用いて作図しながら、他方の手でタッチ操作を行ってメニュー表示・選択を行うことを可能にする。

また、本開示においては、表示装置としてタブレット端末を例に挙げて説明する。本実施形態のタブレット端末は、例えば、建築物の設計図等を表示、変更するＣＡＤシステムを備え、動作するものとして説明する。
（実施の形態１）
[１−１．構成]
図１は、本実施形態によるタブレット端末１（表示装置の一例）の構成を示す。タブレット端末１は、表示パネル２（表示部の一例）と、後述する表示パネル２に接続される制御装置３とを備える。
図２は、表示パネル２の断面図である。図１及び図２に示すように、表示パネル２は、ペンパネル２１と、タッチパネル２３と、液晶パネル２５とが積層状態で筐体２４（図１）によって一体的に組み立てられている。

ペンパネル２１は、ユーザのペン操作の軌跡を検出し、座標の元情報を後述するペン操作検出回路３１に出力する。
タッチパネル２３は、ユーザのタッチ操作を受け付ける。タッチパネル２３は、少なくともタッチ操作領域をカバーする広さで、液晶パネル２５に重畳して配置されている。タッチパネル２３は、ユーザが操作する側から順に、ガラスやプラスチック等の絶縁体フィルム層からなるカバー２２（図２）、電極層、基板層の順に構成されている。電極層には、Ｘ軸（たとえば横軸）とＹ軸（例えば縦軸）に透明電極がマトリクス状に配され、後述する接触位置の座標情報が取得される。なお、各電極は液晶パネル２５の各画素よりも小さい密度で配置されていてもよいし、各画素と概ね同等の密度で配置されていてもよい。本実施形態では、前者の構成を採用しているものとして説明する。なお、タッチパネル２３としては、静電式、抵抗膜式、光学式、超音波方式、電磁式等の方式を採用できる。

液晶パネル２５は、後述するグラフィックコントローラ３３（図３）によって処理された画像データに基づく画像を表示する画面２０１を提供する。液晶パネル２５は、文字、数字等のテキストデータや、図形を表示する。本実施形態においては、液晶パネル２５は特に建築物の設計図等を表示する装置として説明する。本実施形態においては、液晶パネル２５は、２０インチの画面２０１を有し、その画像解像度は、例えば、３，８４０×２，５６０ドットである。なお、液晶パネル２５に代えて、有機ＥＬパネル、電子ペーパ、プラズマパネルを用いてもよい。また、液晶パネル２５は、電源回路、駆動回路、パネルの種類によっては光源を含んでいてもよい。
筐体２４は、タッチパネル２３、ペンパネル２１、及び液晶パネル２５を含む表示パネル２と、後述する制御装置３を収納する。図１では図示を省略しているが、筐体２４には、電源ボタンやスピーカ等が設けられていてもよい。

ユーザは、表示パネル２の画面２０１に指を接触させることにより、タッチ操作を行う。また、電子ペン５を画面２０１上で走らせて描画することも可能である。
なお、本実施形態では、タッチパネル２３及び液晶パネル２５は別体であるとして説明するが、これらは一体的に形成されていてもよい。後述する図３には、タッチパネル２３及び液晶パネル２５の機能を包含する表示パネル２が示されている。
本実施形態では、ユーザは、その指を表示パネル２の画面２０１に接触させることにより、タッチ操作を行う。なお、ポインティングデバイスの一種であるスタイラスペンを用いるタッチ操作を受け付けてもよい。
図３は、タブレット端末１の内部構成を概略的に示す。
タブレット端末１は、上述の表示パネル２と、制御装置３とを備える。制御装置３は、コントローラ３０（制御部の一例）と、ペン操作検出回路３１と、タッチ操作検出回路３２と、グラフィックコントローラ３３と、ＲＡＭ４０と、通信回路６０と、スピーカ８０と、バス９０と、を備える。

ペン操作検出回路３１は、ペンパネル２１からの入力情報を座標変換して、コントローラ３０に出力する。
タッチ操作検出回路３２は、タッチパネル２３を介して、例えば投影型静電容量方式でユーザのタッチ操作を検出する。タッチ操作検出回路３２は、Ｘ軸、及びＹ軸のマトリックスを順次スキャンする。そして、タッチ操作検出回路３２は、静電容量の変化を検出すると、その位置にタッチ操作が行われたことを検出し、液晶パネル２５の各画素と同等以上の密度（解像度）で座標情報を生成する。タッチ操作検出回路３２は、同時に複数個所のタッチ操作を検出することが可能であり、タッチ操作に起因して検出された一連の座標データを継続的に出力する。この座標データは、後述するコントローラ３０に入力され、種々のタッチ操作（タップ、ドラッグ、フリック、スワイプ等）として検出される。

なお、タッチ操作を検出する機能は、一般にはタブレット端末１を動作させているオペレーティング・システムの機能として実現される。
コントローラ３０は、ペン操作検出回路３１による検出情報やタッチ操作検出回路３２により検出されたタッチ情報を用いて後述する各種の処理を行う処理回路（例えば、ＣＰＵ）である。また、コントローラ３０は、所定のアプリケーションによる表示制御プログラム（例えば、ＣＡＤのアプリケーション）を実行する。
グラフィックコントローラ３３は、コントローラ３０によって生成される制御信号に基づいて動作する。グラフィックコントローラ３３は、液晶パネル２５に表示されるメニュー画像等の画像データを生成し、画面２０１に表示させる。
ＲＡＭ４０は、いわゆるワークメモリである。ＲＡＭ４０には、コントローラ３０によって実行される、タブレット端末１を動作させるためのアプリケーションによる表示制御プログラムが展開される。

通信回路６０は、例えばインターネットや、パーソナルコンピュータ等への通信を可能にする回路である。通信回路６０は、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した無線通信回路であり、電子ペンやマウス等の入力手段と通信可能である。
スピーカ８０は、コントローラ３０が生成した音声信号に基づく音声を出力する。
バス９０は、表示パネル２を除く各構成要素を相互に接続し、信号を授受可能にする信号線である。
制御装置３は更に、図３に示すように、ストレージ７０に接続される。ストレージ７０は、例えばフラッシュメモリである。ストレージ７０は、表示に利用される画像データ７１、上述の表示制御プログラム７２（例えば、ＣＡＤのアプリケーション）、後述するタッチ情報７３等が格納される。本実施形態において、画像データ７１は、例えば静止画像データや三次元画像データを含む。

［１−２．動作］
次に、図４及び図５を参照しながら、ユーザのタッチ操作により表示パネル２の画面２０１においてメニューを表示させる表示動作を説明する。図４は、メニューを表示させるための処理のフローチャートを示す。図５は、メニューの表示例を示す。
Ｓ１０１：ユーザの片手（図示例では左手）の複数の指をタッチパネル２３に接触させると、タッチ操作検出回路３２により検出される。コントローラ３０は、検出されたタッチの接触位置、つまり座標値を算出する。
Ｓ１０２：コントローラ３０は、画面２０１において、算出した接触位置から所定間隔を空けた位置にメニュー（第１の選択情報の一例）を表示させる。例えば、図５（ａ）のように、薬指、人差し指の座標位置をもとに、同じ内容のメニューＭ１，Ｍ２をそれぞれ薬指及び人差し指により隠れない位置、例えばその上部に表示する。このように、メニューを表示することで、薬指、人差し指のどちらでもメニューを選択することが可能になる。

また、ユーザが指を画面２０１上に移動させた場合であっても、移動後の指の座標位置をもとに、指により隠れない位置、例えばその上部にメニューが表示される。
次に、図５（ｂ）に示すように、ユーザが、例えば薬指で表示されたメニューＭ１のいずれかの項目を選択したときは、コントローラ３０は、表示パネル２に人差し指側のメニューＭ２を画面２０１から消去させる。反対に、ユーザが人差し指でメニューＭ２を選択したときには、コントローラ３０は、表示パネル２に薬指側のメニューＭ１を画面２０１から消去させる。
ステップＳ１０３：コントローラ３０は、画面２０１において、ステップＳ１０４において薬指で選択されたメニューＭ１に続く更なるメニューＭ３（第２の選択情報の一例）を表示パネル２に表示させる。例えば、図５（ｃ）に示すように、人差し指の上部に更なるメニューＭ３を表示する。メニューＭ３は、メニューＭ１で選択された項目によって異なる内容を含む。

このとき、コントローラ３０は、表示パネル２に対して、薬指の付近に表示したメニューＭ１を画面２０１から消去させる。このように、メニューＭ１を選択した指とは異なるもう一方の指の上部に更なるメニューＭ３を表示することで、ユーザは無理なく指を動かしてメニューを選択することができる。
なお、本実施形態では、画面２０１上の薬指と人差し指の近傍にメニュー項目を表示する例を説明したが、異なる２本の指であれば、薬指と人差し指である必要はない。
また、メニューは、画面２０１上の各指からの距離が大体等しくなるように曲面上に並んで表示させてもよい。
［１−３．効果等］
本実施形態に係るタブレット端末１（表示装置の一例）は、タッチ操作に応じた情報を表示可能な画面２０１を有する表示パネル２（表示部の一例）と、タッチ操作による画面２０１上の複数の接触位置を検出し、表示パネル２の画面２０１において、複数の接触位置から所定間隔を空けた位置にメニュー（第１の選択情報の一例）を表示させるコントローラ３０（制御部の一例）と、を備える。更に、表示パネル２は、画面２０１において、複数の接触位置のうち一以上の接触位置が移動した場合は、移動後の接触位置から所定間隔を空けた位置に第１の選択情報を移動して表示する。

従来では、手のひらそのものを検出しているのではなく、手のひらの大きさや、手のひらの回転量を測定することが目的であるため、個々の指は特に区別して認識はしておらず、画面２０１における指の接点を結んだ多角形のみで認識をしている（例えば、特許文献１）。
例えば、手のひらの周辺にＧＵＩのメニューを表示したい場合に、従来では手のひらの大きさは認識することはできるが、指の位置や、左右の手判断もできないため、操作しやすい表示インターフェースを実現することができなかった。
上記実施形態に係るタブレット端末１によれば、複数の指の接触位置にそれぞれ対応する画面２０１上の位置より所定間隔を空けた位置にメニューを表示させることができる。よって、操作性に優れた表示インターフェースを実現することができる。

また、本実施形態に係るタブレット端末１では、表示パネル２は、第１のメニューの項目が選択された場合、選択されたメニューの項目によって異なる第２のメニューを表示する。よって、ユーザは、片手（片方の指）だけで階層的なメニューを表示させることができるため、操作性に優れた表示インターフェースを実現することができる。
（実施の形態２）
以下、実施の形態２に係るタブレット端末について説明する。
本実施形態においては、画面上に接触した手の位置（各指の位置、親指の識別、傾き、中心を含む）、手の大きさ、左手か右手か等を判定し、これらの情報に基づきメニュー表示位置を決定する。よって、表示されるメニューは、ユーザにとってタッチ操作がしやすく且つ見えやすい位置に配することができるため、タッチパネルの操作性を向上させることができる。

［２−１．構成］
本実施形態に係るタブレット端末（表示装置の一例）構成は、実施の形態１に係るタブレット端末１（図１〜図３）と同様であるため、説明を省略する。また、必要に応じてこれらの図及び符号を引用して説明する。
［２−２．動作］
次に、図６〜図１２を参照して、主に図３に示す制御装置３によるメニュー表示処理について説明する。
本実施形態に係るタブレット端末１において、制御装置３のコントローラ３０は、手の位置や大きさを検出し、また左手か右手かを判別して、これらの情報に基づいて画面２０１におけるメニュー表示位置を決定する。以下、その動作について、図６及び図７のフローチャートに沿って説明をする。

Ｓ２００：コントローラ３０は、画面がタッチされたかどうかを検出する。具体的には、コントローラ３０は、タッチ操作検出回路３２によりタッチ操作が検出されたかどうか判定する。
コントローラ３０は、検出された接触位置、つまり全ての指の座標値を計算し、タッチ情報７３としてストレージ７０に記憶する。
Ｓ２０１：ステップＳ２００に並行して、コントローラ３０は、検出された接触位置の個数ｎを計測する。
Ｓ２０２：コントローラ３０は、検出された接触位置が２つより大きい、つまり、３以上であれば処理を続行するため、ステップＳ２０３に進む。一方、コントローラ３０は、接触位置が２以下である場合は、ステップＳ２００に戻り、次のタッチ入力を待つ。

本実施形態においては、手の位置検出は、３点以上の接触位置があれば検出可能である。しかし、本説明では、図８に示すように、表示パネル２の画面２０１に、左手３０１の５つの指、つまり、５点の接触位置Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５がなされた例を用いて説明する。
Ｓ２０３：コントローラ３０は、各接触位置について他の接触位置との距離の総和を求める。本ステップによる処理の具体的な例を、図９（ａ）〜図９（ｅ）に示す。図９（ａ）は、接触位置Ｔ１（ここでは、小指）から、Ｔ２〜Ｔ５それぞれまでの各距離を求める。各２点間の距離測定は、接触位置Ｔ１と該当の点の座標値に基づき、次の数式（１）で２点間距離を取得することができる。

上記数式１は、点Ａ（ａ，ｂ）、点Ｂ（ｃ，ｄ）間の距離を求める式であり、ａ，ｃはＸ座標値、ｂ，ｄはＹ軸の座標値である。
図９（ｂ）は接触位置Ｔ２（ここでは、薬指）、図９（ｃ）は接触位置Ｔ３（ここでは、中指）、図９（ｄ）は接触位置Ｔ４（ここでは、人差指）、図９（ｅ）は接触位置Ｔ５（ここでは、親指）をそれぞれ起点とした他の接触位置との距離を表した図である。以上のように、各指を起点とした他の指の接触位置までの距離を求め、それぞれの総和を求める。

Ｓ２０４：コントローラ３０は、ステップＳ２０３の計算をｎ回行ったかどうか、つまり各接触位置と、他の全ての接触位置との距離の総和をすべて計算したかどうかを判定する。
Ｓ２０５：コントローラ３０は、ステップＳ２０４の計算結果に基づいて、接触位置Ｔ１〜Ｔ５のうち、いずれが親指の位置であるかを判定する。具体的には、コントローラ３０は、ステップＳ２０３で計算した各接触位置Ｔを起点とした他の接触位置までの距離の総和を比較する。このうち、最も総和が大きい接触位置が親指の位置と判定する。本実施形態では、親指が他の指より遠い位置に置かれ、他の指の位置に対する距離の総和が大きくなるという特徴に着目している。よって、コントローラ３０は、他の接触位置との距離が総じて大きい接触位置を親指の位置と判定する。この結果、図８に示す例で言えば、手３０１においては、他の接触位置との距離の総和が大きくなるのは接触位置Ｔ５であることは明白である。よって、コントローラ３０は、接触位置Ｔ５が親指の接触位置と判断し、タッチ情報７３としてストレージ７０に記憶する。

続いて、コントローラ３０は、親指の接触位置と判定した接触位置Ｔ５以外のＴ１〜Ｔ４より、手の傾き、大きさ、中心座標、そして、タッチした手が右手か、左手かを判断する。具体的には、以下の通りである。
Ｓ２０６：コントローラ３０は、手の傾きを検出する。具体的には、コントローラ３０は、まず、図１０に示すように、親指の接触位置以外のＴ１〜Ｔ４の座標を囲む最小の矩形領域５００を抽出する。この矩形領域５００は、親指の接触位置Ｔ５から最も距離があるＴ１を一つの頂点とする。コントローラ３０は、矩形領域５００の左下の点５０１（つまり、Ｔ１）を含む対角線（ここでは、点５０１と右上の点５０２間を結ぶ対角線）を決定する。この２点の座標値から求められるΔＸ、ΔＹより、傾き５０３（ΔＹ／ΔＸ）を計算する。本実施形態では、この傾き５０３を、手の傾きとし、コントローラ３０は、タッチ情報７３としてストレージ７０に記憶する。

なお、手の傾きの検出は上記方法に限定されない。親指の接触位置Ｔ５以外のＴ１〜Ｔ４の座標を結ぶ近似直線を算出し、これを傾きとしてもよい。
Ｓ２０７：コントローラ３０は、手の大きさを検出する。具体的には、コントローラ３０は、上記矩形領域５００の左下の点５０１と点５０２の２点間の距離を計算する。この２点間の距離は、上記数式（１）で求められる。コントローラ３０は、この距離を手の大きさとし、タッチ情報７３としてストレージ７０に記憶する。
Ｓ２０８：コントローラ３０は、更に、図１１に示すように手の中心点６００の座標を検出する。具体的には、コントローラ３０は、Ｔ１〜Ｔ５の座標の平均値を手の中心位置として算出し、タッチ情報７３としてストレージ７０に記憶する。
Ｓ２０９：コントローラ３０は、タッチしている手が右手であるか左手あるかを判定する。具体的には、コントローラ３０は、まず、親指の接触位置と判定したＴ５と、他の４点の最小座標（ここでは、点５０１）とを使って、２点の座標値から傾き５０４（図１０）を計算する。コントローラ３０は、傾き５０３と傾き５０４とにより、次に説明する通り左手か右手かを判定する。本実施形態では、図８に示す手３０１は左手であるが、その場合、傾き５０３、５０４の差である傾き５０５は正、つまりベクトルの内積は正となる。これは、左手の親指の位置の特徴から判断ができる。一方、右手の場合は、同様判断すると親指の位置の特徴から傾き５０５は負となる。以上により、コントローラ３０は、左手か右手かを判断し、タッチ情報７３としてストレージ７０に記憶する。

なお、右手か左手かの判定は、親指の接触位置のＸ座標値と、親指の接触位置から最も距離がある接触位置のＸ座標値と比較することにより実行してもよい。コントローラ３０は、親指の接触位置のＸ座標値の方が大きければ（つまり、親指が他の指に対し画面に向かって右側に位置する）左手と判定し、親指の接触位置のＸ座標値の方が小さければ（つまり、親指が他の指に対し画面に向かって左側に位置する）右手と判定するようにしてもよい。
以上により、算出された手の傾き、大きさ、中心座標、そして右手/左手判断結果に基づいて、コントローラ３０は、図１１に示すように、画面２０１上の手の周辺に表示するためのメニューの座標を算出する。
Ｓ２１０：コントローラ３０は、図１１に示すようなメニュー位置の座標を出力するため、中心点６００を中心とした円６０１を算出する。この場合、コントローラ３０は、円６０１の半径を、計算した手の大きさ６０４より大きい値となるように任意の倍率、もしくは固定値を足した長さに設定する。これにより、手の外側周囲にメニュー座標が位置する。更に、コントローラ３０は、円６０１上であって且つ接触位置Ｔ１〜Ｔ５に近い座標位置をメニュー座標とすることにより、各指先にメニューが表示されるように制御する。また、本実施形態では親指の座標値を認識していることを利用し、操作しやすい（押しやすい）親指側の位置にメニューを優先的に表示させることにより、使いやすいユーザインターフェースを実現することができる。例えば、図１１に示すメニュー６０２のように、親指近くの位置に優先的にメニューを表示する。

なお、メニューの数や位置（いずれの指の近くに表示させるか等）は図示例のものに限定されない。
Ｓ２１１：コントローラ３０は、メニュー座標が表示可能領域内か否かを判定する。具体的には、コントローラ３０は、メニューが表示される円６０１の位置に基づき、メニュー表示位置が画面２０１内にあるかどうかを判定する。例えば、図１２（ａ）に示すように、メニューが表示される円６０１の位置が画面外になってしまうことがある。このような場合は、メニュー表示位置の座標が取得できない。よって、コントローラ３０は、後述するメニュー座標位置の補正を実行するため、ステップＳ２１２に進む。メニュー座標が表示可能領域内である場合は、ステップＳ２１３に進む。
なお、コントローラ３０は、ステップＳ２１１においてメニュー座標が表示可能領域外であったと判定した場合、画面２０１上にアラート表示したり、スピーカ８０を介して警告音を出力したりすることにより、ユーザにメニュー表示が適切になされないことを通知するようにしてもよい。これにより、ユーザは手の位置を変更することも可能である。ユーザは手の位置を変更する、つまり手を画面２０１から離した場合、処理は終了する。

Ｓ２１２：コントローラ３０は、ステップＳ２１０で算出したメニュー座標を補正する。図１２（ｂ）に示すように、メニュー座標は円６０１上であり、コントローラ３０は、親指の接触位置を判別している。よって、コントローラ３０は、例えば、操作しやすい（画面を押しやすい）親指側、つまり、メニューを右回転させるようにして補正する。例えば、図１２（ｂ）に示すように、メニュー７０１をメニュー７０１ａの位置に、メニュー７０３をメニュー７０３ａの位置に移動させる。
なお、メニュー位置を７０３ａの位置以上右回転させて移動させると、メニューが手首の下に隠れてしまう。これを防ぐため、コントローラ３０は、円６０１の更に外側に位置するメニュー座標円７０７を算出し、メニュー表示位置が重ならないように、その円７０７上にメニュー７０２ａ表示させる。

Ｓ２１３：コントローラ３０は、グラフィックコントローラ３３を介して、ステップＳ２１０又はＳ２１２において取得したメニュー座標に基づき、メニューを画面２０１に表示させる。
Ｓ２１４：コントローラ３０は、画面２０１上の接触位置に変更があったかどうかを判定する。例えば、ユーザが接触している指の一部を画面２０１から離して、他の位置にタッチした場合等である。この場合、処理はステップＳ２０１に戻る。
Ｓ２１５：コントローラ３０は、画面２０１上のタッチが解消されたかどうかを判定する。例えば、ユーザが接触している手を画面２０１から離した場合である。この場合、処理は終了する。
［２−３．効果等］
本実施形態に係るタブレット端末１（表示装置の一例）は、タッチ操作に応じた情報を表示可能な画面２０１を有する表示パネル２（表示部の一例）と、タッチ操作による画面２０１上の複数の接触位置を検出し、表示パネル２の画面２０１において、複数の接触位置から所定間隔を空けた位置にメニュー（第１の選択情報の一例）を表示させるコントローラ３０（制御部の一例）と、を備える。更に、表示パネル２は、画面２０１において、複数の接触位置のうち一以上の接触位置が移動した場合は、移動後の接触位置から所定間隔を空けた位置に第１の選択情報を移動して表示する。

このため、複数の指の接触位置にそれぞれ対応する画面２０１上の位置より所定間隔を空けた位置にメニューを表示させることができる。よって、操作性に優れた表示インターフェースを実現することができる。
更に、本実施形態に係るタブレット端末１においては、コントローラ３０は、画面２０１において、複数の接触位置間の距離に基づき、ユーザの親指の接触位置と、親指以外の指の他の接触位置とを検出し、親指の接触位置と複数の他の接触位置とに基づき、メニューの表示位置を決定する。
このため、複雑な手の位置の変化や手の大きさの相違があっても、指の接触位置に応じた画面２０１上の位置にメニューを表示させることができる。よって、操作性に優れた表示インターフェースを実現することができる。

更に、操作がしやすい親指の近くにメニューを配することが可能となるため、使いやすい表示インターフェースを実現することができる。
また、本実施形態によれば、手の検出（指認識）を実現することができ、手のひらの検知だけでなく、手のひらの大きさ、角度、指認識が可能となる。よって、手のひらの周りにGUIメニューを最適に表示可能となり、使いやすいタッチパネルのインターフェースを実現することができる。また、５点タッチ検出をグルーピングすると、複数の手のひらに対応が可能となり、両手インターフェースや、複数人数によるメニュー操作が可能となり、タッチパネルを囲んで操作ができるといった使い方を実現できる。
［２−４．変形例］
本実施形態においては、メニュー表示位置が画面２０１の表示可能領域外となる場合、メニューの表示位置を補正する。これに加えて、メニュー表示位置が画面の表示可能領域内であっても、メニュー位置の補正は行ってもよい。

例えば、図１３に示すように、一部のメニュー表示位置が小指側にある場合、ユーザにとってメニューの選択操作がしにくい（画面をタッチしにくい）。このため、小指側にあるメニュー位置（点線部分）を親指側の位置に変更する。
この場合、図６のステップＳ２００〜Ｓ２０９の処理後、コントローラ３０は、図７の処理に代えて図１４に示す処理を実行する。
Ｓ２１０ａ〜Ｓ２１２ａは、ステップＳ２１１〜Ｓ２１２と同様である。
Ｓ２１３ａ：コントローラ３０は、更にメニュー表示位置の変更が必要かどうかを判定する。この判定は、例えば、親指の座標位置からのメニューの座標位置までの距離が所定以上を越える場合は、メニュー表示位置の変更が必要であると判定し、ステップＳ２１４ａに進む。メニュー表示位置の変更が不要の場合はステップＳ２１５ａに進む。

Ｓ２１４ａ：コントローラ３０は、図６のステップＳ２１０ａで算出したメニュー座標又ステップＳ２１２ａで補正したメニュー座標を更に変更する。図１３に示すように、コントローラ３０は、メニュー座標は円６０１上であることと、親指の位置を判別している。よって、コントローラ３０は、例えば、操作しやすい（画面を押しやすい）親指側、つまり、メニューを右回転させるようにして補正する。或いは、変更を要すると判定されたメニュー表示位置を親指側（つまり、親指の座標値近傍であて、円６０１上の位置）に移動させてもよい。
Ｓ２１５ａ：コントローラ３０は、グラフィックコントローラ３３を介して、ステップＳ２１０ａ、Ｓ２１２ａ又はＳ２１４ａにおいて取得したメニュー座標に基づき、メニューを画面２０１に表示させる。

Ｓ２１６ａ：コントローラ３０は、画面２０１上の接触位置に変更があったかどうかを判定する。例えば、ユーザが接触している指の一部を画面２０１から離して、他の位置にタッチした場合等である。この場合、処理は図６のステップＳ２０１に戻る。
Ｓ２１７ａ：コントローラ３０は、画面２０１上のタッチが解消されたかどうかを判定する。例えば、ユーザが接触している手を画面２０１から離した場合である。この場合、処理は終了する。
（その他実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１及び２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１及び２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。
［１］
上記実施形態のメニュー位置補正に加えて、例えば、図１５に示すように、ユーザが画面を指でスワイプ（タッチパネルに触れた状態で指を滑らせること）したとき、表示されている各メニュー項目を左右に回転させるように移動させてもよい。
この場合、コントローラ３０は、タッチされた指によるスワイプ操作を検出し、そのスワイプ方向に応じて、所定距離メニュー項目の座標位置を回転移動させる。
［２］
メニュー項目の表示態様は、実施の形態１や実施の形態２に挙げられたように、複数のボタンを表示するものに限定されない。

例えば、図１６に示すように、コントローラ３０は、リスト状のメニューを（リスト等）画面２０１に表示させるようにしてもよい。この場合、例えば、ユーザがタッチした親指を画面上下にスワイプ操作をすると、コントローラ３０は、そのスワイプ操作を検出し、リストがスクロールするように表示させてもよい。つまり、画面のタッチ操作によりマウスのスクロール動作と同様の動作を画面上で行うことができる。
［３］
上記実施形態においては、タッチ操作に応じて画面上にメニューを表示させているが、これに限定されない。その他の、ユーザがタッチ操作により選択する情報であってもよい。
［４］
上記実施形態においては、表示装置１は、タブレット端末として表示パネル２と制御装置３とを一体化したものを例に挙げていたが、これに限定されない。制御装置３の一部を、別体のコンピュータ端末に搭載し、表示パネル２と接続する形態であってもよい。

［５］
上記実施形態における処理（図６、図７、図１４等）の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができる。
［６］
本発明は、表示装置１の形態により実施されることに限られない。表示装置１により実行される表示制御方法や、表示装置１により実行されるコンピュータプログラム、かかるプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであり、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、ユーザによるタッチ操作が可能な表示装置に適用可能である。具体的には、タブレット端末、スマ―トフォン、電子黒板などに、本開示は適用可能である。

１ タブレット端末
２ 表示パネル
３ 制御装置
５ 電子ペン
２１ ペンパネル
２２ カバー
２３ タッチパネル
２４ 筐体
２５ 液晶パネル
３０ コントローラ
３１ ペン操作検出回路
３２ タッチ操作検出回路
３３ グラフィックコントローラ
４０ ＲＡＭ
６０ 通信回路
７０ ストレージ
７１ 画像データ
７２ 表示制御プログラム
７３ タッチ情報
８０ スピーカ
９０ バス
２０１ 画面

Claims (18)

1. タッチパネルを有する表示装置であって、
   タッチ操作に応じた情報を表示可能な画面を有する表示部と、
   前記表示部の画面において前記タッチ操作による複数の接触位置を検出し、同検出結果に基づいて前記表示部を制御する制御部と、
   を備え、
   前記表示部は、前記画面において、前記複数の接触位置から所定間隔を空けた位置に第１の選択情報を表示し、前記複数の接触位置のうち一以上の接触位置が移動した場合は、移動後の接触位置から前記所定間隔を空けた位置に前記第１の選択情報を移動して表示する、
   表示装置。
2. 前記表示部は、前記第１の選択情報が選択された場合、選択された第１の選択情報によって異なる第２の選択情報を表示する、
   請求項１に記載の表示装置。
3. 前記表示部は、前記複数の接触位置のうち、前記第１の選択情報に対応した一の接触位置とは異なる他の接触位置に対応する位置に前記第２の選択情報を表示する、
   請求項２に記載の表示装置。
4. 前記表示部は、前記第２の選択情報を表示するとき、前記第１の選択情報の表示を消去する、
   請求項２又は３に記載の表示装置。
5. 前記表示部は、前記複数の接触位置のうち二以上の接触位置に対応した位置に複数の前記第１の選択情報をそれぞれ表示する、
   請求項１から４のいずれかに記載の表示装置。
6. 前記複数の第１の選択情報は同じ内容であり、
   前記表示部は、前記複数の第１の選択情報のうち一つが選択された場合、他の第１の選択情報の表示を消去する、
   請求項５に記載の表示装置。
7. 前記表示部は、前記画面に接触したユーザの手を包囲する円の少なくとも一部に沿って、前記第１の選択情報を表示する、
   請求項１から６のいずれかに記載の表示装置。
8. 前記表示部は、前記タッチ操作に応じて、前記第１の選択情報を前記円に沿って回転する方向に移動させて表示する、
   請求項７に記載の表示装置。
9. 前記制御部は、
   前記複数の接触位置間の距離に基づき、ユーザの親指の接触位置である第１の接触位置と、親指以外の指の接触位置である複数の第２の接触位置とを検出し、
   前記第１の接触位置と前記複数の第２の接触位置とに基づき、前記第１の選択情報の表示位置を決定する、
   請求項１から８のいずれかに記載の表示装置。
10. 前記制御部は、前記第１の接触位置と、前記複数の第２の接触位置のうち前記第１の接触位置に近い一以上の第２の接触位置とにそれぞれ対応する位置に、前記第１の選択情報を表示させる、
    請求項９に記載の表示装置。
11. 前記制御部は、前記第１の接触位置、前記複数の第２の接触位置、及び前記第１の接触位置と前記第２の接触位置の位置関係に基づき、前記画面に接触したユーザの左手か右手かを決定し、
    前記決定結果に基づき、前記第１の選択情報の表示位置を決定する、
    請求項９に記載の表示装置。
12. 前記制御部は、前記複数の第２の接触位置の位置関係に基づき、前記画面に接触したユーザの手の大きさを算出し、
    算出された手の大きさに基づき、前記第１の選択情報の表示位置を決定する、
    請求項９に記載の表示装置。
13. 前記制御部は、前記第１の接触位置及び前記複数の第２の接触位置に基づき、前記画面に接触したユーザの手の中心位置を算出し、
    算出された手の中心位置を中心とする円に沿った位置を前記第１の選択情報の表示位置に決定する、
    請求項９から１２のいずれかに記載の表示装置。
14. 前記制御部は、
    前記第１の選択情報の表示位置が、前記画面の表示可能領域外であるかどうかを判定し、
    前記第１の選択情報の表示位置が前記画面の表示可能領域外である場合は、前記第１の選択情報の表示位置を前記画面の表示可能領域内となるように変更する、
    請求項１から１３のいずれかに記載の表示装置。
15. 前記制御部は、前記第１の選択情報の表示位置が前記画面の表示可能領域外である場合は、前記円に沿って前記第１の選択情報の表示位置を前記画面の表示可能領域側に回転させることにより変更する、
    請求項１３に記載の表示装置。
16. 前記制御部は、
    前記第１の選択情報の表示位置が前記第１の接触位置から所定距離以上離れているかどうかを判定し、
    前記第１の選択情報の表示位置が前記第１の接触位置から所定距離以上離れている場合は、前記複数の第２の接触位置のうち前記第１の接触位置により近い第２の接触位置に対応する位置に前記第１の選択情報の表示位置を変更する、
    請求項９に記載の表示装置。
17. タッチパネルを有する表示装置により実行する表示制御方法であって、
    前記表示装置の画面においてタッチ操作による複数の接触位置を検出し、
    前記画面において、前記複数の接触位置から所定間隔を空けた位置に第１の選択情報を表示させ、
    前記画面において、前記複数の接触位置のうち一以上の接触位置が移動した場合は、移動後の接触位置から前記所定間隔を空けた位置に前記第１の選択情報を移動して表示させる、
    表示制御方法。
18. タッチパネルを有する表示装置においてコンピュータにより実行される表示制御プログラムであって、
    前記表示装置の画面においてタッチ操作による複数の接触位置を検出し、
    前記画面において、前記複数の接触位置から所定間隔を空けた位置に第１の選択情報を表示させ、
    前記画面において、前記複数の接触位置のうち一以上の接触位置が移動した場合は、移動後の接触位置から前記所定間隔を空けた位置に前記第１の選択情報を移動して表示させる、
    表示制御プログラム。

Images