JP5861638B2

JP5861638B2 - 表示装置および表示方法ならびにそのプログラム、端末装置

Info

Publication number: JP5861638B2
Application number: JP2012534995A
Authority: JP
Inventors: 亮二蓮井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2010-09-22
Filing date: 2011-09-09
Publication date: 2016-02-16
Anticipated expiration: 2031-09-09
Also published as: EP2620856A1; CN103109258B; US20130181945A1; EP2620856A4; JP6123879B2; JPWO2012039301A1; CN103109258A; WO2012039301A1; JP2016040744A

Description

本発明は、表示されるユーザインタフェース画面を制御する表示装置および表示方法ならびにそのプログラム、端末装置に関する。

現在の情報端末市場には、タッチセンサを搭載した携帯端末が多く存在する。特に近年増加しているスマートフォンという分類に属する携帯端末では、ハードウェアのキーデバイスの数が少なく、端末の操作の大半はタッチセンサ付きのディスプレイ（タッチパネルデバイス）上で行う構造となっている。

タッチパネルセンサを利用したＵＩ（ユーザインタフェース）の操作は、ユーザが、基本的にタッチ（指またはタッチパネル用の操作用具（以下、操作用具とよぶ）をタッチセンサにつける）、ドラッグ（指または操作用具をタッチセンサにつけた状態で移動する）、リリース（指または操作用具をタッチセンサから離す）のいずれか又は組み合わせの操作を行なうことによって実現される。これによって、ディスプレイ上に表示されるオブジェクトの選択や移動を行う。これらは一般的なＵＩで多用される操作である。タッチパネルセンサを利用したＵＩの操作では、ＵＩ上に多くのオブジェクト（ボタンやリスト、スライドバーSBなどの操作可能な部品アイコン）が混在して表示されている場合、ユーザの誤操作や操作オブジェクトの誤認識が起こる場合がある。

一例として、図４に、ＵＩの地図アプリケーションが表示装置に表示されている場合をしめす。この地図アプリケーションでは、ユーザが自由に地図P上に配置できるマーカ機能が備えられており、地図Pの拡大・縮小を行うためのスライドバーSBなど配置表示されている。このような地図アプリケーションにおいては、地図Pの表示位置を移動したい場合は、ユーザはディスプレイ上の地図Pをドラッグしてスクロールする。また、ユーザが、マーカーMKを移動させたい場合はマーカオブジェクトをドラッグして移動させる。、また、ユーザが、地図Pの拡大・縮小を行いたい場合はスライドバーSBの縮尺調整つまみをドラッグして操作する。

例えば、ユーザが地図Pの拡大・縮小操作を意図してスライドバーSBの操作を試みた場合に、スライドバーSBと地図Pとの境目付近を触れてしまうと、スライドバーSBの上下のドラッグ操作ではなく、地図Pの移動操作として認識される場合がある。その結果、ユーザの意図する地図Pの拡大・縮小操作に反して、地図Pの移動操作となってしまうなどの誤操作が発生する場合がある。このような誤操作を防ぐために、地図アプリケーション上にモードを変更するボタンを設け、地図Pの移動モードと、マーカーMKの移動モード、スライドバーSBの操作モードとを切り替えるという方式が提案されている。しかしながら、この方式は、操作が複雑になりユーザの混乱を招く可能性がある。同一のＵＩ上に複数の操作可能なオブジェクトが混在することは一般的であるが、より簡単で直感的な操作で誤操作の低減を行うことのできるＵＩを提供することが課題となっている。
なお、本願に関連する技術が特許文献１に記載されている。

特開２００８−１２８５４４号公報

この発明は、上述の課題を解決することのできる表示装置および表示方法ならびにそのプログラム、端末装置を提供することを目的としている。

上記目的を達成するために、本発明による表示装置は、表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体とが接近状態か接触状態かを検出する接近状態検出部と、コンテンツの第一イメージと、スライドバーのアイコン画像を表示する表示部と、前記接近状態か前記接触状態かに応じて、前記表示画面に表示する前記コンテンツの第一イメージと、前記スライドバーのアイコン画像のうちの何れに関する制御かを決定する制御ＵＩ決定部と、前記接近状態である場合に前記スライドバーのアイコン画像の上に位置する前記物体の移動に応じて前記第一イメージに関連する第二のイメージの表示を行い、前記接触状態である場合に前記物体の移動に応じて前記コンテンツの第一イメージに関連する第三のイメージの表示を行う制御部と、を備えている。

また、本発明は、表示装置の表示方法であって、表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体とが接近状態か接触状態かを検出し、コンテンツの第一イメージと、スライドバーのアイコン画像を表示し、前記接近状態か前記接触状態かに応じて、前記表示画面に表示する前記コンテンツの第一イメージと、前記スライドバーのアイコン画像のうちの何れに関する制御かを決定し、前記接近状態である場合に前記スライドバーのアイコン画像の上に位置する前記物体の移動に応じて前記第一イメージに関連する第二のイメージの表示を行い、前記接触状態である場合に前記物体の移動に応じて前記コンテンツの第一イメージに関連する第三のイメージの表示を行う表示方法である。

また、本発明は、表示装置のコンピュータを、表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体とが接近状態か接触状態かを検出する接近状態検出部、コンテンツの第一イメージと、スライドバーのアイコン画像を表示する表示部、前記接近状態か前記接触状態かに応じて、前記表示画面に表示する前記コンテンツの第一イメージと、前記スライドバーのアイコン画像のうちの何れに関する制御かを決定する制御ＵＩ決定部、前記接近状態である場合に前記スライドバーのアイコン画像の上に位置する前記物体の移動に応じて前記第一イメージに関連する第二のイメージの表示を行い、前記接触状態である場合に前記物体の移動に応じて前記コンテンツの第一イメージに関連する第三のイメージの表示を行う制御部、として機能させるプログラムである。

また、本発明は、表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体とが接近状態か接触状態かを検出する接近状態検出部と、コンテンツの第一イメージと、スライドバーのアイコン画像を表示する表示部と、前記接近状態か前記接触状態かに応じて、前記表示画面に表示する前記コンテンツの第一イメージと、前記スライドバーのアイコン画像のうちの何れに関する制御かを決定する制御ＵＩ決定部と、前記接近状態である場合に前記スライドバーのアイコン画像の上に位置する前記物体の移動に応じて前記第一イメージに関連する第二のイメージの表示を行い、前記接触状態である場合に前記物体の移動に応じて前記コンテンツの第一イメージに関連する第三のイメージの表示を行う制御部と、を備える端末装置である。

本発明によれば、汎用アプリケーションのＵＩに複数の層を持たせ、指またはスタイラス等のタッチパネルの操作用具（以下、操作用具とよぶ）のタッチパネルデバイスからの距離に合わせて３Ｄ立体ＬＣＤ１１に表示する操作可能なＵＩ画面の層を切り替える事で、下層のＵＩ画面はタッチパネルデバイス自体を触れた場合に操作可能となる。更に上層のＵＩ画面はタッチパネルデバイスに指または操作用具を接触させずにタッチパネルデバイスの上の空間で指または操作用具を操作するので、ユーザに直感的な操作を実現する事が可能である。
また、本発明によれば、表示されるアイコンなどのオブジェクトを、別の層に切り分けることで、ユーザのオブジェクトの選択間違え等の誤操作を低減することができる。

本発明の一実施形態の表示装置の構成を示すブロック図である。本発明の一実施形態の表示装置が表示するユーザインタフェース画面の例を示す図である。本発明の一実施形態の表示装置の処理を示すフローチャートである。従来の表示装置が表示するユーザインタフェース画面の例を示す図である。

以下、本発明の一実施形態による表示装置について図面を参照して説明する。
図１は同実施形態による表示装置の構成を示すブロック図である。
この図において、符号１は表示装置である。前記表示装置１は、３Ｄ立体ＬＣＤ（Liquid Crystal Display）１１、タッチパネルデバイス（静電容量検出部）１２、操作指示受付部１３、接近状態検出部１４、制御ＵＩ決定部１５、操作制御部１６、表示処理部１７の各機能部や処理部を備えている。

３Ｄ立体ＬＣＤ１１は、表示部から出力された複数のインタフェース画面を層状に表示する機能部である。
また、タッチパネルデバイス１２は、ユーザの指または操作用具等による操作指示を検出する機能部である。このタッチパネルデバイス１２は、ユーザが指または操作用具を接近させることによって、ディスプレイ上にマトリックス上に多数配置した点電極の何れかにおいて静電容量を検出し、その静電容量を検出した点電極の位置に、ユーザの指または操作用具が接近していることを検出するものである。
なお、３Ｄ立体ＬＣＤ１１とタッチパネルデバイス１２は、層状に重なり合って構成されている（図２参照）。これにより表示画面が構成されている。また、３Ｄ立体ＬＣＤ１１が表示するＵＩ画面上において、ユーザは所望の位置に、指または操作用具でタッチ、ドラッグ、リリースの操作を行なう。この際、タッチパネルデバイス１２が静電容量を検出することで操作指示が入力される。

また、操作指示受付部１３は、タッチパネルデバイス１２から入力した信号に基づいて、操作指示の情報を生成して出力する。
また接近状態検出部１４は、タッチパネルデバイス１２から出力されたディスプレイ内のいずれかの点電極の静電容量に基づいて、ユーザの指または操作用具の接近状態を検出する。
また、制御ＵＩ決定部１５は、接近状態検出部が検出した接近状態に基づいて、３Ｄ立体ＬＣＤ１１に表示される複数のユーザインタフェース画面のうちの、いずれを制御するかを決定する。
また、操作制御部１６は、操作指示受付部１３から入力された操作指示情報に基づいて、制御ＵＩ決定部１５で決定されたユーザインタフェース画面の制御を行う。
また、表示処理部１７は、操作制御部１６の制御に基づいて、３Ｄ立体ＬＣＤ１１に表示するユーザインタフェース画面を表示する処理部である。

本実施形態による表示装置１は、３Ｄ立体ＬＣＤ１１内に構成された静電容量検出部によって検出された静電容量に基づいて、３Ｄ立体ＬＣＤ１１と前記３Ｄ立体ＬＣＤ１１上の指または操作用具との接近状態を検出する。更に、表示装置１は、前記３Ｄ立体ＬＣＤ１１上の指または操作用具との接近状態に応じて、３Ｄ立体ＬＣＤ１１が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する。そして、表示装置１は、ユーザがユーザインタフェース画面に対して行なった操作指示に基づいて、その操作指示に対応する操作制御を、制御されることが決定されたユーザインタフェース画面に対して行う。
このような処理により、より簡単で直感的な操作で誤操作の低減を行うことのできる表示装置を提供する。

以下、表示装置の処理フローについて順を追って説明する。
本実施形態において、表示装置１は、タッチパネルデバイス１２における指または操作用具との接触／非接触を検出して、操作指示を検出する機能の代わりに、静電容量の検出に基づいて、その変化量から接触／接近／非接近を検出する機能を設け、検出された接触／接近／非接近の結果に基づいて、それによる操作指示を検出する。

なお、本実施形態における表示装置１において、タッチパネルデバイス１２上の空間（空中）で指または操作用具を動かすという操作はユーザにとって簡単でなければならない。ここで、タッチパネルデバイス１２の鉛直方向をＺ軸（図２参照）とすると、ユーザの指または操作用具のタッチパネルデバイス１２からのＺ軸方向の距離に応じて、タッチパネルデバイス１２の点電極の静電容量が変化する。より具体的には、Ｚ軸方向の距離が近いほど静電容量が大きく変化し、Ｚ軸方向の距離が離れるにつれて検出される静電容量の変化は小さくなる。この静電容量の変化によって、指または操作用具のＺ軸方向の位置を分類した場合には、ユーザインタフェース画面に表示されるアイコンなどのオブジェクトの操作時に、ユーザが、複数のユーザインタフェース画面のうちの適切な画面に対応するように、細かく距離を調節して操作するようにしてもよい。
しかしながら、指または操作用具のＺ軸上の距離が適切となるよう細かく距離を調節する必要が出てしまい、操作性が落ちることが考えられる。

従って、本実施形態においては、静電容量によって指または操作用具のＺ軸上の距離を検出する機能とは別に、ユーザインタフェース画面を複数の層状に構成し、指または操作用具のＺ軸上の距離に応じて操作可能なＵＩレイヤーを切り替えるという機能を有する。本実施形態においては、指または操作用具の接触状態、接近状態（タッチパネルと指または操作用具が非接触かつ一定距離以内）、非接近状態の３つの状態に分類して認識するようにし、その状態と連動するＵＩレイヤーの数を少なくする事で、ユーザの指または操作用具のＺ軸の認識誤りによる誤操作を低減することが可能である。

なお、本実施形態においてはタッチパネルと指または操作用具との静電容量の変化の大きさによって、接触状態、接近状態、非接近状態の３つに分類しているが、それよりも多い数で分類するようにしてもよい。しかしながら、上述したように、細かく分類した場合、ユーザの操作性が悪くなる。

図２は表示装置が表示するユーザインタフェース画面の例を示す図である。
この図で示すように、ユーザインタフェース画面（以下、ＵＩ画面と呼ぶ）は、層状に複数表示される。図２においては、下層（タッチパネル:UI−１）と上層(UI−２)の２つのＵＩ画面が層状に表示された場合の例を示している。ここで、下層のＵＩ−１画面は地図Pを表示する画面である。また上層のUI−２画面は地図Pを拡大・縮小するためのスライドバーSBと、ユーザが地図P上に設定したマーカーMKの２つのアイコンが表示する画面である。なお、スライドバーSBは一方が＋、他方が−を示す棒状のアイコンである。スライドバーSBは、スライドバーSB内の縮尺調整つまみを＋側または−側にスライドさせる操作を行うことにより、地図Pの縮尺を拡大または縮小させることができる。また、マーカーMKは、ユーザが地図P上にマーキングのために表示させるアイコンである。
表示装置１の表示処理部１７は、この図で示すように、複数のＵＩ画面を層状に重ねて表示する処理を行う。

図３は表示装置の処理フローを示す図である。
次に、本実施形態による表示装置の処理フローについて順を追って説明する。
まず、ユーザが指または操作用具を用いて表示装置１に表示されているＵＩ画面を操作する。このときタッチパネルデバイス１２は、静電容量を検出した座標情報（ｘ，ｙ）とその座標の位置の点電極における静電容量の変化量ｚを検出し（ステップＳ１０１）、その結果を接近状態検出部１４へ出力する。すると接近状態検出部１４は、タッチパネルデバイス１２から入力された静電容量の変化量ｚに基づいて、タッチパネルデバイス１２とユーザの指または操作用具との距離が遠く離れている状態（非接近）か、または、ユーザの指または操作用具が接近した状態（接近）か、またはユーザの指または操作用具が接触した状態（接触）か、のいずれであるかの接近状態判定を行う（ステップＳ１０２）。

本実施形態においては、接近状態検出部１４は、入力した静電容量の変化量ｚに基づいて接近状態を判定するために２段階の閾値（ｚ１，ｚ２）を記憶している。そして、接近状態の判定において、接近状態検出部１４は、静電容量の変化量ｚの最大値をｚ＿ｍａｘとする。入力された静電容量の変化量ｚが、０≦ｚ＜ｚ１であるときは非接近と判定する。入力された静電容量の変化量ｚが、ｚ１≦ｚ＜ｚ２であるときは接近と判定する。入力された静電容量の変化量ｚが、ｚ２≦ｚ≦ｚ＿ｍａｘであるときは接触と判定する。そして、接近状態検出部１４は、判定結果である接近状態の情報（非接近、接近、接触の何れかの状態を示す情報）を、制御ＵＩ決定部１５へ出力する。なお、接近状態検出部１４は、接近状態が非接近であると判定された場合には、非接近状態の情報を出力しない。

次に制御ＵＩ決定部１５は、接近状態検出部１４より接近状態情報が入力されると、入力された接近状態を接近状態情報から特定する。本実施形態においては、接近状態とは、接近か接触の何れかの状態に対応している。そして、制御ＵＩ決定部１５は、接近状態を接触であると判定した場合には、層状に重なる複数のＵＩ画面のうちの下層のＵＩ−１画面を制御すると決定し（ステップＳ１０３）、また接近状態を接近であると判定した場合には上層のＵＩ−２画面を制御すると決定する（ステップＳ１０４）。そして、制御ＵＩ決定部１５は、制御対象と決定したＵＩ画面の情報（上層、または下層を示す情報）を操作制御部１６へ出力する。

他方、操作指示受付部１３は、タッチパネルデバイス１２から静電容量の変換した座標情報（ｘ，ｙ）と、その静電容量の変化量ｚが入力される。そして、それらの情報を格納した操作指示情報を生成し（ステップＳ１０５）、操作制御部１６へ出力する。

次に、操作制御部１６は、操作対象となるＵＩ画面と、制御指示情報とに基づいて、その操作対象のＵＩ画面を制御する（ステップＳ１０６）。例えば、操作対象となるＵＩ画面が、図２で示す上層のＵＩ−２画面であり、マーカーMKと同一の座標において静電容量が変化した場合には、そのマーカーMKが、例えば選択指定されたものと判定し、表示処理部１７にマーカーMKの選択を示す操作制情報を出力する。すると、表示処理部１７は、マーカーMKの選択の制御を、例えばマーカーMKの輝度を暗く表示制御することにより行う。これにより、３Ｄ立体ＬＣＤ１１に表示されているＵＩ−２画面（上層）において、マーカーMKが選択された表示がなされる。

そして、操作制御部１６は、静電容量が変化した座標や、その変化量などに基づいて、順次、表示処理部１７に操作制御情報を出力し、表示処理部１７が操作制御情報に基づいてＵＩ画面の表示処理を行い、これにより、３Ｄ立体ＬＣＤ１１において表示が変化する。マーカーMKの選択以外にも、例えばマーカーMKの位置の変更（タッチ＋ドラッグ＋リリース）や、スライドバーSB内の縮尺調整つまみの位置の変更（タッチ＋ドラッグ＋リリース）による地図Pの縮尺の変更などが行われる。なお、地図Pの縮尺の変更の場合、スライドバーSB内の縮尺調整つまみの位置の変更に基づいて、その変更量に応じた地図Pの縮尺の縮小・拡大の処理が行われる。
また、接近状態が接触を示す場合には、下層のＵＩ−１画面が選択されて、選択された下層のＵＩ−１画面に対する操作制御が行われる。なお上記処理は電源がＯＦＦとなるまで繰り返される。

以上、本実施形態による表示装置１の処理について説明したが、上述の処理によれば、汎用アプリケーションのＵＩに複数の層を持たせ、指または操作用具とUIとの距離に合わせて３Ｄ立体ＬＣＤ１１に表示する操作可能なＵＩ画面の層を切り替えてもよい。これによって、下層のＵＩ画面はタッチパネルデバイス自体を触れた場合に操作可能となり、上層のＵＩ画面はタチパネルデバイスに指または操作用具を接触させずにタッチパネルデバイスの上の空間で指または操作用具を操作することができる。そして、ユーザに直感的な操作を実現する事が可能である。
また、上述の例によれば、ＵＩ画面を複数の層に分けて処理するので、従来の仕組みでは全て同一のレイヤー上に配置されていたオブジェクトを、別の層に切り分けることで、ユーザのオブジェクトの選択間違え等の誤操作を低減することができる。
なお、上記表示装置は、ＰＤＡや携帯電話などの端末装置の内部に備えるようにしてもよい。

上述の表示装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが配信されたプログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
本願は、２０１０年９月２２日に、日本に出願された特願２０１０−２１１８０６号に基づき優先権を主張し、その内容をここに援用する。

簡単で直感的な操作で誤操作の低減を行うことのできる表示装置を提供することができる。

１表示装置
１１３Ｄ立体ＬＣＤ
１２タッチパネルデバイス
１３操作指示受付部
１４接近状態検出部
１５制御ＵＩ決定部
１６操作制御部
１７表示処理部

Claims

表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体とが接近状態か接触状態かを検出する接近状態検出部と、
コンテンツの第一イメージと、スライドバーのアイコン画像を表示する表示部と、
前記接近状態か前記接触状態かに応じて、前記表示画面に表示する前記コンテンツの第一イメージと、前記スライドバーのアイコン画像のうちの何れに関する制御かを決定する制御ＵＩ決定部と、
前記接近状態である場合に前記スライドバーのアイコン画像の表示位置で検出している前記物体の移動に応じて前記第一イメージに関連する第二のイメージの表示を行い、前記接触状態である場合に前記物体の移動に応じて前記コンテンツの第一イメージに関連する第三のイメージの表示を行う制御部と、
を備える表示装置。
前記制御部は、前記第二のイメージを、前記接近状態における前記スライドバーのアイコン画像の表示位置で検出している前記物体の移動の移動量に基づいて形成して表示する
ことを特徴とする請求項１に記載の表示装置。
前記制御部は、前記第三のイメージを、前記接触状態における前記物体の移動の移動量に基づいて形成して表示する
ことを特徴とする請求項１または請求項２に記載の表示装置。
表示装置の表示方法であって、
表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体とが接近状態か接触状態かを検出し、
コンテンツの第一イメージと、スライドバーのアイコン画像を表示し、
前記接近状態か前記接触状態かに応じて、前記表示画面に表示する前記コンテンツの第一イメージと、前記スライドバーのアイコン画像のうちの何れに関する制御かを決定し、
前記接近状態である場合に前記スライドバーのアイコン画像の表示位置で検出している前記物体の移動に応じて前記第一イメージに関連する第二のイメージの表示を行い、前記接触状態である場合に前記物体の移動に応じて前記コンテンツの第一イメージに関連する第三のイメージの表示を行う
表示方法。
表示装置のコンピュータを、
表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体とが接近状態か接触状態かを検出する接近状態検出部、
コンテンツの第一イメージと、スライドバーのアイコン画像を表示する表示部、
前記接近状態か前記接触状態かに応じて、前記表示画面に表示する前記コンテンツの第一イメージと、前記スライドバーのアイコン画像のうちの何れに関する制御かを決定する制御ＵＩ決定部、
前記接近状態である場合に前記スライドバーのアイコン画像の表示位置で検出している前記物体の移動に応じて前記第一イメージに関連する第二のイメージの表示を行い、前記接触状態である場合に前記物体の移動に応じて前記コンテンツの第一イメージに関連する第三のイメージの表示を行う制御部、
として機能させるプログラム。
表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体とが接近状態か接触状態かを検出する接近状態検出部と、
コンテンツの第一イメージと、スライドバーのアイコン画像を表示する表示部と、
前記接近状態か前記接触状態かに応じて、前記表示画面に表示する前記コンテンツの第一イメージと、前記スライドバーのアイコン画像のうちの何れに関する制御かを決定する制御ＵＩ決定部と、
前記接近状態である場合に前記スライドバーのアイコン画像の表示位置で検出している前記物体の移動に応じて前記第一イメージに関連する第二のイメージの表示を行い、前記接触状態である場合に前記物体の移動に応じて前記コンテンツの第一イメージに関連する第三のイメージの表示を行う制御部と、
を備える端末装置。