WO2012144559A1

WO2012144559A1 - 表示制御装置及び表示制御方法

Info

Publication number: WO2012144559A1
Application number: PCT/JP2012/060609
Authority: WO
Inventors: 真治木村; 通子板橋; 山崎　仁史; 哲平小西; 仁嗣川崎; 剛神山; 悠菊地; 信三大久保; 稲村　浩
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2011-04-22
Filing date: 2012-04-19
Publication date: 2012-10-26
Anticipated expiration: 2013-10-22
Also published as: JP2012226691A

Abstract

【課題】表示面に対するユーザの操作を３次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御する。【解決手段】表示装置は、表示面に接触した状態の接触操作と、表示面に接触せずに近接した状態の近接操作とを検出する。表示装置は、近接操作により検出された指示体の位置判別領域に含まれ、その滞留時間が所定の閾値以上であるか否かを判断し（Ｓ２）、閾値以上である場合に、指示体の位置に応じた拡大表示を行う（Ｓ３）。一方、表示装置は、滞留時間が所定の閾値未満であれば、画像の拡大表示を行わない。

Description

表示制御装置及び表示制御方法

　本発明は、指等の指示体を用いて表示面に対する操作を行う場合の表示制御に関する。

　画像の表示面に対する操作を検出する場合に、その操作を３次元的に検出する技術が知られている。例えば、特許文献１には、タッチパネルに指が接近すると、現在表示中の内容を拡大表示する入力装置が開示されている。また、特許文献２、３にも、同様の表示制御が開示されている。

特開２００７－２８０３１６号公報特開２００８－１１７３７１号公報特開２００９－１１６５８３号公報

　ユーザの操作は、そのときどきの状況によって異なり得るため、例えば、拡大表示が適している場合とそうでない場合とがある。それゆえ、ある特定の表示制御を行うか否かが一律に定まっていたのでは、ユーザが望まない表示制御になりやすい。
　そこで、本発明は、表示面に対するユーザの操作を３次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御することを目的とする。

　本発明は、一の態様において、表示面に対する指示体の位置を繰り返し検出して操作を受け付ける操作手段であって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する操作手段と、前記操作手段により検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する判別手段と、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する特定手段と、前記特定手段により特定された表示態様で前記表示面に画像を表示させる表示制御手段とを備える表示制御装置を提供する。

　好ましい態様において、前記判別手段は、前記操作手段により検出された近接操作が示す前記指示体の３次元的な位置が所定領域に含まれる滞留時間によって前記動作モードを判別する。
　別の好ましい態様において、前記判別手段は、前記滞留時間があらかじめ決められた閾値より長い場合に、前記動作モードが所定のモードであると判別し、前記特定手段は、前記判別手段により判別された動作モードが前記所定のモードである場合に、前記表示面に表示される画像の一部を強調表示させる表示態様を特定する。
　さらに別の好ましい態様において、前記特定手段は、前記表示面のうちの強調表示を行う範囲を、前記指示体の位置の前記表示面に対する正射影の座標と、当該位置の前記表示面からの距離との少なくともいずれかを用いて特定する。
　さらに別の好ましい態様において、前記特定手段は、前記表示面に表示される画像を拡大表示させる場合の倍率を特定する。
　さらに別の好ましい態様において、前記特定手段は、前記表示面に表示される画像を立体表示させる場合の飛び出し量を特定する。
　さらに別の好ましい態様において、前記表示制御手段は、前記画像が強調表示された後に前記操作手段により接触操作が検出された場合に強調表示を解除するとともに、前記操作部により検出される位置が前記所定領域外になるまで強調表示を再度行わない。
　さらに別の好ましい態様において、前記判別手段は、前記操作手段により検出される前記位置が前記判別領域に入ってから、当該位置が前記接触操作として検出され、又は当該位置が当該判別領域を出るまでの時間を前記滞留時間として算出する。
　さらに別の好ましい態様において、前記判別手段は、前記操作手段により検出された近接操作が示す前記指示体の移動速度によって前記動作モードを判別する。
　さらに別の好ましい態様において、前記特定手段は、記憶手段に記憶された制御データを用いて、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じた表示態様を特定する。
　さらに別の好ましい態様において、前記記憶手段は、アプリケーションに応じた前記制御データを記憶し、前記特定手段は、前記表示面に表示されている画像に対応するアプリケーションに応じた前記制御データを用いて表示態様を特定する。
　さらに別の好ましい態様において、前記表示制御装置は、前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、前記判別手段は、前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて動作モードを判別する。
　さらに別の好ましい態様において、前記操作手段は、前記接触操作を検出する第１のセンサと前記近接操作を検出する第２のセンサとを備える。
　さらに別の好ましい態様において、前記操作手段は、前記接触操作及び前記近接操作を検出する単一のセンサを備える。

　本発明は、他の観点において、表示面に対する指示体の位置を繰り返し検出して操作を受け付けるステップであって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する第１のステップと、前記第１のステップにおいて検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する第２のステップと、前記第２のステップにおいて判別された動作モードと前記第１のステップにおいて検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する第３のステップと、前記第３のステップにおいて特定された表示態様で前記表示面に画像を表示させる第４のステップと有する表示制御方法を提供する。

　本発明によれば、表示面に対するユーザの操作を３次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御することが可能である。

表示装置の外観を示した図表示装置のハードウェア構成を示したブロック図制御部の機能的構成を示した機能ブロック図表示制御テーブルの一例を示した図制御部が実現する表示制御を示したフローチャート検出可能領域と判別領域の関係を示した図表示装置による動作モード毎の表示例を示した図制御部が実現する表示制御を示したフローチャート（第２実施形態）表示装置の構成を示したブロック図（第３実施形態）制御部が実現する表示制御を示したフローチャート（第４実施形態）制御部が実現する表示制御を示したフローチャート（第５実施形態）

１００、１００ａ…表示装置、１０１…表示面、１１０…制御部、１１１…データ取得部、１１２…判別部、１１３…特定部、１１４…表示制御部、１２０…記憶部、１３０…表示部、１４０…操作部、１４１…接触センサ、１４２…近接センサ、１５０…通信部、１６０…フィルタ部

　本発明は、表示面に対するユーザの操作を３次元的に検出する表示装置において、指示体が表示面に接触せずに近接するときの動作の特徴に基づく表示制御を特徴とするものである。ここにおいて、指示体とは、ユーザが表示面を指し示す操作を行うための身体の部位又は器具をいい、例えば、ユーザの指やスタイラス（スタイラスペン）である。

　一般に、ユーザによる操作は、細かい操作を行おうとすると指示体の動きが遅くなる傾向にある。例えば、フィッツの法則（Fitts's law）は、操作の対象物（ボタン等）が小さいほどユーザが操作に時間を要することを示しているが、実際のユーザの動作によく一致することが知られている。また、一般に、初心者や高齢者など、ユーザが指示体による操作に不慣れな者であるほど、そのユーザによる操作は遅くなる傾向も認められる。したがって、ユーザの操作がゆっくりしている場合には、ユーザの操作を補助又は支援するような表示態様を実現することが好ましいと考えられる。

　本発明は、ユーザの操作のこのような特徴に着目し、かかる特徴の操作が行われた場合とそうでない場合とで表示態様を切り替えるようにしたものである。具体的には、本発明は、指示体を検出した時間や速度に基づいて指示体の動きを判断し、ユーザの操作が所定の条件を満たす場合に、表示面の表示態様を通常と異ならせることによって表示面に対する操作性を向上させるものである。かかる表示態様（通常と異なる表示態様）は、画像を強調表示させるものであり、例えば、ユーザが指示しようとしている画像を拡大表示したり、あるいは立体的に表示させたりするものである。このような強調表示を実現することで、ユーザは、ボタン等の対象物をより容易に指定することが可能となる。

［第１実施形態］
　図１は、本発明の一実施形態である表示装置１００の外観を示した図である。表示装置１００は、ユーザが表示面１０１に対して操作を行うことができる情報処理装置であり、例えば、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレットＰＣ（Personal Computer）又はスレートＰＣ、ゲーム機、電子ブックリーダなどである。表示面１０１は、画像を表示する面であるとともに、ユーザの操作を受け付ける面でもある。また、表示装置１００は、ユーザの手の指先の位置を検出できるように構成されている。すなわち、本実施形態の検出対象たる指示体は、ユーザの指である。なお、説明の便宜上、以下においては、図１に図示された面、すなわち表示面１０１を有する面のことを「正面」という。

　図２は、表示装置１００のハードウェア構成を示したブロック図である。表示装置１００は、同図に示すように、制御部１１０と、記憶部１２０と、表示部１３０と、操作部１４０と、通信部１５０とを備える。なお、表示部１３０と操作部１４０は、一体的に構成されていてもよいし、分離されていてもよい。また、通信部１５０は、本発明に必須の構成要素ではない。

　制御部１１０は、表示装置１００の各部の動作を制御する手段である。制御部１１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置を備え、ＲＯＭ又は記憶部１２０に記憶されたプログラムを実行することによって表示部１３０の表示制御や通信部１５０の通信制御を実現する。また、制御部１１０は、システムクロックに基づいて現在時刻を認識するとともに、時間を計測する機能を有する。

　記憶部１２０は、制御部１１０が制御に用いるデータを記憶する手段である。記憶部１２０は、ハードディスクやフラッシュメモリによって構成される。記憶部１２０は、いわゆるリムーバブルメディア、すなわち着脱可能な記憶手段を含んでもよい。記憶部１２０には、後述する表示制御テーブルが記憶されている。

　表示部１３０は、表示面１０１に画像を表示する手段である。表示部１３０は、液晶素子や有機ＥＬ（electroluminescence）素子により画像を表示する表示パネルと、この表示パネルを駆動する駆動回路等を備える。表示面１０１は、ここでは長方形であるとし、この長方形の短辺と長辺に沿って画素がマトリクス状に配置されているものとする。この表示面１０１に対しては、図１に示すように、適当な位置（ここでは左上端）を原点Ｏとした３次元直交座標系が定義されているものとする。ここでは、表示面１０１の長辺方向にＸ軸、表示面１０１の短辺方向にＹ軸をそれぞれ定義し、Ｘ軸及びＹ軸と直交する方向にＺ軸を定義する。なお、Ｚ軸は、表示面１０１の表面を原点とし、ユーザに向かう方向（図１における上方）を正方向とする座標軸とする。

　操作部１４０は、ユーザの操作を受け付ける手段である。操作部１４０は、表示面１０１に対するユーザの指先の位置を検出し、その位置を表す座標情報を制御部１１０に供給するためのセンサを備える。より詳細には、操作部１４０は、接触センサ１４１と近接センサ１４２とを備える。接触センサ１４１は、ユーザの指先が表示面１０１に接触した状態を検出するためのセンサである。接触センサ１４１は、例えば、周知のタッチスクリーン（タッチパネルともいう。）によって実現可能である。一方、近接センサ１４２は、ユーザの指先が表示面１０１に近接している状態を検出するためのセンサである。近接センサ１４２も、周知技術を用いたものであってよいが、例えば、指先の静電容量を検出したり、指先の位置を光学的に検出したりすることで実現される。

　接触センサ１４１は、ユーザの指先が接触した表示面１０１の表面の位置を２次元的に検出する。ゆえに、接触センサ１４１が供給する座標情報は、Ｘ軸方向の座標（Ｘ座標）とＹ軸方向の座標（Ｙ座標）とを表す座標情報である。一方、近接センサ１４２は、表示面１０１に触れることなく近接している状態のユーザの指先の位置を３次元的に検出する。ゆえに、近接センサ１４２が供給する座標情報は、Ｘ軸、Ｙ軸及びＺ軸のそれぞれの方向の座標を表す座標情報である。以下においては、接触センサ１４１が供給する座標情報によって特定される操作のことを「接触操作」といい、近接センサ１４２が供給する座標情報によって特定される操作のことを「近接操作」という。

　なお、近接センサ１４２は、ユーザの指先を検出可能な範囲（以下「検出可能領域」という。）が制限されている。検出可能領域は、近接センサ１４２のハードウェア的な性能によって定まる。本実施形態でいう「近接」とは、指先の位置（特にＺ軸方向の位置）がこの検出可能領域にある状態を指し、より詳細には、指先の位置が後述する判別領域に含まれる状態を指すものである。

　接触センサ１４１及び近接センサ１４２は、指示体の位置を所定のサンプリングレートで検出する。すなわち、接触センサ１４１及び近接センサ１４２は、指示体の位置を繰り返し連続的に検出する。なお、近接センサ１４２は、ユーザの指を継続して所定時間以上検出しなかった場合に、サンプリングレートを一時的に下げ、指を再び検出したらサンプリングレートを元に戻すようにしてもよい。また、接触センサ１４１は、近接センサ１４２が指を検知してから機能するようになっていてもよい。なぜならば、指が表示面１０１に接触するためには、事前に指が表示面１０１に必ず近接するからである。

　また、操作部１４０は、表示面１０１に対する操作だけでなく、他の操作をも受け付ける手段であってもよい。例えば、表示装置１００は、表示面１０１以外の部分（側面や背面を含む。）にボタンやスイッチ等の物理キーを備え、操作部１４０が物理キーによる操作を受け付けるように構成されていてもよい。この場合、操作部１４０は、物理キーによる操作を表す操作情報を制御部１１０に供給する。なお、ここでいう物理キーは、いわゆるＱＷＥＲＴＹ配列のキーボードやテンキーであってもよい。

　通信部１５０は、外部装置と通信するための手段である。通信部１５０は、例えば、アンテナやネットワークアダプタを備える。通信部１５０は、インターネット、移動体通信網等のネットワークを介して外部装置と通信してもよいが、近距離無線通信のように、外部装置とネットワークを介さずに直接通信してもよい。また、通信部１５０による通信は、ここでは無線通信であるとするが、有線通信であってもよい。

　表示装置１００のハードウェア構成は、以上のとおりである。この構成のもと、表示装置１００は、外部装置と通信したり、実行中の処理に応じた画像を表示面１０１に表示したりする。このとき、表示装置１００は、近接操作及び接触操作を検出し、ユーザの指先の位置を検出する。表示装置１００は、近接操作を検出したら、検出された指先の位置の推移に応じて、必要に応じて画像の表示態様を変更する。

　本実施形態において、表示装置１００は、指先が検出可能領域に所定の時間以上滞留し、それでもなお接触操作が検出されない場合に、画像を拡大表示する。表示装置１００は、表示面１０１に表示されていた画像の一部（例えば、指先の位置の近傍の画像）のみを拡大表示させてもよいが、表示面１０１に表示されていた画像の全部を拡大表示させてもよい。ただし、後者の場合には、拡大表示によってユーザが指示しようとしている位置が非表示になってしまわないように、画像の表示位置を制御した方が望ましい。

　本実施形態において、画像の拡大表示の態様は、複数ある。また、画像の表示態様には、ユーザの操作が所定の条件を満たす場合であっても拡大表示を行わないものも含まれ得る。これらの表示態様は、あらかじめ定義されており、ユーザが自身の好み等に応じて設定することが可能である。あるいは、画像の表示態様は、実行中のアプリケーション（表示面１０１に表示されている画像に対応するアプリケーション）毎に異なってもよい。

　図３は、制御部１１０の機能的構成のうち、特に画像の表示制御に関する部分を示した機能ブロック図である。制御部１１０は、所定のプログラムを実行することにより、同図に示すデータ取得部１１１、判別部１１２、特定部１１３及び表示制御部１１４の各部に相当する機能を実現する。これらの機能は、ＯＳ（Operating System）や、画像の表示を制御する特定のソフトウェアのいずれによって実現されてもよいし、複数のソフトウェアの協働によって実現されてもよい。

　データ取得部１１１は、画像の表示に必要なデータを取得する手段である。データ取得部１１１は、具体的には、表示面１０１に表示されるべき画像を示す画像データと、操作部１４０により供給される座標情報である。画像データは、記憶部１２０にあらかじめ記憶されているもの（例えば、特定のアプリケーションの実行時に用いられる画像データ）であってもよいし、通信部１５０が外部装置から受信したもの（例えば、ブラウザによって表示されるウェブページのデータ）であってもよい。

　判別部１１２は、近接センサ１４２から供給された座標情報、すなわち近接センサ１４２により検出された近接操作に基づいて、表示面１０１の表示態様に関する動作モードを判別する手段である。ここにおいて、動作モードとは、画像の表示方式を定めるものであり、画像を強調表示するか否かを定めるものである。本実施形態の動作モードは、近接操作による拡大表示を有効にする「近接操作有効モード」と、近接操作による拡大表示を無効にする「近接操作無効モード」の２種類である。表示装置１００をこれらの動作モードのいずれで動作させるかは、あらかじめ設定されている。また、動作モードは、近接センサ１４２から供給された座標情報のＺ軸方向の座標（Ｚ座標）、すなわち指先の位置の表示面１０１からの距離に応じて、さらに詳細に定められている。本実施形態において、これらの動作モードは、表示制御テーブルに記述されている。したがって、判別部１１２は、記憶部１２０に記憶された表示制御テーブルを参照することによって判別を行う。

　本実施形態において、判別部１１２は、近接センサ１４２により検出された指先の位置が所定領域に含まれる時間、すなわち、指先が所定領域内に留まっている時間によって、動作モードを判別する。ここにおいて、所定領域とは、上述した検出可能領域に含まれる領域であり、検出可能領域と同一の範囲の領域であってもよいが、本実施形態においては、検出可能領域よりも小さい領域であるとする。かかる領域のことを、以下においては「判別領域」という。検出可能領域がハードウェア的に定義される領域である一方、判別領域はソフトウェア的に定義される領域である。また、判別部１１２が拡大表示を行うか否かを判別するために計測する時間のことを、以下においては「滞留時間」という。

　滞留時間は、望ましくは、近接センサ１４２により検出された指先の位置が判別領域に入ってから、当該位置のＺ座標が０になる（すなわち指先が表示面１０１に接触する）か、あるいは当該位置が判別領域から出るまでの時間のことであり、指先の位置が判別領域に含まれ続ける時間のことである。ただし、滞留時間は、指先が判別領域から出た時間がごく短時間であれば、このような時間を無視して積算され続けてもよいものである。

　図４は、表示制御テーブルの一例を示した図である。判別部１１２は、近接センサ１４２により検出された指先の位置が判別領域に含まれ続ける時間（すなわち滞留時間）に応じたテーブルを参照する。判別部１１２は、滞留時間が所定の閾値未満である場合には、テーブル４を参照し、テーブル４に従った動作モードを選択する一方、滞留時間が所定の閾値以上となった場合には、テーブル１～３のいずれかを参照し、参照したテーブルに従った動作モードを選択する。なお、判別部１１２がテーブル１～３のいずれを参照するかは、ユーザによってあらかじめ決められていてもよいし、拡大表示される画像に対応するアプリケーションによって決められてもよい。

　図４において、テーブル１～３は、近接操作有効モードにおいて用いられるテーブルの例である。一方、テーブル４は、近接操作無効モードにおいて用いられるテーブルの例である。なお、ここにおいて、「Ｚ」は、Ｚ座標を表し、Ｔｈ１～Ｔｈ４は、Ｚ座標に対して設定された閾値を表す。また、詳細は後述するが、検出可能領域が判別領域の範囲よりも大きい場合は、Ｚ＝Ｔｈ４を満たす位置を判別領域の境界（Ｚ軸方向にある２つの境界のうちのよりユーザに近い側の境界）としてもよいし、検出可能領域の境界（Ｚ軸方向にある２つの境界のうちのよりユーザに近い側の境界）としてもよい。前者の場合は判別領域内における近接操作が可能となるが、後者の場合は検出可能領域内における近接操作が可能となる。ただし、説明の簡略化のため、これ以下においてはＺ＝Ｔｈ４を満たす位置は判別領域の境界であるとする。つまり、判別領域内での指先の位置のみが拡大表示の制御に用いられるものとする。

　テーブル１は、Ｚ＞Ｔｈ４の場合に拡大表示をせず、０＜Ｚ≦Ｔｈ４の場合に一定の倍率（ｍ倍）で拡大表示をする表示態様を示すテーブルである。表示装置１００がテーブル１を用いて拡大表示をする場合、表示面１０１に表示される画像は、ある時間を境にして一定の倍率で表示されるようになり、指先の位置が多少変化しても、当該位置が判別領域内である限りは倍率が変化しない。なお、テーブル１の場合の倍率ｍは、ｍ＞１を満たす適当な値である。

　一方、テーブル２は、Ｚ＞Ｔｈ４の場合に拡大表示をしない点ではテーブル１と同様であるが、０＜Ｚ≦Ｔｈ４の場合にＺの値の大小に応じて拡大表示の倍率が変化する表示態様を示すテーブルである。表示装置１００がテーブル２を用いて拡大表示をする場合、表示面１０１に表示される画像は、ある時間を境にして拡大表示されるようになり、表示面１０１に指を接近させるほどその倍率が段階的に大きくなる。

　また、テーブル３は、Ｚ＞Ｔｈ４の場合に拡大表示をせず、０＜Ｚ≦Ｔｈ４の場合にＺの値の大小に応じて拡大表示の倍率が変化する点ではテーブル２と同様であるが、倍率の変化の態様がテーブル２と異なるものである。具体的には、表示装置１００がテーブル３を用いて拡大表示をする場合、表示面１０１に表示される画像は、ＺがＴｈ４に近いほど大きく表示され、Ｚが０に近づくほど（すなわち、指先が表示面１０１に近づくほど）倍率が１倍（等倍）に近づき、元の大きさに近づいていくような表示態様である。かかる倍率は、Ｚとｎの積によって表される。ここにおいて、ｎの値は、ｎ＞０を満たす適当な値である。また、このときの倍率の変化は、テーブル２の場合のように段階的にならず、より連続的である。

　なお、テーブル４は、近接操作無効モードに対応するものであり、Ｚの値によらず倍率が１倍（等倍）のままである。よって、表示装置１００は、テーブル４を参照する場合には、近接センサ１４２によって近接操作を検出すること自体を省略し、接触センサ１４１によって接触操作のみを検出するようにしてもよい。

　特定部１１３は、判別部１１２により判別された動作モードと、操作部１４０により検出された指先の位置とに応じて、表示面１０１に表示される画像の表示態様を特定する手段である。特定部１１３は、拡大表示の倍率が可変的な表示制御を行う場合には、指先の位置のＺ座標によって画像の倍率を特定する。また、特定部１１３は、表示面１０１に表示される画像の一部を拡大表示させる場合には、指先の位置のＸ座標とＹ座標（すなわち、指先の位置の表示面１０１に対する正射影の座標）によって画像を拡大させる位置を特定する。

　表示制御部１１４は、特定部１１３により特定された表示態様で表示面１０１に画像を表示させる手段である。本実施形態において、表示制御部１１４は、画像を強調表示すべき場合に、特定部１１３により特定された表示態様で画像を拡大表示させる。ゆえに、画像の具体的な表示態様は、ユーザの指先の位置や動作モードに応じて異なる。

　図５は、制御部１１０が上記の機能的構成によって実現する表示制御を示したフローチャートである。制御部１１０は、画像を拡大表示するか否かを判断する必要がある場合に、同図に示す表示制御処理を実行する。すなわち、制御部１１０は、図５に示す表示制御処理を常に実行する必要はなく、例えば、拡大表示を必要としない特定のアプリケーションを実行しているような場合には、かかる処理を実行しなくてもよい。

　制御部１１０による表示制御は、ユーザの指先が検出可能領域に入り、所定の条件が満たされることによって開始される。そこでまず、制御部１１０は、近接センサ１４２から供給される座標情報によって近接操作の位置を特定し、当該位置が検出可能領域に含まれるか否かを判断する（ステップＳ１）。制御部１１０は、この判断が肯定的（ＹＥＳ）になるまで、同じ処理を繰り返す。

　指先の位置が検出可能領域に含まれるようになると、制御部１１０は、当該位置がさらに判別領域に含まれるか否かを判断するとともに、判別領域での滞留時間が所定の閾値以上であるか否かを判断する（ステップＳ２）。ステップＳ２の判断は、指先が表示面１０１に近寄り、ユーザの操作が近接操作から接触操作に移行した場合や、指先が表示面１０１から遠ざかって判別領域から出た場合に否定的（ＮＯ）になる。また、この判断は、滞留時間が所定の閾値未満である場合にも、否定的となる。

　図６は、検出可能領域と判別領域の関係を示した図である。同図において、縦方向の座標軸は、Ｚ軸を表しているが、横方向の座標軸は、Ｘ軸とＹ軸のいずれであってもよい。なお、図示の便宜上、ここでは判別領域がＺ軸方向だけでなくＸ軸方向（又はＹ軸方向）にも検出可能領域より小さい領域として示されているが、判別領域のＸ軸方向及びＹ軸方向のサイズ（ユーザが正面から見たときの面積）は、検出可能領域のそれと同一であってもよい。

　指先の判別領域での滞留時間が所定の閾値以上となった場合、制御部１１０は、表示制御テーブルに従い、指先の位置に応じた表示態様で画像を拡大表示させるように表示部１３０を制御する（ステップＳ３）。また、制御部１１０は、このように画像の表示態様を制御するとともに、指先の位置の変化を判断する。具体的には、制御部１１０は、指先が検出可能領域内にあるか、あるいはユーザの操作が近接操作から接触操作に移行したかを判断する（ステップＳ４）。このとき、ユーザの指先が検出可能領域から一旦出ると、ステップＳ４の判断は否定的になる。すると、制御部１１０は、処理をステップＳ１からやり直す。

　一方、指先が検出可能領域内にあるか、あるいはユーザの操作が接触操作になった場合、制御部１１０は、ユーザの操作がこれらのいずれに相当するかをさらに判断する。具体的には、制御部１１０は、ユーザの操作が接触操作であるか否かで判断する（ステップＳ５）。接触操作と近接操作の区別は、座標情報のＺ座標によって行われる。あるいは、制御部１１０は、座標情報が接触センサ１４１と近接センサ１４２のいずれから供給されたかによって接触操作と近接操作を区別してもよい。

　ユーザの操作が接触操作であれば、制御部１１０は、指先が接触した位置に応じて画像の表示を変化させる（ステップＳ７）。このとき、制御部１１０は、指先が接触した位置、すなわちユーザが選択した対象物に応じた処理をあわせて実行してもよい。例えば、制御部１１０は、ユーザがウェブページのハイパーリンク（文字列やアイコン）を選択した場合であれば、ハイパーリンクに記述されたデータを受信するとともに、これをレンダリングしてページの表示を切り替える、といった処理を実行する。一方、ユーザの操作が接触操作でなければ（すなわち近接操作であれば）、制御部１１０は、ステップＳ３以降の処理を繰り返す。

　また、制御部１１０は、ステップＳ２において判別領域での滞留時間が所定の閾値未満である場合にも、ユーザの操作が接触操作であるか否かで判断する（ステップＳ６）。この場合にも、制御部１１０は、ユーザの操作が接触操作であれば、ステップＳ７の処理を実行する。一方、制御部１１０は、ユーザの操作が接触操作でなければ、この場合にはステップＳ１以降の処理を繰り返す。

　ステップＳ７の処理を実行したら、制御部１１０は、積算した滞留時間の値をリセットし、０に戻す（ステップＳ８）。なお、制御部１１０は、ステップＳ７の処理とステップＳ８の処理の実行順序を逆にしてもよい。また、制御部１１０は、ステップＳ７の処理を実行した後のほかに、座標情報により示される位置が検出可能領域（又は判別領域）外になったときに、滞留時間の値をリセットするようにしてもよい。

　図７は、表示装置１００による動作モード毎の表示例を示した図である。これらの表示例は、いずれも、アイコンＩｃ１～Ｉｃ６が表示されている状態で、ユーザがアイコンＩｃ２を選択しようと徐々に指を近づけていく場合を示したものである。なお、近接操作有効モードの表示態様は、図４に示したテーブル３に従った場合のものである。表示装置１００は、近接操作有効モードにおいては、Ｉｍ１→Ｉｍ２→Ｉｍ３→Ｉｍ４の流れで画像の表示態様を変化させる一方、近接操作無効モードにおいては、Ｉｍ１→Ｉｍ４の流れで画像の表示態様を変化させる。

　画像Ｉｍ１は、初期状態の画像であり、ユーザの指が検出可能領域外にある場合の画像である。これに対し、画像Ｉｍ２は、ユーザが近接操作を行い、その滞留時間が所定の閾値以上となった場合の画像であり、画像Ｉｍ３は、画像Ｉｍ２の場合よりもユーザが指をさらに表示面１０１に近づけた場合の画像である。これらの場合において、アイコンＩｃ２は、他のアイコンＩｃ１、Ｉｃ３～Ｉｃ６よりも目立ち、その確認や選択が容易になるように、拡大表示されている。また、画像Ｉｍ４は、アイコンＩｃ２が選択された場合の画像である。

　一方、近接操作無効モードにおいては、ユーザの指先の位置が画像Ｉｍ２、Ｉｍ３と同等であっても、アイコンＩｃ２の表示態様が変化しない。このような表示態様は、指の移動が比較的高速であり、指が比較的短時間で表示面１０１まで到達する場合に実現される。つまり、この場合表示装置１００は、近接操作によって画像の表示態様を変化させない。このような動作は、表示装置１００が近接操作自体を受け付けないことによって実現されてもよいが、受け付けた近接操作を表示態様に反映させないことによって実現されてもよい。

　なお、拡大表示の表示態様は、図７に示した例に限定されない。例えば、表示装置１００は、特定の対象物（図７の場合、アイコン）のみを拡大表示するのではなく、ユーザが指し示している位置を中心とした所定の範囲を全体的に拡大表示してもよい。また、表示装置１００は、画像の一部分を拡大表示することによって他の部分が隠れて見えなくなってしまわないように、拡大表示する画像を半透明の画像（背後が透けて見える表示態様の画像）にしてもよい。また、表示装置１００は、拡大表示に合わせて、対象物の色を変えたり、あるいは点滅表示させたりしてもよい。

　以上のように、本実施形態の表示装置１００は、指先の判別領域での滞留時間によって拡大表示するか否かを判別するように構成されている。このような表示装置１００によれば、ユーザが動作モードを（近接操作以外の操作で）事前に指定しておかなくても、ユーザの動作に応じた動作モードを判別することが可能である。したがって、表示装置１００は、同じ画像を表示している場合であっても、ユーザの操作に対する習熟の度合いや、ユーザのそのときどきの操作スピードなどによって、拡大表示するか否かを状況に応じて変えることができる。

　このような表示制御は、例えば、ユーザの選択対象として複数のオブジェクト（ボタン、アイコン、ハイパーリンク等）が混在しているような画像を表示する場合にも適している。表示装置１００によれば、このような画像を表示している場合において、ユーザが比較的小さなオブジェクトをゆっくりとした操作で選択しようとした場合には、当該オブジェクトが拡大表示される一方、ユーザが比較的大きなオブジェクトを素早い操作で選択しようとした場合には、当該オブジェクトを拡大表示させないようにすることが可能である。

　また、本実施形態の表示制御は、ユーザが高齢者や身体障害者である場合にも適している。表示装置１００によれば、ユーザの手が震えるなどしてタッチしたい位置が一定に定まらない場合や、表示面１０１の画像をよく視認できない等の理由で指を表示面１０１に近づけたままなかなかタッチさせられないでいる場合などに、指の近傍の画像を拡大表示させて操作を補助ないし支援することが可能である。

［第２実施形態］
　本実施形態は、上述した第１実施形態の構成及び動作の一部に対して変更を加えたものである。本実施形態は、表示部１３０が画像の立体表示を可能とするものである場合の例である。なお、ここでいう立体表示は、画像があたかも立体的であるかのように知覚される表示態様のことである。表示部１３０は、いわゆる裸眼立体視を実現するものであってもよいが、専用の眼鏡等の補助的な器具を利用して立体視を実現するものであってもよい。表示部１３０による立体視の具体的な実現方法については、周知の適当な技術を用いればよい。

　なお、本実施形態以降の実施形態において、既に説明した実施形態と共通する部分の説明は、適宜省略される。また、本実施形態以降の実施形態において、既に説明した実施形態と共通する構成要素やフローチャート中の処理には、既に記載した符号と同一の符号を付すものとする。

　図８は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップＳ３の処理がステップＳ３ａの処理に置き換わっている点を除き、第１実施形態の表示制御（図５参照）と同様のものである。

　ステップＳ３ａにおいて、制御部１１０は、画像を立体表示させる場合の飛び出し量を制御する。ここにおいて、飛び出し量とは、ユーザと画像との間の視覚的な距離感を表すものであり、飛び出し量が大きいほど画像がユーザの近くに（すなわち表示面１０１よりもより飛び出して）あるように近くされることを表している。制御部１１０は、飛び出し量を指先の位置に応じて局所的に変化させてもよいが、表示面１０１の全体が飛び出して見えるようにしてもよい。なお、表示制御テーブルについては、第１実施形態において「倍率」である部分を「飛び出し量」と読み替えるようにすればよい。

　また、制御部１１０は、本実施形態の表示制御と第１実施形態の表示制御を組み合わせて実行してもよい。すなわち、制御部１１０は、表示面１０１に表示されている画像を、拡大表示するとともに立体表示するように表示を制御してもよい。この場合、制御部１１０は、表示面１０１に表示されている画像のうちの拡大表示させる部分と立体表示させる部分とを異ならせてもよい。

［第３実施形態］
　図９は、本実施形態の表示装置１００ａの構成を示したブロック図である。同図に示すように、表示装置１００ａは、フィルタ部１６０を備える点が表示装置１００（図２参照）と異なる。フィルタ部１６０は、座標情報に対してノイズを低減させるためのフィルタ処理を実行する手段である。なお、フィルタ部１６０は、他の構成要素とは独立したハードウェアであってもよいが、制御部１１０や操作部１４０の一機能として実現されてもよい。

　フィルタ部１６０により用いられるフィルタは、具体的には、平滑化フィルタ、メディアンフィルタ、ガウシアンフィルタ、移動平均フィルタなどである。つまり、フィルタ部１６０は、座標情報により表される座標が短時間に細かく変動する場合に、その変動を抑制するように座標情報を変換する。したがって、ここでいうノイズとは、繰り返し連続的に検出される座標情報を時系列的に表した場合の高周波成分のことである。

　本実施形態の表示装置１００ａによれば、制御部１１０が表示制御に用いる場合の指の軌跡を実際の軌跡よりも滑らか（すなわち、位置変動が緩やか）にすることが可能である。これにより、制御部１１０は、表示面１０１の画像が拡大表示される場合の倍率（又は当該画像が立体表示される場合の飛び出し量）を急激に（又は頻繁に）変えないようにすることが可能となり、画像がぶれたりしてユーザに見づらくなることを抑えることができるようになる。このような表示制御は、特に、図４のテーブル３の場合のように倍率（又は飛び出し量）が連続的に変化する場合に有効である。

　なお、フィルタ部１６０は、Ｘ座標、Ｙ座標、Ｚ座標のそれぞれに対してフィルタ処理を実行してもよいが、Ｚ座標のみに対してフィルタ処理を実行してもよい。また、フィルタ部１６０は、それぞれの座標に対して実行するフィルタ処理の態様（より具体的には、ノイズを低減させる程度）を座標毎に異ならせてもよい。

［第４実施形態］
　本実施形態は、拡大表示（又は立体表示）後の表示制御に特徴を有するものである。具体的には、本実施形態において、表示装置１００は、表示面１０１の画像が強調表示された後に接触操作が検出された場合に、強調表示を解除して通常の表示に戻し、その後、ユーザの指先がいったん判別領域外に出るまでは、強調表示を再度行わないように制限する。このような表示制御は、特に、接触操作によってページ切り替え等の画面遷移が生じる場合に有効である。

　図１０は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップＳ９、Ｓ１０の処理が追加されている点が第１実施形態の表示制御（図５参照）と相違する。また、本実施形態において、制御部１１０は、ステップＳ７において、ユーザの接触操作に応じて拡大表示をいったん解除するものとする。

　ステップＳ９において、制御部１１０は、近接操作の座標情報により示される指先の位置が判別領域に含まれるか否かを判断する。制御部１１０は、かかる判断が否定的、すなわち指先の位置が判別領域外に出ると、ステップＳ１以降の処理を繰り返す。このとき、制御部１１０は、滞留時間が再び閾値以上となれば、近接操作有効モードに移行することが可能である。

　一方、指先の位置が判別領域内にある場合、制御部１１０は、ステップＳ１０に示すように、近接操作無効モードで動作し、指先の位置が判別領域外になるまでステップＳ９の判断を繰り返す。なお、制御部１１０は、ステップＳ１０において、近接操作を無効にするのではなく、近接操作に基づく拡大表示を無効にしてもよい。

　本実施形態の表示装置１００によれば、接触操作後にユーザの意図に反した強調表示が行われることを防ぐことができる。例えば、表示装置１００がブラウザによってウェブページを表示している場合に、ユーザがウェブページ中のハイパーリンクを接触操作により選択すると、ブラウザが表示するページは、選択前のウェブページから当該ハイパーリンクが示す他のウェブページに変化するのが一般的である。このようなページ遷移は、通信部１５０による通信やレンダリングを伴うため、ページが完全に切り替わるまでに時間を要する場合がある。このとき、ユーザは、次のページが表示されるまでの間、指の位置をあまり移動させることなく待機することがある。このような場合に、ユーザの指先が判別領域内に留まり続け、さらに滞留時間が所定の閾値以上になってしまうと、次のページは、いきなり強調表示された状態で表示されてしまうことになる。かかる表示態様は、ユーザが意図していない表示態様である可能性が高い。一方、本実施形態の表示制御によれば、ユーザがいったん指を遠ざけなければ強調表示が行われることがないため、上記のようなユーザの指の移動が少ない場合に強調表示がユーザの意図に反して行われないようにすることができる。

　なお、ステップＳ９の判断は、判別領域そのものではなく、判別領域の一部の領域に基づいて行われてもよい。例えば、ステップＳ９の判断は、判別領域よりもＺ軸方向の範囲が狭い領域（すなわち判別領域よりも小さい領域）に基づき、当該領域に指先の位置が含まれるか否かを判断するものであってもよい。

　また、ステップＳ９の判断は、その変形例として、近接操作に代えて接触操作を用いたものとしてもよい。例えば、制御部１１０は、ステップＳ５又はＳ６の接触操作の後にさらに接触操作が検出された場合に、これらの２回の接触操作の座標の距離を算出し、その距離とあらかじめ決められた閾値とを比較することによって強調表示を有効にするか無効にするかを判断してもよい。

［第５実施形態］
　本実施形態は、ユーザの操作の特徴を、上述した滞留時間に代えて指の移動速度によって判別するものである。ここでいう移動速度は、より具体的には、ユーザの指先が表示面１０１に接近するときの移動速度である。また、移動速度は、指先のＺ軸方向への変位の速度（すなわち、Ｘ軸方向及びＹ軸方向の変位を考慮しない速度）としてもよいし、これらの３軸の方向のそれぞれの変位を考慮して算出した速度としてもよい。

　図１１は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップＳ２の処理がステップＳ２ａの処理に置き換わっている点を除き、第１実施形態の表示制御（図５参照）と同様のものである。ステップＳ２ａにおいて、制御部１１０は、近接操作を示す複数の座標情報に基づき、移動速度を算出し、その移動速度が所定の閾値以下であるか否かを判断する。なお、移動速度は、複数（少なくとも２点）の座標情報が示す座標間の変位をその検出時刻の差分で除することによって算出可能である。

　制御部１１０は、移動速度が閾値以下である場合、すなわち比較的ゆっくりと移動している場合に、動作モードが近接操作有効モードであると判別し、ステップＳ３の処理を実行する。一方、制御部１１０は、移動速度が閾値を超える場合、すなわち比較的素早く移動している場合に、動作モードが近接操作無効モードであると判別し、ステップＳ６の処理を実行する。

　なお、制御部１１０は、指先の位置の移動速度に代えて、指先の位置の加速度や躍度（加加速度）を算出し、これを判別に用いることも可能である。すなわち、制御部１１０は、単位時間当たりの指先の変位ではなく、単位時間当たりの移動速度又はその加速度に基づいて動作モードを判別してもよい。

［変形例］
　本発明は、上述した各実施形態の態様に限らず、他の態様でも実施することができる。本発明は、例えば、以下の変形例に示す態様によっても実施可能である。なお、本発明は、これら複数の変形例を組み合わせた態様で実施されてもよいし、上述した各実施形態の特徴を複数組み合わせた態様で実施されてもよい。

（１）本発明の指示体は、上述したように、スタイラス等のユーザが手に持って動かす指示用の器具であってもよい。このような指示体を用いる場合の操作手段は、指示体の位置を赤外線や超音波によって検出するものであってもよい。また、先端に磁性体を備える指示体を用いた場合には、指示体の位置を磁気的に検出することも可能である。

（２）本発明の操作手段は、接触操作を検出するセンサと近接操作を検出するセンサとを別個に備える構成ではなく、接触操作と近接操作を単一のセンサによって検出する構成であってもよい。
　要するに、本発明において、上述した表示制御装置の各機能をどのようにハードウェアに実装にするかは任意である。

（３）本発明の表示制御装置は、上述した実施形態のように表示装置１００の構成の一部であってもよいが、表示装置と、表示装置とは独立に設けられた他の装置との協働によって実現されてもよい。例えば、本発明は、いわゆるデスクトップＰＣのように本体と表示装置とが分かれた構成の場合には、操作手段を表示装置側に備え、他の手段（判別手段、特定手段、表示制御手段など）を本体側に備えるようにしてもよい。

　あるいは、本発明の表示制御装置は、操作手段に代えて、操作手段から供給された座標情報を取得する手段（データ取得部１１１）を備えるものであってもよい。すなわち、本発明の表示制御装置は、上述した制御部１１０のみによって構成することも可能である。また、このような表示制御装置は、これをコンピュータに実現させるためのプログラムや、かかるプログラムを記録した記録媒体の形態でも実施され得る。

Claims

　表示面に対する指示体の位置を繰り返し検出して操作を受け付ける操作手段であって、前記指示体を前記表示面に接触させる接触操作と、前記指示体を前記表示面に近接させる近接操作とを検出する操作手段と、
　前記操作手段により検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する判別手段と、
　前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する特定手段と、
　前記特定手段により特定された表示態様で前記表示面に画像を表示する表示制御手段と
　を備えることを特徴とする表示制御装置。
　前記判別手段は、
　前記操作手段により検出された近接操作が示す前記指示体の３次元的な位置が所定領域に含まれる滞留時間によって前記動作モードを判別する
　ことを特徴とする請求項１に記載の表示制御装置。
　前記判別手段は、
　前記滞留時間があらかじめ決められた閾値より長い場合に、前記動作モードが所定のモードであると判別し、
　前記特定手段は、
　前記判別手段により判別された動作モードが前記所定のモードである場合に、前記表示面に表示される画像の一部を強調表示させる表示態様を特定する
　ことを特徴とする請求項２に記載の表示制御装置。
　前記特定手段は、
　前記表示面のうちの強調表示を行う範囲を、前記指示体の位置の前記表示面に対する正射影の座標と、当該位置の前記表示面からの距離との少なくともいずれかを用いて特定する
　ことを特徴とする請求項３に記載の表示制御装置。
　前記特定手段は、
　前記表示面に表示される画像を拡大表示させる場合の倍率を特定する
　ことを特徴とする請求項３又は４に記載の表示制御装置。
　前記特定手段は、
　前記表示面に表示される画像を立体表示させる場合の飛び出し量を特定する
　ことを特徴とする請求項３又は４に記載の表示制御装置。
　前記表示制御手段は、
　前記画像が強調表示された後に前記操作手段により接触操作が検出された場合に強調表示を解除するとともに、前記操作部により検出される位置が前記所定領域の外になるまで強調表示を再度行わない
　ことを特徴とする請求項３に記載の表示制御装置。
　前記判別手段は、
　前記操作手段により検出される前記位置が前記判別領域に入ってから、当該位置が前記接触操作として検出され、又は当該位置が当該判別領域を出るまでの時間を前記滞留時間として算出する
　ことを特徴とする請求項２に記載の表示制御装置。
　前記判別手段は、
　前記操作手段により検出された近接操作が示す前記指示体の移動速度によって前記動作モードを判別する
　ことを特徴とする請求項１に記載の表示制御装置。
　前記特定手段は、
　記憶手段に記憶された制御データを用いて、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じた表示態様を特定する
　ことを特徴とする請求項１に記載の表示制御装置。
　前記記憶手段は、
　アプリケーションに応じた前記制御データを記憶し、
　前記特定手段は、
　前記表示面に表示されている画像に対応するアプリケーションに応じた前記制御データを用いて表示態様を特定する
　ことを特徴とする請求項１０に記載の表示制御装置。
　前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、
　前記判別手段は、
　前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて動作モードを判別する
　ことを特徴とする請求項１に記載の表示制御装置。
　前記操作手段は、
　前記接触操作を検出する第１のセンサと前記近接操作を検出する第２のセンサとを備える
　ことを特徴とする請求項１に記載の表示制御装置。
　前記操作手段は、
　前記接触操作及び前記近接操作を検出する単一のセンサを備える
　ことを特徴とする請求項１に記載の表示制御装置。
　表示面に対する指示体の位置を繰り返し検出して操作を受け付けるステップであって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出するステップと、
　前記検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別するステップと、
　前記判別された動作モードと前記検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定するステップと、
　前記特定された表示態様で前記表示面に画像を表示させるステップと
　有することを特徴とする表示制御方法。