JP5912929B2 - 表示装置、処理方法及びプログラム - Google Patents

表示装置、処理方法及びプログラム Download PDF

Info

Publication number
JP5912929B2
JP5912929B2 JP2012149737A JP2012149737A JP5912929B2 JP 5912929 B2 JP5912929 B2 JP 5912929B2 JP 2012149737 A JP2012149737 A JP 2012149737A JP 2012149737 A JP2012149737 A JP 2012149737A JP 5912929 B2 JP5912929 B2 JP 5912929B2
Authority
JP
Japan
Prior art keywords
display surface
indicator
measured
display device
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012149737A
Other languages
English (en)
Other versions
JP2014013434A (ja
Inventor
禎矩 青柳
禎矩 青柳
昌志 多賀谷
昌志 多賀谷
昌克 塚本
昌克 塚本
森永 康夫
康夫 森永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2012149737A priority Critical patent/JP5912929B2/ja
Publication of JP2014013434A publication Critical patent/JP2014013434A/ja
Application granted granted Critical
Publication of JP5912929B2 publication Critical patent/JP5912929B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、表示面が指示されることで操作を受け付けて処理を行う技術に関する。
スマートフォンやタブレット端末などの表示装置では、例えばユーザが指で表示面を指示しながらタップや長押し、ドラッグなどの操作を行った場合に、指示された表示面上の位置においてそれらの操作が受け付けられて、操作が受け付けられた位置(これを「受付位置」という。)に応じた処理が行われる。その際、ユーザが指示した位置をユーザの指が隠してしまい、指示しようとした位置を正しく指示している否かをユーザが把握できない場合がある。特許文献1には、表示面を指示する物体(指示体)が検出される位置よりも予め設定した分だけオフセットした位置にポインタを表示して、そのポインタに最も近いオブジェクトを選択する技術について記載されている。
特開2009−26155号公報
特許文献1に記載されている技術では、ポインタが表示される位置が受付位置を表しており、指示体により指示された表示面上の位置と受付位置とが、予め設定された距離だけ常に離れることになる。ユーザの指示の仕方によっては、設定された距離で丁度よい場合もあるが、指示の仕方が変わると、指示体で隠れてしまう表示面の広さが変わって、設定された距離だと受付位置が見えなくなってしまう場合がある。特許文献1の技術では、このような場合に、設定をし直さなければ受付位置を変更することができない。
そこで、本発明は、表示面の指示の仕方によってユーザが受付位置を変更できるようにすることを目的とする。
上記課題を達成するために、本発明は、表示面を有し、当該表示面に画像を表示する表示手段と、指示体によって指示される前記表示面上の指示位置を特定する特定手段と、前記指示体が指である場合に、当該指の爪の長さを検出する検出手段と、前記指示体による前記表示面の指示の仕方に応じて変化する物理量を測定する第1測定手段と、前記表示面に対する前記指示体の傾きの方向を測定する第2測定手段と、前記特定手段により特定された指示位置から、前記第2測定手段により測定された傾きの方向に、前記第1測定手段により測定された物理量に応じた距離だけ離れた前記表示面上の位置を、受付位置として決定し、前記検出手段により検出された長さが閾値以上である場合には、特定された前記指示位置から、測定された前記傾きの方向とは異なる方向に前記距離だけ離れた位置を前記受付位置として決定する決定手段と、前記決定手段により決定された受付位置に、処理に対応する画像が表示されており、且つ、当該画像を選択する操作が行われた場合に、当該操作を受け付けて当該画像に対応する処理を行う処理手段とを備えることを特徴とする表示装置を提供する。
また、前記第1測定手段は、前記表示面に対する前記指示体の傾きの量を前記物理量として測定し、前記決定手段は、前記第1測定手段により前記傾きの量が測定された場合、当該傾きの量よりも小さい傾きの量が前記第1測定手段により測定された場合と比べて前記距離を大きくして前記受付位置を決定してもよい。
さらに、前記第1測定手段は、前記表示面に対する前記指示体の傾きの方向を前記物理量として測定し、前記決定手段は、特定された前記指示位置から前記第1測定手段により測定された傾きの方向に前記距離だけ離れた位置を前記受付位置として決定してもよい。
また、前記第1測定手段は、水平方向に対する前記表示面の角度を前記物理量として測定し、前記決定手段は、前記第1測定手段により前記角度が測定された場合、当該角度よりも小さい角度が前記第1測定手段により測定された場合と比べて前記距離を大きくして前記受付位置を決定してもよい。
さらに、前記第1測定手段は、特定された前記指示位置の前記表示面の鉛直方向下側の端部からの高さを前記物理量として測定し、前記決定手段は、前記第1測定手段により前記高さが測定された場合、当該高さよりも小さい高さが前記第1測定手段により測定された場合と比べて前記距離を大きくして前記受付位置を決定してもよい。
また、前記第1測定手段は、前記表示面に対するユーザの視線の角度を前記物理量として測定し、前記決定手段は、前記第1測定手段により前記視線の角度が測定された場合、当該視線の角度よりも小さい視線の角度が前記第1測定手段により測定された場合と比べて前記距離を大きくして前記受付位置を決定してもよい
た、前記処理手段は、前記表示手段を制御して、前記決定手段により決定された前記受付位置に所定の画像を表示させてもよい。
本発明は、表示面を有し、当該表示面に画像を表示する表示手段を備える表示装置が、指示体によって指示される前記表示面上の指示位置を特定する特定ステップと、前記表示装置が、前記指示体が指である場合に、当該指の爪の長さを検出する検出ステップと、前記表示装置が、前記指示体による前記表示面の指示の仕方に応じて変化する物理量を測定する第1測定ステップと、前記表示装置が、前記表示面に対する前記指示体の傾きの方向を測定する第2測定ステップと、前記表示装置が、前記特定ステップにおいて特定された指示位置から、前記第2測定ステップにおいて測定された傾きの方向に、前記第1測定ステップにおいて測定された物理量に応じた距離だけ離れた前記表示面上の位置を、受付位置として決定し、前記検出ステップにおいて検出された長さが閾値以上である場合には、特定された前記指示位置から、測定された前記傾きの方向とは異なる方向に前記距離だけ離れた位置を前記受付位置として決定する決定ステップと、前記表示装置が、前記決定ステップにおいて決定された受付位置に、処理に対応する画像が表示されており、且つ、当該画像を選択する操作が行われた場合に、当該操作を受け付けて当該画像に対応する処理を行う処理ステップとを備えることを特徴とする処理方法を提供する。
本発明は、表示面を有し、当該表示面に画像を表示する表示手段を備えるコンピュータに、指示体によって指示される前記表示面上の指示位置を特定する特定ステップと、前記指示体が指である場合に、当該指の爪の長さを検出する検出ステップと、前記指示体による前記表示面の指示の仕方に応じて変化する物理量を測定する第1測定ステップと、前記表示面に対する前記指示体の傾きの方向を測定する第2測定ステップと、前記特定ステップにおいて特定された指示位置から、前記第2測定ステップにおいて測定された傾きの方向に、前記第1測定ステップにおいて測定された物理量に応じた距離だけ離れた前記表示面上の位置を、受付位置として決定し、前記検出ステップにおいて検出された長さが閾値以上である場合には、特定された前記指示位置から、測定された前記傾きの方向とは異なる方向に前記距離だけ離れた位置を前記受付位置として決定する決定ステップと、前記決定ステップにおいて決定された受付位置に、処理に対応する画像が表示されており、且つ、当該画像を選択する操作が行われた場合に、当該操作を受け付けて当該画像に対応する処理を行う処理ステップとを実行させるためのプログラムを提供する。
本発明によれば、表示面の指示の仕方によってユーザが受付位置を変更できるようにすることができる。
第1実施形態の表示装置のハードウェア構成を示す図である。 表示装置が実現する機能を示す図である。 表示面側から見た表示装置の一例を示す図である。 特定部により計測される指示体距離の例を示す図である。 測定結果の一例を示すグラフである。 接触領域の一例を示す図である。 測定部により算出された直線の近似式の一例を示すグラフである。 表示面に投影された直線の一例を示すグラフである。 離間距離を定める際に用いられるテーブルの一例を示す図である。 決定された受付位置の一例を示す図である。 ユーザが表示面を指示している様子の一例を示す図である。 受付位置決定処理における動作の一例を示すフローチャートである。 指示体の傾きの量と隠れ長さとの関係を説明するための図である。 第2実施形態の表示装置のハードウェア構成を示す図である。 離間距離を定める際に用いられるテーブルの一例を示す図である。 表示面角度と隠れ長さとの関係を説明するための図である。 離間距離を定める際に用いられるテーブルの一例を示す図である。 鉛直方向高さと隠れ長さとの関係を説明するための図である。 第4実施形態の表示装置のハードウェア構成を示す図である。 離間距離を定める際に用いられるテーブルの一例を示す図である。 視線角度と隠れ長さとの関係を説明するための図である。 第5実施形態の表示装置のハードウェア構成を示す図である。 表示装置が実現する機能を示す図である。 爪の長さの検出方法を説明するための図である。 受付位置の決め方を説明するための図である。 離間距離を定める際に用いられるテーブルの一例を示す図である。 離間距離を定める際に用いられるテーブルの一例を示す図である。 指示位置の特定の仕方を説明するための図である。 画像のサイズを切り替える際に用いるテーブルの一例を示す図である。
[第1実施形態]
本発明の第1実施形態における表示装置について説明する。
[構成]
図1は、第1実施形態の表示装置10のハードウェア構成を示す図である。表示装置10は、スマートフォンやタブレット端末などの表示面に画像を表示する装置である。表示装置10は、制御装置110と、記憶装置120と、音声入出力装置130と、通信装置140と、タッチスクリーン20とを備えたコンピュータである。制御装置110は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を備えている。CPUは、RAMをワークエリアとして用いてROMや記憶装置120に記憶されたプログラムを実行することによって、表示装置10の各装置の動作を制御する。
記憶装置120は、例えばフラッシュメモリやハードディスク等の記憶手段であり、制御装置110が制御に用いるデータやプログラムなどを記憶している。また、記憶装置120は、表示装置10において用いられる閾値などの定められた数値を示すデータを記憶している。音声入出力装置130は、スピーカ、マイクロフォン及び音声処理回路等を有し、通話に係る音声の入出力を行う。通信装置140は、携帯電話や無線LANなどの規格に基づく無線通信を行うための通信回路を備え、移動体通信や無線LAN通信を行う。
タッチスクリーン20は、画像を表示するとともにユーザの操作を受け付ける装置であり、表示部210とタッチセンサ220とを備える。表示部210は、例えば液晶ディスプレイであり、表示面を有し、その表示面に画像を表示する表示手段として機能する。タッチセンサ220は、表示部210の表示面を覆うようにして設けられた薄型透明のセンサである。タッチセンサ220は、格子状に配置された複数の静電センサを有する。これら複数の静電センサは、指示体が表示面に近づくことで変化する静電容量に応じた値を、自センサの位置を示す情報とともに制御装置110に供給する。ここでいう指示体とは、表示面を指示するために用いられる物体のことであり、指やペンなどの棒状のものがよく用いられる。表示装置10においては、静電容量を変化させるために先端の電気伝導率が所定の値以上となっている指示体(例えば指)が用いられる。
表示装置10は、以上のハードウェア構成に基づき、受付位置を決定する受付位置決定処理を行う。ここにおいて、受付位置とは、例えばユーザが指で表示部210の表示面を指示しながらタップや長押し、ドラッグなどの操作を行った場合に、その操作が受け付けられる位置のことをいう。表示装置10では、その操作が受け付けられると、受付位置に応じた処理が行われる。記憶装置120は、この受付位置決定処理を行うためのプログラムを記憶している。制御装置110がこのプログラムを実行して図1に示す各装置を制御することで、以下に示す機能が実現される。
図2は、表示装置10が実現する機能を示す図である。表示装置10は、特定部101と、測定部102と、決定部103と、処理部104とを備える。
特定部101は、指示体によって指示される表示部210の表示面上の位置(以下「指示位置」という。)を特定する特定手段であり、制御装置110、記憶装置120及びタッチセンサ220が協働することで実現される機能である。特定部101は、具体的には、次の方法で指示位置を特定する。
特定部101は、指示体と表示面との距離(以下「指示体距離」という。)を複数の位置において計測する。ここでいう複数の位置とは、上記の静電センサが配置された位置のことであり、指示体距離が計測される計測位置である。この計測は、タッチセンサ220から供給された値に応じた指示体距離を制御装置110が算出することで行われる。
図3は、表示面側から見た表示装置10の一例を示す図である。図3(a)に示す211が、表示部210が有する表示面であり、表示面211は、長方形の形をしている。以降の図においては、表示面211の長辺に沿った方向を上下方向といい、短辺に沿った方向が左右方向という。前述した計測位置などの表示面211上の位置は、表示面211の左上を原点として上下方向及び左右方向に沿った2軸により定められる二次元直交座標系の座標で表される。表示面211には、処理画像A11及びA12を含む複数の処理画像A10が表示されている。処理画像とは、各々が何らかの処理に対応付けられており、ユーザの操作により選択されると、その対応付けられている処理が行われる画像である。処理画像A10は、いずれも、アプリケーションプログラムを起動させるという処理に対応付けられている。ユーザは、処理画像を選択するために、図3(b)に示すように、棒状の指示体である自分の指30の先端側の部分(指先)を表示面211に近づけ、選択したい処理画像(この場合A12)に接触させる。
図4は、特定部101により計測される指示体距離の例を示す図である。図4(a)では下側から見た表示装置10が示され、図4(b)では右側から見た表示装置10が示されている。以降の図においては、表示面211の垂線に沿った方向を高さ方向という。図4(a)では、計測位置B1からB10までの10箇所の計測位置における測定結果が示されている。この例では、計測位置B3、B4及びB5の3箇所において、L3、L4及びL5の3つの指示体距離が計測されている。図4(b)では、計測位置B11からB24までの14箇所の計測位置における測定結果が示されている。図4の例では、計測位置B18からB24までの7箇所において、L18からL24までの7つの指示体距離が計測されている。なお、計測位置B4及びB19は同じ計測位置を示している。つまり、計測位置B19における指示体距離L19はL4と同じである。指示体距離が計測されていない計測位置における矢印の長さL0(例えば5cm)は、特定部101により計測可能な最大の指示体距離を表している。これらの矢印に外接する矩形40a及び40bによって表される直方体の空間は、特定部101が指示体距離を計測することが可能な範囲(「計測可能空間」という。)を表している。
図5は、図4に示す指30が表示面211に接触したときに測定される測定結果の一例を示すグラフである。図5(a)では、縦軸を高さ方向、横軸を左右方向としたグラフに、計測位置B1からB10までの測定結果が示され、図5(b)では、縦軸を高さ方向、横軸を上下方向としたグラフに、計測位置B24からB11までの測定結果が示されている。以降の図では、指示体距離が計測された計測位置の測定結果を黒丸で、指示体距離が計測されなかった計測位置の測定結果を白丸で示す。特定部101は、指示体距離のうち、閾値Th1(例えば1.0mm)未満のものを抽出する。特定部101は、この例では、計測位置B4、B5、B20、B19及びB18において計測された指示体距離を抽出する。このように抽出された指示体距離は、指30が接触している領域に含まれる計測位置において計測されたものであり、この領域のことを以下では「接触領域」という。
図6は、接触領域の一例を示す図である。図6では、表示面211上に接触領域R1が示されている。この例では、接触領域R1は、長軸が上下方向に沿っている楕円形の領域である。特定部101は、接触領域R1の重心であるC1の座標を算出することで、算出した座標により表される指示位置を特定する。特定部101は、特定した指示位置を示す情報(算出した座標)を、決定部103に通知する。
測定部102は、指示体による表示面211の指示の仕方に応じて変化する物理量を測定する測定手段であり、制御装置110、記憶装置120及びタッチセンサ220が協働することで実現される機能である。測定部102は、具体的には、次の方法で指示の仕方に応じて変化する物理量を測定する。
測定部102は、指示の仕方として、表示面211に対する指示体の傾け方を用いる。測定部102は、この傾け方に応じて変化する物理量として、表示面211に対する指示体の傾きの量及び傾きの方向を測定する。そのため、測定部102は、上述した特定部101と同様に、指示体距離を複数の計測位置において計測し、計測した指示体距離及び計測位置の座標を、上下方向、左右方向及び高さ方向に沿った3軸により定められる三次元直交座標系の座標に変換する。測定部102は、変換したそれらの座標により表される直線の近似式を最小二乗法等のアルゴリズムを用いて算出する。
図7は、測定部102により算出された直線の近似式の一例を示すグラフである。図7では、近似式で表された直線D1が示されている。この例では、直線D1は、左右方向へは傾いておらず、上下方向の軸及び高さ方向の軸に沿った平面に含まれている。図7では、高さ方向の軸を縦軸、上下方向の軸を横軸とする2次元のグラフによって直線D1が示されている。測定部102は、算出した直線D1の近似式と、表示面211の垂線方向、すなわち、高さ方向の軸とがなす角度θ1を算出する。測定部102は、算出した角度θ1を指示体の傾きの量として測定する。この傾きの量は、直線D1が高さ方向に沿っている場合に最小(0°)となり、直線D1が表示面211に沿っている場合に最大(90°)となる。
また、測定部102は、直線D1を表示面211に投影した直線の式を算出する。
図8は、表示面211に投影された直線の一例を示すグラフである。図8では、直線D1を表示面211に投影した直線D2が示されている。また、図8では、直線D1との関係を分かりやすくするため、図7に示す測定結果を表示面211に投影したもの(黒丸及び白丸)を、B11からB24までの計測位置にそれぞれ示している。測定部102は、直線D2に沿った方向のうち、直線D1の高さ方向の値が小さくなっていく方向M1(この例では計測位置B24からB11に向かう方向)を、指示体の傾きの方向として測定する。こうして測定された傾きの方向は、表示面211に沿った方向になる。測定部102は、測定した指示体の傾きの方向を、例えば、単位長さのベクトルで表して、測定した指示体の傾きの量を表す角度(この例ではθ1)とともに、前述した指示の仕方に応じて変化する物理量として決定部103に通知する。
決定部103は、特定部101により特定された指示位置から、測定部102により測定された物理量に応じた距離(以下「離間距離」という。)だけ離れた表示面211上の位置を、受付位置として決定する決定手段である。離間距離は、本発明に係る「距離」の一例である。決定部103は、制御装置110及び記憶装置120が協働して実現する機能である。決定部103は、具体的には次の方法で受付位置を決定する。
決定部103は、記憶装置120に記憶されているテーブルを用いて離間距離を定める。
図9は、離間距離を定める際に用いられるテーブルの一例を示す図である。このテーブルでは、指示体角度の範囲と離間距離とが対応付けられている。この例では、「0°以上30°未満」、「30°以上60°未満」及び「60°以上90°以下」という3つの「指示体角度の範囲」に、「5mm」、「10mm」及び「15mm」という3つの「離間距離」がそれぞれ対応付けられている。決定部103は、例えば、指示体角度θ1が35°であった場合、この角度を含む「30°以上60°未満」という範囲に対応付けられている「10mm」を離間距離として定める。このように、決定部103は、測定部102により前述した傾きの量(例えば45度)が測定された場合、測定部102によりこの傾きの量よりも小さい傾きの量(例えば15度)が測定された場合と比べて、離間距離を大きくして受付位置を決定している。
決定部103は、以上のとおり離間距離を定めると、特定部101により特定された指示位置から測定部102により測定された指示体の傾きの方向にその離間距離だけ離れた位置を、受付位置として決定する。
図10は、決定された受付位置の一例を示す図である。図10では、この例における接触領域R2と、その重心である指示位置C2とが示されている。この例では、図8に示す方向M1と同じ方向であるM2が測定部102によって傾きの方向として測定され、離間距離N2が決定部103によって定められている。決定部103は、指示位置C2から指示体の方向M2に離間距離N2だけ離れた位置であるT2を受付位置として決定している。決定部103は、決定した受付位置T2を表す座標を処理部104に通知する。
処理部104は、決定部103により決定された受付位置に、図3に示す処理画像A10のような処理に対応する画像が表示されており、且つ、その画像を選択する操作が行われた場合に、その操作を受け付けてその画像に対応する処理を行う処理手段である。処理画像を選択する操作とは、例えば、上述したタップ(表示面211を指示体で軽く叩く操作)や、長押し(表示面211を指示体で所定時間以上押さえてから離す操作)、ドラッグ(表示面211に接触させた指示体を移動させてから離す操作)などである。また、処理部104は、表示部210を制御して、決定部103により決定された受付位置に所定の画像を表示させる。処理部104は、制御装置110により実現される機能である。
図11は、ユーザが表示面211を指示している様子の一例を示す図である。この例では、図10に示した例と同じ指示の仕方で表示面211が指示されて、受付位置T2が決定されている。処理部104は、表示部210を制御して、表示面211に図3に示す処理画像A12を表示させ、図10に示す受付位置T2に所定の画像である画像U2を表示させている。処理部104は、画像U2を表示させている位置(つまり受付位置T2)に処理画像A12が表示されているため、この処理画像A12に応じた制御、すなわち、処理画像A12に対応付けられているアプリケーションプログラムの起動を行う。また、処理部104は、処理画像の種類に応じて、画面を遷移させたり、音楽や動画を再生させたり、データの送受信を行ったり、入力された文字を表示したりする。処理部104(すなわち制御装置110)は、図1に示す記憶装置120、音声入出力装置130、通信装置140及び表示部210を制御してこれらの動作を行う。
[動作]
表示装置10は、以上の構成に基づき、上述した受付位置決定処理を実行する。
図12は、受付位置決定処理における表示装置10の動作の一例を示すフローチャートである。まず、表示装置10は、図4に示す計測可能空間に指示体が存在するか否かを判断する(ステップS11)。表示装置10は、指示体が存在しないと判断した場合(ステップS11:NO)、ステップS11の動作を繰り返し行い、存在すると判断した場合(ステップS11:YES)、その指示体の指示体距離を各計測位置で計測する(ステップS12)。次に、表示装置10は、計測した指示体距離のうちの最小の指示体距離が、閾値Th1未満であるか否かを判断する(ステップS13)。表示装置10は、閾値Th1未満ではないと判断した場合(ステップS13:NO)、ステップS13の動作を繰り返し行い、閾値Th1未満であると判断した場合(ステップS13:YES)、次の動作を行う。ステップS11、S12及びS13は、特定部101及び測定部102がともに行う動作である。
次に、表示装置10は、計測した指示体距離に基づいて、上述した指示位置を特定する(ステップS14)。ステップS14は特定部101が行う動作である。続いて、表示装置10は、計測した指示体距離に基づいて、上述した指示の仕方に応じて変化する物理量(本実施形態では、指示体の傾きの量及び傾きの方向)を測定する(ステップS15)。ステップS15は測定部102が行う動作である。そして、表示装置10は、測定した物理量を用いて、上述した離間距離を定め(ステップS16)、ステップS14で特定した指示位置から、ステップS15で測定した指示体の傾きの方向に、ステップS16で定めた離間距離だけ離れた位置を受付位置として決定する(ステップS17)。ステップS16及びS17は、決定部103が行う動作である。
続いて、表示装置10は、ステップS17において決定した受付位置に所定の画像(例えば図11に示す画像U2)を表示する(ステップS18)。次に、表示装置10は、ユーザによって上述したタップや長押し、ドラッグなどの操作がされたか否かを判断する(ステップS19)。表示装置10は、操作がされていないと判断した場合は(ステップS19:NO)、ステップS11に戻って動作を行い、操作がされたと判断した場合は(ステップS19:YES)、ステップS17において決定した受付位置に処理画像が表示されているか否かを判断する(ステップS20)。表示装置10は、処理画像が表示されていないと判断した場合は(ステップS20:NO)、ステップS11に戻って動作を行い、処理画像が表示されていると判断した場合は(ステップS20:YES)、その処理画像に応じた制御を実行する(ステップS21)。ステップS18からS21までは、処理部104が行う動作である。
本実施形態の表示装置10では、図10に示すように、指示位置から離間距離だけ離れた位置が受付位置として決定される。その際、図9で説明したように、指示体の傾きの量が変化すると、離間距離が変化するようになっている。指示体の傾きの量は、指示位置よりも先の指示体によって隠される表示面211の長さ(これを「隠れ長さ」という。)に関係する。
図13は、指示体の傾きの量と隠れ長さとの関係を説明するための図である。図13(a)では、指示体である指30の傾きの量を大きくした場合の隠れ長さV3が示され、図13(b)では、指30の傾きの量を小さくした場合の隠れ長さV4が示されている。また、図13(a)及び(b)には、それぞれの場合において特定される指示位置C3及びC4と、ユーザの目から見た各指示位置までの視線及び各指示位置から隠れ長さだけ離れた位置までの視線とが示されている。
図13(a)及び(b)に示されているように、隠れ長さV4は、隠れ長さV3よりも短い。上記のとおり、表示装置10の決定部103は、測定部102により傾きの量が測定された場合(図13(a)に示す場合)、測定部102によりこの傾きの量よりも小さい傾きの量が測定された場合(図13(b)に示す場合)と比べて、離間距離を大きくして受付位置を決定している。言い換えると、表示装置10は、隠れ長さが大きい場合に、隠れ長さが小さい場合と比べて離間距離を大きくしている。これにより、決定した受付位置が指示体によって隠れにくくなり、ユーザから受付位置が見えないということが起こりにくくなる、すなわち、受付位置がユーザの目から見えやすいようになるという効果(これを「第1の効果」という。)が得られることになる。また、表示装置10によれば、ユーザは、例えば、離間距離が短くて受付位置が指示体に隠れてしまう場合であっても、指示体を傾ける量を変化させることで離間距離を変化させて、指示体に隠れないように受付位置を変更することができるという効果(これを「第2の効果」という。)を得る。
また、本実施形態の表示装置10では、指示位置から指示体の傾きの方向に離れた位置が受付位置として決定される。これにより、指示体の延長線上に受付位置がくることになるため、ユーザが受付位置を直感的に把握しやすいようにすることができる。
また、本実施形態の表示装置10では、図11に示すように、受付位置に所定の画像(画像U2)が表示される。これにより、ユーザに受付位置を正確に把握させることができる。
[第2実施形態]
本発明の第2実施形態は、表示装置10の姿勢を指示の仕方として用いるところが、上述した第1実施形態と異なる。以下では、第1実施形態と異なる点を中心に説明する。
図14は、本実施形態の表示装置10aのハードウェア構成を示す図である。表示装置10aは、図1に示すハードウェアに加え、加速度センサ150を備える。加速度センサ150は、互いに直交する3方向の加速度をそれぞれ検出する3軸加速度センサである。加速度センサ150は、表示装置10が移動した場合にこれら3方向の加速度をそれぞれ検出し、検出した加速度を示すデータを制御装置110に供給する。
表示装置10aは、以上のハードウェア構成に基づき、図2に示したものと概ね同じ機能(特定部101、測定部102、決定部103及び処理部104)を実現する。ただし、表示装置10aでは、これらの機能を実現する方法が第1実施形態と異なっているものもあるので、以下、実現の方法が異なっている機能について説明する。
測定部102は、指示の仕方として、上記のとおり表示装置10の姿勢を用いる。測定部102は、この姿勢に応じて変化する物理量として、水平方向に対する表示面211の角度(以下「表示面角度」という。)を測定する。本実施形態における測定部102は、制御装置110、記憶装置120及び加速度センサ150が協働することで実現される機能である。測定部102は、加速度センサ150が検出する3方向の加速度に基づいて、表示面角度を測定する。測定部102は、測定した表示面角度を決定部103に通知する。
決定部103は、測定部102により測定された表示面角度に基づいて受付位置を決定する。決定部103は、図9で示したものとは異なるテーブルを用いて離間距離を定める。
図15は、離間距離を定める際に用いられるテーブルの一例を示す図である。このテーブルでは、表示面角度の範囲と離間距離とが対応付けられている。この例では、「0°以上30°未満」、「30°以上60°未満」及び「60°以上90°以下」という3つの「表示面角度の範囲」に、「15mm」、「10mm」及び「5mm」という3つの「離間距離」がそれぞれ対応付けられている。決定部103は、例えば、表示面角度が65°であった場合、この角度を含む「60°以上90°以下」という範囲に対応付けられている「5mm」を離間距離として定める。このように、決定部103は、測定部102により前述した表示面角度(例えば45度)が測定された場合、測定部102によりこの表示面角度よりも大きい表示面角度(例えば75度)が測定された場合と比べて、離間距離を大きくして受付位置を決定している。
表示装置10aは、以上の構成に基づき、図12に示したものと概ね同じ動作を行って受付位置決定処理を実行する。以下、いくつかの動作における図12との相違点について説明する。本実施形態では、ステップS11、S12及びS13は、特定部101のみが行う(つまり測定部102は行わない)動作である。また、表示装置10aは、ステップS15において、検出した3軸の加速度に基づいて、指示の仕方に応じて変化する物理量として表示面角度を測定する。そして、表示装置10aは、ステップS16において、図15に示すテーブルを用いて離間距離を定める。
本実施形態の表示装置10aでは、図15で説明したように、表示面角度が変化することで、離間距離が変化するようになっている。この表示面角度は、図13で説明した指示体の傾きの量と同様に、隠れ長さに関係する。
図16は、表示面角度と隠れ長さとの関係を説明するための図である。図16(a)及び(b)では、表示面角度がそれぞれθ2及びθ3(θ2<θ3)となっている表示面211の一例がそれぞれ示されている。これらの例では、指示体である指30が水平方向に対してなす角度が同じとなっている。この場合、表示面211に対する指30の傾きの量は、図16(a)に示す例の方が大きくなっている。つまり、図13において説明したのと同じ理由で、図16(a)に示す場合の方が、図16(b)に示す場合に比べて隠れ長さが長くなっている。
上記のとおり、表示装置10aの決定部103は、測定部102により表示面角度(この例ではθ2)が測定された場合(図16(a)に示す場合)、測定部102によりこの表示面角度よりも大きい表示面角度(この例ではθ3)が測定された場合(図16(b)に示す場合)と比べて、離間距離を大きくして受付位置を決定している。つまり、表示装置10aは、隠れ長さが大きい場合に、隠れ長さが小さい場合と比べて離間距離を大きくするものであるため、受付位置がユーザの目から見えやすいようになるという上述した第1の効果が得られるものである。また、表示装置10aによれば、ユーザは、表示面211の水平方向に対する角度(つまり表示面角度)を変化させることで、指示体に隠れないように受付位置を変更することができるという上述した第2の効果を得ることができる。
なお、本実施形態では、加速度センサを用いて表示面角度を測定したが、これ以外にも、例えば、ジャイロセンサ(角速度センサ)や地磁気センサなどを用いて表示面角度を測定してもよい。
[第3実施形態]
本発明の第3実施形態は、ユーザからの指示体の見え方(具体的には、指示体が長く見える状態で指示しているか、短く見える状態で指示しているか)を指示の仕方として用いるところが、上述した第1及び第2実施形態と異なる。本実施形態の表示装置は、図14に示す表示装置10aとハードウェア構成が共通している。本実施形態の表示装置10aは、このハードウェア構成に基づき、第1及び第2実施形態で説明したものと概ね同じ機能(特定部101、測定部102、決定部103及び処理部104)を実現する。ただし、本実施形態では、これらの機能を実現する方法が第1及び第2実施形態と異なっているものもあるので、以下、実現の方法が異なっている機能について説明する。
測定部102は、指示の仕方として、上記のとおりユーザからの指示体の見え方を用いる。測定部102は、この見え方に応じて変化する物理量として、表示面211の鉛直方向下側の端部から指示位置までの表示面211に沿った高さ(以下「鉛直方向高さ」という。)を測定する。本実施形態における測定部102は、制御装置110、記憶装置120及び加速度センサ150が協働することで実現される機能である。より詳細には、測定部102は、加速度センサ150が検出する3方向の加速度に基づいて、図16に示すような表示面角度を測定する。測定部102は、測定した表示面角度に基づいて、表示面211の鉛直方向下側の端部の座標を特定する。測定部102は、特定した端部の座標と、特定部101が特定した指示位置の座標との距離を算出し、算出した距離を鉛直方向高さとして測定する。このようにして測定された鉛直方向高さは、表示面211に沿った高さとなる。測定部102は、測定した鉛直方向高さを決定部103に通知する。
決定部103は、測定部102により測定された鉛直方向高さに基づいて受付位置を決定する。決定部103は、図9及び図15で示したものとは異なるテーブルを用いて離間距離を定める。
図17は、離間距離を定める際に用いられるテーブルの一例を示す図である。このテーブルでは、鉛直方向高さの範囲と離間距離とが対応付けられている。この例では、「鉛直方向上側の3分の1」、「鉛直方向中央の3分の1」及び「鉛直方向下側の3分の1」という3つの「表示面角度の範囲」に、「13mm」、「10mm」及び「7mm」という3つの「離間距離」がそれぞれ対応付けられている。以下、表示面211の上下方向のサイズが10cmであるものとする。決定部103は、例えば、表示面211の上下方向の端部が鉛直方向の端部となっており(いわゆる縦向きの状態)、且つ、測定された鉛直方向高さが5cmであった場合、この鉛直方向高さを含む「鉛直方向中央の3分の1」という範囲に対応付けられている「10mm」を離間距離として定める。なお、決定部103は、表示面211の左右方向の端部が鉛直方向の端部となっている場合(いわゆる横向きの状態)は、表示面211の左右方向のサイズに基づいてこの範囲を判断する。このように、決定部103は、測定部102により前述した鉛直方向高さ(例えば表示面211全体の鉛直方向の高さが60mmである場合に30mm)が測定された場合、測定部102によりこの鉛直方向高さよりも大きい鉛直方向高さ(同じ場合に50mm)が測定された場合と比べて、離間距離を大きくして受付位置を決定している。
表示装置10aは、以上の構成に基づき、第2実施形態で説明したものと概ね同じ動作を行って受付位置決定処理を実行する。本実施形態では、表示装置10aは、ステップS15において、上記のとおり表示面角度、端部の座標及び指示位置の座標に基づいて、指示の仕方に応じて変化する物理量として鉛直方向高さを測定する。そして、表示装置10aは、ステップS16において、図17に示すテーブルを用いて離間距離を定める。
本実施形態の表示装置10aでは、図17で説明したように、鉛直方向高さが変化することで、離間距離が変化するようになっている。この鉛直方向高さは、図13で説明した指示体の傾きの量と同様に、隠れ長さに関係する。
図18は、鉛直方向高さと隠れ長さとの関係を説明するための図である。図18(a)及び(b)では、鉛直方向高さがそれぞれH1及びH2(H1>H2)となっている表示面211の一例がそれぞれ示されている。これらの例では、表示面211に対するユーザの目の位置が同じとなっている。図18(a)の例では、ユーザが指30を斜めに見ているため、指30が短く見える状態で指示がされているのに比べて、図18(b)の例では、ユーザが指30の背中側をほぼ正面に見ているため、指30が長く見える状態で指示がされている。つまり、これら2つの例では、ユーザからの指示体の見え方が異なっている。このように、ユーザからの指示体の見え方が変化すると、それに応じて鉛直方向高さという物理量が変化することになる。表示面211に対する指30の傾きの量は、図18(a)に示す例の方が大きくなっている。つまり、図13において説明したのと同じ理由で、図18(a)に示す場合の隠れ長さV5の方が、図18(b)に示す場合の隠れ長さV6に比べて長くなっている。
上記のとおり、表示装置10aの決定部103は、測定部102により鉛直方向高さ(この例ではH1)が測定された場合(図18(a)に示す場合)、測定部102によりこの鉛直方向高さよりも大きい鉛直方向高さ(この例ではH2)が測定された場合(図18(b)に示す場合)と比べて、離間距離を大きくして受付位置を決定している。つまり、本実施形態の表示装置10aは、隠れ長さが大きい場合に、隠れ長さが小さい場合と比べて離間距離を大きくするものであるため、上述した第1の効果が得られるものである。また、表示装置10aによれば、ユーザは、表示面211を指示する位置を変えて測定される鉛直方向高さを変化させることで、上述した第2の効果を得ることができる。
なお、測定部102は、上記のような表示面211に沿った高さではなく、鉛直方向に沿った高さを測定してもよい。その場合、測定部102は、特定した端部の座標と、特定部101が特定した指示位置の座標との鉛直方向に沿った距離を算出して、算出した距離を鉛直方向高さとして測定する。測定部102は、特定した端部の座標と、特定部101が特定した指示位置の座標と、測定した表示面角度とを用いて、この距離を算出する。
[第4実施形態]
本発明の第4実施形態では、ユーザの目の位置を指示の仕方として用いるところが、上述した各実施形態と異なる。
図19は、本実施形態の表示装置10bのハードウェア構成を示す図である。表示装置10bは、図1に示すハードウェアに加えて撮像装置160を備える。撮像装置160は、表示装置10bの表示面211側で図4に示す高さ方向に向けて設けられたレンズを有し、表示面211側に存在する被写体(ユーザの顔など)の画像を撮影する。撮像装置160のレンズは表示面211の上側に設けられている。表示装置10bは、このハードウェア構成に基づき、上記各実施形態で説明したものと同様に、特定部101、測定部102、決定部103及び処理部104という各機能を実現する。以下では、上記各実施形態と実現の方法が異なっている機能を中心に説明する。
測定部102は、指示の仕方として、上記のとおりユーザの目の位置を用いる。測定部102は、この目の位置に応じて変化する物理量として、表示面211に対するユーザの視線の角度(以下「視線角度」という。)を測定する。本実施形態における測定部102は、制御装置110及び撮像装置160が協働することで実現される機能である。測定部102においては、撮像装置160が撮影した画像に対して制御装置110が画像処理を行って、それらの画像に含まれるユーザ目の位置を特定する。対象物の画像上の位置が特定されると、その対象物及びレンズを結ぶ直線とレンズ面とがなす角度が決まる。表示装置10bでは、撮像装置160のレンズ面と表示面211とが同じ高さ方向を向いているので、ユーザの目及びレンズを結ぶ直線とレンズ面とがなす角度を、視線角度とみなすことができる。このような原理で、測定部102は、特定したユーザの目の位置を用いてユーザの目及びレンズを結ぶ直線とレンズ面とがなす角度を算出し、算出した角度を視線角度として測定する。測定部102は、測定した視線角度を決定部103に通知する。
決定部103は、測定部102により測定された視線角度に基づいて受付位置を決定する。決定部103は、図9等で示したものとは異なるテーブルを用いて離間距離を定める。
図20は、離間距離を定める際に用いられるテーブルの一例を示す図である。このテーブルでは、視線角度の範囲と離間距離とが対応付けられている。この例では、「0°以上50°未満」、「50°以上70°未満」及び「70°以上90°以下」という3つの「表示面角度の範囲」に、「15mm」、「10mm」及び「5mm」という3つの「離間距離」がそれぞれ対応付けられている。決定部103は、例えば、視線角度が75°であった場合、この角度を含む「70°以上90°以下」という範囲に対応付けられている「5mm」を離間距離として定める。このように、決定部103は、測定部102により前述した視線角度(例えば60°)が測定された場合、測定部102によりこの視線角度よりも大きい視線角度(例えば80°)が測定された場合と比べて、離間距離を大きくして受付位置を決定している。
表示装置10bは、以上の構成に基づき、図12に示したものと概ね同じ動作を行って受付位置決定処理を実行する。以下、いくつかの動作における図12との相違点について説明する。本実施形態では、ステップS11、S12及びS13は、特定部101のみが行う(つまり測定部102は行わない)動作である。また、表示装置10bは、ステップS15において、撮像装置160が撮影した画像の画像処理を行って、指示の仕方に応じて変化する物理量として視線角度を測定する。そして、表示装置10bは、ステップS16において、図20に示すテーブルを用いて離間距離を定める。
表示装置10bでは、図20で説明したように、視線角度が変化することで、離間距離が変化するようになっている。この視線角度は、図13で説明した指示体の傾きの量と同様に、隠れ長さに関係する。
図21は、視線角度と隠れ長さとの関係を説明するための図である。図21(a)及び(b)では、視線角度がそれぞれθ4及びθ5(θ4<θ5)となっている指示の仕方の一例がそれぞれ示されている。これらの例では、表示面211に対する指30の指示位置(図21に示すC7)及び指30の傾きの量とが同じとなっている。図21(a)ではユーザが指30の先端側の部分を指30の手前側から斜めに見ているのに対し、図21(b)ではユーザが指30の先端側の部分を上から見ているため、図21(b)における隠れ長さV8が、図21(a)における隠れ長さV7に比べて小さくなっている。
上記のとおり、表示装置10bの決定部103は、測定部102により視線角度(この例ではθ4)が測定された場合(図21(a)に示す場合)、測定部102によりこの視線角度よりも大きい視線角度(この例ではθ5)が測定された場合(図18(b)に示す場合)と比べて、離間距離を大きくして受付位置を決定している。つまり、表示装置10bは、隠れ長さが大きい場合に、隠れ長さが小さい場合と比べて離間距離を大きくするものであるため、上述した第1の効果が得られるものである。また、表示装置10bによれば、ユーザは、表示面211に対する目の位置を変えて視線角度を変化させることで、上述した第2の効果を得ることができる。
[第5実施形態]
本発明の第5実施形態では、上述した指示体の傾きの方向に指示位置から離れた位置を受付位置として決定するだけではなく、指示体が指であり、且つ、爪の長さが閾値以上となっている場合には、傾きの方向とは異なる方向に指示位置から離れた位置を受付位置として決定するというところが、上述した各実施形態と異なる。
図22は、本実施形態の表示装置10cのハードウェア構成を示す図である。表示装置10cは、図1に示すハードウェアに加え、赤外線センサ230を備えるタッチスクリーン20cを有する。赤外線センサ230は、タッチセンサ220を覆うようにして設けられた薄型透明のセンサであり、赤外線を発する複数の発光素子と、入射する光を電気信号に変換する複数の受光素子とを有する。これらの発光素子及び受光素子は、タッチセンサ220の静電センサと同様に、各計測位置に格子状に配置されている。受光素子は、発光素子から発せられて指示体に当たって反射してきた赤外線を、その強度が強いほど振幅が大きい電気信号に変換する。つまり、この電気信号の振幅は、指示体との距離を表す。赤外線センサ230は、この電気信号の振幅に基づいて指示体との距離(指示体距離)を計測位置毎に計測し、計測したそれらの指示体距離を示すデータを制御装置110に供給する。
図23は、表示装置10cが実現する機能を示す図である。表示装置10cは、図2に示す各機能に加え、検出部105を備える。測定部102は、第1実施形態と同様の方法で指示体の傾きの方向を測定する。検出部105は、指示体が指である場合に、その指の爪の長さを検出する検出手段である。検出部105は、制御装置110及びタッチスクリーン20cが協働することで実現される機能である。検出部105においては、タッチセンサ220により計測された指示体距離と、赤外線センサ230により計測された指示体距離とを比較して、爪の長さを検出する。
図24は、爪の長さの検出方法を説明するための図である。図24では、指先よりも1cmほど長く伸びている爪31cを有する指30cを表示面211に近づけた状態の一例が示されている。この例では、図4に示す計測位置B16からB24までにおける測定結果が示されている。計測位置B18からB24までは、表示面211の高さ方向に電気伝導率が所定の値以上となる指30cの腹の部分が存在しているため、タッチセンサ220によって指示体距離が計測される。一方、計測位置B16及びB17では、表示面211の高さ方向に爪31cしか存在しておらず、爪31cは電気伝導率が所定の値未満であるため、静電センサによって静電容量の変化が検出されず、指示体距離も計測されない。
赤外線センサ230は、赤外線を反射するものであれば、そのものまでの距離を測定することができるため、計測位置B16からB24までのいずれにおいても、指示体距離を計測する。図24では、赤外線センサ230だけが計測した指示体距離を破線の矢印で示している。検出部105は、このように赤外線センサ230だけが指示体距離を計測した計測位置(この例ではB16及びB17)によって表される長さ(この例では計測位置同士の間隔2つ分の長さ)W1を爪の長さとして検出する。検出部105は、検出した爪の長さを決定部103に通知する。
決定部103は、測定部102により測定された指示体の傾きの方向及び検出部105により検出された爪の長さに基づいて受付位置を決定する。具体的には、決定部103は、検出部105により検出された爪の長さが閾値(例えば5mm)以上である場合には、特定された指示位置から測定部102により測定された指示体の傾きの方向とは異なる方向に離間距離だけ離れた位置を受付位置として決定する。
図25は、本実施形態における受付位置の決め方を説明するための図である。図25(a)では、図24に示した指30cを爪31c側から見たところが示されている。この状態で表示面211に指30cの先端側の部分を接触させると、図25(b)に示す接触領域R9の重心であるC9が指示位置として特定部101により特定され、図中の矢印が示す指示体の傾きの方向M9が測定部102により測定される。ここで、決定部103が、例えば第1実施形態の方法で受付位置を決定すると、指示体の傾きの方向に離間距離N9だけ離れた位置であるT9が受付位置として決定される。この場合、図25(c)に示すように、爪31cによって隠れてしまう位置が受付位置となってしまい、所定の画像としてU9を表示したとしても、この画像も爪31cによって隠れてしまう。そのため、ユーザは、受付位置を把握することができない。
本実施形態の決定部103は、図25(d)に示すように、特定された指示位置C9から、測定された指示体の傾きの方向M9とは異なる方向、例えば、M9から右回りに90°回転させた方向であるM10に離間距離N9だけ離れた位置を受付位置T10として決定する。図25(e)では、その結果、処理部104により表示される所定の画像U10が示されている。図25(e)に示すように、本実施形態の決定部103は、爪の長さが閾値以上である場合には、その爪によって隠されてしまう方向ではなく、それとは異なる方向で受付位置を決定する。これにより、爪によって隠されないように受付位置を決定することができる。なお、図25の例では、指示体の傾きの方向から右回りに90°回転させた方向で受付位置を決定したが、これには限らず、例えば、90°という角度を30°から150°までの範囲で変えてもよいし、右回りを左回りとしてもよい。要するに、決定部103は、爪または指によって受付位置が隠れないような方向で受付位置を決定すればよい。
[変形例]
上述した各実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、上述した各実施形態及び以下に示す各変形例は、必要に応じて組み合わせて実施してもよい。
(変形例1)
決定部103は、上述した各実施形態では、図9、図15、図17及び図20に示すテーブルのいずれかを用いて離間距離を定めたが、離間距離の定め方はこれには限らない。決定部103は、これらのテーブルではいずれも測定部102による測定結果が3つの範囲のいずれに含まれるかによって離間距離を決定したが、3つの範囲を2つの範囲としてもよいし、4つ以上の範囲としてもよい。また、決定部103は、測定結果を離間距離に変換する予め決められた式を用いて、その式に従って離間距離を定めてもよい。例えば、決定部103は、第1実施形態であれば、15−(指示体の傾きの量)×0.1=離間距離(mm)という式を用いて離間距離を定める。この指示体の傾きの量は角度(単位は度)で表される。これにより、指示体の傾きの量が1度変化すれば、離間距離が0.1mm変化することになり、離間距離のより細かい調整が可能となる。
(変形例2)
決定部103は、上述した各実施形態では、測定部102による1つの測定結果に応じて離間距離を定めたが、複数の測定結果に応じて離間距離を定めてもよい。複数の測定結果とは、第1から第4実施形態においてそれぞれ説明した指示体の傾きの量、表示面角度、鉛直方向高さ及び視線角度のうちから2つ以上の測定結果を組み合わせたものである。以下、指示体の傾きの量及び表示面角度に応じて離間距離を定める場合について説明する。この場合、決定部103は、例えば、図26に示すテーブルを用いる。
図26は、離間距離を定める際に用いられるテーブルの一例を示す図である。このテーブルでは、表示面角度の範囲と離間距離の補正係数とが対応付けられている。ここでいう補正係数とは、定められた離間距離に乗じる値のことである。この例では、「0°以上30°未満」、「30°以上60°未満」及び「60°以上90°以下」という3つの「表示面角度の範囲」に、「1.2倍」、「1.0倍」及び「0.8倍」という3つの「離間距離の補正係数」がそれぞれ対応付けられている。決定部103は、例えば、測定された指示体の傾きの量が50°であった場合、図9に示すテーブルを用いて仮の離間距離を10mmと定める。
次に、決定部103は、測定された表示面角度が75°であった場合、この角度を含む「60°以上90°以下」という範囲に対応付けられている「0.8倍」という離間距離の補正係数を仮の離間距離に乗じた8mmを離間距離として定める。これらの測定結果は、ユーザが、指を平均的(30°以上60°未満)に傾け、且つ、表示面211を水平方向に対して立てた状態で表示面211を指示していることを表している。この場合、表示面211を立てている分、表示面211を平均的(30°以上60°未満)に傾けている場合に比べて隠れ長さが小さくなるので、離間距離を小さくするように補正がされている。
本変形例の決定部103は、指示体による表示面211の複数の指示の仕方をそれぞれ表す複数の物理量に基づいて離間距離を決定する。つまり、表示装置は、これらの指示の仕方のいずれかが影響してユーザの目から受付位置が見えにくくなる場合には、離間距離を大きくして受付位置が指示体により隠されないように補正し、同様の影響でユーザの目から受付位置が見えやすくなる場合には、離間距離を小さくして受付位置が指示体から離れすぎないように補正する。これにより、表示装置は、これら複数の指示の仕方の影響がある場合でも、それらの影響によって受付位置がユーザの目から見えにくくなることがないように、受付位置を決定することができる。
なお、決定部103は、次のようなテーブルを用いて離間距離を定めてもよい。
図27は、離間距離を定める際に用いられるテーブルの一例を示す図である。このテーブルでは、「指示体角度の範囲」及び「最小の指示体距離の範囲」の両方に離間距離が対応付けられている。詳細には、「0°以上30°未満」、「30°以上60°未満」及び「60°以上90°以下」という3通りの「指示体角度の範囲」に対して、最小の指示体距離の範囲が「10mm未満」である場合には、図9に示す離間距離(「5mm」、「10mm」及び「15mm」)が対応付けられている。また、最小の指示体距離の範囲が「30mm未満10mm以上」である場合には、「4mm」、「9mm」及び「14mm」という離間距離が対応付けられ、最小の指示体距離の範囲が「50mm未満30mm以上」である場合には、「3mm」、「8mm」及び「13mm」という離間距離が対応付けられている。決定部103は、このテーブルを用いることで、表示面211と指示体の先端側の部分との距離が遠い(例えば最小の指示体距離が30mm以上である)場合には、その距離が近い(例えば最小の指示体距離が10mm未満である)場合に比べて、同じ指示体角度であっても小さな離間距離を定める。
ところで、ユーザは、表示面211を人差し指で指示するときに、人差し指の第三関節を支点として先端側の部分(指先)を動かす場合がある。この場合、指先が弧を描くとともに、人差し指の表示面211に対する角度(つまり指示体角度)がわずかに変化することになる。具体的には、指先が表示面211に近づくにつれて、指示体角度が大きくなる。このため、指先が表示面211に近づくにつれて、図13で説明したように、隠れ長さが小さくなる。表示装置において、この隠れ長さの変化を考慮せずに受付位置が決定されると、決定された受付位置が指先から離れすぎてしまうことがある。一方、図27に示すテーブルを用いた決定部103は、前述したとおり、表示面211と指先との距離が遠い場合には、その距離が近い場合に比べて、同じ指示体角度であっても小さな離間距離を定める。これにより、決定部103は、前述したように指先が表示面211に近づくにつれて隠れ長さが小さくなる場合であっても、それを考慮せずに受付位置が決定される場合に比べて、決定した受付位置が指先から離れすぎないようにすることができる。
(変形例3)
決定部103は、上述した各実施形態では、測定部102により測定された指示体の傾きの方向に指示位置から離間距離だけ離れた位置を、受付位置として決定したが、他の方向に離れた位置を受付位置として決定してもよい。例えば、決定部103は、指示体の傾きの方向から所定の角度(例えば10°)だけ傾けた方向に離れた位置を受付位置として決定してもよい。この場合、所定の角度を180°としてしまうと、受付位置が指示体によって隠れてしまうことになるので、そのようなことがないように所定の角度を定める(例えば0°から150°まで)とよい。
また、決定部103は、受付位置として決定しようとした位置が表示面211からはみ出した位置になってしまう場合に、所定の角度を変更するようにしてもよい。例えば、決定部103は、通常は所定の角度を第1の角度(例えば0°)としておき、指示位置から指示体の傾きの方向に離間距離だけ離れた位置が表示面211の外側になる場合に、所定の角度を第2の角度(例えば右回りに90°)に変更する。また、決定部103は、第2の角度としても表示面211の外側の位置が決定される場合には、所定の角度を第3の角度(例えば左回りに90°)に変更する。これにより、表示装置は、指示体が表示面211上のどの位置を指示しても、受付位置を決定することができるようになる。
(変形例4)
特定部101は、上述した各実施形態では、接触領域の重心を算出することで指示位置を特定したが、他の方法で指示位置を特定してもよい。特定部101は、例えば、接触領域の上下方向の中心と左右方向の中心とで表される座標を指示位置として特定してもよいし、タッチスクリーンが備えるセンサが抵抗膜方式であれば、最も大きい圧力が加えられた位置を指示位置として特定してもよい。
また、特定部101は、指示体が表示面211に接触する前に指示位置を特定してもよい。この場合、特定部101は、例えば、計測される指示体距離のうちの最小のもの(以下「最小指示体距離」という。)と、最小指示体距離との差が所定の範囲(例えば2mm)に含まれる指示体距離とを抽出する。次に、特定部101は、抽出した指示体距離を計測した計測位置に基づいて、それらの計測位置が含まれる領域の重心の座標を算出し、算出した座標が表す位置を指示位置として特定する。この場合、指示体をそのまま表示面211に対して垂直に移動させて接触させたときに特定される指示位置と概ね同じ位置が指示位置として特定される。なお、特定部101は、単に最小指示体距離が計測された計測位置を指示位置として特定してもよい。
また、特定部101は、計測される指示体距離から、図7及び図8で述べた方法で指示体の傾きの量及び方向をそれぞれ測定し、最小指示体距離が計測された指示体の先端側の部分から、測定された方向に対して測定された傾きをなす方向に延伸する直線が表示面211と交わる位置を、指示位置として特定してもよい。
図28は、指示位置の特定の仕方を説明するための図である。図28では、計測位置B19において最小指示体距離L19が計測された状態が示されている。特定部101は、この状態で、指30の傾きの量θ11と、指30の傾きの方向M11とを測定する。特定部101は、最小指示体距離が計測された指示体の先端側の部分であるP19から、方向M11に対して傾きの量θ11をなす方向に延伸する直線D11が表示面211と交わる位置であるC11を、指示位置として特定する。この場合、直線D11に沿った方向、すなわち、指30が延伸している方向に指示体を移動させたときに特定される指示位置と概ね同じ位置が指示位置として特定される。
ユーザは、指示しようとする表示面上の位置(以下「目標位置」という。)に対して、指示体を真っ直ぐ(つまり表示面の垂線に沿って)下ろす場合(指で指示する場合に多い)は、指示体の先端側の部分(以下「先端側部分」という。)を目標位置の真上(すなわち表示面の垂線方向)から目標位置に向けて移動させる。一方、ユーザは、指示体が延伸する方向に指示体を移動させて目標位置を指示する場合(ペンの形をした指示体で指示する場合に多い)は、目標位置の真上から少し手前にずらしたところから目標位置に向けて先端側部分を移動させる。これらの場合のように指示体の移動の仕方が決まっていれば、上記いずれの場合の目標位置も、指示体が表示面から離れていても指示体によって指示される位置を表していることになる。このように、特定部101は、指示体によって指示される表示面211上の位置を指示位置として特定するものであればよい。
(変形例5)
処理部104は、上述した各実施形態では、指示体が表示面211に接触してから所定の画像を表示させたが、前述した変形例4のように指示体が表示面211に接触する前に指示位置が特定される場合には、この接触がされる前に所定の画像を表示させてもよい。この場合、図12に示すステップS13の動作(最小の指示体距離が閾値未満か否かの判断)を行うことなくステップS14の動作(指示位置を特定)が行われる。そして、ステップS15以降の動作が行われることで、指示体が表示面211に接触する前から所定の画像が表示されることになる。本変形例によれば、ユーザは、指示体の先端部分を表示面211に接触させる前から、受付位置を把握することができる。
(変形例6)
処理部104は、上述した各実施形態では、所定の画像として、図11に示す画像U2のようなドーナツの形をした画像を受付位置に表示したが、これ以外の画像を受付位置に表示してもよい。例えば、処理部104は、画像U2よりも大きな画像を表示してもよく、それにより、受付位置をユーザが認識しやすいようにすることができる。また、処理部104は、画像U2よりも小さな画像を表示してもよいし、透過する画像(後ろ側の画像が透けて見えるようにした画像)や点滅する画像を表示させてもよい。これにより、所定の画像を表示しても操作画像が見やすいようにすることができる。
また、処理部104は、指示体が表示面211に近づくほど大きな画像を受付位置に表示するようにしてもよい。この場合、処理部104は、計測した指示体距離のうちの最小の指示体距離に応じて表示する画像のサイズを切り替える。
図29は、処理部104が画像のサイズを切り替える際に用いるテーブルの一例を示す図である。このテーブルでは、最小の指示体距離の範囲と所定の画像のサイズとが対応付けられている。ここでいう所定の画像のサイズとは、例えば、図11に示す画像U2のようなドーナツの形をした画像の外径の長さである。この例では、「50mm以下30mm以上」、「30mm未満10mm以上」及び「10mm未満」という3つの「最小の指示体距離の範囲」に、「1mm」、「3mm」及び「5mm」という3つの「所定の画像のサイズ」がそれぞれ対応付けられている。決定部103は、例えば、計測された最小の指示体距離が20mmであった場合、図29に示すテーブルを用いてサイズが3mmの所定の画像を表示する。決定部103により決定された受付位置は、指示体が表示面211に近づくほど、指示体によって隠されてしまいやすくなる。本変形例では、その場合に、サイズが大きな所定の画像を表示させることで、受付位置が指示体に隠されてしまっても、表示した画像を指示体からはみ出させることでユーザから見えやすいようにすることができる。つまり、本変形例によれば、表示装置は、ユーザが受付位置を認識しやすいようにすることができる。
また、処理部104は、指示体が表示面211に近づくほど小さな画像を受付位置に表示するようにしてもよい。この場合、処理部104は、例えば、図29に示すテーブルとは所定の画像のサイズの順番が反対になっているテーブル(つまり、「50mm以下30mm以上」、「30mm未満10mm以上」及び「10mm未満」という3つの「最小の指示体距離の範囲」に、「5mm」、「3mm」及び「1mm」という3つの「所定の画像のサイズ」がそれぞれ対応付けられているテーブル)を用いる。これにより、処理部104は、決定部103は、図27に示すテーブルを用いることで、指先が表示面211から遠い(例えば最小の指示体距離が30mm以上である)場合には、それよりも近い(例えば最小の指示体距離が10mm未満である)場合に比べて、小さな画像を表示する。
これにより、ユーザは、指示体が操作面から遠い段階では、表示される大きな画像によって、指示体を移動させたときに指示し得る(または指示されそうな)範囲が大まかに表されている、ということを直感的に把握することができる。また、ユーザは、指示体が操作面に近づくにつれて、表示される画像が段階的に小さくなっていくことによって、指示体が指示し得る(または指示されそうな)範囲が次第に精緻に表されるようになっている、ということを直感的に把握することができる。このようにして画像が表示されると、ユーザは、指先が表示面211から遠いときには指先の位置を細かく気にしなくてよいため、気軽に操作することができる一方、指先を表示面211に近づけると精緻な受付位置が表示されるため、自分の意図どおりの操作をしやすくなる、という効果を得ることができる。なお、処理部104は、大きな画像は色を薄くして表示することで、その画像によって表される範囲がよりあいまいになるようにしてもよい。また、処理部104は、画像が小さくなるにつれてその画像の色を濃くして表示することで、その画像によって表される範囲(受付位置)がより明瞭になるようにしてもよい。これにより、前述した効果をさらに向上させることができる。
(変形例7)
処理部104は、上述した各実施形態では、決定された受付位置に所定の画像を表示させたが、これを表示させなくてもよい。この場合、処理部104(すなわち表示装置)は、図12に示すステップS18の動作(受付位置に所定の画像を表示)を行わない。本発明に係る表示装置では、指示体の先端側の部分の先または周辺が受付位置として決定されるため、ユーザがその大まかな位置を覚えておけば、所定の画像が表示されなくても、所望の位置を指示することができる。また、所定の画像が表示されないことで、処理画像が所定の画像によって隠されることがなくなり、処理画像が表す内容をユーザが把握しやすいようにすることができる。
(変形例8)
タッチスクリーンは、上述した各実施形態では、静電容量方式のタッチセンサ220またはそれに加えて赤外線反射方式の赤外線センサ230を備えていたが、それ以外の方式のセンサを備えていてもよい。例えば、タッチスクリーンは、抵抗膜方式、表面弾性波方式、赤外線遮光方式、電磁誘導方式または画像認識方式等のセンサを備えていてもよい。これらのうち、抵抗膜方式、表面弾性波方式及び赤外線遮光方式のセンサでは、指示体距離を計測することができないため、第1及び第5実施形態のように指示体距離の計測が必要な場合、タッチスクリーンは、これらのセンサとともに指示体距離を計測可能なセンサも合わせて備えておく。
(変形例9)
第5実施形態において、決定部103は、他の方法で受付位置を決定してもよい。例えば、決定部103は、測定部102により検出された爪の長さに応じて離間距離を大きくしてもよい。この場合、決定部103は、他の測定結果(例えば指示体の傾きの量)によって定めた離間距離に、検出された爪の長さを加えた長さを離間距離として定める。これにより、爪によって隠されない位置が受付位置として決定されやすくなり、受付位置がユーザの目から見えやすいようになるという上述した第1の効果が得られることになる。
(変形例10)
測定部102は、上述した各実施形態では、指示体の傾きの量、指示体の傾きの方向、表示面角度、鉛直方向高さ及び視線角度を上記の物理量として測定したが、他の物理量を測定してもよい。測定部102は、例えば、指示の仕方としてユーザの目の位置を用いた場合に、この目の位置に応じて変化する物理量として、表示面211からユーザの目までの高さ(高さ方向の距離)を測定してもよい。この場合、測定部102は、第4実施形態で述べた方法で視線角度を算出し、また、ユーザの目の大きさを登録して(記憶装置120に記憶させて)おいて、画像に含まれる目の大きさから図19に示す撮像装置160と目との距離を算出する。そして、測定部102は、算出した視線角度及び距離から表示面211からユーザの目までの高さを算出する。
また、測定部102は、指示の仕方として、指示体の形、特に、指示体の先端側の形状を用いてもよい。この場合、測定部102は、この形状に応じて変化する物理量として、特定部101により特定された指示位置から指示体の先端までの距離を物理量として測定する。この距離は、高さ方向を含む三次元直交座標系での距離でも、表示面211に沿った二次元直交座標系での距離でも、どちらが測定されてもよい。二次元直交座標系での距離を測定する場合であれば、測定部102は、例えば、タッチセンサ220によって指示体距離が計測される計測位置のうち、第1実施形態で述べた指示体の傾きの方向に最も離れた位置を指示体の先端として、その位置と指示位置との距離を上記の物理量として算出する。
上述した物理量は、いずれも、指示体による表示面211の指示の仕方に応じて変化する物理量である。ここでいう指示の仕方とは、第1実施形態で述べた表示面211に対する指示体の傾け方以外にも、表示装置10の姿勢(第2実施形態)、ユーザからの指示体の見え方(第3実施形態)、ユーザの目の位置(第4実施形態及び本変形例)、指示体の先端側の形状(本変形例)などによって表されるものである。これらの指示の仕方は、ユーザの目から見て指示体の端と重なって見える表示面211上の位置(以下「端部位置」という。)と指示位置とのずれの大きさに関係する。このずれの大きさとは、例えば、図13等で示した隠れ長さである。図13の例であれば、表示面211に対する指示体の傾け方(すなわち指示の仕方)に応じて隠れ長さがV3やV4などに変化することになる。また、図18の例であれば、指示体が指示する表示面211上の位置(すなわち指示の仕方)に応じて隠れ長さがV5やV6などに変化することになる。このように、測定部102は、指示の仕方に応じて変化する物理量として、端部位置と指示位置とのずれの大きさに応じて変化する物理量を測定するものであればよい。
(変形例11)
本発明は、上述した表示装置の他にも、その表示装置が実施する処理を実現するための処理方法としても捉えられるものである。ここでいう処理とは、例えば、図12に示す受付位置決定処理である。また、本発明は、表示装置のような表示手段を備えるコンピュータを、図2及び図23に示す各部(各手段)として機能させるためのプログラムとしても捉えられるものである。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供されたりするものであってもよい。
10…表示装置、20…タッチスクリーン、110…制御装置、120…記憶装置、130…音声入出力装置、140…通信装置、150…加速度センサ、160…撮像装置、210…表示部、211…表示面、220…タッチセンサ、230…赤外線センサ、101…特定部、102…測定部、103…決定部、104…処理部、105…検出部

Claims (9)

  1. 表示面を有し、当該表示面に画像を表示する表示手段と、
    指示体によって指示される前記表示面上の指示位置を特定する特定手段と、
    前記指示体が指である場合に、当該指の爪の長さを検出する検出手段と、
    前記指示体による前記表示面の指示の仕方に応じて変化する物理量を測定する第1測定手段と、
    前記表示面に対する前記指示体の傾きの方向を測定する第2測定手段と、
    前記特定手段により特定された指示位置から、前記第2測定手段により測定された傾きの方向に、前記第1測定手段により測定された物理量に応じた距離だけ離れた前記表示面上の位置を、受付位置として決定し、前記検出手段により検出された長さが閾値以上である場合には、特定された前記指示位置から、測定された前記傾きの方向とは異なる方向に前記距離だけ離れた位置を前記受付位置として決定する決定手段と、
    前記決定手段により決定された受付位置に、処理に対応する画像が表示されており、且つ、当該画像を選択する操作が行われた場合に、当該操作を受け付けて当該画像に対応する処理を行う処理手段と
    を備えることを特徴とする表示装置。
  2. 前記第1測定手段は、前記表示面に対する前記指示体の傾きの量を前記物理量として測定し、
    前記決定手段は、前記第1測定手段により前記傾きの量が測定された場合、当該傾きの量よりも小さい傾きの量が前記第1測定手段により測定された場合と比べて前記距離を大きくして前記受付位置を決定する
    ことを特徴とする請求項1に記載の表示装置。
  3. 前記第1測定手段は、前記表示面に対する前記指示体の傾きの方向を前記物理量として測定し、
    前記決定手段は、特定された前記指示位置から前記第1測定手段により測定された傾きの方向に前記距離だけ離れた位置を前記受付位置として決定する
    ことを特徴とする請求項1または2に記載の表示装置。
  4. 前記第1測定手段は、水平方向に対する前記表示面の角度を前記物理量として測定し、
    前記決定手段は、前記第1測定手段により前記角度が測定された場合、当該角度よりも小さい角度が前記第1測定手段により測定された場合と比べて前記距離を大きくして前記受付位置を決定する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の表示装置。
  5. 前記第1測定手段は、特定された前記指示位置の前記表示面の鉛直方向下側の端部からの高さを前記物理量として測定し、
    前記決定手段は、前記第1測定手段により前記高さが測定された場合、当該高さよりも小さい高さが前記第1測定手段により測定された場合と比べて前記距離を大きくして前記受付位置を決定する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の表示装置。
  6. 前記第1測定手段は、前記表示面に対するユーザの視線の角度を前記物理量として測定し、
    前記決定手段は、前記第1測定手段により前記視線の角度が測定された場合、当該視線の角度よりも小さい視線の角度が前記第1測定手段により測定された場合と比べて前記距離を大きくして前記受付位置を決定する
    ことを特徴とする請求項1乃至5のいずれか1項に記載の表示装置。
  7. 前記処理手段は、前記表示手段を制御して、前記決定手段により決定された前記受付位置に所定の画像を表示させる
    ことを特徴とする請求項1乃至のいずれか1項に記載の表示装置。
  8. 表示面を有し、当該表示面に画像を表示する表示手段を備える表示装置が、指示体によって指示される前記表示面上の指示位置を特定する特定ステップと、
    前記表示装置が、前記指示体が指である場合に、当該指の爪の長さを検出する検出ステップと、
    前記表示装置が、前記指示体による前記表示面の指示の仕方に応じて変化する物理量を測定する第1測定ステップと、
    前記表示装置が、前記表示面に対する前記指示体の傾きの方向を測定する第2測定ステップと、
    前記表示装置が、前記特定ステップにおいて特定された指示位置から、前記第2測定ステップにおいて測定された傾きの方向に、前記第1測定ステップにおいて測定された物理量に応じた距離だけ離れた前記表示面上の位置を、受付位置として決定し、前記検出ステップにおいて検出された長さが閾値以上である場合には、特定された前記指示位置から、測定された前記傾きの方向とは異なる方向に前記距離だけ離れた位置を前記受付位置として決定する決定ステップと、
    前記表示装置が、前記決定ステップにおいて決定された受付位置に、処理に対応する画像が表示されており、且つ、当該画像を選択する操作が行われた場合に、当該操作を受け付けて当該画像に対応する処理を行う処理ステップと
    を備えることを特徴とする処理方法。
  9. 表示面を有し、当該表示面に画像を表示する表示手段を備えるコンピュータに、
    指示体によって指示される前記表示面上の指示位置を特定する特定ステップと、
    前記指示体が指である場合に、当該指の爪の長さを検出する検出ステップと、
    前記指示体による前記表示面の指示の仕方に応じて変化する物理量を測定する第1測定ステップと、
    前記表示面に対する前記指示体の傾きの方向を測定する第2測定ステップと、
    前記特定ステップにおいて特定された指示位置から、前記第2測定ステップにおいて測定された傾きの方向に、前記第1測定ステップにおいて測定された物理量に応じた距離だけ離れた前記表示面上の位置を、受付位置として決定し、前記検出ステップにおいて検出された長さが閾値以上である場合には、特定された前記指示位置から、測定された前記傾きの方向とは異なる方向に前記距離だけ離れた位置を前記受付位置として決定する決定ステップと、
    前記決定ステップにおいて決定された受付位置に、処理に対応する画像が表示されており、且つ、当該画像を選択する操作が行われた場合に、当該操作を受け付けて当該画像に対応する処理を行う処理ステップと
    を実行させるためのプログラム。
JP2012149737A 2012-07-03 2012-07-03 表示装置、処理方法及びプログラム Active JP5912929B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012149737A JP5912929B2 (ja) 2012-07-03 2012-07-03 表示装置、処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012149737A JP5912929B2 (ja) 2012-07-03 2012-07-03 表示装置、処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014013434A JP2014013434A (ja) 2014-01-23
JP5912929B2 true JP5912929B2 (ja) 2016-04-27

Family

ID=50109099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012149737A Active JP5912929B2 (ja) 2012-07-03 2012-07-03 表示装置、処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5912929B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5947999B2 (ja) * 2014-02-10 2016-07-06 レノボ・シンガポール・プライベート・リミテッド タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム
JP2015162079A (ja) * 2014-02-27 2015-09-07 沖電気工業株式会社 タッチ位置補正システムおよび自動取引装置
JP6324203B2 (ja) * 2014-05-14 2018-05-16 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
JP6723830B2 (ja) * 2016-06-01 2020-07-15 キヤノン株式会社 電子機器
JP7293620B2 (ja) * 2018-11-26 2023-06-20 株式会社デンソー ジェスチャ検出装置、およびジェスチャ検出方法
JP6912110B2 (ja) * 2019-11-07 2021-07-28 Necプラットフォームズ株式会社 角度検出システム、角度検出方法及びプログラム
WO2023095484A1 (ja) * 2021-11-29 2023-06-01 アルプスアルパイン株式会社 位置検出装置、入力装置、及び、位置検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301484A (ja) * 1993-04-16 1994-10-28 Hitachi Ltd 情報処理装置および情報処理装置における表示情報の指示方法
JPH07121289A (ja) * 1993-10-22 1995-05-12 Oki Electric Ind Co Ltd 電子ペン入力装置
JPH08101746A (ja) * 1994-09-30 1996-04-16 Sharp Corp 情報処理装置における入力機能付き表示装置
JPH1063405A (ja) * 1996-08-21 1998-03-06 Sharp Corp 座標入力装置
JP2003005913A (ja) * 2001-06-18 2003-01-10 Tokai Rika Co Ltd タッチ操作位置検出装置
JP2009110275A (ja) * 2007-10-30 2009-05-21 Sharp Corp 表示入力装置及びその視差補正方法
JP2011154664A (ja) * 2010-01-26 2011-08-11 Witswell Consulting & Services Inc 筆跡インク表示方法および装置

Also Published As

Publication number Publication date
JP2014013434A (ja) 2014-01-23

Similar Documents

Publication Publication Date Title
JP5912929B2 (ja) 表示装置、処理方法及びプログラム
JP5798103B2 (ja) 端末装置、画面表示方法、プログラム
JP2019087279A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US8477099B2 (en) Portable data processing appartatus
JP6021335B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US20150301647A1 (en) Touch panel-type input device, method for controlling the same, and storage medium
US10268277B2 (en) Gesture based manipulation of three-dimensional images
EP2677399A2 (en) Virtual touch device without pointer
CN109643206B (zh) 控制装置、显示装置、程序及检测方法
JPWO2012011263A1 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US9535493B2 (en) Apparatus, method, computer program and user interface
US10379680B2 (en) Displaying an object indicator
WO2013157400A1 (ja) 操作入力装置、操作入力方法およびプログラム
KR101416235B1 (ko) 3차원 위치 입력 방법 및 장치
EP3260964B1 (en) Mobile terminal and method for controlling the same
JP2013114422A (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
CN104317398A (zh) 一种手势控制方法、穿戴式设备及电子设备
US20160370861A1 (en) Input device and input control method
US20150253932A1 (en) Information processing apparatus, information processing system and information processing method
JP2023531302A (ja) 動的な形状スケッチングのためのシステム及び方法
JP6514416B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
US10440171B2 (en) Communication terminal apparatus and program
US20230099167A1 (en) Display user interface method and system
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160401

R150 Certificate of patent or registration of utility model

Ref document number: 5912929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250