JP5959344B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP5959344B2
JP5959344B2 JP2012153594A JP2012153594A JP5959344B2 JP 5959344 B2 JP5959344 B2 JP 5959344B2 JP 2012153594 A JP2012153594 A JP 2012153594A JP 2012153594 A JP2012153594 A JP 2012153594A JP 5959344 B2 JP5959344 B2 JP 5959344B2
Authority
JP
Japan
Prior art keywords
indicator
measurement
proficiency level
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012153594A
Other languages
English (en)
Other versions
JP2014016781A (ja
Inventor
禎矩 青柳
禎矩 青柳
昌志 多賀谷
昌志 多賀谷
昌克 塚本
昌克 塚本
森永 康夫
康夫 森永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2012153594A priority Critical patent/JP5959344B2/ja
Publication of JP2014016781A publication Critical patent/JP2014016781A/ja
Application granted granted Critical
Publication of JP5959344B2 publication Critical patent/JP5959344B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、操作面を指示して行う操作を支援する技術に関する。
スマートフォンやタブレット端末などでは、画像を表示する面を操作面として、ユーザがその操作面を指示することで操作を行うものが多く、その操作を支援する技術がある。例えば特許文献1では、各画面の表示時間や有効キーの割合(操作面を指示したときに操作が受け付けられた割合)などに応じてユーザの操作の習熟度を判断し、習熟度が低い場合に操作チュートリアルを表示したり、GUI(Graphical User Interface)パターンを変更したりする技術が記載されている。
特開2010−102465号公報
特許文献1の技術のようにユーザによる操作の結果に応じて習熟度を判定する場合、ユーザが行う操作の内容によっては、習熟度が高くても習熟度が低いように判定されたり、その逆が判定されたりする場合がある。例えば、特許文献1の技術では、習熟度が高くても画面に表示された内容をよく確認してから操作するユーザであれば、画面の表示時間が長くなって習熟度が低く判定される場合があり、習熟度が低くても丁寧に操作するユーザであれば、有効キーの割合が高くなって習熟度が高く判定される場合がある。ところで、ユーザの操作の習熟度は、操作の結果だけではなく、操作が受け付けられる前の指示体の動きにも現れる。例えば、習熟度が高い場合には、指示体は滑らかに移動することが多く、習熟度が低い場合には、指示体はぎこちなく移動することが多い。
そこで、本発明は、操作の習熟度に応じたタイミングで操作を支援するための処理を行う場合に、操作が受け付けられる前の指示体の動きに基づいて習熟度を判定することを目的とする。
上記課題を達成するために、本発明は、操作を受け付けるための操作面を有し、ユーザが指示体を用いて当該操作面上の位置を指示した場合に、当該位置に応じた操作を受け付ける受付手段と、前記受付手段により前記操作が受け付けられる前の前記指示体の動きに関連する物理量を測定する測定手段と、前記操作面に画像が表示される場合に、表示されている当該画像によって表される情報量を検出する検出手段と、前記測定手段により測定された物理量に応じて前記ユーザの前記操作の習熟度を判定する判定手段であって、前記検出手段により前記情報量が検出された場合、当該情報量よりも少ない情報量が前記検出手段により検出された場合に比べて前記習熟度が高くなりやすいように当該習熟度を判定する判定基準を変更し、変更した当該判定基準に基づいて前記習熟度を判定する判定手段と、前記判定手段により判定された習熟度を蓄積する蓄積手段と、前記指示体が前記操作面に接近してきた場合に、前記蓄積手段に蓄積された習熟度に応じたタイミングで前記操作を支援するための処理を行う処理手段とを備えることを特徴とする情報処理装置を提供する。
また、本発明は、操作を受け付けるための操作面を有し、ユーザが指示体を用いて当該操作面上の位置を指示した場合に、当該位置に応じた操作を受け付ける受付手段と、前記受付手段により前記操作が受け付けられる前の前記指示体の動きに関連する物理量を測定する測定手段と、前記測定手段により測定された物理量に応じて前記ユーザの前記操作の習熟度を判定する判定手段と、前記判定手段により判定された習熟度を蓄積する蓄積手段と、前記蓄積手段に蓄積された習熟度と、前記操作を支援するための処理を行うタイミングとを対応付けた情報を記憶する記憶手段と、前記指示体が前記操作面に接近してきた場合に、記憶された前記情報に基づいて、前記蓄積手段に蓄積された習熟度に応じたタイミングで前記操作を支援するための処理を行う処理手段とを備えることを特徴とする情報処理装置を提供する。
また、前記測定手段は、前記指示体と前記操作面との距離が所定の距離となってから前記操作が受け付けられるまでに要した時間を前記物理量として測定し、前記判定手段は、前記測定手段により前記時間が測定された場合、当該時間よりも長い時間が前記測定手段により測定された場合に比べて前記習熟度が高いと判定してもよい。
さらに、前記指示体の種類を判別する判別手段を備え、前記測定手段は、前記判別手段によりユーザの親指が判別された場合、当該判別手段によりユーザの親指以外の種類が判別された場合に比べて、前記所定の距離を短くして前記物理量を測定してもよい。
また、前記測定手段は、前記操作が受け付けられる前に前記指示体が移動した移動距離を前記物理量として測定し、前記判定手段は、前記測定手段により前記移動距離が測定された場合、当該移動距離よりも長い移動距離が前記測定手段により測定された場合に比べて前記習熟度が高いと判定してもよい。
さらに、前記測定手段は、前記操作が受け付けられる前の前記指示体の速度を前記物理量として測定し、前記判定手段は、前記測定手段により前記速度が測定された場合、当該速度よりも遅い速度が前記測定手段により測定された場合に比べて前記習熟度が高いと判定してもよい。
また、前記測定手段は、前記操作が受け付けられる前に移動した前記指示体により描かれる軌跡の変曲点数を前記物理量として測定し、前記判定手段は、前記測定手段により前記変曲点数が測定された場合、当該変曲点数よりも多い変曲点数が前記測定手段により測定された場合に比べて前記習熟度が高いと判定してもよい。
さらに、前記測定手段は、前記操作が受け付けられる前に前記操作面から前記指示体までの距離を表す指示体距離が所定の距離を跨いで増減した回数を表す増減回数を前記物理量として測定し、前記判定手段は、前記測定手段により前記増減回数が測定された場合、当該増減回数よりも多い増減回数が前記測定手段により測定された場合に比べて前記習熟度が高いと判定してもよい。
また、前記測定手段は、前記操作が受け付けられる前の前記指示体の速度が所定の速度よりも低くなった回数を表す低速回数を前記物理量として測定し、前記判定手段は、前記測定手段により前記低速回数が測定された場合、当該低速回数よりも多い低速回数が前記測定手段により測定された場合に比べて前記習熟度が高いと判定してもよい。
また、前記操作面に操作を受け付けるための操作画像が表示される場合に、表示されている当該操作画像が前記操作面上で表示されている領域を特定する特定手段を備え、前記測定手段は、前記特定手段により特定された領域と前記指示体との位置関係が所定の条件を満たしたときから、前記物理量の測定を開始してもよい。
本発明によれば、操作の習熟度に応じたタイミングで操作を支援するための処理を行う場合に、操作が受け付けられる前の指示体の動きに基づいて習熟度を判定することができる。
第1実施形態の情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置の外観の一例を示す図である。 情報処理装置の機能構成を示すブロック図である。 操作面を指示する指示体の一例を示す図である。 指示体距離の変化の例を示すグラフである。 習熟度の判定に用いられるテーブルの一例を示す表である。 操作面に表示される補助画像の一例を示す図である。 処理開始距離の決定に用いられるテーブルの一例を示す表である。 習熟度蓄積処理において行われる動作の一例を示すフローチャートである。 操作支援処理において行われる動作の一例を示すフローチャートである。 習熟度の判定に用いられるテーブルの一例を示す表である。 指示体により描かれる軌跡の例を示す図である。 習熟度の判定に用いられるテーブルの一例を示す表である。 変曲点の座標の算出の仕方を説明するための図である。 習熟度の判定に用いられるテーブルの一例を示す表である。 指示体により描かれる軌跡の例を示す図である。 交差位置及び受付位置の例を示す図である。 習熟度の判定に用いられるテーブルの一例を示す表である。 習熟度の判定に用いられるテーブルの一例を示す表である。 変形例の情報処理装置の機能構成を示すブロック図である。 操作面に表示される画像の例を示すである。 変形例の習熟度の判定に用いられるテーブルの一例を示す表である。 変形例の情報処理装置の機能構成を示すブロック図である。 判別部による判別の方法を説明するための図である。 変形例の情報処理装置の機能構成を示すブロック図である。 習熟度の判定に用いられるテーブルの一例を示す図である。
[第1実施形態]
以下、本発明の第1実施形態における情報処理装置について説明する。
[構成]
図1は、第1実施形態の情報処理装置10のハードウェア構成を示すブロック図である。情報処理装置10は、ユーザによる操作を受け付ける操作面を有し、その操作面が指示された場合に操作を受け付けるコンピュータである。情報処理装置10は、例えば、スマートフォンやタブレット端末などである。情報処理装置10は、制御装置110と、記憶装置120と、音声入出力装置130と、通信装置140と、タッチスクリーン20とを備える。制御装置110は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びリアルタイムクロックを備えている。CPUは、RAMをワークエリアとして用いてROMや記憶装置120に記憶されたプログラムを実行することによって、情報処理装置10の各装置の動作を制御する。リアルタイムクロックは、現在の日時を算出する機能を有している。
記憶装置120は、例えばフラッシュメモリやハードディスク等の記憶手段であり、制御装置110が制御に用いるデータやプログラムなどを記憶している。また、記憶装置120は、情報処理装置10において用いられる閾値などの定められた数値を示すデータを記憶している。音声入出力装置130は、スピーカ、マイクロフォン及び音声処理回路等を有し、通話に係る音声の入出力を行う。通信装置140は、携帯電話や無線LANなどの規格に基づく無線通信を行うための通信回路を備え、移動体通信や無線LAN通信を行う。
タッチスクリーン20は、表示装置210とタッチセンサ220とを備える。表示装置210は、例えば液晶ディスプレイであり、表示面を有し、その表示面に画像を表示する。タッチセンサ220は、ユーザによる操作を受け付けるための操作面を有する薄型透明のセンサであり、表示装置210の表示面を覆うようにして設けられている。タッチスクリーン20の詳細について、図2を参照して説明する。
図2は、情報処理装置10の外観の一例を示す図である。図2では、タッチセンサ220が有する操作面221が示されている。図2(a)では、操作面221側から見た情報処理装置10が示されている。以降の図においては、図2(a)に示すように、操作面221の長辺に沿った方向を上下方向といい、短辺に沿った方向が左右方向という。情報処理装置10では、操作面221上の位置が、操作面221の左上を原点として上下方向及び左右方向に沿った2軸により定められる二次元直交座標系の座標で表される。図2(b)では、左右方向に沿って右側から見た情報処理装置10が示されている。以降の図においては、図2(b)に示すように、操作面221の垂線方向を高さ方向という。
タッチセンサ220は、操作面221に沿って格子状に配置され、操作面221を指示する指示体と操作面221との距離を計測する複数の静電センサを有する。これら複数の静電センサは、各々が設けられている操作面221上の位置(以下「計測位置」という。)における指示体の高さ(詳細には指示体及び操作面221の高さ方向に沿った距離)をそれぞれ計測する。以下では、タッチセンサ220により計測される各計測位置における指示体の高さのことを「計測位置高さ」という。各静電センサは、或る度合い以上に電気を伝導する指示体(例えば指)が操作面221に近接して存在する場合に、その指示体と自センサとが形成するコンデンサの静電容量に基づいて計測位置高さを計測し、上述した二次元直交座標系の座標で表される自センサの計測位置とともに制御装置110に通知する。各静電センサは、図2(b)に矢印で示した距離L0までの計測位置高さを計測する。この距離L0は、静電センサが有効な計測位置高さを計測することができる距離の上限を表している。つまり、タッチセンサ220は、操作面221を底面として、高さ方向のサイズがL0の直方体の空間(以下「計測空間」という。)に指示体が存在する場合に、計測位置高さを計測することができる。図2(b)では、計測空間40の各辺を二点鎖線で示している。
操作面221は、上記のとおり、表示装置210の表示面を覆っているため、表示面に表示された画像が操作面221を通して見えるようになっている。つまり、操作面221には、これらの画像が表示されていることになり、表示装置210は、操作面221に画像を表示する表示手段として機能することになる。操作面221には、図2(a)に示すとおり、人物の画像を含んだ操作画像A1が表示されている。操作画像とは、情報処理装置10をユーザが操作するために表示される画像であり、その操作が受け付けられた場合に実行される処理が予め対応付けられている。ユーザが操作面221上で操作画像を指示しながらタップ、長押し及びドラッグ等の操作を行うことで、その操作画像に対する操作が受け付けられて、その操作画像に予め対応付けられている処理が行われる。操作画像A1は、いわゆるサムネイルであり、この画像に含まれた人物の画像を表示するという処理が対応付けられている画像である。
情報処理装置10は、以上のハードウェア構成に基づき、ユーザが行う操作を支援するための処理(以下「操作支援処理」という。)を行う。記憶装置120は、この操作支援処理を行うための操作支援処理プログラムを記憶している。制御装置110がこの操作支援処理プログラムを実行して図1に示す各装置を制御することで、以下に示す機能が実現される。
図3は、情報処理装置10の機能構成を示すブロック図である。情報処理装置10は、受付部101と、測定部102と、判定部103と、蓄積部104と、処理部105とを備える。
受付部101は、ユーザが指示体を用いてタッチセンサ220の操作面221上の位置を指示した場合に、指示された操作面221上の位置(以下「指示位置」という。)に応じた操作を受け付ける受付手段である。受付部101は、制御装置110、記憶装置120及びタッチセンサ220が協働することで実現される機能である。受付部101は、具体的には、次の方法で操作を受け付ける。受付部101においては、制御装置110が、タッチセンサ220から供給されるデータが示す計測位置高さ及び計測位置に基づいて、計測位置高さが閾値(例えば1mm)以下となっている領域を操作面221に指示体が接触している領域(以下「接触領域」という。)として判断し、その接触領域の重心の位置を指示位置として検出する。制御装置110は、検出した指示位置に操作画像が表示されている場合、その状態でタップ、長押しまたはドラッグ等の操作がされたか否かを判断する。制御装置110は、いずれかの操作がされたと判断した場合にその操作を受け付け、操作画像及び受け付けた操作の組み合わせに対応付けられている処理を実行する。
例えば、操作画像A1に対してタップの操作が受け付けられた場合には、制御装置110は、操作画像A1に対応付けられた画像を表示するという処理を実行する。また、操作画像A1に対してドラッグの操作が受け付けられた場合には、制御装置110は、操作画像A1を表示する位置を変更するという処理を実行する。受付部101は、いずれの場合も、指示位置に表示されている操作画像に対する操作、すなわち、指示位置に応じた操作を受け付ける。受付部101は、上記のとおり操作を受け付けると、操作を受け付けた時刻(以下「操作受付時刻」という。)を測定部102に通知する。
測定部102は、受付部101により前述した操作が受け付けられる前の指示体の動きに関連する物理量を測定する測定手段である。測定部102は、本実施形態においては、指示体と操作面221との距離(以下「指示体距離」という。)が所定の距離(例えば図2に示す距離L0)となってから操作が受け付けられるまで(つまり操作受付時刻まで)に要した時間(以下「受付前時間」という。)を指示体の動きに関連する物理量として測定する。この測定部102が用いる所定の距離は、物理量の測定が開始されるときの指示体距離を表しており、以下では「測定開始距離」という。測定部102は、制御装置110、記憶装置120及びタッチセンサ220が協働して実現する機能である。測定部102が受付前時間を測定する方法について、図4及び図5を参照して説明する。
図4は、操作面221を指示する指示体の一例を示す図である。図4では、上下方向に沿って下側から見た情報処理装置10が示されている。図4では、計測空間40の外側から指示体(この例ではユーザの指30)が計測空間40に丁度進入したときの状態が示されている。この状態では、計測される計測位置高さがすなわち指示体距離となり、且つ、その指示体距離がL0、すなわち上述した測定開始距離となっている。つまり、図4では、測定部102による受付前時間の測定が開始された時刻(以下「測定開始時刻」という。)における状態が示されている。図4では、図2に示す操作画像A1が表示されている領域を示している。ユーザは、図4に示す状態になった後、例えば矢印で示すように指30を動かして、操作画像A1が表示されている領域に指30を接触させてすぐに離すことで、操作画像A1に対するタップの操作を行う。このとき、受付部101により、指示位置が検出され、且つ、検出された指示位置が操作画像A1が表示されている領域に含まれていれば、ユーザが意図したタップの操作が受け付けられることになる。
図5は、指示体距離の変化の例を示すグラフである。図5(a)及び(b)のグラフの縦軸は指示体距離を示し、横軸は時刻を示している。図5(a)では、時刻t11にL0(すなわち測定開始距離)という指示体距離が測定され、その後測定される指示体距離が徐々に小さくなって一旦0になり、再び大きくなっている時刻t12において、タップの操作が受け付けられた例が示されている。図5(b)では、時刻t21にL0という指示体距離が測定され、その後測定される指示体距離が図5(a)の例に比べて急激に小さくなって一旦0になり、再び大きくなっている時刻t22に、タップの操作が受け付けられた例が示されている。時刻t11及びt21は、図4で述べた測定開始時刻を表している。また、時刻t12及びt22は、受付部101の説明で述べた操作受付時刻を表している。測定部102は、測定開始時刻から操作受付時刻までに要した時間、すなわち、時刻t11からt12までに要した時間であるT1と、時刻t21からt22までに要した時間であるT2とを、受付前時間として測定する。この例では、受付前時間T2がT1よりも小さくなっている。測定部102は、測定した受付前時間を判定部103に通知する。
判定部103は、測定部102により測定された物理量に応じてユーザの操作の習熟度を判定する判定手段である。ここでいう習熟度とは、操作面221を指示して行う操作にユーザがどれだけ慣れているか(習熟しているか)という度合いを表すものである。より詳細には、判定部103は、測定部102により受付前時間(例えば図5に示すT2)が測定された場合、その受付前時間よりも長い受付前時間(例えば図5に示すT1)が測定部102により測定された場合に比べて習熟度が高いと判定する。言い換えると、判定部103は、測定部102により受付前時間が測定された場合、その受付前時間よりも短い受付前時間が測定部102により測定された場合に比べて習熟度が低いと判定する。例えば、判定部103は、図5(a)に示す操作が行われた場合よりも、図5(b)に示す操作が行われた場合の方が、習熟度が高いと判定する。判定部103は、制御装置110及び記憶装置120が協働して実現する機能である。判定部103は、具体的には、次の方法で習熟度を判定する。
記憶装置120は、予め習熟度の判定のために用いるテーブルを記憶しておく。
図6は、習熟度の判定に用いられるテーブルの一例を示す表である。このテーブルでは、「0.2秒未満」、「0.2秒以上1.0秒未満」及び「1.0秒以上」という各「受付前時間の範囲」に対して、「高」、「中」及び「低」という各「習熟度」が対応付けられている。制御装置110は、測定部102により測定された受付前時間が含まれる受付前時間の範囲に対応付けられている習熟度を、ユーザの操作の習熟度として判定する。例えば、測定部102により0.5秒という受付前時間が測定された場合は、制御装置110は、記憶装置120に記憶されているテーブルを参照して、「0.2秒以上1.0秒未満」という受付前時間の範囲に対応付けられた「中」という習熟度を判定する。同様に、制御装置110は、例えば1.5秒という受付時間が測定された場合は、「低」という習熟度を判定する。このようにして、判定部103は、測定部102により受付前時間(例えば0.5秒)が測定された場合、その受付前時間よりも長い受付前時間(例えば1.5秒)が測定部102により測定された場合に比べて習熟度が高いと判定する。判定部103は、判定した習熟度を蓄積部104に通知する。
蓄積部104は、判定部103により判定された習熟度を蓄積する蓄積手段である。蓄積部104は、制御装置110及び記憶装置120が協働して実現する機能である。蓄積部104においては、制御装置110が、判定部103により判定された習熟度を表す習熟度情報を記憶装置120に記憶させる。これにより、蓄積部104は、前述したように習熟度を蓄積する。蓄積部104は、蓄積した習熟度を、処理部105が必要とする場合に、処理部105に通知する。
処理部105は、指示体が操作面221に接近してきた場合に、蓄積部104に蓄積された習熟度に応じたタイミングでユーザの操作を支援するための処理(以下「操作支援処理」という。)を行う処理手段である。処理部105は、制御装置110、記憶装置120、表示装置210及びタッチセンサ220が協働して実現する機能である。処理部105は、具体的には、次の方法で操作支援処理を行う。処理部105においては、表示装置210が、制御装置110に制御されて、記憶装置120に記憶されている補助画像を表示する。補助画像とは、操作画像に対応付けられている処理の内容を補助的に説明する画像である。
図7は、操作面221に表示される補助画像の一例を示す図である。図7では、操作面221に操作画像A1が表示されており、操作画像A1に指30が近づいている様子が示されている。操作画像A1の上側には、補助画像B1が表示されている。補助画像B1は、「タップすると画像が表示されます。」という文字列を含んだ吹き出しの形をした画像である。この文字列を見ることにより、ユーザは、操作画像A1をどのように操作すれば(この例ではタップ)どのような処理が行われるか(この例では画像の表示)ということを知ることができる。
制御装置110は、タッチセンサ220による指示体距離の計測が開始された場合に、蓄積部104に蓄積されている習熟度のうち最も多いものをユーザの習熟度として特定する。以下では、このようにして特定される習熟度のことを「ユーザ習熟度」という。また、制御装置110は、タッチセンサ220により計測される指示体距離が所定の距離となったタイミングで操作支援処理を開始する。この所定の距離は、操作支援処理を開始させるタイミングを決めるためのものであり、以下「処理開始距離」という。制御装置110は、この処理開始距離を、特定したユーザ習熟度と、図8に示すテーブルとを用いて決定する。
図8は、処理開始距離の決定に用いられるテーブルの一例を示す表である。このテーブルでは、「高」、「中」及び「低」という各「ユーザ習熟度」に対して、「0.2cm」、「0.5cm」及び「1.0cm」という「処理開始距離」が対応付けられている。制御装置110は、例えば、ユーザ習熟度を「中」と特定した場合には、指示体が操作面221に接近してきて指示体距離が0.5cm(すなわち「中」という習熟度に対応付けられている処理開始距離)となったタイミングで操作支援処理を開始し、ユーザ習熟度を「高」と特定した場合には、指示体距離が0.2cm(すなわち「高」という習熟度に対応付けられている処理開始距離)となったタイミングで操作支援処理を開始する。このように、操作支援処理は、特定されたユーザ習熟度が高いレベルであるほど(この例では「高」に近いほど)、開始されるタイミングが遅くなるようになっている。また、ユーザ習熟度は、蓄積された習熟度に応じて特定されるものである。すなわち、処理部105は、蓄積部104に蓄積された習熟度に応じたタイミングで操作支援処理を行っている。
[動作]
情報処理装置10は、以上の構成に基づき、習熟度を蓄積する習熟度蓄積処理と、上述した操作支援処理とを行う。情報処理装置10は、図3の説明で述べた操作支援処理プログラムを実行している間、習熟度蓄積処理及び操作支援処理を繰り返し実行する。
図9は、習熟度蓄積処理において情報処理装置10が行う動作の一例を示すフローチャートである。まず、情報処理装置10は、指示体距離が測定開始距離以下になったか否かを判断する(ステップS11)。例えば、測定開始距離が図2に示すL0である場合、情報処理装置10は、複数の計測位置のいずれにおいても計測位置高さが計測されない状態から、それらのうちの1つでも計測位置高さが計測される状態となったときに、指示体距離が測定開始距離以下になったと判断する。情報処理装置10は、指示体距離が測定開始距離以下になっていないと判断した場合には(ステップS11:NO)、ステップS11の動作を繰り返し行い、指示体距離が測定開始距離以下になったと判断した場合には(ステップS11:YES)、指示体の動きに関連する物理量の測定を開始する(ステップS12)。本実施形態においては、情報処理装置10は、図4及び図5で説明した受付前時間の測定を開始する。
次に、情報処理装置10は、指示体による操作を受け付けたか否かを判断する(ステップS13)。情報処理装置10は、操作を受け付ける前に指示体距離が再び測定開始距離よりも大きくなった場合には、操作を受け付けなかったと判断して(ステップS13:NO)、ステップS11に戻って動作を行う。一方、情報処理装置10は、指示体距離が再び測定開始距離よりも大きくなる前に操作を受け付けたと判断した場合には(ステップS13:YES)、上述した物理量(すなわち、操作が受け付けられる前の指示体の動きに関連する物理量)を測定する(ステップS14)。ステップS12及びS14は、測定部102が行う動作であり、ステップS13は、受付部101及び測定部102が協働して行う動作である。
続いて、情報処理装置10は、測定した物理量に基づいて、図6の説明で述べたようにユーザの操作の習熟度を判定し(ステップS15)、判定した習熟度を蓄積する(ステップS16)。ステップS15は判定部103が行う動作であり、ステップS16は蓄積部104が行う動作である。情報処理装置10は、ステップS16の動作を行ったあとは、ステップS11に戻って動作を行う。このように、情報処理装置10は、ステップS11からS16までの動作を繰り返し行うことで、習熟度(「高」、「中」及び「低」)を蓄積していく。情報処理装置10は、以上のとおり習熟度蓄積処理を行う。
情報処理装置10は、習熟度蓄積処理と並行して、操作支援処理を行う。
図10は、操作支援処理において情報処理装置10が行う動作の一例を示すフローチャートである。まず、情報処理装置10は、指示体を検知したか否かを判断する(ステップS21)。詳細には、情報処理装置10は、計測位置高さを計測しない状態のときに指示体を検知していないと判断し、その状態から計測位置高さを計測する状態になったときに、指示体を検知したと判断する。情報処理装置10は、指示体を検知していないと判断した場合には(ステップS21:NO)、ステップS21の動作を繰り返し行い、指示体を検知したと判断した場合には(ステップS21:YES)、蓄積している習熟度に基づいて上述したユーザ習熟度を特定する(ステップS22)。次に、情報処理装置10は、特定したユーザ習熟度に基づいて、図8で述べたように、処理開始距離を決定する(ステップS23)。
続いて、情報処理装置10は、指示体距離が処理開始距離になったか否かを判断する(ステップS24)。情報処理装置10は、指示体距離が処理開始距離になる前に指示体距離が再び測定開始距離よりも大きくなった場合には、指示体距離が処理開始距離にならなかったと判断して(ステップS24:NO)、ステップS11に戻って動作を行う。一方、情報処理装置10は、指示体距離が再び測定開始距離よりも大きくなる前に指示体距離が処理開始距離になったと判断した場合には(ステップS24:YES)、操作支援処理を実行する(ステップS25)。具体的には、情報処理装置10は、図7に示すような補助画像を操作面221に表示する。そして、情報処理装置10は、図9に示すステップS13の動作(操作受付の判断)を行い、指示体による操作を受け付けたと判断した場合には(ステップS13:YES)、操作支援処理を終了する(ステップS26)。情報処理装置10は、ステップS26の動作を行ったあとは、再びステップS11に戻って動作を行う。ステップS21、S22、S23、S24、S25及びS26は、処理部105が行う動作である。また、ステップS13は、受付部101及び処理部105が協働して行う動作である。
習熟度が低いユーザは、習熟度が高いユーザに比べて、操作がぎこちなく、同じ操作を行うにも時間がかかることが多い。反対に、習熟度が高いユーザは、習熟度が低いユーザに比べて、操作が滑らかで、同じ操作をより短い時間で行うことができる場合が多い。情報処理装置10は、ここでいう時間、すなわち、操作を行うために要する時間として、図5の説明で述べた受付前時間を測定している。また、情報処理装置10は、図6の説明で述べたように、受付前時間を測定した場合に、その受付前時間よりも長い受付前時間を測定した場合に比べて習熟度が高いと判定し、そのように判定した習熟度を蓄積している。これにより、情報処理装置10においては、操作を行ったユーザの習熟度が高いほど、高い習熟度が蓄積されやすいようになっている。従って、情報処理装置10においては、習熟度が高いユーザほど、図8の説明で述べたように高いユーザ習熟度が特定され、その結果、短い処理開始距離が決定されることになる。これにより、習熟度が高いユーザほど、操作支援処理が開始されるタイミングを遅くすることができ、その反対に、習熟度が低いユーザほど、早いタイミングで操作支援処理を開始させることができる。
情報処理装置10は、上述したとおり、受付前時間、すなわち、操作が受け付けられる前の指示体の動きに関連する物理量に基づいて習熟度を判定している。これとは異なって、操作を受け付けた後に行った処理の結果に基づいて習熟度を判定するものを仮定すると、処理の結果の正確性に基づいて判定することが考えられる。例えば文字の入力という処理であれば、入力された文字を削除した回数に基づいて、習熟度を判定するといった具合である。この場合、習熟度が高いユーザであっても、速く操作するほど入力の間違いが多くなりやすい一方、習熟度が低いユーザは、速く操作できなくてゆっくり操作した結果、習熟度が高いユーザよりもかえって入力の間違いが少なくなる場合がある。そうすると、習熟度の高いユーザが操作した場合に低い習熟度と判定されたり、反対に、習熟度の低いユーザが操作した場合に高い習熟度と判定されたりすることになる。情報処理装置10は、いうなれば、操作が受け付けられる前の指示体の動きに基づいて習熟度を判定するものであり、さらにいえば、操作を滑らかに行っているか、それともぎこちない操作を行っているかによって習熟度を判定することができるものである。このため、情報処理装置10においては、ユーザによる操作の結果に影響によって例えば前述した仮定のようにユーザの習熟度とは異なる習熟度を判定するということがない。つまり、情報処理装置10は、操作の結果に影響されることなく判定した操作の習熟度に応じたタイミングで、操作を支援するための処理を行うことができる。
[第2実施形態]
本発明の第2実施形態では、上述した物理量、すなわち、操作が受け付けられる前の指示体の動きに関連する物理量として、指示体が移動した距離が測定される。本実施形態の情報処理装置10のハードウェア構成及び機能構成は、図1及び図3にそれぞれ示されるものと共通しており、各機能を実現する方法の詳細が第1実施形態と異なっている。以下では、第1実施形態と異なる点を中心に説明する。測定部102は、指示体による操作が受付部101により受け付けられる前に指示体が移動した距離(以下「移動距離」という。)を測定する。より詳細には、測定部102は、第1実施形態と同様に、指示体と操作面221との距離である指示体距離が測定開始距離(例えば図2に示す距離L0)となってから操作が受け付けられるまでにおける移動距離を測定する。
測定部102は、第1実施形態と同様に制御装置110、記憶装置120及びタッチセンサ220が協働して実現する機能であり、具体的には次の方法で移動距離を測定する。制御装置110は、タッチセンサ220から通知される計測位置高さ及び計測位置に基づいて、最も小さい計測位置高さ、すなわち指示体距離を特定する。制御装置110は、特定した指示体距離と指示体距離が計測された計測位置の座標とを用いて、指示体のうち指示体距離が計測された部分の座標を算出する。言い換えれば、制御装置110は、指示体のうち操作面221からの高さが最も小さい部分(以下「最小高さ部分」という。)の座標を算出する。制御装置110は、指示体の最小高さ部分の座標を、図2に示す上下方向、左右方向及び高さ方向に沿った3軸により定められる三次元直交座標系で表される三次元の座標で算出する。
こうして算出された座標は、指示体の最小高さ部分が移動した軌跡上の点の位置を表す。タッチセンサ220による計測位置高さの計測と制御装置110による座標の算出とは、所定の時間(例えば0.1秒)の間隔で行われる。制御装置110は、所定の時間の間隔で算出した複数の座標のうち、計測された時刻が連続する座標同士の距離をそれぞれ算出し、それらの合計を移動距離として測定する。制御装置110は、特定した指示体距離が測定開始距離となった時刻から移動距離の測定を開始し、受付部101により操作が受け付けられる操作受付時刻に測定を終了する。測定部102は、このようにして移動距離を測定する。
判定部103は、測定部102により移動距離が測定された場合、その移動距離よりも長い移動距離が測定部102により測定された場合に比べて習熟度が高いと判定する。判定部103は、上記のとおり制御装置110及び記憶装置120が協働して実現する機能であり、習熟度の判定を図11に示すテーブルを用いて行う。
図11は、習熟度の判定に用いられるテーブルの一例を示す表である。このテーブルでは、「4cm未満」、「4cm以上8cm未満」及び「8cm以上」という各「移動距離の範囲」に対して、「高」、「中」及び「低」という各「習熟度」が対応付けられている。このテーブルは、図2に示す距離L0が4cm未満(例えば3cm)である場合に用いられる。制御装置110は、測定部102により測定された移動距離が含まれる「移動距離の範囲」に対応付けられている習熟度を、ユーザの操作の習熟度として判定する。
例えば、測定部102により5cmという移動距離が測定された場合は、制御装置110は、記憶装置120に記憶されているこのテーブルを参照して、「4cm以上8cm未満」という移動距離の範囲に対応付けられた「中」という習熟度を判定する。同様に、制御装置110は、例えば10cmという移動距離が測定された場合は、「低」という習熟度を判定する。制御装置110は、判定した習熟度を表す習熟度情報を記憶装置120に記憶させる。このようにして、判定部103は、測定部102により移動距離(例えば5cm)が測定された場合、その移動距離よりも長い移動距離(例えば10cm)が測定部102により測定された場合に比べて習熟度が高いと判定する。言い換えると、判定部103は、測定部102により移動距離が測定された場合、その移動距離よりも短い移動距離が測定部102により測定された場合に比べて習熟度が低いと判定する。
判定部103による習熟度の判定の具体例について図12を参照して説明する。
図12は、指示体により描かれる軌跡の例を示す図である。図12(a)及び(b)では、操作面221の上側に表示された操作画像A11、A12及びA13が示されている。図12(a)では、ユーザAの指30Aの最小高さ部分が軌跡C1を描いて操作画像A11を指示する様子が示され、軌跡C1が開始される開始点D11及び終了する終了点D12が示されている。また、図12(b)では、ユーザBの指30Bの最小高さ部分が軌跡C2を描いて操作画像A11を操作する様子が示され、軌跡C2が開始される開始点D21及び終了する終了点D22が示されている。軌跡C1は、操作面221の上下方向の中央付近に位置する開始点D11から始まって、操作画像A13及びA12の近くを通って終了点D12で操作画像A11に到達している。一方、軌跡C2は、開始点D11よりも操作画像A11に近い開始点D21から始まって、真っ直ぐに終了点D22まで移動して操作画像A11に到達している。
測定部102は、図12(b)に示す場合に測定する移動距離(すなわち軌跡C2の長さ)よりも、図12(a)に示す場合の方が長い移動距離(すなわち軌跡C1の長さ)を測定する。測定されたそれらの移動距離が、図11に示すテーブルにおいて異なる移動距離の範囲に含まれる場合には、判定部103は、図12(b)に示す場合に、図12(a)に示す場合に比べて習熟度が高いと判定する。
習熟度が低いユーザは、習熟度が高いユーザに比べて、どの操作画像をどのように操作すればよいか(つまり操作の仕方)を理解できていない場合があり、その場合に指示すべき場所と思われるところに指示体をいちいち近づけながら移動させてしまい、その結果、目的とする操作画像に対して大きく迂回する図12(a)に示すような軌跡を描くことがある。反対に、習熟度が高いユーザは、習熟度が低いユーザに比べると、操作の仕方をよく理解できていて、目的とする操作画像に対して大きく迂回する軌跡を描くことが少なく、最短の経路で指示体を移動させて図12(b)に示すような直線状の軌跡を描くことが多い。ユーザの習熟度によるこれらの軌跡の違いは、移動距離の違いに現れる。つまり、習熟度が高いユーザが操作した場合、習熟度が低いユーザが操作した場合に比べて、移動距離が短くなりやすい。情報処理装置10は、図11の説明で述べたように、移動距離を測定した場合に、その移動距離よりも長い移動距離を測定した場合に比べて習熟度が高いと判定することで、操作を行ったユーザの習熟度が高いほど、高い習熟度を蓄積することができる。
なお、測定部102は、上記の例では三次元の座標を算出して移動距離を測定したが、二次元の座標を算出して移動距離を測定してもよい。この場合、測定部102は、特定した指示体距離が計測された計測位置の座標をそのまま二次元の座標として用いて、移動距離を測定すればよい。
[第3実施形態]
本発明の第3実施形態では、上述した物理量、すなわち、操作が受け付けられる前の指示体の動きに関連する物理量として、指示体の速度が測定される。本実施形態の情報処理装置10のハードウェア構成及び機能構成は、図1及び図3にそれぞれ示されるものと共通しており、各機能を実現する方法の詳細が第1及び第2実施形態と異なっている。以下では、これらの実施形態と異なる点を中心に説明する。測定部102は、操作が受け付けられる前の指示体の速度(以下「指示体速度」という。)を測定する。測定部102は、上記の各実施形態と同様に制御装置110、記憶装置120及びタッチセンサ220が協働して実現する機能であり、具体的には次の方法で指示体速度を測定する。
制御装置110は、第2実施形態と同様の方法で、タッチセンサ220が計測した計測位置高さを用いて、移動距離を算出する。制御装置110は、算出した移動距離を、特定した指示体距離が測定開始距離となった時刻(つまり測定開始時刻)から、受付部101により操作が受け付けられる操作受付時刻までに経過した時間で除した値を指示体速度として測定する。つまり、この指示体速度は、指示体の最小高さ部分が図12に示すような軌跡を描いている期間におけるその先端側の部分の平均速度を表している。
判定部103は、測定部102により指示体速度が測定された場合、その指示体速度よりも遅い指示体速度が測定部102により測定された場合に比べて習熟度が高いと判定する。判定部103は、上記のとおり制御装置110及び記憶装置120が協働して実現する機能であり、習熟度の判定を図13に示すテーブルを用いて行う。
図13は、習熟度の判定に用いられるテーブルの一例を示す表である。このテーブルでは、「20cm/秒以上」、「20cm/秒以上10cm/秒未満」及び「10cm/秒未満」という各「指示体速度の範囲」に対して、「高」、「中」及び「低」という各「習熟度」が対応付けられている。
制御装置110は、測定部102により測定された指示体速度が含まれる「指示体速度の範囲」に対応付けられている習熟度を、ユーザの操作の習熟度として判定する。例えば、測定部102により15cm/秒という指示体速度が測定された場合は、制御装置110は、記憶装置120に記憶されているこのテーブルを参照して、「20cm/秒以上10cm/秒未満」という指示体速度の範囲に対応付けられた「中」という習熟度を判定する。同様に、制御装置110は、例えば7cm/秒という指示体速度が測定された場合は、「低」という習熟度を判定する。制御装置110は、判定した習熟度を表す習熟度情報を記憶装置120に記憶させる。このようにして、判定部103は、測定部102により指示体速度(例えば15cm/秒)が測定された場合、その指示体速度よりも遅い指示体速度(例えば7cm/秒)が測定部102により測定された場合に比べて習熟度が高いと判定する。言い換えると、判定部103は、測定部102により指示体速度が測定された場合、その指示体速度よりも速い指示体速度が測定部102により測定された場合に比べて習熟度が低いと判定する。
習熟度が低いユーザは、或る操作において指示すべき場所が分かっていても、習熟度が高いユーザに比べて実際にその操作を行った経験が少ないため、その場所を指示する前に指示体を止めて頭の中で確認をしてから再度指示体を動かしてその場所を指示するということがある。この場合、習熟度が高いユーザが操作する場合と同様の軌跡が描かれることになるが、習熟度が高いユーザに比べて指示体速度が遅くなる。本実施形態によれば、このような場合であっても、操作を行ったユーザの習熟度が高いほど、習熟度が高いと蓄積することができる。
[第4実施形態]
本発明の第4実施形態では、上述した物理量、すなわち、操作が受け付けられる前の指示体の動きに関連する物理量として、移動した指示体により描かれる軌跡の変曲点の数が測定される。本実施形態の情報処理装置10のハードウェア構成及び機能構成は、図1及び図3にそれぞれ示されるものと共通しており、各機能を実現する方法の詳細が上記の各実施形態と異なっている。以下では、それらの実施形態と異なる点を中心に説明する。測定部102は、操作が受け付けられる前に移動した指示体により描かれる変曲点の数(以下「変曲点数」という。)を測定する。測定部102は、上記の各実施形態と同様に制御装置110、記憶装置120及びタッチセンサ220が協働して実現する機能であり、具体的には次の方法で変曲点数を測定する。
制御装置110は、タッチセンサ220から通知される計測位置高さ及び計測位置に基づいて、第2実施形態と同様の方法で、指示体距離を特定する。制御装置110は、特定した指示体距離が計測された計測位置の座標を、指示体の先端側で指示体距離が計測された部分の二次元の座標として算出する。制御装置110は、この座標の算出を所定の時間(例えば0.1秒)の間隔で行う。制御装置110は、算出した複数の座標のうち、指示体距離が計測された時刻が連続する座標同士を直線で結んだ場合に、それらの座標の前後の座標が直線を挟んで互いに反対側に位置する場合に、それらの連続する座標の中点を変曲点を表す座標として算出する。
図14は、変曲点の座標の算出の仕方を説明するための図である。図14では、指示体距離が計測された時刻が連続する計測位置E1、E2、E3及びE4が操作面221上に示されている。これらの計測位置は、上記のとおり算出された複数の座標の一部を表している。制御装置110は、例えば計測位置E2及びE3を直線F1で結んだ場合に、これらの計測位置の前後の計測位置、すなわち計測位置E1及びE4が直線F1を挟んで互いに反対側に位置しているため、計測位置E2及びE3の中点であるG1を変曲点を表す座標として算出する。測定部102は、指示体距離が計測されている間、変曲点の算出を行い、操作受付時刻までに算出した変曲点の座標の数を、上記の変曲点数として測定する。
判定部103は、測定部102により変曲点数が測定された場合、その変曲点数よりも多い変曲点数が測定部102により測定された場合に比べて習熟度が高いと判定する。判定部103は、習熟度の判定を図15に示すテーブルを用いて行う。
図15は、習熟度の判定に用いられるテーブルの一例を示す表である。このテーブルでは、「0個」、「1個または2個」及び「3個以上」という各「変曲点数」に対して、「高」、「中」及び「低」という各「習熟度」が対応付けられている。制御装置110は、測定部102により測定された変曲点数に対応付けられている習熟度を、ユーザの操作の習熟度として判定する。判定部103による習熟度の判定の具体例について図16を参照して説明する。
図16は、指示体により描かれる軌跡の例を示す図である。図16(a)及び(b)では、いずれも、開始点D31から終了点D32までの軌跡であるC3及びC4が示されている。図16(a)に示す例の場合、測定部102は、軌跡C3に沿って算出される座標に基づき、図中に示すG31、G32及びG33という3個の変曲点の座標を算出する。この場合、判定部103は、図15に示すテーブルを参照して、「3個以上」という変曲点数に対応付けられた「低」という習熟度を判定する。一方、図16(b)に示す例の場合、軌跡C4に変曲点がないため、測定部102は0個という変曲点数を測定する。判定部103は、この場合は「高」という習熟度を判定する。このようにして、判定部103は、測定部102により変曲点数(例えば0個)が測定された場合、その変曲点数よりも多い変曲点数(例えば3個)が測定部102により測定された場合に比べて習熟度が高いと判定する。言い換えると、判定部103は、測定部102により変曲点数が測定された場合、その変曲点数よりも少ない変曲点数が測定部102により測定された場合に比べて習熟度が低いと判定する。
習熟度が高いユーザは、操作に慣れているため、目的とする操作において指示すべき位置(例えば操作画像が表示されている位置)を見なくても分かるくらいに把握している場合がある。その場合、習熟度が高いユーザは、指示体を移動させることに意識を集中させることができ、その結果、図16の軌跡C4で示されるように滑らかに指示体を移動させることができる。一方、習熟度が低いユーザは、操作の経験が少ないため、指示すべき位置を把握していない場合がある。そのような場合に、習熟度が低いユーザは、指示すべき位置を探す視線の移動に合わせて指示体を左右に振りながら移動させ、軌跡C3のような波状の軌跡を描いてしまうことがある。本実施形態によれば、このように、指示すべき値を把握している度合いに基づいて、ユーザの習熟度を判定することができる。
[第5実施形態]
本発明の第5実施形態では、上述した物理量、すなわち、操作が受け付けられる前の指示体の動きに関連する物理量として、指示体距離が所定の距離を跨いで増減した回数が測定される。本実施形態の情報処理装置10のハードウェア構成及び機能構成は、図1及び図3にそれぞれ示されるものと共通しており、各機能を実現する方法の詳細が上記の各実施形態と異なっている。以下では、それらの実施形態と異なる点を中心に説明する。測定部102は、操作が受け付けられる前に指示体距離が所定の距離を跨いで増減した回数(以下「増減回数」という。)を測定する。以下では、所定の距離として、図2に示す距離L0が定められている場合を例にとって説明する。この距離は、計測位置高さが計測可能な距離の上限を表している。測定部102は、上記の各実施形態と同様に制御装置110、記憶装置120及びタッチセンサ220が協働して実現する機能であり、具体的には次の方法で増減回数を測定する。
制御装置110は、第2実施形態と同様の方法で指示体距離を所定の時間(例えば0.1秒)の間隔で特定する。制御装置110は、指示体距離が距離L0を跨いで減少したとき、すなわち、指示体距離が特定されていない状態から特定される状態になったときに、増減回数に1を加算する。また、制御装置110は、指示体距離が距離L0を跨いで増加したとき、すなわち、指示体距離が特定されている状態から特定されない状態になったときに、増減回数に1を加算する。制御装置110は、このような増減回数への加算を操作が受け付けられるまで行い、その結果を増減回数として測定する。増減回数が測定されるときの指示体の動きについて、図17を参照して説明する。
図17は、指示体が移動する様子の例を示す図である。図17では、左右方向から見た情報処理装置10が示されている。図17(a)では、ユーザAの指30Aが計測空間40に進入したあと操作面221を指示することなく(つまり操作が受け付けられることなく)計測空間40から出てしまったときに指示体により描かれる軌跡を表すC5と、そのあと再び指30Aが計測空間40に進入して操作面221を指示してタップの操作が受け付けられたときに指示体により描かれる軌跡を表すC6とが示されている。この場合、制御装置110は、軌跡C5の開始点D51及び終了点D52と軌跡C6の開始点D61とにおいて増減回数に1をそれぞれ加算する。この例では、指示体がD62に到達したときに操作が受け付けられている。制御装置110は、操作が受け付けられる前に加算した、つまり、指示体がD62に到達する前に加算した数の合計である「3」という増減回数を測定する。図17(b)では、ユーザBの指30Bが計測空間40に進入して、そのあと計測空間40を一度も出ることなく操作面221を指示してタップの操作が受け付けられたときに指示体により描かれる軌跡を表すC7が示されている。この場合、制御装置110は、軌跡C7の開始点D71において増減回数に1を加算する。この例では、指示体がD72に到達したときに操作が受け付けられている。制御装置110は、操作が受け付けられる前に加算した、つまり、指示体がD72に到達する前に加算した数の合計である「1」という増減回数を測定する。
判定部103は、測定部102により増減回数が測定された場合、その増減回数よりも多い増減回数が測定部102により測定された場合に比べて習熟度が高いと判定する。判定部103は、上記のとおり制御装置110及び記憶装置120が協働して実現する機能であり、習熟度の判定を図18に示すテーブルを用いて行う。
図18は、習熟度の判定に用いられるテーブルの一例を示す表である。このテーブルでは、「1回」、「2回以上3回以下」及び「4回以上」という各「増減回数」に対して、「高」、「中」及び「低」という各「習熟度」が対応付けられている。制御装置110は、測定部102により測定された増減回数に対応付けられている習熟度を、ユーザの操作の習熟度として判定する。判定部103は、図17(a)の場合、このテーブルで3回という増減回数に対応付けられている「中」という習熟度を判定し、図17(b)の場合、このテーブルで1回という増減回数に対応付けられている「高」という習熟度を判定する。このようにして、判定部103は、測定部102により増減回数(例えば1回)が測定された場合、その増減回数よりも多い増減回数(例えば3回)が測定部102により測定された場合に比べて習熟度が高いと判定する。言い換えると、判定部103は、測定部102により増減回数が測定された場合、その増減回数よりも少ない増減回数が測定部102により測定された場合に比べて習熟度が低いと判定する。
上述した第4実施形態では、操作の経験が少なくて指示すべき位置を把握していない習熟度が低いユーザが、指示すべき位置を探す視線の移動に合わせて指示体を左右に振りながら移動させる場合について述べたが、同様に、このようなユーザが、指示体を上下(操作面221の高さ方向)に振りながら移動させ、図17に示すC5及びC6のような軌跡を描いてしまうことがある。本実施形態の情報処理装置10では、これらのような軌跡が描かれたときに指示体が上下に振られた回数を表す増減回数を測定し、測定した増減回数に基づいて習熟度を判定する。従って、本実施形態によれば、第4実施形態と同様に、指示すべき値を把握している度合いに基づいて、ユーザの習熟度を判定することができる。
[第6実施形態]
本発明の第6実施形態では、上述した物理量、すなわち、操作が受け付けられる前の指示体の動きに関連する物理量として、指示体の速度が所定の速度よりも低くなった回数が測定される。本実施形態の情報処理装置10のハードウェア構成及び機能構成は、図1及び図3にそれぞれ示されるものと共通しており、各機能を実現する方法の詳細が上記の各実施形態と異なっている。以下では、それらの実施形態と異なる点を中心に説明する。測定部102は、操作が受け付けられる前の指示体の速度が所定の速度(例えば1cm/秒)よりも低くなった回数(以下「低速回数」という。)を測定する。測定部102は、上記の各実施形態と同様に制御装置110、記憶装置120及びタッチセンサ220が協働して実現する機能であり、具体的には次の方法で低速回数を測定する。
記憶装置120は、予め所定の速度と、0という値を低速回数として記憶しておく。制御装置110は、第3実施形態と同様の方法で指示体速度を所定の時間(例えば0.1秒)の間隔で算出する。制御装置110は、算出した指示体速度が記憶装置120に記憶されている所定の速度よりも低くなったときに、同じく記憶装置120に記憶されている低速回数に1を加算する。制御装置110は、操作が受け付けられるまで低速回数への加算を行い、その結果を低速回数として測定する。
判定部103は、測定部102により低速回数が測定された場合、その低速回数よりも多い低速回数が測定部102により測定された場合に比べて習熟度が高いと判定する。判定部103は、上記のとおり制御装置110及び記憶装置120が協働して実現する機能であり、習熟度の判定を図19に示すテーブルを用いて行う。
図19は、習熟度の判定に用いられるテーブルの一例を示す表である。このテーブルでは、「1回」、「2回以上3回以下」及び「4回以上」という各「低速回数」に対して、「高」、「中」及び「低」という各「習熟度」が対応付けられている。制御装置110は、測定部102により測定された低速回数に対応付けられている習熟度を、ユーザの操作の習熟度として判定する。これにより、判定部103は、測定部102により低速回数(例えば1回)が測定された場合、その低速回数よりも多い低速回数(例えば3回)が測定部102により測定された場合に比べて習熟度が高いと判定する。言い換えると、判定部103は、測定部102により低速回数が測定された場合、その低速回数よりも少ない低速回数が測定部102により測定された場合に比べて習熟度が低いと判定する。
上述した第4実施形態では、操作の経験が少なくて指示すべき位置を把握していない習熟度が低いユーザが、指示すべき位置を探す視線の移動に合わせて指示体を左右に振りながら移動させる場合について述べたが、同様に、このようなユーザは、指示体をときどき静止させたり、静止とまでは行かなくてもほとんど静止させたような状態にさせたりしながら移動させることがある。本実施形態の情報処理装置10では、ユーザがそのように指示体を移動させた場合に、指示体が静止し、及びほとんど静止した状態となった回数に基づいて習熟度を判定する。従って、本実施形態によれば、第4実施形態と同様に、指示すべき値を把握している度合いに基づいて、ユーザの習熟度を判定することができる。
[変形例]
上述した各実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、上述した各実施形態及び以下に示す各変形例は、必要に応じて組み合わせて実施してもよい。
(変形例1)
判定部103は、上述した各実施形態では、図6、図11、図13、図15、図18及び図19に示すテーブルのいずれかを用いて習熟度を判定したが、習熟度の判定の方法はこれには限らない。これらのテーブルではいずれも3つの習熟度が対応付けられていたが、判定部103は、例えば2つの習熟度が対応付けられたテーブルを用いたり、4つ以上の習熟度が対応付けられたテーブルを用いたりしてもよい。また、判定部103は、測定結果を習熟度に変換する予め決められた式を用いて、その式に従って習熟度を判定してもよい。その場合、習熟度は数値で表されることになる。例えば、判定部103は、第1実施形態であれば、100−(受付前時間)×50=習熟度という式を用いて習熟度を判定する。これにより、受付前時間が2.0秒のときに0となり、受付前時間が小さくなるほど100に近づく値で表される習熟度が判定される。この場合、処理部105は、図8に示す「高」、「中」及び「低」に代えて、例えば「90以上」、「90未満50以上」及び「50未満」という「ユーザ習熟度」を「処理開始距離」に対応付けたテーブルを用いて処理開始距離を決定する。
(変形例2)
判定部103は、操作が受け付けられたときに操作面221に表示されている画像に応じて、習熟度を判定する基準(以下「判定基準」という。)を変更してもよい。より詳細には、判定部103は、表示されている画像によって表される情報量に応じて判定基準を変更してもよい。本変形例の情報処理装置は、ハードウェア構成が図1に示されるものと共通し、機能構成が図3に示すものと異なっている。
図20は、本変形例の情報処理装置10aの機能構成を示すブロック図である。情報処理装置10aは、図3に示す各機能の他に、検出部106を備える。検出部106は、操作面221に画像が表示される場合に、表示されているその画像によって表される情報量を検出する検出手段である。検出部106は、制御装置110及び表示装置210が協働して実現する機能である。検出部106による情報量の検出の方法を、図21を参照しながら説明する。
図21は、操作面221に表示される画像の例を示すである。図21(a)では、「写真A」の画像と、「写真A」、「写真B」、「写真C」及び「写真D」のサムネイル画像が操作面221に表示されている。図21(b)では、「Twinkle Twinkle Little Star」という曲名を表す文字列と、その歌詞の文字列と、「Prev」、「Listen」及び「Next」という文字列とを表す画像が表示されている。制御装置110は、写真や絵を表す画像が表示されている場合、その大きさに応じて予め定められた情報量(例えば大きい方から順番に10、5及び2という3段階の情報量を定めておく。)を画像毎に算定してその結果を加算する。
制御装置110は、図21(a)に示す画像であれば、例えば、写真Aの画像が「10」、4つのサムネイル画像がそれぞれ「2」という情報量を算定して、それらを合計した「18」という情報量を検出する。また、制御装置110は、文字列を表す画像が表示されている場合、その言語と、文字数とに応じて定められた情報量(例えば20文字までは2、21文字から100文字までは5、101文字以上は100文字毎に10、英語だとその合計を2倍するというように定めておく。)を画像毎に算定してその結果を加算する。制御装置110は、図21(b)に示す画像であれば、曲名の画像が「10」、歌詞の画像が「40」、その他の3つの画像がそれぞれ「4」という情報量と算定して、それらを合計した「62」という情報量を検出する。このようにして、検出部106は、上記の情報量を検出し、検出した情報量を判定部103に通知する。
判定部103は、検出部106により情報量が検出された場合に、習熟度を判定する判定基準を、検出された情報量に基づいて変更し、変更した判定基準に基づいて習熟度を判定する。判定部103は、図22に示すテーブルを用いてこの判定を行う。
図22は、本変形例の習熟度の判定に用いられるテーブルの一例を示す表である。このテーブルでは、「情報量」及び「受付前時間の範囲」の組み合わせに「習熟度」が対応付けられている。例えば、情報量が「20未満」で受付前時間の範囲が「0.2秒未満」という組み合わせには、「高」という習熟度が対応付けられている。同様に、情報量が「20未満」で受付前時間の範囲が「0.2秒以上1.0秒未満」及び「1.0秒以上」という各組み合わせには、「中」及び「低」という習熟度がそれぞれ対応付けられている。情報量が「20以上50未満」の場合には、「0.5秒未満」、「0.5秒以上1.5秒未満」及び「1.5秒以上」という各受付前時間の範囲に「高」、「中」及び「低」という習熟度がそれぞれ対応付けられている。また、情報量が「50以上」の場合には、「1.0秒未満」、「1.0秒以上2.0秒未満」及び「2.0秒以上」という各受付前時間の範囲に「高」、「中」及び「低」という習熟度がそれぞれ対応付けられている。
図22に示すテーブルを用いることにより、判定部103は、例えば、同じ0.8秒という受付前時間が測定された場合であっても、表示されている画像の情報量が20未満であれば「中」という習熟度を判定し、情報量が50以上であれば「高」という習熟度を判定する。このように、判定部103は、検出部106により情報量(この例では50以上の情報量)が検出された場合に、習熟度を判定する判定基準を、検出された情報量よりも少ない情報量(この例では20未満の情報量)が検出部106により検出された場合に比べて習熟度が高くなりやすいように変更する。そして、判定部103は、変更した判定基準に基づいて習熟度を判定する。
ユーザは、操作面221に表示されている画像が表している内容に応じて操作を行う場合に、その画像によって表される情報量が多いほど、内容を理解するまでに要する時間が長くなる。例えば、図21の例であれば、ユーザは、写真Aの内容の理解に要する時間よりも、200文字以上の英文で表された歌詞の内容の理解に要する時間の方が長くなりやすい。このような場合には、同じユーザであっても、図21(a)に示す操作面221を操作する場合に比べて、図21(b)に示す操作面221を操作する場合の方が時間がかかりやすい。本変形例では、上記のとおり判定基準を変更することで、操作面221に表示される画像の情報量が多い場合に、それが少ない場合に比べてユーザの習熟度が低く判定されることが起こりにくくなる。
(変形例3)
測定部102は、上述した各実施形態及び変形例では、図2に示すL0を測定開始距離として定め、指示体距離の計測が開始されたことを契機に上述した物理量の測定を開始したが、これに限らず、L0よりも短い距離(つまり計測位置高さが測定可能な距離)であれば、どのような距離を測定開始距離として定めてもよい。
(変形例4)
測定部102は、測定開始距離を、何らかの条件に応じて変化させてもよい。例えば、測定部102は、所定の種類の指示体が用いられる場合には、それ以外の種類の指示体が用いられる場合に比べて、測定開始距離を短くして物理量を測定してもよい。以下では、この所定の種類の指示体としてユーザの親指が定められる場合について説明する。本変形例の情報処理装置は、ハードウェア構成が図1に示されるものと共通し、機能構成が図3に示すものと異なっている。
図23は、本変形例の情報処理装置10bの機能構成を示すブロック図である。情報処理装置10bは、図3に示す各機能の他に、判別部107を備える。判別部107は、指示体の種類が所定の種類であるか否かを判別する判別手段である。判別部107は、制御装置110及びタッチセンサ220が協働して実現する機能である。以下では、判別部107が指示体の種類がユーザの親指であるか否かを判別する方法について、図24を参照しながら説明する。
図24は、判別部107による判別の方法を説明するための図である。図24では、ユーザが自身の左手の親指30Cで操作面221を指示する様子が示されている。図24(a)及び(b)では、指示する前の親指30Cが示され、図24(c)及び(d)では、操作面221を指示しているときの親指30Cが示されている。図24(a)及び(c)では操作面221側から見た情報処理装置10が示され、図24(b)及び(d)では上下方向に沿って下側から見た情報処理装置10が示されている。図24(b)では、計測空間40の左右方向の左側の側面41と、高さ方向に向いた上面42とが示されている。
図24(b)及び(d)に示されるように、親指30Cは、操作面221を指示する前から指示するまで、側面41と交差している。一方、ユーザが人差し指など親指以外の指で操作面221を指示する場合、図4や図17の例に示すように指が上面42と交差することが多く、側面41と交差することは少ない。制御装置110は、例えば、指示体距離が特定され始めてから操作が受け付けられるまでの時間のうち、側面41における計測位置高さが計測される時間の割合が所定の割合(例えば50%)を超えた場合に、指示体が親指であると判別する。判別部107は、このようにして指示体の種類が所定の種類(この場合親指)であるか否かを判別し、判別した結果を測定部102に通知する。
測定部102は、判別部107により所定の種類が判別された場合、判別部107によりその所定の種類以外の種類が判別された場合に比べて、測定開始距離を短くして上述した物理量を測定する。ユーザは、親指で操作面221を指示して操作したあと、その親指を図24(b)に示すように計測空間40に残したままにしておく場合がある。その場合、ユーザの操作が終わったあとも、例えば図24(b)の例であればL40という指示体距離が計測される。この場合に、上述した例のように計測開始距離をL0としておくと、操作が受け付けられたあとにL0よりも小さい指示体距離が計測され続けるため、次の物理量の測定が開始されないことになる。測定部102は、例えば、判別部107により所定の種類が判別された場合に測定開始距離をL40よりも短い距離にして物理量を測定することで、ユーザが親指を計測空間40に残しておく場合でも、繰り返し物理量を測定することができる。
(変形例5)
測定部102は、上述した各実施形態では、計測される指示体距離が測定開始距離となった時刻から受付部101により操作が受け付けられた時刻(操作受付時刻)までの期間における物理量を測定した。以下では、測定部102が物理量を測定する期間のことを「測定期間」という。測定部102は、この測定期間を、上述した各実施形態では測定開始距離に基づいて定めたが、操作が受け付けられた時刻(操作受付時刻)に基づいて定めてもよい。例えば、測定部102は、受付部101が操作を受け付けた場合に、操作受付時刻よりも所定の時間(例えば3.0秒)だけ前の時刻から操作受付時刻までの期間を測定期間として物理量を測定する。
測定開始距離に基づいて測定期間を定める場合に、文字入力のように複数回の操作を続けて繰り返しユーザが行うと、測定開始距離よりも小さい指示体距離が計測され続けることがある。そうすると、2回目以降の操作の習熟度が測定されなくなってしまう。本変形例の測定部102は、このような場合であっても、2回目以降の操作の習熟度を測定することができる。なお、測定部102は、第1実施形態における受付前時間を測定する場合には、操作受付時刻に基づいて測定期間を定める方法を用いると常に同じ受付前時間を測定することになるため、この方法を用いずに測定開始距離に基づいて測定期間を定める。
なお、測定部102は、連続する操作受付時刻同士の間隔が前述した所定の時間(例えば3.0秒)未満である場合には、先の操作受付時刻から後の操作受付時刻までの期間を測定間として定めるようにしてもよい。これにより、操作の間隔が所定の時間よりも小さい場合であっても、2回目以降の操作の習熟度を測定することができる。
また、測定部102は、測定期間を定める方法として、測定開始距離に基づく方法と操作受付時刻に基づく方法の両方を場合に応じて使い分けてもよい。例えば、測定部102は、連続する操作受付時刻同士の間隔が第1の時間(例えば5秒)以上である場合には、測定開始距離に基づく方法を用いて測定期間を定め、この間隔が第1の時間未満である場合には、この第1の時間を所定の時間として、操作受付時刻に基づく方法で測定期間を定める。
(変形例6)
測定部102は、操作画像と指示体との位置関係が所定の条件を満たしたときから操作受付時刻までを測定期間として定めてもよい。例えば、測定部102は、操作画像と指示体との距離が所定の距離となった時刻から物理量の測定を開始する。この場合、操作画像と指示体との距離が前述した位置関係を表し、この距離が所定の距離となることが所定の条件を表す。
図25は、本変形例の情報処理装置10cの機能構成を示すブロック図である。情報処理装置10cは、図3に示す各機能の他に、特定部108を備える。特定部108は、操作を受け付けるための操作画像(例えば図2に示す操作画像A1)が操作面221に表示される場合に、その操作画像が操作面221上で表示されている領域を特定する特定手段である。特定部108は、制御装置110、記憶装置120及び表示装置210が協働して実現する機能である。制御装置110は、記憶装置120に記憶されている操作画像を、表示装置210を制御して操作面221の予め決められた位置に表示させる。記憶装置120は、操作画像のサイズ(例えば上下方向及び左右方向のピクセル数)を表すサイズ情報を記憶している。制御装置110は、操作画像を表示させる位置と、操作画像のサイズ情報とから、操作画像が操作面221上で表示されている領域を特定する。このようにして、特定部108は、特定した結果を測定部102に供給する。
測定部102は、特定部108により特定された領域と指示体との距離が所定の距離未満となったときから、物理量の測定を開始する。情報処理装置10においては、操作を受け付ける位置に操作画像が表示されることで、操作が受け付けられる位置をユーザが認識することができるようになっている。言い換えれば、情報処理装置10においては、操作画像が表示されていない領域を指示しても、操作が受け付けられることがない。そのため、操作画像が表示されていない領域を認識しているユーザが、操作を行う意図がなくてその領域を指示するように指示体を動かす場合がある。本変形例によれば、そのような動きによる物理量が測定されにくくなる。すなわち、ユーザが操作することを意図しないで動かした指示体の動きが習熟度の判定に反映されることを少なくして、ユーザが操作することを意図して動かした指示体の動きが習熟度の判定に反映されやすいようにすることができる。
(変形例7)
判定部103は、上述した各実施形態では、測定部102による1つの測定結果に応じて習熟度を判定したが、複数の測定結果に応じて習熟度を判定してもよい。複数の測定結果とは、第1から第6実施形態においてそれぞれ説明した受付前時間、移動距離、指示体速度、変曲点数、増減回数及び低速回数のうちから2つ以上の測定結果を組み合わせたものである。以下、その一例として、受付前時間及び変曲点数の2つの測定結果に応じて習熟度を判定する場合について説明する。この場合、判定部103は、まず、受付前時間に基づいて、変形例1で述べた式を用いて受付前時間が2.0秒のときに0となり、受付前時間が小さくなるほど100に近づく値で習熟度を判定する。そして、判定部103は、判定した習熟度を表す値に、変曲点数に基づいて決められる補正係数を乗じて補正した値を習熟度として判定する。判定部103は、例えば、図26に示すテーブルを用いて習熟度を補正する。
図26は、習熟度の判定に用いられるテーブルの一例を示す図である。このテーブルでは、変曲点数と習熟度の補正係数とが対応付けられている。この例では、「1個」、「2個または3個」及び「4個」という3つの「変曲点数」に、「1.1倍」、「1.0倍」及び「0.9倍」という3つの「習熟度の補正係数」がそれぞれ対応付けられている。判定部103は、例えば、測定された受付前時間が0.8秒であった場合、変形例1で述べた式を用いて仮の習熟度を「60」と判定する。次に、判定部103は、測定された変曲点数が2個であった場合、1個という変曲点数に対応付けられている「1.1倍」という習熟度の補正係数を仮の習熟度に乗じた「66」を習熟度として判定する。これらの測定結果は、測定開始時刻から0.8秒で操作が受け付けられ、且つ、操作が受け付けられるまでに1個の変曲点を有する軌跡を描いて指示体が移動したことを表している。この例では、変曲点数の平均を2個または3個とした場合に、その平均よりも変曲点数が少なかった(1個)分、滑らかな操作が行われたものとして、習熟度を大きくするように補正がされている。
なお、3つの測定結果を組み合わせる場合には、判定部103は、例えば、3つ目の測定結果と図26に示したような補正係数とを対応付けたテーブルを記憶しておく。そして、判定部103は、上記のように1つ目の測定結果に基づいて習熟度となる値を判定し、2つ目の測定結果に基づいてその値を補正し、その補正した値を更に3つ目の測定結果に基づいて補正して得られた値を習熟度として判定すればよい。4つ以上の測定結果を組み合わせる場合も同様である。
また、判定部103は、上記のように値を補正するのではなく、各測定結果に基づいて算出した値の合計によって習熟度を判定してもよい。判定部103は、例えば、受付前時間、移動距離、指示体速度及び変曲点数という4つの測定結果を用いる場合、図6、図11、図13及び図15に示すテーブルをそれぞれ用いて、各測定結果に「高」、「中」及び「低」のいずれが対応しているかを特定する。そして、判定部103は、「高」、「中」及び「低」をそれぞれ特定した場合に、「25」、「20」及び「15」という値をそれぞれ算出し、算出した4つの値の合計によって習熟度を判定する。判定部103は、例えば、4つの測定結果がいずれも「高」であれば、「100」という値で表される習熟度を判定し、いずれも「中(小)」であれば「80(60)」という値で表される習熟度を判定する。つまり、判定部103は、この場合、60から100までの値で表される習熟度を判定する。
以上のとおり、判定部103は、様々な方法でユーザの操作の習熟度を判定してもよく、要するに、測定部102により測定された物理量に応じて習熟度を判定するものであればよい。
(変形例8)
タッチセンサは、上述した各実施形態では、静電容量方式のセンサであったが、これ以外のセンサであってもよい。タッチセンサは、例えば、赤外線反射方式、電磁誘導方式または画像認識方式等のセンサであってもよい。これらのセンサは、操作面に接触しなくても指示体を検知することができるため、静電容量方式のセンサと同様に、指示体距離を計測することが可能である。なお、これらのセンサと合わせて、指示体距離を計測することができないセンサ(例えば抵抗膜方式、表面弾性波方式及び赤外線遮光方式のセンサ)を併用してもよい。要するに、指示体距離を計測できるようになっていれば、どのようなタッチセンサが用いられてもよい。
(変形例9)
処理部105は、上述した各実施形態では、補助画像を表示することで操作支援処理を行ったが、他の方法で操作支援処理を行ってもよい。処理部105は、例えば、操作画像の大きく表示したり、操作画像の輪郭を強調したり、操作画像を点滅させたりして、操作支援処理を行ってもよい。また、処理部105は、図7に示したような処理の内容の説明を音声で読み上げてもよい。その場合、処理部105は、図1に示す制御装置110、記憶装置120及び音声入出力装置130が協働して実現する機能となる。詳細には、記憶装置120が読み上げる音声を示す音声データを記憶しておき、制御装置110が、その音声データを読み出し、音声入出力装置130に供給してその音声データが示す音声を出力させることで操作支援処理が行われる。処理部105は、要するに、ユーザの操作を支援するものであれば、どのような方法で操作支援処理を行ってもよい。処理部105は、いずれの方法を用いる場合であっても、蓄積部104に蓄積された習熟度に応じたタイミングで操作支援処理を行う。
(変形例10)
処理部105は、上述した各実施形態では、蓄積部104に蓄積されている習熟度のうち最も多いものをユーザ習熟度として特定したが、これ以外の方法でユーザ習熟度を特定してもよい。処理部105は、例えば、蓄積部104に数値で表された習熟度が蓄積されている場合には、それらの習熟度の平均値をユーザ習熟度として特定する。また、処理部105は、蓄積部104に「高」、「中」及び「低」といった複数の段階で表された習熟度が蓄積されている場合には、それらの段階を数値に変換(例えば「高」を「80」、「中」を「50」、「低」を「20」に変換するといった具合)し、変換したそれらの値の平均値を、再び習熟度を表す段階に変換(例えば80以下65以上を「高」、65未満35以上を「中」、35未満を「低」に変換するといった具合)したものをユーザ習熟度として特定してもよい。また、処理部105は、習熟度が蓄積された時期に応じてそれらの習熟度を重み付けてしてもよい。例えば、処理部105は、蓄積された時期が現在に近い習熟度ほど値が大きくなるように重み付けをすることで、操作が上達して習熟度が高められてきた場合に、重み付けをしない場合に比べてその上達した習熟度を早く反映させて操作支援処理を行うことができる。
(変形例11)
情報処理装置は、上述した各実施形態では、スマートフォンやタブレット端末などの、表示手段を備える装置であったが、表示手段を備えていない装置であってもよい。情報処理装置は、例えば、パーソナルコンピュータの(ディスプレイを除く)本外とペンタッチ式のキーボードとで構成されていてもよい。要するに、情報処理装置は、図3に示す受付部101、測定部102、判定部103、蓄積部104及び処理部105として少なくとも機能するものであればよい。
(変形例12)
本発明は、上述した情報処理装置の他にも、その情報処理装置が実施する処理を実現するための情報処理方法としても捉えられるものである。ここでいう処理とは、例えば、図9に示す習熟度蓄積処理や図10に示す操作支援処理である。また、本発明は、情報処理装置のようなコンピュータを、図3、図20、図23及び図25に示す各手段として機能させるためのプログラムとしても捉えられるものである。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供されたりするものであってもよい。
10…情報処理装置、110…制御装置、120…記憶装置、130…音声入出力装置、140…通信装置、20…タッチスクリーン、210…表示装置、220…タッチセンサ、221…操作面、101…受付部、102…測定部、103…判定部、104…蓄積部、105…処理部、106…検出部、107…判別部、108…特定部

Claims (10)

  1. 操作を受け付けるための操作面を有し、ユーザが指示体を用いて当該操作面上の位置を指示した場合に、当該位置に応じた操作を受け付ける受付手段と、
    前記受付手段により前記操作が受け付けられる前の前記指示体の動きに関連する物理量を測定する測定手段と、
    前記操作面に画像が表示される場合に、表示されている当該画像によって表される情報量を検出する検出手段と、
    前記測定手段により測定された物理量に応じて前記ユーザの前記操作の習熟度を判定する判定手段であって、前記検出手段により前記情報量が検出された場合、当該情報量よりも少ない情報量が前記検出手段により検出された場合に比べて前記習熟度が高くなりやすいように当該習熟度を判定する判定基準を変更し、変更した当該判定基準に基づいて前記習熟度を判定する判定手段と、
    前記判定手段により判定された習熟度を蓄積する蓄積手段と、
    前記指示体が前記操作面に接近してきた場合に、前記蓄積手段に蓄積された習熟度に応じたタイミングで前記操作を支援するための処理を行う処理手段と
    を備えることを特徴とする情報処理装置。
  2. 操作を受け付けるための操作面を有し、ユーザが指示体を用いて当該操作面上の位置を指示した場合に、当該位置に応じた操作を受け付ける受付手段と、
    前記受付手段により前記操作が受け付けられる前の前記指示体の動きに関連する物理量を測定する測定手段と、
    前記測定手段により測定された物理量に応じて前記ユーザの前記操作の習熟度を判定する判定手段と、
    前記判定手段により判定された習熟度を蓄積する蓄積手段と、
    前記蓄積手段に蓄積された習熟度と、前記操作を支援するための処理を行うタイミングとを対応付けた情報を記憶する記憶手段と、
    前記指示体が前記操作面に接近してきた場合に、記憶された前記情報に基づいて、前記蓄積手段に蓄積された習熟度に応じたタイミングで前記操作を支援するための処理を行う処理手段と
    を備えることを特徴とする情報処理装置。
  3. 前記測定手段は、前記指示体と前記操作面との距離が所定の距離となってから前記操作が受け付けられるまでに要した時間を前記物理量として測定し、
    前記判定手段は、前記測定手段により前記時間が測定された場合、当該時間よりも長い時間が前記測定手段により測定された場合に比べて前記習熟度が高いと判定する
    ことを特徴とする請求項に記載の情報処理装置。
  4. 前記指示体の種類を判別する判別手段を備え、
    前記測定手段は、前記判別手段によりユーザの親指が判別された場合、当該判別手段によりユーザの親指以外の種類が判別された場合に比べて、前記所定の距離を短くして前記物理量を測定する
    ことを特徴とする請求項に記載の情報処理装置。
  5. 前記測定手段は、前記操作が受け付けられる前に前記指示体が移動した移動距離を前記物理量として測定し、
    前記判定手段は、前記測定手段により前記移動距離が測定された場合、当該移動距離よりも長い移動距離が前記測定手段により測定された場合に比べて前記習熟度が高いと判定する
    ことを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  6. 前記測定手段は、前記操作が受け付けられる前の前記指示体の速度を前記物理量として測定し、
    前記判定手段は、前記測定手段により前記速度が測定された場合、当該速度よりも遅い速度が前記測定手段により測定された場合に比べて前記習熟度が高いと判定する
    ことを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  7. 前記測定手段は、前記操作が受け付けられる前に移動した前記指示体により描かれる軌跡の変曲点数を前記物理量として測定し、
    前記判定手段は、前記測定手段により前記変曲点数が測定された場合、当該変曲点数よりも多い変曲点数が前記測定手段により測定された場合に比べて前記習熟度が高いと判定する
    ことを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  8. 前記測定手段は、前記操作が受け付けられる前に前記操作面から前記指示体までの距離を表す指示体距離が所定の距離を跨いで増減した回数を表す増減回数を前記物理量として測定し、
    前記判定手段は、前記測定手段により前記増減回数が測定された場合、当該増減回数よりも多い増減回数が前記測定手段により測定された場合に比べて前記習熟度が高いと判定する
    ことを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  9. 前記測定手段は、前記操作が受け付けられる前の前記指示体の速度が所定の速度よりも低くなった回数を表す低速回数を前記物理量として測定し、
    前記判定手段は、前記測定手段により前記低速回数が測定された場合、当該低速回数よりも多い低速回数が前記測定手段により測定された場合に比べて前記習熟度が高いと判定する
    ことを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  10. 操作を受け付けるための操作画像が前記操作面に表示される場合に、表示されている当該操作画像が前記操作面上で表示されている領域を特定する特定手段を備え、
    前記測定手段は、前記特定手段により特定された領域と前記指示体との位置関係が所定の条件を満たしたときから、前記物理量の測定を開始する
    ことを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
JP2012153594A 2012-07-09 2012-07-09 情報処理装置 Expired - Fee Related JP5959344B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012153594A JP5959344B2 (ja) 2012-07-09 2012-07-09 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012153594A JP5959344B2 (ja) 2012-07-09 2012-07-09 情報処理装置

Publications (2)

Publication Number Publication Date
JP2014016781A JP2014016781A (ja) 2014-01-30
JP5959344B2 true JP5959344B2 (ja) 2016-08-02

Family

ID=50111420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012153594A Expired - Fee Related JP5959344B2 (ja) 2012-07-09 2012-07-09 情報処理装置

Country Status (1)

Country Link
JP (1) JP5959344B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6500260B2 (ja) * 2014-09-05 2019-04-17 ローレル精機株式会社 顧客操作型取引装置
JP5936240B2 (ja) 2014-09-12 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データ処理装置、データ処理方法、およびプログラム
JP2016206749A (ja) * 2015-04-16 2016-12-08 シャープ株式会社 タッチ入力装置、前記タッチ入力装置を備えた画像形成装置およびタッチ入力方法
JP6560167B2 (ja) * 2016-07-25 2019-08-14 日本電信電話株式会社 判定装置、判定方法および判定プログラム
JP7564733B2 (ja) 2021-03-02 2024-10-09 シャープ株式会社 タッチ入力装置、タッチ入力方法、及びタッチ入力プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5293570B2 (ja) * 2009-11-16 2013-09-18 富士通株式会社 表示装置、表示プログラム及び表示方法
JP5768347B2 (ja) * 2010-09-07 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2014016781A (ja) 2014-01-30

Similar Documents

Publication Publication Date Title
US10216407B2 (en) Display control apparatus, display control method and display control program
CN107077197B (zh) 3d可视化图
US10983694B2 (en) Disambiguation of keyboard input
US8633909B2 (en) Information processing apparatus, input operation determination method, and input operation determination program
JP5959344B2 (ja) 情報処理装置
KR102118408B1 (ko) 터치 감지 디바이스에서 터치 동작을 수행하는 방법
US8471825B2 (en) Information processing apparatus, information processing method and computer program
JP5665140B2 (ja) 入力装置、入力方法、及びプログラム
KR101542625B1 (ko) 제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치
JP5904440B2 (ja) 操作入力装置、操作入力方法およびプログラム
US10345912B2 (en) Control method, control device, display device and electronic device
JP5565320B2 (ja) 情報処理装置及び情報処理プログラム
JP2014010777A (ja) 表示プログラム、表示方法、及び情報処理装置
JP5999830B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US20160179239A1 (en) Information processing apparatus, input method and program
JP2012247911A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014006766A (ja) 操作装置
TW201243672A (en) Mobile phone with pointer and control pointer method thereof
JP6204311B2 (ja) 表示装置、画像形成装置、及び表示制御方法
JP5705393B1 (ja) ユーザ入力の操作性を向上させる方法
JP6245334B2 (ja) 表示プログラム
EP2853998B1 (en) Touch positioning method, device and touch terminal
KR20140075391A (ko) 멀티 터치와 탭핑을 결합하여 사용자 명령을 입력하는 방식의 사용자 인터페이스 방법 및 이를 적용한 전자 기기
JP2017162272A (ja) 情報処理装置、及びプログラム
KR101496017B1 (ko) 휴대 기기에서의 터치 스크린 제어 방법 및 그 휴대 기기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160621

R150 Certificate of patent or registration of utility model

Ref document number: 5959344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees