JP5982956B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
JP5982956B2
JP5982956B2 JP2012079491A JP2012079491A JP5982956B2 JP 5982956 B2 JP5982956 B2 JP 5982956B2 JP 2012079491 A JP2012079491 A JP 2012079491A JP 2012079491 A JP2012079491 A JP 2012079491A JP 5982956 B2 JP5982956 B2 JP 5982956B2
Authority
JP
Japan
Prior art keywords
display
information processing
pointer
specific area
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012079491A
Other languages
English (en)
Other versions
JP2013210742A (ja
Inventor
芳英 藤田
芳英 藤田
三原 基伸
基伸 三原
清水 雅芳
雅芳 清水
哲 中島
哲 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012079491A priority Critical patent/JP5982956B2/ja
Publication of JP2013210742A publication Critical patent/JP2013210742A/ja
Application granted granted Critical
Publication of JP5982956B2 publication Critical patent/JP5982956B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
GUI(Graphical User Interface)は、計算機を用いた作業において、表示装置により提示される情報の感得や、入力装置からの入力操作を直感的におこなうことができる環境を提供する。
たとえば、GUIによる操作環境では、マウス操作により移動表示するカーソルによって、画面上の操作対象の選択をおこなうことができる。通常、カーソルは、表示領域に対して小さな表示であるため、操作者は、しばしばカーソル位置を見失う。
これに対して、操作者がカーソル位置を発見するための、マウスを小刻みに動かすなどの操作を検出した場合に、カーソル位置を移動したり、カーソルの表示形態を変えたりしてカーソル位置の確認を容易にする表示装置がある。こうした表示装置は、カーソル位置を移動する場合にカーソルの移動先を、あらかじめ定めた位置や画面上の操作者の視点とすることができる。
特開2011−118670号公報 特開平6−332618号公報 特開2000−47823号公報
しかしながら、上記の表示装置は、操作者の意図と関係なくカーソル(指示表示)が移動したり、操作者の意図しない位置にカーソルが移動したりするなど、操作者にとって使い勝手がよいと言えるものではない。
本発明はこのような点に鑑みてなされたものであり、見失った指示表示の発見の容易化をおこなう際の操作性を改善する情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。
上記目的を達成するために、以下に示すような、情報処理装置が提供される。情報処理装置は、設定部と、表示検出部と、操作検出部と、移動制御部と、を備える。設定部は、指示表示の移動先を特定領域内に設定する。表示検出部は、指示表示の表示位置を検出する。操作検出部は、指示表示に対する特定操作を検出する。移動制御部は、指示表示の表示位置が特定領域外にあるときに特定操作を検出した場合、指示表示を特定領域内に移動させる。
また、上記目的を達成するために、以下に示すような処理をコンピュータがおこなう情報処理方法、および以下に示すような処理をコンピュータに実行させる情報処理プログラムが提供される。コンピュータは、指示表示の移動先を特定領域内に設定し、指示表示の表示位置を検出し、指示表示に対する特定操作を検出し、指示表示の表示位置が特定領域外にあるときに特定操作を検出した場合、指示表示を特定領域内に移動させる移動制御をおこなう。
上記の情報処理装置、情報処理方法、および情報処理プログラムは、見失った指示表示の発見の容易化をおこなう際の操作性を改善する。
第1の実施形態の情報処理装置の一例を示す図である。 第2の実施形態の情報処理装置の構成例を示す図である。 第2の実施形態のマウス操作の一例を示す図である。 第2の実施形態のマウス操作の一例を示す図である。 第2の実施形態の情報処理装置のハードウェア構成の一例を示す図である。 第2の実施形態のポインタ移動処理のフローチャートである。 第2の実施形態の特定領域設定処理のフローチャートである。 第2の実施形態の視線検出の一例を示す図である。 第2の実施形態の眼の特量検出の一例を示す図である。 第2の実施形態の特定操作検出処理のフローチャートである。 第3の実施形態の情報処理装置の構成例を示す図である。 第3の実施形態のマウス操作の一例を示す図である。 第3の実施形態のマウス操作の一例を示す図である。 第3の実施形態の特定領域設定処理のフローチャートである。 第4の実施形態の情報処理装置の構成例を示す図である。 第4の実施形態のマウス操作の一例を示す図である。 第5の実施形態の情報処理装置の構成例を示す図である。 第5の実施形態のマウス操作の一例を示す図である。 第5の実施形態の特定領域設定処理のフローチャートである。 第5の実施形態の使用頻度テーブルの一例を示す図である。
以下、実施の形態を図面を参照して詳細に説明する。
[第1の実施形態]
まず、第1の実施形態の情報処理装置について図1を用いて説明する。図1は、第1の実施形態の情報処理装置の一例を示す図である。
情報処理装置1は、入力装置7からの操作入力にしたがい、表示装置6に指示表示8を表示可能にする。情報処理装置1は、たとえば、パーソナルコンピュータなどの計算機である。
表示装置6は、表示領域に画像を表示可能である。入力装置7は、画面に表示される指示表示8を操作するための操作入力を受け付ける。指示表示8は、GUI環境において画面上の操作対象を指示する表示である。
情報処理装置1は、設定部2と、表示検出部3と、操作検出部4と、移動制御部5と、を備える。設定部2は、所定条件の成立時に指示表示8の移動先となる表示位置を、特定領域9の内側に設定する。たとえば、設定部2は、画面上の操作者が見ている範囲やアクティブウインドウなど、操作者が操作対象としていることを推定可能な領域を特定領域9に設定する。
表示検出部3は、指示表示8の表示位置を検出する。操作検出部4は、指示表示8に対する特定操作を検出する。特定操作とは、操作者が指示表示8を見失ったときに、指示表示8を捜す操作である。たとえば、特定操作は、マウスを小刻みに動かす操作である。
移動制御部5は、指示表示8の表示位置が特定領域9の外側にあるときに、特定操作を検出した場合に、指示表示8を特定領域9の内側に移動する。たとえば、移動制御部5は、指示表示8の表示位置と、設定部2が設定した特定領域9との比較により、指示表示8が特定領域9の外側にあることを検出できる。
このように、情報処理装置1は、指示表示8を移動する場合に、指示表示8が特定領域9の外にあるときに、移動先を特定領域9とする。これにより、情報処理装置1は、特定操作を検出した場合であっても、指示表示8が特定領域9の内側にあるときは特定操作を通常の入力操作として扱うことができ、指示表示8が特定領域9の外側にあるときは指示表示8を捜すための入力操作として扱うことができる。情報処理装置1は、操作者が操作対象としていることを推定可能な領域を特定領域9に設定して、特定操作を通常の入力操作と指示表示8を捜すための入力操作とに区別することで、見失った指示表示の発見の容易化を操作者の意図に沿っておこなうことができる。このような操作者の意図に沿った、見失った指示表示8の発見の容易化は、操作者にとっての操作性を改善する。
[第2の実施形態]
次に、第2の実施形態の情報処理装置について図2から図4を用いて説明する。図2は、第2の実施形態の情報処理装置の構成例を示す図である。図3および図4は、第2の実施形態のマウス操作の一例を示す図である。
情報処理装置10は、マウス(入力装置)23からの操作入力にしたがい、モニタ(表示装置)21にポインタ(指示表示)50を表示可能にする。
モニタ21は、表示領域に画像を表示可能な表示装置である。モニタ21は、たとえば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイなどであり、プロジェクタなどの投影装置であってもよい。情報処理装置10は、デスクトップ型パーソナルコンピュータのようにモニタ21を別体にしてモニタ21に表示をおこなうようにしてもよいし、ノート型パーソナルコンピュータのようにモニタ21を一体にして表示をおこなうようにしてもよい。
マウス23は、画面に表示されるポインタ50を操作するための操作入力を受け付ける入力装置である。入力装置は、マウス23に代えて、たとえば、トラックボール、ジョイスティック、ペンタブレットなどのポインティングデバイスであってもよい。情報処理装置10は、デスクトップ型パーソナルコンピュータのようにマウス23を別体にしてポインタ50の操作入力を受け付けてもよいし、ノート型パーソナルコンピュータのようにポインティングスティックを一体にしてポインタ50の操作入力を受け付けてもよい。
ポインタ50は、GUI環境において画面上の操作対象を指示する表示である。ポインタ50は、たとえば、矢印形状であるが、十字、I字など、その他の形状であってもよく、また状態に応じて表示態様を変化させるものであってもよい。ポインタ50は、指示表示の呼称の1つであり、たとえば、カーソルなどとも称される。
情報処理装置10は、視線検出部11と、設定部12と、操作入力部13と、表示制御部14と、表示検出部15と、操作検出部16と、ポインタ移動制御部17と、を備える。
視線検出部11は、操作者90の視線を検出する。視線検出部11は、カメラ24が撮影した画像から、光源25からの赤外線が照射された操作者90の視線を検出することができる。カメラ24と光源25は、操作者90の眼を撮影可能な位置(たとえば、モニタ21の周縁部の下側中央付近)に設けられる。
設定部12は、視線検出部11が検出した視線にもとづき、視点を含む視野領域30を決定する。視点とは、視線と画面とが交差する位置である。設定部12は、決定した視野領域30にもとづいて、操作者90が操作対象としていると推定可能な特定領域31を設定する。
なお、設定部12は、操作者90の顔と画面との距離や、操作者90の顔の向き、視線の角度等により視野領域30を決定することができる。設定部12は、特定領域31を視野領域30と一致させてもよいし、特定領域31を視野領域30の一部としてもよいし、特定領域31を視野領域30を含む範囲としてもよい。たとえば、設定部12は、操作者90の個性(たとえば、あらかじめ設定する視野の広狭)に応じて、視野領域30を加減して特定領域31を設定する。なお、設定部12は、画面に表示している情報量や、操作者90が作業中の処理内容などに応じて、視野領域30を加減して特定領域31を設定するようにしてもよい。特定領域31の大きさを加減することにより、情報処理装置10は、操作者90にとってのポインタ50の発見の容易性を調整可能にする。また、特定領域31の大きさを加減することにより、情報処理装置10は、操作者90にとってのポインタ50の移動の成立条件を調整可能にする。
操作入力部13は、操作者90の入力操作に応じた情報を表示制御部14に入力する。操作入力部13は、マウス23によるポインタ50の移動操作に応じた情報を入力することができる。
表示制御部14は、操作者90に提示する表示を制御する。表示制御部14は、操作入力部13が受け付けたポインタ50の移動操作にもとづいてモニタ21にポインタ50を表示することができる。
表示検出部15は、ポインタ50の表示位置であるポインタ表示位置32を検出する。たとえば、表示検出部15は、表示制御部14にポインタ表示位置32を問合わせ、表示制御部14からポインタ表示位置32を取得することができる。
操作検出部16は、ポインタ50に対する特定操作(たとえば、ポインタ50を小刻みに動かす操作)を検出する。たとえば、操作検出部16は、表示制御部14にポインタ表示位置32を所定時間間隔で問合わせ、ポインタ表示位置32を取得することによりポインタ50の軌跡を特定する。操作検出部16は、特定した軌跡と、あらかじめ設定した特定パタンとを比較することで特定操作を検出することができる。なお、操作検出部16は、操作入力部13あるいは表示検出部15からポインタ表示位置32を取得することによりポインタ50に対する特定操作を検出するようにしてもよい。
ポインタ移動制御部17は、図3に示すように、ポインタ表示位置32が特定領域31の外側にあるときにポインタ50に対する特定操作を検出した場合に、特定領域31の内側であるポインタ移動位置33にポインタ50を移動する。一方、ポインタ移動制御部17は、図4に示すように、ポインタ表示位置32が特定領域31の中にあるときにポインタ50に対する特定操作を検出しても、ポインタ50を移動することはない。
ポインタ移動位置33は、特定領域31の内であればよい。ポインタ移動位置33は、たとえば、特定領域31の中央部や左上部、視野領域30内の視点の位置、視野領域30の中央部や左上部など、特定領域31内あるいは視野領域30内のあらかじめ定めた位置としてもよい。特に、ポインタ移動位置33を視点とすることで、操作者90はポインタ50を最も容易に見つけ出すことができる。また、ポインタ移動位置33は、特定領域31の内にある特定のアイコン(たとえば、制御状態に応じて選択されるアイコン)に重なる位置や近傍となる位置などとしてもよい。
このように、情報処理装置10は、ポインタ50のポインタ表示位置32を移動する場合に、ポインタ50が特定領域31の外にあるときに、移動先を特定領域31の内側とする。これにより、情報処理装置10は、特定操作を検出した場合であっても、ポインタ50が特定領域31の内側にあるときは特定操作を通常の入力操作として扱うことができる。また、情報処理装置10は、ポインタ50が特定領域31の外側にあるときは、検出した特定操作をポインタ50を捜すための入力操作として扱うことができる。情報処理装置10は、操作者90が操作対象としていることを推定可能な領域を特定領域31に設定して、特定操作を通常の入力操作とポインタ50を捜すための入力操作とに区別することで、見失ったポインタ50の発見の容易化を操作者90の意図に沿っておこなうことができる。このような操作者90の意図に沿った、見失ったポインタ50の発見の容易化は、操作者90にとっての操作性を改善する。
次に、第2の実施形態の情報処理装置のハードウェアの構成について図5を用いて説明する。図5は、第2の実施形態の情報処理装置のハードウェア構成の一例を示す図である。
情報処理装置10は、コンピュータ100に複数の周辺機器を接続して、本実施の形態の処理機能を実現する。コンピュータ100は、CPU(Central Processing Unit)101によって装置全体が制御されている。CPU101には、バス108を介してRAM(Random Access Memory)102と複数の周辺機器が接続されている。
RAM102は、コンピュータ100の主記憶装置として使用される。RAM102には、CPU101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、CPU101による処理に必要な各種データが格納される。
バス108に接続されている周辺機器としては、ハードディスクドライブ(HDD:Hard Disk Drive)103、グラフィック処理装置104、入出力インタフェース105、光学ドライブ装置106、および通信インタフェース107がある。
HDD103は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しをおこなう。HDD103は、コンピュータ100の二次記憶装置として使用される。HDD103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
グラフィック処理装置104には、モニタ21が接続されている。グラフィック処理装置104は、CPU101からの命令に従って、画像をモニタ21の画面に表示させる。
入出力インタフェース105には、キーボード22とマウス23とカメラ24と光源25が接続されている。入出力インタフェース105は、キーボード22やマウス23、カメラ24から送られてくる信号をCPU101に送信する。なお、マウス23は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク26に記録されたデータの読み取りをおこなう。光ディスク26は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク26には、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。
通信インタフェース107は、ネットワーク110に接続されている。通信インタフェース107は、ネットワーク110を介して、他のコンピュータまたは通信機器との間でデータの送受信をおこなう。
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
なお、情報処理装置10は、1以上のアプリケーションプログラムによって本実施の形態の処理機能を実現するものであってもよいし、一部の処理機能をOSが負担して実現するものであってもよい。たとえば、情報処理装置10は、表示制御部14、あるいはこれに加えて視線検出部11や操作入力部13がおこなう処理機能をOSが負担するものであってもよい。
表示制御部14が行う処理がOSの実行によって実現される場合、表示制御部14は、たとえば、表示検出部15および操作検出部16に対してポインタ50の表示位置を出力するとともに、ポインタ移動制御部17からポインタ50の表示位置の変更要求を受け付けるためのAPI(Application Program Interface)を提供する。
次に、第2の実施形態の情報処理装置10が実行するポインタ移動処理について図6を用いて説明する。図6は、第2の実施形態のポインタ移動処理のフローチャートである。
ポインタ移動処理は、操作者90が容易に発見可能な位置にポインタ50を移動する処理である。情報処理装置10は、所定周期(たとえば、マウス23のサンプリングレート)でポインタ移動処理を実行する。
[ステップS11]設定部12は、特定領域31の設定をおこなう特定領域設定処理を実行する。特定領域設定処理の詳細は、図7を用いて後で説明する。
[ステップS12]操作検出部16は、特定操作の検出をおこなう特定操作検出処理を実行する。特定操作検出処理の詳細は、図11を用いて後で説明する。
[ステップS13]ポインタ移動制御部17は、特定操作検出処理により特定操作を検出したか否かを判定する。情報処理装置10は、特定操作を検出した場合にステップS14にすすみ、特定操作を検出しない場合にポインタ移動処理を終了する。
[ステップS14]ポインタ移動制御部17は、ポインタ50が特定領域31にあるか否かを判定する。情報処理装置10は、ポインタ50が特定領域31にない場合にステップS15にすすみ、ポインタ50が特定領域31にある場合にポインタ移動処理を終了する。なお、情報処理装置10は、ポインタ50が特定領域31にあるか否かの判定に、特定操作検出処理で取得するポインタ表示位置32を用いることができる。たとえば、特定操作検出処理で取得するポインタ表示位置32は、特定操作開始時点のポインタ50の位置とする。なお、特定操作検出処理で取得するポインタ表示位置32は、特定操作検出時点のポインタ50の位置や、特定操作検出中のポインタ50の平均位置などであってもよい。
[ステップS15]ポインタ移動制御部17は、ポインタ移動先(特定領域31の内側にあるポインタ移動位置33)を取得する。
[ステップS16]ポインタ移動制御部17は、ポインタ表示位置32にあるポインタ50をポインタ移動位置33に移動させるように表示制御部14に要求して、ポインタ移動処理を終了する。要求を受けた表示制御部14は、ポインタ50の表示位置をポインタ移動位置33に変更する。
このようにして、情報処理装置10は、操作者90が見失ったポインタ50を、操作者90が発見するのに容易な位置に移動することができる。また、情報処理装置10は、操作者90の意図しないタイミングでのポインタ50の移動を抑制可能にして、操作者90の操作性を向上させる。
次に、第2の実施形態の情報処理装置10が実行する特定領域設定処理について図7から図9を用いて説明する。図7は、第2の実施形態の特定領域設定処理のフローチャートである。図8は、第2の実施形態の視線検出の一例を示す図である。図9は、第2の実施形態の眼の特量検出の一例を示す図である。
特定領域設定処理は、特定領域31を設定する処理である。情報処理装置10は、操作者90がポインタ50を見失っているか否かを推定する判断に特定領域31を用いる他、ポインタ50の移動先として特定領域31を用いる。情報処理装置10は、ポインタ移動処理のステップS11で特定領域設定処理を実行する。
[ステップS21]視線検出部11は、カメラ24が撮影した撮影画像を取得する。
ここで、視線検出に用いるカメラ24と光源25について説明する。カメラ24と光源25は、モニタ21の周縁部下端の略中央部にそれぞれ並設されている。したがって、光源25は、モニタ21を観る操作者90の顔に赤外線27を照射する。そのため、光源25は、操作者90に赤外線27を照射しても、操作者90のモニタ21の視認性を損なうことがない。
カメラ24は、操作者90の顔を撮影範囲28に含むようにして撮影する。したがって、カメラ24は、操作者90の眼91を撮影することができる。これにより、視線検出部11は、瞳孔92と、光源25からの照射光が眼球表面で反射した角膜反射像93を含む撮影画像を得る。
[ステップS22]視線検出部11は、撮影画像から操作者90の顔と画面(モニタ21の表示面)との距離を取得する。たとえば、視線検出部11は、画像処理により操作者90の眼91を抽出して、操作者90の眼91から瞳孔92と、角膜反射像93とを検出する。一般に、左眼91Lと右眼91Rの両眼距離(瞳孔間距離)94は、成人の場合において約65mm(62mmから68mm程度)である。視線検出部11は、撮影画像における瞳孔間の画素数から、顔と画面との距離についておおよその値を計算することができる。なお、操作者90の顔と画面との距離は、標準的な姿勢にもとづく固定値としてもよいし、操作者90に応じた設定値としてもよい。
[ステップS23]視線検出部11は、撮影画像から操作者90の視線29を検出する。たとえば、視線検出部11は、片眼について、瞳孔92と角膜反射像93の水平方向の距離(瞳孔・反射間水平距離95)と、瞳孔92と角膜反射像93の垂直方向の距離(瞳孔・反射間垂直距離96)とを計算することができる。視線検出部11は、カメラ24、光源25、およびモニタ21の位置関係を既知(たとえば、固定値としてもよいし、設定値としてもよい)とすることができる。したがって、視線検出部11は、瞳孔・反射間水平距離95と瞳孔・反射間垂直距離96から視線(視線角度)29、モニタ21上の視点29pを算出することができる。
[ステップS24]視線検出部11は、検出した視線29から視野領域30を設定する。人間の視野角は、一般に水平方向で約200度、垂直方向で約125度といわれている。しかしながら、画面などの対象に集中している状態では、対象を識別できる視野は、数度(たとえば、4度)程度まで狭くなる。そのため、視線検出部11は、視線29を中心に対して所定の角度(たとえば、4度)内となる画面上の領域を、視野領域30とする。
[ステップS25]設定部12は、操作者90の姿勢を取得する。たとえば、設定部12は、操作者90の画面に対する角度、両眼の傾きを取得する。
[ステップS26]設定部12は、設定情報を取得する。設定情報は、視野領域30に対して特定領域31を設定する際に用いる情報である。たとえば、設定情報は、操作者90の視野の大きさに関してあらかじめ設定する情報とすることができる。
[ステップS27]設定部12は、特定領域31を設定する。設定部12は、視野領域30について、操作者90の姿勢と、設定情報とから特定領域31の大きさ、形状を設定する。たとえば、設定部12は、操作者90の顔の水平方向の傾きに応じて特定領域31を傾けることができる。また、設定部12は、操作者90の顔の左右方向の回転に応じて特定領域31を左右方向、あるいは上下方向に伸縮することができる。また、設定部12は、操作者90の視野の広狭に応じて特定領域31の大きさを加減することができる。
[ステップS28]設定部12は、特定領域31の内側にポインタ50の移動先となるポインタ移動位置33を設定する。たとえば、設定部12は、視点29pをポインタ移動位置33に設定する。
このようにして、情報処理装置10は、特定領域31を設定することができる。また、情報処理装置10は、操作者90がポインタ50を見失っているか否かの判断に視線検出を用いることで、操作者90のポインタ50を捜す意図を好適に推定できる。したがって、情報処理装置10は、見失ったポインタ50を捜す際の操作者90の操作性を向上させることができる。
次に、第2の実施形態の情報処理装置10が実行する特定操作検出処理について図10を用いて説明する。図10は、第2の実施形態の特定操作検出処理のフローチャートである。
特定操作検出処理は、ポインタ50を小刻みに動かす操作を特定操作として検出する処理である。情報処理装置10は、ポインタ移動処理のステップS12で特定操作検出処理を実行する。特定操作検出処理は、ポインタ移動処理と同様に所定周期(たとえば、マウス23のサンプリングレート)で実行される。
[ステップS31]操作検出部16は、ポインタ表示位置32を表示制御部14から取得する。
[ステップS32]操作検出部16は、取得したポインタ表示位置32を記録する。たとえば、操作検出部16は、所定の容量のリングバッファ(ポインタ表示位置記録部)にポインタ表示位置32を記録する。これにより、情報処理装置10は、現時点から過去の所定期間分のポインタ表示位置32を保持することができる。
[ステップS33]操作検出部16は、ポインタ表示位置32の記録からポインタ50の移動方向を検出する。たとえば、操作検出部16は、前回に取得したポインタ表示位置32をポインタ表示位置記録部から読出し、今回に取得したポインタ表示位置32との変位量から移動方向を検出することができる。
[ステップS34]操作検出部16は、検出した移動方向を記録する。たとえば、操作検出部16は、所定の容量のリングバッファ(移動方向記録部)に移動方向を記録する。これにより、情報処理装置10は、現時点から過去の所定期間分の移動方向を保持することができる。
[ステップS35]操作検出部16は、ポインタ50の移動方向の記録から移動方向の変化を検出する。たとえば、操作検出部16は、前回に検出した移動方向を移動方向記録部から読出し、今回に検出した移動方向との比較から移動方向の変化を検出することができる。操作検出部16は、移動方向の変化を検出した場合にステップS36にすすみ、移動方向の変化を検出しない場合に特定操作検出処理を終了する。
[ステップS36]操作検出部16は、移動方向の変化を記録する。たとえば、操作検出部16は、所定の容量のリングバッファ(移動方向変化記録部)に移動方向の変化の有無を記録する。これにより、情報処理装置10は、現時点から過去の所定期間分の移動方向の変化の有無を保持することができる。
[ステップS37]操作検出部16は、監視時間(たとえば、1000ms)内の移動方向の変化回数を取得する。たとえば、操作検出部16は、リングバッファ(ポインタ表示位置記録部、移動方向記録部、移動方向変化記録部)の容量を、監視時間に対応する容量とすることで、移動方向変化記録部が記録する移動方向の変化有の数が移動方向の変化回数となる。
[ステップS38]操作検出部16は、取得した変化回数が閾値以上であるか否かを判定する。操作検出部16は、取得した変化回数が閾値以上である場合にステップS39にすすみ、取得した変化回数が閾値以上でない場合に特定操作検出処理を終了する。
[ステップS39]操作検出部16は、特定操作の検出を出力(たとえば、検出フラグの設定)して、特定操作検出処理を終了する。
このようにして、情報処理装置10は、ポインタ50に対する特定操作を検出することができる。なお、ポインタ50を小刻みに動かす操作は、特定操作の一例であり、円を描く動作や、急な加減速などを特定操作としてもよく、1以上の操作パタンを特定操作としてもよい。また、特定操作は、操作者90によって登録されるものであってもよい。情報処理装置10は、操作者90に応じた操作パタンを特定操作とすることで、見失ったポインタ50を捜す際の操作者90の操作性を向上させることができる。
[第3の実施形態]
次に、第3の実施形態の情報処理装置について図11から図13を用いて説明する。図11は、第3の実施形態の情報処理装置の構成例を示す図である。図12および図13は、第3の実施形態のマウス操作の一例を示す図である。
第3の実施形態の情報処理装置10aは、視線検出部11に代えてアクティブウインドウ検出部18を備える点で、第2の実施形態の情報処理装置10と異なる。なお、第3の実施形態の説明では、第2の実施形態と同様の構成について符号を同じにして詳細な説明を省略する。
情報処理装置10aは、アクティブウインドウ34の外でマウス23の特定操作を検出したときに、操作者90がポインタ50を見失っていると判断し、ポインタ50の表示位置(ポインタ表示位置32)をアクティブウインドウ34の内側に移動する。
情報処理装置10aは、アクティブウインドウ検出部18と、設定部12aと、操作入力部13と、表示制御部14と、表示検出部15と、操作検出部16と、ポインタ移動制御部17と、を備える。
アクティブウインドウ検出部18は、モニタ21が表示するアクティブウインドウ34の表示範囲を検出する。たとえば、アクティブウインドウ検出部18は、表示制御部14にアクティブウインドウ34についての情報を問合わせ、表示制御部14からアクティブウインドウ34の表示範囲を取得することができる。
設定部12aは、アクティブウインドウ検出部18が検出したアクティブウインドウ34の表示範囲を特定領域31に設定する。操作入力部13は、操作者90の入力操作を入力する。表示制御部14は、操作者90に提示する表示を制御する。表示検出部15は、ポインタ表示位置32を検出する。操作検出部16は、ポインタ50に対する特定操作を検出する。
ポインタ移動制御部17は、図12に示すように、ポインタ表示位置32がアクティブウインドウ34(特定領域31)の外側にあるときに、ポインタ50に対して特定操作を検出した場合に、アクティブウインドウ34の内側のポインタ移動位置33にポインタ50を移動する。アクティブウインドウ34の外側には、たとえば、非アクティブウインドウ35の他、ウインドウを表示していない領域を含む。
一方、ポインタ移動制御部17は、図13に示すように、ポインタ表示位置32を特定領域31の内側とするポインタ50に対して特定操作を検出しても、ポインタ50を移動することはない。
ポインタ移動位置33は、特定領域31の内側であればよい。なお、アクティブウインドウ検出部18は、アクティブウインドウ34についての情報として、表示範囲に加えて、表示要素(たとえば、メニュー表示、アイコン表示等)、アプリケーション種別等を取得することもできる。その場合、ポインタ移動位置33は、たとえば、特定領域31にある所定の表示要素としてもよいし、特定領域31の内側にある特定のアイコン(たとえば、アプリケーション種別に応じて選択される表示要素)に重なる位置や近傍となる位置などとしてもよい。
このように、情報処理装置10aは、アクティブウインドウ34の外側でポインタ50の特定操作を検出した場合に、アクティブウインドウ34の内側にあるポインタ移動位置33にポインタ50を移動する。これにより、情報処理装置10aは、見失ったポインタ50の発見の容易化を操作者90の意図に沿っておこなうことができる。また、情報処理装置10aは、アクティブウインドウ34の内側でポインタ50の特定操作を検出した場合に、ポインタ50の移動をおこなわない。これにより、情報処理装置10aは、アクティブウインドウ34における操作者90の作業性を損なうことがない。
次に、第3の実施形態の情報処理装置10aが実行する特定領域設定処理について図14を用いて説明する。図14は、第3の実施形態の特定領域設定処理のフローチャートである。
特定領域設定処理は、特定領域31を設定する処理である。情報処理装置10aは、操作者90がポインタ50を見失っているか否かを推定する判断に特定領域31を用いる他、ポインタ50の移動先として特定領域31を用いる。情報処理装置10aは、図6に示したポインタ移動処理のステップS11で特定領域設定処理を実行する。
[ステップS41]アクティブウインドウ検出部18は、表示制御部14にアクティブウインドウ34についての情報を問合わせ、表示制御部14からアクティブウインドウ34の表示領域(表示位置、表示範囲)を取得する。アクティブウインドウ検出部18は、さらに、アクティブウインドウ34の表示要素(たとえば、メニュー表示、アイコン表示等)、アプリケーション種別等を取得してもよい。
[ステップS42]設定部12aは、特定領域31を設定する。設定部12aは、特定領域31としてアクティブウインドウ34の表示範囲を設定する。
なお、設定部12aは、アクティブウインドウ34の表示範囲のすべてを特定領域31に設定してもよいし、アクティブウインドウ34の表示範囲の一部を特定領域31に設定してもよい。たとえば、設定部12aは、ウインドウサイズが所定の大きさより小さい時は、アクティブウインドウ34の表示範囲のすべてを特定領域31に設定し、大きい時には、表示範囲の一部を特定領域31に設定する。また、設定部12aは、アクティブウインドウ34の特定の表示要素に対応する表示範囲を特定領域31に設定してもよい。
[ステップS43]設定部12aは、特定領域31の内側にポインタ50の移動先となるポインタ移動位置33を設定する。たとえば、設定部12aは、特定領域31の内側のあらかじめ設定した位置(たとえば、アクティブウインドウ34の中央部や、左上隅、右上隅部など)をポインタ移動位置33とする。また、設定部12aは、対応するアプリケーションがエディタであれば編集位置をポインタ移動位置33に設定し、対応するアプリケーションがメディアプレイヤーであればメニュー表示をポインタ移動位置33に設定するようにしてもよい。
このようにして、情報処理装置10aは、特定領域31を設定することができる。また、情報処理装置10aは、操作者90がポインタ50を見失っているか否かの判断にアクティブウインドウ34を用いることで、操作者90のポインタ50を捜す意図を好適に推定できる。したがって、情報処理装置10aは、見失ったポインタ50を捜す際の操作者90の操作性を向上させることができる。
[第4の実施形態]
次に、第4の実施形態の情報処理装置について図15、図16を用いて説明する。図15は、第4の実施形態の情報処理装置の構成例を示す図である。図16は、第4の実施形態のマウス操作の一例を示す図である。
第4の実施形態の情報処理装置10bは、視線検出部11に加えてアクティブウインドウ検出部18を備える点で、第2の実施形態の情報処理装置10と異なる。なお、第4の実施形態の説明では、第2の実施形態と同様の構成について符号を同じにして詳細な説明を省略する。
情報処理装置10bは、アクティブウインドウ34の内側に視野領域30(特定領域31)があるときに、特定領域31の外側でマウス23の特定操作を検出した場合に、操作者90がポインタ50を見失っていると判断する。情報処理装置10bは、操作者90がポインタ50を見失っていると判断した場合に、ポインタ50の表示位置(ポインタ表示位置32)を特定領域31の内側に移動する。
情報処理装置10bは、視線検出部11と、アクティブウインドウ検出部18と、設定部12bと、操作入力部13と、表示制御部14と、表示検出部15と、操作検出部16と、ポインタ移動制御部17と、を備える。
視線検出部11は、操作者90の視線を検出し、操作者90の顔と画面との距離や、操作者90の顔の向き、視線の角度等により視野領域30を決定する。あるいは、視線検出部11は、操作者90の視点を視野領域30に決定する。アクティブウインドウ検出部18は、モニタ21が表示するアクティブウインドウ34の表示範囲を検出する。
設定部12bは、アクティブウインドウ検出部18が検出したアクティブウインドウ34の表示範囲の内側に視野領域30がある時に、視野領域30を特定領域31に設定する。操作入力部13は、操作者90の入力操作を入力する。表示制御部14は、操作者90に提示する表示を制御する。表示検出部15は、ポインタ表示位置32を検出する。操作検出部16は、ポインタ50に対する特定操作を検出する。
ポインタ移動制御部17は、図16に示すように、ポインタ表示位置32が特定領域31の外側にあるときに、ポインタ50に対して特定操作を検出した場合に、アクティブウインドウ34および視野領域30の内側にあるポインタ移動位置33にポインタ50を移動する。特定領域31の外側には、たとえば、視野領域30と重ならないアクティブウインドウ34、非アクティブウインドウ35の他、ウインドウを表示していない領域を含む。
このように、情報処理装置10bは、特定領域31の外側でポインタ50の特定操作を検出した場合に、アクティブウインドウ34および視野領域30の内側にあるポインタ移動位置33にポインタ50を移動する。これにより、情報処理装置10bは、見失ったポインタ50の発見の容易化を操作者90の意図に沿っておこなうことができる。また、情報処理装置10bは、特定領域31の内側でポインタ50の特定操作を検出した場合に、ポインタ50の移動をおこなわない。これにより、情報処理装置10bは、アクティブウインドウ34における操作者90の作業性を損なうことがない。
[第5の実施形態]
次に、第5の実施形態の情報処理装置について図17、図18を用いて説明する。図17は、第5の実施形態の情報処理装置の構成例を示す図である。図18は、第5の実施形態のマウス操作の一例を示す図である。
第5の実施形態の情報処理装置10cは、視線検出部11に加えて選択情報記憶部19を備える点で、第2の実施形態の情報処理装置10と異なる。なお、第5の実施形態の説明では、第2の実施形態と同様の構成について符号を同じにして詳細な説明を省略する。
情報処理装置10cは、視野領域30(特定領域31)の外側でマウス23の特定操作を検出したときに、操作者90がポインタ50を見失っていると判断する。情報処理装置10cは、操作者90がポインタ50を見失っていると判断した場合に、ポインタ50の表示位置(ポインタ表示位置32)を特定領域31の内側にある表示要素(たとえば、アイコン)の1つに移動する。
情報処理装置10cは、視線検出部11と、選択情報記憶部19と、設定部12cと、操作入力部13と、表示制御部14と、表示検出部15cと、操作検出部16と、ポインタ移動制御部17と、を備える。
視線検出部11は、操作者90の視線を検出する。選択情報記憶部19は、モニタ21が表示する表示要素をポインタ50の移動先として選択するときに、表示要素の選択に用いる情報を記憶する。たとえば、選択情報記憶部19は、複数のアイコン36を表示要素とするときに各アイコン36の選択履歴を記憶する。表示検出部15cは、ポインタ表示位置32、およびアイコン36の表示位置を検出する。
設定部12cは、操作者90の顔と画面との距離や、操作者90の顔の向き、視線の角度等により視野領域30を決定し、視野領域30を特定領域31に設定する。設定部12cは、視野領域30の範囲内に1以上の表示要素がある場合に、1の表示要素を選択し、ポインタ50の移動先とする。たとえば、設定部12cは、視野領域30の範囲内に、アイコン36a、36b、36c、36dがあるときに、もっとも使用頻度の高いアイコン36cをポインタ移動位置33に設定する。
操作入力部13は、操作者90の入力操作を入力する。表示制御部14は、操作者90に提示する表示を制御する。操作検出部16は、ポインタ50に対する特定操作を検出する。
ポインタ移動制御部17は、図18に示すように、ポインタ表示位置32が特定領域31の外側にあるときに、ポインタ50に対して特定操作を検出した場合に、視野領域30の内側にあるポインタ移動位置33にポインタ50を移動する。
このように、情報処理装置10cは、特定領域31の外側でポインタ50の特定操作を検出した場合に、視野領域30の内側にあるポインタ移動位置33にポインタ50を移動する。情報処理装置10cは、操作者90にとって作業性に優れることが期待できる位置に、ポインタ移動位置33を設定するので、操作者90の作業性向上を図ることができる。また、ポインタ移動位置33は、操作者90が視野領域30の内側でも注目していることが期待できる位置なので、情報処理装置10cは、見失ったポインタ50の発見の容易化を操作者90の意図に沿っておこなうことができる。また、情報処理装置10cは、特定領域31の内側でポインタ50の特定操作を検出した場合に、ポインタ50の移動をおこなわない。これにより、情報処理装置10cは、視線近傍における操作者90の作業性を損なうことがない。
次に、第5の実施形態の情報処理装置10cが実行する特定領域設定処理について図19、図20を用いて説明する。図19は、第5の実施形態の特定領域設定処理のフローチャートである。図20は、第5の実施形態の使用頻度テーブルの一例を示す図である。
特定領域設定処理は、特定領域31を設定する処理である。情報処理装置10cは、操作者90がポインタ50を見失っているか否かを推定する判断に特定領域31を用いる。さらに、情報処理装置10cは、特定領域31の内側にある表示要素の1つをポインタ50の移動先とする。情報処理装置10cは、図6に示したポインタ移動処理のステップS11で特定領域設定処理を実行する。
[ステップS51]視線検出部11は、カメラ24が撮影した撮影画像を取得する。視線検出部11は、撮影画像から操作者90の顔と画面(モニタ21の表示面)との距離を取得する。視線検出部11は、撮影画像から操作者90の視線29を検出する。設定部12は、検出した視線29から視野領域30を取得する。
[ステップS52]設定部12は、視野領域30の内側にあるアイコン(表示要素)36を抽出する。たとえば、設定部12は、視野領域30と、表示検出部15cから取得するアイコン36の表示位置とから、視野領域30の内側にあるアイコン36a、36b、36c、36dを抽出することができる。
[ステップS53]設定部12は、抽出したアイコン36の使用頻度を、選択情報記憶部19から取得する。選択情報記憶部19は、たとえば、使用頻度テーブル70を記憶する。
使用頻度テーブル70は、アイコン36を一意に識別可能なアイコン識別情報と、アイコン識別情報ごとのアイコン使用頻度を記録する。アイコン使用頻度は、所定期間内においてアイコンを使用した回数である。
[ステップS54]設定部12は、抽出したアイコン36のうちから、もっとも使用頻度の高いアイコンを選択する。
[ステップS55]設定部12は、特定領域31を設定する。設定部12は、視野領域30について、操作者90の姿勢と、設定情報とから特定領域31の大きさ、形状を設定する。
なお、ステップS52では、設定部12は、あらかじめ決められた複数のアイコン36が表示された領域に、視野領域30が含まれるかを検出してもよい。この場合、ステップS53では、設定部12は、あらかじめ決められた複数のアイコン36が表示された領域に、視野領域30が含まれているとき、それらの複数のアイコン36の使用頻度を選択情報記憶部19から取得する。ステップS54では、設定部12は、使用頻度を取得したアイコン36のうち、もっとも使用頻度が高いアイコンを選択する。ステップS55では、設定部12は、あらかじめ決められた複数のアイコン36が表示された領域を、特定領域31に設定する。
[ステップS56]設定部12は、ポインタ移動位置33として選択したアイコン36を設定する。たとえば、設定部12は、ポインタ移動位置33としてアイコン36cを設定する。
このようにして、情報処理装置10cは、特定領域31を設定することができる。また、情報処理装置10cは、操作者90がポインタ50を見失っているか否かの判断に視線検出を用いることで、操作者90のポインタ50を捜す意図を好適に推定できる。さらに、情報処理装置10cは、操作者90が視野領域30の内側でも注目していることが期待できるアイコン36をポインタ移動位置33とするので、見失ったポインタ50を捜す際の操作者90の発見容易性を向上させることができる。また、情報処理装置10cは、使用頻度の高いアイコン36をポインタ移動位置33とするので、作業性の向上を期待できる。
なお、設定部12cは、視野領域30の範囲内に1以上のアイコン36がある場合に、1のアイコン36を選択して、ポインタ50の移動先としたが、表示要素は、アイコン36に限らず、ボタンや、スクロールバー、メニュー表示などであってもよい。
また、選択情報記憶部19は、たとえば、使用頻度テーブル70を記憶するようにしたが、複数の表示要素の中から1の表示要素を選択可能な情報であればよい。たとえば、選択情報記憶部19は、アイコン36のクリック回数や、クリック比率、アイコン36に対応するアプリケーションの使用時間などを記録するものであってもよい。また、選択情報記憶部19は、前回操作との関連性、操作対象となる期待値などであってもよい。また、使用頻度テーブル70は、ユーザ別、制御状態別など、条件別に複数を設けてもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、情報処理装置1、10、10a、10b、10cが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD、DVD−RAM、CD−ROM/RWなどがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
また、上記の処理機能の少なくとも一部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現することもできる。
以上の第1の実施形態から第5の実施形態を含む実施形態に関し、更に以下の付記を開示する。
(付記1) 指示表示の移動先を特定領域内に設定する設定部と、
前記指示表示の表示位置を検出する表示検出部と、
前記指示表示に対する特定操作を検出する操作検出部と、
前記指示表示の表示位置が前記特定領域外にあるときに前記特定操作を検出した場合、前記指示表示を前記特定領域内に移動させる移動制御部と、
を備えることを特徴とする情報処理装置。
(付記2) 前記指示表示を操作する操作者の視線を検出する視線検出部を備え、
前記設定部は、前記特定領域を、前記視線と表示画面とが交差する視点を含む領域に設定することを特徴とする付記1記載の情報処理装置。
(付記3) 前記視線検出部は、さらに、前記操作者と前記表示画面との距離を検出し、
前記設定部は、前記距離にもとづいて前記特定領域を設定することを特徴とする付記2記載の情報処理装置。
(付記4) 前記視線検出部は、さらに、前記表示画面に対する前記操作者の姿勢を検出し、
前記設定部は、前記姿勢にもとづいて前記特定領域を設定することを特徴とする付記2または付記3記載の情報処理装置。
(付記5) アクティブウインドウの表示位置を検出するアクティブウインドウ検出部を備え、
前記設定部は、前記アクティブウインドウの表示位置にもとづいて前記特定領域を設定することを特徴とする付記1記載の情報処理装置。
(付記6) アクティブウインドウの表示位置を検出するアクティブウインドウ検出部と、
前記指示表示を操作する操作者の視線を検出する視線検出部と、を備え、
前記設定部は、前記アクティブウインドウの表示位置と前記視線とにもとづいて前記特定領域を設定することを特徴とする付記1記載の情報処理装置。
(付記7) 前記指示表示を操作する操作者の視線を検出する視線検出部と、
表示領域内に表示される表示要素毎に、前記指示表示の移動先の選択に用いる情報を記憶する選択情報記憶部と、を備え、
前記設定部は、前記視線にもとづいて前記特定領域を設定し、
前記移動制御部は、前記情報にもとづいて、前記特定領域内にある前記表示要素の内から一の前記表示要素を前記指示表示の移動先として選択する、
ことを特徴とする付記1記載の情報処理装置。
(付記8) 前記表示要素は、アイコンであることを特徴とする付記7記載の情報処理装置。
(付記9) 前記選択情報記憶部は、前記アイコンの使用頻度を記憶し、
前記移動制御部は、前記使用頻度にもとづいて前記表示要素を選択することを特徴とする付記8記載の情報処理装置。
(付記10) コンピュータが、
指示表示の移動先を特定領域内に設定し、
前記指示表示の表示位置を検出し、
前記指示表示に対する特定操作を検出し、
前記指示表示の表示位置が前記特定領域外にあるときに前記特定操作を検出した場合、前記指示表示を前記特定領域内に移動させる移動制御をおこなう、
ことを特徴とする情報処理方法。
(付記11) 前記指示表示を操作する操作者の視線を検出し、前記特定領域を、前記視線と表示画面とが交差する視点を含む領域に設定することを特徴とする付記10記載の情報処理方法。
(付記12) 前記操作者と前記表示画面との距離を検出し、前記距離にもとづいて前記特定領域を設定することを特徴とする付記11記載の情報処理方法。
(付記13) 前記表示画面に対する前記操作者の姿勢を検出し、前記姿勢にもとづいて前記特定領域を設定することを特徴とする付記11または付記12記載の情報処理方法。
(付記14) アクティブウインドウの表示位置を検出し、前記アクティブウインドウの表示位置にもとづいて前記特定領域を設定することを特徴とする付記10記載の情報処理方法。
(付記15) 前記指示表示を操作する操作者の視線を検出し、前記視線にもとづいて前記指示表示の移動先を選択することを特徴とする付記14記載の情報処理方法。
(付記16) 前記指示表示を操作する操作者の視線を検出し、
前記視線にもとづいて前記特定領域を設定し、
表示領域内に表示される表示要素毎に、前記指示表示の移動先の選択に用いる情報を記憶部から取得し、
前記情報にもとづいて、前記特定領域内にある前記表示要素の内から一の前記表示要素を前記指示表示の移動先として選択する、
ことを特徴とする付記10記載の情報処理方法。
(付記17) 前記表示要素は、アイコンであることを特徴とする付記16記載の情報処理方法。
(付記18) 前記記憶部は、前記アイコンの使用頻度を記憶するものであって、
前記使用頻度にもとづいて前記表示要素を選択することを特徴とする付記17記載の情報処理方法。
(付記19) コンピュータに、
指示表示の移動先を特定領域内に設定し、
前記指示表示の表示位置を検出し、
前記指示表示に対する特定操作を検出し、
前記指示表示の表示位置が前記特定領域外にあるときに前記特定操作を検出した場合、前記指示表示を前記特定領域内に移動させる移動制御をおこなう、
処理を実行させることを特徴とする情報処理プログラム。
(付記20) 前記指示表示を操作する操作者の視線を検出し、前記特定領域を、前記視線と表示画面とが交差する視点を含む領域に設定することを特徴とする付記19記載の情報処理プログラム。
1 情報処理装置
2 設定部
3 表示検出部
4 操作検出部
5 移動制御部
6 表示装置
7 入力装置
8 指示表示
9 特定領域

Claims (7)

  1. アクティブウインドウの表示位置を検出するアクティブウインドウ検出部と、
    指示表示を操作する操作者の視線を検出する視線検出部と、
    前記アクティブウインドウの表示位置と前記視線とにもとづいて特定領域を設定し、前記指示表示の移動先を前記特定領域内に設定する設定部と、
    前記指示表示の表示位置を検出する表示検出部と、
    前記指示表示に対する特定操作を検出する操作検出部と、
    前記指示表示の表示位置が前記特定領域外にあるときに前記特定操作を検出した場合、前記指示表示を前記特定領域内に移動させる移動制御部と、
    を備えることを特徴とする情報処理装置。
  2. 前記設定部は、前記特定領域を、前記視線と表示画面とが交差する視点を含む領域に設定することを特徴とする請求項1記載の情報処理装置。
  3. 表示領域内に表示される表示要素毎に、前記指示表示の移動先の選択に用いる情報を記憶する選択情報記憶部を備え、
    前記移動制御部は、前記情報にもとづいて、前記特定領域内にある前記表示要素の内から一の前記表示要素を前記指示表示の移動先として選択する、
    ことを特徴とする請求項1記載の情報処理装置。
  4. 前記表示要素は、アイコンであることを特徴とする請求項記載の情報処理装置。
  5. 前記選択情報記憶部は、前記アイコンの使用頻度を記憶し、
    前記移動制御部は、前記使用頻度にもとづいて前記表示要素を選択することを特徴とする請求項記載の情報処理装置。
  6. コンピュータが、
    アクティブウインドウの表示位置を検出し、
    指示表示を操作する操作者の視線を検出し、
    前記アクティブウインドウの表示位置と前記視線とにもとづいて特定領域を設定し、前記指示表示の移動先を前記特定領域内に設定し、
    前記指示表示の表示位置を検出し、
    前記指示表示に対する特定操作を検出し、
    前記指示表示の表示位置が前記特定領域外にあるときに前記特定操作を検出した場合、前記指示表示を前記特定領域内に移動させる移動制御をおこなう、
    ことを特徴とする情報処理方法。
  7. コンピュータに、
    アクティブウインドウの表示位置を検出し、
    指示表示を操作する操作者の視線を検出し、
    前記アクティブウインドウの表示位置と前記視線とにもとづいて特定領域を設定し、前記指示表示の移動先を前記特定領域内に設定し、
    前記指示表示の表示位置を検出し、
    前記指示表示に対する特定操作を検出し、
    前記指示表示の表示位置が前記特定領域外にあるときに前記特定操作を検出した場合、前記指示表示を前記特定領域内に移動させる移動制御をおこなう、
    処理を実行させることを特徴とする情報処理プログラム。
JP2012079491A 2012-03-30 2012-03-30 情報処理装置、情報処理方法、および情報処理プログラム Expired - Fee Related JP5982956B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012079491A JP5982956B2 (ja) 2012-03-30 2012-03-30 情報処理装置、情報処理方法、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012079491A JP5982956B2 (ja) 2012-03-30 2012-03-30 情報処理装置、情報処理方法、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2013210742A JP2013210742A (ja) 2013-10-10
JP5982956B2 true JP5982956B2 (ja) 2016-08-31

Family

ID=49528540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012079491A Expired - Fee Related JP5982956B2 (ja) 2012-03-30 2012-03-30 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (1)

Country Link
JP (1) JP5982956B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6260255B2 (ja) 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
WO2016147498A1 (ja) * 2015-03-17 2016-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018010583A (ja) * 2016-07-15 2018-01-18 アイシン・エィ・ダブリュ株式会社 操作支援装置及びコンピュータプログラム
JP2018041354A (ja) * 2016-09-09 2018-03-15 アイシン・エィ・ダブリュ株式会社 ポインタ制御システムおよびポインタ制御プログラム
US10902104B2 (en) * 2017-07-26 2021-01-26 Princeton Identity, Inc. Biometric security systems and methods
JP7383471B2 (ja) 2019-12-20 2023-11-20 キヤノン株式会社 電子機器およびその制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332618A (ja) * 1993-05-25 1994-12-02 Hitachi Ltd カーソル制御方法
JPH10187352A (ja) * 1996-12-20 1998-07-14 Nagano Nippon Denki Software Kk マルチウインドウシステム
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
JP3201333B2 (ja) * 1998-03-10 2001-08-20 日本電気株式会社 ポインティングデバイス
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
KR101466872B1 (ko) * 2007-06-08 2014-12-01 소니 가부시끼가이샤 정보 처리 장치, 입력 장치, 정보 처리 시스템 및 컴퓨터 판독가능한 기록 매체
WO2011038527A1 (zh) * 2009-09-29 2011-04-07 阿尔卡特朗讯 一种注视点检测方法及其装置
JP5276576B2 (ja) * 2009-12-03 2013-08-28 三菱電機株式会社 表示装置

Also Published As

Publication number Publication date
JP2013210742A (ja) 2013-10-10

Similar Documents

Publication Publication Date Title
JP5982956B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US10627900B2 (en) Eye-signal augmented control
JP5807989B2 (ja) 注視支援コンピュータインターフェース
JP6159323B2 (ja) 情報処理方法及び情報処理装置
JP5387557B2 (ja) 情報処理装置及び方法、並びにプログラム
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
US10969949B2 (en) Information display device, information display method and information display program
US9544556B2 (en) Projection control apparatus and projection control method
JP6252409B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8769409B2 (en) Systems and methods for improving object detection
JP2018195323A (ja) 視線入力装置、視線入力方法、および、視線入力プログラム
KR20160050682A (ko) 전자장치의 화면 표시 제어 방법 및 장치
KR20150023702A (ko) 투명 헤드 마운티드 디스플레이들에 대한 사용자 인터페이스 상호작용
JP2015152939A (ja) 情報処理装置、情報処理方法、及びプログラム
US10771678B2 (en) Autofocus control apparatus and method for selecting a target of a detected object
JP4912377B2 (ja) 表示装置、表示方法、ならびに、プログラム
KR20200122722A (ko) 분할 화면을 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
JP2012220678A (ja) カーソル表示システム
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
JP5865615B2 (ja) 電子機器および制御方法
US20090219290A1 (en) Image display processing appartus, image display processing method, and recording medium
US20160179352A1 (en) Information processing apparatus, computer-readable recording medium storing display control program, and display control method
US20210258548A1 (en) Information processing device, information processing method, and recording medium
JP2016130888A (ja) アイコン選択のためのコンピュータ・プログラム、携帯端末、およびコンピュータ実装方法
KR20190049349A (ko) 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160610

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160718

R150 Certificate of patent or registration of utility model

Ref document number: 5982956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees