JP6691847B2 - 表示制御方法 - Google Patents

表示制御方法 Download PDF

Info

Publication number
JP6691847B2
JP6691847B2 JP2016142660A JP2016142660A JP6691847B2 JP 6691847 B2 JP6691847 B2 JP 6691847B2 JP 2016142660 A JP2016142660 A JP 2016142660A JP 2016142660 A JP2016142660 A JP 2016142660A JP 6691847 B2 JP6691847 B2 JP 6691847B2
Authority
JP
Japan
Prior art keywords
viewpoint
marker
display
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016142660A
Other languages
English (en)
Other versions
JP2018013926A (ja
Inventor
守 澤口
守 澤口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schneider Electric Japan Holdings Ltd
Original Assignee
Schneider Electric Japan Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schneider Electric Japan Holdings Ltd filed Critical Schneider Electric Japan Holdings Ltd
Priority to JP2016142660A priority Critical patent/JP6691847B2/ja
Publication of JP2018013926A publication Critical patent/JP2018013926A/ja
Application granted granted Critical
Publication of JP6691847B2 publication Critical patent/JP6691847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、連続的に指定される位置座標を追従するオブジェクトの表示制御方法に関する。
ユーザの視線を検出する視線HCI(human computer interaction)技術が従来から開発されている。例えば、特許文献1には、表示装置に対するユーザの視線を検出し、表示面に対するユーザの注視点を精度良く算出するための技術が開示されている。そして、特許文献2および3には、検出したユーザの注視点に対応した表示面上の位置に、カーソルやポインタ等のオブジェクトを、上記注視点を追従するように表示させる技術が開示されている。
特開平10−091325号公報 (1998年4月10日公開) 特開平10−039994号公報 (1998年2月13日公開) 特開2013−143012号公報(2013年7月22日公開)
しかしながら、上述のような従来技術を用いて視線検出の結果をオブジェクトとして表示する場合、オブジェクトが注視点を追従する性能(追従性)が十分でない場合があった。
例えば、表示面においてユーザが注視していると認識している注視点と、検出される注視点、およびオブジェクトが表示される位置はそれぞれ一致しない場合がある。これは、視線検出の際のノイズや眼球運動によるランダム誤差、注視点を表示装置の表示面の形状および大きさに合わせてキャリブレーションした際の誤差等が原因である。このような位置ずれが大きい場合、オブジェクトの追従性は低下する。
また、オブジェクトの表示位置の決定に加重移動平均法など、複数回の検出で得た注視点の平均値をとる方法を用いた場合、注視点の検出からオブジェクトの表示位置の決定(オブジェクトの移動)までにタイムラグが生じるため、この場合も追従性が低下する。
オブジェクトの追従性が低下するという事は、視線による操作の操作性が低下することである。そのため、オブジェクトの追従性の低下が原因で、ユーザが操作性に違和感を抱くことや、思うように操作できないために不快に感じることがあった。また、ユーザが注視点に追いついていないオブジェクトを目線で追いかけてしまうことで、オブジェクトの位置が最初の注視点から離れていってしまう(視線が逃げる)という問題も生じていた。
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、連続的に指定される位置座標を高い追従性で追従するオブジェクトを実現することにある。
上記の課題を解決するために、本発明の一態様に係る表示制御方法は、表示部の表示面において連続的に指定される位置座標を追従するオブジェクトの表示制御方法であって、指定された上記位置座標を第1座標として取得する第1座標取得ステップと、上記オブジェクトの上記表示面における座標を第2座標として取得する第2座標取得ステップと、上記第2座標から上記第1座標へ向かうベクトルを算出する算出ステップと、上記オブジェクトの移動方向を回転させる回転速度を、上記ベクトルの方向に応じて決定する回転速度決定ステップと、上記オブジェクトの回転後の移動方向への移動速度を、上記ベクトルの大きさで表される距離に応じて決定する移動速度決定ステップと、上記回転後の移動方向へ上記移動速度で移動した後の第2座標の位置に上記オブジェクトを表示させる表示制御ステップと、を含む。
上記の方法によれば、第2座標から第1座標へのベクトルに応じて回転速度および移動速度、すなわち単位時間当たりのオブジェクトの回転角度および移動距離を決定する。換言すると、第1座標が取得されるごとに、オブジェクトの回転角度と移動距離が算出され、オブジェクトが当該位置に移動される。したがって、例えば加重移動平均法など、複数の第1座標からオブジェクトの表示位置を決定する場合に比べ、第1座標の検出からオブジェクトの表示までのタイムラグが少なくなる。したがって、高い追従性を持ったオブジェクトを表示させることができる。
上記の課題を解決するために、上記表示制御方法の上記移動速度決定ステップでは、上記第2座標と上記第1座標との距離が長いほど上記移動速度を速い速度に決定してもよい。
上記の方法によると、上記第2座標と上記第1座標との距離が長いほど単位時間当たりのオブジェクトの移動距離が大きくなる。したがって、オブジェクトがより第1座標に近づくことができるため、オブジェクトの追従性を向上させることができる。
上記の課題を解決するために、上記回転速度決定ステップでは、上記オブジェクトの移動方向と上記ベクトルとのなす挟角が所定の角度よりも大きい場合、上記回転速度を減少させ、
上記移動速度決定ステップでは、上記挟角が上記所定の角度よりも大きい場合、上記移動速度を減少させてもよい。
上記の方法によると、オブジェクトから第1座標への方向成分と、オブジェクトの移動方向(回転前の移動方向)とに共通する方向成分が一定以下である場合は、オブジェクトの回転速度および移動速度を減速する。つまり、オブジェクトが第1座標に向かう方向と一定以上異なる方向に移動中の場合に、単位時間当たりのオブジェクトの移動距離を減少させることができる。
上記の課題を解決するために、上記表示制御方法の上記回転速度決定ステップでは、上記オブジェクトの移動方向と、上記ベクトルとのなす挟角が所定の角度以下の範囲で大きくなるほど上記回転速度を速い速度に決定してもよい。
上記の方法によると、上記挟角が所定の角度以下の範囲で大きいほど単位時間当たりのオブジェクトの移動方向の回転角度が大きくなる。換言すると、オブジェクトが第1座標に向かう方向と一定以上近い方向である場合は、上記挟角が大きいほど、大きい角度で移動方向を回転させる。これにより、オブジェクトの移動方向がオブジェクトから第1座標への方向により近づくため、オブジェクトの追従性を向上させることができる。
上記の課題を解決するために、上記表示制御方法において指定される上記位置座標は、上記表示部の上記表示面を見る人物の、上記表示面に対する視点の位置座標であって、上記表示制御方法は、上記人物の左右の目の開閉状態を示す情報を取得する開閉状態取得ステップを含み、上記表示制御ステップにて、上記開閉状態を上記オブジェクトに重畳して表示させてもよい。
上記の方法によると、目の開閉状態というユーザの視点検出の有効性(ユーザが表示面を見ているか否か)に係る情報を取得することができる。また、上記開閉状態をオブジェクトに重畳して表示することにより、ユーザに視点検出の有効性を示すことができる。
上記の課題を解決するために、上記表示制御方法の上記開閉状態取得ステップにて、上記人物の左右少なくとも一方の目の開状態を示す情報を取得した場合に、上記第1座標取得ステップにて取得した第1座標を有効とし、上記算出ステップ、上記回転速度決定ステップ、上記移動速度決定ステップ、および上記表示制御ステップを実行してもよい。
上記の方法によると、左右少なくとも一方の目が開状態である、すなわちユーザが少なくとも片目で表示面を見ていると判断できるときにのみ、当該視点の位置座標(第1座標)を有効な座標値と捉え、処理を行うことができる。したがって、両目が閉状態である視点を誤検出した場合などに、当該誤検出に係る第1座標をオブジェクトの表示に影響させないようにすることができる。
上記の課題を解決するために、上記表示制御方法の上記開閉状態取得ステップにて上記人物の左右少なくとも一方の目の開状態を示す情報を取得し、かつ、上記第1座標取得ステップにて取得した上記第1座標が所定の範囲内であった回数を測定する測定ステップを含む、請求項4または5に記載の表示制御方法。
上記の方法によると、表示面の所定の範囲内をユーザが注視していた回数を測定することができる。換言すると、ユーザが注視していた位置と、時間とを測定することができる。
上記の課題を解決するために、本発明の一態様に係る表示制御装置は、表示部の表示面において連続的に指定される位置座標を追従するオブジェクトの表示制御装置であって、指定された上記位置座標を第1座標として取得する第1座標取得部と、上記オブジェクトの上記表示面における座標を第2座標として取得する第2座標取得部と、上記第2座標から上記第1座標へ向かうベクトルを算出する算出部と、上記オブジェクトの移動方向を回転させる回転速度を、上記ベクトルの方向に応じて決定する回転速度決定部と、上記オブジェクトの回転後の移動方向への移動速度を、上記ベクトルの大きさで表される距離に応じて決定する移動速度決定部と、上記回転後の移動方向へ上記移動速度で移動した後の第2座標の位置に上記オブジェクトを表示させる表示制御部と、を備えている。
上記の構成によると、上記表示制御方法と同様の効果を得ることができる。
本発明の各態様に係る表示制御方法および表示制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示制御方法の各ステップ、または上記表示制御装置が備える各部(ソフトウェア要素)として動作させることにより上記表示制御方法および表示制御装置をコンピュータにて実現させる表示制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は、連続的に指定される位置座標を高い追従性で追従するオブジェクトを実現することができる。
本発明の実施形態1に係るプログラマブル表示器の要部構成を示す図である。 上記プログラマブル表示器を含む表示システムの構成の一例を示す図である。 上記プログラマブル表示器が視点座標を受信した場合の、視点マーカの動きの一例を示す図である。 表示制御処理の流れを示すフローチャートである。 視点座標、マーカ座標、第1ベクトル、第2ベクトル、および第1ベクトルと第2ベクトルとのなす挟角を視覚的に示した模式図である。 加速度補正処理の流れを示すフローチャートである。 回転速度決定処理の流れを示すフローチャートである。 移動速度決定処理の流れを示すフローチャートである。 実施形態2に係るプログラマブル表示器のマーカ表示制御部が表示させる視点マーカの一例を示す。 実施形態2に係るプログラマブル表示器のディスプレイに表示されたアイコンを、視線マーカによって選択させる例を示す図である。 実施形態3に係るプログラマブル表示器のディスプレイに表示されたアプリ画像と、視点マーカとを示す図である。
〔実施形態1〕
以下、本発明の実施の形態について詳述する。まず初めに、図2および3を用いて、本実施形態に係るプログラマブル表示器を含む表示システム100の構成および動作の概要を説明する。
≪表示システムの概要≫
図2は、本実施形態に係る表示システム100の構成の一例を示す図である。表示システム100は、アイトラッカー1と、ディスプレイ(表示部)20を備えたプログラマブル表示器2と、を含む。アイトラッカー1とプログラマブル表示器2は、有線または無線で接続されている。
アイトラッカー1は、人間の視線の動きを検出する装置である。アイトラッカー1の視線検出方法は特に限定されない。また、アイトラッカー1は、視線検出に必要な種々の構成を備えていてよい。例えば、アイトラッカー1は赤外線照射ユニットを備え、ユーザの眼球に対し赤外線を投射し、当該赤外線に対する眼球反射を検出および分析することにより、視線検出を行ってもよい。
アイトラッカー1は所定の時間間隔(例えば30HZ、60Hz、または120Hz周期で)視線検出を行い、ディスプレイ20の表示面におけるユーザ(人物)の注視点の位置座標(視点座標、第1座標)を算出する。なお、アイトラッカー1は視点座標の算出の際に、ユーザの眼球の形状および眼球反射の特性、ならびにディスプレイ20の形状および大きさの少なくともいずれかに応じて視点座標をキャリブレーションし、キャリブレーション後の値をプログラマブル表示器2に送信してもよい。また、アイトラッカー1は視点座標の算出を行わず、ユーザの眼球反応の検出データなど、視点座標の算出の材料となるデータをプログラマブル表示器2に送信してもよい。
プログラマブル表示器2は、表示装置としてのディスプレイ20を備えたHMI(Human Machine Interface)機器である。プログラマブル表示器2は視点座標を受信し、ディスプレイ20上の当該視点座標に応じた位置に視点マーカAを表示させる。視点マーカAとは、視点座標を追従するように表示されるオブジェクト画像である。
なお、アイトラッカー1は、図2に示したようにプログラマブル表示器2およびディスプレイ20と別に設けられた装置であってもよいし、プログラマブル表示器2またはディスプレイ20に取り付けられた、または内蔵された装置であってもよい。また、ディスプレイ20は図示の通りプログラマブル表示器2に内蔵された装置であってもよいし、プログラマブル表示器2に接続される外部装置であってもよい。また、図2および以降の図面において示される視点マーカAの形状および大きさは一例であって、視点マーカAの形状および大きさは図示の形状および大きさに限定されない。
≪視点マーカの動き≫
次に、ディスプレイ20に表示される視点マーカAの、見かけ上の動きについて説明する。プログラマブル表示器2は、視点マーカAを回転させることで移動方向を定め、定めた移動方向に対する視点マーカAの加速度を加算または減算することで、視点マーカAの移動速度、すなわち単位時間当たりの移動距離を定める。そして、定めた移動方向に向かって定めた移動速度で一定期間移動した後の、視点マーカAの位置座標を特定し、当該位置座標に視点マーカAを表示させる。
なお、ここで言う「一定期間」とは、ディスプレイ20の1フレーム期間を示す。つまり、プログラマブル表示器2は、ディスプレイ20のフレームレートに合わせて視点マーカAの位置を決定し、視点マーカAの表示位置を更新する。
以下、図3を用いて視点マーカAの動きの具体例を説明する。図3の(a)〜(d)は、プログラマブル表示器2が視点座標a1およびa2を受信した場合の、視点マーカAの動きの一例を示す図である。なお、図3の(a)〜(d)の例では、向き(移動方向)が分かるようなオブジェクトが視点マーカAとして表示されているが、本実施形態に係る視点マーカAは見た目上で向きが分からないようなオブジェクトであってもよい。また、図3の(b)〜(d)では視点座標(a1およびa2)を点で示しているが、視点座標はディスプレイ20に表示されなくてよい。また、図3の(b)〜(d)では、視点マーカAの回転方向および移動方向を矢印で示しているが、当該矢印はディスプレイ20に表示されなくてよい。
視点座標と、視点マーカAのディスプレイ20上での位置座標とが略一致しているとき、プログラマブル表示器2は視点マーカAを微小に(ユーザが視点マーカAの移動を視認しない程度に)動くように表示させている(基底状態、図3の(a))。ここで、図3の(b)に示すように、ユーザの視点が動き視点座標がa1に変化した場合、プログラマブル表示器2は、視点マーカAの移動方向を視点座標a1の方向に合わせるように回転させてから、当該移動方向に視点マーカAを加速させる。
ところで、プログラマブル表示器2はアイトラッカー1から順次視点座標を受信している。したがって、プログラマブル表示器2は視点マーカAが加速して移動しているような表示を行っているとき(視点マーカAが移動中のとき)に次の視点座標を受信することがある。
この場合、プログラマブル表示器2はまず、視点マーカAの現在の移動方向と、視点マーカAから上記受信した視点座標に向かう方向との違いを確認する。詳しくは後述するが、プログラマブル表示器2は上記2方向のなす挟角に応じて上記方向の違いを判断している。上記2方向がある程度近い(挟角が小さい)場合は、プログラマブル表示器2は図3の(b)にて示したように、視点マーカAの移動方向を視点座標の方向に回転させ、そして当該移動方向に視点マーカAを加速させる。
一方、上記挟角が一定以上違っていれば、プログラマブル表示器2は視点マーカの移動の加速度を減少させることで視点マーカAを減速させ、一度基底状態に戻す。図3の(c)は、上記挟角が一定以上違う場合を示している。図示のように、視点マーカAが視点座標a1に向かって移動中のときに、移動方向と一定の挟角以上方向が異なる視点座標a2を受信したとする。この場合、プログラマブル表示器2は、移動方向(視点座標a1に向かう方向と略同方向)への移動速度を減速させて再び基底状態にする。そして、図3の(d)に示すように、視点マーカAの移動方向を視点座標a2の方向に合わせるように回転させてから、視点マーカAを加速させる。
≪要部構成≫
次に、表示システム100に含まれるプログラマブル表示器2の要部構成を、図1を用いて説明する。図1は、プログラマブル表示器2の要部構成を示すブロック図である。なお、説明の便宜上、図1にはアイトラッカー1も示している。プログラマブル表示器2は図示の通り、制御部(表示制御装置)10と、ディスプレイ20と、記憶部30とを含む。
ディスプレイ20は、制御部10(後述するマーカ表示制御部15およびアプリ表示制御部17)の表示制御に従って画像を表示するものである。なお、ディスプレイ20は図示しない入力装置と重畳されたタッチパネルディスプレイであってもよい。
記憶部30は、プログラマブル表示器2の動作に必要な各種データを格納するものである。例えば記憶部30は、プログラマブル表示器2にて起動するアプリケーションプログラム(以下、アプリと称する)のデータ(アプリプログラム31)を含んでいる。また、記憶部30は、視点マーカAのディスプレイ20上での位置座標(マーカ座標、第2座標)を記憶していてもよい。
制御部10は、プログラマブル表示器2を統括的に制御するものである。制御部10はより詳しくは、アプリ制御部16と、アプリ表示制御部17と、視点座標取得部(第1座標取得部)11と、マーカ座標取得部12と、算出部13と、座標処理部14と、マーカ表示制御部(表示制御部)15とを含んでいる。制御部10に含まれる各機能ブロックは、例えば、制御部10としてのCPU(central processing unit)が、記憶部30に記憶されている視点マーカの表示制御に係るプログラムを、不図示のRAM(random access memory)等に読み出して実行することで実現される。
アプリ制御部16およびアプリ表示制御部17は、プログラマブル表示器2にて動作させるアプリケーションに係る制御を行う。アプリ制御部16は、記憶部30からアプリプログラム31を読み出し実行することで、アプリを動作させる。また、アプリ制御部16は、後述する座標処理部14から最新のマーカ座標を受信し、当該座標の値に応じてアプリの制御を行ってもよい。アプリ表示制御部17は、アプリ制御部16の指示に従って、アプリ制御部16が動作させているアプリのUI(User Interface)等、当該アプリに係る画像をディスプレイ20に表示させる。
視点座標取得部11は、アイトラッカー1から視点座標を取得する。視点座標取得部11は特定または取得した視点座標を算出部13に送る。なお、アイトラッカー1から視点座標の算出の材料となるデータが送られてくる場合は、視点座標取得部11において当該検出データから視点座標を算出すればよい。またこの場合、視点座標のキャリブレーションも視点座標取得部11において行えばよい。
マーカ座標取得部12は、視点マーカAのディスプレイ20上での位置座標(マーカ座標)を取得する。マーカ座標は、制御部10自体に一時的に記憶されていてもよいし、記憶部30に記憶されていてもよい。マーカ座標取得部12はマーカ座標を算出部13に送る。
算出部13は、受信した視点座標およびマーカ座標と、視点マーカの現在の移動方向の単位ベクトル(第2ベクトル)とから、視点マーカの回転速度および移動速度を決定する。なお、第2ベクトルは制御部10または記憶部30に記憶しておき、算出部13が処理時に適宜読み出せばよい。算出部13は、より詳しくは、第1算出部(算出部)131と、第2算出部(回転速度決定部)132と、第3算出部(移動速度決定部)133とを含む。
第1算出部131は、視点マーカの現在位置から視点座標が示す位置へのベクトル(第1ベクトル)を算出する。また、第1算出部131は、第1ベクトルの大きさと、第1ベクトルおよび第2ベクトルのなす挟角とに基づいて、視点マーカを図3の(a)に示したような基底状態に戻すか否かを判定し、必要に応じて視点マーカの回転加速度および移動加速度を補正する処理(加速度補正処理)を行う。
第2算出部132は、第1ベクトルの向きと第2ベクトルの向きとに基づいて、視点マーカの回転速度を決定する処理(回転速度決定処理)を行う。第3算出部133は、第1ベクトルの大きさと第2ベクトルの大きさとに基づいて、回転後の第2ベクトルの方向に対する、視点マーカの移動速度を決定する処理(移動速度決定処理)を行う。算出部13は、決定した視点マーカの回転速度および移動速度を座標処理部14に送る。
座標処理部14は、視点マーカの回転速度と移動速度とから、次フレームでディスプレイ20に表示する視点マーカの位置座標(次のマーカ座標)を特定する。座標処理部14は特定した次のマーカ座標をマーカ表示制御部15に送るとともに、制御部10または記憶部30に記憶させる。また、座標処理部14は、現在のマーカ座標と次のマーカ座標とから視点マーカの移動方向を特定することにより、第2ベクトルを算出し制御部10または記憶部30に記憶させる。
マーカ表示制御部15は、ディスプレイ20の次のマーカ座標が示す位置に視点マーカを表示させる。なおこのとき、視点マーカはアプリ表示制御部17が表示させるアプリのGUI等の画像に重畳して、ディスプレイ20に表示される。
≪表示制御処理≫
続いて、制御部10が行う視点マーカの表示制御に係る処理(表示制御処理)について、図4を用いて説明する。図4は表示制御処理の流れを示すフローチャートである。
なお、図4に示す表示制御処理は、プログラマブル表示器2の起動中でアイトラッカー1の視点座標の検出および視点座標取得部11への送信が開始したときから開始される。また、当該表示制御処理の開始時、すなわち初回の処理時には、マーカ座標、第2ベクトル、視点マーカの回転速度および回転加速度、視点マーカの移動速度および移動加速度が既定の初期値に設定される。そして、2回目以降の処理時には、前回の処理時に設定したマーカ座標、第2ベクトル、視点マーカの回転速度および回転加速度、視点マーカの移動速度および移動加速度を用いて各種処理を行う。
なお、以下で説明する図4のS10〜S20の処理はアイトラッカー1の視点座標の検出間隔(アイトラッカー1のフレームレート)で行われ、S22の処理はディスプレイ20の表示更新の間隔(ディスプレイ20のフレームレート)で行われる。
視点座標取得部11がアイトラッカー1から所定の時間間隔で視点座標を取得するとともに、マーカ座標取得部12は上記時間間隔で制御部10または記憶部30からマーカ座標を読み出す(S10、第1座標取得ステップ、第2座標取得ステップ)。視点座標およびマーカ座標は算出部13へ送られる。
算出部13は第1算出部131において、視点座標およびマーカ座標から第1ベクトルを算出する(S12、算出ステップ)。さらに第1算出部131は、第1ベクトルの大きさと、第1ベクトルおよび第2ベクトルのなす挟角とに基づき加速度補正処理を行う(S14、加速度補正ステップ)。加速度補正処理が終わると、第2算出部132が第1ベクトルの向きと第2ベクトルの向きとから、視点マーカの回転速度を決定する回転速度決定処理を行う(S16、回転速度決定ステップ)。回転速度決定処理が終わると、第3算出部133が、第1ベクトルの大きさと第2ベクトルの大きさとから、視点マーカの移動速度を決定する移動速度決定処理を行う(S18、移動速度決定ステップ)。加速度補正処理、回転速度決定処理、および移動速度決定処理については後で詳述する。算出部13は第2算出部132が算出した視点マーカの回転速度と、第3算出部133が算出した移動速度とを、座標処理部14に送る。
座標処理部14は、第2算出部132が決定した回転速度で視点マーカの移動方向を回転させ、さらに上記回転後の移動方向に、第3算出部133が決定した移動速度で座標を移動させた座標を、次のマーカ座標に決定する(S20)。座標処理部14は決定した次のマーカ座標を制御部10または記憶部30に記憶させるとともにマーカ表示制御部15に送り、マーカ表示制御部15はディスプレイ20の表示更新のタイミングで、受信した次のマーカ座標に応じた位置に視点マーカを表示させる(S22、表示制御ステップ)。
次に、加速度補正処理(S14)、回転速度決定処理(S16)、および移動速度決定処理(S18)について、図5〜図8を用いて詳細に説明する。図5は、視点座標a1、マーカ座標b1、第1ベクトルα、第2ベクトルβ、および第1ベクトルと第2ベクトルとのなす挟角θを、視覚的に示した模式図である。図6〜図8はそれぞれ、加速度補正処理、回転速度決定処理、および移動速度決定処理の流れを示すフローチャートである。以降、図6〜図8では、図5にて示された符号を用いて処理の説明を行う。
≪加速度補正処理≫
図5に示すように視点座標a1、マーカ座標b1、および第2ベクトルβが与えられた場合、まず第1算出部131において視点座標a1とマーカ座標b1とから第1ベクトルαが算出され、その後加速度補正処理が行われる。図6は加速度補正処理の流れを示すフローチャートである。第1算出部131は算出した第1ベクトルαの絶対値が0であるか否かを判定する。換言すると、第1算出部131は、視点座標とマーカ座標が一致しているか否かを判定する(S141)。図5に示すように、第1ベクトルαの大きさが0でない場合(S141でNO)、第1算出部131は第1ベクトルαの向きおよび大きさを、以降の処理にそのまま使用する。
一方、第1ベクトルαの大きさが0である場合(S141でYES)、第1算出部131は、第1ベクトルαを規定の向きおよび大きさのベクトルとする(S142)。なお、この場合の第1ベクトルαの向きは特に限定されないが、大きさは設定可能な値の最小値であることが望ましい。これは、第1ベクトルの大きさが、後述する移動速度決定処理において移動速度、すなわち単位時間あたりの移動距離に関わってくるためである。第1ベクトルαの大きさが0、すなわち視点座標がマーカ座標と一致している場合に第1ベクトルαの大きさを最小値とすることにより、上記移動距離が最小限に抑えられる。これにより、視点マーカは図3の(a)に示したように、微小に移動する基底状態となる。
このように第1ベクトルαを必要に応じて補正した後、第1算出部131は、第1ベクトルαと第2ベクトルβとの挟角θが所定の角度より大きいか否かを判定する(S143)。
当該判定は、例えば第1ベクトルαと第2ベクトルβとの内積によって判断できる。θが所定の角度より大きい場合(S143でYES)、すなわち、第1ベクトルαと第2ベクトルβとに共通する方向成分が一定以下である場合、第1算出部131は、マーカの回転加速度および移動加速度を最小値に設定する(S144)。回転加速度および移動加速度の最大値および最小値は基底状態に移行できる程度の値に適宜定められればよい。また、上記最小値はそれぞれ、マイナスの値であってもよい。一方、θが所定の角度以下の場合(S143でNO)、第1算出部131はS144の処理を行わない。
なお、所定の角度の値は適宜定められてよい。例えば、所定の角度を90°と定めることにより、良好な追従性を有する視点マーカAを実現することができ、ユーザに良好な操作感を与えることができる。ここで、挟角θが90°より大きい場合とは、第1ベクトルαと第2ベクトルβとは同じ方向成分を持たないことを意味する。つまり、挟角θが90°より大きい場合、視点マーカAが移動方向に移動すると、視点マーカAが視点座標a1から遠ざかる方向に動くこととなる。挟角θが90°より大きい場合に、マーカの回転加速度および移動加速度を最小値に設定する(S144)ことで、視点マーカAが視点座標a1から遠ざかる方向へ移動することを抑制して基底状態に移行することができる。このように、視点マーカAが視点座標a1から遠ざかる方向へ移動する場合に視点マーカAの回転速度および移動速度を低下させることで、良好な追従性を実現することができる。
≪回転速度決定処理≫
次に、算出部13は第2算出部132において、回転速度算出処理を行う。図7は、回転速度算出処理の流れを示すフローチャートである。第2算出部132は、視点マーカの回転速度を、定められた回転加速度の値だけ増減させる(S161)。ここで、「定められた回転加速度」とは、回転加速度の初期値か、図6のS144にて設定された回転加速度か、もしくは前回(前フレーム)の回転速度算出処理で算出された回転加速度である。
第2算出部132はさらに、上記回転加速度を増減することで、単位時間(ディスプレイ20の1フレーム)当たりの回転角度がθを超えるか否かを判定する(S162)。回転角度がθを超える場合(S162でYES)、すなわち視点マーカの移動方向の回転角度が、回転させるべき角度を超えてしまった場合、第2算出部132は回転速度、すなわち単位時間当たりの回転角度をθに設定する(S163)。さらに第2算出部132は回転加速度を最小値に設定する(S164)。これにより、次フレームの回転速度決定処理における回転加速度は最小値となる。
一方、回転角度がθを超えない場合(S162でNO)、すなわち視点マーカの移動方向の回転角度が足りない場合、第2算出部132は視点マーカの回転加速度を規定値だけ増加させる(S166)。なおこの場合、S163〜S165の処理は行わない。
以上の処理により、視点マーカの回転速度が決定される。また、次フレームでの回転速度決定処理に利用する回転加速度も設定される。さらに、第2算出部132は、視線マーカの移動加速度を増加させる(S165)。
以上の処理によると、第2算出部132は視点マーカの回転速度に回転加速度の値を増減算することで、適切な回転速度、すなわち単位時間当たりの回転角度を決定する。さらに、複数フレームでの表示制御処理(複数回の回転速度決定処理)で言えば、マーカ座標と視点座標とのなす挟角θが所定の角度以下の場合、図6のS144での回転加速度の最小値の設定が行われず、S161で回転加速度が加算され続けることになる。したがって、挟角θが所定の角度以下の範囲で大きくなるほど、視点マーカの回転速度は速い速度に決定される。
≪移動速度決定処理≫
さらに、算出部13は第3算出部133において、移動速度算出処理を行う。図7は、移動速度算出処理の流れを示すフローチャートである。第3算出部はまず始めに、定められた移動加速度を加えた後の、視点マーカの単位時間当たりの移動速度が第1ベクトルαの絶対値に到達するか否かを判定する(S181)。ここで、「定められた移動加速度」とは、移動加速度の初期値か、図6のS144にて設定された移動加速度か、もしくは前回(前フレーム)の回転速度算出処理のS165にて増加させられた後の移動加速度である。
移動速度が第1ベクトルαの絶対値に到達しない場合(S181でNO)、第3算出部133は視点マーカの移動速度に、移動加速度の値をさらに加算する(S182)。一方、移動速度が第1ベクトルαの絶対値に到達する場合(S181でYES)、第3算出部133はS182に示す移動加速度の加算を行わず、処理を終了する。
以上の処理によると、第3算出部133はマーカ座標と視点座標との距離が第1ベクトルの大きさに及ばない場合、上記移動速度を速くする。したがって、複数フレームでの表示制御処理(複数回の移動速度決定処理)で言えば、マーカ座標と視点座標との距離が長いほど、視点マーカの移動速度は速くなる。
このように、図4および図6〜図8の一連の処理によれば、マーカ座標から視点座標へのベクトルに応じて回転速度および移動速度、すなわち単位時間(ディスプレイ20の1フレーム期間)当たりの視点マーカの回転角度および移動距離が決定される。換言すると、視点座標が取得されるごとに、視点マーカの回転角度と移動距離が算出され、視点マーカが移動される。したがって、例えば加重移動平均法など、複数の視点座標の平均値から視点マーカの表示位置を決定する場合に比べ、視点座標の検出から視点マーカの表示までのタイムラグが生じない。したがって、視点マーカを高い追従性で表示させることができる。
ところで、従来技術においては視点マーカの追従性が低かったため、ユーザが操作性に違和感を抱くことや、視点マーカを目線で追いかけることで視点マーカがユーザの指定したかった点から離れていく(目線が逃げる)という現象が生じることがあった。
これらの問題を防ぐためには、視点マーカをユーザに注視させない、または注視しても問題ない表示様式にする必要がある。具体的には、従来技術では、点や十字線などごく小さい視認性の低いマーカを視点マーカとして表示する、視点マーカをスポットライトマーカとしてぼんやりと示す、視点マーカに注視点を追従させずに静的に表示する等の方法で視点マーカを表示していた。換言すると、従来技術では、視点マーカの大きさ、形状、および表示様式が制限されており、視認性のよいマーカやポインタを視点マーカとして表示することができなかった。
これに対し、上記の方法によれば、高い追従性を持った視点マーカを表示させることができるため、上述した視点マーカの大きさ、形状、および表示様式の制限が不要である。そのため、ユーザに操作性の違和感や不快感を抱かせることや、上述した目線が逃げる現象を起こさずに、視認性の高い視点マーカを表示できるという利点も生じる。
〔実施形態2〕
本発明の一態様に係る表示システム100のアイトラッカー1は、視点座標とともに、ユーザの左右の目の開閉状態を特定し、視点座標取得部11はアイトラッカー1から上記視点座標とともに上記開閉状態を示す情報を取得してもよい(開閉状態取得ステップ)。この場合、視点座標取得部11は取得した上記開閉状態を示す情報をマーカ表示制御部15に送信し、マーカ表示制御部15は左右の目の上記開閉状態を視点マーカに重畳して表示させてもよい。以下、本発明の第2の実施形態について、図9〜10に基づいて説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
図9の(a)〜(c)は、本実施形態においてマーカ表示制御部15が表示させる視点マーカAの一例を示している。図示の通り、視点マーカAには、ユーザの左右の目に対応する開眼状態インジケータA1およびA2が重畳して表示される。図9の(a)はユーザの両目が開状態の場合を、図9の(b)はユーザの右目のみ開状態の場合を、図9の(c)はユーザの両目が閉状態の場合を示している。このように、視点マーカAとともに目の開閉状態を表示することにより、例えば画面の端に開眼状態インジケータを表示する場合に比べ、余計な視点移動を伴うことなく、アイトラッカー1の視線検出の健全性をリアルタイムに把握することができる。
さらに、本実施形態に係る視点座標取得部11は、ユーザの左右少なくとも一方の目、または両目の開状態を示す情報を取得した場合に、当該情報とともに取得した視点座標を有効とし、算出部13に送って以降の処理を行わせてもよい。図10の(a)および(b)は、ディスプレイ20に表示されたアイコンB1を、視線マーカによって選択させる例を示したものである。図10の例では、ユーザが両目でアイコン(B1およびB2)を注視した場合にのみ、アイコンが選択できる。
これにより、ユーザが両目または片目を閉じている状態の視点座標など、誤検出またはユーザが確実に注視しているとは言えない視点検出結果については無視することができる。したがって、視点マーカAの追従性を向上させることができる。また、図10に示したように視点マーカAをポインタとして利用する場合、すなわちマーカ座標をプログラマブル表示器2のアプリの制御に用いる場合、視点による操作の信頼性を向上させることができる。
〔実施形態3〕
上記各実施形態に係るプログラマブル表示器2のアプリ制御部16は、視点座標取得部11から視点座標を受信し、視点座標がディスプレイ20の表示面上の所定の範囲内(所定の座標領域内)であった回数(フレーム数)を測定してもよい(測定ステップ)。または、アプリ制御部16は、座標処理部14からマーカ座標を受信し、マーカ座標がディスプレイ20の表示面上の所定の範囲内(所定の座標領域内)であったフレーム数を測定してもよい。
例えば、アプリ制御部16は視点座標またはマーカ座標が、上記所定の座標領域に含まれるか否かを判定し、含まれる場合はフレーム数をカウントし、含まれない場合は上記カウントしているフレーム数を0に戻しても良い。これにより、ユーザが所定の領域を見つめている時間(フレーム数)を測定することができる。
さらに、アプリ制御部16はアプリの制御に上記マーカ座標と上記測定結果とを利用してもよい。図11は、アプリ制御部16の制御に従いアプリ表示制御部17がディスプレイ20に表示させているアプリ画像と、視点マーカAとを示す図である。
アプリ制御部16は、例えば図11の(a)に示すように、アプリ画像として注意事項Cを表示させているときに、視点座標またはマーカ座標が注意事項Cの領域内で所定のフレーム数連続して測定された場合(すなわち、視点マーカAが注意事項Cの領域内に所定のフレーム数連続して表示されているとき)は、注意事項Cの下部にある操作ボタンD1〜D3を選択可能としてもよい。またアプリ制御部16は、図11の(b)に示すように、視点座標またはマーカ座標がアプリ画像の所定の領域Dにおいて測定されている期間だけ、かつ領域Dに含まれるボタンD2のみ選択可能としてもよい。
なお、上述したボタンD1〜D3の選択は視点マーカで実行可能でもよいし、ディスプレイ20に重畳されて形成されたタッチパネルや、キーボードやマウス等、プログラマブル表示器2に接続されたその他の入力装置によって行われても良い。
〔変形例〕
なお、上記各実施形態に係るプログラマブル表示器2は、アイトラッカー1による視線検出以外の方法で連続的に指定される位置座標(上記各実施形態に係る視点座標)を受信し、当該位置座標を追従するようにマーカ(上記各実施形態に係る視点マーカA)を表示させてもよい。具体的には、表示システム100にアイトラッカー1の代わりにジェスチャや手の平の動きを認識する装置を備え、プログラマブル表示器2の視点座標取得部11はユーザの手指の動きで示される位置座標を取得してもよい。この場合のマーカの表示制御方法は、上述した各実施形態に係る表示制御方法と同様である。これにより、ユーザに習得が容易かつ快適な操作方法でのインタフェースを提供することができる。
また、上記各実施形態に係るプログラマブル表示器2は、ディスプレイ20の表示面において連続的に指定される位置座標を追従するオブジェクトを表示させることができれば、プログラマブル表示器以外の電子機器であってもよい。例えば、プログラマブル表示器2は、ノートPCやタブレットPC等の汎用コンピュータであってもよい。
〔ソフトウェアによる実現例〕
制御部10の制御ブロック(特に視点座標取得部11、マーカ座標取得部12、算出部13、座標処理部14、およびマーカ表示制御部15)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、制御部10は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 アイトラッカー
2 プログラマブル表示器
10 制御部(表示制御装置)
11 視点座標取得部(第1座標取得部)
12 マーカ座標取得部(第2座標取得部)
13 算出部
131 第1算出部(算出部)
132 第2算出部(回転速度決定部)
133 第3算出部(移動速度決定部)
14 座標処理部
15 マーカ表示制御部(表示制御部)
16 アプリ制御部
17 アプリ表示制御部
20 ディスプレイ(表示部)
30 記憶部
31 アプリプログラム

Claims (7)

  1. 表示部の表示面において連続的に指定される位置座標を追従するオブジェクトの表示制御方法であって、
    指定された上記位置座標を第1座標として取得する第1座標取得ステップと、
    上記オブジェクトの上記表示面における座標を第2座標として取得する第2座標取得ステップと、
    上記第2座標から上記第1座標へ向かうベクトルを算出する算出ステップと、
    上記オブジェクトの移動方向を回転させる回転速度を、上記ベクトルの方向に応じて決定する回転速度決定ステップと、
    上記オブジェクトの回転後の移動方向への移動速度を、上記ベクトルの大きさで表される距離に応じて決定する移動速度決定ステップと、
    上記回転後の移動方向へ上記移動速度で移動した後の第2座標の位置に上記オブジェクトを表示させる表示制御ステップと、を含む表示制御方法。
  2. 上記移動速度決定ステップでは、上記第2座標と上記第1座標との距離が長いほど上記移動速度を速い速度に決定する、請求項1に記載の表示制御方法。
  3. 上記回転速度決定ステップでは、上記オブジェクトの移動方向と上記ベクトルとのなす挟角が所定の角度よりも大きい場合、上記回転速度を減少させ、
    上記移動速度決定ステップでは、上記挟角が上記所定の角度よりも大きい場合、上記移動速度を減少させる、請求項1または2に記載の表示制御方法。
  4. 上記回転速度決定ステップでは、上記オブジェクトの移動方向と、上記ベクトルとのなす挟角が所定の角度以下の範囲で大きくなるほど上記回転速度を速い速度に決定する、請求項1〜3のいずれか1項に記載の表示制御方法。
  5. 指定される上記位置座標は、上記表示部の上記表示面を見る人物の、上記表示面に対する視点の位置座標であって、
    上記表示制御方法は、
    上記人物の左右の目の開閉状態を示す情報を取得する開閉状態取得ステップを含み、
    上記表示制御ステップにて、上記開閉状態を上記オブジェクトに重畳して表示させる、請求項1〜4のいずれか1項に記載の表示制御方法。
  6. 上記開閉状態取得ステップにて、上記人物の左右少なくとも一方の目の開状態を示す情報を取得した場合に、上記第1座標取得ステップにて取得した第1座標を有効とし、上記算出ステップ、上記回転速度決定ステップ、上記移動速度決定ステップ、および上記表示制御ステップを実行する、請求項5に記載の表示制御方法。
  7. 上記開閉状態取得ステップにて上記人物の左右少なくとも一方の目の開状態を示す情報を取得し、かつ、上記第1座標取得ステップにて取得した上記第1座標が所定の範囲内であった回数を測定する測定ステップを含む、請求項5または6に記載の表示制御方法。
JP2016142660A 2016-07-20 2016-07-20 表示制御方法 Active JP6691847B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016142660A JP6691847B2 (ja) 2016-07-20 2016-07-20 表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016142660A JP6691847B2 (ja) 2016-07-20 2016-07-20 表示制御方法

Publications (2)

Publication Number Publication Date
JP2018013926A JP2018013926A (ja) 2018-01-25
JP6691847B2 true JP6691847B2 (ja) 2020-05-13

Family

ID=61020666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016142660A Active JP6691847B2 (ja) 2016-07-20 2016-07-20 表示制御方法

Country Status (1)

Country Link
JP (1) JP6691847B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110575669B (zh) * 2019-09-05 2023-04-04 深圳市瑞立视多媒体科技有限公司 追击效果展示方法、装置、计算机设备及存储介质
CN113901535A (zh) * 2021-10-12 2022-01-07 广联达科技股份有限公司 标记标签的吸附方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040018A (ja) * 1996-04-24 1998-02-13 Sharp Corp マウスカーソルの制御装置及びマウスカーソルの制御プログラムを記録した記録媒体
JP2003131774A (ja) * 2001-10-22 2003-05-09 Fukuoka Institute Of Technology ディスプレー上におけるダイナミックインタラクションの方法
US8717292B2 (en) * 2007-08-07 2014-05-06 Osaka Electro-Communication University Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置

Also Published As

Publication number Publication date
JP2018013926A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US10664950B2 (en) Information processing method and system for executing the information processing method
KR102408359B1 (ko) 전자 장치 및 전자 장치의 제어 방법
US10514842B2 (en) Input techniques for virtual reality headset devices with front touch screens
JP6057396B2 (ja) 3次元ユーザインタフェース装置及び3次元操作処理方法
US10456072B2 (en) Image interpretation support apparatus and method
US20140184494A1 (en) User Centric Interface for Interaction with Visual Display that Recognizes User Intentions
EP2980677B1 (en) Wearable device and method of operating the same
EP2840478B1 (en) Method and apparatus for providing user interface for medical diagnostic apparatus
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
CN111226188B (zh) 使用追踪矢量的眼睛凝视跟踪校正
CN107111355B (zh) 用于校准眼睛跟踪系统的方法和系统
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
US20160162176A1 (en) Method, Device, System and Non-transitory Computer-readable Recording Medium for Providing User Interface
JP6716028B2 (ja) 制御装置、情報処理システム、制御方法、及びプログラム
WO2017206777A1 (en) Wearable device and control method, and smart control system
JP6691847B2 (ja) 表示制御方法
US10620719B2 (en) Information processing device and information processing method
JP2020151359A5 (ja)
EP4345584A1 (en) Control device, control method, and program
JP6418585B2 (ja) ウェアラブルデバイス、及びウェアラブルデバイスの動作方法
CN115803786A (zh) 信息处理装置、信息处理方法和程序
JP2016018252A (ja) 情報処理装置及び情報処理方法及びプログラム
TWI806387B (zh) 用於偵測環控制器的運動的方法、環控制器及電腦可讀存儲介質
US20230099167A1 (en) Display user interface method and system

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200413

R150 Certificate of patent or registration of utility model

Ref document number: 6691847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250