JP6904215B2 - 操作支援方法、操作支援プログラム及び頭部装着型表示装置 - Google Patents

Description

本発明は、装置の操作を支援する技術に関する。

スマートフォンやタブレット端末等のスマートデバイスが普及している。現状において普及しているスマートデバイスの多くはユーザが手で操作することを前提としているが、ユーザが常に手でスマートデバイスを操作できる状態にあるとは限らない。例えば、自動車の運転中や両手に荷物を持っているとき等には、ユーザはスマートデバイスを操作することはできない。

ユーザが手を使用しなくても操作可能な装置としてＨＭＤ（Head Mounted Display）装置（単にＨＭＤとも呼ばれる）がある。例えば、或る特許文献に開示の技術においては、ユーザの眼球運動および脳波が計測され、計測された眼球運動および脳波に基づきＨＭＤ装置の動作が決定される。

ところで、ユーザが手でスマートデバイスを操作できない状況は様々であり、ユーザが通常の精神状態ではないような状況も考えられる。例えば建設現場の作業員がＨＭＤ装置を装着して操作を行う場合には、高所において、足場が不安定な状態で緊張しながら操作を行うことになる。このような状態のユーザであっても難なく操作を行うことができる仕組みがＨＭＤ装置に備えられていることが好ましいが、上記特許文献に開示の技術は必ずしも十分であるとはいえない。

国際公開第２００９／０９３４３５号

本発明の目的は、１つの側面では、ＨＭＤ装置に対して視線の移動により行う操作を支援するための技術を提供することである。

一態様に係る操作支援方法は、ユーザの右目上方の部位に当接する第１電極で測定された電位と、ユーザの左目上方の部位に当接する第２電極で測定された電位と、ユーザの鼻根に当接する第３電極で測定された電位とを取得し、第１電極で測定された電位と第３電極で測定された電位との差である第１電位差と、第２電極で測定された電位と第３電極で測定された電位との差である第２電位差と、第１電極で測定された電位と第２電極で測定された電位との差である第３電位差とを算出し、第１電位差と第２電位差とに基づき、ユーザの視線方向を特定し、第３電位差に基づき、ユーザの脳波の状態を特定し、特定された視線方向の切替回数と、特定された脳波の状態とに基づき、ユーザが視線の移動により行う操作についての設定を切り替える処理を含む。

１つの側面では、ＨＭＤ装置に対して視線の移動により行う操作を支援できるようになる。

図１は、本実施の形態のＨＭＤ装置を斜め前方から見た場合の外観を示す図である。 図２は、本実施の形態のＨＭＤ装置を正面前方から見た場合の外観を示す図である。 図３は、本実施の形態のＨＭＤ装置をユーザ側から見た場合の外観を示す図である。 図４は、電極が配置される位置を示す図である。 図５は、制御部と表示部及び電極との接続関係を示す図である。 図６は、第１の実施の形態における制御部の機能ブロック図である。 図７は、電極から電位の情報を取得する処理の処理フローを示す図である。 図８は、第１の実施の形態における切替処理の処理フローを示す図である。 図９は、第１の実施の形態における計数処理の処理フローを示す図である。 図１０は、電位差の時間変化について説明するための図である。 図１１は、電位差と視線方向との関係を示す図である。 図１２は、管理データ格納部に格納されるデータの一例を示す図である。 図１３は、第１の実施の形態における脳波特定処理の処理フローを示す図である。 図１４は、電位差についての周波数分布を示す図である。 図１５は、各モードと視線方向の切替回数及びベータ波の割合との関係を示す図である。 図１６は、フィッティング範囲について説明するための図である。 図１７は、フィッティング範囲について説明するための図である。 図１８は、フィッティング範囲について説明するための図である。 図１９は、表示部上のカーソルを制御する処理の処理フローを示す図である。 図２０は、方向特定処理の処理フローを示す図である。 図２１は、ユーザが意思決定の操作をした場合に実行する処理の処理フローを示す図である。 図２２は、複数のコンテンツの中からコンテンツを選択するための表示の一例である。 図２３は、複数のコンテンツの中からコンテンツを選択するための表示の一例である。 図２４は、選択されたコンテンツに対する操作を行うための表示の一例を示す図である。 図２５は、複数のコンテンツの中からコンテンツを選択するための表示の一例である。 図２６は、複数のコンテンツの中からコンテンツを選択するための表示の一例である。 図２７は、第２の実施の形態における切替処理の処理フローを示す図である。 図２８は、第２の実施の形態における計数処理の処理フローを示す図である。 図２９は、瞬きの回数の計数方法について説明するための図である。 図３０は、管理データ格納部に格納されるデータの一例を示す図である。 図３１は、第３の実施の形態における制御部の機能ブロック図である。 図３２は、ユーザからの変更指示があった場合にモード生成部が実行する処理の処理フローを示す図である。 図３３は、設定情報格納部に格納されるデータの一例を示す図である。 図３４は、各モードの設定を生成する処理の処理フローを示す図である。 図３５は、各モードと視線方向の切替回数及びベータ波の割合との関係を示す図である。

［実施の形態１］
図１は、本実施の形態のＨＭＤ装置１００を斜め前方から見た場合の外観を示す図である。ゴーグル型の形状を有するフレーム１１０には、レンズ１１１が取り付けられており、さらにレンズ１１１が取り付けられている側の反対側にはパッド１１３が取り付けられている。パッド１１３は、ＨＭＤ装置１００がユーザに装着された状態においてユーザの顔に押し当てられる。パッド１１３の素材は、例えばスポンジのような弾力性を有する素材である。また、フレーム１１０にはベルト１１２が取り付けられている。ベルト１１２の素材は伸縮可能な素材（例えばゴム）であり、ユーザはベルト１１２を使用してＨＭＤ装置１００を頭部に装着する。

図２は、ＨＭＤ装置１００を正面前方から見た場合の外観を示す図である。図２に示すように、レンズ１１１は左右対称の形状を有する。なお、図２乃至図４においては、直交座標系の一例であるＸＹＺ座標系を図示のように定義する。Ｘ軸は、ＨＭＤ装置１００を装着したユーザにとって左右方向の軸である。Ｘ軸の正方向は、ユーザにとっての右方向である。Ｙ軸は、ＨＭＤ装置１００を装着したユーザにとって上下方向の軸である。Ｙ軸の正方向は、ユーザにとっての下方向である。Ｚ軸は、ＨＭＤ装置１００を装着したユーザにとって前後方向の軸である。Ｚ軸の正方向は、ユーザにとって後ろから前に向かう方向である。

図３は、ＨＭＤ装置１００をユーザ側（すなわち正面前方の反対側）から見た場合の外観を示す図である。パッド１１３はフレーム１１０に取り付けられている。パッド１１３には電極ＥＲ、電極ＥＬ及び電極ＥＭが取り付けられている。また、フレーム１１０には制御部１５０及びバッテリ１７０が埋め込まれている。レンズ１１１には表示部１２０Ｒ及び１２０Ｌが取り付けられている。

なお、本実施の形態のＨＭＤ装置１００は透過型のＨＭＤ装置であるので、ユーザは表示部１２０Ｒ及び１２０Ｌ上の画像を見るとともに、レンズ１１１越しに外部の光景を見ることができる。表示部１２０Ｌ及び１２０Ｒは、例えばＬＣＤ(Liquid Crystal Display)である。本実施の形態においては、表示部１２０Ｒに表示されるコンテンツと表示部１２０Ｌに表示されるコンテンツとは同じであるが、異なっていてもよい。バッテリ１７０は充電可能な二次電池であり、例えばリチウムイオン電池である。バッテリ１７０は表示部１２０Ｌ、表示部１２０Ｒ及び制御部１５０に電力を供給する。

図４は、電極が配置される位置を示す図である。破線はレンズ１１１の形状を表す。図４に示すように、電極ＥＲはユーザの右目上方の位置に配置され、電極ＥＬはユーザの左目上方の位置に配置され、電極ＥＭはユーザの鼻根の位置に配置される。電極ＥＲ、電極ＥＬ及び電極ＥＭはユーザの皮膚に当接する。電極ＥＲはユーザの右目上方の部位の電位（眼電位とも呼ばれる）を検出し、電極ＥＬはユーザの左目上方の部位の電位を検出し、電極ＥＭは鼻根における電位を検出する。

図５は、制御部１５０と表示部及び電極との接続関係を示す図である。制御部１５０は、表示部１２０Ｒ、表示部１２０Ｌ、電極ＥＲ、電極ＥＭ及び電極ＥＬに接続される。制御部１５０は、例えばＭＰＵ（Micro Processing Unit）であるプロセッサ１５１と、例えばフラッシュメモリであるメモリ１５２とを有する。制御部１５０は、表示部１２０Ｒ及び１２０Ｌに画像を表示させる。制御部１５０は、電極ＥＲ、電極ＥＭ及び電極ＥＬで測定された電位の情報を取得する。

図６は、第１の実施の形態における制御部１５０の機能ブロック図である。制御部１５０は、電位取得部１５０１、方向特定部１５０２、脳波特定部１５０３、モード切替部１５０４、表示制御部１５０５、確定処理実行部１５０６、電位データ格納部１５１１、管理データ格納部１５１２及びモード設定格納部１５１３を含む。電位取得部１５０１、方向特定部１５０２、脳波特定部１５０３、モード切替部１５０４、表示制御部１５０５及び確定処理実行部１５０６は、本実施の形態の処理を実行するためのプログラムがプロセッサ１５１に実行されることで実現される。本実施の形態の処理を実行するためのプログラムは、例えばメモリ１５２に格納される。電位データ格納部１５１１、管理データ格納部１５１２及びモード設定格納部１５１３は、例えばメモリ１５２に含まれる。

電位取得部１５０１は、電極ＥＲ、電極ＥＭ及び電極ＥＬで測定された電位の情報を取得し、取得された情報を電位データ格納部１５１１に格納する。方向特定部１５０２は、電位データ格納部１５１１に格納されたデータに基づき処理を実行し、処理結果をモード切替部１５０４及び表示制御部１５０５に通知する。なお、方向特定部１５０２による処理の途中のデータは管理データ格納部１５１２に格納される。脳波特定部１５０３は、電位データ格納部１５１１に格納されたデータに基づき処理を実行し、処理結果をモード切替部１５０４及び確定処理実行部１５０６に通知する。モード切替部１５０４は、方向特定部１５０２から受け取った処理結果、脳波特定部１５０３から受け取った処理結果、及びモード設定格納部１５１３に格納されているデータに基づき処理を実行し、処理結果を表示制御部１５０５に通知する。表示制御部１５０５は、モード切替部１５０４から受け取った処理結果に基づき表示部１２０Ｒ及び１２０Ｌの表示を制御する。確定処理実行部１５０６は、脳波特定部１５０３から受け取った処理結果に基づき処理を実行する。

次に、制御部１５０が実行する処理の詳細を説明する。

図７は、電極ＥＲ、電極ＥＬ及び電極ＥＭから電位の情報を取得する処理の処理フローを示す図である。

電位取得部１５０１は、電極ＥＲで測定された電位の情報、電極ＥＬで測定された電位の情報及び電極ＥＭで測定された電位の情報を、電極ＥＲ、電極ＥＬ及び電極ＥＭから取得する（図７：ステップＳ１）。

電位取得部１５０１は、ステップＳ１において取得された情報を電位データ格納部１５１１に格納する（ステップＳ３）。

電位取得部１５０１は、処理の終了指示（例えば、制御部１５０の停止指示）が有ったか判定する（ステップＳ５）。処理の終了指示が無い場合（ステップＳ５：Ｎｏルート）には処理はステップＳ１に戻り、処理の終了指示が有る場合（ステップＳ５：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、電位の情報を後の処理に利用できるようになる。

図８は、ユーザが視線を動かすことで行う操作についての設定を切り替える処理（以下、切替処理と呼ぶ）の処理フローを示す図である。

モード切替部１５０４は、方向特定部１５０２を呼び出す。これに応じ、方向特定部１５０２は、電位データ格納部１５１１に格納されているデータに基づき、視線方向の切替回数を計数する処理である計数処理を実行する（図８：ステップＳ１１）。

図９は、第１の実施の形態における計数処理の処理フローを示す図である。

方向特定部１５０２は、電位データ格納部１５１１に格納されているデータを読み出す。そして、方向特定部１５０２は、直近の所定期間について、電極ＥＲで測定された電位と電極ＥＭで測定された電位との差である電位差ＤＲを算出する（図９：ステップＳ３１）。電位差ＤＲは、例えば、（電極ＥＲで測定された電位）−（電極ＥＭで測定された電位）である。

方向特定部１５０２は、直近の所定期間について、電極ＥＬで測定された電位と電極ＥＭで測定された電位との差である電位差ＤＬを算出する（ステップＳ３３）。電位差ＤＬは、例えば、（電極ＥＬで測定された電位）−（電極ＥＭで測定された電位）である。

方向特定部１５０２は、直近の所定期間について、電位差ＤＲの符号と電位差ＤＬの符号とに基づき視線方向を特定する（ステップＳ３５）。方向特定部１５０２は、ステップＳ３５の処理結果を管理データ格納部１５１２に格納する。

図１０は、電位差ＤＲ及びＤＬの時間変化について説明するための図である。

ユーザが正面を向いた状態から、両目の視線を右に移動させ、再び正面に移動させると、電位差ＤＲは図１０（ａ）に示すように変化し、電位差ＤＬは図１０（ｂ）に示すように変化する。電位差ＤＲは、ユーザが正面を向いた状態では約０ｍＶ（ミリボルト）であるが、視線方向が右になると値は正になる。そして、視線方向が再び正面に戻ると、電位差ＤＲは約０ｍＶに戻る。また、電位差ＤＬは、ユーザが正面を向いた状態では約０ｍＶであるが、視線方向が右になると値は負になり 、視線方向が再び正面に戻ると、電位差ＤＬは約０ｍＶに戻る。すなわち、電位差ＤＬは電位差ＤＲとは逆のパターンで変化する。

ユーザが正面を向いた状態から、両目の視線を左に移動させ、再び正面に移動させると、電位差ＤＲは図１０（ｂ）に示すように変化し、電位差ＤＬは図１０（ａ）に示すように変化する。

ユーザが正面を向いた状態から、両目の視線を上に移動させ、再び正面に移動させると、電位差ＤＲ及びＤＬは図１０（ａ）に示すように変化する。

ユーザが正面を向いた状態から、両目の視線を下に移動させ、再び正面に移動させると、電位差ＤＲ及びＤＬは図１０（ｂ）に示すように変化する。

以上述べた関係を図１１に示す。図１１は、電位差ＤＲ及び電位差ＤＬと視線方向との関係を示す図である。視線方向が右に変化するときには電位差ＤＲの値は正になり且つ電位差ＤＬの値は負になる。視線方向が左に変化するときには電位差ＤＲの値は負になり且つ電位差ＤＬの値は正になる。視線方向が上に変化するときには電位差ＤＲの値は正になり且つ電位差ＤＬの値は正になる。視線方向が下に変化するときには電位差ＤＲの値は負になり且つ電位差ＤＬの値は負になる。

但し、本実施の形態においては、電位差の絶対値が閾値（ここでは閾値ｔ₁とする。例えば０．２ｍＶ）を超えたか否かにより視線方向の変化が発生した（すなわち視線方向が切り替わった）か否かが判定される。具体的には、電位差ＤＲが＋ｔ₁以上であり且つ電位差ＤＬが−ｔ₁以下である場合には視線方向が右に変化したと判定される。電位差ＤＲが−ｔ₁以下であり且つ電位差ＤＬが＋ｔ₁以上である場合には視線方向が左に変化したと判定され、電位差ＤＲが＋ｔ₁以上であり且つ電位差ＤＬが＋ｔ₁以上である場合には視線方向が上に変化したと判定される。電位差ＤＲが−ｔ₁以下であり且つ電位差ＤＬが−ｔ₁以下である場合には視線方向が下に変化したと判定される。

方向特定部１５０２は、直近の所定期間について、視線方向の切替回数を計数する（ステップＳ３７）。方向特定部１５０２は、ステップＳ３７の処理結果を管理データ格納部１５１２に格納する。そして処理は呼び出し元に戻る。

図１２は、管理データ格納部１５１２に格納されるデータの一例を示す図である。図１２の例では、視線方向の変化が検出された時刻と、電位差ＤＲの符号と、電位差ＤＬの符号と、視線方向と、切替回数とについての情報が格納される。

以上のような処理を実行すれば、ユーザの状態を推定することに役立つ、視線方向の切替回数の情報を用意することができるようになる。

図８の説明に戻り、モード切替部１５０４は、脳波特定部１５０３を呼び出す。これに応じ、脳波特定部１５０３は、電位データ格納部１５１１に格納されているデータに基づき、脳波の状態を特定する処理である脳波特定処理を実行する（ステップＳ１３）。

図１３は、第１の実施の形態における脳波特定処理の処理フローを示す図である。

脳波特定部１５０３は、電位データ格納部１５１１に格納されているデータを読み出す。そして、脳波特定部１５０３は、直近の所定期間について、電極ＥＲで測定された電位と電極ＥＬで測定された電位との差である電位差ＤＭを算出する（図１３：ステップＳ４１）。なお、ステップＳ４１における所定期間は、計数処理における所定期間と異なっていてもよい。

脳波特定部１５０３は、ステップＳ４１において算出された電位差ＤＭに対するフーリエ変換（より具体的には高速フーリエ変換）により周波数分布を生成する（ステップＳ４３）。

図１４は、電位差ＤＭの周波数分布を示す図である。図１４において、横軸は周波数（Ｈｚ）を表し、縦軸は強度を表す。本実施の形態においては、シータ波は４Ｈｚから７Ｈｚの帯域に含まれるとし、アルファ波は８Ｈｚから１３Ｈｚの帯域に含まれるとし、ベータ波は１４Ｈｚから３０Ｈｚの帯域に含まれるとする。

脳波特定部１５０３は、ステップＳ４３において生成された周波数分布に基づき、脳波に含まれるアルファ波の割合を算出する（ステップＳ４５）。

脳波特定部１５０３は、ステップＳ４３において生成された周波数分布に基づき、脳波に含まれるベータ波の割合を算出する（ステップＳ４７）。

脳波特定部１５０３は、ステップＳ４３において生成された周波数分布に基づき、脳波に含まれるシータ波の割合を算出する（ステップＳ４９）。そして処理は呼び出し元に戻る。

ここで、脳波に含まれる各波成分の割合は以下のように算出される。具体的には、アルファ波の割合はＩα／（Ｉα＋Ｉβ＋Ｉθ）として算出され、ベータ波の割合はＩβ／（Ｉα＋Ｉβ＋Ｉθ）として算出され、シータ波の割合はＩθ／（Ｉα＋Ｉβ＋Ｉθ）として算出される。ここで、Ｉθは４Ｈｚから７Ｈｚまでの強度の積分値であり、Ｉαは８Ｈｚから１３Ｈｚまでの強度の積分値であり、Ｉβは１４Ｈｚから３０Ｈｚまでの強度の積分値である。

以上のような処理を実行すれば、ユーザの状態を推定することに役立つ、脳波の状態についての情報を用意することができるようになる。

図８の説明に戻り、モード切替部１５０４は、方向特定部１５０２から切替回数の情報を受け取り、脳波特定部１５０３からベータ波の割合の情報を受け取る。そして、モード切替部１５０４は、危険モードについての条件が満たされるか判定する（ステップＳ１５）。危険モードとは、ユーザの状態が緊張状態である場合のモードであり、危険モードについての条件は予め定められている。本実施の形態において、危険モードについての条件とは、視線方向の切替回数が所定回数以上であり且つベータ波の割合が所定値以上である（すなわち、ベータ波が支配的である）という条件である。

危険モードについての条件が満たされる場合（ステップＳ１５：Ｙｅｓルート）、モード切替部１５０４は、モード設定格納部１５１３から危険モードの設定を読み出す。そして、モード切替部１５０４は、危険モードの設定を適用（例えば、メモリ１５２における所定の領域に格納）する（ステップＳ１７）。そして処理はステップＳ２３に移行する。設定とは、視線の移動によりＨＭＤ装置１００に対して行う操作についての設定である。

危険モードについての条件が満たされない場合（ステップＳ１５：Ｎｏルート）、モード切替部１５０４は、通常モードについての条件が満たされるか判定する（ステップＳ１９）。通常モードとは、ユーザが落ち着いている場合のモードであり、通常モードについての条件は予め定められている。本実施の形態において、通常モードについての条件とは、視線方向の切替回数が所定回数より少なく且つベータ波の割合が所定値未満である（すなわち、ベータ波が支配的ではない）という条件である。なお、通常モードについての条件の所定回数及び所定値は、危険モードについての条件の所定回数及び所定値と異なっていてもよい。

通常モードについての条件が満たされる場合（ステップＳ１９：Ｙｅｓルート）、モード切替部１５０４は、モード設定格納部１５１３から通常モードの設定を読み出す。そして、モード切替部１５０４は、通常モードの設定を適用（例えば、メモリ１５２における所定の領域に格納）する（ステップＳ２１）。そして処理はステップＳ２３に移行する。一方、通常モードについての条件が満たされない場合（ステップＳ１９：Ｎｏルート）、処理はステップＳ２３に移行する。

モード切替部１５０４は、処理の終了指示（例えば、制御部１５０の停止指示）が有ったか判定する（ステップＳ２３）。処理の終了指示が無い場合（ステップＳ２３：Ｎｏルート）には処理はステップＳ１１に戻り、処理の終了指示が有る場合（ステップＳ２３：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、ユーザの状態に応じて操作についての設定が自動的に切り替えられるので、ユーザが操作を行いやすくなる。例えば高所での作業や足場が不安定な場所での作業など、ユーザが緊張状態になる可能性がある作業を、ユーザが不便を感じることなく進めることができるようになる。

図１５は、各モードと視線方向の切替回数及びベータ波の割合との関係を示す図である。図１５に示すように、視線方向の切替回数が所定回数より少なく且つベータ波の割合が所定値未満である場合には通常モードであると判定される。これに対し、視線方向の切替回数が所定回数以上であり且つベータ波の割合が所定値以上である場合に危険モードであると判定される。

操作についての設定は、例えば以下のような設定の少なくともいずれかを含む。（ａ）表示部１２０Ｒ及び１２０Ｌ上に表示されるカーソルの移動速度についての設定、（ｂ）カーソルを特定の構成要素上へ強制的に移動させる範囲（以下、フィッティング範囲と呼ぶ）の広さについての設定、（ｃ）表示部１２０Ｒ及び１２０Ｌ上に表示されるコンテンツのスクロール速度についての設定。

危険モードの場合、カーソルの移動速度が通常モードの場合より速くなるように設定され、フィッティング範囲は通常モードの場合より広くなるように設定され、スクロール速度は通常モードの場合より速くなるように設定される。これにより、ユーザはより早く操作を完了できるようになる。

図１６乃至図１８は、フィッティング範囲について説明するための図である。図１６乃至図１８において、フィッティング範囲ｆｒは破線で表されている。

図１６に示すように、ユーザが視線方向を左方向にすることで表示部１２０Ｒ及び１２０Ｌ上のカーソルが左方向に移動してきたとする。この場合、カーソルはフィッティング範囲ｆｒに入るまでは通常どおり移動する。

図１７に示すように、カーソルがフィッティング範囲ｆｒに入ると「ＯＫ」のチェックボックス上に移動する。このようにすれば、チェックボックスからフィッティング範囲ｆｒの端までの移動をするためにユーザが視線方向を制御する必要がないので、ユーザはより早くチェックボックスにチェックを入れることが可能である。

図１８に示すように、確定処理が実行されると、チェックボックスにチェックが表示される。確定処理については後で説明する。なお、フィッティング範囲ｆｒは各構成要素（例えばチェックボックスやラジオボタンなど）について設定される。

次に、表示部１２０Ｒ及び１２０Ｌ上のカーソルを制御する処理について説明する。図１９は、表示部１２０Ｒ及び１２０Ｌ上のカーソルを制御する処理の処理フローを示す図である。

表示制御部１５０５は、方向特定部１５０２を呼び出す。これに応じ、方向特定部１５０２は、視線方向を特定する処理である方向特定処理を実行する（図１９：ステップＳ５１）。

図２０は、方向特定処理の処理フローを示す図である。

方向特定部１５０２は、電位データ格納部１５１１に格納されているデータを読み出す。そして、方向特定部１５０２は、直近の時点について、電極ＥＲで測定された電位と電極ＥＭで測定された電位との差である電位差ＤＲを算出する（図２０：ステップＳ６１）。

方向特定部１５０２は、直近の時点について、電極ＥＬで測定された電位と電極ＥＭで測定された電位との差である電位差ＤＬを算出する（ステップＳ６３）。

方向特定部１５０２は、直近の時点について、電位差ＤＲの符号と電位差ＤＬの符号とに基づき視線方向を特定する（ステップＳ６５）。そして処理は呼び出し元に戻る。

図１９の説明に戻り、表示制御部１５０５は、ステップＳ６５において方向特定部１５０２により特定された方向に、ステップＳ１７又はＳ２１において適用された設定に定義されている移動量の分だけ、表示部１２０Ｒ及び１２０Ｌにおけるカーソルを移動する（ステップＳ５３）。

表示制御部１５０５は、移動後のカーソルがいずれかの構成要素のフィッティング範囲内に有るか判定する（ステップＳ５５）。なお、各構成要素のフィッティング範囲の広さは、ステップＳ１７又はＳ２１において適用された設定に定義されている。

移動後のカーソルがいずれの構成要素のフィッティング範囲内にも無い場合（ステップＳ５５：Ｎｏルート）、処理はステップＳ５９に移行する。一方、移動後のカーソルがいずれかの構成要素のフィッティング範囲内に有る場合（ステップＳ５５：Ｙｅｓルート）、表示制御部１５０５は、カーソルを含むフィッティング範囲についての構成要素上にカーソルを移動する（ステップＳ５７）。

表示制御部１５０５は、処理の終了指示（例えば、制御部１５０の停止指示）が有ったか判定する（ステップＳ５９）。処理の終了指示が無い場合（ステップＳ５９：Ｎｏルート）には処理はステップＳ５１に戻り、処理の終了指示が有る場合（ステップＳ５９：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、ユーザの状態に応じた設定に従ってカーソルの移動が行われるので、ユーザの負担を減らすことができる。

次に、ユーザが意思決定の操作をした場合に実行する処理について説明する。

なお、視線センサを利用すると太陽光によって角膜反射が阻害されるため視線方向の検知が困難である場合があり、また、音声認識を利用すると風によるノイズによって適切な認識を行えない場合がある。これに対して、本実施の形態のＨＭＤ装置１００を利用すれば、屋外であってもユーザはスムーズに操作を行うことができるようになる。

図２１は、ユーザが意思決定の操作をした場合に実行する処理の処理フローを示す図である。

確定処理実行部１５０６は、脳波特定部１５０３を呼び出す。これに応じ、脳波特定部１５０３は、脳波特定処理を実行する（ステップＳ７１）。ステップＳ７１において実行される脳波特定処理については図１３を用いて説明したとおりであるので、ここでは説明を省略する。

確定処理実行部１５０６は、カーソルが特定の構成要素（例えば、チェックボックス、ラジオボタン、複数のコンテンツの中からコンテンツを選択するための表示上におけるコンテンツ等）上にあり且つステップＳ７１において特定されたアルファ波の割合が所定の閾値以上であるという条件（以下、確定処理についての条件と呼ぶ）が満たされるか判定する（ステップＳ７３）。

一般的に、人間が集中している（或いはリラックスしている）ときアルファ波が支配的である傾向がある。従って、ユーザは意思決定の操作のときに、構成要素に視線を向けて意識的に集中するといったことを行うことで、制御部１５０に確定処理を実行させることができる。なお、集中しているときのアルファ波の割合はユーザごとに異なるので、ユーザごとに所定の閾値を定めてもよい。

確定処理についての条件が満たされない場合（ステップＳ７３：Ｎｏルート）、ユーザは意思決定の操作をしていないので、処理はステップＳ７７に移行する。

一方、確定処理についての条件が満たされる場合（ステップＳ７３：Ｙｅｓルート）、確定処理実行部１５０６は確定処理を実行する（ステップＳ７５）。確定処理は、例えば、チェックボックス内のチェックを表示する処理、ラジオボタンを選択する処理、或いはコンテンツの選択を確定する処理等である。

確定処理実行部１５０６は、処理の終了指示（例えば、制御部１５０の停止指示）が有ったか判定する（ステップＳ７７）。処理の終了指示が無い場合（ステップＳ７７：Ｎｏルート）には処理はステップＳ７１に戻り、処理の終了指示が有る場合（ステップＳ７７：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、ユーザの意思決定のとおりに確定処理を実行することができるようになる。

本実施の形態におけるユーザは、複数のコンテンツの中からコンテンツを選択するための表示と、選択されたコンテンツに対する入力を行うための表示とを適宜切り替えて操作を進める。

図２２は、複数のコンテンツの中からコンテンツを選択するための表示の一例である。図２２の例では、点検項目（１）についてのコンテンツと、点検項目（２）についてのコンテンツと、・・・、点検項目（８）についてのコンテンツとが表示されており、点検項目（１）についてのコンテンツが選択されてハイライトされている。ユーザは視線を動かすことで別のコンテンツを選択することができる。例えば視線を右方向に動かすことで、図２３に示すように、点検項目（２）についてのコンテンツを選択することができる。ユーザが意思決定の操作を行うと、選択されたコンテンツが拡大表示される。つまり、選択されたコンテンツに対する入力を行うための表示をユーザが表示部１２０Ｒ及び１２０Ｌ上で見ることができる。

例えば図２４に示すようなコンテンツが表示される。そしてユーザは視線方向を制御することでカーソル２４０の位置を動かし、カーソル２４０がチェックボックス上にある状態でユーザのアルファ波が支配的になると、チェックボックスにチェックが表示される。

また、複数のコンテンツの中からコンテンツを選択するための表示として、図２５に示すような表示を採用してもよい。図２５の例においては、複数のコンテンツが重ねて表示されており、ユーザは視線を右方向又は左方向に動かすことで、複数のコンテンツの中からコンテンツを選択する。

ユーザが右方向に視線を動かすと、例えば図２６に示すように、点検項目（１）についてのコンテンツは最も後ろに表示され、点検項目（２）についてのコンテンツが最も前に表示される。なお、点検項目（１）についてのコンテンツの代わりに点検項目（２）についてのコンテンツを最も前に表示するときのスピードを上記（ｃ）により設定してもよい。

そして、点検項目（２）についてのコンテンツが最も前に表示されている状態においてユーザが意思決定の操作を行うと、点検項目（２）についてのコンテンツが拡大表示される。

［実施の形態２］
第１の実施の形態においては、危険モードについての条件および通常モードについての条件が予め定められており、これらの条件に従ってモードの判定が実行される。これに対して第２の実施の形態においては、視線の状態及び脳波の状態とモードとの関係についての学習モデル（例えばニューラルネットワークによるモデル）が予め生成されており、学習モデルの出力に従ってモードの判定が実行される。

図２７は、第２の実施の形態における切替処理の処理フローを示す図である。

モード切替部１５０４は、方向特定部１５０２を呼び出す。これに応じ、方向特定部１５０２は、電位データ格納部１５１１に格納されているデータに基づき、視線方向の切替回数を計数する処理である計数処理を実行する（図２７：ステップＳ８１）。

図２８は、第２の実施の形態における計数処理の処理フローを示す図である。

方向特定部１５０２は、電位データ格納部１５１１に格納されているデータを読み出す。そして、方向特定部１５０２は、直近の所定期間について、電極ＥＲで測定された電位と電極ＥＭで測定された電位との差である電位差ＤＲを算出する（図２８：ステップＳ１０１）。電位差ＤＲは、例えば、（電極ＥＲで測定された電位）−（電極ＥＭで測定された電位）である。

方向特定部１５０２は、直近の所定期間について、電極ＥＬで測定された電位と電極ＥＭで測定された電位との差である電位差ＤＬを算出する（ステップＳ１０３）。電位差ＤＬは、例えば、（電極ＥＬで測定された電位）−（電極ＥＭで測定された電位）である。

方向特定部１５０２は、直近の所定期間について、電位差ＤＲの符号と電位差ＤＬの符号とに基づき視線方向を特定する（ステップＳ１０５）。方向特定部１５０２は、ステップＳ１０５の処理結果を管理データ格納部１５１２に格納する。

方向特定部１５０２は、直近の所定期間について、視線方向の切替回数を計数する（ステップＳ１０７）。方向特定部１５０２は、ステップＳ１０７の処理結果を管理データ格納部１５１２に格納する。

方向特定部１５０２は、直近の所定期間について、瞬きの回数を計数する（ステップＳ１０９）。方向特定部１５０２は、ステップＳ１０９の処理結果を管理データ格納部１５１２に格納する。そして処理は呼び出し元に戻る。

図２９は、瞬きの回数の計数方法について説明するための図である。図２９においては、上段に電位差ＤＲのグラフが示されており、下段に電位差ＤＬのグラフが示されており、これらのグラフは５０区間での移動平均のグラフである。ユーザの視線の方向が４点において具体的に示されている。上で説明したように、視線方向が右に変化するときには電位差ＤＲの値は正になり且つ電位差ＤＬの値は負になる。視線方向が左に変化するときには電位差ＤＲの値は負になり且つ電位差ＤＬの値は正になる。視線方向が上に変化するときには電位差ＤＲの値は正になり且つ電位差ＤＬの値は正になる。視線方向が下に変化するときには電位差ＤＲの値は負になり且つ電位差ＤＬの値は負になる。

図２９の例では、ユーザの視線方向は右から中央へ変化し、中央から左へ変化し、左から中央へ変化し、中央から上へ変化し、上から中央へ変化し、中央から下へ変化し、下から中央へ変化する。また、期間中において２回の瞬きが行われている。例えば、電位差ＤＲ及び電位差ＤＬが＋ｔ₂（ｔ₂は例えば０．５ｍＶ）以上に変化した後にともに負の値になった場合に瞬きが行われたと判定される。

図３０は、ステップＳ１０９の処理によって管理データ格納部１５１２に格納されるデータの一例を示す図である。図３０の例では、計数された瞬きの回数が格納される。

以上のような処理を実行すれば、ユーザの状態を推定することに役立つ、視線情報（第２の実施の形態においては、視線方向、切替回数および瞬きの回数）を用意することができるようになる。

図２７の説明に戻り、モード切替部１５０４は、脳波特定部１５０３を呼び出す。これに応じ、脳波特定部１５０３は、電位データ格納部１５１１に格納されているデータに基づき、脳波の状態を特定する処理である脳波特定処理を実行する（ステップＳ８３）。ステップＳ８３において実行される脳波特定処理はステップＳ１３において実行される脳波特定処理と同じであるので、ここでは説明を省略する。

モード切替部１５０４は、方向特定部１５０２から視線情報を受け取り、脳波特定部１５０３から脳波の情報（第２の実施の形態においては、アルファ波の割合、ベータ波の割合およびシータ波の割合）を受け取る。そして、モード切替部１５０４は、受け取った情報を入力として、学習モデルに基づきモードを判定する（ステップＳ８５）。例えば、視線情報および脳波の情報と、対応するモードの情報である教師データとを含むセットを複数用意し、用意された複数のセットについて学習（すなわち機械学習）を実行することで学習モデルが予め生成される。学習モデルはユーザ毎に生成されてもよい。

モード切替部１５０４は、危険モードであると学習モデルにより判定されたか判定する（ステップＳ８７）。

危険モードであると学習モデルにより判定された場合（ステップＳ８７：Ｙｅｓルート）、モード切替部１５０４は、モード設定格納部１５１３から危険モードの設定を読み出す。そして、モード切替部１５０４は、危険モードの設定を適用（例えば、メモリ１５２における所定の領域に格納）する（ステップＳ８９）。そして処理はステップＳ９５に移行する。

危険モードであると学習モデルにより判定されていない場合（ステップＳ８７：Ｎｏルート）、モード切替部１５０４は、通常モードであると学習モデルにより判定されたか判定する（ステップＳ９１）。

通常モードであると学習モデルにより判定された場合（ステップＳ９１：Ｙｅｓルート）、モード切替部１５０４は、モード設定格納部１５１３から通常モードの設定を読み出す。そして、モード切替部１５０４は、通常モードの設定を適用（例えば、メモリ１５２における所定の領域に格納）する（ステップＳ９３）。そして処理はステップＳ９５に移行する。一方、通常モードであると学習モデルにより判定されていない場合（ステップＳ９１：Ｎｏルート）、処理はステップＳ９５に移行する。

モード切替部１５０４は、処理の終了指示（例えば、制御部１５０の停止指示）が有ったか判定する（ステップＳ９５）。処理の終了指示が無い場合（ステップＳ９５：Ｎｏルート）には処理はステップＳ８１に戻り、処理の終了指示が有る場合（ステップＳ９５：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、ユーザの状態に応じて操作についての設定が自動的に切り替えられるので、ユーザが操作を行いやすくなる。なお、学習モデルを用いることで、例えばベータ波以外の波の割合や瞬きの回数など、より多くの情報をモードの判定に反映させることができるようになる。

［実施の形態３］
第３の実施の形態においては、各モードの設定がユーザからの入力及び指定等に基づき生成される。

図３１は、第３の実施の形態における制御部１５０の機能ブロック図である。制御部１５０は、電位取得部１５０１、方向特定部１５０２、脳波特定部１５０３、モード切替部１５０４、表示制御部１５０５、確定処理実行部１５０６、モード生成部１５０７、電位データ格納部１５１１、管理データ格納部１５１２、モード設定格納部１５１３及び設定情報格納部１５１４を含む。電位取得部１５０１、方向特定部１５０２、脳波特定部１５０３、モード切替部１５０４、表示制御部１５０５、確定処理実行部１５０６及びモード生成部１５０７は、本実施の形態の処理を実行するためのプログラムがプロセッサ１５１に実行されることで実現される。電位データ格納部１５１１、管理データ格納部１５１２、モード設定格納部１５１３及び設定情報格納部１５１４は、例えばメモリ１５２に含まれる。

電位取得部１５０１は、電極ＥＲ、電極ＥＭ及び電極ＥＬで測定された電位の情報を取得し、取得された情報を電位データ格納部１５１１に格納する。方向特定部１５０２は、電位データ格納部１５１１に格納されたデータに基づき処理を実行し、処理結果をモード切替部１５０４及び表示制御部１５０５に通知する。なお、方向特定部１５０２の処理途中のデータは管理データ格納部１５１２に格納される。脳波特定部１５０３は、電位データ格納部１５１１に格納されたデータに基づき処理を実行し、処理結果をモード切替部１５０４及び確定処理実行部１５０６に通知する。モード切替部１５０４は、方向特定部１５０２から受け取った処理結果、脳波特定部１５０３から受け取った処理結果、及びモード設定格納部１５１３に格納されているデータに基づき処理を実行し、処理結果を表示制御部１５０５に通知する。表示制御部１５０５は、モード切替部１５０４から受け取った処理結果に基づき表示部１２０Ｒ及び１２０Ｌの表示を制御する。確定処理実行部１５０６は、脳波特定部１５０３から受け取った処理結果に基づき処理を実行する。モード生成部１５０７は、設定情報格納部１５１４に格納されているデータに基づき処理を実行し、処理結果をモード設定格納部１５１３に格納する。

次に、モード生成部１５０７が実行する処理について説明する。

図３２は、ユーザからの変更指示があった場合にモード生成部１５０７が実行する処理の処理フローを示す図である。

モード生成部１５０７は、ユーザからの変更指示に従い、本処理時点において適用されている設定を変更する（図３２：ステップＳ１１１）。ユーザからの変更指示は、例えば、表示部１２０Ｒ及び１２０Ｌ上に表示された複数の設定の中から所望の設定をユーザが指定するか、又は、設定に関する数値を（例えばプルダウンを利用して）ユーザが入力することで行われる。

モード生成部１５０７は、変更後の設定を適用（例えば、メモリ１５２における所定の領域に格納）する（ステップＳ１１３）。

モード生成部１５０７は、変更後の設定をユーザの識別情報に対応付けて設定情報格納部１５１４に格納する（ステップＳ１１５）。なお、ユーザの識別情報はＨＭＤ装置１００に入力されているものとする。そして処理は終了する。

図３３は、設定情報格納部１５１４に格納されるデータの一例を示す図である。図３３の例では、各ユーザについて、設定がモード毎に格納されている。未だ変更指示が行われていないモードについては、設定が格納されていない。なお、同一のユーザについて複数のエントリが格納されてもよい。

図３４は、各モードの設定を生成する処理の処理フローを示す図である。本処理は、例えば、定期的に或いはユーザからの指示に応じて実行される。

モード生成部１５０７は、設定情報格納部１５１４から１又は複数の設定をモード毎に読み出す（図３４：ステップＳ１２１）。

モード生成部１５０７は、ステップＳ１２１において読み出された設定に基づき、新しい設定をモード毎に生成する（ステップＳ１２３）。そして処理は終了する。新しい設定とは、例えば、１又は複数の設定に含まれる数値の平均値を含む設定である。

緊張した状態のときのベータ波の割合や視線方向の切替回数等は、ユーザによって異なる。そこで以上のような処理を実行すれば、各ユーザについて適切な設定を適用することができるようになる。

［実施の形態４］
第１の実施の形態においては、危険モードについての条件および通常モードについての条件のいずれも満たされない場合には、設定の切替が行われない。これに対して第４の実施の形態においては、危険モードについての条件および通常モードについての条件のいずれも満たされない場合には、中間モードの設定が適用される。

図３５は、各モードと視線方向の切替回数及びベータ波の割合との関係を示す図である。図３５に示すように、視線方向の切替回数が所定回数より少なく且つベータ波の割合が所定値未満である場合には通常モードであると判定される。これに対し、視線方向の切替回数が所定回数以上であり且つベータ波の割合が所定値以上である場合に危険モードであると判定される。また、視線方向の切替回数が所定回数以上であり且つベータ波の割合が所定値未満である場合、および、視線方向の切替回数が所定回数未満であり且つベータ波の割合が所定値以上である場合には、中間モードであると判定される。

以上のように、３つ以上のモードを設けることで、ユーザの状態に応じてより適切な設定が適用されるようになる。

以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上で説明した制御部１５０の機能ブロック構成は実際のプログラムモジュール構成に一致しない場合もある。

また、上で説明したデータ構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。

また、視線情報として、視点の移動速度を利用してもよい。

以上述べた本発明の実施の形態をまとめると、以下のようになる。

本実施の形態の第１の態様に係る操作支援方法は、（Ａ）ユーザの右目上方の部位に当接する第１電極で測定された電位と、ユーザの左目上方の部位に当接する第２電極で測定された電位と、ユーザの鼻根に当接する第３電極で測定された電位とを取得し、（Ｂ）第１電極で測定された電位と第３電極で測定された電位との差である第１電位差と、第２電極で測定された電位と第３電極で測定された電位との差である第２電位差と、第１電極で測定された電位と第２電極で測定された電位との差である第３電位差とを算出し、（Ｃ）第１電位差と第２電位差とに基づき、ユーザの視線方向を特定し、（Ｄ）第３電位差に基づき、ユーザの脳波の状態を特定し、（Ｅ）特定された視線方向の切替回数と、特定された脳波の状態とに基づき、ユーザが視線の移動により行う操作についての設定を切り替える処理を含む。

ユーザの視線方向の切替回数及び脳波の状態にはユーザの状態が反映されるので、上記のような処理によって操作についての設定が自動的に切り替えられることで、ユーザが操作を行いやすくなる。

また、操作についての設定を切り替える処理において、（ｅ１）切替回数が所定数以上であり且つ脳波の状態がベータ波が支配的な状態であるという条件が満たされない場合、操作についての設定を第１設定に切り替え、（ｅ２）条件が満たされる場合、操作についての設定を、第１設定に切り替えられた場合より速くユーザが操作を行えるようにするための第２設定に切り替えてもよい。

切替回数が所定数以上であり且つ脳波の状態がベータ波が支配的な状態であるときはユーザが緊張状態にあると考えられるので、上で述べたような切替を行うことで、ユーザが迅速に操作を終えて緊張状態から脱することができるようになる。

また、操作についての設定が、ユーザの両目の前に配置された表示部上に表示されるカーソルの移動速度についての設定と、カーソルを特定の構成要素上へ強制的に移動させる範囲についての設定と、表示部上に表示されるコンテンツのスクロール速度についての設定との少なくともいずれかを含んでもよい。

また、本操作支援方法は、（Ｆ）第１電位差と第２電位差とに基づき特定される視線方向に、ユーザの両目の前に配置された表示部上のカーソルを移動する処理をさらに含んでもよい。

ユーザは手を使うことなく、視線方向の制御によりカーソルを移動できるようになる。

また、本操作支援方法は、（Ｇ）第１電位差と第２電位差とに基づき特定される視線方向が一定である状態において、第３電位差に基づき特定される脳波の状態がアルファ波が支配的な状態であるか否かに基づき、ユーザにより確定操作が行われたか否かを判定する処理をさらに含んでもよい。

ユーザは手を使うことなく、視線方向の制御により意思決定の操作を行えるようになる。

また、操作についての設定を切り替える処理において、（ｅ３）特定された視線方向及び脳波の状態と第１電位差及び第２電位差に基づき特定される瞬きの回数とを入力とし且つ予め生成された学習モデルの出力に応じて、操作についての設定を切り替えてもよい。

操作についての設定をより柔軟に切り替えることができるようになる。

また、ユーザの視線方向を特定する処理において、（ｃ１）第１電位差の絶対値及び第２電位差の絶対値と閾値との比較、および、第１電位差の符号及び第２電位差の符号に基づき、ユーザの視線方向を特定してもよい。

ノイズの影響を除去しつつ適切の視線方向を特定できるようになる。

また、ユーザの脳波の状態を特定する処理において、（ｄ１）第３電位差に対する周波数分析に基づき、ユーザの脳波の状態を特定してもよい。

周波数分析により、どの波成分が支配的であるかといったことがわかるようになる。

また、本操作支援方法は、（Ｈ）ユーザにより入力され又は指定された、操作についての１又は複数の設定に基づき、第１設定及び第２設定の少なくともいずれかを生成する処理をさらに実行してもよい。

ユーザに適した設定を生成できるようになる。

本実施の形態の第２の態様に係る頭部装着型表示装置は、（Ｉ）ユーザの右目上方の部位に当接する第１電極で測定された電位と、ユーザの左目上方の部位に当接する第２電極で測定された電位と、ユーザの鼻根に当接する第３電極で測定された電位とを取得する取得部（実施の形態における電位取得部１５０１は上記取得部の一例である）と、（Ｊ）第１電極で測定された電位と第３電極で測定された電位との差である第１電位差と、第２電極で測定された電位と第３電極で測定された電位との差である第２電位差とを算出し、算出された第１電位差と第２電位差とに基づき、ユーザの視線方向を特定する第１特定部（実施の形態における方向特定部１５０２は上記第１特定部の一例である）と、（Ｋ）第１電極で測定された電位と第２電極で測定された電位との差である第３電位差とを算出し、算出された第３電位差に基づき、ユーザの脳波の状態を特定する第２特定部（実施の形態における脳波特定部１５０３は上記第２特定部の一例である）と、（Ｌ）第１特定部により特定された視線方向の切替回数と、第２特定部により特定された脳波の状態とに基づき、ユーザが視線の移動により行う操作についての設定を切り替える切替部（実施の形態におけるモード切替部１５０４は上記切替部の一例である）とを有する。

なお、上記方法による処理をプロセッサに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
プロセッサに、
ユーザの右目上方の部位に当接する第１電極で測定された電位と、前記ユーザの左目上方の部位に当接する第２電極で測定された電位と、前記ユーザの鼻根に当接する第３電極で測定された電位とを取得し、
前記第１電極で測定された電位と前記第３電極で測定された電位との差である第１電位差と、前記第２電極で測定された電位と前記第３電極で測定された電位との差である第２電位差と、前記第１電極で測定された電位と前記第２電極で測定された電位との差である第３電位差とを算出し、
前記第１電位差と前記第２電位差とに基づき、前記ユーザの視線方向を特定し、
前記第３電位差に基づき、前記ユーザの脳波の状態を特定し、
特定された前記視線方向の切替回数と、特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える、
処理を実行させる操作支援プログラム。

（付記２）
前記操作についての設定を切り替える処理において、
前記切替回数が所定数以上であり且つ前記脳波の状態がベータ波が支配的な状態であるという条件が満たされない場合、前記操作についての設定を第１設定に切り替え、
前記条件が満たされる場合、前記操作についての設定を、前記第１設定に切り替えられた場合より速く前記ユーザが操作を行えるようにするための第２設定に切り替える、
付記１記載の操作支援プログラム。

（付記３）
前記操作についての設定が、前記ユーザの両目の前に配置された表示部上に表示されるカーソルの移動速度についての設定と、前記カーソルを特定の構成要素上へ強制的に移動させる範囲についての設定と、前記表示部上に表示されるコンテンツのスクロール速度についての設定との少なくともいずれかを含む、
付記１記載の操作支援プログラム。

（付記４）
前記プロセッサに、
前記第１電位差と前記第２電位差とに基づき特定される視線方向に、前記ユーザの両目の前に配置された表示部上のカーソルを移動する、
処理をさらに実行させる付記１乃至３のいずれか１つ記載の操作支援プログラム。

（付記５）
前記プロセッサに、
前記第１電位差と前記第２電位差とに基づき特定される視線方向が一定である状態において、前記第３電位差に基づき特定される前記脳波の状態がアルファ波が支配的な状態であるか否かに基づき、前記ユーザにより確定操作が行われたか否かを判定する、
処理をさらに実行させる付記４記載の操作支援プログラム。

（付記６）
前記操作についての設定を切り替える処理において、
特定された前記視線方向及び前記脳波の状態と前記第１電位差及び前記第２電位差に基づき特定される瞬きの回数とを入力とし且つ予め生成された学習モデルの出力に応じて、前記操作についての設定を切り替える、
付記１記載の操作支援プログラム。

（付記７）
前記ユーザの視線方向を特定する処理において、
前記第１電位差の絶対値及び前記第２電位差の絶対値と閾値との比較、および、前記第１電位差の符号及び前記第２電位差の符号に基づき、前記ユーザの視線方向を特定する、
付記１乃至６のいずれか１つ記載の操作支援プログラム。

（付記８）
前記ユーザの脳波の状態を特定する処理において、
前記第３電位差に対する周波数分析に基づき、前記ユーザの脳波の状態を特定する、
付記１乃至７のいずれか１つ記載の操作支援プログラム。

（付記９）
前記プロセッサに、
前記ユーザにより入力され又は指定された、操作についての１又は複数の設定に基づき、前記第１設定及び前記第２設定の少なくともいずれかを生成する、
処理をさらに実行させる付記２記載の制御プログラム。

（付記１０）
プロセッサが、
ユーザの右目上方の部位に当接する第１電極で測定された電位と、前記ユーザの左目上方の部位に当接する第２電極で測定された電位と、前記ユーザの鼻根に当接する第３電極で測定された電位とを取得し、
前記第１電極で測定された電位と前記第３電極で測定された電位との差である第１電位差と、前記第２電極で測定された電位と前記第３電極で測定された電位との差である第２電位差と、前記第１電極で測定された電位と前記第２電極で測定された電位との差である第３電位差とを算出し、
前記第１電位差と前記第２電位差とに基づき、前記ユーザの視線方向を特定し、
前記第３電位差に基づき、前記ユーザの脳波の状態を特定し、
特定された前記視線方向の切替回数と、特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える、
処理を実行する操作支援方法。

（付記１１）
ユーザの右目上方の部位に当接する第１電極で測定された電位と、前記ユーザの左目上方の部位に当接する第２電極で測定された電位と、前記ユーザの鼻根に当接する第３電極で測定された電位とを取得する取得部と、
前記第１電極で測定された電位と前記第３電極で測定された電位との差である第１電位差と、前記第２電極で測定された電位と前記第３電極で測定された電位との差である第２電位差とを算出し、算出された前記第１電位差と前記第２電位差とに基づき、前記ユーザの視線方向を特定する第１特定部と、
前記第１電極で測定された電位と前記第２電極で測定された電位との差である第３電位差とを算出し、算出された前記第３電位差に基づき、前記ユーザの脳波の状態を特定する第２特定部と、
前記第１特定部により特定された前記視線方向の切替回数と、前記第２特定部により特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える切替部と、
を有する頭部装着型表示装置。

１００ ＨＭＤ装置 １１０ フレーム
１１１ レンズ １１２ ベルト
１１３ パッド
１２０Ｒ、１２０Ｌ 表示部 １５０ 制御部
１７０ バッテリ ＥＲ、ＥＬ、ＥＭ 電極
１５１ プロセッサ １５２ メモリ
１５０１ 電位取得部 １５０２ 方向特定部
１５０３ 脳波特定部 １５０４ モード切替部
１５０５ 表示制御部 １５０６ 確定処理実行部
１５０７ モード生成部 １５１１ 電位データ格納部
１５１２ 管理データ格納部 １５１３ モード設定格納部
１５１４ 設定情報格納部

Claims (10)

1. プロセッサに、
   ユーザの右目上方の部位に当接する第１電極で測定された電位と、前記ユーザの左目上方の部位に当接する第２電極で測定された電位と、前記ユーザの鼻根に当接する第３電極で測定された電位とを取得し、
   前記第１電極で測定された電位と前記第３電極で測定された電位との差である第１電位差と、前記第２電極で測定された電位と前記第３電極で測定された電位との差である第２電位差と、前記第１電極で測定された電位と前記第２電極で測定された電位との差である第３電位差とを算出し、
   前記第１電位差と前記第２電位差とに基づき、前記ユーザの視線方向を特定し、
   前記第３電位差に基づき、前記ユーザの脳波の状態を特定し、
   特定された前記視線方向の切替回数と、特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える、
   処理を実行させる操作支援プログラム。
2. 前記操作についての設定を切り替える処理において、
   前記切替回数が所定数以上であり且つ前記脳波の状態がベータ波が支配的な状態であるという条件が満たされない場合、前記操作についての設定を第１設定に切り替え、
   前記条件が満たされる場合、前記操作についての設定を、前記第１設定に切り替えられた場合より速く前記ユーザが操作を行えるようにするための第２設定に切り替える、
   請求項１記載の操作支援プログラム。
3. 前記操作についての設定が、前記ユーザの両目の前に配置された表示部上に表示されるカーソルの移動速度についての設定と、前記カーソルを特定の構成要素上へ強制的に移動させる範囲についての設定と、前記表示部上に表示されるコンテンツのスクロール速度についての設定との少なくともいずれかを含む、
   請求項１記載の操作支援プログラム。
4. 前記プロセッサに、
   前記第１電位差と前記第２電位差とに基づき特定される視線方向に、前記ユーザの両目の前に配置された表示部上のカーソルを移動する、
   処理をさらに実行させる請求項１乃至３のいずれか１つ記載の操作支援プログラム。
5. 前記プロセッサに、
   前記第１電位差と前記第２電位差とに基づき特定される視線方向が一定である状態において、前記第３電位差に基づき特定される前記脳波の状態がアルファ波が支配的な状態であるか否かに基づき、前記ユーザにより確定操作が行われたか否かを判定する、
   処理をさらに実行させる請求項４記載の操作支援プログラム。
6. 前記操作についての設定を切り替える処理において、
   特定された前記視線方向及び前記脳波の状態と前記第１電位差及び前記第２電位差に基づき特定される瞬きの回数とを入力とし且つ予め生成された学習モデルの出力に応じて、前記操作についての設定を切り替える、
   請求項１記載の操作支援プログラム。
7. 前記ユーザの視線方向を特定する処理において、
   前記第１電位差の絶対値及び前記第２電位差の絶対値と閾値との比較、および、前記第１電位差の符号及び前記第２電位差の符号に基づき、前記ユーザの視線方向を特定する、
   請求項１乃至６のいずれか１つ記載の操作支援プログラム。
8. 前記ユーザの脳波の状態を特定する処理において、
   前記第３電位差に対する周波数分析に基づき、前記ユーザの脳波の状態を特定する、
   請求項１乃至７のいずれか１つ記載の操作支援プログラム。
9. プロセッサが、
   ユーザの右目上方の部位に当接する第１電極で測定された電位と、前記ユーザの左目上方の部位に当接する第２電極で測定された電位と、前記ユーザの鼻根に当接する第３電極で測定された電位とを取得し、
   前記第１電極で測定された電位と前記第３電極で測定された電位との差である第１電位差と、前記第２電極で測定された電位と前記第３電極で測定された電位との差である第２電位差と、前記第１電極で測定された電位と前記第２電極で測定された電位との差である第３電位差とを算出し、
   前記第１電位差と前記第２電位差とに基づき、前記ユーザの視線方向を特定し、
   前記第３電位差に基づき、前記ユーザの脳波の状態を特定し、
   特定された前記視線方向の切替回数と、特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える、
   処理を実行する操作支援方法。
10. ユーザの右目上方の部位に当接する第１電極で測定された電位と、前記ユーザの左目上方の部位に当接する第２電極で測定された電位と、前記ユーザの鼻根に当接する第３電極で測定された電位とを取得する取得部と、
    前記第１電極で測定された電位と前記第３電極で測定された電位との差である第１電位差と、前記第２電極で測定された電位と前記第３電極で測定された電位との差である第２電位差とを算出し、算出された前記第１電位差と前記第２電位差とに基づき、前記ユーザの視線方向を特定する第１特定部と、
    前記第１電極で測定された電位と前記第２電極で測定された電位との差である第３電位差とを算出し、算出された前記第３電位差に基づき、前記ユーザの脳波の状態を特定する第２特定部と、
    前記第１特定部により特定された前記視線方向の切替回数と、前記第２特定部により特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える切替部と、
    を有する頭部装着型表示装置。

Images