以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態における眼電位情報処理システム10の利用形態の一例を概略的に示す。眼電位情報処理システム10は、メガネ100、スマートフォン40及びヘッドフォン50を備える。
ユーザ20は、メガネ100、スマートフォン40及びヘッドフォン50のそれぞれの使用者である。ユーザ20は、メガネ100を装着する装着者である。スマートフォン40は、眼電位等の情報を処理する情報処理装置の一例である。
メガネ100は、ユーザ20の顔部に装着される。メガネ100は、スマートフォン40と通信する機能を有する。メガネ100は、ユーザ20に接触する電極を介してユーザ20の眼電位を検出して、検出した眼電位の情報をスマートフォン40に送信する。また、メガネ100は、メガネ100の加速度を検出して、検出した加速度の情報をスマートフォン40に送信する。また、メガネ100は、メガネ100の角速度を検出して、検出した角速度の情報をスマートフォン40に送信する。
スマートフォン40は、メガネ100から受信した眼電位を解析する。スマートフォン40は、メガネ100から受信した眼電位を、メガネ100から受信した加速度及び角速度の少なくとも一方とともに解析する。スマートフォン40は、眼電位、加速度、角速度等の解析結果に基づいて、ユーザ20に情報を提供する。
例えば、スマートフォン40は、眼電位、加速度及び角速度等を解析して、ユーザ20の状態を特定する。具体的には、スマートフォン40は、眼電位を解析して、ユーザ20の視線方向及び瞬目状態等を特定する。例えば、スマートフォン40は、視線方向及び瞬目状態等に基づき、ユーザ20の状態を判断する。具体的には、スマートフォン40は、視線方向及び瞬目状態等に基づき、ユーザ20に疲れ、痛み等が生じているか否かを判断する。スマートフォン40は、ユーザ20に疲れ、痛み等が生じていると判断した場合に、ユーザ20に警告を発する。例えば、スマートフォン40は、ユーザ20に疲れ、痛み等が生じていると判断した場合に、警告音を発生する。
また、スマートフォン40は、眼電位等の解析結果に基づいて、ユーザ20からの指示を特定する。例えば、スマートフォン40は、ユーザ20の視線方向の変化の組み合わせ、視線方向及び瞬目状態の組み合わせにより、スマートフォン40に対するユーザ20からの指示を特定する。スマートフォン40は、ユーザ20からの指示に基づき、スマートフォン40の動作を制御する。例えば、スマートフォン40は、予め定められた再生順序で音楽を再生している場合に、眼電位等の解析結果に基づいてユーザ20から次の曲を再生するよう指示されたと判断すると、再生順序において現在再生中の次の順番の曲の再生を開始する。スマートフォン40が再生している曲は、ユーザ20の頭部に装着されたヘッドフォン50に無線又は有線で出力されて、ヘッドフォン50からユーザ20の耳に音として提供される。
眼電位情報処理システム10においては、スマートフォン40には、ユーザ20がスマートフォン40の機能を使用する前に入力するべき認証用のパスコードが設定されている。例えば、スマートフォン40は、ロック状態にある場合に、パスコード入力画面42を表示させて、パスコードを視線で入力するようユーザ20に要求する。スマートフォン40は、視線入力により正しいパスコードを入力されると、ロック状態を解除する。
スマートフォン40は、視線入力によりパスコードを入力させる場合、メガネ100で検出された眼電位に基づいて、正しいパスコードが入力されたか否かを判断する。例えば、パスコード入力画面42を表示している場合に、スマートフォン40は、ユーザ20の眼電位に基づいて右方に視線方向が変化した後に、下方に視線方向が変化したと判断した場合に、正しいパスコードが入力されたと判断して、ロック状態を解除する。
このとき、スマートフォン40は、右方への視線方向の変化を表す眼電位が検出されたタイミングにおいて、ユーザ20が、パスコード入力画面42内の「2」の表示位置を見ているとみなす。また、スマートフォン40は、下方への視線方向の変化を表す眼電位が検出されたタイミングにおいて、ユーザ20が、パスコード入力画面42内の「3」の表示位置を見ているとみなす。これにより、スマートフォン40は、眼電位とユーザ20の視線方向との間の相関を取得する。スマートフォン40は、当該相関の取得後に検出される眼電位を、当該相関に基づいて解析して、ユーザ20の視線方向を特定する。これにより、ユーザ20の視線方向をより正しく特定できる。眼電位情報処理システム10によれば、スマートフォン40のロック状態の解除、及び、眼電位と視線方向との間の相関関係の取得とを、同時に行うことができる。
なお、本実施形態の説明において、図1等に示される直交座標系の座標軸を用いて、各種の方向を特定する場合がある。z軸プラス方向を、ユーザ20の正面に沿う方向に定める。z軸プラス方向は、ユーザ20の顔に装着されているメガネ100の、ユーザ20の顔からメガネ100のフロント部へ向かう方向の加速度である。また、y軸マイナス方向を、鉛直方向、すなわち鉛直下方に定める。x軸、y軸、z軸は、右手系の直交座標系である。説明の都合上、z軸プラス方向を正面方向等と呼ぶ場合がある。また、y軸プラス方向を上方等と呼ぶ場合がある。また、y軸マイナス方向を下方等と呼ぶ場合がある。また、x軸プラス方向を左方等と呼ぶ場合がある。また、x軸マイナス方向を右方等と呼ぶ場合がある。
図2は、メガネ100及びスマートフォン40を模式的に示す。メガネ100は、レンズ110及びフレーム120を備える。メガネ100及びフレーム120は、アイウエアの一例である。
フレーム120は、一対のレンズ110を支持する。フレーム120は、リム122、ブリッジ124、ヨロイ126、テンプル130、モダン132、右ノーズパッド141、左ノーズパッド142、第1電極151、第2電極152、第3電極153、接地電極154、処理ユニット180及び電源ユニット190を有する。レンズ110、リム122、ヨロイ126、テンプル130、及びモダン132は、それぞれ左右一対に設けられる。フレーム120のうち、リム122、ブリッジ124、右ノーズパッド141、左ノーズパッド142及びヨロイ126の部分を、メガネ100のフロント部と呼ぶ。
リム122は、レンズ110を保持する。ヨロイ126は、リム122の外側に設けられテンプル130を可動に保持する。テンプル130は、ユーザ20の耳の上部を押圧して、押圧した部位を挟持する。モダン132は、テンプル130の先端に設けられる。モダン132は、ユーザ20の耳の上部に接触する。
第1電極151は、眼電位を検出する眼電位検出部の一例である。第1電極151は、右ノーズパッド141の表面に設けられる。第1電極151は、右ノーズパッド141が有する表面のうち、ユーザ20がメガネ100を装着した場合にユーザ20の顔に対向する側の表面に設けられる。ユーザ20がメガネ100を装着した場合、第1電極151はユーザ20の皮膚に接触する。例えば、ユーザ20がメガネ100を装着した場合、第1電極151はユーザ20の鼻の右側に接触する。本実施形態において、第1電極151は、主としてユーザ20の右眼の眼電位を検出する。
第2電極152は、眼電位を検出する眼電位検出部の一例である。第2電極152は、左ノーズパッド142の表面に設けられる。第2電極152は、左ノーズパッド142が有する表面のうち、ユーザ20がメガネ100を装着した場合にユーザ20の顔に対向する側の表面に設けられる。ユーザ20がメガネ100を装着した場合、第2電極152はユーザ20の皮膚に接触する。例えば、ユーザ20がメガネ100を装着した場合、第2電極152はユーザ20の鼻の左側に接触する。本実施形態において、第2電極152は、主としてユーザ20の左眼の眼電位を検出する。
第3電極153は、眼電位を検出する眼電位検出部の一例である。第3電極153は、ブリッジ124の表面に設けられる。第3電極153は、ブリッジ124が有する表面のうち、ユーザ20がメガネ100を装着した場合にユーザ20の顔に対向する表面に設けられる。ユーザ20がメガネ100を装着した場合、第3電極153はユーザ20の皮膚に接触する。例えば、ユーザ20がメガネ100を装着した場合、第3電極153はユーザ20の眉間の上部に接触する。本実施形態において、第3電極153で検出される眼電位は、ユーザ20の右眼の眼電位及び左眼の眼電位を測定するための測定用の基準に用いられる。
接地電極154は、モダン132の表面に設けられる。接地電極154は、例えば右側のモダン132の表面に設けられる。接地電極154は、モダン132が有する表面のうち、ユーザ20がメガネ100を装着した場合にユーザ20の顔に対向する表面に設けられる。ユーザ20がメガネ100を装着した場合、接地電極154はユーザ20の皮膚に接触する。例えば、ユーザ20がメガネ100を装着した場合、接地電極154はユーザ20の右耳の上部に接触する。本実施形態において、接地電極154の電位は、メガネ100が有する電気回路の接地電位を提供する。
処理ユニット180は、左側のテンプル130の内部に設けられる。処理ユニット180には、第1電極151、第2電極152及び第3電極153で検出されたユーザ20の眼電位が入力される。処理ユニット180は、入力された眼電位を処理して、処理された電位をスマートフォン40に送信する。
電源ユニット190は、左側のテンプル130の内部に設けられる。電源ユニット190は、二次電池等の電池を含む。電源ユニット190は、電源ユニット190が含む電池に蓄積された電気エネルギーを、処理ユニット180に供給する。具体的には、電源ユニット190は、電池に蓄積された電気エネルギーから、接地電極154の電位を基準とした直流電力を生成する。電源ユニット190は、電池に蓄積された電気エネルギーから生成した直流電力を、処理ユニット180に供給する。
なお、電源ユニット190は、接地電極154が設けられた側のテンプル130の内部に設けられている。接地電極154の電位は、電源ユニット190から処理ユニット180に供給される直流電力の負側の電位を提供する。また、右側のモダン132には、電源ユニット190を充電するために充電口が形成されている。電源ユニット190が含む電池は、右側のモダン132に設けられた充電口を介して充電される。
図3は、スマートフォン40の機能ブロック構成及び処理ユニット180の機能ブロック構成を概略的に示す。処理ユニット180は、処理部200、角速度検出部260、加速度検出部270、送受信部280及び基板部290を含む。スマートフォン40は、処理部300、格納部360、UI部370、送受信部380及び電源部390を含む。
処理ユニット180において、処理部200、角速度検出部260、加速度検出部270及び送受信部280は、基板部290に実装される。処理部200は、MPU等のプロセッサで実現される。スマートフォン40の各部は、主として処理部300によって制御される。送受信部280は、スマートフォン40と無線通信する機能を担う。送受信部280は、通信用プロセッサで実現される。例えば、送受信部280は、Bluetooth(登録商標)等の近距離無線通信機能を有する通信用プロセッサで実現される。
メガネ100のフレーム120の内部には、電線部160が設けられる。電線部160は、第1電極151、第2電極152、第3電極153、接地電極154及び電源ユニット190と、処理ユニット180とを電気的に接続する。電線部160は、第1電極151と処理ユニット180とを電気的に接続して、第1電極151で検出された眼電位を処理ユニット180に出力する電線と、第2電極152と処理ユニット180とを電気的に接続して、第2電極152で検出された眼電位を処理ユニット180に出力する電線と、第3電極153と処理ユニット180とを電気的に接続して、第3電極153で検出された眼電位を処理ユニット180に出力する電線と、電源ユニット190から処理ユニット180に電力を供給する電線とを有する。
メガネ100において、処理部200は、ユーザ20の眼電位を取得して、取得した眼電位を処理する。具体的には、処理部200は、第1電極151で検出された眼電位である第1眼電位を取得して、取得した第1眼電位を処理する。また、処理部200は、第2電極152で検出された眼電位である第2眼電位を取得して、取得した第2眼電位を処理する。また、処理部200は、第3電極153で検出された眼電位である第3眼電位を取得して、取得した第3眼電位を処理する。
例えば、処理部200は、第3眼電位を基準とした第1眼電位を処理する。本実施形態では、第3眼電位を基準とした第1眼電位を、V1と呼ぶ。処理部200は、V1を予め定められた周期でサンプリングして、V1の時系列データを生成する。処理部200は、生成したV1の時系列データを、送受信部280に出力する。
また、処理部200は、第3眼電位を基準とした第2眼電位を処理する。本実施形態では、第3眼電位を基準とした第2眼電位を、V2と呼ぶ。処理部200は、V2を予め定められた周期でサンプリングして、V2の時系列データを生成する。処理部200は、生成したV2の時系列データを、送受信部280に出力する。
加速度検出部270は、メガネ100の加速度を検出する。加速度検出部270は、例えば3軸加速度センサである。加速度検出部270は、メガネ100の重心の加速度を検出する。メガネ100がユーザ20に装着されている場合、メガネ100の重心の加速度は、ユーザ20の頭部の加速度に対応する。処理部200には、加速度検出部270で検出された加速度が入力される。
角速度検出部260は、メガネ100の角速度を検出する。角速度検出部260は、例えば3軸角速度センサである。処理部200には、角速度検出部260で検出された角速度が入力される。
処理部200は、加速度検出部270で検出された加速度を取得して、取得した加速度を処理する。処理部200は、加速度を予め定められた周期でサンプリングして、時系列の加速度のデータを生成する。処理部200は、生成した加速度の時系列データを送受信部280に出力する。送受信部280に出力される加速度データは、3軸の各方向の加速度の時系列データを含む。
処理部200は、角速度検出部260で検出された角速度を取得して、取得した角速度を処理する。処理部200は、角速度を予め定められた周期でサンプリングして、時系列の角速度のデータを生成する。処理部200は、生成した角速度の時系列データを送受信部280に出力する。送受信部280に出力される角速度データは、3軸の各方向の角速度の時系列データを含む。
送受信部280は、処理部200から取得したV1の時系列データ、V2の時系列データ、加速度の時系列データ及び角速度の時系列データを、無線信号で送受信部380に送信する。このように、送受信部280は、連続的に検出された眼電位の情報、加速度の情報及び角速度の情報を、スマートフォン40に送信する。
なお、処理部200における処理には、入力眼電位、加速度及び角速度の信号を増幅する増幅処理、入力眼電位、加速度及び角速度の信号をデジタル化するデジタル化処理が含まれる。処理部200は、入力眼電位、加速度及び角速度のアナログ信号を増幅する増幅回路を有してよい。処理部200は、入力眼電位、加速度及び角速度のアナログ信号又は増幅回路で増幅されたアナログ信号をデジタル化するAD変換回路を有してよい。
スマートフォン40において、電源部390は、二次電池等の電池を含む。電源部390は、処理部300、送受信部380及びUI部370を含むスマートフォン40の各部に電力を供給する。
UI部370は、ユーザ20とのユーザインタフェース(UI)を提供する。例えば、UI部370は、タッチパネル等の表示部、操作キー、音生成装置等を含む。
格納部360は、記憶媒体で実現される。記録媒体としては、揮発性記憶媒体、不揮発性記憶媒体等を例示できる。格納部360は、処理部300の動作に必要な各種のパラメータを格納する。また、格納部360は、処理部300で生成された各種の情報を格納する。
送受信部380は、メガネ100と無線通信する機能を担う。送受信部380は、Bluetooth(登録商標)等の近距離無線通信機能を有する通信用プロセッサで実現される。送受信部380と送受信部280とは、Bluetooth(登録商標)規格に従って無線通信を行う。なお、送受信部280と送受信部380との間の通信は、Bluetooth(登録商標)通信に限られない。送受信部280と送受信部380との間の通信は、例えば無線LAN等を含む様々な方式の無線通信で実現され得る。送受信部280と送受信部380との間の通信は、USB等を含む様々な方式の有線通信によって実現され得る。
送受信部380は、メガネ100から送信された眼電位を示す情報を受信する。また、送受信部380は、メガネ100から送信された加速度を示す情報を受信する。また、送受信部380は、メガネ100から送信された角速度を示す情報を受信する。具体的には、送受信部380は、送受信部280から受信した無線信号を受信して、受信した無線信号を復調して、V1の時系列データ、V2の時系列データ、加速度の時系列データ及び角速度の時系列データを含む受信データを生成する。送受信部380は、生成した受信データを、処理部300に出力する。
処理部300は、眼電位取得部310、加速度取得部320、角速度取得部322、ロック制御部330、相関取得部340及び解析部350を有する。
眼電位取得部310は、ユーザ20に装着された眼電位検出部で検出されたユーザ20の眼電位を取得する。具体的には、眼電位取得部310は、ユーザ20が装着しているメガネ100に設けられた第1電極151、第2電極152及び第3電極153で検出されたユーザ20の眼電位を取得する。より具体的には、眼電位取得部310は、送受信部380から出力された受信データからV1の時系列データ及びV2の時系列データを抽出することにより、メガネ100で検出された眼電位を取得する。
加速度取得部320は、メガネ100で検出された、メガネ100の加速度を取得する。具体的には、加速度取得部320は、送受信部380で受信した情報に基づいて、メガネ100で検出された加速度を取得する。より具体的には、加速度取得部320は、送受信部380から出力された受信データから加速度データを抽出することにより、メガネ100で検出された加速度を取得する。
角速度取得部322は、メガネ100で検出された、メガネ100の角速度を取得する。具体的には、角速度取得部322は、送受信部380で受信した情報に基づいて、メガネ100で検出された角速度を取得する。より具体的には、角速度取得部322は、送受信部380から出力された受信データから角速度データを抽出することにより、メガネ100で検出された角速度を取得する。
ロック制御部330は、眼電位取得部310が取得した眼電位が予め定められた条件を満たすと判断した場合に、情報処理装置のロック状態を解除する。相関取得部340は、ロック制御部330によって眼電位が予め定められた条件を満たすと判断された場合に、眼電位取得部310が取得した眼電位と、予め定められた条件に対応する視線方向とに基づいて、眼電位とユーザ20の視線方向との間の相関を取得する。
一例として、予め定められた条件に対応する視線方向は、ロック状態を解除するためにユーザ20が予め定められた順で見るべき第1位置及び第2位置の位置関係を規定する。そして、ロック制御部330は、第1タイミングで検出された第1の眼電位と第2タイミングで検出された第2の眼電位との間の眼電位の変化量が示す位置関係と、第1位置及び第2位置の位置関係とを比較することにより、眼電位取得部310が取得した眼電位が当該予め定められた条件を満たすか否かを判断する。例えば、ロック制御部330は、第1タイミングで検出された第1の眼電位と第2タイミングで検出された第2の眼電位との間の眼電位の変化量が示す位置関係と、第1位置及び第2位置の位置関係とが、予め定められた値より高い一致度で一致した場合に、眼電位取得部310が取得した眼電位が当該予め定められた条件を満たすと判断する。例えば、ロック制御部330は、第1タイミングで検出された第1の眼電位と第2タイミングで検出された第2の眼電位との間の眼電位の変化量が示す視線方向の方向と、第1位置から第2位置の変化方向とが、略一致した場合に、眼電位取得部310が取得した眼電位が当該予め定められた条件を満たすと判断する。
ロック制御部330は、表示部による表示領域内における第1位置及び第2位置にそれぞれ対応する位置に、マーカを表示させる。具体的には、ロック制御部330は、例えばパスコード入力画面42を表示させる。ロック制御部330は、眼電位に基づいて特定したユーザ20の視線方向の変化方向が、パスコード入力画面42に表示させたパスコードの表示位置の位置関係から期待される視線方向の変化方向と略一致している場合に、眼電位取得部310が取得した眼電位が予め定められた条件を満たすと判断する。
解析部350は、眼電位取得部310により取得された眼電位を解析する。具体的には、解析部350は、眼電位取得部310により取得された連続的な眼電位の情報を用いて、複数のタイミングにおけるユーザ20の状態を特定する。例えば、解析部350は、眼電位取得部310により取得された連続的な第1眼電位及び第2眼電位の情報を用いて、複数のタイミングにおけるユーザ20の状態を特定する。ユーザ20の状態としては、ユーザ20の視線方向等を例示できる。解析部350は、ユーザ20の視線方向を特定する視線方向特定部として機能する。
例えば、解析部350は、相関取得部340が取得した相関を示す情報を、相関取得部340から取得する。解析部350は、相関取得部340が取得した相関と、ロック状態が解除された後に検出された眼電位とに基づいて、ロック状態が解除された後におけるユーザ20の視線方向を特定する。このように、解析部350は、相関取得部340が取得した眼電位の相関情報と、眼電位取得部310により取得された連続的な眼電位の情報とを用いて、ユーザの視線方向を特定する。
また、解析部350は、特定したユーザ20の視線方向を解析して、ユーザ20の状態を特定する。また、解析部350は、第1眼電位又は第2眼電位に基づいて、瞬目の有無を特定する。また、解析部350は、視線方向及びユーザ20の瞬目状態を解析して、ユーザ20の状態を特定する。例えば、解析部350は、ユーザ20の状態として、ユーザ20に疲れ、痛み等が生じているか否かを判断する。解析部350は、ユーザ20に疲れ、痛み等が生じていると判断した場合、UI部370を通じてユーザ20に警告を発する。このように、解析部350が、相関取得部340が取得した相関と、ロック状態が解除された後に検出された眼電位とに基づいて、ユーザ20の状態を特定するので、解析部350は、ユーザ20の状態をきちんと特定できる。
また、解析部350は、特定したユーザ20の視線方向に基づいて、ユーザ20からの指示を特定する。例えば、スマートフォン40においては、視線方向の変化の組み合わせと、スマートフォン40に対する指示とが予め対応づけられている。解析部350は、予め定められた時間内に特定したユーザ20の視線方向の変化に適合する組み合わせに対応づけられている指示を、ユーザ20からの指示として特定する。処理部300は、ユーザ20からの指示に基づき、スマートフォン40の各部の動作を制御する。例えば、処理部300は、予め定められた再生順序で音楽を再生している場合に、解析部350によってユーザ20の視線方向に基づきユーザ20から次の曲を再生するよう指示されたことが特定されると、再生順序において現在再生中の次の順番の曲の再生を開始する。このように、解析部350が、相関取得部340が取得した相関と、ロック状態が解除された後に検出された眼電位とに基づいて、ユーザ20の指示を特定するので、解析部350は、スマートフォン40に対するユーザ20の指示をきちんと特定できる。これにより、ユーザ20は、ユーザ20の視線によって、スマートフォン40をきちんと操作することができる。
また、解析部350は、加速度取得部320により取得された加速度及び角速度取得部322により取得された角速度の少なくとも一方の情報を解析してユーザ20の動きを特定する。例えば、解析部350は、加速度及び角速度の少なくとも一方の情報に基づいて、ユーザ20の体部のランニングフォームを特定する。格納部360は、上述した眼電位の情報の解析結果と、特定したユーザ20の動きを示す情報とを対応づけて、格納部360に格納させる。UI部370は、格納部360に格納されているランニングフォームと視線方向とに基づくトータルのランニング姿勢を表す情報を、映像等によりユーザ20に提示してよい。例えば、UI部370は、ランニングフォームを表すアイコンとともに、ユーザ20の視線方向を示す矢印等のアイコンを、ユーザ20に提示してよい。
眼電位情報処理システム10によれば、スマートフォン40は、ユーザ20がスマートフォン40のロックを解除する動作をすることで、眼電位とユーザ20の視線方向との間の相関を取得できる。そのため、その後に検出される眼電位に基づいて、ユーザ20の視線方向をより正しく特定できる。
図4は、メガネ100が有する眼電位検出用電極とユーザ20との位置関係を概略的に示す。図4には、ユーザ20がメガネ100を装着している場合において、眼電位検出用電極がユーザ20に接触する位置である接触位置が示されている。
第1接触位置451は、第1電極151がユーザ20に接触する位置を表す。第2接触位置452は、第2電極152がユーザ20に接触する位置を表す。第3接触位置453は、第3電極153がユーザ20に接触する位置を表す。
第1接触位置451及び第2接触位置452は、右眼の眼球401の角膜411の中心及び左眼の眼球402の角膜412の中心より、下側に位置する。
第1接触位置451及び第2接触位置452は、第1接触位置451と眼球401との間の距離と、第2接触位置452と眼球402との間の距離とが略等しい位置にあることが望ましい。また、第1接触位置451及び第2接触位置452は、互いに一定の距離以上離間していることが望ましい。
第3接触位置453は、右眼の眼球401の角膜411の中心及び左眼の眼球402の角膜412の中心より、上側に位置する。第3接触位置453の位置は、第3接触位置453と第1接触位置451との間の距離と、第3接触位置453と第2接触位置452との間の距離とが略等しくなる位置にあってよい。第3接触位置453は、第3接触位置453と眼球401との間の距離が、眼球401と第1接触位置451との間の距離より離間し、かつ、第3接触位置453と眼球402との間の距離が、眼球402と第2接触位置452との間の距離より離間する位置にあってよい。
眼球においては、角膜側が正に帯電しており、網膜側が負に帯電している。したがって、ユーザ20の視線方向が上方に変化した場合、第3電極153を基準とした第1電極151の電位であるV1及び第3電極153を基準とした第2電極152の電位であるV2は、ともに低下する。ユーザ20の視線方向が下方に変化した場合、V1及びV2の電位はともに上昇する。ユーザ20の視線方向が右方に変化した場合、V1は低下し、V2は上昇する。ユーザ20の視線方向が左方に変化した場合、V1は上昇し、V2は低下する。解析部350は、V1の変化及びV2の変化に基づいて、視線方向が変化した方向を特定する。
なお、処理部200は、V1及びV2を検出することにより、右眼の眼電位及び左眼の眼電位を測定する。そのため、眼電位に加わるノイズの影響を軽減できる。
なお、ユーザ20の頭部を固定したとすると、ユーザ20の視線方向は、眼球401の向き及び眼球402の向きによって定まる。ユーザ20の視線方向は、ユーザ20の頭部の向きによっても変わるから、ユーザ20のグローバルな視線方向は、眼球401の向き、眼球401及びユーザ20の頭部の向きによって定まる。本実施形態の説明において、眼球401の向き及び眼球401の向きによって定まる視線方向のことを、単に視線方向という場合がある。
図5は、ユーザ20の視線方向の変化を概略的に示す。ここでは、眼球401の向きを取り上げる。特に、xz平面内における眼球401の向きを取り上げる。図5では、眼球401が角度θ1の方向を向いている状態から、眼球401がxz面内で回転した場合を示す。
眼球401が角度θ1の方向を向いている状態から、眼球401がxz面内で回転することで角膜411の位置が変化すると、角膜411の位置に応じてV1が変化する。解析部350は、V1の変化量に基づいて、眼球401の回転角度の変化量である角度変化量Δθ1を特定する。解析部350は、変化前の角度θ1と角度変化量Δθ1とに基づいて、回転後の眼球401の角度を特定する。具体的には、解析部350は、眼球401がθ1+Δθ1の角度を向いていると判断する。
本図においては、xy面内の回転角度について説明したが、他の面内の回転角度についても同様に特定できる。このように、解析部350は、V1の時間変化に基づいて眼球401の向きを特定する。なお、解析部350は、眼球401の角度に関する処理と同様の処理により、V2の時間変化に基づいて、眼球402の向きを特定する。
解析部350は、眼球401の向き及び眼球402の向きに基づいて、ユーザ20の視線方向を特定する。例えば、解析部350は、眼球401の向きのベクトルと、眼球402の向きのベクトルとを合成したベクトルが向く方向を、ユーザ20の視線方向として特定してよい。
なお、眼球401の向き及び眼球402の向きは、ユーザ20の視線方向を表す指標の一例である。また、ユーザ20の視線方向とは、眼球401の向きのベクトル及び眼球402の向きのベクトル等から定まる1つの視線方向であってよい。すなわち、解析部350は、V1及びV2から、当該1つの視線方向を特定してよい。この場合、解析部350は、眼球401の向き及び眼球402の向きを特定することなく、V1の変化量及びV2の変化量に基づく予め定められた演算を行うことで、1つの視線方向を特定してよい。例えば、解析部350は、V1の変化量及びV2の変化量と1つの視線方向の変化量とを対応づける予め定められた演算を行うことで、1つの視線方向を特定してよい。
なお、眼球401の向きは、角膜411の位置と言い換えることができる。また、眼球402の向きを、角膜412の位置と言い換えることができる。すなわち、解析部350は、メガネ100で検出された眼電位に基づき、ユーザ20の角膜の位置を特定してよい。また、眼球401の向きの変化を、眼球401の眼球運動と言い換えることができる。また、眼球402の向きの変化を、眼球運動と言い換えることができる。すなわち、解析部350は、メガネ100で検出された眼電位に基づき、ユーザ20の眼球運動を特定してよい。
図6は、UI部370が表示するパスコード入力画面42の一例を示す。ここでは、正しいパスコードとして、「123」が設定されているとする。パスコードは、ユーザ20が設定可能である。ユーザ20が設定したパスコードを示す情報は、格納部360に格納される。
ロック制御部330は、ユーザ20が設定したパスコードの数字「1」、「2」及び「3」をそれぞれ表すマークと、ユーザ20が設定したパスコードの数字以外の数字「4」、「5」、「6」、「7」、「8」及び「9」をそれぞれ表すマークとを、UI部370に表示させる。
パスコード入力画面42において、ユーザ20が、「1」の表示位置、「2」の表示位置及び「3」の表示位置をこの順番で見ることで、パスコードが解除され得る。ロック制御部330は、V1及びV2の変化を監視して、V1及びV2の変化方向に基づいて視線方向の変化を特定することで、ユーザ20が「1」の表示位置、「2」の表示位置及び「3」の表示位置を順に見たか否かを判断する。
図7は、眼電位の時間発展の一例を、ロック制御部330による制御内容とともに概略的に示す。ここでは、パスコード入力中において取得されたV1及びV2の時間発展の一例を概略的に示す。
グラフ601は、V1の時間発展を示す。グラフ602は、V2の時間発展を示す。グラフ601及びグラフ602の横軸は、時間を表す。グラフ601の縦軸はV1を表す。グラフ602の縦軸はV2を表す。
時刻t0において、UI部370は、パスコードロック画面を表示する。ロック制御部330は、V1及びV2を連続的に監視する。
時刻t1において、ロック制御部330は、V1が実質的に上昇し、V2が実質的に低下したと判断する。ロック制御部330は、時刻t1におけるV1の変化方向及びV2の変化方向に基づいて、時刻t1において、ユーザ20の視線方向が左方に変化したと判断する。ロック制御部330は、時刻t1の時点で、1番目に見るべきコードの表示位置をユーザ20が見ていると判断する。
続いて、時刻t2において、ロック制御部330は、V1が実質的に低下し、V2が実質的に上昇したと判断する。ロック制御部330は、時刻t2におけるV1の変化方向及びV2の変化方向に基づいて、時刻t2において、ユーザ20の視線方向が右方に変化したと判断する。そして、ロック制御部330は、時刻t2の時点で、2番目に見るべきコードの表示位置をユーザ20が見ていると判断する。
続いて、時刻t3において、ロック制御部330は、V1が実質的に上昇し、V2も実質的に上昇したと判断する。ロック制御部330は、時刻t3におけるV1の変化方向及びV2の変化方向に基づいて、時刻t2において、ユーザ20の視線方向が下方に変化したと判断する。そして、ロック制御部330は、時刻t3の時点で、3番目に見るべきコードの表示位置をユーザ20が見ていると判断する。
パスコード入力画面42では、パスコード「123」の位置関係は、「2」が「1」より右方にあり、「3」が「2」より下方にある。そのため、ユーザ20が正しいパスコードを視線入力した場合、ユーザ20の視線方向は、右方から下方に変化する。上述したように、時刻t2において右方に変化し、時刻t3において下方に変化しているので、ロック制御部330は、「123」の位置関係を満たす視線方向の変化が検出されたと判断して、正しいパスコードが入力されたと判断する。したがって、ロック制御部330は、時刻t3の後の時刻t4において、ロックを解除する。例えば、ロック制御部330は、ユーザ20がスマートフォン40に対して指示するメニューを表示するメニュー画面をUI部370に表示させる。
ここで、相関取得部340は、時刻t1におけるユーザ20の視線方向が「1」の表示位置を見る方向にあり、時刻t2におけるユーザ20の視線方向が「2」の表示位置を見る方向にあり、時刻t3におけるユーザ20の視線方向が「3」の表示位置を見る方向にあったと判断する。そして、相関取得部340は、「1」の表示位置と「2」の表示位置との間の視線方向の変化量と、V1の変化量及びV2の変化量との間の相関を、左右方向の相関として取得する。また、相関取得部340は、「2」の表示位置と「3」の表示位置との間の視線方向の変化量と、V1の変化量及びV2の変化量との間の相関を、上下方向の相関として取得する。これにより、相関取得部340は、互いに直交する方向の相関を取得する。
ロックが解除された後、時刻t5において、解析部350は、V1が実質的に上昇し、V2が実質的に低下したと判断する。ロック制御部330は、時刻t3におけるV1の変化方向及びV2の変化方向に基づいて、時刻t5において、ユーザ20の視線方向が左方に変化したと判断する。また、解析部350は、相関取得部340によって取得された左右方向の相関関係と、V1の変化量の大きさ及びV2の変化量の大きさとに基づいて、視線方向の左方向への変化量を算出する。そして、解析部350は、現在の視線方向が、当該変化量だけ変化したと判断する。例えば、時刻t3の時点から視線方向が変わっていないと判断できる場合、解析部350は、パスコード「3」の表示位置を向いている方向から、当該変化量だけ左方に変化した方向を、現在の視線方向として特定してよい。
なお、ロック制御部330は、パスコード入力画面を表示させる場合、各数字を表すマークの表示位置をランダムに決定してよい。ここで、ロック制御部330は、ユーザ20が設定したパスコードの数字を表す複数のマークの表示面内の位置関係が、全てのマークの任意の組み合せの表示面内の位置関係と相似にならないように、各マークの表示位置を決定してよい。例えば、図6に例示されるパスコード入力画面において、「1」「2」及び「3」のマークの位置関係については、他のどの組み合せでマークを選択しても、同じ位置関係の組合せは得られない。また、「1」「2」、「3」のマークの表示位置を順に結ぶ線で形成される図形の形状は、他の組み合せのマークの表示位置を順に結ぶ線で形成されるどの図形の形状とも異なる。このようにロック制御部330が各マークの表示位置を決定することで、ユーザ20の正確な視線方向を特定できない場合でも、視線方向の変化から正しいパスコードが入力されたか否かを判断できる場合がある。
なお、上述したパスコードの入力方法では、数字によってコードが識別される。コードを識別する情報としては、数字以外に、識別可能な任意の情報を適用できる。マークが表す表示内容が異なれば、ユーザ20はコードを識別できる。コードを識別する情報として、マークの形状、大きさ、色、明るさ等を適用できる。
なお、以上に説明したパスコード入力は、視線入力に限られない。UI部370がタッチパネル機能を持つ表示部を有する場合、ロック制御部330は、ユーザ20にタッチされたタッチ位置によって、ユーザ20が入力したコードを特定できる。タッチ操作によってコードを入力する場合、相関取得部340は、タッチされた位置をユーザ20が見ていると判断して、タッチされた位置と眼電位との相関を取得してよい。
また、以上に説明したパスコード入力によりロックを解除する方法は、ロックを解除する方法の一例である。ロックを解除する方法の他の例としては、ロック制御部330は、UI部370の表示領域内に表示させるマークの表示位置を時間的に移動させて、当該マークの表示位置をユーザ20の視線またはタッチ操作で追従させてよい。
例えば、ロック制御部330は、ユーザ20の視線方向の変化が、追従させるマークの表示位置の変化に適合していると判断した場合に、ロック状態を解除すると判断してよい。この場合、相関取得部340は、追従させるマークの表示位置の変化と、ユーザ20の視線方向の変化との相関に基づいて、眼電位と視線方向との間の相関を取得してよい。
以上に説明した眼電位情報処理システム10においては、V1及びV2を演算する処理は、処理部200が行う。これに代えて、スマートフォン40の解析部350が、V1及びV2を演算する処理を行ってよい。この場合、処理部200は、第1眼電位、第2眼電位及び第3眼電位のそれぞれの時系列データを生成し、送受信部280が第1眼電位、第2眼電位及び第3眼電位のそれぞれの時系列データをスマートフォン40に送信してよい。
また、以上に説明した眼電位情報処理システム10では、解析部350は、V1及びV2を用いて、ユーザ20の視線方向等のユーザ20の状態を特定する。他にも、解析部350は、V1及びV2の任意の線形結合を用いて、ユーザ20の状態を特定してよい。例えば、解析部350は、V1+V2と、V1−V2とを用いて、ユーザ20の状態を特定してよい。また、解析部350は、V1の時間微分と、V2の時間微分とを用いて、ユーザ20の状態を特定してもよい。また、解析部350は、視線方向を特定するための眼電位として、以上に説明したV1及びV2に代えて、接地電極154等の電位等の予め定められた基準電位を基準とした第1眼電位と、接地電極154の電位を基準とした第2眼電位とを適用してよい。
なお、加速度を検出する検出部の機能は、スマートフォン40が有してよい。また、角速度を検出する検出部の機能は、スマートフォン40が有してよい。
上記の説明において、スマートフォン40において処理部300、送受信部380の動作として説明した処理は、処理部300、送受信部380等のプロセッサがプログラムに従ってスマートフォン40が有する各ハードウェアを制御することにより実現される。このように、本実施形態のスマートフォン40に関連して説明した、スマートフォン40の少なくとも一部の処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータによって実現することができる。コンピュータは、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータは、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。同様に、メガネ100において処理部200、送受信部280の動作として説明した処理は、いわゆるコンピュータによって実現することができる。
眼電位情報処理システム10は、情報処理システムの一例である。スマートフォン40は、眼電位に限らず、種々の情報を処理してよい。また、スマートフォン40は、メガネ100で検出された眼電位等の情報を処理する情報処理装置の一例である。情報処理装置としては、通信機能を有する種々の電子機器であってよい。情報処理装置は、ユーザ20が所持する携帯電話機、携帯情報端末、携帯音楽プレーヤ等の携帯型の電子機器であってよい。
なお、アイウエアの一例としてのメガネ100は、ユーザ20の目の屈折異常を補正したり、ユーザ20の目を保護したり、着飾ったりすること等を目的として利用され得る。しかし、アイウエアはメガネに限定されない。アイウエアは、サングラス、ゴーグル、ヘッドマウントディスプレイなどの顔面装着具または頭部装着具であってよい。アイウエアは、顔面装着具または頭部装着具のフレームまたは当該フレームの一部であってもよい。アイウエアは、ユーザに装着され得る装着具の一例である。装着具は、アイウエア等の眼に関連する装着具に限られない。装着具としては、帽子、ヘルメット、ヘッドフォン、補聴器等の様々な部材を適用できる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。