JPWO2016136074A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザの眼球位置が表示面の視野中心に一致するように、機器の位置を調整させることが可能な情報処理装置を提供する。【解決手段】表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの眼球位置を推定する眼球位置推定部と、眼球位置に基づき特定される前記表示面での眼球位置と、前記表示面の視野中心とのずれ量を推定するずれ推定部と、推定された前記ずれ量に基づいて、前記表示面を備える機器の位置を調整するための操作指示を行う操作指示部と、を備える、情報処理装置が提供される。【選択図】図４

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

多様なコンテンツが表示される表示面に対するユーザの視線を検出し、検出された視線を各種の動作に利用する技術が提案されている。例えば、特許文献１には、ファインダーを覗き込むユーザの眼球に赤外帯域の光（赤外光）を照射し、その眼球からの反射光を検出器によって捉えることによりスルー画が表示される表示面に対するユーザの視線を検出するとともに、検出された視線を自動焦点調節（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に利用する撮像装置が開示されている。

近年、ヘッドマウントディスプレイやメガネ型端末等のウェアラブル端末の開発が急速に進んでいる。このようなユーザが装着してディスプレイを見るようなウェアラブル端末においてもユーザの視線を検出する技術は重要であり、検出された視線は、例えば、端末の操作情報として利用されたり、自動焦点調節の情報として用いられたりする。

特開平５−３３３２５９号公報

しかし、ユーザの眼球位置が、撮像装置やウェアラブル端末等の機器の表示面の視野中心から延びる光軸からずれていると、ユーザは、表示面に表示されている画像をきれいに見ることができない。また、ユーザの視線を精度よく検出することができない。

そこで、本開示では、ユーザの眼球位置が表示面の視野中心から延びる光軸上にあるように、機器の位置を調整させることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの眼球位置を推定する眼球位置推定部と、眼球位置に基づき特定される前記表示面での眼球位置と、前記表示面の視野中心とのずれ量を推定するずれ推定部と、推定された前記ずれ量に基づいて、前記表示面を備える機器の位置を調整するための操作指示を行う操作指示部と、を備える、情報処理装置が提供される。

また、本開示によれば、情報処理装置により、表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの眼球位置を推定すること、眼球位置に基づき特定される表示面での眼球位置と、表示面の視野中心とのずれ量を推定すること、推定されたずれ量に基づいて、表示面を備える機器の位置を調整するための操作指示を行うこと、とを含む、情報処理方法が提供される。

さらに、本開示によれば、コンピュータを、表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの眼球位置を推定する眼球位置推定部と、眼球位置に基づき特定される表示面での眼球位置と、表示面の視野中心とのずれ量を推定するずれ推定部と、推定されたずれ量に基づいて、表示面を備える機器の位置を調整するための操作指示を行う操作指示部と、を備える、情報処理装置として機能させるプログラムが提供される。

以上説明したように本開示によれば、ユーザの眼球位置が表示面の視野中心に位置するように、機器の位置を調整させることができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

電子ビューファインダーと接続された撮像装置を備える撮像システムの一例を示す概略斜視図である。 電子ビューファインダーの一構成例を示すｙｚ平面での概略断面図である。 電子ビューファインダーの光源基板の一構成例を示すｘｙ平面での概略断面図である。 同実施形態に係る情報処理装置である情報処理部の機能構成を示す機能ブロック図である。 同実施形態に係る情報処理部による操作指示処理を示すフローチャートである。 瞳孔角膜反射法を用いた光軸ベクトルの算出処理について説明するための説明図である。 同実施形態に係る操作指示部による操作指示の一例を示す説明図である。 本開示の第２の実施形態に係る眼鏡型のウェアラブル端末の概略構成を示す概略平面図であって、ユーザの顔面と対向する側の構成を示す。 同実施形態に係るウェアラブル端末が装着されたときの、ユーザの眼球とウェアラブル端末との位置関係を示す概略側面図である。 両眼の視線検出を行う場合の画像基準位置を説明する説明図である。 同実施形態に係る操作指示部による操作指示の一例を示す説明図である。 ウェアラブル端末を上下に移動させる上下操作指示オブジェクトの一例を示す説明図である。 ウェアラブル端末を回転させる回転操作指示オブジェクトの一例を示す説明図である。 ウェアラブル端末の左右の片側を前後に移動させる操作指示オブジェクトの一例を示す説明図である。 ウェアラブル端末を前後に移動させる操作指示オブジェクトの一例を示す説明図である。 同実施形態に係る情報処理装置のハードウェア構成を示すハードウェア構成図である

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態（ＥＶＦへの適用）
１．１．機器の装置構成
１．２．機能構成
１．３．眼球位置のずれを解消させるための操作指示処理
２．第２の実施形態（ウェアラブル端末への適用）
２．１．機器の装置構成
２．２．眼球位置のずれを解消させるための操作指示処理
２．３．操作指示オブジェクトのバリエーション
３．ハードウェア構成

本開示の一実施形態に係る情報処理装置は、表示部と、当該表示部の表示面を見ているユーザの視線を検出する視線検出装置を備える機器に適用される。例えば、情報処理装置は、電子ビューファインダーと接続された撮像装置や、ヘッドマウントディスプレイ、眼鏡型のウェアラブル端末等に適用され、各機器の表示面への眼球位置を調整させる。

情報処理装置は、ユーザの眼球位置が機器の表示面の視野中心にあるか否かを判定し、ユーザの眼球位置と表示面の視野中心とがずれている場合には、このずれが解消するようにユーザに機器を移動させる操作指示を行う。ユーザは、通知された操作指示に基づいて機器を移動して表示面の視野中心に眼球が位置するようにする。

ユーザの眼球位置を表示面の視野中心に合わせることで、視線検出装置による視線検出精度を高めることができ、表示部に表示されている画像をユーザはより鮮明に見ることができる。また、視線による機器の操作が可能な場合には、視線検出精度が高まることで、実際の視線方向と検出された視線方向とのずれが小さくなり、ユーザの意図する操作を正確に機能させることが可能となる。

以下、情報処理装の構成とこれによるユーザへの操作指示について、詳細に説明していく。

＜１．第１の実施形態＞
［１．１．機器の装置構成］
まず、図１〜図３を参照して、本開示の第１の実施形態として、本開示の情報処理装置を電子ビューファインダー（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、以下「ＥＶＦ」とする。）と接続された撮像装置に適用した場合について説明する。図１は、電子ビューファインダー１４と接続された撮像装置１２を備える撮像システム１０の一例を示す概略斜視図である。図２は、ＥＶＦ１４の一構成例を示すｙｚ平面での概略断面図である。図３はＥＶＦ１４の光源基板１４４の一構成例を示すｘｙ平面での概略断面図である。なお、以下の説明では、構成部材間の位置関係を表現するため、ｚ軸の正方向に対して、より上流の位置のことを「前段」とも呼称し、より下流の位置のことを「後段」とも称する。

本実施形態に係る情報処理装置は、例えば図１に示すように、撮像装置１２と、当該撮像装置１２に電気的に接続されたＥＶＦ１４とからなる撮像システム１０に適用される。ＥＶＦ１４は、撮像装置１２のレンズから入射した光がＣＣＤ等の撮像素子によって変換された画像データを、表示部１４１に表示させる。ユーザは、ＥＶＦ１４のアイカップ１４５を覗き込み、表示部１４１の表示面１４１ａに表示されるスルー画を観察しながら、撮影対象を映すアングルや、倍率、露出、焦点等の撮影条件を適宜調整する。これにより、ユーザは、所望の撮像画像を取得することができる。

より詳細に説明すると、ＥＶＦ１４は、図２及び図３に示すように、表示部１４１と、光路変更素子１４２と、ルーペユニット１４３と、光源基板１４４と、アイカップ１４５と、撮像部１４６とヒンジ１４７とを備える。図２に示すように、これらの構成部材のうち、表示部１４１、光路変更素子１４２、ルーペユニット１４３、光源基板１４４及びアイカップ１４５は、この順に１列に並ぶように配設される。ＥＶＦ１４は、アイカップ１４５がユーザ側に位置するように撮像装置１２に搭載される。

表示部１４１は、情報を表示する表示装置であって、例えば、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）装置やＬＥＤディスプレイ装置、液晶ディスプレイ装置等を用いて構成される。表示部１４１には、例えば、撮像装置１２によって撮像された撮影画像がスルー画として表示される。ユーザは、表示部１４１の表示面１４１ａに表示されたスルー画像を見ながら、撮像装置１２による撮影範囲や現在の撮影条件の設定等を確認することができる。

光路変更素子１４２は、表示部１４１の表示面１４１ａと対向するように配設される光学部材であり、一方向からの入射光を直線的に透過させるとともに、他方向からの光（又は光の一部）を所定の方向に反射させる。光路変更素子１４２としては、例えばビームスプリッタを用いることができる。光路変更素子１４２は、図２に示すように、表示部１４１の表示面１４１ａから入射した光を直線的に通過させ、ユーザの眼Ｅに入射させる。また、光路変更素子１４２は、ユーザの視線を検出するためにユーザの眼Ｅに照射された光の反射光を反射し、撮像部１４６へ導く。

ルーペユニット１４３は、光路変更素子１４２の後段に配設される光学部材であり、表示部１４１の表示面１４１ａに表示されている情報を拡大する。例えば、ルーペユニット１４３として、少なくとも１つの各種のレンズによって構成されるレンズ系を用いてもよい。

光源基板１４４は、ルーペユニット１４３の後段に配設される部材であり、ユーザの視線を検出するための要素を備えている。光源基板１４４の後段側の平面には、図３に示すように、略中央部に開口部１４９が形成されており、その開口部１４９の周囲に複数の光源１４８（１４８ａ〜１４８ｈ）が設けられている。開口部１４９は、ユーザが、アイカップ１４５を覗き込んだときに、光源基板１４４の前段側に設けられている表示部１４１の表示情報を観察することができるようにするために形成されている。光源１４８（１４８ａ〜１４８ｈ）は、アイカップ１４５を覗き込んでいるユーザの眼Ｅに対して光を照射する。光源１４８（１４８ａ〜１４８ｈ）としては、例えば可視光帯域以外の波長帯域（例えば、赤外線帯域）の光を発するＬＥＤを用いてもよい。可視光帯域以外の光を発する光源を用いることにより、当該光源からユーザの眼球に向かって光が照射されたとしても、ユーザによる表示部１４１の表示面１４１ａの観察を妨げることがない。

本実施形態では、図３に示すように、複数の光源１４８（１４８ａ〜１４８ｈ）は、ユーザの眼球に対して上下左右の方向から光を照射可能に配設されている。具体的には、複数の光源１４８（１４８ａ〜１４８ｈ）は、開口部１４９の上辺に対応する位置にＬＥＤ１４８ａ〜１４８ｃが配設され、開口部１４９の右辺に対応する位置にＬＥＤ１４８ｄが配設されている。また、開口部１４９の下辺に対応する位置にＬＥＤ１４８ｅ〜１４８ｇが配設され、開口部１４９の左辺に対応する位置にＬＥＤ１４８ｈが配設されている。

このように略四角形の開口部１４９の周囲を取り囲むように配設された光源１４８（１４８ａ〜１４８ｈ）は、制御回路（図示せず。）によって駆動される。制御回路は、ＥＶＦ１４と撮像装置１２との間で信号を送受信するコントローラ（図示せず。）に接続されている。コントローラから視線検出指示を受けた制御回路は、当該指示にしたがって光源１４８の発光制御を行う。なお、コントローラは、後述する撮像部１４６とも接続されており、制御回路に対して視線検出指示を出力したとき、撮像部１４６に対しても撮影指示を出力する。これにより、ユーザの眼Ｅに光源１４８から光が出射されている状態での眼の画像を取得することができる。

アイカップ１４５は、光源基板１４４の後段に配設され、ユーザが表示部１４１の表示面１４１ａを観察する際に、ユーザが覗き込み、当該ユーザの眼が接触する部材である。アイカップ１４５は、光軸方向（ｚ方向）に開口する開口部１４５ａを有している。ユーザは、アイカップ１４５の開口部１４５ａから、表示部１４１の表示面１４１ａを観察することができる。また、光源基板１４４に設けられた光源１４８から発せられた光は、アイカップ１４５の開口部１４５ａを介してユーザの眼Ｅに照射される。

撮像部１４６は、光源１４８から発せられた光がユーザの眼Ｅで反射された光（反射光）に基づく画像を取得する。撮像部１４６は、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサ等の撮像素子である。撮像部１４６は、受光面を構成する画素毎に受光した光量に応じた強度の信号に、当該受光面への入射光に応じた画像（撮像画像）を取得する。本実施形態においては、撮像部１４６は、光路変更素子１４２によって進行方向が変更された反射光を受光可能な位置に設けられる。撮像部１４６により、光源１４８から発せられた光の、ユーザの眼Ｅでの反射光を受光することで、ユーザの眼Ｅの撮像画像が取得される。この撮像画像に基づいて、ユーザの視線方向と眼球位置が検出される。

ヒンジ１４７は、撮像装置１２とＥＶＦ１４とを接続するための接続部材である。ヒンジ１４７は、例えば、撮像装置１２のハウジングとＥＶＦ１４のハウジングとを物理的に接続させるための公知の連結機構の部材であってもよい。ヒンジ１４７により、図１に示すように撮像装置１２とＥＶＦ１４とを接続することで、ユーザは、撮像装置１２に搭載されているファインダーと同様にＥＶＦ１４を使用することができる。

［１．２．機能構成］
次に、図４に基づいて、本実施形態に係る情報処理装置の機能構成について説明する。なお、図４は、本実施形態に係る情報処理装置である情報処理部１４０の機能構成を示す機能ブロック図である。

本実施形態に係る情報処理部１４０は、撮像装置１２に固定されたＥＶＦ１４を覗き込むユーザの眼Ｅの眼球位置が、表示面１４１ａの視野中心にある否かを判定する処理部である。情報処理部１４０は、例えば、図４に示すように、ＥＶＦ１４に備えられる。なお、情報処理部１４０は、ＥＶＦ１４以外の装置に設けてもよく、例えば、撮像装置１２とＥＶＦ１４とを接続するコントローラ（図示せず。）や、ＥＶＦ１４と信号の送受信可能に接続されたサーバ（図示せず。）等に設けてもよい。

本実施形態に係るＥＶＦ１４は、図４に示すように、光源１１０と、撮像部１２０と、制御部１３０と、情報処理部１４０と、表示部１５０と、記憶部１６０とを備える。なお、光源１１０は、図３の光源１４８（１４８ａ〜１４８ｈ）に相当し、撮像部１２０は、図２及び図３の撮像部１４６に相当する。また、制御部１３０は、光源１４８の発光制御を行う制御回路（図示せず。）や撮像部１４６を制御するコントローラ（図示せず。）に相当し、表示部１５０は、図２の表示部１４１に相当する。したがって、これらの機能の詳細な説明については省略する。

情報処理部１４０は、本実施形態に係る情報処理装置である。情報処理部１４０は、ユーザの眼球位置が機器の表示面の視野中心にあるか否かを判定し、ユーザの眼球位置と表示面の視野中心とがずれている場合には、このずれが解消するようにユーザに機器を移動させる操作指示を行う。具体的には、情報処理部１４０は、眼球位置推定部１４０ａと、ずれ推定部１４０ｂと、操作指示部１４０ｃとからなる。

眼球位置推定部１４０ａは、表示部１５０を見ているユーザの眼Ｅの位置を推定する。眼球位置推定部１４０ａは、ＥＶＦ１４のアイカップ１４５を覗き込むユーザの眼Ｅに光源１４８から照射された光の反射光を検出して得られたユーザの眼の撮像画像に基づいて、ユーザの視線方向（光軸ベクトル）と眼球位置を推定する。ユーザの視線方向は、例えば瞳孔角膜反射法を用いて推定される。なお、瞳孔角膜反射法を用いた視線方向の推定処理については後述する。眼球位置推定部１４０ａは、推定したユーザの眼球位置に関する情報を、ずれ推定部１４０ｂに出力する。

ずれ推定部１４０ｂは、眼球位置推定部１４０ａにより推定されたユーザの眼球の表示面における位置と、表示部１５０の表示面の視野中心とのずれ量を推定する。ずれ推定部１４０ｂは、推定されたユーザの視線方向に、予め設定された表示部１５０の表示面の視野中心があるか否かを判定する。このとき、表示面における眼球位置と表示面の視野中心との差を取り、ずれ量としてもよい。ずれ推定部１４０ｂは、ずれの有無に関する判定結果とずれ量とを、操作指示部１４０ｃへ出力する。

操作指示部１４０ｃは、ずれ推定部１４０ｂによる推定結果に基づいて、ユーザに対してずれ量をなくすように機器を移動して微調整させる操作指示を行う。操作指示部１４０ｃは、表示面における眼球位置と表示面の視野中心とのずれの状態から、このずれを解消するために、例えば、機器を上下や左右、前後に移動させる指示を行う。操作指示は、例えば表示部１５０に、操作指示内容を表示させて行う。操作指示部１４０ｃによる操作指示内容の具体例については、後述する。操作指示部１４０ｃは、決定した操作指示を制御部１３０に出力し、表示部１５０に表示させる。

記憶部１６０は、ＥＶＦ１４における各種処理を行う際に必要な情報を記憶する。記憶部１６０は、例えば、表示部１５０の表示面の視野中心や、ユーザに対する操作指示を行うための情報等を記憶する。

以上、本実施形態に係るＥＶＦ１４の機能構成について説明した。

［１．３．視線方向のずれを解消させるための操作指示処理］
本実施形態に係るＥＶＦ１４では、ユーザの眼球位置を表示面の視野中心に合わせることで、ユーザの視線検出精度を高めることができ、表示部に表示されている画像をユーザはより鮮明に見ることができるようになる。本実施形態に係るＥＶＦ１４は、上述の情報処理部１４０によって、眼球位置が表示面の視野中心に合っていない場合には、ユーザに対して、眼球位置が表示面の視野中心に合うようにするための操作指示を通知する。ユーザは、この操作指示にしたがって機器を操作することで、容易にこのずれを解消することができ、表示部１４１に表示されている情報をより鮮明に見ることが可能となる。

以下、図５〜図７に基づいて、本実施形態に係る情報処理部１４０による操作指示処理について説明する。なお、図５は、本実施形態に係る情報処理部１４０による操作指示処理を示すフローチャートである。図６は、瞳孔角膜反射法を用いた光軸ベクトルと眼球位置の算出処理について説明するための説明図である。図７は、同実施形態に係る操作指示部１４０ｃによる操作指示の一例を示す説明図である。

本実施形態に係る情報処理部１４０による機器の操作指示処理は、例えばＥＶＦ１４が機能している間、常時実行される。このように常時実行させておくことで、ユーザの眼球位置が表示面の視野中心から外れてしまったときに、生じたずれを解消するための操作指示をユーザに対してすぐに通知することができる。

（１）視線位置検出（Ｓ１００）
情報処理部１４０は、まず、図５に示すように、眼球位置推定部１４０ａにより、アイカップ１４５を覗き込むユーザの眼Ｅの、表示部１５０の表示面における視線位置を検出する（Ｓ１００）。眼球位置推定部１４０ａは、例えば瞳孔角膜反射法を用いて視線方向である光軸と眼球位置を検出する。

ここで、図６に基づいて、瞳孔角膜反射法を用いた光軸の推定処理について説明する。瞳孔角膜反射法では、表示部の表示面１４１ａを観察するユーザの眼球Ｅに対して光源１４８から光を照射し、撮像部１４６により光が照射された眼球Ｅを撮影する。そして、撮像部１４６により撮影された撮影画像１４６ａに基づき、光軸が推定される。ここでは説明を簡単にするため、１つの光源１４８により眼球Ｅを照射した場合を説明する。

図６に示すように、ユーザは、表示面１４１ａの視野中心Ｃ_０を見るように、表示面１４１ａを正面から見ているとする。このとき、光源１４８により眼球Ｅに対して光を照射し、撮像部１４６により眼球Ｅを撮影する。取得された眼球Ｅの撮影画像１４６ａには、図６に示すように、ユーザの眼球Ｅの角膜Ｅ４、虹彩Ｅ３及び瞳孔Ｅ３が撮影されている。また、撮影画像１４６ａでは、光源１４８から眼球Ｅに照射された照射光の輝点であるプルキニエ像（Ｐｕｒｋｉｎｊｅ Ｉｍａｇｅ）Ｐが撮影されている。

撮影画像１４６ａが取得されると、光軸の算出処理が行われる。光軸の算出処理は、眼球位置推定部１４０ａにより行われる。このため、まず、撮影画像１４６ａから瞳孔中心Ｓ及びプルキニエ像Ｐが検出される。これらの検出処理は、公知の画像認識技術により行うことができる。

例えば、瞳孔Ｅ３ａの像の検出処理においては、撮影画像１４６ａに対する各種の画像処理（例えば歪みや黒レベル、ホワイトバランス等の調整処理）、撮影画像１４６ａ内の輝度分布を取得する処理等が行われる。また、取得された輝度分布に基づいて瞳孔Ｅ３ａの像の輪郭（エッジ）を検出する処理や、検出された瞳孔Ｅ３ａの像の輪郭を円又は楕円等の図形で近似する処理等が行われてもよい。検出された瞳孔Ｅ３ａの像より、瞳孔中心Ｓを求めることができる。

また、プルキニエ像Ｐの検出処理においては、撮影画像１４６ａに対する各種の画像処理、撮影画像１４６ａ内の輝度分布を取得する処理、当該輝度分布に基づいて周囲の画素との輝度値の差が比較的大きい画素を検出する処理等の一連の処理が行われてもよい。また、検出されたプルキニエ像Ｐから、プルキニエ像Ｐの中心を検出してもよい。

次いで、瞳孔中心Ｓ及び角膜Ｅ４の曲率中心点Ｃの３次元座標が算出される。角膜Ｅ４の曲率中心点Ｃは、角膜Ｅ４を球の一部とみなした場合の当該球の中心である。瞳孔中心Ｓの３次元座標は、撮影画像１４６ａから検出された瞳孔Ｅ３ａの像に基づいて算出される。具体的には、撮像部１４６と眼球Ｅとの位置関係、角膜Ｅ４表面における光の屈折、角膜Ｅ４の曲率中心点Ｃと瞳孔中心Ｓとの距離等に基づき、撮影画像Ｅ３ａにおける瞳孔Ｅ３ａの像の輪郭上の各点の３次元座標が算出される。これらの座標の中心点が、瞳孔中心Ｓの３次元座標とされる。

また、角膜Ｅ４の曲率中心点Ｃは、撮影画像Ｅ３ａから検出されたプルキニエ像Ｐ及びその中心に基づいて算出される。具体的には、光源１４８と撮像部１４６と眼球Ｅとの位置関係、角膜Ｅ４の曲率半径等に基づき、撮像部１４６とプルキニエ像Ｐの中心とを結ぶ直線上において、角膜Ｅ４の表面から眼球Ｅの内部に向かって角膜Ｅ４の曲率半径だけ進んだ位置が、角膜Ｅ４の曲率中心点Ｃの３次元座標として算出される。

このように算出された角膜Ｅ４の曲率中心点Ｃと瞳孔中心Ｓとを結ぶ直線が、推定された光軸となる。すなわち、光軸と表示面１４１ａとが交差する位置の座標が、推定されたユーザの視線位置となる。なお、角膜Ｅ４の曲率中心点Ｃから瞳孔中心Ｓに向かうベクトルを光軸ベクトルｖｏとする。この光軸ベクトルｖｏがユーザの視線の方向となる。また、曲率中心点Ｃからｖｏの逆方向に向かった位置に眼球回旋点Ｒがある。眼球回旋点Ｒまでの距離は統計量を用いてもよいし、複数の点を見た時の光軸ベクトルｖｏの交差点から求めてもよい。これより、表示部の表示面１４１ａにおける眼球位置を特定することができる。

（２）ずれ量推定（Ｓ１１０）
眼球位置推定部１４０ａによりユーザの眼球位置が特性されると、ずれ推定部１４０ｂは、推定されたユーザの眼球位置と画面基準位置とのずれを推定する（Ｓ１１０）。画面基準位置は、ユーザの視線を向けたい表示面上の位置をいい、本実施形態では表示面１４１ａの視野中心Ｃ_０である。画面基準位置は予め設定されており、例えば記憶部１６０に記憶されている。ずれ推定部１４０ｂは、表示面１４１ａにおけるユーザの眼球位置と表示面１４１ａの視野中心Ｃ_０とについて座標の差分を取ることにより、これらのずれ量を得ることができる。

（３）操作要否判定（Ｓ１２０）
ステップＳ１１０にて推定されたユーザの眼球位置と表示面１４１ａの視野中心Ｃ_０とのずれを得ると、ずれ推定部１４０ｂは、そのずれ量が許容範囲内であるか否かを判定する（Ｓ１２０）。ずれ量の許容範囲は、例えば、撮像部１４６による撮影画像に基づく視線検出精度が許容範囲であるか否か、もしくは表示部を光学的に歪なく観察可能か否かに応じて決定され、予め記憶部１６０に記憶されている。ずれ推定部１４０ｂは、記憶部１６０を参照し、ステップＳ１１０で得たずれ量が許容範囲内であるか否かを判定する。ずれが許容範囲内である場合には、機器の位置調整は不要であるため、図５に示す処理を終了し、ＥＶＦ１４が起動している状態であれば、再度図５の処理の実行を開始する。

（４）機器の操作指示（Ｓ１３０）
一方、ステップＳ１２０にてずれが許容範囲内にないと判定した場合には、ユーザの眼球が表示面１４１ａの視野中心Ｃ_０から外れているため、操作指示部１４０ｃにより、生じたずれを解消するための操作指示をユーザに対して通知する（Ｓ１３０）。

図７に、ユーザの視線が表示面１４１ａの視野中心Ｃ_０からずれているときにユーザに通知される操作指示情報の一例を示す。図７左側に示すように、ＥＶＦ１４の表示面１４１ａに、スルー画２００が表示されているとする。ここで、ユーザが正面を向いているときに眼球位置が表示面１４１ａの視野中心Ｃ_０に一致していれば、ユーザはこのスルー画２００を鮮明に見ることができる。しかし、眼球位置が表示面１４１ａの視野中心Ｃ_０に合っていないときには、スルー画２００を鮮明に見ることができない。このような場合に、操作指示部１４０ｃは、ユーザに対して図７左側に示すような操作指示を行うためのオブジェクトを表示させる。

例えば、操作指示部１４０ｃは、操作指示情報として、ユーザの眼球位置を合わせたい位置である表示面１４１ａの視野中心Ｃ_０を表す目標オブジェクト２１２と、現在のユーザの眼球位置を表す眼球位置オブジェクト２１４とを表示する。目標オブジェクト２１２及び眼球位置オブジェクト２１４は、例えば図７に示すように眼の形状であってもよく、例えば円形や四角形、星形等、その他の形状であってもよい。ユーザは、目標オブジェクト２１２及び眼球位置オブジェクト２１４が表示されると、正面を向いているときの眼球位置がずれていることを認識し、目標オブジェクト２１２と眼球位置オブジェクト２１４とが一致するようにＥＶＦ１４を動かす。このとき、図７左側に示すように、ユーザへの操作指示として、「目の位置をファインダー中央に戻してください」といったメッセージオブジェクト２２０をスルー画２００に重畳して表示させてもよい。

これらのオブジェクト（目標オブジェクト２１２、眼球位置オブジェクト２１４及びメッセージオブジェクト２２０）による操作指示を受けて、ユーザは、ＥＶＦ１４を上下、左右、前後に動かす。例えば、図７左側に示すように目標オブジェクト２１２に対して左側に眼球位置オブジェクト２１４がずれているときには、ユーザは、ＥＶＦ１４を左側に移動させて、目標オブジェクト２１２と眼球位置オブジェクト２１４とを一致させる。このとき、ステップＳ１００〜Ｓ１２０の処理を繰り返し、ＥＶＦ１４の移動に伴う眼球位置オブジェクト２１４の表示位置も変化させることで、正しい方向に機器を移動させているかをユーザに認識させることができる。

そして、目標オブジェクト２１２と眼球位置オブジェクト２１４とが一致したとき、視線は表示面１４１ａの視野中心Ｃ_０に向いている状態となる。このように、ずれ推定部１４０ｂにより推定されたずれ量が許容範囲となり、ＥＶＦ１４を移動させる必要がなくなると、操作指示部１４０ｃは、図７右側に示すように、表示していた操作指示のオブジェクトを非表示とし、ユーザへの操作指示を終了する。また視野中心Ｃｏと目標オブジェクト２１２の位置が一致している場合は、眼球位置の代わりに角膜中心の位置を用いてもよい。

以上、本実施形態に係る情報処理部１４０による機器の操作指示処理について説明した。かかる処理によれば、ユーザの眼球位置が画面基準位置である表示面１４１ａの視野中心Ｃ_０の許容範囲外にあるときに、ユーザに機器を移動させて視線が表示面１４１ａの視野中心Ｃ_０を向くように操作させる操作指示を視覚的に通知する。これにより、ユーザは、視線が表示面１４１ａの視野中心Ｃ_０からずれたことを認識し、適切な状態とする操作を行うことができる。したがって、ユーザはＥＶＦ１４に表示されている画像を鮮明な状態で見ることができる。

＜２．第２の実施形態＞
次に、本開示の第２の実施形態として、本開示の情報処理装置を眼鏡型のウェアラブル端末に適用した場合について説明する。眼鏡型のウェアラブル端末は、第１の実施形態のＥＶＦ１４と比較して、両眼の視線を検出する点で相違する。しかし、各眼の視線検出方法及び画面基準位置からの視線位置のずれを解消するための処理については、第１の実施形態と同様に行うことができる。そこで、以下では、本実施形態に係る眼鏡型のウェアラブル端末の概略構成と、眼鏡型のウェアラブル端末に情報処理部１４０を適用した場合の眼球位置のずれを解消するための操作指示処理について、主として説明する。情報処理部１４０の機能構成は図４と同様であり、これによる操作指示処理は図５と同様であるため、これらについての詳細な説明は省略する。

［２．１．機器の装置構成］
まず、図８及び図９に基づいて、本開示の情報処理装置を適用する眼鏡型のウェアラブル端末（以下、単に「ウェアラブル端末」ともいう。）２０の構成について説明する。なお、図８は、本実施形態に係る眼鏡型のウェアラブル端末２０の概略構成を示す概略平面図であって、ユーザの顔面と対向する側の構成を示す。図９は、本実施形態に係るウェアラブル端末２０が装着されたときの、ユーザの眼球Ｅとウェアラブル端末２０との位置関係を示す概略側面図である。

眼鏡型のウェアラブル端末２０は、ユーザが頭部に装着し、眼と表示部とを対向させた状態で使用される装置である。なお、本実施形態では、眼鏡型のウェアラブル端末２０について説明するが、例えばヘッドマウントディスプレイにも適用可能である。本実施形態に係るウェアラブル端末２０は、図８に示すように、ユーザの眼と対向する面の、右眼及び左眼に対応する位置に、それぞれ表示部２３Ｒ、２３Ｌが設けられている。本実施形態に係る表示部２３Ｒ、２３Ｌは、略長方形に形成されている。なお、筐体２１には、表示部２３Ｒ、２３Ｌの間に、ユーザの鼻が位置する凹部２１１ａが形成されていてもよい。

表示部２３Ｒの周囲には、４つの光源２４Ｒａ、２４Ｒｂ、２４Ｒｃ、２４Ｒｄが、表示部２３Ｒの４つの辺の略中央にそれぞれ設けられている。同様に、表示部２３Ｌの周囲には、４つの光源２４Ｌａ、２４Ｌｂ、２４Ｌｃ、２４Ｌｄが、表示部２３Ｌの４つの辺の略中央にそれぞれ設けられている。これらの光源２４Ｒａ〜２４Ｒｄ、２４Ｌａ〜２４Ｌｄは、赤外光を発する光源からなる。各光源２４Ｒａ〜２４Ｒｄ、２４Ｌａ〜２４Ｌｄは、これらが設けられている表示部２４Ｒ、２４Ｌに対向しているユーザの眼球Ｅに対して、光を照射する。

また、表示部２３Ｒ、２３Ｌの周囲には、それぞれ、眼球Ｅを撮影する撮像部２５Ｒ、２５Ｌが設けられている。各撮像部２５Ｒ、２５Ｌは、例えば、図８に示すように、各表示部２３Ｒ、２３Ｌの下部（各表示部２３Ｒ、２３Ｌの下部に設けられた光源２４Ｒｃ、２４Ｌｃよりも下部側）に設けられる。撮像部２５Ｒ、２５Ｌは、図９に示すように、少なくとも撮影する眼球Ｅの瞳孔Ｅ３ａが撮影範囲に含まれるように配置される。例えば、撮像部２５Ｒ、２５Ｌは、所定の仰角θを有するように配置される。仰角θは、例えば約３０°としてもよい。

なお、ウェアラブル端末２０は、ユーザに装着されたとき、表示部２３Ｒ、２３Ｌがユーザの眼球Ｅから所定の距離だけ離れるように構成される。これにより、ウェアラブル端末２０を装着したユーザは、不快なく、表示部２３Ｒ、２３Ｌの表示領域を視野内に収めることができる。このとき、ユーザが眼鏡Ｇを装着している場合にも、その上から重ねてウェアラブル端末２０を装着可能なように、表示部２３Ｒ、２３Ｌとユーザの眼球Ｅとの距離を決定してもよい。撮像部２５Ｒ、２５Ｌは、この状態で、ユーザの眼球Ｅの瞳孔Ｅ３ａが撮影範囲に含まれるように配置される。

本実施形態に係るウェアラブル端末２０は、図８に示すように、左右の眼それぞれについて、表示部２３、光源２４、撮像部２５からなる表示検出ユニット２２Ｒ、２２Ｌを独立して移動可能に構成されている。表示検出ユニット２２Ｒ、２２Ｌは、例えば筐体２１の底面に設けられたスライド操作部２６Ｒ、２６Ｌによって左右に移動可能に構成されている。スライド操作部２６Ｒをスライドさせると、そのスライド方向に表示検出ユニット２２Ｒが移動し、スライド操作部２６Ｌをスライドさせると、そのスライド方向に表示検出ユニット２２Ｌが移動する。このように、各表示検出ユニット２２Ｒ、２２Ｌを独立して移動可能とすることで、ユーザに合った眼間で表示部２３Ｒ、２３Ｌを見ることができるように調整できる。

［２．２．視線方向のずれを解消させるための操作指示処理］
本実施形態に係るウェアラブル端末２０では、ユーザの右眼及び左眼の眼球位置を、表示部２３Ｒ、２３Ｌの視野中心にそれぞれ合わせるようにする。これにより、ユーザの視線検出精度を高めることができ、表示部２３Ｒ、２３Ｌに表示されている画像をユーザはより鮮明に見ることができるようになる。

ここで、本実施形態に係るウェアラブル端末２０のように両眼で画像を見る場合、ユーザが見る画像は、２つの画像から構成される。図１０に示すように、ウェアラブル端末２０の表示部の全体視野Ａが水平方向に−θ°〜θの範囲を有するとし、全体視野Ａの視野中心Ｃ_０がその中心（すなわち０°の位置）にあるとする。このとき、右眼用画像２００Ｒは、全体視野Ａのうち視野中心Ｃ_０を含む−α°〜θ°の範囲を構成し、左眼用画像２００Ｌは、全体視野Ａのうち視野中心Ｃ_０を含む−θ°〜α°の範囲を構成している。

このとき、ユーザの各眼の眼球位置は、対応する画像における全体視野Ａの視野中心Ｃ_０に一致するように調整される。上述の情報処理部１４０は、各眼の眼球位置が対応する表示面の視野中心に合っていないと判定した場合には、ユーザに対して、眼球位置が全体視野Ａにおける視野中心Ｃ_０に合うようにするための操作指示を通知する。ユーザは、この操作指示にしたがって、スライド操作部２６Ｒ、２６Ｌを操作したり、ウェアラブル端末２０自体を動かしたりする。これにより、機器に対する視線方向のずれを容易に解消することができ、表示部２３Ｒ、２３Ｌに表示されている情報をより鮮明に見ることが可能となる。

図５に示した情報処理部１４０による機器の操作指示処理のフローチャートに沿って、本実施形態に係るウェアラブル端末２０に対する操作指示処理の例を説明する。

（１）視線位置検出（Ｓ１００）
情報処理部１４０は、まず、図５に示すように、眼球位置推定部１４０ａにより、ウェアラブル端末２０を装着したユーザの右眼及び左眼の、表示部２３Ｒ、２３Ｌの表示面における視線位置を検出する（Ｓ１００）。眼球位置推定部１４０ａは、例えば瞳孔角膜反射法を用いて視線方向である光軸を推定することで、ユーザの眼球位置を検出する。瞳孔角膜反射法を用いた光軸の推定処理は、図６に基づき第１の実施形態にて説明した方法を用いてもよい。眼球位置推定部１４０ａは、瞳孔角膜反射法を用いて推定された光軸ベクトルｖｏによりユーザの眼球位置を特定し、表示部２３Ｒ、２３Ｌの表示面における眼球位置を特定することができる。

（２）ずれ量推定（Ｓ１１０）
眼球位置推定部１４０ａによりユーザの眼球位置が特定されると、ずれ推定部１４０ｂは、推定されたユーザの眼球位置と画面基準位置とのずれを推定する（Ｓ１１０）。画面基準位置は、本実施形態では全体視野Ａの視野中心Ｃ_０である。画面基準位置は予め設定されており、例えば記憶部１６０に記憶されている。ずれ推定部１４０ｂは、各表示部２３Ｒ、２３Ｌの表示面におけるユーザの眼球位置と全体視野Ａの視野中心Ｃ_０とについて座標の差分を取ることにより、左右の眼について、全体視野Ａの視野中心Ｃ_０に対する眼球位置のずれ量を得ることができる。

（３）操作要否判定（Ｓ１２０）
ステップＳ１１０にて推定されたユーザの眼球位置と各表示部２３Ｒ、２３Ｌの表示面の視野中心Ｃ_０とのずれを得ると、ずれ推定部１４０ｂは、そのずれ量が許容範囲内であるか否かを判定する（Ｓ１２０）。ずれ量の許容範囲は、例えば、撮像部１４６による撮影画像に基づく視線検出精度が許容範囲であるか否か、もしくは画面が光学的に歪なく観察可能か否かに応じて決定され、予め記憶部１６０に記憶されている。ずれ推定部１４０ｂは、記憶部１６０を参照し、ステップＳ１１０で得たずれ量が許容範囲内であるか否かを判定する。ずれが許容範囲内である場合には、機器の位置調整は不要であるため、図５に示す処理を終了し、ウェアラブル端末２０が起動している状態であれば、再度図５の処理の実行を開始する。

（４）機器の操作指示（Ｓ１３０）
一方、ステップＳ１２０にてずれが許容範囲内にないと判定した場合には、ユーザの眼球が各表示部２３Ｒ、２３Ｌの表示面の視野中心Ｃ_０から外れているため、操作指示部１４０ｃにより、生じたずれを解消するための操作指示をユーザに対して通知する（Ｓ１３０）。

図１１に、ユーザの眼球位置が表示面の視野中心Ｃ_０からずれているときにユーザに通知される操作指示情報の一例を示す。図９に示すスルー画２００は、全体視野に表示されている画像である。ユーザが正面を向いているときに左右の眼の視線がともに表示面の視野中心Ｃ_０に一致していれば、ユーザはこのスルー画２００を鮮明に見ることができる。しかし、左右の眼のいずれかの眼球位置が表示面の視野中心Ｃ_０に合っていないときには、スルー画２００を鮮明に見ることができない。このような場合に、操作指示部１４０ｃは、ユーザに対して図１１左側に示すような操作指示を行うためのオブジェクトを表示させる。

例えば、操作指示部１４０ｃは、操作指示情報として、表示検出ユニット２２Ｒ、２２Ｌを左右にスライドさせるスライド操作部２６Ｒ、２６Ｌの操作方向を示すスライド指示オブジェクト２３０を、スルー画２００に重畳して表示させる。例えば、ずれ推定部１４０ｂによるずれ量を推定した結果、右眼の眼球位置が視野中心Ｃ_０に対して左側にあると判定されたとする。このとき、図１１に示すように、右眼の表示検出ユニット２２Ｒを左側に移動させるよう、スライド操作部２６Ｒを左側に移動させることを説明する画像がスライド指示オブジェクト２３０として表示部に表示される。

ユーザは、スライド指示オブジェクト２３０が表示されると、正面を向いているときの右眼の眼球位置がずれていることを認識し、スライド操作部２６Ｒを左側に移動させる。このとき、図７左側に示したように、ユーザへの操作指示として、「右側のスライド操作部を左に移動させてください」といったメッセージオブジェクトをスルー画２００に重畳して表示させてもよい。ユーザがスライド操作部２６Ｒを左側に移動させて、右眼の眼球位置が表示面の視野中心Ｃ_０に一致している状態となると、操作指示部１４０ｃは、図１１右側に示すように、表示していたスライド指示オブジェクト２３０を非表示とし、ユーザへの操作指示を終了する。

以上、本実施形態に係る情報処理部１４０による機器の操作指示処理について説明した。かかる処理によれば、ユーザの視線が画面基準位置である表示面の視野中心Ｃ_０の許容範囲外にあるときに、ユーザに機器を操作させて眼球位置が表示面の視野中心Ｃ_０に位置するように操作させる操作指示を視覚的に通知する。これにより、ユーザは、眼球位置が表示面の視野中心Ｃ_０からずれたことを認識し、適切な状態とする操作を行うことができる。したがって、ユーザはウェアラブル端末２０に表示されている画像を鮮明な状態で見ることができる。

［２．３．操作指示オブジェクトのバリエーション］
ユーザの眼球位置が表示面の視野中心から外れて生じたずれを解消させるための操作指示オブジェクトは、上述したスライド指示オブジェクト２３０以外にも、以下のようなオブジェクトであってもよい。

例えば、図１２に示すように、ユーザの左右の眼球位置が、表示面の視野中心に対して上方または下方にずれている場合には、ウェアラブル端末２０を上下に移動させる上下操作指示オブジェクト２３１を表示させてもよい。上下操作指示オブジェクト２３１としては、例えば図１２左側に示すように、ウェアラブル端末２０の模式図とその移動方向を示す矢印とからなる上下操作指示オブジェクト２３１ａを表示させてもよい。あるいは、図１２右側に示すように、ウェアラブル端末２０の模式図を上下操作指示オブジェクト２３１ｂとして現在の眼球位置に対して逆方向に表示し、表示面の視野中心に対応して表示された右眼及び左眼の目標オブジェクト２３２を表示してもよい。このとき、ユーザは、目標オブジェクト２３２がウェアラブル端末２０の模式図の表示部に合うように移動させるようにウェアラブル端末２０を移動させる。

また、例えば、図１３に示すように、ユーザの左右の視線方向が、表示面の視野中心に対して回転してずれていた場合には、ウェアラブル端末２０の傾きを解消するように回転させる回転操作指示オブジェクト２３３を表示させてもよい。回転操作指示オブジェクト２３３としては、例えば図１３左側に示すように、ウェアラブル端末２０の模式図とその回転方向を示す矢印とからなる回転操作指示オブジェクト２３３ａを表示させてもよい。あるいは、図１３右側に示すように、現在の視線方向に対応して回転されたウェアラブル端末２０の模式図を回転操作指示オブジェクト２３３ｂとして表示してもよい。このとき、ユーザは、傾いて表示されている回転操作指示オブジェクト２３３ｂの傾きがなくなるようにウェアラブル端末２０を回転させる。

さらに、例えば、図１４に示すように、ウェアラブル端末２０の各眼の表示面に対して対応する眼球からの距離が異なることもある。この場合、ウェアラブル端末２０の左右の奥行きが異なるため、この奥行のずれを解消するための操作指示オブジェクト２３５を表示させてもよい。操作指示オブジェクト２３５としては、例えば図１４左側に示すように、ウェアラブル端末２０の模式図とその移動方向を示す矢印とからなる操作指示オブジェクト２３５ａを表示させてもよい。あるいは、図１４右側に示すように、現在の奥行きの相違を表したウェアラブル端末２０の模式図を操作指示オブジェクト２３５ｂとして表示してもよい。このとき、ユーザは、操作指示オブジェクト２３５ｂの奥行きが等しくなるようにウェアラブル端末２０を移動させる。

また、例えば、図１５に示すように、ウェアラブル端末２０の各眼の表示面と対応する眼球との距離が、好適な距離からずれていることもある。この場合、ウェアラブル端末２０の左右の奥行きは等しいが、より顔面に近づけたり離したりして、ウェアラブル端末と眼との距離を適切な位置に調整するのがよい。この場合、ウェアラブル端末２０の前後のずれを解消するための操作指示オブジェクト２３７を表示させてもよい。操作指示オブジェクト２３７としては、例えば図１５左側に示すように、ウェアラブル端末２０の模式図とその移動方向を示す矢印とからなる操作指示オブジェクト２３７ａを表示させてもよい。あるいは、図１５右側に示すように、現在の奥行きでのウェアラブル端末２０の模式図を操作指示オブジェクト２３７ｂとして表示し、操作指示オブジェクト２３７ｂを移動させる目標とする位置に目標オブジェクト２３８を表示してもよい。このとき、ユーザは、操作指示オブジェクト２３７ｂの大きさが目標オブジェクト２３８と等しくなるようにウェアラブル端末２０を前後に移動させる。

なお、図１２〜図１５では、情報処理部１４０による操作指示処理をウェアラブル端末２０に適用した場合のオブジェクトの例を示したが、図１４を除き、第１の実施形態で示したＥＶＦ１４に適用する場合にも同様のオブジェクトを表示させることも可能である。

また、操作指示オブジェクトは、視覚的にユーザに操作指示内容を通知できるものであればよく、上述の例に限定されるものではない。例えば、操作指示オブジェクトとして、機器の具体的なずれ量あるいは移動量をテキスト表示してもよい。

＜３．ハードウェア構成＞
最後に、本実施形態に係る情報処理部１４０のハードウェア構成例について説明する。図１６は、本実施形態に係る情報処理部１４０のハードウェア構成を示すハードウェア構成図である。なお、上述の実施形態では、情報処理部１４０はＥＶＦ１４やウェアラブル端末２０に備えられているものとして説明したが、例えば、以下に示すような情報処理装置に情報処理部１４０を設け、上述の機器と通信可能とすることで、上記操作指示処理を実行することも可能である。

本実施形態に係る情報処理部１４０は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理部１４０は、図１６に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理部１４０は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理部１４０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

ストレージ装置９０８は、情報処理部１４０の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理部１４０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの視線方向と眼球位置を推定する眼球位置推定部と、
前記眼球位置に基づき特定される前記表示面での眼球位置と、前記表示面の視野中心とのずれ量を推定するずれ推定部と、
推定された前記ずれ量に基づいて、前記表示面を備える機器の位置を調整するための操作指示を行う操作指示部と、
を備える、情報処理装置。
（２）
前記操作指示部は、前記表示面での眼球位置と前記表示面の視野中心とのずれ量を解消する方向へ前記機器を移動させるようにユーザに指示する操作指示オブジェクトを、前記表示面に表示させる、前記（１）に記載の情報処理装置。
（３）
前記操作指示部は、前記表示面の視野中心を示す目標オブジェクトと、前記表示面での眼球位置を示すオブジェクトとを、前記表示面に表示させる、前記（２）に記載の情報処理装置。
（４）
前記操作指示部は、前記表示面での眼球位置と前記表示面の視野中心とのずれ量を解消させるための前記機器の操作方法を操作指示オブジェクトにより通知する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記操作指示部は、前記表示面での眼球位置と前記表示面の視野中心とのずれ量が所定値以下となったとき、前記表示面に表示された前記操作指示オブジェクトを非表示にする、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記機器は、電子ビューファインダーが接続された撮像装置である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記機器は、少なくとも前記ユーザの眼の前面を覆う眼鏡型のウェアラブル端末である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（８）
情報処理装置により、
表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの視線方向と眼球位置を推定すること、
前記眼球位置に基づき特定される前記表示面での眼球位置と、前記表示面の視野中心とのずれ量を推定すること、
推定された前記ずれ量に基づいて、前記表示面を備える機器の位置を調整するための操作指示を行うこと、
とを含む、情報処理方法。
（９）
コンピュータを、
表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの視線方向と眼球位置を推定する眼球位置推定部と、
前記視線方向に基づき特定される前記表示面での眼球位置と、前記表示面の視野中心とのずれ量を推定するずれ推定部と、
推定された前記ずれ量に基づいて、前記表示面を備える機器の位置を調整するための操作指示を行う操作指示部と、
を備える、情報処理装置として機能させるプログラム。

１０ 撮像システム
１２ 撮像装置
１４ 電子ビューファインダー（ＥＶＦ）
２０ ウェアラブル端末
２２Ｌ、２２Ｒ 表示検出ユニット
２３Ｒ、２３Ｌ 表示部
２４ 光源
２５Ｒ、２５Ｌ 撮像部
２６Ｒ、２６Ｌ スライド操作部
１１０ 光源
１２０ 撮像部
１３０ 制御部
１４０ 表示部
１４０ 情報処理部
１４０ 推定部
１４０ａ 眼球位置推定部
１４０ｂ 推定部
１４０ｃ 操作指示部
１４１ 表示部
１４１ａ 表示面
１４６ 撮像部
２１２ 目標オブジェクト
２１４ 眼球位置オブジェクト
２２０ メッセージオブジェクト
２３０ スライド指示オブジェクト
２３１ 上下操作指示オブジェクト
２３２ 目標オブジェクト
２３３ 回転操作指示オブジェクト
２３５ 操作指示オブジェクト
２３７ 操作指示オブジェクト
２３８ 目標オブジェクト

Claims (9)

1. 表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの眼球位置を推定する眼球位置推定部と、
   前記眼球位置に基づき特定される前記表示面での視線位置と、前記表示面の視野中心とのずれ量を推定するずれ推定部と、
   推定された前記ずれ量に基づいて、前記表示面を備える機器の位置を調整するための操作指示を行う操作指示部と、
   を備える、情報処理装置。
2. 前記操作指示部は、前記表示面での眼球位置と前記表示面の視野中心とのずれ量を解消する方向へ前記機器を移動させるようにユーザに指示する操作指示オブジェクトを、前記表示面に表示させる、請求項１に記載の情報処理装置。
3. 前記操作指示部は、前記表示面の視野中心を示す目標オブジェクトと、前記表示面での眼球位置を示すオブジェクトとを、前記表示面に表示させる、請求項２に記載の情報処理装置。
4. 前記操作指示部は、前記表示面での眼球位置と前記表示面の視野中心とのずれ量を解消させるための前記機器の操作方法を操作指示オブジェクトにより通知する、請求項１に記載の情報処理装置。
5. 前記操作指示部は、前記表示面での眼球位置と前記表示面の視野中心とのずれ量が所定値以下となったとき、前記表示面に表示された前記操作指示オブジェクトを非表示にする、請求項２に記載の情報処理装置。
6. 前記機器は、電子ビューファインダーが接続された撮像装置である、請求項１に記載の情報処理装置。
7. 前記機器は、少なくとも前記ユーザの眼の前面を覆う眼鏡型のウェアラブル端末である、請求項１に記載の情報処理装置。
8. 情報処理装置により、
   表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの眼球位置を推定すること、
   前記眼球位置に基づき特定される前記表示面での眼球位置と、前記表示面の視野中心とのずれ量を推定すること、
   推定された前記ずれ量に基づいて、前記表示面を備える機器の位置を調整するための操作指示を行うこと、
   とを含む、情報処理方法。
9. コンピュータを、
   表示面を見ているユーザの眼に光が照射されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法によりユーザの眼球位置を推定する眼球位置推定部と、
   前記眼球位置に基づき特定される前記表示面での眼球位置と、前記表示面の視野中心とのずれ量を推定するずれ推定部と、
   推定された前記ずれ量に基づいて、前記表示面を備える機器の位置を調整するための操作指示を行う操作指示部と、
   を備える、情報処理装置として機能させるプログラム。

Images