JP6677239B2 - 情報処理装置、制御方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、制御方法、およびプログラムに関する。

従来から、人間や動物の眼（具体的には、瞳孔、角膜）を撮影して視線および注視点を検出したり、眼球運動を検出する電極を頭部に装着させて視線および注視点を検出したりといった視線検出技術が提案されている。このような視線検出技術を用いることにより、視線や注視点の位置および動きに基づいた操作入力（いわゆる視線入力）が可能となる。

また、視線検出技術の精度を高めるため、使用者の視線の個人差を補正する視線キャリブレーションに関する技術も提案されている。例えば、下記特許文献１では、観察面上の任意の位置に視標（すなわちキャリブレーションマーカー）を表示して使用者の視線を誘導し、視線誘導前後の視線位置に基づいて、使用者の眼球の個人差による検出誤差を補正するための個人差補正データを取得するキャリブレーション技術が提案されている。

特開２００１−４９０６号公報

しかしながら、上記特許文献１に開示されているような従来のキャリブレーション技術では、装置の本来の目的を遂行するための操作や作業と無関係な、キャリブレーションのためだけの操作や作業をユーザに行わせるため、ユーザにとって負担や苦痛となっていた。

そこで、本開示では、視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能な情報処理装置、制御方法、およびプログラムを提案する。

本開示によれば、ユーザ操作に伴う注視対象の位置を認識する認識部と、ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、を備える情報処理装置を提案する。

本開示によれば、ユーザ操作に伴う注視対象の位置を認識することと、ユーザ操作時におけるユーザの視線位置を検出することと、前記認識された注視対象の位置と、前記視線位置とに基づいて、視線検出調整部により視線検出の調整を行うことと、を含む制御方法を提案する。

本開示によれば、コンピュータを、ユーザ操作に伴う注視対象の位置を認識する認識部と、ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、として機能させるためのプログラムを提案する。

以上説明したように本開示によれば、視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

第１の実施形態による指示体がポインタの場合における視線検出キャリブレーションについて説明する図である。 第１の実施形態による情報処理システムの構成を示す図である。 第１の実施形態による他の情報処理システムの構成を示す図である。 第１の実施形態による指示体がポインタの場合における視線検出キャリブレーションの動作処理を示すフローチャートである。 第１の実施形態による指示体がコントローラの場合における視線検出キャリブレーションについて説明する図である。 第１の実施形態による指示体がコントローラの場合における視線検出キャリブレーションの動作処理を示すフローチャートである。 第１の実施形態による指示体が指先の場合における視線検出キャリブレーションについて説明する図である。 第１の実施形態による指示体が指先の場合における視線検出キャリブレーションの動作処理を示すフローチャートである。 第２の実施形態による注視対象が実物体の場合における視線検出キャリブレーションについて説明する図である。 第２の実施形態による情報処理システムの構成を示す図である。 第２の実施形態による他の情報処理システムの構成を示す図である。 第２の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。 第３の実施形態による視線検出キャリブレーションについて説明する図である。 第３の実施形態による他の情報処理システムの構成を示す図である。 第３の実施形態によるパスコード解除処理を示すフローチャートである。 図１５に示すパスコード解除処理中に行われる視線検出キャリブレーションの動作処理を示すフローチャートである。 第４の実施形態による視線検出キャリブレーションについて説明する図である。 第４の実施形態による情報処理システムの構成を示す図である。 第４の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。 第５の実施形態による視線検出キャリブレーションについて説明する図である。 第５の実施形態による情報処理システムの構成を示す図である。 第５の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。 第６の実施形態による視線検出キャリブレーションについて説明する図である。 第６の実施形態による情報処理システムの構成を示す図である。 第６の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による視線検出キャリブレーションの概要
２．各実施形態
２−１．第１の実施形態
２−１−１．ポインタを用いた場合における視線検出キャリブレーション
２−１−２．コントローラを用いた場合における視線検出キャリブレーション
２−１−３．指先を用いた場合における視線検出キャリブレーション
２−２．第２の実施形態
２−３．第３の実施形態
２−４．第４の実施形態
２−５．第５の実施形態
２−６．第６の実施形態
３．まとめ

＜＜１．本開示の一実施形態による視線検出キャリブレーションの概要＞＞
本開示の一実施形態による視線検出キャリブレーションは、装置本来の目的を遂行するためのユーザ操作時の注視対象の位置を認識し、認識した注視対象の位置と、操作時のユーザの視線位置とに基づいて、視線検出の調整（すなわちキャリブレーション）を行う。これにより、従来のような視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能となる。

以下、このような視線検出キャリブレーションを実現する本開示による情報処理システムについて、複数の実施形態を用いて具体的に説明する。

＜＜２．各実施形態＞＞
＜２−１．第１の実施形態＞
まず、指示体を用いたユーザ操作時における視線検出キャリブレーションについて説明する。本実施形態による情報処理装置２０は、ユーザの注視対象を認識し、当該注視対象にユーザが指示体を移動させた際のユーザの視線位置を検出して、注視対象の位置と視線位置とのずれに基づいて、視線検出キャリブレーションを行う。指示体は、画面上に表示された操作対象オブジェクトの一例であるポインタ（すなわち仮想物体）であってもよいし、ユーザが把持する操作対象物体の一例であるコントローラ（すなわち実物体）であってもよいし、ジェスチャー入力が可能な場合はユーザの指先であってもよい。以下、各指示体を用いたユーザ操作時における視線検出キャリブレーションについて、図１〜図８を参照して説明する。

（２−１−１．ポインタを用いた場合における視線検出キャリブレーション）
指示体の一例として、画面上に表示されたポインタが挙げられる。ユーザは、ポインタを所定のアイコンの表示領域に移動させることで、アイコンを選択し、アイコンに応じたアプリケーション処理を実行させる。このような状況について図１を参照して説明する。

（概要）
図１は、第１の実施形態による指示体がポインタの場合における視線検出キャリブレーションについて説明する図である。図１に示すように、例えばスクリーン３１に表示されたポインタ５０を視線で操作するシステムにおいて、利用者であるユーザは、当該システムの利用開始操作としてポインタ５０を指先やリモートコントローラ等でスクリーン３１に表示されたスタートアイコン４０に移動させる。ユーザの指先の位置や視線位置Ｐは、スクリーン３１の近傍に設置されたカメラ１０−１ａにより撮像された撮像画像に基づいて検出される。

このような利用開始操作の際、ユーザはスタートアイコン４０を目視で確認し（視線Ｓ）、ポインタ５０をスタートアイコン４０の表示領域に移動させていることが想定される。したがって、ポインタ５０をスタートアイコン４０の表示領域に移動させた際に検出された視線位置Ｐと、注視対象であるスタートアイコン４０の表示領域（の中心位置）とのずれに基づいて、視線検出キャリブレーションを行うことが可能である。かかる視線検出キャリブレーションを実現するシステム構成の一例を図２に示す。

（構成）
図２は、第１の実施形態による情報処理システム１０１ａの構成を示す図である。図２に示すように、情報処理システム１０１ａは、カメラ１０−１ａ、情報処理装置２０−１ａ、および表示装置３０−１ａを含む。

カメラ１０−１ａは、例えばステレオカメラであって、スクリーン３１の前面に存在するユーザの顔や身体を撮像し、撮像画像を情報処理装置２０−１ａに出力する。

表示装置３０−１ａは、情報処理装置２０−１ａの制御に従って画像を出力する機能を有する。表示装置３０−１ａは、例えば液晶ディスプレイにより実現されてもよいし、画像を投影するプロジェクターにより実現されてもよい。図１に示す例では、表示装置３０−１ａは、プロジェクター（不図示）により実現され、スクリーン３１に画像を投影する。

情報処理装置２０−１ａは、カメラ１０−１ａから取得した撮像画像に基づいてユーザの視線を検出し、視線に応じて表示装置３０−１ａで表示されるポインタ５０の操作等を行う視線操作機能を有する。また、情報処理装置２０−１ａは、ユーザによる通常の操作に伴い、個人差による視線検出誤差を補正する視線検出キャリブレーションを行うことが可能である。

具体的には、情報処理装置２０−１ａは、図２に示すように、指示位置検出部２１−１ａ、アプリケーション処理部２２−１ａ、視線検出部２３−１ａ、視線検出調整部２４−１ａを有する。

指示位置検出部２１−１ａは、スクリーン３１の表示画面に対するユーザによる指示位置を検出する。例えば指示位置検出部２１−１ａは、カメラ１０−１ａにより撮像された撮像画像に基づいて、ユーザの指先を認識し、指先で指示しているスクリーン３１の表示画面上の位置を検出し、検出した座標位置をアプリケーション処理部２２−１ａに出力する。また、ユーザがジャイロリモートコントローラを用いて指示している場合、リモートコントローラに搭載されたジャイロセンサで検知されたセンサ値に基づいてリモートコントローラの動きを認識し、ジャイロリモートコントローラで指示しているスクリーン３１の表示画面上の位置を検出し、検出した座標位置をアプリケーション処理部２２−１ａに出力する。また、ユーザが赤外線リモートコントローラを用いて指示している場合、リモートコントローラから発光される赤外線に基づいてリモートコントローラの動きを認識し、赤外線リモートコントローラで指示しているスクリーン３１の表示画面上の位置を検出し、検出した座標位置をアプリケーション処理部２２−１ａに出力する。

アプリケーション処理部２２−１ａは、ユーザの視線に応じて、表示装置３０−１ａにより表示される画面中のポインタ５０の制御を行う。また、アプリケーション処理部２２−１ａは、指示位置検出部２１−１ａにより検出された指示位置の座標位置に応じて、表示画面中のポインタの表示位置を制御する。また、アプリケーション処理部２２−１ａは、ポインタ５０がアイコンを選択した場合、当該アイコンに対応する処理を実行する。例えば図１に示すようなスタートアイコン４０の表示領域にポインタ５０が移動した場合、ポインタ５０を視線で操作するシステムの利用開始処理を行う。また、アプリケーション処理部２２−１ａは、表示画面中のアイコン（注視対象の一例）の座標位置を認識する認識部としても機能する。

視線検出部２３−１ａは、カメラ１０−１ａから取得したユーザの眼の撮像画像に基づいて視線（具体的には、視線方向または視線位置等）を検出する。

視線検出調整部２４−１ａは、アプリケーション処理部２２−１ａから、注視対象であるスタートアイコン４０の表示位置および表示領域（アイコンのサイズ）と、ユーザ操作に応じて移動するポインタ５０の位置を取得し、スタートアイコン４０の表示領域内にポインタ５０が一定時間止まったか否かに基づいて視線検出キャリブレーションの実行判定を行う。また、視線検出調整部２４−１ａは、ポインタ５０がスタートアイコン４０の表示領域内に止まっている間に視線検出部２３−１ａから継続的にサンプリングされた視線位置Ｐと、スタートアイコン４０の表示位置とに基づいて、視線検出キャリブレーションを行う。具体的には、検出された視線位置Ｐとスタートアイコン４０の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。

以上、本実施形態による情報処理システム１０１ａの構成について具体的に説明した。なお、図２に示すシステム構成は一例であって、本実施形態はこれに限定されない。例えば、本実施形態のシステム構成は図３に示す構成であってもよい。

図３は、第１の実施形態による他の情報処理システム１０１ｂの構成を示す図である。図３に示すように、情報処理システム１０１ｂは、指示位置検出用カメラ１１−１ｂ、視線検出用カメラ１２−１ｂ、情報処理装置２０−１ｂ、および表示装置３０−１ｂを含む。情報処理システム１０１ｂは、上述した情報処理システム１０１ａと比較すると、複数のカメラを含む点で異なる。

上述した情報処理システム１０１ａでは、一のカメラ１０−１ａにより撮像された撮像画像に基づいて指示位置の検出および視線検出を行っていたが、図３に示す情報処理システム１０１ｂでは、指示位置検出用カメラ１１−１ｂと視線検出用カメラ１２−１ｂを設けることで、それぞれのカメラで取得された撮像画像に基づいて、指示位置検出と視線検出が行われる。

また、情報処理装置２０−１ｂは、図３に示すように、指示位置検出部２１−１ｂ、アプリケーション処理部２２−１ｂ、視線検出部２３−１ｂ、視線検出調整部２４−１ｂを有する。各構成の主な機能は、図２を参照して説明した情報処理装置２０−１ａの各構成と同様であるため、ここでの詳細な説明は省略する。また、指示位置検出部２１−１ｂは、指示位置検出用カメラ１１−１ｂから取得した撮像画像に基づいてユーザによる指示位置を検出する。また、視線検出部２３−１ｂは、視線検出用カメラ１２−１ｂから取得した撮像画像に基づいてユーザの視線を検出する。

なお、図２および図３では、カメラ１０−１ａ、または指示位置検出用カメラ１１−１ｂおよび視線検出用カメラ１２−１ｂと、情報処理装置２０−１ａまたは情報処理装置２０−１ｂと、表示装置３０−１ａまたは表示装置３０−１ｂが別体により構成されているが、本実施形態はこれに限定されず、例えばこれらが同一体で構成されていてもよい。

（動作）
続いて、本実施形態による動作処理について図４を参照して説明する。図４は、第１の実施形態による指示体がポインタの場合における視線検出キャリブレーションの動作処理を示すフローチャートである。ここでは、図２および図３に示す各構成を区別する必要がない場合、情報処理装置２０−１（２０−１ａ、２０−１ｂ）、指示位置検出部２１−１（２１−１ａ、２１−１ｂ）、アプリケーション処理部２２−１（２２−１ａ、２２−１ｂ）、視線検出部２３−１（２３−１ａ、２３−１ｂ）、視線検出調整部２４−１（２４−１ａ、２４−１ｂ）と称す。

図４に示すように、まず、ステップＳ１０３において、視線検出調整部２４−１は、アプリケーション処理部２２−１から出力された情報に基づいて、注視対象であるアイコン、例えばスタートアイコン４０の表示領域内にポインタ５０が入っているか否かを判断する。

次に、スタートアイコン４０の表示領域内にポインタ５０が入っている場合（Ｓ１０３／Ｙｅｓ）、ステップＳ１０６において、視線検出部２３−１は、視線位置Ｐをサンプリングする。なお視線検出部２３−１は継続的に視線位置Ｐをサンプリングし、スタートアイコン４０の表示領域内にポインタ５０が入っていない場合（Ｓ１０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。

次いで、ステップＳ１０９において、視線検出調整部２４−１は、スタートアイコン４０の表示領域内にポインタ５０が入って一定時間が経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４−１は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。

次に、スタートアイコン４０の表示領域内にポインタ５０が入って一定時間が経過せずにポインタ５０が当該表示領域外に移動した場合（Ｓ１０９／Ｎｏ）、サンプリングしたデータはクリアされる。

一方、スタートアイコン４０の表示領域内にポインタ５０が入って一定時間が経過した場合（Ｓ１０９／Ｙｅｓ）、ステップＳ１１２において、視線検出調整部２４−１は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４−１は、スタートアイコン４０の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。ポインタ５０をスタートアイコン４０の表示領域内に止まらせる操作では、ユーザはスタートアイコン４０を注視していること（視線Ｓ）が推定されるためである。

また、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して、３σ以内のものだけを用いてもよい。

そして、ステップＳ１１５において、アプリケーション処理部２２−１は、ポインタ５０で選択されたスタートアイコン４０に対応する利用開始処理（すなわちアイコン選択後の処理）を行う。スタートアイコン４０の選択は、ポインタ５０がスタートアイコン４０の表示領域内に一定時間入っていることが条件とされる。

以上説明したように、本実施形態による情報処理システム１０１（１０１ａ、１０１ｂ）では、ユーザが装置本来の目的を遂行するための操作、すなわち利用開始のためにポインタ５０をスタートアイコン４０の表示領域内に入れるという操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。

（２−１−２．コントローラを用いた場合における視線検出キャリブレーション）
続いて、指示体としてコントローラを用いた場合における視線検出キャリブレーションについて図５〜図６を参照して説明する。

（概要）
図５は、第１の実施形態による指示体がコントローラの場合における視線検出キャリブレーションについて説明する図である。ここでは、図５に示すように、表示装置３０−１ｃの表示画面にカメラ１０−１ｃで撮像したユーザの映像が表示され、画面に写るユーザの顔４２に紐付けられて表示される検出エリア４３にユーザが把持するコントローラ５１を移動させることでそのユーザのログイン処理（顔認識により個人が識別できた場合は当該個人のログイン処理）を行うシステムを想定する。また、接続されたコントローラ５１とログイン処理を行ったユーザとの紐付け処理も行われる。ログイン後は、ユーザの視線に応じた操作が実施され得る。

検出エリア４３は、ユーザ毎に対応するものであって、例えば図５に示すように複数のユーザＡ、ユーザＢが映る場合、各ユーザの顔４２ａ、４２ｂに複数の検出エリア４３ａ、４３ｂが夫々対応付けて表示される。したがって、ユーザＡは、自身の顔４２ａ付近に表示されている検出エリア４３ａに自身が用いるコントローラ５１ａを移動させてログインし、ユーザＢも自身の顔４２ｂ付近に表示されている検出エリア４３ｂに自身が用いるコントローラ５１ｂを移動させてログインする。

本実施形態では、このようなコントローラ５１を用いたログイン操作という装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。

（構成）
本実施形態による情報処理システムの構成は、図２、図３を参照して上述したシステム構成と同様である。すなわち、本実施形態による情報処理システム１０１は、カメラ１０−１ｃ（または指示位置検出用カメラ１１−１ｃおよび視線検出用カメラ１２−１ｃ）と、情報処理装置２０−１ｃと、表示装置３０−１ｃを含む。情報処理装置２０−１ｃは、図２、図３に示す場合と同様に、指示位置検出部２１−１ｃ、アプリケーション処理部２２−１ｃ、視線検出部２３−１ｃ、および視線検出調整部２４−１ｃを有する。

指示位置検出部２１−１ｃは、カメラ１０−１ｃで撮像されたユーザが把持するコントローラ５１の表示画面上における位置を検出する。また、アプリケーション処理部２２−１ｃは、指示位置検出部２１−１ｃにより検出されたコントローラ５１の座標位置に基づいて、コントローラ５１が検出エリア４３に入った場合、検出エリア４３に対応するユーザのログイン処理を実行する。また、アプリケーション処理部２２−１ｃは、表示画面中の検出エリア４３（注視対象の一例）の座標位置を認識する認識部としても機能する。

視線検出部２３−１ｃは、カメラ１０−１ｃで撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う（例えばユーザＡの視線位置Ｐａ、ユーザＢの視線位置Ｐｂを検出する）。視線検出調整部２４−１ｃは、コントローラ５１が検出エリア４３に入った場合、視線検出部２３−１ｃから継続的にサンプリングされた視線位置Ｐと、検出エリア４３の表示位置とに基づいて、視線検出キャリブレーションを行う。具体的には、検出された視線位置Ｐと検出エリア４３の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。

（動作）
図６は、第１の実施形態による指示体がコントローラの場合における視線検出キャリブレーションの動作処理を示すフローチャートである。ここでは、情報処理装置２０−１（２０−１ｃ）、指示位置検出部２１−１（２１−１ｃ）、アプリケーション処理部２２−１（２２−１ｃ）、視線検出部２３−１（２３−１ｃ）、視線検出調整部２４−１（２４−１ｃ）と称す。

図６に示すように、まず、ステップＳ２０３において、視線検出調整部２４−１は、アプリケーション処理部２２−１から出力された情報に基づいて、注視対象である検出エリア４３の表示領域内にコントローラ５１が入っているか否かを判断する。

次に、検出エリア４３の表示領域内にコントローラ５１が入っている場合（Ｓ２０３／Ｙｅｓ）、ステップＳ２０６において、視線検出部２３−１は、視線位置Ｐをサンプリングする。なお視線検出部２３−１は継続的に視線位置Ｐをサンプリングし、検出エリア４３の表示領域内にコントローラ５１が入っていない場合（Ｓ２０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。

次いで、ステップＳ２０９において、視線検出調整部２４−１は、検出エリア４３の表示領域内にコントローラ５１が入って一定時間が経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４−１は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。

次に、検出エリア４３の表示領域内にコントローラ５１が入って一定時間が経過せずにコントローラ５１が当該表示領域外に移動した場合（Ｓ２０９／Ｎｏ）、サンプリングしたデータはクリアされる。

一方、検出エリア４３の表示領域内にコントローラ５１が入って一定時間が経過した場合（Ｓ２０９／Ｙｅｓ）、ステップＳ２１２において、視線検出調整部２４−１は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４−１は、検出エリア４３の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。コントローラ５１を検出エリア４３の表示領域内に止まらせる操作では、ユーザは検出エリア４３を注視していることが推定されるためである。

そして、ステップＳ２１５において、アプリケーション処理部２２−１は、ユーザがコントローラ５１を検出エリア４３に移動させるというユーザ操作に応じて、そのユーザのログイン処理を行う。

以上説明したように、本実施形態による情報処理システム１０１ｃでは、ユーザが装置本来の目的を遂行するための操作、すなわちログイン処理のためにコントローラ５１を検出エリア４３に移動させるという操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。

（２−１−３．指先を用いた場合における視線検出キャリブレーション）
次に、指示体として指先を用いた場合における視線検出キャリブレーションについて図７〜図８を参照して説明する。

（概要）
図７は、第１の実施形態による指示体が指先の場合における視線検出キャリブレーションについて説明する図である。ここでは、図７に示すように、スマートアイグラスにより実現される情報処理装置２０−１ｄがユーザに装着された際にユーザの眼前に位置する表示装置３０−１ｄに、テキストやアイコン等が表示され、ユーザは指先を前方に挙げてアイコンの表示位置と合わせることで選択することが可能なシステムを想定する。また、情報処理装置２０−１ｄは、ユーザの視線を検出し、視線に応じた制御も可能である。

指先の位置は、図７に示すように、情報処理装置２０−１ｄに外向きに設けられた指示位置検出用カメラ１１−１ｄにより撮像された撮像画像に基づいて検出される。また、装着者（ユーザ）の視線は、図７に示すように、情報処理装置２０−１ｄに内向きに設けられた視線検出用カメラ１２−１ｄにより撮像された撮像画像に基づいて検出される。

表示装置３０−１ｄは透過性を有し、情報処理装置２０−１ｄを装着するユーザは、図７に示すように表示装置３０−１ｄを介して実空間を視認することができる。また、図７に示す例では、表示装置３０−１ｄに、「○○さんからメッセージを受信しました。メッセージを開く場合は、メールアイコンを指先で指してください」というテキスト４４と、メールアイコン４５が表示されている。この場合、ユーザは指先５２を眼前に挙げて、表示装置３０−１ｄに表示されるメールアイコン４５を指すジェスチャーを行う。指先５２の位置は、情報処理装置２０−１ｄに外向きに設けられた指示位置検出用カメラ１１−１ｄにより撮像され、情報処理装置２０−１ｄで検出される。情報処理装置２０−１ｄは、撮像画像に基づいて検出したユーザの視界における指先５２の位置がメールアイコン４５の表示領域内に有る場合、メールアイコン４５が選択されたと判断し、メール内容を表示装置３０−１ｄに表示する。

本実施形態では、このような指先５２でアイコンを選択する操作という装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。

（構成）
本実施形態による情報処理システムの構成は、図３を参照して上述したシステム構成と同様である。すなわち、本実施形態による情報処理システム１０１ｄは、指示位置検出用カメラ１１−１ｄと、視線検出用カメラ１２−１ｄと、情報処理装置２０−１ｄと、表示装置３０−１ｄを含む。情報処理装置２０−１ｄは、図３に示す場合と同様に、指示位置検出部２１−１ｄ、アプリケーション処理部２２−１ｄ、視線検出部２３−１ｄ、および視線検出調整部２４−１ｄを有する。

指示位置検出部２１−１ｄは、指示位置検出用カメラ１１−１ｄで撮像された撮像画像に基づいて、ユーザの指先５２の位置（透過する表示装置３０−１ｄにおける座標位置）を検出する。また、アプリケーション処理部２２−１ｄは、指示位置検出部２１−１ｄにより検出された指先５２の座標位置に基づいて、指先５２がメールアイコン４５を指した場合、メールアイコン４５に対応するメール内容を表示装置３０−１ｄに表示する処理を実行する。また、アプリケーション処理部２２−１ｄは、表示画面中のメールアイコン４５（注視対象の一例）の座標位置を認識する認識部としても機能する。

視線検出部２３−１ｄは、視線検出用カメラ１２−１ｄで撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４−１ｄは、指先５２がメールアイコン４５を指した場合、視線検出部２３−１ｄから継続的にサンプリングされた視線位置Ｐと、メールアイコン４５の表示位置とに基づいて、視線検出キャリブレーションを行う。具体的には、検出された視線位置Ｐとメールアイコン４５の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。

（動作）
図８は、第１の実施形態による指示体が指先の場合における視線検出キャリブレーションの動作処理を示すフローチャートである。ここでは、情報処理装置２０−１（２０−１ｄ）、指示位置検出部２１−１（２１−１ｄ）、アプリケーション処理部２２−１（２２−１ｄ）、視線検出部２３−１（２３−１ｄ）、視線検出調整部２４−１（２４−１ｄ）と称す。

図８に示すように、まず、ステップＳ３０３において、視線検出調整部２４−１は、アプリケーション処理部２２−１から出力された情報に基づいて、注視対象であるメールアイコン４５の表示領域内に指先５２が入っているか否かを判断する。

次に、メールアイコン４５の表示領域内に指先５２が入っている場合（Ｓ３０３／Ｙｅｓ）、ステップＳ３０６において、視線検出部２３−１は、視線位置Ｐをサンプリングする。なお視線検出部２３−１は継続的に視線位置Ｐをサンプリングし、メールアイコン４５の表示領域内に指先５２が入っていない場合（Ｓ３０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。

次いで、ステップＳ３０９において、視線検出調整部２４−１は、メールアイコン４５の表示領域内に指先５２が入って一定時間が経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４−１は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。

次に、メールアイコン４５の表示領域内に指先５２が入って一定時間が経過せずに指先５２が当該表示領域外に移動した場合（Ｓ３０９／Ｎｏ）、サンプリングしたデータはクリアされる。

一方、メールアイコン４５の表示領域内に指先５２が入って一定時間が経過した場合（Ｓ３０９／Ｙｅｓ）、ステップＳ３１２において、視線検出調整部２４−１は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４−１は、メールアイコン４５の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。指先５２をメールアイコン４５の表示領域内に止まらせる操作では、ユーザはメールアイコン４５を注視していることが推定されるためである。

そして、ステップＳ３１５において、アプリケーション処理部２２−１は、ユーザが指先５２でメールアイコン４５を指すというユーザ操作に応じて、そのメールアイコン４５に対応するメール内容の表示処理を行う。

以上説明したように、本実施形態による情報処理システム１０１ｄでは、ユーザが装置本来の目的を遂行するための操作、すなわちアイコン選択のために指先５２をアイコンの表示領域内に移動させるという操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。

また、上述した第１の実施形態では、視線キャリブレーションを繰り返し行い、キャリブレーションの精度を段階的に高めていくことも可能である。例えば注視対象（例えばスタートアイコン４０、検出エリア４３、メールアイコン４５）の表示位置を毎回異なる位置にすることで、徐々に表示領域全体をカバーする。

＜２−２．第２の実施形態＞
続いて、第２の実施形態による情報処理システム１０２について、図９〜図１２を参照して具体的に説明する。上述した第１の実施形態では、注視対象が表示画面上に表示されているもの（仮想物体）であったが、本開示はこれに限定されず、注視対象が実物体であってもよい。

（概要）
図９は、第２の実施形態による注視対象が実物体の場合における視線検出キャリブレーションについて説明する図である。ここでは、図９に示すように、スマートアイグラスにより実現される情報処理装置２０−２がユーザに装着された際にユーザの眼前に位置する表示装置３０−２にテキストやアイコン等が表示され、ユーザの視線に応じた制御が可能なシステムを想定する。

表示装置３０−２は透過性を有し、情報処理装置２０−１ｄを装着するユーザは、図９に示すように表示装置３０−２を介して実空間を視認することができる。したがって、ユーザは身に付けたスマートウォッチやスマートバンド、所持するスマートフォン等のデバイス６０（実物体）を眼前（視界４７内）に移動させて見ることが可能である。この時、ユーザの視線はデバイス６０に向いていることが想定されるため、情報処理装置２０−２は、デバイス６０の位置と、その時検出された視線位置Ｐとに基づいて、視線検出キャリブレーションを行う。

本実施形態では、このようにデバイスを眼前に移動させて視認するという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。

（構成）
図１０は、第２の実施形態による情報処理システム１０２ａの構成を示す図である。図１０に示すように、情報処理システム１０２ａは、デバイス６０、デバイス検出用カメラ１１−２、視線検出用カメラ１２−２、情報処理装置２０−２ａ、表示装置３０−２を含む。

デバイス６０は、上述したように、例えばスマートウォッチ、スマートバンド、スマートフォン等により実現される。

デバイス検出用カメラ１１−２は、情報処理装置２０−２に外向きに設けられ、ユーザの視界を撮像する。撮像画像はデバイス６０の検出に用いられる。また、視線検出用カメラ１２−２は、情報処理装置２０−２に内向きに設けられ、ユーザの眼を撮像する。撮像画像は視線検出に用いられる。

また、情報処理装置２０−２ａは、図１０に示すように、アプリケーション処理部２２−２ａ、視線検出部２３−２ａ、視線検出調整部２４−２ａ、およびデバイス検出部２５−２ａを含む。

デバイス検出部２５−２ａは、デバイス検出用カメラ１１−２で撮像された撮像画像に基づいて、ユーザの視界４７に入っているデバイス６０を検出する。また、デバイス検出部２５−２ａは、デバイス６０から機種情報を受信してユーザが持っているデバイス６０の存在を認識することも可能である。

アプリケーション処理部２２−２ａは、デバイス検出部２５−２ａにより検出されたデバイス６０に対応する所定の制御（アプリケーション処理）を実行し得る。また、アプリケーション処理部２２−２ａは、ユーザの視界４７の領域に対応する表示装置３０−２におけるデバイス６０（注視対象の一例）の座標位置を認識する認識部として機能してもよい。この際、アプリケーション処理部２２−２ａは、デバイス６０の検出結果と共にデバイス検出部２５−２ａから出力された撮像画像に基づいて、表示装置３０−２におけるデバイス６０（注視対象の一例）の座標位置を認識する。

視線検出部２３−２ａは、視線検出用カメラ１２−２で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４−２ａは、デバイス６０が視界４７内に有る場合、視線検出部２３−２ａから継続的にサンプリングされた視線位置Ｐと、アプリケーション処理部２２−２ａにより認識されたデバイス６０の位置とに基づいて、視線検出キャリブレーションを行う。具体的には、検出された視線位置Ｐとデバイス６０の物体領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。

以上、本実施形態による情報処理システム１０２ａの構成について具体的に説明した。なお、図１０に示すシステム構成は一例であって、本実施形態はこれに限定されない。
例えば図１０に示す情報処理システム１０２ａでは、視線検出調整部２４−２ａによる視線検出キャリブレーションと、アプリケーション処理部２２−２ａによるアプリケーション処理が同期する。すなわち、ユーザがデバイス６０を視認するという動作に応じて情報処理装置２０−２ａにおいて何らかのアプリケーション処理が行われると共に、視線検出キャリブレーションも行われる。しかし、本実施形態はこれに限定されず、アプリケーション処理と視線検出キャリブレーションが非同期であってもよい。以下、非同期の場合におけるシステム構成について図１１を参照して説明する。

図１１は、第２の実施形態による他の情報処理システム１０２ｂの構成を示す図である。図１１に示すように、情報処理システム１０２ｂは、デバイス６０、デバイス検出用カメラ１１−２、視線検出用カメラ１２−２、情報処理装置２０−２ｂ、表示装置３０−２を含む。

情報処理装置２０−２ｂは、図１１に示すように、アプリケーション処理部２２−２ｂ、視線検出部２３−２ｂ、視線検出調整部２４−２ｂ、およびデバイス検出部２５−２ｂを含む。デバイス検出部２５−２ｂは、デバイス検出用カメラ１１−２で撮像された撮像画像に基づいて視界４７の中に存在するユーザのデバイス６０を検出し、また、透過する表示装置３０−２におけるデバイス６０（注視対象の一例）の座標位置を認識する認識部としても機能する。そして、デバイス検出部２５−２ｂは、デバイス検出部２５−２ａと異なり、デバイス６０の座標位置を視線検出調整部２４−２ｂに出力する。

視線検出調整部２４−２ｂは、視線検出部２３−２ｂから継続的にサンプリングされた視線位置Ｐと、デバイス検出部２５−２ｂにより認識されたデバイス６０の位置とに基づいて、視線検出キャリブレーションを行う。

このように、情報処理システム１０２ｂでは、アプリケーション処理部２２−２ｂにおけるアプリケーション処理とは非同期に、ユーザがデバイス６０を視認するという動作に応じて視線検出キャリブレーションを行う。

（動作）
続いて、本実施形態による動作処理について図１２を参照して説明する。図１２は、第２の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。ここでは、図１０および図１１に示す各構成を区別する必要がない場合、情報処理装置２０−２（２０−２ａ、２０−２ｂ）、アプリケーション処理部２２−２（２２−２ａ、２２−２ｂ）、視線検出部２３−２（２３−２ａ、２３−２ｂ）、視線検出調整部２４−２（２４−２ａ、２４−２ｂ）、デバイス検出部２５−２（２５−２ａ、２５−２ｂ）と称す。

図１２に示すように、まず、ステップＳ４０３において、視線検出調整部２４−２は、注視対象であるデバイス６０が視界４７内に有るか否かを判断する。具体的には、視線検出調整部２４−２は、ユーザの視界を撮像するデバイス検出用カメラ１１−２により撮像された撮像画像に基づいてデバイス検出部２５−２によりデバイス６０が検出された場合、デバイス６０が視界４７内に有ると判断する。

次に、デバイス６０がユーザの視界４７に有ると判断された場合（Ｓ４０３／Ｙｅｓ）、ステップＳ４０６において、視線検出部２３−２は、視線検出用カメラ１２−２により撮像された撮像画像に基づいて視線位置Ｐをサンプリングする。なお視線検出部２３−２は継続的に視線位置Ｐをサンプリングし、デバイス６０が視界４７に無い場合（Ｓ４０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。

次いで、ステップＳ４０９において、視線検出調整部２４−２は、デバイス６０が視界４７に入って一定時間が経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４−２は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。

次に、デバイス６０が視界４７に入って一定時間が経過せずにデバイス６０が視界４７から外れた場合（Ｓ４０９／Ｎｏ）、サンプリングしたデータはクリアされる。

一方、デバイス６０が視界４７に入って一定時間が経過した場合（Ｓ４０９／Ｙｅｓ）、ステップＳ４１２において、視線検出調整部２４−２は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４−２は、デバイス６０の物体領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。デバイス６０を眼前に移動させて視界４７に入れる動作では、ユーザはデバイス６０を注視していることが推定されるためである。

また、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して−２σ以内のものだけを用いてもよい。

そして、ステップＳ４１５において、アプリケーション処理部２２−２は、デバイス６０が視界４７に入り、ユーザがデバイス６０を視認している動作に応じた所定のアプリケーション処理を行う。なお視線検出キャリブレーションとアプリケーション処理が非同期の場合（図１１に示す情報処理システム１０２ｂの場合）、当該Ｓ４１５の処理は行われない。

以上説明したように、本実施形態による情報処理システム１０２（１０２ａ、１０２ｂ）では、ユーザがデバイス６０を視認するという通常の動作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。

＜２−３．第３の実施形態＞
次に、第３の実施形態による情報処理装置２０−３について、図１３〜図１６を参照して具体的に説明する。本実施形態では、表示画面に表示されたパスコード解除時のボタン操作という装置本来の目的を遂行するための操作の中で視線検出キャリブレーションを行う場合について説明する。

（概要）
図１３は、第３の実施形態による視線検出キャリブレーションについて説明する図である。ここでは、図１３に示すように、例えばスマートフォンにより実現される情報処理装置２０−３のタッチパネルディスプレイ３２に表示されたパスコード画面４８に対して、ユーザが指５４でパスコード解除のためのタッチ操作（選択操作）を行い、入力されたパスコードが正しい場合はロック解除を行うシステムを想定する。

パスコード画面４８は、図１３に示すように０〜９の数字ボタン４９を含み、ユーザは数字を確認しながら複数の数字ボタン４９を順番に指５４でタッチしてパスコードを入力する。ここで、ユーザが数字ボタン４９をタッチする際、ユーザは当該数字ボタン４９（注視対象の一例）を視認していることが推定されるため、情報処理装置２０−３は、タッチされた数字ボタン４９の表示位置と検出された視線位置Ｐとに基づいて視線検出キャリブレーションを行うことができる。

本実施形態では、このようにロックを解除するためにパスコードを入力するという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。

（構成）
図１４は、第３の実施形態による情報処理装置２０−３の構成を示す図である。図１４に示すように、情報処理装置２０−３は、視線検出用カメラ１２−３、アプリケーション処理部２２−３、視線検出部２３−３、視線検出調整部２４−３、タッチパネルディスプレイ３２を含む。なお情報処理装置２０−３は、図１３に示すようなスマートフォンの他、タブレット端末、スマートウォッチ等により実現されてもよい。

視線検出用カメラ１２−３は、情報処理装置２０−３においてタッチパネルディスプレイ３２が設けられている面に設けられ、タッチパネルディスプレイ３２に対して操作入力を行っているユーザを撮像する。

アプリケーション処理部２２−３は、タッチパネルディスプレイ３２からのユーザによる操作入力に従って、各種処理を行う。例えば、アプリケーション処理部２２−３は、タッチパネルディスプレイ３２に対する表示制御や、音楽アプリケーション、ゲームアプリケーション、インターネット通信等の制御を行う。また、アプリケーション処理部２２−３は、タッチパネルディスプレイ３２から入力されたパスコードをチェックし、正しければロック解除制御を行い、誤っていればエラー表示を行う。さらに、アプリケーション処理部２２−３は、タッチパネルディスプレイ３２に表示される数字ボタン４９（注視対象の一例）の座標位置を認識する認識部として機能する。

なお本実施形態では、パスコードの入力を数字ボタン４９により行っているが、本実施形態はこれに限定されず、例えば文字ボタンによる入力や、パターン入力等であってもよい。

視線検出部２３−３は、視線検出用カメラ１２−３で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４−３は、アプリケーション処理部２２−３がパスコードの入力を受付けている場合（すなわち、ユーザがタッチパネルディスプレイ３２からパスコードの入力操作を行っている場合）、視線検出キャリブレーションを行う。具体的には、視線検出調整部２４−３は、視線検出部２３−３から継続的にサンプリングされた視線位置Ｐと、アプリケーション処理部２２−３により認識されたユーザがタッチしている数字ボタン４９（注視対象の一例）の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。

タッチパネルディスプレイ３２は、表示機能および操作入力機能を有し、表示画面に対する操作入力を受付ける。ここでは一例としてタッチパネルディスプレイ３２を用いたが、本実施形態はこれに限定されず、表示画面に対する操作入力を受付ける表示入力部であればよい。

（動作）
続いて、本実施形態による動作処理について図１５および図１６を参照して説明する。図１５は、第３の実施形態によるパスコード解除処理を示すフローチャートである。

図１５に示すように、まず、ステップＳ５０３において、視線検出調整部２４−３は、注視対象である数字ボタン４９がタッチされたか否かを判断する。具体的には、視線検出調整部２４−３は、タッチパネルディスプレイ３２に表示した数字ボタン４９がタッチされたこと（選択されたこと）をアプリケーション処理部２２−３からの通知に従って判断する。

次に、数字ボタン４９がタッチされたと判断された場合（Ｓ５０３／Ｙｅｓ）、ステップＳ５０６において、視線検出調整部２４−３は、視線検出の調整処理を行う。視線検出調整部２４−３による視線検出の調整処理については、図１６を参照して後述する。

次いで、ステップＳ５０９において、視線検出調整部２４−３は、指５４が数字ボタン４９から離れたか否かを判断する。

次に、指５４が数字ボタン４９から離れた場合（Ｓ５０９／Ｙｅｓ）、ステップＳ５１２において、アプリケーション処理部２２−３は、パスコードの入力文字数を満たしたか否かを判断する。入力文字数を満たすまで、上記Ｓ５０３〜Ｓ５０９が繰り返される（Ｓ５１２／Ｎｏ）。

そして、パスコードの入力文字数を満たした場合（Ｓ５１２／Ｙｅｓ）、ステップＳ５１５において、アプリケーション処理部２２−３は、入力されたパスコードのチェックを行い、正しければロックを解除し、誤っていればエラー表示を行う。

続いて、上記Ｓ５０６に示す視線検出調整処理について図１６を参照して説明する。図１６は、図１５に示すパスコード解除処理中に行われる視線検出キャリブレーションの動作処理を示すフローチャートである。

図１６に示すように、ステップＳ５２３において、視線検出部２３−３は、視線位置Ｐをサンプリングする。

次に、ステップＳ５２６において、視線検出調整部２４−３は、数字ボタン４９をタッチした時間が一定時間を経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４−３は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。

次いで、一定時間が経過せずに指５４が数字ボタン４９から離れた場合（Ｓ５２６／Ｎｏ）、サンプリングしたデータはクリアされる。

一方、一定時間が経過した場合（Ｓ５２６／Ｙｅｓ）、ステップＳ５２９において、視線検出調整部２４−３は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４−３は、指５４でタッチした数字ボタン４９の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。パスコードを入力する操作では、ユーザは数字ボタン４９を注視していることが推定されるためである。

ここで、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して−２σ以内のものだけを用いてもよい。

以上説明したように、本実施形態による情報処理装置２０−３では、ユーザがパスコードを入力する操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。

また、上述した第３の実施形態による視線キャリブレーションを繰り返し行い、キャリブレーションの精度を段階的に高めていくことも可能である。例えば注視対象である複数の数字ボタン４９の表示位置（キー配置）を毎回異なる位置にランダムに設定することで、ユーザが数字ボタン４９を視認しなければ正しいパスコードが入力できないようにして、徐々に表示領域全体をカバーする。

＜２−４．第４の実施形態＞
次に、第４の実施形態による情報処理システム１０４について、図１７〜図１９を参照して具体的に説明する。本実施形態では、頭部装着型の表示装置であるＨＭＤ（Head Mounted Display）と接続されたコントローラで、ＨＭＤの表示部に表示された複数のアイコンからいずれかを選択するといった装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを行う場合について説明する。

（概要）
図１７は、第４の実施形態による視線検出キャリブレーションについて説明する図である。ここでは、図１７に示すように、例えばＨＭＤにより実現される情報処理装置２０−４の表示部３０−４に表示される複数のアイコン７０−１〜７０−ｎに対して、ユーザが情報処理装置２０−４に接続されたコントローラ６３を用いてアイコン７０の選択操作を行い、選択されたアイコン７０に対応するアプリケーション処理を行うシステムを想定する。

表示部３０−４は、ユーザが情報処理装置２０−４を装着した際に眼前に位置する。また、表示部３０−４に表示される選択画面は、例えば図１７に示すように、複数のアイコン７０−１〜７０−ｎと、コントローラ６３の動きに対応して画面上を移動するカーソル７２（操作対象オブジェクトの一例）が表示される。コントローラ６３には、例えば加速度センサやジャイロセンサが搭載され、コントローラ６３の動きが情報処理装置２０−４に出力される。ユーザはカーソル７２を任意のアイコン７０に合せてコントローラ６３（例えば図１７に示すようなシューティングコントローラ）に設けられた物理的トリガーを引くことで、アイコン７０を選択することができる。ここで、ユーザがアイコン７０を選択する際、ユーザは当該アイコン７０（注視対象の一例）を視認していることが推定されるため、情報処理装置２０−４は、選択されたアイコン７０の表示位置と検出された視線位置Ｐに基づいて視線検出キャリブレーションを行うことができる。

本実施形態では、このように画面上のアイコンを選択するという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。

（構成）
図１８は、第４の実施形態による情報処理システム１０４の構成を示す図である。図１８に示すように、情報処理システム１０４は、コントローラ６３および情報処理装置２０−４（ＨＭＤ）を含む。

コントローラ６３は、動きを検知するセンサ（例えば加速度センサ、ジャイロセンサ等）を有し、検知したセンサ値（動き情報）を情報処理装置２０−４に出力する。また、コントローラ６３には物理的なトリガーが設けられ、ユーザによりトリガーが引かれると（すなわち決定操作が行われると）、コントローラ６３は、決定指示を情報処理装置２０−４に出力する。コントローラ６３と情報処理装置２０−４は、有線または無線により通信接続する。

情報処理装置２０−４は、図１８に示すように、視線検出用カメラ１２−４、アプリケーション処理部２２−４、視線検出部２３−４、視線検出調整部２４−４、および表示部３０−４を含む。

アプリケーション処理部２２−４は、コントローラ６３から出力された情報に応じて、各種処理を行う。例えばアプリケーション処理部２２−４は、コントローラ６３から出力された動き情報に応じて、表示部３０−４に表示するカーソル７２の表示制御を行う。また、アプリケーション処理部２２−４は、コントローラ６３から出力された決定指示に従い、カーソル７２で選択されたアイコンに対応するアプリケーション処理を行う。さらに、アプリケーション処理部２２−４は、表示部３０−４に表示されるアイコン７０（注視対象の一例）の座標位置を認識する認識部として機能する。

視線検出用カメラ１２−４は、情報処理装置２０−４の内側に設けられ、情報処理装置２０−４がユーザに装着された状態においてユーザの眼を撮像する。視線検出用カメラ１２−４は、取得した撮像画像を視線検出部２３−４に出力する。

視線検出部２３−４は、視線検出用カメラ１２−４で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４−３は、表示部３０−４に表示されたアイコン７０にユーザがカーソル７２を合わせて選択操作を行っている際、視線検出キャリブレーションを行う。具体的には、視線検出調整部２４−４は、視線検出部２３−４から継続的にサンプリングされた視線位置Ｐと、アプリケーション処理部２２−４により認識されたアイコン７０（注視対象の一例）の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。

表示部３０−４は、情報処理装置２０−４の内側に設けられ、情報処理装置２０−４がユーザに装着された状態においてユーザの眼前に位置する。

以上、情報処理システム１０４の構成について説明した。なお、図１８に示す情報処理装置２０−４の構成は要部であって、本装置の構成はこれに限定されない。例えば情報処理装置２０−４は、さらにスピーカ、マイクロホン、振動部、生体センサ、加速度センサ、ジャイロセンサ等を有していてもよい。

（動作）
続いて、本実施形態による動作処理について図１９を参照して説明する。図１９は、第４の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。

図１９に示すように、まず、ステップＳ６０３において、視線検出調整部２４−２は、カーソル７２が、注視対象であるアイコン７０の表示領域に入っているか否かを判断する。なおカーソル７２の表示領域がアイコン７０よりも大きい場合、カーソル７２がアイコン７０と重複しているか否かの判断を行うようにしてもよい。

次に、カーソル７２がアイコン７０の表示領域に入っていると判断された場合（Ｓ６０３／Ｙｅｓ）、ステップＳ６０６において、視線検出部２３−４は、視線検出用カメラ１２−４により撮像された撮像画像に基づいて視線位置Ｐをサンプリングする。なお視線検出部２３−４は継続的に視線位置Ｐをサンプリングし、カーソル７２がアイコン７０の表示領域に入っていない場合（Ｓ６０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。

次いで、ステップＳ６０９において、視線検出調整部２４−４は、カーソル７２がアイコン７０の表示領域に入って一定時間が経過し、かつ決定操作が行われたか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４−４は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。また、本実施形態において、決定操作とは、例えばコントローラ６３に設けられたトリガーを引く操作であって、この際コントローラ６３は、決定指示をアプリケーション処理部２２−４に出力する。

次に、カーソル７２がアイコン７０の表示領域に入って一定時間が経過せずに当該表示領域から離れた場合（Ｓ６０９／Ｎｏ）、サンプリングしたデータはクリアされる。

一方、カーソル７２がアイコン７０の表示領域に入って一定時間が経過した場合（Ｓ６０９／Ｙｅｓ）、ステップＳ６１２において、視線検出調整部２４−４は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４−４は、選択されたアイコン７０の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。アイコン７０にカーソル７２を合わせて選択する操作では、ユーザはアイコン７０を注視していることが推定されるためである。

また、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して−２σ以内のものだけを用いてもよい。

そして、ステップＳ６１５において、アプリケーション処理部２２−４は、選択されたアイコンに対応するアプリケーション処理を行う。

以上説明したように、本実施形態による情報処理システム１０４では、ユーザがアイコン７０にカーソル７２を合わせて選択するという操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。

また、上述した第４の実施形態による視線キャリブレーションを繰り返し行い、キャリブレーションの精度を段階的に高めていくことも可能である。例えば注視対象であるアイコン７０−１〜７０−ｎの表示位置を毎回異なる位置にすることで、徐々に表示領域全体をカバーする。

＜２−５．第５の実施形態＞
次に、第５の実施形態による情報処理システム１０５について、図２０〜図２２を参照して具体的に説明する。本実施形態では、ユーザが自動車に乗車した際にルームミラーやサイドミラーの角度を調整するという装置本来の目的を遂行するための操作の中で視線検出キャリブレーションを行う場合について説明する。

（概要）
本実施形態では、自動車のフロントガラスや、メーターパネル上部に設けられたポップアップ式の透過型のディスプレイに画像を表示するＨＵＤ（Head Up Display）において、ユーザの視線に応じた表示制御を行うシステムを想定する。ＨＵＤは、走行速度、時刻、およびナビゲーション情報等、運転に必要な様々な情報を運転手の前方に表示し、運転手は視線を大きく移動することなく情報を確認することができ、自動車走行中の安全性を高めることが可能となる。

図２０は、第５の実施形態による視線検出キャリブレーションについて説明する図である。通常、自動車の運転席に座ったユーザは、シートベルトを着用し、ルームミラーおよびサイドミラーの角度調整を行うことが想定される。そこで本実施形態では、図２０に示すように、車内に運転席のユーザの顔を撮像するカメラ（視線検出用カメラ１２−５）を設置し、運転席に座るユーザの顔を撮像して、視線検出を行う。これにより、例えば図２０左に示すようにユーザがルームミラー２８ａを操作している際、ユーザは当該ルームミラー２８ａ（注視対象の一例）を視認していることが推定されるため、情報処理システム１０５は、ルームミラー２８ａの設置位置と視線位置Ｐに基づく視線検出キャリブレーションが可能となる。また、図２０右に示すようにユーザがサイドミラー２８Ｌを操作している際、ユーザは当該サイドミラー２８Ｌ（注視対象の一例）を視認していることが推定されるため、サイドミラー２８Ｌの設置位置と視線位置Ｐに基づく視線検出キャリブレーションが可能となる。サイドミラー２８Ｌの操作は、運転席周辺に設けられたサイドミラー調整スイッチ２８ｂにより行われる。

本実施形態では、このように自動車乗車時におけるルームミラーやサイドミラーの角度調整を行うという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。

（構成）
図２１は、第５の実施形態による情報処理システム１０５の構成を示す図である。図２１に示すように、情報処理システム１０５は、操作対象装置２８、視線検出用カメラ１２−５、情報処理装置２０−５、および表示装置３０−５を含む。

操作対象装置２８は、ユーザ操作の対象となる装置であって、本実施形態では、ルームミラー２８ａ、サイドミラー調整スイッチ２８ｂ、またはサイドミラー２８Ｌ、２８Ｒ（図２０には図示していないが、自動車の右側に設けられる）が相当する。操作対象装置２８は、ユーザ操作を検知し、検知情報を視線検出調整部２４−５に出力する。例えばルームミラー２８ａにはタッチセンサが設けられ、ユーザが手動でルームミラー２８ａの角度を調整している際にユーザ操作を検知することが可能である。また、サイドミラー２８Ｌ、２８Ｒの角度調整を行う際、ユーザはミラーを視認しながらサイドミラー調整スイッチ２８ｂを操作するので、サイドミラー調整スイッチ２８ｂはサイドミラー２８Ｌ、２８Ｒに対するユーザ操作を検知することが可能である。また、ルームミラー２８ａ、サイドミラー２８Ｌ、２８Ｒに内蔵カメラが設けられている場合、撮像画像を解析してユーザ操作を検知することも可能である。また、内蔵カメラにより取得した撮像画像を視線検出調整部２４−５に出力し、視線検出調整部２４−５において撮像画像の解析とユーザ操作の検知を行うようにしてもよい。

視線検出用カメラ１２−５は、車内に設けられ、座席に座るユーザの顔を撮像する。視線検出用カメラ１２−５は、取得した撮像画像を視線検出部２３−５に出力する。

表示装置３０−５は、透過型のディスプレイであって、運転手の視線を移動させることなく、走行速度、時刻、ナビゲーション情報等の運転に必要な様々な情報を提示する。具体的には、表示装置３０−５は、フロントガラスの少なくとも一部により実現されたり、メーターパネル上部にポップアップ式で設けられたりする。

情報処理装置２０−５は、自動車に搭載されていてもよいし、自動車に着脱可能に設置される端末装置であってもよいし、ユーザが所持するスマートフォンやタブレット端末等のモバイル装置であってもよい。情報処理装置２０−５は、図２１に示すように、アプリケーション処理部２２−５、視線検出調整部２４−５、視線検出部２３−５を有する。

アプリケーション処理部２２−５は、表示装置３０−５の表示制御を行う。例えば、アプリケーション処理部２２−５は、走行速度、時刻、およびナビゲーション情報等、運転に必要な様々な情報を取得し、表示装置３０−５に表示するよう制御する。また、アプリケーション処理部２２−５は、視線検出部２３−５により検出された視線に応じた表示制御を行うことも可能である。

視線検出部２３−５は、視線検出用カメラ１２−５で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４−５は、ユーザがルームミラーまたはサイドミラーの操作を行っている際、視線検出キャリブレーションを行う。具体的には、視線検出調整部２４−５は、視線検出部２３−５から継続的にサンプリングされた視線位置Ｐと、ルームミラーまたはサイドミラー（注視対象の一例）の設置位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。ミラーの設置位置は固定のため、予め設定され得る。視線検出調整部２４−５は、注視対象であるミラーの当該予め設定された固定の設置位置を認識する認識部としても機能する。

以上、本実施形態による情報処理システム１０５について具体的に説明した。なお図２１に示すシステム構成は一例であって、本実施形態はこれに限定されない。例えば、情報処理システム１０５は、スピーカ装置をさらに備え、ユーザの視線に応じて走行速度、時刻情報、またはナビゲーション情報等の音声出力制御を行ってもよい。

（動作）
続いて、本実施形態による動作処理について図２２を参照して説明する。図２２は、第５の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。

図２２に示すように、まず、ステップＳ７０３において、視線検出調整部２４−５は、ユーザによりミラー（ルームミラー２８ａまたはサイドミラー２８Ｌ、２８Ｒ）が操作されているか否かを判断する。具体的には、視線検出調整部２４−５は、操作対象装置２８から出力された検知情報に基づいて判断する。

次に、ミラーが操作されていると判断された場合（Ｓ７０３／Ｙｅｓ）、ステップＳ７０６において、視線検出部２３−５は、視線検出用カメラ１２−５により撮像された撮像画像に基づいて視線位置Ｐをサンプリングする。なお視線検出部２３−５は継続的に視線位置Ｐをサンプリングし、ミラーが操作されていないと判断された場合（Ｓ７０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。

次いで、ステップＳ７０９において、視線検出調整部２４−５は、ミラーが操作されている時間が一定時間経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４−５は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。

次に、一定時間が経過せずにミラー操作が終了した場合（Ｓ７０９／Ｎｏ）、サンプリングしたデータはクリアされる。

一方、ミラー操作の時間が一定時間経過した場合（Ｓ７０９／Ｙｅｓ）、ステップＳ７１２において、視線検出調整部２４−５は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４−５は、ミラーの設置位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。ミラーの角度を調整する操作では、ユーザはミラーを注視していることが推定されるためである。

また、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して−２σ以内のものだけを用いてもよい。

以上説明したように、本実施形態による情報処理システム１０５では、ユーザがミラーの角度を調整する操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。

＜２−６．第６の実施形態＞
次に、第６の実施形態による情報処理システム１０６について、図２３〜図２５を参照して具体的に説明する。本実施形態では、自動車を運転するという装置本来の目的を遂行するための操作の中で視線検出キャリブレーションを行う場合について説明する。

（概要）
本実施形態は、第５の実施形態と同様に、自動車のフロントガラスや、メーターパネル上部に設けられたポップアップ式の透過型のディスプレイに画像を表示するＨＵＤにおいて、ユーザの視線に応じた表示制御を行うシステムを想定する。

図２３は、第６の実施形態による視線検出キャリブレーションについて説明する図である。通常、自動車の運転中は主に前方に視線が向けられ、前方以外ではルームミラーやサイドミラーの方向に向けられる。各ミラーの設置場所は固定されているため、運転手が前方以外を見ている際の視線位置の分布は各ミラーの設置場所に集中しやすくなることが想定される。

例えば、図２３に示すように、車内に設けられたカメラ（視線検出用カメラ１２−６）で運転席に座るユーザの顔を継続的に撮像し、撮像画像に基づいて視線検出を行い、運転中に視線が集中している注視エリアＥ１〜Ｅ４を取得する。上述したように、運転中のユーザの視線は、前方、ルームミラー、およびサイドミラー（注視対象の一例）に集中することが想定されるため、注視エリアＥ１は前方（フロントガラス）、注視エリアＥ２はルームミラー２８ａ、注視エリアＥ３は左側のサイドミラー２８Ｌ、注視エリアＥ４は右側のサイドミラー２８Ｒにそれぞれ対応する。従って、各注視エリアＥ２〜Ｅ４と、ルームミラー２８ａ、サイドミラー２８Ｌ、およびサイドミラー２８Ｒの実際の設置位置に基づいて、視線検出キャリブレーションを行うことが可能となる。

本実施形態では、このように自動車の運転中にルームミラーやサイドミラーを見るという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。

（構成）
図２４は、第６の実施形態による情報処理システム１０６の構成を示す図である。図２４に示すように、情報処理システム１０６は、視線検出用カメラ１２−６、情報処理装置２０−６、および表示装置３０−６を含む。

視線検出用カメラ１２−６は、車内に設けられ、座席に座るユーザの顔を撮像する。視線検出用カメラ１２−６は、取得した撮像画像を視線検出部２３−６に出力する。

表示装置３０−６は、透過型のディスプレイであって、運転手の視線を移動させることなく、走行速度、時刻、ナビゲーション情報等の運転に必要な様々な情報を提示する。具体的には、表示装置３０−６は、フロントガラスの少なくとも一部により実現されたり、メーターパネル上部にポップアップ式で設けられたりする。

情報処理装置２０−６は、自動車に搭載されていてもよいし、自動車に着脱可能に設置される端末装置であってもよいし、ユーザが所持するスマートフォンやタブレット端末等のモバイル装置であってもよい。情報処理装置２０−６は、図２４に示すように、アプリケーション処理部２２−６、視線検出調整部２４−６、視線検出部２３−６、および注視エリア抽出部２９を有する。

アプリケーション処理部２２−６は、表示装置３０−６の表示制御を行う。例えば、アプリケーション処理部２２−６は、走行速度、時刻、およびナビゲーション情報等、運転に必要な様々な情報を取得し、表示装置３０−６に表示するよう制御する。また、アプリケーション処理部２２−６は、視線検出部２３−６により検出された視線に応じた表示制御を行うことも可能である。

視線検出部２３−６は、視線検出用カメラ１２−６で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。注視エリア抽出部２９は、視線検出部２３−６により継続的に検出された運転中のユーザの視線位置に基づいて、視線が集中する注視エリアを抽出する。

視線検出調整部２４−６は、注視エリア抽出部２９により抽出された注視エリアと、対応するミラー（注視対象の一例）の設置位置に基づいて、視線検出キャリブレーションを行う。具体的には、視線検出調整部２４−６は、注視エリアと、予め設定されているミラーの位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。ミラーの設置位置は固定のため、予め設定され得る。視線検出調整部２４−６は、注視対象であるミラーの当該予め設定された固定の設置位置を認識する認識部としても機能する。

以上、本実施形態による情報処理システム１０６について具体的に説明した。なお図２４に示すシステム構成は一例であって、本実施形態はこれに限定されない。例えば、情報処理システム１０６は、スピーカ装置をさらに備え、ユーザの視線に応じて走行速度、時刻情報、またはナビゲーション情報等の音声出力制御を行ってもよい。

（動作）
続いて、本実施形態による動作処理について図２５を参照して説明する。図２５は、第６の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。

図２５に示すように、まず、ステップＳ８０３において、視線検出部２３−６は、自動車が走行中であるか否かを判断する。具体的には、例えば視線検出部２３−６は、情報処理装置２０−６に搭載された加速度センサ、ジャイロセンサ、位置計測部等の各種センサ（不図示）により検知された情報に基づいて、自動車が走行中であるか否かを判断する。

次に、自動車が走行中であると判断された場合（Ｓ８０３／Ｙｅｓ）、ステップＳ８０６において、視線検出部２３−６は、視線検出用カメラ１２−６により撮像された撮像画像に基づいて視線位置Ｐをサンプリングする。なお視線検出部２３−６は継続的に視線位置Ｐをサンプリングし、自動車が走行中ではないと判断された場合（Ｓ８０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。

次いで、ステップＳ８０９において、視線検出調整部２４−５は、注視エリア抽出部２９により注視エリアが抽出されたか否かを判断する。注視エリア抽出部２９は、視線検出部２３−６により継続的に検出される走行中のユーザの視線位置Ｐに基づいて注視エリアを抽出する。具体的には、例えば注視エリア抽出部２９は、蓄積された視線位置Ｐに基づいて、前方に集まる視線位置データと前方以外に集まる視線位置データとの分離を行い、注視エリアを抽出する。なお、注視エリアの抽出が行える程度の視線検出データが蓄積されるまで、視線位置のサンプリングが繰り返される（Ｓ８０９／Ｎｏ）。

次に、注視エリアが抽出された場合（Ｓ８０９／Ｙｅｓ）、ステップＳ８１２において、視線検出調整部２４−６は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４−６は、抽出された注視エリアと、当該注視エリアに対応するミラーの設置位置とのずれに基づいて、視線検出誤差を補正する。運転中に前方以外で視線位置が集中するエリアは、各ミラーに対応する領域であることが推定されるためである。

以上説明したように、本実施形態による情報処理システム１０６では、ユーザが運転中にルームミラーやサイドミラーを見るという動作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。

＜＜３．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、情報処理装置２０−１〜２０−６の構成は上述した例に限定されず、さらに通信部、操作入力部、マイクロホン、スピーカ、または各種センサ等を有していてもよい。

また、上述した情報処理装置２０−１〜２０−６は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および記憶部等のハードウェア構成により実現され、これらにより各機能（指示位置検出部２１、アプリケーション処理部２２、視線検出部２３、視線検出調整部２４、注視エリア抽出部２９）を実行する。

また、情報処理装置２０−１〜２０−６に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置２０−１〜２０−６の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザ操作に伴う注視対象の位置を認識する認識部と、
ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
を備える、情報処理装置。
（２）
前記注視対象は、ユーザ操作目的の対象となる仮想物体または実物体である、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部をさらに備える、前記（２）に記載の情報処理装置。
（４）
前記注視対象は、表示部に表示される画像アイコンであって、
前記ユーザ操作は、前記画像アイコンの表示領域内に操作対象オブジェクトを移動させる操作であって、
前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記画像アイコンの表示領域内に移動させた際に検出された視線位置と、前記画像アイコンの表示位置とに基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（５）
前記情報処理装置は、透過性を有する表示部を有するメガネ型のウェアラブル装置であって、
前記ユーザ操作は、前記表示部に表示される画像アイコンを指先で指す動作であって、
前記視線検出調整部は、前記メガネ型のウェアラブル装置を装着した際にユーザの視界方向を撮像した撮像画像に基づいて認識された指先が前記表示部に表示された画像アイコンの表示領域内に移動した際に検出された視線位置、および前記画像アイコンの表示位置に基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（６）
前記アプリケーション処理部は、前記画像アイコンが選択された際に、当該画像アイコンに紐付けられた所定のアプリケーション処理を実行する、前記（４）または（５）に記載の情報処理装置。
（７）
前記注視対象は、ユーザの撮像画像をリアルタイムに表示する表示画面上に表示される検出エリア表示であって、
前記ユーザ操作は、前記ユーザが把持する物体を前記検出エリア表示内に移動させる動作であって、
前記視線検出調整部は、前記物体が前記検出エリア表示内に入った際に検出された視線位置と、前記検出エリア表示の表示位置とに基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（８）
前記アプリケーション処理部は、前記ユーザの把持する物体が前記検出エリア表示内に入った際に所定のアプリケーション処理を実行する、前記（７）に記載の情報処理装置。
（９）
前記注視対象は、表示部に表示されるパスコード入力画面に含まれるボタン画像であって、
前記ユーザ操作は、前記パスコード入力画面に含まれるボタン画像を選択してパスコードを入力する操作であって、
前記視線検出調整部は、ユーザが前記ボタン画像を選択している際に検出された視線位置と、前記ボタン画像の表示位置とに基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（１０）
前記アプリケーション処理部は、前記パスコード入力画面に含まれる前記ボタン画像の選択により入力されたパスコードの正否を判断し、正しい場合にはロック解除処理を実行する、前記（９）に記載の情報処理装置。
（１１）
前記情報処理装置は、ユーザの頭部に装着されるＨＭＤ;Head Mounted Displayであって、
前記注視対象は、前記ＨＭＤを装着した際に前記ユーザの眼前に位置する表示部に表示される複数の選択画像であって、
前記ユーザ操作は、前記複数の選択画像から操作対象オブジェクトにより一の選択画像を選択する操作であって、
前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記選択画像の表示領域内に移動させて選択した際に検出された視線位置と、選択された前記選択画像の表示位置とに基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（１２）
前記操作対象オブジェクトは、前記ＨＭＤに接続されたコントローラの動きに応じて前記表示画面上を移動する、前記（１１）に記載の情報処理装置。
（１３）
前記注視対象の表示位置は、表示画面上において毎回異なる場所に表示される、前記（４）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記情報処理装置は、透過性を有する表示部を有するメガネ型のウェアラブル装置であって、
前記ユーザ操作は、前記表示部を介して実物体を視認する動作であって、
前記視線検出調整部は、前記メガネ型のウェアラブル装置を装着した際にユーザの視界方向を撮像した撮像画像に基づいて認識された前記実物体が前記ユーザの視界に入っている際に検出された視線位置と、前記透過性を有する表示部を介して視認される前記実物体の前記表示部における座標位置に基づいて、視線検出の調整を行う、前記（２）に記載の情報処理装置。
（１５）
前記実物体は、前記ユーザが所持するデバイスである、前記（１４）に記載の情報処理装置。
（１６）
前記注視対象は、自動車に設けられたミラーであって、
前記ユーザ操作は、前記ミラーの角度調整操作であって、
前記視線検出部は、車内に設けられた撮像部で撮像した撮像画像に基づいて前記ユーザの視線位置を検出し、
前記視線検出調整部は、前記ミラーの角度調整操作が行われている際に検出された視線位置と、前記ユーザが角度調整を行っているミラーの固定位置とに基づいて、視線検出の調整を行う、前記（２）に記載の情報処理装置。
（１７）
前記注視対象は、自動車に設けられたミラーであって、
前記ユーザ操作は、運転中における前記ミラーの視認動作であって、
前記視線検出部は、車内に設けられ撮像部で撮像した撮像画像に基づいて前記ユーザの視線位置を検出し、
前記視線検出調整部は、前記ユーザの運転中に検出された視線位置の履歴から抽出された注視エリアの位置と、当該注視エリアに対応するミラーの固定位置とに基づいて、視線検出の調整を行う、前記（２）に記載の情報処理装置。
（１８）
ユーザ操作に伴う注視対象の位置を認識することと、
ユーザ操作時におけるユーザの視線位置を検出することと、
前記認識された注視対象の位置と、前記視線位置とに基づいて、視線検出調整部により視線検出の調整を行うことと、
を含む、制御方法。
（１９）
コンピュータを、
ユーザ操作に伴う注視対象の位置を認識する認識部と、
ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
として機能させるための、プログラム。

１０１〜１０６ 情報処理システム
１０−１ａ、１０−１ｃ カメラ
１１−１ｂ、１１−１ｄ 指示位置検出用カメラ
１１−２ デバイス検出用カメラ
１２−１〜１２−６ 視線検出用カメラ
２０−１〜２０−６ 情報処理装置
２１−１〜２１−６ 指示位置検出部
２２−１〜２２−６ アプリケーション処理部
２３−１〜２３−６ 視線検出部
２４−１〜２４−６ 視線検出調整部
２８ 操作対象装置
２８ａ ルームミラー
２８Ｌ、２８Ｒ サイドミラー
２９ 注視エリア抽出部
３０−１、３０−２、３０−５、３０−６ 表示装置
３０−４ 表示部
３１ スクリーン
３２ タッチパネルディスプレイ
４０ スタートアイコン
４３ 検出エリア
４５ メールアイコン
４９ 数字ボタン
５０ ポインタ
５１ コントローラ
５２ 指先
６０ デバイス
６３ コントローラ
７０ アイコン
７２ カーソル

Claims (14)

1. ユーザ操作に伴う注視対象の位置を認識する認識部と、
   ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
   前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
   前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部と、
   を備え、
   前記視線検出調整部は、前記アプリケーション処理を実行させる前記ユーザ操作時の視線位置と、前記注視対象の表示位置との関係に基づいて、視線検出の調整を行い、
   前記注視対象は、表示部に表示される画像アイコンであって、
   前記ユーザ操作は、前記画像アイコンの表示領域内に操作対象オブジェクトを移動させる操作であって、
   前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記画像アイコンの表示領域内に移動させた際に検出された視線位置と、前記画像アイコンの表示位置とに基づいて、視線検出の調整を行う、情報処理装置。
2. 透過性を有する表示部を有するメガネ型の情報処理装置であって、
   ユーザ操作に伴う注視対象の位置を認識する認識部と、
   ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
   前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
   前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部と、
   を備え、
   前記視線検出調整部は、前記アプリケーション処理を実行させる前記ユーザ操作時の視線位置と、前記注視対象の表示位置との関係に基づいて、視線検出の調整を行い、
   前記ユーザ操作は、前記表示部に表示される画像アイコンを指先で指す動作であって、
   前記視線検出調整部は、前記メガネ型のウェアラブル装置を装着した際にユーザの視界方向を撮像した撮像画像に基づいて認識された指先が前記表示部に表示された画像アイコンの表示領域内に移動した際に検出された視線位置、および前記画像アイコンの表示位置に基づいて、視線検出の調整を行う、情報処理装置。
3. 前記アプリケーション処理部は、前記画像アイコンが選択された際に、当該画像アイコンに紐付けられた所定のアプリケーション処理を実行する、請求項１または２に記載の情報処理装置。
4. ユーザ操作に伴う注視対象の位置を認識する認識部と、
   ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
   前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
   前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部と、
   を備え、
   前記視線検出調整部は、前記アプリケーション処理を実行させる前記ユーザ操作時の視線位置と、前記注視対象の表示位置との関係に基づいて、視線検出の調整を行い、
   前記注視対象は、ユーザの撮像画像をリアルタイムに表示する表示画面上に表示される検出エリア表示であって、
   前記ユーザ操作は、前記ユーザが把持する物体を前記検出エリア表示内に移動させる動作であって、
   前記視線検出調整部は、前記物体が前記検出エリア表示内に入った際に検出された視線位置と、前記検出エリア表示の表示位置とに基づいて、視線検出の調整を行う、情報処理装置。
5. 前記アプリケーション処理部は、前記ユーザの把持する物体が前記検出エリア表示内に入った際に所定のアプリケーション処理を実行する、請求項４に記載の情報処理装置。
6. ユーザ操作に伴う注視対象の位置を認識する認識部と、
   ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
   前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
   前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部と、
   を備え、
   前記視線検出調整部は、前記アプリケーション処理を実行させる前記ユーザ操作時の視線位置と、前記注視対象の表示位置との関係に基づいて、視線検出の調整を行い、
   前記注視対象は、表示部に表示されるパスコード入力画面に含まれるボタン画像であって、
   前記ユーザ操作は、前記パスコード入力画面に含まれるボタン画像を選択してパスコードを入力する操作であって、
   前記視線検出調整部は、ユーザが前記ボタン画像を選択している際に検出された視線位置と、前記ボタン画像の表示位置とに基づいて、視線検出の調整を行う、情報処理装置。
7. 前記アプリケーション処理部は、前記パスコード入力画面に含まれる前記ボタン画像の選択により入力されたパスコードの正否を判断し、正しい場合にはロック解除処理を実行する、請求項６に記載の情報処理装置。
8. ユーザの頭部に装着されるＨＭＤ;Head Mounted Displayとして機能する情報処理装置であって、
   ユーザ操作に伴う注視対象の位置を認識する認識部と、
   ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
   前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
   前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部と、
   を備え、
   前記視線検出調整部は、前記アプリケーション処理を実行させる前記ユーザ操作時の視線位置と、前記注視対象の表示位置との関係に基づいて、視線検出の調整を行い、
   前記注視対象は、前記情報処理装置を装着した際に前記ユーザの眼前に位置する表示部に表示される複数の選択画像であって、
   前記ユーザ操作は、前記複数の選択画像から操作対象オブジェクトにより一の選択画像を選択する操作であって、
   前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記選択画像の表示領域内に移動させて選択した際に検出された視線位置と、選択された前記選択画像の表示位置とに基づいて、視線検出の調整を行う、情報処理装置。
9. 前記操作対象オブジェクトは、前記情報処理装置に接続されたコントローラの動きに応じて前記表示画面上を移動する、請求項８に記載の情報処理装置。
10. 前記注視対象の表示位置は、表示画面上において毎回異なる場所に表示される、請求項１に記載の情報処理装置。
11. ユーザ操作に伴う注視対象の位置を認識する認識部と、
    ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
    前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
    前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部と、
    を備え、
    前記ユーザ操作は、透過性を有する表示部を介して実物体を視認する動作であって、
    前記視線検出調整部は、前記表示部を有するメガネ型のウェアラブル装置を装着した際に前記ユーザの視界方向を撮像した撮像画像に基づいて認識された前記実物体が前記ユーザの視界に入っている際に検出された視線位置と、前記透過性を有する表示部を介して視認される前記実物体の前記表示部における座標位置に基づいて、視線検出の調整を行う、情報処理装置。
12. 前記実物体は、前記ユーザが所持するデバイスである、請求項１１に記載の情報処理装置。
13. プロセッサが、
    ユーザ操作に伴う注視対象の位置を認識することと、
    ユーザ操作時におけるユーザの視線位置を検出することと、
    前記認識された注視対象の位置と、前記視線位置とに基づいて、視線検出調整部により視線検出の調整を行うことと、
    前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行することと、
    を含み、
    前記視線検出の調整は、前記アプリケーション処理を実行させる前記ユーザ操作時の視線位置と、前記注視対象の表示位置との関係に基づいて行い、
    前記注視対象は、表示部に表示される画像アイコンであって、
    前記ユーザ操作は、前記画像アイコンの表示領域内に操作対象オブジェクトを移動させる操作であって、
    前記視線検出の調整は、ユーザが表示画面上の操作対象オブジェクトを前記画像アイコンの表示領域内に移動させた際に検出された視線位置と、前記画像アイコンの表示位置とに基づいて行う、制御方法。
14. コンピュータを、
    ユーザ操作に伴う注視対象の位置を認識する認識部と、
    ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
    前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
    前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部と、
    として機能させ、
    前記視線検出調整部は、前記アプリケーション処理を実行させる前記ユーザ操作時の視線位置と、前記注視対象の表示位置との関係に基づいて、視線検出の調整を行い、
    前記注視対象は、表示部に表示される画像アイコンであって、
    前記ユーザ操作は、前記画像アイコンの表示領域内に操作対象オブジェクトを移動させる操作であって、
    前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記画像アイコンの表示領域内に移動させた際に検出された視線位置と、前記画像アイコンの表示位置とに基づいて、視線検出の調整を行う、プログラム。

Images