JP6420876B1 - 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents

Abstract

【課題】表示手段が配置されている位置の方向を特定しなくても、或る表示手段の画面がユーザの視界に入っているか否かを判定可能にする情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供する。
【解決手段】情報処理装置（画面視認装置のシステム制御部１１）の表示制御部１１１は、表示手段１６に映像を表示させる。情報処理装置の検出部１７は、ユーザの眼球の様子を検出する。情報処理装置の判定部１１３は、ユーザの眼球の様子と、表示手段に表示された映像との間の一致度を判定する。
【選択図】図２

Description

本発明は、ディスプレイの画面がユーザの視界に入っているか否かを判定する方法の技術分野に関する。

例えば、特許文献１には、ディスプレイの上方に設置されたインカメラがユーザ側を撮影し、このインカメラが出力する撮像結果に基づいて、ユーザの視線がディスプレイに向いていると判定した場合に、ユーザがディスプレイを見ていると判定する技術が開示されている。

特開２０１６−１８１８７６号公報

特許文献１に開示された技術では、撮影範囲内の位置からディスプレイが配置されている位置への方向が予め判明しているからこそ、ユーザの視線がどの方向に向いているかに基づいて、ユーザがディスプレイを見ているか否かが判定可能となる。しかしながら、ディスプレイが配置されている位置の方向が不明な場合、このような判定を行うことができない。このような場合の一例として、ディスプイレイは予め配置されている一方で、カメラ又はカメラを内蔵した端末装置はユーザが携帯している場合等が挙げられる。

本発明は、上記の点等に鑑みてなされたものであり、表示手段が配置されている位置の方向を特定しなくても、或る表示手段の画面がユーザの視界に入っているか否かを判定可能にする情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、複数の表示手段と、前記複数の表示手段に映像を順次表示させる表示制御手段と、ユーザの眼球の様子を検出する検出手段と、前記検出された眼球の様子と前記映像との間の一致度を判定する判定手段と、を備え、前記検出手段及び前記判定手段は、前記映像が表示されるたびに動作することを特徴とする。

この発明によれば、情報処理装置は、ユーザの眼球の様子と表示手段に表示された映像との間の一致度を判定する。ユーザの眼球の様子は、例えばユーザの眼球に現れる物理現象であって、視覚的に観察可能な物理現象の様子等であってもよい。この物理現象は、例えば眼球の運動又は眼球の表面における光学的な反射等であってもよい。ユーザの視界に表示手段の画面が入っている場合、そうでは無い場合よりも、ユーザの眼球の様子と表示手段に表示された映像との間の一致度が高くなる蓋然性がある。従って、表示手段が配置されている位置の方向を特定しなくても、判定された一致度に基づいて、その表示手段の画面がユーザの視界に入っているか否かの判定が可能である。
また、この発明によれば、情報処理装置は、複数の表示手段について順次、映像の表示、ユーザの眼球の検出、及び一致度の判定を行う。従って、複数の表示手段のそれぞれについて判定された一致度に基づいて、複数の表示手段のうちユーザが視界に入れることが可能な表示手段を特定することができる。

請求項２に記載の発明は、複数の表示手段に映像を順次表示させる表示制御手段と、ユーザの眼球の様子を検出する検出手段により検出された前記眼球の様子を示す様子情報を取得する取得手段と、前記取得された様子情報が示す前記眼球の様子と前記映像との間の一致度を判定する判定手段と、を備え、前記検出手段、前記取得手段及び前記判定手段は、前記映像が表示されるたびに動作することを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の情報処理装置において、前記映像は、時間の経過に従って前記表示手段において表示対象の表示位置が変化する映像であり、前記検出手段は、前記眼球の動きを検出し、前記判定手段は、前記眼球の動きと前記表示対象の表示位置の変化との一致度を判定することを特徴とする。

この発明によれば、情報処理装置は、ユーザの眼球の動きと表示手段の画面内の表示対象の表示位置の変化との一致度を判定する。表示手段に表示された表示対象を見ているのであれば、そうではない場合よりも、ユーザの眼球の動きと表示対象の動きとの一致度が高くなる蓋然性がある。従って、判定された一致度に基づいて、表示手段の画面がユーザの視界に入っているか否かの判定が可能である。

請求項４に記載の発明は、請求項１又は２に記載の情報処理装置において、前記検出手段は、前記眼球における光学的な反射の様子を検出することを特徴とする。

この発明によれば、情報処理装置は、ユーザの眼球における光学的な反射の様子と表示手段に表示された映像との間の一致度を判定する。表示手段の画面がユーザの視界に入っているのであれば、映像の表示によって画面から放たされた光がユーザの眼球で反射する。この反射の様子が検出されれば、一致度が高くなる蓋然性がある。従って、判定された一致度に基づいて、表示手段の画面がユーザの視界に入っているか否かの判定が可能である。

請求項５に記載の発明は、請求項４に記載の情報処理装置において、前記検出手段は、前記眼球における反射像を検出し、前記判定手段は、前記反射像と前記映像との一致度を判定することを特徴とする。

この発明によれば、情報処理装置は、ユーザの眼球における反射像と表示手段に表示された映像との一致度を判定する。表示手段に表示された映像がユーザの視界に入っているのであれば、ユーザの眼球はその映像を反射する。この場合、反射像の形状及び模様の少なくとも何れか一方と、表示手段に表示された映像の形状及び模様の少なくとも何れか一方との一致度は高くなる蓋然性がある。従って、判定された一致度に基づいて、表示手段の画面がユーザの視界に入っているか否かの判定が可能である。

請求項６に記載の発明は、請求項１乃至４の何れか１項に記載の情報処理装置において、前記映像は、時間の経過に従って輝度が変化し、前記検出手段は、前記眼球における反射光の輝度を時系列的に検出し、前記判定手段は、前記反射光の輝度の変化と前記映像の輝度の変化との一致度を判定することを特徴とする。

この発明によれば、情報処理装置は、ユーザの眼球における反射光の輝度の変化と表示手段に表示された映像の輝度の変化との一致度を判定する。表示手段に表示された映像がユーザの視界に入っているのであれば、ユーザの眼球は、画面から放たれた光を、映像の輝度に応じた輝度で反射する。この場合、反射光の輝度の変化と表示手段に表示された映像の輝度の変化との一致度は高くなる蓋然性がある。従って、判定された一致度に基づいて、表示手段の画面がユーザの視界に入っているか否かの判定が可能である。

請求項７に記載の発明は、請求項６に記載の情報処理装置において、前記映像は、交互に表示される第１輝度の映像及び第２輝度の映像であって、周期的に表示される第１輝度の映像と、該第１輝度と異なる第２輝度の映像とを含み、前記判定手段は、前記反射光の輝度が上昇又は低下する周期と、前記第１輝度の映像が表示される周期との一致度を判定することを特徴とする。

この発明によれば、表示手段に表示される映像の輝度は周期的に上昇又は低下する。そのため、表示手段の画面がユーザの視界に入っているのであれば、反射光の輝度が上昇又は低下する周期と、前記第１輝度の映像が表示される周期との一致度は高くなる蓋然性がある。従って、判定された一致度に基づいて、表示手段の画面がユーザの視界に入っているか否かの判定が可能である。

請求項８に記載の発明は、請求項１乃至７の何れか１項に記載の情報処理装置において、前記判定手段により所定値以上の一致度が判定された場合、前記複数の表示手段のうち、前記所定値以上の一致度が判定された時点で最後に前記映像を表示した表示手段の画面は前記ユーザの視界に入っていると判定する第２判定手段を更に備えることを特徴とする。

この発明によれば、複数の表示手段のうちユーザが視界に入れることが可能な表示手段を特定することができる。

請求項９に記載の発明は、請求項１乃至８の何れか１項に記載の情報処理装置において、前記表示制御手段は、前記判定手段により所定値以上の一致度が判定された場合、前記複数の表示手段による前記映像の順次表示を停止させることを特徴とする。

この発明によれば、複数の表示手段のうちユーザが視界に入れることが可能な表示手段を特定するために必要な時間を短縮することができる。

請求項１０に記載の発明は、請求項１乃至９の何れか１項に記載の情報処理装置において、前記検出手段は、更に前記ユーザの両眼のそれぞれの視線の方向を検出し、前記検出された方向に基づいて、前記ユーザから前記視線の交点までの距離を算出する算出手段を更に備えることを特徴とする。

この発明によれば、ユーザが表示手段の画面を見ている場合、ユーザから表示手段までの距離を算出することができる。

請求項１１に記載の発明は、ユーザの眼球の様子を検出する検出手段を備える端末装置と、複数の表示手段に映像を順次表示させる表示制御手段、前記端末装置から前記眼球の様子を示す様子情報を受信する受信手段、及び、前記受信された様子情報が示す前記眼球の様子と前記映像との間の一致度を判定する判定手段、を備える情報処理装置と、を含み、前記検出手段、前記受信手段及び前記判定手段は、前記映像が表示されるたびに動作することを特徴とする。

請求項１２に記載の発明は、複数の表示手段に映像を順次表示させる表示制御ステップと、ユーザの眼球の様子を検出する検出手段により検出された前記眼球の様子を示す様子情報を取得する取得ステップと、前記取得された様子情報が示す前記眼球の様子と前記映像との間の一致度を判定する判定ステップと、を含み、前記映像が表示されるたびに、前記検出手段が動作し且つ前記取得ステップ及び前記判定ステップが実行されることを特徴とする。

請求項１３に記載の発明は、コンピュータに、複数の表示手段に映像を順次表示させる表示制御手段と、ユーザの眼球の様子を検出する検出手段により検出された前記眼球の様子を示す様子情報を取得する取得手段と、前記取得された様子情報が示す前記眼球の様子と前記映像との間の一致度を判定する判定手段と、として機能させ、前記検出手段、前記取得手段及び前記判定手段は、前記映像が表示されるたびに動作することを特徴とする。

本発明によれば、情報処理装置は、ユーザの眼球の様子と表示手段に表示された映像との間の一致度を判定する。従って、表示手段が配置されている位置の方向を特定しなくても、判定された一致度に基づいて、その表示手段の画面がユーザの視界に入っているか否かの判定が可能である。
また、本発明によれば、情報処理装置は、複数の表示手段について順次、映像の表示、ユーザの眼球の検出、及び一致度の判定を行う。従って、複数の表示手段のそれぞれについて判定された一致度に基づいて、複数の表示手段のうちユーザが視界に入れることが可能な表示手段を特定することができる。

一実施形態に係る画面視認判定装置の概要構成の一例を示すブロック図である。 一実施形態に係る画面視認装置１のシステム制御部１１の機能ブロック及びユーザの視界に画面が入っているか否かの判定の様子の例を示す図である。 （ａ）は、オブジェクトの連続的な移動例を示す図である。（ｂ）は、オブジェクトの非連続的な移動例を示す図である。（ｃ）は、ユーザの眼球の動きの一例を示す図である。 一実施形態に係る画面視認判定装置のシステム制御部１１による画面視認判定処理の一例を示すフローチャートである。 （ａ）は、映像の表示例を示す図である。（ｂ）は、眼球における反射像の一例を示す図である。 表示部１６の画面の様子と眼球における反射光の様子の変化の一例を示す図である。 一実施形態に係る画面視認判定装置の概要構成の一例を示すブロック図である。 （ａ）及び（ｂ）は、複数の表示部の何れかにおける映像の表示の様子の一例を示す図である。 一実施形態に係る画面視認判定装置のシステム制御部１１による画面視認判定処理の一例を示すフローチャートである。 （ａ）は、複数の表示部による映像の表示例を示す図である。（ｂ）は、ユーザの眼球の動きの一例を示す図である。 （ａ）は、複数の表示部による映像の表示例を示す図である。（ｂ）は、ユーザの眼球における反射像の一例を示す図である。 （ａ）は、複数の表示部による映像の表示例を示す図である。（ｂ）は、眼球における反射光の様子の変化の一例を示す図である。 一実施形態に係る画面視認判定装置のシステム制御部１１による画面視認判定処理の一例を示すフローチャートである。 ユーザの眼球、検出部及び表示部の位置関係の一例を示す図である。 一実施形態に係る画面視認判定システムの概要構成の一例を示すブロック図である。 （ａ）は、一実施形態に係る画面視認判定装置の概要構成の一例を示すブロック図である。（ｂ）は、一実施形態に係るユーザ端末の概要構成の一例を示すブロック図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。

［１．第１実施形態］
［１−１．画面視認判定装置の構成］
先ず、本実施形態に係る画面視認判定装置の構成の構成について、図１を用いて説明する。

図１は、本実施形態に係る画面視認判定装置１の概要構成の一例を示すブロック図である。図１に示すように、画面視認判定装置１は、システム制御部１１と、システムバス１２と、入出力インターフェース１３と、記憶部１４と、入力部１５と、表示部１６と、検出部１７と、を備えている。画面視認判定装置１は、表示部１６の画面がユーザの視界に入っているか否かを判定する装置である。画面視認判定装置１は、本発明の情報処理装置の一例である。画面視認判定装置１は、例えばパーソナルコンピュータ等であってもよい。

システム制御部１１と入出力インターフェース１３とは、システムバス１２を介して接続されている。

入出力インターフェース１３は、記憶部１４〜検出部１７とシステム制御部１１との間のインターフェース処理を行う。

記憶部１４は、例えば、ハードディスクドライブ又はソリッドステートドライブ等により構成されている。この記憶部１４には、表示部１６に表示される映像に対応する映像データが記憶される。

記憶部１４には、更にＯＳ、視認判定プログラム等のプログラムが記憶される。視認判定プログラムは、ユーザの視界に表示部１６の画面が入っているか否かを判定するためのプログラムである。視認判定プログラムは所定のサーバ装置からネットワークを介してダウンロードされてもよい。或いは、視認判定プログラムは、メモリカード、光ディスク等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。また、視認判定プログラムは、プログラム製品であってもよい。

入力部１５は、ユーザによる操作を受け付け、操作内容に対応する信号をシステム制御部１１に出力する。入力部１５の例として、キーボード、マウス、タッチパネル等が挙げられる。

表示部１６は、画面に映像を表示するディスプイレイである。表示部１６の例として、液晶ディスプレイ、有機ＥＬ（Light Emitting）ディスプレイ等が挙げられる。表示部１６と入出力インターフェース１３とは、例えばディスプレイケーブルにより接続されてもよい。表示部１６は、画面視認判定装置１に内蔵されていてもよいし、画面視認判定装置１と接続されていてもよい。

検出部１７は、ユーザの眼球の様子を検出する。眼球の様子とは、例えば外見上における眼球の状況であってもよい。より具体的に、眼球の様子とは、ユーザの眼球に現れる物理現象であって、視覚的に観察可能な物理現象の様子であってもよい。このような物理現象の例として、眼球運動及び眼球表面における光学的な反射が挙げられる。検出部１７は、例えばカメラを備えてもよい。或いは、検出部１７は、カメラを備える携帯端末装置であってもよい。カメラの例として、可視カメラ、赤外線カメラ等が挙げられる。このカメラは、静止画及び動画の少なくとも一方の撮影が可能である。カメラにより眼球の様子が撮影される。検出部１７は、検出した眼球運動の様子を示す様子情報をシステム制御部１１に出力する。様子情報は、例えば撮影によって生成された静止画データ又は動画データであってもよい。或いは、様子情報は、例えば生成された静止画データ又は動画データを解析することにより、物理現象がどのようにして現れているかを示す情報であってもよい。この場合の様子情報は、両眼に関する情報であってもよいし、片方の眼のみに関する情報であってもよい。検出部１７とインターフェース部１３とは、例えば所定の規格に従ったインターフェースケーブルにより接続され、又は無線で接続される。例えば、ユーザ自身が検出部１７を持ってもよいし、ユーザの顔等に検出部１７が装着されるように検出部１７が構成されてもよい。

本実施形態においては、検出部１７は、眼球運動の様子が検出可能であればよい。具体的には、検出部１７は、眼球の動きを検出する。例えば、カメラによってユーザの眼球の様子の動画が撮影される。検出部１７は、撮影によって生成された動画データをシステム制御部１１へ出力してもよい。或いは、検出部１７は、動画データに基づいて眼球がどのように動いたかを検出してもよい。例えば、検出部１７は、動画データの各フレームからユーザの眼球を認識し、眼球の映像における瞳孔の位置を特定して、眼球がどの方向に動いたかを特定する。すなわち、検出部１７は、ユーザの視線がどのように動いたかを検出する。検出部１７は、瞳孔の軌跡又は瞳孔が移動した方向を示す様子情報をシステム制御部１１へ出力してもよい。瞳孔の軌跡は、例えば瞳孔の座標の時系列で表されてもよい。瞳孔が移動した方向は、例えば所定方向と瞳孔が移動した方向とがなす角度で表されてもよい。瞳孔の移動方向を検出するのであれば、検出部１７のカメラの解像度が低くても、移動方向を比較的正確に検出することが可能である。

システム制御部１１は、ＣＰＵ（Central Processing Unit）１１ａ、ＲＯＭ（Read Only Memory）１１ｂ、ＲＡＭ（Random Access Memory）１１ｃ等により構成されている。

［１−２．画面視認判定装置の機能概要］
次に、図２及び図３を用いて、画面視認装置１のシステム制御部１１の機能概要について説明する。

図２は、本実施形態に係る画面視認装置１のシステム制御部１１の機能ブロック及びユーザの視界に画面が入っているか否かの判定の様子の例を示す図である。システム制御部１１は、ＣＰＵ１１ａが、画面視認判定プログラムに含まれる各種コードを読み出し実行することにより、図２に示すように、表示制御部１１１、取得部１１２、及び判定部１１３として機能する。表示制御部１１１は、本発明の表示制御手段の一例である。取得部１１２は、本発明の取得手段の一例である。判定部１１３は、本発明の判定手段及び第２判定手段の一例である。また、図２に示すように、表示部１６に所定の態様の映像が表示されているときに、検出部１７によりユーザＵの右側眼球ＥＲ及び左側眼球ＥＬの少なくとも一方の様子が検出される。

表示制御部１１１は、表示部１６に映像を表示させる。この映像は、ユーザの視界に表示部１６の画面が入っているか否かの判定に用いられる。

本実施形態において、表示制御部１１１は、表示部１６の画面においてオブジェクトの表示位置が時間の経過に従って変化する映像を表示させる。オブジェクトの例として、何らかの像、絵、マーク、記号、文字等が挙げられる。表示位置の変化は、例えばオブジェクトの連続的な移動であってもよい。図３（ａ）は、オブジェクトの連続的な移動例を示す図である。図３（ａ）の例では、表示部１６の画面を表示部の正面から見た場合において、オブジェクトＤ１が画面の右側から左側に滑らかに移動する。表示位置の変化は、例えばオブジェクトの非連続的な移動であってもよい。図３（ｂ）は、オブジェクトの非連続的な移動例を示す図である。図３（ｂ）の例では、当初オブジェクトＤ２は画面の右半分の領域に表示されており、或る瞬間に、オブジェクトＤ２は左半分の領域に表示される。オブジェクトの表示位置が変化する方向が時間の経過に従って変化してもよい。このような変化の例として、表示位置が左方向に変化した後、表示位置が上方向に変化すること等が挙げられる。

例えば、記憶部１４には、オブジェクトの表示位置が時間の経過に従って変化する動画の動画データが記憶されていてもよい。この場合、表示制御部１１１は、動画データに従って映像信号を表示部１６に出力する。或いは、記憶部１４にはオブジェクトの静止画の画像データが記憶されてもよい。この場合、表示制御部１１１は、例えば記憶部１４に記憶されたオブジェクトの移動方向を示す情報、又はオブジェクトの表示位置の時系列を示す情報に基づいて、オブジェクトの表示位置が変化するように映像信号を生成して表示部１６に出力する。オブジェクトの表示位置が変化する方向又は軌跡は予め定められてもよいし、表示制御部１１１が所定の基準に従って又はランダムに決定してもよい。

取得部１１２は、検出部１７から、ユーザの眼球の様子を示す様子情報を取得する。様子情報として動画データを取得した場合、取得部１１２は、動画データを解析することにより瞳孔の軌跡又は瞳孔が移動した方向を示す情報を生成し、生成した情報を様子情報としてとして判定部１１３に引き渡してもよい。

判定部１１３は、取得部１１２により取得された様子情報が示すユーザの眼球の様子と、表示部１６に表示された映像との間の一致度を判定する。判定部１１３は、ユーザの眼球の様子と表示部１６に表示された映像との間の視覚的な特徴の一致度を判定してもよい。例えば、ユーザの視界に表示部１６の画面が入っているならば、そのときのユーザの眼球に現れる物理現象は、表示されている映像に対応して視覚的に観察可能な特徴を有することになる。ユーザの視界に画面が入っているとは、意識して画面を見ている状態、及び意識はしていないが画面が見えている状態の少なくとも何れか一方が含まれればよい。ユーザの視界に画面が入っていれば、画面が視界の中心にあってもよいし、中心から離れた位置にあってもよい。様子情報が、ユーザの両眼のそれぞれの様子に関する情報を含む場合、判定部１１３は、例えばその両眼に関する情報の代表値を計算して、判定を行ってもよい。代表値は、例えば平均値等であってもよい。

ユーザの眼球の様子の視覚的な特徴は、例えば眼球の動き方、眼球における反射像の形状及び模様の少なくとも何れか一方、又は眼球における反射光の変化の仕方等であってもよい。表示部１６に表示された映像の視覚的な特徴は、例えば画面内に表示されるオブジェクトの変化の仕方、映像の形状及び模様の少なくとも何れか一方、又は映像の輝度の変化の仕方等であってもよい。

本実施形態における眼球の様子の視覚的な特徴は、眼球の動き方である。本実施形態における映像の視覚的な特徴は、画面内に表示される所定のオブジェクトの表示位置の変化の仕方である。表示位置の変化の仕方は、例えば位置が変化する方向、移動の軌跡等であってもよい。判定部１１３は、眼球の動きとオブジェクトの表示位置の変化との一致度を判定する。判定部１１３は、例えば、瞳孔の軌跡とオブジェクトの軌跡との一致度を判定してもよいし、瞳孔の移動方向とオブジェクトの移動方向との一致度を判定してもよい。ユーザが画面のオブジェクトを見ている場合、ユーザはそのオブジェクトを眼で追っているはずである。従って、この場合、眼球の動き方とオブジェクトの表示位置の変化の仕方とは略一致する傾向にある。ユーザが画面のオブジェクトを見ていない場合、ユーザの眼球は動かないか、又は眼球が動いたとしても、眼球の動き方は、オブジェクトの表示位置の変化とは異なる蓋然性がある。

図３（ａ）の例では、オブジェクトＤ１は右から左に移動している。図３（ｃ）は、ユーザの眼球の動きの一例を示す図である。図３（ｃ）に示すように、右側眼球ＥＲの瞳孔ＣＲ及び左側眼球ＥＬの瞳孔ＣＬは、ユーザＵ自身から見て右から左に移動している。従って、ユーザの眼球の移動方向はオブジェクトＤ１の移動方向と一致している。図３（ｂ）の例でも、オブジェクトＤ２は右から左に移動している。従って、ユーザの瞳孔が図３（ｃ）に示すように移動した場合、ユーザの眼球の移動方向はオブジェクトＤ２の移動方向と一致している。

一致度の判定後、判定部１１３は、判定された一致度を示す情報を出力してもよい。例えば、判定部１１３は、表示部１６に一致度を示す情報を表示させてもよい。或いは、判定部１１３は、一致度に基づいて、ユーザの視界に表示部１６の画面が入っているか否かを判定してもよい。例えば、判定部１１３は、一致度が、所定の閾値以上である場合は、ユーザの視界に表示部１６の画面が入っていると判定してもよい。判定部１１３は、ユーザの視界に表示部１６の画面が入っているか否かの判定結果を出力してもよい。例えば、判定部１１３は、判定結果を表示部１６に表示させてもよい。

判定部１１３は、ユーザの視界に表示部１６の画面が入っていると判定された場合、表示制御部１１１は、本来ユーザに見せる予定の映像を表示部１６に表示させてもよい。このときに表示される映像の種類は特に限定されない。例えば、映像は、絵、図形、模様、記号、文字等の少なくとも何れか１つが含まれていてもよい。例えば、表示制御部１１１は、自動的に映像を表示部１６に表示させてもよいし、入力部１５に対する操作に基づいて映像を表示部１６に表示させてもよい。或いは、表示制御部１１１は、一致度の判定結果、又はユーザの視界に表示部１６の画面が入っているか否かの判定結果を表示部１６に表示させてもよい。

［１−３．画面視認判定装置の動作］
次に、画面視認判定装置の動作について、図４を用いて説明する。図４は、本実施形態に係る画面視認判定装置のシステム制御部１１による画面視認判定処理の一例を示すフローチャートである。システム制御部１１は、例えば入力部１５に対して所定の開始操作が行われると、画面視認判定プログラムに含まれる各種コードに従って、画面視認判定処理を実行する。

図４に示すように、表示制御部１１１は、表示部１６に映像信号を出力することにより、時間の経過に従ってオブジェクトの表示位置が変化する映像を表示部１６に表示させる。これと同期して、取得部１１２は、検出部１７を動作させる。検出部１７は、表示部１６によりオブジェクトが表示されている間の動画を撮影して、ユーザの眼球の様子を検出する（ステップＳ１）。なお、検出部１７が携帯端末装置である場合、表示部１６による映像の表示に先立って、携帯端末装置は、携帯端末装置の画面に所定のインストラクション情報を表示させてもよい。例えば、インストラクション情報として、表示部１６に表示される予定のオブジェクトを表示させるとともに、「このオブジェクトを見てください」又は「近くにあるディスプイレイを見てください」等のメッセージを表示させてもよい。

次いで、取得部１１２は、検出部１７から様子情報を取得する（ステップＳ２）。例えば、検出部１７は、撮影により生成された動画データを取得部１１２へ出力する。取得部１１２は、撮影により生成された動画データの各フレームから、ユーザの眼球及び瞳孔を認識し、フレーム上の眼球の映像に対する瞳孔の相対的な座標を取得する。取得部１１２は、瞳孔の座標の時系列に基づいて、瞳孔の移動方向を示す角度を計算してもよい。時間の経過に従って瞳孔の移動方向が変化する場合、取得部１１２は、移動方向が変化するごとに、瞳孔の移動方向を示す角度を計算してもよい。取得部１１２は、眼球の映像に対する瞳孔の相対的な移動量が所定値未満である場合、取得部１１２は、瞳孔は移動していないと判定してもよい。

次いで、判定部１１３は、様子情報に基づいて、ユーザの眼球の様子と映像との間の視覚的な特徴の一致度を判定する（ステップＳ３）。例えば、判定部１１３は、瞳孔の移動方向の角度とオブジェクトの表示位置の変化方向の角度との差を計算してもよい。判定部１１３は、計算された差が小さいほど一致度が大きくなるように、一致度を判定してもよい。

次いで、判定部１１３は、一致度が閾値以上であるか否かを判定する（ステップＳ４）。このとき、判定部１１３は、一致度が閾値以上であると判定した場合には（ステップＳ４：ＹＥＳ）、処理をステップＳ５に進める。ステップＳ５において、判定部１１３は、表示部１６の画面はユーザの視界に入っていると判定する。次いで、表示制御部１１１は、ユーザに見せる予定の映像を表示部１６に表示させて（ステップＳ６）、画面視認判定処理を終了させる。一方、判定部１１３は、一致度が閾値以上ではないと判定した場合には（ステップＳ４：ＹＥＳ）、処理をステップＳ７に進める。ステップＳ７において、判定部１１３は、表示部１６の画面はユーザの視界に入っていないと判定して、画面視認判定処理を終了させる。

以上説明したように、本実施形態によれば、システム制御部１１が、表示部１６に表示された映像を表示させる。また、検出部１７が、ユーザの眼球の様子を検出する。また、システム制御部１１が、ユーザの眼球の様子を示す様子情報を取得する。また、システム制御部１１が、検出された眼球の様子と表示部１６に表示された映像との間の視覚的な特徴の一致度を判定する。従って、表示部１６が配置されている位置の方向を特定しなくても、判定された一致度に基づいて、その表示部１６の画面がユーザの視界に入っているか否かの判定が可能である。

また、システム制御部１１が、時間の経過に従って表示部１６においてオブジェクトの表示位置が変化する映像を表示部１６に表示させてもよい。また、検出部１７が、眼球の動きを検出してもよい。また、システム制御部１１が、眼球の動きとオブジェクトの表示位置の変化との一致度を判定してもよい。この場合、ユーザの眼球の動きと表示部１６の画面内のオブジェクトの表示位置の変化との一致度に基づいて、表示部１６の画面がユーザの視界に入っているか否かの判定が可能である。また、検出部１７のカメラの解像度が比較的低くても、カメラにより撮影された映像に基づいて、眼球の動きを検出することができる。

［２．第２実施形態］
図４及び図５を用いて、第２実施形態について説明する。以下に説明する点を除き、第２実施形態は第１実施形態と同様である。図４に示す画面視認判定処理については、第１実施形態と異なる点について主として説明する。

本実施形態において、表示制御部１１１は、或る形状及び模様のうち少なくとも何れか一方を有する映像を表示部１６に表示させる（ステップＳ１）。どのような形状又は模様の映像が表示されるかは、予め定められていてもよいし、表示制御部１１１が複数の映像の中から所定の基準に従って又はランダムに選択してもよい。映像に何らかの色彩が付されていてもよいし、付されていなくてもよい。表示制御部１１１は、例えば記憶部１４に記憶された静止画データ又は動画データに基づいて映像信号を表示部１６に出力することにより、表示部１６に映像を表示させる。図５（ａ）は、映像の表示例を示す図である。図５（ａ）の例では、所定の形状及び模様を有するオブジェクトＤ３が表示部１６に表示される。

検出部１７は、ユーザの眼球における反射の様子を検出する（ステップＳ１）。本実施形態において、検出部１７は、眼球における反射像を検出する。例えば、検出部１７は、表示部１６に映像が表示されている間の一時点におけるユーザの眼球の静止画を撮影し、又は表示部１６に映像が表示されている間におけるユーザの眼球の動画を撮影する。検出部１７は、撮影によって生成された静止画データ又は動画データを様子情報としてシステム制御部１１へ出力してもよい。或いは、検出部１７は、生成された静止画データ又は動画データから、眼球の表面に映った反射像を抽出してもよい。例えば、検出部１７は、静止画データ又は動画データからユーザの眼球を認識する。検出部１７は、瞳孔等の、眼球に元来含まれる形状及び模様を除き、眼球に何らかの形状又は模様が映っている部分を反射像として特定する。検出部１７は、眼球に複数の反射像が映っている場合、複数の反射像を抽出してもよい。図５（ｂ）は、眼球における反射像の一例を示す図である。ユーザの右側眼球ＥＲに反射像Ｒ１が映り込んでいる。この反射像Ｒ１は、表示部１６に表示されたオブジェクトＤ３の映像である。

取得部１１２は、様子情報として、生成された静止画データ若しくは動画データ、又は検出された反射像の映像データを、検出部１７から取得する（ステップＳ２）。取得部１１２は、静止画データ又は動画データを取得した場合、取得したデータに基づいて、ユーザの眼球における反射像を検出する。

判定部１１３は、ユーザの眼球における反射像と表示部１６に表示された映像との一致度を判定する（ステップＳ３）。表示部１６の画面がユーザの視界に入っている場合、表示部１６に表示された映像がユーザの眼球の表面に反射像として映る。そのため、眼球における反射像として、表示部１６に表示された映像が検出部１７により検出される蓋然性がある。本実施形態における眼球の視覚的な特徴は、反射像の形状及び模様のうち少なくとも何れか一方である。本実施形態における表示部１６に表示された映像の特徴は、映像の形状及び模様のうち少なくとも何れか一方である。

判定部１１３は、例えば反射像と表示部１６に表示された映像のそれぞれについて、形状及び模様のうち少なくとも何れか一方の特徴を示す特徴量を計算する。判定部１１３は、公知の方法を用いて特徴量を計算することができる。例えば、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等のアルゴリズムや、ＣＮＮ（Convolutional Neural Network）等のディープニューラルネットワークが用いられてもよい。眼球における反射は球面反射となるので、反射像がゆがむ。そのため、判定部１１３は、ゆがみを補正した上で反射像の特徴量を計算してもよい。特徴量を計算すると、判定部１１３は、反射像の特徴量と表示部１６に表示された映像の特徴量とを比較して、特徴量の一致度を計算する。例えば、判定部１１３は、一致度として、コサイン類似度、相関関数又は偏差パターン類似度等を計算してもよい。判定部１１３は、複数の反射像が検出された場合、各反射像について、表示部１６に表示された映像との一致度を計算してもよい。

判定部１１３は、一致度が閾値以上である場合（ステップＳ４：ＹＥＳ）、表示部１６の画面がユーザの視界に入っていると判定する（ステップＳ５）。判定部１１３は、複数の反射像が検出された場合、これらの反射像のうち少なくとも１つの反射像について判定された一致度が閾値以上ある場合に、表示部１６の画面がユーザの視界に入っていると判定してもよい。例えば、図５（ａ）に示すオブジェクトＤ３と図５（ｂ）に示す反射像Ｒ１との一致度は閾値以上となる。

以上説明したように、本実施形態によれば、検出部１７が、眼球における光学的な反射の様子を検出する。従って、ユーザの眼球における光学的な反射の様子と表示部１６に表示された映像との間の視覚的な特徴の一致度に基づいて、表示部１６の画面がユーザの視界に入っているか否かの判定が可能である。

具体的に、検出部１７が、眼球における反射像を検出する。また、システム制御部１１が、眼球における反射像と表示部１６に表示された映像との一致度を判定する。従って、判定された一致度に基づいて、表示部１６の画面がユーザの視界に入っているか否かの判定が可能である。

［３．第３実施形態］
図４及び図６を用いて、第３実施形態について説明する。以下に説明する点を除き、第３実施形態は第１実施形態と同様である。図４に示す画面視認判定処理については、第１実施形態と異なる点について主として説明する。

本実施形態において、表示制御部１１１は、時間の経過に従って輝度が変化する映像を表示部１６に表示させる（ステップＳ１）。時間の経過に従って、輝度はどのように変化してもよい。輝度がどのように変化するか否かは予め定められてもよいし、表示制御部１１１が所定の基準に従って又はランダムに決定してもよい。輝度は徐々に変化するよりも、一瞬にして大きく変化する方が望ましい。輝度は規則的に変化してもよいし、不規則に変化してもよい。時間の経過に従って映像の輝度が変化する間、２段階又は３段階以上の輝度の映像が現れればよい。映像の中に何らかの形状及び模様はあってもよいし、なくてもよい。映像に何らかの色彩が付されていてもよいし、付されていなくてもよい。表示制御部１１１は、例えば記憶部１４に記憶された動画データに従って映像信号を表示部１６に出力することにより、時間の経過に従って輝度が変化する映像を表示部１６に表示させてもよい。或いは、表示制御部１１１は、記憶部１４に記憶された複数の静止画データを順次用いて映像信号を出力することにより、時間の経過に従って輝度が変化する映像を表示部１６に表示させてもよい。或いは、表示制御部１１１は、動画データ及び静止画データの何れも用いずに、時間の経過に従って表示部１６の画面の輝度を変化させてもよい。

時間の経過に従って輝度が変化する映像は、例えば、時間的に交互に表示される第１輝度の映像及び第２輝度の映像を含んでもよい。第１輝度の映像は周期的に表示される。第１輝度と第２輝度は異なる。第１輝度は第２輝度よりも高くてもよいし低くてもよい。第１輝度の映像の表示が継続する時間を第１時間とし、第２輝度の映像の表示が継続する時間を第２時間とする。第１時間は、第２時間と同一であるか第２時間よりも短い。第１時間と比較して、第２時間は十分に長いことが望ましい。第１輝度の映像及び第２輝度の映像の表示がそれぞれ継続する時間は、例えば表示部１６の垂直走査周波数に基づいて決定されてもよい。垂直走査周波数の逆数を垂直走査時間とすると、第１時間及び第２時間は、それぞれ垂直走査時間の倍数とする。第１輝度を第２輝度よりも低くする場合、第１時間は極力短いことが望ましい。望ましくは、第１時間は１００ミリ秒以下であり、より望ましくは、第１時間は５０ミリ秒以下である。第２輝度を十分に高くし、第１輝度の映像の表示が継続する時間を十分に短くすると、残像効果により、第１輝度の映像が表示されている間も第２輝度の映像をユーザが認識するので、映像の輝度の変化（点滅）をユーザに認識させないようにすることができる。第１輝度の映像が表示される周期を、第１輝度表示周期とする。第１輝度表示周期は、予め定められていてもよいし、表示制御部１１１が所定の基準に従って又はランダムに決定してもよい。第１輝度表示周期は、例えば垂直走査時間の倍数で定められていてもよい。表示制御部１１１は、第１輝度表示周期から第１時間を減算して、第２時間を計算する。表示制御部１１１は、第２輝度の映像の映像信号を第２時間継続して表示部１６に出力し、次いで第１輝度の映像の映像運信号を第１時間継続して第２時間継続して表示部１６に出力する。表示制御部１１１は、この処理を繰り返し所定時間行う。なお、第１輝度の映像と第２輝度の映像とを交互に表示させる動画データが予め記憶部１４に記憶されていてもよい。表示制御部１１１は、動画データに従って映像を表示部１６に表示させてもよい。

図６は、表示部１６の画面の様子と眼球における反射光の様子の変化の一例を示す図である。例えば、第１輝度を、表示可能な最低輝度とし（黒色）、第２輝度を、表示可能な最高輝度とする（白色）。第１輝度表示周期を６０分の１０秒とし、第１時間を６０分の１秒とする。従って、第２時間は６０分の９秒である。そのため、図６に示すように、６０分の１０秒ごとに、第１輝度の無地の映像が６０分の１秒の間継続して表示される。それ以外の間では第２輝度の無地の映像が表示される。

検出部１７は、ユーザの眼球における反射の様子を検出する（ステップＳ１）。本実施形態において、検出部１７は、眼球における反射光の輝度を時系列的に検出する。例えば、検出部１７は、表示部１６に映像が表示されている間におけるユーザの眼球の動画を撮影する。動画のフレームレートは表示部１６の垂直走査周波数と同一であるか又はこれよりも高いことが望ましい。検出部１７は、撮影によって生成された動画データを様子情報としてシステム制御部１１へ出力してもよい。或いは、検出部１７は、生成された動画データの各フレームから、ユーザの眼球を認識してもよい。検出部１７は、例えば、フレーム間における眼球の映像を比較して、眼球の映像内において、時間の経過に従って輝度が変化する部分を特定する。検出部１７は、特定した部分について、フレームごと又は垂直走査時間ごとの輝度を判定する。検出部１７は、判定した輝度の時系列のデータを様子情報としてシステム制御部１１へ出力してもよい。検出部１７は、眼球の映像内で輝度が変化する部分が複数存在する場合、部分ごとに様子情報を出力してもよい。

図６の例では、ユーザの右側眼球ＥＲにおいて、反射光Ｒ２の輝度が、６０分の１０秒周期で相対的に暗い輝度になっている。反射光Ｒ２は、表示部１６の画面から放たれる光が反射されたものである。

取得部１１２は、様子情報として、生成された動画データ、又は検出された輝度の時系列のデータを、検出部１７から取得する（ステップＳ２）。取得部１１２は、動画データを取得した場合、取得したデータに基づいて、ユーザの眼球における反射光の輝度の時系列のデータを生成する。

判定部１１３は、ユーザの眼球における反射光の輝度の変化と表示部１６に表示された映像の輝度の変化との一致度を判定する（ステップＳ３）。表示部１６の画面がユーザの視界に入っている場合、その画面から放たれた光がユーザの眼球の表面で反射する。そのため、この反射光が検出部１７により検出される蓋然性がある。この場合、眼球における反射光の輝度の変化の仕方は、表示部１６に表示された映像の輝度の変化の仕方と基本的に一致する。本実施形態における眼球の視覚的な特徴は、眼球における反射光の変化の仕方である。本実施形態における表示部１６に表示された映像の特徴は、映像の輝度の変化の仕方である。

判定部１１３は、例えば、反射光の輝度の時系列のデータに基づいて反射光の輝度の低下や上昇といった輝度の変化の時系列を生成するとともに、表示部１６に表示された映像の輝度の変化の時系列を生成してもよい。このとき、判定部１１３は、輝度の変化が所定値を超えて低下又は上昇した場合にのみ、輝度が変化したと見做してもよい。そして、判定部１１３は、反射光と表示部１６に表示された映像との間で輝度の変化が一致する割合等を、一致度として計算してもよい。或いは、判定部１１３は、反射光及び表示部１６に表示された映像のそれぞれについて、輝度の変化と、変化後の輝度が継続した時間との組み合わせの時系列を生成してもよい。そして、判定部１１３は、反射光と表示部１６に表示された映像との間で、輝度の変化と、変化後の輝度が継続した時間との組み合わせが一致する割合等を、一致度として計算してもよい。検出部１７は、眼球の映像内で輝度が変化する部分が複数存在する場合、部分ごとに一致度を計算してもよい。

例えば図６に示すように、時間の経過に従って輝度が変化する映像が、交互に表示される第１輝度の映像及び第２輝度の映像を含む場合、判定部１１３は、反射光の輝度が低下又は上昇する周期と、第１輝度の映像が表示される周期との一致度を判定する。例えば、判定部１１３は、反射光の輝度の時系列のデータに基づいて、輝度の変化と、変化後の輝度が継続した時間との組み合わせの時系列を生成する。判定部１１３は、例えば輝度の変化の時系列の中に、輝度の低下及び上昇の繰り返しが含まれる割合を計算してもよい。また、判定部１１３は、輝度の低下及び上昇の繰り返しの中で、輝度が低下する時間間隔を、輝度の低下ごとに計算してもよい。或いは、判定部１１３は、輝度が上昇する時間間隔を、輝度の上昇ごとに計算してもよい。判定部１１３は、計算された時間間隔のうち第１輝度表示周期と一致する時間間隔の割合を計算してもよい。判定部１１３は、輝度の変化の時系列の中に、輝度の低下及び上昇の繰り返しが含まれる割合に、輝度が低下又は上昇する時間間隔のうち第１輝度表示周期と一致する時間間隔の割合を乗算して、一致度を計算してもよい。

判定部１１３は、一致度が閾値以上である場合（ステップＳ４：ＹＥＳ）、表示部１６の画面がユーザの視界に入っていると判定する（ステップＳ５）。判定部１１３は、眼球の映像内で輝度が変化する部分が複数存在する場合、これらの部分のうち少なくとも１つについて判定された一致度が閾値以上ある場合に、表示部１６の画面がユーザの視界に入っていると判定してもよい。例えば、図６に示す例では、反射光Ｒ２の輝度の変化と表示部１６に表示された映像の輝度の変化との一致度は閾値以上となる。

以上説明したように、本実施形態によれば、検出部１７が、眼球における光学的な反射の様子を検出する。具体的に、システム制御部１１が、時間の経過に従って輝度が変化する映像を表示部１６に表示させる。また、検出部１７が、眼球における反射光の輝度を時系列的に検出する。また、システム制御部１１が、反射光の輝度の変化と表示部１６に表示された映像の輝度の変化との一致度を判定する。従って、判定された一致度に基づいて、表示部１６の画面がユーザの視界に入っているか否かの判定が可能である。また、検出部１７のカメラの解像度が比較的低くても、カメラにより撮影された映像に基づいて、眼球における反射光の輝度を検出することができる。

また、システム制御部１１が、交互に表示される第１輝度の映像及び第２輝度の映像であって、周期的に表示される第１輝度の映像と、該第１輝度と異なる第２輝度の映像とを表示部１６に表示させてもよい。また、システム制御部１１が、反射光の輝度が上昇又は低下する周期と、第１輝度の映像が表示される周期との一致度を判定してもよい。この場合、判定された一致度に基づいて、表示部１６の画面がユーザの視界に入っているか否かの判定が可能である。

また、第２輝度を十分高くし、第１輝度の映像の表示が継続する時間を十分短くした場合、表示部１６に表示される映像の輝度の変化（点滅）をユーザに認識させることなく、表示部１６に表示される映像がユーザの眼球で反射することによる反射光の輝度の変化を検出可能となる。

［４．第４実施形態］
図７乃至図９を用いて、第４実施形態について説明する。以下に説明する点を除き、第４実施形態は第１実施形態〜第３実施形態と同様である。

図７は、本実施形態に係る画面視認判定装置の概要構成の一例を示すブロック図である。図７が示す本実施形態に係る画面視認判定装置１が、図１に示す画面視認判定装置１と異なる点は、表示部１６に変えて、表示部１６−１〜表示部１６−ｎ（ｎは２以上の整数）が備えられている点である。すなわち、本実施形態に係る画面視認判定装置１は複数の表示部を備える。複数の表示部が存在する環境の例として、電器店等が挙げられる。表示部１６−１〜表示部１６−ｎのそれぞれの構成及び機能は、表示部１６と同様であってもよい。表示部１６−１〜表示部１６−ｎは、例えばそれぞれ別々に配置されている。

表示制御部１１１は、表示部１６−１〜表示部１６−ｎに、ユーザの視界に表示部１６の画面が入っているか否かを判定するための映像を順次表示させる。この映像は、時間の経過に従ってオブジェクトの表示位置が変化する映像（第１実施形態）、所定の形状及び模様の少なくとも何れか一方を有する映像（第２実施形態）、及び時間の経過に従って輝度が変化する映像（第３実施形態）の何れであってもよい。映像が表示される表示部１６−１〜表示部１６−ｎの順序は予め定められていてもよいし、表示制御部１１１が所定の基準に従って又はランダムに決定してもよい。表示部１６−１〜表示部１６−ｎに表示される映像は互いに同一であってもよいし、異なっていてもよい。

検出部１７、取得部１１２及び判定部１１３は、映像が表示されるごとに動作する。すなわち、表示部１６−１〜１６−ｎのうち何れかに映像が表示されるごとに、検出部１７はユーザの眼球の様子を検出して、取得部１１２は検出部１７から様子情報を取得する。そして、判定部１１３は、ユーザの眼球の様子と、表示部１６−１〜１６−ｎのうちの何れかに直近に表示された映像との間の視覚的な特徴の一致度を判定する。検出部１７、取得部１１２及び判定部１１３のそれぞれの具体的な動作方法は、第１実施形態〜第３実施形態の場合と同様である。

判定部１１３は、所定値以上の一致度を判定した場合、表示部１６−１〜１６−ｎのうち、所定の閾値以上の一致度が判定された時点で最後に映像を表示した表示部の画面が、ユーザの視界に入っていると判定する。そして、判定部１１３は、閾値値以上の一致度を判定した場合は、表示部１６−１〜１６−ｎによる映像の順次表示を停止させてもよい。すなわち、判定部１１３は、表示部１６−１〜１６−ｎのうち、閾値以上の一致度が判定された時点でまだ映像を表示していない表示部に対しては、映像を表示させない。

図８（ａ）及び図８（ｂ）は、複数の表示部の何れかにおける映像の表示の様子の一例を示す図である。例えば、画面視認判定装置１は表示部１６−１〜１６−３を備えるとする。図８（ａ）に示すように、表示制御部１１１は、先ず表示部１６−１に映像信号を出力し、表示部１６−１は映像を表示する。しかしながら、ユーザＵが表示部１６−１の画面を見ることができない位置に表示部１６−１が配置され、又はユーザＵが画面を見ることができない方向に表示部１６−１の画面が向いている。そのため、判定部１１３は、閾値未満の一致度を判定する。従って、判定部１１３は、表示部１６−１の画面がユーザＵの視界に入っていないと判定する。

次いで、図８（ｂ）に示すように、表示制御部１１１は、表示部１６−２に映像信号を出力し、表示部１６−２は映像を表示する。ユーザＵは表示部１６−２の画面を見ることができる。そして、表示部１６−２に表示された映像がユーザＵの視界に入った。そのため、判定部１１３は、閾値以上の一致度を判定する。従って、判定部１１３は、表示部１６−２の画面がユーザＵの視界に入っていると判定する。この後、表示制御部１１１は、表示部１６−３に映像信号を出力しなくてもよい。

なお、表示制御部１１１は、判定部１１３により閾値以上の一致度が判定された後も、表示部１６−１〜１６−ｎによる映像の順次表示を継続させてもよい。これにより、表示部１６−１〜１６−ｎのうち何れの表示部の画面をユーザが見ることができるか否かを判定することができる。例えば、２以上の表示部の画面が同時にユーザの視界に同時に入れることができたり、ユーザが頭を動かすこと等により２以上の表示部の画面をそれぞれユーザの視界に同時に入れることができたりする場合がある。例えば、図８（ｂ）が示すように、表示部１６−１の画面がユーザＵの視界に入っていると判定された後、表示制御部１１１は、表示部１６−３に映像信号を出力し、表示部１６−３は映像を表示する。ユーザＵは表示部１６−３の画面を見ることができるので、判定部１１３は、表示部１６−３の画面がユーザＵの視界に入っていると判定する。

表示制御部１１１は、表示部１６−１〜１６−ｎのうち、判定部１１３により画面がユーザＵの視界に入っていると判定された表示部に、本来ユーザに見せる予定の映像等を表示させてもよい。表示部１６−１〜１６−ｎのうち、２以上の表示部のそれぞれについて画面がユーザＵの視界に入っていると判定された場合、表示制御部１１１は、例えば入力部１５に対する操作に基づいて、これらの表示部のうち情報を表示させる表示部をユーザに選択させてもよい。或いは、表示制御部１１１は、最も高い一致度が判定された表示部に情報を表示させてもよい。

図９は、本実施形態に係る画面視認判定装置のシステム制御部１１による画面視認判定処理の一例を示すフローチャートである。システム制御部１１は、例えば入力部１５に対して所定の開始操作が行われると、画面視認判定プログラムに含まれる各種コードに従って、画面視認判定処理を実行する。

図９に示すように、判定部１１３は、番号ｉを１に設定する（ステップＳ１１）。次いで、表示制御部１１１は、表示部１６−１〜１６−ｎのうち、ｉ番目に映像を表示する表示部に映像信号を出力することにより、この表示部に映像を表示させる。これと同期して、取得部１１２は、検出部１７を動作させる。検出部１７は、表示部１６によりオブジェクトが表示されている間の静止画又は動画を撮影して、ユーザの眼球の様子を検出する（ステップＳ１２）。次いで、取得部１１２は、検出部１７から様子情報を取得する（ステップＳ１３）。次いで、判定部１１３は、様子情報に基づいて、ユーザの眼球の様子と映像との間の視覚的な特徴の一致度を判定する（ステップＳ１４）。ステップＳ１２〜Ｓ１４の具体的な処理内容は、第１実施形態〜第３実施形態において説明された処理内容と同様である。

次いで、判定部１１３は、一致度が閾値以上であるか否かを判定する（ステップＳ１５）。このとき、判定部１１３は、一致度が閾値以上であると判定した場合には（ステップＳ１５：ＹＥＳ）、処理をステップＳ１９に進める。一方、判定部１１３は、一致度が閾値以上ではないと判定した場合には（ステップＳ１５：ＮＯ）、処理をステップＳ１６に進める。

ステップＳ１６において、判定部１１３は、ｉ番目の表示部の画面はユーザの視界に入っていないと判定する。次いで、判定部１１３は、番号ｉがｎ未満であるか否かを判定する（ステップＳ１７）。判定部１１３は、番号ｉがｎ未満であると判定した場合には（ステップＳ１７：ＹＥＳ）、番号ｉを１増加させて（ステップＳ１８）、処理をステップＳ１２に進める。一方、判定部１１３は、番号ｉがｎ未満ではないと判定した場合には（ステップＳ１７：ＮＯ）、画面視認判定処理を終了させる。

ステップＳ１９において、判定部１１３は、ｉ番目の表示部の画面はユーザの視界に入っていると判定する。次いで、表示制御部１１１は、ユーザに見せる予定の映像をｉ番目の表示部に表示させて（ステップＳ２０）、画面視認判定処理を終了させる。

以上説明したように、本実施形態によれば、システム制御部１１が、複数の表示部１６−１〜１６−ｎに映像を順次表示させ、検出部１７及びシステム制御部１１が、映像が表示されるたびに動作する。従って、複数の表示部１６−１〜１６−ｎのうちユーザが視界に入れることが可能な表示部１６を特定することができる。

また、システム制御部１１が、閾値以上の一致度が判定された場合、表示部１６−１〜１６−ｎのうち、閾値以上の一致度が判定された時点で最後に映像を表示した表示部１６の画面はユーザの視界に入っていると判定してもよい。この場合、表示部１６−１〜１６−ｎのうちユーザが視界に入れることが可能な表示部１６を特定することができる。

また、システム制御部１１が、閾値以上の一致度が判定された場合、表示部１６−１〜１６−ｎによる映像の順次表示を停止させてもよい。この場合、ユーザが視界に入れることが可能な表示部を特定するために必要な時間を短縮することができる。

［５．第５実施形態］
図７、図１０乃至図１３を用いて、第５実施形態について説明する。以下に説明する点を除き、第５実施形態は第１実施形態〜第３実施形態と同様である。

図７に示すように、本実施形態に係る画面視認判定装置１は、表示部１６−１〜表示部１６−ｎを備える。

表示制御部１１１は、表示部１６−１〜表示部１６−ｎに、ユーザの視界に表示部１６の画面が入っているか否かを判定するための互いに異なる映像を同時に表示させる。これらの映像は、時間の経過に従ってオブジェクトの表示位置が変化する映像（第１実施形態）、所定の形状及び模様の少なくとも何れか一方を有する映像（第２実施形態）、及び時間の経過に従って輝度が変化する映像（第３実施形態）の何れであってもよい。表示部１６−１〜表示部１６−ｎに表示される映像は、視覚的な特徴が互いに異なる。

例えば、時間の経過に従ってオブジェクトの表示位置が変化する映像の場合、表示部１６−１〜表示部１６−ｎの間で、オブジェクトの表示位置が変化する方向、軌跡等の、表示位置の変化の仕方が異なる。オブジェクトの形状及び模様は同一であってもよいし異なっていてもよい。図１０（ａ）は、複数の表示部による映像の表示例を示す図である。例えば、画面視認判定装置１は表示部１６−１及び１６−２を備えるとする。例えば図１０（ａ）に示すように、表示制御部１１１は、表示部１６−１に左方向に移動するオブジェクトＤ４を表示させ、これと同時に、表示部１６−２に上方向に移動するオブジェクトＤ５を表示させる。

所定の形状及び模様の少なくとも何れか一方を有する映像の場合、表示部１６−１〜表示部１６−ｎの間で、映像における形状及び模様の少なくとも一方が異なる。色彩は同一であってもよいし異なっていてもよい。図１１（ａ）は、複数の表示部による映像の表示例を示す図である。例えば、画面視認判定装置１は表示部１６−１及び１６−２を備えるとする。例えば図１１（ａ）に示すように、表示制御部１１１は、表示部１６−１にオブジェクトＤ６を表示させ、これと同時に、表示部１６−２に、オブジェクトＤ６とは形状の異なるオブジェクトＤ７を表示させる。

時間の経過に従って輝度が変化する映像の場合、表示部１６−１〜表示部１６−ｎの間で、輝度の変化の仕方が異なる。例えば、時間の経過に従って輝度が変化する映像が、交互に表示される第１輝度の映像及び第２輝度の映像を含む場合、表示部１６−１〜表示部１６−ｎの間で第１輝度表示周期が異なっていてもよい。第１輝度表示周期が垂直走査時間の倍数で表される場合、表示部１６−１〜表示部１６−ｎのそれぞれの第１輝度表示周期は互いに素であることが望ましい。より望ましくは、各第１輝度表示周期は素数である。

図１２（ａ）は、複数の表示部による映像の表示例を示す図である。例えば、画面視認判定装置１は表示部１６−１及び１６−２を備えるとする。第１輝度を、表示可能な最低輝度とし（黒色）、第２輝度を、表示可能な最高輝度とする（白色）。第１時間を６０分の１秒とする。例えば、表示部１６−１における第１輝度表示周期が６０分の１７秒とし、表示部１６−２における第１輝度表示周期が６０分の１１秒であるとする。従って、図１２（ａ）に示すように、表示部１６−１には、６０分の１７秒ごとに、第１輝度の無地の映像が６０分の１秒の間継続して表示される。それ以外の間では第２輝度の無地の映像が表示される。表示部１６−２には、６０分の１１秒ごとに、第１輝度の無地の映像が６０分の１秒の間継続して表示される。それ以外の間では第２輝度の無地の映像が表示される。

判定部１１３は、表示部１６−１〜表示部１６−ｎそれぞれに表示された映像について、ユーザの眼球の様子と映像との間の視覚的な特徴の一致度を判定する。各表示部に表示された映像についての判定部１１３の具体的な判定方法は、第１実施形態〜第３実施形態の場合と同様である。

判定部１１３は、一致度の判定の後、表示部１６−１〜表示部１６−ｎのうち、最も高い一致度が判定された映像を表示した表示部を判定する。一致度が高い表示部の画面ほど、ユーザの視界に入っている蓋然性がある。判定部１１３は、表示部１６−１〜表示部１６−ｎのうち、最も高い一致度が判定された映像を表示した表示部の画面は、ユーザの視界に入っていると判定してもよい。或いは、判定部１１３は、閾値以上の一致度が判定された表示部のうち、最も高い一致度が判定された表示部を判定してもよい。表示部１６−１〜表示部１６−ｎのうち２以上の表示部の画面がユーザの視界に入っている場合もある。この場合、視界に入っている表示部のうち一致度が高い表示部ほど、その画面がユーザにとって見やすい蓋然性がある。

図１０（ｂ）は、ユーザの眼球の動きの一例を示す図である。図１０（ａ）に示すように、表示部１６−１及び１６−２に映像が表示されたとする。このとき、図１０（ｂ）に示すように、右側眼球ＥＲの瞳孔ＣＲ及び左側眼球ＥＬの瞳孔ＣＬは、ユーザＵ自身から見て下から上に移動している。そのため、眼球の動く方向とオブジェクトＤ５の動く方向との一致度は、眼球の動く方向とオブジェクトＤ４の動く方向との一致度よりも高い。従って、判定部１１３は、ユーザの視界に表示部１６−２の画面が入っていると判定する。

図１１（ｂ）は、ユーザの眼球における反射像の一例を示す図である。図１１（ａ）に示すように、表示部１６−１及び１６−２に映像が表示されたとする。このとき、図１１（ｂ）に示すように、ユーザの右側眼球ＥＲに反射像Ｒ３が映り込んでいる。この反射像Ｒ３は、表示部１６−２に表示されたオブジェクトＤ７の映像が反射したものである。そのため、反射像Ｒ３とオブジェクトＤ７との一致度は、反射像Ｒ３とオブジェクトＤ６との一致度よりも高い。従って、判定部１１３は、ユーザの視界に表示部１６−２の画面が入っていると判定する。

図１２（ｂ）は、眼球における反射光の様子の変化の一例を示す図である。図１２（ｂ）に示すように、ユーザの右側眼球ＥＲにおいて、反射光Ｒ４の輝度が、６０分の１７秒周期で相対的に暗い輝度になっている。反射光Ｒ４は、表示部１６−１の画面から放たれる光が反射されたものである。そのため、反射光Ｒ４の輝度の変化と表示部１６−１に表示される映像の輝度の変化との一致度は、反射光Ｒ４の輝度の変化と表示部１６−２に表示される映像の輝度の変化との一致度よりも高い。従って、判定部１１３は、ユーザの視界に表示部１６−１の画面が入っていると判定する。

表示制御部１１１は、表示部１６−１〜１６−ｎのうち、判定部１１３により最も高い一致度が判定された映像を表示した表示部に、本来ユーザに見せる予定の映像等を表示させてもよい。

図１３は、本実施形態に係る画面視認判定装置のシステム制御部１１による画面視認判定処理の一例を示すフローチャートである。システム制御部１１は、例えば入力部１５に対して所定の開始操作が行われると、画面視認判定プログラムに含まれる各種コードに従って、画面視認判定処理を実行する。

図１３に示すように、表示制御部１１１は、表示部１６−１〜１６−ｎの全てに映像信号を出力することにより、表示部１６−１〜１６−ｎに視覚的な特徴が互いに異なる複数の映像を表示させる。これと同期して、取得部１１２は、検出部１７を動作させる。検出部１７は、表示部１６によりオブジェクトが表示されている間の動画を撮影して、ユーザの眼球の様子を検出する（ステップＳ３１）。次いで、取得部１１２は、検出部１７から様子情報を取得する（ステップＳ３２）。ステップＳ３１における検出部１７による具体的な処理内容及びステップＳ３２の具体的な処理内容は、第１実施形態〜第３実施形態において説明された処理内容と同様である。

次いで、判定部１１３は、番号ｉを１に設定する（ステップＳ３３）。次いで、判定部１１３は、様子情報に基づいて、ユーザの眼球の様子と、表示部１６−ｉに表示された映像との間の視覚的な特徴の一致度を判定する（ステップＳ３４）。ステップＳ３４の具体的な処理内容は、第１実施形態〜第３実施形態において説明された処理内容と同様である。

次いで、判定部１１３は、番号ｉがｎ未満であるか否かを判定する（ステップＳ３５）。判定部１１３は、番号ｉがｎ未満であると判定した場合には（ステップＳ３５：ＹＥＳ）、番号ｉを１増加させて（ステップＳ３６）、処理をステップＳ３４に進める。一方、判定部１１３は、番号ｉがｎ未満ではないと判定した場合には（ステップＳ３５：ＮＯ）、処理をステップＳ３７に進める。

ステップＳ３７において、判定部１１３は、表示部１６−１〜１６−ｎのうち最も高い一致度が判定された表示部を判定する。次いで、判定部１１３は、表示部１６−１〜１６−ｎのそれぞれについて判定された一致度のうち最も高い一致度が、閾値以上であるか否かを判定する（ステップＳ３８）。このとき、判定部１１３は、最も高い一致度が閾値以上ではないと判定した場合には（ステップＳ３８：ＮＯ）、画面視認判定処理を終了させる。一方、判定部１１３は、最も高い一致度が閾値以上であると判定した場合には（ステップＳ３８：ＹＥＳ）、処理をステップＳ３９に進める。

ステップＳ３９において、判定部１１３は、最も高い一致度が判定された表示部に、ユーザに見せる予定の映像を表示部に表示させて、画面視認判定処理を終了させる。

以上説明したように、本実施形態によれば、システム制御部１１が、表示部１６−１〜１６−ｎのそれぞれに互いに異なる複数の映像を同時に表示させる。また、システム制御部１１が、眼球の様子と表示部１６−１〜１６−ｎに表示された映像のそれぞれとの間の視覚的な特徴の一致度を判定する。従って、表示部１６−１〜１６−ｎのそれぞれについて判定された一致度に基づいて、複数の表示部１６−１〜１６−ｎのうちユーザが視界に入っている表示部を特定することができる。また、複数の映像が同時に表示されるので、ユーザが視界に入っている表示部を特定するために必要な時間を短縮することができる。

また、システム制御部１１が、表示部１６−１〜１６−ｎのうち最も高い一致度が判定された映像を表示した表示部を判定してもよい。この場合、表示部１６−１〜１６−ｎのうちユーザの視界に入っている蓋然性が最も高い表示部１６を特定することが可能である。

［６．第６実施形態］
図１４を用いて、第６実施形態について説明する。以下に説明する点を除き、第６実施形態は第１実施形態〜第５実施形態と同様である。図１４は、ユーザの眼球、検出部及び表示部の位置関係の一例を示す図である。

検出部１７は、ユーザの眼球の様子を検出するとともに、ユーザの両眼のそれぞれの視線の方向を検出する。例えば、検出部１７は、検出部１７のカメラにより撮影された画像からユーザの顔、両眼及び瞳孔を認識する。検出部１７は、認識された映像に基づいて、検出部１７のカメラの撮影方向に対するユーザの顔の向きを計算する。また、検出部１７は、両眼の映像に基づいて、両眼のそれぞれについて、眼球の映像における瞳孔の相対的な位置を特定する。検出部１７は、両眼のそれぞれについて、顔の向き及び瞳孔の相対的な位置に基づいて、撮影方向に対する視線の方向を計算する。検出部１７は、ユーザの両眼のそれぞれの視線の方向を示す情報をシステム制御部１１に出力する。視線の方向は例えば角度で示されてもよい。図１４に示すように、検出部１７の撮影方向と平行な直線ＮＶＲと、ユーザの右目ＥＲの視線ＥＬＲとのなす角度はθｒである。検出部１７の撮影方向と平行な直線ＮＶＬと、ユーザの左目ＥＬの視線ＥＬＬとのなす角度はθｌである。

取得部１１２は、検出部１７から両眼のそれぞれの視線の方向を示す情報を取得する。或いは、取得部１１２は、検出部１７から撮影によって生成された静止画データ又は動画データを取得し、取得されたデータに基づいて、両眼のそれぞれの視線の方向を計算してもよい。

システム制御部１１は、検出部１７により検出された両眼のそれぞれの視線の方向に基づいて、ユーザから視線の交点までの距離を算出する。例えば、図１４に示すように、直線ＮＶＲと視線ＮＶＬは交点Ｐで交わる。システム制御部１１は、例えばユーザから交点Ｐまでの距離ＶＤを、角度θｒ、θｌ、及び右目ＥＲと左目ＥＬとの間隔ＳＤに基づいて計算する。間隔ＳＤは、例えば予め定められていてもよい。或いは、入力部１５に対する操作に基づいてユーザの年齢が入力され、この年齢に基づいてシステム制御部１１が間隔ＳＤを決定してもよい。

判定部１１３が、表示部１６の画面がユーザの視界に入っていると判定した場合、ユーザから表示部１６までの距離として、ユーザから視線の交点までの距離を計算することができる。計算された距離の用途は特には限定されない。例えば、第４実施形態においては、表示部１６−１〜１６−ｎのうち２以上の表示部のそれぞれについて、ユーザの視界に画面が入っていると判定された場合において、判定部１１３は、２以上の表示部のうちユーザからの距離が最も短い表示部に、ユーザに見せる予定の映像を表示させてもよい。

以上説明したように、本実施形態によれば、検出部１７が、更にユーザの両眼のそれぞれの視線の方向を検出する。また、システム制御部１１が、検出された方向に基づいて、ユーザから視線の交点までの距離を算出する。従って、ユーザが表示部の画面を見ている場合、ユーザから表示部までの距離を算出することができる。

［７．第７実施形態］
［７−１．画面視認判定システムの構成］
図１５乃至図１６を用いて、第７実施形態について説明する。以下に説明する点を除き、第４実施形態は第１実施形態〜第６実施形態と同様である。

図１５は、本実施形態に係る画面視認判定システムの概要構成の一例を示すブロック図である。図１５に示すように、画面視認判定システムＳは、画面視認判定装置１と、ユーザ端末２と、ディスプレイ３−１〜３−ｎ（ｎは２以上の整数）とを備える。

ディスプイレイ３−１〜３−ｎのそれぞれは映像を表示する。ディスプイレイ３−１〜３−ｎの構成及び機能は、表示部１６と同様であってもよい。画面視認判定装置１とディスプレイ３−１〜３−ｎのそれぞれとはディスプレイケーブルで接続される。図１５には複数のディスプレイが示されているが、ディスプレイは１台のみ備えられていてもよい。

ユーザ端末２は、カメラを内蔵する携帯端末装置である。ユーザ端末２は、例えば、スマートフォン、携帯電話機、タブレットコンピュータ等であってもよい。ユーザ端末２はカメラにより撮影された映像に基づいてユーザの眼球の様子を検出する。画面視認判定装置１とユーザ端末２とは、例えば無線ＬＡＮ等のネットワークを介して通信可能である。

［７−２．画面視認判定装置の構成］
図１６（ａ）は、本実施形態に係る画面視認判定装置の概要構成の一例を示すブロック図である。図１６（ａ）が示す本実施形態に係る画面視認判定装置１が、図１に示す画面視認判定装置１と異なる点は、表示部１６及び検出部１７に変えて、映像信号出力部１８及び通信部１９が画面視認判定装置１に備えられている点である。

映像信号出力部１８は、ディスプレイ３−１〜３−ｎのそれぞれとディスプイレイケーブルで接続される。映像信号出力部１８は、ディスプイレイケーブルを介して、ディスプレイ３−１〜３−ｎの一部又は全部に対して映像信号を出力する。

通信部１９は、ネットワークを介してユーザ端末２との通信を制御する。

［７−３．ユーザ端末の構成］
図１６（ｂ）は、本実施形態に係るユーザ端末の概要構成の一例を示すブロック図である。図１６（ｂ）に示すように、ユーザ端末２は、システム制御部２１と、システムバス２２と、入出力インターフェース２３と、記憶部２４と、入力部２５と、表示部２６と、カメラ部２７と、通信部２８とを備えている。

システム制御部２１と入出力インターフェース２３とは、システムバス２２を介して接続されている。

入出力インターフェース２３は、記憶部２４〜通信部２８とシステム制御部２１との間のインターフェース処理を行う。

記憶部２４は、例えば、ハードディスクドライブ又はソリッドステートドライブ等により構成されている。この記憶部２４には、ＯＳ、ユーザ端末用プログラム等のプログラムが記憶される。ユーザ端末用プログラムは、ユーザの眼球の様子を検出して、その結果を画面視認判定装置へ送信するためのプログラムである。ユーザ端末用プログラムは所定のサーバ装置からネットワークを介してダウンロードされてもよい。或いは、ユーザ端末用プログラムは、メモリカード、光ディスク等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。また、ユーザ端末用プログラムは、プログラム製品であってもよい。

入力部２５は、ユーザによる操作を受け付け、操作内容に対応する信号をシステム制御部１１に出力する。入力部２５の例として、ボタン、キー、タッチパネル等が挙げられる。

表示部２６は、画面に映像を表示するディスプイレイである。表示部１６の例として、液晶ディスプレイ、有機ＥＬディスプレイ等が挙げられる。

カメラ部２７は、静止画又は動画の少なくとも何れか一方の撮影が可能である。カメラ部２７は、例えばＣＣＤイメージセンサ等を備える。

通信部２８は、ネットワークを介して画面視認判定装置１との通信を制御する。

システム制御部２１は、ＣＰＵ２１ａ、ＲＯＭ２１ｂ、ＲＡＭ２１ｃ等により構成されている。システム制御部２１のＣＰＵ２１ａが、記憶部２４に記憶された各種プログラムを実行する。

［７−４．画面視認判定装置、ユーザ端末の機能概要］
画面視認判定装置１のシステム制御部１１は、図２に示すように、表示制御部１１１、取得部１１２、及び判定部１１３として機能する。

表示制御部１１１は、映像信号出力部１８から映像信号を出力させることにより、ユーザの視界にディスプレイの画面が入っているか否かを判定するための映像をディスプレイに表示させる。この映像は、第１実施形態〜第３実施形態で説明された映像である。画面視認判定装置１が複数のディスプレイ３−１〜３−ｎと接続されている場合、表示制御部１１１は、第４実施形態の場合と同様に、ディスプレイ３−１〜３−ｎに順次映像を表示させ、又は第５実施形態の場合と同様に、ディスプレイ３−１〜３−ｎに互いに異なる映像を同時に表示させる。ディスプレイ３−１〜３−ｎに順次映像を表示させる場合、映像が表示されるディスプレイ３−１〜３−ｎの順序は、画面視認判定装置１が決定してもよいし、ユーザ端末２が決定してもよい。ユーザ端末２が順序を決定する場合、表示制御部１１１は、画面視認判定装置１に接続されているディスプレイ３−１〜３−ｎのそれぞれを識別する情報をユーザ端末２へ送信する。ユーザ端末２は、受信された識別情報に基づいて順序を決定する。

映像を表示するための情報は、画面視認判定装置１の記憶部１４に記憶され又は画面視認判定装置１が決定してもよいし、ユーザ端末２の記憶部２４に記憶され又はユーザ端末２が決定してもよい。映像を表示するための情報として、静止画データ、動画データ、時間の経過に従ってオブジェクトの表示位置が変化する映像を表示させる場合のオブジェクトの移動の仕方、時間の経過に従って輝度が変化する映像を表示させる場合の輝度の変化の仕方等が挙げられる。映像を表示するための情報が、ユーザ端末２の記憶部２４に記憶され又はユーザ端末２が決定する場合、ユーザ端末２は画面視認判定装置１へ、映像を表示するための情報を送信する。ディスプレイ３−１〜３−ｎに順次映像を表示させる場合であって、各ディスプレイに異なる映像を表示させる場合、ユーザ端末２は、映像の表示のたびにその映像を表示するための情報を送信してもよい。各ディスプレイに同一の映像を表示させる場合、ユーザ端末２は、画面認識判定処理の開始時にその映像を表示するための情報を送信してもよい。ディスプレイ３−１〜３−ｎに互いに異なる映像を同時に表示させる場合、ユーザ端末２は、画面認識判定処理の開始時に、全ての映像を表示するための情報を送信してもよい。

表示制御部１１１は、画面視認判定装置１の入力部１５に対する所定の開始操作が行われたときに、ディスプレイに対する映像信号の出力を開始してもよいし、ユーザ端末２の入力部２５に対する所定の開始操作に応じてユーザ端末２から開始要求を受信したときに、ディスプレイに対する映像信号の出力を開始してもよい。ユーザ端末２が、ディスプレイ３−１〜３−ｎの順序を決定する場合、ユーザ端末２は、開始要求とともに、決定された順序を示す情報を送信してもよい。

画面視認判定装置１の入力部１５又はユーザ端末２の入力部２５に対する開始操作が行われたとき、表示制御部１１１による映像信号の出力に先立って、ユーザ端末２は、表示部２６に所定のインストラクション情報を表示してもよい。第１実施形態の場合と同様に、時間の経過に従ってオブジェクトの表示位置が変化する映像を表示させる場合、ユーザ端末２は、インストラクション情報として、このオブジェクトを表示するとともに、「このオブジェクトを見てください」等のメッセージを表示させてもよい。第２実施形態の場合と同様に、形状及び模様の少なくとも何れか一方を有する映像を表示させる場合、ユーザ端末２は、インストラクション情報として、この映像を表示するとともに、「この映像を見てください」等のメッセージを表示させてもよい。ディスプレイ３−１〜３−ｎに互いに異なる形状、模様を有する映像が表示される場合、ユーザ端末２は、インストラクション情報として、これらの映像を表示するとともに、「何れかの映像を見てください」等のメッセージを表示させてもよい。第３実施形態の場合と同様に、時間の経過に従って輝度が変化する映像を表示させる場合、ユーザ端末２は、インストラクション情報として、「近くのディスプレイを見てください」等のメッセージを表示させてもよい。

表示制御部１１１の制御に基づいてユーザの視界にディスプレイの画面が入っているか否かを判定するための映像がディスプレイに表示されている間、ユーザ端末２のシステム制御部２１は、カメラ部２７と協働して、ユーザの眼球の様子を検出する。システム制御部２１は、カメラ部２７により動画又は静止画の撮影を実行させ、撮影により生成された動画データ又は静止画データに基づいて、ユーザの眼球の様子を示す様子情報を生成する。ユーザの眼球の様子の検出方法は、第１実施形態〜第５実施形態で説明された方法と同様である。システム制御部２１は、生成された様子情報を画面視認判定装置１に送信する。

取得部１１２は、ユーザ端末２から送信されてきた様子情報を、通信部１９を介して取得する。

判定部１１３は、様子情報に基づいて、ユーザの眼球の様子と、ディスプレイに表示された映像との間の視覚的な特徴の一致度を判定する。判定方法は、第１実施形態〜第５実施形態で説明された方法と同様である。

一致度の判定後、判定部１１３は、判定された一致度を示す情報を出力してもよい。例えば、判定部１１３は、一致度を示す情報をユーザ端末２へ送信してもよい。ユーザ端末２は、受信した一致度を表示部２６に表示させてもよい。

或いは、判定部１１３は、判定された一致度に基づいて、ユーザの視界にディスプレイの画面が入っているか否かを判定してもよい。判定方法は、第１実施形態〜第５実施形態で説明された方法と同様である。判定部１１３は、ユーザの視界にディスプレイの画面が入っているか否かの判定結果を示す情報を出力してもよい。例えば、判定部１１３は、判定結果を示す情報をユーザ端末２へ送信してもよい。ユーザ端末２は、判定結果を示す情報を表示部２６に表示させてもよい。

第４実施形態の場合と同様に、ディスプレイ３−１〜３−ｎに順次映像を表示させる場合、判定部１１３は、映像が表示されるたびに、ユーザの視界にディスプレイの画面が入っているか否かの判定を行って判定結果を示す情報をユーザ端末２へ送信してもよい。ユーザ端末２のシステム制御部２１は、判定結果を示す情報が、ユーザの視界にディスプレイの画面が入っていないことを示す場合、表示要求を画面視認判定装置１へ送信してもよい。表示制御部１１１は、ユーザ端末２から表示要求を受信した場合に、次の順番のディスプレイに映像を表示させる。システム制御部２１は、判定結果を示す情報が、ユーザの視界にディスプレイの画面が入っていることを示す場合、表示要求を送信することなく、ユーザの視界に画面が入っていると判定されたディスプレイを示す情報を表示部２６に表示させてもよい。或いは、判定部１１３は、ユーザの視界にディスプレイの画面が入っていると判定した場合、ユーザの視界に画面が入っていると判定されたディスプレイを示す情報をユーザ端末２へ送信してもよい。ユーザ端末２は、受信された情報を表示部２６に表示させてもよい。判定部１１３は、ユーザの視界にディスプレイの画面が入っていないと判定した場合、ユーザ端末２に何らの情報も送信することなく、ディスプレイ３−１〜３−ｎによる映像の順次表示を継続してもよい。判定部１１３は、ディスプレイ３−１〜３−ｎの全てについて、ユーザの視界にディスプレイの画面が入っていないと判定した場合、何れのディスプレイの画面もユーザの視界に入っていないことを示す情報をユーザ端末２へ送信してもよい。ユーザ端末２は、画面視認判定装置１から受信した情報を表示部２６に表示させてもよい。

表示制御部１１１は、ディスプレイ３−１〜３−ｎのうちユーザの視界に画面が入っていると判定されたディスプレイに、本来ユーザに見せる予定の映像を表示させてもよい。ディスプレイ３−１〜３−ｎのうち２以上のディスプレイのそれぞれについて、ユーザの視界に画面が入っていると判定した場合、判定部１１３は、これら２以上のディスプレイの情報をユーザ端末２へ送信してもよい。ユーザ端末２は、画面視認判定装置１から受信した情報に基づいて、ユーザの視界に画面が入っていると判定されたディスプレイの一覧を表示部２６に表示させ、入力部２５に対する操作に基づいて、一覧の中から、本来ユーザに見せる予定の映像をユーザに選択させてもよい。

以上説明したように、本実施形態によれば、画面視認判定装置１が、ディスプレイに映像を表示させる。また、ユーザ端末２が、ユーザの眼球の様子を検出する。また、画面視認判定装置１が、ユーザ端末２から眼球の様子を示す様子情報を受信する。また、画面視認判定装置１が、受信された様子情報が示す眼球の様子とディスプレイに表示された映像との間の視覚的な特徴の一致度を判定する。従って、ディスプレイが配置されている位置の方向を特定しなくても、判定された一致度に基づいて、そのディスプレイの画面がユーザの視界に入っているか否かの判定が可能である。

１ 画面視認判定装置
１１ システム制御部
１１ａ ＣＰＵ
１１ｂ ＲＯＭ
１１ｃ ＲＡＭ
１２ システムバス
１３ 入出力インターフェース
１４ 記憶部
１５ 入力部
１６、１６−１〜１６−ｎ 表示部
１７ 検出部
１８ 映像信号出力部
１９ 通信部
１１１ 表示制御部
１１２ 取得部
１１３ 判定部
２ ユーザ端末
２１ システム制御部
２１ａ ＣＰＵ
２１ｂ ＲＯＭ
２１ｃ ＲＡＭ
２２ システムバス
２３ 入出力インターフェース
２４ 記憶部
２５ 入力部
２６ 表示部
２７ カメラ部
２８ 通信部
３、３−１〜３−ｎ ディスプレイ
Ｓ 画面視認判定システム

Claims (13)

1. 複数の表示手段と、
   前記複数の表示手段に映像を順次表示させる表示制御手段と、
   ユーザの眼球の様子を検出する検出手段と、
   前記検出された眼球の様子と前記映像との間の一致度を判定する判定手段と、
   を備え、
   前記検出手段及び前記判定手段は、前記映像が表示されるたびに動作することを特徴とする情報処理装置。
2. 複数の表示手段に映像を順次表示させる表示制御手段と、
   ユーザの眼球の様子を検出する検出手段により検出された前記眼球の様子を示す様子情報を取得する取得手段と、
   前記取得された様子情報が示す前記眼球の様子と前記映像との間の一致度を判定する判定手段と、
   を備え、
   前記検出手段、前記取得手段及び前記判定手段は、前記映像が表示されるたびに動作することを特徴とする情報処理装置。
3. 請求項１又は２に記載の情報処理装置において、
   前記映像は、時間の経過に従って前記表示手段において表示対象の表示位置が変化する映像であり、
   前記検出手段は、前記眼球の動きを検出し、
   前記判定手段は、前記眼球の動きと前記表示対象の表示位置の変化との一致度を判定することを特徴とする情報処理装置。
4. 請求項１又は２に記載の情報処理装置において、
   前記検出手段は、前記眼球における光学的な反射の様子を検出することを特徴とする情報処理装置。
5. 請求項４に記載の情報処理装置において、
   前記検出手段は、前記眼球における反射像を検出し、
   前記判定手段は、前記反射像と前記映像との一致度を判定することを特徴とする情報処理装置。
6. 請求項１乃至４の何れか１項に記載の情報処理装置において、
   前記映像は、時間の経過に従って輝度が変化し、
   前記検出手段は、前記眼球における反射光の輝度を時系列的に検出し、
   前記判定手段は、前記反射光の輝度の変化と前記映像の輝度の変化との一致度を判定することを特徴とする情報処理装置。
7. 請求項６に記載の情報処理装置において、
   前記映像は、交互に表示される第１輝度の映像及び第２輝度の映像であって、周期的に表示される第１輝度の映像と、該第１輝度と異なる第２輝度の映像とを含み、
   前記判定手段は、前記反射光の輝度が上昇又は低下する周期と、前記第１輝度の映像が表示される周期との一致度を判定することを特徴とする情報処理装置。
8. 請求項１乃至７の何れか１項に記載の情報処理装置において、
   前記判定手段により所定値以上の一致度が判定された場合、前記複数の表示手段のうち、前記所定値以上の一致度が判定された時点で最後に前記映像を表示した表示手段の画面は、前記ユーザの視界に入っていると判定する第２判定手段を更に備えることを特徴とする情報処理装置。
9. 請求項１乃至８の何れか１項に記載の情報処理装置において、
   前記表示制御手段は、前記判定手段により所定値以上の一致度が判定された場合、前記複数の表示手段による前記映像の順次表示を停止させることを特徴とする情報処理装置。
10. 請求項１乃至９の何れか１項に記載の情報処理装置において、
    前記検出手段は、更に前記ユーザの両眼のそれぞれの視線の方向を検出し、
    前記検出された方向に基づいて、前記ユーザから前記視線の交点までの距離を算出する算出手段を更に備えることを特徴とする情報処理装置。
11. ユーザの眼球の様子を検出する検出手段を備える端末装置と、
    複数の表示手段に映像を順次表示させる表示制御手段、
    前記端末装置から前記眼球の様子を示す様子情報を受信する受信手段、及び、
    前記受信された様子情報が示す前記眼球の様子と前記映像との間の一致度を判定する判定手段、
    を備える情報処理装置と、
    を含み、
    前記検出手段、前記受信手段及び前記判定手段は、前記映像が表示されるたびに動作することを特徴とする情報処理システム。
12. 複数の表示手段に映像を順次表示させる表示制御ステップと、
    ユーザの眼球の様子を検出する検出手段により検出された前記眼球の様子を示す様子情報を取得する取得ステップと、
    前記取得された様子情報が示す前記眼球の様子と前記映像との間の一致度を判定する判定ステップと、
    を含み、
    前記映像が表示されるたびに、前記検出手段が動作し且つ前記取得ステップ及び前記判定ステップが実行されることを特徴とする情報処理方法。
13. コンピュータに、
    複数の表示手段に映像を順次表示させる表示制御手段と、
    ユーザの眼球の様子を検出する検出手段により検出された前記眼球の様子を示す様子情報を取得する取得手段と、
    前記取得された様子情報が示す前記眼球の様子と前記映像との間の一致度を判定する判定手段と、
    として機能させ、
    前記検出手段、前記取得手段及び前記判定手段は、前記映像が表示されるたびに動作することを特徴とする情報処理プログラム。