JP5368618B2 - 情報処理装置、電子機器、情報処理方法およびプログラム - Google Patents

Description

本発明は、物体を認識する認識空間を設定する技術に関する。

コンピュータに対してユーザの指示を入力するときには、ユーザは、キーボードやマウスなどの入力インターフェースを用いる。近年ではユーザの指示の入力を容易にするため、ナチュラルインターフェイス（ナチュラルユーザインタフェースといわれることもある）に関する技術が開発されている。例えば、特許文献１に記載されているように、ジェスチャによってユーザの指示を入力する技術が開発されている。また、特許文献２に記載されているように、ジェスチャにユーザの視線を組み合わせて、ユーザの指示を入力するときの精度を向上させる技術が開発されている。

米国特許出願公開第２０１１／０１９３９３９号明細書 米国特許出願公開第２０１１／００２９９１８号明細書

ところで、コンピュータが所定の処理を実行するにあたって、事前にユーザに対して所定事項を確認してもらう場合には、表示装置に確認すべき事項を含む画面を表示させる。そして、表示させた事項を視認したことを示す確認操作をユーザに要求することが行われている。しかしながら、ユーザは、確認すべき事項を視認することを煩わしいと考えた場合には、その事項を視認せずに確認操作を実行してしまう場合がある。

本発明は、表示装置に表示されている画面において、確認すべき項目をユーザが視認しているかどうかを判定することを目的とする。

本発明の一実施形態によると、各々認証順が決められた複数の認証領域を含む確認画面を表示装置に表示させる表示制御手段と、前記確認画面を視認するユーザの視線方向を測定する視線測定手段と、前記測定された結果と前記表示されている確認画面とに基づいて、前記ユーザの視線が前記認証順で前記認証領域に向いたことを検出すると、前記表示されている確認画面が前記ユーザによって確認されたことを判定する判定手段と、操作部への物理的接触により前記ユーザからの指示の入力を受け付ける入力受付手段と、前記受け付けられた入力と前記判定手段の判定結果とに基づいて、前記ユーザの装置に対する指示を決定する決定手段とを備える情報処理装置が提供される。

本発明の一実施形態によると、各々認証順が決められた複数の認証領域を含む確認画面を表示装置に表示させ、前記確認画面を視認するユーザの視線方向を測定する視線測定手段によって測定された結果と前記表示されている確認画面とに基づいて、前記ユーザの視線が前記認証順で前記認証領域に向いたことを検出すると、前記表示されている確認画面が前記ユーザによって確認されたことを判定し、操作部への物理的接触により前記ユーザからの指示の入力を受け付ける入力受付手段に受け付けられた入力と前記ユーザによって確認されたことの判定結果とに基づいて、前記ユーザの装置に対する指示を決定する情報処理方法が提供される。

本発明の一実施形態によると、コンピュータを、各々認証順が決められた複数の認証領
域を含む確認画面を表示装置に表示させる表示制御手段と、前記確認画面を視認するユーザの視線方向を測定する視線測定手段によって測定された結果と前記表示されている確認画面とに基づいて、前記ユーザの視線が前記認証順で前記認証領域に向いたことを検出すると、前記表示されている確認画面が前記ユーザによって確認されたことを判定する判定手段と、操作部への物理的接触により前記ユーザからの指示の入力を受け付ける入力受付手段に受け付けられた入力と前記判定手段の判定結果とに基づいて、前記ユーザの装置に対する指示を決定する決定手段として機能させるためのプログラムが提供される。

本発明によれば、表示装置に表示されている画面において、確認すべき項目をユーザが視認しているかどうかを判定することができる。

本発明の実施形態に係る電子機器１の構成を示す概略図である。 本発明の実施形態に係る情報処理装置１０の機能構成を示すブロック図である。 本発明の実施形態に係る認識空間設定機能１００の構成を示すブロック図である。 本発明の実施形態に係る走査部１３０における基準点Ｃを設定する方法の一例を説明する図である。 本発明の実施形態に係る認識空間設定部１４０において認識空間を設定する処理を示すフローチャートである。 本発明の実施形態に係る認識空間設定部１４０における走査線形状の特定方法の一例を説明する図である。 本発明の実施形態に係る認識空間設定部１４０における特徴位置の特定方法の一例を説明する図である。 本発明の実施形態に係る認識空間設定部１４０における特定形状の調整方法の一例を説明する図である。 本発明の実施形態に係る認識空間設定部１４０における認識空間の設定方法の一例を説明する図である。 本発明の実施形態に係るジェスチャ入力機能２００の構成を示すブロック図である。 本発明の実施形態に係る挙動測定部２１０により算出される座標の位置を説明する図である。 本発明の実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。 本発明の実施形態に係る照合用テーブルに定義されるジェスチャの例を説明する図である。 本発明の実施形態に係る決定部２２０における処理を示すフローチャートである。 本発明の実施形態に係る視線認証機能３００の構成を示すブロック図である。 本発明の実施形態に係る表示装置１４に表示される確認画面の例を説明する図である。 本発明の実施形態に係る判定部３３０における処理を示すフローチャートである。

以下、本発明の一実施形態に係る電子機器について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

＜実施形態＞
本発明の実施形態に係る電子機器について、図面を参照しながら詳細に説明する。

［全体構成］
図１は、本発明の実施形態に係る電子機器１の構成を示す概略図である。電子機器１は、この例では、パーソナルコンピュータである。この電子機器１は、ユーザからの電子機器１に対する指示の入力を、キーボード１３ａまたはマウス１３ｂによって受け付けるだけでなく、ユーザのジェスチャ（主に手を用いたジェスチャ）または視線により受け付けることができるナチュラルインターフェイスを有する装置である。なお、電子機器１は、スマートフォン、携帯電話、テレビ、ゲーム機、セキュリティ装置など、ユーザの指示の入力を受け付けて、指示に応じた処理を実行する装置であればよい。

電子機器１は、情報処理装置１０を有する。また、電子機器１は、操作部１３（この例では、キーボード１３ａおよびマウス１３ｂ）、表示装置１４、物体検知装置２０および視線測定装置３０を有する。これらの各構成は、情報処理装置１０に有線または無線で接続されている。なお、物体検知装置２０と視線測定装置３０とが一体の装置として構成されるなど、一部の構成が一体の装置として構成されていてもよいし、全体の構成が一体の装置として構成されていてもよい。

情報処理装置１０は、ＣＰＵ（Central Processing Unit）１１およびメモリ１２を有する。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することにより、後述する認識空間設定機能１００、ジェスチャ入力機能２００、視線認証機能３００（図２参照）など、様々な機能を実現する。ＣＰＵ１１によって実現される様々な機能により、電子機器１の各構成が制御される。

操作部１３は、ユーザによる操作を受け付けて、受け付けられた操作に応じた信号をＣＰＵ１１に出力する。表示装置１４は、ＣＰＵ１１の制御により画面の表示態様が制御される。

物体検知装置２０は、パターン投影方式により、物体を検知して、その物体の形状を３次元で測定し、測定した結果を示す測定信号を出力する。物体検知装置２０は、所定の検知範囲に存在する物体を検知する検知センサ２１を有する。この例では、検知センサ２１は、所定のパターン（ドットパターン、メッシュパターン等）で赤外光を照射する発光素子と、物体で反射することにより歪んだパターンの赤外光を受光して受光信号を出力する赤外光用イメージセンサとを有する深度センサである。物体検知装置２０は、赤外光用イメージセンサから出力される受光信号を用いて、測定信号を出力する。したがって、測定信号は、検知センサ２１から見た場合の物体の形状を反映している。

この例では、物体検知装置２０における物体の検知にはパターン投影方式を用いていたが、レーザ干渉計等で用いられるＴＯＦ（Time of Flight）方式を用いてもよいし、可視光用イメージセンサ等で撮影した結果得られる画像データを解析して検出する方式を用いてもよい。また、複数の方式を組み合わせて用いてもよい。いずれの方式であっても、物体検知装置２０は、検知範囲に存在する物体の形状を３次元座標で測定した結果を示す測定信号を出力する。

なお、この例では、物体検知装置２０は、図１に示すように、電子機器１を使用するユーザからみて表示装置１４の左側に設置され、矢印Ａ１方向に検出センサ２１が向けられている。そのため、ユーザの左手側から右手側に向けて赤外光が照射されて、電子機器１を使用するユーザと表示装置１４との間の空間およびその周辺の空間が検知範囲となる。そのため、物体検知装置２０の位置および検知センサ２１の向きは、ユーザの右手を物体として検知するのに適した配置となっている。なお、この物体検知装置２０の配置は一例であって、この配置に限定されるものではなく、検知すべき物体に応じて決められればよい。

視線測定装置３０は、ユーザの視線方向を測定するための撮影をする装置である。視線測定装置３０は、プルキニエ像を取得するためにユーザの眼に向けて赤外光を照射する発光素子と、ユーザの眼を含む領域を撮影するイメージセンサとを有する視線センサ３１を有し、イメージセンサによる撮影結果を示す撮影信号を情報処理装置１０に出力する。この撮影信号は、情報処理装置１０において、ユーザの視線方向を測定するために用いられる。この例では、視線測定装置３０は、図１に示すように表示装置１４の上部に取り付けられている。

なお、視線方向の測定には、この例では、プルキニエ像を用いる角膜反射法により視線方向を測定する公知の方法を用いるが、強膜トラッカー法、ＥＯＧ（Electro-oculography）法、サーチコイル法など他の公知の方法を用いてもよい。他の方法を用いる場合、視線測定装置３０においては、視線方向の測定に用いる方法に応じた構成で、ユーザの視線の情報を取得するようにすればよい。

［情報処理装置１０の機能構成］
図２は、本発明の実施形態に係る情報処理装置１０の機能構成を示すブロック図である。情報処理装置１０は、認識空間設定機能１００、ジェスチャ入力機能２００、視線認証判定機能３００、検知部５００、および実行部７００を有する。

検知部５００は、物体検知装置２０から出力される測定信号に基づいて、検知した物体に応じた検知データを出力する。検知データは、測定信号から検知範囲において検知された物体の形状（例えば輪郭）を認識可能なデータであれば、どのようなデータであってもよい。また、検知データは、物体の形状の概略（例えば、物体の軸など）を示すデータが含まれていてもよい。なお、検知部５００は、物体検知装置２０に含まれていてもよい。

認識空間設定機能１００は、検知部５００からの検知データに基づいて、上述した検知範囲に存在する物体の一端部の位置を認識して、その周囲に認識空間を設定する機能を有する。この例では、物体は、ユーザの手および腕であり、物体の一端部とは手（指を含む）の部分を意味する。以下の説明では、物体は、ユーザの手および腕であるものとする。認識空間とは、検知範囲における手の周囲に設定され、この手の動きに注目してジェスチャを認識するために設定される。

ジェスチャ入力機能２００は、検知部５００からの検知データに基づいて、認識空間における手（特に指）の動きまたは形状をジェスチャとして認識し、ジェスチャに対応する指示を装置に対して入力された指示として決定する機能を有する。また、この例では、操作部１３への操作に基づいて装置に対して入力された指示を決定する機能も有している。

視線認証判定機能３００は、視線測定装置３０からの測定信号に基づいて、ユーザの視線方向を測定し、その視線が表示装置１４に表示された所定の領域を向いているかどうかを判定する機能を有している。なお、認識空間設定機能１００、ジェスチャ入力機能２００および視線認証判定機能３００の詳細については後述する。

実行部７００は、ジェスチャ入力機能２００および視線認証判定機能３００の処理により決定された指示に基づく処理を実行して、電子機器１の動作を制御する。このとき、ジェスチャ入力機能２００および視線認証判定機能３００における処理の結果に応じて、指示に基づく処理が実行されなかったり、処理内容が変更されたりする場合もある。

［認識空間設定機能１００］
図３は、本発明の実施形態に係る認識空間設定機能１００の構成を示すブロック図である。認識空間設定機能１００は、領域特定部１１０、基準点設定部１２０、操作部１３０および認識空間設定部１４０の各機能を用いて実現される。以下に詳述する認識空間設定機能１００を用いた処理については、この例では、ユーザによる操作部１３への開始指示が入力されると実行される。なお、この処理は、一定間隔で実行されてもよいし、予め決められたスケジュールにしたがって実行されてもよいし、検知範囲において手などの予め決められた物体が検知されると実行されてもよい。

領域特定部１１０は、検知部５００から出力される検知データに基づいて、検知範囲において検知された物体の輪郭から、手および腕の領域（以下、物体領域という）を特定する。この例では、腕の伸びる方向に沿った軸線Ｌ（図４参照）についても特定する。

基準点設定部１２０は、特定された物体領域に基づいて、後述する走査の開始点となる基準点Ｃを、図４に示すようにして設定する。

図４は、本発明の実施形態に係る走査部１３０における基準点Ｃを設定する方法の一例を説明する図である。図４に示す中心点Ｐは、検知範囲全体における中心の位置を示している。基準点設定部１２０は、中心点Ｐから鉛直方向に線を伸ばし、軸線Ｌとの交点を基準点Ｃとして設定する。なお、基準点Ｃは、軸線Ｌ上の中心点Ｐから最も近い点としてもよいし、また、軸線Ｌまたは中心点Ｐを用いない方法を含めて他の方法で設定されてもよいが、物体領域（手１０００および腕２０００）に設定されることが望ましく、物体領域から指を除いた領域に設定されることがさらに望ましい。

図３に戻って説明を続ける。走査部１３０は、基準点Ｃを囲む走査線ＳＬを設定し、走査線ＳＬが基準点Ｃから拡がるようにして、検知範囲を走査する（図６参照）。走査線ＳＬの形状は、この例では円形であるが、楕円形、矩形など、基準点Ｃを囲む形状であれば、どのような形状であってもよい。

認識空間設定部１４０は、走査線ＳＬと物体領域とが重なる部分が、走査線ＳＬの一部かつ１つの連続した線となる条件（以下、特定条件という）を満たすときの走査線ＳＬの形状に基づいて、認識空間を設定する。この認識空間を設定するための方法について、以下、図５から図１０を用いて具体的に説明する。

図５は、本発明の実施形態に係る認識空間設定部１４０において認識空間を設定する処理を示すフローチャートである。まず、認識空間設定部１４０は、走査線ＳＬと物体領域（手１０００および腕２０００）との重なる部分（以下、重畳部分という）が特定条件を満たすか否かを判定する（ステップＳ１１０）。特定条件を満たさない場合（ステップＳ１１０；Ｎｏ）には、この判定が続いて行われる。そのため、この判定は、特定条件を満たすと判定される（ステップＳ１１０；Ｙｅｓ）まで、走査部１３０による走査線ＳＬの拡大に伴って、一定間隔で実行されることになる。頂上部分が特定条件を満たす場合（ステップＳ１１０；Ｙｅｓ）には、認識空間設定部１４０は、特定条件を満たす走査線ＳＬの形状を特定する（ステップＳ１２０）。以下、特定された走査線ＳＬの形状を特定形状という。ステップＳ１１０、Ｓ１２０の処理について、図６を用いて具体的に説明する。

図６は、本発明の実施形態に係る認識空間設定部１４０における走査線形状の特定方法の一例を説明する図である。走査線ＳＬ（１）、ＳＬ（２）、ＳＬ（３）は、基準点Ｃから拡がる走査線ＳＬを示している。図６においては、走査線ＳＬ（１）、ＳＬ（２）、ＳＬ（３）は破線で示され、そのうち重畳部分は太い実線で示されている。走査線ＳＬ（３）まで拡がると、走査線ＳＬ（３）は物体領域のうち腕２０００の部分だけ重畳することになる。すなわち、重畳部分ＬＯ（３）は特定条件を満たすことになり、認識空間設定部１４０は、走査線ＳＬ（３）の形状を特定形状として特定する。

なお、特定条件を満たすかどうかについては、この方法に限らず、他の方法を用いてもよい。例えば、走査線ＳＬと物体領域の輪郭部分との交点の数を抽出し、交点が２点になった場合になど、間接的に特定条件を満たすかどうか判定してもよい。このように、特定条件を満たすかどうかを判定するための方法は、重畳部分の状態を直接的に判定するだけでなく間接的に判定する方法も含む。

図５に戻って説明を続ける。続いて、認識空間設定部１４０は、特徴位置を特定する（ステップＳ１３０）。この例では、特徴位置は手１０００と腕２０００との間の手首の位置である。特徴位置の特定方法の一例について、図７を用いて説明する。

図７は、本発明の実施形態に係る認識空間設定部１４０における特徴位置の特定方法の一例を説明する図である。認識空間設定部１４０は、特定形状（走査線）ＳＬ（３）を軸線Ｌに沿って平行移動させる。この例では、ＳＬ（３）、ＳＬ（４）、ＳＬ（５）の順に変化させる。この平行移動に伴い、重畳部分ＬＯがＬＯ（３）、ＬＯ（４）、ＬＯ（５）の順で変化し、重畳部分ＬＯの長さが変化する。認識空間設定部１４０は、重畳部分ＬＯの長さの変化を算出し、その長さが急激に変化する（例えば、長さの変化量が予め決められた閾値を超えた場合など）部分を手首（特徴位置）として特定する。図７に示す例では、重畳部分ＬＯ（４）に相当する位置を特徴位置として特定する。

なお、上述したように、重畳部分ＬＯを、走査線ＳＬと物体領域の輪郭部分との２つの交点により認識する場合には、重畳部分ＬＯの長さに対応して２つの交点間の距離を用いればよい。

図５に戻って説明を続ける。続いて、認識空間設定部１４０は、特徴位置を特定すると、特定条件を満たす範囲で、特徴位置を基準とした特定形状の調整を行う（ステップＳ１４０）。特定形状の調整方法の一例について、図８を用いて説明する。

図８は、本発明の実施形態に係る認識空間設定部１４０における特定形状の調整方法の一例を説明する図である。この例では、特定形状（走査線）ＳＬ（４）と軸線Ｌとの交点のうち、特徴位置側の交点Ｄ１を固定して、特定形状の直径Ｒを調整する。このとき、特定形状は、特定条件を満たす範囲（所定のマージンを設けてもよい）において、直径Ｒが最小になるように調整される。図８に示す例では、特定形状ＳＬ（４）は、軸線Ｌとの交点Ｄ１、Ｄ２を結ぶ直径Ｒの特定形状ＳＬ（６）に調整される。

直径Ｒが最小になるように調整するときには、例えば、以下の方法で行えばよい。まず、交点Ｄ１を固定して、特定条件を満たさなくなる（例えば、特定形状が手１０００の指の部分と重なる状態）まで特定形状を小さくする。そして、特定条件を満たさなくなる直前の大きさ（例えば、特定形状が手１０００の指の部分と重ならない状態）に特定形状大きさを調整すればよい。なお、この調整の方法は一例であって、特定条件を満たす範囲で、特徴位置を基準とした調整がなされれば、別の方法であってもよい。

図５に戻って説明を続ける。続いて、認識空間設定部１４０は、調整後の特定形状に基づいて、認識空間を設定する（ステップＳ１５０）。認識空間の設定方法の一例について、図９を用いて説明する。

図９は、本発明の実施形態に係る認識空間設定部１４０における認識空間の設定方法の一例を説明する図である。この例では、認識空間は、交点Ｄ１を中心とし、調整後の特定形状ＳＬ（６）の直径Ｒを半径とする球ＲＡとして設定される。なお、マージンを考慮して、この半径はＲでなくＲ×（１＋α）（ここでαは誤差許容割合を表す正の値）にしてもよい。また、認識空間は球でなくてもよく、例えば、楕円体、直方体、半球など、様々
な形状にしてもよい。いずれの場合であっても、調整後の特定形状ＳＬ（６）（例えば、直径）に基づいて決められればよく、特徴位置（手首）を固定した状態で物体の一端部側（手１０００）が可動する範囲を含むようになっていることが望ましい。

ここで、手１０００を動かしてジェスチャをする場合、手１０００は、手首を中心にして動く。そのため、手首を特徴位置として、その近傍に認識空間の中心を設定することにより、手１０００がどのように動いても、手１０００の挙動を測定することができる。また、手１０００以外の周囲の動きの影響により誤認識を少なくすることができる。このようにして設定された認識空間は、ジェスチャ入力機能２００（挙動測定部２１０）において用いられる。

なお、手１０００は腕側に曲げられる限界が存在する。そのため、認識空間の球ＲＡの中心は、Ｄ１とするのではなく、Ｄ１より指先側（Ｄ２側）に移動させた点としてもよい。この中心は、調整後の特定形状ＳＬ（６）と物体領域の輪郭との２つの交点の中点としてもよい。このように中心がＤ１でないときの半径は、この中心からＤ２までの距離としてもよい。

［ジェスチャ入力機能２００］
図１０は、本発明の実施形態に係るジェスチャ入力機能２００の構成を示すブロック図である。ジェスチャ入力機能２００は、挙動測定部２１０および決定部２２０の各機能を用いて実現される。

挙動測定部２１０は、検知部５００から出力される検知データに基づいて、認識空間における物体の少なくとも一部の挙動を測定する。この例では、挙動測定部２１０は、物体の少なくとも一部（この例では５本の指の先端部）の座標を算出する座標算出手段として機能する。なお、座標が算出される指は、この例では５本の指全てであるが、一部の指であってもよいし、１本の指のみであってもよい。

このとき、挙動測定部２１０は、検知データに含まれる情報のうち、認識空間における情報を抽出して座標の算出をすればよい。そのため、情報処理の負荷を少なくすることができ、また、座標の算出における分解能を向上させることもできる。より精度を向上させるため、検知範囲を認識空間近傍に絞り込むように物体検知装置２０の光学系（レンズ倍率など）を調整してもよいし、認識空間近傍において検知センサ２１が照射するパターンの密度（ドットパターンの密度など）を高めてもよい。

図１１は、本発明の実施形態に係る挙動測定部２１０により算出される座標の位置を説明する図である。挙動測定部２１０は、手１０００の親指１００１の先端の座標Ａ、人差し指１００２の先端の座標Ｂ、中指１００３の先端の座標Ｃ、薬指１００４の先端の座標Ｄ、小指１００５の先端の座標Ｅを算出する。挙動測定部２１０は、各指の位置の変化に追従して、所定間隔で座標を算出し続ける。

図１０に戻って説明を続ける。決定部２２０は、挙動測定部２１０において算出された座標（以下、算出座標という）に基づいて、ユーザの装置に対する指示を決定する。この例では、決定部２２０は、ジェスチャの種類と指示の種類とを対応付けた照合用テーブル、および算出座標に基づいて、ユーザからの装置に対する指示を決定する。指示には、例えば、ＯＫ、ＮＧなどの判断を入力する指示の他、特定の処理（メニュー画面の呼び出し、プログラムの実行、ページ切り替えなど）を行うための指示などがある。なお、後述するように、決定部２２０は、視線認証判定機能３００における判定結果などにより、決定する指示が変更されたり、指示の決定が行われなかったりする場合もある。また、決定部２２０は、操作部１３への操作に基づいて指示を決定する場合もある。

図１２は、本発明の実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。図１２に示すように照合用テーブルは、ジェスチャの種類と指示の種類とが対応付けられている。図１２に示す例では、ジェスチャＡと指示ａとが対応付けられ、ジェスチャＢと指示ｂが対応付けられ、ジェスチャＡからジェスチャＢに変化する場合として指示ｃが対応付けられている。

図１３は、本発明の実施形態に係る照合用テーブルに定義されるジェスチャの例を説明する図である。この例では、ジェスチャＡについては、図１３（ａ）に示すジェスチャであり、そのジェスチャＡの定義のため各指の算出座標の相対関係が図示のとおり決められている。すなわち、ジェスチャＡは、座標ＡからＥが縦に並んだような形状として定義されている。

一方、ジェスチャＢについては、図１３（ｂ）に示すジェスチャであり、そのジェスチャＢの定義のため各指の算出座標の相対関係が図示のとおり決められている。すなわち、ジェスチャＢは、座標Ｂ、Ｃが情報に分離して横に並び、座標Ａ、Ｄ、Ｅが座標Ｂ、Ｃの下方で集まった形状として定義されている。ジェスチャＡからジェスチャＢに変化する場合とは、図１３（ａ）に示すジェスチャから図１３（ｂ）に示すジェスチャに変化させる動作をする場合を示している。

なお、ここでは、右手用のジェスチャを示して説明したが、左手用のジェスチャについても定義されていてもよい。いずれの手のジェスチャが適用されるかについては、上述した認識空間設定部１４０において特定された特徴位置と物体の一端部との位置関係（いずれが相対的に左側に存在するかなど）から決定してもよい。

図１４は、本発明の実施形態に係る決定部２２０における処理を示すフローチャートである。決定部２２０は、各指に対応する算出座標の位置の変化から、各指に対応する算出座標の変化速度を算出し、最も動きの速い指の速度を変化速度Ｖｆとする。なお、変化速度Ｖｆは、各指の算出座標の変化速度に基づいて決められていればよく、各指の算出座標の変化速度の平均値などであってもよいし、特定の指の算出座標の変化速度であってもよい。

決定部２２０は、変化速度Ｖｆは第１の速度Ｖ１（この例では３０ｃｍ／秒）以上であるかを判定する（ステップＳ２１０）。変化速度Ｖｆが第１の速度Ｖ１未満である場合（ステップＳ２１０；Ｎｏ）には、この判定が続いて行われる。変化速度Ｖｆが第１の速度Ｖ１以上となる（ステップＳ２１０；Ｙｅｓ）と、決定部２２０は、変化速度Ｖｆが第２の速度Ｖ２以上の状態で第１の時間Ｔ１を経過したかどうかを判定し（ステップＳ２２１）、経過していない場合（ステップＳ２２１；Ｎｏ）には、変化速度Ｖｆが第２の速度Ｖ２未満まで減速したかを判定する（ステップＳ２２２）。なお、第２の速度Ｖ２は、第１の速度Ｖ１よりも遅い速度（この例では０．５ｃｍ／秒）である。具体的には、第２の速度Ｖ２は、静止状態とみなせる速度であることが望ましい。

変化速度Ｖｆが第２の速度Ｖ２未満まで減速せず（ステップＳ２２２；Ｎｏ）に、第１の時間Ｔ１（この例では０．５秒）を経過した場合（ステップＳ２２１；Ｙｅｓ）には、ステップＳ２１０に戻る。

第１の時間Ｔ１を経過する前（ステップＳ２２１；Ｎｏ）に、変化速度Ｖｆが第２の速度Ｖ２未満まで減速した場合（ステップＳ２２２；Ｙｅｓ）には、決定部２２０は、変化速度Ｖｆが第２の速度Ｖ２未満の状態で第２の時間Ｔ２（この例では１秒）を経過したかどうかを判定する（ステップＳ２２３）。第２の時間Ｔ２を経過していない場合には、ステップＳ２２２に戻る。

変化速度Ｖｆが第２の速度Ｖ２未満で第２の時間Ｔ２を経過した場合（ステップＳ２２３；Ｙｅｓ）には、各指の算出座標（第１座標）を記憶する（ステップＳ２３０）。その後、決定部２２０は、変化速度Ｖｆが第１の速度Ｖ１以上であるかを判定する（ステップＳ２４０）。第１の速度Ｖ１未満（ステップＳ２４０；Ｎｏ）で第３の時間Ｔ３が経過した場合（ステップＳ２５０；Ｙｅｓ）には、決定部２２０は、ステップＳ２３０で記憶した第１座標と照合用テーブルのジェスチャの種類とを照合して、第１座標に対応する指示の種類を決定する（ステップＳ２８０）。そして、ステップＳ２１０に戻る。

一方、第３の時間Ｔ３（この例では１秒）が経過する前（ステップＳ２５０；Ｎｏ）に、変化速度Ｖｆが第１の速度Ｖ１以上になった場合（ステップＳ２４０；Ｙｅｓ）には、ステップＳ２６１に進む。ステップＳ２６１からステップＳ２６３については、ステップＳ２２１からステップＳ２２３までの処理と同様であるため説明を省略する。

変化速度Ｖｆが第２の速度Ｖ２未満で第２の時間Ｔ２を経過した場合（ステップＳ２６３；Ｙｅｓ）には、各指の算出座標（第２座標）を記憶する（ステップＳ２７０）。そして、決定部２２０は、ステップＳ２３０で記憶した第１座標からステップＳ２７０で記憶した第２座標への変化と、照合用テーブルのジェスチャの種類とを照合して、この変化に対応する指示の種類を決定する（ステップＳ２８０）。そして、ステップＳ２１０に戻る。このように決定された指示により実行部７００が実行される。なお、ステップＳ２８０において決定された指示が、ジェスチャ入力を終了する指示である場合には、ステップＳ２１０に戻らずに終了してもよい。また、ジェスチャ入力を終了する指示は、ユーザによる操作部１３への操作によって行われてもよいし、検知範囲に一定期間にわたって手が検知されなくなった時に行われてもよい。

決定部２２０は、上述のフローで処理をすることにより、ユーザの指の動きが一定速度以上で動いてから、一定期間にわたってほぼ静止した状態で場合に、ジェスチャとして認識する。本発明者は、ユーザがジェスチャ入力をしようとする意図があるときには、指を早く動かして意図するジェスチャに応じた状態で指をしばらく止めるという動作を行う一方、ジェスチャ入力の意図がない場合または入力の開始をするまでは、指の動きが遅いことに着目した。

例えば、手を広げた状態をジェスチャとして認識させる場合を想定すると、一般に、ユーザは、手をゆっくりとつぼめた後、急激に広げる動作をすることが多い。例えば、以下の（１）から（３）に示す流れになる。
（１）ジェスチャ入力を意図するまでは、手（指）の動きが遅い。したがって、ジェスチャ認識の対象外となる。
（２）ジェスチャを開始する準備として、手をつぼめるまでの動きは、手（指）の動きが遅い、または、手をつぼめた後の静止時間がほとんどない。したがって、ジェスチャ認識の対象外となる。
（３）ジェスチャとして認識させるために、手を広げる動きは、手（指）の動きが速く、手を広げた後の静止時間が存在する。したがって、ジェスチャ認識の対象となる。

［視線認証判定機能３００］
図１５は、本発明の実施形態に係る視線認証機能３００の構成を示すブロック図である。視線認証判定機能３００は、視線測定部３１０、表示制御部３２０および判定部３３０の各機能を用いて実現される。

視線測定部３１０は、視線測定装置３０から出力される撮影信号を用いて、ユーザの視線方向を測定し、ユーザの視線が表示装置１４のどの部分に向いているかを算出する。視線方向の測定には、上述したとおり、プルキニエ像を用いる角膜反射法により視線方向を測定する公知の方法を用いるが、他の公知の方法を用いてもよい。

表示制御部３２０は、表示装置１４の表示を制御する機能を有し、認証領域を含む確認画面を表示装置１４に表示させる。

図１６は、本発明の実施形態に係る表示装置１４に表示される確認画面の例を説明する図である。確認画面には、少なくとも１つの認証領域が設けられ、図１６に示す例では、認証領域Ｗ１、Ｗ２、Ｗ３が設けられている。また、ＶＰは、視線測定部３１０の算出結果に基づいて得られるユーザの視線が向いている表示装置１４上の位置（以下、視線位置ＶＰという）を示している。この視線位置ＶＰは表示装置１４に表示されてもよいし、表示されなくてもよい。

確認画面とは、銀行などにおいて行われる業務上確認が必要な画面、ソフトウエアの利用規約を表示する画面など、ユーザが確認すべき内容として表示装置１４に表示される画面である。確認すべき項目、特に重要な項目など、ユーザが視認するべき項目については、予め設定された認証領域に表示される。図１６に示すように認証領域が複数存在する場合には、ユーザが視認すべき順番（認証順）が決められている。これは、認証領域に対応付けて予め決められていてもよいし、表示装置１４における認証領域の位置関係（画面の上であるほど早い順番など）に基づいて決められてもよい。

この例では、認証領域Ｗ１、Ｗ２、Ｗ３の順に認証順が１番目、２番目、３番目として決められている。図１６に示す例では、認証領域Ｗ１には、２行の横書きの文字列が表示され、認証領域Ｗ２には、認証領域Ｗ１よりは文字数が少ないものの２行の横書きの文字列が表示され、認証領域Ｗ３には、１行の横書きの文字列が表示されている。なお、認証領域は、表示装置１４の画面全体として１つの領域であってもよい。

図１５に戻って説明を続ける。判定部３３０は、視線位置ＶＰと認証領域との関係に基づいて、ユーザが確認画面を確認したかどうかを判定する。

図１７は、本発明の実施形態に係る判定部３３０における処理を示すフローチャートである。まず、判定部３３０は、視線位置ＶＰが最初の認証領域（図１６の例では認証領域Ｗ１）に存在（所定のマージンを許容してもよい）するかどうかの判定を続ける（ステップＳ３１０；Ｎｏ）。視線位置ＶＰが最初の認証領域に存在することを検出する（ステップＳ３１０；Ｙｅｓ）と、判定部３３０は、次の認証順になっている認証領域が存在するかどうかを判定する（ステップＳ３２０）。

次の認証順になっている認証領域が存在する場合（ステップＳ３２０；Ｙｅｓ）には、判定部３３０は、視線位置ＶＰが次の認証領域に存在するかどうかの判定を続ける（ステップＳ３３０；Ｎｏ）。なお、所定時間経過しても視線位置ＶＰが次の認証領域に存在することを検出できない場合には、認証領域を視認する一連の処理が中断されたものとみなし、これまでの処理をリセットし、ステップＳ３１０から再び処理を開始するようにしてもよい。

視線位置ＶＰが次の認証領域に存在することを検出する（ステップＳ３３０；Ｙｅｓ）と、再びステップＳ３２０の処理に戻る。次の認証順になっている認証領域が存在しない場合（ステップＳ３２０；Ｎｏ）には、判定部３３０は、ユーザによって確認画面が確認されたことを判定（ステップＳ３４０）して、処理を終了する。以下、この判定をユーザ確認判定という。

ここで、判定部３３０は、視線位置ＶＰが移動するときに認証領域の一部を通過することを条件に、視線位置ＶＰが認証領域に存在することを判定すればよいが、他の条件により判定してもよい。以下、判定を行うために取り得る様々な条件について、以下の（ａ）から（ｃ）として例示する。

（ａ）視線位置ＶＰが所定時間連続して認証領域に留まっていること。なお、所定時間は、認証領域に表示されている文字の量に応じて、認証領域ごとに決められていてもよい。（ｂ）視線位置ＶＰが認証領域で所定時間静止していること。なお、所定時間は、認証領域に表示されている文字の量に応じて、認証領域ごとに決められていてもよい。
（ｃ）視線位置ＶＰが認証領域に表示されている文字列の向き（予め決められた範囲でずれてもよい）に沿って移動したと検出されたこと。すなわち、横書きであれば概ね水平方向に沿って視線位置ＶＰが移動し、縦書きであれば概ね鉛直方向に沿って視線位置ＶＰが移動すること。なお、複数行にわたって文字列が表示されている場合には、視線位置ＶＰが文字列に沿って移動したことが認証領域において、少なくとも文字列の行数分の回数、検出されたことを条件としてもよい。また、文字列の向きにそって移動する量は文字列の長さに応じて決められていてもよい。

図１５に戻って説明を続ける。上述の判定部３３０における判定結果は、決定部２２０および実行部７００における処理に反映される。例えば、実行部７００における処理に反映される場合には、実行部７００は、ユーザ確認判定がされると、確認画面に対応して決められた処理（次の確認画面への遷移など）を実行するようにしてもよい。また、ユーザ確認判定がなされるまで、決定部２２０によって決定された指示に基づく処理を実行しないようにしてもよい。

決定部２２０における処理に反映される場合には、決定部２２０は、ユーザ確認判定を条件として、装置に対する指示を決定してもよい。これにより、ユーザ確認判定がされない状態では、ユーザによる指示の入力が拒否される。また、ユーザ確認判定の有無に応じて、決定する指示の種類を変更してもよい。例えば、エラー画面に遷移したり、エラーを示すポップアップ表示をしたり、ユーザがどの認証領域を見ていないかの表示をしたりする指示に変更されてもよい。

このように、ユーザが確認画面における認証領域を視認したかどうかを判定して、その判定結果を反映した処理を実行することにより、ユーザが確認すべき文章等の内容を読まずに、内容を確認したことを示す操作をして先に進んでしまうことがないようにすることができる。このとき、確認を要する認証領域が複数ある場合には、所定の順序でユーザが視認する必要がある場合が多い。しかしながら、ユーザがその順序とは異なる順序で視認した場合には、単に視線が認証領域に向いているだけで、内容を確認していない場合が考えられる。このような場合には、ユーザ確認判定をしないようにすることができるため、ユーザが内容を確認せずに先に進んでしまわないようにすることができる。

［判定部３３０における別の処理例］
判定部３３０は、上述のように視線位置ＶＰが認証領域に所定の順番で存在したことでユーザ確認判定をしていたが、視線位置ＶＰが認証領域に存在している間のみユーザ確認判定をするようにしてもよい。すなわち、判定部３３０は、ユーザの視線が認証領域を向いていることを検出している（ユーザが認証領域を視認している）ときに、ユーザ確認判定をする。

このような場合には、決定部２２０は、ユーザ確認判定がされている間（ユーザが認証領域を視認している間）にのみ、装置に対する指示を決定し、それ以外は決定をしないようにしてもよい。これにより、ユーザは、認証領域を視認しているときにのみ、ユーザはジェスチャまたは操作部１３への操作により、装置に対する指示を入力することができるようになる。なお、一部のジェスチャまたは操作部１３への操作については、ユーザ確認判定にかかわらず、装置に対する指示の決定がされるようにしてもよい。

また、ユーザが認証領域を視認して一定時間においては、装置に対する指示を入力することができるようになっていてもよい。この場合には、判定部３３０は、視線位置ＶＰが認証領域に存在している間に加えて、認証領域に存在しなくなった後の一定時間についてもユーザ確認判定をするようにすればよい。このようにすると、ユーザが認証領域を視認した後、操作部１３を見ながら操作しても、装置に対する指示の入力をすることができる。

認証領域が一画面において複数存在する場合には、決定部２２０は、ユーザがそれぞれの認証領域を視認してユーザ確認判定がされているときに、入力されたジェスチャまたは操作部１３への操作に基づいて、装置に対する指示を決定するようにすればよい。ここで、ユーザから操作の入力を受け付ける操作部１３と、ジェスチャの入力を受け付ける挙動測定部２１０とは、ユーザからの指示の入力を受け付ける入力受付手段として考えることもできる。

なお、視認されている認証領域と、入力されたジェスチャまたは操作部１３への操作との関係が、予め決められたものと対応する場合に、装置に対する指示が決定されるようにしてもよい。例えば、ユーザが認証領域Ｗ１を視認しながらジェスチャＡを行い、認証領域Ｗ２を視認しながらジェスチャＢを行い、認証領域Ｗ３を視認しながらジェスチャＡを行うという流れであった場合に、この流れに応じて装置に対する指示が決定されるようにしてもよい。

このように、ユーザの視線が認証領域を向いているときに、決定部２００による装置に対する指示が決定されることで、ユーザがよそ見をした状態で装置に対する指示を入力することを防ぐことができる。

＜変形例＞
以上、本発明の実施形態およびその実施例について説明したが、本発明は以下のように、様々な態様で実施可能である。

［変形例１］
上述した視線測定部３１０は、ユーザの視線方向を測定していたが、ユーザの両眼の視線方向を測定するなどして、さらに、ユーザの注視点（方向だけでなく距離を含む概念）を測定してもよい。この場合には、判定部３３０は、視線位置ＶＰが認証領域に存在することの判定には、さらに注視点が表示装置１４の画面平面上（所定のマージンを許容してもよい）に存在することを条件としてもよい。これは、例えば左眼の視線方向と右眼の視線方向との交点を空間上で求めて注視点として扱い、その交点が表示装置１４の画面平面上に存在するか否かを判定すればよい。求めた交点がその画面平面上に存在しない場合として、例えばユーザから見て画面の奥側の位置にある場合（所定のマージンを許容するときには画面の奥側に予め決められた距離以上ずれている場合）には、判定部３３０は、視線方向が認証領域に存在したとしてもユーザ確認判定をしないようにすればよい。

［変形例２］
上述した認識空間設定機能１００、ジェスチャ入力機能２００および視線認証判定機能３００は、情報処理装置１０において同時に実現されている場合について説明したが、それぞれ独立して機能してもよい。

例えば、認識空間設定機能１００において設定された認識空間は、ジェスチャ入力のために使われるだけでなく、画像認識の範囲を特定の範囲に限定したい場合など、他の用途にも用いることができる。また、ジェスチャ入力機能２００については、認識空間が設定されていない状態においても、検知範囲全体または検知範囲のうち予め決められた範囲において、物体の挙動を測定するようにすればよい。例えば、腕全体の挙動を測定して、この挙動に基づいてユーザの装置に対する指示（腕の振りに応じた画面のスクロール指示など）を決定してもよい。

１…電子機器、１０…情報処理装置、１１…ＣＰＵ、１２…メモリ、１３…操作部、１３ａ…キーボード、１３ｂ…マウス、１４…表示装置、２０…物体検知装置、２１検知センサ、３０…視線測定装置、３１…視線センサ、１００…認識空間設定機能、１１０…領域特定部、１２０…基準点設定部、１３０…走査部、１４０…認識空間設定部、２００…ジェスチャ入力機能、２１０…挙動測定部、２２０…決定部、３００…視線認証判定機能、３１０…視線測定部、３２０…表示制御部、３３０…判定部、５００…検知部、７００…実行部、１０００…手、２０００…腕

Claims (7)

1. 各々認証順が決められた複数の認証領域を含む確認画面を表示装置に表示させる表示制御手段と、
   前記確認画面を視認するユーザの視線方向を測定する視線測定手段と、
   前記測定された結果と前記表示されている確認画面とに基づいて、前記ユーザの視線が前記認証順で前記認証領域に向いたことを検出すると、前記表示されている確認画面が前記ユーザによって確認されたことを判定する判定手段と、
   操作部への物理的接触により前記ユーザからの指示の入力を受け付ける入力受付手段と、
   前記受け付けられた入力と前記判定手段の判定結果とに基づいて、前記ユーザの装置に対する指示を決定する決定手段と
   を備える情報処理装置。
2. 前記視線測定手段は、前記ユーザの両目の視線方向に基づいて注視点を測定し、
   前記判定手段は、前記ユーザの注視点が前記表示装置上にあり、かつ前記ユーザの視線が前記認証順で前記認証領域に向いたことを検出すると、前記表示されている確認画面が前記ユーザによって確認されたことを判定する請求項１に記載の情報処理装置。
3. 前記決定手段は、前記判定手段が前記ユーザによって前記確認画面が確認されたことを判定するまでは、前記受け付けられた入力のうち少なくとも一部の入力に基づく前記指示の決定を行わない請求項１または２に記載の情報処理装置。
4. 前記判定手段は、前記ユーザの視線が、前記認証領域において所定時間連続して留まった場合に、当該認証領域に向いたとして検出する請求項１乃至請求項３のいずれかに記載の情報処理装置。
5. 請求項１乃至請求項４のいずれかに記載の情報処理装置と、
   前記判定手段による判定結果に基づいて、前記表示装置に表示されている確認画面に基づく処理を実行する実行手段と
   を備える電子機器。
6. 各々認証順が決められた複数の認証領域を含む確認画面を表示装置に表示させ、
   前記確認画面を視認するユーザの視線方向を測定する視線測定手段によって測定された結果と前記表示されている確認画面とに基づいて、前記ユーザの視線が前記認証順で前記認証領域に向いたことを検出すると、前記表示されている確認画面が前記ユーザによって確認されたことを判定し、
   操作部への物理的接触により前記ユーザからの指示の入力を受け付ける入力受付手段に受け付けられた入力と前記ユーザによって確認されたことの判定結果とに基づいて、前記ユーザの装置に対する指示を決定する情報処理方法。
7. コンピュータを、
   各々認証順が決められた複数の認証領域を含む確認画面を表示装置に表示させる表示制御手段と、
   前記確認画面を視認するユーザの視線方向を測定する視線測定手段によって測定された結果と前記表示されている確認画面とに基づいて、前記ユーザの視線が前記認証順で前記認証領域に向いたことを検出すると、前記表示されている確認画面が前記ユーザによって確認されたことを判定する判定手段と、
   操作部への物理的接触により前記ユーザからの指示の入力を受け付ける入力受付手段に受け付けられた入力と前記判定手段の判定結果とに基づいて、前記ユーザの装置に対する指示を決定する決定手段として機能させるためのプログラム。
   

Images