JP5775023B2 - 滞留度計算装置およびその動作方法 - Google Patents

Description

本発明は、重度の操作の滞留が発生する可能性を示す滞留度を計算できる滞留度計算装置およびその動作方法に関するものである。

ユーザに対して情報を画面に表示し、ユーザが選択等の操作を行うような情報端末において、ユーザが操作を行っている途中で、次に何を行えばよいのか、わからず困って行き詰ってしまう「滞留」状態が発生することがある。

そのような状況を改善するために、非特許文献１に記載の技術が提案されている。

非特許文献１の技術は、見ているウェブサイト、キーボード操作、マウスの動き、視線、表情、音声情報を入力とし、出力を支援内容としてユーザ満足度によって学習を行うというものである。この技術は、出力が満足度を向上させるようならば、事例として記憶していくという事例ベース推論を用いた操作支援方法である。

L.Maat, et al, "Gaze-X: Adaptive Affective Multimodal Interface for Single-User Office Scenarios", Proceedings of the 8th international conference on Multimodal interfaces, 2006.

非特許文献１の技術では、滞留状態を滞留しているかしていないかの二つの状態に分け、人が見て明らかな「重度」の滞留状態のみを扱っている。

しかしながら、「重度」の滞留に至るまでには、人が見ても分からないような「軽度」の滞留状況というものが存在する。非特許文献１ではこれを考慮していない。つまり、「重度」の滞留が発生する可能性を示す指標がない。よって、「重度」の滞留が発生し、例えば、回復困難となる虞がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、重度の操作の滞留が発生する可能性を示す滞留度を計算できる滞留度計算装置およびその動作方法を提供することにある。

上記の課題を解決するために、第１の本発明は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部と、前記動作判定部で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部と、前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を前記動作情報記憶部から読み出し、当該第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を前記動作情報記憶部から読み出す動作情報読み出し部と、当該第２動作情報列が蓄積される動作情報列記憶部と、前記第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と前記動作情報列記憶部内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部とを備え、前記動作判定部は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部と、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、前記動作情報記憶部は、前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものであることを特徴とする。

例えば、前記動作情報読み出し部は、前記第１動作情報列内の動作情報同士で視線動作識別情報が等しく且つ指先動作識別情報が等しいなら、前記第２動作情報列を読み出し、前記滞留度計算部は、前記第１動作情報列内の動作情報同士で視線動作識別情報が等しくない又は指先動作識別情報が等しくないなら、前記滞留度を計算する。

例えば、滞留度計算装置は、操作を実行するものを対象とした出力内容を出力する出力部と、前記出力内容を前記出力部に出力させる処理部と、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する出力制御部とを備える。

第２の本発明は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置の動作方法であって、前記滞留度計算装置の動作判定部が、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定し、一致すると判定された動作を示す動作情報を前記滞留度計算装置の動作情報記憶部に蓄積し、前記滞留度計算装置の動作情報読み出し部が、前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を前記動作情報記憶部から読み出し、当該第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を前記動作情報記憶部から読み出し、当該第２動作情報列を前記滞留度計算装置の動作情報列記憶部に蓄積し、前記滞留度計算装置の滞留度計算部が、前記第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と前記動作情報列記憶部内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算し、前記動作判定部による判定は、当該動作判定部の視線動作判定部が、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定することと、当該動作判定部の指先動作判定部が、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定することからなり、前記動作情報記憶部には、前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報が蓄積されることを特徴とする。

例えば、前記動作情報読み出し部は、前記第１動作情報列内の動作情報同士で視線動作識別情報が等しく且つ指先動作識別情報が等しいなら、前記第２動作情報列を読み出し、前記滞留度計算部は、前記第１動作情報列内の動作情報同士で視線動作識別情報が等しくない又は指先動作識別情報が等しくないなら、前記滞留度を計算する。

例えば、前記滞留度計算装置は、操作を実行するものを対象とした出力内容を出力する出力部と、前記出力内容を前記出力部に出力させる処理部とを備え、前記動作方法は、さらに、前記滞留度計算装置の出力制御部が、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する。

本発明によれば、重度の操作の滞留が発生する可能性を示す滞留度を計算することができる。

本実施の形態に係る滞留度計算装置を含んで構成した情報処理装置の概略構成を示すブロック図である。 情報処理装置１の動作の流れを示すフローチャートである。 操作入力部１０５と操作面１５１の一例を示す図である。 ステップＳ７の詳細なフローチャートである。 ステップＳ９の詳細なフローチャートである。 出力部１０２と表示面１２１の一例を示す図である。 動作情報列記憶部１０９の構成の一例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本実施の形態に係る滞留度計算装置を含んで構成した情報処理装置の概略構成を示すブロック図である。

情報処理装置１は、ここでは、いわゆるシナリオとして予めに記憶した出力内容を出力する装置である。

情報処理装置１は、シナリオを予め記憶したシナリオデータベース１０１、シナリオに記載された出力内容を出力する表示装置などの出力部１０２、シナリオを読み込み、シナリオに記載された出力内容を出力部１０２から出力させる処理部１０３、出力部１０２に出力される出力内容の視聴などを行うユーザを撮影するカメラ等の画像入力部１０４、ユーザが指先を触れて操作するタッチパネルなどの操作入力部１０５、ユーザにより行われる動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部１０６、動作判定部１０６で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部１０７、予め定められた数の動作情報からなる第１動作情報列を動作情報記憶部１０７から読み出し、第１動作情報列が所定の条件を満たすなら、予め定められた数の動作情報からなる第２動作情報列を動作情報記憶部１０７から読み出す動作情報読み出し部１０８、第２動作情報列が蓄積される動作情報列記憶部１０９、第１動作情報列が所定の条件を満たさないなら、予め定められた数の動作情報からなる第３動作情報列を動作情報記憶部１０７から読み出し、動作情報列記憶部１０９の第２動作情報列と第３動作情報列を用いて、重度の操作の滞留が発生する可能性を示す滞留度を滞留度計算部１１０、および滞留度に応じた出力内容が出力部１０２に出力されるように処理部１０３を制御する出力制御部１１１を備える。

操作入力部１０５は、例えば、透明なタッチパネルであり、出力部１０２である表示装置がその背後に配置され、これにより、ユーザが出力内容に触れるようにして、操作入力部１０５が操作される。

本実施の形態の滞留度計算装置は、出力部１０２、処理部１０３、動作判定部１０６、動作情報記憶部１０７、動作情報読み出し部１０８、動作情報列記憶部１０９、滞留度計算部１１０および出力制御部１１１から構成される。

動作判定部１０６は、ユーザの視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部１６１と、ユーザの指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部１６２とを備える。

次に、情報処理装置１の動作の流れを説明する。
処理部１０３は、シナリオデータベース１０１からシナリオを読み込み、シナリオに記載された出力内容を出力部１０２から出力させる。出力内容は画面を構成し、画面には、別の画面を表示するためのボタンが表示される。

図２は、情報処理装置１の動作の流れを示すフローチャートである。前述のように、出力部１０２は、ボタンを含む画面を表示していることとする。

情報処理装置１は、予め定められた各サンプリングタイミングにおいて、図２に示す動作を実行する。サンプリングタイミングの周期ｔ［秒］は、一定である。

まず、処理部１０３は、操作入力部１０５からの信号に基づき、ユーザの指先の位置を示す指先座標（ｘ_Ｔｎ、ｙ_Ｔｎ）の取得を試みる（Ｓ１）。

ここでは、処理部１０３は、操作入力部１０５が図３に示すような操作面１５１を有している場合、原点０_Ｔから、操作面１５１に触れた指先までのｘ軸方向の距離に相当する座標ｘ_Ｔｎと、原点０_Ｔから、操作面１５１に触れた指先までのｙ軸方向の距離に相当する座標ｙ_Ｔｎとからなる指先座標（ｘ_Ｔｎ、ｙ_Ｔｎ）の取得を試みる（Ｓ１）。

ｎは、最新の、つまり現在のサンプリングタイミングを示す整数である。例えば、１回前のサンプリングタイミングにおける指先座標は、（ｘ_Ｔｎ−１、ｙ_Ｔｎ−１）と表現される。

次に、処理部１０３は、指先座標を取得でき、つまり、指先が操作面１５１に触れており、且つ、指先座標がボタン内の位置に対応するものであるか否かを判定する（Ｓ３）。つまり、処理部１０３は、ユーザがボタンを操作したか否かを判定する（Ｓ３）。

処理部１０３は、ステップＳ３でＹＥＳと判定されたなら、シナリオに基づいて、別の画面を出力部１０２に表示させ（Ｓ５）、処理を終える。

一方、指先動作判定部１６２は、ステップＳ３でＮＯと判定されたなら、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する（Ｓ７）。

図４は、ステップＳ７の詳細なフローチャートである。
指先動作判定部１６２は、指先座標の取得を試み、指先座標を取得できなければ（Ｓ７１：ＮＯ）、最新のサンプリングタイミングにおける指先動作識別情報Ｔ_ｎとして、指先が操作面１５１に触れていない（アンタッチ）ことを示す指先動作識別情報「Ｔ１」を生成し（Ｓ７３）、処理を終える。

一方、指先動作判定部１６２は、指先座標つまり最新のサンプリングタイミングにおける指先座標（ｘ_Ｔｎ、ｙ_Ｔｎ）を取得できたなら（Ｓ７１：ＹＥＳ）、１回前のサンプリングタイミングにおける指先座標（ｘ_Ｔｎ−１、ｙ_Ｔｎ−１）と指先座標（ｘ_Ｔｎ、ｙ_Ｔｎ）の距離（以下、変位という）ｌ_Ｔｎを式（１）により計算し、変位ｌ_Ｔｎが予め定められた変位（しきい値）Ｌ_Ｔ以上であるか否かを判定する（Ｓ７５）。

つまり、指先動作判定部１６２は、式（２）、（３）のどちらが成立するかを判定する（Ｓ７５）。

式（２）が成立する場合とは、指先を操作面１５１に触れたまま意図的に動かす動作（ドラッグ）が行われた場合である。

式（３）が成立する場合とは、指先を単に操作面１５１に触れる動作（タッチ）が行われた場合である。

指先動作判定部１６２は、ステップＳ７５でＮＯと判定された（タッチが行われた）なら、指先動作識別情報Ｔ_ｎとして、タッチが行われたことを示す指先動作識別情報「Ｔ２」を生成し（Ｓ７７）、処理を終える。

一方、指先動作判定部１６２は、ステップＳ７５でＹＥＳと判定された（ドラッグが行われた）なら、指先動作識別情報Ｔ_ｎとして、ドラッグが行われたことを示す指先動作識別情報「Ｔ３」を生成し（Ｓ７９）、処理を終える。

図２に戻り、次に、視線動作判定部１６１は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する（Ｓ９）。

図５は、ステップＳ９の詳細なフローチャートである。
まず、視線動作判定部１６１は、画像入力部１０４からの信号に基づき、ユーザの視線の位置を示す視線座標（ｘ_Ｇｎ、ｙ_Ｇｎ）の取得を試みる（Ｓ９０１）。

出力部１０２が図６に示すような表示面１２１を有している場合、原点０_Ｇから、表示面１２１に注がれた視線の表示面１２１における位置までのｘ軸方向の距離に相当する座標ｘ_Ｇｎと、原点０_Ｇから、表示面１２１に注がれた視線の表示面１２１における位置までのｙ軸方向の距離に相当する座標ｙ_Ｇｎとからなる視線座標（ｘ_Ｇｎ、ｙ_Ｇｎ）の取得を試みる（Ｓ９０１）。

画像入力部１０４が単眼カメラである場合、視線座標の取得は、以下の参考文献に記載のアルゴリズムを用いて行える。

参考文献：Hirotake Yamazoe, “Remote Gaze Estimation with a Single Camera Based on Facial-Feature Tracking without Special Calibration Actions”, Proceedings of the 2008 symposium on Eye tracking research applications ETRA 08, 2008.
視線座標（ｘ_Ｇｎ、ｙ_Ｇｎ）のｎは、最新のサンプリングタイミングを示す整数である。例えば、１回前のサンプリングタイミングにおける視線座標は、（ｘ_Ｇｎ−１、ｙ_Ｇｎ−１）と表現される。

次に、視線動作判定部１６１は、視線座標（ｘ_Ｇｎ、ｙ_Ｇｎ）を取得できたか否かを判定する（Ｓ９０３）。つまり、視線動作判定部１６１は、視線が表示面１２１に注がれている状況であるか、または、視線が表示面１２１外に注がれているか瞬きをしている等の状況であるかを判定する（Ｓ９０３）。

視線動作判定部１６１は、ステップＳ９０３でＮＯと判定されたなら、最新のサンプリングタイミングにおける視線動作識別情報Ｇ_ｎとして、視線が表示面１２１に注がれていないことを示す視線動作識別情報「Ｇ１」を生成し（Ｓ９０５）、処理を終える。

一方、視線動作判定部１６１は、ステップＳ９０３でＹＥＳと判定されたなら、１回前のサンプリングタイミングにおける視線座標（ｘ_Ｇｎ−１、ｙ_Ｇｎ−１）と視線座標（ｘ_Ｇｎ、ｙ_Ｇｎ）の距離（以下、変位という）ｌ_Ｇｎを式（４）により計算し、変位ｌ_Ｇｎが予め定められた変位（しきい値）Ｌ_Ｇ以上であるか否かを判定する（Ｓ９０７）。

つまり、指先動作判定部１６２は、式（５）、（６）のどちらが成立するかを判定する（Ｓ９０７）。

式（６）が成立する場合とは、ユーザが表示面１２１の一点を見ている動作（絶対固視）が行われた場合である。

視線動作判定部１６１は、ステップＳ９０７でＮＯと判定されたなら、視線動作識別情報Ｇｎとして、絶対固視が行われたことを示す視線動作識別情報「Ｇ２」を生成し（Ｓ９０９）、処理を終える。

一方、視線動作判定部１６１は、ステップＳ９０７でＹＥＳと判定されたなら、１回前のサンプリングタイミングから最新のサンプリングタイミングまでの期間における指先の速度を示す指先速度ベクトルｖ_Ｔｎと、１回前のサンプリングタイミングから最新のサンプリングタイミングまでの期間における視線の速度を示す視線速度ベクトルｖ_Ｇｎを式（７）、（８）により計算する（Ｓ９１１）。

なお、式（７）において、ｖｘ_Ｔｎは指先速度ベクトルｖ_Ｔｎのｘ成分、ｖｙ_Ｔｎは指先速度ベクトルｖ_Ｔｎのｙ成分である。
また、式（８）において、ｖｘ_Ｇｎは指先速度ベクトルｖ_Ｇｎのｘ成分、ｖｙ_Ｇｎは指先速度ベクトルｖ_Ｇｎのｙ成分である。

次に、視線動作判定部１６１は、指先速度ベクトルｖ_Ｔｎと視線速度ベクトルｖ_Ｇｎの内積を計算し、内積が０未満であるか否かを判定する（Ｓ９１３）。

つまり、視線動作判定部１６１は、式（９）、（１０）のどちらが成立するかを判定する（Ｓ９１３）。

式（９）が成立する場合とは、視線が指先に追従せずに動く動作（スキャン）が行われた場合である。
式（１０）が成立する場合とは、視線が指先に追従する動作（相対固視）が行われた場合である。

視線動作判定部１６１は、ステップＳ９１３でＮＯと判定されたなら、視線動作識別情報Ｇ_ｎとして、相対固視が行われたことを示す視線動作識別情報「Ｇ３」を生成し（Ｓ９１５）、処理を終える。

一方、視線動作判定部１６１は、ステップＳ９１３でＹＥＳと判定されたなら、視線動作識別情報Ｇ_ｎとして、スキャンが行われたことを示す視線動作識別情報「Ｇ４」を生成し（Ｓ９１７）、処理を終える。

図２に戻り、次に、動作判定部１０６は、ステップＳ７で生成された指先動作識別情報Ｔ_ｎとステップＳ９で生成された視線動作識別情報Ｇ_ｎとからなる動作情報（Ｔ_ｎ，Ｇ_ｎ）を動作情報記憶部１０７に蓄積する（Ｓ１０）。つまり、動作情報記憶部１０７には、動作判定部１０６で一致すると判定された動作を示す動作情報が蓄積される。

動作情報記憶部１０７には、こうして、最新のサンプリングタイミングまでの各サンプリングタイミングで生成された動作情報が蓄積される。なお、動作情報の数は、後述の処理に必要な数以上であることとする。

次に、動作情報読み出し部１０８は、最新のサンプリングタイミングから予め定められた第１の回数Ｎだけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を動作情報記憶部１０７から読み出し、第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているか否かを判定する（Ｓ１１）。

具体的には、動作情報読み出し部１０８は、式（１１）に示す第１動作情報列を読み出し、式（１２）、（１３）が共に成立するか否かを判定する（Ｓ１１）。

式（１２）、（１３）が共に成立する場合は、「最重度」の滞留が発生している場合であり、動作情報読み出し部１０８は、ここでは、「最重度」の滞留が発生しているか否かを判定する（Ｓ１１）。「最重度」の滞留が発生している状況は、後述の滞留度Ｓに換算すると、滞留度Ｓ＝「１」に相当する。

なお、ステップＳ１１では、例えば、式（１２）と式（１３）の一方が成立するか否かを判定してもよい。つまり、滞留の程度を下げ、その程度以上の操作の滞留があるか否かを判定してもよい。

さて、動作情報読み出し部１０８は、ステップＳ１１でＹＥＳと判定されたなら、最新のサンプリングタイミングから前記第１の回数Ｎだけ遡ったサンプリングタイミングからさらに予め定められた第２の回数Ｍだけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を、動作情報記憶部１０７から読み出し、第２動作情報列を動作情報列記憶部１０９に蓄積する（Ｓ１３）。なお、第２の回数Ｍは、第１の回数Ｎに等しくてもよい。

つまり、動作情報読み出し部１０８は、式（１４）に示す第２動作情報列を読み出し、動作情報列記憶部１０９に蓄積する（Ｓ１３）。

動作情報列記憶部１０９には、例えば、図７に３例を示すような第２動作情報列が蓄積される。

図２に戻り、滞留度計算部１１０は、ステップＳ１１でＮＯと判定されたなら、操作が滞る滞留の程度を示す滞留度Ｓを計算する（Ｓ１５）。つまり、滞留度計算部１１０は、予め定められた式を用いて、最新のサンプリングタイミングから第２の回数Ｍだけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と動作情報列記憶部１０９内の各第２動作情報列との類似度が大きい程大きくなるような滞留度Ｓを計算する（Ｓ１５）。

動作情報列記憶部１０９には、「最重度」の滞留が発生した場合の第２動作情報列が蓄積されているので、滞留度Ｓは、現在の滞留の程度を示すだけでなく、「最重度」の滞留が発生する可能性の大きさを示すものでもある。

具体的には、滞留度計算部１１０は、まず、各第２動作情報列を動作情報列記憶部１０９から読み出し、それぞれにつき、第３動作情報列とのレーベンシュタイン距離Ｌを計算する。

レーベンシュタイン距離とは、ある文字列ｓｔｒ１（ここでは、第３動作情報列）を別の文字列ｓｔｒ２（ここでは、第２動作情報列）に変換するために置換、挿入、削除しなければならない最小の文字数である。文字数は、文字列ｓｔｒ１、ｓｔｒ２の類似度が大きい程少なくなる。

次に、滞留度計算部１１０は、計算されたレーベンシュタイン距離Ｌの中での最小のレーベンシュタイン距離Ｌ_ｍｉｎを式（１５）に代入し、滞留度Ｓを計算する（Ｓ１５）。

ここで、Ｌ_ｍａｘは、第３動作情報列と第２動作情報列とで、全てのサンプリングタイミングのそれぞれで、当該サンプリングタイミングに対応する指先動作識別情報が互いに異なり、且つ、当該サンプリングタイミングに対応する視線動作識別情報が互いに異なる場合のレーベンシュタイン距離Ｌである。

よって、滞留度Ｓは、最小のレーベンシュタイン距離Ｌ_ｍｉｎが小さいほど大きくなる。つまり、滞留度Ｓは、第３動作情報列と第２動作情報列の類似度が大きい程大きくなる。

次に、出力制御部１１１が、滞留度Ｓが予め定められた閾値Ｓ_１以上であるか否かを判定する（Ｓ１７）。閾値Ｓ_１は、予め定められた２つの閾値Ｓ_１、Ｓ_２の内の高い方の閾値である。つまり、出力制御部１１１は、滞留度Ｓとなりうる０から１までの範囲を３分割して得られる最も高い範囲に滞留度Ｓが含まれるか否かを判定する（Ｓ１７）。なお、分割数は３に限るものではない。

出力制御部１１１は、ステップＳ１７でＹＥＳと判定されたなら、または、ステップＳ１３の処理が終わったなら、この場合、滞留度Ｓが最も高い範囲に含まれるので、強い注意喚起を示す出力内容が出力部１０２に出力されるように処理部１０３を制御し（Ｓ１９）、処理を終える。

一方、出力制御部１１１は、ステップＳ１７でＮＯと判定されたなら、滞留度Ｓが閾値Ｓ_２以上であるか否かを判定する（Ｓ２１）。

出力制御部１１１は、ステップＳ２１でＹＥＳと判定されたなら、この場合、滞留度Ｓが２番目に高い範囲に含まれるので、例えば、ガイダンスなどの出力内容が出力部１０２に出力されるように処理部１０３を制御し（Ｓ２３）、処理を終える。

一方、出力制御部１１１は、ステップＳ２１でＮＯと判定されたなら、この場合、滞留度Ｓが最も低い範囲に含まれ、操作再開が期待できるので、処理を終える。

したがって、本実施の形態に係る滞留度計算装置は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部１０６と、動作判定部１０６で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部１０７と、各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数Ｎだけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を動作情報記憶部１０７から読み出し、第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数Ｍだけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を動作情報記憶部１０７から読み出す動作情報読み出し部１０８と、第２動作情報列が蓄積される動作情報列記憶部１０９と、第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式（１５）を用いて、最新のサンプリングタイミングから第２の回数Ｍだけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と動作情報列記憶部１０９内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部１１０とを備えるので、重度の操作の滞留が発生する可能性を示す滞留度Ｓを計算することができる。

また、動作判定部１０６は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部１６１と、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、動作情報記憶部１０７は、視線動作判定部１６１で一致すると判定された動作を示す視線動作識別情報と指先動作判定部１６２で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものなので、滞留度Ｓを視線と指先の動作により計算することができる。

また、滞留度計算装置は、操作を実行するもの、つまり上記ユーザを対象とした出力内容を出力する出力部１０２と、出力内容を出力部１０２に出力させる処理部１０３と、滞留度Ｓに応じた出力内容が出力部１０２に出力されるように処理部１０３を制御する出力制御部１１１とを備えるので、上記のような、滞留度Ｓに応じた注意喚起などのための出力内容を出力部１０２に出力することができる。

以上、本発明の実施の形態の一例を説明したが、滞留度Ｓを計算することに特化した滞留度計算装置が必要な場合は、出力部１０２、処理部１０３および出力制御部１１１を滞留度計算装置に含めなくてもよい。

また、本実施の形態では、動作判定部１０６に視線動作判定部１６１と指先動作判定部１６２を設けたが、例えば、一方だけを動作判定部１０６に設けてもよい。つまり、動作判定部１０６は、サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定でき、動作情報記憶部１０７には、動作判定部１０６で一致すると判定された動作を示す動作情報が蓄積されればよい。

また、本実施の形態では、滞留度計算装置を、シナリオの出力内容を出力する装置に設けたが、滞留度計算装置は別な装置に設けてもよく、また、滞留度計算装置を単独で設けてもよい。

１ 情報処理装置
１０１ シナリオデータベース
１０２ 出力部
１０３ 処理部
１０４ 画像入力部
１０５ 操作入力部
１０６ 動作判定部
１０７ 動作情報記憶部
１０８ 動作情報読み出し部
１０９ 動作情報列記憶部
１１０ 滞留度計算部
１１１ 出力制御部
１２１ 表示面
１５１ 操作面
１６１ 視線動作判定部
１６２ 指先動作判定部
０_Ｇ 表示面の原点
０_Ｔ 操作面の原点
Ｇ_ｎ 視線動作識別情報
Ｌ レーベンシュタイン距離
Ｌ_ｍｉｎ レーベンシュタイン距離（最小値）
Ｍ 第２の回数
Ｎ 第１の回数
Ｓ 滞留度
Ｔ_ｎ 指先動作識別情報
ｌ_Ｇｎ，ｌ_Ｔｎ 変位
ｔ サンプリングタイミングの周期
ｖ_Ｇｎ 視線速度ベクトル
ｖ_Ｔｎ 指先速度ベクトル
ｘ_Ｇｎ 視線座標（ｘ座標）
ｘ_Ｔｎ 指先座標（ｘ座標）
ｙ_Ｇｎ 視線座標（ｙ座標）
ｙ_Ｔｎ 指先座標（ｙ座標）

Claims (4)

1. 操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、
   予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部と、
   前記動作判定部で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部と、
   前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を前記動作情報記憶部から読み出し、当該第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を前記動作情報記憶部から読み出す動作情報読み出し部と、
   当該第２動作情報列が蓄積される動作情報列記憶部と、
   前記第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と前記動作情報列記憶部内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部と
   を備え、
   前記動作判定部は、
   視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部と、
   指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、
   前記動作情報記憶部は、
   前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものである
   ことを特徴とする滞留度計算装置。
2. 操作を実行するものを対象とした出力内容を出力する出力部と、
   前記出力内容を前記出力部に出力させる処理部と、
   前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する出力制御部と
   を備えることを特徴とする請求項１記載の滞留度計算装置。
3. 操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置の動作方法であって、
   前記滞留度計算装置の動作判定部が、
   予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定し、一致すると判定された動作を示す動作情報を前記滞留度計算装置の動作情報記憶部に蓄積し、
   前記滞留度計算装置の動作情報読み出し部が、
   前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を前記動作情報記憶部から読み出し、当該第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を前記動作情報記憶部から読み出し、当該第２動作情報列を前記滞留度計算装置の動作情報列記憶部に蓄積し、
   前記滞留度計算装置の滞留度計算部が、
   前記第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と前記動作情報列記憶部内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算し、
   前記動作判定部による判定は、
   当該動作判定部の視線動作判定部が、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定することと、
   当該動作判定部の指先動作判定部が、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定することからなり、
   前記動作情報記憶部には、
   前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報が蓄積される
   ことを特徴とする滞留度計算装置の動作方法。
4. 前記滞留度計算装置は、
   操作を実行するものを対象とした出力内容を出力する出力部と、
   前記出力内容を前記出力部に出力させる処理部とを備え、
   前記動作方法は、
   さらに、前記滞留度計算装置の出力制御部が、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する
   ことを特徴とする請求項３記載の滞留度計算装置の動作方法。

Images