JP5765128B2 - 目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラム - Google Patents

Description

本発明は、目視対象物判定装置等に関する。

目視者の顔画像を撮像して視線情報を検出し、目視者が画面上のどの位置を視認しているのかを分析する従来技術が存在する。この従来技術は、例えば、デジタルサイネージ等の電子掲示版に表示された複数の対象物のうち、どの対象物を目視者が視認しているのかを分析する場合に利用される。例えば、目視者によって頻繁に視認される対象物は、目視者が興味のあるものといえ、広告提供者にとって重要な情報となる。

特開２０１１−７９４２８号公報 特開２００３−１５０３０６号公報

しかしながら、上述した従来技術では、目視者の目視する対象物を正確に判定することができないという問題があった。

例えば、デジタルサイネージを目視者が見る場合には、いろいろな視線の状態が考えられる。例えば、対象物を直接目視している状態、直接目視している対象物から離れた他の対象物を一緒に見る状態、複数の対象物を交互に見る状態などがある。

従来技術では、上記のように視線の状態がいろいろと異なる場合において、どういう状態であれば、目視者が対象物を目視したのかを判定するための指標が提案されておらず、目視者の目視する対象物を正確に判定することはできていない。上記問題は、デジタルサイネージに限らず、表示装置に表示される物体を目視者が目視しているか否かを判定する場合にも同様に発生する問題である。

開示の技術は、上記に鑑みてなされたものであって、目視者の目視する対象物を正確に判定することができる目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラムを提供することを目的とする。

開示の目視対象物判定装置は、視点位置算出部、補正係数特定部、補正時間算出部、判定部を有する。視点位置算出部は、撮像装置が撮像した目視者の画像データを基にして目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出する。補正係数特定部は、表示装置に表示される複数の対象物と視点位置との距離に基づいて、対象物毎に補正係数を特定する。補正時間算出部は、目視者の視点位置が表示装置上に存在する時間と対象物毎の補正係数とを基にして、対象物毎に補正時間を算出する。判定部は、補正時間に基づいて、目視者が目視した表示装置の対象物の視認状況を判定する。

本願の目視対象物によれば、目視者の目視する対象物を正確に判定することができるという効果を奏する。

図１は、本実施例にかかるシステムの構成を示す図である。 図２は、本実施例にかかる目視対象物判定装置の構成を示す機能ブロック図である。 図３は、補正係数テーブルのデータ構造の一例を示す図である。 図４は、対象物情報のデータ構造の一例を示す図である。 図５は、累積時間テーブルのデータ構造の一例を示す図である。 図６は、角膜反射法を説明するための図である。 図７は、補正係数の特定結果の一例を示す図である。 図８は、本実施例にかかる目視対象判定装置の処理手順を示すフローチャートである。 図９は、目視対象物判定プログラムを実行するコンピュータの一例を示す図である。

以下に、本願の開示する目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例にかかるシステムの構成を示す図である。図１に示すように、このシステムは、撮像装置５、表示装置１０、目視対象物判定装置１００を有する。

撮像装置５は、目視者１を撮影する装置である。撮像装置５は、撮像した目視者１の画像データを目視対象物判定装置１００に出力する。撮像装置５は、例えば、カメラや画像センサ等に対応する。

表示装置１０は、各種の情報を表示する装置である。図１に示す例では、表示装置１０は、対象物１０Ａ、１０Ｂ、１０Ｃを表示する。表示装置１０は、デジタルサイネージ等の電子掲示版や、ディスプレイなどに対応する。

目視対象判定装置１００は、目視者１が目視した対象物を判定する装置である。目視対象判定装置１００は、目視者１の画像データを基にして、目視者１の視線１ａを検出し、表示装置１０上の視線１ａの先の視点位置１ｂを算出する。

目視対象判定装置１００は、視点位置１ｂと、対象物１０Ａ〜１０Ｃとの距離に基づいて、対象物毎に補正係数を特定する。目視対象装置１００は、目視者１が表示装置１０を目視している時間と、対象物毎の補正係数とを基にして、対象物毎に補正時間を算出する。目視対象判定装置１００は、対象物毎の補正時間を基にして、目視者１が目視した対象物の視認状況を判定する。視認状況は、目視者が対象物を視認できたか否かを示すものに対応する。

図１に示した目視対象物判定装置１００の構成について説明する。図２は、本実施例にかかる目視対象物判定装置の構成を示す機能ブロック図である。図２に示すように、この目視対象物判定装置１００は、補正係数格納部１１０、対象物情報格納部１２０、累積時間テーブル格納部１３０、表示制御部１４０を有する。また、目視対象物判定装置１００は、タイマ１５０、視点位置算出部１６０、補正係数特定部１７０、補正時間算出部１８０、判定部１９０を有する。

補正係数格納部１１０は、距離と補正係数とを対応付ける補正係数テーブルを格納する。図３は、補正係数テーブルのデータ構造の一例を示す図である。距離は、表示装置１０上の視点位置と、対象物との距離に対応する。例えば、視点位置と対象物の中心との距離としてもよい。補正係数は、対象物毎の補正時間を算出する場合に利用される係数である。距離が大きくなるにつれて、補正係数の値は小さくなる。

図３において、距離ａは距離ｂよりも小さい値であり、距離ｂは距離ｒよりも小さい値とする。また、補正係数αは補正係数βよりも大きい値とする。

対象物情報格納部１２０は、対象物情報を格納する。図４は、対象物情報のデータ構造の一例を示す図である。図４に示すように、この対象物情報は、対象物識別情報、座標、形状情報を対応付けて保持する。対象物識別情報は、対象物を一意に識別する情報である。座標は、表示画面１０上の対象物の座標に対応する。形状情報は、対象物の形状や色などの情報を含む。

累積時間テーブル格納部１３０は、対象物毎に補正時間を累積した累積時間を保持する累積時間テーブルを格納する。図５は、累積時間テーブルのデータ構造の一例を示す図である。図５に示すように、この累積時間テーブルは、対象物識別情報、累積時間、目視フラグを対応付けて保持する。このうち、目視フラグは、対象物を目視したか否かを示すものであり、後述の判定部１９０によって設定される。

表示制御部１４０は、対象物情報格納部１２０の対象物情報に基づいて、対象物を表示装置１０に表示させる処理部である。

タイマ１５０は、現在の時間情報を視点位置算出部１６０に出力する。

視点位置算出部１６０は、目視者１の画像データを基にして、視線を検出し、表示装置１０上の視点位置を算出する処理部である。視点位置算出部１６０は、視点位置の座標を、補正係数特定部１７０に出力する。視点位置算出部１６０は、撮像装置５から画像データを取得する。

また、視点位置算出部１６０は、目視者１が表示装置１０上を目視している時間の長さを計数し、計数した時間を補正時間算出部１８０に出力する。例えば、視点位置計算部１６０は、視点位置が、所定の座標範囲に含まれる場合に、目視者１が表示装置１０上を目視していると判定する。

視点位置算出部１６０が視点位置を算出する処理の一例について説明する。視点位置算出部１６０は、まず、視線を求める。そして、視点位置算出部１６０は、視線と、表示装置１０および目視者１の距離とから、視点位置を算出する。

視点位置算出部１６０が視線を算出する処理について説明する。視点位置算出部１６０は、角膜反射法に基づいて視線を検出する。図６は、角膜反射法を説明するための図である。ここでは、光源２を利用して視線を検出する。視線位置算出部１６０は、図示しない光源を利用してもよい。

図６において、光源２は、赤外線を照射する。３ａは角膜を示し、３ｂは瞳孔面を示し、３ｃは瞳孔中心を示す。３ｄは角膜曲率中心を示し、３ｅは視線角度を示す。４は、カメラで撮影した画像に対応するものであり、４ａは画面の瞳孔中心の位置を示し、４ｂは画面の角膜反射領域の中心位置を示す。例えば、視点位置算出部１６０は、画像４から瞳孔中心の位置４ａと角膜反射領域の中心位置４ｂとを抽出し、位置４ａと４ｂとの間の距離と、角膜曲率半径から視線１ａを検出する。

視点位置算出部１６０が表示装置１０および目視者１の距離を算出する処理について説明する。表示装置１０と目視者１との距離を、目視者距離と表記する。視点位置算出部１６０は、人物の顔の大きさと、目視者距離とを対応付けた距離テーブルを利用する。視点位置算出部１６０は、画像データに含まれる目視者１の顔の大きさと、距離テーブルとを比較して、目視者距離を算出する。なお、視点位置算出部１６０は、他のどのような従来技術を利用して、目視者距離を算出してもよい。例えば、視点位置算出部１６０は、距離センサなどを利用して、目視者距離を算出してもよい。

視点位置算出部１６０は、目視者距離と、視線とを算出した後に、視点位置を算出する。例えば、視点位置算出部１６０は、目視者と表示装置と通る直線と、視線ベクトルとのなす角度を求め、求めた角度、視線ベクトル、目視者距離から、表示装置１０の視点位置を算出する。

図２の説明に戻る。補正係数特定部１７０は、対象物毎に、補正係数を特定する処理部である。補正係数特定部１７０は、対象物と視点位置との距離を求めた後に、対象物の補正係数を特定する。

補正係数特定部１７０は、対象物情報格納部１２０の対象物情報と、視点位置とを比較して、対象物と視点位置との距離を算出する。そして、補正係数特定部１７０は、補正係数格納部１１０の補正係数テーブルと、距離とを比較して、対応物の補正係数を特定する。補正係数特定部１７０は、補正係数の特定結果を、補正時間算出部１８０に出力する。

図７は、補正係数の特定結果の一例を示す図である。図７に示すように、補正係数の特定結果は、対象物識別情報と、補正係数とを対応付ける。例えば、図１に示すような利用シーンを想定した場合には、対象物１０Ａの補正係数は「１」である。対象物１０Ｂの補正係数は「α」である。対象物１０Ｃの補正係数は「β」である。

補正時間算出部１８０は、対象物毎の補正時間を求め、対象物毎に補正時間の累積する処理部である。補正時間算出部１８０は、視点位置算出部１６０から取得する時間に、対象物の補正係数を乗算することで、対象物毎の補正時間を算出する。

例えば、対象物の補正係数が図７に示すものである場合について説明する。補正時間算出部１８０は、時間に、補正係数「１」を乗算することで、対象物１０Ａの補正時間を算出する。補正時間算出部１８０は、時間に、補正係数「α」を乗算することで、対象物１０Ｂの補正時間を算出する。補正時間算出部１８０は、時間に、補正係数「β」を乗算することで、対象物１０Ｃの補正時間を算出する。

補正時間算出部１８０は、視点位置算出部１６０から時間を取得するたびに、補正時間を算出し、対象物毎に累積時間を算出して、図５に示した累積時間テーブルに登録する。なお、累積時間の初期値は０とする。

判定部１９０は、累積時間テーブル格納部１３０の累積時間テーブルを基にして、目視者の目視する対象物を判定する処理部である。判定部１９０は、累積時間を参照し、この累積時間が所定の閾値以上となった対象物を、目視された対象物と判定する。例えば、判定部１９０は、目視された対象物の目視フラグを「目視」に設定する。なお、目視フラグの初期値は「目視無し」とする。判定部１９０は、累積時間テーブルの情報を、外部装置に出力しても良いし、表示装置１０に表示してもよい。

次に、目視対象判定装置１００の処理手順について説明する。図８は、本実施例にかかる目視対象判定装置の処理手順を示すフローチャートである。図８に示す処理は、例えば、目視対象物判定装置１００が、撮像装置５から目視者の画像データを取得したことを契機として実行される。

図８に示すように、目視対象物判定装置１００は、目視者の画像データを取得し（ステップＳ１０１）、視点位置を算出する（ステップＳ１０２）。目視対象物判定装置１００は、視点位置と対象物との距離を、対象物毎に算出する（ステップＳ１０３）。

目視対象物判定装置１００は、対象物毎に補正係数を特定する（ステップＳ１０４）。目視対象物判定装置１００は、対象物毎に補正係数を累積する（ステップＳ１０５）。目視対象物判定装置１００は、累積時間を基にして、目視者が目視した対象物を判定する（ステップＳ１０６）。

次に、本実施例にかかる目視対象物判定装置１００の効果について説明する。

文献「三浦利章 篠原一光「注意の心理学から見たカーナビゲーションの問題点」国際交通安全学会誌 Ｖｏｌ．２６、Ｎｏ．４」、「福田忠彦「図形知覚における中心視と周辺視の機能差」 テレビジョン学会誌 第３２巻、第６号（１９７８）」を参照すると、視点位置からはなれた対象物ほど視認しにくくなる旨が記載されている。このため、視点位置が対象物から離れているほど、目視者が対象物を目視し難いといえる。

目視対象物判定装置１００は、目視者１の視線から視点位置を算出し、視点位置と表示装置上の対象物との距離に応じた補正係数を用いて、対象物毎に補正時間を算出する。そして、目視対象物判定装置１００は、補正時間に基づいて、目視された対象物を判定する。目視対象物判定装置１００では、視点位置から離れる対象物ほど、補正時間が少なくなるので、視点位置と対象物の距離を考慮して、目視者が目視した対象物を正確に判定することができる。

また、目視者は、一回の目視時間は少なくても、何度も目視することで、対象物を確認することができる。目視対象物判定装置１００は、対象物毎に補正時間を累積した累積時間を算出し、累積時間に基づいて、目視した対象物を判定する。このため、目視者がちらちらと対象物を目視して確認する場合にも対応して、目視した対象物を正確に判定することができる。

ところで、上記の累積時間テーブルのデータ構造は、図５のものに限られない。例えば、累積時間算出部１８０は、複数の目視者が存在する場合には、目視者毎に、各対象物に対する累積時間を、累積時間テーブルに登録してもよい。この場合には、視点位置算出部１６０は、目視者毎の視点位置を算出し、補正係数特定部１７０は、目視者毎に視点位置と対象物との距離に基づいて、補正係数を特定する。

次に、図２に示した目視対象物判定装置１００と同様の機能を実現する目視対象物判定プログラムを実行するコンピュータの一例を説明する。図９は、目視対象物判定プログラムを実行するコンピュータの一例を示す図である。

図９に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７を有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、例えば、視点位置算出プログラム２０７ａ、補正係数特定プログラム２０７ｂ、補正時間算出プログラム２０７ｃ、判定プログラム２０７ｄを有する。ＣＰＵ２０１は、各プログラム２０７ａ〜２０７ｄを読み出して、ＲＡＭ２０６に展開する。

視点位置算出プログラム２０７ａは、視点位置算出プロセス２０６ａとして機能する。補正係数特定プログラム２０７ｂは、補正係数特定プロセス２０６ｂとして機能する。補正時間算出プログラム２０７ｃは、補正時間算出プロセス２０６ｃとして機能する。判定プログラム２０７ｄは、判定プロセス２０６ｄとして機能する。

例えば、視点位置算出プロセス２０６ａは、視点位置算出部１６０に対応する。補正係数特定プロセス２０６ｂは、補正係数特定部１７０に対応する。補正時間算出プロセス２０７ｃは、補正時間算出部１８０に対応する。判定プロセス２０７ｄは、判定部１９０に対応する。

なお、各プログラム２０７ａ〜２０７ｄについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０７ａ〜２０７ｄを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出する視点位置算出部と、
前記表示装置に表示される複数の対象物と前記視点位置との距離に基づいて、前記対象物毎に補正係数を特定する補正係数特定部と、
前記目視者の視点位置が前記表示装置上に存在する時間と前記対象物毎の補正係数とを基にして、前記対象物毎に補正時間を算出する補正時間算出部と、
前記補正時間に基づいて、目視者が目視した前記表示装置の対象物の視認状況を判定する判定部と
を有することを特徴とする目視対象物判定装置。

（付記２）前記補正時間算出部は、前記対象物毎に補正時間の累積時間を算出し、前記判定部は、前記対象物毎の累積時間に基づいて、目視者が目視した前記表示画面上の対象物の視認状況を判定することを特徴とする付記１に記載の目視対象物判定装置。

（付記３）コンピュータが実行する目視対象物判定方法であって、
撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出し、
前記表示装置に表示される複数の対象物と前記視点位置との距離に基づいて、前記対象物毎に補正係数を特定し、
前記目視者の視点位置が前記表示装置上に存在する時間と前記対象物毎の補正係数とを基にして、前記対象物毎に補正時間を算出し、
前記補正時間に基づいて、目視者が目視した前記表示装置の対象物の視認状況を判定する
各処理をコンピュータが実行することを特徴とする目視対象物判定方法。

（付記４）前記補正時間を算出する処理は、前記対象物毎に補正時間の累積時間を算出し、前記対象物を判定する処理は、前記対象物毎の累積時間に基づいて、目視者が目視した前記表示画面上の対象物の視認状況を判定することを特徴とする付記３に記載の目視対象物判定方法。

（付記５）コンピュータに、
撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出し、
前記表示装置に表示される複数の対象物と前記視点位置との距離に基づいて、前記対象物毎に補正係数を特定し、
前記目視者の視点位置が前記表示装置上に存在する時間と前記対象物毎の補正係数とを基にして、前記対象物毎に補正時間を算出し、
前記補正時間に基づいて、目視者が目視した前記表示装置の対象物の視認状況を判定する
各処理を実行させることを特徴とする目視対象物判定プログラム。

（付記６）前記補正時間を算出する処理は、前記対象物毎に補正時間の累積時間を算出し、前記対象物を判定する処理は、前記対象物毎の累積時間に基づいて、目視者が目視した前記表示画面上の対象物の視認状況を判定することを特徴とする付記５に記載の目視対象物判定プログラム。

５ 撮像装置
１０ 表示装置
１００ 目視対象物判定装置

Claims (4)

1. 撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出する視点位置算出部と、
   前記表示装置に表示される複数の対象物と前記視点位置との距離に基づいて、前記対象物と前記視点位置との距離が大きいほど値が小さくなる補正係数を前記対象物毎に特定する補正係数特定部と、
   前記目視者の視点位置が前記表示装置上に存在する時間を、前記表示装置上に存在する前記対象物の位置に限らず一律に、目視者が対象物を目視している時間として特定し、各対象物について、前記対象物を目視している時間に前記対象物の補正係数を乗算することで、前記対象物毎に補正時間を算出する補正時間算出部と、
   前記補正時間に基づいて、目視者が目視した前記表示装置の対象物の視認状況を判定する判定部と
   を有することを特徴とする目視対象物判定装置。
2. 前記補正時間算出部は、前記対象物毎に補正時間の累積時間を算出し、前記判定部は、前記対象物毎の累積時間に基づいて、目視者が目視した前記表示装置上の対象物の視認状況を判定することを特徴とする請求項１に記載の目視対象物判定装置。
3. コンピュータが実行する目視対象物判定方法であって、
   撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出し、
   前記表示装置に表示される複数の対象物と前記視点位置との距離に基づいて、前記対象物と前記視点位置との距離が大きいほど値が小さくなる補正係数を前記対象物毎に特定し、
   前記目視者の視点位置が前記表示装置上に存在する時間を、前記表示装置上に存在する前記対象物の位置に限らず一律に、目視者が対象物を目視している時間として特定し、各対象物について、前記対象物を目視している時間に前記対象物の補正係数を乗算することで、前記対象物毎に補正時間を算出し、
   前記補正時間に基づいて、目視者が目視した前記表示装置の対象物の視認状況を判定する
   各処理をコンピュータが実行することを特徴とする目視対象物判定方法。
4. コンピュータに、
   撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出し、
   前記表示装置に表示される複数の対象物と前記視点位置との距離に基づいて、前記対象物と前記視点位置との距離が大きいほど値が小さくなる補正係数を前記対象物毎に特定し、
   前記目視者の視点位置が前記表示装置上に存在する時間を、前記表示装置上に存在する前記対象物の位置に限らず一律に、目視者が対象物を目視している時間として特定し、各対象物について、前記対象物を目視している時間に前記対象物の補正係数を乗算することで、前記対象物毎に補正時間を算出し、
   前記補正時間に基づいて、目視者が目視した前記表示装置の対象物の視認状況を判定する
   各処理を実行させることを特徴とする目視対象物判定プログラム。

Images