JP5786539B2 - 目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラム - Google Patents

Description

本発明は、目視対象物判定装置等に関する。

従来、目視者の顔画像から瞳孔の位置などを解析することにより視線の方向を求め、目視者および対象物の距離と視線の方向とを基にして、表示装置上の視点位置を検出する視線検出技術がある。

例えば、視線検出技術は、デジタルサイネージ等に表示される各対象物のうち、どの対象物を目視者が目視しているのかを判定する場合に利用される。

ここで、目視者の視野は視点位置の点のみではなく、視点周辺の領域を含む。このため、目視者が対象物を目視しているか否かは、対象物が視野に含まれているか否かにより判定することとなる。従来技術では、視点位置から所定の範囲に含まれる対象物を、目視者が目視した対象物と判定する。

特開２００６−２０４８５５号公報 特開２００８−２２６１６１号公報 国際公開第２００７／０６９４８９号

しかしながら、上述した従来技術では、目視者の目視する対象物を正確に判定することができないという問題があった。

これは、目視者の視点位置と対象物との距離が同じであったとしても、対象物の形状、色等の特徴によって、対象物が目視者の視野に含まれる場合もあれば、含まれない場合もあるためである。このため、従来技術のように視点位置から所定の範囲に含まれているか否かにより対象物を目視しているか否かを判定する技術では、目視者の目視する対象物を正確に判定することはできない。

開示の技術は、上記に鑑みてなされたものであって、目視者の目視する対象物を正確に判定することができる目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラムを提供することを目的とする。

開示の目視対象物判定装置は、視点位置算出部、特徴取得部、判定部を有する。視点位置算出部は、撮像装置が撮像した目視者の画像データを基にして目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出する。特徴取得部は、表示装置に表示される対象物の特徴を取得する。判定部は、目視者の視点位置および対象物の距離と、当該対象物の特徴とを基にして、対象物が目視者に目視されているか否かを判定する。

開示の目視対象物判定装置によれば、目視者の目視する対象物を正確に判定することができるという効果を奏する。

図１は、本実施例にかかるシステムの構成を示す図である。 図２は、本実施例にかかる目視対象物判定装置の構成を示す機能ブロック図である。 図３は、対象物情報のデータ構造の一例を示す図である。 図４は、視野特性情報のデータ構造の一例を示す図である。 図５は、視野角度を説明するための図である。 図６は、角膜反射法を説明するための図である。 図７は、視野算出部の算出結果のデータ構造の一例を示す図である。 図８は、本実施例にかかる目視対象物判定装置の処理手順を示すフローチャートである。 図９は、目視対象物判定プログラムを実行するコンピュータの一例を示す図である。

以下に、本願の開示する目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例にかかるシステムの構成を示す図である。図１に示すように、このシステムは、撮像装置５、表示装置１０、目視対象物判定装置１００を有する。

撮像装置５は、目視者１を撮影する装置である。撮像装置５は、撮像した目視者１の画像データを目視対象物判定装置１００に出力する。撮像装置５は、例えば、カメラや画像センサ等に対応する。

表示装置１０は、各種の情報を表示する装置である。図１に示す例では、表示装置１０は、対象物１０Ａ、１０Ｂ、１０Ｃを表示する。表示装置１０は、デジタルサイネージ等の電子掲示版や、ディスプレイなどに対応する。

目視対象物判定装置１００は、目視者１が目視した対象物を判定する装置である。目視対象物判定装置１００は、目視者１の画像データを基にして、目視者１の視線１ａを検出し、視線１ａの先の視点位置１ｂを算出する。

目視対象物判定装置１００は、表示装置１０に表示される対象物１０Ａ〜１０Ｃの特徴を取得する。目視対象物判定装置１００は、目視者の視点位置１ｂおよび対象物１０Ａ〜１０Ｃの距離と、各対象物１０Ａ〜１０Ｃの特徴とを基にして、各対象物が目視者に目視されているか否かを判定する。

図１に示した目視対象物判定装置１００の構成について説明する。図２は、本実施例にかかる目視対象物判定装置の構成を示す機能ブロック図である。図２に示すように、この目視対象物判定装置１００は、対象物情報格納部１１０、視野特性情報格納部１２０、視点位置算出部１３０、対象物表示部１４０を有する。また、目視対象物判定装置１００は、特徴取得部１５０、視野算出部１６０、判定部１７０を有する。

対象物情報格納部１１０は、対象物情報を格納する。図３は、対象物情報のデータ構造の一例を示す図である。図３に示すように、この対象物情報は、対象物識別情報、座標、特徴情報を有する。対象物識別情報は、対象物を一意に識別する情報である。座標は、表示画面上の対象物の座標に対応する。

特徴情報は、対象物の色情報、コントラスト、文字サイズを含む。このうち、コントラストは、対象物の平均輝度値と、対象物以外の領域の平均輝度値との差に対応する。なお、色情報は、ＲＧＢ（Red Green Blue）値などの色情報であってもよい。

図２の説明に戻る。視野特性情報格納部１２０は、視野特性情報を格納する。視野特性情報は、対象物の特徴と、視野角度とを対応付けた情報である。図４は、視野特性情報のデータ構造の一例を示す図である。図４に示すように、色情報テーブル１２０ａ、コントラストテーブル１２０ｂ、文字サイズテーブル１２０ｃを有する。

色情報テーブル１２０ａは、色情報と、視野角度とを対応付けたテーブルである。コントラストテーブル１２０ｂは、コントラストと、視野角度とを対応付けたテーブルである。文字サイズテーブル１２０ｃは、文字サイズと、視野角度とを対応付けたテーブルである。

視野角度について説明する。図５は、視野角度を説明するための図である。図５において、視野角度は、線分２ａと線分２ｃとの角度１Ａに対応する。また、視野角度は、線分２ａと線分２ｄの角度１Ａに対応する。線分２ａは、基準点２ｂと目視者１とを結ぶ直線である。なお、以下の説明では、基準点と目視者との距離を目視者距離と表記する。目視者距離は、線分２ａの長さに対応する。

例えば、対象物の特徴により、特定される視野角度が１Ａの場合には、かかる特徴により、目視者１が目視可能な範囲は、視野範囲２ｅ×２となる。この視野範囲２ｅ×２に対象物が含まれていれば、目視者１は、該当の対象物を目視したといえる。

図２の説明に戻る。視点位置算出部１３０は、目視者１の画像データを基にして、視線を検出し、表示装置１０上の視点位置を算出する処理部である。視点位置算出部１３０は、視点位置の座標を、判定部１７０に出力する。また、視点位置算出部１３０は、目視者距離を算出し、視野算出部１６０に出力する。

視点位置算出部１３０が視点位置を算出する処理の一例について説明する。視線位置算出部１３０は、まず、視線を求める。そして、視点位置算出部１３０は、視線と目視者距離とから、視点位置を算出する。

視点位置算出部１３０が視線を検出する処理について説明する。視点位置算出部１３０は、例えば、角膜反射法に基づいて視線を検出する。図６は、角膜反射法を説明するための図である。ここでは、光源２を利用して視線を検出する。視線位置算出部１３０は、図示しない光源を利用してもよい。

図６において、光源２は、赤外線を照射する。３ａは角膜を示し、３ｂは瞳孔面を示し、３ｃは瞳孔中心を示す。３ｄは角膜曲率中心を示し、３ｅは視線角度を示す。４は、カメラで撮影した画像に対応するものであり、４ａは画面の瞳孔中心の位置を示し、４ｂは画面の角膜反射領域の中心位置を示す。例えば、視点位置算出部１３０は、画像４から瞳孔中心の位置４ａと角膜反射領域の中心位置４ｂとを抽出し、位置４ａと４ｂとの間の距離と、角膜曲率半径から視線１ａを検出する。

視点位置算出部１３０が目視者距離を算出する処理について説明する。視点位置算出部１３０は、人物の顔の大きさと、目視者距離とを対応付けた距離テーブルを利用する。視点位置算出部１３０は、画像データに含まれる目視者１の顔の大きさと、距離テーブルとを比較して、目視者距離を算出する。なお、視点位置算出部１３０は、他のどのような従来技術を利用して、目視者距離を算出してもよい。例えば、視点位置算出部１３０は、距離センサなどを利用して、目視者距離を算出してもよい。

視点位置算出部１３０は、目視者距離と、視線とを算出した後に、視点位置を算出する。例えば、視点位置算出部１３０は、目視者と基準点とを結ぶ直線と、視線ベクトルとのなす角度を求め、求めた角度、視線ベクトル、目視者距離から、表示装置１０の視点位置を算出する。

対象物表示部１４０は、対象物情報格納部１１０の対象物情報に基づいて、対象物を表示装置１０に表示させる処理部である。

特徴取得部１５０は、表示装置１０に表示された対象物の特徴情報を、対象物情報格納部１１０から取得する処理部である。特徴取得部１５０は、表示装置１０に表示された対象物の対象物識別情報を、対象物表示部１４０から取得する。特徴取得部１５０は、対応物識別情報と、該対応物識別情報に対応する座標、特徴情報とを対応付けて、視野算出部１６０に出力する。

視野算出部１６０は、特徴情報に基づいて、視野の範囲を算出する処理部である。視野算出部１６０は、算出結果を判定部１７０に出力する。図７は、視野算出部の算出結果のデータ構造の一例を示す図である。図７に示すように、算出結果は、対象物識別情報、座標、視野の範囲を有する。

視野算出部１６０が視野の範囲を算出する処理の一例について説明する。視野算出部１６０は、特徴情報と、図４に示した視野特性情報とを比較して、対象物の特徴に対応する視野角度を判定する。視野算出部１６０は、対象物の特徴に対する視野角度が複数存在する場合には、複数の視野角度のうち、最大のものを選択する。

視野算出部１６０は、図５に示した線分２ａとの角度が、視野角度となるような線分を算出する。例えば、視野算出部１６０は、図５に示したような線分２ｃ、２ｄを求め、視線の範囲２ｅ×２を算出する。視野算出部１６０は、対象物毎に視線の範囲を算出することで、図７に示す算出結果を作成する。本実施例では一例として、算出結果に含める視野の範囲を右半分の範囲２ｅとする。

判定部１７０は、対象物が目視者に目視されたか否かを判定する処理部である。

判定部１７０の処理について具体的に説明する。判定部１７０は、視点位置算出部１３０から視点位置を取得し、視野算出部１６０から算出結果を取得する。判定部１７０は、対象物の座標と視点位置との距離を算出し、算出した距離が該当する対象物の視野の範囲に含まれているか否かを判定する。判定部１７０は、視野の範囲に含まれている場合には、該当する対象物が目視されたと判定する。

例えば、対象物１０Ａを例にして説明する。判定部１７０は、視点位置の座標から対象物１０Ａ座標までの距離が、対象物１０Ａの視野の範囲Ｘ１に含まれていれば、対象物１０Ａは、目視者１に目視されたと判定する。同様にして、判定部１７０は、対象物毎に目視されたか否かを判定し、判定結果を外部装置に出力する。

次に、本実施例にかかる目視対象物判定装置１００の処理手順について説明する。図８は、本実施例にかかる目視対象物判定装置の処理手順を示すフローチャートである。図８に示す処理は、例えば、目視者の画像データを取得したことを契機として実行される。

図８に示すように、目視対象物判定装置１００は、目視者の画像データを取得し（ステップＳ１０１）、視点位置を算出する（ステップＳ１０２）。目視対象物判定装置１００は、対象物の特徴を取得し（ステップＳ１０３）、視野角度を特定する（ステップＳ１０４）。

目視対象物判定装置１００は、視野の範囲を算出し（ステップＳ１０５）、目視者が目視した対象物を判定する（ステップＳ１０６）。

次に、本実施例にかかる目視対象物判定装置１００の効果について説明する。目視対象物判定装置１００は、表示装置１０上の対象物の特徴を基にして、目視者１が目視可能な視点位置からの範囲を特定し、特定した範囲に、該当する対象物が含まれるか否かを判定する。このため、対象物の特徴に応じた目視可能な範囲の変化にも対応して、対象物毎に目視されたか否かを正確に判定することができる。

また、目視対象物判定装置１００は、対象物の色、コントラスト、文字のサイズに応じて、視野の範囲を算出するので、各種の特徴に応じて最適な視野の範囲を算出することができる。なお、対象物の特徴は上記のものに限らず、対象物の形状や、文字の種類を含んでもよい。例えば、図４に示したテーブルの他に、対象物の形状と視野角度とを対応付けたテーブルや、文字の種別と視野角度とを対応付けたテーブルを記憶させ、目視対象物判定装置は、これらのテーブルを利用して、視野の範囲を算出してもよい。

また、本実施例では一例として、視野算出部１６０は、対象物の特徴に対する視野角度が複数存在する場合には、複数の視野角度のうち、最大のものを選択して、視野の範囲を算出していたが、これに限定されない。例えば、視野算出部１６０は、状況に応じて、複数の視野角度のうち、最小の視野角度を選択しても良いし、視野角度の平均角度を算出して利用してもよい。

視野算出部１６０は、図４に示した視野特性情報からある特徴の値の視野角度を特定する場合に、該当する特徴の値が存在しない場合には、補間により、視野角度を算出してもよい。例えば、コントラスト「７」に対応する視野角度は、コントラストテーブル１２０ｂに存在しないので、視野算出部１６０は、最小二乗法などを利用して、コントラスト「７」に対応する視野角度を算出してもよい。

なお、図４に示した各テーブル１２０ａ〜１２０ｃは、実験的に求めた値によって生成されたものである。例えば、目視者に表示装置上の基準点を注視してもらい、ある特徴のマーカを順次横に移動させていき、目視者が目視できなくなる位置を合図してもらうことで、各特徴に対応する視野角度を実験的に求める。かかる方法は一例に過ぎず、どのような方法を用いて、各テーブル１２０ａ〜１２０ｃを生成しても構わない。

なお、眼球の中の網膜上に複数種類の視細胞が分布しており、各視細胞では色に対する感度が異なる。そして、青、赤、緑の順に、目視可能な範囲が狭くなることが知られている。このため、色情報テーブル１２０ａでは、青、赤、緑の順に視野角度が小さくなっている。

次に、図２に示した目視対象物判定装置１００と同様の機能を実現する目視対象物判定プログラムを実行するコンピュータの一例を説明する。図９は、目視対象物判定プログラムを実行するコンピュータの一例を示す図である。

図９に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７を有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、例えば、視点位置算出プログラム２０７ａ、特徴取得プログラム２０７ｂ、判定プログラム２０７ｃを有する。ＣＰＵ２０１は、各プログラム２０７ａ〜２０７ｃを読み出して、ＲＡＭ２０６に展開する。

視点位置算出プログラム２０７ａは、視点位置算出プロセス２０６ａとして機能する。特徴取得プログラム２０７ｂは、特徴取得プロセス２０６ｂとして機能する。判定プログラム２０７ｃは、判定プロセス２０６ｃとして機能する。

例えば、視点位置算出プロセス２０６ａは、視点位置算出部１３０に対応する。特徴取得プロセス２０６ｂは、特徴取得部１５０に対応する。判定プロセス２０６ｃは、判定部１７０に対応する。

なお、各プログラム２０７ａ〜２０７ｃについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０７ａ〜２０７ｃを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出する視点位置算出部と、
表示装置に表示される対象物の特徴を取得する特徴取得部と、
前記目視者の視点位置および前記対象物の距離と、当該対象物の特徴とを基にして、前記対象物が、前記目視者に目視されているか否かを判定する判定部と
を有することを特徴とする目視対象物判定装置。

（付記２）前記対象物の特徴は、対象物の色、形状、文字の種別、文字の大きさ、コントラストのうち少なくとも一つを含むことを特徴とする付記１に記載の目視対象物判定装置。

（付記３）コンピュータが実行する目視対象物判定方法であって、
撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出し、
表示装置に表示される対象物の特徴を取得し、
前記目視者の視点位置および前記対象物の距離と、当該対象物の特徴とを基にして、前記対象物が、前記目視者に目視されているか否かを判定する
各処理を実行することを特徴とする目視対象物判定方法。

（付記４）前記対象物の特徴は、対象物の色、形状、文字の種別、文字の大きさ、コントラストのうち少なくとも一つを含むことを特徴とする付記３に記載の目視対象物判定方法。

（付記５）コンピュータに、
撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出し、
表示装置に表示される対象物の特徴を取得し、
前記目視者の視点位置および前記対象物の距離と、当該対象物の特徴とを基にして、前記対象物が、前記目視者に目視されているか否かを判定する
各処理を実行させることを特徴とする目視対象物判定プログラム。

（付記６）前記対象物の特徴は、対象物の色、形状、文字の種別、文字の大きさ、コントラストのうち少なくとも一つを含むことを特徴とする付記５に記載の目視対象物判定プログラム。

５ 撮像装置
１０ 表示装置
１００ 目視対象物判定装置

Claims (4)

1. 撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出する視点位置算出部と、
   表示装置に表示される対象物の特徴を取得する特徴取得部と、
   前記対象物の特徴に対応する視野角度を判定し、前記視野角度と前記目視者の視点位置から求まる視野範囲に、前記対象物が含まれているか否かを基にして、前記対象物が、前記目視者に目視されているか否かを判定する判定部と
   を有することを特徴とする目視対象物判定装置。
2. 前記対象物の特徴は、対象物の色、形状、文字の種別、文字の大きさ、コントラストのうち少なくとも一つを含むことを特徴とする請求項１に記載の目視対象物判定装置。
3. コンピュータが実行する目視対象物判定方法であって、
   撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出し、
   表示装置に表示される対象物の特徴を取得し、
   前記対象物の特徴に対応する視野角度を判定し、
   前記視野角度と前記目視者の視点位置から求まる視野範囲に、前記対象物が含まれているか否かを基にして、前記対象物が、前記目視者に目視されているか否かを判定する
   各処理を実行することを特徴とする目視対象物判定方法。
4. コンピュータに、
   撮像装置が撮像した目視者の画像データを基にして前記目視者の視線を検出し、表示装置上の前記視線の先の視点位置を算出し、
   表示装置に表示される対象物の特徴を取得し、
   前記対象物の特徴に対応する視野角度を判定し、
   前記視野角度と前記目視者の視点位置から求まる視野範囲に、前記対象物が含まれているか否かを基にして、前記対象物が、前記目視者に目視されているか否かを判定する
   各処理を実行させることを特徴とする目視対象物判定プログラム。

Images