JP7481398B2 - 判定装置、プログラム、及び判定方法 - Google Patents

Description

本発明は、判定装置、プログラム、及び判定方法に関する。

特許文献１には、カメラによって生成された画像データを受け、画像データに表されている人の目線を解析することにより、当該人がサイネージ装置に表示されたコンテンツを見ているか否かを判定する技術が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８－０３２１７４号公報

本発明の一実施態様によれば、判定装置が提供される。前記判定装置は、人の顔を撮像した撮像画像から検出された複数の顔器官点に基づいて、前記人が対象物を見ているか否かを判定する判定部を備えてよい。

前記判定装置において、前記判定部は、前記複数の顔器官点のうち、前記人の顔の中央領域の前記顔器官点と、前記人の顔の左側領域の前記顔器官点と、前記人の顔の右側領域の前記顔器官点とに基づいて、前記人が対象物を見ているか否かを判定してよい。前記判定部は、前記中央領域の縦方向に位置する縦第１顔器官点、縦第２顔器官点、及び縦第３顔器官点と、前記左側領域の横第１顔器官点、前記中央領域の横第２顔器官点、及び前記右側領域の横第３顔器官点と、に基づいて、前記人が対象物を見ているか否かを判定してよい。前記縦第１顔器官点は、前記人の顔の眉間に相当する位置の前記顔器官点であってよく、前記縦第２顔器官点は、前記人の顔の鼻頭に相当する位置の前記顔器官点であってよく、前記縦第３顔器官点は、前記人の顔の顎先に相当する位置の前記顔器官点であってよい。前記横第２顔器官点は、前記人の顔の鼻根に相当する位置の前記顔器官点であってよい。前記横第１顔器官点は、前記人の顔の左端に相当する位置の前記顔器官点であってよい。前記横第３顔器官点は、前記人の顔の右端に相当する位置の前記顔器官点であってよい。

前記いずれかの判定装置において、前記判定部は、前記縦第１顔器官点と前記縦第２顔器官点とを結ぶ線分と、前記縦第２顔器官点と前記縦第３顔器官点とを結ぶ線分との第１比率と、前記横第１顔器官点と前記横第２顔器官点とを結ぶ線分と、前記横第２顔器官点と前記横第３顔器官点とを結ぶ線分との第２比率とに基づいて、前記人が対象物を見ているか否かを判定してよい。前記判定部は、前記第１比率が予め定められた縦方向比率範囲内であり、前記第２比率が予め定められた横方向比率範囲内である場合に、前記人が対象物を見ていると判定してよい。

前記いずれかの判定装置において、前記判定部は、前記複数の顔器官点のうち、前記人の顔の中央領域の前記顔器官点と、前記人の顔の左側領域の前記顔器官点と、前記人の顔の右側領域の前記顔器官点とに基づいて、前記人の顔の方向を判定し、前記複数の顔器官点のうち、前記人の目の位置に相当する複数の前記顔器官点と、前記撮像画像から抽出された前記人の黒目の位置とに基づいて、前記人の眼球の方向を判定し、前記人の顔の方向及び前記人の眼球の方向に基づいて、前記人が対象物を見ているか否かを判定してよい。

前記いずれかの判定装置において、前記判定部は、時系列に人の顔を撮像した複数の撮像画像のそれぞれから検出された複数の顔器官点に基づいて、前記人の生体判定を実行してよい。前記判定部は、時系列に人の顔を撮像した前記複数の撮像画像のそれぞれから検出された前記複数の顔器官点に基づいて、前記人が顔を振る動作、及び前記人が瞬きをする動作の少なくともいずれかを検出して、検出結果に基づいて、前記人の生体判定を実行してよい。

前記いずれかの判定装置は、前記撮像画像に対して顔器官点の検出処理を実行した処理装置から、前記複数の顔器官点の情報を受信する器官点情報受信部を備えてく、前記判定部は、前記情報受信部が受信した前記複数の顔器官点の情報に基づいて、前記人が対象物を見ているか否かを判定してよい。

前記いずれかの判定装置は、前記撮像画像を受信する撮像画像受信部と、前記撮像画像受信部が受信した前記撮像画像に対して顔器官点の検出処理を実行する検出処理実行部とを備えてよく、前記判定部は、前記抽出処理実行部によって抽出された前記複数の顔器官点に基づいて、前記人が対象物を見ているか否かを判定してよい。前記検出処理実行部は、機械学習によって生成された学習モデルを用いて、前記撮像画像から前記複数の顔器官点を検出してよい。

本発明の一実施形態によれば、コンピュータを、前記判定装置として機能させるためのプログラムが提供される。

本発明の一実施形態によれば、コンピュータによって実行される判定方法が提供される。前記判定方法は、人の顔を撮像した撮像画像から検出された複数の顔器官点に基づいて、前記人が対象物を見ているか否かを判定する判定段階を備えてよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

システム１００の一例を概略的に示す。 複数の顔器官点の一例を概略的に示す。 代表点の一例を概略的に示す。 代表点を結んだ線分の一例を概略的に示す。 システム１００による処理の流れの一例を概略的に示す。 眼球の方向の推定処理について説明するための説明図である。 眼球の方向の推定処理について説明するための説明図である。 眼球の方向の推定処理について説明するための説明図である。 判定装置２００の機能構成の一例を概略的に示す。 判定装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、システム１００の一例を概略的に示す。システム１００は、人が対象物を見ているか否かを推定する機能を有する。対象物の例として、サイネージ等のコンテンツが挙げられるが、これに限らない。本実施形態では、対象物がコンテンツである場合を主に例に挙げて説明する。

例えば、システム１００は、図１に例示する環境において、ディスプレイ１２０に表示されているコンテンツを人１３０が見ているか否かを推定する。人１３０に対する対象物の提示形態は、ディスプレイ１２０の表示に限らず、プロジェクタ等による投影であってもよく、看板及びポスター等の非電子媒体を用いたものであってもよい。

システム１００は、判定装置２００を備える。システム１００は、処理装置３００を備えてもよい。システム１００は、カメラ４００を備えてもよい。

カメラ４００は、ディスプレイ１２０を閲覧可能な場所に位置する人１３０を撮像可能な位置に配置される。カメラ４００は、人１３０がディスプレイ１２０を閲覧している場合に、人１３０を正面から撮像可能な位置に配置されることが望ましいが、それに限らず、人１３０の顔を撮像可能であれば、任意の位置に配置されてよい。

処理装置３００は、カメラ４００によって撮像された撮像画像をカメラ４００から受信する。カメラ４００は、ネットワーク１１０を介して処理装置３００に撮像画像を送信してよい。

ネットワーク１１０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。ネットワーク１１０は、インターネットを含んでよい。

カメラ４００は、ネットワーク１１０に対して有線接続されてよい。カメラ４００は、ネットワーク１１０に対して、無線接続されてもよい。例えば、カメラ４００は、無線基地局、及びＷｉ－Ｆｉ（登録商標）アクセスポイント等を介して、ネットワーク１１０に接続される。

処理装置３００は、ネットワーク１１０に対して有線接続されてよい。処理装置３００は、ネットワーク１１０に対して、無線接続されてもよい。例えば、処理装置３００は、無線基地局、及びＷｉ－Ｆｉアクセスポイント等を介して、ネットワーク１１０に接続される。

処理装置３００は、カメラ４００から受信した、人１３０の顔を撮像した撮像画像から複数の顔器官点を検出する。処理装置３００は、複数の顔器官点から、複数の代表点を抽出して、判定装置２００に送信する。処理装置３００は、ネットワーク１１０を介して、複数の代表点を判定装置２００に送信してよい。

判定装置２００は、ネットワーク１１０に対して有線接続されてよい。判定装置２００は、ネットワーク１１０に対して、無線接続されてもよい。例えば、判定装置２００は、無線基地局、及びＷｉ－Ｆｉアクセスポイント等を介して、ネットワーク１１０に接続される。判定装置２００は、処理装置３００から受信した複数の代表点に基づいて、人１３０がディスプレイ１２０のコンテンツを見ているか否かを判定してよい。

なお、処理装置３００が、撮像画像から検出した複数の顔器官点を判定装置２００に送信し、判定装置２００が、複数の顔器官点から複数の代表点を抽出してもよい。

例えば、処理装置３００がエッジ側に配置され、判定装置２００がクラウド側に配置される。それに限らず、判定装置２００と処理装置３００とは一体であってもよい。すなわち、判定装置２００が処理装置３００の機能を備えてもよい。

図２は、複数の顔器官点の一例を概略的に示す。撮像画像から顔器官点を検出する方法は、既知の方法が用いられてよい。例えば、あるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデルを用いた顔器官点の検出方法によれば、６８箇所の顔器官点が検出される。図２は、当該検出方法を用いた場合に検出された顔器官点を、例示している。

当該検出方法において、６８箇所の顔器官点は次のように定義されている。顔器官点１から顔器官点１７は、人１３０の顔の輪郭に相当する。顔器官点１８から顔器官点２７は、人１３０の眉毛に相当する。顔器官点２８から顔器官点３６は、人１３０の鼻に相当する。顔器官点３７から顔器官点４８は、人１３０の目に相当する。顔器官点４９から顔器官点６８は、人１３０の口に相当する。他のＡＩモデルを用いたり、異なる検出方法を用いたりした場合、顔器官点の数が異なったり、定義が異なったりする。

処理装置３００は、複数の顔器官点から代表点を抽出して、判定装置２００に送信してよい。処理装置３００は、複数の顔器官点のうち、人１３０の顔の中央領域の顔器官点と、人１３０の顔の左側領域の顔器官点と、人１３０の顔の右側領域の顔器官点とを代表点として抽出してよい。

処理装置３００は、例えば、人１３０の顔の中央領域に位置する顔器官点２８～顔器官点３１、顔器官点３４、顔器官点５２、顔器官点６３、顔器官点６７、顔器官点５８、顔器官点９から代表点を抽出する。処理装置３００は、例えば、人１３０の顔の左側領域に位置する顔器官点１～顔器官点８から代表点を抽出する。処理装置３００は、例えば、人１３０の顔の右側領域に位置する顔器官点１０～１７から代表点を抽出する。

図３は、代表点の一例を概略的に示す。ここでは、代表点が６点である場合を例示している。図３に示す例において、処理装置３００は、人１３０の顔の中央領域の縦方向に位置する縦第１顔器官点５０１、縦第２顔器官点５０２、及び縦第３顔器官点５０３と、人１３０の顔の左側領域の横第１顔器官点６０１、中央領域の横第２顔器官点６０２、及び右側領域の横第３顔器官点６０３とを代表点として抽出している。

縦第１顔器官点５０１は、人１３０の顔の眉間に相当する位置の顔器官点であってよい。縦第２顔器官点５０２は、人１３０の顔の鼻頭に相当する位置の顔器官点であってよい。縦第３顔器官点５０３は、人１３０の顔の顎先に相当する位置の顔器官点であってよい。

横第１顔器官点６０１は、人１３０の顔の左端に相当する位置の顔器官点であってよい。横第２顔器官点６０２は、人１３０の顔の鼻根に相当する位置の顔器官点であってよい。横第３顔器官点６０３は、人１３０の顔の右端に相当する位置の顔器官点であってよい。

図４に示すように、処理装置３００は、縦第１顔器官点５０１と縦第２顔器官点５０２とを結ぶ線分５１２の長さを算出する。処理装置３００は、例えば、線分５１２の長さを、ユークリッド距離で算出する。

同様に、処理装置３００は、縦第２顔器官点５０２と縦第３顔器官点５０３とを結ぶ線分５２３の長さと、横第１顔器官点６０１と横第２顔器官点６０２とを結ぶ線分６１２の長さと、横第２顔器官点６０２と横第３顔器官点６０３とを結ぶ線分６２３の長さとを算出する。

そして、処理装置３００は、線分５１２の長さと線分５２３の長さとの比率（縦方向比率と記載する場合がある。）と、線分６１２の長さと線分６２３の長さとの比率（横方向比率と記載する場合がある。）とを算出する。例えば、処理装置３００は、（線分５１２の長さ）／（線分５２３の長さ）を縦方向比率とし、（線分６１２の長さ）／（線分６２３の長さ）を横方向比率として算出する。

この場合において、人１３０の顔の方向が上下に偏らずに正面方向である場合、縦方向比率は１に近くなり、人１３０の顔の方向が上方向である場合、縦方向比率は１より小さくなり、人１３０の顔の方向が下方向である場合、縦方向比率は１より大きくなる。すなわち、縦方向比率によって、人１３０の顔の上下の方向が推定できる。

また、人１３０の顔の方向が左右に偏らずに正面方向である場合、横方向比率は１に近くなり、人１３０の顔の方向が右方向である場合、縦方向比率は１より小さくなり、人１３０の顔の方向が左方向である場合、横方向比率は１より大きくなる。すなわち、横方向比率によって、人１３０の顔の左右の方向が推定できる。

図５は、システム１００による処理の流れの一例を概略的に示す。ここでは、まず、コンテンツの視聴範囲の設定が行われた上で、人１３０がディスプレイ１２０のコンテンツを視聴しているか否かを推定する処理の流れについて説明する。

ステップ（ステップをＳと省略して記載する場合がある。）１０２では、判定装置２００又は処理装置３００が、コンテンツの視聴範囲を設定する。視聴範囲とは、人１３０がコンテンツを視聴しているときの、人１３０の顔器官点の代表点から算出した、縦方向比率及び横方向比率の範囲である。

例えば、設定を行うための実験者が、ディスプレイ１２０の前に位置して、顔を様々な方向に向ける。それぞれの顔の方向のときに撮像した撮像画像と、それぞれの顔の方向において、実験者がディスプレイ１２０のコンテンツを視聴しているか否かを合わせて記録する。

実験者が、顔を上方向に向けた場合にコンテンツが見えなくなる境界の方向に顔を向けたときの撮像画像、顔を下方向に向けた場合にコンテンツが見えなくなる境界の方向に顔を向けたときの撮像画像、顔を左方向に向けた場合にコンテンツが見えなくなる境界の方向に顔を向けたときの撮像画像、顔を右方向に向けた場合にコンテンツが見えなくなる境界の方向に顔を向けたときの撮像画像のみを記録するようにしてもよい。

処理装置３００は、記録されたデータを用いて、実験者がコンテンツを見ることができる縦方向比率の範囲及び横方向比率の範囲を特定することによって、視聴範囲を設定する。Ｓ１０２によって、事前設定が完了する。

Ｓ１０４では、処理装置３００が、実際にコンテンツを視聴しているか否かを判定する対象となる人１３０を撮像した撮像画像をカメラ４００から取得する。Ｓ１０６では、処理装置３００が、Ｓ１０４において取得した撮像画像に対して顔器官点の抽出処理を実行して、複数の顔器官点を検出する。処理装置３００は、検出した複数の顔器官点から代表点を抽出して、判定装置２００に送信する。

Ｓ１０８では、判定装置２００が、Ｓ１０６において処理装置３００から受信した代表点を用いて、縦方向比率及び横方向比率を算出する。Ｓ１１０では、判定装置２００が、Ｓ１０８において算出した縦方向比率及び横方向比率が、Ｓ１０２において設定された市長範囲に含まれるか否かを判定する。含まれると判定した場合、Ｓ１１２に進み、含まれないと判定した場合、Ｓ１１４に進む。

Ｓ１１２では、判定装置２００が、対象となる人１３０が、コンテンツを見ていたと判定する。Ｓ１１４では、判定装置２００が、対象となる人１３０が、コンテンツを見ていないと判定する。Ｓ１１６では、判定装置２００が、判定結果を出力する。

システム１００は、人１３０の顔の方向に加えて、人１３０の眼球方向を推定し、推定した顔の方向及び眼球方向を用いて、人１３０がコンテンツを見ていたか否かを判定してもよい。

図６から図８は、眼球の方向の推定処理について説明するための説明図である。判定装置２００は、人１３０の撮像画像から検出された目の位置に相当する複数の顔器官点と、人１３０の撮像画像から検出された人１３０の黒目の位置とに基づいて、人１３０の眼球の方向を判定してよい。

図６は、目の位置に相当する複数の顔器官点の一例を示す。図６に示す例においては、右目及び左目のそれぞれについて、６つの顔器官点が検出されている。顔器官点の数及び位置は、これらに限らず、他の数や位置であってもよい。図６に示す例では、右目器官点７０１、右目器官点７０２、右目器官点７０３、右目器官点７０４、右目器官点７０５、及び右目器官点７０６が、右目の位置に対応する顔器官点であり、左目器官点８０１、左目器官点８０２、左目器官点８０３、左目器官点８０４、左目器官点８０５、及び左目器官点８０６が、左目の位置に対応する顔器官点である。

図７は、目の位置に相当する複数の顔器官点に対して、人１３０の撮像画像から検出された人１３０の右黒目７１０及び右黒目中心７１２と、左黒目８１０及び左黒目中心８１２とを配置した状態を例示している。判定装置２００は、右黒目中心７１２と右目の縦横比率、及び左黒目中心８１２と左目の縦横比率とを算出する。

判定装置２００は、右目について、右黒目中心７１２と、右目の位置に相当する顔器官点、又は、隣接する顔器官点の中点とを結んだ線分の長さを特定して、縦横比率を算出してよい。

図８に示す例では、判定装置２００は、６つの右目器官点のうち、上側に位置する右目器官点７０２及び右目器官点７０３の中点と右黒目中心７１２とを結ぶ線分７２１の長さと、下側に位置する右目器官点７０５及び右目器官点７０６の中点と右黒目中心７１２とを結ぶ線分７２２の長さとの比率を、右目の縦方向比率として算出する。判定装置２００は、例えば、（線分７２１の長さ）／（線分７２２の長さ）を右目の縦方向比率として算出する。

また、判定装置２００は、６つの右目器官点のうち、最も右に位置する右目器官点７０１と右黒目中心７１２とを結ぶ線分７３１の長さと、最も左に位置する右目器官点７０４と右黒目中心７１２とを結ぶ線分７３２の長さとの比率を、右目の横方向比率として算出する。判定装置２００は、例えば、（線分７３１の長さ）／（線分７３２の長さ）を右目の横方向比率として算出する。

また、判定装置２００は、６つの左目器官点のうち、上側に位置する左目器官点８０２及び左目器官点８０３の中点と左黒目中心８１２とを結ぶ線分８２１の長さと、下側に位置する左目器官点８０５及び左目器官点８０６の中点と左黒目中心８１２とを結ぶ線分８２２の長さとの比率を、左目の縦方向比率として算出する。判定装置２００は、例えば、（線分８２１の長さ）／（線分８２２の長さ）を左目の縦方向比率として算出する。

また、判定装置２００は、６つの左目器官点のうち、最も右に位置する左目器官点８０１と左黒目中心８１２とを結ぶ線分８３１の長さと、最も左に位置する左目器官点８０４と左黒目中心８１２とを結ぶ線分８３２の長さとの比率を、左目の横方向比率として算出する。判定装置２００は、例えば、（線分８３１の長さ）／（線分８３２の長さ）を左目の横方向比率として算出する。

この場合において、人１３０の右目の方向が上下に偏らずに正面方向である場合、右目の縦方向比率は１に近くなり、人１３０の右目の方向が上方向である場合、右目の縦方向比率は１より小さくなり、人１３０の右目の方向が下方向である場合、右目の縦方向比率は１より大きくなる。すなわち、右目の縦方向比率によって、人１３０の右目の上下の方向が推定できる。

また、人１３０の左目の方向が上下に偏らずに正面方向である場合、左目の縦方向比率は１に近くなり、人１３０の左目の方向が上方向である場合、左目の縦方向比率は１より小さくなり、人１３０の左目の方向が下方向である場合、左目の縦方向比率は１より大きくなる。すなわち、左目の縦方向比率によって、人１３０の左目の上下の方向が推定できる。

また、人１３０の右目の方向が左右に偏らずに正面方向である場合、右目の横方向比率は１に近くなり、人１３０の右目の方向が右方向である場合、右目の縦方向比率は１より小さくなり、人１３０の右目の方向が左方向である場合、右目の縦方向比率は１より大きくなる。すなわち、右目の縦方向比率によって、人１３０の右目の左右の方向が推定できる。

また、人１３０の左目の方向が左右に偏らずに正面方向である場合、左目の縦方向比率は１に近くなり、人１３０の左目の方向が右方向である場合、左目の縦方向比率は１より小さくなり、人１３０の左目の方向が左方向である場合、左目の縦方向比率は１より大きくなる。すなわち、左目の縦方向比率によって、人１３０の左目の上下の方向が推定できる。

顔の方向に加えて眼球の方向を更に用いることによって、例えば、顔の方向はコンテンツに向いているが、眼球がコンテンツとは異なる方向に向いている場合に、人１３０がコンテンツを視聴していないと推定することができるようになり、推定精度を向上できる。

図９は、判定装置２００の機能構成の一例を概略的に示す。判定装置２００は、設定部２０２、設定情報受信部２０３、器官点情報取得部２０４、撮像画像受信部２０６、検出処理実行部２０８、判定部２１２、及び出力制御部２１４を備える。なお、判定装置２００がこれらの全てを備えることは必須とは限らない。

設定部２０２は、対象物の視聴範囲を設定する。例えば、設定部２０２は、設定を行うための実験者が、対象物の前に位置して、顔を上方向に向けた場合に対象物が見えなくなる境界の方向に顔を向けたときの撮像画像から検出された複数の顔器官点、又はそこから抽出された複数の代表点を取得して、縦方向比率を算出する。

また、設定部２０２は、実験者が、対象物の前に位置して、顔を下方向に向けた場合に対象物が見えなくなる境界の方向に顔を向けたときの撮像画像から検出された複数の顔器官点、又はそこから抽出された複数の代表点を取得して、縦方向比率を算出する。

また、設定部２０２は、実験者が、対象物の前に位置して、顔を右方向に向けた場合に対象物が見えなくなる境界の方向に顔を向けたときの撮像画像から検出された複数の顔器官点、又はそこから抽出された複数の代表点を取得して、横方向比率を算出する。

また、設定部２０２は、実験者が、対象物の前に位置して、顔を左方向に向けた場合に対象物が見えなくなる境界の方向に顔を向けたときの撮像画像から検出された複数の顔器官点、又はそこから抽出された複数の代表点を取得して、横方向比率を算出する。

設定部２０２は、算出した縦方向比率及び横方向比率から、視聴範囲を設定してよい。設定部２０２は、代表点を処理装置３００から受信してよい。設定部２０２は、複数の顔器官点を処理装置３００から受信して、複数の顔器官点から複数の代表点を抽出してもよい。また、撮像画像から複数の顔器官点を検出する処理を、設定部２０２が行ってもよい。

視聴範囲の設定は、カメラ４００及び対象物の組み合わせ毎に、設定を行うための実験をした結果を用いて、設定部２０２によって行われてよい。例えば、対象となるカメラ４００と対象物が確定した後に、その環境において実験が行われ、実験結果を用いて、設定部２０２が視聴範囲を設定する。

また、設定部２０２は、実験ではなく、計算によって、視聴範囲を設定してもよい。設定部２０２は、例えば、対象物の位置、方向、及びサイズと、カメラ４００による撮像範囲とから、人１３０の顔の方向がいずれの範囲であれば、人１３０の視線に対象物が含まれるかを計算したり、シミュレーションしたりすることによって、視聴範囲を設定してよい。また、設定部２０２は、一環境において、実験に基づいて設定した視聴範囲を元に、他の環境における視聴範囲を設定してもよい。

設定部２０２は、設定情報受信部２０３が外部から受信した視聴範囲を設定してもよい。設定情報受信部２０３は、例えば、処理装置３００から視聴範囲を受信する。設定情報受信部２０３は、他の装置から視聴範囲を受信してもよい。

器官点情報取得部２０４は、対象物を見ているか否かを判定する対象となる人１３０を撮像した撮像画像から検出された複数の顔器官点を取得する。器官点情報取得部２０４は、例えば、処理装置３００によって撮像画像から検出された複数の顔器官点を、処理装置３００から受信する。器官点情報取得部２０４は、器官点情報受信部の一例であってよい。

撮像画像受信部２０６は、対象物を見ているか否かを判定する対象となる人１３０を撮像した撮像画像を受信する。撮像画像受信部２０６は処理装置３００から撮像画像を受信してよい。

検出処理実行部２０８は、撮像画像受信部２０６が受信した撮像画像に対して、顔器官点の検出処理を実行する。検出処理実行部２０８は、機械学習によって生成された学習モデルを予め格納しておき、当該学習モデルを用いて、撮像画像から複数の顔器官点を検出してよい。器官点情報取得部２０４は、検出処理実行部２０８によって検出された複数の顔器官点を検出処理実行部２０８から取得してもよい。

判定部２１２は、器官点情報取得部２０４が取得した複数の顔器官点に基づいて、人１３０が対象物を見ているか否かを判定する。判定部２１２は、複数の顔器官点のうち、人１３０の顔の中央領域の顔器官点と、人１３０の顔の左側領域の顔器官点と、人１３０の顔の右側領域の顔器官点とに基づいて、人１３０が対象物を見ているか否かを判定してよい。判定部２１２は、当該中央領域の縦方向に位置する縦第１顔器官点、縦第２顔器官点、及び縦第３顔器官点と、当該左側領域の横第１顔器官点、当該中央領域の横第２顔器官点、及び当該右側領域の横第３顔器官点と、に基づいて、人１３０が対象物を見ているか否かを判定してよい。

縦顔第１器官点は、人１３０の顔の中央領域の上側に位置する顔器官点であってよく、縦顔第２器官点は、人１３０の顔の中央領域の中央側に位置する顔器官点であってよく、縦顔第３器官点は、人１３０の顔の中央領域の下側に位置する顔器官点であってよい。例えば、縦第１顔器官点は、人１３０の顔の眉間に相当する位置の顔器官点であってよい。縦第２顔器官点は、人１３０の顔の鼻頭に相当する位置の顔器官点であってよい。縦第３顔器官点は、人１３０の顔の顎先に相当する位置の顔器官点であってよい。

横第１顔器官点は、人１３０の顔の左端に位置する顔器官点であってよく、横第２顔器官点は、人１３０の顔の中央領域の複数の顔器官点のうち、人１３０の顔の左右方向の中心により近い顔器官点であってよく、横第３顔器官点は、人１３０の顔の右端に位置する顔器官点であってよい。例えば、横第２顔器官点は、人１３０の顔の鼻根に相当する位置の顔器官点であってよい。横第１顔器官点は、人１３０の顔の左端に相当する位置の顔器官点であってよい。横第３顔器官点は、人１３０の顔の右端に相当する位置の顔器官点であってよい。

判定部２１２は、縦第１顔器官点と縦第２顔器官点とを結ぶ線分と、縦第２顔器官点と縦第３顔器官点とを結ぶ線分との第１比率と、横第１顔器官点と横第２顔器官点とを結ぶ線分と、横第２顔器官点と横第３顔器官点とを結ぶ線分との第２比率とに基づいて、人１３０が対象物を見ているか否かを判定してよい。

判定部２１２は、第１比率が予め定められた縦方向比率範囲内であり、第２比率が予め定められた横方向比率範囲内である場合に、人１３０が対象物を見ていると判定してよい。判定部２１２は、第１比率が設定部２０２によって設定された視聴範囲内であり、かつ、第２比率が設定部２０２によって設定された視聴範囲内である場合に、人１３０が対象物を見ていると判定してよい。判定部２１２は、第１比率及び第２比率のうち、少なくともいずれかが設定部２０２によって設定された視聴範囲外である場合、人１３０が対象物を見ていないと判定してよい。

出力制御部２１４は、判定部２１２による判定結果を出力するよう制御する。出力制御部２１４は、例えば、判定装置２００が備えるディスプレイに判定結果を表示出力させる。出力制御部２１４は、例えば、他の装置に対して判定結果を送信出力する。

設定部２０２は、人１３０の顔の方向に加えて、人１３０の眼球の方向を対象とした、視聴範囲を設定してもよい。設定部２０２は、実験によって得られたデータを用いて、視聴範囲を設定してよい。また、設定部２０２は、実験ではなく、計算によって、視聴範囲を設定してもよい。

例えば、設定を行うための実験者が、対象物の前に位置して、顔の方向を固定した状態で、眼球を様々な方向に向ける。それぞれの眼球の方向のときに撮像した撮像画像と、それぞれの眼球の方向において、実験者が対象物を見ているか否かを合わせて記録する。実験者が、眼球を上方向に向けた場合にコンテンツが見えなくなる境界の方向に眼球を向けたときの撮像画像、眼球を下方向に向けた場合にコンテンツが見えなくなる境界の方向に眼球を向けたときの撮像画像、眼球を左方向に向けた場合にコンテンツが見えなくなる境界の方向に眼球を向けたときの撮像画像、眼球を右方向に向けた場合にコンテンツが見えなくなる境界の方向に眼球を向けたときの撮像画像のみを記録してもよい。

設定部２０２は、記録されたデータを用いて、人１３０が対象物を見ることが出来る右目の縦方向比率、右目の横方向比率、左目の縦方向比率、及び左目の横方向比率を特定することによって、視聴範囲を設定する。設定部２０２は、複数の顔の方向のそれぞれについて、視聴範囲を設定してよい。

判定部２１２は、器官点情報取得部２０４が取得した複数の顔器官点のうち、人１３０の顔の中央領域の顔器官点と、人１３０の顔の左側領域の顔器官点と、人１３０の顔の右側領域の顔器官点とに基づいて、人１３０の顔の方向を判定し、複数の顔器官点のうち、人１３０の目の位置に相当する複数の顔器官点と、撮像画像から抽出された人１３０の黒目の位置とに基づいて、人１３０の眼球の方向を判定し、人１３０の顔の方向及び人１３０の眼球の方向に基づいて、人１３０が対象物を見ているか否かを判定してよい。判定部２１２は、判定した人１３０の顔の方向に対応する視聴範囲を参照して、判定した人１３０の眼球の方向が、視聴範囲に含まれている場合に、人１３０が対象物を見ていると判定し、含まれていない場合に、人１３０が対象物を見ていないと判定してよい。

判定部２１２は、人１３０が対象物を見ていると判定した場合において、時系列に人１３０の顔を撮像した複数の撮像画像のそれぞれから検出された複数の顔器官点に基づいて、対象物に対する人１３０の注視度合を判定してもよい。例えば、判定部２１２は、時系列の複数の撮像画像のそれぞれについて、顔の縦横比率及び傾きを特定することによって、人１３０の顔の揺らぎを推定する。そして、判定部２１２は、顔の揺らぎが予め定めらえた閾値より小さい場合、対象物に注視していると判定し、閾値より大きい場合、対象物に注視はしていないと判定する。

判定部２１２は、対象物に対して、複数の人１３０のそれぞれが、対象物を見ているか否かを判定することによって、対象物の視聴率を特定してもよい。判定部２１２は、さらに、対象物に対する注視度合も合わせて判定することによって、より詳細な視聴率の情報を分析してもよい。判定部２１２は、複数の人１３０のそれぞれの撮像画像を解析することによって、人１３０の性別及び年齢等の属性情報を特定することによって、対象物を視聴する視聴者の属性分析を行ってもよい。

判定部２１２は、時系列に人１３０の顔を撮像した複数の撮像画像のそれぞれから検出された複数の顔器官点に基づいて、人１３０の生体判定を実行してもよい。例えば、判定部２１２は、人１３０が顔を振る動作をしていることを特定する。例えば、判定部２１２は、人１３０が瞬きをしていることを判定する。人１３０が顔を振る動作をしていること、又は、人１３０が瞬きをしていることを判定した場合、当該人１３０が、生きている人間であり、ポスターや写真等に写っている人ではないことを特定できる。

図１０は、判定装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０
３１、３２、３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４、４５、４６、４７、４８、４９、５０、５１、５２、５３、５４、５５、５６、５７、５８、５９、６０、６１、６２、６３、６４、６５、６６、６７、６８、６９ 顔器官点、１００ システム、１１０ ネットワーク、１２０ ディスプレイ、１３０ 人、２００ 判定装置、２０２ 設定部、２０３ 設定情報受信部、２０４ 器官点情報取得部、２０６ 撮像画像受信部、２０８ 検出処理実行部、２１２ 判定部、２１４ 出力制御部、３００ 処理装置、４００ カメラ、５０１ 縦第１顔器官点、５０２ 縦第２顔器官点、５０３ 縦第３顔器官点、５１２ 線分、５２３ 線分、６０１ 横第１顔器官点、６０２ 横第２顔器官点、６０３ 横第３顔器官点、６１２ 線分、６２３ 線分、７０１、７０２、７０３、７０４、７０５、７０６ 右目器官点、７１０ 右黒目、７１２ 右黒目中心、７２１、７２２、７３１、７３２ 線分、８０１、８０２、８０３、８０４、８０５、８０６ 左目器官点、８１０ 左黒目、８１２ 左黒目中心、８２１、８２２、８３１、８３２ 線分、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

Claims (18)

1. 人の顔を撮像した撮像画像から検出された複数の顔器官点に基づいて、前記人が対象物を見ているか否かを判定し、前記人が前記対象物を見ていると判定した場合において、時系列に前記人の顔を撮像した複数の撮像画像のそれぞれから検出された複数の顔器官点に基づいて、前記対象物に対する前記人の注視度合を判定する判定部であって、時系列の前記複数の撮像画像のそれぞれについて、顔の縦横比率及び傾きを特定することによって、前記人の顔の揺らぎを推定し、推定した前記揺らぎに基づいて前記対象物に対する前記人の注視度合を判定する判定部
   を備える判定装置。
2. 前記判定部は、前記複数の顔器官点のうち、前記人の顔の中央領域の前記顔器官点と、前記人の顔の左側領域の前記顔器官点と、前記人の顔の右側領域の前記顔器官点とに基づいて、前記人が対象物を見ているか否かを判定する、請求項１に記載の判定装置。
3. 前記判定部は、前記中央領域の縦方向に位置する縦第１顔器官点、縦第２顔器官点、及び縦第３顔器官点と、前記左側領域の横第１顔器官点、前記中央領域の横第２顔器官点、及び前記右側領域の横第３顔器官点と、に基づいて、前記人が対象物を見ているか否かを判定する、請求項２に記載の判定装置。
4. 前記縦第１顔器官点は、前記人の顔の眉間に相当する位置の前記顔器官点であり、
   前記縦第２顔器官点は、前記人の顔の鼻頭に相当する位置の前記顔器官点であり、
   前記縦第３顔器官点は、前記人の顔の顎先に相当する位置の前記顔器官点である、請求項３に記載の判定装置。
5. 前記横第２顔器官点は、前記人の顔の鼻根に相当する位置の前記顔器官点である、請求項４に記載の判定装置。
6. 前記横第１顔器官点は、前記人の顔の左端に相当する位置の前記顔器官点であり、
   前記横第３顔器官点は、前記人の顔の右端に相当する位置の前記顔器官点である、請求項５に記載の判定装置。
7. 前記判定部は、前記縦第１顔器官点と前記縦第２顔器官点とを結ぶ線分と、前記縦第２顔器官点と前記縦第３顔器官点とを結ぶ線分との第１比率と、前記横第１顔器官点と前記横第２顔器官点とを結ぶ線分と、前記横第２顔器官点と前記横第３顔器官点とを結ぶ線分との第２比率とに基づいて、前記人が対象物を見ているか否かを判定する、請求項３に記載の判定装置。
8. 前記判定部は、前記第１比率が予め定められた縦方向比率範囲内であり、前記第２比率が予め定められた横方向比率範囲内である場合に、前記人が対象物を見ていると判定する、請求項７に記載の判定装置。
9. 前記判定部は、前記複数の顔器官点のうち、前記人の顔の中央領域の前記顔器官点と、前記人の顔の左側領域の前記顔器官点と、前記人の顔の右側領域の前記顔器官点とに基づいて、前記人の顔の方向を判定し、前記複数の顔器官点のうち、前記人の目の位置に相当する複数の前記顔器官点と、前記撮像画像から抽出された前記人の黒目の位置とに基づいて、前記人の眼球の方向を判定し、前記人の顔の方向及び前記人の眼球の方向に基づいて、前記人が対象物を見ているか否かを判定する、請求項１に記載の判定装置。
10. 前記判定部は、時系列に人の顔を撮像した複数の撮像画像のそれぞれから検出された複数の顔器官点に基づいて、前記人の生体判定を実行する、請求項１に記載の判定装置。
11. 前記判定部は、時系列に人の顔を撮像した前記複数の撮像画像のそれぞれから検出された前記複数の顔器官点に基づいて、前記人が顔を振る動作、及び前記人が瞬きをする動作の少なくともいずれかを検出して、検出結果に基づいて、前記人の生体判定を実行する、請求項１０に記載の判定装置。
12. 前記撮像画像に対して顔器官点の検出処理を実行した処理装置から、前記複数の顔器官点の情報を受信する器官点情報受信部
    を備え、
    前記判定部は、前記器官点情報受信部が受信した前記複数の顔器官点の情報に基づいて、前記人が対象物を見ているか否かを判定する、請求項１に記載の判定装置。
13. 前記撮像画像を受信する撮像画像受信部と、
    前記撮像画像受信部が受信した前記撮像画像に対して顔器官点の検出処理を実行する検出処理実行部と
    を備え、
    前記判定部は、前記検出処理実行部によって検出された前記複数の顔器官点に基づいて、前記人が対象物を見ているか否かを判定する、請求項１に記載の判定装置。
14. 前記検出処理実行部は、機械学習によって生成された学習モデルを用いて、前記撮像画像から前記複数の顔器官点を検出する、請求項１３に記載の判定装置。
15. 対象となるカメラと対象物とが決定した後に、実験者が前記対象物の前に位置して、顔を上方向に向けた場合に前記対象物が見えなくなる境界の方向に顔を向けたときに前記カメラによって撮像された撮像画像から検出された複数の顔器官点と、前記実験者が前記対象物の前に位置して、顔を下方向に向けた場合に前記対象物が見えなくなる境界の方向に顔を向けたときに前記カメラによって撮像された撮像画像から検出された複数の顔器官点とを取得して、縦方向比率を算出し、実験者が前記対象物の前に位置して、顔を右方向に向けた場合に前記対象物が見えなくなる境界の方向に顔を向けたときに前記カメラによって撮像された撮像画像から検出された複数の顔器官点と、前記実験者が前記対象物の前に位置して、顔を左方向に向けた場合に前記対象物が見えなくなる境界の方向に顔を向けたときに前記カメラによって撮像された撮像画像から検出された複数の顔器官点とを取得して、横方向比率を算出し、算出した前記縦方向比率及び前記横方向比率から、視聴範囲を設定する設定部と、
    人の顔を撮像した撮像画像から検出された複数の顔器官点に基づいて、前記人が対象物を見ているか否かを判定する判定部と
    を備え、
    前記判定部は、前記複数の顔器官点のうち、前記人の顔の中央領域の上側に位置する縦第１顔器官点と前記中央領域の中央側に位置する縦第２顔器官点とを結ぶ線分と、前記縦第２顔器官点と前記中央領域の下側に位置する縦第３顔器官点とを結ぶ線分との第１比率が前記設定部によって設定された前記視聴範囲内であり、かつ、前記人の顔の左端に位置する横第１顔器官点と前記人の顔の前記中央領域の複数の顔器官点のうち、前記人の顔の左右方向の中心により近い横第２顔器官点とを結ぶ線分と、前記横第２顔器官点と前記人の顔の右端に位置する横第３顔器官点とを結ぶ線分との第２比率が前記設定部によって設定された前記視聴範囲内である場合に、前記人が前記対象物を見ていると判定する、判定装置。
16. コンピュータを、請求項１から１５のいずれか一項に記載の判定装置として機能させるためのプログラム。
17. コンピュータによって実行される判定方法であって、
    人の顔を撮像した撮像画像から検出された複数の顔器官点に基づいて、前記人が対象物を見ているか否かを判定し、前記人が前記対象物を見ていると判定した場合において、時系列に前記人の顔を撮像した複数の撮像画像のそれぞれから検出された複数の顔器官点に基づいて、前記対象物に対する前記人の注視度合を判定する判定段階であって、時系列の前記複数の撮像画像のそれぞれについて、顔の縦横比率及び傾きを特定することによって、前記人の顔の揺らぎを推定し、推定した前記揺らぎに基づいて前記対象物に対する前記人の注視度合を判定する判定段階
    を備える判定方法。
18. コンピュータによって実行される判定方法であって、
    対象となるカメラと対象物とが決定した後に、実験者が前記対象物の前に位置して、顔を上方向に向けた場合に前記対象物が見えなくなる境界の方向に顔を向けたときに前記カメラによって撮像された撮像画像から検出された複数の顔器官点と、前記実験者が前記対象物の前に位置して、顔を下方向に向けた場合に前記対象物が見えなくなる境界の方向に顔を向けたときに前記カメラによって撮像された撮像画像から検出された複数の顔器官点とを取得して、縦方向比率を算出し、実験者が前記対象物の前に位置して、顔を右方向に向けた場合に前記対象物が見えなくなる境界の方向に顔を向けたときに前記カメラによって撮像された撮像画像から検出された複数の顔器官点と、前記実験者が前記対象物の前に位置して、顔を左方向に向けた場合に前記対象物が見えなくなる境界の方向に顔を向けたときに前記カメラによって撮像された撮像画像から検出された複数の顔器官点とを取得して、横方向比率を算出し、算出した前記縦方向比率及び前記横方向比率から、視聴範囲を設定する設定段階と、
    人の顔を撮像した撮像画像から検出された複数の顔器官点に基づいて、前記人が対象物を見ているか否かを判定する判定段階と
    を備え、
    前記判定段階は、前記複数の顔器官点のうち、前記人の顔の中央領域の上側に位置する縦第１顔器官点と前記中央領域の中央側に位置する縦第２顔器官点とを結ぶ線分と、前記縦第２顔器官点と前記中央領域の下側に位置する縦第３顔器官点とを結ぶ線分との第１比率が前記設定段階において設定された前記視聴範囲内であり、かつ、前記人の顔の左端に位置する横第１顔器官点と前記人の顔の前記中央領域の複数の顔器官点のうち、前記人の顔の左右方向の中心により近い横第２顔器官点とを結ぶ線分と、前記横第２顔器官点と前記人の顔の右端に位置する横第３顔器官点とを結ぶ線分との第２比率が前記設定段階において設定された前記視聴範囲内である場合に、前記人が前記対象物を見ていると判定する、判定方法。

Images