JP6214334B2 - 電子機器、判定方法及びプログラム - Google Patents

Description

本発明は、撮像データを処理する電子機器、判定方法及びプログラムに関する。

ＴＶで放送される映像コンテンツを評価する指標として、従来から「世帯視聴率」が用いられている。しかし、この視聴率計測にあたっては、「電源のＯｎ又はＯｆｆ」及び「視聴チャンネル」の情報しか考慮されておらず、視聴者がどのように映像コンテンツを視聴したかの情報は不明である。そのため、集中して観た番組も、いわゆる「ながら視聴」で漫然と観た番組も、視聴時間が同じであれば同一の評価がなされてしまうという問題があった。

そのため、世帯視聴率に代わる映像コンテンツ評価指標として、映像コンテンツと視聴者の接触の質である「視聴質」の計測が期待されている。しかし、この視聴質計測については長年議論されているが、その定義や計測方法を確立できずに現在まで至っている。例えば、視聴者の脈拍や発汗、脳波等の生体信号を基に番組への興味や集中度を測る研究が行われており、視聴者の心的状態を計測するのに有効と考えられているが、接触型センサを一般家庭で用いることは現実的ではない。

また、近年ではカメラから得られる情報から視線やまばたき等の微細な情動を計測し、これらの特徴から番組への興味度を測る手法等も存在する。しかし、これら微細な情動と心的状態との因果関係を証明することは難しく、有効な指標とはなり得ていない。

特許文献１は、映像コンテンツの編集内容に基づいて生起すると期待される感情期待値と、視聴者の感情実測値の関係から視聴判定する手法である。しかし、人間の感情は、表情等に表出するものもあるが基本的には心的内部状態であり、それを安定して計測することは難しい。

特許文献２は、奥行き情報を用いて人物の姿勢や顔向きを推定する手法である。奥行き情報を用いているため、画像情報のみに依存した方法より高い精度で顔向きを推定できるが、奥行きセンサデバイス新たに必要となる。

特開２００８−２０５８６１号公報 特開２０１２−２１５５５５号公報

ところで、ディスプレイを見ているか否かに基づく視聴質計測は、第三者による客観評価も可能であり妥当と考えられるが、一般家庭で安定して顔向きを推定できる手法は未だ存在しない。

そこで、本発明は、ユーザの注視状態を評価することにより、例えば、視聴質によるコンテンツの評価を行うことができる電子機器、判定方法及びプログラムを提供することを一つの目的とする。

本発明に係る電子機器は、第１撮像部により生成された画像データと、前記第１撮像部による撮像方向の奥行きを走査して奥行き画像データを生成する第２撮像部により生成された奥行き画像データとに基づいて、３次元顔モデルを生成し、ユーザの顔向きを三次元空間で推定する第１顔向き推定部と、前記３次元顔モデルが生成されている領域を前記画像データから抽出し、当該抽出した領域から顔色情報を算出する顔色算出部と、前記顔色算出部により算出された顔色情報に基づいて、前記第１撮像部により生成された画像データに含まれているユーザを特定し、当該ユーザの顔向きを推定する第２顔向き推定部と、前記第１顔向き推定部により推定した顔向きと、前記第２顔向き推定部により推定した顔向きとに基づいて、ユーザが所定の方向を向いているかどうかを判定する判定部とを備える構成である。

かかる構成によれば、電子機器は、ユーザの顔の向きを判定することができるので、例えば、顔の向きによってテレビのディスプレイを注視しているかどうかを判定でき、テレビの電源の状態と、チャンネル情報を取得することにより、視聴質によるコンテンツの評価を行うことができる。

電子機器では、前記判定部は、複数のユーザが存在する場合、ユーザごとに所定の方向を見ているかどうかを判定する構成でもよい。

かかる構成によれば、電子機器は、複数のユーザの顔の向きを同時に判定することができるので、例えば、顔の向きによってどのユーザがテレビのディスプレイを注視しているかを判定でき、テレビの電源の状態と、チャンネル情報を取得することにより、視聴質によるコンテンツの評価を行うことができる。

本発明に係る判定方法は、画像データと、奥行き画像データとに基づいて、３次元顔モデルを生成し、ユーザの顔向きを三次元空間で推定する第１顔向き推定工程と、前記３次元顔モデルが生成されている領域を前記画像データから抽出し、当該抽出した領域から顔色情報を算出する顔色算出工程と、前記顔色算出工程により算出された顔色情報に基づいて、前記画像データに含まれているユーザを特定し、当該ユーザの顔向きを推定する第２顔向き推定工程と、前記第１顔向き推定工程により推定した顔向きと、前記第２顔向き推定工程により推定した顔向きとに基づいて、ユーザが所定の方向を向いているかどうかを判定する判定工程とを備える構成である。

かかる構成によれば、判定方法は、ユーザの顔の向きを判定することができるので、例えば、顔の向きによってテレビのディスプレイを注視しているかどうかを判定でき、テレビの電源の状態と、チャンネル情報を取得することにより、視聴質によるコンテンツの評価を行うことができる。

本発明に係るプログラムは、画像データと、奥行き画像データとに基づいて、３次元顔モデルを生成し、ユーザの顔向きを三次元空間で推定する第１顔向き推定工程と、前記３次元顔モデルが生成されている領域を前記画像データから抽出し、当該抽出した領域から顔色情報を算出する顔色算出工程と、前記顔色算出工程により算出された顔色情報に基づいて、前記画像データに含まれているユーザを特定し、当該ユーザの顔向きを推定する第２顔向き推定工程と、前記第１顔向き推定工程により推定した顔向きと、前記第２顔向き推定工程により推定した顔向きとに基づいて、ユーザが所定の方向を向いているかどうかを判定する判定工程とをコンピュータに実行させるためのものである。

かかる構成によれば、プログラムは、ユーザの顔の向きを判定することができるので、例えば、顔の向きによってテレビのディスプレイを注視しているかどうかを判定でき、テレビの電源の状態と、チャンネル情報を取得することにより、視聴質によるコンテンツの評価を行うことができる。

本発明によれば、ユーザの注視状態を評価することができる。

ユーザの視聴状態についての説明に供する図である。 電子機器と撮像機器の構成を示すブロック図である。 第２撮像部の構成を示すブロック図である。 ３次元顔モデルを模式的に示す図である。 ３次元顔モデルを模式的に示す図である。 第２顔向き推定部の構成を示す図である。 第２顔向き推定部によりユーザの顔領域を検出したときの様子を模式的に示す図である。 各機器により注視又は非注視を判定した結果を示す図である。 第三者のアノテータによる映像コンテンツ評価に対する相関係数と、電子機器による映像コンテンツ評価に対する相関係数とを示す図である。

本発明に係る電子機器１は、一般家庭で利用可能なデバイス（後述する撮像機器２）から得られる情報を用いて、第三者の視点からでも判断可能な、ユーザの基本的な視聴状態から視聴質を計測することができる。
ユーザが映像コンテンツを再生しているディスプレイ（テレビ画面）を見ているか否かは、ユーザとコンテンツの関わりにおいて最も基本的な指標である。

図１に示すように、一般的にユーザは、興味を持ってテレビを視聴する場合には、テレビの方へ顔を向け（図１中のＡ）、興味を持っていない場合には、テレビから他の対象へ顔を向ける（図１中のＢ）。そのため、ユーザの顔向きを推定し、テレビを見ているか否かを判定することが視聴質計測には有益と考えられる。この「見ているか」又は「見ていないか」の２値状態を本願では「注視状態」と呼ぶ。また、本願では、映像コンテンツの時間尺に占める注視状態の時間率を視聴質の指標として用いる。

以下、電子機器１の具体的な構成と動作について説明する。
電子機器１は、図２に示すように、第１顔向き推定部１１と、顔色算出部１２と、第２顔向き推定部１３と、判定部１４と、を備える。

第１顔向き推定部１１は、第１撮像部２１により生成された画像データと、第１撮像部２１による撮像方向の奥行きを走査して奥行き画像データを生成する第２撮像部２２により生成された奥行き画像データとに基づいて、３次元顔モデルＭを生成し、ユーザの顔向きを三次元空間で推定する。

顔色算出部１２は、３次元顔モデルＭが生成されている領域を画像データから抽出し、当該抽出した領域（顔領域）から顔色情報を算出する。
第２顔向き推定部１３は、顔色算出部１２により算出された顔色情報に基づいて、第１撮像部２１により生成された画像データに含まれているユーザを特定し、当該ユーザの顔向きを推定する。
判定部１４は、第１顔向き推定部１１により推定した顔向きと、第２顔向き推定部１３により推定した顔向きとに基づいて、ユーザが所定の方向を向いているかどうかを判定する。

ここで、第１撮像部２１と第２撮像部２２の構成と動作について説明する。なお、本実施例では、第１撮像部２１と第２撮像部２２とは、撮像機器２として一体化されているものを想定するが、別々に構成されていてもよい。また、撮像機器２は、第１撮像部２１により生成される画像データと、第２撮像部２２により生成される奥行き画像データをそれぞれ電子機器１に出力するように構成される。

第１撮像部２１は、被写体を撮像し、画像データを生成する。第１撮像部２１は、イメージセンサであり、例えば、静止画及び動画を撮像する機能を有しており、所定の画素数（例えば、５００万画素）で被写体を撮像することができる。

第２撮像部２２は、図３に示すように、出射部３１と、受光部３２と、奥行き画像生成部３３とを備える。
出射部３１は、第１撮像部２１による撮影方向に対して、所定の波長を有する光を出射する。
受光部３２は、出射部３１により出射された光が反射した光を受光する。
奥行き画像生成部３３は、第１撮像部２１により生成された画像データと、出射部３１により出射された光と、受光部３２により受光された光とに基づいて、奥行き画像データを生成する。

また、第２撮像部２２は、パターン照射方式又はＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式により奥行き画像データを生成する。
パターン照射方式の場合には、出射部３１は、所定のパターンを持ったレーザー光を第１撮像部２１による撮影方向に対して出射する。受光部３２は、その反射光を受光する。奥行き画像生成部３３は、出射光と反射光を比較して、光のひずみに基づいて対象までの距離を測定し、奥行き画像データを生成する。

また、ＴＯＦ方式の場合には、奥行き画像生成部３３は、出射部３１から出射された光と、受光部３２で受光された光の位相差を測定し、当該位相差を時間差に変換して、対象までの距離を測定し、奥行き画像データを生成する。

このような構成によれば、電子機器１は、ユーザの顔の向きを判定することができる。例えば、撮像機器２の正面（第１撮像部２１と第２撮像部２２が露出している面）がテレビと同じ向きになるように撮像機器２を配置する。このように配置することにより、電子機器１は、ユーザがテレビの方向を見ているかどうかを判定することができる。

また、電子機器１は、テレビの電源の状態（オン状態又はオフ状態）と、選択されているチャンネル番号の情報を取得することにより、ユーザが視聴している番組（コンテンツ）について、顔がテレビに向いているかどうかを判定することにより、視聴質によるコンテンツの評価を行うことができる。

判定部１４は、複数のユーザが存在する場合、ユーザごとに所定の方向を見ているかどうかを判定する構成でもよい。

かかる構成によれば、電子機器は、複数のユーザの顔の向きを同時に判定することができるので、例えば、顔の向きによってどのユーザがテレビのディスプレイを注視しているかを判定でき、テレビの電源の状態と、チャンネル情報を取得することにより、視聴質によるコンテンツの評価を行うことができる。

ここで、第１顔向き推定部１１の具体的な構成について説明する。
第１顔向き推定部１１は、第１撮像部２１により生成された画像データと、第２撮像部２２により生成された奥行き画像データを解析して、ユーザの顔向きに関する１０特徴量（３次元の座標位置（Ｘ，Ｙ，Ｚ）、３次元角度（Ｙａｗ，Ｐｉｔｃｈ，Ｒｏｌｌ）、２次元画像上の顔領域位置（ｘ，ｙ）、２次元画像上の顔領域幅と高さ（ｗ，ｈ））を取得し、３次元顔モデルＭを生成することにより、ユーザの顔向きを３次元空間で推定する。３次元顔モデルＭをユーザの顔に重ねた様子を図４及び図５に模式的に示す。

３次元顔モデルＭは、図４及び図５に示すように、ユーザの顔の特徴（目、鼻及び口等の輪郭）を表している。第１顔向き推定部１１は、特徴追跡機能により、ユーザの顔の動きを追従して３次元顔モデルＭの向きを変化させるので、３次元顔モデルＭの向きによりユーザの顔向きを推定することができる。

また、第１顔向き推定部１１は、通常の生活に差支えない程度の一定量の明るさが確保できれば、どんな環境でも頑健に顔領域位置の検出を行うことができ、顔色情報等を必要としない。

顔色算出部１２は、３次元顔モデルＭが生成されている領域にユーザの顔が存在しているので、当該領域を顔領域として第１撮像部２１により生成された画像データから抽出し、抽出した顔領域の平均色（以下、顔色情報という。）を算出する。顔色算出部１２は、算出した顔色情報を第２顔向き推定部１３に出力する。

つぎに、第２顔向き推定部１３の具体的な構成について説明する。
第２顔向き推定部１３は、顔色算出部１２により算出された顔色情報と、第１撮像部２１により生成した画像データを解析して、ユーザの顔向きに関する６特徴量（ｌａｔｉｔｕｄｅ（顔が上又は下を向いているか否かの情報）、ｌｏｎｇｉｔｕｄｅ（顔が左又は右を向いているか否かの情報）、画像データ内の顔領域位置（ｘ，ｙ）、画像データ内の顔領域幅・高さ（ｗ，ｈ））を取得し、取得した６特徴量に基づいて画像データから顔領域を検出し、顔領域内の特徴点の位置関係からユーザの顔向きを推定する。

ここで、第２顔向き推定部１３の構成について説明する。第２顔向き推定部１３は、図６に示すように、顔色情報入力部４１と、顔領域検出部４２と、顔部品追跡部４３と、可変テンプレートＤＢ４４とを有する構成である。

顔色情報入力部４１は、顔色算出部１２で算出した顔色情報が入力される。
顔領域検出部４２は、顔色情報入力部４１に入力された顔色情報に基づいて、人物の顔が写っている顔領域を抽出する。

顔部品追跡部４３は、顔領域検出部４２によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートＤＢ４４に登録した可変テンプレート（Ｄｅｆｏｒｍａｂｌｅ ｔｅｍｐｌａｔｅ）と照合することにより、検出された各顔領域に、どの向きで誰の顔が映っているかを推定する。

可変テンプレート（Ｄｅｆｏｒｍａｂｌｅ ｔｅｍｐｌａｔｅ）とは、顔領域内の９点の特徴点におけるＧａｂｏｒ−ｗａｖｅｌｅｔ特徴を上下左右に角度を変えて取得したものであり、人物識別用の個人向けＰｅｒｓｏｎ−ｄｅｐｅｎｄｅｎｔ ｄｅｆｏｒｍａｂｌｅ ｔｅｍｐｌａｔｅｓ（ＰＤＤＴｓ）と、多数の顔であらかじめ登録したＰｅｒｓｏｎ−ｉｎｄｅｐｅｎｄｅｎｔ ｄｅｆｏｒｍａｂｌｅ ｔｅｍｐｌａｔｅｓ（ＰＩＤＴｓ）がある。不特定人物に対しては、ＰＩＤＴｓを用いたマッチングにより、その顔向きを推定できる。

顔部品追跡部４３は、顔領域検出部４２によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートＤＢ４４に登録した人物特定可変テンプレートと照合することにより、検出された各顔領域に誰の顔が映っているかを推定し、抽出した特徴を可変テンプレートＤＢ４４に登録した人物不特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで顔が映っているかを推定する。

顔部品追跡部４３は、正面に近い向きで顔が写っている顔領域と人物特定可変テンプレートとの照合により人物の認識を行い、その後、顔が正面の向きから回転して離れても、正面以外の向きで顔が写っている顔領域と人物不特定可変テンプレートとの照合により顔を追跡することで、顔領域と対応付けて人物の認識結果を保持することができる。

第２顔向き推定部１３は、図７に示すように、画像データに含まれているユーザの顔領域Ｘを検出し、かつ顔向きを検出することに成功している。第２顔向き推定部１３は、顔色情報を顔色算出部１２から入力されるので、頑健に画像データからユーザの顔を検出することができる。

このようにして、電子機器１は、撮像機器２を用いることにより、映像コンテンツを再生しているディスプレイの前の人物の顔向きを様々な視聴環境で頑健に推定できる。さらに、電子機器１は、得られた顔向き情報から判定した視聴状態を利用して、ユーザと映像コンテンツとの接触の質である視聴質を計測することができる。

ここで、一般家庭を模した環境において実施した９時間分（３人×３時間）の実験による検証結果を示す。各ユーザに３時間の間に１５番組を視聴し、視聴後に各番組を５段階で評価してもらい、この評価結果を視聴質の正解データとした。

具体的には、テレビの視聴状況をシミュレートするため、ユーザには、ＰＣや携帯操作を行ったり、飲食をしたり、部屋から退席する等、自分の家にいるように自由に行動してもらい、視聴中の行動には制約条件を一切設けなかった。

また、撮像機器２により撮影した映像を第三者のアノテータ（２名）が視聴し、１秒単位でユーザがテレビを「見ているか」又は「見ていないか」を２値判定した。このアノテーションデータを注視状態推定の正解データとした。

電子機器１の判定部１４は、３人×２時間分のデータを学習し、３人×１時間分のデータを検証用に用いて３−ｆｏｌｄクロスバリデーションで視聴質を評価した。

電子機器１により判定した結果Ｒ５を図８に示す。また、ベースラインとして、「注視又は非注視」をランダムに出力するランダム推定器を用いて判定した結果Ｒ１と、常に「注視」と判定するＦｉｘｅｄ推定器を用いて判定した結果Ｒ２を示し、さらに、第２顔向き推定部１３のみを用いて判定した結果Ｒ３と、第１顔向き推定部１１のみを用いて判定した結果Ｒ４も図８に示す。

Ｒ３〜Ｒ５は、ベースラインの結果を１５％以上上回っており、高い精度で注視状態を推定できていることが分かる。また、電子機器１は、第２顔向き推定部１３のみを用いて判定した場合、及び第１顔向き推定部１１のみを用いて判定した場合に比べ、精度が高いことが分かる。

第１顔向き推定部１１は、動きの少ないユーザに対して検出漏れが生じやすいデメリットがある。第２顔向き推定部１３は、動きに影響されないというメリットがある。電子機器１は、このような両推定部の特徴を利用して、うまく補完した結果と言える。
また、第２顔向き推定部１３は、顔色算出部１２により算出された顔色情報を利用して顔向き推定を行っているので、単体でも精度よく顔向きの推定ができていると言える。

また、視聴状態に基づく視聴質の推定精度を示す。本願で定義する視聴質Ｒを（１）式で表す。

また、第三者のアノテータにより２値判定した値と、ユーザ自身が各番組に対して５段階評価した値に基づいて算出した相関係数Ｃ１は、０．７７であった（図９を参照）。このような高い相関が得られたということは、テレビを「見ているか」又は「見ていないか」という注視状態を視聴質として判定することは、映像コンテンツ評価に有効であることを示している。

また、電子機器１により判定した値と、ユーザ自身が各番組に対して５段階評価した値に基づいて算出した相関係数Ｃ２は、０．６２であった（図９を参照）。よって、電子機器１により判定した値は、第三者のアノテータにより２値判定した値に近似していると言える。これにより、電子機器１の有効性が確認できた。

このようにして、電子機器１は、汎用的な奥行きセンサを有するデバイス（撮像機器２）から得られる情報を用いて、ユーザの顔向きを推定することができ、視聴質によるコンテンツ評価に利用することができる。

また、電子機器１は、奥行き情報を用いて３次元空間で推定した顔向きと、平面的な画像情報から推定した顔向きとを並行して処理することにより、互いの精度を補完し合い、高精度にユーザの顔向きを推定することができる。

また、上述したように、発明者等は、一般家庭を模した環境において行った実験により、電子機器１が高い精度で注視状態を判定でき、本人の自己評価と高い相関で映像コンテンツを評価できることを確認した。

また、電子機器１は、映像コンテンツ評価のみならず、ＶＤＴ（Ｖｉｓｕａｌ Ｄｉｓｐｌａｙ Ｔｅｒｍｉｎａｌｓ）作業における集中度や広告に対する関心度推定等、様々なサービスへ応用可能である。

また、本実施例では、主にユーザの注視状態を評価する電子機器の構成と動作について説明したが、これに限られず、各構成要素を備え、ユーザの注視状態を評価するための方法、及びプログラムとして構成されてもよい。

さらに、電子機器の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１ 電子機器
２ 撮像機器
１１ 第１顔向き推定部
１２ 顔色算出部
１３ 第２顔向き推定部
１４ 判定部
２１ 第１撮像部
２２ 第２撮像部
３１ 出射部
３２ 受光部
３３ 奥行き画像生成部
４１ 顔色情報入力部
４２ 顔領域検出部
４３ 顔部品追跡部
４４ 可変テンプレートＤＢ

Claims (4)

1. 第１撮像部により生成された画像データと、前記第１撮像部による撮像方向の奥行きを走査して奥行き画像データを生成する第２撮像部により生成された奥行き画像データとに基づいて、３次元顔モデルを生成し、ユーザの顔向きを三次元空間で推定する第１顔向き推定部と、
   前記３次元顔モデルが生成されている領域を前記画像データから抽出し、当該抽出した領域から顔色情報を算出する顔色算出部と、
   前記第１撮像部により生成された画像データに含まれているユーザを特定し、当該ユーザの顔向きを推定する第２顔向き推定部と、
   前記第１顔向き推定部により推定した顔向きと、前記第２顔向き推定部により推定した顔向きとに基づいて、ユーザが所定の方向を向いているかどうかを判定する判定部と、
   を備え、
   前記第２顔向き推定部は、さらに、
   前記顔色算出部により算出された顔色情報に基づいて、ユーザの顔が写っている顔領域を抽出する顔領域検出部と、
   前記顔領域検出部により検出された前記顔領域の特徴を抽出し前記抽出された特徴を、予め作成された、各人物の顔領域内の特徴量が登録された人物特定可変テンプレートと照合することにより、検出された前記顔領域に映っているユーザを推定し、
   前記抽出された特徴を、予め作成された、多数の顔に基づいて特徴量が登録された人物不特定可変テンプレートと照合することにより、検出された前記顔領域に映っている前記ユーザの顔向きを推定する顔部品追跡部と、を備える電子機器。
2. 前記判定部は、複数のユーザが存在する場合、ユーザごとに所定の方向を見ているかどうかを判定する請求項１記載の電子機器。
3. 第１撮像部により生成された画像データと、前記第１撮像部による撮像方向の奥行きを走査して奥行き画像データを生成する第２撮像部により生成された奥行き画像データとに基づいて、電子機器によりユーザの顔向きを判定する方法であって、
   前記電子機器が、
   前記第１撮像部により生成された画像データと、前記第２撮像部により生成された奥行き画像データとに基づいて、３次元顔モデルを生成し、ユーザの顔向きを三次元空間で推定する第１顔向き推定工程と、
   前記３次元顔モデルが生成されている領域を前記画像データから抽出し、当該抽出した領域から顔色情報を算出する顔色算出工程と、
   前記画像データに含まれているユーザを特定し、当該ユーザの顔向きを推定する第２顔向き推定工程と、
   前記第１顔向き推定工程により推定した顔向きと、前記第２顔向き推定工程により推定した顔向きとに基づいて、ユーザが所定の方向を向いているかどうかを判定する判定工程とを備え、
   前記第２顔向き推定工程は、さらに、
   前記顔色算出工程において算出された顔色情報に基づいて、ユーザの顔が写っている顔領域を抽出する顔領域検出工程と、
   前記顔領域検出工程において検出された前記顔領域の特徴を抽出し前記抽出された特徴を、予め作成された、各人物の顔領域内の特徴量が登録された人物特定可変テンプレートと照合することにより、検出された前記顔領域に映っているユーザを推定し、
   前記抽出された特徴を、予め作成された、多数の顔に基づいて特徴量が登録された人物不特定可変テンプレートと照合することにより、検出された前記顔領域に映っている前記ユーザの顔向きを推定する顔部品追跡工程と、を備える判定方法。
4. コンピュータを、請求項１又は請求項２に記載の電子機器として機能させるためのプログラム。

Images