JP6254785B2 - 視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラム - Google Patents

Description

本発明は、視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラムに関するものである。

従来、ビデオカメラで撮影した撮影データから人物を検出し、人数をカウントするようになされた人数判断装置が提案されている（例えば特許文献２参照）。

特開平８-２７２８７８号公報

しかしながら、撮影された人物の人数をカウントするだけでなく、人物の表情を情報として取得したいという要望があった。

本発明は以上の点を考慮してなされたもので、人物の表情に関して有益な情報を生成できる表情情報生成方法及び表情情報生成プログラムを提供しようとするものである。

かかる課題を解決するため、本発明の表情情報生成装置は、動画像データを取得する取得手段と、動画像データから人物を検出する人物検出手段と、検出された人物の顔から表情を検出する表情検出手段と、人物の数と、表情と、表情が検出された日時とを関連付けて記憶する記憶手段と、特定の時間ごとに、表情と人物の数とを統計する統計手段とを有するようにした。

これにより、表情情報生成措置は、特定の時間ごとに、人物の表情と人物の数とを統計することができるため、撮影場所における人物の表情から、様々な情報を得ることができる。

さらに、本発明の表情情報生成プログラムは、動画像データを取得する取得ステップと、動画像データから人物を検出する人物検出ステップと、検出された人物の顔から表情を検出する表情検出ステップと、人物数と、表情と、表情が検出された日時とを関連付けて記憶する記憶ステップと、特定の時間ごとに、表情と人物の数とを統計する統計ステップとを有するようにした。

これにより、表情情報生成装置は、特定の時間ごとに、人物の表情と人物の数とを統計することができるため、撮影場所における人物の表情から、様々な情報を得ることができる。

さらに、本発明の表情情報生成装置は、動画像データから人物を検出し、検出された人物の顔から表情を検出する表情検出手段と、人物の年齢及び性別を検出情報として決定する検出情報決定手段と、検出情報に対応して色分けされた枠及び表情の度合いを、動画像データにおける人物の動きに対応させるよう画面データを生成する画面データ生成手段とを有するようにした。

これにより、表情情報生成装置は、人物の年齢及び性別に応じて色分けした枠を表示することにより、ユーザに対して人物の年齢及び性別を一目で認識させることができ、年齢と表情との関係を視認させやすくできる。

さらに、本発明の表情生成プログラムは、動画像データから人物を検出し、検出された人物の顔から表情を検出する表情検出ステップと、人物の年齢及び性別を検出情報として決定する検出情報決定ステップと、検出情報に対応して色分けされた枠及び表情の度合いを、動画像データにおける人物の動きに対応させるよう画面データを生成する画面データ生成ステップとを有するようにした。

これにより、表情情報生成プログラムは、人物の年齢及び性別に応じて色分けした枠を表示することにより、ユーザに対して人物の年齢及び性別を一目で認識させることができ、年齢と表情との関係を視認させやすくできる。

さらに、本発明の視聴率調査システムは、映像データを表示する表示手段と、映像データを視聴する人物を撮影する撮影手段と、撮影手段によって撮影された動画像データを送信する送信手段とを有する端末装置と、動画像データを取得する取得手段と、動画像データから人物を検出する人物検出手段と、検出された人物の顔から表情を検出する表情検出手段と、人物の数と、表情と、表情が検出された日時とを関連付けて記憶する記憶手段と特定の時間ごとに、表情と人物の数とを統計する統計手段とを有する表情情報生成装置とを有するようにした。

これにより、視聴率調査システムは、映像データを視聴している視聴者の数だけでなく、視聴者の表情も検出することができるため、映像データに対する視聴者の反応を知ることができる。

また、本発明の視聴率調査システムは、映像データを表示手段と、映像データを視聴する人物を撮影する撮影手段と、撮影手段によって撮影された動画像データから人物を検出する人物検出手段と、検出された人物の顔から表情を検出する表情検出手段と、人物の数と、表情と、映像データの時間情報とを関連付けて送信する送信手段と、を有する端末装置と、映像データと対応させて表情と人物の数とを統計する統計手段を有する統計装置とを有するようにした。

これにより、視聴率調査システムは、映像データを視聴している視聴者の数だけでなく、視聴者の表情も検出することができるため、映像データに対する視聴者の反応を知ることができる。

また、本発明の表情情報生成装置及び表情情報生成プログラムは、特定の時間ごとに、人物の表情と人物の数とを統計することができるため、撮影場所における人物の表情から、様々な情報を得ることができる。このため、人物の表情に関して有益な情報を生成できる。

さらに、本発明の表情情報生成装置及び表情情報生成プログラムは、人物の年齢及び性別に応じて色分けした枠を表示することにより、ユーザに対して人物の年齢及び性別を一目で認識させることができ、年齢と表情との関係を視認させやすくできる。このため、ユーザにわかりやすく年齢と表情を伝えることができる。

さらに、本発明の視聴率調査システムは、映像データを視聴している視聴者の数だけでなく、視聴者の表情も検出することができるため、映像データに対する視聴者の反応を知ることができ、ユーザにとって有用な情報を得ることができる。

データベース作成システムの構成を示す略線図である。 データベース作成システムにおけるコンピュータのブロック図である。 顔表示画面を示す略線図である。 動画像データ取得処理手順を示すフローチャートである。 見かけ情報決定処理手順を示すフローチャートである。 表情情報生成システムの構成を示す略線図である。 表情情報生成システムにおけるコンピュータのブロック図である。 笑顔度表示画面を示す略線図である。 表情情報生成処理手順を示すフローチャートである。 動き方向の検出の説明に供する略線図である。 左右への動き方向の検出の説明に供する略線図である。 前後への動き方向の検出（１）の説明に供する略線図である。 前後への動き方向の検出（２）の説明に供する略線図である。 第３の実施の形態によるデータベース作成システムの構成を示す略線図である。 第３の実施の形態による表情情報生成システムの構成を示す略線図である。 第３の実施の形態による表情情報生成処理手順を示すフローチャートである。 第４の実施の形態による表情情報生成システムの構成を示す略線図である。 第４の実施の形態による表情情報生成処理手順を示すフローチャートである。 他の実施の形態における笑顔度表示画面を示す略線図である。 第５の実施の形態による補正値決定処理手順を示すフローチャートである。 第７の実施の形態による視聴率調査システムの構成を示す略線図である。 第７の実施の形態による調査結果表示処理画面（１）を示す略線図である。 第７の実施の形態における調査結果表示処理画面（２）を示す略線図である。

次に本発明を実施するための形態について図面を参照して説明する。

＜第１の実施の形態＞
［１−１．データベースの作成］

従来、人物の顔における複数の特徴量及びこれらの分布に基づいて、当該人物の実際の年齢を推定するようになされた装置が提案されている。

特開２００４−３１８６３２号公報

しかしながら、実年齢とユーザの嗜好とが必ずしも一致するわけではなく、推測された実年齢の情報は、マーケティング用途として最適とはいえなかった。

本発明はこのような問題を解決するためになされたもので、その目的は、マーケティング用の情報として有用な情報を提供し得るデータベース作成装置及びデータベース作成プログラムを提供するものである。

図１は本発明によるデータベース作成システム１の一例を示している。データベース作成システム１は、顔画像取得手段としてのビデオカメラ２と、データベース作成装置としてのコンピュータ３とを有している。

ビデオカメラ２は、例えばカムコーダの他、ＷＥＢカメラなどの簡単な動画撮影装置が用いられる。ビデオカメラ２は、例えば会社の社員食堂などに許可を得て設置され、人物の顔画像を含む動画像データが撮影される。

コンピュータ３は、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access
Memory）から構成されるシステムコントローラ１１がコンピュータ３の全体を統括的に制御するようになされている。システムコントローラ１１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部１２に格納されている基本プログラムやデータベース作成プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述するデータベース作成処理を実行するようになされている。

このコンピュータ３は、メモリカードスロットやケーブル端子、無線通信受信部などの外部インターフェース１３を介して接続された外部操作部１４の操作によりユーザから各種要求がなされた場合、当該要求に応じて生成される要求信号を、外部インターフェース１３を介してシステムコントローラ１１へ供給するようになされている。また、システムコントローラ１１は、各種プログラムに基づいて画面データを生成し、外部インターフェース１３を介して接続された表示部４に供給することにより、表示部４に種々の画面を表示させるようになされている。

例えば、データベース作成プログラムの起動要求を表す操作信号が外部インターフェース１３から供給されると、システムコントローラ１１は、データベース作成処理を実行する。

具体的に、コンピュータ３のシステムコントローラ１１は、ユーザの操作部に対する操作に応じて、表示部４に開始画面（図示せず）を表示する。開始画面では、顔画像データの取得ボタンと、見かけ情報入力ボタンが表示されている。システムコントローラ１１は、顔画像データの取得ボタンが操作されたことを認識すると、動画像入力画面（図示せず）を表示する。動画像入力画面では、入力される動画像データの履歴情報の入力欄と、動画像データの入力を開始するための開始ボタンが設けられている。

履歴情報の入力欄には、動画像データが撮影された撮影場所・年月が入力されることが想定されている。あらかじめ記憶部１１には、撮影場所と地域と職業とを関連づけた履歴情報データベースが記憶されている。例えば、撮影場所が××銀行の虎ノ門支店の社員食堂と入力されると、システムコントローラ１１は、履歴情報データベースを読み出し、職場が存在する地域「東京」、職業「銀行」、年月「２０１２年７月」を履歴情報と認識する。

システムコントローラ１１は、ユーザの操作に応じて開始ボタンが操作されたことを認識すると、メモリカードやビデオカメラ２などの外部の記憶部から動画像データを取得する。システムコントローラ１１は、動画像データを取得すると、動画像データから人物の顔を検出し、顔画像領域のみを切り出し、顔画像データを生成する。人物の顔の検出は、全てのコマに対して行っても良いが、一定間隔で行うことにより、システムコントローラ１１の処理負荷を軽減できるため好ましい。

システムコントローラ１１は、顔画像データから特徴量を抽出して比較することにより、同一人物について一つだけの顔画像データを選定し、履歴情報と関連づけて記憶部１２に記憶する。

このように、コンピュータ３は、入力された動画像データから顔画像データを取得し、履歴情報と関連づけて記憶部１２に記憶するようになされている。

一方、システムコントローラ１１は、開始画面において見かけ情報入力ボタンが操作されたことを認識すると、記憶部１２に記憶されている顔画像データ及び履歴情報を読み出し、顔表示画面データを生成する。この結果、図３に示すように、表示部４には、顔表示画面２１が表示される。顔表示画面２１には、人物の顔画像２２と、履歴情報２３、見かけ年齢入力欄２４、見かけ性別入力欄２５及び決定ボタン２６が設けられている。

システムコントローラ１１は、見かけ年齢入力欄２４及び見かけ性別入力欄２５にそれぞれ見かけ年齢と見かけ性別が入力されたことを認識すると、例えば決定ボタン２６を点滅表示やフォーカス表示させることにより、決定ボタン２６の操作を促す。システムコントローラ１１は、ユーザの決定ボタン２６に対する操作に応じて、表示された顔画像データと入力された見かけ年齢及び見かけ性別（以下、これを入力見かけ情報と呼ぶ）を関連づけて記憶部１２に記憶する。

そしてシステムコントローラ１１は、次の顔画像データを記憶部１２から読み出して、当該顔画像データが表示された顔表示画面２１を表示部４に表示させ、当該次の顔画像データに対する入力見かけ情報をユーザに入力させる。

システムコントローラ１１は、顔画像データに対する入力見かけ情報が所定の入力回数（例えば５回）だけ入力されると、登録見かけ情報として、登録見かけ年齢及び登録見かけ性別を決定する。システムコントローラ１１は、登録見かけ年齢として、入力された見かけ年齢の平均値を算出する。

平均値は、例えば入力された見かけ年齢の合計値を入力回数で除算した平均値や、最大値及び最小値を除いた平均値として算出される。また、入力者に応じて重み付けを行った後に平均値が算出されても良い。

システムコントローラ１１は、登録見かけ性別を、例えば入力見かけ性別の多数決によって判別する。なお、この多数決も、入力者に応じた重み付けの後に行われるようにしても良い。これらの重み付けは、例えば見かけ情報データベースを使用する地域に住む入力者には重く、異なる地域に住む入力者には軽くなるように行われる。

これにより、見かけ情報データベースを使用する地域に住む人の目からみた入力見かけ年齢及び入力見かけ性別を優先できるため、登録見かけ年齢及び登録見かけ性別の精度を向上させ得る。

システムコントローラ１１は、当該顔画像データから特徴量を抽出し、登録見かけ情報及び履歴情報と共に、当該特徴量を登録顔特徴量として見かけ情報データベースに登録する。このときシステムコントローラ１１は、顔画像データ及び顔画像データに関連づけられた全情報を記憶部１２から削除する。これにより、システムコントローラ１１は、顔画像データを二度と表示できないため、顔画像データの元となる人物のプライバシーを保護することが可能となる。

このように、コンピュータ３は、人物の顔の特徴量及び登録見かけ情報が関連づけられた見かけ情報データベースを作成するようになされている。これにより、人物の顔の特徴量から、見かけ年齢及び性別を検出することが可能となる。

ここで、実際は男性であっても女装している人物は、女性用の被服を購入する。また、見かけ年齢が若い人物は、若い服装を好み、見かけ年齢が高い人物は、年齢の高い服装を好む傾向がある。従って、見かけ年齢及び性別を判別することにより、実年齢や実際の性別よりもマーケティング的に有用な情報を得ることが可能となる。従って、見かけ情報データベースは、マーケティング用に有用な情報を与えることが可能である。

このように、本発明のデータベース作成装置は、人物の顔画像を含む画像データを取得する取得手段と、人物の顔画像に対する見かけ年齢及び見かけ性別を、複数人に対して入力させる入力手段と、複数人から入力された見かけ年齢の平均値に基づいて、顔画像についての見かけ年齢を決定する見かけ年齢決定手段と、複数人から入力された見かけ性別に基づいて、顔画像についての見かけ性別を決定する見かけ性別決定手段と、画像データから、顔画像の特徴量である顔特徴量を抽出する特徴量抽出手段と、見かけ年齢及び見かけ性別を、顔特徴量と関連付けて記憶する記憶手段とを有するようにした。

これにより、データベース作成装置は、人物の顔についての顔特徴量と、当該人物の顔についての複数人による統合的な見かけ年齢及び性別とを関連付けることができるため、偏りのない見かけ年齢及び性別を顔特徴量に関連付けることができる。このため、このデータベースを使用することにより、偏りのない見かけ年齢及び性別を検出することが可能となる。

また、本発明のデータベース作成プログラムは、人物の顔画像を含む画像データを取得する取得ステップと、人物の顔画像に対する見かけ年齢及び見かけ性別を、複数人に対して入力させる入力ステップと、複数人から入力された見かけ年齢の平均値に基づいて、顔画像についての見かけ年齢を決定する見かけ年齢決定ステップと、複数人から入力された見かけ性別に基づいて、顔画像についての見かけ性別を決定する見かけ性別決定ステップと、画像データから、顔画像の特徴量である顔特徴量を抽出する特徴量抽出ステップと、見かけ年齢及び見かけ性別を、顔特徴量と関連付けて記憶する記憶ステップとを有するようにした。

これにより、データベース作成プログラムは、人物の顔についての顔特徴量と、当該人物の顔についての複数人による統合的な見かけ年齢及び性別とを関連付けることができるため、偏りのない見かけ年齢及び性別を顔特徴量に関連付けることができる。このため、このデータベースを使用することにより、偏りのない見かけ年齢及び性別を検出することが可能となる。

本発明のデータベース作成装置及びデータベース作成プログラムは、人物の顔についての顔特徴量と、当該人物の顔についての複数人による統合的な見かけ年齢及び性別とを関連付けることができるため、偏りのない見かけ年齢及び性別を顔特徴量に関連付けることができる。このため、このデータベースを使用することにより、偏りのない見かけ年齢及び性別を検出することが可能となり、マーケティング用途として有益な情報を供給することができる。

［１−２．データベース作成処理手順］
次に、データベース作成プログラムに従って実行されるデータベース作成処理について、図４及び図５に示すフローチャートを用いて説明する。

コンピュータ３は、ユーザの操作に応じて、データベース作成プログラムを起動する。コンピュータ３は、ユーザの操作に応じて動画像データの取得処理が選択されたことを認識すると、動画像データ取得処理手順ＲＴ１を開始し、次のステップＳＰ１へ移る。

ステップＳＰ１において、コンピュータ３は、履歴情報及び動画像データを取得すると、次のステップＳＰ２へ移る。

ステップＳＰ２において、コンピュータ３は、動画像データから人物の顔領域の検出を行い、顔画像データを抽出すると、次のステップＳＰ３へ移る。

ステップＳＰ３において、コンピュータ３は、ステップＳＰ１において取得した履歴情報及びステップＳＰ２において抽出した顔画像データを記憶すると、終了ステップへ移り、処理を終了する。

一方、コンピュータ３は、ユーザの操作に応じて見かけ情報決定処理が選択されたことを認識すると、見かけ年齢情報処理手順ＲＴ２を開始し、次のステップＳＰ１１へ移る。

ステップＳＰ１１において、コンピュータ３は、履歴情報及び顔画像データを表示し、ユーザに対して見かけ年齢及び性別を入力させると、次のステップＳＰ１２へ移る。

ステップＳＰ１２において、コンピュータ３は、顔画像データに対する見かけ年齢及び性別が所定の入力回数だけ入力されたか否かについて判別する。ここで否定結果が得られた場合、次のステップＳＰ１３へ進む。

ステップＳＰ１３において、コンピュータ３は、顔画像データに関連づけて入力見かけ情報を記憶すると、終了ステップへ移り、処理を終了する。

これに対して、ステップＳＰ１２において肯定結果が得られた場合、次のステップＳＰ１４へ進む。ステップＳＰ１４において、コンピュータ３は、顔画像データから登録顔
特徴量を抽出し、次のステップＳＰ１５へ移る。

ステップＳＰ１５において、コンピュータ３は、入力見かけ年齢の平均値を登録見かけ年齢として算出すると共に、入力見かけ性別の多数決により登録見かけ性別を決定する。コンピュータ３は、これらの登録見かけ情報を登録顔特徴量及び履歴情報と共に見かけ情報データベースに登録すると、次のステップＳＰ１６へ移る。

ステップＳＰ１６において、コンピュータ３は、例えば顔画像データの削除により顔画像データに対する表示を禁止する処理を行うと、終了ステップへ移って処理を終了する。

［１−３．表情情報の生成］
従来、ビデオカメラで撮影した撮影データから人物を検出し、人数をカウントするようになされた人数判断装置が提案されている（例えば特許文献１参照）。

しかしながら、撮影された人物の人数をカウントするだけでなく、人物の表情を情報として取得したいという要望があった。

本発明は以上の点を考慮してなされたもので、人物の表情に関して有益な情報を生成できる表情情報生成方法及び表情情報生成プログラムを提供しようとするものである。

図６は本発明による表情情報生成システム５１の一例を示している。表情情報生成システム５１は、人物画像取得手段としてのビデオカメラ５２と、表情情報生成装置としてのコンピュータ５３とを有している。

ビデオカメラ５２は、例えばカムコーダの他、ＷＥＢカメラなどの簡単な動画撮影装置が用いられる。ビデオカメラ５２は、例えばレストランなどの出入り口に設置され、人物の顔画像を含む動画像データが撮影される。

コンピュータ５３は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access
Memory）から構成されるシステムコントローラ６１がコンピュータ５３の全体を統括的に制御するようになされている。システムコントローラ６１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部６２に格納されている基本プログラムやマーケティング情報取得処理等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述する表情情報生成処理を実行するようになされている。

このコンピュータ５３は、外部インターフェース６３を介して接続された外部操作部５５の操作によりユーザから各種要求がなされた場合、外部インターフェース６３を介して外部操作部５５からの要求信号をシステムコントローラ６１へ供給するようになされている。また、システムコントローラ６１は、各種プログラムに基づいて表示用の画面データを生成し、外部インターフェース６３を介して接続された表示部５４に供給することにより、表示部５４に種々の画面を表示させるようになされている。

例えば、表情情報生成プログラムの起動要求を表す操作信号が外部インターフェース６３から供給されると、システムコントローラ６１は、表情情報生成処理を実行する。

具体的に、コンピュータ５３のシステムコントローラ６１は、ユーザの外部操作部５５に対する操作に応じて、表情情報生成処理を開始し、無線又は有線で接続されたビデオカメラ５２に対し、動画像データを供給する旨のデータ要求信号を送出する。システムコントローラ６１は、データ要求信号に応じて動画像データが供給されると、動画像データから人物の検出を行う。

システムコントローラ６１は、例えばエッジ検出により人物の上半身に相当する形（すなわち人型）を検出すると、当該上半身の頭部について、顔の検出を行う。顔の検出は、例えば肌色・目・口などの検出により実行される。システムコントローラ６１は、上半身及び顔を検出できた場合、検出された上半身が人物であると認識し、人物数としてカウントする。

システムコントローラ６１は、検出された顔から特徴量を抽出する（以下、これを検出顔特徴量と呼ぶ）。システムコントローラ６１は、予め記憶部６２に記憶された見かけ情報データベースを読み出す。

検出顔特徴量と見かけ情報データベースに登録された登録顔特徴量と照合し、最も近い一の登録顔特徴量を選択する。システムコントローラ６１は、選択された登録顔特徴量に関連づけられた登録見かけ情報を検出された人物の検出見かけ年齢及び検出見かけ性別（以下、これらをまとめて検出見かけ情報と呼ぶ）として決定する。また、登録見かけ情報に対してしわや肌の状態などの年齢を決定する年齢特定因子によって補正を行い、当該補正された値を検出見かけ情報としてもよい。

ここで、システムコントローラ６１は、予めユーザに照合対象となる照合条件を設定させておくと共に、見かけ情報データベースに登録された履歴情報を照会し、照合条件と合致する登録顔特徴量のみ、照合対象とすることができる。

見かけ年齢は地域や職種などに応じて変化する。システムコントローラ６１は、検出される人物の撮影場所（すなわち、居住地や職業）に応じた登録顔特徴量のみを照合対象とすることができる。このため、システムコントローラ６１は、検出見かけ情報の精度を向上させることができると共に、照合対象となる登録顔特徴量の数を減少させて、照合の処理負荷を軽減できる。

システムコントローラ６１は、上半身をトラッキングすることにより、人物の同一性を確認しながら、当該人物の表情を検出する。システムコントローラ６１は、数コマごとに眉毛の角度、目尻の角度、口角の角度、目尻のしわ、歯の露出度、口の大きさなどにより、笑顔度を算出する。笑顔度は、例えば５段階、１０段階などのような複数段階に振り分けられることにより、又はパーセンテージなどによって表現される。

例えば、システムコントローラ６１は、眉毛の角度、目尻の角度、口角の角度を検出し、それぞれ重み付けをした上で平均値を算出、正規化することにより、パーセンテージによって笑顔度を算出する。

このとき、システムコントローラ６１は、例えば、検出された人物の顔を枠で囲むと共に、コマごとに検出された笑顔度を数値及びグラフで枠の隣に笑顔度表示として表示するよう、検出画像データを生成し、これを動画像データに重畳して表示用の画面データを生成する。

ここで、システムコントローラ６１は、検出見かけ年齢及び検出見かけ性別をグループ分けし、色分けした検出画像データを生成しても良い。例えば、２０歳代男性、２０歳代女性、３０歳代男性、３０歳代女性、４０歳代男性、４０歳代女性、５０歳以上男性、５０歳以上女性というように、グループ化することができる。このグループ分けは、マーケティング情報としての有用性に応じて適宜行われることが好ましい。

色分けは、例えば男性を青系、女性を赤系というように系統立てて行うことにより、人物のグループを認識させやすくなり、好ましい。また、マーケティング情報として重要なグループのみ特定の配色を行うことにより、重要なグループに属する人物のみを浮き立たせて表示することができる。

この結果、表示部５４には、図８に示すように、人物の顔として検出されたことを表す枠７１及び当該検出された人物の笑顔度を表す笑顔度表示７２が表示される。これにより、ユーザはリアルタイムで顧客の満足度を知ることが可能となる。

システムコントローラ６１は、各人物における笑顔度の平均値（以下、これを笑顔平均値と呼ぶ）を算出すると共に、笑顔平均値が所定の閾値以上であるか否かによって、当該人物が笑顔であったか否かについて判別する。そして、システムコントローラ６１は、人物の顔が検出された時間、検出見かけ情報、並びに笑顔の有無を関連づけて記憶する。

このように、コンピュータ５３は、表情情報生成処理により、撮影した動画像データから人物数をカウントすると共に、人物の検出見かけ情報、並びに笑顔の有無を関連づけて記憶するようになされている。

コンピュータ５３のシステムコントローラ６１は、ユーザの操作部に対する操作に応じて、マーケティング情報表示処理を開始する。

具体的に、システムコントローラ６１は、ユーザの指定した日の、指定した時間帯において、人物数、検出見かけ情報、及び笑顔の有無を集計し、表示画面データを生成し、外部インターフェース６３を介して表示部５４に供給する。この結果、表示部５４には、例えばグラフ表示やリスト表示により、集計結果が表示される。

これにより、ユーザは、ユーザの指定した日の、指定した時間帯において、何人の人物がその地点を通過したか、通過した人物の検出見かけ年齢及び検出見かけ性別、そしてどのくらいの割合の人物が笑顔であったかを簡単に知ることができる。

［１−４．データベース作成処理手順］
次に、表情情報生成プログラムに従って実行される表情情報生成処理について、図９に示すフローチャートを用いて説明する。

コンピュータ５３は、ユーザの操作に応じて、表情情報生成プログラムを起動する。コンピュータ５３は、ユーザの操作に応じて動画像データの取得処理が選択されたことを認識すると、マーケティング情報処理手順ＲＴ３を開始し、次のステップＳＰ３１へ移る。

ステップＳＰ３１において、コンピュータ５３は人物を検出すると、次のステップＳＰ３２へ移る。

ステップＳＰ３２において、コンピュータ５３は人物の数をカウントするカウンタを「１」加算すると、次のステップＳＰ３３へ移る。

ステップＳＰ３３において、コンピュータ５３は、検出した人物の検出顔特徴量と、見かけ情報データベースに登録されている登録顔特徴量とを比較し、最も近い一の登録顔特徴量から検出見かけ年齢及び検出見かけ性別を決定すると、次のステップＳＰ３４へ移る。

ステップＳＰ３４において、コンピュータ５３は、検出した人物についての笑顔平均値を算出すると、次のステップＳＰ３５へ移る。

ステップＳＰ３５において、コンピュータ５３は、ステップＳＰ３４において算出した笑顔平均値が閾値以上であるか否かについて判別する。ここで、肯定結果が得られた場合、コンピュータ５３は、次のステップＳＰ３６へ移り、検出した人物が笑顔であったと決定し、次のステップＳＰ３８へ移る。

一方、ステップＳＰ３５において否定結果が得られた場合、コンピュータ５３は、次のステップＳＰ３７へ移り、検出した人物が笑顔でなかったと決定し、次のステップＳＰ３８へ移る。

ステップＳＰ３８において、コンピュータ５３は、ステップＳＰ３３において決定した検出見かけ年齢及び検出見かけ性別、並びにステップＳＰ３６及び３７で決定した笑顔の有無を記憶すると、次のステップＳＰ３９へ移る。

ステップＳＰ３９において、コンピュータ５３は、ユーザの操作に応じて処理の終了が要求されたか否かを判別し、否定結果が得られた場合、ステップＳＰ３１へ戻って処理を継続する。

これに対し、ステップＳＰ３９において肯定結果が得られた場合、終了ステップへ移ってマーケティング情報処理手順ＲＴ３を終了する。

［１−５．動作及び効果］
以上の構成によれば、データベース作成装置としてのコンピュータ３は、人物の顔画像を含む画像データを取得する取得手段、及び外部操作部１４を介して、人物の顔画像に対する見かけ年齢及び見かけ性別を複数人に対して入力させる入力手段としての外部インターフェース１３を有している。

また、コンピュータ３は、複数人から入力された見かけ年齢の平均値に基づいて、顔画像についての見かけ年齢を決定する見かけ年齢決定手段、複数人から入力された見かけ性別に基づいて、顔画像についての見かけ性別を決定する見かけ性別決定手段、及び画像データから、顔画像の特徴量である顔特徴量を登録顔特徴量として抽出する特徴量抽出手段としてのシステムコントローラ１１を有している。

さらに、コンピュータ３は、見かけ年齢及び見かけ性別を登録見かけ年齢及び登録見かけ性別として、登録顔特徴量と関連付けて記憶する記憶手段としての記憶部１２とを有している。

これにより、コンピュータ３は、人物の顔画像についての見かけ年齢及び見かけ性別を、複数人による公正な判断により決定することができるため、ゆるぎない見かけ年齢及び見かけ性別を登録顔特徴量と関連付けて記憶した見かけ情報データベースを作成することができる。

また、コンピュータ３のシステムコントローラ１１は、人物に関する履歴情報を取得する。これにより、コンピュータ３は、居住地や職業など、見かけ年齢や見かけ性別を左右する因子を見かけ情報及び登録顔特徴量と関連付けて見かけ情報データベースを作成することができる。このため、ユーザが見かけ情報データベースを用いることにより、履歴情報ごとに見かけ年齢や見かけ性別を判別することが可能となり、見かけ年齢や見かけ性別の判別精度を高めることが可能となる。

さらに、システムコントローラ１１は、複数人に対する見かけ年齢及び見かけ性別の入力後、すなわち入力回数だけ入力見かけ情報が入力された後、顔画像データを消去することにより、人物の顔画像である顔画像データの表示を禁止する。

これにより、コンピュータ３は、見かけ情報データベースへの登録後には顔画像データを保存する必要がないため、記憶部１２の記憶容量を節約できると共に、不要な顔画像データの保存により、撮影された人物のプライバシーを確実に守ることができる。

コンピュータ３は、履歴情報としてＧＰＳ情報を取得するようにした。これにより、ユーザに入力作業をさせる必要がなく、かつ信頼性の高い情報を得ることができる。

コンピュータ３は、インターネットを介して画像データ及び履歴情報を取得するようにした。これにより、コンピュータ３は、不特定多数の大人数から容易に像データ及び履歴情報を集めることが可能となる。

また、システムコントローラ１１は、履歴情報として、撮影年月のみを見かけ情報データベースに記憶するようにした。これにより、コンピュータ３は、人物の存在した詳細な日時を残さないため、撮影された人物のプライバシーを確実に守ることができる。

さらに、表情情報生成装置としてのコンピュータ５３は、動画像データを取得する取得手段としての外部インターフェース６３を有している。

また、コンピュータ５３は、動画像データから人物を検出する人物検出手段と、検出された人物の顔から表情を検出する表情検出手段と、特定の時間ごとに、表情としての笑顔度の有無と、人物の数とを統計する統計手段としてのシステムコントローラ６１を有している。

さらに、コンピュータ５３は、人物の数と、表情と、表情が検出された日時とを関連付けて記憶する記憶手段としての記憶部６２を有している。

これにより、コンピュータ５３は、ユーザの要求に応じて特定の時間ごとに笑顔の有無及び人物の数を統計することができるため、顧客の満足度や営業マンの接客態度など、非常に有益な情報をユーザに与えることができる。

システムコントローラ６１は、検出された人物の顔である顔画像データから検出顔特徴量を抽出し、当該検出顔特徴量を見かけ情報データベースに登録された登録顔特徴量と照合して年齢及び性別としての検出見かけ年齢及び検出見かけ性別を判別する。そして、システムコントローラ６１は、ユーザの要求に応じて、検出見かけ年齢及び検出見かけ性別、若しくは検出見かけ年齢及び検出見かけ性別ごとに笑顔の有無と人物の数とを統計する。

これにより、システムコントローラ６１は、年齢や性別に応じた顧客の満足度を統計することができ、マーケティング情報として非常に有益な情報をユーザに与えることができる。

システムコントローラ６１は、所定間隔で笑顔度を算出し、当該笑顔度の平均値である笑顔平均値に基づいて、人物の笑顔度合いである笑顔の有無を判別する。

これにより、システムコントローラ６１は、笑顔度合いを単純化して統計することができるため、わかりやすい情報をユーザに与えることができる。

さらに、コンピュータ５３は、動画像データから人物を検出し、検出された人物の顔から表情を検出する表情検出手段と、人物の年齢及び性別を検出情報である検出見かけ情報として決定する検出情報決定手段と、検出みかけ情報に対応して色分けされた枠、及び表情の度合いである笑顔度を、動画像データにおける人物の動きに対応させるよう画面データを生成する画面データ生成手段としてのシステムコントローラ６１を有している。

これにより、コンピュータ５３は、検出みかけ情報に対応して色分けされた枠７１を表示することができるため、ユーザに人物の年齢及び性別を一目で視認させることができ、ユーザに対して人物の年齢及び性別と、笑顔度との関係をわかりやすく視認させることができる。

さらに、コンピュータ５３は、枠７１の隣に笑顔度を表す笑顔度表示７２をグラフ化して表示する。これにより、コンピュータ５３は、ユーザに対して笑顔度を一目で視認させることができ、ユーザに対して人物の年齢及び性別と、笑顔度との関係を一段とわかりやすく視認させることができる。

システムコントローラ６１は、検出情報として、見かけ年齢及び見かけ性別を決定することにより、顧客の購入意欲に直結する見かけ年齢及び見かけ性別を人物の年齢及び性別とすることができる。これにより、コンピュータ５３は、画面データのマーケティング情報としての有益性を一段と高めることができる。

システムコントローラ６１は、枠７１及び笑顔度表示７２を、動画像データに重畳して画面データを生成する。これにより、コンピュータ５３は、実際の顔画像データと共に人物の年齢及び性別と、笑顔度との関係を表示部５４に表示させることができるため、画面データのマーケティング情報としての有益性を一段と高めることができる。

＜第２の実施の形態＞
図１０〜１３に示す第２の実施の形態においては、図１〜図９に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、履歴情報としてＧＰＳ（Global Positioning System）による位置情報を利用する点、人物の動く方向を検出する点、表情情報生成処理において得られた顔画像データを用いて見かけ情報データベースを更新する点が第１の実施の形態と異なっている。

［２−１．データベース作成処理］
第２の実施の形態におけるデータベース作成処理では、ＧＰＳによる位置情報を使用して自動的に履歴情報を取得する。

具体的に、ビデオカメラ１０２は、例えば街角などの任意の場所に設置され、人物の顔画像を含む動画像データが撮影される。このビデオカメラ１０２には、ＧＰＳ機能が搭載されており、撮影された場所の位置情報を自動的に取得可能である。また、ビデオカメラに対して外付けのＧＰＳ端末を接続しても良い。

動画像データ取得処理において、コンピュータ１０３のシステムコントローラ１１１は、ユーザの操作部に対する操作に応じて、表示部４に開始画面（図示せず）を表示する。システムコントローラ１１１は、ビデオカメラ１０２から供給される位置情報から撮影場所が存在する地域を特定し、当該撮影場所と撮影日時を履歴情報として認識する。この地域は、例えば「東京」「大阪」や、「東京都中央区」「広島市」、「中国地方」「関東地方」、「日本」「ヨーロッパ」など、都道府県や市町村、地方、国や世界的地域など、予め定められたグループとなることが好ましい。

これにより、システムコントローラ１１１は、自動的に履歴情報を認識することができるため、ユーザに対して履歴情報の入力を必要とさせず、ユーザの手を煩わせずに済む。

このように、コンピュータ１０３は、ＧＰＳによって取得される位置情報を履歴情報として利用するようになされている。

一方、見かけ情報決定処理において、システムコントローラ１１１は、顔画像データに対して入力見かけ情報が所定の入力回数だけ入力されると、顔画像データに対し、表示禁止を示すフラグを立てる。これにより、システムコントローラ１１は、顔画像データを表示できないため、顔画像データの元となる人物のプライバシーを保護することが可能となる。また、入力回数が変更された場合にのみ、顔画像データを表示可能に設定することにより、入力回数の設定が変更された場合にも対応することができる。

［２−２．表情情報生成処理］
第２の実施の形態における表情情報生成処理では、図１０に示すように、ビデオカメラ５２から取得された動画像データから人物の進む方向を検出するようになされている。

システムコントローラ１６１は、人物の上半身に相当する形を検出すると、当該上半身の頭部について、顔の検出を行う。システムコントローラ６１は、上半身及び顔を検出できた場合、検出された上半身が人物であると認識し、人物数としてカウントする。

システムコントローラ１６１は、人物の上半身のトラッキングを行い、画面上において人物の上半身が最初に検出された初期検出地点と、最後に検出された終期検出地点とをつないだ方向を動き方向として検出する。具体的に、図１１に示すように、システムコントローラ１６１は、人物の上半身の中心点（以下、これを動き基準点と呼ぶ）ＳＰを算出し、当該中心点の移動ベクトルから、動き方向を検出する。

この動き方向は、例えば、その角度により、前後左右の４方向として認識される。なお、動き基準点ＳＰは、人物の中で固定可能な基準となる点であれば良く、例えば顔の中心点や、目・口などを動き基準点とすることもできる。なお、この動き方向は、必ずしも４方向である必要はなく、角度に応じて２方向以上に認識されれば良い。

ビデオカメラ５２を人物の高さよりも上方向に配置した場合、ビデオカメラ５２と人物との距離に応じて撮影角度が変化するため、図１２に示すように、画面上下方向に移動することになる。このため、システムコントローラ１６１は、動き基準点ＳＰが上から下方向へ移動した場合には、人物が前方向へ移動、逆に下から上方向へ移動した場合には人物が後ろ方向へ移動したと認識することができる。

これに対して、ビデオカメラ５２を人物の高さと同じ高さに設置した場合、図１３に示すように、人物が前後方向に移動したときに動き基準点ＳＰが殆ど変化しない。そこで、システムコントローラは、動き基準点ＳＰが殆ど変化しない場合には、人物の大きさによって動き方向を判断する。

具体的に、システムコントローラ１６１は、検出された人物の動き方向が人物の目玉の間隔を検出し、当該間隔の変化率によって、人物が前と後ろのどちらに移動したかを判別する。また、人物の上半身や顔・口などの大きさの変化率によっても同様に人物が前と後ろのどちらに移動したかを判別することが可能である。

そして、システムコントローラ１６１は、人物の検出見かけ情報、並びに笑顔の有無に加え、動き方向を関連づけて記憶する。

システムコントローラ１６１は、ユーザの要求に応じて、見かけ情報表示処理を開始すると、動き方向ごとに人物の検出見かけ情報、並びに笑顔の有無を集計し、画面データを生成する。

これにより、ユーザは、例えばショッピングセンターの分岐地点において、動き方向ごとに人物の見かけ年齢及び見かけ性別、並びに笑顔の有無を知ることができ、移動する方向に対するみかけ情報や、笑顔の有無を簡単に知ることができる。

［２−３．データベース更新処理］
表情情報生成処理において、システムコントローラ１６１は、取得した動画像データを所定の期間（例えば１週間）だけ記憶しておく。

そしてシステムコントローラ１６１は、ユーザの操作部に対する操作に応じて、記憶部６２に記憶されている動画像データを読み出し、データベース作成処理を実行する。

これにより、システムコントローラ１６１は、逐次見かけ情報データベースを更新することができ、一段と多くの登録顔特徴量に基づいて検出見かけ年齢及び性別を判別できるため、検出見かけ年齢及び性別の判別の精度を向上することができる。

一般的に、見かけ年齢は、判断する人の年齢に対するイメージに左右されるため、地域や場所の特性によって大きく変化する。例えば、東京の銀座では、ファッションや化粧に気を遣うため若作りな人物が多く、相対的に見かけ年齢は大きくなる。一方、東北の農村では、見かけ年齢は小さくなる。

データベース更新処理において、システムコントローラ１６１は、実際にショッピングセンターに足を運んだ顧客の顔画像データを使用して、当該ショッピングセンターの近くに住む従業員などの目線で見かけ年齢を判断し、入力見かけ年齢とすることができる。このため、システムコントローラ１６１は、地域の特性に見合った見かけ情報データベースを作成することが可能となり、検出見かけ年齢及び性別の判別の精度を向上することができる。

なお、システムコントローラ１６１は、表情情報生成処理において取得した動画像データの代わりに、人物から検出された顔を切り出した顔画像データのみを記憶することもできる。記憶される顔画像データは、データ容量の観点から、同一人物に対して１枚だけ選択される。なお、システムコントローラ１６１は、顔の角度（正面、横向きなど）を検出し、角度の異なる顔画像データを同一人物に対して複数枚記憶することも可能である。

これにより、システムコントローラ１６１は、動画像データを記憶する場合と比較して、格段に記憶容量を節約することが可能である。

［２−４．動作及び効果］
以上の構成によれば、コンピュータ１５３のシステムコントローラ１６１は、外部インターフェース６３を介して履歴情報としてＧＰＳ情報を取得する。

これにより、コンピュータ１５３は、ユーザに履歴情報を入力させることなく、見かけ情報データベースに対して自動的に履歴情報を登録することができる。

また、システムコントローラ１６１は、人物の移動する方向を検出し、移動方向及び特定の時間ごとに、笑顔の有無と人物の数とを統計する。

これにより、コンピュータ１５３は、例えば出口方向に向かう人物や、フードコートの特定の店に向かう人物など、特定の方向へ向かう人物ごとに笑顔の有無と人物の数とを統計できるため、マーケティング情報としての有用性を一段と高めることができる。

さらに、システムコントローラ１６１は、表情情報生成処理で取得した顔画像データに対してデータベース生成処理を実行し、見かけ情報データベースを更新する。

これにより、コンピュータ１５３は、見かけ情報データベースが使用される地域に住む人物の顔に基づいて、マーケティング情報を使用するユーザの視点から入力される入力見かけ情報に基づいて見かけ情報データベースを更新することができる。このため、コンピュータ１５３は、各地域における見かけ情報の特徴を見かけ情報データベースに反映させることができ、見かけ情報の判別の精度を高めることができる。

＜第３の実施の形態＞
図１４〜１５に示す第３の実施の形態においては、図１〜図９に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第３の実施の形態では、データベース作成処理においてインターネットを介して顔画像データの元となる画像データを取得する点と、表情情報生成処理において複数のビデオカメラ５２を設置して人物認識を行う点が、第１の実施の形態と異なっている。

［３−１．データベース作成処理］
図１４に示すように、データベース作成システム２０１では、コンピュータ２０３がインターネット２２０に接続されている。データベース作成システム２０１では、例えばアンケート回答サイトやホームページの募集サイトなどを開設、又はアプリケーションを配信することにより、個人情報端末２２１から顔画像データの元となる動画像データ又は静止画像データ、並びに履歴情報を取得する。

個人情報端末２２１としては、パーソナルコンピュータやスマートフォン、携帯電話、タブレット端末など、インターネットなどのネットワークに接続可能な端末であれば制限はない。個人情報端末２２１は、ビデオカメラなどの撮影装置又は個人情報端末２２１に予め備えられた撮影機能を用いて撮影された動画像データ又は静止画像データを履歴情報と共にアンケート回答サイトに供給する。

コンピュータ２０３は、インターネット２２０を介してアンケート回答サイトから動画像データ又は静止画像データ、並びに履歴情報を取得すると、顔画像データを生成し、これを記憶部６２に記憶する。

このように、コンピュータ２０３は、インターネットを介して顔画像データの元となる画像データを取得する。これにより、コンピュータ２０３は、わざわざビデオカメラ５２を設置しなくても、世界各所に住む人々の顔画像データを取得することができる。

［３−２．表情情報生成処理］
図１５に示すように、表情情報生成システム２５１では、ネットワーク２７０を介して複数台（例えば４台）のビデオカメラ５２（５２Ａ〜５２Ｄ）とコンピュータ２５３とが接続されている。

ビデオカメラ５２は、例えば遊園地の各アトラクションの出口に設置され、アトラクションを終了して出てきた顧客を撮影する。

コンピュータ２５３のシステムコントローラ２６１は、４台のビデオカメラ５２から供給される動画像データから、人物の検出を行うと、処理対象となる人物に対し、検出顔特徴量の抽出、検出見かけ情報の決定、笑顔の有無の判別を行う。そして、システムコントローラ２６１は、これらの処理を終了すると、処理対象となる人物が既に他のビデオカメラ５２によって撮影されたか否かについて判別する。

システムコントローラ２６１は、抽出された検出顔特徴量と、当日中に記憶部６２に記憶された検出顔特徴量（以下、これを当日検出顔特徴量と呼ぶ）との照合を行う。このとき、システムコントローラ２６１は、抽出された検出顔特徴量及び当日検出顔特徴量の一致率が高いと、抽出された検出顔特徴量の元になる人物が検出顔特徴量の元になる人物と同一であると認識する。

システムコントローラ２６１は、同一人物であると認識された当日検出顔特徴量に割り振られた識別ＩＤを読み出し、当該識別ＩＤを見かけ年齢及び性別、並びに笑顔の有無の判別、撮影日時に関連づけて記憶部６２に記憶する。

一方、システムコントローラ２６１は、同一人物であると認識された当日検出顔特徴量が存在しない場合、抽出された検出顔特徴量の元になる人物が、当日、初めて検出されたと認識する。そしてシステムコントローラ２６１は、当該抽出された検出顔特徴量に対して新しい識別ＩＤを付加し、当該抽出された検出顔特徴量を当日検出顔特徴量として、識別ＩＤと共に記憶部１２に記憶する、さらに、システムコントローラ２６１は、当該識別ＩＤを見かけ年齢及び性別、並びに笑顔の有無の判別に関連づけて記憶部１２に記憶する。

コンピュータ２５３のシステムコントローラ２６１は、ユーザの外部操作部５５に対する操作に応じて、マーケティング情報表示処理を開始する。

具体的に、システムコントローラ２６１は、ユーザの指定した日の、指定した時間帯において、人物数と、人物の検出見かけ年齢及び検出見かけ性別、並びに笑顔の有無を集計し、表示画面データを生成し、外部インターフェース６３を介して表示部５４に供給する。この結果、表示部５４には、例えばグラフ表示やリスト表示により、集計結果が表示される。

さらに、システムコントローラ２６１は、ユーザの要求に応じて識別ＩＤごとの結果を集計する。例えば、システムコントローラ２６１は、４台のビデオカメラ５２で撮影された動画像データにおいて、全て笑顔であった人物について、撮影時間からアトラクションを出た時間を集計し、表示画面データを生成する。もちろん、笑顔の少なかった人物について、同様の集計が可能である。

これにより、ユーザは、参加したアトラクション及び回る順番と、笑顔の有無との関係を示すマーケティング情報を知ることが可能であり、より多くのマーケティング情報を得ることができる。

［３−２．表情情報生成処理手順］
次に、表情情報生成プログラムに従って実行される表情情報生成処理について、図１６に示すフローチャートを用いて説明する。

コンピュータ２５３は、ユーザの操作に応じて、表情情報生成プログラムを起動する。コンピュータ２５３は、ユーザの操作に応じて動画像データの取得処理が選択されたことを認識すると、マーケティング情報処理手順ＲＴ４を開始し、次のステップＳＰ３１へ移る。

ステップＳＰ３１〜３８において、コンピュータ２５３は、マーケティング情報処理手順ＲＴ３と同様の処理を行うと、次のステップＳＰ５１へ移る。

ステップＳＰ５１において、コンピュータ２５３は、ステップＳＰ３４において抽出された検出顔特徴量と当日検出顔特徴量とを照合し、検出顔特徴量との一致率により、抽出された検出顔特徴量の元になる人物が、当日既に検出されたか否かについて判別する。

ここで肯定結果が得られた場合、このことは、抽出された検出顔特徴量の元になる人物が、既に識別ＩＤを有していることを意味しており、このとき、コンピュータ２５３は、次のステップＳＰ５２へ移る。

ステップＳＰ５２において、コンピュータ２５３は、一致すると判別された人物の検出顔特徴量に関連付けられた識別ＩＤを読み出し、ステップＳＰ３８において記憶した笑顔の有無、並びに見かけ年齢及び性別と関連付けて記憶部６２に記憶すると、次のステップＳＰ５４へ移る。

これに対してステップＳＰ５１において否定結果が得られた場合、このことは、抽出された検出顔特徴量の元になる人物が、識別ＩＤを有していないことを意味しており、このとき、コンピュータ２５３は、次のステップＳＰ５３へ移る。

ステップＳＰ５３において、コンピュータ２５３は、抽出された検出顔特徴量を当日検出顔特徴量として記憶すると共に、当該当日検出顔特徴量に新たな識別ＩＤを付加し、当該当日検出顔特徴量に関連付けて記憶部６２に記憶すると、次のステップＳＰ５４へ移る。

ステップＳＰ５４において、コンピュータ２５３は、処理を終了すべき旨の要求がユーザからなされたか否かを判別し、否定結果が得られた場合、ステップＳＰ３１へ戻って表情情報生成処理手順ＲＴ４を継続する。

これに対してステップＳＰ５４において、否定結果が得られた場合、コンピュータ２５３は、終了ステップへ移って表情情報生成処理手順ＲＴ４を終了する。

［３−４．動作及び効果］
以上の構成において、コンピュータ２５３の外部インターフェース６３は、インターネットを介して画像データ及び履歴情報を取得する。

これにより、コンピュータ２５３は、わざわざビデオカメラ５２を用いた撮影を行わなくても、本人の使用意志確認が取れた顔画像データを取得することができる。また、撮影を行わないため、世界各国の様々な人種・民族・地域から非常に簡便に顔画像データを取得することができる。

システムコントローラ２６１は、複数のビデオカメラ５２によって撮影された複数の動画像データ間において、検出される人物の同一性を判別する。

これにより、コンピュータ２５３は、同一人物がどのようなタイミングで複数の動画像データに撮影されたかを把握することができるため、一段とマーケティング情報としての有用性を高めることができる。

＜第４の実施の形態＞
図１７に示す第４の実施の形態においては、図１〜図９に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第４の実施の形態では、表情情報生成処理において、特定の顧客のみに対してマーケティング情報を取得する点が、第１の実施の形態と異なっている。

［４−１．表情情報生成処理］
第４の実施の形態においては、ビデオカメラ５２は旅館やホテルに設置される。例えば、ビデオカメラ５２は、旅館の出口に設置される。また、チェックアウトする顧客を特定するためのビデオカメラ６９が、ホテルのチェックアウトカウンターに設置される。

コンピュータ３５３は、チェックアウト処理を行う情報処理端末６８（図示せず）と、ビデオカメラ５２及び６９に接続されている。コンピュータ３５３のシステムコントローラ３６１は、チェックアウトの処理を行った顧客についてのみ、マーケティング情報を生成する。

具体的に、コンピュータ３５３のシステムコントローラ３６１は、情報処理端末６８からチェックアウト処理を行う旨の通信信号が供給されると、ビデオカメラ６９から供給される動画像データに対し、顔検出処理を行い、特定顔画像データを取得する。

システムコントローラ３６１は、特定顔画像データから特徴量を抽出し（以下、これを特定顔特徴量と呼ぶ）、これを記憶部６２に記憶する。

システムコントローラ３６１は、出口に設置されたビデオカメラ５２から供給される動画像データに対して人物検出及び顔検出処理を実行し、検出された検出顔特徴量と、特定顔特徴量とを照合する。

システムコントローラ３６１は、検出顔特徴量と特定顔特徴量との一致率が閾値以上であったことにより、検出顔特徴量の元となる人物がチェックアウト処理を行った顧客であると認識すると、マーケティング情報の生成を行う。

システムコントローラ３６１は、見かけ年齢及び性別を決定すると共に、笑顔の有無を判別し、これらを記憶部６２に記憶する。

このように、コンピュータ３５３のシステムコントローラ３６１は、特定の人物に対してのみマーケティング情報の生成を行うことにより、本当に必要なマーケティング情報のみを生成することができる。

［４−２．動作及び効果］
以上の構成において、コンピュータ３５３のシステムコントローラ３６１は、検出された人物が特定の人物であるか否かを判別し、検出された人物が特定の人物であった場合にのみ、検出された人物の顔である顔画像データから笑顔の有無を検出する。

これにより、システムコントローラ３６１は、マーケティング情報として必要となる特定の人物に対してのみ笑顔の有無を検出すれば良いため、不要な情報を排除しつつ処理負荷を軽減できる。

＜第５の実施の形態＞
［５−１．輝度調整処理］
図２０に示す第５の実施の形態においては、図１５に示す第３の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第５の実施の形態では、設置時点において、ビデオカメラ５２Ａ〜Ｄごとに輝度変化による年齢判定の差異を極力抑制するために輝度調整処理を行う点が、第４の実施の形態と異なっている。

コンピュータ２５３のシステムコントローラ２６１は、例えばメニュー画面において、カメラ設置ボタンをクリックするなどのユーザの操作に応じて、カメラ設置モードに移行する。カメラ設置モードにおいて、システムコントローラ２６１は、輝度調整処理の対象となるビデオカメラとして例えばビデオカメラ５２Ａが選択されると、ビデオカメラ５２Ａが撮影中の画像を表示する。

このとき、ビデオカメラ５２Ａの前には、特定の撮影基準対象が撮影される。撮影基準対象としては、例えば白１色など特定の色をした板や、格子状に種々の色彩が描かれた板、複数の顔が印刷された板などの画像の他に、顔型や卵形、凹凸のある球など、立体形状を有するオブジェ、及び画像とオブジェの組み合わせなどが想定されている。

システムコントローラ２６１は、ユーザの操作に応じて撮影基準対象の画像を取得すると、例えば予め撮影基準対象に設けられた撮影サイズ補正用のマークに基づいて、撮影された撮影基準対象の大きさを補正する。

撮影基準対象の特定範囲における輝度を特定範囲輝度として検出するこの特定範囲は、撮影基準対象の全部又は一部であって良く、さらに単数であっても複数であっても構わないが、精度向上のために複数設けることが望ましい。

次いで、システムコントローラ２６１は、コンピュータ２５３の記憶部２６２には、予め輝度補正値が記憶されている。システムコントローラ２６１は、特定範囲の輝度に応じて輝度補正値を特定する。また、システムコントローラ２６１は、例えば特定範囲輝度の基準値との差異に基づいて、計算により輝度補正値を算出しても良い。

システムコントローラ２６１は、ユーザの操作に応じて次のカメラ５２Ｂに対する輝度調整処理を実行する旨の要求がなされると、カメラ５２Ｂに対して同様の処理を実行する。そしてシステムコントローラ２６１は、ユーザの操作に応じてカメラ設置モードを終了する旨の要求がなされると、カメラ設置モードを終了する。

この後、システムコントローラ２６１は、表情情報生成処理において、検出された検出見かけ年齢に対して例えば輝度補正値を乗算又は加減算などすることにより検出見かけ年齢の値を補正し、最終的な検出見かけ年齢を判定する。この輝度補正値は、一定の値でも良いが、年齢値に対応して変化する変数であっても良い。

このようにコンピュータ２５３は、撮影された撮影基準対象の輝度値に基づいて年齢値を補正するようにしたことにより、撮影される状況に応じて検出みかけ年齢の値を補正することができ、光の当たり具合などによって検出見かけ年齢の値が変化してしまうことを極力抑制することができる。

［５−２．輝度調整処理手順］
次に、輝度調整プログラムに従って実行される輝度調整処理について、図２０に示すフローチャートを用いて説明する。

コンピュータ２５３は、ユーザの操作に応じてカメラ設置モードに移行すると、輝度調整処理を開始し、次のステップＳＰ１０１へ移る。

ステップＳＰ１０１において、コンピュータ２５３は、ユーザによって輝度調整処理を行う対象となるビデオカメラ５２が選択されると、次のステップＳＰ１０２へ移る。

ステップＳＰ１０２において、コンピュータ２５３は、選択されたビデオカメラ５２の撮影画像を表示すると、次のステップＳＰ１０２へ移る。

ステップＳＰ１０３において、コンピュータ２５３は、撮影基準対象の画像を取得したか否かを判断し、取得した場合には次のステップＳＰ１０４へ移り、そうでない場合には取得するまで待ち受ける。

ステップＳＰ１０４において、コンピュータ２５３は、画像データにおける撮影基準対象のサイズを調整すると、次のステップＳＰ１０４へ移る。

ステップＳＰ１０５において、コンピュータ２５３は、特定範囲輝度を検出すると、次のステップＳＰ１０６へ移る。

ステップＳＰ１０６において、コンピュータ２５３は、特定範囲輝度に基づいて輝度補正値を決定すると、次のステップＳＰ１０７へ移る。

ステップＳＰ１０７において、コンピュータ２５３は、ユーザの操作に応じてさらに輝度調整処理を実行する旨の操作要求がなされたか否かを判別し、肯定された場合には、ステップＳＰ１０１へ戻り、次のビデオカメラ５２に対する輝度調整処理を実行する。

これに対してステップＳＰ１０７において否定結果が得られた場合、コンピュータ２５３は、終了ステップへ移り、輝度調整処理を終了すると共に、カメラ設置モードを解除する。

このように、コンピュータ２５３は、予め定められた撮影基準対象の画像データの特定範囲における特定範囲輝度に基づいて、輝度補正値を決定し、輝度補正値を用いて年齢値を補正することにより、特定範囲輝度に基づいてみかけ年齢を判別するようにした。

これにより、コンピュータ２５３は、ビデオカメラ５２が設置された場所やビデオカメラ５２自身の性能などによって見かけ年齢が変動することを極力抑制でき、見かけ年齢の検出精度を向上させ得る。

＜第６の実施の形態＞
第６の実施の形態においては、第３の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第６の実施の形態では、現在の日時及び天気など、ビデオカメラ５２の設置された環境に応じた環境要素を判断し、年齢値を補正する点が第３の実施の形態と異なっている。

コンピュータ２５３のシステムコントローラ２６１は、表情情報生成処理において、インターネットなどのネットワークを介して現在の天気情報を取得すると共に、現在の日時から、日照の季節的及び時間的な日時日照強度を決定する。そしてシステムコントローラ２６１は、天気情報及び日時日照強度及び天気情報から、現在の環境要素に応じた環境補正値を算出する。

例えばコンピュータ２５３の記憶部２６２には、日付、時刻、天気の３つの環境要素に応じた環境補正値が予め記憶されている。システムコントローラ２６１は、表情情報生成処理の際、日付、時刻、天気に基づいて環境補正値を決定し、検出みかけ年齢の値を補正して最終的な検出見かけ年齢を決定する。この環境補正値は、例えば、３０分ごと、１時間ごとのように所定時間ごとに変更されることが好ましい。また、環境補正値は、環境要素に応じて計算によって算出されても良い。

このように、本実施の形態における表情情報生成システムでは、環境要素に応じて年齢値を補正して検出見かけ年齢を決定することにより、各ビデオカメラ５２Ａ〜Ｄの設置された状況に拘わらず、ほぼ一定の見かけ年齢を検出することができ、見かけ年齢の検出精度を向上させ得る。

コンピュータ２５３は、撮影場所における現在の環境に応じた環境要素から環境補正値を決定し、環境補正値を用いて年齢値を補正することにより、環境補正値に基づいてみかけ年齢を判別する。

これにより、コンピュータ２５３は、ビデオカメラ５２が設置された撮影場所における環境の影響を最小限に抑えることができ、見かけ年齢の判別精度を向上させ得る。特に、ビデオカメラ５２が屋外に設置されるような場合に、環境の影響を最小限に抑えることができ、非常に有効である。

＜第７の実施の形態＞
第７の実施の形態においては、第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第７の実施の形態では、表情情報生成処理を用いて視聴率調査を行う点が第１の実施の形態と異なっている。

図２１に示すように、視聴率調査システム７５１では、コンピュータ７５６がインターネット７２０に接続されている。端末装置としてのカメラ付端末７５２は、撮影手段としてのカメラ、表示手段としての表示部、受信及び送信手段としての通信部を有しており、映像データを受信し、表示部を介して視聴可能になされている。映像データとしては、例えば地上波テレビジョン放送や衛星放送等の電波を受信する他、オンデマンドによるストリーミング放送、インターネットテレビジョン放送、DVD（Digital Versatile Disc）、USB（universal serial bus）などの固定メディアの再生、内蔵HDD（Hard Disc Drive）などの内蔵装置に記憶されたものなどが想定されている。

カメラ付端末７５２としては、パーソナルコンピュータやスマートフォン、携帯電話、タブレット端末、テレビジョン受信機など、インターネットなどのネットワークに接続可能な端末であれば制限はない。

視聴率調査プログラムは、カメラ付端末７５２の記憶部（図示しない）に予め記憶されている。カメラ付端末７５２は、映像データを受信すると、当該映像データに基づく放送画面を表示部に表示すると共に、付属カメラを用いて視聴者の撮影を実行する。なお、視聴者には予め視聴率調査システムに対する許可を得た上で視聴率調査プログラムをダウンロードしておくことが望ましい。

そしてカメラ付端末７５２は、撮影データに対して表情情報生成処理を実行する。この表情情報生成処理は、例えば１秒ごとなどの所定間隔で実行されることが好ましい。

カメラ付端末７５２は、検出された検出見かけ年齢、性別及び笑顔度を、映像データのどの部分かを示す時間情報と紐付けし、インターネット７２０を介してコンピュータ７５６へ送信する。

なお、カメラ付端末７５２が映像データの時間情報と紐付けして撮影データをコンピュータ７５６に対して送信し、コンピュータ７５６が表情情報生成処理を実行しても良い。

この結果、コンピュータ７５６の記憶部には、映像データの時間情報と紐付けされた状態で、視聴者の検出見かけ年齢、性別及び笑顔度が記憶される。コンピュータ７５６のシステムコントローラ（図示せず）は、時間情報ごとに視聴者の検出見かけ年齢、性別及び笑顔度を統計することにより、時間情報ごと、および映像データごとの視聴率を検出見かけ年齢及び検出みかけ性別ごとに算出する。

図２２に示すように、コンピュータ７５６は、ユーザの操作に応じて、表示部５４に表示画面７８０を表示する。図２２及び２３に示すように、この表示画面７８０には、映像を表示する映像表示枠７８１と、映像データの再生位置を示す時間表示枠７８２と、全映像データのトータルのトータル視聴率グラフ７８３ａ及びトータル笑顔度グラフ７８３ｂを表すトータル表示枠７８３と、現在表示中の映像データに対応する視聴率及び笑顔度を表す映像評判枠７８４と、現在表示中の映像データに対応する視聴率及び笑顔度の性別・年齢ごとの詳細を表示する詳細表示枠７８５とを有している。

詳細表示枠７８５に表示された項目は、設定によって変更可能である。例えば、５歳刻みで表示したり、男女合わせた項目を表示することも可能である。

この表示画面７８０において、時間表示枠７８１内に表示された時間バー７８２ａ上のカーソル７８６を移動させることにより、再生位置が移動し、再生位置に応じた映像データが表示されると共に、映像データに応じたトータル表示枠７８３、映像評判枠７８４及び詳細表示枠７８５が表示される。また、トータル表示枠７８３において再生位置を示す再生位置線７８３ｃも移動する。

これにより、簡単に再生位置を指定すると共に、当該指定された再生位置における視聴率及び笑顔度の状況を素早く認識できる。

例えば、トータル表示枠７８３内にカーソル７８６を置き、ダブルクリックすることにより、図２３に示すように、表示画面７８０におけるトータル表示枠７８３と映像表示枠７８１の位置及び大きさを入れ替えることができる。また、詳細表示枠７８５には、視聴率及び笑顔度の性別・年齢ごとの詳細がグラフで表示されている。

図２３の表示画面７８０において、再生位置線７８３ｃ上のカーソル７８６を移動させることにより、再生位置が移動し、再生位置に応じた映像データが表示されると共に、映像データに応じたトータル表示枠７８３、映像評判枠７８４及び詳細表示枠７８５が表示される。

これにより、例えば最も視聴率の高い再生位置を簡単に指定すると共に、当該指定された再生位置における映像データ、並びに視聴率及び笑顔度の詳細な状況を素早く認識できる。

このように、本実施の形態における視聴率調査システム７５１では、カメラ付端末７５２が映像データを表示すると共に、映像データを視聴する人物を撮影する。さらにカメラ付端末７５２は、撮影された動画像データから人物を検出すると共に、検出された前記人物の顔から表情を検出し、人物の数と、笑顔度と、映像データの時間情報とを関連付けて送信するコンピュータ７５６に送信する。コンピュータ７５６は、映像データと対応させて表情と人物の数とを統計するようにした。

これにより、コンピュータ７５６は、映像データの時間情報ごとに視聴率及び笑顔度を算出することができ、映像データの各画面と視聴率及び笑顔度を容易に関連づけることができる。この結果、コンピュータ７５６は、映像データに対応させて視聴率を統計でき、映像データの各シーンに対する視聴者の反応を容易に視認させることができる。

＜他の実施の形態＞
なお上述した第１〜第７の実施の形態のデータベース作成処理において、入力手段として、外部インターフェース１３に接続された外部操作部１４を介して入力見かけ情報を入力させるようにした場合について述べた。本発明はこれに限らず、例えばノートパソコンのキーボードやタッチパネルなどの内部の入力手段から入力見かけ情報を入力させるようにしても良い。

さらに上述した第１〜第７の実施の形態のデータベース作成処理においては、見かけ情報データベースに履歴情報が登録されるようにした場合について述べた。本発明はこれに限らず、履歴情報は必ずしも必須ではない。また、履歴情報として、人種や民族などを含めることができる。人種や民族などの履歴情報は、見かけから入力されるようにしても良く、顔の色や特徴から自動的に判別されるようにしても良い。

さらに上述した第１〜第７の実施の形態のデータベース作成処理においては、見かけ情報として見かけ年齢及び見かけ性別が入力されるようにした場合について述べた。本発明はこれに限らず、人種や民族などを見かけ情報として入力されても良い。

さらに上述した第１〜第７の実施の形態のデータベース作成処理においては、入力回数だけ入力した直後に顔画像データの表示が禁止されるようにした場合について述べた。本発明はこれに限らず、所定期間（例えば１ヶ月）経過後に顔画像データが消去されたり、フラグを立てることによって顔画像データの表示が禁止されても良い。

さらに上述した第３の実施の形態のデータベース作成処理においては、アンケートの募集サイトなどを通じて、インターネットを介して画像データが取得されるようにした場合について述べた。本発明はこれに限らず、例えばコンピュータがホームページなどに公開されている顔画像データを自動的に取得することにより、インターネットを介して画像データを取得するようにしても良い。

さらに上述した第１〜第７の実施の形態のデータベース作成処理においては、人型を検出した後に顔検出処理を実行し、上半身をトラッキングするようにした場合について述べ
、た。本発明はこれに限らず、例えば、顔を検出して人物カウントを行った後に上半身又は服装をトラッキングしたり、顔を検出して人物カウントを行った後にそのまま顔をトラッキングしたりするようにしても良い。

さらに上述した第１〜第７の実施の形態のデータベース作成処理において、動画像データから一つの顔画像データを生成するようにした場合について述べた。本発明はこれに限らず、２以上の顔画像データを生成するようにしても良い。例えば、システムコントローラ１１は、人型を検出してトラッキングすることにより同一人物であることを認識しつつ、特徴量の大きく異なる複数枚の顔画像データを記憶部１２に記憶する。これにより、一人の人物から例えば横顔や下を向いたときの顔など、照合に有用な複数の顔画像データを得ることができる。

さらに上述した第１〜第７の実施の形態の表情情報生成処理において、コンピュータがビデオカメラ５２から取得された画像データを取得するようにした場合について述べた。本発明はこれに限らず、例えばスマートフォンやタブレット端末、他のコンピュータなど、他の情報通信端末から供給される画像データを取得しても良い。

具体的に、表情情報生成システムのコンピュータ５５３は、クラウドシステムにより、インターネットなどのネットワークを介して他の情報端末に接続される。コンピュータ５５３は、他の情報端末から動画像データを取得して表示情報生成処理を実行し、画面データを他の情報端末に供給する。他の情報端末は、画像データの供給と画面データの表示処理のみを行う。これにより、表情情報生成システムは、コンピュータ５５３の処理負荷を著しく低減できるため、例えばコンピュータ５５３として個人使用の一般的なパソコンや、小さな処理ユニットを使用することが可能となる。

この場合、コンピュータ５５３は、データベースの更新処理を実行する。これにより、コンピュータ５５３は、他の情報端末から供給された動画像データから膨大な数の顔画像データを取得することが可能となる。この場合、コンピュータ５５３は、新たな顔画像データを取得すると、顔特徴量を抽出し、登録顔特徴量との一致率を確認し、登録顔特徴量との一致率が高い顔画像データについては、顔画像データの表示を省略する。これにより、コンピュータ５５３は、顔画像データの多様性を保ちつつ、照合処理の負荷が過大になることを防止することができる。

さらに上述した第１〜第７の実施の形態の表情情報生成処理において、コンピュータは、検出顔特徴量との一致率が最も高い登録顔特徴量を選択し、当該登録顔特徴量に関連付けられた見かけ年齢及び性別を検出顔特徴量の基となる人物の見かけ年齢及び性別とした場合について述べた。本発明はこれに限らず、例えば、登録顔特徴量を基に、年齢及び性別ごとにモデル特徴量を作成しておき、一致率が最も高いモデル特徴量に関連付けられた見かけ年齢及び性別を検出顔特徴量の基となる人物の見かけ年齢及び性別としても良い。このモデル特徴量は、見かけ年齢及び性別ごとに１つのみ作成されても良く、２以上作成されてもよい。

これにより、表情情報生成システムでは、照合対象の数を著しく低減させることができる。このため、表情情報生成システムでは、コンピュータの処理負荷を著しく低減できるため、例えばコンピュータとして個人使用の一般的なパソコンや、小さな処理ユニットを使用することが可能となる。

さらに上述した第１〜第７の実施の形態の表情情報生成処理においては、特定時間（例えば１時間、１日、曜日など）ごとに、検出見かけ情報及び笑顔の有無が統計されるようにした場合について述べた。本発明はこれに限らず、実年齢のデータベース及び実際の性別判断手法を用いて、実年齢及び実性別並びに検出された表情（笑顔の有無）が統計されるようにしても良い。

さらに上述した第４の実施の形態の表情情報生成処理においては、特定の人物についてのみ見かけ情報及び表情の検出が行われるようにした場合について述べた。本発明はこれに限らず、例えば全ての人物について見かけ情報及び表情の検出が行われるようにしても良い。この場合、特定の人物にのみフラグを立てるなどすることにより、ユーザの要求に応じて特定の人物と不特定の人物とに分けて統計が行われることが好ましい。これにより、全体に対する特定の人物の表情などが明確になるため、マーケティング情報の有用性を高めることができる。

また、特定の人物と不特定の人物とで統計手法を変化させても良い。例えば、コンピュータ６５３は、店舗など、店員と顧客が入り乱れる環境において、店員のみを特定し、笑顔の検出を行うことにより、店員の笑顔度と顧客の笑顔度とを同時に取得することが可能である。店員の笑顔度を取得する場合、コンピュータ６５３は、例えば笑顔度を複数段階に分け、笑顔度の段階と時間との関係を統計することにより、笑顔度と時間との関係を統計する。一方、コンピュータ６５３は、顧客に対しては笑顔度の平均値や笑顔の有無を算出する。

さらに上述した第１〜第７の実施の形態の表情情報生成処理においては、笑顔度の平均値から笑顔の有無を判別するようにした場合について述べた。本発明はこれに限らず、例えば笑顔の大・中・小や、０〜２０％、２０〜４０％、４０〜６０％、６０〜８０％、８０〜１００％というように、笑顔度の値に応じて３段階以上に分類しても良い。また、笑顔度をそのまま使用することも可能である。これにより、例えば接客業では自然な笑顔が要求され、顧客に対しては満面の笑顔が要求されるように、目的に応じて要求される笑顔に対しても柔軟に対応することが可能となる。

さらに上述した第１〜第７の実施の携帯の表情情報生成処理においては、人型及び顔を検出すると人物であると認識するようにした場合について述べた。本発明はこれに限らず、例えばコンピュータは、人型の検出のみにより人数をカウントしたり、顔の検出や、表情の検出に応じて人数をカウントしても良い。

さらに上述した第１〜第７の実施の携帯の表情情報生成処理においては、人型を検出するようにした場合について述べた。本発明はこれに限らず、コンピュータは、必ずしも人型を検出する必要はない。例えば顔の検出により人数をカウントし、そのまま表情を検出するようにしても良い。

さらに上述した第１〜第７の実施の形態の表情情報生成処理においては、人物の笑顔の有無を判別するようにした場合について述べた。本発明はこれに限らず、例えば怒り顔、悲しみ顔のように、他の顔の表情についての有無やその程度を判別するようにしても良い。この場合、目尻や眉の角度、口角の角度に加えて、手の動きや目の開口率、眉間のしわなどを検出することによっても表情についての有無やその程度を判別することができる。

この場合、例えば図１９に示すように、コンピュータ７５３は、人物の動きに対応させて動く枠４７１を検出見かけ情報に応じた色分けをして表示すると共に、枠４７１の内部に表情を表す表情表示４７２を表示する。この表情表示４７２の色は、枠４７１と同じでも良いが、表情ごとに色分けすることにより、視認しやすくできる。

表情表示４７２は、枠４７１の外側に表示しても良く、表情の度合いをグラフ化して一緒に表示することも可能である。また、例えば怒り＝赤、悲しみ＝青、笑い＝黄色のように、表情を色で表示することも可能である。また、枠４７１は、その内部が塗りつぶされても良い。

この場合、コンピュータ７５３人物の動きに対応する枠４７１及び表情の度合いのみを表示し、動画像データを必ずしも重畳しなくても良い。これにより、コンピュータ７５３は、本当に必要となる人物の動き及びその表情についての情報を表示させつつ、撮影した顔画像をむやみやたらに表示させずに済み、撮影された人物のプライバシーを保護する事が可能となる。

また、コンピュータ７５３は、必ずしもリアルタイムでかかる画面を表示する必要はなく、ユーザからの要求に応じて記憶部６２に記憶された動画像データを表示することができる。この場合、動画像データの代わりに人物の移動点（例えば顔の中心点）のみを記憶部６２に記憶しておくことにより、動画像データを記憶する場合と比較して格段にデータ容量を節約可能である。

さらに上述した第１〜第７の実施の形態の表情情報生成処理においては、ビデオカメラ５２から取得した動画像データからマーケティング情報を生成するようにした場合について述べた。本発明はこれに限らず、例えば、ＩＣレコーダなどの録音機能を同時に用いるようにしても良い。

これにより、例えば営業マンと顧客との会話が撮影・録音された場合において、コンピュータが顧客の表情が変化した時点や笑顔度が高い時点を指定して再生することにより、営業マンのどの話の部分においてこれらの状況が生じたかを非常に簡単に後から追うことが可能となる。

さらに上述した第１〜第７の実施の形態においては、表情情報生成処理において、レストラン、ショッピングセンター、遊園地、ホテルに設置されたビデオカメラ５２によって動画像データを撮影するようにした場合について述べた。本発明はこれに限らず、例えば、旅館、銀行、住宅販売所など、種々の場所に設置されたビデオカメラ５２によって動画像データを撮影するようにしても良い。

さらに上述した第５の実施の形態においては、輝度調整処理においてユーザの操作に応じて撮影基準対象の画像を取得するようにした場合について述べた。本発明はこれに限らず、撮影基準対象に撮影基準対象であることを示すマークを付すことにより、システムコントローラ２６１が撮影基準対象を自動検知して、自動的に撮影基準対象を撮影することも可能である。この場合、必ずしも選択されたビデオカメラ５２の撮影中の画像を表示する必要はない。

さらに上述した第５の実施の形態においては、輝度調整処理において、ひとつのビデオカメラ５２を選択するようにした場合について述べた。本発明はこれに限らず、例えばビデオカメラ５２が一つしか設置されていない場合には、ビデオカメラ５２の選択は不要である。また、画像データにおける撮影基準対象のサイズ調整も必ずしも必要ではない。

さらに上述した第５及び第６の実施の形態においては、表情情報生成処理において、検出みかけ年齢の値を直接的に補正するようにした場合について述べた。本発明はこれに限らず、例えば、検出された顔の画像や検出顔特徴量に対してコントラストやシャープ度を調整するなどの画像処理を施すことにより、間接的に検出みかけ年齢の値をを補正しても良い。

さらに上述した６の実施の形態においては、表情情報生成処理において、日付、時刻、天気の３つの環境要素に応じた環境補正値を決定するようにした場合について述べた。本発明はこれに限らず、例えば、これらのうちの１要素のみ若しくは２要素を組み合わせて環境補正値を決定しても良い。また、照度計などで日照の強度を測定したデータを環境要素として取得し、又は直接測定し、これに基づいて環境補正値を決定しても良い。

さらに上述した第７の実施の形態においては、視聴率調査システム７５１において、カメラ付端末７５２が表情情報生成処理を実行するようにした場合について述べた。本発明はこれに限らず、コンピュータ７５６に対してカメラ付端末７５２が動画像データを送信し、コンピュータ７５６が表情情報生成処理を実行しても良い。これにより、カメラ付端末７５２の処理負荷を軽減できる。

さらに上述した第７の実施の形態においては、視聴率調査システム７５１において、映像データに対応する視聴率及び笑顔度を表示するようにした場合について述べた。本発明はこれに限らず、例えば視聴人数と表情度合いのように、少なくとも検出された人物数と表情度とを統計した結果得られる値が表示されればよい。

さらに上述した第７の実施の形態における視聴率調査システム７５１では、カメラ付端末７５２が表情情報生成処理を実行するようにした場合について述べた。本発明はこれに限らず、カメラ付端末７５２が撮影した動画像データと映像データの時間情報とを関連付けた状態でコンピュータ７５６に供給し、コンピュータ７５６が表情情報生成処理を実行するようにしても良い。

すなわち、この視聴率調査システムでは、映像データを表示する表示手段と、映像データを視聴する人物を撮影する撮影手段と、撮影手段によって撮影された動画像データを送信する送信手段とを有する端末装置と、動画像データを取得する取得手段と、動画像データから人物を検出する人物検出手段と、検出された人物の顔から表情を検出する表情検出手段と、人物の数と、表情と、表情が検出された日時とを関連付けて記憶する記憶手段と特定の時間ごとに、表情と人物の数とを統計する統計手段とを有する表情情報生成装置とを有する。

これにより、視聴率調査システムは、表情と人物の数とを映像データと関連付けて統計できるだけでなく、リアルタイムで人物の表情を確認できる。

さらに上述した第７の実施の形態における視聴率調査システム７５１は、映像データを表示するカメラ付端末７５２として、例えば街頭などで広告情報を画面表示する、いわゆるサイネージ端末を用いることも可能である。この場合、表情情報生成処理として、トラッキング処理や個人IDの付加によって人物の同一性を特定し、人物ごとの滞留時間を検出することが好ましい。

さらに上述した第１〜第７の実施の形態の各要素を適宜組み合わせることが可能である。

さらに、上述した実施の形態においては、データベース作成プログラム及び表情情報生成プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納した場合について述べた。本発明はこれに限らず、メモリカードなどの外部記憶媒体からコンピュータ内部のフラッシュメモリやハードディスクドライブなどにインストールするようにしても良い。また、データベース作成プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute
of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

さらに上述した第１の実施の形態のデータベース作成処理においては、画像取得手段及入力手段としての外部インターフェース１３と、見かけ年齢決定手段、見かけ性別決定手段及び特徴量抽出手段としてのシステムコントローラ１１と、記憶手段としての記憶部１２とによって本発明のデータベース作成装置としてのコンピュータ３を構成するようにした場合について述べた。本発明はこれに限らず、種々の構成による画像取得手段、入力手段、見かけ年齢決定手段、見かけ性別決定手段、特徴量抽出手段及び記憶手段によって本発明のデータベース作成装置を構成するようにしても良い。

さらに上述した第１の実施の形態の表情情報生成処理においては、取得手段としての外部インターフェース６３と、人物検出手段、表情検出手段、統計手段としてのシステムコントローラ６１と、記憶手段としての記憶部６２とによって表情情報生成装置としてのコンピュータ５３を構成する用にした場合について述べた。本発明はこれに限らず、種々の構成による取得手段、人物検出手段、表情検出手段、統計手段及び記憶手段によって本発明の表情情報生成装置を構成するようにしても良い。

さらに上述した第１の実施の形態の表情情報生成処理においては、表情検出手段、検出情報決定手段、画面データ生成手段としてのシステムコントローラ６１によって表情情報生成装置としてのコンピュータ５３を構成する用にした場合について述べた。本発明はこれに限らず、種々の構成による表情検出手段、検出情報決定手段、画面データ生成手段によって本発明の表情情報生成装置を構成するようにしても良い。

本発明は、例えばマーケティング情報を取得するためのプログラムに適用することができる。

１・・・・・・データベース作成システム
２、５２・・・・・・ビデオカメラ
３、５・・・・・・コンピュータ
４・・・・・・表示部
１１、６１・・・・・・システムコントローラ
１２、６２・・・・・・記憶部
１３、６３・・・・・・外部インターフェース
１４、５５・・・・・・外部操作部
５１・・・・・・表示情報生成システム

Claims (15)

1. 動画像データを取得する取得手段と、
   前記動画像データから人物を検出する人物検出手段と、
   検出された人物の顔から表情を検出する表情検出手段と、
   人物の数と、表情と、表情が検出された日時とを関連付けて記憶する記憶
   手段と、
   検出された人物の顔から年齢及び性別を判別する年齢性別検出手段と、
   特定の時間ごとに、年齢及び性別、若しくは年齢又は性別ごとに表情と人物の数とを統計する統計手段と、
   前記取得手段によって取得される予め定められた撮影基準対象の画像データの特定範囲
   における特定範囲輝度に基づいて、輝度補正値を決定する補正値決定手段と
   を有し、
   前記年齢性別検出手段は、
   前記輝度補正値に基づいて前記判別された年齢を補正する
   ことを特徴とする表情情報生成装置。
2. 前記年齢性別検出手段は、
   人物の顔から検出された年齢に対して前記輝度補正値を乗算又は加減算することにより前記検出された人物の顔及び前記輝度補正値に基づいて前記判別された年齢を補正する
   ことを特徴とする請求項１に記載の表情情報生成装置。
3. 人物検出手段は、
   前記検出された人物が前記動画像データにおいて存在した時間を人物ごとに検出す
   る
   ことを特徴とする請求項１又は２に記載の表情情報生成装置。
4. 撮影場所における現在の環境に応じた環境要素から環境補正値を決定する環境補正値決
   定手段
   を有し、
   前記年齢性別検出手段は、
   前記環境補正値に基づいて前記判別された年齢を補正する
   ことを特徴とする請求項１〜請求項３のいずれかに記載の表情情報生成装置。
5. 前記年齢性別検出手段は、
   日付、時刻、天気に基づいて前記環境補正値を決定する
   ことを特徴とする請求項４に記載の表情情報生成装置。
6. 人物の移動する移動方向を検出する移動方向検出手段
   を有し、
   前記統計手段は、
   前記移動方向及び前記特定の時間ごとに、表情と人物の数とを統計する
   ことを特徴とする請求項１〜５のいずれかに記載の表情情報生成装置。
7. 前記取得手段によって取得される複数の動画像データ間において、検出さ
   れる人物の同一性を判別する同一性判別手段
   を有することを特徴とする請求項１〜６のいずれかに記載の表情情報生成装置。
8. 前記検出された人物が特定の人物であるか否かを判別する特定人物判別手段
   を有し、
   表情検出手段は、
   前記検出された人物が前記特定の人物であった場合にのみ、検出された人物の顔から
   表情を検出する
   ことを特徴とする請求項１〜７のいずれかに記載の表情情報生成装置。
9. 前記検出された人物が特定の人物であるか否かを判別する特定人物判別手段
   を有し、
   前記統計手段は、
   前記特定の人物であるか否かに応じて、統計方法を変化させる
   ことを特徴とする請求項１〜８のいずれかに記載の表情情報生成装置。
10. 前記検出された人物の情報である検出情報に対応して色分けされた枠と、表情の度合いとを、前記動画像データにおける人物の動きに対応させるよう画面データを生成する画面データ生成手段と
    ことを特徴とする請求項１〜９のいずれかに記載の表情情報生成装置。
11. 人物の年齢及び性別である検出情報に対応して色分けされた枠と、表情の度合いとを、前記動画像データにおける人物の動きに対応させるよう画面データを生成する画面データ生成手段と
    を有することを特徴とする請求項１０に記載の表情情報生成装置。
12. 前記画面データ生成手段は、
    前記枠及び表情の度合いのみからなる前記画面データを生成する
    ことを特徴とする請求項１０又は１１に記載の表情情報生成装置。
13. 映像データを表示する表示手段と、
    映像データを視聴する人物を撮影する撮影手段と、
    前記撮影手段によって撮影された動画像データのうち予め定められた撮影基準対象の画像データの特定範囲における特定範囲輝度に基づいて、輝度補正値を決定する補正値決定手段と、
    前記動画像データから人物を検出する人物検出手段と、
    検出された人物の顔から年齢及び性別を判別し、前記輝度補正値に基づいて前記判別された年齢を補正する年齢性別検出手段と、
    検出された人物の顔から表情を検出する表情検出手段と、
    人物の数と、表情と、前記動画像データの時間情報とを関連付けて送信する送信手段と、
    を有する端末装置と、
    特定の時間ごとに、前記映像データと関連付けて表情と人物の数とを統計する
    統計手段と
    を有する統計装置と
    を有することを特徴とする視聴率調査システム。
14. 前記検出された人物が前記動画像データにおいて存在した時間を人物ごとに検出す
    る特定人物判別手段
    ことを特徴とする請求項１３に記載の視聴率調査システム。
15. 映像データを表示する表示ステップと、
    映像データを視聴する人物を撮影する撮影手段と、
    前記撮影手段によって撮影された動画像データのうち予め定められた撮影基準対象の画像データの特定範囲における特定範囲輝度に基づいて、輝度補正値を決定する補正値決定ステップと、
    前記動画像データから人物を検出する人物検出ステップと、
    検出された人物の顔から年齢及び性別を判別し、前記輝度補正値に基づいて前記判別された年齢を補正する年齢性別検出ステップと、
    検出された人物の顔から表情を検出する表情検出ステップと、
    人物の数と、表情と、前記動画像データの時間情報とを関連付けて記憶する記憶ステップと、
    特定の時間ごとに、前記映像データと関連付けて表情と人物の数とを統計する統計ステップと
    を有することを特徴とする表情情報生成プログラム。