JP4702877B2 - 表示装置 - Google Patents

Description

本発明は表示システムに関する。

店舗やこの他の公共の場所で、広告マテリアル等を表示するために電子表示装置が広く用いられている。このような構成は、「電子看板（digital signage：デジタルサイネージ）」等とも呼ばれる。

一般的な装置では、テレビジョンモニタと、ビデオプレーヤ（例えば、ＶＨＳカセットテーププレーヤ）とによって、テレビジョンモニタの近くに陳列されている商品について、買い物客の購入意欲を高めるマテリアルを再生する。例えば、ソニー（商標）ＮＳＰ１００（商標）デジタル再生装置等の高度な装置も提案されている。この装置は、ネットワークに接続可能な再生装置（playout device）であり、デジタルネットワークを介してビデオ（オプションとしてオーディオ）マテリアルと再生スケジュール（playout schedule）とを受信し、この再生スケジュールに基づいて、ビデオ及びオーディオマテリアルを表示装置に再生する。

これらの装置により、例えば、ユーザがカセットテープを選択したり、所望のマテリアルをＮＳＰ１００再生装置にロードしたりすることによって、ユーザは、マテリアルの再生をある程度制御できるが、現在広告を見ている人毎に最適となるようにマテリアルを表示することは容易ではない。

国際特許公開公報ＷＯ０１／４５００４号及び米国特許第５９６６６９６号には、広告を見ている人の検出に基づいて、マテリアルの再生を変更する電子看板（デジタルサイネージ）装置が開示されている。米国特許第５９６６６９６号では、近傍検出器（proximity detectors）を用いて、表示画面を見ている人を検出し、これにより、表示画面をアイドルモードからアクティブモードに切り換えている。国際特許公開公報ＷＯ０１／４５００４号には、表示画面の前にいる人のある特性を検出し、その表示画面に再生するマテリアルを制御する技術が開示されている。

本発明に係る表示システムは、画面を見るユーザの位置に向けられた第１のカメラを有する画像表示装置と、他の個々の位置に向けられた１つ以上の更なるカメラと、カメラによって撮像された画像内において人間の顔を検出する顔検出器と、第１のカメラと、更なるカメラのうちの少なくとも１つとによって撮像された画像内に出現する顔を検出する検出器とを備える。

本発明は、例えば、電子看板（デジタルサイネージ）の分野において、例えば、広告マテリアルを表示している表示画面を見るユーザの顔検出と、他の位置のカメラによって検出された同じユーザとを関連付けることによる技術の向上を提供する。この他の位置は、例えば、店舗の会計コーナであってもよく、又はある種の商品（例えば、表示された広告マテリアルに関連する商品）が販売のために陳列されている場所であってもよい。この構成により、消費者による商品の購買行動に対する広告マテリアルの効果を広告マテリアルの発信元に効果的にフィードバックすることができる。

本発明のこの他の側面及び特徴は、添付の特許請求の範囲において定義されている。

図１は、本発明に基づく表示装置（display arrangement）の構成を示すブロック図である。この表示装置は、販売のために陳列されている商品と共に、店（店舗）の棚の上の所定の位置に取り付けられている。表示装置１００は、カメラ１１０と、グラフィックスカード１２０と、プラズマディスプレイ画面（勿論、他の種類の表示装置を用いてもよい）２３０と、オーディオ発生器１４０と、顔検出／認識モジュール１５０と、統計解析モジュール１６０と、ネットワークインタフェース１７０と、コミュニケーションバス１８０と、データストレージ装置１９０と、ローカルメモリ１９２と、プロセッサ１９４とを備える。この表示装置１００は、通信ネットワーク１９６を介して、このような装置のネットワークに接続される。制御コンピュータ６００は、通信ネットワーク１９６を介して表示装置１００と通信する。

カメラ１１０は、プラズマディスプレイ画面１３０の取付台に一体化され、表示画面を見ている人間の顔の画像を捕捉するために用いられる。捕捉されたビデオ画像は、人間の顔を検出し、及び顔認識評価（facial recognition analyses）を行うために解析される。カメラ１１０は、販売されている製品又は利用可能なサービスの広告画像を含む宣伝用のプレゼンテーションから顧客の注意を逸らさないように、及び表示されたマテリアルに対する顧客の自然な反応を妨げないように、例えばプラズマディスプレイ画面１３０の筐体内に目立たないように取り付けられている。

プラズマディスプレイ画面１３０は、グラフィックスカード１２０によって駆動され、データストレージ装置１９０に保存されている選択可能な販売促進用の表示シーケンスから選択された表示情報を表示する。プロセッサ１９４は、ソニー（商標）ＮＳＰ１００（商標）プロセッサであり（又はこれに基づいて動作し）、通信ネットワーク１９６を介した表示シーケンスのダウンロードを制御する。基本的なＮＳＰ１００プロセッサは、通常、「プッシュ」モードで動作し、すなわちサーバからプッシュされたコンテンツを受信し、このコンテンツを表示する。ここで、プロセッサ１９４は、「プル」モードで動作することもでき、このモードでは、プロセッサ１９４は、例えば、画面を見ている人の特徴に応じて、表示すべき適切なコンテンツを要求し又はダウンロードする。

制御コンピュータ６００は、ローカル表示装置を構成することができ、この特別な表示装置により、特定のプラズマディスプレイ画面１３０で利用可能な表示シーケンスの選択可能な範囲を決定する。

グラフィックスカード１２０は、保存されたＭＰＥＧフォーマットの表示マテリアルをプラズマディスプレイ画面１３０に表示させるＭＰＥＧ（又はＮＳＰ１００で用いられている専用のフォーマット）復号ユニットを備える。

オーディオ発生器１４０は、グラフィックスカード１２０と協働し、販売促進用表示シーケンスのための音響効果を生成する。音響効果は、各用途の要求に応じて、ＭＰＥＧビデオシーケンスによって再生してもよく、独自に再生してもよい。

顔検出／認識モジュール１５０は、カメラ１１０（及び関連する表示画面）の前の所定の空間的範囲内に現れる人間の顔の存在を識別する顔検出ソフトウェアと、顔認識ソフトウェアとを備える。顔認識ソフトウェアは、同じカメラ又は他のカメラ位置において以前に検出された個々の顔又は検出された顔のデータベース内に保存されている個々の顔を認識する。顔検出アルゴリズムは、人間の顔である可能性がある形状の視野を解析し、検出されたオブジェクトの特徴と、メモリに保存されているテンプレートの顔の特徴との一致を検出する。また、顔のようなオブジェクトが実際に人間の顔に対応するか否かを判定するために、瞬きや口の動きのような顔の運動を用いることもできる。

１組の特徴顔パラメータ（characteristic facial parameters）は、画素の色の黒レベル（darkness level）を分析することによって算出される。目、眉、頬骨、鼻のような顔の特徴は、隣接する画像領域に亘る黒レベルの急激な変化を検出することによって特定できる。肌の色合いと髪の色の検出には、画素の色ヒストグラムを用いることができる。検出された顔上には、顔の骨格を表現するための複数のアンカポイント（anchor points）を定義することができる。アンカポイントは、黒レベルの変化に基づいて判定される。アンカポイントは、例えば、口の端、眉線上の点、頬骨、及び鼻柱と鼻の頭に対応する点を含む。各アンカポイントを結ぶことによって、三角形の網が形成され、各三角形の角度は、顔パラメータの特徴の組として用いられ、これに基づいて、検出された同様の顔を照合し、したがって顔認識評価を行うことができる。

変形例として、顔を認識する所謂固有顔法を用いることもできる。固有顔法では、局所的な顔の特徴ではなく、顔全体が調べられる。ここでは、まず、検出された顔のデータベースを分析し、合成顔（composite face）を定義し、新たに検出された各顔の全体を合成顔と比較する。そして、検出された顔と合成顔との間の差異を示す数値をその顔の固有のパラメータデータとして用いる。

以下、図１２〜図１７を用いて、顔検出、顔追跡及び類似性検出の特定の実施例について説明する。なお、以下に説明する類似性検出技術は、ここでの目的に十分な技術である。換言すれば、ここでは、（有益ではあるが）異なるカメラにおいて、誰の顔が検出されたかを知る必要はなく、異なるカメラにおいて、同じ（可能性が高い）顔を検出できれば十分である。

当業者には明らかであるが、顔検出技術及びこれに類する技術は、絶対的な結論を導き出すものではなく、画像領域が顔を表す確率又は２つのカメラからの画像の組が同じ顔を含んでいる確率等を導き出すものである。この確率を閾値と比較することにより、一見明瞭な「ＹＥＳ」又は「ＮＯ」の結論が導き出されるが、この推論は、統計的な根拠に基づいているに過ぎない。

統計解析モジュール１６０は、カメラ１１０によってローカルで検出された個々の顔の数、性別データ、年齢カテゴリデータ、プラズマディスプレイ画面１３０の前の所定の空間的範囲内に各検出された顔が存在した時間（すなわち、インショット時間（in-shot time））を含む人間の顔に関する累積的な統計情報を維持する。顔検出／認識モジュール１５０は、各人の顔のインショット時間と滞在時間（dwell time）の両方を検出することができる。滞在時間とは、検出された人間の顔がプラズマディスプレイ画面１３０を直接見ていた（すなわち、プラズマディスプレイ画面１３０の方を向いていた）時間を表す。また、累積的な滞在時間を記録してもよい。累積的な滞在時間とは、所定の期間内に検出された全ての顔又は検出された所定のカテゴリの顔（例えば、男性の顔又は子供の顔）が特定のカメラに関連している表示画面に向けられた状態で滞在していた時間の合計を表す。これに代えて、所定の顔ＩＤ又は所定の顔カテゴリに関して、ネットワークの別の場所における複数の異なる表示画面／カメラの前の総滞在時間を表す累積的な滞在時間を算出してもよい。ローカルメモリ１９２は、制御コンピュータ６００による包括的な統計的解析のためのデータをダウンロードする前に、限られた量のローカルな統計情報に対するローカルデータ処理及びストレージを行うために用いることができる。

なお、プラズマディスプレイ画面以外の表示技術を用いてもよい。また、店舗内ネットワーク（store-wide network）のコンテキストにおいては、当業者は、表示端末装置において、どの演算処理を行うか、及び１又は複数の中央サーバにおいて、どの演算処理を行うかを選択できる。実際、処理の性質によっては、表示端末装置と中央サーバの両方で実行できる処理もある。例えば、どのコンテンツを表示すべきかを決定するための幾つかの統計的な処理は、端末装置において、速やかにローカルで実行することが望ましい。同じ情報に関するより詳細な分析、例えば、画面内のマーケティング広告スペースにどのようなデータを含ませるかといった分析は、サーバで行ってもよい。

特定の位置において、カメラ及び関連する顔検出器によって捕捉された情報を表示するグラフィカルユーザインタフェース（ＧＵＩ）を図２に示す。ＧＵＩ２００は、最近検出された顔のグリッド２１０を含む。検出された人間の顔の代表キースタンプ画像は、右のグリッド、すなわち位置２１２に現れ、時間が経過するとともに、左に、すなわち、位置２１４、続いて位置２１６に移動する。この特定の構成において、代表キースタンプは、各画像フレームの画素データの色ヒストグラムを分析し、平均色ヒストグラムを判定し、平均色ヒストグラムにコンテンツが最も近いシーケンスからの画像を代表キースタンプとして選択することによって、所定の画像シーケンスから作成される。

グリッド列のヘッディングによって示されるように位置２１２に示される画像は、２分前に捕捉された画像であり、位置２１４に示される画像は、４分前に捕捉された画像であり、位置２１６に示される画像は、６分前に捕捉された画像である。グリッドの各行は、所定のカメラ１１０によって提供される画像を表す。ＧＵＩパネル２２０は、最も最近に捕捉された幾つかの顔を表示するために用いられる。このＧＵＩパネルに表示される顔の数は、それぞれ１つ、２つ及び４つの画像に対応する、表示画面上の適切なボタン２２２、２２４、２２６をクリックすることによって、ユーザにより選択可能である。また、ＧＵＩ２００は、最近捕捉された顔のＧＵＩパネル２２０に表示されている代表キースタンプ画像のうち、ユーザによって選択された１つの代表キースタンプ画像に関連する顔統計パネル２３０を有している。統計情報に関連する代表キースタンプ画像２３８は、顔統計パネル２３０内にも表示される。この例示的な構成においては、表示される統計情報は、顔ＩＤ２３２と、この実施例では７秒である所定のカメラによって検出された顔の累積的な滞在時間２３４と、３秒であるインショット時間２３６とである。累積的な滞在時間は、この場合、検出された全ての顔（如何なるカテゴリに属する顔であってもよい。）がプラズマディスプレイ画面１３０の方に向けられていた時間の合計を表す。

図３は、顔検出／認識モジュール１５０によって検出された顔カテゴリに基づいて、表示すべき画像の組をどのように選択するかを説明するフローチャートである。

捕捉された画像シーケンスは、ステージ３１０において、顔検出／認識モジュール１５０によって、ローカルで分析される。この分析の少なくとも一部は、検出された顔に関連する画像の捕捉が完了する前に実行してもよい。

ステージ３２０においては、検出された人間の顔の所定の特性に基づいて、捕捉された画像シーケンス（又はシーケンス内の１つ顔）にローカル顔ＩＤが割り当てられる。

次に、ステージ３３０において、統計解析モジュール１６０は、顔検出／認識モジュール１５０が導き出した情報に基づいて、検出された顔の性別カテゴリ（すなわち、男性／女性）を判定し、ステージ３４０において、検出された顔は、例えば、子供、青年、労働年齢の大人、定年年齢以上の大人等、所定の又は可変の年齢カテゴリの１つに対応付けられる。多くの場合、年齢カテゴリは、販売する商品のマーケティング要求に応じて決定される。年齢カテゴリは、顔検出／認識モジュール１５０において、肌の色合い／テクスチャ、髪の色、顔の特徴の相対的比率等を分析することによって判定してもよい。

ステージ３５０において、ローカル顔ＩＤに関連する性別カテゴリと年齢カテゴリ及び現在の日時、インショット時間及び滞在時間を含む追加的な情報は、客プロファイルとして統合され、この情報は、ステージ３６０において、ローカルメモリ１９２に（オプションとしてリモートのメモリに）保存される。

変形例においては、例えば、人種、感情表現に関する特定の物理的特性及びカテゴリ等の追加的な情報を用いて客プロファイルを確立又は補強してもよい。

次に、ステージ３５０において判定された客プロファイルに基づいて、ステージ３７０において、ローカルに保存された複数の販売促進用のシーケンスから、プラズマディスプレイ画面１３０上に表示する１つのシーケンスが選択される。

ステージ３８０において、選択された販売促進用表示シーケンスと、これに付随する全ての音声データがローカルのデータストレージ装置１９０から読み出され、グラフィックスカード１２０及びオーディオ発生器１４０によって復号され、プラズマディスプレイ画面１３０を介して、これらのデータに基づく情報が買い物客に提供される。

選択された広告シーケンスが最初から最後まで表示されると、ステージ３９０において、カメラ１１０及び顔検出／認識モジュール１５０は、同じ人間の顔がまだショット内に存在するか否かを検出する。同じ人間の顔が既にショット内に存在せず、ショット内に他の顔も検出されなければ、ステージ３９２において、アイドルタイマ（idle timer）がトリガされ、個々の人間の顔の検出の間に経過する時間が監視される。一方、ステージ３２０において割り当てられたＩＤと同じ顔ＩＤを有する人間の顔が、ステージ３９０においてショット内にまだあると判定された場合、処理は、ステージ３９４に進み、同じ商品に関する拡張された広告シーケンスが初期の広告シーケンスとして表示され、又は客プロファイルに適合する新たに選択された販売促進用のシーケンスがプラズマディスプレイ画面１３０に表示される。

図４は、検出された顔の年齢、性別及び表情カテゴリに基づいて、特定の画像の組をどのように選択し、表示するかを説明するフローチャートである。

ステージ４１０において、店舗のオーディオ／ビデオ販売フロアに設置されているプラズマディスプレイ画面１３０に関連しているカメラ１１０によって顔が検出される。

ステージ４２０において、顔検出／認識モジュール１５０は、検出された顔が子供の顔であるか否かを判定し、検出された顔が子供の顔であれば、子供用のアニメのデジタルビデオディスク（ＤＶＤ）用の販売促進映像を提供する。一方、ステージ４２０において、検出された顔が子供の顔ではないと判定された場合、処理は、ステージ４３０に進み、顔検出／認識モジュール１５０は、検出された顔が６５歳より高い年齢のグループに属する可能性が高いか否かを判定する。検出された顔が６５歳以上に分類された場合、オーディオ発生器１４０は、ステージ４３２において、音量を通常より大きく設定し、次に、ステージ４３４において、古い映画のビデオの販売促進用の映像をプラズマディスプレイ画面１３０に表示させる。

ステージ４３０において、検出された顔が６５歳以下の人間の顔であると判定された場合、ステージ４４０において、検出された顔が男性の顔であるか女性の顔であるかが判定される。顔が男性の顔であると判定された場合、処理は、ステージ４５０に進み、サイエンスフィクションのＤＶＤの販売促進用の映像がプラズマディスプレイ画面１３０に表示される。サイエンスフィクションの販売促進用の映像を表示している間、（ステージ４５２において）カメラ１１０は、この男性の顔の監視を継続し、販売促進用のマテリアルを表示している間、その表情が退屈を表しているか否か、又はその男性が既に表示画面から顔を背けているか否かを判定する。退屈又は画面から顔を背けていることが検出されない場合、その買い物客に対し、サイエンスフィクションのＤＶＤの販売促進用のデータの表示が継続される。一方、退屈している顔が検出され、又は顔がディスプレイから所定の角度以上背けられていることが検出された場合、処理は、ステージ４５４に進み、表示画面に異なる販売促進用の映像、この場合、アクション／冒険映画のＤＶＤの販売促進用の映像を提供し、顧客の注意を取り戻し、累積的な滞在時間を増加させる。

ステージ４４０において、検出された顔が女性の顔であると判定された場合、ステージ４６０において、プラズマディスプレイ画面１３０に時代劇のＤＶＤ販売促進用のシーケンスが表示される。サイエンスフィクションの販売促進用の映像を表示している間、（ステージ４６２において）カメラ１１０は、この女性の顔の監視を継続し、販売促進用のマテリアルを表示している間、その表情が退屈を表しているか否か、又はその女性が既に表示画面から顔を背けているか否かを判定する。退屈又は画面から顔を背けていることが検出されない場合、その買い物客に対し、時代劇のＤＶＤの販売促進用のデータの表示が継続される。一方、退屈している顔が検出され、又は顔がディスプレイから所定の角度以上背けられていることが検出された場合、処理は、ステージ４６４に進み、表示画面に異なる販売促進用の映像、この場合、プラズマディスプレイ画面１３０には、時代劇のＤＶＤの販売促進用の映像に代えて、恋愛コメディのＤＶＤの販売促進用の映像が表示される。

図４のフローチャートは、商品の販売促進に関連しているが、例えば金融サービス等のサービスのための広告をプラズマディスプレイ画面１３０上に表示してもよいことは明らかである。更に、個々の買い物客の検出された特性に基づいて、宣伝用の表示を選択するのではなく、統計解析モジュール１６０からのデータを用いて、所定の期間に亘る特定の年齢又は性別カテゴリに属する顔の検出の周期を判定し、異なるカテゴリで検出された顔の相対的な出現頻度に基づいて、販売促進用のシーケンスを選択してもよい。これに代えて、検出された顔の履歴データベースを用いて、所定の曜日の所定の日時に店舗内にいる可能性が最も高い買い物客のカテゴリを判定し、これに応じて表示する販売促進用のシーケンスを選択してもよい。

図５は、顔検出／認識モジュール１５０の出力に基づくアイドルモードとアクティブモードとの間の遷移について、図１の表示装置をどのように制御するかを説明するフローチャートである。

プラズマディスプレイ画面１３０は、初期的には、節電状態である非アクティブモード（アイドルモード）にあるが、このモードでもカメラ１１０及び顔検出／認識モジュール１５０は、パワーオン状態にあり、完全に動作することができる。ステージの５１０において、顔検出／認識モジュール１５０は、カメラ１によって人間の顔の存在を検出し、ステージ５２０において、統計解析モジュール１６０は、人間の顔が最初に検出された時刻のログを記録する。

ステージ５３０において、プロセッサ１９４は、プラズマディスプレイ画面１３０に制御信号を送り、アクティブモードを開始し、このアクティブモードでは、画面に所定の電力が供給され、宣伝用の画像／音声のシーケンスの再生が開始される。

ステージ５４０において、統計解析モジュール１６０は、カメラ１に関するローカルの人数（head count）カウントをインクリメントする。顔検出／認識モジュール１５０は、ローカルの人数カウントをインクリメントする前に、最近検出された顔を再確認し、現在検出されている顔が、同じカメラによって、最近ログに記録された顔と同じであるか否かを判定し、現在検出されている顔が最近検出された顔と同じである場合、ローカルの人数カウントは、インクリメントされない。このような相互確認を行う時間ウィンドウ（time window）は、この具体例では２時間であるが、この期間は、オペレータが制御コンピュータ６００を介して任意に設定することができる。

ステージ５５０においは、カメラ１によって捕捉された人間の顔の画像のサブセットは、後の表示及び／又は分析のために、メモリ１９２又はデータストレージ装置１９０に保存される。画像は、利用可能な記憶容量に基づいて設定された所定の周期及び品質で捕捉される。

ステージ５６０において、顔検出／認識モジュール１５０は、人間の顔がまだショット内にあるか否かを判定する。顔がまだショット内にあると判定された場合、ステージ５６２において画像捕捉が継続される。一方、人間の顔がショット内にない場合、ショットのタイマが停止され、ステージ５７０において、捕捉された画像シーケンスが顔検出／認識モジュール１５０によって分析され、カメラ１によって特定された人間の顔の総滞在時間が算出される。総滞在時間とは、顔がカメラ、したがって表示画面の方を直接（所定の公差範囲内の角度で）向いていた時間の合計である。

ステージ５７０においては、現在検出されている顔の滞在時間を含むように（全ての顔カテゴリの買い物客についての）累積的な滞在時間がインクリメントされる。ステージ５８０において、これまで検出されていた人間の顔が既にカメラのショット内になく、他の人間の顔もショット内にないと判定された場合、アイドル時間カウンタによるカウントが開始される。アイドル時間カウンタが動作している間、この具体例では５分間に設定されている最大アイドル時間が経過したか否かが判定される。この間、表示画面は、アクティブモードを維持するが、表示画面には動的な映像ではなく、静的な画像が表示される。顔検出／認識モジュール１５０によって更なる人間の顔が検出されないままアイドル時間が最大アイドル時間を超えると、プロセッサ１９４は、節電のため、ステージ５９２において、プラズマディスプレイ画面１３０を非アクティブモードにパワーダウンする。Ｐ１１この構成では、アイドル時間カウンタは、人間の顔がショット内にないと判定すると直ちにカウントを開始するが、（例えば、図３を用いて説明した）変形例においては、アイドル時間カウンタは、所定の販売促進用のシーケンスが終わった時点で、人間の顔がショット内にないと判定した場合にのみカウントを開始するようにしてもよい。

図６は、ネットワーク接続された複数の機器を制御する制御コンピュータ６００の構成を示している。制御コンピュータ６００は、店舗内に配設されているそれぞれのローカルの表示装置からダウンロードされた統計情報を照合及び分析する。なお、統計的解析は、個々の顔検出／認識モジュール１５０及び統計解析モジュール１６０を用いて、個々の表示装置において、少なくとも部分的にローカルに実行される（又は実行することができる）。

この特定の構成においては、制御コンピュータ６００は、個々のカメラからの統計情報を照合し、検出された顔の履歴データベースを保存し、複数の位置において検出された人間の顔の総合的な統計的解析を実行するために設けられている。変形例においては、制御コンピュータ６００を必要とせず、例えば、「グリッド」型コンピュータシステムを用いて、分散的に総合的な分析を実行する。

制御コンピュータ６００は、包括的人数及び人数統計解析器６１２、顔相関モジュール６１４、客経路追跡モジュール（customer path-tracking module）６１６及び購入／広告相関器６１８を含む統計解析ユニット６１０と、統計データベース６２０と、ディスプレイシーケンスレポジトリ６３０と、ローカルディスプレイ構成モジュール６４０と、入力装置６５０と、例えばリモートストレージ装置へのアクセスを提供する機能を含むネットワークインタフェース６６０とを備える。

購入／広告相関器６１８は、顧客のロイヤルティカードから情報を読み出し、そこに記録されている情報を検出するカードリーダ（図示せず）にリンクさせてもよい。カードリーダは、店舗の会計コーナに配設してもよい。

制御コンピュータ６００は、通信ネットワーク１９６を介して、ローカルディスプレイ画面と関連するカメラとに関連付けて保存されている統計情報をダウンロードし、これらの統計情報を照合及び分析した後、統計データベース６２０にこの情報を保存する。統計データベース６２０は、表示画面に関連するメモリ１９２にローカルに保存されている統計より長い期間のデータ（この実施例では、１年間の統計情報）を保存する。制御コンピュータ６００においては、各検出された顔に関する代表キースタンプ画像及び特徴的な画像パラメータの組もメモリに保存される。ディスプレイシーケンスレポジトリ６３０は、個々のプラズマディスプレイ画面についての選択的なダウンロードのために、複数の異なるプロモーション用表示シーケンスを保存する。ローカルディスプレイ構成モジュール６４０は、ソフトウェアプログラムの制御の下で自動的に、又は制御コンピュータ６００のオペレータが入力装置６５０を用いて手動で各ローカルディスプレイの構成を可能にする。

統計解析ユニット６１０において、包括的人数及び人数統計解析器６１２は、各ローカルの表示装置からの人数統計を照合し、これにより、各表示装置に注目した買い物客の人数を比較できる（以下の図８の説明参照）。各表示装置に関連するこの人数は、店舗内のプラズマディスプレイ画面１３０の位置や、実際に表示された販売促進用のシーケンスに依存する。また、包括的人数及び人数統計解析器６１２においては、例えば、所定の年齢カテゴリ又は性別カテゴリにおいて検出された顔の総数等の他の人数統計も照合される。

顔相関モジュール６１４は、個々のローカルの表示装置からのローカル顔ＩＤに関するデータを照合し、顔検出／認識モジュール１５０によって判定された特徴的な顔パラメータを比較し、異なるカメラの間で検出された所定の顔の一致を判定する。これにより、一致が検出された場合、２つ以上のカメラにおいて、所定の顔について、ローカル顔ＩＤにグローバル顔ＩＤ（global face ID）が関連付けられ及び割り当てられる。このグローバル顔ＩＤについて、各異なるカメラにおける検出時間と滞在時間が照合され、これにより、店舗内における所定の買い物客の行動が追跡され、及び各表示画面を見るために費やされた時間が算出される。客経路追跡モジュール６１６は、この情報を用いて、所定の曜日、所定の時刻、所定の季節、或いは、例えば、主要なスポーツイベントの期間、雨の日の午後、夏の日の等特定の購入「環境」において、店舗内で所定の組の買い物客が移動する可能性が最も高い経路を判定する（以下の図９の説明参照）。

購入／広告相関器６１８は、プラズマディスプレイ画面１３０において宣伝される商品の購入と、プラズマディスプレイ画面１３０における視聴イベントとをリンクさせる。購買情報は、会計時に読み取られる商品バーコードから得られる。会計コーナに設置されているカメラは、商品を購入している買い物客の顔を検出し、この買い物客の顔と、関連するプラズマディスプレイ画面１３０において最近検出された顔とを照合する。商品を購入した買い物客の顔と、関連する販売促進用のシーケンスが実際に表示されていたプラズマディスプレイ画面１３０において検出された顔とが一致した場合、その買い物客の滞在時間と共に、広告と購買の間の相関情報が登録される。また、商品棚に向けられたカメラからの情報を用いて、関連するプラズマディスプレイ画面を見ていると検出された顔ＩＤを有する買い物客が、宣伝された商品を実際に購入したか否かを判定してもよい。

また、購入／広告相関器６１８は、顧客ロイヤルティカード（customer loyalty card）の情報を分析することもできる。顧客ロイヤルティカードは、特定の個人の購入プロファイル及び／又は統計的な組分けに関する情報を保存するために用いられる。ロイヤルティカードに保存される顧客に関する情報の詳細は、店舗内のカメラからの顔検出／認識情報及び買い物客が実際に購入した、宣伝された商品に関する情報に関連付けられる。これにより、個々の買い物客の購買行動に対する広告の影響を効果的に評価することができる。このように、会計からの情報（例えば、購入された商品のバーコード、買い物客の顔の特徴、及び顧客ロイヤルティカードデータのうちの少なくとも１つを含む。）と、ローカルディスプレイ画面において検出された顔とを相関させることにより、販売促進用の映像の効果を客観的に評価できる。

店舗レイアウトと、この店舗レイアウトにおける複数の表示装置の位置とを表すＧＵＩを図７に示す。領域７１０は、商品が陳列されている棚を表し、表示画面及びこれに関連するカメラを含む個々の表示装置の位置は、例えば、アイコン７２２、７２４、７２６等のカメラアイコンによって示されている。このＧＵＩには、陳列棚に対する、及び店舗の入口／出口７４０に対する各表示画面の位置が明確に示されている。

プラズマディスプレイ画面に組み込まれているカメラ以外にも店舗の会計コーナ（又は、店舗内の他の位置）には、他のカメラ（図示せず）が設置されている。これらの会計用カメラは、買い物客の顔を検出し、この買い物客が、プラズマディスプレイ画面の１つに関して、以前に、販売促進用のシーケンスを見ていることが検出されているか否かを判定するために、商品を購入する買い物客に向けられる。更に、幾つかのカメラは、買い物客ではなく商品に向けてもよく、これにより、棚から商品を手に取るユーザの振る舞いを監視でき、及び、この情報を他のカメラからの顔検出／認識データに関連付けることができる。

図８は、図７の店舗及び表示装置のレイアウトにおける包括的な人数統計の概要を示している。図８に示すように、店舗の入口／出口７４０の付近に設置されているカメラ７２２では、最も多い２７５０人の買い物客の顔が捕捉され、店舗内の１つの角に設置されているカメラ７３０では、最も少ない２８５人の買い物客の顔が捕捉されている。

ユーザは、例えば、コンピュータマウス等の入力装置を用いてカメラのアイコンを選択することによって、ＧＵＩに表示されている各カメラに関連しているローカルの統計にアクセスできる。各カメラには、ローカルの人数と滞在時間を含むローカルの統計情報を表示するためのプルダウンメニューが関連付けられている。特定の陳列領域においては、人数及び滞在時間（買い物客による又は他の累積的滞在時間）は、対応する位置で販売されている商品及び表示装置に表示されている宣伝のメディアの両方の関数となる。このＧＵＩでは、この位置マップ上に、カラーコードを用いて、集客の程度を表すことができ、例えば、赤を用いて、人が多い「ホットスポット」を示し、青を用いて「コールドスポット」（買い物客が比較的少ない場所）を示すことができる。

図９は、図７の店舗マップ内の別の場所に位置する異なるカメラによる、同じ人間の顔の検出と認識に基づいて判定された、買い物客が移動する可能性が最も高い経路（カメラ順）を示している。最も可能性が高い経路は、客経路追跡モジュール６１６において、異なるカメラ位置における所定のグローバル顔ＩＤの検出時間を関連付け、複数の異なるグローバル顔ＩＤについて、この分析を繰り返すことによって算出される。

詳しくは、図９に示す具体例では、買い物客が移動する可能性が最も高い経路は、店舗入口の左側のカメラ７２２からカメラ７２４、続いて店舗の奥の壁に設置されているカメラ７３２、続いて店舗の右側に設置されているカメラ７３４、７２８、続いてカメラ７３６、そして、カメラ７３８から店舗のフロントを通過して、出口７４０に向かう経路である。この場合、最も可能性が高い経路は、店舗の（入口から見て）一番右手の壁に陳列されている商品を避けている。一日のうちの異なる時間帯毎に、又は異なる年齢カテゴリ、性別カテゴリ等に対応して検出された顔のサブセット毎に最も可能性が高い経路を求めてもよい。これにより、小売業者は、異なる買い物客のグループ及びこれらの買い物客が最も足を運びやすい特定の商品陳列領域に関する有益な情報を得ることができる。この情報を用いて、導出された買い物客の振る舞いに応じて、戦略的に商品を陳列することができる。

図１０は、図６の制御コンピュータ６００において、ネットワーク接続された複数の機器からの包括的な統計情報をどのように分析するかを示すフローチャートである。

ステージ１１００において、制御コンピュータ６００は、店舗内の異なる位置に取り付けられた複数台、すなわちＮ台のカメラにおいてそれぞれ検出された顔に関するローカルに保存された統計情報をネットワークからダウンロードする。ここでダウンロードされる情報としては、例えば、ローカル顔ＩＤと、各ローカル顔ＩＤに関する最初の検出日時と、特定のカメラ前における各顔ＩＤの滞在時間と、異なる時刻において異なるカメラで検出された顔の相互相関のために用いられる一組の顔照合パラメータと、商品の販売をプラズマディスプレイ画面１３０に表示させた販売促進用のシーケンスに関連付けるために用いられる、所定のローカル顔ＩＤを有する買い物客に対して表示された商品の商品ＩＤとが含まれる。

ステージ１２００において、（図８に示すように）個々のカメラのローカルの人数統計を用いて、包括的な人数統計を更新する。ステージ１３００において、異なるローカル顔ＩＤに関連している顔照合パラメータの相関を調べ、同じ顔が２つ以上のカメラで検出されているか否かを判定する。ステージ１４００において、少なくとも２つの異なるカメラにおいて、同じ顔が検出され、認識されているか否かを判定し、同じ顔が検出及び認識されている場合、ステージ１４１０において、この顔にグローバル顔ＩＤを割り当てる。

次に、処理は、ステージ１４２０に進み、ここで、各カメラにおいて顔が最初に検出された時間及び個々のプラズマディスプレイ画面１３０における滞在時間を用いて、店舗内の別の場所に設置されているカメラ間における所定のグローバル顔ＩＤを有する買い物客の経路を追跡する。ステージ１４３０において、この特定の買い物客に関する、対応する顔が検出された全てのカメラ位置における滞在時間を含む累積的な滞在時間が算出される。

ステージ１４００において、ローカル顔ＩＤが２つ以上のカメラにおいて検出された顔に対応すると判定された場合、処理演算の更なるシーケンスが実行される。詳しくは、ステージ１４５０において、顔が検出されたカメラの１つが店舗の会計コーナに向けられているカメラであるか否かが判定され、このカメラが会計コーナに向けられている場合、ステージ１４６０において、グローバル顔ＩＤは、そのグローバル顔ＩＤに対応する顔が検出された１つ以上の表示画面に表示された商品広告ＩＤに関連付けられる。ステージ１４７０において、会計コーナで買い物客が購入し、商品バーコードによって特定された商品は、商品広告ＩＤに関連付けられ、そして、ステージ１４８０において、買い物客が表示画面の前で関連する販売促進広告を見ていた滞在時間と共に、購入された商品と、買い物客が見た広告との間の相関情報が統計データベース６２０に登録される。

ここに開示した構成により、広告の有効性を判定することができる。この有効性の指標を用いて、表示装置に広告を表示する際の適切なコストを算出することができる。このような電子看板（デジタルサイネージ）方式は、店舗（ショップ）環境のみではなく、（例えば、）娯楽施設又は鉄道／バス停等、広告の表示に適した如何なる場所にも応用できる。更に、この技術は、広告のみではなく、表示される情報の分布の有効性の監視及びカスタマイズに広く応用できる。例えば、この技術は、博物館、学校、待合所等に適用してもよい。

図１１は、図７〜図９に示すネットワーク接続された表示装置からの包括的な統計の累積的な履歴を表示するＧＵＩを示している。ＧＵＩは、日時グリッド２１００を含み、日時グリッド２１００の５つの各列は、所定の日付を表し、５つの各行は、１時間毎の期間を表している。グリッド内の黒い正方形は、対応する日時に関連する、捕捉された顔の代表キースタンプ画像である。グリッドによって表示される期間は、ＧＵＩのカレンダーパネル２２００を用いて選択できる。ウィンドウ２３００には、日時グリッド２１００内の所定の正方形に関連している統計情報が表示される。

この具体例では、グリッド２１００内の左上のボックスが選択されており、このため、１月２５日の午前９時から午前１０時までの統計情報が表示されている。表示される統計情報は、その期間に全てのカメラで検出された顔の総数、男性の顔と女性の顔の割合、平均滞在時間、平均インショット時間等を含む。

図１２〜図１５ｃの図面を用いた説明は、国際特許出願番号ＰＣＴ／ＧＢ２００３／００５１８６号に開示された技術を要約するものである。ここに説明した技術的特徴の更なる詳細については、この特許文献に開示されている。ＰＣＴ／ＧＢ２００３／００５１８６に開示されている特徴は、以下の説明において特に言及しなくても、（少なくともオプションとして）本発明に基づく検出構成の特徴に共通するとみなされる。

ここでは、まず、顔検出技術について説明する。

次に、連続した画像のグループにおいて検出された顔又は顔位置を関連付ける顔「追跡」技術について説明する。

そして、最後に、顔「類似」技術について説明する。この技術は、同じカメラ又は異なる各カメラからの２つの個別に追跡された顔を関連付ける技術である。

この実施例における顔検出技術は、２つのフェーズから構成される。図１２は、トレーニングフェーズを示し、図１３は、検出フェーズを示している。ここに説明する手法（及び上述した他の手法）は、適切なソフトウェアが実行される汎用コンピュータ装置によって実現してもよい。このようなコンピュータ装置は、例えば、処理ユニットを備え、処理ユニットは、中央演算処理装置（ＣＰＵ）と、ランダムアクセスメモリ（ＲＡＭ）等のメモリと、ディスクドライブ等の不揮発性記憶装置と、他の通常の構成要素とを備える。コンピュータ装置は、ローカルエリアネットワーク又はインターネット（或いは両方）のようなネットワークに接続してもよい。コンピュータ装置は、更に、キーボードと、マウス又は他のユーザ入力デバイスと、表示画面とを備える。このソフトウェアは、記録媒体（例えば、光ディスク）及び伝送媒体（例えば、ネットワーク接続、インターネット接続又はこれらの両方）によって提供してもよい。当業者には、汎用コンピュータ装置がここで記載していない多くの他の従来の部品を含むことは、明らかである。

以前に提案された顔検出方法と異なり、この方法は、全体としてではなく顔の一部のモデリングに基づいている。顔の一部は、顔の特徴（所謂「選択サンプリング（selective sampling）」）の推定位置上の中心のブロック、又は顔の通常間隔でサンプリング（所謂「標準サンプリング（regular sampling）」）されたブロックである。ここでは、主に、経験的検定で良い結果が得られた標準サンプリングについて説明する。

トレーニング段階では、解析処理を、顔を含むことが知られている一組の画像に、及び（オプションとして）顔を含まないことが知られている画像（「顔でない画像（nonface images）」）の別のセットに適用する。この処理は、顔の異なる向き（例えば、正面、左向き、右向き）を表す顔データの複数のトレーニングセットに対して繰り返し実行することができる。解析処理は、検定画像を後で（検出段階で）比較することができる顔及び顔でない特徴の数学的モデルを構築する。

したがって、数学的モデル（図１２のトレーニング処理１０３１０）を構築するための基本的な手順は次の通りである。
１．同じ目位置を有するように正規化された顔の画像のセット１０３００の各顔を、小さいブロックに一様にサンプリングする。
２．各ブロックの属性を算出する。
３．属性を、異なる値の処理しやすい数に量子化する。
４．次に、量子化属性を、そのブロック位置に関して１つの量子化値を生成するために組み合わせる。
５．そして、１つの量子化値を、エントリとしてヒストグラム、例えば図５に示すヒストグラムに記録する。全てのトレーニング画像の全てのブロック位置に関する累積されたヒストグラム情報１０３２０は、顔の特徴の数学的モデルの基礎を形成する。

上述のステップを多数の検定顔画像について繰り返すことによって、１つのそのようなヒストグラムを、各可能なブロック位置に対して作成する。そこで、８×８ブロックの配列を用いる方式では、６４個のヒストグラムを準備する。処理の後半部において、検定する量子化属性を、ヒストグラムのデータと比較する。データをモデル化するために全部のヒストグラムを用いるという事実は、例えばガウス分布又は他の分布を後でパラメータ化するか否かと仮定する必要はないことを意味する。データ記憶空間（必要ならば）を節約するために、同じヒストグラムが異なるブロック位置に対して再生利用できるように、類似しているヒストグラムを併合することができる。

検出段階で、検定画像１０３５０を顔検出器１０３４０で処理するために、検定画像１０３４０内の連続したウィンドウを、以下のように処理する。
６．ウィンドウを、一連のブロックのように一様にサンプリングし、そして、各ブロックに関する属性を算出して、上述のステップ１〜４のように量子化する。
７．各ブロック位置の量子化属性値の対応する「確率（probability）」を、対応するヒストグラムから調べる。すなわち、各ブロック位置のそれぞれの量子化属性を生成し、そのブロック位置に関して予め生成されたヒストグラム（複数のトレーニングセットが異なる顔の向きを表している場合は、複数のヒストグラム）と比較する。ヒストグラムが「確率」データを高める方法については後述する。
８．得られる全ての確率を互いに乗算して、ウィンドウを「顔」又は「顔でない」に分類するために、閾値と比較する最終の確率を形成する。「顔」又は「顔でない」の検出結果は絶対検出よりもむしろ確率ベースの方法であることは、言うまでもない。顔を含んでいない画像を間違って「顔」として検出（所謂誤検出（false positive））してしまうことがある。また、顔を含んでいる画像を間違って「顔でない」として検出（所謂見逃し検出（false negative））してしまうこともある。あらゆる顔検出システムの目標は、誤検出の割合及び見逃し検出の割合を減らすことであるが、現在の技術では、これらの割合をゼロに減らすことは、不可能ではないとしても困難である。

上述のように、トレーニング段階において、一組の「顔でない」画像は、「顔でない」ヒストグラムの対応するセットを生成するために用いることができる。そして、顔の検出を達成するために、顔でないヒストグラムから生成される「確率」を、個々の閾値と比較し、検定ウィンドウが顔を含むためには、確率が閾値以下でなければならない。代わりに、顔でない確率に対する顔確率の比を、閾値と比較することができる。

元のトレーニングセットを例えば位置、方向、大きさ、アスペクト比、背景の風景、照明の明るさ及び周波数成分（frequency content）の変化等の「合成変化（synthetic variations）」１０３３０で処理することによって、特別な（extra）トレーニングデータを生成することができる。

顔追跡
顔追跡アルゴリズムについて説明する。追跡アルゴリズムは、画像シーケンスにおいて顔検出性能を向上させることを意図している。

追跡アルゴリズムの初期の目標は、画像シーケンスの全てのフレームにおける全ての顔を検出することである。しかしながら、時々、シーケンス内の顔が検出できないことが認められる。これらの環境で、追跡アルゴリズムは、見逃した顔検出全体で補間するように補佐することができる。

最終的に、顔追跡の目標は、画像シーケンスにおいて同じシーンに属しているフレームの各セットから有効なメタデータを出力できることである。このメタデータには、以下のものが含まれる。
・顔の数。
・各顔の「顔写真（Mugshot）」（個人の顔の画像を表す口語的な言葉、警察にファイルされている写真を照会する用語からきている）。
・各顔が最初に出現するフレーム番号。
・各顔が最後に出現するフレーム番号。
・各顔の識別（前のシーンで見られた顔に一致するか、顔のデータベースに一致したもの）
追跡アルゴリズムは、顔検出アルゴリズムの結果を用い、画像シーケンスの各フレーム上で、その開始位置として独立して実行される。顔検出アルゴリズムは時々顔を逃がす（検出しない）こともあるので、見逃した顔を内挿する（interpolating）方法は有効である。このために、顔の次の位置を予測するためにカルマンフィルタ（Kalman filter）を用い、顔追跡を助けるために、肌色マッチングアルゴリズム（skin color matching algorithm）を用いた。更に、顔検出アルゴリズムが頻繁に誤った採用の原因となるので、また、これらを排除する方法は有効である。

このアルゴリズムを、図１４に示す。

このアルゴリズムについては以下に詳細に説明するが、要約すると、入力ビデオデータ１０５４５（画像シーケンスを表す）がこの出願で説明される種類の検出器１０５４０及び肌色マッチング検出器１０５５０に供給される。顔検出器１０５４０は、各画像内で１つ以上の顔を検出することを試みる。顔が検出されると、カルマンフィルタ１０５６０が起動され、その顔の位置を追跡する。カルマンフィルタ１０５６０は、画像シーケンスにおける次の画像内で同じ顔の予測される位置を生成する。目の位置比較器１０５７０、１０５８０は、顔検出器１０５４０が次の画像内のその位置（或いは、その位置からある閾値距離の範囲内）で顔を検出したかを、検出する。顔が検出された場合、その検出された顔位置は、カルマンフィルタを更新するために用いられ、処理が続けられる。

顔が予測された位置で、或いは近くで検出されない場合、肌色マッチング回路１０５５０を用いる。肌色マッチング回路１０５５０は、厳密でない顔検出技術であり、その検出の閾値は顔検出器１０５４０よりも低く設定され、顔検出器１０５４０がその位置で顔があると検出することができないときでさえ、顔を検出する（顔があるとみなす）ことができる。肌色マッチング回路１０５５０によって「顔」が検出されると、その位置がカルマンフィルタ１０５６０に更新された位置として供給され、処理が続けられる。

顔検出器１０４５０又は肌色マッチング回路１０５５０によって一致が検出されないときは、カルマンフィルタを更新するために予測された位置を用いる。

これらの結果の全ては、判定基準（下記参照）に対する対象である。したがって、例えば、１つの正しい検出に基づきシーケンスを通して追跡される顔、及び予測の残り又は肌色検出の残りは、破棄する。

独立したカルマンフィルタは、追跡アルゴリズムにおいて各顔を追跡するために用いられる。

なお、追跡処理は、必ずしもビデオシーケンスを時間的に順方向に追跡する必要はない。画像データにアクセス可能であれば（すなわち、処理が実時間ではなく、又は画像データが時間的に継続する用途のためにバッファリングされている場合）、追跡処理を時間的に逆方向に行うこともできる。又は、第１の顔が検出された場合（多くの場合ビデオシーケンスの途中で検出される）、追跡処理は、時間的に順方向及び逆方向の両方について開始してもよい。更なる任意の処理として、追跡処理は、ビデオシーケンス全体に亘って、時間的に順方向及び逆方向の両方について実行し、これらの追跡の結果を組み合わせて（例えば）許容基準に適合する追跡された顔が、追跡が実行された何れの方向についても有効な結果として含ませてもよい。
追跡アルゴリズムの利点
顔追跡法は、以下のような３つの主な利点を有する。
・顔検出結果が得られないフレームにおいて、カルマンフィルタリング及び肌色追跡を用いることにより、見逃された顔を埋める（fill in）ことができる。これにより、画像シーケンス間に亘って、真の許容率を高めることができる。
・顔を連続的に追跡することにより、顔のリンクを提供できる。アルゴリズムは、将来のフレームにおいて検出された顔が同じ個人の顔であるか、他の個人の顔であるかを自動的に知ることができる。したがって、このアルゴリズムから、シーン内の顔の数やこれらの顔が存在するフレームに関する情報を含むシーンメタデータを容易に作成することができ、各顔の代表的な顔写真を作成することもできる。
・顔の誤検出は、画像間で連続することは希であるため、顔の誤検出率を低くすることができる。

図１５ａ〜図１５ｃは、ビデオシーケンスに適用される顔追跡を説明する図である。

具体的には、図１５ａは、連続するビデオ画像（例えば、フィールド又はフレーム）１０８１０から構成されるビデオシーン１０８００を図式的に示している。

この具体例では、画像１０８１０は、１又は複数の顔を含んでいる。詳しくは、このシーン内の全ての画像１０８１０は、画像１０８１０の図式的表現内における左上に示す顔Ａを含んでいる。更に、一部の画像１０８１０は、画像１０８１０の図式的表現内における右下に示す顔Ｂを含んでいる。

この図１５ａに示すシーンに顔追跡処理を適用したとする。顔Ａは、当然、シーン全体に亘って追跡される。１つの画像１０８２０においては、直接検出によっては顔は追跡されていないが、上述した色マッチング法及びカルマンフィルタリング法により、「見逃された（missing）」画像１０８２０の前後の両側について、検出が連続していることを示唆する。図１５ｂは、検出された、各画像内に顔Ａが存在する可能性を示し、図１５ｃは、顔Ｂに関する対応する確率を示している。顔Ａに対する追跡と、顔Ｂに対する追跡とを区別するために、各追跡には、（少なくともこのシステム内における他の追跡に関して）固有の識別番号が与えられる。

上述のシステム及びＰＣＴ／ＧＢ２００３／００５１８６に開示されたシステムでは、顔検出及び追跡において、顔が長期間に亘ってカメラから背けられた場合、又はシーンから短期間消えた場合、個人の追跡が終了する。顔がシーンに戻ると、その顔は、再び検出されるが、この場合、新たな追跡が開始され、この新たな追跡には、以前とは異なる識別（ＩＤ）番号が与えられる。

以下、所謂「顔類似（face similarity）」又は「顔照合（face matching）」技術について説明する。

顔類似の目的は、上述のような状況における、個人の同一性を維持するすることであり、これにより、（同じ個人に関連する）先の顔追跡と、後の顔追跡、又は異なるカメラによる個々の追跡を互いにリンクさせることができる。この構成においては、少なくとも原理的に、各個人には、固有のＩＤ番号が割り当てられる。個人がシーンに戻るとアルゴリズムは、顔照合技術を用いて、同じ識別番号を再び割り当てるよう試みる。

顔類似法では、新たに検出した個人の複数の顔「スタンプ」（追跡された顔を代表するよう選択された画像）と、以前に検出した個人又は他の場所で検出した個人とを比較する。なお、顔スタンプは、正方形である必要はない。システムの顔検出及び追跡コンポーネントから、１人の個人に属する複数の顔スタンプが得られる。上述のように、顔追跡処理では、検出された顔を一時的にリンクし、その個人がシーンから消えるか、カメラから長時間顔を背けない限り、ビデオフレームのシーケンス中において、これらの顔の同一性を維持する。したがって、このような追跡処理内の顔検出は、同じ個人に属するものと考えられ、その追跡処理内の顔スタンプは、１人の特定の個人の顔スタンプの「組」として用いることができる。

各顔スタンプの組においては、固定された数の顔スタンプが維持される。以下、追跡処理から顔スタンプを選択する手法を説明する。次に、２つの顔スタンプセットの「類似性測定値」について説明する。続いて、顔検出と追跡システム内において、類似法をどのように用いるかを説明する。まず、図１６を用いて、総合的な追跡システムのコンテキストにおける顔類似技術（face similarity techniques）について説明する。

図１６は、上述した顔検出及び追跡システムの技術的コンテキストに顔類似機能を追加したシステムを示している。この図面には、上述のシステム及びＰＣＴ／ＧＢ２００３／００５１８６に開示された処理の概要も示されている。

第１のステージ１２３００において、所謂「関心領域」ロジックは、画像内において、顔検出を行うべき領域を導出する。これらの関心領域において、顔検出１２３１０が行われ、顔位置が検出される。次に、顔追跡１２３２０が行われ、追跡された顔位置及びＩＤが生成される。そして、顔類似処理１２３３０において、顔スタンプの組が照合される。

顔スタンプの組のためのスタンプの選択
顔スタンプの組を生成及び維持するために、追跡処理において一時的にリンクされた複数の顔スタンプから所定数（ｎ）のスタンプが選択される。選択の基準は、以下の通りである。

１．スタンプは、色追跡又はカルマン追跡からではなく、顔検出から直接生成されている必要がある。更に、スタンプは、「正面」の顔トレーニングセットから生成されたヒストグラムデータを用いて検出された場合にのみ選択される。

２．一旦、（例えば、顔追跡を構成する画像の時間順に）最初のｎ個のスタンプが集められると、既存の顔スタンプの組と、（時間順の）追跡から得られる新たな各スタンプとの類似性（以下参照）が測定される。追跡された各顔スタンプと、スタンプの組内の残りのスタンプとの類似性も測定され、保存される。新たに得られた顔スタンプが顔スタンプの組の既存の要素より類似性が低い場合、その既存の要素は、無視され、新たな顔スタンプが顔スタンプの組に含まれる。このようにしてスタンプを選択することにより、選択処理の終わりには、顔スタンプの組内に、入手可能な最大限の変化が含まれる。これにより、顔スタンプの組は、特定の個人をより明確に代表するようになる。

１つ顔スタンプの組について集められたスタンプがｎ個より少ない場合、この組は、多くの変化を含んでおらず、したがって、個人のを明確に代表するものではない可能性が高いため、この顔スタンプの組は、類似性評価には使用されない。

この技術は、顔類似アルゴリズムだけではなく、如何なる目的の如何なる用途の代表ピクチャスタンプの組の選択にも応用できる。

例えば、この技術は、所謂顔登録（face logging）にも応用できる。例えば、カメラの前を通り過ぎたことが検出され、登録された個人を表現する必要がある場合がある。この場合、幾つかのピクチャがスタンプを用いるとよい。これらのピクチャスタンプは、できるだけ多くの変化が含まれるように、互いに可能な限り異なるものであることが理想的である。これにより、人間のユーザ又は自動顔認識アルゴリズムがその個人を認識できる機会が広がる。

類似性測定値
２つの顔追跡結果が同じ個人を表しているか否かを判定するためにこれらを比較する際に用いる、新たに遭遇した個人の顔スタンプの組（セットＢ）と、以前に遭遇した個人の顔スタンプ（セットＡ）との間の類似性の基準は、セットＡの顔スタンプからセットＢの顔のスタンプがどれ程良好に再構築できるかに基づいて定められる。セットＡの顔スタンプからセットＢの顔スタンプが良好に再構築できる場合、セットＡとセットＢの両方の顔スタンプは、同じ個人のものである可能性が高いと考えられ、したがって、新たに遭遇した個人は、以前、検出された個人と同一人物であると判定できる。

この手法は、上述した構成にも適用でき、すなわち、特定の顔追跡結果を表す顔スタンプの組として用いる顔画像の選択にも適用できる。この場合、新たに遭遇した各候補顔スタンプと、その組内の既存のスタンプとの間の類似性、及び既存の組内の各スタンプ間の類似性は、後述するように、セットＢからのスタンプと、セットＡからのスタンプとの間の類似性と同様に判定できる。

セットＢ内のスタンプは、ブロックベースの手法によって、セットＡのスタンプから再構築される。この処理図を図１７に示す。

図１７には、４つの顔スタンプ１２０００、１２０１０、１２０２０、１２０３０を含む顔スタンプセットＡが示されている（勿論、４個という個数は、図面を明瞭にするために選択しただけであり、実用段階では、当業者はこの個数を任意に選択することができる）。顔スタンプセットＢからのスタンプ１２０４０は、セットＡの４つのスタンプと比較される。

顔スタンプ１２０４０内の重複しない各ブロック２０５０は、顔スタンプセットＡのスタンプから選択されたブロックによって置換される。ブロックは、セットＡの如何なるスタンプから、及びスタンプの元のブロック位置の近隣又は検索ウィンドウ１２１００内の如何なる位置からも選択することができる。平均自乗誤差（mean squared error：ＭＳＥ）が最も小さくなるこれらの位置内のブロックが選択され、これにより、動きが推定法を用いて、再構築されているブロックが置換される（ここで好適に用いられる動き推定法は、演算負荷が軽く、且つ、明るさの変化がある場合、平均自乗誤差が最も小さくなる推定法である）。なお、ブロックは、正方形である必要はない。この実施例では、ブロック１２０６０は、スタンプ１２０００からの近接するブロックによって置換され、ブロック１２０７０は、顔スタンプ１２０１０からのブロックによって置換され、ブロック１２０８０は、顔スタンプ１２０２０からのブロックによって置換される。

顔スタンプを再構築する場合、各ブロックは、基準顔スタンプ（reference face stamp）内の対応する近隣のブロックによって置換することができる。オプションとして、この近隣のブロックに加えて、最良のブロック（best block）は、反転された基準顔スタンプ内の対応する近隣から選択してもよい。人間の顔は、略対称性を有しているため、このような処理を行うことができる。このようにして、顔スタンプの組内に存在するより多くの変化を利用できる。

用いられる各顔スタンプは、６４×６４のサイズを有し、これは、８×８のサイズのブロックに分割される。類似性測定のために用いられる顔スタンプは、システムの顔検出コンポーネントによって出力される顔スタンプより厳密にクロッピングされる。これは、類似性測定処理において、できるだけ多くの背景を除外するためである。

画像をクロッピングするために、例えば、高さ５０画素、幅４５画素等、縮小されたサイズが選択される（又は予め定められる）（ほとんどの顔が正方形でないことに対応する）。次に、このサイズの中心領域に対応する画素のグループがリサイズされ、これにより、選択された領域は、再び６４×６４ブロックに対応するようになる。この処理は、簡単な補間処理を含む。中央の非正方形領域をリサイジングして正方形のブロックに対応させることにより、リサイジングされた顔は、多少引き延ばされて見えることがある。

クロッピング領域（例えば、５０×４５画素領域）は、予め定めてもよく、又は各インスタンス内の検出された顔の属性に応じて選択してもよい。何れの場合も、６４×６４ブロックへのリサイジングは、顔スタンプがクロッピングされているか否かにかかわらず、同じ６４×６４サイズで顔スタンプが比較されることを意味する。

一旦、全体のスタンプがこのようにして再構築されると、再構築されたスタンプとセットＢからのスタンプの間で平均自乗誤差が計算される。この平均自乗誤差が低い程、この顔スタンプと、顔スタンプセットＡの間の類似度が高いと判定できる。

２つの顔スタンプの組を比較する場合、顔スタンプセットＢの各スタンプを同様に再構築し、２つの顔スタンプの組の間の類似性測定値として、結合された平均自乗誤差を用いる。

このように、このアルゴリズムは、照合すべき各個人について、複数の顔スタンプが利用可能であるという事実に基づいている。更に、このアルゴリズムは、照合すべき顔の不正確な登録に対するロバスト性を有する。

上述のシステムにおいては、類似性測定値を生成するために、既存の顔スタンプの組から新たに集められた顔スタンプの組が再構築される。他の顔スタンプの組から（ＡからＢ）顔スタンプの組を再構築することによって得られる類似性測定値は、通常、先の組から顔スタンプの組を再構築する場合（ＢからＡ）と異なる結果を示す。したがって、幾つかの状況では、既存の顔スタンプの組を新たな顔スタンプの組から再構築した場合、例えば、非常に短い追跡から既存の顔スタンプの組を集めた場合等、逆の処理を行った場合に比べて、より高い類似性測定値が導き出されることもある。したがって、同様の顔の間の併合が成功する可能性を高めるために、２つの類似性測定値を結合（例えば、平均化）してもよい。

更に可能な変形例を説明する。顔スタンプを再構築する場合、各ブロックは、基準顔スタンプからの同じサイズ、形状及び向きを有するブロックによって置換される。しかしながら、２つの顔スタンプにおいて、サブジェクトのサイズと向きが異なる場合、再構築される顔スタンプのブロックが同じサイズ、形状及び向きのブロックに対応しないため、これらの顔スタンプは、互いから良好に再構築されない。この問題は、基準顔スタンプのブロックのサイズ、形状及び向きを任意に変更できるようにすることによって解決できる。すなわち、最良のブロックは、高次の幾何学変換推定（例えば、回転、ズーム等）を用いることによって、基準顔スタンプから選択される。これに代えて、基本的な手法によって顔がスタンプを再構築する前に基準顔スタンプの全体を回転及びリサイズしてもよい。

明るさの変化に対する類似性測定値のロバスト性を高めるために、平均輝度が０となり、分散が１となるように、各顔スタンプを正規化してもよい。

オブジェクト追跡システム内の顔類似コンポーネントの使用
オブジェクト追跡により、個人がシーンから姿を消さない限り、ビデオフレームのシーケンス中において、その個人の同一性が維持される。顔類似コンポーネントの目的は、個人が一時的にシーンから消え、又はカメラから顔を背け、或いは異なるカメラによってシーンが捕捉された場合においても個人の同一が維持されるように追跡をリンクさせることである。

顔検出及びオブジェクト追跡システムの動作の間、新たな追跡が開始されるたびに、新たな顔スタンプの組の収集が開始される。新たな顔スタンプの組には、固有の（すなわち、以前に追跡された組とは異なる）ＩＤが与えられる。新たな顔スタンプの組の各スタンプが得られると、先に集められた顔スタンプの組に対する類似性測定値（Ｓ_ｉ）が算出される。以下に示すように、この類似性測定値を用いて、反復的な手法によって、先に集められた顔スタンプの組に対する、新たな顔スタンプの組の既存の要素に関する結合された類似性測定値（Ｓ_ｉ−１）が更新される。
^ｊＳ_ｉ＝０．９＊^ｊＳ_ｉ−１＋０．１＊^ｊＳ_ｉ
ここで、上付き文字ｊは、先に集められた顔スタンプの組ｊとの比較を表している。

ここで、以前に遭遇した顔スタンプの組に対する新たな顔スタンプの組の類似性がある閾値（Ｔ）を超え、新たな顔スタンプの組内の要素の数が少なくともｎ（上述の説明参照）個であった場合、新たな顔スタンプの組には、前の顔スタンプの組と同じ所定のＩＤが与えられる。次に、２つの顔スタンプの組を併合し、上述したような、同じ類似性比較法を用いて、これら２つの組に含まれる変化と同じ量の変化を可能な限り含む１つの顔スタンプの組を生成する。

新たな顔スタンプの組は、ｎ個の顔スタンプが集められる前に追跡が終了した場合、破棄される。

２つ以上の保存された顔スタンプの組について、新たな顔スタンプの組の類似性測定値が閾値Ｔを超えている場合、これは、現在の個人が、先の２人の個人に良好に一致すると考えられる。この場合、現在の個人を先の２人の個人の何れかに一致させるために、更に厳格な類似性閾値（すなわち、更に低い差分値）が必要となる。

類似性基準に加えて、他の評価基準を用いて、２つの顔スタンプの組を併合すべきか否かを決定することもできる。この評価基準は、同じ個人に属する２つの顔スタンプの組が同じ時間に重複しないという知識に基づいている。すなわち、数フレーム以上に亘るピクチャ内に（すなわち、単一のカメラの前に）同時に現れた２つの顔スタンプの組が互いに一致するとみなされることはない。但し、これらの２つの顔スタンプが異なるカメラからのピクチャにおいて同時に一致した場合、照合の問題は僅かに複雑となり、ユーザは、カメラの位置を考慮してシステムを設定する必要がある。例えば、２つのカメラが同じ又は一部が重複する位置に向けられている場合（すなわち、両方のカメラに１人の個人が撮像される可能性がある場合）、一致が許容される。一方、２つのカメラが物理的に１人の個人を同時に撮像することがあり得ない場合、同時検出による一致は許容されない。これは、共存マトリクス（co-existence matrix）を用いて、１又は複数のピクチャ内に同時に存在した全ての顔スタンプの組に関する記録を維持することによって実現される。共存マトリクスは、２つの顔スタンプの組のあらゆる組合せが共存したことがある複数のフレームを保存する。このフレームの数が少なくない、例えば１０フレーム以上である場合（幾つかのフレームに亘って、追跡が顔に定まらないまま削除されることがあることを考慮している。）２つの顔スタンプの組を同じＩＤに併合することは許可されない。ＩＤ１〜ＩＤ５が付された５人の人（追跡結果）に関する共存マトリクスの具体例を以下に示す。この具体例では、説明を明瞭にするために、１つカメラだけを考慮しているが、（上述のように）この技術は、複数のカメラに拡張可能である。

マトリクスは、以下の事実を示している。
・ＩＤ１は、合計２３４フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ１は、ＩＤ２又はＩＤ３と同時にショット内に現れたことは一度もなく、したがって、これらの個人は、将来、併合される可能性がある。ＩＤ１は、８７フレームに亘ってＩＤ４と共存しており、したがって、この個人と併合されることはない。また、ＩＤ１は、５フレームに亘ってＩＤ５と共存している。このフレーム数は、閾値フレーム数より少なく、したがって、これらの２つＩＤは、併合される可能性を残している。
・ＩＤ１は、合計５４フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ２は、ＩＤ３のみと共存しており、したがって、この個人と併合されることはない。また、ＩＤ２は、良好に一致すれば、ＩＤ１、ＩＤ４、ＩＤ５の何れかと将来併合される可能性がある。
・ＩＤ１は、合計４３フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ３は、ＩＤ２のみと共存しており、したがって、この個人と併合されることはない。また、ＩＤ２は、良好に一致すれば、ＩＤ１、ＩＤ４、ＩＤ５の何れかと将来併合される可能性がある。
・ＩＤ４は、合計１０２フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ４は、ＩＤ２又はＩＤ３と同時にショット内に現れたことは一度もなく、したがって、これらの個人は、将来、併合される可能性がある。ＩＤ４は、８７フレームに亘ってＩＤ１と共存しており、したがって、この個人と併合されることはない。また、ＩＤ４は、５フレームに亘ってＩＤ５と共存している。このフレーム数は、閾値フレーム数より少なく、したがって、これらの２つＩＤは、併合される可能性を残している。
・ＩＤ５は、合計５フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ５は、全てのフレームについて、ＩＤ１及びＩＤ４と共存したが、このフレーム数は閾値フレーム数より少ないので、ＩＤ５は、ＩＤ１及びＩＤ４の何れか一方と併合される可能性がある。また、ＩＤ５は、ＩＤ２及びＩＤ３と共存していないので、ＩＤ２又はＩＤ３と併合される可能性がある。

顔類似測定値が高いために２つのＩＤが併合されると、共存マトリクスは、これらの併合された２つのＩＤの共存情報を結合することによって更新される。この更新は、単に、２つのＩＤに対応する行の数値を加算し、続いて、２つのＩＤに対応する列の数値を加算することによって行われる。

例えば、ＩＤ５をＩＤ１に併合すると、上述した共存マトリクスは、以下のようになる。

次に、ＩＤ１がＩＤ２に併合されると、この共存マトリクスは、以下のようになる。

なお、以下の点に注意する必要がある。
・ＩＤ１は、他の更なる既存の人とも併合することはできない。
・この具体例では、２つのＩＤが併合された後は、小さい方のＩＤ番号を維持するとの規約がある。
・ＩＤがピクチャ内に存在している間は、ＩＤを併合することは許可されない。

顔スタンプの組を生成及び併合するための類似性検出処理において、顔スタンプは、通常、他の顔スタンプから複数回再構築する必要がある。これは、動きが推定法を用いて、各ブロックを何回か照合する必要があることを意味する。幾つかの動き推定法では、最初のステップとして、用いられる基準顔スタンプの如何にかかわらず、照合する必要があるブロックに関するある情報を計算する。動き推定は、何回か実行する必要があるため、この情報は、顔スタンプとともに保存してもよく、これにより、ブロックを照合するたびにこの情報を算出する必要がなくなり、処理時間が短縮される。

上述したＩＤは（照合処理の後に）、上述した「グローバル顔ＩＤ」の基礎として用いることができる。

ここでは、特定の実施例について説明したが、本発明は、これに限定されるわけではなく、本発明の範囲内で多くの変更及び追加を行うことができることは明らかである。例えば、本発明の範囲から逸脱することなく、特許請求の範囲に示す従属請求項の様々な組合せを独立請求項の特徴に加えることができる。

本発明に基づく表示装置を示す図である。 特定の位置において、カメラ及び関連する顔検出器によって捕捉された情報を表示するグラフィカルユーザインタフェースを示す図である。 顔検出器によって検出された顔カテゴリに基づいて、表示すべき画像の組を選択する処理を説明するフローチャートである。 検出された顔の年齢、性別及び表情カテゴリに基づいて、特定の画像の組を表示する処理を説明するフローチャートである。 顔検出器の出力に基づいて、アイドルモードとアクティブモードとの間の遷移について、図１の表示装置をどのように制御するかを説明するフローチャートである。 ネットワーク接続された複数の機器を制御する制御コンピュータの構成を示す図である。 店舗レイアウトと、この店舗レイアウトにおける複数の表示装置の位置とを示す図である。 図７の店舗及び表示装置のレイアウトにおける包括的な人数統計の概要を示す図である。 図７の店舗マップ内の別の場所に位置する異なるカメラによる、同じ人間の顔の検出と認識に基づいて判定された、買い物客が移動する可能性が最も高い経路を示す図である。 図６の制御コンピュータにおいて、ネットワーク接続された複数の機器からの包括的な統計情報をどのように分析するかを示すフローチャートである。 図８に示すネットワーク接続された表示装置からの包括的な統計の累積的な履歴を表示するＧＵＩを示す図である。 トレーニング処理を説明する図である。 検出処理を説明する図である。 顔検出アルゴリズムを説明する図である。 図１５ａ〜ｃは、ビデオシーンに適用される顔追跡を説明する図である。 顔検出及び追跡システムの構成を示す図である。 類似性検出技術を説明する図である。

Claims (9)

1. 画面を閲覧する閲覧者の位置に向けられた第１のカメラを有し、店舗において販売されている商品又はサービスの少なくとも１つの広告情報を示す画像を表示する画像表示装置と、
   上記店舗の会計コーナを含む他の個々の位置に向けられ、上記会計コーナにおける買い物客の画像を撮影するカメラを含む、１つ以上の更なるカメラと、
   上記各カメラによって撮像された画像内において上記買い物客及び上記閲覧者の顔を検出し、かつ、当該検出された各顔について、該顔が上記画像表示装置に向けられていた時間を示す滞在時間を検出する顔検出器と、
   上記会計コーナにおいて検出された買い物客の顔が、上記画像表示装置の閲覧者の顔としても検出されていたか否かを判定することにより、上記第１のカメラと、上記更なるカメラのうちの少なくとも１つとによってそれぞれ撮像された複数の画像内にそれぞれ出現する複数の顔を相関付ける相関検出器と、
   上記会計コーナにおいて検出された買い物客によって携帯され少なくともユーザ識別子を保存する顧客ロイヤルティカードから、当該ユーザ識別子を読み出すリーダと、
   上記ユーザ識別子と、上記検出された顔とを相関させるデータを保存するメモリと
   を備える表示システム。
2. 当該表示システムは、１つ以上の更なる画像表示装置を備え、
   上記更なるカメラのうちの少なくとも１つは、該更なる画像表示装置の閲覧者の位置に向けられていることを特徴とする請求項１記載の表示システム。
3. 上記更なるカメラのうちの少なくとも１つは、上記買い物客が販売中の商品を選択する位置に向けられ、上記画像表示装置に表示される少なくとも１つの画像は、該販売中の商品に関する画像であることを特徴とする請求項１記載の表示システム。
4. 上記買い物客によって購入された商品又はサービスが、該買い物客が上記画像表示装置において閲覧した画像に関連する商品又はサービスを含むか否かを判定するロジックを更に備える請求項１記載の表示システム。
5. 各カメラにおいて検出された顔の数を示すデータを生成するロジックを更に備える請求項１記載の表示システム。
6. 各カメラにおいて検出された顔の累積的な滞在時間を示すデータを生成するロジックを更に備える請求項１記載の表示システム。
7. ２つ以上の上記カメラにおける閲覧者の顔の検出の順序を検出するロジックを更に備える請求項１記載の表示システム。
8. 第１のカメラにより、第１の位置に設けられた表示装置を閲覧する閲覧者の画像を撮像するステップと、
   上記表示装置により、店舗において販売されている商品又はサービスの少なくとも１つの広告情報を示す画像を表示するステップと、
   上記店舗の会計コーナを含む１つ以上の他の個々の位置に向けられた１つ以上の更なるカメラにより、上記会計コーナにおける買い物客の画像を含む、上記個々の位置における上記閲覧者及び上記買い物客の画像を撮像するステップと、
   上記撮像された画像内において上記買い物客及び上記閲覧者の顔を検出するステップと、
   上記検出された各顔について、該顔が上記表示装置に向けられていた時間を示す滞在時間を検出するステップと、
   上記会計コーナにおいて検出された買い物客の顔が、上記表示装置の閲覧者の顔としても検出されていたか否かを判定することにより、上記第１のカメラと、上記更なるカメラのうちの少なくとも１つとによってそれぞれ撮像された複数の画像内にそれぞれ出現する複数の顔を相関付けるステップと、
   上記会計コーナにおいて検出された買い物客によって携帯され少なくともユーザ識別子を保存する顧客ロイヤルティカードから、当該ユーザ識別子を読み出すステップと、
   上記ユーザ識別子と、上記検出された顔とを相関させるステップと
   を有する表示方法。
9. コンピュータに、請求項８記載の表示方法の各ステップを実行させるためのプログラムを記録した記録媒体。

Images