JP6428062B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、広告の効果をより客観的、正確さを持って検証できるプロモーション効果判定技術を提供することを目的とし、ターゲティング条件に適合する対象顧客を、広告を渡すべき実験顧客と広告を渡さない制御顧客とに分ける制御条件演算手段と、実験顧客に対して広告用情報を出力する広告出力手段とを備え、また、当該実験顧客が購入する商品が広告用情報に含まれている広告対象商品であるか否かを判断するための第一演算手段と、制御顧客が購入する商品が前記広告用情報に含まれている広告対象商品であるか否かを判断するための第二演算手段と、第一演算手段及び第二演算手段の演算結果を比較する比較手段とを備えることが開示されている。

特許文献２には、視聴者の放送中のＣＭに対する反応の程度を正確かつリアルタイムで集計することを可能にすることを課題とし、放送局から顧客へ配信されるＣＭに対する顧客の反応を調査するコマーシャルメッセージ反応調査方法であり、ＣＭに対応付けられ、そのＣＭに対する反応の程度を表す反応情報を顧客が入力可能なデータ放送用コンテンツを作成し、作成したコンテンツを放送局に対して送信するステップと、放送局から顧客に対して配信されたデータ放送用コンテンツに応じて顧客から送信されてきたＣＭに対する反応情報を受信するステップとを備えていることが開示されている。

特許文献３には、精密かつ柔軟性のある放送広告の評価情報収集方式を得ることを課題とし、広告に関する評価情報を収集する調査会社は、インターネット等のネットワーク通信網により視聴者が自由にアクセス・ダウンロード可能なホームページを開設し、このホームページは、放送番組の内容や、それに付随して放送されるＣＭについての視聴者の評価・反応を通信網を介して視聴者に番組情報・ＣＭ情報・番組制作詳細情報・ＣＭ制作詳細情報・景品情報などを提供することにより、このホームページで視聴者からの各種評価情報を収集して、整理・分析し、調査会社はこの整理・分析した評価情報を放送局に有償提供し、このように、インターネット等の広く普及したネットワーク通信網を利用することにより、放送局が行っている放送に対する視聴者からの広告に関する具体的な評価を、簡便に大規模に収集することが可能となることが開示されている。

特許文献４には、ユーザ（顧客）にアプローチするためのサプライヤのプロモーション情報並びにプロモーションの実施によるユーザのレスポンス情報や、プロモーション情報とレスポンス情報との照合、分析によるプロモーション効果の検証情報を低労力にて短時間で提供できるようにすることを課題とし、プロモーション情報登録手段と、サプライヤが管理する販売企画情報データベース、販売管理情報データ、ユーザ情報データベースと、ユーザ端末機にネットワークを介して接続され、そのユーザからの注文や問い合わせやユーザの登録申請などの受け付けと、そのユーザに対してプロモーション企画など販売企画情報の提供をするデータサーバを備え、登録されたプロモーション情報やユーザレスポンス情報、プロモーション効果情報の提供サービスをすることが開示されている。

特許文献５には、視聴者自身による記入などといった作業負荷を軽減し、通常の視聴形態におけるコンテンツの視聴質の自動集計を可能とする技術の提供を目的とし、センシング装置で、視聴者についてのセンシングデータやそれを認識処理することで得られる視聴者についての認識データを収集することで、再生コンテンツに対しての視聴者の反応を示す視聴者反応データを収集し、一方、ユーザ端末で、画面操作履歴の情報を含む再生コンテンツについての視聴データを収集すると、ユーザ端末あるいは情報提供装置で、その収集した視聴者反応データとその収集した視聴データとを時間同期させて統合し、情報提供装置で、その統合データに基づいて、再生コンテンツに対しての視聴者の質的な反応を示す視聴質データを生成して、その生成した視聴質データの流通用の視聴メタデータを作成することが開示されている。

特許文献６には、広告や番組の視聴者のプライバシーを保護しつつ広告メディアや広告番組の効果をより客観的に評価できるコンテンツ評価装置及びコンテンツ評価方法を提供することを課題とし、コンテンツ評価装置は、カメラが撮影した画像から動領域を検出する動領域検出部と、該動領域が人物であるか否かを検出する人物検出部とを有する通行人物検出部と、該人物の顔を検出する顔検出処理部と、該顔の方向を検出する顔方向検出処理部とを有する注視人物検出部とを備えたシステムサーバと、通行人物検出部により検出された通行人数を算出する通行人数算出部と、注視人物検出部により検出されたコンテンツの注視人数を算出する注視人数算出部と、通行人数と注視人数とから該コンテンツの注視率を算出する注視率算出部とを備えた集計センタサーバとを有することが開示されている。

特許文献７には、閲覧者が特定の広告ディスプレイと向き合っている時間量に基づいて広告の好みを確定するビジネスシステム及び方法を提供することを課題とし、消費者が広告ディスプレイを見ている時間量を求め、一連の画像が、広告ディスプレイの正面のシーンのカメラによって取得され、一連の画像から顔が検出され、検出された顔のそれぞれについて、広告ディスプレイに対する顔の向きが求められ、特定の広告についての好みを確定できることが開示されている。

特許文献８には、宣伝広告の評価を的確に実施できる宣伝効果評価システム及びシステムに適用される装置、プログラム、広告訴求度測定装置を提供することを課題とし、商品を販売する店舗に、予め定めた宣伝広告対象商品の宣伝広告を前記店舗の営業時間内の１つ以上の時点で行うＰＯＰ装置を設け、提供される宣伝広告を視聴した人とその人の視聴時間を広告訴求度測定手段が検出し、その訴求度情報を、訴求度時系列データ書き込み手段が時系列的に記録して宣伝広告訴求度の時系列的データを作成し、前記店舗内の前記宣伝広告対象商品の売り上げ情報の時系列的データをＰＯＳ装置のＰＯＳ取引ジャーナル書き込み手段が求め、店舗サーバ装置の宣伝効果評価手段が、前記宣伝広告対象商品の売り上げ情報の時系列的データと前記宣伝広告訴求度の時系列的データとの相関関係を統計的に分析評価することが開示されている。

特許文献９には、顔検出が不完全なものであっても、精度の高い注目者数を算出でき、広告効果として測定できる広告効果測定装置を提供することを課題とし、画像入力部と、顔検出部と、顔の姿勢を表すパラメータ値を推定する顔姿勢推定部と、検出された顔の現フレームの状態を判別する状態判別部と、前記現フレームの顔状態と前検出状態記憶から渡される検出ＩＤ及び注視時間に基づいて、検出された顔の検出ＩＤと注視時間情報を付与する検出ＩＤ・注視時間付与部と、顔検出時刻、検出位置、大きさ、顔状態と、検出ＩＤ、注視時間の各情報を一時的に記憶する前検出状態記憶と、検出結果である検出時刻、検出ＩＤ、注視時間の各情報を注目者ログとして蓄積する注目者ログ記憶部と、前記注目者ログから指定期間内の注目者を計数する注目者数集計部と、集計結果を出力する結果出力部とを備えることが開示されている。

特許文献１０には、コンテンツの改善への活用が容易なコンテンツの評価を視聴ユーザの生体信号から決定可能なコンテンツ評価装置を提供することを課題とし、コンテンツ評価装置は、ユーザの脳血流と視線位置とを取得する取得部と、取得した脳血流を基にユーザの画像コンテンツに対する反応種別を識別する反応識別部と、画像コンテンツ内に含まれる画像である提供画像の表示領域と提供画像が表示領域に表示される表示時間とを含む情報である提供情報を蓄積している提供情報蓄積部と、提供情報を参照し、視線位置に基づいてユーザの提供画像への注視度を算出する注視度算出部と、評価情報テンプレートを蓄積している評価情報蓄積部と、評価情報テンプレートを参照し、注視度と反応種別とに対応する評価情報を画像コンテンツに対するユーザの評価として決定する評価情報決定部とを備えることが開示されている。

特許文献１１には、広告の有効性を良好に評価及び判定する広告システムを提供することを課題とし、システムは、ディスプレイを備えた、ディスプレイを通じて潜在顧客に広告コンテンツを提供するように構成された広告ステーションと、この広告ステーションに潜在顧客が接近すると、この潜在顧客の画像を捕捉するように構成された１つ以上のカメラとを含み、さらに、データ処理システムを含み、捕捉された画像を解析することにより、潜在顧客の視線方向及び身体姿勢方向を判定し、判定された視線方向及び身体姿勢方向に基づいて、広告コンテンツにおける潜在顧客の関心度を判定することが開示されている。

特開２０００−０５６７２０号公報 特開２００１−３５７１９１号公報 特開２００２−１０９１３９号公報 特開２００３−０３０４０４号公報 特開２００５−１４２９７５号公報 特開２００７−１８１０７０号公報 特開２００８−３０５３７９号公報 特開２００９−１４０２３８号公報 特開２００９−３０１０８５号公報 特開２０１２−２３４４０５号公報 特開２０１３−０５０９４５号公報

本発明は、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴に対して、顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を抽出する抽出手段と、前記抽出手段によって特徴を抽出した前記顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成する作成手段を具備し、前記広告は映像を用いたものであり、前記抽出手段は、前記映像の各フレーム時に対応する静止画像における特徴を抽出し、前記作成手段は、前記各フレーム時に対応する静止画像における特徴に前記教師信号による学習モデルを生成し、前記フレーム時に対応する静止画像で購入と判断される度合いが高いフレームを、前記広告の映像において購入効果のあるフレームとして判定する、又は、前記フレーム時に対応する静止画像で購入と判断される度合いが低いフレームを、前記広告の映像において購入効果のないフレームとして判定する判定手段をさらに具備することを特徴とする情報処理装置である。

請求項２の発明は、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を抽出する第２の抽出手段と、前記第２の抽出手段によって抽出された特徴を、前記作成手段によって作成された学習モデルに適用することによって、前記顧客の購入意欲を判定する判定手段を具備することを特徴とする請求項１に記載の情報処理装置である。

請求項３の発明は、前記作成手段は、レジカウンター又は店舗の出口における画像内の顧客の体又は顔の特徴と前記抽出手段によって抽出された特徴との照合結果を、前記教師信号として用いることを特徴とする請求項１又は２に記載の情報処理装置である。

請求項４の発明は、前記作成手段は、前記商品を前記顧客が触れたか否かを該商品に対する興味があるか否かを示す教師信号として用いることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置である。

請求項５の発明は、コンピュータを、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を抽出する抽出手段と、前記抽出手段によって特徴を抽出した前記顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成する作成手段として機能させ、前記広告は映像を用いたものであり、前記抽出手段は、前記映像の各フレーム時に対応する静止画像における特徴を抽出し、前記作成手段は、前記各フレーム時に対応する静止画像における特徴に前記教師信号による学習モデルを生成し、前記フレーム時に対応する静止画像で購入と判断される度合いが高いフレームを、前記広告の映像において購入効果のあるフレームとして判定する、又は、前記フレーム時に対応する静止画像で購入と判断される度合いが低いフレームを、前記広告の映像において購入効果のないフレームとして判定する判定手段としてさらに機能させるための情報処理プログラムである。

請求項１の情報処理装置によれば、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴に対して、顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成することができる。また、広告の映像において購入効果のあるフレーム、又は、購入効果のないフレームを判定することができる。

請求項２の情報処理装置によれば、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を、学習モデルに適用することによって、顧客の購入意欲を判定することができる。

請求項３の情報処理装置によれば、レジカウンター又は店舗の出口における画像内の顧客の体又は顔の特徴の照合結果を、教師信号として用いることができる。

請求項４の情報処理装置によれば、商品を顧客が触れたか否かを、その商品に対する興味があるか否かを示す教師信号として用いることができる。

請求項５の情報処理プログラムによれば、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴に対して、顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成することができる。また、広告の映像において購入効果のあるフレーム、又は、購入効果のないフレームを判定することができる。

本実施の形態（情報処理（判定）装置）の構成例についての概念的なモジュール構成図である。 本実施の形態（情報処理（学習）装置）の構成例についての概念的なモジュール構成図である。 本実施の形態（情報処理（判定・学習）装置）の構成例についての概念的なモジュール構成図である。 本実施の形態を実現した場合のシステム構成例を示す説明図である。 本実施の形態（情報処理（判定）装置）による処理例を示すフローチャートである。 本実施の形態（モニタ）による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態（情報処理（学習）装置）による処理例を示すフローチャートである。 教師信号作成モジュール内の構成例とその周辺のモジュールとの関係構成図である。 画像特徴テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 第２の教師信号作成モジュールを加えた場合の本実施の形態の構成例についての概念的なモジュール構成図である。 教師信号テーブルのデータ構造例を示す説明図である。 第３の教師信号作成モジュールを加えた場合の本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態（情報処理（判定）装置）の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、すべての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

以下の説明で用いる用語の説明をする。
二分類器とは、入力に対して排他的な２つのラベルのいずれかを付与する装置であり、例えば、“○”か“×”か等を付与するものである。例えば、サポートベクタマシン、ブースティング等がある。
学習とは、学習データを用いて上記のような二分類器を作成することである。二分類器を複数作成することにより、多分類器を構築することも可能である。
度数とは、対象となるものの個数を示す。

小売業等においては、顧客の購買意欲を刺激するために人による実演販売やキャンペーン動画の提供など様々な広告（以下、プロモーションともいう）を展開している。しかしながらプロモーションが本当に有効なものであるのかを知ることは非常に難しい。アンケート調査等で知ることはできるが、実態を必ずしも反映できているとはいえない。
本実施の形態は、顧客の画像情報を使った学習モデルを作成することにより、そのプロモーションを見ている顧客が対象商品を買うのか買わないのかを事前に予想する。また、複数の顧客の購買意欲に関する予想結果からプロモーションのどの箇所が顧客の購買意欲を活性化させるのに貢献するのか、逆にプロモーションのどの箇所が購買意欲を減退化させるのかを判定する。

図３は、本実施の形態全体を示す図である。本実施の形態は、大きく分けて情報処理（学習）装置２００と情報処理（判定）装置１００によって構成されている。情報処理（学習）装置２００は、画像特徴と教師信号の関係を表現する学習モデルを構築する装置である。情報処理（判定）装置１００は、その作成された学習モデルを用いて現在得た画像特徴が購買意欲のあるものかどうかを判定する装置である。さらに、プロモーションにおいて価値のある箇所（つまり顧客の購買意欲を高める箇所）及び価値のない又は修正すべき箇所を選択することもできる。

本実施の形態である情報処理（判定）装置１００は、機械学習された学習モデルを用いて顧客の購入意欲を判定するものであって、図１の例に示すように、人・顔検出モジュール１３０、画像特徴抽出モジュール１４０、顧客購買意欲判定モジュール１５０、プロモーション選択モジュール１６０を有している。顧客購買意欲判定モジュール１５０は、学習モデル記憶モジュール１５５を有している。また、情報処理（判定）装置１００は、プロモーション装置１１０、撮像装置１２０と接続されている。
情報処理（判定）装置１００は、例えば、プロモーションを見た顧客に購買意欲があるのか否かを事前に（つまり、実際に対象商品を購入するかどうかを判断する前に）、店員に知らせること等に用いる。
具体的には、プロモーションを見た顧客の動画像を取得しておき、実際にその顧客が対象商品を購入したかどうかを教師信号として学習モデルを作成しておく。そしてそのプロモーションを見た顧客群の動画情報から作成した学習モデルを用いて、プロモーションを見たある顧客が対象商品を購入するかどうかを事前に判断する。

プロモーション装置１１０は、撮像装置１２０、情報処理（判定）装置１００のプロモーション選択モジュール１６０と接続されている。プロモーション装置１１０は、人（販売員等）の実演販売や商品プロモーションビデオをモニタリングする巨大モニタ、スクリーン等の装置である。なお、人の実演販売（パフォーマンス）そのものであってもよい。
撮像装置１２０は、プロモーション装置１１０、情報処理（判定）装置１００の人・顔検出モジュール１３０と接続されている。撮像装置１２０は、プロモーション装置１１０を見ている顧客を撮像するための装置である。ビデオカメラ等が該当する。

人・顔検出モジュール１３０は、撮像装置１２０、画像特徴抽出モジュール１４０と接続されている。人・顔検出モジュール１３０は、撮像装置１２０によって撮像した画像データから人領域（又は顔領域）を抽出する。なお、リアルタイム性はあってもなくてもよい。
画像特徴抽出モジュール１４０は、人・顔検出モジュール１３０、顧客購買意欲判定モジュール１５０と接続されている。画像特徴抽出モジュール１４０は、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を抽出する。具体的には、画像特徴抽出モジュール１４０は、人（又は顔）と判断した領域から画像特徴を抽出する。例えば、Ｇａｂｏｒ特徴やＨａａｒ特徴、Ｈａａｒ−ｌｉｋｅ特徴などテクスチャに関連した画像特徴等を抽出する。

顧客購買意欲判定モジュール１５０は、画像特徴抽出モジュール１４０、プロモーション選択モジュール１６０と接続されている。顧客購買意欲判定モジュール１５０は、抽出した画像特徴を入力として学習モデルを使って、対象人物（顧客）に購買意欲があるか否かを判定する。つまり、顧客購買意欲判定モジュール１５０は、画像特徴抽出モジュール１４０によって抽出された特徴を、学習モデル記憶モジュール１５５内の学習モデル（後述する情報処理（学習）装置２００の学習モデル作成保存モジュール２７０によって作成された学習モデル）に適用することによって、顧客の購入意欲を判定する。この購入意欲は、広告の対象となっている商品の購入意欲としてもよい。
学習モデル記憶モジュール１５５は、後述する情報処理（学習）装置２００の学習モデル作成保存モジュール２７０によって作成された学習モデルを記憶している。顧客購買意欲判定モジュール１５０は、学習モデル記憶モジュール１５５内の学習モデルを用いて判定処理を行う。

プロモーション選択モジュール１６０は、プロモーション装置１１０、顧客購買意欲判定モジュール１５０と接続されている。プロモーション選択モジュール１６０は、複数顧客の購買意欲判定結果（顧客購買意欲判定モジュール１５０による処理結果）からプロモーションの時間単位での注目プロモーション領域を検出する。なお、プロモーション装置１１０が人の実演販売そのものである場合は、その人に対して、検出したプロモーションを、液晶ディスプレイ等の表示装置に提示するようにしてもよい。

図２は、本実施の形態（情報処理（学習）装置２００）の構成例についての概念的なモジュール構成図である。情報処理（学習）装置２００は、顧客の購入意欲を判定できるように、学習モデルを作成するものであって、図２の例に示すように、人・顔検出モジュール２３０、画像特徴抽出モジュール２４０、画像特徴ＤＢ２５０、教師信号作成モジュール２６０、学習モデル作成保存モジュール２７０を有している。
プロモーション装置２１０は、撮像装置２２０と接続されている。プロモーション装置２１０は、前述のプロモーション装置１１０と同等のものである。
撮像装置２２０は、プロモーション装置２１０、情報処理（学習）装置２００の人・顔検出モジュール２３０と接続されている。撮像装置２２０は、前述の撮像装置１２０と同等のものである。
人・顔検出モジュール２３０は、撮像装置２２０、画像特徴抽出モジュール２４０と接続されている。人・顔検出モジュール２３０は、前述の人・顔検出モジュール１３０と同等のものである。

画像特徴抽出モジュール２４０は、人・顔検出モジュール２３０、画像特徴ＤＢ２５０と接続されている。画像特徴抽出モジュール２４０は、前述の画像特徴抽出モジュール１４０と同等のものであり、商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を抽出する。
画像特徴ＤＢ２５０は、画像特徴抽出モジュール２４０、教師信号作成モジュール２６０、学習モデル作成保存モジュール２７０と接続されている。画像特徴ＤＢ２５０は、画像特徴抽出モジュール２４０によって抽出された画像特徴等を格納するデータベースである。
教師信号作成モジュール２６０は、画像特徴ＤＢ２５０、学習モデル作成保存モジュール２７０と接続されている。教師信号作成モジュール２６０は、対象としている人物（顧客）が対象商品を購入したか否かの情報を作成する。

学習モデル作成保存モジュール２７０は、画像特徴ＤＢ２５０、教師信号作成モジュール２６０、情報処理（判定）装置１００の学習モデル記憶モジュール１５５と接続されている。学習モデル作成保存モジュール２７０は、画像特徴抽出モジュール２４０によって特徴を抽出した顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成する。学習モデルの作成として、例えば、ニューラルネットワークサポートベクタマシン等を利用すればよい。また、画像特徴抽出モジュール２４０によって特徴が抽出された顧客が、プロモーションが対象としている商品を購買したか否かを示す情報を教師信号として、学習モデルを作成してもよい。そして、作成した学習モデルを、情報処理（判定）装置１００の学習モデル記憶モジュール１５５に記憶させる。
また、ここで、教師信号に関して、レジカウンター又は店舗の出口における画像内の顧客の体又は顔の特徴と画像特徴抽出モジュール２４０によって抽出された特徴との照合結果を、教師信号として用いるようにしてもよい。例えば、レジカウンターにおける画像内の顧客は購入した者とし、それ以外の顧客は購入していない者としてもよい。さらに、店舗の出口における画像内の顧客であって、それ以前のレジカウンターにおける画像内の顧客以外の顧客は、購入していない者としてもよい。この教師信号の作成処理については、図９、図１５の例を用いて後述する。
また、学習モデル作成保存モジュール２７０は、商品を顧客が触れた（手にする、手にもつ等）か否かを、その商品に対する興味があるか否かを示す教師信号として用いるようにしてもよい。この教師信号の作成処理については、図１３の例を用いて後述する。

また、広告は映像を用いたものである場合には、次のような処理を行うようにしてもよい。
画像特徴抽出モジュール２４０は、その映像の各フレーム時に対応する静止画像における特徴を抽出する。
そして、学習モデル作成保存モジュール２７０は、各フレーム時に対応する静止画像における特徴に教師信号による学習モデルを生成するようにしてもよい。
そして、その学習モデルを図１の例に示した情報処理（判定）装置１００で利用した場合、その情報処理（判定）装置１００のプロモーション選択モジュール１６０は、フレーム時に対応する静止画像で購入と判断される度合いが高いフレームを、広告の映像において購入効果のあるフレームとして判定する、又は、フレーム時に対応する静止画像で購入と判断される度合いが低いフレームを、広告の映像において購入効果のないフレームとして判定するようにしてもよい。この判定処理については、図１１、図１２の例を用いて後述する。
前述の学習モデルで、顧客の静止画像に基づいて学習しておき、そのプロモーションを見ている顧客の静止画像情報に基づいて逐次、顧客がその商品を購入しそうかしないかを判定する。多くの顧客が「購入しない」の状態から「購入する」の状態に移行する時間に対応するプロモーションがよいプロモーションだと判断する。そして、例えば、プロモーションのその部分を強調するようにしてもよい。逆に、「購入する」の状態から「購入しない」の状態に移行する時間に対応する部分のプロモーションが悪い部分のプロモーションだと判断する。そして、例えば、プロモーションのその部分を改善点として指摘するようにしてもよい。

図３は、本実施の形態（情報処理（判定・学習）装置３００）の構成例についての概念的なモジュール構成図である。
情報処理（判定・学習）装置３００は、情報処理（判定）装置１００、情報処理（学習）装置２００を有しており、一体化させたものである。つまり、情報処理（判定・学習）装置３００の情報処理（学習）装置２００が学習モデルを作成し、情報処理（判定）装置１００がその学習モデルを用いて判定処理を行う。
なお、プロモーション装置１１０とプロモーション装置２１０、撮像装置１２０と撮像装置２２０、人・顔検出モジュール１３０と人・顔検出モジュール２３０、画像特徴抽出モジュール１４０と画像特徴抽出モジュール２４０をそれぞれ有しているが、いずれか一方であってもよい。つまり、情報処理（判定）装置１００と情報処理（学習）装置２００で、それらのモジュールを共有して利用してもよい。

図４は、本実施の形態を実現した場合のシステム構成例を示す説明図である。
店舗システム４００Ａ、店舗システム４００Ｂ、店舗システム４００Ｃ、店舗システム４００Ｄ、店舗（学習）システム４１０Ａ、情報処理（判定）装置１００Ｅ、情報処理（学習）装置２００Ｂ等が通信回線２９０を介して接続されている。通信回線２９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット等であってもよい。
店舗システム４００Ａは、情報処理（判定）装置１００Ａ、プロモーション装置１１０Ａ、撮像装置１２０Ａを有している。店舗システム４００Ｂは、情報処理（判定）装置１００Ｂ、プロモーション装置１１０Ｂ、撮像装置１２０Ｂを有している。店舗システム４００Ｃは、プロモーション装置１１０Ｃ、撮像装置１２０Ｃを有している。店舗システム４００Ｄは、プロモーション装置１１０Ｄ、撮像装置１２０Ｄを有している。店舗（学習）システム４１０Ａは、情報処理（学習）装置２００Ａ、プロモーション装置２１０Ａ、撮像装置２２０Ａを有している。
例えば、各店舗内にプロモーション装置１１０、撮像装置１２０、情報処理（判定）装置１００の組み合わせ（例えば、店舗システム４００Ａ、店舗システム４００Ｂ）を有していてもよい。また、プロモーション装置１１０、撮像装置１２０の組み合わせ（例えば、店舗システム４００Ｃ、店舗システム４００Ｄ）を有して、情報処理（判定）装置１００Ｅによって判定させてもよい。その判定結果を各店舗内のパーソナルコンピュータ等の情報処理装置に送信するようにしてもよい。
また、学習モデル作成用にプロモーション装置２１０、撮像装置２２０、情報処理（学習）装置２００の組み合わせ（例えば、店舗（学習）システム４１０Ａ）を有していてもよいし、各店舗内の撮像装置１２０、撮像装置２２０から、映像を受信して、情報処理（学習）装置２００Ｂによって学習モデルを作成してもよい。そして、情報処理（学習）装置２００Ａ又は情報処理（学習）装置２００Ｂによって作成された学習モデルを情報処理（判定）装置１００Ａ、情報処理（判定）装置１００Ｂ、情報処理（判定）装置１００Ｅに送信する。
なお、図３の例に示した情報処理（判定・学習）装置３００を通信回線２９０に接続させるようにしてもよい。

図５は、本実施の形態（情報処理（判定）装置１００）による処理例を示すフローチャートである。
ステップＳ５０２では、プロモーション装置１１０が、プロモーションを開始する。具体的には、図６の例を用いて後述する。
ステップＳ５０４では、撮像装置１２０が、プロモーション装置１１０の近辺にいる顧客を撮影する。
ステップＳ５０６では、人・顔検出モジュール１３０が、画像から人又は顔の領域を検出する。
ステップＳ５０８では、画像特徴抽出モジュール１４０が、人又は顔の領域内の特徴を抽出する。
ステップＳ５１０では、顧客購買意欲判定モジュール１５０が、特徴を学習モデル記憶モジュール１５５内の学習モデルに適用して顧客の購買意欲を判定する。
ステップＳ５１２では、プロモーション選択モジュール１６０が、判定結果にしたがって、プロモーションを選択する。
ステップＳ５１４では、プロモーション選択モジュール１６０が、最後であるか否かを判断し、最後である場合は処理を終了し（ステップＳ５９９）、それ以外の場合はステップＳ５０２へ戻る。

図６は、本実施の形態（モニタ６１０）による処理例を示す説明図である。
モニタ６１０は、プロモーション装置１１０、プロモーション装置２１０の例であり、撮像装置６２０は、撮像装置１２０、撮像装置２２０の例である。
プロモーションには様々な形態があるが、ここでは、大きなモニタに対象商品のプロモーションとしてのビデオが流れているものを例にあげる。そして、このモニタ６１０で繰り返し同じプロモーションビデオが流れている場合を想定するが、例えば、複数種類のキャンペーン動画を顧客がボタン等で選択する形式のものでもよい。モニタ６１０にはビデオカメラなどの撮像装置６２０が取り付けられており、キャンペーン動画を見る顧客６００を捉えることができる。撮像対象となる顧客６００は複数人が同時に映っていてもよい。撮像装置６２０で撮像された画像は人・顔検出モジュール２３０に送られる。

図７は、本実施の形態による処理例を示す説明図である。
人・顔検出モジュール１３０、２３０は、撮像装置１２０、２２０から送られてきた画像から人や人の顔を検出するモジュールである。対象となる画像はフレーム毎に区切られた静止画像でも動画像であってもよい。人や人の顔を抽出する方法は既存技術を使うものとする。例えば、顔画像の抽出として、
非特許情報：Ｐ．Ｖｉｏｌａ ａｎｄ ＭＪ．Ｊｏｎｅｓ, ”Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ．”，ＩＪＣＶ, ５７（２）, ２００４.
人画像の抽出として、
非特許情報：Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ, ”Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ．”，ＣＶＰＲ, ２００５.
等に記載の技術を使うことによって実現できる。こうして獲得された人物領域は画像中の矩形領域として検出される。図７はその例であり、図７（Ａ）は顔領域検出の例を示しており、図７（Ｂ）は人領域検出の例を示している。例えば、画像７１０から顧客６０２の顔領域７１２、顧客６０４の顔領域７１４を抽出している。画像７２０から顧客６０６の人領域７２６、顧客６０８の人領域７２８を抽出している。

次に、選択した矩形領域から画像特徴抽出モジュール１４０、２４０において、画像特徴を抽出する。この画像特徴は、人物検出に用いた画像特徴を用いてもよいし、別の画像特徴を用いてもよい。画像特徴は、静止画フレームに対して抽出するものとし、１つの矩形領域に対して１つの画像特徴を抽出する。簡単のため、人・顔検出モジュール１３０、２３０では、特定人物が映っている間、とり逃しフレームが存在しないと仮定する。人物ＨがフレームＦ１〜Ｆｎに映っているものとし、フレームＦｉから抽出した人物画像特徴をｆｉとする。ｆ１〜ｆｎから顧客Ｈに対する画像特徴ｆ^Ｈを生成する。生成方法としては、各ｆｉの統計値（例えば、平均値、中央値、最頻値等）を取ったり、画像特徴ｆｉの特徴次元をｄとして画像特徴をｎｘｄ次元の行列Ｌとして表現し、事前にｄｘｎ次元の行列Ｋを作成することでｆ^Ｈ＝Ｋ＊Ｌとする等の方法がある。また、別の形態として、ｆ^Ｈを作成せずに、ｎ個の画像特徴ｆ１〜ｆｎをそのまま利用する手法であってもよい。
画像特徴抽出モジュール１４０で抽出した画像特徴ｆ^Ｈは、顧客購買意欲判定モジュール１５０に渡される。画像特徴抽出モジュール２４０で抽出した画像特徴ｆ^Ｈは、画像特徴ＤＢ２５０に蓄えられる。

図８は、本実施の形態（情報処理（学習）装置２００）による処理例を示すフローチャートである。
ステップＳ８０２では、プロモーション装置２１０が、プロモーションを開始する。
ステップＳ８０４では、撮像装置２２０が、プロモーション装置２１０の近辺にいる顧客を撮影する。
ステップＳ８０６では、人・顔検出モジュール２３０が、画像から人又は顔の領域を検出する。
ステップＳ８０８では、画像特徴抽出モジュール２４０が、人又は顔の領域内の特徴を抽出し、その特徴を画像特徴ＤＢ２５０に記憶させる。
ステップＳ８１０では、教師信号作成モジュール２６０が、教師信号を作成する。
ステップＳ８１２では、学習モデル作成保存モジュール２７０が、画像特徴ＤＢ２５０内の特徴と教師信号により学習モデルを作成する。
ステップＳ８１４では、学習モデル作成保存モジュール２７０が、学習モデルを各情報処理（判定）装置１００の学習モデル記憶モジュール１５５に記憶させる。

教師信号作成モジュール２６０は、実際に顧客Ｈが対象商品を購入したか否かの情報を入手するモジュールである。対象商品を購入したか否かは、顧客Ｈがレジカウンターを通過したか否かによって判定可能である。顧客Ｈを特定する手法として、例えば、次のように行ってもよい。
（１）画像特徴を使う、
（２）ポイントカード、クレジットカード等の各種カードを使う手法、
がある。
画像特徴を使う場合、既存技術である顔照合技術を使う方法が使用可能である。撮像装置６２０において撮像した顔画像とレジカウンターで撮像した顔画像とを照合し、レジカウンターにおいて顧客Ｈを特定する。また、プロモーション装置（モニタ６１０）からレジカウンターまで人物を追跡し続けることによって、顧客Ｈを認証することも可能である。
図９の例は、顔画像を用いて個人認証する場合の処理例を示している。図９は、教師信号作成モジュール２６０内の構成例とその周辺のモジュールとの関係構成図である。プロモーション装置２１０、撮像装置２２０、顔検出モジュール９３０、画像特徴抽出モジュール２４０、画像特徴ＤＢ２５０、教師信号作成モジュール２６０の関係例を示したものである。前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。なお、図９に示す例は、図２に示す例の人・顔検出モジュール２３０を顔画像を主な対象とする顔検出モジュール９３０（人・顔検出モジュール２３０内の機能のうち、顔画像に関する処理を行うモジュール）としたものであるが、人・顔検出モジュール２３０を人画像を主な対象とする人検出モジュールとしてもよい。その場合、顔検出モジュール９６４、顔照合モジュール９６６を、それぞれ人検出モジュール、人照合モジュールとすればよい。また、図９の例では顔検出モジュール９３０と画像特徴ＤＢ２５０を接続しているが、図２の例と同様に画像特徴抽出モジュール２４０を介して接続するようにしてもよいし、逆に、図２の例に示す人・顔検出モジュール２３０と画像特徴ＤＢ２５０を接続するようにしてもよい。つまり、人・顔検出モジュール２３０による処理結果を画像特徴ＤＢ２５０に記憶させるようにしてもよい。以下、照合のために顔画像を用いる場合の例を示す。

画像特徴ＤＢ２５０は、顔検出モジュール９３０、画像特徴抽出モジュール２４０、教師信号作成モジュール２６０の顔照合モジュール９６６と接続されている。画像特徴ＤＢ２５０は、顔検出モジュール９３０の処理結果である顔画像の領域、その顔画像に対する画像特徴抽出モジュール２４０による処理結果を記憶している。顔情報は、顔画像又は顔画像特徴である（顔画像特徴と前述の画像特徴ｆ^Ｈが一致する場合もありうる）。顔情報はフレーム毎に入手できるが、照合に必要な数フレーム分保存しておけばよい。
教師信号作成モジュール２６０は、レジ撮像装置９６２、顔検出モジュール９６４、顔照合モジュール９６６を有している。教師信号作成モジュール２６０による処理結果を学習モデル作成保存モジュール２７０に渡す。
レジ撮像装置９６２は、顔検出モジュール９６４と接続されている。レジ撮像装置９６２は、レジカウンターの周囲（又は購入する顧客）を撮影する。
顔検出モジュール９６４は、レジ撮像装置９６２、顔照合モジュール９６６と接続されている。顔検出モジュール９６４は、レジ撮像装置９６２によって撮影された画像から、顔検出モジュール９３０（人・顔検出モジュール２３０内の機能のうち、顔画像に関する処理）と同等の処理を行い、顔画像を検出する。
顔照合モジュール９６６は、顔検出モジュール９６４、画像特徴ＤＢ２５０と接続されている。顔照合モジュール９６６は、現在レジカウンターにいる顧客と画像特徴ＤＢ２５０にあるデータとの照合処理を行う。レジカウンターにいる顧客の画像特徴が画像特徴ＤＢ２５０のデータと一致する場合、その顧客が対象となる商品を購入したことを示す情報を画像特徴ＤＢ２５０に記憶する。

図１０に示す例は、画像特徴ＤＢ２５０に格納されているデータの一例を示す。図１０は、画像特徴テーブル１０００のデータ構造例を示す説明図である。画像特徴テーブル１０００は、顧客ＩＤ欄１０１０、顔画像特徴欄１０２０、顔画像欄１０３０、プロモーションの種類欄１０４０、画像特徴欄１０５０、購入・非購入欄１０６０を有している。顧客ＩＤ欄１０１０は、本実施の形態において、顧客を一意に識別するための情報（顧客ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。顔画像特徴欄１０２０は、その顧客ＩＤの顧客の顔画像特徴を記憶している。顔画像欄１０３０は、その顧客の顔画像を記憶している。顔画像そのものであってもよいし、その顔画像のファイル名等であってもよい。プロモーションの種類欄１０４０は、その顧客が見たプロモーションの種類を示す情報記憶している。画像特徴欄１０５０は、画像特徴を記憶している。購入・非購入欄１０６０は、プロモーションの対象としている商品毎に、購入・非購入を示す情報を記憶している。つまり、顧客が参加したプロモーションの種類とその画像特徴及び、購入又は非購入の情報が入っており、購入／非購入が確定していない場合は空欄になっている。顔画像特徴、顔画像は少なくとも１つあればよく、照合精度を向上させるため、複数の顔画像特徴及び顔画像を登録することができる。顧客がレジカウンターを通過しない場合、教師信号を画像特徴ＤＢ２５０に付与することはできない。画像特徴が画像特徴ＤＢ２５０に保存されてから予め定められた時間後に教師信号が得られない場合は、“非購入”のラベルを付与するようにしてもよい。
一方、人物照合を顔画像を用いないで、各種カードや指紋認証等を使用するようにしてもよい。この場合、次のような処理を行えばよい。顧客がプレゼンテーションを見る直前等に各種認証方法で個人を特定し、画像特徴と顧客を関連付ける。さらに、レジカウンターで精算をする際に、カード等にて個人を特定し、画像特徴と照合させる等の処理を行う。このような処理の結果、画像特徴ＤＢ２５０の中では、画像特徴と購入・非購入の対からなる学習データが作成される。

次に、学習モデル作成保存モジュール２７０は、前述の学習データを用いて学習モデル（判定モデル）を作成し、その学習モデルを保存する。教師信号が購入と非購入しかない場合、汎用的な二分類器（例えば、サポートベクタマシン、ブースティング等）を用いて、学習モデルを構築する。作成した学習モデルは、情報処理（判定）装置１００の学習モデル記憶モジュール１５５に記憶させる。例えば、サーバコンピュータのストレージ等に格納しておき、情報処理（判定）装置１００の顧客購買意欲判定モジュール１５０は、そのストレージ等から学習モデルを学習モデル記憶モジュール１５５にダウンロードする。また、対象プロモーションが複数に及ぶ場合、学習モデルはそのプロモーションの数だけ作成される。以上が情報処理（学習）装置２００の説明である。

次に情報処理（判定）装置１００について説明する。情報処理（判定）装置１００で実施することは、以下の２つである。
１）プロモーションを見ている顧客が対象商品を購入しそうか否かを予想すること、
２）プロモーションの中で良い箇所と悪い箇所を発見すること、
画像特徴抽出モジュール１４０は、対象プロモーションＰを見ている顧客の画像特徴を抽出する。使用する画像特徴の種類は学習モデル作成の時と同じものを使う。対象顧客のプロモーションＰに対する画像特徴がすでに存在する場合、対象顧客のデータは学習モデルの中で使われているので使用しない（例えば、同じプロモーションに対して複数回訪れた顧客が該当する）。得られた画像特徴を、顧客購買意欲判定モジュール１５０は、学習モデルに入力してその出力を得る。その出力値は“購入する”又は“購入しない”のいずれかを示すラベルの値である。例えば、プロモーションを見た顧客が“購入しない”と判定した場合には、その判定結果を店舗内のパーソナルコンピュータに送信し、判定結果を通知された店員はその顧客に商品を購入してもらえるようなアプローチをかけることが可能となる。

次にプロモーションの中の良い箇所・悪い箇所を特定する手法について説明する。つまり、顧客に影響を与えるプロモーションの時間位置（開始何秒後など）を特定し、プロモーションを改善するために行う処理である。
その際、学習モデルを作成するための画像特徴は、複数フレームの出力値を変換して１つにまとめたものではなく、各フレームから抽出した画像特徴を使う。つまり、あるプロモーションＰを見た顧客Ｈに対する画像フレームからの画像特徴ｆｉをすべて使うものとし、教師信号として実際に対象商品を購入したか否かを示す情報を付与するものとする。つまり、プロモーションＰ、顧客Ｈに関連付けされる画像特徴には、すべて同一のラベルが教師信号として付与される。又は、すべての画像特徴を使うのではなく、購入・非購入の判定に重要だと思われる対象フレームの後半に対する画像特徴を学習データの対象としてもよい。なお、ここでの後半とは、プロモーションの開始から予め定められた時間以降をいう。これらを用いて、学習モデルを前述の説明と同様に構成する。
次に、あるプロモーションＰを見ている顧客の画像特徴を抽出し、それを学習モデルの入力データとすることで、“購入”又は“非購入”の予想ラベルをフレーム毎に付与する。このようなデータを、複数人分収集する。図１１に示す例は、プロモーションビデオの時間軸に対して、“購入”と判定された画像（静止画像）を何枚収集できたかを示す図である。ｐ番目のフレームＦｐに対する画像特徴で“購入”と判定された度数が最も大きく、またｑ番目のフレームＦｑに対する画像特徴で“非購入”と判定された度数が最も小さいとする。このとき、Ｆｐ周辺のフレームが良いプロモーションだと判定し、Ｆｑ周辺のフレームが悪いプロモーションだと判定する。図１１の例では、度数が最大のところ、及び最小のところのみに着目したが、図１１の度数分布で極大及び極小をとる時間軸を抽出して、極大周辺のフレームは良いプロモーション、極小周辺のプロモーションは悪いプロモーションと判定するようにしてもよい。図１２に示す例では、極大値がｐ１，ｐ２，ｐ３であり、極小値がｑ１，ｑ２となっており、それぞれの極値を中心として良いフレーム、悪いフレームを判定することで、良いプロモーションと悪いプロモーションを抽出する。又は、プロモーションＰを見て良いと判定された画像の総数をフレーム数で割ったもの（特定フレームを見て“購入”と判定する平均枚数）が予め定められた閾値Ａ以上の場合、そのプロモーション自体が良いプロモーション、予め定められた閾値Ｂ未満の場合、悪いプロモーションと判定するようにしてもよい。閾値Ａと閾値Ｂは、同じ値であってもよいし、異なる値であってもよい。

以上の説明では教師信号は“購入”か“非購入”の二択であった。“非購入”でも実際に対象商品を手に取ったかなど商品に関心を示したか否かの情報は、購買意欲という観点において重要な情報である。よって、“非購入だが関心がある”という教師信号を作成し、“非購入（関心示さず）”、“非購入（関心あり）”、“購入（明らかに関心あり）”の３つの教師信号を作成する例を示す。
図１３は、第２の教師信号作成モジュール１３６０を加えた場合の本実施の形態の構成例についての概念的なモジュール構成図である。つまり、第二の教師信号を得るための説明図である。図９の例に教師信号作成モジュール１３６０を加えたものである。
教師信号作成モジュール１３６０は、商品設置場所撮像装置１３６２、顔検出モジュール１３６４、行動検出モジュール１３６６を有している。
画像特徴ＤＢ２５０は、顔検出モジュール９３０、画像特徴抽出モジュール２４０、教師信号作成モジュール２６０の顔照合モジュール９６６、教師信号作成モジュール１３６０の顔検出モジュール１３６４、行動検出モジュール１３６６と接続されている。
商品設置場所撮像装置１３６２は、顔検出モジュール１３６４、行動検出モジュール１３６６と接続されている。商品設置場所撮像装置１３６２は、商品の設置場所（商品売り場）に設置されており、その場所にいる顧客を撮影する。ここでの商品は、プロモーションの対象となっている商品であってもよい。
顔検出モジュール１３６４は、商品設置場所撮像装置１３６２、画像特徴ＤＢ２５０、教師信号作成モジュール２６０の顔照合モジュール９６６と接続されている。顔検出モジュール１３６４は、商品設置場所撮像装置１３６２によって撮影された画像から、顔検出モジュール９３０と同等の処理を行い、顔画像を検出する。
行動検出モジュール１３６６は、商品設置場所撮像装置１３６２、画像特徴ＤＢ２５０、教師信号作成モジュール２６０の顔照合モジュール９６６と接続されている。行動検出モジュール１３６６は、商品設置場所撮像装置１３６２によって撮影された画像から、対象としている商品を顧客が触れたことを検出する。

具体的に説明する。
“非購入（関心あり）”の教師信号を作成するために、対象商品設置場所にビデオカメラ等の撮像装置２２０を設置して、近づいてきた顧客の顔を検出する。先にプロモーション装置２１０を見た顧客のみを対象とする場合、画像特徴ＤＢ２５０に保存されていない顔は検出対象から省いてもよい。又は、プロモーション装置２１０を見る前に対象商品設置場所に訪れる顧客も対象にする場合、検出した顔画像特徴及び行動検出モジュール１３６６で判定した対象商品に興味があるか否かを示す情報を画像特徴ＤＢ２５０に記憶させておき、プロモーション装置２１０設置場所に、その顧客が訪れたか否かの判断を行う。行動検出モジュール１３６６では視線検出や手検出を行い、
１）対象商品に触れたか、
２）どのくらいの時間、対象商品設置場所に滞在したか、
等の情報から総合的に顧客が対象商品に興味があるか否かを判定する。
図１４に示す例は、図１３の例に示すように教師信号作成モジュール１３６０を導入したことにより、図１０の例に示した画像特徴テーブル１０００に加えて画像特徴ＤＢ２５０に記憶される情報を示す。図１４は、教師信号テーブル１４００のデータ構造例を示す説明図である。教師信号テーブル１４００は、顧客ＩＤ欄１４１０、顔画像特徴欄１４２０、顔画像欄１４３０、プロモーション（対象商品）の種類欄１４４０、関心あり・なし欄１４５０を有している。顧客ＩＤ欄１４１０は、顧客ＩＤを記憶している。顔画像特徴欄１４２０は、その顧客ＩＤの顧客の顔画像特徴を記憶している。顔画像欄１４３０は、その顧客の顔画像を記憶している。プロモーション（対象商品）の種類欄１４４０は、プロモーション（対象商品）の種類を記憶している。関心あり・なし欄１４５０は、プロモーションの対象としている商品毎に、関心あり・関心なしを示す情報を記憶している。

教師信号作成モジュール１３６０からの情報の中で、顔情報（顔画像特徴欄１４２０、顔画像欄１４３０）はプロモーション装置２１０で入手した顔情報との照合のみに必要であり、顔情報は、顔照合モジュール９６６による照合が終了すれば、画像特徴ＤＢ２５０から削除してもよい。照合の際、最終的に必要な情報は“関心ある・関心なし”に関する情報のうち、“関心がある”という情報であり、“関心がある”にもかかわらず実際に対象商品を購入しなかったという教師信号を得ることである。また、先に対象商品設置場所に行って、予め定められた時間以内に、プロモーション装置２１０に向かわない顧客は、画像特徴ＤＢ２５０から削除の対象とするようにしてもよい。
以上の処理例により、３つの教師信号からなる学習モデルを同様に作成し、プロモーションを見ている顧客の画像情報から、事前に“興味があるが購入しないだろう”という予想を得る。そして、非購入が予想される客の中から対象商品に関心がありそうな顧客を絞り込むことができる。これによって、さらに別の対応を事前に実施することができる。
また、別の処理例として顧客の分類をする際に、プロモーション装置２１０からの画像だけでなく、対象商品に関心を示したか否かの情報を教師信号作成モジュール１３６０同様の手法で入手し、“関心がありそう”に関する判定精度をさらに上昇させるようにしてもよい。
なお、学習モデルを作成する際には、所謂ｏｎｅ−ｖｓ−ａｌｌの識別器を２つ（例えば“購入”と「それ以外」の識別器、「それ以外」をさらに“関心あり”と“関心なし”の識別器）構築することによって学習モデルを作成することができる。

図１５は、第３の教師信号作成モジュール１５６０を加えた場合の本実施の形態の構成例についての概念的なモジュール構成図である。図９の例に教師信号作成モジュール１５６０を加えたものである。店舗等の出口に、ビデオカメラ等の出口撮像装置１５６２を設置して、レジカウンターを通過しないで出口から出た人物の顔情報から“非購入”のラベルを付与するようにしてもよい。
教師信号作成モジュール１５６０は、出口撮像装置１５６２、顔検出モジュール１５６４を有している。
出口撮像装置１５６２は、顔検出モジュール１５６４と接続されている。出口撮像装置１５６２は、店舗等の出口に設置されており、店舗等から出る顧客を撮影する。
顔検出モジュール１５６４は、出口撮像装置１５６２、教師信号作成モジュール２６０の顔照合モジュール９６６と接続されている。顔検出モジュール１５６４は、出口撮像装置１５６２によって撮影された画像から、顔検出モジュール９３０と同等の処理を行い、顔画像を検出する。
顔照合モジュール９６６は、顔検出モジュール９６４、画像特徴ＤＢ２５０、顔検出モジュール１５６４と接続されている。顔照合モジュール９６６は、図９の例で示した顔照合モジュール９６６の処理に加えて、顔検出モジュール１５６４によって検出された顧客の顔画像の特徴と、レジカウンターにいた顧客の顔画像の特徴が合致しない場合、顔検出モジュール１５６４によって検出された顧客は、商品を購入しなかったことを示す情報を画像特徴ＤＢ２５０に記憶する。

図１６を参照して、本実施の形態の情報処理装置のハードウェア構成例について説明する。図１６に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部１６１７と、プリンタ等のデータ出力部１６１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６０１は、前述の実施の形態において説明した各種のモジュール、すなわち、人・顔検出モジュール１３０、画像特徴抽出モジュール１４０、顧客購買意欲判定モジュール１５０、プロモーション選択モジュール１６０、人・顔検出モジュール２３０、画像特徴抽出モジュール２４０、教師信号作成モジュール２６０、学習モデル作成保存モジュール２７０、顔検出モジュール９３０、レジ撮像装置９６２、顔検出モジュール９６４、顔照合モジュール９６６、商品設置場所撮像装置１３６２、顔検出モジュール１３６４、行動検出モジュール１３６６、出口撮像装置１５６２、顔検出モジュール１５６４等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６０２は、ＣＰＵ１６０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０３は、ＣＰＵ１６０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス１６０４により相互に接続されている。

ホストバス１６０４は、ブリッジ１６０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス１６０６に接続されている。

キーボード１６０８、マウス等のポインティングデバイス１６０９は、操作者により操作される入力デバイスである。ディスプレイ１６１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１６１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１６０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、画像、画像内の顧客の人又は顔の特徴、教師信号、学習モデル等が格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１６１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１６１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１６０７、外部バス１６０６、ブリッジ１６０５、及びホストバス１６０４を介して接続されているＲＡＭ１６０３に供給する。リムーバブル記録媒体１６１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１６１４は、外部接続機器１６１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１６１４は、インタフェース１６０７、及び外部バス１６０６、ブリッジ１６０５、ホストバス１６０４等を介してＣＰＵ１６０１等に接続されている。通信部１６１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１６１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１６１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１６に示す情報処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１６に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１６に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等に組み込まれていてもよい。

また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…情報処理（判定）装置
１１０…プロモーション装置
１２０…撮像装置
１３０…人・顔検出モジュール
１４０…画像特徴抽出モジュール
１５０…顧客購買意欲判定モジュール
１５５…学習モデル記憶モジュール
１６０…プロモーション選択モジュール
２００…情報処理（学習）装置
２１０…プロモーション装置
２２０…撮像装置
２３０…人・顔検出モジュール
２４０…画像特徴抽出モジュール
２５０…画像特徴ＤＢ
２６０…教師信号作成モジュール
２７０…学習モデル作成保存モジュール
２９０…通信回線
３００…情報処理（判定・学習）装置
４００…店舗システム
４１０…店舗（学習）システム
９３０…顔検出モジュール
９６２…レジ撮像装置
９６４…顔検出モジュール
９６６…顔照合モジュール
１３６０…教師信号作成モジュール
１３６２…商品設置場所撮像装置
１３６４…顔検出モジュール
１３６６…行動検出モジュール
１５６０…教師信号作成モジュール
１５６２…出口撮像装置
１５６４…顔検出モジュール

Claims (5)

1. 商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を抽出する抽出手段と、
   前記抽出手段によって特徴を抽出した前記顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成する作成手段
   を具備し、
   前記広告は映像を用いたものであり、
   前記抽出手段は、前記映像の各フレーム時に対応する静止画像における特徴を抽出し、
   前記作成手段は、前記各フレーム時に対応する静止画像における特徴に前記教師信号による学習モデルを生成し、
   前記フレーム時に対応する静止画像で購入と判断される度合いが高いフレームを、前記広告の映像において購入効果のあるフレームとして判定する、又は、前記フレーム時に対応する静止画像で購入と判断される度合いが低いフレームを、前記広告の映像において購入効果のないフレームとして判定する判定手段
   をさらに具備することを特徴とする情報処理装置。
2. 商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を抽出する第２の抽出手段と、
   前記第２の抽出手段によって抽出された特徴を、前記作成手段によって作成された学習モデルに適用することによって、前記顧客の購入意欲を判定する判定手段
   を具備することを特徴とする請求項１に記載の情報処理装置。
3. 前記作成手段は、レジカウンター又は店舗の出口における画像内の顧客の体又は顔の特徴と前記抽出手段によって抽出された特徴との照合結果を、前記教師信号として用いる
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記作成手段は、前記商品を前記顧客が触れたか否かを該商品に対する興味があるか否かを示す教師信号として用いる
   ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. コンピュータを、
   商品の広告を行っている場所を撮影した画像内の顧客の体又は顔の特徴を抽出する抽出手段と、
   前記抽出手段によって特徴を抽出した前記顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成する作成手段
   として機能させ、
   前記広告は映像を用いたものであり、
   前記抽出手段は、前記映像の各フレーム時に対応する静止画像における特徴を抽出し、
   前記作成手段は、前記各フレーム時に対応する静止画像における特徴に前記教師信号による学習モデルを生成し、
   前記フレーム時に対応する静止画像で購入と判断される度合いが高いフレームを、前記広告の映像において購入効果のあるフレームとして判定する、又は、前記フレーム時に対応する静止画像で購入と判断される度合いが低いフレームを、前記広告の映像において購入効果のないフレームとして判定する判定手段
   としてさらに機能させるための情報処理プログラム。

Images