JP7102920B2 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。

近年、デジタルサイネージと呼ばれる表示装置の普及に伴い、デジタルサイネージを活用した種々のコンテンツ表示手法が提案されている。例えば、デジタルサイネージを閲覧する人物を撮像し、撮像画像から当該人物の属性を抽出して、属性に応じたコンテンツをデジタルサイネージに表示する技術がある（特許文献１、２参照）。

特開２０１３－２０５４３０号公報 特開２０１６－６１９５５号公報

しかしながら、特許文献１、２に係る発明は、属性に応じて表示するコンテンツを定めたルールを人手で用意しておき、当該ルールに従ってコンテンツを選択するに過ぎず、表示すべきコンテンツを自動的に決定するに至っていない。

一つの側面では、コンテンツを適切に選択することができる情報処理装置等を提供することを目的とする。

一つの側面では、情報処理装置は、複数の商品夫々に対応付けて、特定の物品の情報及びラベルと、コンテンツとを記憶する記憶部と、撮像画像から、前記特定の物品または前記商品と、当該特定の物品または当該商品を所持する人物の属性を示す属性情報とを取得する取得部と、前記取得部が取得した前記特定の物品に対応付けられている商品または取得した前記商品と、前記属性情報とに基づき、前記属性毎に前記商品の属する分類をラベル付けして所持商品の傾向を分類する分類部と、分類結果を参照して、属性情報に応じたコンテンツを選択する選択部とを備えることを特徴とする。

一つの側面では、コンテンツを適切に選択することができる。

コンテンツ配信システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 コンテンツＤＢ及び通行人ＤＢのレコードレイアウトの一例を示す説明図である。 クラスタリング処理に関する説明図である。 コンテンツ配信処理に関する説明図である。 コンテンツ配信処理の処理手順の一例を示すフローチャートである。 クラスタリング処理の処理手順の一例を示すフローチャートである。 実施の形態２の概要を示す説明図である。 実施の形態２に係るコンテンツ配信処理の処理手順の一例を示すフローチャートである。 実施の形態３に係るコンテンツ配信システムの構成例を示す模式図である。 実施の形態３に係るサーバの構成例を示すブロック図である。 会員ＤＢのレコードレイアウトの一例を示す説明図である。 実施の形態３に係るサーバが実行する処理手順の一例を示すフローチャートである。 上述した形態のサーバの動作を示す機能ブロック図である。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、コンテンツ配信システム（情報処理システム）の構成例を示す模式図である。本実施の形態では、デジタルサイネージの前を通行する通行人の属性に応じて、商品広告等のコンテンツをデジタルサイネージに配信するコンテンツ配信システムについて説明する。コンテンツ配信システムは、情報処理装置１、サイネージ（表示装置）２、及びカメラ（デバイス）３を有する。各装置は、インターネット等のネットワークＮを介して通信接続されている。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態で情報処理装置１はサーバ装置であるものとし、以下の説明では簡潔のためサーバ１と読み替える。サーバ１は、サイネージ２が表示するコンテンツを格納したデータベースを備え、サイネージ２にコンテンツを配信して表示させる。本実施の形態では、百貨店などの大型商業施設に設置されたサイネージ２にコンテンツを配信するシステムを想定し、サーバ１は、商業施設内の各店舗の商品広告をコンテンツとしてサイネージ２に配信する。後述するように、サーバ１は、カメラ３で撮像した画像から通行人の性別、年齢、体型等の複数の属性を推定すると共に、通行人が購入したと推定される商品を特定する。そしてサーバ１は、通行人の属性に基づき商品の購入傾向を分類するクラスタリングを行う。サーバ１は、カメラ３で撮像した画像から新たに通行人を認識した場合、その通行人の属性に応じて、クラスタリング結果を参照して広告すべき商品を選択し、当該商品の広告に相当するコンテンツをサイネージ２に配信して表示させる。

サイネージ２は、外部との通信が可能な表示装置であり、所謂デジタルサイネージである。サイネージ２は、上述の如く百貨店などの商業施設に設置されており、サーバ１からの配信を受けてコンテンツを表示する。

カメラ３は、サイネージ２の前を通行する通行人を撮像する撮像装置であり、例えば図１に示すように、サイネージ２上部に設置されている。なお、カメラ３は通行人を撮像可能な位置に設置されていればよく、例えばサイネージ２から離れた場所に設置されていてもよい。また、例えばカメラ３はサイネージ２の内部に設けられていてもよい。カメラ３は、通行人を撮像した画像をサーバ１に送信する。サーバ１は、カメラ３から取得した画像に基づいて通行人の年齢、性別等の属性を推定し、通行人の属性に応じたコンテンツを選択してサイネージ２に配信する。
なお、図１では便宜上、サイネージ２及びカメラ３を一台ずつのみ図示しているが、サイネージ２及びカメラ３を複数台設ける構成としてもよいことは勿論である。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための処理回路等を含み、サイネージ２等と情報の送受信を行う。

補助記憶部１４は大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、コンテンツＤＢ１４１及び通行人ＤＢ１４２を記憶している。コンテンツＤＢ１４１は、サイネージ２に配信するコンテンツを格納するデータベースである。通行人ＤＢ１４２は、サイネージ２の前を通行した通行人の情報を格納するデータベースである。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば可搬型記憶媒体に記憶された情報を読み取る読取部等を含んでもよい。

図３は、コンテンツＤＢ１４１及び通行人ＤＢ１４２のレコードレイアウトの一例を示す説明図である。コンテンツＤＢ１４１は、商品ＩＤ列、関連画像列、コンテンツ列を含む。商品ＩＤ列は、サイネージ２に表示する広告（コンテンツ）に係る商品であって、通行人が購入する商品を識別するための識別情報を記憶している。関連画像列は、商品ＩＤと対応付けて、商品に対応する特定の物品（以下の説明では便宜上、「特定物」と呼ぶ）の画像データを記憶している。特定物は、例えば商業施設内で商品を提供する各店舗の買い物袋などである。後述するように、サーバ１は、各店舗での商品提供時に付与される買い物袋を通行人が所持（所有）しているか否かを特定することで、通行人が購入した商品（店舗）を特定する。コンテンツ列は、商品ＩＤと対応付けて、商品の広告に相当するコンテンツを記憶している。

通行人ＤＢ１４２は、商品ＩＤ列、属性列を含む。商品ＩＤ列は、通行人が購入したと推定される商品に係る商品ＩＤを記憶している。属性列は、商品ＩＤと対応付けて、商品ＩＤが示す商品を購入した通行人の属性情報を記憶している。図３に示すように、属性列には、性別、年齢、体型など、通行人の複数の属性が記憶されている。

図４は、クラスタリング処理に関する説明図である。図４では、カメラ３で撮像された画像から通行人の属性を推定し、推定した属性から商品のクラスタリングを行う様子を図示している。図４を用いて、サーバ１が実行するクラスタリング処理について説明する。
サーバ１は、サイネージ２に設置されたカメラ３から、通行人を撮像した画像を取得する。図４の右上に、撮像画像の一例を示す。例えばカメラ３はサイネージ２正面を撮像範囲とし、サイネージ２の前を通行する通行人を撮像して、撮像画像をサーバ１に転送する。

サーバ１は当該画像に対する画像認識を行い、商業施設内の各店舗での商品購入により付与される特定物を通行人が所持（所有）しているか否かを判定する。この特定物は、例えば商品を提供する際に付与する買い物袋のように、通行人が購入したと推定される商品を特定可能な所有物である。例えばサーバ１は、各店舗で商品を提供する際に用いられる買い物袋の画像データを予めコンテンツＤＢ１４１に記憶しておく。サーバ１は、図４において点線矩形枠で示すように、撮像画像内で通行人が所持している物品の画像領域を認識する。そしてサーバ１は、当該画像領域に含まれる物品が、コンテンツＤＢ１４１に記憶されている特定物の画像データと一致するか否かを判定する。より詳しくは、例えばサーバ１は、物品（買い物袋）の形状、又は物品に付されている標章（不図示）を認識することで、特定物か否かを判定する。なお、サーバ１は物品の形状又は標章だけでなく、例えば物品の色などを判定基準に加えてもよい。このように、サーバ１は、通行人を撮像した画像から通行人が所持（所有）している物品を示す所有物情報を取得し、この情報を元に購入商品を特定する。

なお、サーバ１は商品に対応する特定物を通行人が所持しているか否かを判定可能であればよく、例えば商品がカバンである場合、カバン自体を認識してもよい。すなわちサーバ１は、商品自体を撮像画像から特定するようにしてもよい。

サーバ１は、同じく撮像画像に対する画像認識を行い、通行人の複数の属性を推定する。サーバ１が推定する属性は、例えば通行人の性別、年齢、体型、服装のような情報であるが、その内容は特に限定されない。サーバ１は、図４において点線矩形枠で示す特定物の画像領域以外の画像領域から、上記の各種属性を推定する。サーバ１は、各種属性について、画像から抽出される特徴量毎に属性情報を関連付けた情報を補助記憶部１４に記憶しており、撮像画像から抽出された特徴量から補助記憶部１４を参照して属性情報を認識（取得）する。例えば性別の場合、サーバ１は、顔画像の特徴量と関連付けて男女の別を記憶しており、撮像画像から抽出した顔画像の特徴量から、男女の別を認識する。年齢、体型等のその他の属性についても同様である。これによりサーバ１は、通行人の複数の属性を示す属性情報を撮像画像から取得する。

サーバ１は、撮像画像から取得した所有物情報及び属性情報に基づき、通行人の所持している特定物から特定される購入商品と、当該通行人の各種属性とを対応付けて通行人ＤＢ１４２に記憶する。サーバ１は、上述の処理を繰り返し、各通行人を撮像した画像から同様に購入商品及び属性の情報を取得して通行人ＤＢ１４２に蓄積する。

サーバ１は、通行人ＤＢ１４２に蓄積したデータに基づき、各通行人による商品の購入傾向を、通行人の属性に応じてクラスタリングする。上述の如く、通行人ＤＢ１４２には、購入商品及び属性が互いに対応付けて記憶されている。すなわち、通行人ＤＢ１４２には、属性情報に対して購入商品がラベル付けされている。サーバ１は、この属性情報を１つのラベル付き多次元特徴量として扱い、通行人の複数の属性（特徴量）に応じて商品の購入傾向を分類（クラスタリング）する。

例えばサーバ１は、撮像画像から抽出した通行人の各属性を変数とした特徴ベクトルを、ＳＯＭ（Self-Organizing Maps；自己組織化写像）の手法を用いて複数のクラスタに分類する。ＳＯＭは、ニューラルネットワークの一種であり、教師なし学習によって入力データを任意の次元へ写像する手法である。

図４下側に、特徴量空間における特徴ベクトル（ハッチングを付した丸印で図示）を自己組織化マップ上の各ユニット（六角形で図示）へと写像する様子を概念的に示す。図４左下には、各通行人の属性情報に係る特徴ベクトルを表した特徴量空間を図示している。図４右下には、特徴ベクトルを写像した２次元の自己組織化マップを図示している。なお、図４左下では便宜的に通行人の属性を３次元で表しているが、実際にはさらに多次元で表される。また、本実施の形態では自己組織化マップが２次元平面であるものとして説明するが、自己組織化マップは１次元又は３次元で表されるものであってもよい。

サーバ１は、通行人の性別、年齢、体型といった各属性で表される特徴ベクトルを入力ベクトルとして、図４右下に示す自己組織化マップ内のいずれかのユニットに写像する。ニューラルネットワークの構成について詳細な図示及び説明は省略するが、サーバ１は、特徴ベクトルを入力する入力層と、いずれのユニットに属するかを出力する競合層（出力層）との２層から成るニューラルネットワークを構築する。入力層は、例えば特徴ベクトルに係る変数の数だけ入力用のニューロンを有する。競合層は、自己組織化マップ内のユニットの数だけ出力用のニューロンを有する。

特徴ベクトルを自己組織化マップに写像するため、自己組織化マップの各ユニットには、特徴量空間と同次元の参照ベクトル（バツ印で図示）が割り与えられている。サーバ１は、特徴ベクトルを参照ベクトルと比較し、特徴量空間において最も座標が近い参照ベクトルのユニットに特徴ベクトルを変換（写像）する。これにより、いわゆる「勝者」となる自己組織化マップのユニットが決定される。この場合にサーバ１は、勝者となったユニット（競合層のニューロン）と、自己組織化マップ内で勝者ユニットの周辺に位置するユニットとに対して重み付けを行う。

サーバ１は、各通行人の属性情報について上記の特徴ベクトルの写像を行い、自己組織化マップの更新を繰り返してニューラルネットワークを構築する。これにより、図４においてハッチングの種類で表すように、属性情報が相互に類似する各通行人の特徴ベクトルは、自己組織化マップにおいて近い位置のユニット群に写像されるようになる。このように、サーバ１は、属性情報を用いた通行人（人物）の相互の類似関係に基づき、属性毎の商品購入傾向を表す自己組織化マップ上の複数のクラスタ（集合）を教師なし学習で生成する。

上述の如く、サーバ１は、属性毎に商品の購入傾向を表す複数のクラスタを生成する。サーバ１は、通行人ＤＢ１４２において各通行人の属性情報に対応付けられた購入商品の情報（商品ＩＤ）を参照して、各クラスタがいずれの店舗の商品を購入した通行人の属性を表すか、ラベル付けを行う。例えば図４に示すように、左斜め線のハッチングで示されるクラスタは、店舗Ａの買い物袋を持っていた通行人の属性が分類されたクラスタであるため、サーバ１は当該クラスタに対して「店舗Ａ」のラベル付けを行う。同様に、ドットのハッチングで示されるクラスタは、店舗Ｂの買い物袋を持っていた通行人が分類されたクラスタであるため、サーバ１は、当該クラスタに対して「店舗Ｂ」のラベル付けを行う。これによってサーバ１は、教師なし学習で生成したニューラルネットワークを利用し、各属性を有する通行人がどの店舗の商品を購入しやすいか、商品の購入傾向を分類する分類モデルを生成する。

なお、上記では一例としてＳＯＭを挙げて説明したが、本実施の形態はこれに限定されるものではなく、例えばサーバ１は、ディープラーニング、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク等のように、他のアルゴリズムを用いて商品購入傾向の分類を学習してもよい。

図５は、コンテンツ配信処理に関する説明図である。図５上側では、サイネージ２が通行人に対してコンテンツを表示する様子を図示している。図５下側では、表示コンテンツを選択するためのクラスタリングの概念図を図示している。図５に基づき、上述の学習結果を用いて通行人の属性情報に応じたコンテンツを表示する処理について説明する。
サーバ１は、上記の学習時と同様に、カメラ３から撮像画像を取得して画像認識を行う。この場合に、例えばサーバ１は、撮像画像から通行人が特定物を所持していないと認識した場合、つまり通行人が店舗での買物を済ませていない場合、当該通行人をコンテンツ出力対象者として、当該通行人に対して商品広告に相当するコンテンツを提示する。

サーバ１は、撮像画像から通行人の複数の属性を推定する。そしてサーバ１は、上記で生成した分類モデル（分類結果）を参照して、当該通行人の属性情報が、各商品に対応するクラスタのいずれに属するかを判定する。

具体的には、サーバ１は生成済みのニューラルネットワークを用いて、通行人の属性情報を自己組織化マップに写像する。図５下側に、その様子を概念的に図示してある。なお、図５では図示の便宜上、図４とは異なり、自己組織マップ上の各クラスタ（集合）をハッチングではなく太線枠で図示してある。

サーバ１は、通行人の属性をマップ上に写像した写像位置に応じて、サイネージ２に配信するコンテンツを選択する。例えば図５においてバツ印で示す位置に写像されたものとする。この場合、例えばサーバ１は、当該写像位置が店舗Ｂのクラスタに属するため、店舗Ｂの商品広告をコンテンツとして選択する。

また、サーバ１は、上記のように写像位置が属するクラスタ（店舗）に対応したコンテンツをそのまま選択するだけでなく、マップ上で写像位置が近い他のクラスタ（店舗）に対応するコンテンツを選択してもよい。例えば図５では、通行人の属性が写像された位置は、店舗Ａ、Ｃ、Ｄのクラスタに隣接している。サーバ１は、店舗Ｂだけでなく、店舗Ａ、Ｃ、Ｄの商品広告をコンテンツとして選択してもよい。

例えばサーバ１は、自己組織化マップ上での距離を、クラスタ毎の類似度（類似関係）を表す評価値として用いて、通行人の属性を写像した写像位置と各クラスタとの距離からコンテンツを選択する。例えばサーバ１は、通行人の属性の写像位置と各クラスタとの類似度（距離）を算出し、類似度が閾値以上のクラスタを、通行人の商品購入傾向と類似するクラスタと判定する。サーバ１は、類似すると判定したクラスタの商品広告をコンテンツとして選択する。

サーバ１は、上記のようにして選択したクラスタに対応するコンテンツをコンテンツＤＢ１４１から読み出し、サイネージ２に配信（出力）する。サイネージ２は、サーバ１から配信されたコンテンツを表示する。これによりサイネージ２は、当該通行人と属性が類似する人物が買物をした店舗の商品広告を提示することができ、効果的な販売促進を行うことができる。また、サーバ１は、通行人（コンテンツ出力対象者）と属性が類似する他の通行人（人物）が商品を実際に購入した店舗の広告だけでなく、自己組織化マップによって購入傾向が類似するであろうと予測される他の店舗の広告も提示することができ、さらに効果的な販売促進を行うことができる。

なお、上記では特定物（買い物袋等）を所持していない通行人に対してコンテンツを表示するものとして説明したが、後述する実施の形態３のように、特定物を所持している通行人に対してもコンテンツを表示してもよいことは勿論である。

図６は、コンテンツ配信処理の処理手順の一例を示すフローチャートである。図６に基づき、サーバ１が実行するコンテンツ配信処理の処理内容について説明する。
サーバ１の制御部１１は、通行人を撮像した撮像画像をカメラ３から取得する（ステップＳ１１）。制御部１１は撮像画像に対する画像認識を行う（ステップＳ１２）。

制御部１１は、画像認識の結果、商品に対応する特定物を通行人が所持（所有）しているか否かを判定する（ステップＳ１３）。例えば制御部１１は、上述の如く、商品の提供時に通行人（人物）に付与される買い物袋、あるいは商品自体などを撮像画像から特定する。例えば制御部１１は、撮像画像の一部の画像領域から通行人の所有物を認識し、所有物の形状、所有物に付されている標章等を特定することで、通行人が買い物袋を所持しているか否かを判定する。

特定物を所持していないと判定した場合（Ｓ１３：ＮＯ）、制御部１１は、撮像画像から、通行人（コンテンツ出力対象者）の性別、年齢、体型等の複数の属性を推定する（ステップＳ１４）。制御部１１は、推定した複数の属性に基づき、通行人に提示するコンテンツを選択する（ステップＳ１５）。具体的には上述の如く、制御部１１は、特定物を所持していた通行人の属性を自己組織化マップに写像することで、商品の購入傾向を通行人の属性毎に分類した分類モデル（ニューラルネットワーク）を生成しておく。制御部１１は、この分類モデルを参照して、特定物を所持していない通行人（コンテンツ出力対象者）の属性を自己組織化マップに写像することで、当該通行人の商品購入傾向を複数のクラスタ（集合）のいずれかに分類する。制御部１１は、当該通行人の属性が写像されたマップ上の写像位置と、各クラスタとのマップ上での距離を算出することで、クラスタ毎の類似度（類似関係）を算出する。制御部１１は、例えば類似度が閾値以上（距離が閾値以下）のクラスタを選択する等して、類似関係に基づくコンテンツの選択を行う。制御部１１は、選択したコンテンツをコンテンツＤＢ１４１から読み出し、サイネージ２に出力（配信）して表示させる（ステップＳ１６）。制御部１１は、一連の処理を終了する。

特定物を所持していると判定した場合（Ｓ１３：ＹＥＳ）、制御部１１は、撮像画像において、ステップＳ１３で特定物を特定した画像領域以外の画像領域から、通行人の複数の属性を推定する（ステップＳ１７）。制御部１１は、特定物により通行人が購入したと推定される商品を示す情報（例えば商品ＩＤ）と、通行人の複数の属性を示す属性情報とを対応付けて通行人ＤＢ１４２に記憶する（ステップＳ１８）。制御部１１は、一連の処理を終了する。

図７は、クラスタリング処理の処理手順の一例を示すフローチャートである。図７に基づき、サーバ１が実行するクラスタリング処理の処理内容について説明する。
サーバ１の制御部１１は、通行人ＤＢ１４２から、通行人が購入したと推定される商品の情報と、当該通行人の複数の属性を示す属性情報とを読み出す（ステップＳ３１）。例えば制御部１１は、上述の如く、通行人が所持していた特定物から特定された商品の商品ＩＤと、当該ＩＤに対応付けて記憶されている通行人の性別、年齢、体型等の属性情報とを読み出す。

制御部１１は、ステップＳ３１で取得した商品及び属性に係る情報に基づき、属性毎の商品購入傾向を分類するクラスタリングを行う（ステップＳ３２）。例えば制御部１１は、上述の如く、ＳＯＭを用いたクラスタリングを行う。制御部１１は、各通行人の複数の属性で表される特徴ベクトルを自己組織化マップに写像することで、各通行人の相互の類似関係に基づく複数のクラスタ（集合）を生成する。そして制御部１１は、各通行人が所持していた特定物より特定した購入商品を、各クラスタを表す出力値としてラベル付けすることで、通行人による商品の購入傾向を属性毎に分類する分類モデルを生成する。制御部１１は、一連の処理を終了する。

なお、上記ではサーバ１がネットワークＮを介してサイネージ２にコンテンツを配信するシステムについて説明したが、ローカル装置（例えばパーソナルコンピュータ）が上述の各店舗の商品に係るコンテンツを記憶しておき、サイネージ２にコンテンツを出力するようにしてもよい。

また、上記ではデジタルサイネージにおいてコンテンツを表示する形態について述べたが、本実施の形態はこれに限定されるものではなく、後述の実施の形態３のように、コンテンツ出力対象者が所有する端末装置等にコンテンツを配信してもよい。また、配信コンテンツは画像に限定されず、例えば音声などであってもよい。

以上より、本実施の形態１によれば、サーバ１は、通行人（人物）が所有する特定物（物品）を示す所有物情報と、通行人の複数の属性を示す属性情報とを取得し、属性毎の商品購入傾向を分類（クラスタリング）し、分類結果を参照して通行人（コンテンツ出力対象者）の属性に応じたコンテンツを選択する。サーバ１は、購入品情報及び属性情報からコンテンツ選択の際に用いるクラスタを自動的に生成することから、人手で作成された複雑なルールを予め用意する必要なく、適切なコンテンツを選択して通行人に提示することができる。

また、本実施の形態１によれば、ＳＯＭを用いてクラスタリングを行うことで、教師なし学習で商品の分類を行うことができる。

また、本実施の形態１によれば、ＳＯＭを用いたクラスタリングにより、各クラスタ（集合）の類似関係を算出し、算出した類似関係に応じてコンテンツを選択することができる。従って、サーバ１は、通行人（コンテンツ出力対象者）と属性が類似する他の通行人が商品を実際に購入した商品のコンテンツだけでなく、自己組織化マップによって購入傾向が類似するであろうと予測される他の商品のコンテンツも提示することができる。

また、本実施の形態１によれば、サーバ１は、カメラ３で撮像された画像から商品に対応する特定物（買い物袋、又は商品自体等）を特定すると共に、当該画像から通行人の属性を推定し、クラスタリングを行う。これにより、サーバ１は上記の購入品情報及び属性情報を適切に取得し、クラスタリングを行うことができる。

また、本実施の形態１によれば、サーバ１は商品を入れる買い物袋を特定物として認識することで、商品の出所（店舗）を適切に判別し、クラスタリングを行うことができる。

また、本実施の形態１によれば、サーバ１は、カメラ３に対応する位置に設置されたサイネージ２にコンテンツを出力することで、より適切な態様でコンテンツの提示を行うことができる。

（実施の形態２）
本実施の形態では、買い物袋等の特定物を所持している通行人に対し、特定物を所持していない通行人とは異なるコンテンツを提示する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図８は、実施の形態２の概要を示す説明図である。図８では、実施の形態１における図５と対比して、商品を入れた買い物袋等の特定物を所持している通行人、つまり買物を済ませた通行人に対し、買物をしていない通行人とは異なるコンテンツを表示している様子を図示している。

本実施の形態でサイネージ２は、買い物袋等の特定物を所持していない通行人だけでなく、特定物を所持している通行人に対してもコンテンツを表示する。この場合にサイネージ２は、特定物の所持の有無に基づき、属性が類似する通行人であっても異なるコンテンツを表示する。

例えばサイネージ２は、通行人が買い物袋等を所持しておらず、まだ買物を行っていない状態であると推定される場合、通行人を店舗に誘導するためのコンテンツを表示する（図５参照）。一方で、例えばサイネージ２は、買い物袋等を所持している通行人に対し、再来店を誘導するためのコンテンツを表示する。例えば図８に示すように、サイネージ２は、今後の商品のセール予定などの情報を表示する。なお、コンテンツの内容は特に限定されるものではなく、特定物の所持の有無に応じて異なればよい。

例えばサーバ１は、各商品の商品ＩＤと対応付けて、特定物の所持の有無に応じた２通り以上のコンテンツをコンテンツＤＢ１４１に用意しておく。サーバ１は、カメラ３から取得した撮像画像によって特定物の所持の有無を判定し、判定結果に応じて異なるコンテンツを選択し、サイネージ２に配信する。このように、本システムでは通行人の属性だけでなく、通行人の状況に応じてコンテンツを変更することで、より適切な販売促進を行うことができる。

なお、上記でサーバ１は特定物の所持の有無に基づきコンテンツを変更したが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、時間帯に応じてコンテンツを変更してもよい。このように、コンテンツの選択基準は特定物の所持の有無に限定されず、その他の情報を基準としてもよい。

図９は、実施の形態２に係るコンテンツ配信処理の処理手順の一例を示すフローチャートである。図９に基づき、本実施の形態におけるコンテンツ配信処理の処理内容について説明する。
通行人が特定物を所持していると判定し（Ｓ１３：ＹＥＳ）、ステップＳ１７、Ｓ１８の処理を実行した後、サーバ１の制御部１１は以下の処理を実行する。制御部１１は、通行人の属性情報に基づき、特定物を所持していない通行人に対して提示するコンテンツとは異なるコンテンツを選択する（ステップＳ２０１）。例えば上述の如く、制御部１１は、通行人の再来店を促すコンテンツ（広告）をコンテンツＤＢ１４１から選択する。制御部１１は当該コンテンツをサイネージ２に出力し（ステップＳ２０２）、一連の処理を終了する。

以上より、本実施の形態によれば、商品に対応する特定物（例えば店舗の買い物袋等）の所持の有無に応じて異なるコンテンツを選択し、通行人に提示する。これにより、すでに商品を購入済みの通行人に対して適切なコンテンツを提示し、さらなる商品の販売促進を図ることができる。

（実施の形態３）
実施の形態１では、サイネージ２にコンテンツを配信し、不特定多数の通行人に対してコンテンツを提示する形態について述べた。本実施の形態ではサイネージ２ではなく会員顧客が所持する端末４にコンテンツを配信し、実店舗、オンラインストア等の会員顧客向けにコンテンツを提示する形態について述べる。
図１０は、実施の形態３に係るコンテンツ配信システムの構成例を示す模式図である。本実施の形態に係るコンテンツ配信システムは、サイネージ２及びカメラ３に代えて、端末（デバイス）４、４、４…を有する。端末４は、実店舗やオンラインストアを利用する所定の会員顧客が所持している端末装置であり、例えばスマートフォン、パーソナルコンピュータ、タブレット端末等である。本実施の形態でサーバ１は、端末４を介して事前登録された属性情報を含む会員情報と、商品の購入履歴を含む会員の決済情報とに基づいて、各会員の端末４に商品広告などのコンテンツを配信する。

図１１は、実施の形態３に係るサーバ１の構成例を示すブロック図である。本実施の形態でサーバ１の補助記憶部１４は、通行人ＤＢ１４２に代えて会員ＤＢ１４３を記憶している。会員ＤＢ１４３は、各会員の会員情報及び決済情報を格納するデータベースである。

図１２は、会員ＤＢ１４３のレコードレイアウトの一例を示す説明図である。会員ＤＢ１４３は、会員ＩＤ列、氏名列、アドレス列、属性列、決済列を含む。会員ＩＤは、各会員を識別するための識別情報を記憶している。氏名列は、会員ＩＤと対応付けて、会員の氏名を記憶している。アドレス列は、会員ＩＤと対応付けて、会員のメールアドレスを記憶している。属性列は、会員ＩＤと対応付けて、会員の性別、年齢等の属性情報を記憶している。決済列は、会員ＩＤと対応付けて、会員による商品の決済履歴（決済情報）を記憶している。

上述の如く、本実施の形態でサーバ１は、会員の氏名、属性等を含む会員情報と、会員が購入した商品、決済額等を含む決済情報とを、会員ＩＤに対応付けて会員ＤＢ１４３に記憶している。すなわち、サーバ１は、会員が購入により所有する商品（物品）と、当該会員の属性とを対応付けて記憶している。サーバ１は当該情報に基づき、会員の属性に基づく商品購入傾向のクラスタリングを行う。具体的には実施の形態１と同様に、サーバ１は、ＳＯＭ等の手法を用いて教師なし学習を行う。

サーバ１はクラスタリング結果に基づき、各会員の属性に応じたコンテンツを端末４に配信する。このように、サーバ１はデジタルサイネージにおいて通行人にコンテンツを提示するだけでなく、各会員に直接的にコンテンツを提示し、商品の販売促進を行うことができる。

図１３は、実施の形態３に係るサーバ１が実行する処理手順の一例を示すフローチャートである。図１３に基づき、本実施の形態においてサーバ１が実行する処理内容について説明する。
サーバ１の制御部１１は、各会員の会員情報及び決済情報を会員ＤＢ１４３から読み出す（ステップＳ３０１）。会員情報は、各会員が登録してある情報であって、会員の複数の属性を示す属性情報を含む。決済情報は、各会員による商品購入の決済履歴であって、会員が購入により所有する商品（物品）を示す情報（所有物情報）を含む。制御部１１は、会員情報及び決済情報に基づき、会員に提供する商品の購入傾向を属性毎に分類（クラスタリング）する（ステップＳ３０２）。具体的には、制御部１１は実施の形態１と同様に、ＳＯＭ等によるクラスタリングを行う。制御部１１は、会員情報に含まれる会員の属性情報を特徴ベクトルとして自己組織化マップに写像する機械学習を行い、会員が購入により所有する商品（物品）を各クラスタに係る出力値としてラベル付けすることで、会員の属性毎に商品の購入傾向に分類するニューラルネットワークを構築する。

制御部１１は、ステップＳ３０２の分類結果を参照して、各会員の属性情報に基づき、各会員の端末４に配信するコンテンツを選択する（ステップＳ３０３）。制御部１１は、選択したコンテンツを各会員の端末４に出力（配信）し（ステップＳ３０４）、一連の処理を終了する。

以上より、本実施の形態３によれば、実施の形態１のように撮像画像から抽出した情報に基づくクラスタリングだけでなく、会員の会員情報及び決済情報から同様にクラスタリングを行い、適切なコンテンツを選択して出力することができる。

また、本実施の形態３によれば、会員が所有する端末４にコンテンツを出力（配信）することで、個々の会員に向けて適切にコンテンツを提示することができる。

（実施の形態４）
図１４は、上述した形態のサーバ１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、サーバ１は以下のように動作する。
記憶部１４０１は、複数の商品夫々に対応するコンテンツを記憶する。取得部１４０２は、人物が所有する物品を示す所有物情報と、前記人物の属性を示す属性情報とを取得する。分類部１４０３は、前記物品に対応する前記商品と、前記属性情報とに基づき、前記属性毎の商品購入傾向を分類する。選択部１４０４は、分類結果を参照して、前記属性情報に応じた前記コンテンツを選択する。

本実施の形態４は以上の如きであり、その他は実施の形態１から３と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ コンテンツＤＢ
１４２ 通行人ＤＢ
１４３ 会員ＤＢ
２ サイネージ（表示装置）
３ カメラ（デバイス）
４ 端末（デバイス）

Claims (16)

1. 複数の商品夫々に対応付けて、特定の物品の情報及びラベルと、コンテンツとを記憶する記憶部と、
   撮像画像から、前記特定の物品または前記商品と、当該特定の物品または当該商品を所持する人物の属性を示す属性情報とを取得する取得部と、
   前記取得部が取得した前記特定の物品に対応付けられている商品または取得した前記商品と、前記属性情報とに基づき、前記属性毎に前記商品の属する分類をラベル付けして所持商品の傾向を分類する分類部と、
   分類結果を参照して、属性情報に応じたコンテンツを選択する選択部と
   を備えることを特徴とする情報処理装置。
2. コンテンツ出力対象者の属性情報を取得する属性取得部と、
   前記コンテンツ出力対象者の属性情報に応じて、前記選択部が選択した前記コンテンツを出力する出力部と
   を備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記取得部は、
   所定位置に設置された撮像装置から、前記人物を撮像した画像を取得し、
   該画像から前記特定の物品または前記商品と、前記属性情報とを取得する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記記憶部は、特徴量毎に前記属性情報を関連付けた情報を有し、
   前記取得部は、前記画像から抽出する前記人物の特徴量に応じて、前記記憶部から前記属性情報を取得する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記分類部は、
   前記属性情報を用いた前記人物の相互の類似関係と、取得した前記特定の物品または前記商品とから、前記所持商品の傾向を複数の集合に分類し、
   分類した前記集合毎の類似関係を算出する
   ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記選択部は、前記集合毎の類似関係に基づいて前記コンテンツを選択する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記取得部は、前記物品の形状、又は前記物品に付された標章から前記特定の物品または前記商品を取得する
   ことを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記出力部は、前記撮像装置に対応する位置に設置された表示装置に前記コンテンツを出力する
   ことを特徴とする請求項３～７のいずれか１項に記載の情報処理装置。
9. 前記選択部は、前記人物による前記物品の所持の有無に応じて、異なる前記コンテンツを選択する
   ことを特徴とする請求項３～８のいずれか１項に記載の情報処理装置。
10. 前記取得部は、予め登録してある前記人物の会員情報と、前記人物による商品の決済情報とを取得し、
    前記分類部は、前記決済情報が示す前記人物の購入商品と、前記会員情報が示す前記人物の属性情報とに基づき、属性毎の前記所持商品の傾向を分類する
    ことを特徴とする請求項２に記載の情報処理装置。
11. 前記出力部は、前記コンテンツ出力対象者が所有する端末装置に前記コンテンツを出力する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 撮像画像から、特定の物品または商品と、当該特定の物品または当該商品を所持する人物の属性を示す属性情報とを取得し、
    取得した前記特定の物品に対応付けられている商品または取得した前記商品と、前記属性情報とに基づき、前記属性毎に前記商品の属する分類をラベル付けして所持商品の傾向を分類し、
    分類結果を参照して、複数の前記商品夫々に対応するコンテンツを記憶する記憶部から、属性情報に応じたコンテンツを選択する
    処理をコンピュータに実行させる情報処理方法。
13. 撮像画像から、特定の物品または商品と、当該特定の物品または当該商品を所持する人物の属性を示す属性情報とを取得し、
    取得した前記特定の物品に対応付けられている商品または取得した前記商品と、前記属性情報とに基づき、前記属性毎に前記商品の属する分類をラベル付けして所持商品の傾向を分類し、
    分類結果を参照して、複数の前記商品夫々に対応するコンテンツを記憶する記憶部から、属性情報に応じたコンテンツを選択する
    処理をコンピュータに実行させるプログラム。
14. コンテンツ出力対象者の情報を取得するデバイスと、コンテンツを出力する情報処理装置とを有するシステムであって、
    前記情報処理装置は、
    複数の商品夫々に対応付けて、特定の物品の情報及びラベルと、コンテンツとを記憶する記憶部と、
    撮像画像から、前記特定の物品または前記商品と、当該特定の物品または当該商品を所持する人物の属性を示す属性情報とを取得する取得部と、
    前記取得部が取得した前記特定の物品に対応付けられている商品または取得した前記商品と、前記属性情報とに基づき、前記属性毎に前記商品の属する分類をラベル付けして所持商品の傾向を分類する分類部と、
    前記デバイスから、前記コンテンツ出力対象者の属性情報を取得する対象者属性取得部と、
    前記分類部による分類結果を参照して、前記コンテンツ出力対象者の属性情報に応じた前記コンテンツを選択する選択部と、
    選択した前記コンテンツを出力する出力部と
    を備えることを特徴とする情報処理システム。
15. 前記デバイスは、所定位置に設置された撮像装置、又は前記コンテンツ出力対象者が所持する端末装置であり、
    前記対象者属性取得部は、前記撮像装置が前記コンテンツ出力対象者を撮像した画像、又は前記端末装置を介して予め登録してある前記コンテンツ出力対象者の会員情報から、前記属性情報を取得する
    ことを特徴とする請求項１４に記載の情報処理システム。
16. 所定位置に設置された撮像装置から、人物を撮像した画像を取得する取得部と、
    前記画像における一部の画像領域から、商品の提供時に前記人物に付与される特定の物品または前記商品であって、前記人物が所持する該特定の物品または商品を特定する特定部と、
    前記画像における前記一部の画像領域以外の画像領域から、前記人物の複数の属性を推定する推定部と、
    特定した前記特定の物品から特定される商品または特定した前記商品の属する分類を前記属性毎にラベル付けして、推定した前記複数の属性に基づいて所持商品の傾向を分類する分類部と
    を備えることを特徴とする情報処理装置。

Images