JP6586706B2 - 画像解析装置、画像解析方法およびプログラム - Google Patents

Description

本発明は、画像を解析し、得られた情報を蓄積する画像解析装置等に関するものである。

従来、ユーザがＳＮＳ（Social Networking Service）上にアップした画像（静止画または動画）の中には、商品の画像である商品画像を含むものが多く存在する。また、ＳＮＳ上の多くの画像には、例えばキーワードやタグを含むテキストが対応付けされており、キーワード等を利用した検索も行える（例えば、非特許文献１参照）。

"ツイッター"、［online］、［平成２７年７月２８日検索］、インターネット［URL：https://twitter.com/］

そこで、ＳＮＳ上の画像を利用して、例えば、ある商品を、どの性別、どの年齢層、どの人種等に属する消費者がより多く購入しているか、というような、商品と消費者の属性との関係を示す情報を蓄積し、蓄積した情報を、例えば、消費者行動の分析、市場調査などに役立てることが考えられる。

その一つの実現方法は、画像に付されたテキストを解析する方法である。しかし、商品画像を含んだ画像のうち、当該商品を識別可能なテキストが対応付けされている画像の割合は多くなく、また、言語の壁、スパム等の問題から、テキストを解析し、この種の情報を蓄積することは簡単でない。

もう一つの実現方法は、画像それ自体を解析する方法である。画像解析によれば、商品画像を含む画像の多くから、この種の情報を蓄積できることが期待される。

そこで、本発明は、画像を解析し、少なくとも、商品と人の属性との関係を示す情報を蓄積できる画像解析装置等を提供することを目的とする。

本発明の画像解析装置は、商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する１以上の商品情報を格納し得る商品情報格納部と、解析対象の１または２以上の画像に対して、１以上の商品特定画像情報を用いて、１以上の各画像内に、１以上の商品特定画像情報に対応する商品の画像が存在するか否かを判断し、その判断の結果、当該１以上の商品特定画像情報に対応する商品の画像が存在すると判断した場合には、当該商品の画像に対応する商品識別子を前記商品情報格納部から取得する商品識別子取得部と、前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在すると判断した場合には、解析対象の１または２以上の画像から、画像内の人の属性値である１以上の人属性値を取得する一方、前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在しないと判断した場合には、前記解析対象の１または２以上の画像に対して当該人属性値を取得する処理を行わない人属性値取得部と、同一の画像から取得された情報であり、商品識別子取得部が取得した１以上の商品識別子と、人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報とを対応付けて蓄積する人属性値関連情報蓄積部と、前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在すると判断した場合には、前記解析対象の１または２以上の画像内のオブジェクトから、画像内の場所の種類を識別する場所種類識別子を取得する一方、前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在しないと判断した場合には、前記解析対象の１または２以上の画像に対して当該場所種類識別子を取得する処理を行わない場所種類識別子取得部と、前記商品識別子取得部が取得した前記１以上の商品識別子と、前記場所種類識別子取得部が取得した場所種類識別子に関する情報である場所種類関連情報とを対応付けて蓄積する場所種類関連情報蓄積部と、を具備する。

かかる構成により、商品と人の属性との関係を示す情報を蓄積できるのみならず、商品と場所の種類との関係を示す情報をも蓄積できるようになる。

また、画像解析装置は、前記人属性値関連情報蓄積部及び前記場所種類関連情報蓄積部が蓄積した人属性値関連情報及び場所種類関連情報のそれぞれについて、これらに対応付けられた商品識別子に係る商品に対応するものを統計処理した結果を出力してもよい。

また、人属性値関連情報蓄積部は、商品識別子取得部が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積してもよい。

かかる構成により、商品と少なくとも人の属性との関係を示す情報を蓄積できる。

また、商品情報格納部は、２以上の商品情報を格納しており、商品識別子取得部は、解析対象の一の画像に対して、商品情報格納部の２以上の商品特定画像情報を用いて、一の画像内に、２以上の商品特定画像情報に対応する２以上の商品の画像が存在するか否かを判断し、人属性値取得部は、商品識別子取得部が２以上の商品の画像が存在すると判断した画像内の１以上の人属性値を取得し、人属性値関連情報蓄積部は、商品識別子取得部が２以上の商品の画像が存在すると判断した元の２以上の商品特定画像情報と対になる２以上の商品識別子に対応付けて、人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積してもよい。

かかる構成により、商品と人の属性等との関係だけでなく、商品間の関係をも示す情報を蓄積できる。

また、画像解析装置は、ウェブ上のＣＧＭを格納している１または２以上のサーバ装置から１以上の画像又は動画を取得する画像取得部をさらに具備し、解析対象の１以上の画像は、画像取得部が取得した画像又は動画を構成する静止画であってもよい。

かかる構成により、ウェブ上のＣＧＭに添付されている１以上の画像又は動画を解析し、商品と人の属性等との関係を示す情報を蓄積できる。

また、前記場所種類関連情報は、前記解析対象の１または２以上の画像内の場所で行われているイベントの種類を識別するイベント種類識別子を含んでもよい。さらに、前記場所種類関連情報蓄積部は、前記人属性値取得部が取得した１以上の人属性値と、前記場所種類識別子取得部が取得した場所種類識別子と、前記解析対象の１または２以上の画像内のオブジェクトに関する１以上のオブジェクト識別子と、の少なくとも一つから前記イベント種類識別子を取得してもよい。

本発明によれば、画像を解析し、商品と少なくとも人の属性との関係を示す情報を蓄積できるようになる。

実施の形態１における画像解析装置１を含む画像解析システムの概念図 同画像解析装置１のブロック図 同画像解析装置１の動作を説明するためのフローチャート 同人属性値取得処理を詳細に説明するためのフローチャート 同場所種類識別子取得処理を詳細に説明するためのフローチャート 同人属性値関連情報蓄積処理を詳細に説明するためのフローチャート 同場所種類関連情報蓄積処理を詳細に説明するためのフローチャート 同解析対象の画像の例を示す図 同商品情報格納部１１１に格納されている商品情報の例を示す図 同第一対応表の一例を示す図 同第二対応表の一例を示す図 同第三対応表の一例を示す図 同第四対応表の一例を示す図 同人属性関連情報の例を示す図 同場所種類関連情報の例を示す図 同端末装置への出力例を示す図 実施の形態２における画像解析装置１Ｂのブロック図 同画像解析装置１Ｂの動作を説明するためのフローチャート 同商品識別子取得処理を詳細に説明するためのフローチャート 同コンピュータシステム９００の外観図 同コンピュータシステム９００の内部構成を示す図

以下、画像解析装置等の実施形態について図面を参照して説明する。なお、各実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
図１は、本実施の形態における画像解析装置１を含む画像解析システムの概念図である。この画像解析システムは、１または２以上のサーバ装置２と、当該サーバ装置２にインターネットを介して接続可能な１または２以上の端末装置３とで構成される。端末装置３は、例えば、インターネットを介して画像解析装置１と接続可能である。ただし、画像解析装置１と端末装置３とは、例えば、無線または有線のＬＡＮを介して、あるいはピア・ツー・ピアで接続されてもよい。

サーバ装置２は、ウェブ上のＣＧＭを格納し得る。ＣＧＭとは、Consumer Generated Media（コンシューマー・ジェネレイテッド・メディア）の略称であり、インターネットなどを活用して消費者が内容を生成していくメディアをいう。

サーバ装置２には、１または２以上の画像を添付したＣＧＭが格納されており、画像解析装置１は、サーバ装置２にインターネットを介して接続され、ＣＧＭに添付されている１または２以上の画像をサーバ装置２から取得する。

ただし、解析対象は、サーバ装置２以外の外部の装置から取得した１または２以上の画像でも、内部のメモリやハードディスク等に格納されている１または２以上の画像でも良く、その取得先は問わない。取得される画像は、動画であってもよく、その場合の解析対象は、動画を構成する静止画となる。

画像解析装置１は、１または２以上の画像を解析し、画像内の商品の商品識別子と画像内の人の１以上の人属性値とを取得し、商品識別子に対応付けて１以上の人属性値関連情報を蓄積する。また、画像解析装置１は、画像内のオブジェクトから場所の種類識別子をも取得し、商品識別子に対応付けて当該１以上の場所種類関連情報をさらに蓄積し得る。また、画像解析装置１は、一の画像から、商品識別子と人の１以上の属性値とを含む、２以上の商品と人の属性値等との対応情報を取得し、蓄積することもできる。

そして、画像解析装置１によって蓄積された情報は、例えば、端末装置３に出力される。ただし、画像解析装置１自身のディスプレイ等に出力されたり、外部の蓄積装置（例えばサーバ装置２）に出力されたりしてよく、出力先は問わない。

図２は、本実施の形態における画像解析装置１のブロック図である。画像解析装置１は、格納部１１、取得部１２、処理部１３、蓄積部１４を備える。

格納部１１は、商品情報格納部１１１、画像格納部１１２を備える。取得部１２は、人属性値取得部１２１、場所種類識別子取得部１２２、画像取得部１２３を備える。処理部１３は、判断部１３１、保持部１３２を備える。蓄積部１４は、人属性値関連情報蓄積部１４１、場所種類関連情報蓄積部１４２を備える。

格納部１１は、例えば、後述する商品情報や、解析対象の１以上の画像などを格納し得る。

商品情報格納部１１１は、商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する商品情報を格納し得る。

商品情報格納部１１１は、２以上の商品情報を格納していてもよい。

商品情報格納部１１１には、通常、２以上の商品情報が格納されている。ただし、ただ１つの商品情報が格納されていてもよい。

商品識別子は、通常、商品名、品番などであるが、商品を識別可能なものであれば、種類は問わない。

商品を特定する画像とは、典型的にはロゴマークであるが、商品名・品番等を示す文字の画像やバーコードの画像などでもよく、商品を特定する画像であれば、種類は問わない。

商品特定画像情報とは、通常、商品の画像から抽出できる１以上の特徴量であるが、画像自体でも良い。商品特定画像情報は、例えばロゴマークに関する特徴量である。ロゴマークは、通常、１以上図柄または１以上の文字を組み合わせて構成されており、例えば、図柄の色に関する特徴量、図柄の形状に関する特徴量、文字の字体に関する特徴量などを含む。商品情報は、商品特定画像情報の他、商品のメーカー名、販売元名などの情報を有しても良い。

画像格納部１１２は、１以上の画像を格納し得る。解析対象の１以上の画像は、画像格納部１１２に格納されている画像であってもよい。

取得部１２は、例えば、後述する人属性値、場所種類識別子、１以上の画像などを取得する。取得とは、内部のメモリやハードディスクからの読み出し、外部の装置（例えばサーバ装置２）から送信された情報もしくは放送されている情報の受信などを含む概念である。

人属性値取得部１２１は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した画像内の人の属性値である１以上の人属性値を取得する。

画像内の人の属性値である１以上の人属性値を取得する具体的な手順は、例えば次のようなものである。人属性値取得部１２１は、まず、人を認識する。人の認識は、顔認識でも良い。認識は、例えば、類似度を利用する公知のアルゴリズムに従って行われる。次に、人属性値取得部１２１は、人属性値（例えば性別、年齢、人種、喜怒哀楽の表情、着ている洋服のタイプ、洋服の色など）を取得する。人属性値は、人であることの情報でも良い。例えば、人属性値と１以上の特徴量との対応表が保持部１３２によって保持されており、画像内の人の属性値である１以上の人属性値は、この対応表から取得される。例えば、喜怒哀楽の表情の場合、“喜”に関する特徴量は属性値“０”と、“怒”に関する特徴量は“１”と、“哀”に関する特徴量は“２”と、“楽”に関する特徴量は“３”と、それぞれ対応付けて保持される。

なお、性別、年齢、人種、喜怒哀楽の表情は、公知のアルゴリズムに従って判別できる。一例として、喜怒哀楽の表情は、特に、口角が上がる、目尻が下がる、といった口角や目尻などの変化に関する特徴量を用いて判別され得る。ただし、表情の判別には、口角や目尻に限らず、各種の部位に関する特徴量が用いられてよい。また、着ている洋服の色については、例えば、顔画像を含む肌色領域の下にある領域を洋服とみなし、その洋服に対応する領域内の色を判別すればよい。着ている洋服のタイプについては、例えば、洋服に対応する領域を複数の小領域に分割し、各小領域の特徴を抽出し、抽出した特徴を、予め保持している各タイプの服の特徴（例えば襟の形状、ボタンの有無など）と比較することで判別できる。

一例として、例えば、上記の肌色領域に沿う１または２以上の小領域を襟とみなし、その襟に対応する小領域が１つで、かつその輪郭が半円形またはＶ字型であり、かつボタンの列に対応するような複数の小領域の列が存在しない場合はＴシャツ、襟に対応する２以上の小領域の輪郭が三角形ないし複数の三角形の組み合わせであって、かつ、当該２つの小領域の下に、ボタンの列に対応するような複数の小領域の列が存在する場合はワイシャツ、などのように判別される。ただし、これは例示に過ぎず、判別方法は問わない。

商品情報格納部１１１が２以上の商品情報を格納している場合、人属性値取得部１２１は、判断部１３１が２以上の商品の画像が存在すると判断した画像内の１以上の人属性値を取得する。

場所種類識別子取得部１２２は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した画像内の場所の種類を識別する場所種類識別子を取得する。

場所種類識別子とは、例えば、屋内、屋外だけを識別するものでも良いし、家、飲み屋、球場などの場所を識別するものでも良い。例えば、場所識別子とオブジェクトとの対応表と、オブジェクトと１以上の特徴量との対応表が保持部１３２によって保持されており、場所種類識別子は、これらの対応表を用いて取得される。オブジェクトとは、通常、人以外の物（物体または生物）であり、特に、場所の種類の識別に有用な物が好ましい。場所の種類の識別に有用な物とは、例えば、カーテン、バー・カウンター、スコアボードなどである。カーテンのある場所は家、バー・カウンターのある場所は飲み屋、スコアボードのある場所は球場、といった対応関係が成り立ち得るからである。

画像取得部１２３は、例えば、ウェブ上のＣＧＭを格納している１または２以上のサーバ装置２から１以上の画像を取得する。

ＣＧＭとは、Consumer Generated Media（コンシューマー・ジェネレイテッド・メディアの略称であり、インターネットなどを活用して消費者が内容を生成していくメディアをいう。画像取得部１２３が取得する１以上の画像は、通常、ＣＧＭに添付されている静止画または動画である。

画像取得部１２３は、ウェブ上のＣＧＭを格納している１または２以上のサーバ装置２から１以上の動画を取得してもよい。サーバ装置２は、例えば、Twitter（登録商標）のサーバ、Facebook（登録商標）のサーバ、ブログのサーバ、YouTube（登録商標）のサーバ、ニコニコ動画（登録商標）のサーバなどである。ただし、サーバ装置２が属するＳＮＳの種類は問わない。

なお、画像取得部１２３は、１以上の画像を、例えば、防犯用の監視カメラ、天気・交通量等の観測用の定点カメラ、家電店等に設置されているデモンストレーション用のカメラといった各種のカメラ、各種のカメラからの画像を蓄積しているサーバ装置といった、サーバ装置２以外の外部装置から取得してもよく、その取得先は問わない。

また、取得部１２は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子を商品情報格納部１１１から取得する。

処理部１３は、例えば、画像内に商品の画像が存在するか否かに関する判断、各種の対応表等の保持、処理結果の一時保持などを行う。

判断部１３１は、解析対象の１または２以上の画像に対して、商品特定画像情報を用いて、１以上の各画像内に、商品特定画像情報に対応する商品の画像が存在するか否かを判断する。

解析対象の１または２以上の画像とは、通常、上述したＣＧＭに添付されている静止画、またはＣＧＭに添付されている動画中の静止画である。

商品情報格納部１１１が２以上の商品情報を格納している場合、判断部１３１は、解析対象の一の画像に対して、商品情報格納部１１１の２以上の商品特定画像情報を用いて、一の画像内に、２以上の商品特定画像情報に対応する２以上の商品の画像が存在するか否かを判断する。

保持部１３２は、上述した人属性値と１以上の特徴量との対応表である第一対応表、同じくオブジェクト識別子と１以上の特徴量との対応表である第二対応表、同じく場所種類識別子と１以上のオブジェクトとの対応表である第三対応表、後述するイベント種類識別子と、１以上の商品識別子、１以上の人属性値、場所種類識別子、１以上のオブジェクト識別子等との対応表である第四対応表などを保持し得る。

また、保持部１３２は、取得部１２が取得した商品識別子、人属性値取得部１２１が取得した人属性値、場所種類識別子取得部１２２が取得した場所種類識別子などを一時保持し得る。

蓄積部１４は、例えば、商品識別子に対応付いた人属性値関連情報、商品識別子に対応付いた場所種類関連情報などを蓄積する。蓄積とは、内部のメモリやハードディスク等への書き込み、外部の蓄積装置（例えばサーバ装置２など）への送信など含む概念である。

人属性値関連情報蓄積部１４１は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、人属性値取得部１２１が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する。

人属性値関連情報とは、１以上の人属性値でも良いし、１以上の人属性値を統計処理した結果等でも良い。人属性値を統計処理した結果とは、例えば、女性の数、二十代の人の数などである。さらに、男女の比率、年齢層別の人の数の分布などでもよく、何らかの統計処理をした結果であれば、その内容は問わない。

商品情報格納部１１１が２以上の商品情報を格納している場合、人属性値関連情報蓄積部１４１は、判断部１３１が２以上の商品の画像が存在すると判断した元の２以上の商品特定画像情報と対になる２以上の商品識別子に対応付けて、人属性値取得部１２１が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積してもよい。

場所種類関連情報蓄積部１４２は、商品特定画像情報と対になる商品識別子に対応付けて、場所種類識別子に関する情報である場所種類関連情報を蓄積する。

場所種類関連情報とは、上述した場所種類識別子でも良いし、その場所で行われているイベントの種類を識別するインベント種類識別子などでも良い。イベントとは、例えば、女子会、誕生会、野球、コンサートなどである。例えば、イベント種類識別子と、１以上の人属性値、場所種類識別子および１以上のオブジェクト識別子との対応表が保持部１３２によって保持されており、イベント種類識別子は、この対応表から取得される。

なお、上述したような各部の機能は、例えば次のように実現され得る。格納部１１（およびこれに含まれる商品情報格納部１１１、画像格納部１１２）は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。格納部１１に商品情報等が記憶される過程は問わない。例えば、記録媒体を介して商品情報等が格納部１１で記憶されるようになってもよく、通信回線等を介して送信された商品情報等が格納部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された商品情報等が格納部１１で記憶されるようになってもよい。入力デバイスは、キーボードやマウスやタッチパネルやメニュー画面によるもの等、何でも良い。

取得部１２（人属性値取得部１２１、場所種類識別子取得部１２２、画像取得部１２３）、処理部１３（判断部１３１、保持部１３２）、蓄積部１４（人属性値関連情報蓄積部１４１、場所種類関連情報蓄積部１４２）は、通常、ＭＰＵやメモリ等から実現され得る。取得部１２、処理部１３、蓄積部１４等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

なお、ここでは、格納部１１が商品情報格納部１１１および画像格納部１１２を含み、取得部１２が人属性値取得部１２１、場所種類識別子取得部１２２および画像取得部１２３を含み、処理部１３が判断部１３１および保持部１３２を含み、蓄積部１４が人属性値関連情報蓄積部１４１および場所種類関連情報蓄積部１４２を含むようにしているが、かかる包含関係は便宜上のものであり、適宜変更され得る。例えば、処理部１３に含まれている保持部１３２は格納部１１に含めてもよいし、蓄積部１４に含まれている人属性値関連情報蓄積部１４１および場所種類関連情報蓄積部１４２を処理部１３内に移動して、蓄積部１４を省いたりしてもよい。

次に、画像解析装置１の動作について図３〜図７のフローチャートを用いて説明する。図３は、画像解析装置１の全体動作を説明するためのフローチャートである。

いま、商品情報格納部１１１には、商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する１または２以上の商品情報が格納されており、保持部１３２は、人属性値と１以上の特徴量との対応表である第一対応表、オブジェクト識別子と１以上の特徴量との対応表である第二対応表、場所種類識別子と１以上のオブジェクト識別子との対応表である第三対応表、イベント種類識別子と、１以上の商品識別子、１以上の人属性値、場所種類識別子、１以上のオブジェクト識別子等との対応表である第四対応表などを保持しているとする。なお、画像格納部１１２に、１以上の画像が格納されていてもよい。格納されている画像は、サーバ装置２等の外部の装置から取得したものでも良いし、画像解析装置１が元々保有していた画像でも良い。

（ステップＳ３０１）画像取得部１２３は、外部の装置、例えば、Twitter（登録商標）のサーバ、Facebook（登録商標）のサーバといった、ウェブ上のＣＧＭを格納している１または２以上のサーバ装置２から、ＣＧＭに添付されている一の画像を取得する。より具体的には、例えば、ＣＧＭのＷｅｂページを受信し、Ｗｅｂページから一の画像を取得すればよい。取得する画像は、静止画でも動画でも良い。取得した画像が、通常、解析対象となる。ただし、解析対象は、画像格納部１１２に格納されている一の画像であってもよい。

（ステップＳ３０２）判断部１３１は、解析対象の画像に対して、商品特定画像情報を用いて、画像内に、商品特定画像情報に対応する１以上の商品の画像が存在するか否かを判断する。画像内に、商品特定画像情報に対応する1以上の商品の画像が存在する場合はステップＳ３０３に進み、存在しない場合はステップＳ３０１に戻る。

なお、画像内に、商品特定画像情報に対応する１以上の商品の画像（商品画像）が存在する否かは、例えば、次の手順で判断できる。

最初、画像を複数のオブジェクト（領域）に分割する。次に、当該複数のオブジェクトから一のオブジェクを選択し、当該オブジェクトと、商品特定画像との類似度を計算する。そして、類似度と閾値との比較によって、当該オブジェクトが商品特定画像と類似しているか否かを判別し、類似している場合は、その時点で、画像内に、商品特定画像情報に対応する１以上の商品画像が存在すると判断する一方、類似していない場合は、当該複数のオブジェクトから別のオブジェクを選択して、上記と同様の処理を繰り返す。

上記と同様の処理は、商品特定画像と類似しているか否かの判別結果がＹＥＳとなるか、または、当該複数のオブジェクトから選択すべき（未選択の）オブジェクトがなくなるまで繰り返される。そして、商品特定画像と類似しているか否かの判別結果がＹＥＳとならないまま、未選択のオブジェクトがなくなった場合、画像内に、商品特定画像情報に対応する１以上の商品の画像が存在しないと判断する。以上でステップＳ３０２は完了となる。

ただし、商品情報格納部１１１が２以上の商品情報を格納している場合、判断部１３１は、解析対象の一の画像に対して、商品情報格納部１１１の２以上の商品特定画像情報を用いて、一の画像内に、２以上の商品特定画像情報に対応する２以上の商品の画像が存在するか否かを判断してもよい。一の画像内に、２以上の商品特定画像情報に対応する２以上の商品の画像が存在する場合はステップＳ３０３に進み、存在しない場合はステップＳ３０１に戻る。

なお、一の画像内に、商品特定画像情報に対応する２以上の商品の画像（商品画像）が存在する否かは、例えば、次の手順で判断できる。最初、当該画像を複数のオブジェクト（領域）に分割する。次に、当該複数のオブジェクトから一のオブジェクを選択する一方、２以上の商品特定画像情報から一の商品特定画像情報を選択して、当該オブジェクトと当該商品特定画像との類似度を計算する。そして、類似度と閾値との比較によって、当該オブジェクトが当該商品特定画像と類似しているか否かを判別し、類似していない場合は、その時点で、一の画像内に、２以上の商品特定画像情報に対応する２以上の商品画像が存在しないと判断する一方、類似している場合は、オブジェクと商品特定画像情報との組み合わせを変えながら、上記と同様の処理を繰り返す。

上記と同様の処理は、商品特定画像と類似しているか否かの判別結果が２回以上ＹＥＳとなるか、または、未選択の組み合わせがなくなるまで繰り返される。そして、商品特定画像と類似しているか否かの判別結果が２回以上ＹＥＳとならないまま、未選択の組み合わせがなくなった場合、一の画像内に、２以上の商品特定画像情報に対応する商品の画像は存在しないと判断する。以上でステップＳ３０２は完了となる。

（ステップＳ３０３）取得部１２は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子を商品情報格納部１１１から取得する。取得された１以上の商品識別子は、保持部１３２によって一時保持される。

（ステップＳ３０４）人属性値取得部１２１は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した画像内の人の属性値である１以上の人属性値を取得する処理（人属性値取得処理）を実行する。

ただし、商品情報格納部１１１が２以上の商品情報を格納している場合、人属性値取得処理は、判断部１３１が２以上の商品の画像が存在すると判断した画像内の１以上の人属性値を取得する処理であってもよい。

図４は、人属性値取得処理を詳細に説明するためのフローチャートである。

（ステップＳ４０１）人属性値取得部１２１は、まず、画像内の人を認識する。人の認識は、顔認識でも良い。人ないし顔の認識は、例えば、類似度を利用する公知のアルゴリズムに従って行うことができる。

（ステップＳ４０２）人属性値取得部１２１は、画像内に人の画像である１以上の人画像が存在するか否かを判断する。認識の結果から、画像内に１以上の人画像が存在すると判断される場合はステップＳ４０３に進み、存在しないと判断される場合は図３のフローチャートにリターンする。

（ステップＳ４０３）人属性値取得部１２１は、各人画像から特徴量を算出する。各人画像からの特徴量の算出もまた、公知のアルゴリズムに従って行うことができる。

（ステップＳ４０４）人属性値取得部１２１は、例えば性別、年齢といった人属性値を取得する。人属性値は、人であることの情報でも良い。例えば、人属性値と１以上の特徴量との対応表（第一対応表）が保持部１３２によって保持されており、画像内の各人の属性値である１以上の人属性値は、ステップＳ４０３で取得された特徴量を用いて、この第一対応表から取得される。取得された１以上の人属性値は、保持部１３２によって一時保持される。

その後、図３のフローチャートにリターンする。

（ステップＳ３０５）場所種類識別子取得部１２２は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した画像内の場所の種類を識別する場所種類識別子を取得する処理（場所種類識別子取得処理）を実行する。

図５は、場所種類識別子取得処理を詳細に説明するためのフローチャートである。

（ステップＳ５０１）場所種類識別子取得部１２２は、まず、画像内の各オブジェクトから特徴量を算出する。特徴量の抽出は、公知のアルゴリズムに従って行うことができる。

（ステップＳ５０２）場所種類識別子取得部１２２は、抽出した特徴量を、第二対応表に登録されている特徴量と比較することにより、画像内にオブジェクトの画像である１以上のオブジェクト画像が存在するか否かを判断する。なお、画像内に１以上のオブジェクト画像が存在するか否か判断は、画像内に１以上の商品画像が存在するか否かの判断（ステップＳ３０２参照）と類似の処理によって行い得る。比較の結果から、画像内に１以上のオブジェクト画像が存在すると判断される場合はステップＳ５０３に進み、存在しないと判断される場合は図３のフローチャートにリターンする。

（ステップＳ５０３）場所種類識別子取得部１２２は、当該１以上のオブジェクト画像に対応する１以上のオブジェクト識別子を第二対応表から取得する。取得された１以上のオブジェクト識別子は、保持部１３２によって一時保持される。

（ステップＳ５０４）場所種類識別子取得部１２２は、保持部１３２によって一時保持されている１以上のオブジェクト識別子を、第三対応表に登録されているオブジェクト識別子と比較することにより、画像内の場所に関する場所種類識別子を取得する。具体的には、例えば、第三対応表に登録されている１以上のオブジェクト識別子のうち、一時保持されている１以上のオブジェクト識別子との間で最も類似度の高いものに対応する場所種類識別子が取得される。取得された場所種類識別子は、保持部１３２によって一時保持される。

その後、図３のフローチャートにリターンする。

（ステップＳ３０６）人属性値関連情報蓄積部１４１は、人属性値取得部１２１が１以上の人属性値を取得したか否かを判断する。１以上の人属性値が保持部１３２によって一時保持されている場合はステップ３０６に進み、一時保持されていない場合はステップＳ３０１に戻る。

（ステップＳ３０７）人属性値関連情報蓄積部１４１は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、人属性値取得部１２１が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する処理（人属性値関連情報蓄積処理）を実行する。

ただし、商品情報格納部１１１が２以上の商品情報を格納している場合、人属性値関連情報蓄積処理は、判断部１３１が２以上の商品の画像が存在すると判断した元の２以上の商品特定画像情報と対になる２以上の商品識別子に対応付けて、人属性値取得部１２１が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する処理であってもよい。

図６は、人属性値関連情報蓄積処理を詳細に説明するためのフローチャートである。

（ステップＳ６０１）人属性値関連情報蓄積部１４１は、１以上の人属性値を統計処理する。統計処理とは、例えば、女性の数、２０代の人の数などを求める処理である。さらに、男女の比率、年齢層別の人の数の分布などを求めてもよく、統計処理の内容は問わない。統計処理の結果は、保持部１３２によって一時保持される。

（ステップＳ６０２）人属性値関連情報蓄積部１４１は、保持部１３２によって一時保持されている１以上の各商品識別子に対応付けて、同じく一時保持されている１以上の人属性値と統計処理の結果等とを含む場所関連情報を蓄積する。蓄積先は、通常、内部のメモリやハードディスクなどであるが、外部の装置（サーバ装置２など）に送信してもよく、どこに蓄積するかは問わない。

その後、図３のフローチャートにリターンする。

（ステップＳ３０８）場所種類関連情報蓄積部１４２は、場所種類識別子取得部１２２が１以上の場所種類識別子を取得したか否かを判断する。１以上の場所種類識別子が保持部１３２によって一時保持されている場合はステップ３０９に進み、一時保持されていない場合はステップＳ３０１に戻る。

（ステップＳ３０９）場所種類関連情報蓄積部１４２は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、場所種類識別子取得部１２２が取得した場所種類識別子に関する情報である場所種類関連情報を蓄積する処理（場所種類関連情報蓄積処理）を実行する。

図７は、場所種類関連情報蓄積処理を詳細に説明するためのフローチャートである。

（ステップＳ７０１）場所種類関連情報蓄積部１４２は、例えば、保持部１３２によって一時保持されている１以上の人属性値、場所種類識別子、および１以上のオブジェクト識別子等を用いて、第四対応表からイベント種類識別子を取得する。具体的には、例えば、第四対応表に登録されている１以上のイベント種類識別子のうち、一時保持されている１以上の商品識別子、１以上の人属性値、場所種類識別子、および１以上のオブジェクト識別子等との間で最も類似度の高いものに対応するイベント種類識別子が取得される。取得されたイベント種類識別子は、保持部１３２によって一時保持される。なお、取得されたイベント識別子を閾値と比較し、閾値に満たないイベント識別子は、一時保持の対象としない（イベントの種類を特定できなかったことにする）ことも可能である。

（ステップＳ７０２）場所種類関連情報蓄積部１４２は、保持部１３２によって一時保持されている１以上の各商品識別子に対応付けて、同じく一時保持されている場所種類識別子とイベント種類識別子等とを含む場所関連情報を蓄積する。蓄積先は、通常、内部のメモリやハードディスクなどであるが、外部の装置（サーバ装置２など）に送信してもよく、どこに蓄積するかは問わない。

その後、図３のフローチャートにリターンする。次回のステップＳ３０１では、前回のものとは異なる画像が取得され、当該画像に関して上記と同様の処理が実行される。

なお、図３〜図７のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以下、本実施の形態における画像解析装置１の具体的な動作について説明する。画像解析装置１は、例えば画像解析システムに含まれる。画像解析システムの概念図は図１である。

前述したように、この画像解析システムは、１または２以上のサーバ装置２と、当該サーバ装置２にインターネットを介して接続可能な１または２以上の端末装置３とで構成される。サーバ装置２には、例えば１または２以上の画像を添付したＣＧＭが格納されている。画像解析装置１は、サーバ装置２にインターネットを介して接続され、ＣＧＭに添付されている１または２以上の画像をサーバ装置２から取得する。

より具体的には、サーバ装置２は、例えば、Twitter（登録商標）のサーバ、Facebook（登録商標）のサーバ、ブログのサーバ、YouTube（登録商標）のサーバ、ニコニコ動画（登録商標）のサーバなどである。ただし、サーバ装置２が属するＳＮＳの種類は問わない。端末装置３は、例えば、スマートフォン、タブレット、ＰＣなどである。ただし、端末装置３の種類は問わない。

画像解析装置１は、こうしてサーバ装置２から取得した１または２以上の画像を解析し、画像内の商品の商品識別子と画像内の人の１以上の人属性値とを取得し、商品識別子に対応付けて１以上の人属性値関連情報を蓄積する。また、画像解析装置１は、画像内のオブジェクトから場所の種類識別子をも取得し、商品識別子に対応付けて当該１以上の場所種類関連情報をさらに蓄積し得る。また、画像解析装置１は、一の画像から、商品識別子と人の１以上の属性値とを含む、２以上の商品と人の属性値等との対応情報を取得し、蓄積することもできる。

ただし、解析対象の１または２以上の画像は、サーバ装置２以外の外部の装置から取得されてもよいし、内部のメモリやハードディスクから取得されてもよい。

また、取得される画像は、通常、静止画であるが、動画でもよく、その場合、動画を構成する静止画が解析対象となる。いずれの場合も、解析対象は静止画であり、かかる静止画を、特に区別する必要がない場合、単に画像と呼ぶ。

画像解析装置１によって蓄積された人属性値関連情報または場所種類関連情報は、例えば、インターネットを介して端末装置３に出力され得る。

いま、商品情報格納部１１１には、商品識別子と商品特定画像情報とを有する２以上の商品情報が格納されている。

また、保持部１３２は、人属性値と１以上の特徴量との対応表である第一対応表、オブジェクト識別子と１以上の特徴量との対応表である第二対応表、場所種類識別子と１以上のオブジェクト識別子との対応表である第三対応表、およびイベント種類識別子と、１以上の商品識別子、１以上の人属性値、場所種類識別子、１以上のオブジェクト識別子等との対応表である第四対応表を保持している。画像格納部１１２には、１以上の画像が格納されていてもよい。

図８は、解析対象の画像の例を示す図である。まず、（Ａ）の画像は、異なるブランドのビールを手にした二人の２０代の女性の画像（２つの人画像：点線の枠を参照）、異なるブランドに対応する２個のロゴマークの画像（２つの商品識別画像:一点鎖線の枠を参照）、およびそれ以外の物、例えばカーテンの画像（１つのオブジェクト画像：二点鎖線の枠を参照）などを含んでいる。

次に、（Ｂ）の画像は、あるブランドのビールを手にした一人の３０代の男性の画像（１つの人画像：点線の枠を参照）、そのブランドに対応するロゴマークの画像（１つの商品識別画像:一点鎖線の枠を参照）、およびそれ以外の物、例えばバー・カウンターの画像（１つのオブジェクト画像：二点鎖線の枠を参照）などを含んでいる。

図９は、商品情報格納部１１１に格納されている商品情報の例を示す図である。商品情報格納部１１１には、２以上の各商品に関し、商品識別子と商品特定画像情報とが対にして格納されている。このような商品識別子と商品特定画像情報との対の集合を商品情報と呼ぶこともできるが、この実施の形態では、通常、商品識別子と商品特定画像情報との対一つ一つを商品情報と呼んでいる。なお、商品情報がメーカー名、販売元名などの情報をさらに有していてもよく、商品情報格納部１１１は単一の商品情報を格納していてもよい点は、前述した通りである。

商品識別子は、例えば“ハイネケ○”、“コロ○”といった商品名であり、商品特定画像情報は、例えばロゴマークに関する特徴量である。ロゴマークは、通常、１以上図柄または１以上の文字を組み合わせて構成されており、“ハイネケ○”に対応する特徴量は、例えば、図柄の色に関する特徴量１ａ、図柄の形状に関する特徴量１ｂなどを含む。“コロ○”に対応するロゴマークの特徴量は、例えば、図柄の形状に関する特徴量２ａ、文字の字体に関する特徴量２ｂなどを含む。

図１０は、人属性値と１以上の特徴量との対応表（第一対応表）の一例を示す図である。第一対応表には、人属性値と１以上の特徴量とが対にして登録されている。

人属性値は、例えば、“男性”、“女性”といった性別、“２０代”、“３０代”といった年齢層、“アジア系”、“ヨーロッパ系”といった人種などに関する属性値である。ただし、これに限らず、“黒”、“白”といった服の色、“Ｔシャツ”、“ドレス”といった服のタイプなどに関する属性値を含んでいてもよく、属性値の種類は問わない。

他方、１以上の特徴量は、人の、例えば頭髪、肌、衣服などに関する特徴量である。より具体的には、“男性”に対応する特徴量は、例えば、頭髪の形状に関する特徴量３ａ、髭に関する特徴量３ｂなどを含む。“女性”に対応する特徴量は、例えば、頭髪の長さに関する特徴量４ａ、唇の色に関する特徴量４ｂなどを含む。なお、年齢層に対応する特徴量は、例えば肌の皺に関する特徴量などを、人種に対応する特徴量は、例えば肌の色に関する特徴量などを、それぞれ含み得る。これらは例示に過ぎず、様々な特徴量が登録され得る。

図１１は、オブジェクト識別子と１以上の特徴量との対応表（第二対応表）を示す図である。第二対応表示には、オブジェクト識別子と１以上の特徴量とが対にして登録されている。オブジェクト識別子は、人以外のオブジェクト、特に場所の識別に有用なオブジェクト（例えばカーテン、バー・カウンター、スコアボードなど）に関する識別子である。ただし、これらは例示に過ぎず、様々な識別子が登録され得る。

他方、１以上の特徴量は、オブジェクトに関する特徴量である。より具体的には、例えば“カーテン”に対応する特徴量は、例えば、襞に関する特徴量５ａ、模様に関する特徴量５ｂなどを含む。“バー・カウンター”に対応する特徴量は、例えば、形状に関する特徴量６ａ、模様に関する特徴量６ｂなどを含む。なお、これらは例示に過ぎず、様々な特徴量が登録され得る。

図１２は、場所種類識別子と１以上のオブジェクト識別子との対応表（第三対応表）を示す図である。第三対応表には、場所種類識別子と１以上のオブジェクト識別子とが対にして登録されている。

場所種類識別子は、例えば、“家”、“飲み屋”、“球場”といった場所の種類に関する識別子である。ただし、“屋内”、“屋外”だけを識別する識別子でもよい。なお、オブジェクト識別子は、第二対応表に登録されているものと同じである。

図１３は、イベント種類識別子と、１以上の商品識別子、１以上の人属性値、場所種類識別子、１以上のオブジェクト識別子等との対応表（第四対応表）を示す図である。第四対応表には、イベント種類識別子と、１以上の商品識別子、１以上の人属性値、場所種類識別子、１以上のオブジェクト識別子等とが対にして登録されている。なお、イベント種類識別子と対にして登録されるのは、１以上の商品識別子、１以上の人属性値、場所種類識別子および１以上のオブジェクト識別子の全部でも良いし、これらの中のいずれか１つ、または、これらから選択された２つ以上の組み合わせでも構わない。

イベント種類識別子は、例えば、“誕生会”、“女子会”、“コンサート”といったイベントの種類に関する識別子である。ただし、これらは例示に過ぎず、様々なイベント識別子が登録され得る。

人属性値、場所種類識別子およびオブジェクト識別子は、第一対応表、第二対応表おいよび第三対応表に登録されているものと同じである。

画像解析装置１が起動されると、最初、画像取得部１２３が、外部の装置、例えばサーバ装置２から、１または２以上の画像、例えば図８に示すような２つの画像を取得する。

判断部１３１は、解析対象の１または２以上の画像に対して、商品特定画像情報を用いて、１以上の各画像内に、商品特定画像情報に対応する商品の画像が存在するか否かを判断する。１以上の各画像内に、商品特定画像情報に対応する商品の画像が存在する場合、取得部１２は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子を商品情報格納部１１１から取得する。

例えば、図８（Ａ）の画像の場合、“ハイネケ○”および“コロ○”に対応する２つの商品画像が存在しており、“ハイネケ○”および“コロ○”に対応する２つの商品識別子が取得される。また、図８（Ｂ）の画像の場合、“○番搾り”に対応する商品画像が存在しており、“○番搾り”に対応する商品識別子が取得される。取得された商品識別子は、保持部１３２によって一時保持される。

次に、人属性値取得部１２１は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した画像内の人の属性値である１以上の人属性値を、例えば次の手順で取得する。

すなわち、人属性値取得部１２１は、まず、画像内の人を認識する。人の認識は、顔認識でも良い。人ないし顔の認識は、例えば、類似度を利用する公知のアルゴリズムに従って行うことができる。次に、画像内に人の画像である１以上の人画像が存在するか否かを判断する。認識の結果から、画像内に１以上の人画像が存在すると判断される場合、当該人画像から特徴量を算出する。人画像からの特徴量の算出もまた、公知のアルゴリズムに従って行うことができる。次に、取得された特徴量を用いて、図１０の第一対応表から、例えば性別、年齢といった人属性値を取得する。

例えば、図８（Ａ）の画像の場合、２つの人画像が存在しており、各人画像の特徴量を用いて、各人画像に対応する“女性”、“２０代”、“アジア系”といった人属性値が取得される。また、図８（Ｂ）の画像の場合、１つの人画像が存在しており、この人画像に対応する“男性”、“３０代”、“アジア系”といった人属性値が取得される。取得された商品識別子は、保持部１３２によって一時保持される。

次に、場所種類識別子取得部１２２は、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した画像内の場所の種類を識別する場所種類識別子を、例えば次の手順で取得する。

すなわち、場所種類識別子取得部１２２は、まず、画像内の各オブジェクトから特徴量を算出する。特徴量の抽出は、例えば公知のアルゴリズムに従って行う。次に、抽出した特徴量を、第二対応表に登録されている特徴量と比較することにより、画像内にオブジェクトの画像である１以上のオブジェクト画像が存在するか否かを判断する。比較の結果から、画像内に１以上のオブジェクト画像が存在すると判断される場合は、当該１以上のオブジェクト画像に対応する１以上のオブジェクト識別子を第二対応表から取得する。取得された１以上のオブジェクト識別子は、保持部１３２によって一時保持される。

次に、場所種類識別子取得部１２２は、保持部１３２によって一時保持されている１以上のオブジェクト識別子を、第三対応表に登録されているオブジェクト識別子と比較することにより、画像内の場所に関する場所種類識別子を取得する。例えば、第三対応表に登録されている１以上のオブジェクト識別子のうち、一時保持されている１以上のオブジェクト識別子との間で最も類似度の高いものに対応する場所種類識別子が取得される。取得された場所種類識別子は、保持部１３２によって一時保持される。

例えば、図８（Ａ）の画像の場合、カーテンのオブジェクト画像が存在しており、このカーテンのオブジェクト画像を含む各オブジェクト画像から抽出された特徴量を、第二対応表に登録されている各特徴量と順次比較し、最も類似度が特徴量に対応するオブジェクト識別子を選択することで、第二対応表から、カーテンに関するオブジェクト識別子が取得される。また、図８（Ｂ）の画像の場合、バー・カウンターのオブジェクト画像が存在しており、このバー・カウンターのオブジェクト画像を含む各オブジェクト画像から抽出された特徴量を、第二対応表に登録されている各特徴量と順次比較し、最も類似度が特徴量に対応するオブジェクト識別子を選択することで、第二対応表から、バー・カウンターに関する場所種類識別子が取得される。取得された場所種類識別子は、保持部１３２によって一時保持される。

次に、人属性値関連情報蓄積部１４１は、人属性値取得部１２１が１以上の人属性値を取得したか否かを判断する。なお、画像内に人画像が１つも存在しない場合は、人属性値取得部１２１は１つの人属性値も取得できないので、かかる判断が必要になる。１以上の人属性値が保持部１３２によって一時保持されている場合、人属性値関連情報蓄積部１４１は、人属性値取得部１２１が１以上の人属性値を取得したと判断し、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、人属性値取得部１２１が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する。

詳しくは、人属性値関連情報蓄積部１４１は、まず、１以上の人属性値を統計処理する。例えば、女性の数、２０代の人の数などを求める。

例えば、図８（Ａ）の画像の場合、女性の数として“２人”、２０代の人の数として“２人”などが計算される。図８（Ｂ）の画像の場合、男性の数として“１人”、３０代の人の数として“１人”などが計算される。統計処理の結果は、保持部１３２によって一時保持される。

次に、人属性値関連情報蓄積部１４１は、保持部１３２によって一時保持されている１以上の各商品識別子に対応付けて、同じく一時保持されている１以上の人属性値と統計処理の結果等とを含む人属性関連情報を、例えば内部のメモリやハードディスクといった蓄積手段、あるいは外部の装置（サーバ装置２など）に蓄積する。

図１４は、人属性関連情報の例を示す図である。例えば、図８（Ａ）の画像の場合、図１４（Ａ）に示すように、“ハイネケ○”に対応付けて、“女性、２０代，２人、アジア系，…”といった人属性関連情報が蓄積され、かつ、“コロ○”に対応付けて、“女性、２０代，２人、アジア系，…”といった人属性関連情報が蓄積される。なお、図８（Ｂ）の画像の場合、“○番搾り”に対応付けて、“男性、２０代，１人、アジア系，…”といった人属性関連情報が蓄積され得る。

こうして蓄積された人属性関連情報は、商品と人の属性との関係を示すことから、例えば、消費者行動の分析、市場調査、キャンペーンやプロダクトローンチ（より多くの商品を販売する手法の一つ）の効果の測定、デモグラフィック（人口統計学的属性）調査などに役立てることができる。なお、これらは例示に過ぎず、蓄積された人属性関連情報の利用方法は問わない。

ただし、商品情報格納部１１１が２以上の商品情報を格納しているので、人属性値関連情報蓄積部１４１は、判断部１３１が２以上の商品の画像が存在すると判断した元の２以上の商品特定画像情報と対になる２以上の商品識別子に対応付けて、人属性値取得部１２１が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積してもよい。

よって、図８（Ａ）の画像の場合は、図１４（Ｂ）に示すように、“ハイネケ○，コロ○”に対応付けて、“女性、２０代，２人、アジア系，…”といった人属性関連情報が蓄積されてもよい。この場合の人属性値関連情報は、商品と人の属性との関係だけでなく、商品間の関係をも示すことから、上記の用途に加え、例えば、競合調査などにも役立てることができる。

次に、場所種類関連情報蓄積部１４２は、場所種類識別子取得部１２２が場所種類識別子を取得したか否かを判断する。なお、画像内にオブジェクト画像が１つも存在しない場合は、場所種類識別子取得部１２２は場所種類識別子を取得できないので、かかる判断が必要になる。場所種類識別子が保持部１３２によって一時保持されている場合、場所種類関連情報蓄積部１４２は、場所種類識別子取得部１２２が場所種類識別子を取得したと判断し、判断部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、場所種類識別子取得部１２２が取得した場所種類識別子に関する情報である場所種類関連情報を蓄積する。

詳しくは、場所種類関連情報蓄積部１４２は、例えば、保持部１３２によって一時保持されている１以上の人属性値、場所種類識別子および１以上のオブジェクト識別子、さらには人属性値に関する統計処理の結果等を特徴量として用いて、図１３に示される第四対応表からイベント種類識別子を取得する。

例えば、図８（Ａ）の画像の場合、女性，２人等を用いて、女性，２人以上という識別子に対応する“女子会”というイベント種類識別子が取得される。なお、図８（Ｂ）の画像の場合、例えば、男性，一人，バー・カウンターに対応する“おひとり様”といったイベント種類識別子が取得され得る。取得されたイベント種類識別子は、保持部１３２によって一時保持される。

次に、場所種類関連情報蓄積部１４２は、保持部１３２によって一時保持されている１以上の各商品識別子に対応付けて、同じく一時保持されている場所種類識別子とイベント種類識別子等とを含む場所関連情報を、例えば内部のメモリやハードディスクといった蓄積手段、あるいは外部の装置（サーバ装置２など）に蓄積する。

図１５は、場所種類関連情報の例を示す図である。例えば、図８（Ａ）の画像の場合、図１５（Ａ）に示すように、“ハイネケ○”に対応付けて、“家，室内，女子会，…”といった場所種類関連情報が蓄積され、かつ、“コロ○”に対応付けて、“家，室内，女子会，…”といった場所種類関連情報が蓄積される。なお、図８（Ｂ）の画像の場合、“○番搾り”に対応付けて、“飲み屋、室内，打ち上げ，…”といった場所種類関連情報が蓄積され得る。

こうして蓄積された場所種類関連情報は、商品と場所の種類との関係を示すことから、上述した人属性関連情報と組み合わせることで、消費者行動の分析等をより効果的に行うことができるようになる。

ただし、商品情報格納部１１１が２以上の商品情報を格納しているので、場所種類関連情報蓄積部１４２は、判断部１３１が２以上の商品の画像が存在すると判断した元の２以上の商品特定画像情報と対になる２以上の商品識別子に対応付けて、場所種類識別子取得部１２２が取得した１以上の場所種類識別子に関する情報である場所種類関連情報を蓄積してもよい。

よって、図８（Ａ）の画像の場合は、図１５（Ｂ）に示すように、“ハイネケ○，コロ○”に対応付けて、“家，室内，女子会，…”といった場所種類関連情報が蓄積されてもよい。この場合の場所種類関連情報は、商品と場所の種類との関係だけでなく、商品間の関係をも示すことから、消費者行動の分析等に加え、例えば、場所毎の競合調査などにも役立てることができる。

画像解析装置１によって蓄積された情報は、例えば、インターネットを介して端末装置３に出力される。図１６は、端末装置３への出力例を示す図である。（Ａ）は、ある商品に対応する人関属性連情報を統計処理した結果に関する画面の例である。（Ａ）の画面によれば、当該商品を購入した消費者の男女比、年齢層毎の消費者の数などがわかる。（Ｂ）は、同商品に対応する場所種類連情報を統計処理した結果に関する画面である。（Ｂ）の画面によれば、当該商品を消費した場所に関して、屋内と屋外との比率がわかる。なお、これらは一例であり、出力される情報の内容は問わない。また、出力先は、端末装置３以外の外部の装置（例えばサーバ装置２など）でも良いし、画像解析装置１自身のディスプレイなどでも良い。

以上、本実施の形態によれば、１または２以上の画像を解析し、画像内の商品の商品識別子と画像内の人の１以上の人属性値とを取得し、当該商品識別子に対応付けて、当該１以上の人属性値に関連する人属性値関連情報を蓄積するので、商品と少なくとも人の属性との関係を示す情報を蓄積できるようになる。

また、画像内の場所の種類を識別する場所識別子をさらに取得し、当該商品識別子に対応付けて、当該場所種類識別子に関連する場所種類関連情報をさらに蓄積するので、商品と場所の種類との関係を示す情報をも蓄積できるようになる。

また、一の画像から、２以上の商品の商品識別子と１以上の人属性値とを取得し、当該２以上の商品識別子に対応付けて人属性関連情報を蓄積するので、商品と人の属性との関係だけでなく、商品間の関係をも示す情報を蓄積できるようになる。

また、ウェブ上のＣＧＭに添付されている１以上の画像を解析し、商品と人の属性等との関係を示す情報を蓄積できるようになる。

また、ウェブ上のＣＧＭに添付されている１以上の動画を構成する静止画を解析し、商品と人の属性等との関係を示す情報を蓄積できるようになる。

また、画像格納部１１１に格納されている１以上の画像の解析し、商品と人の属性等との関係を示す情報を蓄積できるようになる。

そして、蓄積された情報は、例えば、消費者行動の分析、市場調査、キャンペーンやプロダクトローンチ（より多くの商品を販売する手法の一つ）の効果の測定、デモグラフィック（実行統計学的属性）調査、競合調査など、様々に利用され得る。

なお、本実施の形態では、画像解析装置１は、ＳＮＳネットワークに適用されたが、ＳＮＳ以外のネットワークに適用されてもよいし、他の装置とピア・ツー・ピアで接続されてもよいし、単独で運用されてもよい。

また、解析対象の１以上の画像は、主として、ウェブ上のＣＧＭに添付されている１以上の画像（例えばツイッターやブログ等のＳＮＳにアップされた静止画または動画）であったが、これに限らず、例えば、監視カメラで撮影された１以上の画像などでもよく、その種類は問わない。

なお、本実施の形態では、場所種類識別子を取得するのに、オブジェクト識別子と１以上の特徴量との対応表である第二対応表（図１１参照）、および場所種類識別子と１以上のオブジェクトとの対応表である第三対応表（図１２参照）を用いたが、場所種類識別子と１以上の特徴量との対応表である第五対応表（図示せず）を用いてもよい。第五対応表には、場所種類識別子と１以上の特徴量とが対にして登録される。

場所種類識別子は、例えば、“家”、“飲み屋”、“球場”といった場所の種類に関する識別子である。“屋内”、“屋外”だけを識別する識別子でもよい。他方、１以上の特徴量は、例えばオブジェクトに関する特徴量である。具体例を挙げると、“家”と対にして“カーテン”に関する特徴量、家電製品に関する特徴量などが登録され、“飲み屋”と対にして“バー・カウンター”に関する特徴量、ワインボトルに関する特徴量などが登録され、“球場”と対にして“スコアボード”に関する特徴量、野球帽に関する特徴量などが登録される。なお、これらは例示に過ぎず、様々な場所種類識別子が、様々なオブジェクトに関する特徴量と対にして登録され得る。

この場合、場所種類識別子取得部１２２は、まず、画像内の各オブジェクトから特徴量を算出する。特徴量の抽出は、公知のアルゴリズムに従って行うことができる。次に、抽出した特徴量を第五対応表に登録されている各特徴量と比較して、最も類似度の高い特徴量に対応する場所種類識別子を第五対応表から取得すればよい。

また、本実施の形態では、イベント種類識別子を取得するのに、イベント種類識別子と、１以上の商品識別子、１以上の人属性値、場所種類識別子、１以上のオブジェクト識別子等との対応表である第四対応表（図１３参照）を用いたが、イベント種類識別子と１以上の特徴量との対応表である第六対応表（図示せず）を用いてもよい。第六対応表には、イベント種類識別子と１以上の特徴量とが対にして登録される。

イベント種類識別子は、例えば、“誕生会”、“野球”といったイベントの種類に関する識別子である。特徴量は、例えばオブジェクトに関する特徴量である。具体例を挙げると、“誕生会”と対にして“バースデーケーキ”に関する特徴量、“装飾品”に関する特徴量などが登録され、“野球”と対にして“スコアボード”に関する特徴量、“野球帽”に関する特徴量などが登録される。なお、これらは例示に過ぎず、様々なイベント種類識別子が、様々なオブジェクトに関する特徴量と対にして登録され得る。なお、上記のような１以上の特徴量と、１以上の商品識別子、１以上の人属性値、場所種類識別子等との組み合わせを、イベント種類識別子と対にして登録することも可能である。

この場合、場所種類関連情報蓄積部１４２は、例えば、画像内の各オブジェクトから抽出した特徴量（および一時保持されている１以上の商品識別子、１以上の人属性値、場所種類識別子等）を第六対応表に登録されている各特徴量（および１以上の商品識別子、１以上の人属性値、場所種類識別子等）と比較して、最も類似度の高い特徴量等に対応するイベント種類識別子を第六対応表から取得すればよい。

さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。

つまり、このプログラムは、コンピュータを、商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する商品情報を格納し得る商品情報格納部と、解析対象の１または２以上の画像に対して、前記商品特定画像情報を用いて、前記１以上の各画像内に、当該商品特定画像情報に対応する商品の画像が存在するか否かを判断する判断部と、前記判断部が前記商品特定画像情報に対応する商品の画像が存在すると判断した画像内の人の属性値である１以上の人属性値を取得する人属性値取得部と、前記判断部が前記商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する人属性値関連情報蓄積部として機能させるプログラムである。

上記プログラムは、コンピュータを、前記判断部が前記商品特定画像情報に対応する商品の画像が存在すると判断した画像内の場所の種類を識別する場所種類識別子を取得する場所種類識別子取得部と、前記商品特定画像情報と対になる商品識別子に対応付けて、場所種類識別子に関する情報である場所種類関連情報を蓄積する場所種類関連情報蓄積部としてさらに機能させる。

上記プログラムにおいて、前記商品情報格納部は、２以上の商品情報を格納しており、前記判断部は、解析対象の一の画像に対して、前記商品情報格納部の２以上の商品特定画像情報を用いて、前記一の画像内に、前記２以上の商品特定画像情報に対応する２以上の商品の画像が存在するか否かを判断し、前記人属性値取得部は、前記判断部が前記２以上の商品の画像が存在すると判断した画像内の１以上の人属性値を取得し、前記人属性値関連情報蓄積部は、前記判断部が前記２以上の商品の画像が存在すると判断した元の２以上の商品特定画像情報と対になる２以上の商品識別子に対応付けて、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する。

上記プログラムは、コンピュータを、ウェブ上のＣＧＭを格納している１または２以上のサーバ装置から１以上の画像を取得する画像取得部としてさらに機能させ、前記解析対象の１以上の画像は、前記画像取得部が取得した画像である。
上記プログラムにおいて、前記画像取得部は、ウェブ上のＣＧＭを格納している１または２以上のサーバ装置から１以上の動画を取得し、前記解析対象の１以上の画像は、前記動画を構成する静止画である。

上記プログラムは、コンピュータを、１以上の画像を格納し得る画像格納部としてさらに機能させ、前記解析対象の１以上の画像は、前記画像格納部に格納されている画像である。

（実施の形態２）
本実施の形態２における画像解析システムの構成は、上記実施の形態１におけるそれ（図１参照）において、画像解析装置１を画像解析装置１Ｂに置き換えたものである。画像解析装置１Ｂ以外の各装置の動作は、実施の形態１におけるものと同様である。このため、図１とそれに基づく説明は、本実施の形態２に援用される。ただし、画像解析装置１は画像解析装置１Ｂと読み替える。

図１７は、本実施の形態２における画像解析装置１Ｂのブロック図である。画像解析装置１Ｂは、実施の形態１における画像解析装置１（図２参照）において、取得部１２が商品識別子取得部１２０をさらに備え、人属性値取得部１２１および人属性値関連情報蓄積部１４１を人属性値取得部１２１Ｂおよび人属性値関連情報蓄積部１４１Ｂに置き換え、処理部１３から判断部１３１を削除したものである。判断部１３１の機能は、商品識別子取得部１２０に組み込まれる。商品識別子取得部１２０、人属性値取得部１２１Ｂおよび人属性値関連情報蓄積部１４１Ｂ以外の各部の動作は、実施の形態１におけるものと同様である。

すなわち、商品情報格納部１１１が、商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する商品情報を格納している。

商品識別子取得部１２０は、解析対象の１または２以上の画像から、商品特定画像情報を用いて、１以上の各画像内に、当該商品特定画像情報に対応する商品の画像が存在することを検知し、当該商品の画像に対応する１以上の商品識別子を取得する。

また、商品識別子取得部１２０は、解析対象の１または２以上の画像に対して、商品特定画像情報を用いて、１以上の各画像内に、商品特定画像情報に対応する商品の画像が存在するか否かを判断する。なお、これは、実施の形態１における判断部１３１と同じ機能である。

人属性値取得部１２１Ｂは、解析対象の１または２以上の画像から、画像内の人の属性値である１以上の人属性値を取得する。

好ましくは、商品識別子取得部１３１が、解析対象の１または２以上の画像に対して、商品特定画像情報を用いて、１以上の各画像内に、当該商品特定画像情報に対応する商品の画像が存在するか否かを判断する。人属性値取得部１２１Ｂは、商品識別子取得部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した画像内の人の属性値である１以上の人属性値を取得する。なお、これは、人属性値取得部１２１の動作と同じである。

場所種類識別子取得部１２２は、商品識別子取得部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した画像内の場所の種類を識別する場所種類識別子を取得する。

人属性値関連情報蓄積部１４１Ｂは、商品識別子取得部１３１が商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、人属性値取得部１２１Ｂが取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する。なお、これは、人属性値関連情報蓄積部１４１の動作と同じである。

場所種類関連情報蓄積部１４２は、商品特定画像情報と対になる商品識別子に対応付けて、場所種類識別子に関する情報である場所種類関連情報を蓄積する。

図１８は、画像解析装置１Ｂの動作を説明するためのフローチャートである。図１８のフローチャートは、図３のフローチャートにおいて、ステップＳ３０２およびＳ３０３を削除し、ステップＳ３０１とステップＳ３０４の間にステップＳ２００１を挿入し、ステップＳ３０５とステップＳ３０６の間にステップＳ２００２を挿入し、そして、ステップＳ２００２から分岐するステップＳ２００３およびＳ２００４を追加したものである。

（ステップＳ２００１）商品識別子取得部１２０は、解析対象の１または２以上の画像から、１以上の商品特定画像情報を用いて、１以上の各画像内に、１以上の商品特定画像情報に対応する商品の画像が存在することを検知し、当該商品の画像に対応する１以上の商品識別子を取得する処理である商品識別子取得処理を実行する。取得された１以上の商品識別子は、保持部１３２によって一時保持される。

図１９は、商品識別子取得処理を詳細に説明するためのフローチャートである。図１９のフローチャートは、図３のものと同じステップＳ３０２およびＳ３０３で構成される。

ただし、ステップＳ３０２でＮＯの場合、ステップＳ３０１に戻るのではなく、図１８のフローチャートにリターンする点が異なる。

（ステップＳ２００２）蓄積部１４は、商品識別子値取得部１２０が１以上の商品識別子を取得したか否かを判断する。１以上の商品識別子が保持部１３２によって一時保持されている場合はステップ３０６に進み、一時保持されていない場合はステップＳ２００３に進む。

（ステップＳ２００３）蓄積部１４は、商品識別子以外の取得結果があるか否かを判別する。例えば、１以上の人属性値または１以上の場所種類識別子が保持部１３２によって一時保持されている場合はステップＳ２００４に進み、一時保持されていない場合はステップＳ３０１に戻る。

（ステップＳ２００４）蓄積部１４は、商品識別子以外の取得結果、例えば、１以上の人属性値または１以上の場所種類識別子を蓄積する。その後、ステップＳ３０１に戻る。

なお、図１８のフローチャートにおいて、商品識別子取得処理（ステップＳ２００１）、人属性値取得処理（ステップＳ３０４）および場所種類識別子取得処理(ステップＳ３０５)の３処理間の実行順序は、かかる順序に限らず、例えば、人属性値取得処理（ステップＳ３０４）と場所種類識別子取得処理(ステップＳ３０５)との順序は逆であってもよい。

同様に、人属性関連情報蓄積処理（ステップＳ３０７）および場所種類関連情報蓄積処理（ステップＳ３０９）の２処理もまた、これとは逆の順序で実行されてもよいし、並列に実行されてもよい（実施の形態１においても同様）。

複数の処理を並列に実行する場合、例えば、複数のＭＰＵ等で実行してもよいし、一のＭＰＵで時分割的に実行してもよい。

なお、図４〜図７のフローチャートおよび図８〜図１６の例示ならびにそれらに基づく説明は、本実施の形態２に援用される。

画像解析装置１Ｂの具体的な動作は、以下の点を除いて、画像解析装置１のそれと同様である。

画像解析装置１は、解析対象の画像に１以上の商品画像が含まれているか否かの判別を行い、１つの商品画像も含まれていない場合、当該画像に対しては、それ以上の処理、例えば、人属性値取得処理、場所種類識別子取得処理、人属性関連情報蓄積処理、場所種類関連情報蓄積処理等を実行しないが、画像解析装置１Ｂは、解析対象の画像に１つの商品画像も含まれていない場合でも、当該画像に対して、人属性値取得処理および場所種類関連情報取得処理を実行し、取得結果を蓄積する。これによって、当該画像から取得可能な他の情報、例えば、人の属性と場所の種類との関係を示す情報なども蓄積できるようになる。

すなわち、画像解析装置１Ｂは、商品識別子、人属性関連情報および場所種類関連情報のうち、少なくとも２つを対応付けて蓄積し得る。従って、例えば図１４（Ａ）に示したような、商品識別子と人属性関連情報との対の集合である人属性関連情報を蓄積したり、例えば図１５（Ａ）に示したような、商品識別子と場所種類関連情報との対の集合である場所種類関連情報を蓄積したり、あるいは、人属性関連情報と場所種類関連情報との対の集合である人属性・場所種類関連情報（図示せず）を蓄積したり、さらには、商品識別子と人属性関連情報と場所種類関連情報との対の集合である商品・人属性・場所種類関連情報（図示せず）を蓄積したりすることができる。

以上、本実施の形態２によれば、１または２以上の画像を解析し、画像内の商品の１以上の商品識別子と、画像内の人の１以上の人属性値とを取得し、同一の画像から取得された識別子および情報である、１以上の商品識別子と１以上の人属性値とを対応付けて蓄積するので、少なくとも、商品と人の属性との関係を示す情報を蓄積できるようになる。

また、画像内の場所の種類を識別する場所識別子をさらに取得し、当該商品識別子に対応付けて、当該場所種類識別子に関連する場所種類関連情報をさらに蓄積するので、商品と場所の種類との関係を示す情報をも蓄積できるようになる。

好ましくは、前述した実施の形態１と同様、解析対象の１または２以上の画像に対して、商品特定画像情報を用いて、１以上の各画像内に、当該商品特定画像情報に対応する商品の画像が存在するか否かを判断し、当該商品特定画像情報に対応する商品の画像が存在すると判断した画像内の人の属性値である１以上の人属性値を取得し、商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積できる。従って、商品と少なくとも人の属性との関係を示す情報を蓄積できるようになる。

また、一の画像から、２以上の商品の商品識別子と１以上の人属性値とを取得し、当該２以上の商品識別子に対応付けて人属性関連情報を蓄積するので、商品と人の属性との関係だけでなく、商品間の関係をも示す情報を蓄積できるようになる。

また、ウェブ上のＣＧＭに添付されている１以上の画像を解析し、商品と人の属性等との関係を示す情報を蓄積できるようになる。

また、ウェブ上のＣＧＭに添付されている１以上の動画を構成する静止画を解析し、商品と人の属性等との関係を示す情報を蓄積できるようになる。

また、画像格納部１１１に格納されている１以上の画像の解析し、商品と人の属性等との関係を示す情報を蓄積できるようになる。

そして、実施の形態１とは異なり、同一の画像から取得可能な他の情報、例えば、人の属性と場所の種類との関係を示す情報なども蓄積できる

さらに、本実施の形態２における処理もまた、実施の形態１におけるそれと同様、ソフトウェアで実現しても良い。本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。

つまり、このプログラムは、コンピュータを、商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する１以上の商品情報を格納し得る商品情報格納部と、解析対象の１または２以上の画像から、前記１以上の商品特定画像情報を用いて、前記１以上の各画像内に、１以上の商品特定画像情報に対応する商品の画像が存在することを検知し、当該商品の画像に対応する１以上の商品識別子を取得する商品識別子取得部と、前記解析対象の１または２以上の画像から、画像内の人の属性値である１以上の人属性値を取得する人属性値取得部と、同一の画像から取得された情報であり、前記商品識別子取得部が取得した１以上の商品識別子と、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報とを対応付けて蓄積する人属性値関連情報蓄積部として機能させるためのプログラムである。

上記プログラムは、コンピュータを、前記解析対象の１または２以上の画像から、画像内の場所の種類を識別する場所種類識別子を取得する場所種類識別子取得部と、前記商品特定画像情報と対になる商品識別子に対応付けて、場所種類識別子に関する情報である場所種類関連情報を蓄積する場所種類関連情報蓄積部としてさらに機能させる。

上記プログラムにおいて、前記商品識別子取得部は、前記解析対象の１または２以上の画像に対して、前記商品特定画像情報を用いて、前記１以上の各画像内に、当該商品特定画像情報に対応する商品の画像が存在するか否かを判断し、前記人属性値取得部は、前記商品識別子取得部が前記商品特定画像情報に対応する商品の画像が存在すると判断した画像内の人の属性値である１以上の人属性値を取得し、前記人属性値関連情報蓄積部は、前記商品識別子取得部が前記商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する。

上記プログラムにおいて、前記商品情報格納部は、２以上の商品情報を格納しており、前記商品識別子取得部は、解析対象の一の画像に対して、前記商品情報格納部の２以上の商品特定画像情報を用いて、前記一の画像内に、前記２以上の商品特定画像情報に対応する２以上の商品の画像が存在するか否かを判断し、前記人属性値取得部は、前記商品識別子取得部が前記２以上の商品の画像が存在すると判断した画像内の１以上の人属性値を取得し、前記人属性値関連情報蓄積部は、前記商品識別子取得部が前記２以上の商品の画像が存在すると判断した元の２以上の商品特定画像情報と対になる２以上の商品識別子に対応付けて、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する。

上記プログラムは、コンピュータを、ウェブ上のＣＧＭを格納している１または２以上のサーバ装置から１以上の画像を取得する画像取得部としてさらに機能させ、前記解析対象の１以上の画像は、前記画像取得部が取得した画像である。
上記プログラムにおいて、前記画像取得部は、ウェブ上のＣＧＭを格納している１または２以上のサーバ装置から１以上の動画を取得し、前記解析対象の１以上の画像は、前記動画を構成する静止画である。

上記プログラムは、コンピュータを、１以上の画像を格納し得る画像格納部としてさらに機能させ、前記解析対象の１以上の画像は、前記画像格納部に格納されている画像である。

図２０は、上記プログラムを実行して、上記実施の形態１または２による画像解析装置１を実現するコンピュータシステム９００の外観の一例を示す模式図である。上記実施の形態１または２は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図２０において、コンピュータシステム９００は、ＣＤ−ＲＯＭドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図２１は、コンピュータシステム９００の内部構成を示す図である。図２１において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮやＷＡＮ等への接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による画像解析装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１に記憶されて、ＣＤ−ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。また、ＣＤ−ＲＯＭ９２１に代えて他の記録媒体（例えば、ＤＶＤ等）を介して、プログラムがコンピュータシステム９００に読み込まれてもよい。

プログラムは、コンピューの詳細を示すタ９０１に、上記実施の形態による画像解析装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

なお、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる画像解析装置は、画像を解析し、商品識別子と人属性値関連情報との対を蓄積するので、商品と少なくとも人の属性との関係を示す情報を蓄積できるようになるという効果を有し、画像解析装置等として有用である。

１，１Ｂ 画像解析装置
２ サーバ装置
３ 端末装置
１１ 格納部
１２ 取得部
１３ 処理部
１４ 蓄積部
１１１ 商品情報格納部
１１２ 画像格納部
１２０ 商品識別子取得部
１２１，１２１Ｂ 人属性値取得部
１２２ 場所種類識別子取得部
１２３ 画像取得部
１３１ 判断部
１３２ 保持部
１４１，１４１Ｂ 人属性値関連情報蓄積部
１４２ 場所種類関連情報蓄積部

Claims (9)

1. 商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する１以上の商品情報を格納し得る商品情報格納部と、
   解析対象の１または２以上の画像に対して、前記１以上の商品特定画像情報を用いて、前記１以上の各画像内に、１以上の商品特定画像情報に対応する商品の画像が存在するか否かを判断し、その判断の結果、当該１以上の商品特定画像情報に対応する商品の画像が存在すると判断した場合には、当該商品の画像に対応する１以上の商品識別子を前記商品情報格納部から取得する商品識別子取得部と、
   前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在すると判断した場合には、前記解析対象の１または２以上の画像から、画像内の人の属性値である１以上の人属性値を取得する一方、前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在しないと判断した場合には、前記解析対象の１または２以上の画像に対して当該人属性値を取得する処理を行わない人属性値取得部と、
   同一の画像から取得された情報であり、前記商品識別子取得部が取得した１以上の商品識別子と、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報とを対応付けて蓄積する人属性値関連情報蓄積部と、
   前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在すると判断した場合には、前記解析対象の１または２以上の画像内のオブジェクトから、画像内の場所の種類を識別する場所種類識別子を取得する一方、前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在しないと判断した場合には、前記解析対象の１または２以上の画像に対して当該場所種類識別子を取得する処理を行わない場所種類識別子取得部と、
   前記商品識別子取得部が取得した前記１以上の商品識別子と、前記場所種類識別子取得部が取得した場所種類識別子に関する情報である場所種類関連情報とを対応付けて蓄積する場所種類関連情報蓄積部と、
   を具備する画像解析装置。
2. 前記画像解析装置は、前記人属性値関連情報蓄積部及び前記場所種類関連情報蓄積部が蓄積した人属性値関連情報及び場所種類関連情報のそれぞれについて、これらに対応付けられた商品識別子に係る商品に対応するものを統計処理した結果を出力する請求項１記載の画像解析装置。
3. 前記人属性値関連情報蓄積部は、前記商品識別子取得部が前記商品特定画像情報に対応する商品の画像が存在すると判断した元の商品特定画像情報と対になる商品識別子に対応付けて、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する請求項１または請求項２記載の画像解析装置。
4. 前記商品情報格納部は、２以上の商品情報を格納しており、
   前記商品識別子取得部は、解析対象の一の画像に対して、前記商品情報格納部の２以上の商品特定画像情報を用いて、前記一の画像内に、前記２以上の商品特定画像情報に対応する２以上の商品の画像が存在するか否かを判断し、
   前記人属性値取得部は、前記商品識別子取得部が前記２以上の商品の画像が存在すると判断した画像内の１以上の人属性値を取得し、
   前記人属性値関連情報蓄積部は、前記商品識別子取得部が前記２以上の商品の画像が存在すると判断した元の２以上の商品特定画像情報と対になる２以上の商品識別子に対応付けて、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報を蓄積する請求項１から３のいずれか一項に記載の画像解析装置。
5. ウェブ上のＣＧＭを格納している１または２以上のサーバ装置から１以上の画像又は動画を取得する画像取得部をさらに具備し、
   前記解析対象の１以上の画像は、前記画像取得部が取得した画像又は動画を構成する静止画である請求項１から４のいずれか一項に記載の画像解析装置。
6. 前記場所種類関連情報は、前記解析対象の１または２以上の画像内の場所で行われているイベントの種類を識別するイベント種類識別子を含む請求項１から５のいずれか一項に記載の画像解析装置。
7. 前記場所種類関連情報蓄積部は、前記人属性値取得部が取得した１以上の人属性値と、前記場所種類識別子取得部が取得した場所種類識別子と、前記解析対象の１または２以上の画像内のオブジェクトに関する１以上のオブジェクト識別子と、の少なくとも一つから前記イベント種類識別子を取得する請求項６に記載の画像解析装置。
8. 商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する１以上の商品情報を商品情報格納部に格納し得る商品情報格納ステップと、
   解析対象の１または２以上の画像に対して、前記１以上の商品特定画像情報を用いて、前記１以上の各画像内に、１以上の商品特定画像情報に対応する商品の画像が存在するか否かを判断し、その判断の結果、当該１以上の商品特定画像情報に対応する商品の画像が存在すると判断した場合には、当該商品の画像に対応する１以上の商品識別子を前記商品情報格納部から取得する商品識別子取得ステップと、
   前記商品識別子取得ステップにおいて、前記商品特定画像情報に対応する商品の画像が存在すると判断した場合には、前記解析対象の１または２以上の画像から、画像内の人の属性値である１以上の人属性値を取得する一方、前記商品識別子取得ステップにおいて、前記商品特定画像情報に対応する商品の画像が存在しないと判断した場合には、前記解析対象の１または２以上の画像に対して当該人属性値を取得する処理を行わない人属性値取得ステップと、
   同一の画像から取得された情報であり、前記取得した１以上の商品識別子と、前記取得した１以上の人属性値に関する情報である人属性値関連情報とを対応付けて蓄積する人属性値関連情報蓄積ステップと、
   前記商品識別子取得ステップにおいて、前記商品特定画像情報に対応する商品の画像が存在すると判断した場合には、前記解析対象の１または２以上の画像内のオブジェクトから、画像内の場所の種類を識別する場所種類識別子を取得する一方、前記商品識別子取得ステップにおいて、前記商品特定画像情報に対応する商品の画像が存在しないと判断した場合には、前記解析対象の１または２以上の画像に対して当該場所種類識別子を取得する処理を行わない場所種類識別子取得ステップと、
   前記取得した前記１以上の商品識別子と、前記取得した場所種類識別子に関する情報である場所種類関連情報とを対応付けて蓄積する場所種類関連情報蓄積ステップと、
   を含み、
   前記商品情報格納ステップ、前記商品識別子取得ステップ、前記人属性値取得ステップ、前記場所種類識別子取得ステップ及び前記場所種類関連情報蓄積ステップは、コンピュータシステムによって実行される画像解析方法。
9. コンピュータを、
   商品を識別する商品識別子と、商品を特定する画像の情報である商品特定画像情報とを有する１以上の商品情報を格納し得る商品情報格納部と、
   解析対象の１または２以上の画像に対して、前記１以上の商品特定画像情報を用いて、前記１以上の各画像内に、１以上の商品特定画像情報に対応する商品の画像が存在するか否かを判断し、その判断の結果、当該１以上の商品特定画像情報に対応する商品の画像が存在すると判断した場合には、当該商品の画像に対応する１以上の商品識別子を前記商品情報格納部から取得する商品識別子取得部と、
   前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在すると判断した場合には、前記解析対象の１または２以上の画像から、画像内の人の属性値である１以上の人属性値を取得する一方、前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在しないと判断した場合には、前記解析対象の１または２以上の画像に対して当該人属性値を取得する処理を行わない人属性値取得部と、
   同一の画像から取得された情報であり、前記商品識別子取得部が取得した１以上の商品識別子と、前記人属性値取得部が取得した１以上の人属性値に関する情報である人属性値関連情報とを対応付けて蓄積する人属性値関連情報蓄積部と、
   前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在すると判断した場合には、前記解析対象の１または２以上の画像内のオブジェクトから、画像内の場所の種類を識別する場所種類識別子を取得する一方、前記商品識別子取得部が、前記商品特定画像情報に対応する商品の画像が存在しないと判断した場合には、前記解析対象の１または２以上の画像に対して当該場所種類識別子を取得する処理を行わない場所種類識別子取得部と、
   前記商品識別子取得部が取得した前記１以上の商品識別子と、前記場所種類識別子取得部が取得した場所種類識別子に関する情報である場所種類関連情報とを対応付けて蓄積する場所種類関連情報蓄積部と、
   として機能させるためのプログラム。