JP7221156B2 - 画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明は画像処理システム、画像処理方法及びプログラムに関する。

写真管理サービスとして、クラウドコンピューティングを利用した形態が提案されている。非特許文献１は、スマートフォン等のユーザ端末からアップロードされた静止画像及び動画像等を管理するクラウドコンピューティングシステムが開示されている。

同文献に記載のシステムは、撮像日時及び撮像場所に応じてアップロードされた画像を自動分類する。また、同システムは、画像の被写体を解析し、被写体の解析内容に応じて画像を自動分類し、画像解析結果に基づき、ユーザの嗜好等に応じたレコメンド情報を提供する。

特許文献１は、利用者と対面する対面装置を備えるサービス提供システムが記載されている。同文献に記載の対面装置は撮像装置を備え、撮像装置を用いて撮像された画像データを解析して、撮像視野内の人物、車両及び人物の所有物を検出する。

また、同システムは検出された人物等を個別に認識し、人物等の属性及び種別等の特徴情報を取得し、特徴情報に応じたレコメンド情報を提供する。また、同システムは、利用する車の情報から所得情報を推定し、レコメンドする商品を変更する。

特許文献２は、ユーザがＳＮＳ上に投稿した画像データ数など、ユーザのネットワーク上における行動履歴に基づいてユーザの資産情報の推定を行い、ユーザの資産情報に合わせたサービスを提供する装置が記載されている。なお、ＳＮＳはSocial Networking Serviceの省略語である。

同装置は、ユーザの行動履歴を入力とし、いずれのユーザがより資産を有するユーザであるかを示す指標値を出力するモデルを生成する。同文献は、モデルの一例として、検索クエリの送信履歴等の特徴情報に対応する説明変数ｘを規定し、説明変数に重み付け係数ωを規定し、複数の特徴情報について、説明変数ｘに重み付け係数ωを掛けたｘ×ωを組み合わせたモデルが例示される。

特許第６３０５４８３号公報 特許第６４９４５７６号公報

Google フォト、［online］、［令和１年６月７日検索］、インターネット〈URL: https://www.google.com/photos/about/〉

しかしながら、特許文献１に記載のシステムは、対面装置に具備される撮像装置を用いて撮像された一枚の画像から被写体を検出し、被写体の特徴情報を取得している。そうすると、偶然に写り込んだ車両等を被写体として検出してしまい、適切なユーザに対して、適切なレコメンド情報の提供ができない可能性があり得る。

特許文献２には、ユーザの資産を表すモデルを生成する際に適用される重み付け係数について、具体的な開示はない。

本発明はこのような事情に鑑みてなされたもので、複数の画像を含む画像群の解析結果に基づき推定された可処分所得に応じたレコメンド情報の提供を可能とする画像処理システム、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

第１態様に係る画像処理システムは、ユーザに関連する複数の画像を含む画像群に含まれる二以上の解析対象画像を解析して、二以上の解析対象画像のそれぞれに含まれるオブジェクトを認識するオブジェクト認識部と、オブジェクト認識部を用いて認識されたオブジェクトの情報を、ユーザの可処分所得の範囲を表す可処分所得帯情報へ変換する可処分所得帯変換部と、オブジェクト認識部を用いてオブジェクトが認識された二以上の解析対象画像について、解析対象画像の撮像日を表す撮像日情報を含む解析対象画像の付帯情報を取得する付帯情報取得部と、撮像日情報に基づいて、オブジェクトの登場頻度を導出する頻度導出部と、登場頻度を表す登場頻度情報に基づき、オブジェクトに対応する重み付け係数を導出する係数導出部と、可処分所得帯情報及び重み付け係数を用いて、ユーザの可処分所得を推定する可処分所得推定部と、ユーザの可処分所得に応じて、ユーザに対してオブジェクトに関連するレコメンド情報を送信するレコメンド情報送信部と、を備えた画像処理システムである。

第１態様によれば、複数の画像を含む画像群を解析し、画像から認識されたオブジェクトの情報をユーザの可処分所得帯情報へ変換し、オブジェクトの登場頻度の情報に基づいて導出した重み付け係数を可処分所得帯情報へ適用して、ユーザの可処分所得を推定する。これにより、複数の画像を含む画像群の解析結果に基づき推定された可処分所得に応じたレコメンド情報を提供し得る。

オブジェクトは、物品及び撮像シーンが表すイベントの少なくともいずれかを含み得る。

画像という用語は、画像を表す信号である画像データの概念を含み得る。

可処分所得は、ユーザの購買力を表す指標の推定値であればよく、ユーザの所得から税金等を差し引いて算出される手取り収入に限定されない。

第２態様は、第１態様の画像処理システムにおいて、オブジェクト認識部は、オブジェクトとして、解析対象画像に含まれる物品を認識する構成としてもよい。

第２態様によれば、解析対象画像に含まれる物品に基づくユーザの可処分所得の推定を実施し得る。

第３態様は、第２態様の画像処理システムにおいて、オブジェクトの登場頻度に基づいて、オブジェクトが所持品であるか又はレンタル品であるかを判定する所持品判定部を備え、レコメンド情報送信部は、オブジェクトがユーザの所持品の場合はレコメンド情報として購買品の情報を送信し、オブジェクトがレンタル品の場合はレコメンド情報としてレンタル品の情報を送信する構成としてもよい。

第３態様によれば、オブジェクトがユーザの所持品であるか、又はオブジェクトがレンタル品であるかに応じたレコメンド情報を提供し得る。

第４態様は、第１態様から第３態様のいずれか一態様の画像処理システムにおいて、オブジェクト認識部を用いて認識されたオブジェクトの種類を判定する種類判定部を備えた構成としてもよい。

第４態様によれば、オブジェクトの種類を用いて、オブジェクトの情報をユーザの可処分所得帯情報へ変換し得る。

第５態様は、第４態様の画像処理システムにおいて、オブジェクトとオブジェクトの種類との関係を記憶する種類記憶部を備え、種類判定部は、種類記憶部を参照して、オブジェクトの種類を判定する構成としてもよい。

第５態様によれば、オブジェクトの種類の判定について、一定の精度を確保し得る。

第６態様は、第１態様の画像処理システムにおいて、オブジェクト認識部は、オブジェクトとして、解析対象画像の撮像シーンを認識する構成としてもよい。

第６態様によれば、解析対象画像の撮像シーンに基づきユーザの可処分所得の推定を実施し得る。

第７態様は、第６態様の画像処理システムにおいて、オブジェクト認識部は、オブジェクトの種類として、撮像シーンに対応するイベントを判定する構成としてもよい。

第７態様によれば、解析対象画像の撮像シーンに対応するイベントに基づきユーザの可処分所得の推定を実施し得る。

イベントの例として、旅行、テーマパークの訪問、食事及びスポーツ観戦等が挙げられる。

第８態様は、第６態様又は第７態様の画像処理システムにおいて、オブジェクト認識部を用いて認識されたオブジェクトの種類を判定する種類判定部を備えた構成としてもよい。

第８態様によれば、オブジェクトの種類を用いて、オブジェクトの情報をユーザの可処分所得帯情報へ変換し得る。

第９態様は、第８態様の画像処理システムにおいて、オブジェクトとオブジェクトの種類との関係を記憶する種類記憶部を備え、種類判定部は、種類記憶部を参照して、オブジェクトの種類を判定する構成としてもよい。

第９態様によれば、オブジェクトの種類の判定について、一定の精度を確保し得る。

第１０態様は、第８態様又は第９態様の画像処理システムにおいて、解析対象画像の撮像場所の情報を取得する撮像場所情報取得部を備え、種類判定部は、画像群に対応するユーザの基準場所と解析対象画像の撮像場所との位置関係に基づいて、オブジェクトに対応するイベントを判定する構成としてもよい。

第１０態様によれば、ユーザの基準場所と解析対象画像の撮像場所との位置関係に基づいてイベントを判定し得る。

第１１態様は、第１０態様の画像処理システムにおいて、種類判定部は、基準場所から解析対象画像の撮像場所までの距離に基づいて、オブジェクトに対応するイベントの種類を判定する構成としてもよい。

第１１態様によれば、ユーザの基準場所と解析対象画像の撮像場所と距離に基づいてイベントを判定し得る。

第１２態様は、第１０態様又は第１１態様の画像処理システムにおいて、撮像場所情報取得部は、付帯情報取得部を用いて、解析対象画像の撮像場所を表す撮像場所情報を含む付帯情報を取得する構成としてもよい。

第１２態様によれば、付帯情報に含まれる撮像場所の情報に基づき、画像の撮像場所を特定し得る。

第１３態様は、第１０態様又は第１１態様の画像処理システムにおいて、撮像場所情報取得部は、解析対象画像を解析して、解析対象画像の撮像場所を特定する構成としてもよい。

第１３態様によれば、解析対象画像の解析結果に基づき、画像の撮像場所を特定し得る。

第１４態様は、第１０態様から第１３態様のいずれか一態様の画像処理システムにおいて、付帯情報取得部は、基準場所の情報を含む付帯情報を取得する構成としてもよい。

第１４態様によれば、付帯情報に含まれる基準場所の情報に基づき、基準場所を特定し得る。

第１５態様は、第１０態様から第１３態様のいずれか一態様の画像処理システムにおいて、解析対象画像を解析して、基準場所を特定する基準場所特定部を備えた構成としてもよい。

第１５態様によれば、解析対象画像の解析結果に基づき、基準場所を特定し得る。

第１６態様は、第１態様から第１５態様のいずれか一態様の画像処理システムにおいて、オブジェクトの種類に対応するオブジェクトの価格帯を判定する価格帯判定部を備えた構成としてもよい。

第１６態様によれば、オブジェクトの価格帯をユーザの可処分所得帯へ変換し得る。

第１７態様は、第１６態様の画像処理システムにおいて、オブジェクトの種類と価格帯との関係を記憶する価格帯記憶部を備え、価格帯判定部は、価格帯記憶部を参照して、オブジェクトの価格帯を判定する構成としてもよい。

第１７態様によれば、オブジェクトの価格帯の判定について、一定の精度を確保し得る。

第１８態様は、第１７態様の画像処理システムにおいて、価格帯とユーザの可処分所得の範囲を表す可処分所得帯との関係を記憶する可処分所得帯記憶部を備え、可処分所得帯変換部は、可処分所得帯記憶部を参照して、価格帯を表す価格帯情報をユーザの可処分所得帯を表す可処分所得帯情報へ変換する構成としてもよい。

第１８態様によれば、オブジェクトの価格帯のユーザの可処分所得帯への変換について、一定の精度を確保し得る。

第１９態様は、第１態様から第１８態様のいずれか一態様の画像処理システムにおいて、オブジェクトの種類と重み付け係数との関係を記憶する係数記憶部を備え、係数導出部は、係数記憶部を参照して、オブジェクトに適用される重み付け係数を導出する構成としてもよい。

第１９態様によれば、重み付け係数の導出について、一定の精度を確保し得る。

第２０態様は、第１態様から第１９態様のいずれか一態様の画像処理システムにおいて、ユーザを特定するユーザ情報を取得するユーザ情報取得部を備えた構成としてもよい。

第２０態様によれば、解析対象画像のユーザを特定し得る。

第２１態様に係る画像処理方法は、ユーザに関連する複数の画像を含む画像群に含まれる二以上の解析対象画像を解析して、二以上の解析対象画像のそれぞれに含まれるオブジェクトを認識するオブジェクト認識工程と、オブジェクト認識工程において認識されたオブジェクトの情報を、ユーザの可処分所得の範囲を表す可処分所得帯情報へ変換する可処分所得帯変換工程と、オブジェクト認識工程においてオブジェクトが認識された二以上の解析対象画像について、解析対象画像の撮像日を表す撮像日情報を含む解析対象画像の付帯情報を取得する付帯情報取得工程と、撮像日情報に基づいて、オブジェクトの登場頻度を導出する頻度導出工程と、登場頻度を表す登場頻度情報に基づき、オブジェクトに対応する重み付け係数を導出する係数導出工程と、可処分所得帯情報及び重み付け係数を用いて、ユーザの可処分所得を推定する可処分所得推定工程と、ユーザの可処分所得に応じて、ユーザに対してオブジェクトに関連するレコメンド情報を送信するレコメンド情報送信工程と、を含む画像処理方法である。

第２１態様によれば、第１態様と同様の効果を得ることができる。

第２１態様において、第２態様から第２０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。

第２２態様に係るプログラムは、コンピュータに、ユーザに関連する複数の画像を含む画像群に含まれる二以上の解析対象画像を解析して、二以上の解析対象画像のそれぞれに含まれるオブジェクトを認識するオブジェクト認識機能、オブジェクト認識機能を用いて認識されたオブジェクトの情報を、ユーザの可処分所得の範囲を表す可処分所得帯情報へ変換する可処分所得帯変換機能、オブジェクト認識機能を用いてオブジェクトが認識された二以上の解析対象画像について、解析対象画像の撮像日を表す撮像日情報を含む解析対象画像の付帯情報を取得する付帯情報取得機能、撮像日情報に基づいて、オブジェクトの登場頻度を導出する頻度導出機能、登場頻度を表す登場頻度情報に基づき、オブジェクトに対応する重み付け係数を導出する係数導出機能、可処分所得帯情報及び重み付け係数を用いて、ユーザの可処分所得を推定する可処分所得推定機能、及びユーザの可処分所得に応じて、ユーザに対してオブジェクトに関連するレコメンド情報を送信するレコメンド情報送信機能を実現させるプログラムである。

第２２態様によれば、第１態様と同様の効果を得ることができる。

第２２態様において、第２態様から第２０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

本発明によれば、複数の画像を含む画像群を解析し、画像から認識されたオブジェクトの情報をユーザの可処分所得帯情報へ変換し、オブジェクトの登場頻度の情報に基づいて導出した重み付け係数を可処分所得帯情報へ適用して、ユーザの可処分所得を推定する。これにより、複数の画像を含む画像群の解析結果に基づき推定された可処分所得に応じたレコメンド情報を提供し得る。

図１は実施形態に係る画像処理システムの全体構成図である。 図２は第一実施形態に係るサーバ装置の機能ブロック図である。 図３は画像解析の説明図である。 図４は第一実施形態に係るレコメンド情報提供方法の手順を示すフローチャートである。 図５は図４に示す画像内容解析工程の手順を示すフローチャートである。 図６は価格帯判定テーブルの一例を示す模式図である。 図７は可処分所得帯テーブルの一例を示す模式図である。 図８は図４に示す付帯情報解析工程の手順を示すフローチャートである。 図９は係数テーブルの一例を示す模式図である。 図１０はレコメンド情報表示画面の一例を示す説明図である。 図１１は第二実施形態に係るサーバ装置の機能ブロック図である。 図１２は第二実施形態に係るレコメンド情報提供方法の手順を示すフローチャートである。 図１３は図１２に示す付帯情報解析工程の手順を示すフローチャートである。 図１４はレンタル品のレコメンド情報表示画面の一例を示す説明図である。 図１５は第三実施形態に係る画像処理システムに適用される種類判定部の構成例を示す機能ブロック図である。 図１６は第三実施形態に係る画像処理システムに適用される価格帯判定テーブルの模式図である。 図１７は第三実施形態に係る画像処理システムに適用される可処分所得帯変換テーブルの模式図である。 図１８は第三実施形態に係る画像処理システムに適用される係数テーブルの模式図である。 図１９はユーザの自宅場所情報取得の他の態様を示す種類判定部の機能ブロック図である。 図２０は第三実施形態に係るレコメンド情報提供方法に適用されるオブジェクト種類判定工程の手順を示すフローチャートである。 図２１は第三実施形態に係るレコメンド情報提供方法に適用されるオブジェクト種類判定工程の手順を示すフローチャートである。 図２２は年代に応じたユーザと関係者との相関を表す相関図である。 図２３は趣味に応じたユーザと関係者との相関を表す相関図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

［画像処理システムの構成例］
〔全体構成〕
図１は実施形態に係る画像処理システムの全体構成図である。同図に示す画像処理システム１０はサーバ装置１２を備える。サーバ装置１２は画像データベース１４に記憶されているユーザに関連する複数の画像を読み出し、読み出した画像を解析し、画像解析結果に基づきユーザに対してレコメンド情報を提供する。ユーザ端末装置２０は、表示部２２を用いてレコメンド情報を表示する。

なお、本明細書における画像という用語は、画像を表す信号である画像データの概念を含み得る。

画像処理システム１０は、サーバ装置１２、画像データベース１４、可処分所得データベース１６、レコメンド情報データベース１８及び管理者端末装置１９を備える。サーバ装置１２は画像データベース１４、可処分所得データベース１６、レコメンド情報データベース１８及び管理者端末装置１９とデータ通信可能に接続される。データ通信は、規定のネットワークを介して実施し得る。データ通信の通信形態は、無線通信形態及び有線通信形態のいずれも適用可能である。

画像データベース１４は、任意のユーザの識別情報を検索キーとして、識別情報を検索キーとされたユーザに関連する画像を検索可能に構成される。ユーザの識別情報は、ユーザ名及びユーザＩＤ等を適用し得る。なお、ＩＤはidentificationの省略語である。

ユーザに関連する画像は、撮像者としてユーザ名等が付帯情報として付与されている画像及びユーザ名等がタグ付けされた画像等を含み得る。すなわち、ユーザに関連する画像は、ユーザが所有する撮像装置を用いて撮像された画像及び被写体としてユーザが含まれる画像が含まれ得る。

可処分所得データベース１６は、オブジェクトの種類と価格帯との関係を表す価格帯判定テーブルが記憶される価格帯判定データベースを備える。可処分所得データベース１６は、価格帯と可処分所得帯との変換関係を表す可処分所得帯変換テーブルが記憶される可処分所得帯変換データベースを備える。

可処分所得データベース１６は、画像から抽出されるオブジェクトの登場頻度と重み付け係数との関係を表す重み付け係数テーブルが記憶される重み付け係数データベースを備える。

なお、価格帯判定データベースは符号１６Ａを用いて図２に図示する。可処分所得帯変換データベースは符号１６Ｂを用いて図２に図示する。重み付け係数データベースは符号１６Ｃを用いて図２に図示する。

価格帯判定テーブルが記憶される価格帯判定データベースは、オブジェクトの種類と価格帯との関係を記憶する価格帯記憶部の一例に相当する。価格帯と可処分所得帯との変換関係を表す可処分所得帯変換テーブルが記憶される可処分所得帯変換データベースは、可処分所得帯記憶部の一例に相当する。

オブジェクトの登場頻度と重み付け係数との関係を表す重み付け係数テーブルが記憶される重み付け係数データベースは、オブジェクトの種類と重み付け係数との関係を記憶する係数記憶部の一例に相当する。

レコメンド情報データベース１８は、可処分所得とレコメンドされる商品等との関係を表すレコメンド情報テーブルが記憶される。サーバ装置１２は、可処分所得の情報を用いてレコメンド情報データベース１８を参照し、ユーザ端末装置２０へユーザの可処分所得に基づくレコメンド情報を送信する。

管理者端末装置１９は、可処分所得データベース１６等に具備されるテーブルの更新制御を実施する。可処分所得データベース１６等に具備されるテーブルの更新は、サーバ装置１２が自動実施をしてもよい。

本明細書における可処分所得という用語は、ユーザの購買力を表す指標の推定値であればよく、ユーザの所得から税金等を差し引いて算出される手取り収入に限定されない。

ユーザ端末装置２０は、スマートフォン及びタブレット等の各ユーザが使用するスマートデバイスを適用し得る。ユーザ端末装置２０は通信部を備える。ユーザ端末装置２０は通信部を介してサーバ装置１２とのデータ通信を実施し得る。なお、通信部の図示は省略する。

ユーザ端末装置２０は表示部２２を備える。ユーザ端末装置２０は、サーバ装置１２から送信されるレコメンド情報を受け付ける。ユーザ端末装置２０は、表示部２２を用いてレコメンド情報を表示し得る。

ユーザ端末装置２０は撮像部を備え得る。ユーザ端末装置２０は撮像部を用いて撮像して取得した画像を一時記憶する記憶部を備え得る。ユーザ端末装置２０はサーバ装置１２を介して、画像データベース１４へ画像をアップロードし得る。なお、撮像部及び記憶部の図示は省略する。

サーバ装置１２は、インターネット３０とデータ通信が可能に接続される。サーバ装置１２は、インターネット３０を介して、商品等の提供者からのレコメンド情報に適用される商品の情報及びサービスの情報等を受け付ける。

〔画像処理システムのハードウェア構成〕
画像処理システム１０に適用されるサーバ装置１２等はコンピュータを適用し得る。コンピュータは、以下のハードウェアを適用し、規定のプログラムを実行して画像処理システム１０の機能を実現し得る。なお、プログラムはソフトウェアと同義である。

サーバ装置１２等は、信号処理を実施する信号処理部として各種のプロセッサを適用し得る。プロセッサの例として、ＣＰＵ及びＧＰＵ（Graphics Processing Unit）が挙げられる。ＣＰＵはプログラムを実行して信号処理部として機能する汎用的なプロセッサである。ＧＰＵは画像処理に特化したプロセッサである。プロセッサのハードウェアは、半導体素子等の電気回路素子を組み合わせた電気回路が適用される。各制御部は、プログラム等が記憶されるＲＯＭ及び各種演算の作業領域等であるＲＡＭを備える。

一つの信号処理部に対して二つ以上のプロセッサを適用してもよい。二つ以上のプロセッサは、同じ種類のプロセッサでもよいし、異なる種類のプロセッサでもよい。また、複数の信号処理部に対して一つのプロセッサを適用してもよい。

〔第一実施形態に係るサーバ装置の構成例〕
図２は第一実施形態に係るサーバ装置の機能ブロック図である。なお、図２に示すＤＢはDatabaseの省略語である。また、図２には二つの画像データベース１４を示したがこれらは同一の構成要素である。

サーバ装置１２は、画像取得部４０及び付帯情報取得部４２を備える。サーバ装置１２は、オブジェクト認識部４４、種類判定部４６、価格帯判定部４８及び可処分所得帯変換部５０を備える。サーバ装置１２は頻度導出部５２及び係数導出部５４を備える。サーバ装置１２は可処分所得推定部５６及びレコメンド情報送信部５８を備える。サーバ装置１２はユーザ情報取得部５９を備える。

画像取得部４０は画像データベース１４から解析対象画像を取得する。サーバ装置１２は、ユーザの識別情報を検索キーとして画像データベース１４を検索して、ユーザに関連する画像を解析対象画像として取得し得る。画像データベース１４は、取得した画像をオブジェクト認識部４４へ送信する。

付帯情報取得部４２は、画像データベース１４から取得した画像の付帯情報を取得する。付帯情報は撮像日の情報が含まれる。付帯情報は撮像場所の情報を含むＧＰＳ情報が含まれていてもよい。なお、ＧＰＳはGlobal Positioning Systemの省略語である。付帯情報取得部４２は付帯情報を頻度導出部５２へ送信する。

オブジェクト認識部４４は、画像取得部４０を用いて取得した画像からオブジェクトを認識するオブジェクト認識処理を実施する。オブジェクト認識部４４は、一画像から複数のオブジェクトを認識し得る。オブジェクト認識処理は公知の手法を適用し得る。ここでは、オブジェクト認識処理の詳細な説明は省略する。

オブジェクトは、画像に含まれる物品、画像の背景及び画像のシーン等を適用し得る。物品は、食品、車両、人物の衣服及び人物の装飾品などの非人物が適用される。画像の背景は、旅行先及びテーマパーク等における建築物及び風景を適用し得る。

オブジェクト認識部４４は、事前にオブジェクトが特定され、タグ情報等としてオブジェクト情報が付与されている場合において、タグ情報等をオブジェクトの認識結果としてもよい。すなわち、オブジェクト認識部４４は、タグ情報を取得するタグ情報取得部を備え得る。

オブジェクト認識部４４は、画像からオブジェクトが認識されない場合に、オブジェクトがないことを表す認識結果を出力してもよい。サーバ装置１２は、オブジェクトが認識されない画像について、オブジェクト認識の以降の処理を非実施としてもよい。

種類判定部４６は、オブジェクト認識部４４を用いて認識されたオブジェクトについて、オブジェクトの種類を判定する。種類判定部４６は、オブジェクトの種類を判定する際に、オブジェクトとオブジェクトの種類との対応関係を表すテーブルを参照し得る。種類判定部４６は、オブジェクトごとのオブジェクトの種類情報を価格帯判定部４８へ送信する。

なお、本実施形態では、オブジェクトとオブジェクトの種類との対応関係を表すテーブルが記憶される種類判定データベースの図示を省略する。種類判定データベースは種類記憶部の一例に相当する。

価格帯判定部４８は、オブジェクトの種類に基づいてオブジェクトの価格帯を判定する。価格帯判定部４８は、オブジェクトの価格帯を判定する際に価格帯判定データベース１６Ａを参照する。価格帯判定部４８は、オブジェクトごとの価格帯情報を可処分所得帯変換部５０へ送信する。

可処分所得帯変換部５０は、オブジェクトごとの価格帯情報をユーザの可処分所得帯を表す可処分所得帯情報へ変換する。可処分所得帯変換部５０は、オブジェクトごとの価格帯情報を可処分所得帯情報へ変換する際に可処分所得帯変換データベース１６Ｂを参照する。可処分所得帯変換部５０は可処分所得帯情報を可処分所得推定部５６へ送信する。

頻度導出部５２は、複数の画像について、画像ごとの付帯情報に含まれる撮像日情報を用いて、複数の画像に含まれるオブジェクトの登場頻度を導出する。頻度導出部５２はオブジェクトごとの登場頻度を表す登場頻度情報を係数導出部５４へ送信する。

係数導出部５４は、オブジェクトごとの登場頻度情報に基づき、オブジェクトごとの重み付け係数を導出する。係数導出部５４は、オブジェクトごとの重み付け係数を導出する際に、重み付け係数データベース１６Ｃを参照する。係数導出部５４は、オブジェクトごとの重み付け係数を可処分所得推定部５６へ送信する。

可処分所得推定部５６は、オブジェクトごとの可処分所得帯を表す可処分所得帯情報及びオブジェクトごとの重み付け係数を用いて、ユーザの可処分所得を推定する。可処分所得推定部５６はユーザの可処分所得の推定結果を表す可処分所得推定情報を、レコメンド情報送信部５８へ送信する。

レコメンド情報送信部５８は、ユーザの可処分所得推定情報に基づき、ユーザに対するレコメンド情報を設定する。レコメンド情報送信部５８は、レコメンド情報を設定する際にレコメンド情報データベース１８を参照する。レコメンド情報送信部５８は、ユーザ端末装置２０へレコメンド情報を送信する。

レコメンド情報送信部５８は、オブジェクトに対応する商品等のレコメンド情報を提供する。例えば、レコメンド情報送信部５８は、オブジェクトがミカンの場合、果物、果物の加工品及び果物を原材料とする菓子等のレコメンド情報をユーザへ提供し得る。

ユーザ情報取得部５９は、ユーザを特定するユーザ情報を取得する。ユーザ情報取得部５９は、図１に示すユーザ端末装置２０から送信されるユーザ情報を取得し得る。ユーザ情報取得部５９は、オブジェクト認識部４４へユーザ情報を送信する。

〔個人情報等の取り扱いについて〕
図１及び図２に示す画像処理システム１０における個人情報等の取り扱いは、以下のとおりである。

画像処理システム１０の管理者は、ユーザの画像の解析について、ユーザの承諾を得ることとする。ここでいう管理者は企業等の団体が含まれ得る。承諾の例として、ユーザ端末装置２０の表示部２２に表示された承諾画面において、承諾を表すチェックボックスにチェックマークを入れ、承諾を表す情報をユーザ端末装置２０からサーバ装置１２へ送信する態様が挙げられる。以下の承諾についても同様である。

画像処理システム１０の管理者は、ユーザの画像の解析結果に基づく、ユーザへのレコメンド情報の提供について、ユーザの承諾を得ることとする。

ユーザへのレコメンド情報の提供を実施する主体は、画像処理システム１０の管理者とし得る。レコメンド情報の提供の主体は、レコメンド情報に含まれる商品等の提供者とし得る。ここでいう提供者は企業等の団体が含まれ得る。

商品等の提供者がレコメンド情報を提供する場合、画像処理システム１０の管理者からのレコメンド情報の提供に関する必要な情報の引き渡しについて、ユーザの承諾を得ることとする。必要な情報は、メールアドレス等のレコメンド情報の提供において必要最低限の情報とする。

画像処理システム１０の管理者から提携する団体等への情報提供において、ユーザ名等のユーザ情報及びユーザの特定に繋がる情報の提供は原則として禁止される。複数のユーザの画像解析を実施する場合、全てのユーザについて上記措置が適用される。予め匿名化してから情報提供を行うことについて、ユーザの承諾を得ることとする。

〔画像解析の説明〕
図３は画像解析の説明図である。画像解析とは、図２に示すサーバ装置１２が実施する画像に対する処理である。サーバ装置１２は、画像解析として付帯情報の解析及び画像内容の解析を実施し得る。

サーバ装置１２は、解析対象の付帯情報として撮像日情報を適用し得る。サーバ装置１２は、画像群に含まれる複数の画像について撮像日情報を解析して、複数の画像に共通するオブジェクトの登場頻度を導出する。複数のオブジェクトの登場頻度を導出してもよい。

サーバ装置１２は、解析対象の付帯情報としてＧＰＳ情報を適用し得る。サーバ装置１２は、ＧＰＳ情報を解析して画像の撮像場所を特定し得る。サーバ装置１２は、解析対象の付帯情報として、画像の撮像に使用した撮像装置に関する情報を解析してもよい。サーバ装置１２は、撮像装置を具備する端末装置等に関する情報を解析してもよい。

サーバ装置１２は、画像内容を解析して被写体を特定し得る。被写体の例として、料理等の食品、洋服等の衣類及び時計等のアクセサリーが挙げられる。サーバ装置１２は被写体に基づき、被写体である物品をオブジェクトとして認識する。

サーバ装置１２は、画像内容を解析して撮像シーンを特定し得る。撮像シーンの例として、観光地の訪問、テーマパークの訪問、レストランにおける食事及びスポーツ観戦等が挙げられる。サーバ装置１２は、撮像シーンが表すイベントをオブジェクトとして認識し得る。

サーバ装置１２は、画像としてスクリーンショット等のメモ画像を適用し得る。サーバ装置１２はスクリーンショットを解析して、スクリーンショットの解析結果に基づきユーザが購入した購入品及びユーザが利用したサービス等をオブジェクトとして特定し得る。

［第一実施形態に係るレコメンド情報提供方法］
〔レコメンド情報提供方法の全体の流れ〕
図４は第一実施形態に係るレコメンド情報提供方法の手順を示すフローチャートである。以下に説明する第一実施形態に係るレコメンド情報提供方法は、任意のユーザに関連する複数の画像を取得し、複数の解析対象画像の解析結果に基づきユーザの可処分所得を推定し、ユーザの可処分所得に応じたレコメンド情報をユーザへ提供する。

画像取得工程Ｓ１０では、図２に示す画像取得部４０は画像データベース１４から解析対象画像を取得する。画像取得工程Ｓ１０は、取得した解析対象画像を記憶する画像記憶工程を含み得る。画像取得工程Ｓ１０の後に画像内容解析工程Ｓ１２へ進む。

画像取得工程Ｓ１０は、ユーザに関連する画像を検索する検索工程を含み得る。また、画像取得工程は、ユーザがログインを実施するログイン工程を含み得る。画像取得工程Ｓ１０を実施する前に、検索工程又はログイン工程が実施されてもよい。

画像内容解析工程Ｓ１２では、オブジェクト認識部４４は画像からオブジェクトを認識する処理を実施する。すなわち、画像内容解析工程Ｓ１２において、オブジェクト認識部４４は解析対象画像を構成する画素を解析する。また、画像内容解析工程Ｓ１２では、種類判定部４６はオブジェクトの種類を判定する。

画像内容解析工程Ｓ１２では、価格帯判定部４８はオブジェクトの価格帯を判定する。画像内容解析工程Ｓ１２では、可処分所得帯変換部５０はオブジェクトの価格帯を可処分所得帯へ変換する。

画像内容解析工程Ｓ１２は、各情報を記憶する記憶工程を含み得る。なお、画像内容解析工程Ｓ１２の詳細は後述する。画像内容解析工程Ｓ１２の後に付帯情報解析工程Ｓ１４へ進む。

付帯情報解析工程Ｓ１４では、付帯情報取得部４２は各画像の付帯情報として撮像日情報を取得する。付帯情報解析工程Ｓ１４では、頻度導出部５２は各オブジェクトの登場頻度を導出する。付帯情報解析工程Ｓ１４では、係数導出部５４は各オブジェクトの重み付け係数を導出する。

付帯情報解析工程Ｓ１４は各情報を記憶する記憶工程を含み得る。なお、付帯情報解析工程Ｓ１４の詳細は後述する。付帯情報解析工程Ｓ１４の後に解析終了判定工程Ｓ１６へ進む。

解析終了判定工程Ｓ１６では、サーバ装置１２は解析対象の全ての画像について、解析が実施されたか否かを判定する。解析終了判定工程Ｓ１６において、サーバ装置１２が未解析の解析対象画像が存在すると判定する場合はＮｏ判定となる。

Ｎｏ判定の場合は画像内容解析工程Ｓ１２へ戻り、解析終了判定工程Ｓ１６においてＹｅｓ判定となるまで、画像内容解析工程Ｓ１２から解析終了判定工程Ｓ１６までの各工程を繰り返し実施する。

一方、解析終了判定工程Ｓ１６において、サーバ装置１２が解析対象の全ての画像が解析済みと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は可処分所得推定工程Ｓ１８へ進む。

可処分所得推定工程Ｓ１８では、可処分所得推定部５６は画像内容解析工程Ｓ１２における画像解析結果及び付帯情報解析工程Ｓ１４における付帯情報解析結果に基づき、ユーザの可処分所得を推定する。可処分所得推定工程Ｓ１８は可処分所得の推定結果を記憶する記憶工程を含み得る。可処分所得推定工程Ｓ１８の後にレコメンド情報送信工程Ｓ２０へ進む。

レコメンド情報送信工程Ｓ２０では、レコメンド情報送信部５８はユーザの可処分所得の推定結果に基づき、ユーザに対して勧める商品及びサービス等を含むレコメンド情報を設定する。レコメンド情報送信工程Ｓ２０では、レコメンド情報送信部５８はユーザ端末装置２０へレコメンド情報を送信する。レコメンド情報送信工程Ｓ２０の後に終了判定工程Ｓ２２へ進む。

終了判定工程Ｓ２２では、サーバ装置１２はレコメンド情報提供方法を終了するか否かを判定する。終了判定工程Ｓ２２において、サーバ装置１２がレコメンド情報提供方法を継続すると判定する場合はＮｏ判定となる。Ｎｏ判定の場合は画像取得工程Ｓ１０へ進み、次の画像群について、終了判定工程Ｓ２２においてＹｅｓ判定となるまで画像取得工程Ｓ１０から終了判定工程Ｓ２２までの各工程を繰り返し実施する。

一方、終了判定工程Ｓ２２において、サーバ装置１２がレコメンド情報提供方法を終了すると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、サーバ装置１２は規定の終了処理を実施する。レコメンド情報提供方法の終了条件の例として、予め設定される画像群についてのレコメンド情報の提供の終了が挙げられる。なお、実施形態に示すレコメンド情報提供方法は、画像処理方法の一例に相当する。

〔画像内容解析工程の詳細〕
図５は図４に示す画像内容解析工程の手順を示すフローチャートである。解析対象画像設定工程Ｓ１００では、図２に示すオブジェクト認識部４４は解析対象画像群を特定し、特定した画像群から解析対象画像を抽出する。すなわち、解析対象画像設定工程Ｓ１００においてオブジェクト認識部４４は、解析に適していない画像を除去する。

また、解析対象画像設定工程Ｓ１００においてオブジェクト認識部４４は、連写を適用して取得した画像群など、画像の内容が類似する類似画像群を特定し、類似画像群に含まれる画像から一枚の画像抽出し、残りの画像を除去する。解析対象画像設定工程Ｓ１００の後にオブジェクト認識工程Ｓ１０２へ進む。

オブジェクト認識工程Ｓ１０２では、オブジェクト認識部４４は解析対象画像からオブジェクトを認識する。オブジェクト認識工程Ｓ１０２の後にオブジェクト種類判定工程Ｓ１０４へ進む。

オブジェクト種類判定工程Ｓ１０４では、種類判定部４６は、規定のオブジェクトとオブジェクトの種類との対応関係を参照して、オブジェクトの種類を判定する。例えば、種類判定部４６は、オブジェクトがミカンの場合はオブジェクトの種類を果物と判定する。また、種類判定部４６は、オブジェクトがコハクの場合はオブジェクトの種類を宝飾品と判定する。オブジェクト種類判定工程Ｓ１０４の後に価格帯判定工程Ｓ１０６へ進む。

価格帯判定工程Ｓ１０６では、種類判定部４６は価格帯判定データベース１６Ａを参照して、オブジェクトごとの価格帯を判定する。図６は価格帯判定テーブルの一例を示す模式図である。

図６に示す価格帯判定テーブル１００は、オブジェクトの種類ごとにオブジェクトの価格帯を規定する。図６では１から５までの数値を用いて価格帯を示す。図６に示す価格帯を表す１から５までの数値は価格帯を表す数値範囲に変換し得る。図６には価格帯ごとに一つのオブジェクトを示したが、一つの価格帯について、複数のオブジェクトを含み得る。価格帯判定工程Ｓ１０６の後に未判定オブジェクト判定工程Ｓ１０８へ進む。

未判定オブジェクト判定工程Ｓ１０８では、サーバ装置１２は全てのオブジェクトについて価格帯判定が実施されたか否かを判定する。未判定オブジェクト判定工程Ｓ１０８において、価格帯が未判定のオブジェクトが存在するとサーバ装置１２が判定する場合はＮｏ判定となる。Ｎｏ判定の場合はオブジェクト種類判定工程Ｓ１０４へ進み、未判定オブジェクト判定工程Ｓ１０８においてＹｅｓ判定となるまで、オブジェクト種類判定工程Ｓ１０４から未判定オブジェクト判定工程Ｓ１０８までの各工程を繰り返し実施する。

一方、未判定オブジェクト判定工程Ｓ１０８において、サーバ装置１２が全てのオブジェクトについて価格帯判定が実施されたと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は可処分所得帯変換工程Ｓ１１０へ進む。

可処分所得帯変換工程Ｓ１１０では、可処分所得帯変換部５０は、可処分所得帯変換データベース１６Ｂを参照して、各オブジェクトの価格帯判定結果をユーザの可処分所得帯へ変換する。

図７は可処分所得帯テーブルの一例を示す模式図である。図７に示す可処分所得帯変換テーブル１１０では、ＡからＧまでのアルファベットを用いて、オブジェクトの種類ごとの価格帯に対応する可処分所得帯を示す。図７に示すＡからＧまでのアルファベットは、数値として処理し得る。

同一の画像に含まれる複数のオブジェクトについて異なる価格帯が判定された場合、可処分所得帯変換部５０は、規定の優先順位に基づき、ユーザの可処分所得帯を導出し得る。可処分所得帯変換工程Ｓ１１０の後に画像内容解析終了判定工程Ｓ１１２へ進む。

画像内容解析終了判定工程Ｓ１１２では、サーバ装置１２は画像内容解析を終了するか否かを判定する。画像内容解析終了判定工程Ｓ１１２において、サーバ装置１２が全ての解析対象画像の処理が終了していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合はオブジェクト認識工程Ｓ１０２に進み、画像内容解析終了判定工程Ｓ１１２においてＹｅｓ判定となるまで、オブジェクト認識工程Ｓ１０２から画像内容解析終了判定工程Ｓ１１２までの各工程を繰り返し実施する。

一方、画像内容解析終了判定工程Ｓ１１２において、サーバ装置１２が全ての解析対象画像の処理が終了したと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、サーバ装置１２は図４に示す画像内容解析工程Ｓ１２を終了する。

〔付帯情報解析工程の詳細〕
図８は図４に示す付帯情報解析工程の手順を示すフローチャートである。撮像日情報取得工程Ｓ２００では、図２に示す付帯情報取得部４２は付帯情報として撮像日情報を取得する。撮像日情報取得工程Ｓ２００の後に画像特定工程Ｓ２０２へ進む。なお、実施形態に記載の撮像日情報取得工程Ｓ２００は、付帯情報取得工程の一例に相当する。

画像特定工程Ｓ２０２では、頻度導出部５２はオブジェクトの登場頻度を導出する対象の画像を特定する。すなわち、頻度導出部５２は同一のオブジェクトが含まれる複数の画像をオブジェクトごとに特定する。画像特定工程Ｓ２０２の後に登場頻度導出工程Ｓ２０４へ進む。

登場頻度導出工程Ｓ２０４では、頻度導出部５２はオブジェクトの登場頻度を導出する。登場頻度は、撮像周期を適用し得る。撮像周期は撮像期間の逆数である。三以上の画像について二以上の撮像周期が導出された場合、頻度導出部５２は二以上の撮像周期の統計値を撮像周期とし得る。統計値の例として、平均値、中央値、最大値及び最小値等が挙げられる。登場頻度導出工程Ｓ２０４の後に係数導出工程Ｓ２０６へ進む。

係数導出工程Ｓ２０６では、係数導出部５４は重み付け係数データベース１６Ｃを参照して、オブジェクトごとの重み付け係数を導出する。図９は係数テーブルの一例を示す模式図である。

図９に示す重み付け係数テーブル１２０は、オブジェクトの種類ごとの登場頻度と重み付け係数との関係を表す。例えば、撮像周期が６か月の場合、果物の重み付け係数は０．１である。図９に示す重み付け係数テーブル１２０は、登場頻度が相対的に高い場合に、相対的に大きい重み付け係数が規定される。図８に示す係数導出工程Ｓ２０６の後に係数導出判定工程Ｓ２０８へ進む。

係数導出判定工程Ｓ２０８では、サーバ装置１２は全てのオブジェクトについて重み付け係数が導出されているか否かを判定する。係数導出判定工程Ｓ２０８において、重み付け係数が未導出のオブジェクトが存在するとサーバ装置１２が判定する場合はＮｏ判定となる。Ｎｏ判定の場合は画像特定工程Ｓ２０２へ進み、係数導出判定工程Ｓ２０８においてＹｅｓ判定となるまで、画像特定工程Ｓ２０２から係数導出判定工程Ｓ２０８までの各工程を繰り返し実施する。

一方、係数導出判定工程Ｓ２０８において、サーバ装置１２が全てのオブジェクトについて重み付け係数が導出されていると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、サーバ装置１２は図４に示す付帯情報解析工程Ｓ１４を終了する。

また、本実施形態では、オブジェクトごとの重み付け係数を設定する態様を例示したが、オブジェクトごとに重み付け係数を設定してもよい。

〔レコメンド情報の提供の具体例〕
図１０はレコメンド情報表示画面の一例を示す説明図である。レコメンド情報表示画面１４０は、ユーザ端末装置２０の表示部２２を用いて表示される。レコメンド情報表示画面１４０は、ユーザ識別情報１４２、レコメンド情報１４４及び操作ボタン１４６が含まれる。ユーザは、ユーザ端末装置２０を操作して、レコメンド情報１４４に含まれる商品の購入が可能である。

一つの解析対象画像に複数のオブジェクトが含まれる場合、オブジェクトごとにユーザの可処分所得を推定し得る。一人のユーザに対して複数の異なる可処分所得が推定された場合、可処分所得の推定値の最大値をユーザの可処分所得とし、レコメンド情報を提供し得る。

一人のユーザに対して複数の異なる可処分所得が推定された場合、複数の可処分所得の推定値のそれぞれについて、レコメンド情報を提供してもよい。予め、オブジェクトの種類に優先順位を設定し、優先順位が最も高いオブジェクトに基づきユーザの可処分所得を推定してもよい。

［第一実施形態の作用効果］
第一実施形態に係る画像処理システム１０及びレコメンド情報提供方法によれば、以下の作用効果を得ることが可能である。

〔１〕
画像からオブジェクトを認識し、オブジェクトの種類を特定し、オブジェクトの種類ごとの価格帯を判定し、オブジェクトの種類ごとの価格帯を可処分所得帯へ変換する。また、オブジェクトが共通する複数の画像について、撮像日情報からオブジェクトの登場頻度を導出し、オブジェクトの登場頻度に基づき重み付け係数を導出する。可処分所得帯に重み付け係数を掛け合わせて、ユーザの可処分所得を推定する。これにより、複数の画像の解析結果に基づき推定された可処分所得に応じたレコメンド情報を提供し得る。

〔２〕
オブジェクトとして、画像から物品を認識する。これにより、画像に含まれる物品に基づきユーザの可処分所得を推定し得る。

〔３〕
オブジェクトの種類と価格帯との関係を示す価格帯判定テーブルを参照して、オブジェクトの種類ごとの価格帯を判定する。これにより、価格帯判定について一定の精度を確保し得る。

〔４〕
オブジェクトの価格帯と可処分所得帯との関係を示す可処分所得帯テーブルを参照して、オブジェクトの価格帯から可処分所得帯を導出する。これにより、可処分所得帯変換について一定の精度を確保し得る。

〔５〕
オブジェクトの登場頻度と重み付け係数との関係を示す重み付け係数テーブルを参照して、オブジェクトの登場頻度から重み付け係数を導出する。これにより、重み付け係数について一定の精度を確保し得る。

本実施形態では、重み付け係数の導出等において、テーブルを参照する態様を例示したが、重み付け係数の導出等の処理は、深層学習モデルを適用してもよい。例えば、図２に示す係数導出部５４は、オブジェクトの登場頻度と重み付け係数との変換関係を学習した学習済モデルを適用し得る。種類判定部４６、価格帯判定部４８及び可処分所得帯変換部５０についても同様である。

画像処理システム１０は、ユーザへ提供したレコメンド情報に含まれる商品等よりも、価格が相対的に高い商品等又は価格帯が相対的に低い商品等を選択した場合に、ユーザが購入した商品等の情報を学習データとして学習を実施して、可処分所得の推定に関するパラメータ及びレコメンド情報の提供に関するパラメータを更新してもよい。

［第二実施形態に係る画像処理システム］
次に、第二実施形態に係る画像処理システムについて説明する。第二実施形態に係る画像処理システム２００は、オブジェクトをユーザの所持品であるか又はレンタル品であるかを判定し、判定結果に応じたレコメンド情報を提供する。

〔サーバ装置の構成例〕
図１１は第二実施形態に係るサーバ装置の機能ブロック図である。サーバ装置２１２は図２に示すサーバ装置１２に対して、所持品判定部６０が追加される。所持品判定部６０は、撮像日情報を用いて、オブジェクトがユーザの所持品であるか又はレンタル品であるかを判定する。

例えば、所持品判定部６０は、一日以上の撮像日を空けて再度登場したオブジェクトをユーザの所持品と判定し、オブジェクトが再度登場しない場合はレンタル品と判定し得る。すなわち、所持品判定部６０は、オブジェクトの撮像期間及びオブジェクトの登場頻度に応じて、オブジェクトがユーザの所持品であるか又はレンタル品であるかを判定し得る。

サーバ装置１２は、オブジェクトがユーザの所持品であるか又はレンタル品であるかを判定せずに、購買品のレコメンド情報及びレンタル品のレコメンド情報の両者を、ユーザ端末装置２０へ送信してもよい。

〔レコメンド情報提供方法の構成例〕
図１２は第二実施形態に係るレコメンド情報提供方法の手順を示すフローチャートである。図１２に示すフローチャートは、図４に示すフローチャートに対して、付帯情報解析工程Ｓ１４が付帯情報解析工程Ｓ１４Ａへ変更される。

また、図１２に示すフローチャートは、図４に示すフローチャートに対して、所持品判定工程Ｓ３０、レンタル品用レコメンド情報取得工程Ｓ３２、購買品用レコメンド情報取得工程Ｓ３４が追加される。

画像取得工程Ｓ１０、画像内容解析工程Ｓ１２は、図４に示す第一実施形態に係るレコメンド情報提供方法と同様である。図１２に示す付帯情報解析工程Ｓ１４Ａでは、所持品判定部６０は画像ごとの撮像日の情報を用いて、オブジェクトごとにユーザの所持品であるか又はレンタル品であるかを特定する。

図１３は図１２に示す付帯情報解析工程の手順を示すフローチャートである。図１３に示すフローチャートは、図８に示すフローチャートに対して所持品特定工程Ｓ２２０が追加される。

所持品特定工程Ｓ２２０では、所持品判定部６０はオブジェクトごとにユーザの所持品であるか又はレンタル品であるかを特定する。所持品特定工程Ｓ２２０の後に係数導出判定工程Ｓ２０８へ進む。係数導出判定工程Ｓ２０８の処理を実施し、規定の条件を満たす場合に、サーバ装置１２は図１２に示す付帯情報解析工程Ｓ１４Ａを終了する。

図１２に戻り、付帯情報解析工程Ｓ１４Ａの後に解析終了判定工程Ｓ１６へ進む。解析終了判定工程Ｓ１６及び可処分所得推定工程Ｓ１８は、図４に示す解析終了判定工程Ｓ１６及び可処分所得推定工程Ｓ１８と同様である。

可処分所得推定工程Ｓ１８の後に所持品判定工程Ｓ３０へ進む。所持品判定工程Ｓ３０では、図１１に示す所持品判定部６０は、オブジェクトがユーザの所持品であるか又はレンタル品であるかを判定する。

所持品判定工程Ｓ３０において、所持品判定部６０がオブジェクトはレンタル品であると判定する場合はＮｏ判定となる。Ｎｏ判定の場合はレンタル品用レコメンド情報取得工程Ｓ３２へ進む。

レンタル品用レコメンド情報取得工程Ｓ３２では、レコメンド情報送信部５８はレコメンド情報データベース１８を参照して、レンタル品用のレコメンド情報を取得する。レンタル品用レコメンド情報取得工程Ｓ３２の後にレコメンド情報送信工程Ｓ２０へ進む。

一方、所持品判定工程Ｓ３０において、所持品判定部６０がオブジェクトはユーザの所持品であると判定場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は購買品用レコメンド情報取得工程Ｓ３４へ進む。

購買品用レコメンド情報取得工程Ｓ３４では、レコメンド情報送信部５８はレコメンド情報データベース１８を参照して、購買品用のレコメンド情報を取得する。購買品用レコメンド情報取得工程Ｓ３４の後にレコメンド情報送信工程Ｓ２０へ進む。

レコメンド情報送信工程Ｓ２０では、レコメンド情報送信部５８はオブジェクトがユーザの所持品の場合は購買品用のレコメンド情報をユーザ端末装置２０へ送信する。一方、レコメンド情報送信工程Ｓ２０では、レコメンド情報送信部５８はオブジェクトがレンタル品の場合はレンタル品用のレコメンド情報をユーザ端末装置２０へ送信する。

レコメンド情報送信工程Ｓ２０の後に終了判定工程Ｓ２２へ進む。図１２に示す終了判定工程Ｓ２２は、図４に示す終了判定工程Ｓ２２と同様である。

〔レコメンド情報の提供例〕
図１４はレンタル品のレコメンド情報表示画面の一例を示す説明図である。同図に示すレコメンド情報表示画面２４０は、ユーザ識別情報２４２、レンタル品用のレコメンド情報２４４及び操作ボタン２４６が含まれる。

同図に示すユーザ識別情報２４２は図１０に示すユーザ識別情報１４２と同様である。また、図１４に示す操作ボタン２４６は、図１０に示す操作ボタン１４６と同様である。

［第二実施形態の作用効果］
第二実施形態に係る画像処理システム２００及びレコメンド情報提供方法によれば、以下の作用効果を得ることが可能である。

〔１〕
オブジェクトがユーザの所持品であるか又はレンタル品であるかを判定する。オブジェクトがレンタル品の場合は、ユーザへのレコメンド情報としてレンタル品の情報を提供する。これにより、ユーザはレンタル品に関するレコメンド情報を取得し得る。

〔２〕
オブジェクトがユーザの所持品の場合は、ユーザへのレコメンド情報として購買品の情報を提供する。これにより、ユーザは購買品に関するレコメンド情報を取得し得る。

［第三実施形態に係る画像処理システム］
〔概要〕
次に、第三実施形態に係る画像処理システムについて説明する。第三実施形態に係る画像処理システム３００は、画像内容の解析結果から撮像シーンを特定し、撮像シーンに基づくイベントを認識する。

画像処理システム３００は、イベントに基づきユーザの可処分所得を推定し、ユーザの可処分所得に基づき、画像のイベントに関連するレコメンド情報をユーザへ提供する。以下に、第三実施形態に係る画像処理システム３００について、主として第一実施形態に係る画像処理システム１０との相違点について説明する。

図１５は第三実施形態に係る画像処理システムに適用されるサーバ装置の機能ブロック図である。なお、図１５には、サーバ装置３１２において、図２に示すサーバ装置１２と機能が異なる構成を抽出して示す。

〔オブジェクト認識部〕
図１５に示すオブジェクト認識部３４４は、解析対象画像のオブジェクトとして、解析対象画像の撮像シーンを認識する。具体的には、解析対象画像の撮像シーンを特定し、解析対象画像の場所を特定する。

解析対象画像の場所の例として、観光地、飲食店及び学校等が挙げられる。解析対象の場所は、地名、住所及び経緯度等を適用し得る。地名は通称及び旧地名を適用してもよい。オブジェクト認識部３４４は、解析対象画像のオブジェクトの認識結果を種類判定部３４６へ送信する。

解析対象画像の場所は解析対象画像の撮像場所を適用し得る。オブジェクト認識部３４４は、付帯情報に含まれる撮像場所の情報を取得して、解析対象画像のオブジェクトとして、解析対象画像の撮像場所を認識し得る。なお、実施形態に記載のオブジェクト認識部は、撮像場所情報を取得する撮像場所情報取得部の一例に相当する。

〔種類判定部〕
種類判定部３４６は、オブジェクト認識部３４４から送信された解析対象画像のオブジェクトの認識結果を用いて、オブジェクトの種類として解析対象画像が表すイベントの種類を判定する。

イベントの種類の例として、旅行、テーマパークの訪問、レストランにおける食事、運動会等の学校行事、スポーツ観戦等のスポーツイベント及び美容院における美容サービス等が挙げられる。

図１５には、種類判定部３４６の一例として、ユーザの自宅と解析対象画像の場所との間の距離である離間距離を導出し、離間距離に基づきイベントの種類を特定する態様を例示する。すなわち、種類判定部３４６は、自宅場所情報取得部３７２、離間距離導出部３７４及びイベント種類判定部３７６を備える。

自宅場所情報取得部３７２は、ユーザの自宅情報を取得する。図１５には、ユーザ端末装置２０から送信されたユーザの自宅情報を取得する態様を例示する。自宅場所情報取得部３７２は、ユーザの自宅情報を離間距離導出部３７４へ送信する。

離間距離導出部３７４は、ユーザの自宅情報及び解析対象画像の場所を表す解析対象画像場所情報を用いて、ユーザの自宅から解析対象画像の場所までの距離を導出する。

イベント種類判定部３７６は、解析対象画像の場所及びユーザの自宅から解析対象画像の場所までの距離に基づき、イベントの種類を判定する。例えば、ユーザの自宅から解析対象画像の場所までの距離が規定の距離以上であり、解析対象画像と同一の場所が二日以上に渡って連続して撮像されている場合、イベント種類判定部３７６はイベントの種類を旅行と判定する。

解析対象画像の場所が上記の旅行の条件を満たさない場合であり、予め規定のテーマパークリストに含まれている場合、イベント種類判定部３７６はイベントの種類をテーマパークの訪問と判定し得る。

オブジェクトとして、規定の学校リストに含まれる学校が認識される場合、イベント種類判定部３７６はイベントの種類を学校行事と判定し得る。オブジェクトとして、規定のスポーツ観戦リストに含まれる競技場等が認識される場合、イベント種類判定部３７６はイベントの種類をスポーツ観戦と判定し得る。

すなわち、ユーザごとに撮像シーンとイベントの種類との関係を規定するイベント種類リストを予め作成し、記憶する。イベント種類判定部３７６は、ユーザごとにイベント種類リストを参照して、撮像シーンに対するイベントの種類を特定し得る。イベント種類判定部３７６はイベントの種類の判定情報を価格帯判定部３４８へ送信する。

図１６は第三実施形態に係る画像処理システムに適用される価格帯判定テーブルの模式図である。同図に示す価格帯判定テーブル３７０は、オブジェクトの種類ごとにオブジェクトの価格帯を規定する。図１６では、１から５までの数値を用いて価格帯を表す。図１７に示す価格帯を表す１から５までの数値は価格帯を表す数値範囲に変換し得る。

図１６に示す価格帯判定テーブル３７０は、イベントの種類が旅行の場合、ランクとしてユーザの自宅と解析対象画像の場所との位置関係を適用する。同一都道府県内は第一ランクを適用する。同一地方内は第二ランクを適用する。隣接地方内は第三ランクを適用する。

国内の非隣接地方は第四ランクを適用する。海外は第五ランクを適用する。なお、ユーザの自宅と解析対象画像の場所との位置関係は、ユーザの自宅から解析対象画像の場所までの距離を適用してもよい。

価格帯判定テーブル３７０は、イベントの種類がテーマパークの訪問の場合、テーマパークごとに予め規定のランクを適用してもよい。図１７に示す価格帯判定テーブル３７０におけるＰからＴまでのアルファベットはテーマパークの名称を表す。

価格帯判定テーブル３７０は、テーマパークがＰの場合は第一ランクが適用される。テーマパークがＱの場合、Ｒの場合、Ｓの場合及びＴの場合は、それぞれ、第二ランク、第三ランク、第四ランク及び第五ランクが適用される。

図１５に示す価格帯判定部３４８は、価格帯情報を可処分所得帯変換部３５０へ送信する。可処分所得帯変換部３５０は、価格帯情報をユーザの可処分所得帯情報へ変換する。可処分所得帯変換部３５０は、価格帯情報をユーザの可処分所得帯情報へ変換する際に、図１７に示す可処分所得帯変換テーブル３８０を参照する。

図１７は第三実施形態に係る画像処理システムに適用される可処分所得帯変換テーブルの模式図である。同図に示す可処分所得帯変換テーブル３８０では、ＡからＧまでのアルファベットを用いて、価格帯情報に対応する可処分所得帯情報を示す。図１８に示すＡからＧまでのアルファベットは、数値として処理し得る。なお、図１７に示すＡからＧまでのアルファベットは、図７に示すＡからＧまでのアルファベットと異なる数値範囲としてもよい。

図１５に示す可処分所得帯変換部３５０は、可処分所得帯情報を可処分所得推定部５６へ送信する。可処分所得推定部は図２に示す可処分所得推定部５６と同一である。可処分所得推定部は、可処分所得帯情報及び重み付け係数を用いて、ユーザの可処分所得を推定する。なお、図１５では、可処分所得推定部の図示を省略する。

図１５に示すサーバ装置３１２は、頻度導出部及び係数導出部を備える。頻度導出部は、図２に示す頻度導出部５２と同一である。また、係数導出部は図２に示す係数導出部５４と同一である。なお、図１５では頻度導出部及び係数導出部の図示を省略する。

頻度導出部は、同一の撮像シーンの複数の画像の撮像日を用いて、イベントの発生頻度を導出する。係数導出部はイベントの発生頻度に基づいて重み付け係数を導出する。係数導出部は、重み付け係数を導出する際に、図１８に示す重み付け係数テーブル３９０を参照する。

図１８は第三実施形態に係る画像処理システムに適用される重み付け係数テーブルの模式図である。同図には、イベントの種類が旅行の場合の重み付け係数、及びイベントの種類がテーマパークの来訪の場合の重み付け係数を規定した重み付け係数テーブル３９０を示す。

図１８に示す重み付け係数テーブル３９０は、登場頻度が相対的に高いイベントは、相対的に大きい重み付け係数を規定する。登場頻度が相対的に低いイベントは、相対的に小さい重み付け係数が規定される。

また、重み付け係数テーブル３９０は、ユーザの自宅に相対的に近い場所のイベントは、相対的に小さい重み付け係数が規定する。一方、重み付け係数テーブル３９０は、ユーザの自宅に相対的に遠い場所のイベントは、相対的に大きい重み付け係数を規定する。

図１５に示すサーバ装置３１２は、レコメンド情報送信部を備える。レコメンド情報送信部は図２に示すレコメンド情報送信部５８と同一である。なお、図１５では、レコメンド情報送信部の図示を省略する。レコメンド情報送信部は、ユーザの可処分所得に応じたレコメンド情報を送信する。レコメンド情報送信部は、イベントの種類を考慮したレコメンド情報を送信し得る。

〔ユーザの自宅場所情報取得の他の態様〕
図１９はユーザの自宅場所情報取得の他の態様を示す種類判定部の機能ブロック図である。図１９に示す種類判定部３４６Ａに具備される自宅場所情報取得部３７２Ａは、画像取得部４０を用いて取得した解析対象画像群について、一以上の画像の画像内容を解析してユーザの自宅を特定する。すなわち、自宅場所情報取得部３７２Ａは、解析対象画像群から撮像場所がユーザの自宅である画像を特定し、特定した画像の付帯情報に含まれるＧＰＳ情報等を用いて、ユーザの自宅場所を特定する。

自宅場所情報取得部３７２Ａは、解析対象画像群について、各画像の特徴領域を抽出し、自宅画像における特徴領域を規定した自宅特徴領域リストを参照して、ユーザの自宅が撮像された画像を特定し得る。

かかる態様によれば、ユーザ端末装置２０からユーザの自宅場所情報を取得できない場合にも、解析対象画像群の解析結果に基づき、ユーザの自宅場所情報を取得し得る。

自宅場所情報取得部３７２Ａは、同一の特徴を有する特徴領域の撮像頻度が高い場合、ユーザの自宅を撮像した画像と判定してもよい。また、撮像回数、撮像日及び撮像時刻を考慮して、ユーザの自宅を撮像した画像であるか否かを判定してもよい。

なお、実施形態に記載の自宅は基準場所の一例に相当する。基準場所の他の例として、職場及び学校等の、予めユーザが指定した任意の場所を適用し得る。また、自宅場所情報取得部３７２Ａは、基準場所を特定する基準場所特定部の一例に相当する。

［第三実施形態に係るレコメンド情報提供方法］
次に、第三実施形態に係るレコメンド情報提供方法について説明する。第三実施形態に係るレコメンド情報提供方法の手順は、第一実施形態に係るレコメンド情報提供方法の手順に対して、図５に示すオブジェクト種類判定工程Ｓ１０４が相違する。

図２０は第三実施形態に係るレコメンド情報提供方法に適用されるオブジェクト種類判定工程の手順を示すフローチャートである。図２０には、イベントが旅行であるか又はテーマパークの訪問であるかを判定するオブジェクト種類判定工程を例示する。

イベント場所取得工程Ｓ３００では、図１５に示すオブジェクト認識部３４４は、解析対象画像の画像内容を解析して、イベントの場所を特定する。イベント場所取得工程Ｓ３００の後に自宅場所情報取得Ｓ３０２へ進む。

自宅場所情報取得Ｓ３０２では、自宅場所情報取得部３７２はユーザの自宅場所情報を取得する。自宅場所情報取得Ｓ３０２の後に距離情報取得工程Ｓ３０４へ進む。

距離情報取得工程Ｓ３０４では、離間距離導出部３７４はユーザの自宅から解析対象画像の場所までの距離の情報を取得する。距離情報取得工程Ｓ３０４の後に距離判定工程Ｓ３０６へ進む。

距離判定工程Ｓ３０６では、イベント種類判定部３７６はユーザの自宅から解析対象画像の場所までの距離が規定の距離以上であるか否かを判定する。距離判定工程Ｓ３０６において、イベント種類判定部３７６がユーザの自宅から解析対象画像の場所までの距離が規定の距離未満と判定する場合はＮｏ判定となる。Ｎｏ判定の場合は終了判定工程Ｓ３１６へ進む。

一方、距離判定工程Ｓ３０６において、イベント種類判定部３７６がユーザの自宅から解析対象画像の場所までの距離が規定の距離以上と判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は日数判定工程Ｓ３０８へ進む。

日数判定工程Ｓ３０８では、イベント種類判定部３７６は連続する二日以上に渡って撮像された同一のイベントを撮像した画像が存在するか否かを判定する。日数判定工程Ｓ３０８において、イベント種類判定部３７６が連続する二日以上に渡って撮像された同一のイベントを撮像した画像が存在しないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合はテーマパークリスト照合工程Ｓ３１０へ進む。

一方、日数判定工程Ｓ３０８において、イベント種類判定部３７６が連続する二日以上に渡って撮像された同一のイベントを撮像した画像が存在すると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は旅行判定工程Ｓ３１２へ進む。旅行判定工程Ｓ３１２では、イベント種類判定部３７６は解析対象画像のイベントを旅行と判定し、判定結果を価格帯判定部３４８へ送信する。旅行判定工程Ｓ３１２の後に終了判定工程Ｓ３１６へ進む。

テーマパークリスト照合工程Ｓ３１０では、イベント種類判定部３７６は解析対象画像の場所が規定のテーマパークリストに含まれているか否かを判定する。テーマパークリスト照合工程Ｓ３１０において、イベント種類判定部３７６は解析対象画像の場所が規定のテーマパークリストに含まれていないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は終了判定工程Ｓ３１６へ進む。

一方、テーマパークリスト照合工程Ｓ３１０において、イベント種類判定部３７６は解析対象画像の場所が規定のテーマパークリストに含まれていると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合はテーマパーク判定Ｓ３１４へ進む。

テーマパーク判定Ｓ３１４では、イベント種類判定部３７６は解析対象画像のイベントをテーマパークの訪問と判定し、判定結果を価格帯判定部３４８へ送信する。テーマパーク判定Ｓ３１４の後に終了判定工程Ｓ３１６へ進む。

終了判定工程Ｓ３１６では、図５に示すオブジェクト種類判定工程Ｓ１０４を終了するか否かを判定する。終了判定工程Ｓ３１６において、種類判定部３４６が種類判定部３４６は規定の終了条件を満していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合はイベント場所取得工程Ｓ３００へ進む。以降、終了判定工程Ｓ３１６においてＹｅｓ判定となるまで、イベント場所取得工程Ｓ３００から終了判定工程Ｓ３１６の各工程を繰り返し実施する。

一方、終了判定工程Ｓ３１６において、種類判定部３４６が種類判定部３４６は規定の終了条件を満していると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、種類判定部３４６はオブジェクト種類判定工程Ｓ１０４を終了する。

［第三実施形態の作用効果］
第三実施形態に係る画像処理システム及びレコメンド情報提供方法によれば、以下の作用効果を得ることが可能である。

〔１〕
解析対象画像のオブジェクトとして、イベントを特定する。これにより、イベントに基づくユーザの可処分所得の推定が可能となる。

〔２〕
ユーザの自宅とイベントの場所との距離に基づき、イベントの種類を特定する。イベントの種類に基づくユーザの可処分所得の推定が可能となる。

［変形例］
次に、上記した画像処理システム及びレコメンド情報提供方法に係る変形例について説明する。図２１は変形例に係るレコメンド情報提供方法の手順を示すフローチャートである。以下に説明する変形例に係るレコメンド情報提供方法は、解析対象画像群の各解析対象画像について撮像者を推定し、撮像者ごとに可処分所得を推定する。ユーザの可処分所得を推定する際に、他の撮像者の可処分所得の推定値を利用する。

画像取得工程Ｓ１０は、図４に示す画像取得工程Ｓ１０と同様である。画像取得工程Ｓ１０の後に不要画像除去工程Ｓ４００へ進む。不要画像除去工程Ｓ４００では、図２に示すオブジェクト認識部４４は、図５に示す解析対象画像設定工程Ｓ１００における解析に適していない画像の除去と同様の処理を実施する。不要画像除去工程Ｓ４００の後に撮像者推定工程Ｓ４０２へ進む。

撮像者推定工程Ｓ４０２では、オブジェクト認識部４４は解析対象画像の撮像者を推定する。例えば、各画像の撮像装置の情報を用いて、ユーザが撮像した画像であるか又はユーザ以外の他の者が撮像した画像であるかを推定する。

オブジェクト認識部４４は、撮像頻度が高い撮像装置を用いて撮像された画像をユーザが撮像した画像と推定し得る。撮像者推定工程Ｓ４０２の後に画像判定工程Ｓ４０４へ進む。

画像判定工程Ｓ４０４では、オブジェクト認識部４４は各解析対象画像について、撮像者がユーザであるか又は撮像者がユーザ以外の他の者であるかを判定する。画像判定工程Ｓ４０４において、解析対象画像の撮像者がユーザ以外の他の者であるとオブジェクト認識部４４が判定した場合はＮｏ判定となる。Ｎｏ判定の場合は他の撮像者の可処分所得推定工程Ｓ４０６へ進む。

他の撮像者の可処分所得推定工程Ｓ４０６では、可処分所得推定部５６等はユーザ以外の撮像者について、図４に示す画像内容解析工程Ｓ１２から可処分所得推定工程Ｓ１８までの各工程を実施して、他の撮像者の可処分所得を推定する。可処分所得推定工程Ｓ４０６の後に可処分所得推定工程Ｓ４０８へ進む。

一方、画像判定工程Ｓ４０４において、解析対象画像の撮像者はユーザであるとオブジェクト認識部４４が判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合はユーザの可処分所得推定工程Ｓ４０８へ進む。

ユーザの可処分所得推定工程Ｓ４０８では、可処分所得推定部５６等はユーザについて、図４に示す画像内容解析工程Ｓ１２から可処分所得推定工程Ｓ１８までの各工程を実施して、ユーザの可処分所得を推定する。

可処分所得推定部５６等は、他の撮像者の可処分所得推定工程Ｓ４０６において推定された他の撮像者の可処分所得の推定値を考慮して、ユーザの可処分所得を推定する。すなわち、可処分所得推定部５６等は、ユーザ自身が撮像者である解析対象画像を優先して、ユーザの可処分所得を推定する。

可処分所得推定部５６等は、ユーザ以外の他の者が撮像者である解析対象画像に基づき他の者が撮像者の可処分所得を推定し、他の撮像者の可処分所得の推定値を利用して、ユーザの可処分所得を推定し得る。

可処分所得推定部５６等は、他の撮像者の可処分所得の推定値を利用してユーザの可処分所得を推定する際に、ユーザと他の撮像者との相関を考慮し得る。例えば、ユーザと他の撮像者との年齢の相関関係を利用して、ユーザの可処分所得を推定し得る。

図２２は年代に応じたユーザと関係者との相関を表す相関図である。同図に示す相関図５００は、ユーザ５０１との距離を用いて、ユーザ５０１と第一関係者５０２等との相関の強さを表す。相関の強さはユーザ５０１の年代と第一関係者５０２等の年代とを考慮している。

第一境界線５１０は、ユーザ５０１との年齢差が１０歳の境界を表す。第一境界線５１０の線上の関係者は、ユーザ５０１との年齢差が１０歳である。第一境界線５１０の内側の関係者は、ユーザ５０１との年齢差が１０歳未満である。

第二境界線５１２はユーザ５０１との年齢差が２０歳の境界線を表す。第二境界線５１２の線上の関係者は、ユーザ５０１との年齢差が２０歳である。第一境界線５１０の外側であり、第二境界線５１２の内側の関係者は、ユーザ５０１との年齢差が１０歳を超え２０歳未満である。

第三境界線５１４はユーザ５０１との年齢差が３０歳の境界線を表す。第三境界線５１４の線上の関係者は、ユーザ５０１との年齢差が３０歳である。第二境界線５１２の外側であり、第三境界線５１４の内側の関係者は、ユーザ５０１との年齢差が２０歳を超え３０歳未満である。

同図に示す第一関係者５０２はユーザ５０１との年齢差が２０歳を超え３０歳未満である。第二関係者５０４はユーザ５０１との年齢差が３０歳である。第一関係者５０２は、第二関係者５０４と比較してユーザ５０１との距離が短く、相関が強い。

第三関係者５０６はユーザ５０１との年齢差が１０歳を超え２０歳未満である。第三関係者５０６は第一関係者５０２及び第二関係者５０４と比較してユーザ５０１との距離が短く、相関が強い。

年代の近い他の撮像者は、ユーザ５０１との可処分所得の差が相対的に小さいと規定し、他の撮像者の可処分所得の推定値を利用してユーザ５０１の可処分所得を推定し得る。また、図２２に示す相関図５００に示すユーザ５０１との距離が相対的に近い関係者の可処分所得は、ユーザ５０１の可処分所得との差が相対的に小さいと規定してもよい。

図２３は趣味に応じたユーザと関係者との相関を表す相関図である。同図に示す相関図５２０は、第四関係者５３０、第五関係者５３２、第六関係者５３４及び第七関係者５３６が趣味に基づき分類されている。図２３には、趣味として自転車、ワイン、及びランチを例示する。

ユーザ５０１と同じ趣味を持つ他の撮像者の可処分所得は、ユーザ５０１の可処分所得との差が相対的に小さいと規定し、他の撮像者の可処分所得の推定値を利用してユーザ５０１の可処分所得を推定し得る。

本実施形態では、年代及び趣味に応じてユーザの関係者を分類する態様を例示したが、学歴、出身地及び職業等に応じて、ユーザとの相関を規定してもよい。

［変形例の作用効果］
以上説明した変形例によれば、解析対象の複数の画像について撮像者を推定し、撮像者ごとに可処分所得を推定する。ユーザの可処分所得を推定する際に、他の撮像者の可処分所得の推定値を利用する。これにより、他の撮像者の可処分所得の推定値を考慮したユーザの可処分所得を推定し得る。また、ユーザと他の撮像者との相関を考慮して、ユーザの可処分所得を推定し得る。

［ネットワークシステムへの適用例］
図１に示すサーバ装置１２と画像データベース１４等とは、ネットワークを介して通信可能に接続されてもよい。また、図２に示すサーバ装置１２等の構成要素は、ネットワークを介して通信可能に接続されてもよい。

すなわち、図２に示すサーバ装置１２等を構成する各部は、分散配置を適用してもよいし、集合配置を適用してもよい。図１に示す画像処理システム１０等は、クラウドコンピューティングを適用してもよい。

［画像管理システムへの適用例］
図１に示す画像処理システム１０等は、画像管理システムの一部として構成してもよい。画像管理システムは、図１に示すユーザ端末装置２０からアップロードされた画像の被写体及び撮像シーン等を自動的に解析し、自動的にタグ付け処理を実施する。

ユーザは、任意の画像に付与されたタグを用いて、画像データベース１４に記憶されている画像の検索を実施し得る。また、ユーザは、ユーザがアップロードした画像に対して、手動のタグ付け処理を実施し得る。

［プログラムへの適用例］
本明細書に開示した画像処理システム１０及びレコメンド情報提供方法に対応するプログラムを構成し得る。すなわち、本明細書は、コンピュータに、オブジェクト認識機能、可処分所得帯変換機能、付帯情報取得機能、頻度導出機能、係数導出機能、可処分所得推定機能及びレコメンド情報送信機能を実現させるプログラムを開示する。

オブジェクト認識機能は、ユーザに関連する複数の画像を含む画像群に含まれる二以上の解析対象画像を解析して、二以上の解析対象画像のそれぞれに含まれるオブジェクトを認識する。

可処分所得帯変換機能は、オブジェクト認識機能を用いて認識されたオブジェクトの情報を、ユーザの可処分所得の範囲を表す可処分所得帯情報へ変換する。付帯情報取得機能は、オブジェクト認識機能を用いてオブジェクトが認識された二以上の解析対象画像について、解析対象画像の撮像日を表す撮像日情報を含む解析対象画像の付帯情報を取得する。

頻度導出機能は、撮像日情報に基づいて、オブジェクトの登場頻度を導出する。係数導出機能は、登場頻度を表す登場頻度情報に基づき、オブジェクトに対応する重み付け係数を導出する。

可処分所得推定機能は、可処分所得帯情報及び重み付け係数を用いて、ユーザの可処分所得を推定する。レコメンド情報送信機能は、ユーザの可処分所得に応じて、ユーザに対してオブジェクトに関連するレコメンド情報を送信する。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

１０ 画像処理システム
１２ サーバ装置
１４ 画像データベース
１６ 可処分所得データベース
１６Ａ 価格帯判定データベース
１６Ｂ 可処分所得帯変換データベース
１６Ｃ 重み付け係数データベース
１８ レコメンド情報データベース
１９ 管理者端末装置
２０ ユーザ端末装置
２２ 表示部
３０ インターネット
４０ 画像取得部
４２ 付帯情報取得部
４４ オブジェクト認識部
４６ 種類判定部
４８ 価格帯判定部
５０ 可処分所得帯変換部
５２ 頻度導出部
５４ 係数導出部
５６ 可処分所得推定部
５８ レコメンド情報送信部
５９ ユーザ情報取得部
６０ 所持品判定部
１００ 価格帯判定テーブル
１１０ 可処分所得帯変換テーブル
１２０ 重み付け係数テーブル
１４０ レコメンド情報表示画面
１４２ ユーザ識別情報
１４４ レコメンド情報
１４６ 操作ボタン
２００ 画像処理システム
２１２ サーバ装置
２４０ レコメンド情報表示画面
２４２ ユーザ識別情報
２４４ レコメンド情報
２４６ 操作ボタン
３００ 画像処理システム
３１２ サーバ装置
３４４ オブジェクト認識部
３４６ 種類判定部
３４６Ａ 種類判定部
３４８ 価格帯判定部
３５０ 可処分所得帯変換部
３７０ 価格帯判定テーブル
３７２ 自宅場所情報取得部
３７２Ａ 自宅場所情報取得部
３７４ 離間距離導出部
３７６ イベント種類判定部
３８０ 可処分所得帯変換テーブル
３９０ 重み付け係数テーブル
５００ 相関図
５０１ ユーザ
５０２ 第一関係者
５０４ 第二関係者
５０６ 第三関係者
５１０ 第一境界線
５１２ 第二境界線
５１４ 第三境界線
５２０ 相関図
５３０ 第四関係者
５３２ 第五関係者
５３４ 第六関係者
５３６ 第七関係者
Ｓ１０からＳ４０８ レコメンド情報提供方法の各工程

Claims (22)

1. ユーザに関連する複数の画像を含む画像群に含まれる二以上の解析対象画像を解析して、前記二以上の解析対象画像のそれぞれに含まれるオブジェクトを認識するオブジェクト認識部と、
   前記オブジェクト認識部を用いて認識された前記オブジェクトの情報を、前記ユーザの可処分所得の範囲を表す可処分所得帯情報へ変換する可処分所得帯変換部と、
   前記オブジェクト認識部を用いて前記オブジェクトが認識された前記二以上の前記解析対象画像について、前記解析対象画像の撮像日を表す撮像日情報を含む前記解析対象画像の付帯情報を取得する付帯情報取得部と、
   前記撮像日情報に基づいて、前記オブジェクトの登場頻度を導出する頻度導出部と、
   前記登場頻度を表す登場頻度情報に基づき、前記オブジェクトに対応する重み付け係数を導出する係数導出部と、
   前記可処分所得帯情報及び前記重み付け係数を用いて、前記ユーザの可処分所得を推定する可処分所得推定部と、
   前記ユーザの可処分所得に応じて、前記ユーザに対して前記オブジェクトに関連するレコメンド情報を送信するレコメンド情報送信部と、
   を備えた画像処理システム。
2. 前記オブジェクト認識部は、前記オブジェクトとして、前記解析対象画像に含まれる物品を認識する請求項１に記載の画像処理システム。
3. 前記オブジェクトの登場頻度に基づいて、前記オブジェクトが所持品であるか又はレンタル品であるかを判定する所持品判定部を備え、
   前記レコメンド情報送信部は、前記オブジェクトがユーザの所持品の場合は前記レコメンド情報として購買品の情報を送信し、前記オブジェクトがレンタル品の場合は前記レコメンド情報としてレンタル品の情報を送信する請求項２に記載の画像処理システム。
4. 前記オブジェクト認識部を用いて認識された前記オブジェクトの種類を判定する種類判定部を備えた請求項１から３のいずれか一項に記載の画像処理システム。
5. 前記オブジェクトと前記オブジェクトの種類との関係を記憶する種類記憶部を備え、
   前記種類判定部は、前記種類記憶部を参照して、前記オブジェクトの種類を判定する請求項４に記載の画像処理システム。
6. 前記オブジェクト認識部は、前記オブジェクトとして、前記解析対象画像の撮像シーンを認識する請求項１に記載の画像処理システム。
7. 前記オブジェクト認識部は、前記オブジェクトの種類として、前記撮像シーンに対応するイベントを判定する請求項６に記載の画像処理システム。
8. 前記オブジェクト認識部を用いて認識された前記オブジェクトの種類を判定する種類判定部を備えた請求項６又は７に記載の画像処理システム。
9. 前記オブジェクトと前記オブジェクトの種類との関係を記憶する種類記憶部を備え、
   前記種類判定部は、前記種類記憶部を参照して、前記オブジェクトの種類を判定する請求項８に記載の画像処理システム。
10. 前記解析対象画像の撮像場所の情報を取得する撮像場所情報取得部を備え、
    前記種類判定部は、前記画像群に対応するユーザの基準場所と前記解析対象画像の撮像場所との位置関係に基づいて、前記オブジェクトに対応するイベントを判定する請求項８又は９に記載の画像処理システム。
11. 前記種類判定部は、前記基準場所から前記解析対象画像の撮像場所までの距離に基づいて、前記オブジェクトに対応するイベントの種類を判定する請求項１０に記載の画像処理システム。
12. 前記撮像場所情報取得部は、前記付帯情報取得部を用いて、前記解析対象画像の撮像場所を表す撮像場所情報を含む前記付帯情報を取得する請求項１０又は１１に記載の画像処理システム。
13. 前記撮像場所情報取得部は、前記解析対象画像を解析して、前記解析対象画像の撮像場所を特定する請求項１０又は１１に記載の画像処理システム。
14. 前記付帯情報取得部は、前記基準場所の情報を含む付帯情報を取得する請求項１０から１３のいずれか一項に記載の画像処理システム。
15. 前記解析対象画像を解析して、前記基準場所を特定する基準場所特定部を備えた請求項１０から１３のいずれか一項に記載の画像処理システム。
16. 前記オブジェクトの種類に対応する前記オブジェクトの価格帯を判定する価格帯判定部を備えた請求項１から１５のいずれか一項に記載の画像処理システム。
17. 前記オブジェクトの種類と価格帯との関係を記憶する価格帯記憶部を備え、
    前記価格帯判定部は、前記価格帯記憶部を参照して、前記オブジェクトの価格帯を判定する請求項１６に記載の画像処理システム。
18. 前記価格帯と前記ユーザの可処分所得の範囲を表す可処分所得帯との関係を記憶する可処分所得帯記憶部を備え、
    前記可処分所得帯変換部は、前記可処分所得帯記憶部を参照して、前記価格帯を表す価格帯情報を前記ユーザの可処分所得帯を表す可処分所得帯情報へ変換する請求項１７に記載の画像処理システム。
19. 前記オブジェクトの種類と前記重み付け係数との関係を記憶する係数記憶部を備え、
    前記係数導出部は、前記係数記憶部を参照して、前記オブジェクトに適用される前記重み付け係数を導出する請求項１から１８のいずれか一項に記載の画像処理システム。
20. 前記ユーザを特定するユーザ情報を取得するユーザ情報取得部を備えた請求項１から１９のいずれか一項に記載の画像処理システム。
21. コンピュータが、
    ユーザに関連する複数の画像を含む画像群に含まれる二以上の解析対象画像を解析して、前記二以上の解析対象画像のそれぞれに含まれるオブジェクトを認識するオブジェクト認識工程と、
    前記オブジェクト認識工程において認識された前記オブジェクトの情報を、前記ユーザの可処分所得の範囲を表す可処分所得帯情報へ変換する可処分所得帯変換工程と、
    前記オブジェクト認識工程において前記オブジェクトが認識された前記二以上の解析対象画像について、前記解析対象画像の撮像日を表す撮像日情報を含む前記解析対象画像の付帯情報を取得する付帯情報取得工程と、
    前記撮像日情報に基づいて、前記オブジェクトの登場頻度を導出する頻度導出工程と、
    前記登場頻度を表す登場頻度情報に基づき、前記オブジェクトに対応する重み付け係数を導出する係数導出工程と、
    前記可処分所得帯情報及び前記重み付け係数を用いて、前記ユーザの可処分所得を推定する可処分所得推定工程と、
    前記ユーザの可処分所得に応じて、前記ユーザに対して前記オブジェクトに関連するレコメンド情報を送信するレコメンド情報送信工程と、
    を実行する画像処理方法。
22. コンピュータに、
    ユーザに関連する複数の画像を含む画像群に含まれる二以上の解析対象画像を解析して、前記二以上の解析対象画像のそれぞれに含まれるオブジェクトを認識するオブジェクト認識機能、
    前記オブジェクト認識機能を用いて認識された前記オブジェクトの情報を、前記ユーザの可処分所得の範囲を表す可処分所得帯情報へ変換する可処分所得帯変換機能、
    前記オブジェクト認識機能を用いて前記オブジェクトが認識された二以上の解析対象画像について、前記解析対象画像の撮像日を表す撮像日情報を含む前記解析対象画像の付帯情報を取得する付帯情報取得機能、
    前記撮像日情報に基づいて、前記オブジェクトの登場頻度を導出する頻度導出機能、
    前記登場頻度を表す登場頻度情報に基づき、前記オブジェクトに対応する重み付け係数を導出する係数導出機能、
    前記可処分所得帯情報及び前記重み付け係数を用いて、前記ユーザの可処分所得を推定する可処分所得推定機能、及び
    前記ユーザの可処分所得に応じて、前記ユーザに対して前記オブジェクトに関連するレコメンド情報を送信するレコメンド情報送信機能を実現させるプログラム。

Images