JP6945212B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

多くの電子商取引（ＥＣ：Electronic Commerce）では、登録会員に推奨商品を紹介することがなされている。例えば、購入履歴からその会員の嗜好を推定し、推定した嗜好に整合する商品を特定し、その商品に関連するバナー等の広告をその会員のスマートフォン（Smartphone）等の携帯情報端末に表示されることがなされている。しかしながら、購入履歴に基づく嗜好推定は、購入対象となる物品等があることが前提となるため嗜好対象としてカバーできる範囲は限定的であり、嗜好範囲を狭小化させてしまう恐れがある。

一方、ソーシャルネットワーキングサービスを利用するユーザは増加傾向にあり、ユーザは、自分が行った場所、自分の日常的な出来事、自分が使用した商品の紹介などを写真とともに投稿し、また、日常の思いをテキストで投稿することができる。このようにして、ソーシャルネットワーキングサービス上には日々多くのコンテンツが投稿されており、これらコンテンツは公序良俗などの一定の制約はあるものの、実質的には限定されておらず、その種類は多種多様である。ユーザは、投稿されたコンテンツを閲覧したり、投稿されたコンテンツに対してコメントをすることができる。このような、投稿コンテンツに対するユーザのアクションには、その時のユーザの興味、嗜好が自然と含まれることが多く、ソーシャルネットワーキングサービスを介したユーザの嗜好情報を収集することが望まれている。

少なくとも画像（写真（静止画）、一連の静止画から構成される動画を含む）とテキストとのうち一方を含むコンテンツが投稿されるインターネットサービスを利用するユーザの嗜好情報を収集することができる情報処理装置及びプログラムを提供することにある。

本実施形態に係る情報処理装置は、ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバから、ユーザのアクティビティログを受信する手段と、前記アクティビティログから前記ユーザがコメントをしたコンテンツを投稿した投稿ユーザのアカウントを選択する手段と、前記投稿ユーザのアカウントに基づいて、前記サーバから前記投稿ユーザが投稿したコンテンツのデータと、前記コンテンツに対して前記ユーザが投稿したコメントのデータを受信する受信手段と、前記コンテンツに含まれる投稿画像を解析して前記投稿画像内のオブジェクト又は前記オブジェクトの種類を前記ユーザの嗜好対象として識別する識別手段と、前記ユーザのコメントに基づいて、前記嗜好対象に対する前記ユーザの嗜好傾向を推定する推定手段とを具備する。

図１は、本実施形態に係る嗜好情報収集処理装置（情報処理装置）を含む全体構成図である。 図２は、本実施形態に係る情報処理装置の構成図である。 図３は、図１の情報端末に表示されるＳＮＳサービスの画面の一例を示す図である。 図４は、図１の情報処理装置による嗜好情報収集処理の手順の一例を示すフローチャートである。 図５は、図４の嗜好解析処理（ステップＳ１６、Ｓ１７）の手順を示すフローチャートである。 図６は、図１の情報処理装置の機能ブロック図である。 図７は、図６の画像解析部を構成する複数の識別器の階層を示す図である。 図８は、図６の嗜好傾向解析部で嗜好極性解析に用いるテーブルの一例を示す図である。 図９は、図６の嗜好傾向解析部で嗜好程度解析に用いるテーブルの一例を示す図である。 図１０は、図１の情報処理装置によるアクティビティログが起点となる嗜好情報収集処理の手順の一例を示すフローチャートである。 図１１は、図１の情報処理装置によるコメント者リストが起点となる嗜好情報収集処理の手順の一例を示すフローチャートである。 図１２は、図１の情報処理装置による共感意思表明者リストが起点となる嗜好情報収集処理の手順の一例を示すフローチャートである。 図１３は、図１の情報処理装置による閲覧者リストが起点となる嗜好情報収集処理の手順の一例を示すフローチャートである。 図１４は、図１の情報処理装置によるフォローアカウントリストが起点となる嗜好情報収集処理の手順の一例を示すフローチャートである。 図１５は、図１の情報処理装置によるフォロワーアカウントリストが起点となる嗜好情報収集処理の手順の一例を示すフローチャートである。 図１６は、図１の情報処理装置によるコメント（メンションあり）が起点となる嗜好情報収集処理の手順の一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。本実施形態は、人と人とのつながりを促進・サポートするコミュニティ型のサービスとしてソーシャルネットワーキングサービス（以下「ＳＮＳ」という）、インターネットなどのネットワークを介して商品やサービスをウェブサイトで販売するサービスを展開するＥＣ（electronic commerce、電子商取引）サービス、YouTube（登録商標）等の動画投稿閲覧サービス等の、少なくとも画像（写真（静止画）、一連の静止画から構成される動画を含む）とテキストとのうち一方を含むコンテンツが投稿されるインターネットサービスに関連する。ここでは「フェイスブック（登録商標）」、「ツイッター（登録商標）」、「インスタグラム（登録商標）」を代表例とするＳＮＳサービスを例に説明する。これらＳＮＳサービスは、投稿者は、自分のプロフィールや趣味、日常の出来事、関心のある出来事等に関する画像、動画等を自身のコメントと共に投稿するとともに、閲覧者は投稿者が投稿したコンテンツに対してコメントを投稿することができるコミュニティ性の高いインターネット上のサービスである。

なお、ＳＮＳサービスを利用するユーザのうち、コンテンツを投稿するユーザを特に「投稿者」といい、それを閲覧するユーザを「閲覧者」として両者を区別するものとする。さらに、閲覧者のうち、コメントを投稿した閲覧者をコメント者、共感意思を表明した閲覧者を共感意思表明者とする場合もある。コメントとしても投稿者が投稿したコメントを「投稿者コメント」、投稿者のコンテンツに対して閲覧者が投稿したコメントを「閲覧者コメント」と称して両者を区別する。

本実施形態に係る情報処理装置の１つの特徴は、ＳＮＳサービス上で投稿者が投稿したコンテンツを閲覧する閲覧者の嗜好対象を、投稿者が投稿したコンテンツに基づいて推定することにある。また、その嗜好対象に対する閲覧者の嗜好傾向（嗜好極性、嗜好程度）を閲覧者のアクションに基づいて推定することにある。ここでの「アクション」は、ＳＮＳサービス上での閲覧者の行動を示し、例えば、「コンテンツを閲覧する」、「コンテンツに対して共感意思を表明する」、「コンテンツに対してコメントを投稿する」、「特定のアカウントをフォローする」などが挙げられる。「共感意思を表明する」とは、「フェイスブック（登録商標）」、「ツイッター（登録商標）」、「インスタグラム（登録商標）」では「“いいね！”をつける」、「“いいね！”を投稿する」とも呼ばれる。

上記の特徴により、ＳＮＳサービス上で自らは積極的に情報を発信しないためにこれまで嗜好情報の収集が難しかった閲覧者の嗜好情報を収集することができる。このように収集した嗜好情報は、購入履歴から嗜好情報を取得する手法に比べて、過度な主観や誤差振動の少ない、より自然で信頼性の高い情報として非常に有用である。

なお、上記の特徴は、投稿者が投稿したコンテンツから投稿者の嗜好対象を特定し、特定した嗜好対象に対する嗜好極性や嗜好程度を、その画像に付帯する投稿者のコメントから推定し、それらを統合することにより投稿者の嗜好情報を生成することと明確に区別される。

図１に示すように本実施形態における情報処理装置２は、公衆通信回線網８（インターネット回線）に接続される。インターネット回線８にはＳＮＳサーバ１、ＳＮＳサービスを利用するユーザが使用するＰＣ、スマートフォン、ＰＨＳ、ＰＤＡ、タブレット端末などの情報端末３〜７が接続される。ここでは、コンテンツ投稿者であるユーザＡの情報端末をユーザ端末３、ユーザＡのコンテンツに対して共感意思を表明するとともにコメントを投稿したユーザＢの情報端末をユーザ端末４、特定の企業ＤをフォローするユーザＣの情報端末をユーザ端末５、特定の企業Ｄの情報端末をユーザ端末６、ユーザＡがメンションしたユーザＥの情報端末をユーザ端末６として、本実施形態の説明で登場する人物を整理する。

図２に示すように、情報処理装置２は、例えばコンピュータにより実現されるもので、プロセッサ２１、ＲＡＭ２２、ＲＯＭ２３、記憶装置２４、入力コントローラ２５、ビデオコントローラ２６及び通信装置２７を有する。

プロセッサ２１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。プロセッサ２１は、例えばＣＰＵ（Central Processing Unit）、及びＧＰＵ（Graphics Processing Unit）により構成することができる。ＲＡＭ２２は、プロセッサ２１の主メモリ、ワークエリア等として機能する。ＲＯＭ２３には、プロセッサ２１により実行されるＢＩＯＳ（Basic Input Output System）、オペレーティングシステムプログラム（ＯＳ）及び各種プログラムで処理される各種ファイル、各種データ等が記憶される。記憶装置２４には、嗜好情報収集処理プログラム及び嗜好情報収集処理プログラムにより収集されたＳＮＳサービスを利用するユーザのプロフィール情報が記憶されている。プロフィール情報には、ユーザの年齢、性別及び嗜好情報が含まれる。嗜好情報には、ユーザの嗜好対象、嗜好対象に対する嗜好傾向（嗜好極性及び嗜好程度）が含まれる。

入力コントローラ２５は、キーボード、マウスやタッチパネル等のポインティングデバイス等の入力デバイス２８からの入力を制御する。ビデオコントローラ２６は、プロセッサの制御のもとで、ＬＣＤ（Liquid Crystal Display）などのディスプレイ２９の表示を制御する。通信装置２７は、インターネット回線８を介して外部のＳＮＳサーバ１との通信を制御する。本実施形態に係る情報処理装置２は、通信装置２７を介してＳＮＳサーバ１から各種情報をダウンロードすることができる。

ユーザは自己の情報端末を介してＳＮＳサーバ１と通信することで、ＳＮＳサーバ１が提供するＳＮＳサービスを受けることができる。例えば、ユーザＡ（投稿者）は情報端末を介してＳＮＳサーバ１に対してコンテンツ（投稿画像、投稿者コメント）をアップロードすることができる。ユーザＢ（閲覧者）は情報端末を介してＳＮＳサーバ１にアップロードされた投稿者のコンテンツを閲覧することができる。

図３に示すように、ユーザＢ（閲覧者）の情報端末には、ユーザＡ（投稿者）のコンテンツの閲覧画面が表示される。閲覧画面には、ユーザＡが投稿したコンテンツ数、ユーザＡがフォローしているアカウント数（フォロー数）、ユーザＡをフォローしているアカウント数（フォロワ数）などのユーザＡの基本情報が表示される。また、閲覧画面には、ユーザＡの投稿コンテンツと、投稿コンテンツに対するコメント欄と、ユーザＡの投稿コンテンツに対してユーザＢがコメントを投稿するための投稿ボタンと、ユーザＡの投稿コンテンツに対してユーザＢが共感意思を表明するための表明ボタンとが表示される。ユーザＢは投稿コンテンツに対するコメントを入力し、投稿ボタンを押すことで、その投稿コンテンツに対する閲覧者コメントをＳＮＳサーバ１にアップロードすることができる。同様にして、ユーザＢは表明ボタンを押すことで、その投稿コンテンツに対するユーザＢの共感意思を表明することができる。ユーザＡ（投稿者）及びユーザＢ（閲覧者）は、コメント入力時にアカウントを指定することで、そのアカウントのユーザに対するコメントを投稿することができる。ここでは、コメント入力時にアカウントを指定することを「メンション」という。

（嗜好情報収集処理１）
図４は、本実施形態に係る情報処理装置２による嗜好情報収集処理の動作手順を示しいている。図４に示すように、情報処理装置２は、ＳＮＳサーバ１から、任意アカウントのユーザＡが投稿したコンテンツ（投稿画像、投稿者コメント）をダウンロードする（ステップＳ１１）。ＳＮＳサーバ１から、ユーザＡの投稿コンテンツに対してコメントをしたアカウントのリスト(コメント者リスト)をダウンロードする（ステップＳ１２）。コメント者リストから任意ユーザ、例えばユーザＢのアカウントを選択する（ステップＳ１３）。記憶装置２４から、ユーザＢに関するプロフィール情報を読み出す（ステップＳ１４）。情報処理装置２は、ＳＮＳサーバ１からユーザＡの投稿コンテンツに対するユーザＢの閲覧者コメントをダウンロードする（ステップＳ１５）。ＳＮＳサーバ１からダウンロードしたユーザＡの投稿コンテンツとユーザＢの閲覧者コメントとに対して嗜好解析処理を実行する（詳細は後述する）。それにより、ユーザＡの投稿コンテンツからユーザＢの嗜好対象を推定し（ステップＳ１６）、ユーザＢの閲覧者コメントから嗜好対象に対する嗜好傾向（嗜好極性、嗜好程度）を推定する（ステップＳ１７）。ユーザＢのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好傾向を嗜好情報として統合し、記憶装置２４に記憶する（ステップＳ１８）。コメント者リストにリストアップされている他のコメント者それぞれに対してステップＳ１４〜ステップＳ１８の処理を実行し、他のコメント者の嗜好情報を収集する（ステップＳ１９）。

なお、ステップＳ１４において、記憶装置２４にユーザＢのプロフィール情報が記憶されていない、つまりユーザＢが新規ユーザである場合、情報処理装置２は、ＳＮＳサーバ１からユーザＢのプロフィール情報をダウンロードする。

また、ユーザＢのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好傾向は以下のように嗜好情報として統合される。すなわち、ステップＳ１８において、ステップＳ１６で推定された嗜好対象がユーザＢの嗜好情報に登録されていないとき、情報処理装置２は、ステップＳ１６で推定された嗜好対象を新規に登録する。ステップＳ１６で推定された嗜好対象がユーザＢの嗜好情報に既に登録されているとき、情報処理装置２は、嗜好対象に対する嗜好傾向を更新する。上記の嗜好傾向の更新処理では、例えば、ユーザＢの嗜好対象「猫」、嗜好極性「ポジティブ」、嗜好程度「１０」が既に登録されており、ステップＳ１６で推定された嗜好対象が「猫」、ステップＳ１７で推定された嗜好極性が「ポジティブ」、嗜好程度が「１５」であれば、情報処理装置２は、ユーザＢの嗜好対象「猫」に対する嗜好傾向を、嗜好極性「ポジティブ」、嗜好程度「２５」に更新する。同様の嗜好対象に関するコンテンツに対して何度もコメントを投稿しているユーザは、その嗜好対象に対して非常に興味があるものと推定できる。上記のように、累積的に嗜好傾向を更新することにより、ユーザのコメントの回数を嗜好傾向に反映させることができる。それにより、「知り合いの投稿だったからたまたまコメントしただけ」などのユーザの嗜好に反する情報（ノイズ）の影響を抑えることができ、嗜好情報の精度を向上させることができる。また、ユーザＢの嗜好対象に対する嗜好傾向の移り変わりを捉えることができる。

ユーザがそれまで好意的だった「猫」を突然嫌いになるケースも想定される。このように、嗜好極性が反転するようなケースでは、嗜好対象に対するユーザの最新の嗜好傾向を反映するために、嗜好程度を減算するのではなく、その嗜好対象に対する嗜好傾向を反転するとともに嗜好程度をリセットするようにしてもよい。例えば、ユーザＢの嗜好対象「猫」、嗜好極性「ポジティブ」、嗜好程度「１０」が既に登録されており、ステップＳ１６で推定された嗜好対象が「猫」、ステップＳ１７で推定された嗜好極性が「ネガティブ」、嗜好程度が「５」であれば、情報処理装置２は、ユーザＢの嗜好情報を、嗜好対象「猫」、嗜好極性「ネガティブ」、嗜好程度「５」に更新する。それにより、最新のユーザＢの嗜好傾向を的確に捉えることができる。もちろん、ユーザはこれまで好意的だった「猫」を徐々に嫌いになるケースも想定される。このような場合では、嗜好程度を減算すべきである。例えば、ユーザＢの嗜好対象「猫」、嗜好極性「ポジティブ」、嗜好程度「１０」が既に登録されており、ステップＳ１６で推定された嗜好対象が「猫」、ステップＳ１７で推定された嗜好極性が「ネガティブ」、嗜好程度が「５」であれば、情報処理装置２は、ユーザＢの嗜好情報を、嗜好対象「猫」、嗜好極性「ポジティブ」、嗜好程度「５」に更新する。なお、閲覧者コメントの投稿回数が嗜好情報に含まれてもよい。

以下、嗜好情報収集処理のステップＳ１６、ステップＳ１７において実行される嗜好解析処理について説明する。嗜好解析処理が実行されるまでに、情報処理装置２のセパレータ２０１により、ＳＮＳサーバ１からダウンロードしたユーザＢの閲覧者コメントが言語解析部２０３に供給され、ユーザＡの投稿コンテンツのうち投稿画像がオブジェクト抽出処理部２０７に供給されている。

嗜好解析処理が実行されると、言語解析部２０３は、ユーザＢの閲覧者コメント（テキスト）をテキストマイニング処理にかけて、閲覧者コメントから名詞、形容詞、副詞を抽出する（Ｓ１６１）。なお、コメントに絵文字やスタンプ等の絵柄、記号、シンボルが含まれる場合、それらは予め決めた規則（テーブル）に従って形容詞として抽出する。閲覧者コメントから抽出された名詞はほとんどの場合、投稿画像内で閲覧者が注目しているオブジェクト又はオブジェクトの種類を示している。閲覧者コメントから抽出された名詞（それを表すコード）は画像選択部２１１及び画像解析部２１５に供給され、形容詞及び副詞（それを表すコード）は嗜好傾向解析部２０５に供給される。

オブジェクト抽出処理部２０７は、投稿画像からオブジェクト又はオブジェクトの種類を抽出し解析する（Ｓ１６２）。この処理は典型的には畳み込みニューラルネットワークが適用され、オブジェクトの種類（大分類）、オブジェクトの位置（フレーム内の区画）、オブジェクト領域の大きさ（フレームに対するオブジェクト領域のピクセル数の割合）が判断される。例えば図３の例では、画像内に３つのオブジェクトが含まれ、第１のオブジェクトとしては種類が「猫」であり、それが中央区画に位置し、サイズクラスが”大”である。同様に第２のオブジェクトは種類が「犬」であり、中央下区画に位置し、サイズクラスが”小”であり、第３のオブジェクトとしては種類が「猫」であり、それが左下区画に位置し、サイズクラスが”狭小”である。これらオブジェクト情報は部分画像切出部２０９に供給され、部分画像切出部２０９はオブジェクト情報に基づいて投稿画像（オリジナル）から、ここでは３つの部分画像を切り出す（Ｓ１６３）。切り出された部分画像は画像選択部２１１に供給される。

画像選択部２１１は、言語解析部２０３で解析された名詞として例えば「猫」と、オブジェクト情報の位置と大きさとに基づいて複数、ここでは３つのオブジェクトから一の注目オブジェクトを選択する（Ｓ１６４）。画像選択部２１１により選択された部分画像は前処理部２１３で前処理を受けた後、画像解析部２１５に供給される。前処理として典型的には、画像解析部２１５の画像解析結果の精度を安定化させるために解像度正規化処理、コントラスト正規化処理が例示されるが、勿論これら処理に限定されることは無い。

なお、オブジェクト抽出処理部２０７で抽出されたオブジェクトのうち２以上のオブジェクトが、言語解析部２０３で解析された名詞として特定されるオブジェクトの種類に一致するときには、その２以上のオブジェクトのうち、画像フレーム内の位置が中央又はそれに最も近いオブジェクトが注目オブジェクトとして選択される。さらに画像フレーム内の位置が中央に最も近いオブジェクトが複数存在するときには、最も大きい領域を占めるオブジェクトが注目オブジェクトとして選択される。

画像解析部２１５は、複数の識別器１乃至識別機ｎで構成される。複数の識別器は、典型的には畳み込みニューラルネットワークシステムにより構成される。畳み込みニューラルネットワークを作成する際の機械学習には、膨大な実際の教師画像を用意し学習を繰り返される。周知の通り、畳み込みニューラルネットワークは、２次元画像に対してフィルタによる畳み込みを行うことで、画像から特徴量を抽出する。畳み込みニューラルネットワークは、畳み込みとプーリングとを繰り返す多層ネットワークからなる。畳み込みニューラルネットワークにおいて畳み込み層を構成する識別に有効なフィルタの係数（重み）を、大量の学習用画像などの大量のデータを用いて学習させる。当該係数（重み）は、大量のデータを用いて、フィルタによる畳み込みと、一定領域の反応をまとめるプーリングとを繰り返すことで多様な変形に対する不変性を獲得する学習を行うことにより得られる。なお、畳み込みニューラルネットワークの識別性能は、畳み込み層を構成するフィルタに依存する。フィルタは、オブジェクトの種類ごとに用意される。

ここではオブジェクトの種類を図７に例示するように大分類の種類から中分類の種類、小分類の種類のごとく多階層化し、各階層の種類ごとに個々に識別器が用意されていて、各識別器はそれより下位分類上での種類を識別する。例えば識別器１が「動物」に関するものであれば、「犬」、「猫」など中分類の種類を識別し、識別器１が「猫」に関するものであれば、そりより下位分類の「ペルシャ」、「アメリカンショートヘア」など小分類の種類を識別する（Ｓ１６６）。

画像解析部２１５は、複数の識別器から、言語解析部２０３で解析された名詞として特定されるオブジェクトの種類に整合する識別器を用いて、画像選択部２１１により選択され、前処理部２１３で前処理された部分画像内のオブジェクトを識別する（Ｓ１６５）。例えば、言語解析部２０３で閲覧者コメントから「猫」が抽出されたとき、中分類の「猫」に関する識別器が選択され、選択された識別器は部分画像を解析して例えば「アメリカンショートヘア」を識別する。

嗜好傾向解析部２０５は、言語解析部２０３により閲覧者コメントから抽出された形容詞、副詞に基づいて（Ｓ１７１）、閲覧者の嗜好傾向（嗜好極性、嗜好程度）を推定する（Ｓ１７２）。嗜好傾向解析部２０５は、図８（ａ）、図８（ｂ）に例示するように、多数の形容詞に対して嗜好極性（ポジティブ（プラス）／ネガティブ（マイナス））を判定するためのテーブルを世代ごと、さらに性別ごとに事前に作成して記憶しており、閲覧者の年齢、性別に従って選択したテーブルに言語解析部２０３で抽出した形容詞を照会することにより、閲覧者の主観的な嗜好極性を推定する。なお、嗜好対象に対してユーザが好意的である、興味がある、好みである場合に、その嗜好対象に対するユーザの嗜好極性が「ポジティブ（プラス）」であると推定され、嗜好対象に対してユーザが敵意的である、興味がない、好みではない場合に、その嗜好対象に対するユーザの嗜好極性が「ネガティブ（マイナス）」であると推定されるように、上記のテーブルは作成されている。

また、嗜好傾向解析部２０５は、図９に例示するように、多数の副詞に対して嗜好程度を判定するためのテーブルを事前に作成して記憶しており、言語解析部２０３で抽出した副詞を照会することにより、閲覧者自身の主観的な嗜好程度を推定する。これらテーブルには、形容詞だけではなく、絵文字やスタンプも掲載することが好ましい。テーブルは、随時追加、更新されるべきである。

画像解析部２１５で識別されたオブジェクトより下位階層の種類、嗜好傾向解析部２０５で解析された嗜好極性及び嗜好程度は、プロフィール統合処理部２１７において閲覧者のプロフィール情報に統合される。例えば投稿画像を解析することにより識別されたオブジェクトの種類が「アメリカンショートヘア」であり、嗜好解析結果として嗜好極性が「ポジティブ」、嗜好程度が「５０」であれば、ユーザＩＤやユーザ氏名、年齢や性別等のプロフィール情報に嗜好情報としての”アメリカンショートヘア／ポジティブ／５０”が関連付けられる。つまり当該ユーザ（閲覧者）は「アメリカンショートヘアが非常に強く好きである」との嗜好が認識され得る。

なお、嗜好解析処理において、投稿者の投稿画像から閲覧者の嗜好対象を推定しているが、投稿者が投稿したコンテンツに画像が含まれていない場合も想定される。投稿コンテンツに画像、動画が含まれていない場合であっても、情報処理装置２は、投稿者の投稿者コメントに対してテキストマイニング処理をかけて、投稿者コメントから抽出したオブジェクト又はオブジェクトの種類の名称を、閲覧者の嗜好対象として推定することができる。また、静止画ではなく動画が投稿される場合も想定される。このような場合であっても、情報処理装置２は、投稿動画から嗜好対象となるオブジェクトを抽出することができる。例えば、情報処理装置２のオブジェクト抽出処理部２０７は、動画を構成する一連の静止画のうち１つの静止画又は２以上の静止画からオブジェクトを抽出し解析する。

以上説明した本実施形態に係る情報処理装置２による嗜好情報収集処理によれば、ＳＮＳサービス上で自らは積極的に情報を発信しないためにこれまで嗜好情報の収集が難しかった利用者（閲覧者）の嗜好情報を収集することができる。これを実現するために、ＳＮＳサービス上で投稿者が投稿した投稿コンテンツ（投稿画像、投稿者コメント）から閲覧者の嗜好対象を推定し、そのコンテンツに対する閲覧者コメントから閲覧者の嗜好傾向を推定することは、嗜好情報収集処理の１つの特徴である。また、投稿コンテンツから閲覧者の嗜好対象を推定するために、閲覧者コメントを利用することで、投稿コンテンツで閲覧者が注目しているオブジェクト（嗜好対象）を絞り込むことができるため、投稿者の投稿コンテンツから閲覧者の嗜好対象を推定する精度を向上させることができる。閲覧者コメントには、その時のユーザの興味、嗜好が自然に含まれていることが多く、閲覧者コメントを利用することで、より自然な信頼性の高い閲覧者の嗜好情報を収集することができる。

図４に示す嗜好情報収集処理は、投稿者の投稿コンテンツを起点として、その投稿コンテンツに対してコメントをしたコメント者の嗜好情報を収集するものであった。しかしながら、利用者のアクティビティログを起点として、その利用者の嗜好情報を収集することもできる。アクティビティログは、ＳＮＳサービス上の利用者のアクションを記録したものである。例えば、ユーザＢのアクティビティログを分析することにより、ユーザＢが閲覧したコンテンツ、ユーザＢがコメントを投稿したコンテンツ、ユーザＢが共感意思を表明したコンテンツを特定することができる。

（嗜好情報収集処理２）
図１０は、本実施形態に係る情報処理装置２による嗜好情報収集処理の他の例の動作手順を示している。図１０に示すように、情報処理装置２は、ＳＮＳサーバ１から、任意アカウントのユーザＢのアクティビティログをダウンロードする（ステップＳ２１）。情報処理装置２は、記憶装置２４から、ユーザＢに関するプロフィール情報を読み出す（ステップＳ２２）。アクティビティログからユーザＢがコメントをしたコンテンツの投稿者であるユーザＡのアカウントを選択し（ステップＳ２３）、ＳＮＳサーバ１からユーザＡの投稿コンテンツと、ユーザＡの投稿コンテンツに対するユーザＢの閲覧者コメントとをダウンロードする（ステップＳ２４）。ＳＮＳサーバ１からダウンロードしたユーザＡの投稿コンテンツとユーザＢの閲覧者コメントとに対して嗜好解析処理を実行する。それにより、ユーザＡの投稿コンテンツから嗜好対象を推定し（ステップＳ２５）、ユーザＢの閲覧者コメントから嗜好対象に対する嗜好傾向（嗜好極性、嗜好程度）を推定する（ステップＳ２６）。ユーザＢのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好傾向を嗜好情報として統合し、記憶装置２４に記憶する（ステップＳ２７）。アクティビティログに記録されているユーザＢがコメントを投稿したコンテンツ及びそのコンテンツに対するユーザＢの閲覧者コメントに対してステップＳ２３〜ステップＳ２７の処理を実行し、ユーザＢの嗜好情報を収集する。図４に示す嗜好情報収集処理は、特定の投稿コンテンツに対して興味を持っているユーザの嗜好情報を収集するときに効率的であり、図１０に示す嗜好情報収集処理は、特定のユーザの嗜好情報を収集するときに効率的である。

図４、図１０に示した嗜好情報収集処理では、ユーザＡの投稿コンテンツと、その投稿コンテンツに対するユーザＢの閲覧者コメントとを用いて、ユーザＢの嗜好情報を推定し、収集していた。上記の嗜好情報収集処理では、ユーザＢの閲覧者コメントを活用することで、ユーザＡの投稿コンテンツからユーザＢの嗜好対象を推定する精度とその嗜好対象に対するユーザＢの嗜好傾向を推定する精度とを向上され得る。しかしながら、嗜好傾向を解析するのに十分な単語が含まれていないような閲覧者コメントを投稿した利用者、投稿コンテンツに対して共感意思を表明した利用者、及び投稿コンテンツを閲覧しただけの利用者も、投稿コンテンツに対して一定の関心、嗜好があるものと考えるべきである。上記のような利用者の嗜好情報を、投稿コンテンツに対するアクションに基づいて推定することができる。

（嗜好情報収集処理３）
図１１に示す嗜好情報収集処理は、コンテンツを起点として、そのコンテンツに対してコメントをしたコメント者の嗜好情報を収集するものである。図１１に示すように、情報処理装置２は、ＳＮＳサーバ１から、任意アカウントのユーザＡが投稿したコンテンツ（投稿画像、投稿者コメント）をダウンロードする（ステップＳ３１）。ユーザＡの投稿画像から嗜好対象を推定する（ステップＳ３２）。図１１のステップＳ３２の嗜好対象の推定処理は、既に説明した図４のステップＳ１６（図５のステップＳ１６１〜ステップＳ１６５）と同様であるため省略する。ただし、図５のステップＳ１６１ではユーザＢの閲覧者コメントに対して言語解析処理をかけていたが、図１１のステップＳ３２における嗜好対象の処理では、ユーザＡの投稿者コメントに対して言語解析処理がかけられる。

情報処理装置２は、ＳＮＳサーバ１から、ユーザＡが投稿したコンテンツに対してコメントをしたアカウントのリスト(コメント者リスト)をダウンロードする（ステップＳ３３）。コメント者リストから任意アカウントのユーザＢのアカウントを選択し（ステップＳ３４）、選択したユーザＢに関するプロフィール情報を記憶装置２４から読み出す（ステップＳ３５）。そして、ユーザＢのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好傾向を嗜好情報として統合し、記憶装置２４に記憶する（ステップＳ３６）。コメント者リストにリストアップされているアカウントのユーザそれぞれに対してステップＳ３４〜ステップＳ３６の処理を実行し、コメント者の嗜好情報を収集する（ステップＳ３７）。

（嗜好情報収集処理４）
図１２に示す嗜好情報収集処理は、コンテンツを起点として、そのコンテンツに対して共感意思を表明した利用者（共感意思表明者）の嗜好情報を収集するものである。図１２に示すように、情報処理装置２は、ＳＮＳサーバ１から、任意アカウントのユーザＡが投稿したコンテンツ（投稿画像、投稿者コメント）をダウンロードする（ステップＳ４１）。ユーザＡの投稿画像から嗜好対象を特定する（ステップＳ４２）。情報処理装置２は、ＳＮＳサーバ１から、ユーザＡが投稿したコンテンツに対して共感意思を表明したアカウントのリスト(共感意思表明者リスト)をダウンロードする（ステップＳ４３）。共感意思表明者リストから任意アカウントのユーザＢのアカウントを選択し（ステップＳ４４）、選択したユーザＢに関するプロフィール情報を記憶装置２４から読み出す（ステップＳ４５）。そして、ユーザＢのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好程度を嗜好情報として統合し、記憶装置２４に記憶する（ステップＳ４６）。共感意思表明者リストにリストアップされているアカウントのユーザそれぞれに対してステップＳ４４〜ステップＳ４６の処理を実行し、共感意思表明者の嗜好情報を収集する（ステップＳ４７）。

（嗜好情報収集処理５）
図１３に示す嗜好情報収集処理は、コンテンツを起点として、そのコンテンツを閲覧しただけの閲覧者の嗜好情報を収集するものである。図１３に示すように、情報処理装置２は、ＳＮＳサーバ１から、任意アカウントのユーザＡが投稿したコンテンツ（投稿画像、投稿者コメント）をダウンロードする（ステップＳ５１）。ユーザＡの投稿画像から嗜好対象を特定する（ステップＳ５２）。情報処理装置２は、ＳＮＳサーバ１から、ユーザＡが投稿したコンテンツを閲覧したアカウントのリスト(閲覧者リスト)をダウンロードする（ステップＳ５３）。閲覧者リストから任意アカウントのユーザＢのアカウントを選択し（ステップＳ５４）、選択したユーザＢに関するプロフィール情報を記憶装置２４から読み出す（ステップＳ５５）。そして、ユーザＢのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好程度を嗜好情報として統合し、記憶装置２４に記憶する（ステップＳ５６）。閲覧者リストにリストアップされているアカウントのユーザそれぞれに対してステップＳ５４〜ステップＳ５６の処理を実行し、閲覧者の嗜好情報を収集する（ステップＳ５７）。

図１１、図１２、図１３に示す嗜好情報収集処理は、嗜好情報を収集する対象となる利用者を選択するリストが異なるだけであり、基本的な処理は同様である。図１１のステップＳ３６、図１２のステップＳ４６、図１３のステップＳ５６において、嗜好傾向に含まれる嗜好極性は「ポジティブ」とする。これは、基本的には、嗜好対象に対して興味、嗜好があるからこそ、嗜好対象に関するコンテンツに対してユーザはコメントしたり、共感意思を表明したり、閲覧すると考えられるためである。

なお、典型的には、嗜好対象の抽出元であるユーザＡの投稿コンテンツに対するユーザＢのアクションの種類及びその組み合わせにより、嗜好対象に対するユーザＢの嗜好程度の値は異なる値に設定されている。例えば、投稿コンテンツに対してコメントを投稿したユーザは、投稿コンテンツを閲覧しただけのユーザに比べて、その投稿コンテンツに興味が強いと考えられる。同様に、投稿コンテンツに対して共感意思を表明したユーザは、投稿コンテンツを閲覧しただけのユーザに比べてその投稿コンテンツに興味が強く、投稿コンテンツに対してコメントを投稿したユーザに比べてその投稿コンテンツに興味が弱いと考えられる。また、投稿コンテンツに対してコメントを投稿し、且つ共感意思を表明したユーザは、投稿コンテンツに対してコメントを投稿しただけのユーザに比べて、その投稿コンテンツに興味が強いと考えられる。

例えば、図１１に示すように、ユーザＢが投稿コンテンツを閲覧しコメントをした場合、嗜好対象に対するユーザＢの嗜好程度を「９」とする。図１２に示すように、ユーザＢが投稿コンテンツを閲覧し共感意思を表明した場合、嗜好対象に対するユーザＢの嗜好程度を「５」とする。図１３に示すように、ユーザＢが投稿コンテンツを閲覧しただけである場合、嗜好対象に対するユーザＢの嗜好程度を「１」とする。ユーザＢが投稿コンテンツを閲覧し、共感意思を表明し、さらにコメントをした場合、嗜好対象に対するユーザＢの嗜好程度を「２０」とする。

なお、ユーザＡの投稿コンテンツに対するユーザＢのアクションの種類及びそれらの組み合わせにより変動する嗜好程度の値は、ユーザＡがユーザＢのフォロー対象か否かに応じて変動させてもよい。例えば、ユーザＢがフォローしていないユーザＡの投稿コンテンツに対してユーザＢがアクションを起こすということは、ユーザＢはその投稿コンテンツに対して非常に興味があると推定することができる。したがって、ユーザＡがユーザＢのフォロー対象でないときの嗜好程度の値は、ユーザＡがユーザＢのフォロー対象であるときの嗜好程度の値よりも高く設定される。それにより、「知り合いの投稿だからコメントしただけ」などのユーザの嗜好に反する情報（ノイズ）の影響を抑えることができる。

また、ユーザＡの投稿コンテンツに対するユーザＢのアクションの種類及びそれらの組み合わせの回数を、ユーザＡの投稿コンテンツから抽出された嗜好対象に対する嗜好程度としてもよい。この場合、嗜好対象それぞれに対してコメント数、共感意思表明数、閲覧数などのアクション回数が関連付けられる。

（嗜好情報収集処理６）
ここまで説明した嗜好情報収集処理では、投稿コンテンツに対する利用者の何らかのアクションに基づいて、その利用者の嗜好情報を収集していた。しかしながら、利用者が既にフォローしている先のアカウントのプロフィール情報に基づいて、その利用者の嗜好情報を収集することもできる。

図１４に示す嗜好情報収集処理は、利用者（ユーザＣ）のフォロー先のアカウントのプロフィール情報に基づいて、その利用者（ユーザＣ）の嗜好情報を収集するものである。図１４に示すように、情報処理装置２は、ＳＮＳサーバ１から、任意アカウントのユーザＣのフォロー先のアカウントのリスト(フォローアカウントリスト)をダウンロードし（ステップＳ６１）、ユーザＣに関するプロフィール情報を記憶装置２４から読み出す（ステップＳ６２）。フォローアカウントリストから任意アカウントの企業Ｄの公式アカウントを選択し（ステップＳ６３）、選択した企業Ｄに関するプロフィール情報をＳＮＳサーバ１からダウンロードする（ステップＳ６４）。企業Ｄのプロフィール情報から、企業名、商品名、ブランド名、スポーツ種類名、チーム名、アーティスト名、グループ名、キャラクタ名などの嗜好対象を特定する（ステップＳ６５）。そして、ユーザＣのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好程度を嗜好情報として統合し、記憶装置２４に記憶する（ステップＳ６６）。このとき、嗜好極性は「ポジティブ」とする。フォローアカウントリストにリストアップされている他の企業の公式アカウントそれぞれに対してステップＳ６３〜ステップＳ６６の処理を実行し、ユーザＣの嗜好情報を収集する（ステップＳ６７）。

ユーザＣは興味、嗜好があるから企業Ｄをフォローしていると考えるのが自然である。図１４に示す嗜好情報収集処理によれば、ユーザＣのフォロー先の企業Ｄ又は企業Ｄが扱う商品等からユーザＣの嗜好対象を推定し、ユーザＣの嗜好情報に登録することにより、信頼性の高い嗜好情報を収集することができる。

（嗜好情報収集処理７）
図１４に示す嗜好情報収集処理は、ユーザＣを起点として、ユーザＣのフォロー先の企業Ｄのプロフィール情報を用いてユーザＣの嗜好情報を収集していた。しかしながら、企業Ｄを起点として、企業Ｄのプロフィール情報を用いて企業ＤのフォロワーであるユーザＣの嗜好情報を収集するようにしてもよい。

図１５に示すように、情報処理装置２は、ＳＮＳサーバ１から、任意アカウントの企業Ｄのプロフィール情報と、企業Ｄのフォロワーのアカウントのリスト(フォロワーアカウントリスト)をダウンロードする（ステップＳ７１）。フォロワーアカウントリストから任意アカウントのユーザＣのアカウントを選択し（ステップＳ７２）、選択したユーザＣに関するプロフィール情報を記憶装置２４から読み出す（ステップＳ７３）。企業Ｄのプロフィール情報から、企業名、商品名、ブランド名、スポーツ種類名、チーム名、アーティスト名、グループ名、キャラクタ名などの嗜好対象を特定する（ステップＳ７４）。そして、ユーザＣのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好程度を嗜好情報として統合し、記憶装置２４に記憶する（ステップＳ７５）。フォロワーアカウントリストにリストアップされている他のユーザそれぞれに対してステップＳ７２〜ステップＳ７５の処理を実行し、企業Ｄのフォロワーの嗜好情報を収集する（ステップＳ７６）。

なお、情報処理装置２は、投稿画像に対する投稿者コメント及び閲覧者コメントにおいてメンションがなされている、つまり特定のアカウントが指定されている場合（図３参照）、その指定されたアカウントのユーザの嗜好情報を収集することができる。図１７に示すように、情報処理装置２は、ＳＮＳサーバ１から、任意アカウントのユーザＡが投稿したコンテンツ（投稿画像、投稿者コメント）とそのコンテンツに対する閲覧者コメントとをダウンロードする（ステップＳ７１）。投稿者コメント及び閲覧者コメントにメンションがなされている場合（ステップＳ７２；Ｙｓ）、メンションにより指定されたユーザＥのアカウントを特定し（ステップＳ７３）、記憶装置２４からユーザＥに関するプロフィール情報を読み出す（ステップＳ７４）。情報処理装置２は、ユーザＡの投稿画像から嗜好対象を特定する（ステップＳ７５）。そして、ユーザＥのプロフィール情報に嗜好対象、その嗜好対象に対する嗜好程度を嗜好情報として統合し、記憶装置２４に記憶する（ステップＳ７６）。投稿者コメント及び閲覧者コメントにメンション先が指定されているアカウントのユーザそれぞれに対してステップＳ７３〜ステップＳ７６の処理を実行し、メンション先のユーザの嗜好情報を収集する（ステップＳ７７）。

ユーザＡは、投稿コンテンツをユーザＥに見てもらいたいと思ってユーザＥをメンションする訳であるから、少なくともユーザＥをメンションしたユーザＡから見て、ユーザＥは投稿コンテンツに対して一定の興味、嗜好を有すると判断されたものと考えるのが自然である。つまり、図１７に示す嗜好情報収集処理によれば、メンションにより指定されたユーザの客観的な嗜好情報を収集することができる。記憶装置２４には、図１７に示す嗜好情報収集処理により収集される閲覧者の客観的な嗜好情報と、図４、図１０−図１５で示す嗜好情報収集処理により収集される閲覧者の主観的な嗜好情報とが各別に記憶されるようにしてもよいし、統合して記憶されるようにしてもよい。

なお、図４、図１０に示す嗜好情報収集処理により投稿者の投稿コンテンツと閲覧者の閲覧者コメントとを用いて収集された閲覧者の嗜好情報は、図１１−図１６に示す嗜好情報収集処理により投稿者の投稿コンテンツと、それに対する閲覧者のアクションとに基づいて収集された閲覧者の嗜好情報に比べて信頼性が高いといえる。したがって、図４、図１０に示す嗜好情報収集処理により収集された閲覧者の嗜好情報と、図１１−図１６に示す嗜好情報収集処理により収集された閲覧者の嗜好情報とは、各別に記憶される。しかし、これは、図４、図１０に示す嗜好情報収集処理により収集された閲覧者の嗜好情報と、図１１−図１６に示す嗜好情報収集処理により収集された閲覧者の嗜好情報とを統合することを否定するものではなく、嗜好程度の値付け、重み付けの設定により、統合することもできる。例えば、図４、図１０に示す嗜好情報収集処理により収集された閲覧者の嗜好程度は、図１１−図１６に示す嗜好情報収集処理により収集された閲覧者の嗜好程度よりも高くなるように設定される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…ＳＮＳサーバ、２…情報処理装置、３−７…情報端末、２１…プロセッサ、２２…ＲＡＭ、２３…ＲＯＭ、２４…記憶装置、２５…入力コントローラ、２６…ビデオコントローラ、２７…通信装置、２０１…セパレータ、２０３…言語解析部、２０５…嗜好傾向解析部、２０７…オブジェクト抽出処理部、２０９…部分画像切出部、２１１…画像選択部、２１３…前処理部、２１５…画像解析部、２１７…プロフィール統合処理部。

Claims (10)

1. ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバから、ユーザのアクティビティログを受信する手段と、
   前記アクティビティログから前記ユーザがコメントをしたコンテンツを投稿した投稿ユーザのアカウントを選択する手段と、
   前記投稿ユーザのアカウントに基づいて、前記サーバから前記投稿ユーザが投稿したコンテンツのデータと、前記コンテンツに対して前記ユーザが投稿したコメントのデータを受信する受信手段と、
   前記コンテンツに含まれる投稿画像を解析して前記投稿画像内のオブジェクト又は前記オブジェクトの種類を前記ユーザの嗜好対象として識別する識別手段と、
   前記ユーザのコメントに基づいて、前記嗜好対象に対する前記ユーザの嗜好傾向を推定する推定手段と、
   を具備する情報処理装置。
2. 前記ユーザの嗜好情報を記憶する記憶手段と、
   前記嗜好対象が前記ユーザの嗜好情報として前記記憶手段に登録されていないとき、前記嗜好対象を前記ユーザの嗜好情報として前記記憶手段に新規に登録し、前記嗜好対象が前記ユーザの嗜好情報として前記記憶手段に既に登録されているとき、前記嗜好対象に対する前記ユーザの嗜好傾向を更新する嗜好情報登録手段と、
   をさらに具備する、請求項１記載の情報処理装置。
3. 前記推定手段は、前記ユーザのコメントを言語処理して抽出された形容詞に基づいて前記ユーザの前記嗜好対象に対する嗜好極性を推定し、前記ユーザのコメントを言語処理して抽出された副詞に基づいて前記ユーザの前記嗜好対象に対する嗜好程度を推定する、請求項１記載の情報処理装置。
4. 前記受信手段は、前記ユーザの年齢及び性別を含むプロフィール情報を前記サーバから受信し、
   前記推定手段は、前記ユーザの年齢及び性別を参照して、前記ユーザの嗜好傾向を推定する、請求項３記載の情報処理装置。
5. 前記識別手段は、前記ユーザのコメントを言語処理して抽出された名詞に基づいて、前記オブジェクトに関する種類を多階層に分類して各階層の種類から、より下位の種類を識別するために、複数の階層ごと及び複数の種類に対して個々に用意された複数の識別器から特定の識別機を選択し、前記選択された識別器を用いて、前記投稿画像から前記オブジェクト又は前記オブジェクトの種類を識別する、請求項１記載の情報処理装置。
6. ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバから、ユーザのアクティビティログを受信する手段と、
   前記アクティビティログから前記ユーザが共感意思を表明したコンテンツの投稿ユーザのアカウントを選択する手段と、
   前記投稿ユーザのアカウントに基づいて、前記サーバから前記投稿ユーザが投稿したコンテンツのデータを受信する受信手段と、
   前記コンテンツに含まれる投稿画像を解析して前記投稿画像内のオブジェクト又は前記オブジェクトの種類を前記ユーザの嗜好対象として識別する識別手段と、
   を具備する情報処理装置。
7. ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバから、ユーザがフォローするアカウントのフォローアカウントリストを受信する受信手段と、
   前記フォローアカウントリストから公式アカウントを選択する手段と、
   前記サーバから前記公式アカウントのプロフィール情報を受信する手段と、
   前記プロフィール情報に含まれる企業名、商品名、ブランド名、スポーツ種類名、チーム名、アーティスト名、グループ名又はキャラクタ名を嗜好対象として特定する特定手段と、
   を具備する情報処理装置。
8. ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバから、公式アカウントのフォロワーアカウントリストを受信する受信手段と、
   前記公式アカウントのプロフィール情報を受信する手段と、
   前記プロフィール情報に含まれる企業名、商品名、ブランド名、スポーツ種類名、チーム名、アーティスト名、グループ名又はキャラクタ名を前記フォロワーアカウントリスト上のユーザ各々の嗜好対象として特定する特定手段と、
   を具備する情報処理装置。
9. ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバから、投稿ユーザが投稿した投稿画像及びコメントを含むコンテンツのデータを受信する受信手段と、
   前記投稿ユーザが前記コメントに指定したアカウントを抽出する手段と、
   前記投稿画像を解析して前記投稿画像内のオブジェクト又は前記オブジェクトの種類を前記アカウントのユーザの嗜好対象として識別する識別手段と、
   を具備する情報処理装置。
10. コンピュータを、
    ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバから、ユーザのアクティビティログを受信する手段と、
    前記アクティビティログから前記ユーザがコメントをしたコンテンツを投稿した投稿ユーザのアカウントを選択する手段と、
    前記投稿ユーザのアカウントに基づいて、前記サーバから前記投稿ユーザが投稿したコンテンツのデータと、前記コンテンツに対して前記ユーザが投稿したコメントのデータを受信する受信手段と、
    前記コンテンツに含まれる投稿画像を解析して前記投稿画像内のオブジェクト又は前記オブジェクトの種類を前記ユーザの嗜好対象として識別する識別手段と、
    前記ユーザのコメントに基づいて、前記嗜好対象に対する前記ユーザの嗜好傾向を推定する推定手段として機能させるためのプログラム。

Images