JP5973309B2 - 配信装置及びコンピュータプログラム - Google Patents

Description

本発明は、画像の検索技術に関する。

現在、インターネット等でのコンテンツ流通は一般的になっている。そのため、ユーザは検索エンジンを使って、多くの映像、画像、音楽といったマルチメディアコンテンツの中から自身が所望するコンテンツを検索している。しかし、検索されたコンテンツの中には、ユーザが所望するコンテンツに絞りきれていない場合も多い。そこで、ユーザは、検索されたコンテンツの中から更に所望するコンテンツを探さなければならなかった。
非特許文献１には、ユーザが入力したクエリを元に、関連するクエリを探し出しユーザが所望するコンテンツを推薦、提示する技術が提案されている。

Q. Mei, D. Zhou, K. Church "Query Suggestion Using Hitting Time", ACM on Information and Knowledge Management, 2008, pp.469-478

しかしながら、非特許文献１の方法では、入力される頻度が低いクエリに関しては精度の高い検索結果が得られない。また、同じクエリを入力したユーザに対しては、ユーザの嗜好とは無関係に同じコンテンツが提示されてしまう。そのため、ユーザの嗜好に合わせたコンテンツを提示できないという問題があった。

上記事情に鑑み、本発明は、ユーザの嗜好に合わせたコンテンツを判定する技術の提供を目的としている。

本発明の一態様は、ユーザから要求された配信要求情報を受信する通信部と、前記通信部が受信した前記配信要求情報に基づいてコンテンツを検索する検索部と、前記ユーザが蓄積しているコンテンツを取得する取得部と、前記取得部が取得したコンテンツに基づいて前記ユーザの嗜好を表す嗜好パラメータを推定する嗜好パラメータ推定部と、前記嗜好パラメータ推定部が推定した前記嗜好パラメータを記憶して前記嗜好データベースを生成する嗜好データベース生成部と、前記嗜好データベースに記録されている前記ユーザの嗜好パラメータを参照することによって、前記コンテンツの適合度を算出する適合度算出部と、前記適合度算出部が算出した適合度に基づいて前記コンテンツを前記ユーザに配信する配信部と、を備える配信装置である。

本発明の一態様は、ユーザから要求された配信要求情報を受信する通信ステップと、前記通信ステップによって受信された前記配信要求情報に基づいてコンテンツを検索する検索ステップと、前記ユーザが蓄積しているコンテンツを取得する取得ステップと、前記取得ステップによって取得されたコンテンツに基づいて前記ユーザの嗜好を表す嗜好パラメータを推定する嗜好パラメータ推定ステップと、前記嗜好パラメータ推定ステップによって推定した前記嗜好パラメータを記憶して前記嗜好データベースを生成する嗜好データベース生成ステップと、前記嗜好データベースに記録されている前記ユーザの嗜好パラメータを参照することによって、前記コンテンツの適合度を算出する適合度算出ステップと、前記適合度算出ステップによって算出した適合度に基づいて前記コンテンツを前記ユーザに配信する配信ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、ユーザの嗜好に合わせたコンテンツを判定することが可能となる。

本実施形態における画像配信システムのシステム構成を示す図である。 本実施形態におけるクライアント装置１０及び配信装置２０の機能構成を表す概略ブロック図である。 嗜好ＤＢ２０５の構成図である。 本発明における嗜好ＤＢ２０５生成処理の流れを示すフローチャートである。 本発明における嗜好パラメータ推定処理の流れを示すフローチャートである。 画像配信システムの処理の流れを示すフローチャートである。 変形例における嗜好ＤＢ生成処理の流れを示すフローチャートである。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本実施形態における画像配信システムのシステム構成を示す図である。本実施形態の画像配信システムは、複数のクライアント装置１０、配信装置２０、ネットワーク３０及び共有サーバ４０を備える。
クライアント装置１０は、パーソナルコンピュータなどの情報処理装置を用いて構成される。クライアント装置１０は、ユーザによって入力された画像検索指示に基づいて配信要求情報を生成し、ネットワーク３０を介して配信装置２０に送信する。画像検索指示とは、ユーザが検索エンジン（例えば、検索用ウェブサイト）に入力したキーワードに関連する画像（コンテンツ）を配信装置２０に検索させる指示である。配信要求情報とは、ユーザによって入力されたキーワードに関連する画像の配信を要求するための情報である。

配信装置２０は、情報処理装置を用いて構成される。配信装置２０は、クライアント装置１０から送信された配信要求情報に応じて画像を検索する。そして、配信装置２０は、検索された画像を、要求元のクライアント装置１０に対して配信する。
ネットワーク３０は、どのように構成されたネットワークでも良い。例えば、ネットワーク３０はインターネットを用いて構成されても良い。
共有サーバ４０は、情報処理装置を用いて構成される。共有サーバ４０は、クライアント装置１０から送信された画像を、クライアント装置１０のユーザに割り当てられたユーザＩＤに対応付けて蓄積する。以下の説明では、共有サーバ４０に蓄積された画像を「蓄積画像」という。例えば、共有サーバ４０は、画像共有サイトを運営するサーバとして構築されても良い。

図２は、本実施形態におけるクライアント装置１０及び配信装置２０の機能構成を表す概略ブロック図である。まず、クライアント装置１０の機能構成を説明する。クライアント装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、検索要求プログラムを実行する。検索要求プログラムの実行によって、クライアント装置１０は、入力部１０１、要求部１０２、通信部１０３、表示部１０４を備える装置として機能する。なお、クライアント装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、検索要求プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、検索要求プログラムは、電気通信回線を介して送受信されても良い。

入力部１０１は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部１０１は、ユーザの指示をクライアント装置１０に入力する際にユーザによって操作される。入力部１０１は、入力装置をクライアント装置１０に接続するためのインタフェースであっても良い。この場合、入力部１０１は、入力装置においてユーザの入力に応じ生成された入力信号をクライアント装置１０に入力する。
要求部１０２は、入力部１０１に入力された画像検索指示に基づいて配信要求情報を生成する。
通信部１０３は、配信装置２０との間でデータを送受信する。通信部１０３は、例えば要求部１０２によって生成された配信要求情報を配信装置２０に送信し、配信装置２０から送信された画像データを受信する。
表示部１０４は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１０４は、例えば画像データを表示する。表示部１０４は、画像表示装置をクライアント装置１０に接続するためのインタフェースであっても良い。この場合、表示部１０４は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

次に、配信装置２０の機能構成を説明する。配信装置２０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、配信プログラムを実行する。配信プログラムの実行によって、配信装置２０は、通信部２０１、画像取得部２０２、嗜好パラメータ算出部２０３、嗜好ＤＢ生成部２０４、嗜好ＤＢ２０５、検索部２０６、画像ＤＢ２０７、適合度算出部２０８、配信部２０９を備える装置として機能する。なお、配信装置２０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。また、配信プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、配信プログラムは、電気通信回線を介して送受信されても良い。

通信部２０１は、クライアント装置１０との間でデータを送受信する。通信部２０１は、例えばクライアント装置１０から配信要求情報を受信する。通信部２０１は、例えば受信された配信要求情報に応じた検索結果をクライアント装置１０に送信する。また、通信部２０１は、共有サーバ４０から蓄積画像のデータを受信する。

画像取得部２０２は、共有サーバ４０に記憶されている蓄積画像及びユーザＩＤを取得する。
嗜好パラメータ算出部２０３は、画像取得部２０２が取得した蓄積画像を用いて嗜好パラメータを算出する。嗜好パラメータとは、ユーザ毎の嗜好（好み）を推定する際に用いられるパラメータである。

嗜好ＤＢ生成部２０４は、嗜好パラメータ算出部２０３によって算出された嗜好パラメータを嗜好ＤＢ２０５に記録する。
嗜好ＤＢ２０５は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。嗜好ＤＢ２０５は、嗜好パラメータ算出部２０３が推定した嗜好パラメータを記憶する。

検索部２０６は、通信部２０１が受信した配信要求情報に基づいて画像ＤＢ２０７から画像を検索する。
画像ＤＢ２０７は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。画像ＤＢ２０７は、複数の画像データを記憶する。

適合度算出部２０８は、嗜好ＤＢ２０５に記録されている嗜好パラメータを参照することによって、検索部２０６によって検索された複数の画像（以下、「検索画像」という。）の適合度を算出する。適合度とは、画像がユーザの嗜好に適合する度合いの高さを表す。適合度が高いほど、その画像がユーザの嗜好に適合している。
配信部２０９は、適合度算出部２０８によって算出された適合度に応じて画像データをクライアント装置１０に送信する。例えば、配信部２０９は、最も適合度が高い画像データをクライアント装置１０に送信しても良い。例えば、配信部２０９は、適合度が高い順に画像データをユーザに提示する画面（以下、「画像提示画面」という。）のデータをクライアント装置１０に送信し、画像提示画面においてユーザによって選択された画像のデータをクライアント装置１０に送信しても良い。

次に、嗜好ＤＢ２０５の生成方法の具体例を２つ説明する。
（１．単一法）
まず、単一法について説明する。単一法では、１人のユーザが共有サーバ４０に蓄積した複数の画像データに基づいて、当該ユーザの嗜好パラメータを生成する。以下、単一法について詳細に説明する。
単一法では、画像取得部２０２は、共有サーバ４０から１つのユーザＩＤに対応付けられた複数の画像データを取得する。嗜好パラメータ算出部２０３は、取得された複数の画像データ毎に画像特徴量を取得する。画像特徴量は、各画像の特徴を表す値であり、例えば色ヒストグラムであっても良い。嗜好パラメータ算出部２０３は、取得された複数の画像特徴量に基づいて、そのユーザの画像特徴量の傾向を判定する。例えば、嗜好パラメータ算出部２０３は、色ヒストグラムに基づいて、最も頻繁に出現する色を判定しても良い。より具体的には、嗜好パラメータ算出部２０３は、ＲＧＢ成分のヒストグラムを特徴量として取得し、検索画像が好みかどうか判定するための識別器を作成しても良い。識別器には、例えば、１クラスＳＶＭ（Support Vector Machine）が用いられても良い。

（２．複数法）
次に、複数法について説明する。複数法では、共有サーバ４０に蓄積された複数人分の画像データに基づいて、ユーザ毎の嗜好を推定するための嗜好パラメータを生成する。例えば、協調フィルタリングを用いることによって、複数法を実現することができる。以下、複数法について詳細に説明する。
まず、ユーザｕが複数画像検索結果の中から画像特徴量ｉを選択する確率を式１のようにモデル化する。

ｕはユーザを表す。ｚはトピックを表す。εｕはユーザのトピック比率集合を表す。ｉは画像特徴量を表す。Φはトピック毎の画像特徴量出現確率を表す。トピックとは、トピックモデルで学習することによって得られる値を表す。トピックの具体例としては、『鮮やかな画像』や『モノトーンの画像』などがある。トピックは、ユーザのトピック比率に従って選択される。トピック比率とは、ユーザがトピックを好む確率を表す。トピック比率集合とは、ユーザ毎のトピック比率の集合を表す。トピック比率は、ユーザ及びトピックの組み合わせ毎に算出される。あるユーザに関する各トピックに対するトピック比率の集合が、トピック比率集合である。画像特徴量出現確率は、あるトピックにおいてある代表画像が出現する確率を表す。画像特徴量出現確率は、トピック及び代表画像の組み合わせ毎に算出される。

代表画像とは、複数の蓄積画像（例えば、共有サーバ４０に蓄積されている全ての画像）をクラスタリングすることによって得られる各クラスタの代表画像を表す。代表画像は、例えば、モノトーンの画像、鮮やかな画像、自然画像、都市の風景画像などである。
また、式１のようにモデル化する場合、トピックｚの数は予め設定することが可能となる。以下の説明では、取得するトピックの数をＺとする。トピック比率εと画像特徴量出現確率Φとの組み合わせが嗜好パラメータである。

以下、嗜好ＤＢ２０５の生成方法についてさらに具体的に説明する。
まず、画像取得部２０２の処理について詳細に説明する。画像取得部２０２は、共有サーバ４０から蓄積画像とユーザＩＤとを取得する。その後、画像取得部２０２は、蓄積画像から画像特徴量ｉを取得する。また、画像取得部２０２は、蓄積画像の局所特徴量を算出し、算出された代表特徴量をｉ１として画像特徴量ｉに代用しても良いし、代表画像をｉ２として画像特徴量ｉに代用しても良い。

まず、代表特徴量ｉ１の算出方法について説明する。
画像取得部２０２は、学習画像群（複数の蓄積画像）から画像特徴を抽出し、それらをクラスタリングし、量子化することによって、代表特徴量ｉを算出する。具体的には、まず、画像取得部２０２は、蓄積画像から局所画像特徴を抽出する。局所画像特徴としてＳＩＦＴやＳＵＲＦやカラーヒストグラムなどから抽出された各種特徴量を用いる。特徴量の抽出としては、例えば以下の文献に開示される技術が適用されても良い。コンピュータビジョン最先端ガイド２， 八木康史・齋藤英雄編，アドコム・メディア株式会社，2010年6月発行，pp.24-28。

画像取得部２０２は、抽出された各種特徴ベクトルをベクトル量子化辞書によって離散的な値に量子化する。量子化辞書とは、画像集合全体の特徴ベクトルに対して、ｋ−ｍｅａｎｓ法などを用いてクラスタリングを適用することによって構成される。ｋ−ｍｅａｎｓとしては、例えば以下の文献に開示される技術が適用されても良い。コンピュータビジョン最先端ガイド２， 八木康史・齋藤英雄編，アドコム・メディア株式会社，2010年6月発行，pp.65。このｋ個に量子化された各クラスタの中心特徴ベクトルを代表特徴量ｉ１とする。中心特徴ベクトルとは、各クラスタの中心に存在する特徴ベクトルである。
また、中心特徴ベクトルは、必ずしも各クラスタの中心に存在する特徴ベクトルである必要なく、各クラスタの中心に一番近い位置に存在する特徴ベクトルを中心特徴ベクトルとしても良い。

次に、代表画像ｉ２の算出方法について説明する。例えば、代表画像ｉ２は、以下のような処理が行われることによって作成されても良いし、他の処理が行われることによって作成されても良い。
画像取得部２０２は、各蓄積画像において各局所特徴量と一番近い代表特徴量ｉ１に投票することによって、代表特徴量ｉ１のヒストグラムを作成する。投票とは、各局所特徴量と一番近い代表特徴量ｉ１に一票ずつ票を追加していく処理である。ヒストグラムを各蓄積画像の特徴量とし、全ての学習画像（蓄積画像）において算出する。画像取得部２０２は、全てのヒストグラムに対してｋ−ｍｅａｎｓ法などでクラスタリングすることによって、Ｋ´個のクラスタを生成する。Ｋ´個に量子化された中心ヒストグラム特徴を代表画像ｉ２とする。中心ヒストグラム特徴とは、各クラスタの中心に存在するヒストグラム特徴である。

また、中心ヒストグラム特徴は、必ずしも各クラスタの中心に存在するヒストグラム特徴である必要なく、各クラスタの中心に一番近い位置に存在するヒストグラム特徴を中心ヒストグラム特徴としても良い。
また、学習画像からｇｉｓｔ特徴量を抽出し、ｋ−ｍｅａｎｓ法などでクラスタリングすることによって、Ｋ´個のクラスタを生成する。Ｋ´個に量子化された中心ヒストグラム特徴を代表画像としても良い。ｇｉｓｔ特徴量としては、以下の文献に開示される技術が適用されても良い。C. Siagian, L. Itti, “Rapid Biologically-Inspired Scene Classification Using Features Shared with Visual Attention”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 2, Feb 2007, pp.300-312.

次に、嗜好パラメータ算出部２０３の処理について詳細に説明する。
嗜好パラメータ算出部２０３は、画像取得部２０２が算出した画像特徴量ｉを用いて各ユーザの嗜好パラメータを推定する。嗜好パラメータ算出部２０３は、ＥＭアルゴリズム（Expectation Maximization algorithm）を用いて各ユーザｕ∈Ｕと各画像ｉ∈Ｉに対して、ユーザｕのトピック比率ε、画像特徴量出現確率Φを推定する。ＥＭアルゴリズムとしては、例えば以下の文献に開示される技術が適用されても良い。A. P. Dempster, N. M. Laird, and D. B. Rubin, “Maximun likelihood from incomplete data via the EM algorithm”, Journal of the Royal Statistical Society, Series B, vol.39, No. 1, 1977, pp.1-38.

具体的には、嗜好パラメータ算出部２０３は、トピック比率εと画像特徴量出現確率Φとをパラメータγとして、式２を最大化することによって嗜好パラメータを推定する。以下、式２及び式３に基づいて嗜好パラメータを推定する方法について説明する。

嗜好パラメータ算出部２０３は、式３を用いて、尤度の期待値を算出する。その後、嗜好パラメータ算出部２０３は、算出された期待値を用いてパラメータγを更新し、更新されたパラメータγで尤度を式２に基づいて算出する。

嗜好パラメータ算出部２０３は、算出された尤度が閾値以上か否かを判断する。尤度が閾値以上である場合、嗜好パラメータ算出部２０３は処理を終了する。また、嗜好パラメータ算出部２０３は、尤度が閾値以上になった際の嗜好パラメータの値を取得する。一方、尤度が閾値未満である場合、嗜好パラメータ算出部２０３は上記の式２及び式３の処理を繰り返し実行する。閾値は、ユーザによって任意に決定されても良い。

また、嗜好パラメータ算出部２０３は、上述したＥＭアルゴリズム以外の方法を用いて嗜好パラメータを推定しても良い。例えば、嗜好パラメータ算出部２０３は、ギブスサンプリング等を用いて推定しても良い。ギブスサンプリングとしては、例えば以下の文献に開示される技術が適用されても良い。Thomas L. G. and Mark S, “Finding Scientific Topics”, Proceeding of the National Academy of Sciences, Vol. 101, 2004, pp.5228-5235.

次に、嗜好ＤＢ生成部２０４の処理について説明する。
嗜好ＤＢ生成部２０４は、嗜好パラメータ算出部２０３によって推定された嗜好パラメータをユーザＩＤに対応付けて格納することによって各ユーザの嗜好ＤＢ２０５を生成する。

図３は、嗜好ＤＢ２０５の構成図である。
嗜好ＤＢ２０５は、レコード５０を複数有する。レコード５０は、ユーザＩＤ、嗜好パラメータの各値を有する。
ユーザＩＤは、レコード５０によって表されるユーザの識別ＩＤである。嗜好パラメータの値は、レコード５０によって表されるユーザの嗜好を算出するために用いられるパラメータである。嗜好パラメータの具体例として、トピック比率ε及び画像特徴量出現確率Φがある。トピック比率εの値は、レコード５０によって表されるユーザがトピックを好む確率を表す。画像特徴量出現確率Φの値は、レコード５０によって表されるユーザに関するトピック毎の代表画像ｉ２の出現確率を表す。

次に、適合度算出部２０８の処理について説明する。
適合度算出部２０８は、嗜好ＤＢ２０５に記録されている嗜好パラメータを参照することによって、検索画像の適合度を算出する。具体的には、適合度算出部２０８は、代表特徴量ｉ１を用いて適合度算出する場合、検索画像の局所特徴量を算出し、各局所特徴量と一番近い代表特徴量ｉ１がどのくらいユーザの嗜好と適合するかをそれぞれ算出し、それらを合算することで、検索画像の嗜好との適合度を算出する。
また、適合度算出部２０８は、代表画像ｉ２を用いて適合度算出する場合、検索画像と各代表画像ｉ２との中心ヒストグラム特徴の類似度を算出し、類似度の高い代表画像ｉ２を検索画像として嗜好との適合度を算出しても良い。

図４は、本発明における嗜好ＤＢ２０５生成処理の流れを示すフローチャートである。
まず、画像取得部２０２は、配信装置２０の通信部２０１を介して共有サーバ４０に記憶されている蓄積画像とユーザＩＤとを取得する（ステップＳ１０１）。嗜好パラメータ算出部２０３は、画像取得部２０２が取得した蓄積画像を用いて各ユーザの嗜好パラメータを推定する。（ステップＳ１０２）嗜好ＤＢ生成部２０４は、嗜好パラメータ算出部２０３によって推定された嗜好パラメータをユーザＩＤに対応付けて格納することによって嗜好ＤＢ２０５を生成する（ステップＳ１０３）。

図５は、本発明における嗜好パラメータ推定処理の流れを示すフローチャートである。
なお、図５では、過去に算出された対数尤度を表す変数を“ｌ”と記載し、最新の対数尤度を表す変数を“ｌ´”と記載する。また、図５では、αの値は閾値を表す。
まず、嗜好パラメータ算出部２０３は、過去に算出された対数尤度を表す変数ｌに“０”を代入する（ステップＳ２０１）。次に、嗜好パラメータ算出部２０３は、トピック事後確率によってパラメータγ（トピック比率ε、画像特徴量出現確率Φ）を算出する（ステップＳ２０２）。次に、嗜好パラメータ算出部２０３は、算出されたパラメータγの値を更新する（Ｍステップ）（ステップＳ２０３）。

嗜好パラメータ算出部２０３は、更新されたパラメータγを用いて対数尤度ｌを算出する（ステップＳ２０４）。嗜好パラメータ算出部２０３は、対数尤度ｌ´と対数尤度ｌとの差分の絶対値を算出する。その後、嗜好パラメータ算出部２０３は、算出された値が閾値より閾値未満であるか否かを判断する（ステップＳ２０５）。算出された値が閾値未満である場合（ステップＳ２０５−ＹＥＳ）、嗜好パラメータ算出部２０３は嗜好パラメータ推定処理を終了する。
一方、算出された値が閾値以上である場合（ステップＳ２０５−ＮＯ）、嗜好パラメータ算出部２０３はステップＳ２０２以降の処理を繰り返し実行する。

図６は、画像配信システムの処理の流れを示すフローチャートである。
まず、クライアント装置１０の入力部１０１は、ユーザからの画像検索指示の入力を受け付ける（ステップＳ３０１）。要求部１０２は、入力部１０１に入力された画像検索指示に基づいて配信要求情報を生成する。クライアント装置１０の通信部１０３は、生成された配信要求情報を配信装置２０に送信する（ステップＳ３０２）。配信装置２０の通信部２０１は、配信要求情報を受信する。その後、検索部２０６は、配信要求情報に応じて画像ＤＢ２０７から画像を検索する（ステップＳ３０３）。
適合度算出部２０８は、適合度算出部２０８は、嗜好ＤＢ２０５に記録されている嗜好パラメータを参照することによって、検索画像の適合度を算出する。具体的には、まず、適合度算出部２０８は検索画像から特徴量を算出する。

適合度算出部２０８は、算出した各特徴量を用いて嗜好ＤＢ２０５に記録されている嗜好パラメータを参照することによって各画像との適合度を算出する（ステップＳ３０４）。配信部２０９は、適合度算出部２０８が算出した各画像の適合度に基づいて、適合度の高い画像から順番に並べて配信信号を生成する。配信部２０９は、生成した配信信号を通信部２０１に出力する（ステップＳ３０５）。通信部２０１は、配信部２０９から入力された配信信号を、要求元のクライアント装置１０に対して送信する（ステップＳ３０６）。クライアント装置１０の通信部１０３は、配信信号を受信する。表示部１０４は、通信部１０３が受信した配信信号に基づいて検索画像をユーザの適合度の高い画像から順番に表示する（ステップＳ３０７）。

上記のように構成された画像検索システムは、ユーザ毎の嗜好パラメータと検索画像との適合度の高い画像をユーザに配信する。そのため、ユーザの嗜好に合わせたコンテンツを表示することが可能となる。そのため、ユーザは表示されたコンテンツの中から自身が興味のあるコンテンツを探す手間が省ける。その結果、画像検索システムは、ユーザが所望のコンテンツを検索する際に生じる煩わしさを軽減させることも可能となる。さらに、このようなことが可能になると、インターネット回線を利用した画像検索サービスの利用増加にもつなげることができる。
また、画像検索システムは、協調フィルタリングによって複数ユーザの蓄積画像を用いて各ユーザの嗜好を推定する。このような処理を行うことによって、精度よくユーザの嗜好を推定することができる。その結果、ユーザの嗜好に合わせたコンテンツをユーザに配信することが可能となる。

＜変形例＞
本実施例では、画像取得部２０２は、共有サーバ４０から各ユーザの蓄積画像を取得する構成で示したが、これに限定される必要はない。例えば、各ユーザが画像の公開を許可した場合、画像取得部２０２は端末機器（クライアント装置１０）に蓄積されている蓄積画像を取得しても良い。
また、本実施例では、ユーザの嗜好との適合度の高い画像から順番に並べてユーザに提示する構成で画像を配信する構成で示したが、これに限定される必要はない。例えば、適合度が閾値以上の画像を配信するように構成されても良い。
嗜好ＤＢ生成部２０４は、ユーザから画像検索指示が入力された際に嗜好ＤＢ２０５を生成しても良いし、事前に嗜好ＤＢ２０５を生成しても良い。

本実施例では、各画素に同じ値を付与している場合に嗜好パラメータを推定する方法について説明したが、以下のような処理を行い、嗜好パラメータが推定されても良い。配信装置２０は、数値記憶処理部を更に備えるように構成されても良い。数値記憶処理部は、画像の各画素に値を付与することによって処理を行う。数値記憶処理部は、前景部分と、背景部分とに異なる画素を付与して各画像の前景部分と背景画像とを区別する。
例えば、数値記憶処理部は、Saliency Map（サリエンシーマップ）を作成し、サリエンシーの値が高い（閾値以上）画素を前景部分とみなし、サリエンシーの値が低い（閾値未満）画素を背景部分とみなして処理を行っても良い。 Saliency Mapとしては、例えば以下の文献に開示される技術が適用されても良い。L. Itti, C. Koch, E. Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence”, Vol. 20, No. 11, Nov 1998, pp. 1254-1259.

具体的な処理としては、数値記憶処理部は、サリエンシーの値が高い画素を前景部分とみなし、画素値“１”を付与する。数値記憶処理部は、サリエンシーの値が低い画素を背景部分とみなし、画素値“０”を付与する。数値記憶処理部は、上記の処理を行い、前景部分と背景部分とを区別してから学習行うことによって、前景部分の嗜好パラメータと背景部分の嗜好パラメータとを推定しても良い。
人（ユーザ）の好みは、前景部分（ユーザが意図して撮影した被写体）と背景部分とで、同じような特徴が続くことを好まず、前景部分と背景部分とで異なる画像特徴を好むことも多い。
そのため、前景と背景との２値が各画素に割り振られている場合、嗜好パラメータ算出部２０３は前景部分及び背景部分の嗜好パラメータをそれぞれ推定する。嗜好ＤＢ生成部２０４は、推定された前景トピック比率ε１、前景画像出現確率Φ１、背景トピック比率ε２及び背景画像出現確率Φ２の各値を格納することによって嗜好ＤＢ２０５を生成する。
また、前景と背景との２値である必要はなく、Saliency Mapのサリエンシーの値に基づいて多値に分類されても良い。
また、多値の場合も２値の場合と同様に、同じ数値が記憶されている画素毎に、ユーザＩＤとその画素の特徴量とを学習すれば良い。

図７は、変形例における嗜好ＤＢ生成処理の流れを示すフローチャートである。図２と同じ処理については、図７において図２と同じ符号を付して表し説明を省く。図７に図示するように、変形例における嗜好ＤＢ２０５生成処理の手順は、ステップＳ１０１の処理の次に数値記憶処理部が蓄積画像から前景部分と背景部分とを分離する（ステップＳ４０１）。その後、嗜好パラメータ算出部２０３は、分離された前景部分及び背景部分の嗜好パラメータをそれぞれ推定する（ステップＳ４０２）。

検索画像も同様に各画素の数値を算出し、数値毎にユーザの嗜好との適合度を算出し、合算した値を嗜好との適合度とする。
代表特徴量ｉとユーザの嗜好との関係をモデルにしている場合、各蓄積画像の各画素での局所特徴量の嗜好との適合度を算出することが上述したように可能となる。そこで、各画素での適合度をSaliency Mapと合わせて２５５階調に変換し、表現することによって、新しいSaliency Mapを作成できる。このSaliency Mapの各画素値の加算値をユーザの嗜好との適合度として算出しても良い。

また、蓄積画像にキーワード（例えば、文字）が付与されている場合など、画像特徴量以外の特徴量が使える場合には、それらを学習しても良い。
例えば、ユーザｕがキーワードｗを選択する確率を、式１に基づいて算出して、画像特徴量における選択の確率とキーワードにおける選択の確率とを算出し、合算した値を嗜好との適合度としても良い。
また、好みのカテゴリ（例えば、料理、ファッション、花など）とカテゴリ毎の好みの画像とがわかっている場合には、カテゴリ情報を用いても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…クライアント装置， ２０…配信装置， ３０…ネットワーク， ４０…共有サーバ， １０１…入力部， １０２…要求部， １０３…通信部， １０４…表示部， ２０１…通信部， ２０２…検索部， ２０３…画像ＤＢ， ２０４…画像取得部， ２０５…嗜好パラメータ算出部， ２０６…嗜好ＤＢ生成部， ２０７…嗜好ＤＢ， ２０８…適合度算出部， ２０９…配信部

Claims (2)

1. ユーザから要求された配信要求情報を受信する通信部と、
   前記通信部が受信した前記配信要求情報に基づいてコンテンツを検索する検索部と、
   前記ユーザが蓄積しているコンテンツを取得する取得部と、
   前記取得部が取得したコンテンツに基づいて前記ユーザの嗜好を表す嗜好パラメータを推定する嗜好パラメータ推定部と、
   前記嗜好パラメータ推定部が推定した前記嗜好パラメータを記憶する嗜好データベースを生成する嗜好データベース生成部と、
   前記嗜好データベースに記録されている前記ユーザの嗜好パラメータを参照することによって、前記コンテンツの適合度を算出する適合度算出部と、
   前記適合度算出部が算出した適合度に基づいて前記コンテンツを前記ユーザに配信する配信部と、
   前記ユーザが蓄積しているコンテンツにおいて顕著性マップを作成し、作成した前記顕著性マップに基づいて前記コンテンツの各画素の前景部分と後景部分とを区別する数値記憶処理部と、
   を備え、
   前記嗜好パラメータ推定部は、前記数値記憶処理部によって区別された前記コンテンツの前景部分及び後景部分の嗜好パラメータをそれぞれ推定する配信装置。
2. ユーザから要求された配信要求情報を受信する通信ステップと、
   前記通信ステップによって受信された前記配信要求情報に基づいてコンテンツを検索する検索ステップと、
   前記ユーザが蓄積しているコンテンツを取得する取得ステップと、
   前記取得ステップによって取得されたコンテンツに基づいて前記ユーザの嗜好を表す嗜好パラメータを推定する嗜好パラメータ推定ステップと、
   前記嗜好パラメータ推定ステップによって推定した前記嗜好パラメータを記憶する嗜好データベースを生成する嗜好データベース生成ステップと、
   前記嗜好データベースに記録されている前記ユーザの嗜好パラメータを参照することによって、前記コンテンツの適合度を算出する適合度算出ステップと、
   前記適合度算出ステップによって算出した適合度に基づいて前記コンテンツを前記ユーザに配信する配信ステップと、
   前記ユーザが蓄積しているコンテンツにおいて顕著性マップを作成し、作成した前記顕著性マップに基づいて前記コンテンツの各画素の前景部分と後景部分とを区別する数値記憶処理ステップと、
   をコンピュータに実行させ、
   前記嗜好パラメータ推定ステップにおいて、前記数値記憶処理ステップにおいて区別された前記コンテンツの前景部分及び後景部分の嗜好パラメータをそれぞれ推定するためのコンピュータプログラム。

Images