以下では、本発明の画像管理システムをソーシャルネットワークサービスシステムに適用した場合について説明するが、これに限らない。
[実施形態1]
以下、本発明の実施形態について、図面を参照して詳細に説明する。
<ソーシャルネットワークサービスの概略>
まず、本実施形態のソーシャルネットワークサービスについて、簡単に説明する。このソーシャルネットワークサービスは、所定のサーバによって提供される。このソーシャルネットワークサービスを利用するユーザは、会員登録されたユーザであり、アカウントとパスワード等を用いて、ユーザを特定し、クライアント端末からサーバ上の所定のアドレスにアクセスすることで、ページ閲覧等のサービスを受けることができる。各ユーザは、サーバ上にユーザ用のページを持つ。また、各ユーザは、アップロード(投稿)された画像を公開するための1つまたは複数のアルバムをサーバ上に持つ。なお、クライアント端末は、携帯端末、パーソナルコンピュータ、写真シール機等を含むがこれに限らない。ユーザを特定する方法として、アカウントとパスワード等とを用いる方法以外に、ユーザが持つ磁気カード、非接触ICカード、または赤外線通信等を用いる方法がある。例えば、クライアント端末が写真シール機等であり、ユーザの所有する端末ではない場合、写真シール機とユーザの携帯電話との間で赤外線通信等によってユーザの情報を送信し、認証を行う方法が便利である。
図2は、ユーザA用のページ10の画面表示の例を示す図である。ユーザA用のページ10は、ソーシャルネットワークサービスにおけるユーザAの入口ページ(トップページ)とも言うべきページである。ユーザA用のページ10には、ユーザA自身のアルバムページへのリンク、友人Bのアルバムページへのリンク、および友人Cのアルバムページへのリンク、参加しているコミュニティのページへのリンク等が表示される。友人Bおよび友人Cは、このソーシャルネットワークサービス上でユーザAと友人関係が設定されている別のユーザである。コミュニティとは、趣味または好みが共通する複数のユーザが参加(登録)するグループである。ユーザは、ユーザ端末によってこのリンクを選択することにより、対応するアルバムページのアドレスに移動し、各ユーザのアルバムを閲覧することができる。また、ユーザA用のページ10には、おすすめ画像一覧ページへのリンクが表示される。おすすめ画像一覧ページについては、後述する。なお、図2には簡単のため上記の情報しか示していないが、ユーザA用のページ10には、他にユーザAのプロフィール、ユーザAへの通知事項、画像アップロード用メニューのリンク、管理用メニューのリンク、および他ユーザ検索用のメニュー等が表示されていてもよい。
図3は、ユーザAのアルバムページ11の画面表示の例を示す図である。ユーザAのアルバムページ11には、ユーザAによってサーバにアップロードされた画像12および画像12に関するユーザAのコメント13が表示される。ユーザAは、日記をつける、または画像12にタイトルをつけるような感覚で、画像12に対して任意の自然文のコメント13を付すことができる。ここでは、ユーザAが画像に付してアップロードした自然文のコメントを「自然文のタイトル」と称する。また、ユーザAのアルバムページ11には、ユーザAがアップロードした画像12に対して他のユーザ(例えば友人C)が投稿した自然文のコメント14が表示される。また、より前にアップロードされた画像およびその自然文のタイトルは、アルバムページ11のさらに下部、または、リンクによって移動できるアルバムの別のページに表示される。
図4は、ユーザAのおすすめ画像一覧ページ15の画面表示の例を示す図である。ユーザAのおすすめ画像一覧ページ15には、ユーザAがアルバムにアップロードした画像12に関連する、別のユーザの画像16・17が、ユーザAに対するおすすめ画像として表示される。画像16・17は、別のユーザがそれぞれのアルバムに過去にアップロードした画像のサムネイル画像である。過去にサーバにアップロードされた画像の中から、ユーザAがアルバムにアップロードした画像12(図3参照)の自然文のタイトル13に関連する画像が抽出され、おすすめ画像として表示される。図4に示す例では、ユーザAの自然文のタイトル13に含まれる「桜」という語句に関連する複数の画像16と、ユーザAの自然文のタイトル13に含まれる「綺麗」という語句に関連する複数の画像17とが、おすすめ画像としておすすめ画像一覧ページ15に表示されている。
また、おすすめ画像一覧ページ15では、各画像16・17にリンクが設定されており、例えば、ユーザAが画像16の1つ(画像d)を選択すると、その画像dがアップロードされたユーザDのアルバムページ18(図5参照)に移動する。これにより、ユーザAは、おすすめ画像一覧の中の興味を惹かれた画像をアップロードしたユーザDのアルバムページを閲覧することができる。
<ソーシャルネットワークサービスシステムの構成>
図1は、本実施形態のソーシャルネットワークサービスシステムの構成を示す概略的なブロック図である。ソーシャルネットワークサービスシステムは、サーバ(画像管理システム)1によって構成される。ここでは、1つのサーバとして説明するが、ソーシャルネットワークサービスシステムは、複数のサーバによって構成されてもよく、各機能が異なるサーバによって実現されていてもよい。サーバ1はネットワーク2に接続され、ユーザが利用するユーザ端末3と通信可能である。ユーザ端末3は、携帯端末およびPC(パーソナルコンピュータ)端末等の端末を含む。また、ユーザが操作する写真シール機等のクライアント端末も、ユーザ端末3に含まれる。例えば、写真シール機は、写真シール機が撮影した画像とユーザが写真シール機に入力した投稿コメントとを、サーバ1に送信する。これにより、ユーザは、画像と投稿コメントとをサーバ1に投稿することができる。なお、写真シール機等が、撮影した画像および撮影時に入力されたコメントを自動でサーバ1に送信してもよい。このようにしてアップロードされた画像も、写真シール機を利用するユーザによって投稿されたものと見なすことができる。
サーバ1は、データベース31、画像登録部(第1登録部)32、返信登録部(第2登録部)33、コメント修正部34、カテゴリー設定部(抽出条件設定部)35、画像抽出部(第1抽出部、第2抽出部)36、画像提供部37、および、閲覧部38を備える。
データベース31は、各ユーザによってアップロードされた画像およびコメントを、各ユーザに対応付けて記憶する。なお、この「コメント」には、投稿者が画像に付した自然文のタイトル(投稿コメント)と、別のユーザがその画像に対して投稿した自然文のコメント(返信コメント)とが含まれる。また、データベース31は、各画像およびコメントが投稿された時刻の情報も記憶する。また、データベース31は、所定の複数の語句が登録された代表語句辞書を記憶している。代表語句辞書は、各語句とその語句の意味を代表する代表語句とを対応付ける辞書であり、例えばテーブルデータ等で構成される。また、データベース31は、画像のカテゴリーを該画像に対応付けて記憶する。
画像登録部32は、ユーザからアルバムへの新たな画像のアップロード(登録)を受け付ける。画像のアップロードは、ユーザ毎に異なるアップロード用の所定の電子メールアドレスに対して、ユーザが画像を添付した電子メールを送信することにより行われる。このとき、画像登録部32は、電子メールの本文に記載した文章を、添付された画像に関するユーザの投稿コメントとみなし、画像と投稿コメントとユーザとを対応付けて、データベース31に登録する。また、画像登録部32は、画像の登録時刻等の情報を画像と対応付けてデータベース31に登録する。なお、アップロードされる画像は、静止画像でもよいし、動画像でもよい。
返信登録部33は、既にアルバムに登録されている画像(すなわちデータベース31に登録されている画像)に対する、ユーザの自然文のコメント(返信コメント)の投稿(登録)を受け付ける。返信コメントの投稿は、ユーザ端末3のブラウザに表示される、ページの所定のフォームから行われる。なお、返信コメントを投稿するユーザは、対象の画像をアップロードしたユーザでも、それとは異なる別のユーザでもよい。返信登録部33は、受け付けた返信コメントと投稿したユーザとを、対象の画像に対応付けてデータベース31に登録する。また、返信登録部33は、返信コメントの登録時刻等の情報を対象の画像と対応付けてデータベース31に登録する。
コメント修正部34は、ユーザから、該ユーザが登録したコメント(投稿コメントまたは返信コメント)の修正を受け付ける。コメントの修正は、ユーザ端末3のブラウザに表示される、ページの所定のフォームから行われる。コメント修正部34は、修正前のコメントを修正されたコメントに置き換える。コメント修正部34は、このとき、該コメントの登録時刻を更新してもよい。また、対象の画像の投稿者が投稿時に付した投稿コメントが修正された場合、画像の登録時刻を更新してもよい。
カテゴリー設定部35は、画像登録部32または返信登録部33によってコメント(投稿コメントまたは返信コメント)が登録されると、または、コメント修正部34によってコメント(投稿コメントまたは返信コメント)が修正されると、データベース31の代表語句辞書に基づき、登録(または修正)されたコメントに含まれる1つまたは複数の語句を抽出する。カテゴリー設定部35は、コメントから抽出された語句が示す意味を代表する代表語句を、該コメントに対応付けられた画像が属するカテゴリーとして、該画像に対応付けてデータベース31に登録する。なお、修正前のコメントから抽出した語句の代表語句は、削除してもよい。画像に対応付けられた代表語句は、該画像が属するカテゴリーを示す。
例えば、「綺麗」と「美しい」とは同じ意味(または類似した意味)を指すので、コメントに「綺麗」または「美しい」が含まれる場合は、その代表語句「きれい」を、登録された画像が属するカテゴリーとする。また例えば、「桜」と「バラ」とは共に「花」を意味するので、コメントに「桜」または「バラ」が含まれる場合は、その代表語句「花」を、登録された画像が属するカテゴリーとする。コメントから複数の語句が抽出された場合、1つの画像に対してカテゴリーを示す代表語句は複数登録されうる。代表語句辞書には、語尾変化した言葉またはくだけた言葉に対する代表語句を登録しておいてもよく、例えば語句「すごく」および「すんごい」に対して代表語句「すごい」が対応付けられていてもよい。また代表語句辞書には、頻出する複数の語からなる句に対する代表語句を登録しておいてもよい。例えば、語句「今日の夕日」および「今日、夕日」等に対して代表語句「今日の夕日」が対応付けられていてもよい。
なお、カテゴリー設定部35は、画像登録部32によって登録された投稿コメント(対象の画像の投稿者が投稿時に付したタイトル)についてのみ代表語句の登録を行ってもよい。また、カテゴリー設定部35は、対象の画像の投稿者が指定した、別のユーザのコメント(返信コメント)についても、代表語句の登録を行ってもよい。画像に対応付けられた代表語句は、後述する画像を抽出(検索)する際に利用される。
図6は、データベース31に登録された画像と、該画像に関する情報との対応付けを示す図である。図6に示す例では、ユーザDによって画像dがサーバ1にアップロードされている。「投稿画像」はアップロードされた画像を示し、「投稿者」はアップロードしたユーザを示し、「更新時刻」はユーザが画像をアップロードした時刻を示す。「投稿コメント」は、投稿者が画像のアップロードと共に画像に付したコメント(タイトル)を示す。「返信者」は既に投稿されている投稿画像に対してコメントを投稿したユーザを示し、「返信コメント」はそのコメントを示す。「カテゴリー」は投稿コメントに含まれる語句についての代表語句で表され、投稿画像がどのような画像であるかを示す。図6に示す例のように、投稿コメントから複数の語句を抽出し、1つの画像に複数の代表語句を対応付けてもよい。
画像抽出部36は、画像登録部32によって例えばユーザAの画像aがアップロードされると、既にデータベース31に登録されている画像の中から、対象の画像aに関連する1つまたは複数の画像を抽出する。画像抽出部36は、対象の画像aに対応付けられた投稿コメント(ユーザAが画像aの投稿時に付したコメント)と、例えば別のユーザDが既にアップロードしている画像dに対応付けられた投稿コメント(ユーザDが画像dの投稿時に付したコメント)とが関連する場合、画像aと画像dとが関連するとみなす。具体的には、画像抽出部36は、代表語句辞書に基づいて、ユーザAが画像aの投稿時に付した投稿コメントから1つまたは複数の語句を抽出する。画像抽出部36は、対象の画像aについて、抽出した語句と類似する意味を有する語句を含むコメント(投稿コメントまたは返信コメント)に対応付けられた画像、すなわち、同じ代表語句に対応付けられた画像を、データベース31の中から抽出する。
例えば、対象の画像aの投稿コメントが「今日の桜は綺麗です」である場合、投稿コメントから「桜」および「綺麗」という語句が抽出され、それに対応する代表語句「花」に対応付けられた画像dが、画像aに関連する画像として抽出される。また、語句「綺麗」の代表語句「きれい」に対応付けられた画像eが、画像aに関連する関連画像として抽出される。画像dは、画像aの投稿コメントの中の「桜」という語句に関連する画像であり、画像eは、画像aの投稿コメントの中の「綺麗」という語句に関連する画像である。画像抽出部36は、対象の画像aの情報と、抽出した関連画像(画像d、画像e)の情報とを、それぞれ投稿コメントの中のいずれの語句(「桜」、「綺麗」)に関連する画像であるかの情報と共に、画像提供部37に出力する。
画像提供部37は、対象の画像aについて、ユーザが関連画像を参照できるように関連画像を表示するページを、図4に示す「おすすめ画像一覧ページ」として作成する。画像提供部37は、図4に示すように、投稿コメントの中の語句(「桜」、「綺麗」)毎に分けて、それぞれに関連する関連画像を並べてページに表示させる。なお、実際には、おすすめ画像一覧ページには関連画像のサムネイル画像が表示される。
なお、関連画像が所定の数より多く抽出された場合、その中から所定の数の関連画像のみをおすすめ画像一覧ページに表示させてもよい。残りの関連画像をおすすめ画像一覧ページの別のページに表示させてもよい。多くの関連画像から所定の数の関連画像を絞り込む場合、画像提供部37は、画像の投稿時刻(更新時刻)がより新しいものを選んでもよい。また、画像提供部37は、対象の画像aと各関連画像との画像マッチングの結果に応じて、より画像自体が類似した所定の数の関連画像を選んでもよい。この場合、画像提供部37は、例えば、ペットの画像、夕日の画像等の画像のマッチング用のテンプレートデータを用いてマッチングを行ってもよいし、画像の色味(青色系、赤色系等)または画像の中のエッジの形状(三角形状、丸形状等)の配置に応じてマッチングを行ってもよい。また、画像提供部37は、各画像に対するユーザの評価がより高い所定の数の関連画像を選んでもよい。なお、画像aの投稿コメントが無記入(空白)であった場合、または、画像aの投稿コメントが代表語句辞書に合致する語句を含んでいなかった場合、画像提供部37は、データベース31に登録された全ての画像から、画像の投稿時刻(更新時刻)がより新しい所定の数の画像を抽出してもよい。また、関連画像が所定の数に満たない場合、データベース31から、ランダムにまたは画像の投稿時刻(更新時刻)がより新しい画像を選択して関連画像として追加してもよい。
また、おすすめ画像一覧ページには、アップロードされた最新の画像に関連する関連画像のみを表示させてもよいし、以前にアップロードされた画像に関連する関連画像を表示してもよい。画像提供部37は、おすすめ画像一覧ページを作成または更新した場合、画像の投稿者であるユーザAに対して画像の投稿が完了した旨およびおすすめ画像一覧ページが更新された旨を示す電子メールを、ユーザ端末3に送信し、ユーザAに通知してもよい。
閲覧部38は、ユーザ端末3のブラウザに対して、webサーバとしての機能を提供する。具体的には、閲覧部38は、ソーシャルネットワークサービスにおいてユーザに提示するwebページ(図2〜図5に示すページ等)を有し、ユーザ端末3からの要求に応じて、webページおよびそこに含まれる画像等をユーザ端末3に送信する。閲覧部38は、適宜データベース31を参照し、データベース31に登録されている画像、コメント、およびユーザ等の情報を使用してwebページを作成する。
<ソーシャルネットワークサービスシステムにおける処理>
以下では、ソーシャルネットワークサービスシステムにおける各種の処理について、詳しく説明する。なお、ユーザ登録・管理等の処理は、公知のソーシャルネットワークサービスシステムにおける処理と同じものを利用することができるので、その説明は省略する。
(画像登録処理)
ユーザAが画像aを新たにアップロードする場合を例に挙げて、サーバ1の処理について説明する。図7は、サーバ1の画像登録処理のフローを示す図である。
ユーザA専用の画像アップロード用の電子メールアドレスは、あらかじめユーザAに通知されている。ユーザAは、ユーザ端末3を用いて、該電子メールアドレス宛に、画像aを添付し、本文に自然文のコメント(投稿コメント)caを入力した電子メールを送信する。サーバ1は、該電子メールアドレス宛の電子メールを受け取る。ここでは、投稿コメントcaとして、「今日の桜は綺麗です」が入力されているとする。
画像登録部32は、ユーザAから画像aの添付された電子メールを受け取り、添付された画像aと、電子メールの本文の投稿コメントcaと、画像aを受け取った時刻とを、ユーザAに対応付けてデータベース31に登録する(S1)。なお、画像登録部32は、投稿コメントが公開するのに不適切な言葉(禁止語句)を含んでいる場合、その投稿コメントおよび対応する画像をデータベース31から削除する、またはデータベース31に登録しない。不適切な言葉は、あらかじめNGワード辞書としてデータベース31に登録されていてもよい。
次に、カテゴリー設定部35は、データベース31の代表語句辞書に基づいて、登録された投稿コメントcaに含まれる1つまたは複数の語句を抽出する(S2)。カテゴリー設定部35は、投稿コメントcaから抽出した各語句に対応する代表語句を、ユーザA、画像a、および投稿コメントcaに対応付けて、データベース31に登録する(S3)。
閲覧部38は、各ユーザ端末3からのアクセスに応じて、データベース31を参照し、例えばユーザAのアルバムページ11として画像aおよび投稿コメントcaを表示させるwebページを、ユーザ端末3に送信する。
(返信登録処理)
ユーザBが、ユーザAのアルバムページ11に表示されている画像aに対して返信(返信コメントの投稿)を行う場合を例に挙げて、サーバ1の処理について説明する。図8は、サーバ1の返信登録処理のフローを示す図である。
ユーザBは、例えばアルバムページ11に設けられた、またはアルバムページ11からリンクが張られている返信用フォームから、画像aに対するコメント(返信コメント)cbを投稿する。
返信登録部33は、ユーザBからユーザAの画像aに対する返信コメントcbの投稿を受け付け、ユーザBの情報と、返信コメントcbと、返信コメントcbを受け取った時刻とを、画像aに対応付けてデータベース31に登録する(S11)。
閲覧部38は、各ユーザ端末3からのアクセスに応じて、データベース31を参照し、例えばユーザAのアルバムページ11として画像a、投稿コメントca、返信コメントcb等を表示させるwebページを、ユーザ端末3に送信する。
画像aの投稿者であるユーザAは、アルバムページ11に表示された返信コメントcbを閲覧し、ユーザBの返信コメントcbを画像aに特に関連する返信コメントとして指定(認定)することができる。ユーザAは、例えばアルバムページ11に設けられた所定のボタン等を押す等して、ユーザBの返信コメントcbを画像aに特に関連する返信コメントとして指定する情報を、ユーザ端末3からサーバ1に送信することができる。指定された別のユーザの返信コメントcbは、投稿コメントcaと同様に、関連画像の抽出処理に用いられる。
カテゴリー設定部35は、返信コメントcbを画像aに特に関連する返信コメントとする指定を、ユーザ端末3から受け取ると(S12)、代表語句辞書に基づいて、データベース31に登録されている返信コメントcbに含まれる1つまたは複数の語句を抽出する(S13)。カテゴリー設定部35は、返信コメントcbから抽出した各語句に対応する代表語句を、画像aに対応付けて、データベース31に登録する(S14)。すなわち、画像aに対して、投稿コメントcaについての代表語句と返信コメントcbについての代表語句とが対応付けられる。
なお、ユーザAは、特定のユーザから返信される返信コメントを自動的に抽出処理に用いるために、あらかじめ特定のユーザを認定しておいてもよい。この場合、カテゴリー設定部35は、認定されたユーザから画像aに対する返信コメントcbが投稿されると、返信コメントcbから語句を抽出し、抽出した各語句に対応する代表語句を、画像aに対応付けて、データベース31に登録する。なお、カテゴリー設定部35は、ユーザに指定させる代わりに、全てのユーザから返信される返信コメントを自動的に抽出処理に用いるようにしてもよい。
(コメント修正処理)
ユーザAが、ユーザAのアルバムページ11に表示されている画像aの投稿コメントcaを修正する場合を例に挙げて、サーバ1の処理について説明する。図9は、サーバ1のコメント修正処理のフローを示す図である。
ユーザBは、例えばアルバムページ11に設けられた、またはアルバムページ11からリンクが張られているコメント修正用フォームから、画像aに関する投稿コメントcaの修正を行う。
コメント修正部34は、ユーザAから画像aに関する投稿コメントcaの修正データ(修正コメントca’)の投稿を受け付け、投稿コメントとして修正コメントca’を画像aに対応付けてデータベース31に登録する(S21)。なお、データベース31に登録されている「画像aを受け取った時刻」を修正コメントca’を受け取った時刻に書き換えてもよい。
次に、カテゴリー設定部35は、データベース31の代表語句辞書に基づいて、登録された修正コメントca’に含まれる1つまたは複数の語句を抽出する(S22)。カテゴリー設定部35は、修正前の投稿コメントcaから抽出した各語句に対応する代表語句をデータベース31から削除し、代わりに修正コメントca’から抽出した各語句に対応する代表語句を、画像aおよび修正コメントca’に対応付けて、データベース31に登録する(S23)。
閲覧部38は、各ユーザ端末3からのアクセスに応じて、データベース31を参照し、例えばユーザAのアルバムページ11として画像aおよび修正コメントca’を表示させるwebページを、ユーザ端末3に送信する。
(関連画像抽出処理)
画像aが投稿された場合を例に挙げて、サーバ1の処理について説明する。このときデータベース31には、図6に示すように画像d、画像eとそれに関するコメント等が登録されているとする。図10は、サーバ1の関連画像抽出処理のフローを示す図である。
画像抽出部36は、ユーザAから画像aがアップロードされると、ユーザAが画像aの投稿時に付した投稿コメントca「今日の桜は綺麗です」から語句「桜」「綺麗」を抽出する(S31)。画像抽出部36は、投稿コメントcaから抽出した語句に対応する代表語句「花」「きれい」を特定する(S32)。なお、画像抽出部36は、画像aに対する代表語句の特定を、画像登録部32がデータベース31に画像aに対応付けて登録した代表語句を取得することにより行ってもよい。
画像抽出部36は、特定した画像aに対する代表語句と同じ代表語句に対応付けられている別のユーザの画像(画像d、画像e)を、画像aの関連画像として、既にデータベース31に登録されている画像の中から抽出する(S33)。なお、画像aに対して複数の代表語句が対応付けられている場合、それぞれの代表語句に対して、関連画像を抽出する。
画像抽出部36は、抽出された各関連画像に対して、表示優先度を設定する(S34)。
例えば、閲覧回数の多い画像は評価の高い画像と考えられる。サーバ1は、データベース31に登録されている画像がユーザに何回閲覧されているか(クリックされているか、またはダウンロードされているか)をカウントしておき、閲覧回数がより多い画像の評価をより高く設定しておく。画像抽出部36は、評価が高い関連画像の表示優先度をより高く設定してもよい。また、サーバ1は、画像に対する別ユーザからの返信コメントが肯定的である場合(「いい」「好き」「すごい」等の肯定的な語句を含む場合)、その画像の評価を高くしてもよい。また、各画像に対する評価を閲覧したユーザが投票できるようにしておいてもよい。サーバ1は、このような画像の評価をその画像に対応付けてデータベース31に記憶する。
また、画像抽出部36は、画像aの複数の代表語句ついて、より多くの代表語句に対応付けられた関連画像の表示優先度をより高く設定してもよい。例えば、画像fの投稿コメントcfが「お昼にきれいな花を見つけました」である場合、代表語句として「花」と「きれい」とを含む。投稿コメントca「今日の桜は綺麗です」とは2つの代表語句が一致するので、画像fは、より画像aとの関連が深いと考えられる。
また、各代表語句には重要度が設定されており、画像抽出部36は、より重要度の高い代表語句に対応付けられた関連画像の表示優先度をより高く設定してもよい。例えば、代表語句辞書に、語句「桜」に対する代表語句として「桜」と「花」と「春」とが登録されているとする。語句「桜」に対して、代表語句「花」または「春」より代表語句「桜」の方がより一致する。そのため、語句「桜」に対しては、代表語句「桜」の重要度を代表語句「花」および「春」の重要度より高く設定しておく。この重要度に基づいて、関連画像の表示優先度を決定すれば、画像aの投稿コメントcaに対してより意味が一致しているコメントに対応付けられた関連画像の表示優先度をより高く設定することができる。また、重要度が高い代表語句「桜」に対応付けられた関連画像がデータベース31に見つからなかった場合にも、重要度が低い代表語句「花」または「春」に対応付けられた関連画像がある場合には、それを関連画像として抽出してユーザに提供することができる。
また、画像抽出部36は、ユーザAの画像aについて、ユーザAと同じコミュニティに参加しているユーザが登録した関連画像の表示優先度をより高く設定してもよい。また、画像抽出部36は、ユーザAの画像aについて、ユーザAと友人関係が設定されているユーザが登録した関連画像の表示優先度をより高く設定してもよい。同じ趣味または好みを有するユーザがアップロードした画像は、他の画像よりも画像aとの関連が深い可能性が高い。
また、画像抽出部36は、関連画像がアップロードされた時刻がより新しい関連画像について、表示優先度をより高く設定してもよい。
また、画像抽出部36は、関連画像に対する返信コメントの数がより多い、または返信コメントの登録時刻がより新しい関連画像について、表示優先度をより高く設定してもよい。
また、画像抽出部36は、画像aと、画像の特徴がより類似する関連画像の表示優先度をより高く設定してもよい。すなわち、画像マッチング等の技術を用いて、関連画像の画像aとの類似度を判定し、より類似度の高い関連画像の表示優先度をより高く設定してもよい。例えば、画像aが赤い色が多い画像であれば、赤い色合いの関連画像の表示優先度が高くなる。また、例えば、画像aに四角い被写体が含まれていれば、同様に四角い形状の被写体を含んだ関連画像の表示優先度が高くなる。
これら複数の表示優先度の設定方法は、単独で用いられてもよいし、互いに組合わせて用いられてもよい。
抽出された関連画像の数が所定の数(ここでは6個)よりも少ない場合(S35でNo)、画像抽出部36は、関連画像が6個になるように足りない分だけデータベース31の中から画像を抽出して補う(S36)。例えば、投稿コメントcaに対して重要度の高い代表語句「桜」に対応付けられた関連画像が2つしか抽出できなかった場合、より重要度の低い代表語句「花」または「春」に対応付けられた関連画像を4つ抽出して、画像aの関連画像として追加する。または、アップロードされた時刻が最新の画像、または評価の高い画像を足りない分だけ抽出して、画像aの関連画像として追加してもよい。または、ランダムにデータベース31から抽出して、画像aの関連画像として追加してもよい。なお、不足分の補充として追加された関連画像の表示優先度は、先に抽出されていた関連画像よりも低く設定される。
抽出された関連画像の数が所定の数(ここでは6個)以上である場合(S35でYes)、または、S36の処理の後、画像抽出部36は、抽出した関連画像を示す情報およびその表示優先度を、画像提供部37に出力する。画像抽出部36は、表示優先度のより高い所定の数の関連画像のみについて、関連画像を示す情報とその表示優先度とを、画像提供部37に出力してもよい。
次に、画像提供部37は、対象の画像aについて、抽出された関連画像を表示する関連画像ページを、図4に示す「おすすめ画像一覧ページ」として作成する(S37)。抽出された関連画像は、その表示優先度に応じた順で関連画像ページに表示される。関連画像は、その表示優先度に応じて、ユーザA用のトップページ10に表示されてもよい。例えば、優先度が高い所定の数の関連画像をユーザA用のトップページ10に表示し、優先度が低いその他の関連画像を、関連画像ページに表示してもよい。また、図4に示すように、投稿コメントcaに含まれる語句「桜」「綺麗」毎に分けて、それぞれの語句に対応する関連画像を表示してもよい。
なお、関連画像ページに表示される各関連画像には、該関連画像をアップロードしたユーザのトップページへのリンクが張られる。または、関連画像ページには、各関連画像に対応するように、該関連画像をアップロードしたユーザのユーザ名が表示される。
なお、画像提供部37は、抽出された関連画像の情報と、その表示優先度とをデータベース31に登録しておいてもよい。この場合、画像提供部37は、ユーザがユーザA用のトップページ10または関連画像ページにアクセスした時点で、データベース31から関連画像の情報を取得し、ユーザ端末3に当該ページおよび関連画像を送信してもよい。
画像提供部37は、画像aの投稿者であるユーザAに対して画像aの投稿が完了した旨およびおすすめ画像一覧ページが更新された旨を示す電子メールを、ユーザ端末3に送信する(S38)。
以上で、関連画像抽出処理が終了する。
ここでは、ユーザAが画像aを登録すると、関連画像が抽出される場合について説明した。ただし、画像抽出部36は、ユーザAの画像aの登録がされ、いずれかのユーザがユーザAの関連画像一覧ページ等にアクセスするタイミング(関連画像を表示する段階)で、画像aについての関連画像を抽出してもよい。
本実施形態のソーシャルネットワークサービスによれば、サーバ1が、アップロードされた画像について、該画像に関連する関連画像を抽出して、関連画像をユーザに提供する。よって、ユーザAは例えば日記として画像aとその画像aに関する投稿コメントとをアップロードすることで、画像aに関連する他のユーザがアップロードした関連画像を手軽に参照することができる。また、ユーザAは、表示された関連画像から興味のあるものを選ぶことで、関連画像のリンクを介して興味のある関連画像をアップロードしたユーザの日記等を手軽に参照することができる。ユーザAに、別のユーザの情報として文章ではなくそのユーザがアップロードした画像を提示することで、ユーザAは、該画像ひいては該画像をアップロードしたユーザについて興味があるか否かを、文章を読むことなく直感的に判断することができる。そのため、ユーザは、自分の趣味・嗜好と一致するユーザの情報を容易に得ることができる。それゆえ、本実施形態のソーシャルネットワークサービスは、ユーザ間における交流の活性化を促進することができる。
<変形例>
なお、画像提供部37は、ユーザAと友人関係が設定されているユーザBに対しても、ユーザAの新たな画像aが投稿された旨およびユーザAのおすすめ画像一覧ページが更新された旨を、電子メールまたはユーザB用のトップページ等において通知してもよい。また、あらかじめ通知を希望しているユーザCに、ユーザAの新たな画像aが投稿された旨を、電子メールまたはユーザC用のトップページ等において通知してもよい。例えばユーザCは、「桜」という語句を通知用語句としてサーバ1に登録しておくことができる。画像提供部37は、通知用語句に対する代表語句に対応付けられる画像aがデータベース31に登録されると、その画像aの情報および投稿者であるユーザAの情報をユーザCに通知してもよい。これにより、ユーザCは、興味のある画像がアップロードされると通知を受けて、該画像を閲覧することができる。
また、サーバ1は、ユーザBから、別のユーザAがアップロードして公開されている画像aを関連画像抽出用の画像として指定する指示を受け取り、画像aの関連画像を抽出して、抽出された関連画像をユーザBに提供してもよい。また、サーバ1は、ユーザAから、過去に自身がアップロードした画像aを関連画像抽出用の画像として指定する指示を受け取り、画像aの関連画像を抽出して、抽出された関連画像をユーザAに提供してもよい。
また、サーバ1は、日記等へのアップロードではなく、ユーザAに関連画像抽出用の画像を登録(または任意のユーザの画像を指定)させ、画像マッチングによって、画像の特徴が関連画像抽出用の画像に類似する画像をデータベース31から抽出して、ユーザAに提供してもよい。例えば、ユーザAは、お気に入りの画像を関連画像抽出用の画像として登録することで、該画像に類似した画像の一覧を参照することができる。ユーザAが関連画像一覧ページ等にアクセスする毎に、または所定のタイミング毎に、関連画像抽出用の画像に類似する画像を抽出する処理を行えば、他のユーザが関連画像抽出用の画像に類似する画像をアップロードすると、その画像が反映されてユーザAの関連画像一覧ページに表示される。
また、カテゴリー設定部35は、投稿された画像に対して画像の特徴を抽出し、画像の特徴に応じた代表語句を、画像が属するカテゴリーとして、該画像に対応付けてデータベース31に登録してもよい。例えば、画像特徴抽出技術によって対象の画像が暖色系の画像であると判断された場合、カテゴリー設定部35は、暖色系であることを示す代表語句「明るい」を対象の画像に対応付けてデータベース31に登録する。また、対象の画像が寒色系の画像であると判断された場合、カテゴリー設定部35は、寒色系であることを示す代表語句「暗い」を対象の画像に対応付けてデータベース31に登録する。このように、画像自身に基づいて、画像の特徴を示す代表語句を特定してもよい。画像特徴抽出の方法としては、例えば所定のテンプレート(例えば桜または夕日等を表すテンプレート)とのマッチングを行い、一致度が高い場合に、該テンプレートに関連する代表語句を選択してもよい。また、画像の色味から代表語句を選択してもよい。また、エッジの配置に応じて代表語句を選択してもよい。
[実施形態2]
本実施形態では、ユーザ毎にユーザの趣味・嗜好に関する情報を蓄積し、蓄積した情報に基づいて関連画像を抽出する方法について説明する。なお、説明の便宜上、実施形態1にて説明した図面と同じ機能を有する部材・構成については、同じ符号を付記し、その詳細な説明を省略する。以下、本実施形態について、図面を参照して詳細に説明する。
サーバ1の構成は、図1に示す実施形態1のものと同様である。本実施形態では、特にカテゴリー設定部35および画像抽出部36における処理が異なる。
(画像登録処理)
ユーザAが画像a1を新たにアップロードする場合を例に挙げて、サーバ1の処理について説明する。図11は、サーバ1の画像登録処理のフローを示す図である。
実施形態1と同様に、ユーザAは、ユーザ端末3を用いて、画像a1を添付し、本文に自然文の投稿コメントca1を入力した電子メールを、サーバ1宛に送信する。ここでは、投稿コメントca1として、「今日の桜は綺麗です」が入力されているとする。
画像登録部32は、ユーザAから画像a1の添付された電子メールを受け取り、添付された画像a1と、電子メールの本文の投稿コメントca1と、画像a1を受け取った時刻とを、ユーザAに対応付けてデータベース31に登録する(S41)。
次に、カテゴリー設定部35は、データベース31の代表語句辞書に基づいて、登録された投稿コメントca1に含まれる1つまたは複数の語句を抽出する(S42)。カテゴリー設定部35は、投稿コメントca1から抽出した各語句に対応する代表語句を、ユーザA、画像a1、および投稿コメントca1に対応付けて、データベース31に登録する(S43)。
ここで、ユーザAからアップロードされた画像a1および投稿コメントca1をデータベース31に登録した状態の、データベース31のデータの例を図12に示す。ここで、画像a2は、画像a1よりも前にユーザAによってアルバムにアップロードされた画像であり、そのとき画像a2に付してアップロードされた投稿コメントca2は「今日の夕日がキレイだから記念に撮りました!」だったとする。画像a2がアップロードされたときに、カテゴリー設定部35は、投稿コメントca2から抽出した語句に対応する代表語句「夕日」「きれい」「記念」を画像a2のカテゴリーとしてデータベース31に登録している。また、画像a2に対して、ユーザBから返信コメントcb2「夕日がろうそくみたい」が投稿されていたとする。返信コメントcb2が投稿されたときに、カテゴリー設定部35は、投稿コメントca2と同様に、返信コメントcb2から抽出した語句に対応する代表語句「夕日」「ろうそく」を、画像a2の返信コメントのカテゴリーとしてデータベース31に登録している。なお、ここでは語句「桜」「夕日」「記念」「ろうそく」の代表語句はそれぞれ「桜」「夕日」「記念」「ろうそく」であるとしている。また、語句「綺麗」「キレイ」の代表語句は「きれい」である。
S43の後、カテゴリー設定部35は、ユーザAが今まで投稿した複数の画像a1・a2…に関するカテゴリー、および、それらの返信コメントのカテゴリーを、データベース31から取得する。カテゴリー設定部35は、取得したユーザAに関するそれらのカテゴリー(代表語句)を、ユーザカテゴリーとして、ユーザAに対応付けてデータベース31に登録する(S44)。ユーザカテゴリーは、ユーザA自身が画像に付したタイトル(投稿コメント)およびその画像に対する返信コメントに基づいて決定されるので、ユーザA自身の嗜好・嗜好を反映したものになる。図13は、データベース31に登録されたユーザカテゴリーの例を示す図である。ユーザAのユーザカテゴリーとして、複数の代表語句「桜」「きれい」「夕日」「記念」「ろうそく」等が登録されている。本実施形態では、関連画像の抽出処理において、最新の画像a1だけのカテゴリーではなく、過去の情報も含めたユーザカテゴリーを利用する。ユーザカテゴリーは、ユーザ毎に設定された関連画像の抽出条件を示すものである。
また、カテゴリー設定部35は、ユーザ毎に、ユーザカテゴリーの各代表語句に対して、抽出重みを設定する(S45)。例えば、より最近にアップロードされた画像a1(の投稿コメントca1)に対応する代表語句に対しては、より昔にアップロードされた画像a2に対応する代表語句よりも、抽出重みを大きく設定する。これにより、より新しい画像の情報をより重視して、関連画像を抽出することができる。例えば、最新の画像に対応する代表語句の抽出重みは5とし、過去の画像に対応する代表語句の抽出重みは2とし、返信コメントに対応する抽出重みは1とする。ユーザカテゴリーの各代表語句に対して、投稿時に各画像に付された投稿コメント、および各画像に対する返信コメントについて抽出重みを足し合わせたものを、ユーザカテゴリーの各代表語句の抽出重みとする。例えば、ユーザカテゴリーの代表語句「桜」は、画像a1の投稿コメントca1で1回出現するので、抽出重みは5となる。ユーザカテゴリーの代表語句「きれい」は、画像a1の投稿コメントca1と画像a2の投稿コメントca2とに出現するので、抽出重みは7となる。また、ユーザカテゴリーの代表語句「夕日」は、画像a2の投稿コメントca2とその返信コメントcb2とに出現するので、抽出重みは3となる。すなわち、カテゴリー設定部35は、各ユーザについて、投稿されたコメント等に含まれる語句の出現頻度および投稿時刻等に基づいて、該ユーザが関心を持つと推測されるユーザカテゴリーの代表語句に対する抽出重みをより大きく設定する。
閲覧部38は、各ユーザ端末3からのアクセスに応じて、データベース31を参照し、例えばユーザAのアルバムページ11として画像a1および投稿コメントca1を表示させるwebページを、ユーザ端末3に送信する。
(返信登録処理)
返信登録処理においても、カテゴリー設定部35は、返信コメントに対して画像登録処理と同様の処理を行う。例えば、ユーザAの画像a2に対して登録された別のユーザBの返信コメントに対応する代表語句「夕日」「ろうそく」を、ユーザAのユーザカテゴリーに登録する。
(関連画像抽出処理)
画像a1が投稿された場合を例に挙げて、サーバ1の処理について説明する。画像登録部32による、データベース31への画像a1の情報の登録が完了したとき、データベース31には、図12に示すように他に画像d1、画像e1、画像e2とそれに関するコメント等が登録されていたとする。なお、ユーザカテゴリーは図13に示すように登録されているとする。図14は、サーバ1の関連画像抽出処理のフローを示す図である。
画像抽出部36は、ユーザAから画像a1がアップロードされると、データベース31から、ユーザAについてのユーザカテゴリーに登録されている複数の代表語句を取得する(S51)。
画像抽出部36は、取得したユーザAについての代表語句と同じ代表語句に対応付けられている別のユーザの画像(画像d1・e1・e2)を、既にデータベース31に登録されている画像の中から抽出する(S52)。抽出された別のユーザの画像は、ユーザAが今までにアップロードした画像の関連画像である。なお、ユーザカテゴリーに対して複数の代表語句が対応付けられている場合、それぞれの代表語句に対して、関連画像を抽出する。ここでは、ユーザカテゴリーの代表語句と、画像に対応付けられている代表語句とが一致するという抽出条件に基づいて、関連画像が抽出される。
画像抽出部36は、抽出された各関連画像に対して、表示優先度を設定する(S53)。ここでは、画像抽出部36は、抽出重みが大きい代表語句に対応付けられた関連画像の表示優先度が高くなるように、また、ユーザカテゴリーの多くの対応語句に対応付けられた関連画像の表示優先度が高くなるように、表示優先度を設定する。
例えば、関連画像d1は、代表語句「桜」および「きれい」に対応付けられている。代表語句「桜」の抽出重みは5、代表語句「きれい」の抽出重みは7である。よって、画像抽出部36は、例えば関連画像d1に対応付けられている代表語句の抽出重みの和をとり、関連画像d1の表示優先度を12と設定する。また、関連画像e1は、代表語句「きれい」および「夕日」に対応付けられている。代表語句「夕日」の抽出重みは3である。よって、画像抽出部36は、例えば関連画像e1に対応付けられている代表語句の抽出重みの和をとり、関連画像e1の表示優先度を10と設定する。また、関連画像e2は、代表語句「ケーキ」および「ろうそく」に対応付けられている。ユーザAに関して、代表語句「ケーキ」はユーザカテゴリーに登録されていないので、その抽出重みは0である。代表語句「ろうそく」の抽出重みは1である。よって、画像抽出部36は、関連画像e2の表示優先度を1とする。
これに加えて、画像抽出部36は、実施形態1で説明した表示優先度の種々の設定方法を組合わせて適用し、各関連画像の表示優先度を補正してもよい。
抽出された関連画像の数が所定の数よりも少ない場合(S54でNo)、画像抽出部36は、関連画像が上記所定の数になるように足りない分だけデータベース31の中から画像を抽出して補う(S55)。例えば、ユーザAの抽出重みがより大きい代表語句「きれい」「桜」「夕日」に対応付けられた関連画像が4つしか抽出できなかった場合、より抽出重みが小さい「記念」または「ろうそく」に対応付けられた関連画像を2つ抽出して、ユーザAが今までに投稿した画像の関連画像として追加する。または、アップロードされた時刻が最新の画像、または評価の高い画像を足りない分だけ抽出して、ユーザAの関連画像として追加してもよい。または、ランダムにデータベース31から抽出して、ユーザAの関連画像として追加してもよい。なお、不足分の補充として追加された関連画像の表示優先度は、先に抽出されていた関連画像よりも低く設定される。
抽出された関連画像の数が所定の数以上である場合(S54でYes)、または、S55の処理の後、画像抽出部36は、抽出した関連画像を示す情報およびその表示優先度を、画像提供部37に出力する。画像抽出部36は、表示優先度のより高い所定の数の関連画像のみについて、関連画像を示す情報とその表示優先度とを、画像提供部37に出力してもよい。
次に、画像提供部37は、ユーザAについて、抽出された関連画像を表示する関連画像ページを、図4に示す「おすすめ画像一覧ページ」として作成する(S56)。抽出された関連画像は、その表示優先度に応じた順で関連画像ページに表示される。関連画像は、その表示優先度に応じて、ユーザA用のトップページ10に表示されてもよい。
なお、実施形態1と同様に、関連画像ページに表示される各関連画像には、該関連画像をアップロードしたユーザのトップページへのリンクが張られる。または、関連画像ページには、各関連画像に対応するように、該関連画像をアップロードしたユーザのユーザ名が表示される。
画像提供部37は、画像a1の投稿者であるユーザAに対して画像a1の投稿が完了した旨およびおすすめ画像一覧ページが更新された旨を示す電子メールを、ユーザ端末3に送信する(S57)。
以上で、関連画像抽出処理が終了する。
ここでは、ユーザAが画像a1を登録すると、関連画像が抽出される場合について説明した。ただし、画像抽出部36は、ユーザAの画像a1の登録がされ、いずれかのユーザがユーザAの関連画像一覧ページ等にアクセスするタイミング(関連画像を表示する段階)で、ユーザAについての関連画像を抽出してもよい。画像抽出部36および画像提供部37が、関連画像一覧を更新するタイミングに特に制限はない。
本実施形態のソーシャルネットワークサービスによれば、サーバ1が、ユーザAについて、ユーザAによってアップロードされた画像の投稿コメントおよび/またはそれに対する返信コメント等に基づき、ユーザAの趣味・嗜好・性格・行動等の性行を示す情報(ユーザカテゴリー)を蓄積する。サーバ1は、このユーザAの情報に基づき、ユーザAの趣味・嗜好・行動に関連する関連画像を抽出して、ユーザAに適した関連画像をユーザに提供する。よって、ユーザAは例えば日記として画像aとその画像aに関するタイトル(投稿コメント)とをアップロードすることで、ユーザAに関連する、他のユーザがアップロードした関連画像を手軽に参照することができる。また、ユーザAは、表示された関連画像から興味のあるものを選ぶことで、関連画像のリンクを介して興味のある関連画像をアップロードしたユーザの日記等を手軽に参照することができる。ユーザAに、別のユーザの情報として文章ではなくそのユーザがアップロードした画像を提示することで、ユーザAは、該画像ひいては該画像をアップロードしたユーザについて興味があるか否かを、直感的に判断することができる。そのため、ユーザは、自分の趣味・嗜好と一致するユーザの情報を容易に得ることができる。それゆえ、本実施形態のソーシャルネットワークサービスは、ユーザ間における交流の活性化を促進することができる。
<変形例>
なお、例えばユーザAが表示された関連画像の1つを選択し、その関連画像および該関連画像のコメントが表示されている別のユーザのページを閲覧した場合、ユーザAは該関連画像に興味を持っていると考えられる。よって、カテゴリー設定部35は、ユーザAが選択して閲覧した関連画像のコメント(投稿コメントまたは返信コメント)に含まれる(対応する)代表語句を、ユーザAのユーザカテゴリーを表す代表語句としてデータベース31に追加してもよい。また、該関連画像のコメントに含まれる代表語句の抽出重みがより大きくなるよう変更してもよい。このようにすることで、ユーザAの閲覧行動からユーザAの趣味・嗜好・行動等の性行を示す情報(ユーザカテゴリー)を蓄積することができる。
[実施形態3]
本実施形態では、画像に付された投稿コメントから、ある指標における画像の位置を決定し、各画像の指標における位置に基づいて、関連画像を抽出する方法について説明する。なお、説明の便宜上、実施形態1〜2にて説明した図面と同じ機能を有する部材・構成については、同じ符号を付記し、その詳細な説明を省略する。以下、本実施形態について、図面を参照して詳細に説明する。
サーバ1の構成は、図1に示す実施形態1のものと同様である。本実施形態では、特にカテゴリー設定部35および画像抽出部36における処理が異なる。
また、データベース31は、所定の複数の語句と、該語句についての複数の指標に対する度合いとが登録された指標辞書を記憶している。各語句の各指標に対する度合いは、該語句の意味に応じて設定されている。
指標辞書には、所定の各語句について、例えば第1指標として「食物」を表す度合いがあらかじめ登録されており、第2指標として「季節」を表す度合いがあらかじめ登録されている。例えば、語句「桜」については、第1指標「食物」を表す度合いは低く、第2指標「季節」を表す度合いは高く設定されている。また例えば、語句「バナナ」については、第1指標「食物」を表す度合いは高く、第2指標「季節」を表す度合いは中程度に設定されている。例えば、形状や色を意味する語句については、「季節」から離れた話題であると解釈し、第2指標「季節」を表す度合いを特に低くなるよう設定してもよい。例えば、語句「甘い」「あまい」については、第1指標「食物」を表す度合いは高く、第2指標「季節」を表す度合いは中程度に設定されている。
(画像登録処理)
ユーザBが画像b1を新たにアップロードする場合を例に挙げて、サーバ1の処理について説明する。図15は、サーバ1の画像登録処理のフローを示す図である。
実施形態1と同様に、ユーザBは、ユーザ端末3を用いて、画像b1を添付し、本文に自然文の投稿コメントcb1を入力した電子メールをサーバ1宛に送信する。ここでは、投稿コメントcb1として、「昨日、お店で食べたメロンがあまくておいしかった」が入力されているとする。
画像登録部32は、ユーザBから画像b1の添付された電子メールを受け取り、添付された画像b1と、電子メールの本文の投稿コメントcb1と、画像b1を受け取った時刻とを、ユーザBに対応付けてデータベース31に登録する(S61)。
次に、カテゴリー設定部35は、データベース31の指標辞書に基づいて、登録された投稿コメントcb1に含まれる1つまたは複数の語句を抽出する(S62)。
カテゴリー設定部35は、投稿コメントcb1から抽出した各語句の、各指標に対する度合いに基づき、画像b1の各指標に対する度合いを決定する(S63)。これは、投稿コメントcb1から抽出した各語句の、各指標に対する度合いに基づき、各指標を軸とする空間に画像b1を対応付け、各指標を軸とする空間における画像b1の位置を特定することに相当する。
カテゴリー設定部35は、画像b1の各指標に対する度合い(各指標を軸とする空間における画像b1の位置)を、ユーザB、画像b1、および投稿コメントcb1に対応付けて、データベース31に登録する(S64)。
閲覧部38は、各ユーザ端末3からのアクセスに応じて、データベース31を参照し、例えばユーザBのアルバムページとして画像b1および投稿コメントcb1を表示させるwebページを、ユーザ端末3に送信する。
(関連画像抽出処理)
画像b1が投稿された場合を例に挙げて、画像b1の関連画像を抽出する処理について説明する。
ここで、ユーザBからアップロードされた画像b1および投稿コメントcb1をデータベース31に登録した状態の、データベース31のデータの例を図16に示す。ここで、画像a1、画像c1は、画像b1よりも前にそれぞれ別のユーザA、ユーザCによってそれぞれのアルバムにアップロードされた画像である。そのとき画像a1に付してアップロードされた投稿コメントca1は「今日の桜は綺麗です」だったとする。また、画像c1に付してアップロードされた投稿コメントcc1は「今朝食べたバナナはおいしかった」だったとする。データベース31には、各画像に対する第1指標および第2指標の値が登録されている。
図17は、各指標を軸とする空間(平面)における、各画像の位置を示す図である。各軸が交わる点が、各指標が0である点である。画像b1と画像c1とは共に「食物」に強く関連し、画像a1は「季節」に関連していることが分かる。そして、画像b1については、画像a1よりも画像c1の方が、関連している度合いが高いことが分かる。すなわち、各指標を軸とする空間における、2つの画像の間の距離は、それら2つの画像が関連している度合いを示す。よって、各指標を軸とする空間において、画像b1との距離が小さい画像を抽出することにより、画像b1に関連する関連画像を抽出することができる。
図18は、サーバ1の関連画像抽出処理のフローを示す図である。
画像抽出部36は、データベース31の中の各画像について、各指標を軸とする空間における画像b1との距離を求める(S71)。
画像抽出部36は、データベース31の中から、各指標を軸とする空間における画像b1との距離に応じて、画像b1との関連性がより強い所定の数の画像を、関連画像として抽出する(S72)。
このとき、画像抽出部36は、各指標を軸とする空間における画像b1との距離が小さい画像から順に抽出してもよい。また例えば、評価が高い(より多くの回数閲覧されている)画像については、ユーザBも興味を持つ可能性が高い。よって、画像抽出部36は、各画像の評価等を参照し、評価が高い画像については、画像b1との距離が大きくても画像b1との関連性が大きいと判断して優先的に抽出してもよい。例えば、画像抽出部36は、画像の評価値(大きいほどよい)を画像b1との距離で除した値、または、評価値から画像b1との距離を減じた値を、画像関連値として求め、画像関連値が大きい(関連性が大きい)順に所定の数の画像を関連画像として抽出してもよい。また、評価値ではなく、投稿時刻がより新しい画像の画像関連値がより大きくなるよう、画像b1との距離を補正して画像関連値を求めてもよい。また、同じコミュニティに属している、または友人関係が設定されている等の条件で画像関連値が大きくなるように、画像b1との距離を補正して画像関連値を求めてもよい。
画像抽出部36は、各指標を軸とする空間における画像b1との距離に応じて、画像b1との関連性がより大きい関連画像の表示優先度が高くなるように、抽出された各関連画像の表示優先度を設定する(S73)。表示優先度は、上記の画像関連値に応じて決定してもよい。なお、実施形態1で説明した表示優先度の種々の設定方法を組合わせて適用し、各関連画像の表示優先度または画像関連値を補正してもよい。
画像抽出部36は、抽出した関連画像を示す情報およびその表示優先度を、画像提供部37に出力する。
次に、画像提供部37は、対象の画像b1について、抽出された関連画像を表示する関連画像ページを、「おすすめ画像一覧ページ」として作成する(S74)。抽出された関連画像は、その表示優先度に応じた順で関連画像ページに表示される。関連画像は、その表示優先度に応じて、ユーザB用のトップページに表示されてもよい。表示方法等は、実施形態1と同様である。
なお、実施形態1と同様に、関連画像ページに表示される各関連画像には、該関連画像をアップロードしたユーザのトップページへのリンクが張られる。または、関連画像ページには、各関連画像に対応するように、該関連画像をアップロードしたユーザのユーザ名が表示される。
画像提供部37は、画像b1の投稿者であるユーザBに対して画像b1の投稿が完了した旨およびおすすめ画像一覧ページが更新された旨を示す電子メールを、ユーザ端末3に送信する(S75)。
以上で、関連画像抽出処理が終了する。
ここでは、ユーザBが画像b1を登録すると、関連画像が抽出される場合について説明した。ただし、画像抽出部36は、ユーザBの画像b1の登録がされ、いずれかのユーザがユーザBの関連画像一覧ページ等にアクセスするタイミング(関連画像を表示する段階)で、ユーザBについての関連画像を抽出してもよい。画像抽出部36および画像提供部37が、関連画像一覧を更新するタイミングに特に制限はない。
本実施形態のソーシャルネットワークサービスによれば、サーバ1が、各画像について、該画像に対応付けられたコメントの意味に応じて、1つ以上の指標を軸とする空間における該画像の位置を特定する。よって、1つ以上の指標を軸とする空間における距離が、画像同士の関連性を示す。これにより、2つの画像が直接的に同じ意味を示す語句を含んでいなくとも、対象画像と同じような話題・概念を示す画像を関連画像として抽出し、ユーザに提供することができる。
<変形例>
なお、上記では指標が2つの場合について説明したが、指標は1つであってもよいし、指標がN個(N>2)のN次元空間における画像の間の距離に基づいて、関連画像を抽出してもよい。
また、各指標を軸とする空間における画像b1の位置を特定する際に、画像b1に対して投稿された別のユーザの返信コメントについても考慮してもよい。また、実施形態1と同様に、コメントが修正された場合、データベース31に登録されている該コメントに対応する画像の位置を、修正されたコメントに基づいて更新してもよい。
[実施形態4]
本実施形態では、ユーザ毎にユーザの趣味・嗜好に関する情報を蓄積し、蓄積した情報に基づいて関連画像を抽出する方法について説明する。なお、説明の便宜上、実施形態1〜3にて説明した図面と同じ機能を有する部材・構成については、同じ符号を付記し、その詳細な説明を省略する。以下、本実施形態について、図面を参照して詳細に説明する。
サーバ1の構成は、図1に示す実施形態1のものと同様である。本実施形態では、特にカテゴリー設定部35および画像抽出部36における処理が異なる。
また、実施形態3と同様に、データベース31は、所定の複数の語句と、該語句についての複数の指標に対する度合いとが登録された指標辞書を記憶している。各語句の各指標に対する度合いは、該語句の意味に応じて設定されている。
本実施形態では、ユーザの性行を示す2つの指標が設定されている。ここでは、第1指標として「ポジティブ度合い」、第2指標として「外向的度合い」が用いられる。指標辞書には、所定の各語句について、第1指標「ポジティブ度合い」および第2指標「外向的度合い」に対する度合いがあらかじめ登録されている。例えば、語句「きれい」「うれしい」「おいしい」等の肯定的な語句については、第1指標「ポジティブ度合い」が高く設定されている。また、語句「ダメ」「きらい」「まずい」「失敗」等の否定的(ネガティブ)な語句については、第1指標「ポジティブ度合い」が低く設定されている。また例えば、語句「店」「旅行」「友達」「桜」等の外出行動または対外的交流を示す語句については、第2指標「外向的度合い」が高く設定されている。また、語句「部屋」「作る」「テレビ」「独り」等の屋内での活動を連想させるまたは内向的な語句については、第2指標が低く設定されている。どちらでもない語句に対しては第1指標または第2指標は中程度に設定されている。語句の第1指標および第2指標に対する度合いは、ユーザが画像に付した投稿コメントに含まれる各語句から推測される、ユーザの性行を示すものであると言える。
(画像登録処理)
ユーザBが画像b1を新たにアップロードする場合を例に挙げて、サーバ1の処理について説明する。図19は、サーバ1の画像登録処理のフローを示す図である。
実施形態3と同様に、ユーザBは、ユーザ端末3を用いて、画像b1を添付し、本文に自然文の投稿コメントcb1を入力した電子メールをサーバ1宛に送信する。ここでは、投稿コメントcb1として、「昨日、お店で食べたメロンがあまくておいしかった」が入力されているとする。
画像登録部32は、ユーザBから画像b1の添付された電子メールを受け取り、添付された画像b1と、電子メールの本文の投稿コメントcb1と、画像b1を受け取った時刻とを、ユーザBに対応付けてデータベース31に登録する(S81)。
次に、カテゴリー設定部35は、データベース31の指標辞書に基づいて、登録された投稿コメントcb1に含まれる1つまたは複数の語句を抽出する(S82)。
カテゴリー設定部35は、実施形態3と同様に、投稿コメントcb1から抽出した各語句の、各指標に対する度合いに基づき、画像b1の各指標に対する度合いを決定する(S83)。これは、投稿コメントcb1から抽出した各語句の、各指標に対する度合いに基づき、各指標を軸とする空間に画像b1を対応付け、各指標を軸とする空間における画像b1の位置を特定することに相当する。
カテゴリー設定部35は、画像b1の各指標に対する度合い(各指標を軸とする空間における画像b1の位置)を、ユーザB、画像b1、および投稿コメントcb1に対応付けて、データベース31に登録する(S84)。
また、カテゴリー設定部35は、データベース31に登録されているユーザBが今まで投稿した複数の画像b1・b3…に関する各指標に対する度合いに基づき、ユーザBについての各指標に対する度合いを決定する(S85)。例えば、ユーザBが今まで投稿した複数の画像b1・b3…に関する各指標に対する度合いの平均値または重み付き平均値を求め、指標に対する度合いの平均値(代表値)をユーザBについての各指標に対する度合いとする。このとき、例えばより新しい画像の重みをより大きくして平均値を求めてもよい。また、他の方法によって、今までのユーザBの画像に関する各指標に対する度合いの代表値を求め、その代表値をユーザBの各指標に対する度合いとしてもよい。ユーザBについての各指標に対する度合いは、今までユーザB自身が画像に付した投稿コメントに基づいて決定されるので、ユーザB自身の嗜好・嗜好を反映したものになる。ユーザBについての各指標に対する度合いは、ユーザBの性行を表すものと言える。
カテゴリー設定部35は、ユーザBについての各指標に対する度合いを、ユーザBに対応付けてデータベース31に登録する(S86)。図20は、データベース31に登録されたデータの例を示す図である。指標の値は一例である。ユーザの指標の値(ユーザについての各指標に対する度合い)は、図20では省略されている過去の画像も含めて決定されている。これにより、ユーザの性格・行動に関する情報を蓄積することができる。
閲覧部38は、各ユーザ端末3からのアクセスに応じて、データベース31を参照し、例えばユーザBのアルバムページとして画像b1および投稿コメントcb1を表示させるwebページを、ユーザ端末3に送信する。
(関連画像抽出処理)
画像b1が投稿された場合を例に挙げて、サーバ1の処理について説明する。
ここで、ユーザBからアップロードされた画像b1および投稿コメントcb1をデータベース31に登録した状態の、データベース31のデータは図20に示す状態であったとする。ここで、画像a1・a2、画像b3、および画像c1・c2は、画像b1よりも前にそれぞれユーザA、ユーザB、ユーザCによってそれぞれのアルバムにアップロードされた画像である。そのとき画像a1に付してアップロードされた投稿コメントca1は「今日の桜は綺麗です」であり、画像a2に付してアップロードされた投稿コメントca2は「今日の夕日がキレイだから記念に撮りました!」だったとする。また、画像b3に付してアップロードされた投稿コメントcb3は「雪だるまを作ったよ」だったとする。また、画像c1に付してアップロードされた投稿コメントcc1は「今朝食べたバナナはおいしかった」であり、画像c2に付してアップロードされた投稿コメントcc2は「家でクッキーを作ったけど失敗です」だったとする。データベース31には、各画像に対する第1指標および第2指標の値と、各ユーザに対する第1指標および第2指標の値とが登録されている。
図21は、各指標を軸とする空間(平面)における、各画像の位置および各ユーザの位置を示す図である。各軸が交わる点が、各指標が0である点である。ユーザAおよびユーザBは、ユーザCよりも、ポジティブかつ外向的な画像およびコメントを投稿する傾向がより高く、また、そのような画像をより好むと推測できる。また、ユーザBは、ユーザAよりも、外向的な画像およびコメントを投稿する傾向がより高く、また、そのような画像をより好むと推測できる。すなわち、各指標を軸とする空間における距離に基づいて、画像a1は、ユーザBの性行に対してより強く関連する画像であると言える。すなわち、各指標を軸とする空間における、対象のユーザBの位置と別のユーザの各画像の位置との間の距離は、対象のユーザBと該画像とが関連している度合いを示す。よって、各指標を軸とする空間において、ユーザBの位置との距離が小さい画像を抽出することにより、ユーザBの性行に関連する関連画像を抽出することができる。なお、例えばユーザCについては、画像b3が、関連性がより強い画像であると言える。
図22は、サーバ1の関連画像抽出処理のフローを示す図である。
画像抽出部36は、データベース31の中の各画像について、各指標を軸とする空間における、ユーザBの位置との距離を求める(S91)。
画像抽出部36は、データベース31の中から、各指標を軸とする空間におけるユーザBの位置との距離に応じて、ユーザBとの関連性がより強い所定の数の画像を、関連画像として抽出する(S92)。
このとき、画像抽出部36は、各指標を軸とする空間におけるユーザBの位置との距離が小さい画像から順に抽出してもよい。また例えば、評価が高い(より多くの回数閲覧されている)画像については、ユーザBも興味を持つ可能性が高い。よって、画像抽出部36は、各画像の評価等を参照し、評価が高い画像については、ユーザBの位置との距離が大きくてもユーザBとの関連性が大きいと判断して優先的に抽出してもよい。例えば、画像抽出部36は、画像の評価値(大きいほどよい)をユーザBの位置との距離で除した値、または、評価値からユーザBの位置との距離を減じた値を、画像関連値として求め、画像関連値が大きい(関連性が大きい)順に所定の数の画像を関連画像として抽出してもよい。また、評価値ではなく、投稿時刻がより新しい画像の画像関連値がより大きくなるよう、ユーザBの位置との距離を補正して画像関連値を求めてもよい。また、同じコミュニティに属している、または友人関係が設定されている等の条件により画像関連値が大きくなるように、ユーザBの位置との距離を補正して画像関連値を求めてもよい。
画像抽出部36は、各指標を軸とする空間におけるユーザBの位置との距離に応じて、ユーザBとの関連性がより大きい関連画像の表示優先度が高くなるように、抽出された各関連画像の表示優先度を設定する(S93)。表示優先度は、上記の画像関連値に応じて決定してもよい。なお、実施形態1で説明した表示優先度の種々の設定方法を組合わせて適用し、各関連画像の表示優先度または画像関連値を補正してもよい。
画像抽出部36は、抽出した関連画像を示す情報およびその表示優先度を、画像提供部37に出力する。
次に、画像提供部37は、対象のユーザBについて、抽出された関連画像を表示する関連画像ページを、「おすすめ画像一覧ページ」として作成する(S94)。抽出された関連画像は、その表示優先度に応じた順で関連画像ページに表示される。関連画像は、その表示優先度に応じて、ユーザB用のトップページに表示されてもよい。表示方法等は、実施形態1と同様である。
なお、実施形態1と同様に、関連画像ページに表示される各関連画像には、該関連画像をアップロードしたユーザのトップページへのリンクが張られる。または、関連画像ページには、各関連画像に対応するように、該関連画像をアップロードしたユーザのユーザ名が表示される。
画像提供部37は、画像b1の投稿者であるユーザBに対して画像b1の投稿が完了した旨およびおすすめ画像一覧ページが更新された旨を示す電子メールを、ユーザ端末3に送信する(S95)。
以上で、関連画像抽出処理が終了する。
ここでは、ユーザBが画像b1を登録すると、関連画像が抽出される場合について説明した。ただし、画像抽出部36は、ユーザBの画像b1の登録がされ、いずれかのユーザがユーザBの関連画像一覧ページ等にアクセスするタイミング(関連画像を表示する段階)で、ユーザBについての関連画像を抽出してもよい。画像抽出部36および画像提供部37が、関連画像一覧を更新するタイミングに特に制限はない。
本実施形態のソーシャルネットワークサービスによれば、サーバ1が、各画像について、該画像に対応付けられたコメントの意味に応じて、1つ以上の指標を軸とする空間における該画像の位置を特定する。また、ユーザによって既に投稿された画像に対応付けられたコメントに応じて、1つ以上の指標を軸とする空間におけるユーザの位置を特定する。よって、1つ以上の指標を軸とする空間におけるユーザと画像との距離が、ユーザと該画像との関連性を示す。これにより、ユーザの趣味・嗜好を示す情報を1つ以上の指標を軸とする空間に対応付けて蓄積することができる。そのため、対象のユーザの登録する画像と別のユーザの登録する画像とが直接的に同じ意味を示す語句に対応付けられていなくとも、ユーザの趣味・嗜好に関連する画像を関連画像として抽出し、ユーザに提供することができる。また、ユーザが画像およびコメントを投稿する回数に応じて、ユーザの趣味・嗜好を蓄積して学習し、よりユーザに適した関連画像を提供できるようになる。
<変形例>
なお、実施形態3と同様に、3つ以上の指標を軸とする空間において関連画像を抽出してもよい。また、各指標を軸とする空間における画像b1の位置またはユーザBの位置を特定する際に、画像b1に対して投稿された別のユーザの返信コメントについても考慮してもよい。
また、実施形態2と同様に、例えばユーザBが表示された関連画像の1つを選択し、その関連画像および該関連画像のコメントが表示されている別のユーザのページを閲覧した場合、ユーザBは該関連画像に興味を持っていると考えられる。よって、カテゴリー設定部35は、ユーザBが選択して閲覧した関連画像の各指標の度合いによって、ユーザBについての各指標の度合いを補正してもよい。このようにすることで、ユーザBの閲覧行動からユーザBの趣味・嗜好・行動等の性行を示す情報(ユーザについての各指標の度合い)を蓄積することができる。
[プログラムおよび記録媒体]
最後に、サーバ1の各ブロック、特に画像登録部32、返信登録部33、コメント修正部34、カテゴリー設定部35、画像抽出部36、画像提供部37、および、閲覧部38は、ハードウェアロジックによって構成してもよいし、次のようにCPU(central processing unit)を用いてソフトウェアによって実現してもよい。
すなわち、サーバ1は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるサーバ1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記サーバ1に供給し、そのコンピュータ(またはCPUやMPU(microprocessor unit))が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD−R(CD Recordable)等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/フラッシュROM等の半導体メモリ系などを用いることができる。
また、サーバ1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN(local area network)、ISDN(integrated services digital network)、VAN(value-added network)、CATV(community antenna television)通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE(institute of electrical and electronic engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(asynchronous digital subscriber loop)回線等の有線でも、IrDA(infrared data association)やリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR(high data rate)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。