以下、本発明の実施の形態について、図面を参照しながら説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
(実施の形態1)
図1は、本発明の実施の形態1におけるデータ処理装置100の構成を示すブロック図である。
図1において、データ処理装置100は、入力部101と、データ蓄積部102と、コンテンツデータ格納部103と、アプリケーション部104と、データ関係抽出部105と、ソーシャル情報格納部106と、データ出力判定部107と、出力部108とを有する(実施の形態1の構成)。
本実施の形態1のデータ処理装置100は、例えば、画像データなどのコンテンツデータが記憶された外部記憶媒体を挿入可能なビデオレコーダやホームサーバ、静止画や動画などのコンテンツデータを撮影可能なデジタルスチルカメラ、デジタルビデオカメラなどである。
入力部101は、データ処理装置100が実装する入力手段(例えば、外部記憶媒体の入力装置や内蔵するカメラモジュール)により処理対象とするコンテンツデータを取得し、データ蓄積部102に転送する。
データ蓄積部102は、入力部101から転送されたコンテンツデータを、コンテンツデータ格納部103としてハードディスクやフラッシュメモリなどで構成される記憶媒体に、再読込みが可能な形式で蓄積する。
アプリケーション部104は、データ処理装置100が利用するユーザに提供する各種機能(例えば、コンテンツビューア表示機能やスライドショー再生機能、プリント出力機能、など)を有しており、入力部101を介してユーザが指示した命令に従い、各種機能を提供する。その際、アプリケーション部104は、データ蓄積部102がコンテンツデータ格納部103に蓄積したコンテンツデータを任意のタイミングで読み込み、所望の処理を行う。
データ関係抽出部105は、データ蓄積部102がコンテンツデータ格納部103に蓄積したコンテンツデータを読み込み、蓄積されるコンテンツデータ間の関係を示す情報を関係性出力結果として抽出する。
ソーシャル情報格納部106は、データ処理装置100を所有する或いは利用するユーザ、或いは当該データ処理装置100を直接利用しないとしても当該データ処理装置100を所有する或いは利用するユーザと関係のあるユーザとの関係性を親密度として数値化したソーシャル情報を格納する。ここで、ソーシャル情報とは、所定のユーザ間の親密さの度合いを示す親密度と、コンテンツデータおよび親密度を対応付けるための情報とを含む情報である。
データ出力判定部107は、ソーシャル情報を参照し、親密度が所定の閾値以上の場合に、親密度に対応付けられるコンテンツデータを出力すると判定する。具体的には、データ出力判定部107は、当該所定の閾値以上の親密度に対応付けられたコンテンツデータであって、データ関係抽出部105が抽出した情報で示される所定の関係を有するコンテンツデータを出力すると判定する。なお、所定の閾値とは、親密度が0〜1の値をとる場合、例えば0.5である。
さらに具体的には、データ出力判定部107は、アプリケーション部104からの指示に従い、データ関係抽出部105に対象となるコンテンツデータの関係性出力結果を要求する。そして、データ出力判定部107は、当該関係性出力結果と、ソーシャル情報格納部106が格納しているソーシャル情報とを用いて、当該コンテンツデータの出力が可能か否かを判定する。そして、データ出力判定部107は、その判定結果をアプリケーション部104に返却する。
そして、アプリケーション部104は、データ出力判定部107からの判定結果に応じて、データ出力可能とされたコンテンツデータについて、出力部108に画面表示等の出力を指示する。つまり、アプリケーション部104は、データ出力判定部107がコンテンツデータを出力すると判定した場合に、当該コンテンツデータを出力部108に出力するデータ出力部としての機能を有する。
次に、以上の構成を有するデータ処理装置100の動作について、図2〜図10Bを用いて説明する。
図2は、本発明の実施の形態1におけるコンテンツデータのメタ情報の一例を示す図である。
図2の(a)に示すように、データ蓄積部102は、コンテンツデータ格納部103に蓄積するコンテンツデータの概要を示すいくつかのメタ情報をデータベース化して保持し、データ出力判定部107などからの要求に応じて参照および書換えが可能な状態にしている。
メタ情報には、例えば、各データへのアクセスを可能とするデータ名(他にオブジェクト識別子やデータパスなどとも呼ばれる)、ファイルのフォーマット種別を表す拡張子、コンテンツデータのタイプを表す種別(本実施の形態においては説明簡単化のため静止画の画像を意味する「Image」のみを扱う)、コンテンツデータを生成したデバイスに対し固有に付与される機器ID(本実施の形態においては説明簡単化のため機器の違いを表す簡易な文字列「DSC−X」等で表現)、およびコンテンツデータが生成されたタイミングを示す撮影日時などが含まれる。
このように、実施の形態1のデータ処理装置100においては、様々な機器により撮影されたコンテンツデータが、混在する状態でデータ蓄積部102に蓄積された状態であることがわかる。図2の(b)については、後ほど詳しく説明する。
図3は、本発明の実施の形態1におけるソーシャル情報の一例を示す図である。
図3に示すソーシャル情報は、ソーシャル情報格納部106に格納されており、各識別IDに対し、データ処理装置100を所有する或いは利用するユーザの名前やニックネームを表す名称、各ユーザに対し電子メールなどで情報を伝達するための手段を表すアドレス、各ユーザが所有するデバイスに対し固有に付与される所有機器ID、およびソーシャル情報オーナーに対する親密さを表す親密度を含んでいる。なお、同図では、所有機器IDが、コンテンツデータおよび親密度を対応付けるための情報である。
ここでは、識別ID「0」の名称「Mike」がデータ処理装置100を所有するソーシャル情報オーナーであるとし、親密度の数値が「−」(数値入力必要なし)となっている。即ち、ユーザ「Mike」と各ユーザに対する親密度が0から1未満の数値として管理されている。
なお、ここでは、親密度の数値を0から1未満の正規化された数値として説明したが、親密度の管理方法はこれに限らず、上限なく増加するポイント制としても良いし、粒度を下げたA〜E等の数段階のレベル分けとしても良い。
また、ここでは、ソーシャル情報オーナーが「Mike」のみの例を示したが、ソーシャル情報オーナーは複数存在してもよく、同等の管理方式で表現可能である。
図4は、本発明の実施の形態1におけるソーシャル情報のノード概念を示す図である。
図5は、本発明の実施の形態1における優先度判定閾値テーブルの一例を示す図である。
図4に示すように、ソーシャル情報はソーシャル情報オーナーである「Mike」を中心に、各ユーザとの親密さを親密度という数値で表現している。ここでは、数値が高いほど親密な関係(1に近い)にあり、数値が低いほど疎遠な関係(0に近い)にあることを示すものとしている。
ここで、図5は、データ出力判定部107が内部に保持する優先度判定閾値テーブルであり、この閾値により、親密度から、各ユーザに対するデータ出力の優先度レベルを算出する。例えば、ここでは、優先度レベルをA〜CおよびZの4段階で構成しており、図4においては「Alice」と「Julia」が共に0.83で優先度レベル「A」、「Tom」と「Paul」が0.53と0.51で共に優先度レベル「B」となっている。
次に、本発明のデータ処理装置100のデータ出力判定部107が、関係性出力結果とソーシャル情報とに応じて、データを出力するか否かを判定する処理の流れについて、図6〜図10Bを用いて説明する。
図6は、本発明の実施の形態1におけるデータ処理の流れを示すフローチャートである。
図7は、本発明の実施の形態1におけるデータ関係抽出処理の流れを示すフローチャートである。
図8は、本発明の実施の形態1における関係グループテーブルの一例を示す図である。
図9は、本発明の実施の形態1におけるデータ出力判定処理の流れを示すフローチャートである。
図10Aおよび図10Bは、本発明の実施の形態1における内部データリストの一例を示す図である。
ここでは、図6を用いて、データ処理装置100のアプリケーション部104がスクリーンセーバーとして画面にスライドショーを表示させるケースを想定し、データ蓄積部102が蓄積しているコンテンツデータのうち、親密な関係にあるユーザが撮影したコンテンツを選りすぐって表示するためのデータ処理について説明する。
まず、入力部101を介して入力された画像データ(コンテンツデータ)がデータ蓄積部102により蓄積されている状態で、アプリケーション部104は、ユーザからの入力操作が10分以上ないなど任意のタイミングで各種機能(ここでは、スライドショー再生機能)を起動し、データ蓄積部102に対し、各種機能を実行するために有効となる対象データが少なくとも1つ以上存在しているか否かを確認する(S101)。
ステップS101の結果、対象データが存在しない場合(S101のN)、データ処理を終了する。一方、対象データが存在する場合(S101のY)、データ関係抽出部105は、対象データの実体を取得する(S102)。
次に、データ関係抽出部105は、取得した対象データが複数であれば、対象データ間の関係性を抽出する処理を行う(S103)。この処理については、図7〜8を用いて後ほど説明する。
次に、データ出力判定部107は、データ関係抽出部105が抽出した関係性出力結果とソーシャル情報格納部106が格納しているソーシャル情報とに応じて、データ出力の可否を判定する処理を行う(S104)。この処理については、図9〜10を用いて後ほど説明する。
データ出力判定部107は、データ関係抽出部105が抽出した関係性出力結果で示される関係グループに対して判定を行った結果を、処理キューとして保存する(S105)。
そして、データ出力判定部107は、全ての関係グループに対しデータ出力の判定を終了したかを確認する(S106)。ここで、データ出力判定部107は、全ての関係グループに対する判定を終えていない場合(S106のN)、対象となる関係グループを変更し(S107)、ステップS104以降の処理を繰り返す。
一方、全ての関係グループに対し判定を終了した場合(S106のY)、データ出力判定部107は、アプリケーション部104に判定終了を通知し、アプリケーション部104は、保存された処理キューを実行する(S108)。ここでは、アプリケーション部104が、データ出力を許可されたコンテンツデータを用いて、スライドショーの再生を実行する。
次に、図6のステップS103に示したデータ関係抽出部105による処理の流れを説明する。
図7に示すように、データ関係抽出部105は、図2に示した対象となるコンテンツデータのメタ情報のうち、共通要素となり得る項目が存在するか否かを判定する(S201)。
ここで、データ関係抽出部105は、共通要素が存在しないと判定した場合(S201のN)、対象データ間の関係性抽出処理を終了する。
一方、データ関係抽出部105は、共通要素が存在すると判定した場合(S201のY)、抽出した共通要素(例えば、コンテンツ種別や機器IDなど、ここでは説明簡単化のため撮影日時のみとする)を、データ関係抽出部105が内部で保持する関係グループテーブルに共通属性として登録する(S202)。
そして、データ関係抽出部105は、各共通属性に該当するコンテンツデータを示す情報を、関係グループテーブルに追記する(S203)。
図8は、データ関係抽出部105が出力する関係性抽出結果のひとつである関係グループテーブルであり、図2に示したコンテンツデータのうち、撮影日時を共通属性とした3つのグループを形成する。
次に、図6のステップS104に示したデータ出力判定部107による処理の流れを説明する。
図9に示すように、データ出力判定部107は、図8に示した対象となる関係グループテーブルから、データ情報を読み込む(S301)。さらに、データ出力判定部107は、ソーシャル情報格納部106が格納しているソーシャル情報を読み込む(S302)。
次に、データ出力判定部107は、当該データ情報から参照されるコンテンツデータのメタ情報(図2参照)と読み込んだソーシャル情報とを比較し(S303)、メタ情報とソーシャル情報とが合致するか否かを判定する(S304)。
そして、データ出力判定部107は、メタ情報とソーシャル情報とが合致しないと判定した場合は(S304のN)、データ出力判定処理を終了する。一方、例えば、所有機器IDなどのメタ情報がソーシャル情報の一部と合致する場合(S304のY)、データ出力判定部107は、図5に示した優先度判定閾値テーブルに従い、ソーシャル情報の親密度から優先度レベルを判定する(S305)。
さらに、データ出力判定部107は、判定した優先度レベルがある既定の条件(ここでは、優先度レベルがAまたはBのみ)を満たすか否か(つまり、親密度が所定の閾値以上であるか否か)を判定し(S306)、当該条件を満たすと判定した場合(S306のY)には、データ出力判定部107が内部に保持する内部データリストに情報を登録する(S307)。一方、データ出力判定部107は、優先度レベルが条件を満たさないと判定した場合(S306のN)、内部データリストに当該情報を登録せずに次のステップ(S308)に進む。
そして、データ出力判定部107は、当該関係グループテーブルに記載された全てのデータについて判定処理を終えたか否かを判定し(S308)、まだ終えていないと判定した場合(S308のN)には、当該データを変更しステップS305以降の処理を繰り返す(S309)。一方、データ出力判定部107は、全てのデータについて終了したと判定した場合(S308のY)、判定処理を終了する。
ここで、ステップS305の説明を補足するため、図2の(b)には、機器IDを用いて参照されたユーザ毎の優先度レベルを参考までに記載した。機器ID「DSC−X」の所有者であるユーザ「Mike」は、図3で示した通りソーシャル情報オーナーであり、優先度レベルは「−」として付与されていない。
また、機器ID「DSC−Y」の所有者であるユーザ「James」は、親密度0.42で優先度レベルは「C」、機器ID「DSC−Z」の所有者であるユーザ「Alice」は、親密度0.83で優先度レベルは「A」、機器ID「CM−P」の所有者であるユーザ「Paul」は、親密度0.51で優先度レベルは「B」である。
ここで、機器ID「DSC−V」の所有者は当該ソーシャル情報には該当情報がなく、ソーシャル情報オーナーである「Mike」にとって未知なるユーザとなり、優先度レベルは付与されず「unknown」となる。
図10Aおよび図10Bは、本発明の実施の形態1における内部データリストの一例を示す図である。
図10Aは、図8に示した関係グループテーブルのグループID(GID)が「G1」で示されるデータ群を、ステップS306〜S307の過程により判定して出力した内部データリストの結果の一例を示している。
図10Aに示す通り、ステップS306の既定の条件を満たす優先度レベル「A」或いは「B」のみのデータ名「Z−1」「P−1」「P−2」のみが内部データリストとして出力されている。ここで、「X−1」はソーシャル情報オーナーである「Mike」が所有する機器ID「DSC−X」から参照されたデータであるため、優先度レベル「−」として内部データリストに登録されている。
前述した図6のステップS106〜S107により、当該関係グループテーブルを変更することで、図10Bに示すように、図2に示したコンテンツデータのうち、優先度レベル「A」或いは「B」或いはソーシャル情報オーナーが所有するコンテンツのみが選定され、内部データリストとして出力される。
即ち、データ出力判定部107が出力した内部データリストをアプリケーション部104に返信することにより、データ処理装置100のアプリケーション部104がスクリーンセーバーとして画面にスライドショーを表示させる際、上記内部データリストを用いて表示内容を制御する。これにより、データ蓄積部102が蓄積しているコンテンツデータのうち、親密な関係にあるユーザが撮影したコンテンツを選りすぐって表示することができる。
かかる構成によれば、当該ソーシャル情報オーナーとなるユーザと他のユーザとの関係を当該ソーシャル情報において数値で表現される親密度を用いて判定し、その判定結果に基づいてコンテンツデータ出力の可否を判断する。このため、例えば、親密度が所定の閾値を超える場合のみ対象データの閲覧提供を許可するよう制御できるようになり、多数の対象データの中から所望の対象データをユーザ自ら選定する等のユーザ操作負担を強いることがない。また、親密な関係にあるユーザに関係するコンテンツデータを閲覧等のために出力することができる。
また、コンテンツデータ間の関係が所定の関係を有するか否かによって、コンテンツデータの出力の可否を判断する。このため、例えば、コンテンツデータの撮像日時から所定の日に撮像されたコンテンツデータのみ閲覧提供を許可するよう制御できるようになり、多数の対象データの中から所望の対象データをユーザ自ら選定する等のユーザ操作負担を強いることがない。また、特定の日に撮像されたコンテンツデータを閲覧等のために出力することができる。
これらにより、ユーザによる操作の負担を抑制しながら、家族や知人とのデータ共有を実現することができる。
(実施の形態2)
図11は、本発明の実施の形態2のデータ処理装置100Aの構成を示すブロック図である。図11において、図1と同じ構成要素については同じ符号を用い、説明を省略する。
図11において、データ処理装置100Aは、図1の構成要素に加え、認識辞書格納部109と、オブジェクト解析部110と、通信部111とを有する。さらに、データ処理装置100Aは、ネットワーク200を介して、外部のデータ処理装置100Bおよびデータ処理装置100Cに接続されるものとする(実施の形態2の構成)。
本実施の形態2のデータ処理装置100Aは、例えば、画像データが記憶された外部記憶媒体を挿入し、読み込んだ画像データを複数蓄積可能なビデオレコーダやホームサーバ、静止画や動画を複数撮影し蓄積可能なデジタルスチルカメラやデジタルビデオカメラなどである。
認識辞書格納部109は、コンテンツデータに含まれるオブジェクトを認識するための認識辞書を格納しているメモリである。
オブジェクト解析部110は、当該認識辞書を用いて、コンテンツデータに含まれるオブジェクトを抽出する。
通信部111は、通信ネットワークであるネットワーク200を介して、外部装置であるデータ処理装置100Bおよびデータ処理装置100Cと通信を行う。
そして、データ出力判定部107は、ソーシャル情報で関連付けられるユーザのうち、オブジェクト解析部110が抽出したオブジェクトに関連するユーザであって、親密度が所定の閾値以上のユーザに対応付けられた当該外部装置に、コンテンツデータを出力すると判定する。
なお、所定の閾値とは、親密度が0〜1の値をとる場合、例えば0.5である。また、オブジェクトに関連するユーザとは、オブジェクトで示されるユーザのみならず、当該ユーザとの親密度が既定値(例えば、0.95)以上のユーザも含む。
また、アプリケーション部104は、通信部111を介して当該外部装置にコンテンツデータを出力するデータ出力部としての機能を有する。
図12は、本発明の実施の形態2におけるコンテンツデータのメタ情報の一例を示す図である。
図13は、本発明の実施の形態2におけるコンテンツデータのイメージを示す図である。
図12に示すように、実施の形態2においては、データ蓄積部102が機器ID「DSC−X」で撮影された静止画写真4点を最新のコンテンツデータとして、コンテンツデータ格納部103に蓄積しているものとする。ここで、当該4点のコンテンツデータとしては、図13に示すように、データ名「C−1」は「風景写真」、「C−2」は「Mike」が一人だけ写った「人物ポートレート写真」、「C−3」は一番右側に写った「Mike」他数名の「集合写真」、「C−4」は「Mike」の友人「Alice」が写った「人物ポートレート写真」である。
ここでは、実施の形態2のデータ処理装置100Aのアプリケーション部104が、データ蓄積部102が蓄積する最新のコンテンツデータを外部のデータ処理装置100B或いはデータ処理装置100Cに転送するケースを想定する。そして、データ蓄積部102が蓄積している最新のコンテンツデータのうち、親密な関係にあるユーザが被写体として写っているコンテンツを当該ユーザに、或いは被写体として写っているユーザと親密な関係にあるユーザに対し、コンテンツデータを選りすぐって転送するためのデータ処理について、以下に説明する。
図14は、本発明の実施の形態2におけるデータ関係抽出処理の流れを示すフローチャートである。
図14に示すデータ関係抽出部105の処理の流れは、図7に示した処理の前に、対象となるデータに含まれる人物や看板の文字、自動車や動物、山や木といった自然物体をオブジェクトとして抽出するオブジェクト解析処理(S401)を行っている。なお、ステップS402以降の処理は、図7のステップS201以降の処理と同じであるため、説明は省略する。
以下、図15〜図17を用いて、このオブジェクト解析処理(図14のS401)について、詳細に説明する。
図15は、本発明の実施の形態2におけるオブジェクト解析処理の流れを示すフローチャートである。
まず、データ処理装置100Aのデータ関係抽出部105は、入力部101を介して入力された対象データをデータ蓄積部102が蓄積した時や蓄積してから既定時間後、或いは日々の既定の時刻など任意のタイミングでデータ蓄積部102が蓄積した対象データの実体を解析のために読み込む。そして、データ関係抽出部105は、オブジェクト解析部110にオブジェクトを解析するよう指示し、オブジェクト解析部110は、読み込んだデータを内部で展開する(S501)。
そして、オブジェクト解析部110は、展開した対象データにオブジェクトが存在しないと判定した場合(S502のN)、オブジェクト解析処理を終了する。一方、オブジェクト解析部110は、対象データにオブジェクトが存在すると判定した場合(S502のY)、抽出したオブジェクトが属する類似カテゴリなどを認識辞書により評価する(S503)。
さらに、オブジェクト解析部110は、評価結果が、認識辞書に登録された特定の人物などのオブジェクトとして判定可能という評価結果を得たか否かを判定し(S504)、判定可能という評価結果を得たと判定した場合(S504のY)、その評価結果(人物であるか等の属性種別、類似すると推定される特定人物名、類似度など)をメタ情報に追記する(S505)。
一方、オブジェクト解析部110は、判定不能という評価結果を得たと判定した場合(S504のN)、判定不能をメタ情報に追記する(S506)。
そして、オブジェクト解析部110は、展開した対象データに含まれる全てのオブジェクトを検出したか否かを判定し(S507)、まだ全てのオブジェクトの検出を終えていないと判定した場合には(S507のN)、対象オブジェクトを変更してステップS503以降の処理を繰り返す(S508)。
一方、オブジェクト解析部110は、全てのオブジェクトを検出したと判定した場合(S507のY)、オブジェクト解析処理を終えたことをデータ関係抽出部105に通知し、データ関係抽出部105は、未処理の対象データが無くなるまでこの処理を繰り返す。
図16は、本発明の実施の形態2におけるコンテンツデータのイメージを示す図である。
図17は、本発明の実施の形態2におけるオブジェクト認識結果およびソーシャル情報の親密度から判定した優先度レベルの一例を示す図である。
図16に示すように、オブジェクト解析部110は、対象データに含まれるオブジェクトに対し、オブジェクトIDを付与しながら逐次解析し、図17の(a)に示すように、各対象データに含まれるオブジェクトの認識結果をメタ情報に追記していく。
ここでは、データ名「C−1」には人物が含まれていないため、データ名「C−1」にはオブジェクトの登録はない。また、データ名「C−2」については、認識辞書により「Mike」が類似すると判定されたため、属性種別「人(human)」、類似人物「Mike」、類似度「98%」の情報が追記されている。
さらに、データ名「C−3」では、対象データに写る被写体5名のうち、オブジェクトID(MID)が「1」は類似度「71%」で「James」、オブジェクトID「4」は類似度「54%」で「Kevin」、オブジェクトID「5」は類似度「88%」で「Mike」と判定している。ここで、オブジェクトID「2」と「3」は認識辞書により類似すると判定できる人物がいないと判定したケースであり、ステップS506で「unknown」と追記する場合である。
なお、データ名「C−4」では、類似度「47%」で「Alice」と判定している。図17の(b)については、後ほど説明する。
図18は、本発明の実施の形態2におけるデータ出力判定処理の流れを示すフローチャートである。
図19は、本発明の実施の形態2における属性補正テーブルの一例を示す図である。
図20は、本発明の実施の形態2におけるソーシャル情報の一例を示す図である。
図21は、本発明の実施の形態2におけるソーシャル情報のノード概念を示す図である。
図22は、本発明の実施の形態2における内部データリストの一例を示す図である。
図23は、本発明の実施の形態2における機器属性テーブルの一例を示す図である。
図24Aおよび図24Bは、本発明の実施の形態2における画面出力結果の一例を示す図である。
以下、図18〜図24Bを用いてデータ出力判定処理の流れを説明する。
図18に示すように、実施の形態2において、データ出力判定部107は、図19に示すように、ソーシャル情報格納部106が格納するソーシャル情報を、その属性情報に基づき補正する属性補正テーブルを保持する。ここでは、属性「family」の場合は親密度を「+0.20」で補正し、属性「friend」の場合は親密度を「+0.10」で補正するものとする。
図20は、実施の形態1の図3で示したソーシャル情報に属性情報を追記したものである。この属性情報は、例えば、データ処理装置100Aのアプリケーション部104の各種機能のうち、「ソーシャル情報設定ツール」などによりソーシャル情報格納部106が格納するソーシャル情報を書き換える機能を提供することで、登録された人物の関係を直接指定することによって変更して保存することができる。また、ソーシャル情報をポータブルに持ち歩くことができるキーホルダーをデータ処理装置100Aの入力部101にかざすことで、アプリケーション部104を介してソーシャル情報格納部106が格納するソーシャル情報の属性情報に反映するようにしても良い。
以降、データ処理装置100Aのデータ出力判定部107による処理の詳細を説明する。
図18に示すように、データ出力判定部107は、データ関係抽出部105が出力した関係グループテーブルからデータ情報を読み込み(S601)、さらに、ソーシャル情報格納部106が格納するソーシャル情報を読み込む(S602)。
次に、データ出力判定部107は、属性補正テーブルに基づく補正を適用するか否かを判定し、適用する場合(S603のY)には、属性補正テーブルに従い親密度を補正する(S604)。一方、データ出力判定部107は、属性補正テーブルに基づく補正を適用しない場合(S603のN)は、ステップS604を省略する。
ここで、図20を用いて、属性補正テーブルに基づく補正の処理結果を説明する。図20に示した親密度は、図3で示した親密度に比べ、属性情報に応じてその親密度の数値が図19に示した属性補正テーブルに従って補正されていることがわかる。
即ち、属性「family」が指定された「Julia」と「Tom」は、各々親密度に「+0.20」されており、属性「friend」が指定された「Alice」と「Paul」と「James」は、各々親密度に「+0.10」されている。但し、属性が新たに指定されなかった「Dan」と「Kevin」については、親密度が補正されていない。図21は、ソーシャル情報オーナーである「Mike」から広がるユーザノードと親密度が、属性補正テーブルにより補正される様子を概念図として記したものである。
図18に戻り、さらに、データ出力判定部107は、当該データ情報から参照されるコンテンツデータのメタ情報とソーシャル情報とを比較し(S605)、類似人物などのオブジェクト解析結果がソーシャル情報と合致するか否かを判定する(S606)。そして、データ出力判定部107は、オブジェクト解析結果がソーシャル情報と合致しないと判定した場合(S606のN)、データ出力判定処理を終了する。
一方、データ出力判定部107は、オブジェクト解析結果がソーシャル情報と合致すると判定した場合(S606のY)、優先度判定閾値テーブルに従い、ソーシャル情報の親密度から優先度レベルを判定する(S607)。即ち、図17において、図17の(b)に示すように、各抽出オブジェクトに対し、優先度レベルが付与される。
そして、データ出力判定部107は、対象データに含まれる抽出オブジェクトが複数であるか否かを判定する(S608)。そして、データ出力判定部107は、対象データに含まれる抽出オブジェクトが複数であると判定した場合(S608のY)、ソーシャル情報オーナー或いは最も親密度が高いユーザを注目領域に指定する(S609)。
一方、データ出力判定部107は、対象データに含まれる抽出オブジェクトが複数ではないと判定した場合(S608のN)、最も親密度が高い有効なユーザを注目領域に指定する(S610)。
即ち、図17において、データ名「C−2」ではソーシャル情報オーナーである「Mike」が注目領域を表す注目欄で「1」を付与され、データ名「C−3」でも「Mike」が注目欄で「1」を付与される。一方、データ名「C−4」では最も親密度即ち優先度レベルが高いユーザである「Alice」が注目欄で「1」を付与される。
なお、ここでは親密度を用いて注目領域を決定する方式で説明したが、注目領域の選定方法はこれに限らず、抽出されたオブジェクトの面積比で最大のものを選定するようにしても良いし、認識辞書により抽出された人物の類似度が最大となるものを選定するようにしても良い。
次に、データ出力判定部107は、各関係グループにおいて抽出された類似人物を「登場人物」として内部データリストに追記し、認識辞書により抽出された各類似人物が優先度レベルにおいて規定の条件(ここでは、被写体として登場する人物が優先度レベル「A」或いは「B」)を満たすか否か(つまり、親密度が所定の閾値以上であるか否か)を判定する(S611)。
データ出力判定部107は、優先度レベルが規定の条件を満たすと判定した場合(S611のY)、内部データリストに「データ提供候補」として情報を登録する(S612)。一方、データ出力判定部107は、優先度レベルが既定の条件を満たさないと判定した場合(S611のN)、ステップS612を省略する。
さらに、データ出力判定部107は、ステップS609およびステップS610にて指定した注目領域に対し、親密度が既定値以上(ここでは、0.95以上)のユーザがいるか否かを判定する(S613)。そして、データ出力判定部107は、親密度が既定値以上のユーザがいると判定した場合(S613のY)には、内部データリストに、当該既定値以上のユーザを注目領域に紐付けて「データ提供候補」として登録する(S614)。一方、データ出力判定部107は、親密度が既定値以上のユーザがいないと判定した場合(S613のN)、ステップS614を省略する。
そして、データ出力判定部107は、全てのデータについてデータ出力判定処理を終えたか否かを判定(S615)し、終えていないと判定した場合(S615のN)には、関係グループ内の対象データを変更し(S616)、ステップS607以降の処理を繰り返す。一方、データ出力判定部107は、全てのデータについて終えたと判定した場合は(S615のY)、データ出力判定処理を終了する。
最終的には、前述した図6のステップS106〜S107により、当該関係グループテーブルを変更することで、データ出力判定部107は、図22に示すような内部データリストを出力する。
即ち、ひとつの関係グループ「1」に属す「C−1」「C−2」「C−3」に被写体として登場すると推定されたユーザ「Mike」「James」「Kevin」は登場人物として登録され、優先度レベルが「B」と判定された「James」のみがデータ提供候補として選定されている。また、注目領域として指定された「Mike」を起点とするソーシャル情報のうち、親密度が0.95以上である「Julia」が注目領域に紐付けられたユーザとしてデータ提供候補として選定されている。
同様に、関係グループ「2」に属す「C−4」は、登場人物が「Alice」のみであり、さらに注目領域でも指定されている。ここで、「Alice」は優先度レベルが「A」であり、データ提供候補に選定されるが、ここでは、「Alice」を起点とするソーシャル情報が格納されていないため、優先度レベル「A」としてデータ提供候補として選定されることになる。無論、「Alice」を起点とするソーシャル情報が格納されていれば、そこから抽出されるユーザのうち親密度が既定値以上であればデータ提供候補が増やせることは容易に想像できる。
ここで、データ出力判定部107が、出力した内部データリストをアプリケーション部104に返信することにより、データ処理装置100Aのアプリケーション部104が、データ蓄積部102が蓄積する最新のコンテンツデータを外部のデータ処理装置100B或いはデータ処理装置100Cに転送させる。そして、この転送の際、データ処理装置100Aのアプリケーション部104は、上記内部データリストを用いてデータ送信先を制御することにより、データ蓄積部102が蓄積しているコンテンツデータのうち、親密な関係にあるユーザが被写体として写っているコンテンツを当該ユーザに、或いは被写体として写っているユーザと親密な関係にあるユーザに対しコンテンツデータを選りすぐって転送することができる。
ここで、データ処理装置100Aのアプリケーション部104が図6のステップS108により、図22に示した内部データリストのデータ提供候補として指定された各ユーザに対しデータを送信する際、データ提供候補ユーザには、関係グループに属するコンテンツデータを各ユーザに紐付けられたデータ処理装置100Bやデータ処理装置100Cに対して送信する。例えば、関係グループ「1」では、データ提供候補「James」と「Julia」に対し、データ名「C−1」「C−2」「C−3」を関連ある一連のデータ群として送信する。
なお、この関連ある一連のデータ群の選定はデータ関係抽出部105の処理に依存しており、本実施の形態においては撮影日時を例にして説明したが、関係抽出の基準はこれに限らず、オブジェクト解析部110によるコンテンツデータのシーン判別で「運動会」や「旅行」といった判定が行えれば、イベントなどをひとつの単位として関係グループ化するなどとしても良い。
図23は、本発明の実施の形態2における機器属性テーブルの一例を示す図である。
具体的には、図23の(a)は、ソーシャル情報格納部106がソーシャル情報と関連する情報として格納する機器属性テーブルであって、各機器が有する機能属性を機器ID、一般的な名称で表される機器種別、各種機能属性(ここでは、撮影機能とデータ受信機能)を参照できるものである。また、図23の(b)は、ソーシャル情報を参照して得られた各機器を所有するユーザ(機器所有者)を、機器IDとのマッピングにより表した例である。
ここで、ユーザ「James」にデータを送信する場合、ユーザ「James」が所有するデータ処理装置100Bは機器ID「DSC−Y」であり、デジタルスチルカメラとして撮影は可能であるがデータ受信機能は有していないなど、データ処理装置100Bの能力によっては、データ送信処理ができない場合がある。
そのような場合は、図23に示すような機器属性テーブルに基づいてデータの送信が可能であるか否かを事前に判定し、相手の機器がデータ受信できない場合には、ソーシャル情報により参照できる別の情報(ここでは、図20に示すアドレス「james@yyy.com」宛ての電子メールに当該コンテンツデータを添付して送信)を辿り、データ送信を完了するものとする。
また、ユーザ「Alice」がデータ受信は不可能なデジタルスチルカメラ(機器ID「DSC−Z」)と、撮影はできないがデータ受信は可能なホームサーバ(機器ID「HS−A」)とを所有している場合、複数の機器のうちより能力的にデータ送信に相応しい機器を選定して送信を完了するものとする。
図24Aおよび図24Bは、本発明の実施の形態2における画面出力結果の一例を示す図である。
上記の説明においては、データ処理装置100Aがデータ提供候補として送信先機器までを自動で選定して送信を実行する例を示したが、図24Aに示すように、アプリケーション部104が出力部108に画面2400を表示するよう制御してもよい。
ここで、プレビューエリア2401には、選定された関係グループ「1」の画像データイメージが一覧で表示され、プレビューエリア選択タブ2402は、現在非表示となっている関係グループ「2」の画像データイメージを表示するための選択手段として存在する。また、登場人物紹介エリア2403には、図22に示した内部データリストに基づき関係グループ「1」において選定された画像データに含まれる登場人物がユーザアイコン(或いはユーザのキャラクターを模したアバターなど)を用いて表示されている。また、データ送信候補表示エリア2404には、現在送信予定となっているユーザがユーザアイコン(或いはアバターなど)を用いて表示されている。
そして、ユーザ(送信者)は、データ送信内容およびデータ送信候補を目視確認した後、送信実行ボタン2405の押下を入力部101の入力手段(タッチ操作やマウス操作、音声入力操作など)を介して指示することで、データ送信候補へのデータ送信を実行できる。
なお、本実施の形態で説明した既定の条件を満たさなかった「Kevin」は、データ送信候補には自動選定されなかった。しかし、ユーザが送信を要望する場合には、画面2400の登場人物紹介エリア2403から「Kevin」のアイコンをドラッグアンドドロップ等の操作によりデータ送信候補表示エリア2404に移動させることで、同時にデータ送信する候補として採用することができる。また、ユーザがデータ送信処理を希望しない場合は、キャンセルボタン2406を押下することで、データ送信処理をキャンセルすることができる。
また、図24Bは、ソーシャル情報の親密度を用いたデータ送信処理に関し、別の手順によるデータ送信内容選定画面の一例を示している。ここでは、送信相手となる人物を管理するアドレスブックを起点とし、選択したユーザが被写体となっているデータ群、或いは選択したユーザと親密度が高く関連または興味が強いユーザを逆引きすることにより得られたデータ群を、送信すべきコンテンツデータの関係グループとして表示している。
即ち、図24Bの画面2407においては、アドレスブック表示エリア2408では、何かを送信したい相手として「Julia」を選択した場合、関連人物表示エリア2409では、選択された送信相手「Julia」と関連が強い「Mike」と「Tom」がソーシャル情報「Family」属性を辿ることで参照表示される。そして、最初のフォーカスとして「Mike」が選択されている場合には、プレビューエリア2410に「Mike」に関連する関係グループ「1」の画像データイメージが一覧で表示され、同じく関係グループ「2」の画像データイメージを表示するためのプレビューエリア選択タブ2411が表示される。
ユーザ(送信者)は、データ送信内容を目視確認した後、送信実行ボタン2412を押下することで、データ送信候補「Julia」へのデータ送信を実行できる。また、当該ユーザがデータ送信処理を希望しない場合は、キャンセルボタン2413を押下することで、データ送信処理をキャンセルすることができる。
かかる構成によれば、当該データに含まれるオブジェクトに関連付けられるユーザとデータ提供先候補となるユーザとの関係を当該ソーシャル情報で表現されるユーザ間の親密度を用いて判定する。このため、例えば、当該データに特定の顔オブジェクトが含まれていた場合、抽出された特定の人物(孫:Mike)と親密な関係にあるユーザ(祖父母:Julia)が送信先候補として選定されるよう制御できるようになる。これにより、祖父母への送信を指示するユーザ操作負担を強いることなく、当該データに祖父母の顔オブジェクトが含まれていない状況においても、親密な関係にあるユーザとして、祖父母に当該データを送信することができる。
また、当該データに特定の顔オブジェクトが含まれていない場合でも、抽出された関係グループ単位でデータ提供の可否を判断する。このため、旅行における風景写真など、顔を含む写真を撮影した前後の写真データについても同時に提供することが可能であり、特定の顔オブジェクトが含まれる写真データだけでは伝わらないイベントのコンテキストを含む写真データも同時に送信することができる。
また、データ出力判定部107の判定結果に基づいてデータ提供が許可されたコンテンツデータを、外部装置であるデータ処理装置100Bまたはデータ処理装置100Cに送信するよう制御できる。
なお、ここでは、データ提供候補の選定条件として、優先度レベルが「A」〜「B」、被写体に対する親密度が0.95以上という値を用いて説明したが、選定条件はこれに限らず、被写体として推定されたユーザの全てをデータ提供候補としても良いし、他の指標を用いた条件としても良い。
また、ここでは、説明簡単化のためソーシャル情報オーナーを「Mike」に絞って説明したが、実現手段はこれに限らず、複数のソーシャル情報オーナーに対しデータ提供候補を選定する方式としても良いし、複数のソーシャル情報オーナーに対し共通するユーザのうち、親密度が共に既定の優先度レベルを超えるユーザ、或いは複数のソーシャル情報オーナーから算出される親密度を合算することで既定の優先度レベルを超えるユーザをデータ提供候補として選定する方式としても良い。
また、ここでは、図22に示す内部データリストにおいて、1回でも登場するユーザを登場人物として計上したが、登場人物の計上方法はこれに限らず、関係グループの当該データに含まれるオブジェクトが既定の回数以上登場した場合にのみ登場オブジェクト(登場人物)としても良いし、ソーシャル情報の親密度が既定の条件以上(例えば、0.30以上)としても良い。さらに、仮に現状の親密度が低いユーザであっても、あるイベントの関係グループにおいて、頻出頻度が既定の条件(例えば、関係グループ内の全画像に対し50%以上登場)を満たすユーザは、データ提供候補として選定する方式としても良い。
また、ここでは、親密度の高い人とのデータ共有手段として、画像データを送信相手となるユーザの所有機器に直接送信する例を用いて説明した。しかし、データ共有手段はこれに限らず、データ処理装置が共有すべき画像データを保持しながら外部からの要求に基づいて外部に閲覧公開する方式(Webサーバ方式)とし、その公開ロケーション情報(URL:Uniform Resource Locator)のみを送信するようにしても良いし、SNS(Social Networking Service)や写真共有サービスのような外部サービスに一旦アップロードし、その公開ロケーション情報やサービスへの招待情報(URL、ログイン情報など)を送信するようにしても良い。
(実施の形態3)
図25は、本発明の実施の形態3のデータ処理装置100Dの構成を示すブロック図である。図25において、図1および図11と同じ構成要素については同じ符号を用い、説明を省略する。
図25において、データ処理装置100Dは、図11の構成要素に加え、データ変換部112を有する(実施の形態3の構成)。
本実施の形態3のデータ処理装置100Dは、例えば、画像データが記憶された外部記憶媒体を挿入し、読み込んだ画像データを複数蓄積可能なビデオレコーダやホームサーバ、静止画や動画を複数撮影し蓄積可能なデジタルスチルカメラやデジタルビデオカメラなどである。
図26は、本発明の実施の形態3におけるデータ出力判定処理の流れを示すフローチャートである。
図27Aおよび図27Bは、本発明の実施の形態3におけるサブ属性補正テーブルの一例を示す図である。
図28は、本発明の実施の形態3におけるソーシャル情報の一例を示す図である。
図29は、本発明の実施の形態3におけるデータ出力判定処理の内部データリストの一例を示す図である。
図30Aおよび図30Bは、本発明の実施の形態3におけるデータ変換テーブルの一例を示す図である。
図31は、本発明の実施の形態3におけるデータ出力結果の一例を示す図である。
以下、図25〜図31を用いて処理の流れを説明する。
図25に示すデータ変換部112は、コンテンツデータを任意の形式にデータ変換する。具体的には、データ変換部112は、データ出力判定部107が出力する内部データリストの指示に従い、出力するデータを変換または加工する役割を持つ。
そして、データ出力判定部107は、親密度に応じてデータ変換部112にコンテンツデータを変換させて出力すると判定する。
また、アプリケーション部104は、データ出力判定部107の判定結果に応じてデータ変換部112に変換されたコンテンツデータを出力するデータ出力部としての機能を有する。
ここでは、実施の形態2と同様、データ処理装置100Dのアプリケーション部104が、データ蓄積部102が蓄積する最新のコンテンツデータを外部のデータ処理装置100B或いはデータ処理装置100Cに転送するケースを想定する。そして、データ蓄積部102が蓄積している最新のコンテンツデータのうち、親密な関係にあるユーザが被写体として写っているコンテンツを当該ユーザに、或いは被写体として写っているユーザと親密な関係にあるユーザに対しコンテンツデータを選りすぐって転送する際、データを転送するユーザとの親密度に応じて転送するデータのサイズを変更するためのデータ処理について、以下に説明する。
図26に示すように、データ出力判定部107によるデータ出力判定処理のステップS701〜S703は、図18に示したステップS601〜S603と同じであるので、説明を省略する。
そして、ステップS704において、データ出力判定部107は、ステップS604で説明した属性補正テーブルに加え、図27Aおよび図27Bに示すサブ属性補正テーブルを用いてソーシャル情報格納部106が格納するソーシャル情報を補正する。
ここでは、図28に示すように、各ユーザの属性情報に加え、サブ属性情報に基づき各ユーザの親密度が補正されている。例えば、ユーザ「Tom」は、ソーシャル情報オーナー「Mike」に対し、属性が「family」であることに加え、サブ属性情報として「parent(親)」が指定されている。このため、図27Aのサブ属性補正テーブルに従い、従来の親密度「0.73」(図20参照)に対し、+0.10の「0.83」に補正されている。同様に、ユーザ「Alice」は、サブ属性情報として「school」が指定されているため、図27Bに示すように+0.05の「0.99」に補正されている(ユーザ「Julia」同様、ここでは親密度の最大値を0.99としている)。
そして、ステップS705〜S706は、図18に示すステップS605〜S616と同じである。ここで、図29に示すように、実施の形態3のデータ出力判定部107が出力する内部データリストは、ステップS704により親密度がサブ属性に応じて補正されたため、関係グループ「1」の注目領域「Mike」に関連するユーザとして親密度レベルが「A」に変更されたユーザ「Tom(Mikeの父)」が新たにデータ提供候補として登録されている。
さらに、ここで本実施の形態3のデータ出力判定部107は、内部データリストのデータ提供候補のユーザのうち、既定の条件(例えば、優先度レベルが「A」或いは「B」)を満たすものが存在するか否かを判定する(S707)。
そして、データ出力判定部107は、当該既定の条件を満たすと判定した場合(S707のY)、図30Aおよび図30Bに示すようなデータ変換テーブルに基づき、データ出力の対象となる当該コンテンツデータのデータ変換率を決定し(S708)、内部データリストに情報を追記する(S709)。
一方、データ出力判定部107は、当該既定の条件を満たさないと判定した場合(S707のN)、データ出力判定処理を終了する。ここで、図30Aは、優先度レベルに基づきデータ変換率を変更するための図であり、図30Bは、優先度レベルに加え、サブ属性情報をも加味してデータ変換率を変更するための図である。
例えば、図31に示すように、優先度レベルが「B」であり、サブ属性情報を有さないユーザ「James」はデータ変換率が「50%」、優先度レベルが「A」であり、サブ属性情報が「grandmother」であるユーザ「Julia」はデータ変換率が「150%」、優先度レベルが「A」であり、サブ属性情報が「parent」であるユーザ「Tom」はデータ変換率が「75%」であり、優先度レベルが「A」であり、サブ属性情報が「school」でデータ変換テーブルにおいて参照可能な属性情報を有さないユーザ「Alice」はデータ変換率が「100%」となる。
そして、本実施の形態3のデータ処理装置100Dのデータ変換部112は、図6のステップS108に示した処理キューの実行処理において、データ出力判定部107が出力した内部データリストのデータ変換率の指示に従い、ユーザ毎に出力すべきデータのサイズなどを変換する。その後、データ処理装置100Dのアプリケーション部104は、データ変換部112が変換したデータを当該ユーザに転送する。
なお、ここでは、図30Aおよび図30Bに示すように、ある粒度で決まる優先度レベル或いはサブ属性情報から参照されるデータ変換率を用いて当該データの変換率を決定するものとして説明したが、データ変換率の決定根拠はこれに限らず、提供先候補となるユーザのプロファイル(例えば、年齢、性別、居住地域、ハンディキャップ情報、所有機器の画面サイズや通信機能といった能力、など)に基づき、データ変換率を決定するようにしても良い。
また、ここでは、図31に示すように、データ処理装置100Dのデータ出力判定部107がデータ関係抽出部105により出力された関係グループリストで提示された送信データ候補の全てについて固定的なデータ変換率を適用してデータを変換する例を説明したが、データ変換の手順はこれに限らない。例えば、上述した各ユーザのプロファイルとして、サブ属性情報「grandfather/grandmother」は一般的に目が悪く、小さな顔が含まれる画像データよりも大きな顔が含まれる画像データが好まれる場合には、データ処理装置100Dのオブジェクト解析部110が解析したデータの内容に応じて、予め顔が大きいものだけを選定しておく、或いは選定された送信データ候補の画像データの内容が小さな顔を含むものであれば、顔領域を中心にズームする形式で拡大する方向にデータを変換するなど、臨機応変かつ動的なデータ変換率を採用するようにしても良い。
また、ここでは、優先度レベル或いはサブ属性情報から参照されるデータ変換率を用いて、当該データの個々のデータのサイズや解像度を変換する、或いはズームなどの処理を施して部分的に切り出すといった変換を行うとした。しかし、当該データの変換方式はこれに限らず、提供すべきデータとして選定された少なくとも1以上の静止画をひとつの静止画として並べて表現(即ち、ひとつの静止画において分割された領域に少なくとも1以上の静止画をレイアウト)し、元来提供すべき少なくとも1以上の当該データを要約データとして新たに生成するよう変換しても良い。
ここで、要約により新たに生成された要約データは、当該要約データを提供する提供先候補となる少なくとも1以上のユーザに対し共通の要約データとして変換しても良いが、要約データへの変換は唯一ひとつだけの生成に限らない。例えば、静止画であれば提供先候補となるユーザとの親密度やプロファイルを参照し、さらに当該提供先候補となるユーザと親密な関係にある他のユーザとの親密度を加味し、ある条件を満たす少なくとも1以上の静止画を自動で選定し、提供先候補となるユーザ毎に異なる少なくとも1以上の要約データを静止画として生成するよう変換しても良い。
また、ここでは、図30Aおよび図30B、図31に示すように、静止画に対する当該データの変換を例にして説明したが、当該データは静止画に限らない。例えば、当該データが動画であれば、所定のデータ変換率により動画全体の画像サイズや解像度を変換する、或いは、認識辞書により顔領域が特定されたシーンを優先的に高画質のまま残し、残りのシーンを所定のデータ圧縮率により解像度やフレームレートを落とすよう変換するようにしても良い。また、ある条件を満たす顔領域が登場するシーンのみをダイジェスト版として再構成し、要約データとして生成するよう変換するようにしても良い。
無論、動画として生成する当該要約データは、当該提供先候補となるユーザに共通の要約データとしても良いが、当該提供先候補となるユーザとの親密度やプロファイルを参照し、当該提供先候補となるユーザと親密な関係にある他のユーザとの親密度を加味し、ある条件を満たす少なくとも1以上の動画のシーンを自動で選定し、提供先候補となるユーザ毎に異なる少なくとも1以上の要約データを動画として生成するよう変換しても良い。
この際、データ処理装置100Dは、当該提供先候補となる各ユーザのプロファイルに従い、趣味・趣向に見合った要約データを提供するようにしても良い。例えば、要約データにおいては、当該データのうちエッセンスだけを把握する(例:孫の活躍のダイジェスト)、全体概要を把握する(例:結婚式全体の雰囲気、旅行の概要)、複合的な要素の時系列変化を当該他のユーザ自分身の視点で把握する(例:前回会った後からのいとこの成長記録、友人の旅行記)、または、当該他の自分なりのユーザの好みに適応した演出効果で把握する(例:ニュース風など好みのテンプレート、文字や表情を大きいサイズで表示、切替え速度が遅いスライドショー)など、要約データに含まれる内容(主題となる被写体、登場シーンの順序など)や装飾効果(シチュエーションを補足する地図やランドマークの名前の表示など)をカスタマイズできることが好ましい。
また、データ処理装置100Dは、当該提供先候補となるユーザの親密度に加え、他のユーザ同士の関係を加味してグループ情報を形成し、当該データに関する情報と当該グループ情報とに基づいて少なくとも1以上の要約データを予め生成するようにしてもよい。これにより、ユーザは、当該グループ情報単位で少なくとも1以上の要約データを管理・閲覧制御できる。
そのため、データ処理装置100Dは、例えば、家族や親戚などのユーザ向けの第1の要約データと、親友などのユーザ向けの第2の要約データと、一定の距離を確保したお付き合いをするユーザ(会社の上司、同様もしくは後輩、またはサークル活動の仲間など)向けの第3の要約データとを予め生成することができる。この場合、第1の要約データには、例えば、孫の表情や家の中の様子などプライベートな内容が含まれればよい。また、第2の要約データには、ホームパーティや旅行など同じイベントを共に過ごした過程で生成された共有すべきコンテンツデータの内容が含まれればよい。また、第3の要約データには、家族や親友の写真などプライベートな内容を含まない公開可能なイベントを中心とした内容が含まれればよい。
その結果、データ処理装置100Dは、当該提供先候補となる各ユーザに対して、このように予め生成された複数の要約データの中から、当該ユーザが含まれるグループ情報に適した要約データを提供できる。
かかる構成によれば、提供先候補となるユーザの親密度およびプロファイルに応じて当該データの選定方法およびデータ変換率を変更する。このため、例えば、親密度が高く“目の悪い祖父母”の場合には孫の顔が大きい写真となるよう選定或いはデータ変換し、あまり親密ではない人にはお知らせ程度に小さい画像に変換して送信するよう制御できる。これにより、送信相手との関係や相手の特徴に応じて都度当該データの選定および変換を指示するユーザ操作負担を強いることなく、適切なデータを適切な形式に変換して、親密な関係にあるユーザに送信することができる。
(実施の形態4)
図32は、本発明の実施の形態4のデータ処理装置100Eの構成を示すブロック図である。図32において、図1および図11と同じ構成要素については同じ符号を用い、説明を省略する。
図32において、データ処理装置100Eは、図11の構成要素に加え、同伴履歴管理部113と、履歴データ格納部114とを有する(実施の形態4の構成)。
本実施の形態4のデータ処理装置100Eは、例えば、画像データが記憶された外部記憶媒体を挿入し、読み込んだ画像データを複数蓄積可能なビデオレコーダやホームサーバ、静止画や動画を複数撮影し蓄積可能なデジタルスチルカメラやデジタルビデオカメラなどである。
図33は、本発明の実施の形態4におけるコンテンツデータの蓄積例を示す図である。
図34は、本発明の実施の形態4におけるソーシャル情報の一例を示す図である。
図35は、本発明の実施の形態4における同伴履歴管理処理の流れを示すフローチャートである。
図36は、本発明の実施の形態4における同伴履歴情報の一例を示す図である。
図37は、本発明の実施の形態4におけるデータ出力判定処理の流れを示すフローチャートである。
図38は、本発明の実施の形態4における撮影時間帯分布の一例を示す図である。
以下、図32〜図38を用いて処理の流れを説明する。
図32に示す同伴履歴管理部113は、通信部111を介して行った外部装置であるデータ処理装置100Bまたはデータ処理装置100Cとの近距離通信履歴を、同伴履歴情報として取得する。
データ出力判定部107は、ソーシャル情報で関連付けられるユーザのうち、同伴履歴情報で示される近距離通信を行った外部装置であって、親密度が所定の閾値以上のユーザに対応付けられた外部装置に、コンテンツデータを出力すると判定する。なお、所定の閾値とは、親密度が0〜1の値をとる場合、例えば0.5である。
履歴データ格納部114は、当該同伴履歴情報を記憶しているメモリである。
なお、同伴履歴管理部113は、データ処理装置100Eが内部に有する他、通信部111を介してネットワーク200で接続されるデータ処理装置100Bおよびデータ処理装置100Cも同じく内部に有するものである。ここで、ネットワーク200は、ローカルでアドホックな通信ネットワークを形成する近距離無線などで、データ処理装置100E、100B、100C同士が互いに通信を行うケースを想定し、各データ処理装置100E、100B、100Cが有する同伴履歴管理部113が相互の存在を同伴履歴情報として管理し、後にデータ処理装置100Eのアプリケーション部104が、データ蓄積部102が蓄積するコンテンツデータを外部のデータ処理装置100B或いはデータ処理装置100Cに転送する。
そして、この転送の際、データを転送するユーザとの親密度に加え、当該ユーザが所有する機器との同伴履歴情報である同伴履歴データに応じて転送するデータを決定するためのデータ処理について、以下に説明する。
図33に示すように、実施の形態4においては、データ蓄積部102が機器ID「DSC−X」で撮影された静止画写真10点を最新のコンテンツデータとして蓄積しているものとする。ここで、データ処理装置100Eのデータ関係抽出部105が抽出する関係グループは、説明簡単化のため、「C−1」〜「C−8」の撮影日時に基づくグルーピングがなされるものとする。
また、図34に示すように、実施の形態4においては、ユーザ「Mike」をソーシャル情報オーナーとする親密度が設定されており、各ユーザのアドレスや所有機器IDが予め登録されているものとする。
次に、同伴履歴管理部113が行う処理について説明する。
図35に示すように、まず、本実施の形態4におけるデータ処理装置100Eの同伴履歴管理部113は、例えば10分など、ある決まったタイマー周期を確認する(S801)。
同伴履歴管理部113は、タイマー周期に該当する場合(S801のY)、通信部111を介してネットワーク200で接続される外部のデータ処理装置(ここでは、データ処理装置100B或いはデータ処理装置100C)に対し存在確認を要求する命令を送信し、その応答によりネットワーク200上の機器の存在を確認する(S802)。
次に、同伴履歴管理部113は、ネットワーク200上に機器が存在するか否かを判定する(S803)。そして、同伴履歴管理部113は、ネットワーク200上に機器が存在すると判定した場合(S803のY)、例えば、当該機器の機器IDを機器情報とし、データ蓄積部102に対して、履歴データ格納部114に同伴履歴データとして登録させる(S804)。
一方、同伴履歴管理部113は、ステップS801でタイマー周期に該当しない場合、およびステップS803で機器が存在しない場合、処理を終了する(S801のN、S803のN)。
図36に、ステップS804において同伴履歴管理部113が登録する同伴履歴データの一例を示す。
ここで、同図の横軸は、蓄積するコンテンツデータの撮影日時情報(ここでは、2002年10月1日)の午前8時から午後20時までの各時間帯を1時間単位で表しており、縦軸は、データ処理装置100Eの同伴履歴管理部113が同時間帯に検出した機器の機器IDを表している。
即ち、図中の「●」が記された機器IDは、同時間帯にデータ処理装置100E近傍に存在しており、同伴履歴管理部113が同伴と判定したことになる。例えば、ユーザ「James」が所有する機器ID「DSC−Y」は、午前9時から午後16時まで当該データ処理装置100Eである「DSC−X」を所有するユーザ「Mike」と同伴していたということになる。
同様に、他の機器IDで紐付けられるユーザもユーザ「Mike」の近傍に存在しており、同伴履歴データから同伴とみなされるが、図34に示すソーシャル情報において、機器ID「DSC−V」は登録されていないため、ユーザ「Mike」にとって未知なるユーザが所有する機器の機器IDであると考えられる。
ここで、図37を用いて、データ出力判定部107の処理について詳細を説明する。なお、ステップS901〜S906までは、図26に示したデータ出力判定部107の処理と同じであるため、説明を省略する。
そして、本実施の形態4のデータ出力判定部107は、ステップS906までに出力された内部データリストに登録された送信データ候補のうち、既定の条件を満たすもの、例えば、送信データ候補の撮影時間と、同伴履歴管理部113が出力した同伴履歴データに登録された機器IDが同伴とみなされた時間帯とが合致するものがあるか否かを判定する(S907)。
そして、データ出力判定部107は、当該既定の条件を満たすと判定した場合(S907のY)、条件(ここでは、機器ID)に紐付くユーザへの最終送信データとして採用する(S908)。一方、データ出力判定部107は、同伴履歴データに合致しない、即ち既定の条件を満たさないと判定した場合(S907のN)、条件に紐付くユーザへの最終送信データとしては採用しない(S909)。
そして、データ出力判定部107は、ステップS908或いはステップS909の判定結果に基づき、内部データリストに情報を追記する(S910)。
これにより、図32に示したデータ処理装置100Eは、図6のステップS108において、データ出力判定部107が出力した内部データリストに応じて処理キューを実行する際、図34に示した親密度に基づく優先度レベル「A」或いは「B」と判定されるユーザ「Alice」「Julia」「Tom」「Paul」「James」の5名のうち、同伴履歴管理部113が同伴として履歴を残した機器の所有者「James」「Paul」の2名に絞込み、図38に一例として示した撮影時間帯分布(コンテンツデータが撮影された時間帯の分布)に従ってコンテンツデータを送信する。
ここで、図38の例では、2002年10月1日の午前8時から午後20時までの各時間帯を1時間単位で表しており、各時間帯において撮影したコンテンツの分布を示したものである。つまり、「James」には同伴していた9時から16時の時間帯に撮影されたコンテンツデータ「C−1〜C−7」を、「Paul」には同伴していた8時から11時および16時から19時の時間帯に撮影されたコンテンツデータ「C−1〜C−3」および「C−8」を送信する。ちなみに、ソーシャル情報に登録がない機器ID「DSC−V」は処理キューの実行過程において当然無視される。
かかる構成によれば、当該データに含まれるオブジェクトに関連付けられるユーザと提供先候補となるユーザとの関係において当該ソーシャル情報で表現されるユーザ間の親密度に加え、ネットワークを介して機器同士がローカルな通信を行うことで近傍に存在したことを示す同伴履歴データから同伴していた時間帯を判定する。このため、例えば、実際の旅行などで当該データを撮影した時に近傍に存在していた知人の機器を判別することができ、一緒にいた時間帯の写真だけを知人の機器に送信するよう制御できるようになる。これにより、一緒にいた時間帯に撮影したデータを自ら選定するユーザ操作負担を強いることなく、実際の行動履歴に応じたデータを親密な関係にあるユーザに送信することができる。
なお、ここでは、機器ID「DSC−K」の所有者である「Kevin」は親密度が「0.06」であり優先度レベルで「Z」と評価が低いため、データ出力先として選定されなかったが、ソーシャル情報オーナーである「Mike」が所有するデータ処理装置100Eと行動を共にしていたことを理由に親密度を向上させる、或いはデータ出力先として選定し、同伴履歴データに基づき行動を共にした時間帯のコンテンツデータを出力するようにしても良い。
また、ここでは、同伴履歴管理部113が定期的なタイマーにより、例えば10分など周期的に同伴履歴データを取得するものとしたが、同伴履歴データの管理方式はこれに限らない。例えば、ユーザが所望した任意タイミングや電源が投入された前後のみ、または撮影などの操作イベントが発生した直後やネットワーク200を介して周辺機器から操作イベント通知を受信した時など、あらゆるタイミングで同伴履歴データを蓄積するようにしても良い。
また、ここでは、同伴履歴管理部113が管理する同伴履歴データを1時間単位で丸めて計上する形式で説明したが、同伴履歴データの管理方法はこれに限らず、機器ID毎に近距離通信がオンラインとオフラインで切り替わった時点での時刻を記録するなど、他の方法を用いても良い。
また、ここでは、各ユーザが所有する機器の機器IDをソーシャル情報として予め登録してある状態として説明したが、所有機器IDの管理方法はこれに限らず、対象となるユーザのアドレスを用いて通信を行った機器から機器IDを含む機器情報を取得し、その頻度や通信累積回数から所有機器であることを推定してソーシャル情報に所有機器IDとして登録するようにしても良い。また、その際、確からしさを推定する数値を同時に登録するようにしても良い。
また、ここでは、同伴していた機器を所有するユーザとその親密度に絞ってデータを送信する例を用いて説明したが、データ出力の可否判定はこれに限らず、親密度が高い全ての人に出力しつつも機器が同伴していたとみなせるユーザにはより細かい時間帯を指定したフィルタリングを行うようにしても良い。
(実施の形態5)
図39は、本発明の実施の形態5におけるデータ処理装置100Fの構成を示すブロック図である。図39において、図1および図11と同じ構成要素については同じ符号を用い、説明を省略する。
図39において、データ処理装置100Fは、図11の構成要素に加え、履歴データ格納部114と、ソーシャル情報更新部115と、センサ116とを有する(実施の形態5の構成)。
本実施の形態5のデータ処理装置100Fは、例えば、画像データが記憶された外部記憶媒体を挿入し、読み込んだ画像データを複数蓄積可能なビデオレコーダやホームサーバ、静止画や動画を複数撮影し蓄積可能なデジタルスチルカメラやデジタルビデオカメラなどである。
図40は、本発明の実施の形態5におけるコンテンツデータの蓄積例を示す図である。
図41は、本発明の実施の形態5における履歴保存処理の流れを示すフローチャートである。
図42は、本発明の実施の形態5において各機器が移動する一例を示す図である。
図43は、本発明の実施の形態5における機器毎の位置情報履歴データの一例を示す図である。
図44は、本発明の実施の形態5におけるデータ出力判定処理の流れを示すフローチャートである。
図45Aおよび図45Bは、本発明の実施の形態5におけるソーシャル情報更新閾値の一例を示す図である。
図46は、本発明の実施の形態5におけるデータ出力閾値の一例を示す図である。
図47は、本発明の実施の形態5における相対位置情報算出結果の一例を示す図である。
以下、図39〜図47を用いて処理の流れを説明する。
図39に示すソーシャル情報更新部115は、センサ116が履歴データとして履歴データ格納部114に蓄積した機器周辺情報を参照し、ソーシャル情報格納部106が格納しているソーシャル情報を更新する。具体的には、ソーシャル情報更新部115は、通信部111を介して、外部装置であるデータ処理装置100B或いはデータ処理装置100Cの周辺情報の履歴データを取得し、当該外部装置のソーシャル情報を、取得した履歴データを含むソーシャル情報に更新する。
センサ116は、データ処理装置100Fの位置を示す周辺情報を検知する。
データ蓄積部102は、センサ116による検知結果の履歴データを、履歴データ格納部114に蓄積する。
データ出力判定部107は、ソーシャル情報更新部115により更新された最新のソーシャル情報を用いて、コンテンツデータを出力するか否かを判定する。
そして、データ処理装置100Fのアプリケーション部104は、データ蓄積部102が蓄積するコンテンツデータを外部のデータ処理装置100B或いはデータ処理装置100Cに転送する。この転送の際、更新されたユーザの親密度に加え、当該ユーザが所有する機器が残した機器周辺情報を分析することで、転送するデータを決定するためのデータ処理について、以下に説明する。
図40に示すように、実施の形態5においては、データ蓄積部102が、機器ID「DSC−X」で撮影された静止画写真10点を、最新のコンテンツデータとして蓄積しているものとする。
ここで、データ処理装置100Fのデータ関係抽出部105が抽出する関係グループは、説明簡単化のため、「C−1」〜「C−8」の撮影日時に基づくグルーピングがなされるものとする。但し、実施の形態5では、データ毎にGPS(Global Positioning System)で知られる撮影場所情報が含まれているものとする。
また、前述した図34と同様、実施の形態5においても、ユーザ「Mike」をソーシャル情報オーナーとする親密度が設定されており、各ユーザのアドレスや所有機器IDが予め登録されているものとする。
次に、ソーシャル情報更新部115が行う処理について説明する。
図41に示すように、まず、本実施の形態5におけるデータ処理装置100Fのソーシャル情報更新部115は、例えば10分など、ある決まったタイマー周期を確認する(S1001)。
そして、ソーシャル情報更新部115は、タイマー周期に該当する場合(S1001のY)、センサ116で取得できる位置情報や気温といった機器周辺情報を取得する(S1002)。
次に、ソーシャル情報更新部115は、取得した機器周辺情報に変化があるか否かを判定する(S1003)。そして、ソーシャル情報更新部115は、機器周辺情報に変化があると判定した場合(S1003のY)、例えば、当該機器の位置情報などを、データ蓄積部102に履歴データとして登録させる(S1004)。
一方、ソーシャル情報更新部115は、ステップS1001でタイマー周期に該当しない場合、およびステップS1003で機器周辺情報に変化がないと判定した場合、処理を終了する(S1001のN、S1003のN)。
図42に、本実施の形態5における、各機器がある地域のマップ上を移動する一例を示す。ここでは、京都駅を出発した機器ID「DSC−X」と「DSC−Y」とが、二条城までは一緒に行動し、その後、機器ID「DSC−X」は金閣寺を、機器ID「DSC−Y」は二条城から御所をまわって、両者が祇園で再会し、清水寺を経由して京都駅に戻るというルートを概念的に示している。
図43には、図42で示した機器ID「DSC−X」と「DSC−Y」に加え、機器ID「CM−P」が辿った位置情報を履歴データとして時系列にプロットした一例を示す。ここでは、図41のステップS1003において、各々の時間帯で機器周辺情報としての位置情報に大きな変化があった場合に記録を残すものとする。なお、ここでは、データ処理装置100Fは、通信部111を介してネットワーク200で接続されるデータ処理装置100B或いはデータ処理装置100Cから、各機器で蓄積した履歴データを取得するものとする。
ここで、図44を用いて、データ出力判定部107の処理について詳細に説明する。なお、ステップS1101〜S1102は、図26に示したデータ出力判定部107の処理と同じであるため、説明を省略する。
そして、本実施の形態5のデータ出力判定部107は、履歴データに基づく補正を行うか否かを判定し(S1103)、補正を行わないと判定した場合(S1103のN)、ステップS1105に進む。
一方、データ出力判定部107は、補正を行うと判定した場合(S1103のY)、ソーシャル情報更新部115に補正試行を指示する。ソーシャル情報更新部115は、図43に示すような履歴データを分析し、図45Aおよび図45Bに示すようなソーシャル情報更新閾値に従い、各ユーザに対する親密度を補正する(S1104)。
具体的には、図45Aは、比較分析対象となる機器同士が同一エリアに滞在した累積時間が50時間以上であれば親密度を「+0.05」するなど、いくつかのバリエーションでソーシャル情報の親密度を更新する閾値の一例を示している。
さらに、図45Bは、図45AのID「2」に示した同一エリア滞在時間と場所の価値(プレイスバリュー)に依存して親密度を更新する閾値の一例を示している。例えば、GPS等の位置情報で参照される場所が学校として登録されている住所の場合、同一エリアに滞在する機器同士は学友関係にある可能性が高いとし、場所の価値に応じて機器に紐付けられるユーザとの親密度を補正するものとする。場所に関する情報は今やインターネットを介したネットワークサービスにより多種多様な情報が得られるため、機器を持ち込んだ場所の一般的な評価により、例えば、テーマパークであれば家族や恋人、高級レストランであればとても大切な人などと判断し、親密度を現実世界の行動に沿って更新できる。
このように、ソーシャル情報更新部115は、データ蓄積部102が蓄積した履歴データと、更新した外部装置の履歴データとを比較して、データ処理装置100Fおよび外部装置の位置情報の相対距離、エリア情報および同伴頻度増減傾向のうちの少なくとも1つを用いて、ソーシャル情報に含まれる親密度を更新する。つまり、例えば、ソーシャル情報更新部115は、データ処理装置100Fと外部装置とが相対距離が近い場所にいる場合の当該場所のエリア情報を検出し、その両装置の親密度を当該エリア情報に応じた値に補正したり、その両装置の同伴頻度が増加傾向にある場合に、親密度を増加させる。
図44に戻り、ステップS1105〜1106は、図26に示したステップS705〜706と同じであるため、説明を省略する。
そして、本実施の形態5のデータ出力判定部107は、ステップS1106までに出力された内部データリストに登録された送信データ候補のうち、既定の条件を満たすもの、例えば、図43に示すような機器の履歴データを分析することにより、図46に示すような優先度レベルに基づくデータ提供閾値として機器同士が既定圏内に存在していたかを機器間の相対距離で判定する(S1107、図47参照)。
そして、データ出力判定部107は、当該既定の条件を満たすと判定した場合(S1107のY)、該当する時間帯および撮影場所のデータを、最終送信データとして採用する(S1108)。一方、データ出力判定部107は、データ提供閾値として規定の相対距離圏内に収まらない、即ち既定の条件を満たさないと判定した場合(S1107のN)、当該データを最終送信データとしては採用しない(S1109)。
そして、データ出力判定部107は、ステップS1108或いはステップS1109の判定結果に基づき、内部データリストに情報を追記する(S1110)。
これにより、図39に示したデータ処理装置100Fは、ステップS108において、データ出力判定部107が出力した内部データリストに応じて、処理キューを実行する。
ここで、この実行の際には、図34に示した親密度に基づく優先度レベルが「A」或いは「B」と判定されるユーザであり、図47に示すように、今回履歴データとして取得し分析した二つの機器「DSC−Y」と「CM−P」の所有者である「James」と「Paul」とを、データ提供先候補とする。また、「James」には、図46で示される「3km圏内」の条件に相対距離が見合う9時から10時45分までの時間帯に撮影されたコンテンツデータ「C−1」〜「C−4」を、「Paul」には、「1km圏内」の条件に相対距離が見合う9時から10時15分までの時間帯に撮影されたコンテンツデータ「C−1」〜「C−2」を、送信する。
かかる構成によれば、当該データに含まれるオブジェクトに関連付けられるユーザと提供先候補となるユーザとの関係において当該ソーシャル情報で表現されるユーザ間の親密度に加え、ネットワークを介して各機器のセンサにより蓄積した位置情報等の履歴データを取得し、各機器同士の相対距離から算出した履歴データから、同伴していた場所または時間帯を判定する。
また、データ処理装置100Fおよび外部装置の位置情報の相対距離、エリア情報および同伴頻度増減傾向のうちの少なくとも1つを用いて、ソーシャル情報に含まれる親密度を更新し、最新の状態が反映された親密度を含むソーシャル情報を用いてデータ提供の可否を判定する。
このため、例えば、実際の旅行などで当該データを撮影した時に近傍に存在していた知人の機器を判別することができ、一緒にいた場所または時間帯の写真だけを知人の機器に送信するよう制御できるようになる。これにより、一緒にいた場所または時間帯に撮影したデータを自ら選定するユーザ操作負担を強いることなく、実際の行動履歴に応じたデータを親密な関係にあるユーザに送信することができる。
なお、ソーシャル情報更新部115は、図23の(a)での説明と同様に、通信部111を介して外部装置がコンテンツデータを受信できるか否かを示す状態情報を取得し、当該状態情報を含むソーシャル情報を更新することにしてもよい。ここで、状態情報とは、例えば、外部装置の電源のONまたはOFFの情報、コンテンツデータを受信するための容量が足りているか否かを示す情報、または他の処理を実行中のためにコンテンツデータを受信することができないことを示す情報などである。
かかる構成によれば、コンテンツデータを受信できる外部装置か否かを示す最新の状態情報が反映されたソーシャル情報を用いて、データ提供の可否を判定するため、コンテンツデータを受信できる外部装置に当該コンテンツデータを送信することができ、ユーザ間の関係をより正確に反映したデータ共有が図れる。
また、ここでは、データ処理装置100Fのソーシャル情報更新部115が、センサ116が出力した履歴データを解析することでソーシャル情報を更新する例を用いて説明した。しかし、例えば、アプリケーション部104が外部のデータ処理装置が備える図示しないアプリケーション部との通信により形成したコミュニケーションの内容を履歴データとして出力し、ソーシャル情報更新部115は、外部のデータ処理装置とのコミュニケーション内容の履歴データを解析することで、ソーシャル情報を更新するものとしても良い。
具体的には、アプリケーション部104は、通信部111を介して当該外部装置とのコミュニケーション機能を提供するアプリケーションを実行する。そして、データ蓄積部102は、当該アプリケーションの実行による処理履歴を履歴データとして、履歴データ格納部114に蓄積する。
そして、ソーシャル情報更新部115は、履歴データ格納部114に格納されている履歴データに含まれるコミュニケーションの相手情報、通信累計回数、アクセス頻度、アクセス頻度増減傾向および送受信データの本文のうちの少なくとも1つを用いて、ソーシャル情報に含まれる親密度を更新する。つまり、ソーシャル情報更新部115は、コミュニケーションの相手情報または送受信データの本文の内容に応じて親密度を増減させたり、通信累計回数またはアクセス頻度が多い場合に親密度を増加させたり(例えば、図45Aに示したように、通信累計回数が100回毎に親密度に0.03を加える)、アクセス頻度が増加傾向にある場合に親密度を増加させたりする。
そして、データ出力判定部107は、ソーシャル情報更新部115により更新された最新のソーシャル情報を用いて、コンテンツデータを出力するか否かを判定する。
かかる構成によれば、コミュニケーションの相手情報、通信累計回数、アクセス頻度、アクセス頻度増減傾向および送受信データの本文のうちの少なくとも1つを用いてソーシャル情報に含まれる親密度を更新し、最新の状態が反映された親密度を含むソーシャル情報を用いてデータ提供の可否を判定するため、ユーザ間の関係をより正確に反映したデータ共有が図れる。
また、図48は、本発明の実施の形態5のデータ処理装置100Fの別の構成を示すブロック図である。
上記実施の形態5では、データ処理装置100Fのソーシャル情報更新部115が、データ処理装置100Fの内部で取得できる情報と外部から取得する情報とを解析することで、ソーシャル情報を更新する例を説明した。しかし、例えば、図48に示すような構成により、ソーシャル情報更新部115がソーシャル情報を更新することにしてもよい。
つまり、データ処理装置100Fは、ネットワーク200を介してソーシャル情報サーバ500に接続されている。そして、ソーシャル情報更新部115は、通信部111を介して外部装置であるソーシャル情報サーバ500から最新のソーシャル情報を取得し、ソーシャル情報を更新する。
具体的には、ソーシャル情報更新部115は、データ処理装置100Fの通信部111およびソーシャル情報サーバ500の通信部501を介して、ソーシャル情報管理部502に対しソーシャル情報取得要求を送信する。そして、ソーシャル情報更新部115は、ソーシャル情報取得要求の返信として最新のソーシャル情報を取得し、取得した最新のソーシャル情報をソーシャル情報格納部106に格納する。
そして、データ出力判定部107は、ソーシャル情報更新部115により更新された最新のソーシャル情報を用いて、コンテンツデータを出力するか否かを判定する。
かかる構成によれば、最新の状態が反映された親密度を含むソーシャル情報を用いてデータ提供の可否を判定するため、ユーザ間の関係をより正確に反映したデータ共有が図れる上、データ処理装置における親密度更新に必要な解析処理の処理負荷を軽減できる。
なお、ソーシャル情報更新部115は、データ処理装置100Fの内部で取得した情報に基づきソーシャル情報格納部106に格納されるソーシャル情報を更新した場合、当該ソーシャル情報の全て或いは一部を、外部のソーシャル情報サーバ500が備えるソーシャル情報管理部502に、ソーシャル情報更新要求として送信するようにしても良い。
(実施の形態6)
図49は、本発明の実施の形態6におけるデータ処理装置100Gの構成を示すブロック図である。図49において、図1および図11と同じ構成要素については同じ符号を用い、説明を省略する。
図49において、データ処理装置100Gは、図11の構成要素に加え、ソーシャル情報管理部117を有し、認識辞書格納部109に格納されている認識辞書は内部にメタ情報を格納する(実施の形態6の構成)。
本実施の形態6のデータ処理装置100Gは、例えば、画像データが記憶された外部記憶媒体を挿入し、読み込んだ画像データを複数蓄積可能なビデオレコーダやホームサーバ、静止画や動画を複数撮影し蓄積可能なデジタルスチルカメラやデジタルビデオカメラ、静止画や動画の蓄積および表示が可能なデジタルフォトフレームなどである。
図49に示すソーシャル情報管理部117は、通信部111を介して外部装置からのデータ取得更新要求を受付けた場合、親密度に応じて、オブジェクト解析部110が用いる認識辞書のデータを外部装置から取得して、認識辞書を更新する。
具体的には、ソーシャル情報管理部117は、通信部111およびネットワーク200を介して接続される外部のデータ処理装置100B或いはデータ処理装置100Cからの要求に基づき、ソーシャル情報格納部106に格納されているソーシャル情報或いは認識辞書格納部109に格納されている認識辞書(メタ情報を含む)を更新、編集保存、および外部提供する。
オブジェクト解析部110は、ソーシャル情報管理部117により更新された認識辞書を用いて、コンテンツデータに含まれるオブジェクトを抽出する。
データ出力判定部107は、オブジェクト解析部110が認識辞書を用いて抽出可能な1つのオブジェクトに対する2つ以上のメタ情報がソーシャル情報に関連付けられている場合、2つ以上のメタ情報のうち、ソーシャル情報に含まれる親密度が高い方に関連付けられたメタ情報を優先的に出力すると判定する。
アプリケーション部104は、コンテンツデータと、データ出力判定部107が優先的に出力すると判定したメタ情報とを出力するデータ出力部としての機能を有する。
次に、データ処理装置100Gの認識辞書のメタ情報を外部のデータ処理装置100Bを所有するユーザ「Alice」が編集する際のデータ処理について、説明する。
図50は、本発明の実施の形態6におけるソーシャル情報管理処理の流れを示すフローチャートである。
図51は、本発明の実施の形態6におけるユーザ情報の一例を示す図である。
図52は、本発明の実施の形態6における画面出力結果の一例を示す図である。
ここでは、データ処理装置100Gのソーシャル情報格納部106が格納しているソーシャル情報は図20と同じであり、対象とする画像データは図16、オブジェクト解析部110によるオブジェクト解析結果は図17と同じであるとする。
図50に示すように、まず、本実施の形態6におけるデータ処理装置100Gのソーシャル情報管理部117は、通信部111およびネットワーク200を介して、外部の機器(ここでは、ユーザ「Alice」が所有するデータ処理装置100B)からのソーシャル情報操作要求を受付ける(S1201)。
次に、ソーシャル情報管理部117は、ソーシャル情報操作要求を送信した送信元の機器のオーナーとなるユーザのユーザ情報(図51参照)を、ソーシャル情報操作要求メッセージデータから直接取得、或いは当該データ処理装置100Bから別途取得する(S1202)。
さらに、ソーシャル情報管理部117は、取得した当該ユーザのユーザ情報をデータ出力判定部107に渡し、データ処理装置100Bへのデータ提供可否の判定を依頼する(S1203)。
そして、ソーシャル情報管理部117は、データ出力判定部107から返信された判定結果において、例えば、優先度レベルが「A」であるなどの規定の条件を満たすか否かを判定する(S1204)。
ソーシャル情報管理部117は、当該規定の条件を満たすと判定した場合(S1204のY)、ソーシャル情報操作要求を許可し、ソーシャル情報格納部106を介して認識辞書のメタ情報を編集するなどの操作要求内容を実行する(S1205)。
ここでは、図16の番号「3」に割り当てられたユーザが、図17のコンテンツデータ「C−3」のオブジェクト解析結果において「unknown」として「Alice」と認識されなかった場合について説明する。この場合、ユーザ「Alice」自らが、ソーシャル情報操作要求によって、ユーザ「Mike」が所有するデータ処理装置100Gの認識辞書に紐付けられるメタ情報を編集する。つまり、ユーザ「Alice」は、当該データのオブジェクトID「3」が「Alice」であったことに加え、オブジェクトID「3」に関するコメント「京都、楽しかったね!」を追記することができる。
また、メタ情報を編集する際、当該ユーザのユーザ情報を認識辞書に同時に記録しておく。このようにすれば、当該メタ情報を編集したユーザが逆引きできるため、アプリケーション部104が出力部108を介して画面を表示する際、そのメタ情報の表示優先度を編集したユーザとアプリケーション部104を操作する当該ユーザとの親密度に応じて制御することができる。
つまり、データ出力判定部107は、1つのオブジェクトに対して2つ以上のメタ情報があった場合、親密度が高い方に関連付けられたメタ情報を優先的に出力すると判定する。
一方、ソーシャル情報管理部117は、返信された判定結果が既定の条件を満たさない場合(S1204のN)、ソーシャル情報操作要求を却下し(S1206)、処理を終了する。
例えば、本実施の形態6のデータ処理装置100Gがデジタルフォトフレームであった場合、図52に示すように、アプリケーション部104は、当該データ「C−3」を画面に表示すると同時に、オブジェクト解析部110が解析した類似人物の名前やコメントといったメタ情報を表示する。この場合、図17の(b)で示した優先度レベル「A」〜「B」のユーザ、および優先度レベル「A」のユーザが直接編集したメタ情報のみを表示するよう制御でき、煩雑になり過ぎない程度の情報量かつより関心の高い情報を優先的に表示できる。
なお、ここで、ユーザ「James」のメタ情報としてコメント「豆腐が美味しかった」が表示されているが、これは事前にユーザ「James」が当該データに対しコメントとして編集した内容でも良いし、ユーザ「James」のユーザ情報に記載されたブログのURLから当該撮影日時の日記や記事を、通信部111を介してネットワーク200上の図示しない外部のサーバから取得して表示するようにしても良い。
また、このように表示候補とされた当該データの画像に対し、その画像が撮影された撮影日時の日記や記事に限らず、最新の日記や記事を取得して表示することで、親密度が高いユーザの最新の関心事やアクティビティをデジタルフォトフレームの画面で目視確認することができる。
なお、ここでは、外部のデータ処理装置100Bからデータ処理装置100Gの認識辞書に紐付けられるメタ情報を編集する例を用いて説明したが、ソーシャル情報操作要求の内容はこれに限らず、認識辞書のオブジェクト解析に対する学習作業を外部のデータ処理装置100Bから行う、またはデータ処理装置100Gが保持する認識辞書をデータ処理装置100Bが参照、取得および利用するなどとしても良い。
かかる構成によれば、親密度に応じて、認識辞書のデータを外部装置から取得して認識辞書を更新し、最新の認識辞書を用いて、コンテンツデータに含まれるオブジェクトを抽出する。つまり、当該データに含まれるオブジェクトの解析に用いる認識辞書および認識辞書に関連付けられるメタ情報の更新、編集保存および外部提供処理において、その認識辞書およびメタ情報の情報オーナーとなるユーザと処理を要求するユーザとの関係を当該ソーシャル情報で表現されるユーザ間の親密度を用いて判定する。このため、例えば、認識辞書の編集を希望するユーザに対し所定の閾値を超える親密度が設定されている場合のみ認識辞書の編集を許可するよう制御できるようになり、不正なユーザからの悪意ある編集を回避でき、親密な関係にあるユーザからの編集のみを許可できる。
また、親密な関係にあるユーザ間で相互に成長させた認識辞書を共有できるため、個々の機器で認識辞書を学習させる場合に比べ、ユーザによる認識辞書の学習に必要となるユーザ操作負担を軽減できる。
また、当該データに含まれるひとつのオブジェクトに対し、複数のメタ情報が複数のユーザによる編集により付与されていた場合、親密度が高いユーザが付与したメタ情報を優先的に表示するよう制御できる。このため、複数あるメタ情報のうち、より信頼性が高く関心が強いメタ情報を選定することができる。
以上、本発明の実施の形態に係るデータ処理装置について説明したが、本発明は、この実施の形態に限定されるものではない。
つまり、今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
例えば、上記実施の形態1から6において、各ユーザが規定の条件を満たすかを判定する手段として当該ユーザと機器とを紐付ける所有機器IDを用いて説明してきたが、当該ユーザの判定手段はこれに限らず、当該ユーザを特定できる電子メールのアドレス、ブログやSNSの日記URL、キーワード、SNSサイトやデータ処理装置に対するログイン情報、画像を含むバイナリデータを使用するようにしても良い。
また、上記実施の形態1から6において、データ処理装置は、図1等に示されたような処理部を備えることとしたが、図53に示すように、データ処理装置100Hは、少なくとも、アプリケーション部104およびデータ出力判定部107を備えていればよい。ここで、図53は、本発明の実施の形態におけるデータ処理装置の最小の構成を示すブロック図である。この場合、データ出力判定部107は、親密度が所定の閾値以上の場合にコンテンツデータを出力すると判定し、アプリケーション部104は、データ出力判定部107の判定結果に応じて、コンテンツデータを出力する。この構成により、多数の対象データの中から所望の対象データをユーザ自ら選定する等のユーザ操作負担を強いることがないため、ユーザによる操作の負担を抑制しながら、家族や知人とのデータ共有を実現することができる。
なお、本発明は、このようなデータ処理装置として実現することができるだけでなく、データ処理装置が備える特徴的な処理部の処理をステップとするデータ処理方法として実現することもできる。
また、本発明は、上記データ処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体或いはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
また、データ処理装置が備える各機能ブロックは、集積回路であるLSIとして実現されてもよい。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。