以下本発明の実施の形態について、図面を参照しながら説明する。
1.第1の実施の形態
ここでは、本発明に係る第1の実施の形態における情報処理装置10について説明する。
1.1 構成
情報処理装置10は、図1に示すように、コンテンツ蓄積部101、コンテンツ群選択部102、データベース103、オブジェクト選択部104、コンテンツ解析部105、類似オブジェクト特定部106、付属データ抽出部107、付属データ推定部108、付属データ書込部109及び受付部110から構成されている。
(1)データベース103
データベース103は、情報処理装置10内に存在し、コンテンツ蓄積部101が管理するデジタルコンテンツデータとその付属データ、及びデジタルコンテンツに含まれるオブジェクトの特徴量を蓄積する。また、データベース103は、デジタルコンテンツデータのみをも蓄積している。
図2は、データベース103の内部構成の一例を示す図である。データベース103は、図2に示すように、コンテンツ記憶領域内においてデジタルコンテンツ201、・・・、202及び301、302、・・・、303を蓄積している。
ここで、デジタルコンテンツとは、デジタル形式で保存される情報であればよい。例えば、デジタルスチルカメラで撮影された静止画像であってもよいし、デジタルビデオカメラで撮影された動画像であってもよい。
デジタルコンテンツ201、・・・、202は、当該デジタルコンテンツごとに、コンテンツ全体の特徴量データ、デジタルコンテンツに含まれるオブジェクトの特徴量データ、及びデジタルコンテンツの付属データを格納している。例えば、デジタルコンテンツ201は、画像データであるデジタルコンテンツデータA210、コンテンツ全体の特徴量データ211、オブジェクトA1、A2、・・・、Aaの特徴量データからなる特徴量データ群212、付属データA1、A2、・・・、Abからなる付属データ群213から構成されている。オブジェクトA1、A2、・・・、Aaそれぞれは、デジタルコンテンツデータA210内から検出されたオブジェクトである。オブジェクトとは、デジタルコンテンツ上の1枚の画像に含まれる人物や物体、景色、及び前記1枚の画像を仕切った任意の領域などである。また、特徴量とは、デジタルコンテンツの1枚の画像内の色相や輝度、輪郭線等の画像の構成要素、及び、前記画像の構成要素を元に計算した様々な指標などである。
付属データA1、A2、・・・、Abは、デジタルコンテンツに付加されているデジタルコンテンツの属性情報であり、例えばデジタルスチルカメラで撮影した画像に付加されているExifデータや、デジタルコンテンツ投稿サイトでデジタルコンテンツに付加されているキーワードやタグのようなメタデータなどのことである。また、付属データA1、A2、・・・、Abは、デジタルコンテンツを識別するためにも用いられる。例えば、デジタルコンテンツそれぞれに対して、当該デジタルコンテンツが作成された日時を表す付属データが付加されていた場合、これら付属データを特定の日時に作成されたデジタルコンテンツを識別するために利用する。
デジタルコンテンツC301、D302、・・・、E303は、コンテンツ全体の特徴量、オブジェクトの特徴量及び付属データが未だ対応付けられていないコンテンツである。
情報処理装置10は、コンテンツ全体の特徴量、オブジェクトの特徴量及び付属データが未だ対応付けられていないコンテンツに対して、対応付けるべき付属データを、デジタルコンテンツ201、・・・、202を用いて特定することとなる。以降において、コンテンツ全体の特徴量、オブジェクトの特徴量及び付属データが未だ対応付けられていないコンテンツを、推定対象コンテンツと、コンテンツ全体の特徴量、オブジェクトの特徴量及び付属データが対応付けられているデジタルコンテンツを蓄積コンテンツと、それぞれ呼ぶ。
(2)コンテンツ蓄積部101
コンテンツ蓄積部101は、情報処理装置10が管理する、付属データ等が対応付けられたデジタルコンテンツ(図2におけるデジタルコンテンツ201、・・・、202)や、推定対象コンテンツ(図2におけるデジタルコンテンツ301、302、・・・、303)をデータベース103に蓄積して管理する。
(3)コンテンツ群選択部102
コンテンツ群選択部102は、コンテンツ蓄積部101が管理しているデジタルコンテンツの中から、複数の推定対象コンテンツを抽出し、抽出した推定対象コンテンツそれぞれを、ユーザ操作に基づいて、1つ以上の入力コンテンツ群の何れかに分類する。
ここで、入力コンテンツ群とは、1つ以上の推定対象コンテンツからなる集合である。また、分類方法としては、ユーザ操作により、日付やイベント、場所のような指標に基づいて複数の推定対象コンテンツをグループ化する方法がある。具体的には、ある日時に対して当該日時から所定の期間に属するコンテンツ毎に分類することや、ある位置に対して当該位置から所定の範囲に属するコンテンツ毎に分類することである。
(4)オブジェクト選択部104
オブジェクト選択部104は、前記入力コンテンツ群に含まれる推定対象コンテンツ毎に、1つ以上のオブジェクトを入力オブジェクトとして選択する。
具体的には、オブジェクト選択部104は、ユーザ操作により受付部110を介して、推定対象コンテンツに存在するオブジェクトを含む領域(例えば、矩形領域)の指定を受け付けると、指定された領域、オブジェクトを選択する。以下、選択されたオブジェクトを入力オブジェクトと呼ぶ。
(5)コンテンツ解析部105
コンテンツ解析部105は、オブジェクト選択部104で選択された1つ以上の入力オブジェクトを解析して入力オブジェクトごとに特徴量を算出する。
なお、特徴量の算出方法は、既知の技術であるため、ここでの説明は省略する。例えば、特開2001-84274号公報や、特開2005-275847号公報にその技術が開示されている。
(6)類似オブジェクト特定部106
類似オブジェクト特定部106は、入力コンテンツ群以外のデジタルコンテンツ、つまり複数の蓄積コンテンツに含まれる複数のオブジェクト(以下、「蓄積オブジェクト」という。)の中から、入力オブジェクト毎に類似した蓄積オブジェクト(以下、「類似オブジェクト」という。)を、算出した特徴量と、前記複数のオブジェクト毎に対応付けられている特徴量とを用いて、1つ以上抽出する。
(7)付属データ抽出部107
付属データ抽出部107は、入力オブジェクト毎に抽出された類似オブジェクトそれぞれについて、当該類似オブジェクトを含む蓄積コンテンツに対応付けられた全ての付属データを抽出する。
(8)付属データ推定部108
付属データ推定部108は、付属データ抽出部107で抽出された付属データに基づいて入力コンテンツ群毎に最適な付属データを推定する。
付属データの推定方法は、推定に利用する類似コンテンツの付属データの数や種別、あるいは付属データが定型か非定型かなどによって推定する。ここで、定形の付属データとは、デジタルスチルカメラの撮影画像等で用いられているExifデータ等のようにデータの内容が決まっている付属データである。非定型の付属データとは、デジタルコンテンツ投稿サイトで動画に付加されているキーワードやタグのようにデータの内容が定まっていない付属データである。
具体的には、付属データ推定部108は、ユーザ操作により受付部110で、複数の付属データのうち推定に用いる付属データの種別を受け付けると、受け付けた種別に応じた付属データを用いて入力コンテンツ群毎に、当該入力コンテンツ群に含まれる全ての推定対象コンテンツに対応付けるべき1つ以上の付属データを推定する。ここで、付属データの種別とは、例えば、Exifデータに含まれる作成日時情報、GPS(Global Positioning System)情報や、メタデータに含まれるキーワードやタグを識別する情報である。
具体的には、付属データ推定部108は、入力コンテンツ群の各推定対象コンテンツそれぞれから選択された入力オブジェクト全てについて共通する付属データを抽出し、抽出した付属データを当該各推定対象コンテンツに対応付けるべき付属データとする。また、付属データ推定部108は、抽出された各付属データを組み合わせる、つまり抽出された全ての付属データそれぞれを、当該各推定対象コンテンツに対応付けるべき付属データとする。なお、入力コンテンツ群に対する付属データを推定する方法の具体例については後述する。
(9)付属データ書込部109
付属データ書込部109は、付属データ推定部108で入力コンテンツ群毎に推定された1つ以上の付属データを、対応する入力コンテンツ群に含まれる全ての推定対象コンテンツに対応付ける。
(10)受付部110
受付部110は、例えば、ユーザが情報処理装置10に入力を行うためのリモコンやマウス、キーボード等である。
受付部110は、ユーザ操作により、各種指示を受け付ける。
例えば、受付部110は、抽出された複数の推定対象コンテンツそれぞれについて、当該推定対象コンテンツがどの入力コンテンツ群に属するかの指示を受け付ける。
また、受付部110は、推定対象コンテンツに含まれるオブジェクトの指定を受け付ける。
また、受付部110は、付属データ推定部108で用いられる付属データの種別を受け付ける。
1.2 動作
(1)動作概要
ここでは、入力コンテンツ群に対する付属データを推定する情報処理装置10の動作概要について、図3に示す流れ図を用いて説明する。
コンテンツ群選択部102は、1つ以上の推定対象コンテンツそれぞれを、ユーザ操作に基づいて、1つ以上入力コンテンツ群に分類する分類処理を行う(ステップS5)。
オブジェクト選択部104は、入力コンテンツ群に含まれる推定対象コンテンツ毎に、1つ以上の入力オブジェクトを選択する(ステップS10)。具体的には、オブジェクト選択部104は、ユーザ操作により、推定対象コンテンツに存在するオブジェクトを含む領域(例えば、矩形領域)の指定を受け付けると、指定された領域を入力オブジェクトとして選択する。
コンテンツ解析部105は、オブジェクト選択部104で選択された1つ以上の入力オブジェクト毎に、特徴量を算出する(ステップS15)。具体的には、コンテンツ解析部105は、ステップS10で選択された1つ以上の入力オブジェクト毎に、当該入力オブジェクトを解析して、その特徴量を算出する。
類似オブジェクト特定部106は、ステップS10で抽出された入力オブジェクトそれぞれについて、1つ以上の蓄積コンテンツに含まれる1つ以上の蓄積オブジェクトのうち、当該入力オブジェクトに類似する蓄積オブジェクト(類似オブジェクト)を1つ以上抽出する(ステップS20)。ここで、蓄積オブジェクトが入力オブジェクトに類似しているかどうかの判定は、ステップS15で抽出された当該入力オブジェクトの特徴量と、蓄積コンテンツに含まれる蓄積オブジェクトの特徴量を比較し、両者が一致しているかどうか、あるいは差異が許容範囲内で収まっているかどうかを判断することにより行う。一致している、あるいは許容範囲内に収まっていると判断する場合には、両者は類似していると判定する。ここで許容範囲については、予め定められている値を利用しても良いし、ユーザが値を設定しても良い。
付属データ抽出部107は、ステップS20で抽出された1つ以上の類似オブジェクトそれぞれについて、当該類似オブジェクトを含む蓄積コンテンツに対する付属データを抽出する(ステップS25)。
付属データ推定部108は、ステップS25で抽出された付属データを用いて、入力コンテンツ群毎に、当該入力コンテンツ群に対する付属データを推定する付属データ推定処理を行う(ステップS30)。
付属データ書込部109は、入力コンテンツ群毎に、当該入力コンテンツ群に含まれる全ての推定対象コンテンツに対して、ステップS30で推定された付属データを付記する(ステップS35)。
(2)分類処理について
ここでは、図3に示すステップS5の分類処理についての詳細な動作を図4に示す流れ図を用いて説明する。
コンテンツ群選択部102は、ユーザの操作に基づいて、データベース103で記憶されているデジタルコンテンツの中から、推定対象コンテンツを選択する(ステップS100)。
ステップS100で推定対象コンテンツが選択されると、コンテンツ群選択部102は、選択された推定対象コンテンツを1つ以上の入力コンテンツ群に分類する(ステップS105)。
(3)付属データ推定処理
ここでは、図3のステップS30に示す付属データ推定処理についての詳細な動作を図5に示す流れ図を用いて説明する。なお、当該処理は、推定対象コンテンツ毎に行われる。
付属データ推定部108は、ユーザ操作より受付部110を介して、図3に示すステップS25で抽出された、蓄積コンテンツの付属データのうち、推定に用いる付属データ種別を1種類受け受ける(ステップS200)。
付属データ推定部108は、受け付けた付属データ種別が定型であるかどうかを判断する(ステップS205)。具体的には、付属データ推定部108は、一の蓄積コンテンツについて付属データ種別で特定される付属データが格納されている領域に基づいて、付属データ種別が定型であるかどうかを判断する。なぜなら、定型の付属データ及び非定型の付属データのそれぞれが格納される領域が異なるからである。
定型の付属データ種別でない、つまり非定型の付属データであると判断する場合(ステップS205における「No」)、付属データ推定部108は、入力コンテンツ群毎に、当該入力コンテンツ群に対して抽出した1つ以上の蓄積コンテンツを用いて、受け付けた付属データ種別の内容と合致する付属データ若しくは付属データの一部を抽出する(ステップS210)。
ステップS210の実行後、及び受け付けた付属データ種別が定型であると判断する場合(ステップS205における「Yes」)、付属データ推定部108は、定型な付属データ、あるいはステップS210で抽出した付属データやその一部を取捨選択する、あるいは組み合わせることで、入力コンテンツ群に対して最適である確率が最も高いと推定される付属データを生成する(ステップS215)。
1.3 具体例
ここでは、推定対象コンテンツに対する付属データの推定を具体例を用いて説明する。
(1)具体例1
まず、非定型の付属データを用いて、場所に関する付属データを推定する場合についての具体例を用いて説明する。
図6は、前記情報処理装置10が場所に関する付属データの推定動作を開始し、図3に示すステップS5からステップS25までを実行した結果得られた入力コンテンツ群に対して抽出された蓄積コンテンツとその非定型の付属データ(キーワード)を示す図である。
図6のような蓄積コンテンツの付属データが得られるまでの経過を詳述する。図3に示すステップS5で、「東京ABCタワー」が撮影された写真(推定対象コンテンツC100)と、「東京AA路線」の電車が撮影された写真(推定対象コンテンツC101)とが、入力コンテンツ群として分類される。
次に、ステップS10で、それぞれの推定対象コンテンツC100、C101において「東京ABCタワー」を含む領域(以下、OBJ1)と、「東京AA路線」の電車を含む領域(以下、OBJ2)が入力オブジェクトとして選択される。
次に、ステップS15において、OBJ1、及びOBJ2それぞれの特徴量が算出され、ステップS20において、算出された特徴量それぞれについて、当該特徴量に近い特徴量を持つ類似オブジェクトが3つずつ抽出される。ここでは、OBJ1に対して、蓄積コンテンツ1-1、1-2、1-3が、OBJ2に対して、蓄積コンテンツ2-1、2-2、2-3が、それぞれ抽出される。
そして、ステップS25で、抽出された類似オブジェクトを含む蓄積コンテンツ1-1から2-3について、図6に示す付属データが得られる。このような状態から、付属データ推定処理(ステップS30)が開始されたとする。
付属データ推定部108は、ステップS200を実行する。今回得られた付属データは1種類(キーワードのみ)であるため、その付属データをそのまま推定に用いる。
次に、付属データ推定部108は、ステップS205を実行する。得られた付属データはキーワードであり非定型であるため、処理は、ステップS210へ遷移する。付属データ推定部108は、推定したい場所に関する付属データに合致する付属データ、及び付属データの一部を抽出する。この場合、蓄積コンテンツ1-1、1-2、及び1-3それぞれについて、「東京旅行」、及び「東京ABCタワー」から「東京」が、「パリ観光」から「パリ」が、「ラスベガス観光」から「ラスベガス」がキーワードとして抽出され、蓄積コンテンツ2-1、2-2、及び2-3それぞれについて、「関東旅行」から「関東」が、「東京一周」から「東京」が、「広島めぐり」から「広島」がキーワードとして抽出される。
付属データ推定部108は、ステップS215を実行する。ここでは、キーワードの一部に共通部分がある場合にその共通部分を新たな付属データとして採用する。ここでは、2つの蓄積コンテンツ1-1、2-2に共通している「東京」を入力コンテンツ群の付属データとして採用する。
ここで、包含関係のあるキーワードを新たな付属データとして採用してもよく、本具体例では、「東京」は上位概念である「関東」に包含されているため、「東京」、あるいは「関東」、またはその両方を入力コンテンツ群の付属データとして採用してもよい。なお、このような地理的な包含関係を利用するためには、情報処理装置10の内部に場所に関する知識を補助する辞書が必須である。例えば、辞書データをデータベース103に格納し、コンテンツ蓄積部101が管理するような方法が考えられる。
また、入力オブジェクトに対する蓄積コンテンツのいずれかの付属データに必ず同一のキーワードが含まれている場合にそのキーワードを新たな付属データとして採用するような方法では、OBJ1に対する蓄積コンテンツ1-1と、OBJ2に対する蓄積コンテンツ2-2の双方に含まれている「東京」を入力コンテンツ群の付属データとして採用する。
更に、すべてのキーワードを単純に付属データとして採用するような方法では、前記「東京」、「パリ」、「ラスベガス」、「関東」、「広島」がすべて入力コンテンツ群の付属データとして採用される。
更に、キーワードが示す場所が、地理的な距離の閾値以内に最も数多く集中しているようなキーワードを新たな付属データとして採用するような方法では、例えば、閾値が500km以内だとした場合、「東京」と「関東」の2種類の場所が500km以内にあり、その他の場所は500km以内に収まらないため、「東京」と「関東」を入力コンテンツ群の付属データとして採用する。また、このようなケースでは、「東京」は「関東」の下位概念であるため、「東京」、あるいは「関東」のどちらかのみを入力コンテンツ群の付属データとして採用することも考えられる。なお、閾値については、予め定められている値を利用しても良いし、ユーザが値を設定しても良い。
また、取得した複数のキーワードから、同一又は同一とみなされるキーワードの出現数を取得し、取得した出現数が一定値以上である場合に、当該キーワードを付属データとして採用してもよい。ここで、同一とみなされるキーワードとは、例えば、一のキーワードと上位、又は下位概念の関係にあるものをいう。
(2)具体例2
ここでは、定型の付属データを用いて、場所に関する付属データを推定する場合についての具体例を用いて説明する。
図7は、前記情報処理装置10が場所に関する付属データの推定動作を開始し、図3に示すステップS5からステップS25までを実行した結果得られた、入力コンテンツ群に対して抽出された蓄積コンテンツとその定型の付属データを示す図である。
なお、ステップS5からステップS25までの動作の経緯は具体例1で示す詳細と同様であるため説明を省略する。このような状態から、付属データ推定処理(ステップS30)が開始されたとする。
付属データ推定部108は、ステップS200を実行する。今回得られた付属データは1種類であるため、その付属データをそのまま推定に用いる。
付属データ推定部108は、ステップS205を実行する。得られた付属データは定型であるため、処理はステップS215に遷移する。
ステップS215において、付属データ推定部108は、抽出されたすべての付属データを単純に入力コンテンツ群の付属データとして採用するような方法を採用する場合、6つのGPS情報を単純に付属データとして採用する。あるいは、6つのGPS情報をポイントではなく範囲として捉える方法では、例えば、緯度が「北緯34度23分739秒~北緯48度51部30秒」、経度が「西経115度10分20秒から東経0度を経由して東経139度45部24秒」までの範囲に属するGPS情報が入力コンテンツ群に対する付属データとして採用される。
また、付属データが示す場所が予め定められた地理的な距離の閾値以内に最も数多く集中しているような付属データを新たな付属データとして採用するような方法では、例えば、閾値が500km以内だとした場合、3種類のGPS情報「北緯35度39分31秒、東経139度44分43秒」、「北緯35度39分20秒、東経139度45分24秒」、「北緯35度43分48秒、東経139度42分40秒」を新たな付属データとして採用する。また、この3つのGPS情報をポイントではなく範囲として捉える方法では、緯度が「北緯35度39分20秒~北緯35度43部48秒」、経度が「東経139度42分40秒から東経139度45部24秒」までの範囲を入力コンテンツ群の付属データとして採用する。
更に、GPS情報を一旦都市の名前に変換するような場合、蓄積コンテンツの非定型の付属データから場所に関する付属データを推定するケースにおいて説明したような方法で入力コンテンツ群の付属データを推定することもできる。なお、このようなこのようなGPS情報から都市の名前への変換を利用するためには、情報処理装置10の内部に場所とGPS情報の結びつきに関する知識を補助する辞書が必須である。例えば、辞書データをデータベース103に格納し、コンテンツ蓄積部101が管理するような方法が考えられる。
(3)具体例3
ここでは、定型の付属データから年代に関する付属データを推定する場合についての具体例を用いて説明する。
図8は、前記情報処理装置10が、場所に関する付属データの推定動作を開始し、図3に示すステップS5からステップS25までを実行した結果得られた、入力コンテンツ群に対して抽出された蓄積コンテンツとその定型の付属データを示す図である。なお、ステップS5からステップS25までの経緯は、具体例1で示す詳細と同様であるため説明を省略する。このような状態から、付属データ推定処理(ステップS30)が開始されたとする。
付属データ推定部108は、ステップS200を実行する。今回得られた付属データは1種類であるため、その付属データをそのまま推定に用いる。
付属データ推定部108はステップS205を実行する。得られた付属データは定型であるため、処理は、ステップS215に遷移する。
ステップS215において、付属データ推定部108は、抽出されたすべての付属データを単純に入力コンテンツ群の付属データとして採用するような方法では、6つの日付情報を単純に付属データとして採用する。あるいは、6つの日付情報をポイントではなく範囲として捉える方法では、「1988/5/3 13:37~2008/12/28 17:57」までの範囲が入力コンテンツ群の付属データとして採用される。
また、予め定められた時間的な範囲以内に付属データが示す年代が最も集中しているような範囲を新たな付属データとして採用するような方法では、例えば、閾値が10年以内だとした場合、4種類の日付情報「1988/5/3 13:37」、「1990/5/5 14:45」、「1993/3/23 15:07」、「1998/8/18 15:29」を新たな付属データとして採用する。また、この4つの日付情報をポイントではなく範囲として捉える方法では、「1988/5/3 13:37~1998/8/18 15:29」までの範囲を入力コンテンツ群の付属データとして採用する。
1.4 変形例
(1)付属データの推定の変形例
上記の実施の形態では、推定に用いる付属データは1種類としたが、これに限定されない。複数種類の付属データを用いて、入力コンテンツ群に対する付属データを推定してもよい。
以下、複数種類の付属データを用いて、入力コンテンツ群に対する付属データを推定する処理の動作について、図9に示す流れ図を用いて説明する。
付属データ推定部108は、図3に示すステップS25で抽出された、入力オブジェクトに類似した蓄積オブジェクトを含む蓄積コンテンツの複数の付属データ種別の内容を確認し、蓄積コンテンツの付属データの取捨選択に用いる付属データ種別と、最終的な入力コンテンツ群の付属データの推定に用いる付属データ種別に分類する(ステップS300)。具体的には、付属データ推定部108は、ユーザ操作により、取捨選択用に用いる付属データ種別の指定と、推定用に用いる付属データ種別の指定を、受付部110を介して受け取ると、受け取った指定の内容に基づいて分類する。
付属データ推定部108は、ステップS300で蓄積コンテンツの付属データの取捨選択用に抽出された付属データ種別のうち一の付属データ種別が定型であるかどうかを判断する(ステップS305)。
定型でないと判断する場合(ステップS305における「No」)、付属データ推定部108は、当該一の付属データ種別の付属データの内容を確認し、取捨選択の基準に合致する付属データ、あるいは付属データの一部を抽出する(ステップS310)。上記実施の形態でも説明したように、非定型の付属データ種別は付属データの記述内容が決まっておらず、付属データの取捨選択の基準に合致しているとは限らないので、ステップS310で行うように、付属データの内容を確認し、取捨選択の基準に合致する付属データ、あるいは付属データの一部を抽出する必要がある。ここで取捨選択の基準とは、後述するステップS315において、より最適と推定される蓄積コンテンツの付属データを選択して残すための基準である。例えば、この基準とは、複数の付属データ、及び付属データの一部に共通する部分が存在する付属データを残す、あるいは複数種類の付属データが包含関係にある場合それらの付属データを残す、あるいは一定の基準に基づいて前記付属データ、及び付属データの一部の中から最も確からしい付属データを残す、あるいは前記付属データ、及び付属データの一部をすべて残す、などというようなものである。また、付属データの内容や、推定する付属データの内容毎によって更に異なる基準を与えてもよい。
ステップS310の実行後、及び一の付属データ種別が定型であると判断する場合(ステップS305における「Yes」)、付属データ推定部108は、前記ステップS305で判断した定型の付属データ、あるいはステップS310で選択した付属データを取捨選択の基準に従って組み合わせることで、蓄積コンテンツの付属データを取捨選択する(ステップS315)。組み合わせの方法とは、例えば、複数の付属データ、及び付属データの一部に共通する部分がある蓄積コンテンツを選択して残す、あるいは定められた基準に基づいて前記付属データ、及び付属データの一部の中から最も確からしい付属データを含む蓄積コンテンツを選択して残す、あるいは付属データ、及び付属データの一部を含むデジタルコンテンツをすべて残す、などというような方法である。また、付属データの内容や、推定する付属データの内容毎によって更に異なる方法を与えてもよい。
付属データ推定部108は、付属データの取捨選択処理が完了しているかどうかを確認する(ステップS320)。
付属データの取捨選択処理が完了していないと判断する場合(ステップS320における「No」)、処理は、ステップS305に戻り、蓄積コンテンツの付属データの取捨選択を継続する。
完了していると判断する場合(ステップS320における「Yes」)、付属データ推定部108は、入力コンテンツ群に対する付属データの推定に用いる付属データ種別が定型の付属データであるかどうかを判断する(ステップS325)。
定型でないと判断する場合(ステップS325における「No」)、付属データ推定部108は、推定に用いる付属データ種別の内容を確認し、推定対象の入力コンテンツ群の付属データ種別の内容に合致する付属データ、あるいは付属データの一部を抽出する(ステップS330)。これは、上述した理由と同様に、非定型の付属データ種別は付属データの記述内容が決まっておらず、推定したい付属データ種別に合致しているとは限らないからである。
付属データ推定部108は、蓄積コンテンツの定型な付属データ種別の付属データ、あるいは前記ステップS330で抽出した付属データ、あるいは付属データの一部を取捨選択する、あるいは組み合わせることで、入力コンテンツ群に対して最適である確率が最も高いと推定される付属データを生成する(ステップS335)。組み合わせの方法とは、例えば、複数の付属データ、及び付属データの一部に共通する部分を抽出して付属データとして採用する、あるいは複数種類の付属データが包含関係にある場合それらを付属データとして採用する、あるいは定められた基準に基づいて付属データ、及び付属データの一部の中から最も確からしい付属データを選択する、あるいは前記付属データ、及び付属データの一部をすべて付属データとして採用する、などというような方法である。また、推定に利用する蓄積コンテンツの付属データの内容や、推定する付属データの内容毎によって更に異なる方法をも与えてもよい。
なお、ステップS320の取捨選択処理の完了の基準は取捨選択処理の内容によって異なる。例えば1種類の付属データ種別を1回の取捨選択にしか用いない場合では、ステップS300で蓄積コンテンツの付属データの取捨選択用に分類した付属データ種別で取捨選択に使用していないものがあるかどうかを判断すればよい。あるいは、同じ付属データ種別を用いて異なる取捨選択の基準に基づき複数回の取捨選択処理を実行するような場合(例えば、非定型なキーワード型の付属データを用いて、場所と年代の異なる基準に基づいて2回の蓄積コンテンツの取捨選択を実行するなど)、予め定められた回数だけ前記付属データの取捨選択処理を繰り返したかどうかを判断すればよい。
(具体例)
蓄積コンテンツの複数種類の付属データから年代に関する付属データを推定する場合について、具体例を用いて説明する。
図10は、情報処理装置10が場所に関する付属データの推定動作を開始し、図3に示すステップS5からステップS25までを実行した結果得られた、入力コンテンツ群に対して抽出された蓄積コンテンツと、それに対応する2種類の付属データ(日時情報とキーワード)を示す図である。なお、ステップS5からステップS25までの経緯は、前述の具体例1から3で示す詳細と同様であるため説明を省略する。このような状態から、付属データ推定処理(ステップS30)が開始されたとする。
付属データ推定部108は、ステップS300を実行することで、例えば、付属データ(キーワード)を前記蓄積コンテンツの取捨選択用に、日付情報を最終的な付属データの推定用に分類する。
付属データ推定部108は、ステップS305を実行する。この場合、付属データ推定部108は、取捨選択用のキーワードのデータは非定型であるため、次にステップS310を実行する。例えば、蓄積コンテンツの取捨選択を「場所」を基準にして実行する場合、付属データ推定部108は、場所に関するキーワードのみを選択して残す。具体的には、付属データ推定部108は、「東京」、「パリ」、「ラスベガス」、「東京」、「京都」、「広島」を選択して残す。
付属データ推定部108は、ステップS310を実行する。ここでは、キーワードの一部に共通部分がある場合に、その共通部分を有する付属データを含む蓄積コンテンツを選択して残すような方法を仮定する。具体的には、付属データ推定部108は、「東京」をキーワードとしている蓄積コンテンツ1-1、及び蓄積コンテンツ2-1を選択して残す。
付属データ推定部108は、ステップS320を実行する。取捨選択用に分類した付属データはキーワードのみであるため、付属データ推定部108は、ステップS325に進む。
付属データ推定部108は、ステップS325を実行する。推定用に分類した付属データ(日付情報)は定型であるため、付属データ推定部108は、ステップS330をスキップする。
付属データ推定部108はステップS335を実行する。付属データ推定部108は、抽出されたすべての付属データを単純に入力コンテンツ群の付属データとして採用する場合には、「1964/5/3 13:37」、「1964/5/5 14:45」の2種類の日付情報を入力コンテンツ群の付属データとして採用する。また、この2種類の日付情報をポイントではなく範囲として捉える方法を用いる場合には、付属データ推定部108は、「1964/5/3 13:37~1964/5/5 14:45」までの範囲を入力コンテンツ群の付属データとして採用する。また、予め定められた時間的な範囲以内に付属データが示す年代が最も集中しているような範囲を新たな付属データとして採用するような方法でも、「1964/5/3 13:37~1964/5/5 14:45」を入力コンテンツ群の付属データとして採用する。
図10のような例において、例えば東京ABCタワーが1956年に完成したとすると、付属データ種別1の日付情報のみを用いて年代推定を行った場合、東京ABCタワーが完成していない1955/8/18 15:29を付属データとして採用する可能性もあり、複数の付属データ種別を用いた付属データの絞り込みが有効であることがわかる。
(2)情報処理装置の変形例1
上記実施の形態では、データベース103は、情報処理装置10内に存在するものとしたが、これに限定されない。データベース103が、情報処理装置10の外部、例えばネットワーク上に存在するような場合であってもよい。
図11は、ネットワーク上のデータベース1203を利用する情報処理装置1000の内部構成を示す図である。なお、第1の実施の形態で示す情報処理装置10の構成要素と同様の機能を有するものには、同一の符号を付する。
情報処理装置1000は、コンテンツ蓄積部1101、コンテンツ群選択部102、オブジェクト選択部104、コンテンツ解析部105、類似オブジェクト特定部106、付属データ抽出部107、付属データ推定部108、付属データ書込部109及び受付部110から構成される。
また、外部装置1001は、ネットワークを介して情報処理装置1000と接続されており、データベース1203を有している。
コンテンツ蓄積部1101は、情報処理装置1000が管理する全てのデジタルコンテンツとその付属データ、及びデジタルコンテンツに含まれるオブジェクトの特徴量を、データベース1203に、ネットワークを介して蓄積して管理する。
外部装置1001が有するデータベース1203は、コンテンツ蓄積部1101が管理しているデジタルコンテンツデータとその付属データ、及びデジタルコンテンツに含まれるオブジェクトの特徴量を蓄積する。なお、データベース1203は記憶する内容は、第1の実施の形態で示すデータベース103と同様であるので、ここでの説明は省略する。
また、情報処理装置1000の入力コンテンツ群に対する付属データの推定の動作については、アクセスする対象が異なるだけであり、動作自体は、第1の実施の形態で示す同様であるため、ここでの説明を省略する。
(3)情報処理装置の変形例2
上記実施の形態では、データベース103は、情報処理装置10内に存在するものとしたが、これに限定されない。情報処理装置は、自装置内、及びネットワーク上の双方にデータベースを利用してもよい。
図12は、本変形例における情報処理装置1000aの内部構成を示す図である。なお、第1の実施の形態で示す情報処理装置10の構成要素と同様の機能を有するものには、同一の符号を付する。
情報処理装置1000aは、コンテンツ蓄積部1101a、コンテンツ群選択部102、データベース1103a、オブジェクト選択部104、コンテンツ解析部105、類似オブジェクト特定部106、付属データ抽出部107、付属データ推定部108、付属データ書込部109及び受付部110から構成される。
また、外部装置1001aは、ネットワークを介して情報処理装置1000aと接続されており、データベース1203aを有している。
コンテンツ蓄積部1101aは、情報処理装置1000aが管理する全てのデジタルコンテンツとその付属データ、及びデジタルコンテンツに含まれるオブジェクトの特徴量を、データベース1103aと、データベース1203aに蓄積して管理する。
データベース1103a及びデータベース1203aは、コンテンツ蓄積部1101aが管理しているデジタルコンテンツデータとその付属データ、及びデジタルコンテンツに含まれるオブジェクトの特徴量などを蓄積する。例えば、データベース1103aを基本的に使用し、データベース1203aをデータベース1103aのバックアップとして使用する。
情報処理装置1000aの入力コンテンツに対する付属データの推定の動作については、データベース103の代わりに、データベース1103a及びデータベース1203aを用いること以外は、第1の実施の形態で示す入力コンテンツ群の付属データの推定の動作と同様であるので、ここでの説明を省略する。
なお、上記の説明では、2つのデータベースのうち1つのデータベース(上記では、データベース1203a)をバックアップ用して説明したが、これに限定されない。
例えば、データベース1203aを基本的に使用し、データベース1103aをデータベース1203aのバックアップとして使用してもよい。また、データベース1103aとデータベース1203aの容量に応じて情報処理装置1000aが管理する全てのデジタルコンテンツを分割して格納して使用してもよい。更に、デジタルコンテンツのデータをデータベース1103aに格納し、デジタルコンテンツの特徴量や付属データのみをデータベース1203aに格納して使用してもよい。逆に、デジタルコンテンツのデータをデータベース1203aに格納し、デジタルコンテンツの特徴量や付属データのみを前記データベース1103aに格納して使用してもよい。つまり、データベース1103aとデータベース1203aの双方を用いてデジタルコンテンツを使用する方法であればよい。
(4)情報処理装置の変形例3
上記実施の形態では、データベース103は、情報処理装置10内に存在するものとしたが、これに限定されない。情報処理装置は、自装置内のデータベースの他に、外部の複数のデータベースを利用するとしてもよい。
図13は、本変形例における情報処理装置1000bの内部構成を示す図である。なお、第1の実施の形態で示す情報処理装置10の構成要素と同様の機能を有するものには、同一の符号を付する。
情報処理装置1000bは、コンテンツ蓄積部1101b、コンテンツ群選択部102、データベース1103b、オブジェクト選択部104、コンテンツ解析部105、類似オブジェクト特定部106、付属データ抽出部107、付属データ推定部108、付属データ書込部109及び受付部110から構成される。
外部装置1001aは、ネットワークを介して情報処理装置1000aと接続されており、データベース1203bを有している。
外部装置1002bは、ネットワークを介して情報処理装置1000aと接続されており、n個のデータベース1~n1303bを有している。
コンテンツ蓄積部1101bは、情報処理装置1000bが管理する全てのデジタルコンテンツとその付属データ、及びデジタルコンテンツに含まれるオブジェクトの特徴量を、データベース1103bと、データベース1203bに蓄積して管理する。
データベース1103b及びデータベース1203b、コンテンツ蓄積部1101bが管理しているデジタルコンテンツとその付属データ、及びデジタルコンテンツに含まれるオブジェクトの特徴量などを蓄積する。
データベース1~n1303bは、情報処理装置1000b管理下にないものである。ここで外部データベースとは、例えば、デジタルコンテンツ投稿サイトで管理されているデータベースである。
データベース1~n1303bの利用方法としては、例えば、コンテンツ蓄積部1101bは、類似オブジェクト特定部106で入力オブジェクトに類似する蓄積オブジェクトを抽出する際に、データベース1103bやデータベース1203b内のデジタルコンテンツと同様に、データベース1~n1303bで管理しているデジタルコンテンツからも抽出する場合に用いられる。具体的には、類似オブジェクト特定部106が類似オブジェクトを検索する場合、データベース1103b及びデータベース1203bに加えて、データベース1~n1303bのデジタルコンテンツについてもコンテンツ蓄積部1101bから獲得し、取得したデジタルコンテンツに含まれるオブジェクトを解析して特徴量を導出し、入力オブジェクトの特徴量と比較する。
また、データベース1103b及びデータベース1203bは、変形例2で示したような利用形態で用いられるものとする。
情報処理装置1000bの入力コンテンツ群に対する付属データの推定の動作については、データベース103の代わりに、データベース1103b、データベース1203b、及びデータベース1~n1303bを用いること以外は、第1の実施の形態で示す入力コンテンツ群の付属データの推定の動作と同様であるので、ここでの説明を省略する。
なお、データベース1103b、データベース1303b及びデータベース1~n1303bの利用方法は、上述のものに限定されない。
例えば、情報処理装置1000bが、データベース1~n1303b上のデジタルコンテンツに含まれるオブジェクトの解析を予め行っておいて、その特徴量や付属データをデータベース1103bやデータベース1203bに格納してコンテンツ蓄積部1101bで管理し、類似オブジェクト特定部106が類似オブジェクトを検索する際に管理されている特徴量や付属データを抽出するとしてもよい。
また、類似オブジェクトの検索を、情報処理装置1000bが管理しているデータベース1103b、データベース1203b及びデータベース1~n1303b上に存在する蓄積コンテンツの中から一部の蓄積コンテンツを選択して行うとしてもよい。例えば、検索を行わなければならないことが蓄積コンテンツの付属データに記述されている場合は、付属データにその記述がある蓄積コンテンツのみ特徴量の比較を行うとしてもよい。また、計算量の削減や処理の高速化が必要な場合は、蓄積コンテンツに含まれる蓄積オブジェクトの特徴量が解析されていない蓄積コンテンツを除外し、特徴量が予め解析されている蓄積コンテンツのみ特徴量の比較を行うとしてもよい。
また、蓄積コンテツの付属データの生成方法によって類似度の判定に優先度をつけても良い。例えば、デジタルスチルカメラが撮影時にデジタルコンテンツに直接付加した付属データや、ユーザが自分で付加した付属データは信頼度が高いと判断し、付属データが付加されている蓄積コンテンツについて類似オブジェクトを抽出する際に、特徴量の差異の許容範囲を大きくするような方法が考えられる。
更に、データベースの種類によって類似度の判定に優先度をつけても良い。例えば、情報処理装置1000bが管理しているデータベース1103bや1203b上から類似オブジェクトを抽出する際には特徴量の差異の許容範囲を大きくし、外部データベース1~n1303bで上の類似オブジェクトであれば特徴量の差異の許容範囲を小さくするとしてもよい。
また、外部データベース1~n1303bの内、ユーザが頻繁に利用するデータベースがあれば、そのデータベース上の類似オブジェクトを抽出する際には特徴量の差異の許容範囲を大きくするとしてもよい。
なお、上記の方法は一例であり、外部データベース1~n1440上のデジタルコンテンツデータや付属情報の利用方法は、上記方法に限定されるものでもない。
また、データベース1103bとデータベース1203bの利用方法については、変形例2で示した利用方法に限定されない。例えば、データベース1103bが情報処理装置1000bが管理する全てのコンテンツのデータ、及び特徴量や付属情報を蓄積しておき、データベース1203bが、外部データベース1~n1303b上のデジタルコンテンツの解析結果である特徴量や付属データを蓄積するとしてもよい。あるいは、データベース1203bが情報処理装置1000bが管理する全てのコンテンツのデータ、及び特徴量や付属情報を蓄積しておき、データベース1103bが、外部データベース1~n1303b上のデジタルコンテンツの解析結果である特徴量や付属データを蓄積するとしてもよい。
データベース1103bとデータベース1203bについて示す上記の利用方法は、一例であり、これらの利用方法に限定されるものでもない。
(5)情報処理装置の変形例4
上記実施の形態では、推定対象のコンテンツはデータベース103内に存在するものとしたが、これに限定されない。情報処理装置は、推定対象のコンテンツを外部から取り込んでもよい。
図14は、本変形例における情報処理装置1000cの内部構成を示す図である。なお、第1の実施の形態で示す情報処理装置10の構成要素と同様の機能を有するものには、同一の符号を付する。
情報処理装置1000cは、コンテンツ蓄積部1101c、入力受付部1111c、データベース1103c、オブジェクト選択部104、コンテンツ解析部105、類似オブジェクト特定部106、付属データ抽出部107、付属データ推定部108、付属データ書込部2109及び受付部110から構成される。
コンテンツ蓄積部1101cは、情報処理装置1000cが管理する全てのデジタルコンテンツとその付属データ、及びデジタルコンテンツに含まれるオブジェクトの特徴量をデータベース1103cに蓄積して管理する。
入力受付部1111cは、入力機器1003cから1つ以上の推定対象コンテンツの入力を受け付ける。入力された全ての推定対象コンテンツを1つ以上の入力コンテンツ群に分類する。なお、入力コンテンツ群の分類方法の詳細については、第1の実施の形態で示すコンテンツ群選択部102と同様であるため、ここでの説明は省略する。
データベース1103cは、コンテンツ蓄積部1101cで管理されるデジタルコンテンツ、特に第1の実施の形態で示す蓄積コンテンツを格納している。
入力機器1003cは、情報処理装置1000cに対して推定対象コンテンツを入力するための機器であり、例えば、デジタルコンテンツを蓄えている機器であるデジタルスチルカメラやビデオカメラ、Personal Computer(PC)やPersonal Video Recoder(PVR)などである。また、入力機器1003cは、これら機器に限定されるものでもなく、デジタルコンテンツが蓄えられている機器であれば何でも良い。
情報処理装置1000cの入力コンテンツ群に対する付属データの推定の動作については、推定対象コンテンツの取得経路が異なるだけであり、付属データの推定に係る動作は、第1の実施の形態で示す動作と同様であるので、ここでの説明は省略する。
1.5 その他の変形例
本発明は上記の実施の形態及び変形例以外に、例えば、以下のような変形例が考えられる。
(1)上記実施の形態において、データベース103で格納されている蓄積コンテンツは、デジタルコンテンツデータに、コンテンツ全体の特徴量、コンテンツに含まれるオブジェクトの特徴量及び付属データが対応付けているものとしたが、これに限定されない。
データベース103は、デジタルコンテンツデータにその付属データ対応付けて格納し、各種特徴量データは格納しないような構成でもよい。
この場合、類似オブジェクト特定部106で、蓄積コンテンツの特徴量、及び蓄積コンテンツに含まれるオブジェクトの特徴量を算出することとなる。
(2)上記実施の形態において、推定対象コンテンツについては、特徴量は対応付けられて管理されていないものとしたが、これに限定されない。
推定対象コンテンツについての全体の特徴量、及び推定対象コンテンツに含まれるオブジェクト、つまり入力オブジェクトの特徴量を事前に、推定対象コンテンツと対応付けてデータベース103に格納してもよい。この場合、コンテンツ解析部105は、事前に対応付けられている特徴量を利用する。
(3)上記実施の形態において、推定対象コンテンツには、付属データを予め対応付けていないこととしたが、これに限定されない。
付属データが対応付けられたデジタルコンテンツを推定対象コンテンツとしてもよい。この場合、対応付けられていない付属データの内容が推定されることとなる。
例えば、情報処理装置10は、日時情報のみが付属データとして対応付けられている場合において、GPS情報を推定する。
(4)上記実施の形態では、推定対象コンテンツの選択方法として、リモコンやマウス、キーボード等の受付部110からその指示を受け付けるものとしたが、これに限定されない。
情報処理装置10が受付部110としてタッチパネルを備えている場合は、タッチペンのようなスタイラス、ユーザの指を用いて推定対象コンテンツの選択が行われてもよい。
更に、情報処理装置10が、受付部110として、ゼスチャや音声を受け付ける専用の受信装置を設けてもよい。
なお、受付部110は、上述したものは一例であり、これら内容に限定されるものでもない。
また、コンテンツ群選択部102は、ユーザの入力に基づくことなく別の選択基準により推定対象コンテンツを選択しても良い。ここで別の選択基準とは、付属データが付属していない、あるいは一部の付属データが不足している、というような基準である。
更に、デジタルコンテンツの付属データに選択すべきデジタルコンテンツを特定する選択情報を記述してもよい。この場合、コンテンツ群選択部102は、選択情報を用いて推定対象コンテンツを選択しても良い。
また、予め推定対象コンテンツをグループ分けして格納されていてもよい。この場合、コンテンツ群選択部102は、グループを1つの入力コンテンツ群として扱うこととする。
なお、コンテンツ群選択部102による上記の選択の方法は、一例であり、これら方法に限定されるものでもない。
(5)推定対象コンテンツに対する入力コンテンツ群への分類方法は、上記第1の実施の形態で示すものに限定されない。例えば、付属データ付きのデジタルコンテンツを推定対象とする場合には、日付やイベント、場所のような指標に基づいて複数の推定対象コンテンツをグループ化してもよい。
(6)推定に用いる付属データ種別をユーザ操作により受け付けるものとしたが、これに限定されない。
以下のような方法で、推定に用いる付属データ種別を選択してもよい。
推定対象である入力コンテンツ群の付属データ種別の内容に合致する付属データを選択する方法であってもよいし、入力コンテンツ群に欠けている付属データ種別、推定に用いる付属データ種別が付属データ自体に記述されている蓄積コンテンツの付属データ種別を選択する方法であってもよい。
なお、上記に示す付属データ種別の選択方法は、一例であり、これら方法に限定されるものでもない。
(7)推定対象コンテンツに対する付属データの推定方法は、上記実施の形態で示した方法に限定されない。
例えば、複数の前記付属データ、及び付属データの一部に共通する部分を抽出して付属データとして採用するとしてもよい。
または、複数種類の付属データが包含関係にある場合、それらを付属データとして採用するとしてもよいし、一定の基準に基づいて前記付属データ、及び付属データの一部の中から最も確からしい付属データを選択するとしてもよい。
または、付属データ、及び付属データの一部をすべて付属データとして採用するとしてもよい。
また、推定に利用する蓄積コンテンツの付属データの内容や、推定する付属データの内容毎に、更に異なる推定方法を適用してもよい。
(8)複数の付属データ種別を用いる場合において、推定用と取捨選択用とに分類する方法は、上述した方法に限定されない。
例えば、推定対象コンテンツを含む入力コンテンツ群の付属データ種別に合致する付属データ種別がある場合、その付属データ種別を推定用に分類し、残りの付属データ種別を取捨選択用に分類する方法であってもよい。
また、推定、及び取捨選択に用いる付属データ種別が付属データ自体に記述されているような蓄積コンテンツの付属データ種別に沿って分類する方法であってもよい。
なお、上述した付属データ種別の分類方法は、一例であり、これら方法に限定されるものでもない。
(9)上記実施の形態において、オブジェクト選択部104は、ユーザ操作により推定対象コンテンツに含まれるオブジェクトの指定を受け付けたが、これに限定されない。
オブジェクト選択部104は、一般物体認識技術を用いてデジタルコンテンツ内のオブジェクトを認識し、付属データの推定に適したオブジェクトを選択しても良い。
更に、入力コンテンツ群に含まれるデジタルコンテンツの付属データに選択するオブジェクトが記述されている場合、オブジェクト選択部104は、付属データに記述されているオブジェクトを入力オブジェクトして選択しても良い。
なお、オブジェクトの選択の方法は、これら方法に限定されるものでもない。
(10)類似オブジェクト特定部106による類似オブジェクトの特定は、上記に示す方法に限定されない。
例えば、類似オブジェクト特定部106は、入力オブジェクトに類似した類似オブジェクトを抽出する際は、データベース103上の全ての蓄積コンテンツに含まれる全ての蓄積オブジェクトについて、入力オブジェクトの特徴量との比較を必ずしも行わなくても良い。この場合、例えば、特徴量の比較を行うべき蓄積コンテンツの付属データにその旨が記述されている場合は、その記述がある蓄積コンテンツのみを抽出して特徴量の比較を行う。
また、入力オブジェクトに類似した類似オブジェクトを抽出する際、蓄積コンテンツの付属データの生成方法によって蓄積オブジェクトと入力オブジェクトとの特徴量の比較に重み付けを行っても良い。例えば、デジタルスチルカメラが撮影時にデジタルコンテンツに直接付加した付属データや、ユーザが自分で付加した付属データについては付属データの信頼度がより高いと言えるため、信頼度が高い付属データが付加されている蓄積コンテンツに含まれる蓄積オブジェクトが類似オブジェクトだと判定される特徴量の差異の許容範囲を大きく設定してもよい。あるいは、信頼度が高い付属データが付加されている蓄積コンテンツに含まれる蓄積オブジェクトのみを、特徴量の比較の対象とするとしてもよい。更に、計算量の削減や処理の高速化が必要な場合は、蓄積コンテンツに含まれる蓄積オブジェクトの特徴量が解析されていないような蓄積コンテンツを除外し、既に特徴量が解析されている蓄積コンテンツのみ前記比較を行うとしてもよい。
なお、特徴量の比較を行う蓄積オブジェクトの選択方法は、これら方法に限定されるものでもない。
(11)上記にて示す付属データ書込部109は、類似オブジェクト特定部106が特徴量の比較に重み付けを行う場合、当該重み付けを用いて導出された付属データであることも追記するとしてもよい。
(12)上記実施の形態において、入力オブジェクトに対する類似オブジェクトを抽出する際に、抽出された類似オブジェクトに対して重み(入力オブジェクトとのマッチングの適合率、つまりマッチングの信頼度)を付与し、付与された重みを基に入力コンテンツ群の付属データを推定してもよい。例えば、付与された重みのうち最も高い重みの類似オブジェクトの付属データを採用することが考えられる。
また、類似オブジェクトに対する重みは、入力オブジェクトとのマッチングの適合率のみならず、推定対象コンテンツに含まれる同一のオブジェクトの数に基づくものであってもよい。例えば、全オブジェクト数のうち、同一のオブジェクト数が存在する割合が考えられる。
(13)上記実施の形態において、入力コンテンツと、蓄積コンテンツとして選択するデジタルコンテンツの種類が異なってもよい。例えば、入力コンテンツとして動画像を選択し、蓄積コンテンツとして静止画像を選択してもよい。また、逆に、入力コンテンツとして静止画像を選択し、蓄積コンテンツとして動画像を選択してもよい。
また、入力コンテンツ、若しくは蓄積コンテンツとして複数種類のデジタルコンテンツを選択してもよい。例えば、入力コンテンツとして静止画像と動画像の双方を選択してもよい。
1.7 まとめ
以上により、本実施の形態及び各変形例で示す情報処理装置は、入力コンテンツ群に含まれる全ての推定対象コンテンツに対する付属データを、類似オブジェクトを含む蓄積コンテンツに対応付けられた付属データから推定することが可能となる。
2.第2の実施の形態
ここでは、本発明に係る第2の実施の形態における情報処理装置の内部構成について説明する。
2.1 構成
第1の実施の形態では、蓄積コンテンツに対応付けられた付属データを基に、推定対象コンテンツの付属データを推定したが、第2の実施の形態では、予め用意されている辞書データを基に推定対象コンテンツの付属データを推定する。
以下、本実施の形態における情報処理装置2000の構成について、説明する。なお、第1の実施の形態で示す情報処理装置10の構成要素と同様の機能を有するものには、同一の符号を付する。
情報処理装置2000は、図15に示すように、コンテンツ蓄積部2101、コンテンツ群選択部102、データベース2103、オブジェクト選択部104、コンテンツ解析部105、辞書オブジェクト特定部2106、付属データ抽出部2107、付属データ推定部2108、付属データ書込部109及び受付部110から構成される。
(1)データベース2103
データベース2103は、図16に示すように、コンテンツ記憶領域2200、一般辞書データ記憶領域2201、ユーザ辞書データ記憶領域2202を有している。
コンテンツ記憶領域2200には、第1の実施の形態と同様に、蓄積コンテンツ及び推定対象コンテンツが格納される。なお、蓄積コンテンツ及び推定対象コンテンツについては、第1の実施の形態で説明しているので、ここでの説明は省略する。
一般辞書データ記憶領域2201及びユーザ辞書データ記憶領域2202は、辞書データを格納する領域である。
ここで、辞書データとは、辞書オブジェクトと当該辞書オブジェクトの特徴量、及び辞書オブジェクトから推定される付属データの結びつきを記述したデータである。
ここでは、辞書データをオブジェクトと付属データの一般的な結びつきを集めた一般辞書データと、オブジェクトと付属データのユーザに依存した結びつきを集めたユーザ辞書データに分類し、一般辞書データは一般辞書データ記憶領域2201に、ユーザ辞書データはユーザ辞書データ記憶領域2202に、それぞれ格納される。
ここでは、一般辞書データ記憶領域2201では、場所や年代等に関連する辞書データ2210、2211、・・・が格納されており、例えば、辞書データ2210は場所に関連する辞書データであり、辞書データ2211は年代に関連する辞書データである。
また、ユーザ辞書データ記憶領域2202では、場所や年代等に関連する辞書データ2230、2231、・・・が格納されており、例えば、辞書データ2230は場所に関連する辞書データであり、辞書データ2231は年代に関連する辞書データである。
また、辞書データは、辞書オブジェクト、その特徴量、1つ以上の付属データからなる組(以下、「オブジェクト情報」という。)を複数個有しており、例えば、辞書データ2210は、オブジェクト情報2220、・・・、2221を有しており、オブジェクト情報2220は辞書オブジェクト(オブジェクトA)、その特徴量、1つ以上の付属データ(ここでは、付属データA1、・・・、Aa)からなるものとする。また、各付属データは、対応するオブジェクトを識別するためにも用いられる。
ここで、辞書データの内容について具体例を用いて説明する。デジタルスチルカメラで撮影した写真にオブジェクトとして「東京ABCタワー」が含まれていた場合、その写真が生成された場所として「東京」や「ABC町」などの場所に関するキーワードが容易に推定できる。このような場合、一般辞書データの辞書オブジェクトとして「東京ABCタワー」を設定し、前記辞書オブジェクトの付属データとして「東京」や「ABC町」などを記述する。このように、存在する場所が限定されるようなオブジェクトの場所を示す辞書データを場所に関連する辞書データとして辞書データ2210に含めることができる。
また、デジタルスチルカメラで撮影した写真にオブジェクトとして「自動車」が含まれていた場合、その写真が生成された年代として、「自動車」の販売開始の年から前記「自動車」の生産が終了して10年程度経過した年までの間を、年代に関連する辞書データの有力な候補として挙げることができる。これは、一般的に「自動車」は数年に1度モデルチェンジを行うため、ある型式の「自動車」の生産、販売時期が限られること、及び「自動車」の一般的な寿命が10年程度だと考えられるからである。ただし、10年以上同じ「自動車」を使用しているような場合も考えられるため、このような辞書オブジェクトの年代に関する付属データは、年代ごとの存在確率に関する付属データも合わせて付記することが考えられる。このように、存在する期間が限定されるようなオブジェクトを年代を示すための辞書データとすることができる。
また、デジタルスチルカメラで撮影した写真にオブジェクトとして「ユーザが1990年から1995年の間所有していた車」が含まれている場合、その写真が生成された年代として「1990年から1995年」という年代に関する付属データが容易に推定できる。このような場合、ユーザ辞書データの辞書オブジェクトとして「ユーザが1990年から1995年の間所有していた車」を設定し、当該辞書オブジェクトの付属データとして「1990年から1995年」を記述する。このように、ユーザに関連するオブジェクトの内、存在する場所や期間が限定されるようなオブジェクトを年代や場所を示すための辞書データとすることができる。
(2)コンテンツ蓄積部2101
コンテンツ蓄積部2101は、蓄積コンテンツ、推定対象コンテンツ、及び辞書データをデータベース2103に蓄積して管理する。
(3)辞書オブジェクト特定部2106
辞書オブジェクト特定部2106は、コンテンツ蓄積部2101が管理している辞書データ内のオブジェクトの中から、入力オブジェクト毎に類似した辞書データ内のオブジェクト(辞書オブジェクト)を1つ以上抽出する。
(4)付属データ抽出部2107
付属データ抽出部2107は、入力オブジェクト毎に辞書データから抽出された辞書オブジェクトそれぞれについて、当該辞書オブジェクトに対応付けられた全ての付属データを抽出する。
(5)付属データ推定部2108
付属データ推定部2108は、入力コンテンツ群毎に、抽出された付属データを用いて当該入力コンテンツ群に対する付属データを推定する。
推定方法については、存在確率に関する付属データが辞書オブジェクトの付属データに付記されていない場合には、第1の実施の形態で示す方法と同様の方法で実現できる。一方、存在確率が付記されているような場合に、各付属データに付記された存在確率を付属データ単位で加算し、最も存在確率の和が大きくなった付属データを付属データとして採用する。
2.2 動作
(1)動作概要
ここでは、情報処理装置2000動作概要について、図17に示す流れ図を用いて説明する。
コンテンツ群選択部102は、1つ以上の推定対象コンテンツそれぞれを、ユーザ操作に基づいて、1つ以上入力コンテンツ群に分類する分類処理を行う(ステップS400)。
オブジェクト選択部104は、入力コンテンツ群に含まれる推定対象コンテンツ毎に、1つ以上の入力オブジェクトを選択する(ステップS405)。具体的には、第1の実施の形態と同様に、オブジェクト選択部104は、ユーザ操作により、推定対象コンテンツに存在するオブジェクトを含む領域の指定を受け付けると、指定された領域を入力オブジェクトとして選択する。
コンテンツ解析部105は、オブジェクト選択部104で選択された1つ以上の入力オブジェクト毎に、特徴量を算出する(ステップS410)。
辞書オブジェクト特定部2106は、ステップS405で抽出された入力オブジェクトそれぞれについて、1つ以上の辞書データそれぞれに含まれる1つ以上のオブジェクトのうち、当該入力オブジェクトに類似する辞書オブジェクトを1つ以上抽出する(ステップS415)。ここで、オブジェクトが入力オブジェクトに類似しているかどうかの判定は、第1の実施の形態と同様であるので、ここでの説明は省略する。
付属データ抽出部2107は、ステップS415で抽出された1つ以上の辞書オブジェクトそれぞれについて、当該辞書オブジェクトに対する付属データを抽出する(ステップS420)。
付属データ推定部2108は、ステップS420で抽出された付属データを用いて、入力コンテンツ群毎に、当該入力コンテンツ群に対する付属データを推定する付属データ推定処理を行う(ステップS425)。
付属データ書込部109は、入力コンテンツ群毎に、当該入力コンテンツ群に含まれる全ての推定対象コンテンツに対して、ステップS425で推定された付属データを付記する(ステップS430)。
(2)分類処理
図17のステップS400に示す分類処理の詳細は、図4に示す流れ図と同様の処理動作で実現できるので、ここでの説明は省略する。
(3)付属データ推定処理
ここでは、図17のステップS425に示す付属データ推定処理についての詳細な動作を図18に示す流れ図を用いて説明する。なお、当該処理は、推定対象コンテンツ毎に行われる。
付属データ推定部2108は、ユーザ操作より受付部110を介して、図17に示すステップS420で抽出された、辞書オブジェクトの付属データのうち、推定に用いる付属データ種別を1種類受け受ける(ステップS500)。
付属データ推定部2108は、受け付けた付属データ種別が定型であるかどうかを判断する(ステップS505)。具体的には、付属データ推定部108は、第1の実施の形態と同様に、一の蓄積コンテンツについて付属データ種別で特定される付属データが格納されている領域に基づいて、付属データ種別が定型であるかどうかを判断する。
定型の付属データ種別でない、つまり非定型の付属データであると判断する場合(ステップS505における「No」)、付属データ推定部2108は、入力コンテンツ群毎に、当該入力コンテンツ群に対して抽出した1つ以上の辞書オブジェクトを用いて、受け付けた付属データ種別の内容と合致する付属データ若しくは付属データの一部を抽出する(ステップS510)。
ステップS510の実行後、及び受け付けた付属データ種別が定型であると判断する場合(ステップS505における「Yes」)、付属データ推定部2108は、定型な付属データ、あるいはステップS210で抽出した付属データやその一部を取捨選択する、あるいは組み合わせることで、入力コンテンツ群に対して最適である確率が最も高いと推定される付属データを生成する(ステップS515)。
2.3 変形例
本発明は上記の実施の形態以外に、例えば、以下のような変形例が考えられる。
(1)上記実施の形態において、辞書オブジェクト特定部2106は、入力オブジェクトと類似する辞書オブジェクトを抽出する際には、全ての辞書データに含まれる各オブジェクトの特徴量と比較したが、これに限定されない。
全てのオブジェクトについて、入力オブジェクトの特徴量との比較を必ずしも行わなくても良い。例えば、特徴量の比較を行うべきオブジェクトの付属データにその旨が記述されている場合は、当該オブジェクトのみを抽出して特徴量の比較を行う。
また、入力オブジェクトに類似した辞書オブジェクトを抽出する際、辞書データの種別によって辞書オブジェクトと入力オブジェクトとの特徴量の比較に重み付けを行っても良い。例えば、ユーザ辞書データを優先したい場合には、ユーザ辞書データに含まれるオブジェクトが入力オブジェクトに類似する辞書オブジェクトだと判定される特徴量の差異の許容範囲を大きく設定するとしてもよい。あるいは、優先したいユーザ辞書データに含まれるオブジェクトのみを特徴量の比較の対象とするとしてもよい。また、辞書の製作元の信頼度に応じて辞書オブジェクトの類似度の判定に重み付けを行うとしてもよい。なお、特徴量の比較を行うオブジェクトの選択方法は、これら方法に限定されるものでもない。
(2)上記実施の形態では、付属データ推定部2108は、存在確率が付記されているような場合に、各付属データに付記された存在確率を付属データ単位で加算し、最も存在確率の和が大きくなった付属データを付属データとして採用するとしたが、これに限定されない。
例えば、付属データ推定部2108は、存在確率の和がある閾値よりも高くなるような付属データを全て付属データとし採用するとしてもよい。
また、推定に利用する付属データの内容や、推定する付属データの内容毎に、更に異なる条件を設定するとしてもよい。
(3)上記第2の実施の形態に示す情報処理装置は、図11及び図12で示したようなネットワーク上のデータベースを利用した付属データの推定、図13で示すようなデータベース1~nを利用した付属データの推定、図14で示すような入力機器を利用した付属データの推定を行ってもよい。
この場合、用いる付属データが辞書オブジェクトの付属データであることや、付属データの推定方法として、図19で示した例のように存在確率を利用することがある点が異なるのみであり、動作の概念自体には異なる点はないので、ここでの説明は省略する。
更に、第1の実施の形態の類似オブジェクトの付属データを利用した推定と、本実施の形態における辞書オブジェクトの付属データを利用した推定とを組み合わせてもよい。この場合、類似オブジェクトを用いた付属データの推定方法、及び辞書オブジェクトを用いた推定方法を並行して行って付属データの取捨選択や推定してもよいし、順番に行うことで付属データの取捨選択や推定を行ってもよい。
2.4 具体例
ここでは、辞書データを用いて、年代に関する付属データを推定する場合についての具体例を用いて説明する。
図19は、情報処理装置2000が年代に関する付属データの推定動作を開始し、図17に示すステップS400からステップS420までを実行した結果得られた辞書オブジェクトとその定型の付属データ(年代+存在確率)を示す図である。
まず、図19のような辞書オブジェクトの付属データが得られるまでの経過を詳述する。コンテンツ群選択部102は、ステップS400において、「ユーザ」が撮影された写真(推定対象コンテンツC200)と、「自動車」が撮影された写真(推定対象コンテンツC201)が、入力コンテンツ群として選択する。
次に、オブジェクト選択部104は、ステップS405において、推定対象コンテンツC200の「ユーザ」を含む領域(入力オブジェクト;以下、OBJ1a)と、「自動車」を含む領域(入力オブジェクト;以下、OBJ2a)を入力オブジェクトとして選択する。
次に、コンテンツ解析部105は、ステップS410において、2つの入力オブジェクト(OBJ1a、OBJ2a)それぞれの特徴量を算出する。
辞書オブジェクト特定部2106は、ステップS415において、2つの入力オブジェクトそれぞれの特徴量毎に、当該特徴量に近い特徴量を持つ辞書オブジェクトを抽出する。具体的には、OBJ1aについては、顔認識機能によってオブジェクトが「ユーザ」であることが認識され、ユーザ辞書の内、顔と年代の対応関係によって「ユーザ」と顔が似通っている年代が確率つきで抽出される。また、OBJ2aについては、類似する「自動車」が2台抽出され、それぞれの年代が存在確率つきで提示された。このような状態から、付属データ推定処理(ステップS425)が開始されたとする。
付属データ推定部2108はステップS500を実行する。この場合、得られる付属データは1種類であるため、その付属データをそのまま推定に用いる。
次に、付属データ推定部2108はステップS505を実行する。推定に用いる付属データは定型であるため、付属データ推定部2108はステップS515を実行する。ここで、例えば、存在確率の和が最も大きい年代を付属データとして採用する場合、2001年の存在確率の和が55%と最も高くなるため、2001年を付属データとして採用する。
また、存在確率の和が50%以上の年代を付属データとして採用する場合、2001年と2009~2010年の存在確率の和が50%以上であるため、それぞれを付属データとして採用する。なお、閾値(ここでは、50%)については、予め定められている値を利用しても良いし、ユーザが値を設定しても良い。
また、年代を範囲として採用してもよい。この場合は、2001年~2010年の範囲を付属データとして採用する。更に、辞書オブジェクト2-1と辞書オブジェクト2-2は異なるオブジェクトであり、OBJ20と合致するのはどちらか一方であると考えれば、単純に3種類の辞書オブジェクトの付属データの存在確率の和をとらずに、辞書オブジェクト1-1と辞書オブジェクト2-1の付属データの存在確率の和と、辞書オブジェクト1-1と辞書オブジェクト2-2の付属データの存在確率の和を別々に算出し、最も存在確率が高くなる2001年を付属データとして採用してもよい。
また、複数種類の辞書データを用いて付属データを推定するようなケースも考えられるが、取捨選択や推定に用いる付属データが辞書オブジェクトの付属データであることや、推定時の付属データの組み合わせの方法として図19で示した例のように存在確率を利用することがある点を除いて、第1の実施の形態の図9で示す処理と同様であるため、ここでの説明は省略する。
2.5 まとめ
以上により、本実施の形態の情報処理装置2000は、辞書データを用いて、入力コンテンツ群の付属データを推定することが可能となる。
3.第3の実施の形態
ここでは、本発明に係る第3の実施の形態における情報処理装置の内部構成について説明する。
3.1 構成
第1の実施の形態では蓄積コンテンツに対応付けられた付属データを基に、第2の実施の形態では辞書データを基に、それぞれ推定対象コンテンツの付属データを推定したが、第3の実施の形態では、年齢推定用のデータを基に推定対象コンテンツの付属データを推定する。
以下、本実施の形態における情報処理装置3000の構成について、説明する。なお、第1の実施の形態で示す情報処理装置10の構成要素と同様の機能を有するものには、同一の符号を付する。
情報処理装置3000は、コンテンツ蓄積部3101、コンテンツ群選択部102、データベース3103、オブジェクト選択部104、コンテンツ解析部105、年齢推定オブジェクト特定部3106、付属データ抽出部3107、付属データ推定部3108、付属データ書込部109及び受付部110から構成される。
(1)データベース3103
データベース3103は、図21に示すように、コンテンツ記憶領域3200、ユーザデータ記憶領域3203を有している。
コンテンツ記憶領域3200には、第1の実施の形態と同様に、蓄積コンテンツ及び推定対象コンテンツが格納される。なお、蓄積コンテンツ及び推定対象コンテンツについては、第1の実施の形態で説明しているので、ここでの説明は省略する。
一般辞書データ記憶領域3201及びユーザ辞書データ記憶領域3202には、第2の実施の形態と同様に、一般辞書データ及びユーザ辞書データが格納される。なお、一般辞書データ及びユーザ辞書データについては、第2の実施の形態で説明しているので、ここでの説明は省略する。
ユーザデータ記憶領域3203には、図21に示すように、生年月日データ3210及び年齢推定用データ3211が格納されている。
生年月日データ3210は、複数のユーザ(ここでは、ユーザa、ユーザb、・・・、ユーザn)毎に、当該ユーザについての1つ以上の特徴量及び生年月日を対応付けたデータであり、コンテンツに含まれる被写体、及び当該被写体の年齢を特定するために用いられる。
年齢推定用データ3211には、推定対象のコンテンツに含まれるオブジェクトの年齢を推定するためのオブジェクトやイベント毎に、その付属データ(特徴量、対応するユーザ及び当該ユーザの推定年齢)を対応付けたデータである。以降において、年齢を推定するためのオブジェクトやイベントを年齢推定オブジェクトという。ここで、各付属データは、対応するオブジェクトやイベントを識別するためにも用いられる。
ここで、年齢が推定できるオブジェクトやイベントとしては、例えば、「学生服」ことや、「喫煙」をしていることが挙げられる。これは、一般的にユーザが学生服を着ている時期が中学校~高校の間に絞られること、あるいは、喫煙は日本国内においては未成年に許されていないことから、対応付けられたユーザの年齢が推定できる。また、ユーザ固有の事情に基づいたオブジェクトやイベントも考えられる。なお、年齢推定オブジェクトはこれらの例に限らず、ユーザの年齢を推定できるようなオブジェクトやイベントであれば何でも良い。
(2)コンテンツ蓄積部3101
コンテンツ蓄積部3101は、蓄積コンテンツ、推定対象コンテンツ、一般辞書データ、ユーザ辞書データ、生年月日データ及び年齢推定用データをデータベース3103に蓄積して管理する。
(3)年齢推定オブジェクト特定部3106
年齢推定オブジェクト特定部3106は、入力オブジェクトごとに、生年月日データ3210を用いて当該入力オブジェクトに類するユーザを特定するとともに、年齢推定用データ3211に含まれる年齢推定オブジェクトの中から当該入力オブジェクトに類似する年齢推定オブジェクトを1つ以上抽出する。
具体的には、年齢推定オブジェクト特定部3106は、コンテンツ解析部105で算出された入力オブジェクトの特徴量と、生年月日データ3210に含まれるユーザそれぞれの1つ以上の特徴量とから、入力オブジェクトに類似するユーザを特定する。
また、年齢推定オブジェクト特定部3106は、特定したユーザを含む付属データに対応し、且つ当該入力オブジェクトに類似する年齢推定オブジェクトを1つ以上取得する。
具体的には、年齢推定オブジェクト特定部3106は、まず、コンテンツ解析部105による入力オブジェクトの特徴量と、年齢推定用データに含まれる特徴量とから当該入力オブジェクトに類似する年齢推定オブジェクトを1つ以上取得する。年齢推定オブジェクト特定部3106は、抽出した1つ以上の年齢推定オブジェクトから、入力オブジェクトに類似するとして特定されたユーザを付属データに含む全ての年齢推定オブジェクトを取得する。
ここで、ある年齢推定オブジェクトがある入力オブジェクトに類似しているとは、入力オブジェクトの特徴量と、年齢推定オブジェクトの特徴量を比較し、両者が一致している、あるいは差異が許容範囲内で収まっている場合のことをいう。なお、許容範囲については、予め定められている値を利用しても良いし、ユーザが値を設定しても良い。
また、特定されたユーザを付属データに含むという概念は、付属データにおけるユーザに係る内容(ユーザ情報)と当該特定されたユーザとが一致すること、及び当該ユーザ情報に当該特定されたユーザを含むことをいう。
(4)付属データ抽出部3107
付属データ抽出部3107は、取得された年齢推定オブジェクトに対応する推定年齢を抽出する。
(5)付属データ推定部3108
付属データ推定部3108は、年齢推定オブジェクト特定部3106で特定されたユーザに対する生年月日と、付属データ抽出部3107で抽出された年齢推定オブジェクトの付属データとを用いて、入力コンテンツ群の年代を推定する。
3.2 動作
(1)動作概要
ここでは、情報処理装置3000動作概要について、図22に示す流れ図を用いて説明する。
コンテンツ群選択部102は、1つ以上の推定対象コンテンツそれぞれを、ユーザ操作に基づいて、1つ以上入力コンテンツ群に分類する分類処理を行う(ステップS600)。
オブジェクト選択部104は、入力コンテンツ群に含まれる推定対象コンテンツ毎に、1つ以上の入力オブジェクトを選択する(ステップS605)。具体的には、第1の実施の形態と同様に、オブジェクト選択部104は、ユーザ操作により、推定対象コンテンツに存在するオブジェクトを含む領域の指定を受け付けると、指定された領域を入力オブジェクトとして選択する。
コンテンツ解析部105は、オブジェクト選択部104で選択された1つ以上の入力オブジェクト毎に、特徴量を算出する(ステップS610)。
年齢推定オブジェクト特定部3106は、ステップS605で抽出された入力オブジェクトそれぞれについて、当該入力オブジェクトに類似するユーザの特定と、1つ以上の年齢推定オブジェクトの取得とを行う年齢推定オブジェクト取得処理を実行する(ステップS615)。
付属データ抽出部3107は、ステップS615で抽出された1つ以上の年齢推定オブジェクトそれぞれについて、当該年齢推定オブジェクトに対する推定年齢を抽出する(ステップS620)。
付属データ推定部2108は、入力コンテンツ群毎に、当該入力コンテンツ群に対する年代を推定する年代推定処理を行う(ステップS625)。
付属データ書込部109は、入力コンテンツ群毎に、当該入力コンテンツ群に含まれる全ての推定対象コンテンツに対して、ステップS625で推定された年代を付属データとして付記する(ステップS630)。
(2)分類処理
図22のステップS600に示す分類処理の詳細は、図4に示す流れ図と同様の処理動作で実現できるので、ここでの説明は省略する。
(3)年齢推定オブジェクト抽出処理
ここでは、図22のステップS615に示す年齢推定オブジェクト抽出処理の動作について図23に示す流れ図を用いて説明する。
年齢推定オブジェクト特定部3106は、ステップS605で抽出された入力オブジェクトの中から年齢推定オブジェクトの検索を行う入力オブジェクトを選択する(ステップS700)。
年齢推定オブジェクト特定部3106は、生年月日データに含まれるユーザa、・・・、ユーザnそれぞれの特徴量と、入力オブジェクトの特徴量とから、選択した入力オブジェクトに類似するユーザが特定されたか否かを判断する(ステップS705)。
特定されたと判断する場合(ステップS705における「Yes」)、年齢推定オブジェクト特定部3106は、特定されたユーザに対応付けられた生年月日を取得する(ステップS710)。さらに、年齢推定オブジェクト特定部3106は、選択した入力オブジェクトに類似する1つ以上の年齢推定オブジェクトを抽出する(ステップS715)。
年齢推定オブジェクト特定部3106は、ステップS605で抽出された全ての入力オブジェクトについて年齢推定オブジェクトを抽出が完了したか否かを判断する(ステップS720)。
完了していないと判断する場合には(ステップS720における「No」)、処理はステップS700に戻る。完了したと判断する場合には(ステップS720における「Yes」)、処理は終了する。
また、選択した入力オブジェクトに類似するユーザが特定されていないと判断する場合には(ステップS705における「No」)、処理はステップS720へ移行する。
(4)年代推定処理
ここでは、図22のステップS625に示す付属データ推定処理についての詳細な動作を図24に示す流れ図を用いて説明する。なお、当該処理は、推定対象コンテンツ毎に行われる。
付属データ推定部3108は、一の推定対象コンテンツについて、年齢推定を行う年齢推定オブジェクトを1つ選択する(ステップS800)。
付属データ推定部3108は、年齢推定オブジェクトの推定年齢から推定対象コンテンツ年代を推定する(ステップS805)。ここで、具体例を用いて説明する。なお、推定対象コンテンツは、入力オブジェクトとして「学生服を着たユーザa」が含まれているもとする。この場合、付属データ推定部3108は、ステップS800において年齢推定オブジェクトとして「学生服」を選択すると、その推定年齢である12~18歳と、ユーザaの生年月日(例えば、1976年6月13日)とから当該入力オブジェクトの年代として「1988年~1994年」を推定する。
付属データ推定部3108は、一の推定対象コンテンツに含まれる全ての入力オブジェクトについて年代の推定を行ったか否かを判断する(ステップS810)。
行っていないと判断する場合には(ステップS810における「No」)、処理がステップS800に戻る。
行ったと判断する場合には(ステップS810における「Yes」)、付属データ推定部3108は、推定した年代を組み合わせて、入力コンテンツ群に対して最適な年代を付属データとして生成する(ステップS815)。
3.3 変形例
本発明は上記の実施の形態以外に、例えば、以下のような変形例が考えられる。
(1)上記実施の形態において、年齢推定オブジェクト特定部3106は、入力オブジェクトに類似する年齢推定オブジェクトを抽出する際は、年齢推定用データ3211に含まれる全ての年齢推定オブジェクトに対して、入力オブジェクトの特徴量との比較を行ったが、これに限定されない。
例えば、年齢推定オブジェクト特定部3106は、付属データに特徴量の比較を行うべき旨が記載されている年齢推定オブジェクトに対してのみ比較を行ってもよい。
年齢推定オブジェクト特定部3106は、特定したユーザを付属データに含む全ての年齢推定オブジェクトから、入力オブジェクトに類似するものを取得してもよい。
なお、前記特徴量の比較を行う年齢推定用オブジェクトの選択方法は、前記方法に限定されるものでもない。
(2)上記実施の形態において、第2の実施の形態で示す辞書データを用いた付属データの推定機能を追加してもよい。
さらには、第1及び第2の実施の形態と、本実施の形態の推定機能を組み合わせて、蓄積オブジェクト、辞書オブジェクト、及び年齢推定オブジェクトから総合的に入力コンテンツ群に最適な付属データを推定するとしてもよい。
(3)上記実施の形態において、情報処理装置3000は、図24に示すステップS805において、年代を推定したが、これに限定されない。
例えば、情報処理装置3000は、生年月日データと年齢推定用データとから、ユーザと年齢推定用オブジェクトの組み合わせに対して年代を予め導出し、当該ユーザと年齢推定用オブジェクトとの組み合わせに導出した年代を割り当ててデータベース3103に保持しておいてもよい。
また、上述したように、予め年代を導出した場合において、当該ユーザと年齢推定用オブジェクトとの組み合わせに導出した年代を割り当てた情報を、第2の実施の形態で説明したユーザ辞書データとしてデータベース3103上にこれを保持し、年齢推定オブジェクトを辞書オブジェクトの一部として利用してもよい。
(4)上記実施の形態において、年代の推定方法として、生年月日データ3210と年齢推定用データ3211とを用いたが、これに限定されない。
例えば、ユーザa~ユーザn毎に、当該ユーザの生年月日と当該ユーザに対する年齢別の顔の特徴量とを対応付けてデータベース3103に保持しておいてもよい。この場合、年齢推定オブジェクト特定部3106は、入力オブジェクトの特徴量と、ユーザ毎の各年齢における特徴量とを比較することで、当該入力オブジェクトに類似する年齢推定オブジェクト(ここでは、ユーザの顔)を取得することができる。
また、ユーザについて、各年齢の顔の特徴量を保持するのではなく、例えば、10代の顔の特徴量、20代の顔の特徴量、・・・というようにある期間毎の顔の特徴量を、生年月日と対応付けて保持してもよい。
3.4 まとめ
以上説明したように、本実施の形態の情報処理装置3000は、入力コンテンツ群の付属データ(ここでは、年代)を推定することが可能となる。
4.変形例
以上、各実施の形態に基づいて説明したが、本発明は上記の各実施の形態に限られない。例えば、以下のような変形例が考えられる。
(1)上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、CPU(Central Processing Unit)などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。
(2)上記の各実施の形態にかかる各構成は、集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらの構成は、1チップ化されても良いし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIと表現したが、回路の集積度の違いによっては、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと称呼されることもある。また、集積回路化の手法は、LSIに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー(ReConfigurable Processor)を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、DSP(Digital Signal Processor)やCPU(Central Processing Unit)などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適応などが可能性としてあり得る。
(3)上記実施の形態及び変形例を組み合わせるとしてもよい。
5.補足
(1)本発明の一実施態様である、情報処理装置は、複数のコンテンツを取得する第1取得手段と、取得したコンテンツ毎に、当該コンテンツの特徴を示す1つ以上の特徴情報を求めると共に、前記複数のコンテンツ以外からなるデータであって当該データの識別に用いられる、当該データの属性を示す属性情報が既に付与された参照データを複数個検索して、前記特徴情報を包含する1つ以上の参照データを取得する第2取得手段と、前記コンテンツ毎に取得した1つ以上の参照データそれぞれに付与された属性情報が示す内容から前記複数のコンテンツに共通する内容を特定して、特定した内容を前記複数のコンテンツの識別に用いるべき、当該複数のコンテンツそれぞれの属性を示す属性情報とする特定手段と、前記特定手段で特定された属性情報を、前記複数のコンテンツそれぞれに付与する付与手段とを備えることを特徴とする。
この構成によると、情報処理装置は、参照データに付与されている属性情報を用いて、複数のコンテンツの識別に共通して用いられるべき属性情報を特定し、特定した属性情報を複数のコンテンツそれぞれに付与するので、複数のコンテンツからなるコンテンツ群に共通の属性情報を付与することができる。情報処理装置は、複数のコンテンツそれぞれに共通の属性情報を付与することにより、例えば、付与された属性情報を検索のキーワードとして用いることで、当該コンテンツ群を検索することができる。
(2)ここで、前記複数のコンテンツは、撮影された画像であって、少なくとも1つ以上のオブジェクトを含み、前記参照データは、付与された属性情報で識別されるオブジェクトを含み、前記第2取得手段は、前記第1取得手段で取得したコンテンツ毎に、当該コンテンツに含まれる少なくとも1つのオブジェクトを前記特徴情報として取得し、取得した全てのオブジェクトそれぞれについて、前記複数の参照データを検索して、当該オブジェクトと同一又は類似するオブジェクトを1つ以上取得し、前記特定手段は、検索により得られた1つ以上のオブジェクトそれぞれについて、当該オブジェクトを含む参照データに付与された属性情報を取得するとしてもよい。
この構成によると、情報処理装置は、特徴情報として取得したオブジェクトと同一又は類似するオブジェクトに付与されている属性情報を用いることで、複数のコンテンツの識別に共通して用いられるべき属性情報を容易に特定することができる。
(3)ここで、前記参照データは、付与された属性情報で識別されるオブジェクトを含む画像であるとしてもよい。
この構成によると、情報処理装置は、属性情報を付与すべき前記複数のコンテンツ(画像)に対して、既に属性情報が付与された画像(参照データ)を活用することができる。また、前記複数のコンテンツに関連情報を付与することで、これらコンテンツを参照データとして利用することもできる。
(4)ここで、前記参照データに含まれるオブジェクトには、オブジェクトの認識に係る信頼度が対応付けられており、前記第2取得手段は、一の参照データについて、取得対象となるオブジェクトが2つ以上検出される場合には、信頼度が最も高い1つのオブジェクトを取得するとしてもよい。
この構成によると、情報処理装置は、信頼度が最も高いオブジェクトを取得するので、前記複数のコンテンツに付与する属性情報も当該複数のコンテンツに対して信頼度の高いものとなる。
(5)ここで、前記参照データは、撮影された画像であり、前記参照データに付与されている属性情報は、撮影場所を示すものであり、前記特定手段は、参照データから取得した属性情報それぞれが示す場所に基づいて、各属性情報を所定の範囲毎にグループ化し、属する属性情報の数が最も多いグループを特定し、特定したグループが示す範囲を前記複数のコンテンツの識別に用いるべき属性情報とするとしてもよい。
この構成によると、情報処理装置は、撮影場所を示す属性情報を用いることで、前記複数のコンテンツについて共通する場所を属性情報として付与することができる。
(6)ここで、前記参照データは、撮影された画像であり、前記参照データに付与されている関連情報は、撮影日時を示すものであり、前記特定手段は、参照データから取得した属性情報それぞれが示す日時に基づいて、各属性情報を所定の期間毎にグループ化し、属する属性情報の数が最も多いグループを特定し、特定したグループに応じた期間を、前記複数のコンテンツの識別に用いるべき属性情報とするとしてもよい。
この構成によると、情報処理装置は、撮影日時を示す属性情報を用いることで、前記複数のコンテンツについて共通する期間を属性情報として付与することができる。
(7)ここで、前記参照データは、撮影された画像であり、前記参照データに付与されている属性情報は、当該参照データの内容を示すキーワードであり、前記特定手段は、参照データから取得した属性情報それぞれが示すキーワードから、同一又は同一とみなすキーワードが出現する数を特定し、特定した数が一定数以上である場合には、当該出現数が一定数以上のキーワードを、前記複数のコンテンツの識別に用いるべき属性情報とするとしてもよい。
この構成によると、情報処理装置は、コンテンツの内容を示すキーワードを属性情報とすることで、前記複数のコンテンツについて共通するキーワードを属性情報として付与することができる。
(8)ここで、前記複数の参照データにより辞書データが構成されており、前記第2取得手段は、前記第1取得手段で取得したコンテンツ毎に取得した全てのオブジェクトそれぞれについて、前記辞書データを検索して、前記1つ以上のオブジェクトを取得する としてもよい。
この構成によると、情報処理装置は、辞書データを用いることで、容易にオブジェクトを取得することができる。
(9)ここで、前記情報処理装置は、さらに、ユーザに係るユーザ情報を記憶するユーザ情報記憶手段を備え、前記第2取得手段は、前記第1取得手段で取得したコンテンツ毎に取得した全てのオブジェクトそれぞれについて、前記ユーザに関連する前記1つ以上のオブジェクトを取得し、取得した1つ以上のオブジェクトそれぞれについて、当該オブジェクトを含む参照データに付与された関連情報を取得し、取得した各属性情報と、ユーザ情報とを用いて、前記複数のコンテンツそれぞれが撮影された年代を特定し、特定した年代を前記複数のコンテンツそれぞれに対する属性情報とするとしてもよい。
この構成によると、情報処理装置は、ユーザに関連するオブジェクトの属性情報とユーザ情報とから前記複数のコンテンツに対する年代を特定するので、当該複数のコンテンツに対して適切な年代を取得することができる。
(10)ここで、前記ユーザ情報は、前記ユーザの生年月日であり、前記属性情報は、前記ユーザの年齢幅を示すデータであり、前記参照データに含まれるオブジェクトは、付与された属性情報が示す年齢幅であることが推定される前記ユーザの顔であり、前記特定手段は、取得した1つ以上の属性情報それぞれが示す年齢幅と、ユーザの生年月日とを用いて、前記複数のコンテンツそれぞれが撮影された年代を特定するとしてもよい。
この構成によると、情報処理装置は、ユーザ情報として、ユーザの生年月日を用いるので、前記複数のコンテンツに対する適切な年代を容易に特定することができる。