JP5161867B2 - コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 - Google Patents
コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP5161867B2 JP5161867B2 JP2009504899A JP2009504899A JP5161867B2 JP 5161867 B2 JP5161867 B2 JP 5161867B2 JP 2009504899 A JP2009504899 A JP 2009504899A JP 2009504899 A JP2009504899 A JP 2009504899A JP 5161867 B2 JP5161867 B2 JP 5161867B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- space
- contents
- coordinates
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/41—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/114—Pagination
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
このようなシステムにおいて、ユーザは、検索エンジンを使ってキーワード検索を行う等して、ネットワーク上の膨大なコンテンツデータのなかから、自らが興味のあるコンテンツを取得する。従来では、このようにして取得したコンテンツのリストが画面上に表示されている。
そのため、膨大なコンテンツがある場合に、コンテンツの特徴を基に、コンテンツの全体像を容易に把握できるシステムの要望がある。
<第1実施形態>
図1は、本実施形態に係わるデータ通信システムの全体構成図である。
図1に示すように、本実施形態のデータ通信システムは、例えば、複数のコンテンツサイト11、複数の端末装置13、並びに単数または複数の空間提供サーバ15を有する。
各コンテンツデータ本体には、他のコンテンツサイト11のアドレス(URL)等がリンクとして記述されている。
[端末装置13]
端末装置13は、図1に示すように、例えば、制御部25、ビューア27、ユーザ行動管理部29、ユーザ行動履歴DB(Data Base)31を機能ブロックとして有している。
図2は、図1に示す端末装置13のハードウェア構成図である。
図2に示すように、端末装置13は、ハードウェア構成として、例えば、操作部103、ディスプレイ105、インタフェース107、記憶部109、作業メモリ111および処理回路113を有している。
端末装置13は、例えば、コンピュータ、携帯機器、ゲーム機器等である。
また、ユーザ行動履歴DB31は、記憶部109に記憶されているデータを基に実現される。
当該コンテンツ空間情報は、コンテンツデータ本体の特徴量(メタデータ、属性)に応じて空間内の座標を規定した情報である。制御部25は、コンテンツ空間情報を基に、ネットワーク上の多数のコンテンツデータ本体を、その特徴に応じてユーザが探索(検索)容易な形態でディスプレイ105に表示する。
制御部25は、ユーザによる操作部103の操作に応じて、ネットワークを介してコンテンツサイト11からコンテンツデータ本体をダウンロードし、それに応じた画像をビューア27の機能を利用してディスプレイ105に表示する。
ユーザ行動管理部29は、上記生成したユーザ行動履歴データをユーザ行動履歴DB31に書き込む。
また、ユーザ行動管理部29は、上記生成したユーザ行動履歴データを、ネットワークを介して空間提供サーバ15のユーザ行動収集部61に送信する。
空間提供サーバ15は、ネットワーク上のコンテンツデータ本体を分析してメタデータを生成し、それを基にコンテンツ空間を生成する。
空間提供サーバ15は、図1に示すように、例えば、コンテンツMD生成部41、ユーザMD生成部43および空間提供部44を有する。
図3に示すように、空間提供サーバ15は、ハードウェア構成として、例えば、操作部203、ディスプレイ205、インタフェース207、記憶部209、作業メモリ211および処理回路213を有している。
図1に示すように、コンテンツMD生成部41は、例えば、クロウラー51、クロウルド(Crawled)コンテンツDB53、コンテンツMDエンジン55、コンテンツMDDB57を有する。
ここで、コンテンツMDエンジン55が本発明に用いられる特徴量取得手段の一例である。
クロウラー51は、ネットワーク上のコンテンツサイト11に能動的にアクセスし、コンテンツサイト11が記憶するコンテンツデータ本体およびその属性データをダウンロードする。
クロウラー51は、例えば、予め設定された条件に従って、ネットワーク上のコンテンツサイト11が提供するコンテンツデータ本体のうち、所定の属性のコンテンツデータ本体を自動的に受信するようにしてもよい。
また、クロウラー51は、コンテンツサイト11によってリンクされている他のコンテンツサイトが提供するコンテンツデータ本体をもダウンロードする。
クロウラー51は、ダウンロードしたコンテンツデータ本体とその属性をコンテンツデータとしてをクロウルドコンテンツDB53に格納する。
空間内表現は、例えば、当該コンテンツデータに対応するイメージデータおよび音楽データのURLである。このイメージデータは、例えばサムネイル画像である。また、音楽データは、例えば、視聴楽曲データである。
例えば、コンテンツMDエンジン55は、図4Aに示すコンテンツデータを基に、図4Bに示すコンテンツメタデータCMDを生成する。
ローレベルメタデータLMDは、コンテンツデータについての、例えば、信号処理的に算出可能な属性であり、物理的、機械的数値を示している。
ローレベルメタデータLMDは、例えば、ベースとなる空間生成(基底空間の形成、並びにコンテンツの座標算出)に用いられる。
コンテンツMDエンジン55は、コンテンツデータ本体がイメージデータである場合に、そのカラーヒストグラム、空間周波数等の画像属性データを抽出し、これをローレベルメタデータLMDとしてコンテンツメタデータCMDに含める。
また、コンテンツMDエンジン55は、上記コンテンツデータ本体が音楽データである場合に、周波数成分を解析する等により、そのテンポ、クリアネス等の音声属性データを抽出し、これをローレベルメタデータLMDとしてコンテンツメタデータCMDに含める。
コンテンツMDエンジン55は、例えば、図5および下記式(1)に基づいて、n次元(例えば、36次元)のローレベルメタデータLMDから、ハイレベルメタデータHMDの1次元の値h1を生成する。
下記式(1)において、x0はローレベルメタデータLMDの各次元の値を示すベクトル(x01,x02,...,x0n)であり、k1は線形関数である。また、b11,b12,...,b1nは、線形関数k1で規定された係数を示している。
h1
=k1(x0)=b11×x01+b12×x02,...,+b1n×x0n
…(1)
ハイレベルメタデータHMDは、後述するように、例えば、旗等、利用者の視認性、把握性向上のために用いられる。
また、ローレベルメタデータLMDおよびハイレベルメタデータHMDとしては、連続値的(アナログ的)なデータと、離散的なデータ(0,1)とがある。ここで、データの特性が連続値でなく、離散値のパターンは、値の高いとこから0.5という手法を用いることができない。そのため、1が立っているものの全体に対しての割合として扱う。
なお、コンテンツMDエンジン55において、ローレベルメタデータLMDのみを生成し、ハイレベルメタデータHMDを空間提供サーバ15以外の他のサーバで生成してもよい。また、その逆でもよい。
[メタデータ例1(音楽データ)]
コンテンツメタデータCMDが音楽データである場合に、ローレベルメタデータLMDおよびハイレベルメタデータHMDは、例えば、以下のようになる。
この場合に、ローレベルメタデータLMDの次元(特徴量)としては、例えば、音楽のテンポや増幅等に関する特徴量が用いられる。
ハイレベルメタデータHMDの次元としては、Jazz, Pop, Rock, Vocal, コンピュータ音楽、演歌、等の音楽のジャンル、あるいは優美な、クールな、雄大な、生き生きとした、静かな、のどかな等の特徴量が用いられる。
コンテンツデータが画像データである場合に、ローレベルメタデータLMDおよびハイレベルメタデータHMDは、例えば、以下のようになる。
コンテンツMDエンジン55は、例えば、クロウルドコンテンツDB53から読み出した画像のコンテンツデータの各画素のHue値を生成する。ここでHue値は、赤,黄,緑,青,紫のような色感覚の性質を特徴付ける色の属性である色相を示す値である。
このとき、コンテンツMDエンジン55は、コンテンツデータのうち、Hue値の取り得る範囲を量子化し、H1〜Hnを生成する。ここで、nは、例えば、角度360度の1度ずつとしてn=360となる。
そして、コンテンツMDエンジン55は、I(1≦i≦n)に対して、「(Hiを持つ画素の数/(全画素数)」を算出し、その結果をZiとする。
これにより、各コンテンツデータに対して Z1〜Znを次元とするローレベルメタデータLMDが生成される。
そして、コンテンツMDエンジン55は、上記認識処理により、以下の3つの属性F1,F2,F3を検出する。
F1=1つの画像の中に検出される顔の個数
F2=同様に、顔の占める面積の、全画像に対する比率
F3=口の傾き角(笑い顔、怒り顔に使えると想定)
そして、コンテンツMDエンジン55は、上記3つの属性F1,F2,F3をハイレベルメタデータHMDの次元として用いる。
そして、コンテンツMDエンジン55は、上記オブジェクトセグメンテーション処理により、以下の2つの属性A1,A2を検出する。
A1=直線から成るオブジェクトの個数(建物など、直線が含まれることが多いことを利用)
A2=同様に、その占める面積の、全画像に対する比率
そして、コンテンツMDエンジン55は、上記2つの属性A1,A2をハイレベルメタデータHMDの次元として用いる。
コンテンツデータが動画データである場合に、ローレベルメタデータLMDおよびハイレベルメタデータHMDは、例えば、以下のようになる。
コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した動画像のコンテンツデータに動きベクトル検出処理を施し、当該動画像の動きベクトルを検出する。
そして、コンテンツMDエンジン55は、上記動きベクトル検出処理により、以下の2つの属性M1,M2を検出する。
M1=全編に渡っての、動きベクトルの大きさの平均値
M2=一定以上の大きさの動きベクトルの出現確率
そして、コンテンツMDエンジン55は、上記2つの属性M1,M2をローレベルメタデータLMDの次元として用いる。
そして、コンテンツMDエンジン55は、上記シーン検出処理により、以下の2つの属性S1,S2を検出する。
S1=全編における、総シーン数
S2=1シーンの平均時間
そして、コンテンツMDエンジン55は、上記2つの属性S1,S2をローレベルメタデータLMDの次元として用いる。
コンテンツMDエンジン55は、当該人物出現率検出処理において、顔認識、人間の声検出、非人工物検出を総合的に行い人物出現を推定する。
H1=全編における人物の出現率平均値
H2=出現する人物の人数
そして、コンテンツMDエンジン55は、上記2つの属性H1,H2をハイレベルメタデータHMDの次元として用いる。
コンテンツMDエンジン55は、当該動画種類推定において、人物検出、動き検出、笑い声検出、を総合的に行い動画の種類を推定する。
M1=スポーツ的である適合度(0〜100で表す)
M2=ニュース番組的である適合度
M3=コメディ
M4=歌番組
そして、コンテンツMDエンジン55は、上記2つの属性M1〜M4をハイレベルメタデータHMDの次元として用いる。
コンテンツデータが文章データ(テキストデータ等)である場合に、ローレベルメタデータLMDおよびハイレベルメタデータHMDは、例えば、以下のようになる。
コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した文章のコンテンツデータに単語分割処理を施して、以下の2つの属性T1,T2を検出する。
コンテンツMDエンジン55は、当該単語分割処理において、各文章を形態素解析で単語に分割し、異なる単語に word_id=1,2,...,n の id を付けるとする。
T1=word_id 1 の出現回数
T2=word_id 2 の出現回数
例えば、「今日は晴れだ」という文章データは、「今日」、「は」、「晴れ」、「だ」に分割される。
そして、コンテンツMDエンジン55は、上記2つの属性T1,T2をローレベルメタデータLMDの次元として用いる。
コンテンツMDエンジン55は、当該オントロジ処理において、各単語を意味の単位にまとめ、オントロジの用語に id=1,2,...m のid を付ける。
O1=id1 の出現回数
O2=id2 の出現回数
例えば、「スキー」、「スケート」という単語は、「ウィンタースポーツ」という意味の単位にまとめられる。
そして、コンテンツMDエンジン55は、上記2つの属性O1,O2,...をハイレベルメタデータHMDの次元として用いる。
ユーザMD生成部43は、端末装置13からのユーザ行動履歴データを基に、各ユーザおよび全体ユーザの行動の属性を示すユーザ行動メタデータMD(Meta Data)を生成する。
ここで、ユーザMD生成部43が本発明に用いられるユーザ利用形態分析手段の一例である。
ユーザ行動収集部61は、複数の端末装置13のユーザ行動管理部29から受信したユーザ行動履歴データを収集ユーザ行動DB63に格納する。
当該ユーザ行動履歴データは、例えば、図6Aに示すように、ユーザ識別データuid、コンテンツ識別データc−id、並びにユーザ行動が発生した日時datetimeを対応付けて示している。
ユーザ行動MD生成エンジン65は、例えば、図6Aに示す各ユーザのユーザ行動履歴データに基づいて、各コンテンツデータについて、図6Bに示すように、当該コンテンツデータが再生される時間帯、並びに各ユーザにおいて他のコンテンツデータとの間での相対的な再生頻度を示すユーザ行動メタデータMDを生成する。
ユーザ行動MD生成エンジン65は、上記属性データに基づいて、以下の2種類の特徴量T1〜T4,F1〜F3を生成し、これらをローレベルメタデータLMDの次元として用いる。
1日のどの時間帯でその楽曲が視聴されたかの統計量
T1=その楽曲が 0:00〜6:00
に視聴された総回数(全ユーザ合計)
T2=その楽曲が 6:00〜12:00
に視聴された総回数(全ユーザ合計)
T3=その楽曲が 12:00〜18:00 に視聴された総回数(全ユーザ合計)
T4=その楽曲が 18:00〜24:00 に視聴された総回数(全ユーザ合計)
あるユーザの全再生時間に対する、その楽曲再生時間の占める頻度
F1=その楽曲の頻度が低いユーザのパーセンテージ
F2=その楽曲の頻度が中くらいのユーザのパーセンテージ
F3=その楽曲の頻度が高いユーザのパーセンテージ
当該ハイレベルメタデータHMDは、利用者プロフィールと再生回数の相関を示す統計データである。
なお、前提として、各利用者の職種、性別、地域が予めクライアント端末に入力されているとする。
P1=その楽曲を一定頻度以上で聴く人の職種が「会社員」
P2=その楽曲を一定頻度以上で聴く人の職種が「学生」
:
Pn=その楽曲を一定頻度以上で聴く人の居住地域が「都市圏」
図1に示すように、空間提供部44は、例えば、空間生成部45、空間情報DB47および空間サーバ49を有する。
ここで、空間生成部45が、本発明に用いられる空間規定手段および座標計算手段の一例である。ここで、図7に示すステップS2の機能が空間規定手段の一例として対応しており、ステップS3の機能が座標計算手段の一例として対応している。
空間生成部45は、コンテンツMD生成部41からのコンテンツメタデータCMDとユーザMD生成部43からのユーザ行動メタデータMDとを基に、ネットワーク上にある多数のコンテンツデータ本体の座標を、当該コンテンツデータ本体の特徴量に応じて規定したコンテンツ空間を形成する。
ステップS1:
空間生成部45は、コンテンツMD生成部41から入力したコンテンツメタデータCMDを基に、各コンテンツデータについて、メタ行列データMMDを生成する。
空間生成部45は、例えば、図9に示すように、各コンテンツデータについて、その音楽特徴量、画像特徴量、並びに単語メタ等の複数の属性を示すメタ行列データMMDを生成する。図9に示す各コンテンツデータのメタ行列データMMDの属性には、前述したローレベルメタデータLMDおよびハイレベルメタデータHMDの双方が含まれる。
なお、本実施形態において、基底空間およびコンテンツ空間の形成(生成)においては、ローレベルメタデータLMDを構成するr次元の特徴量を用いる。
空間生成部45は、例えば、図9に示すように、ローレベルメタデータLMDの各次元に重み付け係数W1〜Wrを乗じて基底空間を形成する。すなわち、重み付け係数W1〜Wrを決定することが、基底空間を形成することを意味する。
ここで、基底空間は、例えば、図8に示すように、対象世界から得られた活動事象の情報要素の行列データを基に、コミュニケーションの法則性および文法(ルール)を表した空間である。当該空間を規定するために、価値指標を与える軸(次元)が規定されている。
なお、空間生成部45は、端末装置13の各ユーザに固有の基底空間を形成する場合には、ユーザMD生成部43から入力したユーザ行動メタデータMDに基づいて、基底空間を構成する軸(次元)を決定する。
当該基底空間の形成処理については後に詳細に説明する。
空間生成部45は、ステップS2で形成した基底空間を基に、コンテンツ空間を形成する。
コンテンツ空間は、図8に示すように、上記基底空間に対して、後から活動事象を、その活動事象が持つ属性値を基にマッピングした空間である。
コンテンツ空間は、各コンテンツデータについて各々示される複数の属性を基に形成され、各コンテンツデータが所定の座標に割り当てられる(マッピングされる)。
具体的には、空間生成部45は、図9に示す各コンテンツデータのローレベルメタデータLMDの次元のメタデータ(特徴量)と、当該次元に対応してステップS2で決定した重み付け係数W1〜Wrとを基に、例えば、多変量解析、SOM(Self Organization Map),GAなどの手法により、当該コンテンツデータの上記基底空間内での座標を生成(計算)する。
例えば、コンテンツデータCNT1がメタデータM2,M3,M6,M8を持ち、それ以外のメタデータを持たないとする。また、メタデータM2,M3,M6,M8の基底空間上の座標がP2,P3,P6,P8であったとする。この場合には、コンテンツデータCNT1の座標は、座標P2,P3,P6,P8の重心、すなわち「ベクトルPC1={ベクトルP2+ベクトルP3+ベクトルP6+ベクトルP8}/4」として計算される。
また、簡単な例としては、基底空間が図9に示すメタデータの3次元(F1,F2,G1)で規定されている場合に、各コンテンツデータのローレベルメタデータのF1,F2,G1の値を、それぞれをコンテンツ空間内のX,Y,Z軸の値として用いる。
本実施形態において、上記空間生成部45が生成する各コンテンツデータの座標は、例えば、論理座標であり、端末装置13は、当該論理座標を基に、各コンテンツデータに対応した画像をディスプレイに表示する表示座標を決定する。
コンテンツ空間情報は、例えば、図4Cに示すように、各コンテンツデータの識別データc−id、座標(position)(Xci,Yci,Zci)、そのアドレス(URL)、書誌データ(タイトル、アーティスト)、コンテンツ空間内での表現データ(イメージデータのURL、音楽データのURL)等の情報を含んでいる。
なお、ユークリッド座標(X,Y,Z)の(0,0,0)は極座標系では表現できないので、空間生成部45は、(0,0,1)、(1,0,0)あるいは(0,1,0)等の(0,0,0)の近傍の座標として扱うことで極座標系で表現する。
このように極座標を用いてコンテンツデータの座標を表現することで、球面上にコンテンツデータに対応した画像を表示することが容易になり、画面上で利用者が空間内での方向を認識しやすくできる。
空間生成部45は、上述した基底空間およびコンテンツ空間の情報を、コンテンツ空間情報として空間情報DB47に書き込む。
そして、空間サーバ49は、PUSH方式あるいはPULL方式によって、空間情報DB47に記憶されたコンテンツ空間情報を、ネットワークを端末装置13にダウンロードする。
なお、重み付け係数W1〜Wrは、固定のものを用いてもよい。
図10は、図1に示す空間生成部45が図7に示すステップS2で行う重み付け係数W1〜Wrの決定処理を説明するためのフローチャートである。
当該決定処理は、全てのコンテンツデータに内在する価値の軸があるとの前提に立って、その軸を求めるものであり、N個のコンテンツデータをM個の小集団に分けても統計的に妥当な量(=N/M)があれば、同じ空間が求められるという考え方に基づいている。
すなわち、重み付け係数W1〜Wrが正しく決定されていれば評価関数Uが満たされ、そうでなければ満たされないという性質を用いて、現れた事象データから逆算して求めるものである。
空間生成部45は、重み付け係数W1〜Wrの初期値を決定する。当該初期値は任意である。
空間生成部45は、図1に示すコンテンツMDDB57に記憶されているコンテンツデータのうちN個のコンテンツデータの母集団をM個にランダムにサンプリングする。これにより、M個の小集団G(1)〜G(M)が生成される。
空間生成部45は、ステップS12で生成したM個の小集団G(1)〜G(M)の各々について、重み付け係数W1〜Wrを基に、基底空間SA(1)〜SA(M)を生成する。
基底空間SA(1)〜SA(M)の各々は、図9,図11に示す行列データの場合には、所定の次元(例えば、3次元)で規定され、各情報要素(特徴量、次元)の位置情報が決定される。図11に示す情報要素の種類の数Pは、例えば、図9に示す次元の総和に対応している。
空間生成部45は、例えば、多変量解析、SOM,GA(Genetic
Algorithm)などの手法により、情報要素の位置情報を生成する。
具体的には、空間生成部45は、図9での各列の各値にW1〜Wrを乗算したものを生成し、それを改めて行列A(N’行P列)と置く。図11の左図がその行列Aである。
ここで各行はコンテンツに対応し、各列は情報要素に対応する。
空間生成部45は、行列Aに対し、各列(1〜P)を各情報要素の列ベクトルと見做し、それらのベクトル類似度の高いものが近傍に布置されるよう、例えば主成分分析等の多変量解析等を用いて、情報要素を布置する。ここで、主成分分析等の多変量解析等は公知の手法であるので詳細は省略する。
なお、上述した手法以外にも、数量化3類、コレスポンデンス分析、SOM(Self
Organization Map)、GA(Genetic Algorithm)等、類似度の高いものが近傍に布置される手法であれば公知の技術を使用可能である。
なお、主成分分析を用いて3次元空間に布置する場合、例えば、支配的な軸を大きい方から3本(固有値の大きい順に3つに対応する3本の固有ベクトルに対応)選び、表示空間のX軸、Y軸、Z軸にそれぞれ対応させることで実現可能である。
空間生成部45は、ステップS13で生成した基底空間SA(1)〜SA(M)の一致度Tを計算する。
当該処理について後に詳細に説明する。
空間生成部45は、ステップS14で計算した一致度Tが評価関数Uを満足しているか否かを判断し、満足していると判断した場合には処理を終了し、そうでない場合にはステップS16に進む。
空間生成部45は、例えば、予め規定した閾値より、一致度Tが高いことを条件として判別を行う評価関数Uを用いる。これは、基底空間SA(1)〜SA(M)の一致度として所定の高さが得られていれば目的は達成されるからである。
空間生成部45は、新たな重み付け係数W1〜Wrを設定し、ステップS12に戻る。
空間生成部45は、例えば、重み付け係数W1〜Wrを入力(可変パラメータ)とし、出力を一致度Tの逆数として、その最小値を求める最小値探索問題の解決処理により、新たな重み付け係数W1〜Wrを決定する。当該解決処理としては、例えば、アニーリング法、遺伝アルゴリズム、最急降下法、Powell法等が用いられる。
ここで、アニーリング法は、パラメータ変化によって一致度Tが改善すれば、その変化を基本的に採用するがある確率で棄却し、改悪した場合は基本的に棄却するがある確率で採用する、としてLocal Minimum を抜け出すようにするものである。
図12は、図10に示すステップS14の一致度Tの算出処理を説明するためのフローチャートである。
ステップS21:
空間生成部45は、図10に示すステップS13で生成した基底空間SA(1)〜SA(M)のうち、一致度Tを検出していない1組の基底空間を選択する。
当該選択した1組の基底空間のうち一方をVsとし、他方をVtとする。
空間生成部45は、基底空間Vsと基底空間Vtとの一致度Tstを計算する。
当該計算のアルゴリズムについては後述する。
空間生成部45は、図10に示すステップS13で生成した基底空間SA(1)〜SA(M)の全ての組み合わせについて一致度Tstを検出したか否かを判断する。そして、空間生成部45は、全ての組み合わせについて一致度を検出したと判断した場合にはステップS24に進む。
空間生成部45は、ステップS22で計算した全ての組み合わせについての一致度Tstを累積して一致度Tを計算する。
図13は、図12に示すステップS22の一致度Tstの算出処理を説明するためのフローチャートである。
ステップS31:
空間生成部45は、ステップS21で選択された基底空間Vsと基底空間Vtとの軸合わせ処理を行い、基底空間Vsのu次元のベクトルVs1〜Vsuに関し、各基底空間Vtのsign_w,axis_wを得る。当該ベクトルは、基底空間内の軸に対応している。
空間生成部45は、例えば、各ベクトルVs1〜Vsuに関し、各基底空間Vtのsign_w,axis_wを得る。
また、各ベクトルVs1〜Vsuのaxis_wは、当該ベクトルに対応する基底空間Vtのベクトルを示している。
また、上記「w」は、後述するように、「1≦w≦p(軸数、次元数)」の範囲で順に変更される軸の番号を値を示している。
例えば、下記表1の例では、ベクトルVs1に対応するVtの軸はVt1であり、正負の方向が逆であることを意味する。また、ベクトルVs2に対応するVtの軸はVt3であり、正負の方向は一致することを意味する。また、ベクトルVs3に対応するVtの軸はVt2であり、正負の方向は一致することを意味する。
空間生成部45は、基底空間Vsの各ベクトルVsuに対応するsign_w,axis_wを用いて、一致度Tsuを計算する。
このとき、空間生成部45は、例えば、上記表1に示すように、基底空間Vsuのsign_w,axis_wが得られている場合に、基底空間Vtの軸を基底空間Vsに対応させる軸合わせ処理を行い、新たな基底空間Vt´を下記式(2)に示すように生成する。
これは、例えば、図14に示すように、基底空間Vs,Vtとの軸が合っていない場合に、それを合わせることを意味する。
Vt´1=−Vt1
Vt´2=Vt3
Vt´3=Vt2
…(2)
一致度Tsuは、基底空間VsのベクトルVsu上のコンテンツデータの座標posS(u)と、それに対応した基底空間VtのベクトルVtu上のコンテンツデータの座標posT(u)との距離distの和を示す。すなわち、一致度Tsu=0の場合に、完全一致を示す。
Tsu=Σ(dist(posS(u),posT(u)))
…(3)
ここで、Σは1≦u≦pの累積を示す
空間生成部45は、ステップS32で計算した一致度Tsuを、変数Tstに加算する。
空間生成部45は、「1≦u≦p」を満たす全てのuについて、ステップS33の処理を終了したか否かを判断し、終了したと判断するとステップS32に進み、そうでない場合には処理を終了する。
図15は、図13に示すステップS31の軸合わせ処理を説明するためのフローチャートである。
ステップS41:
空間生成部45は、変数uに「1」を設定する。
空間生成部45は、選択せれた一方の基底空間Vsの第u軸(ベクトルVsu)に着目し、基底空間Vtの第1〜第p軸のなかで、対応関係が未決定のV(1≦u≦p)について、下記式(4)を最大化するVを特定する。なお、abs{}は、{}内の絶対値を示す。
abs{(Vsu・Vtw)/(|Vsu|・|Vtw|)}
…(4)
空間生成部45は、下記式(5)を用いてsignを生成する。
下記式(5)において、signは正負を判別する関数である。また、sign(x)=1(x≧0の場合)、sign(x)=−1(x<0の場合)となる。
sign{(Vsu・Vtw)/(|Vsu|・|Vtw|)}
…(5)
空間生成部45は、「u≧p」を満たすと処理を終了し、満たさない場合にuを1だけインクリメントしてステップS42に戻る。
空間生成部45は、WWW等の情報空間内で、コンテンツデータのメタデータを生成し、そのメタデータを基にコンテンツデータの座標情報を含むコンテンツ空間を規定する。
端末装置13は、空間生成部45から受信した上記コンテンツ空間の情報を基に、コンテンツ再生リストの生成や、コンテンツ空間上の(Viewの)自動移動制御を行う。
また、空間生成部45は、ユーザMD生成部43が生成したユーザの登録情報、操作履歴およびサービス利用履歴等を示すユーザ行動メタデータMDを基に、ユーザ毎にコンテンツ空間を生成してもよい。これにより、ユーザに適合した所望のコンテンツデータを、当該ユーザに適合した形態で提示することが可能になる。
また、ユーザMD生成部43は、複数のユーザの端末装置13から受信したユーザ行動履歴データを基に、ユーザ行動メタデータMDを生成する。そして、空間生成部45は、当該ユーザ行動メタデータMDを利用することで、システム全体の時間的な利用統計結果を計算する。これにより、空間生成部45は、時間変動する各コンテンツデータのユーザ全体に対する普及率、浸透率を提供および利用して、コンテンツ空間を形成できる。
[第1の動作例]
当該動作例では、図1に示す空間提供部44がコンテンツMD生成部41からのコンテンツメタデータCMDを用いてコンテンツ空間情報を生成する場合を説明する。
空間提供サーバ15のクロウラー51は、ネットワーク上のコンテンツサイト11に能動的にアクセスし、コンテンツサイト11が記憶するコンテンツデータをクロウルドコンテンツDB53にダウンロードする。
次に、コンテンツMDエンジン55は、クロウルドコンテンツDB53に記憶されているコンテンツデータを信号処理により分析してローレベルメタデータLMDを生成する。また、コンテンツMDエンジン55は、ローレベルメタデータLMDを基にハイレベルメタデータHMDを生成する。コンテンツMDエンジン55は、上記ローレベルメタデータLMDおよびハイレベルメタデータHMDをコンテンツMDDB57に書き込む。
次に、空間生成部45は、各コンテンツデータCNTのローレベルメタデータLMDを基に、上記基底空間内における当該コンテンツの座標を計算する。これにより、コンテンツ空間情報が生成される。
空間サーバ49は、上記コンテンツ空間情報を端末装置13に送信する。
端末装置13の制御部25は、受信したコンテンツ空間情報に応じた画像をビューワ27に表示させる。
当該コンテンツ空間情報は、コンテンツデータ本体の特徴量(メタデータ、属性)に応じて空間内の座標を規定した情報である。そのため、制御部25は、コンテンツ空間情報を基に、ネットワーク上の多数のコンテンツデータ本体を、その属性に応じてユーザが探索(検索)容易な形態でディスプレイ105に表示できる。
当該動作例では、図1に示す空間提供部44がコンテンツMD生成部41からのコンテンツメタデータCMDと、ユーザMD生成部43からのユーザ行動メタデータMDを用いてコンテンツ空間情報を生成する場合を説明する。
端末装置13のユーザ行動管理部29は、ユーザによる操作に応じた操作部103からの操作信号、並びに当該操作によってコンテンツサイト11からダウンロードしたコンテンツデータ本体等に基づいて、ユーザ行動履歴データを生成する。
端末装置13は、このユーザ行動履歴データを空間提供サーバ15に送信する。
そして、空間提供サーバ15のユーザMD生成部43は、端末装置13からのユーザ行動履歴データを基に、各ユーザおよび全体ユーザの行動の属性を示すユーザ行動メタデータMDを生成する。
また、空間生成部45は、ユーザ行動MD生成エンジン65が生成したユーザ行動メタデータMDを入力する。
そして、空間生成部45bは、コンテンツメタデータCMDに含まれるローレベルメタデータLMDと、ユーザ行動メタデータMDとを基に、上記基底空間を決定する。
これ以降の処理は、前述した第1の動作例と同様である。
当該第2の動作例によれば、コンテンツの特徴に加えて、ユーザの行動履歴をも考慮したコンテンツ空間を提供できる。
そのため、端末装置13では、上記コンテンツ空間を基に、上記多数のコンテンツを、その特徴に応じて探索(検索)容易な形態で表示することができ、ユーザは多数のコンテンツの全体像を把握しながら、好みの属性のコンテンツに容易にアクセスできる。
本実施形態では、空間生成部45bは、コンテンツメタデータCMDを構成する複数のメタデータのうち、予め決められた所定の旗(ガイド)生成用メタデータを基に旗生成処理を行う。
音楽ジャンルとしては、例えば、ポップス、演歌、ロック、ジャズおよびクラシック等がある。
楽曲の楽器編成としては、例えば、ピアノソロ、アコースティックギター、民族打楽器等がある。
楽曲の歌声特性としては、例えば、男性ボーカル、女性ボーカル、混声合唱、少年声、少女声等がある。
楽曲のムードとしては、例えば、リズム、メロディ、スピード感等がある。具体的には、楽曲のムードとしては、柔らかい、感傷的、メロディアス、バランスのとれた、夢見心地、スピーディー、パワフル、エネルギッシュ、素朴な、懐かしい、都会的および神秘的等がある。
そして、空間生成部45bは、上記0.5%以下のコンテンツデータCNTが、コンテンツ空間内でマッピングされる位置を特定する。
また、空間生成部45bは、ローレベルメタデータLMDで形成する空間の分布を、関数F0で一様に変換し、これに空間変換Fを施して、特定の性質のコンテンツデータCNTが集まる領域を特定する。そして、空間生成部45bは、一定条件を満たした場合に、上記特定した領域に旗を生成する。
ここで、関数F0は、主成分分析(F1)、3次元射影(F2)および球状化(F3)の変換を順に施す関数である。
このような旗を空間内に形成することで、ユーザが空間分布傾向を把握するための視認性を向上できる。
図18は、図1に示す空間生成部45bによる旗生成処理を説明するためのフローチャートである。
ステップS51:
空間生成部45bは、前述したハイレベルメタデータHMDに含まれる旗生成用の図16等に示すメタデータ(特徴量)を入力する。
空間生成部45bは、ステップS51で入力したメタデータのうち、旗生成処理をしていない次元のメタデータを選択する。
ステップS53:
空間生成部45bは、ステップS52で選択した次元のメタデータについて、当該メタデータが示す値が所定の閾値を超えるコンテンツデータCNTiの数が全体の0.5%以下となる閾値を特定する。
そして、空間生成部45bは、上記0.5%以下となるコンテンツデータCNTiを特定する。
空間生成部45bは、ステップS53で特定したコンテンツデータCNTiの座標(Xci,Yci,Zci)の重心座標を計算し、これを旗座標Fi(Xfj,Yfj,Zfj)とする。
これにより、各旗の座標を、その旗が意味するハイレベルメタデータHMDの次元の値が、コンテンツデータ全体の統計的な値(平均値)より有意な差を持った高い(または低い)値を持つコンテンツデータCNTiの座標から計算できる。
ステップS55:
空間生成部45bは、旗座標Fjの生成に用いたステップS53で特定したコンテンツデータCNTiの座標の分散Vjを、下記式(6)で計算する。ここで、旗座標をFj(Xfj,Yfj,Zfj)とし、その旗の所属コンテンツデータの座標をCi
(Xci,Yci,Zci)とする。また、1≦i≦Nとする。
Vj=(1/N)*Σ{|Xfj−Xci|^2+|Yfj−Yci|^2+|Zfj−Zci|^2} …(6)
ここで、上記式(6)内のΣは(1≦i≦N)に関するものである。
空間生成部45bは、ステップS55で計算した分散Vjが所定の閾値以下であるか否かを判断し、所定値以下であると判断した場合にステップS57に進み、そうでない場合にステップS52に戻る。当該閾値としては、例えば、0.4が用いられる。
このように分散Vjが大きい場合に旗生成を行わないことで、目印として意味がない旗が生成されることを回避できる。なお、当該「0.4」は例示であり、空間生成の目的やコンテンツの種類等に応じて適宜設定される。
空間生成部45bは、ステップS54で生成した旗座標Fj(Xfj,YFj,Zfj)と空間原点O(0,0,0)との間の距離Dfjを計算する。
ステップS58:
空間生成部45bは、ステップS57で計算した距離Dfjが所定の閾値以上であるか否かを判断し、閾値以上であると判断すると、ステップS59にすすみ、そうでない場合にはステップS52に戻る。
これは、コンテンツ空間の特徴上、原点近傍のマップされたコンテンツデータCNTiは無特徴なものとみなされるため、特徴の強い旗は原点から離れた位置にマッピングされることによる。
具体的には、上記閾値は、原点から旗生成に用いた全コンテンツデータCNTiまでの距離の平均値の定数α倍を下限距離とし、原点から旗までの距離が下限距離以上であることとする。上記αは例えば0.5である。
このように原点から近い座標に旗を立てないようにすることで、特徴が少ない位置に旗を立てないようにすることができる。
なお、上述したステップS57,S58は適宜省略してもよい。
空間生成部45bは、ステップS54で生成した旗座標Fj(Xfj,YFj,Zfj)と、当該旗に対応したハイレベルメタデータHMDの次元のID(メタID)と、旗のメタ閾値とを対応付けて、旗リストデータとして例えば空間提供サーバ15内の所定のデータベースに記憶する。
ここで、旗のメタ閾値は、例えば、ステップS53で特定した閾値である。当該閾値は、後述する旗寄せ処理において,メタ閾値th_Fjとして用いられる。
これにより、第1実施形態で説明したようにコンテンツ空間内にネットワーク上にある多数のコンテンツデータ本体の座標を規定すると共に、そのコンテンツデータが位置する領域の属性(特徴)を示す旗座標も規定できる。
そのため、端末装置13では、上記コンテンツ空間を基に、上記多数のコンテンツデータの特徴を、当該コンテンツデータの座標付近に位置する旗の特徴と関連付けて把握することができる。
また、空間生成部45bは、旗の計算に用いたメタデータの各次元の閾値を、以下に示す旗寄せ処理に利用する。
当該旗寄せ処理では、旗の座標、旗のメタID、旗のメタ閾値の(旗の数ぶんの)リスト、および、コンテンツデータの座標、コンテンツデータのメタデータの(コンテンツの数分)リストを入力とし、各コンテンツの座標の各々を適切な旗の座標に寄せた座標に変更した値のリストを出力する。
ここで、上記旗を寄せる度合いは、スカラー値で外部から制御可能である。
このような旗寄せ処理を行うことで、旗近辺の精度を向上させ、旗に応じて粗密感を顕在化することで、視認性を高めることができる。
ステップS71:
空間生成部45bは、例えば、図18を用いて説明した旗生成処理により生成した旗座標と、コンテンツデータCNTの座標Ci(Xci,Yci,Zci)と、コンテンツメタデータCMDとを、例えば空間情報DB47から読み出す。
空間生成部45bは、コンテンツデータCNTiと旗jとの組み合わせについて、下記式(7)により、スコアVijを生成する。
そして、空間生成部45bは、スコアVijを基に、コンテンツデータCNTiを旗jに寄せる方向を決定する。
Vij=M_ik−th_Fj …(7)
Ci: コンテンツデータCNTi(1≦i≦N)
Fj: 旗j (1≦j≦40)
idx_Fj: 旗jに対応するメタID
th_Fj: 旗jのメタ閾値
M_ik: コンテンツデータCNTiのk番目(次元)のハイレベルメタの値
Vij: コンテンツデータCNTiの旗jに対するスコア
空間生成部45bは、ステップS72で生成した上記スコアVijの値が正となるjの個数を各iごとにカウントする。
ステップS74:
空間生成部45bは、ステップS73のカウント値が「1」のコンテンツデータCNTiについてステップS75に進み、そうでないコンテンツデータCNTiにつては旗寄せを行わない(座標を変更しない)。
空間生成部45bは、コンテンツデータCNTiを、スコアVijの値が正となる旗jに寄せる距離(移動量)を決定する。
空間生成部45bは、コンテンツデータCNTiの座標と、旗jの座標との距離Dを計算する。
そして、空間生成部45bは、上記距離Dに、一定の寄せ率 α(0<α<1) を乗じた距離α・Dを移動量として決定する。
なお、近いものを旗にたくさん寄せ、遠いものはあまり寄せない、つまり、下記式(8)に示すように、寄せ率αを距離に応じて変化させる案も考えられる。
新α = 旧α×K/(D+K) …(8)
空間生成部45bは、コンテンツデータCNTiの座標をステップS75で生成した移動量だけ、旗jの座標に向けて移動した新たな座標を生成する。
なお、上述した図19の手法では、各コンテンツデータと、それを寄せたい旗との距離が他の旗との距離より小さくなることは保証されていない。そのため、空間生成部45bは、各コンテンツデータを旗に寄せる量を微小量ずつインクメントに増やし、所定の条件が満たされるまで寄せ続けてもよい。
この旗はじき処理では、旗の近傍にそれと関連性が低いコンテンツデータが位置する場合に、当該コンテンツデータを当該旗から遠ざける。これにより、近傍にいるべきでない旗からコンテンツを離すことができ、旗近辺の精度を向上する。
ステップS81:
空間生成部45bは、例えば、図18を用いて説明した旗生成処理により生成した旗座標Fj(Xfj,YFj,Zfj)と、コンテンツデータCNTの座標Ci(Xci,Yci,Zci)と、コンテンツメタデータCMDとを、例えば空間情報DB47から読み出す。
空間生成部45bは、コンテンツデータCNTiの座標Ci (Xci,Yci,Zci)と旗jの旗座標Fj(Xfj,YFj,Zfj)を基に、両者の距離を計算する。
そして、空間生成部45bは、上記計算した距離を基に、コンテンツデータCNTiに対して最短距離にある旗jを特定する。
空間生成部45bは、ステップS82で特定した旗jについては、上記式(7)を基にスコアVijを生成する。
ステップS84:
空間生成部45bは、ステップS83で生成したスコアVijが、所定の閾値以下であるか否か、すなわちメタデータの値が十分に低いか否かを判断する。
そして、空間生成部45bは、閾値以下であると判断すると、ステップS85に進み、そうでない場合には処理を終了する(旗はじき処理を行わない)。
ステップS85:
空間生成部45bは、処理対象のコンテンツデータCNTiの座標Ci (Xci,Yci,Zci)を、ステップS82で特定した旗jの座標とは反対側に移動させる。
図21は、本発明の第2実施形態で空間生成部45bが実行する旗生成関連の全体処理を説明するためのフローチャートである。
ステップS91:
空間生成部45bは、図7等を用いて第1実施形態で説明した手法により、各コンテンツデータCNTiの座標Ci (Xci,Yci,Zci)を生成する。
空間生成部45bは、図18を用いて説明した旗生成処理を行い、旗生成を決定した次元(メタデータ)の旗座標Fj(Xfj,Yfj,Zfj)を生成する。
ステップS93:
空間生成部45bは、図19に示す旗寄せ処理を行い、ステップS92で旗座標を生成した次元に対して、コンテンツデータCNTiの座標Ci
(Xci,Yci,Zci)を必要に応じて寄せる。
ステップS94:
空間生成部45bは、図19を用いて説明した旗はじき処理を行い、関連度の低いコンテンツデータCNTiの座標を旗座標から遠ざける。
端末装置13は、受信したコンテンツ空間情報に含まれる旗座標を基に、第1実施形態で説明した画面内の旗座標に対応した位置に旗の画像を表示する。
なお、本実施形態において、旗はコンテンツのメタの目印を示すものを意味し、必ずしも旗自体に限定されるものではない。
そのため、端末装置13では、上記コンテンツ空間を基に、上記多数のコンテンツデータの特徴を、当該コンテンツデータの座標付近に位置する旗の特徴と関連付けて表示でき、それを基にユーザはコンテンツ空間全体を容易に把握することができる。
また、本実施形態によれば、旗寄せ処理を行うことで、旗近辺の精度を向上させ、旗に応じて粗密感を顕在化することで、視認性を高めることができる。
さらに、本実施形態によれば、旗はじき処理をすることで、近傍にいるべきでない旗からコンテンツを離すことができる。
第1〜3実施形態において説明した上述した図1に示す例では、空間提供サーバ15がコンテンツMD生成部41、ユーザMD生成部43および空間提供部44の機能を実現する場合を示した。
本実施形態では、例えば、これらの機能の一部を端末装置13が実現する。
図22に示す例は、第6および第7の観点の発明の一例である。
図22に示すデータ通信システムでは、端末装置13bが前述したコンテンツMD生成部41の機能を実現する。そして、空間提供サーバ15bは、ユーザMD生成部43および空間提供部44機能を実現する。
この場合に、空間提供部44の空間生成部45,45a,45bは、ネットワークを介してコンテンツMD生成部41から、コンテンツメタデータCMDおよびユーザ行動メタデータMDを受信し、これらを基にコンテンツ空間を形成する。
なお、空間生成部45,45a,45bは、ユーザ行動管理部29が生成したユーザ行動履歴データを直接用いて、当該ユーザに固有のコンテンツ空間を形成してもよい。
図22にデータ通信システムによれば、空間提供部44の機能を端末装置13bに持たせることで空間提供サーバ15bの処理負担を軽減できる。
図22に示す例は、第8および第9の観点の発明の一例である。
図23に示すデータ通信システムでは、端末装置13cが前述したコンテンツMD生成部41の機能を実現する。そして、空間提供サーバ15cは、ユーザMD生成部43および空間提供部44の機能を実現する。
この場合に、端末装置13c内のコンテンツMD生成部41は、ネットワーク上のコンテンツサイト11に能動的にアクセスしてコンテンツメタデータCMDを生成する。そして、端末装置13cは、上記コンテンツメタデータCMDを空間提供サーバ15cに送信する。
空間提供サーバ15cの空間生成部45,45a,45bは、端末装置13cから受信したコンテンツメタデータCMDを基にコンテンツ空間を生成し、これを端末装置13cに提供する。
すなわち、コンテンツデータCNTが動画像等である場合にコンテンツメタデータCMDの生成処理負荷は非常に大きい、そのため、この機能の全部あるいは一部を端末装置13cに行わせることで処理を分散させることができ、リアルタイムなコンテンツ空間が実現できる。
なお、この場合に、コンテンツメタデータCMDの生成処理を行うことを許可した端末装置13cのユーザに対して何らかの特典を与えてもよい。これにより、コンテンツメタデータCMDの生成処理を行う端末装置13cの数を増やすことができる。
なお、図1に示すコンテンツMD生成部41および空間提供部44の双方の機能を端末装置13に持たせてもよい。
また、ローレベルメタデータLMDあるいはハイレベルメタデータHMDの全部あるいは一部を、コンテンツデータCNTの提供者が生成したものを用いてもよい。
本実施形態では、図1に示す端末装置13等によるコンテンツ空間情報に基づいた画面表示を説明する。
端末装置13等の制御部25は、前述したように、空間提供部44等からコンテンツ空間情報を受信し、それに応じた画像をビューワ27に表示させる。
当該コンテンツ空間情報は、コンテンツデータ本体の属性(メタデータ)に応じて空間内の座標を規定した情報である。制御部25は、コンテンツ空間情報を基に、ネットワーク上の多数のコンテンツを、その特徴量(属性)に応じてユーザが探索(検索)容易な形態で表示する。
第1実施形態で説明した座標(Xci,Yci,Zci)の特性により、属性が近いコンテンツデータCNTiの画像CIMiは球面202上の近い位置に配置される。
コンテンツデータCNTiが楽曲データである場合には、その楽曲データのジャケット画像が画像CIMi内に表示される。
コンテンツデータCNTiが動画像データである場合には、その動画像が画像CIMi内に表示される。
本実施形態では、画像CIMi内に表示する画像を、コンテンツサイト11に実際に格納されている画像をリアルタイムに使用する。
ユーザは、図2に示す端末装置13の操作部103を操作して、地球上を歩いているイメージで球面202上を移動する。そして、例えば、球面202上のユーザ移動位置(座標)に対して最も近いコンテンツデータCNTiのオーディオ出力が図示しないスピーカで行われる。これにより、立体的な音響空間を提供できる。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、端末装置13のメモリに記憶されたコンテンツ等をも対象としてもよい。
Claims (13)
- 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手段と、
前記空間規定手段が規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手段が前記特定した重み付けとを基に計算する座標計算手段と
を有する
コンテンツ空間形成装置。 - 前記空間規定手段は、前記複数の母集団の基底空間の軸合わせ処理を行った後に前記一致度を計算する
請求項1に記載のコンテンツ空間形成装置。 - 前記複数のコンテンツの各々について、当該コンテンツを信号処理により分析して当該コンテンツの前記複数の種類の特徴量を取得する特徴量取得手段
をさらに有し、
前記空間規定手段は、前記特徴量取得手段が取得した前記特徴量を基に前記コンテンツをマッピングする空間を規定する
する請求項1に記載のコンテンツ空間形成装置。 - 前記特徴量取得手段は、ネットワーク上のコンテンツにアクセスして前記特徴量を取得する
請求項3に記載のコンテンツ空間形成装置。 - ユーザによる前記複数のコンテンツの利用形態の履歴を示すユーザ利用形態履歴データを収集し、当該ユーザ利用形態履歴データを分析して分析データを生成するユーザ利用形態分析手段
をさらに有し、
前記空間規定手段は、前記ユーザ利用形態分析手段が生成した前記分析データをさらに用いて前記空間を規定する
請求項1に記載のコンテンツ空間形成装置。 - 前記空間規定手段は、
複数のユーザのうち一部のユーザのコンテンツ利用形態履歴データに基づいて、前記複数のコンテンツのうち一部の前記コンテンツを選択し、
当該選択したコンテンツの前記特徴量の統計値と前記複数のコンテンツの前記特徴量の統計値とを基に、前記複数の種類の特徴量のうち前記空間の規定に用いる前記特徴量を決定し、当該決定した特長量を基に前記空間を規定する
請求項5に記載のコンテンツ空間形成装置。 - 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定工程と、
前記空間規定工程で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定工程において特定した前記重み付けとを基に計算する座標計算工程と
を有する
コンテンツ空間形成方法。 - 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、
前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順と
をコンピュータに実行させるプログラム。 - 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、
前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順と
をコンピュータに実行させるプログラムを記録した記録媒体。 - コンテンツ空間形成装置と端末装置とを用いたデータ通信方法であって、
前記コンテンツ空間形成装置が、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定工程と、
前記コンテンツ空間形成装置が、前記空間規定工程で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定工程において特定した前記重み付けとを基に計算する座標計算工程と、
前記コンテンツ空間形成装置から前記端末装置に、前記座標計算工程で計算した座標を送信する送信工程と、
前記端末装置が、前記送信工程で受信した前記座標を基に、前記コンテンツに対応した画像を配置した画面を表示する表示処理工程と
を有するデータ通信方法。 - 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手段と、
前記空間規定手段が規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手段が前記特定した重み付けとを基に計算する座標計算手段と、
前記座標計算手段で計算した前記座標に基づいて、前記コンテンツに対応した画像を配置した画面を表示する表示処理手段と
を有するコンピュータ。 - ユーザによる前記複数のコンテンツの利用形態の履歴を示すユーザ利用形態履歴データを生成するユーザ利用形態履歴生成手段
をさらに有し、
前記空間規定手段は、前記ユーザ利用形態履歴生成手段が生成した前記ユーザ利用形態履歴データ、あるいは当該ユーザ利用形態履歴データを基に生成されたデータをさらに用いて前記空間を規定する
請求項11に記載のコンピュータ。 - 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、
前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順と、
前記座標計算手順で計算した前記座標に基づいて、前記コンテンツに対応した画像を配置した画面を表示する表示処理手順と
をコンピュータに実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2007/000099 WO2008114306A1 (ja) | 2007-02-19 | 2007-02-19 | コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008114306A1 JPWO2008114306A1 (ja) | 2010-06-24 |
JP5161867B2 true JP5161867B2 (ja) | 2013-03-13 |
Family
ID=39765427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009504899A Active JP5161867B2 (ja) | 2007-02-19 | 2007-02-19 | コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8700675B2 (ja) |
JP (1) | JP5161867B2 (ja) |
WO (1) | WO2008114306A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8904274B2 (en) * | 2010-05-14 | 2014-12-02 | Xerox Corporation | In-situ mobile application suggestions and multi-application updates through context specific analytics |
KR101064634B1 (ko) * | 2010-12-28 | 2011-09-15 | 주식회사 네오패드 | 유저 맞춤형 컨텐츠 제공 방법 및 시스템 |
JP5862243B2 (ja) * | 2011-11-30 | 2016-02-16 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、及びその制御方法、プログラム |
JP2014067333A (ja) * | 2012-09-27 | 2014-04-17 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
KR102380979B1 (ko) * | 2015-01-05 | 2022-04-01 | 삼성전자 주식회사 | 이미지의 메타데이터 관리 방법 및 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175534A (ja) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | 画像検索方法およびその装置およびこれを利用した検索サービス |
JP2003030240A (ja) * | 2001-07-13 | 2003-01-31 | Ntt Data Corp | データ検索装置、データ検索方法、及びデータ検索プログラム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5647022A (en) * | 1992-10-13 | 1997-07-08 | Lucent Technologies Inc. | Method and apparatus for symbol recognition using multidimensional preprocessing and symbol sorting |
US7039856B2 (en) * | 1998-09-30 | 2006-05-02 | Ricoh Co., Ltd. | Automatic document classification using text and images |
JP4025443B2 (ja) * | 1998-12-04 | 2007-12-19 | 富士通株式会社 | 文書データ提供装置及び文書データ提供方法 |
US6418433B1 (en) * | 1999-01-28 | 2002-07-09 | International Business Machines Corporation | System and method for focussed web crawling |
US6381605B1 (en) * | 1999-05-29 | 2002-04-30 | Oracle Corporation | Heirarchical indexing of multi-attribute data by sorting, dividing and storing subsets |
US6990628B1 (en) * | 1999-06-14 | 2006-01-24 | Yahoo! Inc. | Method and apparatus for measuring similarity among electronic documents |
US6707950B1 (en) * | 1999-06-22 | 2004-03-16 | Eastman Kodak Company | Method for modification of non-image data in an image processing chain |
US6574279B1 (en) * | 2000-02-02 | 2003-06-03 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoding using syntactic and semantic clues |
US6490320B1 (en) * | 2000-02-02 | 2002-12-03 | Mitsubishi Electric Research Laboratories Inc. | Adaptable bitstream video delivery system |
AU2001270054A1 (en) * | 2000-06-22 | 2002-01-02 | Advisorteam.Com, Inc. | Method and system for determining personal characteristics of an individual or group |
JP3701197B2 (ja) * | 2000-12-28 | 2005-09-28 | 松下電器産業株式会社 | 分類への帰属度計算基準作成方法及び装置 |
US7353236B2 (en) * | 2001-03-21 | 2008-04-01 | Nokia Corporation | Archive system and data maintenance method |
AU2001284628A1 (en) * | 2001-08-31 | 2003-03-10 | Kent Ridge Digital Labs | Time-based media navigation system |
US8214391B2 (en) * | 2002-05-08 | 2012-07-03 | International Business Machines Corporation | Knowledge-based data mining system |
US7085755B2 (en) * | 2002-11-07 | 2006-08-01 | Thomson Global Resources Ag | Electronic document repository management and access system |
US7181450B2 (en) * | 2002-12-18 | 2007-02-20 | International Business Machines Corporation | Method, system, and program for use of metadata to create multidimensional cubes in a relational database |
US8555273B1 (en) * | 2003-09-17 | 2013-10-08 | Palm. Inc. | Network for updating electronic devices |
JP2008502983A (ja) * | 2004-06-17 | 2008-01-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 性格属性を使うパーソナル化したサマリー |
US20060038812A1 (en) * | 2004-08-03 | 2006-02-23 | Warn David R | System and method for controlling a three dimensional morphable model |
US20060248094A1 (en) * | 2005-04-28 | 2006-11-02 | Microsoft Corporation | Analysis and comparison of portfolios by citation |
US20060248055A1 (en) * | 2005-04-28 | 2006-11-02 | Microsoft Corporation | Analysis and comparison of portfolios by classification |
JP4721111B2 (ja) * | 2005-11-24 | 2011-07-13 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システム、画像処理プログラムおよび画像処理方法 |
US20070212507A1 (en) * | 2006-03-13 | 2007-09-13 | Arst Kevin M | Document Flagging And Indexing System |
US7790974B2 (en) * | 2006-05-01 | 2010-09-07 | Microsoft Corporation | Metadata-based song creation and editing |
US7788254B2 (en) * | 2007-05-04 | 2010-08-31 | Microsoft Corporation | Web page analysis using multiple graphs |
-
2007
- 2007-02-19 WO PCT/JP2007/000099 patent/WO2008114306A1/ja active Application Filing
- 2007-02-19 JP JP2009504899A patent/JP5161867B2/ja active Active
- 2007-02-19 US US12/522,400 patent/US8700675B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175534A (ja) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | 画像検索方法およびその装置およびこれを利用した検索サービス |
JP2003030240A (ja) * | 2001-07-13 | 2003-01-31 | Ntt Data Corp | データ検索装置、データ検索方法、及びデータ検索プログラム |
Non-Patent Citations (2)
Title |
---|
CSNG200200335001; 早川 和宏: 'ユーザの利用履歴に基づくWWWサーバの地図型ディレクトリ' 情報処理学会研究報告 Vol.97 No.2, 19970116, 17-24ページ, 社団法人情報処理学会 * |
JPN6011062043; 早川 和宏: 'ユーザの利用履歴に基づくWWWサーバの地図型ディレクトリ' 情報処理学会研究報告 Vol.97 No.2, 19970116, 17-24ページ, 社団法人情報処理学会 * |
Also Published As
Publication number | Publication date |
---|---|
US8700675B2 (en) | 2014-04-15 |
WO2008114306A1 (ja) | 2008-09-25 |
US20100100549A1 (en) | 2010-04-22 |
JPWO2008114306A1 (ja) | 2010-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pandeya et al. | Deep learning-based late fusion of multimodal information for emotion classification of music video | |
CN103946838B (zh) | 交互式多模图像搜索 | |
CN104428767B (zh) | 用于识别相关实体的方法、系统和装置 | |
US9077949B2 (en) | Content search device and program that computes correlations among different features | |
CN103793446B (zh) | 音乐视频的生成方法和系统 | |
Neumayer et al. | Playsom and pocketsomplayer, alternative interfaces to large music collections | |
Hong et al. | Cbvmr: content-based video-music retrieval using soft intra-modal structure constraint | |
US8503770B2 (en) | Information processing apparatus and method, and program | |
CN106575503A (zh) | 用于对话理解系统的会话上下文建模 | |
Mironică et al. | A modified vector of locally aggregated descriptors approach for fast video classification | |
JP5161867B2 (ja) | コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 | |
CN108292322A (zh) | 使用从查看环境捕捉的信号的媒体数据文件的组织、检索、注释和呈现 | |
CN105718566A (zh) | 一种智能音乐推荐系统 | |
Roy et al. | iMusic: a session-sensitive clustered classical music recommender system using contextual representation learning | |
CN113395578A (zh) | 一种提取视频主题文本的方法、装置、设备及存储介质 | |
Schindler et al. | Harnessing music-related visual stereotypes for music information retrieval | |
Fong et al. | A theory-based interpretable deep learning architecture for music emotion | |
Yang | Research on music content recognition and recommendation technology based on deep learning | |
CN116051192A (zh) | 处理数据的方法和装置 | |
Sundaram et al. | Audio retrieval by latent perceptual indexing | |
CN106294563B (zh) | 一种多媒体数据的处理方法和装置 | |
Coviello et al. | Automatic Music Tagging With Time Series Models. | |
Chordia et al. | Extending Content-Based Recommendation: The Case of Indian Classical Music. | |
Barthel et al. | Fusing keyword search and visual exploration for untagged videos | |
Nakano et al. | Musical similarity and commonness estimation based on probabilistic generative models of musical elements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120217 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5161867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |