JP5161867B2 - コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 - Google Patents

コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP5161867B2
JP5161867B2 JP2009504899A JP2009504899A JP5161867B2 JP 5161867 B2 JP5161867 B2 JP 5161867B2 JP 2009504899 A JP2009504899 A JP 2009504899A JP 2009504899 A JP2009504899 A JP 2009504899A JP 5161867 B2 JP5161867 B2 JP 5161867B2
Authority
JP
Japan
Prior art keywords
content
space
contents
coordinates
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009504899A
Other languages
English (en)
Other versions
JPWO2008114306A1 (ja
Inventor
隆行 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2008114306A1 publication Critical patent/JPWO2008114306A1/ja
Application granted granted Critical
Publication of JP5161867B2 publication Critical patent/JP5161867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/113Details of archiving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/114Pagination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、複数のコンテンツの特徴に関連付けた空間提供に用いられるコンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体に関するものである。
WWW(World Wide Web)等のシステム上では膨大な数のコンテンツデータが複数のコンピュータ上に記憶されている。
このようなシステムにおいて、ユーザは、検索エンジンを使ってキーワード検索を行う等して、ネットワーク上の膨大なコンテンツデータのなかから、自らが興味のあるコンテンツを取得する。従来では、このようにして取得したコンテンツのリストが画面上に表示されている。
しかしながら、上述した従来の手法では、リスト表示されるコンテンツの数が膨大になると、ネットワーク上のコンテンツの全体像(概観)を、その特徴を基に把握することが困難である。その結果として、自らが望むコンテンツを取得することが困難である。
そのため、膨大なコンテンツがある場合に、コンテンツの特徴を基に、コンテンツの全体像を容易に把握できるシステムの要望がある。
本発明はかかる事情に鑑みてなされたものであり、その目的は、複数のコンテンツの全体像を、その特徴量を基に容易に把握することを可能にするコンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体を提供することにある。
上述した従来技術の問題を解決し、上述した目的を達成するために、第1の観点の発明のコンテンツ空間形成装置は、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手段と、前記空間規定手段が規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手段が前記特定した重み付けとを基に計算する座標計算手段とを有する。
第2の観点の発明のコンテンツ空間形成方法は、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定工程と、前記空間規定工程で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定工程において特定した前記重み付けとを基に計算する座標計算工程とを有する。
第3の観点の発明のプログラムは、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順とをコンピュータに実行させる。
第4の観点の発明の記録媒体は、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順とをコンピュータに実行させる。
第5の観点の発明のデータ通信方法は、コンテンツ空間形成装置と端末装置とを用いたデータ通信方法であって、前記コンテンツ空間形成装置が、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定工程と、前記コンテンツ空間形成装置が、前記空間規定工程で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定工程において特定した前記重み付けとを基に計算する座標計算工程と、前記コンテンツ空間形成装置から前記端末装置に、前記座標計算工程で計算した座標を送信する送信工程と、前記端末装置が、前記送信工程で受信した前記座標を基に、前記コンテンツに対応した画像を配置した画面を表示する表示処理工程とを有する。
第6の観点の発明のコンピュータは、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手段と、 前記空間規定手段が規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手段が前記特定した重み付けとを基に計算する座標計算手段と、前記座標計算手段で計算した前記座標に基づいて、前記コンテンツに対応した画像を配置した画面を表示する表示処理手段とを有する。
第7の観点の発明のコンピュータは、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手段と、前記空間規定手段が規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手段が前記特定した重み付けとを基に計算する座標計算手段と、前記座標計算手段で計算した前記座標に基づいて、前記コンテンツに対応した画像を配置した画面を表示する表示処理手段とを有する。
第8の観点の発明のプログラムは、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順と、前記座標計算手順で計算した前記座標に基づいて、前記コンテンツに対応した画像を配置した画面を表示する表示処理手順とをコンピュータに実行させる。
本発明によれば、複数のコンテンツの全体像を、その特徴量を基に容易に把握することを可能にするコンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体を提供することができる。
以下、本発明の実施形態に係わるデータ通信システムについて説明する。
<第1実施形態>
図1は、本実施形態に係わるデータ通信システムの全体構成図である。
図1に示すように、本実施形態のデータ通信システムは、例えば、複数のコンテンツサイト11、複数の端末装置13、並びに単数または複数の空間提供サーバ15を有する。
本実施形態のデータ通信システムは、空間提供サーバ15が、ネットワーク上の複数のコンテンツサイト11に能動的にアクセスして、コンテンツサイト11の保持するコンテンツデータ本体を分析して複数の種類のメタデータ(属性、特徴量)を生成する。そして、空間提供サーバ15は、当該複数のメタデータを基に、ネットワーク上にある多数のコンテンツデータ本体の座標を、その複数のメタデータに応じて規定したコンテンツ空間情報を生成する。
端末装置13では、上記コンテンツ空間情報を基に、上記多数のコンテンツデータ本体の識別画像を、その座標を基に表示する。このとき、コンテンツデータ本体の座標は、その特徴量を基に規定されているため、コンテンツデータ本体の特徴を把握容易な表示、すなわち検索容易な表示が可能になる。
図1に示すように、ネットワーク上には複数のコンテンツサイト11が存在し、各コンテンツサイト11がコンテンツDB23にコンテンツデータ本体を記憶している。
各コンテンツデータ本体には、他のコンテンツサイト11のアドレス(URL)等がリンクとして記述されている。
以下、図1に示す各構成要素の機能を詳細に説明する。
[端末装置13]
端末装置13は、図1に示すように、例えば、制御部25、ビューア27、ユーザ行動管理部29、ユーザ行動履歴DB(Data Base)31を機能ブロックとして有している。
図2は、図1に示す端末装置13のハードウェア構成図である。
図2に示すように、端末装置13は、ハードウェア構成として、例えば、操作部103、ディスプレイ105、インタフェース107、記憶部109、作業メモリ111および処理回路113を有している。
端末装置13は、例えば、コンピュータ、携帯機器、ゲーム機器等である。
図1に示す制御部25、本実施形態で説明するビューワ27およびユーザ行動管理部29の機能は、図2に示す処理回路113がプログラムPROG−Tを実行することで実現される。すなわち、プログラムPROG−Tには、本実施形態においてビューワ27およびユーザ行動管理部29が行う処理のステップが記述されている。なお、プログラムPROG−Tは、例えば、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等の記録媒体に記録されてもよい。
また、ユーザ行動履歴DB31は、記憶部109に記憶されているデータを基に実現される。
制御部25は、後述するように、空間提供サーバ15からコンテンツ空間情報を受信し、それに応じた画像をビューワ27に表示させる。
当該コンテンツ空間情報は、コンテンツデータ本体の特徴量(メタデータ、属性)に応じて空間内の座標を規定した情報である。制御部25は、コンテンツ空間情報を基に、ネットワーク上の多数のコンテンツデータ本体を、その特徴に応じてユーザが探索(検索)容易な形態でディスプレイ105に表示する。
制御部25は、ユーザによる操作部103の操作に応じて、ネットワークを介してコンテンツサイト11からコンテンツデータ本体をダウンロードし、それに応じた画像をビューア27の機能を利用してディスプレイ105に表示する。
ユーザ行動管理部29は、例えば、ユーザによる操作に応じた操作部103からの操作信号、並びに当該操作によってコンテンツサイト11からダウンロードしたコンテンツデータ本体等に基づいて、ユーザ行動履歴データを生成する。
ユーザ行動管理部29は、上記生成したユーザ行動履歴データをユーザ行動履歴DB31に書き込む。
また、ユーザ行動管理部29は、上記生成したユーザ行動履歴データを、ネットワークを介して空間提供サーバ15のユーザ行動収集部61に送信する。
[空間提供サーバ15]
空間提供サーバ15は、ネットワーク上のコンテンツデータ本体を分析してメタデータを生成し、それを基にコンテンツ空間を生成する。
空間提供サーバ15は、図1に示すように、例えば、コンテンツMD生成部41、ユーザMD生成部43および空間提供部44を有する。
図3は、図1に示す空間提供サーバ15のハードウェア構成図である。
図3に示すように、空間提供サーバ15は、ハードウェア構成として、例えば、操作部203、ディスプレイ205、インタフェース207、記憶部209、作業メモリ211および処理回路213を有している。
図1に示す空間提供サーバ15内の各機能ブロックは、図3に示す処理回路213がプログラムPRG−Sを実行することで実現される。すなわち、プログラムPROG−Sには、本実施形態において空間提供サーバ15の各機能ブロックが行う処理のステップが記述されている。なお、プログラムPROG−Sは、例えば、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等の記録媒体に記録されてもよい。
[コンテンツMD生成部41]
図1に示すように、コンテンツMD生成部41は、例えば、クロウラー51、クロウルド(Crawled)コンテンツDB53、コンテンツMDエンジン55、コンテンツMDDB57を有する。
ここで、コンテンツMDエンジン55が本発明に用いられる特徴量取得手段の一例である。
クロウラー51は、ネットワーク上のコンテンツサイト11に能動的にアクセスし、コンテンツサイト11が記憶するコンテンツデータ本体およびその属性データをダウンロードする。
クロウラー51は、例えば、予め設定された条件に従って、ネットワーク上のコンテンツサイト11が提供するコンテンツデータ本体のうち、所定の属性のコンテンツデータ本体を自動的に受信するようにしてもよい。
また、クロウラー51は、コンテンツサイト11によってリンクされている他のコンテンツサイトが提供するコンテンツデータ本体をもダウンロードする。
クロウラー51は、ダウンロードしたコンテンツデータ本体とその属性をコンテンツデータとしてをクロウルドコンテンツDB53に格納する。
クロウルドコンテンツDB53は、例えば、図4Aに示すように、格納するコンテンツデータの識別データc−id、当該コンテンツデータが記憶されているURL(ネットワーク上のアドレス)、書誌的事項(タイトル、アーティスト)、空間内表現を対応付けて記憶する。
空間内表現は、例えば、当該コンテンツデータに対応するイメージデータおよび音楽データのURLである。このイメージデータは、例えばサムネイル画像である。また、音楽データは、例えば、視聴楽曲データである。
コンテンツMDエンジン55は、クロウルドコンテンツDB53に記憶されているコンテンツデータを信号処理により分析してコンテンツメタデータCMDを生成し、これをコンテンツMDDB57に書き込む。
例えば、コンテンツMDエンジン55は、図4Aに示すコンテンツデータを基に、図4Bに示すコンテンツメタデータCMDを生成する。
具体的には、コンテンツMDエンジン55は、URLを基にネットワーク上のコンテンツデータ本体にアクセスを行い、それを信号処理により分析等して、ローレベルメタデータLMDを生成する。
ローレベルメタデータLMDは、コンテンツデータについての、例えば、信号処理的に算出可能な属性であり、物理的、機械的数値を示している。
ローレベルメタデータLMDは、例えば、ベースとなる空間生成(基底空間の形成、並びにコンテンツの座標算出)に用いられる。
コンテンツMDエンジン55は、コンテンツデータ本体がイメージデータである場合に、そのカラーヒストグラム、空間周波数等の画像属性データを抽出し、これをローレベルメタデータLMDとしてコンテンツメタデータCMDに含める。
また、コンテンツMDエンジン55は、上記コンテンツデータ本体が音楽データである場合に、周波数成分を解析する等により、そのテンポ、クリアネス等の音声属性データを抽出し、これをローレベルメタデータLMDとしてコンテンツメタデータCMDに含める。
コンテンツMDエンジン55は、上記ローレベルメタデータLMDを基に、所定の学習処理を行って、ハイレベルメタデータHMDを生成する。学習処理で用いる学習則としては、線形、非線形などがある。
コンテンツMDエンジン55は、例えば、図5および下記式(1)に基づいて、n次元(例えば、36次元)のローレベルメタデータLMDから、ハイレベルメタデータHMDの1次元の値h1を生成する。
下記式(1)において、x0はローレベルメタデータLMDの各次元の値を示すベクトル(x01,x02,...,x0n)であり、k1は線形関数である。また、b11,b12,...,b1nは、線形関数k1で規定された係数を示している。
[数1]
h1
=k1(x0)=b11×x01+b12×x02,...,+b1n×x0n
…(1)
ハイレベルメタデータHMDは、コンテンツデータについての、人間理解に近い特徴量(属性)を示している。
ハイレベルメタデータHMDは、後述するように、例えば、旗等、利用者の視認性、把握性向上のために用いられる。
ところで、コンテンツMDエンジン55は、1つの属性について、大小のイメージが逆の場合や、値の高低について2つの意味がとれる場合等に、当該1つの属性のメタデータを2つのメタデータとして扱う。
また、ローレベルメタデータLMDおよびハイレベルメタデータHMDとしては、連続値的(アナログ的)なデータと、離散的なデータ(0,1)とがある。ここで、データの特性が連続値でなく、離散値のパターンは、値の高いとこから0.5という手法を用いることができない。そのため、1が立っているものの全体に対しての割合として扱う。
なお、コンテンツMDエンジン55において、ローレベルメタデータLMDのみを生成し、ハイレベルメタデータHMDを空間提供サーバ15以外の他のサーバで生成してもよい。また、その逆でもよい。
以下、コンテンツメタデータCMDの種類に応じたローレベルメタデータLMDおよびハイレベルメタデータHMDの各種の例について説明する。
[メタデータ例1(音楽データ)]
コンテンツメタデータCMDが音楽データである場合に、ローレベルメタデータLMDおよびハイレベルメタデータHMDは、例えば、以下のようになる。
この場合に、ローレベルメタデータLMDの次元(特徴量)としては、例えば、音楽のテンポや増幅等に関する特徴量が用いられる。
ハイレベルメタデータHMDの次元としては、Jazz, Pop, Rock, Vocal, コンピュータ音楽、演歌、等の音楽のジャンル、あるいは優美な、クールな、雄大な、生き生きとした、静かな、のどかな等の特徴量が用いられる。
[メタデータ例2(画像データ)]
コンテンツデータが画像データである場合に、ローレベルメタデータLMDおよびハイレベルメタデータHMDは、例えば、以下のようになる。
コンテンツMDエンジン55は、例えば、クロウルドコンテンツDB53から読み出した画像のコンテンツデータの各画素のHue値を生成する。ここでHue値は、赤,黄,緑,青,紫のような色感覚の性質を特徴付ける色の属性である色相を示す値である。
このとき、コンテンツMDエンジン55は、コンテンツデータのうち、Hue値の取り得る範囲を量子化し、H1〜Hnを生成する。ここで、nは、例えば、角度360度の1度ずつとしてn=360となる。
そして、コンテンツMDエンジン55は、I(1≦i≦n)に対して、「(Hiを持つ画素の数/(全画素数)」を算出し、その結果をZiとする。
これにより、各コンテンツデータに対して Z1〜Znを次元とするローレベルメタデータLMDが生成される。
また、その他の例として、コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した画像のコンテンツデータにDCT(Discrete Cosine Transform:離散コサイン変換)等の空間周波数変換を施して周波数係数S1〜Smを生成し、これをローレベルメタデータLMDの次元として用いる。
また、コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した画像のコンテンツデータにパターン認識処理を施し、当該画像内に存在する顔画像を認識する。
そして、コンテンツMDエンジン55は、上記認識処理により、以下の3つの属性F1,F2,F3を検出する。
F1=1つの画像の中に検出される顔の個数
F2=同様に、顔の占める面積の、全画像に対する比率
F3=口の傾き角(笑い顔、怒り顔に使えると想定)
そして、コンテンツMDエンジン55は、上記3つの属性F1,F2,F3をハイレベルメタデータHMDの次元として用いる。
また、その他の例として、コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した画像のコンテンツデータにオブジェクトセグメンテーション処理(object segmentation)を施し、当該画像内に存在する人工物画像を認識する。
そして、コンテンツMDエンジン55は、上記オブジェクトセグメンテーション処理により、以下の2つの属性A1,A2を検出する。
A1=直線から成るオブジェクトの個数(建物など、直線が含まれることが多いことを利用)
A2=同様に、その占める面積の、全画像に対する比率
そして、コンテンツMDエンジン55は、上記2つの属性A1,A2をハイレベルメタデータHMDの次元として用いる。
[メタデータ例3(動画データ)]
コンテンツデータが動画データである場合に、ローレベルメタデータLMDおよびハイレベルメタデータHMDは、例えば、以下のようになる。
コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した動画像のコンテンツデータに動きベクトル検出処理を施し、当該動画像の動きベクトルを検出する。
そして、コンテンツMDエンジン55は、上記動きベクトル検出処理により、以下の2つの属性M1,M2を検出する。
M1=全編に渡っての、動きベクトルの大きさの平均値
M2=一定以上の大きさの動きベクトルの出現確率
そして、コンテンツMDエンジン55は、上記2つの属性M1,M2をローレベルメタデータLMDの次元として用いる。
その他の例として、コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した動画像のコンテンツデータにシーン検出処理を施し、連続フレーム同士の相関をとり、シーン切り替わりを検出する。
そして、コンテンツMDエンジン55は、上記シーン検出処理により、以下の2つの属性S1,S2を検出する。
S1=全編における、総シーン数
S2=1シーンの平均時間
そして、コンテンツMDエンジン55は、上記2つの属性S1,S2をローレベルメタデータLMDの次元として用いる。
また、コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した動画像のコンテンツデータに人物出現率検出処理を施し、以下の2つの属性H1,H2を検出する。
コンテンツMDエンジン55は、当該人物出現率検出処理において、顔認識、人間の声検出、非人工物検出を総合的に行い人物出現を推定する。
H1=全編における人物の出現率平均値
H2=出現する人物の人数
そして、コンテンツMDエンジン55は、上記2つの属性H1,H2をハイレベルメタデータHMDの次元として用いる。
その他の例として、コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した動画像のコンテンツデータに動画種類推定処理を施し、以下の2つの属性M1〜M4を検出する。
コンテンツMDエンジン55は、当該動画種類推定において、人物検出、動き検出、笑い声検出、を総合的に行い動画の種類を推定する。
M1=スポーツ的である適合度(0〜100で表す)
M2=ニュース番組的である適合度
M3=コメディ
M4=歌番組
そして、コンテンツMDエンジン55は、上記2つの属性M1〜M4をハイレベルメタデータHMDの次元として用いる。
[メタデータ例4(文章データ)]
コンテンツデータが文章データ(テキストデータ等)である場合に、ローレベルメタデータLMDおよびハイレベルメタデータHMDは、例えば、以下のようになる。
コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した文章のコンテンツデータに単語分割処理を施して、以下の2つの属性T1,T2を検出する。
コンテンツMDエンジン55は、当該単語分割処理において、各文章を形態素解析で単語に分割し、異なる単語に word_id=1,2,...,n の id を付けるとする。
T1=word_id 1 の出現回数
T2=word_id 2 の出現回数
例えば、「今日は晴れだ」という文章データは、「今日」、「は」、「晴れ」、「だ」に分割される。
そして、コンテンツMDエンジン55は、上記2つの属性T1,T2をローレベルメタデータLMDの次元として用いる。
また、コンテンツMDエンジン55は、クロウルドコンテンツDB53から読み出した文章のコンテンツデータにオントロジ処理を施して、以下の2つの属性O1,O2,...を検出する。
コンテンツMDエンジン55は、当該オントロジ処理において、各単語を意味の単位にまとめ、オントロジの用語に id=1,2,...m のid を付ける。
O1=id1 の出現回数
O2=id2 の出現回数
例えば、「スキー」、「スケート」という単語は、「ウィンタースポーツ」という意味の単位にまとめられる。
そして、コンテンツMDエンジン55は、上記2つの属性O1,O2,...をハイレベルメタデータHMDの次元として用いる。
[ユーザMD生成部43]
ユーザMD生成部43は、端末装置13からのユーザ行動履歴データを基に、各ユーザおよび全体ユーザの行動の属性を示すユーザ行動メタデータMD(Meta Data)を生成する。
ここで、ユーザMD生成部43が本発明に用いられるユーザ利用形態分析手段の一例である。
図1に示すように、ユーザMD生成部43は、例えば、ユーザ行動収集部61、収集ユーザ行動DB63、ユーザ行動MD生成エンジン65およびユーザ行動MDDB67を有する。
ユーザ行動収集部61は、複数の端末装置13のユーザ行動管理部29から受信したユーザ行動履歴データを収集ユーザ行動DB63に格納する。
当該ユーザ行動履歴データは、例えば、図6Aに示すように、ユーザ識別データuid、コンテンツ識別データc−id、並びにユーザ行動が発生した日時datetimeを対応付けて示している。
ユーザ行動MD生成エンジン65は、収集ユーザ行動DB63に記憶されているユーザ行動履歴データを分析してユーザ行動メタデータMDを生成し、これをユーザ行動MDDB67に格納する。
ユーザ行動MD生成エンジン65は、例えば、図6Aに示す各ユーザのユーザ行動履歴データに基づいて、各コンテンツデータについて、図6Bに示すように、当該コンテンツデータが再生される時間帯、並びに各ユーザにおいて他のコンテンツデータとの間での相対的な再生頻度を示すユーザ行動メタデータMDを生成する。
また、ユーザ行動MD生成エンジン65は、以下に示すように、コンテンツデータに関連付けられた属性データ等に基づいて、ユーザ行動メタデータMDを構成するローレベルメタデータLMDおよびハイレベルメタデータHMDを生成する。
ユーザ行動MD生成エンジン65は、上記属性データに基づいて、以下の2種類の特徴量T1〜T4,F1〜F3を生成し、これらをローレベルメタデータLMDの次元として用いる。
時間帯別再生回数:
1日のどの時間帯でその楽曲が視聴されたかの統計量
T1=その楽曲が 0:00〜6:00
に視聴された総回数(全ユーザ合計)
T2=その楽曲が 6:00〜12:00
に視聴された総回数(全ユーザ合計)
T3=その楽曲が 12:00〜18:00 に視聴された総回数(全ユーザ合計)
T4=その楽曲が 18:00〜24:00 に視聴された総回数(全ユーザ合計)
相対的再生頻度:
あるユーザの全再生時間に対する、その楽曲再生時間の占める頻度
F1=その楽曲の頻度が低いユーザのパーセンテージ
F2=その楽曲の頻度が中くらいのユーザのパーセンテージ
F3=その楽曲の頻度が高いユーザのパーセンテージ
また、ユーザ行動MD生成エンジン65は、上記属性に基づいて、以下の特徴量P1〜Pnを生成し、これらをハイレベルメタデータHMDの次元として用いる。
当該ハイレベルメタデータHMDは、利用者プロフィールと再生回数の相関を示す統計データである。
なお、前提として、各利用者の職種、性別、地域が予めクライアント端末に入力されているとする。
P1=その楽曲を一定頻度以上で聴く人の職種が「会社員」
P2=その楽曲を一定頻度以上で聴く人の職種が「学生」

Pn=その楽曲を一定頻度以上で聴く人の居住地域が「都市圏」
[空間提供部44]
図1に示すように、空間提供部44は、例えば、空間生成部45、空間情報DB47および空間サーバ49を有する。
ここで、空間生成部45が、本発明に用いられる空間規定手段および座標計算手段の一例である。ここで、図7に示すステップS2の機能が空間規定手段の一例として対応しており、ステップS3の機能が座標計算手段の一例として対応している。
空間生成部45は、コンテンツMD生成部41からのコンテンツメタデータCMDとユーザMD生成部43からのユーザ行動メタデータMDとを基に、ネットワーク上にある多数のコンテンツデータ本体の座標を、当該コンテンツデータ本体の特徴量に応じて規定したコンテンツ空間を形成する。
図7は、空間生成部45が行う処理を説明するためのフローチャートである。
ステップS1:
空間生成部45は、コンテンツMD生成部41から入力したコンテンツメタデータCMDを基に、各コンテンツデータについて、メタ行列データMMDを生成する。
空間生成部45は、例えば、図9に示すように、各コンテンツデータについて、その音楽特徴量、画像特徴量、並びに単語メタ等の複数の属性を示すメタ行列データMMDを生成する。図9に示す各コンテンツデータのメタ行列データMMDの属性には、前述したローレベルメタデータLMDおよびハイレベルメタデータHMDの双方が含まれる。
なお、本実施形態において、基底空間およびコンテンツ空間の形成(生成)においては、ローレベルメタデータLMDを構成するr次元の特徴量を用いる。
ステップS2:
空間生成部45は、例えば、図9に示すように、ローレベルメタデータLMDの各次元に重み付け係数W1〜Wrを乗じて基底空間を形成する。すなわち、重み付け係数W1〜Wrを決定することが、基底空間を形成することを意味する。
ここで、基底空間は、例えば、図8に示すように、対象世界から得られた活動事象の情報要素の行列データを基に、コミュニケーションの法則性および文法(ルール)を表した空間である。当該空間を規定するために、価値指標を与える軸(次元)が規定されている。
なお、空間生成部45は、端末装置13の各ユーザに固有の基底空間を形成する場合には、ユーザMD生成部43から入力したユーザ行動メタデータMDに基づいて、基底空間を構成する軸(次元)を決定する。
当該基底空間の形成処理については後に詳細に説明する。
ステップS3:
空間生成部45は、ステップS2で形成した基底空間を基に、コンテンツ空間を形成する。
コンテンツ空間は、図8に示すように、上記基底空間に対して、後から活動事象を、その活動事象が持つ属性値を基にマッピングした空間である。
コンテンツ空間は、各コンテンツデータについて各々示される複数の属性を基に形成され、各コンテンツデータが所定の座標に割り当てられる(マッピングされる)。
具体的には、空間生成部45は、図9に示す各コンテンツデータのローレベルメタデータLMDの次元のメタデータ(特徴量)と、当該次元に対応してステップS2で決定した重み付け係数W1〜Wrとを基に、例えば、多変量解析、SOM(Self Organization Map),GAなどの手法により、当該コンテンツデータの上記基底空間内での座標を生成(計算)する。
例えば、コンテンツデータCNT1がメタデータM2,M3,M6,M8を持ち、それ以外のメタデータを持たないとする。また、メタデータM2,M3,M6,M8の基底空間上の座標がP2,P3,P6,P8であったとする。この場合には、コンテンツデータCNT1の座標は、座標P2,P3,P6,P8の重心、すなわち「ベクトルPC1={ベクトルP2+ベクトルP3+ベクトルP6+ベクトルP8}/4」として計算される。
また、簡単な例としては、基底空間が図9に示すメタデータの3次元(F1,F2,G1)で規定されている場合に、各コンテンツデータのローレベルメタデータのF1,F2,G1の値を、それぞれをコンテンツ空間内のX,Y,Z軸の値として用いる。
本実施形態では、上記コンテンツ空間は、例えば、3次元であり、上記座標は(Xci,Yci,Zci)である。
本実施形態において、上記空間生成部45が生成する各コンテンツデータの座標は、例えば、論理座標であり、端末装置13は、当該論理座標を基に、各コンテンツデータに対応した画像をディスプレイに表示する表示座標を決定する。
コンテンツ空間情報は、例えば、図4Cに示すように、各コンテンツデータの識別データc−id、座標(position)(Xci,Yci,Zci)、そのアドレス(URL)、書誌データ(タイトル、アーティスト)、コンテンツ空間内での表現データ(イメージデータのURL、音楽データのURL)等の情報を含んでいる。
まお、空間生成部45は、各コンテンツデータのユークリッド座標(Xci,Yci,Zci)を、極座標(r,θ,Φ)で表現し、r=1に射影するようにしてもよい。
なお、ユークリッド座標(X,Y,Z)の(0,0,0)は極座標系では表現できないので、空間生成部45は、(0,0,1)、(1,0,0)あるいは(0,1,0)等の(0,0,0)の近傍の座標として扱うことで極座標系で表現する。
このように極座標を用いてコンテンツデータの座標を表現することで、球面上にコンテンツデータに対応した画像を表示することが容易になり、画面上で利用者が空間内での方向を認識しやすくできる。
すなわち、空間生成部45は、例えば、図9に示すメタ行列データMMDが示すローレベルメタデータLMDに基づいて基底空間を形成し、当該基底空間に基づいてコンテンツ空間を形成する。
空間生成部45は、上述した基底空間およびコンテンツ空間の情報を、コンテンツ空間情報として空間情報DB47に書き込む。
そして、空間サーバ49は、PUSH方式あるいはPULL方式によって、空間情報DB47に記憶されたコンテンツ空間情報を、ネットワークを端末装置13にダウンロードする。
以下、上述した図7に示すステップS2における基底空間の形成で行われる重み付け係数W1〜Wrについて説明する。
なお、重み付け係数W1〜Wrは、固定のものを用いてもよい。
[重み付け係数W1〜Wrの決定処理]
図10は、図1に示す空間生成部45が図7に示すステップS2で行う重み付け係数W1〜Wrの決定処理を説明するためのフローチャートである。
当該決定処理は、全てのコンテンツデータに内在する価値の軸があるとの前提に立って、その軸を求めるものであり、N個のコンテンツデータをM個の小集団に分けても統計的に妥当な量(=N/M)があれば、同じ空間が求められるという考え方に基づいている。
すなわち、重み付け係数W1〜Wrが正しく決定されていれば評価関数Uが満たされ、そうでなければ満たされないという性質を用いて、現れた事象データから逆算して求めるものである。
ステップS11:
空間生成部45は、重み付け係数W1〜Wrの初期値を決定する。当該初期値は任意である。
ステップS12:
空間生成部45は、図1に示すコンテンツMDDB57に記憶されているコンテンツデータのうちN個のコンテンツデータの母集団をM個にランダムにサンプリングする。これにより、M個の小集団G(1)〜G(M)が生成される。
ステップS13:
空間生成部45は、ステップS12で生成したM個の小集団G(1)〜G(M)の各々について、重み付け係数W1〜Wrを基に、基底空間SA(1)〜SA(M)を生成する。
基底空間SA(1)〜SA(M)の各々は、図9,図11に示す行列データの場合には、所定の次元(例えば、3次元)で規定され、各情報要素(特徴量、次元)の位置情報が決定される。図11に示す情報要素の種類の数Pは、例えば、図9に示す次元の総和に対応している。
空間生成部45は、例えば、多変量解析、SOM,GA(Genetic
Algorithm)などの手法により、情報要素の位置情報を生成する。
具体的には、空間生成部45は、図9での各列の各値にW1〜Wrを乗算したものを生成し、それを改めて行列A(N’行P列)と置く。図11の左図がその行列Aである。
ここで各行はコンテンツに対応し、各列は情報要素に対応する。
空間生成部45は、行列Aに対し、各列(1〜P)を各情報要素の列ベクトルと見做し、それらのベクトル類似度の高いものが近傍に布置されるよう、例えば主成分分析等の多変量解析等を用いて、情報要素を布置する。ここで、主成分分析等の多変量解析等は公知の手法であるので詳細は省略する。
なお、上述した手法以外にも、数量化3類、コレスポンデンス分析、SOM(Self
Organization Map)、GA(Genetic Algorithm)等、類似度の高いものが近傍に布置される手法であれば公知の技術を使用可能である。
なお、主成分分析を用いて3次元空間に布置する場合、例えば、支配的な軸を大きい方から3本(固有値の大きい順に3つに対応する3本の固有ベクトルに対応)選び、表示空間のX軸、Y軸、Z軸にそれぞれ対応させることで実現可能である。
ステップS14:
空間生成部45は、ステップS13で生成した基底空間SA(1)〜SA(M)の一致度Tを計算する。
当該処理について後に詳細に説明する。
ステップS15:
空間生成部45は、ステップS14で計算した一致度Tが評価関数Uを満足しているか否かを判断し、満足していると判断した場合には処理を終了し、そうでない場合にはステップS16に進む。
空間生成部45は、例えば、予め規定した閾値より、一致度Tが高いことを条件として判別を行う評価関数Uを用いる。これは、基底空間SA(1)〜SA(M)の一致度として所定の高さが得られていれば目的は達成されるからである。
ステップS16:
空間生成部45は、新たな重み付け係数W1〜Wrを設定し、ステップS12に戻る。
空間生成部45は、例えば、重み付け係数W1〜Wrを入力(可変パラメータ)とし、出力を一致度Tの逆数として、その最小値を求める最小値探索問題の解決処理により、新たな重み付け係数W1〜Wrを決定する。当該解決処理としては、例えば、アニーリング法、遺伝アルゴリズム、最急降下法、Powell法等が用いられる。
ここで、アニーリング法は、パラメータ変化によって一致度Tが改善すれば、その変化を基本的に採用するがある確率で棄却し、改悪した場合は基本的に棄却するがある確率で採用する、としてLocal Minimum を抜け出すようにするものである。
[ステップS14(図10)]
図12は、図10に示すステップS14の一致度Tの算出処理を説明するためのフローチャートである。
ステップS21:
空間生成部45は、図10に示すステップS13で生成した基底空間SA(1)〜SA(M)のうち、一致度Tを検出していない1組の基底空間を選択する。
当該選択した1組の基底空間のうち一方をVsとし、他方をVtとする。
ステップS22:
空間生成部45は、基底空間Vsと基底空間Vtとの一致度Tstを計算する。
当該計算のアルゴリズムについては後述する。
ステップS23:
空間生成部45は、図10に示すステップS13で生成した基底空間SA(1)〜SA(M)の全ての組み合わせについて一致度Tstを検出したか否かを判断する。そして、空間生成部45は、全ての組み合わせについて一致度を検出したと判断した場合にはステップS24に進む。
ステップS24:
空間生成部45は、ステップS22で計算した全ての組み合わせについての一致度Tstを累積して一致度Tを計算する。
[ステップS22(図12)]
図13は、図12に示すステップS22の一致度Tstの算出処理を説明するためのフローチャートである。
ステップS31:
空間生成部45は、ステップS21で選択された基底空間Vsと基底空間Vtとの軸合わせ処理を行い、基底空間Vsのu次元のベクトルVs1〜Vsuに関し、各基底空間Vtのsign_w,axis_wを得る。当該ベクトルは、基底空間内の軸に対応している。
空間生成部45は、例えば、各ベクトルVs1〜Vsuに関し、各基底空間Vtのsign_w,axis_wを得る。
ここで、各ベクトルVs1〜Vsuのsign_wは、当該ベクトルに対応する基底空間Vtのベクトルとの方向が一致している場合には「+1」を示し、逆の場合には「−1」を示している。
また、各ベクトルVs1〜Vsuのaxis_wは、当該ベクトルに対応する基底空間Vtのベクトルを示している。
また、上記「w」は、後述するように、「1≦w≦p(軸数、次元数)」の範囲で順に変更される軸の番号を値を示している。
例えば、下記表1の例では、ベクトルVs1に対応するVtの軸はVt1であり、正負の方向が逆であることを意味する。また、ベクトルVs2に対応するVtの軸はVt3であり、正負の方向は一致することを意味する。また、ベクトルVs3に対応するVtの軸はVt2であり、正負の方向は一致することを意味する。
Figure 0005161867
ステップS32:
空間生成部45は、基底空間Vsの各ベクトルVsuに対応するsign_w,axis_wを用いて、一致度Tsuを計算する。
このとき、空間生成部45は、例えば、上記表1に示すように、基底空間Vsuのsign_w,axis_wが得られている場合に、基底空間Vtの軸を基底空間Vsに対応させる軸合わせ処理を行い、新たな基底空間Vt´を下記式(2)に示すように生成する。
これは、例えば、図14に示すように、基底空間Vs,Vtとの軸が合っていない場合に、それを合わせることを意味する。
[数2]
Vt´1=−Vt1
Vt´2=Vt3
Vt´3=Vt2
…(2)
そして、空間生成部45は、下記式(3)により、一致度Tsuを計算する。
一致度Tsuは、基底空間VsのベクトルVsu上のコンテンツデータの座標posS(u)と、それに対応した基底空間VtのベクトルVtu上のコンテンツデータの座標posT(u)との距離distの和を示す。すなわち、一致度Tsu=0の場合に、完全一致を示す。
[数3]
Tsu=Σ(dist(posS(u),posT(u)))
…(3)
ここで、Σは1≦u≦pの累積を示す
ステップS33:
空間生成部45は、ステップS32で計算した一致度Tsuを、変数Tstに加算する。
ステップS34:
空間生成部45は、「1≦u≦p」を満たす全てのuについて、ステップS33の処理を終了したか否かを判断し、終了したと判断するとステップS32に進み、そうでない場合には処理を終了する。
[ステップS31(図13)]
図15は、図13に示すステップS31の軸合わせ処理を説明するためのフローチャートである。
ステップS41:
空間生成部45は、変数uに「1」を設定する。
ステップS42:
空間生成部45は、選択せれた一方の基底空間Vsの第u軸(ベクトルVsu)に着目し、基底空間Vtの第1〜第p軸のなかで、対応関係が未決定のV(1≦u≦p)について、下記式(4)を最大化するVを特定する。なお、abs{}は、{}内の絶対値を示す。
[数4]
abs{(Vsu・Vtw)/(|Vsu|・|Vtw|)}
…(4)
ステップS43:
空間生成部45は、下記式(5)を用いてsignを生成する。
下記式(5)において、signは正負を判別する関数である。また、sign(x)=1(x≧0の場合)、sign(x)=−1(x<0の場合)となる。
[数5]
sign{(Vsu・Vtw)/(|Vsu|・|Vtw|)}
…(5)
ステップS44:
空間生成部45は、「u≧p」を満たすと処理を終了し、満たさない場合にuを1だけインクリメントしてステップS42に戻る。
上述したステップS31の処理では、例えば、u=1のイタレーションにおいて、下記表2に示すように、ベクトルVs1のsign_w,axis_wが決定される。次に、u=2のイタレーションにおいて、下記表3に示すように、ベクトルVs1のsign_w,axis_wが決定される。u=1のイタレーションにおいて、下記表4に示すように、ベクトルVs1のsign_w,axis_wが決定される。
Figure 0005161867
Figure 0005161867
Figure 0005161867
[空間生成部45による空間形成]
空間生成部45は、WWW等の情報空間内で、コンテンツデータのメタデータを生成し、そのメタデータを基にコンテンツデータの座標情報を含むコンテンツ空間を規定する。
端末装置13は、空間生成部45から受信した上記コンテンツ空間の情報を基に、コンテンツ再生リストの生成や、コンテンツ空間上の(Viewの)自動移動制御を行う。
また、空間生成部45は、ユーザMD生成部43が生成したユーザの登録情報、操作履歴およびサービス利用履歴等を示すユーザ行動メタデータMDを基に、ユーザ毎にコンテンツ空間を生成してもよい。これにより、ユーザに適合した所望のコンテンツデータを、当該ユーザに適合した形態で提示することが可能になる。
また、ユーザMD生成部43は、複数のユーザの端末装置13から受信したユーザ行動履歴データを基に、ユーザ行動メタデータMDを生成する。そして、空間生成部45は、当該ユーザ行動メタデータMDを利用することで、システム全体の時間的な利用統計結果を計算する。これにより、空間生成部45は、時間変動する各コンテンツデータのユーザ全体に対する普及率、浸透率を提供および利用して、コンテンツ空間を形成できる。
以下、図1に示すデータ通信システム1の全体動作例を説明する。
[第1の動作例]
当該動作例では、図1に示す空間提供部44がコンテンツMD生成部41からのコンテンツメタデータCMDを用いてコンテンツ空間情報を生成する場合を説明する。
空間提供サーバ15のクロウラー51は、ネットワーク上のコンテンツサイト11に能動的にアクセスし、コンテンツサイト11が記憶するコンテンツデータをクロウルドコンテンツDB53にダウンロードする。
次に、コンテンツMDエンジン55は、クロウルドコンテンツDB53に記憶されているコンテンツデータを信号処理により分析してローレベルメタデータLMDを生成する。また、コンテンツMDエンジン55は、ローレベルメタデータLMDを基にハイレベルメタデータHMDを生成する。コンテンツMDエンジン55は、上記ローレベルメタデータLMDおよびハイレベルメタデータHMDをコンテンツMDDB57に書き込む。
空間生成部45は、コンテンツMD生成部41からのコンテンツメタデータCMDを入力し、それに含まれるローレベルメタデータLMDを基に、図10〜図15を用いて説明した重み付け係数決定処理を行う。これにより、基底空間が決定される。
次に、空間生成部45は、各コンテンツデータCNTのローレベルメタデータLMDを基に、上記基底空間内における当該コンテンツの座標を計算する。これにより、コンテンツ空間情報が生成される。
空間サーバ49は、上記コンテンツ空間情報を端末装置13に送信する。
端末装置13の制御部25は、受信したコンテンツ空間情報に応じた画像をビューワ27に表示させる。
当該コンテンツ空間情報は、コンテンツデータ本体の特徴量(メタデータ、属性)に応じて空間内の座標を規定した情報である。そのため、制御部25は、コンテンツ空間情報を基に、ネットワーク上の多数のコンテンツデータ本体を、その属性に応じてユーザが探索(検索)容易な形態でディスプレイ105に表示できる。
[第2の動作例]
当該動作例では、図1に示す空間提供部44がコンテンツMD生成部41からのコンテンツメタデータCMDと、ユーザMD生成部43からのユーザ行動メタデータMDを用いてコンテンツ空間情報を生成する場合を説明する。
端末装置13のユーザ行動管理部29は、ユーザによる操作に応じた操作部103からの操作信号、並びに当該操作によってコンテンツサイト11からダウンロードしたコンテンツデータ本体等に基づいて、ユーザ行動履歴データを生成する。
端末装置13は、このユーザ行動履歴データを空間提供サーバ15に送信する。
そして、空間提供サーバ15のユーザMD生成部43は、端末装置13からのユーザ行動履歴データを基に、各ユーザおよび全体ユーザの行動の属性を示すユーザ行動メタデータMDを生成する。
空間生成部45は、前述した第1の動作例と同様にコンテンツMD生成部41からのコンテンツメタデータCMDを入力する。
また、空間生成部45は、ユーザ行動MD生成エンジン65が生成したユーザ行動メタデータMDを入力する。
そして、空間生成部45bは、コンテンツメタデータCMDに含まれるローレベルメタデータLMDと、ユーザ行動メタデータMDとを基に、上記基底空間を決定する。
これ以降の処理は、前述した第1の動作例と同様である。
当該第2の動作例によれば、コンテンツの特徴に加えて、ユーザの行動履歴をも考慮したコンテンツ空間を提供できる。
以上説明したように、本実施形態のデータ通信システムによれば、空間提供サーバ15が、ネットワーク上の複数のコンテンツサイト11に能動的にアクセスして、そのコンテンツデータ本体を分析して複数の種類のメタデータを生成する。そして、空間提供サーバ15は、当該複数の種類のメタデータを基に、基底空間の形成、並びにネットワーク上にある多数のコンテンツデータ本体の基底空間内での座標の決定を行い、コンテンツ空間を形成する。
そのため、端末装置13では、上記コンテンツ空間を基に、上記多数のコンテンツを、その特徴に応じて探索(検索)容易な形態で表示することができ、ユーザは多数のコンテンツの全体像を把握しながら、好みの属性のコンテンツに容易にアクセスできる。
すなわち、本実施形態のデータ通信システムによれば、上述したようにコンテンツ空間内におけるコンテンツの座標を決定するため、端末装置13において当該座標を基に、各コンテンツをリストではなく空間配置で表示できる。そのため、コンテンツの全体像の概観(遠景)と個々のコンテンツの内容(近景)の把握を両立できる。
また、本実施形態のデータ通信システムによれば、ローレベルメタデータLMD(下位層)の複数の次元(メタデータ)を基に基底空間を形成し、当該基底空間内にコンテンツデータCNTiを、その複数の次元を基に割り当ててコンテンツ空間を形成する。そのため、コンテンツデータCNTiの物理的かつ客観的な特徴に基づいて各コンテンツデータのコンテンツ空間内の座標を決定できる。そして、当該座標を決定した後に、各コンテンツデータCNTiのハイレベルメタデータHMDを用いることができ、それを基に様々な処理が可能になる。すなわち、コンテンツの特徴量を解析して算出しているので、コンテンツそのものに即した情報に基づいた、利用者に把握容易な空間を提供できる。
<第2実施形態>
本実施形態では、空間生成部45bは、コンテンツメタデータCMDを構成する複数のメタデータのうち、予め決められた所定の旗(ガイド)生成用メタデータを基に旗生成処理を行う。
本実施形態において、コンテンツデータが音楽データの場合には、空間生成部45bが旗生成に用いるハイレベルメタデータHMDの属性としては、音楽ジャンル、楽曲の楽器編成、楽曲の歌声特性および楽曲のムード等がある。
音楽ジャンルとしては、例えば、ポップス、演歌、ロック、ジャズおよびクラシック等がある。
楽曲の楽器編成としては、例えば、ピアノソロ、アコースティックギター、民族打楽器等がある。
楽曲の歌声特性としては、例えば、男性ボーカル、女性ボーカル、混声合唱、少年声、少女声等がある。
楽曲のムードとしては、例えば、リズム、メロディ、スピード感等がある。具体的には、楽曲のムードとしては、柔らかい、感傷的、メロディアス、バランスのとれた、夢見心地、スピーディー、パワフル、エネルギッシュ、素朴な、懐かしい、都会的および神秘的等がある。
空間生成部45bは、図17に示すように、上記旗生成対象となるハイレベルメタデータHMDの次元(属性)の各々について、当該次元の値が所定の閾値を超えるコンテンツデータCNTの数が全体の0.5%以下となる閾値を特定する。なお、当該「0.5%」は例示であり、空間生成の目的やコンテンツの種類等に応じて適宜設定される。
そして、空間生成部45bは、上記0.5%以下のコンテンツデータCNTが、コンテンツ空間内でマッピングされる位置を特定する。
また、空間生成部45bは、ローレベルメタデータLMDで形成する空間の分布を、関数F0で一様に変換し、これに空間変換Fを施して、特定の性質のコンテンツデータCNTが集まる領域を特定する。そして、空間生成部45bは、一定条件を満たした場合に、上記特定した領域に旗を生成する。
ここで、関数F0は、主成分分析(F1)、3次元射影(F2)および球状化(F3)の変換を順に施す関数である。
本実施形態のデータ通信システムは、例えば、第1実施形態で説明したデータ通信システムの構成および機能は全て併せっているものとする。すなわち、本実施形態のデータ通信システムは、第1実施形態で説明した機能に、旗関連処理に関する機能を追加したものである。
以下、空間生成部45bによる旗生成処理を説明する。
このような旗を空間内に形成することで、ユーザが空間分布傾向を把握するための視認性を向上できる。
図18は、図1に示す空間生成部45bによる旗生成処理を説明するためのフローチャートである。
ステップS51:
空間生成部45bは、前述したハイレベルメタデータHMDに含まれる旗生成用の図16等に示すメタデータ(特徴量)を入力する。
ステップS52:
空間生成部45bは、ステップS51で入力したメタデータのうち、旗生成処理をしていない次元のメタデータを選択する。
ステップS53:
空間生成部45bは、ステップS52で選択した次元のメタデータについて、当該メタデータが示す値が所定の閾値を超えるコンテンツデータCNTiの数が全体の0.5%以下となる閾値を特定する。
そして、空間生成部45bは、上記0.5%以下となるコンテンツデータCNTiを特定する。
ステップS54:
空間生成部45bは、ステップS53で特定したコンテンツデータCNTiの座標(Xci,Yci,Zci)の重心座標を計算し、これを旗座標Fi(Xfj,Yfj,Zfj)とする。
これにより、各旗の座標を、その旗が意味するハイレベルメタデータHMDの次元の値が、コンテンツデータ全体の統計的な値(平均値)より有意な差を持った高い(または低い)値を持つコンテンツデータCNTiの座標から計算できる。
ステップS55:
空間生成部45bは、旗座標Fjの生成に用いたステップS53で特定したコンテンツデータCNTiの座標の分散Vjを、下記式(6)で計算する。ここで、旗座標をFj(Xfj,Yfj,Zfj)とし、その旗の所属コンテンツデータの座標をCi
(Xci,Yci,Zci)とする。また、1≦i≦Nとする。
[数6]
Vj=(1/N)*Σ{|Xfj−Xci|^2+|Yfj−Yci|^2+|Zfj−Zci|^2} …(6)
ここで、上記式(6)内のΣは(1≦i≦N)に関するものである。
ステップS56:
空間生成部45bは、ステップS55で計算した分散Vjが所定の閾値以下であるか否かを判断し、所定値以下であると判断した場合にステップS57に進み、そうでない場合にステップS52に戻る。当該閾値としては、例えば、0.4が用いられる。
このように分散Vjが大きい場合に旗生成を行わないことで、目印として意味がない旗が生成されることを回避できる。なお、当該「0.4」は例示であり、空間生成の目的やコンテンツの種類等に応じて適宜設定される。
ステップS57:
空間生成部45bは、ステップS54で生成した旗座標Fj(Xfj,YFj,Zfj)と空間原点O(0,0,0)との間の距離Dfjを計算する。
ステップS58:
空間生成部45bは、ステップS57で計算した距離Dfjが所定の閾値以上であるか否かを判断し、閾値以上であると判断すると、ステップS59にすすみ、そうでない場合にはステップS52に戻る。
これは、コンテンツ空間の特徴上、原点近傍のマップされたコンテンツデータCNTiは無特徴なものとみなされるため、特徴の強い旗は原点から離れた位置にマッピングされることによる。
具体的には、上記閾値は、原点から旗生成に用いた全コンテンツデータCNTiまでの距離の平均値の定数α倍を下限距離とし、原点から旗までの距離が下限距離以上であることとする。上記αは例えば0.5である。
このように原点から近い座標に旗を立てないようにすることで、特徴が少ない位置に旗を立てないようにすることができる。
なお、上述したステップS57,S58は適宜省略してもよい。
ステップS59:
空間生成部45bは、ステップS54で生成した旗座標Fj(Xfj,YFj,Zfj)と、当該旗に対応したハイレベルメタデータHMDの次元のID(メタID)と、旗のメタ閾値とを対応付けて、旗リストデータとして例えば空間提供サーバ15内の所定のデータベースに記憶する。
ここで、旗のメタ閾値は、例えば、ステップS53で特定した閾値である。当該閾値は、後述する旗寄せ処理において,メタ閾値th_Fjとして用いられる。
本実施形態の空間生成部45bでは、コンテンツ座標Ci (Xci,Yci,Zci)と コンテンツメタ(High Level等)から、各メタデータの旗座標Fj(Xfj,YFj,Zfj)を生成し、そのメタデータのラベル名と共に、旗データとして端末装置13に提供できる。
これにより、第1実施形態で説明したようにコンテンツ空間内にネットワーク上にある多数のコンテンツデータ本体の座標を規定すると共に、そのコンテンツデータが位置する領域の属性(特徴)を示す旗座標も規定できる。
そのため、端末装置13では、上記コンテンツ空間を基に、上記多数のコンテンツデータの特徴を、当該コンテンツデータの座標付近に位置する旗の特徴と関連付けて把握することができる。
なお、空間生成部45bは、旗(ガイド)の数を統計的な基準によって可変である。但し、最大数はメタデータの次元数、すなわち例えば、40である。
また、空間生成部45bは、旗の計算に用いたメタデータの各次元の閾値を、以下に示す旗寄せ処理に利用する。
[旗寄せ処理]
当該旗寄せ処理では、旗の座標、旗のメタID、旗のメタ閾値の(旗の数ぶんの)リスト、および、コンテンツデータの座標、コンテンツデータのメタデータの(コンテンツの数分)リストを入力とし、各コンテンツの座標の各々を適切な旗の座標に寄せた座標に変更した値のリストを出力する。
ここで、上記旗を寄せる度合いは、スカラー値で外部から制御可能である。
このような旗寄せ処理を行うことで、旗近辺の精度を向上させ、旗に応じて粗密感を顕在化することで、視認性を高めることができる。
図19は、図1に示す空間生成部45bが実行する旗寄せ処理を説明するためのフローチャートである。
ステップS71:
空間生成部45bは、例えば、図18を用いて説明した旗生成処理により生成した旗座標と、コンテンツデータCNTの座標Ci(Xci,Yci,Zci)と、コンテンツメタデータCMDとを、例えば空間情報DB47から読み出す。
ステップS72:
空間生成部45bは、コンテンツデータCNTiと旗jとの組み合わせについて、下記式(7)により、スコアVijを生成する。
そして、空間生成部45bは、スコアVijを基に、コンテンツデータCNTiを旗jに寄せる方向を決定する。
[数7]
Vij=M_ik−th_Fj …(7)

Ci: コンテンツデータCNTi(1≦i≦N)
Fj: 旗j (1≦j≦40)
idx_Fj: 旗jに対応するメタID
th_Fj: 旗jのメタ閾値
M_ik: コンテンツデータCNTiのk番目(次元)のハイレベルメタの値
Vij: コンテンツデータCNTiの旗jに対するスコア
ステップS73:
空間生成部45bは、ステップS72で生成した上記スコアVijの値が正となるjの個数を各iごとにカウントする。
ステップS74:
空間生成部45bは、ステップS73のカウント値が「1」のコンテンツデータCNTiについてステップS75に進み、そうでないコンテンツデータCNTiにつては旗寄せを行わない(座標を変更しない)。
ステップS75:
空間生成部45bは、コンテンツデータCNTiを、スコアVijの値が正となる旗jに寄せる距離(移動量)を決定する。
空間生成部45bは、コンテンツデータCNTiの座標と、旗jの座標との距離Dを計算する。
そして、空間生成部45bは、上記距離Dに、一定の寄せ率 α(0<α<1) を乗じた距離α・Dを移動量として決定する。
なお、近いものを旗にたくさん寄せ、遠いものはあまり寄せない、つまり、下記式(8)に示すように、寄せ率αを距離に応じて変化させる案も考えられる。
[数8]
新α = 旧α×K/(D+K) …(8)
ステップS76:
空間生成部45bは、コンテンツデータCNTiの座標をステップS75で生成した移動量だけ、旗jの座標に向けて移動した新たな座標を生成する。
なお、上述した図19の手法では、各コンテンツデータと、それを寄せたい旗との距離が他の旗との距離より小さくなることは保証されていない。そのため、空間生成部45bは、各コンテンツデータを旗に寄せる量を微小量ずつインクメントに増やし、所定の条件が満たされるまで寄せ続けてもよい。
[旗はじき処理]
この旗はじき処理では、旗の近傍にそれと関連性が低いコンテンツデータが位置する場合に、当該コンテンツデータを当該旗から遠ざける。これにより、近傍にいるべきでない旗からコンテンツを離すことができ、旗近辺の精度を向上する。
図20は、図1に示す空間生成部45bが実行する旗はじき処理を説明するためのフローチャートである。
ステップS81:
空間生成部45bは、例えば、図18を用いて説明した旗生成処理により生成した旗座標Fj(Xfj,YFj,Zfj)と、コンテンツデータCNTの座標Ci(Xci,Yci,Zci)と、コンテンツメタデータCMDとを、例えば空間情報DB47から読み出す。
ステップS82:
空間生成部45bは、コンテンツデータCNTiの座標Ci (Xci,Yci,Zci)と旗jの旗座標Fj(Xfj,YFj,Zfj)を基に、両者の距離を計算する。
そして、空間生成部45bは、上記計算した距離を基に、コンテンツデータCNTiに対して最短距離にある旗jを特定する。
ステップS83:
空間生成部45bは、ステップS82で特定した旗jについては、上記式(7)を基にスコアVijを生成する。
ステップS84:
空間生成部45bは、ステップS83で生成したスコアVijが、所定の閾値以下であるか否か、すなわちメタデータの値が十分に低いか否かを判断する。
そして、空間生成部45bは、閾値以下であると判断すると、ステップS85に進み、そうでない場合には処理を終了する(旗はじき処理を行わない)。
ステップS85:
空間生成部45bは、処理対象のコンテンツデータCNTiの座標Ci (Xci,Yci,Zci)を、ステップS82で特定した旗jの座標とは反対側に移動させる。
以下、本実施形態の空間生成部45bが実行する旗生成関連の全体処理を説明する。
図21は、本発明の第2実施形態で空間生成部45bが実行する旗生成関連の全体処理を説明するためのフローチャートである。
ステップS91:
空間生成部45bは、図7等を用いて第1実施形態で説明した手法により、各コンテンツデータCNTiの座標Ci (Xci,Yci,Zci)を生成する。
ステップS92:
空間生成部45bは、図18を用いて説明した旗生成処理を行い、旗生成を決定した次元(メタデータ)の旗座標Fj(Xfj,Yfj,Zfj)を生成する。
ステップS93:
空間生成部45bは、図19に示す旗寄せ処理を行い、ステップS92で旗座標を生成した次元に対して、コンテンツデータCNTiの座標Ci
(Xci,Yci,Zci)を必要に応じて寄せる。
ステップS94:
空間生成部45bは、図19を用いて説明した旗はじき処理を行い、関連度の低いコンテンツデータCNTiの座標を旗座標から遠ざける。
空間生成部45bは、上述した処理により生成した旗座標および旗生成有無の情報を空間情報DB47に格納する。そして、空間サーバ49は、これらの情報を第1実施形態で説明したコンテンツ空間情報に含めて端末装置13に送信する。
端末装置13は、受信したコンテンツ空間情報に含まれる旗座標を基に、第1実施形態で説明した画面内の旗座標に対応した位置に旗の画像を表示する。
なお、本実施形態において、旗はコンテンツのメタの目印を示すものを意味し、必ずしも旗自体に限定されるものではない。
以上説明したように、本実施形態によれば、空間生成部45bにおいて、コンテンツ空間内にネットワーク上にある多数のコンテンツデータ本体の座標を規定すると共に、そのコンテンツデータが位置する領域の特徴(属性)を示す旗座標も規定できる。
そのため、端末装置13では、上記コンテンツ空間を基に、上記多数のコンテンツデータの特徴を、当該コンテンツデータの座標付近に位置する旗の特徴と関連付けて表示でき、それを基にユーザはコンテンツ空間全体を容易に把握することができる。
また、本実施形態によれば、旗寄せ処理を行うことで、旗近辺の精度を向上させ、旗に応じて粗密感を顕在化することで、視認性を高めることができる。
さらに、本実施形態によれば、旗はじき処理をすることで、近傍にいるべきでない旗からコンテンツを離すことができる。
<第3実施形態>
第1〜3実施形態において説明した上述した図1に示す例では、空間提供サーバ15がコンテンツMD生成部41、ユーザMD生成部43および空間提供部44の機能を実現する場合を示した。
本実施形態では、例えば、これらの機能の一部を端末装置13が実現する。
図22は、本発明の第3実施形態の第1の例のデータ通信システムを説明するための図である。
図22に示す例は、第6および第7の観点の発明の一例である。
図22に示すデータ通信システムでは、端末装置13bが前述したコンテンツMD生成部41の機能を実現する。そして、空間提供サーバ15bは、ユーザMD生成部43および空間提供部44機能を実現する。
この場合に、空間提供部44の空間生成部45,45a,45bは、ネットワークを介してコンテンツMD生成部41から、コンテンツメタデータCMDおよびユーザ行動メタデータMDを受信し、これらを基にコンテンツ空間を形成する。
なお、空間生成部45,45a,45bは、ユーザ行動管理部29が生成したユーザ行動履歴データを直接用いて、当該ユーザに固有のコンテンツ空間を形成してもよい。
図22にデータ通信システムによれば、空間提供部44の機能を端末装置13bに持たせることで空間提供サーバ15bの処理負担を軽減できる。
図23は、本発明の第3実施形態の第2の例のデータ通信システムを説明するための図である。
図22に示す例は、第8および第9の観点の発明の一例である。
図23に示すデータ通信システムでは、端末装置13cが前述したコンテンツMD生成部41の機能を実現する。そして、空間提供サーバ15cは、ユーザMD生成部43および空間提供部44の機能を実現する。
この場合に、端末装置13c内のコンテンツMD生成部41は、ネットワーク上のコンテンツサイト11に能動的にアクセスしてコンテンツメタデータCMDを生成する。そして、端末装置13cは、上記コンテンツメタデータCMDを空間提供サーバ15cに送信する。
空間提供サーバ15cの空間生成部45,45a,45bは、端末装置13cから受信したコンテンツメタデータCMDを基にコンテンツ空間を生成し、これを端末装置13cに提供する。
図23にデータ通信システムによれば、コンテンツMD生成部41の機能を端末装置13cたせることで空間提供サーバ15cの処理負担を軽減できる。
すなわち、コンテンツデータCNTが動画像等である場合にコンテンツメタデータCMDの生成処理負荷は非常に大きい、そのため、この機能の全部あるいは一部を端末装置13cに行わせることで処理を分散させることができ、リアルタイムなコンテンツ空間が実現できる。
なお、この場合に、コンテンツメタデータCMDの生成処理を行うことを許可した端末装置13cのユーザに対して何らかの特典を与えてもよい。これにより、コンテンツメタデータCMDの生成処理を行う端末装置13cの数を増やすことができる。
なお、図1に示すコンテンツMD生成部41および空間提供部44の双方の機能を端末装置13に持たせてもよい。
上述した実施形態では、コンテンツMDエンジン55において、ローレベルメタデータLMDを生成し、それを基にハイレベルメタデータHMDを生成する場合を例示したが、ローレベルメタデータLMDの生成とハイレベルメタデータHMDの生成とを独立して任意の業者(サーバ)が行うようにしてもよい。
また、ローレベルメタデータLMDあるいはハイレベルメタデータHMDの全部あるいは一部を、コンテンツデータCNTの提供者が生成したものを用いてもよい。
<第4実施形態>
本実施形態では、図1に示す端末装置13等によるコンテンツ空間情報に基づいた画面表示を説明する。
端末装置13等の制御部25は、前述したように、空間提供部44等からコンテンツ空間情報を受信し、それに応じた画像をビューワ27に表示させる。
当該コンテンツ空間情報は、コンテンツデータ本体の属性(メタデータ)に応じて空間内の座標を規定した情報である。制御部25は、コンテンツ空間情報を基に、ネットワーク上の多数のコンテンツを、その特徴量(属性)に応じてユーザが探索(検索)容易な形態で表示する。
本実施形態では、例えば、端末装置13の制御部25は、空間提供部44からのコンテンツ空間情報に含まれるコンテンツデータCNTiの座標(Xci,Yci,Zci)に基づいて、例えば、図24に示すように、当該座標を地球をイメージした球面202上の2次元座標に変換して、その座標にコンテンツデータCNTiに対応した画像CIMiを表示する画面201の画像データを生成する。
第1実施形態で説明した座標(Xci,Yci,Zci)の特性により、属性が近いコンテンツデータCNTiの画像CIMiは球面202上の近い位置に配置される。
図24に画面201に表示される画像CMIi内には、それに対応したコンテンツデータCNTiに対応する画像が表示されている。
コンテンツデータCNTiが楽曲データである場合には、その楽曲データのジャケット画像が画像CIMi内に表示される。
コンテンツデータCNTiが動画像データである場合には、その動画像が画像CIMi内に表示される。
本実施形態では、画像CIMi内に表示する画像を、コンテンツサイト11に実際に格納されている画像をリアルタイムに使用する。
ユーザは、図2に示す端末装置13の操作部103を操作して、地球上を歩いているイメージで球面202上を移動する。そして、例えば、球面202上のユーザ移動位置(座標)に対して最も近いコンテンツデータCNTiのオーディオ出力が図示しないスピーカで行われる。これにより、立体的な音響空間を提供できる。
なお、一つの画面201内で画像CIMiを表示するコンテンツデータCNTiとして、楽曲データ、動画像データ、ブログのページ、広告のページ等の様々な種類のものを混在させてもよい。
また、図1に示す制御部25は、第2実施形態の空間提供サーバ15bから旗座標Fj(Xfj,Yfj,Zfj)を受信した場合に、例えば、図25に示すように3次元空間をイメージした画面221内に、旗jに対応した旗画像FIMjを、旗座標Fj(Xfj,Yfj,Zfj)に対応した位置に表示する画像データを生成する。また、制御部25は、例えば、画面221内の旗画像FIMjの近傍に、その旗の属性を示す文字FCAjを表示する。
なお、制御部25が表示する画面のその他の例として、図26に示すように、球をイメージし、その内部周辺に文字FCAjおよび旗画像FIMjを表示する画面がある。
また、制御部25は、例えば、図27に示すように、コンテンツの特徴に応じて、画面の4四隅の領域内の座標に、その特徴のコンテンツデータCNTiに対応した画像CIMiを表示する。また、制御部25は、上記4隅の領域に、その特徴を示す文字FCAjを表示する。
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
上述した実施形態では、ネットワーク上のコンテンツをコンテンツ空間にマッピングする場合を例示したが、ネットワーク上以外の例えば所定のコンピュータのメモリ内のコンテンツをコンテンツ空間にマッピングする場合にも同様に適用可能である。
例えば、端末装置13のメモリに記憶されたコンテンツ等をも対象としてもよい。
また、例えば、端末装置13のユーザがキーワードを空間提供サーバ15に指定し、空間生成部45bが当該キーワードに関連性が高い軸を選択して基底空間を形成するようにしてもよい。これにより、ユーザが検索しようとしている観点に適合したコンテンツ空間を提供できる。
また、上述した実施形態では、ローレベルメタデータLMDを基に基底空間の生成、並びにコンテンツデータの座標計算(空間解析)を行ったが、これらの処理を、ハイレベルメタデータHMDを基に行ってもよい。また、ローレベルメタデータLMDおよびハイレベルメタデータHMDの双方を用いて空間解析を行ってもよい。
また、上述した実施形態では、図1に示すクロウラー51がネットワーク上のコンテンツサイト11の能動的にアクセスする場合を例示したが、コンテンツサイト11から空間提供サーバ15にコンテンツを能動的に送信してもよい。
本発明は複数のコンテンツをその特徴に基づいて表示するシステムに適用可能である。
図1は、本発明の第1実施形態に係わるデータ通信システムの全体構成図である。 図2は、図1に示す端末装置のハードウェア構成図である。 図3は、図1に示す空間提供サーバのハードウェア構成図である。 図4Aはコンテンツデータを説明するための図、図4BはコンテンツメタデータCMDを説明するための図、図4Cはコンテンツ空間情報を説明するための図である。 図5は、ローレベルメタデータLMDからハイレベルメタデータHMDを生成する処理を説明するための図である。 図6Aはユーザ行動履歴データを説明するための図、図6Bはユーザ行動メタデータMDを説明するための図である。 図7は、図1に示す空間生成部が行う処理を説明するためのフローチャートである。 図8は、基底空間およびコンテンツ空間の形成方法を説明するための図である。 図9は、メタ行列データMMDを説明するための図である。 図10は、図1に示す空間生成部が図7に示すステップS2で行う重み付け係数W1〜Wrの決定処理を説明するためのフローチャートである。 図11は、基底空間およびコンテンツ空間の形成方法を説明するための図である。 図12は、図10に示すステップS14の一致度Tの算出処理を説明するためのフローチャートである。 図13は、図12に示すステップS22の一致度Tstの算出処理を説明するためのフローチャートである。 図14は、図13に示すステップS31の軸合わせ処理を説明するための図である。 図15は、図13に示すステップS31の軸合わせ処理を説明するためのフローチャートである。 図16は、本発明の第2実施形態における旗生成に用いられるメタデータを説明するための図である。 図17は、本発明の第2実施形態のデータ通信システムにおける旗生成処理の概念を説明するための図である。 図18は、本発明の第2実施形態のデータ通信システムにおける図1に示す空間生成部による旗生成処理を説明するためのフローチャートである。 図19は、本発明の第2実施形態のデータ通信システムにおける図1に示す空間生成部が実行する旗寄せ処理を説明するためのフローチャートである。 図20は、本発明の第2実施形態のデータ通信システムにおける図1に示す空間生成部が実行する旗はじき処理を説明するためのフローチャートである。 図21は、本発明の第2実施形態のデータ通信システムにおける旗関連処理を説明するためのフローチャートである。 図22は、本発明の第3実施形態の第1の例のデータ通信システムを説明するための図である。 図23は、本発明の第3実施形態の第2の例のデータ通信システムを説明するための図である。 図24は、本発明の第4実施形態における端末装置の表示画面を説明するための図である。 図25は、本発明の第4実施形態における端末装置のその他の表示画面を説明するための図である。 図26は、本発明の第4実施形態における端末装置のその他の表示画面を説明するための図である。 図27は、本発明の第4実施形態における端末装置のその他の表示画面を説明するための図である。
符号の説明
11…コンテンツサイト、13…端末装置、15…空間提供サーバ、23…コンテンツDB、25…制御部、27…ビューワ、29…ユーザ行動管理部、31…ユーザ行動履歴DB、41…コンテンツMD生成部、43…ユーザMD生成部、44…空間提供部、45,45a,45b…空間生成部、47…空間情報DB、49…空間サーバ、51…クロウラー、53…クロウルドコンテンツDB、55…コンテンツMDエンジン、57…コンテンツMDDB、61…ユーザ行動収集部、63…収集ユーザ行動DB、65…ユーザ行動MD生成エンジン、67…ユーザ行動MDDB、103,203…操作部、105,205…ディスプレイ、107,207…インタフェース、113,213…処理回路

Claims (13)

  1. 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手段と、
    前記空間規定手段が規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手段が前記特定した重み付けとを基に計算する座標計算手段と
    を有する
    コンテンツ空間形成装置。
  2. 前記空間規定手段は、前記複数の母集団の基底空間の軸合わせ処理を行った後に前記一致度を計算する
    請求項1に記載のコンテンツ空間形成装置。
  3. 前記複数のコンテンツの各々について、当該コンテンツを信号処理により分析して当該コンテンツの前記複数の種類の特徴量を取得する特徴量取得手段
    をさらに有し、
    前記空間規定手段は、前記特徴量取得手段が取得した前記特徴量を基に前記コンテンツをマッピングする空間を規定する
    する請求項1に記載のコンテンツ空間形成装置。
  4. 前記特徴量取得手段は、ネットワーク上のコンテンツにアクセスして前記特徴量を取得する
    請求項3に記載のコンテンツ空間形成装置。
  5. ユーザによる前記複数のコンテンツの利用形態の履歴を示すユーザ利用形態履歴データを収集し、当該ユーザ利用形態履歴データを分析して分析データを生成するユーザ利用形態分析手段
    をさらに有し、
    前記空間規定手段は、前記ユーザ利用形態分析手段が生成した前記分析データをさらに用いて前記空間を規定する
    請求項1に記載のコンテンツ空間形成装置。
  6. 前記空間規定手段は、
    複数のユーザのうち一部のユーザのコンテンツ利用形態履歴データに基づいて、前記複数のコンテンツのうち一部の前記コンテンツを選択し、
    当該選択したコンテンツの前記特徴量の統計値と前記複数のコンテンツの前記特徴量の統計値とを基に、前記複数の種類の特徴量のうち前記空間の規定に用いる前記特徴量を決定し、当該決定した特長量を基に前記空間を規定する
    請求項5に記載のコンテンツ空間形成装置。
  7. 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定工程と、
    前記空間規定工程で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定工程において特定した前記重み付けとを基に計算する座標計算工程と
    を有する
    コンテンツ空間形成方法。
  8. 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、
    前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順と
    をコンピュータに実行させるプログラム。
  9. 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、
    前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順と
    をコンピュータに実行させるプログラムを記録した記録媒体。
  10. コンテンツ空間形成装置と端末装置とを用いたデータ通信方法であって、
    前記コンテンツ空間形成装置が、複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定工程と、
    前記コンテンツ空間形成装置が、前記空間規定工程で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定工程において特定した前記重み付けとを基に計算する座標計算工程と、
    前記コンテンツ空間形成装置から前記端末装置に、前記座標計算工程で計算した座標を送信する送信工程と、
    前記端末装置が、前記送信工程で受信した前記座標を基に、前記コンテンツに対応した画像を配置した画面を表示する表示処理工程と
    を有するデータ通信方法。
  11. 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手段と、
    前記空間規定手段が規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手段が前記特定した重み付けとを基に計算する座標計算手段と、
    前記座標計算手段で計算した前記座標に基づいて、前記コンテンツに対応した画像を配置した画面を表示する表示処理手段と
    を有するコンピュータ。
  12. ユーザによる前記複数のコンテンツの利用形態の履歴を示すユーザ利用形態履歴データを生成するユーザ利用形態履歴生成手段
    をさらに有し、
    前記空間規定手段は、前記ユーザ利用形態履歴生成手段が生成した前記ユーザ利用形態履歴データ、あるいは当該ユーザ利用形態履歴データを基に生成されたデータをさらに用いて前記空間を規定する
    請求項11に記載のコンピュータ。
  13. 複数のコンテンツを複数の母集団に割り当て、各母集団において当該母集団に割り当てられた前記コンテンツの基底空間を重み付けに基づいて生成し、前記複数の母集団の基底空間の間の一致度が所定の条件を満たす前記重み付けを特定し、前記複数のコンテンツの各々について規定された当該コンテンツを信号処理により解析して算出可能な複数の種類の特徴量を基に前記コンテンツをマッピングする空間を規定する空間規定手順と、
    前記空間規定手順で規定した前記空間内において前記複数のコンテンツの各々をマッピングする座標を、当該コンテンツの前記複数の種類の特徴量と、当該特徴量に対して前記空間規定手順において特定した前記重み付けとを基に計算する座標計算手順と、
    前記座標計算手順で計算した前記座標に基づいて、前記コンテンツに対応した画像を配置した画面を表示する表示処理手順と
    をコンピュータに実行させるプログラム。
JP2009504899A 2007-02-19 2007-02-19 コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 Active JP5161867B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/000099 WO2008114306A1 (ja) 2007-02-19 2007-02-19 コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JPWO2008114306A1 JPWO2008114306A1 (ja) 2010-06-24
JP5161867B2 true JP5161867B2 (ja) 2013-03-13

Family

ID=39765427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009504899A Active JP5161867B2 (ja) 2007-02-19 2007-02-19 コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US8700675B2 (ja)
JP (1) JP5161867B2 (ja)
WO (1) WO2008114306A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8904274B2 (en) * 2010-05-14 2014-12-02 Xerox Corporation In-situ mobile application suggestions and multi-application updates through context specific analytics
KR101064634B1 (ko) * 2010-12-28 2011-09-15 주식회사 네오패드 유저 맞춤형 컨텐츠 제공 방법 및 시스템
JP5862243B2 (ja) * 2011-11-30 2016-02-16 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
JP2014067333A (ja) * 2012-09-27 2014-04-17 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR102380979B1 (ko) * 2015-01-05 2022-04-01 삼성전자 주식회사 이미지의 메타데이터 관리 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175534A (ja) * 1997-12-08 1999-07-02 Hitachi Ltd 画像検索方法およびその装置およびこれを利用した検索サービス
JP2003030240A (ja) * 2001-07-13 2003-01-31 Ntt Data Corp データ検索装置、データ検索方法、及びデータ検索プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647022A (en) * 1992-10-13 1997-07-08 Lucent Technologies Inc. Method and apparatus for symbol recognition using multidimensional preprocessing and symbol sorting
US7039856B2 (en) * 1998-09-30 2006-05-02 Ricoh Co., Ltd. Automatic document classification using text and images
JP4025443B2 (ja) * 1998-12-04 2007-12-19 富士通株式会社 文書データ提供装置及び文書データ提供方法
US6418433B1 (en) * 1999-01-28 2002-07-09 International Business Machines Corporation System and method for focussed web crawling
US6381605B1 (en) * 1999-05-29 2002-04-30 Oracle Corporation Heirarchical indexing of multi-attribute data by sorting, dividing and storing subsets
US6990628B1 (en) * 1999-06-14 2006-01-24 Yahoo! Inc. Method and apparatus for measuring similarity among electronic documents
US6707950B1 (en) * 1999-06-22 2004-03-16 Eastman Kodak Company Method for modification of non-image data in an image processing chain
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
AU2001270054A1 (en) * 2000-06-22 2002-01-02 Advisorteam.Com, Inc. Method and system for determining personal characteristics of an individual or group
JP3701197B2 (ja) * 2000-12-28 2005-09-28 松下電器産業株式会社 分類への帰属度計算基準作成方法及び装置
US7353236B2 (en) * 2001-03-21 2008-04-01 Nokia Corporation Archive system and data maintenance method
AU2001284628A1 (en) * 2001-08-31 2003-03-10 Kent Ridge Digital Labs Time-based media navigation system
US8214391B2 (en) * 2002-05-08 2012-07-03 International Business Machines Corporation Knowledge-based data mining system
US7085755B2 (en) * 2002-11-07 2006-08-01 Thomson Global Resources Ag Electronic document repository management and access system
US7181450B2 (en) * 2002-12-18 2007-02-20 International Business Machines Corporation Method, system, and program for use of metadata to create multidimensional cubes in a relational database
US8555273B1 (en) * 2003-09-17 2013-10-08 Palm. Inc. Network for updating electronic devices
JP2008502983A (ja) * 2004-06-17 2008-01-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 性格属性を使うパーソナル化したサマリー
US20060038812A1 (en) * 2004-08-03 2006-02-23 Warn David R System and method for controlling a three dimensional morphable model
US20060248094A1 (en) * 2005-04-28 2006-11-02 Microsoft Corporation Analysis and comparison of portfolios by citation
US20060248055A1 (en) * 2005-04-28 2006-11-02 Microsoft Corporation Analysis and comparison of portfolios by classification
JP4721111B2 (ja) * 2005-11-24 2011-07-13 富士ゼロックス株式会社 画像処理装置、画像処理システム、画像処理プログラムおよび画像処理方法
US20070212507A1 (en) * 2006-03-13 2007-09-13 Arst Kevin M Document Flagging And Indexing System
US7790974B2 (en) * 2006-05-01 2010-09-07 Microsoft Corporation Metadata-based song creation and editing
US7788254B2 (en) * 2007-05-04 2010-08-31 Microsoft Corporation Web page analysis using multiple graphs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175534A (ja) * 1997-12-08 1999-07-02 Hitachi Ltd 画像検索方法およびその装置およびこれを利用した検索サービス
JP2003030240A (ja) * 2001-07-13 2003-01-31 Ntt Data Corp データ検索装置、データ検索方法、及びデータ検索プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200200335001; 早川 和宏: 'ユーザの利用履歴に基づくWWWサーバの地図型ディレクトリ' 情報処理学会研究報告 Vol.97 No.2, 19970116, 17-24ページ, 社団法人情報処理学会 *
JPN6011062043; 早川 和宏: 'ユーザの利用履歴に基づくWWWサーバの地図型ディレクトリ' 情報処理学会研究報告 Vol.97 No.2, 19970116, 17-24ページ, 社団法人情報処理学会 *

Also Published As

Publication number Publication date
US8700675B2 (en) 2014-04-15
WO2008114306A1 (ja) 2008-09-25
US20100100549A1 (en) 2010-04-22
JPWO2008114306A1 (ja) 2010-06-24

Similar Documents

Publication Publication Date Title
Pandeya et al. Deep learning-based late fusion of multimodal information for emotion classification of music video
CN103946838B (zh) 交互式多模图像搜索
CN104428767B (zh) 用于识别相关实体的方法、系统和装置
US9077949B2 (en) Content search device and program that computes correlations among different features
CN103793446B (zh) 音乐视频的生成方法和系统
Neumayer et al. Playsom and pocketsomplayer, alternative interfaces to large music collections
Hong et al. Cbvmr: content-based video-music retrieval using soft intra-modal structure constraint
US8503770B2 (en) Information processing apparatus and method, and program
CN106575503A (zh) 用于对话理解系统的会话上下文建模
Mironică et al. A modified vector of locally aggregated descriptors approach for fast video classification
JP5161867B2 (ja) コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体
CN108292322A (zh) 使用从查看环境捕捉的信号的媒体数据文件的组织、检索、注释和呈现
CN105718566A (zh) 一种智能音乐推荐系统
Roy et al. iMusic: a session-sensitive clustered classical music recommender system using contextual representation learning
CN113395578A (zh) 一种提取视频主题文本的方法、装置、设备及存储介质
Schindler et al. Harnessing music-related visual stereotypes for music information retrieval
Fong et al. A theory-based interpretable deep learning architecture for music emotion
Yang Research on music content recognition and recommendation technology based on deep learning
CN116051192A (zh) 处理数据的方法和装置
Sundaram et al. Audio retrieval by latent perceptual indexing
CN106294563B (zh) 一种多媒体数据的处理方法和装置
Coviello et al. Automatic Music Tagging With Time Series Models.
Chordia et al. Extending Content-Based Recommendation: The Case of Indian Classical Music.
Barthel et al. Fusing keyword search and visual exploration for untagged videos
Nakano et al. Musical similarity and commonness estimation based on probabilistic generative models of musical elements

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120217

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121214

R150 Certificate of patent or registration of utility model

Ref document number: 5161867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250