JPWO2008126262A1 - コンテンツ説明装置及び方法 - Google Patents

コンテンツ説明装置及び方法 Download PDF

Info

Publication number
JPWO2008126262A1
JPWO2008126262A1 JP2009508810A JP2009508810A JPWO2008126262A1 JP WO2008126262 A1 JPWO2008126262 A1 JP WO2008126262A1 JP 2009508810 A JP2009508810 A JP 2009508810A JP 2009508810 A JP2009508810 A JP 2009508810A JP WO2008126262 A1 JPWO2008126262 A1 JP WO2008126262A1
Authority
JP
Japan
Prior art keywords
content
explanation
calculation
music
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009508810A
Other languages
English (en)
Other versions
JP4806465B2 (ja
Inventor
太郎 中島
太郎 中島
直明 堀内
直明 堀内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2008126262A1 publication Critical patent/JPWO2008126262A1/ja
Application granted granted Critical
Publication of JP4806465B2 publication Critical patent/JP4806465B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

指定コンテンツと、複数のコンテンツのうちのその指定コンテンツを除く残りのコンテンツとの類似度をコンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算し、その残りのコンテンツ各々についてのユーザ認識度をユーザ管理データベース手段に格納されたユーザ情報又はコンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算し、残りのコンテンツ各々の類似度とユーザ認識度と指定コンテンツに対して残りのコンテンツ各々についての説明適確度を演算し、その説明適確度に応じて指定コンテンツについてコンテンツ説明情報を提示する。

Description

本発明は、楽曲等のコンテンツを説明するコンテンツ説明装置及び方法に関する。
PCや携帯型音楽プレーヤにおいては、HDD等の記録媒体に数千曲もの楽曲データを保存し、それを選択的に再生して楽しむことができる。また、インターネットを介して未知の楽曲データを容易に入手できる環境が整備されてきている。
ユーザには、既知及び未知のものを含めて数千曲もの大量の楽曲を保存できるメリットを活用して、状況に応じて様々な楽曲を素早く選び出したいという要求がある。従来、ユーザの好みや楽曲の雰囲気などの指定条件に沿って楽曲を検索する装置、或いは自らの聴取履歴及び他人の聴取履歴を利用してユーザの好みに合致し、かつ聴き慣れない楽曲を出力する装置が提案されている。
例えば、特許文献1には、所定のアルゴリズムでユーザの嗜好度(過去楽曲再生回数やユーザからの入力)と楽曲の特徴量を対応させておき、ユーザの要求があった際に、ユーザの嗜好度に合致する複数の互いに類似する楽曲情報を出力する楽曲検索装置が示されている。
特許文献2には、ユーザが有する楽曲再生リストと、ユーザ以外の他者が有する楽曲再生リストを照らし合わせ、両者に共通の楽曲がある場合に、他者の楽曲再生リストに含まれる他の楽曲情報をユーザに提示する協調フィルタリングが示されている。
また、特許文献3には、予め楽曲の特徴に応じた楽曲の印象を決定しておき、ユーザから特定の印象が指定された際に、合致する楽曲情報を出力する装置が示されている。
これらの従来装置においては、ユーザは出力された楽曲に応じて出力結果の良し悪し、すなわちユーザの要求に合致しているか否かを確認することができる。しかしながら、その出力楽曲が未知の楽曲であった場合には、ユーザはその出力楽曲の内容を把握するために最低一度は聴取する必要がある。
特開2005−018205号公報 特開2006−277880号公報 特開2005−301160号公報
従来の装置においては、出力された楽曲をすべて聴取するには長時間を要する上に、未知の楽曲を出力した場合でかつ楽曲そのものをユーザが所有しない場合には、ユーザがそれらの楽曲内容を把握する手段が得られないという問題があった。例えば、特許文献1の装置においては、嗜好度合いに合致した楽曲情報が出力されるが、ユーザによる楽曲指定を受ける手段が備えられておらず、また類似度もシステムが出力する楽曲情報間のものでしかない。特許文献2の装置においては、ユーザの再生リストに基づいてそのユーザの嗜好に近い他人の楽曲情報を提供するが、その提供された楽曲情報が未知であった場合にはその楽曲内容をユーザが直ちに把握することができない。また、特許文献3の装置においては、ユーザによる楽曲指定を受ける手段が備えられておらず、またユーザの嗜好度合いや認識度合いが考慮されていない。
このような問題は、楽曲に限らず、映画、書籍等の他のコンテンツについても同様に存在する。
本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、ユーザが指定したコンテンツに類似する他のコンテンツをユーザに認識し易いように提示することができるコンテンツ説明装置及び方法並びにコンテンツ説明方法を実行するプログラムを提供することが本発明の目的である。
請求項1に係る発明のコンテンツ説明装置は、コンテンツについての説明を行うコンテンツ説明装置であって、複数のコンテンツのうちから説明されるべきコンテンツを指定するコンテンツ指定手段と、前記複数のコンテンツ各々についてのコンテンツ情報を格納したコンテンツ情報データベース手段と、前記複数のコンテンツ各々についてのユーザ情報を格納したユーザ管理データベース手段と、前記コンテンツ指定手段によって指定されたコンテンツと、前記複数のコンテンツのうちのその指定コンテンツを除く残りのコンテンツとの類似度を前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算する類似度演算手段と、前記残りのコンテンツ各々についてのユーザ認識度を前記ユーザ管理データベース手段に格納されたユーザ情報又は前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算するユーザ認識度演算手段と、前記類似度演算手段の演算結果と前記ユーザ認識度演算手段の演算結果とに応じて前記指定コンテンツに対して前記残りのコンテンツ各々が有する説明に値する度合いを説明適確度として演算する説明適確度演算手段と、前記説明適確度演算手段の演算結果の説明適確度に応じて前記指定コンテンツについてのコンテンツ説明情報を提示する説明提示手段と、を備えたことを特徴としている。
請求項12に係る発明のコンテンツ説明方法は、コンテンツについての説明を行うコンテンツ説明方法であって、複数のコンテンツのうちから説明されるべきコンテンツを指定するコンテンツ指定ステップと、前記コンテンツ指定ステップにて指定されたコンテンツと、前記複数のコンテンツのうちのその指定コンテンツを除く残りのコンテンツとの類似度をコンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算する類似度演算ステップと、前記残りのコンテンツ各々についてのユーザ認識度をユーザ管理データベース手段に格納されたユーザ情報又は前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算するユーザ認識度演算ステップと、前記類似度演算ステップの演算結果と前記ユーザ認識度演算ステップの演算結果とに応じて前記指定コンテンツに対して前記残りのコンテンツ各々が有する説明に値する度合いを説明適確度として演算する説明適確度演算ステップと、前記説明適確度演算ステップの演算結果の説明適確度に応じて前記指定コンテンツについてのコンテンツ説明情報を提示する説明提示ステップと、を備えたことを特徴としている。
請求項13に係る発明のプログラムは、コンテンツについての説明を行うコンテンツ説明方法を実行するプログラムを備えたコンピュータ読取可能な媒体に取り込まれたコンピュータプログラムであって、複数のコンテンツのうちから説明されるべきコンテンツを指定するコンテンツ指定ステップと、前記コンテンツ指定ステップにて指定されたコンテンツと、前記複数のコンテンツのうちのその指定コンテンツを除く残りのコンテンツとの類似度をコンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算する類似度演算ステップと、前記残りのコンテンツ各々についてのユーザ認識度をユーザ管理データベース手段に格納されたユーザ情報又は前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算するユーザ認識度演算ステップと、前記類似度演算ステップの演算結果と前記ユーザ認識度演算ステップの演算結果とに応じて前記指定コンテンツに対して前記残りのコンテンツ各々が有する説明に値する度合いを説明適確度として演算する説明適確度演算ステップと、前記説明適確度演算ステップの演算結果の説明適確度に応じて前記指定コンテンツについてのコンテンツ説明情報を提示する説明提示ステップと、を備えたことを特徴としている。
本発明による楽曲説明装置の構成を示すブロック図である。 楽曲情報データベース部に格納されている楽曲情報の例を示す図である。 ユーザ管理データベース部に格納されているユーザ情報の例を示す図である。 楽曲情報XF(i,j)及びA(j)の例を示す図である。 類似度演算動作を示すフローチャートである。 ユーザ情報XU(i,j)の例を示す図である。 公的情報XP(i,j)の例を示す図である。 ユーザ認識度演算動作を示すフローチャートである。 説明適確度演算動作を示すフローチャートである。 楽曲説明方法決定動作を示すフローチャートである。 代表曲表示の場合の表示例を示す図である。 アーティスト割合表示の場合の表示例を示す図である。 更新動作を示すフローチャートである。 本発明の他の実施例として楽曲説明装置の構成を示すブロック図である。 図14の装置における個人的認識度演算動作を示すフローチャートである。 図14の装置における公的認識度演算動作を示すフローチャートである。 図14の装置における説明適確度演算動作を示すフローチャートである。 図17の動作中の説明適確度の計算方法を示すフローチャートである。
符号の説明
1 楽曲指定部
2 楽曲説明方法指定部
3 楽曲情報データベース部
4 ユーザ管理データベース部
5 楽曲索引同期部
6 楽曲類似度演算部
7 ユーザ認識度演算部
8 説明適確度演算部
9 楽曲説明方法決定部
10 楽曲情報提示部
請求項1、12及び13に係る発明においては、ユーザが指定したコンテンツと、複数のコンテンツのうちのその指定コンテンツを除く残りのコンテンツとの類似度がコンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算され、その残りのコンテンツ各々についてのユーザ認識度がユーザ管理データベース手段に格納されたユーザ情報又はコンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算される。演算結果の残りのコンテンツ各々の類似度とユーザ認識度とに応じて、指定コンテンツに対する残りのコンテンツ各々についての説明適確度が演算され、その各説明適確度は残りのコンテンツ各々が有する説明に値する度合いを示しているので、説明適確度に応じて指定コンテンツについて他のコンテンツをコンテンツ説明情報として提示することができる。よって、指定コンテンツが未知のものであっても、ユーザは指定コンテンツそのものを実際に聴取や視聴等をして確認することなく、それに類似する他のコンテンツのコンテンツ説明情報により指定コンテンツを容易にかつ短時間で認識することができる。
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図1は、本発明の実施例として楽曲説明装置を示している。この楽曲説明装置は、楽曲指定部1、楽曲説明方法指定部2、楽曲情報データベース部3、ユーザ管理データベース部4、楽曲索引同期部5、楽曲類似度演算部6、ユーザ認識度演算部7、説明適確度演算部8、楽曲説明方法決定部9、及び楽曲情報提示部10を備えている。
楽曲指定部1は、コンテンツ指定手段であり、ユーザが説明を要する楽曲を指定する。楽曲説明方法指定部2は、楽曲指定部1によって指定された楽曲に対する最終的な楽曲説明方法をユーザの選択に応じて指定する。楽曲説明方法指定部2は楽曲説明方法決定部9、及び楽曲情報提示部10と共に説明提示手段を構成している。
楽曲情報データベース部3は、コンテンツ情報データベース手段であり、既存の楽曲各々についての少なくとも書誌情報、音楽特徴量、画像特徴量、及び公的情報を含む各種の楽曲情報を格納している。図2は楽曲情報データベース部3に格納されている1の楽曲(楽曲ID:1000)についての書誌情報、音楽特徴量、画像特徴量、及び公的情報各々の例を示している。
ユーザ管理データベース部4は、ユーザ管理データベース手段であり、楽曲情報データベース部3に存在する楽曲に対する、ユーザ毎の再生履歴や所有/非所有情報を格納したデータベースである。楽曲に対するユーザ自体に関わる情報であればユーザ管理データベース部4の範囲として扱われる。図3はユーザ管理データベース部4に格納されている1の楽曲(楽曲ID:1000)についてのユーザ情報の例を示している。
楽曲索引同期部5は、楽曲情報データベース部3とユーザ管理データベース部4とにおいて、楽曲索引(楽曲ID)について対応関係をとる。すなわち、楽曲情報データベース部3に新たな楽曲情報が楽曲IDと共に追加された場合に、ユーザ管理データベース部4にも同一の楽曲IDが加えられ、その楽曲ID用のデータ格納領域が確保される。
楽曲類似度演算部6は、コンテンツ類似度演算手段であり、楽曲指定部1にて指定された楽曲に対し、その指定楽曲と他の楽曲との楽曲類似度を演算する。その演算には楽曲情報データベース部3に格納されている各楽曲の楽曲情報のうちの、公的情報以外の全てが用いられる。
ユーザ認識度演算部7は、ユーザ認識度演算手段であり、楽曲情報データベース部3に格納されている全ての楽曲に対するユーザにとっての認識し易さ、つまりユーザの認識度を演算する。その演算には楽曲データベース部3に格納されている各楽曲の楽曲情報のうち公的情報と、ユーザ管理データベース部4に格納されている各楽曲のユーザ情報とが用いられる。
説明適確度演算部8は、説明適確度演算手段であり、楽曲類似度演算部6の演算結果及びユーザ認識度演算部7の演算結果を用いて、楽曲情報データベース部3に格納されている全ての楽曲のうちの、楽曲指定部1にて指定された楽曲に対する説明適確度を演算する。すなわち、ユーザが指定した楽曲に対して楽曲情報(音楽特徴、書誌情報、ジャケット写真などの画像特徴等)が類似し、かつユーザにとって認識し易い楽曲の順位付けを行う。
楽曲説明方法決定部9は、説明適確度演算部8で得た説明適確度の高い楽曲群に対し、楽曲説明方法指定部2からの指定に基づいて最も説明適確度の高い楽曲情報、或いは当該楽曲群に属するアーチスト割合を出力するか否かを決定する。
楽曲情報提示部10は、楽曲説明方法決定部9から出力される楽曲情報を図示しない表示器の画面に提示する。
次に、かかる構成の楽曲説明装置の動作について説明する。
先ず、ユーザの操作に応じて楽曲が指定され、楽曲指定部1からは指定楽曲を示すデータが楽曲類似度演算部6に供給される。楽曲類似度演算部6は指定楽曲と、楽曲情報データベース部3に格納されている複数の楽曲との類似度演算を行う。
楽曲情報データベース部3には、既存の全ての楽曲についての楽曲情報が記録されており、その集合をXとする。ここで、各楽曲をX(i),i=0...Nで表し、 X(i)はXに属する楽曲である。Nは楽曲総数である。楽曲X(i)の楽曲情報をXF(i,j), j=0...M-1で表し、Mは楽曲情報属性の総数と定義する。ユーザによって指定された楽曲をA、AはXに属し、楽曲Aの楽曲情報をAF(j), j=0...M-1と定義する。楽曲情報XF(i,j)及びA(j)の例として、図4に示すように、 属性j=0〜j=9各々についてアイテム、特徴量又は情報、評価対象、及び類似演算対象が定められる。
類似度演算動作においては、図5に示すように、先ず、指定楽曲Aについての楽曲情報AF(j)が楽曲情報データベース部3から取得される(ステップS1)。また、楽曲A以外の楽曲X(i),i=0...Nについての楽曲情報XF(i,j)が楽曲情報データベース部3から取得される(ステップS2)。そして、楽曲情報AF(j)と楽曲情報XF(i,j)とを用いて楽曲Aと楽曲X(i)との類似度RF(i,j)が演算される(ステップS3)。
ここで、楽曲Aとそれ以外の楽曲X(i),X(i)≠Aとの楽曲類似度をRF(i,j), i=0...N-1,j=0...Mと定義する。j=0の場合にはAF(j)及びXF(i,j)の楽曲属性すべて(j=0...M-1)の類似度を計算した結果がRF(i,0)として格納される。j=1...Mの場合には個別の楽曲属性(AF(j)及びXF(i,j)のj=0...M-1に対応))に対する類似度を計算した結果がRF(i,j+1)として格納される。楽曲類似度の演算方法としては、多次元ベクトルの距離指標であればユークリッド距離、余弦距離、マハラノビス距離等を用いても良い。ユークリッド距離を採用した場合の計算式は次式(1a),(1b)の通りである。
類似度の演算では、楽曲属性のうち、図4のj=3〜9のように数値で表現されるものはその差分を計算し、図4のj=0〜2のように単語群の場合にはA(j)およびXF(i,j)で共通に含む単語の出現頻度を計算すると良い。
類似度演算後、ユーザ認識度演算部7においてユーザ認識度演算動作が実行される。ユーザ認識度演算動作は楽曲情報データベース部3に格納されている各楽曲ついて行われる。
先ず、楽曲X(i),i=0...N-1に対するユーザ情報をXU(i,j),i=0...N-1, j=0...K-1とする。 Kはユーザ管理データベース部4に格納されているユーザ情報属性の総数である。また、楽曲X(i),i=0...N-1に対する公的情報をXP(i,j), i=0...N-1, j=0...L-1とする。Lは楽曲情報データベース部3に格納されている公的情報属性の総数である。ユーザ情報XU(i,j)の例として、図2の楽曲情報データベース部3の楽曲情報に基づいて、図6に示すように、属性j=0〜j=2各々についてアイテム、評価対象が定められる。また、公的情報XP(i,j)の例として、図3のユーザ管理データベース部4のユーザ情報に基づいて、図7に示すように、属性j=0〜j=3各々についてアイテム、評価対象が定められる。
更に、2種類のユーザ認識度として個人的認識度と公的認識度とを各々、XURG(i), i=0...N-1, XPRG(i), i=0...N-1と定義する。個人的認識度はユーザ毎に個別の情報であって、聴取履歴などで表される個人の楽曲に対する馴染み度合いを示すものである。一方、公的認識度は、CMやドラマ、街頭で放送されるなどの公的及び外部要因によるものであり、個人の聴取傾向によらない。いわゆる、良く耳にする、といった経験から楽曲に馴染む度合いを表すものであり、個人的認識度の低い場合に利用する。
ユーザ認識度演算動作においては、図8に示すように、先ず、楽曲A以外の楽曲(X(i),i=0...N-1,Xi≠A)に対するユーザ情報XU(i, j), i=0...N-1, j=0...K-1, Xi≠Aがユーザ管理データベース部4から取得される(ステップS4)。次に楽曲A以外の楽曲(X(i),i=0...N-1,Xi≠A)の個人的認識度XURG(i),i=0...N-1,Xi≠Aが演算される(ステップS5)。個人的認識度の演算には次式(2)が用いられる。ここでWU(i), i=0...K-1は各属性の重み付けを表す調整可能なパラメータである。
更に、楽曲A以外の楽曲X(i), i=0...N-1,Xi≠Aに対する公的情報XP(i, j), i=0...N-1, j=0...L-1, Xi≠Aが楽曲情報データベース部3から取得され(ステップS6)、次に楽曲A以外の楽曲(X(i), i=0...N-1,Xi≠A)の公的認識度XPRG(i), i=0...N-1,Xi≠Aが演算される(ステップS7)。公的認識度の演算には次式(3)が用いられる。ここで、WP(i), i=0...L-1は各属性の重み付けを表す調整可能なパラメータである。
ただし、式(2)及び(3)は一般的な場合であり、特に楽曲情報データベース部3が上記の図2の楽曲情報、ユーザ管理データベース部4が図3のユーザ情報、XU(i,j)及びXP(i,j)が図4の情報に基づく場合であって、各属性の数値の大小と認識度合いとの意味合いが異なる場合には、個人的認識度XURG(i)及び公的認識度XPRG(i)を、属性の数や性質に従って次式(4)及び(5)によって演算することができる。
ユーザ認識度演算後、説明適確度演算部8において説明適確度演算動作が実行される。ここで、ユーザによって指定された楽曲Aに対して、楽曲情報データベース部3に登録されている各楽曲がどれほど説明(把握させる)に値するかの度合いを、説明適確度と呼ぶこととする。説明適確度をDP(i, j),i=0...N-1, j=0...Mと定義する。
説明適確度演算動作においては、図9に示すように、先ず、ステップS3で演算された楽曲類似度RF(i,j)と、ステップ5で演算された個人的認識度XURG(i)とを用いて、説明適確度DP(i,j)が演算される(ステップS8)。ステップS8における説明適確度DP(i,j)の演算には式(6)が用いられる。ただし、楽曲Aが楽曲X(i)に該当するインデックスiについては、出力値を−1として以降の演算対象から外すことが行われる。
次に、ステップS8で演算された説明適確度DP(i,j)のうち、値が閾値DPThresh(第1閾値)未満であるか否かが判定される(ステップS9)。ステップS9において、説明適確度DP(i,j)がDPThresh未満であると判定された場合には、該当するインデックスi,jが変数Si,Sjに代入された後(ステップS9a)、ステップS3で演算された楽曲類似度RF(Si,Sj)と、ステップS6で演算された公的認識度XURG(Si)とを用いて、説明適確度DP(i,j)が再演算される(ステップS10)。ステップS10における説明適確度DP(i,j)の演算には式(7)が用いられる。
ステップS9において、説明適確度DP(i,j)がDPThresh以上であると判定された場合には処理は後述のステップS11に進む。ステップS10の説明適確度DP(i,j)の再演算後もステップS11に進む。
閾値DPThreshは、個人的認識度XURG(i)による説明適確度の妥当性を判断する調整可能なパラメータである。説明適確度DP(i,j)がDPThresh未満である場合には、個人的認識度が低いという判断に基づいて、ステップS10で公的認識度による説明適確度の演算が行われる。これは、ユーザによって指定された楽曲Aを説明するには、本来はユーザ各個人に依存する馴染み度合いの高い楽曲情報が望ましいことから個人的認識度を優先するが、それが低い場合には、公的或いは外的要因によって良く耳にするといった度合いで補足することによって、説明適確度の高い楽曲を選択するためである。
ステップS11では、新たに楽曲索引(楽曲インデックス)をODPI(i, j), i=0...N-1 , j=0...M、並び替え済みの説明適確度をODPS(i, j), i=0...N-1 , j=0...Mと定義して、説明適確度DP(i, j)の高い順に(数値の大きい順に)ソート(並び替え)が行われ、ソート後の値が説明適確度ODPS(i, j)として格納される。これは、ステップS12以降における説明適確度の高い楽曲情報を処理するための前準備となる。
説明適確度演算後、楽曲説明方法決定部9において楽曲説明方法決定動作が実行される。楽曲説明方法決定動作においては、図10に示すように、先ず、ユーザによる楽曲説明方法指定が、代表曲表示とアーチスト割合表示とのいずれであるかが判定される(ステップS12)。
次に、ユーザの指定が代表曲表示の場合には、楽曲特徴量の類似指針として特徴量全体を利用した場合(j=0、全体的に類似度が高い)と、個別の特徴量(j=1...M、曲調、リズムなどの個別情報に類似度が高い)とに対して、説明適確度の最も高い楽曲索引(楽曲インデックス)ODPI(0, j)に該当する楽曲情報が楽曲情報データベース部3から取得され、これが楽曲説明情報として楽曲提示部10を介して提示される(ステップS13)。代表曲表示指定での楽曲説明情報は例えば、図11に示すように表示される。代表曲表示指定の場合には、ユーザが指定した楽曲(図11の楽曲プレイリストのうちのカーソル位置の楽曲)に対し、「全体的にピッタリ」、「曲調が似ているのは」、「リズムが近いのは」、「アーチスト的には」及び「ジャケ写イメージでは」の各々で楽曲が示される。
一方、ユーザの指定がアーチスト割合表示の場合には、ステップS11で並び替え済みの説明適確度ODPS(i, j)が閾値ODPSThreshを越える曲数P(j),j=0...Mが決定される(ステップS14)。閾値ODPSThreshは、楽曲説明出力の性能を決定するための、調整可能なパラメータである。
その後、楽曲特徴量の類似指針として特徴量全体を利用した場合(j=0、全体的に類似度が高い)と、個別の特徴量(j=1...M、曲調、リズムなどの個別情報に類似度が高い)とに対して、楽曲索引(楽曲インデックス) ODPI(i, j)に該当する各楽曲のアーチスト名が楽曲情報データベース部3から取得され、これが楽曲説明情報としてその割合の多い順に、楽曲提示部10を介して提示される(ステップS15)。アーチスト割合表示指定での楽曲説明情報は例えば、図12に示すように表示される。アーチスト割合表示指定の場合には、ユーザが指定した楽曲(図12の楽曲プレイリストのうちのカーソル位置の楽曲)に対し、「全体的にピッタリ」、「曲調が似ているのは」、「リズムが近いのは」、「アーチスト的には」及び「ジャケ写イメージでは」の各々でアーチスト名が示される。
また、かかる楽曲説明装置においては、楽曲情報データベース部3とユーザ管理データベース部4とに新たな楽曲を登録するために更新動作が行われる。この更新動作は、上記の動作とは独立して実行される。ユーザによる楽曲指定及び楽曲説明情報の提示動作中以外であれば、動作タイミングは問わない。例えば、システムのスタンバイ状態の夜中に動作させても良い。
更新動作においては、図13に示すように、定期的にインターネット上の楽曲情報提供サービス(サーバ)の更新状況が確認される(ステップS16)。次に、そのサービスから新たな楽曲及び楽曲情報が取得可能か否かが判断される(ステップS17)。ステップS17において情報取得が可能な場合には、その新たな楽曲及び楽曲情報の識別子(楽曲情報データベース部3の楽曲ID)をIDNewとして、楽曲情報が楽曲情報データベース部3に新たな楽曲情報として登録される(ステップS18)。そして、ユーザ管理データベース部4にもその楽曲ID=IDNewに対応するユーザ情報のエリアが確保される(ステップS19)。なお、その際、ユーザ管理データベース部4の再生回数等の各属性値は0にされる。
一方、ステップS17において情報取得が不可能な場合には、ステップS16に戻って上記の処理が繰り返される。
このように、かかる本発明の楽曲説明装置においては、ユーザが指定した楽曲Aに対し、その楽曲情報(音楽的特徴、書誌情報、ジャケット写真などの画像的特徴等)が類似し、かつユーザにとって認識し易い他の楽曲情報が、複数の類似指針(全体、曲調、リズム等)に従って提示される。よって、ユーザは知らない楽曲、或いは聴きなれない楽曲を、普段聴き込んでいる、或いは良く耳にする楽曲から内容を類推することができる。
この結果、従来の装置のように、提示された楽曲が未知の楽曲であってもそれを聴取する必要がなく、また、ユーザがその提示楽曲を再生可能な楽曲データとして所有しない場合においてもそれを把握することができるため、ユーザが未知の楽曲を把握する負荷を大きく軽減することができる。また、指定した楽曲Aがユーザにとって既知の場合においても、それを説明するに値する他の楽曲を提示するため、ユーザがその指定楽曲の理解を深めるための手助けとなる。
また、ユーザの指定が代表曲表示の場合には楽曲内容をそれ自体で把握することもでき、アーチスト割合表示指定の場合には、アーチストという人間にとって想像し易い属性で把握することができる。
図14は、本発明の他の実施例を示している。図14の楽曲説明装置は、上記の図1のユーザ認識度演算部7に代えて個人的認識度演算部11と公的認識度演算部12とを備えている。図14の楽曲説明装置は、更に、個人的認識度データベース部13、公的認識度データベース部14、ユーザ情報同期部15、及び公的情報同期部16を備えている。
個人的認識度演算部11はユーザ個人の認識度を演算し、演算した個人的認識度を個人的認識度データベース部13に格納する。公的認識度演算部12は公的認識度を演算し、演算した公的認識度を公的認識度データベース部14に格納する。
説明適確度演算部8は、楽曲類似度演算部6の演算結果と、個人的認識度データベース部13及び公的認識度データベース部14各々に記憶された個人的認識度及び公的認識度の演算結果とを用いて、楽曲情報データベース部3に格納されている全ての楽曲のうちの、楽曲指定部1にて指定された楽曲に対する説明適確度を演算する。
ユーザ情報同期部15は、ユーザ管理データベース部4と個人的認識度データベース部13とにおいて、楽曲索引(楽曲ID)について対応関係をとる。公的情報同期部16は、楽曲情報データベース部3と公的認識度データベース部14とにおいて、楽曲索引(楽曲ID)について対応関係をとる。
その他の楽曲指定部1、楽曲説明方法指定部2、楽曲情報データベース部3、ユーザ管理データベース部4、楽曲索引同期部5、楽曲類似度演算部6、楽曲説明方法決定部9、及び楽曲情報提示部10は図1の楽曲説明装置の場合と同様である。
図14の楽曲説明装置において、個人的認識度演算部11は、図15に示すように個人的認識度演算動作(ステップS20及びS21)を実行する。このステップS20及びS21の演算動作自体は図8のステップS4及びS5と同一である。ステップS21では演算結果の個人的認識度XURG(i),i=0...N-1,Xi≠Aが個人的認識度データベース部13に格納される。
公的認識度演算部12は、図16に示すように公的認識度演算動作(ステップS22及びS23)を実行する。このステップS22及びS23の演算動作自体は図8のステップS6及びS7と同一である。ステップS23では演算結果の公的認識度XPRG(i), i=0...N-1,Xi≠Aが公的認識度データベース部14に格納される。
これらのデータベース部13及び14は、ユーザ管理データベース部4のユーザ情報、楽曲情報データベース部3の公的情報が変更されると同期して再計算されるようにしても良いし、説明適確度を計算するたびに更新を行うようにしても良い。
図14の楽曲説明装置において、説明適確度演算部8によって実行される説明適確度演算動作は、図17に示すように、先ず、個人的認識度データベース部13に格納された個人的認識度の高い楽曲の中から説明適確度の高い(所定値より大なる説明適確度の)楽曲の数が説明可能楽曲数EXSUM(j)として取得される(ステップS24)。取得された説明可能楽曲数EXSUM(j)が閾値EXSUMThresh(第2閾値)以上であるか否かが判定される(ステップS25)。EXSUM(j)≧EXSUMThreshで説明のために十分な数の楽曲が得られれば、これらの楽曲を用いてユーザに説明するために、説明適確度DP(i, j)の高い順に(数値の大きい順に)ソート(並び替え)が行われ、ソート後の値が説明適確度ODPS(i, j)として格納される。(ステップS27)。EXSUM(j)<EXSUMThreshで十分な数の楽曲が得られなかった場合には、公的認識度データベース部14に格納された公的認識度の高い楽曲の中から説明適確度の高い楽曲の数が説明可能楽曲数EXSUM(j)として取得され(ステップS26)、その後、ステップS27が処理される。
こうすることにより、個人的認識度の高い楽曲を多く持つユーザは、公的認識度の高い楽曲を含む個人的認識度の低い楽曲と指定された楽曲との楽曲類似度演算処理を省略することができ、効率良く説明適確度演算を行なうことができる。
なお、ステップS24の個人的認識度を利用した説明適確度の計算方法については、図18に示すように、先ず、説明可能楽曲数EXSUM(j)の初期化後(ステップS28)、指定楽曲A以外の楽曲X(i)の個人的認識度が個人的認識度データベース部13からXURG(i)として取得される(ステップS29)。次に、その値XURG(i)を閾値XURGThresh未満であるか否かが判定される(ステップS30)。XURG(i)<XURGThreshであるならば、iがインクリメントされた後(ステップS36)、上記のステップS29が再度処理される。
ステップS30においてXURG(i)がXURGThresh以上と判定された場合には、ユーザから指定された楽曲Aとの楽曲類似度RF(i, j)が計算され(ステップS31)、そして、ステップS32の説明適確度DP(i,j)の演算処理が行われる。ステップS31の楽曲類似度演算動作の詳細は図5に示した通りである。また、ステップS32は図9の説明適確度演算動作におけるステップS8に相当する。ステップS32において算出された説明適確度DP(i,j)は閾値DPThresh以上であるか否かが判定される(ステップS33)。DP(i,j)<DPThreshであるならば、iがインクリメントされた後(ステップS36)、上記のステップS29が再度処理される。DP(i,j)≧DPThreshであるならば、説明可能楽曲数EXSUM(j)がインクリメントされる(ステップS34)。iがNより小であるならば(ステップS35)、iがインクリメントされた後(ステップS36)、上記のステップS29が再度処理される。i≧Nならば、上記のステップS25が処理される。
この個人的認識度を利用した説明適確度の計算方法と同様に、ステップS26の公的認識度を利用した説明適確度の計算を行うことができる。
なお、上記した各実施例においてはコンテンツとして楽曲を対象としたものであったが、同様の仕組みで視聴に負荷のかかる映画、書籍等の他のコンテンツにも適用することができる。この場合には、図2における各種情報を該当する映画、書籍等のコンテンツの属性に置き換えれば良く、その他の動作は上記の実施例の楽曲説明の場合と同様にすることにより対応可能である。
また、上記した各実施例に示した楽曲等のコンテンツ説明方法を実行するためのプログラムをディスク等の記録媒体に記録し、その記録媒体に記録されたプログラムをコンピュータが読み取ることによりコンテンツ説明方法が実行されるようにしても良い。

Claims (13)

  1. コンテンツについての説明を行うコンテンツ説明装置であって、
    複数のコンテンツのうちから説明されるべきコンテンツを指定するコンテンツ指定手段と、
    前記複数のコンテンツ各々についてのコンテンツ情報を格納したコンテンツ情報データベース手段と、
    前記複数のコンテンツ各々についてのユーザ情報を格納したユーザ管理データベース手段と、
    前記コンテンツ指定手段によって指定されたコンテンツと、前記複数のコンテンツのうちのその指定コンテンツを除く残りのコンテンツとの類似度を前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算する類似度演算手段と、
    前記残りのコンテンツ各々についてのユーザ認識度を前記ユーザ管理データベース手段に格納されたユーザ情報又は前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算するユーザ認識度演算手段と、
    前記類似度演算手段の演算結果と前記ユーザ認識度演算手段の演算結果とに応じて前記指定コンテンツに対して前記残りのコンテンツ各々が有する説明に値する度合いを説明適確度として演算する説明適確度演算手段と、
    前記説明適確度演算手段の演算結果の説明適確度に応じて前記指定コンテンツについてのコンテンツ説明情報を提示する説明提示手段と、を備えたことを特徴とするコンテンツ説明装置。
  2. 前記類似度演算手段は、前記コンテンツ情報データベース手段に格納されたコンテンツ情報の複数の属性各々について前記指定コンテンツと、前記残りのコンテンツ各々との類似度を演算すること特徴とする請求項1記載のコンテンツ説明装置。
  3. 前記ユーザ認識度演算手段は、前記ユーザ認識度として、前記ユーザ管理データベース手段に格納されたユーザ情報の複数の属性各々について前記残りのコンテンツ各々の個人的認識度と、前記コンテンツ情報データベース手段に格納されたコンテンツ情報のうちの公的情報の複数の属性各々について前記残りのコンテンツ各々の公的認識度と、を演算すること特徴とする請求項1記載のコンテンツ説明装置。
  4. 前記説明適確度演算手段は、前記コンテンツ情報データベース手段に格納されたコンテンツ情報の複数の属性各々について前記類似度演算手段の演算結果と前記ユーザ認識度演算手段の演算結果とを乗算して前記説明適確度を算出すること特徴とする請求項1記載のコンテンツ説明装置。
  5. 前記ユーザ認識度演算手段は、前記ユーザ認識度として、前記ユーザ管理データベース手段に格納されたユーザ情報の複数の属性各々について前記残りのコンテンツ各々の個人的類似度と、前記コンテンツ情報データベース手段に格納されたコンテンツ情報のうちの公的情報の複数の属性各々について前記残りのコンテンツ各々の公的認識度と、を演算し、
    前記説明適確度演算手段は、前記コンテンツ情報データベース手段に格納されたコンテンツ情報の複数の属性各々について前記類似度演算手段の演算結果の類似度と前記ユーザ認識度演算手段によって演算された前記個人的認識度とを乗算し、
    その乗算結果が第1閾値以上であるときその乗算結果を前記説明適確度とし、
    その乗算結果が前記第1閾値より小であるとき、前記コンテンツ情報データベース手段に格納されたコンテンツ情報の複数の属性各々について前記類似度演算手段の演算結果の類似度と前記ユーザ認識度演算手段によって演算された前記公的認識度とを乗算して前記説明適確度を算出することを特徴とする請求項1記載のコンテンツ説明装置。
  6. 前記説明適確度演算手段は、算出した前記複数の属性各々の前記説明適確度を数値の大なるコンテンツ順に並び替えて出力すること特徴とする請求項4又は5記載のコンテンツ説明装置。
  7. 前記説明適確度演算手段は、前記コンテンツ情報データベース手段に格納されたコンテンツ情報の複数の属性各々について、前記ユーザ認識度演算手段によって演算された前記個人的認識度のうちの所定値より大なる説明適確度の楽曲の数を説明可能楽曲数として算出する第1説明可能楽曲数算出手段と、
    前記説明可能楽曲数が第2閾値より小であるとき前記コンテンツ情報データベース手段に格納されたコンテンツ情報の複数の属性各々について、前記ユーザ認識度演算手段によって演算された前記公的認識度のうちの所定値より大なる説明適確度の楽曲の数を前記説明可能楽曲数として算出する第2説明可能楽曲数算出手段と、
    前記第1説明可能楽曲数算出手段又は前記第2説明可能楽曲数算出手段によって算出された前記説明可能楽曲数について算出した前記複数の属性各々の前記説明適確度を数値の大なるコンテンツ順に並び替えて出力することを特徴とする請求項4又は5記載のコンテンツ説明装置。
  8. 前記説明提示手段は、代表コンテンツ表示とアーチスト割合表示とのいずれか一方の表示方法を指定するコンテンツ説明方法指定手段と、
    前記コンテンツ説明方法指定手段によって指定された表示方法にて前記説明適確度演算手段の演算結果の説明適確度が高いコンテンツについての前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて、前記指定コンテンツについての前記コンテンツ説明情報を決定するコンテンツ説明方法決定手段と、
    前記コンテンツ説明方法決定手段によって決定された前記コンテンツ説明情報を表示するコンテンツ情報提示手段と、を備えたことを特徴とする請求項1記載のコンテンツ説明装置。
  9. 前記コンテンツ説明方法決定手段は、前記コンテンツ情報データベース手段に格納されたコンテンツ情報の複数の属性全てに亘って前記説明適確度演算手段の演算結果の説明適確度が高いコンテンツと、前記複数の属性各々について前記説明適確度演算手段の演算結果の説明適確度が高いコンテンツと、の各々について前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて前記指定コンテンツについての前記コンテンツ説明情報を決定することを特徴とする請求項8記載のコンテンツ説明装置。
  10. 前記コンテンツ情報データベース手段に格納されたコンテンツ情報の複数の属性は、書誌情報、音楽的特徴量、画像特徴量及び公的情報に関することを特徴とする請求項4、5、7、9のいずれか1記載のコンテンツ説明装置。
  11. 新規のコンテンツ及びそのコンテンツ情報が取得可能な場合には、前記コンテンツ情報データベース手段に新規の識別子に対応してその新規のコンテンツ情報が記録され、前記ユーザ管理データベース手段には、前記コンテンツ情報データベース手段の識別子と同一の識別子でユーザ情報の記録エリアが確保されることを特徴とする請求項1記載のコンテンツ説明装置。
  12. コンテンツについての説明を行うコンテンツ説明方法であって、
    複数のコンテンツのうちから説明されるべきコンテンツを指定するコンテンツ指定ステップと、
    前記コンテンツ指定ステップにて指定されたコンテンツと、前記複数のコンテンツのうちのその指定コンテンツを除く残りのコンテンツとの類似度をコンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算する類似度演算ステップと、
    前記残りのコンテンツ各々についてのユーザ認識度をユーザ管理データベース手段に格納されたユーザ情報又は前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算するユーザ認識度演算ステップと、
    前記類似度演算ステップの演算結果と前記ユーザ認識度演算ステップの演算結果とに応じて前記指定コンテンツに対して前記残りのコンテンツ各々が有する説明に値する度合いを説明適確度として演算する説明適確度演算ステップと、
    前記説明適確度演算ステップの演算結果の説明適確度に応じて前記指定コンテンツについてのコンテンツ説明情報を提示する説明提示ステップと、を備えたことを特徴とするコンテンツ説明方法。
  13. コンテンツについての説明を行うコンテンツ説明方法を実行するプログラムを備えたコンピュータ読取可能な媒体に取り込まれたコンピュータプログラムであって、
    複数のコンテンツのうちから説明されるべきコンテンツを指定するコンテンツ指定ステップと、
    前記コンテンツ指定ステップにて指定されたコンテンツと、前記複数のコンテンツのうちのその指定コンテンツを除く残りのコンテンツとの類似度をコンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算する類似度演算ステップと、
    前記残りのコンテンツ各々についてのユーザ認識度をユーザ管理データベース手段に格納されたユーザ情報又は前記コンテンツ情報データベース手段に格納されたコンテンツ情報に基づいて演算するユーザ認識度演算ステップと、
    前記類似度演算ステップの演算結果と前記ユーザ認識度演算ステップの演算結果とに応じて前記指定コンテンツに対して前記残りのコンテンツ各々が有する説明に値する度合いを説明適確度として演算する説明適確度演算ステップと、
    前記説明適確度演算ステップの演算結果の説明適確度に応じて前記指定コンテンツについてのコンテンツ説明情報を提示する説明提示ステップと、を備えたことを特徴とするプログラム。
JP2009508810A 2007-03-30 2007-03-30 コンテンツ説明装置及び方法 Expired - Fee Related JP4806465B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/057132 WO2008126262A1 (ja) 2007-03-30 2007-03-30 コンテンツ説明装置及び方法

Publications (2)

Publication Number Publication Date
JPWO2008126262A1 true JPWO2008126262A1 (ja) 2010-07-22
JP4806465B2 JP4806465B2 (ja) 2011-11-02

Family

ID=39863442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009508810A Expired - Fee Related JP4806465B2 (ja) 2007-03-30 2007-03-30 コンテンツ説明装置及び方法

Country Status (3)

Country Link
US (1) US8375040B2 (ja)
JP (1) JP4806465B2 (ja)
WO (1) WO2008126262A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013014728A1 (ja) * 2011-07-22 2013-01-31 パイオニア株式会社 コンテンツ説明装置、コンテンツ説明方法及びプログラム
CN103853749B (zh) * 2012-11-30 2017-04-26 国际商业机器公司 基于模式的音频检索方法和系统
US9396256B2 (en) 2013-12-13 2016-07-19 International Business Machines Corporation Pattern based audio searching method and system
US11461649B2 (en) * 2020-03-19 2022-10-04 Adobe Inc. Searching for music
CN111460215B (zh) * 2020-03-30 2021-08-24 腾讯科技(深圳)有限公司 音频数据处理方法、装置、计算机设备以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149804B2 (en) * 2001-04-30 2006-12-12 Sony Computer Entertainment America Inc. Method and system for providing evaluation of text-based products
JP2005018205A (ja) * 2003-06-24 2005-01-20 Matsushita Electric Ind Co Ltd 楽曲検索システム、楽曲検索方法、及び楽曲検索装置
JP4339171B2 (ja) * 2004-04-15 2009-10-07 シャープ株式会社 楽曲検索システムおよび楽曲検索方法
JP4207012B2 (ja) 2005-03-30 2009-01-14 ソニー株式会社 ユーザ端末およびコンテンツ探索呈示方法

Also Published As

Publication number Publication date
JP4806465B2 (ja) 2011-11-02
US20100064217A1 (en) 2010-03-11
US8375040B2 (en) 2013-02-12
WO2008126262A1 (ja) 2008-10-23

Similar Documents

Publication Publication Date Title
JP4434972B2 (ja) 情報提供システム、情報提供方法及びそのプログラム
US8914384B2 (en) System and method for playlist generation based on similarity data
US7840559B2 (en) User terminal and content searching and presentation method
JP2019114286A (ja) リアルタイムの検索調整
JP5066963B2 (ja) データベース構築装置
JP5594532B2 (ja) 情報処理装置および方法、情報処理システム、並びに、プログラム
JP2006251866A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
EP1542139A1 (en) Information search apparatus, information search method, and information recording medium on which information search program is computer-readably recorded
EP2161668A1 (en) System and method for playlist generation based on similarity data
JP4806465B2 (ja) コンテンツ説明装置及び方法
KR20130055748A (ko) 콘텐츠 추천 시스템 및 방법
JP2011060182A (ja) コンテンツ選択システム
JP2008084193A (ja) インスタンス選択装置、インスタンス選択方法及びインスタンス選択プログラム
JP5367872B2 (ja) 選択されたコンテンツアイテムをユーザーに提供する方法
US8977634B2 (en) Software method to create a music playlist and a video playlist from upcoming concerts
JP2003316818A (ja) 情報検索方法及びその装置、コンピュータプログラム
JP2005346347A (ja) 情報検索装置、情報検索方法、情報検索プログラムおよび記録媒体
JP2008052737A (ja) 楽曲マッチングシステム及び楽曲マッチング方法
JP3547338B2 (ja) 情報検索方法及び装置
JP2003016106A (ja) 関連度値算出装置
JP5618150B2 (ja) 情報処理装置、情報処理方法、およびプログラム
TW201248434A (en) Method and system for personalizedly sorting searched information
JP2010165160A (ja) 楽曲分類装置、楽曲検索システム及びコンピュータプログラム
WO2019239538A1 (ja) 音響装置およびプログラム
JP5382601B2 (ja) 情報提示装置、情報提示方法、および情報提示用プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110812

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees