JP4158806B2 - 再生装置および再生方法、記録媒体、並びにプログラム - Google Patents

再生装置および再生方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4158806B2
JP4158806B2 JP2006067448A JP2006067448A JP4158806B2 JP 4158806 B2 JP4158806 B2 JP 4158806B2 JP 2006067448 A JP2006067448 A JP 2006067448A JP 2006067448 A JP2006067448 A JP 2006067448A JP 4158806 B2 JP4158806 B2 JP 4158806B2
Authority
JP
Japan
Prior art keywords
content data
episode
reproducing
information
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006067448A
Other languages
English (en)
Other versions
JP2006252758A (ja
Inventor
則行 山本
和典 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006067448A priority Critical patent/JP4158806B2/ja
Publication of JP2006252758A publication Critical patent/JP2006252758A/ja
Application granted granted Critical
Publication of JP4158806B2 publication Critical patent/JP4158806B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、再生装置および再生方法、記録媒体、並びにプログラムに関し、例えば、様々な再生装置に保存させたコンテンツデータの所在を一元的に管理することにより、ある再生装置に保存されているコンテンツデータを他の再生装置が共用できるようにした再生装置および再生方法、記録媒体、並びにプログラムに関する。
音声を伴う動画像、楽曲、文章、静止画像などのデータ(以下、コンテンツデータと記述する)を再生することができる再生装置の種類が増加しており、一人のユーザが複数の上述したような再生装置を所有していることは決して珍しいことではない。また、そのような再生装置の小型軽量化が進行しているので、ユーザはそれらの再生装置を移動先に携行して利用することが多い。
一人のユーザが複数の再生装置を扱うことになると、ユーザが扱うコンテンツデータの保存場所が分散されることになるので、どの再生装置にどのようなコンテンツデータが保存されているかを示す情報を何らかの方法によってデータベース化していない限り、例えば、楽曲Aを聴きたいとユーザが思ったとしても、楽曲Aのデータを見つけだす方法は自己の記憶に頼るほか無く、取り扱う再生装置の数が増加するにしたがって、また取り扱うコンテンツデータの数が増えるにしたがって、所望するコンテンツデータの在処を検索することが困難となってしまうという問題があった。
また、上述したように、どの再生装置にどのようなコンテンツデータが保存されているかの情報をデータベース化する方法としては、例えば、パーソナルコンピュータによって実行可能なデータベース作成用のアプリケーションプログラムを用いることが考えられるが、どの再生装置にどのようなコンテンツデータが保存されているかの情報をユーザが入力しなければならないので、パーソナルコンピュータの操作に不慣れな人にとっては、データベースを作成することが困難であるという問題があった。
さらに、既にデータベースが存在したとしても、所望するコンテンツデータを検索するためには、検索条件を設定するなどの操作が必要となるので、その操作が面倒であるという問題があった。
本発明はこのような状況に鑑みてなされたものであり、エピソード情報を検索条件として、コンテンツデータを検索し、再生できるようにするものである。
る。
本発明の再生装置は、電子機器から取得したコンテンツデータを再生する再生装置において、ンテンツデータコンテンツデータを特定するためのコンテンツID、およびコンテンツデータに対応するエピソード情報であって、少なくともコンテンツデータを再生した状況に関する情報を含むエピソード情報を対応付けて記憶する記憶手段と、エピソード情報を検索条件として、記憶されたコンテンツデータを検索する検索手段と、検索結果として得られたコンテンツデータを再生する再生手段とを含
前記検索手段は、コンテンツデータの名称を検索条件とせず、エピソード情報を検索条件として、記憶されたコンテンツデータを検索するようにすることができる。
前記エピソード情報には、コンテンツデータを再生した状況に関する情報として、コンテンツデータを再生したときの日時、場所、再生機器特定情報、および同伴者名のうち、少なくとも1つが含まれるようにすることができる。
本発明の再生方法は、電子機器から取得したコンテンツデータを再生する再生装置の再生方法において、コンテンツデータ、コンテンツデータを特定するためのコンテンツID、およびコンテンツデータに対応するエピソード情報であって、少なくともコンテンツデータを再生した状況に関する情報を含むエピソード情報を対応付けて記憶する記憶ステップと、エピソード情報を検索条件として、記憶されたコンテンツデータを検索する検索ステップと、検索結果として得られたコンテンツデータを再生する再生ステップとを含む。
本発明の記録媒体は、電子機器から取得したコンテンツデータを再生する再生装置の制御用のプログラムであって、コンテンツデータ、コンテンツデータを特定するためのコンテンツID、およびコンテンツデータに対応するエピソード情報であって、少なくともコンテンツデータを再生した状況に関する情報を含むエピソード情報を対応付けて記憶する記憶ステップと、エピソード情報を検索条件として、記憶されたコンテンツデータを検索する検索ステップと、検索結果として得られたコンテンツデータを再生する再生ステップとを含む処理を再生装置のコンピュータに実行させるプログラムが記録されている。
本発明のプログラムは、電子機器から取得したコンテンツデータを再生する再生装置の制御用のプログラムであって、コンテンツデータ、コンテンツデータを特定するためのコンテンツID、およびコンテンツデータに対応するエピソード情報であって、少なくともコンテンツデータを再生した状況に関する情報を含むエピソード情報を対応付けて記憶する記憶ステップと、エピソード情報を検索条件として、記憶されたコンテンツデータを検索する検索ステップと、検索結果として得られたコンテンツデータを再生する再生ステップとを含む処理を再生装置のコンピュータに実行させる。
本発明においては、コンテンツデータ、コンテンツデータを特定するためのコンテンツID、およびコンテンツデータに対応するエピソード情報であって、少なくともコンテンツデータを再生した状況に関する情報を含むエピソード情報が対応付けて記憶され、エピソード情報が検索条件とされて、記憶されたコンテンツデータが検索され、検索結果として得られたコンテンツデータが再生される。
本発明によれば、エピソード情報を検索条件として、コンテンツデータを検索し、再生することが可能となる。
以下、本発明を適用したコンテンツ共用管理システムについて、図面を参照して説明する。図1は、当該コンテンツ共用管理システムの構成例を示している。
当該コンテンツ共用管理システムは、主に、ユーザ宅に設置されるエピソードサーバ1と複数のコンテンツ再生機器から構成される。コンテンツ再生機器としては、ユーザ宅に設置されるコンポーネントステレオ2、および、ユーザが外出先に携行する、例えば、メモリースティック(商標)などの半導体メモリ、あるいはMD(Mini Disc),CD(Compact Disc)などのディスクメディアからなる記録メディアを用いるウォークマン(商標)のようなポータブルプレーヤ3、携帯電話機やPHS(Personal Handy phone System)電話機などの携帯無線端末4、および予め登録されている他のユーザが使用するMDプレーヤ5などが挙げられる。
なお、コンテンツ再生機器には、上述したコンポーネントステレオ2乃至MDプレーヤ5の他、ラップトップコンピュータ、PDA(Personal Digital Assistant)、ノートブックコンピュータ、デスクトップコンピュータ、インタネット端末、セットトップボックス、駅改札システム、駅売店システム、ページャ、腕時計、バッジ、ICカード、ヘッドセット、音響機器、ビデオカメラ、ディジタルスチルカメラ、カーナビゲーションシステム、テレビジョン受像器、ラジオ、プリンタ、ファクシミリなどを適用することができる。
エピソードサーバ1乃至MDプレーヤ5は、Bluetooth(商標)などの無線通信技術によって相互に無線接続可能である。ただし、802.11b(無線LAN)のようなBluetooth以外の無線通信技術を適用してもよい。
エピソードサーバ1は、自己の無線通信圏内に存在するコンポーネントステレオ2乃至MDプレーヤ5に無線接続し、コンポーネントステレオ2乃至MDプレーヤ5が記憶しているエピソード情報を取得して、データベース化して蓄積する。また、エピソードサーバ1は、コンポーネントステレオ2乃至MD5からの要求に対応してデータベースを検索し、検索結果としてのコンテンツデータが記憶されているソース機器を特定して、検索を要求したコンポーネントステレオ2乃至MDプレーヤ5にコンテンツデータを供給させる。
また、エピソードサーバ1は、ルータ6を介してインタネット7上に存在する任意のサイト、例えば、コンテンツ供給サイト8に接続可能であり、コンテンツ供給サイト8から取得するコンテンツデータを、無線接続しているコンポーネントステレオ2乃至MDプレーヤ5に供給することができる。
コンポーネントステレオ2は、メモリースティック、CD,MD,DVD(Digital Versatile Disc)などの記録メディアに記録されたコンテンツデータの再生、テレビジョン放送やラジオ放送の受信など、一般的なオーディオビジュアル記録再生機器としての機能の他、後述するエージェントプログラムによって実現される機能、例えば、エピソードサーバ1と無線接続し、エピソードサーバ1から供給されるコンテンツデータを再生する機能を有する。
以下、説明の便宜上、当該コンテンツ共用管理システムで取り扱うことができるコンテンツデータのうちの楽曲データだけに言及する。ここで、楽曲データとは、所定の信号処理によって楽曲の音声信号を再現することができるPCMデータ、MP3データ、ATRAC3データ、WAVEデータ、MIDIデータなどであるが、そのデータフォーマットは特に限定されない。
ポータブルプレーヤ3は、メモリースティック、CD,MD,DVDなどの記録メディアに記録されている楽曲データを再生して、対応する音声を出力する一般的な携帯型のプレーヤとしての機能の他、後述するエージェントプログラムによって実現される機能、例えば、MDプレーヤ5に無線接続し、MDプレーヤ5から供給される楽曲データを再生し、楽曲の再生時にエピソード情報を記憶し、その後、エピソードサーバ1に接続したとき、記憶したエピソード情報をエピソードサーバ1に供給する機能を有する。
携帯無線端末4は、携帯電話機またはPHS電話機が備える一般的な通話機能の他、楽曲データを再生する機能、自己の位置情報を取得する機能を有する。また、後述するエージェントプログラムによって実現される機能、例えば、ポータブルプレーヤ3と無線接続し、自己の位置情報をポータブルプレーヤ3に供給する機能を有する。
MDプレーヤ5は、MDに記録されている楽曲データを再生して、対応する音声を出力する一般的なMD再生機能の他、後述するエージェントプログラムによって実現される機能、例えば、ポータブルプレーヤ3と無線接続し、自己が再生した楽曲データをポータブルプレーヤ3に供給したり、楽曲の再生時にエピソード情報を記憶し、その後、エピソードサーバ1に接続したとき、記憶したエピソード情報をエピソードサーバ1に供給する機能を有する。
なお、コンテンツ共有管理システムを構成するエピソードサーバ1乃至MDプレーヤ5は、例えば、屋外において全く関係しない他人が使用するコンテンツ共有管理システムのエピソードサーバ1乃至MDプレーヤ5と無線接続しないように、例えば、エピソードサーバ1乃至MDプレーヤ5のBluetoothのデバイスネーム領域にそれぞれユーザ名、グループ名などを設定するようにし、予め登録されているユーザ名またはグループ名が設定されている機器に対してだけ、無線接続を許容するようになされている。
次に、当該コンテンツ共用管理システムによって実現される機能の一例について、当該コンテンツ共用管理システムのユーザであるJohnの一日の行動に沿って説明する。
図2は、Johnの2001年10月14日における行動の一例(シーン1乃至4)を示している。シーン1、12:00頃、Johnは、友人のMaryと一緒に海浜公園にいる。Johnは、ポータブルプレーヤ3と携帯電話機4を所持し、Maryは、MDプレーヤ5を所持している。Johnは、MDプレーヤ5をソース機器とする楽曲を、ポータブルプレーヤ3を利用して聞いている。Maryは、自己のMDプレーヤ5が再生する楽曲を聴いている。
すなわち、Johnのポータブルプレーヤ3は、MaryのMDプレーヤ5と無線接続しており、MDプレーヤ5で再生されて無線送信される楽曲データを受信し、ヘッドフォンから対応する音声を出力している。楽曲の出力に対応して、ポータブルプレーヤ3は、日時や場所の他、出力した楽曲の名称、楽曲ID、ソース機器、同伴している人物名(MDプレーヤ5の所有者名)をエピソード情報として記憶する。
ポータブルプレーヤ3が現在の日時や場所の情報を取得する方法としては、自己が内蔵するGPS(Global Positioning System)信号受信回路61(図5)がGPS信号に基づいて演算する現在の日時と所在地の座標情報と、予め記録されている地図データを照らし合わせて(あるいは、インタネット7を介して所定のサーバに問い合わせて)所在地の地名(海浜公園、駅前商店街など)を特定する他、ポータブルプレーヤ3が携帯無線端末4と無線通信し、携帯無線端末4が取得した位置情報を利用するようにすることができる。
ポータブルプレーヤ3が楽曲の名称、楽曲ID、ソース機器、同伴していた人物名などのエピソード情報を取得する方法は、楽曲データと同様、MDプレーヤ5から取得する他、ユーザであるJohnが所定の操作によって入力するようにしてもよい。
シーン2、15:30頃、Johnは、駅前商店街にて、自己のポータブルプレーヤ3に記録されている楽曲を聞いている。すなわち、ポータブルプレーヤ3は、自己に装着された記録メディアから楽曲データを再生し、ヘッドフォンから対応する音声を出力している。楽曲の再生に対応して、ポータブルプレーヤ3は、日時や場所の他、再生した楽曲の名称、楽曲ID、ソース機器などをエピソード情報として記憶する。
シーン3、18:00頃、Johnは、エピソードサーバ1が設置されている自宅に帰宅する。Johnの帰宅により、ポータブルプレーヤ3および携帯無線端末4がエピソードサーバ1の通信圏内に入ることになると、エピソードサーバ1は、ポータブルプレーヤ3および携帯無線端末4に無線接続してエピソード情報を取得する。
シーン4、22:00頃、Johnは、Janeと一緒に自宅のリビングにいる。リビングには、エピソードサーバ1と無線接続されているコンポーネントステレオ2が設置されている。コンポーネントステレオ2に対して、Johnが、例えば「昼、Maryと一緒に聴いた曲を聴きたい」などと発声すると、コンポーネントステレオ2は、その発声を音声認識し、認識した単語を検索条件としてエピソードサーバ1に検索を要求する。
エピソードサーバ1は、検索結果として、対応する楽曲データのソース機器であるMDプレーヤ5を特定するが、Maryの所有物であるMDプレーヤ5は通信圏内に存在しないので無線通信することができない。よって、当該楽曲データを、インタネット7を介してコンテンツ供給サイト8から取得し、コンポーネントステレオ2に無線送信する。コンポーネントステレオ2は、エピソードサーバ1からの楽曲データを再生し、対応する音声を出力する。楽曲の再生に対応して、コンポーネントステレオ2は、日時や場所の他、再生した楽曲の名称、楽曲ID、ソース機器、同伴している人物名などをエピソード情報として記憶する。
なお、コンポーネントステレオ2乃至MDプレーヤ5が楽曲データの再生などに対応して記憶するエピソード情報の項目は、日時や場所の他、再生した楽曲の名称、楽曲ID、ソース機器、同伴している人物名など他、各機器が備えている各種センサに応じて追加することができる。例えば、温度、湿度、気圧などの天候パラメータや、体温、心拍、発汗量、血圧、血糖値などのユーザの感情や体調を示す身体パラメータを追加してもよい。
次に、当該コンテンツ共用管理システムを構成する各機器の構成例について、図3乃至図5を参照して説明する。図3は、エピソードサーバ1の構成例を示している。
エピソードサーバ1は、CPU(Central Processing Unit)21を内蔵している。CPU21にはバス24を介して、入出力インタフェース25が接続されている。バス24には、ROM(Read Only Memory)22およびRAM(Random Access Memory)23が接続されている。
入出力インタフェース25には、Bluetoothなどの規格に従い、ポータブルプレーヤ3などと無線接続してデータを通信する無線通信回路26、TCP/IP(Transmission Control Protocol/Internet Protocol)に従い、ルータ6およびインタネット7を介して接続するコンテンツ供給サイト8と楽曲データなどを通信するネットワーク通信回路27、ユーザが操作コマンドを入力するリモートコントローラやエピソードサーバ1の本体などに設けられる操作ボタン28、操作ボタン28とともにユーザインタフェースとなる操作画面を表示するディスプレイ29、ポータブルプレーヤ3などから取得したエピソード情報を蓄積するハードディスクドライブ(HDD)30、マイクロフォンなどを内蔵してユーザの音声を入力する音声入力回路31、および磁気ディスク33乃至半導体メモリ36などの記録媒体に対してデータを読み書きするドライブ32が接続されている。
CPU21によって実行されるエージェントプログラムは、磁気ディスク33(フロッピディスクを含む)、光ディスク34(CD-ROM、DVDを含む)、光磁気ディスク35(MDを含む)、もしくは半導体メモリ36に格納された状態でエピソードサーバ1に供給され、ドライブ32によって読み出されてハードディスクドライブ30にインストールされており、ハードディスクドライブ30からRAM23にロードされて実行される。
図4は、エージェントプログラムの機能ブロック図を示している。制御部41は、エージェントプログラムの各機能ブロックであるユーザインタフェース(UI)部42乃至音声合成部48を制御する。ユーザインタフェース部42は、操作ボタン28とディスプレイ29を制御して、操作画面に対するユーザの操作を判別し、判別結果を制御部41に出力する。
音声認識部43は、音声入力回路31から入力されるユーザの発言を音声認識し、認識結果として形態素に分割した単語を制御部41に出力する。エピソード情報取得部44は、楽曲データを再生するなどのイベント発生に対応して、自己のエピソード情報を記憶する。また、エピソード情報取得部44は、無線接続された他の機器から、エピソード情報を取得する。さらに、エピソード情報取得部44は、例えば、得られる現在地の座標情報と、地図データを照らし合わせて所在地の地名を特定する。エピソード情報蓄積部45は、エピソード情報取得部44がポータブルプレーヤ3などから取得したエピソード情報を時系列的に配列し直すなどして、エピソード情報のデータベースを生成し、ハードディスクドライブ30に記憶させる。
検索部46は、ユーザインタフェース部42が判別したユーザの操作や、音声認識部43によって切り出された単語を、楽曲データを検索するための条件として、ハードディスクドライブ30に記憶されているデータベースを検索し、検索結果として楽曲データのソース機器を特定する。また、検索部46は、ユーザインタフェース部42が判別したユーザの操作や、音声認識部43によって切り出された単語を、再生中の楽曲データに関するエピソードを検索するための条件として、ハードディスクドライブ30に記憶されているデータベースを検索し、検索結果としてエピソード情報を抽出する。
コンテンツ取得供給部47は、検索部46が検索結果として特定したソース機器(例えば、ポータブルプレーヤ3)に対して、検索された楽曲データを、検索を要求した機器(例えば、コンポーネントステレオ2)に無線通信によって供給させる。ただし、検索部46が検索結果として特定したソース機器(例えば、ポータブルプレーヤ3)に無線接続できない場合、検索した楽曲データをコンテンツ供給サイト8から取得して、検索を要求した機器(例えば、コンポーネントステレオ2)に無線通信によって供給する。
音声合成部48は、検索部46が検索結果として抽出したエピソード情報に基づき、再生中の楽曲に関するエピソードを語りかける音声信号(例えば「この曲は、今日の昼頃、公園でMaryと聴いた曲だね」)を合成する。
なお、エージェントプログラムは、エピソードサーバ1のみならず、コンポーネントステレオ2乃至MDプレーヤ5にも実装される。ただし、エージェントプログラムの機能ブロックであるユーザインタフェース部42乃至音声合成部48の全てが、エピソードサーバ1乃至MDプレーヤ5において動作するわけではなく、エピソードサーバ1乃至MDプレーヤ5のそれぞれのハードウェア構成に応じて適応的に動作する。
次に、図5は、ポータブルプレーヤ3の構成例を示している。制御回路51は、記録媒体52に記録された制御用プログラムを実行することにより、バス53を介して接続された操作ボタン54乃至GPS信号受信回路61を制御する。また、制御回路51は、記録媒体52に記録されたエージェントプログラムを読み出して実行することにより、ポータブルプレーヤ3に、上述したユーザインタフェース42乃至音声合成部48の機能を実現させる。
操作ボタン54は、ポータブルプレーヤ3の本体に設けられ、ユーザの操作を受け付け、バス53を介して制御回路51に通知する。ディスプレイ55は、再生する楽曲のトラックナンバ、曲名などの他、ユーザインタフェースとしての操作画面を表示する。着脱可能な記録メディアからなるメモリ56は、楽曲データ、エピソード情報、地図データなどを記憶する。
オーディオ信号入力回路57は、所定のケーブルを介して入力されるオーディオ信号をディジタル化し、バス53を介してエンコーダ/デコーダ58に供給する。エンコーダ/デコーダ58は、バス53を介してオーディオ信号入力回路57から供給されるオーディオ信号を、所定の方式(ATRAC3方式など)によってエンコードする。生成される楽曲データはメモリ56に記憶される。また、エンコーダ/デコーダ58は、メモリ56から読み出される楽曲データをデコードし、バス53を介してオーディオ信号出力回路59に出力する。オーディオ信号出力回路59は、バス53を介してエンコーダ/デコーダ58から入力されるオーディオ信号をアナログ化してヘッドフォンなどに出力する。
無線通信回路60は、Bluetoothなどの規格に従い、通信圏内に存在するエピソードサーバ1、コンポーネントステレオ2、MDプレーヤ5などと相互に無線接続して楽曲データやエピソード情報を通信する。GPS信号受信回路61は、GPS衛星が送信するGPS信号に基づき、所在地の座標情報(緯度、経度、および高度)を演算する。
以上、ポータブルプレーヤ3の構成例の説明を終了する。なお、コンポーネントステレオ2、携帯無線端末4、およびMDプレーヤ5の構成例は、ポータブルプレーヤ3の構成例と同様に、一般的なコンポーネントステレオが有するハードウェアに加えて、ポータブルプレーヤ3の無線通信回路60のような相互無線通信手段が設けられ、さらに、ポータブルプレーヤ3の制御回路51のような制御手段によってエージェントプログラムが実行されるようになされているが、それらの詳細な説明は省略する。
次に、当該コンテンツ共用管理システムの動作について説明する。例えば、図2のシーン1において、ポータブルプレーヤ3がMDプレーヤ5からの楽曲データを再生するときのように、ポータブルプレーヤ3が他の機器から供給される楽曲データを再生する処理について、図6のフローチャートを参照して説明する。
ステップS1において、ポータブルプレーヤ3の無線通信回路60は、自己の通信圏内に無線通信可能な機器が存在するか否かを判定し、自己の通信圏内に無線通信可能な機器が存在すると判定するまで待機する。自己の通信圏内に無線通信可能な機器が存在すると判定された場合、処理はステップS2に進む。以下、図2のシーン2のように、ポータブルプレーヤ3の通信圏内にMDプレーヤ5が存在している場合を例として説明を継続する。
ステップS2において、ポータブルプレーヤ3の制御回路51によって実行されるエージェントプログラムのユーザインタフェース部42(以下、ユーザインタフェース部42−3と記述する)は、無線通信可能なMDプレーヤ5から供給され得る楽曲データの再生を指示する操作がユーザから行われたか否かを判定する。MDプレーヤ5から供給され得る楽曲データの再生を指示する操作がユーザから行われたと判定された場合、処理はステップS3に進む。
ステップS3において、ポータブルプレーヤ3の制御回路51によって実行されるエージェントプログラムのコンテンツ取得供給部47(以下、コンテンツ取得供給部47−3と記述する)は、無線通信回路60を介し、MDプレーヤ5から楽曲データを取得し、バス53を介してエンコーダ/デコーダ58に出力させる。エンコーダ/デコーダ58は、入力された楽曲データをデコードする。デコードして得られたオーディオ信号はオーディオ信号出力回路59からヘッドフォンなどから出力される。
楽曲の再生が終了した後、ステップS4において、ポータブルプレーヤ3の制御回路51によって実行されるエージェントプログラムのエピソード情報取得部44(以下、エピソード情報取得部44−3と記述する)は、再生した楽曲データの属性情報(楽曲の名称、楽曲ID、ソース機器(いまの場合、MDプレーヤ)、ソース機器のユーザ名)を、無線通信回路60を介してMDプレーヤ5から取得する。なお、楽曲データの属性情報は、予め楽曲に設定されているか、インタネット7を介して所定のサーバから取得されているか、またはユーザの入力によってMDプレーヤ5に対して既に設定されているものとする(ただし、未設定の項目が存在してもよい)。
ステップS5において、エピソード情報取得部44−3は、GPS信号受信回路61が出力する、現在の日時および所在地と、ステップS4で取得した楽曲データの属性情報とを合わせて、楽曲データを再生したことに対応するエピソード情報を生成し、メモリ56に記憶させる。
なお、ステップS4およびS5の処理を、ステップS3の処理が開始された後、楽曲の再生が終了する前に実行するようにしてもよいが、上述したように、楽曲の再生が終了した後にステップS4およびS5の処理を実行すれば、メモリ56に記憶されるエピソード情報の量が増えすぎることを抑止することができる。
ステップS2において、例えば、ポータブルプレーヤ3に記憶されている楽曲データの再生が指示されるなどにより、無線通信可能なMDプレーヤ5から供給され得る楽曲データの再生を指示する操作がユーザから行われないと判定された場合、当該処理は終了される。以上、ポータブルプレーヤ3による当該処理の説明を終了する。
次に、例えば、図2のシーン3のように、Johnの帰宅に伴ってポータブルプレーヤ3がエピソードサーバ1の通信圏内に入ったときにおいて、エピソードサーバ1が他の機器からエピソード情報を取得する処理について、図7のフローチャートを参照して説明する。
ステップS11において、エピソードサーバ1の無線通信回路26は、自己の通信圏内に無線通信可能な機器が存在するか否かを判定し、自己の通信圏内に無線通信可能な機器が存在すると判定するまで待機する。自己の通信圏内に無線通信可能な機器が存在すると判定された場合、処理はステップS12に進む。以下、エピソードサーバ1の通信圏内にポータブルプレーヤ3が存在している場合を例として説明を継続する。
ステップS12において、エピソードサーバ1のCPU21によって実行されるエージェントプログラムのエピソード情報取得部44(以下、エピソード情報取得部44−1と記述する)は、無線通信回路26を介し、ポータブルプレーヤ3からエピソード情報を取得し、エピソードサーバ1によって実行されるエージェントプログラムのエピソード情報蓄積部45(以下、エピソード情報蓄積部45−1と記述する)に出力する。
なお、エピソードサーバ1の通信圏内に常に存在するコンポーネントステレオ2などにおいて生成されるエピソード情報は、生成される毎にエピソードサーバ1が取得するようにしてもよいし、所定の周期毎(例えば、24時間毎)に1回、エピソードサーバ1が取得するようにしてもよい。また、コンポーネントステレオ2のように携行されることがなく固定的に設置される機器のエピソード情報の場所の情報は、「自宅リビング」などのようにユーザが設定することができる。
エピソード情報蓄積部45−1に入力されたポータブルプレーヤ3のエピソード情報は、ポータブルプレーヤ3ではない他の機器(例えば、携帯無線端末4)から取得されてエピソード情報蓄積部45−1に入力されている当該他の機器のエピソード情報とともに時系列順に配列されてデータベース化され、ハードディスクドライブ30に記憶される。以上、エピソードサーバ1による当該処理の説明を終了する。
図8は、エピソードサーバ1のハードディスクドライブ30に蓄積されるデータベース化されたエピソード情報の一例を示している。
例えば、図2のシーン1におけるポータブルプレーヤ3のエピソード情報には、イベントの発生日時として「2001/10/14 12:00」が、場所として「海浜公園」が、再生した楽曲の楽曲名として「EVERYDAY」が、再生した楽曲のソース機器として「MDプレーヤ」が、再生機器として「ポータブルプレーヤ」が、同伴した人物として「Mary」が記憶されている。
また、例えば、図2のシーン2におけるポータブルプレーヤ3のエピソード情報には、イベントの発生日時として「2001/10/14 15:30」が、場所として「駅前商店街」が、再生した楽曲の楽曲IDとして「ME12345D」が、再生した楽曲のソース機器として「ポータブルプレーヤ」が、再生機器として「ポータブルプレーヤ」が記憶されている。
次に、例えば、図2のシーン4のように、ユーザの発声に対応して楽曲を再生させる、あるいはユーザの発声に対応して再生中の楽曲に関するエピソードを通知させるコンテンツ共用管理システムの一連の処理について、図9のフローチャートを参照して説明する。
ステップS21において、コンポーネントステレオ2で実行されるエージェントプログラムの音声認識部43(以下、音声認識部43−2と記述する)は、ユーザからの音声入力があったか否かを判定し、ユーザからの音声入力があったと判定するまで待機する。ユーザからの音声入力があったと判定された場合、処理はステップS22に進む。
ステップS22において、音声認識部43−2は、ユーザからの音声入力を形態素に分割し、得られた単語を、コンポーネントステレオ2で実行されるエージェントプログラムの制御部41(以下、制御部41−2と記述する)に出力する。
例えば、ユーザの音声入力「昼の12時頃、海浜公園でMaryと聴いた曲を聴きたい」からは、単語「昼、12時、頃、海浜公園、Mary、曲、聴きたい」などが切り出される。
ステップS23において、制御部41−2は、音声認識部43−2から入力された単語に基づき、ユーザが楽曲の再生を要求しているのか、あるいはエピソードの通知を要求しているのかを判定する。ユーザが楽曲の再生を要求していると判定された場合、処理はステップS24に進む。
ステップS24において、制御部41−2は、ステップS22において切り出した単語を検索条件として、エピソードサーバ1で実行されるエージェントプログラムの検索部46(以下、検索部46−1と記述する)に、無線通信によって通知する。
検索部46−1は、適宜、通知された検索条件を補う。例えば、検索条件として、単語「昼、12時、頃、海浜公園、Mary、曲、聴きたい」が通知された場合、日付が含まれていないので、本日の日付を検索条件に追加する。また、単語「頃」が含まれているので、検索条件としての「12時」に時間的な余裕を持たせる。さらに、検索部46−1は、補った検索条件でハードディスクドライブ30に蓄積しているエピソード情報のデータベースを検索し、検索条件に合致する楽曲とソース機器を特定する。
ステップS25において、エピソードサーバ1で実行されるエージェントプログラムのコンテンツ取得供給部47(以下、コンテンツ取得供給部47−1と記述する)は、現在、ステップS24において特定した楽曲のソース機器に無線接続可能であるか否かを判定する。例えば、楽曲のソース機器がポータブルプレーヤ3であるならば、現在、無線接続可能であると判定されるので、処理はステップS26に進む。
ステップS26において、コンテンツ取得供給部47−1は、ソース機器であるポータブルプレーヤ3からコンポーネントステレオ2に、対応する楽曲データを無線通信によって供給させる。なお、ソース機器であるポータブルプレーヤ3からの楽曲データをエピソードサーバ1が受信し、エピソードサーバ1からコンポーネントステレオ2に供給するようにしてもよい。
ステップS27において、コンポーネントステレオ2は、供給された楽曲データを再生し対応する音声を出力する。
なお、ステップS25において、ステップS24で特定された楽曲のソース機器が、例えばMDプレーヤ5であるならば、無線接続可能ではないと判定されるので、処理はステップS28に進む。
ステップS28において、インタネット7上のコンテンツ供給サイト8から、対応する楽曲データを取得して、無線通信によってコンポーネントステレオ2に供給する。
なお、ステップS24において、検索結果として特定された楽曲が複数(例えば、2曲)存在する場合、まず1曲目の楽曲がステップS25乃至S27の処理によって再生されるが、再生された1曲目を聴いたユーザが「違う」と発声すれば、その音声が認識されて、2曲目の楽曲が再生されるようになされている。
2曲目の再生に対してユーザが「違う」などと発声しなければ、2曲目がユーザの所望した楽曲であると認識されて再生が継続され、コンポーネントステレオ2では、2曲目の楽曲の再生に対するエピソード情報が記憶される。
ところで、ステップS21において、楽曲(例えば、楽曲名「EVERYDAY」)の再生中であり、入力されたユーザの発声が「エピソードは?」などである場合、ステップS22では検索条件として単語「エピソード」が切り出される。この場合、ステップS23において、エピソードの通知を要求していると判定されて、処理はステップS29に進む。
ステップS29において、コンポーネントステレオ2で実行されるエージェントプログラムのエピソード情報取得部44(以下、エピソード情報取得部44−2と記述する)は、再生中の楽曲の楽曲名および楽曲ID(いずれか一方でもよい)を取得する。制御部41−2は、再生中の楽曲の楽曲名および楽曲IDのうちの取得できた情報を検索条件として、エピソードサーバ1の検索部46−1に、無線通信によって通知する。
検索部46−1は、通知された検索条件に一致するエピソード情報を検索する。検索されたエピソード情報は、無線通信によってコンポーネントステレオ2で実行されるエージェントプログラムの音声合成部48(以下、音声合成部48−2と記述する)に供給される。
例えば、検索条件が楽曲名「EVERYDAY」であるならば、図8に示したデータベースから、イベント日時が「2001/10/14 12:00」であり、場所が「海浜公園」であり、再生した楽曲のソース機器が「MDプレーヤ」であり、再生機器が「ポータブルプレーヤ」であり、同伴した人物が「Mary」であるイベント情報が検索されて、音声合成部48−2に供給される。
ステップS30において、コンポーネントステレオ2の音声合成部48−2は、エピソードサーバ1から供給されたエピソード情報に基づき、音声信号「再生中の曲は、2001年10月14日の昼に海浜公園でMaryと一緒に聴いた曲だね」などを合成してスピーカから出力する。なお、文字列「再生中の曲は、2001年10月14日の昼に海浜公園でMaryと一緒に聴いた曲だね」などを表示することによってユーザに提示するようにしてもよい。以上、コンテンツ共用管理システムによる当該一連の処理の説明を終了する。
以上説明したように、本発明のコンテンツ共用管理システムによれば、楽曲名やそのソース機器を覚えていなくても、楽曲を聴いたときの断片的な思い出を発言するだけで、対応する楽曲を再生することが可能となる。また、聴いたことがある楽曲に関するエピソードをユーザに通知することができるので、過去を思い出したり、楽曲の検索を引き起こしたりして、興味を広げるきっかけをユーザに与えることが可能となる。
コンテンツ共用管理システムでは、上述したように、ユーザの発声を音声認識して動作する他、例えば、エピソードサーバ1のディスプレイ29、ポータブルプレーヤ3のディスプレイ55などに表示される操作画面を用いて楽曲を検索して再生させることができる。
図10は、エピソードサーバ1のディスプレイ29、ポータブルプレーヤ3のディスプレイ55などに表示される操作画面の表示例を示している。当該操作画面には、記憶されているエピソード情報の一覧が表示される。再生する楽曲を指定するには、例えば、画面左端に表示されるスライダ72を所定の操作によって上下に移動させ、表示されているエピソード情報のうちの1つを選択するようにしてもよい。
また、画面上に表示されるカーソル71を移動させて表示されている情報(例えば、海浜公園、Maryなど)を選択させ、選択された情報を含むイベント情報だけを抽出して表示することにより、エピソード情報の絞り込みができるようにしてもよい。このとき、表示されている複数の情報を同時に選択できるようにしてもよい。
さらに、この画面上にユーザが文字列を入力できる欄を設けて、入力された文字列に対して、ユーザの発言を音声認識する処理と同様に、単語を切り出して検索条件とするようにしてもよい。
なお、以上説明した実施の形態においては、ポータブルプレーヤ3は、エピソードサーバ1に対し、無線により直接接続するようにしたが、例えば、インタネット7に代表されるネットワークを介してエピソードサーバ1に接続することも可能である。
コンポーネントステレオ2乃至MDプレーヤ5は、上述したように、エピソードサーバ1と同様、エージェントプログラムが実装されるので、上述したエピソードサーバ1の処理を、例えば、コンポーネントステレオ2に実行させて、エピソードサーバ1をコンテンツ共用管理システムの構成から省略することができる。
また、コンポーネントステレオ2乃至MDプレーヤ5がエージェントプログラムを実装していることにより、以下のような動作も可能となる。
例えば、コンポーネントステレオ2乃至MDプレーヤ5は、ユーザが入力する検索条件を受け付け、自己が記憶しているエピソード情報を参照して対応する楽曲データを検索することができる。
また、コンポーネントステレオ2乃至MDプレーヤ5は、自己以外のコンポーネントステレオ2乃至MDプレーヤ5のエピソード情報を取得して、自己のエピソード情報とともに記憶し、そのエピソード情報を参照して対応する楽曲データを検索することができる。
さらに、コンポーネントステレオ2乃至MDプレーヤ5は、ユーザが入力する検索条件を受け付け、検索条件を自己以外のコンポーネントステレオ2乃至MDプレーヤ5に送信して検索を依頼することができる。検索結果として楽曲データが特定できた場合、コンポーネントステレオ2乃至MDプレーヤ5は、自己に装着された記憶媒体、無線接続可能な自己以外のコンポーネントステレオ2乃至MDプレーヤ5、またはインタネット7上のコンテンツ供給サイト8から、楽曲データを取得して再生することができる。
なお、本発明を適用したコンテンツ共用管理システムでは、Bluetoothなどの無線通信技術を用い、各機器を相互に接続させるようにしたが、各機器を所定のケーブルで接続し、当該ケーブルを介してコンテンツデータやエピソード情報を通信するようにしてもよい。
本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本発明を適用したコンテンツ共用管理システムの構成例を示すブロック図である。 コンテンツ共用管理システムの概要を説明するための図である。 図1のエピソードサーバ1の構成例を示すブロック図である。 エピソードサーバ1乃至MDプレーヤ5に実装されるエージェントプログラムの機能ブロックを示す図である。 図1のポータブルプレーヤ3の構成例を示すブロック図である。 ポータブルプレーヤ3が他の機器から供給される楽曲データを再生する処理を説明するフローチャートである。 エピソードサーバ1が他の機器からエピソード情報を取得する処理を説明するフローチャートである。 エピソードサーバ1に蓄積されるデータベース化されたエピソード情報の一例を示す図である。 ユーザの発声に対応して楽曲を再生させる、あるいは再生中の楽曲に関するエピソードを通知させるコンテンツ共用管理システムの一連の処理を説明するためのフローチャートである。 エピソードサーバ1のディスプレイ29などに表示される操作画面の表示例を示す図である。
符号の説明
1 エピソードサーバ, 2 コンポーネントステレオ, 3 ポータブルプレーヤ, 4 携帯無線端末, 5 MDプレーヤ, 21 CPU, 26 無線通信回路, 27 ネットワーク通信回路, 29 ディスプレイ, 33 磁気ディスク, 34 光ディスク, 35 光磁気ディスク, 36 半導体メモリ, 41 制御部, 42 ユーザインタフェース部, 43 音声認識部, 44 エピソード情報取得部, 45 エピソード情報蓄積部, 46 検索部, 47 コンテンツ取得供給部, 48 音声合成部,51 制御回路, 52 記録媒体, 55 ディスプレイ, 58 エンコーダ/デコーダ, 60 無線通信回路, 61 GPS信号受信回路

Claims (6)

  1. 電子機器から取得したコンテンツデータを再生する再生装置において、
    記コンテンツデータ前記コンテンツデータを特定するためのコンテンツID、および前記コンテンツデータに対応するエピソード情報であって、少なくとも前記コンテンツデータを再生した状況に関する情報を含む前記エピソード情報を対応付けて記憶する記憶手段と、
    前記エピソード情報を検索条件として、記憶された前記コンテンツデータを検索する検索手段と、
    検索結果として得られた前記コンテンツデータを再生する再生手段と
    を含再生装置。
  2. 前記検索手段は、前記コンテンツデータの名称を検索条件とせず、前記エピソード情報を検索条件として、記憶された前記コンテンツデータを検索する
    請求項1に記載の再生装置。
  3. 前記エピソード情報には、前記コンテンツデータを再生した状況に関する情報として、前記コンテンツデータを再生したときの日時、場所、再生機器特定情報、および同伴者名のうち、少なくとも1つが含まれる
    請求項1に記載の再生装置。
  4. 電子機器から取得したコンテンツデータを再生する再生装置の再生方法において、
    記コンテンツデータ前記コンテンツデータを特定するためのコンテンツID、および前記コンテンツデータに対応するエピソード情報であって、少なくとも前記コンテンツデータを再生した状況に関する情報を含む前記エピソード情報を対応付けて記憶する記憶ステップと、
    前記エピソード情報を検索条件として、記憶された前記コンテンツデータを検索する検索ステップと、
    検索結果として得られた前記コンテンツデータを再生する再生ステップと
    を含再生方法。
  5. 子機器から取得したコンテンツデータを再生する再生装置の制御用のプログラムであって、
    記コンテンツデータ前記コンテンツデータを特定するためのコンテンツID、および前記コンテンツデータに対応するエピソード情報であって、少なくとも前記コンテンツデータを再生した状況に関する情報を含む前記エピソード情報を対応付けて記憶する記憶ステップと、
    前記エピソード情報を検索条件として、記憶された前記コンテンツデータを検索する検索ステップと、
    検索結果として得られた前記コンテンツデータを再生する再生ステップと
    を含む処理を再生装置のンピュータに実行させるプログラムが記録されてい記録媒体。
  6. 子機器から取得したコンテンツデータを再生する再生装置の制御用のプログラムであって、
    記コンテンツデータ前記コンテンツデータを特定するためのコンテンツID、および前記コンテンツデータに対応するエピソード情報であって、少なくとも前記コンテンツデータを再生した状況に関する情報を含む前記エピソード情報を対応付けて記憶する記憶ステップと、
    前記エピソード情報を検索条件として、記憶された前記コンテンツデータを検索する検索ステップと、
    検索結果として得られた前記コンテンツデータを再生する再生ステップと
    を含む処理を再生装置のンピュータに実行させプログラム。
JP2006067448A 2006-03-13 2006-03-13 再生装置および再生方法、記録媒体、並びにプログラム Expired - Fee Related JP4158806B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006067448A JP4158806B2 (ja) 2006-03-13 2006-03-13 再生装置および再生方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006067448A JP4158806B2 (ja) 2006-03-13 2006-03-13 再生装置および再生方法、記録媒体、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001329838A Division JP3835679B2 (ja) 2001-10-26 2001-10-26 情報処理システムおよび情報処理方法、情報処理装置および情報処理方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2006252758A JP2006252758A (ja) 2006-09-21
JP4158806B2 true JP4158806B2 (ja) 2008-10-01

Family

ID=37093036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006067448A Expired - Fee Related JP4158806B2 (ja) 2006-03-13 2006-03-13 再生装置および再生方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4158806B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010026639A1 (ja) * 2008-09-04 2010-03-11 パイオニア株式会社 楽曲再生装置、楽曲再生方法、及び楽曲再生プログラム
WO2010029639A1 (ja) * 2008-09-12 2010-03-18 パイオニア株式会社 楽曲再生装置、楽曲再生方法、及び楽曲再生プログラム
WO2010029640A1 (ja) * 2008-09-12 2010-03-18 パイオニア株式会社 楽曲再生装置、楽曲再生方法、及び楽曲再生プログラム
JP5359534B2 (ja) 2009-05-01 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP2006252758A (ja) 2006-09-21

Similar Documents

Publication Publication Date Title
JP3835679B2 (ja) 情報処理システムおよび情報処理方法、情報処理装置および情報処理方法、記録媒体、並びにプログラム
US8046689B2 (en) Media presentation with supplementary media
JP2005038352A (ja) 再生装置、再生システム及び再生制御方法
CN104205038A (zh) 信息处理设备,信息处理方法,信息处理程序和终端设备
JP4158806B2 (ja) 再生装置および再生方法、記録媒体、並びにプログラム
KR101417760B1 (ko) Cpns 환경에서 외부 스피커를 통한 컨텐츠 출력 시스템 및 방법
JP2007164852A (ja) 転送装置、転送方法及び転送プログラム
US20090037006A1 (en) Device, medium, data signal, and method for obtaining audio attribute data
JP2006285416A (ja) 電子機器、アシスタント表示方法、アシスタント表示用プログラム、および、電子機器システム
JP2009289244A (ja) 音楽再生端末、および位置対応リスト作成システム
JP2006208961A (ja) カラオケシステム
JP5173380B2 (ja) パーソナルメディアの楽曲作品集合に基づいてカラオケ選曲予約を行えるカラオケ装置
JP4327165B2 (ja) 楽曲再生装置
JP2007225740A (ja) 携帯情報端末及び選曲装置
JP5989822B2 (ja) 音声システム
JP2003125346A (ja) 記録再生装置および方法、記録媒体、並びにプログラム
JP2002304420A (ja) 視聴覚コンテンツ配信システム
JP2009092977A (ja) 車載装置および楽曲検索システム
JP6908169B2 (ja) 端末装置
JP2004005832A (ja) データ再生装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP7243764B2 (ja) 車載装置、携帯端末装置、情報処理システム、車載装置の制御方法およびプログラム
JP2008304774A (ja) 音楽再生装置、音楽再生システム、音楽再生方法及び音楽再生プログラム
JP2008171516A (ja) 記録装置および記録方法
JP2006252051A (ja) 楽音情報提供システムおよび携帯型音楽再生装置
JP2008022978A (ja) ゲームシステム、プログラムおよび情報記憶媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

R151 Written notification of patent or utility model registration

Ref document number: 4158806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees