明 細 書
楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装 置および音楽コンテンツ再生方法
技術分野
[0001] この発明は、例えばディスクジョッキーが音楽コンテンツをアレンジして再生するのと 同等の再生音声データを得ることができるようにする楽曲データ再構成装置、楽曲デ ータ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法に関する
背景技術
[0002] 光ディスクゃノ、ードディスクなどの記録媒体の記録容量が大きくなつたことから、そ れら記録媒体に大量の音楽コンテンツが格納可能となっている。そして、この大容量 の記録媒体を用いた音楽コンテンツの再生装置も提供されて 、る。
[0003] 従来のこの種の音楽コンテンツの再生装置においては、音楽視聴を行なうユーザ 自身が、大量の音楽コンテンツの中から自分の聞きたい音楽コンテンツを選択し、再 生操作を行なっている。
[0004] また、例えば、ユーザの過去の音楽コンテンツに関する再生履歴を利用して、ユー ザに、再生楽曲候補を推薦するシステムも提供されている (例えば、特開 2003— 17 3350公報参照)。
発明の開示
[0005] 上述のように、従来は、ユーザが選択したり、あるいは装置が過去の再生履歴に基 づいて選択したりして、ユーザに再生楽曲候補を呈示する方法は提案されている。し 力しながら、従来の音楽コンテンツの再生装置においては、上述のようにして選択さ れて再生される楽曲は、楽曲制作者の意図した通りにそのまま再生されるのみで、特 にユーザ毎に曲調の変化が施される等の個人の嗜好性が再生楽曲に反映させるよ うにするものは存在して 、な 、。
[0006] すなわち、アーティスト等の制作側で作られた楽曲は、従来の音楽コンテンツの再 生装置上の制約等の理由もあり、ユーザ側では、制作者の意図した通りに、ただ固
定的に聴くのみであった。
[0007] し力し、いわゆるディスクジョッキーのように、その楽曲のテンポや音程を変えたり、 他の楽曲とのリミックスをしたりする等して、楽曲をその場の気分に合うように再構成し て変更することができれば、楽曲の再生について、エンターテインメント性を高めるこ とができると期待できる。
[0008] この発明は、以上の点にかんがみ、聴取しているユーザの気分、嗜好や周辺環境 などをリアルタイムに楽曲に反映させて、楽曲自身を再構成することができるようにし て、楽曲の再生について、エンターテインメント性を高めることができるようにすること を目的とする。
[0009] 上記の課題を解決するために、請求項 1の発明による楽曲データ再構成装置は、 楽曲の小節に対応する周期の信号と楽曲の柏に対応する周期の信号とを含む同 期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリ ズムマスター部と、
入力される音楽コンテンッの楽曲データを、前記リズムマスター部力 の前記同期 信号と、前記楽曲再構成用情報とに応じて再構成して、出力楽曲データを生成して 出力するリズムスレーブ部とからなる
ことを特徴とする。
[0010] この請求項 1の発明によれば、リズムマスター部からの同期信号および楽曲再構成 用情報に応じて、再生しょうとする音楽コンテンツの楽曲データを、聴取しているユー ザの気分、嗜好や周辺環境などをリアルタイムに反映させて、再構成することができ る。
[0011] また、請求項 17の発明による音楽コンテンツ再生装置は、
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部と 前記音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得 する第 1の取得手段と、
楽曲の小節に対応する周期の信号と楽曲の柏に対応する周期の信号とを含む同 期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリ
ズムマスター手段と、
前記第 1の取得手段により取得した前記再生対象の音楽コンテンッデータを、前記 リズムマスター部からの前記同期信号と前記楽曲再構成用情報とに応じて再構成し て、出力楽曲データを生成して音響再生出力するリズムスレーブ手段と、
を備えることを特徴とする。
[0012] この請求項 17の発明によれば、音楽コンテンツデータ記憶部に格納されている音 楽コンテンツを再生する場合において、リズムマスター部からの同期信号および楽曲 再構成用情報に応じて、前記再生しょうとする当該音楽コンテンツの楽曲データを再 構成することができるので、リズムマスター部力もの同期信号および楽曲再構成用情 報を、当該楽曲を聴取しているユーザ (リスナー)の気分、嗜好や周辺環境などをリア ルタイムに反映させることにより、ユーザ (リスナー)がそのときに聴取要求して楽曲を 再生することが可能になる。
図面の簡単な説明
[0013] [図 1]図 1は、この発明による音楽コンテンツの再生装置の第 1の実施形態が適用さ れた記録再生装置のブロック図である。
[図 2]図 2は、実施形態の記録再生装置で用いられる属性情報の一部の情報を説明 するための図である。
[図 3]図 3は、図 1の記録再生装置における処理の一例のフローチャートである。
[図 4]図 4は、図 1の記録再生装置の動作を説明するために用いるフローチャートであ る。
[図 5]図 5は、図 1の音楽コンテンツ記憶部の例を説明するための図である。
[図 6]図 6は、図 1の音楽コンテンツ記憶部の例を説明するための図である。
[図 7]図 7は、図 1の記録再生装置のうちの記録処理動作部を説明するための機能ブ ロック図である。
[図 8]図 8は、図 1の記録再生装置における記録処理動作を説明するためのフローチ ヤートの一部である。
[図 9]図 9は、図 1の記録再生装置における記録処理動作を説明するためのフローチ ヤートの一部である。
[図 10]図 10は、図 1の記録再生装置のうちの再生処理動作部を説明するための機 能ブロック図である。
[図 11]図 11は、図 1の記録再生装置の要部の機能ブロック図である。
[図 12]図 12は、図 11の機能ブロック図の説明のための図である。
[図 13]図 13は、図 11の機能ブロック図の一部の、さらに詳細な機能ブロック図である
[図 14]図 14は、図 11の機能ブロック図の一部の、さらに詳細な機能ブロック図である
[図 15]図 15は、図 11の機能ブロック図の一部の説明のための図である。
[図 16]図 16は、図 11の機能ブロック図の説明のためのタイミング図である。
[図 17]図 17は、図 11の機能ブロック図の説明のためのタイミング図である。
[図 18]図 18は、図 11の機能ブロック図の説明のための図である。
[図 19]図 19は、図 1の記録再生装置における再生処理動作を説明するためのフロー チャートの一部である。
[図 20]図 20は、図 1の記録再生装置における再生処理動作を説明するためのフロー チャートの一部である。
[図 21]図 21は、図 11の一部を構成するリズムマスター部の処理動作のフローチヤ一 トである。
[図 22]図 22は、図 11の一部を構成するリズムスレーブ部の処理動作のフローチヤ一 トである。
[図 23]図 23は、この発明による音楽コンテンツの再生装置の第 2の実施形態が適用 された記録再生装置のブロック図である。
[図 24]図 24は、図 23の第 2の実施形態の記録再生装置のうちの再生処理動作部を 説明するための機能ブロック図である。
[図 25]図 25は、図 23の第 2の実施形態の記録再生装置の要部の機能ブロック図で ある。
[図 26]図 26は、図 23の機能ブロック図の一部の、さらに詳細な機能ブロック図である
[図 27]図 27は、図 23の一部を構成するリズムマスター部の処理動作のフローチヤ一 トの一部である。
[図 28]図 28は、図 23の一部を構成するリズムマスター部の処理動作のフローチヤ一 トの一部である。
[図 29]図 29は、図 23の一部を構成するリズムマスター部の処理動作のフローチヤ一 トの一部である。
[図 30]図 30は、図 23の一部を構成するリズムマスター部の処理動作のフローチヤ一 トの一部である。
[図 31]図 31は、図 23の機能ブロック図の説明のためのタイミング図である。
発明を実施するための最良の形態
[0014] [第 1の実施形態]
以下、この発明の第 1の実施形態を、図を参照しながら説明する。図 1は、この発明 の音楽コンテンツの再生装置の第 1の実施形態と、音楽コンテンツおよびその属性 情報の記録装置の第 1の実施形態とが適用された記録再生装置の一例の構成を示 すブロック図である。
[0015] この第 1の実施形態においては、記録再生装置は、音楽コンテンツ記憶部を備える 力 この音楽コンテンツ記憶部には、音楽コンテンツのデータとして楽曲の音響デー タの他に、映像データが含まれる場合もあることを想定して、映像音響データが記憶 される。そして、この第 1の実施形態では、音楽コンテンツのデータに付随して、さら に、各楽曲についての属性情報が、各音楽コンテンツの識別情報により対応付けら れて記憶される。
[0016] この属性情報は、テンポ、キー(調)、コード(chord)などのリズムおよびリズムと結 びついて曲調を決定するための曲調属性情報 (後述する楽曲構成情報に含まれる) だけでなぐ後述するように演奏者情報、歌詞情報、感性情報、周辺環境情報等を 含むものである。そして、音楽コンテンツに映像情報を含むときには、その映像につ V、ての属性に関する情報も含む場合がある。
[0017] 後述するように、音楽コンテンツが DVD (Digital Versatile Disc)などのリムー バル (着脱可能)な記録媒体に記憶されて!、る場合にぉ 、て、この属性情報が当該
記録媒体に音楽コンテンツに対応付けられて記録されている場合には、その記録媒 体に記録されて 、る属性情報を用いることができる。
[0018] そして、 DVD等の記録媒体から、記録再生装置の記憶部に音楽コンテンツのデー タを記録する際には、属性情報も、対応付けて記録するようにする。
[0019] 記録媒体に、属性情報が記録されていない場合には、当該記録媒体から、記録再 生装置の記憶部に音楽コンテンッのデータを記録する際に、記録再生装置におい て、必要な属性情報を生成し、当該生成した属性情報を、記録する音楽コンテンツ につ 、ての映像音響データに対応付けて、記録するようにする。
[0020] この第 1の実施形態の記録再生装置では、音楽コンテンツの情報は、例えばインタ 一ネット上にある音楽コンテンツ提供サーノくからもダウンロードすることができるように 構成されている。
[0021] この例の場合の音楽コンテンツ提供サーバの音楽コンテンツの情報には、属性情 報が付随されていることを想定しており、この第 1の実施形態の記録再生装置力 の 音楽コンテンツの取得要求を受け取ると、音楽コンテンツ提供サーバは、要求された 音楽コンテンツの映像音響データと共に、属性情報を記録再生装置にダウンロード するよう〖こする。
[0022] そこで、記録再生装置は、ダウンロードされた映像音響データと、属性情報とを、音 楽コンテンツの識別情報により対応付けて、記憶部に記憶するようにする。
[0023] この例の記録再生装置は、マイクロコンピュータを搭載して構成されるもので、図 1 に示すように、 CPU (Central Processing Unit) 1に対してシステムバス 2を介し てプログラム ROM (Read Only Memory) 3およびワークエリア用 RAM (Rando m Access Memory) 4が接続されている。
[0024] そして、システムバス 2には、また、ユーザインターフェース 11と、エンコード Zデコ ード部 12と、曲調分析部 13と、通信インターフェース 14と、再生履歴情報保持部 15 と、光ディスクドライブ 16とが接続されている。
[0025] ユーザインターフェース 11は、ユーザの操作入力を受け付けるボタン操作部(図示 を省略)や、例えば LCD (Liquid Crystal Display)力 なるディスプレイを含む。
[0026] エンコード Zデコード部 12には、音楽コンテンツ記憶部 20が接続される。この例で
は、この音楽コンテンツ記憶部 20は、例えば大容量のハードディスク装置により構成 される。なお、大容量の書き換え可能な光ディスクを用いる書き込み Z読み出し装置 部により、音楽コンテンツ記憶部 20を構成することもできる。
[0027] エンコード Zデコード部 12は、この音楽コンテンツ記憶部 20を構成するハードディ スク装置にデータを書き込む際に、書き込み対象のデータをハードディスク装置に記 録できるフォーマットのデータにエンコード処理し、また、このハードディスク装置から 読み出したデータに対して、前記エンコードに対応するデコード処理を施すものであ る。この場合に、エンコード処理には、データ圧縮処理を含むことができ、それに対応 してデコード処理には、データ伸長処理を含むことができる。
[0028] この例では、音楽コンテンツのデータには、楽曲データのみではなぐ音楽コンテン ッに関連する映像データと、さらには、音楽コンテンツに関する属性情報 (後で詳述 する)が含まれている。
[0029] そして、音楽コンテンツ記憶部 20は、それぞれの音楽コンテンツに関して楽曲デー タと映像データとが記憶される映像音響データ記憶部 21と、それぞれの属性情報が 記憶される属性情報記憶部 22とからなる。映像音響データ記憶部 21の楽曲データ および映像データと、属性情報記憶部 22の属性情報とは、音楽コンテンツごとに音 楽コンテンツのそれぞれを識別する音楽コンテンツ識別情報 (コンテンツ ID)により互 いに関連付けられている。
[0030] 曲調分析部 13は、音楽コンテンツの楽曲データを音楽コンテンツ記憶部 20の映像 音響データ記憶部 21に記憶する際に、楽曲データを解析して、楽曲の楽曲素材単 位の区切りを検出すると共に、当該楽曲素材単位の楽曲構成情報を抽出する。この 楽曲構成情報は、前記属性情報の一部として、属性情報記憶部 22に記録されるよう にされる。曲調分析部 13は、記録すべき音楽コンテンツの情報に属性情報が附属さ れていない場合にのみ動作し、抽出された楽曲構成情報が属性情報の一部として記 録される。
[0031] ここで、楽曲素材単位とは、楽曲の拍、小節など、コードを付することができる単位 である。そして、楽曲構成情報は、楽曲の楽曲素材単位のテンポ、キー、コード、音 量、拍子、楽譜、コード進行などの、いわゆる曲調が決まる基準となる情報力もなるも
のである。
[0032] 通信インターフェース 14は、外部のネットワーク例えばインターネット 5を通じて音楽 コンテンツ提供サーバ装置 6等に接続するために用いられるものである。この例では 、音楽コンテンツ提供サーバ装置 6は、楽曲データや映像データのみではなぐ属性 情報も提供することができるように構成されて 、る。
[0033] 再生履歴情報保持部 15は、当該記録再生装置において、過去に、どの楽曲をど のくらいの頻度や時間で聴いたかの履歴情報を保持する。再生された音楽コンテン ッの識別情報 (コンテンツ ID)に対応して再生回数 (頻度)、その再生時間、その再生 時の周辺環境情報 (周辺環境情報につ!、ても後で詳述する)等が、この再生履歴情 報保持部 15には記憶されて ヽる。
[0034] 光ディスクドライブ 16は、 CD (Compact Disc)や DVD (Digital Versatile Dis c)などの光ディスク 7から、楽曲データや映像データの読み込みを行なう。光ディスク 7に音楽コンテンツについての属性情報が記録されている場合には、当該属性情報 の読み込みも行なう。
[0035] この例の記録再生装置においては、システムバス 2には、さらに、生体情報取得部 30と、周辺環境情報取得部 40と、映像音響出力部 50とが接続されている。
[0036] 生体情報取得部 30は、生体情報センサ 31と生体情報解析部 32とからなる。生体 情報センサ 31は、音楽コンテンツを視聴しているリスナー力 当該音楽コンテンツに 対して嗜好を示している力 あるいは、嗜好を示していないかなどを判別するための 情報を検知する。この生体情報センサ 31は、リスナーの例えば体動、呼吸、脈、血圧 、体表温度、皮膚発汗、皮膚抵抗などの生体情報を検出し、それらの生体情報を生 体情報解析部 32に供給するものである。
[0037] 例えば、リスナーが聴取している楽曲に嗜好を示しており、いわゆる「楽曲に乗って いる」状態のときには、リスナーの体動や呼吸は、演奏される音楽のリズムやテンポな どと同期したものとなることがある。例えば、ゆっくりとしたメロディーを演奏するように したいときには、体動や呼吸は、それに合わせたゆっくりしたものとなり、また、急激に 大きな音に移行するときには、それに合わせて体動が大きくなると共に、呼吸もそれ に合わせて吸気から、ー且、息を止め、一気に呼気に移るなどの変化をすることがあ
る。
[0038] さらに、リスナーは、気分が高揚するような音楽パートでは、脈や心拍が多くなると 共に、皮膚発汗が多くなり、また、ゆったりとした音楽のパートでは脈や心拍はゆつく りと安定したものとなるなどの変化をすることがある。
[0039] 生体情報解析部 32では、以上のような、リスナーの感情的な情報を、生体情報セン サ力 受け取り、リスナーが聴取中の楽曲に嗜好を示しているかどうかの判別結果を システムバス 2に送出する。この場合に、生体情報解析部 32では、再生中の楽曲構 成情報をも参照して、リスナーの体動などが、楽曲に同期しているかどうかも判断する ようにしている。
[0040] そして、この実施形態では、生体情報解析部 32は、例えば体動などの生体情報に 基づく嗜好の度合いについて、複数段階のスレツショールド値を持ち、例えば、「嗜 好を示していない(曲に乗ってない)」、「嗜好を示しているが嗜好の程度が低い」、「 非常に嗜好を示して 、る (曲に乗って 、る)」のような複数段階にっ 、ての判断出力 を送出するように構成されて 、る。
[0041] 周辺環境情報取得部 40は、 GPS受信機 41と、位置情報入力インターフェース 42 と、環境情報センサ 43と、環境情報生成部 44とからなる。
[0042] GPS受信機 41は、複数個の人工衛星力も受信した電波力も当該 GPS受信機 41 の位置を算出する測位演算をし、その演算結果を、位置情報入力インターフェース 4 2に送る。この例では、位置情報入力インターフェース 42は、 GPS受信機 41からの 測位演算結果を、例えば地名などの位置情報に変換して、システムバス 2に送出す る。この位置情報は、当該記録が行なわれた場所を示すものとされるもので、周辺環 境情報の一部として、音楽コンテンツが記録されたときに、その属性情報の一部とし て記録される。
[0043] 環境情報センサ 43は、温度センサや湿度センサの他、季節や日時を検知する時 計部を含んでいる。環境情報生成部 44は、環境情報センサ 43からの情報を受け取 り、温度、湿度、季節、日時などの情報をシステムバス 2に送出する。これらの情報も 、周辺環境情報の一部として、音楽コンテンツが記録されるときに、その属性情報の 一部として記録される。
[0044] 映像 ·音響出力部 50は、音響データデコード部 51と、音響アレンジ部 52と、音響 出力部 53と、映像データデコード部 54と、映像アレンジ部 55と、映像出力部 56と、 I /Oポート 57と力らなる。
[0045] 音響データデコード部 51は、音声データが、非圧縮音声信号である PCM音声信 号である場合には、そのまま音響アレンジ部 52を通じて音響出力部 53に出力する。 音楽データに、 ATRAC (Adaptive Transform Acoustic Coding)や AAC (A dvanced Audio Coding)などの圧縮が力かっている場合には、音響データデコ ード部 51は、当該圧縮を解凍 (伸長)して、デジタル音声信号にデコードする。音声 データが MIDI (Music Instrument Digital Interface)の場合には、音響デー タデコード部 51は、当該 MIDIのデータ力もデジタル音声信号を生成デコードする。
[0046] 音響アレンジ部 52は、 IZOポート 57を通じてこれに供給される制御信号に応じて 、特殊効果 (エフェクト)処理をしたり、他の楽曲データを混合 (リミッタス)したりする。
[0047] この実施形態では、音響アレンジ部 52で行なうエフェクト処理としては、音響データ に、例えば、ディストーション(Distortion)をかけたり、リバーブ (Reverb)をかけたり する処理がなされる。
[0048] リミックスは、一般的なディスクジョッキーで行なわれている手法であり、ある小節や 拍単位で音楽性を損なわないように、再生中の楽曲に複数の音楽素材をミックスして いく方法である。これは、予め用意された小節の切れ目(楽曲素材単位の区切り)や テンポ情報、コード情報等の楽曲構成情報を利用して、音楽理論にしたがい、再生 中の楽曲に複数の音楽素材を、違和感無くミックスして 、くものである。
[0049] リミックスの場合には、 CPU1の指示に従い、再生中の楽曲以外の他の楽曲から抽 出されるリミッタスする音響データ力 音響データデコード部 51に供給される。したが つて、この実施形態では、音響データデコード部 51は、再生中の音響データのデコ ード処理と、リミッタスする音響データをデコード処理とを並行して実行することができ る機能を備えている。
[0050] 音響アレンジ部 52の出力は、音響出力部 53に供給される。音響出力部 53では、こ れに入力されるデジタル音声信号をアナログ音声信号に変換し、当該変換したアナ ログ音声信号を出力アンプ((図示せず) )を介してスピーカや、出力端子を介してへ
ッドホン (図示せず)に供給して、音響再生する。
[0051] 映像データデコード部 54は、この実施形態では、音楽コンテンツに付随する圧縮 映像データをデコード (圧縮解凍 (圧縮伸長))する。この場合、付随する圧縮映像デ ータとしては、 JPEG (Joint Photographic Experts Group)等で圧縮された静 止画データ、 MPEG (Moving Picture Experts Group) 2、 MPEG4等で圧縮 された動画データ等があり、映像データデコード部 54は、これらの圧縮を伸長デコー ド'する機會を備免るちのである。
[0052] この映像データデコード部 54でデコードされた映像データは、映像アレンジ部 55 に供給される。この映像アレンジ部 55では、映像データに、例えば特殊効果 (ェフエ タト)が施される。この特殊効果としては、既存の技術を用いるもので、この実施形態 では、詳細は省略する。
[0053] この映像アレンジ部 55の出力映像データは、映像出力部 56に供給される。映像出 力部 56は、デジタル映像データをデジタル映像信号のまた、若しくは必要に応じて アナログ映像信号に変換し、映像出力端子を通じてディスプレイの画面に表示される
[0054] [属性情報の説明]
この実施形態では、各音楽コンテンツの属性情報は、次に説明するような各種の 情報が、各楽曲に対応して記録される。
[0055] (1)楽曲構成情報
この楽曲構成情報は、前述した楽曲素材単位の区切り情報を含むと共に、楽曲の テンポ zキー Zコード Z音量 Z拍子の情報、楽譜の情報、コード進行の情報、繰り 返してりミックスするループ用の音楽波形の立ち上がり情報等を含む。テンポの情報 としては、例えば BPM (Beat Per Minutes)値が用いられる。
[0056] この楽曲構成情報は、楽曲の曲調を示すものであり、音楽コンテンツの記録再生装 置は、この楽曲構成情報を解析して、当該楽曲構成情報が似ている楽曲は、曲調が 似ていると判断することができる。したがって、再生中の楽曲に対してリスナーが嗜好 を示しているときには、この楽曲構成情報の解析結果に基づき、次の再生楽曲候補 として再生中の楽曲と似ている曲調の楽曲を選択することができる。
[0057] また、リスナーが再生中の楽曲に対して嗜好を示していないときには、例えば過去 の再生履歴力もリスナーが好んでいると思われる楽曲を検出し、その楽曲の楽曲構 成情報を調べて、その楽曲構成情報と似ている楽曲を次の楽曲再生候補とすること により、再生履歴に基づき、リスナーが好むと思われる楽曲と曲調が似ている楽曲を 、次の楽曲再生候補することができる。
[0058] また、この楽曲構成情報に含まれる楽曲素材単位の区切り情報や、楽曲のテンポ 等や、コード進行などの情報を用いることにより、違和感の無いリミックスが可能にな る。
[0059] この場合、音楽コンテンツの映像音響データと属性情報とは、きっちりと対応してい るようにされている。例えば、楽曲構成情報として属性情報中に記述されている、楽 曲素材単位としての例えば小節の区切りのタイムコード情報と、実際の映像音響デ ータの小節の区切りのタイムコードとが正確に一致して 、るように構成されて 、る。
[0060] したがって、この楽曲構成情報により、再生中の楽曲の楽曲素材単位の区切り、例 えば小節や柏の区切のタイミングを検出することができると共に、リミックスしょうとする 他の楽曲の楽曲素材単位の情報を、再生中の楽曲の楽曲素材単位の区切りに同期 して加算することができ、違和感の無 、リミッタスを行なえる。
[0061] (2)エフェクト情報
エフェクト情報は、楽曲にかける特殊効果の情報であり、例えば前述したディスト一 シヨンやリバーブ用のエフェクトパラメータ力もなる。この場合、エフェクトパラメータが 時間的に変化する場合には、その時間変化に応じて変化するパラメータ情報となる。
[0062] このエフェクト情報は、この例の音楽コンテンツの記録再生装置力 予め、固定的 に複数種を備えるものを用いることができる。しかし、各楽曲毎に効果的なお薦めの エフェクト情報がある場合には、属性情報の一部として含められるものである。このお 薦めのエフェクト情報は、例えば、音楽コンテンツの制作者により与えられる。ェフエ タト情報は、 1種類ではなぐ複数種類を属性情報として含めることができる。
[0063] このエフェクト情報も、楽曲素材単位に対応した時間長分として、属性情報に含め ると良い。
[0064] (3)楽器情報
楽器情報は、当該楽曲において使用されているドラム、ギター等の楽器の情報であ る。
例えば、 1小節分のドラムやパーカッションの演奏パターンを、属性情報として記録 しておき、それをループ状に繰り返し用いるようにすることもできる。また、リミックス用 にそれらの楽器の演奏パターン情報を用いることもできる。
[0065] なお、これらの 1小節分のドラムやパーカッションの演奏パターンの情報は、属性情 報として記録するのではなぐ予め、記録再生装置がリミックス用などのために、複数 パターンを備えておくようにしても良 、。
[0066] (4)演奏者情報
演奏者情報は、当該楽曲の演奏者 (歌手を含む)の名前 (グループ名を含む)、性 別、年齢、グループ編成など、演奏者に関する情報である。
[0067] (5)感性情報
感性情報は、当該楽曲を聴取したリスナーの感覚的認識を表すもので、例えば明 るい曲 Z暗い曲、静かな曲 Z激しい曲、楽しい曲 Z悲しい曲などを定量ィ匕したデー タである。この感性情報は、例えば図 2に示すように、明るい Z暗い、優しい Z激しい 、楽しい Z悲しいなどのそれぞれを、予め感性軸として定義しておき、各感性軸につ いて主観的な感覚的認識の程度を数値ィ匕したものを、リスナーにより設定してもらう 等の方法で取得する。
[0068] 例えば、明るい Z暗いの感性軸の場合、図 2に示すように、主観的な感覚的認識の 程度を、例えば、 16段階の数値で表す。図 2の例では、明るいとされる場合ほど数値 が大きぐ最も暗いとされる場合の数値として「0」が割り当てられている。優しい Z激 しい、楽しい Z悲しいなどの他の感性軸についても同様とすることができる。感性軸 は、これらの他にも設定することが可能である。
[0069] 図 2のように、これらの感性軸上の値が設定されると、それらの値を線で結ぶことに より、曲調に応じた形の図形(図 2では三角形の形が曲調に応じて変化)が得られる。 換言すれば、これらの感性軸を用いることにより、似た曲調の楽曲を容易に検索する ことができる。
[0070] この場合に、記録媒体に音楽コンテンツのデータに対応して記録する属性情報や
音楽コンテンツ提供サーノから提供する属性情報の場合には、例えば数十人のリス ナ一に当該楽曲を聴いてもらって、各感性軸についての主観的な感覚的認識の程 度の数値を報告してもらい、例えば、その平均値を各感性軸についての感性情報と するよう〖こすることがでさる。
[0071] 後述するように、記録再生装置の使用者がリスナーとして、楽曲を聴取して、この感 性情報を設定入力する場合もある。また、記録媒体に記録されていた属性情報に含 まれる感性情報の数値や、音楽コンテンツ提供サーバから取得した属性情報に含ま れる感性情報の通知が、実際にリスナーが楽曲を聴取した結果、異なるとリスナーが 感じた場合には、記録再生装置の音楽コンテンツ記憶部に記憶する属性情報の感 性情報としては、リスナー自身により、その感性情報の値を書き替えることができるよう に構成されている。
[0072] (6)周辺環境情報
この周辺環境情報は、 DVDの制作者や、音楽コンテンツ提供サーノくからの音楽コ ンテンッの提供者などにより設定入力される、当該楽曲を聴くのにお薦めの場所、例 えば山、海などの地域情報を含む。また、後述するように、記録再生装置での楽曲の 記録時に、前述した周辺環境情報取得部 40で取得された記録 (録音)された場所、 日時、季節、温度、湿度などの情報とされる場合もある。また、その記録時に、リスナ 一により設定入力される、当該楽曲を聴くのにお薦めの場所などの地域情報を含む
[0073] (7)再生履歴情報
再生履歴情報は、リスナーが、どの楽曲を、どのくらいの頻度や時間で聴取してい るかの情報であり、この実施形態では、前述したように、記録再生装置の再生履歴情 報保持部 15に記憶されて保持される。この再生履歴情報は、音楽コンテンツのデー タを、音楽コンテンッ記憶部 20に記憶する記録処理の際に属性情報に含められて、 音楽コンテンツ記憶部 20の属性情報記憶部 22に、属性情報の一部として格納され る。
[0074] なお、再生履歴情報は、制作者により制作される DVDや、サーバから取得する属 '性†青報には含まれて!/ヽな ヽ。
[0075] [第 1の実施形態の記録再生装置における記録処理]
次に、この第 1の実施形態の記録再生装置における記録処理について説明する。 この実施形態における記録処理の態様には、いくつかある。
[0076] その一つは、 DVDに記録されている音楽コンテンツのデータを読み込み、音楽コ ンテンッ記憶部 20に書き込んで記録する態様である。他の一つは、インターネット 5 を通じて、音楽コンテンツ提供サーバ装置 6から音楽コンテンツのデータをダウンロー ドしたものを記録する態様である。さらに、他の一つは、図示を省略したが、外部入力 端子を通じて、他の再生機器など力 音楽コンテンツのデータを転送し、それを音楽 コンテンッ記憶部 20に記録する態様である。
[0077] これらの態様にぉ 、て、音楽コンテンツのデータに属性情報が含まれて 、る場合に は、この実施形態の記録再生装置は、音楽コンテンツについての映像音響データに カロえて、その属性情報をも読み込み、音楽コンテンツ記憶部 20に書き込むようにす る。この実施形態の記録再生装置では、この記録の際に、ユーザが属性情報を追カロ 、変更がしたい場合には、その追加、変更ができるように構成されている。
[0078] また、音楽コンテンツのデータには、映像音響データのみしかなぐ属性情報が含 まれていない場合には、この実施形態の記録再生装置では、記録再生装置におい て属性情報を生成 (設定)して、音楽コンテンツ記憶部 20の属性情報記憶部 22に記 憶するようにする。
[0079] すなわち、曲調分析部 13で DVDやダウンロードした音響データを解析して、楽曲 構成情報を取得して、それを属性情報の一部として記録する。また、ユーザは、自分 力 S当該楽曲を実際に聴取した主観的な感覚的程度値の感性情報として、前述したよ うな 16段階のいずれかの数値を入力する。そして、この感性情報を属性情報の一部 として記録する。
さらに、周辺環境情報取得部 40で取得した周辺環境情報も属性情報の一部として 記録する。
さらには、再生履歴情報も必要に応じて属性情報として記録するようにする。
[0080] なお、この実施形態では、インターネット 5上に、音楽コンテンツの識別情報に対応 して属性情報を格納する属性情報提供サーバ装置を設けて、このサーバ装置に、音
楽コンテンツの識別情報を伴うダウンロード要求を送って、当該音楽コンテンツの識 別情報に対応する属性情報の提供を受けるようにすることも想定している。
[0081] 図 3および図 4は、音楽コンテンツ提供サーバ装置 6から音楽コンテンツおよび属性 情報を取得する場合における記録再生装置と音楽コンテンツ提供サーバ装置 6の動 作のフローチャートである。
[0082] なお、ここでは、記録再生装置が音楽コンテンツ提供サーバ装置 6から音楽コンテ ンッのデータと、これに付随する属性情報との提供を受ける場合を例にして説明す るが、基本的には、異なる複数台の記録再生装置間で属性情報の送受を行なう場合 においても、ほぼ同様の処理となる。
[0083] 図 3は、音楽コンテンツのデータとこれに付随する属性情報の提供を要求する記録 再生装置の処理を、また、図 4は、音楽コンテンツのデータとこれに付随する属性情 報を提供する音楽コンテンツ提供サーバ装置 6の処理を、それぞれ説明するための フローチャートである。
[0084] 記録再生装置に対して、音楽コンテンツデータとこれに対する属性情報との提供の 要求を行なうためのプログラムを起動する所定の操作が行われると、記録再生装置 の CPU 1は、図 3に示す処理を実行し、まず、ダウンロードする音楽コンテンツの選択 入力を受け付ける (ステップ S 11)。
[0085] そして、受け付けた選択入力に基づ!/、て、ダウンロードを要求する音楽コンテンツ の識別子を含む音楽コンテンツの提供要求を生成し、これを通信インターフェース 1 4、インターネット 5を通じて、音楽コンテンツ提供サーバ装置 6に送信する (ステップ S 12)。
[0086] 一方、音楽コンテンツ提供サーバ装置 6の制御部(CPU)は、常時、図 4に示す処 理を実行しており、インターネット 5および自装置が備える通信インターフェースを通 じて、記録再生装置力もの音楽コンテンツの提供要求を受信待ちするようにし (ステツ プ S21)、提供要求を受信したか否かを判断する (ステップ S22)。ステップ S22にお いて、音楽コンテンツの提供要求を受信していないと判断したときには、ステップ S21 力 の処理を繰り返し、音楽コンテンツの提供要求の受信待ちとなる。
[0087] ステップ S22の判断処理において、音楽コンテンツ提供サーバ装置 6の制御部力
記録再生装置力もの音楽コンテンツの提供要求を受信したと判断したときには、音楽 コンテンツ提供サーバ装置 6の制御部は、受信した提供要求に含まれる音楽コンテ ンッの識別子に基づいて、音楽コンテンツ提供サーバ装置 6に記憶されている音楽 コンテンツの中から、 目的とする音楽コンテンツのデータとこれに対する属性情報とを 検索する (ステップ S 23)。
[0088] そして、音楽コンテンツ提供サーバ装置 6の制御部は、 目的とする音楽コンテンツ のデータが存在するか否かを判断し (ステップ S24)、存在すると判断したときには、 要求元の記録再生装置に、通信インターフェースおよびインターネット 5を通じて送 信する(ステップ S25)。そして、ステップ S21に戻って、このステップ S21からの処理 を繰り返す。
[0089] また、ステップ S 24の判断処理において、 目的とする音楽コンテンツのデータが存 在しないと判断したときには、音楽コンテンツ提供サーバ装置 6の制御部は、その旨 を示す応答メッセージを生成し、要求元の記録再生装置に対して、通信インターフエ ースおよびインターネット 5を通じて返信する(ステップ S26)。そして、ステップ S21に 戻り、このステップ S21からの処理を繰り返す。
[0090] 一方、要求元の記録再生装置は、音楽コンテンツ提供サーバ装置 6からの応答 (返 信)を通信インターフェース 14を通じて受信し (ステップ S 13)、受信した応答に基づ いて、要求した音楽コンテンツのデータが送信されてきたか否かを判断する (ステップ S14)。このステップ S 14の判断処理において、要求した音楽コンテンツのデータを 受信したと判断したときには、その受信した音楽コンテンツのデータと、当該音楽コン テンッのデータに付随して提供された属性情報とを音楽コンテンツ記憶部に記録 (格 納)し (ステツプ S15)、この図 3に示す処理を終了する。
[0091] また、ステップ S 14の判断処理において、要求した音楽コンテンツのデータを受信 して ヽな ヽ(対応する音楽コンテンツのデータが存在しな!、ことのメッセージを受信し た)と判断したときには、記録再生装置の制御部は、図 1には図示しなかったが、自 装置が備える LCD (Liquid Crystal Display)などの表示素子や LED (Light E mitting Diode)などの発光素子、あるいは、ブザーやアラームなどを用いて、 目的と する音楽コンテンツのデータが存在しな力つたことを記録再生装置のユーザに対して
通知し (ステップ S16)、この図 3に示す処理を終了する。
[0092] 以上のようにして、この実施形態では、記録再生装置は、目的とする音楽コンテン ッのデータの提供を受ける際に、この音楽コンテンッのデータに付随して提供される 属性情報の提供をも受けることができるようにされている。そして、提供を受けた音楽 コンテンツのデータ、および、当該音楽コンテンツのデータに対する属性情報を音楽 コンテンツ記憶部 20に記憶して再生時に利用することができるようにされる。
[0093] なお、音楽コンテンツのデータに属性情報が付随していないときには、上述したよう に、曲調分析部 13で解析して得られた楽曲構成情報や、周辺環境情報取得部で取 得された周辺環境情報など力 属性情報が構成されて、それが音楽コンテンツ記憶 部 20に音楽コンテンツの映像音響データと対応付けられて記憶される。
[0094] また、記録再生装置の音楽コンテンツ記憶部には、音楽コンテンツの楽曲データは 、既に存在しているが、その音楽コンテンツの属性情報が無いときには、音楽コンテ ンッの識別情報を検索子として、音楽コンテンツ提供サーバ装置 6にアクセスして、 その属性情報のみをダウンロードすることもできるようにされている。
[0095] 次に、図 5は、この実施形態の記録再生装置の音楽コンテンツ記憶部 20の一例と してのハードディスク装置の概念的な構成を説明するための図である。すなわち、音 楽コンテンツ記憶部 20としてのハードディスク装置 20HDは、音楽コンテンツの映像 データや音響データ等の映像音響データ Dtの領域 23と、その属性情報 Atの領域 2 4とを備え、領域 23は映像音響データ記憶部 21を構成し、領域 24は属性情報記憶 部 22を構成する。
[0096] この実施形態では、音楽コンテンツ記憶部 20は、ハードディスク装置により構成し た力 リムーバル (着脱可能)の記録メディアとしての DVD等のディスク媒体を音楽コ ンテンッ記憶部として用いることもできる。図 6は、その場合における音楽コンテンツ 記憶部 20の他の例としてのディスク媒体 (例えば光磁気ディスク等の記録再生可能 なもの) 20RDの一例を説明するための図である。
[0097] この図 6に示すように、音声コンテンツデータや映像コンテンツデータなどのコンテ ンッデータ(映像音響データ) Dtが光ディスク 20RDのデータ格納領域に格納されて いる。そして、図 6に示すように、光ディスク 20RDには、光ディスクに通常設けられる
リードインアリア、 TOC (Table Of Contents)エリア、リードアウトエリアのほかに、 コンテンツ属性情報 Atの格納エリアが設けられ、ここに属性情報が格納されるように されている。コンテンツデータ Dt力 複数の楽曲のデータを含む場合には、それぞれ の楽曲についての属性情報が記録される。この場合、コンテンツデータ Dtと属性情 報 Atとは、前述したように音楽コンテンツ識別情報 (音楽コンテンツ ID)によって対応 付けられている。
[0098] なお、光ディスク 20RDは、音楽コンテンツの制作者等により音楽コンテンツデータ が記録されて市販されるものの他、例えば、一般ユーザが、パーソナルコンピュータ などを用いて、インターネットからダウンロードした音楽コンテンツを記録するなどして 作成する場合もある。
[0099] なお、図 5、図 6に示したように、記録媒体に記録される属性情報 Atは、記録再生 装置においてユーザが任意に内容を書き換えたり、追加したり、削除したり、あるいは 、既存の属性情報を新たな属性情報に置き換えたりすることも可能である。例えば、 属性情報中に楽曲素材単位の区切り情報を追加する場合には、記録再生装置にお いて、目的とする音楽コンテンツデータを自動解析することにより、新たな楽曲素材 単位の区切り情報を自動生成したり、ユーザインターフェース 11を通じてユーザによ り入力された区切り情報を追加したりすることが可能である。
[0100] また、ユーザインターフェース 11を通じてユーザからの変更指示入力を受け付けて 、音楽コンテンツ記憶部 20に記録されている属性情報を変更したり、同様に、ユーザ インターフェース 11を通じてユーザからの変更指示入力を受け付けて、音楽コンテン ッ記憶部 20に記録されている属性情報を削除したり、また、既に記録されている属 性情報を、上述のように新たに生成したり、入力したりした属性情報で置き換えたりす ることちでさるようにされる。
[0101] また、新たな属性情報を、インターネット 5と通信インターフェース 14とを通じて提供 を受けたり、あるいは、 USB (Universal Serial Bus)インターフェースなどのデジ タルインターフェースに接続される他の記録再生装置等の外部機器力 提供を受け たり、また、無線インターフェースと送受信アンテナを通じて無線 LAN経由で提供を 受けたりして、これを追加や置き換えに用いることも可能である。
[0102] もちろん、上述したいずれの場合においても、音楽コンテンツの識別子によって、音 楽コンテンツデータと属性情報とは必ず対応するようにされ、どの属性情報がどの音 楽コンテンツデータに付随するものであるかは明確にされる。
[0103] そして、以上のように、音楽コンテンツには、属性情報を付随させるようにすることに より、音楽コンテンツのデータの流通に伴い、その属性情報をも流通させ、音楽コン テンッデータの利用に合わせて、その属性情報を有効に活用し、新たな利用態様で 音楽コンテンツデータを利用できるようにすることができる。
[0104] なお、光ディスクドライブ 16で読み込みを行なう光ディスク 7が、音楽コンテンツデー タとして属性情報を付随している場合には、図 6に示した光ディスク 20RDと同様の構 成を備えるものである。
[0105] 次に、図 1の実施形態の記録再生装置における記録処理動作の一例を、図を参照 して説明する。図 7は、この実施形態の記録再生装置のうちの記録処理部分を機能 的に抽出して表したブロック図である。また、図 8および図 9は、その記録処理動作の 一例を説明するためのフローチャートである。
[0106] 図 7に示すように、記録再生装置は、記録の機能的には、 2つの要素力 構成され る。
一つは、複数個の音楽コンテンツが記憶保持されている音楽コンテンツ記憶部 20で あり、もう一つは音楽コンテンツの記録をする記録部 100である。音楽コンテンツ記憶 部 20については、上述した通りであるので、ここでは、説明を省略する。記録部 100 は、音楽コンテンツデータおよび属性情報の記録処理を行なう部分である。以下、こ の記録部 100の構成について説明する。
[0107] 記録部 100は、この例では、入力された音楽コンテンツのデータ(映像音響データ )と、属性情報とを対応付けて音楽コンテンツ記憶部 20に記憶する。この場合に、音 楽コンテンツに対応する属性情報が入力される場合には、それをそのまま、あるいは
、一部変更したり、追加したりして、音楽コンテンツ記憶部 20の属性情報記憶部 22 に記憶するようにする。
[0108] しかし、属性情報が音楽コンテンツに付随していない場合には、記録部 100では、 属性情報を生成して、音楽コンテンツのデータに付与して、音楽コンテンツ記憶部 2
0の属性情報記憶部 22に格納するようにする機能を備える。
[0109] この実施形態では、音楽コンテンツのデータに対する属性情報の付与方法として は、最終的には付与するユーザが主観的な判断で付与を行なうようにする。もっとも、 属性情報の一部の情報は、記録再生装置が自動的に生の映像音響データから計算 して付与することもできる。すなわち、属性情報の一部である楽曲構成情報のテンポ 情報や、記録再生装置の存在する場所や周辺環境情報等は、自動的に算出して、 自動的に付加することもできる。しかし、この例では、記録再生装置は、あくまで楽曲 構成情報や周辺環境情報を取得するのみで、最終的に、音楽コンテンツに付与する 属性情報にっ 、て、それが最適力どうかはユーザが決定するようにして 、る。
[0110] 記録部 100は、図 7に示すように、前述したユーザインターフェース 11と、曲調分析 部 13と、再生履歴情報保持部 15と、周辺環境情報取得部 40とを含むほか、機能的 な処理部として、音楽コンテンツ記録指示制御部 101と、音楽コンテンツデータ保持 部 102と、映像音響データ記録設定部 103と、属性情報記録設定部 104と、ェンコ ード部 105と、楽曲構成情報取得部 106とを備える。
[0111] 音楽コンテンツ記録指示制御部 101は、ユーザインターフェース 11を通じたユーザ 指示に従って、音楽コンテンツの記録指示制御を行なう部分であって、 CPU1が、 R OM3に記憶されている記録のためのプログラムに基づいて、 RAM4をワークエリアと して用いて実行する部分に相当する。
[0112] 音楽コンテンツデータ保持部 102は、これから記録すべき音楽コンテンツの映像音 響データや、付随する属性情報もあれば、当該属性情報を保持する部分である。
[0113] これは、記録しょうとする音楽コンテンツのソースが光ディスクドライブ 16で読み込ま れる光ディスク 7である場合には、当該光ディスク 7および光ディスクドライブ 16の部 分に相当する。
[0114] また、記録しょうとする音楽コンテンツのソース力 インターネット 5を通じた音楽コン テンッ提供サーバ装置 6である場合には、通信インターフェース 14を通じて取り込ま れた音楽コンテンツデータを一時的に蓄えるノッファメモリなど力 音楽コンテンツデ ータ保持部 102に相当する。
[0115] エンコード部 105は、エンコード Zデコード部 12のエンコード部分のみの機能を抽
出したものに相当する。
[0116] 映像音響データ記録設定部 103は、エンコード部 105に送り込む映像音響データ を保持するものであり、 RAM4の一部のエリアが利用される。
[0117] 属性情報記録設定部 104は、エンコーダ回路に送り込む属性情報のデータを保持 するものであり、これも RAM4の一部のエリアが利用される。
[0118] 楽曲構成情報取得部 106は、音楽コンテンツデータに属性情報が付随していない 場合に、記録しょうとする音楽コンテンツに対応する属性情報を取得する機能部であ る。これは、例えば、前述したように、インターネットを通じて、属性情報提供サーバ装 置に音楽コンテンッ IDを検索子としてアクセスして、当該音楽コンテンッ IDに対応す る属性情報を取得する機能部や、他の記録再生装置などから、当該音楽コンテンツ に対応する属性情報を取得する機能部などにより構成される。
[0119] 次に、図 8および図 9のフローチャートを参照しながら、記録処理動作について説明 する。なお、この図 8および図 9の各処理ステップは、 CPU1が ROM3のプログラムに したがって、 RAM4をワークエリアとして用いて実行するものである。
[0120] 記録に先立ち、ユーザは、音楽コンテンツとして記録したい楽曲のデータを用意し 、音楽コンテンツデータ保持部 102に保存しておく。属性情報が付随されている場合 には、音楽コンテンツデータ保持部 102には、当該音楽コンテンツとしての楽曲の属 性情報も保存される。音楽コンテンツデータ保持部 102は、属性情報が当該記録し たい楽曲に付随しているかどうかを、音楽コンテンツ記録指示制御部 101に報告す る。これにより、音楽コンテンツ記録指示制御部 101は、記録すべき音楽コンテンツ に属性情報が付随して 、るかどうかを予め認識して 、る。
[0121] 次に、ユーザが、ユーザインターフェース 11の操作部を通じて記録指示をすると、 音楽コンテンツ記録指示制御部 101は、指定された楽曲の記録指示を認識する(図 8のステップ S31)。音楽コンテンツ記録指示制御部 101は、この記録指示を認識す ると、指定された楽曲には、属性情報が付随しているかどうかを判別し (ステップ S32 )、属性情報が付随していると判別したときには、属性情報記録設定部 104に、音楽 コンテンツに付随する属性情報を記録するようにする記録指示を送る (ステップ S33)
[0122] 音楽コンテンツ記録指示制御部 101は、また、音楽コンテンツデータ保持部 102に 、保持して!/ヽる記録対象の音楽コンテンツの映像音響データを映像音響データ記録 設定部 103に送出するようにすると共に、対応する属性情報を属性情報記録設定部 104に送出するように指示する (ステップ S34)。この指示を受けた音楽コンテンツデ ータ保持部 102は、記録対象の音楽コンテンツの映像音響データを、その音楽コン テンッ IDと共に映像音響データ記録設定部 103に送ると共に、対応する属性情報を 、その音楽コンテンツ IDと共に属性情報記録設定部 104に送る。
[0123] 属性情報記録設定部 104は、音楽コンテンツデータ保持部 102からの属性情報( 音楽コンテンツ IDを含む)を受け取ると、記録すべき属性情報の仮リストを作成し (ス テツプ S35)、当該作成した属性情報の仮リストを、例えばユーザインターフェース 11 のディスプレイに表示する等して、ユーザに呈示する(ステップ S36)。
[0124] この記録すべき属性情報の仮リストの呈示を受けたユーザは、属性情報について 修正や追カ卩が必要だと判断したときには、ユーザインターフェース 11の操作部を通 じて所定の操作を行ない、そのままの属性情報と良いとしたときには、ユーザインター フェース 11の決定キーなどを操作して、その旨を入力する。
[0125] 音楽コンテンツ記録指示制御部 101は、ユーザ力も属性情報についての修正指示 や追加指示があつたかどうか判別し (ステップ S37)、修正指示や追加指示があった と判別したときには、その旨を属性情報記録設定部 104に伝える。この修正指示や 追加指示を受けた属性情報記録設定部 104は、ユーザインターフェース 11を通じた 修正指示内容や追加指示内容に応じて、属性情報の修正や追加を行なう(ステップ S38)。
[0126] 属性情報の修正や追加後、あるいは、属性情報の修正や追加無しに、ユーザが当 該属性情報につ!ヽて OKと ヽぅ意味で決定キーを操作すると、音楽コンテンツ記録指 示制御部 101は、そのユーザの属性情報についての決定入力を検知し (ステップ S3 9)、エンコード部 105に、映像音響データ記録設定部 103からの映像音響データと 、属性情報記録設定部 104からの属性情報とを受け取るように指示すると共に、受け 取った情報をエンコードするように指示する。エンコード部 105は、この指示を受ける と、映像音響データと属性情報とを受け取って、音楽コンテンツ記憶部 20に記憶す
るためのエンコード処理を実行する(ステップ S40)。
[0127] そして、エンコード部 105は、エンコードした映像音響データを、映像音響データ記 憶部 21に書き込むと共に、エンコードした属性情報を、属性情報記憶部 22に書き込 む (ステップ S41)。以上で、記録処理は終了となる。
[0128] 一方、ステップ S32で、属性情報が音楽コンテンツに付随しては 、な 、と判別した ときには、音楽コンテンツ記録指示制御部 101は、属性情報記録設定部 104に、音 楽コンテンツの属性情報を自装置で生成して記録するようにする指示を送る(図 9の ステップ S51)。
[0129] 音楽コンテンツ記録指示制御部 101は、また、音楽コンテンツデータ保持部 102に 、保持して!/ヽる記録対象の音楽コンテンツの映像音響データを映像音響データ記録 設定部 103と、曲調分析部 13に送出するように指示する (ステップ S52)。この指示を 受けた音楽コンテンツデータ保持部 102は、記録対象の音楽コンテンツの映像音響 データをその音楽コンテンツ IDと共に映像音響データ記録設定部 103に送ると共に 、当該音楽コンテンツの音響データを曲調分析部 13に送出する。
[0130] 音楽コンテンツデータ保持部 102からの音響データを受け取った曲調分析部 13は 、その音響データを分析して、楽曲素材単位のテンポ、キー、コード等の楽曲構成情 報を抽出する (ステップ S53)。
[0131] 属性情報記録設定部 104は、音楽コンテンツ記録指示制御部 101からの自装置で 属性情報を生成する旨の指示を受け取ると、指定された楽曲にっ 、ての再生履歴が 再生履歴情報保持部 15に保持されているか否力判別し、保持されていれば、その 再生履歴を属性情報の一部とするために取得する (ステップ S54)。なお、再生履歴 情報がなければ、属性情報としての再生履歴情報は無しを意味する「null」とされる。
[0132] また、属性情報記録設定部 104は、記録対象の楽曲を聴取したユーザからユーザ インターフェース 11を通じて入力される当該楽曲につ 、ての明る 、Z喑 、、激し ヽ Z優しい、楽しい Z悲しいなどの感性情報の数値入力(例えば前述の 16段階の数 値)を受け付けて、属性情報の一部とする (ステップ S55)。
[0133] さらに、属性情報記録設定部 104は、曲調分析部 13で分析されて抽出された楽曲 構成情報を、曲調分析部 13から取得して、属性情報の一部とする (ステップ S56)。
また、さらに、属性情報記録設定部 104は、周辺環境情報取得部 40から周辺環境 情報を取得して、当該周辺環境情報を属性情報の一部とする (ステップ S57)。
[0134] 次に、属性情報記録設定部 104は、ステップ S54〜ステップ S57で取得した情報 に基づいて、記録すべき属性情報の仮リストを作成し (ステップ S58)、当該作成した 属性情報の仮リストを、例えばユーザインターフェース 11のディスプレイに表示する 等して、ユーザに呈示する(ステップ S36)。
[0135] この記録すべき属性情報の仮リストの呈示を受けたユーザは、属性情報について 修正や追カ卩が必要だと判断したときには、ユーザインターフェース 11の操作部を通 じて所定の操作を行ない、そのままの属性情報と良いとしたときには、ユーザインター フェース 11の決定キーなどを操作して、その旨を入力する。
[0136] 音楽コンテンツ記録指示制御部 101は、ユーザ力も属性情報についての修正指示 や追加指示があつたかどうか判別し (ステップ S37)、修正指示や追加指示があった と判別したときには、その旨を属性情報記録設定部 104に伝える。この修正指示や 追加指示を受けた属性情報記録設定部 104は、ユーザインターフェース 11を通じた 修正指示内容や追加指示内容に応じて、属性情報の修正や追加を行なう(ステップ S38)。
[0137] 属性情報の修正や追加後、あるいは、属性情報の修正や追加無しに、ユーザが当 該属性情報につ!ヽて OKと ヽぅ意味で決定キーを操作すると、音楽コンテンツ記録指 示制御部 101は、そのユーザの属性情報についての決定入力を検知し (ステップ S3 9)、エンコード部 105に、映像音響データ記録設定部 103からの映像音響データと 、属性情報記録設定部 104からの属性情報とを受け取るように指示すると共に、受け 取った情報をエンコードするように指示する。エンコード部 105は、この指示を受ける と、映像音響データと属性情報とを受け取って、音楽コンテンツ記憶部 20に記憶す るためのエンコード処理を実行する(ステップ S40)。
[0138] そして、エンコード部 105は、エンコードした映像音響データを、映像音響データ記 憶部 21に書き込むと共に、エンコードした属性情報を、属性情報記憶部 22に書き込 む (ステップ S41)。以上で、記録処理は終了となる。
[0139] なお、以上の実施形態では、属性情報の楽曲構成情報が音楽コンテンツに付随し
ていないときには、曲調分析部 13で楽曲構成情報を抽出するようにしたが、予め楽 曲の曲調が譜面情報や制作者の情報により判っている場合には、曲調分析する必 要は無ぐユーザがこの譜面情報に基づくテンポ、キー、コード等の楽曲構成情報を 属性情報として入力することもできる。
[0140] また、インターネット 5などのネットワークを通じて楽曲構成情報が取得可能な場合 には、属性情報記録設定部 104は、楽曲構成情報取得部 106を通じて楽曲構成情 報を取得して、属性情報の一部とするようにすることもできる。
[0141] この実施形態の記録再生装置では、楽曲の再生を繰り返すと、再生履歴情報保持 部 15に、過去のユーザの再生履歴情報が蓄積されてくる。よく聴く曲はリスナーの嗜 好度が高ぐ逆に再生時間が短い曲はリスナーの嗜好度が低いことが多い。そこで、 この楽曲毎の再生頻度'再生時間情報が更新される度に、各楽曲の音楽コンテンツ の属性エリアに追記して 、く。
[0142] また、属性情報とされて、音楽コンテンツ記憶部 20の属性情報記憶部 22に記憶さ れた再生履歴情報は、音楽コンテンツの記録時のみではなぐ対応する楽曲が再生 されて、再生履歴情報保持部 15の再生履歴が更新されるときに、同時に、属性情報 記憶部 22の対応する楽曲の属性情報の再生履歴情報も更新されるようにされている
[0143] よく聴く曲はリスナーの嗜好度が高ぐ逆に再生時間が短い曲はリスナーの嗜好度 が低いことが多いので、この再生履歴情報を参照することにより、リスナーが嗜好する 楽曲を検知することができると共に、その嗜好度の高い楽曲の曲調は、リスナーの嗜 好度が高い曲調と判定することができる。そこで、この楽曲毎の再生頻度や再生時間 情報が更新される度に、各楽曲の属性情報記憶部の再生履歴情報を追記しておく ことにより、この属性情報の再生履歴情報および楽曲構成情報を参照することで、リ スナ一に好まれている楽曲およびその曲調を判定して、再生時の楽曲の再構成に利 用することができる。
[0144] [第 1の実施形態の記録再生装置における再生処理]
次に、第 1の実施形態の記録再生装置における再生処理について説明する。この 実施形態では、再生処理のポイントとしては 2点ある。
[0145] 一つは、再生スタート操作をするだけで、ユーザが嗜好するであろう楽曲を順次に 装置が選択して、ユーザに呈示する機能を装置が備える点である。この場合、ユー ザは、最初の曲を選択し、連続再生スタート操作をユーザインターフェース 11の操作 部を通じて入力する。すると、この実施形態の記録再生装置は、その最初に選択さ れた楽曲にユーザが嗜好を示して 、るかどうか、ユーザ(リスナー)から取得した生体 情報に基づいて判別し、嗜好を示していれば、最初に選ばれた楽曲に曲調が似て いる楽曲を次の楽曲再生候補とする。
[0146] この場合にお 、て、楽曲聴取者であるユーザ (リスナー)の生体情報を取得して、例 えば、音楽に乗っているときの頭部や足等の体の動きや脈拍等から、その時々のリス ナ一の嗜好度を判定するようにする。
[0147] リスナーが聴取中の楽曲に嗜好を示していないと判別したときには、例えば再生履 歴情報保持部 15に保持されている再生履歴情報に基づいて、リスナーが好んでい ると考えられる楽曲を選択し、当該選択された楽曲に曲調が似ている楽曲を次の楽 曲再生候補とする。あるいは、リスナーの周辺環境情報を取得し、当該取得した周辺 環境情報に合致する楽曲を、属性情報を参照することにより検索し、検索結果の楽 曲および当該楽曲に似ている曲調の楽曲を次の楽曲再生候補とするようにする。
[0148] そして、 2番目以降の楽曲の聴取しているときにも、リスナーから取得した生体情報 に基づいて、当該聴取中の楽曲に嗜好を示しているかを常時判定して、上述と同様 の処理を行ない、次の楽曲再生候補を更新してゆくようにする。これにより、この実施 形態によれば、リアルタイムで、次の楽曲再生候補を更新しながらユーザに呈示する ことができると!/、う効果がある。
[0149] 従来の楽曲再生装置では、例えば数百曲以上の楽曲データを内蔵記憶部に記憶 しているときに、自動再生モードでは、アルバム単位や、記録された順、舌 L数によるラ ンダムな順序での再生が行なわれて 、るが、特にユーザ (リスナー)の嗜好を考慮し て、再生順序が決定されるものは無い。
[0150] また、 V、わゆるプレイリスト(再生楽曲候補のリスト)をユーザ側で作成して、その順 序で再生するという例もあるが、この方法の場合には、ユーザ側で、いちいちプレイリ ストを作成する必要があり、手間が力かるものである。さらに、内蔵記憶部に保存され
る楽曲が増加するごとに、当該プレイリストを手直し必要があるという問題もあった。そ して、この方法も、ユーザの嗜好を積極的に考慮しているわけではないという問題も めつに。
[0151] これに対して、この実施形態では、再生装置側が過去のユーザの再生履歴情報や ユーザ力 リアルタイムに入力される生体情報等、さらには、再生装置が存在する地 理的な情報等から、現在再生されている楽曲の属性情報と照らし合わせて嗜好度の 予測を行ない、その場のユーザの状態において最も聴きたいと思われる楽曲を提供 するものである。
[0152] すなわち、音楽コンテンツの再生方法に関して、楽曲の属性情報と、リスナーの生 体情報や、再生履歴情報、周辺環境情報を用いて、その時々のリスナーの嗜好に 最適と思われる楽曲の候補を動的に選択し、それを再生提示するようにするものであ る。
[0153] 例えば、過去によく聴いた楽曲のコード進行やテンポに近い楽曲を、属性情報記 憶部 22に記憶されている多数の楽曲の属性情報力も探索して、それを再生したり、 現在聴 、て 、る楽曲でリスナーがリラックスして 、ると思われる生体情報が取得でき た場合には、その構成に近い楽曲を、前記属性情報から探索して、それを再生したり するものである。すなわち、この実施形態では、楽曲の属性情報を利用してリスナー の嗜好に合う楽曲を動的に提示するものである。
[0154] また、上述したように、この実施形態では、属性情報として、リスナーがどう感じるか の楽曲の感性情報 (例えば暗い/明るい曲)、ユーザが何回この楽曲を再生したか等 の再生履歴情報や演奏者や楽器に関する情報、どこで録音されたものか'どこで聴く と良いかの地理情報等の周辺環境情報等も記録されている。これらの情報を、必要 に応じて再生側で利用することにより、多数の音楽コンテンツの中から、よりユーザの 好みに合うものを抽出することができる。
[0155] この実施形態の記録再生装置における二つ目の再生処理のポイントは、聴取中の 楽曲に対して、その属性情報中の特に楽曲構成情報に基づいて、楽曲素材単位で 、テンポやキー(音程)を変えたり、リミックスしたり、エフェクトをかけたりして、楽曲を 再構成するようにする機能を備える点である。
[0156] すなわち、リスナーのその時の気分に応じて、ディスクジョッキーのようにリミックスす る等して複数曲を同時に再生したり、あるいは楽曲そのもののテンポやキー等の曲調 を変更したりして、聴取中の楽曲を動的に再構成するものである。この動的な再構成 のために、この実施形態では、楽曲データに、前述のような属性情報、特に楽曲構成 情報を付随させて、リスナーが置かれた雰囲気に合うように楽曲を動的に再構成しな 力 Sら再生 ·合成するものである。再構成は、あくまでリスナーがより楽しくなるように、再 生される楽曲に変化を与えるものであり、新たな楽曲の楽しみ方をリスナーに提案す るものである。
[0157] 前述したような属性情報は、音楽性を損なわずに楽曲を再構成再生することができ るようにすることを目的としたものである。一般に、音楽 (楽曲)は、小節、拍等で区切 られており、更に、それらの区切りごとにコードが決められているので、音楽理論に従 えば、例えば小節毎に別の音楽素材を組み合わせて 、つても音楽性を損なわずに 曲調を変更することができる。これは、一般に、ディスクジョッキー等で行なわれてい るリミックスと呼ばれる手法である。
[0158] 以上のことを考慮して、この実施形態では、前述したように、特に楽曲を再構成する に必要な楽曲の構成情報を、当該音楽コンテンツの映像音響データに予め付帯さ せて属性情報として記録しておくものである。ここで、楽曲を再構成するに必要な楽 曲の構成情報とは、前述した、テンポ、キー、コード、音量、拍子等の楽曲素材単位 の楽曲構成情報である。
[0159] なお、属性情報は、常に音楽コンテンツの映像音響データに付帯させておく必要 はなぐ例えば必要なときにのみ、音楽コンテンツの識別情報に基づいて、他の格納 場所に格納されている属性情報を読み出したり、ネットワークを通じて当該属性情報 のサーバ装置等から取得したりしても良い。
[0160] この実施形態では、楽曲構成情報を用いて、やみくもに再構成する訳ではない。例 えば、リスナー力もの生体情報を再生装置にフィードバックして、リスナーの視聴状態 を動的に把握し、また、記録再生装置が置かれている(存在する)場所の周辺環境 情報を動的に把握し、その場に適した楽曲をその属性情報力 再合成し、リスナー に提供するものである。
[0161] 以下に説明するように、この第 1の実施形態では、リスナーが嗜好を示しているとき にのみ楽曲を再構成するようにして、よりリスナー好まれるようにするようにして!/、る。 しかし、リスナーが嗜好を示していないときにも、楽曲を再構成して、リスナーに再構 成後の楽曲を呈示することで、リスナーに嗜好を喚起させるようにしても勿論よい。
[0162] この聴取中の楽曲の再構成の際にも、リスナーの生体情報を再生装置にフィードバ ックしたり、再生履歴情報を参照したり、周辺環境情報を参照したりして、再構成のた めにリミックスする楽曲を選択したり、エフェクトを選択したりするようにしても勿論よい 。さらには、属性情報中にお薦めのエフェクト情報があれば、それを使用することも勿 論できる。
[0163] 次に、以上の再生処理の詳細処理動作例を、図を参照して説明する。図 10は、こ の第 1の実施形態の記録再生装置のうちの再生処理部分を機能的に抽出して表し たブロック図である。また、図 11〜図 18は、楽曲の再構成処理を説明するための図 である。さらに、図 19〜図 22は、その再生処理動作の一例を説明するためのフロー チャートである。
[0164] 図 10に示すように、この第 1の実施形態の記録再生装置の再生処理部も、前述し た記録処理部と同様に、 2つの構成要素からなる。一つは、複数個の音楽コンテンツ が記録保持されている音楽コンテンツ記憶部 20であり、もう一つは、音楽コンテンツ の再生を行なう再生部 200である。音楽コンテンツ記憶部 20は、前述した通りである ので、ここでは、再生部 200について説明する。
[0165] 再生部 200は、図 10に示すように、ユーザインターフェース 11と、再生履歴情報保 持部 15と、生体情報取得部 30と、周辺環境情報取得部 40と、音響出力部 53と、映 像出力部 56とを含むと共に、 ROM3に記憶されているプログラムにしたがって CPU 1による処理により実現される機能的な処理部として、映像音響データ選択判断制御 部 201と、デコード部 202と、属性情報取得部 203と、映像音響データ取得部 204と 、映像音響データデコード部 205と、映像音響アレンジ処理部 206とを備える。
[0166] 映像音響データ選択判断制御部 201は、ユーザインターフェース 11を通じたユー ザ指示に従って、再生対象の音楽コンテンツを選択したり、その再生制御処理 (楽曲 再構成処理を含む)を行なったり、また、再生履歴情報保持部 15からの再生履歴情
報、生体情報取得部 30を通じて取得した生体情報、周辺環境情報取得部 40から取 得した周辺環境情報等に基づいて、再生対象の音楽コンテンツを選択したり、その 再生制御(楽曲再構成を含む)を行なったりする部分であって、 CPU1が、 ROM3に 記憶されている記録のためのプログラムに基づいて、 RAM4をワークエリアとして用 いて実行する部分に相当する。
[0167] デコード部 202は、映像音響データ選択判断制御部 201からの音楽コンテンツの 選択指示にしたがって、音楽コンテンツ記憶部 20から映像音響データおよび属性情 報を取得して、圧縮されているデータを伸長デコード処理するもので、エンコード Z デコード部 12のデコード部に相当する。
[0168] そして、デコード部 202は、音楽コンテンツ記憶部 20から読み出して伸長デコード した属性情報は、属性情報取得部 203に渡すと共に、音楽コンテンツ記憶部 20から 読み出して伸長デコードした映像音響データは、映像音響データ取得部 204に供給 する。
[0169] 属性情報取得部 203は、デコード部 202からの、音楽コンテンツ記憶部 20から読 み出されてデコードされた属性情報を受け取り、映像音響データ選択判断制御部 20 1に渡す。この属性情報取得部 203は、 RAM4の一部領域を用いるバッファ部で構 成されるちのである。
[0170] 映像音響データ取得部 204は、デコード部 202からの、音楽コンテンツ記憶部 20 カゝら読み出されてデコードされた映像音響データを受け取り、映像音響データデコー ド部 205に渡す。この映像音響データ取得部 204は、 RAM4の一部領域を用いるバ ッファ部で構成されるものである。
[0171] 映像音響データデコード部 205は、音響データデコード部 51と、映像データデコー ド部 54とで構成される部分であり、音響データをデコードして、映像音響アレンジ処 理部 206に渡すと共に、映像データをデコードして、映像音響アレンジ処理部 206に 渡す。
[0172] 映像音響アレンジ処理部 206は、音響アレンジ部 52と、映像アレンジ部 55とで構 成される部分であり、映像音響データ選択判断制御部 201からの制御信号を受けて 、デコードされた音響データに、他の楽曲の音響データをリミックスしたり、音響デー
タにエフェクト処理を施したり、テンポやキーある ヽはコード進行を変えたりして楽曲 の再構成処理をする。また、デコードされた映像データにエフヱタト処理を施したりす る。
[0173] そして、映像音響アレンジ処理部 206は、リミックスしたりエフェクト処理したり等した 音響データを音響出力部 53に供給すると共に、エフヱ外処理等した映像データを 映像出力部 56に供給する。
[0174] 生体情報取得部 30で取得されるリスナーの生体情報は、映像音響データ選択判 断制御部 201に供給され、音楽コンテンツの選択および楽曲の再構成のために用い られる。また、周辺環境情報取得部 40で取得された記録再生装置が存在する場所 の情報などの周辺環境情報は、映像音響データ選択判断制御部 201に供給され、 音楽コンテンッの選択および楽曲の再構成のために用いられる。
[0175] また、再生履歴情報保持部 15は、これに供給される映像音響データ選択判断制御 部 201からの読み出し要求に従って、保持している再生履歴情報を映像音響データ 選択判断制御部 201に供給する。この再生履歴情報は、映像音響データ選択判断 制御部 201において、音楽コンテンツの選択および楽曲の再構成のために用いられ る。
[0176] 図 11は、図 10の再生部 200を、楽曲の再構成処理の観点から見た機能ブロック図 の構成を示すもので、実質上の構成内容は、図 10と変わりはない。
[0177] この図 11に示すように、再生部 200は、楽曲データの再構成の基準となる同期信 号と楽曲再構成用情報とを生成して出力するリズムマスター部 210と、このリズムマス ター部 210からの同期信号 SYNCと楽曲再構成用情報 ARIとを受けて、楽曲データ の再構成を実行するリズムスレーブ部 220とからなる。リズムマスター部 210からの同 期信号 SYNCは、楽曲データの再生に同期して出力されるものであり、また、楽曲再 構成用情報 ARIは、同期信号 SYNCに同期して出力され、楽曲データの再生に同 期して動的に変化する値である。
[0178] リズムマスター部 210は、コンサートで言うと指揮者に相当する機能を持ち、また、リ ズムスレーブ部 220は、演奏者の立場に相当する機能を持つ。
[0179] 映像音響データ選択判断制御部 201は、リズムマスター部 210に属する映像音響
データ選択判断制御 RM (RMはリズムマスターの略)部 201Mと、リズムスレーブ部 2 20に属する映像音響選択判断制御 RS (RSは、リズムスレーブの略)部 201Sとに分 けられる。また、属性情報取得部 203は、リズムマスター部 210と、リズムスレーブ部 2 20の両方に属するものとされる。
[0180] すなわち、リズムマスター部 210は、映像音響データ選択判断制御 RM部(以下、 R M部という) 201Mと、属性情報取得部 203とを備えて構成される。
[0181] また、リズムスレーブ部 220は、映像音響データ選択判断制御 RS部(以下、 RS部 という) 201Sと、属性情報取得部 203のほかに、生体情報取得部 30と、周辺環境情 報取得部 40と、再生履歴情報保持部 15と、映像音響データ取得部 204と、映像音 響データデコード部 205と、映像音響アレンジ処理部 206とを備えて構成される。
[0182] そして、この第 1の実施形態では、リズムマスター部 210の RM部 201Mは、属性情 報取得部 203で取得した再生中の音楽コンテンッの属性情報に基づ!/、て、楽曲の 再構成の基準となる同期信号 SYNCと、楽曲構成用データ ARIとを生成し、当該生 成した同期信号 SYNCおよび楽曲再構成用データ ARIを、リズムスレーブ部 220の RS部 201 Sに供給する。
[0183] この実施形態では、この同期信号 SYNCとして、図 12に示すように、楽曲の小節に 対応する周期の小節同期信号 PHSYと、楽曲の柏に対応する周期のビート同期信 号 BTSYとを生成出力する。この場合に、 RM部 201Mは、この第 1の実施形態では 、再生中の楽曲の小節および柏に同期する信号を生成出力する。
[0184] 小節同期信号 PHSYは、楽曲の小節の頭を示す信号であり、例えば楽曲の小節 の先頭でのみ、立ち下がりエッジパルスとなっている。また、ビート同期信号 BTSYは 、楽曲の拍の頭を示す信号であり、例えば、拍の先頭のみ立下りエッジパルスとなつ ている。何拍子の曲かにより小節当たりの拍数は異なる。
[0185] これらの同期信号に同期する形で、リズムマスター部 210からリズムスレーブ部 220 へ楽曲再構成用データ ARIが送られる。この楽曲再構成用データ ARIは、多値のデ ータなのでデータノ ス等の複数ビット信号線上を流れる信号とされている。
[0186] この第 1の実施形態では、 RM部 201Mは、楽曲再構成用データ ARIとして、図 12 に示すように、楽曲構成情報の BPM値と、キー値と、コード値の 3つを生成し、リズム
スレーブ部 220の RS部 201Sに供給するようにする。各値のデータは、複数ビットの 信号線により伝送するようにしても良いし、それぞれシリアルデータとして 1本づつの 信号線により伝送するようにしても良 ヽ。
[0187] BPM値は、リズムスレーブ部 220において、楽曲をどれくらいのテンポで再生する かのマスターテンポとなる値である。この BPM値は、同期信号 SYNCの発振周波数 に相当する。
[0188] キー値は、再生する音楽コンテンツのキーを決める値である。特定のキーを決めな V、場合は「null」値でも良 、。楽曲再構成用データ ARIのキー値が「null」値の場合、 リズムスレーブ部 220では、自由なキーで再生が行なわれる。
[0189] コード値は、再生する音楽コンテンツのコード進行を決める値である。リズムスレー ブ部 220は、与えられたコード値で再生したり、代理コードで再生したりする。音楽理 論に則り、調性が崩れなければ良い。コード値は「null」値でも良い。楽曲再構成デ ータ ARIのコード値が「null」値の場合、リズムスレーブ部 220では、自由なコードで 再生を行なう。
[0190] なお、この第 1の実施形態の場合に、 RM部 201Mは、再生中の楽曲の属性情報 力も抽出した BPM値と、キー値と、コード値とを、そのまま楽曲再構成用情報 ARIと して出力する。
[0191] 図 13は、この第 1の実施形態におけるリズムマスター部 210の詳細構成例を示す 図であり、特に RM部 201Mの機能の詳細をブロック化したものである。すなわち、 R M部 201Mは、機能的には、属性情報解析部 211と、同期信号生成部 212と、同期 信号出力回路 213と、楽曲再構成用データ設定部 214と、楽曲再構成用データ出 力回路 215とを備える。
[0192] RM部 201Mの属性情報解析部 211では、属性情報取得部 203から、再構成をし ようとする再生中の楽曲の属性情報を受け取って解析し、当該再生中の楽曲の属性 情報のうちの前述した楽曲構成情報を抽出し、当該抽出された楽曲構成情報のうち
、特に小節や柏の区切り情報の一つであるテンポ情報としての BPM値を同期信号 生成部 212に供給する。
[0193] 同期信号生成部 212は、 PLL (Phase Locked Loop)回路 216を備え、属性情
報解析部 211からの BPM値に相当する発振周波数で発振し、かつ、再生対象の音 楽コンテンツの小節および柏に位相同期する小節同期信号 PHSYおよびビート同 期信号 BTSYとからなら同期信号 SYNCを、前記 PLL回路 216を用いて生成し、生 成した同期信号 SYNCを同期信号出力回路 213を通じて、図 12に示すように、 RS 部 201Sに供給する。
[0194] RM部 201Mの属性情報解析部 211では、また、属性情報取得部 203から受け取 つた、前記再生中の楽曲の属性情報の楽曲構成情報のうち、 BPM値と、キー値と、 コード値とを抽出して、楽曲再構成用データ設定部 214に供給する。
[0195] 楽曲再構成用データ設定部 214では、受け取ったBPM値はBPM値設定部217 に設定し、受け取ったキー値はキー値設定部 218に設定し、受け取ったコード値は コード値設定部 219に設定する。そして、 BPM値設定部 217、キー値設定部 218お よびコード値設定部 219に設定された BPM値、キー値およびコード値は、楽曲再構 成用データ設定部 214から楽曲再構成用データ出力回路 215に渡され、この楽曲 再構成用データ出力回路 215から、図 12に示すように、楽曲再構成用データ ARIと して、 RS部 201Sに供給される。
[0196] RM部 201Mは、同期信号 SYNCおよび楽曲再構成用データ ARIを、音楽コンテ ンッの楽曲データの再生に同期して、属性情報取得部 203からの属性情報に基づ いてリアルタイムに生成し、リズムスレーブ部 220の RS部に供給する。
[0197] 次に、この第 1の実施形態におけるリズムスレーブ部 220の詳細構成例を図 14に 示す。リズムスレーブ部 220の RS部 201Sは、機能的には、図 14に示すような構成と されるもので、アレンジ制御部 221と、テンポ補正量算出部 222と、音程補正量算出 部 223とを備えている。また、リズムスレーブ部 220の映像音響アレンジ処理部 206 は、テンポ補正回路 225と、音程補正回路 226と、ミキサーおよびエフェクト回路 227 とからなる。
[0198] アレンジ制御部 221は、予め、音楽コンテンツ記憶部 20の属性情報記憶部 22から 、属性情報取得部 203を通じて、すべての音楽コンテンツの属性情報を取得し、その 取得した属性情報カゝら楽曲再構成用属性情報テーブル 224を作成して、保持して 、 る。
[0199] この楽曲再構成用属性情報テーブル 224の一例を図 15に示す。ここでは、再構成 処理の一例としてリミックスを行なうので、楽曲再構成用属性情報テーブル 224は、リ ミックス用の属性情報テーブルの構成となっている。すなわち、図 15に示すように、こ の楽曲再構成用属性情報テーブル 224は、それぞれの楽曲素材名について、コー ド値と、 BPM値と、楽曲名と、感性値とからなる。感性値は、この例では、明るい感じ のみとしているが、当然ながらこの限りではない。
[0200] アレンジ制御部 221は、リミックス処理を実行する際には、 RM部 201M力も受け取 つた楽曲再構成用データ ARIの BPM値およびコード値に等しい、あるいは当該 BP M値およびコード値に近似する BPM値およびコード値を有する楽曲素材を、リミック スしょうとする楽器ごとに、楽曲再構成用属性情報テーブル 224から検索する。
[0201] そして、アレンジ制御部 221は、生体情報取得部 30からの生体情報や周辺環境情 報取得部 40からの周辺環境情報、再生履歴情報保持部 15からの再生履歴情報を 参照して、リスナーが明るい感じのものを要求している力 そうではないかを判別し、 楽曲再構成用属性情報テーブルの感性値を参照して、実際にリミッタスする楽曲素 材を決定する。そして、アレンジ制御部 221は、決定した当該楽曲素材の音響デー タを音楽コンテンツ記憶部 20から読み出すようにする選択指示をデコード部 202に 送る。
[0202] これを受けたデコード部 202は、選択指示された楽曲素材の音声データを音楽コン テンッ記憶部 20から読み出し、既に読み出しをして 、る再生対象の映像音響データ に加えて、これらのリミックス用の楽曲素材の音響データを映像音響データ取得部 20 4に渡す。
[0203] したがって、映像音響データ取得部 204は、再生対象の映像音響データに加えて 、このリミックス用の 1個または複数個の楽曲素材の音響データを、映像音響データ デコード部 205に供給するようになる。
[0204] このため、映像音響データデコード部 205および映像音響アレンジ処理部 206で は、それらの複数個の映像音響データを並行して処理するものである。すなわち、映 像音響データデコード部 205と、映像音響アレンジ処理部 206のテンポ補正回路 22 5および音程補正回路 226とは、図 14に示すように、並行して処理する映像音響デ
一タの数分(図 14では 2個)の処理回路部を、機能的に、それぞれ備える構成となつ ている。
[0205] 図 16は、リズムスレーブ部 220の映像音響データデコード部 205および映像音響 アレンジ処理部 206における楽曲信号の流れを、リズムマスター部 210からの同期信 号 SYNCに、同期させて示した図である。この場合、楽曲データ (音響データ)の再 生信号のストリームの一つを楽曲トラックと呼ぶことにする。上述したように、リズムスレ ーブ部 220においては、楽曲トラックは、複数個力もなり、それぞれ楽曲トラックの楽 曲データについて、テンポ補正や音程補正が必要に応じてなされた後、ミキサーおよ びエフェクト回路 227において最終的にミックスされる。
[0206] 図 16の例では、映像音響データデコード部 205から出力された 3つの楽曲トラック 力 リズムマスター部 210からの同期信号 SYNCに同期して再生され、最終段でミツ タス出力されている様子を示している。この例では、楽曲トラック 1は再生対象の音楽 コンテンッの楽曲データのトラックであり、楽曲トラック 2および楽曲トラック 3は、リミツ タスする楽曲素材のトラックである。
[0207] この図 16の楽曲トラック 2や楽曲トラック 3のように、リミックスされる楽曲素材は、全 部の小節区間に対応してすべて存在している必要はなぐミックスする小節区間ゃ複 数拍分の区間の間だけ、飛び飛びで再生されるようにしても良!、。
[0208] なお、再生対象の音楽コンテンツの楽曲データについて、リミックスをすることなぐ 特殊効果のみをかける場合には、再生対象の音楽コンテンツの楽曲データについて のストリームしかなぐミキサーおよびエフェクト回路 227においては、前述したリバ一 ブゃディストーションなどの特殊効果処理が再生対象の音楽コンテンツの楽曲デー タについて施される。
[0209] テンポ補正量算出部 222は、属性情報取得部 203から取得した BPM値と、リズム マスター部 210からの楽曲再構成用データ ARI中の BPM値(BPM値の目標値(目 標 BPM値)となる)との差分力も現在再生中の楽曲にリミックスする楽曲素材につい てのテンポ補正量を算出する。このように補正する必要があるのは、 BPM値が目標 B PM値に全く一致しているものだけではなぐ異なっているものであっても、キー値や コード値など、リミッタスする楽曲素材として適切なものと判断できるものもあるので、
そのような楽曲素材を選択した際に、その BPM値を目標 BPM値に合わせるためで ある。
[0210] そして、テンポ補正量算出部 222は、算出したテンポ補正量をテンポ補正回路 225 の対応する楽曲素材用の処理回路部に供給する。
[0211] テンポ補正回路 225は、音響データについて、音程を一定に保ちながら再生テン ポのみを変更するように補正する回路である。この補正のアルゴリズムは、相関関数 を使用する方法等、種々の方法が存在するが、この実施形態はそのアルゴリズムに 特徴を有するものではな 、ので、ここではその詳細な説明は省略する。
[0212] 音程補正量算出部 223は、属性情報取得部 203から取得したキー値 Zコード値と 、リズムマスター部 210からの楽曲再構成用データ ARI中のキー値 Zコード値(キー 値 Zコード値の目標値(目標キー値 Z目標コード値)となる)との差分から現在再生 中の楽曲にリミッタスする楽曲素材のそれぞれについての音程補正量を算出する。こ のように補正する必要があるのは、キー値およびコード値が目標キー値および目標コ ード値に全く一致しているものだけではなぐ異なっているものであっても、その他の 条件など力 して、リミックスする楽曲素材として適切なものと判断できるものもあるの で、そのような楽曲素材を選択した際に、そのキー値およびコード値を目標値に合わ せるためである。
[0213] そして、音程補正量算出部 223は、算出した音程補正量を音程補正回路 226の、 対応する楽曲素材用の処理回路部にそれぞれ供給する。
[0214] 音程補正回路 226は、音響データについて、テンポを一定に保ちながら音程のみ を変更するように補正する回路である。この補正のアルゴリズムとしては、種々の方法 が存在する力 この実施形態はそのアルゴリズムに特徴を有するものではな 、ので、 ここではその詳細な説明は省略する。
[0215] ミキサーおよびエフェクト回路 227は、アレンジ制御部 221からのミキシング制御信 号や特殊効果制御信号を受けて、音程補正回路 226からの映像音響データに特殊 効果をかけたり、音程補正回路 226からの複数個の映像音響データをミキシングした りする。どのような特殊効果をかけるかは、アレンジ制御部 221からの特殊効果制御 ¾号による。
[0216] 図 17は、リズムスレーブ部 220の映像音響データデコード部 205および映像音響 アレンジ処理部 206における楽曲信号の流れを、リズムマスター部 210からの同期信 号 SYNCに、同期させて示すと共に、リズムスレーブ部 220の映像音響アレンジ処理 部 206における楽曲再構成の動作を、リズムマスター部 210の楽曲再構成用データ ARIとの対応させながら示す図である。
[0217] 図 17の例の場合には、楽曲再構成用データ ARIは、再生対象の音楽コンテンツの 属性情報力 抽出したものとなっており、当該再生対象の音楽コンテンツは、楽曲ト ラック 1の再生信号ストリームとなっている。図 17の例では、楽曲再構成用データ ARI として、 BPM値「120」、キー値「Cmajor」、コード進行「C」→「G」→「F」の目標値がリ ズムマスター部 210からリズムスレーブ部 220へ入力されている。
[0218] そして、リズムスレーブ部 220では、この楽曲トラック 1の再生対象音楽コンテンツの 再生信号ストリームに対して、アレンジ制御部 221による選択指示に基づいて音楽コ ンテンッ記憶部 20から取得された 2個の楽曲素材が楽曲トラック 2、楽曲トラック 3とし て映像音響データデコード部 205から出力され、前記楽曲再構成用データ ARIのそ れぞれの値の目標値に合うように補正され、最終的にミックスされる。
[0219] すなわち、楽曲トラック 2, 3の音響データは、映像音響アレンジ処理部 206におい て、楽曲再構成用データ ARIの目標 BPM値や目標コード値に合致するように補正さ れた後、楽曲トラック 1の楽曲データにミックスされて、リミックス処理がなされる。
[0220] この場合、図 17に示すように、小節区間 Paにおいては、楽曲トラック 3の楽曲素材 3 力 楽曲トラック 1の音響データにミックスされる力 属性情報取得部 203を通じて取 得されたこの楽曲素材 3の小節区間 Paでの BPM値は「120」であって、楽曲再構成 用データ ARIの BPM値と同一であるので、楽曲素材 3の楽曲データについては、映 像音響アレンジ処理部 206ではテンポの補正はなされない。
[0221] しかし、属性情報取得部 203を通じて取得された楽曲素材 3の小節区間 Paでのコ 一ド値は「D」であって、楽曲再構成用データ ARIのコード値「C」とは異なるので、当 該楽曲素材 3の楽曲データについては、映像音響アレンジ処理部 206の音程補正 回路 226において、前述したようにして音程補正がなされ、「D」→「C」へと目標値に なるように変更される。
[0222] また、次の小節区間 Pbの前半においては、楽曲トラック 2の楽曲素材 2が楽曲トラッ ク 1の音響データにミックスされ、また、小節区間 Pbの後半においては、楽曲トラック 2 の楽曲素材 2と、楽曲トラック 3の楽曲素材 3とが楽曲トラック 1の楽曲データにミックス される。
[0223] そして、属性情報取得部 203により取得された楽曲素材 2の小節区間 Pbの前半で の BPM値は「100」、コード値は「E」であって、楽曲再構成用データ ARIの目標 BP M値「120」および目標コード値「G」と異なる。このため、楽曲素材 2の楽曲データは 、小節区間 Pbの前半において、映像音響アレンジ処理部 206で、「100」から「120」 と、目標 BPM値に合致するようにテンポの補正がなされるとともに、「E」から「G」と、 目標コード値に合致するように音程の補正がなされる。そして、小節区間 Pbの前半 では、それらの補正がなされた楽曲素材 2の楽曲データが、楽曲トラック 1の楽曲デ ータに加算される。
[0224] また、この小節区間 Pbの後半では、楽曲素材 2の BPM値は「100」、コード値は「 E」であって、楽曲再構成用データ ARIの目標 BPM値「120」および目標コード値「F 」と異なる力 楽曲素材 3の BPM値は「120」、コード値は「F」であって、楽曲再構成 用データ ARIの目標 BPM値「120」および目標コード値「F」と同一である。
[0225] このため、小節区間 Pbの後半では、楽曲トラック 2の楽曲素材 2については、映像 音響アレンジ処理部 206でテンポおよび音程の補正がなされて楽曲トラック 1の楽曲 データに加算され、また、楽曲トラック 3の楽曲素材 3については補正されずに、楽曲 トラック 1の楽曲データに加算される。
[0226] 以上のようにして、この第 1の実施形態では、再生対象の音楽コンテンツに対して、 当該音楽コンテンツに同期する同期信号 SYNCと、当該音楽コンテンツの楽曲構成 情報に基づく楽曲再構成用データ ARIとを生成して、この同期信号 SYNCおよび楽 曲再構成用データ ARIを基にして、他の楽曲素材をミックスすることにより、いわゆる リミックス処理を元の楽曲に対して違和感なぐ実行することができる。
[0227] また、同期信号 SYNCにより、小節や柏の区切りを容易に検出することができるの で、楽曲データについて特殊効果を施すことも容易に行なうことができる。
[0228] これら上述のアレンジ制御は、リアルタイムかつ動的に実行することができる。例え
ば、生体情報センサ入力のように時々刻々変化する入力に対しても、容易に追従す ることがでさる。
[0229] なお、この実施形態では、リミックスの特殊効果処理の一つとして、ループ再生処理 ができるようにしている。このループ再生処理とは、例えば 1または複数小節分あるい は 1または複数拍分の少量の楽曲素材のデータを、繰り返し再生する処理機能を言 う。このループ再生することにより、少量の楽曲素材だけであっても、無限に音楽を奏 でることができる。このループ再生を行なう楽曲素材としては、ドラムのリズムパターン などが例として挙げられる。
[0230] 例えば、図 18 (C)に示すような元楽曲素材には、ループ再生の開始点であるマー クイン(Markln)点と、ループ再生の終了点であるマークアウト(MarkOut)点とが、 予め指定されている。この元楽曲素材の情報は、複数個が、例えば音楽コンテンツ 記憶部 20の属性情報記憶部 22に、別個に設けられた「DJループ情報格納部」に格 納されている。属性情報記憶部 22ではなぐ別の記憶エリアに「DJループ情報格納 部」を設けて、当該格納部に元楽曲素材情報を格納するようにしても勿論よ 、。
[0231] 複数の元楽曲素材から 1つの元楽曲素材力 例えばユーザインターフェース 11を 通じて選択指定され、ループ再生が指定されると、属性情報記憶部 22から、指定さ れた元楽曲素材情報が読み出され、リズムスレーブ部 220の映像音響データデコ一 ド部 205に供給される。そして、この映像音響データデコード部 205と、映像音響ァレ ンジ処理部 206とにぉ 、て、テンポ補正および音程補正を必要に応じて行 、ながら 、ループ再生を実行する。
[0232] この場合、映像音響データデコード部 205および映像音響アレンジ処理部 206は、 同期信号 SYNCの小節同期信号 PHSYまたはビート同期信号 BTSY (図 18 (A)参 照)に同期して、図 18 (B)に示すように、ループ再生を行なう楽曲トラックにおいて、 元楽曲素材のマークイン点力 再生を開始し、マークアウト点まで再生すると、当該 マークアウト点からマークイン点にジャンプすることにより、ループ再生を実行する。こ の場合、マークアウト点からマークイン点へループジャンプするタイミングとマークァ ゥト点への到達タイミングは一致しているものとする。
[0233] この場合、ループ再生を行なう一つの楽曲トラックだけでなぐ全ての楽曲トラックが
同期信号 SYNCに同期して再生動作しているので、違和感無ぐ DJループ再生を行 なうことができる。
[0234] 次に、図 19、図 20のフローチャートを参照しながら、上述した再生処理動作につい て説明する。なお、この図 19、図 20の各処理ステップは、 CPU1が ROM3のプログ ラムにしたがって、 RAM4をワークエリアとして用いて実行するものである。
[0235] ユーザは、先ず、ユーザインターフェース 11のディスプレイの音楽コンテンツの選 択画面から、希望する音楽コンテンツ (楽曲)を選択して、映像音響データ選択判断 制御部 201に対して、 1曲目の再生を指示する。 2曲目以降は、実施形態の記録再 生装置にて自動的に選択されて再生が続行される。
[0236] ユーザインターフェース 11を通じて 1曲目の再生指示を受けた映像音響データ選 択判断制御部 201は、当該再生指示を受けた音楽コンテンツを認識すると共に、音 楽コンテンツ記憶部 20の属性情報記憶部 22から、当該再生指示を受けた音楽コン テンッの属性情報およびその他の全部の、あるいは所定量の属性情報を読み出す ようにデコード部 202に指示を出す。そして、その指示に応じてデコード部 202から 属性情報取得部 203を通じて送られてくる属性情報を読み込み、解析する (ステップ S61)。
[0237] ここで、映像音響データ選択判断制御部 201は、後述する次の再生楽曲候補の選 定ゃ、聴取中の楽曲の再構成のために、再生指示された音楽コンテンツの属性情報 と、他の音楽コンテンツの属性情報を予め取得し、解析して、後述する次の再生楽曲 候補の選定や、聴取中の楽曲の再構成のための事前準備をするものである。
[0238] 次に、映像音響データ選択判断制御部 201は、デコード部 202に、再生指示され た音楽コンテンツの映像音響データの読み出しを指示する。すると、デコード部 202 は、音楽コンテンツ記憶部 20から再生指示された音楽コンテンツの映像音響データ を読み出して、映像音響データ取得部 204に渡す。映像音響データ取得部 204で 取得された映像音響データは、映像音響データデコード部 205に渡されてデコード され、映像音響アレンジ処理部 206を通じて音響出力部 53に供給されて、音響出力 されると共に、映像出力部 56に供給されて、映像出力され、再生が開始される (ステ ップ S62)。
[0239] こうして、音楽コンテンツの再生が開始されると、映像音響データ選択判断制御部 2 01はリスナーの生体情報を、生体情報取得部 30から取得すると共に、周辺環境情 報取得部 40から周辺環境情報を取得する (ステップ S63)。
[0240] そして、映像音響データ選択判断制御部 201は、生体情報取得部 30から取得した リスナーの生体情報から、リスナーは聴取中の楽曲に対して嗜好を示しているかどう か判別する (ステップ S64)。
[0241] 映像音響データ選択判断制御部 201は、例えば、体の動きなどの生体情報を、記 録再生装置の生体情報センサ 31および生体情報解析部 32を通じて受けることによ り、リスナーが積極的に音楽を聴きたい状態か、そうでない状態かを判断する。例え ば、音楽に乗って 、る状態では自然と音楽に合わせて体が動く。
[0242] すなわち、再生中の楽曲の楽曲構成情報 (楽曲素材単位の区切りやテンポ等)と、 体の動きのセンサ (加速度センサ等)の出力信号の相互相関関数を計算する等す れば、その相関係数によりリスナーが積極的に音楽を視聴したい状態力どうかをある 程度判断することが可能である。この場合に、属性情報中の感性情報も考慮するとさ らに良い。つまり、激しい楽曲であれば、リスナーの体の動きもそれに応じて激しく動 き、優しい楽曲の場合では、リスナーの体の動きはゆっくりとしたものとなると予測でき る。
[0243] 相関係数が高い程、リスナーが音楽を積極的に視聴したい、いわゆる「乗り」の状態 と捉えることができる。リスナーが積極的に音楽を聴いている状態にある場合には、よ り「乗り」数値の高い楽曲の繰り返し再生をすることで、ユーザの嗜好に合わせた楽曲 を再生提示できると考えられる。
[0244] また、逆に、楽曲聴取中のリスナーの体の動きが少なぐ脳波等も落ち着いた状態 であれば、逆に、「乗り」数値の低い静かな曲を音量が小さい状態等で再生提示する ことにより、ユーザはより穏やかに音楽を楽しむことができると考えられる。
[0245] なお、「乗り」だけでなぐ再生中の音楽コンテンツの属性情報に含まれる感性情報 、例えば「明るい/暗い」、「やさしい/激しい」、「悲しい Z楽しい」等の感性的な数値 を参照しながら、リスナー生体情報を解析することで、ユーザが嗜好を示しているかど うかを判断するようにする。つまり、例えば優しい楽曲や悲しい楽曲などは「乗り」数値
は低いが、脳波や脈等が落ち着いた状態であれば、嗜好を示しているとされる場合 もめる。
[0246] ステップ S64で、リスナーは再生中の楽曲に対して嗜好を示してはいないと判別し たときには、映像音響データ選択判断制御部 201は、再生履歴情報保持部 15ある いは予め取り込んだ属性情報の各音楽コンテンツに含まれる再生履歴情報を参照し て、再生頻度の高い楽曲を検出する (ステップ S65)。
[0247] 次に、映像音響データ選択判断制御部 201は、再生頻度の高い楽曲の属性情報 の楽曲構成情報を抽出して、リスナーが好んでいると考えられる曲調を判定する。こ の場合、再生頻度の高い楽曲が複数個あり、それらの曲調が一致している場合には 、その曲調の楽曲構成情報をリスナーが好んでいると判定する。また、再生頻度の高 い楽曲が複数あり、かつ、曲調も複数通りあるときには、例えば曲調が同様の高頻度 再生楽曲をリスナーが好んでいる楽曲構成情報と判定する。
[0248] そして、映像音響データ選択判断制御部 201は、上記のリスナーが好んで 、ると判 定した曲調の楽曲構成情報と似ている楽曲構成情報を備える他の楽曲、つまり、曲 調が似ている他の楽曲を選出し、それらを次の楽曲再生候補とする (ステップ S66)。 これは、リスナーが現在再生中の楽曲に嗜好を示していないので、過去のリスナーの 再生履歴から、リスナーが嗜好していると考えられる楽曲を、リスナーに呈示しようと するものである。
[0249] そして、映像音響データ選択判断制御部 201は、再生中の楽曲が最後まで再生さ れたかを監視し (ステップ S67)、楽曲の最後まで再生されたと判別したときには、当 該再生した楽曲(音楽コンテンツ)についての再生履歴を、再生履歴情報保持部 15 において更新すると共に、当該音楽コンテンツの属性情報の再生履歴情報も更新す る(ステップ S68)。
[0250] そして、映像音響データ選択判断制御部 201は、ステップ S66で決定した再生楽 曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツ の映像音響データの読み出しを指示し、その楽曲の再生を開始するようにする (ステ ップ S69)。そして、ステップ S63に戻り、当該ステップ S63以降の処理を繰り返す。
[0251] ステップ S67で、楽曲の最後まで至っていないと判別したときには、映像音響デー
タ選択判断制御部 201は、リスナーによりユーザインターフェース 11の操作部に設け られている次ボタンが押下された力否力判別する(ステップ S70)。この次ボタンは、リ スナ一が現在聴いている楽曲ではなぐ次の楽曲を聴きたいときに押下されるボタン である。
[0252] ステップ S70で、次ボタンが押下されたと判別したときには、映像音響データ選択 判断制御部 201は、ステップ S69に進んで、ステップ S66で決定した再生楽曲候補 の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツの映像 音響データの読み出しを指示し、その楽曲の再生を開始するようにする。そして、ス テツプ S63〖こ戻り、当該ステップ S63以降の処理を繰り返す。
[0253] また、ステップ S70で次ボタンが押下されては ヽな 、と判別したときには、映像音響 データ選択判断制御部 201は、ユーザインターフェース 11の操作部の停止ボタンが ユーザにより押下された力否力判別し (ステップ S71)、停止ボタンが押下されていな いと判別したときには、ステップ S67に戻り、再生楽曲の終了を監視し、停止ボタンが 押下されたと判別したときには、この再生処理ルーチンを終了する。
[0254] また、ステップ S64で、リスナーが再生中の楽曲に嗜好を示していると判別したとき には、映像音響データ選択判断制御部 201は、リスナーの嗜好度は高いかどうか、 例えば前述した「乗り」数値などを用 、て判定する(図 12のステップ S81)。
[0255] そして、リスナーの嗜好度がそれほぼ高くないと判別したときには、映像音響データ 選択判断制御部 201は、この実施形態では、周辺環境情報取得部 40から取得した 周辺環境情報を加味して、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽 曲候補とする (ステップ S82)。すなわち、例えば、先ず、現在再生中の楽曲に付随 する属性情報の楽曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲 を選定する。そして、周辺環境情報取得部 40から取得した現在地の情報、例えば山 や海などの情報を取得し、それらの場所において聴取することがお薦めとなっている 周辺環境情報を属性情報に含む楽曲を、その選定された楽曲の中から選択して、次 の再生楽曲候補とする。
[0256] なお、ステップ S82においては、現在再生中の楽曲と曲調が似ている楽曲は探索 せずに、周辺環境情報のみに基づいて、次の再生楽曲候補を決定するようにしても
良い。また、当該周辺環境情報に合致する周辺環境情報を備える楽曲のみではなく 、その楽曲の楽曲構成情報と似ている楽曲を求めて、それらを次の再生楽曲候補と するようにしてちょい。
[0257] 次に、ステップ S81で、嗜好度が高 、と判別した時には、映像音響データ選択判断 制御部 201は、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲候補とす る (ステップ S83)。すなわち、現在再生中の楽曲に付随する属性情報の楽曲構成情 報と似ている楽曲構成情報を属性情報とする他の楽曲を選定し、それらを次の再生 楽曲候補とする。
[0258] さらに、映像音響データ選択判断制御部 201は、再生中の楽曲の属性情報から、 楽曲素材単位の区切り情報と共に、テンポや、キーや、コード進行などの楽曲素材 単位の楽曲構成情報を取得する (ステップ S84)。そして、この楽曲素材単位の区切 り情報や、楽曲素材単位の楽曲構成情報を用いて、音楽的に違和感の無いように、 楽曲の音響データを再構成する(ステップ S85)。なお、このステップ S85では、映像 データにも、エフェクトをかけたりしても良い。
[0259] 音響データの再構成は、例えば前述したリミッタスゃ、エフェクトの他、テンポを速く したり、遅くしたり、また、キーを上げたり、下げたり、コード進行を変えてみたりする等 の処理を含むものである。
[0260] 例えば、リミックスの場合には、他の楽曲の楽曲構成情報の中から、当該再生中の 楽曲の楽曲構成情報と似ているものを選定して、前記楽曲素材単位の区切りを考慮 して、違和感の無い様に元の楽曲に混合するようにする。このリミックスの際に、どの ような楽曲素材単位の曲データをミックスするかを、属性情報中の前記感性情報を参 照するようにしても良い。
[0261] また、記録再生装置に、予めドラムによるリズムの刻みや、パーカッションのパートを 記憶して用意しておき、それらを、再生中の楽曲に楽曲素材単位の区切りに注意し ながらリミッタスするようにするようにしてもょ 、。
[0262] また、映像音響データ選択判断制御部 201は、リミッタスする他の楽曲を選定する 場合に、周辺環境情報を参照して、当該周辺環境に適合する楽曲を、その属性情報 の周辺環境情報を参照することにより探索するようにすることもできる。
[0263] また、再生中の楽曲の属性情報中に、お薦めのエフェクトパラメータが含まれてい る場合には、そのエフェクトのパラメータを用いて、楽曲素材単位の区切りに注意して 、音楽的に違和感の無いように、エフェクト処理を行なうこともできる。
[0264] なお、上述の例では、リスナーが再生中の楽曲に嗜好を示していないときには、ス テツプ S65で再生履歴情報を取得し、ステップ S66で当該再生履歴情報に基づ 、て 、次の再生楽曲候補を定めるようにしたが、ステップ S65で、周辺環境情報取得部 4 0を通じて取得した周辺環境情報を解析して例えば山とか海とかの場所を算出し、ス テツプ S66で、属性情報として、当該周辺環境情報に合致する周辺環境情報を備え る楽曲を次の再生楽曲候補として定めるようにしてもよい。また、当該周辺環境情報 に合致する周辺環境情報を備える楽曲のみではなぐその楽曲の楽曲構成情報と似 て 、る楽曲を求めて、それらを次の再生楽曲候補とするようにしてもよ 、。
[0265] さらには、映像音響データ選択判断制御部 201は、ステップ S66において、再生履 歴情報と、周辺環境情報との両方を用いて、次の再生楽曲候補を決定するようにす ることちでさる。
[0266] 図 21は、リズムマスター部 210での同期信号および楽曲再構成用データの生成出 力処理の一例のフローチャートである。
[0267] 先ず、映像音響データ選択判断制御 RM部 201Mは、属性情報取得部 203を通じ て音楽コンテンツ記憶部 20の属性情報記憶部 22から再生対象の音楽コンテンツの 属性情報を取得し (ステップ S91)、当該取得した属性情報中から、 BPM値、キー値 およびコード値を抽出する (ステップ S92)。
[0268] 次に、抽出した BPM値に基づいて、小節同期信号 PHSYおよびビート同期信号 B TSYからなる同期信号 SYNCを生成する (ステップ S93)。また、抽出した BPM値、 キー値およびコード値を、 BPM値設定部、キー値設定部およびコード値設定部に設 定する(ステップ S 94)。
[0269] そして、ステップ S93で生成した同期信号 SYNCと、ステップ S94で設定した BPM 値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ部 2 20に送出する(ステップ S95)。
[0270] そして、再生の終了であるか否か判別し (ステップ S96)、再生の終了であればこの
図 21の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最 後まで再生されて終了となった力否か判別し (ステップ S97)、楽曲はまだ終了では ないと判別したときには、ステップ S93に戻って、同期信号 SYNCおよび楽曲再構成 用データ ARIをリズムスレーブ部 220に送出を続ける。
[0271] また、ステップ S97で、楽曲は終了したと判別したときには、選択されている次の楽 曲の再生準備をし (ステップ S98)、ステップ S91に戻り、以上の処理を繰り返す。
[0272] なお、この場合、前述したように、例えば、属性情報中に記述されている、楽曲素材 単位としての例えば小節の区切りのタイムコード情報と、実際の映像音響データの小 節の区切りのタイムコードとが正確に一致しているように構成されており、音楽コンテ ンッの映像音響データと属性情報とは、きっちりと対応しているようにされている。した がって、リズムマスター部 210からリズムスレーブ部 220に供給される同期信号 SYN Cおよび楽曲再構成用データ ARIは、リズムスレーブ部 220に映像音響データ取得 部 204を通じて入力される映像音響データの再生信号ストリームと、全く同期してい るものである。
[0273] 次に、図 22は、リズムスレーブ部 220での楽曲再構成処理の一例のフローチャート である。なお、ここでは、楽曲再構成処理は、リミックス処理のみを例として説明する 力、特殊効果処理をすることもできることは前述した通りである。
[0274] 先ず、映像音響データ選択判断制御 RS部 201Sは、属性情報取得部 203を通じ て音楽コンテンツ記憶部 20の属性情報記憶部 22から、再生対象の楽曲だけでなぐ 複数個の音楽コンテンツの属性情報を取得し (ステップ S101)、当該取得した属性 情報に基づいて、再生対象の楽曲にリミッタスする楽曲素材を検出する (ステップ S1 02)。
[0275] ここで、音楽コンテンツ記憶部 20の属性情報記憶部 22から、すべての音楽コンテ ンッの属性情報を読み出して取得するようにしてもよいが、音楽コンテンツ記憶部 20 に記憶されている音楽コンテンツの数が大量になると、再生対象の楽曲にリミッタスす る楽曲素材の検出の負荷が過大になってしまう。そこで、この例では、一度にすベて の属性情報を音楽コンテンツ記憶部 20の属性情報記憶部 22から読み出すのでは なぐ複数回に分けて読み出して、各回において再生対象の楽曲にリミッタスする楽
曲素材の検出をするようにする。
[0276] 複数回に分けて、属性情報を音楽コンテンツ記憶部 20の属性情報記憶部 22から 読み出すので、リミッタスする楽曲素材の検出処理は、再生対象の楽曲の再生が開 始された後にも行なわれることになる力 楽曲の再生開始と同時にリミッタスすること はあまり無 ヽことを考慮すると、再生対象の楽曲にリミッタスする楽曲素材の検出処理 としては、十分に間に合う。
[0277] 次に、映像音響データ選択判断制御 RS部 201Sからの選択指示にしたがってデコ ード部 202および映像音響データ取得部 204を通じて、再生対象の映像音響データ を取得して再生を開始する(ステップ S103)。この再生は、リズムマスター部 210から の同期信号 SYNCおよび楽曲再構成用データ ARIに同期してなされるのは前述し た通りである。
[0278] 次に、映像音響データ選択判断制御 RS部 201Sは、再生中の楽曲にリミッタス処 理を施す力否かを判別し (ステップ S 104)、リミックス処理をしないと判別したときに は、再生対象の楽曲データを映像音響データデコード部 205および映像音響アレン ジ処理部 206を通じて音響出力部 53および映像出力部 56に送出する (ステップ S1 05)。
[0279] また、ステップ S104で、リミックス処理をすると判別したときには、ステップ S102で 検出したリミックスする楽曲素材のテンポと音程を、前述したように、リズムマスター部 210からの楽曲再構成用データ ARIに基づいて、必要に応じて補正しながら、再生 対象の楽曲データにリミックスする (ステップ S 106)。そして、リミッタス処理した楽曲 データを出力する(ステップ S 107)。
[0280] そして、再生の終了であるか否か判別し (ステップ S 108)、再生の終了であればこ の図 22の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が 最後まで再生されて終了となった力否か判別し (ステップ S 109)、楽曲はまだ終了で はないと判別したときには、ステップ S 104に戻って、このステップ S 104以降の処理 を繰り返す。
[0281] また、ステップ S109で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S110)、ステップ S101に戻り、以上の処理を繰り返す
[0282] [第 2の実施形態]
上述の第 1の実施形態では、リズムマスター部 210は、再生対象の音楽コンテンツ の属性情報力 抽出した BPM値、キー値、コード値を基準と、再生対象の楽曲につ いての再構成処理として、リミッタス処理をする場合を主として説明した。このため、再 生対象の楽曲のテンポや音程を変更することは行なわな力つたが、リスナーの気分 や、楽曲を聴取している場所などの周辺環境などを考慮して、再生対象の楽曲につ いてもテンポや音程を変更補正することを、楽曲の再構成処理に含めることもできる
[0283] また、場合によっては、リスナーがテンポや音程の変更指示をする場合も考えられ る。
また、再生対象の楽曲を、記録再生装置が置かれている場所で演奏されているドラ ムゃピアノなどに同期させて再生させた 、という要求や、記録再生装置に外部力 入 力される楽曲に同期させて再生させたいとする要求もある。
[0284] この第 2の実施形態は、これらの要求を実現することができるようにした記録再生装 置を提供するものである。
[0285] 図 23は、この第 2の実施形態の場合における記録再生装置のブロック図で、図 1の 第 1の実施形態の場合における記録再生装置において、システムバス 2に対して、ラ イン入力インターフェース 17と、マイク入力インターフェース 18とが追加接続されて いる構成とされており、ハードウェア的には、その他の構成は、第 1の実施形態と全く 同様である。
[0286] そして、ライン入力インターフェース 17には、外部入力端子 8が接続されている。ラ イン入力インターフェース 17は、この外部入力端子 (ライン入力端子) 8を通じて入力 された映像音響データをシステムバス 2に送出する。
[0287] この第 2の実施形態では、外部入力端子 8を通じて入力された映像音響データは、 ユーザインターフェース 11を通じたユーザ指示操作に応じて、エンコード Zデコード 部 12で記録エンコードされ、音楽コンテンツ記憶部 20の映像音響データ記憶部 21 に格納される。
[0288] また、外部入力端子 8を通じて入力された映像音響データが曲調分析部 13で分 祈され、その結果得られた楽曲構成情報がエンコード Zデコード部 12により記録ェ ンコードされ、音楽コンテンツ記憶部 20の属性情報記憶部 22に格納される。この場 合、音楽コンテンツ記憶部 20に格納される属性情報と、対応する映像音響データと は、その識別情報により対応付けられるのは前述した通りである。
[0289] そして、この第 2の実施形態では、後述するように、この外部入力端子 8を通じて入 力された映像音響データのテンポに同期して、再生対象の楽曲データの再生が可 能とされるように構成されている。すなわち、外部入力端子 8を通じて入力された映像 音響データが曲調分析部 13で分析され、その分析結果の一つである BPM値に基 づいて、前述した同期信号 SYNCが生成されるものである。
[0290] マイク入力インターフェース 18には、収音手段としてのマイクロホン 9が接続されて おり、このマイクロホン 9で収音されて得られる音声信号力 このマイク入力インターフ エース 18でデジタル信号に変換されて、システムバス 2に送出される。
[0291] そして、この第 2の実施形態では、後述するように、マイクロホン 9で収音されて、マ イク入力インターフェース 18を通じて入力された音響データのテンポに同期して、再 生対象の楽曲データの再生が可能とされるように構成されて 、る。
[0292] 例えば、記録再生装置の近傍で演奏されているドラム、ピア入楽曲がマイクロホン 9で収音され、曲調分析部 13で分析されて、 BPM値が検出され、検出された BPM 値に基づ 、て、前述した同期信号 SYNCが生成される。
[0293] 図 24は、前述の第 1の実施形態の図 10の再生部に対応する第 2の実施形態の再 生部 200を示すものである。映像音響データ選択判断制御部 201に対して、ライン 入力インターフェース 17が接続されると共に、マイク入力インターフェース 18が接続 されている点が異なると共に、映像音響データ選択判断制御部 201におけるソフトゥ エア処理が第 1の実施形態の場合とは異なる。その他は、第 1の実施形態と同様であ る。
[0294] 図 25は、図 24の再生部 200を、楽曲の再構成処理の観点から見た機能ブロック図 の構成を示すもので、実質上の構成内容は、図 24と変わりはない。
[0295] この図 25に示すように、再生部 200は、楽曲データの再構成の基準となる同期信
号と楽曲再構成用情報とを生成して出力するリズムマスター部 210と、このリズムマス ター部 210からの同期信号と楽曲再構成用情報とを受けて、楽曲データの再構成を 実行するリズムスレーブ部 220とからなる。
[0296] 映像音響データ選択判断制御部 201は、第 1の実施形態と同様に、リズムマスター 部 210に属する RM部 201Mと、リズムスレーブ部 220に属する RS部 201Sとに分け られる。そして、この第 2の実施形態では、属性情報取得部 203だけでなぐ生体情 報取得部 30と、周辺環境情報取得部 40と、再生履歴情報保持部 15とが、リズムマス ター部 210と、リズムスレーブ部 220の両方に属するものとされる。
[0297] すなわち、この第 2の実施形態におけるリズムマスター部 210は、 RM部 201Mと、 属性情報取得部 203と、生体情報取得部 30と、周辺環境情報取得部 40と、再生履 歴情報保持部 15とを備えて構成される。
[0298] 一方、この第 2の実施形態におけるリズムスレーブ部 220は、第 1の実施形態と同 様に、 RS部 201Sと、属性情報取得部 203と、生体情報取得部 30と、周辺環境情報 取得部 40と、再生履歴情報保持部 15と、映像音響データ取得部 204と、映像音響 データデコード部 205と、映像音響アレンジ処理部 206とを備えて構成される。つまり 、リズムスレーブ部は、第 1の実施形態とほぼ同様の構成とされる。
[0299] そして、リズムマスター部 210の RM部 201Mは、属性情報取得部 203からの属性 情報のみに基づいて楽曲の再構成の基準となる同期信号 SYNCを生成するのでは ない。この第 2の実施形態では、リズムマスター部 210は、ユーザインターフェース 11 を通じたユーザ入力、ライン入力インターフェース 17を通じて外部力も入力される映 像音響データ、マイク入力インターフェース 18を通じて入力される外部収音音声デ ータ、生体情報取得部 30で取得されたリスナーの生体情報、周辺環境情報取得部 4 0で取得された周辺環境情報、再生履歴情報保持部 15から読み出される再生履歴 情報に基づいて、楽曲の再構成の基準となる同期信号 SYNCを生成するようにする
[0300] また、この第 2の実施形態では、リズムマスター部 210は、同期信号 SYNCのみで はなぐ楽曲構成用データ ARIも、ユーザインターフェース 11を通じたユーザ入力、 ライン入力インターフェース 17を通じて外部から入力される映像音響データ、マイク
入力インターフェース 18を通じて入力される外部収音音声データ、生体情報取得部 30で取得されたリスナーの生体情報、周辺環境情報取得部 40で取得された周辺環 境情報、再生履歴情報保持部 15から読み出される再生履歴情報に基づいて、生成 することが可能とされている。
[0301] 図 26は、この第 2の実施形態におけるリズムマスター部 210の詳細構成例を示す 図であり、特に RM部 201Mの機能の詳細をブロック化したものである。この第 2の実 施形態では、 RM部 201Mは、第 1の実施形態の同期信号生成部 212に代わって同 期信号生成部 230を備えると共に、第 1の実施形態の属性情報解析部 211に代わつ て、再生態様設定部 240を備える。
[0302] そして、再生態様設定部 240には、属性情報取得部 203だけではなぐ生体情報 取得部 30、周辺環境情報取得部 40、再生履歴情報保持部 15、ライン入力インター フェース 17、マイク入力インターフェース 18およびユーザインターフェース 11の出力 が供給される。その他は、第 1の実施形態のリズムマスター部 210と同様に構成され る。
[0303] 同期信号生成部 230は、内部リズム同期発生部 231と、外部リズム同期発生部 23 2と、生体リズム同期発生部 233と、これら 3種のリズム同期発生部 231, 232, 233か らの出力同期信号のいずれかを選択する選択スィッチ回路 234とを備えて構成され る。
[0304] 内部リズム同期発生部 231は、例えば PLL回路を備え、第 1の実施形態と同様に、 再生対象の音楽コンテンツの属性情報力 抽出された BPM値に基づいて同期信号 SYNCを生成するか、あるいは、ユーザインターフェース 11を通じてユーザにより設 定された BPM値に基づいて同期信号 SYNCを生成する。
[0305] 外部リズム同期発生部 232は、例えば PLL回路を備え、ライン入力インターフエ一 ス 17を通じて入力された外部入力信号力 抽出された BPM値や、マイク入力インタ 一フェース 18を通じて入力された外部収音音声信号力も抽出された BPM値に基づ いて、外部から入力される音楽リズムに同期するように同期信号 SYNCを生成する。
[0306] 生体リズム同期発生部 233は、例えば PLL回路を備え、生体情報取得部 30から取 得したユーザの脈波や歩行テンポや歩行速度、腕や手を振るテンポや速度などの生
体情報から、当該生体情報に同期する同期信号 SYNCを生成する。なお、 PLL回 路は、 3個の同期発生部 231, 232, 233で、 1個の PLL回路を共通に用いることが できる。
[0307] 再生態様設定部 240は、この第 2の実施形態では、ユーザインターフェース 11を通 じたユーザの同期選択入力により、同期信号 SYNCの発生を、内部リズム同期、外 部リズム同期、生体リズムの何れにするかを決定し、同期信号生成部 230の選択スィ ツチ回路 234の選択制御信号を生成する。
[0308] [内部リズム同期]
(再生対象音楽コンテンツに同期)
内部リズム同期の場合には、再生対象の音楽コンテンツの属性情報に同期させる の力、ユーザインターフェース 11を通じてユーザ設定された BPM値に同期させるの カゝが、さら〖こ選択される。同様に、外部リズム同期の場合には、ライン入力端子 8を通 じた外部入力信号またはマイクロホン 9で収音された外部音声の何れに同期させるの 力が、さらに選択される。
[0309] そして、内部リズム同期の再生対象の音楽コンテンツの属性情報同期が選択され たときには、再生態様設定部 240は、選択スィッチ回路 234は、内部リズム同期発生 部 231の出力を選択する状態に切り換えると共に、属性情報取得部 203を通じて再 生対象の音楽コンテンツの属性情報を取得し、その属性情報力 BPM値を抽出し て同期信号生成部 230の内部リズム同期発生部 231に供給する。内部リズム同期発 生部 231は、これに供給された BPM値に相当する発振周波数で発振し、かつ、再生 対象の音楽コンテンツの音楽リズムに位相同期する同期信号 SYNCを生成する。
[0310] したがって、同期信号生成部 230からは、再生対象の音楽コンテンツの属性情報 中の BPM値に基づいて生成された同期信号 SYNCが同期信号出力回路 213を通 じてリズムスレーブ部 220に出力される。
[0311] また、このとき、再生態様設定部 240は、属性情報取得部 203を通じて取得した再 生対象の音楽コンテンツの属性情報から、キー値と、コード値とを抽出し、前記抽出 した BPM値と共に、楽曲再構成用データ設定部 214に供給する。楽曲再構成用デ ータ設定部 214は、それら BPM値、キー値、コード値をそれぞれの設定部 217, 21
8, 219に設定する。
[0312] したがって、再生対象の音楽コンテンツの属性情報中の BPM値、キー値、コード値 を含む楽曲再構成用データ ARIが、同期信号 SYNCに同期して、リズムスレーブ部 220に出力される。この結果、リズムスレーブ部 220では、第 1の実施形態と同様にし て、再生対象の音楽コンテンツの属性情報に基づいて楽曲に対する再構成がなされ る。
[0313] (ユーザ入力に同期)
また、内部リズム同期のユーザ入力設定同期が選択されたときには、再生態様設定 部 240は、選択スィッチ回路 234を、内部リズム同期発生部 231の出力を選択する 状態に切り換えると共に、ユーザインターフェース 11を通じて BPM値の入力を受け 付け、当該受け付けた BPM設定値を、同期信号生成部 230の内部リズム同期発生 部 231に供給する。内部リズム同期発生部 231は、これに供給された BPM値に相当 する発振周波数で発振する同期信号 SYNCを生成する。
[0314] したがって、同期信号生成部 230からは、ユーザにより指定された BPM値に基づ いて生成された同期信号 SYNCが同期信号出力回路 213を通じてリズムスレーブ部 220に出力される。これにより、同期信号生成部 230からは、ユーザが設定した BPM 値に基づいて生成された同期信号 SYNCが同期信号出力回路 213を通じてリズム スレーブ部 220に供給される。
[0315] また、このとき、再生態様設定部 240は、ユーザインターフェース 11を通じて、 BP M値の他、キー値およびコード値 (コード進行)の入力を受け付け、当該受け付けた BPM値、キー値、コード値を楽曲再構成用データ設定部 214に供給する。この場合 、キー値やコード値は、時系列的に変化する態様もユーザにより入力されることにな る。楽曲再構成用データ設定部 214は、それら BPM値、キー値、コード値をそれぞ れの設定部 217, 218, 219に設定する。
[0316] したがって、ユーザの設定値に応じた BPM値、キー値、コード値を含む楽曲再構 成用データ ARIが、同期信号 SYNCに同期して、リズムスレーブ部 220に出力される この結果、リズムスレーブ部 220から、ユーザが設定したテンポや曲調で楽曲の音響
再生出力をすることができる。
[0317] [外部リズム同期]
また、外部リズム同期が選択されたときには、再生態様設定部 240は、選択スィッチ 回路 234を、外部リズム同期発生部 232の出力を選択する状態に切り換えると共に、 ユーザ選択にしたがって、ライン入力インターフェース 17を通じて、あるいはマイク入 力インターフェース 18を通じて取り込まれた音響データを、曲調分析部 13で分析し、 その分析結果として得られる BPM値を外部リズム同期発生部 232に供給する。外部 リズム同期発生部 232は、これに供給された BPM値に相当する発振周波数で発振 し、かつ、外部力 入力される音楽リズムに位相同期する同期信号 SYNCを生成す る。
[0318] これにより、同期信号生成部 230からは、外部入力信号またはマイク入力信号から 検出された BPM値に基づいて生成された同期信号 SYNCが同期信号出力回路 21 3を通じてリズムスレーブ部 220に出力される。
[0319] 再生態様設定部 240は、また、属性情報取得部 203を通じて取得した再生対象の 音楽コンテンツの属性情報から、キー値と、コード値とを抽出し、前記抽出した BPM 値と共に、楽曲再構成用データ設定部 214に供給する。楽曲再構成用データ設定 部 214は、それら BPM値、キー値、コード値をそれぞれの設定部 217, 218, 219に 設定する。
[0320] したがって、外部入力信号またはマイク入力信号力 検出された BPM値、キー値、 コード値を含む楽曲再構成用データ ARIが、同期信号 SYNCに同期して、リズムス レーブ部 220に出力される。
[0321] これにより、この外部リズム同期の状態においては、リズムスレーブ部 220から、外 部から取り込まれた楽曲に同期して設定されたテンポで楽曲の音響再生出力をする ことができる。
[0322] [生体リズム同期]
また、生体リズム同期が選択されたときには、再生態様設定部 240は、選択スィッチ 回路 234を、生体リズム同期発生部 233の出力を選択する状態に切り換えると共に、 生体情報取得部 30を通じて取得した生体情報力 テンポやリズムに関する成分を抽
出し、抽出した成分から BPM値に対応する情報を生成し、当該生成した BPM値を、 同期信号生成部 230の生体リズム同期発生部 231に供給する。
[0323] これにより、同期信号生成部 230においては、ユーザの生体リズムに相当する発振 周波数で発振し、かつ、生体リズムに位相同期された同期信号 SYNCが生成され、 当該生成された同期信号 SYNCが同期信号出力回路 213を通じてリズムスレーブ 部 220に供給される。したがって、リズムスレーブ部 220から、ユーザの生体リズムに 同期したテンポで楽曲の音響再生出力をすることができる。
[0324] なお、この生体リズム同期が選択されたときにお!、ては、単純に、生体情報取得部 30を通じて取得した生体情報のみに基づいて同期信号 SYNCを生成するのではな ぐ周辺環境情報取得部 40からの周辺環境情報をも参照して、同期信号 SYNCを 生成することちでさる。
[0325] 例えば、周辺環境情報から、記録再生装置が存在する位置カ^海」で、気温が高く 、天候が雨ではないと判別したときには、生体情報に同期して、アップテンポとなるよ うな同期信号 SYNCを生成し、また、記録再生装置が存在する位置が「山」であると きには、生体情報に同期して、スローテンポとなるような同期信号 SYNCを生成する ようにすることができる。
[0326] また、再生履歴情報保持部 15の再生履歴情報として、各楽曲に対応して、当該楽 曲を視聴中のリスナーの脈などの生体情報を記憶して保持しておき、生体情報取得 部 30から取得して生体情報に近似する生体情報となっている楽曲を、再生履歴情 報保持部 15から検索し、その楽曲の属性情報力も BPM値を求めて、同期信号 SY NCを生成するようにしてもよい。その場合には、同期信号 SYNCは、生体情報取得 部 30から取得した生体情報に同期させてもよいし、また、同期させなくても良い。
[0327] また、このとき、再生態様設定部 240は、この実施形態では、生体情報取得部 30か らの生体情報および Zまたは周辺環境情報取得部 40からの周辺環境情報を検索子 として、再生履歴情報保持部 15に保持されている再生履歴情報を検索し、検索結果 の楽曲の属性情報力 BPM値、キー値、コード値を生成し、それらを楽曲再構成用 データ設定部 214に渡す。楽曲再構成用データ設定部 214は、それら BPM値、キ 一値、コード値をそれぞれの設定部 217, 218, 219に設定する。
[0328] 例えば、生体情報からリスナーは気分が高揚していることが判定された場合に、当 該気分が高揚して 、るときに 、つも聴 、て 、る楽曲を再生履歴から検出し、その楽 曲の BPM値に基づいて同期信号 SYNCを生成し、その楽曲の BPM値、キー値、コ ード進行を楽曲再構成用データ ARIとして生成して、リズムマスター部 210からリズム スレーブ部 220に供給することができる。これにより、リスナーは、気分が高揚してい るときにいつも聴いている楽曲に近似するテンポや曲調で楽曲を再生することが可 會 になる。
[0329] また、周辺環境情報から、海または山などの場所を特定することができたり、雨、晴 れ、などの天候を特定することができた場合に、再生履歴情報に含まれるそれらの周 辺環境情報を参照して、当該場所や環境条件において、よく聴いている楽曲を再生 履歴力 検出し、その楽曲の BPM値に基づいて同期信号 SYNCを生成し、その楽 曲の BPM値、キー値、コード進行を楽曲再構成用データ ARIとして生成して、リズム マスター部 210からリズムスレーブ部 220に供給することができる。これにより、リスナ 一は、同じような周辺環境条件において、にいつも聴いている楽曲に近似するテンポ や曲調で楽曲を再生することが可能になる。
[0330] したがって、生体情報および Zまたは周辺環境情報、さらに再生履歴情報に基づ いて選定された楽曲の属性情報中の BPM値、キー値、コード値を含む楽曲再構成 用データ ARIが、同期信号 SYNCに同期して、リズムスレーブ部 220に出力される。 この結果、リズムスレーブ部 220では、そのときのユーザの気分や、周辺環境に応じ たテンポおよび曲調で、楽曲が再構成がなされて、音響再生される。
[0331] なお、上述の説明では、生体情報取得部 30からの生体情報および Zまたは周辺 環境情報取得部 40からの周辺環境情報の検索子としたが、これら生体情報および Zまたは周辺環境情報から生成した検索子、例えば明るい感じで、かつアップテン ポな感じ、ムーディーな感じでかつスローテンポな感じ、などのような検索子を生体情 報および Zまたは周辺環境情報力も生成して、それを検索子として用いて、再生履 歴情報保持部 15に保持されて 、る再生履歴情報を検索するようにしてもよ!ヽ。
[0332] また、生体情報および Zまたは周辺環境情報から、 BPM値や、キー値、コード値 およびコード進行を生成するようにすることもできる。例えば、生体情報および Zまた
は周辺環境情報の種々の条件に対する、 BPM値や、キー値、コード値およびコード 進行の種々のデータ値のテーブルを予め用意しておき、生体情報および Zまたは周 辺環境情報により、前記テーブルから、対応する BPM値や、キー値、コード値および コード進行のデータを読み出すようにしてもよい。このテーブルは、リスナーの再生履 歴から生成したり、リスナーが自分自身で生成しておくようにしても良!、。
[0333] なお、この第 2の実施形態において、同期信号 SYNCの発生の方法としては、上述 の例に限定されるものではない。例えば、周辺環境情報取得部 40で取得した周辺 環境情報と、再生履歴情報保持部 15に保持されている再生履歴とから定めた同期 信号 SYNCを発生するよう〖こすることもできる。
[0334] 例えば、周辺環境情報取得部 40から取得した周辺環境情報を検索子として、再生 履歴情報保持部 15の再生履歴を検索し、当該再生履歴情報保持部 15に記憶され ている再生履歴情報に含まれる楽曲の属性情報中の周辺環境情報として同じ、ある いは近似するものを検出し、当該周辺環境情報を検索子として検索した楽曲の属性 情報に含まれる BPM値に基づ 、て、同期信号 SYNCを生成するようにしてもょ ヽ。
[0335] 上述した第 1の実施形態では、最初に再生する楽曲は、ユーザが選択するようにし た。
この第 2の実施形態においても、最初の楽曲は、ユーザが選択するようにしても良い 力 内部リズム同期のユーザ設定による同期の場合や、外部リズム同期、また、生体 リズム同期では、リズムスレーブ部 220において、楽曲再構成用データ ARIに合致す るあるいは近似する楽曲を、音楽コンテンツ記憶部 20の属性情報記憶部 22に記憶 されて 、る属性情報力も検出して、再生をするようにすることもできる。
[0336] また、再生中の楽曲に対する再構成処理は、この第 2の実施形態においても、リズ ムマスター部 210からの同期信号 SYNCおよび楽曲再構成用データ ARIを用いて、 第 1の実施形態と同様にしてできるものである。
[0337] [リズムマスター部 210の動作説明]
この第 2の実施形態におけるリズムマスター部 210での処理動作のフローチャート を、図 27〜図 29を参照しながら説明する。
[0338] 先ず、再生態様設定部 240は、この実施形態では、ユーザインターフェース 11を
通じて、ユーザにより選択指定された同期基準は何である力判別する (ステップ S20
D o
[0339] このステップ S201で、内部リズム同期の場合であって、同期基準は、再生対象の 音楽コンテンッであると判別すると、映像音響データ選択判断制御 RM部 201 Mの 再生態様設定部 240は、属性情報取得部 203を通じて音楽コンテンツ記憶部 20の 属性情報記憶部 22から再生対象の音楽コンテンツの属性情報を取得し (ステップ S 202)、当該取得した属性情報中から、 BPM値、キー値およびコード値を抽出する( ステップ S203)。
[0340] 次に、抽出した BPM値に基づいて、小節同期信号 PHSYおよびビート同期信号 B TSYからなる同期信号 SYNCを生成する (ステップ S204)。また、抽出した BPM値 、キー値およびコード値を、 BPM値設定部、キー値設定部およびコード値設定部に 設定する (ステップ S 205)。
[0341] そして、ステップ S204で生成した同期信号 SYNCと、ステップ S 94で設定した BP M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S206)。
[0342] そして、再生の終了であるか否か判別し (ステップ S207)、再生の終了であればこ の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後ま で再生されて終了となった力否力判別し (ステップ S208)、楽曲はまだ終了ではない と判別したときには、例えばユーザによりユーザインターフェース 11を通じて、同期基 準の変更操作がされた力否力判別し (ステップ S210)、同期基準の変更操作がされ たと判別したときには、ステップ S201に戻って、このステップ S201以降の処理を繰り 返す。
[0343] また、ステップ S210で同期基準の変更操作がなされていないと判別したときには、 ステップ S204〖こ戻り、このステップ S204以降の処理を繰り返す。
[0344] また、ステップ S 208で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S209)、ステップ S202に戻り、以上の処理を繰り返す
[0345] 次に、ステップ S201で、設定された同期基準は、内部リズム同期の場合であって、
ユーザ設定入力であると判別すると、再生態様設定部 240は、ユーザ入力により設 定された BPM値を取得し(図 28のステップ S221)、当該取得した BPM値に基づい て、小節同期信号 PHSYおよびビート同期信号 BTSYからなる同期信号 SYNCを 生成する (ステップ S222)。また、ユーザ入力により設定された BPM値、キー値およ びコード値を取得し (ステップ S223)、当該取得した BPM値、キー値およびコード値 を、楽曲再構成用データ設定部 214に送って、その BPM値設定部 217、キー値設 定部 218およびコード値設定部 219に設定する(ステップ S224)。
[0346] そして、ステップ S222で生成した同期信号 SYNCと、ステップ S223で設定した BP M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S225)。
[0347] そして、再生の終了であるか否か判別し (ステップ S226)、再生の終了であればこ の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後ま で再生されて終了となった力否力判別し (ステップ S227)、楽曲はまだ終了ではない と判別したときには、例えばユーザによりユーザインターフェース 11を通じて、同期基 準の変更操作がされた力否力判別し (ステップ S229)、同期基準の変更操作がされ たと判別したときには、ステップ S201に戻って、このステップ S201以降の処理を繰り 返す。
[0348] また、ステップ S229で同期基準の変更操作がなされていないと判別したときには、 ステップ S225〖こ戻り、このステップ S225以降の処理を繰り返す。
[0349] また、ステップ S 227で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S228)、ステップ S225に戻り、このステップ S225以 降の処理を繰り返す。
[0350] 次に、ステップ S201で、設定された同期基準は、外部リズム同期であると判別した ときには、同期基準となる外部入力は、外部入力端子 8からの入力信号か、マイクロ ホン 9で収音された音声信号かを判別する(図 29のステップ S231)。
[0351] このステップ S231で、外部入力端子 8からの入力信号を同期基準とすると判別した ときには、再生態様設定部 240は、外部入力端子 8を通じて入力された音声信号を 曲調分析部 13に供給して、分析を行なわせる (ステップ S232)。また、ステップ S23
1で、マイクロホン 9で収音した音声信号を同期基準とすると判別したときには、再生 態様設定部 240は、マイクロホン 9で収音された音声信号を曲調分析部 13に供給し て、分析を行なわせる (ステップ S233)。
[0352] ステップ S232およびステップ S233の次には、何れもステップ S234に進み、曲調 分析部 13での分析結果力も BPM値を求め、求めた BPM値を同期信号生成部 230 に渡して、同期信号 SYNCを生成する (ステップ S234)。
[0353] また、曲調分析部 13での分析結果から BPM値、キー値、コード値を求め、当該求 めた BPM値、キー値、コード値を楽曲再構成用データ設定部 214に送って、その B
PM値設定部 217、キー値設定部 218、コード値設定部 219に設定する (ステップ S2
35)。
[0354] そして、ステップ S234で生成した同期信号 SYNCと、ステップ S235で設定した BP M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S236)。
[0355] そして、再生の終了であるか否か判別し (ステップ S237)、再生の終了であればこ の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後ま で再生されて終了となった力否力判別し (ステップ S238)、楽曲はまだ終了ではない と判別したときには、例えばユーザによりユーザインターフェース 11を通じて、同期基 準の変更操作がされた力否力判別し (ステップ S239)、同期基準の変更操作がされ たと判別したときには、ステップ S201に戻って、このステップ S201以降の処理を繰り 返す。
[0356] また、ステップ S239で同期基準の変更操作がなされていないと判別したときには、 ステップ S234〖こ戻り、このステップ S234以降の処理を繰り返す。
[0357] また、ステップ S 238で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S240)、ステップ S231に戻り、このステップ S231以 降の処理を繰り返す。
[0358] 次に、ステップ S201で、設定された同期基準は、生体リズム同期の場合であると判 別すると、再生態様設定部 240は、生体情報取得部 30を通じてリスナーの生体情報 を取得し (ステップ S251)、また、記録再生装置の周辺環境情報を取得する (ステツ
プ S252)。
[0359] そして、取得した生体情報から、テンポ情報を抽出し、その抽出したテンポ情報を 同期信号生成部 230に供給し、当該テンポ情報から、同期信号 SYNCを生成する( ステップ S253)。そして、生体情報と、周辺環境情報と、再生履歴情報保持部 15の 再生履歴情報とから、前述したようにして、 BPM値、キー値、コード値を決定する (ス テツプ S254)。
[0360] そして、決定した BPM値、キー値およびコード値を、楽曲再構成用データ設定部 2 14に送って、その BPM値設定部 217、キー値設定部 218およびコード値設定部 21 9に設定する(ステップ S255)。
[0361] そして、ステップ S253で生成した同期信号 SYNCと、ステップ S255で設定した BP M値、キー値およびコード値力もなる楽曲再構成用データ ARIとを、リズムスレーブ 部 220に送出する(ステップ S256)。
[0362] そして、再生の終了であるか否か判別し (ステップ S257)、再生の終了であればこ の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後ま で再生されて終了となった力否力判別し (ステップ S258)、楽曲はまだ終了ではない と判別したときには、例えばユーザによりユーザインターフェース 11を通じて、同期基 準の変更操作がされた力否力判別し (ステップ S260)、同期基準の変更操作がされ たと判別したときには、ステップ S201に戻って、このステップ S201以降の処理を繰り 返す。
[0363] また、ステップ S260で同期基準の変更操作がなされていないと判別したときには、 ステップ S251〖こ戻り、このステップ S251以降の処理を繰り返す。
[0364] また、ステップ S 258で、楽曲は終了したと判別したときには、選択されている次の 楽曲の再生準備をし (ステップ S259)、ステップ S251に戻り、このステップ S251以 降の処理を繰り返す。
[0365] 以上のようにして、この第 2の実施形態では、再生対象の楽曲につ!、ても、テンポ や音程を変える再構成を行なうことができる。リスナーは、例えばユーザインターフエ ースを通じて、テンポや音程の変更指示を変えることにより、再生中の楽曲を、当該 視聴時点において自分が好むように再構成して、音響再生出力することができる。
[0366] また、再生対象の楽曲を、外部力 入力された音声に同期して再生するように再構 成することができる。また、リスナーの歩行に合わせたり、脈拍に合わせたりして、楽 曲を再生することが可能になる。また、周辺環境に応じて、テンポを上げたり、下げた り、また、キーを上げたり、下げたりすることもできる。
[0367] 図 31は、この第 2の実施形態において、リズムマスター部 210からの同期信号 SY NCおよび楽曲再構成用データ ARIを受けたリズムスレーブ部 220の映像音響デー タデコード部 205および映像音響アレンジ処理部 206における楽曲信号の流れを、 リズムマスター部 210からの同期信号 SYNCに、同期させて示すと共に、リズムスレ ーブ部 220の映像音響アレンジ処理部 206における楽曲再構成の動作を、リズムマ スター部 210の楽曲再構成用データ ARIとの対応させながら示す図である。
[0368] 図 31の例の場合には、楽曲再構成用データ ARIは、再生対象の音楽コンテンツの 属性情報力 抽出したものとなっているとは限らず、再生対象の音楽コンテンツの BP M値と異なっている。また、楽曲再構成用データ ARIに含まれるキー値やコード値も 、再生対象の音楽コンテンツのそれらと異なっている。
[0369] 図 31において、再生対象の音楽コンテンツは、楽曲トラック 1の再生信号ストリーム となっている。図 31の例では、楽曲再構成用データ ARIとして、 BPM値「120」、キ 一値「Cmajor」、コード進行「C」→「G」→「F」の目標値力リズムマスター部 210からリ ズムスレーブ部 220へ入力されている。
[0370] そして、リズムスレーブ部 220では、楽曲トラック 1の再生対象音楽コンテンツの再生 信号ストリームに対して、アレンジ制御部 221による選択指示に基づいて音楽コンテ ンッ記憶部 20から取得された当該再生対象音楽コンテンツの楽曲データ自身のテ ンポゃ音程が補正されると共に、 2個の楽曲素材が、楽曲トラック 2、楽曲トラック 3とし て映像音響データデコード部 205から出力され、その 2個の楽曲素材の楽曲データ 力 前記楽曲再構成用データ ARIのそれぞれの値の目標値に合うように補正され、 楽曲トラック 1の再生対象音楽コンテンッに対して最終的にミックスされる。
[0371] すなわち、楽曲トラック 1の音響データは、映像音響アレンジ処理部 206において、 楽曲再構成用データ ARIの目標 BPM値や目標コード値に合致するように補正され ると共に、楽曲トラック 2, 3の音響データ力 映像音響アレンジ処理部 206において
、楽曲再構成用データ ARIの目標 BPM値や目標コード値に合致するように補正さ れた後、楽曲トラック 1の楽曲データにミックスされて、リミックス処理がなされる。
[0372] この場合、図 31に示すように、楽曲トラック 1の音響データは、属性情報取得部 203 を通じて取得されたこの楽曲素材 1の小節区間 Pa、 Pbでの BPM値は「140」であつ て、楽曲再構成用データ ARIの BPM値「120」と異なっているので、映像音響アレン ジ処理部 206でテンポの補正がなされて、当該小節区間 Paおよび Pbにおける楽曲 トラック 1の楽曲データは、その BPM値が「140」から「120」になるように補正される。
[0373] また、楽曲トラック 1の音響データは、属性情報取得部 203を通じて取得されたこの 楽曲素材 1の小節区間 Paでのコード値は「D」であって、楽曲再構成用データ ARIの コード値「C」と異なっているので、映像音響アレンジ処理部 206で音程補正がなされ て、楽曲トラック 1の楽曲データは、そのコード値が「D」から「C」になるように補正され る。
[0374] そして、この小節区間 Paでは、楽曲トラック 3の楽曲素材 3が、楽曲トラック 1の音響 データにミックスされる力 属性情報取得部 203を通じて取得されたこの楽曲素材 3 の小節区間 Paでの BPM値は「120」であって、楽曲再構成用データ ARIの BPM値 と同一であるので、楽曲素材 3の楽曲データについては、映像音響アレンジ処理部 2 06ではテンポのネ甫正はなされな!/、。
[0375] しかし、属性情報取得部 203を通じて取得された楽曲素材 3の小節区間 Paでのコ 一ド値は「D」であって、楽曲再構成用データ ARIのコード値「C」とは異なるので、当 該楽曲素材 3の楽曲データについては、映像音響アレンジ処理部 206の音程補正 回路 226において、前述したようにして音程補正がなされ、「D」→「C」へと目標値に なるように変更される。
[0376] また、次の小節区間 Pbの前半においては、楽曲トラック 1の音響データは、属性情 報取得部 203を通じて取得されたこの楽曲素材 1の小節区間 Pbの前半でのコード値 は「D」であって、楽曲再構成用データ ARIのコード値「G」と異なっているので、映像 音響アレンジ処理部 206で音程補正がなされて、楽曲トラック 1の楽曲データは、そ のコード値が「D」から「G」になるように補正される。
[0377] そして、楽曲トラック 1の音響データは、属性情報取得部 203を通じて取得されたこ
の楽曲素材 1の小節区間 Pbの後半でのコード値は「D」であって、楽曲再構成用デ ータ ARIのコード値「F」と異なっているので、映像音響アレンジ処理部 206で音程補 正がなされて、楽曲トラック 1の楽曲データは、そのコード値が「D」から「F」になるよう に補正される。
[0378] そして、小節区間 Pbの前半においては、楽曲トラック 2の楽曲素材 2が楽曲トラック 1の音響データにミックスされ、また、小節区間 Pbの後半においては、楽曲トラック 2 の楽曲素材 2と、楽曲トラック 3の楽曲素材 3とが楽曲トラック 1の楽曲データにミックス される。
[0379] そして、この小節区間 Pbの前半においては、属性情報取得部 203により取得され た楽曲素材 2の小節区間 Pbの前半での BPM値は「100」、コード値は「E」であって、 楽曲再構成用データ ARIの目標 BPM値「120」および目標コード値「G」と異なる。こ のため、楽曲素材 2の楽曲データは、小節区間 Pbの前半において、映像音響アレン ジ処理部 206で、「100」から「120」と、目標 BPM値に合致するようにテンポの補正 がなされるとともに、「E」から「G」と、目標コード値に合致するように音程の補正がなさ れる。そして、小節区間 Pbの前半では、それらの補正がなされた楽曲素材 2の楽曲 データが、楽曲トラック 1の楽曲データに加算される。
[0380] また、この小節区間 Pbの後半では、楽曲素材 2の BPM値は「100」、コード値は「E 」であって、楽曲再構成用データ ARIの目標 BPM値「120」および目標コード値「F」 と異なる力 楽曲素材 3の BPM値は「120」、コード値は「F」であって、楽曲再構成用 データ ARIの目標 BPM値「120」および目標コード値「F」と同一である。
[0381] このため、小節区間 Pbの後半では、楽曲トラック 2の楽曲素材 2については、映像 音響アレンジ処理部 206でテンポおよび音程の補正がなされて楽曲トラック 1の楽曲 データに加算され、また、楽曲トラック 3の楽曲素材 3については補正されずに、楽曲 トラック 1の楽曲データに加算される。
[0382] 以上のようにして、この第 2の実施形態においては、リズムマスター部力 の同期信 号 SYNCと、楽曲再構成用データ ARIとを基にして、再生対象の音楽コンテンツに 対して、例えば、リスナーの気分に応じた再構成を施すことができると共に、他の楽曲 素材をミックスすることにより、いわゆるリミックス処理を元の楽曲に対して違和感なぐ
実行することができる。
[0383] また、この第 2の実施形態においても、同期信号 SYNCにより、小節や柏の区切り を容易に検出することができるので、楽曲データについて特殊効果を施すことも容易 に行なうことができる。同様にして、この第 2の実施形態においても、リミックスの特殊 効果処理の一つとして、ループ再生処理ができる。
[0384] そして、この第 2の実施形態では、音響再生された楽曲を聴取したユーザの生体情 報や、周辺環境情報あるいはユーザの再生履歴情報に基づいて、同期信号を変更 することもできるようにされているので、ユーザの好みや、環境変化に応じて、変化の ある音響再生をすることが可能となる。
[0385] [その他の実施形態および変形例]
上述の実施形態の説明では、音楽コンテンツ記憶部は、ハードディスク装置で構成 し、 音楽コンテンツの映像音響データと、属性情報とが、音楽コンテンツ識別情報( 音楽コンテンツ ID)を介して対応付けられて記録されるようにした力 前述もしたよう に、音楽コンテンツ記憶部は、リムーバル記録メディア (着脱可能メディア)である DV Dなどの光ディスクで構成することもできる。
[0386] また、上述の説明では、音楽コンテンツ記憶部においては、音楽コンテンツには、 属性情報が必ず付随するように説明したが、属性情報は、必要に応じて、例えばイン ターネットから、音楽コンテンツ IDを検索子として取得して使用するようにすることもで きる。
その場合には、インターネットに接続されるサーバ装置が属性情報記憶部を構成す ることになる。
[0387] つまり、音楽コンテンツの映像音響データと、属性情報とは、 1つの記憶部に格納さ れて 、る必要はなぐ音楽コンテンツ IDなどの両者を対応付ける情報を用いて対応 することが可能な態様であれば、別々の記憶部に格納されて 、てもよ 、。
[0388] また、上述の実施形態は、記録再生装置の場合であるが、この発明は、記録機能 の無 、再生装置であってもよ 、ことは言うまでもな 、。
[0389] また、図 19および図 20の再生処理の流れは、一例であって、どのように再生を行 なうかは、これに限られるものではない。
[0390] 例えば、嗜好度が高いときにのみ、再生中の楽曲について、テンポやキーを変更し たり、リミッタスしたり、エフェクトをかけたりして再構成処理を行なうようにした力 嗜好 度に関係なぐ再生中の楽曲にっ 、て再構成処理を行なうようにしてもょ 、。
[0391] また、再生履歴情報保持部 15から取得した再生履歴情報と、再生対象の音楽コン テンッについての属性情報の楽曲構成情報とに基づいて、音響再生出力する再生 対象の音楽コンテンツのデータを再構成するようにしてもよい。この場合、過去の再 生履歴により例えば視聴頻度が高く好まれている楽曲を検出し、例えば、その楽曲 の属性情報の楽曲構成情報と、再生中の音楽コンテンツの属性情報の楽曲構成情 報とを用いて、違和感の無いように、高頻度再生履歴の楽曲データを楽曲素材単位 で、再生中の音楽コンテンツのデータに加えたりして、リスナーに好まれる曲調に再 生中楽曲を再構成することが可能になる。
[0392] また、周辺環境情報取得手段から取得した周辺環境情報と、再生対象の音楽コン テンッについての属性情報とに基づいて、音響再生出力する再生対象の音楽コンテ ンッのデータを再構成するようにしてもよい。例えば、海、山、朝、昼、夜などの周辺 環境情報を取得し、その周辺環境情報に適合する他の楽曲を、属性情報としての周 辺環境情報を検索子として検索し、検索結果の他の楽曲のデータを、再生中の音楽 コンテンツの属性情報の楽曲構成情報の区切り情報に合わせて、違和感の無いよう にミックスしたりすることにより、音楽コンテンツのデータを再構成することができるので 、周辺環境に応じた曲調に再生中楽曲を再構成することが可能になる。
[0393] また、ユーザのユーザインターフェースを通じた再構成要求に応じて、音楽コンテン ッに付随する属性情報の楽曲構成情報を用いて上述のような再構成処理をするよう にしてもよい。その場合に、ユーザが、リミッタス Zエフェクト Zテンポ変更 Zキー変更 Zコード変更の 、ずれを行なうかを選択することができるようにしても良 、。
[0394] また、上述の実施形態では、音楽コンテンツとしては、映像データが付随したものを 取り扱うようにした力 映像データは必須では無いことは言うまでもない。
[0395] また、上述の第 1の実施形態では、楽曲の再生を開始する際、最初の楽曲は、ュ 一ザが選択指定するようにしたが、例えば、リスナーの生体情報や、周辺環境情報あ るいは再生履歴情報力 最初の楽曲を装置が自動的に選択するようにしてもよい。
[0396] 例えば、リスナーの生体情報から、リスナーが興奮状態あるいは沈静状態であるか を判別し、それに合致するあるいは逆の曲調の楽曲を最初の曲として選択するように しても良い。また、現在位置が山か、海かを周辺環境情報から判別し、属性情報に含 まれる周辺環境情報を参照して、当該場所に合致する楽曲を選択して、最初の楽曲 としてもよい。また、再生履歴から良く聴いている楽曲を最初の楽曲として選択するよ うにしても良い。
産業上の利用可能性
[0397] この発明によれば、聴取して 、るユーザの気分、嗜好や周辺環境などをリアルタイ ムに楽曲に反映させて、楽曲データを再構成することができるので、楽曲の再生につ いて、エンターテインメント性を高めることができる。