JP5980930B2 - コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム - Google Patents
コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム Download PDFInfo
- Publication number
- JP5980930B2 JP5980930B2 JP2014531389A JP2014531389A JP5980930B2 JP 5980930 B2 JP5980930 B2 JP 5980930B2 JP 2014531389 A JP2014531389 A JP 2014531389A JP 2014531389 A JP2014531389 A JP 2014531389A JP 5980930 B2 JP5980930 B2 JP 5980930B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion value
- content
- shared
- value
- unique
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 42
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000008451 emotion Effects 0.000 claims description 347
- 230000005540 biological transmission Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 description 51
- 238000004458 analytical method Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 11
- 230000001629 suppression Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 230000008520 organization Effects 0.000 description 7
- 229910001369 Brass Inorganic materials 0.000 description 6
- 239000010951 brass Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000033764 rhythmic process Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 206010016352 Feeling of relaxation Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 101100184148 Xenopus laevis mix-a gene Proteins 0.000 description 1
- 101100345673 Xenopus laevis mix-b gene Proteins 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/571—Chords; Chord sequences
- G10H2210/576—Chord progression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Description
本発明は、外部から受信した感情値に基づいてコンテンツの再生を行うコンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラムに関する。
この種の技術として、送受信者間で感情値を共有可能な感情共有伝達システムが提案されている(例えば、特許文献1)。具体的には、「映画を見た」、「サッカーを見た」などのエピソードとそれに対する感情強度を感情データベースに蓄積しておく。そして、ユーザーにより入力されたエピソードおよび感情強度に対し、感情データベースから、過去の類似エピソードとその感情強度を読み出し、感情強度の差分値を、出力感情強度として送信する。
ところが、特許文献1の技術は、感情の共有(伝達)ができるものの、送信相手の感情をコントロールすることはできない。これは、受信者側の立場で言い換えると、通信相手の感情を頭で理解することはできるものの、その感情に近づくことができないことを意味する。つまり、特許文献1の技術は、一方向のみの感情の伝達であり、送受信者間で、相手の感情を体感したり、相手の感情をコントロールしたりなど、感情のやりとりを行うことができない。
本発明は、上記の問題点に鑑み、送受信者間で、相手の感情を体感したり、相手の感情をコントロールしたりなど、感情のやりとりを行うことが可能なコンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラムを提供することを目的とする。
本発明のコンテンツ再生方法は、コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有感情値を算出する固有感情値算出ステップと、共有感情値を受信する共有感情値受信ステップと、受信した共有感情値と固有感情値の差分に応じて、特徴量の調整若しくはコンテンツに対する情報の付加又は抑制をして再生する再生ステップと、を実行することを特徴とする。
本発明のコンテンツ再生装置は、コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有感情値を算出する固有感情値算出手段と、共有感情値を受信する共有感情値受信手段と、受信した共有感情値と固有感情値の差分に応じて、特徴量の調整若しくはコンテンツに対する情報の付加又は抑制をして再生する再生手段と、を備えたことを特徴とする。
本発明のコンテンツ再生システムは、複数台のコンテンツ再生装置が通信可能に構成されたコンテンツ再生システムであって、各コンテンツ再生装置は、コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有感情値を算出する固有感情値算出手段と、他のコンテンツ再生装置から、共有感情値を受信する共有感情値受信手段と、受信した共有感情値と固有感情値の差分に応じて、コンテンツを編集して再生する再生手段と、を備えたことを特徴とする。
これらの構成によれば、外部装置(他のコンテンツ再生装置)から、共有感情値を受信し、当該共有感情値とコンテンツの固有感情値との差分に応じて、コンテンツを編集して再生するため、コンテンツの再生状態から相手の感情を体感できる。つまり、送信者側の立場で言い換えると、相手の感情をコントロールすることができる。このように、外部から共有感情値を受信可能であるため、送受信者間で、相手の感情を体感したり、相手の感情をコントロールしたりなど、感情のやりとりを行うことができる。但し、共有感情値と固有感情値との差分に応じてコンテンツを編集する構成であるため、共有感情値と固有感情値が同じである場合、コンテンツの再生状態は変化しない。
なお、「コンテンツ」とは、楽曲(音楽)データ、写真データ、映像データ、文章(テキスト)データなど、各種データおよび表現方法を指す。
また、「コンテンツ毎の特徴量」とは、例えばコンテンツが楽曲データの場合、テンポ(BPM(Beats Per Minute))、音圧レベル、コード進行、拍位置、小節位置などを指す。また、写真データ、映像データ、文章データ等の場合、解像度、色合い(文字色)、フォント、表示サイズなどを指す。
また、「固有感情値」および「共有感情値」は、絶対値で表される。また、「共有感情値」の受信方法は、有線/無線ネットワーク通信、電子メールなどが考えられる。
なお、「コンテンツ」とは、楽曲(音楽)データ、写真データ、映像データ、文章(テキスト)データなど、各種データおよび表現方法を指す。
また、「コンテンツ毎の特徴量」とは、例えばコンテンツが楽曲データの場合、テンポ(BPM(Beats Per Minute))、音圧レベル、コード進行、拍位置、小節位置などを指す。また、写真データ、映像データ、文章データ等の場合、解像度、色合い(文字色)、フォント、表示サイズなどを指す。
また、「固有感情値」および「共有感情値」は、絶対値で表される。また、「共有感情値」の受信方法は、有線/無線ネットワーク通信、電子メールなどが考えられる。
上記のコンテンツ再生方法において、感情値の調整を行うための相対調整量を入力する入力ステップと、相対調整量に応じて、固有感情値を調整した統合感情値を算出する統合感情値算出ステップと、をさらに実行し、再生ステップは、受信した共有感情値と統合感情値の差分に応じて、コンテンツを編集して再生することを特徴とする。
この構成によれば、入力された相対調整量に応じて固有感情値を調整した統合感情値を算出し、当該統合感情値と受信した共有感情値との差分に応じてコンテンツを編集するため、ユーザーが「こうなりたい」、「こうしたい」といった感情を、コンテンツの再生に反映させることができる。また、入力ステップの入力に伴って統合感情値を随時更新することで、ユーザーは、コンテンツの再生結果を確認しながら相対調整量を入力できるため、感情設定を容易に行うことができる。つまり、ユーザーは、自分が求める感情に合うようにコンテンツの再生状態を調整すればよく、結果的に感情設定(相対調整量の入力)を容易に行うことができる。
なお、「相対調整量」がゼロの場合、統合感情値=固有感情値となる。
なお、「相対調整量」がゼロの場合、統合感情値=固有感情値となる。
上記のコンテンツ再生方法において、環境情報および/または生体情報である外部情報を取得する外部情報取得ステップをさらに実行し、統合感情値算出ステップは、相対調整量および外部情報に応じて調整感情値を算出し、当該調整感情値と固有感情値との合算値を、統合感情値として算出することを特徴とする。
この構成によれば、相対調整量だけでなく、外部情報(環境情報および/または生体情報)を加味して、統合感情値の算出を行うことができる。
なお、「環境情報」とは、温度、照度、加速度、GPS(Global Positioning System)情報、天気などを指す。その取得方法としては、コンテンツ再生装置で計測・検出を行う、またはWebサーバーからインターネットを介して取得する、情報提供サーバーから電子メールを介して取得する、などが考えられる。一方、「生体情報」とは、脳波、心拍、脈拍、体温などを指す。その取得方法としては、コンテンツ再生装置で計測・検出を行う、または外部装置で計測・検出した結果を受信する、などが考えられる。
また、「調整感情値」とは、コンテンツ状態を変化させる感情値を指す。
なお、「環境情報」とは、温度、照度、加速度、GPS(Global Positioning System)情報、天気などを指す。その取得方法としては、コンテンツ再生装置で計測・検出を行う、またはWebサーバーからインターネットを介して取得する、情報提供サーバーから電子メールを介して取得する、などが考えられる。一方、「生体情報」とは、脳波、心拍、脈拍、体温などを指す。その取得方法としては、コンテンツ再生装置で計測・検出を行う、または外部装置で計測・検出した結果を受信する、などが考えられる。
また、「調整感情値」とは、コンテンツ状態を変化させる感情値を指す。
上記のコンテンツ再生方法において、統合感情値算出ステップは、共有感情値を受信した後、相対調整量および/または外部情報を入力および/または取得した場合、受信した共有感情値と、当該共有感情値の受信後に入力および/または取得した相対調整量および/または外部情報に基づく調整感情値との合算値を、統合感情値として算出することを特徴とする。
上記のコンテンツ再生方法において、統合感情値を、送信用の共有感情値として、外部装置に送信する共有感情値送信ステップをさらに実行することを特徴とする。
これらの構成によれば、共有感情値の受信後、統合感情値を一旦共有感情値と同じ値とし、さらに当該共有感情値と、当該共有感情値の受信後に入力および/または取得した相対調整量および/または外部情報に基づく調整感情値との合算値を、新たな統合感情値として算出する。また、算出した統合感情値を、共有感情値として外部装置に送信することにより、感情のやりとりに伴って、お互いの統合感情値を書き換えることができる。つまり、送信された共有感情値により、一旦相手の気持ちを体感し、今度は相対調整量の入力や外部情報により、相手に「こうなって欲しい」といった感情を統合感情値として送信することで、送受信者が、互いの感情をコントロールできる。
上記のコンテンツ再生方法において、外部装置との感情値の共有を要求および/または容認する共有要求・容認ステップをさらに実行し、共有感情値受信ステップは、容認した外部装置から共有感情値を受信し、共有感情値送信ステップは、要求した外部装置に対し共有感情値を送信することを特徴とする。
この構成によれば、所望する外部装置と、感情のやりとりを行うことができる。また、容認していない外部装置から共有感情値を受信することがないため、プライバシーを守ることができる。
本発明のプログラムは、コンピューターに、上記のコンテンツ再生方法における各ステップを実行させることを特徴とする。
このプログラムを用いることにより、送受信者間で、相手の感情を体感したり、相手の感情をコントロールしたりなど、感情のやりとりを行うことが可能なコンテンツ再生方法を実現できる。
[第1実施形態]
以下、本発明の一実施形態に係るコンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラムについて、添付図面を参照しながら詳細に説明する。本実施形態は、コンテンツの解析結果に基づき算出した、ある特定の感情を絶対値で表した固有感情値に対し、ユーザー操作に基づいてコンテンツの状態を変化させ、それをフィードバックすることにより、簡単に、ユーザーの「こうなりたい」「こうしたい」という感情を、統合感情値として数値化し、これを出力するものである。本実施形態では、コンテンツの一例として、「楽曲データ」を例示する。また、「感情値」として、アクティブ感またはリラックス感を表す場合について例示する。
以下、本発明の一実施形態に係るコンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラムについて、添付図面を参照しながら詳細に説明する。本実施形態は、コンテンツの解析結果に基づき算出した、ある特定の感情を絶対値で表した固有感情値に対し、ユーザー操作に基づいてコンテンツの状態を変化させ、それをフィードバックすることにより、簡単に、ユーザーの「こうなりたい」「こうしたい」という感情を、統合感情値として数値化し、これを出力するものである。本実施形態では、コンテンツの一例として、「楽曲データ」を例示する。また、「感情値」として、アクティブ感またはリラックス感を表す場合について例示する。
図1は、第1実施形態に係るコンテンツ再生装置1の構成を示すブロック図である。コンテンツ再生装置1は、曲調コントローラー11、コンテンツ解析部13、コンテンツ調整・再生部14および統合感情値出力部15を備えている。なお、コンテンツ再生装置1としては、メディアプレイヤー、ネットワーク機能搭載音楽プレーヤー等を適用可能である。
曲調コントローラー11は、リラックス度最大とアクティブ度最大の間で、相対調整量を入力する(入力ステップ)。つまり、ユーザーは曲調コントローラー11を操作することにより、自分が求める感情(リラックス感またはアクティブ感)に合うように、楽曲データの曲調を変化させることができる。なお、曲調コントローラー11としては、複数の状態や連続的な状態変化を指示可能な操作子(ロータリーエンコーダー、ボタンなど)を適用できる。例えば、曲調コントローラー11としてロータリーエンコーダーを用いた場合、コントローラーを左方向に回すことにより徐々にリラックス度を大きくし、右方向に回すことにより徐々にアクティブ度を大きくする、などの仕様が考えられる。
コンテンツ解析部13は、楽曲データを解析し、楽曲特徴量を抽出する。また、抽出した楽曲特徴量に基づき、楽曲データ固有の感情値(リラックス感またはアクティブ感を示す絶対値)である固有感情値を算出する(固有感情値算出ステップ)。詳細については、図2を参照して後述する。
なお、「楽曲データ」とは、光ディスクや音楽配信により提供されるオーディオデータを指す。また、「楽曲特徴量」とは、テンポ(BPM)、音圧レベル、コード進行、拍位置(拍位置時刻情報)、小節位置(小節位置時刻情報)などを指す。なお、後述する固有感情値の算出処理では、少なくともテンポ(BPM)および音圧レベルに関する情報が必要となる。また、後述する曲調制御では、少なくともコード進行、拍位置および小節位置に関する情報が必要となる。
また、コンテンツ解析部13による楽曲解析方法としては、特許第4244133号など、既知の技術を適用可能である。また、楽曲解析データは、例えば楽曲データがMIDI(Musical Instrument Digital Interface)データの場合、当該MIDIデータから取得しても良いし、例えばユーザーが曲に合わせてタップして得られた情報を元に曲のテンポとして設定するなど、手動入力されたデータを用いても良い。さらに、予め解析済みのデータを、コンテンツ再生装置1の内部データベース、またはコンテンツ再生装置1からアクセス可能な外部装置やWebサーバーに保存しておき、楽曲ID等によりマッチングを取ってそのデータを取得しても良い。
コンテンツ調整・再生部14は、曲調コントローラー11の操作(入力された相対調整量)に応じて、楽曲データの編集(曲調制御)を行ない、編集後の楽曲データを再生する(再生ステップ)。楽曲データの編集としては、楽曲特徴量の調整、および楽曲データに対する伴奏データ(音声信号)の付加/抑制を行う。詳細については、図3〜図11を参照して後述する。
統合感情値出力部15は、曲調コントローラー11の操作に応じて、コンテンツ解析部13により解析された楽曲データの固有感情値を調整することにより、統合感情値を算出し、これを出力する(統合感情値出力ステップ)。具体的には、曲調コントローラー11から入力された相対調整量に応じてコンテンツ状態を変化させる調整感情値を算出し、これを固有感情値と合算することにより、統合感情値を算出する。
なお、「統合感情値」は、絶対値であるが、数値以外に、文字、映像(画像)、音声などの出力形態で出力することが考えられる。例えば文字の場合、「アクティブ感MAX」、「リラックス感MAX」、色の場合、「赤」〜「青」の連続変化などの表記・表現が考えられる。また、その出力手段は、表示出力、音声出力、通信(有線/無線ネットワーク通信、電子メール等を含む)などが考えられる。なお、本実施形態において、「統合感情値」は、「0〜100(0:リラックス感MAX、100:アクティブ感MAX)」で表すものとする。
図2は、コンテンツ解析部13の詳細構成図である。コンテンツ解析部13は、平均音圧レベル検出器31と、BPM検出器32と、BPM正規化部33と、重み付け部34と、加算部35と、から成る。
平均音圧レベル検出器31は、帯域フィルタ群31aと、重み付け部31bと、加算部31cと、を含む。また、帯域フィルタ群31aは、周波数帯域別のバンドパスフィルタ37と、平均・正規化回路38と、を含む。つまり、帯域フィルタ群31aは、音圧レベルを周波数帯域別のリズム強度とし、「1」〜「0」の正規化された値として求める。なお、同図では、低域・中域・高域の3つの周波数帯域に分割した場合を例示したが、帯域の分割位置および分割数については、適宜変更可能である。
重み付け部31bは、周波数帯域別に設定された重み付けを付与する。本実施形態では、固有感情値として、アクティブ感(リラックス感)を算出するため、中域・高域に対し、低域の重み付けを大きくしている。加算部31cは、重み付け後の値を加算する(平均音圧レベルを、0〜1で表す)。一般的に低域の音圧レベルが高い場合はリズムが激しく、よりアクティブ感を感じる場合が多いため、周波数帯域別に音圧レベルを求め、その加重平均を取ることで、より適切なアクティブ感を算出できる。
一方、BPM検出器32は、楽曲データのBPMを検出する。なお、曲中でテンポが変化する楽曲データについては、BPMとして、その楽曲データの平均BPMを検出しても良いし、最大BPMまたは最小BPMを検出しても良い。BPM正規化部33は、BPM60〜240を、所定の換算アルゴリズムにしたがって0〜1に正規化する。なお、BPMを「0」または「1」とする閾値(同図の例では、「60」と「240」)については、適宜変更可能である。
重み付け部34は、平均音圧レベル検出器31により検出された平均音圧レベルと、BPM正規化部33による正規化後の値に対し、合計が「1」となるような重み付けを行う。本実施形態では、平均音圧レベルの検出結果よりも、BPMの検出結果の重み付けを大きく設定している。加算部35は、重み付け部34による重み付け後の値を加算する(固有感情値を、0〜1で表す)。
このように、BPMと平均音圧レベルの加重和を用いて固有感情値を算出することで、楽曲のテンポだけでなく、音量や楽器編成の厚さ等を考慮した適切なアクティブ感を算出できる。
なお、BPMや音圧レベル等の物理特徴量のみで固有感情値を算出するのではなく、BPMや音圧レベル等の複数の物理特徴量と、主観評価により評点した楽曲のアクティブ感を回帰分析することにより関係式を求め、その関係式を用いて算出しても良い。また、BPMや音圧レベル以外の楽曲特徴量(ジャンル、調(キー)、楽器編成など)を考慮して、固有感情値を算出しても良い。
図3は、コンテンツ調整・再生部14の詳細構成図である。コンテンツ調整・再生部14は、付加音生成部41と、付加音調整部42と、伴奏抑圧部43と、付加音合成部44と、から成る。
付加音生成部41は、コンテンツ解析部13から、楽曲データの解析結果であるコード進行、拍位置および小節位置に関する情報を取得する。図4(a),(b)に示すように、「コード進行」とは、楽曲開始時点からの各経過時刻におけるコードを示す情報(以下、「コード進行情報」と称する)であり、一般的なコード符に相当する。各時刻のコードが分かれば良いので、「コード進行」のフォーマットはこの限りではない。例えば、コードとコードの変化点時刻情報や、各拍におけるコード情報でも良い。また、「コード」とは、音楽用語における一般的なコードであり、例えば、A、C#m7、E7等のコードネームを指す。図4(b)に示すように、コードがAであれば、その構成音はA,C#、Eであり、その構成音を用いることにより、楽曲に合った伴奏を実現できる。一方、「拍位置」とは、楽曲開始時点からの各拍位置の時刻を指す。また、「小節位置」とは、楽曲開始時点からの各小節頭位置の時刻を指す。
付加音生成部41は、プリセットパターン記憶部41aと、付加音パターン生成部41bと、音源データ記憶部41cと、楽器別音色選択部41dと、楽器別伴奏データ生成部41eと、を含む。
プリセットパターン記憶部41aは、図4(c)に示すようなプリセットパターンを楽器別(パート別)、且つ曲調別(例えば、アクティブ調整用とリラックス調整用)に記憶する(パターン記憶ステップ)。「プリセットパターン」とは、発音時刻情報、発音時間情報、コード内の第何音を発音するかの相対的音高情報、を持つ。合わせて、各音の音量(音圧レベル)情報を持っても良い。
付加音パターン生成部41bは、コンテンツ解析部13から取得したコード進行、拍位置および小節位置に関する情報と、プリセットパターンを照らし合わせ、楽曲の各部分に合った付加音パターンを生成する。例えば、図4(d)は、図4(c)に示した1小節分のプリセットパターンを、図4(a)に示したコード進行情報にしたがって、2小節分の付加音パターンを自動生成した結果を示している。このように、プリセットパターンが1小節分だけだとしても、コード進行情報と組み合わせることにより、一曲分のバリエーションがある付加音パターンを生成できる。
音源データ記憶部41cは、楽器別の音色を音源データとして記憶する。楽器別音色選択部41dは、楽器別に音色を選択する。楽器別の音色選択は、予め楽器編成を決めておいても良いし、楽曲解析によって得られた楽曲の調(キー)や、楽曲のタグ情報から得られた曲のジャンルにより、自動的に選択しても良い。または、幾つかの楽器編成パターンを用意し、その中からユーザーが選択できるようにしてもよい。例えば、曲のジャンルがロックであれば、ロックドラムセットとエレキベース、エレキギター等の編成を用い、ジャンルがジャズであれば、ジャズドラムセットとウッドベース、クリアトーンのエレキギター等の編成を用いる、などが考えられる。また、原曲のジャンルと合わせるのではなく、変えたい曲調(曲調コントローラー11により入力された相対調整量)に応じた楽器編成を用いても良い。
楽器別伴奏データ生成部41eは、楽器別音色選択部41dによって、楽器別に選択された音色を音源データ記憶部41cから読み込み、付加音パターン生成部41bにより生成された付加音パターンにしたがって、その音色の伴奏データを生成する。つまり、付加音パターン生成部41bでは各楽器の演奏譜面に相当するデータを生成し、楽器別伴奏データ生成部41eでは、その譜面にしたがって各楽器を実際に演奏するための伴奏データを生成する。
付加音調整部42は、楽器別音量・音質調整部42aを含む。楽器別音量・音質調整部42aは、原曲の音量に合わせ、付加音を合成した後で自然に聞こえるよう、音量や音質を調整する。なお、調整方法としては、楽器編成により、予め各楽器の音量・音質を調整しておいても良い。例えば、各楽器のピークレベルを合わせる、各楽器の平均音量レベルを合わせる、などが考えられる。一方、音質調整に関しては、各楽器の音が全体に埋もれてしまわないよう、各楽器の中心周波数を変えてブースト・アッテネートするなどのイコライジング制御を行っても良い。あるいは、原曲、伴奏それぞれを低域〜高域に渡って複数の周波数帯域に分割し、各分割帯域で上記のようなイコライジング制御を行っても良い。また、楽曲のイントロ〜サビ〜エンディングの各箇所によっても音量が異なることが一般的であるため、上記のようなイコライジング制御を、曲中で動的に行っても良い。
伴奏抑圧部43は、曲調コントローラー11により入力された相対調整量に応じて、伴奏の音量を抑圧する。例えば、相対調整量がリラックス度を高めるものである場合、原曲からメロディー成分を抽出し、それ以外の伴奏成分を抑圧する。
付加音合成部44は、ミックスレベル調整パターン記憶部44aと、ミックスバランス制御部44bと、テンポコントロール部44cと、を含む。ミックスレベル調整パターン記憶部44aは、楽器別に、相対調整量に応じてミックスレベル(出力音圧レベル)が変化するミックスレベル調整パターンを記憶する(パターン記憶ステップ)。図8および図10に示すように、ミックスレベル調整パターンは、横軸を相対調整量、縦軸をミックスレベルとしたグラフである。
ミックスバランス制御部44bは、曲調コントローラー11により入力された相対調整量に応じて、後述する楽器別伴奏データの、原曲に対するミックスバランスを制御する。この場合、原曲に対して新たに音を足すため、音量レベルが高くなり過ぎ、クリップしてしまうことがある。そのため、ミックスバランス制御部44bは、伴奏データの付加後に音量レベルがクリップしないよう、最大レベル値の調整も行う。例えば、単純な方法として、伴奏付加後のピークレベルを監視し、クリップしないよう全体のレベルを減衰する方法が考えられる。また、ピークレベルのみを抑え込む時に一般的に用いられる、コンプレッサーやリミッターを用いても良い。さらに、楽曲のイントロ〜サビ〜エンディングの各箇所によっても音量が異なることが一般的であるため、上記のようなレベル減衰制御を、曲中で動的に行っても良い。
テンポコントロール部44cは、曲調コントローラー11により入力された相対調整量に応じて、例えばリラックス度が高い場合はテンポ(BPM)を落としたり、アクティブ度が高い場合はテンポを上げたりする。このテンポコントロールは、原曲、伴奏データのそれぞれに対して行っても良いし、付加音合成後に行っても良い。その方法は特に限定しないが、例えば、音程を変えずにテンポを変える手法としてよく知られている、位相ボコーダーを用いるなどすればよい。
次に、図5のフローチャートを参照し、曲調制御処理の流れについて説明する。まず、原曲(楽曲データ)に対し、楽曲解析を行い(S01)、曲調別且つ楽器別に用意されたプリセットパターンから付加音パターンを生成する(S02)。続いて、予め用意された楽器編成、楽曲解析によって決定された楽器編成、ユーザーによって選択された楽器編成、または曲調に応じた楽器編成にしたがって、楽器別の音色を選択し(S03)、S02で生成した付加音パターンと、予め用意された音源データを用いて、楽器別伴奏データを生成する(S04)、さらに、生成した楽器別伴奏データが自然に聞こえるように、原曲の音量等に合わせて、楽器別伴奏データの音量や音質を調整する(S05)。以上の工程により、伴奏データを生成する。
一方、曲調コントローラー11の操作に応じて、原曲(楽曲データ)の伴奏抑圧(S06)、楽器別のミックスレベル調整パターンに基づく、原曲と伴奏データのミックスバランスの調整(S07)およびテンポコントロール(S08)を行う。以上の工程により、曲調コントローラー11の操作にしたがった曲調制御を行う。
次に、曲調制御の具体例について説明する。まず、図6〜図8を参照し、アクティブ感のある曲調に制御する場合について説明する。本例では、原曲に対し、ピアノ、ブラス、フルート、3パターンのベース1〜3、2パターンのドラム1,2の伴奏データを生成するものとする。これらの楽器別伴奏データは、例えば、ピアノに図6(a)に示すプリセットパターンを、ブラスに図6(b)に示すプリセットパターンを、フルートに図6(c)に示すプリセットパターンを、ベース1に図7(a)の1小節目に示すプリセットパターンを、ベース2に図7(a)の2小節目に示すプリセットパターンを、ベース3に図7(a)の3小節目に示すプリセットパターンを、ドラム1に図7(b)の1小節目に示すプリセットパターンを、ドラム2に図7(b)の3小節目に示すプリセットパターンを用い、前述したようにコード進行、拍位置および小節位置に合わせて付加音パターンを生成する。さらに、楽器編成に応じて楽器別の音源データを選択し、これを付加音パターンに適用することで、楽器別伴奏データを生成する。
ミックスバランス制御部44bは、これらの楽器別伴奏データに対し、図8に示すミックスレベル調整パターン(アクティブ側)にしたがって、ミックスレベルを制御する。つまり、同図(a)に示すように、原曲のミックスレベルは一定にし、同図(b)〜(g)に示すように、相対調整量に応じて各伴奏データのミックスレベルを変化させる。
なお、各楽器(各パート)のミックスレベルを、曲調コントローラー11によって入力された相対調整量だけでなく、原曲の音量変化に対応付けて変化させても良い。この場合、原曲の周波数帯域別音量を求め、付加する各伴奏データの帯域別音量を制御しても良い。
また、原曲の低域をカットする、ドラム成分を抽出してカットするなど、原曲のリズム成分を抑圧してから伴奏データを付加しても良い。
これにより、曲調コントローラー11の操作等に応じて、原曲をよりアクティブな感じに、且つ滑らかに変化させることができる。
続いて、図9,図10を参照し、リラックス感のある曲調に制御する場合について説明する。本例では、原曲に対し、ギターおよびストリングスの伴奏データを生成するものとする。これらの楽器別伴奏データは、例えば、ギターに図9(a)に示すプリセットパターンを、ストリングスに図9(b)に示すプリセットパターンを用い、前述したようにコード進行、拍位置および小節位置に合わせて付加音パターンを生成する。さらに、楽器編成に応じて楽器別の音源データを選択し、これを付加音パターンに適用することで、楽器別伴奏データを生成する。
ミックスバランス制御部44bは、これらの楽器別伴奏データに対し、図10に示すミックスレベル調整パターン(リラックス側)にしたがって、ミックスレベルを制御する。つまり、同図(a)に示すように、原曲のミックスレベルは一定にし、同図(c)に示すように、相対調整量に応じて各伴奏データのミックスレベルを変化させる。また、伴奏抑圧部43は、同図(b)に示すように、相対調整量に応じて伴奏成分の抑制レベルを変化させる。
なお、本例においても、各楽器(各パート)のミックスレベルを、曲調コントローラー11によって入力された相対調整量だけでなく、原曲の音量変化に対応付けて変化させても良い。この場合、原曲の周波数帯域別音量を求め、付加する各伴奏データの帯域別音量を制御しても良い。
また、リラックス感のある曲調に制御する場合は、特に原曲の低域をカットする、ドラム成分を抽出してカットするなど、原曲のリズム成分(伴奏成分の一部)を抑圧してから伴奏データを付加することが好ましい。この構成によれば、リラックス感をより効果的に高めることができる。
また、リラックス感のある曲調に制御する場合は、原曲からメロディー成分を抽出し、それ以外の伴奏成分を抑圧しても良い。伴奏成分を抑圧する方法としては、例えば、センターチャンネル抽出方法(メロディー成分は中央に定位している場合が多いことを利用してメロディー成分を分離する方法)を用いることが考えられる。但しこのままでは、中央に定位していることも多いベースギターやベースドラムのリズム成分が残ってしまうため、前述したように、低域をカットした方が効果的である。低域カットの方法も問わないが、一般的なローパスフィルターを用いて、〜200Hz程度をカットすれば良い。あるいは、中央定位しているメロディー成分を抽出する方法として、オーディオ信号をフーリエ変換によって周波数軸に変換し、位相差を検出する方法が用いられるため、このフーリエ変換係数の低域側を抑圧しても良い。例えば、オーディオ信号のサンプリング周波数が44.1kHzであり、フーリエ変換のブロック長が4096サンプルであった場合は、フーリエ変換係数の1binが約10Hz帯域に相当するため、低域側の20bin程度の係数を抑圧すればよい。このような制御により、曲調コントローラー11の操作等に応じて、原曲をよりリラックスな感じに、且つ滑らかに変化させることができる。
なお、曲調制御の変形例として、図8,図10に示した2種類のミックスレベル調整パターンをRelax〜Center〜Activeの一軸に対応付けても良い。この構成によれば、一つの曲調コントローラー11の操作で、原曲をリラックスな感じからアクティブな感じまで、滑らかに変化させることができる。
また、図4〜図10に示したプリセットパターンまたはミックスレベル調整パターンを複数用意することにより、リラックス感〜アクティブ感以外の曲調変化も実現できる。また、曲調コントローラー11の操作軸を一軸ではなく複数軸とすることにより、より様々な曲調変化を楽しむことができる。
また、曲調制御の更なる変形例として、図11に示すミックスレベル調整パターンを用いても良い。同図の例では、例えば、ピアノ+ブラス+フルート+ベース1+ドラム1をMIX1、ピアノ+ブラス+フルート+ベース2+ドラム1をMIX2、ピアノ+ブラス+フルート+ベース3+ドラム2をMIX3、ギター+ストリングスをMIX4、とするなど、楽器別伴奏データの集合体をMIX付加音として生成し、各MIX付加音のミックスレベルを、図11(c)に示すように、曲調コントローラー11の操作に応じて制御しても良い。
つまり、図11(a)に示すように、原曲のミックスレベルは一定にし、同図(b)に示すように、リラックス側において、原曲の伴奏成分を抑圧する。また、同図(c)に示すように、各MIX付加音のミックスレベルを変化させる。
なお、図11の例では、楽曲解析を用いてMIX付加音を自動生成することを前提としているが、予め複数のMIX付加音を用意しておき、各MIX付加音のミックスレベルを制御しても良い。
以上説明したとおり、第1実施形態によれば、曲調コントローラー11による相対調整量の入力に伴って楽曲データの曲調制御(コンテンツの編集)を行うため、ユーザーが「こうなりたい」、「こうしたい」といった感情を、楽曲データの再生に反映させることができる。また、ユーザーは、曲調の変化を確認しながら相対調整量を入力できるため、感情設定を容易に行うことができる。つまり、ユーザーは、自分が求める感情に合うように曲調を変化させればよく、これにより感情設定(相対調整量の入力)を容易に行うことができる。また、入力された相対調整量に応じて固有感情値を調整し、統合感情値を出力するため、ユーザーは、自分が求める感情を客観的に把握することができる。
また、曲調制御として、楽曲特徴量(BPM、音圧レベルなど)の調整、および/または伴奏データの付加/抑制を行うため、ユーザーが求める感情(アクティブ感〜リラックス感)を、効果的に楽曲データに反映させることができる。また、伴奏データの付加/抑制は、楽器別のミックスレベル調整パターンを参照し、入力された相対調整量に応じて、楽器別伴奏データの出力音圧レベルを可変することによって行うため、複雑な楽曲データの編集を、より自然に且つ簡易な処理で行うことができる。
なお、上記の実施形態では、楽曲データの選択・再生について特に言及しなかったが、「楽曲データA」の再生中に、曲調コントローラー11の操作によって統合感情値が仮に「50」から「80」となるように調整された場合、プレイリスト上で次に再生する予定の「楽曲データB」も、「楽曲データB」の固有感情値に依らず、統合感情値「80」に合った曲調で再生しても良い。つまり、仮に「楽曲データB」の固有感情値が「60」であった場合、感情値「20」(統合感情値「80」−固有感情値「60」)分の曲調制御(コンテンツの編集)を行う。この構成によれば、再生順序を変えることなく、ユーザーが求める感情値を保ったまま、楽曲データの再生を続けることができる。
また、調整された統合感情値に応じて、次に再生する楽曲データを選択しても良い。例えば、「楽曲データA」の再生中に、統合感情値が「80」に調整された場合、次に再生する楽曲データとして、楽曲データDBの中で、固有感情値が「80」に近いものを選択する。なお、固有感情値が統合感情値に近いことだけでなく、再生中の楽曲とジャンルが同じ、またはアーティストが同じなど、他の特定の楽曲特徴量が類似していることなどを条件として、次に再生する楽曲データを選択しても良い。この構成によれば、楽曲データをできるだけ編集することなく、ユーザーが求める感情値を保ったまま、楽曲データの再生を続けることができる。その他、変形例として、調整された統合感情値に近い楽曲データを選択するのではなく、調整された統合感情値から所定量だけ離れている楽曲データを選択しても良い。この構成によれば、徐々に感情値を変化させながら、楽曲データの再生を続けることができる。
[第2実施形態]
次に、図12を参照し、本発明の第2実施形態について説明する。上記の第1実施形態では、曲調コントローラー11の操作によって曲調を変化させたが、本実施形態では、これ以外に、生体・環境センサー12で取得した外部情報によっても曲調を変化させる。以下、第1実施形態と異なる点のみ説明する。なお、本実施形態において、第1実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第1実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
次に、図12を参照し、本発明の第2実施形態について説明する。上記の第1実施形態では、曲調コントローラー11の操作によって曲調を変化させたが、本実施形態では、これ以外に、生体・環境センサー12で取得した外部情報によっても曲調を変化させる。以下、第1実施形態と異なる点のみ説明する。なお、本実施形態において、第1実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第1実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
図12は、第2実施形態に係るコンテンツ再生装置1の構成を示すブロック図である。本実施形態のコンテンツ再生装置1は、図1に示した第1実施形態の構成と比較して、生体・環境センサー12を追加し、生体・環境センサー12の検出結果である外部情報を加味して、曲調制御および統合感情値の調整・出力を行う構成となっている。
生体・環境センサー12は、環境情報および/または生体情報である外部情報を検出する。「環境情報」とは、温度、照度、加速度、GPS(Global Positioning System)情報、天気などを指す。一方、「生体情報」とは、脳波、心拍、脈拍、体温などを指す。
また、本実施形態に係るコンテンツ調整・再生部14は、曲調コントローラー11の操作、および生体・環境センサー12により取得した外部情報に応じて、楽曲データの編集(曲調制御)を行ない、編集後の楽曲データを再生する(再生ステップ)。つまり、生体・環境センサー12により取得した外部情報を考慮して、図5のフローチャート等に示した、原曲の伴奏抑圧(S06)、原曲と伴奏データのミックスバランスの調整(S07)およびテンポコントロール(S08)を行う。
曲調制御の具体例としては、例えば生体・環境センサー12として照度センサーを用いた場合、部屋の照度が下がったことを検出して、リラックス感の強い曲調に制御することが考えられる。また、生体・環境センサー12として脈拍センサーを用いた場合は、ユーザーの平常時の脈拍を記憶しておき、平常時より速い脈拍を計測したときにリラックス感の強い曲調に制御することが考えられる。これらの曲調制御により、ユーザーの気持ちを落ち着かせる効果がある。
また、本実施形態に係る統合感情値出力部15は、入力された相対調整量、および取得した外部情報に応じて、楽曲データ固有の固有感情値を調整することにより、統合感情値を算出し、これを出力する(統合感情値出力ステップ)。なお、入力された相対調整量、および取得した外部情報に基づく、固有感情値の調整量を、以下「調整感情値」と称する。つまり、統合感情値は、固有感情値と調整感情値とを合算することにより算出される。また、本実施形態において、図8および図10に示したミックスレベル調整パターンの横軸は、調整感情値により表される。
以上説明したとおり、第2実施形態によれば、曲調コントローラー11による操作だけでなく、生体・環境センサー12の検出結果が統合感情値に反映されるため、ユーザーは、様々な曲調変化を楽しむことができる。
なお、外部情報(環境情報および/または生体情報)は、コンテンツ再生装置1に搭載された生体・環境センサー12で取得するのではなく、所定のサーバーからインターネット等のネットワークを介して取得しても良い。また、外部装置(各種計測・検出装置)で計測・検出した結果を、外部情報として取得しても良い。
[第3実施形態]
次に、図13〜図15を参照し、本発明の第3実施形態について説明する。本実施形態は、上記の「統合感情値」を他のコンテンツ再生装置1に送信することで、感情値の共有を行うことを特徴とする。以下、第2実施形態と異なる点のみ説明する。なお、以下の説明では、共有するための感情値を「共有感情値」と称する。また、「共有感情値」も、「固有感情値」および「統合感情値」と同様に、絶対値で表される。
次に、図13〜図15を参照し、本発明の第3実施形態について説明する。本実施形態は、上記の「統合感情値」を他のコンテンツ再生装置1に送信することで、感情値の共有を行うことを特徴とする。以下、第2実施形態と異なる点のみ説明する。なお、以下の説明では、共有するための感情値を「共有感情値」と称する。また、「共有感情値」も、「固有感情値」および「統合感情値」と同様に、絶対値で表される。
図13は、第3実施形態に係るコンテンツ再生装置1の構成を示すブロック図である。本実施形態のコンテンツ再生装置1は、図12に示した第2実施形態の構成と比較して、共有感情値受信部16、共有感情値送信部17、リスト表示部18、シェア制御部19およびシェア要求・容認部20を追加した構成となっている。
共有感情値受信部16は、他のコンテンツ再生装置1(外部装置)から、ネットワークNTを介して、共有感情値を受信する(共有感情値受信ステップ)。また、共有感情値送信部17は、他のコンテンツ再生装置1(外部装置)に対し、ネットワークNTを介して、共有感情値(送信時における統合感情値)を送信する(共有感情値送信ステップ)。
ここで、統合感情値の算出(統合感情値算出ステップ)について説明する。本実施形態の統合感情値出力部15は、共有感情値の受信前の状態において、第2実施形態と同様に、楽曲解析結果に基づく楽曲データ固有の固有感情値と、相対調整量および外部情報に基づく調整感情値との合算値を、統合感情値として算出する。但し、共有感情値を受信すると、統合感情値を、当該共有感情値と同じ値とする。また、共有感情値を受信した後、相対調整量および/または外部情報を入力および/または取得した場合は、受信した共有感情値と、当該共有感情値の受信後に入力および/または取得した相対調整量および/または外部情報に基づく調整感情値との合算値を、統合感情値として算出する。共有感情値送信部17は、送信時点における統合感情値を共有感情値として送信する。
一方、本実施形態に係るコンテンツ調整・再生部14は、共有感情値を受信した場合、それまでの統合感情値と、受信した共有感情値との差分に応じて、楽曲データの編集(曲調制御)を行う。つまり、統合感情値出力部15により算出されている(その時点で設定されている)統合感情値に連動して楽曲データの編集を行う点は、上記の各実施形態と同様である。
リスト表示部18は、他のコンテンツ再生装置1のユーザー名と、各コンテンツ再生装置1に設定されている統合感情値の一覧を表示する。ユーザーは、当該リストから、感情値を共有したいユーザーを選択する。なお、リストには、ユーザーが公開を認証している場合のみ表示され、認証していなければ表示されない。
シェア制御部19は、自分の(コンテンツ再生装置1の)統合感情値の公開条件の設定を行うと共に、他ユーザーからの公開要求に対して認証するかしないかを、シェア要求・容認部20の設定にしたがって制御する。シェア要求・容認部20は、例えばシェア要求ボタンとシェア容認ボタンから成り、他のコンテンツ再生装置1との感情値の共有を要求および/または容認する(共有要求・容認ステップ)。ユーザーは、自分からシェア要求を出す場合はシェア要求ボタンを押下し、外部からのシェア要求を容認する場合は、シェア容認ボタンを押下する。
次に、図14を参照し、コンテンツ再生システムSYのシステム構成例について説明する。コンテンツ再生システムSYは、通信可能に構成された複数台のコンテンツ再生装置1から成る。最も単純なシステム構成としては、図14(a)に示すように、「コンテンツ再生装置A」と「コンテンツ再生装置B」が1:1で通信を行う構成が考えられる。
ここで、本システム構成における感情のやりとりの具体例について説明する。なお、「コンテンツ再生装置A」を操作するユーザーを「ユーザーA」、「コンテンツ再生装置B」を操作するユーザーを「ユーザーB」とする。例えば、「ユーザーA」が低い感情値を設定しており、そのことをリスト表示部18で知った「ユーザーB」が、「ユーザーA」を元気づけようと、自分(「コンテンツ再生装置B」)の統合感情値を高い値に調整し、共有感情値として「コンテンツ再生装置A」に送信する。「コンテンツ再生装置A」は、受信した共有感情値と現在の統合感情値の差違を算出し、同じ値となるように、コンテンツ状態(曲調)を調整する。「ユーザーA」は、その共有感情値をそのまま受け取ることもできるが、「今はそんな気分ではない」という場合、再び自分(「コンテンツ再生装置A」)の統合感情値を低く調整し、共有感情値として「コンテンツ再生装置B」に送り返すこともできる。このような感情の共有(やりとり)を、言語を介さず、曲調コントローラー11の操作で行うことができる。また、曲調コントローラー11の操作に代え、生体・環境センサー12で取得した外部情報を用いて、ユーザーの意思に関係なく、感情(ユーザーの周囲環境や生体情報に基づいて推測される感情値)の共有を行うことも可能である。
なお、システム構成としては、図14(b)または図14(c)に示すように、3台以上のコンテンツ再生位置1間で、感情の共有を行うことも考えられる。例えば、図14(b)の構成は、「コンテンツ再生装置A」が、「コンテンツ再生装置B」、「コンテンツ再生装置C」、「コンテンツ再生装置D」と、それぞれ個別に共有感情値の送受信を行う場合のシステム構成を示している。また、図14(c)の構成は、「コンテンツ再生装置A」、「コンテンツ再生装置B」、「コンテンツ再生装置C」、「コンテンツ再生装置D」が、いずれも他のコンテンツ再生装置1に対して共有感情値を一括送信可能なシステム構成を示している。
なお、図14に示したいずれのシステム構成においても、各個人の統合感情値は、ネットワークNT上で、ある条件の下に公開され、他のユーザーはそれを閲覧することができる。ある条件とは、公開する側が閲覧可能なユーザーをそのユーザーのリクエストに応じて認証、あるいはそのユーザーを招待して予め認証しておくことが考えられる。逆に、全ユーザーに対して統合感情値が公開されており、閲覧する側が、自分で登録したユーザーの統合感情値のみ参照できるようにしても良い。公開する側が閲覧可能なユーザーを予め認証するのは、例えば友人・恋人同士・家族などが考えられる。また、閲覧する側が、自分で登録したユーザーの統合感情値のみ参照できるシステムは、例えば、芸能人が感情値を公開し、ファンがその芸能人を自分のリストに登録する場合などが考えられる。このように、共有感情値の送受信を行うことで、友人・恋人同士・家族間で感情をやりとりしたり、芸能人の感情をファンが共有したり、あるいは芸能人の投げかけに対してファンの感情値を収集したりすることができる。
次に、図15のフローチャートを参照し、共有感情値送受信処理の流れについて説明する。ここでは、図14(a)に示したシステム構成において、共有感情値を送受信する場合を例示する。また、前提条件として、「コンテンツ再生装置B」は、統合感情値「50」に設定されているものとする。さらに、「コンテンツ再生装置A」、「コンテンツ再生装置B」共に、楽曲データを再生中であるものとする。
まず、「コンテンツ再生装置A」は、共有感情値「80」を「コンテンツ再生装置B」に送信する(S11)。「コンテンツ再生装置B」は、これを受信すると、統合感情値を「80」に書き換える(S12)。また、予め設定されていた統合感情値「50」と、受信した共有感情値「80」との差分「30」に応じて、楽曲データの編集を行う(S13)。差分「30」の楽曲データの編集とは、アクティブ感を大きくする曲調制御を行うことを意味する。
その後、現在の統合感情値「80」を共有感情値として、「コンテンツ再生装置A」に送信すると(S14)、「コンテンツ再生装置A」は、これを受信する(S15)。「コンテンツ再生装置A」は、元々統合感情値「80」が設定されていたため、共有感情値「80」を受信しても楽曲データの編集は行わない。
続いて、「コンテンツ再生装置A」において、曲調コントローラー11の操作や、生体・環境センサー12が取得した外部情報に応じて、調整感情値「−20」が入力されると、「コンテンツ再生装置A」の統合感情値は「60」となり、「−20」分の楽曲データの編集を行う(S16)。「−20」分の楽曲データの編集とは、リラックス感を大きくする曲調制御を行うことを意味する。また、この状態で共有感情値を送信すると(S17)、「コンテンツ再生装置B」は、共有感情値「60」を受信し、統合感情値を「60」に書き換える(S18)。また、元々設定されていた統合感情値「80」と、受信した共有感情値「60」との差分「−20」に応じて、楽曲データの編集を行う(S19)。
以上説明したとおり、第3実施形態によれば、他のコンテンツ再生装置1から、共有感情値を受信し、当該共有感情値と、予め設定されている統合感情値との差分に応じて、楽曲データを編集して再生するため、楽曲データの曲調から相手の感情を体感できる。また、コンテンツ再生装置1に設定されている統合感情値を、共有感情値として他のコンテンツ再生装置1に送信することにより、お互いの統合感情値を書き換え、感情のやりとりを行うことができる。つまり、送信された共有感情値により、一旦相手の気持ちを体感し、今度は相対調整量の入力や外部情報により、相手に「こうなって欲しい」といった感情を統合感情値として送信することで、送受信者が、互いの感情をコントロールできる。
また、他のコンテンツ再生装置1との感情値の共有を、要求および容認するシェア要求・容認部20を備えているため、所望するコンテンツ再生装置1とのみ、感情のやりとりを行うことができる。また、容認していないコンテンツ再生装置1から共有感情値を受信することがないため、プライバシーを守ることができる。
なお、上記の第3実施形態では、ある統合感情値に設定されている状態で、他のコンテンツ再生装置1から共有感情値を受信した場合、受信した共有感情値と同じ値となるように統合感情値を書き換えたが、予め設定されている統合感情値と、受信した感情値とに基づいて、新たな統合感情値を算出しても良い。例えば、統合感情値「60」に設定されている状態で、他のコンテンツ再生装置1から共有感情値「80」を受信した場合、それらの平均値「70」を、新たな統合感情値として算出しても良い。
また、上記の第3実施形態では、コンテンツ再生装置1に、曲調コントローラー11および生体・環境センサー12が搭載されているものとしたが、これらを省略した構成としても良い。この場合、統合感情値=コンテンツの固有感情値となり、受信した共有感情値とコンテンツの固有感情値との差分に応じて、楽曲データの編集を行なうこととなる。
また、上記の各実施形態では、「コンテンツ」として、楽曲(音楽)データを例示したが、写真データ、映像データ、文章(テキスト)データなど、他のコンテンツ種類(メディア)を用いても良い。また、コンテンツ種類が写真データ、映像データ、文章データ等の場合、コンテンツ解析部13は、「コンテンツ特徴量」として、解像度、色合い(文字色)、フォント、表示サイズなどを算出しても良い。また、「コンテンツの編集」としては、コンテンツに対するコンテンツ特徴量の調整の他、コンテンツに対する情報の付加/抑制(画像の付加/抑制、文章の付加/抑制など)を行っても良い。
また、コンテンツ再生装置1としては、上述したメディアプレイヤー、ネットワーク機能搭載音楽プレーヤー以外に、パーソナルコンピューター、スマートフォン等のタブレット端末、携帯電話等を用いても良い。
また、任意のコンテンツの再生中、当該コンテンツを再生できなくなった場合、またはユーザーによりコンテンツ変更の指示があった場合、当該任意のコンテンツを、同じ固有感情値または統合感情値の別のコンテンツ(別種類のコンテンツ、あるいは同じコンテンツ種類内の別コンテンツ)に変換して提示しても良い。これにより、音が出せない状況の場合は、画像データとして、固有感情値または統合感情値を表示するなど、多様な表現方法を実現できる。また、任意の楽曲データの再生中に他の楽曲データの再生が指示された場合、あるいは任意の楽曲データが何らかの原因で再生不能となった場合、他の楽曲データを任意の楽曲データと同じ固有感情値または統合感情値に対応した曲調で再生する、などの対応も可能である。
さらに、共有感情値の送受信を行う場合、送受信するコンテンツ再生装置1は、必ずしも同じ種類のコンテンツを再生でなくても良い。例えば、楽曲データを再生可能な「コンテンツ再生装置A」から、画像データを再生可能な「コンテンツ再生装置B」に共有感情値を送信した場合、その共有感情値を画像データの編集に反映させても良い。
また、上記の各実施形態に示したコンテンツ再生装置1の各機能および各処理工程をプログラムとして提供することも可能である。また、そのプログラムを各種記憶媒体(CD−ROM、フラッシュメモリ等)に格納して提供することも可能である。すなわち、コンピューターをコンテンツ再生装置1の各機能として機能させるためのプログラム、コンピューターにコンテンツ再生装置1の各処理工程を実行させるためのプログラムおよびそれを記録した記憶媒体も、本発明の権利範囲に含まれるものである。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
1…コンテンツ再生装置 11…曲調コントローラー 12…生体・環境センサー 13…コンテンツ解析部 14…コンテンツ調整・再生部 15…統合感情値出力部 16…共有感情値受信部 17…共有感情値送信部 18…リスト表示部 19…シェア制御部 20…シェア要求・容認部 31…平均音圧レベル検出器 32…BPM検出器 33…BPM正規化部 34…重み付け部 35…加算部 37…バンドパスフィルタ 38…平均・正規化回路 41…付加音生成部 41a…プリセットパターン記憶部 41b…付加音パターン生成部 41c…音源データ記憶部 41d…楽器別音色選択部 41e…楽器別伴奏データ生成部 42…付加音調整部 42a…楽器別音量・音質調整部 43…伴奏抑圧部 44…付加音合成部 44a…ミックスレベル調整パターン記憶部 44b…ミックスバランス制御部 44c…テンポコントロール部 NT…ネットワーク SY…コンテンツ再生システム
Claims (11)
- コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有感情値を算出する固有感情値算出ステップと、
共有感情値を受信する共有感情値受信ステップと、
受信した前記共有感情値と前記固有感情値の差分に応じて、前記特徴量の調整若しくは前記コンテンツに対する情報の付加又は抑制をして再生する再生ステップと、を実行することを特徴とするコンテンツ再生方法。 - 感情値の調整を行うための相対調整量を入力する入力ステップと、
前記相対調整量に応じて、前記固有感情値を調整した統合感情値を算出する統合感情値算出ステップと、をさらに実行し、
前記再生ステップは、受信した前記共有感情値と前記統合感情値の差分に応じて、前記コンテンツを編集して再生することを特徴とする請求項1に記載のコンテンツ再生方法。 - 環境情報および/または生体情報である外部情報を取得する外部情報取得ステップをさらに実行し、
前記統合感情値算出ステップは、前記相対調整量および前記外部情報に応じて調整感情値を算出し、当該調整感情値と前記固有感情値との合算値を、前記統合感情値として算出することを特徴とする請求項2に記載のコンテンツ再生方法。 - 前記統合感情値算出ステップは、前記共有感情値を受信した後、前記相対調整量および/または前記外部情報を入力および/または取得した場合、受信した共有感情値と、当該共有感情値の受信後に入力および/または取得した前記相対調整量および/または前記外部情報に基づく前記調整感情値との合算値を、前記統合感情値として算出することを特徴とする請求項3に記載のコンテンツ再生方法。
- 前記統合感情値を、送信用の共有感情値として、外部装置に送信する共有感情値送信ステップをさらに実行することを特徴とする請求項4に記載のコンテンツ再生方法。
- 前記外部装置との感情値の共有を要求および/または容認する共有要求・容認ステップをさらに実行し、
前記共有感情値受信ステップは、容認した前記外部装置から前記共有感情値を受信し、
前記共有感情値送信ステップは、要求した前記外部装置に対し前記共有感情値を送信することを特徴とする請求項5に記載のコンテンツ再生方法。 - 楽曲データであるコンテンツ毎の特徴量に基づいて、コンテンツ毎に固有感情値を算出する固有感情値算出ステップと、
共有感情値を受信する共有感情値受信ステップと、
受信した前記共有感情値と前記固有感情値の差分に応じて、前記コンテンツの曲調制御を行って再生する再生ステップと、を実行することを特徴とするコンテンツ再生方法。 - コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有感情値を算出する固有感情値算出手段と、
共有感情値を受信する共有感情値受信手段と、
受信した前記共有感情値と前記固有感情値の差分に応じて、前記特徴量の調整若しくは前記コンテンツに対する情報の付加又は抑制をして再生する再生手段と、を備えたことを特徴とするコンテンツ再生装置。 - 楽曲データであるコンテンツ毎の特徴量に基づいて、コンテンツ毎に固有感情値を算出する固有感情値算出手段と、
共有感情値を受信する共有感情値受信手段と、
受信した前記共有感情値と前記固有感情値の差分に応じて、前記コンテンツの曲調制御を行って再生する再生手段と、を備えたことを特徴とするコンテンツ再生装置。 - 複数台のコンテンツ再生装置が通信可能に構成されたコンテンツ再生システムであって、
各コンテンツ再生装置は、
コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有感情値を算出する固有感情値算出手段と、
他のコンテンツ再生装置から、共有感情値を受信する共有感情値受信手段と、
受信した前記共有感情値と前記固有感情値の差分に応じて、前記コンテンツを編集して再生する再生手段と、を備えたことを特徴とするコンテンツ再生システム。 - コンピューターに、請求項1ないし7のいずれか1項に記載のコンテンツ再生方法における各ステップを実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/005277 WO2014030187A1 (ja) | 2012-08-23 | 2012-08-23 | コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014030187A1 JPWO2014030187A1 (ja) | 2016-07-28 |
JP5980930B2 true JP5980930B2 (ja) | 2016-08-31 |
Family
ID=50149527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014531389A Active JP5980930B2 (ja) | 2012-08-23 | 2012-08-23 | コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5980930B2 (ja) |
WO (1) | WO2014030187A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3746875B2 (ja) * | 1997-06-06 | 2006-02-15 | 株式会社ナムコ | 情報記憶媒体及びゲーム装置 |
JP2001282847A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 感性適応型情報提示装置及びプログラムを記録した機械読み取り可能な記録媒体 |
JP2005049773A (ja) * | 2003-07-31 | 2005-02-24 | Denso Corp | 音楽再生装置 |
JP2005182531A (ja) * | 2003-12-19 | 2005-07-07 | Fuji Xerox Co Ltd | 感情共有伝達システム |
JP2006023524A (ja) * | 2004-07-08 | 2006-01-26 | Sony Corp | 音響信号の分析装置および再生装置 |
JP4626376B2 (ja) * | 2005-04-25 | 2011-02-09 | ソニー株式会社 | 音楽コンテンツの再生装置および音楽コンテンツ再生方法 |
JP2007097047A (ja) * | 2005-09-30 | 2007-04-12 | Seiko Epson Corp | コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム |
JP4306754B2 (ja) * | 2007-03-27 | 2009-08-05 | ヤマハ株式会社 | 楽曲データ自動生成装置及び音楽再生制御装置 |
-
2012
- 2012-08-23 WO PCT/JP2012/005277 patent/WO2014030187A1/ja active Application Filing
- 2012-08-23 JP JP2014531389A patent/JP5980930B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2014030187A1 (ja) | 2014-02-27 |
JPWO2014030187A1 (ja) | 2016-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101233800B1 (ko) | 음악 콘텐츠의 재생장치 및 음악 콘텐츠 재생방법 | |
MX2011012749A (es) | Sistema y metodo para recibir, analizar y editar audio para crear composiciones musicales. | |
JP2008051896A (ja) | 音声ミックスダウン装置、音声ミックスダウンプログラム | |
JP2009244789A (ja) | ガイドボーカル生成機能を備えるカラオケシステム | |
JP5980931B2 (ja) | コンテンツ再生方法、コンテンツ再生装置およびプログラム | |
JP4926756B2 (ja) | カラオケ効果音出力システム | |
JP5293712B2 (ja) | カラオケ装置、及び、カラオケシステム | |
JP2007271977A (ja) | 評価基準判定装置、制御方法及びプログラム | |
JP6065703B2 (ja) | 基準データ作成システム、及び演奏端末装置 | |
JP2010078926A (ja) | デュエット相手抽出システム | |
JP6288197B2 (ja) | 評価装置及びプログラム | |
JP2008216486A (ja) | 音楽再生システム | |
JP6102076B2 (ja) | 評価装置 | |
JP2006201654A (ja) | 伴奏追従システム | |
JP6944357B2 (ja) | 通信カラオケシステム | |
JP5980930B2 (ja) | コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム | |
JP2012018282A (ja) | 演奏ファイル管理装置、演奏ファイル再生装置および演奏ファイル再生方法 | |
JP5678935B2 (ja) | 楽器演奏評価装置、楽器演奏評価システム | |
JP6316099B2 (ja) | カラオケ装置 | |
JP2008092093A (ja) | 楽音再生装置及びプログラム | |
JP5218509B2 (ja) | カラオケ装置、カラオケシステム | |
JP4319054B2 (ja) | 利用者の声域を追跡的に分析して演奏キーに反映させる通信カラオケ応用システム | |
JP5660408B1 (ja) | 投稿楽曲演奏システム及び投稿楽曲演奏方法 | |
JP2004184506A (ja) | カラオケ装置及びプログラム | |
JP6611633B2 (ja) | カラオケシステム用サーバ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5980930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |