JP5818261B2 - 再生コンテンツ制御装置とその方法とプログラム - Google Patents

Description

本発明は、コンテンツの再生技術に関し、特に、鑑賞者の呼吸情報に基づいて提供するコンテンツを制御する再生コンテンツ制御装置とその方法と、プログラムに関する。

特許文献１に、鑑賞者の呼吸に合わせてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御する技術が開示されている。その方法は、予め設定された呼吸状態と、実測した鑑賞者の呼吸状態と、の相関が高くなるようにコンテンツの再生速度を設定するものである（特許文献１の段落〔００３４〕参照）。

特開２０１１−５９４１９号公報

特許文献１に開示された方法では、コンテンツの再生速度を制御するのみで、コンテンツの再生途中に、コンテンツの場面構成を崩すことのないタイミングで、コンテンツの要素を追加したり削減したりすることができない課題があった。

本発明は、このような課題に鑑みてなされたものであり、鑑賞者の呼吸に合わせてコンテンツの追加や削除を可能にする再生コンテンツ制御装置とその方法とプログラムを提供することを目的とする。

本発明の再生コンテンツ制御装置は、記憶部と、呼吸指標抽出部と、トラック制御部と、トラック再生制御部と、を具備する。記憶部は、1個以上のトラックに分離された時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、各トラックに対してある再生位置を示す1個以上のトリガーポイントと、当該トリガーポイントに対応したトラックの制御方法を特定するトラック制御情報と、を含むトリガー付きコンテンツ情報を記憶する。呼吸指標抽出部は、鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出して出力する。トラック制御部は、呼吸指標とトリガーポイントとトラック制御情報とを入力として、呼吸指標がトリガーポイントを再生する時点で予め定められた呼吸状態と所定の範囲内にある場合にトラック制御情報を出力する。再生制御部は、記憶部に記憶されたコンテンツ情報とトラック制御部の出力するトラック制御情報を入力として、当該トラック制御情報に基づいて上記コンテンツ情報の再生制御を行う。

本発明の再生コンテンツ制御装置によれば、鑑賞者がリズムに乗ってコンテンツ情報に呼吸を合わせると、トラック制御情報に基づいて、例えば、伴奏にボーカルを重畳させたり音量を大きくさせたりするコンテンツ情報の追加や削除をすることができる。その結果、鑑賞者のコンテンツ情報に対する一体感や臨場感などの感覚を、より強く制御することが可能になる。

本発明の再生コンテンツ制御装置１００の機能構成例を示す図。 再生コンテンツ制御装置１００の動作フローを示す図。 呼吸計測部２０から出力される呼吸情報Ｖ（ｔ）を例示する図。 呼気開始時刻の予測値ｐｂｐｅ（ｎ）を説明するための図。 トラック制御部４０の動作の一例を示す図。 呼吸指標抽出部３０′の機能構成例を示す図。 周期的な呼吸運動の位相を特定するための情報である呼吸指標φ（ｔ）を説明する図であり、Ａは呼吸指標抽出部３０′が算出する呼吸指標の例を説明するための図である。Ｂは呼吸指標φ（ｔ１）と呼吸目標情報φ（ｐ（ｔ１））とＬ（ｔ１）との関係を例示した図である。 各トリガーポイントにトリガー要因を持たせたトリガー付きコンテンツを例示する図。 トリガーポイントＴｒｉｇ１（ｍ１）に３つのトリガー要因とトラック制御情報を組にして設定した例を示す図。 本発明の再生コンテンツ制御装置２００の機能構成例を示す図。 再生コンテンツ制御装置２００の動作フローを示す図。 実施例２の再生速度演算部８０の動作を説明する図。 呼吸目標情報Φ（・）をトリガー要因とした場合を示す図。

以下、本発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。実施例の説明の前に、説明に用いる用語を定義する。

〔用語の定義〕
コンテンツ：各種音楽、音声、映画やテレビ番組等の動画など、鑑賞目的のための音響情報や映像情報を意味する。

コンテンツ情報：コンテンツを構成し、時間軸に沿って順次再生される情報を意味する。

再生位置：時間軸に沿って順次再生される各コンテンツ情報の再生位置、つまり、コンテンツ再生における時間軸上の進行位置を意味する。より具体的には、例えば、フレーム位置、サンプル点、タイムコード、ソングポジションポインターなどが再生位置に対応する。

ブランク情報：鑑賞対象となるコンテンツ情報が再生されるよりも時間的に前の冒頭区間に再生される鑑賞対象とならない情報を意味する。ブランク情報の例は、楽曲の演奏が始まる前の区間や楽曲と楽曲との間のポーズ区間の無音状態や、映画などの動画コンテンツの再生が開始される前の黒色画面や砂嵐画面（サンドストーム）を示す情報などである。

ヌル情報：空の情報を意味する。例えば、コンテンツ情報がヌル情報であるときは、コンテンツ情報が存在しないことを意味する。

呼吸状態：周期的に行われる呼吸運動中の各状態を意味する。より具体的には、例えば、呼気運動を開始する時点の状態である呼気開始状態、呼気運動中の各時点での呼気状態、呼気運動を終了する時点の状態である呼気終了状態、呼気運動を開始する時点の状態である呼気開始状態、吸気運動中の各時点での吸気状態、吸気運動を終了する時点の状態である吸気終了状態などが呼吸状態に対応する。

呼吸情報：コンテンツの鑑賞者の呼吸状態を計測して得られる情報を意味する。より具体的には、例えば、胸部回りや腹部回りの長さ、呼吸の気流量、呼気と吸気の温度差などを意味する。

呼吸指標：鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定する情報のことである。

再生速度：ある再生位置Ａのコンテンツ情報を再生してから次の再生位置Ｂのコンテンツ情報を再生するめでに要する時間の逆数を意味する。再生テンポやクロック間隔に読み替え可能な概念である。

トラック：コンテンツを楽曲、パート、音声、背景音、映像、色（例えばＲＧＢ）、等々を要素ごとにまとめたもの。

トリガーポイント：トラック毎に予め定められた少なくとも一部の再生位置を意味する。

トラック制御情報：トリガーポイントとセットになっており当該トラックがトリガーされたときの制御情報であり、例えばオン、オフ、音量の上下などが含まれる。

トリガー要因：トリガーポイントに対応して決められる、トリガーポイントでトラック制御情報を出力するかどうかを決める基準の情報である。

図１に、実施例１の再生コンテンツ制御装置１００の機能構成例を示す。その動作フローを図２に示す。再生コンテンツ制御装置１００は、呼吸計測部２０と、呼吸指標抽出部３０と、記憶部１０と、トラック制御部４０と、トラック再生制御部５０と、再生部６０と、制御部７０と、を具備する。呼吸計測部２０と再生部６０とを除く部分は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現することができる。

記憶部１０は、サンプル点τを再生位置とし、音程や音の強さを示す複数のトラック（例えば１６チャネル）に分離されたＭＩＤＩ（Musical Instrument Digital Interface）データであるコンテンツ情報と、各トラックに対応させた1個以上のトリガーポイントと各トラックを制御するトラック制御情報（オン，オフ）と、を含むトリガー付きコンテンツを記憶している。トリガー付きコンテンツは予め外部から記憶部１０に入力される。

呼吸計測部２０は、コンテンツを鑑賞する鑑賞者９５の呼吸状態を計測し、それによって得られる呼吸情報を出力する（ステップＳ２０）。この例では、胸部回りや腹部回りの長さに対応する情報を呼吸レベル（呼吸情報）とし、胸部や腹部に巻き付けられたゴム管の抵抗変化から呼吸を検出する装置（例えば、日本光電製のTR-753Tや、ADInstruments製のMLT1132）を呼吸計測部２０とする。この例では、設定されたある任意の周期Ｔ１で呼吸レベルＶ（ｔ）を計測して出力する。なお、ｔは離散的な時刻に対応する整数インデックスであり、「時刻ｔ」とは整数インデックスｔに対応する時刻を意味する。

図３に、呼吸計測部２０から出力される呼吸レベルＶ（ｔ）を例示する。横軸は時刻ｔ、縦軸は呼吸レベルＶ（ｔ）である。呼気が開始される時刻である呼気開始時刻（ｂｐｅ（ｎ−１）等）で呼吸レベルＶ（ｔ）が極大となり、呼気状態が進むにつれて呼吸レベルＶ（ｔ）が減少し、吸気が開始される時刻である吸気開始時刻（ｂｐｉ（ｎ）等）で呼吸レベルＶ（ｔ）が極小となり、吸気状態が進むにつれて呼吸レベルＶ（ｔ）が増加し、次の呼気開始時刻（ｂｐｅ（ｎ）等）で再び呼吸レベルＶ（ｔ）が極大となる、といった状態が周期的に繰り返される。

呼吸指標抽出部３０は、鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出して出力する（ステップＳ３０）。呼吸指標抽出部３０は、呼吸計測部２０から出力された呼吸レベルＶ（ｔ）を入力として、例えば、鑑賞者９５の時刻ｔから見た直近の未来の呼気開始時刻の予測値ｐｂｐｅ（ｎ）を呼吸指標として出力する。ここで、ｎは説明上便宜的に付した番号であり、鑑賞者９５の呼吸回数に対応する整数である。

図４に、呼気開始時刻の予測値ｐｂｐｅ（ｎ）を例示する。横軸は時刻ｔ、縦軸は呼吸レベルＶ（ｔ）である。呼気開始時刻の予測値ｐｂｐｅ（ｎ）は、例えば、現在の時刻ｔ＝ｔ１から見た直近の過去の呼吸周期ｂｐｅ（ｎ−１）とｂｐｅ（ｎ−２）とから推定して求めることができる。呼気開始時刻の予測値ｐｂｐｅ（ｎ）は、例えば次のように算出することができる。

ここでｂｐｅ（ｎ−１）は、呼吸レベルＶ（ｔ１），Ｖ（ｔ１−１），Ｖ（ｔ１−２），…を用いて算出された時刻ｔから見た直近の過去の呼気開始時刻を表し、ｂｐｅ（ｎ−２）は、呼気開始時刻ｂｐｅ(ｎ−１)から見た直近の過去の呼気開始時刻を表す。直近の過去の２つの呼気開始時刻から、時刻ｔ＝ｔ１から見た直近の未来の呼吸情報の極大値に対応する時刻ｐｂｐｅ（ｎ）を、式（１）で求め、その時刻ｐｂｐｅ（ｎ）を呼吸指標として出力する。

トラック制御部４０は、呼吸指標とトラック制御情報とを入力として、呼吸指標の時刻がトリガーポイントの時刻に対して所定の範囲内にある場合にトラック制御情報を出力する（ステップＳ４０）。所定の範囲内とは、呼気開始とトラックの制御が同期していると人が感じる時間幅であり、例えば±１００ｍｓ程度の時間である。

図５に、トラック制御部４０の動作の一例を示す。図５の横方向は時刻ｔ、1行目は、この例では例えばＭＩＤＩ情報のサンプル点τ、２行目はトラック１のＭＩＤＩ情報、３行目はトラック２のＭＩＤＩ情報、４行目はトラック１のトリガーポイントとトラック制御情報、５行目はトラック２のトリガーポイントとトラック制御情報、６行目は呼吸指標ｐｂｐｅ（ｎ）を示す。ここで、サンプル点τは例えば標準設定値Ｓ０の間隔で更新されるＭＩＤＩのＴｉｃｋであり０以上の整数である。その値が大きいほど遅い時間に対応する。トラックは例えば１６チャネル程度の数が用意され、楽器／チャネルである。ここでは２チャネルの例を示す。例えばトラック１は伴奏、トラック２はボーカルであるとする。

トラック制御部４０は、サンプル点τ＝０に定義されたトラック１のトリガーポイントＴｒｉｇ１（０）のトラック制御情報であるｏｎを、トラック１のトラック制御情報としてトラック再生制御部５０に出力する。ここで、Ｔｒｉｇ１（ｍ１）はトラック１のｍ１個目のトリガーポイントを表す。ｍ１はインデックスであり０以上の整数である。例えばサンプル点τ＝０におけるトリガーポイントのトラック制御情報は、無条件でトラック再生制御部５０に出力されるものとする。

トラック再生制御部５０は、トラック１のＭＩＤＩ情報をサンプル点τ＝０から再生部６０に出力する（ステップＳ５０）。本実施例では、当該トラックの制御情報がオフであればヌル情報、又はブランク情報を再生部６０に出力し、オンであれば当該トラックに含まれるＭＩＤＩ情報から再生情報を生成し再生部６０に出力する。

再生部６０は、例えば、アンプ、スピーカ、画像表示装置などから構成される周知の呈示装置であり、コンテンツを順次出力する（ステップＳ６０）。トラック再生制御部５０と再生部６０は、現在時刻が次のトリガーポイントに到達するまで同じ処理を繰り返す。例えば図５のＴｒｉｇ１（０）から次のトリガーポイントまでの区間は、トラック１のＭＩＤＩ情報から作られた再生情報とトラック２のブランク情報とが出力される。制御部７０は、各部の動作を制御する。

トラック制御部４０は、現在時刻がトラック２に設定されたトリガーポイントＴｒｉｇ２（０）に到達すると、現在時刻を基準として前後±Ａｍｓ（例えばＡ＝１００ｍｓ）の時間範囲内に呼吸指標ｐｂｐｅ（ｎ）が発生するか否かを評価する（ステップＳ４２）。呼吸指標ｐｂｐｅ（ｎ）が発生した場合、トリガーポイントＴｒｉｇ２（０）のトラック制御情報（ｏｎ）がトラック再生制御部５０に出力される（ステップＳ４２のＹｅｓ）。トラック再生制御部５０は、トリガーポイントＴｒｉｇ２（０）のトラック制御情報がｏｎであるため、トリガーポイントＴｒｉｇ２（０）のタイミングでトラック２のＭＩＤＩ情報（ボーカル）を順次読み出してボーカルを伴奏に重畳させて再生部６０に出力する。再生部６０は、生成された再生情報を出力する。

現在時刻を基準として前後±Ａｍｓの時間範囲内に呼吸指標ｐｂｐｅ（ｎ）が発生しない場合は、トリガーポイントＴｒｉｇ２（０）のトラック制御情報がトラック再生制御部５０に出力されない（ステップＳ４２のＮｏ）。

なお、図５において、トリガーポイントＴｒｉｇ２（０）のトラック制御情報がｏｆｆの場合、トラック再生制御部５０はトラック２のＭＩＤＩ情報を再生部６０に出力しない、又は代わりにヌル情報を出力する。図５に示す例は、Ｔｒｉｇ２（０）でボーカルを挿入する例であるが、トリガーポイントＴｒｉｇ２（０）以降のサンプル点で、ＭＩＤＩ情報の出力を中止（削除）する場合は、そのトリガーポイントのトラック制御情報をｏｆｆに設定しておく。

このように、再生コンテンツ制御装置１００によれば、鑑賞者９５の呼吸のリズムに合わせてコンテンツを制御することが可能であり、トラック制御情報に基づいて、例えば、ボーカルを伴奏に重畳させたり、他の楽音を追加したり、又はそれらを削除することができる。

鑑賞者がコンテンツに対する経験が多い、また、コンテンツに没入したり集中したりするほど呼吸がコンテンツの場面に引き込まれるとういうことが知られている（参考文献：「Sato, Ohsuga, Moriya, “Increase in synchronization of respiration by repeatedly listening to the same piece of music,” IEEE ISCIR2010, pp. 1035-1038））、本発明の再生コンテンツ制御装置１００によれば、鑑賞者のコンテンツ情報に対する一体感や臨場感などの感覚を、より強く制御することが可能になる。なお、コンピュータだけでは構成できない呼吸計測部２０と再生部６０は、再生コンテンツ制御装置１００の外部に設けてもよい。その場合は、呼吸指標抽出部３０と記憶部１０とトラック制御部４０とトラック再生制御部とは、1台のコンピュータで構成され、そのコンピュータの外部機器接続部（ポート）を介して呼吸計測部２０と再生部６０とが、外部に構成される。

〔変形例１〕
なお、呼吸指標抽出部３０は、呼吸レベルＶ（ｔ）から直接的に求められる呼気開始時刻ｂｐｅ（ｎ）をトラック制御部４０に出力するようにしてもよい。鑑賞者９５の呼吸状態が急速に変化するような場合には、過去の呼吸状態から直近の未来の呼吸レベルの極大値の予測に誤差が生じる場合が考えられる。そのような場合には、呼吸レベルＶ（ｔ）から直接的に求められる呼気開始時刻ｂｐｅ（ｎ）を用いた方がよい。

また、逆に鑑賞者９５の呼吸状態が安定状態にある時には、過去の複数の呼気開始時刻ｂｐｅ（ｎ）を平均して、直近の未来の呼吸レベルを予測した呼気開始時刻の予測値ｐｂｐｅ（ｎ）を用いるようにしてもよい。つまり、鑑賞者９５の呼吸状態の安定度に応じて呼吸指標を適応的に変更するように、呼吸指標抽出部３０を構成してもよい。

〔変形例２〕
また、未来の直近の呼吸情報の極大値に対応する時刻ｐｂｐｅ（ｎ）は、鑑賞者９５の周期的な呼吸運動の位相を特定するための情報である呼吸指標φ（ｔ）に置き換えてもよい。その場合、呼吸指標抽出部３０′は、図６に示すように遅延フィルター３１と直交座標変換手段３２とで構成される。

時刻ｔにおける呼吸レベルＶ（ｔ）が、相空間の1次元目の値として直交座標変換手段３２に入力される。また、時刻ｔにおける呼吸レベルＶ（ｔ）が、遅延フィルター３１に入力され遅延時間γ後に、相空間の２次元目の値として直交座標変換手段３２に入力される。遅延時間γは、呼吸の場合は２００ｍｓから８００ｍｓ程度が望ましい。

直交座標変換手段３２は、相空間の直交座標系の点（Ｖ（ｔ），Ｖ（ｔ−γ））を極座標表示した場合の偏角を、呼吸指標φ（ｔ）として求めて出力する（図７Ａ）。

このように呼吸指標φ（ｔ）を位相として扱う場合は、記憶部１０に記憶されているトリガー付きコンテンツの各トリガーポイントに対応させて呼吸運動の位相を特定するための情報であるトリガー要因を持たせることも可能である。

図８に、３トラックの例で各トリガーポイントにトリガー要因を持たせたトリガー付きコンテンツを例示する。図中のＴｒｉｇ１Φ（・）がトリガー要因である。（・）はトリガー要因の順番を表す番号であり、実際には位相値がＴｒｉｇ１Φ（・）に入る。

トリガーポイントにトリガー要因を持たせる場合、トラック制御部４０′は、トラック毎にトリガー要因と呼吸状態の距離を計り、もし距離が設定された範囲（ψ）より短ければトリガー要因とセットになっているトラック制御情報を出力するように動作する。

例えば、時刻ｔ１が、トリガーポイントが設定された時刻に到達すると、トラック制御部４０′はトリガー要因と呼吸運動の位相との位相角の差Ｌ′を式（２）で求める。

Ｒ′は途中結果を示す変数。この位相角がＬ′＜ψを満たせばトリガーポイントＴｒｉｇ１（ｍ1−1）に対応したトラック制御情報（ｏｎ）をトラック再生制御部５０に出力する。ここで、ψは人がトリガー要因に設定された呼吸状態と自らの呼吸が同期すると感じる範囲で良く、例えば０.１ラジアンに設定する。他の各機能部の動作は、実施例１と同じである。

〔変形例３〕
一つのトリガーポイントに一つのトラック制御情報を設定する例を示して説明を行なったが、一つのトリガーポイントに対して複数のトリガー要因とトラック制御情報をセットにして設定するようにしてもよい。

図９に、トリガーポイントＴｒｉｇ１（ｍ１）に３つのトリガー要因とトラック制御情報を組にして設定した例を示す。呼吸指標抽出部３０′が出力する呼吸指標φ（ｔ）と、それぞれのトリガー要因との位相角Ｌ′を求め、位相角Ｌ′が最小で且つ、Ｌ′＜ψを満たす場合に、トラック制御部４０′はトラック制御情報を出力する。例えばＴｒｉｇ１Φ′（ｍ１）の音量上げ（ＵＰ）の制御情報が選択されて出力される。

このように、一つのトリガーポイントに対して複数のトリガー要因とトラック制御情報をセットにして設定することで、より細やかにコンテンツ制御を行うことができる。

上記した再生コンテンツ制御装置１００は、トリガーポイントにおける鑑賞者９５の呼吸状態によって、例えばボーカルを開始させたり音量を大きくさせたりなど、コンテンツ情報を変化させることができる。その機能にさらに、コンテンツの進行を鑑賞者９５の呼吸に同期させるようにコンテンツの再生速度を可変する機能を加えた再生コンテンツ制御装置２００も考えられる。

図１０に、実施例２の再生コンテンツ制御装置２００の機能構成例を示す。その動作フローを図１１に示す。再生コンテンツ制御装置２００は、呼吸計測部２０と、呼吸指標抽出部３０と、記憶部１０′と、トラック制御部４０と、トラック再生制御部５０′と、再生部６０と、制御部７０′と、再生速度演算部８０と、コンテンツ再生速度制御部９０と、を具備する。再生コンテンツ制御装置２００は、上記した再生コンテンツ制御装置１００に対して、記憶部１０′が、記憶部１０に対して呼気運動を開始する時点として望ましいサンプル点を表す呼吸目標情報Ｂｐｅ（μ）を含むトリガー付きコンテンツ情報である点と、再生速度演算部８０と再生コンテンツ速度制御部９０を備える点で異なる。再生コンテンツ制御装置２００も、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現することができる。

〔呼吸目標情報〕
呼吸目標情報Ｂｐｅ（μ）は、あるコンテンツ情報のサンプル点（呼吸目標設定位置）において実現されると望ましい呼吸状態を意味する。例えば呼吸目標情報は呼気開始点しか用いないと予め決められている場合、Ｂｐｅ（μ）は呼気運動を開始する時点として望ましいサンプル点τ上の位置（呼吸目標設定位置）を示す。例えば、呼吸目標サンプル点τ＝１００で呼気開始が実現されるのが望ましい場合、呼吸目標情報Ｂｐｅ（μ）の値は１００である。μは説明上便宜的に付した指標であり、各呼吸目標情報Ｂｐｅ（μ）を識別するための０以上の連続した整数である。値が大きいほど時間的に後の呼吸目標情報に対応する。

図１２に、呼吸目標情報Ｂｐｅ（μ）を含むトリガー付きコンテンツ情報を例示する。各再生対象のサンプル点τに対応するコンテンツ情報が順次再生される点は、実施例１のトリガー付きコンテンツ情報と同じである。再生対象のサンプル点τの更新周期をサンプル更新間隔と称し、予め定められたサンプル更新間隔の標準設定値をＳ０とする。

〔再生速度演算部８０〕
再生速度演算部８０は、呼吸目標情報Ｂｐｅ（ｍ）と呼吸指標ｐｂｐｅ（ｎ）とを入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者９５の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する（ステップＳ８０、図１１）。すなわち、再生速度演算部８０は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者９５の呼吸状態との相関が高くなるように、コンテンツ情報の再生速度を設定する。なお、設定される再生速度は、鑑賞者９５の呼吸を誘導するための速度ではなく、コンテンツの進行を鑑賞者９５の呼吸に同期させるための速度である。

図１２を参照して、実施例２の再生速度演算部８０の動作を説明する。

再生速度演算部８０は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、再生速度演算部８０は、呼吸計測部２０で呼吸レベルＶ（ｔ）が得られるたびに、周期Ｔ１でサンプル更新間隔Ｓ（ｔ）を定め、これを再生速度情報として出力する。ここで、ｐ（ｔ）は、時刻ｔの時点で再生されたコンテンツ情報に対応するサンプル点τを表す。同期重要度α（τ）については後述する。

時刻ｔ＝ｔ１の時点で、サンプル点τ＝ｐ（ｔ１）に対応するコンテンツ情報ｄ（ｐ（ｔ１））までの再生が終了しているとする。このとき呼吸分布付きコンテンツに含まれるサンプル点τ＝ｐ（ｔ１）からみて直近の未来の呼吸目標サンプル点がＢｐｅ（ｍ）（μ＝ｍ）であり、時刻ｔ＝ｔ１の時点で呼吸指標抽出部３０から出力された呼気開始時刻の予測値（呼吸指標）がｐｂｐｅ（ｎ）であったとする。

この場合、再生速度演算部８０は、呼吸指標抽出部３０から出力された呼吸指標である呼気開始時刻の予測値ｐｂｐｅ（ｎ）と、記憶部１０′に格納された呼吸目標分布付きコンテンツから抽出した呼吸目標サンプル点Ｂｐｅ（ｍ）及びサンプル点τ＝ｐ（ｔ１）とを入力とし、呼気開始時刻の予測値ｐｂｐｅ（ｎ）に、呼吸目標サンプル点Ｂｐｅ（ｍ）に対応するコンテンツ情報ｄ（τ）の再生時刻に近づくように、サンプル更新間隔Ｓ（ｔ１）を次式で算出して出力する。

再生速度演算部８０は、時刻ｔ１から時刻ｐｂｐｅ（ｎ）までの間に再生対象のサンプル点がｐ（ｔ１）からＢｐｅ（ｍ）まで更新されるようなサンプル更新間隔Ｓ（ｔ１）を算出し、当該サンプル更新間隔Ｓ（ｔ１）を再生速度情報として出力する。

トラック再生制御部５０′は、トラック再生制御部５０との差分のみを記述する。各トラックに関するトラック制御情報からコンテンツ情報に修正を加え、その修正されたコンテンツ情報ｄ（τ）をコンテンツ再生速度制御部９０に出力する。例えば本実施例ではあるトラックのトラック制御情報がｏｆｆならヌル情報、ｏｎだけならば入力された元のＭＩＤＩ情報をコンテンツ再生速度制御部９０にそのまま出力する。

コンテンツ再生速度制御部９０は、再生速度情報であるサンプル更新間隔Ｓ（ｔ１）と、トラック再生制御部５０′より出力されるコンテンツ情報ｄ（τ）とを入力とし、サンプル更新間隔Ｓ（ｔ１）で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報ｄ（τ）を再生するための再生情報ｒ（τ）（音響信号等）を順次出力する（ステップＳ９０）。例えば、コンテンツ再生速度制御部９０は、サンプル更新間隔Ｓ（ｔ１）で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報ｄ（τ）を再生するための再生情報ｒ（τ）を順次出力する。

再生部６０は、再生情報ｒ（τ）によって特定されるコンテンツ情報を出力する（ステップＳ６０）。

再生コンテンツ制御装置２００によれば、コンテンツの再生速度が鑑賞者９５の呼吸指標に近づくように制御されるため、鑑賞者９５のコンテンツに対する没入度をより高める効果を奏する。

〔変形例４〕
実施例２で説明したトリガー付きコンテンツ情報に、さらに呼吸目標設定位置Ｂｐｅ（μ）にそれぞれ対応する係数である同期重要度α（τ）を持たせた変形例を説明する。同期重要度α（τ）を含むトリガー付きコンテンツ情報を記憶する記憶部を記憶部１０″（図１０）と表記する。同期重要度α（τ）は、再生位置に対応する呼吸目標情報の重要度を表す値であり、再生位置に対応する呼吸目標情報と、コンテンツ情報が再生される時点での鑑賞者９５の呼吸と、を同期させる重要度が大きいほど大きな値をとる。同期重要度α（τ）は例えば０以上１以下の値に設定されることが望ましい。

同期重要度α（τ）を含む場合、再生速度演算部８０′は、呼吸指標抽出部３０から出力された呼吸指標である呼気開始時刻の予測値ｐｂｐｅ（ｎ）と、記憶部１０″に格納されたトリガー付きコンテンツから抽出した呼吸目標サンプル点Ｂｐｅ（ｍ）、同期重要度α（ｐ（ｔ１））及びサンプル点τ＝ｐ（ｔ１）とを入力とし、サンプル点τ＝ｐ（ｔ１）の同期重要度α（ｐ（ｔ１））を考慮しつつ、呼気開始時刻の予測値ｐｂｐｅ（ｎ）に、呼吸目標サンプル点Ｂｐｅ（ｍ）に対応するコンテンツ情報ｄ（τ）の再生時刻が近づくように、サンプル更新間隔Ｓ（ｔ１）を以下のように算出する。

ここで、Ｓ０は予め定められたサンプル更新間隔の標準設定値であり、右辺第１項はサンプル更新間隔の変化量である。すなわち、再生速度演算部８０′は、同期重要度α（ｐ（ｔ１））が１の場合には、時刻ｔ１から時刻ｐｂｐｅ（ｎ）までの間に再生対象のサンプル点がｐ（ｔ１）からＢｐｅ（ｍ）まで更新されるようなサンプル更新間隔Ｓ（ｔ１）を算出する。一方、同期重要度α（ｐ（ｔ１））が０以上１未満の場合、再生速度演算部８０′は、サンプル更新間隔の標準設定値Ｓ０に対する変化量が同期重要度α（ｐ（ｔ１））が１の場合よりも小さなサンプル更新間隔Ｓ（ｔ１）を算出する。特に、同期重要度α（ｐ（ｔ１））が０の場合には、Ｓ（ｔ１）＝Ｓ０となる。

このように同期重要度α（τ）の値に応じてコンテンツの再生速度を変化させるようにしてもよい。他の部分の動作は上記した再生コンテンツ制御装置２００と同じである。

〔変形例５〕
以上のように、特許文献１の技術と本発明を組み合わせることが可能である。更に特許文献１の第三実施形態における呼吸目標情報を、上記した呼吸運動の位相を特定するための情報であるトリガー要因としても良い。すなわち、トリガーポイントのトリガー要因を同じサンプル位置に設定された呼吸目標情報とする。

例えば、図１３に示すように、トリガーポイントがＴｒｉｇ１（ｍ１）であるとき、このトリガーポイントに対応するトリガー要因をＴｒｉｇ１（ｍ１）のサンプル点位置にある呼吸目標情報Φ（Ｔｒｉｇ１（ｍ１））とする。すなわちＴｒｉｇ１Φ（ｍ１）＝Φ（Ｔｒｉｇ１（ｍ１））となる。

このように呼吸目標情報を、呼吸運動の位相を特定するための情報であるトリガー要因にしても、コンテンツのトラックを制御することが可能であり、この場合、再生速度の変化によりトリガー要因と鑑賞者の呼吸状態が近付くように制御されるため、トラック制御が頻繁に行われるようになる。

以上説明したように本発明の再生コンテンツ制御装置１００によれば、鑑賞者がコンテンツの場面に引き込まれた時（呼吸が合った時）に、楽音の追加／削除、音量の上下等をおこなうことができるので鑑賞者のコンテンツに対する没入度を高めることができる。また、コンテンツの継時的なタイミングに合わせてコンテンツの要素（トラック）が変化するため、音楽のフレーズの途中で急に楽音が増えるといったことがなく、コンテンツの連続性が失われない。例えば、ループミュージックにおいて、鑑賞者がリズムにのって呼吸を合わせると楽音を追加する。呼吸が合わないと楽音を減らして主リズムを強調させるといったことが可能となる。

また、実施例２で説明した再生コンテンツ制御装置２００によれば、呼吸とコンテンツの場面が同期するようにコンテンツの再生が行われるため、鑑賞者の感覚をコンテンツに引き込み易くなり、コンテンツに対する没入感や集中度をさらに効果的に高める効果を奏することができる。

なお、実施例１の変形例１として説明した呼吸指標抽出部３０の出力する呼吸指標を、呼吸レベルＶ（ｔ）から直接的に求められる呼気開始時刻とする方法は、再生コンテンツ制御装置２００（実施例２）にも適用することが可能である。また、変形例３で説明した一つのトリガーポイントに複数のトラック制御情報を設定する考えも、再生コンテンツ制御装置２００（実施例２）に適用することが可能である。

また、上記した実施例では、呼気開始時刻を予め定められたトリガー要因として用いた例で説明を行ったが、トリガー要因を吸気開始、吸気量が閾値を超えた（大きく息を吸ったとき）等に置き換えても、上記したのと同様の効果を奏することができる。このように本発明は、上記した実施例に限定されるものではない。

また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行され
るのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (11)

1. １個以上のトラックに分離された時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、各トラックに対してある再生位置を示す１個以上のトリガーポイントと、当該トリガーポイントに対応したトラックの制御方法を特定するトラック制御情報と、を含むトリガー付きコンテンツ情報を記憶する記憶部と、
   鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出して出力する呼吸指標抽出部と、
   上記呼吸指標と上記トリガーポイントと上記トラック制御情報とを入力として、上記呼吸指標が上記トリガーポイントを再生する時点で予め定められた呼吸状態と所定の範囲内にある場合に、上記トラック制御情報を出力するトラック制御部と、
   上記記憶部に記憶されたコンテンツ情報と上記トラック制御部の出力するトラック制御情報を入力として、当該トラック制御情報に基づいて上記コンテンツ情報の再生制御を行うトラック再生制御部と、
   を具備する再生コンテンツ制御装置。
2. １個以上のトラックに分離された時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、各トラックに対してある再生位置を示す１個以上のトリガーポイントと、当該トリガーポイントに対応したトラックの制御方法を特定するトラック制御情報と、少なくとも一部の再生位置にその再生位置を再生する時点での鑑賞者の望ましい呼吸状態を表す呼吸目標情報と、を含むトリガー付きコンテンツ情報を記憶する記憶部と、
   上記鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出して出力する呼吸指標抽出部と、
   上記呼吸指標と上記トリガーポイントと上記トラック制御情報とを入力として、上記呼吸指標が上記トリガーポイントを再生する時点で予め定められた呼吸状態と所定の範囲内にある場合に、上記トラック制御情報を出力するトラック制御部と、
   上記記憶部に記憶されたコンテンツ情報と上記トラック制御部の出力するトラック制御情報を入力として、当該トラック制御情報に基づいて上記コンテンツ情報の出力制御を行うトラック再生制御部と、
   上記呼吸指標と上記呼吸目標情報を入力として、何れかの上記呼吸目標情報に上記鑑賞者の呼吸状態が近づくように、上記各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、当該再生速度を特定する再生速度情報を出力する再生速度演算部と、
   上記再生速度情報と上記トラック再生制御部の出力するコンテンツ情報とを入力とし、当該再生速度で特定される再生速度で上記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生速度制御部と、
   を具備する再生コンテンツ制御装置。
3. 請求項１に記載した再生コンテンツ制御装置において、
   上記記憶部は、各トリガーポイントに対してトリガーポイントを再生する時点でトラック制御情報を出力するか否かの判断をする際に用いる呼吸状態をトリガー要因として含み、
   上記トラック制御部は、上記呼吸指標が上記トリガーポイントを再生する時点で上記トリガー要因と所定の範囲内にある場合に上記トラック制御情報を出力する、
   ことを特徴とする再生コンテンツ制御装置。
4. 請求項２に記載した再生コンテンツ制御装置において、
   上記記憶部は、各トリガーポイントに対してトリガーポイントを再生する時点でトラック制御情報を出力するか否かの判断をする際に用いる呼吸状態をトリガー要因として含み、
   上記トラック制御部は、上記呼吸指標が上記トリガーポイントを再生する時点で上記トリガー要因と所定の範囲内にある場合に上記トラック制御情報を出力する、
   ことを特徴とする再生コンテンツ制御装置。
5. 請求項４に記載した再生コンテンツ制御装置において、
   上記呼吸指標と、上記トリガー要因と、上記呼吸目標情報は、周期的な呼吸運動の位相を特定するための情報である、
   ことを特徴とする再生コンテンツ制御装置。
6. 請求項４又は５に記載した再生コンテンツ制御装置において、
   上記記憶部は上記トリガーポイントに複数（２個以上）のトラック制御情報とトリガー要因が設定され、
   上記トラック制御部は上記呼吸指標が上記トリガーポイントを再生する時点で上記トリガー要因に対して所定の範囲内で且つ、当該呼吸指標が最も上記トリガー要因に近いトラック制御情報が出力される、
   ことを特徴とする再生コンテンツ制御装置。
7. 請求項４乃至６の何れかに記載した再生コンテンツ制御装置において、
   上記トラック制御部は、呼吸指標と、予め定めた呼吸状態、またはトリガー要因との間が所定の範囲内にあることを、トリガーポイントと呼吸指標の出力が指す時刻との差で判定する、
   ことを特徴とする再生コンテンツ制御装置。
8. 請求項１乃至７の何れかに記載した再生コンテンツ制御装置において、
   上記呼吸指標は、鑑賞者を計測して得られる呼吸情報から求めた、直近の未来の呼気開始時刻の予測値である、
   ことを特徴とする再生コンテンツ制御装置。
9. 記憶部に記憶された１個以上のトラックに分離された時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、各トラックに対してある再生位置を示す１個以上のトリガーポイントと、当該トリガーポイントに対応したトラックの制御方法を特定するトラック制御情報と、を含むトリガー付きコンテンツ情報を用いる再生コンテンツ制御方法であって、
   鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出して出力する呼吸指標抽出過程と、
   上記呼吸指標と上記トリガーポイントと上記トラック制御情報とを入力として、上記呼吸指標が上記トリガーポイントを再生する時点で予め定められた呼吸状態と所定の範囲内にある場合に、上記トラック制御情報を出力するトラック制御過程と、
   上記記憶部に記憶されたコンテンツ情報と上記トラック制御過程によって出力されたトラック制御情報を入力として、当該トラック制御情報に基づいて上記コンテンツ情報の再生制御を行うトラック再生制御過程と、
   を備える再生コンテンツ制御方法。
10. 記憶部に記憶された１個以上のトラックに分離された時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、各トラックに対してある再生位置を示す１個以上のトリガーポイントと、当該トリガーポイントに対応したトラックの制御方法を特定するトラック制御情報と、少なくとも一部の再生位置にその再生位置を再生する時点での鑑賞者の望ましい呼吸状態を表す呼吸目標情報と、を含むトリガー付きコンテンツ情報を用いる再生コンテンツ制御方法であって、
    上記鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出して出力する呼吸指標抽出過程と、
    上記呼吸指標と上記トリガーポイントと上記トラック制御情報とを入力として、上記呼吸指標が上記トリガーポイントを再生する時点で予め定められた呼吸状態と所定の範囲内にある場合に上記トラック制御情報を出力するトラック制御過程と、
    上記記憶部に記憶されたコンテンツ情報と上記トラック制御過程によって出力されたトラック制御情報を入力として、当該トラック制御情報に基づいて上記コンテンツ情報の出力制御を行うトラック再生制御過程と、
    上記呼吸指標と上記呼吸目標情報を入力として、何れかの上記呼吸目標情報に上記鑑賞者の呼吸状態が近づくように、上記各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、当該再生速度を特定する再生速度情報を出力する再生速度演算過程と、
    上記再生速度情報と上記トラック再生制御過程によって出力されたコンテンツ情報とを入力とし、当該再生速度で特定される再生速度で上記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生速度制御過程と、
    を備える再生コンテンツ制御方法。
11. 請求項１乃至８の何れかに記載した再生コンテンツ制御装置としてコンピュータを機能させるためのプログラム。
    

Images