JP5599498B2 - 再生速度同期装置、再生速度同期方法、及びプログラム - Google Patents
再生速度同期装置、再生速度同期方法、及びプログラム Download PDFInfo
- Publication number
- JP5599498B2 JP5599498B2 JP2013182508A JP2013182508A JP5599498B2 JP 5599498 B2 JP5599498 B2 JP 5599498B2 JP 2013182508 A JP2013182508 A JP 2013182508A JP 2013182508 A JP2013182508 A JP 2013182508A JP 5599498 B2 JP5599498 B2 JP 5599498B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- respiratory
- time
- breathing
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
pbpe(n)=2・bpe(n-1)-bpe(n-2)
であるpbpe(n)を、前記予測時刻として抽出して、前記呼吸情報が計測された時刻tに対応する再生位置をp(t)とし、前記第1呼吸目標設定位置をBpe(m)としたとき、
S(t)=(pbpe(n)-t1)/Bpe(m)-p(t1)
であるS(t)を前記再生速度情報とし、当該S(t)の時間間隔で次の再生位置のコンテンツ情報が再生されるように、前記再生情報を出力する。
以下のように用語を定義する。
次に、本発明の第1実施形態を説明する。
図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
入力部11は、呼吸分布付きコンテンツ12aの入力を受け付ける機能部であり、入力部11の例は、入力ポート、入力インタフェース、読み出し装置、受信装置などである。
呼吸分布付きコンテンツ12aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含むデータ構造からなるデータである。
記憶部12は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
呼吸計測部13は、コンテンツの鑑賞者100の呼吸状態を計測し、それによって得られる呼吸情報を出力する周知の装置である。本形態の例では、胸部回りや腹部回りの長さに対応する情報(呼吸レベル)を呼吸情報とし、胸部や腹部に巻き付けられたゴム管の抵抗変化から呼吸を検出する装置(例えば、日本光電製のTR-753Tや、ADInstruments製のMLT1132)を呼吸計測部13とする。この例の呼吸計測部13は、設定されたある任意の周期T1で呼吸レベルV(t)を計測して出力する。なお、tは離散的な時刻に対応する整数インデックスであり、「時刻t」とは整数インデックスtに対応する時刻を意味する。また、V(t)は時刻tでの呼吸レベルを表す。
呼吸指標抽出部14は、例えば、CPU(central processing unit)に所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部14は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力するものである。本形態の例の呼吸指標抽出部14は、呼吸計測部13から出力された呼吸レベルV(t)を入力とし、計測対象となる鑑賞者の、時間tからみた直近の未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。ここで、nは説明上便宜的に付した指標であり、鑑賞者の呼吸回数に対応する整数である。
=2・bpe(n-1)-bpe(n-2) …(1)
ここでbpe(n-1)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された時間tからみた直近の過去の呼気開始時刻を表し、bpe(n-2)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された呼気開始時刻bpe(n-1)からみた直近の過去の呼気開始時刻を表す。より具体的には、例えば、時刻t=t1からみた直近の呼吸レベルの極大値に対応する時刻をbpe(n-1)とし、呼気開始時刻bpe(n-1)からみた直近の呼吸レベルの極大値に対応する時刻をbpe(n-2)とする(図2参照)。
再生速度演算部15は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部15は、呼吸目標情報と呼吸指標とを入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。すなわち、再生速度演算部15は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態との相関が高くなるように、コンテンツの再生速度を設定する。なお、設定される再生速度は、鑑賞者の呼吸を誘導するための速度ではなく、コンテンツの進行を鑑賞者の呼吸に同期させるための速度である。
すなわち、再生速度演算部15は、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出し、当該サンプル更新間隔S(t1)を再生速度情報として出力する。
コンテンツ再生速度制御部16は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部16は、再生速度情報とコンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
再生部17は、例えば、アンプ、スピーカー、画像表示装置などから構成される周知の呈示装置である。再生部17は、コンテンツ再生速度制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを出力する。
制御部19は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部19は、再生速度同期装置1の処理全体を制御する。
次に、本形態の再生速度同期方法を例示する。
第2実施形態は第1実施形態の変形例である。第2実施形態の呼吸分布付きコンテンツは、さらに、再生位置にそれぞれ対応する係数である同期重要度を含み、第2実施形態の再生速度演算部は、さらに同期重要度を入力とし、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を定める。
図1に例示するように、第2実施形態の再生速度同期装置2は、入力部21と、呼吸分布付きコンテンツ22aを格納する記憶部22と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部25と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
入力部21は、呼吸分布付きコンテンツ22aの入力を受け付ける機能部であり、記憶部22は、呼吸分布付きコンテンツ22aを格納する。呼吸分布付きコンテンツ22aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、再生位置にそれぞれ対応する係数である同期重要度とを含むデータ構造からなるデータである。ここで、同期重要度は、それに対応する再生位置に対応する呼吸目標情報の重要度を示す。すなわち、同期重要度は、それに対応する再生位置に対応する呼吸
目標情報と、その再生位置に対応するコンテンツ情報が再生される時点での鑑賞者100の呼吸と、を同期させる重要度が大きいほど大きな値をとる。第2実施形態の場合、同期重要度は0以上1以下の値に設定されることが望ましい。
再生速度演算部25は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部25は、呼吸目標情報と同期重要度と呼吸指標を入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、α(p(t1)){((pbpe(n)-t1)/(Bpe(m)-p(t1)))-S0}は、サンプル更新間隔の変化量である。すなわち、再生速度演算部25は、同期重要度α(p(t1))が1の場合には、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出する。一方、同期重要度α(p(t1))が0以上1未満の場合、再生速度演算部25は、サンプル更新間隔の標準設定値S0に対する変化量が、同期重要度α(p(t1))が1の場合のものよりも小さなサンプル更新間隔S(t1)を算出する。特に、同期重要度α(p(t1))が0の場合には、S(t1)=S0となる。
次に、図5を用いて本形態の再生速度同期方法を例示する。
態と同一である。
第1,2実施形態の呼吸指標抽出部14は、式(1)に従って呼気開始時刻の予測値pbpe(n)を算出した。しかし、呼吸指標抽出部が、呼吸レベルV(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の呼吸レベルV(t)の予測値(図4に例示した未来の呼吸レベルV(t)を示す点線)を算出し、その呼吸レベルV(t)の予測値を用いて呼気開始時刻の予測値pbpe(n)を算出してもよい。
ただし、a, a0, a1, …, ajは線形予測分析によって得られる予測係数である。各予測係数a, a0, a1, …, ajは、呼吸レベルの予測値PV(t+1)と実際の呼吸レベルV(t+1)との差(予測残差)のエネルギーが最小となるように選択される。各予測係数a, a0, a1, …, ajの算出は、例えば、レビンソン・ダービン(Levinson-Durbin)法やバーグ(Burg)法などの逐次的方法によって行われてもよいし、自己相関法や共分散法のように予測次数ごとに連立方程式(予測残差を最小にする線形予測係数を解とする連立方程式)を解くことによって行われてもよい(「守谷健弘著、“音声符号化”、社団法人電子情報通信学会、1998」「日野幹雄著、“スペクトル解析”、朝倉書店、1979」など参照)。また、jは0以上の整数である。jは定数であってもよいし、変数であってもよい。
PV(t1+k-1)-PV(t1+k-2)>0 …(5)
(PV(t1+k)-PV(t1+k-1))・(PV(t1+k-1)-PV(t1+k-2))<0 …(6)
の両式を満たすか否かを判定し、これら両式を初めて満たした時点のkを用い、呼気開始時刻の予測値pbpe(n)を以下の式によって求める。
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS14−2で制御部19が1つの呼気開始時刻(bpe(1))を特定できる時刻までの呼吸レベルが計測されたか否かを判定する代わりに、j+1個の呼吸レベルV(t)が計測された否かを判定し、Noの場合はステップS13の処理に戻り、Yesの場合にはステップS15(S25)に進む点である。
本形態は、第1,2実施形態の変形例である。第3実施形態の呼吸目標情報及び呼吸指標は、それぞれ、周期的な呼吸運動の位相を特定するための情報であり、第3実施形態の再生速度演算部は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
図1に例示するように、第3実施形態の再生速度同期装置3は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部35と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
入力部31は、呼吸分布付きコンテンツ32aの入力を受け付ける機能部であり、記憶部32は、呼吸分布付きコンテンツ32aを格納する。呼吸分布付きコンテンツ32aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報とを含む。第1,2実施形態との相違点は、呼吸目標情報が周期的な呼吸運動の位相を特定するための情報である点である。
呼吸指標抽出部34は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部34は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の周期的な呼吸運動の位相を特定するための情報を呼吸指標として抽出し、当該呼吸指標を出力するものである。
再生速度演算部35は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部35は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
求める。
If |R(t1)|>π then L(t1)=R(t1)-Sgn(R(t1))・2π else L(t1)=R(t1) …(9)
ただし、Sgn(δ)は符号関数であり、その関数値は、δ<0のときはSgn(δ)=-1となり、δ=0のときはSgn(δ)=0となり、δ>0のときはSgn(δ)=1となる。L(t1)>0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいることになり、L(t1)<0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れていることになる。図8(B)に、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示する。なお、図8(B)はL(t1)<0の例である。
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり BR>ACはC>0を満たす任意の定数である。例えば、取り得るすべてのα(τ),L(t)に対してα(p(t))・C・L(t)+1>0となるように定数Cが定められた場合、再生速度演算部25は、鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいる場合(L(t1)>0)に、S0よりも大きなサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸に同期している場合(L(t1)=0)に、S0と等しいサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れている場合(L(t1)<0)に、S0よりも小さなサンプル更新間隔S(t1)を算出する。
次に、図5を用いて本形態の再生速度同期方法を例示する。
第3実施形態の再生速度演算部35は、式(10)に従ってサンプル更新間隔S(t1)を算出した。しかし、式(10)の代わりに、以下の式(11)に従ってサンプル更新間隔S(t1)を算出してもよい。
ただし、D[L(t)]はL(t)に関数D[L]を作用させた関数値である。関数D[L]に応じ、鑑賞者100の呼吸に対するコンテンツの再生速度の追従のさせ方を変化させることができる。
D[L]=C・L …(12)
で示される関数を例示した図である。この場合の関数値D[L(t)]は、L(t)に対して比例関係にある。この例の場合の処理は、第3実施形態と同一となる。
D[L]=C1*L (L<0) …(13)
D[L]=C2*L (L>=0) …(14)
で示される関数を例示した図である。ただし、C1,C2はC1>C2>0の条件を満たす任意の定数である。この関数D[L]の場合、L(t)>0である場合のL(t)の変化量に対する関数値D[L(t)]の変化量は、L(t)<0である場合のL(t)の変化量に対する関数値D[L(t)]の変化量よりも小さい。この場合、再生速度演算部は、鑑賞者の呼吸の位相が呼吸目標情報の示す呼吸の位相より進んでいる場合(L(t1)>0)のサンプル更新間隔の調整(再生速度を速くする調整)よりも、鑑賞者の呼吸の位相が呼吸目標情報の示す呼吸の位相より遅れている場合(L(t1)<0)のサンプル更新間隔の調整(再生速度を遅くする調整)を強調した処理を行うことになる。すなわち、絶対値が等しいL(t1)に対し、L(t1)<0の場合のS0に対するS(t1)の変化量は、L(t1)>0の場合のS0に対するS(t1)の変化量よりも大きい。
D[L]=SIN(L) …(15)
で示される関数を例示した図である。この関数D[L]の場合、再生速度演算部は、図9(A)の関数D[L]を用いる場合に比べ、鑑賞者の呼吸と呼吸目標情報の示す呼吸との位相差が大きくなってもサンプル更新間隔の変化量をさほど増加させないことになる。
第3実施形態及びその変形例1では、呼吸指標抽出部が、現時点の時刻t=t1での呼吸指標φ(t)を出力し、再生速度演算部が、現時点の時刻t=t1での呼吸指標φ(t)(鑑賞者の周期的な呼吸運動の位相を特定するための情報)に、時刻t=t1の時点で再生対象となるサンプル点τ=p(t1)に対応する呼吸目標情報Φ(p(t1))が近づくようにサンプル更新間隔S(t1)を定めた。しかし、呼吸指標抽出部が、呼吸レベルV(t)から求めた呼吸指標φ(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の呼吸指標φ(t)の予測値を算出し、再生速度演算部が、その呼吸指標φ(t)の予測値を用いてサンプル更新間隔を定めてもよい。
前述のように、a, a0, a1, …, ajは線形予測分析によって得られる予測係数である。また、各予測係数a, a0, a1, …, ajは、呼吸レベルの予測値PV(t+1)と実際の呼吸レベルV(t+1)との差(予測残差)のエネルギーが最小となるように選択される。また、jは0以上の整数である。jは定数であってもよいし、変数であってもよい。
ただし再生開始時などS(t1)が存在しない場合は、以下のようにサンプル点τ=pp(t1+q)を求める。
そして、再生速度演算部は、このように求めたサンプル点τ=pp(t1+q)に対応する呼吸目標情報Φ(pp(t1+q))を呼吸分布付きコンテンツ32aから抽出し、これと呼吸指標の予測値pφ(t1+q)とを用い、サンプル更新間隔S(t1+q)を以下のように求める。
If |R(t1+q)|>π then L(t1)=R(t1+q)-Sgn(R(t1+q))・2π
else L(t1+q)=R(t1+q) …(20)
S(t1+q)=S0/{α(pp(t1+q))・C・L(t1+q)+1} …(21)
或いは、式(21)の代わりに以下の式(22)を用いてもよい。
〔第3実施形態の変形例3〕
また、第3実施形態の変形例2の変形として、第1,2実施形態の変形例と同様に、呼吸指標抽出部が、呼吸レベルV(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の時刻t=t1+qでの呼吸レベルV(t1+q)の予測値を算出し、呼吸指標抽出部が、未来の時刻t=t1+qでの呼吸指標φ(t1+q)を生成して出力し、再生速度演算部が、未来の時刻t=t1+qでの呼吸指標φ(t)(鑑賞者の周期的な呼吸運動の位相を特定するための情報)に、時刻t=t1+qの時点で再生対象となるサンプル点τ=p(t1+q)に対応する呼吸目標情報Φ(p(t1+q))が近づくようにサンプル更新間隔S(t1+q)を定めてもよい。
第3実施形態では、呼吸レベルV(t)を1次元目にとり、その遅延値V(t-γ)を2次元目にとる相空間表現を用いる例を示した。しかし、第3実施形態、その変形例1−3においてその他の相空間表現を用いてもよい。例えば、呼吸レベルV(t)を1次元目にとり、V(t)のヒルベルト変換値(一般的に解析信号と呼ばれる)を2次元目にとる相空間での位相を特定する情報を呼吸指標としてもよい(例えば、「K. Kotani, K. Takamasu, Y. Jimbo, Y. Yamamoto, “Postural-induced phase shift of respiratory sinus arrhythmia and blood pressure variations: insight from respiratory-phase domain analysis,” Am. J. Physiol. Heart. Circ. Physiol. , Vol. 294, pp. H1481-H1489, 2008」参照)。また、呼吸レベルV(t)の微分値W(t)が得られる場合には、呼吸レベルV(t)を1次元目にとり、呼吸レベルV(t)の微分値W(t)を2次元目にとってもよい。また、呼吸レベルV(t)の微分値W(t)が得られない場合には、呼吸レベルV(t)を差分フィルターに通した擬似的な微分値(例えばV(t)-V(t-1))/T1)を2次元目にとってもよい(例えば、日本光電製のTR-712を用いるとW(t)に相当する値を計測することができる)。
第3実施形態やその変形例1−4において、|L(t1)|>Zの場合に再生速度演算部で生成されるサンプル更新間隔S(t1)がS0に対して50%以上変化するよう、同期重要度α(τ) をすべてのサンプル点τに渡って
α(τ)>1/(C・Z) …(23)
とする。例えば、Z=0.05・πの場合、同期重要度α(τ) をすべてのサンプル点τに渡って
α(τ)>1/(C・0.05・π) …(24)
とする。
第3実施形態やその変形例1−4において、呼吸分布付きコンテンツが同期重要度α(τ)を含まない構成であってもよい。この場合、再生速度演算部が行う演算中の同期重要度α(τ)は、すべて1などの定数と置き換えればよい。
第4実施形態は、第3実施形態やその変形例1−6に対する変形例であり、再生速度演算部が、現時点の呼吸指標よって特定される位相と、「特定の呼吸目標設定位置」に対応する呼吸目標情報によって特定される位相との差が閾値以下となった場合に、特定の呼吸目標設定位置以降の各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を特定する再生速度情報の出力を開始し、コンテンツ再生速度制御部が、現時点の呼吸指標よって特定される位相と、「特定の呼吸目標設定位置」に対応する呼吸目標情報によって特定される位相との差が閾値以下となった場合に、当該再生速
度情報で特定される再生速度で、「特定の呼吸目標設定位置」以降の各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報の出力を開始する。以下では、一例として、「特定の呼吸目標設定位置」を先頭のコンテンツ情報d(τ)のサンプル点τ=0(図7参照)とし、「閾値」を0とする場合を説明する。この場合、呼吸指標抽出部から出力された現時点の呼吸指標φ(t1)よって特定される位相と、呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、コンテンツ情報の再生が開始されることになる。
図1に例示するように、第4実施形態の再生速度同期装置4は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部45と、コンテンツ再生速度制御部46と、再生部17と、制御部19とを有する。
再生速度演算部45は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部45は、コンテンツ情報d(τ)の再生開始前に、呼吸目標分布付きコンテンツ32aから先頭のコンテンツ情報d(0)に対応する呼吸目標情報Φ(0)を読み出し、呼吸指標抽出部34から出力された現時点の呼吸指標φ(t1)よって特定される位相と、読み出した呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、サンプル点τ=0以降の各サンプルτにそれぞれ対応するサンプル更新間隔S(t)の生成と出力を開始する。なお、サンプル更新間隔の生成方法は、第3実施形態やその変形例1−6と同じでよい。
コンテンツ再生速度制御部46は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部46は、呼吸指標抽出部34から出力された現時点の呼吸指標φ(t1)よって特定される位相と、呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、サンプル更新間隔S(t)で特定される再生速度で、サンプル点τ=0以降の各サンプル点τにそれぞれ対応する各コンテンツ情報d(τ)を順次再生するための再生情報r(τ)の出力を開始する。
次に、本形態の再生速度同期方法を例示する。
第5実施形態は、第3実施形態やその変形例1−6に対する変形例である。第5実施形態の呼吸分布付きコンテンツの一部の再生位置に対応するコンテンツ情報は、ヌル情報又はブランク情報であり、呼吸分布付きコンテンツの一部の呼吸目標情報は、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対して定められている。本形態の再生速度演算部は、さらに、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、現時点の呼吸指標よって特定される位相との差が小さくなるように、当該ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置の更新間隔を特定する第2再生速度情報を出力し、本形態のコンテンツ再生速度制御部は、さらに、第2再生速度情報を入力とし、第2再生速度情報で特定される更新間隔で、ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置を時間軸に沿って更新する。
図1に例示するように、第5実施形態の再生速度同期装置5は、入力部51と、呼吸分布付きコンテンツ52aを格納する記憶部52と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部55と、コンテンツ再生速度制御部56と、再生部17と、制御部19と、を有する。
入力部51は、呼吸分布付きコンテンツ52aの入力を受け付ける機能部であり、記憶部52は、呼吸分布付きコンテンツ52aを格納する。呼吸分布付きコンテンツ52aの一部の再生位置に対応するコンテンツ情報は、ヌル情報又はブランク情報であり、呼吸分布付きコンテンツ52aの一部の呼吸目標情報は、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対して定められている。
目標情報)と、同期重要度α(τ)とが対応付けられている。
本形態の再生速度演算部55は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部55は、第3実施形態やその変形例1−6と同様にサンプル更新間隔を再生速度情報として出力することに加え、さらに、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、現時点の呼吸指標よって特定される位相との差が小さくなるように、当該ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置の更新間隔を特定するサンプル更新間隔を第2再生速度情報として出力する。第2再生速度情報であるサンプル更新間隔の生成方法は、対処となる呼吸目標設定位置がヌル情報又はブランク情報であるコンテンツ情報に対応すること以外、第3実施形態やその変形例1−6で説明したサンプル更新間隔の生成方法と同様である。
本形態のコンテンツ再生速度制御部56は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部56は、サンプル更新間隔S(t2)(第2再生速度情報)を入力とし、サンプル更新間隔S(t2)で特定される更新間隔で、ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置を時間軸に沿って更新する。この更新によって再生位置が鑑賞対象のコンテンツ情報に対応する位置に達した場合、コンテンツ再生速度制御部56は、第3実施形態やその変形例1−6のコンテンツ再生速度制御部と同じ処理を開始する。
第6実施形態は、第1−5実施形態やそれらの変形例に対する変形例である。第6実施形態の再生速度演算部は、コンテンツ情報の再生位置を逆戻りさせるような再生速度情報を設定しない。すなわち、本形態の再生速度演算部が設定する再生速度は、再生位置を更新せずに再生を行うことを示すか、又は、再生位置を未来に向かって更新しつつ再生することを示す。例えば、第6実施形態の再生速度演算部は、第1−5実施形態やそれらの変形例で説明したよう方法で算出されたサンプル更新間隔が0未満となった場合にサンプル更新間隔を0として出力する。或いは、第6実施形態の再生速度演算部が第3−5実施形態やそれらの変形例と同様にサンプル更新間隔を算出する場合、再生速度演算部が算出するサンプル更新間隔が必ず0以上となるように、呼吸目標分布付きコンテンツの同期重要度α(τ)の範囲を制限しておく。例えば、式(10)によってサンプル更新間隔が算出される場合には、同期重要度α(τ)の範囲は以下のように制限される。
〔その他の変形例〕
本発明は上述の実施の形態に限定されるものではない。
各実施形態により得られる効果を列挙する。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
Claims (3)
- 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置である各呼吸目標設定位置に対して予め定められた周期的な呼吸運動の位相を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを格納する記憶部と、
鑑賞者を計測して得られる呼吸情報から、当該呼吸情報が計測された時刻tに対して未来の周期的な呼吸運動の位相の予測値および予測時刻を呼吸指標として抽出し、当該呼吸指標を出力する呼吸指標抽出部と、
前記呼吸指標により特定される周期的な呼吸運動の位相の予測値に対応する呼吸目標情報であって、かつ、前記呼吸情報が計測された時刻tに対応する再生位置よりも後の再生位置に対応する前記呼吸目標情報である第1呼吸目標情報と、前記呼吸指標と、を入力とし、前記呼吸指標により特定される予測時刻に、前記第1呼吸目標情報に対応する呼吸目標設定位置である第1呼吸目標設定位置に対応する前記コンテンツ情報が再生される時刻が近づくように、前記時刻tに対応する再生位置から前記第1呼吸目標設定位置までの各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する再生速度演算部と、
前記再生速度情報と前記コンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生速度制御部と、
を有し、
前記呼吸情報は、前記鑑賞者の呼気が周期的な呼吸の位相に対応する呼吸レベルであり、
前記呼吸レベルは、呼気状態が進むにつれてその値が減少し、吸気が開始される時点で極小値をとり、吸気状態が進むにつれてその値が増大し、次の呼気が開始される時点で極大値を取るものであり、
前記呼吸指標抽出部は、前記時刻tに対して過去の前記鑑賞者の呼吸レベルが所定値となる時刻をbpe(n-1)とし、当該時刻bpe(n-1)に対して過去の前記鑑賞者の呼吸レベルが前記所定値となる時刻をbpe(n-2)としたとき、
pbpe(n)=2・bpe(n-1)-bpe(n-2)
であるpbpe(n)を、前記予測時刻として抽出し、
前記再生速度演算部は、前記呼吸情報が計測された時刻tに対応する再生位置をp(t)と
し、前記第1呼吸目標設定位置をBpe(m)としたとき、
S(t)=(pbpe(n)-t1)/Bpe(m)-p(t1)
であるS(t)を前記再生速度情報として出力し、
前記コンテンツ再生速度制御部は、前記S(t)の時間間隔で次の再生位置のコンテンツ情報が再生されるように、前記再生情報を出力する、
ものである再生速度同期装置。 - 鑑賞者を計測して得られる呼吸情報から、当該呼吸情報が計測された時刻tに対して未来の周期的な呼吸運動の位相の予測値および予測時刻を呼吸指標として抽出し、当該呼吸指標を出力する呼吸指標抽出ステップと、
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置である各呼吸目標設定位置に対して予め定められた周期的な呼吸運動の位相を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを格納した記憶部から取得した前記呼吸指標により特定される周期的な呼吸運動の位相の予測値に対応する呼吸目標情報であって、かつ、前記呼吸情報が計測された時刻tに対応する再生位置よりも後の再生位置に対応する前記呼吸目標情報である第1呼吸目標情報と、前記呼吸指標と、を
入力とし、前記呼吸指標により特定される予測時刻に前記第1呼吸目標設定位置に対応する前記コンテンツ情報が再生される時刻が近づくように、前記時刻tに対応する再生位置から前記第1呼吸目標設定位置までの各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する再生速度演算ステップと、
前記再生速度情報と前記コンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生速度制御ステップと、
を有し、
前記呼吸情報は、前記鑑賞者の呼気が周期的な呼吸の位相に対応する呼吸レベルであり、
前記呼吸レベルは、呼気状態が進むにつれてその値が減少し、吸気が開始される時点で極小値をとり、吸気状態が進むにつれてその値が増大し、次の呼気が開始される時点で極大値を取るものであり、
前記呼吸指標抽出ステップは、前記時刻tに対して過去の前記鑑賞者の呼吸レベルが所定値となる時刻をbpe(n-1)とし、当該時刻bpe(n-1)に対して過去の前記鑑賞者の呼吸レベルが前記所定値となる時刻をbpe(n-2)としたとき、
pbpe(n)=2・bpe(n-1)-bpe(n-2)
であるpbpe(n)を、前記予測時刻として抽出し、
前記再生速度演算ステップは、前記呼吸情報が計測された時刻tに対応する再生位置をp(t)とし、前記第1呼吸目標設定位置をBpe(m)としたとき、
S(t)=(pbpe(n)-t1)/Bpe(m)-p(t1)
であるS(t)を前記再生速度情報として出力し、
前記コンテンツ再生速度制御ステップは、前記S(t)の時間間隔で次の再生位置のコンテンツ情報が再生されるように、前記再生情報を出力する、
ことを特徴とする再生速度同期方法。 - 請求項1の再生速度同期装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013182508A JP5599498B2 (ja) | 2013-09-03 | 2013-09-03 | 再生速度同期装置、再生速度同期方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013182508A JP5599498B2 (ja) | 2013-09-03 | 2013-09-03 | 再生速度同期装置、再生速度同期方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009209472A Division JP5392907B2 (ja) | 2009-09-10 | 2009-09-10 | 再生速度同期装置、再生速度同期方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014041686A JP2014041686A (ja) | 2014-03-06 |
JP5599498B2 true JP5599498B2 (ja) | 2014-10-01 |
Family
ID=50393803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013182508A Active JP5599498B2 (ja) | 2013-09-03 | 2013-09-03 | 再生速度同期装置、再生速度同期方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5599498B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001299980A (ja) * | 2000-04-21 | 2001-10-30 | Mitsubishi Electric Corp | 運動支援装置 |
JP4627379B2 (ja) * | 2001-04-04 | 2011-02-09 | 三菱電機株式会社 | 呼吸誘導装置 |
JP2004227638A (ja) * | 2003-01-21 | 2004-08-12 | Sony Corp | データ記録媒体、データ記録方法および装置、データ再生方法および装置並びにデータ伝送方法および装置 |
JP4158533B2 (ja) * | 2003-01-21 | 2008-10-01 | ソニー株式会社 | データの記録、送信または再生に関する方法並びに装置 |
JP2006171133A (ja) * | 2004-12-14 | 2006-06-29 | Sony Corp | 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法 |
-
2013
- 2013-09-03 JP JP2013182508A patent/JP5599498B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014041686A (ja) | 2014-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Marafioti et al. | Adversarial generation of time-frequency features with application in audio synthesis | |
JP6467887B2 (ja) | 情報提供装置および情報提供方法 | |
JP6428066B2 (ja) | 採点装置及び採点方法 | |
CN106503034B (zh) | 一种为动画配乐的方法及装置 | |
JP5392907B2 (ja) | 再生速度同期装置、再生速度同期方法、及びプログラム | |
GB2422755A (en) | Audio signal processing | |
JP5314543B2 (ja) | 呼吸誘導装置、呼吸誘導方法、及びプログラム | |
JP5599498B2 (ja) | 再生速度同期装置、再生速度同期方法、及びプログラム | |
JP5496935B2 (ja) | 呼吸分布更新装置、呼吸分布更新方法、及びプログラム | |
KR101221673B1 (ko) | 전자기타 연습장치 | |
JP5092589B2 (ja) | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム | |
JP6295381B1 (ja) | 表示タイミング決定装置、表示タイミング決定方法、及びプログラム | |
JP5818261B2 (ja) | 再生コンテンツ制御装置とその方法とプログラム | |
JP5587815B2 (ja) | 呼吸分布付与装置、再生速度同期装置、呼吸分布付与方法、再生速度同期方法、及びプログラム | |
JP5673371B2 (ja) | 再生速度同期装置及びプログラム | |
JP5779838B2 (ja) | 音響処理装置およびプログラム | |
JP6762925B2 (ja) | 影響評価装置、呼吸誘導装置、影響評価方法、及びそれらのプログラム | |
JP5060341B2 (ja) | 同期再生装置、楽曲自動リミックスシステム、同期再生方法および同期再生プログラム | |
WO2017145800A1 (ja) | 音声解析装置、音声解析方法及びプログラム | |
JP7147954B2 (ja) | 属性推定装置、属性推定方法、及びプログラム | |
Hirata et al. | Bowing-Net: Motion Generation for String Instruments Based on Bowing Information | |
Maezawa et al. | Automatic music accompaniment based on audio-visual score following | |
JP7115625B2 (ja) | 感情推定装置、感情推定方法、及びプログラム | |
JP7414051B2 (ja) | 拍子決定方法、拍子決定装置、及びプログラム | |
US20230171541A1 (en) | System and method for automatic detection of music listening reactions, and mobile device performing the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140613 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5599498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |