JP5496935B2 - 呼吸分布更新装置、呼吸分布更新方法、及びプログラム - Google Patents

呼吸分布更新装置、呼吸分布更新方法、及びプログラム Download PDF

Info

Publication number
JP5496935B2
JP5496935B2 JP2011050369A JP2011050369A JP5496935B2 JP 5496935 B2 JP5496935 B2 JP 5496935B2 JP 2011050369 A JP2011050369 A JP 2011050369A JP 2011050369 A JP2011050369 A JP 2011050369A JP 5496935 B2 JP5496935 B2 JP 5496935B2
Authority
JP
Japan
Prior art keywords
respiratory
respiration
information
content
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011050369A
Other languages
English (en)
Other versions
JP2012190492A (ja
Inventor
尚 佐藤
健弘 守谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011050369A priority Critical patent/JP5496935B2/ja
Publication of JP2012190492A publication Critical patent/JP2012190492A/ja
Application granted granted Critical
Publication of JP5496935B2 publication Critical patent/JP5496935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、コンテンツの再生技術に関し、特に、鑑賞者の呼吸にコンテンツの再生位置を同期させる技術に関する。
音楽コンテンツなどの時間軸に沿って進行するコンテンツのテンポに基づいて鑑賞者の呼吸テンポが誘導される(呼吸が引き込まれる)という報告がなされている(例えば、非特許文献1,2等参照)。このコンテンツに呼吸が引き込まれる現象を利用し、例えば、音楽テンポに基づいて鑑賞者の呼吸を誘導する発明や商品開発が行われている。例えば、非特許文献3に開示された装置では、ある目標とする呼吸テンポに誘導、あるいは収束させることを目的として、呈示音の時間長を変化させている。
F. HAAS, S. Distenfeld and K. Axen, "Effects of perceived musical rhythm on respiratory pattern," J. Appl Physiol, 1986, 61, pp. 1185-1191 中村敏枝, "音楽における「間」と呼吸について," 日本音響学会音楽音響研究会資料, 1994, MA94, 16 "RESPeRATE TO LOWER BLOOD PRESSURE", [online], [平成23年2月25日検索], インターネット<http://www.resperate.com/us/discover/resperatedemo>
一方、上述したコンテンツに呼吸が引き込まれる現象から、逆に、コンテンツのある場面と鑑賞者の呼吸とが同期することがコンテンツへの一体感や臨場感に関係していると考えられる。ところが、従来検討されていたのは、目標として予め設定された呼吸テンポに誘導、あるいは収束させることを目的として、音楽テンポ等のコンテンツのテンポを設定する方法のみである。呼吸テンポの誘導や収束ではなく、コンテンツの鑑賞者の呼吸に併せてコンテンツのテンポを同期させる方法はこれまで検討されていない。すなわち、従来技術は、コンテンツの場面とその鑑賞者の呼吸との関係が鑑賞者に与える心理的影響を想定しておらず、コンテンツの鑑賞上重要なポイントとなる場面ごとに鑑賞者の呼吸に応じてコンテンツの再生速度を変化させ、同調の度合い(相関)をコントロールするものではない。
本発明はこのような点に鑑みてなされたものであり、コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することが可能な技術を提供することを目的とする。
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを記憶部に格納し、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくような再生速度情報を求め、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
本発明では、以下のように呼吸分布付きコンテンツを更新する。
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する、時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応するコンテンツ情報を順次再生するための再生情報を出力する。再生されたコンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出し、時間軸上の少なくとも一部の位置での鑑賞者の呼吸状態に対応する第2呼吸目標情報を呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する時間軸上の位置である第2呼吸目標設定位置に対応するコンテンツ情報に対応付け、呼吸分布付きコンテンツが含む第1呼吸目標情報を第2呼吸目標情報で置き換える。
何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように再生速度を設定するため、コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することができる。本発明では、そのための呼吸分布付きコンテンツを鑑賞者の呼吸特性を反映したものに容易に更新できる。
図1は、再生速度同期装置の機能構成を例示するためのブロック図である。 図2は、呼吸計測部から出力される呼吸レベルを例示したグラフである。 図3は、呼気開始時刻の予測値の一例を説明するための図である。 図4は、第1実施形態の再生速度演算部の処理機能を例示するための図である。 図5は、再生速度同期方法を例示するためのフローチャートである。 図6は、第2実施形態の再生速度演算部の処理機能を例示するための図である。 図7は、第3実施形態の再生速度演算部の処理機能を例示するための図である。 図8Aは、第3実施形態の呼吸指標抽出部が算出する呼吸指標の例を説明するための図である。図8Bは、呼吸指標と呼吸目標情報とそれらの位相差との関係を例示した図である。 図9は、呼吸分布更新装置の機能構成を例示するためのブロック図である。 図10は、呼吸分布更新方法を例示するためのフローチャートである。 図11は、呼吸分布更新方法を例示するための図である。 図12は、呼吸分布更新方法を例示するための図である。 図13は、呼吸分布更新装置の機能構成を例示するためのブロック図である。 図14は、呼吸分布更新方法を例示するためのフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。
〔用語の定義〕
以下のように用語を定義する。
コンテンツ:音楽、音声若しくは朗読、又は、演劇、映画若しくはテレビ番組その他の動画など、鑑賞目的のための音響情報や映像情報を意味する。
コンテンツ情報:コンテンツを構成し、時間軸に沿って順次再生される情報を意味する。
再生位置:時間軸に沿って順次再生される各コンテンツ情報の再生位置、つまり、コンテンツ再生における時間軸上の進行位置を意味する。より具体的には、例えば、フレーム位置、サンプル点、タイムコード、ソングポジションポインターなどが再生位置に対応する。
呼吸目標設定位置:少なくとも一部の再生位置を意味する。
呼吸状態:周期的に行われる呼吸運動中の各状態を意味する。より具体的には、例えば、呼気運動を開始する時点の状態である呼気開始状態、呼気運動中の各時点での呼気状態、呼気運動を終了する時点の状態である呼気終了状態、吸気運動を開始する時点の状態である吸気開始状態、吸気運動中の各時点での吸気状態、吸気運動を終了する時点の状態である吸気終了状態などが呼吸状態に対応する。
基準状態:所定の呼吸状態を意味する。例えば、呼気開始状態、呼気終了状態、吸気開始状態、吸気終了状態などが基準状態に対応する。
呼吸基準位置:呼吸状態が特定の基準状態となる時間軸上の位置を意味する。
呼吸情報:コンテンツを鑑賞する鑑賞者やコンテンツを演奏又は演ずる演者の呼吸状態を計測して得られる情報を意味する。より具体的には、例えば、胸部回りや腹部回りの長さ、呼吸の気流量、呼気と吸気の温度差などを意味する。
再生速度:ある再生位置Aのコンテンツ情報を再生してから次の再生位置Bのコンテンツ情報を再生するまでに要する時間の逆数を意味する。再生テンポやクロック間隔などに読み替え可能な概念である。
〔第1実施形態〕
次に、本発明の第1実施形態を説明する。
<構成>
図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
図1に例示するように、第1実施形態の再生速度同期装置1は、入力部11と、呼吸分布付きコンテンツ12aを格納する記憶部12と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部15と、コンテンツ再生制御部16と、再生部17と、制御部19とを有する。
[入力部11]
入力部11は、呼吸分布付きコンテンツ12aの入力を受け付ける機能部であり、入力部11の例は、入力ポート、入力インタフェース、読み出し装置、受信装置などである。
[呼吸分布付きコンテンツ12a]
呼吸分布付きコンテンツ12aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含むデータ構造からなるデータである。
本形態の例では、サンプル点を再生位置とし、音程や音の強さを示すMIDIデータをコンテンツ情報とし、呼気運動を開始する時点として望ましいサンプル点(呼吸目標サンプル点)を呼吸目標設定位置とし、呼気開始状態を呼吸目標サンプル点において予め定められた呼吸状態とし、呼吸目標サンプル点における呼気開始状態を特定するための情報を呼吸目標情報とする。例えば、図4に例示する呼吸分布付きコンテンツ12aは、時間軸に沿った各サンプル点τにそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)と、を含むデータ構造からなるデータである。この例のサンプル点τは0以上の整数であり、値が大きいほど遅い時間に対応する。また、この例の呼吸目標情報Bpe(μ)は、それに対応するサンプル点τ(呼吸目標サンプル点)を示す。例えば、呼吸目標サンプル点τ=100に対して定められた呼吸目標情報Bpe(μ)の値は100である。μは説明上便宜的に付した指標であり、各呼吸目標情報Bpe(μ)を識別するための0以上の連続した整数である。値が大きいμほど時間的に後の呼吸目標情報に対応する。図4に例示する呼吸分布付きコンテンツ12aは、再生対象のサンプル点τが時間軸に沿って順次更新されながら、各再生対象のサンプル点τに対応するコンテンツ情報が順次再生される。この再生対象のサンプル点τの更新周期をサンプル更新間隔と呼び、予め定められたサンプル更新間隔の標準設定値をS0とする。
[記憶部12]
記憶部12は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
[呼吸計測部13]
呼吸計測部13は、コンテンツの鑑賞者100の呼吸状態を計測し、それによって得られる呼吸情報を出力する周知の装置である。本形態の例では、胸部回りや腹部回りの長さに対応する情報(呼吸レベル)を呼吸情報とし、胸部や腹部に巻き付けられたゴム管の抵抗変化から呼吸を検出する装置(例えば、日本光電製のTR-753Tや、ADInstruments製のMLT1132)を呼吸計測部13とする。この例の呼吸計測部13は、設定されたある任意の周期T1で呼吸レベルV(t)を計測して出力する。なお、tは離散的な時刻に対応する整数インデックスであり、「時刻t」とは整数インデックスtに対応する時刻を意味する。また、簡単のためにtは周期T1で1ずつ進行するとするとして説明を行う。また、V(t)は時刻tでの呼吸レベルを表す。
図2は、呼吸計測部から出力される呼吸レベルV(t)を例示したグラフである。
図2の例では、呼気が開始される時刻である呼気開始時刻(bpe(n-1)等)で呼吸レベルV(t)が極大となり、呼気状態が進むにつれて呼吸レベルV(t)が減少し、吸気が開始される時刻である吸気開始時刻(bpi(n)等)で呼吸レベルV(t)が極小となり、吸気状態が進むにつれて呼吸レベルV(t)が増加し、次の呼気開始時刻(bpe(n)等)で再び呼吸レベルV(t)が極大となる、といった状態が周期的に繰り返される。
[呼吸指標抽出部14]
呼吸指標抽出部14は、例えば、CPU(central processing unit)に所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部14は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力するものである。本形態の例の呼吸指標抽出部14は、呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者の、時刻tからみた直近の未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。ここで、nは説明上便宜的に付した指標であり、鑑賞者の呼吸回数に対応する整数である。
図3は、呼気開始時刻の予測値の一例を説明するための図である。
呼気開始時刻の予測値pbpe(n)は、例えば、現在の時刻t=t1からみた直近の過去の呼吸周期を、時刻t=t1からみた直近の未来の呼吸周期と推定して求めることができる。すなわち、呼気開始時刻の予測値pbpe(n)は、例えば以下のように算出することができる。
pbpe(n)=bpe(n-1)+(bpe(n-1)-bpe(n-2))
=2・bpe(n-1)-bpe(n-2) (1)
ここでbpe(n-1)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された時刻tからみた直近の過去の呼気開始時刻を表し、bpe(n-2)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された呼気開始時刻bpe(n-1)からみた直近の過去の呼気開始時刻を表す。より具体的には、例えば、時刻t=t1から最も近い過去の呼吸レベルの極大値に対応する時刻をbpe(n-1)とし、呼気開始時刻bpe(n-1)から最も近い過去の呼吸レベルの極大値に対応する時刻をbpe(n-2)とする(図3参照)。
[再生速度演算部15]
再生速度演算部15は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部15は、呼吸目標情報と呼吸指標とを入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。すなわち、再生速度演算部15は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態との相関が高くなるように、コンテンツの再生速度を設定する。なお、設定される再生速度は、鑑賞者の呼吸を誘導するための速度ではなく、コンテンツの進行を鑑賞者の呼吸に同期させるための速度である。
図4は、第1実施形態の再生速度演算部の処理機能を例示するための図である。
本形態の再生速度演算部15は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部15は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。ここで、p(t)は、時刻tの時点で再生されたコンテンツ情報に対応するサンプル点τを表す。以下、図4を用いて再生速度演算部15の処理を例示する。
時刻t=t1の時点で、サンプル点τ=p(t1)に対応するコンテンツ情報d(p(t1))までの再生が終了しているとする。このとき呼吸分布付きコンテンツ12aに含まれるサンプル点τ=p(t1)からみて直近の未来の呼吸目標サンプル点がBpe(m)(μ=m)であり、時刻t=t1の時点で呼吸指標抽出部14から出力された呼気開始時刻の予測値(呼吸指標)がpbpe(n)であったとする。この場合、再生速度演算部15は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出した呼吸目標サンプル点Bpe(m)及びサンプル点τ=p(t1)とを入力とし、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出して出力する。
S(t1)=(pbpe(n)-t1)×T1/(Bpe(m)-p(t1)) (2)
すなわち、再生速度演算部15は、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出し、当該サンプル更新間隔S(t1)を再生速度情報として出力する。
[コンテンツ再生制御部16]
コンテンツ再生制御部16は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生制御部16は、再生速度情報とコンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
本形態のコンテンツ再生制御部16は、再生速度演算部15から出力された再生速度情報であるサンプル更新間隔S(t1)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出されたコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を再生するための再生情報r(τ)(音響信号等)を順次出力する。例えば、コンテンツ再生制御部16は、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を呼吸目標分布付きコンテンツ12aから順次抽出し、抽出したコンテンツ情報d(τ)を再生するための再生情報r(τ)を順次出力する。
[再生部17]
再生部17は、例えば、アンプ、スピーカー、画像表示装置などから構成される周知の呈示装置である。再生部17は、コンテンツ再生制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを出力する。
[制御部19]
制御部19は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部19は、再生速度同期装置1の処理全体を制御する。
<方法>
次に、本形態の再生速度同期方法を例示する。
図5は、再生速度同期方法を例示するためのフローチャートである。
まず、入力部11に呼吸分布付きコンテンツ12aが入力され(ステップS11)、記憶部12に格納される(ステップS12)。
鑑賞者100に取り付けられた呼吸計測部13が周期T1で鑑賞者100の呼吸状態を計測し、それによって得られた呼吸情報である呼吸レベルV(t1), V(t1-1), V(t1-2),...を出力する(ステップS13)。呼吸レベルV(t1), V(t1-1), V(t1-2),...は呼吸指標抽出部14に入力され、呼吸指標抽出部14は、式(1)に従って呼気開始時刻の予測値pbpe(n)(呼吸指標)を算出し、当該呼気開始時刻の予測値pbpe(n)を出力する(ステップS14)。次に、制御部19が、必要時刻までの呼吸レベルが計測されたか否かを判定する(ステップS14−2)。本形態では、制御部19が1つの呼気開始時刻(bpe(1))を特定できる時刻までの呼吸レベルが計測されたか否かを判定する。ここで、必要時刻までの呼吸レベルが計測されていないと判定された場合にはステップS13の処理に戻る。
一方、必要時刻までの呼吸レベルが計測されたと判定された場合、再生速度演算部15は、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出した呼吸目標サンプル点Bpe(m)及びサンプル点τ=p(t1)とを入力とし、式(2)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS15)。
コンテンツ再生制御部16は、再生速度演算部15から出力されたサンプル更新間隔S(t1)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出されたコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を再生するための再生情報r(τ)を順次出力する(ステップS16)。
再生部17は、コンテンツ再生制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定されるコンテンツを出力する(ステップS17)。
次に、呼吸計測部13が新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1であるか否かを判定する(ステップS18)。ここで、新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1でないと判定された場合、ステップS16の処理に戻される。一方、新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1であると判定された場合、次に、制御部19が、呼吸分布付きコンテンツ12aが含むすべてのコンテンツ情報d(τ)の再生が終了したか否かを判定する(ステップS19)。
ここで、すべてのコンテンツ情報d(τ)の再生が終了していないと判定された場合、t1+1を新たなt1としてステップS13の処理に戻される。一方、コンテンツ情報d(τ)の再生が終了していると判定された場合、処理が終了する。
〔第2実施形態〕
第2実施形態は第1実施形態の変形例である。第2実施形態の呼吸分布付きコンテンツは、さらに、再生位置にそれぞれ対応する係数である同期重要度を含み、第2実施形態の再生速度演算部は、さらに同期重要度を入力とし、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を定める。
なお、第2実施形態以降では、第1実施形態と相違する事項を中心に説明し、第1実施形態と共通する事項については説明を省略する。また、同一の処理部や処理ステップには同一の符号を用い、説明の繰り返しを避ける。
<構成>
図1に例示するように、第2実施形態の再生速度同期装置2は、入力部21と、呼吸分布付きコンテンツ22aを格納する記憶部22と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部25と、コンテンツ再生制御部16と、再生部17と、制御部19とを有する。
[入力部21,記憶部22,呼吸分布付きコンテンツ22a]
入力部21は、呼吸分布付きコンテンツ22aの入力を受け付ける機能部であり、記憶部22は、呼吸分布付きコンテンツ22aを格納する。本形態の呼吸分布付きコンテンツ22aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、再生位置にそれぞれ対応する係数である同期重要度とを含むデータ構造からなるデータである。ここで、同期重要度は、それに対応する再生位置に対応する呼吸目標情報の重要度を示す。すなわち、同期重要度は、それに対応する再生位置に対応する呼吸目標情報と、その再生位置に対応するコンテンツ情報が再生される時点での鑑賞者100の呼吸と、を同期させる重要度が大きいほど大きな値をとる。第2実施形態の場合、同期重要度は0以上1以下の値に設定されることが望ましい。
例えば、図6に例示する呼吸分布付きコンテンツ22aは、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)とに加え、さらに、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)を含むデータ構造からなるデータである。
[再生速度演算部25]
再生速度演算部25は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部25は、呼吸目標情報と同期重要度と呼吸指標を入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。
図6は、第2実施形態の再生速度演算部の処理機能を例示するための図である。
再生速度演算部25は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、サンプル点τ=p(t1)の同期重要度α(p(t1))を考慮しつつ、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出する。
S(t1)=α(p(t1)){((pbpe(n)-t1)×T1/(Bpe(m)-p(t1)))-S0}+S0 (3)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、α(p(t1)){((pbpe(n)-t1)×T1/(Bpe(m)-p(t1)))-S0}は、サンプル更新間隔の変化量である。すなわち、再生速度演算部25は、同期重要度α(p(t1))が1の場合には、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出する。一方、同期重要度α(p(t1))が0以上1未満の場合、再生速度演算部25は、サンプル更新間隔の標準設定値S0に対する変化量が、同期重要度α(p(t1))が1の場合のものよりも小さなサンプル更新間隔S(t1)を算出する。特に、同期重要度α(p(t1))が0の場合には、S(t1)=S0となる。
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部21に呼吸分布付きコンテンツ22aが入力され(ステップS21)、記憶部22に格納される(ステップS22)点、ステップS15の処理の代わりに、再生速度演算部25が、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、式(3)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS25)点である。その他は第1実施形態と同一である。
〔第3実施形態〕
本形態は、第1,2実施形態の変形例である。第3実施形態の呼吸目標情報及び呼吸指標は、それぞれ、周期的な呼吸運動の位相に対応する情報(位相を特定するための情報)であり、第3実施形態の再生速度演算部は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
<構成>
図1に例示するように、第3実施形態の再生速度同期装置3は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部35と、コンテンツ再生制御部16と、再生部17と、制御部19とを有する。
[入力部31,記憶部32,呼吸分布付きコンテンツ32a]
入力部31は、呼吸分布付きコンテンツ32aの入力を受け付ける機能部であり、記憶部32は、呼吸分布付きコンテンツ32aを格納する。本形態の呼吸分布付きコンテンツ32aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報とを含む。第1,2実施形態との相違点は、呼吸目標情報が周期的な呼吸運動の位相に対応する情報である点である。
例えば、図7に例示する呼吸分布付きコンテンツ32aは、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、すべてのサンプル点τ(呼吸目標設定位置)に対して定められた、各サンプル点τにおいて望ましい「周期的な呼吸運動の位相」を特定するための情報Φ(τ)(呼吸目標情報)と、同期重要度α(τ)とを含むデータ構造からなるデータである。なお、本形態の呼吸目標情報Φ(τ)の具体例については後述する。
[呼吸指標抽出部34]
呼吸指標抽出部34は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部34は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の周期的な呼吸運動の位相に対応する情報を呼吸指標として抽出し、当該呼吸指標を出力するものである。
図8Aは、第3実施形態の呼吸指標抽出部が算出する呼吸指標の例を説明するための図である。
どのような値を「鑑賞者の周期的な呼吸運動の位相に対応する情報」として用いるかについては特に制限はない。例えば、呼吸レベルV(t)を1次元値とし、その遅延値V(t-γ)を2次元値としたベクトルを「鑑賞者の周期的な呼吸運動の位相に対応する情報」としてもよいし、呼吸レベルV(t)を1次元値とし、その遅延値V(t-γ)を2次元値とした直交座標系の空間(相空間)での極座標の偏角を「鑑賞者の周期的な呼吸運動の位相に対応する情報」としてもよい。
以下では呼吸レベルV(t)を1次元値とし、その遅延値V(t-γ)を2次元値とした直交座標系の空間(相空間)での極座標の偏角を「鑑賞者の周期的な呼吸運動の位相に対応する情報(呼吸指標φ(t))」として用いる。この場合の呼吸指標抽出部34が時刻tに対応する処理は、例えば以下のようになる。
1.呼吸計測部13から出力された時刻tにおける呼吸レベルV(t)を相空間の1次元値とする。
2.呼吸レベルV(t)を時間遅延フィルターに通して得られる呼吸レベルV(t-γ)を相空間の2次元目の値とする。ここでγは時間遅延フィルターの遅延幅(定数)であり、呼吸の場合は200msから800ms程度が望ましい。
3.相空間の直行座標系の点(V(t),V(t-γ))を極座標表示した場合の偏角を、呼吸指標φ(t)として求めて出力する(図8A参照)。
なお、このような値を呼吸指標φ(t)とする場合、予め定められた各サンプル点τにおいて望ましい呼吸指標φ(t)が、当該サンプル点τに対応する呼吸目標情報Φ(τ)(図7参照)として呼吸分布付きコンテンツ32aに設定されている。
[再生速度演算部35]
再生速度演算部35は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部35は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
図7は、第3実施形態の再生速度演算部の処理機能を例示するための図である。
本形態の再生速度演算部35は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部35は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。
時刻t=t1の時点で、サンプル点τ=p(t1)に対応するコンテンツ情報d(p(t1))までの再生が終了しているとする。このとき呼吸分布付きコンテンツ32aに含まれるサンプル点τ=p(t1)に対応する呼吸目標情報がΦ(p(t1))であり、時刻t=t1の時点で呼吸指標抽出部34から出力された呼吸指標(鑑賞者の周期的な呼吸運動の位相に対応する情報)がφ(t1)であったとする。再生速度演算部35は、これらの呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、これらが図8Aの相空間上でなす角を以下のように符号付きで求める。
R(t1)=φ(t1)-Φ(p(t1)) (4)
If |R(t1)|>π then L(t1)=R(t1)-Sgn(R(t1))・2π else L(t1)=R(t1) (5)
ただし、Sgn(δ)は符号関数であり、その関数値は、δ<0のときはSgn(δ)=-1となり、δ=0のときはSgn(δ)=0となり、δ>0のときはSgn(δ)=1となる。L(t1)>0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいることになり、L(t1)<0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れていることになる。図8Bに、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示する。なお、図8BはL(t1)<0の例である。
そして、再生速度演算部35は、時刻t1でのサンプル更新間隔S(t1)を以下のように算出し、これを再生速度情報として出力する。
S(t1)=S0/{α(p(t1))・C・L(t1)+1} (6)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、CはC>0を満たす任意の定数である。例えば、取り得るすべてのα(τ),L(t)に対してα(p(t))・C・L(t)+1>0となるように定数Cが定められた場合、再生速度演算部25は、鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいる場合(L(t1)>0)に、S0よりも大きなサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸に同期している場合(L(t1)=0)に、S0と等しいサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れている場合(L(t1)<0)に、S0よりも小さなサンプル更新間隔S(t1)を算出する。
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部31に呼吸分布付きコンテンツ32aが入力され(ステップS31)、記憶部32に格納される(ステップS32)点、ステップS14の処理の代わりに、呼吸指標抽出部34が、呼吸レベルV(t)を入力として、鑑賞者の周期的な呼吸運動の位相に対応する情報である呼吸指標φ(t)を生成して出力する(ステップS34)点、ステップS14−2の代わりに、制御部19がλ+1個の呼吸レベルV(t)が計測された否かを判定し、Noの場合はステップS13の処理に戻り、Yesの場合には以下のステップS35に進む(ステップS34−2)点、ステップS15の代わりに、再生速度演算部35が、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、式(4)-(6)に従ってサンプル更新間隔S(t1)を算出し、これを再生速度情報として出力する(ステップS35)。その他は第1実施形態と同一である。
〔第3実施形態の変形例1〕
第3実施形態では、呼吸レベルV(t)を1次元値にとり、その遅延値V(t-γ)を2次元値にとる相空間表現を用いる例を示した。しかし、第3実施形態においてその他の相空間表現を用いてもよい。例えば、呼吸レベルV(t)を1次元値にとり、V(t)のヒルベルト変換値(一般的に解析信号と呼ばれる)を2次元値にとる相空間での位相を特定する情報を呼吸指標としてもよい(例えば、「K. Kotani, K. Takamasu, Y. Jimbo, Y. Yamamoto, “Postural-induced phase shift of respiratory sinus arrhythmia and blood pressure variations: insight from respiratory-phase domain analysis,” Am. J. Physiol. Heart. Circ. Physiol. , Vol. 294, pp. H1481-H1489, 2008」参照)。また、呼吸レベルV(t)の微分値W(t)が得られる場合には、呼吸レベルV(t)を1次元値にとり、呼吸レベルV(t)の微分値W(t)を2次元値にとってもよい。また、呼吸レベルV(t)の微分値W(t)が得られない場合には、呼吸レベルV(t)を差分フィルターに通した擬似的な微分値(例えばV(t)-V(t-1))/T1)を2次元目にとってもよい(例えば、日本光電製のTR-712を用いるとW(t)に相当する値を計測することができる)。
〔第3実施形態の変形例2〕
また、呼吸分布付きコンテンツが同期重要度α(τ)を含まない構成であってもよい。この場合には、同期重要度α(τ)を予め定められた値(例えば1)とみなした第3実施形態と同様な処理がなされればよい。
〔第4実施形態〕
本形態では、鑑賞者が呼吸分布付きコンテンツを鑑賞するたびに、呼吸分布付きコンテンツを鑑賞者の特性に適合させていく方法を説明する。すなわち、鑑賞者が呼吸分布付きコンテンツを鑑賞しているときに特定の再生位置で特定の呼吸状態になり易いことを、その呼吸分布付きコンテンツに含まれる呼吸目標情報や同期重要度に反映させる方法を説明する。本形態では、第2実施形態で例示した呼吸分布付きコンテンツ22a(図6)を対象とした例を示す。以下では、上述の何れかの実施形態と共通する事項については、上述した実施形態で用いたのと同じ参照番号を用いて説明を省略する。
図9は、呼吸分布更新装置の機能構成を例示するためのブロック図である。
図9に例示するように、第4実施形態の呼吸分布更新装置4は、入力部21、記憶部42,43、呼吸計測部13、呼吸指標抽出部44、コンテンツ再生制御部46、再生部47、呼吸分布更新部48、及び制御部49を有する。
[記憶部42]
記憶部42は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。記憶部42は、入力部21に入力された呼吸分布付きコンテンツ22aを格納する。呼吸分布付きコンテンツ22aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する、時間軸に沿った第1呼吸目標設定位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)に対して定められた呼吸状態を特定する第1呼吸目標情報と、少なくとも一部の再生位置にそれぞれ対応する係数である第1同期重要度とを含むデータ構造からなるデータである。本形態では、各サンプル点τ(再生位置)にそれぞれ対応するコンテンツ情報d(τ)と、少なくとも一部のサンプル点τに対応する各呼吸目標サンプル点(第1呼吸目標設定位置)に対して定められた呼気開始状態を特定する呼吸目標情報Bpe(μ)(第1呼吸目標情報)と、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)(第1同期重要度)とを含む呼吸分布付きコンテンツ22aを例示して説明を行う。前述のように、μは説明上便宜的に付した指標であり、各呼吸目標情報Bpe(μ)を識別するための0以上の連続した整数である。値が大きいμほど時間的に後の呼吸目標情報に対応する。
[コンテンツ再生制御部46]
コンテンツ再生制御部46は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生制御部46は、呼吸分布付きコンテンツ22aの各サンプル点(再生位置)にそれぞれ対応するコンテンツ情報d(τ)を入力とし、当該コンテンツ情報d(τ)を順次再生するための再生情報r(τ)(音響信号等)を出力する。本形態のコンテンツ再生制御部46は、一定のサンプル更新間隔S(0)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を呼吸目標分布付きコンテンツ22aから順次抽出し、抽出したコンテンツ情報d(τ)を一定速度で再生するための再生情報r(τ)を順次出力する。
[再生部17]
第1実施形態で説明した通りである。本形態の再生部17は、コンテンツ再生制御部46から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを一定の再生速度で再生して出力する。
[呼吸計測部13]
第1実施形態で説明した通り、呼吸計測部13は、再生されたコンテンツ情報の鑑賞者100を計測して得られる呼吸情報を出力する周知の装置である。本形態では、計算の便宜上、コンテンツ情報d(0)の再生開始時刻をt=0として周期T1で各時刻tの呼吸レベルV(t)(呼吸情報)を計測する。ただし、呼吸レベルV(t)の測定はコンテンツ情報d(0)の再生開始時刻よりも前の時点から開始されてもよいし、コンテンツ情報d(0)の再生開始時刻よりも後の時点から開始されてもよい。
[記憶部43]
記憶部43は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を、時刻tと当該時刻tで再生されたコンテンツ情報d(τ)とに対応付けが可能な形態で記録する。本形態では、一例として、コンテンツ情報d(0)の再生開始時刻をt=0とし、サンプル更新間隔S0で再生対象のサンプル点τが更新されつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)が再生されることとする。そのため、呼吸レベルV(t)を時刻tに対応付けて記録すれば、時刻tで再生されたコンテンツ情報d(τ)に呼吸レベルV(t)を対応付けることができる。記憶部43に記録された情報は、以下の処理で適宜読み出されて使用される。
[呼吸指標抽出部44]
呼吸指標抽出部44は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部44は、再生されたコンテンツ情報の鑑賞者100を計測して得られる呼吸情報から、当該鑑賞者100の呼吸状態を特定する呼吸指標を抽出し、呼吸指標を出力する。本形態の例の呼吸指標抽出部44は、呼吸計測部41から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者100の呼気開始時刻bpe(n)を呼吸指標として出力する。例えば、呼吸指標抽出部44は、呼吸運動ごとに呼吸レベルV(t)が極大値となる時刻を呼気開始時刻bpe(n)とし、それらを呼吸指標として出力する(図2参照)。前述のように、nは説明上便宜的に付した指標であり、鑑賞者100の呼吸回数に対応する整数である。
[呼吸分布更新部48]
呼吸分布更新部48は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布更新部48は、時間軸上の少なくとも一部の位置での鑑賞者の呼吸状態を加味した第2呼吸目標情報を、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とから得る。また呼吸分布更新部48は、少なくとも一部の再生位置にそれぞれ対応する係数である第2同期重要度を呼吸指標から得る。呼吸分布更新部48は、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する時間軸上の位置である第2呼吸目標設定位置に対応するコンテンツ情報に対応付け、当該第2同期重要度を当該第2同期重要度に対応する再生位置に対応付け、呼吸分布付きコンテンツが含む第1呼吸目標情報及び第1同期重要度を第2呼吸目標情報及び第2同期重要度でそれぞれ置き換える。
特に本形態の第1呼吸目標情報のそれぞれは、呼吸状態が特定の基準状態となるべき時間軸上の位置である第1呼吸基準位置を特定し、呼吸指標のそれぞれは、鑑賞者の呼吸状態が特定の基準状態となる時間軸上の位置である第2呼吸基準位置を特定する。呼吸分布更新部48は、第1呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第1確率密度関数と第2呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第2確率密度関数との線形和である第3確率密度関数のピークに対応する時間軸上の位置を表す情報を第2呼吸目標情報とする。呼吸分布更新部48は、第1呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第1確率密度関数と第2呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第2確率密度関数との線形和である第3確率密度関数のピークでの関数値に対応する値を第2同期重要度とする。
具体的には本形態の呼吸分布更新部48は、例えば、鑑賞者100の呼気開始状態に対応する呼吸目標情報Bpe'(μ)(第2呼吸目標情報)を、呼気開始時刻bpe(n)(呼吸指標)と呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)(第1呼吸目標情報)とから得る。呼吸目標情報Bpe(μ)(第1呼吸目標情報)のそれぞれは、呼吸状態が呼気開始状態となるべきサンプル点τ(第1呼吸基準位置)を特定し、呼気開始時刻bpe(n)(呼吸指標)のそれぞれは、鑑賞者100の呼吸状態が呼気開始状態となるサンプル点τ(第2呼吸基準位置)を特定する。呼吸分布更新部48は、τ=Bpe(μ)(第1呼吸基準位置に対応する値)を標本として得られる呼吸基準位置の確率密度関数rbpe(τ)(第1確率密度関数)と、呼気開始時刻bpe(n)をサンプル点に変換した値τ=bpe'(n)=p(bpe(n))(第2呼吸基準位置に対応する値)を標本として得られる呼吸基準位置の確率密度関数pbpe(τ)(第2確率密度関数)との線形和である確率密度関数Pbpe(τ)(第3確率密度関数)のピークに対応するサンプル点τ(時間軸上の位置)を表す呼吸目標情報Bpe'(μ1)(第2呼吸目標情報)を得る。μ1は説明上便宜的に付した指標であり、各呼吸目標情報Bpe'(μ1)を識別するための0以上の連続した整数である。値が大きいμ1ほど時間的に後の呼吸目標情報に対応する。また呼吸分布更新部48は、確率密度関数Pbpe(τ)のピークでの関数値に対応する値を同期重要度α'(τ)(第2同期重要度)とする。
以下に呼吸分布更新部48の処理を例示する(図11)。
≪step I≫
呼吸分布更新部48は、記憶部42に格納された呼吸目標分布付きコンテンツ22a(図6)が含む呼吸目標情報Bpe(μ)及び同期重要度α(τ)を読み込む。呼吸分布更新部48は、呼吸目標情報Bpe(μ)(μ=0,1,...,M-1)を標本とみなした確率密度関数rbpe(τ)を求める。ここでは、呼吸目標情報Bpe(μ)(μ=0,1,...,M-1)を標本とみなし、同期重要度α(τ)で重み付けを行い、カーネル密度推定法(参考文献「C. M. ビショップ、パターン認識と機械学習(上)Springer, 2007, 2.5.1節」等参照)を適用する例を示す。この場合、サンプル点τでの確率密度関数rbpe(τ)(確率密度分布)は例えば以下のようになる。
Figure 0005496935

ここで、Mは呼吸目標分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)の総数を表わし、k()はカーネル関数(kernel function)を表す。
カーネル関数k()はカーネル密度推定法として一般的に用いられる関数ならばよく、例えばガウス関数を用いることができる。カーネル関数k()としてガウス関数を用いた場合、確率密度関数rbpe(τ)は例えば以下のようになる。
Figure 0005496935

ただし、hは標準偏差を表し、Hはガウス関数の対称軸となる平均を表す定数である。例えば平均Hを0とし、標準偏差hとして500msに相当する値を例示できる。
≪step II≫
呼吸分布更新部48は、呼吸指標抽出部44で呼吸レベルV(t)(呼吸情報)から得られた時刻tの時間軸で表されている呼気開始時刻bpe(n)(n=0,1,...,N-1)を、サンプル点τの時間軸で表された呼気開始サンプル点bpe'(n)に変換する。
bpe'(n)=bpe(n)×T1÷S0 (9)
ただし、Nは呼吸目標分布付きコンテンツ22aの再生開始から終了までの鑑賞者100の総呼吸回数を表す。
≪step III≫
呼吸分布更新部48は、呼気開始サンプル点bpe'(n)(n=0,1,...,N-1)を標本とみなした確率密度関数pbpe(τ)を求める。カーネル密度推定法を適用する場合のサンプル点τでの確率密度関数pbpe(τ)(確率密度分布)は例えば以下のようになる。
Figure 0005496935
カーネル関数k()はカーネル密度推定法として一般的に用いられる関数ならばよく、例えばガウス関数を用いることができる。カーネル関数k()としてガウス関数を用いた場合、確率密度関数pbpe(τ)は例えば以下のようになる。
Figure 0005496935

ただし、hは標準偏差を表し、Hはガウス関数の対称軸となる平均を表す定数である。例えば平均Hを0とし、標準偏差hとして500msに相当する値を例示できる。
≪step IV≫
呼吸分布更新部48は、確率密度関数rbpe(τ)と確率密度関数pbpe(τ)との線形和である確率密度関数Pbpe(τ)を求める。呼吸分布更新部48は、例えば以下のように確率密度関数Pbpe(τ)を求める。
Pbpe(τ)=rbpe(τ)+a×pbpe(τ) (12)
ただし、aは鑑賞者100の呼吸状態を呼吸目標分布付きコンテンツ22aの呼吸目標情報の更新にどの程度反映させるかを定めるパラメータであり、a≧0を満たす変数又は定数である。
≪step V≫
呼吸分布更新部48は、確率密度関数Pbpe(τ)のピークに対応するサンプル点τの少なくとも一部を新たな呼吸目標情報Bpe'(μ1)(第2呼吸目標情報)とする。例えば、呼吸分布更新部48は、確率密度関数Pbpe(τ)のピークのうち、大きさが所定の閾値Thを超えるピークに対応するサンプル点τを呼吸目標情報Bpe'(μ1)とする。例えば、図11のピークB2は閾値Thを超えるためピークB2に対応するサンプル点τは呼吸目標情報Bpe'(μ1)(μ1=1)とされるが、ピークB3は閾値Th未満であるため、ピークB3に対応するサンプル点τは呼吸目標情報Bpe'(μ1)とされない。ただし、所定の窓幅(例えば2秒に対応する区間)内に2個以上の呼吸目標情報Bpe'(μ1)は設定されない。窓幅内に閾値Thを超えるピークが複数存在する場合には、そのうちで最も値(確率)の大きなピークのみが呼吸目標情報Bpe'(μ1)とされる。例えば、図11のピークB1は閾値Thを超えるが、窓幅内にさらに値の大きなピークB2が存在するため、ピークB1に対応するサンプル点τは呼吸目標情報Bpe'(μ1)とされない。なお、閾値ThはTh≧0を満たす値であり、例えば、確率密度関数Pbpe(τ)の最大値の70%の値などである。
≪step VI≫
呼吸分布更新部48は、確率密度関数Pbpe(τ)のピークでの関数値に対応する値を同期重要度α'(τ)(第2同期重要度)とする。例えば、呼吸分布更新部48は、まず以下のように同期重要度α'(Bpe'(μ1))を得る。
α'(Bpe'(μ1))=b0×Pbpe(Bpe'(μ1)) (13)
ただし、b0はb0>0の任意の比例係数である。
呼吸分布更新部48は、同期重要度α'(Bpe'(μ1))を用いた線形補間により、すべてのサンプル点τでの同期重要度α'(τ)を求める。例えば、呼吸分布更新部48は、サンプル点τ=0,1,2,…,Bpe'(0)での同期重要度α'(τ)を以下のように求める。
α'(τ)=α'(Bpe'(0))÷Bpe'(0)×τ (14)
また呼吸分布更新部48は、例えばサンプル点τ=Bpe'(μ2-1)+1、Bpe'(μ2-1)+2,…、Bpe'(μ2)-1での同期重要度α'(τ)を以下のように求める。ただし、μ2は呼吸目標情報を識別するために便宜的に付した1以上の整数である。
α'(τ)={α'(Bpe'(μ2))-α'(Bpe'(μ2-1))}÷{Bpe'(μ2)-Bpe'(μ2-1)}
×(τ-Bpe'(μ2-1))+α'(Bpe'(μ2-1)) (15)
≪step VII≫
呼吸分布更新部48は、記憶部42に格納された呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)及び同期重要度α(τ)を呼吸目標情報Bpe'(μ1)及び同期重要度α'(τ)にそれぞれ置き換える。これにより、各呼吸目標情報Bpe'(μ1)はコンテンツ情報d(Bpe'(μ1))に対応付けられ、同期重要度α'(τ)はコンテンツ情報d(τ)に対応付けられる。呼吸分布更新部48は、更新した呼吸分布付きコンテンツ22aを出力し、記憶部42に格納する。
[制御部49]
制御部49は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部49は、上述した呼吸分布更新装置4の処理全体を制御する。図10を用いて制御部49の制御処理を説明する。
制御部49は入力部21に入力された呼吸分布付きコンテンツ22aを記憶部42に格納する(ステップS41)。呼吸計測部13は、周期T1で各時刻tの呼吸レベルV(t)(呼吸情報)を計測し(ステップS42)、記憶部43に格納する(ステップS43)。コンテンツ再生制御部46が呼吸分布付きコンテンツ22aの各サンプル点(再生位置)にそれぞれ対応するコンテンツ情報d(τ)を入力とし、当該コンテンツ情報d(τ)を順次再生するための再生情報r(τ)(音響信号等)を出力し、再生部17がそれによって特定されるコンテンツを一定の再生速度で再生する(ステップS44)。制御部49は再生が終了したかを判定し、再生が終了していなければステップS42-S45の処理を継続させる(ステップS45)。再生が終了した場合、制御部49は、呼吸指標抽出部44に呼吸レベルV(t)(呼吸情報)から呼気開始時刻bpe(n)(呼吸指標)を生成させ(ステップS46)、呼吸分布更新部48に呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)及び同期重要度α(τ)を呼吸目標情報Bpe'(μ1)及び同期重要度α'(τ)にそれぞれ更新させる(ステップS47)。
〔第4実施形態の変形例1〕
第4実施形態では、同期重要度α(τ)が設定された呼吸分布付きコンテンツ22aを更新する例を示した。しかし、同期重要度α(τ)が設定されていない第1実施形態の呼吸分布付きコンテンツ12a(図4)を更新することにしてもよい。その場合には、第4実施形態で説明した同期重要度に関する設定や処理が不要となる。
すなわち、入力部21に入力された呼吸分布付きコンテンツ22aが入力部11に入力された呼吸分布付きコンテンツ12aに置き換えられる。呼吸分布付きコンテンツ12aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する、時間軸に沿った第1呼吸目標設定位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)に対して予め定められた呼吸状態を特定する第1呼吸目標情報と、を含むデータ構造からなるデータである。
第4実施形態の変形例1での呼吸分布更新部48は、時間軸上の少なくとも一部の位置での鑑賞者の呼吸状態を加味した第2呼吸目標情報を、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とから得る。呼吸分布更新部48は、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する時間軸上の位置である第2呼吸目標設定位置に対応するコンテンツ情報に対応付け、呼吸分布付きコンテンツが含む第1呼吸目標情報を第2呼吸目標情報で置き換える。
具体的には、第4実施形態の変形例1での呼吸分布更新部48は、α(τ)=1とみなした≪step I-V≫と同等な処理を行い、≪step VI≫の処理を行うことなく、記憶部42に格納された呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)を呼吸目標情報Bpe'(μ1)にそれぞれ置き換え、更新した呼吸分布付きコンテンツ12aを記憶部42に格納する。その他は第4実施形態と同様である。
〔第4実施形態の変形例2〕
また、第4実施形態では、呼吸分布更新部48が、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とから第2呼吸目標情報を得ることとしたが、第1呼吸目標情報を用いることなく呼吸指標から少なくとも一部の第2呼吸目標情報が得られてもよい。すなわち、少なくとも一部のサンプル点τにおいて、式(12)の代わりにPbpe(τ)=pbpe(τ)が用いられてもよい。
〔第5実施形態〕
第5実施形態では、第3実施形態で例示した呼吸分布付きコンテンツ32a(図7)を更新する例を説明する。以下では、上述の何れかの実施形態と共通する事項については、上述した実施形態で用いたのと同じ参照番号を用いて説明を省略する。
図9に例示するように、第5実施形態の呼吸分布更新装置5は、入力部31、記憶部52,43、呼吸計測部13、呼吸指標抽出部54、コンテンツ再生制御部46、再生部17、呼吸分布更新部58、及び制御部59を有する。
[記憶部52]
記憶部52は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。記憶部52は、入力部31に入力された呼吸分布付きコンテンツ32aを格納する。呼吸分布付きコンテンツ32aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する、時間軸に沿った第1呼吸目標設定位置に対して予め定められた呼吸状態を特定する第1呼吸目標情報と、少なくとも一部の再生位置にそれぞれ対応する係数である第1同期重要度とを含むデータ構造からなるデータである。本形態では、各サンプル点τ(再生位置)にそれぞれ対応するコンテンツ情報d(τ)と、各サンプル点τ(第1呼吸目標設定位置)に対して定められた呼吸運動にそれぞれ対応する位相に対応する呼吸目標情報Φ(τ)(第1呼吸目標情報)と、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)(第1同期重要度)とを含む呼吸分布付きコンテンツ32aを例示して説明を行う。
[呼吸指標抽出部54]
呼吸指標抽出部54は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部54は、再生されたコンテンツ情報の鑑賞者100を計測して得られる呼吸情報から、当該鑑賞者100の呼吸状態を特定する呼吸指標を抽出し、呼吸指標を出力する。本形態の例の呼吸指標抽出部54は、呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者100の呼吸運動にそれぞれ対応する位相に対応する情報(V(t),W(t))を呼吸指標として出力する。例えば、呼吸指標抽出部54は、第3実施形態で例示した相空間の直行座標系の点(V(i,t),V(i,t-γ))、言い換えると相空間上のベクトル(V(t),W(t))=(V(t),V(t-γ))を呼吸指標として求めて出力する(図8A参照)。或いは、第3実施形態の変形例1のように相空間上のベクトル(V(t),W(t))の1次元値V(t)と2次元値W(t)とを定め、ベクトル(V(t),W(t))を呼吸指標として出力してもよい。
[呼吸分布更新部58]
呼吸分布更新部58は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布更新部58は、記憶部52から読み込んだ呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)(第1呼吸目標情報)に対応する位相に対応する位相空間上のベクトル(CV(τ),CW(τ))(第1ベクトル)と、呼吸指標(V(t),W(t))に対応する位相に対応する位相空間上のベクトル(V'(τ),W'(τ))(第2ベクトル)と、から得られる重心(G1(τ),G2(τ))(重心ベクトル)の位相に対応する情報を新たな呼吸目標情報Φ'(τ)(第2呼吸目標情報)とする。呼吸分布更新部58は、(G1(τ),G2(τ))の動径(重心ベクトルの大きさ)を新たな同期重要度α'(τ)(第2同期重要度)とする。
以下に呼吸分布更新部58の処理を例示する(図12)。
≪step XI≫
呼吸分布更新部58は、記憶部52に格納された呼吸目標分布付きコンテンツ32a(図7)が含む呼吸目標情報Φ(τ)及び同期重要度α(τ)を読み込む。呼吸分布更新部58は、読み込んだ呼吸目標情報Φ(τ)と同期重要度α(τ)とを、偏角Φ(τ)及び動径α(τ)を持つ相空間の極座標表示とみなして相空間上に投影し、これらを以下のように直交座標系の表現(CV(τ),CW(τ))(第1ベクトル)に変換する。
CV(τ)=α(τ)×COS(Φ(τ)) (16)
CW(τ)=α(τ)×SIN(Φ(τ)) (17)
≪step XII≫
呼吸分布更新部58は、呼吸指標抽出部54で呼吸レベルV(t)(呼吸情報)から得られた時刻tの時間軸に対応する呼吸指標(V(t),W(t))を、以下のようにサンプル点τの時間軸に対応する相空間上の位置(V'(τ),W'(τ))(第2ベクトル)に変換する。
V'(τ)=V(τ×S0÷T1) (18)
W'(τ)=W(τ×S0÷T1) (19)
なお、S0÷T1が整数ではない場合、入力された各時刻tの呼吸指標(V(t),W(t))から式(18)(19)を用いてすべてのサンプル点τに対する(V’(τ),W’(τ))が生成できない場合がある。このような場合には式(18)(19)を用いて得られるベクトルを用いて、得られないサンプル点τに対する(V’(τ),W’(τ))を補完してもよい。例えば、式(18)(19)から(V’(τ-1),W’(τ-1))は得られるが(V’(τ),W’(i,τ))が得られない場合、(V’(τ),W’(τ))=(V’(τ-1),W’(τ-1))などとしてサンプル点τに対する(V’(τ),W’(τ))を補完してもよい。
呼吸分布更新部58は、(CV(τ),CW(τ))と(V'(τ),W'(τ))の重み付き重心(G1(τ),G2(τ))(重心ベクトル)を以下のように求める(図12参照)。
G1(τ)=(CV(τ)+ω×V'(τ))÷(1+ω) (20)
G2(τ) =(CW(τ)+ω×W'(τ))÷(1+ω) (21)
ただし、ωは重み係数であり、任意の定数である。ωにより、鑑賞者100の呼吸の癖を呼吸分布付きコンテンツに反映する程度が決まる。例えば0以上1未満に設定することで、徐々に鑑賞者の呼吸の癖を反映させることが出来る。
≪step XIII≫
呼吸分布更新部58は、(G1(τ),G2(τ))の偏角を新たな呼吸目標情報Φ'(τ)(第2呼吸目標情報)とし、(G1(τ),G2(τ))の動径を新たな同期重要度α'(τ)(第2同期重要度)とする(図12参照)。
≪step XIV≫
呼吸分布更新部58は、記憶部52に格納された呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)及び同期重要度α(τ)を呼吸目標情報Φ'(τ)及び同期重要度α'(τ)にそれぞれ置き換える。これにより、呼吸目標情報Φ'(τ)及び同期重要度α'(τ)はコンテンツ情報d(τ)に対応付けられる。呼吸分布更新部58は、更新した呼吸分布付きコンテンツ32aを出力し、記憶部52に格納する。
[制御部59]
制御部59は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部59は、上述した呼吸分布更新装置4の処理全体を制御する。図10を用いて制御部59の制御処理を説明する。
制御部59は入力部31に入力された呼吸分布付きコンテンツ32aを記憶部52に格納する(ステップS51)。呼吸計測部13は、周期T1で各時刻tの呼吸レベルV(t)(呼吸情報)を計測し(ステップS42)、記憶部43に格納する(ステップS43)。コンテンツ再生制御部46が呼吸分布付きコンテンツ32aの各サンプル点(再生位置)にそれぞれ対応するコンテンツ情報d(τ)を入力とし、当該コンテンツ情報d(τ)を順次再生するための再生情報r(τ)(音響信号等)を出力し、再生部17がそれによって特定されるコンテンツを一定の再生速度で再生する(ステップS44)。制御部59は再生が終了したかを判定し、再生が終了していなければステップS42-S45の処理を継続させる(ステップS45)。再生が終了した場合、制御部59は、呼吸指標抽出部44に呼吸レベルV(t)(呼吸情報)から呼吸指標(V(t),W(t))を生成させ(ステップS56)、呼吸分布更新部58に呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)及び同期重要度α(τ)を呼吸目標情報Φ'(τ)及び同期重要度α'(τ)にそれぞれ更新させる(ステップS57)。
〔第5実施形態の変形例1〕
第5実施形態では、同期重要度α(τ)が設定された呼吸分布付きコンテンツ32aを更新する例を示した。しかし、第3実施形態の変形例2のように同期重要度α(τ)を含まない呼吸分布付きコンテンツを更新する構成でもよい。その場合には、第5実施形態で説明した同期重要度に関する設定や処理が不要となる。すなわち、同期重要度α(τ)を定数とみなした第5実施形態の処理を実行し、≪step XIII≫で新たな同期重要度α'(τ)を生成せず、記憶部52に格納された呼吸分布付きコンテンツが含む呼吸目標情報Φ(τ)を呼吸目標情報Φ'(τ)に置き換えればよい。
〔第5実施形態の変形例2〕
また、第5実施形態では、呼吸分布更新部58が、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とからから第2呼吸目標情報を得ることとしたが、第1呼吸目標情報を用いることなく呼吸指標から少なくとも一部の第2呼吸目標情報が得られてもよい。すなわち、少なくとも一部のサンプル点τについて、(V'(τ),W'(τ))の偏角を新たな呼吸目標情報Φ'(τ)(第2呼吸目標情報)としたり、(V'(τ),W'(τ))の動径を新たな同期重要度α'(τ)(第2同期重要度)としたりしてもよい。
〔第6実施形態〕
第4及び5実施形態では、一定のサンプル更新間隔S(0)で再生対象のサンプル点τを更新してコンテンツ情報d(τ)を一定速度で再生する際にその鑑賞者100の呼吸状態を計測し、その結果を用いて呼吸目標分布付きコンテンツの更新を行った。第6実施形態では、第2実施形態で説明したように鑑賞者100の呼吸状態に応じたサンプル更新間隔S(t1)で再生対象のサンプル点τを更新してコンテンツ情報d(τ)を再生する。そして、その際の鑑賞者100の呼吸状態に基づいて第4実施形態と同様に呼吸目標分布付きコンテンツ22a(図6)の更新を行う。以下では、上述の何れかの実施形態と共通する事項については、上述した実施形態で用いたのと同じ参照番号を用いて説明を省略する。
図13は、呼吸分布更新装置の機能構成を例示するためのブロック図である。
図13に例示するように、第6実施形態の呼吸分布更新装置6は、入力部21、記憶部42,63、呼吸計測部13、呼吸指標抽出部64、コンテンツ再生制御部66、再生部17、対応付け部67、呼吸分布更新部68、及び制御部69を有する。
[コンテンツ再生制御部66]
コンテンツ再生制御部66は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生制御部66は、第1実施形態で説明したコンテンツ再生制御部16と同様、サンプル更新間隔S(t1)とコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で特定される再生速度でコンテンツ情報d(τ)を順次再生するための再生情報r(τ)を出力し、再生情報r(τ)は再生部17での再生に用いられる。さらにコンテンツ再生制御部66は、再生するコンテンツ情報d(τ)に対応する再生サンプル点τ=p(t)を出力する。
[対応付け部67]
対応付け部67には、コンテンツ再生制御部66から出力された再生サンプル点τ=p(t)が入力される。対応付け部67は、再生されたコンテンツ情報d(τ)の鑑賞者100を呼吸計測部13で計測して得られる呼吸レベルV(t)に対応する時刻t(呼吸情報に対応する各時刻に対応する情報)と、再生サンプル点τ=p(t)(再生されたコンテンツ情報に対応する再生位置)とを対応付け、呼吸レベルV(t)と再生サンプル点τ=p(t)とを記憶部63(第2記憶部)に格納する。
[呼吸指標抽出部64]
呼吸指標抽出部64は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部64は、呼吸指標抽出部14と呼吸指標抽出部44の機能の両方を備える。本形態の例の呼吸指標抽出部64は、呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者100の呼気開始時刻bpe(n)及び未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。
[呼吸分布更新部68]
呼吸分布更新部68は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布更新部68は、時間軸上の少なくとも一部の位置での鑑賞者の呼吸状態に対応する第2呼吸目標情報を、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とからから得る。本形態の呼吸分布更新部68は、例えば、鑑賞者100の呼気開始状態に対応する呼吸目標情報Bpe'(μ)(第2呼吸目標情報)を、呼気開始時刻bpe(n)(呼吸指標)と呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)(第1呼吸目標情報)とから得る。第4実施形態の呼吸分布更新部48との相違点は、≪step II≫で式(9)に従って呼気開始時刻bpe(n)(n=0,1,...,N-1)を呼気開始サンプル点bpe'(n)に変換するのではなく、記憶部63に格納された呼吸レベルV(t)に対応する時刻tと再生サンプル点τ=p(t)との対応付けを参照してこの変換(時刻に対応する呼吸指標を再生位置に対応する第2呼吸指標に変換)を行う。すなわち、以下のような変換が行われる。
bpe'(n)=p(bpe(n)) (22)
その他は第4実施形態と同様である。
[制御部69]
制御部69は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部69は、上述した呼吸分布更新装置6の処理全体を制御する。図14を用いて制御部69の制御処理を説明する。制御部69は第2実施形態のステップS21−S19までの処理を実行させる。ステップS19で再生が終了したと判定された場合、制御部69は、呼吸指標抽出部64に呼吸レベルV(t)(呼吸情報)から呼気開始時刻bpe(n)(呼吸指標)を生成させ(ステップS46)、呼吸分布更新部68に呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)及び同期重要度α(τ)を呼吸目標情報Bpe'(μ1)及び同期重要度α'(τ)にそれぞれ更新させる(ステップS67)。
〔第6実施形態の変形例1〕
第6実施形態では、同期重要度α(τ)が設定された呼吸分布付きコンテンツ22aを更新する例を示した。しかし、同期重要度α(τ)が設定されていない第1実施形態の呼吸分布付きコンテンツ12a(図4)を更新することにしてもよい。その場合には、第2実施形態のステップS21−S19までの処理の代わりに第1実施形態のステップS11−S19までの処理(図14)が実行され、ステップS67等での同期重要度に関する設定や処理が不要となる。
〔第7実施形態〕
第7実施形態では、第3実施形態で説明したように鑑賞者100の呼吸状態に応じたサンプル更新間隔S(t1)で再生対象のサンプル点τを更新してコンテンツ情報d(τ)を再生する。そして、その際の鑑賞者100の呼吸状態に基づいて第5実施形態と同様に呼吸目標分布付きコンテンツ32a(図7)の更新を行う。以下では、上述の何れかの実施形態と共通する事項については、上述した実施形態で用いたのと同じ参照番号を用いて説明を省略する。
図13に例示するように、第7実施形態の呼吸分布更新装置7は、入力部31、記憶部52,63、呼吸計測部13、呼吸指標抽出部54、コンテンツ再生制御部66、再生部17、対応付け部67、呼吸分布更新部78、及び制御部79を有する。
[呼吸分布更新部78]
呼吸分布更新部78は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布更新部78は、記憶部52から読み込んだ呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)(第1呼吸目標情報)に対応する位相に対応する位相空間上のベクトル(CV(τ),CW(τ))(第1ベクトル)と、呼吸指標(V(t),W(t))に対応する位相に対応する位相空間上のベクトル(V'(τ),W'(τ))(第2ベクトル)と、から得られる重心(G1(τ),G2(τ))(重心ベクトル)の位相に対応する情報を新たな呼吸目標情報Φ'(τ)(第2呼吸目標情報)とする。呼吸分布更新部78は、(G1(τ),G2(τ))の動径(重心ベクトルの大きさ)を新たな同期重要度α'(τ)(第2同期重要度)とする。呼吸分布更新部78の第5実施形態の呼吸分布更新部58との相違点は、≪step XII≫の処理において式(18)(19)に従って呼吸指標(V(t),W(t))を(V'(τ),W'(τ))(第2呼吸指標)に変換するのではなく、記憶部63に格納された呼吸レベルV(t)に対応する時刻tと再生サンプル点τ=p(t)との対応付けを参照してこの変換(時刻に対応する呼吸指標を再生位置に対応する第2呼吸指標に変換)を行う。すなわち、以下のような変換が行われる。
V'(τ)=V'(p(t))=V(t) (23)
W'(τ)=W'(p(t))=W(t) (24)
その他は第5実施形態と同様である。
[制御部79]
制御部79は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部79は、上述した呼吸分布更新装置7の処理全体を制御する。図14を用いて制御部79の制御処理を説明する。制御部79は第3実施形態のステップS31−S19までの処理を実行させる。ステップS19で再生が終了したと判定された場合、制御部79は、呼吸指標抽出部54に呼吸レベルV(t)(呼吸情報)から呼吸指標(V(t),W(t))を生成させ(ステップS56)、呼吸分布更新部78に呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)及び同期重要度α(τ)を呼吸目標情報Φ(τ)'及び同期重要度α'(τ)にそれぞれ更新させる(ステップS77)。
〔第7実施形態の変形例1〕
第7実施形態では、同期重要度α(τ)が設定された呼吸分布付きコンテンツ32aを更新する例を示した。しかし、第3実施形態の変形例2のように同期重要度α(τ)を含まない呼吸分布付きコンテンツを更新する構成でもよい。その場合には、同期重要度に関する設定や処理が不要となる。すなわち、同期重要度α(τ)を定数とみなした第7実施形態の処理を実行し、≪step XIII≫で新たな同期重要度α'(τ)を生成せず、記憶部52に格納された呼吸分布付きコンテンツが含む呼吸目標情報Φ(τ)を呼吸目標情報Φ'(τ)に置き換えればよい。
〔その他の変形例〕
本発明は上述の各実施形態に限定されるものではない。
例えば、上述の各実施形態では、コンテンツの再生が終了してから記憶部63に記録された呼吸レベルV(t)を用いて呼吸指標を生成し、呼吸分布付きコンテンツを更新することとした。しかし、コンテンツの再生中に順次呼吸レベルV(t)から呼吸指標を生成して呼吸指標を記憶部に記録していき、この記憶部に記録された呼吸指標を用いて呼吸分布付きコンテンツが更新されてもよい。
また上記の各実施形態やその変形例では、サンプル点に呼吸目標情報や同期重要度が対応付けられた呼吸目標分布付きコンテンツを例示した。しかし、呼吸目標情報や同期重要度が何れかの再生位置に対応付けられるのであれば、必ずしも、サンプル点に呼吸目標情報や同期重要度が対応付けられている必要はない。例えば、呼吸目標情報や同期重要度がコンテンツのサンプリング周波数と同じかその(1/自然数)倍の周波数で呼吸目標分布付きコンテンツに分布して記録されていても良いし、任意の間隔で記録されていても良い。任意の間隔で記録する際は、例えば、コンテンツ情報の開始点を特定する始点情報と、当該始点情報に対する呼吸目標情報や同期重要度の相対位置Δを特定する情報とを呼吸目標分布付きコンテンツに格納しておけばよい。また、呼吸目標情報や同期重要度は、離散データある必要もなく、アナログ的に記録されていても良い。また、呼吸目標情報や同期重要度は、コンテンツ全体に定義される必要もなく、その一部分にだけに対して定義されてもよい。
また、上記の各実施形態やその変形例では、再生速度演算部から出力される再生速度情報の具体例としてサンプル更新間隔を例示した。しかし、これは本発明を限定するものではなく、テンポ情報、フレーム位置、クロック周波数等、再生時間(速度)を調節できる信号を再生速度情報としてもよい。
また、上記の各実施形態やその変形例では、呼吸計測部から出力される呼吸情報の具体例として呼吸レベルを例示した。しかし、例えば、呼吸レベルの微分値などを呼吸情報としてもよい。なお、呼吸レベルの微分値は、例えば、呼吸の気流量を検出して得られる。
また、上記の各実施形態やその変形例では、コンテンツ情報の具体例として、音程や音の強さを示すMIDIデータを示した。しかし、音楽、音声、映画やテレビ番組等の動画など、鑑賞目的のための音響情報や映像情報を特定するその他のデータがコンテンツ情報であってもよい。また、コンテンツ再生速度制御部は、再生速度が変わっても、音であればピッチや音質を変更しない、映像であればコマ送りや早送りによる映像の乱れを抑える等の処理を含む再生時間制御処理を行うことが望ましい。
第2実施形態では、0以上1以下の値の同期重要度が好ましいことを示した。しかし、これは本発明を限定するものではなく、同期重要度が0未満であってもよいし、1よりも大きくてもよい。これにより、コンテンツの再生方法のバリエーションを増やし、楽しみ方の選択肢を増やすことができる。例えば、同期重要度を0未満とすることで、鑑賞者にとって違和感のあるコンテンツ再生が可能となり、芸術的表現の幅が広がる。また、すべての実施形態やその変形例において、再生速度演算部が、呼吸目標分布付きコンテンツの同期重要度の符号を反転させた値を、再生速度を算出するための同期重要度として用いる構成でもよい。これにより、違和感のあるコンテンツ再生が可能となる。また、呼吸目標分布付きコンテンツの同期重要度の符号を反転させるか否かを選択できる構成であってもよい。
また、実施形態1−3やその変形例では、呼吸計測部が呼吸情報を出力するたびに、呼吸指標抽出部が呼吸指標を生成し、再生速度演算部がサンプル更新間隔を定めることとしたが、その他のタイミングでこれらの処理が行われてもよい。例えば、呼吸計測部が呼吸情報を生成する周期T1の整数倍(2倍以上)の周期で呼吸指標やサンプル更新間隔を生成してもよいし、再生されるコンテンツ情報に対応する再生位置や呼吸目標設定位置ごとに呼吸指標やサンプル更新間隔をしてもよい。
また、例示したブロック図の各ブロックは概念的に区切られた処理区分であり、それぞれが独立した装置として存在する必要はない。また、各ブロックが1つの装置として構成されている必要もなく、複数の装置に分散して配置されていてもよい。
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
〔各実施形態の特徴〕
各実施形態により得られる効果を列挙する。
第4−7実施形態によれば、鑑賞者があるコンテンツを鑑賞している際の呼吸の癖を徐々に呼吸分布付きコンテンツに反映させることができる。
第6,7実施形態によれば、再生速度が変化する場合でも、コンテンツ再生中のある時点の鑑賞者の呼吸情報をその時点で再生されているコンテンツの再生サンプル点の位置に付与される呼吸目標情報や同期重要度に反映することができる。
〔プログラム,データ構造,記録媒体〕
上述の各構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
また、処理内容を記述したプログラムや前述したデータ構造の呼吸目標分布付きコンテンツは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、プログラムや呼吸目標分布付きコンテンツの流通は、例えば、プログラムや呼吸目標分布付きコンテンツを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、プログラムや呼吸目標分布付きコンテンツをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにプログラムや呼吸目標分布付きコンテンツを転送することにより、これら流通させる構成としてもよい。
また、上述の各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
1−3 再生速度同期装置
4−7 呼吸分布更新装置

Claims (9)

  1. 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置に対応する、前記時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツを格納する記憶部と、
    前記呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応する前記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生制御部と、
    再生された前記コンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出部と、
    前記時間軸上の少なくとも一部の位置での前記鑑賞者の呼吸状態に対応する第2呼吸目標情報を前記呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する前記時間軸上の位置である第2呼吸目標設定位置に対応する前記コンテンツ情報に対応付け、前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報を前記第2呼吸目標情報で置き換える呼吸分布更新部と、を有し、
    前記呼吸分布更新部は、前記呼吸指標と前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報とから前記第2呼吸目標情報を得、
    前記第1呼吸目標情報のそれぞれは、呼吸状態が特定の基準状態となるべき前記時間軸上の位置である第1呼吸基準位置を特定し、
    前記呼吸指標のそれぞれは、前記鑑賞者の呼吸状態が特定の基準状態となる前記時間軸上の位置である第2呼吸基準位置を特定し、
    前記呼吸分布更新部は、前記第1呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第1確率密度関数と前記第2呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第2確率密度関数との線形和である第3確率密度関数のピークに対応する前記時間軸上の位置を表す情報を前記第2呼吸目標情報とする、
    ことを特徴とする呼吸分布更新装置。
  2. 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置に対応する、前記時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツを格納する記憶部と、
    前記呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応する前記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生制御部と、
    再生された前記コンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出部と、
    前記時間軸上の少なくとも一部の位置での前記鑑賞者の呼吸状態に対応する第2呼吸目標情報を前記呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する前記時間軸上の位置である第2呼吸目標設定位置に対応する前記コンテンツ情報に対応付け、前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報を前記第2呼吸目標情報で置き換える呼吸分布更新部と、を有し、
    前記呼吸分布更新部は、前記呼吸指標と前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報とから前記第2呼吸目標情報を得、
    前記第1呼吸目標情報のそれぞれは、呼吸運動にそれぞれ対応する位相に対応する情報であり、
    前記呼吸指標のそれぞれは、前記鑑賞者の呼吸運動にそれぞれ対応する位相に対応する情報であり、
    前記呼吸分布更新部は、前記第1呼吸目標情報に対応する位相に対応する位相空間上の第1ベクトルと前記呼吸指標に対応する位相に対応する位相空間上の第2ベクトルとから得られる重心ベクトルの位相に対応する情報を前記第2呼吸目標情報とする、
    ことを特徴とする呼吸分布更新装置。
  3. 請求項1または2の呼吸分布更新装置であって、
    前記呼吸分布付きコンテンツは、さらに、少なくとも一部の前記再生位置にそれぞれ対応する係数である第1同期重要度を含み、
    前記呼吸分布更新部は、少なくとも一部の前記再生位置にそれぞれ対応する係数である第2同期重要度を前記呼吸指標から得て、当該第2同期重要度を当該第2同期重要度に対応する前記再生位置に対応付け、前記呼吸分布付きコンテンツが含む前記第1同期重要度を前記第2同期重要度で置き換える、
    ことを特徴とする呼吸分布更新装置。
  4. 請求項の呼吸分布更新装置であって、
    前記第1呼吸目標情報のそれぞれは、呼吸状態が特定の基準状態となるべき前記時間軸上の位置である第1呼吸基準位置を特定し、
    前記呼吸指標のそれぞれは、前記鑑賞者の呼吸状態が特定の基準状態となる前記時間軸上の位置である第2呼吸基準位置を特定し、
    前記呼吸分布更新部は、前記第1呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第1確率密度関数と前記第2呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第2確率密度関数との線形和である第3確率密度関数のピークでの関数値に対応する値を前記第2同期重要度とする、
    ことを特徴とする呼吸分布更新装置。
  5. 請求項の呼吸分布更新装置であって、
    前記第1呼吸目標情報のそれぞれは、呼吸運動に対応する位相に対応する情報であり、
    前記呼吸指標のそれぞれは、前記鑑賞者の呼吸運動に対応する位相に対応する情報であり、
    前記呼吸分布更新部は、前記第1呼吸目標情報に対応する位相に対応する位相空間上の第1ベクトルと前記呼吸指標に対応する位相に対応する位相空間上の第2ベクトルとから得られる重心ベクトルの大きさに対応する情報を前記第2同期重要度とする、
    ことを特徴とする呼吸分布更新装置。
  6. 請求項1からの何れかの呼吸分布更新装置であって、
    前記呼吸情報は各時刻に対してそれぞれ得られ、
    前記第1呼吸目標設定位置及び前記第2呼吸目標設定位置のそれぞれは、何れかの前記再生位置であり、
    前記呼吸分布更新装置は、前記再生されたコンテンツ情報の前記鑑賞者を計測して得られる前記呼吸情報に対応する各時刻に対応する情報を、当該再生されたコンテンツ情報に対応する前記再生位置にそれぞれ対応付けて格納する第2記憶部を有し、
    前記呼吸指標のそれぞれは時刻に対応し、
    前記呼吸分布更新部は、前記第2記憶部を参照して時刻に対応する前記呼吸指標を前記再生位置に対応する第2呼吸指標に変換し、当該第2呼吸指標から前記第2呼吸目標情報を得る、
    ことを特徴とする呼吸分布更新装置。
  7. 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置に対応する、前記時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応する前記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生制御ステップと、
    再生された前記コンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出ステップと、
    前記時間軸上の少なくとも一部の位置での前記鑑賞者の呼吸状態に対応する第2呼吸目標情報を前記呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する前記時間軸上の位置である第2呼吸目標設定位置に対応する前記コンテンツ情報に対応付け、前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報を前記第2呼吸目標情報で置き換える呼吸分布更新ステップと、を有し、
    前記呼吸分布更新ステップは、前記呼吸指標と前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報とから前記第2呼吸目標情報を得、
    前記第1呼吸目標情報のそれぞれは、呼吸状態が特定の基準状態となるべき前記時間軸上の位置である第1呼吸基準位置を特定し、
    前記呼吸指標のそれぞれは、前記鑑賞者の呼吸状態が特定の基準状態となる前記時間軸上の位置である第2呼吸基準位置を特定し、
    前記呼吸分布更新ステップは、前記第1呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第1確率密度関数と前記第2呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第2確率密度関数との線形和である第3確率密度関数のピークに対応する前記時間軸上の位置を表す情報を前記第2呼吸目標情報とする、呼吸分布更新方法。
  8. 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置に対応する、前記時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応する前記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生制御ステップと、
    再生された前記コンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出ステップと、
    前記時間軸上の少なくとも一部の位置での前記鑑賞者の呼吸状態に対応する第2呼吸目標情報を前記呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する前記時間軸上の位置である第2呼吸目標設定位置に対応する前記コンテンツ情報に対応付け、前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報を前記第2呼吸目標情報で置き換える呼吸分布更新ステップと、を有し、
    前記第1呼吸目標情報のそれぞれは、呼吸運動にそれぞれ対応する位相に対応する情報であり、
    前記呼吸指標のそれぞれは、前記鑑賞者の呼吸運動にそれぞれ対応する位相に対応する情報であり、
    前記呼吸分布更新ステップは、前記第1呼吸目標情報に対応する位相に対応する位相空間上の第1ベクトルと前記呼吸指標に対応する位相に対応する位相空間上の第2ベクトルとから得られる重心ベクトルの位相に対応する情報を前記第2呼吸目標情報とする、呼吸分布更新方法。
  9. 請求項1からの何れかの呼吸分布更新装置の各部としてコンピュータを機能させるためのプログラム。
JP2011050369A 2011-03-08 2011-03-08 呼吸分布更新装置、呼吸分布更新方法、及びプログラム Active JP5496935B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011050369A JP5496935B2 (ja) 2011-03-08 2011-03-08 呼吸分布更新装置、呼吸分布更新方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011050369A JP5496935B2 (ja) 2011-03-08 2011-03-08 呼吸分布更新装置、呼吸分布更新方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2012190492A JP2012190492A (ja) 2012-10-04
JP5496935B2 true JP5496935B2 (ja) 2014-05-21

Family

ID=47083495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011050369A Active JP5496935B2 (ja) 2011-03-08 2011-03-08 呼吸分布更新装置、呼吸分布更新方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5496935B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5587815B2 (ja) * 2011-03-08 2014-09-10 日本電信電話株式会社 呼吸分布付与装置、再生速度同期装置、呼吸分布付与方法、再生速度同期方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4627379B2 (ja) * 2001-04-04 2011-02-09 三菱電機株式会社 呼吸誘導装置
JP2004227638A (ja) * 2003-01-21 2004-08-12 Sony Corp データ記録媒体、データ記録方法および装置、データ再生方法および装置並びにデータ伝送方法および装置
JP2006171133A (ja) * 2004-12-14 2006-06-29 Sony Corp 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
JP4595555B2 (ja) * 2005-01-20 2010-12-08 ソニー株式会社 コンテンツ再生装置およびコンテンツ再生方法
JP5297042B2 (ja) * 2005-02-14 2013-09-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 人間感知信号を再生するための電子装置及び方法
JP5314543B2 (ja) * 2009-09-10 2013-10-16 日本電信電話株式会社 呼吸誘導装置、呼吸誘導方法、及びプログラム
JP5392907B2 (ja) * 2009-09-10 2014-01-22 日本電信電話株式会社 再生速度同期装置、再生速度同期方法、及びプログラム

Also Published As

Publication number Publication date
JP2012190492A (ja) 2012-10-04

Similar Documents

Publication Publication Date Title
JP6428066B2 (ja) 採点装置及び採点方法
JP6137935B2 (ja) 身体動作評価装置、カラオケシステム、及びプログラム
CN106503034B (zh) 一种为动画配乐的方法及装置
JP5553232B2 (ja) 楽曲再生システム
US9116605B2 (en) System and method for generating event distribution information
JP5392907B2 (ja) 再生速度同期装置、再生速度同期方法、及びプログラム
JP2006244028A (ja) 情報提示装置及び情報提示プログラム
JP5496935B2 (ja) 呼吸分布更新装置、呼吸分布更新方法、及びプログラム
JP5314543B2 (ja) 呼吸誘導装置、呼吸誘導方法、及びプログラム
JP5587815B2 (ja) 呼吸分布付与装置、再生速度同期装置、呼吸分布付与方法、再生速度同期方法、及びプログラム
JP5599498B2 (ja) 再生速度同期装置、再生速度同期方法、及びプログラム
JP6295381B1 (ja) 表示タイミング決定装置、表示タイミング決定方法、及びプログラム
JP5818261B2 (ja) 再生コンテンツ制御装置とその方法とプログラム
JP5673371B2 (ja) 再生速度同期装置及びプログラム
JP6762925B2 (ja) 影響評価装置、呼吸誘導装置、影響評価方法、及びそれらのプログラム
WO2017145800A1 (ja) 音声解析装置、音声解析方法及びプログラム
JP5510822B2 (ja) 歌唱情報処理システム
JP6603201B2 (ja) ゲーム処理プログラム、ゲーム処理方法及びゲーム処理装置
JP5939217B2 (ja) 情報処理装置、情報処理システム及びプログラム
WO2023139883A1 (ja) 信号処理装置、及び信号処理方法
Maezawa et al. Automatic music accompaniment based on audio-visual score following
JP6361430B2 (ja) 情報処理装置及びプログラム
JP6069567B2 (ja) ゲーム処理方法、ゲーム処理システム及びゲーム処理プログラム
JP6472216B2 (ja) カラオケ連携システム、デジタルサイネージ、およびその広告選択方法
JP5928257B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140305

R150 Certificate of patent or registration of utility model

Ref document number: 5496935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150