JP5658483B2 - 臨場感推定装置およびそのプログラム - Google Patents
臨場感推定装置およびそのプログラム Download PDFInfo
- Publication number
- JP5658483B2 JP5658483B2 JP2010119992A JP2010119992A JP5658483B2 JP 5658483 B2 JP5658483 B2 JP 5658483B2 JP 2010119992 A JP2010119992 A JP 2010119992A JP 2010119992 A JP2010119992 A JP 2010119992A JP 5658483 B2 JP5658483 B2 JP 5658483B2
- Authority
- JP
- Japan
- Prior art keywords
- sound field
- psychological effect
- acoustic signal
- value
- influence degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
ここで、心理効果とは、聴取者が感受する心理状態を示すものであり、例えば、「ジーンとする」、「ワクワクする」がある。
これによって、臨場感推定装置は、人間が音を聴いて評価することなく、心理効果影響度を求めることができる。
これによって、臨場感推定装置は、人間が音を聴いて評価することなく、音響信号類似度を求めることができる。
これによって、臨場感推定装置は、人間が音を聴いて評価することなく、心理効果類似度を求めることができる。
かかる構成によれば、臨場感推定装置は、個別寄与率をコンテンツの種類ごとに学習しているため、個別寄与率がより正確になる。
かかる構成によれば、臨場感推定装置は、音以外の情報による心理効果への影響を考慮して、心理効果影響度を補正することができる。
ここで、印象とは、聴取者が感受する音の特徴を示すものであり、例えば、「明るい」、「おごそかな」、「音の幅」、「残響量」、「拡がり感」、「移動感」、「迫力がある」、「騒々しい」がある。
かかる構成によれば、臨場感推定装置は、音響信号の一部分について、音響信号類似度、心理効果影響度および心理効果類似度を提示することができる。
そして、臨場感推定プログラムは、前記音響信号分析手段が、前記実音場音響信号が入力され、前記実音場音響信号を音響分析して前記実音場音響信号の物理的特徴を示す実音場音響分析値を算出すると共に、前記実音場音響分析値が含まれる実音場評価対象信号と、前記再生音場音響分析値が含まれる再生音場評価対象信号とを出力し、前記音響信号分析手段が出力した再生音場評価対象信号と実音場評価対象信号との差に基づいて、前記再生音場音響信号と前記実音場音響信号との類似度である音響信号類似度を算出する音響信号類似度算出手段と、前記音響信号類似度算出手段が算出した音響信号類似度を前記臨場感の推定結果として提示する音響信号類似度提示手段と、をさらに備える。
そして、臨場感推定プログラムは、前記心理効果影響度算出手段が、前記実音場音響分析値に前記寄与率を乗じて前記実音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記実音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出し、前記心理効果影響度算出手段が算出した再生音場における心理効果推定値と実音場における心理効果推定値との差に基づいて、前記再生音場音響信号と前記実音場音響信号とを再生した音から受ける前記心理効果の類似度である心理効果類似度を算出する心理効果類似度算出手段と、前記心理効果類似度算出手段が算出した心理効果類似度を前記臨場感の推定結果として提示する心理効果類似度提示手段と、をさらに備える。
これによって、臨場感推定プログラムは、人間が音を聴いて評価することなく、心理効果影響度を求めることができる。
本願第1,6発明は、人間が音を聴いて評価することなく心理効果影響度を求めるため、大規模な主観評価実験を毎回行うことなく、人間の主観量である理効果影響度を客観的な臨場感として推定することができる。
まず、第1実施形態として、実音場音響信号Aおよび再生音場音響信号Bが入力され、臨場感として、これら信号から心理効果影響度、音響信号類似度および心理効果類似度を算出する構成について説明する。
その後、第2実施形態として、再生音場音響信号Bだけが入力され、臨場感として、この信号から心理効果影響度を算出する構成について説明する。
[臨場感推定装置の構成]
以下、図1を参照して、本発明の第1実施形態に係る臨場感推定装置1の構成について説明する。
図1に示すように、臨場感推定装置1は、実音場での音を示す実音場音響信号を、実音場と異なる再生音場で再生したときの臨場感を推定するものであり、音響信号分析手段10と、音場再現度提示手段20と、コンテンツデータベース(データベース)30と、情動反応度提示手段40と、印象再現度提示手段50とを備える。
実音場音響信号Aは、実音場で収音された音響信号(再生対象となった音響空間で計測された音響信号)であり、例えば、コンサートホールでのオーケストラ生演奏を収音した音響信号である。
再生音場音響信号Bは、再生音場で収音された音響信号(実際に再現された音響空間で計測された音響信号)である。例えば、再生音場音響信号Bは、コンサートホールでのオーケストラ生演奏を収音した音響信号を、リビングルームのオーディオ機器により再生して、その再生音を収音した音響信号である。
また、音響空間の計測には、複数のマイクロホンを用いて空間的な情報を取得できる計測装置を用いてもよい。例えば、狭指向性マイクを扇状に配置して、音量を比較することで、音の到来方向を算出することができる。このとき、信号間相関(ダミーヘッドDHの場合は、両耳間相関)を算出することで、音の拡がり感を空間的な情報として取得できる。
以下、図2を参照して、音響信号類似度算出手段21による音響信号類似度の算出について、第1例〜第3例を説明する(適宜図1参照)。
なお、図2では、実音場音響信号Aを「音響信号A」と図示し、再生音場音響信号Bを「音響信号B」と図示している。
この第1例によれば、臨場感推定装置1は、簡易な演算処理で音響信号類似度を算出できる。
この第2例は、実音場評価対象信号として1種類の実音場音響分析値(例えば、実音場音響信号Aのラウドネス)が入力され、再生音場評価対象信号として同種の再生音場音響分析値(例えば、再生音場音響信号Bのラウドネス)が入力された例である。
この第2例によれば、臨場感推定装置1は、簡易な演算処理で音響信号類似度を算出できる。
この第3例は、実音場評価対象信号として2種類の実音場音響分析値(例えば、実音場音響信号Aのラウドネスと両耳相関度)が入力され、再生音場評価対象信号として同種の再生音場音響分析値(例えば、再生音場音響信号Bのラウドネスと両耳相関度)が入力された例である。
この第3例によれば、臨場感推定装置1は、音響信号および音響分析値を複数組み合わせることで、より正確な音響信号類似度を算出できる。
また、前記した第1例〜第3例の何れを用いるかは、例えば、ユーザが手動で設定する。
音響信号類似度提示手段23は、音響信号類似度算出手段21から音響信号類似度が入力されると共に、音響信号類似度を臨場感の推定結果として提示する。ここで、音響信号類似度提示手段23は、例えば、この音響信号類似度を0以上1以下の範囲内で正規化した後、グラフ化(メータ化)して提示する(図6参照)。
なお、音響信号類似度提示手段23の詳細は、後記する。
元音響信号は、実音場で収音された音響信号、例えば、コンサートホールでのオーケストラ生演奏を収音した音響信号である。
元音響分析値は、前記した音響信号分析手段10と同様の音響解析により求められた、元音響信号の物理的特徴(例えば、ラウドネス)を示す値である。
印象評価値は、元音響信号を収音するときの音を実音場で評価者に聴かせる主観評価実験を行い、評価者がその音から感受した印象や心理効果の度合いを示す値である。例えば、元音響信号がコンサートホールでのオーケストラ生演奏を収音した音響信号であれば、その印象評価値は、コンサートホールでのオーケストラ生演奏を主観評価実験した結果となる。
生体測定値は、音響信号を収音する対象となった音を実音場で評価者に聴かせ、その時の評価者の脳波計測値、心拍数または発汗量を計測した値である。例えば、生体測定値は、コンサートホールでのオーケストラ生演奏を聴いたときの、評価者の脳波計測値である。この生体測定値は、評価者の脳波を計測するため、心理効果を示す言葉を用いる主観評価実験に比べて、言葉の定義が評価者間で異なるために生じる誤差を低減できる。また、評価者が意識できるはっきりとした心理効果(印象)の相違を対象とする主観評価実験に比べて、この生体測定値は、はっきりとした心理効果(印象)の相違がないような、評価者の意識下の心理効果(印象)の相違を計測可能である。
なお、分類基準値として、印象評価値または生体測定値のどちらを用いるかは、例えば、ユーザが手動で設定する。また、本実施形態では、分類基準値として印象評価値を用いるとして説明する。
因子空間SPは、コンテンツの種類と因子得点SCとを対応付けたものである。
例えば、コンテンツの種類は、分類基準値を因子分析し、どの象限に属するコンテンツであるかを分類(グルーピング)することで求められる。例えば、複数のコンテンツ(C個)に対して、複数の印象評価値(I個)がある場合を考える。この場合、逆行列の固有値を求めて、複数の行列(因子)で印象評価値(C×I個)を一定以下の誤差で近似した結果、M個の因子を得ることができる。そして、分類基準値から因子得点SCを求めると、各コンテンツは、M次元の因子空間上の1点として表現することができる。その後、コンテンツの種類は、因子空間SP上において、距離が近いコンテンツを同一の種類としてグルーピングすることで求められる。図3の例では、因子空間SPは、因子Iおよび因子IIの因子得点と、コンテンツの種類1〜4とを対応付けている。つまり、因子空間SPにおいて、横軸が因子Iであり、縦軸が因子IIである。そして、因子空間SPにおいて、各因子得点SCが近いものを同一種類のコンテンツとして対応させている。つまり、因子空間SPでは、破線で区切られた矩形領域のそれぞれにコンテンツの種類1〜4が対応することになる。
なお、因子分析を用いたコンテンツの種類の分類手法の詳細は、例えば、文献「“音楽と感情”、谷口高士著、株式会社 北大路書房、1998年1月」に記載されている。
全体寄与率は、心理効果または印象の寄与率を示すものである。例えば、ある心理効果「明るい」に対して、1つの全体寄与率が学習によって求められる。また、例えば、別の心理効果「おごそかな」に対しても、1つの全体寄与率が学習によって求められる(図4のWij参照)。
個別寄与率は、コンテンツの種類ごとに、心理効果または印象の寄与率を示すものである。例えば、心理効果「ジーン」で、かつ、コンテンツの種類「テンポが速いクラシック」に対して、1つの個別寄与率が学習によって求められる。また、例えば、心理効果「ジーン」で、かつ、コンテンツの種類「テンポが遅いクラシック」に対しても、1つの個別寄与率が学習によって求められる(図4のW1ij〜W3ij参照)。
寄与率は、例えば、学習として、重回帰分析を行って求めることができる。重回帰分析では、複数の観測値(説明変数)から変数(目的変数)を予測するとき、予測誤差が最も少なくなるように寄与率を算出する。本実施形態では、観測値(説明変数)をコンテンツデータベース30に記憶した元音響分析値とし、変数(目的変数)をコンテンツデータベース30に記憶した印象評価値として重回帰分析を行う。このことから、寄与率は、コンテンツデータベース30に記憶されている観測値に依存することになる。
まず、コンテンツデータベース30の全体に対して学習(重回帰分析)を行って、全体寄与率を算出する。さらに、コンテンツデータベース30において、コンテンツの種類ごとに学習(重回帰分析)を行って、個別寄与率を算出することが好ましい。このように、コンテンツの種類ごとに学習(重回帰分析)すると、寄与率の正確性がより高くなる。
また、重回帰分析して寄与率を学習する例を説明したが、学習手法は、これに限定されない。例えば、寄与率は、ニューラルネットワークを用いて学習することもできる。
「一次的印象」は、音響信号の特徴量または感覚量に直接的に結び付く印象(例えば、「音の大きさ」、「音の幅」、「残響量」)である。つまり、「一次的印象」は、人間の情報処理系での末梢に近い部位で処理していると思われる音の印象である。
「複合印象」は、「一次的印象」に対して、人間の情報処理系の深部(脳の高次機能)で処理されていると思われる音の印象である(例えば、「迫力がある」や「迫力がない」、「拡がり感」、「移動感」)。
図1に示すように、情動反応度提示手段40は、実音場音響信号Aを再生した音から受ける心理効果の影響度である心理効果影響度と、再生音場音響信号Bを再生した音から受ける心理効果の影響度である心理効果影響度とを算出するものであり、心理効果影響度算出手段41と、心理効果影響度提示手段43とを備える。
なお、実音場評価対象信号には、コンテンツの種類を確定するための実音場音響分析値として、基本周波数の時間変化パターン、および、周波数特性、レベルの時間変化パターンという3つの物理的特徴が含まれるとする。また、実音場評価対象信号には、心理効果影響度の算出するための実音場音響分析値として、ラウドネス、両耳間相関度および両耳間レベル差の3つの物理的特徴が含まれるとする。
また、再生音場評価対象信号には、再生音場音響分析値として、実音場評価対象信号と同種の物理的特徴が含まれるとする。
以下、心理効果影響度算出手段41によるコンテンツの種類の確定と、心理効果影響度の算出とを順に説明する。
まず、再生音場における心理効果影響度を算出するため、心理効果影響度算出手段41は、再生音場音響分析値を用いて、再生音場音響信号Bについてコンテンツの種類を確定する。このため、心理効果影響度算出手段41は、再生音場音響分析値に全体寄与率を乗じて心理効果ごとに乗算値を算出する。
次に、心理効果影響度算出手段41は、図4下段に示すように、確定したコンテンツの種類および再生音場音響分析値を用いて、再生音場における心理効果影響度を算出する。ここで、心理効果影響度算出手段41は、心理効果が階層関係を有するため、コンテンツデータベース30に記憶された階層関係情報および個別寄与率W1ij〜W3ijに基づいて、以下で述べるような階層的処理を行う。
また、心理効果影響度算出手段41は、1回目の処理で実音場における心理効果影響度を算出し、2回目の処理で再生音場における心理効果影響度を算出してもよく、両処理を並行に実行してもよい。
心理効果影響度提示手段43は、心理効果影響度算出手段41から再生音場における心理効果影響度と実音場における心理効果影響度とが入力されると共に、これら心理効果影響度を臨場感の推定結果として提示する。ここで、心理効果影響度提示手段43は、例えば、これら心理効果影響度を0以上1以下の範囲内で正規化した後、グラフ化(メータ化)して提示する(図6参照)。
なお、心理効果影響度提示手段43の詳細は後記する。
なお、図5では、実音場音響信号Aを「音響信号A」と図示し、再生音場音響信号Bを「音響信号B」と図示している。また、図5では、印象推定値A1および印象推定値B1が同種の印象推定値であるとし、印象推定値A2および印象推定値B2が同種の印象推定値であるとする。また、図5では、説明を簡易にするため、心理効果推定値の図示を省略した。
心理効果類似度提示手段53は、心理効果類似度算出手段51から心理効果類似度が入力されると共に、この心理効果類似度を臨場感の推定結果として提示する。ここで、心理効果類似度提示手段53は、例えば、この心理効果類似度を0以上1以下の範囲内で正規化した後、グラフ化(メータ化)して提示する。
なお、図6(a)および図6(b)において、音場再現度αは、音響信号類似度提示手段23が提示する音響信号類似度である。また、再現度印象βは、心理効果類似度提示手段53が提示する心理効果類似度である。そして、影響度(再生音場)γ1は、心理効果影響度提示手段43が提示する再生音場における心理効果影響度である。さらに、影響度(実音場)γ2は、心理効果影響度提示手段43が提示する実音場における心理効果影響度である。
また、図6(c)では、再生音場における心理効果影響度を破線で図示し、実音場における心理効果影響度を実線で図示している。
以下、図7を参照して、臨場感推定装置1の動作について説明する(適宜図1参照)。
図7(a)に示すように、臨場感推定装置1は、音響信号分析手段10によって、実音場音響信号Aを音響分析して実音場音響信号Aの物理的特徴を示す実音場音響分析値を算出すると共に、再生音場音響信号Bを音響分析して再生音場音響信号Bの物理的特徴を示す再生音場音響分析値を算出する。そして、臨場感推定装置1は、音響信号分析手段10によって、入力された実音場音響信号Aまたは音響分析した実音場音響分析値の少なくとも一方が含まれる実音場評価対象信号と、入力された再生音場音響信号Bまたは音響分析した再生音場音響分析値の少なくとも一方が含まれる再生音場評価対象信号とを出力する(ステップS1)。
例えば、図7(b)に示すように、臨場感推定装置1は、ステップS2,S3の処理と、ステップS4〜S7の処理とを並列に実行してもよい。
また、例えば、図7(c)に示すように、臨場感推定装置1は、ステップS1,S2,S4,S6との処理を実行することで臨場感を求め、その後、ステップS3,S5,S7の処理を実行することで臨場感を提示してもよい。
なお、図7(b)および図7(c)におけるステップS1〜S7の処理は、図7(a)と同様のものであるため、詳細な説明を省略する。
本発明の種々の変形例について、第1実施形態と異なる点を説明する。
本発明の変形例1に係る臨場感推定装置1B(図8参照)は、音以外の情報が心理効果に与える影響を考慮する点が、図1の臨場感推定装置1と大きく異なる。以下、臨場感推定装置1Bの構成を説明する前に、映像や臭いなど音以外の情報が心理効果に与える影響について説明する。
コンテンツデータベース30Bは、心理効果影響度を補正する値を示す補正値情報をさらに記憶する。
この補正値情報は、印象評価値を求めるときの主観評価実験によって求めることができる。例えば、映像がない場合、音にマッチした映像がある場合、および、音にマッチしていない映像がある場合といった条件ごとに主観評価実験を行う。そして、映像がない場合と音にマッチした映像がある場合との印象評価値の差分を求め、音にマッチした映像がある場合の補正値情報としてコンテンツデータベース30Bに予め記憶しておく。また、映像がない場合と音にマッチしていない映像がある場合との印象評価値の差分を求め、音にマッチしていない映像がある場合の補正値情報としてコンテンツデータベース30Bに予め記憶しておく。
「0」:映像による影響がないため補正を行わないことを示す
「1」:音にマッチした映像による影響があるため、補正を行うことを示す
「2」:音にマッチしていない映像による影響があるため、補正を行うことを示す
補正制御信号の信号値が「0」として入力された場合、心理効果影響度算出手段41Bは、補正を行わないと判定する。この場合、心理効果影響度算出手段41Bは、図1の心理効果影響度算出手段41と同様に、再生音場における心理効果影響度と、実音場における心理効果影響度とを算出する。
一方、補正制御信号の信号値が「1」又は「2」として入力された場合、心理効果影響度算出手段41Bは、補正を行うと判定する。この場合、心理効果影響度算出手段41Bは、図1の心理効果影響度算出手段41と同様に、再生音場における心理効果影響度と、実音場における心理効果影響度とを算出する。
例えば、補正制御信号の信号値が「1」として入力された場合、心理効果影響度算出手段41Bは、コンテンツデータベース30Bを参照し、音にマッチした映像がある場合の補正値情報を読み出す。そして、心理効果影響度算出手段41Bは、算出した再生音場における心理効果影響度および実音場における心理効果影響度のそれぞれに対して、この補正値情報が示す値を加算して補正する。つまり、音にマッチした映像がある場合、図6に図示した影響度(再生音場)γ1および影響度(実音場)γ2が高くなる。
また、補正制御信号の信号値が「2」として入力された場合、心理効果影響度算出手段41Bは、コンテンツデータベース30Bを参照し、音にマッチしていない映像がある場合の補正値情報を読み出す。そして、心理効果影響度算出手段41Bは、算出した再生音場における心理効果影響度および実音場における心理効果影響度のそれぞれに対して、この補正値情報が示す値を減算して補正する。つまり、音にマッチしていない映像がある場合、図6に図示した影響度(再生音場)γ1および影響度(実音場)γ2が低くなる。
以下、図9を参照し、本発明の変形例2に係る臨場感推定装置1Cについて説明する(適宜図1参照)。
臨場感推定装置1Cは、心理効果影響度算出手段41Cが、コンテンツの種類を確定することなく、再生音場における心理効果影響度と、実音場における心理効果影響度とを算出することが、図1の臨場感推定装置1と大きく異なる。
なお、一次的印象「残響量」は、一次的印象「音の幅」と同様の処理を行えばよいので、その説明を省略する。
なお、複合印象「移動感」は、複合印象「拡がり感」と同様の処理を行えばよいので、その説明を省略する。
なお、心理効果「ワクワク」は、心理効果「ジーン」と同様の処理を行えばよいので、その説明を省略する。
なお、心理効果影響度算出手段41Cは、実音場における心理効果影響度を、再生音場における心理効果影響度と同じ処理で算出できるので、その説明を省略する。
以下、図10を参照し、本発明の変形例3に係る臨場感推定装置1Dについて説明する(適宜図1,図4参照)。
なお、図10(a)には、音源A〜音源Eそれぞれの音響分析の結果として、ラウドネスおよび両耳相関度を示した。また、図10(b)では、丸の中に記載されたA〜Eが音源A〜音源Eであり、縦軸が複合印象「拡がり感」の印象評価値であり、横軸がラウドネスまたは両耳相関度の音響分析値である。また、図10(d)では、丸の中に記載されたA〜Eが音源A〜音源Eであり、縦軸が複合印象「拡がり感」の感覚量変換値であり、横軸がラウドネスまたは両耳相関度の音響分析値である。
なお、音響分析値と印象評価値との関係を単純な関数で近似した例は、文献「M. Morimoto, K. Iida; ”A practical evaluation method of auditory source width in concert halls,”J.Acoust.Soc.Jpn.(E), 16, 2, pp.59-69 (1995)」に記載されている。
なお、心理効果影響度算出手段41Dは、コンテンツの種類を確定する処理および心理効果影響度を算出する処理が、図1の心理効果影響度算出手段41と同様のものであるため、その説明を省略する。
以下、図11を参照し、本発明の変形例4に係る臨場感推定装置1Eについて説明する(適宜図1参照)。
臨場感推定装置1Eは、所定の時間ごとに臨場感を推定し、臨場感の推定結果を時系列データでユーザに提示する。
なお、音響信号分析手段10Eは、図1の音響信号分析手段10と同様に音響分析を行うので、その説明を省略する。
心理効果影響度提示手段43Eは、心理効果影響度算出手段41Eが算出した再生音場における心理効果影響度と実音場における心理効果影響度とを、臨場感の推定結果として時系列で提示する。
心理効果類似度提示手段53Eは、心理効果類似度算出手段51Eが算出した心理効果類似度を臨場感の推定結果として提示する。
このラベルLBは、実音場音響信号Aおよび再生音場音響信号Bの開始時刻を基準とした、音場再現度α、再現度印象β、影響度(再生音場)γ1および影響度(実音場)γ2の時刻(例えば、1分0秒)を示している。
このスライドバーSBは、左端を開始時刻および右端を終了時刻として、スライドバーSB上でのポインタPOの位置によって、音場再現度α、再現度印象β、影響度(再生音場)γ1および影響度(実音場)γ2の時刻を示している。
[臨場感推定装置の構成]
以下、図12を参照して、本発明の第2実施形態に係る臨場感推定装置1Fの構成について、図1の臨場感推定装置1と異なる点を説明する。
なお、音響信号分析手段10Fは、図1の音響信号分析手段10と同様に音響分析できるので、その説明を省略する。
なお、心理効果影響度算出手段41Fは、図1の心理効果影響度算出手段41と同様に心理効果影響度を算出できるので、その説明を省略する。
以下、図14を参照して、臨場感推定装置1Fの動作について説明する(適宜図13参照)。
図14(a)に示すように、臨場感推定装置1Fは、音響信号分析手段10Fによって、再生音場音響信号Bを音響分析して再生音場音響信号Bの物理的特徴を示す再生音場音響分析値を算出する。そして、臨場感推定装置1Fは、音響信号分析手段10Fによって、入力された再生音場音響信号Bまたは音響分析した再生音場音響分析値の少なくとも一方が含まれる再生音場評価対象信号を出力する(ステップS11)。
10,10E,10F 音響信号分析手段
20 音場再現度提示手段
21,21E 音響信号類似度算出手段
23,23E 音響信号類似度提示手段
30,30B,30C,30D コンテンツデータベース(データベース)
40 情動反応度提示手段
41,41B,41C,41D,41E,41F 心理効果影響度算出手段
43,43E,43F 心理効果影響度提示手段
50 印象再現度提示手段
51,51E 心理効果類似度算出手段
53,53E 心理効果類似度提示手段
Claims (6)
- 実音場での音を示す実音場音響信号を、当該実音場と異なる再生音場で再生したときの臨場感を推定する臨場感推定装置であって、
前記実音場音響信号を前記再生音場で再生した再生音場音響信号が入力され、前記再生音場音響信号を音響分析することで前記再生音場音響信号の物理的特徴を示す再生音場音響分析値を算出する音響信号分析手段と、
前記音響分析の結果が、聴取者が感受する心理状態を示す心理効果に寄与する度合いを予め学習した寄与率を記憶するデータベースと、
前記再生音場音響分析値に前記寄与率のそれぞれを乗じて前記再生音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記再生音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出する心理効果影響度算出手段と、
前記心理効果影響度算出手段が算出した前記再生音場における心理効果影響度を前記臨場感の推定結果として提示する心理効果影響度提示手段と、
を備え、
前記音響信号分析手段は、前記実音場音響信号が入力され、前記実音場音響信号を音響分析して前記実音場音響信号の物理的特徴を示す実音場音響分析値を算出すると共に、前記実音場音響分析値が含まれる実音場評価対象信号と、前記再生音場音響分析値が含まれる再生音場評価対象信号とを出力し、
前記音響信号分析手段が出力した再生音場評価対象信号と実音場評価対象信号との差に基づいて、前記再生音場音響信号と前記実音場音響信号との類似度である音響信号類似度を算出する音響信号類似度算出手段と、
前記音響信号類似度算出手段が算出した音響信号類似度を前記臨場感の推定結果として提示する音響信号類似度提示手段と、
をさらに備え、
前記心理効果影響度算出手段は、前記実音場音響分析値に前記寄与率を乗じて前記実音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記実音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出し、
前記心理効果影響度算出手段が算出した再生音場における心理効果推定値と実音場における心理効果推定値との差に基づいて、前記再生音場音響信号と前記実音場音響信号とを再生した音から受ける前記心理効果の類似度である心理効果類似度を算出する心理効果類似度算出手段と、
前記心理効果類似度算出手段が算出した心理効果類似度を前記臨場感の推定結果として提示する心理効果類似度提示手段と、
をさらに備えることを特徴とする臨場感推定装置。 - 前記データベースは、前記心理効果ごとの全体寄与率と、前記心理効果および所定のコンテンツの種類ごとの個別寄与率とを前記寄与率として記憶すると共に、前記コンテンツの種類と因子得点とを予め学習して対応付けた因子空間をさらに記憶し、
前記心理効果影響度算出手段は、
前記再生音場音響分析値に前記全体寄与率を乗じて前記心理効果ごとに乗算値を算出し、当該心理効果ごとの乗算値を総和して前記再生音場における因子得点を算出し、前記再生音場における因子得点および前記因子空間に基づいて前記再生音場音響信号におけるコンテンツの種類を決定し、決定した当該コンテンツの種類に応じた前記個別寄与率を前記再生音場音響分析値に乗じて前記再生音場における心理効果推定値を算出すると共に、
前記実音場音響分析値に前記全体寄与率を乗じて前記心理効果ごとに乗算値を算出し、当該心理効果ごとの乗算値を総和して前記実音場における因子得点を算出し、前記実音場における因子得点および前記因子空間に基づいて前記実音場音響信号におけるコンテンツの種類を決定し、決定した当該コンテンツの種類に応じた前記個別寄与率を前記実音場音響分析値に乗じて前記実音場における心理効果推定値を算出することを特徴とする請求項1に記載の臨場感推定装置。 - 前記心理効果影響度算出手段は、
音以外の情報からの影響により補正を行うか否かを示す補正制御信号が入力され、当該補正制御信号により補正を行うか否かを判定し、
補正を行うと判定した場合、前記全体寄与率および前記個別寄与率と、前記再生音場および前記実音場における前記印象推定値および前記心理効果推定値と、前記心理効果影響度との何れ1つ以上を、所定の補正値情報に基づいて補正することを特徴とする請求項2に記載の臨場感推定装置。 - 前記データベースは、印象ごとの全体寄与率と、前記印象および前記コンテンツの種類ごとの個別寄与率とを前記寄与率としてさらに記憶すると共に、前記心理効果の階層関係が予め設定された階層関係情報をさらに記憶し、
前記心理効果影響度算出手段は、
前記個別寄与率を前記再生音場音響分析値に乗じて前記再生音場における下位階層の印象推定値を算出し、前記個別寄与率を前記下位階層の印象推定値に乗じて前記再生音場における中位階層の印象推定値を算出し、前記個別寄与率を前記中位階層の印象推定値に乗じて前記再生音場における上位階層の前記心理効果推定値を算出し、当該心理効果推定値を総和して前記再生音場における心理効果影響度を算出すると共に、
前記個別寄与率を前記実音場音響分析値に乗じて前記実音場における下位階層の印象推定値を算出し、前記個別寄与率を前記下位階層の印象推定値に乗じて前記実音場における中位階層の印象推定値を算出し、前記個別寄与率を前記中位階層の印象推定値に乗じて前記実音場における上位階層の前記心理効果推定値を算出し、当該心理効果推定値を総和して前記実音場における心理効果影響度を算出することを特徴とする請求項2又は請求項3に記載の臨場感推定装置。 - 前記音響信号類似度算出手段は、所定の時間ごとに、所定の時間幅で前記音響信号類似度を算出し、
前記音響信号類似度提示手段は、前記音響信号類似度を時系列で提示し、
前記心理効果影響度算出手段は、前記時間ごとに、前記時間幅で前記再生音場における心理効果影響度と前記実音場における心理効果影響度とを算出し、
前記心理効果影響度提示手段は、前記再生音場における心理効果影響度と前記実音場における心理効果影響度とを時系列で提示し、
前記心理効果類似度算出手段は、前記時間ごとに、前記時間幅で心理効果類似度を算出し、
前記心理効果類似度提示手段は、前記心理効果類似度を時系列で提示することを特徴とする請求項1から請求項4の何れか一項に記載の臨場感推定装置。 - 実音場での音を示す実音場音響信号を、当該実音場と異なる再生音場で再生したときの臨場感を推定するために、音響分析の結果が、聴取者が感受する心理状態を示す心理効果に寄与する度合いを予め学習した寄与率を記憶するデータベースを備えるコンピュータを、
前記実音場音響信号を前記再生音場で再生した再生音場音響信号が入力され、前記再生音場音響信号を前記音響分析することで前記再生音場音響信号の物理的特徴を示す再生音場音響分析値を算出する音響信号分析手段、
前記再生音場音響分析値に前記寄与率のそれぞれを乗じて前記再生音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記再生音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出する心理効果影響度算出手段、
前記心理効果影響度算出手段が算出した前記再生音場における心理効果影響度を前記臨場感の推定結果として提示する心理効果影響度提示手段、
として機能させ、
前記音響信号分析手段は、前記実音場音響信号が入力され、前記実音場音響信号を音響分析して前記実音場音響信号の物理的特徴を示す実音場音響分析値を算出すると共に、前記実音場音響分析値が含まれる実音場評価対象信号と、前記再生音場音響分析値が含まれる再生音場評価対象信号とを出力し、
前記音響信号分析手段が出力した再生音場評価対象信号と実音場評価対象信号との差に基づいて、前記再生音場音響信号と前記実音場音響信号との類似度である音響信号類似度を算出する音響信号類似度算出手段と、
前記音響信号類似度算出手段が算出した音響信号類似度を前記臨場感の推定結果として提示する音響信号類似度提示手段と、
をさらに備え、
前記心理効果影響度算出手段は、前記実音場音響分析値に前記寄与率を乗じて前記実音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記実音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出し、
前記心理効果影響度算出手段が算出した再生音場における心理効果推定値と実音場における心理効果推定値との差に基づいて、前記再生音場音響信号と前記実音場音響信号とを再生した音から受ける前記心理効果の類似度である心理効果類似度を算出する心理効果類似度算出手段と、
前記心理効果類似度算出手段が算出した心理効果類似度を前記臨場感の推定結果として提示する心理効果類似度提示手段と、
をさらに備えることを特徴とする臨場感推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010119992A JP5658483B2 (ja) | 2010-05-26 | 2010-05-26 | 臨場感推定装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010119992A JP5658483B2 (ja) | 2010-05-26 | 2010-05-26 | 臨場感推定装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011250049A JP2011250049A (ja) | 2011-12-08 |
JP5658483B2 true JP5658483B2 (ja) | 2015-01-28 |
Family
ID=45414782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010119992A Active JP5658483B2 (ja) | 2010-05-26 | 2010-05-26 | 臨場感推定装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5658483B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3373604B1 (en) * | 2017-03-08 | 2021-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing a measure of spatiality associated with an audio stream |
JP7329640B1 (ja) | 2022-02-18 | 2023-08-18 | 株式会社小野測器 | サウンドデザインシステム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0237971B2 (ja) * | 1983-05-24 | 1990-08-28 | Yoichi Ando | Onbahyokakeisokuki |
JP2692817B2 (ja) * | 1987-11-19 | 1997-12-17 | キヤノン株式会社 | 音像解像力の測定方法 |
JP2003079000A (ja) * | 2001-09-05 | 2003-03-14 | Junichi Kakumoto | 映像音響装置の臨場感制御方式 |
JP2004172753A (ja) * | 2002-11-18 | 2004-06-17 | Nippon Telegr & Teleph Corp <Ntt> | 映像・音声品質客観評価方法及び装置 |
JP4590545B2 (ja) * | 2004-05-06 | 2010-12-01 | 国立大学法人神戸大学 | 音響評価方法およびそのシステム |
WO2008001857A1 (fr) * | 2006-06-30 | 2008-01-03 | Toa Corporation | dispositif de reproduction de signal audio spatial et procédé de reproduction de signal audio spatial |
JP2009060467A (ja) * | 2007-08-31 | 2009-03-19 | Nissan Motor Co Ltd | 音場再現システム及び音場再現方法 |
-
2010
- 2010-05-26 JP JP2010119992A patent/JP5658483B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011250049A (ja) | 2011-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
McAdams et al. | The psychomechanics of simulated sound sources: Material properties of impacted thin plates | |
US11138989B2 (en) | Sound quality prediction and interface to facilitate high-quality voice recordings | |
CN108596016B (zh) | 一种基于深度神经网络的个性化头相关传输函数建模方法 | |
Streeter et al. | Computer aided music therapy evaluation: Testing the Music Therapy Logbook prototype 1 system | |
Chourdakis et al. | A machine-learning approach to application of intelligent artificial reverberation | |
Hellmer et al. | Quantifying microtiming patterning and variability in drum kit recordings: A method and some data | |
Conetta et al. | Spatial audio quality perception (part 2): a linear regression model | |
Nowak et al. | Perception and prediction of apparent source width and listener envelopment in binaural spherical microphone array auralizations | |
JP5658483B2 (ja) | 臨場感推定装置およびそのプログラム | |
JP5961048B2 (ja) | 聴覚印象量推定装置及びそのプログラム | |
Gupta et al. | On the perceptual relevance of objective source separation measures for singing voice separation | |
Cheng et al. | Quantitative analysis of phrasing strategies in expressive performance: computational methods and analysis of performances of unaccompanied bach for solo violin | |
Korhonen | Modeling continuous emotional appraisals of music using system identification | |
Björkner et al. | Subglottal pressure and normalized amplitude quotient variation in classically trained baritone singers | |
JP5658588B2 (ja) | 聴覚臨場感評価装置及び聴覚臨場感評価プログラム | |
JP2014006692A (ja) | 聴覚印象量推定装置及びそのプログラム | |
Bona et al. | Automatic parameters tuning of late reverberation algorithms for audio augmented reality | |
Ramırez et al. | Deep learning and intelligent audio mixing | |
Brandner et al. | Classification of phonation modes in classical singing using modulation power spectral features | |
CN114631142A (zh) | 电子设备、方法和计算机程序 | |
JP3584287B2 (ja) | 音響評価方法およびそのシステム | |
Gupta et al. | Towards Controllable Audio Texture Morphing | |
JP4240878B2 (ja) | 音声認識方法及び音声認識装置 | |
Tang et al. | Assessment of the subjective perception of music quality using psychoacoustic approach | |
JP2001013003A (ja) | 音質評価方法及び装置並びに音質評価尺度特定方法及び音質評価尺度特定用プログラムを記憶した記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140311 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5658483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |