JP5658483B2 - 臨場感推定装置およびそのプログラム - Google Patents

臨場感推定装置およびそのプログラム Download PDF

Info

Publication number
JP5658483B2
JP5658483B2 JP2010119992A JP2010119992A JP5658483B2 JP 5658483 B2 JP5658483 B2 JP 5658483B2 JP 2010119992 A JP2010119992 A JP 2010119992A JP 2010119992 A JP2010119992 A JP 2010119992A JP 5658483 B2 JP5658483 B2 JP 5658483B2
Authority
JP
Japan
Prior art keywords
sound field
psychological effect
acoustic signal
value
influence degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010119992A
Other languages
English (en)
Other versions
JP2011250049A (ja
Inventor
大出 訓史
訓史 大出
安藤 彰男
彰男 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2010119992A priority Critical patent/JP5658483B2/ja
Publication of JP2011250049A publication Critical patent/JP2011250049A/ja
Application granted granted Critical
Publication of JP5658483B2 publication Critical patent/JP5658483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、実音場での音を示す実音場音響信号を、当該実音場と異なる再生音場で再生したときの臨場感を推定し、その推定結果を提示する臨場感推定装置およびそのプログラムに関する。
収音再生技術の発展に伴い、22.2マルチチャンネル音響システムやWave Field Synthesisなど、臨場感が高い多様な音響システムが提案されている。このため、これら音響システムにおいて、その品質を客観的に評価することが求められている。
従来から、符号化された音に対する客観評価方法として、PEAQ(Perceptual Evaluation of Audio Quality)が提案されており、ITU(International Telecommunication Union)で規格化されている(非特許文献1参照)。この非特許文献1に記載の客観評価方法は、人の聴覚末梢系を模擬しており、聴覚中枢系を簡易なニューラルネットワークで代用したものである。
また、人間が感じる音声品質の客観評価方法として、例えば、特許文献1に記載の発明が提案されている。この特許文献1に記載の客観評価方法は、音声品質の劣化度合いを客観的に評価するものである。
近年、収音再生技術の品質を評価する指標として、臨場感という感性情報が注目されている。この臨場感は、あたかもその場にいるような感じを示すが、音響空間の再現度だけでなく、心が揺さぶられるなど心理効果に対しても影響することが知られている(非特許文献2参照)。すなわち、この臨場感は、収音再生装置に起因するシステム臨場感と、再生対象となる音そのものに対するコンテンツ臨場感という複数の要因を有する。
特開2004−172753号公報
ITU−R BS.1387 電子情報通信学会技術研究報告 HIP2008−132"「臨場感」に関するイメージ調査",聴覚研究会資料 Vol.40,No.1,H−2010−1
しかし、前記した従来技術では、人間が音を聴いて品質を評価することなく、システム臨場感やコンテンツ臨場感という複数の要因が含まれる臨場感を推定することが困難である。従って、前記した収音再生技術において、主観評価実験を行うことなく、臨場感を客観的に推定することが強く求められている。
そこで、本発明は、客観的な臨場感を推定できる臨場感推定装置およびそのプログラムを提供することを課題とする。
前記した課題を解決するため、本願第1発明に係る臨場感推定装置は、実音場での音を示す実音場音響信号を、当該実音場と異なる再生音場で再生したときの臨場感を推定する臨場感推定装置であって、音響信号分析手段と、データベースと、心理効果影響度算出手段と、心理効果影響度提示手段と、を備えることを特徴とする。
かかる構成によれば、臨場感推定装置は、音響信号分析手段によって、前記実音場音響信号を前記再生音場で再生した再生音場音響信号が入力され、前記再生音場音響信号を音響分析することで前記再生音場音響信号の物理的特徴を示す再生音場音響分析値を算出する再生音場評価対象信号を出力する。
ここで、物理的特徴としては、例えば、基本周波数の時間変化パターン、周波数特性、周波数特性の分類クラス、レベルの時間変化パターン、ラウドネス、ラフネス、シャープネス、両耳間時間差、両耳間レベル差、両耳間相関度、両耳間相関関数の幅がある。また、臨場感推定装置は、これら物理的特徴の1つ以上を音響分析してもよい。
また、臨場感推定装置は、データベースによって、前記音響分析の結果が心理効果に寄与する度合いを予め学習(例えば、重回帰分析)した寄与率を記憶する。
ここで、心理効果とは、聴取者が感受する心理状態を示すものであり、例えば、「ジーンとする」、「ワクワクする」がある。
また、臨場感推定装置は、心理効果影響度算出手段によって、前記再生音場音響分析値に前記寄与率のそれぞれを乗じて前記再生音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記再生音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出する。そして、臨場感推定装置は、心理効果影響度提示手段によって、前記心理効果影響度算出手段が算出した前記再生音場における心理効果影響度を前記臨場感の推定結果として提示する。
これによって、臨場感推定装置は、人間が音を聴いて評価することなく、心理効果影響度を求めることができる。
また、場感推定装置は、前記音響信号分析手段が、前記実音場音響信号が入力され、前記実音場音響信号を音響分析して前記実音場音響信号の物理的特徴を示す実音場音響分析値を算出すると共に、記実音場音響分析値含まれる実音場評価対象信号と、記再生音場音響分析値が含まれる再生音場評価対象信号とを出力し、前記音響信号分析手段が出力した再生音場評価対象信号と実音場評価対象信号との差に基づいて、前記再生音場音響信号と前記実音場音響信号との類似度である音響信号類似度を算出する音響信号類似度算出手段と、前記音響信号類似度算出手段が算出した音響信号類似度を前記臨場感の推定結果として提示する音響信号類似度提示手段と、をさらに備える
これによって、臨場感推定装置は、人間が音を聴いて評価することなく、音響信号類似度を求めることができる。
また、場感推定装置は、前記心理効果影響度算出手段が、前記実音場音響分析値に前記寄与率を乗じて前記実音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記実音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出し、前記心理効果影響度算出手段が算出した再生音場における心理効果推定値と実音場における心理効果推定値との差に基づいて、前記再生音場音響信号と前記実音場音響信号とを再生した音から受ける前記心理効果の類似度である心理効果類似度を算出する心理効果類似度算出手段と、前記心理効果類似度算出手段が算出した心理効果類似度を前記臨場感の推定結果として提示する心理効果類似度提示手段と、をさらに備える
これによって、臨場感推定装置は、人間が音を聴いて評価することなく、心理効果類似度を求めることができる。
また、本願第発明に係る臨場感推定装置は、前記データベースが、前記心理効果ごとの全体寄与率と、前記心理効果および所定のコンテンツの種類ごとの個別寄与率とを前記寄与率として記憶すると共に、前記コンテンツの種類と因子得点とを予め学習して対応付けた因子空間をさらに記憶し、前記心理効果影響度算出手段が、前記再生音場音響分析値に前記全体寄与率を乗じて前記心理効果ごとに乗算値を算出し、当該心理効果ごとの乗算値を総和して前記再生音場における因子得点を算出し、前記再生音場における因子得点および前記因子空間に基づいて前記再生音場音響信号におけるコンテンツの種類を決定し、決定した当該コンテンツの種類に応じた前記個別寄与率を前記再生音場音響分析値に乗じて前記再生音場における心理効果推定値を算出すると共に、前記実音場音響分析値に前記全体寄与率を乗じて前記心理効果ごとに乗算値を算出し、当該心理効果ごとの乗算値を総和して前記実音場における因子得点を算出し、前記実音場における因子得点および前記因子空間に基づいて前記実音場音響信号におけるコンテンツの種類を決定し、決定した当該コンテンツの種類に応じた前記個別寄与率を前記実音場音響分析値に乗じて前記実音場における心理効果推定値を算出することを特徴とする。
かかる構成によれば、臨場感推定装置は、個別寄与率をコンテンツの種類ごとに学習しているため、個別寄与率がより正確になる。
コンテンツの種類とは、因子空間上での距離が近いコンテンツ(音)を同一の種類としてグルーピングしたものである。つまり、コンテンツの種類は、因子空間上での距離によって、グルーピングされるもので、音から受ける印象が似ていれば、クラシック、ジャズ、ロック、ポップスなどの既存のジャンルによらない。また、コンテンツの種類は、クラシックであっても、テンポが速い曲と遅い曲で別のグループになることもあり、テンポの速いクラシックの曲とテンポの速いポップスが同じグループとして、グルーピングされる可能性もある。
また、本願第発明に係る臨場感推定装置は、前記心理効果影響度算出手段が、音以外の情報からの影響により補正を行うか否かを示す補正制御信号が入力され、当該補正制御信号により補正を行うか否かを判定し、補正を行うと判定した場合、前記全体寄与率および前記個別寄与率と、前記再生音場および前記実音場における前記印象推定値および前記心理効果推定値と、前記心理効果影響度との何れか1つ以上を、所定の補正値情報に基づいて補正することを特徴とする。
かかる構成によれば、臨場感推定装置は、音以外の情報による心理効果への影響を考慮して、心理効果影響度を補正することができる。
また、本願第発明に係る臨場感推定装置は、前記データベースが、印象ごとの全体寄与率と、前記印象および前記コンテンツの種類ごとの個別寄与率とを前記寄与率としてさらに記憶すると共に、前記心理効果の階層関係が予め設定された階層関係情報をさらに記憶し、前記心理効果影響度算出手段が、前記個別寄与率を前記再生音場音響分析値に乗じて前記再生音場における下位階層の印象推定値を算出し、前記個別寄与率を前記下位階層の印象推定値に乗じて前記再生音場における中位階層の印象推定値を算出し、前記個別寄与率を前記中位階層の印象推定値に乗じて前記再生音場における上位階層の前記心理効果推定値を算出し、当該心理効果推定値を総和して前記再生音場における心理効果影響度を算出すると共に、前記個別寄与率を前記実音場音響分析値に乗じて前記実音場における下位階層の印象推定値を算出し、前記個別寄与率を前記下位階層の印象推定値に乗じて前記実音場における中位階層の印象推定値を算出し、前記個別寄与率を前記中位階層の印象推定値に乗じて前記実音場における上位階層の前記心理効果推定値を算出し、当該心理効果推定値を総和して前記実音場における心理効果影響度を算出することを特徴とする。
かかる構成によれば、臨場感推定装置は、下位階層の印象(一次的印象)、中位階層の印象(複合印象)および上位階層の心理効果というように心理効果を階層化することで、心理効果が定義(モデル化)し易く、それぞれの心理効果および印象に対応する全体寄与率および個別寄与率と、補正値情報とをより正確に学習することができる。
ここで、印象とは、聴取者が感受する音の特徴を示すものであり、例えば、「明るい」、「おごそかな」、「音の幅」、「残響量」、「拡がり感」、「移動感」、「迫力がある」、「騒々しい」がある。
また、本願第発明に係る臨場感推定装置は、前記音響信号類似度算出手段が、所定の時間ごとに、所定の時間幅で前記音響信号類似度を算出し、前記音響信号類似度提示手段が、前記音響信号類似度を時系列で提示し、前記心理効果影響度算出手段が、前記時間ごとに、前記時間幅で前記再生音場における心理効果影響度と前記実音場における心理効果影響度とを算出し、前記心理効果影響度提示手段が、前記再生音場における心理効果影響度と前記実音場における心理効果影響度とを時系列で提示し、前記心理効果類似度算出手段が、前記時間ごとに、前記時間幅で心理効果類似度を算出し、前記心理効果類似度提示手段が、前記心理効果類似度を時系列で提示することを特徴とする。
かかる構成によれば、臨場感推定装置は、音響信号の一部分について、音響信号類似度、心理効果影響度および心理効果類似度を提示することができる。
また、前記した課題を解決するため、本願第発明に係る臨場感推定プログラムは、実音場での音を示す実音場音響信号を、当該実音場と異なる再生音場で再生したときの臨場感を推定するために、音響分析の結果が心理効果に寄与する度合いを予め学習した寄与率を記憶するデータベースを備えるコンピュータを、音響信号分析手段、理効果影響度算出手段、心理効果影響度提示手段、として機能させることを特徴とする。
かかる構成によれば、臨場感推定プログラムは、音響信号分析手段によって、前記実音場音響信号を前記再生音場で再生した再生音場音響信号が入力され、前記再生音場音響信号を前記音響分析することで前記再生音場音響信号の物理的特徴を示す再生音場音響分析値を算出する。また、臨場感推定プログラムは、心理効果影響度算出手段によって、前記再生音場音響分析値に前記寄与率のそれぞれを乗じて前記再生音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記再生音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出する。そして、臨場感推定プログラムは、心理効果影響度提示手段によって、前記心理効果影響度算出手段が算出した前記再生音場における心理効果影響度を前記臨場感の推定結果として提示する。
そして、臨場感推定プログラムは、前記音響信号分析手段が、前記実音場音響信号が入力され、前記実音場音響信号を音響分析して前記実音場音響信号の物理的特徴を示す実音場音響分析値を算出すると共に、前記実音場音響分析値が含まれる実音場評価対象信号と、前記再生音場音響分析値が含まれる再生音場評価対象信号とを出力し、前記音響信号分析手段が出力した再生音場評価対象信号と実音場評価対象信号との差に基づいて、前記再生音場音響信号と前記実音場音響信号との類似度である音響信号類似度を算出する音響信号類似度算出手段と、前記音響信号類似度算出手段が算出した音響信号類似度を前記臨場感の推定結果として提示する音響信号類似度提示手段と、をさらに備える。
そして、臨場感推定プログラムは、前記心理効果影響度算出手段が、前記実音場音響分析値に前記寄与率を乗じて前記実音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記実音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出し、前記心理効果影響度算出手段が算出した再生音場における心理効果推定値と実音場における心理効果推定値との差に基づいて、前記再生音場音響信号と前記実音場音響信号とを再生した音から受ける前記心理効果の類似度である心理効果類似度を算出する心理効果類似度算出手段と、前記心理効果類似度算出手段が算出した心理効果類似度を前記臨場感の推定結果として提示する心理効果類似度提示手段と、をさらに備える。
これによって、臨場感推定プログラムは、人間が音を聴いて評価することなく、心理効果影響度を求めることができる。
本発明は、以下のような優れた効果を奏する。
本願第1,発明は、人間が音を聴いて評価することなく心理効果影響度を求めるため、大規模な主観評価実験を毎回行うことなく、人間の主観量である理効果影響度を客観的な臨場感として推定することができる。
さらに、本願第1,6発明は、人間が音を聴いて評価することなく音響信号類似度を求めるため、大規模な主観評価実験を毎回行うことなく、心理効果影響度に加えて、音響信号類似度を客観的な臨場感として推定することができる。
さらに、本願第1,6発明は、人間が音を聴いて評価することなく心理効果類似度を求めるため、大規模な主観評価実験を毎回行うことなく、心理効果影響度および音響信号類似度に加えて、人間の主観量である心理効果類似度を客観的な臨場感として推定することができる。
本願第発明は、正確な個別寄与率を用いて心理効果影響度、音響信号類似度および心理効果類似度を求められ、より客観的な臨場感を推定することができる。
本願第発明は、音以外の情報による心理効果への影響を考慮して心理効果影響度を補正するので、その心理効果への影響が臨場感に反映され、より客観的な臨場感を推定することができる。
本願第発明は、心理効果の関係を階層化することで、これらの関係が定義(モデル化)し易く、心理効果ごとの全体寄与率および個別寄与率をより正確に学習できるため、臨場感の推定精度を向上させることができる。
本願第発明は、時系列で区切られた音響信号の一部分について臨場感を推定できる。このため、本願第発明は、例えば、音楽の先頭部分、音楽の中間部分および音楽の後半部分というように、音楽のどの部分がどの程度の臨場感を感受させるか、および、音楽の先頭から最後までというように、時間の経過に応じて臨場感がどの程度変化するか、ユーザが容易に評価することができる。
本発明の第1実施形態に係る臨場感推定装置の構成を示すブロック図である。 図1の音響信号類似度算出手段による音響信号類似度の算出を説明する説明図である。 図1のコンテンツデータベースを説明する説明図である。 図1の心理効果影響度算出手段による心理効果影響度の算出を説明する説明図である。 図1の心理効果類似度算出手段による心理効果類似度の算出を説明する説明図である。 図1の臨場感推定装置による臨場感のグラフ化を説明する説明図であり、(a)は横棒グラフ形式でグラフ化した例であり、(b)はレーダーチャート形式でグラフ化した例であり、(c)は個別の心理効果影響度をレーダーチャート形式でグラフ化した例である。 図1の臨場感推定装置の動作を示すフローチャートであり、(a)は処理を順次実行する例であり、(b)は処理を並列に実行する例であり、(c)は臨場感の算出処理を先に実行してから臨場感の提示処理を実行する例である。 本発明の変形例1に係る臨場感推定装置の構成を示すブロック図である。 本発明の変形例2に係る臨場感推定装置を説明する説明図である。 本発明の変形例3に係る臨場感推定装置を説明する説明図であり、(a)は音源A〜音源Eそれぞれの音響分析値を示した表であり、(b)は音源A〜音源Eの印象評価値と音響分析値との関係を示したグラフであり、(c)は変換関数を説明する説明図であり、(d)は音源A〜音源Eの感覚量変換値と音響分析値との関係を示すグラフである。 本発明の変形例4に係る臨場感推定装置を説明する説明図である。 本発明の第2実施形態に係る臨場感推定装置の構成を示すブロック図である。 図12の臨場感推定装置による臨場感のグラフ化を説明する説明図であり、(a)は横棒グラフ形式でグラフ化した例であり、(b)は個別の心理効果影響度をレーダーチャート形式でグラフ化した例である。 図12の臨場感推定装置の動作を示すフローチャートである。
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
まず、第1実施形態として、実音場音響信号Aおよび再生音場音響信号Bが入力され、臨場感として、これら信号から心理効果影響度、音響信号類似度および心理効果類似度を算出する構成について説明する。
その後、第2実施形態として、再生音場音響信号Bだけが入力され、臨場感として、この信号から心理効果影響度を算出する構成について説明する。
(第1実施形態)
[臨場感推定装置の構成]
以下、図1を参照して、本発明の第1実施形態に係る臨場感推定装置1の構成について説明する。
図1に示すように、臨場感推定装置1は、実音場での音を示す実音場音響信号を、実音場と異なる再生音場で再生したときの臨場感を推定するものであり、音響信号分析手段10と、音場再現度提示手段20と、コンテンツデータベース(データベース)30と、情動反応度提示手段40と、印象再現度提示手段50とを備える。
まず、音響信号分析手段10に入力される実音場音響信号Aおよび再生音場音響信号Bのそれぞれについて詳細に説明する。
実音場音響信号Aは、実音場で収音された音響信号(再生対象となった音響空間で計測された音響信号)であり、例えば、コンサートホールでのオーケストラ生演奏を収音した音響信号である。
再生音場音響信号Bは、再生音場で収音された音響信号(実際に再現された音響空間で計測された音響信号)である。例えば、再生音場音響信号Bは、コンサートホールでのオーケストラ生演奏を収音した音響信号を、リビングルームのオーディオ機器により再生して、その再生音を収音した音響信号である。
このとき、音響空間の計測(実音場音響信号Aおよび再生音場音響信号Bの収音)には、例えば、人間の頭部を模擬した計測装置900(ダミーヘッドDHに設置されたマイクロホンMC)を用いることができる(図2参照)。
また、音響空間の計測には、複数のマイクロホンを用いて空間的な情報を取得できる計測装置を用いてもよい。例えば、狭指向性マイクを扇状に配置して、音量を比較することで、音の到来方向を算出することができる。このとき、信号間相関(ダミーヘッドDHの場合は、両耳間相関)を算出することで、音の拡がり感を空間的な情報として取得できる。
音響信号分析手段10は、実音場音響信号Aと再生音場音響信号Bとが入力され、実音場音響信号Aを音響分析して実音場音響信号Aの物理的特徴を示す実音場音響分析値を算出すると共に、再生音場音響信号Bを音響分析して再生音場音響信号Bの物理的特徴を示す再生音場音響分析値を算出する。ここで、音響信号分析手段10は、実音場音響信号Aおよび再生音場音響信号Bを音響分析して、例えば、基本周波数の時間変化パターン、周波数特性、周波数特性の分類クラス、レベルの時間変化パターン、ラウドネス、ラフネス、シャープネス、両耳間時間差、両耳間レベル差、両耳間相関度、両耳間相関関数の幅などの物理的特徴を、実音場音響分析値および再生音場音響分析値として算出する。
そして、音響信号分析手段10は、入力された実音場音響信号Aまたは音響分析した実音場音響分析値の少なくとも一方が含まれる実音場評価対象信号を、後記する音場再現度提示手段20および情動反応度提示手段40に出力する。また、音響信号分析手段10は、入力された再生音場音響信号Bまたは音響分析した再生音場音響分析値の少なくとも一方が含まれる再生音場評価対象信号を、音場再現度提示手段20および情動反応度提示手段40に出力する。
なお、これら音響分析の手法は、一般的なものであるため説明を省略する。また、音響信号分析手段10が求める物理的特徴は、音響分析可能なものであればよく、これらに限定されないことは言うまでもない。また、音響信号分析手段10がどの物理的特徴を求めるかは、例えば、ユーザが手動で設定する。
音場再現度提示手段20は、実音場音響信号Aと再生音場音響信号Bとの類似度である音響信号類似度を算出するものであり、音響信号類似度算出手段21と、音響信号類似度提示手段23とを備える。
音響信号類似度算出手段21は、音響信号分析手段10から実音場評価対象信号と再生音場評価対象信号とが入力されると共に、再生音場評価対象信号と実音場評価対象信号との差に基づいて、音響信号類似度を算出する。そして、音響信号類似度算出手段21は、算出した音響信号類似度を後記する音響信号類似度提示手段23に出力する。
<第1例:音響信号類似度の算出、音響信号>
以下、図2を参照して、音響信号類似度算出手段21による音響信号類似度の算出について、第1例〜第3例を説明する(適宜図1参照)。
なお、図2では、実音場音響信号Aを「音響信号A」と図示し、再生音場音響信号Bを「音響信号B」と図示している。
この第1例は、実音場評価対象信号として実音場音響信号Aが入力され、再生音場評価対象信号として再生音場音響信号Bが入力された例である。この場合、音響信号類似度算出手段21は、下記の式(1)に示すように、実音場音響信号Aと再生音場音響信号Bとの差分絶対値を2乗した値を、実音場音響信号Aの2乗値で除算する。そして、音響信号類似度算出手段21は、この除算した値の平方根を求めて、音響信号類似度を算出する。つまり、音響信号類似度算出手段21は、実音場音響信号Aと再生音場音響信号Bとの差に基づいて、音響信号類似度を算出している。
Figure 0005658483
この式(1)では、sig(s)が実音場音響信号A(時系列のサンプルリングデータ)であり、sig(s)が再生音場音響信号B(時系列のサンプルリングデータ)であり、Errorが音響信号類似度である。
この第1例によれば、臨場感推定装置1は、簡易な演算処理で音響信号類似度を算出できる。
<第2例:音響信号類似度の算出、1種類の音響分析値>
この第2例は、実音場評価対象信号として1種類の実音場音響分析値(例えば、実音場音響信号Aのラウドネス)が入力され、再生音場評価対象信号として同種の再生音場音響分析値(例えば、再生音場音響信号Bのラウドネス)が入力された例である。
この場合、音響信号類似度算出手段21は、実音場音響分析値と再生音場音響分析値との差に基づいて、音響信号類似度を算出することができる。例えば、音響信号類似度算出手段21は、前記した式(1)において、sig(s)を実音場音響信号Aのラウドネスとし、sig(s)を再生音場音響信号Bのラウドネスとすることで、音響信号類似度を算出できる。
この第2例によれば、臨場感推定装置1は、簡易な演算処理で音響信号類似度を算出できる。
<第3例:音響信号類似度の算出、音響信号および音響分析値の2種類以上>
この第3例は、実音場評価対象信号として2種類の実音場音響分析値(例えば、実音場音響信号Aのラウドネスと両耳相関度)が入力され、再生音場評価対象信号として同種の再生音場音響分析値(例えば、再生音場音響信号Bのラウドネスと両耳相関度)が入力された例である。
この場合、音響信号類似度算出手段21は、前記した式(1)を用いて、実音場音響分析値の種類ごとに音響信号類似度を算出する。そして、音響信号類似度算出手段21は、その音響信号類似度に実音場音響分析値の種類ごとに予め設定した係数を乗算した乗算値を求め、その乗算値を総和した値を音響信号類似度として算出する。
より具体的には、音響信号類似度算出手段21は、前記した式(1)において、sig(s)を実音場音響信号Aのラウドネスとし、sig(s)を再生音場音響信号Bのラウドネスとすることで、1種類目の音響信号類似度を算出する。この1種類目の音響信号類似度をError1とする。次に、音響信号類似度算出手段21は、前記した式(1)において、sig(s)を実音場音響信号Aの両耳相関度とし、sig(s)を再生音場音響信号Bの両耳相関度とすることで、2種類目の音響信号類似度を算出する。この2種類目の音響信号類似度をError2とする。そして、音響信号類似度算出手段21は、下記の式(2)に示すように、1種類目の音響信号類似度Error1に係数k1を乗算した乗算値を求め、2種類目の音響信号類似度Error2に係数k2を乗算した乗算値を求め、これら乗算値の総和を係数k1,k2の和で除算して、音響信号類似度Errorを算出する。
Figure 0005658483
2種類の音響分析値を用いる例を説明したが、音響信号類似度算出手段21は、音響信号と1種類の音響分析値(例えば、ラウドネス)とを組み合わせて、音響信号類似度を算出してもよい。具体的には、音響信号類似度算出手段21は、前記した第1例と同様に、音響信号同士の差による音響信号類似度を算出し、この音響信号類似度をError1とする。また、音響信号類似度算出手段21は、前記した第2例と同様に、ラウドネスの差による音響信号類似度を算出し、この音響信号類似度をError2とする。そして、音響信号類似度算出手段21は、前記した式(2)を用いて、音響信号と音響分析値とを組み合わせた音響信号類似度を算出する。
さらに、音響信号類似度算出手段21は、音響信号および音響分析値を合わせて3種類以上組み合わせて、音響信号類似度を算出してもよい。具体的には、音響信号類似度算出手段21は、前記した式(1)を用いて、1種類目〜M種類目までの音響信号類似度を算出する。そして、音響信号類似度算出手段21は、下記の式(3)に示すように、1種類目〜M種類目までの音響信号類似度Error1〜ErrorMに、それぞれの係数k1〜kMを乗算した乗算値を求め、これら乗算値の総和を係数k1〜kMの和で除算して、音響信号類似度を算出する(但し、Mは3以上の整数)。
Figure 0005658483
この式(3)では、k1,k2〜kMは、ユーザによって予め設定される係数である。
この第3例によれば、臨場感推定装置1は、音響信号および音響分析値を複数組み合わせることで、より正確な音響信号類似度を算出できる。
なお、第2例、第3例では、ラウドネスおよび両耳相関度を用いる例を説明したが、これに限定されない。例えば、音響信号類似度算出手段21は、基本周波数の時間変化パターン、周波数特性、周波数特性の分類クラス、レベルの時間変化パターン、ラフネス、シャープネス、両耳間時間差、両耳間レベル差、または、両耳間相関関数の幅の差に基づいて、音響信号類似度を算出できる。
また、前記した第1例〜第3例の何れを用いるかは、例えば、ユーザが手動で設定する。
なお、前記した式(1)ないし式(3)のErrorを音響信号類似度とする例で説明したがこれに限定されない。例えば、音響信号類似度算出手段21は、前記した式(1)ないし式(3)で算出したErrorの値を用いて、(1−Error)×100という計算を行い、その計算結果を音響信号類似度としてもよい。これによって、後記する音響信号類似度提示手段23は、音響信号類似度の値を百分率で提示することができる。
以下、図1に戻り、臨場感推定装置1の構成について説明を続ける。
音響信号類似度提示手段23は、音響信号類似度算出手段21から音響信号類似度が入力されると共に、音響信号類似度を臨場感の推定結果として提示する。ここで、音響信号類似度提示手段23は、例えば、この音響信号類似度を0以上1以下の範囲内で正規化した後、グラフ化(メータ化)して提示する(図6参照)。
なお、音響信号類似度提示手段23の詳細は、後記する。
コンテンツデータベース30は、後記する情動反応度提示手段40が用いる様々な情報が予め記憶されたデータベースである。ここで、コンテンツデータベース30は、例えば、元音響信号と、元音響分析値と、分類基準値と、コンテンツの種類と、因子空間と、寄与率と、階層関係情報とを予め記憶している。
以下、図3を参照し、コンテンツデータベース30について詳細に説明する。
元音響信号は、実音場で収音された音響信号、例えば、コンサートホールでのオーケストラ生演奏を収音した音響信号である。
元音響分析値は、前記した音響信号分析手段10と同様の音響解析により求められた、元音響信号の物理的特徴(例えば、ラウドネス)を示す値である。
分類基準値は、コンテンツの種類を分類(グルーピング)する基準となる値であり、例えば、印象評価値または生体測定値の何れか一方を用いることができる。
印象評価値は、元音響信号を収音するときの音を実音場で評価者に聴かせる主観評価実験を行い、評価者がその音から感受した印象や心理効果の度合いを示す値である。例えば、元音響信号がコンサートホールでのオーケストラ生演奏を収音した音響信号であれば、その印象評価値は、コンサートホールでのオーケストラ生演奏を主観評価実験した結果となる。
生体測定値は、音響信号を収音する対象となった音を実音場で評価者に聴かせ、その時の評価者の脳波計測値、心拍数または発汗量を計測した値である。例えば、生体測定値は、コンサートホールでのオーケストラ生演奏を聴いたときの、評価者の脳波計測値である。この生体測定値は、評価者の脳波を計測するため、心理効果を示す言葉を用いる主観評価実験に比べて、言葉の定義が評価者間で異なるために生じる誤差を低減できる。また、評価者が意識できるはっきりとした心理効果(印象)の相違を対象とする主観評価実験に比べて、この生体測定値は、はっきりとした心理効果(印象)の相違がないような、評価者の意識下の心理効果(印象)の相違を計測可能である。
なお、分類基準値として、印象評価値または生体測定値のどちらを用いるかは、例えば、ユーザが手動で設定する。また、本実施形態では、分類基準値として印象評価値を用いるとして説明する。
コンテンツの種類は、後記する因子空間SP上での距離が近いコンテンツ(音)を同一の種類として予めグルーピングしたものである。
因子空間SPは、コンテンツの種類と因子得点SCとを対応付けたものである。
ここで、コンテンツの種類および因子空間について説明する。
例えば、コンテンツの種類は、分類基準値を因子分析し、どの象限に属するコンテンツであるかを分類(グルーピング)することで求められる。例えば、複数のコンテンツ(C個)に対して、複数の印象評価値(I個)がある場合を考える。この場合、逆行列の固有値を求めて、複数の行列(因子)で印象評価値(C×I個)を一定以下の誤差で近似した結果、M個の因子を得ることができる。そして、分類基準値から因子得点SCを求めると、各コンテンツは、M次元の因子空間上の1点として表現することができる。その後、コンテンツの種類は、因子空間SP上において、距離が近いコンテンツを同一の種類としてグルーピングすることで求められる。図3の例では、因子空間SPは、因子Iおよび因子IIの因子得点と、コンテンツの種類1〜4とを対応付けている。つまり、因子空間SPにおいて、横軸が因子Iであり、縦軸が因子IIである。そして、因子空間SPにおいて、各因子得点SCが近いものを同一種類のコンテンツとして対応させている。つまり、因子空間SPでは、破線で区切られた矩形領域のそれぞれにコンテンツの種類1〜4が対応することになる。
なお、因子分析を用いたコンテンツの種類の分類手法の詳細は、例えば、文献「“音楽と感情”、谷口高士著、株式会社 北大路書房、1998年1月」に記載されている。
寄与率は、全体寄与率と個別寄与率とが含まれ、後記する学習によって求めることができる。
全体寄与率は、心理効果または印象の寄与率を示すものである。例えば、ある心理効果「明るい」に対して、1つの全体寄与率が学習によって求められる。また、例えば、別の心理効果「おごそかな」に対しても、1つの全体寄与率が学習によって求められる(図4のWij参照)。
個別寄与率は、コンテンツの種類ごとに、心理効果または印象の寄与率を示すものである。例えば、心理効果「ジーン」で、かつ、コンテンツの種類「テンポが速いクラシック」に対して、1つの個別寄与率が学習によって求められる。また、例えば、心理効果「ジーン」で、かつ、コンテンツの種類「テンポが遅いクラシック」に対しても、1つの個別寄与率が学習によって求められる(図4のW1ij〜W3ij参照)。
ここで、寄与率の学習方法の一例について説明する。
寄与率は、例えば、学習として、重回帰分析を行って求めることができる。重回帰分析では、複数の観測値(説明変数)から変数(目的変数)を予測するとき、予測誤差が最も少なくなるように寄与率を算出する。本実施形態では、観測値(説明変数)をコンテンツデータベース30に記憶した元音響分析値とし、変数(目的変数)をコンテンツデータベース30に記憶した印象評価値として重回帰分析を行う。このことから、寄与率は、コンテンツデータベース30に記憶されている観測値に依存することになる。
まず、コンテンツデータベース30の全体に対して学習(重回帰分析)を行って、全体寄与率を算出する。さらに、コンテンツデータベース30において、コンテンツの種類ごとに学習(重回帰分析)を行って、個別寄与率を算出することが好ましい。このように、コンテンツの種類ごとに学習(重回帰分析)すると、寄与率の正確性がより高くなる。
なお、コンテンツデータベース30の全体に対する学習だけを行って、全体寄与率のみを算出してもよいことは言うまでもない。
また、重回帰分析して寄与率を学習する例を説明したが、学習手法は、これに限定されない。例えば、寄与率は、ニューラルネットワークを用いて学習することもできる。
階層関係情報は、心理効果の階層関係を予め設定した情報である。この心理効果の階層関係は、数学的に求められないので経験的に定義する必要がある。すなわち、心理効果の階層関係を示す階層関係情報は、ユーザにより手動で設定される。本実施形態では、図4に示すように、心理効果の階層関係は、上位階層を「心理効果」、中位階層を「複合印象」、および、下位階層を「一次的印象」とした3階層で定義される。図4の例では、階層関係情報は、「音の幅」および「残響量」を一次的印象として、「拡がり感」および「移動感」を複合印象として、「ジーン」および「ワクワク」を心理効果として対応付けている。
「心理効果」は、聴取者が感受する心理状態を示すものであり、ユーザによって予め定義される。この心理効果は、例えば、音の印象(例えば、「明るい音」)に対する聴取者の気持ち(例えば、「心が躍った」や「晴れ晴れとした気持ちになった」、「ジーンとした(ジーン)」、「ワクワクした(ワクワク)」)を指すものである。
印象は、聴取者が感受する音の特徴を示すものであり、例えば、「一次的印象」および「複合印象」が含まれる。
「一次的印象」は、音響信号の特徴量または感覚量に直接的に結び付く印象(例えば、「音の大きさ」、「音の幅」、「残響量」)である。つまり、「一次的印象」は、人間の情報処理系での末梢に近い部位で処理していると思われる音の印象である。
「複合印象」は、「一次的印象」に対して、人間の情報処理系の深部(脳の高次機能)で処理されていると思われる音の印象である(例えば、「迫力がある」や「迫力がない」、「拡がり感」、「移動感」)。
「心理効果」と、音の印象を示す「一次的印象」および「複合印象」との区別は、例えば、コンテンツデータベース30を構築するときに行う主観評価実験において、「音の印象として、その音にどういう特徴があるのか」、「その音を聴いた結果、どういう気持ちになったのか」などの質問項目により行うことができる。
また、「一次的印象」と「複合印象」との区別は、例えば、その印象を示す言葉の定義として多義的か、評価者による評価値のばらつきが大きいか、および、単純な変換関数(図10参照)で音響分析値から印象評価値を近似することが可能か、などの基準で行うことができる。
以下、図1に戻り、臨場感推定装置1の構成について説明を続ける。
図1に示すように、情動反応度提示手段40は、実音場音響信号Aを再生した音から受ける心理効果の影響度である心理効果影響度と、再生音場音響信号Bを再生した音から受ける心理効果の影響度である心理効果影響度とを算出するものであり、心理効果影響度算出手段41と、心理効果影響度提示手段43とを備える。
心理効果影響度算出手段41は、音響信号分析手段10から実音場評価対象信号(実音場音響分析値)と再生音場評価対象信号(再生音場音響分析値)とが入力される。また、心理効果影響度算出手段41は、実音場音響分析値から実音場における心理効果影響度を算出し、再生音場音響分析値から再生音場における心理効果影響度を算出する。そして、心理効果影響度算出手段41は、算出した実音場における心理効果影響度と再生音場における心理効果影響度とを心理効果影響度提示手段43に出力する。
以下、図4を参照して、心理効果影響度算出手段41による心理効果影響度の算出について詳細に説明する(適宜図1参照)。
なお、実音場評価対象信号には、コンテンツの種類を確定するための実音場音響分析値として、基本周波数の時間変化パターン、および、周波数特性、レベルの時間変化パターンという3つの物理的特徴が含まれるとする。また、実音場評価対象信号には、心理効果影響度の算出するための実音場音響分析値として、ラウドネス、両耳間相関度および両耳間レベル差の3つの物理的特徴が含まれるとする。
また、再生音場評価対象信号には、再生音場音響分析値として、実音場評価対象信号と同種の物理的特徴が含まれるとする。
図4に示すように、心理効果影響度算出手段41は、コンテンツの種類を確定した後、心理効果影響度を算出する。ここで、心理効果影響度算出手段41は、例えば、1回目の処理で再生音場における心理効果影響度を算出し、2回目の処理で実音場における心理効果影響度を算出するというように、実音場音響分析値および再生音場音響分析値をそれぞれ入力して同じ処理を2回繰り返す。
<コンテンツの種類の確定>
以下、心理効果影響度算出手段41によるコンテンツの種類の確定と、心理効果影響度の算出とを順に説明する。
まず、再生音場における心理効果影響度を算出するため、心理効果影響度算出手段41は、再生音場音響分析値を用いて、再生音場音響信号Bについてコンテンツの種類を確定する。このため、心理効果影響度算出手段41は、再生音場音響分析値に全体寄与率を乗じて心理効果ごとに乗算値を算出する。
具体的には、心理効果影響度算出手段41は、コンテンツデータベース30を参照し、心理効果「明るい」の全体寄与率Wijと、心理効果「おごそかな」の全体寄与率Wijと取得する。
また、図4上段に示すように、心理効果影響度算出手段41は、心理効果の全体寄与率Wijに、コンテンツの種類を確定するための再生音場音響分析値を乗算した計算値を求める。例えば、心理効果影響度算出手段41は、心理効果「明るい」の全体寄与率Wijに音響分析値「基本周波数の時間変化パターン」を乗算した計算値を求める。そして、心理効果影響度算出手段41は、心理効果「明るい」の全体寄与率Wijに音響分析値「周波数特性」を乗算した計算値を求める。さらに、心理効果影響度算出手段41は、心理効果「明るい」の全体寄与率Wijに音響分析値「レベルの時間変化パターン」を乗算した計算値を求める。その後、心理効果影響度算出手段41は、これら3つの計算値を総和して心理効果「明るい」の乗算値を求める。
なお、基本周波数の時間変化パターンなどの数値化されていない音響分析値については、例えば、ダミー変数に置き換えてから回帰分析を行う数量化I類を用いることで、数値化して扱うことができる。この場合、ダミー変数は、コンテンツデータベース30に予め記憶しておく。
また、心理効果影響度算出手段41は、心理効果「明るい」と同様に、心理効果「おごそかな」の全体寄与率Wijに音響分析値「基本周波数」の時間変化パターンを乗算した計算値を求める。そして、心理効果影響度算出手段41は、心理効果「おごそかな」の全体寄与率Wijに音響分析値「周波数特性」を乗算した計算値を求める。さらに、心理効果影響度算出手段41は、心理効果「おごそかな」の全体寄与率Wijに音響分析値「レベルの時間変化パターン」を乗算した計算値を求める。その後、心理効果影響度算出手段41は、これら3つの計算値を総和して心理効果「おごそかな」の乗算値を求める。
そして、心理効果影響度算出手段41は、心理効果ごとの乗算値を総和して、再生音場における因子得点を算出する。例えば、心理効果影響度算出手段41は、心理効果「明るい」の乗算値と、心理効果「おごそかな」の乗算値とを総和して、再生音場における因子得点を算出する。さらに、心理効果影響度算出手段41は、この再生音場における因子得点およびコンテンツデータベース30に記憶された因子空間に基づいて、再生音場音響信号Bについてコンテンツの種類を確定する。例えば、心理効果影響度算出手段41は、算出した再生音場における因子得点SCが、図3の因子空間SP上においてどの矩形領域に含まれるかで、コンテンツの種類を確定する。以下、再生音場音響信号Bについて、そのコンテンツの種類が「テンポが速いクラシック」であるとする。
<心理効果影響度の算出>
次に、心理効果影響度算出手段41は、図4下段に示すように、確定したコンテンツの種類および再生音場音響分析値を用いて、再生音場における心理効果影響度を算出する。ここで、心理効果影響度算出手段41は、心理効果が階層関係を有するため、コンテンツデータベース30に記憶された階層関係情報および個別寄与率W1ij〜W3ijに基づいて、以下で述べるような階層的処理を行う。
まず、心理効果影響度算出手段41は、コンテンツデータベース30を参照し、一次的印象「音の幅」および「残響量」と、複合印象「拡がり感」および「移動感」と、心理効果「ジーン」および「ワクワク」について、コンテンツの種類「テンポが速いクラシック」の個別寄与率W1ij〜W3ijを取得する。
また、心理効果影響度算出手段41は、一次的印象の個別寄与率W1ijを心理効果影響度の算出するための再生音場音響分析値に乗じて、一次的印象ごとに再生音場における印象推定値を算出する。例えば、心理効果影響度算出手段41は、一次的印象「音の幅」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W1ijに、音響分析値「ラウドネス」を乗算した計算値を求める。そして、心理効果影響度算出手段41は、一次的印象「音の幅」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W1ijに、音響分析値「両耳相関度」を乗算した計算値を求める。さらに、心理効果影響度算出手段41は、一次的印象「音の幅」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W1ijに、音響分析値「両耳相間レベル差」を乗算した計算値を求める。そして、心理効果影響度算出手段41は、これら3つの計算値を総和して一次的印象「音の幅」の印象推定値を求める。
このとき、心理効果影響度算出手段41は、一次的印象「残響量」についても、一次的印象「音の幅」と同様の処理を行う。例えば、心理効果影響度算出手段41は、一次的印象「残響量」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W1ijに、音響分析値「ラウドネス」を乗算した計算値を求める。そして、心理効果影響度算出手段41は、一次的印象「残響量」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W1ijに、音響分析値「両耳相関度」を乗算した計算値を求める。さらに、心理効果影響度算出手段41は、一次的印象「残響量」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W1ijに、音響分析値「両耳相間レベル差」を乗算した計算値を求める。そして、心理効果影響度算出手段41は、これら3つの計算値を総和して一次的印象「残響量」の印象推定値を求める。
また、心理効果影響度算出手段41は、複合印象の個別寄与率W2ijを一次的印象の印象推定値に乗じて、複合印象ごとに再生音場における印象推定値を算出する。例えば、心理効果影響度算出手段41は、複合印象「拡がり感」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W2ijに、一次的印象「音の幅」の印象推定値を乗算した計算値を求める。そして、心理効果影響度算出手段41は、複合印象「拡がり感」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W2ijに、一次的印象「残響量」の印象推定値を乗算した計算値を求める。さらに、心理効果影響度算出手段41は、これら2つの計算値を総和して複合印象「拡がり感」の印象推定値を求める。
このとき、心理効果影響度算出手段41は、複合印象「移動感」についても、複合印象「拡がり感」と同様の処理を行う。例えば、心理効果影響度算出手段41は、複合印象「移動感」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W2ijに、一次的印象「音の幅」の印象推定値を乗算した計算値を求める。そして、心理効果影響度算出手段41は、複合印象「移動感」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W2ijに、一次的印象「残響量」の印象推定値を乗算した計算値を求める。さらに、心理効果影響度算出手段41は、これら2つの計算値を総和して複合印象「移動感」の印象推定値を求める。
また、心理効果影響度算出手段41は、心理効果の個別寄与率W3ijを複合印象の印象推定値に乗じて、心理効果ごとに再生音場における心理効果推定値を算出する。例えば、心理効果影響度算出手段41は、心理効果「ジーン」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W3ijに、複合印象「拡がり感」の印象推定値を乗算した計算値を求める。そして、心理効果影響度算出手段41は、心理効果「ジーン」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W3ijに、複合印象「移動感」の印象推定値を乗算した計算値を求める。さらに、心理効果影響度算出手段41は、これら2つの計算値を総和して心理効果「ジーン」の心理効果推定値を求める。
このとき、心理効果影響度算出手段41は、心理効果「ワクワク」についても、心理効果「ジーン」と同様の処理を行う。例えば、心理効果影響度算出手段41は、心理効果「ワクワク」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W3ijに、複合印象「拡がり感」の印象推定値を乗算した計算値を求める。そして、心理効果影響度算出手段41は、心理効果「ワクワク」で、かつ、コンテンツの種類「テンポが速いクラシック」の個別寄与率W3ijに、複合印象「移動感」の印象推定値を乗算した計算値を求める。そして、心理効果影響度算出手段41は、これら2つの計算値を総和して心理効果「ワクワク」の心理効果推定値を求める。
さらに、心理効果影響度算出手段41は、心理効果推定値を総和して再生音場における心理効果影響度を算出する。例えば、心理効果影響度算出手段41は、心理効果「ジーン」の心理効果推定値と、心理効果「ワクワク」の心理効果推定値とを総和して、再生音場における心理効果影響度を算出する。
ここで、心理効果影響度算出手段41は、心理効果推定値のそれぞれを寄与率W4ij(不図示)で重み付けしてから、再生音場における心理効果影響度を算出してもよい。例えば、心理効果影響度算出手段41は、心理効果「ジーン」の心理効果推定値に寄与率W4ijで重み付けを行うと共に、心理効果「ワクワク」の心理効果推定値に寄与率W4ijで重み付けを行う。そして、心理効果影響度算出手段41は、寄与率W4ijで重み付けした心理効果「ジーン」,「ワクワク」の心理効果推定値を総和して、再生音場における心理効果影響度を算出する。
その後、心理効果影響度算出手段41は、再生音場における心理効果影響度と、実音場における心理効果影響度とを心理効果影響度提示手段43に出力する。また、心理効果影響度算出手段41は、再生音場および実音場における印象推定値と心理効果推定値とを心理効果類似度算出手段51に出力する。
なお、心理効果影響度算出手段41は、実音場における心理効果影響度を、再生音場における心理効果影響度と同じ処理で算出できるので、その説明を省略する。
また、心理効果影響度算出手段41は、1回目の処理で実音場における心理効果影響度を算出し、2回目の処理で再生音場における心理効果影響度を算出してもよく、両処理を並行に実行してもよい。
なお、実音場音響分析値は、図4の例に限定されないことは言うまでもない。例えば、心理効果影響度算出手段41は、音響分析値「ラウドネス」を用いてコンテンツの種類を確定してもよく、「基本周波数の時間変化パターン」を用いて心理効果影響度を算出してもよい。また、例えば、心理効果影響度算出手段41は、同種の音響分析値(例えば、「ラウドネス」)を用いてコンテンツの種類を確定し、心理効果影響度を算出してもよい。
以下、図1に戻り、臨場感推定装置1の構成について説明を続ける。
心理効果影響度提示手段43は、心理効果影響度算出手段41から再生音場における心理効果影響度と実音場における心理効果影響度とが入力されると共に、これら心理効果影響度を臨場感の推定結果として提示する。ここで、心理効果影響度提示手段43は、例えば、これら心理効果影響度を0以上1以下の範囲内で正規化した後、グラフ化(メータ化)して提示する(図6参照)。
なお、心理効果影響度提示手段43の詳細は後記する。
印象再現度提示手段50は、再生音場音響信号Bと実音場音響信号Aとを再生した音から受ける心理効果の類似度である心理効果類似度を算出するものであり、心理効果類似度算出手段51と、心理効果類似度提示手段53とを備える。
心理効果類似度算出手段51は、心理効果影響度算出手段41から再生音場および実音場における印象推定値と心理効果推定値とが入力される。そして、心理効果類似度算出手段51は、再生音場における印象推定値および心理効果推定値と、実音場における印象推定値および心理効果推定値との差に基づいて、心理効果類似度を算出する。そして、心理効果類似度算出手段51は、算出した心理効果類似度を心理効果類似度提示手段53に出力する。
以下、図5を参照して、心理効果類似度算出手段51による心理効果類似度の算出について詳細に説明する(適宜図1参照)。
なお、図5では、実音場音響信号Aを「音響信号A」と図示し、再生音場音響信号Bを「音響信号B」と図示している。また、図5では、印象推定値A1および印象推定値B1が同種の印象推定値であるとし、印象推定値A2および印象推定値B2が同種の印象推定値であるとする。また、図5では、説明を簡易にするため、心理効果推定値の図示を省略した。
具体的には、心理効果類似度算出手段51は、下記の式(4)により、再生音場と実音場との間において、同種の印象推定値の差分絶対差を2乗した値と、同種の心理効果推定値の差分絶対差を2乗した値との総和を求めることになる。
Figure 0005658483
この式(4)では、impが実音場における印象推定値または心理効果推定値であり、impが再生音場における印象推定値または心理効果推定値であり、Nが印象推定値と心理効果推定値との種類であり、Error´が心理効果類似度である。
例えば、印象推定値A1が実音場における一次的印象「残響量」の印象推定値であり、印象推定値B1が再生音場における一次的印象「残響量」の印象推定値であり、印象推定値A2が実音場における複合印象「拡がり感」の印象推定値であり、印象推定値B2が再生音場における複合印象「拡がり感」の印象推定値であるとする(N=2)。この場合、心理効果類似度算出手段51は、前記した式(4)のように、実音場における一次的印象「残響量」の印象推定値と、再生音場における一次的印象「残響量」の印象推定値との差分絶対値を2乗した値を求める。また、同様に、心理効果類似度算出手段51は、実音場における複合印象「拡がり感」の印象推定値と、再生音場における複合印象「拡がり感」の印象推定値との差分絶対値を2乗した値を求める。そして、心理効果類似度算出手段51は、これら印象「残響量」,「拡がり感」における差分絶対値の2乗値を総和して、この総和値をNで除算することで、心理効果類似度を算出する。
以下、図1に戻り、臨場感推定装置1の構成について説明を続ける。
心理効果類似度提示手段53は、心理効果類似度算出手段51から心理効果類似度が入力されると共に、この心理効果類似度を臨場感の推定結果として提示する。ここで、心理効果類似度提示手段53は、例えば、この心理効果類似度を0以上1以下の範囲内で正規化した後、グラフ化(メータ化)して提示する。
以下、図6を参照して、臨場感のグラフ化(メータ化)について詳細に説明する。
なお、図6(a)および図6(b)において、音場再現度αは、音響信号類似度提示手段23が提示する音響信号類似度である。また、再現度印象βは、心理効果類似度提示手段53が提示する心理効果類似度である。そして、影響度(再生音場)γ1は、心理効果影響度提示手段43が提示する再生音場における心理効果影響度である。さらに、影響度(実音場)γ2は、心理効果影響度提示手段43が提示する実音場における心理効果影響度である。
また、図6(c)では、再生音場における心理効果影響度を破線で図示し、実音場における心理効果影響度を実線で図示している。
この図6(a)に示すように、音響信号類似度提示手段23、心理効果影響度提示手段43および心理効果類似度提示手段53は、横棒グラフ形式で臨場感の推定結果を提示してもよい。また、図6(b)に示すように、音響信号類似度提示手段23、心理効果影響度提示手段43および心理効果類似度提示手段53は、レーダーチャート形式で臨場感の推定結果を提示してもよい。さらに、臨場感推定装置1は、音場再現度α、再現度印象β、影響度(再生音場)γ1および影響度(実音場)γ2それぞれの数値を、各グラフの隣に提示してもよい(不図示)。
このとき、図6(c)に示すように、心理効果影響度提示手段43は、例えば、「ワクワク」,「ドキッ」,「ジーン」,「ゾクッ」といった個別の心理効果について、それぞれの心理効果推定値を心理効果影響度としてレーダーチャート形式で提示してもよい。
以上のように、臨場感推定装置1は、システム臨場感やコンテンツ臨場感というように、複数の要因が関連する臨場感の推定結果を、一目して判断しやすい形式でユーザに提示することができる。
[臨場感推定装置の動作]
以下、図7を参照して、臨場感推定装置1の動作について説明する(適宜図1参照)。
図7(a)に示すように、臨場感推定装置1は、音響信号分析手段10によって、実音場音響信号Aを音響分析して実音場音響信号Aの物理的特徴を示す実音場音響分析値を算出すると共に、再生音場音響信号Bを音響分析して再生音場音響信号Bの物理的特徴を示す再生音場音響分析値を算出する。そして、臨場感推定装置1は、音響信号分析手段10によって、入力された実音場音響信号Aまたは音響分析した実音場音響分析値の少なくとも一方が含まれる実音場評価対象信号と、入力された再生音場音響信号Bまたは音響分析した再生音場音響分析値の少なくとも一方が含まれる再生音場評価対象信号とを出力する(ステップS1)。
また、臨場感推定装置1は、音響信号類似度算出手段21によって、再生音場評価対象信号と実音場評価対象信号との差に基づいて、音響信号類似度を算出する(ステップS2)。そして、臨場感推定装置1は、音響信号類似度提示手段23によって、音響信号類似度を臨場感の推定結果として提示する(ステップS3)。
また、臨場感推定装置1は、心理効果影響度算出手段41によって、実音場評価対象信号(実音場音響分析値)から実音場における心理効果影響度を算出し、再生音場評価対象信号(再生音場音響分析値)から再生音場における心理効果影響度を算出する(ステップS4)。そして、臨場感推定装置1は、心理効果影響度提示手段43によって、再生音場における心理効果影響度と実音場における心理効果影響度とを臨場感の推定結果として提示する(ステップS5)。
また、臨場感推定装置1は、心理効果類似度算出手段51によって、再生音場における印象推定値および心理効果推定値と、実音場における印象推定値および心理効果推定値との差に基づいて、心理効果類似度を算出する(ステップS6)。そして、臨場感推定装置1は、心理効果類似度提示手段53によって、心理効果類似度を臨場感の推定結果として提示する(ステップS7)。
図7(a)では、ステップS1〜S7の処理を順次実行する例を説明したが、臨場感推定装置1の動作は、これに限定されない。
例えば、図7(b)に示すように、臨場感推定装置1は、ステップS2,S3の処理と、ステップS4〜S7の処理とを並列に実行してもよい。
また、例えば、図7(c)に示すように、臨場感推定装置1は、ステップS1,S2,S4,S6との処理を実行することで臨場感を求め、その後、ステップS3,S5,S7の処理を実行することで臨場感を提示してもよい。
なお、図7(b)および図7(c)におけるステップS1〜S7の処理は、図7(a)と同様のものであるため、詳細な説明を省略する。
以上のように、本発明の第1実施形態に係る臨場感推定装置1は、人間が音を聴いて評価することなく、再生音場および実音場における心理効果影響度、音響信号類似度および心理効果類似度を求めるため、大規模な主観評価実験を毎回行うことなく、これらを客観的な臨場感として推定することができる。このとき、臨場感推定装置1は、これら臨場感の推定結果をグラフ化して提示するため(図7参照)、ユーザが、臨場感の推定結果を一目して判断でき、臨場感の評価を行いやすくなる。例えば、ユーザは、臨場感推定装置1を用いることで、再生音場と実音場との間で、どの程度、臨場感に差があるかを容易に評価することができる。
また、臨場感推定装置1は、個別寄与率をコンテンツの種類ごとに学習しているため、個別寄与率の正確性がより高くなる。このため、臨場感推定装置1は、この個別寄与率を用いて心理効果影響度、音響信号類似度および心理効果類似度を求めることで、より客観的な臨場感を推定することができる。さらに、臨場感推定装置1は、心理効果を階層化することで、心理効果の関係を定義(モデル化)し易くすることができる。これによって、臨場感推定装置1は、心理効果ごとの全体寄与率および個別寄与率をより正確に学習でき、臨場感の推定精度を向上させることができる。
以上、本発明の第1実施形態に係る臨場感推定装置1の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
本発明の種々の変形例について、第1実施形態と異なる点を説明する。
(変形例1:寄与率または心理効果影響度の補正)
本発明の変形例1に係る臨場感推定装置1B(図8参照)は、音以外の情報が心理効果に与える影響を考慮する点が、図1の臨場感推定装置1と大きく異なる。以下、臨場感推定装置1Bの構成を説明する前に、映像や臭いなど音以外の情報が心理効果に与える影響について説明する。
同じ音響信号からの再生音を聴いた場合でも、映像や臭いなどの音以外の情報により、心理効果は、様々な影響を受けると考えられる。さらには、その映像が音にマッチしているか、マッチしていないかでも、心理効果への影響が異なると考えられる。
例えば、物理的特徴の再生音圧レベルが、心理効果「迫力がある」と「騒々しい」に影響があるとする。そして、心理効果「迫力がある」と再生音圧レベルとの関係が、非線形な関数(図10(c)参照)で表されるとする。さらに、心理効果「騒々しい」と再生音圧レベルの関係が、別の非線形な関数で表されるとする。ここで、心理効果「迫力がある」の寄与率が正の数値であり、心理効果「騒々しい」の寄与率が負の数値である場合、再生音圧レベルが変化すると、心理効果「迫力がある」の心理効果推定値に寄与率を乗算した値が心理効果「騒々しい」の心理効果推定値に寄与率を乗算した値より小さくなる点で、心理効果への影響度がピークとなる。映像がある場合には、臨場感を最大となる再生音圧レベルが低くなることが知られているので、映像がある場合には映像がない場合に比べ、心理効果「迫力がある」の心理効果推定値もしくは寄与率が低くなるか、または、心理効果「騒々しい」の心理効果推定値もしくは寄与率が高くなることが考えられる。このため、臨場感推定装置1Bは、映像や臭いなど音以外の情報による影響を考慮して、心理効果影響度を補正する。
以下、図8を参照して、臨場感推定装置1Bの構成について、詳細に説明する。
コンテンツデータベース30Bは、心理効果影響度を補正する値を示す補正値情報をさらに記憶する。
この補正値情報は、印象評価値を求めるときの主観評価実験によって求めることができる。例えば、映像がない場合、音にマッチした映像がある場合、および、音にマッチしていない映像がある場合といった条件ごとに主観評価実験を行う。そして、映像がない場合と音にマッチした映像がある場合との印象評価値の差分を求め、音にマッチした映像がある場合の補正値情報としてコンテンツデータベース30Bに予め記憶しておく。また、映像がない場合と音にマッチしていない映像がある場合との印象評価値の差分を求め、音にマッチしていない映像がある場合の補正値情報としてコンテンツデータベース30Bに予め記憶しておく。
心理効果影響度算出手段41Bは、音以外の情報からの影響により補正を行うか否かを示す補正制御信号が入力される。例えば、補正制御信号は、ユーザによって以下のように入力される。
信号値:補正制御信号の内容
「0」:映像による影響がないため補正を行わないことを示す
「1」:音にマッチした映像による影響があるため、補正を行うことを示す
「2」:音にマッチしていない映像による影響があるため、補正を行うことを示す
そして、心理効果影響度算出手段41Bは、入力された補正制御信号の信号値により補正を行うか否かを判定する。
補正制御信号の信号値が「0」として入力された場合、心理効果影響度算出手段41Bは、補正を行わないと判定する。この場合、心理効果影響度算出手段41Bは、図1の心理効果影響度算出手段41と同様に、再生音場における心理効果影響度と、実音場における心理効果影響度とを算出する。
一方、補正制御信号の信号値が「1」又は「2」として入力された場合、心理効果影響度算出手段41Bは、補正を行うと判定する。この場合、心理効果影響度算出手段41Bは、図1の心理効果影響度算出手段41と同様に、再生音場における心理効果影響度と、実音場における心理効果影響度とを算出する。
その後、心理効果影響度算出手段41Bは、コンテンツデータベース30Bに記憶された補正値情報に基づいて、再生音場における心理効果影響度および実音場における心理効果影響度を補正する。
例えば、補正制御信号の信号値が「1」として入力された場合、心理効果影響度算出手段41Bは、コンテンツデータベース30Bを参照し、音にマッチした映像がある場合の補正値情報を読み出す。そして、心理効果影響度算出手段41Bは、算出した再生音場における心理効果影響度および実音場における心理効果影響度のそれぞれに対して、この補正値情報が示す値を加算して補正する。つまり、音にマッチした映像がある場合、図6に図示した影響度(再生音場)γ1および影響度(実音場)γ2が高くなる。
また、補正制御信号の信号値が「2」として入力された場合、心理効果影響度算出手段41Bは、コンテンツデータベース30Bを参照し、音にマッチしていない映像がある場合の補正値情報を読み出す。そして、心理効果影響度算出手段41Bは、算出した再生音場における心理効果影響度および実音場における心理効果影響度のそれぞれに対して、この補正値情報が示す値を減算して補正する。つまり、音にマッチしていない映像がある場合、図6に図示した影響度(再生音場)γ1および影響度(実音場)γ2が低くなる。
以上のように、心理効果影響度算出手段41Bは、音以外の情報による心理効果への影響を考慮して、心理効果影響度を補正することができる。従って、臨場感推定装置1Bは、影響度(再生音場)γ1および影響度(実音場)γ2に対して、音以外の情報による心理効果への影響を反映させて、ユーザに提示することができる(図6参照)。
なお、心理効果影響度算出手段41Bは、心理効果影響度に補正値情報が示す値を加算および減算する例を説明したが、これに限定されない。例えば、心理効果影響度算出手段41Bは、心理効果影響度に補正値情報を乗算または除算することで、心理効果影響度を補正してもよい。
なお、心理効果影響度算出手段41Bが心理効果影響度を補正する例を説明したが、これに限定されない。例えば、心理効果影響度算出手段41Bは、補正値情報に基づいて、コンテンツデータベース30Bから読み出した全体寄与率および個別寄与率の値を補正してもよい。また、例えば、心理効果影響度算出手段41Bは、補正値情報に基づいて、印象推定値および心理効果推定値の値を補正してもよい。この場合、心理効果影響度算出手段41Bは、全体寄与率および個別寄与率の値と、印象推定値および心理効果推定値の値との両方を補正してもよい。
なお、補正値情報を印象評価値の差分から求める例で説明したが、これに限定されない。例えば、補正値情報は、映像がない場合の印象評価値と音にマッチした映像がある場合の印象評価値との比といったように、印象評価値の比であってもよい。
(変形例2:コンテンツの種類を確定することなく心理効果影響度を算出)
以下、図9を参照し、本発明の変形例2に係る臨場感推定装置1Cについて説明する(適宜図1参照)。
臨場感推定装置1Cは、心理効果影響度算出手段41Cが、コンテンツの種類を確定することなく、再生音場における心理効果影響度と、実音場における心理効果影響度とを算出することが、図1の臨場感推定装置1と大きく異なる。
ここで、コンテンツデータベース30Cは、例えば、一次的印象「残響量」の全体寄与率W1ij’と、一次的印象「音の幅」全体寄与率W1ij’と、複合印象「移動感」の全体寄与率W2ij’と、複合印象「拡がり感」の全体寄与率W2ij’と、心理効果「ワクワク」の全体寄与率W3ij’と、心理効果「ジーン」の全体寄与率W3ij’とを記憶しているとして説明する。
図9に示すように、心理効果影響度算出手段41Cは、再生音場音響分析値を用いて、再生音場における心理効果影響度を算出する。ここで、心理効果影響度算出手段41Cは、心理効果が階層関係を有するため、コンテンツデータベース30に記憶された階層関係情報および全体寄与率W1ij’〜W3ij’に基づいて、以下で述べるような階層的処理を行う。
まず、心理効果影響度算出手段41Cは、一次的印象の全体寄与率W1ij’を再生音場音響分析値に乗じて、一次的印象ごとに再生音場における印象推定値を算出する。例えば、心理効果影響度算出手段41は、一次的印象「音の幅」の全体寄与率W1ij’に、音響分析値「ラウドネス」を乗算した計算値を求める。そして、心理効果影響度算出手段41Cは、一次的印象「音の幅」の全体寄与率W1ij’に、音響分析値「両耳相関度」を乗算した計算値を求める。さらに、心理効果影響度算出手段41Cは、一次的印象「音の幅」の全体寄与率W1ij’に、音響分析値「両耳相間レベル差」を乗算した計算値を求める。そして、心理効果影響度算出手段41Cは、これら3つの計算値を総和して一次的印象「音の幅」の印象推定値を求める。
なお、一次的印象「残響量」は、一次的印象「音の幅」と同様の処理を行えばよいので、その説明を省略する。
また、心理効果影響度算出手段41Cは、複合印象の全体寄与率W2ij’を一次的印象の印象推定値に乗じて、複合印象ごとに再生音場における印象推定値を算出する。例えば、心理効果影響度算出手段41Cは、複合印象「拡がり感」の全体寄与率W2ij’に、一次的印象「音の幅」の印象推定値を乗算した計算値を求める。そして、心理効果影響度算出手段41Cは、複合印象「拡がり感」の全体寄与率W2ij’に、一次的印象「残響量」の印象推定値を乗算した計算値を求める。そして、心理効果影響度算出手段41Cは、これら2つの計算値を総和して複合印象「拡がり感」の印象推定値を求める。
なお、複合印象「移動感」は、複合印象「拡がり感」と同様の処理を行えばよいので、その説明を省略する。
さらに、心理効果影響度算出手段41Cは、心理効果の全体寄与率W3ij’を複合印象の印象推定値に乗じて、心理効果ごとに再生音場における心理効果推定値を算出する。例えば、心理効果影響度算出手段41Cは、心理効果「ジーン」の全体寄与率W3ij’に、複合印象「拡がり感」の印象推定値を乗算した計算値を求める。そして、心理効果影響度算出手段41Cは、心理効果「ジーン」の全体寄与率W3ij’に、複合印象「移動感」の印象推定値を乗算した計算値を求める。さらに、心理効果影響度算出手段41Cは、これら2つの計算値を総和して心理効果「ジーン」の心理効果推定値を求める。
なお、心理効果「ワクワク」は、心理効果「ジーン」と同様の処理を行えばよいので、その説明を省略する。
その後、心理効果影響度算出手段41Cは、心理効果推定値を総和して再生音場における心理効果影響度を算出する。例えば、心理効果影響度算出手段41Cは、心理効果「ジーン」の心理効果推定値と、心理効果「ワクワク」の心理効果推定値とを総和して、再生音場における心理効果影響度を算出する。
なお、心理効果影響度算出手段41Cは、実音場における心理効果影響度を、再生音場における心理効果影響度と同じ処理で算出できるので、その説明を省略する。
以上のように、心理効果影響度算出手段41Cは、コンテンツの種類を確定することなく、再生音場における心理効果影響度と、実音場における心理効果影響度とを算出することができる。従って、臨場感推定装置1Cは、コンテンツの種類ごとに個別寄与率を学習してコンテンツデータベース30に記憶させる必要がなく、その構成を簡素にすることができる。また、臨場感推定装置1Cは、コンテンツの種類を確定する処理が不要なので、演算速度を向上させることができる。
(変形例3:感覚量変換値を用いて心理効果影響度を算出)
以下、図10を参照し、本発明の変形例3に係る臨場感推定装置1Dについて説明する(適宜図1,図4参照)。
なお、図10(a)には、音源A〜音源Eそれぞれの音響分析の結果として、ラウドネスおよび両耳相関度を示した。また、図10(b)では、丸の中に記載されたA〜Eが音源A〜音源Eであり、縦軸が複合印象「拡がり感」の印象評価値であり、横軸がラウドネスまたは両耳相関度の音響分析値である。また、図10(d)では、丸の中に記載されたA〜Eが音源A〜音源Eであり、縦軸が複合印象「拡がり感」の感覚量変換値であり、横軸がラウドネスまたは両耳相関度の音響分析値である。
臨場感推定装置1Dは、実音場音響分析値および再生音場評価対象信号を変換関数によって感覚量変換値に変換する。そして、臨場感推定装置1Dは、実音場音響分析値および再生音場評価対象信号の代わりに感覚量変換値を用いて、コンテンツの種類を確定し、心理効果影響度を算出することが、図1の臨場感推定装置1と大きく異なる。
コンテンツデータベース30Dは、実音場音響分析値および再生音場評価対象信号を、実音場および再生音場における感覚量変換値に変換する変換関数をさらに記憶する。
ここで、図10(b)に示すように、音響分析値と印象評価値とは、ある値を境に急増するというように、必ずしも線形な関係になるとは限られない。このため、図10(c)に示すように、コンテンツデータベース30Dに記憶された印象評価値を、単純な関数(変換関数の候補)の幾つかで近似する。そして、誤差が最小となる変換関数の候補を変換関数として、コンテンツデータベース30Dに記憶する。ここで、例えば、コンテンツデータベース30Dは、ラウドネスの変換関数F1と、両耳相関度の変換関数F2とを記憶したとして説明する。
なお、音響分析値と印象評価値との関係を単純な関数で近似した例は、文献「M. Morimoto, K. Iida; ”A practical evaluation method of auditory source width in concert halls,”J.Acoust.Soc.Jpn.(E), 16, 2, pp.59-69 (1995)」に記載されている。
心理効果影響度算出手段41Dは、音響信号分析手段10から実音場評価対象信号(実音場音響分析値)と再生音場評価対象信号(再生音場音響分析値)とが入力される。また、心理効果影響度算出手段41Dは、コンテンツデータベース30Dから変換関数を読み出して、実音場音響分析値を実音場における感覚量変換値に変換し、再生音場音響分析値を再生音場における感覚量変換値に変換する。例えば、図10(b)および図10(d)に示すように、心理効果影響度算出手段41Dは、再生音場および実音場のそれぞれについて、ラウドネスの値を変換関数F1でラウドネスの感覚変換値に変換し、両耳相関度の値を変換関数F2で両耳相関度の感覚変換値に変換する。
そして、心理効果影響度算出手段41Dは、再生音場および実音場についての感覚変換値(例えば、ラウドネスや両耳相関度の感覚変換値)を音響分析値の代わりに用いて、コンテンツの種類を確定し、心理効果影響度を算出する。つまり、心理効果影響度算出手段41Dは、図4の左側に図示した音響分析値の代わりに、それぞれの音響分析値から求めた感覚変換値を用いる。
なお、心理効果影響度算出手段41Dは、コンテンツの種類を確定する処理および心理効果影響度を算出する処理が、図1の心理効果影響度算出手段41と同様のものであるため、その説明を省略する。
以上のように、臨場感推定装置1Dは、変換関数を用いることで、非線形な関係にある音響分析値の扱いを容易とし、正確性が高い寄与率を学習することができる。
(変形例4:臨場感を時系列で提示)
以下、図11を参照し、本発明の変形例4に係る臨場感推定装置1Eについて説明する(適宜図1参照)。
臨場感推定装置1Eは、所定の時間ごとに臨場感を推定し、臨場感の推定結果を時系列データでユーザに提示する。
音響信号分析手段10Eは、所定の時間ごとに、所定の時間幅の実音場音響信号Aを音響分析して実音場音響信号Aの物理的特徴を示す実音場音響分析値を算出すると共に、所定の時間幅の再生音場音響信号Bを音響分析して再生音場音響信号Bの物理的特徴を示す再生音場音響分析値を算出する。この音響分析を行う時間間隔は、ユーザが手動で設定できるとし、例えば、0.5秒間隔から10秒間隔の間とする。さらに、分析に用いる音響信号の時間幅は、ユーザが手動で設定できるとし、例えば、0.5秒から30秒の間とする。例えば、音響分析を行う時間間隔を0.5秒、分析に用いる音響信号の時間幅を20秒とした場合、音響信号分析手段10Eは、実音場音響信号Aおよび再生音場音響信号Bの分析開始時刻を基準として、0.5秒単位で20秒間の実音場音響信号Aおよび再生音場音響信号Bを分析する。
なお、音響信号分析手段10Eは、図1の音響信号分析手段10と同様に音響分析を行うので、その説明を省略する。
音響信号類似度算出手段21Eは、所定の時間(例えば、音響信号分析手段10と同じ時間間隔)ごとに、前記した時間幅の実音場音響信号Aを用いて生成した実音場評価対象信号と、前記した時間幅の再生音場音響信号Bを用いて生成した再生音場評価対象信号とから、音響信号類似度を算出する。
心理効果影響度算出手段41Eは、所定の時間(例えば、音響信号分析手段10と同じ時間間隔)ごとに、前記した時間幅の実音場音響信号Aを用いて算出した実音場音響分析値から実音場における心理効果影響度を算出し、前記した時間幅の再生音場音響信号Bを用いて算出した再生音場音響分析値から再生音場における心理効果影響度を算出する。
心理効果類似度算出手段51Eは、所定の時間(例えば、音響信号分析手段10と同じ時間間隔)ごとに、前記した時間幅の実音場音響信号Aおよび再生音場音響信号Bを用いて算出した印象推定値および心理効果推定値から、心理効果類似度を算出する。
なお、音響信号類似度算出手段21E、心理効果影響度算出手段41E、および、心理効果類似度算出手段51Eは、図1の各手段と同様のものであるため、その説明を省略する。
音響信号類似度提示手段23Eは、音響信号類似度算出手段21Eが算出した音響信号類似度を、臨場感の推定結果として時系列で提示する。
心理効果影響度提示手段43Eは、心理効果影響度算出手段41Eが算出した再生音場における心理効果影響度と実音場における心理効果影響度とを、臨場感の推定結果として時系列で提示する。
心理効果類似度提示手段53Eは、心理効果類似度算出手段51Eが算出した心理効果類似度を臨場感の推定結果として提示する。
具体的には、図11に示すように、提示画面の下部には、時刻を示すラベルLBと、スライドバーSBとが配置されている。
このラベルLBは、実音場音響信号Aおよび再生音場音響信号Bの開始時刻を基準とした、音場再現度α、再現度印象β、影響度(再生音場)γ1および影響度(実音場)γ2の時刻(例えば、1分0秒)を示している。
このスライドバーSBは、左端を開始時刻および右端を終了時刻として、スライドバーSB上でのポインタPOの位置によって、音場再現度α、再現度印象β、影響度(再生音場)γ1および影響度(実音場)γ2の時刻を示している。
ここで、マウスなどの操作手段(不図示)を介してユーザがポインタPOを移動させたとする。この場合、音響信号類似度算出手段21E、心理効果影響度提示手段43Eおよび心理効果類似度提示手段53Eは、ポインタPOの位置に対応する時刻における音場再現度α、再現度印象β、影響度(再生音場)γ1および影響度(実音場)γ2をそれぞれ提示する。
以上のように、臨場感推定装置1Eは、実音場音響信号Aおよび再生音場音響信号Bの一部分について、その臨場感を提示することができる。例えば、ユーザがポインタPOを左端にスライドさせると、実音場音響信号Aおよび再生音場音響信号Bにおける先頭部分の臨場感がユーザに提示され、ユーザがポインタPOを右端にスライドさせると、実音場音響信号Aおよび再生音場音響信号Bにおける終了部分の臨場感がユーザに提示される。これによって、ユーザは、実音場音響信号Aおよび再生音場音響信号Bのどの部分が、どの程度の臨場感を感受させるか、容易に評価することができる。また、ユーザは、実音場音響信号Aおよび再生音場音響信号Bの先頭から最後まで、時間の経過に応じて、臨場感がどの程度変化するか、容易に評価することができる。
なお、臨場感推定装置1Eが、提示画面の下部にスライドバーSBを配置する例を説明したが、これに限定されない。例えば、臨場感推定装置1Eは、提示画面にラベルLBおよびスライドバーSBを配置せずに、再生音場音響信号Bを再生しながら、その再生時刻の音場再現度α、再現度印象β、影響度(再生音場)γ1および影響度(実音場)γ2をリアルタイムで提示してもよい。
なお、実音場音響信号Aおよび再生音場音響信号Bの開始時刻(先頭)から終了時刻(最後)までの全部分について、臨場感を時系列で提示する例を説明したが、これに限定されない。例えば、臨場感推定装置1Eは、実音場音響信号Aおよび再生音場音響信号Bの一部分(例えば、1分から2分までの間)について、臨場感を時系列で提示してもよい。
(第2実施形態)
[臨場感推定装置の構成]
以下、図12を参照して、本発明の第2実施形態に係る臨場感推定装置1Fの構成について、図1の臨場感推定装置1と異なる点を説明する。
図12に示すように、臨場感推定装置1Fは、実音場での音を示す実音場音響信号を、実音場と異なる再生音場で再生したときの臨場感を推定するものであり、音響信号分析手段10Fと、コンテンツデータベース(データベース)30と、情動反応度提示手段40Fとを備える。
音響信号分析手段10Fは、再生音場音響信号Bが入力され、再生音場音響信号Bを音響分析して再生音場音響信号Bの物理的特徴を示す再生音場音響分析値を算出する。そして、音響信号分析手段10Fは、入力された再生音場音響信号Bまたは音響分析した再生音場音響分析値の少なくとも一方が含まれる再生音場評価対象信号を情動反応度提示手段40Fに出力する。つまり、音響信号分析手段10Fは、図1の実音場音響信号Aが入力されず、再生音場音響信号Bについてのみ音響分析を行う。
なお、音響信号分析手段10Fは、図1の音響信号分析手段10と同様に音響分析できるので、その説明を省略する。
情動反応度提示手段40Fは、再生音場音響信号Bを再生した音から受ける心理効果の影響度である心理効果影響度を算出するものであり、心理効果影響度算出手段41Fと、心理効果影響度提示手段43Fとを備える。
心理効果影響度算出手段41Fは、音響信号分析手段10Fから再生音場評価対象信号(再生音場音響分析値)が入力される。また、心理効果影響度算出手段41Fは、再生音場音響分析値から再生音場における心理効果影響度を算出する。そして、心理効果影響度算出手段41Fは、算出した再生音場における心理効果影響度を心理効果影響度提示手段43Fに出力する。
なお、心理効果影響度算出手段41Fは、図1の心理効果影響度算出手段41と同様に心理効果影響度を算出できるので、その説明を省略する。
心理効果影響度提示手段43Fは、心理効果影響度算出手段41Fから再生音場における心理効果影響度が入力されると共に、この心理効果影響度を臨場感の推定結果として提示する。ここで、心理効果影響度提示手段43Fは、図13(a)に示すように、再生音場における心理効果影響度γ1を0以上1以下の範囲内で正規化した後、グラフ化(メータ化)して提示する。また、心理効果影響度提示手段43Fは、図13(b)に示すように、「ワクワク」,「ドキッ」,「ジーン」,「ゾクッ」といった個別の心理効果について、それぞれの心理効果推定値を心理効果影響度としてレーダーチャート形式で提示してもよい。
[臨場感推定装置の動作]
以下、図14を参照して、臨場感推定装置1Fの動作について説明する(適宜図13参照)。
図14(a)に示すように、臨場感推定装置1Fは、音響信号分析手段10Fによって、再生音場音響信号Bを音響分析して再生音場音響信号Bの物理的特徴を示す再生音場音響分析値を算出する。そして、臨場感推定装置1Fは、音響信号分析手段10Fによって、入力された再生音場音響信号Bまたは音響分析した再生音場音響分析値の少なくとも一方が含まれる再生音場評価対象信号を出力する(ステップS11)。
また、臨場感推定装置1Fは、心理効果影響度算出手段41Fによって、再生音場評価対象信号(再生音場音響分析値)から再生音場における心理効果影響度を算出する(ステップS12)。そして、臨場感推定装置1Fは、心理効果影響度提示手段43Fによって、再生音場における心理効果影響度を臨場感の推定結果として提示する(ステップS13)。
以上のように、本発明の第2実施形態に係る臨場感推定装置1Fは、人間が音を聴いて評価することなく、再生音場における心理効果影響度、音響信号類似度および心理効果類似度を求めるため、大規模な主観評価実験を毎回行うことなく、これらを客観的な臨場感として推定することができる。このとき、臨場感推定装置1Fは、これら臨場感の推定結果をグラフ化して提示するため、ユーザが、臨場感の推定結果を一目して判断でき、臨場感の評価を行いやすくなる。さらに、臨場感推定装置1Fは、ユーザが実音場音響信号Aを収音(準備)できない場合でも、再生音場音響信号Bだけで臨場感を推定できるので、ユーザにとって利便性がよい。
なお、各実施形態では、本発明に係る臨場感推定装置を独立した装置として説明したが、本発明では、一般的なコンピュータのハードウェア資源を、前記した各手段として協調動作させるプログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、CD−ROMやフラッシュメモリなどの記録媒体に書き込んで配布しても良い。
1,1B,1C,1D,1E,1F 臨場感推定装置
10,10E,10F 音響信号分析手段
20 音場再現度提示手段
21,21E 音響信号類似度算出手段
23,23E 音響信号類似度提示手段
30,30B,30C,30D コンテンツデータベース(データベース)
40 情動反応度提示手段
41,41B,41C,41D,41E,41F 心理効果影響度算出手段
43,43E,43F 心理効果影響度提示手段
50 印象再現度提示手段
51,51E 心理効果類似度算出手段
53,53E 心理効果類似度提示手段

Claims (6)

  1. 実音場での音を示す実音場音響信号を、当該実音場と異なる再生音場で再生したときの臨場感を推定する臨場感推定装置であって、
    前記実音場音響信号を前記再生音場で再生した再生音場音響信号が入力され、前記再生音場音響信号を音響分析することで前記再生音場音響信号の物理的特徴を示す再生音場音響分析値を算出する音響信号分析手段と、
    前記音響分析の結果が、聴取者が感受する心理状態を示す心理効果に寄与する度合いを予め学習した寄与率を記憶するデータベースと、
    前記再生音場音響分析値に前記寄与率のそれぞれを乗じて前記再生音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記再生音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出する心理効果影響度算出手段と、
    前記心理効果影響度算出手段が算出した前記再生音場における心理効果影響度を前記臨場感の推定結果として提示する心理効果影響度提示手段と、
    を備え、
    前記音響信号分析手段は、前記実音場音響信号が入力され、前記実音場音響信号を音響分析して前記実音場音響信号の物理的特徴を示す実音場音響分析値を算出すると共に、前記実音場音響分析値が含まれる実音場評価対象信号と、前記再生音場音響分析値が含まれる再生音場評価対象信号とを出力し、
    前記音響信号分析手段が出力した再生音場評価対象信号と実音場評価対象信号との差に基づいて、前記再生音場音響信号と前記実音場音響信号との類似度である音響信号類似度を算出する音響信号類似度算出手段と、
    前記音響信号類似度算出手段が算出した音響信号類似度を前記臨場感の推定結果として提示する音響信号類似度提示手段と、
    をさらに備え、
    前記心理効果影響度算出手段は、前記実音場音響分析値に前記寄与率を乗じて前記実音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記実音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出し、
    前記心理効果影響度算出手段が算出した再生音場における心理効果推定値と実音場における心理効果推定値との差に基づいて、前記再生音場音響信号と前記実音場音響信号とを再生した音から受ける前記心理効果の類似度である心理効果類似度を算出する心理効果類似度算出手段と、
    前記心理効果類似度算出手段が算出した心理効果類似度を前記臨場感の推定結果として提示する心理効果類似度提示手段と、
    をさらに備えることを特徴とする臨場感推定装置。
  2. 前記データベースは、前記心理効果ごとの全体寄与率と、前記心理効果および所定のコンテンツの種類ごとの個別寄与率とを前記寄与率として記憶すると共に、前記コンテンツの種類と因子得点とを予め学習して対応付けた因子空間をさらに記憶し、
    前記心理効果影響度算出手段は、
    前記再生音場音響分析値に前記全体寄与率を乗じて前記心理効果ごとに乗算値を算出し、当該心理効果ごとの乗算値を総和して前記再生音場における因子得点を算出し、前記再生音場における因子得点および前記因子空間に基づいて前記再生音場音響信号におけるコンテンツの種類を決定し、決定した当該コンテンツの種類に応じた前記個別寄与率を前記再生音場音響分析値に乗じて前記再生音場における心理効果推定値を算出すると共に、
    前記実音場音響分析値に前記全体寄与率を乗じて前記心理効果ごとに乗算値を算出し、当該心理効果ごとの乗算値を総和して前記実音場における因子得点を算出し、前記実音場における因子得点および前記因子空間に基づいて前記実音場音響信号におけるコンテンツの種類を決定し、決定した当該コンテンツの種類に応じた前記個別寄与率を前記実音場音響分析値に乗じて前記実音場における心理効果推定値を算出することを特徴とする請求項1に記載の臨場感推定装置。
  3. 前記心理効果影響度算出手段は、
    音以外の情報からの影響により補正を行うか否かを示す補正制御信号が入力され、当該補正制御信号により補正を行うか否かを判定し、
    補正を行うと判定した場合、前記全体寄与率および前記個別寄与率と、前記再生音場および前記実音場における前記印象推定値および前記心理効果推定値と、前記心理効果影響度との何れ1つ以上を、所定の補正値情報に基づいて補正することを特徴とする請求項に記載の臨場感推定装置。
  4. 前記データベースは、印象ごとの全体寄与率と、前記印象および前記コンテンツの種類ごとの個別寄与率とを前記寄与率としてさらに記憶すると共に、前記心理効果の階層関係が予め設定された階層関係情報をさらに記憶し、
    前記心理効果影響度算出手段は、
    前記個別寄与率を前記再生音場音響分析値に乗じて前記再生音場における下位階層の印象推定値を算出し、前記個別寄与率を前記下位階層の印象推定値に乗じて前記再生音場における中位階層の印象推定値を算出し、前記個別寄与率を前記中位階層の印象推定値に乗じて前記再生音場における上位階層の前記心理効果推定値を算出し、当該心理効果推定値を総和して前記再生音場における心理効果影響度を算出すると共に、
    前記個別寄与率を前記実音場音響分析値に乗じて前記実音場における下位階層の印象推定値を算出し、前記個別寄与率を前記下位階層の印象推定値に乗じて前記実音場における中位階層の印象推定値を算出し、前記個別寄与率を前記中位階層の印象推定値に乗じて前記実音場における上位階層の前記心理効果推定値を算出し、当該心理効果推定値を総和して前記実音場における心理効果影響度を算出することを特徴とする請求項又は請求項に記載の臨場感推定装置。
  5. 前記音響信号類似度算出手段は、所定の時間ごとに、所定の時間幅で前記音響信号類似度を算出し、
    前記音響信号類似度提示手段は、前記音響信号類似度を時系列で提示し、
    前記心理効果影響度算出手段は、前記時間ごとに、前記時間幅で前記再生音場における心理効果影響度と前記実音場における心理効果影響度とを算出し、
    前記心理効果影響度提示手段は、前記再生音場における心理効果影響度と前記実音場における心理効果影響度とを時系列で提示し、
    前記心理効果類似度算出手段は、前記時間ごとに、前記時間幅で心理効果類似度を算出し、
    前記心理効果類似度提示手段は、前記心理効果類似度を時系列で提示することを特徴とする請求項から請求項の何れか一項に記載の臨場感推定装置。
  6. 実音場での音を示す実音場音響信号を、当該実音場と異なる再生音場で再生したときの臨場感を推定するために、音響分析の結果が、聴取者が感受する心理状態を示す心理効果に寄与する度合いを予め学習した寄与率を記憶するデータベースを備えるコンピュータを、
    前記実音場音響信号を前記再生音場で再生した再生音場音響信号が入力され、前記再生音場音響信号を前記音響分析することで前記再生音場音響信号の物理的特徴を示す再生音場音響分析値を算出する音響信号分析手段、
    前記再生音場音響分析値に前記寄与率のそれぞれを乗じて前記再生音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記再生音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出する心理効果影響度算出手段、
    前記心理効果影響度算出手段が算出した前記再生音場における心理効果影響度を前記臨場感の推定結果として提示する心理効果影響度提示手段、
    として機能させ
    前記音響信号分析手段は、前記実音場音響信号が入力され、前記実音場音響信号を音響分析して前記実音場音響信号の物理的特徴を示す実音場音響分析値を算出すると共に、前記実音場音響分析値が含まれる実音場評価対象信号と、前記再生音場音響分析値が含まれる再生音場評価対象信号とを出力し、
    前記音響信号分析手段が出力した再生音場評価対象信号と実音場評価対象信号との差に基づいて、前記再生音場音響信号と前記実音場音響信号との類似度である音響信号類似度を算出する音響信号類似度算出手段と、
    前記音響信号類似度算出手段が算出した音響信号類似度を前記臨場感の推定結果として提示する音響信号類似度提示手段と、
    をさらに備え、
    前記心理効果影響度算出手段は、前記実音場音響分析値に前記寄与率を乗じて前記実音場における前記心理効果ごとの心理効果推定値を算出すると共に、当該心理効果ごとの心理効果推定値を総和することで、前記実音場音響信号を再生した音から受ける前記心理効果の影響度である心理効果影響度を算出し、
    前記心理効果影響度算出手段が算出した再生音場における心理効果推定値と実音場における心理効果推定値との差に基づいて、前記再生音場音響信号と前記実音場音響信号とを再生した音から受ける前記心理効果の類似度である心理効果類似度を算出する心理効果類似度算出手段と、
    前記心理効果類似度算出手段が算出した心理効果類似度を前記臨場感の推定結果として提示する心理効果類似度提示手段と、
    をさらに備えることを特徴とする臨場感推定プログラム。
JP2010119992A 2010-05-26 2010-05-26 臨場感推定装置およびそのプログラム Active JP5658483B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010119992A JP5658483B2 (ja) 2010-05-26 2010-05-26 臨場感推定装置およびそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010119992A JP5658483B2 (ja) 2010-05-26 2010-05-26 臨場感推定装置およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2011250049A JP2011250049A (ja) 2011-12-08
JP5658483B2 true JP5658483B2 (ja) 2015-01-28

Family

ID=45414782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010119992A Active JP5658483B2 (ja) 2010-05-26 2010-05-26 臨場感推定装置およびそのプログラム

Country Status (1)

Country Link
JP (1) JP5658483B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3373604B1 (en) * 2017-03-08 2021-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing a measure of spatiality associated with an audio stream
JP7329640B1 (ja) 2022-02-18 2023-08-18 株式会社小野測器 サウンドデザインシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0237971B2 (ja) * 1983-05-24 1990-08-28 Yoichi Ando Onbahyokakeisokuki
JP2692817B2 (ja) * 1987-11-19 1997-12-17 キヤノン株式会社 音像解像力の測定方法
JP2003079000A (ja) * 2001-09-05 2003-03-14 Junichi Kakumoto 映像音響装置の臨場感制御方式
JP2004172753A (ja) * 2002-11-18 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 映像・音声品質客観評価方法及び装置
JP4590545B2 (ja) * 2004-05-06 2010-12-01 国立大学法人神戸大学 音響評価方法およびそのシステム
WO2008001857A1 (fr) * 2006-06-30 2008-01-03 Toa Corporation dispositif de reproduction de signal audio spatial et procédé de reproduction de signal audio spatial
JP2009060467A (ja) * 2007-08-31 2009-03-19 Nissan Motor Co Ltd 音場再現システム及び音場再現方法

Also Published As

Publication number Publication date
JP2011250049A (ja) 2011-12-08

Similar Documents

Publication Publication Date Title
McAdams et al. The psychomechanics of simulated sound sources: Material properties of impacted thin plates
US11138989B2 (en) Sound quality prediction and interface to facilitate high-quality voice recordings
CN108596016B (zh) 一种基于深度神经网络的个性化头相关传输函数建模方法
Streeter et al. Computer aided music therapy evaluation: Testing the Music Therapy Logbook prototype 1 system
Chourdakis et al. A machine-learning approach to application of intelligent artificial reverberation
Hellmer et al. Quantifying microtiming patterning and variability in drum kit recordings: A method and some data
Conetta et al. Spatial audio quality perception (part 2): a linear regression model
Nowak et al. Perception and prediction of apparent source width and listener envelopment in binaural spherical microphone array auralizations
JP5658483B2 (ja) 臨場感推定装置およびそのプログラム
JP5961048B2 (ja) 聴覚印象量推定装置及びそのプログラム
Gupta et al. On the perceptual relevance of objective source separation measures for singing voice separation
Cheng et al. Quantitative analysis of phrasing strategies in expressive performance: computational methods and analysis of performances of unaccompanied bach for solo violin
Korhonen Modeling continuous emotional appraisals of music using system identification
Björkner et al. Subglottal pressure and normalized amplitude quotient variation in classically trained baritone singers
JP5658588B2 (ja) 聴覚臨場感評価装置及び聴覚臨場感評価プログラム
JP2014006692A (ja) 聴覚印象量推定装置及びそのプログラム
Bona et al. Automatic parameters tuning of late reverberation algorithms for audio augmented reality
Ramırez et al. Deep learning and intelligent audio mixing
Brandner et al. Classification of phonation modes in classical singing using modulation power spectral features
CN114631142A (zh) 电子设备、方法和计算机程序
JP3584287B2 (ja) 音響評価方法およびそのシステム
Gupta et al. Towards Controllable Audio Texture Morphing
JP4240878B2 (ja) 音声認識方法及び音声認識装置
Tang et al. Assessment of the subjective perception of music quality using psychoacoustic approach
JP2001013003A (ja) 音質評価方法及び装置並びに音質評価尺度特定方法及び音質評価尺度特定用プログラムを記憶した記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140311

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141128

R150 Certificate of patent or registration of utility model

Ref document number: 5658483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250