JP3698310B2 - Subjective quality estimation method using objective quality measuring device and device for implementing this method - Google Patents
Subjective quality estimation method using objective quality measuring device and device for implementing this method Download PDFInfo
- Publication number
- JP3698310B2 JP3698310B2 JP2001045989A JP2001045989A JP3698310B2 JP 3698310 B2 JP3698310 B2 JP 3698310B2 JP 2001045989 A JP2001045989 A JP 2001045989A JP 2001045989 A JP2001045989 A JP 2001045989A JP 3698310 B2 JP3698310 B2 JP 3698310B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation result
- objective
- subjective
- evaluations
- max
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、客観品質測定装置を使用した主観品質推定法およびこの方法を実施する装置に関し、特に、或る音声伝送経路の品質評価において、客観評価装置を使用して複数の音声を測定評価し、その評価値に基づいて或る音声伝送経路の品質である主観評価結果を推定するに際して或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する客観品質測定装置を使用した主観品質推定方法およびこの方法を実施する装置に関する。
【０００２】
【従来の技術】
音声品質評価の仕方の従来例を説明する。
（ステップ１） 人間が音声を実際に聴取し、当該音声の品質に対して評点を付与する。
（ステップ２） 評点を２０ないし３０個程度の複数個収集し、平均値（MeanOpinion Score：ＭＯＳ）を音声の品質とする。
これは主観評価法と称されている。
【０００３】
この主観評価法は、評価に手間暇を多く要するところから、客観品質測定装置を使用して音声品質評価を計算機上で実行する客観評価法（ITU-T Recommendation P.861,“Objectiv quality measurement of telephone-band(300-3400Hz)speech codecs”の勧告 参照）も開発提案されている。
図７を参照して客観品質測定装置の概念を説明しておく。図７において、基準入力信号を一方の入力端子から入力し、知覚モデルを介して基準入力信号の内的な表現を得ると共に、基準入力信号を音声伝送経路を伝送せしめて出力された歪んだ出力信号を他方の入力端子から入力し、知覚モデルを介して歪んだ出力信号の内的な表現を得る。基準入力信号の内的な表現と、歪んだ出力信号の内的な表現の差分が聞こえ方の違いを決定し、認識モデルを介して客観音声品質が得られる。
【０００４】
この客観品質測定装置による客観評価法は、先の主観評価法に取って代わるものとして開発されたものであり、同一条件について得られた客観評価法による評価結果と主観評価法による評価結果は、１対１の対応をすることが望まれる。しかし、実際は様々の理由により１対１の対応をするには到らない。そこで、同一条件について複数個の客観評価結果を求め、これらの平均値を客観評価結果とすることが推奨されてきた。
【０００５】
【発明が解決しようとする課題】
複数個の客観評価結果の平均値に基づいて音声品質を評価する際の平均を取るべき客観評価結果の数について、先の勧告に目安が記載されているが、この目安は経験的なものであり、この客観評価結果の数を決める手法は明らかにされていない。
従って、この発明は、平均を取るべき客観評価結果の数に関して、その評価結果の正確さ、即ち、客観評価結果の平均値に基づいて主観評価結果を推定する際の正確さと最大評価回数を決めたとき、最大評価回数より小さい数の客観評価結果の平均値を使用して予め設定した評価の精度が得られるか否かを判定し、目安とする精度を得るに平均を取るべき最小評価回数を導出する客観品質測定装置を使用した主観品質推定法およびこの方法を実施する装置を提供するものである。
【０００６】
【課題を解決するための手段】
［請求項１］ 音声客観評価法を実行するプログラムが実装される客観品質測定装置と、音声を劣化させる設定を施される複数の音声伝送経路を使用し、この音声伝送経路を経由して劣化した音声を使用して客観品質測定装置の客観評価結果から主観評価結果を推定するに際して、或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する主観品質推定方法において、
ＣＰＵ１を具備し、演算プログラム記憶メモリ２を具備し、初期条件記憶メモリ３を具備し、初期条件記憶メモリ３に最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限を初期条件として記憶しておき、
主観評価結果記憶メモリ４に主観評価結果を記憶しておき、
客観評価結果記憶メモリ５に客観評価結果を記憶しておき、
回帰分析、残差の標準偏差を求める回帰分析部６に主観評価結果および客観評価結果を評価回数を付与して入力し、回帰分析を行なって回帰曲線を求めると共にＭの累積分布関数Ｇを決定するパラメータσg を計算して求め、
客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算し、
計算された信頼幅とその許容残差ｄとの間の大小を比較し、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎ max であるか否かを比較し、ｎ＜ｎ max なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎ max でなければｎ max より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する、主観品質推定方法を構成した。
【０００７】
そして、［請求項２］音声客観評価法を実行するプログラムが実装される客観品質測定装置と、音声を劣化させる設定を施される複数の音声伝送経路を使用し、この音声伝送経路を経由して劣化した音声を使用して客観品質測定装置の客観評価結果から主観評価結果を推定するに際して、或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する主観品質推定装置において、
ＣＰＵを具備し、
演算プログラム記憶メモリを具備し、
最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限を初期条件として記憶する初期条件記憶メモリを具備し、
【０００８】
主観評価結果を記憶する主観評価結果記憶メモリを具備し、
客観評価結果を記憶する客観評価結果記憶メモリを具備し、
主観評価結果および客観評価結果を評価回数を付与し入力し、回帰分析、残差の標準偏差を求める回帰分析部を具備し、
客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算する信頼幅計算部を具備し、
計算された信頼幅とその許容残差ｄとの間の大小を比較し、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎmax でなければｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する評価数比較部を具備する、主観品質推定装置を構成した。
【０００９】
【発明の実施の形態】
この発明の実施の形態を実施例を参照して説明する。
この発明の実施例においては、客観評価結果が同じ値となる音声に対して主観評価結果の分布は平均が異なるだけで分布の形は客観評価結果に関わらず一定である、という仮定１を満足する。
各音声に関して、図７の客観品質測定装置を使用して客観評価値（ＰＳＱＭ）を求める。この場合、客観品質測定装置に対して以下の初期条件を予め決定した後、入力設定する。
【００１０】
・最大評価回数ｎmax
・客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅（推定値±ｄ／２間）に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α
・主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限、Ｇは一例として正規分布、σg は標準偏差とする。
【００１１】
一方において、客観品質測定に使用した各音声と同一の音声に関して、対応する主観評価値（ＭＯＳ）を求める。
以下、図１のフローチャートを参照して説明する。
（ステップ１） ｎ＝１
（ステップ２） 音声伝送経路の相違、劣化条件の違いその他の客観評価法の対象となる３６通り程度の各設定条件の元で１回目の音声を記録する。
（ステップ３） 各設定条件の音声に関して主観評価値（ＭＯＳ）を求める。
【００１２】
（ステップ４） 各設定条件の音声に関して、客観評価値（ＰＳＱＭ）を求める。
（ステップ５） ｘ軸にステップ４の結果である客観評価値を取り、ｙ軸にステップ３の結果である主観評価値（ＭＯＳ）を取り、回帰分析を行い、その回帰曲線をｙ＝ｆ（ｘ）とおく。ここで、σg に相当する統計量を求める（なお、回帰分析については、武藤 眞介 著 「統計解析ハンドブック」 朝倉書店 １９９５年６月 発行 参照）。
（ステップ６） 客観評価結果がＰのとき、主観評価結果の推定値である確率変数Ｍの累積分布関数はｐ＝Ｇ（ｙ、ｆ（Ｐ）、σg ）と置くことができ、その逆関数は仮定１より、ｙ＝ｆ（Ｐ）＋Ｇ＾（ｐ、σg ）と置くことができる。客観評価結果の平均値がＰのとき、真の主観評価結果：Ｍ（Ｐ）が
【００１３】
【数１】
そうでなければ、ｆ（ｘ）の精度は不充分であるとして、次の（ステップ８）に進む。
【００１４】
（ステップ８） サンプル数ｎ＜最大評価回数ｎ max であるか否かを比較し、ｎ＜ｎmax なら、（ステップ２）と同様に各設定条件に対して新たに２回目の音声を記録し、ｎに１を加えてｎ＝２とし、（ステップ３）に戻り、これ以降の処理を実行する。
以下、同様である。ｎ＜ｎmax でなければ、ｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定し、終了する。
具体的数値を代入して更に具体的に説明する。
或る音声客観評価法（以降、ＰＳＱＭ、と表記する）を実行するプログラムが実装された客観品質測定装置Ｔと、複数の音声伝送経路Ｌを使用する。この音声伝送経路Ｌは３６通りに条件を変化させ、音声を劣化させる設定をすることができる。この音声伝送経路Ｌを経由して劣化した音声を使用し、客観品質測定装置Ｔの評価結果に基づいて主観評価結果（以降、ＭＯＳ、と表記）を推定するに、客観品質測定装置Ｔにおける客観評価結果を平均する際の客観評価結果の個数を求める。
【００１５】
・最大評価回数ｎmax ＝１６とする。
・推定精度に関して、ｄ＝１. ０、α＝９０％とする。即ち、ｎ回の客観評価値の平均値に基づいて推定された主観品質±０. ５の範囲内に、真の主観評価値が存在する確率が９０％となるｎを求める。
・客観評価結果が或る値を取ったときの主観評価結果の分布として正規分布を採用し、その分布を決定するに必要なパラメータを標準偏差とする。即ち、
ｆ（Ｐ）＋Ｇ＾（ｐ、σg ）＝ｆ（Ｐ）＋ｑnorm （ｐ）×σg ・・・・（３）
とする。但し、ｑnorm は、標準正規分布の累積分布関数の逆関数とする。
【００１６】
・回帰分析は、三次多項式を使用して行なうこととする。
（ステップ１） 音声伝送経路Ｌの３６の各条件について劣化した音声を収録する。回帰分析を行うには主観評価値であるＭＯＳと客観評価値であるＰＳＱＭは対応がとれている必要があり、以下の表１の通り、１回目の条件１の音声評価値について、ＭＯＳ：１.９５とＰＳＱＭ：２.９７５が対応をとられている。条件２の音声についても、ＭＯＳ：４.３０とＰＳＱＭ：１.４２０が対応をとられている。以降の条件３〜３６についても同様に対応がとられている。
【００１７】
【表１】
【００１８】
（ステップ３） ９０％の信頼幅は、ｑnorm（１＋α／２）×σg −ｑnorm（１−α／２）×σg ＝１. ７３８となり、目標の１. ０より大きい。すなわち十分な精度が得られていないとし、音声伝送経路Ｌの３６の各条件について劣化した音声を新たに収録する。
（ステップ４） 各条件１〜３６に関して、評価値の平均値を求める。表２の場合も、表１の場合と同様に、１回目の各条件の音声評価値および２回目の各条件の音声評価値について、主観評価値と客観評価値は対応がとられている。即ち、１回目の条件１の音声評価値についてはＭＯＳ：１. ９５とＰＳＱＭ：２. ９７５が対応をとられている。２回目の条件１の音声評価値についてはＭＯＳ：１. ９５とＰＳＱＭ：３. ０００が対応をとられている。そして、平均値についても、条件１のＭＯＳ：１. ９５とＰＳＱＭ：２. ９８８とが対応をとられている。条件２以降の平均値についても同様に対応がとられている。
【００１９】
【表２】
ｑnorm（１＋α／２）×σg −ｑnorm（１−α／２）×σg ＝１. ４８７０９７６であり、未だ充分な精度は得られていない。よって、音声伝送経路Ｌの３６通りの各条件において、劣化した音声を新たに収録する。
【００２０】
（ステップ６） 以上の音声収録、評価を繰り返していった時の平均を取る設定条件毎の音声数を横軸、許容残差ｄ：信頼幅を縦軸にとったグラフが図４である。設定条件毎の音声数が１４の場合は信頼幅は１. ０００７６となり、充分な精度が得られていないが、条件毎の音声数を１５に増加すると信頼幅は０. ９９１６２となるので充分な精度が得られたことになる。
設定条件毎の音声数が１５の場合、ＰＳＱＭをｘ軸、ＭＯＳをｙ軸にとったグラフを図５に示す。図５に示される回帰曲線が客観評価結果と主観評価結果の対応関係ということになる。
【００２１】
以上の主観品質推定法の実施例は、要約すると次の通りのものとなる。
各設定条件に対して音声を１５回収録し、収録された音声のそれぞれに対して客観評価を実行し、各設定条件毎に客観評価値の平均値を求める。図５に示される曲線を使用して主観評価結果を推定する。その際の９０％信頼幅は上側および下側を合わせて１. ０である。
図６は主観品質推定装置の実施例を説明する図である。
【００２２】
１はＲＯＭおよびＲＡＭを有するＣＰＵである。２は演算プログラム記憶メモリである。３は初期条件記憶メモリであり、最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ（ｙ、ｇ、σg ）＝Ｐrob［Ｍ＜ｙ］を初期条件として記憶している。４は主観評価結果記憶メモリであり、主観評価結果を評価回数ｎを付与し記憶している。５は客観評価結果記憶メモリであり、客観評価結果を評価回数ｎを付与して記憶している。６は回帰分析部であり、主観評価結果および客観評価結果を評価回数を付与して入力し、回帰分析して、残差の標準偏差を求める部位である。７は信頼幅計算部であり、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算する。８は信頼幅比較部であり、計算された信頼幅とその許容残差との間の大小ｄ＞信頼幅を比較して客観評価結果から主観評価結果を推定する際の関係式および評価回数を推定するに使用する。９は評価回数比較部である。この評価回数比較部９は、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎ max であるか否かを比較し、ｎ＜ｎ max なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎ max でなければｎ max より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する。
【００２３】
なお、以上の主観品質推定法およびこの方法を実施する装置は音声品質の評価のみではなく、画像品質その他の評価にも適用することができる。
【００２４】
【発明の効果】
以上の通りであって、この発明によれば、或る音声伝送経路の品質評価において、音声客観評価法を実行するプログラムが実装される客観品質測定装置と、音声を劣化させる設定を施される複数の音声伝送経路を使用して複数の音声を測定評価し、その評価値に基づいて或る音声伝送経路の品質である主観評価結果を推定するに際して或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する構成を具備することにより、最低評価回数を容易に導出する主観品質推定方法およびこの方法を実施する装置を提供することができる。
【図面の簡単な説明】
【図１】 実施例のフローチャート。
【図２】 １回目の測定結果のグラフを示す図。
【図３】 ２回の測定結果のグラフを示す図。
【図４】 音声数と信頼幅の関係を示す図。
【図５】 音声数が１５の場合の客観評価結果と主観評価結果の関係を示す図。
【図６】 実施例を説明する図。
【図７】 客観品質測定装置を説明する図。
【符号の説明】
１ ＣＰＵ
２ 演算プログラム記憶メモリ
３ 初期条件記憶メモリ
４ 主観評価結果記憶メモリ
５ 客観評価結果記憶メモリ
６ 回帰分析部
７ 信頼幅計算部
８ 信頼幅比較部
９ 評価回数比較部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a subjective quality estimation method using an objective quality measuring apparatus and an apparatus for implementing the method, and in particular, in a quality evaluation of a certain voice transmission path, a plurality of voices are measured and evaluated using an objective evaluation apparatus. Then, when estimating the subjective evaluation result which is the quality of a certain voice transmission path based on the evaluation value, it is verified whether the target evaluation accuracy can be obtained with the number of evaluations within a certain range. The present invention relates to a subjective quality estimation method using an objective quality measurement device for deriving the minimum number of evaluations to be obtained and a device for implementing this method.
[0002]
[Prior art]
A conventional example of a voice quality evaluation method will be described.
(Step 1) A human actually listens to a voice and gives a score to the quality of the voice.
(Step 2) Collect a plurality of scores of about 20 to 30 scores, and use the average value (MeanOpinion Score: MOS) as the voice quality.
This is called a subjective evaluation method.
[0003]
Since this subjective evaluation method requires a lot of time and effort, an objective evaluation method (ITU-T Recommendation P.861, “Objectiv quality measurement of The telephone-band (300-3400Hz) speech codecs ”(see recommendation) has also been proposed.
The concept of the objective quality measuring device will be described with reference to FIG. 7, a reference input signal inputted from one input terminal, the obtaining internal representation of the reference input signal through a perceptual model, distorted the reference input signal is outputted allowed transmitting voice transmission path output The signal is input from the other input terminal and an internal representation of the distorted output signal is obtained via the perceptual model. The difference between the internal representation of the reference input signal and the internal representation of the distorted output signal determines the difference in hearing, and objective speech quality is obtained through the recognition model.
[0004]
The objective evaluation method by this objective quality measuring device was developed as a replacement for the previous subjective evaluation method.The evaluation result by the objective evaluation method and the evaluation result by the subjective evaluation method obtained for the same condition are as follows: A one-to-one correspondence is desired. However, in reality, it is not possible to respond one-on-one for various reasons . Therefore, it has been recommended to obtain a plurality of objective evaluation results for the same condition and use these average values as objective evaluation results.
[0005]
[Problems to be solved by the invention]
A guideline is given in the previous recommendation regarding the number of objective evaluation results that should be averaged when evaluating voice quality based on the average value of multiple objective evaluation results, but this guideline is empirical. There is no method to determine the number of objective evaluation results .
Therefore, the present invention determines the accuracy and the maximum number of evaluations when estimating the subjective evaluation result based on the average value of the objective evaluation results with respect to the number of objective evaluation results to be averaged. The minimum number of evaluations that should be averaged to obtain the target accuracy, using the average value of the objective evaluation results smaller than the maximum number of evaluations. A subjective quality estimation method using an objective quality measurement apparatus for deriving the above and an apparatus for implementing this method are provided.
[0006]
[Means for Solving the Problems]
[Claim 1] Using an objective quality measurement device in which a program for executing a voice objective evaluation method is installed, and a plurality of voice transmission paths that are set to degrade voice, the voice quality is deteriorated via the voice transmission path. When estimating the subjective evaluation result from the objective evaluation result of the objective quality measurement device using the voice , the target accuracy is verified by verifying whether the target evaluation accuracy can be obtained with a certain number of evaluations. In the subjective quality estimation method for deriving the minimum number of evaluations to be obtained ,
An error in estimating a subjective evaluation result based on a maximum evaluation number n max and an objective evaluation result in the initial
Here, Prob [M <y] = G (y, g, σ g )
However, y stores the upper limit of the random variable existence range corresponding to the probability as an initial condition,
The subjective evaluation
The objective evaluation result
Regression analysis, the standard deviation of the residual is obtained by inputting the subjective evaluation result and the objective evaluation result with the number of evaluations to the
Calculate the confidence width of the error when estimating the subjective evaluation result based on the objective evaluation result,
Compare the calculated confidence width and its allowable residual d, and if d> confidence width, the regression curve, which is the result obtained: f (x) is obtained from the objective evaluation result and the subjective evaluation result. It is a relational expression for estimation, and the number of samples used at this time is determined as a necessary minimum number of evaluations, and the process ends. Otherwise, whether or not the number of samples n <the maximum number of evaluations n max is compared, If n <n max, the second and subsequent voices are newly recorded for each setting condition, and the subsequent processing is executed. If n <n max, the accuracy evaluation set by the number of evaluations smaller than n max is evaluated. The subjective quality estimation method , which is judged to be impossible and ends .
[0007]
[Claim 2] Using an objective quality measurement device in which a program for executing the voice objective evaluation method is installed, and a plurality of voice transmission paths that are set to degrade voice, the voice transmission path is used. When estimating the subjective evaluation result from the objective evaluation result of the objective quality measurement device using the deteriorated voice, verify whether the target evaluation accuracy can be obtained with the number of evaluations within a certain range. In the subjective quality estimation device that derives the minimum number of evaluations to obtain accuracy ,
A CPU,
Computation program storage memory
The maximum allowable number of evaluations n max , the allowable residual d, the probability α, and the subjective when the probability that a true value exists in the confidence width of the error when estimating the subjective evaluation result based on the objective evaluation result is α When the estimated value of the evaluation result is expressed by a random variable M, the cumulative distribution function G of M having as its parameters the statistic σ g necessary for specifying the average value g and variance and other distributions
Here, Prob [M <y] = G (y, g, σ g )
However, y comprises an initial condition storage memory for storing the upper limit of the random variable existence range corresponding to the probability as an initial condition,
[0008]
A subjective evaluation result storage memory for storing the subjective evaluation results;
An objective evaluation result storage memory for storing objective evaluation results;
Provide subjective evaluation results and objective evaluation results with the number of evaluations entered, regression analysis, and a regression analysis unit that calculates the standard deviation of the residual,
A confidence width calculation unit that calculates a confidence width of an error when estimating a subjective evaluation result based on an objective evaluation result,
A comparison is made between the calculated confidence width and the allowable residual d, and a regression curve: f (x), which is a result obtained if d> confidence width is satisfied, is obtained from the objective evaluation result and the subjective evaluation result. It is a relational expression for estimation, and the number of samples used at this time is determined as a necessary minimum number of evaluations, and the process ends. Otherwise, whether or not the number of samples n <the maximum number of evaluations n max is compared, If n <n max, the second and subsequent voices are newly recorded for each setting condition, and the subsequent processing is executed. If n <n max, the accuracy evaluation set by the number of evaluations smaller than n max is evaluated. A subjective quality estimation device is provided that includes an evaluation number comparison unit that determines that the evaluation is impossible.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to examples.
In the embodiment of the present invention, the
For each voice, an objective evaluation value (PSQM) is obtained using the objective quality measurement device of FIG. In this case, the following initial conditions are determined in advance for the objective quality measuring apparatus and then input and set.
[0010]
・ Maximum number of evaluations n max
-Allowable residual d, probability when the probability that a true value exists in the error confidence range (between estimated values ± d / 2) when estimating the subjective evaluation result based on the objective evaluation result is α α
When the estimated value of the subjective evaluation result is represented by a random variable M, the cumulative distribution function G of M having as its parameters the statistic σ g necessary for specifying the average value g and variance and other distributions
Here, Prob [M <y] = G (y, g, σ g )
However, y is the upper limit of the range of the random variable corresponding to the probability, G is a normal distribution as an example, and σ g is a standard deviation.
[0011]
On the other hand, a corresponding subjective evaluation value (MOS) is obtained for the same voice as that used for objective quality measurement.
Hereinafter, a description will be given with reference to the flowchart of FIG.
(Step 1) n = 1
(Step 2) The first voice is recorded under each of about 36 setting conditions that are the object of the objective evaluation method, such as a difference in voice transmission path, a difference in deterioration condition, and the like.
(Step 3) A subjective evaluation value (MOS) is obtained for the sound of each setting condition .
[0012]
(Step 4) An objective evaluation value (PSQM) is obtained for the sound of each setting condition .
(Step 5) The objective evaluation value that is the result of
(Step 6) When the objective evaluation result is P, the cumulative distribution function of the random variable M that is an estimated value of the subjective evaluation result can be set as p = G (y, f (P), σ g ), and vice versa. From
[Expression 1]
Otherwise, it is determined that the accuracy of f (x) is insufficient, and the process proceeds to the next (step 8).
[0014]
(Step 8) compares whether the number of samples n <maximum evaluation number n max, if n <n max, newly recorded sound a second time with respect to (Step 2) as well as the setting conditions , and n = 2 by adding 1 to n, and return to (step 3), to execute the processing that follows.
The same applies hereinafter. n <Otherwise n max, evaluation of accuracy set in the smaller number of evaluations than n max is determined that it is impossible, ends.
More specific description will be given by substituting specific numerical values.
An objective quality measuring device T on which a program for executing a certain voice objective evaluation method (hereinafter referred to as PSQM) is mounted and a plurality of voice transmission paths L are used. The voice transmission path L can be set to change the condition in 36 ways to degrade the voice. In order to estimate the subjective evaluation result (hereinafter referred to as MOS) based on the evaluation result of the objective quality measuring device T using the deteriorated voice via the voice transmission path L, the objective quality measuring device T has an objective. The number of objective evaluation results when averaging the evaluation results is obtained.
[0015]
The maximum number of evaluations n max = 16.
-Regarding estimation accuracy, d = 1.0 and α = 90%. That is, n is obtained such that the probability that a true subjective evaluation value exists within the range of subjective quality ± 0.5 estimated based on the average value of n objective evaluation values is 90%.
A normal distribution is adopted as the distribution of the subjective evaluation result when the objective evaluation result takes a certain value, and a parameter necessary for determining the distribution is set as a standard deviation. That is,
f (P) + G ^ (p, σ g ) = f (P) + qnorm (p) × σ g (3)
And However, qnorm is an inverse function of the cumulative distribution function of the standard normal distribution.
[0016]
・ Regression analysis is performed using a cubic polynomial.
(Step 1) The degraded voice is recorded for each of the 36 conditions of the voice transmission path L. In order to perform the regression analysis, the subjective evaluation value MOS and the objective evaluation value PSQM need to correspond to each other. As shown in Table 1 below, the first voice evaluation value of
[0017]
[Table 1]
[0018]
(Step 3) The 90% confidence width is qnorm (1 + α / 2) × σ g −qnorm (1−α / 2) × σ g = 1.738, which is larger than the target 1.0. That is, it is assumed that sufficient accuracy is not obtained, and newly deteriorated voice is recorded for each of the 36 conditions of the voice transmission path L.
(Step 4) For each of the
[0019]
[Table 2]
qnorm (1 + α / 2) × σ g −qnorm (1−α / 2) × σ g = 1.4870976, and sufficient accuracy has not been obtained yet. Therefore, the deteriorated voice is newly recorded under each of the 36 conditions of the voice transmission path L.
[0020]
(Step 6) FIG. 4 is a graph in which the horizontal axis represents the number of voices for each setting condition taking an average when the above voice recording and evaluation are repeated, and the allowable residual d: confidence axis is the vertical axis. When the number of voices per setting condition is 14, the confidence width is 1.00076 and sufficient accuracy is not obtained, but when the number of voices per condition is increased to 15, the confidence width becomes 0.99162, which is sufficient. Accuracy is obtained.
FIG. 5 shows a graph in which PSQM is taken on the x axis and MOS is taken on the y axis when the number of voices per setting condition is 15. The regression curve shown in FIG. 5 is the correspondence between the objective evaluation result and the subjective evaluation result.
[0021]
The embodiment of the above subjective quality estimation method is summarized as follows.
Audio is recorded 15 times for each setting condition, objective evaluation is executed for each of the recorded sounds, and an average value of objective evaluation values is obtained for each setting condition. The subjective evaluation result is estimated using the curve shown in FIG. In that case, the 90% confidence width is 1.0 for both the upper and lower sides.
FIG. 6 is a diagram for explaining an embodiment of the subjective quality estimation apparatus.
[0022]
[0023]
Note that the subjective quality estimation method and the apparatus that implements the above method can be applied not only to the evaluation of voice quality but also to the evaluation of image quality and the like.
[0024]
【The invention's effect】
As described above, according to the present invention, in the quality evaluation of a certain voice transmission path, the objective quality measuring device in which the program for executing the voice objective evaluation method is mounted and the setting for deteriorating the voice are performed. When a plurality of voice transmission paths are used to measure and evaluate a plurality of voices, and a subjective evaluation result that is the quality of a certain voice transmission path is estimated based on the evaluation value, the target is an evaluation count within a certain range. A subjective quality estimation method for easily deriving the minimum number of evaluations by verifying whether or not the accuracy of the evaluation can be obtained and deriving the minimum number of evaluations for obtaining the target accuracy, and an apparatus for implementing this method Can be provided.
[Brief description of the drawings]
FIG. 1 is a flowchart of an embodiment.
FIG. 2 is a graph showing a first measurement result.
FIG. 3 is a graph showing a result of two measurements.
FIG. 4 is a diagram showing the relationship between the number of voices and the confidence width.
FIG. 5 is a diagram showing a relationship between an objective evaluation result and a subjective evaluation result when the number of voices is 15.
FIG. 6 is a diagram illustrating an example.
FIG. 7 is a diagram for explaining an objective quality measuring apparatus.
[Explanation of symbols]
1 CPU
2 arithmetic
Claims (2)
ＣＰＵを具備し、演算プログラム記憶メモリを具備し、初期条件記憶メモリを具備し、初期条件記憶メモリに最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限
を初期条件として記憶しておき、
主観評価結果記憶メモリに主観評価結果を記憶しておき、
客観評価結果記憶メモリに客観評価結果を記憶しておき、
回帰分析、残差の標準偏差を求める回帰分析部に主観評価結果および客観評価結果を評価回数を付与して入力し、回帰分析を行なって回帰曲線を求めると共にＭの累積分布関数Ｇを決定するパラメータσg を計算して求め、
客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算し、 計算された信頼幅とその許容残差ｄとの間の大小を比較し、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎmax でなければｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する、ことを特徴とする主観品質推定方法。Using an objective quality measurement device that implements a program that executes the audio objective evaluation method, and multiple audio transmission paths that are set to degrade audio, and using degraded audio via this audio transmission path When estimating the subjective evaluation result from the objective evaluation result of the objective quality measurement device, it is verified whether the target evaluation accuracy can be obtained with the number of evaluations within a certain range, and the minimum evaluation number for obtaining the target accuracy is determined. In the derived subjective quality estimation method,
A CPU, an arithmetic program storage memory, an initial condition storage memory, a maximum evaluation number n max in the initial condition storage memory, and a reliability margin of error when estimating a subjective evaluation result based on the objective evaluation result When the probability of the existence of a true value is α, the allowable residual d, the probability α, and the estimated value of the subjective evaluation result are represented by a random variable M, the average value g, the variance and other distributions Cumulative distribution function G of M having a statistic σ g necessary for identification as a parameter
Here, Prob [M <y] = G (y, g, σ g )
However, y stores the upper limit of the random variable existence range corresponding to the probability as an initial condition,
The subjective evaluation result is stored in the subjective evaluation result storage memory,
The objective evaluation result storage memory stores the objective evaluation result,
In the regression analysis, the regression analysis unit for obtaining the standard deviation of the residual is input the subjective evaluation result and the objective evaluation result with the number of evaluations, and the regression analysis is performed to obtain the regression curve and the cumulative distribution function G of M is determined. Calculate the parameter σ g ,
Calculate the confidence width of the error when estimating the subjective evaluation result based on the objective evaluation result, compare the magnitude of the calculated confidence width and its allowable residual d, and if d> confidence width holds The obtained regression curve: f (x) is used as a relational expression for estimating the subjective evaluation result from the objective evaluation result, and the number of samples used at this time is determined as the necessary minimum number of evaluations, and the process is terminated. Otherwise, it is compared whether the number of samples n <the maximum number of evaluations n max or not, and if n <n max, the second and subsequent voices are newly recorded for each set condition and the subsequent processing is executed. Then, if n <n max is satisfied, it is determined that it is impossible to evaluate the accuracy set with the number of evaluations smaller than n max , and the subjective quality estimation method ends.
ＣＰＵを具備し、
演算プログラム記憶メモリを具備し、
最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限
を初期条件として記憶する初期条件記憶メモリを具備し、
主観評価結果を記憶する主観評価結果記憶メモリを具備し、
客観評価結果を記憶する客観評価結果記憶メモリを具備し、
主観評価結果および客観評価結果を評価回数を付与し入力し、回帰分析、残差の標準偏差を求める回帰分析部を具備し、
客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算する信頼幅計算部を具備し、
計算された信頼幅とその許容残差ｄとの間の大小を比較し、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎmax でなければｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する評価数比較部を具備する、
ことを特徴とする主観品質推定装置。 Using an objective quality measurement device that implements a program that executes the audio objective evaluation method, and multiple audio transmission paths that are set to degrade audio, and using degraded audio via this audio transmission path When estimating the subjective evaluation result from the objective evaluation result of the objective quality measurement device, it is verified whether the target evaluation accuracy can be obtained with the number of evaluations within a certain range, and the minimum evaluation number for obtaining the target accuracy is determined. In the derived subjective quality estimation device ,
A CPU,
Computation program storage memory
The maximum allowable number of evaluations n max , the allowable residual d, the probability α, and the subjective when the probability that a true value exists in the confidence width of the error when estimating the subjective evaluation result based on the objective evaluation result is α When the estimated value of the evaluation result is expressed by a random variable M, the cumulative distribution function G of M having as its parameters the statistic σ g necessary for specifying the average value g and variance and other distributions
Here, Prob [M <y] = G (y, g, σ g )
However, y comprises an initial condition storage memory for storing the upper limit of the random variable existence range corresponding to the probability as an initial condition,
A subjective evaluation result storage memory for storing the subjective evaluation results;
An objective evaluation result storage memory for storing objective evaluation results;
Provide subjective evaluation results and objective evaluation results with the number of evaluations entered, regression analysis, and a regression analysis unit that calculates the standard deviation of the residual,
A confidence width calculation unit that calculates a confidence width of an error when estimating a subjective evaluation result based on an objective evaluation result,
A comparison is made between the calculated confidence width and the allowable residual d, and a regression curve: f (x), which is a result obtained if d> confidence width is satisfied, is obtained from the objective evaluation result and the subjective evaluation result. It is a relational expression for estimation, and the number of samples used at this time is determined as a necessary minimum number of evaluations, and the process ends. Otherwise, whether or not the number of samples n <the maximum number of evaluations n max is compared, If n <n max, the second and subsequent voices are newly recorded for each setting condition, and the subsequent processing is executed. If n <n max, the accuracy evaluation set by the number of evaluations smaller than n max is evaluated. Comprises an evaluation number comparison unit that determines that it is impossible and ends.
The subjective quality estimation apparatus characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001045989A JP3698310B2 (en) | 2001-02-22 | 2001-02-22 | Subjective quality estimation method using objective quality measuring device and device for implementing this method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001045989A JP3698310B2 (en) | 2001-02-22 | 2001-02-22 | Subjective quality estimation method using objective quality measuring device and device for implementing this method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002244684A JP2002244684A (en) | 2002-08-30 |
| JP3698310B2 true JP3698310B2 (en) | 2005-09-21 |
Family
ID=18907692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001045989A Expired - Lifetime JP3698310B2 (en) | 2001-02-22 | 2001-02-22 | Subjective quality estimation method using objective quality measuring device and device for implementing this method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3698310B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2407952B (en) * | 2003-11-07 | 2006-11-29 | Psytechnics Ltd | Quality assessment tool |
| JP5907403B2 (en) * | 2011-09-30 | 2016-04-26 | いすゞ自動車株式会社 | Overall evaluation value estimation formula derivation method, evaluation method, global evaluation value estimation formula derivation device, evaluation apparatus, global evaluation value estimation formula derivation program, and evaluation program |
| CN112330197B (en) * | 2020-11-24 | 2023-06-23 | 西南技术物理研究所 | Meteorological hydrologic data quality control and evaluation method |
-
2001
- 2001-02-22 JP JP2001045989A patent/JP3698310B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002244684A (en) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815332B (en) | Loss function optimization method, loss function optimization device, computer equipment and storage medium | |
| JPWO2017187712A1 (en) | Information processing device | |
| US20120148057A1 (en) | Method and System for Determining a Perceived Quality of an Audio System | |
| EP2465113B1 (en) | Method, computer program product and system for determining a perceived quality of an audio system | |
| CN107967204B (en) | Method and system for measuring line down pressure and terminal equipment | |
| JP2004516566A (en) | System and method for providing scalable dynamic objective metrics for automatic video quality assessment | |
| CN110401622B (en) | Voice quality evaluation method and device, electronic equipment and storage medium | |
| EP1975924A1 (en) | Method and system for speech quality prediction of the impact of time localized distortions of an audio transmission system | |
| JP2006522349A (en) | Voice quality prediction method and system for voice transmission system | |
| JP3698310B2 (en) | Subjective quality estimation method using objective quality measuring device and device for implementing this method | |
| CN112798102B (en) | Sound quality evaluation method, device, system and medium | |
| WO2017152932A1 (en) | Method and scoring node for estimating a user's quality of experience for a delivered service | |
| CN107123427A (en) | A kind of method and device for determining sound quality | |
| CN110797046B (en) | Method and device for establishing prediction model of voice quality MOS value | |
| JP3733057B2 (en) | Operation analysis apparatus in manufacturing process, method thereof, and computer-readable storage medium | |
| CN109600697A (en) | The outer playback matter of terminal determines method and device | |
| CN112561333A (en) | Assessment data processing method and device, electronic equipment and storage medium | |
| US10237767B2 (en) | Method and score management node for supporting evaluation of a delivered service | |
| JP4761391B2 (en) | Listening quality evaluation method and apparatus | |
| JP5124783B2 (en) | Measured value data selection device, measured value data selection method, and measured value data selection program | |
| JP2020181443A (en) | Abnormality detection apparatus, abnormality detection method, and computer program | |
| JP2019211633A (en) | Voice processing program, voice processing method and voice processing device | |
| Mittag et al. | Single-ended packet loss rate estimation of transmitted speech signals | |
| JP3764394B2 (en) | Quality estimation method and apparatus | |
| JP2003228391A (en) | Method, system, and device for information processing, computer program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050614 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050630 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3698310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080715 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130715 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |