JP6434470B2 - 評価試験計画装置、主観評価装置、それらの方法、およびプログラム - Google Patents
評価試験計画装置、主観評価装置、それらの方法、およびプログラム Download PDFInfo
- Publication number
- JP6434470B2 JP6434470B2 JP2016200560A JP2016200560A JP6434470B2 JP 6434470 B2 JP6434470 B2 JP 6434470B2 JP 2016200560 A JP2016200560 A JP 2016200560A JP 2016200560 A JP2016200560 A JP 2016200560A JP 6434470 B2 JP6434470 B2 JP 6434470B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- test
- time
- subjective
- subjective evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
本発明は、音信号に対する主観評価試験に関する。
音質評価試験には、主観によるものと客観によるものがある。客観評価試験は比較的簡易な評価方法であるが、音質が的確に反映された結果が得られるとは限らない。一方、主観評価試験は実際に評価者が音を受聴して評価を行う手法であり、音質を総合的に評価できる（例えば、非特許文献１等参照）。
ITU-T Recommendation P.800: TELEPHONE TRANSMISSION QUALITY, Methods for objective and subjective assessment of quality
主観評価試験には様々な評価方法が存在し、評価方法ごとに音の提示方法や評価者の回答方法も異なる。主観評価試験では、評価試験に費やす時間が長いほど精度の高い主観評価結果が得られるものの、実際に評価試験に費やすことのできる時間は限られている。また、主観評価の精度は評価者の集中力や疲労によっても左右されるため、評価者の休憩時間を適宜設けなければ評価精度が低下する。このような様々な条件を考慮しつつ、主観評価試験の実施計画を作成することは容易ではない。本発明の課題は、主観評価試験の実施計画を容易に作成することである。
評価室内で評価者に音信号を提示し、音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成する。そのために、当該主観評価試験で用いられる評価方法に基づいて、主観評価試験に必要な試行の総数、試行のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間、を含む試験条件を得る。さらに、少なくとも、当該試験条件、音信号それぞれの提示時間、評価者の評価室への１回の入退室に要する入退室所要時間、および評価者の評価室外での１回の休憩に要する休憩時間に基づいて、主観評価試験の実施に必要な総実施時間、試験稼働時間での主観評価試験の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを得る。
この結果により、各条件での主観評価試験の実現性を推し量ることができるため、主観評価試験の実施計画を容易に作成できる。
以下、本発明の実施形態を説明する。
［概要］
本形態では、「評価室」内で「評価者」（被験者）に音信号を提示し、音信号に対する主観評価結果を入力させる「試行」を繰り返す「主観評価試験」の実施計画を生成する。「条件設定部」は、「主観評価試験」で用いられる「評価方法」（試験方法）に基づいて、「主観評価試験」に必要な「試行」の総数、「試行」のそれぞれで提示される音信号の個数、および音信号が提示されてから「評価者」によって主観評価結果が入力されるまでの「評価時間」、を含む「試験条件」を得て出力する。「結果取得部」は、少なくとも、当該「試験条件」、音信号それぞれの「提示時間」、「評価者」の評価室への１回の入退室に要する「入退室所要時間」、および「評価者」の「評価室」外での１回の休憩に要する休憩時間に基づいて、「主観評価試験」の実施に必要な「総実施時間」、「試験稼働時間」での「主観評価試験」の実施の可否、および「試験稼働時間」で実施可能な試行の回数の少なくとも何れかを得て出力する。これにより各条件での主観評価試験の実現性を推し量ることができ、それを利用することで、効率よく主観評価試験を行うための実施計画を容易に作成できる。
［概要］
本形態では、「評価室」内で「評価者」（被験者）に音信号を提示し、音信号に対する主観評価結果を入力させる「試行」を繰り返す「主観評価試験」の実施計画を生成する。「条件設定部」は、「主観評価試験」で用いられる「評価方法」（試験方法）に基づいて、「主観評価試験」に必要な「試行」の総数、「試行」のそれぞれで提示される音信号の個数、および音信号が提示されてから「評価者」によって主観評価結果が入力されるまでの「評価時間」、を含む「試験条件」を得て出力する。「結果取得部」は、少なくとも、当該「試験条件」、音信号それぞれの「提示時間」、「評価者」の評価室への１回の入退室に要する「入退室所要時間」、および「評価者」の「評価室」外での１回の休憩に要する休憩時間に基づいて、「主観評価試験」の実施に必要な「総実施時間」、「試験稼働時間」での「主観評価試験」の実施の可否、および「試験稼働時間」で実施可能な試行の回数の少なくとも何れかを得て出力する。これにより各条件での主観評価試験の実現性を推し量ることができ、それを利用することで、効率よく主観評価試験を行うための実施計画を容易に作成できる。
例えば、「条件設定部」には「主観評価試験」で用いられる「評価方法」を表す情報が入力され、「条件設定部」はこの「評価方法」に基づいて、「主観評価試験」に必要な「試行」の総数、「試行」のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの「評価時間」、を含む「試験条件」を自動的に設定する。また、「結果取得部」には、例えば、少なくとも、「試験条件」、実際に「主観評価試験」を行うことが可能な「試験稼働時間」、音信号それぞれの「提示時間」、評価者の評価室への１回の入退室に要する「入退室所要時間」、および「評価者」の「評価室」外での１回の休憩に要する「休憩時間」が入力され、「結果取得部」は、少なくともこれらに基づいて「主観評価試験」の実施に必要な「総実施時間」、「試験稼働時間」での「主観評価試験」の実施の可否、および「試験稼働時間」で実施可能な試行の回数の少なくとも何れかを得て出力する。「条件設定部」および「結果取得部」への各情報は、例えば、ユーザインタフェースに入力され、入力された各情報および得られた各情報はユーザインタフェースから出力される。例えば、ユーザインタフェースは、「評価方法」などが入力されるとともに「評価方法」などの入力情報を表示し、「試験条件」、「主観評価試験の実施に必要な総実施時間」、「試験稼働時間での主観評価試験の実施の可否」、および「試験稼働時間で実施可能な試行の回数」の少なくとも何れかを表示する。
前述のように、主観評価の精度は評価者の集中力や疲労によっても左右されるため「評価者」の休息時間を設ける必要があるが、休息時間を設けることは「試験稼働時間」を短縮することにもなる。そのため、「評価者」の休憩時間を設けつつも、効率的に主観評価が行われるような実施計画が作成されることが望ましい。例えば、「評価室」は外部から閉ざされた空間であり、「評価者」が試験に集中できる利点はあるものの、「評価室」に長時間滞在した「評価者」の評価精度は低下する。そのため、「評価者」が「評価室」外で休憩するための休憩時間を設ける必要がある。しかし、この休憩時間に「評価室」が利用されないのでは効率が悪い。そのため、「評価者」を「第１グループ」と「第２グループ」とに区分し、これらが交代で「主観評価試験」を行うことが好ましい。言い換えると、「評価室」内で「第１グループ」の「評価者」に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間と、「評価室」内で「第２グループ」の評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間とが存在し、「第１グループ」の「評価者」が「評価室」内で試験を受けるときに、「第２グループ」の「評価者」が「評価室」外で休憩し、「第２グループ」の「評価者」が「評価室」内で試験を受けるときに、「第１グループ」の「評価者」が「評価室」外で休憩することが望ましい。このような主観評価試験の実現性を推し量るためには、「第１グループ」の「評価者」または「第２グループ」の「評価者」のうち、「評価室」内に滞在する何れか一方のグループの「評価者」と、「評価室」外に滞在する他方のグループの「評価者」と、を１回入れ替えるために要する時間を「入退室所要時間」とし、「評価者」の「評価室」内での滞在時間を「評価室」外での「休息時間」と等しくし、「結果取得部」が前述の「総実施時間」、試験稼働時間での「主観評価試験」の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを得ればよい。
前述のように、試験時間が長くなるほど「評価者」の集中力は低下し、主観評価の精度が低下する。そのため、「評価者」が試験に耐えうる時間を考慮した実施計画が作成されることが望ましい。このような「主観評価試験」の実現性を推し量るためには、「結果取得部」は、さらに、「評価者」が「試行」を継続的に繰り返す「受聴」を実施可能な「受聴時間」、「評価者」が「試行」を継続的に繰り返す「受聴」を繰り返すことが可能な「セッション時間（１セッションあたりの所要時間）」、および「受聴」が実施されるたびに「評価者」が「評価室」内で行う１回の休憩に要する「小休憩時間」の少なくとも何れか（好ましくはこれら全て）に基づいて、「結果取得部」が前述の「総実施時間」、試験稼働時間での「主観評価試験」の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを得ればよい。例えば、「受聴時間」は、６分間以上８分間以下の時間または６分間以上８分間以下の時間の近傍であり、「小休憩時間」は、１分間または１分間の近傍であり、「セッション時間」は、「受聴」を２回または３回繰り返すことが可能な時間であり、「休憩時間」は、「セッション時間」の２／３以上または「セッション時間」の２／３の近傍以上である。なお「αの近傍」とは、α−α１以上、α＋α２以下の範囲を意味する。ただし、α１およびα２は正値であり、｜α｜の３０％以下の値である。「受聴時間」、「セッション時間」、「小休憩時間」、「休憩時間」は「経験則条件」である。
前述のように、「条件設定部」は、「主観評価試験」で用いられる「評価方法」に基づいて「試験条件」を設定する。「試験条件」は、「評価方法」に対して公的に定められた値（例えば、非特許文献１等参照）から計算できるものもあるし、「評価方法」に対して経験則に基づいて定められるものもある。後者の場合、「主観評価試験」で用いられる「評価方法の候補」と、「試験条件」のうち経験則に基づいて定められた「経験則条件」と、を対応付けた「テーブル（参照テーブル）」を記憶部に格納しておき、「条件設定部」が、このテーブルを参照し、「主観評価試験」で用いられる「評価方法」に対応付けられた「経験則条件」を含む「試験条件」を設定してもよい。「経験則条件」の例は以下の通りである。
・「試行」のそれぞれで「評価者」が希望する限り音信号の提示を繰り返すことができる評価方法で「主観評価試験」を行う場合に、「試行」のそれぞれで音信号が繰り返し提示される回数（見込み回数）
・音信号が提示されてから「評価者」によって主観評価結果が入力されるまでの「評価時間」
・「主観評価試験」の開始前に「評価者」が行う「主観評価試験」の練習時間
・「試行」のそれぞれで「評価者」が希望する限り音信号の提示を繰り返すことができる評価方法で「主観評価試験」を行う場合に、「試行」のそれぞれで音信号が繰り返し提示される回数（見込み回数）
・音信号が提示されてから「評価者」によって主観評価結果が入力されるまでの「評価時間」
・「主観評価試験」の開始前に「評価者」が行う「主観評価試験」の練習時間
「試験予定表生成部」が、少なくとも、前述の「試験条件」、音信号それぞれの「提示時間」、および「休憩時間」を用い、「主観評価試験」の実施計画を表すタイムテーブルである「試験予定表」を生成して出力してもよい。「試験予定表生成部」は、さらに、前述の「受聴時間」、「セッション時間」、および「小休憩時間」の少なくとも何れかを用いて「試験予定表」を生成して出力してもよい。
「主観評価試験」の実行時の効率を向上させるため、「評価者」による主観評価結果の入力方法を効率化してもよい。例えば、「主観評価試験」において、「音信号提示部」が、評価対象となるｉ個の音信号を「評価者」に提示し（ただし、ｉは２以上の整数であり、例えばｉ＝２）、「入力部」がｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力を受け付け、「評価設定部」がｉ−１個の音信号に対する主観評価結果を用い、ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定してもよい。これにより、ｉ個の音信号に対する評価を、ｉ−１個の音信号に対する主観評価結果の入力のみによって行うことができるため、「主観評価試験」を効率化できる。例えば、「入力部」はｉ個の音信号のうち主観評価の低いｉ−１個の音信号に対する主観評価結果の入力を受け、「評価設定部」は、ｉ個の音信号のうち、最も主観評価の高い１個の音信号に対する主観評価結果を自動的に設定する。主観評価の低いｉ−１個の音信号に対する主観評価結果を入力させるほうが、主観評価の高いｉ−１個の音信号に対する主観評価結果を入力させるよりも、評価に要する時間が短く、評価精度が高くなる傾向がある。そのため、主観評価の低いｉ−１個の音信号に対する主観評価結果を入力させ、「評価設定部」がｉ個の音信号のうち、最も主観評価の高い１個の音信号に対する主観評価結果を自動的に設定することが望ましい。これにより、主観評価結果の入力時間を短縮でき、入力ミスによる評価精度の低下を抑制できる。
［実施形態］
次に、図面を用いて実施形態を説明する。
＜構成＞
図１に例示するように、本形態の主観評価システム１は、評価試験計画装置１１、記憶部１２，１３、および主観評価装置１４を有する。これらは、１つの筐体内に構成されていてもよいし、通信可能なように有線接続されていてもよいし、ネットワークを通じて接続されていてもよいし、遠隔地に分散配置されていてもよい。
次に、図面を用いて実施形態を説明する。
＜構成＞
図１に例示するように、本形態の主観評価システム１は、評価試験計画装置１１、記憶部１２，１３、および主観評価装置１４を有する。これらは、１つの筐体内に構成されていてもよいし、通信可能なように有線接続されていてもよいし、ネットワークを通じて接続されていてもよいし、遠隔地に分散配置されていてもよい。
評価試験計画装置１１は、評価室（ブース）１５０内で評価者１５１−１〜Ｎに音信号を提示し、音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための装置である。ただし、Ｎは１以上の整数であり、例えば、２以上の整数である。図２に例示するように、評価試験計画装置１１は、入力部１１１、条件設定部１１２、記憶部１１３、結果取得部１１４、試験予定表生成部１１５、出力部１１６，１１７、および表示部１１８を有する。評価試験計画装置１１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。評価試験計画装置１１の入力情報や評価試験計画装置１１で得られた値はメモリに格納され、必要に応じて読み出されて利用される。
図１に例示するように、記憶部１２は、評価試験計画装置１１で得られた試験計画データを格納する記憶装置である。記憶部１３は、主観評価試験で提示される音信号などの試験データを格納する記憶装置である。記憶部１２，１３の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
主観評価装置１４は、評価室１５０内の評価者１５１−１〜Ｎに音信号を提示し、評価者１５１−１〜Ｎによる主観評価結果の入力を受け付け、入力された主観評価結果を集計する装置である。主観評価装置１４は、評価対象となるｉ個（ただしｉ≧２）の音信号を提示する音信号提示部１４１、ｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力を受け付ける入力部１４２、ｉ−１個の音信号に対する主観評価結果を用い、ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定する評価設定部１４３、得られたｉ個の主観評価結果を集計する試験結果集計部１４４、各種の情報を表示する表示部１４５、および主観評価結試験を制御する制御部１４６を有する。なお、入力部１４２は評価者１５１−１〜Ｎのそれぞれが主観評価結果を入力できるように構成され、表示部１４５は評価者１５１−１〜Ｎのそれぞれが情報を閲覧可能なように構成されている。主観評価装置１４は、例えば、上述した汎用または専用のコンピュータが所定のプログラムを実行することで構成される。主観評価装置１４の入力情報や主観評価装置１４で得られた値はメモリに格納され、必要に応じて読み出されて利用される。
＜評価方法＞
本形態では、ACR（Absolute Category Rating：絶対範疇尺度法）、DCR（Degradation Category Rating：劣化範疇尺度法）、CCR（Comparison Category Rating：比較範疇尺度法）、対比較試験(Pair Comparison)、BS.1116（Triple stimulus/Hidden reference/Double blind method）、およびXAB試験から選択された評価方法によって主観評価試験を行う例を示す。しかし、これは本発明を限定するものではなく、Mushra(MUltiple Stimuli with Hidden Reference and Anchor)などのその他の評価方法が用いられてもよい。まず、本形態で例示する評価方法であるACR、DCR、CCR、対比較試験、BS.1116の概要を述べる。
本形態では、ACR（Absolute Category Rating：絶対範疇尺度法）、DCR（Degradation Category Rating：劣化範疇尺度法）、CCR（Comparison Category Rating：比較範疇尺度法）、対比較試験(Pair Comparison)、BS.1116（Triple stimulus/Hidden reference/Double blind method）、およびXAB試験から選択された評価方法によって主観評価試験を行う例を示す。しかし、これは本発明を限定するものではなく、Mushra(MUltiple Stimuli with Hidden Reference and Anchor)などのその他の評価方法が用いられてもよい。まず、本形態で例示する評価方法であるACR、DCR、CCR、対比較試験、BS.1116の概要を述べる。
≪ACR：図３Ａおよび図３Ｂ≫
ACRの各試行における試験音の提示例を図３Ａに示す。ACRは、ITU-T P.800（非特許文献１）に準拠した評価方法で、音声品質の主観評価法としては最も一般的な手法であり、通話品質の評価などに用いられる。評価者は、提示された試験音（評価対象となる音信号）に対し（受聴パタン１）、５段階に分類された評価カテゴリー（図３Ｂ：とても良い〜とても悪い）を参考に、個人的な主観尺度で絶対評価を行う。本手法をMOS試験と称することもある。試験音は原音に各試験条件に応じた効果（例えばエコーやノイズの付与や除去など）を与えた音である。
ACRの各試行における試験音の提示例を図３Ａに示す。ACRは、ITU-T P.800（非特許文献１）に準拠した評価方法で、音声品質の主観評価法としては最も一般的な手法であり、通話品質の評価などに用いられる。評価者は、提示された試験音（評価対象となる音信号）に対し（受聴パタン１）、５段階に分類された評価カテゴリー（図３Ｂ：とても良い〜とても悪い）を参考に、個人的な主観尺度で絶対評価を行う。本手法をMOS試験と称することもある。試験音は原音に各試験条件に応じた効果（例えばエコーやノイズの付与や除去など）を与えた音である。
≪DCR：図３Ｃおよび図３Ｄ≫
DCRの各試行における試験音の提示例を図３Ｃに示す。DCRは、ACRを拡張した評価法で、基準音（評価基準とする音）と比較して（受聴パタン１）、試験音がどれだけ劣化しているか、5段階に分類された評価カテゴリー（図３Ｄ：劣化がない〜劣化がとても気になる）を用いて評価する手法である。本手法をDMOS試験と称することもある。基準音との直接比較による相対評価を行うため、ACRより安定した結果を得ることができるが、ACRの2倍の時間を要する。基準音の例は原音であるが、必ずしもこれに限定されない。
DCRの各試行における試験音の提示例を図３Ｃに示す。DCRは、ACRを拡張した評価法で、基準音（評価基準とする音）と比較して（受聴パタン１）、試験音がどれだけ劣化しているか、5段階に分類された評価カテゴリー（図３Ｄ：劣化がない〜劣化がとても気になる）を用いて評価する手法である。本手法をDMOS試験と称することもある。基準音との直接比較による相対評価を行うため、ACRより安定した結果を得ることができるが、ACRの2倍の時間を要する。基準音の例は原音であるが、必ずしもこれに限定されない。
≪CCR：図４Ａおよび図４Ｂ≫
CCRの各試行における試験音の提示例を図４Ａに示す。CCRは、ACRを拡張した評価法で、基準音と試験音を比較して試験音の優劣を7段階に分類された評価カテゴリー（図４Ｂ：とても良い〜とても悪い）を用いて評価する手法である。本手法をCMOS試験と称することもある。CCRでは基準音と試験音の提示順（前後）を入れ替えて提示する（受聴パタン１，２）。これは、提示順による印象の違いを相殺するためである。先入観による試験への影響を取り除くため、評価者にはどちらの音が基準音であるかを伏せて提示する。このようにCCRは相対的な評価を行うため、ACRより安定した結果を得られるが、ACRの４倍、DCRの２倍の時間を要する。
CCRの各試行における試験音の提示例を図４Ａに示す。CCRは、ACRを拡張した評価法で、基準音と試験音を比較して試験音の優劣を7段階に分類された評価カテゴリー（図４Ｂ：とても良い〜とても悪い）を用いて評価する手法である。本手法をCMOS試験と称することもある。CCRでは基準音と試験音の提示順（前後）を入れ替えて提示する（受聴パタン１，２）。これは、提示順による印象の違いを相殺するためである。先入観による試験への影響を取り除くため、評価者にはどちらの音が基準音であるかを伏せて提示する。このようにCCRは相対的な評価を行うため、ACRより安定した結果を得られるが、ACRの４倍、DCRの２倍の時間を要する。
≪対比較試験：図４Ｃおよび図４Ｄ≫
対比較試験の各試行における試験音の提示例を図４Ｃに示す。対比較試験は、２つの試験音A,Bに対し、どちらが良い音かを選択して評価（図４Ｄ：前の音が良い、後の音が良い）する手法である。比較して品質の優劣を評価する手法という点ではCCRと同じであるが、CCRが基準音を介した比較であるのに対し、対比較試験は直接比較して評価するため、CCRより優劣が明らかとなりやすい。対比較試験は、CCRと同様に提示順による影響を受けやすい。実施の際は、2つの試験音Ａ，Ｂの提示順（前後）を入れ替えるとともに（受聴パタン１，２）、提示順を評価者に伏せておく。
対比較試験の各試行における試験音の提示例を図４Ｃに示す。対比較試験は、２つの試験音A,Bに対し、どちらが良い音かを選択して評価（図４Ｄ：前の音が良い、後の音が良い）する手法である。比較して品質の優劣を評価する手法という点ではCCRと同じであるが、CCRが基準音を介した比較であるのに対し、対比較試験は直接比較して評価するため、CCRより優劣が明らかとなりやすい。対比較試験は、CCRと同様に提示順による影響を受けやすい。実施の際は、2つの試験音Ａ，Ｂの提示順（前後）を入れ替えるとともに（受聴パタン１，２）、提示順を評価者に伏せておく。
≪BS.1116：図５Ａおよび図５Ｂ≫
BS.1116での各試行における試験音の提示例を図５Ａに示す。BS.1116は、ITU-R BS.1116.1に準拠した評価法で、エキスパートリスナーを対象とした手法である。評価者は、品質劣化が小さい試験音を評価対象とし、DCRと同様に、基準音と比較して試験音がどれだけ劣化しているか、５段階に分類された劣化カテゴリー（図５Ｂ：わからない〜とても気になる）を用い、0.1刻みで評価する。DCRとの違いは、DCRが基準音と試験音の直接比較であるのに対し、BS.1116は、基準音と試験音A、試験音Bの3つの音を受聴して評価することにある。ここで、試験音A、試験音Bは、どちらか一方が “評価対象の試験音” で、もう一方が “隠された基準音”である。2つの試験音A,Bは、ランダムに入れ替えられ（受聴パタン１，２）、評価者にはどちらがどの条件の音か伏せて提示される。評価者は、基準音、試験音A、試験音Bのそれぞれの音に対し、好きな順番で、かつ納得がいくまで何回でも受聴し、“隠された基準音”だと思う方に5.0、“評価対象の試験音”だと思う方に評点を付与する。
BS.1116での各試行における試験音の提示例を図５Ａに示す。BS.1116は、ITU-R BS.1116.1に準拠した評価法で、エキスパートリスナーを対象とした手法である。評価者は、品質劣化が小さい試験音を評価対象とし、DCRと同様に、基準音と比較して試験音がどれだけ劣化しているか、５段階に分類された劣化カテゴリー（図５Ｂ：わからない〜とても気になる）を用い、0.1刻みで評価する。DCRとの違いは、DCRが基準音と試験音の直接比較であるのに対し、BS.1116は、基準音と試験音A、試験音Bの3つの音を受聴して評価することにある。ここで、試験音A、試験音Bは、どちらか一方が “評価対象の試験音” で、もう一方が “隠された基準音”である。2つの試験音A,Bは、ランダムに入れ替えられ（受聴パタン１，２）、評価者にはどちらがどの条件の音か伏せて提示される。評価者は、基準音、試験音A、試験音Bのそれぞれの音に対し、好きな順番で、かつ納得がいくまで何回でも受聴し、“隠された基準音”だと思う方に5.0、“評価対象の試験音”だと思う方に評点を付与する。
≪XAB試験：図５Ａおよび図５Ｂ≫
XAB試験での各試行における試験音の提示例を図５Ａに示す。XAB試験は、BS.1116を簡略化した評価法で、評価実施時間などの制約がある場合に実施することが多い。BS.1116と同様、エキスパートリスナーを対象とし、品質差が小さい試験音を評価対象に、基準音と比較して試験音がどれだけ劣化しているか、5段階に分類された劣化カテゴリー（図５Ｂ：わからない〜とても気になる）を用い、0.1、または１刻みで評価する。BS.1116との違いは、BS.1116が基準音や試験音を好きな順序で好きなだけ受聴できるのに対し、XAB試験では、基準音、試験音A、試験音Bが順番に提示され、全評価者が同じ音を受聴した上で、規定時間内に評価する。XAB試験でも、BS.1116と同様に、2つの試験音A,Bがランダムに入れ替えられ、どちらがどの試験音であるかは伏せて提示される。評価者が試験音提示のタイミングを決める事はできない。
XAB試験での各試行における試験音の提示例を図５Ａに示す。XAB試験は、BS.1116を簡略化した評価法で、評価実施時間などの制約がある場合に実施することが多い。BS.1116と同様、エキスパートリスナーを対象とし、品質差が小さい試験音を評価対象に、基準音と比較して試験音がどれだけ劣化しているか、5段階に分類された劣化カテゴリー（図５Ｂ：わからない〜とても気になる）を用い、0.1、または１刻みで評価する。BS.1116との違いは、BS.1116が基準音や試験音を好きな順序で好きなだけ受聴できるのに対し、XAB試験では、基準音、試験音A、試験音Bが順番に提示され、全評価者が同じ音を受聴した上で、規定時間内に評価する。XAB試験でも、BS.1116と同様に、2つの試験音A,Bがランダムに入れ替えられ、どちらがどの試験音であるかは伏せて提示される。評価者が試験音提示のタイミングを決める事はできない。
上述のように、主観評価試験でどの評価方法を用いるかにより、各試行で評価者に提示される提示音数が異なる。またBS.1116では、基準音と試験音A、試験音Bのそれぞれの音に対し、好きな順番で、かつ納得がいくまで何回でも受聴できる。さらに、評価方法によって、音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間が異なる場合もある。評価方法によって、主観評価試験の開始前に評価者が行う主観評価試験の練習時間が異なる場合がある。そのため、主観評価試験に使用される評価方法の内容を考慮した実施計画を生成する必要がある。
＜前処理＞
前処理として、記憶部１３（図１）に、各評価方法の主観評価試験で使用される音信号のデータ、ならびに前述の評価カテゴリーおよび劣化カテゴリーの画像データなどを格納しておく。また、評価試験計画装置１１の記憶部１１３（図２）に、主観評価試験で用いられる評価方法の候補と、当該評価方法での主観評価試験の各パラメータを対応付けたテーブル（参照テーブル）を格納しておく。このテーブルは、評価方法の候補と、試験条件のうち経験則に基づいて定められた「経験則条件」と、を対応付けたレコードを含む。図６Ａおよび図６Ｂの例では、欄「U3」「V3」「W3」「X3」「Y3」のそれぞれに、ACRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(1)ACR」「1」「1」「1」「4」が格納されている。欄「U4」「V4」「W4」「X4」「Y4」のそれぞれに、DCRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(2)DCR」「1」「2」「1」「4」が格納されている。欄「U5」「V5」「W5」「X5」「Y5」のそれぞれに、CCRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(3)CCR」「2」「2」「1」「4」が格納されている。欄「U6」「V6」「W6」「X6」「Y6」のそれぞれに、対比較試験に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(4) 対比較」「2」「2」「1」「4」が格納されている。欄「U7」「V7」「W7」「X7」「Y7」のそれぞれに、XAB試験に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(5) XAB」「2」「3」「2」「6」が格納されている。欄「U8」「V8」「W8」「X8」「Y8」のそれぞれに、BS.1116に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(6) BS.1116」「2」「3」「2.8」「6」が格納されている。ここで、「受聴パタン数」は各試行で提示される受聴パタンの個数を表す。「提示音数」は各受聴パタンが含む音信号（基準音および／または試験音）の個数を表す。「繰り返し回数」は各試行での受聴パタンの繰り返し回数を表す。「評価時間」は、各受聴パタンの音信号がすべて提示されてから、評価者によって主観評価結果が入力されるまでの時間を表す。BS.1116に対応する「提示音数」およびすべての「評価時間」は「経験則条件」であり、その他は例えば公的な規格等によって定められた条件である。
前処理として、記憶部１３（図１）に、各評価方法の主観評価試験で使用される音信号のデータ、ならびに前述の評価カテゴリーおよび劣化カテゴリーの画像データなどを格納しておく。また、評価試験計画装置１１の記憶部１１３（図２）に、主観評価試験で用いられる評価方法の候補と、当該評価方法での主観評価試験の各パラメータを対応付けたテーブル（参照テーブル）を格納しておく。このテーブルは、評価方法の候補と、試験条件のうち経験則に基づいて定められた「経験則条件」と、を対応付けたレコードを含む。図６Ａおよび図６Ｂの例では、欄「U3」「V3」「W3」「X3」「Y3」のそれぞれに、ACRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(1)ACR」「1」「1」「1」「4」が格納されている。欄「U4」「V4」「W4」「X4」「Y4」のそれぞれに、DCRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(2)DCR」「1」「2」「1」「4」が格納されている。欄「U5」「V5」「W5」「X5」「Y5」のそれぞれに、CCRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(3)CCR」「2」「2」「1」「4」が格納されている。欄「U6」「V6」「W6」「X6」「Y6」のそれぞれに、対比較試験に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(4) 対比較」「2」「2」「1」「4」が格納されている。欄「U7」「V7」「W7」「X7」「Y7」のそれぞれに、XAB試験に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(5) XAB」「2」「3」「2」「6」が格納されている。欄「U8」「V8」「W8」「X8」「Y8」のそれぞれに、BS.1116に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(6) BS.1116」「2」「3」「2.8」「6」が格納されている。ここで、「受聴パタン数」は各試行で提示される受聴パタンの個数を表す。「提示音数」は各受聴パタンが含む音信号（基準音および／または試験音）の個数を表す。「繰り返し回数」は各試行での受聴パタンの繰り返し回数を表す。「評価時間」は、各受聴パタンの音信号がすべて提示されてから、評価者によって主観評価結果が入力されるまでの時間を表す。BS.1116に対応する「提示音数」およびすべての「評価時間」は「経験則条件」であり、その他は例えば公的な規格等によって定められた条件である。
＜評価試験計画処理＞
評価試験計画装置１１が行う評価試験計画処理を説明する。
≪入力部１１１への入力情報の入力≫
管理者が主観評価試験の実施計画を生成する場合、管理者は評価試験計画装置１１の入力部１１１に、主観評価試験の内容を設定するための入力情報を入力する。本形態では以下の入力情報が入力部１１１に入力される。
(C3)試験開始時刻
(C4)試験終了時刻
(C5)休憩時間（主観評価試験そのものを中断する時間）
(H3)実施する評価方法
(H4)１原音あたりの試験条件数
(H5)１試験条件あたりの原音数
(H17)評価室を使用するグループ数
(H19)音信号長（音信号それぞれの提示時間）
(H26)全体説明時間（主観評価試験開始前の全体説明時間）
(H28)試験の説明（個別の試験開始前の説明時間）
(H29)練習の数（主観評価の練習数）
(H33)１受聴あたりの受聴時間（評価者が試行を継続的に繰り返す受聴を実施可能な受聴時間）
(H36)１受聴あたりの試行数
(H38)１セッションあたりの受聴数
(H42)１セッション中の１回の休憩時間（受聴が実施されるたびに評価者が評価室内で行う１回の休憩に要する小休憩時間）
(H43)評価室入退室の所要時間（評価者の評価室への１回の入退室に要する入退室所要時間）
(H45)次のセッションまでの休憩時間（評価者の評価室外での１回の休憩に要する休憩時間）
(H56)データ確認時間
評価試験計画装置１１が行う評価試験計画処理を説明する。
≪入力部１１１への入力情報の入力≫
管理者が主観評価試験の実施計画を生成する場合、管理者は評価試験計画装置１１の入力部１１１に、主観評価試験の内容を設定するための入力情報を入力する。本形態では以下の入力情報が入力部１１１に入力される。
(C3)試験開始時刻
(C4)試験終了時刻
(C5)休憩時間（主観評価試験そのものを中断する時間）
(H3)実施する評価方法
(H4)１原音あたりの試験条件数
(H5)１試験条件あたりの原音数
(H17)評価室を使用するグループ数
(H19)音信号長（音信号それぞれの提示時間）
(H26)全体説明時間（主観評価試験開始前の全体説明時間）
(H28)試験の説明（個別の試験開始前の説明時間）
(H29)練習の数（主観評価の練習数）
(H33)１受聴あたりの受聴時間（評価者が試行を継続的に繰り返す受聴を実施可能な受聴時間）
(H36)１受聴あたりの試行数
(H38)１セッションあたりの受聴数
(H42)１セッション中の１回の休憩時間（受聴が実施されるたびに評価者が評価室内で行う１回の休憩に要する小休憩時間）
(H43)評価室入退室の所要時間（評価者の評価室への１回の入退室に要する入退室所要時間）
(H45)次のセッションまでの休憩時間（評価者の評価室外での１回の休憩に要する休憩時間）
(H56)データ確認時間
本形態では、表示部１１８が図７から図１０に例示する表示画面１１８０を表示し、管理者はこの表示画面１１８０をユーザインタフェースとして用い、入力部１１１から各入力情報を入力する。このユーザインタフェースは、情報を入力したり、情報を表示したりする複数の「欄」を有する。「(C3)試験開始時刻」「(C4)試験終了時刻」「(C5)休憩時間」は、それぞれ図７に例示した表示画面１１８０の欄「C3」「C4」「C5」に入力される。表示部１１８は、欄「C3」「C4」「C5」のそれぞれに入力された各値を各欄「C3」「C4」「C5」に表示する。「(H3)実施する評価方法」「(H4)１原音あたりの試験条件数」「(H5)１試験条件あたりの原音数」「(H17)評価室を使用するグループ数」「(H19)音信号長」「(H26)全体説明時間」「(H28)試験の説明」「(H29)練習の数」は、それぞれ、図８に例示した表示画面１１８０の欄「H3」「H4」「H5」「H17」「H19」「H26」「H28」「H29」に入力される。「(H19)音信号長」は、音信号が音声の場合に８秒または８秒の近傍が好ましく、音信号が楽音の場合には１２秒以上２０秒以下または１２秒以上２０秒以下の近傍が好ましい。表示部１１８は、欄「H3」「H4」「H5」「H17」「H19」「H26」「H28」「H29」のそれぞれに入力された各値を各欄「H3」「H4」「H5」「H17」「H19」「H26」「H28」「H29」に表示する。「(H33)１受聴あたりの受聴時間」「(H36)１受聴あたりの試行数」「(H38)１セッションあたりの受聴数」「(H42)１セッション中の休憩時間」「(H43)評価室入退室の所要時間」「(H45)次のセッションまでの休憩時間」は、それぞれ、図９に例示した表示画面１１８０の欄「H33」「H36」「H38」「H42」「H43」「H45」に入力される。「(H33)１受聴あたりの受聴時間」は、６分間以上８分間以下の時間または６分間以上８分間以下の時間の近傍であることが好ましい。「(H38)１セッションあたりの受聴数」は２回または３回が好ましい。「(H42)１セッション中の休憩時間」は、１分間または１分間の近傍が望ましい。表示部１１８は、欄「H33」「H36」「H38」「H42」「H43」「H45」のそれぞれに入力された各値を各欄「H33」「H36」「H38」「H42」「H43」「H45」に表示する。「(H56)データ確認時間」は、図１０に例示した表示画面１１８０の欄「H56」に入力される。表示部１１８は、欄「H56」に入力された値を各欄「H56」に表示する。入力部１１１に入力された入力情報のそれぞれは、条件設定部１１２および／または結果取得部１１４に送られる。
≪条件設定部１１２での試験条件の設定≫
条件設定部１１２は、入力情報の少なくとも一部を用いて「試験条件」を得て出力する。「試験条件」は、主観評価試験に必要な試行の総数、試行のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間を含む。条件設定部１１２は、記憶部１１３に格納されたテーブルを参照し、主観評価試験で用いられる評価方法に対応付けられた経験則条件を含む「試験条件」を設定する。
条件設定部１１２は、入力情報の少なくとも一部を用いて「試験条件」を得て出力する。「試験条件」は、主観評価試験に必要な試行の総数、試行のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間を含む。条件設定部１１２は、記憶部１１３に格納されたテーブルを参照し、主観評価試験で用いられる評価方法に対応付けられた経験則条件を含む「試験条件」を設定する。
本形態では以下の「試験条件」が設定される。
稼働時間：C6
条件設定部１１２は、以下のように稼働時間を欄「C6」に設定し、表示部１１８は、設定された稼働時間を図７に例示した表示画面１１８０の欄「C6」に表示する。
C6=C4-C3-C5
ただし、式中の欄を表す識別子（例えば、C3，C4，C5，C6）は、その欄に入力または設定され、表示された値を表す。例えば、式(1)は、欄「C4」に表示された値から、「C3」に表示された値と「C5」に表示された値を減じた値を欄「C6」に設定して表示することを意味する（以下も同様）。
稼働時間：C6
条件設定部１１２は、以下のように稼働時間を欄「C6」に設定し、表示部１１８は、設定された稼働時間を図７に例示した表示画面１１８０の欄「C6」に表示する。
C6=C4-C3-C5
ただし、式中の欄を表す識別子（例えば、C3，C4，C5，C6）は、その欄に入力または設定され、表示された値を表す。例えば、式(1)は、欄「C4」に表示された値から、「C3」に表示された値と「C5」に表示された値を減じた値を欄「C6」に設定して表示することを意味する（以下も同様）。
受聴パタン数：H6
条件設定部１１２は、以下のように受聴パタン数を欄「H6」に設定し、表示部１１８は、設定された受聴パタン数を図８に例示した表示画面１１８０の欄「H6」に表示する。
H6=VLOOKUP(H3,U3:Y8,2)
ただし、VLOOKUP(α,β:γ,δ)はExcel（登録商標）のVLOOKUP関数であり、欄「α」に表示された値を検索値として欄「β」と「γ」で指定された範囲のテーブルを検索し、「α」に表示された値に対応する行のδ列目の値を出力の欄に設定するとともに表示する関数である。例えば、H6=VLOOKUP(H3,U3:Y8,2)は、図８の例では、欄「H3」の値は「(2)DCR」であり、これを検索値として図６Ａおよび図６Ｂに例示した欄「U3」と「Y8」で指定された範囲のテーブルを検索すると、「(2)DCR」に対応する行の2列目の値「１」（受聴パタン数）を欄「H6」に設定するとともに表示する。
条件設定部１１２は、以下のように受聴パタン数を欄「H6」に設定し、表示部１１８は、設定された受聴パタン数を図８に例示した表示画面１１８０の欄「H6」に表示する。
H6=VLOOKUP(H3,U3:Y8,2)
ただし、VLOOKUP(α,β:γ,δ)はExcel（登録商標）のVLOOKUP関数であり、欄「α」に表示された値を検索値として欄「β」と「γ」で指定された範囲のテーブルを検索し、「α」に表示された値に対応する行のδ列目の値を出力の欄に設定するとともに表示する関数である。例えば、H6=VLOOKUP(H3,U3:Y8,2)は、図８の例では、欄「H3」の値は「(2)DCR」であり、これを検索値として図６Ａおよび図６Ｂに例示した欄「U3」と「Y8」で指定された範囲のテーブルを検索すると、「(2)DCR」に対応する行の2列目の値「１」（受聴パタン数）を欄「H6」に設定するとともに表示する。
総試行数：H7
条件設定部１１２は、以下のように総試行数（主観評価試験に必要な試行の総数）を欄「H7」に設定し、表示部１１８は、設定された総試行数を図８に例示した表示画面１１８０の欄「H7」に表示する。
H7=H4*H5*H6
ただし、「*」は乗算演算子である。
条件設定部１１２は、以下のように総試行数（主観評価試験に必要な試行の総数）を欄「H7」に設定し、表示部１１８は、設定された総試行数を図８に例示した表示画面１１８０の欄「H7」に表示する。
H7=H4*H5*H6
ただし、「*」は乗算演算子である。
１試行あたりの音信号数：H20
条件設定部１１２は、以下のように１試行あたりの音信号数を欄「H20」に設定し、表示部１１８は、設定された１試行あたりの音信号数を図８に例示した表示画面１１８０の欄「H20」に表示する。
H20=VLOOKUP(H3,U3:Y8,3)
条件設定部１１２は、以下のように１試行あたりの音信号数を欄「H20」に設定し、表示部１１８は、設定された１試行あたりの音信号数を図８に例示した表示画面１１８０の欄「H20」に表示する。
H20=VLOOKUP(H3,U3:Y8,3)
１試行あたりの受聴パタンの繰り返し回数（繰り返し回数）：H21
条件設定部１１２は、以下のように繰り返し回数を欄「H21」に設定し、表示部１１８は、設定された繰り返し回数を図８に例示した表示画面１１８０の欄「H21」に表示する。
H21=VLOOKUP(H3,U3:Y8,4)
条件設定部１１２は、以下のように繰り返し回数を欄「H21」に設定し、表示部１１８は、設定された繰り返し回数を図８に例示した表示画面１１８０の欄「H21」に表示する。
H21=VLOOKUP(H3,U3:Y8,4)
１試行あたりの評価時間：H22
条件設定部１１２は、以下のように１試行あたりの評価時間を欄「H22」に設定し、表示部１１８は、設定された１試行あたりの評価時間を図８に例示した表示画面１１８０の欄「H22」に表示する。
H22=VLOOKUP(H3,U3:Y8,5)
条件設定部１１２は、以下のように１試行あたりの評価時間を欄「H22」に設定し、表示部１１８は、設定された１試行あたりの評価時間を図８に例示した表示画面１１８０の欄「H22」に表示する。
H22=VLOOKUP(H3,U3:Y8,5)
１試行あたりの受聴時間：H23
条件設定部１１２は、以下のように１試行あたりの受聴時間を欄「H23」に設定し、表示部１１８は、設定された１試行あたりの受聴時間を図８に例示した表示画面１１８０の欄「H23」に表示する。
H23=(H19+0.5)*H20*H21+H22+1
条件設定部１１２は、以下のように１試行あたりの受聴時間を欄「H23」に設定し、表示部１１８は、設定された１試行あたりの受聴時間を図８に例示した表示画面１１８０の欄「H23」に表示する。
H23=(H19+0.5)*H20*H21+H22+1
練習の所要時間：H30
条件設定部１１２は、以下のように練習の所要時間を欄「H30」に設定し、表示部１１８は、設定された練習の所要時間を図８に例示した表示画面１１８０の欄「H30」に表示する。
H30=ROUNDUP(H29*H23/60,0)
ただし、ROUNDUP(α，β)はExcelの切り上げ関数であり、欄「α」の値の小数第β位未満の桁を切り上げた値を出力の欄に設定するとともに表示する。なお、β＝０の場合には当該欄「α」の値の小数第１位以下を切り上げた値を当該欄に設定するとともに表示する。
条件設定部１１２は、以下のように練習の所要時間を欄「H30」に設定し、表示部１１８は、設定された練習の所要時間を図８に例示した表示画面１１８０の欄「H30」に表示する。
H30=ROUNDUP(H29*H23/60,0)
ただし、ROUNDUP(α，β)はExcelの切り上げ関数であり、欄「α」の値の小数第β位未満の桁を切り上げた値を出力の欄に設定するとともに表示する。なお、β＝０の場合には当該欄「α」の値の小数第１位以下を切り上げた値を当該欄に設定するとともに表示する。
１受聴あたりの試行数：H34
条件設定部１１２は、以下のように１受聴あたりの試行数を欄「H34」に設定し、表示部１１８は、設定された１受聴あたりの試行数を図９に例示した表示画面１１８０の欄「H34」に表示する。
H34=QUOTIENT(H33*60,H23)
ただし、QUOTIENT(α，β)はExcelのQUOTIENT関数であり、欄「α」の値を欄「β」の値で割った商の整数部分を出力の欄に設定するとともに表示する。欄「H34」に表示された値は、管理者が前述のように欄「H36」に「(H36)１受聴あたりの試行数」を入力する際の参考となる。
条件設定部１１２は、以下のように１受聴あたりの試行数を欄「H34」に設定し、表示部１１８は、設定された１受聴あたりの試行数を図９に例示した表示画面１１８０の欄「H34」に表示する。
H34=QUOTIENT(H33*60,H23)
ただし、QUOTIENT(α，β)はExcelのQUOTIENT関数であり、欄「α」の値を欄「β」の値で割った商の整数部分を出力の欄に設定するとともに表示する。欄「H34」に表示された値は、管理者が前述のように欄「H36」に「(H36)１受聴あたりの試行数」を入力する際の参考となる。
１受聴あたりの所要時間：H37
条件設定部１１２は、以下のように１受聴あたりの所要時間を欄「H37」に設定し、表示部１１８は、設定された１受聴あたりの所要時間を図９に例示した表示画面１１８０の欄「H37」に表示する。
H37=ROUNDUP(((H36*H23)/60),0)
条件設定部１１２は、以下のように１受聴あたりの所要時間を欄「H37」に設定し、表示部１１８は、設定された１受聴あたりの所要時間を図９に例示した表示画面１１８０の欄「H37」に表示する。
H37=ROUNDUP(((H36*H23)/60),0)
１セッションあたりの試行数：H39
条件設定部１１２は、以下のように１セッションあたりの試行数を欄「H39」に設定し、表示部１１８は、設定された１セッションあたりの試行数を図９に例示した表示画面１１８０の欄「H39」に表示する。
H39=H38*H36
条件設定部１１２は、以下のように１セッションあたりの試行数を欄「H39」に設定し、表示部１１８は、設定された１セッションあたりの試行数を図９に例示した表示画面１１８０の欄「H39」に表示する。
H39=H38*H36
１セッションあたりの所要時間：H40
条件設定部１１２は、以下のように１セッションあたりの所要時間（評価者が試行を継続的に繰り返す「受聴」を繰り返すことが可能なセッション時間）を欄「H40」に設定し、表示部１１８は、設定された１セッションあたりの所要時間を図９に例示した表示画面１１８０の欄「H40」に表示する。
H40=ROUNDUP(H38*((H36*H23)/60+H42)+(H43-H42),0)
条件設定部１１２は、以下のように１セッションあたりの所要時間（評価者が試行を継続的に繰り返す「受聴」を繰り返すことが可能なセッション時間）を欄「H40」に設定し、表示部１１８は、設定された１セッションあたりの所要時間を図９に例示した表示画面１１８０の欄「H40」に表示する。
H40=ROUNDUP(H38*((H36*H23)/60+H42)+(H43-H42),0)
次のセッションまでの休憩時間 (評価室外)：H44
条件設定部１１２は、以下のように次のセッションまでの休憩時間（評価者の評価室外での１回の休憩に要する休憩時間）を欄「H44」に設定し、表示部１１８は、設定された次のセッションまでの休憩時間を図９に例示した表示画面１１８０の欄「H44」に表示する。
H44=ROUNDUP(H40*2/3,0)
ただし、ROUNDUP(α，β)はExcelの切り上げ関数であり、欄「α」の値の小数第β＋１の桁を切り上げた値を出力の欄に設定するとともに表示する。なお、β＝０の場合には欄「α」の値の小数第１位を切り上げた値を当該欄に設定するとともに表示する。欄「H44」に表示される休憩時間は、欄「H40」に表示された１セッションあたりの所要時間（セッション時間）の２／３またはその２／３の近傍の時間である。次のセッションまでの休憩時間は、セッション時間の２／３以上またはセッション時間の２／３の近傍以上であることが望ましい。欄「H44」に表示された値は、管理者が前述のように欄「H45」に「(H45)次のセッションまでの休憩時間」を入力する際の参考となる。
条件設定部１１２は、以下のように次のセッションまでの休憩時間（評価者の評価室外での１回の休憩に要する休憩時間）を欄「H44」に設定し、表示部１１８は、設定された次のセッションまでの休憩時間を図９に例示した表示画面１１８０の欄「H44」に表示する。
H44=ROUNDUP(H40*2/3,0)
ただし、ROUNDUP(α，β)はExcelの切り上げ関数であり、欄「α」の値の小数第β＋１の桁を切り上げた値を出力の欄に設定するとともに表示する。なお、β＝０の場合には欄「α」の値の小数第１位を切り上げた値を当該欄に設定するとともに表示する。欄「H44」に表示される休憩時間は、欄「H40」に表示された１セッションあたりの所要時間（セッション時間）の２／３またはその２／３の近傍の時間である。次のセッションまでの休憩時間は、セッション時間の２／３以上またはセッション時間の２／３の近傍以上であることが望ましい。欄「H44」に表示された値は、管理者が前述のように欄「H45」に「(H45)次のセッションまでの休憩時間」を入力する際の参考となる。
フル受聴されるセッション数：H48
条件設定部１１２は、以下のようにフル受聴されるセッション数（受聴が最大限まで繰り返されるセッションの個数）を欄「H48」に設定し、表示部１１８は、設定されたフル受聴されるセッション数を図１０に例示した表示画面１１８０の欄「H48」に表示する。
H48=QUOTIENT(H7,H39)
条件設定部１１２は、以下のようにフル受聴されるセッション数（受聴が最大限まで繰り返されるセッションの個数）を欄「H48」に設定し、表示部１１８は、設定されたフル受聴されるセッション数を図１０に例示した表示画面１１８０の欄「H48」に表示する。
H48=QUOTIENT(H7,H39)
最終セッションの試行数：H50
条件設定部１１２は、以下のように最終セッションの試行数を欄「H50」に設定し、表示部１１８は、設定された最終セッションの試行数を図１０に例示した表示画面１１８０の欄「H50」に表示する。
H50=MOD(H7,H39)
ただし、MOD(α,β)はExcelのMOD関数であり、欄「α」の値を欄「β」の値で割った余りを出力の欄に設定するとともに表示する。
条件設定部１１２は、以下のように最終セッションの試行数を欄「H50」に設定し、表示部１１８は、設定された最終セッションの試行数を図１０に例示した表示画面１１８０の欄「H50」に表示する。
H50=MOD(H7,H39)
ただし、MOD(α,β)はExcelのMOD関数であり、欄「α」の値を欄「β」の値で割った余りを出力の欄に設定するとともに表示する。
最終セッションでフルに受聴される数：H51
条件設定部１１２は、以下のように最終セッションでフルに受聴される数（最終セッションで試行が最大限まで繰り返される受聴の個数）を欄「H51」に設定し、表示部１１８は、設定された最終セッションでフルに受聴される数を図１０に例示した表示画面１１８０の欄「H51」に表示する。
H51=IF(H50>0, QUOTIENT(H50,H36))
ただし、IF(α,β,γ)はExcelのIF関数であり、条件αが真であればβを出力の欄に設定するとともに表示し、条件αが偽であればγを当該欄に設定するとともに表示する。
条件設定部１１２は、以下のように最終セッションでフルに受聴される数（最終セッションで試行が最大限まで繰り返される受聴の個数）を欄「H51」に設定し、表示部１１８は、設定された最終セッションでフルに受聴される数を図１０に例示した表示画面１１８０の欄「H51」に表示する。
H51=IF(H50>0, QUOTIENT(H50,H36))
ただし、IF(α,β,γ)はExcelのIF関数であり、条件αが真であればβを出力の欄に設定するとともに表示し、条件αが偽であればγを当該欄に設定するとともに表示する。
最終セッションの最終受聴での試行数：H52
条件設定部１１２は、以下のように最終セッションの最終受聴での試行数を欄「H52」に設定し、表示部１１８は、設定された最終セッションの最終受聴での試行数を図１０に例示した表示画面１１８０の欄「H52」に表示する。
H52=MOD(H50,H36)
条件設定部１１２は、以下のように最終セッションの最終受聴での試行数を欄「H52」に設定し、表示部１１８は、設定された最終セッションの最終受聴での試行数を図１０に例示した表示画面１１８０の欄「H52」に表示する。
H52=MOD(H50,H36)
最終セッションの所要時間：H53
条件設定部１１２は、以下のように最終セッションの所要時間を欄「H53」に設定し、表示部１１８は、設定された最終セッションの所要時間を図１０に例示した表示画面１１８０の欄「H53」に表示する。
H53=IF(H50>0,IF(H51=0,ROUNDUP((H52*H23+H43)/60,0),ROUNDUP((H36*H23*H51+H52*H23+H42*H51+H43)/60,0)),0)
条件設定部１１２は、以下のように最終セッションの所要時間を欄「H53」に設定し、表示部１１８は、設定された最終セッションの所要時間を図１０に例示した表示画面１１８０の欄「H53」に表示する。
H53=IF(H50>0,IF(H51=0,ROUNDUP((H52*H23+H43)/60,0),ROUNDUP((H36*H23*H51+H52*H23+H42*H51+H43)/60,0)),0)
≪結果取得部１１４での結果の取得≫
結果取得部１１４は、入力情報の少なくとも一部（例えば「(H19)音信号長」、「(H43)評価室入退室の所要時間」、および「(H45)次のセッションまでの休憩時間」）および条件設定部１１２で得られた「試験条件」を用い、主観評価試験の実施に必要な総実施時間、試験稼働時間での主観評価試験の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを含む「結果」を得る。
結果取得部１１４は、入力情報の少なくとも一部（例えば「(H19)音信号長」、「(H43)評価室入退室の所要時間」、および「(H45)次のセッションまでの休憩時間」）および条件設定部１１２で得られた「試験条件」を用い、主観評価試験の実施に必要な総実施時間、試験稼働時間での主観評価試験の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを含む「結果」を得る。
本形態では以下の「結果」が設定される。
実稼働時間に対する試験実施の可否判定：H11
結果取得部１１４は、以下のように実稼働時間に対する試験実施の可否判定（試験稼働時間での主観評価試験の実施の可否判定）の結果を欄「H11」に設定し、表示部１１８は、当該結果を図８に例示した表示画面１１８０の欄「H11」に表示する。
H11=IF(H65>=0,“実施可能”,“実施不可”)
ただし、H65>=0は欄「H65」に表示された値が0以上であるという条件を表す。
実稼働時間に対する試験実施の可否判定：H11
結果取得部１１４は、以下のように実稼働時間に対する試験実施の可否判定（試験稼働時間での主観評価試験の実施の可否判定）の結果を欄「H11」に設定し、表示部１１８は、当該結果を図８に例示した表示画面１１８０の欄「H11」に表示する。
H11=IF(H65>=0,“実施可能”,“実施不可”)
ただし、H65>=0は欄「H65」に表示された値が0以上であるという条件を表す。
１グループの場合に実施可能な試行数：H12
結果取得部１１４は、以下のように１グループの場合に実施可能な試行数を欄「H12」に設定し、表示部１１８は、当該試行数を図８に例示した表示画面１１８０の欄「H12」に表示する。
H12=ROUNDDOWN(H36*H38*(D6*60-(H26+H28+H30+H56))/(H40+H45),0)
D6=HOUR(C6)+(MINUTE(C6)/60)
ただし、D6は欄「C6」を時刻からシリアル値に変換するためのものである。
結果取得部１１４は、以下のように１グループの場合に実施可能な試行数を欄「H12」に設定し、表示部１１８は、当該試行数を図８に例示した表示画面１１８０の欄「H12」に表示する。
H12=ROUNDDOWN(H36*H38*(D6*60-(H26+H28+H30+H56))/(H40+H45),0)
D6=HOUR(C6)+(MINUTE(C6)/60)
ただし、D6は欄「C6」を時刻からシリアル値に変換するためのものである。
２グループの場合に実施可能な試行数：H13
結果取得部１１４は、以下のように２グループの場合に実施可能な試行数を欄「H13」に設定し、表示部１１８は、当該試行数を図８に例示した表示画面１１８０の欄「H13」に表示する。
H13=ROUNDDOWN(H36*H38*(D6*60-(H26+H28+H30+H56))/(H40+H40),0)
結果取得部１１４は、以下のように２グループの場合に実施可能な試行数を欄「H13」に設定し、表示部１１８は、当該試行数を図８に例示した表示画面１１８０の欄「H13」に表示する。
H13=ROUNDDOWN(H36*H38*(D6*60-(H26+H28+H30+H56))/(H40+H40),0)
総評価時間：H59，H60
結果取得部１１４は、以下のように総評価時間を欄「H59」「H60」に設定し、表示部１１８は、当該総評価時間を図１０に例示した表示画面１１８０の欄「H59」「H60」に表示する。
H59=H40*H48+H45*(H48-1)+H53+IF(H50>0, H45,)
H60=(QUOTIENT(H59,60), MOD(H59,60))
H60は、H59を分表示から、時間表示に変換するためのものであり、QUOTIENT(H59,60)は「時間」、MOD(H59,60)は「分」を表す。
結果取得部１１４は、以下のように総評価時間を欄「H59」「H60」に設定し、表示部１１８は、当該総評価時間を図１０に例示した表示画面１１８０の欄「H59」「H60」に表示する。
H59=H40*H48+H45*(H48-1)+H53+IF(H50>0, H45,)
H60=(QUOTIENT(H59,60), MOD(H59,60))
H60は、H59を分表示から、時間表示に変換するためのものであり、QUOTIENT(H59,60)は「時間」、MOD(H59,60)は「分」を表す。
総実施時間：H62，H63
結果取得部１１４は、以下のように総評価時間を欄「H62」「H63」に設定し、表示部１１８は、当該総評価時間を図１０に例示した表示画面１１８０の欄「H62」「H63」に表示する。
H62=IF(H17=1,H26+H28+H30+H56+H59,H26+H28+H56+(H30+H40*H48+H53)*2)
H63=(QUOTIENT(H62,60), MOD(H62,60))
H63は、H62を分表示から、時間表示に変換するためのものである。
結果取得部１１４は、以下のように総評価時間を欄「H62」「H63」に設定し、表示部１１８は、当該総評価時間を図１０に例示した表示画面１１８０の欄「H62」「H63」に表示する。
H62=IF(H17=1,H26+H28+H30+H56+H59,H26+H28+H56+(H30+H40*H48+H53)*2)
H63=(QUOTIENT(H62,60), MOD(H62,60))
H63は、H62を分表示から、時間表示に変換するためのものである。
余りの時間：H65，H66
結果取得部１１４は、以下のように余りの時間を欄「H65」「H66」に設定し、表示部１１８は、当該余りの時間を図１０に例示した表示画面１１８０の欄「H65」「H66」に表示する。
H65=D6*60-H62
H66=(QUOTIENT(H65,60),MOD(H65,60))
H66は、H65を分表示から、時間表示に変換するためのものである。
結果取得部１１４は、以下のように余りの時間を欄「H65」「H66」に設定し、表示部１１８は、当該余りの時間を図１０に例示した表示画面１１８０の欄「H65」「H66」に表示する。
H65=D6*60-H62
H66=(QUOTIENT(H65,60),MOD(H65,60))
H66は、H65を分表示から、時間表示に変換するためのものである。
≪試験計画データの出力および格納≫
入力部１１１に入力された入力情報および条件設定部１１２で設定された試験条件は出力部１１７に送られ、出力部１１７はこれらを試験計画データとして出力し、記憶部１２に格納する。
入力部１１１に入力された入力情報および条件設定部１１２で設定された試験条件は出力部１１７に送られ、出力部１１７はこれらを試験計画データとして出力し、記憶部１２に格納する。
≪試験予定表の生成および出力≫
入力部１１１に入力された入力情報、条件設定部１１２で設定された試験条件、および結果取得部１１４で得られた結果は試験予定表生成部１１５に送られる。試験予定表生成部１１５は、これらの少なくとも一部（例えば、「試験条件」、「音信号それぞれの提示時間」、および「休憩時間」）を用い、主観評価試験の実施計画を表すタイムテーブルである試験予定表を生成して出力する。図１１は、１グループの評価者のみが主観評価試験を行う試験予定表の例であり、図１２は、２グループの評価者のみが主観評価試験を行う試験予定表の例である。例えば、試験予定表生成部１１５は、欄「C3」「C4」「C5」「H26」「H28」「H29」「H30」「H36」「H37」「H38」「H39」「H40」「H42」「H43」「H45」「H48」「H51」「H52」「H53」「H56」「H65」などの値を用いて、試験予定表を生成して出力する。図１２の例では、評価者がグループＣとグループＤとに区分されている。評価室１５０内でグループＣの評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間と、評価室１５０内でグループＤの評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間とが存在する。この場合、前述の「入退室所要時間」は、グループＣの評価者またはグループＤの評価者のうち、評価室１５０内に滞在する何れか一方のグループの評価者と、評価室１５０外に滞在する他方のグループの評価者と、を１回入れ替えるために要する時間である。グループＣの評価者の評価室１５０外での「休憩時間」は、グループＤの評価者の評価室１５０内での滞在時間と等しく、グループＤの評価者の評価室１５０外での「休憩時間」は、グループＣの評価者の評価室１５０内での滞在時間と等しい。
入力部１１１に入力された入力情報、条件設定部１１２で設定された試験条件、および結果取得部１１４で得られた結果は試験予定表生成部１１５に送られる。試験予定表生成部１１５は、これらの少なくとも一部（例えば、「試験条件」、「音信号それぞれの提示時間」、および「休憩時間」）を用い、主観評価試験の実施計画を表すタイムテーブルである試験予定表を生成して出力する。図１１は、１グループの評価者のみが主観評価試験を行う試験予定表の例であり、図１２は、２グループの評価者のみが主観評価試験を行う試験予定表の例である。例えば、試験予定表生成部１１５は、欄「C3」「C4」「C5」「H26」「H28」「H29」「H30」「H36」「H37」「H38」「H39」「H40」「H42」「H43」「H45」「H48」「H51」「H52」「H53」「H56」「H65」などの値を用いて、試験予定表を生成して出力する。図１２の例では、評価者がグループＣとグループＤとに区分されている。評価室１５０内でグループＣの評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間と、評価室１５０内でグループＤの評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間とが存在する。この場合、前述の「入退室所要時間」は、グループＣの評価者またはグループＤの評価者のうち、評価室１５０内に滞在する何れか一方のグループの評価者と、評価室１５０外に滞在する他方のグループの評価者と、を１回入れ替えるために要する時間である。グループＣの評価者の評価室１５０外での「休憩時間」は、グループＤの評価者の評価室１５０内での滞在時間と等しく、グループＤの評価者の評価室１５０外での「休憩時間」は、グループＣの評価者の評価室１５０内での滞在時間と等しい。
＜主観評価試験の実施＞
主観評価装置１４の制御部１４６（図１）は、記憶部１２に格納された試験計画データを読み込み、試験計画データに従って主観評価試験を実行する。音信号提示部１４１および表示部１４５は、試験計画データによって特定されるスケジュールや評価方法に従って、記憶部１３から試験データを読み込み、評価室１５０内の評価者１５１−１〜１５１−Ｎへの指示の表示や評価対象となる音信号を提示（出力）する。評価者１５１−１〜１５１−Ｎは、提示された音信号に対する主観評価結果を入力部１４２に入力する。この試行が繰り返されることで主観評価試験が進んでいく。ここで、主観評価結果の入力処理を効率化するための工夫がなされてもよい。例えば、音信号提示部１４１は、評価対象となるｉ個の音信号を提示し（ｉは２以上の整数）、評価者１５１−１〜１５１−Ｎは、提示されたｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力のみを入力部１４２に入力する。評価設定部１４３は、入力されたｉ−１個の音信号に対する主観評価結果を用い、ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定して出力する。例えば、評価者１５１−１〜１５１−Ｎは、ｉ個の音信号のうち主観評価の低いｉ−１個の音信号に対する主観評価結果を入力部１４２に入力し、評価設定部１４３は、ｉ個の音信号のうち、最も主観評価の高い１個の音信号に対する主観評価結果を自動的に設定して出力する。例えば、BS.1116やXAB試験（図５Ａおよび図５Ｂ）が行われる場合、評価者１５１−１〜１５１−Ｎは、ランダムな順序で提示される３つの音信号（基準音、試験音A、試験音B）のうち、“評価対象の試験音”だと思う音信号に対する主観評価結果のみを入力部１４２に入力し、評価設定部１４３は、主観評価結果が入力されなかった残りの１個の音信号を“隠された基準音”として主観評価結果「5.0」を自動的に設定して出力してもよい。入力部１４２に入力されたり、評価設定部１４３で設定されたりした主観評価結果は、試験結果集計部１４４に送られる。試験結果集計部１４４はこれらを得られた主観評価結果を集計してその結果を出力する。
主観評価装置１４の制御部１４６（図１）は、記憶部１２に格納された試験計画データを読み込み、試験計画データに従って主観評価試験を実行する。音信号提示部１４１および表示部１４５は、試験計画データによって特定されるスケジュールや評価方法に従って、記憶部１３から試験データを読み込み、評価室１５０内の評価者１５１−１〜１５１−Ｎへの指示の表示や評価対象となる音信号を提示（出力）する。評価者１５１−１〜１５１−Ｎは、提示された音信号に対する主観評価結果を入力部１４２に入力する。この試行が繰り返されることで主観評価試験が進んでいく。ここで、主観評価結果の入力処理を効率化するための工夫がなされてもよい。例えば、音信号提示部１４１は、評価対象となるｉ個の音信号を提示し（ｉは２以上の整数）、評価者１５１−１〜１５１−Ｎは、提示されたｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力のみを入力部１４２に入力する。評価設定部１４３は、入力されたｉ−１個の音信号に対する主観評価結果を用い、ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定して出力する。例えば、評価者１５１−１〜１５１−Ｎは、ｉ個の音信号のうち主観評価の低いｉ−１個の音信号に対する主観評価結果を入力部１４２に入力し、評価設定部１４３は、ｉ個の音信号のうち、最も主観評価の高い１個の音信号に対する主観評価結果を自動的に設定して出力する。例えば、BS.1116やXAB試験（図５Ａおよび図５Ｂ）が行われる場合、評価者１５１−１〜１５１−Ｎは、ランダムな順序で提示される３つの音信号（基準音、試験音A、試験音B）のうち、“評価対象の試験音”だと思う音信号に対する主観評価結果のみを入力部１４２に入力し、評価設定部１４３は、主観評価結果が入力されなかった残りの１個の音信号を“隠された基準音”として主観評価結果「5.0」を自動的に設定して出力してもよい。入力部１４２に入力されたり、評価設定部１４３で設定されたりした主観評価結果は、試験結果集計部１４４に送られる。試験結果集計部１４４はこれらを得られた主観評価結果を集計してその結果を出力する。
＜本形態の特徴＞
本形態では、評価試験計画装置１１への入力情報に応じて「試験条件」および「結果」が自動的に設定され、これにより各条件での主観評価試験の実現性を推し量ることができる。管理者は、それを利用することで、効率よく主観評価試験を行うための実施計画を容易に作成できる。
本形態では、評価試験計画装置１１への入力情報に応じて「試験条件」および「結果」が自動的に設定され、これにより各条件での主観評価試験の実現性を推し量ることができる。管理者は、それを利用することで、効率よく主観評価試験を行うための実施計画を容易に作成できる。
また、評価試験計画装置１１から出力された試験計画データに基づいて主観評価試験を実行でき、評価者１５１−１〜１５１−Ｎは、評価試験計画装置１１から出力された試験予定表によって試験のスケジュールを知ることができる。
［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の具体例では、欄「H29」に「(H29)練習の数」を入力することとしたが、「実施する評価方法」と「練習の数」とを対応付けたテーブルを設定しておき、条件設定部１１２が、このテーブルを参照し、欄「H3」に入力された「(H3)実施する評価方法」に対応する「練習の数」が自動的に設定してもよい。あるいは、「実施する評価方法」と「練習の所要時間（主観評価試験の開始前に評価者が行う主観評価試験の練習時間）」とを対応付けたテーブルを設定しておき、条件設定部１１２が、このテーブルを参照し、欄「H3」に入力された「(H3)実施する評価方法」に対応する「練習の所要時間」が自動的に設定してもよい。なお、「練習の所要時間」および「練習の数」は、前述の「経験則条件」の例である。
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の具体例では、欄「H29」に「(H29)練習の数」を入力することとしたが、「実施する評価方法」と「練習の数」とを対応付けたテーブルを設定しておき、条件設定部１１２が、このテーブルを参照し、欄「H3」に入力された「(H3)実施する評価方法」に対応する「練習の数」が自動的に設定してもよい。あるいは、「実施する評価方法」と「練習の所要時間（主観評価試験の開始前に評価者が行う主観評価試験の練習時間）」とを対応付けたテーブルを設定しておき、条件設定部１１２が、このテーブルを参照し、欄「H3」に入力された「(H3)実施する評価方法」に対応する「練習の所要時間」が自動的に設定してもよい。なお、「練習の所要時間」および「練習の数」は、前述の「経験則条件」の例である。
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
１ 主観評価システム
１１ 評価試験計画装置
１４ 主観評価装置
１１ 評価試験計画装置
１４ 主観評価装置
Claims (15)
- 評価室内で評価者に音信号を提示し、前記音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための評価試験計画装置であって、
前記主観評価試験で用いられる評価方法に基づいて、前記主観評価試験に必要な前記試行の総数、前記試行のそれぞれで提示される前記音信号の個数、および前記音信号が提示されてから前記評価者によって前記主観評価結果が入力されるまでの評価時間、を含む試験条件を得る条件設定部と、
少なくとも、前記試験条件、前記音信号それぞれの提示時間、前記評価者の前記評価室への１回の入退室に要する入退室所要時間、および前記評価者の前記評価室外での１回の休憩に要する休憩時間に基づいて、前記主観評価試験の実施に必要な総実施時間、試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを得る結果取得部と、
を有する評価試験計画装置。 - 請求項１の評価試験計画装置であって、
前記評価者は第１グループと第２グループとに区分され、
前記評価室内で前記第１グループの前記評価者に前記音信号を提示し、前記主観評価結果を入力させる試行を繰り返す期間と、前記評価室内で前記第２グループの前記評価者に前記音信号を提示し、前記主観評価結果を入力させる試行を繰り返す期間とが存在し、
前記入退室所要時間は、前記第１グループの前記評価者または前記第２グループの前記評価者のうち、前記評価室内に滞在する何れか一方のグループの前記評価者と、前記評価室外に滞在する他方のグループの前記評価者と、を１回入れ替えるために要する時間であり、
前記休憩時間は、前記評価者の前記評価室内での滞在時間と等しい、評価試験計画装置。 - 請求項１または２の評価試験計画装置であって、
前記結果取得部は、さらに、前記評価者が前記試行を継続的に繰り返す受聴を実施可能な受聴時間、前記評価者が前記試行を継続的に繰り返す受聴を繰り返すことが可能なセッション時間、および前記受聴が実施されるたびに前記評価者が前記評価室内で行う１回の休憩に要する小休憩時間の少なくとも何れかに基づいて、前記総実施時間、前記試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを得る、評価試験計画装置。 - 請求項３の評価試験計画装置であって、
前記受聴時間は、６分間以上８分間以下の時間または６分間以上８分間以下の時間の近傍であり、
前記小休憩時間は、１分間または１分間の近傍であり、
前記セッション時間は、前記受聴を２回または３回繰り返すことが可能な時間であり、
前記休憩時間は、前記セッション時間の２／３以上または前記セッション時間の２／３の近傍以上である、評価試験計画装置。 - 請求項１から４の何れかの評価試験計画装置であって、
前記主観評価試験で用いられる評価方法の候補と、前記試験条件のうち経験則に基づいて定められた経験則条件と、を対応付けたテーブルを格納する記憶部を有し、
前記条件設定部は、前記テーブルを参照し、前記主観評価試験で用いられる評価方法に対応付けられた前記経験則条件を含む前記試験条件を設定する、評価試験計画装置。 - 請求項５の評価試験計画装置であって、
前記経験則条件は、前記試行のそれぞれで前記音信号が繰り返し提示される回数、前記評価時間、または前記主観評価試験の開始前に評価者が行う前記主観評価試験の練習時間、の何れかを少なくとも含む、評価試験計画装置。 - 請求項１から６の何れかの評価試験計画装置であって、
少なくとも、前記試験条件、前記音信号それぞれの提示時間、および前記休憩時間を用い、前記主観評価試験の実施計画を表すタイムテーブルである試験予定表を生成する試験予定表生成部を有する、評価試験計画装置。 - 評価室内で評価者に音信号を提示し、前記音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための評価試験計画装置であって、
前記主観評価試験で用いられる評価方法が入力されるとともに、入力された評価方法を表示する第１ユーザインタフェースと、
前記評価方法に基づいて得られた前記主観評価試験に必要な前記試行の総数、前記試行のそれぞれで提示される前記音信号の個数、および前記音信号が提示されてから前記評価者によって前記主観評価結果が入力されるまでの評価時間、を含む試験条件を表示する第２ユーザインタフェースと、
少なくとも、前記試験条件、前記音信号それぞれの提示時間、前記評価者の前記評価室への１回の入退室に要する入退室所要時間、および前記評価者の前記評価室外での１回の休憩に要する休憩時間に基づいて得られた、前記主観評価試験の実施に必要な総実施時間、試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを表示する第３ユーザインタフェースと、
を有する評価試験計画装置。 - ｉが２以上の整数であり、
評価対象となるｉ個の音信号を提示する音信号提示部と、
前記ｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力を受け付ける入力部と、
前記ｉ−１個の音信号に対する主観評価結果を用い、前記ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定する評価設定部と、
を有する主観評価装置。 - 請求項９の主観評価装置であって、
前記入力部は、前記ｉ個の音信号のうち主観評価の低いｉ−１個の音信号に対する主観評価結果の入力を受け、
前記評価設定部は、前記ｉ個の音信号のうち、最も主観評価の高い１個の音信号に対する主観評価結果を自動的に設定する、主観評価装置。 - 評価室内で評価者に音信号を提示し、前記音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための評価試験計画装置の評価試験計画方法であって、
前記評価試験計画装置の条件設定部が、前記主観評価試験で用いられる評価方法に基づいて、前記主観評価試験に必要な前記試行の総数、前記試行のそれぞれで提示される前記音信号の個数、および前記音信号が提示されてから前記評価者によって前記主観評価結果が入力されるまでの評価時間、を含む試験条件を得るステップと、
前記評価試験計画装置の結果取得部が、少なくとも、前記試験条件、前記音信号それぞれの提示時間、前記評価者の前記評価室への１回の入退室に要する入退室所要時間、および前記評価者の前記評価室外での１回の休憩に要する休憩時間に基づいて、前記主観評価試験の実施に必要な総実施時間、試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを得るステップと、
を有する評価試験計画方法。 - 評価室内で評価者に音信号を提示し、前記音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための評価試験計画方法であって、
第１ユーザインタフェースに前記主観評価試験で用いられる評価方法が入力されるとともに、入力された評価方法を前記第１ユーザインタフェースに表示するステップと、
前記評価方法に基づいて得られた前記主観評価試験に必要な前記試行の総数、前記試行のそれぞれで提示される前記音信号の個数、および前記音信号が提示されてから前記評価者によって前記主観評価結果が入力されるまでの評価時間、を含む試験条件を第２ユーザインタフェースに表示するステップと、
少なくとも、前記試験条件、前記音信号それぞれの提示時間、前記評価者の前記評価室への１回の入退室に要する入退室所要時間、および前記評価者の前記評価室外での１回の休憩に要する休憩時間に基づいて得られた、前記主観評価試験の実施に必要な総実施時間、試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを第３ユーザインタフェースに表示するステップと、
を有する評価試験計画方法。 - 主観評価装置の主観評価方法であって、
ｉが２以上の整数であり、
前記主観評価装置の音信号提示部が、評価対象となるｉ個の音信号を提示するステップと、
前記主観評価装置の入力部が、前記ｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力を受け付けるステップと、
前記主観評価装置の評価設定部が、前記ｉ−１個の音信号に対する主観評価結果を用い、前記ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定するステップと、
を有する主観評価方法。 - 請求項１から８の何れかの評価試験計画装置としてコンピュータを機能させるためのプログラム。
- 請求項９または１０の主観評価装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016200560A JP6434470B2 (ja) | 2016-10-12 | 2016-10-12 | 評価試験計画装置、主観評価装置、それらの方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016200560A JP6434470B2 (ja) | 2016-10-12 | 2016-10-12 | 評価試験計画装置、主観評価装置、それらの方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018063135A JP2018063135A (ja) | 2018-04-19 |
| JP6434470B2 true JP6434470B2 (ja) | 2018-12-05 |
Family
ID=61967774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016200560A Active JP6434470B2 (ja) | 2016-10-12 | 2016-10-12 | 評価試験計画装置、主観評価装置、それらの方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6434470B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215469A (zh) * | 2020-09-15 | 2021-01-12 | 中国第一汽车股份有限公司 | 一种汽车按键类开关声音设计方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2953238B2 (ja) * | 1993-02-09 | 1999-09-27 | 日本電気株式会社 | 音質主観評価予測方式 |
| JP5244434B2 (ja) * | 2008-03-27 | 2013-07-24 | 東芝テック株式会社 | 音評価方法、音評価装置および音評価プログラム |
| JP2011186143A (ja) * | 2010-03-08 | 2011-09-22 | Hitachi Ltd | ユーザ挙動を学習する音声合成装置、音声合成方法およびそのためのプログラム |
| JP6163468B2 (ja) * | 2014-08-25 | 2017-07-12 | 日本電信電話株式会社 | 音響品質評価装置、音響品質評価方法、およびプログラム |
| JP6126053B2 (ja) * | 2014-08-25 | 2017-05-10 | 日本電信電話株式会社 | 音響品質評価装置、音響品質評価方法、およびプログラム |
-
2016
- 2016-10-12 JP JP2016200560A patent/JP6434470B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018063135A (ja) | 2018-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wetzel et al. | Stress management training for surgeons—a randomized, controlled, intervention study | |
| Mishara et al. | Comparison of the effects of telephone suicide prevention help by volunteers and professional paid staff: Results from studies in the USA and Q uebec, C anada | |
| Reiss | A meta-analysis of high resolution audio perceptual evaluation | |
| Glymour | Probability and the explanatory virtues | |
| Doherty et al. | The cooking task: making a meal of executive functions | |
| CN110674267A (zh) | 基于问答交互方式的信息审核方法以及装置 | |
| Petticrew | Public health evaluation: epistemological challenges to evidence production and use | |
| Khilnani et al. | Structured oral examination in pharmacology for undergraduate medical students: Factors influencing its implementation | |
| De Bakker et al. | The communicative effect of risk identification on project success | |
| De Silva et al. | Using Theory of Change in the development, implementation and evaluation of complex health interventions | |
| JP6434470B2 (ja) | 評価試験計画装置、主観評価装置、それらの方法、およびプログラム | |
| Morris et al. | A standardized approach to bereavement risk-screening: a quality improvement project | |
| Raviselvam et al. | Demographic factors and their influence on designer creativity and empathy evoked through user extreme conditions | |
| Callanan et al. | Can gpt models be financial analysts? an evaluation of chatgpt and gpt-4 on mock cfa exams | |
| Wambaugh et al. | Sound production treatment for acquired apraxia of speech: An examination of dosage in relation to probe performance | |
| Thibodeau et al. | Psychoacoustic performance in children completing Fast ForWord training | |
| Yamin et al. | Comparing cognitive profiles of licensed drivers with mild Alzheimer’s disease and mild dementia with Lewy bodies | |
| Horr et al. | Timing rhythms: Perceived duration increases with a predictable temporal structure of short interval fillers | |
| JP2007102668A (ja) | 統計比較処理装置 | |
| Moreira et al. | Bayesian clinical reasoning: does intuitive estimation of likelihood ratios on an ordinal scale outperform estimation of sensitivities and specificities? | |
| Perry et al. | Out-of-hospital cardiac arrest protocol comparison | |
| KR102296266B1 (ko) | 복수의 과목들 각각에 대한 난이도별 문제 풀이를 기반으로 사용자의 인지 능력 평가 기능을 제공하는 인지 능력 평가 장치 | |
| Reich | COVID-19 Test & Trace Success Determinants: Modeling On A Network | |
| JP2017189381A (ja) | コミュニケーション能力評価支援装置、コミュニケーション能力評価支援システム、コミュニケーション能力評価支援方法及びプログラム | |
| van Zaalen et al. | Clinical success using the audio-visual feedback training for cluttering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6434470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |