JP4524634B2 - 歌声評定装置およびプログラム - Google Patents

歌声評定装置およびプログラム Download PDF

Info

Publication number
JP4524634B2
JP4524634B2 JP2005057183A JP2005057183A JP4524634B2 JP 4524634 B2 JP4524634 B2 JP 4524634B2 JP 2005057183 A JP2005057183 A JP 2005057183A JP 2005057183 A JP2005057183 A JP 2005057183A JP 4524634 B2 JP4524634 B2 JP 4524634B2
Authority
JP
Japan
Prior art keywords
rating
phoneme
singing voice
value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005057183A
Other languages
English (en)
Other versions
JP2006243230A (ja
Inventor
亮 駒木
博章 田川
玲子 山田
秀行 渡辺
宏明 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2005057183A priority Critical patent/JP4524634B2/ja
Publication of JP2006243230A publication Critical patent/JP2006243230A/ja
Application granted granted Critical
Publication of JP4524634B2 publication Critical patent/JP4524634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、歌声を評価する歌声評定装置等に関するものである。
従来の歌声評定装置は、楽曲の進行に同期して、歌唱者の音声信号とリファレンスデータとを比較することにより歌唱の採点を行う。そして、従来の歌声評定装置は、採点結果に基づいて歌詞字幕の文字色を変化させる。これにより、表示されている歌詞のうち、採点された部分が採点結果に応じた表示色となるので、歌唱者は自身の歌唱の巧拙を、一連の歌詞が表示されている一定の期間にわたって判断することが可能となる（例えば、特許文献１参照）。
特開２００４−２３３８７５1公報（第１頁、第１図等）
しかしながら、従来の歌声評定装置においては、発音の良し悪しを考慮した歌声の評価を行うことができなかった。したがって、特に、日本人にとっての英語の曲等、外国語の曲の歌声の評価が不十分であった。また、評価結果の出力について、表示されている歌詞のうち、採点された部分が採点結果に応じた表示色になるだけであるので、歌唱者は、どのように悪いかが分からず、矯正が十分できなかった。
本第一の発明の歌声評定装置は、歌声に関するデータである教師データを１以上格納している教師データ格納部と、歌詞を伴う歌声を受け付ける歌声受付部と、前記歌声受付部が受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出部と、前記音素情報抽出部が抽出した音素情報と前記教師データに基づいて、前記歌声の評定をする評定部と、前記評定部における評定結果を出力する出力部を具備する歌声評定装置である。
かかる構成により、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本第二の発明の歌声評定装置は、第一の発明に対して、前記評定部は、前記歌声受付部が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記１以上のフレーム音声データに基づいて、前記歌声受付部が受け付けた歌声の評定を行う発音評定手段を具備する歌声評定装置である。なお、ここで音素情報抽出部が、歌声受付部が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得ている場合には、再度前記評定部が同じ処理をする必要はない。かかる場合、上記の記載は、二度同じ処理を行うことのように考えられるが、一度だけ当該処理を行う場合も、上記の第二の発明の歌声評定装置に含まれる。
かかる構成により、発音の良し悪しを考慮した歌声の評価ができる。
なお、前記発音評定手段は、前記1以上のフレーム音声データのうちの少なくとも一のフレーム音声データに対する最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した最適状態における確率値を取得する最適状態確率値取得手段と、前記最適状態確率値取得手段が取得した確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備しても良い。
また、前記発音評定手段は、前記1以上のフレーム音声データのうちの少なくとも一の最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した最適状態を有する音韻全体の状態における１以上の確率値を取得する音韻確率値取得手段と、前記音韻確率値取得手段が取得した１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備しても良い。
前記発音評定手段は、前記1以上のフレーム音声データの最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した最適状態の確率値を、発音区間毎に取得する発音区間確率値取得手段と、前記発音区間確率値取得手段が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備しても良い。
前記発音評定手段は、前記1以上のフレーム音声データの最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得手段と、前記発音区間フレーム音韻確率値取得手段が取得した１以上の発音区間毎の１以上の確率値をパラメータとして歌声の評定値を算出する評定値算出手段を具備しても良い。
前記発音評定手段は、前記フレーム音声データに基づいて、特殊な音声が入力されたことを検知する特殊音声検知手段と、前記教師データと前記特殊音声検知手段における検知結果に基づいて、前記歌声受付部が受け付けた歌声の評定を行う評定値算出手段を具備しても良い。
前記特殊音声検知手段は、無音を示すＨＭＭに基づくデータである無音データを格納している無音データ格納手段と、前記歌声および前記無音データに基づいて、無音の区間を検出する無音区間検出手段を具備しても良い。
また、前記特殊音声検知手段は、一の音素の後半部および当該音素の次の音素の前半部の評定値が所定の条件を満たすことを検知し、前記評定値算出手段は、前記特殊音声検知手段が前記所定の条件を満たすことを検知した場合に、少なくとも音素の挿入があった旨を示す評定結果を構成するでも良い。
前記特殊音声検知手段は、一の音素の評定値が所定の条件を満たすことを検知し、前記評定値算出手段は、前記特殊音声検知手段が前記所定の条件を満たすことを検知した場合に、少なくとも音素の置換または欠落があった旨を示す評定結果を構成するでも良い。
また、本第三の発明の歌声評定装置は、第一の発明に対して、前記評定部は、前記音素情報抽出部が抽出した音素情報に対応する音素が出力されたタイミングと、前記教師データを構成する音素の出力タイミングに基づいて、音素の出力タイミングを評定するタイミング評定手段を具備する歌声評定装置である。
かかる構成により、音素のずれを歌声の評価に取り入れることができ、精度の高い歌声の評価ができる。かかる装置は、特に、外国語の歌を練習する場合に、極めて有効である。
また、本第四の発明の歌声評定装置は、第一の発明に対して、前記教師データの周波数に関する情報である教師周波数情報を取得する教師周波数情報取得部と、前記歌声受付部が受け付けた歌声から、周波数に関する情報である歌声周波数情報を取得する歌声周波数情報取得部をさらに具備し、前記評定部は、前記教師周波数情報と前記歌声周波数情報に基づいて、前記歌声の評定をする周波数評定手段を具備する歌声評定装置である。
かかる構成により、音程の正確さ、リズムの正確さが評価できる。
前記周波数評定手段は、所定の時点における周波数の差であって、前記教師周波数情報が示す周波数と前記歌声周波数情報が示す周波数の差を算出する周波数差算出手段と、前記周波数差算出手段が算出した１以上の周波数の差に基づいて、前記歌声の評定をする周波数近似度評定手段を具備しても良い。
前記周波数評定手段は、前記教師周波数情報が示す周波数の変化が所定以上の変化をする時点を示す情報である教師リズム時点情報を取得する教師リズム変化時点情報取得手段と、前記歌声周波数情報が示す周波数の変化が所定以上の変化をする時点を示す情報である歌声リズム時点情報を取得する歌声リズム変化時点情報取得手段と、前記教師リズム時点情報と前記歌声リズム時点情報に基づいて、前記歌声の評定をするリズム評定手段を具備しても良い。
また、本第五の発明の歌声評定装置は、第一の発明に対して、前記教師データの周波数に関する情報である教師周波数情報を取得する教師周波数情報取得部と、前記歌声受付部が受け付けた歌声から、周波数に関する情報である歌声周波数情報を取得する歌声周波数情報取得部とをさらに具備し、前記評定部は、前記歌声受付部が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記１以上のフレーム音声データに基づいて、前記歌声受付部が受け付けた歌声の評定を行う発音評定手段と、前記音素情報抽出部が抽出した音素情報に対応する音素が出力されたタイミングと、前記教師データを構成する音素の出力タイミングに基づいて、音素の出力タイミングを評定するタイミング評定手段と、前記教師周波数情報と前記歌声周波数情報に基づいて、前記歌声の評定をする周波数評定手段を具備する歌声評定装置である。
かかる構成により、音程の正確さ、リズムの正確さ、発音の正確さが評価できる。
また、本第六の発明の歌声評定装置は、第一から第五いずれかの発明に対して、前記出力部は、前記教師データのうちの所定の特徴量と、前記歌声受付部が受け付けた歌声のうちの所定の特徴量と、前記評定部における評定結果を出力する歌声評定装置である。
かかる構成により、歌声の評定結果を適切に学習者に示すことができる。したがって、学習者は、効率的に歌の練習ができる。
また、本第七の発明の歌声評定装置は、第一から第五の発明に対して、前記出力部は、前記発音評定手段の評定結果、または／および前記タイミング評定手段の評定結果、または／および前記周波数評定手段の評定結果を出力する歌声評定装置である。
かかる構成により、歌声の評定結果を適切に学習者に示すことができる。したがって、学習者は、効率的に歌の練習ができる。
また、本第八の発明の歌声評定装置は、第一から第五いずれかの発明に対して、評定の基準になる情報である基準情報を格納している基準情報格納部をさらに具備し、前記出力部は、前記評定部の評定結果が、前記基準情報に対して所定の関係にあるか否かを判断する矯正出力判断手段と、前記矯正出力判断手段が、前記評定結果と前記基準情報が所定の関係にあると判断した場合に、当該判断の箇所に対応付けて、矯正を促す情報である矯正情報を出力する矯正情報出力手段を具備する歌声評定装置である。
かかる構成により、歌声の評定結果を適切に学習者に示すことができ、かついかなる箇所を矯正すれば良いかを学習者に示すことができる。したがって、学習者は、効率的に歌の練習ができる。
また、本第九の発明の歌声評定装置は、第八の発明に対して、前記矯正情報は、発音誤りを示す情報と正しい発音を示す情報である正常発音情報、または／および音素の出力タイミングのずれを示す情報である音素ずれ情報、または／および周波数のずれを示す情報である周波数ずれ情報を有する歌声評定装置である。
かかる構成により、歌声の評定結果を適切に学習者に示すことができる。したがって、学習者は、効率的に歌の練習ができる。
また、本第十の発明の歌声評定装置は、第一から第九いずれかの発明に対して、歌声評定装置を具備するカラオケ装置である。
かかる構成により、非常に優れたカラオケ装置、特に、外国語の歌を好適に練習できるが提供できる。
本発明による歌声評定装置によれば、発音の良し悪しを考慮した歌声の評価ができる。
以下、歌声評定装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
図１は、本実施の形態における歌声評定装置のブロック図である。
歌声評定装置は、教師データ格納部１０１、基準情報格納部１０２、歌声受付部１０３、教師周波数情報取得部１０４、歌声周波数情報取得部１０５、音素情報抽出部１０６、評定部１０７、出力部１０８を具備する。
音素情報抽出部１０６は、最適状態決定手段１０６１、音素情報取得手段１０６２を具備する。
評定部１０７は、発音評定手段１０７１、タイミング評定手段１０７２、周波数評定手段１０７３を具備する。
発音評定手段１０７１は、最適状態決定手段１０７１１、最適状態確率値取得手段１０７１２、評定値算出手段１０７１３を具備する。
周波数評定手段１０７３は、周波数差算出手段１０７３１、周波数近似度評定手段１０７３２、教師リズム変化時点情報取得手段１０７３３、歌声リズム変化時点情報取得手段１０７３４、リズム評定手段１０７３５を具備する。
出力部１０８は、矯正出力判断手段１０８１、矯正情報出力手段１０８２を具備する。
教師データ格納部１０１は、１以上の教師データを格納している。教師データは、歌声に関するデータである。また、教師データは、受け付けた歌声を評定するために利用される歌声に関するデータである。教師データは、生の模範者の歌声でも良いし、かかる歌声から抽出できる教師周波数情報や音素情報や教師リズム時点情報などでも良い。また、教師データの一部は、例えば、1以上の音韻毎のデータであっても良い。また、教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータを含んでも良い。教師データは、音韻毎の隠れマルコフモデル（ＨＭＭ）を連結したＨＭＭに基づくデータを含むことは好適である。また、教師データは、入力される歌声を構成する音素に対応するＨＭＭを、入力順序に従って連結されているＨＭＭに基づくデータを含むことは好適である。ただし、教師データは、必ずしも、音韻毎のＨＭＭを連結したＨＭＭに基づくデータを含む必要はない。教師データは、全音素のＨＭＭの、単なる集合を含むものであっても良い。また、教師データは、必ずしもＨＭＭに基づくデータを含まなくてもよい。教師データは、単一ガウス分布モデルや、確率モデル（ＧＭＭ：ガウシャンミクスチャモデル）や、統計モデルなど、他のモデルに基づくデータを含むものでも良い。ＨＭＭに基づくデータは、例えば、フレーム毎に、状態識別子と遷移確率の情報を有する。また、ＨＭＭに基づくデータは、例えば、複数の学習対象言語を母国語として話す外国人が発声した２以上のデータから学習した（推定した）モデルでも良い。また、教師データは、模範者の歌声を示す音声データから抽出されたデータであり、周波数に関する情報や、リズムに関する情報や、音素に関する情報などでも良いし、歌声を評価するためのルールを示すデータでも良い。なお、教師データ格納部１０１には、楽譜の情報を示す楽譜情報を格納していても良い。当該楽譜は、学習者が歌う歌の楽譜である。教師データのデータ構造も問わない。教師データ格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。不揮発性の記録媒体でも、揮発性の記録媒体でも良い。
基準情報格納部１０２は、評定の基準になる情報である基準情報を格納している。基準情報は、例えば、矯正のための注意を促す最低点の情報（例えば、５０点）である。また、基準情報は、例えば、周波数のずれを歌唱者に知らせるかどうかの基準となる最低点の情報である。また、基準情報は、例えば、周波数の時間的なずれを歌唱者に知らせるかどうかの基準となる最低点の情報である。また、基準情報は、例えば、発声された音素の時間的なずれを歌唱者に知らせるかどうかの基準となる最低点の情報である。また、基準情報は、例えば、発声された音素の発音誤りを歌唱者に知らせるかどうかの基準となる情報である。基準情報のデータ構造は問わない。基準情報格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。不揮発性の記録媒体でも、揮発性の記録媒体でも良い。
歌声受付部１０３は、歌詞を伴う歌声を受け付ける。歌声とは、学習者が歌った音声のデータである。歌声の受け付けは、マイクからでも良いし、磁気テープやＣＤ−ＲＯＭなどの記録媒体からの読み込みでも良いし、通信手段や放送受信手段を用いても良い。歌声の入力手段は、マイクや、受信手段等、何でも良い。歌声受付部１０３は、マイク等の入力手段のデバイスドライバー等で実現され得る。
教師周波数情報取得部１０４は、教師データ格納部１０１の教師データの周波数に関する情報である教師周波数情報を取得する。教師周波数情報は、歌の進行に応じた適正な周波数の情報の集合であり、例えば、適正な周波数情報列である。教師周波数情報のデータ構造は問わない。教師周波数情報取得部１０４は、公知技術により実現可能であるので、詳細な説明は省略する。なお、教師データ格納部１０１は、教師周波数情報取得部１０４が取得した教師周波数情報を保持していても良い。かかる場合、歌声評定装置は、教師周波数情報取得部１０４を具備する必要はない。教師周波数情報取得部１０４は、通常、ＭＰＵやメモリ等から実現され得る。教師周波数情報取得部１０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
歌声周波数情報取得部１０５は、歌声受付部１０３が受け付けた歌声から、周波数に関する情報である歌声周波数情報を取得する。歌声周波数情報は、歌の進行に応じた周波数の情報の集合であり、例えば、周波数情報列である。歌声周波数情報のデータ構造は問わない。歌声周波数情報取得部１０５は、公知技術により実現可能であるので、詳細な説明は省略する。歌声周波数情報取得部１０５は、通常、ＭＰＵやメモリ等から実現され得る。歌声周波数情報取得部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
音素情報抽出部１０６は、歌声受付部１０３が受け付けた歌声から音素に関する情報である音素情報を抽出する。音素情報とは、音素を特定する情報である。音素情報のデータ構造は問わない。音素情報抽出部１０６は、通常、ＭＰＵやメモリ等から実現され得る。音素情報抽出部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
最適状態決定手段１０６１は、１以上のフレーム音声データのうちの少なくとも一のフレーム音声データに対する最適状態を決定する。最適状態決定手段１０６１の処理は、以下で説明する最適状態決定手段１０７１１と同様である。最適状態決定手段１０６１は、通常、ＭＰＵやメモリ等から実現され得る。最適状態決定手段１０６１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
音素情報取得手段１０６２は、最適状態決定手段１０６１が決定した最適状態に対応する音素の情報を取得する。音素情報取得手段１０６２は、通常、ＭＰＵやメモリ等から実現され得る。音素情報取得手段１０６２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
なお、音素情報抽出部１０６は、例えば、１以上のフレーム音声データのうちの少なくとも一のフレーム音声データに対する音素を決定するが、かかる処理は公知技術であるので詳細な説明は省略する。
評定部１０７は、少なくとも、音素情報抽出部１０６が抽出した音素情報と教師データに基づいて、歌声の評定をする。評定部１０７は、通常、発音評定手段１０７１による発音の良し悪しの評定と、タイミング評定手段１０７２によるリズムの良し悪しの評定と、周波数評定手段１０７３による音程の良し悪しの評定を行う。評定部１０７は、通常、ＭＰＵやメモリ等から実現され得る。評定部１０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
発音評定手段１０７１は、教師データと1以上のフレーム音声データに基づいて、歌声受付部１０３が受け付けた歌声の発音の良し悪しの評定を行う。発音評定手段１０７１における評定方法の具体例は、後述する。発音評定手段１０７１は、通常、ＭＰＵやメモリ等から実現され得る。発音評定手段１０７１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
発音評定手段１０７１を構成している最適状態決定手段１０７１１は、１以上のフレーム音声データのうちの少なくとも一のフレーム音声データに対する最適状態を決定する。最適状態決定手段１０７１１は、例えば、全音韻ＨＭＭから、比較される対象（学習対象）の単語や文章などの音声を構成する1以上の音素に対応するＨＭＭを取得し、当該取得した1以上のＨＭＭを、音素の順序で連結したデータ（比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータ）を構成する。そして、構成した当該データ、および取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。なお、最適状態を決定するアルゴリズムは、例えば、Ｖｉｔｅｒｂｉアルゴリズムである。また、教師データは、上述の比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータと考えても良いし、連結される前のデータであり、全音韻ＨＭＭのデータと考えても良い。
最適状態確率値取得手段１０７１２は、最適状態決定手段１０７１１が決定した最適状態における確率値を取得する。
評定値算出手段１０７１３は、最適状態確率値取得手段１０７１２が取得した確率値をパラメータとして音声の評定値を算出する。評定値算出手段１０７１３は、上記確率値を如何に利用して、評定値を算出するかは問わない。評定値算出手段１０７１３は、例えば、最適状態確率値取得手段１０７１２が取得した確率値と、当該確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出する。評定値算出手段１０７１３は、ここでは、通常、フレームごとに評定値を算出する。
最適状態決定手段１０７１１、最適状態確率値取得手段１０７１２、評定値算出手段１０７１３は、通常、ＭＰＵやメモリ等から実現され得る。最適状態決定手段１０７１１等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
タイミング評定手段１０７２は、受け付けた歌声の音素の出力タイミングの良し悪しを評定する。具体的には、例えば、タイミング評定手段１０７２は、音素情報抽出部１０６が抽出した音素情報に対応する音素が出力されたタイミングと、教師データを構成する音素の出力タイミングに基づいて、音素の出力タイミングを評定する。タイミング評定手段１０７２は、通常、ＭＰＵやメモリ等から実現され得る。タイミング評定手段１０７２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
周波数評定手段１０７３は、教師周波数情報と歌声周波数情報に基づいて、歌声の評定をする。教師周波数情報は、通常、教師周波数情報取得部１０４により取得された情報であるが、予め、教師データ格納部１０１に格納されていても良い。周波数評定手段１０７３は、教師データの周波数に関する情報と評定対象の歌声の周波数に関する情報を比較して、いかなる評定を行っても良い。以下に述べる周波数差算出手段１０７３１、周波数近似度評定手段１０７３２、教師リズム変化時点情報取得手段１０７３３、歌声リズム変化時点情報取得手段１０７３４、およびリズム評定手段１０７３５による周波数評定は、周波数の情報に基づく歌声の評定の一例である。周波数評定手段１０７３は、通常、ＭＰＵやメモリ等から実現され得る。周波数評定手段１０７３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
周波数差算出手段１０７３１は、所定の時点における周波数の差であって、教師周波数情報が示す周波数と歌声周波数情報が示す周波数の差を算出する。周波数差算出手段１０７３１は、通常、所定区間ごとの教師周波数情報が示す周波数と歌声周波数情報が示す周波数の差を算出する。所定区間は、通常、一定区間であるが、一定区間でなくても良い。
周波数近似度評定手段１０７３２は、周波数差算出手段１０７３１が算出した１以上の周波数の差に基づいて、歌声の評定をする。周波数近似度評定手段１０７３２は、例えば、周波数差算出手段１０７３１が算出した周波数の差の累積に基づいて、教師データと歌声の基本周波数のずれのスコアを算出する。
教師リズム変化時点情報取得手段１０７３３は、教師周波数情報が示す周波数の変化が所定以上の変化をする時点を示す情報である教師リズム時点情報を取得する。かかる時点を検出する際の周波数の変化の大きさは、問わない。
歌声リズム変化時点情報取得手段１０７３４は、歌声周波数情報が示す周波数の変化が所定以上の変化をする時点を示す情報である歌声リズム時点情報を取得する。かかる時点を検出する際の周波数の変化の大きさは、問わない。
リズム評定手段１０７３５は、教師リズム時点情報と歌声リズム時点情報に基づいて、歌声の評定をする。リズム評定手段１０７３５は、歌声におけるリズムの良し悪しを評定する。リズム評定手段１０７３５は、教師リズム時点情報と歌声リズム時点情報のずれの総合時間間隔をスコアに反映させる。スコアを算出する演算式は問わない。
周波数差算出手段１０７３１、周波数近似度評定手段１０７３２、教師リズム変化時点情報取得手段１０７３３、歌声リズム変化時点情報取得手段１０７３４、およびリズム評定手段１０７３５は、通常、ＭＰＵやメモリ等から実現され得る。周波数差算出手段１０７３１等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
出力部１０８は、評定部１０７における評定結果を出力する。評定結果の出力態様は、種々考えられ、その出力態様は問わない。出力部１０８は、例えば、教師データのうちの所定の特徴量と、歌声受付部１０３が受け付けた歌声のうちの所定の特徴量と、評定部１０７における評定結果を出力する。特徴量とは、基本周波数や音素や音素の出力タイミングなどである。評定結果とは、教師データと歌声の基本周波数の差に基づく音程の良し悪しを示すスコアや、教師データと歌声の基本周波数の変化の時点のずれ、または／および音素の時間的なずれに基づくリズムの良し悪しを示すスコアや、音素の発音誤り等に基づく発音の良し悪しを示すスコアや、上記１以上のスコアから求められる歌声の総合点や、評定を行った結果に基づく矯正点を示す情報や、所定の点数より低いか高いかを示す情報など、種々考えられる。出力部１０８は、発音評定手段１０７１の評定結果、または／およびタイミング評定手段１０７２の評定結果、または／および周波数評定手段１０７３の評定結果を出力することが好適である。また、出力部１０８は、楽譜情報などの他の情報を出力しても良い。出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信等を含む概念である。出力部１０８は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１０８は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
矯正出力判断手段１０８１は、評定部１０７の評定結果が、基準情報格納部１０２の基準情報に対して所定の関係にあるか否かを判断する。所定の関係にあることは、歌声の矯正のための情報を出力する必要があることである。ここで、「歌声の矯正のため」とは、単に注意を喚起するため、単に良くないことを示すため、といった意味も含む。矯正出力判断手段１０８１は、通常、ＭＰＵやメモリ等から実現され得る。矯正出力判断手段１０８１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
矯正情報出力手段１０８２は、矯正出力判断手段１０８１が、評定結果と基準情報格納部１０２の基準情報が所定の関係にあると判断した場合に、当該判断の箇所に対応付けて、矯正を促す（注意を喚起するなども含む）情報である矯正情報を出力する。矯正情報は、矯正出力判断手段１０８１が、評定結果と基準情報が所定の関係にあると判断した場合に、当該判断の箇所に対応付けて、矯正を促す情報である。矯正情報は、例えば、発音誤りを示す情報と正しい発音を示す情報である正常発音情報、または／および音素の出力タイミングのずれを示す情報である音素ずれ情報、または／および周波数のずれを示す情報である周波数ずれ情報を有する。矯正情報の具体例は後述する。出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信等を含む概念である。矯正情報出力手段１０８２は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。矯正情報出力手段１０８２は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、歌声評定装置の動作について図２から図１２のフローチャートを用いて説明する。
（ステップＳ２０１）歌声受付部１０３は、歌声を受け付けたか否かを判断する。歌声を受け付ければステップＳ２０２に行き、歌声を受け付けなければステップＳ２１０に飛ぶ。
（ステップＳ２０２）音素情報抽出部１０６は、ステップＳ２０１で受け付けた歌声に含まれる音素を抽出する。音素を抽出する処理については、図３のフローチャートを用いて説明する。
（ステップＳ２０３）歌声周波数情報取得部１０５は、ステップＳ２０１で受け付けた歌声から、周波数に関する情報である歌声周波数情報を取得する。
（ステップＳ２０４）教師周波数情報取得部１０４は、ステップＳ２０１で受け付けた歌声に対応する教師データの周波数に関する情報である教師周波数情報を取得する。なお、教師データは、教師データ格納部１０１に格納されている。
（ステップＳ２０５）周波数評定手段１０７３は、教師周波数情報と歌声周波数情報に基づいて、両者の周波数のずれを検出し、当該ずれに基づいて両者の周波数のずれを評定する。かかる周波数のずれ評定の処理について、図４のフローチャートを用いて説明する。
（ステップＳ２０６）周波数評定手段１０７３は、教師周波数情報と歌声周波数情報に基づいて、両者の周波数の時間的なずれを検出し、当該ずれに基づいて両者の周波数の時間ずれを評定する。かかる周波数の時間ずれ評定の処理について、図５のフローチャートを用いて説明する。
（ステップＳ２０７）タイミング評定手段１０７２は、受け付けた歌声の音素の出力タイミングの良し悪しを評定する。かかる音素の時間的ずれの評定の処理について、図６のフローチャートを用いて説明する。
（ステップＳ２０８）発音評定手段１０７１は、教師データと1以上のフレーム音声データに基づいて、ステップＳ２０１で受け付けた歌声の発音誤りの評定を行う。発音誤りの評定処理について、図７のフローチャートを用いて説明する。
（ステップＳ２０９）出力部１０８は、評定部１０７における評定結果を出力する。かかる出力処理について、図８のフローチャートを用いて説明する。ステップＳ２０１に戻る。
（ステップＳ２１０）評定部１０７は、評定する歌声が終了であるか否かを判断する。評定する歌声が終了であるか否かは、例えば、対象となる教師データの最後のフレーム（小節）まで使用し、評定を行ったか否かにより判断される。なお、評定する歌声が終了であるか否かの判断方法は、問わない。評定する歌声が終了であると判断した場合はステップＳ２１１に行き、評定する歌声が終了でないと判断した場合はステップＳ２０１に戻る。
（ステップＳ２１１）評定部１０７は、ステップＳ２０５からステップＳ２０８における評定結果に基づいて、総合スコアを算出する。総合スコアの算出方法は問わない。総合スコアの算出方法の具体例は後述する。
（ステップＳ２１２）出力部１０８は、ステップＳ２１１で算出した総合スコアを出力する。処理を終了する。
なお、図２のフローチャートにおいて、ステップＳ２０５からステップＳ２０８における評定処理のうちすべての評定処理を行わず、１以上の評定処理を組合すだけでも良い。
次に、歌声評定装置の音素情報抽出動作について図３のフローチャートを用いて説明する。
（ステップＳ３０１）音素情報抽出部１０６は、歌声受付部１０３が受け付けた歌声を、フレームに区分する。
（ステップＳ３０２）音素情報抽出部１０６は、カウンタｉに１を代入する。
（ステップＳ３０３）音素情報抽出部１０６は、i番目のフレームが存在するか否かを判断する。i番目のフレームが存在すればステップＳ３０４に行き、i番目のフレームが存在しなければ上位関数にリターンする。
（ステップＳ３０４）音素情報抽出部１０６は、i番目のフレームの音声データであるフレーム音声データを得る。
（ステップＳ３０５）最適状態決定手段１０６１は、i番目のフレーム音声データの最適状態を決定し、音素情報取得手段１０６２は当該最適状態に対応する音素を取得する。
（ステップＳ３０６）音素情報取得手段１０６２は、ステップＳ３０５で取得した音素が、直前のフレーム音声データの音素と同じであるか否かを判断する。同じであればステップＳ３０７に行き、異なればステップＳ３０６に行く
（ステップＳ３０７）音素情報取得手段１０６２は、当該音素の情報を一時蓄積する。また、音素情報取得手段１０６２は、i番目のフレーム音声データの音素の開始時点（ｔ）をも蓄積する。
（ステップＳ３０８）音素情報抽出部１０６は、カウンタｉを１、インクリメントする。ステップＳ３０３に戻る。
なお、図３のフローチャートにおいて、フレーム区分等の処理が、既に完了している場合には、それに対応する処理は省略できることは言うまでもない。
次に、歌声評定装置の周波数ずれ評定の動作について図４のフローチャートを用いて説明する。
（ステップＳ４０１）教師周波数情報取得部１０４は、評定の対象の歌声に対応する教師データを決定する。
（ステップＳ４０２）教師周波数情報取得部１０４は、ステップＳ４０１で決定した教師データの周波数に関する情報である教師周波数情報を取得する。
（ステップＳ４０３）周波数差算出手段１０７３１は、評価対象の区間の歌声の時間長を、当該歌声に対応する教師データの時間長に正規化する。
（ステップＳ４０４）周波数差算出手段１０７３１は、カウンタｉに１を代入する。
（ステップＳ４０５）周波数差算出手段１０７３１は、評価対象の区間の歌声の中に、ｉ番目のフレームが存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ４０６に行き、ｉ番目のフレームが存在しなければ上位関数にリターンする。
（ステップＳ４０６）周波数差算出手段１０７３１は、教師周波数情報の中のｉ番目のフレームに対応する周波数と、歌声の中のｉ番目のフレームに対応する周波数を取得し、両周波数の差（距離）を算出する。
（ステップＳ４０７）周波数差算出手段１０７３１は、ステップＳ４０６で算出した距離を一時蓄積する。
（ステップＳ４０８）周波数差算出手段１０７３１は、カウンタｉを１、インクリメントする。ステップＳ４０５に戻る。
次に、歌声評定装置の周波数の時間ずれ評定の動作について図５のフローチャートを用いて説明する。
（ステップＳ５０１）周波数評定手段１０７３は、カウンタｉに１を代入する。
（ステップＳ５０２）周波数評定手段１０７３は、教師データの対象区間のｉ番目のフレームが存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ５０３に行き、ｉ番目のフレームが存在しなければステップＳ５０７に行く。
（ステップＳ５０３）周波数評定手段１０７３は、教師データの対象区間のｉ番目のフレームが有声の区間であるか否かを判断する。ｉ番目のフレームが有声の区間であればステップＳ５０４に行き、ｉ番目のフレームが有声の区間でなければステップＳ５０６に行く。
（ステップＳ５０４）周波数評定手段１０７３は、教師データのｉ番目のフレームの周波数の値の対数を算出する。対数とは、「ｌｏｇ（周波数）」である。
（ステップＳ５０５）周波数評定手段１０７３は、ステップＳ５０４で算出した周波数の値の対数を一時蓄積する。
（ステップＳ５０６）周波数評定手段１０７３は、カウンタｉを１、インクリメントする。ステップＳ５０２に戻る。
（ステップＳ５０７）周波数評定手段１０７３は、カウンタｉに１を代入する。
（ステップＳ５０８）周波数評定手段１０７３は、歌声の対象区間のｉ番目のフレームが存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ５０９に行き、ｉ番目のフレームが存在しなければステップＳ５１３に行く。
（ステップＳ５０９）周波数評定手段１０７３は、歌声の対象区間のｉ番目のフレームが有声の区間であるか否かを判断する。ｉ番目のフレームが有声の区間であればステップＳ５１０に行き、ｉ番目のフレームが有声の区間でなければステップＳ５１２に行く。
（ステップＳ５１０）周波数評定手段１０７３は、歌声のｉ番目のフレームの周波数の値の対数を算出する。
（ステップＳ５１１）周波数評定手段１０７３は、ステップＳ５１０で算出した周波数の値の対数を一時蓄積する。
（ステップＳ５１２）周波数評定手段１０７３は、カウンタｉを１、インクリメントする。ステップＳ５０８に戻る。
（ステップＳ５１３）周波数評定手段１０７３は、教師データの対象区間の平均対数Ｆ０値を算出する。教師データの平均対数Ｆ０値は、ステップＳ５０４で算出した値の平均値である。また、周波数評定手段１０７３は、歌声の対象区間の平均対数Ｆ０値を算出する。歌声の平均対数Ｆ０値は、ステップＳ５１０で算出した値の平均値である。
（ステップＳ５１４）周波数評定手段１０７３は、教師データの平均対数Ｆ０値と歌声の対象区間の平均対数Ｆ０値の差を算出する。
（ステップＳ５１５）周波数評定手段１０７３は、ステップＳ５１４で算出した差に基づいて、歌声の周波数を正規化する。ここでの周波数の正規化は、歌声の発声のタイミングのずれを評定するための処理であり、両者の音の高低を合わせるための処理である。
（ステップＳ５１６）周波数評定手段１０７３は、カウンタｉに１を代入する。
（ステップＳ５１７）周波数評定手段１０７３は、対象の区間に、ｉ番目のフレームが存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ５１８に行き、ｉ番目のフレームが存在しなければ上位関数にリターンする。
（ステップＳ５１８）周波数評定手段１０７３は、ｉ番目のフレームの教師データは有声であるか否かを判断する。有声であればステップＳ５１９に行き、有声でなければステップＳ５２４に行く。
（ステップＳ５１９）周波数評定手段１０７３は、ｉ番目のフレームの歌声は有声であるか否かを判断する。有声であればステップＳ５２０に行き、有声でなければステップＳ５２３に行く。
（ステップＳ５２０）周波数評定手段１０７３は、ｉ番目のフレームの両者の周波数の差を算出する。
（ステップＳ５２１）周波数評定手段１０７３は、ステップＳ５２０で算出した周波数の差を一時蓄積する。
（ステップＳ５２２）周波数評定手段１０７３は、カウンタｉを１、インクリメントする。ステップＳ５１７に戻る。
（ステップＳ５２３）周波数評定手段１０７３は、周波数の差として、「Ｘ１」を代入する。「Ｘ１」は、所定の値で、通常、かなり大きな値である。つまり、「Ｘ１」が大きい値であれば、教師データが有声で、歌声が無声である区間について、周波数の時間的ずれが多大であると評価することとなる。ステップＳ５２１に行く。
（ステップＳ５２４）周波数評定手段１０７３は、ｉ番目のフレームの歌声は有声であるか否かを判断する。有声であればステップＳ５２５に行き、有声でなければステップＳ５２６に行く。
（ステップＳ５２５）周波数評定手段１０７３は、周波数の差として、「Ｘ２」を代入する。「Ｘ２」は、所定の値で、通常、かなり大きな値である。つまり、「Ｘ２」が大きい値であれば、教師データが無声で、歌声が有声である区間について、周波数の時間的ずれが多大であると評価することとなる。ステップＳ５２１に行く。
（ステップＳ５２６）周波数評定手段１０７３は、周波数の差を「０」とする。ステップＳ５２１に行く。
なお、図５のフローチャートにおいて、周波数の時間ずれ評定のアルゴリズムの一例を示した。他の周波数の時間ずれ評定のアルゴリズムとして、以下のアルゴリズムがある。つまり、教師リズム変化時点情報取得手段１０７３３が、教師周波数情報が示す周波数の変化が所定以上の変化をする時点を示す情報である教師リズム時点情報を取得する。次に、歌声リズム変化時点情報取得手段１０７３４は、歌声周波数情報が示す周波数の変化が所定以上の変化をする時点を示す情報である歌声リズム時点情報を取得する。そして、リズム評定手段１０７３５が、教師リズム時点情報と歌声リズム時点情報に基づいて、歌声の評定をする。リズム評定手段１０７３５は、例えば、教師リズム時点情報が示す時点と歌声リズム時点情報が示す時点の時間的ずれを算出し、その総和を周波数の時間ずれの評定値とする。
次に、歌声評定装置の音素の時間ずれ評定の動作について図６のフローチャートを用いて説明する。
（ステップＳ６０１）タイミング評定手段１０７２は、カウンタｉに１を代入する。
（ステップＳ６０２）タイミング評定手段１０７２は、評定区間の中にｉ番目の音素が存在するか否かを判断する。ｉ番目の音素が存在すればステップＳ６０３に行き、ｉ番目の音素が存在しなければ上位関数にリターンする。
（ステップＳ６０３）タイミング評定手段１０７２は、評定区間の教師データのｉ番目の音素の開始時点を取得する。
（ステップＳ６０４）タイミング評定手段１０７２は、評定区間の歌声のｉ番目の音素の開始時点を取得する。
（ステップＳ６０５）タイミング評定手段１０７２は、ステップＳ６０３で算出した開始時点と、ステップＳ６０４で算出した開始時点の差を算出する。
（ステップＳ６０６）タイミング評定手段１０７２は、ステップＳ６０５で算出した差を一時蓄積する。
（ステップＳ６０７）タイミング評定手段１０７２は、カウンタｉを１、インクリメントする。ステップＳ６０２に戻る。
次に、歌声評定装置の音素の発音誤り評定の動作について図７のフローチャートを用いて説明する。
（ステップＳ７０１）発音評定手段１０７１は、カウンタｉに１を代入する。
（ステップＳ７０２）発音評定手段１０７１は、評定区間の中にｉ番目の音素が存在するか否かを判断する。ｉ番目の音素が存在すればステップＳ７０３に行き、ｉ番目の音素が存在しなければ上位関数にリターンする。
（ステップＳ７０３）最適状態決定手段１０７１１は、ｉ番目の音素を構成する１以上のフレーム音声データのうちの少なくとも一のフレーム音声データに対する最適状態を決定する。
（ステップＳ７０４）最適状態確率値取得手段１０７１２は、全フレームの全状態の前向き尤度、および後向き尤度を算出する。最適状態確率値取得手段１０７１２は、例えば、全てのＨＭＭを用いて、フォワード・バックワードアルゴリズムにより、前向き尤度、および後向き尤度を算出する。
（ステップＳ７０５）最適状態確率値取得手段１０７１２は、ステップＳ７０４で取得した前向き尤度、および後向き尤度を用いて、最適状態の確率値（最適状態確率値）を、すべて算出する。
（ステップＳ７０６）評定値算出手段１０７１３は、ステップＳ７０５で算出した1以上の最適状態確率値から、1以上のフレームの音声の評定値を算出する。
（ステップＳ７０７）評定値算出手段１０７１３は、ステップＳ７０６で算出した評定値を一時蓄積する。
（ステップＳ７０８）評定値算出手段１０７１３は、カウンタｉを１、インクリメントする。ステップＳ７０２に戻る。
なお、図７のフローチャートにおいて、最適状態の決定から評定値の算出・蓄積の処理を音素ごとに行った。しかし、音素の発音の評定を行うために、音素ごとに上記処理を行うことは必須ではない。例えば、受け付けたすべての音声に対して、最適状態の決定から評定値の算出・蓄積の処理を順に行っても良い。また、その他の処理手順でも良い。
次に、歌声評定装置の出力処理の動作について図８のフローチャートを用いて説明する。
（ステップＳ８０１）出力部１０８は、格納している楽譜情報の中の対象区間の楽譜情報を読み出す。
（ステップＳ８０２）出力部１０８は、ステップＳ８０１で読み出した楽譜情報を出力する。
（ステップＳ８０３）出力部１０８は、教師周波数情報取得部１０４が取得した、対象区間の教師周波数情報を出力する。
（ステップＳ８０４）出力部１０８は、歌声周波数情報取得部１０５が取得した、対象区間の歌声周波数情報を出力する。
（ステップＳ８０５）出力部１０８は、カウンタｉに１を代入する。
（ステップＳ８０６）出力部１０８は、ｉ番目の音素が存在するか否かを判断する。ｉ番目の音素が存在すればステップＳ８０７に行き、ｉ番目の音素が存在しなければステップＳ８１０に行く。
（ステップＳ８０７）出力部１０８は、教師データに対応するｉ番目の音素を出力する。
（ステップＳ８０８）出力部１０８は、歌声に対応するｉ番目の正解の音素を出力する。
（ステップＳ８０９）出力部１０８は、カウンタｉを１、インクリメントする。ステップＳ８０６に戻る。
（ステップＳ８１０）出力部１０８は、周波数ずれの出力処理を行う。周波数ずれの出力処理について、図９のフローチャートを用いて説明する。
（ステップＳ８１１）出力部１０８は、周波数の時間ずれの出力処理を行う。周波数の時間ずれの出力処理について、図１０のフローチャートを用いて説明する。
（ステップＳ８１２）出力部１０８は、音素の時間ずれの出力処理を行う。音素の時間ずれの出力処理について、図１１のフローチャートを用いて説明する。
（ステップＳ８１３）出力部１０８は、音素の発音誤りの出力処理を行う。発音誤りの出力処理について、図１２のフローチャートを用いて説明する。上位関数にリターンする。
次に、歌声評定装置の周波数ずれの出力処理の動作について図９のフローチャートを用いて説明する。
（ステップＳ９０１）矯正出力判断手段１０８１は、カウンタｉに１を代入する。
（ステップＳ９０２）矯正出力判断手段１０８１は、ｉ番目の距離のデータ（一時格納されている距離データ）が存在するか否かを判断する。ｉ番目の距離のデータが存在すればステップＳ９０３に行き、ｉ番目の距離のデータが存在しなければ上位関数にリターンする。
（ステップＳ９０３）矯正出力判断手段１０８１は、ｉ番目の距離のデータが示す距離が、所定の距離（矯正を促すべき限界の距離）より大きいか否かを判断する。大きければステップＳ９０４に行き、大きくなければステップＳ９０７に行く。なお、ｉ番目の距離のデータが示す距離が、所定の距離より大きい場合には、以下に示す処理により、周波数のずれの矯正を促す（または、注意を促す）ような表示を行う。
（ステップＳ９０４）矯正情報出力手段１０８２は、出力する図柄を構成する。なお、図柄とは、絵や文字や記号等で構成されており、表示されるものであれば、どのようなものでも良い。矯正情報出力手段１０８２は、ユーザに周波数ずれを示すような図柄を構成する。
（ステップＳ９０５）矯正情報出力手段１０８２は、ステップＳ９０４で構成した図柄の出力位置を決定する。出力位置は、周波数ずれが生じている箇所が分かるような位置である。つまり、ｉ番目のデータに対応するフレームの箇所が分かる位置に、出力位置が決定される。
（ステップＳ９０６）矯正情報出力手段１０８２は、ステップＳ９０４で構成した図柄を、ステップＳ９０５で決定した出力位置に出力する。
（ステップＳ９０７）矯正情報出力手段１０８２は、カウンタｉを１、インクリメントする。
次に、歌声評定装置の周波数時間ずれの出力処理動作について図１０のフローチャートを用いて説明する。
（ステップＳ１００１）矯正出力判断手段１０８１は、カウンタｉに１を代入する。
（ステップＳ１００２）矯正出力判断手段１０８１は、ｉ番目の距離のデータ（一時格納されている距離データ）が存在するか否かを判断する。ｉ番目の距離のデータが存在すればステップＳ１００３に行き、ｉ番目の距離のデータが存在しなければ上位関数にリターンする。
（ステップＳ１００３）矯正出力判断手段１０８１は、ｉ番目の距離のデータが示す距離が、所定の距離（矯正を促すべき限界の距離）より大きいか否かを判断する。大きければステップＳ１００４に行き、大きくなければステップＳ１００７に行く。なお、ｉ番目の距離のデータが示す距離が、所定の距離より大きい場合には、以下に示す処理により、周波数の時間ずれの矯正を促す（または、注意を促す）ような表示を行う。
（ステップＳ１００４）矯正情報出力手段１０８２は、出力する図柄を構成する。なお、図柄とは、絵や文字や記号等で構成されており、表示されるものであれば、どのようなものでも良い。矯正情報出力手段１０８２は、ユーザに周波数の時間ずれを示すような図柄を構成する。
（ステップＳ１００５）矯正情報出力手段１０８２は、ステップＳ１００４で構成した図柄の出力位置を決定する。出力位置は、周波数の時間ずれが生じている箇所が分かるような位置である。つまり、ｉ番目のデータに対応するフレームの箇所が分かる位置に、出力位置が決定される。
（ステップＳ１００６）矯正情報出力手段１０８２は、ステップＳ１００４で構成した図柄を、ステップＳ１００５で決定した出力位置に出力する。
（ステップＳ１００７）矯正情報出力手段１０８２は、カウンタｉを１、インクリメントする。ステップＳ１００２に戻る。
次に、歌声評定装置の音素の時間ずれ出力動作について図１１のフローチャートを用いて説明する。
（ステップＳ１１０１）矯正出力判断手段１０８１は、カウンタｉに１を代入する。
（ステップＳ１１０２）矯正出力判断手段１０８１は、ｉ番目の差のデータ（一時格納されている差のデータ）が存在するか否かを判断する。ｉ番目の差のデータが存在すればステップＳ１１０３に行き、ｉ番目の差のデータが存在しなければ上位関数にリターンする。
（ステップＳ１１０３）矯正出力判断手段１０８１は、ｉ番目の差が、所定の差（矯正を促すべき限界の差）より大きいか否かを判断する。大きければステップＳ１１０４に行き、大きくなければステップＳ１１０７に行く。なお、ｉ番目の差が、所定の差より大きい場合には、以下に示す処理により、音素の時間ずれの矯正を促す（または、注意を促す）ような表示を行う。
（ステップＳ１１０４）矯正情報出力手段１０８２は、出力する図柄を構成する。なお、図柄とは、絵や文字や記号等で構成されており、表示されるものであれば、どのようなものでも良い。矯正情報出力手段１０８２は、ユーザに音素の時間ずれを示すような図柄を構成する。
（ステップＳ１１０５）矯正情報出力手段１０８２は、ステップＳ１１０４で構成した図柄の出力位置を決定する。出力位置は、音素の時間ずれが生じている箇所が分かるような位置である。つまり、ｉ番目の音素に対応するフレームの箇所が分かる位置に、出力位置が決定される。
（ステップＳ１１０６）矯正情報出力手段１０８２は、ステップＳ１１０４で構成した図柄を、ステップＳ１１０５で決定した出力位置に出力する。
（ステップＳ１１０７）矯正情報出力手段１０８２は、カウンタｉを１、インクリメントする。ステップＳ１１０２に戻る。
次に、歌声評定装置の発音誤りの出力処理動作について図１２のフローチャートを用いて説明する。
（ステップＳ１２０１）矯正出力判断手段１０８１は、カウンタｉに１を代入する。
（ステップＳ１２０２）矯正出力判断手段１０８１は、発音の良し悪しの評定値の中に、ｉ番目の評定値が存在するか否かを判断する。ｉ番目の評定値が存在すればステップＳ１２０３に行き、ｉ番目の評定値が存在しなければ上位関数にリターンする。
（ステップＳ１２０３）矯正出力判断手段１０８１は、ｉ番目の評定値が、所定の値より小さいか否かを判断する。小さければステップＳ１２０４に行き、小さくなければステップＳ１２０８に行く。なお、ｉ番目の評定値が、所定の値より小さくない場合には、以下に示す処理により、矯正を促す（または、注意を促す）ような表示を行う。
（ステップＳ１２０４）矯正情報出力手段１０８２は、学習者が発音した音素を取得する。
（ステップＳ１２０５）矯正情報出力手段１０８２は、ステップＳ１２０４で取得した音素の情報を用いて、出力する図柄を構成する。なお、図柄とは、絵や文字や記号等で構成されており、表示されるものであれば、どのようなものでも良い。矯正情報出力手段１０８２は、ユーザに発音誤りを示すような図柄を構成する。
（ステップＳ１２０６）矯正情報出力手段１０８２は、ステップＳ１２０５で構成した図柄の出力位置を決定する。出力位置は、発音誤りが生じている箇所が分かるような位置である。つまり、ｉ番目のデータに対応する音素の箇所が分かる位置に、出力位置が決定される。
（ステップＳ１２０７）矯正情報出力手段１０８２は、ステップＳ１２０５で構成した図柄を、ステップＳ１２０６で決定した出力位置に出力する。
（ステップＳ１２０８）矯正情報出力手段１０８２は、カウンタｉを１、インクリメントする。ステップＳ１２０２に戻る。
以下、本実施の形態における歌声評定装置の具体的な動作について説明する。まず、本歌声評定装置の具体的な動作の概念について説明する。本歌声評定装置は、学習者が発声した歌詞を伴う楽曲の歌声を、教師が発声した歌声と比較し、音程、リズム、歌詞の発音に着目して評定し、学習者が矯正すべき箇所をわかりやすく可視化して出力し、かつ、学習者の歌声のスコアを出力する装置である。
本歌声評定装置の処理の流れの例の概要を、図１３に示す。なお、図１３は、図２から図１２を用いて説明した歌声評定装置の動作の概念を簡単に示す図である。まず、学習者の音声（１３０１）が入力される。そして、学習者の音声の周波数パターン（Ｆ０パターン）を検出する（１３０２）。次に、学習者の音声の音素を同定し、音素情報を取得する（１３０３）。そして、教師音声として、教師の周波数パターン（Ｆ０パターン）と音素情報が格納されている（１３０４）。そして、学習者のＦ０パターンと教師のＦ０パターンを照合する。また、学習者の音素情報と教師の音素情報を照合する。
そして、Ｆ０のずれを検出し、その結果を可視化する（１３０５）。また、Ｆ０の時間のずれを検出し、その結果を可視化する（１３０６）。また、音素の時間のずれを検出し、可視化する（１３０７）。さらに、音素の発音誤りを検出し、その結果を可視化する（１３０８）。次に、Ｆ０のずれから音程の正確さをスコアで算出する（１３０９）。また、Ｆ０の時間のずれまたは／および音素の時間のずれからリズムの正確さをスコアで算出する（１３１０）。さらに、音素の発音誤りから発音の正確さをスコアで算出する（１３１１）。次に、音程のスコア、リズムのスコア、発音のスコアから学習者の歌声に対するスコアを算出する（１３１２）。さらに、Ｆ０のずれ、Ｆ０の時間のずれ、音素の時間のずれ、音素の発音誤りから矯正すべきポイントを表示する（１３１３）。
次に、本歌声評定装置が周波数のずれを評定することにより、音程の正確さを評価する具体例について説明する。まず、歌声評定装置の教師周波数情報取得部１０４は、評定の対象の歌声に対応する教師データを決定する。ここで、教師周波数情報取得部１０４は、歌声受付部１０３が受け付けた学習者の歌声に対応する教師データの区間を決定する。そして、教師周波数情報取得部１０４は、当該区間の教師周波数情報を取得する。かかる取得した教師周波数情報をグラフで示した図が、図１４（ａ）である。なお、図１４（ａ）において、教師周波数情報取得部１０４は、無声部分の補間も行う、とする。次に、歌声周波数情報取得部１０５は、歌声受付部１０３が受け付けた歌声から、周波数に関する情報である歌声周波数情報を取得する。かかる歌声周波数情報をグラフで示した図が、図１４（ｂ）である。次に、図１４（ｂ）の歌声周波数情報を、教師周波数情報の時間長に正規化する。そして、正規化して時間長が合致した教師周波数情報と歌声周波数情報を重ねたグラフが図１４（ｃ）である。次に、周波数差算出手段１０７３１は、フレームごとに、教師周波数情報の中の各フレームに対応する周波数と、歌声の中の各フレームに対応する周波数を取得し、両周波数の差（距離）を算出する。そして、周波数近似度評定手段１０７３２は、周波数差算出手段１０７３１が算出したフレーム毎の両周波数の差（距離）の平均値を算出する。次に、周波数近似度評定手段１０７３２は、関数ｆ１（平均値）により、０から１００までのスコアの値に換算する。なお、関数ｆ１は問わない。また、スコア算定のパラメータとして平均値を用いたが、他の演算式により音程の正確さを評定しても良い。つまり、音程の正確さを評定するために、両周波数に基づいていれば良い。出力部１０８は、対象区間の音程の正確さのスコアを出力する。例えば、出力部１０８は、図１４（ｄ）に示すような音程の正確さのスコアを出力する。
次に、本歌声評定装置が周波数の時間のずれを評定することにより、リズムの正確さを評価する具体例について説明する。
まず、周波数評定手段１０７３は、教師データの評定対象区間のうちの有声の区間の、フレーム毎の周波数の値の対数を算出する。そして、教師データの周波数の値の対数の平均値（平均対数Ｆ０という。）を算出する。次に、周波数評定手段１０７３は、歌声の評定対象区間の平均対数Ｆ０を算出する。そして、両方の平均対数Ｆ０が同じ値になるように、学習者の歌声の平均対数Ｆ０を正規化する。なお、教師データのＦ０パターンと、正規化後の歌声のＦ０パターンを重ねた図を図１５に示す。次に、周波数評定手段１０７３は、フレームごとに、両周波数の差（距離）を算出する。なお、周波数評定手段１０７３は、教師データと歌声のどちらか一方が有声で、他方が無声であるフレームについては、差が大きくなるように差を算出する。つまり、図５のフローチャートにおいて、「Ｘ１」「Ｘ２」は、通常のずれよりも大きな値を設定しておくことが好適である。そして、周波数評定手段１０７３は、評定対象区間の差の平均値を取得する。次に、関数ｆ２（平均値）により、０から１００までのスコアの値に換算する。なお、関数ｆ２は問わない。そして、例えば、周波数評定手段１０７３は、スコア「７２点」を得る、とする。そして、出力部１０８は、当該スコア「７２点」を出力する。
次に、本歌声評定装置が音素の時間のずれを評定することにより、リズムの正確さを評価する具体例について説明する。
まず、タイミング評定手段１０７２は、教師データの評定対象区間の全音素の開始時点を取得する。次に、タイミング評定手段１０７２は、評定対象区間の歌声の全音素の開始時点を取得する。そして、タイミング評定手段１０７２は、音素ごとの開始時点のずれを算出する。かかるデータを図１６に表で示す。図１６において、音素は「ａ」「ｉ」「ｇ」［ａ］「ｔ」・・・である。そして、タイミング評定手段１０７２は、図１６の「位置のずれ」の値の平均値を算出する。ここで、平均値は「約５．７」である。そして、タイミング評定手段１０７２は、関数ｆ３（平均値）により、０から１００までのスコアの値に換算する。なお、関数ｆ３は問わない。そして、例えば、タイミング評定手段１０７２は、スコア「８４点」を得る、とする。そして、出力部１０８は、当該スコア「８４点」を出力する。
次に、周波数の時間のずれ、および音素の時間のずれの両方が、リズムの正確さに影響する。したがって、評定部１０７は、周波数の時間のずれ、および音素の時間のずれの両方の評定結果を用いて、リズムの正確さを評定することは好適である。具体的には、評定部１０７は、周波数の時間のずれに基づくリズムの正確さの評定結果「７２点」と音素の時間のずれに基づくリズムの正確さの評定結果「８４点」の平均値「７８点」を求める。そして、出力部１０８は、当該スコア「７８点」を出力する。
次に、発音評定手段１０７１が発音の正確さを評定する処理の具体例について説明する。
まず、教師データとして、教師の発声の音韻ＨＭＭを学習しておく、とする。ここで、音韻の種類数をＬとし、ｌ番目の音韻に対するＨＭＭをλｌとする。なお、かかる学習の処理については、公知技術であるので、詳細な説明は省略する。なお、ＨＭＭの仕様の例について、図１７に示す。なお、ＨＭＭの仕様は、他の実施の形態における具体例の説明においても同様である。ただし、ＨＭＭの仕様が、他の仕様でも良いことは言うまでもない。
そして、学習したＬ種類の音韻ＨＭＭから、学習対象の単語や文章などの音声を構成する１以上の音素に対応するＨＭＭを取得し、当該取得した１以上のＨＭＭを、音素の順序で連結した教師データを構成する。そして、当該教師データを教師データ格納部１０１に保持しておく。ここでは、例えば、比較される対象の音声は、単語「ｒｉｇｈｔ」の音声である。
次に、学習者は、学習対象の歌声「ｒｉｇｈｔ」を発音する。そして、歌声受付部１０３は、学習者が発音した音声の入力を受け付ける。
次に、音素情報抽出部１０６は、歌声受付部１０３が受け付けた音声から音素を取得する。つまり、最適状態決定手段１０６１は、歌声受付部１０３が受け付けた音声の各フレームの最適状態を決定し、音素情報取得手段１０６２は、当該最適状態に対応する音素を取得する。
次に、評定部１０７は、歌声受付部１０３が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得る。なお、フレームの間隔は、予め決められている、とする。
そして、最適状態決定手段１０７１１は、区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。なお、Ｔは、系列長である。ここで、特徴ベクトル系列は、各フレームの特徴ベクトルの集合である。また、特徴ベクトルは、例えば、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。また、スペクトル分析において、ケプストラム平均除去を施すことは好適である。なお、音声分析条件を図１８の表に示す。なお、音声分析条件は、他の実施の形態における具体例の説明においても同様である。ただし、音声分析条件が、他の条件でも良いことは言うまでもない。
次に、最適状態決定手段１０７１１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。最適状態決定手段１０７１１が最適状態を決定するアルゴリズムは、例えば、Ｖｉｔｅｒｂｉアルゴリズムによる。かかる場合、最適状態決定手段１０７１１は、上記で連結したＨＭＭを用いて最適状態を決定する。最適状態決定手段１０７１１は、２以上のフレームの最適状態である最適状態系列を求めることとなる。
次に、最適状態確率値取得手段１０７１２は、以下の数式１により、最適状態における最適状態確率値（γｔ（ｑｔ ＊））を算出する。なお、γｔ（ｑｔ ＊）は、状態ｊの事後確率関数γｔ（ｊ）のｊにｑｔ ＊を代入した値である。そして、状態ｊの事後確率関数γｔ（ｊ）は、数式２を用いて算出される。この確率値（γｔ（ｊ））は、ｔ番目の特徴ベクトルｏｔが状態ｊから生成された事後確率であり、動的計画法を用いて算出される。なお、ｊは、状態を識別する状態識別子である。
Figure 0004524634
 数式１において、ｑｔは、ｏｔに対する状態識別子を表す。この確率値（γｔ（ｊ））は、ＨＭＭの最尤推定におけるＢａｕｍ−Ｗｅｌｃｈアルゴリズムの中で表れる占有度数に対応する。
Figure 0004524634
 数式２は、数式１を変形したものである。
数式２において、「αｔ（ｊ）」「βｔ（ｊ）」は、全部のＨＭＭを用いて、ｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムにより算出される。「αｔ（ｊ）」は前向き尤度、「βｔ（ｊ）」は後向き尤度である。Ｂａｕｍ−Ｗｅｌｃｈアルゴリズム、ｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムは、公知のアルゴリズムであるので、詳細な説明は省略する。
また、数式２において、Ｎは、全ＨＭＭに渡る状態の総数を示す。
なお、発音評定手段１０７１は、まず最適状態を求め、次に、最適状態の確率値（なお、確率値は、０以上、１以下である。）を求めても良いし、発音評定手段１０７１は、まず、全状態の確率値を求め、その後、特徴ベクトル系列の各特徴ベクトルに対する最適状態を求め、当該最適状態に対応する確率値を求めても良い。
次に、評定値算出手段１０７１３は、例えば、上記の取得した最適状態確率値と、当該最適状態確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出する。かかる場合、もし学習者のｔフレーム目に対応する発声が、教師データが示す発音に近ければ、数式２の（２）式の分子の値が、他の全ての可能な音韻の全ての状態と比較して大きくなり、結果的に最適状態の確率値（評定値）が大きくなる。逆にその区間が、教師データが示す発音に近くなければ、評定値は小さくなる。なお、どの教師データの発音にも近くないような場合は、評定値はほぼ１／Ｎに等しくなる。Ｎは全ての音韻ＨＭＭにおける全ての状態の数であるから、通常、大きな値となり、この評定値は十分小さくなる。また、ここでは、評定値は最適状態における確率値と全ての可能な状態における確率値との比率で定義されている。したがって、話者性や収音環境の違いにより多少のスペクトルの変動があったとしても、学習者が正しい発音をしていれば、その変動が相殺され評定値が高いスコアを維持する。よって、評定値算出手段１０７１３は、最適状態確率値取得手段１０７１２が取得した確率値と、当該確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出することは、極めて好適である。
かかる評定値算出手段１０７１３が算出した評定値（「ＤＡＰスコア」とも言う。）を、図１９、図２０に示す。図１９、図２０において、横軸は分析フレーム番号、縦軸はスコアを％で表わしたものである。太い破線は音素境界，細い点線は状態境界（いずれもＶｉｔｅｒｂｉアルゴリズムで求まったもの）を表わしており，図の上部に音素名を表記している。図１９は、アメリカ人男性による英語の歌に含まれる「ｒｉｇｈｔ」の発音のＤＡＰスコアを示す。なお、評定値を示すグラフの横軸、縦軸は、後述するグラフにおいても同様である。
図２０は、日本人男性による英語の歌に含まれる「ｒｉｇｈｔ」の発音のＤＡＰスコアを示す。アメリカ人の発音は、日本人の発音と比較して、基本的にスコアが高い。また、図１９において、状態の境界において所々スコアが落ち込んでいることがわかる。
そして、出力部１０８は、評定部１０６の評定結果を出力する。具体的には、例えば、出力部１０８は、図２１に示すような態様で、評定結果を出力する。つまり、出力部１０８は、各フレームにおける発音の良さを表すスコア（スコアグラフ）として、各フレームの評定値を表示する。その他、出力部１０８は、学習対象の単語の表示（単語表示）、音素要素の表示（音素表示）、教師データの波形の表示（教師波形）、学習者の入力した発音の波形の表示（ユーザ波形）を表示しても良い。なお、図２１において、「録音」ボタンを押下すれば、動作開始指示が入力されることとなり、「停止」ボタンを押下すれば、終了指示が入力されることとなる。なお、本歌声評定装置は、学習対象の単語（図２１の「ｗｏｒｄ１」など）や、音素（図２１の「ｐ１」など）や、教師波形を出力されるためのデータを予め格納している、とする。
また、図２１において、フレーム単位以外に、音素単位、単語単位、発声全体の評定結果を表示しても良い。上記の処理において、フレーム単位の評定値を算出するので、単語単位、発声全体の評定結果を得るためには、フレーム単位の１以上の評定値をパラメータとして、単語単位、発声全体の評定値を算出する必要がある。かかる算出式は問わないが、例えば、単語を構成するフレーム単位の１以上の評定値の平均値を単語単位の評定値とする、ことが考えられる。
また、出力部１０８の表示は、図２２に示すような態様でも良い。図２２において、音素ごとのスコア、単語のスコア、総合スコアが、数字で表示されている。
また、評定値算出手段１０７１３が算出したＤＡＰスコアの他の例を図２３に示す。図２３（ａ）は、音素「ａ」「ｉ」「ｇ」「ａ」「ｔ」・・・のＤＡＰスコアの出力結果の例である。そして、評定値算出手段１０７１３は、図２３（ｂ）に示すように、音素ごとの発音の良し悪しをスコアで算出しても良い。また、評定値算出手段１０７１３は、音素ごとのスコアの平均値をかかる区間のスコアとして算出しても良い（図２３（ｃ）参照）。
以上の処理により、歌声評定装置は、音程の正確さ、リズムの正確さ、発音の正確さを評定できた。なお、上記で所定の区間のみの歌声の評定であったが、曲全体の評定は、上記処理の繰り返しにより可能であるので、詳細な説明は省略する。また、曲全体の評定結果は、例えば、区間の評定結果の平均値として算出することができる。
また、音程の正確さ、リズムの正確さ、発音の正確さの各パラメータに対して、重み付けして、学習者の歌声に対するスコアを算出し、出力することは好適である。かかる演算の概念を図２４に示す。つまり、歌声評定装置は、音程の正確さ、リズムの正確さ、発音の正確さの各スコア「６５点」「７８点」「５８点」を算出し、かかる３つの点数に基づいて、総合点「６７点」を算出する。なお、総合点「６７点」は、３つの点数の平均値であるが、音程の正確さ、リズムの正確さ、発音の正確さの各スコアを重み付けして、総合点を算出しても良いことは言うまでもない。
次に、歌声評定装置の出力処理の例について説明する。図２５は、歌声評定装置の出力例を示す図である。歌声評定装置の出力部１０８は、まず、予め格納している楽譜情報を読み出して、楽譜（２５０１）を出力する。つまり、学習者は、楽譜を見ながら、また、図示しない手段により出力されている楽曲を聴きながら、歌を歌うのである。
また、出力部１０８は、教師周波数情報取得部１０４が取得した教師周波数情報に基づいて教師データの基本周波数のＦ０パターン（２５０２）を出力する。また、出力部１０８は、歌声受付部１０３が受け付け、歌声周波数情報取得部１０５が取得した学習者の歌声の基本周波数のＦ０パターン（２５０３）を出力する。
そして、出力部１０８は、教師データの基本周波数のＦ０パターンと、学習者の歌声の基本周波数のＦ０パターンを重ね合わせて、出力する。かかる出力例が２５０４である。そして、重ね合わせたグラフの上に、基本周波数のずれが、所定のずれ以上生じている箇所を視覚的に明示する態様で出力する。つまり、矯正出力判断手段１０８１が、予め決められた値以上の周波数の差があると判断する箇所を検出する。次に、矯正情報出力手段１０８２が当該箇所に対応する学習者のＦ０パターンのグラフの上に、網掛けの長方形を重ねて出力する（図２５の２５０５、２５０６等を参照）。なお、この網掛けの長方形は、上述した図柄であり、周波数の矯正を促すための図柄に該当する。
また、矯正出力判断手段１０８１は、両者の基本周波数の時間のずれが、予め決められ差以上の差が存在する箇所を検出する。そして、矯正情報出力手段１０８２が当該箇所に対応する学習者のＦ０パターンのグラフの上に、網掛けの長方形を重ねて出力する（図２５の２５０７を参照）。なお、図２５において、基本周波数のずれと、基本周波数の時間のずれを同じ表示態様で示したが、異なる表示態様でも良い。また、基本周波数のずれと、基本周波数の時間のずれの両方の値をパラメータとして、一の値を算出し、当該一の値が所定以上のずれを生じている値であると判断した場合に、図２５の２５０６等に示すような表示を行っても良い。なお、この網掛けの長方形は、上述した図柄であり、周波数の時間ずれの矯正を促すための図柄に該当する
また、矯正出力判断手段１０８１は、音素の時間のずれが所定以上のずれの箇所を検出する。例えば、図１６の表において、矯正出力判断手段１０８１は、教師データの音素の開始位置と、歌声から抽出される音素の開始位置のずれが、「１０」フレーム以上である音素を検出する。そして、矯正出力判断手段１０８１は、音素「ｍ」について、音素の時間のずれが所定以上であると検出する。そして、矯正情報出力手段１０８は、出力する図柄を構成する。つまり、矯正情報出力手段１０８は、ここでは、音素「ｍ」を、予め決められた形状「丸」の中に入れ、丸を網掛けにした図柄を構成する。そして、矯正情報出力手段１０８２は、学習者が音素「ｍ」を発声した開始位置あたりの位置の情報を取得する。次に、矯正情報出力手段１０８２は、かかる取得した位置の情報が示す位置に、構成した図柄を出力する。この出力された図柄は、図２５の２５０８である。なお、所定の差（矯正を促すべき限界の差）は「１０」フレームであったが、「１０」フレーム以外でも良いことは言うまでもない。
さらに、矯正出力判断手段１０８１は、音素の発音誤りの度合いが所定以上である音素を検出する。例えば、ここでは、矯正出力判断手段１０８１は、音素のＤＡＰスコアが「５０」以下の音素を抽出する。ここでは、矯正出力判断手段１０８１は、図２３（ｂ）の表より、「ａ」「ｒ」等を抽出する。次に、矯正情報出力手段１０８２は、出力する図柄を構成する。具体的には、例えば、矯正情報出力手段１０８２は、学習者が発声した音素に近い音素「ｏ」を取得する（つまり、学習者は「ａｉｇａｔ」の２つめの「ａ」は、「ａ」ではなく、「ｏ」に近い発音をした）。なお、学習者が発声した音素を決定する処理は公知技術であるので、ここでの詳細な説明は省略する。次に、矯正情報出力手段１０８２は、予め決められた形状（正方形）の中に、音素「ｏ」を入れた図柄を構成する。次に、矯正情報出力手段１０８２は、学習者が「ｏ」を発音した位置の情報を取得する。次に、矯正情報出力手段１０８２は、構成した図柄を、取得した位置の情報が示す位置に出力する。かかる出力例が、２５０９、２５１０等である。２５１０において、学習者は音素「ｒ」を、音素「ｌ」と発音したことを示す。
なお、図２５の２５０９、２５１０は、音素の置換が発生したことを示す。また、図２５において２５１１は音素の挿入が発生したことを示す。かかる音素の置換、挿入、その他、音素の欠落などの発生の検知処理は、実施の形態５以降で説明している。
また、出力部１０８の歌声評定の出力態様は、図２５に限られないことは言うまでもない。
以上、本実施の形態によれば、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本実施の形態における歌声の評定における発音の評定に関して、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、発音の評定に関して、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、発音の評定に関して、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
なお、本実施の形態によれば、出力部１０８の出力態様において、基本周波数のずれ、基本周波数の時間のずれ、音素の時間のずれ、発音誤りの４種類の矯正箇所の出力の例を示したが、必ずしも４種類の矯正箇所を出力する必要はない。また、本実施の形態において、フレームごと、音素ごと、小節等の所定単位で、スコアを表示することは好適である。さらに、本実施の形態において、歌声の総合点を表示することは好適である。
また、本実施の形態の具体例において、各フレームの最適状態を二度、取得したが、重複する処理の行わないようなアルゴリズムで歌声を評定しても良いことは言うまでもない。かかることは、他の実施の形態においても同様である。
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、歌詞を伴う歌声を受け付ける歌声受付ステップと、前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、前記音素情報抽出ステップで抽出した音素情報と教師データに基づいて、前記歌声の評定をする評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。
また、上記プログラムにおいて、前記評定ステップにおいて、歌声受付ステップで受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う発音評定ステップを具備しても良い。
また、上記プログラムにおいて、前記発音評定ステップは、前記1以上のフレーム音声データのうちの少なくとも一のフレーム音声データに対する最適状態を決定する最適状態決定ステップと、前記最適状態決定ステップで決定した最適状態における確率値を取得する最適状態確率値取得ステップと、前記最適状態確率値取得ステップで取得した確率値をパラメータとして音声の評定値を算出する評定値算出ステップを具備しても良い。
また、上記プログラムにおいて、前記評定ステップは、前記音素情報抽出ステップで抽出した音素情報に対応する音素が出力されたタイミングと、前記教師データを構成する音素の出力タイミングに基づいて、音素の出力タイミングを評定するタイミング評定ステップを具備しても良い。
また、上記プログラムにおいて、コンピュータに、前記教師データの周波数に関する情報である教師周波数情報を取得する教師周波数情報取得ステップと、前記歌声受付ステップで受け付けた歌声から、周波数に関する情報である歌声周波数情報を取得する歌声周波数情報取得ステップをさらに実行させ、前記評定ステップは、前記教師周波数情報と前記歌声周波数情報に基づいて、前記歌声の評定をする周波数評定ステップを具備しても良い。
また、上記プログラムにおいて、前記周波数評定ステップは、所定の時点における周波数の差であって、前記教師周波数情報が示す周波数と前記歌声周波数情報が示す周波数の差を算出する周波数差算出ステップと、前記周波数差算出ステップで算出した１以上の周波数の差に基づいて、前記歌声の評定をする周波数近似度評定ステップを具備しても良い。
また、上記プログラムにおいて、前記周波数評定ステップは、前記教師周波数情報が示す周波数の変化が所定以上の変化をする時点を示す情報である教師リズム時点情報を取得する教師リズム変化時点情報取得ステップと、前記歌声周波数情報が示す周波数の変化が所定以上の変化をする時点を示す情報である歌声リズム時点情報を取得する歌声リズム変化時点情報取得ステップと、前記教師リズム時点情報と前記歌声リズム時点情報に基づいて、前記歌声の評定をするリズム評定ステップを具備しても良い。
また、上記プログラムにおいて、コンピュータに、前記教師データの周波数に関する情報である教師周波数情報を取得する教師周波数情報取得ステップと、前記歌声受付部が受け付けた歌声から、周波数に関する情報である歌声周波数情報を取得する歌声周波数情報取得ステップとをさらに実行させ、前記音素情報抽出ステップは、前記歌声受付部が受け付けた歌声を、フレームに区分するフレーム区分ステップと、前記区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得ステップを具備し、前記評定ステップは、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付部が受け付けた歌声の評定を行う発音評定ステップと、前記音素情報抽出部が抽出した音素情報に対応する音素が出力されたタイミングと、前記教師データを構成する音素の出力タイミングに基づいて、音素の出力タイミングを評定するタイミング評定ステップと、前記教師周波数情報と前記歌声周波数情報に基づいて、前記歌声の評定をする周波数評定ステップを具備しても良い。
また、上記プログラムにおいて、前記出力ステップにおいて、前記教師データのうちの所定の特徴量と、前記歌声受付ステップで受け付けた歌声のうちの所定の特徴量と、前記評定ステップにおける評定結果を出力しても良い。
また、上記プログラムにおいて、前記出力ステップにおいて、前記発音評定ステップの評定結果、または／および前記タイミング評定ステップの評定結果、または／および前記周波数評定ステップの評定結果を出力しても良い。
また、上記プログラムにおいて、前記出力ステップにおいて、前記評定ステップの評定結果が、基準情報に対して所定の関係にあるか否かを判断する矯正出力判断ステップと、前記矯正出力判断ステップにおいて、前記評定結果と前記基準情報が所定の関係にあると判断した場合に、当該判断の箇所に対応付けて、矯正を促す情報である矯正情報を出力する矯正情報出力ステップを具備しても良い。
（実施の形態２）
本実施の形態における歌声評定装置は、実施の形態１の歌声評定装置と比較して、評定部を構成する手段であって、発音の評定を行う発音評定手段における評定アルゴリズムが異なる。本実施の形態において、発音評定手段は、各フレームにおける、すべての音韻の中で最適な音韻の事後確率（確率値）を表すように算出される。本実施の形態における歌声評定装置が算出する事後確率を、実施の形態１におけるＤＡＰに対してｐ−ＤＡＰと呼ぶ。
図２６は、本実施の形態における歌声評定装置のブロック図である。本歌声評定装置は、教師データ格納部１０１、基準情報格納部１０２、歌声受付部１０３、教師周波数情報取得部１０４、歌声周波数情報取得部１０５、音素情報抽出部１０６、評定部２６０７、出力部１０８を具備する。
評定部２６０７は、発音評定手段２６０７１、タイミング評定手段１０７２、周波数評定手段１０７３を具備する。
発音評定手段２６０７１は、最適状態決定手段１０７１１、音韻確率値取得手段２６０７１２、評定値算出手段２６０７１３を具備する。
音韻確率値取得手段２６０７１２は、最適状態決定手段１０７１１が決定した最適状態を有する音韻全体の状態における１以上の確率値を取得する。ここで１以上の確率値とは、１つ以上の確率値の意味である。
評定値算出手段２６０７１３は、音韻確率値取得手段２６０７１２が取得した１以上の確率値をパラメータとして音声の評定値を算出する。評定値算出手段２６０７１３は、例えば、音韻確率値取得手段２６０７１２が取得した１以上の確率値の総和をパラメータとして音声の評定値を算出する。
音韻確率値取得手段２６０７１２、および評定値算出手段２６０７１３は、通常、ＭＰＵやメモリ等から実現され得る。音韻確率値取得手段２６０７１２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、歌声評定装置の動作について説明する。なお、本歌声評定装置の動作は、実施の形態１における動作と比較して、音素の発音誤りの評定のアルゴリズムが異なるだけなので、かかる音素の発音誤りの評定処理のアルゴリズムについて、図２７のフローチャートを用いて説明する。図２７のフローチャートにおいて、図７のフローチャートと異なるステップについてのみ説明する。
（ステップＳ２７０１）音韻確率値取得手段２６０７１２は、全フレームの全状態の前向き尤度と後向き尤度を算出する。そして、全フレーム、全状態の確率値を得る。具体的には、音韻確率値取得手段２６０７１２は、例えば、各特徴ベクトルが対象の状態から生成された事後確率を算出する。この事後確率は、ＨＭＭの最尤推定におけるＢａｕｍ−Ｗｅｌｃｈアルゴリズムの中で現れる占有度数に対応する。Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムは、公知のアルゴリズムであるので、説明は省略する。
（ステップＳ２７０２）音韻確率値取得手段２６０７１２は、全フレームの最適状態確率値を算出する。
（ステップＳ２７０３）音韻確率値取得手段２６０７１２は、カウンタｊに１を代入する。
（ステップＳ２７０４）音韻確率値取得手段２６０７１２は、ｊ番目の最適状態が存在するか否かを判断する。ｊ番目の最適状態が存在すればステップＳ２７０５に行き、ｊ番目の最適状態が存在しなければステップＳ２７０９に戻る。
（ステップＳ２７０５）音韻確率値取得手段２６０７１２は、ｊ番目の最適状態を含む音韻全体の確率値をすべて取得する。
（ステップＳ２７０６）評定値算出手段２６０７１３は、ステップＳ２７０５で取得した１以上の確率値に基づいて、音声の評定値を算出する。評定値算出手段２６０７１３は、例えば、音韻確率値取得手段２６０７１２が取得した１以上の確率値の総和をパラメータとして音声の評定値を算出する。
（ステップＳ２７０７）評定値算出手段２６０７１３は、ステップＳ２７０６で算出した評定値を一時蓄積する。
（ステップＳ２７０８）音韻確率値取得手段２６０７１２は、カウンタｊを１、インクリメントする。ステップＳ２７０４に戻る。
（ステップＳ２７０９）音韻確率値取得手段２６０７１２は、カウンタｉを１、インクリメントする。ステップＳ７０２に戻る。
以下、本実施の形態における歌声評定装置の具体的な動作について説明する。本実施の形態において、発音の正確さを評定する評定値の算出アルゴリズムが実施の形態１とは異なるので、その動作を中心に説明する。
まず、学習者が、英語の歌を歌いだす。そして、例えば、歌の中に音声「ｒｉｇｈｔ」があり、学習者は「ｒｉｇｈｔ」を発音した、とする。そして、歌声受付部１０３は、学習者が発音した音声の入力を受け付ける。次に、音素情報抽出部１０６は、歌声受付部１０３が受け付けた音声から音素を取得する。つまり、最適状態決定手段１０６１は、歌声受付部１０３が受け付けた音声の各フレームの最適状態を決定し、音素情報取得手段１０６２は、当該最適状態に対応する音素を取得する。
次に、評定部１０７は、歌声受付部１０３が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得る。そして、最適状態決定手段１０７１１は、区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
次に、音韻確率値取得手段２６０７１２は、各フレームの各状態の事後確率（確率値）を算出する。確率値の算出は、上述した数式１、数式２により算出できる。
次に、最適状態決定手段１０７１１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、各フレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。つまり、最適状態決定手段１０７１１は、最適状態系列を得る。
次に、音韻確率値取得手段２６０７１２は、フレーム毎に、当該フレームに対応する最適状態を含む音韻全体の確率値をすべて取得する。そして、評定値算出手段２６０７１３は、上記取得した１以上の確率値に基づいて、音声の評定値を算出する。具体的には、評定値算出手段２６０７１３は、数式３により評定値を算出する。
Figure 0004524634
 なお、数式３において、Ｐ（ｉ）は、ｉ番目の状態を有しているＨＭＭの持つ全状態の集合を示す。
かかる評定値算出手段２６０７１３が算出した評定値（「ｐ−ＤＡＰスコア」とも言う。）を、図２８、図２９に示す。図２８は、アメリカ人男性による英語「ｒｉｇｈｔ」の発音のｐ−ＤＡＰスコアを示す。図２９は、日本人男性による英語「ｒｉｇｈｔ」の発音のｐ−ＤＡＰスコアを示す。アメリカ人の発音は、日本人の発音と比較して、基本的にスコアが高い。また、図２８において、音素境界でスコアの落ち込みがあるものの、ｐ−ＤＡＰは本来発音の良好なアメリカ人発音に対して，高いスコアをＤＡＰより安定して出力していることがわかる。かかる判断は、図１９のグラフと図２８のグラフを比較して判断できる。また、図２８において、音素／ｒ／のスコアが低いが，この発音を聴いてみたところ／ｒ／の発声が若干不明瞭であった。
そして、出力部１０８は、算出したフレームごとの発音の良し悪しを示す評定値を、順次出力しても良い。かかる出力例は、図２１または図２２である。なお、出力部１０８は、図２８、図２９のようなグラフを出力しても良いことは言うまでもない。
また、評定値算出手段２６０７１３が算出したｐ−ＤＡＰスコアの他の例を図３０に示す。図３０（ａ）は、音素「ａ」「ｉ」「ｇ」［ａ］「ｔ」・・・のｐ−ＤＡＰスコアの出力結果の例である。そして、評定値算出手段２６０７１３は、図３０（ｂ）に示すように、音素ごとの発音の良し悪しをスコアで算出しても良い。また、評定値算出手段２６０７１３は、音素ごとのスコアの平均値をかかる区間のスコアとして算出しても良い（図３０（ｃ）参照）。
以上、本実施の形態によれば、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本実施の形態における歌声の評定における発音評定に関して、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、発音の評定に関して、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、発音の評定に関して、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
また、本実施の形態によれば、歌声の評定における発音評定の評定値を、各フレームにおいて、すべての音韻の中で最適な音韻の事後確率（確率値）を表しており、実施の形態１におけるような状態単位のＤＡＰと比較して、本来、測定したい類似度を精度良く、安定して求めることができる。つまり、実施の形態１において、ＤＡＰは、全ての可能な状態に対する最適状態の事後確率を計算する。そして、総状態数Ｎは、通常、非常に大きくなり、入力音声によっては、評定値（ＤＡＰのスコア）が大きく低下する。つまり、例えば、あるフレームが存在する音韻内の２つの状態の過渡部にそのフレームが対応してしまえば、評定値が小さくなる。一方、音素に対する類似性を求める本実施の形態によれば、教師データの音韻との類似度（状態との類似度ではない）を測ることができ、好適である。
さらに、本実施の形態における歌声評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、歌詞を伴う歌声を受け付ける歌声受付ステップと、前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、前記音素情報抽出ステップで抽出した音素情報と教師データに基づいて、前記歌声の評定をする評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。
また、上記プログラムにおいて、前記評定ステップにおいて、歌声受付ステップで受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う発音評定ステップを具備しても良い。
また、上記プログラムにおいて、前記発音評定ステップは、前記1以上のフレーム音声データのうちの少なくとも一の最適状態を決定する最適状態決定ステップと、前記最適状態決定ステップで決定した最適状態を有する音韻全体の状態における１以上の確率値を取得する音韻確率値取得ステップと、前記音韻確率値取得ステップで取得した１以上の確率値をパラメータとして音声の評定値を算出する評定値算出ステップを具備しても良い。
（実施の形態３）
本実施の形態における歌声評定装置は、実施の形態１、２の歌声評定装置と比較して、評定部を構成する手段であって、発音の評定を行う発音評定手段における評定アルゴリズムが異なる。本実施の形態において、評定値は、発音区間ごとに算出される。本実施の形態における歌声評定装置が算出する事後確率を、実施の形態１におけるＤＡＰに対してｔ−ＤＡＰと呼ぶ。
図３１は、本実施の形態における歌声評定装置のブロック図である。本歌声評定装置は、教師データ格納部１０１、基準情報格納部１０２、歌声受付部１０３、教師周波数情報取得部１０４、歌声周波数情報取得部１０５、音素情報抽出部１０６、評定部３１０７、出力部１０８を具備する。
評定部３１０７は、発音評定手段３１０７１、タイミング評定手段１０７２、周波数評定手段１０７３を具備する。
発音評定手段３１０７１は、最適状態決定手段１０７１１、発音区間確率値取得手段３１０７１２、評定値算出手段３１０７１３を具備する。
発音区間確率値取得手段３１０７１２は、最適状態決定手段１０７１１が決定した最適状態の確率値を、発音区間毎に取得する。ここで、発音区間とは、音韻、音節、単語など、発音の一まとまりを構成する区間である。
評定値算出手段３１０７１３は、発音区間確率値取得手段３１０７１２が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。評定値算出手段３１０７１３は、例えば、発音区間確率値取得手段３１０７１２が取得した各発音区間の１以上の確率値の時間平均値を、発音区間毎に算出し、１以上の時間平均値を得て、当該１以上の時間平均値をパラメータとして音声の評定値を算出する。
発音区間確率値取得手段３１０７１２、および評定値算出手段３１０７１３は、通常、ＭＰＵやメモリ等から実現され得る。発音区間確率値取得手段３１０７１２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、歌声評定装置の動作について説明する。なお、本歌声評定装置の動作は、実施の形態１、２における動作と比較して、音素の発音誤りの評定のアルゴリズムが異なるだけである。かかる音素の発音誤りの評定処理のアルゴリズムについて、図３２のフローチャートを用いて説明する。図３２のフローチャートにおいて、図２７のフローチャートと異なるステップについてのみ説明する。
（ステップＳ３２０１）発音区間確率値取得手段３１０７１２は、ｊに１を代入する。
（ステップＳ３２０２）発音区間確率値取得手段３１０７１２は、次の評定対象の発音区間である、ｊ番目の発音区間が存在するか否かを判断する。ｊ番目の発音区間が存在すればステップＳ３２０３に行き、ｊ番目の発音区間が存在しなければステップＳ２０２に行く。
（ステップＳ３２０３）発音区間確率値取得手段３１０７１２は、ｊ番目の発音区間に対応する１以上の最適状態の確率値をすべて取得する。
（ステップＳ３２０４）評定値算出手段３１０７１３は、ステップＳ３２０３で取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。例えば、ステップＳ３２０３で取得した１以上の確率値の平均値（時間平均値）を算出する。
（ステップＳ３２０５）評定値算出手段３１０７１３は、ステップＳ３２０４で算出した確率値の平均値（評定値）を一時蓄積する。
（ステップＳ３２０６）発音区間確率値取得手段３１０７１２は、カウンタｊを１、インクリメントする。ステップＳ３２０２に戻る。
以下、本実施の形態における歌声評定装置の具体的な動作について説明する。本実施の形態において、発音の正確さを評定する評定値の算出アルゴリズムが実施の形態２とは異なるので、その動作を中心に説明する。
まず、学習者が、英語の歌を歌いだす。そして、例えば、歌の中に音声「ｒｉｇｈｔ」があり、学習者は「ｒｉｇｈｔ」を発音した、とする。そして、歌声受付部１０３は、学習者が発音した音声の入力を受け付ける。次に、音素情報抽出部１０６は、歌声受付部１０３が受け付けた音声から音素を取得する。つまり、最適状態決定手段１０６１は、歌声受付部１０３が受け付けた音声の各フレームの最適状態を決定し、音素情報取得手段１０６２は、当該最適状態に対応する音素を取得する。
次に、評定部１０７は、歌声受付部１０３が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得る。そして、最適状態決定手段１０７１１は、区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
次に、最適状態決定手段１０７１１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、各フレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。つまり、最適状態決定手段１０７１１は、最適状態系列を得る。
次に、発音区間確率値取得手段３１０７１２は、各フレームの各状態の事後確率（確率値）を算出する。なお、確率値の算出は、上述した数式１、数式２により算出できる。
そして、発音区間確率値取得手段３１０７１２は、発音区間に対応する１以上の最適状態の確率値をすべて取得する。そして、評定値算出手段３１０７１３は、取得した１以上の確率値の平均値（時間平均値）を算出する。具体的には、評定値算出手段３１０７１３は、数式４により評定値を算出する。
Figure 0004524634
かかる評定値算出手段３１０７１３が算出した評定値（「ｔ−ＤＡＰスコア」とも言う。）を、図３３の表に示す。図３３において、アメリカ人男性と日本人男性の評定結果を示す。ＰｈｏｎｅｍｅおよびＷｏｒｄは，ｔ−ＤＡＰにおける時間平均の範囲を示す。図３３において、アメリカ人男性の発音の評定値が日本人男性の発音の評定値より高く、良好な評定結果が得られている。
そして、出力部１０８は、算出した発音区間ごと（例えば、音素毎）の評定値を、順次出力する。かかる出力例は、図３４である。
以上、本実施の形態によれば、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本実施の形態における歌声の評定における発音評定に関して、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、発音の評定に関して、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、発音の評定に関して、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
また、本実施の形態によれば、評定値を、発音区間の単位で算出でき、実施の形態１におけるような状態単位のＤＡＰと比較して、本来、測定したい類似度を精度良く、安定して求めることができる。
さらに、本実施の形態における歌声評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、歌詞を伴う歌声を受け付ける歌声受付ステップと、前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、前記音素情報抽出ステップで抽出した音素情報と教師データに基づいて、前記歌声の評定をする評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。
また、上記プログラムの前記評定ステップにおいて、歌声受付ステップで受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う発音評定ステップを具備しても良い。
また、上記プログラムにおいて、前記発音評定ステップは、前記1以上のフレーム音声データの最適状態を決定する最適状態決定ステップと、前記最適状態決定ステップで決定した最適状態の確率値を、発音区間毎に取得する発音区間確率値取得ステップと、前記発音区間確率値取得ステップで取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出ステップを具備しても良い。
（実施の形態４）
本実施の形態における歌声評定装置は、実施の形態１、２、３の歌声評定装置と比較して、評定部を構成する手段であって、発音の評定を行う発音評定手段における評定アルゴリズムが異なる。本実施の形態において、評定値は、最適状態を含む音韻の中の全状態の確率値を発音区間で評価して、算出される。本実施の形態における歌声評定装置が算出する事後確率を、実施の形態１におけるＤＡＰに対してｔ-ｐ−ＤＡＰと呼ぶ。
図３５は、本実施の形態における歌声評定装置のブロック図である。本歌声評定装置は、教師データ格納部１０１、基準情報格納部１０２、歌声受付部１０３、教師周波数情報取得部１０４、歌声周波数情報取得部１０５、音素情報抽出部１０６、評定部３５０７、出力部１０８を具備する。
評定部３５０７は、発音評定手段３５０７１、タイミング評定手段１０７２、周波数評定手段１０７３を具備する。
発音評定手段３５０７１は、最適状態決定手段１０７１１、発音区間フレーム音韻確率値取得手段３５０７１２、評定値算出手段３５０７１３を具備する。
発音区間フレーム音韻確率値取得手段３５０７１２は、最適状態決定手段１０７１１が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する。
評定値算出手段３５０７１３は、発音区間フレーム音韻確率値取得手段３５０７１２が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。評定値算出手段３５０７１３は、例えば、最適状態決定手段１０７１１が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値の総和を、フレーム毎に得て、当該フレーム毎の確率値の総和に基づいて、発音区間毎の確率値の総和の時間平均値を１以上得て、当該１以上の時間平均値をパラメータとして音声の評定値を算出する。
発音区間フレーム音韻確率値取得手段３５０７１２、および評定値算出手段３５０７１３は、通常、ＭＰＵやメモリ等から実現され得る。発音区間フレーム音韻確率値取得手段３５０７１２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、歌声評定装置の動作について説明する。なお、本歌声評定装置の動作は、実施の形態１〜３における動作と比較して、音素の発音誤りの評定のアルゴリズムが異なるだけである。かかる音素の発音誤りの評定処理のアルゴリズムについて、図３６のフローチャートを用いて説明する。図３６のフローチャートにおいて、図２７、図３２等のフローチャートと異なるステップについてのみ説明する。
（ステップＳ３６０１）発音区間フレーム音韻確率値取得手段３５０７１２は、カウンタｋに１を代入する。
（ステップＳ３６０２）発音区間フレーム音韻確率値取得手段３５０７１２は、ｋ番目のフレームが、ｊ番目の発音区間に存在するか否かを判断する。ｋ番目のフレームが存在すればステップＳ３６０３に行き、ｋ番目のフレームが存在しなければステップＳ３６０１１０６に飛ぶ。
（ステップＳ３６０３）発音区間フレーム音韻確率値取得手段３５０７１２は、ｋ番目のフレームの最適状態を含む音韻の全ての確率値を取得する。
（ステップＳ３６０４）評定値算出手段３５０７１３は、ステップＳ３６０３で取得した１以上の確率値をパラメータとして、１フレームの音声の評定値を算出する。
（ステップＳ３６０５）発音区間フレーム音韻確率値取得手段３５０７１２は、ｋを１、インクメントする。ステップＳ３６０２に戻る。
（ステップＳ３６０６）評定値算出手段３５０７１３は、ｊ番目の発音区間の評定値を算出する。評定値算出手段３５０７１３は、例えば、最適状態決定手段１０７１１が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値の総和を、フレーム毎に得て、当該フレーム毎の確率値の総和に基づいて、発音区間の確率値の総和の時間平均値を、当該発音区間の音声の評定値として算出する。
（ステップＳ３６０７）評定値算出手段３５０７１３は、ステップＳ３６０６で算出した評定値を一時蓄積する。
（ステップＳ３６０８）発音区間フレーム音韻確率値取得手段３５０７１２は、ｊを１、インクメントする。ステップＳ３２０２に戻る。
以下、本実施の形態における歌声評定装置の具体的な動作について説明する。本実施の形態において、発音の正確さを評定する評定値の算出アルゴリズムが実施の形態３とは異なるので、その動作を中心に説明する。
まず、学習者が、英語の歌を歌いだす。そして、例えば、歌の中に音声「ｒｉｇｈｔ」があり、学習者は「ｒｉｇｈｔ」を発音した、とする。そして、歌声受付部１０３は、学習者が発音した音声の入力を受け付ける。次に、音素情報抽出部１０６は、歌声受付部１０３が受け付けた音声から音素を取得する。つまり、最適状態決定手段１０６１は、歌声受付部１０３が受け付けた音声の各フレームの最適状態を決定し、音素情報取得手段１０６２は、当該最適状態に対応する音素を取得する。
次に、評定部１０７は、歌声受付部１０３が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得る。そして、最適状態決定手段１０７１１は、区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
次に、発音区間フレーム音韻確率値取得手段３５０７１２は、各フレームの各状態の事後確率（確率値）を算出する。確率値の算出は、上述した数式１、数式２により算出できる。
次に、最適状態決定手段１０７１１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、各フレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。つまり、最適状態決定手段１０７１１は、最適状態系列を得る。なお、各フレームの各状態の事後確率（確率値）を算出と、最適状態の決定の順序は問わない。
次に、発音区間フレーム音韻確率値取得手段３５０７１２は、発音区間ごとに、当該発音区間に含まれる各フレームの最適状態を含む音韻の全ての確率値を取得する。そして、評定値算出手段３５０７１３は、各フレームの最適状態を含む音韻の全ての確率値の総和を、フレーム毎に算出する。そして、評定値算出手段３５０７１３は、フレーム毎に算出された確率値の総和を、発音区間毎に時間平均し、発音区間毎の評定値を算出する。具体的には、評定値算出手段３５０７１３は、数式５により評定値を算出する。
Figure 0004524634
かかる評定値算出手段３５０７１３が算出した評定値（「ｔ−ｐ−ＤＡＰスコア」とも言う。）を、図３７の表に示す。図３７において、アメリカ人男性と日本人男性の評定結果を示す。ＰｈｏｎｅｍｅおよびＷｏｒｄは，ｔ−ｐ−ＤＡＰにおける時間平均の範囲を示す。ここでは、ＤＡＰの代わりにｐ−ＤＡＰの時間平均を採用したものである。図３７において、アメリカ人男性の発音の評定値が日本人男性の発音の評定値より高く、良好な評定結果が得られている。
そして、出力部１０８は、算出した発音区間ごと（ここでは、音素毎）の評定値を、順次出力しても良い。かかる出力例は、図３４である。
以上、本実施の形態によれば、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本実施の形態における歌声の評定における発音評定に関して、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、発音の評定に関して、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、発音の評定に関して、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
また、本実施の形態によれば、評定値を、発音区間の単位で算出でき、実施の形態１におけるような状態単位のＤＡＰと比較して、本来、測定したい類似度（発音区間の類似度）を精度良く、安定して求めることができる。
また、以上の４つの実施の形態で算出した発音の良し悪しを評定した結果である評定値は、図３８において、それぞれ（１）〜（４）の類似度である。つまり、図３８において、縦軸は、音韻毎の隠れマルコフモデル（ＨＭＭ）を、比較対象の音素の順に連結したＨＭＭである。図３８の横軸は、入力音声の特徴ベクトル系列を示す。また、図３８の実線は、最適状態系列である。そして、黒丸の（１）はＤＡＰ、斜線部の（２）はｐ−ＤＡＰ、網掛け部の（３）はｔ−ＤＡＰを示す。ｔ−ｐ−ＤＡＰは、発音区間において、最適状態を含む全音韻の状態の確率値に基づいて算出される。
さらに、本実施の形態における歌声評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、歌詞を伴う歌声を受け付ける歌声受付ステップと、前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、前記音素情報抽出ステップで抽出した音素情報と教師データに基づいて、前記歌声の評定をする評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。
また、上記プログラムの前記評定ステップにおいて、歌声受付ステップで受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う発音評定ステップを具備しても良い。
また、上記プログラムにおいて、前記発音評定ステップは、前記1以上のフレーム音声データの最適状態を決定する最適状態決定ステップと、前記最適状態決定ステップで決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得ステップと、前記発音区間フレーム音韻確率値取得ステップで取得した１以上の発音区間毎の１以上の確率値をパラメータとして歌声の評定値を算出する評定値算出ステップを具備しても良い。
（実施の形態５）
本実施の形態における歌声評定装置は、実施の形態１〜４の歌声評定装置と比較して、評定部を構成する手段であって、発音の評定を行う発音評定手段における評定アルゴリズムが異なる。つまり、本実施の形態において、無音区間を検知し、無音区間を考慮した発音の類似度評定が可能な歌声評定装置である。
図３９は、本実施の形態における歌声評定装置のブロック図である。本歌声評定装置は、教師データ格納部１０１、基準情報格納部１０２、歌声受付部１０３、教師周波数情報取得部１０４、歌声周波数情報取得部１０５、音素情報抽出部１０６、評定部３９０７、出力部１０８を具備する。
評定部３９０７は、発音評定手段３９０７１、タイミング評定手段１０７２、周波数評定手段１０７３を具備する。
発音評定手段３９０７１は、特殊音声検知手段３９０７１１、評定値算出手段３９０７１２、最適状態決定手段１０７１１、最適状態確率値取得手段１０７１２を具備する。
特殊音声検知手段３９０７１１は、無音データ格納手段３９０７１１１、無音区間検出手段３９０７１１２を具備する。
特殊音声検知手段３９０７１１は、フレーム毎の入力音声データに基づいて、特殊な音声が入力されたことを検知する。なお、ここで特殊な音声は、無音も含む。また、特殊音声検知手段３９０７１１は、例えば、フレームの最適状態の確率値を、ある音素区間において取得し、ある音素区間の１以上の確率値の総和が所定の値より低い場合（想定されている音素ではない、と判断できる場合）、当該音素区間において特殊な音声が入力されたと、検知する。かかる検知の具体的なアルゴリズムの例は後述する。特殊音声検知手段３９０７１１は、通常、ＭＰＵやメモリ等から実現され得る。特殊音声検知手段３９０７１１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
無音データ格納手段３９０７１１１は、無音を示すＨＭＭに基づくデータである無音データを格納している。無音データ格納手段３９０７１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
無音区間検出手段３９０７１１２は、歌声受付部１０３が受け付けた歌声および無音データ格納手段３９０７１１１の無音データに基づいて、無音の区間を検出する。無音区間検出手段３９０７１１２は、フレーム音声データ取得手段１０６２が取得したフレーム音声データ、および無音データ格納手段３９０７１１１の無音データに基づいて、無音の区間を検出する。無音区間検出手段３９０７１１２は、フレーム音声データ取得手段１０６２が取得したフレーム音声データと無音データの類似度が所定の値以上である場合に、当該フレーム音声データは無音区間のデータであると判断しても良い。また、無音区間検出手段３９０７１１２は、下記で述べる最適状態確率値取得手段１０７１２が取得した確率値が所定の値以下であり、かつ、フレーム音声データ取得手段１０６２が取得したフレーム音声データと無音データの類似度が所定の値以上である場合に、当該フレーム音声データは無音区間のデータであると判断しても良い。
評定値算出手段３９０７１２は、教師データと特殊音声検知手段３９０７１１における検知結果に基づいて、歌声受付部１０３が受け付けた歌声の評定を行う。評定値算出手段３９０７１２は、例えば、無音区間検出手段３９０７１１２が検出した無音区間を除いて、かつ最適状態確率値取得手段１０７１２が取得した確率値をパラメータとして音声の評定値を算出する。なお、評定値算出手段３９０７１２は、上記確率値を如何に利用して、評定値を算出するかは問わない。評定値算出手段３９０７１２は、例えば、最適状態確率値取得手段１０７１２が取得した確率値と、当該確率値に対応するフレームの全状態における確率値の総和をパラメータとして音声の評定値を算出する。評定値算出手段３９０７１２は、ここでは、通常、無音区間検出手段３９０７１１２が検出した無音区間を除いて、フレームごとに評定値を算出する。なお、評定値算出手段３９０７１２は、かならずしも無音区間を除いて、評定値を算出する必要はない。評定値算出手段３９０７１２は、無音区間の影響を少なくするように評定値を算出しても良い。また、評定値算出手段３９０７１２は、例えば、無音区間検出手段３９０７１１２が検出した音声が無音であり、かつ教師データが有声である部分は、通常の評定値よりも、さらに低い評定値となるように、評定値を算出しても良い。
無音区間検出手段３９０７１１２、評定値算出手段３９０７１２は、通常、ＭＰＵやメモリ等から実現され得る。無音区間検出手段３９０７１１２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、歌声評定装置の動作について説明する。なお、本歌声評定装置の動作は、上記の実施の形態における動作と比較して、音素の発音誤りの評定のアルゴリズムが異なるだけである。かかる音素の発音誤りの評定処理のアルゴリズムについて、図４０のフローチャートを用いて説明する。
（ステップＳ４００１）評定値算出手段３９０７１２は、カウンタｉに１を代入する。
（ステップＳ４００２）評定値算出手段３９０７１２は、ｉ番目のフレームが存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ４００３に行き、ｉ番目のフレームが存在しなければ上位関数にリターンする。
（ステップＳ４００３）評定値算出手段３９０７１２は、歌声の評定対象のフレームのフレーム音声データを取得する。
（ステップＳ４００４）評定値算出手段３９０７１２は、ステップＳ４００３で取得したｉ番目のフレーム音声データに対応する評定値（例えば、ｐ−ＤＡＰスコア）を算出する。なお、ｐ−ＤＡＰスコアの算出方法は、実施の形態２で述べたので、ここでの説明は省略する。
（ステップＳ４００５）特殊音声検知手段３９０７１１は、ステップＳ４００４で算出した値が、所定の値より低いか否かを判断する。所定の値より低ければステップＳ４００６に行き、所定の値より低くなければステップＳ４００９に飛ぶ。
（ステップＳ４００６）無音区間検出手段３９０７１１２は、無音データと全教師データの確率値を取得する。
（ステップＳ４００７）無音区間検出手段３９０７１１２は、ステップＳ４００６で取得した確率値の中で、無音データの確率値が最も高いか否かを判断する。無音データの確率値が最も高ければ（かかる場合、無音の区間であると判断する）ステップＳ４００８に行き、無音データの確率値が最も高くなければステップＳ４００９に行く。
（ステップＳ４００８）無音区間検出手段３９０７１１２は、カウンタｉを１、インクリメントする。ステップＳ４００２に戻る。
（ステップＳ４００９）評定値算出手段３９０７１２は、ステップＳ４００４で算出した評定値を一時蓄積する。ステップＳ４００８に行く。
なお、図４０のフローチャートにおいて、評定値算出手段３９０７１２は、無音区間と判定した区間の評定値は一時蓄積しなかった（無音区間を無視した）が、特殊音声が検知された区間が無音区間である旨を明示したり、無音区間が存在する旨を明示したりする態様で出力しても良い。また、評定値算出手段３９０７１２は、発音区間や、それ以上の単位のスコアを算出する場合に、無音区間の評定値を無視して、スコアを算出しても良いし、無音区間の評定値の影響を、例えば、１／１０にして、発音区間や発音全体のスコアを算出するなどしても良い。発音評定手段３９０７１は、教師データと特殊音声検知手段３９０７１１における検知結果に基づいて、歌声受付部１０３が受け付けた歌声の発音評定を行えばよい。
また、図４０のフローチャートにおいて、特殊音声検知手段３９０７１１は、ｉ番目のフレーム音声データのｐ−ＤＡＰスコアに基づいて特殊音声を検知したが、例えば、ＤＡＰスコアに基づいて特殊音声を検知しても良い。
以下、本実施の形態における歌声評定装置の具体的な動作について説明する。本実施の形態において、発音の正確さを評定する評定値の算出アルゴリズムが上記の実施の形態とは異なるので、その動作を中心に説明する。具体的には、本歌声評定装置は、無音区間を考慮して評定値を算出するので、その処理を中心に説明する。
まず、学習者が、英語の歌を歌いだす。そして、例えば、歌の中に音声「ｒｉｇｈｔ」があり、学習者は「ｒｉｇｈｔ」を発音した、とする。そして、歌声受付部１０３は、学習者が発音した音声の入力を受け付ける。次に、音素情報抽出部１０６は、歌声受付部１０３が受け付けた音声から音素を取得する。つまり、最適状態決定手段１０６１は、歌声受付部１０３が受け付けた音声の各フレームの最適状態を決定し、音素情報取得手段１０６２は、当該最適状態に対応する音素を取得する。
次に、評定部１０７は、歌声受付部１０３が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得る。そして、最適状態決定手段１０７１１は、区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
次に、最適状態決定手段１０７１１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。
次に、最適状態確率値取得手段１０７１２は、上述した数式１、２により、最適状態における確率値を算出する。
次に、評定値算出手段３９０７１２は、例えば、最適状態決定手段１０７１１が決定した最適状態を有する音韻全体の状態における１以上の確率値を取得し、当該１以上の確率値の総和をパラメータとして音声の評定値を算出する。つまり、評定値算出手段３９０７１２は、例えば、ｐ−ＤＡＰスコアをフレーム毎に算出する。
そして、特殊音声検知手段３９０７１１は、算出されたフレームに対応する評定値（ｐ−ＤＡＰスコア）を用いて、特殊な音声が入力されたか否かを判断する。具体的には、特殊音声検知手段３９０７１１は、例えば、評価対象のフレームに対して算出された評定値が、所定の数値より低ければ、特殊な音声が入力された、と判断する。なお、特殊音声検知手段３９０７１１は、一のフレームに対応する評定値が小さいからといって、直ちに特殊な音声が入力された、と判断する必要はない。つまり、特殊音声検知手段３９０７１１は、フレームに対応する評定値が小さいフレームが所定の数以上、連続する場合に、当該連続するフレーム群に対応する区間が特殊な音声が入力された区間と判断しても良い。
特殊音声検知手段３９０７１１が、特殊音声を検知する場合について説明する図を図４１に示す。図４１（ａ）の縦軸は、ｐ−ＤＡＰスコアであり、横軸はフレームを示す。図４１（ａ）において、（Ｖ）は、Ｖｉｔｅｒｂｉアライメントを示す。図４１（ａ）において、網掛けのフレーム群のおけるｐ−ＤＡＰスコアは、所定の値より低く、特殊音声の区間である、と判断される。
次に、特殊な音声が入力された、と判断した場合、無音区間検出手段３９０７１１２は、無音データ格納手段３９０７１１１から無音データを取得し、当該フレーム群の各フレームのＨＭＭと無音データとの類似度を算定し、類似度が所定値以上であれば当該フレーム群に対応する音声データが、無音データであると判断する。図４１（ｂ）は、無音データとの比較の結果、当該無音データとの類似度を示す事後確率の値（「ＡＰスコア」とも言う。）が高いことを示す。その結果、無音区間検出手段３９０７１１２は、当該特殊音声の区間は、無音区間である、と判断する。なお、図４１（ａ）において、網掛けのフレーム群のおけるｐ−ＤＡＰスコアは、所定の値より低く、特殊音声の区間である、と判断され、かつ、無音データとの比較の結果、ＡＰスコアが低い場合には、無音区間ではない、と判断される。そして、かかる区間において、例えば、単に、発音が上手くなく、低い評定値が出力される。なお、図４１（ａ）に示しているように、通常、無音区間は、第一のワード（「ｗｏｒｄ１」）の最終音素の後半部、および第一のワードに続く第二のワード（「ｗｏｒｄ２」）の第一音素の前半部のスコアが低い。
そして、発音評定手段３９０７１は、例えば、出力する評定値から、無音データの区間の評定値を考慮しないように、無視する。
以上、本実施の形態によれば、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本実施の形態における歌声の評定における発音評定に関して、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、発音の評定に関して、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、発音の評定に関して、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
さらに、本実施の形態において、無音区間を考慮して発音の良し悪しを評定するので、極めて正確な歌声の評定結果が得られる。
なお、本実施の形態において、無音区間のデータは、無視して評定結果を算出したが、例えば、無音区間の評価の影響を他の区間と比較して少なくするなど、無視する以外の方法で、無音区間のデータを考慮して、評定値を出力しても良い。
また、本実施の形態の具体例によれば、ｐ−ＤＡＰスコアを用いて、発音の良し悪しに関する評定値を算出したが、無音の区間を考慮して評定値を算出すれば良く、上述した他のアルゴリズム（ＤＡＰ、ｔ−ＤＡＰ、ｔ−ｐ−ＤＡＰ）、または、本明細書では述べていない他のアルゴリズムにより評定値を算出しても良い。つまり、本実施の形態によれば、教師データと特殊音声検知手段における検知結果に基づいて、歌声受付部が受け付けた歌声の評定を行い、特に、無音データを考慮して、評定値を算出すれば良い。
また、本実施の形態によれば、まず、ＤＡＰスコアが低い区間を検出してから、無音区間の検出をした。しかし、ＤＡＰスコアが低い区間を検出せずに、無音データとの比較により、無音区間を検出しても良い。
また、本実施の形態において、無音区間が存在した旨を示す情報を出力することは好適である。
さらに、本実施の形態における歌声評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、歌詞を伴う歌声を受け付ける歌声受付ステップと、前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、前記音素情報抽出ステップで抽出した音素情報と教師データに基づいて、前記歌声の評定をする評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。
また、上記プログラムの前記評定ステップにおいて、歌声受付ステップで受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う発音評定ステップを具備しても良い。
また、上記プログラムにおいて、前記発音評定ステップは、前記フレーム毎の入力音声データに基づいて、特殊な音声が入力されたことを検知する特殊音声検知ステップと、前記教師データと前記特殊音声検知ステップにおける検知結果に基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う評定値算出ステップを具備しても良い。
さらに、上記プログラムにおいて、前記特殊音声検知ステップは、無音を示すＨＭＭに基づくデータである無音データと前記歌声に基づいて、無音の区間を検出する無音区間検出ステップを具備しても良い。
（実施の形態６）
本実施の形態における歌声評定装置は、上記の各実施の形態の歌声評定装置と比較して、評定部を構成する手段であって、発音の評定を行う発音評定手段における評定アルゴリズムが異なる。つまり、本実施の形態において、特殊音声を検知し、比較対象の音声と入力音声の類似度を精度高く評定できる歌声評定装置について説明する。特に、本歌声評定装置は、音韻の挿入を検知し、発音の評定に反映できる歌声評定装置である。
図４２は、本実施の形態における歌声評定装置のブロック図である。本歌声評定装置は、教師データ格納部１０１、基準情報格納部１０２、歌声受付部１０３、教師周波数情報取得部１０４、歌声周波数情報取得部１０５、音素情報抽出部１０６、評定部４２０７、出力部１０８を具備する。
評定部４２０７は、発音評定手段４２０７１、タイミング評定手段１０７２、周波数評定手段１０７３を具備する。
発音評定手段４２０７１は、特殊音声検知手段４２０７１１、評定値算出手段４２０７１２、最適状態決定手段１０７１１、最適状態確率値取得手段１０７１２を具備する。
特殊音声検知手段４２０７１１は、一の音素の後半部および当該音素の次の音素の前半部の評定値が所定の条件を満たすことを検知する。後半部、および前半部の長さは問わない。特殊音声検知手段４２０７１１は、通常、ＭＰＵやメモリ等から実現され得る。特殊音声検知部２４０１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
評定値算出手段４２０７１２は、特殊音声検知手段４２０７１１が所定の条件を満たすことを検知した場合に、少なくとも音素の挿入があった旨を示す評定結果を構成する。なお、評定値算出手段４２０７１２は、実施の形態５で述べたアルゴリズムにより、特殊音声検知手段４２０７１１が所定の条件を満たすことを検知した区間に無音が挿入されたか否かを判断し、無音が挿入されていない場合に、他の音素が挿入されたと検知しても良い。また、評定値算出手段４２０７１２は、無音が挿入されていない場合に、他の音韻ＨＭＭに対する確率値を算出し、所定の値より高い確率値を得た音韻が挿入された、との評定結果を得ても良い。なお、実施の形態５で述べた無音区間の検知は、無音音素の挿入の検知である、とも言える。評定値算出手段４２０７１２は、通常、ＭＰＵやメモリ等から実現され得る。評定値算出手段４２０７１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、歌声評定装置の動作について説明する。なお、本歌声評定装置の動作は、上記の実施の形態における動作と比較して、音素の発音誤りの評定のアルゴリズムが異なるだけである。かかる音素の発音誤りの評定処理のアルゴリズムについて、図４３のフローチャートを用いて説明する。
（ステップＳ４３０１）特殊音声検知手段４２０７１１は、バッファに、所定の値より低い評定値と評価されたフレーム音声データ、または当該フレーム音声データから取得できるデータを一時蓄積する。
（ステップＳ４３０２）特殊音声検知手段４２０７１１は、カウンタｉを１、インクリメントする。ステップＳ４００２に戻る。
（ステップＳ４３０３）特殊音声検知手段４２０７１１は、フレームに対応するデータを一時的に蓄積するバッファにデータが格納されているか否かを判断する。なお、格納されているデータは、ステップＳ４００５で、所定の値より低い評定値と評価されたフレーム音声データ、または当該フレーム音声データから取得できるデータである。データが格納されていればステップＳ４３０６に行き、データが格納されていなければステップＳ４３０４に行く。
（ステップＳ４３０４）評定値算出手段４２０７１２は、ステップＳ４００４で算出した評定値を一時蓄積する。
（ステップＳ４３０５）評定値算出手段４２０７１２は、カウンタｉを１、インクリメントする。ステップＳ４００２に戻る。
（ステップＳ４３０６）特殊音声検知手段４２０７１１は、カウンタｊに１を代入する。
（ステップＳ４３０７）特殊音声検知手段４２０７１１は、ｊ番目のデータが、バッファに存在するか否かを判断する。ｊ番目のデータが存在すればステップＳ４３０８に行き、ｊ番目のデータが存在しなければステップＳ４３１４に飛ぶ。
（ステップＳ４３０８）特殊音声検知手段４２０７１１は、ｊ番目のデータに対応する最適状態の音素を取得する。
（ステップＳ４３０９）特殊音声検知手段４２０７１１は、ｊ番目のデータに対する全教師データの確率値を算出し、最大の確率値を持つ音素を取得する。
（ステップＳ４３１０）特殊音声検知手段４２０７１１は、ステップＳ４３０８で取得した音素とステップＳ４３０９で取得した音素が異なる音素であるか否かを判断する。異なる音素であればステップＳ４３１１に行き、異なる音素でなければステップＳ４３１３に飛ぶ。
（ステップＳ４３１１）評定値算出手段４２０７１２は、音素の挿入があった旨を示す評定結果を構成する。なお、評定値算出手段４２０７１２は、音素の挿入があったことに基づいて、所定の値よりさらに低い評定値を算出しても良い。
（ステップＳ４３１２）特殊音声検知手段４２０７１１は、カウンタｊを１、インクリメントする。ステップＳ４３０７に戻る。
（ステップＳ４３１３）評定値算出手段４２０７１２は、バッファ中の全データに対応する全評定値を一時蓄積する。ここで、全評定値とは、例えば、フレーム毎のｐ−ＤＡＰスコアである。ステップＳ４３１２に行く。
（ステップＳ４３１４）評定値算出手段４２０７１２は、評定結果が、音素の挿入があった旨の評定結果であるか否かを判断する。音素の挿入があった旨の評定結果であればステップＳ４３１５に行き、音素の挿入があった旨の評定結果でなければステップＳ４３１６に行く。
（ステップＳ４３１５）評定値算出手段４２０７１２は、評定結果を出力する。
（ステップＳ４３１６）評定値算出手段４２０７１２は、バッファをクリアする。ステップＳ４３０５に行く。
なお、図４３のフローチャートにおいて、音素の挿入があったと判断した場合、通常のアルゴリズムにおける発音の評定値より、さらに低い評定値として、評定値を算出しても良い。
なお、図４３のフローチャートにおいて、評定値の低いフレームが２つの音素に渡って存在すれば、直ちに音素の挿入があったと判断した。つまり、一の音素の後半部（少なくとも最終フレーム）および当該音素の次の音素の第一フレームの評定値が所定値より低い場合に、音素の挿入があったと判断した。しかし、図４３のフローチャートにおいて、一の音素の所定区間以上の後半部、および当該音素の次の音素の所定区間以上の前半部の評定値が所定値よりすべて低い場合に、音素の挿入があったと判断するようにしても良い。
以下、本実施の形態における歌声評定装置の具体的な動作について説明する。本実施の形態において、発音の正確さを評定する評定値の算出アルゴリズムが上記の実施の形態とは異なるので、その動作を中心に説明する。具体的には、本歌声評定装置は、音素の挿入の検知を行い、かかる音素の挿入を考慮して評定値を算出するので、その処理を中心に説明する。
まず、学習者が、英語の歌を歌いだす。そして、例えば、歌の中に音声「ｒｉｇｈｔ」があり、学習者は「ｒｉｇｈｔ」を発音した、とする。そして、歌声受付部１０３は、学習者が発音した音声の入力を受け付ける。次に、音素情報抽出部１０６は、歌声受付部１０３が受け付けた音声から音素を取得する。つまり、最適状態決定手段１０６１は、歌声受付部１０３が受け付けた音声の各フレームの最適状態を決定し、音素情報取得手段１０６２は、当該最適状態に対応する音素を取得する。
次に、評定部１０７は、歌声受付部１０３が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得る。
そして、最適状態決定手段１０７１１は、区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
次に、最適状態決定手段１０７１１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。
次に、最適状態確率値取得手段１０７１２は、上述した数式１、２により、最適状態における確率値を算出する。
次に、評定値算出手段４２０７１２は、例えば、最適状態決定手段１０７１１が決定した最適状態を有する音韻全体の状態における１以上の確率値を取得し、当該１以上の確率値の総和をパラメータとして音声の評定値を算出する。つまり、評定値算出手段４２０７１２は、例えば、ｐ−ＤＡＰスコアをフレーム毎に算出する。ここで、算出するスコアは、上述したＤＡＰスコア等でも良い。
そして、特殊音声検知手段４２０７１１は、算出されたフレームに対応する評定値を用いて、特殊な音声が入力されたか否かを判断する。つまり、評定値(例えば、ｐ−ＤＡＰスコア)が、所定の値より低い区間が存在するか否かを判断する。
次に、特殊音声検知手段４２０７１１は、図４４に示すように、評定値(例えば、ｐ−ＤＡＰスコア)が、所定の値より低い区間が、２つの音素に跨っているか否かを判断し、２つの音素に跨がっていれば、当該区間に音素が挿入された、と判断する。なお、かかる場合の詳細なアルゴリズムの例は、図４３で説明した。また、図４４において、斜線部が、予期しない音素が挿入された区間である。
次に、評定値算出手段４２０７１２は、音素の挿入があった旨を示す評定結果（例えば、「予期しない音素が挿入されました。」）を構成する。そして、出力部１０８は、構成した評定結果を出力する。図４５は、評定結果の出力例である。なお、出力部１０８は、通常の歌声に対しては、上述したように評定値を出力することが好適である。
以上、本実施の形態によれば、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本実施の形態における歌声の評定における発音評定に関して、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、発音の評定に関して、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、発音の評定に関して、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
さらに、本実施の形態において、特に、予期せぬ音素の挿入を検知できるので、極めて精度の高い発音の良し悪しの評定結果が得られる。
なお、本実施の形態において、音素の挿入を検知できれば良く、発音の良し悪しの評定値の算出アルゴリズムは問わない。発音の良し悪しの評定値の算出アルゴリズムは、上述したアルゴリズム（ＤＡＰ、ｐ−ＤＡＰ、ｔ−ＤＡＰ、ｔ−ｐ−ＤＡＰ）でも良く、または、本明細書では述べていない他のアルゴリズムでも良い。
さらに、本実施の形態における歌声評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、歌詞を伴う歌声を受け付ける歌声受付ステップと、前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、前記音素情報抽出ステップで抽出した音素情報と教師データに基づいて、前記歌声の評定をする評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。
また、上記プログラムの前記評定ステップにおいて、歌声受付ステップで受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う発音評定ステップを具備しても良い。
また、上記プログラムの前記発音評定ステップにおいて、前記フレーム毎の入力音声データに基づいて、特殊な音声が入力されたことを検知する特殊音声検知ステップと、前記教師データと前記特殊音声検知ステップにおける検知結果に基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う評定値算出ステップを具備しても良い。
また、上記プログラムの前記特殊音声検知ステップにおいて、一の音素の後半部および当該音素の次の音素の前半部の評定値が所定の条件を満たすことを検知し、前記評定値算出ステップにおいて、前記特殊音声検知ステップで前記所定の条件を満たすことを検知した場合に、少なくとも音素の挿入があった旨を示す評定結果を構成しても良い。
（実施の形態７）
本実施の形態における歌声評定装置は、上記の各実施の形態の歌声評定装置と比較して、評定部を構成する手段であって、発音の評定を行う発音評定手段における評定アルゴリズムが異なる。つまり、本実施の形態において、特殊音声を検知し、比較対象の音声と入力音声の類似度を精度高く評定できる歌声評定装置について説明する。特に、本歌声評定装置は、音韻の置換を検知し、発音の評定に反映できる歌声評定装置である。
図４６は、本実施の形態における歌声評定装置のブロック図である。本歌声評定装置は、教師データ格納部１０１、基準情報格納部１０２、歌声受付部１０３、教師周波数情報取得部１０４、歌声周波数情報取得部１０５、音素情報抽出部１０６、評定部４６０７、出力部１０８を具備する。
評定部４６０７は、発音評定手段４６０７１、タイミング評定手段１０７２、周波数評定手段１０７３を具備する。
発音評定手段４６０７１は、特殊音声検知手段４６０７１１、評定値算出手段４６０７１２、最適状態決定手段１０７１１、最適状態確率値取得手段１０７１２を具備する。
特殊音声検知手段４６０７１１は、一の音素の評定値が所定の値より低いことを検知する。また、特殊音声検知手段４６０７１１は、一の音素の評定値が所定の値より低く、かつ当該音素の直前の音素および当該音素の直後の音素の評定値が所定の値より高いことをも検知しても良い。また、特殊音声検知手段４６０７１１は、一の音素の評定値が所定の値より低く、かつ、想定していない音素のＨＭＭに基づいて算出された評定値が所定の値より高いことを検知しても良い。つまり、特殊音声検知手段４６０７１１は、所定のアルゴリズムで、音韻の置換を検知できれば良い。そのアルゴリズムは種々考えられる。特殊音声検知手段４６０７１１は、通常、ＭＰＵやメモリ等から実現され得る。特殊音声検知手段４６０７１１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
評定値算出手段４６０７１２は、特殊音声検知手段４６０７１１が所定の条件を満たすことを検知した場合に、少なくとも音素の置換があった旨を示す評定結果を構成する。評定値算出手段４６０７１２は、通常、ＭＰＵやメモリ等から実現され得る。評定値算出手段４６０７１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、歌声評定装置の動作について説明する。なお、本歌声評定装置の動作は、上記の実施の形態における動作と比較して、音素の発音誤りの評定のアルゴリズムが異なるだけである。かかる音素の発音誤りの評定処理のアルゴリズムについて、図４７のフローチャートを用いて説明する。
（ステップＳ４７０１）特殊音声検知手段４６０７１１は、バッファに蓄積されているデータに対応するフレーム音声データ群が一の音素に対応するか否かを判断する。一の音素であればステップＳ４７０２に行き、一の音素でなければステップＳ４７１０に行く。
（ステップＳ４７０２）評定値算出手段４６０７１２は、バッファに蓄積されているデータに対応するフレーム音声データ群の音素の直前の音素の評定値を算出する。かかる評定値は、例えば、上述したｔ−ＤＡＰスコアである。なお、直前の音素とは、現在評定中の音素に対して直前の音素である。音素の区切りは、Ｖｉｔｅｒｂｉアルゴリズムにより算出できる。
（ステップＳ４７０３）特殊音声検知手段４６０７１１は、ステップＳ４７０２で算出した評定値が所定の値以上であるか否かを判断する。所定の値以上であればステップＳ４７０４に行き、所定の値より小さければステップＳ４７１０に行く。
（ステップＳ４７０４）評定値算出手段４６０７１２は、直後の音素の評定値を算出する。かかる評定値は、例えば、上述したｔ−ＤＡＰスコアである。直後の音素とは、現在評定中の音素に対して直後の音素である。
（ステップＳ４７０５）特殊音声検知手段４６０７１１は、ステップＳ４７０４で算出した評定値が所定の値以上であるか否かを判断する。所定の値以上であればステップＳ４７０６に行き、所定の値より小さければステップＳ４７１０に行く。
（ステップＳ４７０６）特殊音声検知手段４６０７１１は、予め格納されている音韻ＨＭＭ（予期する音韻のＨＭＭは除く）の中で、所定の値以上の評定値が得られる音韻ＨＭＭが一つ存在するか否かを判断する。所定の値以上の評定値が得られる音韻ＨＭＭが存在すればステップＳ４７０７に行き、所定の値以上の評定値が得られる音韻ＨＭＭが存在しなければステップＳ４７１０に行く。なお、予め格納されている音韻ＨＭＭは、通常、すべての音韻に対する多数の音韻ＨＭＭである。なお、本ステップにおいて、予め格納されている音韻ＨＭＭの確率値を算出し、最大の確率値を持つ音素を取得し、当該音素と最適状態の音素が異なるか否かを判断し、異なる場合に音素の置換があったと判断しても良い。
（ステップＳ４７０７）評定値算出手段４６０７１２は、音素の置換があった旨を示す評定結果を構成する。
（ステップＳ４７０８）出力部１０８は、ステップＳ４７０７で構成した評定結果を出力する。
（ステップＳ４７０９）評定値算出手段４６０７１２は、バッファをクリアする。ステップＳ４００２に戻る。
（ステップＳ４７１０）評定値算出手段４６０７１２は、バッファ中の全データに対応する全評定値を一時蓄積する。
なお、図４７のフローチャートにおいて、音素の置換があったと判断した場合、通常のアルゴリズムにおける発音の評定値より、さらに低い評定値として、評定値を算出しても良い。
以下、本実施の形態における歌声評定装置の具体的な動作について説明する。本実施の形態において、発音の正確さを評定する評定値の算出アルゴリズムが上記の実施の形態とは異なるので、その動作を中心に説明する。具体的には、本歌声評定装置は、音素の置換の検知を行い、かかる音素の置換を考慮して評定値を算出するので、その処理を中心に説明する。
まず、学習者が、英語の歌を歌いだす。そして、例えば、歌の中に音声「ｒｉｇｈｔ」があり、学習者は「ｒｉｇｈｔ」を発音した、とする。そして、歌声受付部１０３は、学習者が発音した音声の入力を受け付ける。次に、音素情報抽出部１０６は、歌声受付部１０３が受け付けた音声から音素を取得する。つまり、最適状態決定手段１０６１は、歌声受付部１０３が受け付けた音声の各フレームの最適状態を決定し、音素情報取得手段１０６２は、当該最適状態に対応する音素を取得する。
次に、評定部１０７は、歌声受付部１０３が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得る。そして、最適状態決定手段１０７１１は、区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
次に、最適状態決定手段１０７１１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。
次に、最適状態確率値取得手段１０７１２は、上述した数式１、２により、最適状態における確率値を算出する。
次に、評定値算出手段４６０７１２は、例えば、最適状態決定手段１０７１１が決定した最適状態を有する音韻全体の状態における１以上の確率値を取得し、当該１以上の確率値の総和をパラメータとして音声の評定値を算出する。つまり、評定値算出手段４６０７１２は、例えば、ｐ−ＤＡＰスコアをフレーム毎に算出する。ここで、算出するスコアは、上述したＤＡＰスコア等でも良い。
そして、特殊音声検知手段４６０７１１は、算出されたフレームに対応する評定値を用いて、特殊な音声が入力されたか否かを判断する。つまり、評定値(例えば、ｐ−ＤＡＰスコア)が、所定の値より低い区間が存在するか否かを判断する。
次に、特殊音声検知手段４６０７１１は、図４８に示すように、評定値(例えば、ｔ−ＤＡＰスコア)が、所定の値より低い区間が、一つの音素内（ここでは音素２）であるか否かを判断する。そして、一つの音素内で評定値が低ければ、次に、特殊音声検知手段４６０７１１は、直前の音素（音素１）または直後の音素（音素２）に対する評定値（例えば、ｔ−ＤＡＰスコア)を算出し、当該評定値が所定の値より高ければ、音素の置換が発生している可能性があると判断する。次に、特殊音声検知手段４６０７１１は、予め格納されている音韻ＨＭＭ（予期する音韻のＨＭＭは除く）の中で、所定の値以上の評定値が得られる音韻ＨＭＭが一つ存在すれば、音素の置換が発生していると判断する。なお、図４８において、音素２において、音素の置換が発生した区間である。なお、図４８において縦軸は評定値であり、当該評定値は、ＤＡＰ、ｐ−ＤＡＰ、ｔ−ＤＡＰ等、問わない。
次に、評定値算出手段４６０７１２は、音素の置換があった旨を示す評定結果（例えば、「音素の置換が発生しました。」）を構成する。そして、出力部１０８は、構成した評定結果を出力する。なお、出力部１０８は、通常の入力音声に対しては、上述したように評定値を出力することが好適である。
以上、本実施の形態によれば、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本実施の形態における歌声の評定における発音評定に関して、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、発音の評定に関して、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、発音の評定に関して、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
さらに、本実施の形態において、特に、音素の置換を検知できるので、極めて精度の高い歌声の評定結果が得られる。
なお、本実施の形態において、音素の置換を検知できれば良く、評定値の算出アルゴリズムは問わない。評定値の算出アルゴリズムは、上述したアルゴリズム（ＤＡＰ、ｐ−ＤＡＰ、ｔ−ＤＡＰ、ｔ−ｐ−ＤＡＰ）でも良く、または、本明細書では述べていない他のアルゴリズムでも良い。
また、本実施の形態において、音素の置換の検知アルゴリズムは、他のアルゴリズムでも良い。例えば、音素の置換の検知において、所定以上の長さの区間を有することを置換区間の検知で必須としても良い。その他、置換の検知アルゴリズムの詳細は種々考えられる。
さらに、本実施の形態における歌声評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、歌詞を伴う歌声を受け付ける歌声受付ステップと、前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、前記音素情報抽出ステップで抽出した音素情報と教師データに基づいて、前記歌声の評定をする評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。
また、上記プログラムの前記評定ステップにおいて、歌声受付ステップで受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う発音評定ステップを具備しても良い。
また、上記プログラムの前記発音評定ステップにおいて、前記フレーム毎の入力音声データに基づいて、特殊な音声が入力されたことを検知する特殊音声検知ステップと、前記教師データと前記特殊音声検知ステップにおける検知結果に基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う評定値算出ステップを具備しても良い。
また、上記プログラムの前記特殊音声検知手ステップにおいて、一の音素の評定値が所定の条件を満たすことを検知し、前記評定値算出ステップにおいて、前記特殊音声検知ステップで前記所定の条件を満たすことを検知した場合に、少なくとも音素の置換があった旨を示す評定結果を構成しても良い。
（実施の形態８）
本実施の形態における歌声評定装置は、上記の各実施の形態の歌声評定装置と比較して、評定部を構成する手段であって、発音の評定を行う発音評定手段における評定アルゴリズムが異なる。つまり、本実施の形態において、特殊音声を検知し、比較対象の音声と入力音声の類似度を精度高く評定できる歌声評定装置について説明する。特に、本歌声評定装置は、音韻の欠落を検知できる歌声評定装置である。
図４９は、本実施の形態における歌声評定装置のブロック図である。本歌声評定装置は、教師データ格納部１０１、基準情報格納部１０２、歌声受付部１０３、教師周波数情報取得部１０４、歌声周波数情報取得部１０５、音素情報抽出部１０６、評定部４９０７、出力部１０８を具備する。
評定部４９０７は、発音評定手段４９０７１、タイミング評定手段１０７２、周波数評定手段１０７３を具備する。
発音評定手段４９０７１は、特殊音声検知手段４９０７１１、評定値算出手段４９０７１２、最適状態決定手段１０７１１、最適状態確率値取得手段１０７１２を具備する。
特殊音声検知手段４９０７１１は、一の音素の評定値が所定の値より低く、かつ当該音素の直前の音素または当該音素の直後の音素の評定値が所定の値より高いことを検知する。また、特殊音声検知手段４９０７１１は、一の音素の評定値が所定の値より低く、かつ当該音素の直前の音素または当該音素の直後の音素の評定値が所定の値より高く、かつ当該音素の区間長が所定の長さよりも短いことを検知しても良い。また、特殊音声検知手段４９０７１１は、直前の音素に対応する確率値、または直後の音素に対応する確率値が、当該一の音素の確率値より高いことを検知しても良い。かかる場合に、特殊音声検知手段４９０７１１は、音韻の欠落を検知することは好適である。さらに、音素の区間長が所定の長さよりも短いことを欠落の条件に含めることにより、音韻の欠落の検知の精度は向上する。特殊音声検知手段４９０７１１は、通常、ＭＰＵやメモリ等から実現され得る。特殊音声検知手段４９０７１１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
評定値算出手段４９０７１２は、特殊音声検知手段４９０７１１が所定の条件を満たすことを検知した場合に、少なくとも音素の欠落があった旨を示す評定結果を構成する。評定値算出手段４９０７１２は、通常、ＭＰＵやメモリ等から実現され得る。評定値算出手段４９０７１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、歌声評定装置の動作について説明する。なお、本歌声評定装置の動作は、上記の実施の形態における動作と比較して、音素の発音誤りの評定のアルゴリズムが異なるだけである。かかる音素の発音誤りの評定処理のアルゴリズムについて、図５０のフローチャートを用いて説明する。
（ステップＳ５００１）特殊音声検知手段４９０７１１は、バッファに蓄積されているデータに対して、直前の音素に対応する教師データの確率値または、直後の音素に対応する教師データの確率値が、予定されている音素に対応する教師データの確率値より高いか否かを判断する。高ければステップＳ５００２に行き、高くなければステップＳ４７１０に行く。なお、ステップＳ５００２に行くための条件として、バッファに蓄積されているデータに対応するフレーム音声データ群の区間長が所定の長さ以下であることを付加しても良い。
（ステップＳ５００２）評定値算出手段４９０７１２は、音素の欠落があった旨を示す評定結果を構成する。
なお、図５０のフローチャートにおいて、評定対象の音素（欠落したであろう音素）の区間長が、所定の長さ（例えば、３フレーム）よりも短いことを条件としたが、かかる条件は必須ではない。
また、図５０のフローチャートにおいて、音素の欠落があったと判断した場合、通常のアルゴリズムにおける発音の評定値より、さらに低い評定値として、評定値を算出しても良い。
以下、本実施の形態における歌声評定装置の具体的な動作について説明する。本実施の形態において、発音の正確さを評定する評定値の算出アルゴリズムが上記の実施の形態とは異なるので、その動作を中心に説明する。具体的には、本歌声評定装置は、音素の欠落の検知を行い、かかる音素の欠落を考慮して評定値を算出するので、その処理を中心に説明する。
まず、学習者が、英語の歌を歌いだす。そして、例えば、歌の中に音声「ｒｉｇｈｔ」があり、学習者は「ｒｉｇｈｔ」を発音した、とする。そして、歌声受付部１０３は、学習者が発音した音声の入力を受け付ける。次に、音素情報抽出部１０６は、歌声受付部１０３が受け付けた音声から音素を取得する。つまり、最適状態決定手段１０６１は、歌声受付部１０３が受け付けた音声の各フレームの最適状態を決定し、音素情報取得手段１０６２は、当該最適状態に対応する音素を取得する。
次に、評定部１０７は、歌声受付部１０３が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得る。そして、最適状態決定手段１０７１１は、区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
次に、最適状態決定手段１０７１１は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。
次に、最適状態確率値取得手段１０７１２は、上述した数式１、２により、最適状態における確率値を算出する。
次に、評定値算出手段４９０７１２は、例えば、最適状態決定手段１０７１１が決定した最適状態を有する音韻全体の状態における１以上の確率値を取得し、当該１以上の確率値の総和をパラメータとして音声の評定値を算出する。つまり、評定値算出手段４９０７１２は、例えば、ｐ−ＤＡＰスコアをフレーム毎に算出する。ここで、算出するスコアは、上述したＤＡＰスコア等でも良い。
そして、特殊音声検知手段４９０７１１は、算出されたフレームに対応する評定値を用いて、特殊な音声が入力されたか否かを判断する。つまり、評定値(例えば、ｔ−ＤＡＰスコア)が、所定の値より低い区間が存在するか否かを判断する。
次に、特殊音声検知手段４９０７１１は、図５１に示すように、評定値(例えば、ｔ−ＤＡＰスコア)が、所定の値より低い区間が、一つの音素内（ここでは音素２）であるか否かを判断する。そして、一つの音素内で評定値が低ければ、特殊音声検知手段４９０７１１は、直前の音素（音素１）または直後の音素（音素２）に対する評定値（例えば、ｔ−ＤＡＰスコア)を算出し、当該評定値が所定の値より高ければ、音素の欠落が発生している可能性があると判断する。そして、当該区間長が、例えば、３フレーム以下の長さであれば、かかる音素は欠落したと判断する。なお、図５１において、音素２の欠落が発生したことを示す。なお、図５１において縦軸は評定値であり、当該評定値は、ＤＡＰ、ｐ−ＤＡＰ、ｔ−ＤＡＰ等、問わない。また、上記区間長の所定値は、「３フレーム以下」ではなく、「５フレーム以下」でも、「６フレーム以下」でも良い。
次に、評定値算出手段４９０７１２は、音素の欠落があった旨を示す評定結果（例えば、「音素の欠落が発生しました。」）を構成する。そして、出力部１０８は、構成した評定結果を出力する。なお、出力部１０８は、通常の入力音声に対しては、上述したように評定値を出力することが好適である。
以上、本実施の形態によれば、発音の良し悪しを考慮した歌声の評価ができる。したがって、特に、外国語の歌を練習する場合に、極めて有効である。
また、本実施の形態における歌声の評定における発音評定に関して、連結されたＨＭＭである連結ＨＭＭを用いて最適状態を求め、評定値を算出するので、高速に評定値を求めることができる。したがって、リアルタイムに、フレームごと、音素ごと、単語ごとの評定値を出力できる。また、本実施の形態によれば、発音の評定に関して、動的計画法に基づいた事後確率を確率値として算出するので、さらに高速に評定値を求めることができる。また、本実施の形態によれば、発音の評定に関して、フレームごとに確率値を算出するので、上述したように、フレーム単位だけではなく、または／および音素・単語単位、または／および発声全体の評定結果を出力でき、出力態様の自由度が高い。
さらに、本実施の形態において、特に、音素の欠落を検知できるので、極めて精度の高い歌声における発音の評定結果が得られる。
なお、本実施の形態において、音素の欠落を検知できれば良く、評定値の算出アルゴリズムは問わない。評定値の算出アルゴリズムは、上述したアルゴリズム（ＤＡＰ、ｐ−ＤＡＰ、ｔ−ＤＡＰ、ｔ−ｐ−ＤＡＰ）でも良く、または、本明細書では述べていない他のアルゴリズムでも良い。
また、本実施の形態において、音素の欠落の検知アルゴリズムは、他のアルゴリズムでも良い。例えば、音素の欠落の検知において、所定長さ未満の区間であることを欠落区間の検知で必須としても良いし、区間長を考慮しなくても良い。
また、本実施の形態における歌声評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、歌詞を伴う歌声を受け付ける歌声受付ステップと、前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、前記音素情報抽出ステップで抽出した音素情報と教師データに基づいて、前記歌声の評定をする評定ステップと、前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラム、である。
また、上記プログラムの前記評定ステップにおいて、歌声受付ステップで受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、前記教師データと前記1以上のフレーム音声データに基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う発音評定ステップを具備しても良い。
また、上記プログラムの前記発音評定ステップにおいて、前記フレーム毎の入力音声データに基づいて、特殊な音声が入力されたことを検知する特殊音声検知ステップと、前記教師データと前記特殊音声検知ステップにおける検知結果に基づいて、前記歌声受付ステップで受け付けた歌声の評定を行う評定値算出ステップを具備しても良い。
また、上記プログラムにおいて、前記特殊音声検知ステップは、一の音素の評定値が所定の条件を満たすことを検知し、前記評定値算出ステップは、前記特殊音声検知ステップで前記所定の条件を満たすことを検知した場合に、少なくとも音素の欠落があった旨を示す評定結果を構成しても良い。
また、実施の形態５から実施の形態８において検出した特殊音声は、無音、挿入、置換、欠落であった。歌声評定装置は、かかるすべての特殊音声について検知しても良いことはいうまでもない。また、歌声評定装置は、主として、実施の形態１から実施の形態４において述べた評定値の算出アルゴリズムを利用して、特殊音声の検出を行ったが、他の評定値の算出アルゴリズムを利用しても良い。
また、特殊音声は、無音、挿入、置換、欠落に限られない。例えば、特殊音声は、ｇａｒｂａｇｅ（雑音などの雑多な音素等）であっても良い。受け付けた音声にｇａｒｂａｇｅが混入している場合、その区間は類似度の計算対象から除外するのがしばしば望ましい。例えば、発音評定においては、学習者の発声には通常、息継ぎや無声区間などが数多く表れ、それらに対応する発声区間を評定対象から取り除くことが好適である。なお、無音は、一般に、ｇａｒｂａｇｅの一種である、と考える。
そこで，どの音素にも属さない雑多な音素（ｇａｒｂａｇｅ音素）を設定し、ｇａｒｂａｇｅのＨＭＭをあらかじめ格納しておく。スコア低下区間において、ｇａｒｂａｇｅのＨＭＭに対する評定値（γｔ（ｊ））が所定の値より大きい場合，その区間はｇａｒｂａｇｅ区間と判定することは好適である。特に、発音評定において，ｇａｒｂａｇｅ区間が２つの単語にまたがっている場合、息継ぎなどが起こったものとして、評定値の計算対象から除外することは極めて好適である。
また、上記の実施の形態における歌声評定装置の出力例は、図２５における出力例に限られない。
具体的には、歌声評定装置は、図５４から図６０におけるような出力を行っても良い。つまり、図５４における出力例のように、音素の時間ズレと発音誤りのみを表示しても良い。かかる出力により、発音に関する間違いが明示され、外国語の歌の学習が効果的に行える。図５４において、学習者が正しい発音をした場合には、丸の中に音素を表示している（図５４の５４１）。また、学習者の歌声における発音誤りを正方形の形状で示している（５４２）。また、音素の時間ずれが発生している場合は、丸、または正方形の形状を所定の色で塗りつぶしている（５４３）。また、時間ずれを破線で明示している（５４４）。なお、音素の時間ズレと発音誤りをいかに視覚的に示すかは問わない。
また、図５５における出力例において、歌声評定装置は、発音誤りは表示せず、Ｆ０パターンと音素の時間ズレを表示する。具体的には、歌声評定装置は、教師データのＦ０パターンを示す曲線（図５５の５５１）と、学習者の歌声のＦ０パターンを示す曲線（図５５の５５２）を出力する。また、教師データ、および学習者の歌声のＦ０パターンの上に、正しい音素を表示し、かつ、音素の時間ずれを、丸の中を所定の色で塗りつぶすことにより明示している（図５５の５５３）。また、Ｆ０のずれ、Ｆ０の時間ずれを網掛けで表示している（図５５の５５４）。
また、図５６の出力例において、歌声評定装置は、Ｆ０パターンと音素情報を分離し、全ての情報を表示する。図５６において、教師データと学習者の歌声の発音誤りの音素をボールドフォントで表示し、かつ音素に下線を引いている（図５６の５６１）。また、音素の時間的なずれを破線で示している（図５６の５６２）。さらに、Ｆ０のずれ、Ｆ０の時間ずれを網掛けで表示している（図５６の５６３）。
また、図５７の出力例において、歌声評定装置は、教師データと学習者歌声のＦ０パターンの重ね合わせ表示している。図５７において、教師データと学習者歌声のＦ０のずれ、Ｆ０の時間ずれを網掛けで表示している（図５７の５７１）。
また、図５８の出力例において、歌声評定装置は、全ての情報を統合し、楽譜イメージに重ね合わせて表示している。楽譜イメージは、予め格納されている楽譜情報に基づいて出力される。また、歌声評定装置は、教師データの表示については、正しい音素を各楽譜の位置に合わせて表示している（図５８の５８１）。また、歌声評定装置は、学習者の発音誤りを、音素を正方形で囲んだ形状により表示している（図５８の５８２）。また、歌声評定装置は、学習者の音素のずれを、音素を丸で囲み、かつ所定の色で塗りつぶして表示している。さらに、歌声評定装置は、Ｆ０のずれ、Ｆ０の時間ずれを網掛けで表示している（図５８の５８４）。
また、図５９の出力例において、歌声評定装置は、音素を日本語音で置換表示している。つまり、例えば、歌声評定装置は、音素（例えば、「ａ」）と日本語音（例えば、「ア」）を対応付けて格納している音素日本語音管理部を具備している。そして、歌声評定装置は、かかる音素日本語音管理部の情報から、音素を日本語音に変換し、図５９のような日本語音を表示する。そして、歌声評定装置は、学習者の音素のずれを示すために、音素を丸で囲み、かつ所定の色で塗りつぶした図柄を表示している（図５９の５９１）。さらに、歌声評定装置は、Ｆ０のずれ、Ｆ０の時間ずれを網掛けで表示している（図５９の５９２）。
さらに、図６０の出力例において、歌声評定装置は、図５８の出力例に対して、発音誤りを除いて、音素を日本語音で置換表示している。本歌声評定装置も、音素日本語音管理部を具備している。そして、歌声評定装置は、かかる音素日本語音管理部の情報から、音素を日本語音に変換し、図６０のような日本語音を表示する。そして、歌声評定装置は、学習者の音素のずれを示すために、音素を丸で囲み、かつ所定の色で塗りつぶした図柄を表示している（図６０の６０１）。さらに、歌声評定装置は、Ｆ０のずれ、Ｆ０の時間ずれを網掛けで表示している（図６０の６０２）。
以上、歌声評定装置の出力例を種々説明したが、上記以外の出力態様でも良いことは言うまでもない。
また、図５２は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の歌声評定装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図５２は、このコンピュータシステム５２０の概観図であり、図５３は、コンピュータシステム５２０のブロック図である。
図５２において、コンピュータシステム５２０は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブを含むコンピュータ５２１と、キーボード５２２と、マウス５２３と、モニタ５２４と、マイク５２５とを含む。
図５３において、コンピュータ５２１は、ＦＤドライブ５２１１、ＣＤ−ＲＯＭドライブ５２１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２１３と、ＣＰＵ５２１３、ＣＤ−ＲＯＭドライブ５２１２及びＦＤドライブ５２１１に接続されたバス５２１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）５２１５と、ＣＰＵ５２１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５２１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク５２１７とを含む。ここでは、図示しないが、コンピュータ５２１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム５２０に、上述した実施の形態の歌声評定装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ５３０１、またはＦＤ５３０２に記憶されて、ＣＤ−ＲＯＭドライブ５２１２またはＦＤドライブ５２１１に挿入され、さらにハードディスク５２１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ５２１に送信され、ハードディスク５２１７に記憶されても良い。プログラムは実行の際にＲＡＭ５２１６にロードされる。プログラムは、ＣＤ−ＲＯＭ５３０１、ＦＤ５３０２またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ５２１に、上述した実施の形態の歌声評定装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム５２０がどのように動作するかは周知であり、詳細な説明は省略する。
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において述べた歌声評定装置は、いわゆるカラオケ装置に搭載されることは好適である。カラオケ装置における歌声を評定する処理以外の処理は、公知技術により実現可能であるので、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる歌声評定装置は、発音の良し悪しを考慮した歌声の評価ができるという効果を有し、カラオケ装置等として有用である。
実施の形態１における歌声評定装置のブロック図 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の動作について説明するフローチャート 同歌声評定装置の処理の流れの例の概要を示す図 同歌声評定装置の処理を説明する図 同歌声評定装置の処理を説明する図 同歌声評定装置の処理を説明する図 同ＨＭＭの仕様を示す図 同音声分析条件を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同演算の概念を示す図 同出力部が出力する出力態様を示す図 実施の形態２における歌声評定装置のブロック図 同歌声評定処理の動作について説明するフローチャート 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 実施の形態３における歌声評定装置のブロック図 同歌声評定装置の動作について説明するフローチャート 同評定値算出手段が算出した評定値を示す図 同出力部が出力する出力態様を示す図 実施の形態４における歌声評定装置のブロック図 同歌声評定装置の動作について説明するフローチャート 同評定値算出手段が算出した評定値を示す図 同発音の良し悪しを評定するアルゴリズムの概念を示す図 実施の形態５における歌声評定装置のブロック図 同歌声評定装置の動作について説明するフローチャート 同特殊音声の検知について説明する図 実施の形態６における歌声評定装置のブロック図 同歌声評定装置の動作について説明するフローチャート 同音素の挿入について説明する図 同出力部が出力する出力態様を示す図 実施の形態７における歌声評定装置のブロック図 同歌声評定装置の動作について説明するフローチャート 同音素の置換について説明する図 実施の形態８における歌声評定装置のブロック図 同歌声評定装置の動作について説明するフローチャート 同音素の欠落について説明する図 同歌声評定装置を構成するコンピュータシステムの概観図 同歌声評定装置を構成するコンピュータのブロック図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図 同出力部が出力する出力態様を示す図
符号の説明
１０１ 教師データ格納部
１０２ 基準情報格納部
１０３ 歌声受付部
１０４ 教師周波数情報取得部
１０５ 歌声周波数情報取得部
１０６ 音素情報抽出部
１０７、２６０７、３１０７、３５０７、３９０７、４２０７、４６０７、４９０７ 評定部
１０８ 出力部
１０６１、１０７１１ 最適状態決定手段
１０６２ 音素情報取得手段
１０７１、２６０７１、３１０７１、３５０７１、３９０７１、４２０７１、４６０７１、４９０７１ 発音評定手段
１０７２ タイミング評定手段
１０７３ 周波数評定手段
１０８１ 矯正出力判断手段
１０８２ 矯正情報出力手段
２４０１ 特殊音声検知部
１０７１２ 最適状態確率値取得手段
１０７１３、２６０７１３、３１０７１３、３５０７１３、３９０７１２、４２０７１２、４６０７１２、４９０７１２ 評定値算出手段
１０７３１ 周波数差算出手段
１０７３２ 周波数近似度評定手段
１０７３３ 教師リズム変化時点情報取得手段
１０７３４ 歌声リズム変化時点情報取得手段
１０７３５ リズム評定手段
２６０７１２ 音韻確率値取得手段
３１０７１２ 発音区間確率値取得手段
３５０７１２ 発音区間フレーム音韻確率値取得手段
３９０７１１、４２０７１１、４６０７１１、４９０７１１ 特殊音声検知手段
３９０７１１１ 無音データ格納手段
３９０７１１２ 無音区間検出手段

Claims (11)

  1. 歌声に関するデータであり、状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有する教師データを１以上格納している教師データ格納部と、
    歌詞を伴う歌声を受け付ける歌声受付部と、
    前記歌声受付部が受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出部と、
    前記音素情報抽出部が抽出した音素情報と前記教師データに基づいて、前記歌声の評定をする評定部と、
    前記評定部における評定結果を出力する出力部を具備し、
    前記評定部は、
    前記歌声受付部が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、
    当該１以上のフレーム音声データと前記教師データに基づいて、前記歌声受付部が受け付けた歌声の評定を行う発音評定手段を具備し、
    前記発音評定手段は、
    前記1以上のフレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定手段と、
    前記最適状態決定手段が決定した最適状態の事後確率を示す確率値を取得する最適状態確率値取得手段と、
    前記最適状態確率値取得手段が取得した最適状態の確率値と、当該確率値に対応するフレームの全状態における確率値の総和との比率を用いて音声の評定値を算出する評定値算出手段とを具備する歌声評定装置。
  2. 歌声に関するデータであり、状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有する教師データを１以上格納している教師データ格納部と、
    歌詞を伴う歌声を受け付ける歌声受付部と、
    前記歌声受付部が受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出部と、
    前記音素情報抽出部が抽出した音素情報と前記教師データに基づいて、前記歌声の評定をする評定部と、
    前記評定部における評定結果を出力する出力部を具備し、
    前記評定部は、
    前記歌声受付部が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、
    当該１以上のフレーム音声データと前記教師データに基づいて、前記歌声受付部が受け付けた歌声の評定を行う発音評定手段を具備し、
    前記発音評定手段は、
    前記1以上のフレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定手段と、
    前記最適状態決定手段が決定した最適状態を有する音韻全体の全状態における２以上の事後確率を示す確率値を取得する音韻確率値取得手段と、
    前記最適状態決定手段が決定した最適状態の確率値と、当該確率値に対応するフレームの全状態における確率値の総和との比率を、音韻を構成するフレーム毎に算出し、前記音韻を構成するフレーム毎の前記比率の総和を用いて音声の評定値を算出する評定値算出手段とを具備する歌声評定装置。
  3. 歌声に関するデータであり、状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有する教師データを１以上格納している教師データ格納部と、
    歌詞を伴う歌声を受け付ける歌声受付部と、
    前記歌声受付部が受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出部と、
    前記音素情報抽出部が抽出した音素情報と前記教師データに基づいて、前記歌声の評定をする評定部と、
    前記評定部における評定結果を出力する出力部を具備し、
    前記評定部は、
    前記歌声受付部が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、
    当該１以上のフレーム音声データと前記教師データに基づいて、前記歌声受付部が受け付けた歌声の評定を行う発音評定手段を具備し、
    前記発音評定手段は、
    前記1以上のフレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定手段と、
    前記最適状態決定手段が決定した２以上の最適状態の事後確率を示す確率値を、発音区間毎に、すべて取得する発音区間確率値取得手段と、
    前記発音区間確率値取得手段が取得した１以上の発音区間毎の２以上の確率値の時間平均値を算出し、当該時間平均値を用いて音声の評定値を算出する評定値算出手段とを具備する歌声評定装置。
  4. 歌声に関するデータであり、状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有する教師データを１以上格納している教師データ格納部と、
    歌詞を伴う歌声を受け付ける歌声受付部と、
    前記歌声受付部が受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出部と、
    前記音素情報抽出部が抽出した音素情報と前記教師データに基づいて、前記歌声の評定をする評定部と、
    前記評定部における評定結果を出力する出力部を具備し、
    前記評定部は、
    前記歌声受付部が受け付けた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、
    当該１以上のフレーム音声データと前記教師データに基づいて、前記歌声受付部が受け付けた歌声の評定を行う発音評定手段を具備し、
    前記発音評定手段は、
    前記1以上のフレーム音声データについて、全状態における確率値を算出し、当該全状態における確率値を用いて、各フレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定手段と、
    前記最適状態決定手段が決定した各フレームの最適状態を有する音韻全体の状態における２以上の事後確率を示す確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得手段と、
    前記発音区間フレーム音韻確率値取得手段が取得した２以上の確率値の総和を、フレーム毎に算出し、当該フレーム毎の確率値の総和に基づいて、発音区間毎の確率値の総和の時間平均値を１以上算出し、当該１以上の時間平均値を用いて音声の評定値を算出する評定値算出手段とを具備する歌声評定装置。
  5. 前記発音評定手段は、
    前記フレーム音声データに基づいて、特殊な音声の一種である無音データが入力されたことを検知する特殊音声検知手段をさらに具備し、
    前記評定値算出手段は、
    前記無音データの区間のデータを用いずに、音声の評定値を算出する請求項１から請求項４いずれか記載の歌声評定装置。
  6. 前記発音評定手段は、
    前記フレーム音声データに基づいて、特殊な音声であるｇａｒｂａｇｅが入力されたことを検知する特殊音声検知手段をさらに具備し、
    前記評定値算出手段は、
    前記ｇａｒｂａｇｅの区間のデータを用いずに、音声の評定値を算出する請求項１から請求項５いずれか記載の歌声評定装置。
  7. 前記発音評定手段は、
    前記フレーム音声データに基づいて、２つの単語にまたがって、特殊な音声であるｇａｒｂａｇｅが入力されたことを検知する特殊音声検知手段をさらに具備し、
    前記評定値算出手段は、
    前記ｇａｒｂａｇｅの区間のデータを用いずに、音声の評定値を算出する請求項６記載の歌声評定装置。
  8. 前記発音評定手段は、
    一の音素の少なくとも最終フレームを含む後半部および当該音素の次の音素の少なくとも第一フレームを含む前半部の評定値が所定値より低い場合、または一の音素の少なくとも最終フレームを含む後半部および当該音素の次の音素の少なくとも第一フレームを含む前半部の評定値が所定値より低くかつ無音が挿入されていないと判断した場合、または、一の音素の少なくとも最終フレームを含む後半部および当該音素の次の音素の少なくとも第一フレームを含む前半部の評定値が所定値より低くかつ他の音韻ＨＭＭに対する確率値を算出し、所定の値より高い確率値を得た音韻を検出した場合、または評定値が所定値より低い音素が連続した場合に、音素の挿入があったと判断する特殊音声検知手段をさらに具備し、
    前記評定値算出手段は、
    前記特殊音声検知手段が音素の挿入があったと判断した場合、少なくとも音素の挿入があった旨を示す評定結果を構成する請求項１から請求項７いずれか記載の歌声評定装置。
  9. 前記発音評定手段は、
    一の音素の評定値が所定の値より低くかつ当該音素の直前の音素および当該音素の直後の音素の評定値が所定の値より高い場合、または一の音素の評定値が所定の値より低く、かつ想定していない音素のＨＭＭに基づいて算出された評定値が所定の値より高い場合に、音韻の置換があったと判断する特殊音声検知手段をさらに具備し、
    前記評定値算出手段は、
    前記特殊音声検知手段が音素の置換があったと判断した場合、少なくとも音素の置換があった旨を示す評定結果を構成する請求項１から請求項８いずれか記載の歌声評定装置。
  10. 前記発音評定手段は、
    一の音素の評定値が所定の値より低くかつ当該音素の直前の音素および当該音素の直後の音素の評定値が所定の値より高い場合、または一の音素の評定値が所定の値より低くかつ当該音素の直前の音素および当該音素の直後の音素の評定値が所定の値より高くかつ当該音素の区間長が所定の長さよりも短い場合、または直前の音素に対応する確率値、または直後の音素に対応する確率値が、当該一の音素の確率値より高い場合に、音韻の欠落があったと判断する特殊音声検知手段をさらに具備し、
    前記評定値算出手段は、
    前記特殊音声検知手段が音素の欠落があったと判断した場合、少なくとも音素の欠落があった旨を示す評定結果を構成する請求項１から請求項９いずれか記載の歌声評定装置。
  11. 記憶媒体に、
    歌声に関するデータであり、状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有する教師データを１以上格納しており、
    コンピュータに、
    歌詞を伴う歌声を受け付ける歌声受付ステップと、
    前記歌声受付ステップで受け付けた歌声から音素に関する情報である音素情報を抽出する音素情報抽出ステップと、
    前記音素情報抽出ステップで抽出した音素情報と前記教師データに基づいて、前記歌声の評定をする評定ステップと、
    前記評定ステップにおける評定結果を出力する出力ステップを実行させるためのプログラムであり、
    前記評定ステップは、
    前記歌声受付ステップで受け付けられた歌声をフレームに区分し、当該区分したフレーム毎の音声データであるフレーム音声データを1以上得て、
    当該１以上のフレーム音声データと前記教師データに基づいて、前記歌声受付部が受け付けた歌声の評定を行う発音評定ステップを具備し、
    前記発音評定ステップは、
    前記1以上のフレーム音声データについて、全状態における確率値を算出し、当該全状態における確率値を用いて、各フレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定ステップと、
    前記最適状態決定ステップで決定された最適状態の事後確率を示す確率値を取得する最適状態確率値取得ステップと、
    前記最適状態確率値取得ステップで取得された最適状態の確率値と、当該確率値に対応するフレームの全状態における確率値の総和との比率を用いて音声の評定値を算出する評定値算出ステップとを具備するプログラム。
JP2005057183A 2005-03-02 2005-03-02 歌声評定装置およびプログラム Active JP4524634B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005057183A JP4524634B2 (ja) 2005-03-02 2005-03-02 歌声評定装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005057183A JP4524634B2 (ja) 2005-03-02 2005-03-02 歌声評定装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2006243230A JP2006243230A (ja) 2006-09-14
JP4524634B2 true JP4524634B2 (ja) 2010-08-18

Family

ID=37049721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005057183A Active JP4524634B2 (ja) 2005-03-02 2005-03-02 歌声評定装置およびプログラム

Country Status (1)

Country Link
JP (1) JP4524634B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11276390B2 (en) * 2018-03-22 2022-03-15 Casio Computer Co., Ltd. Audio interval detection apparatus, method, and recording medium to eliminate a specified interval that does not represent speech based on a divided phoneme
CN112309428B (zh) * 2019-07-30 2024-03-19 微软技术许可有限责任公司 获得歌声检测模型
JP7368178B2 (ja) * 2019-10-25 2023-10-24 エイベックス株式会社 評価装置、評価方法、及びプログラム
CN111862958B (zh) * 2020-08-07 2024-04-02 广州视琨电子科技有限公司 发音插入错误检测方法、装置、电子设备及存储介质
CN111785299B (zh) * 2020-08-13 2023-11-28 腾讯科技（深圳）有限公司 一种语音测评方法、装置、设备及计算机存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01204099A (ja) * 1988-02-09 1989-08-16 Nec Corp 音声認識装置
JPH0895592A (ja) * 1994-09-21 1996-04-12 Nippon Telegr & Teleph Corp <Ntt> パターン認識方法
JPH09244667A (ja) * 1996-03-07 1997-09-19 Ekushingu:Kk カラオケ装置
JP2000029473A (ja) * 1998-07-08 2000-01-28 Ricoh Co Ltd 演奏曲再生装置
JP2000137495A (ja) * 1998-10-30 2000-05-16 Toshiba Corp 音声認識装置および音声認識方法
WO2000046788A1 (fr) * 1999-02-05 2000-08-10 Hitachi, Ltd. Systeme de traitement de donnees
JP2001117568A (ja) * 1999-10-21 2001-04-27 Yamaha Corp 歌唱評価装置およびカラオケ装置
JP2003186379A (ja) * 2001-12-13 2003-07-04 Animo:Kk 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム
JP2004053652A (ja) * 2002-07-16 2004-02-19 Asahi Kasei Corp 発音判定システム、システム管理用サーバ及びプログラム
JP2004093762A (ja) * 2002-08-30 2004-03-25 Xing Inc 報奨情報機能付音楽再生装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01204099A (ja) * 1988-02-09 1989-08-16 Nec Corp 音声認識装置
JPH0895592A (ja) * 1994-09-21 1996-04-12 Nippon Telegr & Teleph Corp <Ntt> パターン認識方法
JPH09244667A (ja) * 1996-03-07 1997-09-19 Ekushingu:Kk カラオケ装置
JP2000029473A (ja) * 1998-07-08 2000-01-28 Ricoh Co Ltd 演奏曲再生装置
JP2000137495A (ja) * 1998-10-30 2000-05-16 Toshiba Corp 音声認識装置および音声認識方法
WO2000046788A1 (fr) * 1999-02-05 2000-08-10 Hitachi, Ltd. Systeme de traitement de donnees
JP2001117568A (ja) * 1999-10-21 2001-04-27 Yamaha Corp 歌唱評価装置およびカラオケ装置
JP2003186379A (ja) * 2001-12-13 2003-07-04 Animo:Kk 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム
JP2004053652A (ja) * 2002-07-16 2004-02-19 Asahi Kasei Corp 発音判定システム、システム管理用サーバ及びプログラム
JP2004093762A (ja) * 2002-08-30 2004-03-25 Xing Inc 報奨情報機能付音楽再生装置

Also Published As

Publication number Publication date
JP2006243230A (ja) 2006-09-14

Similar Documents

Publication Publication Date Title
US6778962B1 (en) Speech synthesis with prosodic model data and accent type
US7890330B2 (en) Voice recording tool for creating database used in text to speech synthesis system
JP5665780B2 (ja) 音声合成装置、方法およびプログラム
KR100305455B1 (ko) 연속 음성 인식시에 구두점들을 자동으로 발생시키기 위한 장치및 방법
JP4878538B2 (ja) 音声合成装置
US20050119890A1 (en) Speech synthesis apparatus and speech synthesis method
US7574360B2 (en) Unit selection module and method of chinese text-to-speech synthesis
JPH1063291A (ja) 連続密度ヒドンマルコフモデルを用いた音声認識方法及び装置
US9147392B2 (en) Speech synthesis device and speech synthesis method
JP5007401B2 (ja) 発音評定装置、およびプログラム
JP4524634B2 (ja) 歌声評定装置およびプログラム
US9129596B2 (en) Apparatus and method for creating dictionary for speech synthesis utilizing a display to aid in assessing synthesis quality
Proença et al. Automatic evaluation of reading aloud performance in children
JP4811993B2 (ja) 音声処理装置、およびプログラム
TW201207787A (en) Language learning system, language learning method, and computer product thereof
JP4859125B2 (ja) 発音評定装置、およびプログラム
JP4753412B2 (ja) 発音評定装置、およびプログラム
JP2844817B2 (ja) 発声練習用音声合成方式
KR20040061070A (ko) 음성인식시스템에서의 음성인식장치 및 그 방법
JP2008026721A (ja) 音声認識装置、音声認識方法、および音声認識用プログラム
JP2009122381A (ja) 音声合成装置、音声合成方法およびそのプログラム
JP4812010B2 (ja) 音声処理装置、およびプログラム
JP5028599B2 (ja) 音声処理装置、およびプログラム
JP2005283646A (ja) 音声認識率推定装置
JP4775788B2 (ja) 発音評定装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100519

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4524634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250