JP5092311B2 - 音声評価装置 - Google Patents
音声評価装置 Download PDFInfo
- Publication number
- JP5092311B2 JP5092311B2 JP2006217300A JP2006217300A JP5092311B2 JP 5092311 B2 JP5092311 B2 JP 5092311B2 JP 2006217300 A JP2006217300 A JP 2006217300A JP 2006217300 A JP2006217300 A JP 2006217300A JP 5092311 B2 JP5092311 B2 JP 5092311B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- data
- voice
- musical
- voice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は上述した背景の下になされたものであり、ディスプレイのない環境でも、語学採点の結果をユーザが把握しやすい技術を提供することを目的とする。
前記楽音データ生成手段により生成された楽音データの表す音を、放音手段に放音させる放音制御手段と、前記採点手段による採点結果に応じて、前記楽音データ生成手段における楽音データの生成の有無を制御するフィードバック制御手段とを備える。
また、この態様において、前記第1の音声データの特徴と前記収音手段から出力される第2の音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する指摘区間特定手段と、前記楽音データにおいて前記指摘区間特定手段により特定された指摘区間に対応するデータを時間軸方向に伸長又は圧縮するタイムストレッチ手段とを備え、前記放音制御手段は、前記タイムストレッチ手段により伸長又は圧縮された楽音データの表す音を、前記放音手段に放音させてもよい。
この態様において、前記音声データ加工手段は、前記第1の音声データのうちの前記指摘区間特定手段により特定された指摘区間に対応する音声データを時間軸方向に伸長又は圧縮してもよい。
また、この態様において、前記音声データ加工手段は、前記第1の音声データのうちの前記指摘区間特定手段により特定された指摘区間に対応する音声データの表す音声のピッチが高くなるように、該第1の音声データを加工してもよい。
<A:構成>
図1は、本実施形態である音声評価装置1のハードウェア構成の一例を示すブロック図である。音声評価装置1は、ポータブルミュージックプレーヤなどの装置であり、語学学習を支援する語学学習支援装置として機能する。図において、制御部11は、CPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)を備え、ROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより、音声評価装置1の各部を制御する。記憶部12は、制御部11によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部13は、液晶表示パネルを備え、制御部11による制御のもとに各種の画像を表示する。操作部14は、再生キーや採点キーなどの各種のキーを備え、練習者による操作に応じた操作信号を制御部11に出力する。マイクロフォン15は、音声を収音して収音した音声を表す音声信号(アナログデータ)を出力する収音手段である。音声処理部16は、マイクロフォン15が出力する音声信号(アナログデータ)をデジタルデータに変換して制御部11に出力する。また、スピーカ17に出力する音声をデジタルデータからアナログデータに変換する。スピーカ17は、音声処理部16から出力される音声信号に応じた強度で放音する放音手段である。なお、スピーカ17に代えて、耳に装着可能なイヤホンやヘッドフォンを放音手段として用いることもできる。
また、分析部111は、お手本音声データと練習者音声データとから検出された両者のスペクトルに基づいて、両者の対応関係を求める。お手本音声と練習者音声とは時間的に前後にずれている可能性がある。このようにお手本音声と練習者音声とが時間的に前後にずれている場合であっても、両者を対応付けられるようにするため、練習者音声データの時間軸を伸縮させる時間正規化(DTW:Dynamic Time Warping)を行い、両者の時間軸を合わせる。このDTWを行うための手法としては、この実施形態ではDP(Dynamic Programming:動的計画法)を用いる。
分析部111は、お手本音声データから検出したお手本音声の特徴を表すデータ(お手本ピッチデータ、お手本スペクトルデータ、お手本パワーデータ)と、練習者音声データから検出した練習者音声の特徴を表すデータ(練習者スペクトルデータ,練習者ピッチデータ,練習者パワーデータ)、および対応付け結果を表す対応データを、採点部112及びフィードバック内容制御部113に出力する。
また、採点部112は、比較結果に基づいて、練習者が練習すべき区間を示す指摘区間特定する。指摘区間の特定方法としては、例えば、採点部112は、お手本音声データの特徴と練習者音声データの特徴とを、単位区間毎(例えば、小節毎、フレーズ毎)に比較し、その隔たりが予め定められた閾値以上である区間を指摘区間として特定する。具体的には、例えば、採点部112は、お手本音声データのピッチと練習者音声データのピッチとの差が閾値以上である区間を指摘区間として特定する。採点部112は、採点結果と指摘区間とを示す採点結果データを、フィードバック内容制御部113に出力する。
フィードバック内容制御部113は、採点部112で生成された採点結果を用いて、どのフィードバックを行うかを決定する。具体的には、例えば、ピッチの採点結果が悪いと判断した場合には、フィードバック内容制御部113は、ピッチフィードバック処理を行うことを決定し、一方、リズムの採点結果が悪いと判断した場合には、フィードバック内容制御部113は、リズムフィードバック処理を行うと決定する。また、区間毎(小節毎、フレーズ毎)の採点結果を参照し、採点結果が悪い区間について、加工音声フィードパック処理を行うと決定してもよい。要するに、採点部112で生成された採点結果を用いて、どのフィードバック処理を行うかを決定すればよい。フィードバック内容制御部113がどのフィードバック処理を行うかを決定する方法は様々であり、その決定方法は設計等に応じて変更可能である。
フィードバック内容制御部113は、「ピッチフィードバック処理」又は「リズムフィードバック処理」を行うと決定した場合には、フィードバックデータを楽音生成部114に出力し、一方、「加工音声フィードバック処理」を行うと決定した場合には、フィードバックデータを音声加工部115に出力する。
例えば、「One centimeter is ten millimeters.」という一文を練習した場合であって、「centimeter」に対応する区間が指摘区間であると採点部112によって特定された場合には、音声加工部115は、「centimeter」に対応する音声データを、時間軸方向に伸長するとともに音量が大きくなるようにパワーを変更する。時間軸方向に伸長されることによって、指摘区間の音声は間のびした音声となるから、練習者は、放音される音声を聞き分けることによって指摘区間を認識することができる。また、音声加工部115は、「centimeter」に対応する区間の直前と直後に無音区間を挿入する。
音声加工部115は、加工した音声データを、混合部116に出力する。
このとき、決定されたフィードバック処理が「加工音声フィードバック処理」である場合には、楽音生成部114は楽音生成処理を行わず、楽音データは出力されないから、この場合は、混合部116は、混合処理を行わず、音声加工部115から出力されたお手本音声データを、音声処理部16に出力する。
次に、この実施形態の動作を説明する。まず、練習者は、音声評価装置1の操作部14を操作して、お手本音声を再生する旨を指示する。操作部14は、操作された内容に応じた操作信号を制御部11に出力する。
図4は、音声評価装置1の制御部11が行う処理の流れを示すフローチャートである。制御部11は、操作部14から出力される操作信号に応じて、お手本音声を再生する(ステップS1)。すなわち、制御部11は、お手本音声データをお手本音声データ記憶領域12aから読み出して音声処理部16に供給する。音声処理部16は、お手本音声データをD/A変換し、アナログ信号をスピーカ17に供給する。スピーカ17は、供給される音声信号(アナログ信号)に応じて放音する。
また、この実施形態においては、お手本音声の抑揚・リズムなどが強調されてフィードバックされるから、練習者は、お手本音声の抑揚やリズムをより認識しやすくなる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
(1)上述した実施形態においては、制御部11は、どのようなフィードバックを行うかの内容を、採点された採点結果を用いて決定した。どのようなフィードバックを行うかの決定方法は、これに限らず、例えば常にお手本音声を加工してフィードバックを行う、といったように、予め定められたフィードバック方法でフィードバック処理を行ってもよい。また、音声評価装置1の使用者が、操作部14を操作することによってフィードバックの内容を指定する設定情報を入力し(図2に鎖線で図示)、制御部11が入力された設定情報に基づいてどのようなフィードバックを行うかを決定してもよい。
また、加工処理は、上述したものに限らず、例えば、指摘区間に対応するお手本音声データを時間軸方向に圧縮(80%に圧縮、など)する処理でもよい。圧縮する場合には、指摘区間の音声は他の区間の音声と比較して早口になるから、この場合も、練習者は、放音される音声を聴くことで指摘区間を認識することができる。また、採点部112により特定された指摘区間に対応するお手本音声データの表す音声のピッチが高くなるように、お手本音声データを加工してもよい。また、音声データのうちの特定された指摘区間の直前及び直後の少なくともいずれか一方に、無音区間を挿入することによってお手本音声データを加工してもよい。
要するに、制御部11が、特定された指摘区間に対応するお手本音声データの表す音声の放音の態様と該指摘区間以外の区間に対応する音声データの表す音声の放音の態様とが異なるように、お手本音声データを加工すればよい。
なお、指摘区間に対する加工処理は、時間軸方向の伸長(又は圧縮)処理に限らず、例えば指摘区間の音量を大きくするなどの処理であってもよく、要するに、指摘区間に対応する楽音データの表す楽音の放音の態様と該指摘区間以外の区間に対応する楽音データの表す楽音の放音の態様とが異なるように、楽音データを加工すればよい。
また、楽器の演奏練習のために用いてもよい。この場合は、お手本音声データとして模範となる演奏者の演奏音を表す音声データをお手本音声データとしてお手本音声データ記憶領域に記憶し、練習者の演奏音を収音して採点する。
また、上述した実施形態においては、練習者が操作部14の採点キーを押下すると、制御部11が採点処理を行ってフィードバック処理を行うようにした。採点処理及びフィードバック処理を行うトリガは採点キーの押下に限らず、練習者の音声を収音し終えてから所定時間経過後(例えば、3秒後)に、採点処理及びフィードバック処理を行って、フィードバック音声を放音してもよい。
Claims (8)
- 音声を表す第1の音声データを記憶する第1の音声データ記憶手段と、
収音し、収音した音声を表す第2の音声データを出力する収音手段と、
前記第1の音声データの特徴と前記収音手段から出力される第2の音声データの特徴とを比較し、該比較結果に基づいて採点を行う採点手段と、
前記第1の音声データから、前記音声に含まれる各音素の発音開始タイミングを特定する発音開始タイミング特定手段と、
前記発音開始タイミング特定手段により特定された全ての前記発音開始タイミング付近においてエンベロープが大となる楽音データを生成する楽音データ生成手段と、
前記楽音データ生成手段により生成された楽音データの表す音を、放音手段に放音させる放音制御手段と、
前記採点手段による採点結果に応じて、前記楽音データ生成手段における楽音データの生成の有無を制御するフィードバック制御手段と
を備えることを特徴とする音声評価装置。 - 音声を表す第1の音声データを記憶する第1の音声データ記憶手段と、
収音し、収音した音声を表す第2の音声データを出力する収音手段と、
前記第1の音声データの特徴と前記収音手段から出力される第2の音声データの特徴とを比較し、該比較結果に基づいて採点を行う採点手段と、
前記第1の音声データから、該第1の音声データの表す音声のピッチを検出するピッチ検出手段と、
前記第1の音声データから、該音声データの表す音声の音量を検出する音量検出手段と、
前記ピッチ検出手段により検出されたピッチと前記音量検出手段により検出された音量とに基づいて、前記音声に含まれる音素毎に、該音素の発音開始タイミング及び発音終了タイミングを示す音素データを生成する音素データ生成手段と、
前記ピッチ検出手段により検出されたピッチと前記音素データ生成手段により生成された音素データの示す発音開始タイミング及び発音終了タイミングとに基づいて楽音データを生成する楽音データ生成手段と、
前記楽音データ生成手段により生成された楽音データの表す音を、放音手段に放音させる放音制御手段と、
前記採点手段による採点結果に応じて、前記楽音データ生成手段における楽音データの生成の有無を制御するフィードバック制御手段と
を備えることを特徴とする音声評価装置。 - 前記放音制御手段は、前記第1の音声データの表す音声と前記楽音データの表す音とを、両者の時間軸が一致するように前記放音手段に放音させる
ことを特徴とする請求項1又は2に記載の音声評価装置。 - 前記第1の音声データの特徴と前記収音手段から出力される第2の音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する指摘区間特定手段と、
前記楽音データにおいて前記指摘区間特定手段により特定された指摘区間に対応するデータを時間軸方向に伸長又は圧縮するタイムストレッチ手段と
を備え、
前記放音制御手段は、前記タイムストレッチ手段により伸長又は圧縮された楽音データの表す音を、前記放音手段に放音させる
ことを特徴とする請求項1又は2に記載の音声評価装置。 - 音声を表す第1の音声データを記憶する第1の音声データ記憶手段と、
収音し、収音した音声を表す第2の音声データを出力する収音手段と、
前記第1の音声データの特徴と前記収音手段から出力される第2の音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する指摘区間特定手段と、
前記第1の音声データから、前記音声に含まれる各音素の発音開始タイミングを特定する発音開始タイミング特定手段と、
前記発音開始タイミング特定手段により特定された発音開始タイミング付近においてエンベロープが大となる楽音データを生成する楽音データ生成手段と、
前記楽音データにおいて前記指摘区間特定手段により特定された指摘区間に対応するデータを時間軸方向に伸長又は圧縮するタイムストレッチ手段と、
前記楽音データ生成手段により生成され、前記タイムストレッチ手段により伸張又は圧縮された楽音データの表す音を、放音手段に放音させる放音制御手段と
を備えることを特徴とする音声評価装置。 - 音声を表す第1の音声データを記憶する第1の音声データ記憶手段と、
収音した音声を表す第2の音声データを出力する収音手段と、
前記第1の音声データ記憶手段に記憶された前記第1の音声データの特徴と前記収音手段から出力される第2の音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する指摘区間特定手段と、
前記第1の音声データにおいて、前記第1の音声データのうちの前記指摘区間特定手段により特定された指摘区間の直前及び直後の少なくともいずれか一方に、無音区間を挿入するように、該第1の音声データを加工する音声データ加工手段と、
前記音声データ加工手段により加工された第1の音声データの表す音声を、放音手段に放音させる放音制御手段と
を備えることを特徴とする音声評価装置。 - 前記音声データ加工手段は、前記第1の音声データのうちの前記指摘区間特定手段により特定された指摘区間に対応する音声データを時間軸方向に伸長又は圧縮する
ことを特徴とする請求項6に記載の音声評価装置。 - 前記音声データ加工手段は、前記第1の音声データのうちの前記指摘区間特定手段により特定された指摘区間に対応する音声データの表す音声のピッチが高くなるように、該第1の音声データを加工する
ことを特徴とする請求項6又は7に記載の音声評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006217300A JP5092311B2 (ja) | 2006-08-09 | 2006-08-09 | 音声評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006217300A JP5092311B2 (ja) | 2006-08-09 | 2006-08-09 | 音声評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008040344A JP2008040344A (ja) | 2008-02-21 |
JP5092311B2 true JP5092311B2 (ja) | 2012-12-05 |
Family
ID=39175385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006217300A Expired - Fee Related JP5092311B2 (ja) | 2006-08-09 | 2006-08-09 | 音声評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5092311B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5340797B2 (ja) * | 2009-05-01 | 2013-11-13 | 任天堂株式会社 | 学習支援プログラムおよび学習支援装置 |
CN114515138A (zh) * | 2022-01-06 | 2022-05-20 | 福州市星康朗语教育科技有限公司 | 一种语言障碍评估与矫正系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2725559B2 (ja) * | 1993-07-24 | 1998-03-11 | ヤマハ株式会社 | アタック効果装置 |
JPH0822238A (ja) * | 1994-07-08 | 1996-01-23 | Mitsubishi Jimu Kikai Hanbai Kk | 英語の4拍子性を活用した語学訓練システム |
JPH10116020A (ja) * | 1996-10-14 | 1998-05-06 | Kenzo Nakada | 外国語音声学習方法及びこの方法に用いられる外国語音声学習教材 |
JPH11143346A (ja) * | 1997-11-05 | 1999-05-28 | Seiko Epson Corp | 語学練習用発話評価方法およびその装置並びに発話評価処理プログラムを記憶した記憶媒体 |
JP2001042758A (ja) * | 1999-08-04 | 2001-02-16 | Kenzo Nakada | 外国語音声学習方法及びこの方法に用いられる外国語音声学習教材 |
JP2006139162A (ja) * | 2004-11-15 | 2006-06-01 | Yamaha Corp | 語学学習装置 |
-
2006
- 2006-08-09 JP JP2006217300A patent/JP5092311B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008040344A (ja) | 2008-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100949872B1 (ko) | 악곡 연습 지원 장치, 악곡 연습 지원 장치의 제어 방법, 악곡 연습 지원 장치를 제어하는 제어 방법을 컴퓨터로 실행시키는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
JP2008026622A (ja) | 評価装置 | |
JP2007256617A (ja) | 楽曲練習装置および楽曲練習システム | |
WO2007058263A1 (ja) | 語学学習装置、語学学習支援方法、プログラム及び記録媒体 | |
JP2008139426A (ja) | 評価用データのデータ構造、カラオケ装置及び記録媒体 | |
JP2007232750A (ja) | カラオケ装置、制御方法およびプログラム | |
JP2007310204A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
JP7355165B2 (ja) | 楽曲再生システム、楽曲再生システムの制御方法およびプログラム | |
JP5598516B2 (ja) | カラオケ用音声合成システム,及びパラメータ抽出装置 | |
JP2007233077A (ja) | 評価装置、制御方法及びプログラム | |
JP2007322934A (ja) | 歌唱練習装置、カラオケ装置及びプログラム | |
JP5092311B2 (ja) | 音声評価装置 | |
JP5346114B1 (ja) | 音楽表現力の教育装置及び方法並びに音楽演奏評価装置 | |
JP3588596B2 (ja) | 歌唱特訓機能付きカラオケ装置 | |
JP2009169103A (ja) | 練習支援装置 | |
JP2006251697A (ja) | カラオケ装置 | |
JP4171680B2 (ja) | 音楽再生装置の情報設定装置、情報設定方法、及び情報設定プログラム | |
JP4862413B2 (ja) | カラオケ装置 | |
JP2008040260A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP6252420B2 (ja) | 音声合成装置、及び音声合成システム | |
JP2003015672A (ja) | 声域告知機能付きカラオケ装置 | |
JP4501874B2 (ja) | 楽曲練習装置 | |
JP4553013B2 (ja) | カラオケ装置 | |
JP2007225916A (ja) | オーサリング装置、オーサリング方法およびプログラム | |
JP4369118B2 (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120903 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150928 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |