JPH07191697A - 音声発声装置 - Google Patents

音声発声装置

Info

Publication number
JPH07191697A
JPH07191697A JP5347279A JP34727993A JPH07191697A JP H07191697 A JPH07191697 A JP H07191697A JP 5347279 A JP5347279 A JP 5347279A JP 34727993 A JP34727993 A JP 34727993A JP H07191697 A JPH07191697 A JP H07191697A
Authority
JP
Japan
Prior art keywords
voice
data
phoneme
pitch
singer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5347279A
Other languages
English (en)
Other versions
JP3362491B2 (ja
Inventor
Katsumi Kuroshima
勝美 黒嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TDK Corp
Original Assignee
TDK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TDK Corp filed Critical TDK Corp
Priority to JP34727993A priority Critical patent/JP3362491B2/ja
Publication of JPH07191697A publication Critical patent/JPH07191697A/ja
Application granted granted Critical
Publication of JP3362491B2 publication Critical patent/JP3362491B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 正しい音程やテンポを取ることが得意ではな
い者であっても正しく歌う練習を容易に行うことのでき
るカラオケ装置用の音声発声装置を提供する。 【構成】 各音素毎の基準音程及び基準音素長をあらか
じめ記憶している記憶手段9と、歌い手からの入力音声
データを音声認識して音素に分解する手段5と、この分
解した各音素毎の音声波形の音程及び音素長を記憶手段
に記憶されている対応する基準音程及び基準音素長とそ
れぞれ比較し、両者の音程及び/又は音素長が互いに異
なる場合は各音声波形を基準音程及び/又は基準音素長
に修正し、修正した各音声波形を結合する修正手段7
と、この修正手段から得られる音声波形データに基づい
て音声を発声させる発声手段10とを備えている。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、歌い手の音声を修正し
て出力する機能を有した業務用及び家庭用のカラオケ装
置に用いられる音声発声装置に関する。
【0002】
【従来の技術】カラオケ装置と称される歌声伴奏装置
は、記録媒体に記録されている多数の楽曲のうちから選
択的に所望の楽曲を演奏すると共に歌い手の音声を拡声
して出力するものである。この種のカラオケ装置には、
より上手に正しく歌う練習を行うための種々の工夫を施
したものがある。
【0003】例えばその1つとして、歌い手の歌唱力を
自動的に評価して採点を行う機能を備えたカラオケ装置
が知られている。特公平3−44310号公報には、記
録媒体に記録されているボーカル信号と歌い手の歌う音
声信号とを比較し、その合致度を得点として算出及び表
示するカラオケ装置が開示されている。また、特開平5
−11687号公報には、前奏及び間奏を除く楽曲全体
において音声の存在すべき割合があらかじめ定められて
いることを利用して所定間隔毎に音声が存在するかどう
かを計数することにより歌唱力評価を行いその結果を表
示するカラオケ装置が開示されている。
【0004】他のこの種の技術として、伴奏音と歌い手
の音声とを比較して両者の音程にずれがある場合は、そ
の音程差を表示する機能を有するカラオケ装置が知られ
ている。特開平4−13176号公報には、基準ボーカ
ル情報と歌い手の音声との音程比較を行い、その差を表
示する機能を有するカラオケ装置が開示されている。
【0005】さらに他の技術として、特開平4−238
384号公報には、伴奏音と歌い手の音声との音程や時
間にずれがある場合はあらかじめ記憶されている模範と
なる歌声データを再生する機能を備えたカラオケ装置が
開示されている。
【0006】
【発明が解決しようとする課題】しかしながら、歌唱力
を評価して採点を行う従来技術によると、歌が終わった
後に採点されるので、歌い手はどの部分の音程がはずれ
たのかどの部分でリズムが狂ったのかを知ることができ
ない。伴奏音と歌い手の音声との音程差を表示する従来
技術によれば、どの部分がどの程度ずれているかを目で
確認することはできるが、そのずれている部分をどのよ
うな音程で歌えばよいのか感覚的につかむことができな
い。このため、この種の従来技術によると、正しく歌う
練習を満足に行うことが非常に難しかった。
【0007】また、音程差等にずれがある場合は記憶さ
れている模範歌声データが再生される従来技術による
と、歌い手の音質ではない模範音声が再生されるので音
程を合わせるのが難しい。特に、正しい音程やテンポを
取ることができない歌い手にとっては、自分の音質と異
なる音声に音程を合わせることは至難である。
【0008】従って本発明は、正しい音程やテンポを取
ることが得意ではない者であっても正しく歌う練習を容
易に行うことのできるカラオケ装置用の音声発声装置を
提供するものである。
【0009】
【課題を解決するための手段】本発明によれば、各音素
毎の基準音程及び基準音素長をあらかじめ記憶している
記憶手段と、歌い手からの入力音声データを音声認識し
て音素に分解する手段と、この分解した各音素毎の音声
波形の音程及び音素長を記憶手段に記憶されている対応
する基準音程及び基準音素長とそれぞれ比較し、両者の
音程若しくは音素長又は音程及び音素長が互いに異なる
場合は各音声波形を基準音程若しくは基準音素長又は基
準音程及び基準音素長に修正し、修正した各音声波形を
結合する修正手段と、この修正手段から得られる音声波
形データに基づいて音声を発声させる発声手段とを備え
た音声発声装置が提供される。
【0010】本発明の1つの実施態様においては、歌い
手からの入力音声データのピッチ周波数を検出して入力
音声データの全音程を測定することにより歌い手の音域
を測定する音域測定手段と、この音域測定手段によって
測定された歌い手の音域とその楽曲の基準音域データと
比較し、歌い手の音域がその楽曲の音域にない場合はそ
の楽曲の音域を移調する音域移調手段とをさらに備えて
いる。
【0011】本発明の1つの実施態様においては、上述
した修正手段は、分解した各音素毎の音声波形から子音
部分の音声波形及び母音部分の音声波形を抽出する手段
と、抽出した子音部分の音声波形及び母音部分の音声波
形の両方の音程を基準音程に修正する音程修正手段と、
抽出した母音部分の音声波形のみの音素長を基準音素長
に修正する音素長修正手段とを備えている。
【0012】本発明の1つの実施態様においては、上述
の修正手段から得られた音声波形データにリズムを付加
して発声手段へ送る編集手段をさらに備えている。
【0013】この編集手段は、音声波形の振幅を時間的
に変化させるエンベロープ処理と、音程を微妙に変化さ
せてビブラートを発生させるビブラート処理と、音量を
周期的に変化させるトレモロ処理と、音色を周期的に変
化させるゴロウル処理と、音程を時間的に変化させるピ
ッチ・エンベロープ処理と、ホワイトノイズを発生させ
るノイズ生成処理と、イントネーションを発生させるイ
ントネーション発生処理と、アクセントを発生させるア
クセント発生処理と、ポーズを発生させるポーズ生成処
理とを選択的に実行するものであることが好ましい。
【0014】本発明の1つの実施態様においては、上述
の発声手段から出力される音声データを圧縮する音声デ
ータ圧縮手段と、この音声データ圧縮手段によって圧縮
された音声データを記憶する圧縮データ記憶手段と、あ
らかじめ記憶されている基準音声圧縮データ又は上述の
圧縮データ記憶手段に記憶されている圧縮データを伸張
・再生し、この再生データを前述の発声手段へ送る音声
圧縮データ再生手段とを備えている。
【0015】本発明によれば、さらに、登録声紋データ
と各音素毎の基準音素パターン及び基準音素長を予め記
憶している手段と、歌い手からの入力音声データを音声
認識して音素に分解する手段と、この分解した各音素毎
の音声波形の音程及び音素長を記憶手段に記憶させ、各
音素を登録声紋データの音素パターンに置換するように
修正し、修正した各音声波形を結合する修正手段と、こ
の修正手段から得られる音声波形データに基づいて音声
を発声させる発声手段とを備えた音声発声装置が提供さ
れる。
【0016】
【作用】歌い手からの入力音声データは、音声認識され
て歌詞のフレーズ抽出が行われ音素に分解される。分解
された各音素毎の音声波形の音程及び音素長が基準音程
及び基準音素長とそれぞれ比較される。両者が互いに異
なる場合は入力音声データに関する各音声波形の周波
数、長さを基準音程及び/又は基準音素長に修正した
後、結合する。このようにして得られた音声波形データ
に基づいて音声の再生が行われる。このように、歌い手
の音声を認識して基準音程及び音素長データからはずれ
ている部分のみを修正しメロディーに合わせて音声を再
生しているので、歌い手の音質を変えることなく正しい
音程やリズムの音声を再生することができる。
【0017】
【実施例】以下図面を用いて本発明の実施例を詳細に説
明する。
【0018】図2は本発明の音声発声装置の一実施例の
全体構成を概略的に示すブロック図である。
【0019】同図に示すように、マイクロフォン1は、
フィルタ2、サンプル・ホールド回路3及びA/D変換
回路4を介してコンピュータ回路及び/又はDSP回路
に接続されている。図2においてこのコンピュータ回路
及び/又はDSP回路は、音声認識部5、移調操作部
6、音声修正部7、音声編集部8、音声データ発声部1
0、音声データ圧縮部16、圧縮音声データ再生部1
7、内部メモリ18、基準データ格納部9、及び外部記
憶媒体部15として表されている。
【0020】内部メモリ18は、コンピュータ回路及び
/又はDSP回路に入力されたデジタル信号を一時的に
記憶するように構成されている。音声認識部5は、音声
データのパターンマッチング処理を行って歌詞のフレー
ズを抽出しさらに音素分解データを抽出するように構成
されている。移調操作部6は、音声認識部5で検出した
音声データのピッチ周期から歌い手の音域を測定しこの
音域が基準データ格納部9にあらかじめ格納されている
その楽曲の音域データ9i(図11参照)と異なる場合
は楽曲の音域を移調して音域一致を図るように構成され
ている。
【0021】音声修正部7は、音声認識部5及び移調操
作部6からのデータ並びに基準データ格納部9にあらか
じめ格納されている基準音素音程データ9m及び基準音
素長データ9h(図11参照)に基づいて音声データの
各音素の母音及び子音の音程修正と音素長修正とを行う
ように構成されている。音声編集部8は、音声修正部7
によって修正された音声波形データを基準データ格納部
9にあらかじめ格納されている基準音声編集データ9j
(図11参照)を基にして編集するように構成されてい
る。音声データ発声部10は、編集された音声データを
基準データ格納部9にあらかじめ格納されている音声発
声タイミングデータ9d(図11参照)を基にしたタイ
ミングで出力するように構成されている。
【0022】コンピュータ回路及び/又はDSP回路の
出力には、D/A変換回路11、フィルタ12及びパワ
ーアンプ13を介してスピーカ14が接続されている。
【0023】コンピュータ回路及び/又はDSP回路の
音声データ圧縮部16は、音声データ発声部10から出
力された音声データを圧縮し、内部メモリ18又は外部
記憶媒体部15に格納するように構成されている。圧縮
音声データ再生部17は、必要に応じて、基準データ格
納部9にあらかじめ記憶されている基準圧縮音声データ
9k(図11参照)又は音声データ圧縮部16によって
圧縮され記憶されている音声データを再生し、その再生
データを音声データ発声部10へ出力できるように構成
されている。
【0024】図1は図2の音声発声装置の動作を説明す
るためのフローチャートである。
【0025】マイクロフォン1を介して歌い手の音声信
号が入力されると(ステップ101)、この音声信号は
フィルタ2においてそのエイリアス成分がカットされて
(ステップ102)サンプル・ホールド回路3に印加さ
れる。サンプル・ホールド回路3によってサンプリング
された(ステップ103)音声信号は、A/D変換回路
4によってデジタル信号に変換されて(ステップ10
4)コンピュータ回路及び/又はDSP回路に入力され
る。
【0026】コンピュータ回路及び/又はDSP回路に
入力されたデジタル信号は、ステップ105において音
声認識処理されることにより、歌詞のフレーズが抽出さ
れて音素分解データが抽出される。次いでステップ10
6において、基準データ格納部9にあらかじめ格納され
ている音声発声タイミングデータ9d(図11参照)と
比較することによりテンポの判定が行われる。テンポが
合っていればステップ107へ進み、合っていない場合
はステップ108へ進む。
【0027】ステップ107では、音声認識によって得
た音声データのピッチ周期から歌い手の音域を測定し、
この音域が基準データ格納部9にあらかじめ格納されて
いるその楽曲の音域データ9i(図11参照)と合って
いるかどうか判定する。音域が合っている場合はステッ
プ111へ進み、合っていない場合はステップ109へ
進んでその楽曲の音域を移調する。
【0028】ステップ111では、各音素毎の音声波形
の音程が基準データ格納部9にあらかじめ格納されてい
る基準音素音程データ9m及び基準音素長データ9h
(図11参照)による基準音程(移調が行われた場合は
これを移調した音程)と合っているかどうか判定する。
音程が合っている場合はステップ124へ進み、合って
いない場合はステップ115へ進む。ステップ115で
はその音程を基準音程に一致させるべくその音声波形の
周波数修正を行い、次のステップ119では基準データ
格納部9にあらかじめ格納されている基準音声編集デー
タ9j(図11参照)に基づいて音声データの編集を行
った後、ステップ124へ進む。
【0029】ステップ109において移調を行った場合
も、ステップ111、115及び119と全く同じ動作
を、ステップ112、116及び120においてそれぞ
れ行った後、ステップ124へ進む。
【0030】テンポが合っていないとしてステップ10
8へ進んだ場合も、ステップ107、109、111、
112、115、116、119及び120と全く同じ
動作を、ステップ108、110、113、114、1
17、118、121及び122においてそれぞれ行っ
た後、ステップ123へ進む。ステップ123では、基
準データ格納部9にあらかじめ格納されている音声発声
タイミングデータ9d(図11参照)により音声データ
の出力タイミングを修正した後、ステップ124へ進
む。
【0031】ステップ124では、音声データが適正な
テンポで音声データ発声部10から出力される。このよ
うに、コンピュータ回路及び/又はDSP回路の音声デ
ータ発声部10から出力されたデジタル音声信号は、D
/A変換回路11においてアナログ信号に変換される
(ステップ125)。このアナログ信号は、音声信号と
混変調したり高周波雑音となって外部へ悪影響を及ぼす
恐れのある可聴帯域外のイメージノイズを除去するフィ
ルタ12に印加されて高域がカットされる(ステップ1
26)。フィルタ12から出力される音声信号は、パワ
ーアンプ13において増幅され(ステップ127)スピ
ーカ14に送り込まれて音声出力される(ステップ12
8)。
【0032】図3は図2における音声認識部5の構成例
を示すブロック図であり、図4はこの音声認識部5の動
作例を説明するためのフローチャートである。以下これ
らの図を用いてこの音声認識部5について詳しく説明す
る。
【0033】音声認識部5にデジタル信号が入力される
と、まず、音声抽出処理5aによって音声部分のみの抽
出が行われる(ステップ501)。次いで、フーリエス
ペクトル処理5bによって音声波形の周波数分析が行わ
れる(ステップ502)。次にケプストラム処理5cに
よってケプストラム生成を行い(ステップ503)、フ
レーム生成処理5dでスペクトル包絡を求めて短時間ス
ペクトルのフレームを生成する(ステップ504)。ピ
ッチ周期検出処理5eでは、ケプストラムのケフレンシ
の鋭いピークから音声の基本周期を検出する(ステップ
505)。次にホルマント周波数検出処理5fによって
スペクトル包絡のピークから音声認識の判定基準となる
共振周波数を検出する(ステップ506)。声紋データ
生成処理5gでは、フレーム生成処理5dで求めたフレ
ームから声紋データを求める(ステップ507)。
【0034】パターンマッチング処理5hは、フレーム
データ又は声紋データと基準音声パターンデータ又は基
準声紋データとをパターンマッチングさせて歌い手の音
声のフレーズを抽出し、さらに歌い手の発声した歌詞の
チェックを行って間違っている場合はこれを修正、追加
するものであり、例えば、図4のステップ508〜51
3で実行される。
【0035】図4の例では、まずステップ508におい
て、基準データ格納部9にあらかじめ格納されている基
準声紋データ9e(図11参照)を読み出し、これをス
テップ507で求めた声紋データと比較する(ステップ
509)。パターンが合えばステップ512へ進んでフ
レーズ終了かどうかの判定を行う。フレーズ終了でなけ
れば再びステップ509の声紋比較を行う。パターンが
マッチしない場合は、ステップ510へ進んで歌い手の
声紋データを基準声紋データに基づいて修正し、ステッ
プ511で声紋修正データを追加又は変更してステップ
512へ進む。次のステップ513では、このように修
正、追加した声紋データを内部メモリ18に記憶する。
【0036】セグメンテーション処理5iは、単語を音
素毎の子音と母音とに分解するものであり、図4のステ
ップ514〜518で実行される。まずステップ514
において、基準データ格納部9にあらかじめ格納されて
いる基準音素分解データ9g(図11参照)を読み出
し、これと抽出されたフレーズの音素との比較を行い
(ステップ515)、音素が合っていればステップ51
7へ進んでフレーズ終了かどうかの判定を行う。フレー
ズ終了でなければ再びステップ515の音素比較を行
う。音素が合っていない場合は、ステップ516へ進ん
で音素修正を行う。フレーズ終了の場合は、ステップ5
18においてその分解した音素データを内部メモリ18
に記憶する。
【0037】音声認識部で使われる音声分析・音声認識
については、秋葉出版の「コンピュータ音声処理」
(「音声分析」第3章記載、「音声認識」第4章記載
(安居院猛・中島正之共著))、オーム社の「音声・聴
覚と神経回路網モデル」(「音声分析」24頁から36
頁記載、「音声認識」49頁から66頁記載(甘利俊一
監修・中川聖一・鹿野清宏・東倉洋一共著))、近代科
学社の「音響・音声工学」(「音声分析」113頁から
141頁記載、「音声認識」174頁から219頁記載
(古井貞煕著))等の文献に述べられているように、さ
まざまな方式が知られており、本実施例では各方式を用
いることができる。
【0038】図5は図2における移調操作部6の構成例
を示すブロック図であり、図6はこの移調操作部6の動
作例を説明するためのフローチャートである。以下これ
らの図を用いてこの移調操作部6について詳しく説明す
る。
【0039】音域測定処理6aは、音声認識部のピッチ
周期検出処理5eで抽出したピッチ周期からピッチ周波
数を検出することにより歌い手の発声した音声の全音程
を測定する(ステップ601)。移調処理6bは、測定
された音域と基準データ格納9にあらかじめ格納されて
いる楽曲音域データ9i(図11参照)とを比較し(ス
テップ602)、その曲の音域が歌い手の音域にない場
合のみその歌い手の音域に合わせてその曲の音域設定を
行い(ステップ603)、移調処理を行う(ステップ6
04)。その後、移調判定結果及び移調データを内部メ
モリ18へ記憶する(ステップ605)。
【0040】図7は図2における音声修正部7の構成例
を示すブロック図であり、図8はこの音声修正部7の動
作例を説明するためのフローチャートである。以下これ
らの図を用いてこの音声修正部7について詳しく説明す
る。
【0041】音声修正部7においては、音声認識部5及
び移調操作部6から入力されたデータを用い、歌い手の
音声を音素に分解した音素分解データから子音部分の音
声波形と母音部分の音声波形とをそれぞれ抽出し、各音
声波形の周波数、長さ及び振幅を調節することにより、
楽譜通りの音程及び音素長を有するフレーズに修正す
る。
【0042】まず、図8のステップ701において、そ
のデータが母音部分であるか子音部分であるかの判定を
行う。母音部分の場合はステップ702へ進んでその音
程が基準データ格納部9にあらかじめ格納されている基
準音素音程データ9m及び基準音素長データ9h(図1
1参照)による基準音程(移調処理がされている場合は
これを移調した音程)と合っているかどうか判定する。
音程が合っている場合はステップ706へ進み、合って
いない場合はステップ704へ進む。このステップ70
4では母音音程修正処理7aにより母音部分の音声波形
の周波数を基準音程(又はこれを移調した音程)に修正
する。ステップ706では音素長が基準データ格納部9
にあらかじめ格納されている基準音素音程データ9m及
び基準音素長データ9h(図11参照)による基準音素
長に合っているかどうか判定する。音素長が合っている
場合はステップ710へ進み、合っていない場合はステ
ップ708へ進む。このステップ708では音声音素長
修正処理7bにより母音部分の音声波形を基準音素長に
修正する。ステップ707及び709の処理内容は、上
述したステップ706及び708の処理内容と全く同じ
である。
【0043】ステップ701において子音部分であると
判定した場合は、ステップ703へ進みその音程が基準
データ格納部9にあらかじめ格納されている基準音素音
程データ9m及び基準音素長データ9h(図11参照)
による基準音程(移調処理がされている場合はこれを移
調した音程)と合っているかどうか判定する。音程が合
っている場合はステップ710へ進み、合っていない場
合はステップ705へ進む。このステップ705では子
音音程修正処理7cにより子音部分の音声波形を基準音
程(又はこれを移調した音程)に修正する。
【0044】ステップ710では、フレーズ終了かどう
かの判定を行う。フレーズ終了でなければ再びステップ
701の母音部分であるか子音部分であるかの判定を行
い、以降の処理を繰り返す。フレーズ終了の場合は、音
素結合処理7dにより母音音程修正データ、母音音素長
修正データ、子音音程修正データ、又は無修正の母音若
しくは子音を互いに結合することによって、楽譜通りの
音程及び音素長を有するフレーズを得る。次のステップ
711では、このようにして得たフレーズ修正データを
内部メモリ18に記憶する。
【0045】図9は図2における音声編集部8の構成例
を示すブロック図であり、図10はこの音声編集部8の
動作例を説明するためのフローチャートである。以下こ
れらの図を用いてこの音声編集部について説明する。
【0046】音声編集部8は、音声修正部7で修正され
た音声データについて、基準データ格納部9にあらかじ
め格納している基準音声編集データ9jを用いてリズム
を付加させる。編集機能としては、音声波形の振幅を時
間的に変化させるエンベロープ処理8a(ステップ80
1及び802)、音程を微妙に変化させてビブラートを
発生させるビブラート処理8b(ステップ803及び8
04)、音量を周期的に変化させるトレモロ処理8c
(ステップ805及び806)、音色を周期的に変化さ
せるゴロウル処理8d(ステップ807及び808)、
音程を時間的に変化させるピッチ・エンベロープ処理8
e(ステップ809及び810)、ホワイトノイズを発
生させるノイズ生成処理8f(ステップ811及び81
2)、イントネーションを発生させるイントネーション
発生処理8g(ステップ813及び814)、アクセン
トを発生させるアクセント発生処理8h(ステップ81
5及び816)、及びポーズを発生させるポーズ生成処
理8i(ステップ817及び818)があり、これらを
選択的に実行する。ステップ819ではこれらの音声編
集終了を判定し、終了でない場合はステップ801に戻
って以降の処理を繰り返す。終了の場合はステップ82
0で編集した音声データを内部メモリ18に記憶する。
【0047】音声編集部で使われる音声合成について
は、秋葉出版の「コンピュータ音声処理」(「音声合
成」第2章記載(安居院猛・中島正之共著))、オーム
社の「音声・聴覚と神経回路網モデル」(「音声合成」
36頁から40頁記載(甘利俊一監修・中川聖一・鹿野
清宏・東倉洋一共著))、近代科学社の「音響・音声工
学」(「音声合成」161頁から173頁(古井貞煕
著))等の文献に述べられているように、さまざまな方
式が知られており、本実施例では各方式を用いることが
できる。
【0048】図11は図2における基準データ格納部9
の構成例を示すブロック図である。
【0049】この基準データ格納部9は、音声認識部
5、移調操作部6、音声修正部7、音声編集部8、音声
データ発声部10、音声データ圧縮部16、及び圧縮音
声データ再生部17において処理を実行するときに必要
な基準データをあらかじめ格納しているメモリ領域であ
る。基準データとしては、曲名データ9a、伴奏データ
9b、メロディデータ9c、音声発声タイミングデータ
9d、基準声紋データ9e、基準音声パターンデータ9
f、基準音素分解データ9g、基準音素長データ9h、
楽曲音域データ9i、基準音声編集データ9j、基準圧
縮音声データ9k、登録声紋データ9l、及び基準音素
音程データ9mが格納されている。
【0050】以上の実施例の動作を要約して説明する。
伴奏データ9bにより自動演奏される楽曲に合わせて歌
い手が歌った音声がA/D変換によりデジタル信号とさ
れててコンピュータ回路及び/又はDSP回路に入力さ
れると、これが記憶されかつ音声認識される。まず、音
声抽出処理によって音声の部分のみを抽出し、処理対象
のみのデータ得る。次いで、スペクトル処理によって周
波数分布を知り、ケプストラム処理によってスペクトラ
ム包絡及びピッチ周期の抽出ができる。次のパターンマ
ッチング処理によって、歌い手の音声パターンと基準音
声パターンデータとをパターンマッチングさせることに
より各フレーズを認識することができる。次いで、セグ
メンテーション処理によって、歌い手の音声を音素単位
に分解することができる。
【0051】また、音声波をピッチ抽出することによっ
て各音素毎の音階を測定でき、このようにして測定した
歌い手の音域幅に合わせて曲の音域を移調することがで
き、これ以降、移調した音程で修正及び編集することが
できるようになる。セグメンテーション処理で音素を分
解したデータに基づいて得た子音及び母音の周波数を変
えることによって音程を変えることができ、また、母音
の長さを基準音素長に従った所定の長さに修正すること
によって楽譜通りの音素長とすることができる。このよ
うにして修正した母音と子音とを結合することによっ
て、楽譜通りの音程かつ音素長のフレーズを生成するこ
とができる。
【0052】このようにして修正された音声データを音
声編集することにより、音声にビブラート、トレモロ、
エンベロープ、イントネーション、アクセント等を与え
ることができる。編集済のデータを発声タイミングに合
わせて出力することにより、適切なテンポで歌声を発声
することができる。
【0053】このように、音程やテンポがたとえ狂った
場合にも、歌い手自身の音質で正しい音程及びテンポを
有する音声が出力されるから、正しく歌う練習を容易に
行うことができる。特に、正しい音程やテンポを取るこ
とが得意ではない歌い手や幼児にとっても歌練習を容易
に行える。また、イントネーション処理、及びアクセン
ト処理を利用することにより、外国語等の言語練習にも
使用することができる。
【0054】次に、本発明に係る音声発生装置の第2の
実施例について、図2の全体的な構成の概略図を基に説
明する。
【0055】マイクロフォン1を介して歌い手の音声信
号が入力されると、この音声信号はフィルタ2において
そのエイリアス成分がカットされてサンプル・ホールド
回路3に印加される。サンプル・ホールド回路3によっ
てサンプリングされた音声信号は、A/D変換回路4に
よってデジタル信号に変換されてコンピュータ回路及び
/又はDSP回路に入力される。
【0056】コンピュータ回路及び/又はDSP回路に
入力されたデジタル信号は、内部メモリ18に一時的に
記憶されて音声認識部5へ送られる。この音声認識部5
において、スペクトル包絡・ピッチ周期・ホルマント周
波数・声紋データ・音素分解データが求められ、音声修
正部7へ信号が送られる。
【0057】次に、この音声修正部7において、基準デ
ータ格納部9より登録声紋データ9lが読み取られる。
この音声修正部7では、登録声紋データに基づいて母
音、子音の音程修正及び音素長の修正が実行され、上述
の所定の登録声紋データに音声パターンが入れ換えら
れ、音声修正されたデータが内部メモリ18に記録され
る。
【0058】次に、音声編集部8では、音声波形を基準
音声編集データ9jに基づいて編集が行われる。この音
声編集データは、音声データ発声部10より基準データ
格納部9に格納されている音声発声タイミングデータ9
dに基づいて音声データが出力される。
【0059】音声データ圧縮部16は、音声データ発声
部10から出力された音声データを圧縮し、内部メモリ
18又は外部記憶媒体部15に格納するように構成され
ている。圧縮音声データ再生部17は、必要に応じて、
基準データ格納部9にあらかじめ記憶されている基準圧
縮音声データ9k(図11参照)又は音声データ圧縮部
16によって圧縮され記憶されている音声データを再生
し、その再生データを音声データ発声部10へ出力でき
るように構成されている。
【0060】音声データ発声部10から出力されたデジ
タル音声信号は、D/A変換回路11においてアナログ
信号に変換される。このアナログ信号は、音声信号と混
変調したり高周波雑音となって外部へ悪影響を及ぼす恐
れのある可聴帯域外のイメージノイズを除去するフィル
タ12に印加されて高域がカットされる。フィルタ12
から出力される音声信号は、パワーアンプ13において
増幅されスピーカ14に送り込まれて音声出力される。
【0061】以上述べた実施例は全て本発明を例示的に
示すものであって限定的に示すものではなく、本発明は
他の種々の変形態様及び変更態様で実施することができ
る。従って本発明の範囲は特許請求の範囲及びその均等
範囲によってのみ規定されるものである。
【0062】
【発明の効果】以上詳細に説明したように本発明では、
各音素毎の基準音程及び基準音素長をあらかじめ記憶し
ている記憶手段と、歌い手からの入力音声データを音声
認識して音素に分解する手段と、この分解した各音素毎
の音声波形の音程及び音素長を記憶手段に記憶されてい
る対応する基準音程及び基準音素長とそれぞれ比較し、
両者の音程及び/又は音素長が互いに異なる場合は各音
声波形を基準音程及び/又は基準音素長に修正し、修正
した各音声波形を結合する修正手段と、この修正手段か
ら得られる音声波形データに基づいて音声を発声させる
発声手段とを備えている。このように、歌い手の音声を
認識して基準音程及び音素長データからはずれている部
分のみを周波数変化させるなどして修正しメロディーに
合わせて音声を再生しているので、歌い手の音質を変え
ることなく正しい音程やリズムの音声を再生することが
でき、従って、正しい音程やテンポを取ることが得意で
はない者であっても正しく歌う練習を容易に行うことが
できる。
【0063】また、歌い手あるいは基準音声データなど
は音素レベルまで分解又は格納されているので、基準デ
ータ格納部に格納されている又は外部記録媒体より読み
込んだ登録声紋データに基づいて、歌い手若しくは基準
音声データの音声データを登録声紋データで置換させる
ように修正し、その修正した音声データを発声すること
ができるので、歌い手は自分のテンポと音程で他人の声
で発声させることが可能であり、また、基準の音声デー
タを他人の声で発声させることも可能になる。従って、
歌い手は自分のテンポと音程で他人が歌ったときどのく
らいずれているか客観的に判断できる。また、基準の音
声データを他人の声で発声させることによって、歌い手
は自分の音質に近い人が正しく歌ったときどの様に聞こ
えるかが確認でき自分にあった歌い方を見つけ出すこと
ができる。
【図面の簡単な説明】
【図1】図2の音声発声装置の動作を説明するためのフ
ローチャートである。
【図2】本発明の音声発声装置の一実施例の全体構成を
概略的に示すブロック図である。
【図3】図2における音声認識部の構成例を示すブロッ
ク図である。
【図4】図3の音声認識部の動作例を説明するためのフ
ローチャートである。
【図5】図2における移調操作部の構成例を示すブロッ
ク図である。
【図6】図5の移調操作部の動作例を説明するためのフ
ローチャートである。
【図7】図2における音声修正部の構成例を示すブロッ
ク図である。
【図8】図7の音声修正部の動作例を説明するためのフ
ローチャートである。
【図9】図2における音声編集部の構成例を示すブロッ
ク図である。
【図10】図9の音声編集部の動作例を説明するための
フローチャートである。
【図11】図2における基準データ格納部の構成例を示
すブロック図である。
【符号の説明】
1 マイクロフォン 2、12 フィルタ 3 サンプル・ホールド回路 4 A/D変換回路 5 音声認識部 6 移調操作部 7 音声修正部 8 音声編集部 9 基準データ格納部 10 音声データ発声部 11 D/A変換回路 13 パワーアンプ 14 スピーカ 15 外部記憶媒体部 16 音声データ圧縮部 17 圧縮音声データ再生部 18 内部メモリ

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 各音素毎の基準音程及び基準音素長をあ
    らかじめ記憶している記憶手段と、歌い手からの入力音
    声データを音声認識して音素に分解する手段と、該分解
    した各音素毎の音声波形の音程及び音素長を前記記憶手
    段に記憶されている対応する基準音程及び基準音素長と
    それぞれ比較し、両者の音程及び/又は音素長が互いに
    異なる場合は各音声波形を前記基準音程及び/又は基準
    音素長に修正し、該修正した各音声波形を結合する修正
    手段と、該修正手段から得られる音声波形データに基づ
    いて音声を発声させる発声手段とを備えたことを特徴と
    する音声発声装置。
  2. 【請求項2】 歌い手からの入力音声データのピッチ周
    波数を検出して該入力音声データの全音程を測定するこ
    とにより歌い手の音域を測定する音域測定手段と、該音
    域測定手段によって測定された歌い手の音域とその楽曲
    の基準音域データと比較し、歌い手の音域が該楽曲の音
    域にない場合は該楽曲の音域を移調する音域移調手段と
    をさらに備えたことを特徴とする請求項1に記載の音声
    発声装置。
  3. 【請求項3】 前記修正手段は、分解した各音素毎の音
    声波形から子音部分の音声波形及び母音部分の音声波形
    を抽出する手段と、抽出した子音部分の音声波形及び母
    音部分の音声波形の両方の音程を前記基準音程に修正す
    る音程修正手段と、抽出した母音部分の音声波形のみの
    音素長を前記基準音素長に修正する音素長修正手段とを
    備えていることを特徴とする請求項1又は2に記載の音
    声発声装置。
  4. 【請求項4】 前記修正手段から得られた音声波形デー
    タにリズムを付加して前記発声手段へ送る編集手段をさ
    らに備えたことを特徴とする請求項1から3のいずれか
    1項に記載の音声発声装置。
  5. 【請求項5】 前記編集手段は、音声波形の振幅を時間
    的に変化させるエンベロープ処理と、音程を微妙に変化
    させてビブラートを発生させるビブラート処理と、音量
    を周期的に変化させるトレモロ処理と、音色を周期的に
    変化させるゴロウル処理と、音程を時間的に変化させる
    ピッチ・エンベロープ処理と、ホワイトノイズを発生さ
    せるノイズ生成処理と、イントネーションを発生させる
    イントネーション発生処理と、アクセントを発生させる
    アクセント発生処理と、ポーズを発生させるポーズ生成
    処理とを選択的に実行するものであることを特徴とする
    請求項4に記載の音声発声装置。
  6. 【請求項6】 前記発声手段から出力される音声データ
    を圧縮する音声データ圧縮手段と、該音声データ圧縮手
    段によって圧縮された音声データを記憶する圧縮データ
    記憶手段と、あらかじめ記憶されている基準音声圧縮デ
    ータ又は該圧縮データ記憶手段に記憶されている圧縮デ
    ータを伸張・再生し、該再生データを前記発声手段へ送
    る音声圧縮データ再生手段とを備えたことを特徴とする
    請求項1から5のいずれか1項に記載の音声発声装置。
  7. 【請求項7】 登録声紋データと各音素毎の基準音素パ
    ターン及び基準音素長をあらかじめ記憶している手段
    と、歌い手からの入力音声データを音声認識して音素に
    分解する手段と、該分解した各音素毎の音声波形の音程
    及び音素長を前記記憶手段に記憶させ、各音素を登録声
    紋データの音素パターンに置換させる様に修正し、該修
    正した各音声波形を結合する修正手段と、該修正手段か
    ら得られる音声波形データに基づいて音声を発声させる
    発声手段とを備えたことを特徴とする音声発声装置。
JP34727993A 1993-12-27 1993-12-27 音声発声装置 Expired - Fee Related JP3362491B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34727993A JP3362491B2 (ja) 1993-12-27 1993-12-27 音声発声装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34727993A JP3362491B2 (ja) 1993-12-27 1993-12-27 音声発声装置

Publications (2)

Publication Number Publication Date
JPH07191697A true JPH07191697A (ja) 1995-07-28
JP3362491B2 JP3362491B2 (ja) 2003-01-07

Family

ID=18389146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34727993A Expired - Fee Related JP3362491B2 (ja) 1993-12-27 1993-12-27 音声発声装置

Country Status (1)

Country Link
JP (1) JP3362491B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160975A (ja) * 1994-12-08 1996-06-21 Gengo Kogaku Kenkyusho:Kk カラオケ選曲装置
JP2001117578A (ja) * 1999-10-21 2001-04-27 Yamaha Corp ハーモニー音付加装置及び方法
JP2001117599A (ja) * 1999-10-21 2001-04-27 Yamaha Corp 音声処理装置およびカラオケ装置
JP2004226589A (ja) * 2003-01-22 2004-08-12 Xing Inc 音楽再生装置
JP2005274708A (ja) * 2004-03-23 2005-10-06 Sony Corp 信号処理装置および信号処理方法、プログラム、並びに記録媒体
JP2007193151A (ja) * 2006-01-20 2007-08-02 Casio Comput Co Ltd 楽音制御装置および楽音制御処理のプログラム
JP2007316261A (ja) * 2006-05-24 2007-12-06 Casio Comput Co Ltd カラオケ装置
KR102134990B1 (ko) * 2019-01-28 2020-07-16 오은실 주파수 섹션 분석을 통한 음성 트레이닝 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5999492A (ja) * 1982-11-29 1984-06-08 ヤマハ株式会社 自動演奏装置
JPS60221786A (ja) * 1984-04-18 1985-11-06 ヤマハ株式会社 歌唱指導装置
JPH02156471A (ja) * 1988-12-08 1990-06-15 Railway Technical Res Inst カラオケ演奏制御方法およびその装置
JPH037997A (ja) * 1989-06-05 1991-01-16 Matsushita Electric Works Ltd 音声合成歌唱器
JPH0413176A (ja) * 1990-05-02 1992-01-17 Brother Ind Ltd 音程差表示機能付きカラオケ装置
JPH0417000A (ja) * 1990-05-11 1992-01-21 Brother Ind Ltd カラオケ装置
JPH0481880A (ja) * 1990-07-25 1992-03-16 Sony Corp カラオケ装置及びカラオケ装置における歌い手の歌唱の補正方法
JPH04238384A (ja) * 1991-01-22 1992-08-26 Brother Ind Ltd 練習機能付き電子音楽再生装置
JPH0543199U (ja) * 1991-11-06 1993-06-11 株式会社東芝 音響再生装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5999492A (ja) * 1982-11-29 1984-06-08 ヤマハ株式会社 自動演奏装置
JPS60221786A (ja) * 1984-04-18 1985-11-06 ヤマハ株式会社 歌唱指導装置
JPH02156471A (ja) * 1988-12-08 1990-06-15 Railway Technical Res Inst カラオケ演奏制御方法およびその装置
JPH037997A (ja) * 1989-06-05 1991-01-16 Matsushita Electric Works Ltd 音声合成歌唱器
JPH0413176A (ja) * 1990-05-02 1992-01-17 Brother Ind Ltd 音程差表示機能付きカラオケ装置
JPH0417000A (ja) * 1990-05-11 1992-01-21 Brother Ind Ltd カラオケ装置
JPH0481880A (ja) * 1990-07-25 1992-03-16 Sony Corp カラオケ装置及びカラオケ装置における歌い手の歌唱の補正方法
JPH04238384A (ja) * 1991-01-22 1992-08-26 Brother Ind Ltd 練習機能付き電子音楽再生装置
JPH0543199U (ja) * 1991-11-06 1993-06-11 株式会社東芝 音響再生装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160975A (ja) * 1994-12-08 1996-06-21 Gengo Kogaku Kenkyusho:Kk カラオケ選曲装置
JP2001117578A (ja) * 1999-10-21 2001-04-27 Yamaha Corp ハーモニー音付加装置及び方法
JP2001117599A (ja) * 1999-10-21 2001-04-27 Yamaha Corp 音声処理装置およびカラオケ装置
JP2004226589A (ja) * 2003-01-22 2004-08-12 Xing Inc 音楽再生装置
JP2005274708A (ja) * 2004-03-23 2005-10-06 Sony Corp 信号処理装置および信号処理方法、プログラム、並びに記録媒体
US7868240B2 (en) 2004-03-23 2011-01-11 Sony Corporation Signal processing apparatus and signal processing method, program, and recording medium
JP4650662B2 (ja) * 2004-03-23 2011-03-16 ソニー株式会社 信号処理装置および信号処理方法、プログラム、並びに記録媒体
JP2007193151A (ja) * 2006-01-20 2007-08-02 Casio Comput Co Ltd 楽音制御装置および楽音制御処理のプログラム
JP2007316261A (ja) * 2006-05-24 2007-12-06 Casio Comput Co Ltd カラオケ装置
KR102134990B1 (ko) * 2019-01-28 2020-07-16 오은실 주파수 섹션 분석을 통한 음성 트레이닝 시스템

Also Published As

Publication number Publication date
JP3362491B2 (ja) 2003-01-07

Similar Documents

Publication Publication Date Title
CN112331222B (zh) 一种转换歌曲音色的方法、系统、设备及存储介质
JP5598516B2 (ja) カラオケ用音声合成システム,及びパラメータ抽出装置
CN112992109A (zh) 辅助歌唱系统、辅助歌唱方法及其非瞬时计算机可读取记录媒体
Toh et al. Multiple-Feature Fusion Based Onset Detection for Solo Singing Voice.
Kim Singing voice analysis/synthesis
JP3362491B2 (ja) 音声発声装置
CN115050387A (zh) 一种艺术测评中多维度唱奏分析测评方法及系统
Lerch Software-based extraction of objective parameters from music performances
Nakano et al. A drum pattern retrieval method by voice percussion
JP6252420B2 (ja) 音声合成装置、及び音声合成システム
JP5360489B2 (ja) 音素符号変換装置および音声合成装置
JP4364977B2 (ja) 音声変換装置及び方法
JP2011180194A (ja) 音素符号変換装置、音素符号データベース、および音声合成装置
JP4862413B2 (ja) カラオケ装置
CN113129923A (zh) 一种艺术测评中多维度唱奏分析测评方法及系统
Kirkov et al. Formant analysis of traditional bulgarian singing from rhodope region
Tait Wavelet analysis for onset detection
JP2022065554A (ja) 音声合成方法およびプログラム
JP5810947B2 (ja) 発声区間特定装置、音声パラメータ生成装置、及びプログラム
JP2008040258A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JPH01288900A (ja) 歌声伴奏装置
JP6365483B2 (ja) カラオケ装置,カラオケシステム,及びプログラム
JPH1195798A (ja) 音声合成方法および音声合成装置
JPH0895588A (ja) 音声合成装置
JPH07191698A (ja) 音声発声装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020924

LAPS Cancellation because of no payment of annual fees