JP3263546B2 - 音響再生装置 - Google Patents
音響再生装置Info
- Publication number
- JP3263546B2 JP3263546B2 JP24934094A JP24934094A JP3263546B2 JP 3263546 B2 JP3263546 B2 JP 3263546B2 JP 24934094 A JP24934094 A JP 24934094A JP 24934094 A JP24934094 A JP 24934094A JP 3263546 B2 JP3263546 B2 JP 3263546B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- input voice
- tempo
- difference
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、例えば、歌い手の音声
のテンポや音程に合わせて、伴奏音のテンポや音程を補
正する音響再生装置に関する。
のテンポや音程に合わせて、伴奏音のテンポや音程を補
正する音響再生装置に関する。
【０００２】
【従来の技術】従来、カラオケ装置等の音響再生装置に
音程調整機を接続して、伴奏音の曲のテンポを変えずに
音程のみを変化させることが行われていた。
音程調整機を接続して、伴奏音の曲のテンポを変えずに
音程のみを変化させることが行われていた。
【０００３】音響再生装置の伴奏音の音程の調整に関し
ては、特開平５−３５２８６号公報に示された如く、伴
奏音の途中であっても、あらかじめ設定された時間内で
歌い手の音声の音程と伴奏音の音程との間の音程差を検
出し、その後、自動的に伴奏音の音程を歌い手の音程に
近似するように補正する方法があった。
ては、特開平５−３５２８６号公報に示された如く、伴
奏音の途中であっても、あらかじめ設定された時間内で
歌い手の音声の音程と伴奏音の音程との間の音程差を検
出し、その後、自動的に伴奏音の音程を歌い手の音程に
近似するように補正する方法があった。
【０００４】
【発明が解決しようとする課題】しかしながら、従来の
如く、歌い手の音声の音程に近似するように自動的に伴
奏音の音程を補正する方法では、歌い手の音声と伴奏音
との時間的なずれ、すなわち、歌い手の音声と伴奏音と
の間でテンポ差はないことを前提としており、この状況
下で、歌い手の音声と伴奏音との間にテンポ差が生じて
しまうと、前記伴奏音の音程が誤って補正されるという
問題があった。
如く、歌い手の音声の音程に近似するように自動的に伴
奏音の音程を補正する方法では、歌い手の音声と伴奏音
との時間的なずれ、すなわち、歌い手の音声と伴奏音と
の間でテンポ差はないことを前提としており、この状況
下で、歌い手の音声と伴奏音との間にテンポ差が生じて
しまうと、前記伴奏音の音程が誤って補正されるという
問題があった。
【０００５】そこで、本発明は前述の問題点に鑑み為さ
れたものであり、歌い手の音声と伴奏音との間に許容差
内のテンポ差があっても、該歌い手の音程に合わせて、
前記伴奏音のテンポ及び音程を補正する音響再生装置を
提供することを目的とする。
れたものであり、歌い手の音声と伴奏音との間に許容差
内のテンポ差があっても、該歌い手の音程に合わせて、
前記伴奏音のテンポ及び音程を補正する音響再生装置を
提供することを目的とする。
【０００６】
【課題を解決するための手段】本発明による音響再生装
置は、第１の入力音声の音程を抽出する第１音程抽出手
段と、第２の入力音声の音程を抽出する第２音程抽出手
段と、前記各々の音程の時間履歴を記憶する記憶手段
と、該音程の時間履歴を用いて、非線形パターンマッチ
ング手法により第１の入力音声と第２の入力音声との間
のテンポ差および音程差を算出する計算手段と、第２の
入力音声のテンポおよび音程を第１の入力音声のテンポ
および音程に近似させるよう補正する補正手段と、該補
正手段により補正された第２の入力音声或は、前記算出
されたテンポ差および音程差の補正を行った第３の入力
音声を再生する手段と、を具備することを特徴としてい
る。加えて、前記非線形パターンマッチング手法にＤＰ
マッチングを用い、該ＤＰマッチングより求められる時
間正規化関数の傾きにより、前記第１の入力音声と第２
の入力音声とのテンポ差を算出し、この後、斯かるテン
ポ差に応じて補正された第２の入力音声の音程の時間履
歴と第１の入力音声の音程の時間履歴から算出される平
均音程差を第１の入力音声と第２の入力音声との音程差
として算出することを特徴とする。
置は、第１の入力音声の音程を抽出する第１音程抽出手
段と、第２の入力音声の音程を抽出する第２音程抽出手
段と、前記各々の音程の時間履歴を記憶する記憶手段
と、該音程の時間履歴を用いて、非線形パターンマッチ
ング手法により第１の入力音声と第２の入力音声との間
のテンポ差および音程差を算出する計算手段と、第２の
入力音声のテンポおよび音程を第１の入力音声のテンポ
および音程に近似させるよう補正する補正手段と、該補
正手段により補正された第２の入力音声或は、前記算出
されたテンポ差および音程差の補正を行った第３の入力
音声を再生する手段と、を具備することを特徴としてい
る。加えて、前記非線形パターンマッチング手法にＤＰ
マッチングを用い、該ＤＰマッチングより求められる時
間正規化関数の傾きにより、前記第１の入力音声と第２
の入力音声とのテンポ差を算出し、この後、斯かるテン
ポ差に応じて補正された第２の入力音声の音程の時間履
歴と第１の入力音声の音程の時間履歴から算出される平
均音程差を第１の入力音声と第２の入力音声との音程差
として算出することを特徴とする。
【０００７】また、前記ＤＰマッチングより求められる
時間正規化関数の傾きに制限を設け、前記第２の入力音
声のテンポに対する前記第１の入力音声のテンポ差を設
定値以上に補正しないことを特徴とする。
時間正規化関数の傾きに制限を設け、前記第２の入力音
声のテンポに対する前記第１の入力音声のテンポ差を設
定値以上に補正しないことを特徴とする。
【０００８】さらに、前記第２の入力音声のテンポ及び
音程を前記第１の入力音声のテンポおよび音程に近似さ
せるように補正する補正期間を設定し、該補正期間後
は、前記テンポ差および音程差の補正量を一定に保つよ
うに第２の入力音声或は、前記第３の入力音声を再生す
ることを特徴とする。
音程を前記第１の入力音声のテンポおよび音程に近似さ
せるように補正する補正期間を設定し、該補正期間後
は、前記テンポ差および音程差の補正量を一定に保つよ
うに第２の入力音声或は、前記第３の入力音声を再生す
ることを特徴とする。
【０００９】一方、前記第２の入力音声或は、第３の入
力音声のテンポ及び音程の補正の有無を指示するための
手元スイッチを備えており、該手元スイッチにより、操
作者が前記補正期間を指定できることを特徴とする。
力音声のテンポ及び音程の補正の有無を指示するための
手元スイッチを備えており、該手元スイッチにより、操
作者が前記補正期間を指定できることを特徴とする。
【００１０】
【作用】本発明の音響再生装置は、操作者の指示によ
り、第２の入力音声或は、第３の入力音声のテンポ及び
音程を補正するように補正開始の命令をうけ、まず、第
１の入力音声及び第２の入力音声の音程を抽出し、斯か
る各々の音声の一定期間の音程の時間履歴を記憶する。
り、第２の入力音声或は、第３の入力音声のテンポ及び
音程を補正するように補正開始の命令をうけ、まず、第
１の入力音声及び第２の入力音声の音程を抽出し、斯か
る各々の音声の一定期間の音程の時間履歴を記憶する。
【００１１】次に、該音程の時間履歴を用いて、非線形
パターンマッチング手法により第１の入力音声と第２の
入力音声との間のテンポ差および音程差を算出する。
パターンマッチング手法により第１の入力音声と第２の
入力音声との間のテンポ差および音程差を算出する。
【００１２】斯かる非線形パターンマッチング手法にＤ
Ｐマッチングを用いると、該ＤＰマッチングより求めら
れる時間正規化関数の傾きにより、第１の入力音声と第
２の入力音声とのテンポ差が算出される。この時、該時
間正規化関数の傾きは、あらかじめ設定されたある許容
範囲内であれば、該傾きを第１の入力音声と第２の入力
音声のテンポ差として算出し、許容範囲外であれば、該
テンポ差は補正不可であると判断する。
Ｐマッチングを用いると、該ＤＰマッチングより求めら
れる時間正規化関数の傾きにより、第１の入力音声と第
２の入力音声とのテンポ差が算出される。この時、該時
間正規化関数の傾きは、あらかじめ設定されたある許容
範囲内であれば、該傾きを第１の入力音声と第２の入力
音声のテンポ差として算出し、許容範囲外であれば、該
テンポ差は補正不可であると判断する。
【００１３】一方、テンポ差が許容範囲内にあれば、前
記時間正規化関数によって第２の入力音声の音程の時間
履歴が第１の入力音声の音程の時間履歴に対し、近似な
テンポになるよう補正され、該補正された第２の入力音
声の音程の時間履歴と第１の入力音声の音程の時間履歴
とから算出される平均音程差を第１の入力音声と第２の
入力音声との音程差として算出する。
記時間正規化関数によって第２の入力音声の音程の時間
履歴が第１の入力音声の音程の時間履歴に対し、近似な
テンポになるよう補正され、該補正された第２の入力音
声の音程の時間履歴と第１の入力音声の音程の時間履歴
とから算出される平均音程差を第１の入力音声と第２の
入力音声との音程差として算出する。
【００１４】最後に、前記算出されたテンポ差および音
程差により、第２の入力音声のテンポ及び音程を第１の
入力音声のテンポおよび音程に近似させるように第２の
入力音声を補正して再生するか或は、前記算出されたテ
ンポ差および音程差により、第３の入力音声のテンポ及
び音程を第１の入力音声のテンポおよび音程に近似させ
るように第３の入力音声を補正して再生する。
程差により、第２の入力音声のテンポ及び音程を第１の
入力音声のテンポおよび音程に近似させるように第２の
入力音声を補正して再生するか或は、前記算出されたテ
ンポ差および音程差により、第３の入力音声のテンポ及
び音程を第１の入力音声のテンポおよび音程に近似させ
るように第３の入力音声を補正して再生する。
【００１５】
【実施例】図１は、本発明による音響再生装置をカラオ
ケ装置に適用した場合の概略構成図である。通常、歌い
手の音声は、マイク１を介して、アナログ音声信号に変
換され、ミキシング回路１２に送信される。一方、楽音
情報記録媒体５にはＭＩＤＩ（Musical Instrument Dig
ital Interface）情報と呼ばれるディジタルの伴奏音の
信号が記憶されており、該ディジタル伴奏音信号は、テ
ンポ差補正回路９および音程差補正回路１０を介するも
のの、補正されずに通過し、Ｄ／Ａ変換器１１によりア
ナログ伴奏音信号に変換され、ミキシング回路１２に送
信される。ミキシング回路１２では、該アナログ伴奏音
信号と前記アナログ音声信号とがミキシング、増幅さ
れ、スピーカー１３により、歌い手の音声と伴奏音とが
混在した音として再生される。
ケ装置に適用した場合の概略構成図である。通常、歌い
手の音声は、マイク１を介して、アナログ音声信号に変
換され、ミキシング回路１２に送信される。一方、楽音
情報記録媒体５にはＭＩＤＩ（Musical Instrument Dig
ital Interface）情報と呼ばれるディジタルの伴奏音の
信号が記憶されており、該ディジタル伴奏音信号は、テ
ンポ差補正回路９および音程差補正回路１０を介するも
のの、補正されずに通過し、Ｄ／Ａ変換器１１によりア
ナログ伴奏音信号に変換され、ミキシング回路１２に送
信される。ミキシング回路１２では、該アナログ伴奏音
信号と前記アナログ音声信号とがミキシング、増幅さ
れ、スピーカー１３により、歌い手の音声と伴奏音とが
混在した音として再生される。
【００１６】ここで、歌い手の操作により、伴奏音のテ
ンポ及び音程を補正して再生する場合を図２に示す処理
手順に沿って説明する。
ンポ及び音程を補正して再生する場合を図２に示す処理
手順に沿って説明する。
【００１７】本実施例では、第１の入力音声を歌い手の
音声、第２の入力音声を楽音情報記憶媒体５に記憶され
ている歌い手の手本となる教師音信号、及び第３の入力
音声を楽音情報記憶媒体５に記憶されている伴奏音信号
として説明する。
音声、第２の入力音声を楽音情報記憶媒体５に記憶され
ている歌い手の手本となる教師音信号、及び第３の入力
音声を楽音情報記憶媒体５に記憶されている伴奏音信号
として説明する。
【００１８】ステップＳ１では、マイク１に取りつけら
れた手元スイッチを歌い手が操作することにより、本発
明によるカラオケ装置は伴奏音を補正する補正開始命令
を受ける。
れた手元スイッチを歌い手が操作することにより、本発
明によるカラオケ装置は伴奏音を補正する補正開始命令
を受ける。
【００１９】しかる後、直ちに（第１の入力音声であ
る）歌い手のアナログ音声信号は、前述した通常信号経
路とは別に、Ａ／Ｄ変換器２によって、ディジタル音声
信号に変換される。Ａ／Ｄ変換の際のＡ／Ｄ変換器２の
標本化周波数は２ｋＨｚとし、標本化の前に音声信号は
カットオフ周波数１ｋＨｚのローパスフィルタを通過す
る。
る）歌い手のアナログ音声信号は、前述した通常信号経
路とは別に、Ａ／Ｄ変換器２によって、ディジタル音声
信号に変換される。Ａ／Ｄ変換の際のＡ／Ｄ変換器２の
標本化周波数は２ｋＨｚとし、標本化の前に音声信号は
カットオフ周波数１ｋＨｚのローパスフィルタを通過す
る。
【００２０】そして、ステップＳ２では、前記ディジタ
ル音声信号は、音程抽出回路３により時系列的に順次、
自己相関法などの信号処理技術を用いて、歌い手の音声
の音程を算出し、該歌い手の音程の時間履歴が、バッフ
ァメモリ４に記憶される。実施例では、音程抽出回路３
は、計測時間２０ｍｓｅｃ毎に平均された音程を抽出
し、バッファメモリ４には、６ｓｅｃの時間長の前記歌
い手の音程の時間履歴が記憶される。
ル音声信号は、音程抽出回路３により時系列的に順次、
自己相関法などの信号処理技術を用いて、歌い手の音声
の音程を算出し、該歌い手の音程の時間履歴が、バッフ
ァメモリ４に記憶される。実施例では、音程抽出回路３
は、計測時間２０ｍｓｅｃ毎に平均された音程を抽出
し、バッファメモリ４には、６ｓｅｃの時間長の前記歌
い手の音程の時間履歴が記憶される。
【００２１】一方、楽音情報記憶媒体５には、前述の如
く、予め音程、音色、音量などの信号が分離された状態
でＭＩＤＩ情報と呼ばれる（第２の入力音声である）歌
い手の手本となる教師音信号及び（第３の入力音声であ
る）ディジタル伴奏音信号が記憶されている。従って、
音程抽出回路６により教師音の音程が抽出され、斯かる
教師音の音程の時間履歴を５ｓｅｃの時間長でバッファ
メモリ７に記憶する。バッファメモリ７に記憶する教師
音の音程の時間履歴は、前記歌い手の音程時間履歴同
様、計測時間２０ｍｓｅｃ毎の平均音程となるよう間引
き或は、線形補間される。
く、予め音程、音色、音量などの信号が分離された状態
でＭＩＤＩ情報と呼ばれる（第２の入力音声である）歌
い手の手本となる教師音信号及び（第３の入力音声であ
る）ディジタル伴奏音信号が記憶されている。従って、
音程抽出回路６により教師音の音程が抽出され、斯かる
教師音の音程の時間履歴を５ｓｅｃの時間長でバッファ
メモリ７に記憶する。バッファメモリ７に記憶する教師
音の音程の時間履歴は、前記歌い手の音程時間履歴同
様、計測時間２０ｍｓｅｃ毎の平均音程となるよう間引
き或は、線形補間される。
【００２２】従って、バッファメモリ４には前記補正開
始命令より時間起算した６ｓｅｃ分の前記歌い手の音程
の時間履歴が記憶され、バッファメモリ７には前記補正
開始命令より時間起算した５ｓｅｃ分の前記教師音の音
程の時間履歴が記憶されており、斯かる各々の音程の時
間履歴を用いて、非線形パタ−ンマッチング回路８によ
り、前記歌い手の音声と教師音とのテンポ差及び音程差
を算出する。
始命令より時間起算した６ｓｅｃ分の前記歌い手の音程
の時間履歴が記憶され、バッファメモリ７には前記補正
開始命令より時間起算した５ｓｅｃ分の前記教師音の音
程の時間履歴が記憶されており、斯かる各々の音程の時
間履歴を用いて、非線形パタ−ンマッチング回路８によ
り、前記歌い手の音声と教師音とのテンポ差及び音程差
を算出する。
【００２３】次に、ステップＳ３における前記テンポ差
及び音程差の算出方法について述べる。本実施例では、
ＤＰマッチング手法により前記歌い手の音声と教師音と
のテンポ差及び音程差を算出する。ＤＰマッチング手法
に関しては、日本音響学会誌Vol.27 No.9 pp483-487 に
記載されており、本実施例では、歌い手の音程の時間履
歴と教師音の音程の時間履歴とにより、両者の音程差の
絶対値が前記補正開始命令発生より時間起算した５ｓｅ
ｃの間の個々の時点で、その時点に至る累積音程差が最
小となるような時間軸正規化関数を求める。
及び音程差の算出方法について述べる。本実施例では、
ＤＰマッチング手法により前記歌い手の音声と教師音と
のテンポ差及び音程差を算出する。ＤＰマッチング手法
に関しては、日本音響学会誌Vol.27 No.9 pp483-487 に
記載されており、本実施例では、歌い手の音程の時間履
歴と教師音の音程の時間履歴とにより、両者の音程差の
絶対値が前記補正開始命令発生より時間起算した５ｓｅ
ｃの間の個々の時点で、その時点に至る累積音程差が最
小となるような時間軸正規化関数を求める。
【００２４】実施例では、教師音の音程時間履歴は、５
ｓｅｃ分記憶され、音程計測時間は２０ｍｓｅｃ単位で
あるので、 Ａ1 ，Ａ2 ，・・・・・，Ａ250 なる２５０個の音程の時系列データとして表される。同
様に、歌い手の音程時間履歴は、６ｓｅｃ分記憶されて
いるので、 Ｂ1 ，Ｂ2 ，・・・・・，Ｂ300 なる音程の時系列データとして表される。図３はＤＰマ
ッチング手法による時間軸正規化関数の計算例を示す。
時間軸正規化関数は、格子点（Ａ1，Ｂ1）を起点とし、
この起点からすべての格子点における累積音程差の最小
値を累積距離として求め、パターンマッチングを終了す
る格子点（Ａ250，Ｂtr）から、逆時間方向に累積距離
が小さくなる経路をたどることによって求める。尚、Ｂ
trとは、教師音の音程データＡ250に対応する歌い手の
音程データをいう。
ｓｅｃ分記憶され、音程計測時間は２０ｍｓｅｃ単位で
あるので、 Ａ1 ，Ａ2 ，・・・・・，Ａ250 なる２５０個の音程の時系列データとして表される。同
様に、歌い手の音程時間履歴は、６ｓｅｃ分記憶されて
いるので、 Ｂ1 ，Ｂ2 ，・・・・・，Ｂ300 なる音程の時系列データとして表される。図３はＤＰマ
ッチング手法による時間軸正規化関数の計算例を示す。
時間軸正規化関数は、格子点（Ａ1，Ｂ1）を起点とし、
この起点からすべての格子点における累積音程差の最小
値を累積距離として求め、パターンマッチングを終了す
る格子点（Ａ250，Ｂtr）から、逆時間方向に累積距離
が小さくなる経路をたどることによって求める。尚、Ｂ
trとは、教師音の音程データＡ250に対応する歌い手の
音程データをいう。
【００２５】図３は横軸に教師音の音程時間履歴をと
り、縦軸に歌い手の音程時間履歴をとっており、前述の
格子点と呼ばれる座標より構成される。ここで、時間軸
正規化関数３１は、ＤＰマッチング手法により、線分３
５上の（Ａ250，Ｂ200）から（Ａ250，Ｂ300）までの各
格子点における、格子点（Ａ1，Ｂ1）からの累積音程差
を最小とする累積距離と呼ばれる値の内、最も小さい累
積距離の値を有する格子点（Ａ250，Ｂtr）を始点とし
て、時間逆進行方向に累積距離が小さくなる経路をたど
ることによって求められる。実施例では、歌い手の音程
測定データＢ200は、前記補正開始命令から４ｓｅｃ後
にあたり、求められた時間軸正規化関数３１より、前記
補正命令開始直後の歌い手の歌い出しが教師音に対して
遅れたにもかかわらず、該補正命令開始５秒後の教師音
に対して早く歌い終わっていることがわかる。図３中、
線分３２は（Ａ1，Ｂ1）及び（Ａ250，Ｂ250）を通る傾
き１の線分であり、時間軸正規化関数が線分３２と一致
すれば、教師音と歌い手の音声の時間的なずれ、すなわ
ち、テンポ差はない。これに対し、線分３３
（（Ａ25 0，Ｂ300）を通り傾き１の線分）及び、線分３
４（（Ａ250，Ｂ200）を通り傾き１の線分）は時間軸整
合窓と呼ばれる座標領域を形成し、時間軸正規化関数が
線分３３及び線分３４の間の時間整合窓から外れた場合
は、非現実的であるとして、前記テンポ差は補正しない
ものと考える。但し、実施例では、時間軸正規化関数
は、前述の如き逆時間方向に経路を探索する際、前記時
間整合窓の範囲を越えようとすれば、強制的に時間整合
窓内での最も累積距離が小さい他の格子点を選択するの
で、必ず時間軸整合窓の範囲の中での時間軸正規化関数
が求まる。実施例では、時間軸正規化関数３１に対し
て、最小二乗法により近似直線３６を得、直線３６の傾
きをテンポ差補正量とした。
り、縦軸に歌い手の音程時間履歴をとっており、前述の
格子点と呼ばれる座標より構成される。ここで、時間軸
正規化関数３１は、ＤＰマッチング手法により、線分３
５上の（Ａ250，Ｂ200）から（Ａ250，Ｂ300）までの各
格子点における、格子点（Ａ1，Ｂ1）からの累積音程差
を最小とする累積距離と呼ばれる値の内、最も小さい累
積距離の値を有する格子点（Ａ250，Ｂtr）を始点とし
て、時間逆進行方向に累積距離が小さくなる経路をたど
ることによって求められる。実施例では、歌い手の音程
測定データＢ200は、前記補正開始命令から４ｓｅｃ後
にあたり、求められた時間軸正規化関数３１より、前記
補正命令開始直後の歌い手の歌い出しが教師音に対して
遅れたにもかかわらず、該補正命令開始５秒後の教師音
に対して早く歌い終わっていることがわかる。図３中、
線分３２は（Ａ1，Ｂ1）及び（Ａ250，Ｂ250）を通る傾
き１の線分であり、時間軸正規化関数が線分３２と一致
すれば、教師音と歌い手の音声の時間的なずれ、すなわ
ち、テンポ差はない。これに対し、線分３３
（（Ａ25 0，Ｂ300）を通り傾き１の線分）及び、線分３
４（（Ａ250，Ｂ200）を通り傾き１の線分）は時間軸整
合窓と呼ばれる座標領域を形成し、時間軸正規化関数が
線分３３及び線分３４の間の時間整合窓から外れた場合
は、非現実的であるとして、前記テンポ差は補正しない
ものと考える。但し、実施例では、時間軸正規化関数
は、前述の如き逆時間方向に経路を探索する際、前記時
間整合窓の範囲を越えようとすれば、強制的に時間整合
窓内での最も累積距離が小さい他の格子点を選択するの
で、必ず時間軸整合窓の範囲の中での時間軸正規化関数
が求まる。実施例では、時間軸正規化関数３１に対し
て、最小二乗法により近似直線３６を得、直線３６の傾
きをテンポ差補正量とした。
【００２６】次に、ステップＳ５におけるテンポ差補正
回路９での処理について述べる。テンポ差補正回路９で
は、非線形パターンマッチング回路８で得られたテンポ
差補正量を用い、伴奏音の通常再生速度を該テンポ差補
正量で除した値を伴奏音の補正再生速度とする。実施例
では、テンポ差補正量０．９７が得られた。
回路９での処理について述べる。テンポ差補正回路９で
は、非線形パターンマッチング回路８で得られたテンポ
差補正量を用い、伴奏音の通常再生速度を該テンポ差補
正量で除した値を伴奏音の補正再生速度とする。実施例
では、テンポ差補正量０．９７が得られた。
【００２７】最後に、ステップＳ６における音程差補正
回路１０での処理について述べる。音程差補正回路１０
では、図３に示す非線形パターンマッチング回路８で得
られた時間軸正規化関数３１の経路に沿って、前記歌い
手の音程時間履歴に対して時間軸上、逐次的に対応する
教師音の音程差の総和より平均を求め、その平均音程差
を音程差補正量として伴奏音の音程を補正する。具体的
に、図４を用いて説明する。図４の上段にバッファメモ
リ７に記憶されている歌い手の音程時間履歴の実施例を
示し、下段にバッファメモリ４に記憶されている教師音
の音程時間履歴の実施例を示す。得られた時間軸正規化
関数３１の経路をたどることにより、Ａ 250にはＢtr、
Ａ215にはＢ205、・・・，Ａ1 にはＢ17といった具合
に、時間的に非線形な対応が得られる。音程差補正量
は、前記それぞれの時間軸に対応する音程差の平均値に
より算出される。
回路１０での処理について述べる。音程差補正回路１０
では、図３に示す非線形パターンマッチング回路８で得
られた時間軸正規化関数３１の経路に沿って、前記歌い
手の音程時間履歴に対して時間軸上、逐次的に対応する
教師音の音程差の総和より平均を求め、その平均音程差
を音程差補正量として伴奏音の音程を補正する。具体的
に、図４を用いて説明する。図４の上段にバッファメモ
リ７に記憶されている歌い手の音程時間履歴の実施例を
示し、下段にバッファメモリ４に記憶されている教師音
の音程時間履歴の実施例を示す。得られた時間軸正規化
関数３１の経路をたどることにより、Ａ 250にはＢtr、
Ａ215にはＢ205、・・・，Ａ1 にはＢ17といった具合
に、時間的に非線形な対応が得られる。音程差補正量
は、前記それぞれの時間軸に対応する音程差の平均値に
より算出される。
【００２８】以上のテンポ差及び音程差の補正処理を楽
音情報記憶媒体５より得られるディジタル伴奏音信号に
施し、以後、一定の補正量により補正されたディジタル
伴奏音信号は、Ｄ／Ａ変換器１１を経てアナログ信号と
なり、ミキシング回路１２で歌い手の音声信号とミキシ
ングされ、スピーカー１３によって再生される。
音情報記憶媒体５より得られるディジタル伴奏音信号に
施し、以後、一定の補正量により補正されたディジタル
伴奏音信号は、Ｄ／Ａ変換器１１を経てアナログ信号と
なり、ミキシング回路１２で歌い手の音声信号とミキシ
ングされ、スピーカー１３によって再生される。
【００２９】一方、前記補正開始命令が実施されない場
合は、楽音情報記憶媒体５から供給されるディジタル伴
奏音信号は、テンポ差補正回路９及び音程差補正回路１
０を補正せずに通過して、Ｄ／Ａ変換器１１を経てアナ
ログ信号となり、ミキシング回路１２で歌い手の音声信
号とミキシングされ、スピーカー１３によって再生され
る。実施例では、Ｄ／Ａ変換器１１の標本化速度を４
４．１ｋＨｚとし、Ｄ／Ａ変換された直後の伴奏音信号
はカットオフ周波数２０ｋＨｚのローパスフィルタを通
過する。
合は、楽音情報記憶媒体５から供給されるディジタル伴
奏音信号は、テンポ差補正回路９及び音程差補正回路１
０を補正せずに通過して、Ｄ／Ａ変換器１１を経てアナ
ログ信号となり、ミキシング回路１２で歌い手の音声信
号とミキシングされ、スピーカー１３によって再生され
る。実施例では、Ｄ／Ａ変換器１１の標本化速度を４
４．１ｋＨｚとし、Ｄ／Ａ変換された直後の伴奏音信号
はカットオフ周波数２０ｋＨｚのローパスフィルタを通
過する。
【００３０】ここで、楽音情報記憶媒体５に、（第２の
入力音声である）歌い方の手本となる教師音信号が記憶
されていない場合でも、（第３の入力音声である）伴奏
音信号の音程時間履歴を教師音信号の音程時間履歴の代
わりに用いることによって、（第１の入力音声である）
歌い手の音声とのテンポ差及び音程を算出し、伴奏音自
信のテンポ及び音程が補正可能であることは言うまでも
ない。
入力音声である）歌い方の手本となる教師音信号が記憶
されていない場合でも、（第３の入力音声である）伴奏
音信号の音程時間履歴を教師音信号の音程時間履歴の代
わりに用いることによって、（第１の入力音声である）
歌い手の音声とのテンポ差及び音程を算出し、伴奏音自
信のテンポ及び音程が補正可能であることは言うまでも
ない。
【００３１】
【発明の効果】本発明による音響再生装置によれば、操
作者の希望するタイミングで、第１の入力音声のテンポ
及び音程に合わせて、第２の入力音声或は、第３の入力
音声を補正することが可能になるので、例えば、第１の
入力音声を歌い手の音声として、補正対象を伴奏音とし
たようなカラオケ装置に適用した場合、歌い手の希望す
るタイミングで、歌い手のテンポ及び音程に合わせて補
正された伴奏音が再生されるため、歌い手は気持ち良く
歌を歌うことができ、カラオケの娯楽性が高められる。
作者の希望するタイミングで、第１の入力音声のテンポ
及び音程に合わせて、第２の入力音声或は、第３の入力
音声を補正することが可能になるので、例えば、第１の
入力音声を歌い手の音声として、補正対象を伴奏音とし
たようなカラオケ装置に適用した場合、歌い手の希望す
るタイミングで、歌い手のテンポ及び音程に合わせて補
正された伴奏音が再生されるため、歌い手は気持ち良く
歌を歌うことができ、カラオケの娯楽性が高められる。
【００３２】また、歌い手は、手元スイッチを操作する
ことによって、前述の補正開始をカラオケ装置に指示で
きるので、非常に良い操作性が得られる。加えて、テン
ポ差及び音程差の補正量に制限があるため、伴奏音が補
正されすぎて、歌い手に違和感を生じさせるようなこと
なくカラオケが楽しめるといった効果を奏する。
ことによって、前述の補正開始をカラオケ装置に指示で
きるので、非常に良い操作性が得られる。加えて、テン
ポ差及び音程差の補正量に制限があるため、伴奏音が補
正されすぎて、歌い手に違和感を生じさせるようなこと
なくカラオケが楽しめるといった効果を奏する。
【図１】本発明の音響再生装置の概略構成図である。
【図２】本発明の音響再生装置の概略処理手順を示す図
である。
である。
【図３】本発明の音響再生装置の構成をなす非線形パタ
ーンマッチング回路によるＤＰマッチング計算結果例で
ある。
ーンマッチング回路によるＤＰマッチング計算結果例で
ある。
【図４】教師音の音程時間履歴及び歌い手の音程の時間
履歴を示す図である。
履歴を示す図である。
１ ・・・マイク ２ ・・・Ａ／Ｄ変換器 ３，６・・・音程抽出回路 ４，７・・・バッファメモリ ８ ・・・非線形パターンマッチング回路 ９ ・・・テンポ差補正回路 １０ ・・・音程差補正回路 １１ ・・・Ｄ／Ａ変換器 １２ ・・・ミキシング回路 １３ ・・・スピーカー
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 21/04
Claims (5)
- 【請求項１】 第１の入力音声の音程を抽出する第１音
程抽出手段と、第２の入力音声の音程を抽出する第２音
程抽出手段と、前記各々の音程の時間履歴を記憶する記
憶手段と、該音程の時間履歴を用いて、非線形パターン
マッチング手法により第１の入力音声と第２の入力音声
との間のテンポ差および音程差を算出する計算手段と、
第２の入力音声のテンポおよび音程を第１の入力音声の
テンポおよび音程に近似させるよう補正する補正手段
と、該補正手段により補正された第２の入力音声或は、
前記算出されたテンポ差および音程差の補正を行った第
３の入力音声を再生する手段と、を具備することを特徴
とする音響再生装置。 - 【請求項２】 前記非線形パターンマッチング手法にＤ
Ｐマッチングを用い、該ＤＰマッチングより求められる
時間正規化関数の傾きにより、前記第１の入力音声と第
２の入力音声とのテンポ差を算出し、この後、斯かるテ
ンポ差に応じて補正された第２の入力音声の音程の時間
履歴と第１の入力音声の音程の時間履歴から算出される
平均音程差を第１の入力音声と第２の入力音声との音程
差として算出することを特徴とする請求項１記載の音響
再生装置。 - 【請求項３】 前記ＤＰマッチングより求められる時間
正規化関数の傾きに制限を設け、前記第２の入力音声の
テンポに対する前記第１の入力音声のテンポ差を設定値
以上に補正しないことを特徴とする請求項２記載の音響
再生装置。 - 【請求項４】 前記第２の入力音声のテンポ及び音程を
前記第１の入力音声のテンポおよび音程に近似させるよ
うに補正する補正期間を設定し、該補正期間後は、前記
テンポ差および音程差の補正量を一定に保つように第２
の入力音声或は、前記第３の入力音声を再生することを
特徴とする請求項１記載の音響再生装置。 - 【請求項５】 前記第２の入力音声或は、第３の入力音
声のテンポ及び音程の補正を指示するための手元スイッ
チを備えており、該手元スイッチにより、操作者が前記
補正期間を指定できることを特徴とする請求項４記載の
音響再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24934094A JP3263546B2 (ja) | 1994-10-14 | 1994-10-14 | 音響再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24934094A JP3263546B2 (ja) | 1994-10-14 | 1994-10-14 | 音響再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08115097A JPH08115097A (ja) | 1996-05-07 |
| JP3263546B2 true JP3263546B2 (ja) | 2002-03-04 |
Family
ID=17191567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24934094A Expired - Fee Related JP3263546B2 (ja) | 1994-10-14 | 1994-10-14 | 音響再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3263546B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4207487B2 (ja) * | 2002-08-02 | 2009-01-14 | ヤマハ株式会社 | コンテンツ編集システム、方法及びプログラム |
| JP2004170891A (ja) * | 2002-11-15 | 2004-06-17 | Takao Ushiyama | キー及び出だしずれ自動調整機能付カラオケシステム |
| JP5351373B2 (ja) * | 2006-03-10 | 2013-11-27 | 任天堂株式会社 | 演奏装置および演奏制御プログラム |
| JP2010504563A (ja) * | 2006-09-26 | 2010-02-12 | ジョテック インコーポレイテッド | 音楽伴奏装置の自動音調合わせ方法及びそのシステム |
| JP5092589B2 (ja) * | 2007-07-03 | 2012-12-05 | ヤマハ株式会社 | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム |
| JP5012263B2 (ja) * | 2007-07-04 | 2012-08-29 | ヤマハ株式会社 | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム |
| JP5012269B2 (ja) * | 2007-07-10 | 2012-08-29 | ヤマハ株式会社 | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム |
| JP5326533B2 (ja) * | 2008-12-09 | 2013-10-30 | 富士通株式会社 | 音声加工装置及び音声加工方法 |
| TWI394142B (zh) * | 2009-08-25 | 2013-04-21 | Inst Information Industry | 歌聲合成系統、方法、以及裝置 |
| JP5391939B2 (ja) * | 2009-09-04 | 2014-01-15 | ヤマハ株式会社 | 音響処理装置およびプログラム |
| JP5287617B2 (ja) * | 2009-09-04 | 2013-09-11 | ヤマハ株式会社 | 音響処理装置およびプログラム |
| JP5287616B2 (ja) * | 2009-09-04 | 2013-09-11 | ヤマハ株式会社 | 音響処理装置およびプログラム |
| JP5728918B2 (ja) * | 2010-12-09 | 2015-06-03 | ヤマハ株式会社 | 情報処理装置 |
| JP6201460B2 (ja) * | 2013-07-02 | 2017-09-27 | ヤマハ株式会社 | ミキシング管理装置 |
-
1994
- 1994-10-14 JP JP24934094A patent/JP3263546B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08115097A (ja) | 1996-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3900580B2 (ja) | カラオケ装置 | |
| JP3263546B2 (ja) | 音響再生装置 | |
| JP3709631B2 (ja) | カラオケ装置 | |
| JP3319211B2 (ja) | 音声変換機能付カラオケ装置 | |
| JPH1074093A (ja) | カラオケ装置 | |
| JPH10161672A (ja) | 歌唱音声信号切換装置 | |
| JPH10319964A (ja) | 電子楽器 | |
| US5862232A (en) | Sound pitch converting apparatus | |
| JP3179468B2 (ja) | カラオケ装置及びカラオケ装置における歌い手の歌唱の補正方法 | |
| US6629067B1 (en) | Range control system | |
| JP3750699B2 (ja) | 楽音再生装置 | |
| JP2005107328A (ja) | カラオケ装置 | |
| JP4123583B2 (ja) | カラオケ装置 | |
| JP2959135B2 (ja) | 自動演奏切替え機能付き音楽再生装置 | |
| JP3659138B2 (ja) | カラオケ装置 | |
| JP2007011090A (ja) | カラオケ装置 | |
| JP2005215493A (ja) | カラオケ装置及びプログラム | |
| JP2001155031A (ja) | 曲検索システムの入力データ処理方法及びデータ入力装置 | |
| JP4081859B2 (ja) | 歌声発生装置およびカラオケ装置 | |
| JP2002372981A (ja) | 音声変換機能付カラオケ装置 | |
| JP4049465B2 (ja) | 波形再生装置のピッチ制御装置 | |
| JP4070315B2 (ja) | 波形再生装置 | |
| JP3834963B2 (ja) | 音声入力装置及び方法並びに記憶媒体 | |
| JP2001125582A (ja) | 音声データ変換装置、音声データ変換方法、及び音声データ記録媒体 | |
| JP3903492B2 (ja) | カラオケ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |