JPH10319947A - 音域制御装置 - Google Patents

音域制御装置

Info

Publication number
JPH10319947A
JPH10319947A JP9139194A JP13919497A JPH10319947A JP H10319947 A JPH10319947 A JP H10319947A JP 9139194 A JP9139194 A JP 9139194A JP 13919497 A JP13919497 A JP 13919497A JP H10319947 A JPH10319947 A JP H10319947A
Authority
JP
Japan
Prior art keywords
pitch
voice
formant
input
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9139194A
Other languages
English (en)
Inventor
Tsutomu Saito
勉 斉藤
Hiroshi Kato
寛 加藤
Yoichi Kondo
近藤  洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawai Musical Instrument Manufacturing Co Ltd
Original Assignee
Kawai Musical Instrument Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawai Musical Instrument Manufacturing Co Ltd filed Critical Kawai Musical Instrument Manufacturing Co Ltd
Priority to JP9139194A priority Critical patent/JPH10319947A/ja
Priority to US09/079,025 priority patent/US6629067B1/en
Publication of JPH10319947A publication Critical patent/JPH10319947A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/471General musical sound synthesis principles, i.e. sound category-independent synthesis methods
    • G10H2250/481Formant synthesis, i.e. simulating the human speech production mechanism by exciting formant resonators, e.g. mimicking vocal tract filtering as in LPC synthesis vocoders, wherein musical instruments may be used as excitation signal to the time-varying filter estimated from a singer's speech
    • G10H2250/485Formant correction therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 入力音声の音域を広げた場合に、音声の持ち
主の声色のの感じを崩さないようにし、また最終的な出
力音声の音量を入力音声の音量レベルになるように修正
する音域制御装置。 【解決手段】 歌唱音声を入力する入力手段1と、入力
音声の基本周波数を抽出する手段2と、抽出された基本
周波数が所定の周波数になるように入力音声のピッチを
制御する手段3と、音声のフォルマントを抽出する手段
4と、ピッチ制御された音声に対し、抽出されたフォル
マントに納まるようにフィルタ演算を行うフォルマント
フィルタ手段5と、入力音声の音量を検出する手段6
と、フィルタ演算された音声の音量を、検出された入力
音声の音量に合わせるように制御する手段7と、歌唱の
対象となる曲の曲情報を記憶している手段8と、その曲
情報を読み出して、曲のメロディ情報及び伴奏情報や各
種音響効果情報を出力する自動再生手段9とを有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、入力された音声の
音域を広げる音域制御装置に係り、特にカラオケなどに
おける歌唱の支援システムに用いることができ、また詩
吟・読経・外国語などの発音支援システムとしても利用
できる装置に関する。
【0002】
【従来の技術】カラオケにおける歌唱支援システムとし
ては、表示装置による歌詞のリアルタイム表示(指示)
及び/又はメロディラインの伴奏などがある。従ってあ
る程度音感のある人ならば、表示された歌詞を見ながら
バックに流れるメロディラインを時々意識することで、
人に聞いてもらえる程度の歌唱ができるはずである。
【0003】ところが、実際音感はあっても歌唱者の声
帯の個人差は大きく、特に発音できる音域が狭い場合に
は、上記歌唱支援システムを用いたとしても、思ったよ
うな歌唱ができないことが多い。このような問題は、ト
ランスポーズ(移調)機能により歌唱者の音域に合わせ
ることができたとしても、発音帯域を広げることにはな
らず、いかんともし難い。
【0004】
【発明が解決しようとする課題】上記のような問題を解
決するため、特開平4−294394号などで、入力さ
れた音声信号に対して、手本となる楽音乃至音声信号デ
ータのピッチに合わせてリアルタイムでピッチ制御を行
い、音域を広げることができるようにする構成が提案さ
れている。
【0005】しかし、以上のようなピッチ制御を単純に
行っただけでは、入力した音声の声色が変化してしまっ
て、音声を入力した者のそれとは全く別なものになり、
非常に聞きづらくなる。
【0006】本発明は従来技術の以上のような問題に鑑
み創案されたもので、その第1の目的は、入力音声の音
域を広げた場合に、その音声の持ち主の声色の感じを崩
さないようにする音域制御装置を提供せんとするもので
ある。またその第2の目的は、上記処理により最終的に
出力されてくる音声の音量が違ってきた場合に、入力音
声の音量レベルになるように修正する構成を提供しよう
とするものである。
【0007】
【課題を解決するための手段】そのため本発明に係る音
域制御装置の構成は、音声を入力する入力手段と、入力
された前記音声の基本周波数を抽出する基本周波数抽出
手段と、抽出された基本周波数を所定の周波数になるよ
うに入力音声のピッチ制御を行うピッチ制御手段と、入
力音声のフォルマントを抽出するフォルマント抽出手段
と、ピッチ制御された音声に対し、抽出されたフォルマ
ントに納まるようにフィルタ演算を行うフォルマントフ
ィルタ手段とを有することを基本的特徴としている。前
記ピッチ制御手段により、入力された音声の発音ピッチ
(基本周波数)を、手本となる任意の音高データの周波
数に変換制御することで、入力音声の音域を、該手本に
応じて広げることができるのは、前記構成と同様であ
る。しかし本構成では、更にフォルマント抽出手段によ
って、予め入力された音声のフォルマントを抽出してお
き、ピッチ制御後に再度そのフォルマントになるように
フォルマントフィルタ手段によって修正できるようにし
たことに特徴があり、それにより、ピッチ制御後に声色
が変化することを防止できるようにした。
【0008】更に請求項2の構成では、上記ピッチ制御
手段によるピッチ制御を行う場合に、手本となる音高デ
ータは、複数の選択可能な音高シーケンスデータとし、
これを基準音高として記憶手段に予め記憶しておくと共
に、該基準音高を適宜選択して順次読み出す読出手段を
更に有することで、該読出手段により記憶手段から基準
音高の読み出しを行い、手本となる音高データの抑揚を
表した基準音高(音高シーケンスデータ)の周波数にな
るように、抽出された基本周波数のピッチ制御を行うよ
うにした。
【0009】一方フォルマント修正を行った音声は、そ
の音量が入力音声の音量と違ってくることになる。その
ため請求項3の構成は、請求項1の構成と同様な構成を
有する他、入力された前記音声の音量を検出する入力音
量検出手段と、フィルタ演算された前記音声の音量を、
検出された入力音声の音量に合わせるように制御する音
量制御手段とを有する構成とし、該音量制御手段によっ
て、最終的にフォルマント修正後の音量を、入力音声の
音量レベルになるように制御することとした。
【0010】加えて請求項4の構成では、請求項3のよ
うな構成で、請求項2の構成と同様、前記記憶手段と読
出手段の構成を有し、上記ピッチ制御手段によるピッチ
制御を行う場合に、読出手段により記憶手段から基準音
高の読み出しを行い、手本となる音高データの抑揚を表
した基準音高(音高シーケンスデータ)の周波数になる
ように、抽出された基本周波数のピッチ制御を行うよう
にしたものである。
【0011】上記構成のうち請求項2及び4の構成にお
いて、基準音高を記憶した前記記憶手段は、イベント変
化に対応した記憶を行うと共に、ビブラート及び/又は
それに類するピッチの周期的変化を伴う音響効果のデー
タの記憶につき、時間とデプスとスピードというパラメ
ータで記憶するようにすると、データ量が少なくて済
み、従って記憶できる基準音高の数を増やすことが可能
となる。
【0012】前記フォルマント抽出手段による入力音声
のフォルマント抽出は、順次行うこともできるし、任意
の瞬間にのみ抽出することも可能であるし、また任意の
時間をおいてインターバルで行ったり、ランダムにその
抽出を行うようにしても良い。
【0013】前記音量制御手段による音量制御は、後述
する実施形態で詳述するように、フォルマントフィルタ
演算された音声音量と、前記入力音量検出手段により検
出された音声音量との比率に基づき行うようにしても良
い。
【0014】以上の構成を歌唱支援システムの構成とし
て用いた場合、歌唱者は、自分の声色を損なうことな
く、自分の出せる音域よりも広い音域で歌唱することが
でき、更に自分が歌唱した通りの音量レベルにてスピー
カなどから放音することができるようになる。また上記
構成を詩吟・読経・外国語などの発音支援システムとし
て用いれば、基本的に初心者が熟練者と同じイントネー
ション(抑揚)で、且つ自分の声色を崩すことなく放音
することが可能となる。
【0015】
【発明の実施の形態】以下本発明の実施の形態を添付図
面に基づいて説明する。図1は、本発明の構成をカラオ
ケの歌唱支援システムとして利用した場合における各構
成の機能ブロックを示している。該構成では、後述する
入力手段1として、カラオケの歌唱音声入力用のマイク
11及びA/D変換器12が使用され、また記憶手段及
び読出手段としては、内部・外部記憶装置及びホストC
PUで構成され、それら以外は、全部DSP(Digital
Signal Processor)で構成されている。そのためまずカ
ラオケシステムの基本的な構成につき説明する。
【0016】本カラオケシステムは、歌唱の対象となる
曲の曲情報(歌詞・映像・メロディ・伴奏など)を記憶
している曲情報記憶手段8と、その曲情報を読み出し
て、曲のメロディ情報及び伴奏情報や各種音響効果情報
(リバーブ情報・定位情報)などを出力する自動再生手
段9と、歌唱音声入力用のマイク11及びそれに捉えら
れた音声のアナログ信号をデジタル信号に変換するA/
D変換器12からなる入力手段1と、該伴奏情報に基づ
き楽音を発生せしめる楽音発生手段200と、出力され
た楽音信号(又は一部系列の楽音信号のみ)に対し、上
記各種音響効果情報に基づいてその曲や音色にあった音
響効果(例えばトレモロ・コーラス・ロータリスピーカ
・ディストーションなど)を付加し、より自然な楽音信
号を作成する効果付加手段210と、DSP側から24
KHz16ビットで出力された音声信号を入力して楽音
信号と同等な48KHz20ビットレベルに合わせるオ
ーバーサンプリング手段220と、それらの楽音信号と
音声信号を受けてリバーブやエコー効果を付加するリバ
ーブ手段230と、音響効果の付加された楽音信号と音
声信号のデジタル信号をアナログ信号に変換するD/A
変換器240と、該アナログ信号をL/R独立して増幅
するアンプ251a、251b及びそれら歌唱音声及び
伴奏楽音をL/R独立して放音するスピーカ252a、
252bからなる放音手段250を有している。また操
作検出手段262によりパネル操作子261の状態を検
出し、その操作・選択の検出結果に基づき、曲選択手段
263、予約手段264、強制終了手段265、トラン
スポーズ手段266に操作・選択された各種操作選択情
報を送り、これらの各手段から、前記自動再生手段9に
対して、選曲、曲予約、選曲スタート、曲演奏ストッ
プ、移調、リバーブ深さ、音声定位などの指示を与える
ことで、自動再生手段9に選曲、曲予約、選曲のスター
ト、強制終了(ストップ)、トランスポーズなどを行わ
しめるようになっている(この他後述するようにフォル
マント抽出指示キーを有する場合は、フォルマント抽出
のトリガ信号を後述するフォルマント抽出手段4に送出
する)。上記構成の内、操作検出手段262、曲選択手
段263、予約手段264、強制終了手段265、トラ
ンスポーズ手段266、自動再生手段9及び曲情報記憶
手段8の各構成は、ホストCPU及びその内部記憶装置
・外部記憶装置からなり、楽音発生手段200は音源L
SIで構成され、また効果付加手段210、オーバーサ
ンプリング手段220及びリバーブ手段230はASP
(Audio Signal Processor)で構成されている。
【0017】上記構成では、上記曲情報記憶手段8が本
発明の構成である記憶手段に、また自動再生手段9が同
読出手段に、入力手段1が同入力手段に相当している。
更に入力手段1に入力された音声信号がオーバーサンプ
リング手段220に入力されるまでの間に、1つのDS
Pによって構成することができる次のような構成を備え
ている。即ち、入力された前記音声の基本周波数を抽出
する基本周波数抽出手段2と、抽出された基本周波数が
所定の周波数になるように入力音声のピッチを制御する
ピッチ制御手段3と、入力された前記音声のフォルマン
トを抽出するフォルマント抽出手段4と、ピッチ制御さ
れた音声に対し、抽出されたフォルマントに納まるよう
にフィルタ演算を行うフォルマントフィルタ手段5と、
入力された前記音声の音量を検出する入力音量検出手段
6と、フィルタ演算された前記音声の音量を、検出され
た入力音声の音量に合わせるように制御する音量制御手
段7とを有している。その他、本構成では、A/D変換
器12と、基本周波数抽出手段2、ピッチ制御手段3、
フォルマント抽出手段4、入力音量検出手段6との間に
第1バッファ100を、またフォルマントフィルタ手段
5と音量制御手段7との間に第2バッファ101を備
え、更にこの第2バッファ101から分岐してフォルマ
ントフィルタ演算がなされた音声信号の内部音量を検出
する内部音量検出手段110を備え、その検出信号は音
量制御手段7に出力されることになる。
【0018】上述のように、上記曲情報記憶手段8が本
発明の構成である記憶手段に、また自動再生手段9が同
読出手段に相当しているため、曲情報記憶手段8に記憶
された曲情報が、基準音高を構成する選択可能な音高シ
ーケンスデータであり、これらのデータは複数あるもの
の中から、パネル操作子261からの操作信号で曲選択
手段263(乃至予約手段264を介して曲選択手段2
63)により選択され、自動再生手段9によって読み出
されることになる。そして上記音高シーケンスデータ
は、イベント変化に対応して記憶されるデータであり、
更にビブラート及びそれに類するピッチの周期的変化を
伴う音響効果のデータについては、時間とデプスとスピ
ードというパラメータで記憶され、全体のデータ量を軽
いものにしている。
【0019】更に前記入力手段1のマイク11は、歌唱
音声を入力し、アナログの電気信号に変換する。また同
手段1のA/D変換器12は、そのアナログ信号をデジ
タル信号(24KHzサンプリング 16ビット)に変
換して、DSPなどによる信号処理ができるようにす
る。
【0020】また前記DSPは、入力された音声がオー
バーサンプリング手段220によって処理されるまでの
間に、該音声の音域を広げると共に、声色を変化させず
に、音量も入力音声レベルに維持して、自然な歌唱がで
きるように信号処理を行う。この音域を広げる処理は、
DSPで構成される前記基本周波数抽出手段2及びピッ
チ制御手段3によってなされる。また声色を変化させな
いようにする処理も、DSPで構成される前記フォルマ
ント抽出手段4及びフォルマントフィルタ手段5によっ
てなされる。更に音量を維持する処理も、DSPで構成
される前記入力音量検出手段6及び音量制御手段7によ
ってなされる。
【0021】即ち、A/D変換器12から出力されてく
る歌唱音声のデジタル信号は第1バッファ100に入力
され時系列に記憶される。そして基本周波数抽出手段2
により入力音声の基本周波数(ピッチ)が抽出される。
また自動再生手段9から出力されてくる曲情報(メロデ
ィ情報)を手本となる基準音高(基準ピッチ)として、
ピッチ制御手段3に入力すると共に、入力音声の基本周
波数も該ピッチ制御手段3に入力し、同手段3にて、前
記基準音高と基本周波数が照らし合わされ、入力音声の
周波数(ピッチ)を基準音高に合わせる処理がなされ
る。このような処理によって、歌唱者は、自分の出せな
い音域においても、手本とずれない音程で歌唱できるよ
うになる。尚、第1バッファ100は最低20ms分の
音声信号を記憶可能とし(第2バッファ101について
も同じ)、それにより後述するフォルマント抽出手段4
による100Hz付近〜1KHz付近までのフォルマン
トの抽出を可能としている。
【0022】上記のようにしてピッチ制御された音声信
号は、歌唱者のフォルマントが移動し、そのまま放音さ
れると声色が変わってしまうことになる。そのため、フ
ォルマント抽出手段4により、入力音声のフォルマント
を抽出すると共に、フォルマントフィルタ手段5によ
り、ピッチ制御された前記音声に対して、抽出されたフ
ォルマント特性になるようにフィルタ演算を行う。その
うちフォルマント抽出手段4は、通常リアルタイムで逐
次フォルマントを抽出し、それによって得られたフォル
マントパラメータは、移動平均を取って有効とする。ま
たフォルマントフィルタ演算処理は、グラフィックイコ
ライザー的な処理を行い、ある帯域の音声信号は削り、
ある帯域の同信号については付加する処理を行う。この
ような構成によって、ピッチ制御後に再度入力音声のフ
ォルマントになるように修正を加えることができ、ピッ
チ制御により声色が変化するのを防ぐことが可能とな
る。
【0023】フィルタ演算の行われた音声信号は一旦第
2バッファ101に記憶される。このフィルタリング処
理された音声信号は、音声としては歌唱者のものに似る
が、音量が入力音声の音量とずれてくる可能性が高い。
そのため、入力音量検出手段6により入力音声の音量を
検出すると共に、フィルタ演算された音声の音量を前記
内部音量検出手段110により検出し、音量制御手段7
においてこれらの音量を比較して、フィルタ演算された
音声の音量を入力音声の音量と等しくなるように制御
し、出力する(24KHzサンプリング 16ビッ
ト)。このような音量制御手段7によって、最終的にフ
ォルマント修正後の音量を、入力音声の音量レベルにな
るようにした。
【0024】以上の処理がなされた音声信号は、オーバ
ーサンプリング手段220によって、カラオケシステム
から発せられる楽音信号と同等の48KHz20ビット
のデジタル信号に変換され、リバーブ手段230でこれ
らの信号に必要なリバーブ・エコー効果が付加されて、
最終的にD/A変換器240によってアナログ信号に変
換され、放音手段250のスピーカ252a、252b
から出力されることになる。
【0025】図2に上記DSPで実行されるメインルー
チンを示す。このメインルーチンは、約20ms分(4
80サンプル)の音声(歌唱)信号を記憶した前記第1
バッファ100及び第2バッファ101の内容に基づい
て、図3に示されるDSP割り込みルーチンによりリア
ルタイム(24KHzサンプリング)で実行される第1
バッファ100への音声信号の書き込み・異なるアドレ
ス信号からの音声信号の読み出し処理、該音声信号のフ
ォルマントフィルタ演算処理、該演算後の音量(Lou
dness)制御処理などの各処理を実行できるように
するための、係数α、g( )、βを演算する。またこ
のDSPメインルーチンは10ms程度で一回りできる
ものとする。
【0026】パワーON後、ステップS1で初期化(イ
ニシャライズ)を行い、ステップS2で、第1バッファ
100に記憶された約20ms分の音声データに対し、
ハニング窓又はハミング窓などの切り出しを行い、時間
窓長が周期の整数倍にないスペクトルも正確に分析でき
る状態とする。
【0027】ステップS3でフォルマント抽出を行う。
これは上記の窓により切り出した音声波形データのパワ
ースペクトルを20ms間隔で多数記憶し、その平均化
(移動平均)により求める。尚、このフォルマント抽出
はメインルーチンで毎回行わなくても良く、その場合は
前述の如く、パネル操作子261に設けられたフォルマ
ント抽出指示キーに基づくフォルマント抽出指示を受け
た時のみ、フォルマント抽出のトリガ信号をフォルマン
ト抽出手段4に送出することで行っても良い。ステップ
S2とステップS3との間に記載された「フォルマント
抽出指示有り?」という分岐判断は、この場合を想定し
ている。
【0028】ステップS4で、第1バッファ100の切
り取り波形データ群から基本周波数f1を抽出する。
【0029】ステップS5で、抽出された基本周波数f
1とメロディ情報中の基準音高の標準周波数fmとを比
較して、第1バッファ100に記憶された音声波形デー
タに対する読出アドレスの歩進レート(上記係数α)を
算出する。
【0030】ステップS6で、複数の時系列に並んで記
憶された第1バッファ100の入力音声波形データ(サ
ンプル値)の絶対値を加算(積算)することで、入力音
声の音量(l1)を検出する。
【0031】ステップS7で、同様にしてフォルマント
フィルタ演算後の第2バッファ101に記憶された音声
波形データ(サンプル値)の絶対値を加算(積算)する
ことで、該音声波形データの音量(l2)を検出する。
【0032】ステップS8で、入力波形のレベルに戻す
音量補正値(ラウドネス補正値)βを、上記音量l1
音量l2から算出する。その後前記ステップS2に戻
る。
【0033】他方、DSPの割り込みルーチンの処理
は、図3に示すようにして行われる。まずステップS1
0で入力信号を第1バッファ100へ取り込み、記憶さ
せる{(APi)←INPUT}。ステップS11で、
第1バッファ100の記憶アドレスを更新する(APi
=APi+1)。ステップS12で、第1バッファ10
0から記憶されたデータを読み出す{RD1←(A
0)}。ステップS13で、読出アドレスを歩進させ
る(AP0=AP0+α)。ステップS14で、読み出し
た音声サンプルデータをフォルマントフィルタ(EQ
U)に通す{RD2=g(RD1)}。そしてステップS
15及びステップS16は共に音量検出のために必要な
処理で、まずステップS15で、フィルタリングされた
サンプルデータを第2バッファ101へ記憶させる
{(BPi)←RD2}。ステップS16で、第2バッ
ファ101の記憶アドレスを更新させる(BPi←BP
i+1)。ステップS17で、フィルタリングされたサ
ンプルデータのラウドネス制御(音量制御)を行う(R
3=β*RD2)。更にステップS18で、ラウドネス
制御されたサンプルデータを出力する(OUTPUT←
RD3)。
【0034】図4にホストCPUの送出するメロディ情
報の形体とその形体に基づきDSPにて作成される基準
音高の標準周波数fmを示す。メロディ情報は伴奏情報
と同様にMIDIデータであり、特にビブラートなどの
MIDI規格で詳細な規定のないものは、MOD SP
EED、MOD DEPTHというような少ないパラメ
ータで済ませる。更に、図5のように、Fadein
timeとFadeout timeのようなパラメー
タを付加しても良い。
【0035】次に上述したカラオケシステムで使用され
ているパネル操作子261、ホストCPU、音源LS
I、ASPの各構成につき、詳述する。パネル操作子2
61の各キーは、選曲のためのテンキー、選曲終了を指
示する(曲をスタートさせる)ためのエンターキー、曲
を強制的にストップさせるためのクリアキー(ストップ
キー)、自分の帯域で歌唱するために曲の音高情報を移
調するトランスポーズキー、リバーブ深さを制御するR
evDepthキーや歌唱者の定位(奥行き感)を任意
に設定するためのPositionキー(及び必要に応
じて1乃至数回のみのフォルマント抽出の指示を行わし
めるフォルマント抽出指示キー)を有している(本構成
ではフォルマント抽出は常時行われており、通常は上記
フォルマント抽出指示キーによる抽出指示は行われな
い)。
【0036】また前述のように、音高シーケンスデータ
は、イベント変化に対応して記憶されるデータであり、
そのためホストCPUの出力形態はそれに対応してイベ
ント方式であり、MIDI規格(又はその上位互換的な
仕様)で出力される。
【0037】音源LSIは一般的に電子楽器で採用され
ている32〜64音ポリフォニック音源で構成され、ホ
ストCPUから演奏情報を受け取りステレオのデジタル
楽音信号(48KHzサンプリング 20ビット)とし
て出力される。
【0038】効果付加手段210、オーバーサンプリン
グ手段220及びリバーブ手段230を構成するASP
は、DSPの構成と略同じであるが、一般的にASPの
プログラムステップ数は1サンプリングタイム内にAS
Pが処理可能なステップ数程度しかなく、DSPにおい
て行われるようなサンプリングタイムより長い周期にて
抽出される基本周波数やフォルマントなどの処理には不
向きである。又リバーブ手段230は、ホストCPUか
らの情報により全体のリバーブのかかり具合(RevD
epth)を制御すると共に、音声信号のみを伴奏音系
の楽音信号とは異なるDelay系・フィードバック系
を経由させることで、パネル操作子261にて指示され
た定位(奥行き感)を持たせるようにしている。このA
SPの出力は、一般的なデジタルオーディオ信号(FD
Cフォーマット)に合わせてL/Rのステレオ信号をシ
リアル信号で時分割にて行う。
【0039】上述のように、フォルマント抽出は、通常
リアルタイムで逐次行われ、それによって得られたフォ
ルマントパラメータは移動平均をとって有効としている
が、歌唱とは別のタイミングで(例えば歌う前に)、パ
ネル操作子261のフォルマント抽出指示キーの操作に
基づき1回だけフォルマントを抽出し、歌唱中は全てそ
のフォルマントに合わせるようにすることもできる。そ
の場合は歌唱者とは異なる人のフォルマントを抽出させ
ておくことで、声色も変更することもできる。
【0040】本構成におけるDSPの処理は、PCM波
形のピッチ制御並びにフィルタ処理を中心にした例であ
るが、これに限定されず、例えば図6に示すように、第
1バッファ100に記憶された音声データを高調波係数
作成手段10に入力し、周波数フーリエ変換(FFT)
を用いた高調波係数レベルで先にフォルマント係数制御
をしてから、変更されたピッチでリアルタイムに高調波
係数合成(サイン合成)を行って音声波形に戻し、その
後音量制御を行わしめるようにしても良い。
【0041】尚、本構成のカラオケの歌唱支援システム
では、その曲の演奏スピード(テンポ)は、曲のライブ
ラリィに記憶されたデフォルト値を使うことを前提とし
ているが、パネル操作子261の操作によって演奏スピ
ードを変更することは容易である。但しDSPにおける
音声波形をPCMデータとして処理する方式では、第1
バッファ100に記憶された音声波形サンプルデータに
対し、ピッチを上げるため一部を飛び越して繰り返し読
み出したり(シーケンスアドレスを間引きしてデータを
読み出したり)、ピッチを下げるために音声波形の各サ
ンプルを1度以上多数回読み出す処理が行われる場合
に、そのピッチ制御が難しくなる。これらの処理を行う
場合は、常に次の音声波形とは滑らかに連続するように
処理する必要がある。尚、この点に関し、前述のように
一度高調波係数に置き換えてサイン合成によって元に戻
す方式では、何ら問題になることはない。
【0042】
【発明の効果】以上詳述した本発明に係る音域制御装置
の構成によれば、入力された音声の音域を広げた場合
に、その声の持ち主の音声の感じを崩さないようにする
ことができ、またこれらの処理により最終的に出力され
てくる音声の音量を、入力音声の音量レベルになるよう
に修正することもできるようになる。そして、以上の構
成を歌唱支援システムの構成として用いれば、歌唱者
は、自分の声色を損なうことなく、自分の出せる音域よ
りも広い音域で歌唱することができるようになり、更に
自分が歌唱した通りの音量レベルにてスピーカなどから
放音することができるようになる。加えて上記構成を詩
吟・読経・外国語などの発音支援システムとして用いれ
ば、自分の声色を崩すことなく、基本的に初心者が熟練
者と同じイントネーションで放音することが可能とな
る。もちろん所定の時にのみ入力音声のフォルマント抽
出を行うようにすれば、他人の声色で、歌唱したり、詩
吟・読経・外国語などの発音をすることもできるように
なる。
【図面の簡単な説明】
【図1】本発明の構成をカラオケの歌唱支援システムと
して利用した場合における各構成の機能ブロック図であ
る。
【図2】DSPで実行されるメインルーチンの処理フロ
ーを示すフローチャートである。
【図3】同じくDSPで実行される割り込みルーチンの
処理フローを示すフローチャートである。
【図4】ホストCPUの送出するメロディ情報の形体と
その形体に基づきDSPにて作成される基準音高の標準
周波数fmを示す説明図である。
【図5】メロディ情報に付加される効果のパラメータの
一例を示す説明図である。
【図6】音声情報を一度高調波係数に置き換えてサイン
合成によって元に戻すDSPの他の処理方式を示す機能
ブロック図である。
【符号の説明】
1 入力手段 2 基本周波数抽出手段 3 ピッチ制御手段 4 フォルマント抽出手段 5 フォルマントフィルタ手段 6 入力音量検出手段 7 音量制御手段 8 曲情報記憶手段 9 自動再生手段 10 高調波係数作成手段 11 マイク 12 A/D変換器 100 第1バッファ 101 第2バッファ 110 内部音量検出手段 200 楽音発生手段 210 効果付加手段 220 オーバーサンプリング手段 230 リバーブ手段 240 D/A変換器 250 放音手段 251a、251b アンプ 252a、252b スピーカ 261 パネル操作子 262 操作検出手段 263 曲選択手段 264 予約手段 265 強制終了手段 266 トランスポーズ手段

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 音声を入力する入力手段と、入力された
    前記音声の基本周波数を抽出する基本周波数抽出手段
    と、抽出された基本周波数を所定の周波数になるように
    入力音声のピッチ制御を行うピッチ制御手段と、入力音
    声のフォルマントを抽出するフォルマント抽出手段と、
    ピッチ制御された音声に対し、抽出されたフォルマント
    に納まるようにフィルタ演算を行うフォルマントフィル
    タ手段とを有することを特徴とする音域制御装置。
  2. 【請求項2】 音声を入力する入力手段と、入力された
    前記音声の基本周波数を抽出する基本周波数抽出手段
    と、抽出された基本周波数を所定の周波数になるように
    入力音声のピッチ制御を行うピッチ制御手段と、入力音
    声のフォルマントを抽出するフォルマント抽出手段と、
    ピッチ制御された音声に対し、抽出されたフォルマント
    に納まるようにフィルタ演算を行うフォルマントフィル
    タ手段とを有すると共に、複数の選択可能な音高シーケ
    ンスデータを基準音高として記憶した記憶手段と、該基
    準音高を適宜選択して順次読み出す読出手段とを有する
    ことで、前記ピッチ制御手段により、抽出された基本周
    波数のピッチ制御を行う場合に、前記読出手段により記
    憶手段から基準音高の読み出しを行い、該基準音高の周
    波数になるように、抽出された基本周波数のピッチ制御
    を行うことを特徴とする音域制御装置。
  3. 【請求項3】 音声を入力する入力手段と、入力された
    前記音声の基本周波数を抽出する基本周波数抽出手段
    と、抽出された基本周波数を所定の周波数になるように
    入力音声のピッチ制御を行うピッチ制御手段と、入力さ
    れた前記音声のフォルマントを抽出するフォルマント抽
    出手段と、ピッチ制御された音声に対し、抽出されたフ
    ォルマントに納まるようにフィルタ演算を行うフォルマ
    ントフィルタ手段と、入力された前記音声の音量を検出
    する入力音量検出手段と、フィルタ演算された前記音声
    の音量を、検出された入力音声の音量に合わせるように
    制御する音量制御手段とを有することを特徴とする音域
    制御装置。
  4. 【請求項4】 音声を入力する入力手段と、入力された
    前記音声の基本周波数を抽出する基本周波数抽出手段
    と、抽出された基本周波数を所定の周波数になるように
    入力音声のピッチ制御を行うピッチ制御手段と、入力さ
    れた前記音声のフォルマントを抽出するフォルマント抽
    出手段と、ピッチ制御された音声に対し、抽出されたフ
    ォルマントに納まるようにフィルタ演算を行うフォルマ
    ントフィルタ手段と、入力された前記音声の音量を検出
    する入力音量検出手段と、フィルタ演算された前記音声
    の音量を、検出された入力音声の音量に合わせるように
    制御する音量制御手段とを有すると共に、複数の選択可
    能な音高シーケンスデータを基準音高として記憶した記
    憶手段と、該基準音高を適宜選択して順次読み出す読出
    手段とを有することで、前記ピッチ制御手段により、抽
    出された基本周波数のピッチ制御を行う場合に、前記読
    出手段により記憶手段から基準音高の読み出しを行い、
    該基準音高の周波数になるように、抽出された基本周波
    数のピッチ制御を行うことを特徴とする音域制御装置。
  5. 【請求項5】 前記音量制御手段は、フォルマントフィ
    ルタ演算された音声音量と、前記入力音量検出手段によ
    り検出された音声音量との比率に基づき制御することを
    特徴とする請求項3乃至4記載の音域制御装置。
  6. 【請求項6】 前記フォルマント抽出手段による入力音
    声のフォルマント抽出を順次行うことを特徴とする請求
    項1乃至5記載の音域制御装置。
  7. 【請求項7】 基準音高を記憶した前記記憶手段は、イ
    ベント変化に対応した記憶を行うと共に、ビブラート及
    び/又はそれに類するピッチの周期的変化を伴う音響効
    果のデータの記憶については、時間とデプスとスピード
    というパラメータで記憶することを特徴とする請求項2
    又は4記載の音域制御装置。
JP9139194A 1997-05-15 1997-05-15 音域制御装置 Pending JPH10319947A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9139194A JPH10319947A (ja) 1997-05-15 1997-05-15 音域制御装置
US09/079,025 US6629067B1 (en) 1997-05-15 1998-05-14 Range control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9139194A JPH10319947A (ja) 1997-05-15 1997-05-15 音域制御装置

Publications (1)

Publication Number Publication Date
JPH10319947A true JPH10319947A (ja) 1998-12-04

Family

ID=15239754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9139194A Pending JPH10319947A (ja) 1997-05-15 1997-05-15 音域制御装置

Country Status (2)

Country Link
US (1) US6629067B1 (ja)
JP (1) JPH10319947A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004051622A1 (ja) * 2002-11-29 2004-06-17 Pioneer Corporation 楽曲データ作成装置及び方法
JP2011237599A (ja) * 2010-05-11 2011-11-24 Brother Ind Ltd カラオケ装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913808B1 (en) * 1997-10-31 2004-09-29 Yamaha Corporation Audio signal processor with pitch and effect control
US7027983B2 (en) * 2001-12-31 2006-04-11 Nellymoser, Inc. System and method for generating an identification signal for electronic devices
US20080017017A1 (en) * 2003-11-21 2008-01-24 Yongwei Zhu Method and Apparatus for Melody Representation and Matching for Music Retrieval
JP4487632B2 (ja) * 2004-05-21 2010-06-23 ヤマハ株式会社 演奏練習装置および演奏練習用コンピュータプログラム
US7825321B2 (en) * 2005-01-27 2010-11-02 Synchro Arts Limited Methods and apparatus for use in sound modification comparing time alignment data from sampled audio signals
CN1953051B (zh) * 2005-10-19 2011-04-27 调频文化事业有限公司 人声音频定调方法
US8898062B2 (en) * 2007-02-19 2014-11-25 Panasonic Intellectual Property Corporation Of America Strained-rough-voice conversion device, voice conversion device, voice synthesis device, voice conversion method, voice synthesis method, and program
JP4623060B2 (ja) * 2007-07-18 2011-02-02 ヤマハ株式会社 波形生成装置、音響効果付与装置、および楽音発生装置
EP2104096B1 (en) * 2008-03-20 2020-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for converting an audio signal into a parameterized representation, apparatus and method for modifying a parameterized representation, apparatus and method for synthesizing a parameterized representation of an audio signal
US8290769B2 (en) * 2009-06-30 2012-10-16 Museami, Inc. Vocal and instrumental audio effects
US8620646B2 (en) * 2011-08-08 2013-12-31 The Intellisis Corporation System and method for tracking sound pitch across an audio signal using harmonic envelope

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0481880A (ja) * 1990-07-25 1992-03-16 Sony Corp カラオケ装置及びカラオケ装置における歌い手の歌唱の補正方法
JPH04294394A (ja) * 1991-03-22 1992-10-19 Kawai Musical Instr Mfg Co Ltd 電子楽器
JPH06138877A (ja) * 1992-10-27 1994-05-20 Yamaha Corp フィルタ装置
JPH06308959A (ja) * 1993-04-27 1994-11-04 Kawai Musical Instr Mfg Co Ltd 電子楽器
JPH06342285A (ja) * 1993-06-01 1994-12-13 Yamaha Corp 効果付与装置
JPH0777985A (ja) * 1993-09-08 1995-03-20 Yamaha Corp 波形発生装置
JPH07129169A (ja) * 1993-10-29 1995-05-19 Yamaha Corp 効果装置
JPH0926788A (ja) * 1995-07-12 1997-01-28 Yamaha Corp 楽音合成装置のパラメータ設定装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5054085A (en) * 1983-05-18 1991-10-01 Speech Systems, Inc. Preprocessing system for speech recognition
JPS61252596A (ja) * 1985-05-02 1986-11-10 株式会社日立製作所 文字音声通信方式及び装置
DE69228211T2 (de) * 1991-08-09 1999-07-08 Koninkl Philips Electronics Nv Verfahren und Apparat zur Handhabung von Höhe und Dauer eines physikalischen Audiosignals
CA2119397C (en) * 1993-03-19 2007-10-02 Kim E.A. Silverman Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation
JP3333022B2 (ja) * 1993-11-26 2002-10-07 富士通株式会社 歌声合成装置
JP3144273B2 (ja) * 1995-08-04 2001-03-12 ヤマハ株式会社 自動歌唱装置
JPH1074098A (ja) * 1996-09-02 1998-03-17 Yamaha Corp 音声変換装置
JP3900580B2 (ja) * 1997-03-24 2007-04-04 ヤマハ株式会社 カラオケ装置
JP3317181B2 (ja) * 1997-03-25 2002-08-26 ヤマハ株式会社 カラオケ装置
US6336092B1 (en) * 1997-04-28 2002-01-01 Ivl Technologies Ltd Targeted vocal transformation
JP3365354B2 (ja) * 1999-06-30 2003-01-08 ヤマハ株式会社 音声信号または楽音信号の処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0481880A (ja) * 1990-07-25 1992-03-16 Sony Corp カラオケ装置及びカラオケ装置における歌い手の歌唱の補正方法
JPH04294394A (ja) * 1991-03-22 1992-10-19 Kawai Musical Instr Mfg Co Ltd 電子楽器
JPH06138877A (ja) * 1992-10-27 1994-05-20 Yamaha Corp フィルタ装置
JPH06308959A (ja) * 1993-04-27 1994-11-04 Kawai Musical Instr Mfg Co Ltd 電子楽器
JPH06342285A (ja) * 1993-06-01 1994-12-13 Yamaha Corp 効果付与装置
JPH0777985A (ja) * 1993-09-08 1995-03-20 Yamaha Corp 波形発生装置
JPH07129169A (ja) * 1993-10-29 1995-05-19 Yamaha Corp 効果装置
JPH0926788A (ja) * 1995-07-12 1997-01-28 Yamaha Corp 楽音合成装置のパラメータ設定装置及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004051622A1 (ja) * 2002-11-29 2004-06-17 Pioneer Corporation 楽曲データ作成装置及び方法
JP2004184510A (ja) * 2002-11-29 2004-07-02 Pioneer Electronic Corp 楽曲データ作成装置及び方法
US7335834B2 (en) 2002-11-29 2008-02-26 Pioneer Corporation Musical composition data creation device and method
JP2011237599A (ja) * 2010-05-11 2011-11-24 Brother Ind Ltd カラオケ装置

Also Published As

Publication number Publication date
US6629067B1 (en) 2003-09-30

Similar Documents

Publication Publication Date Title
US5703311A (en) Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques
US6191349B1 (en) Musical instrument digital interface with speech capability
JP3598598B2 (ja) カラオケ装置
JP4124247B2 (ja) 楽曲練習支援装置、制御方法及びプログラム
JP2019061135A (ja) 電子楽器、電子楽器の楽音発生方法、及びプログラム
US5862232A (en) Sound pitch converting apparatus
JPH10319947A (ja) 音域制御装置
JP3116937B2 (ja) カラオケ装置
JP4038836B2 (ja) カラオケ装置
JP5292702B2 (ja) 楽音信号生成装置及びカラオケ装置
JP4304934B2 (ja) 合唱合成装置、合唱合成方法およびプログラム
JP6171393B2 (ja) 音響合成装置および音響合成方法
JP2003015672A (ja) 声域告知機能付きカラオケ装置
JP6819732B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP2022065554A (ja) 音声合成方法およびプログラム
JPH11338480A (ja) カラオケ装置
JP2022065566A (ja) 音声合成方法およびプログラム
JP5106437B2 (ja) カラオケ装置及びその制御方法並びにその制御プログラム
JP4081859B2 (ja) 歌声発生装置およびカラオケ装置
JP4240099B2 (ja) 電子楽器および電子楽器制御用プログラム
JPH08227296A (ja) 音声信号処理装置
JPH01288900A (ja) 歌声伴奏装置
JP3265995B2 (ja) 歌唱音声合成装置及び方法
JP2904045B2 (ja) カラオケ装置
WO2023140151A1 (ja) 情報処理装置、電子楽器、電子楽器システム、方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050222