JPH08227296A - 音声信号処理装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】カラオケ装置において、デュエット曲など複数
の歌唱が入力される場合に、そのうち主旋律のみにハー
モニーを付加する。 【解決手段】二人で歌っている場合には、主旋律以外の
ものはハーモニーを歌っていないかを分析する。主旋律
選択部２３は、入力された複数の基本周波数から主旋律
を判定する。これらの分析判定の結果ハーモニーを付加
すべきと判断された場合には、歌唱分析部２２が主旋律
成分分離部２５に対してその旨を指示し、主旋律選択部
２３が主旋律の周波数を指示する。主旋律成分電離部２
５は入力された複数の歌唱音声信号のなかから、主旋律
の成分のみを分離抽出しピッチシフト部２６に入力す
る。ピッチシフト部２６はこの主旋律成分を例えば３度
上の音程にピッチシフトし、加算部２８で入力された音
声と加算合成して外部出力する。これにより、主旋律の
みにハーモニーが付加された音声信号が出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、歌唱等の旋律音
声信号に対してハーモニー音声を付加する音声信号処理
装置に関し、特に、複数の旋律音声信号が入力されたと
きに、このうち主旋律の音声信号のみに対してハーモニ
ーを付加する音声信号処理装置に関する。

【０００２】

【従来の技術】カラオケの歌唱を盛り上げるために、歌
唱者の歌唱に対してハーモニー（たとえば、歌唱の旋律
に対して３度上の旋律）の音声を付加して出力するもの
が提案されている。ハーモニー機能としては、歌唱音声
信号をピッチシフトしてハーモニー音を生成するものが
一般的である。

【０００３】また、カラオケ曲のなかには、いわゆるデ
ュエット曲など複数（二人）で歌唱するものもある。

【０００４】

【発明が解決しようとする課題】しかし、上記デュエッ
ト曲の場合、二人の歌唱音声信号が混ざって入力される
が、従来のハーモニー付加機能を有するカラオケ装置で
は、この全ての歌唱音声に対してハーモニーをつけてし
まうため、複数パートが混ざりあった不明瞭な歌唱にな
ってしまい、カラオケ歌唱を盛り上げることができず、
かえって、二人の歌唱音声信号を損なってしまう欠点が
あった。

【０００５】この発明は、複数の歌唱音声信号が入力さ
れた場合でも、そのなかから主旋律のみを抽出してハー
モニーを付加することのできるカラオケ装置を提供する
ことを目的とする。

【０００６】

【課題を解決するための手段】この発明は、複数の旋律
音声信号を入力する音声信号入力手段と、入力された複
数の音声信号から主旋律の音声信号を判定する主旋律判
定手段と、入力された複数の音声信号から主旋律の音声
信号を抽出する主旋律抽出手段と、分離された主旋律の
音声信号をピッチシフトしてハーモニー音声信号を生成
するハーモニー生成手段と、前記複数の音声信号と前記
ハーモニー音声信号を合成して出力する合成手段とを備
えたことを特徴とする。

【０００７】上記発明の音声信号処理装置は、音声信号
入力手段から複数の旋律音声信号を入力する。この装置
はたとえばカラオケ装置に適用されるものであり、この
場合には、音声信号入力手段は、歌唱用のマイクとその
マイクに接続されるアンプ等の機器となる。主旋律判定
手段が、入力された複数の音声信号から主旋律の音声信
号を判定する。主旋律の判定は、予め記憶しておいた主
旋律情報に基づき、これに対応するものを主旋律と判定
するようにしてもよく、また、あるルールに基づいて、
例えば最高音の音声信号を主旋律情報とするなどのルー
ルに基づいて判定してもよい。このようにして主旋律と
して判定された音声信号を前記入力された複数の音声信
号から抽出する。複数の音声信号が別系統で入力されて
いる場合には、そのうちの主旋律の系統を選択すればよ
く、複数の歌唱音声信号が１系統で入力されている場合
には、そのなかから主旋律の基本倍音に該当する周波数
成分のみを分離抽出するなどの方式で主旋律を抽出す
る。この抽出された主旋律の音声信号をピッチシフトし
てハーモニー音声信号を生成する。ピッチシフトの方式
は単純に読出クロックを変える方式もあり、また、フォ
ルマントを移動させずに、周波数成分のみシフトする方
式もある。

【０００８】このようにして生成されたハーモニー音声
信号を入力された複数の音声信号に合成することによっ
てハーモニーを伴う音声信号を出力することができる。

【０００９】

【発明の実施の形態】図面を参照してこの発明の実施形
態であるカラオケ装置について説明する。このカラオケ
装置は、いわゆる音源カラオケ装置である。音源カラオ
ケ装置とは、楽曲データで音源装置を駆動することによ
りカラオケ演奏音を発生するカラオケ装置である。楽曲
データとは、音高や発音タイミングを指定する演奏デー
タ列などの複数トラックからなるシーケンスデータであ
る。

【００１０】また、このカラオケ装置は、歌唱者の歌唱
音声信号に３度や５度の音程のハーモニー音声信号を付
加するハーモニー付加機能を有している。ハーモニー音
声信号は、歌唱者の歌唱音声をピッチシフトすることに
より３度や５度などの音程を有する音声信号を生成し、
これをハーモニー音声信号として出力するものである。
さらに、このカラオケ装置は、デュエット曲で２人が同
時に歌っているときでも、そのうちどちらが主旋律であ
るかを判断しその主旋律の歌唱音声信号のみに対してハ
ーモニーを付加する。

【００１１】図１は同カラオケ装置の要部のブロック図
である。同図はカラオケ演奏音（伴奏音）および歌唱音
の音声信号処理部のみを図示しており、歌詞や背景画像
などの表示処理部や選曲部は従来より一般的な構成であ
るため図示を省略している。カラオケ演奏を行うための
楽曲データはＨＤＤ１５に記憶されている。ＨＤＤ１５
には楽曲データが数千曲分記憶されており、図示しない
選曲部によってそのうちの１曲が選択されると、シーケ
ンサ１４が該選択された楽曲データを読み込む。シーケ
ンサ１４は読み込んだ楽曲データを記憶するメモリと、
この楽曲データをテンポクロックに基づいて順次読み出
すシーケンスプログラム処理部を有しており、読み出さ
れたデータはそのトラックに応じて所定の処理部に出力
される。

【００１２】ここで、図２を参照して楽曲データの構成
を説明する。同図（Ａ）において、楽曲データは、曲名
やジャンル等が書き込まれたヘッダに続いて、楽音トラ
ック，主旋律トラック，ハーモニートラック，歌詞トラ
ック，音声トラック，効果トラックおよび音声データ部
からなっている。このうち、主旋律トラックは同図
（Ｂ）に示すように複数のイベントデータと各イベント
データ間の時間間隔を示すデュレーションデータΔｔか
らなるシーケンスデータで構成されている。シーケンサ
１４は、カラオケ演奏時に所定のテンポクロックでΔｔ
をカウントし、このΔｔをカウントアップしたときこれ
に続くイベントデータを読み出す。読み出されたこの主
旋律トラックのイベントデータは、主旋律選択用のデー
タとして後述の主旋律選択部２３に出力される。

【００１３】主旋律トラック以外のトラック、すなわ
ち、楽音トラック，ハーモニートラック，歌詞トラッ
ク，音声トラック，効果トラックも主旋律トラックと同
様、複数のイベントデータおよびデュレーションデータ
列からなるシーケンスデータで構成されている。楽音ト
ラックは、カラオケ演奏用のメロディトラック，リズム
トラック，コードトラックなどの複数のシーケンストラ
ックで構成されている。カラオケ演奏時にシーケンサ１
４がこの楽音トラックからイベントデータを読み出す
と、そのデータを音源１６に出力する。ハーモニートラ
ックは、主旋律に付加すべきハーモニー旋律を記憶した
トラックであり、このイベントデータは、歌唱分析部２
２やピッチシフト部２６に出力される。音源１６はこの
データに基づいて楽音信号を発生する。また、歌詞トラ
ックは、画面に歌詞を表示するためのシーケンストラッ
クである。シーケンサ１４がこの歌詞トラックのイベン
トデータが読み出したとき、これを図示しない表示制御
部に出力する。表示制御部はこのイベントデータに基づ
いて歌詞の表示を制御する。音声トラックは、音源１６
で合成することが困難なコーラス音声や合いの手などの
人声信号の再生タイミングを指定するトラックである。
人声信号は音声データとして音声データ部に複数記憶さ
れている。カラオケ演奏中にシーケンサ１４が音声トラ
ックのイベントデータを読み出したとき、そのイベント
データで指定される音声データを後述の加算部２８に出
力する。これにより、この音声データがカラオケ演奏と
してミキシングされる。効果トラックは音源１６に含ま
れる効果部（ＤＳＰで構成される）を制御するためのト
ラックである。効果部が付与する効果としてはリバーブ
などがある。このイベントデータは音源１６に出力され
る。

【００１４】音源１６は、シーケンサ１４から入力され
た楽音イベントデータに基づいて、そのデータで指定さ
れる音色，音高，音量の楽音信号を形成する。この楽音
信号はＤＳＰ１３内の加算部２８に入力される。

【００１５】一方、このカラオケ装置は、１本の歌唱用
のマイク１０を有しており、デュエット曲などで二人が
歌唱した場合、２人の歌唱音は該１本のマイク１０に入
力される。マイク１０から入力された歌唱の音声信号は
アンプ１１で増幅され、ＡＤＣ１２によってディジタル
信号に変換される。このディジタル信号に変換された音
声信号がＤＳＰ１３に入力される。ＤＳＰはマイクロプ
ログラムによって種々の機能を実現するが、このＤＳＰ
１３は、同図のブロックに示すような機能を実現するた
めのマイクロプログラムを記憶しており、前記ディジタ
ル信号の１サンプリング周期にこの図示の機能を全て実
行する速度でこのマイクロプログラムを実行している。

【００１６】同図において、ＡＤＣ１２から入力された
ディジタル音声信号は自己相関分析部２１およびディレ
イ２４，２７に入力される。自己相関分析部２１は、入
力された音声信号の各周波数成分の繰り返し周期を分析
し、この繰り返し周期から複数の歌唱者の歌唱音声信号
の基本周波数を検出する。

【００１７】図３は、前記自己相関分析部２における自
己相関分析の手法を説明する図である。周期信号の自己
相関関数も、信号と同じ周期の周期関数となることか
ら、周期Ｐサンプルの信号の自己相関関数は信号の時間
原点に無関係に、０，±Ｐ，±２Ｐ，…サンプル目に極
大値に達する。そこで、自己相関関数の最初の極大点を
見つけることで、その周期を推定することができる。同
図において、極大値は整数倍でない複数の位置に現れて
おり、これらが２人の歌唱者による異なる周波数の歌唱
信号波の周期を示していることがわかる。これで、基本
周波数が割り出される。自己相関分析部２１は、この２
つの基本周波数を歌唱分析部２２および主旋律選択部２
３に入力する。また、有声音は明確な周期波形になるの
に対し、無声音はノイズ的な波形になるため、これによ
り有声音／無声音の識別をすることができる。この識別
結果は歌唱分析部２２に入力される。

【００１８】主旋律選択部２３は、シーケンサ１４から
入力される主旋律情報（主旋律トラックのイベントデー
タ）に基づいて、自己相関分析部２１から入力された複
数パートの可能音声信号の基本周波数のうちどれが主旋
律であるかを割り出す。この選択情報は主旋律成分分離
部２５に入力される。

【００１９】一方、歌唱分析部２２では自己相関分析部
２１から入力される基本周波数を含む分析情報に基づい
て、現在の歌唱状態を分析する。歌唱状態とは、現在歌
っている歌唱者の人数が０人（間奏等の無音区間）であ
るか、１人（ソロまたは掛け合い）であるか、２人以上
（デュエット中）であるかの状態である。歌唱分析部２
２はこれを判断し、さらに２人以上が歌っている場合に
主旋律以外の音声信号がハーモニーになっていないかな
どの状態を検出する。ハーモニーの検出はシーケンサか
ら入力されるハーモニー情報（ハーモニートラックのイ
ベントデータ）に基づいて判断される。また、主旋律の
発声が有声音であるか無声音であるかも判定する。

【００２０】歌唱分析部２２は、この判定結果に基づい
て主旋律選択部２３や主旋律成分分離部２５の動作内容
を制御する。歌唱状態が無音区間であると判断した場合
には、主旋律選択も主旋律成分分析も不要であるため、
主旋律選択部２３および主旋律成分分離部２５の動作を
この期間休止させる。また、２人のうち一方が主旋律を
歌唱し、他方がそれに対するハーモニーを歌唱している
場合には、敢えてこれに重ねてハーモニー音を生成する
必要がないため、主旋律成分分離部２５を休止させる。
主旋律分離部２５が動作を休止すると後段のピッチシフ
ト部２６に入力される音声信号がないためピッチシフト
によるハーモニー音の生成も休止することになる。

【００２１】また、現在歌唱者の一方しか歌っていない
ことが検出された場合には、歌われている旋律が主旋律
であることは明らかであるため、主旋律選択部２３の動
作を休止させ、主旋律成分分離部２５に入力された歌唱
音声信号をスキップさせるように指示する。これによ
り、１人の歌唱音声信号がディレイ２４から直接ピッチ
シフト部２６に入力される。

【００２２】さらに、現在の主旋律の音声が有声音であ
るか無声音であるかで主旋律成分分離部２５の分離アル
ゴリズムを切り換える。すなわち、有声音の場合には、
比較的単純に基音（基本周波数）の倍音で歌唱音声信号
が構成されているため、この原則に基づいて主旋律成分
分離を行う。一方、無声音の場合には、非線形なノイズ
成分が多く含まれているため、上記有声音とは異なる手
法で主旋律の歌唱音声信号を分離する。

【００２３】主旋律成分分離部２５により分離された主
旋律の音声信号、または、主旋律成分分離部２５をスキ
ップした単独歌唱の音声信号はピッチシフト部２６に入
力される。ピッチシフト部２６は、入力された音声信号
をシーケンサ１４から入力されるハーモニー情報に基づ
いてピッチシフトし、ハーモニーの音声信号として加算
部２８に出力する。

【００２４】ここで、ピッチシフト部２６は、図４に示
すように前段から入力された音声信号のフォルマント
（周波数成分の包絡線）を保存し、そのフォルマントを
構成する各周波数成分のみをピッチシフトする。ピッチ
シフトされた各周波数成分はそのピッチの包絡線に一致
されるようにレベル調整される。これにより、音質を変
えずに音高（周波数）のみをシフトすることができる。

【００２５】図１において、加算部２８には、このハー
モニー音声信号以外に前記音源１６から入力されるカラ
オケ演奏音、シーケンサ１４から直接入力されるコーラ
ス音およびＡＤＣ１２からディレイ２７を介して直接入
力される歌唱音声信号が入力される。加算部２８は、こ
れらの歌唱音声信号，ハーモニー音声信号，カラオケ演
奏音およびコーラス音を加算合成してステレオ信号にミ
キシングする。このミキシングされた音声信号はＤＳＰ
１３から出力され、ＤＡＣ１７に入力される。ＤＡＣ１
７はこのディジタルステレオ信号をアナログ信号に変換
してアンプ１８に入力する。アンプ１８はこのアナログ
信号を増幅してスピーカ１９から出力する。

【００２６】なお、ＤＳＰ１３のブロック中に挿入され
ている２つのディレイ２４，２７は、信号処理自己相関
分析部２１，歌唱分析部２２および主旋律選択部２３等
における信号処理のための遅れ時間を吸収するためのも
のである。

【００２７】このようにこのカラオケ装置では、１本の
マイク１０から入力される複数（２人）の歌唱音声のう
ち何方が主旋律であるかを分析し、その主旋律のみにハ
ーモニー歌唱を付加して出力するため、デュエット曲な
どを一緒に歌っていても、その主旋律に対してのみハー
モニーを付加することができる。

【００２８】図５はこの発明の他の実施形態であるカラ
オケ装置の要部のブロック図である。このカラオケ装置
と図１に示した第１の実施形態のカラオケ装置との相違
点は、このカラオケ装置が歌唱者の人数分のマイク（同
図では２本）を備え、各歌唱者の歌唱音声信号が別系統
でＤＳＰに入力される点である。カラオケ演奏用の楽曲
データの記憶・読出部および歌唱音声信号とカラオケ演
奏信号とが加算されたのちの信号系は上記第１の実施形
態と同一であるため構成部に同一番号を付して説明を省
略する。

【００２９】デュエット用の２本のマイク３０，３１は
それぞれ別系統のアンプ３２，３３で増幅され、ＡＤＣ
３４，３５でディジタル信号に変換されてＤＳＰ３６に
入力される。ＤＳＰ３６において、第１の歌唱音声信号
（マイク３０から入力された歌唱音声信号）は自己相関
分析部４１および加算部４７に入力される。また、第２
の歌唱音声信号（マイク３１から入力された歌唱音声信
号）は自己相関分析部４２および加算部４４，４７に入
力される。自己相関分析部４１，４２では、それぞれ第
１の歌唱信号，第２の歌唱信号の基本周波数を分析す
る。この構成では、自己相関分析部４１，４２は、複数
の歌唱音の基本周波数をぞれぞれ分離して分析する必要
はない。分析結果は歌唱分析部４３に入力される。歌唱
分析部４３は、入力された２人の歌唱音声信号の基本周
波数およびシーケンサ１４から入力される主旋律情報，
ハーモニー情報に基づいて、歌唱人数判定動作，主旋律
選択動作，ハーモニー検出動作を実行する。すなわち、
２人が同時に歌唱しているか否か、二人で歌っている場
合、どちらが主旋律か、また、他方の歌唱音が主旋律の
ハーモニーになっているかなどを分析する。主旋律選択
動作により主旋律が選択されると、それに対応するセレ
クト信号をセレクタ４５に入力する。セレクタ４５は主
旋律として選択された歌唱音声信号をピッチシフタ４６
に入力するべく接続を切り換える。ピッチシフタ４６
は、入力された音声信号をシーケンサ１４から入力され
るハーモニー情報に基づいてピッチシフトし、ハーモニ
ー音声信号を生成する。

【００３０】ハーモニー音声信号は加算部４９に入力さ
れる。加算部４９には、このハーモニー音声信号以外に
前記音源１６から入力されるカラオケ演奏音、シーケン
サ１４から直接入力されるコーラス音およびＡＤＣ１２
から加算部４７−ディレイ４８を経て入力される歌唱音
声信号が入力される。加算部４９は、これらの歌唱音声
信号，ハーモニー音声信号，カラオケ演奏音およびコー
ラス音を加算合成してステレオ信号にミキシングする。
このミキシングされた音声信号はＤＳＰ３６から出力さ
れ、ＤＡＣ１７に入力される。

【００３１】なお、上記実施形態には、特許請求の範囲
に記載した発明以外の発明も含まれており、この発明を
特許請求の範囲の請求項１の発明の従属形式で記載する
と以下のようになる。

【００３２】〔請求項２〕 前記音声信号入力手段は、
複数の歌唱音声信号を１系統で入力する手段である請求
項１に記載の音声信号処理装置。

【００３３】〔請求項３〕 前記主旋律判定手段は、入
力された複数の音声信号のそれぞれの基本周波数を検出
する手段と、検出された基本周波数と予め記憶されてい
る主旋律情報とを比較して一致するものを主旋律と判定
する手段とを含む請求項１に記載の音声信号処理装置。

【００３４】〔請求項４〕 前記主旋律抽出手段は、１
系統で入力された複数の音声信号から主旋律の音声信号
成分を分離抽出する手段である請求項２に記載の音声信
号処理装置。

【００３５】〔請求項５〕 前記ハーモニー生成手段
は、予め記憶されているハーモニー情報に基づいて前記
主旋律の音声信号をピッチシフトする手段である請求項
１に記載の音声信号処理装置。

【００３６】〔請求項６〕 主旋律以外の音声信号が該
主旋律に対するハーモニーになっているか否かを検出す
るハーモニー検出手段と、該ハーモニー検出手段がハー
モニーになっている音声信号を検出したとき前記ハーモ
ニー生成手段を無効にする手段とを備えたことを特徴と
する請求項１に記載の音声信号処理装置。

【００３７】〔請求項７〕 主旋律以外の音声信号が前
記ハーモニー情報と一致するか否かを判定するハーモニ
ー検出手段と、該ハーモニー検出手段がハーモニーにな
っている音声信号を検出したとき前記ハーモニー生成手
段を無効にする手段とを備えたことを特徴とする請求項
５に記載の音声信号処理装置。

【００３８】また、この発明はカラオケのような歌唱音
声以外にも楽器演奏にも適用することができる。

【００３９】

【発明の効果】以上のようにこの発明によれば、複数の
音声信号が入力されても、そのなかから主旋律を歌唱／
演奏する音声信号を判定して抽出し、この音声信号のみ
にハーモニー音声を付加するため、主旋律を引き立てる
ハーモニーのみを付加することができ、主旋律でないも
のに対してハーモニーを付加して却って歌唱／演奏を損
なうことがなくなる。

【００４０】また、入力された複数の音声信号から主旋
律を判定するため、主旋律が交代するような演奏であっ
てもそのなかから主旋律を抽出することができる。

【図面の簡単な説明】

【図１】この発明の実施形態であるカラオケ装置の要部
の構成図

【図２】同カラオケ装置の楽曲データの構成を示す図

【図３】入力された歌唱音声信号の自己相関分析を説明
する図

【図４】音声信号のピッチシフトの手法を説明する図

【図５】この発明の他の実施形態であるカラオケ装置の
要部の構成図

Claims (1)

【特許請求の範囲】
1. 【請求項１】 複数の旋律音声信号を入力する音声信号
   入力手段と、入力された複数の音声信号から主旋律の音
   声信号を判定する主旋律判定手段と、入力された複数の
   音声信号から主旋律の音声信号を抽出する主旋律抽出手
   段と、分離された主旋律の音声信号をピッチシフトして
   ハーモニー音声信号を生成するハーモニー生成手段と、
   前記複数の音声信号と前記ハーモニー音声信号を合成し
   て出力する合成手段とを備えたことを特徴とする音声信
   号処理装置。