JPH0413189A - カラオケ装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、業務用あるいは家庭用のカラオケ装置に関す
る。

［従来の技術］ この種のカラオケ装置は、記憶媒体に記憶されている楽
音情報と、マイクからの音声情報とをアンプにてミキシ
ングして増幅し、スピーカより出力している。歌い手は
、楽音情報の再生出力を聞きながらその音程、テンポ（
楽曲に指定された速度）を意識し、これに合わせながら
マイクに音声入力を行うことになる。従来、楽音情報の
再生出力を調整するものとしては、再生するキーの高さ
調整するものがあり、この中にはキーの調整を再生スピ
ードに連動させて行うものがあった。

［発明が解決しようとする課８］ カラオケを楽しむ歌い手としては、楽音情報に忠実にあ
るいは再生楽音の音程、テンポを外れない程度にアレン
ジして歌うもの等種々あるが、いずれも再生楽音を意識
し、自分の歌の技量に基づき再生楽音の音程、テンポか
ら逸脱しない範囲で歌を楽しむことができる。一方、再
生楽音をほとんど意識せず、自分のペースで歌を満喫す
るタイプの者もある。このような場合、音声出力と楽音
再生出力とは、特にテンポが全くかけはずれ、聞き手に
耳触りなばかりか、歌い手が楽音再生出力とのずれに気
がついた時には、かえって歌の楽しみを奪ってしまうこ
とがある。

従来、楽音情報の再生速度を予め手動で調整できる装置
はあったが、これはキー調整の手段として用いられるも
のであるから、歌い手の歌う速さに合わせることには限
界があり、これに連動してキーが変わってしまう問題が
ある。

そこで、本発明の目的とするところは、歌い手の歌う速
さに楽音再生を自動的に追従させ、大幅なテンポずれを
修正することが可能なカラオケ装置を提供することにあ
る。

［課題を解決するための手段］ 本発明は、記憶媒体に記憶された楽音情報と、音声入力
手段から入力された音声情報とを出力するカラオケ装置
において、前記音声人力手段より入力される前記音声情
報と、再生出力される前記楽音情報のうち前記音声情報
と対応する部分の情報との時間的ずれを検出する検出手
段と、この検出手段からの時間的ずれ情報に基づき、前
記楽音情報の再生タイミング又は再生速度のいずれか一
方または双方の調整制御を行う制御手段と、を設けたこ
とを特徴とする。

［作　用］ 本発明のカラオケ装置では、記憶媒体に記憶された楽音
情報を再生出力すると共に、音声人力手段から入力され
た音声情報を併せて出力することになるが、この際、検
出手段では、前記音声入力手段より入力される前記音声
情報と、再生出力される前記楽音情報のうち前記音声情
報と対応する部分の情報との時間的ずれを検出する。そ
して、楽音情報に対して音声情報が遅れたり速まったり
した場合には、検出手段からの時間的ずれ情報に基づき
、前記楽音情報の再生タイミングを音声情報に合わせる
ようにずらし、あるいは再生速度を歌う速度と一致する
方向に調整制御している。

［実施例］ 以下、本発明の一実施例を図面を参照して説明する まず、本発明のカラオケ装置の全体構成について、第１
図を参照して説明する。

入出力制御部１ｏはカラオケ装置の全体制御を司るもの
であり、ＣＰＵ、ＲＡＭ、ＲＯＭ等ヲ内蔵している。ま
た、この人出力制御部１ｏは、後述するように本発明の
検出手段としての機能を備えている。

この入出力制御部１ｏには下記の各装置が接続されてい
る。操作部１２は曲の選択入力を行うものであり、例え
ば操作キー等の操作により選曲が可能であり、この情報
が前記人出力制御部】０に入力される。記憶部１４は、
少なくとも楽音情報を記憶することで本発明の記憶媒体
を構成するものであり、同図に示すように、曲名人と対
応して、演奏データＢ、歌詞タイミングデータＣおよび
歌詞文りを記憶している。この演奏データＢは例えばＭ
ＩＤＩ規格（ミュージカル・インストルメント・デジタ
ル・インターフェース）として構成され、その−データ
として少なくとも音階、音の強さ、音の長さおよび音色
から構成されている。この記憶部１４には楽音情報の他
に背景映像データＥが記憶されている。この背景映像デ
ータＥは前記曲名Ａとは対応関係がなく、後述する表示
部１８に対して前記演奏データＢとは非同期で出力され
、かつエンドレスな映像を出力可能とするものである。

映像制御部１６は、前記記憶部１４に記憶された背景映
像データＥを入出力制御部１ｏを介して入力し、前記表
示部１８に表示制御するものである。歌詞文出力制御部
２ｏは、前記記憶部１４に記憶された歌詞文りを入出力
制御部１ｏを介して入力し、前記表示部１８に対して表
示制御するものである。演奏制御部２２は、前記記憶部
１４に記憶された演奏データＢを入出力制御部１ｏを介
して入力し、演奏装置としてのシンセサイザ２４での演
奏制御を行うものである。この演奏制御部２２は、演奏
データの再生タイミングおよび再生速度の調整制御を行
うことが可能であり、この意味において本発明の制御手
段を構成している。また、この演奏制御部２２には、前
記記憶部１４に記憶された歌詞タイミングデータＣも入
力されるようになっている。この理由は、上記のように
演奏データの再生タイミングまたは再生速度の調整制御
を行った場合に、この調整制御に合せて歌詞タイミング
データＣを加工し、演奏データＢの演奏速度と歌詞タイ
ミングデータＣとの同期をとるようにしている。

前記シンセサイザ２４の後段にはアンプ２６が設けられ
、シンセサイザ２４の出力を増幅してその後段のスピー
カ２８に出力するものである。また、このアンプ２６に
は音声入力手段としてのマイク３０が接続されている。

そして、前記アンプ２６はマイク３０からの音声情報と
、シンセサイザ２４からの楽音情報とをミキシングして
増幅し、前記スピーカ２８に出力することになる。さら
に、マイク３０からの音声情報は前記入出力制御部１０
にも入力されるようになっている。そして、この入出力
制御部１０に入力された音声情報は、演奏データとの間
の時間的ずれの検出に用いられることになる。

次に、本発明の検出手段を構成する前記人出力制御部１
０の詳細について、第２図を参照して説明する。

ｌｏｇ変換器４０は、前記マイク３０からの音声情報の
うちの音圧レベル信号を入力し、これをｌｏｇ圧縮する
ものである。この１０ｇ変換器４０の出力を入力する微
分回路４２は、ｌｏｇ圧縮信号を微分することで、音圧
変化点にてパルス状波形を有するＰＣＭデータとして出
力する。なお、このＰＣＭデータとしては、後述する相
互相関を可能とするために、時間軸上である幅をもった
パルスとして出力される。１０ｇ変換器４０は、例えば
、入力信号のＰＣＭデータの２乗平均値に応じてテーブ
ル参照により対応する圧縮信号に変換することにより、
また、微分回路４２は高域通過フィルタ等により、それ
ぞれＤＳＰ等を用いて実現することができる。前記微分
回路４２の出力を入力するＣＰＵ４４は、音声情報と楽
音情報との時間的ずれを解析するものである。このＣＰ
Ｕ４４には第１．第２のメモリ４６．４８がそれぞれ接
続されている。第１のメモリ４６はワーキングメモリと
して機能し、まず前記微分回路４２からΦ出力をＣＰＵ
４４を介して記憶する。一方、第２のメモリ４８には、
ＣＰＵ４４にて相互相関を行うためのリファレンスデー
タが記憶されている。このリファレンスデータは、歌の
強弱を示す模範的データを前記ｌｏｇ変換器４０．微分
回路４２を通して作成したものであり、時間軸上の情報
として記憶されている。このリファレスデータとしては
、歌の強弱の特徴的な部分であることが好ましく、必ず
しも各小節毎に必要とせず、２小節おきあるいは特徴点
のみをリファレンスデータとして記憶しておくことが可
能である。

次に、このカラオケ装置の作用について説明する。

操作部１２において選曲指令が入力されると、入出力制
御部１０は記憶部１４内部のデータのうち選曲された曲
名人を検索し、かつこの検索された曲名と対応する演奏
データＢ、歌詞タイミングデータＣおよび歌詞文りを読
み出し制御する。また、背景映像データＥについては、
曲名Ａとは無関係に読み出し制御され、映像制御部１６
を介して表示部１８に表示制御される。記憶部１４より
読み出されたデータのうち、歌詞文りは人出力制御部１
０を介して歌詞出力制御Ｈ２０に入力され、表示部１８
にて背景映像に重畳されて表示される。

一方、演奏データＢおよび歌詞タイミングデータＣは、
入出力制御部１０を介して演奏制御部２２に出力される
。この演奏制御部２２では、歌詞タイミングデータＣに
基づいて、歌詞支出力制御部２０での歌詞文りの出力タ
イミングを制御すると共に、演奏データＢをシンセサイ
ザ２４に出力する。シンセサイザ２４より発せられた音
信号は、アンプ２６を介してスピーカ２８に出力され、
カラオケ演奏として再生出力されることになる。

方、歌い手はマイク３０を介して音声情報を入力し、こ
の音声情報は前記アンプ２６にて演奏情報とミキシング
され、スピーカ２８より出力されることになる。

ここで、歌い手の中には、歌い出しのタイミングがずれ
たり、あるいは演奏スピードと歌うスピードとが不一致
となることにより、演奏と音声とが大幅にずれてしまう
ことがある。本実施例装置では、このずれの時間的情報
を検出し、演奏データの再生出力を調整することにより
、両者間の時間的ずれを自動的に修正するようにしてい
る。

このために、マイク３０からの音声情報は、アンプ２６
に出力されると共に、人出力制御部１０にも出力される
ことになる。この人出力制御部１０では、前記マイク３
０からの音声情報のうち音圧レベル信号が１ｏｇ変換器
４０に入力されることになる。この１０ｇ変換器４０に
て１０ｇ圧縮している理由は、後段のＣＰＵ４４での相
互相関を行うためには、リニアな情報でなくそのレベル
差の情報が必要となるからである。この１０ｇ変換器４
０でｌｏｇ圧縮された信号は、例えば第３図（Ａ）に示
す階段波形として得られる。１０ｇ圧縮された信号は、
微分回路４２において微分される。微分する理由は、！
ｏｇ圧縮信号′におけるレベル変化点を示すＰＣＭデー
タを得るためである。第３図（Ａ）に示す信号を微分す
ることにより、同図（Ｂ）に示す微分信号が得られる。

この際、その後実施される相互相関を可能とするために
、この微分信号は、レベル変化点において時間軸上で所
定の幅をもったパルス信号として出力される。

微分回路４２の出力を入力するＣＰＵ４４は、この入力
信号を第１のメモリ４６に格納することになる。一方、
第２のメモリ４８には、この入力信号に対応するリファ
レンスデータが格納されてる。このリファレンスデータ
と人力信号との間には、第４図（Ａ）、（Ｂ）に示すよ
うに、時間的ずれが存在する場合がある。この時間的ず
れの１つとして、例えば両信号間の最大レベル値におけ
る出力タイミングずれΔｔがある。他の１つとして、１
フレーズの開始から出力に至る時間長さのずれ、すなわ
ちリファレンスデータが時間Ｔ１であるのに対し、入力
信号では時間Ｔ２−３ＸＴＩとなっている。第４図の例
の場合には、入力信号がリファレンスデータに対してΔ
ｔだけ遅れたタイミングとなっているので、演奏データ
をΔｔだけ遅らせて再生出力すれば、演奏と音声との時
間的不一致を縮めることができる。また、同図に示す場
合には、演奏に対して音声が８倍だけ間伸びした形で歌
われているので、演奏データを８倍だけ間伸びさせて再
生出力すれば、両者間の時間的ずれを縮めることが可能
となる。

そこで、本実施例装置のＣＰＵ４４は、上記のタイミン
グずれΔｔおよび音声の間伸び倍率Ｓを下記のようにし
て検出している。

まず、タイミングずれΔｔに関しては、例えばリファレ
ンスデータの最大レベル値、および入力信号の最大レベ
ル値の認識により、その時間軸上のずれを検出すればよ
い。なお、他の特徴点同士の比較でもよい。

一方、間伸び率Ｓについては、下記のような相互相関の
演算を行うことにより検出可能である。

まず、タイミングずれデータΔｔに基づき、第５図（Ａ
）、（Ｂ）に示すように、リファレンスデータおよび入
力信号の最大レベル値をそれぞれ時間軸上で一致させる
ように、例えば入力信号側をΔｔだけ時間軸上でシフト
させる。次に、リファレンスデータを関数ｆで表したと
き、入力信号の関数ｆ′と定義し、関数ｆ−の波形が関
数ｆの波形に相似するように、間伸び率Ｓに対応する変
数を変えながら、この両者の相互相関 Σ　ｆ、、）　　−ｆ′　　（＋Δ　ｔ）を時間軸上の
一定区間にわたって演算する。そして、相互相関が最も
高くなる時の変数に基づきＳが求まることになる。

このようにして得られた時間的ずれ情報は、入出力情報
１０より演奏制御部２２に出力される。

この演奏制御部２２では、演奏データＢをシンセサイザ
２４に出力するタイミングを、タイミングずれΔｔだけ
遅らせて出力する。同時に、演奏データの演奏スピード
を、前記間伸び倍率Ｓだけ間伸びさせることになる。演
奏データが、上述したＭＩＤＩ規格の場合、各音階の長
さが定義されているので、この音階長さを例えば倍率Ｓ
だけ−律に長くすることで、演奏スピードを音声と一致
するように遅らすことが可能となる。また、この時間的
ずれ情報は、演奏制御部２２より歌詞文出力制御部２０
に出力される。そして、この歌詞文出力制御部２０ては
、表示部１８に表示すべき歌詞の出力タイミングおよび
出力スピードを制御し、歌詞文の表示と楽音の再生演奏
とがそれぞれ一致するように制御することになる。

上記のような演奏と音声との時間的ずれの検出は、予め
第２のメモリ４８に記憶されたリファレンスデータと対
応する音声信号が入力した際に実施され、再生中の複数
箇所にて時間的ずれの検出およびこれに基づく再生調整
が行えるので、演奏と音声との時間的なずれを自動的に
修正することが可能となる。

なお、本発明は上記実施例に限定されるものではなく、
本発明の要旨の範囲内で種々変形の変形実施が可能であ
る。

上記実施例では、タイミングずれデータΔｔに基づき楽
音情報の再生タイミングを調整制御し、かつ、間伸び倍
率Ｓに基づき楽音情報の再生速度の調整制御を同時に行
ったが、この少なくともいずれか一方の調整制御を実施
することでも、演奏と音声との時間的ずれを縮めること
が可能である。

また、演奏と音声との時間的ずれの検出を行うにあたり
、予め特徴となるリファレンスデータを記憶しておくこ
とが好ましいが、必ずしもこのような手法に限らず、記
憶部１４に記憶されている演奏データＢの特徴点をリフ
ァレンスデータとして使用することも可能である。さら
に、上記実施例ではｌｏｇ変換器４０に入力される音声
情報として、その音圧レベル信号を入力する方式を採用
したが、周波数信号を入力することでも同様に時間的ず
れの検出が可能である。

演奏と音声とのずれを、演奏データの加工により少なく
することの応用として、演奏と音声との音程にずれが生
じた場合に、演奏データの音程を変更して出力すること
が考えられる。このために、例えば音声情報のＬＰＧ　
（線形予測）分析の実施により残差を出し、この残差よ
り音声のピッチ周波数（音程に対応する）を検出し、こ
の検出結果に基づき楽音情報の内の例えば主旋律の音程
を音声と一致させるように調整することが考えられる。

［発明の効果］ 以上説明したように本発明によれば、演奏と音声との時
間的ずれを検出し、この時間的ずれ情報に基づき楽音情
報の再生タイミングまたは再生速度のいずれか一方また
は双方の調整制御を行うことで、歌い手の歌う早さに楽
音再生を自動的に追従させ、大幅なテンポずれを修正す
ることが可能となる。

【図面の簡単な説明】

第１図は、本発明を適用したカラオケ装置の全体構成を
示すブロック図、第２図は、第１図における入出力制御
部の一構成例を示すブロック図、第３図（Ａ）、（Ｂ）
は、音圧レベル信号のｌｏｇ圧縮波形およびその微分波
形を示す特性図、第４図（Ａ）、（Ｂ）は、リファレン
スデータと入力信号との時間的ずれを説明するための特
性図、第５図（Ａ）、（Ｂ）は、リファレンスデータと
入力信号とを時間軸上で一致させた状態を示す特性図で
ある。 １４・・・記憶媒体、２２・・・制御手段、３０・・・
音声人力手段、４０〜４８・・・検出手段。

Claims (1)

【特許請求の範囲】
1. （１）記憶媒体に記憶された楽音情報を再生出力し、か
   つ、音声入力手段から入力された音声情報を併せて出力
   するカラオケ装置において、 前記音声入力手段より入力される前記音声情報と、再生
   出力される前記楽音情報のうち前記音声情報と対応する
   部分の情報との時間的ずれを検出する検出手段と、 この検出手段からの時間的ずれ情報に基づき、前記楽音
   情報の再生タイミング又は再生速度のいずれか一方また
   は双方の調整制御を行う制御手段と、 を設けたことを特徴とするカラオケ装置。