JP5106437B2 - カラオケ装置及びその制御方法並びにその制御プログラム - Google Patents

Description

本発明は、カラオケ装置及びその制御方法並びにその制御プログラムに関する。

楽曲の伴奏音楽であるカラオケ演奏に合わせて、歌唱者が主旋律（メロディーライン）を歌唱することを楽しむためのカラオケ装置が広く知られている。

このようなカラオケ装置において、歌唱者の歌唱を補助する機能としては、歌唱者に楽曲の歌詞を提示している。すなわち、従来のカラオケ装置は、背景映像と共に歌詞テロップをモニタ上に表示する方法が一般的である。

しかし、歌唱者が運転中の場合や、モニタから離れている場合などのように、モニタ画面の歌詞を見ることが困難なときには、歌唱者は歌詞を覚えていなければ歌うことができない。また、歌唱者が歌いたい楽曲の主旋律をよく覚えていない場合には、歌詞を文字だけで提示されても十分に歌うことができない。

そのため、歌唱補助機能として次のような従来技術が提案されている。

特許文献１は、伴奏曲中のある区間を再生するのに先立って、その区間の歌詞を音声合成ユニットを動作させて読み上げるカラオケ装置を開示している。

特許文献２は、指定した歌い手の種類で主旋律用歌詞データを出力するカラオケ再生装置を開示している。

特許文献３は、楽曲をフレーズ毎に区切り、各フレーズの出だしから所定部分まで、オリジナル曲を歌っている歌手の音声などでガイド音声を再生するカラオケ装置を開示している。
特開平１０−１６１６８３号公報 特許第３５２１７１１号公報 特許第３３００５５３号公報

しかし、上記従来技術においては、歌唱者の歌唱の妨げとならないように、歌詞と主旋律を音声で教示することができないという問題点がある。

本発明は、歌唱者の歌唱を妨げることなく、歌唱者に歌詞とより自然な主旋律の両方を教示できるカラオケ装置及びその制御方法を提供することを目的とする。

本発明は、楽曲の伴奏音楽データと、前記楽曲の主旋律と、前記楽曲の歌詞とを取得する取得部と、前記歌詞と、前記歌詞の各音韻に割り当てられる前記主旋律のピッチと、前記主旋律を構成する音符と休符とがそれぞれ表す時間長さに任意の変更率をかけて短縮した前記音韻の継続時間長とから韻律情報を生成する韻律生成部と、前記歌詞を発声するためのリード音声を、前記韻律情報から音声合成する合成部と、前記楽曲の伴奏音楽データから生成された前記楽曲の伴奏音の演奏を行うと共に、前記歌詞に対応する前記伴奏音が演奏される前に前記リード音声を出力し始める出力制御部とを有することを特徴とするカラオケ装置である。

本発明によれば、歌唱者に歌詞と主旋律の概要を同時に音声で教示することができ、その結果、歌唱の妨げにならないわかりやすい歌唱補助を得ることができる。

以下、本発明の一実施形態のカラオケ装置について図１〜図７に基づいて説明する。

本実施形態のカラオケ装置の構成について図１に基づいて説明する。図１は、カラオケ装置の概略構成例を示す。

カラオケ装置は、取得部１０、演奏部１１、韻律生成部１２、合成部１３、出力制御部１４、表示情報生成部３０、表示装置３１、音声出力装置３２を有している。

なお、カラオケ装置は、コンピュータに実行させることのできるプログラムとして、磁気ディスク、光ディスク、半導体メモリなどの記録媒体に格納して、又は、ネットワークを介して頒布できる。また、上記各部１１〜３２の機能をソフトウェアとして記述し、コンピュータに処理させても実現できる。

取得部１０は、様々な楽曲に対する伴奏音楽データ（カラオケデータ）、主旋律、歌詞を、情報１００として外部から取得して記憶している。これらの情報１００は出力制御部１４からの要求に応じて利用される。ここで、伴奏音楽データは、楽曲の伴奏音を生成するために必要な情報であり、例えば、ＭＩＤＩデータなどである。

出力制御部１４は、カラオケ装置全体を制御する。出力制御部１４は、取得部１０から必要な情報１００を取得し、所定のタイミングで演奏指示１０１、リード音声生成指示１０２、表示指示３００を演奏部１１、韻律生成部１２、表示情報生成部３０へそれぞれ出力する。なお、各指示１０１、１０２、３００には、それぞれの各部１１，１２，３０で必要な情報が含まれている。

演奏部１１は、伴奏音楽データに基づいて、楽曲の伴奏音１０５を演奏指示１０１に従って、ＭＩＤＩ音源などによって生成する。

韻律生成部１２は、主旋律と対応する歌詞に基づいて、リード音声の合成に必要な韻律情報１０３をリード音声生成指示１０２に従って生成する。なお、「リード音声」とは、歌唱者に対し歌詞を教示するための歌詞の発声をいう。

合成部１３は、韻律情報１０３に基づいて、リード音声１０４を音声合成する。この音声合成を行う合成器は、任意の音韻の音声波形を任意のピッチや継続時間長で生成できるものであればよい。

音声出力装置３２は、リード音声１０４と伴奏音１０５などの音響信号を外部出力するためもので、具体的にはミキサー、アンプ、スピーカー、イヤホン、ヘッドフォンなどが含まれる。

表示情報生成部３０は、楽曲と共に出力する背景映像や歌詞などの表示情報３０１を表示指示３００に従って生成する。

表示装置３１は、表示情報３０１などの映像信号を外部出力するためのモニタ又はディスプレイである。

カラオケ装置の動作について説明する。なお、本実施形態は、図１の概略構成において破線で囲んだ音響信号を生成する部分に関するものであるため、以下ではこの部分に関する構成や処理動作を詳しく説明する。すなわち、本実施形態は、韻律生成部１２に最も特徴があるため、韻律生成部１２を中心に詳しく説明する。

まず、出力制御部１４は、演奏部１１へ演奏指示１０１を出力して楽曲の伴奏音１０５を生成させる。また、楽曲のフレーズ毎に所定のタイミングでリード音声を出力するために、出力制御部１４は、韻律生成部１２へリード音声生成指示１０２を出力し始める。

ここで、所定のタイミングとは、歌詞に対応するの伴奏音１０５が出力されるより早い時刻に出力し始め、当該フレーズのリード音声を当該フレーズ部分の歌唱の妨げにできるだけならない範囲で出力し終えることが可能な時刻などである。

また、楽曲をフレーズ毎に分割してリード音声を生成することが望ましい。しかし、１フレーズが長い場合はそのフレーズをさらに分割してもよいし、１フレーズが短い場合は、複数のフレーズに対するリード音声をまとめて生成してもよい。

リード音声生成指示１０２には、リード音声を生成するために必要な情報として、取得部１０から読み込まれた当該フレーズの歌詞と主旋律に加えて、継続時間長の変更率が含まれている。

図２に歌詞と主旋律の一例を示す。

図２（ａ）に示すように、楽曲「仰げば尊し」の第１フレーズである「仰げば」の部分に対しては、図２（ｂ）に示すように、歌詞の各音韻（読みの情報）と対応する音符が表すピッチと、音符と休符が表す時間長さの情報が含まれる。なお、「ピッチ」とは、音の高さを意味し、音楽における「音階」を意味する。なお、「音符と休符が表す時間長さ」とは、四分音符や八分音符などといった音符で表された音の長さ、及び、四分休符や八分休符といった休符で表された音の休止の長さをいう。

そして、歌詞の各音韻に対するものであって、主旋律を構成する音符と休符が表す時間長さに基づいて、リード音声の各音韻の継続時間長を決定する。このときに、リード音声は、本来の主旋律のリズムよりも短めの時間（比較的早口）で出力する必要がある。そのため、継続時間長の変更率とは、各音韻に対する元の音符が表す時間長さを短縮するための情報を意味する。そして、継続時間長の変更率は、当該フレーズに含まれる音符と休符が表す時間長さ、リード音声を出力するタイミング、リード音声を出力可能な区間の長さ（当該フレーズのリード音声の総時間長）、楽曲のテンポなどによって決定される。なお、継続時間長の変更率は、音符や休符が表す時間長さを全て短縮するだけでなく、延ばす場合を一部含んでもよい。

次に、韻律生成部１２は、フレーズの歌詞、主旋律、及び、継続時間長の変更率とから、リード音声を合成するための韻律情報１０３を生成する。

図３は、韻律生成部１２の構成例を示す。韻律生成部１２は、継続時間長変更部２１、ピッチパターン生成部２２とを有している。

継続時間長変更部２１は、歌詞の各音韻に対するものであって、主旋律を構成する音符が表す時間長さと、継続時間長の変更率が含まれる情報１２１に基づいて、リード音声の各音韻の継続時間長１２３を生成する。図４は、この処理内容の一例を示す。「仰げば」というフレーズにおいて、歌詞の各音韻に対する主旋律を構成する音符が表す時間長さについて、一律の変更率０．２倍をかけることによって、リード音声の各音韻の継続時間長を生成した場合である。

ピッチパターン生成部２２は、歌詞の各音韻に対するものであって主旋律を構成する音符のピッチ１２２と、継続時間長変更部２１で生成されたリード音声の各音韻の継続時間長とに基づいて、ピッチパターンを生成し、韻律情報１０３として出力する。図５はこの処理内容の一例を示す。基本的には、各音韻に対して主旋律で指定されているピッチが、各音韻の継続時間長分だけ続くようなピッチパターンを生成すればよい。但し、生成された韻律情報がより自然になるように、音韻間などでピッチを滑らかに変化させることが好ましい。また、歌声のピッチ変化の特徴であるビブラート、オーバーシュート、アンダーシュートなどの効果を付与したピッチパターンを生成してもよい。

合成部１３は、以上のように生成した韻律情報１０３に基づいて当該フレーズのリード音声１０４を音声合成する。

音声出力装置３２は、リード音声１０４と伴奏音１０５と合わせて出力することにより、リード音声を含んだ伴奏音楽が生成される。

以上説明したように、本実施形態は、楽曲のフレーズ毎に歌詞の各音韻に割り当てられた主旋律のピッチについてはそのまま用い、音符と休符が表す時間長さについては短縮して韻律情報１０３を生成し、この韻律情報１０３からリード音声を合成して出力している。そのため、歌唱者が表示装置３１を見ることが困難な場合であっても、歌唱者の歌唱を妨げることなく、音声によって歌詞と共に主旋律も教示できる。

特許文献１のようなリードナレーションを合成する場合は、主旋律とは直接関係のない韻律情報を言語属性から推定している。そのため、生成された音声は歌詞の各フレーズを主旋律とは無関係に読み上げたようなリズムやイントネーションを持つことになる。例えば，「仰げば」に対しては，このフレーズの持つ「４モーラ２型」という言語的なアクセント位置情報などに基づいて，ピッチの変化パターンが生成される。したがって、歌唱者が楽曲の主旋律を十分に覚えていない場合には、歌詞を主旋律にどのように合わせて歌えばよいかは全くわからない。しかし、本実施形態では、韻律情報を主旋律に基づいて生成する。そのため、本実施形態では、歌唱者に歌詞と主旋律の概要を同時に音声で教示できる。

また、特許文献２では、ガイドボーカルのように主旋律と完全に一致した模範の歌声を生成している。しかし、本実施形態では、これとは異なり、主旋律の音符が表す時間長さを短めに変更してから韻律情報に用いる。そのため、本実施形態では、歌唱する部分をできるだけ妨げないようにフレーズ間などで歌唱補助を行うことができる。

さらに、特許文献３では、歌唱音声を利用してガイド音声を生成している。しかし、本実施形態では、韻律情報を主旋律に基づいて生成し、この韻律情報を利用して音声合成によって音声を生成する。そのため、本実施形態では、歌唱するパートとの重なりをできるだけ少なくするような任意の音声を生成することが容易である。また、本実施形態では、歌唱者が楽曲のピッチやリズムを変更した場合でも、自然で分かりやすいリード音声を特別な処理を追加することなく生成できる。

（変更例）
上記実施形態では、図６に示すように、主旋律の各音韻に対する音符が表す時間長さを一律の０．２倍の変更率で伸縮させてリード音声の各音韻の継続時間長を決定する例を示した。しかし、本実施形態は、これに限定されるものではなく、以下のような方法でより効果的に変更率を決めることができる。

変更例１では、図７に示すように、元の音符や休符が表す時間長さに基づいて変更率を求める。これにより、短い音符に割り当てられている歌詞の音韻がより聞き取りやすくなり、かつ、主旋律のリズムの概要も把握できるリード音声を生成できる。

変更例２では、音符と休符とで変更率を変えている。例えば、主旋律の把握に比較的影響の少ない休符が表す時間長さの変更率を音符に比べて大きくする。これにより、歌詞の内容を理解しやすいリード音声が生成できる。

変更例３では、音符や休符が表す時間長さが長いほど変更率を大きくする。これにより、短い音符に割り当てられている音韻についても、比較的聞き取りやすいリード音声を生成できる。すなわち、図７に示すように、主旋律の音符が表す時間長さが長いものほど変更率を大きくし、短い音符に割り当てられていた音韻に対する変更率を小さくする。これにより、変更後の継続時間長が極端に短くなる（早口になる）ことを防ぐことができる。

変更例４では、フレーズの音韻数やリード音声の出力区間長などの他の情報から、変更率を継続時間長変更部２１において計算する。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係るカラオケ装置の概略構成例を示すブロック図である。 歌詞と主旋律の一例を示す図である。 韻律生成部の構成例を示すブロック図である。 継続時間長変更部の処理内容の一例を示す図である。 ピッチパターン生成部の処理内容の一例を示す模式図である。 実施形態の継続時間長の変更率の設定方法を示す図である。 変更例の継続時間長の変更率の設定方法を示す図である。

１０ 取得部
１２ 韻律生成部
１３ 合成部
１４ 出力制御部

Claims (6)

1. 楽曲の伴奏音楽データと、前記楽曲の主旋律と、前記楽曲の歌詞とを取得する取得部と、
   前記歌詞と、前記歌詞の各音韻に割り当てられる前記主旋律のピッチと、前記主旋律を構成する音符と休符とがそれぞれ表す時間長さに任意の変更率をかけて短縮した前記音韻の継続時間長とから韻律情報を生成する韻律生成部と、
   前記歌詞を発声するためのリード音声を、前記韻律情報から音声合成する合成部と、
   前記楽曲の伴奏音楽データから生成された前記楽曲の伴奏音の演奏を行うと共に、前記歌詞に対応する前記伴奏音が演奏される前に前記リード音声を出力し始める出力制御部と、
   を有することを特徴とするカラオケ装置。
2. 前記韻律生成部は、前記変更率を、前記時間長さに基づいて求める、
   ことを特徴とする請求項１に記載のカラオケ装置。
3. 前記韻律生成部は、前記休符が表す時間長さの変更率を、前記休符が表す時間長さと同じ時間長さを持つ前記音符が表す時間長さの前記変更率よりも大きくする、
   ことを特徴とする請求項１に記載のカラオケ装置。
4. 前記韻律生成部は、前記音符又は前記休符が表す時間長さが長いほど前記変更率を大きくする、
   ことを特徴とする請求項１に記載のカラオケ装置。
5. 取得部が、楽曲の伴奏音楽データと、前記楽曲の主旋律と、前記楽曲の歌詞とを取得する取得ステップと、
   韻律生成部が、前記歌詞と、前記歌詞の各音韻に割り当てられる前記主旋律のピッチと、前記主旋律を構成する音符と休符とがそれぞれ表す時間長さに任意の変更率をかけて短縮した前記音韻の継続時間長とから韻律情報を生成する韻律生成ステップと、
   合成部が、前記歌詞を発声するためのリード音声を、前記韻律情報から音声合成する合成ステップと、
   出力制御部が、前記楽曲の伴奏音楽データから生成された前記楽曲の伴奏音の演奏を行うと共に、前記歌詞に対応する前記伴奏音が演奏される前に前記リード音声を出力し始める出力制御ステップと、
   を有することを特徴とするカラオケ装置の制御方法。
6. コンピュータに、
   楽曲の伴奏音楽データと、前記楽曲の主旋律と、前記楽曲の歌詞とを取得する取得機能と、
   前記歌詞と、前記歌詞の各音韻に割り当てられる前記主旋律のピッチと、前記主旋律を構成する音符と休符とがそれぞれ表す時間長さに任意の変更率をかけて短縮した前記音韻の継続時間長とから韻律情報を生成する韻律生成機能と、
   前記歌詞を発声するためのリード音声を、前記韻律情報から音声合成する合成機能と、
   前記楽曲の伴奏音楽データから生成された前記楽曲の伴奏音の演奏を行うと共に、前記歌詞に対応する前記伴奏音が演奏される前に前記リード音声を出力し始める出力制御機能と、
   を実現させるためのカラオケ装置の制御プログラム。

Images