JP4748568B2 - 歌唱練習システムおよび歌唱練習システム用プログラム - Google Patents

Description

本発明は、歌唱練習システムおよび歌唱練習システム用プログラムに関し、特に、歌い手をアニメーション表示することにより歌唱練習の効果を高めることができる歌唱練習システムおよび歌唱練習システム用プログラムに関する。

コンピュータにより曲中の歌詞あるいは楽譜を画面表示させ、練習者がその指示に合わせて歌曲を歌唱練習するようにした歌唱練習システムが提案されている。このような歌唱練習システムでは、画面上に楽譜が表示されたり、歌詞がテロップで流されたりする。

特許文献１には、指揮者の上半身の動きや顔の表情、目配せなどを演奏のガイドとして画像表示する器楽独奏法が記載されている。これでは、指揮者の上半身の動きや顔の表情、目配せなどの画像を予め記録しておき、独奏楽器の演奏すべきパートを除く他の楽器による再生演奏音響とともに表示する。練習者は、表示される指揮者の動きや表情の画像を見ながら独奏パートの演奏を練習する。
特公平８−３０９３７号公報

しかしながら、従来の歌唱練習システムでは、練習者は、画面上に表示される楽譜や歌詞の情報だけを頼りにして歌わなければならないため、歌詞を歌うタイミングや音の高さ、抑揚の付け方などがよくわからない。また、単に楽譜や歌詞だけの情報では、歌唱練習していても単調で面白みに欠けるという課題があった。

特許文献１の技術は、各拍の拍打点の認識の困難性を考慮し、指揮者の動きや表情の画像を見ながら独奏パートの演奏練習を可能とするものであり、歌唱練習の場合の歌い手の口の開け方、発声や息継ぎのタイミングをガイドするものではない。また、指揮者の上半身の動きや顔の表情などの画像を楽曲ごとに、しかも進行に合わせて予め記録しておく必要があり、汎用性に欠けるという課題がある。

本発明の目的は、歌唱練習をするときに歌い方を直感的にわかりやすく提示でき、また、画面表示により思わず歌いたくなる気にさせることができ、歌唱練習の効果を高めることができる歌唱練習システムおよび歌唱練習システム用プログラムを提供することにある。

上記課題を解決するために、本発明は、画面表示をガイドとして歌唱練習する歌唱練習システムにおいて、歌唱練習用の楽曲データを記憶する記憶手段と、前記記憶手段から読み出された楽曲データを元に、階名あるいは歌詞の文字、および歌い手の顔を含むアニメーション画像を表示画像として生成する画像生成手段と、前記画像生成手段により生成された表示画像を表示する表示手段と、
階名表示モードと歌詞表示モードとを切り替え、いずれか一方の表示モードを選択する表示モード切替手段を備え、前記画像生成手段は、楽曲の進行に伴って、前記表示モード切替手段によって選択された表示モードに対応する発音文字にしたがって、歌い手の顔における口の開け方の表示態様が変化するアニメーション画像を生成する点に第１の特徴がある。

また、本発明は、前記表示モード切替手段によって階名表示モードが選択された時、前記画像生成手段は、発音中の楽音のノート番号と楽曲データの楽譜情報内の調号情報に基づいて割り出した階名の発音文字にしたがって、歌い手の顔における口の開け方の表示態様が変化するアニメーション画像を生成する点に第２の特徴がある。
また、本発明は、前記画像生成手段が、さらに、前記アニメーション画像における歌い手の顔における目の上げ下げ、眉の上げ下げ、頭の上下振動のうちの少なくとも１つを楽曲の進行に伴って変化させる点に第３の特徴がある。
また、本発明は、前記画像生成手段が、前記アニメーション画像における歌い手の顔における目の上げ下げ、眉の上げ下げのうちの少なくとも一方の位置、形状、あるいは位置と形状の両方を発音中の楽音のノート番号に対応して変化させる点に第４の特徴がある。
また、本発明は、前記画像生成手段が、前記アニメーション画像における歌い手の頭の上下振動の振幅をを楽曲の楽譜情報内の拍子情報により、楽曲進行の現在時刻のビート番号に対応させて変化させる点に第５の特徴がある。

また、本発明は、前記記憶手段が、前記アニメーション画像における歌い手の顔や口、目、胴体などの各部分のパーツを少なくとも１セット記憶しており、前記画像生成手段は、前記記憶手段に記憶されているパーツを組み合わせてアニメーション画像をリアルタイムで生成する点に第６の特徴がある。

また、本発明は、さらに、練習者の音声を取り込む音声取込手段と、該音声取込手段により取り込まれた音声を前記楽曲データと比較して歌唱の出来を判定する判定手段を備えた点に第７の特徴がある。

また、本発明は、前記画像生成手段が、前記判定手段による判定結果に従って前記アニメーション画像の表示態様を変化させる点に第８の特徴がある。

本発明は、歌唱練習システムとして実現できるだけでなく、歌唱練習用プログラムとしても実現できる。このプログラムをコンピュータにインストールすれば該コンピュータは歌唱練習システムとして機能する。

本発明によれば、画面上に楽譜や歌詞と同時に演奏に同期して歌い手の顔がアニメーション表示され、該アニメーション表示における歌い手の口の開け方、目や眉の上げ下げ、頭の上下振動のうち、少なくとも口の開け方が楽曲の進行に伴って変化するので、練習者は、リズムの取り方、歌うタイミング、抑揚のつけ方、音の高さや長さ、さらには息継ぎのタイミングまでを画面表示により直感的に把握できるようになる。また、歌い手の顔の表情が楽曲の進行に伴って変化するアニメーション表示であるので、画面表示が見ているだけで思わず自分も歌いだしたい気分になることが期待できる。さらに、アニメーション画像とともに、階名を表示させるか、歌詞の文字を表示させるかを選択可能にしているので、あらゆる楽曲について階名表示させてのソルフェージュ訓練も可能となる。

また、アニメーション画像における歌い手の顔における歌い手の顔や口、目、胴体などの各部分のパーツを少なくとも１セット予め用意し、それらのパーツを組み合わせてアニメーション画像をリアルタイムで生成することにより、楽曲ごとにアニメーション画像を予め作成しておく必要がなくなり、また、汎用性を持たせることができる。

また、歌唱の出来を判定する機能や、その判定結果に従ってアニメーション画像の表示態様を変化させる機能を持たせることにより、歌唱練習を興味深いものにすることができる。

以下、図面を参照して本発明を説明する。図１は、本発明に係る歌唱練習システムの一実施形態を示すブロック図である。なお、本発明は、歌唱練習システムとして機能させる歌唱練習システム用プログラムとしても実現できる。

歌唱練習システムは、カラオケあるいはカラオケと同様のシステムでよい。本実施形態の歌唱練習システムは、パソコン本体１１、キーボードやマウスなどの入力部１２、マイク１３（音声取込手段）、ＬＣＤなどの表示部１４、および楽音を再生するための再生部１５を備える。なお、再生部１５はパソコンに付属あるいは内蔵のものでも構わない。パソコン本体１１は、ＣＰＵ１６、ＲＯＭやＲＡＭやハードディスクなどの記憶部１７を有する周知のものを使用できるが、ＭＩＤＩ信号を入出力できるＭＩＤＩインタフェース１８を備えるものが好ましい。

パソコン本体１１の記憶部１７のＲＯＭあるいはハードディスクには、本発明に従う処理を実行する歌唱練習用プログラムを予めインストールしておく。歌唱練習用の楽曲データは、記憶部１７に予め格納しておくことができ、また、ＭＩＤＩインタフェース１８を介して外部から取得することもできる。

次に、本発明における全体的な動作を説明する、この動作は、入力部１２での所定操作に基づいて記憶部１７のＲＯＭあるいはハードディスクに格納されている歌唱練習用プログラムがＲＡＭに読み出されることによって実行される。

最初に、表示部１４にメニュー画面が表示される。メニュー画面において、練習者が入力部１２を操作して歌唱練習しようとする楽曲を選択（選曲）し、練習開始を指示すると、表示部１４の画面内に表示可能な段落内の小節についての小節歌唱情報や小節伴奏情報を含む楽曲データが記憶部１７あるいはＭＩＤＩインタフェース１８から読み出され、あるいは取得される。

ＣＰＵ１６は、読み出された楽曲データを元に歌唱練習すべき内容に関する情報として、歌詞文字列や歌い手のアニメーション画像などの表示情報を生成する。表示部１４は、歌唱練習のガイドとして生成された歌詞文字列や歌い手のアニメーション画像を楽曲の進行に合わせて画面表示する。また、再生部１５は、演奏開始からの現在時刻（以下、単に現在時刻と記す）および読み出された小節伴奏情報に基づいてメロディ、ベース、リズムなどの演奏情報を例えばＭＩＤＩ出力して楽曲を再生する。

図２は、歌唱練習用の楽曲データの例を示す。歌唱練習用の楽曲データは、小節歌唱情報および小節伴奏情報の楽曲小節数分の配列などで構成される。小節歌唱情報は、歌詞や楽譜を生成し、さらには歌い手のアニメーション画像を表示させるための情報であり、歌詞情報や楽譜情報や記号情報の配列から成る。歌い手のアニメーション画像は、歌詞の文字（発音）に応じて表示態様が変化する。このようなアニメーション画像は、数種類を予めテンプレートとして記憶部１７に記憶させておき、その中から歌詞情報に応じたテンプレートを選択的に読み出すことで表示できるが、歌い手の口の表示態様を変化させるなどといった簡単なアニメーション画像は歌詞情報を元にリアルタイムで自動生成することもできる。

小節伴奏情報は、主に楽曲を再生するための演奏情報であり、楽音情報やテンポ情報や効果情報の配列から成る。楽音情報、記号情報、歌詞情報は、図２に示された各種情報を含み、相互にＩＤで対応付けられている。

練習者は表示部１４の画面表示を見ながら、また再生部１５により再生される楽曲を聴きながらそれに合わせて歌唱練習をする。この場合、マイク１３から取り込まれた音声を再生部１５より重畳出力させるようにしてもよい。

入力部１２、表示部１４、および再生部１５は、タイマー割込みなどによって動作する。再生が楽曲の終わりに達するか、または練習者が途中で練習を中断するかしたときには楽曲の再生を停止して練習を終了する。

マイク１３によって練習者の音声を取り込み、正しく発声されたかどうかを判定する処理機能をパソコン本体１１に持たせ、その判定結果を表示部１４で表示させるようにすることもできる。この処理機能は、小節歌唱情報、小節伴奏情報および現在時刻、マイク１３によって取り込まれた音声の階調やタイミングなどに基づいてカラオケでの採点と同様の処理で実現できる。正しく歌われなかったときにはこの処理機能により演奏を一時中断してもよい。

図３は、アニメーション表示情報で表示されるアニメーション画像の例を示す。アニメーション画像は、主として歌い手の頭部を表示するものとする。頭部内では楽曲の進行に伴って少なくとも口を変化させる。さらに目を変化させるようにしてもよい。

口については、親楽音IDから得られる歌詞の文字列の発音文字（ひらがなやカタカナ）の発音方法に応じて口の形状を変化させる。簡単な例では、発音中の楽音に対しては歌詞の母音によって口の形状を変化させる。図３は、母音（あ〜お）に応じた口の形状の例を示している。

また、発音していないときや「っ」や「ん」などの歌詞のときに口を閉じた形状に変化させたり、「ま行」や「ば行」などの歌詞ときには発音開始時刻からの時間経過に応じて口の開きが徐々に大きくなるように変化させたりすることも好ましい。また、発音中の楽音の音量に応じて口の開きを変化させることも好ましい。このように表示されるアニメーション画像を見ることによって歌詞の発音タイミングや発声の大きさを直感的に把握でき、口の開きや形を真似することによ歌詞を容易に、また、はっきりと発声することができるようになる。

楽曲の進行に伴って口を変化させるのに加えて目や眉を変化させることも好ましい。例えば、顔の中における目や眉の表示位置を発音中の楽音のノート番号に応じて変化させ、高い音ほどその表示位置を上部にする。ノート番号に応じて目の形状を変化させてもよい。アニメーション画像における目の変化によって音程の変化を感じとれるようになる。

また、歌い手の胴体部分をアニメーション画像に含ませ、練習前と練習中とで胴体部分の表示態様を変化させてもよい。例えば、練習前は手に持った譜面を閉じ、練習中は譜面を開いて持つ表示態様にすることができる。この場合、譜面の表紙には、歌曲名や表示モード、現在時刻の楽譜のページ番号などを表示してもよい。

また、歌い手の頭部を楽譜情報内の拍子情報により現在時刻のビート番号に対応して上下振動させることも好ましい。この場合、上下振動の振幅を強拍は大きくし、弱拍は小さくすると効果的である。頭部を上下振動させて表示させることにより、練習者はリズムが取りやすくなり、歌詞を歌うタイミングがわかりやすくなる。

アニメーション画像における歌い手の顔や口、目、胴体などのパーツを少なくとも１セット用意しておき、それらのパーツを歌詞の文字に従って変化させて組み合わせることによりリアルタイムでアニメーション画像を生成できる。このようにすれば、汎用性を持たせることができ、また、予め多種類のアニメーション画像を用意して個々に記憶させる必要がないので記憶部１７の容量が少なくて済む。

また、練習者が練習前に自分の好みのキャラクタや各部分のパーツを選択できるようにしたり、その場で撮影した画像をパーツとして使用できるようにしてもよい。このようにアニメーション画像を種々に選択可能とすることによって歌唱練習を興味深いものとすることができる。

アニメーション画像とともに歌詞の文字を表示する場合、発音中の楽音IDから得られる発音文字の単位で歌詞を表示する。発音開始時刻からの時間経過に応じて、アニメーション画像における口の中央位置から徐々に遠ざけるように歌詞を表示すると効果的である。また、口の開きと同様に、発音中の楽音の音量に応じて文字の大きさを変化させたり、口から歌詞を遠ざける速さや加速度を変化させたりするのも効果的である。さらに、この表示に合わせて次に発音する幾つかの文字を発音時刻の順番に表示するようにしてもよい。このような表示によって歌詞を発音するタイミングや発声すべき声の大きさが直感的にわかるようになる。

本発明では、さらに、入力部１２でのモード切替操作により歌詞の代わりに階名を表示させることができるようにしている。階名は、発音中の楽音のノート番号と楽譜情報内の調号情報に基づいて割り出すことができる。階名を表示するモードでは、階名の発音文字によって歌い手のアニメーション画像の表示態様を変化させる。これは歌詞に応じてアニメーション画像の表示態様を変化させる処理と同様にして可能である。階名の発音文字に従ってアニメーション画像の表示態様を変化させることによって、階名で簡単に歌えるようになる。つまりソルフェージュ（読譜、初見視唱、暗譜、聴音などの能力をつける練習）ができるようになる。

また、マイク１３によって練習者の音声を取り込み、正しく発声されたかどうかを判定する処理機能をパソコン本体１１に持たせた場合には、練習者の歌唱の出来に応じて歌い手の顔つきを変化させるようにすることもでき、これにより興味深い歌唱練習を行うことができる。

図４は、本発明に係る歌唱練習システムの全体的動作の一例を示すメインフローチャートである。メインフローにおける各処理は、記憶部１６のＲＯＭあるいはハードディスクに格納されているリズム練習用プログラムがＲＡＭに読み出されることによって実行される。

まず、各種初期化（Ｓ４１）が行われた後、練習者が入力部１２で選曲（Ｓ４２）および練習開始を指示すると、該指示に従って記憶部１６から当該楽曲の楽曲データが順次読み出される。これにより練習開始処理（Ｓ４３）が実行され、割り込み処理（Ｓ４４）に進む。割り込み処理（Ｓ４４）は、表示ルーチン、再生ルーチン、および入力ルーチンを含む。再生が楽曲の終わりに達するか、または練習者が途中で練習を中断するかしたときには楽曲の再生を停止して練習を終了する。

図５は、表示ルーチンの一例を示すフローチャートである。図５のフローチャートは、現在時刻に該当する楽音情報配列及び歌詞情報配列を参照して、発音中の楽音の親記号や親楽音IDから得られる歌詞の文字や歌い手を画面表示する。

図５に従って具体的に説明する。まず、楽音配列参照ポインタを初期値０とする（Ｓ５１）。次に、楽音配列ポインタで指示される楽音の発音開始時刻が現在再生時刻以降か否かを判定し（Ｓ５２）、発音開始時刻が現在再生時刻以降であればその発音終了時刻が現在時刻以前か否かを判定する（Ｓ５３）。

Ｓ５３で、発音終了時刻が現在時刻以前と判定すれば、発音すべき楽音であるので、親楽音ＩＤと一致する歌詞を参照し（Ｓ５４）、表示部１４に当該歌詞の文字に応じた表示態様で歌い手を表示させる（Ｓ５５）。また、表示部１４には同時に当該歌詞の文字を表示させる（Ｓ５６）。次に、表示１４に表示されている楽譜上の親記号の表示更新を行う（Ｓ５７）。

次に、楽音配列参照ポインタが最後の楽音を指示しているか否かを判定する（Ｓ５８）。ここで、楽音配列参照ポインタが最後の楽音を指示していないと判定すれば、楽音配列参照ポインタを１だけインクリメント（Ｓ５９）してＳ５２に戻り、楽音配列参照ポインタが最後の楽音を指示するまでＳ５２〜Ｓ５８の処理を繰り返す。

Ｓ５２で発音開始時刻が現在再生時刻以降でないと判定した場合やＳ５３で発音終了時刻が現在時刻以前でないと判定した場合には、Ｓ５８に進んで楽音配列参照ポインタが最後の楽音を指示しているか否かを判定する。

割り込みによる再生ルーチンでは、現在時刻に該当する小節伴奏情報内の楽音情報配列を参照し、各楽音の発音開始時刻、発音終了時刻と現在時刻とを比較することによってＭＩＤＩノート情報をＭＩＤＩ音源に出力する。同様に、小節伴奏情報内のテンポ情報配列を参照して、現在時刻の進行度合いを調節する。

本発明は、上記実施形態に限られず、種々の変形が可能である。例えば、階名や歌詞の文字は、表示部１４の表示領域内に収まる小節部分を一括して表示させ、楽曲の進行に伴ってその表示を次の小節部分に順次切り替えるようにすることも可能である。その場合に歌うべき箇所の色などを変化させて指示することも可能である。

本発明に係る歌唱練習システムの一実施形態を示すブロック図である。 歌唱練習用の楽曲データの例を示す図である。 画面表示するアニメーション画像の例を示す図である。 本発明に係る歌唱練習システムの全体的動作の一例を示すメインフローチャートである。 表示ルーチンの一例を示すフローチャートである。

符号の説明

１１・・・パソコン本体、１２・・・入力部、１３・・・マイク、１４・・・表示部、１５・・・再生部、１６・・・ＣＰＵ、１７・・・記憶部、１８・・・ＭＩＤＩインタフェース

Claims (9)

1. 画面表示をガイドとして歌唱練習する歌唱練習システムにおいて、
   歌唱練習用の楽曲データを記憶する記憶手段と、
   前記記憶手段から読み出された楽曲データを元に、階名あるいは歌詞の文字、および歌い手の顔を含むアニメーション画像を表示画像として生成する画像生成手段と、
   前記画像生成手段により生成された表示画像を表示する表示手段と、
   階名表示モードと歌詞表示モードとを切り替え、いずれか一方の表示モードを選択する表示モード切替手段を備え、
   前記画像生成手段は、楽曲の進行に伴って、前記表示モード切替手段によって選択された表示モードに対応する発音文字にしたがって、歌い手の顔における口の開け方の表示態様が変化するアニメーション画像を生成することを特徴とする歌唱練習システム。
2. 前記表示モード切替手段によって階名表示モードが選択された時、前記画像生成手段は、発音中の楽音のノート番号と楽曲データの楽譜情報内の調号情報に基づいて割り出した階名の発音文字にしたがって、歌い手の顔における口の開け方の表示態様が変化するアニメーション画像を生成することを特徴とする請求項１に記載の歌唱練習システム。
3. 前記画像生成手段は、さらに、前記アニメーション画像における歌い手の顔における目の上げ下げ、眉の上げ下げ、頭の上下振動のうちの少なくとも１つを楽曲の進行に伴って変化させることを特徴とする請求項１または２に記載の歌唱練習システム。
4. 前記画像生成手段は、前記アニメーション画像における歌い手の顔における目の上げ下げ、眉の上げ下げのうちの少なくとも一方の位置、形状、あるいは位置と形状の両方を発音中の楽音のノート番号に対応して変化させることを特徴とする請求項３に記載の歌唱練習システム。
5. 前記画像生成手段は、前記アニメーション画像における歌い手の頭の上下振動の振幅をを楽曲の楽譜情報内の拍子情報により、楽曲進行の現在時刻のビート番号に対応させて変化させることを特徴とする請求項３または４に記載の歌唱練習システム。
6. 前記記憶手段は、前記アニメーション画像における歌い手の顔や口、目、胴体などの各部分のパーツを少なくとも１セット記憶しており、前記画像生成手段は、前記記憶手段に記憶されているパーツを組み合わせてアニメーション画像をリアルタイムで生成することを特徴とする請求項１ないし５のいずれか１つに記載の歌唱練習システム。
7. さらに、練習者の音声を取り込む音声取込手段と、該音声取込手段により取り込まれた音声を前記楽曲データと比較して歌唱の出来を判定する判定手段を備えたことを特徴とする請求項１ないし６のいずれか１つに記載の歌唱練習システム。
8. 前記画像生成手段は、前記判定手段による判定結果に従って前記アニメーション画像の表示態様を変化させることを特徴とする請求項７に記載の歌唱練習システム。
9. コンピュータに、
   記憶手段から歌唱練習用の楽曲データを読み出す第１の手順と、
   入力部でのモード切替操作に基づいて階名表示モードと歌詞表示モードとを切り替え、いずれか一方の表示モードを選択する第２の手順と、
   前記第１の手順により読み出された楽曲データを元に、階名あるいは歌詞の文字、および歌い手の顔を含み、楽曲の進行に伴って、前記第２の手順によって選択された表示モードに対応する発音文字にしたがって、歌い手の顔における口の開け方の表示態様が変化するアニメーション画像を表示画像として生成する第３の手順と、
   前記第３の手順により生成された表示画像を表示する第４の手順を実行させるための歌唱練習システム用プログラム。

Images