図1は、本発明が好適に適用されるカラオケ装置10の構成を例示するブロック線図である。この図1に示すように、本実施例のカラオケ装置10は、中央演算処理装置であるCPU12と、読出専用メモリであるROM14と、随時書込読出メモリであるRAM16と、記憶装置であるハードディスク18と、グラフィックスチップ(グラフィックスボード)等の映像処理部20と、サウンドチップ(サウンドボード)等の音声処理部22と、操作パネル24と、表示制御部26及び入力制御部28を介して前記CPU12に接続されたタッチパネルディスプレイ30と、通信インターフェイス36と、LANインターフェイス38と、無線通信部40と、ビデオ出力端子42を介して前記映像処理部20に接続された映像表示装置であるディスプレイ44と、オーディオ入力端子46を介して前記音声処理部22に接続された音声入力装置であるマイクロフォン48と、オーディオ出力端子50を介して前記音声処理部22に接続された音声増幅装置であるアンプ52と、そのアンプ52に備えられた音声出力装置であるスピーカ54とを、備えて構成されている。
前記CPU12は、前記RAM16の一時記憶機能を利用しつつ前記ROM14に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置10における各種制御を実行する。すなわち、前記操作パネル24、タッチパネルディスプレイ30、或いは電子早見本装置68等により所定の楽曲(カラオケ演奏曲)が選曲入力された場合、その選曲入力された楽曲を前記RAM16等に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク18から前記RAM16に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報(楽曲データ)を読み出す楽曲データ読出制御、楽曲の演奏進行に応じてそのRAM16から前記音声処理部22へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記RAM16に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像処理部20へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像処理部20を制御して所定の背景映像を再生させる背景映像出力制御、及びカラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御等の基本的な制御に加え、後述する本実施例の歌唱評価制御等の各種制御を実行する。
前記映像処理部20は、前記ディスプレイ44に表示される画面(映像)の描画に係る各種制御を行う。例えば、前記CPU12から供給されるデータに基づいてグラフィックスメモリにそのデータを書き込み、そのデータを読み出すことによって前記ビデオ出力端子42を介して前記ディスプレイ44に所定の画面を表示させる制御を行う。具体的には、前記カラオケ装置10による楽曲の演奏出力(カラオケ演奏)に際して、前記CPU12において生成された歌詞文字映像等の文字映像(テロップ)を出力させたり、前記ハードディスク18に記憶されたMPEG(Moving Picture Experts Group)データ等の背景映像情報に基づいて所定の背景映像を再生(デコード)させたり、その背景映像の前面側に前記歌詞文字映像を合成させて前記ディスプレイ44に表示させたり、その歌詞文字映像を前記楽曲の演奏進行に応じて順次色替わり表示させる等の各種表示制御を行う。なお、本実施例においては、前記映像処理部20により前記ディスプレイ44の表示制御を行う一方、後述する表示制御部26により前記タッチパネルディスプレイ30(表示装置32)の表示制御を行う態様について説明するが、前記映像処理部20により前記タッチパネルディスプレイ30の表示制御をも行う態様も考えられる。この態様において、前記表示制御部26は必ずしも設けられなくともよい。
前記音声処理部22は、FM音源やPCM音源等の各種音源を備え、前記カラオケ装置10による音声出力に係る各種制御を行う。好適には、電子回路により音を合成し、各種音色を発生するシンセサイザ(synthesizer)を備えている。このシンセサイザは、前記ハードディスク18から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する。前記シンセサイザは、好適には、MIDI(Musical Instrument Digital Interface)端子を備えたものであり、前記演奏情報は、例えばMIDI形式のデータである。そのMIDIデータに基づいて前記シンセサイザにより生成された音楽信号は、前記マイクロフォン48から前記オーディオ入力端子46を介して入力される利用者(演奏者)の歌声とミキシングされ、前記オーディオ出力端子50を介して前記アンプ52に供給されてそのアンプ52により増幅されて前記スピーカ54から出力される。
前記操作パネル24は、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン(スイッチ)或いはつまみを備えた入力装置である。また、前記タッチパネルディスプレイ30は、画像(映像)を表示させると共に利用者の操作に応じて前記カラオケ装置10への操作入力を行う装置であり、そのタッチパネルディスプレイ30に所定の画像(映像)を表示させる表示装置32と、利用者の指や図示しない備え付けのペン等による前記タッチパネルディスプレイ30への接触により入力を行うタッチパネル34とを、備えている。前記表示制御部26は、前記CPU12から供給される情報に基づいて前記表示装置32に表示される画面(映像)の描画を制御する映像処理部である。前記入力制御部28は、前記タッチパネル34により入力される操作入力情報を前記CPU12等に供給する入力処理部である。以上の構成を備えていることで、前記タッチパネルディスプレイ30は、前記ディスプレイ44とは別に第2の映像表示装置として機能すると共に、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力装置として機能する。
前記カラオケ装置10は、前記通信インターフェイス36及びネットワーク接続端子56を介して通信回線60に接続されており、同様にその通信回線60に接続された他の機器との相互間でその通信回線60を介して情報の通信が可能とされている。前記通信回線60は、例えば公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続された広域情報通信網である。前記カラオケ装置10は、好適には、前記通信回線60を介して図示しないサーバ(ホスト装置)に接続されており、そのサーバから楽曲データ(カラオケデータ)、背景映像情報、及び曲間情報等のデジタルコンテンツ(Digital Contents)の配信を受け付けるものである。すなわち、前記カラオケ装置10は、好適には、所定の通信回線に接続されてサーバとの間で各種情報の送受信を行う通信カラオケ装置であるが、斯かる通信回線に接続されない非通信型のカラオケ装置等にも本発明は好適に適用される。
前記LANインターフェイス38は、前記カラオケ装置10をLAN接続端子62を介してLAN(local area network)64に接続するための接続器であり、そのように前記LAN64に接続されることで、前記カラオケ装置10は、同様に前記LAN64に接続された電子早見本装置68等の他の機器との間で情報の送受信が可能とされる。また、前記カラオケ装置10が設置される店舗等に複数台のカラオケ装置が備えられている場合において、同様に前記LAN64に接続されたカラオケ装置相互間において情報の送受信が可能とされる。例えば、前記LAN64に接続されたアクセスポイント66を介して受信される電子早見本装置68からの選曲入力を受け付けて前記RAM16に設けられた予約曲テーブルに記憶したり、そのアクセスポイント66を介して前記カラオケ装置10から電子早見本装置68へ所定の情報を送信したりというように、電波を介して前記カラオケ装置10と電子早見本装置68との間における相互の情報のやりとりが実行される。
前記無線通信部40は、前記カラオケ装置10と前記電子早見本装置68等の入力装置との間の無線通信を行う。例えば、前記電子早見本装置68等の入力装置から送信されるリモコン信号を受信するリモコン受信部として機能する。前記カラオケ装置10と電子早見本装置68との対応付け(くくりつけ)処理は、好適には、斯かるリモコン信号(赤外線信号)により前記無線通信部40を介して行われる。すなわち、前記電子早見本装置68は、それぞれ個別のシリアル番号を有しており、前記対応付け処理においては、例えばそのシリアル番号(例えば、下4桁)及び所定の接続コードを含む信号が接続通知として前記カラオケ装置10へ送信され、前記無線通信部40によりその接続信号を受信したカラオケ装置10に対して前記電子早見本装置68が対応付けられる。そのようにして前記カラオケ装置10に対応付けられた電子早見本装置68は、そのカラオケ装置10の入力装置(遠隔操作装置)として機能し、その電子早見本装置68から送信される信号が前記CPU12に供給されることで、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力が受け付けられるようになっている。なお、前記対応付け処理が行われた後、前記電子早見本装置68と前記カラオケ装置10との間の通信は、前記LAN64及びアクセスポイント66等を介したLAN通信により行われる。また、本実施例においては、前記カラオケ装置10に対応付け処理の行われた電子早見本装置68等の入力装置もそのカラオケ装置10の一部を構成するものであるとして以下の説明を行う。
前記ハードディスク18には、カラオケ演奏曲を出力させるための多数の楽曲データ(カラオケ情報)を記憶する楽曲データベース70及び前記カラオケ装置10の利用者毎に前記マイクロフォン48から入力される音声情報に対応する歌唱データを記憶する歌唱データベース72(図2を参照)をはじめとする各種データベースが設けられている。前記楽曲データベース70は、前記カラオケ装置10により出力可能な楽曲にそれぞれ対応する多数(例えば、数万曲分)の楽曲データ(カラオケデータ)を記憶する。この楽曲データは、前記音声処理部22(シンセサイザ)により所定の楽器の演奏音を生成するための演奏情報と、歌詞文字映像(歌詞テロップ)を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字映像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツIDである各楽曲に固有の選曲番号により識別される。また、前記楽曲データは、曲名、アーティスト名(歌手名)、発表時期、及びジャンル等の属性情報が例えばヘッダ情報として記憶されている。上記ヘッダ情報に含まれるアーティスト名は、その楽曲を歌う(CD等の市販によりその人の歌であると一般に認識されている)オリジナルアーティストの名前である。また、上記ジャンルは、各楽曲の方向性を示すポップス、ロック、R&B、ヒップホップ、演歌、アニメソング、民謡、洋楽、及び軍歌等の分類が各楽曲に対応して少なくとも1つ定められたものである。また、前記演奏情報は、例えば前記音声処理部22により予め定められた複数種類の楽器のうち何れかの楽器の演奏音を出力させるためのMIDI形式のデータであり、出力に係る演奏音(楽器)の種類と、各演奏音に対応して定められた楽譜情報とを、含んでいる。
前記歌唱データベース72は、前記マイクロフォン48から入力される音声情報(歌唱音声)に対応する歌唱データを前記カラオケ装置10の利用者毎に記憶する。好適には、前記カラオケ装置10の利用者毎に、そのカラオケ装置10による楽曲の演奏出力に併行して前記マイクロフォン48から入力される音声情報に対応する歌唱データを、利用者の識別情報であるユーザID及び併行して出力された楽曲の選曲番号と対応付けて記憶する。前記歌唱データとしては、前記マイクロフォン48から入力された音声情報そのものが録音され、MPEGデータやWAVデータ等の音声データとして記憶されるものであってもよいが、少なくとも前記マイクロフォン48から入力された音声情報における所定区間毎の音程に係る情報が記憶される。好適には、前記マイクロフォン48から入力された音声情報における、前記併行して出力された楽曲の所定区間毎の音程の平均値及び分散値を算出するために必要な情報が、前記歌唱データとして記憶される。
図2は、前記カラオケ装置10のCPU12に備えられた制御機能の要部を説明する機能ブロック線図である。この図2に示す歌唱データ記憶手段80は、前記マイクロフォン48から入力される音声情報に対応する歌唱データを記憶する。すなわち、前記カラオケ装置10の利用者毎に、そのカラオケ装置10による楽曲の演奏出力に併行して前記マイクロフォン48から入力される音声情報に対応する歌唱データを、利用者の識別情報であるユーザID及び併行して出力された楽曲の選曲番号と対応付けて前記歌唱データベース72に記憶させる。好適には、前記マイクロフォン48から入力された音声情報そのものを録音し、MPEGデータやWAVデータ等の音声データとして前記歌唱データベース72に記憶させる。また、好適には、前記マイクロフォン48から入力された音声情報における所定区間毎の音程に係る情報を前記歌唱データベース72に記憶させる。例えば、前記マイクロフォン48から入力された音声情報における、前記併行して出力された楽曲の所定区間毎の音程の平均値及び分散値を算出するために必要な情報を、前記歌唱データとして前記歌唱データベース72に記憶させる。この所定区間は、好適には、対象となる楽曲における拍(拍子)や歌詞情報のまとまり(例えば、1画面内に表示される歌詞文字映像を規定する区分)に対応するものであるが、楽曲によらず例えば数(ms)といった所定時間に対応するものであってもよい。以下の平均値算出手段82、分散値算出手段86、及び歌唱評価手段88等の説明において同じである。
前記歌唱データ記憶手段80は、前記楽曲の複数回の演奏出力にそれぞれ併行して前記マイクロフォン48から入力される複数回分の音声情報に対応する歌唱データを、各楽曲毎にその楽曲の選曲番号と対応付けて記憶する。すなわち、前記カラオケ装置10の利用者毎に、そのカラオケ装置10による楽曲の複数回の演奏出力にそれぞれ併行して前記マイクロフォン48から入力される音声情報に対応する歌唱データ(複数回のカラオケ演奏にそれぞれ対応する歌唱データ)を、利用者の識別情報であるユーザID及び併行して出力された楽曲の選曲番号と対応付けて前記歌唱データベース72に記憶させる。すなわち、好適には、前記カラオケ装置10により所定の楽曲のカラオケ演奏が行われる毎に、そのカラオケ演奏と併行して前記マイクロフォン48から入力された音声情報に対応する歌唱データを前記歌唱データベース72に記憶させることで、その楽曲に対応して前記歌唱データベース72に記憶された複数回の演奏出力に対応する歌唱データを更新する。
以下、前記歌唱データベース72に記憶された前記複数回分の歌唱データに基づく、歌唱評価手段88による歌唱評価制御について説明する。この歌唱評価手段88による歌唱評価制御、及び以下に詳述する平均値算出手段82、乖離値算出手段84、及び分散値算出手段86による制御は、好適には、前記カラオケ装置10によるカラオケ演奏が行われ、そのカラオケ演奏に対応して前記歌唱データ記憶手段80により歌唱データが前記歌唱データベース72に記憶される(歌唱データベース72の記憶内容が更新される)毎に実行されるものであるが、前記カラオケ装置10によるカラオケ演奏をトリガとせず、例えば前記電子早見本装置68やタッチパネルディスプレイ30等により所定の歌唱評価実行操作が行われた場合に、前記歌唱データベース72に記憶された複数回分の歌唱データが読み出されて実行されるものであってもよい。
前記平均値算出手段82は、前記歌唱データベース72に記憶された前記複数回分の歌唱データにおける、前記歌唱評価手段88による評価対象となる楽曲の所定区間に対応する音程の平均値Mを算出する。好適には、前記歌唱データベース72に記憶された前記複数回分の歌唱データにおける、前記所定区間毎の音程に係る情報に基づいて、各区間に対応する音程の平均値(複数回分の歌唱における音程の平均)Mnを算出する。ここで、歌唱回数をN、区間nのk回目の歌唱結果(音程)をknとすると、前記平均値Mnは、好適には、次の(1)式に従って算出される。
Mn=(Σkn)/N ・・・(1)
前記乖離値算出手段84は、前記平均値算出手段82により算出される音程の平均値と、前記所定区間に対応する音程の手本値との乖離値を算出する。好適には、前記歌唱評価手段88による評価対象となる楽曲に対応する楽曲データを前記楽曲データベース70から読み出し、その楽曲データの演奏情報(MIDIデータ)におけるガイドメロディ(メインボーカルの歌唱に対応する旋律)等から、その楽曲の前記各区間における音程の手本値Mn*を取得する。そして、前記平均値算出手段82により算出される各区間の音程の平均値Mnと、その区間に対応する音程の手本値Mn*との差の絶対値を前記乖離値として算出する。すなわち、前記平均値算出手段82により算出される各区間nの平均値をMn、区間nに対応する手本値をMn*とすると、各区間における乖離値ΔMnは、好適には、次の(2)式に従って算出される。
ΔMn=|Mn−Mn*| ・・・(2)
前記分散値算出手段86は、前記歌唱データベース72に記憶された前記複数回分の歌唱データにおける、前記歌唱評価手段88による評価対象となる楽曲の所定区間に対応する音程の分散値Snを算出する。好適には、前記歌唱データベース72に記憶された前記複数回分の歌唱データにおける、前記所定区間毎の音程に係る情報に基づいて、各区間に対応する音程の分散値(複数回分の歌唱における音程の分散)Snを算出する。ここで、歌唱回数をN、区間nのk回目の歌唱結果(音程)をkn、前記平均値算出手段82により算出される各区間nの平均値をMnとすると、前記分散値Snは、好適には、次の(3)式に従って算出される。
Sn={Σ(kn−Mn)2}/N ・・・(3)
前記歌唱評価手段88は、前記乖離値算出手段84により算出された乖離値ΔMn及び前記分散値算出手段86により算出された分散値Snに基づいて、前記所定区間nにおける歌唱評価を行う。図3は、所定の楽曲における歌唱区間n=1〜20における各区間の音程の平均値Mn、手本値Mn*、及び分散値Snの一例を示す図である。この図3においては、各区間nにおける音程の平均値Mnを黒い四角印、各区間nにおける音程の手本値Mn*をハッチング(右上から左下への斜線範囲で示す)の四角印、各区間nにおける音程の分散値Snを棒グラフでそれぞれ示している。図3に示す例において、各区間nに対応する前記乖離値ΔMnは、各区間nにおける音程の平均値Mnを示す黒い四角印と、各区間nにおける音程の手本値Mn*を示すハッチングの四角印との乖離(四角印相互の中心間距離)に対応し、毎回の歌唱で出される音(音声)の音程が手本値(理想の音程)からどれだけずれているかを示している。また、各区間nに対応する前記分散値Snは、毎回の歌唱で出される音(音声)の安定性を示している。すなわち、複数回分の歌唱データを標本として、各区間nにおける前記乖離値ΔMn及び分散値Sn複合的にみることで、以下に説明するように、各区間nの歌唱の特徴が詳しく見えてくる。
例えば、前記区間nにおける乖離値ΔMn及び分散値Snが共に比較的小さい場合、その区間nにおいて毎回の歌唱で出される音程に関して手本値からのずれが小さく、毎回の歌唱で出される音程が安定していることがわかる。この場合、歌唱者が前記区間nを比較的よく歌えていると考えることができる。また、前記区間nにおける乖離値ΔMnが比較的大きく、分散値Snが比較的小さい場合、その区間nにおいて毎回の歌唱で出される音程を平均してみると手本値からのずれが大きいが、毎回の歌唱で出される音程は安定していることがわかる。この場合、前記区間nにおける理想の音程が歌唱者の音域から外れている等して、その区間nにおける音を出すことができないものと考えることができる。また、前記区間nにおける乖離値ΔMnが比較的小さく、分散値Snが比較的大きい場合、その区間nにおいて毎回の歌唱で出される音程を平均してみると手本値からのずれが小さいが、毎回の歌唱で出される音程は安定していないことがわかる。この場合、理想となる音程を中心に音が出せているのでその音程は歌唱者の音域から外れていないが、理想となる音程を正確に把握できていないために発声音程が不安定になっているものと考えることができる。また、前記区間nにおける乖離値ΔMn及び分散値Snが共に比較的大きい場合、その区間nにおいて毎回の歌唱で出される音程に関して手本値からのずれが大きく、毎回の歌唱で出される音程が安定していないことがわかる。この場合、歌唱者が前記区間nを上手く歌えておらず、所謂音痴である等して対処法もないと考えることができる。
前記歌唱評価手段88は、好適には、前記乖離値算出手段84により算出された乖離値ΔMnが規定の基準乖離値Mbo以上であるか否か、及び、前記分散値算出手段86により算出された分散値Snが規定の基準分散値Sbo以上であるか否かに基づいて、前記区間n毎における歌唱評価を行う。例えば、前記乖離値ΔMnが前記基準乖離値Mbo未満であり且つ前記分散値Snが前記基準分散値Sbo未満である場合(パターンA)、前記乖離値ΔMnが前記基準乖離値Mbo以上であり且つ前記分散値Snが前記基準分散値Sbo未満である場合(パターンB)、前記乖離値ΔMnが前記基準乖離値Mbo未満であり且つ前記分散値Snが前記基準分散値Sbo以上である場合(パターンC)、前記乖離値ΔMnが前記基準乖離値Mbo以上であり且つ前記分散値Snが前記基準分散値Sbo以上である場合(パターンD)それぞれについて、対象となる区間nに異なる評価結果を下す。この各パターンにおける評価結果は、好適には、前述したような前記区間nにおける乖離値ΔMn及び分散値Snの大小関係と、その区間nにおける歌唱の特徴との関係に基づいて予め定められて記憶されたものである。
図4は、前記歌唱評価手段88による歌唱評価制御及び後述するアドバイス表示手段92によるアドバイス表示制御等に用いられるアドバイステーブル74を例示する図である。この図4に示すアドバイステーブル74は、好適には、各区間における乖離値ΔMn及び分散値Snの大小関係に対応する、その区間nにおける歌唱の特徴を反映したものであり、複数の楽曲に係る歌唱評価に共通して用いられるものであってもよいが、各楽曲に対応して個別に定められるものであってもよい。図4に示すアドバイステーブル74においては、前記区間nにおける乖離値ΔMnが比較的小さい場合(0≦ΔMn<0.5)、乖離値ΔMnが中程度である場合(0.5≦ΔMn<1)、乖離値ΔMnが比較的大きい場合(1≦ΔMn)それぞれについて、前記区間nにおける分散値Snが比較的小さい場合(0≦Sn<1)、分散値Snが中程度である場合(1≦Sn<2)、分散値Snが比較的大きい場合(2≦Sn)におけるアドバイスコメントが予め定められて記憶されている。前記歌唱評価手段88は、好適には、図4に示すようなアドバイステーブル74に定められた関係から、前記乖離値算出手段84により算出された乖離値ΔMn及び前記分散値算出手段86により算出された分散値Snに基づいて、各区間nにおける歌唱評価としてのアドバイスコメントを導出する。
図2に示す評価結果表示手段90は、前記歌唱評価手段88による評価結果に対応する表示制御を行う。斯かる制御を行うために、好適には、アドバイス表示手段92及びピアノロール表示手段94を備えている。このアドバイス表示手段92は、前記乖離値算出手段84により算出された乖離値ΔMn及び前記分散値算出手段86により算出された分散値Snに基づいて、前記所定区間nの歌唱に関するアドバイスを表示させる。好適には、図4に示すようなアドバイステーブル74に定められた関係から、前記乖離値算出手段84により算出された乖離値ΔMn及び前記分散値算出手段86により算出された分散値Snに基づいて、各区間nにおけるアドバイスコメントを取得し、そのアドバイスコメント(例えば、そのアドバイスコメントに対応するテキスト)を含むアドバイス表示画面を、前記映像処理部20等を介して前記ディスプレイ44に表示させる。なお、このアドバイス表示画面は、前記電子早見本装置68のタッチパネルディスプレイや、前記タッチパネルディスプレイ30(表示装置32)に表示されるものであってもよい。
前記アドバイス表示手段92は、好適には、前記乖離値算出手段84により算出された乖離値ΔMnが規定の基準乖離値Mbo以上であるか否か、及び、前記分散値算出手段86により算出された分散値Snが規定の基準分散値Sbo以上であるか否かに基づいて、前記所定区間nの歌唱に関するアドバイスを表示させる。例えば、前記乖離値算出手段84により算出された乖離値ΔMnが規定の基準乖離値Mbo以上であり、且つ、前記分散値算出手段86により算出された分散値Snが規定の基準分散値Sbo未満である場合には、前記区間nにおける理想の音程が歌唱者の音域から外れている等して、その区間nにおける音を出すことができないものと考えることができるため、その区間nの歌唱に関して、キーの変更を行うべき旨のアドバイスを表示させる。また、前記乖離値算出手段84により算出された乖離値ΔMnが規定の基準乖離値Mbo未満であり、且つ、前記分散値算出手段86により算出された分散値Snが規定の基準分散値Sbo以上である場合には、理想となる音程を中心に音が出せているのでその音程は歌唱者の音域から外れていないが、理想となる音程を正確に把握できていないために発声音程が不安定になっているものと考えることができるため、その区間nの歌唱に関して、前記評価対象となる楽曲を聴き直すべき旨のアドバイスを表示させる。
前記ピアノロール表示手段94は、前記楽曲における演奏音の音階及び出力タイミングを表すピアノロールを表示させる。好適には、前記楽曲データベース70に記憶された各楽曲(MIDIデータ)のガイドメロディに対応する音階及び出力タイミングを表すピアノロールを表示させる。図5は、前記ピアノロール表示手段94により表示されるピアノロール100の一例を示す図である。この図5に示すピアノロール100においては、画面における一端部(図5においては紙面向かって左側の端部)にピアノの鍵盤を模した映像102が表示されると共に、その映像102から各鍵盤が他端に向かって伸びるようなスクロール表示領域104が設定されている。このスクロール表示領域104には、各鍵盤(すなわち音階)に対応する位置に、対象となる楽曲データの例えばガイドメロディに対応するその音階の演奏音の出力タイミング及び音長を示す濃いグレーの帯映像106a〜106e(以下、特に区別しない場合には単に帯映像106という)が表示される。対象となる楽曲データの演奏出力においては、前記スクロール表示領域104が前記ピアノの鍵盤を模した映像102に向かって、あたかもその映像102における各鍵盤に引き込まれるようにスクロール表示させられる。そして、前記スクロール表示領域104がスクロールさせられることでそのスクロール表示領域104に表示された前記帯映像106がそのスクロール表示領域104と前記映像102との境界における演奏線108に接触することで、その帯映像106に対応する音階の演奏音が出力され、斯かる帯映像106が前記演奏線108を通過している間、その演奏音の出力が継続される。
前記ピアノロール表示手段94は、前記歌唱評価手段88により歌唱評価の行われた楽曲の出力に係る前記ピアノロール100の表示に関して、前記乖離値算出手段84により算出された乖離値ΔMn及び前記分散値算出手段86により算出された分散値Snに基づいて、前記所定区間nの演奏音に対応するピアノロール100(帯映像106)の表示を変化させる。例えば、図5のピアノロール100における帯映像106b、106d、106eに例示するように、前記分散値算出手段86により算出された分散値Snに基づいて、各区間nに対応する帯映像106を波打たせる(くねらせる)ようにその表示を変更する。好適には、図5に示す帯映像106b及び106eと、帯映像106dとの対比において示すように、前記分散値算出手段86により算出された分散値Snが大きいほど、各区間nに対応する帯映像106を波打たせる度合いを大きくする(図5に示す帯映像106dは、帯映像106b及び106eよりも大きく波打っている)。また、好適には、前記乖離値算出手段84により算出された乖離値ΔMnに基づいて、前記所定区間nの演奏音に対応するピアノロール100(帯映像106)の色(帯色)を変化させる。例えば、前記区間nにおける乖離値ΔMnが比較的小さい場合には青色、乖離値ΔMnが中程度である場合には黄色、乖離値ΔMnが比較的大きい場合には赤色といように、前記帯映像106の色を制御する。この図5を用いて説明したピアノロール100は、好適には、前記カラオケ装置10によるカラオケ演奏に際して、そのカラオケ演奏に係る歌詞文字映像を含む演奏映像の一部として、そのカラオケ演奏(楽曲の演奏出力)と併行して前記ディスプレイ44に表示されるものであるが、前記歌唱データベース72に記憶された歌唱データの再生に際して、その再生と併行して前記ディスプレイ44に表示されるものであってもよい。また、前記カラオケ装置10における他のアプリケーションソフトウェアにおいて、図5に示すようなピアノロール100が表示されるものであってもよい。
図6は、前記カラオケ装置10のCPU12による歌唱評価制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ステップ(以下、ステップを省略する)S1において、前記カラオケ装置10により所定の楽曲のカラオケ演奏が行われたか否かが判断される。このS1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S1の判断が肯定される場合には、S2において、前記マイクロフォン48から入力される音声情報に対応する歌唱データが、歌唱者のユーザID及びカラオケ演奏に係る楽曲の選曲番号と対応付けられて前記歌唱データベース72に記憶される。次に、S3において、反覆演奏評価モードであるか否か、すなわち前記歌唱データベース72に歌唱データが記憶される毎に、その歌唱データベース72に記憶された複数回分の歌唱データに係る歌唱評価を行うモードが成立させられているか否かが判断される。このS3の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S3の判断が肯定される場合には、S4以下の処理が実行される。
S4においては、前記楽曲データベース72から、評価の対象となる楽曲に係る複数回分の歌唱データが読み出される。次に、S5において、S4にて読み出された複数回分の歌唱データにおける、所定区間n毎の音程に係る情報に基づいて、各区間nに対応する音程の平均値Mnが算出される。次に、S6において、評価対象となる楽曲に対応する楽曲データが前記楽曲データベース70から読み出され、その楽曲データの演奏情報(MIDIデータ)におけるガイドメロディ等に対応する前記各区間nにおける音程の手本値Mn*と、S5にて算出された各区間の音程の平均値Mnとの差の絶対値が乖離値ΔMnとして算出された後、S7以下の処理が実行される。
S7においては、S4にて読み出された複数回分の歌唱データにおける、前記所定区間n毎の音程に係る情報に基づいて、各区間nに対応する音程の分散値Snが算出される。次に、S8において、S6にて算出された乖離値ΔMn及びS7にて算出された分散値Snに基づいて、前記所定区間nにおける歌唱評価が実行される。次に、S9において、S6にて算出された乖離値ΔMn及びS7にて算出された分散値Snに基づいて、S8における歌唱評価に対応するアドバイスコメントを含む映像が前記ディスプレイ44に表示されたり、図5に示すようなピアノロール100における各区間nに対応する帯映像106の表示が変化させられる等の表示制御が行われた後、本ルーチンが終了させられる。以上の制御において、S2が前記歌唱データ記憶手段80の動作に、S5が前記平均値算出手段82の動作に、S6が前記乖離値算出手段84の動作に、S7が前記分散値算出手段86の動作に、S8が前記歌唱評価手段88の動作に、S9が前記評価結果表示手段90(アドバイス表示手段92及びピアノロール表示手段94の動作)に、それぞれ対応する。
このように、本実施例によれば、評価対象となる楽曲の複数回の演奏出力にそれぞれ併行して音声入力装置である前記マイクロフォン48から入力される複数回分の歌唱データを記憶する歌唱データ記憶手段80(S2)と、その歌唱データ記憶手段80により記憶された前記複数回分の歌唱データにおける、前記評価対象となる楽曲の所定区間nに対応する音程の平均値Mnを算出する平均値算出手段82(S5)と、その平均値算出手段82により算出される音程の平均値Mnと、前記所定区間nに対応する音程の手本値Mn*との乖離値ΔMnを算出する乖離値算出手段84(S6)と、前記歌唱データ記憶手段80により記憶された前記複数回分の歌唱データにおける、前記所定区間nに対応する音程の分散値Snを算出する分散値算出手段86(S7)と、前記乖離値算出手段84により算出された乖離値ΔMn及び前記分散値算出手段86により算出された分散値Snに基づいて、前記所定区間nにおける歌唱評価を行う歌唱評価手段88(S8)とを、備えたものであることから、複数回分の歌唱データを評価の対象として、音程のずれを示す乖離値ΔMn及び毎回の歌唱で出される音の安定を示す分散値Snに基づき各区間nにおける歌唱を詳細且つ客観的に評価することができる。すなわち、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を実現するカラオケ装置10を提供することができる。
また、予め定められた関係から、前記乖離値算出手段84により算出された乖離値ΔMn及び前記分散値算出手段86により算出された分散値Snに基づいて、前記所定区間nの歌唱に関するアドバイスを表示させるアドバイス表示手段92(S9)を備えたものであるため、音程のずれを示す乖離値ΔMn及び毎回の歌唱で出される音の安定を示す分散値Snに基づいて、繰り返しカラオケ演奏を行う利用者が参考にし得るアドバイスを各区間n毎に提示することができる。
また、前記アドバイス表示手段92は、前記乖離値算出手段84により算出された乖離値ΔMnが規定の基準乖離値Mbo以上であり、且つ、前記分散値算出手段86により算出された分散値Snが規定の基準分散値Sbo未満である場合には、前記所定区間nの歌唱に関して、キーの変更を行うべき旨のアドバイスを表示させるものであるため、音程のずれを示す乖離値ΔMn及び毎回の歌唱で出される音の安定を示す分散値Snに基づいて具体的且つ実用的なアドバイスを提示することができる。
また、前記アドバイス表示手段92は、前記乖離値算出手段84により算出された乖離値ΔMnが規定の基準乖離値Mbo未満であり、且つ、前記分散値算出手段86により算出された分散値Snが規定の基準分散値Sbo以上である場合には、前記所定区間nの歌唱に関して、前記評価対象となる楽曲を聴き直すべき旨のアドバイスを表示させるものであるため、音程のずれを示す乖離値ΔMn及び毎回の歌唱で出される音の安定を示す分散値Snに基づいて具体的且つ実用的なアドバイスを提示することができる。
また、前記楽曲における演奏音の音階及び出力タイミングを表すピアノロール100を表示させるピアノロール表示手段94(S9)を備え、そのピアノロール表示手段94は、前記乖離値算出手段84により算出された乖離値ΔMn及び前記分散値算出手段86により算出された分散値Snに基づいて、前記所定区間nの演奏音に対応するピアノロール100(帯映像106)の表示を変化させるものであるため、音程のずれを示す乖離値ΔMn及び毎回の歌唱で出される音の安定を示す分散値Snをピアノロール100に反映させることで、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を視覚的に分かり易く提示することができる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例においては、前記歌唱評価手段88による評価結果に対応する映像として、図4に示すアドバイステーブル74に記憶されたアドバイスコメントを含む映像や、図5に示すようなピアノロール100を前記ディスプレイ44に表示させる例を説明したが、本発明はこれに限定されるものではなく、例えば、図3に示すような各区間nにおける音程の平均値Mn(手本値Mn*からのずれ)及び分散値Snを示すグラフを前記映像処理部20等を介して前記ディスプレイ44に表示させるものであってもよい。また、斯かる図3に示すようなグラフと共に、図4に示すアドバイステーブル74に記憶されたアドバイスコメントや、図5に示すようなピアノロール100を表示させる態様も考えられる。
また、前述の実施例において、前記歌唱評価手段88は、前記乖離値算出手段84により算出された乖離値ΔMnが規定の基準乖離値Mbo以上であるか否か、及び、前記分散値算出手段86により算出された分散値Snが規定の基準分散値Sbo以上であるか否かに基づいて、前記区間n毎における歌唱評価を行うものであったが、前記歌唱評価手段88による歌唱評価としては斯かる制御に限定されず、種々の態様が考えられる。例えば、前記分散値算出手段86により算出された各区間nの分散値Snに関して、対象となる楽曲を通しての平均(分散値Snの平均)Msn及び分散(分散値Snの分散)Ssnを算出し、その分散Ssnが予め定められた閾値を超える区間nを、歌唱不安定区間として指摘する歌唱評価を行うものであってもよい。また、前記分散Ssnの上位複数区間を、歌唱不安定区間として指摘する等の態様も考えられる。
また、前述の実施例においては、多数の楽曲のうちから選択される楽曲の演奏出力と併行して、音声入力装置から入力される音声を増幅して出力させる一般的なカラオケ装置10に本発明が適用された例を説明したが、本発明は、専ら歌唱の練習を行うために用いられる歌唱練習装置や、所謂音ゲー等のゲームを実行するコンシューマゲーム機等にも好適に適用されるものである。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。