JP5224517B2

JP5224517B2 - カラオケ装置

Info

Publication number: JP5224517B2
Application number: JP2008223593A
Authority: JP
Inventors: 修禎高崎; 恵洋桐原
Original assignee: Xing Inc
Current assignee: Xing Inc
Priority date: 2008-09-01
Filing date: 2008-09-01
Publication date: 2013-07-03
Anticipated expiration: 2028-09-01
Also published as: JP2010060630A

Description

本発明は、指定された楽曲の再生を行うと共に、マイクロフォンから入力される歌唱者の音声信号に基づいて歌唱評価を行うカラオケ装置に関する。

カラオケ装置は、本来、伴奏の演奏に合わせて歌唱を楽しむ装置であるが、マイクロフォンから入力される歌唱音声とメロディに関する情報を比較することで得点を算出する採点機能を備えたカラオケ装置も広く知られるている。また、この採点機能に類似した機能として、歌唱音声とメロディに関する情報を比較し、メロディに対する歌唱音声の音程の高低、歌唱音声の大小、あるいは、歌唱タイミングなどの比較結果を歌唱者に提示するなどの歌唱練習機能を備えたカラオケ装置も、特許文献１〜特許文献４にみられるようによく知られている。

特許文献１の画像表示機能付カラオケ再生装置は、マイクロホン７に入力される音声信号を歌声音符信号に変換し、楽譜音符と歌声音符とを重ね合わせた画像を表示する際、楽譜音符と歌声音符とが一致しない場合には、歌声音符を楽譜音符とは異なる色に点滅表示させるものであって、この点滅表示にて音程、リズムの正しさを視覚的に認識させるものである。

特許文献２のカラオケシステムは、演奏されるカラオケ楽曲信号と歌唱者の音声信号とを比較して部分フレーズ毎の評価結果を記憶すると共に、歌唱者の音声信号と演奏されたカラオケ楽曲信号との合成信号を部分フレーズ毎に記憶しておき、入力手段で指定された部分フレーズの評価結果を表示すると共に、当該部分フレーズの合成信号を再生するカラオケシステムである。このカラオケシステムによれば、歌唱者は自己の歌唱の善し悪しを部分フレーズ毎に理解でき、評価の低い部分を重点的に練習することで歌唱力を向上させることができる。

特許文献３の歌唱練習機能付きカラオケ装置は、再生手段によって再生された伴奏音声に合わせて歌い手が歌唱したときの一致度を評価し、一致程度が所定範囲を超えた箇所の伴奏音声を再度再生させることで、効率的な練習を行うことができるものである。

特許文献４の歌声ピッチの誤差をバーグラフに表示するカラオケ装置では、初回演奏モードで歌声ピッチの誤差をバーグラフの着色情報として格納しておき、再演奏モードにて、当該着色情報にてバーグラフを着色して表示し、再度の歌唱に伴う歌声ピッチの誤差に基づいてバーグラフの色を上書きしていくものであって、歌唱者はどの箇所が正しく歌えなかったかを認識できる。
特許第２６６６２４０号公報特許第３６１５３７８号公報特開２００１−３４２７８号公報特許第３９４９５４４号公報

しかしながら、特許文献１に開示の技術は、歌唱中において音程やリズムの正しさを歌唱者に認識させることはできるが、歌唱後にどこが上手く歌えなかったかを確認させることはできない。特許文献２に開示の技術は、歌唱後に評価の低い部分フレーズを得点として認識することはできるが、その回の歌唱に限られ、同楽曲の他の歌唱との比較を行うこ
とはできない。特許文献３に開示の技術は、歌唱後に一致程度が所定範囲を超えた箇所の伴奏音声を再度再生させるものであって、特許文献２と同様、評価はその回の歌唱に限られるものとなっている。特許文献４に開示の技術は、前回行った歌唱評価を確認しながら、歌唱を行い歌唱評価を行うものであって、バーグラフの色は上書きされることから分かるように、過去の歌唱評価について管理を行うものではない。

このように従来のカラオケ装置における歌唱練習機能では、歌唱評価の記録を管理し、過去の自分の歌唱評価や他の歌唱者の歌唱記録との比較はできない。

本発明は、歌唱練習を行うに際し、過去の自分の歌唱評価、あるいは、他人の歌唱評価などとの比較を行うための管理を提供するものである。

そのため、請求項１に係るカラオケ装置は、記憶手段と、再生手段と、通信手段と、制御手段とを備えるカラオケ装置であって、記憶手段は、メロディ情報を含む演奏情報を記憶し、再生手段は、制御手段の制御に基づき演奏情報を再生し、通信手段は、制御手段の制御に基づきホスト装置と通信を可能とし、制御手段は、再生処理と、受信処理と、送信処理と、表示処理とを可能とし、再生処理は、指定手段にて指定された指定楽曲の演奏情報を再生段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成し、受信処理は、指定楽曲に関する時系列参照記録をホスト装置から受信し、送信処理は、作成された時系列評価をホスト装置に送信し、表示処理は、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも１つの時系列参照記録とを併せて表示手段に表示させるとともに、時系列参照記録は、複数の中から切り替え表示可能とすることを特徴とするものである。

さらに、請求項２に係るカラオケ装置は、記憶手段と、再生手段と、通信手段と、制御手段とを備えるカラオケ装置であって、記憶手段は、メロディ情報を含む演奏情報を記憶し、再生手段は、制御手段の制御に基づき演奏情報を再生し、通信手段は、制御手段の制御に基づきホスト装置と通信を可能とし、制御手段は、再生処理と、受信処理と、送信処理と、表示処理とを可能とし、再生処理は、指定手段にて指定された指定楽曲の演奏情報を再生段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成し、受信処理は、指定楽曲に関する時系列参照記録をホスト装置から受信し、送信処理は、作成された時系列評価をホスト装置に送信し、表示処理は、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも１つの時系列参照記録とを併せて表示手段に表示させ、時系列評価記録は、指定楽曲に関する複数の時系列評価の平均記録を含むことを特徴とするものである。

さらに、請求項３に係るカラオケ装置は、請求項１または請求項２に記載のカラオケ装置において、個人認証によりユーザがログイン可能な個人認証手段を更に備え、時系列参照記録は、ログインしているユーザの時系列評価に基づく記録であることを特徴とするものである。

さらに、請求項４に係るカラオケ装置は、請求項３に記載のカラオケ装置において、時系列参照記録は、指定楽曲に関するログインユーザの過去ｎ回分の時系列評価であることを特徴とするものである。

さらに、請求項５に係るカラオケ装置は、請求項３に記載のカラオケ装置において、時系列参照記録は、指定楽曲に関するログインユーザの総合評価の高い時系列評価であることを特徴とするものである。

さらに、請求項６に係るカラオケ装置は、記憶手段と、再生手段と、通信手段と、個人認証手段と、制御手段とを備えるカラオケ装置であって、記憶手段は、メロディ情報を含む演奏情報を記憶し、再生手段は、制御手段の制御に基づき演奏情報を再生し、通信手段は、制御手段の制御に基づきホスト装置と通信を可能とし、制御手段は、再生処理と、受信処理と、送信処理と、表示処理とを可能とし、個人認証手段は、個人認証によりユーザがログイン可能とし、再生処理は、指定手段にて指定された指定楽曲の演奏情報を再生段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成し、受信処理は、指定楽曲に関する時系列参照記録をホスト装置から受信し、送信処理は、作成された時系列評価をホスト装置に送信し、表示処理は、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも１つの時系列参照記録とを併せて表示手段に表示させ、時系列参照記録は、指定楽曲に関するログインユーザの過去の時系列評価の平均記録を含むことを特徴とするものである。

さらに、請求項７に係るカラオケ装置は、請求項１乃至請求項６のいずれか１つに記載のカラオケ装置において、表示処理は、再生処理の終了後に実行されることを特徴とするものである。

さらに、請求項８に係るカラオケ装置は、請求項１乃至請求項７のいずれか１つに記載のカラオケ装置において、表示処理は、再生処理と同時に実行されることを特徴とするものである。

本発明によれば、歌唱練習を行うに際し、歌唱評価を行った際の時系列記録評価をホスト装置にて管理することで、過去の自分の歌唱評価、あるいは、他人の歌唱評価との比較を可能とするものである。ホスト装置にて時系列記録評価の管理を行うため、カラオケ店舗に再来店した場合や、異なるカラオケ店舗で利用する場合においても自分の歌唱記録を参照し、歌唱練習の進捗を把握することができる。

以下、本発明の実施形態を図面を参照しながら説明を行う。図１は、本発明の実施形態に係るカラオケシステムの実施形態を示した図であって、１つの店舗に複数のコマンダが設置されたカラオケボックスとしての営業形態を示している。

図１において、５０は通信網、６０はルータ、７０は無線アクセスポイント、１００はホスト装置、２００はリモコン装置、３００はコマンダをそれぞれ示している。本実施形態において、各コマンダ３００はｒｏｏｍ１〜ｒｏｏｍ４毎に１台ずつ配置され、リモコン装置２００から指示された楽曲を演奏する。例えば、コマンダ１が設置されるｒｏｏｍ１では１台のリモコン装置１が配置され、コマンダ１はリモコン装置１からの楽曲指示を受け付ける。また、コマンダ４が設置されるｒｏｏｍ４では２台のリモコン装置４−１、４−２が配置され、コマンダ４は、リモコン装置４−１、４−２のどちらからも楽曲リクエストを受け付ける。なお、楽曲の指示は、リモコン装置２００のみならず、各コマンダ３００のフロントパネルに設けられた入力部からも可能となっている。

各コマンダ３００は、ＬＡＮを介してルータ６０と接続されており、ルータ６０はインターネット回線などの通信網５０を介してホスト装置１００に通信接続される。このような通信接続により、各コマンダ３００は、ホスト装置１００から楽曲情報や、プログラムなどの各種配信を受けることができると共に、ホスト装置１００では各コマンダ３００の利用履歴管理や各利用者の会員サービス管理を行うことが可能となっている。

ＬＡＮ上には、無線アクセスポイント７０が接続されており、各リモコン装置２００と無線通信可能に設定されている。このように設定することで、各リモコン装置２００は予め対応付けられたコマンダ３００と通信可能となる。また、各リモコン装置２００は、コマンダ３００のみならず、通信網５０を介してホスト装置１００との通信も可能となる。ホスト装置１００は、ユーザがログインしているリモコン装置２００に対して会員サービスを提供することができる。

会員サービスは、各会員の個人設定情報をホスト装置１００で管理することで、利用者がどのリモコン装置２００からログインしても、各利用者に対して各種サービスを提供することができるサービスである。この会員サービスには、例えば、個人設定情報にユーザの予約履歴を記録しておくことで、再来店した場合に自分の予約履歴を参照可能としたり、ユーザが気に入った歌手を個人設定情報に登録しておくことでその歌手の持ち歌を参照可能としたり、登録しておいた十八番を参照可能としたり、採点履歴に基づいて他の利用者と得点を競ったりすることなどが考えられる。

本実施形態では、ＬＡＮを介して接続された複数のコマンダ３００による、いわゆるカ
ラオケボックスとしての営業形態を説明したが、スナックなどのナイト店では、１台のコマンダ３００に対して、１台乃至複数台のリモコン装置２００が設置される構成が採用される営業形態となる。

次に、カラオケ装置の一構成となるコマンダ３００についてより詳しく説明する。図２は本発明の実施の形態に係るコマンダ３００及びその周辺のブロック構成を示す図である。３０１は制御部、３０２は通信部、３０３はフロントパネル表示部、３０４は表示制御部、３０５は記憶部、３０６は入力部、３０７は音源部、３０８はミキシング部、３０９はＡＤ変換部、４０１はアンプ、４０２はスピーカー、４０３はマイクロフォン、４０４はディスプレイをそれぞれ示している。

コマンダ３００には、ＣＲＴやＴＦＴ等の映像表示装置としてのディスプレイ４０４、音声増幅装置としてのアンプ４０１、音声入力手段としてのマイクロフォン４０３が接続されている。コマンダ３００におけるカラオケ楽曲の演奏信号は、アンプ４０１へ送出されスピーカー４０２から演奏音が得られる。一方、楽曲の再生に同期した歌詞映像は、背景映像と重畳され、出力映像信号としてディスプレイ４０４に出力される。ユーザは、演奏音と歌詞映像に合わせてマイクロフォン４０３を用いて歌唱を行う。

制御部３０１は、ＣＰＵ、ＲＡＭなどの一時記憶部を含んで構成され、コマンダ３００におけるシステム全体の制御を司る。ハードディスクなどの記憶部３０５には、楽曲情報、映像情報、各種プログラムなどが記憶されている。通信部３０２は、周知規格の有線ＬＡＮなどが用いられ、リモコン装置２００との間で各種制御命令の送受信を可能としている。また、ホスト装置１００との間で楽曲情報や個人設定情報など各種情報の送受信を可能としている。

入力部３０６は、フロントパネルなどに設けられた各種スイッチ群であり、予約選曲、音程コントロールなど各種機能を手動設定可能としている。表示制御部３０４は、制御部３０１と連携し、記憶部３０５に記憶されている楽曲情報中の歌詞情報に基づいて歌詞映像を作成する。そして、映像情報に基づいて背景映像を作成し、背景映像に歌詞映像を重畳した出力映像信号をディスプレイ４０４に出力する表示制御を行う。その他、表示制御部３０４は、各種コンテンツ、広告情報などをディスプレイ４０４にて表示するための表示制御を行う。

音源部３０７は、ＭＩＤＩ、ＰＣＭ、ＭＰＥＧなど各種規格に基づいた演奏情報に基づいて楽音信号を形成する再生手段として機能する。この音源部３０７では単一規格で構成された演奏情報のみならず、異なる複数規格で構成された演奏情報を扱うことも可能である。例えば、ＭＩＤＩにて伴奏を再生すると同時に、ＰＣＭ、あるいは、ＭＰＥＧにて模範歌唱、バックコーラス、あるいは、録音音声情報を再生することができる。ミキシング部３０８は、音源部３０７で形成した楽音信号と、マイクロフォン４０３から入力される歌唱者の歌唱音声信号を適宜なバランスで混合する。混合された信号はアンプ４０１に出力されてスピーカー４０２から放音出力される。

また、歌唱を録音するため、歌唱音声信号はＡＤ変換部３０９にも入力される。デジタル信号に変換された歌唱音声信号は、制御部３０１によるエンコード処理で録音音声情報に音声圧縮されて記憶部３０５に格納される。歌唱音声信号のみが録音される場合には、音源部３０７での再生時、録音時に使用した演奏情報と同期を取って再生することで歌唱を再現できる。また、歌唱音声信号と演奏音をミキシングした上で録音音声情報を作成するのであれば、録音音声情報のみの再生により歌唱を再現することができる。

以上、コマンダ３００の主要構成について説明したが、ＩＲ信号を送受信可能とする通
信部をさらに設け、ＩＲ信号を利用する従来のリモコン装置からの制御命令に対応できる構成を採用してもよい。

次に、本発明の指定手段としての一実施形態であるリモコン装置２００について説明する。図３は、リモコン装置２００の外観（正面図）を示したものであり、筐体中央にはタッチパネル２０７が配置され、ユーザに対して各種表示を行うと共に、スタイラス４０５あるいは指を接触させることでのユーザ入力を受け付ける。本実施形態では、このタッチパネル２０７のみを利用したものとなっているが、この実施形態に限るものではなく、例えば、表示部と各種キーにてユーザ入力を受け付ける形態や、各種キーのみで構成される周知のリモコン形態などが採用できる。

タッチパネル２０７の右上には認証手段としての指紋読取部２０３が設けられる。この指紋読取部２０３上にユーザが指をスライドさせることで指紋が読み取られる。読み取られた指紋は適宜アルゴリズムで特徴が抽出され指紋情報に変換される。認証手段はこの形態に限るものではなく、各種生体認証や、ＩＤとパスワードによる各種のものが採用可能である。

図４は、リモコン装置のブロック構成を示した図であって、２０１はリモコン制御部、２０２はリモコン通信部、２０３は指紋読取部、２０４はリモコン記憶部、２０５はリモコン表示部、２０６はタッチ式センサを示している。タッチ式センサ２０６は透明であってリモコン表示部２０５の表面に配置され、両者にてタッチパネル２０７を構成する。

リモコン制御部２０１はリモコン装置２００全体の制御を司る。リモコン記憶部２０４には、ＲＡＭなど各種メモリやハードディスクが用いられ、楽曲選択のための楽曲リストやサービス処理を行う際に必要となる個人設定情報などが格納される。

タッチ式センサ２０６は、利用者の指やスタイラスなどの接触による入力操作を可能としている。タッチ式センサ２０６による入力を可能とするため、リモコン表示部２０５にはタッチ式センサ２０６に対する制御と連動した表示画像が表示されるようにプログラムされている。なお、入力手段としては、タッチ式センサ２０６に限定されるものではなく、例えば、キーボード、カーソルキーなどの機械的な入力手段を採用してもよい。

リモコン通信部２０２は、無線アクセスポイント７０との間で、例えば、無線ＬＡＮ規格（IEEE802.11a/b/gなど）による無線通信を行う。このリモコン通信部２０２にて、リ
モコン装置２００は、コマンダ３００やホスト装置１００との通信を行う。なお、このリモコン通信部２０２は、例えば、Bluetooth規格（登録商標）により実現することもでき
る。その場合、受け手側のコマンダ３００側に設けられた同規格の通信部により、リモコン装置２００とコマンダ３００は無線通信を行う。更に、リモコン装置２００はコマンダ３００を経由してホスト装置１００との通信を行うこととなる。

リモコン装置２００からコマンダ３００に対する楽曲指定などの各種コマンドは、この通信部２０２を介して送信される。すなわち、リモコン装置２００は、ＬＡＮ上に配置された無線アクセスポイント７０と無線通信を行うこととなるが、コマンダ３００とリモコン装置２００が予め対応付けられているため、コマンダ３００は自分に対する各種コマンドを判別することができる。

指紋読取部２０３は、ユーザがその表面を指で押圧、もしくは、スライドさせることで指紋を読み取る機能を備えている。読み取られた指紋はホスト装置１００との間で認証処理が行われ、認証に成功したユーザはログインユーザとして各種サービスの提供を受けることが可能となる。なお、ユーザによってはログインのための認証方法として、指紋認証
を好まない場合がある。そこで、本実施形態におけるカラオケシステムでは、この指紋読取部２０３を利用した認証と、タッチパネル２０７からのユーザＩＤと、パスワードを入力することによる認証を選択できるようになっている。

以上、本カラオケ装置におけるハードウェア構成を説明したが、次に、これらハードウェア構成を利用した歌唱練習機能について図を用いて説明を行う。

図５はカラオケ練習機能の一連の処理を示したフロー図である。タッチパネル２０７などの入力手段により歌唱練習機能が指定されると歌唱練習が開始される（Ｓ１００）。コマンダ３００側の表示手段であるディスプレイ４０４には歌唱練習モードのタイトル画面が表示され、ユーザに対し楽曲の選択を促す（Ｓ１０１）。リモコン２００から楽曲の指定を受け付けると当該楽曲の演奏情報を音源部３０７に再生させる。一方、歌唱練習を終了する旨の指定を受け付けた場合には歌唱練習を終了し、通常のカラオケモードに戻る（Ｓ１０３）。

Ｓ１０４にて、演奏情報の再生に伴い、歌唱者はマイクロフォンから歌唱音声信号を入力して歌唱することとなるが、演奏情報の再生開始と同時にマイクロフォン４０３からの歌唱音声信号の録音処理も開始される。この録音処理では、歌唱音声信号だけを録音して録音音声情報を作成してもよいし、歌唱音声信号と演奏情報による演奏音を混合した上で録音音声情報を作成してもよい。歌唱音声信号だけによる録音音声情報に基づいて歌唱を再現する場合には、演奏情報と録音音声情報を同時に再生開始すればよい。歌唱音声信号はモノラル信号で扱われるため、録音音声情報の容量を節約することができる。一方、歌唱音声信号と演奏情報による演奏音を混合した録音音声情報に基づいて歌唱を再現する場合には、録音音声情報だけを再生すればよい。この場合には、ステレオ信号としての演奏音を一緒に録音するため容量は大きくなるものの、再現時の早送り、早戻しが簡単に行える。これらは必要に応じて適宜選択される。

演奏情報の再生中、ディスプレイ４０４に表示される再生途中画面にて、歌唱者は歌唱者の歌唱と楽曲のメロディとの一致度合いを確認することができる（Ｓ１０５）。図６はこの再生途中画面を示した図であり、図中、５０１は音階表示欄、５０２は音階ライン、５０３は通過バー、５０４は音符マーク、５０５は歌詞を示している。歌唱者はこの再生途中画面において、演奏情報の再生に同期して表示される歌詞５０５を見ながら歌唱を行うことができる。図には示していないが、歌詞５０５は演奏情報の再生に同期して、歌唱タイミングを示すようにその表示色を変更していく。

音階表示欄５０１には、１２本の音階ライン５０２が横方向に平行に表示されており、上にいくほど高い音階となる１２音階を示している。また、音階表示欄５０１の中央には通過バー５０３が表示されており、歌唱者はここを通過する音符マーク５０４により歌唱音階と歌唱タイミングを確認することができる。

音符マーク５０４は演奏情報に含まれるメロディ情報、そして、歌唱者の歌唱音声信号に基づく歌唱音階に基づいて表示される。音符マーク５０４はそれが位置する音階ライン５０２にて音階を示し、横方向の長さにて音の長さを示したものであり、ちょうど音符を実時間で時系列的に示した形となっている。演奏情報の再生に従って、メロディ情報に基づく音符マーク５０４が画面右から左へスクロールしていき、通過バー５０３を通過する時点が歌唱タイミングとなる。

通過バー５０３を通過した音符マーク５０４は、歌唱音声信号に基づく歌唱音階との比較に基づいてその表示形態が変更される。メロディ情報と歌唱音階とがマッチ条件に適合する場合には、図に示すような白抜きの形態で音符マークに変更される。一方、メロディ
情報と歌唱音階がマッチ条件に適合しない場合には、メロディ情報に基づく音符マーク５０４を歌唱タイミング前と同じ表示形態に維持し、歌唱音階に基づく音符マーク５０４がその上下に新たに表示される。この場合、歌唱音階がメロディよりも高かったか、低かったかを示すため表示形態を図のように異ならせるとよい。また、歌唱音声信号入力が無かった、すなわち、歌唱しなかった場合には、新たな音符マーク５０４を表示することなく、メロディ情報に基づく音符マーク５０４だけが残ることになる。このように、本実施形態では、メロディ情報の音符単位毎に歌唱音声と比較することとなるが、この実施形態に限られるものではなく、その比較や表示について音符よりも細かい単位で行うこととしてもよい。

また、メロディ情報と歌唱音階とのマッチ条件は種々形態のアルゴリズムを採用することができる。例えば、メロディ音階内での歌唱タイミングで１回でも歌唱音階が一致した場合にはマッチしたとみなしてもよいし、所定時間以上一致した場合にマッチしたとみなすようにしてもよい。以上、再生途中画面の表示について説明を行ったが、再生中のメロディ情報と歌唱音階との比較結果は随時、制御部３０１内の一時記憶部や記憶部３０５に格納される。後で説明する時系列評価作成や、レビュー再生のために用いられることとなる。また、メロディ情報と歌唱音声信号の比較は、これら音階による比較に限らず、例えば、歌唱タイミング、歌唱音声の大小にて行ってもよい。

演奏情報が最後まで再生されるか、ユーザによる再生終了指示により演奏情報の再生が終了（Ｓ１０６）すると、録音処理や比較処理についても終了し、Ｓ１０７にて再生時間がｎ秒以上行われたか否かを判断する。この判断は、再生時間があまりにも短い場合には、歌唱の総合評価ができないことや、時系列評価などの情報を管理することも意味をなさないことを考慮したものである。この場合、Ｓ１０８にてディスプレイ４０４上に採点不可能とするメッセージを表示した後、Ｓ１０１に戻って選曲待ち画面を表示し、ユーザの指示を待つ。

一方、再生時間がｎ秒以上の場合には、Ｓ１０８以降の処理に進み総合評価を行うこととなる。まず、Ｓ１０９では，メロディ情報と歌唱音階との比較結果に基づいて時系列評価を作成する。図７は、この時系列評価のデータ構成を示したものであり、時系列データはインデックスと、実体データにて構成される。インデックスには、使用した演奏情報の楽曲ＩＤ、認証手段によるログインユーザによる歌唱練習である場合にはユーザＩＤ、歌唱練習を行った練習日時、マッチ率などの総合評価などが含まれる。

また、実体データは、メロディ情報と歌唱音階との比較結果に基づいて作成される時系列情報であって、本実施形態では５秒単位での比較結果の平均が記述される。この実施形態に限ることなく、比較結果をそのまま用いてもよいし、演奏情報の小節単位毎など適宜な単位での平均を採用する形態としてもよい。

Ｓ１１０では、総合評価画面Ａの表示を行う。図８はこの総合評価画面Ａを図示したものであって、図中、５０６は音階別評価欄、５０７はマッチ率、５０８はコメント欄、５０９はスイッチを示している。音階別評価欄５０６には、メロディ情報と歌唱音階の比較結果に応じた音符マーク５０４の個数がそれぞれ示されている。歌唱者は、この音階別評価欄５０６を参照することで、自分の歌唱がメロディと比較して高めの傾向にあるのか、低めの傾向にあるのかを確認することができる。マッチ率５０７は音階別評価欄の数値に対応して表示されるパーセント表示であり、メロディ情報の音階中いくつマッチして歌唱できたかの割合を示す数値である。このマッチ率５０７は歌唱全体の評価として用いられ、時系列評価や時系列参照記録の総合評価として利用される。コメント欄５０８には、音階別評価欄５０６やマッチ率５０７の数値に対応したコメントが表示される。

このように、この総合評価画面Ａではユーザは自己の歌唱評価を数値的に把握することができる。確認を終えたユーザはタッチパネル２０７に表示されるカーソルキーなどを利用してスイッチ５０９を選択し、次の総合評価画面Ｂへと進む。

総合評価画面Ｂでは、今回行った歌唱に基づく時系列評価とホスト装置１００から取り寄せた時系列参照記録との比較表示を行うことが可能となる。Ｓ１１１ではこの時系列参照記録をホスト装置１００から取り寄せるための通信処理が実行される。図９は、この通信処理について詳しく説明した図であり、コマンダ３００とホスト装置１００間での情報のやりとりを示したものである。

通信処理が開始される（Ｓ２００）と、まず、コマンダ３００は今回の歌唱練習で作成した時系列評価をホスト装置１００へ送信する（Ｓ２０１）。時系列評価を受け取ったホスト装置１００は、受信した時系列評価に基づいて、後の歌唱練習のために利用する時系列参照記録を作成、管理することとなる。Ｓ２０３では、歌唱練習を行っているユーザがログインユーザでない場合には、今回練習を行った楽曲の楽曲ＩＤをホスト装置１００に送信して、当該楽曲に関する時系列参照記録の問い合わせを行う（Ｓ２０４）。この場合、自己の時系列参照記録を取り寄せることはできないが、ホスト装置１００で管理する同楽曲の統計情報としての時系列参照記録を取り寄せることができる。一方、ログインユーザの場合には、楽曲ＩＤに加えてユーザＩＤを送信し、当該楽曲に関する自己の時系列参照記録の問い合わせを行う（Ｓ２０５）。この場合、統計情報としての時系列参照記録を一緒に取り寄せることができる。

コマンダ３００からの問い合わせに応じて、ホスト装置１００は時系列参照記録を検索・抽出しコマンダ３００に送信する（Ｓ２０６）。その際、送信する時系列参照記録は複数であっても構わない。図１０は、この時系列参照記録のデータ構成を示した図であって、時系列評価と同様、インデックスと実体データで構成される。ホスト装置は、コマンダ３００から受信した１乃至複数の時系列評価に基づいて時系列参照記録を作成する。インデックスは、楽曲ＩＤ、種別、種別毎の各種情報などを含んで構成される。

時系列参照記録としては、同一楽曲に関する１又は複数の時系列評価に基づいて作成されることとなるが、その例をいくつか挙げる。例えば、コマンダ３００から受信した時系列参照記録をそのまま用いて、自分の過去の時系列評価を参照できるようにしてもよい。この場合、ユーザＩＤ、録音日時、総合評価などが各種情報として格納される（図中、種別が個人１の場合）。また、同じユーザについて複数の時系列評価の時系列での平均をとり、ユーザが過去の時系列評価の平均を参照できるようにしてもよい。この場合、ユーザＩＤ、練習回数、総合評価の平均などが各種情報として格納される（図中、種別が個人２の場合）。また、ユーザに関係なく複数の時系列評価の平均をとり、当該楽曲に関して一般的な練習状況を参照できるようにしてもよい（図中、種別が楽曲別の場合）。さらに、同じユーザが過去に行った複数の時系列評価を利用し、部分毎に一番良かった時系列評価を接続して時系列参照記録を作成し、これまでの歌唱練習で最もよい記録を仮想的に参照できるようにしてもよい。
実体データの平均であって、インデックスには歌唱回数などが格納されている。実体データは時系列評価と同様、５秒単位での比較結果の平均であって、インデックスの種別に対応した内容となっている。

通信処理にてログインユーザが問い合わせを行った場合（Ｓ２０５）、コマンダ３００は楽曲ＩＤを参照し、全ての種別の時系列参照記録を取り寄せることができる。しかしながら、ログインユーザではない問い合わせの場合（Ｓ２０４）には、楽曲別の時系列参照記録を取り寄せることとなる。このような各種時系列参照記録をホスト装置１００から取り寄せることで、コマンダ３００では時系列評価と時系列参照記録を併せて表示し、ユー
ザは自己の歌唱の進捗状況や、他者も含めた当該楽曲平均と比較することができる。

Ｓ１１２では、今回の時系列評価とホスト装置１００から取り寄せた時系列参照記録を併せて表示する総合評価画面Ｂの表示が実行される。図１１はこの総合評価画面Ｂを示した図であり、５１０は時系列評価欄、５１１、５１２はスイッチを示している。時系列評価欄５１０には、今回の時系列評価とホスト装置１００から取り寄せた時系列参照記録とが折れ線グラフ状に同一時間軸上一緒に表示される。図では、今回の時系列評価と、前回、前々回に行った過去２回分の時系列評価に基づく時系列参照記録が併せて表示されたものとなっており、ユーザは歌唱練習の進捗状況や、苦手とする部分を視覚的に確認できる。表示する時系列参照記録は、この形態に限られるものではなく、例えば、図１０に示す個人２、楽曲別といった種別の時系列参照記録を一緒に表示してもよい。また、ユーザの指定に基づいて複数の時系列参照記録を切り替え可能に表示できるようにしてもよい。例えば、過去ｎ回分の記録、自分の歌唱練習の平均記録、総合評価の高い記録、他者を含めた歌唱練習の平均記録などのように切り替え可能とすることが考えられる。

確認を終えたユーザは、スイッチ５１２を選択して選曲待ち画面に戻るか、スイッチ５１１を選択してレビュー再生画面に移動することとなる。本実施形態のレビュー再生画面では、再生処理で録音した録音音声情報をレビュー再生することで聴覚的に自己の歌唱を確認することができるものであり、さらに、図６で説明した音階表示欄５０１、歌詞５０５、図１１で説明した時系列評価欄５１０を一緒に表示するため効率的な歌唱練習が行うことができる。

図１２はこのレビュー再生画面を示した図であって、上から順に音階表示欄５０１、時系列評価欄５１０、歌詞５０５が表示され、その下にはスイッチ５１４、再生制御スイッチ群５１５、再生時間５１６が表示される。時系列評価欄５１０は、図１１と同じ楽曲全体の時系列評価を示したものとなっているが、このレビュー再生画面では、さらに再生位置を示すカーソル５１３が表示される。ユーザはこのカーソル５１３の位置で再生位置を確認できると共に、その再生位置での評価についても確認することができる。再生制御スイッチ群５１５は左から、早戻しスイッチ、再生・一時停止スイッチ、停止スイッチ、早送りスイッチで構成され、ユーザはこれらのスイッチを選択して録音音声情報をレビュー再生することができる。

レビュー再生処理では、音階表示欄５０１、歌詞５０５は再生処理と同様、歌唱音声情報の再生に同期して行われるが、音階表示欄５０１に表示される音符マーク５０４は、再生処理において一時記憶手段に記憶しておいた比較結果に基づいて表示される。ユーザは録音音声情報の再生にあわせて、この音階表示欄５０１にて、音程の一致、不一致を詳細に確認することができる。一方、時系列表示欄５１０には、今回の歌唱練習での時系列評価が歌唱全体にわたって確認できるため、ユーザは歌唱全体における良かった箇所、悪かった箇所を確認することができる。さらに、この時系列表示欄５１０には時系列参照記録が併せて表示されるため、自己の過去の記録と比較して、歌唱練習の進捗状況や伸び悩んでいる箇所を確認することができ、効率的な歌唱練習に役立つものとなる。また、この時系列参照記録の表示については、図１１の総合評価画面Ｂと同様、ホスト装置１００から取り寄せた他の時系列参照記録を併せて、或いは、切り替え可能に表示できる形態としてもよい。

録音音声情報のレビュー再生を終了したユーザは、スイッチ５１４を選択し総合評価画面Ｂに戻ることができる。以上、本実施形態によれば、歌唱者の歌唱に基づく時系列評価と、ホスト装置１００から取り寄せた時系列参照記録とを併せて表示手段に表示することで、効率的に歌唱練習を行うことが可能となる。

なお、本発明の特徴となる時系列評価欄５１０は、図１１の総合評価画面Ｂや、図１２のレビュー再生画面のみならず、図６の演奏途中画面上に音階表示欄５０１と一緒に表示するようにしてもよい。歌唱者は時系列参照記録を参照しながら歌唱することができると共に、歌唱の経過に従って表示される時系列評価と比較することで歌唱中に歌唱評価を確認することができる。また、図１１や図１２で説明したように、この演奏途中画面においても複数の時系列参照記録を同時に表示したり、切り替えて表示できるように構成してもよい。この場合には、時系列参照記録は、再生処理開始前にホスト装置１００から取り寄せておく必要がある。例えば、Ｓ１０２における選曲後にホスト装置１００との時系列参照記録取得のための受信処理を行えばよい。また、ログインユーザの場合には、ログインした際、ホスト装置１００から取得する個人設定情報に、これまで練習した楽曲に関する時系列参照記録を含めて受信することで、２回目以降の練習楽曲については歌唱練習を行う毎にホスト装置１００から時系列参照記録を取り寄せる必要がなくなる。

以上、本発明の種々の実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

本発明の実施形態に係るカラオケシステムを示した図。本発明の実施形態に係るコマンダを示した図。本発明の実施形態に係るリモコン装置の外観を示した図。本発明の実施形態に係るリモコン装置の内部構成を示した図。本発明の実施形態に係る歌唱練習処理のフロー図。本発明の実施形態に係る再生途中画面を示した図。本発明の実施形態に係る時系列評価のデータ構成を示した図。本発明の実施形態に係る総合評価画面Ａを示した図。本発明の実施形態に係るコマンダとホスト装置の通信処理を示した図。本発明の実施形態に係る時系列参照記録のデータ構成を示した図。本発明の実施形態に係る総合評価画面Ｂを示した図。本発明の実施形態に係るレビュー再生画面を示した図。

符号の説明

５０…通信網、６０…ルータ、７０…無線アクセスポイント、１００…ホスト装置、２００…リモコン装置、２０１…リモコン制御部、２０２…リモコン通信部、２０３…指紋読取部、２０４…リモコン記憶部、２０５…リモコン表示部、２０６…タッチ式センサ、２０７…タッチパネル、３００…コマンダ、３０１…制御部、３０２…通信部、３０３…フロントパネル表示部、３０４…表示制御部、３０５…記憶部、３０６…入力部、３０７…音源部、３０８…ミキシング部、３０９…ＡＤ変換部、４０１…アンプ、４０２…スピーカ、４０３…マイクロフォン、４０４…ディスプレイ、４０５…スタイラス、５０１…音階表示欄、５０２…音階ライン、５０３…通過バー、５０４…音符マーク、５０５…歌詞、５０６…音階別評価欄、５０７…マッチ率、５０８…コメント欄、５０９…スイッチ、５１０…時系列評価欄、５１１、５１２…スイッチ、５１３…カーソル、５１４…スイッチ、５１５…再生制御スイッチ群、５１６…再生時間

Claims

記憶手段と、再生手段と、通信手段と、制御手段とを備えるカラオケ装置であって、
記憶手段は、メロディ情報を含む演奏情報を記憶し、
再生手段は、制御手段の制御に基づき演奏情報を再生し、
通信手段は、制御手段の制御に基づきホスト装置と通信を可能とし、
制御手段は、再生処理と、受信処理と、送信処理と、表示処理とを可能とし、
再生処理は、指定手段にて指定された指定楽曲の演奏情報を再生段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成し、
受信処理は、指定楽曲に関する時系列参照記録をホスト装置から受信し、
送信処理は、作成された時系列評価をホスト装置に送信し、
表示処理は、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも１つの時系列参照記録とを併せて表示手段に表示させるとともに、時系列参照記録は、複数の中から切り替え表示可能とする
カラオケ装置。
記憶手段と、再生手段と、通信手段と、制御手段とを備えるカラオケ装置であって、
記憶手段は、メロディ情報を含む演奏情報を記憶し、
再生手段は、制御手段の制御に基づき演奏情報を再生し、
通信手段は、制御手段の制御に基づきホスト装置と通信を可能とし、
制御手段は、再生処理と、受信処理と、送信処理と、表示処理とを可能とし、
再生処理は、指定手段にて指定された指定楽曲の演奏情報を再生段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成し、
受信処理は、指定楽曲に関する時系列参照記録をホスト装置から受信し、
送信処理は、作成された時系列評価をホスト装置に送信し、
表示処理は、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも１つの時系列参照記録とを併せて表示手段に表示させ、
時系列評価記録は、指定楽曲に関する複数の時系列評価の平均記録を含む
カラオケ装置。
個人認証によりユーザがログイン可能な個人認証手段を更に備え、
時系列参照記録は、指定楽曲に関するログインユーザの時系列評価に基づく記録である
請求項１または請求項２に記載のカラオケ装置。
時系列参照記録は、指定楽曲に関するログインユーザの過去ｎ回分の時系列評価である
請求項３に記載のカラオケ装置。
時系列参照記録は、指定楽曲に関するログインユーザの総合評価の高い時系列評価である
請求項３に記載のカラオケ装置。
記憶手段と、再生手段と、通信手段と、個人認証手段と、制御手段とを備えるカラオケ装置であって、
記憶手段は、メロディ情報を含む演奏情報を記憶し、
再生手段は、制御手段の制御に基づき演奏情報を再生し、
通信手段は、制御手段の制御に基づきホスト装置と通信を可能とし、
制御手段は、再生処理と、受信処理と、送信処理と、表示処理とを可能とし、
個人認証手段は、個人認証によりユーザがログイン可能とし、
再生処理は、指定手段にて指定された指定楽曲の演奏情報を再生段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成し、
受信処理は、指定楽曲に関する時系列参照記録をホスト装置から受信し、
送信処理は、作成された時系列評価をホスト装置に送信し、
表示処理は、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも１つの時系列参照記録とを併せて表示手段に表示させ、
時系列参照記録は、指定楽曲に関するログインユーザの過去の時系列評価の平均記録を含む
カラオケ装置。
表示処理は、再生処理の終了後に実行される
請求項１乃至請求項６のいずれか１つに記載のカラオケ装置。
表示処理は、再生処理と同時に実行される
請求項１乃至請求項７のいずれか１つに記載のカラオケ装置。