JP6395652B2 - カラオケ装置及びカラオケ用プログラム - Google Patents

Description

本発明は、歌唱を楽しむためのカラオケ装置、及び、各種情報処理装置で実行することで歌唱を楽しむことのできるカラオケ用プログラムに関する。

伴奏に合わせて歌唱を楽しむカラオケ装置では、伴奏を演奏する機能に加え、自己の歌唱能力を把握可能とするため、歌唱後に得点を表示する採点機能を備えたものがある。このような採点機能では、歌唱時の音程のみならず、ビブラートやこぶしなどの歌唱技法を評価対象としたものもある。

特許文献１には、歌唱の周波数を採点して基本得点を算出するとともに、歌唱のビブラート、抑揚、声質、タイミング、しゃくりなど他の歌唱技法を採点して付加ポイントを算出するカラオケ装置が開示されている。このカラオケ装置では、基本得点に付加ポイントを加算して最終得点を求めることで、歌唱周波数を採点の中心としつつ、他の歌唱要素も採点において考慮することが可能である。

特開２００７−３３４３６４号公報

特許文献１に開示されるように、自己の歌唱を評価するにあたって、音程のみならず歌唱技法を評価対象として、歌唱評価を行うカラオケ装置はよく知られている。このような歌唱評価を使用するユーザは、如何に高得点を獲得するかが歌唱における目的の一つとである。近年、通信ネットワークで接続されたカラオケ装置では、歌唱評価で算出された得点について順位を競うことも行われている。このような場では、僅かな得点差が大きな順位差に繋がることもある。

歌唱評価では、ユーザはどのように歌唱を行えば歌唱評価の向上を図ることができるか、分からない場合もある。特に、歌唱に不慣れなユーザは、ビブラートやこぶしのような歌唱技法を自在に付加することが困難であるため、自己の歌唱に歌唱技法を加えることが、自己の歌唱技術向上にどの程度、影響するか把握することができない。本発明は、歌唱評価におけるこのような状況を鑑み、歌唱技法を上手く使用することができないユーザであっても、歌唱技法を使用した際の歌唱評価値の向上度合いを把握させることを可能としている。

そのため、本発明に係るカラオケ装置は、以下の構成を採用することとしている。
楽曲情報を再生し、マイクロホンに入力される歌唱音声信号を取得する再生処理と、
入力手段の操作タイミングで、歌唱音声信号にエフェクトを付与するエフェクト付与処理と、
エフェクト付与処理でエフェクトが付与されていない歌唱音声信号の歌唱評価を行い、第１歌唱評価値を算出する第１歌唱評価処理と、
エフェクト付与処理でエフェクトが付与された歌唱音声信号の歌唱評価を行い、第２歌唱評価値を算出する第２歌唱評価処理と、
第１歌唱評価値と第２歌唱評価値をユーザに通知する通知処理と、を実行可能とする。

さらに本発明に係るカラオケ装置は、
マイクロホンから入力される歌唱音声信号を録音する録音処理と、
楽曲情報、及び、録音された歌唱音声信号を再生する歌唱再生処理と、を実行可能とし、
エフェクト付与処理は、録音された歌唱音声信号を対象としてエフェクトを付与する。

さらに本発明に係るカラオケ装置において、
エフェクト付与処理は、再生処理において実行が禁止される。

さらに本発明に係るカラオケ装置において、
エフェクト付与処理は、マイクロホンから入力される歌唱音声信号を対象としてエフェクトを付与する。

さらに本発明に係るカラオケ装置において、
第２歌唱評価処理は、エフェクト処理でエフェクトが付与された歌唱音声信号を分析して歌唱評価を行い、第２歌唱評価値を算出する。

さらに本発明に係るカラオケ装置において、
第２歌唱評価処理は、入力手段における操作タイミングに基づいて算出された手動エフェクト評価値と、第１歌唱評価値に基づいて、第２歌唱評価値を算出する。

さらに本発明に係るカラオケ装置は、
入力手段の操作によって付与されたエフェクトと、歌唱音声信号の歌唱技法が重畳している場合、第２歌唱評価処理は、当該エフェクトを第２歌唱評価値の算出に反映させない。

さらに本発明に係るカラオケ装置において、
入力手段の操作によって付与されたエフェクトと、歌唱音声信号の歌唱技法が重畳している場合、エフェクト付与処理は、入力手段の操作によるエフェクトを付与しない。

さらに本発明に係るカラオケ装置において、
通知処理は、第１歌唱評価値と第２歌唱評価値の差である手動エフェクト評価値を通知する。

また本発明に係るカラオケ用プログラムは、
楽曲情報を再生し、マイクロホンに入力される歌唱音声信号を取得する再生処理と、
入力手段の操作タイミングで、歌唱音声信号にエフェクトを付与するエフェクト付与処理と、
エフェクト付与処理でエフェクトが付与されていない歌唱音声信号の歌唱評価を行い、第１歌唱評価値を算出する第１歌唱評価処理と、
エフェクト付与処理でエフェクトが付与された歌唱音声信号の歌唱評価を行い、第２歌唱評価値を算出する第２歌唱評価処理と、
第１歌唱評価値と第２歌唱評価値をユーザに通知する通知処理と、を情報処理装置に実行させる。

本実施形態におけるカラオケ装置、カラオケ用プログラムによれば、入力手段を利用した手動による操作で、歌唱音声信号にエフェクトを付与することが可能である。そして、エフェクトの付与されていない歌唱音声信号に対する第１歌唱評価値と、エフェクトの付与された歌唱音声信号に対する第２歌唱評価値を通知することで、歌唱技術に乏しいユーザであっても、自己の歌唱に歌唱技術を適用した場合の評価値（第２歌唱評価値）を把握し、歌唱技術を適用しない場合の評価値（第１歌唱評価値）と比較することで、歌唱技術による歌唱評価の向上度合いを把握させることが可能となる。

携帯端末の構成を示すブロック図 携帯端末の外観を示す図 楽曲情報のデータ構成を示す図 携帯端末で実行される楽曲再生処理を示すフロー図 楽曲再生時における携帯端末の表示の様子を示す図 楽曲再生時、立体表示部に表示される第２表示領域を説明する図 楽曲再生後、立体表示部に表示される歌唱評価結果画面を示す図 携帯端末で実行される歌唱再生処理を示すフロー図 歌唱再生時における携帯端末の表示の様子を示す図 歌唱再生時、立体表示部に表示される第２表示領域を説明する図 歌唱再生後、立体表示部に表示される歌唱評価結果画面を示す図 第１歌唱評価値、第２歌唱評価値の算出を説明する図 他の実施形態の第１歌唱評価値、第２歌唱評価値の算出を説明する図 他の実施形態の第１歌唱評価値、第２歌唱評価値の算出を説明する図 他の実施形態の歌唱評価結果画面を示す図

図１は、本発明の実施形態で使用する携帯端末１の構成を示す図である。本実施形態の携帯端末１は、２画面（立体表示部２２とタッチパネル表示部２１）を有する携帯ゲーム機を使用している。この携帯端末１は、外部メモリＥＸあるいは記憶部１３に記憶されたカラオケ用プログラムを実行することでカラオケ装置として機能する。なお、本発明は、携帯端末１を使用した形態に限られるものではなく、カラオケボックスなどに設置される据え置き型のカラオケ装置、及び、それに使用されるカラオケ用プログラム、あるいは、パーソナルコンピュータ、ゲーム機等、各種情報処理装置に使用されるカラオケ用プログラム等もその範疇に属する。

本実施形態の携帯端末１は、制御部１０、ＲＡＭ１２、記憶部１３、画像処理部１４、音響処理部１６を含んで構成された制御手段を有している。記憶部１３には、ＮＡＮＤ型フラッシュメモリ等の不揮発性の記憶手段が使用される。この記憶部１３には、携帯端末１のオペレーティングシステムプログラム、そして、当該プログラムで使用する各種データが記憶されている。また、本実施形態のカラオケ用プログラムも、無線ＬＡＮ通信部１１などを介して記憶部１３に記憶することが可能である。

制御部１０は、ＣＰＵ等、携帯端末１全体を統括して制御する手段であり、記憶部１３に記憶されたプログラム、データに基づいて各種制御を実行する。ＲＡＭ１２には、制御部１０の制御によって生成されたデータを一時的に格納する。

音響処理部１６は、携帯端末１の音響関係の入出力を行う手段である。制御部１０の制御によりスピーカ１８Ｒ、１８Ｌに放音させる手段である。また、音響処理部１６は、マイクロホン１７と接続され、マイクロホン１７から歌唱音声信号など、周囲の音声を取り込み可能としている。

タッチパネル表示部２１は、画像を表示する表示部２１ｂとその表面あるいは裏面に配設されるタッチパネル２１ａを有して構成されている。タッチパネル２１ａには、静電容量方式などユーザのタッチ位置を認識可能とする各種タイプを採用することが可能である。制御部１０は、表示部２１ｂに表示を行うとともに、タッチパネル２１ａからのタッチ入力にて、表示させている画像中のどの部分にタッチ入力されたかを判定することが可能である。

画像処理部１４は、携帯端末１の画像関係の入出力を行う手段である。本実施形態では、立体表示部２２用の画像情報と、タッチパネル表示部２１用の画像を形成し、それぞれに表示出力させる。本実施形態の立体表示部２２は、視差バリアを使用した立体表示方式を使用しており、ユーザは眼鏡を必要することなく裸眼で、右目位置に右目用の画像を、左目位置に左目用の画像を視認することが可能である。なお、このような立体表示方式以外に、回折格子を使用した眼鏡、あるいは、アクティブシャッターを使用した眼鏡を使用する立体表示方式を使用する立体表示方式であってもよい。また、画像処理部１４は、立体表示部２２の近傍に配置されたカメラ１５から撮像情報を取り込む機能を有する。

無線ＬＡＮ通信部１１は、アクセスポイントと無線通信を行うことが可能であり、無線基地局と無線通信することで、インターネットを使用した通信を行うことが可能である。携帯端末１は、インターネット上のサーバから各種処理を実行可能な各種プログラム（本実施形態のカラオケ用プログラムを含む）をダウンロードすることが可能である。なお、携帯端末１が外部から取得するプログラムは、通信回線を利用した形態以外に、外部メモリ接続端子２３に接続された外部メモリＥＸから提供されることとしてもよい。なお、携帯端末１には、無線ＬＡＮ通信部１１以外に、有線ＬＡＮ、あるいは、携帯電話無線網と通信可能な通信部、あるいは、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離通信手段をさらに設けることとしてもよい。

本実施形態の携帯端末１は、タッチパネル２１ａ以外に、ユーザからの指示入力を受け付け可能な入力部２０を備えている。入力部２０からで受け付けた指示入力は、操作処理部１９を介して、制御部１０へ伝達されて各種処理に使用される。

図２は、本実施形態の携帯端末１の外観を示した図である。本実施形態の携帯端末１は、筐体２４の上部に、中央に立体表示部２２を有し、その左右にスピーカ１８Ｒ、１８Ｌが設置されている。また、立体表示部２２の上にはカメラ１５が設置されている。

筐体２４の下部には、タッチパネル表示部２１が配置されている。図の状態は、１の楽曲を選択したときに表示される楽曲確認画面が表示された状態である。タッチパネル表示部２１の周囲には、ユーザからの指示を受け付け可能な入力部２０として、電源スイッチ２０１、アナログスティック２０３、十字キー２０４、４つの操作スイッチからなる操作スイッチ群２０２、立体深度変更スライドスイッチ２０５が設けられている。ユーザは、この立体深度変更スライドスイッチ２０５を上下に操作することで、立体表示部２２に表示する立体映像について、その立体深度を変更することが可能である。なお、立体深度変更スライドスイッチ２０５を最も下に位置させた場合には、立体表示部２２に表示される映像は２次元映像となる。また、タッチパネル表示部２１の下方には、収音するためのマイクロホン１７が配置されている。楽曲確認画面には、選曲した楽曲について、その歌手名、楽曲名、歌い出しが表示されている。ユーザは、楽曲名など楽曲関連情報に基づいて、歌唱したい楽曲を確認し、「予約」ボタンを操作することで、表示されている楽曲を予約することが可能である。

本実施形態では、予約する楽曲について、キー、録音に関する設定することが可能となっている。これら設定は、タッチパネル表示部２１に表示されたキー設定、録音設定の欄を操作することで行われる。キー設定は、楽曲情報の再生時の音程であり、ユーザは自己の歌唱できる音域に合わせてキー設定を行うことが可能である。また、録音設定は、楽曲再生時、マイクロホン１７に入力された歌唱音声信号を録音するか否かの設定で有り、録音した場合、後の歌唱再生処理にて、自己の歌唱を確認することが可能である。

楽曲確認画面で「予約」操作を行うことで、楽曲確認画面に表示されている楽曲の楽曲識別情報が、予約情報としてＲＡＭ１２の予約リストに追加される。その際、タッチパネル表示部２１で設定した録音、キーに関する設定に関する情報も予約情報に追加される。楽曲再生処理では、予約リスト中の予約情報を参照し、楽曲識別情報に対応する楽曲情報を順次再生する。

図３は、本実施形態のカラオケ用プログラムで使用する楽曲情報のデータ構成を示す図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏等、各種処理を実行する実情報を含んで構成される。メタ情報には、楽曲情報を識別するための楽曲識別情報、楽曲名、歌手名、作詞者名、作曲者名、原曲キーが含まれている。原曲キー（オリジナルキーとも呼ばれる）は、楽曲情報に対する歌手が歌唱するオリジナルの音程キーを規定した情報である。カラオケ用プログラムでは、ユーザの操作に応じて原曲キーを使用することが可能である。

楽曲情報の実情報には、演奏情報、歌詞情報、模範旋律情報、歌唱技法情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等で構成され、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成することも可能である。模範旋律情報は、歌唱評価処理（採点処理）に使用される情報であり、歌唱の基準となる音高等を示す情報である。楽曲再生時、この模範旋律情報を、マイクロホン１７から入力される歌唱音声信号の音高と比較することで、ユーザの歌唱能力を評価することが可能である。歌唱技法情報は、模範旋律情報と同様、歌唱評価処理に使用される情報であり、楽曲の再生進行上において、歌唱技法の適切な位置を定義した情報である。ここで歌唱技法とは、歌唱を上手くみせる技法（テクニック）であり、本実施形態では、歌唱音声の周波数を揺らすビブラート、歌唱音声の周波数を滑らかに下げるフォール、歌唱音声の周波数を滑らかに上げるしゃくり、からなる３つの歌唱技法を採用している。歌唱技法の採用は、これら３つの歌唱技法のみならず、他の歌唱技法を採用するなど適宜形態を取ることが可能である。なお、歌唱技法情報は、歌唱技法の適切な位置を定義した情報であるとしているが、楽曲の再生進行上の特定の位置に、付与すべき特定の歌唱技法が対応付いている、というような厳密な情報でなくともよい。歌唱技法情報を、歌唱技法を付与すべき区間情報とし、本区間内であれば、どのようなエフェクトが、どのようなタイミングで付与されても、付加ポイントを加算する構成を取ってもよい。

図４は、携帯端末１で実行される楽曲再生処理を示すフロー図である。カラオケ用プログラムを起動することで楽曲再生処理が実行される。楽曲再生処理では、ＲＡＭ１２に記憶されている予約リストを確認し、次の楽曲の予約があるか否かが確認される（Ｓ１０１）。予約リストに未再生の予約情報がある場合（Ｓ１０１：Ｙｅｓ）、まず、予約情報中の録音設定を参照し、録音指定の有無が確認される（Ｓ１０３）。録音指定がある場合（Ｓ１０３：Ｙｅｓ）、制御部１０は、マイクロホン１７から入力される歌唱音声信号の録音を開始する（Ｓ１０４）。一方、録音指定が無い場合（Ｓ１０３：Ｎｏ）には、Ｓ１０４のステップはスキップする。

次に、予約情報に含まれる楽曲識別情報に対応する楽曲情報が記憶部１３、あるいは、外部メモリＥＸから読み出される（Ｓ１０５）。読み出された楽曲情報中の演奏情報を、音響処理部１６で再生させることで、予約された楽曲の再生が開始される（Ｓ１０６）。

楽曲情報の再生中、歌唱評価処理（Ｓ１０７）が継続して行われる。歌唱評価処理では、模範旋律情報とマイクロホン１７から入力される歌唱音声信号から抽出した音高とを比較して、基本評価値（基本得点）を算出する。また、歌唱評価処理では、マイクロホン１７から入力される歌唱音声信号を分析し、歌唱技法の検出を行う。歌唱技法が検出された場合、歌唱技法の種別（本実施形態では、ビブラート、しゃくり、フォールの３種）毎に、その実行回数が記録される。記録された実行回数を元に歌唱技法評価値（歌唱技法得点）が算出される。演奏情報の再生が終了したことが判定される（Ｓ１０８：Ｙｅｓ）と、録音実行中の場合（Ｓ１０９：Ｙｅｓ）は、録音を停止（Ｓ１１０）した上で、歌唱評価処理による歌唱評価結果を、立体表示部２２に表示（Ｓ１１１）し、一連の楽曲再生処理を終了する。

図５は、楽曲再生時における立体表示部２２の表示の様子を示した図である。図５（Ａ）は、立体表示部２２の表示の様子であり、図５（Ｂ）は、タッチパネル表示部２１の表示の様子を示している。本実施形態の立体表示部２２は、ユーザが携帯する携帯端末１に設けられたものであって、通常、カラオケボックスなどで使用するカラオケ装置２のように大きな画面では無く、数インチ程度の大きさの小さな画面を有する。このような小さな画面では、表示できる情報量に制限がある。文字を小さく表示することで、情報量を大きくすることも可能ではあるが、その場合、読み取り難い情報となる。特に、歌唱すべき歌詞を瞬時に読み取る必要があるカラオケでは、歌詞文字を小さく表示することは難しい。本実施形態では、立体表示部２２を使用して、歌詞文字及び模範旋律の両方を、十分な大きさで読み取りやすく表示することを可能としている。

立体表示部２２の表示画面には、歌詞文字を表示する第１表示領域Ａ１と、旋律に関する情報を表示する第２表示領域Ａ２が設けられている。第１表示領域Ａ１と、第２表示領域Ａ２は、その一部が重畳して配置されている。このように複数の情報が重畳した場合、各情報を読み取ることが見づらくなってしまうが、本実施形態では、立体表示を使用することで、両情報が読み取りやすくなっている。具体的には、第１表示領域Ａ１と第２表示領域Ａ２を、立体深度の異なる層に表示することで、図５（Ａ）に示すように第１表示領域Ａ１と第２表示領域Ａ２が重畳した状態であっても、歌詞文字と旋律に関する情報を読み取りやすくしている。

図５（Ｂ）は、楽曲再生中のタッチパネル表示部２１の表示の様子を示した図であり、上部には、再生の進行状況を示すプログレスバーが表示されている。このほか、楽曲を一時停止する一時停止ボタン、楽曲の再生速度を変更する速度変更ボタン（０．５倍、１倍、２倍）、楽曲のキーを変更するキー変更ボタン（上昇、下降、原曲キー）、「演奏停止」ボタン、「歌い直し」ボタン、「予約確認」ボタンが設けられている。

図６は、立体表示部２２において第２表示領域Ａ２に表示する旋律に関する表示画像を抜き出した図である。第２表示領域Ａ２には、楽曲情報中の模範旋律情報に基づいて模範旋律を示す音符マークが表示される。歌唱者はこの第２表示領域Ａ２に表示される模範旋律の音符マークを視認することで、歌唱すべき旋律を確認することが可能である。第２表示領域Ａ２の中央には、通過バー２２１が設けられている。模範旋律を示す音符マークは、縦軸方向の位置を音高、横軸方向の長さを音長として有し、歌唱タイミングにおいて、この通過バー２２１を通過するように、左から右へと移動（スクロール表示）する。このような表示形態は、ピアノロールとも呼ばれる表示形態として知られている。さらに本実施形態では、マイクロホン１７から入力された歌唱音声信号の音高を模範旋律の音高と対比表示している。歌唱音声信号の音高は、歌唱評価処理（Ｓ１０７）で抽出したものが使用される。歌唱音声信号の音高を示す音符マークは、通過バー２２１の左側で、模範旋律の音符マークに重畳して表示される。本実施形態では、歌唱音声信号の音高が、模範旋律の音高に適合した場合と、適合しなかった場合（ミス）とで、歌唱音声信号の音符マークの表示形態を変更している。ユーザは、音符マークを視認することで、自己の歌唱状態を確認することが可能である。

さらに本実施形態では、マイクロホン１７に入力された歌唱音声信号に所定の歌唱技法を検出し、かつ、当該歌唱技法が楽曲情報中、歌唱技法情報が示す適切なタイミングである場合、通過バー２２１の上部に歌唱技法検出アイコンを表示させている。この歌唱技法検出アイコンは、楽曲の再生に伴い、音符マークと同じ速度で左から右へと移動（スクロール表示）する。なお、歌唱技法検出アイコン上に表示された文字は、検出した歌唱技種別を示している（「ビ」：ビブラート、「フ」：フォール、「し」：しゃくり）。ユーザは、この歌唱技法検出アイコンを参照することで、自己の歌唱による歌唱技法の発生を確認することが可能である。また、第２表示領域Ａ２の上部には、歌唱技法検出回数２２２が表示されている。この歌唱技法検出回数２２２は、楽曲再生処理中における歌唱技法の発生回数が歌唱技法の種別毎に示されている。

図７には、楽曲再生後、立体表示部２２に表示される歌唱評価結果画面が示されている。この歌唱評価結果画面は、楽曲再生処理中に実行した歌唱評価処理（Ｓ１０７）の評価結果を示す画面である。歌唱評価結果表示画面には、歌唱した楽曲の楽曲関連情報として、歌手名、楽曲名が表示されている。また、この歌唱評価結果画面には、歌唱評価処理において、模範旋律情報と歌唱音声信号の音高との比較による基本評価値（基本得点）と、歌唱技法による歌唱技法評価値（歌唱技法得点）が表示されている。さらに本実施形態では、歌唱技法について、各歌唱技法の発生回数が歌唱技法得点に併記されている。総合得点は、本発明における第１歌唱評価値に相当し、基本評価値と歌唱技法評価値を加算した値である。加算の形態としては、基本評価値と歌唱技法評価値を単純に加算する形態の他、重み付け加算することとしてもよい。

本実施形態の楽曲再生処理では、後に説明する手動操作によるエフェクト付与処理が行うことができない形態となっている。楽曲再生処理では、録音処理を伴うことがあり、録音処理とエフェクト付与処理を同時に行った場合、制御部１０の処理能力が不足する場合があることを一つの理由としている。このエフェクト付与処理は、後に説明する録音した歌唱音声信号を再生する歌唱再生処理において実行可能としている。このように歌唱再生処理において、エフェクト付与処理を実行することで、ユーザは歌唱することなく、手動によるエフェクト付与処理に専念することが可能である。このように本実施形態の楽曲再生処理では、エフェクト付与処理ができない（禁止された）形態となっており、歌唱評価結果画面中の総合得点（第１歌唱評価値）の下には、手動エフェクトが使用されていない旨が表記されている。

次に、楽曲再生処理において録音した歌唱音声信号（録音音声信号）を再生する歌唱再生処理について説明する。図８には、携帯端末１で実行される歌唱再生処理を示すフロー図が示されている。歌唱再生処理において、ユーザにより録音音声信号が指定される（Ｓ２０１：Ｙｅｓ）と、制御部１０は、記憶部１３に記憶した録音音声信号を読み出す（Ｓ２０２）。なお、録音音声信号の指定は、タッチパネル表示部２１等のユーザインターフェイスを使用して行われることになるが、ここではその詳細は省略する。この録音音声信号には、録音時、楽曲再生処理で再生した楽曲情報の楽曲識別情報が対応付けられており、制御部１０は録音音声信号に対応する楽曲情報を読み出す（Ｓ２０３）。そして、読み出した録音音声信号と楽曲情報を同期して再生開始することで、録音時の歌唱が再現される（Ｓ２０４）。

歌唱再生処理では、楽曲情報と録音音声信号の再生中、エフェクト付与処理（Ｓ２０５）と歌唱評価処理（Ｓ２０６）が継続して行われる。エフェクト付与処理（Ｓ２０５）は、ユーザの手動操作により、再生される録音音声信号に歌唱技法と同様のエフェクトを付与する処理である。図９には、歌唱再生時における携帯端末１の表示の様子が示されている。歌唱再生処理時、タッチパネル表示部２１には、図９（Ｂ）に示すように、エフェクト起動ボタン２１１が表示されている。このエフェクト起動ボタン２１１を操作することで、図９（Ｂ）に示すエフェクト操作子画面２１２が表示される。このエフェクト操作子画面２１２には、歌唱技法に対応する３つのエフェクト付与ボタン（ビブラート、フォール、しゃくり）が設けられており、このエフェクト付与ボタンを操作することで、再生中の録音音声信号に歌唱技法に対応するエフェクトが付与される。エフェクトの付与は、音響処理部１６にて行われ、スピーカ１８Ｒ、１８Ｌからはエフェクトが付与された録音音声信号が放音される。

図１０には、歌唱再生処理時、立体表示部２２に表示される第２表示領域を説明する図が示されている。この第２表示領域は、楽曲進行上、図６に示す第２表示領域と同じタイミングの画面である。歌唱再生処理時の第２表示領域には、歌唱技法検出アイコンに加え、手動技法検出アイコンが表示される。歌唱音声信号から検出した歌唱技法と、手動操作によるエフェクト付与に基づく歌唱技法の判別は、タッチパネル表示部２１に表示されるエフェクト付与ボタンの操作有無によって判別することが可能である。なお、手動技法検出アイコン上に表示された文字は、歌唱技法検出アイコンと同様、検出した歌唱技種別を示している。また、歌唱技法検出回数２２２は、歌唱音声信号から検出した歌唱技法の発生回数と、手動操作によるエフェクト付与に基づく歌唱技法の発生回数とを加算した回数が括弧無しで示されている。また、歌唱音声信号から検出した歌唱技法の発生回数が括弧内に示されている。このように本実施形態では、歌唱音声信号から検出した歌唱技法の発生と発生回数、手動操作によるエフェクト付与に基づく歌唱技法の発生と発生回数を判別可能に表示した形態となっている。なお、このような表示形態ではなく、歌唱再生処理の第２表示領域についても、楽曲再生処理と同様の表示形態（歌唱音声信号から検出した歌唱技法と、手動操作によるエフェクト付与に基づく歌唱技法を区別しない表示形態）としてもよい。

このように本実施形態では、手動で歌唱技法を模擬することが可能となっており、歌唱に不慣れなユーザであっても、自分の歌唱に対して歌唱技法を適用することが可能となっている。ところで、このような手動によるエフェクト付与を行った場合、元の録音音声信号で歌唱技法が行われていることが考えられる。このような場合、同じ箇所に手動によるエフェクト付与を行った場合、歌唱技法によるエフェクトと、手動操作によるエフェクトが重畳（２重にかかる）してしまい、違和感のある音声になることが考えられる。そのため本実施形態のエフェクト付与処理では、録音音声信号中、歌唱技法が行われている箇所には、手動操作によるエフェクト付与の受付を制御することとしている。録音音声信号中の歌唱技法が行われている箇所の検出は、歌唱評価処理（Ｓ２０６）で検出することが可能である。手動操作によるエフェクト付与制御の一例としては、歌唱技法が検出された箇所で、ユーザがエフェクト付与ボタンを操作すると、エフェクト付与を受付けない旨の警告が出ることなどが考えられる。

歌唱再生処理中に実行される歌唱評価処理（Ｓ２０６）は、手動操作によるエフェクト処理が施された録音音声信号を対象として実行される。図１２には、楽曲再生処理における第１歌唱評価値の算出と、歌唱再生処理における第２歌唱評価値の算出を示す模式図が示されている。図１２（Ａ）は楽曲再生処理における第１歌唱評価値の算出を示す模式図であり、マイクロホン１７から入力された歌唱音声信号に対して、楽曲再生処理中に実行される歌唱評価処理（Ｓ１０７）を実行することで、第１歌唱評価値（図７で説明した「総合得点」）が算出される。図１２（Ｂ）は歌唱再生処理における第２歌唱評価値の算出を示す模式図である。歌唱再生処理では、楽曲再生処理時に録音された録音音声信号に対して、手動操作によるエフェクト処理が行われる。歌唱再生処理時に実行される歌唱評価処理（Ｓ２０６）では、手動操作によるエフェクトが付与された録音音声信号を評価の対象としている。なお、歌唱再生処理時に実行される歌唱評価処理（Ｓ２０６）のアルゴリズムは、楽曲再生時に実行される歌唱評価処理（Ｓ１０７）と同じである。手動操作によりエフェクトの付与された録音音声信号に対する歌唱評価は、第２歌唱評価値として出力される。

本実施形態では、録音音声信号の歌唱技法が検出された箇所に対して、手動操作によるエフェクトを付与しない構成としているため、歌唱評価処理において、録音音声信号の歌唱技法と手動操作によるエフェクトが重複して評価しない（第２歌唱評価値の算出に反映しない）構成となっているが、録音音声信号の歌唱技法が検出された箇所に対して、手動操作によるエフェクトを付与する構成とした場合、同タイミングの歌唱音声信号の歌唱技法と手動操作によるエフェクトが重畳して第２歌唱評価値の算出に反映されることが考えられる。このような場合、歌唱評価処理では、手動操作によって付与されたエフェクトを第２歌唱評価値の算出に反映させないことで、適切に第２歌唱評価値を算出することが可能となる。

このように本実施形態では、楽曲再生処理時に第１歌唱評価値を算出してユーザに通知し、録音音声処理時に第２歌唱評価値を算出してユーザに通知することで、ユーザは自己の歌唱に歌唱技法を採用することで、どの程度歌唱評価値を向上できるかを把握することが可能となる。例えば、第２歌唱評価値が第１歌唱評価値を大きく上回る場合、ユーザは自己の歌唱に歌唱技法を適用することによる歌唱評価の伸び幅を把握し、歌唱技法の練習に対するモチベーション向上を図ることが可能となる。

図１１には、歌唱再生後、立体表示部２２に表示される歌唱評価結果画面が示されている。この歌唱評価結果画面は、歌唱再生処理中に実行した歌唱評価処理（Ｓ２０６）の評価結果を示す画面である。歌唱評価結果表示画面には、楽曲再生処理時と同様、再生した歌唱した楽曲の楽曲関連情報として、歌手名、楽曲名、基本評価値（基本得点）と、歌唱技法による歌唱技法評価値（歌唱技法得点）が表示されている。なお、基本評価値は、同じ歌唱音声信号を評価の対象としているため同一の値（図の例では７２．５点）となっている。歌唱技法評価値には、録音音声信号から検出した歌唱技法に加え、手動操作によるエフェクト付与に基づく歌唱技法に対する評価値が加算されるため、図７の場合と比較して値が大きくなっている。また、歌唱技法について、各歌唱技法の発生回数（録音音声の歌唱技法と手動による歌唱技法の合計値）が歌唱技法得点に併記されている。総合得点は、本発明における第２歌唱評価値に相当し、基本評価値と歌唱技法評価値を加算した値である。歌唱評価結果画面中の総合得点（第２歌唱評価値）の下には、手動エフェクトが使用された旨が表記されている。

このように本実施形態では、図７の歌唱評価結果表示画面に示す総合得点（手動エフェクトに対する評価を含まない第１歌唱評価値）をユーザに通知するとともに、図１１の歌唱評価結果表示画面に示す総合得点（手動エフェクトに対する評価を含んだ第２歌唱評価値）をユーザに通知する通知処理を行うことで、自己の歌唱に歌唱技巧を適用した場合を模擬し、その歌唱評価（第２歌唱評価値）を把握することが可能となる。そして、第２歌唱評価値と第１歌唱評価値を比較することで、歌唱技巧を適用した場合の評価値の伸びをユーザに把握させ、歌唱技巧の練習に対するモチベーション向上を図ることが可能となる。

次に、本実施形態における各種変形例について説明する。図１３、図１４は、他の実施形態の第１歌唱評価値、第２歌唱評価値の算出を説明する図である。図１２で説明した実施形態では、楽曲再生処理時（図１２（Ａ））、歌唱再生処理時（図１２（Ｂ））、同じ歌唱評価処理のアルゴリズムを使用することとしているが、手動操作によるエフェクト付与に対する評価については、別途、アルゴリズムを設けることとしてもよい。図１３（Ａ）は、楽曲再生処理時における第１歌唱評価値の算出形態であり、図１２（Ａ）と同様である。一方、図１３（Ｂ）に示す歌唱再生処理における第２歌唱評価値の算出は、図１２（Ｂ）の形態と異なっている。図１２（Ｂ）では、エフェクト付与処理された録音音声信号を歌唱評価処理していたのに対し、図１３（Ｂ）では、エフェクト処理されていない録音音声信号を歌唱評価処理して、第１歌唱評価値を算出し、手動操作によるエフェクト付与に対する評価は、音声信号に基づいて評価を行うのでは無く、入力部の操作、すなわち、図９のエフェクト操作子画面に表示されるエフェクト付与ボタンの操作タイミングを監視することで行うこととしている。楽曲情報中の歌唱技法情報に基づき、適切なタイミングでエフェクト付与ボタンが操作されることを条件として、手動エフェクト評価値が加算される。このように歌唱評価処理で算出された第１歌唱評価値と、手動エフェクト評価処理で算出された手動エフェクト評価値を加算処理（重み付け加算でもよい）することで、第２歌唱評価値が算出される。なお、手動エフェクト評価値の加算の条件として、歌唱技法情報の参照以外にも各種方法が考えられる。例えば、歌唱音声信号の入力を検知し、歌唱音声信号が入力されている間に、エフェクト付与ボタンの操作を受付けたならば、手動エフェクト評価値を加算してもよい。また、模範旋律情報を参照し、模範旋律を含む区間、すなわち歌唱すべき区間にエフェクト付与ボタンの操作を受付けたならば、手動エフェクト評価値を加算してもよい。

この図１３に示す実施形態に対する更なる変形として、図１３（Ｂ）に示す歌唱再生処理時には、歌唱評価処理を実行しない形態も考えられる。図１３（Ａ）の楽曲再生処理時に算出した第１歌唱評価値を録音音声信号に対応付けて記憶しておくことで、図１３（Ｂ）の歌唱評価処理は不要となる。歌唱再生処理時には、手動エフェクト評価処理のみを行うことで、第２歌唱評価値を算出することが可能であり、携帯端末１における処理負担軽減を図ることが可能となる。

図１２、図１３で説明した実施形態では、楽曲再生処理時に第１歌唱評価値を算出し、歌唱再生処理時に手動操作によるエフェクト付与を受け付けて、第２歌唱評価値を算出する形態としているが、楽曲再生処理時に第１歌唱評価値と第２歌唱評価値を算出する形態とすることも可能である。この場合、楽曲再生処理時に手動操作によるエフェクト付与が実行されることになる。

図１４には、楽曲再生処理時、第１歌唱評価値と第２歌唱評価値を算出する形態が示されている。楽曲情報の再生進行と同期して、マイクロホン１７に入力される歌唱音声信号に対して歌唱評価処理が実行され、第１歌唱評価値が算出される。また、手動操作によるエフェクト付与処理が施された歌唱音声信号に対しても歌唱評価処理が実行され、第２歌唱評価値が算出される。楽曲の再生後、これら第１歌唱評価値と第２歌唱評価値を通知することで、ユーザは、手動操作によるエフェクト付与が施されていない第１歌唱評価値と、手動操作によるエフェクト付与が施された第２歌唱評価値を確認することが可能である。この場合、楽曲再生処理中に２系統の歌唱評価処理を実行する必要があるが、図１３で説明した手動エフェクト評価処理を採用することで、第１歌唱評価値を算出する１系統の歌唱評価処理で済ませることも可能である。

図１４で説明している実施形態では、楽曲再生処理時、手動操作によるエフェクト付与処理が施された歌唱音声信号に対しても歌唱評価処理が実行され、第２歌唱評価値が算出される形態としているが、手動操作によるエフェクト付与に対する評価については、別途、アルゴリズムを設けることとしてもよい。この場合、エフェクト処理されていない歌唱音声信号を歌唱評価処理して、第１歌唱評価値を算出し、手動操作によるエフェクト付与に対する評価は、音声信号に基づいて評価を行うのでは無く、入力部の操作、すなわち、図９のエフェクト操作子画面に表示されるエフェクト付与ボタンの操作タイミングを監視することで行うこととしている。楽曲情報中の歌唱技法情報に基づき、適切なタイミングでエフェクト付与ボタンが操作されることを条件として、手動エフェクト評価値が加算される。このように楽曲再生処理で算出された第１歌唱評価値と、手動エフェクト評価処理で算出された手動エフェクト評価値を加算処理（重み付け加算でもよい）することで、第２歌唱評価値が算出される。

また、最初に説明した実施形態における通知処理では、楽曲再生処理時の歌唱結果表示画面に第１歌唱評価値を表示し、歌唱再生処理時の歌唱結果表示画面に第２歌唱評価値を表示する形態を採用しているが、第１歌唱評価値と第２歌唱評価値とを一つの歌唱結果表示画面に表示することも可能である。例えば、図１２、図１３の実施形態では、楽曲再生処理時に算出した第１歌唱評価値などを記憶しておき、歌唱再生処理時に算出された第２歌唱評価値と一緒に表示することが考えられる。あるいは、図１４の実施形態では、楽曲再生処理時に算出される第１歌唱評価値と第２歌唱評価値を一緒に表示することが可能である。

図１５には、他の実施形態の歌唱評価結果画面が示されている。この歌唱評価結果画面において、総合得点の欄には、手動操作によるエフェクト付与の無い第１歌唱評価値と、手動操作によるエフェクト付与が行われた場合の第２歌唱評価値が併記されている。また、総合得点の欄の下には、第１歌唱評価値と第２歌唱評価値の差である手動エフェクト評価値が表示されている。ユーザは、この手動エフェクト評価値を参照することで、歌唱技法を適用した場合の評価値の伸びを把握することが可能である。また、この歌唱評価結果画面には、楽曲の楽曲関連情報として歌唱名、楽曲名の他、基本評価値（基本得点）と歌唱技法評価値（歌唱技法得点）が表示されている。歌唱技法得点については、括弧書きで手動エフェクトの無い場合の歌唱技法得点、及び、各歌唱技法の回数が示されている。

以上、本実施形態のカラオケ装置について、カラオケ用プログラムが実行される携帯端末１（ゲーム機）を使用して説明したが、本発明は、携帯端末１のみならず、据え置き型のカラオケ装置の他、各種情報処理装置に適用することが可能である。また、携帯端末１、カラオケ装置を含む各種情報処理装置で実行されるカラオケ用プログラム自体も本発明の範疇に属するものである。

１：携帯端末 ２２：立体表示部
２：カラオケ装置 ２３：外部メモリ接続端子
１０：制御部 ２４：筐体
１１：無線ＬＡＮ通信部 ２０１：電源スイッチ
１２：ＲＡＭ ２０２：操作スイッチ群
１３：記憶部 ２０３：アナログスティック
１４：画像処理部 ２０４：十字キー
１５：カメラ ２０５：立体深度変更スライドスイッチ
１６：音響処理部 ２１１：エフェクト起動ボタン
１７：マイクロホン ２１２：エフェクト操作子画面
１８Ｒ、１８Ｌ：スピーカ ２２１：通過バー
１９：操作処理部 ２２２：歌唱技法検出回数
２０：入力部 Ａ１：第１表示領域
２１：タッチパネル表示部 Ａ２：第２表示領域
２１ａ：タッチパネル ＥＸ：外部メモリ
２１ｂ：表示部

Claims (10)

1. 楽曲情報を再生し、マイクロホンに入力される歌唱音声信号を取得する再生処理と、
   入力手段の操作タイミングで、歌唱音声信号にエフェクトを付与するエフェクト付与処理と、
   エフェクト付与処理でエフェクトが付与されていない歌唱音声信号の歌唱評価を行い、第１歌唱評価値を算出する第１歌唱評価処理と、
   エフェクト付与処理でエフェクトが付与された歌唱音声信号の歌唱評価を行い、第２歌唱評価値を算出する第２歌唱評価処理と、
   第１歌唱評価値と第２歌唱評価値をユーザに通知する通知処理と、を実行可能とする
   カラオケ装置。
2. マイクロホンから入力される歌唱音声信号を録音する録音処理と、
   楽曲情報、及び、録音された歌唱音声信号を再生する歌唱再生処理と、を実行可能とし、
   エフェクト付与処理は、録音された歌唱音声信号を対象としてエフェクトを付与する
   請求項１に記載のカラオケ装置。
3. エフェクト付与処理は、再生処理において実行が禁止される
   請求項２に記載のカラオケ装置。
4. エフェクト付与処理は、マイクロホンから入力される歌唱音声信号を対象としてエフェクトを付与する
   請求項１に記載のカラオケ装置。
5. 第２歌唱評価処理は、エフェクト処理でエフェクトが付与された歌唱音声信号を分析して歌唱評価を行い、第２歌唱評価値を算出する
   請求項１から請求項４の何れか１項に記載のカラオケ装置。
6. 第２歌唱評価処理は、入力手段における操作タイミングに基づいて算出された手動エフェクト評価値と、第１歌唱評価値に基づいて、第２歌唱評価値を算出する
   請求項１から請求項４の何れか１項に記載のカラオケ装置。
7. 入力手段の操作によって付与されたエフェクトと、歌唱音声信号の歌唱技法が重畳している場合、第２歌唱評価処理は、当該エフェクトを第２歌唱評価値の算出に反映させない
   請求項１から請求項６の何れか１項に記載のカラオケ装置。
8. 入力手段の操作によって付与されたエフェクトと、歌唱音声信号の歌唱技法が重畳している場合、エフェクト付与処理は、入力手段の操作によるエフェクトを付与しない
   請求項１から請求項７の何れか１項に記載のカラオケ装置。
9. 通知処理は、第１歌唱評価値と第２歌唱評価値の差である手動エフェクト評価値を通知する
   請求項１から請求項８の何れか１項に記載のカラオケ装置。
10. 楽曲情報を再生し、マイクロホンに入力される歌唱音声信号を取得する再生処理と、
    入力手段の操作タイミングで、歌唱音声信号にエフェクトを付与するエフェクト付与処理と、
    エフェクト付与処理でエフェクトが付与されていない歌唱音声信号の歌唱評価を行い、第１歌唱評価値を算出する第１歌唱評価処理と、
    エフェクト付与処理でエフェクトが付与された歌唱音声信号の歌唱評価を行い、第２歌唱評価値を算出する第２歌唱評価処理と、
    第１歌唱評価値と第２歌唱評価値をユーザに通知する通知処理と、を情報処理装置に実行させる
    カラオケ用プログラム。