JP5556821B2 - 楽曲演奏装置及び楽曲演奏用プログラム - Google Patents

Description

本発明は、自動演奏と一緒に歌唱あるいは楽器演奏を楽しむことのできる楽曲演奏装置及び楽曲演奏用プログラムに関するものである。

従来、自動演奏にあわせて歌唱を楽しむカラオケ装置が知られている。このようなカラオケ装置では、自動演奏のためＭＩＤＩ音源などの自動演奏装置を用いて行われることが多く、予め作成されたＭＩＤＩ情報（演奏情報）に従って順次演奏が実行されることとなる。

演奏情報に従って演奏されるため演奏自体は、変化無く理想的な状態で行われることとなる。このように演奏情報をそのまま演奏した場合には、ミスの無い理想的な演奏にはなるものの、表情に乏しく機械的な演奏になってしまう。

特許文献１には、演奏データに基づいて演奏を行う自動演奏装置について、特に弦楽器特有の表情付けを行う演奏データ変換装置が開示されている。この演奏データ変換装置では、複数個のノートの各発音開始タイミングをシフトさせることで、楽器特有の表情付けがなされた演奏が可能となる。このような自動演奏装置を用いたカラオケ装置では、カラオケを楽しむユーザが歌唱する時の演奏も、楽器特有の表情付けがなされた理想的な演奏が行われる。

特開平１０−１０５１７３公報

ところで、カラオケを楽しむユーザーには、素人からプロレベルまで多岐のレベルにわたることとなるが、楽曲の歌唱になれていないユーザーの場合、歌唱自体は上手くないのに対して、自動演奏自体は理想的な演奏で行われるため、歌唱と演奏の間に技術のギャップが生じることがある。

更に、現在、カラオケ装置の利用に関し、ユーザーは歌唱のみならず、ギターなどの外部楽器を接続して楽しむ試みも検討されている。例えば、カラオケ装置においてマイナスワン演奏を行うことで、ユーザーはマイナスワンされたパートの演奏を楽しむことが可能となる。カラオケを利用する場は、通常、防音対策が施されているため、外部楽器を演奏する場合、十分な音量で演奏を楽しむ、あるいは、演奏の練習を行うことが可能となる。

このユーザーの演奏レベルも多岐わたり、楽器になれていないユーザーは、歌唱の場合と同様、楽器演奏は上手くないのに対して、自動演奏自体は、楽器特有の表情付けがなされた理想的な演奏で行われることとなる。このため、ユーザーの演奏と自動演奏との間で技術のギャップが生じたままで演奏が継続されてしまい、ユーザーは自身の楽器演奏を楽しむことができない。すなわち、一緒に演奏する相手（自動演奏）が理想的な演奏を行う中で、常に自分の下手な演奏を聴かされていては面白くない。

本発明は、このようなユーザーの歌唱、あるいは、楽器演奏の技術と、自動演奏の演奏間との間のギャップを少なくすることを目的とするものである。

そのため本発明に係る楽曲演奏装置は、
楽曲の演奏情報に基づいて演奏を実行する演奏手段と、
評価処理と、修正演奏処理とを実行する制御手段を備え、
前記評価処理は、外部から入力される楽器演奏情報もしくは歌唱情報と、前記演奏情報を比較することでユーザーによる楽器演奏もしくは歌唱の評価を行い、
前記修正演奏処理は、前記楽曲の演奏情報に基づいて波形情報を読み出すことで演奏を実行し、
前記波形情報は、通常、ミスの波形種別を有し、
前記修正演奏処理は、前記評価処理の評価結果が低いほど、前記波形種別がミスに属する前記波形情報の読み出し割合を大きくして演奏を実行することを特徴とする。

さらに本発明にかかる楽曲演奏装置において、
前記評価処理は、評価区間毎に実行され、
前記修正演奏処理は、演奏中の楽曲について実行された前記評価区間の評価結果に基づいて、前記波形種別がミスに属する前記波形情報の読み出し割合を変更することを特徴とする。

さらに本発明にかかる楽曲演奏装置において、
前記修正処理は、前記評価区間に対応した修正区間に対し、当該評価区間の評価結果に基づいて発音形態に修正を加えることを特徴とする。

さらに本発明にかかる楽曲演奏装置において、
前記修正処理は、複数の前記評価区間の評価結果に基づいて発音形態に修正を加えることを特徴とする。

さらに本発明にかかる楽曲演奏装置において、
前記制御手段は、楽曲履歴読出処理と、楽曲履歴更新処理を実行可能とし、
前記楽曲履歴読出処理は、演奏する楽曲に対応する楽曲履歴情報を読み出し、
前記楽曲履歴更新処理は、前記評価処理の評価結果に基づいて前記楽曲履歴情報を更新し、
前記修正演奏処理は、前記波形種別がミスに属する前記波形情報の読み出し割合を変更することを特徴とする。

さらに本発明にかかる楽曲演奏装置において、
前記修正演奏処理は、前記波形種別がミスに属する前記波形情報の読み出し割合を変更に加え、前記評価処理の評価結果に基づき発音タイミング、強弱、音程の少なくとも１つを変更することを特徴とする。

また本発明にかかる楽曲演奏用プログラムは、
外部から入力される楽器演奏情報もしくは歌唱情報と、演奏される演奏情報を比較することでユーザーによる楽器演奏もしくは歌唱の評価を行う評価処理と、
楽曲の演奏情報に基づいて波形情報を読み出すことで演奏を実行する修正演奏処理と、をコンピューターに実行させ、
前記波形情報は、通常、ミスの波形種別を有し、
前記修正演奏処理は、前記評価処理の評価結果が低いほど、前記波形種別がミスに属する前記波形情報の読み出し割合を大きくして演奏を実行させることを特徴とする。

本発明によれば、ある楽曲について、ユーザーによる楽器演奏もしくは歌唱の評価結果に基づいて、演奏情報における音の演奏形態を修正することで、評価結果に応じた自動演奏を実行することが可能となり、自動演奏とユーザーのレベルの調和を図り、演奏全体の違和感を抑えることが可能となる。

例えば、評価処理において評価結果が低い場合には、ユーザーの演奏（歌唱）技術は不十分な段階にあると推定し、修正を加える音の割合を大きくすることとしている。このような構成にて、本来の演奏情報に基づく演奏から大きく異ならせ、推定されたユーザーの技術に応じた自動演奏を実現することが可能となる。

また、演奏中の楽曲について実行された評価処理の評価結果を、当該演奏中の楽曲で実行される修正演奏処理に利用することで、ユーザーの演奏（歌唱）評価をリアルタイムに修正演奏処理に反映させることが可能となる。

また、評価区間に対応した修正区間に対し、当該評価区間の評価結果に基づいて発音形態に修正を加えることも可能である。評価区間と修正区間の対応関係は、例えば、修正区間の直前区間を評価区間とすること、楽曲中、サビの区間など同じフレーズを有する区間同士の関係において評価区間と修正区間を設定すること、あるいは、同じフレーズを有する複数の区間を評価区間とし、評価区間に続く次の区間を修正区間とすることなど各種形態が考えられる。

また、複数の評価区間に基づいて発音形態に修正を加えることも可能である。複数の評価区間の評価結果の平均を修正区間に反映することや、複数区間の評価結果の傾向、すなわち、評価が上昇傾向にある、あるいは、下降傾向にあることを修正区間に反映することなどの各種形態が考えられる。

また、評価結果を楽曲履歴情報に記憶させておき、後の楽曲演奏の際、当該楽曲履歴情報に含まれる評価結果に基づいて、修正演奏処理を実行することとしてもよい。この楽曲履歴情報をユーザー毎に管理することで、ユーザーの演奏（歌唱）レベルに応じた自動演奏を行うことが可能となる。

また、音の演奏形態の修正としては、音に対応して読み出される波形情報を変更することが考えられる。例えば、ギターやベースのような弦楽器の場合、ミスタッチによるノイズが加えられた波形情報に変更することで、音の演奏形態を劣化させる修正を加えることが可能となる。

音の演奏形態の修正には、このほか、音の演奏タイミング、音の強弱、音の音程の少なくとも１つに修正を加えることとしてもよい。これらに修正を加えることで、音の演奏形態を変化させ、推定されたユーザーの技術、あるいは、経験に応じた自動演奏を実現することが可能となる。

本発明の実施形態に係るカラオケシステムを示す図 本発明の実施形態に係るトップ画面を示す図 本発明の実施形態に係るユーザー情報を示す図 本発明の実施形態に係る楽曲確認画面を示す図 本発明の実施形態に係る楽曲演奏処理を示す図 本発明の実施形態に係るランダマイザー発音処理を示すフロー図 本発明の実施形態に係る波形参照テーブルのデータ構成を示す図 本発明の実施形態に係る確率決定テーブルを示す図 本発明の実施形態に係る波形読出確率の推移の様子を示す図 本発明の他の実施形態に係る楽曲確認画面を示す図 本発明の他の実施形態に係る予約情報のデータ構成を示す図 本発明の他の実施形態に係る履歴テーブルのデータ構成を示す図 本発明の他の実施形態に係る楽曲演奏処理を示す図 本発明の他の実施形態に係る波形読出確率決定処理を示す図 本発明の他の実施形態に係る波形読出確率決定の様子を示す模式図 本発明の他の実施形態に係る波形読出確率決定処理を示す図 本発明の他の実施形態に係る波形読出確率決定の様子を示す模式図 本発明の他の実施形態に係る確率決定テーブルを示す図 本発明の他の実施形態に係る波形読出確率決定処理を示す図 本発明の他の実施形態に係る波形読出確率決定の様子を示す模式図

図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、コマンダ２（楽曲演奏装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。ここではカラオケ装置となるコマンダ２を楽曲演奏装置として説明するが、楽曲演奏装置としては、自動演奏機能を備えた各種ＭＩＤＩ機器であってもよいし、また、コンピュータに実装する楽曲演奏用プログラムとして提供することとしてもよい。

店舗に設置されるコマンダ２は、リモコン装置１（例えば、１ａ、１ｂ）によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示部１１と操作部１７が共有されたタッチパネル表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０ａを介してコマンダ２と無線接続される。図中に破線で示されるように、例えばコマンダ２ａにはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００ａを介して情報を送受信することが可能となっている。また、リモコン装置１とコマンダ２とは赤外線などを利用した近距離通信を行うことも可能である。

さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネットを介してカラオケ用ホスト５（サーバ装置）が設けられ、その記憶部５１には、楽曲情報（例えば、曲名を含み、楽器パート毎に、その演奏パートの区間が区別可能に作成されたＭＩＤＩデータなど）やユーザー情報など、各種サービスに必要な情報を記憶している。そして、ルータ１２０ａを通じて、コマンダ２、又はリモコン装置１と、各種情報の送受信が行えるように構成されている。

本発明の実施形態に係る楽曲演奏装置としてのコマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、楽曲演奏処理、映像表示処理、楽曲予約処理などを実行可能としている。楽曲演奏処理は、入力部２１やリモコン装置１にて、ユーザーにより指定された楽曲に対応する楽曲情報をＭＩＤＩ音源などを備えた音響制御部７０にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からは歌唱用マイク４４ａから入力される音声も合わせて放音される。映像再生処理は、映像制御部３１にて各種映像情報、歌詞情報などを再生させ、モニタ４１を介した視覚情報をユーザーに提供する処理である。

楽曲予約処理は、ユーザーからの指定に基づいて楽曲を選択、予約するための処理である。本実施形態ではリモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側
の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。コマンダ２とリモコン装置１は、この楽曲指定処理に限らず、ユーザー個別のサービスを提供するためのログイン処理など各種処理を実行することが可能である。

図２は、本発明の実施形態に係るトップ画面、すなわち、リモコン装置１を起動した直後の画面を示す図である。本実施形態では、リモコン装置１の表示部１１に表示を行うことで、リモコン装置１を操作するユーザーに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種機械的なスイッチの他、表示部１１に表示されたボタン、アイコンなどを直接タッチして操作を行うタッチパネルを採用することができる。

本実施形態のカラオケシステムは、複数のユーザーが各リモコン装置１のタッチパネル表示画面から必要な情報（後述するユーザーＩＤやパスワード）を入力し、ログインすることが可能となっている。ユーザーのログインに関する情報は画面上方に常時表示される。

また、アカウントを有していないユーザーのためのゲストアイコン１０２、ユーザーを切り替えるためのユーザー切替スイッチ１０１が表示されている。ログインしたユーザーは、ログインユーザー欄１０３に表示される分身像を選択、あるいは、ユーザー切替スイッチ１０１を操作することで、自分のユーザー情報を利用した各種サービスを受けることが可能となる。また、アカウントを有していないユーザーは、ゲストアイコン１０２を操作することで、選曲など一般的なサービスを受けることが可能となっている。なお、ユーザーの切替の際には、パスワードなど認証を行うこととしてもよいが、認証を行うことなく簡易に切り替えることとしてもよい。

図３は、各ユーザー毎に、ホスト５に記憶されたユーザー情報を説明するための図である。本実施形態では、ユーザー情報として、個人情報、履歴テーブルなど、ユーザーに関する各種情報を含んで構成される。ユーザー情報は、カラオケ用ホスト５の記憶部５１に予め記憶されている。また、ユーザー情報には、ユーザーがリモコン装置１からカラオケ用ホスト５へログインしてこれら情報を利用するためのユーザーＩＤ、パスワードが対応付けられている。個人情報には、ユーザー名（実際の名前に限ったものでなく、ニックネームであってもよい）、性別、年齢等を含んで構成されている。これら各種情報は、リモコン装置１、あるいは、インターネットなどのネットワークに接続された図示しないパーソナルコンピュータ、携帯情報端末などにてログインして設定することができる。

具体的には、リモコン装置１などを介したユーザーのログイン操作よって、ユーザーＩＤとパスワードとがカラオケ用ホスト５へ通知され、記憶部５１に記憶されたユーザー情報がリモコン装置１あるいはコマンダ２の少なくとも何れか一方へ送付され、各々の記憶手段（メモリ１４、メモリ２７など）へ記憶される。

履歴テーブルは、ユーザーがこれまでに選曲した履歴が記載されたテーブルであって、楽曲識別子、歌唱日時、歌唱店舗（歌唱位置）、採点情報などを含んで構成されている。採点情報は、歌唱したときの採点手段による結果を示す情報である。本実施形態では、このユーザー情報中に記憶する各楽曲についての採点情報（本発明における「評価結果」）を利用し、発音形態に修正を加えた楽曲演奏処理（本発明における「修正演奏処理」）を行うこととしている。

また、本実施形態のコマンダ２、リモコン装置１は、認証された複数人（認証ユーザー）が同時にログインした状態で使用することが可能となっている。図２で説明したユーザーインターフェイスを用いることで、サービスを提供するユーザー（以下、「アクティブ
ユーザー」という）を切り替えて使用することが可能となっている。アクティブユーザーがリモコン装置１を使用して演奏予約した場合、当該楽曲の楽曲識別子とユーザーＩＤを含む予約情報がコマンダ２に送信される。コマンダ２は、受信した予約情報を予約テーブルに順次、記憶させて楽曲演奏処理に使用する。

では、このコマンダ２にて実行される楽曲演奏処理について図を参照しつつ説明する。図５は、本発明の実施形態に係る楽曲演奏処理を示すフロー図である。コマンダ２が起動されると、この楽曲演奏処理が開始され、Ｓ２０１にてコマンダ２に記憶する予約テーブルが参照され、予約テーブル上の予約情報が順次読み出される。

Ｓ２０２では、読み出された予約情報にユーザーＩＤが付帯しているか、すなわち、これから演奏する楽曲について、それを予約したユーザーが判定できるか否かの判定が行われる。本実施形態では、ユーザー情報中に含まれる履歴テーブル内の採点情報に基づいて、演奏情報における音の演奏形態に修正を加えることとしている。また、本実施形態では、音の演奏形態の修正として、読み出される波形ファイルにおいて、演奏ミスした場合の波形ファイルを加え、その読出確率を変更することとしている。演奏ミスした場合の波形ファイルの読出確率を調整することで、自動演奏であっても聴感上の巧拙を変更することができる。

ユーザーＩＤが付帯していると判定された場合（Ｓ２０２：Ｙｅｓ）には、ユーザーＩＤに対応するユーザー情報のうち、これから演奏する楽曲についての履歴テーブルが読み出される（Ｓ２０３）。そして、当該履歴テーブル（楽曲履歴情報）に基づいて波形読出確率が決定される。波形読出確率を決定するための各種テーブルについて説明しておく。

図７は、本発明の実施形態に係る波形参照テーブルのデータ構成を示す図であり、図８は、本発明の実施形態に係る確率決定テーブルを示す図である。図７の波形参照テーブルは、演奏情報に基づいて音（１つの音符に相当）を発音する際に使用する波形ファイルを読み出すためのテーブルの一部である。本実施形態では、図に示されるように音色番号０についての発音については、ＡＡＡ＿１〜ＡＡＡ＿３、ＡＡＢ＿１〜ＡＡＢ＿３の６つの波形ファイルが使用されることとなる。これら波形ファイルは、低音用（ＡＡＡ＿１〜ＡＡＡ＿３）、高音用（ＡＡＢ＿１〜ＡＡＢ＿３）に分けられており、それぞれについて波形種類として、通常１、通常２、ミスを有している。

通常、ＰＣＭ形式などの音源方式では、１つの波形ファイルの音高、音量を調整することで、複数の音（音符）に対応することとしている。楽器によっては１つの波形ファイルで全音域に対応した場合、不自然な発音となってしまうため、本実施形態のように音域を分け、音高が０〜６４まではＡＡＡ＿１〜ＡＡＡ＿３の何れかの波形ファイルを指定された音高で発音し、音高が６５〜１２７まではＡＡＢ＿１〜ＡＡＢ＿３の何れかの波形ファイルを指定された音高で発音することで、自然な発音を可能としている。

また、本実施形態では各音域毎に通常１、通常２、ミスといった波形種別毎に波形ファイルが用意されている。人間が楽器を演奏する場合、同じ音高の発音であったとしても、演奏の度に発音する音は微妙に異なったものとなる。一方、自動演奏において、発音のたびに同じ波形ファイルを使用した場合、このような微妙な発音の差を表現することは困難であって、機械的な演奏になってしまうことが考えられる。波形種類における通常１、通常２はこのような自然な演奏を実現するために設けられている。例えば、ＡＡＡ＿１とＡＡＡ＿２で波形ファイルにおける音の表情が微妙に異なったものとされている。

一方、波形種類における「ミス」は、本発明特有のものであって、該当する波形ファイルには、楽器を演奏ミスした場合の特有の音が表現されている。本実施形態では、この母
系種類「ミス」の読出確率を、ユーザー情報に含まれる履歴テーブル内の採点情報に基づいて変動させることで、ユーザーの歌唱レベルにみあった演奏形態にて自動演奏することとしている。

図８には、歌唱レベルにあった波形読出確率を決定するための確率決定テーブルが示されている。本実施形態では、ユーザーがこれまでに歌唱した楽曲の採点情報によって、波形種類「ミス」の読出確率が修正される。波形種類「ミス」の読出確率は、当初、基準値（２０％）に設定されている。楽曲演奏に従って得られた採点情報に対応する確率修正値によって、この基準値を順次、修正することで、使用する波形読出確率が決定される。本実施形態では、採点情報が高いほど、波形種類「ミス」の読出確率が低くなるように修正される。そのため、高い採点情報には負の値が使用されている。

また、波形種類「ミス」の読出確率の変動に伴い、波形種類「通常１」、「通常２」の読出確率も調整されている。本実施形態では、この波形種類「通常１」と「通常２」は同確率となるように設定されている。したがって、１００％から波形種類「ミス」の読出確率を差し引いた後、残る確率を等分したものが、それぞれ「通常１」と「通常２」の読出確率となる。基準値の場合には、図示するように、波形種類「通常１」が４０％、波形種類「通常２」が４０％、波形種類「ミス」が２０％に設定されている。

このように、本実施形態では、採点情報が高くなるに従って波形種類「ミス」の読出確率が低くなるように修正を行うこととしている。したがって、上手い歌唱者の場合には、波形種類「ミス」の出現確率を減らすことで、自動演奏についても聴感上、上手く聞こえるようにしている。反対に、歌唱が上手くない歌唱者に対しては、波形種類「ミス」の読出確率を上げることで、本来、理想的な状態で行われるはずの自動演奏を聴感上、下手な演奏に聞き取れるようにし、歌唱の巧拙とのバランスがとれるようにしている。本実施形態では、歌唱能力の向上に伴って自動演奏についても演奏レベルが上達することとなり歌唱するユーザーの満足感も一段と大きいものとなる。

本実施形態では、このように波形種類毎の確率決定にテーブルを用いることとしているが、この形態に限らず、演奏回数に基づいて各確率を演算で求めることも可能である。また、本実施形態では「ミス」については１つの波形ファイルが用いられることとしているが、「通常」の場合と同様、複数の波形ファイルを割り当てておき、各波形ファイルに対して確率を設定することとしてもよい。

図５の楽曲演奏処理のフロー図中、Ｓ２０４では、図１１で説明した確率決定テーブルにて各波形種類毎の波形読出確率が決定される。一方、予約情報にユーザーＩＤが付されていない場合、すなわち、ゲストユーザーとして楽曲を予約した場合には、Ｓ２０５にて所定（デフォルト）の波形読出確率が設定されることとなる。Ｓ２０６〜Ｓ２０７ではこのように設定された波形読出確率に基づいて、演奏情報が演奏されることとなる。特に、各音の発音については、Ｓ３００のランダマイザー発音処理にて発音が実行されることとなる。

演奏が終了すると（Ｓ２０７：Ｙｅｓ）、予約情報にユーザーＩＤが付帯されている場合には、Ｓ２０９にて、当該ユーザーＩＤに対応するユーザー情報中の楽曲履歴テーブルを更新、次の楽曲についての楽曲演奏処理に移行する。一方、ユーザーＩＤが付帯されていない場合、すなわち、ゲストユーザーとしての予約の場合には、そのまま次の楽曲の楽曲演奏処理に移行する。

図６は、ランダマイザー発音処理のフロー図を示す図である。演奏情報は、各音色毎の音符の集合にて構成されることはよく知られるところである。Ｓ３０１における発音タイ
ミングにて発音すべき演奏音（音符）が取得されると、Ｓ３０２では、当該演奏音について、前回選択した波形ファイル名が取得される。これは、連続して同じ波形ファイルが使用されることを防ぐことを目的としてものであって、自然な演奏を再現することを可能とするものである。

Ｓ３０３では、発音すべき演奏音について、複数の波形ファイルが存在するか否かが判定される。図７で説明した音色については、複数の波形種類が用意されていたが、音色によっては、波形種類が１つである場合も考えられる。この分岐は、このような波形種類の数を考慮したものとなっている。波形ファイルが１つしか存在しない場合（Ｓ３０３：Ｎｏ）には、Ｓ３０９に進み、該当する波形ファイルが選択される。一方、図７で説明した音色のように波形ファイルが複数存在する場合（Ｓ３０３：Ｙｅｓ）には、図５のフロー図中、Ｓ２０４で決定された波形確率に基づいて、演奏する波形ファイルが選択されることとなる。まず、Ｓ３０４では発生させた乱数が取得される。次に、Ｓ３０５では、取得した乱数と、各波形種類の波形確率に基づいて波形ファイルが選択される。

本実施形態では、音色番号０について、音高７０の演奏音を鳴動させる場合には、図７の波形参照テーブル中、ＡＡＢ＿１〜ＡＡＢ＿３の波形ファイルが選択候補となる。選択候補の中から選択された波形ファイルは、基準音高が１２７に設定されているため、音高７０となるように修正して鳴動させる。以下に、選択候補となった波形ファイルの中から選択する手法について説明する。

例えば、１〜１００の乱数を発生させる場合を考えたとき、確率決定テーブルにおいて、演奏回数が５回以下である場合には、１〜３０を「通常１」、３１〜７０を「通常２」、７１〜１００を「ミス」に割り当てられる。発生させた乱数に基づいて、選択候補の中から波形種類に該当する波形ファイルが選択される。Ｓ３０６では、Ｓ３０２での確認に基づき、選択された波形ファイルが前回選択された波形ファイルであるかが判定される。前回の発音時に選択した波形ファイルである場合（Ｓ３０６：Ｙｅｓ）には、再度、Ｓ３０４、Ｓ３０５をやり直し、波形ファイルの選択が行われる。一方、前回選択した波形ファイルと異なる場合（Ｓ３０６：Ｎｏ）には、Ｓ３０５で選択した波形ファイルに基づいて演奏音が鳴動される。

Ｓ３０１〜Ｓ３０７の一連の処理を繰り返し実行することで各演奏音が鳴動され、演奏情報についての一連の演奏が実行されることとなる。特に、本実施形態は、ユーザー情報中の履歴テーブルを使用し、歌唱する楽曲に対応した採点情報に応じた波形読出確率に基づいて、波形種類「ミス」の波形ファイルが使用されるため、歌唱の巧拙に応じて演奏情報における音の演奏形態に修正が加えることとなる。

図９には、この実施形態における波形読出確率の推移の様子が示されている。例えば、前々回にある楽曲についてユーザーが初めて歌唱した場合を考えてみる。この場合、波形読出確率は、図８に示す基準値（通常１：４０％、通常２：４０％、ミス２０％）に設定され、これらの値を利用した楽曲演奏処理が実行される。

この楽曲演奏処理時の採点処理の結果（採点情報）が６４点であった場合、図８の確率決定テーブルを参照すると、ミスの確率修正値は、＋１％に設定されていることが分かる。したがって、次の回（前回）には、基準値に対してこの確率修正値（＋１％）を反映した２１％がミスの波形読出確率に設定される。そして残る確率を等分することで、通常１、通常２の波形読出確率（どちらも３９．５％）が決定される。今回の各波形読出確率についても、同様の行程で、前回の採点情報（８２点）を利用して決定される。

以上、本実施形態の楽曲演奏装置について説明したが、本実施形態では、各ユーザーの
採点情報を利用して、波形種類「ミス」の波形読出確率を調整することで、歌唱の巧拙にしたがった自動演奏を行うことが可能となる。なお、本実施形態ではユーザー情報に含まれる採点情報を用いることで、各ユーザーが選択した楽曲について、歌唱経験が推定されることとしているが、楽曲履歴情報は、楽曲演奏装置単位で記憶しておくこととしてもよい。例えば、個人が所有するキーボードなど、自動演奏機能を有する楽曲演奏装置に採用することで、各個人の利用に応じて、自動演奏も上達する楽曲演奏装置を実現することが可能となる。

以上、コマンダ２（カラオケ装置）を楽曲演奏装置として利用した場合の実施形態について説明したが、歌唱のみならずユーザーが行う楽器演奏に対しても適用することができる。現在、カラオケ装置をギター、キーボードなどの外部楽器演奏を、カラオケ装置で行うことが検討されている。ユーザーは店舗に用意された外部楽器、あるいは、自分で用意した外部楽器をコマンダ２に接続して、自動演奏に合わせて演奏することが可能となる。図１にも示されているように、コマンダ２に外部楽器４４ｂが接続された場合には、演奏情報に基づく自動演奏と一緒に、スピーカーから外部楽器音が放音されることとなる。外部楽器としては、演奏音を出力する形態の他、ＭＩＤＩ楽器を用いて音響制御部７０内の音源を鳴らすようにしてもよい。また、アコースティック楽器を使用する場合には、コマンダ２に接続することなく、アコースティック楽器から放音させることも考えられる。

このようにコマンダで外部楽器をして演奏する場合、予約時に使用する外部楽器を選択して、当該外部楽器の発音パートの音量を抑える、あるいは、消音するなどすることでマイナスワン演奏を行うことも可能となる。図１０は、本発明の他の実施形態にかかる楽曲確認画面を示す図であって、この画面では予約時に使用する外部楽器を選択することが可能である。外部楽器を使用して演奏を行うユーザーは、「外部楽器利用」欄の右下に表示される「設定」ボタンを操作することで、外部楽器の演奏パートを設定することができる。

このように外部楽器の演奏パートが設定されて予約が実行されたときの予約情報のデータ構成を図１１に示す。この予約情報には、従前の予約情報に加えて、外部楽器使用フラグ、外部楽器種別情報が含まれて構成されている。この予約情報に基づいて演奏する場合、楽器演奏種別情報の楽器パートを消音（あるいは、演奏しない）、あるいは、音量を抑えて演奏することで、マイナスワン演奏が実現できる。また、ユーザー情報中の履歴テーブルには、各楽曲についてどの外部楽器が使用されたかの履歴をとることが可能となる。図１２は、履歴テーブルのデータ構成を示す図であって、各楽曲に対応づけて、使用した外部楽器種別情報記録されている。

同じ楽曲を演奏する場合において、ユーザーは異なる演奏パート（外部楽器種別）を指定することが考えられる。そのため、この外部楽器を利用可能とする楽曲演奏装置においては、各楽曲について、指定したパート毎の採点情報、前記採点情報の楽曲を演奏したときのミスの波形読出確率の結果である記録値（履歴）に基づいて、波形種類「ミス」の波形ファイルの読出確率を調整することとしている。例えば、ある楽曲について、エレキギター１の演奏パートを数十回演奏した場合であっても、ベースの演奏パートを初めて指定して楽曲情報の演奏が行われた場合には、基準値の波形読出確率を利用して、楽曲情報に基づいてＭＩＤＩ音源の波形種類が指定されたときには、波形種類「ミス」の波形ファイルが、波形読出確率に依存して出現しながら、楽曲情報の演奏が行われる。

そして、前回演奏をおこなったときの最後の演奏パートの波形読出確率を、楽曲名、採点値、楽器種類と対応付けて記録しておくことにより、楽曲の２回目の演奏からは、前回の波形読出確率を利用して、特定の楽器（楽器演奏種別情報の楽器パート）の、最初の演奏パートの波形読出確率が決定される。

以上、各種実施形態について説明したが、採点情報に基づく発音形態の修正は、波形種類「ミス」の波形ファイルの読出確率の変更に限ることなく、演奏の巧拙を表現できるものであれば各種形態を採用することができる。例えば、各音の発音タイミングを本来の発音タイミングからずらす、あるいは、発音時の音の強弱を本来のものからずらす、あるいは、発音時の音程を本来のものからずらすなどすることが考えられる。

このように本実施形態では、前に演奏した際の評価結果（採点情報）を利用して、発音形態に修正することとしている。本発明は、このような形態に限られるものではなく、１つの楽曲内に評価区間を設定し、当該評価区間の評価結果（区間採点情報）に基づいて、発音形態に修正を加えることも考えられる。

以下に示す実施形態は、演奏中において実行される評価結果（区間採点情報）を利用し、同演奏中に発音形態に修正を加える修正演奏処理を実行するものである。図１３は、本実施形態の楽曲演奏処理（修正演奏処理）を示すフロー図である。

ユーザーの予約に伴って楽曲演奏処理が開始されると、まず、波形読出確率が基準値に設定される（Ｓ４０１）。本実施形態では、図８で説明した確率決定テーブルの基準値を使用することとしている。Ｓ４０２では、制御部３０は、予約情報中の楽曲識別子に対応する演奏情報を読み出して、演奏手段としての音響制御部７０に演奏させる。演奏開始に伴い、歌唱用マイク４４ａ、あるいは、外部楽器４４ｂから入力される外部入力音に対する採点処理が実行される。この採点処理では、演奏情報に含まれる所定の旋律情報と外部入力音を比較して、その一致度合いに応じて区間採点情報を出力される。

Ｓ５００では、採点処理で出力される区間採点情報に基づいて、波形種類「通常１」、「通常２」、「ミス」などの波形読出確率が決定される。Ｓ３００では、決定された波形読出確率に基づいて、発音形態の変更を伴う発音処理（ランダマイザー発音処理Ｓ５００）が実行される。これらの処理を繰り返し実行することで、１つの楽曲内において、演奏の巧拙を判定すると共に、それを反映した発音形態の修正が実行されることとなる。

この波形読出確率決定処理Ｓ５００とランダマイザー発音処理Ｓ３００についてはいくつかの実施形態が考えられる。ここでは３つの形態について説明を行う。

まず、第１の実施形態について図１４、図１５を用いて説明を行う。第１の実施形態では、図１５に示すように１楽曲を複数の区間に分割し、各区間において得られた区間採点情報を、次の区間の波形読出確率の算出に用いることとしている図１４には、この波形読出確率決定処理のフロー図が示されている。

この実施形態の波形読出確率決定処理では、演奏すべき区間より１つ前の区間の区間採点情報を利用することとしている。そのため、Ｓ５０１では、まず、区間ｎの区間採点情報を読み出し、これから演奏するｎ＋１の区間における波形読出確率が決定する。本実施形態では、各区間において０〜１００点の区間採点情報を算出することとしており、図８で説明した確率決定テーブルを使用して、区間採点情報に対応した波形種別「ミス」の確率修正値を読み出し、波形読出確率を決定することとしている。

したがって、第１の実施形態では、図１５に示すように、次の区間で、前の区間の区間採点情報が反映された波形読出確率が算出されることとなる。したがって、この第１の実施形態では、歌唱あるいは演奏の巧拙の傾向に応じて順次、発音形態に修正が加えられることとなる。図８の確率決定テーブルを使用した場合には、歌唱あるいは演奏が上手いほど、聴感上、自動演奏の演奏も上手くなり、ユーザーによる歌唱あるいは演奏と自動演奏
のバランスがとれたものとなる。

次に、第２の実施形態について図１６〜図１８を用いて説明を行う。第２の実施形態では、図１７に示すように１楽曲を複数の区間に分割し、曲番毎に同じ箇所の区間採点情報を比較して、次の区間に反映することとしている。図の例では、１番の最初の区間（区間１）と２番の最初の区間（区間２）の区間採点結果を比較し、その差分に応じた波形種類「ミス」の確率修正値を読み出し、それに基づいて波形読み出し確率を決定することとしている。

図１８には、本実施形態で使用する確率決定テーブルが示されている。この実施形態では区間採点情報の差分に応じた確率修正値が設定されることとなる。図１７を例にとって説明すると、１番の最初の区間の区間採点情報が６０点、２番の最初の区間の区間採点情報が８０％の場合、＋２０点に対応する確率修正値（−１０％）が読み出される。したがって、２番の次の区間（区間２）では、当初基準値（２０％）に設定されていた波形読み出し確率がこの確率修正値（−１０％）で修正され１０％に変更される。

図１７には、この第２の実施形態の波形読出確率決定処理のフロー図が示されている。処理が開始されると、ｎ（旋律番号）、ｍ（区間番号）共に初期値１に設定される（Ｓ５１１、Ｓ５１２）。演奏の進行に伴い、Ｓ５１３では現在のｎの値、すなわち、楽曲中、何番の旋律が演奏されているかが判定される。２番以降の旋律が演奏されている場合（Ｓ５１３：Ｙｅｓ）には、ｎ−１番のｍ区間の区間採点情報と、ｎ番のｍ区間目の区間採点情報とが比較される。Ｓ５１５では、この比較に基づいて得られた差分にて、図１８の確率決定テーブルを参照し確率修正値を得て、ｎ番のｍ＋１区間の波形読出確率を決定する。

旋律番号の演奏がまだ終了していない場合には、Ｓ５１６にて区間ｍの値をインクリメントした後、Ｓ５１３に戻る。一方、旋律番号の演奏が終了した場合には、Ｓ５１９にて旋律番号をインクリメントした後、Ｓ５１８に戻る。これらの処理は、最終旋律番号が終了するまで（Ｓ５１８：Ｙｅｓ）継続的に実行される。

次に、第３の実施形態について図１９、図２０を用いて説明を行う。第３の実施形態では、図２０に示すように１楽曲を複数の区間に分割し、対応する種別の区間の区間採点情報を、波形読出確率の算出に利用することとしている。図の例では、１番のＡメロの区間採点情報は２番のＡメロの波形読出確率の算出に、また、１番のＢメロの区間採点情報は２番のＢメロの波形読出確率の算出に利用される。なお、この実施形態は第１の実施形態と同様、図８で説明した波形決定テーブルを利用したものとなっている。

図１９には、この第３の実施形態の波形読出確率決定処理のフロー図が示されている。処理が開始されると、ｎ（旋律番号）が初期値１に設定される（Ｓ５３１）。演奏の進行に伴い、各楽曲構成毎（Ａメロ、Ｂメロなど）の採点が実行される。Ｓ５３３〜Ｓ５４０では、この採点結果で得られた区間採点情報を、楽曲構成に対応付けて記憶する。

演奏の進行に伴い、Ｓ５４１では現在のｎの値、すなわち、楽曲中、何番の旋律が演奏されているかが判定される。２番以降の旋律が演奏されている場合（Ｓ５４１：Ｙｅｓ）には、ｎ−１番の同一構成箇所の区間採点情報を読み出し、次構成箇所の波形読出確率が決定される。

旋律番号の演奏がまだ終了していない場合には、Ｓ５３２に戻って処理を継続する。一方、旋律番号の演奏が終了した場合には、Ｓ５４５にて旋律番号ｎをインクリメントした後、Ｓ５３２に戻る。これらの処理は、最終旋律番号が終了するまで（Ｓ５４４：Ｙｅｓ
）継続的に実行される。

以上、歌唱もしくは演奏の評価と、その評価に基づく波形読出確率の決定を演奏中に実行する３つの実施形態を説明したが、何れの実施形態においても、決定された波形読出確率に基づいてランダマイザー発音処理Ｓ３００が実行される。このランダマイザー発音処理は、波形読出確率が演奏中に変更されることを除き、図６で説明した実施形態のものとほぼ同様の処理である。なお、これら３つの実施形態においても発音形態の変更は、波形種類「ミス」の波形ファイルの読出確率の変更に限ることなく、発音タイミングの変更、あるいは、発音の強弱の変更など、演奏の巧拙を表現できるものであれば各種形態を採用することができる。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、３３…外部機器接続部、４１…モニタ、４２…スピーカー、４４ａ…歌唱用マイク、４４ｂ…外部楽器、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ、５…カラオケ用ホスト、５１…記憶部、７０…音響制御部、１０１…ユーザー切替スイッチ、１０２…ゲストアイコン、１０３…ログインユーザー欄

Claims (5)

1. 楽曲の演奏情報に基づいて演奏を実行する演奏手段と、
   評価処理と、修正演奏処理とを実行する制御手段を備え、
   前記評価処理は、外部から入力される楽器演奏情報もしくは歌唱情報と、前記演奏情報を比較することでユーザーによる楽器演奏もしくは歌唱の評価を行い、
   前記修正演奏処理は、前記楽曲の演奏情報に基づいて波形情報を読み出すことで演奏を実行し、
   前記波形情報は、通常、ミスの波形種別を有し、
   前記修正演奏処理は、前記評価処理の評価結果が低いほど、前記波形種別がミスに属する前記波形情報の読み出し割合を大きくして演奏を実行することを特徴とする
   楽曲演奏装置。
2. 前記評価処理は、評価区間毎に実行され、
   前記修正演奏処理は、演奏中の楽曲について実行された前記評価区間の評価結果に基づいて、前記波形種別がミスに属する前記波形情報の読み出し割合を変更することを特徴とする
   請求項１に記載の楽曲演奏装置。
3. 前記制御手段は、楽曲履歴読出処理と、楽曲履歴更新処理を実行可能とし、
   前記楽曲履歴読出処理は、演奏する楽曲に対応する楽曲履歴情報を読み出し、
   前記楽曲履歴更新処理は、前記評価処理の評価結果に基づいて前記楽曲履歴情報を更新し、
   前記修正演奏処理は、前記波形種別がミスに属する前記波形情報の読み出し割合を変更することを特徴とする
   請求項１に記載の楽曲演奏装置。
4. 前記修正演奏処理は、前記波形種別がミスに属する前記波形情報の読み出し割合を変更に加え、前記評価処理の評価結果に基づき発音タイミング、強弱、音程の少なくとも１つを変更することを特徴とする
   請求項１から請求項３の何れか１項に記載の楽曲演奏装置。
5. 外部から入力される楽器演奏情報もしくは歌唱情報と、演奏される演奏情報を比較することでユーザーによる楽器演奏もしくは歌唱の評価を行う評価処理と、
   楽曲の演奏情報に基づいて波形情報を読み出すことで演奏を実行する修正演奏処理と、をコンピューターに実行させ、
   前記波形情報は、通常、ミスの波形種別を有し、
   前記修正演奏処理は、前記評価処理の評価結果が低いほど、前記波形種別がミスに属する前記波形情報の読み出し割合を大きくして演奏を実行させることを特徴とする
   楽曲演奏用プログラム。
   

Images