図1は、本発明の楽器音出力装置の好適な実施例であるカラオケ装置10の構成を例示するブロック線図である。この図1に示すように、本実施例のカラオケ装置10は、中央演算処理装置であるCPU12と、読出専用メモリであるROM14と、随時書込読出メモリであるRAM16と、記憶装置であるハードディスク18と、グラフィックスチップ(グラフィックスボード)等の映像処理部20と、サウンドチップ(サウンドボード)等の音声処理部22と、操作パネル24と、表示制御部26及び入力制御部28を介して前記CPU12に接続されたタッチパネルディスプレイ30と、通信インターフェイス36と、LANインターフェイス38と、無線通信部40と、ビデオ出力端子42を介して前記映像処理部20に接続された映像表示装置であるディスプレイ44と、オーディオ入力端子46を介して前記音声処理部22に接続された音声入力装置であるマイクロフォン48と、オーディオ出力端子50を介して前記音声処理部22に接続された音声増幅装置であるアンプ52と、そのアンプ52に備えられた音声出力装置であるスピーカ54と、オーディオ入力端子72を介して前記音声処理部22に接続されたサウンドエフェクタ74とを、備えて構成されている。
前記CPU12は、前記RAM16の一時記憶機能を利用しつつ前記ROM14に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置10における各種制御を実行する。すなわち、前記操作パネル24、タッチパネルディスプレイ30、或いは電子早見本装置68等により所定の楽曲(カラオケ演奏曲)が選曲入力された場合、その選曲入力された楽曲を前記RAM16等に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク18から前記RAM16に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報(楽曲データ)を読み出す楽曲データ読出制御、楽曲の演奏進行に応じてそのRAM16から前記音声処理部22へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記RAM16に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像処理部20へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像処理部20を制御して所定の背景映像を再生させる背景映像出力制御、及びカラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御等の基本的な制御に加え、後述する本実施例のバンド演奏評価制御等の各種制御を実行する。
前記映像処理部20は、前記ディスプレイ44に表示される画面(映像)の描画に係る各種制御を行う。例えば、前記CPU12から供給されるデータに基づいてグラフィックスメモリにそのデータを書き込み、そのデータを読み出すことによって前記ビデオ出力端子42を介して前記ディスプレイ44に所定の画面を表示させる制御を行う。具体的には、前記カラオケ装置10による楽曲の演奏出力(カラオケ演奏)に際して、前記CPU12において生成された歌詞文字映像等の文字映像(テロップ)を出力させたり、前記ハードディスク18に記憶されたMPEG(Moving Picture Experts Group)データ等の背景映像情報に基づいて所定の背景映像を再生(デコード)させたり、その背景映像の前面側に前記歌詞文字映像を合成させて前記ディスプレイ44に表示させたり、その歌詞文字映像を前記楽曲の演奏進行に応じて順次色替わり表示させる等の各種表示制御を行う。なお、本実施例においては、前記映像処理部20により前記ディスプレイ44の表示制御を行う一方、後述する表示制御部26により前記タッチパネルディスプレイ30(表示装置32)の表示制御を行う態様について説明するが、前記映像処理部20により前記タッチパネルディスプレイ30の表示制御をも行う態様も考えられる。この態様において、前記表示制御部26は必ずしも設けられなくともよい。
前記音声処理部22は、FM音源やPCM音源等の各種音源を備え、前記カラオケ装置10による音声出力に係る各種制御を行う。好適には、電子回路により音を合成し、各種音色を発生するシンセサイザ(synthesizer)を備えている。このシンセサイザは、前記ハードディスク18から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する。前記シンセサイザは、好適には、MIDI(Musical Instrument Digital Interface)端子を備えたものであり、前記演奏情報は、例えばMIDI形式のデータである。そのMIDIデータに基づいて前記シンセサイザにより生成された音楽信号は、前記マイクロフォン48から前記オーディオ入力端子46を介して入力される利用者(演奏者)の歌声とミキシングされ、前記オーディオ出力端子50を介して前記アンプ52に供給されてそのアンプ52により増幅されて前記スピーカ54から出力される。
前記操作パネル24は、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン(スイッチ)或いはつまみを備えた入力装置である。また、前記タッチパネルディスプレイ30は、画像(映像)を表示させると共に利用者の操作に応じて前記カラオケ装置10への操作入力を行う装置であり、そのタッチパネルディスプレイ30に所定の画像(映像)を表示させる表示装置32と、利用者の指や図示しない備え付けのペン等による前記タッチパネルディスプレイ30への接触により入力を行うタッチパネル34とを、備えている。前記表示制御部26は、前記CPU12から供給される情報に基づいて前記表示装置32に表示される画面(映像)の描画を制御する映像処理部である。前記入力制御部28は、前記タッチパネル34により入力される操作入力情報を前記CPU12等に供給する入力処理部である。以上の構成を備えていることで、前記タッチパネルディスプレイ30は、前記ディスプレイ44とは別に第2の映像表示装置として機能すると共に、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力装置として機能する。
前記カラオケ装置10は、前記通信インターフェイス36及びネットワーク接続端子56を介して通信回線60に接続されており、同様にその通信回線60に接続された他の機器との相互間でその通信回線60を介して情報の通信が可能とされている。前記通信回線60は、例えば公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続された広域情報通信網である。前記カラオケ装置10は、好適には、前記通信回線60を介して図示しないサーバ(ホスト装置)に接続されており、そのサーバから楽曲データ(カラオケデータ)、背景映像情報、及び曲間情報等のデジタルコンテンツ(Digital Contents)の配信を受け付けるものである。すなわち、前記カラオケ装置10は、好適には、所定の通信回線に接続されてサーバとの間で各種情報の送受信を行う通信カラオケ装置であるが、斯かる通信回線に接続されない非通信型のカラオケ装置等にも本発明は好適に適用される。
前記LANインターフェイス38は、前記カラオケ装置10をLAN接続端子62を介してLAN(local area network)64に接続するための接続器であり、そのように前記LAN64に接続されることで、前記カラオケ装置10は、同様に前記LAN64に接続された電子早見本装置68等の他の機器との間で情報の送受信が可能とされる。また、前記カラオケ装置10が設置される店舗等に複数台のカラオケ装置が備えられている場合において、同様に前記LAN64に接続されたカラオケ装置相互間において情報の送受信が可能とされる。例えば、前記LAN64に接続されたアクセスポイント66を介して受信される電子早見本装置68からの選曲入力を受け付けて前記RAM16に設けられた予約曲テーブルに記憶したり、そのアクセスポイント66を介して前記カラオケ装置10から電子早見本装置68へ所定の情報を送信したりというように、電波を介して前記カラオケ装置10と電子早見本装置68との間における相互の情報のやりとりが実行される。
前記無線通信部40は、前記カラオケ装置10と前記電子早見本装置68等の入力装置との間の無線通信を行う。例えば、前記電子早見本装置68等の入力装置から送信されるリモコン信号を受信するリモコン受信部として機能する。前記カラオケ装置10と電子早見本装置68との対応付け(くくりつけ)処理は、好適には、斯かるリモコン信号(赤外線信号)により前記無線通信部40を介して行われる。すなわち、前記電子早見本装置68は、それぞれ個別のシリアル番号を有しており、前記対応付け処理においては、例えばそのシリアル番号(例えば、下4桁)及び所定の接続コードを含む信号が接続通知として前記カラオケ装置10へ送信され、前記無線通信部40によりその接続信号を受信したカラオケ装置10に対して前記電子早見本装置68が対応付けられる。そのようにして前記カラオケ装置10に対応付けられた電子早見本装置68は、そのカラオケ装置10の入力装置(遠隔操作装置)として機能し、その電子早見本装置68から送信される信号が前記CPU12に供給されることで、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力が受け付けられるようになっている。なお、前記対応付け処理が行われた後、前記電子早見本装置68と前記カラオケ装置10との間の通信は、前記LAN64及びアクセスポイント66等を介したLAN通信により行われる。また、本実施例においては、前記カラオケ装置10に対応付け処理の行われた電子早見本装置68等の入力装置もそのカラオケ装置10の一部を構成するものであるとして以下の説明を行う。また、前記無線通信部40は、携帯電話機70から送信される赤外線信号乃至電波を受信する信号受信部としても機能する。この携帯電話機70との通信は、所謂ブルートゥース(登録商標)通信等の短距離無線通信により行われるものであってもよい。
前記サウンドエフェクタ74は、外部装置であるエレキギターやベースギター等の電気楽器(電子楽器)76に接続され、その電気楽器76から入力される信号を前記オーディオ入力端子72を介して前記音声処理部22へ供給する楽器入力装置である。好適には、外部装置である電気楽器76とシールド等を介して接続され、その電気楽器76から入力される信号(演奏に応じた演奏信号)を前記オーディオ入力端子72を介して前記音声処理部22へ供給する。このサウンドエフェクタ74からの信号は、直接前記アンプ52に入力されるものであってもよい。また、好適には、前記サウンドエフェクタ74には、前記電気楽器76に対応して複数のサウンドエフェクトが予め記憶されて設定可能とされたものであり、前記電気楽器76から入力される信号に予め設定された複数のサウンドエフェクトを反映させて前記音声処理部22へ供給する。また、前記MIDIデータに基づくカラオケ演奏時に前記電気楽器76からの入力信号を受け付けることも可能である。斯かる態様において、前記MIDIデータに基づいて前記シンセサイザにより生成された音楽信号は、前記サウンドエフェクタ74から前記オーディオ入力端子72を介して入力される前記電気楽器76の演奏音とミキシングされ、前記オーディオ出力端子50を介して前記アンプ52に供給されてそのアンプ52により増幅されて前記スピーカ54から出力される。
前記ハードディスク18には、前記カラオケ装置10により前記楽曲の演奏出力(カラオケ演奏)を行うための多数(例えば、数万曲)の楽曲データ(カラオケデータ)を記憶する楽曲データベース78(図2を参照)をはじめとする各種データベースが設けられている。前記カラオケ装置10において出力される各楽曲に対応して前記楽曲データベース78に記憶された楽曲データは、例えば、メタデータ、演奏情報としてのMIDIデータ、及び歌詞情報としてのテロップデータを含んでいる。このメタデータは、例えば、各楽曲データの識別情報としての曲番号(選曲番号)、曲名、歌手名、登録日時等の情報を含んでいる。前記テロップデータは、前記映像処理部20を介して各楽曲の歌詞文字映像表示制御を行うための情報であり、例えば、前記楽曲データに対応する楽曲(演奏曲)の歌詞を複数に区分した各区分に相当するブロックデータを含んでいる。前記MIDIデータは、前記音声処理部22を介して各楽曲の演奏出力制御を行うための情報であり、複数種類の楽器にそれぞれ対応する複数のトラック(チャンネル)を備え、各トラックにおいて対応する楽器の演奏音の出力タイミングが定められている。
前記MIDIデータには、ヘッダ(ヘッダチャンク)が定められると共に、前記複数のトラック(トラックチャンク)としてコンダクタトラック、トラック1、トラック2、トラック3、・・・、トラックn(例えば、n=16)が定められている。前記ヘッダには、データ長、フォーマット、トラック数、及び時間単位等の情報が記憶されている。この時間単位は、4分音符の長さを示すものであり、前記MIDIデータの分解能に対応する。前記コンダクタトラックには、前記MIDIデータのテンポが定められている。前記トラック1〜16には、各トラックにそれぞれ対応して演奏出力に係る楽器(演奏音)の種類と、出力される演奏音の音階及び音長等を定める楽譜情報とが定められている。例えば、前記トラック2が「ピアノ」、トラック3が「エレキギター」、トラック4が「ベースギター」、・・・、というように、各トラック毎に対応する楽器(演奏音)の種類が定められており、その楽器の楽譜情報として出力タイミング(デルタタイム)、音階、音量(Volume)等の情報が各トラック毎に定められている。また、前記複数のトラックのうち所定のトラック(例えば、トラック10)は、専らリズムを取るための楽器の楽譜情報を定めるリズムトラックに対応するものであり、演奏音の音階を設定し得ない打楽器である例えば「バスドラム」、「スネアドラム」、「ハイハット」等の楽器(演奏音)に対応して、その楽譜情報としての出力タイミングが前記リズムトラックに定められている。
図2は、前記カラオケ装置10のCPU12に備えられた制御機能の要部を説明する機能ブロック線図である。この図2に示す演奏音判別手段80は、前記カラオケ装置10に接続された電気楽器から前記音声処理部22に入力される、その電気楽器の演奏に応じた演奏音を判別する。前記カラオケ装置10に接続される電気楽器としては、前記サウンドエフェクタ74にシールド等を介して接続される電気楽器76としてのエレキギター76a、ベースギター76b等が対応する。また、前記電子早見本装置68のCPUに楽器演奏アプリケーションソフトウェアがインストールされた状態において、その楽器演奏アプリケーションソフトウェアによる演奏対象となる楽器(ソフトウェア上における楽器)が前記電気楽器に対応する。同様に、前記携帯電話機70のCPUに楽器演奏アプリケーションソフトウェアがインストールされた状態において、その楽器演奏アプリケーションソフトウェアによる演奏対象となる楽器が前記電気楽器に対応する。この楽器演奏アプリケーションソフトウェアは、例えば、前記電子早見本装置68や所謂スマートフォンとしての前記携帯電話機70におけるタッチパネルディスプレイに、例えばエレクトーンやドラムセット等の楽器に相当する映像を表示させ、そのタッチパネルディスプレイにおける各楽器の映像に対応する部分への接触操作に応じて演奏音を出力させるものである。好適には、前記電子早見本装置68におけるタッチパネルディスプレイの接触操作に応じた演奏音に対応する信号がその電子早見本装置68から前記アクセスポイント66及びLANインターフェイス38等を介して前記音声処理部22へ入力され、前記アンプ52等を介して前記スピーカ54からその演奏音が出力される。また、好適には、前記携帯電話機70におけるタッチパネルディスプレイの接触操作に応じた演奏音に対応する信号がその携帯電話機70から前記無線通信部40等を介して前記音声処理部22へ入力され、前記アンプ52等を介して前記スピーカ54からその演奏音が出力される。
前記演奏音判別手段80は、前記カラオケ装置10に入力される演奏音に関して、少なくとも各演奏音がそれぞれ個別の電気楽器(外部装置)から入力されたものであることを判別(判定)する。すなわち、前記カラオケ装置10に複数の電気楽器が接続されている場合に、そのカラオケ装置10(音声処理部22)に入力される演奏音が何れの電気楽器から入力されたものであるか判別する。この際、必ずしも各電気楽器の種類までは判定しなくともよい。例えば、図2に示す例においては、前記カラオケ装置10に電気楽器としての前記エレキギター76a、ベースギター76b、電子早見本装置68(楽器演奏アプリケーションソフトウェア)、及び携帯電話機70(楽器演奏アプリケーションソフトウェア)が接続されており、前記演奏音判別手段80は、前記カラオケ装置10に入力される演奏音に関して、少なくとも前記エレキギター76a、ベースギター76b、電子早見本装置68、及び携帯電話機70からそれぞれ入力される演奏音を判別する。好適には、各演奏音が前記エレキギター76a、ベースギター76b、電子早見本装置68、及び携帯電話機70のうち何れから入力されたものであるかを判別する。
前記演奏音判別手段80は、好適には、前記カラオケ装置10に入力される演奏音に関して、各演奏音に対応する電気楽器の種類を判別する。すなわち、前述のようにして判別される各演奏音が、それぞれ何れの種類の電気楽器に対応するものであるかを判定する。斯かる判定を行うために、好適には、前記ハードディスク18には、複数種類の電気楽器それぞれに対応して、予め実験的に求められた各電気楽器の演奏音の周波数特性を記憶する周波数特性データベースが設けられている。前記演奏音判別手段80は、好適には、前記カラオケ装置10(音声処理部22)に入力される演奏音(音声情報)の周波数特性を解析し、前記周波数特性データベースに記憶された各電気楽器の演奏音の周波数特性から各演奏音の解析結果に基づいてその演奏音に対応する電気楽器の種類を判定する。また、各電気楽器の接続部位とその電気楽器の種類との関係が予め定められたものであってもよい。すなわち、図2に示す例においては、前記サウンドエフェクタ74における第1プラグ差込穴に接続される電気楽器がエレキギター76a、第2プラグ差込穴に接続される電気楽器がベースギター76b、前記電子早見本装置68における楽器演奏アプリケーションソフトウェアに対応する電気楽器がドラム、前記携帯電話機70における楽器演奏アプリケーションソフトウェアに対応する電気楽器がエレクトーンというような関係が予め定められている。斯かる態様において、前記演奏音判別手段80は、各電気楽器の接続部位とその電気楽器の種類との関係に基づいて、前述のようにして判別される各演奏音に対応する電気楽器の種類を判定する。また、前記電気楽器の接続部位とその電気楽器の種類との関係は、前記電子早見本装置68のタッチパネルディスプレイ等を介して利用者が定義し得るものであってもよい。
アタック音抽出手段82は、前記演奏音判別手段80により判別される各演奏音におけるアタック音を抽出する。すなわち、前記カラオケ装置10に複数の電気楽器が接続されている場合に、各電気楽器からそのカラオケ装置10(音声処理部22)に入力される演奏音から、その演奏音に対応する音圧レベルが予め定められた規定の閾値以上であるアタック音を抽出する。このアタック音とは、各演奏音における出始め(出だし)に相当し、例えば電気楽器の演奏が行われた瞬間に対応する音である。例えば、前記エレキギター76aの演奏において弦が掻き鳴らされるストローク演奏が行われた後、弦の振動によりしばらく音が出続けるが、弦が掻き鳴らされた瞬間の音が一番大きく、その音がアタック音に対応する。また、前記アタック音抽出手段82は、前記演奏音に対応する音圧レベルの時間変化に基づいて前記アタック音の抽出を行う。すなわち、前記アタック音抽出手段82は、前記演奏音の音圧レベルの増加に係る時間変化率が規定の閾値以上である部分を、前記アタック音として抽出する。例えば、前記演奏音に対応する音圧レベルが一旦所定値未満まで低下した状態から、規定の閾値以上の時間変化率で急激に上昇した場合等、その上昇に係る部分(例えば、その上昇におけるピーク値)を前記アタック音として抽出する。
図3〜図5は、前記カラオケ装置10に接続された電気楽器から入力される演奏音に対応する波形を例示する図であり、図3はドラムの演奏音に対応する波形を、図4はエレキギターに対応する波形を、図5はベースギターに対応する波形をそれぞれ例示している。これらの図に示すように、各電気楽器の演奏音に対応する波形(音声波形)には、その電気楽器の演奏が行われた瞬間等に対応して極大値(ピーク値)が現れる。前記アタック音抽出手段82は、この波形における極大値を前記アタック音として抽出(判定)する。また、図5において破線で囲繞して示すように、演奏音に対応する音圧レベルが一旦低下した部分から急激に閾値以上まで上昇した場合等、前記演奏音に対応する音圧レベルの時間変化率が予め定められた規定値以上である部分を前記アタック音として抽出するものであってもよい。前記閾値は、前記波形における極大値に対応して予め定められたものであり、複数種類の電気楽器で共通の閾値が判定に用いられるものであってもよいが、好適には、複数種類の電気楽器それぞれに対応して個別の閾値が定められている。例えば、図3〜図5に示す例では、図3に示すADがドラムの演奏音に対応する閾値、図4に示すAGがエレキギターの演奏音に対応する閾値、図5に示すABがベースギターの演奏音に対応する閾値であり、それぞれ異なる音圧レベルに対応するものとなっている。
図2に示す同期演奏評価手段84は、前記アタック音抽出手段82により抽出されたアタック音に基づいて、前記複数種類の電気楽器による同期演奏を評価する。例えば、前記カラオケ装置10に接続されたエレキギター、ベースギター、ドラム、及びエレクトーン等、複数種類の電気楽器を同期して演奏することにより1の楽曲を奏でるバンド演奏の演奏評価を行う。この演奏評価の態様としては、好適には、後述する各基準区間に対応する得点を加算してゆく積み上げ得点方式が採用されるが、例えば百点満点中何点というように上限値を定めて採点を行うものであってもよいし、数値的な採点ではなく20段階評定の何れに当てはまるかを判定するというように簡易なものであってもよい。また、斯かる演奏評価制御は、演奏と併行して例えば後述する各基準区間毎に複数回行われた評価を、演奏終了時に集計するものであってもよいし、各電気楽器から入力される演奏音を前記RAM16等に記録しておき、演奏終了時にその演奏音を読み出して評価を行うものであってもよい。
前記同期演奏評価手段84は、好適には、サンプリング方式による同期演奏評価制御として、前記楽曲データベース78に記憶された、前記同期演奏の対象となる楽曲データに基づいてその同期演奏の評価を行う。すなわち、前記同期演奏評価手段84による同期演奏の評価に関して、好適には、その同期演奏の対象となる楽曲データが前記楽曲データベース78に記憶された多数の楽曲データから選択(指定)される。前記同期演奏評価手段84は、好適には、前記同期演奏の対象となる楽曲データのテンポ値から、前記アタック音抽出手段82により抽出されたアタック音に基づいて、前記複数種類の電気楽器による同期演奏を評価する。好適には、前記同期演奏の対象となる楽曲データのテンポ値から基準区間算出手段86により算出される基準区間に対応して、その同期演奏の演奏評価を行う。
前記基準区間算出手段86は、前記楽曲データベース78に記憶された、前記同期演奏の対象となる楽曲データのテンポ値に基づいて、その同期演奏の評価に係る基準区間を算出する。例えば、前記同期演奏の対象となる楽曲データのテンポ値に基づいて採点パルスを算出し、その採点パルスを中心とする所定の時間範囲(例えば、±20ms程度)を前記基準区間として算出する。この採点パルスは、前記同期演奏の対象となる楽曲が4ビート、8ビート、或いは16ビートの場合、例えば、1分間をテンポ値であるBPM(Beats per minute)で除し、更に16分音符の数で除した値(=1分間÷BPM÷16分音符数)に相当する。また、前記同期演奏の対象となる楽曲がシャッフルビートの場合、例えば、1分間をテンポ値であるBPMで除し、更に3連符の数で除した値(=1分間÷BPM÷3連符符数)に相当する。
前記同期演奏評価手段84は、好適には、前記基準区間算出手段86により算出される基準区間に、前記アタック音抽出手段82により抽出されたアタック音が含まれる前記電気楽器の数が多いほど、前記同期演奏の評価を高くする。例えば、前記基準区間算出手段86により算出される基準区間に、前記アタック音抽出手段82により抽出されたアタック音が含まれる前記電気楽器の数に応じて加点乃至減点を行う態様において、その数が多いほど加点を行う(多くの得点を加算する)。また、前記同期演奏評価手段84は、好適には、前記基準区間算出手段86により算出される基準区間に、リズムパートに属する電気楽器に対応するアタック音が含まれている場合には、余の電気楽器に対応するアタック音が前記基準区間に含まれている場合よりも前記同期演奏の評価を高くする。換言すれば、ドラムやベース等、リズムパートに属する電気楽器に関しては、前記アタック音が前記基準区間に含まれているか否かに基づく演奏評価において評価の比重を高くする。例えば、前記基準区間算出手段86により算出される基準区間に、リズムパートに属する電気楽器に対応するアタック音が含まれている場合には、リズムパートに属しない電気楽器に対応するアタック音が前記基準区間に含まれている場合よりも多くの加点を行う。
図6は、前記同期演奏評価手段84のサンプリング方式による同期演奏評価制御の具体的な一例を説明する図であり、楽器1である「ドラム」、楽器2である「ギター(エレキギター)」、及び楽器3である「ベース(ベースギター)」のアタック音の出力タイミングを縦の太線で示している。例えば、前記同期演奏の対象となる楽曲データのテンポ値であるBPMが120、分解能が480である場合、図6に示すように、1小節1拍「000」(時間0'0"00000;16分音符その1)、1小節1拍「120」(時間0'0"03125;16分音符その2)、1小節1拍「240」(時間0'0"06250;16分音符その3)、1小節1拍「360」(時間0'0"09375;16分音符その4)、1小節2拍「000」(時間0'0"12500;16分音符その1)、・・・が前記採点パルスとして判定され、各採点パルス±20msの範囲が前記基準区間として算出される。図6においては、各採点パルスに対応する基準区間をグレーの範囲で示している。
図6に示す例において、1小節1拍「000」に対応する基準区間では、「ドラム」、「ギター」、及び「ベース」それぞれに対応するアタック音が何れもその基準区間内に含まれている(基準区間に含まれる楽器数=3)ため、5点の加点が行われる。1小節1拍「120」に対応する基準区間では、「ドラム」に対応するアタック音はその基準区間内に含まれているが「ギター」及び「ベース」に対応するアタック音は何れも前記基準区間内に含まれていない(基準区間に含まれる楽器数=1)ため、2点の加点が行われる。1小節1拍「240」に対応する基準区間では、「ドラム」及び「ギター」それぞれに対応するアタック音はその基準区間内に含まれているが、「ベース」に対応するアタック音は前記基準区間内に含まれていない(基準区間に含まれる楽器数=2)ため、3点の加点が行われる。1小節1拍「360」に対応する基準区間では、「ドラム」及び「ベース」それぞれに対応するアタック音はその基準区間内に含まれているが、「ギター」に対応するアタック音は前記基準区間内に含まれていない(基準区間に含まれる楽器数=2)ため、4点の加点が行われる。ここで、1小節1拍「240」に対応する基準区間と、1小節1拍「360」に対応する基準区間とで、各基準区間に含まれる楽器数は同じであるが、1小節1拍「360」に対応する基準区間にはリズムパートに属する「ベース」に対応するアタック音が含まれている(1小節1拍「240」に対応する基準区間にはリズムパートに属しない「ギター」に対応するアタック音が含まれている)ため、より多くの加点が行われている。
図7は、前記カラオケ装置10のCPU12によるバンド演奏評価制御(サンプリング方式による演奏評価制御)の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ステップ(以下、ステップを省略する)SA1において、サンプリング方式による同期演奏評価モードが成立しているか否かが判断される。このSA1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SA1の判断が肯定される場合には、SA2において、バンド演奏(同期演奏)の対象となる楽曲データが指定され、その楽曲データが前記楽曲データベース78から読み出されて前記RAM16等に展開される。次に、前記基準区間算出手段86の動作に対応するSA3において、SA2にて読み出された楽曲データのテンポ値に基づいて、その同期演奏の評価に係る基準区間が算出される。例えば、前記同期演奏の対象となる楽曲データのテンポ値に基づいて採点パルスが算出され、その採点パルスを中心とする所定の時間範囲が前記基準区間として算出される。次に、前記演奏音判別手段80及びアタック音抽出手段82の動作に対応するSA4において、前記カラオケ装置10に接続された複数種類の電気楽器それぞれから入力される演奏音が判別され、各演奏音に対応する音圧レベルの増加に係る時間変化率が、予め定められた規定の閾値以上であるアタック音が抽出される。次に、前記同期演奏評価手段84の動作に対応するSA5において、SA3にて算出された基準区間に、SA4にて抽出されたアタック音が含まれる前記電気楽器の数に基づいて、前記複数種類の電気楽器によるバンド演奏(同期演奏)の演奏評価が行われる。次に、SA6において、SA5にて行われた演奏評価結果が前記映像処理部20等を介して前記ディスプレイ44に表示された後、それをもって本ルーチンが終了させられる。
このように、本実施例によれば、前記複数種類の電気楽器それぞれから入力される演奏音に対応して、予め定められた関係からその演奏音の音圧レベルに基づいてアタック音を抽出するアタック音抽出手段82(SA4)と、そのアタック音抽出手段82により抽出されたアタック音に基づいて、前記複数種類の電気楽器による同期演奏を評価する同期演奏評価手段84(SA5)とを、備えたものであることから、複数種類の楽器をそれぞれ演奏する演奏者がバンドを組み、それら複数種類の楽器を同期して演奏することにより1の楽曲を奏でるバンド演奏に関して、バンド演奏全体での調和を好適に評価することができる。すなわち、複数種類の電気楽器による同期演奏を総合的に評価する楽器音出力装置としてのカラオケ装置10を提供することができる。
また、前記アタック音抽出手段82は、前記演奏音の音圧レベルの増加に係る時間変化率が規定の閾値以上である部分を、前記アタック音として抽出するものであるため、前記複数種類の電気楽器それぞれから入力される演奏音に対応して、各演奏音におけるアタック音を好適且つ実用的な態様で抽出することができる。
また、複数の楽曲データを記憶する楽曲データベース78を備え、前記同期演奏評価手段84は、前記楽曲データベース78に記憶された前記同期演奏の対象となる楽曲データのテンポ値から、前記アタック音抽出手段82により抽出されたアタック音に基づいて、前記複数種類の電気楽器による同期演奏を評価するものであるため、前記同期演奏の評価の基準となるタイミングを楽曲データのテンポ値に基づいて設定することで、聴感に即した信頼性の高い演奏評価を実現することができる。
また、前記楽曲データベース78に記憶された、前記同期演奏の対象となる楽曲データのテンポ値に基づいて、その同期演奏の評価に係る基準区間を算出する基準区間算出手段86(SA3)を備え、前記同期演奏評価手段84は、前記基準区間算出手段86により算出される基準区間に、前記アタック音抽出手段82により抽出されたアタック音が含まれる前記電気楽器の数が多いほど、前記同期演奏の評価を高くするものであるため、前記同期演奏の対象となる楽曲データに基づいて、聴感に即した信頼性の高い演奏評価を実用的な態様で実現することができる。
また、前記同期演奏評価手段84は、リズムパートに属する電気楽器に対応するアタック音が前記基準区間に含まれている場合には、余の電気楽器に対応するアタック音が前記基準区間に含まれている場合よりも前記同期演奏の評価を高くするものであるため、例えばベースギターやドラム等、一般にバンド演奏において重要なパートとされるリズムパートに属する電気楽器の比重を高くすることで、より信頼性の高い演奏評価を実現することができる。
続いて、前記カラオケ装置10によるバンド演奏評価制御の他の好適な実施例を図面に基づいて詳細に説明する。なお、以下の説明において、実施例相互に共通する部分については同一の符号を付してその説明を省略する。
本実施例において、図2に示す同期演奏評価手段84は、好適には、マッチング方式による同期演奏評価制御として、前記アタック音抽出手段82により抽出された前記複数種類の電気楽器それぞれに対応するアタック音相互の時間間隔に基づいてそれら複数種類の電気楽器による同期演奏を評価する。換言すれば、前記同期演奏の対象となる楽曲データを基準とすることなく、前記アタック音抽出手段82により抽出された前記複数種類の電気楽器それぞれに対応するアタック音がどれだけ揃っているかに基づいてその同期演奏の評価を行う。
本実施例のマッチング方式による同期演奏評価制御において、前記基準区間算出手段86は、前記アタック音抽出手段82により抽出された前記複数種類の電気楽器それぞれに対応するアタック音のうち、1の電気楽器に対応するアタック音の出力タイミングを中心とする基準区間を算出する。好適には、前記アタック音抽出手段82により抽出された各アタック音の出力タイミングを中心とする所定の時間範囲(例えば、±20ms程度)を前記基準区間として算出する。すなわち、好適には、前記アタック音抽出手段82により抽出された全てのアタック音に関して斯かる基準区間の算出を行うものであるが、所定の電気楽器例えばリズムパートに属する「ドラム」の演奏音に対応して前記アタック音抽出手段82により抽出されたアタック音に関してのみ前記基準区間の算出を行うものであってもよい。
前記同期演奏評価手段84は、好適には、前記基準区間算出手段86により算出される基準区間に、前記アタック音抽出手段82により抽出されたアタック音が含まれる前記電気楽器の数が多いほど、前記同期演奏の評価を高くする。例えば、前記基準区間算出手段86により算出される基準区間に、前記アタック音抽出手段82により抽出されたアタック音(その基準区間算出の対象となったアタック音ではない他のアタック音)が含まれる前記電気楽器の数に応じて加点乃至減点を行う態様において、その数が多いほど加点を行う。また、前記同期演奏評価手段84は、好適には、前記基準区間算出手段86により算出される基準区間に、リズムパートに属する電気楽器に対応するアタック音が含まれている場合には、余の電気楽器に対応するアタック音が前記基準区間に含まれている場合よりも前記同期演奏の評価を高くする。換言すれば、ドラムやベース等、リズムパートに属する電気楽器に関しては、前記アタック音が前記基準区間に含まれているか否かに基づく演奏評価において比重を高くする。例えば、前記基準区間算出手段86により算出される基準区間に、リズムパートに属する電気楽器に対応するアタック音が含まれている場合には、リズムパートに属しない電気楽器に対応するアタック音が前記基準区間に含まれている場合よりも多くの加点を行う。
図8は、前記同期演奏評価手段84のマッチング方式による同期演奏評価制御の具体的な一例を説明する図であり、楽器1である「ドラム」、楽器2である「ギター(エレキギター)」、及び楽器3である「ベース(ベースギター)」のアタック音の出力タイミングを縦の太線で示している。この図8に示すように、本実施例のマッチング方式による同期演奏評価制御では、例えば、楽器1である「ドラム」、楽器2である「ギター」、及び楽器3である「ベース」それぞれの演奏音に対応して抽出されるアタック音について前記基準区間を設定し、各楽器(パート)について繰り返しその基準区間にアタック音が含まれるか否かの判定を行う。すなわち、楽器1である「ドラム」のアタック音に対応して算出された基準区間に楽器2である「ギター」及び楽器3である「ベース」のアタック音が含まれるか判定し、楽器2である「ギター」のアタック音に対応して算出された基準区間に楽器1である「ドラム」及び楽器3である「ベース」のアタック音が含まれるか判定し、楽器3である「ベース」のアタック音に対応して算出された基準区間に楽器1である「ドラム」及び楽器2である「ギター」のアタック音が含まれるか判定する。
図8に示す例において、基準区間sc1は「ドラム」のアタック音に対応して判定されたものであると共に、「ギター」、「ベース」に対応して判定されたものでもある。従って、「ドラム」のアタック音に対応して判定された基準区間sc1に「ギター」及び「ベース」のアタック音が収まっていることで3点、「ギター」のアタック音に対応して判定された基準区間sc1に「ドラム」及び「ベース」のアタック音が収まっていることで4点、「ベース」のアタック音に対応して判定された基準区間sc1に「ドラム」及び「ギター」のアタック音が収まっていることで3点、合計10点の加点が行われる。基準区間sc2は「ドラム」のアタック音に対応して判定されたものであるが、「ギター」及び「ベース」のアタック音は何れも含まれていないので加点は行われない。基準区間sc3は「ベース」のアタック音に対応して判定されたものであるが、「ドラム」及び「ギター」のアタック音は何れも含まれていないので加点は行われない。基準区間sc4は「ドラム」のアタック音に対応して判定されたものであると共に、「ギター」に対応して判定されたものでもある。従って、「ドラム」のアタック音に対応して判定された基準区間sc4に「ギター」のアタック音が収まっていることで1点、「ギター」のアタック音に対応して判定された基準区間sc4に「ドラム」のアタック音が収まっていることで2点、合計3点の加点が行われる。基準区間sc5は「ベース」のアタック音に対応して判定されたものであるが、「ドラム」及び「ギター」のアタック音は何れも含まれていないので加点は行われない。基準区間sc6は「ドラム」のアタック音に対応して判定されたものであると共に、「ベース」に対応して判定されたものでもある。従って、「ドラム」のアタック音に対応して判定された基準区間sc6に「ベース」のアタック音が収まっていることで2点、「ベース」のアタック音に対応して判定された基準区間sc6に「ドラム」のアタック音が収まっていることで2点、合計4点の加点が行われる。
図8に示す例において、例えば前記基準区間sc4と、前記基準区間sc6とで、各基準区間に含まれる楽器数は同じ(共に楽器数は2)であるが、基準区間sc4にはリズムパートに属する「ドラム」及びリズムパートに属しない「ギター」に対応するアタック音が含まれており、基準区間sc6には何れもリズムパートに属する「ドラム」及び「ベース」に対応するアタック音が含まれている。従って、リズムパートに属する楽器が多い分基準区間sc6の方が基準区間sc4より多くの加点が行われている。
図9は、前記カラオケ装置10のCPU12によるバンド演奏評価制御(マッチング方式による演奏評価制御)の他の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、SB1において、マッチング方式による同期演奏評価モードが成立しているか否かが判断される。このSB1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SB1の判断が肯定される場合には、前記演奏音判別手段80及びアタック音抽出手段82の動作に対応するSB2において、前記カラオケ装置10に接続された複数種類の電気楽器それぞれから入力される演奏音が判別され、各演奏音に対応する音圧レベルの増加に係る時間変化率が、予め定められた規定の閾値以上であるアタック音が抽出される。次に、前記基準区間算出手段86の動作に対応するSB3において、SB2にて抽出された各アタック音の出力タイミングを中心とする所定の時間範囲が基準区間として算出される。次に、前記同期演奏評価手段84の動作に対応するSB4において、SB3にて算出された基準区間に、SB2にて抽出されたアタック音(その基準区間算出の対象となったアタック音ではない他のアタック音)が含まれる前記電気楽器の数に基づいて、前記複数種類の電気楽器によるバンド演奏(同期演奏)の演奏評価が行われる。次に、SB5において、SB4にて行われた演奏評価結果が前記映像処理部20等を介して前記ディスプレイ44に表示された後、それをもって本ルーチンが終了させられる。
このように、本実施例によれば、前記同期演奏評価手段84(SB4)は、前記アタック音抽出手段82(SB2)により抽出された前記複数種類の電気楽器それぞれに対応するアタック音相互の時間間隔に基づいてそれら複数種類の電気楽器による同期演奏を評価するものであるため、基準となるデータがなくとも、前記複数種類の電気楽器それぞれの演奏のマッチングを重視した演奏評価を実現することができる。
また、前記アタック音抽出手段82により抽出された前記複数種類の電気楽器それぞれに対応するアタック音のうち、1の電気楽器に対応するアタック音の出力タイミングを中心とする基準区間を算出する基準区間算出手段86(SB3)を備え、前記同期演奏評価手段84(SB4)は、前記基準区間算出手段86により算出される基準区間に、前記アタック音抽出手段82により抽出されたアタック音が含まれる前記電気楽器の数が多いほど、前記同期演奏の評価を高くするものであるため、前記複数種類の電気楽器それぞれの演奏のマッチングを重視した演奏評価を実用的な態様で実現することができる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例では、楽器音出力装置としての前記カラオケ装置10に接続される電気楽器として、前記エレキギター76a、ベースギター76b、電子早見本装置68(楽器演奏アプリケーションソフトウェア)、及び携帯電話機70(楽器演奏アプリケーションソフトウェア)を備えた例について説明したが、本発明はこれに限定されるものではなく、本発明の楽器音出力装置に接続されてその演奏が前記同期演奏評価手段84による評価の対象となる電気楽器には、様々なものが考えられる。例えば、ドラム(エレクトリックドラム)、エレクトーン、電子ピアノ、電子サキソフォン、タンバリン(その動きに応じた信号を楽器音出力装置に送信するもの)等、楽器音出力装置に接続された種々の電気楽器の同期演奏評価に、本発明は好適に適用されるものである。また、マイクロフォンにより集音されたドラム等の楽器の演奏音に対応するサウンドデータを前記同期演奏評価の評価対象とする態様も考えられる。
また、前述の実施例では、複数種類の電気楽器に接続され、各電気楽器から入力されるその電気楽器の演奏に応じた演奏音を増幅して出力させる楽器音出力装置の一例として、多数の楽曲データのうちから選択される楽曲データの演奏出力を行うと共に、その楽曲の歌詞文字映像を映像表示装置に表示させるカラオケ装置10に本発明が適用された例を説明したが、本発明はこれに限定されるものではなく、別の形態の楽器音出力装置にも適用され得る。例えば、専らバンド演奏を練習するために用いられる楽器演奏練習装置や、所謂音ゲー等のゲームを実行するコンシューマゲーム機等にも、本発明は好適に適用されるものである。また、所謂スマートフォン等の携帯電話機や、タブレット端末が楽器音出力装置として用いられる場合にも、本発明は好適に適用されるものである。
また、前述の実施例においては、前記楽器音出力装置にリアルタイムで入力される楽器の演奏音を前記同期演奏評価制御の対象とする例を説明したが、電気楽器から入力されるその電気楽器の演奏を例えば動画ファイル等の形式で記録し、その記録された演奏から前記アタック音を抽出する等の制御を行うことにより、複数の動画ファイルを対象として前記同期演奏評価制御を行うものであってもよい。斯かる態様によれば、例えば動画情報配信サービスを行うサーバにアップロードされた複数の動画ファイルを対象として、複数種類の電気楽器による同期演奏を総合的に評価することができる。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。