JP6409652B2 - カラオケ装置、プログラム - Google Patents

Description

本発明は、カラオケの歌唱者及び聴取者の表情を歌唱の評価に加味する技術に関する。

従来、カラオケ装置に備えられる採点機能においては、音高、リズム、テクニックといった技術的な評価項目について歌唱音を分析し、採点を行うことが知られている。このような採点方法は、純粋に歌唱の技術を競ったり高得点を目指すといった目的に適うものである。

一方、グループでカラオケを楽しむという観点では、歌唱者のみならずその場にいる聴取者を含む参加者全体の場の雰囲気が重要な要素であると考えられる。そこで、歌唱者本人の歌唱技術だけでなく、歌唱を聴いている聴取者の様子を含む場の雰囲気を歌唱の評価に加味する技術が提案されている。例えば、特許文献１には、カラオケ演奏中に聴取者の操作により付与される効果音に応じて基本の採点に重み付けを行うことで、総合的な評価を行うカラオケ装置が記載されている。

特開２００６−２２７２４７号公報

しかしながら、特許文献１に記載の技術は、効果音を発生させるスイッチを押した回数に応じて加点をするものでしかなく、このようなスイッチを押すという単純な行為は、歌唱者及び聴取者の心情や気分を含む場の雰囲気を反映するものとして実効性に乏しい。

本発明は、上記問題を解決するためになされたものである。本発明の目的は、歌唱者及び聴取者を取り巻く場の雰囲気を的確に判断し、歌唱の評価に効果的に反映するための技術を提供することである。

本発明のカラオケ装置は、参加者によってリクエストされた楽曲を演奏し、演奏された楽曲に合わせて行われた歌唱に関する評価を行うものであり、記憶手段、認識手段、歌唱評価手段、表情認識手段、表情評価手段、総合評価手段、総合評価提示手段を備える。

記憶手段は、楽曲に対応付けられた顔の表情の属性を表す表情属性情報を記憶する。認識手段は、参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、参加者を認識する。歌唱評価手段は、楽曲の演奏が行われている期間において入力された歌唱音を分析して、歌唱音に関する評価を導出する。表情認識手段は、楽曲の演奏が行われている期間において、認識手段により撮像画像の中から認識された各参加者の顔の表情を認識する。

表情評価手段は、演奏された楽曲に対応付けられた表情属性情報と当該楽曲の演奏中に認識された参加者の表情との一致度合、及び当該楽曲の演奏中に認識された参加者相互の表情の一致度合に基づいて、参加者の表情に関する評価を導出する。総合評価手段は、歌唱評価手段により導出された歌唱音に関する評価結果と、表情評価手段により導出された参加者の表情に関する評価結果とを総合して、歌唱に関する総合評価を導出する。

本発明は、カラオケの参加者の顔の表情を、参加者の心情や気分、場の雰囲気等といった心理的状態を測るための指標として用いている。本発明によれば、歌唱音を分析することで得られる歌唱の技術的な評価に加え、参加者を撮像した画像から認識された各参加者の顔の表情に基づく心理的状態に関する評価を含んだ総合的な評価を行うことができる。

特に、楽曲の雰囲気に相応しい表情として対応付けられた表情属性情報と参加者の表情との一致度合を評価の観点とすることで、参加者が楽曲の雰囲気に適した表情で参加できているかを歌唱の評価に反映することができる。また、参加者相互の一致度合を評価の観点とすることで、参加者同士が心理的に一体となって参加できているかを歌唱の評価に反映することができる。このように、カラオケの参加者の表情を複数の観点から評価に加味することで、歌唱者及び聴取者を取り巻く場の雰囲気を的確に判断し、歌唱の評価に効果的に反映できる。

カラオケにおいて、場の雰囲気が盛り上がっているかどうかを評価するにあたっては、歌唱をする歌唱者とそれを聞く聴取者との間に心理的な一体感が形成されているかどうかが重視される。そこで、請求項２に記載のように構成するとよい。すなわち、判別手段は、認識手段により撮像画像の中から認識された参加者について、楽曲の演奏時に歌唱を行う歌唱者と歌唱を行わない聴取者とを判別する。表情評価手段は、演奏された楽曲に対応付けられた表情属性情報と当該楽曲の演奏中における歌唱者の表情との一致度合、及び当該楽曲の演奏中における歌唱者と聴取者との間の表情の一致度合に基づいて、参加者の表情に関する評価を導出する。このように、歌唱者と聴取者との表情の一致度合を評価の観点とすることで、歌唱者と聴取者との間に心理的な一体感が形成されているかどうかを歌唱の評価に反映できる。

請求項３に記載のカラオケ装置は、次の特徴を有する。すなわち、このカラオケ装置は、表情属性情報と参加者の表情との一致度合及び参加者相互の表情の一致度合と、参加者の表情に関する評価との相関を表す対照テーブルを備える。表情評価手段は、演奏された楽曲に対応付けられた表情属性情報と当該楽曲の演奏中における参加者の表情との一致度合、及び当該楽曲の演奏中における参加者相互の表情の一致度合を対照テーブルに照らし合せることにより、参加者の表情に関する評価を導出する。このような構成によれば、表情属性情報と参加者の表情との一致度合、及び参加者相互の表情の一致度合に基づいて対照テーブルを参照することにより、参加者の表情に関する評価を的確に導出することができる。

請求項４に記載のカラオケ装置は、次の特徴を有する。すなわち、記憶手段は、楽曲を複数に区分けした区間ごとに対応付けられた表情属性情報を記憶する。表情評価手段は、演奏された楽曲の区間ごとに対応付けられた表情属性情報と当該区間が演奏されたときに認識された参加者の表情との一致度合、及び当該区間が演奏されたときに認識された参加者相互の表情の一致度合に基づいて、区間ごとに参加者の表情に関する評価を導出する。このようにすることで、演奏の途中で雰囲気が一変するような楽曲であっても、区間ごとの雰囲気に相応しい表情として対応付けられた表情属性情報に基づいて、参加者が楽曲の雰囲気に適した表情で参加できているかを歌唱の評価に反映することができる。

なお、本発明は、請求項５に記載のように、コンピュータにおいて実行されるプログラム、あるいは当該プログラムを記憶する記憶媒体として実現することもできる。

カラオケ装置の構成を表すブロック図。 （ａ）表情対応テーブルの一例、（ｂ）区間対応情報の一例。 表情評価処理の手順を表すフローチャート。 評価対照テーブルの一例。

以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［カラオケ装置の構成の説明］
実施形態のカラオケ装置１０の構成について、図１を参照しながら説明する。

カラオケ装置１０は、参加者からリクエストされたカラオケ楽曲を演奏する機能や、参加者の歌唱を評価する機能を有する。図１に示すとおり、カラオケ装置１０は、制御部１１、記憶部１３、操作部１４、音声入出力部１５を備える。また、カラオケ装置１０には、ディスプレイ１６、マイク１７、スピーカ１８、カメラ１９等の周辺機器が接続されている。

制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等（何れも不図示）を備え、所定のプログラムに従って動作することにより、カラオケ装置１０を総合的に制御する。制御部１１は、リモコン端末等の電子早見本装置（不図示）を介してユーザから楽曲のリクエストを受付けると、その楽曲の曲番号を内部のＲＡＭ等において管理されている予約リストに受付け順に登録する。制御部１１は、予約リストに登録されている演奏順に従って、カラオケデータベースから予約曲に対応する楽曲データを順番に読出して演奏処理を行う。また、制御部１１は、楽曲の演奏時に入力された歌唱音を楽曲の採点基準データに基づいて評価し、歌唱に関する評価を算出する。

さらに、制御部１１は、本発明における特徴的な機能として、楽曲の演奏中における歌唱者及び聴取者の顔の表情を認識し、認識された表情を所定の評価基準に基づいて評価する。なお、画像の中からカラオケの参加者を認識し、それぞれの表情を認識する手法としては、特表２０１４−５０９０１１号や「Kinect（登録商標）」等の人体検出技術、特開２０１０−２１８０６０号や特開２０１３−１３１２０９号等の顔検出技術、及び特開２０１３−４１４９３号等の表情認識技術等の周知の画像認識技術を用いることが考えられる。そして、制御部１１は、歌唱に関する評価結果と表情に関する評価結果とを加味した総合評価を導出する。これらの一連の処理の詳細な手順については後述する。

記憶部１３は、例えばハードディスクドライブや半導体メモリ等の記憶装置である。記憶部１３には、カラオケ楽曲を演奏するための楽曲データを多数収録したカラオケデータベースや、カラオケ装置１０の動作を制御するためのプログラム等が記憶される。なお、カラオケデータベースに収録されている楽曲データには、楽曲のジャンル等の類別（以下、曲タイプとも称する）を表す情報や、楽曲を複数の区間に分割した歌唱区間を定義する情報、歌唱の採点を行うための採点基準データ等が含まれているものとする。また、記憶部１３には、上述の表情に関する評価において評価基準として用いられるデータとして、表情対応テーブル（図２（ａ）参照）、区間対応情報（図２（ｂ）参照）、及び評価対象テーブル（図４参照）が記憶されている。

このうち、表情対応テーブルは、演奏される楽曲の曲タイプ（例えば、バラード、ロック等のジャンル）と表情属性との対応関係を表すデータである。図２（ａ）に例示されるように、表情対応テーブルには、曲タイプ及びそれを更に細分化した歌唱区分パターンごとに、楽曲の雰囲気に相応しい表情として加点の対象となる表情を表す表情属性が定義されている。

図２（ａ）の事例では、バラードの歌唱区分パターンＡとして、愛しい、悲しみといった表情属性が対応付けられている。また、バラードの歌唱区分パターンＢとして、喜びといった表情属性が対応付けられている。一方、ロックの歌唱区分パターンＡとして、叫び、怒りといった表情属性が対応付けられている。また、ロックの歌唱区分パターンＢとして、悲しみといった表情属性が対応付けられている。

一方、区間対応情報は、楽曲を複数の区間に分割した歌唱区間と、評価対象テーブルにおいて定義されている歌唱区分パターンとの対応関係を表すデータである。図２（ｂ）に例示されるように、この区間対応情報には、楽曲の演奏時間を複数の区間に区切った歌唱区間それぞれについて、歌唱者の表情に関する評価基準として適用される歌唱区分パターンが割当てられている。なお、楽曲を区分する歌唱区間は、例えば、リフレイン形式におけるＡメロ、Ｂメロ、サビ等の楽区に対応する区間とすることが考えられる。

図２（ｂ）の事例では、歌唱区間１の演奏中については、演奏曲の曲タイプにおける歌唱区分パターンＡに対応する表情属性が適用されように定義されている。また、歌唱区間２の演奏中については、演奏曲の曲タイプにおける歌唱区分パターンＢに対応する表情属性が適用されるように定義されている。なお、この区間対応情報は、全ての曲タイプに対応する共通のものが用意されていてもよいし、例えば、曲タイプや個々の楽曲ごとに個別に用意されていてもよい。

図１の説明に戻る。操作部１４は、利用者からの操作を入力するための入力装置であり、カラオケ装置１０本体に備えられたタッチパネルやキー・スイッチ等からなる。音声入出力部１５は、音声の入出力を制御するデバイスである。音声入出力部１５の入力側にはマイク１７が接続される。これにより音声入出力部１５は、歌唱者の歌唱音を取得する。音声入出力部１５の出力側にはスピーカ１８が接続される。これにより音声入出力部１５は、制御部１１により再生された楽曲の演奏音及び歌唱者の歌唱音の音源信号をスピーカ１８に出力する。スピーカ１８は、音声入出力部１５から出力される音源信号を音に換えて出力する。

ディスプレイ１６は、制御部１１から送られてくる映像データに基づいて映像の表示を行う表示装置である。制御部１１は、カラオケの伴奏の演奏処理と併せて、背景画像や歌詞テロップをディスプレイ１６に表示させる。カメラ１９は、カラオケ装置１０が設置される場所（例えば、カラオケルーム）に設置される撮像装置であり、カラオケ装置１０を利用してカラオケを行う参加者の居る場所全体の様子を撮像し、撮像した画像データを制御部１１に出力する。なお、カラオケ装置１０のその他の機能や構成については公知技術に従っているので、ここでは詳細な説明を省略する。

［表情評価処理の説明］
カラオケ装置１０の制御部１１が実行する表情評価処理の手順について、図３のフローチャートを参照しながら説明する。この処理は、カラオケの参加者のリクエストに応じて楽曲の演奏を行うときに実行される処理である。

Ｓ１００では、制御部１１は、参加者から楽曲のリクエストを受付けると、その楽曲の曲番号を予約リストに受付け順に登録する。Ｓ１０２では、制御部１１は、カメラ１９により撮像された撮像画像に対して画像認識処理を行い、撮像画像に写っている参加者を認識する。参加者の認識は、上述の周知の人体検出や顔認識の技術を用いて行う。

Ｓ１０４では、制御部１１は、予約リストの演奏順に従って、次の予約曲の演奏処理を開始する。このとき、制御部１１は、楽曲の演奏処理と並行して、マイク１７から入力される歌唱音を分析して歌唱に関する評価を行う歌唱採点処理を行う。

Ｓ１０６では、制御部１１は、Ｓ１０２において認識された参加者について、演奏される楽曲を歌唱する歌唱者と、それ以外の聴取者とを判別する。具体的には、カメラ１９により撮像された撮像画像の中からマイク１７の画像を認識する。そして、Ｓ１０２において認識された参加者のうちマイク１７を持っている人物を歌唱者（複数可）と特定し、それ以外の人物を聴取者と特定する。

あるいは、楽曲のリクエストを受付けたときに予約者の顔画像を取得し、取得した予約者の顔画像と予約曲とを対応付けて記憶しておく。なお、予約者の顔画像を取得する方法としては、例えば、リモコン端末のディスプレイ側に設けられたカメラによって、リクエスト操作を行う予約者の顔画像を撮像し、それをカラオケ装置１０に転送する方法が挙げられる。あるいは、カメラ１９により撮像された撮像画像の中から、リモコン端末を持っている人物を画像認識により検出し、その人物の顔画像を抽出する方法が挙げられる。そして、Ｓ１０２において認識された参加者の顔画像と、次に演奏される予約曲に対応付けられている顔画像とを比較し、適合する人物を歌唱者と特定し、それ以外の人物を聴取者と特定する。

Ｓ１０８では、制御部１１は、楽曲の演奏中における所定のタイミングで撮像された撮像画像について、Ｓ１０６において判別された歌唱者及び聴取者それぞれの顔の表情を認識する。顔の表情の認識は、上述の周知の顔認識技術及び表情認識技術を用いて行う。ここでは、歌唱者及び聴取者の各個人について、例えば、喜び、悲しみ、怒り、叫び、愛しい、といった表情やその度合を推定する。

Ｓ１１０では、制御部１１は、Ｓ１０８において認識された歌唱者及び聴取者の表情に関する評価を導出する。第１に、制御部１１は、歌唱者の表情と演奏中の楽曲に対応する表情属性との一致度合を算出する。具体的には、制御部１１は、歌唱者の表情について、表情対応テーブル（図２（ａ）参照）及び区間対応情報（図２（ｂ）参照）に基づいて特定される曲タイプ及び歌唱区分パターンに該当する表情属性との一致度合を算出する。この一致度合は、表情がどの程度一致しているかを数値化したものである。例えば、１つの歌唱区間ごとに歌唱者の表情と楽曲の表情属性とが一致した回数に応じて、一致度合を加算することが考えられる。ここでは、区間対応情報において、Ｓ１０８で表情が認識された時点で演奏されていた歌唱区間に割当てられている歌唱区分パターンに対応する表情属性を一致度合の算出の基準として用いる。

第２に、制御部１１は、歌唱者と聴取者との間の表情の一致度合を算出する。この一致度合は、表情がどの程度一致しているかを数値化したものである。例えば、歌唱区間ごとに歌唱者の表情と聴取者の表情とが一致した回数に応じて、一致度合を加算することが考えられる。そして、制御部１１は、歌唱者の表情と楽曲に対応する表情属性との一致度合と、歌唱者及び聴取者相互の表情の一致度合とを、記憶部１３に記憶されている評価対照テーブル（図４参照）に照らし合せることにより、表情に関する評価を導出する。

ここで図４の評価対照テーブルについて説明する。評価対象テーブルは、表情の一致度合と評価との相関を表すデータである。図４に例示されるとおり、評価対照テーブルは、歌唱者の表情と楽曲に対応する表情属性との一致度合を第１の変数（縦軸）、歌唱者及び聴取者相互の表情の一致度合を第２の変数（横軸）とする二次元の座標空間上に、表情に関する評価の値が分布しているデータである。この評価対照テーブルでは、縦軸及び横軸それぞれの一致度合が高いほど評価が高くなるように、表情に関する評価の値が割当てられている。すなわち、座標空間の左下に行くほど評価が低くなり、右上に行くほど評価が高くなるようになっている。なお、評価対照テーブルは、全ての曲タイプに対応する共通のものが用意されていてもよいし、例えば、曲タイプや歌唱区分パターンごとに個別に用意されていてもよい。

図３のフローチャートの説明に戻る。Ｓ１１２では、制御部１１は、１つの楽曲の演奏が終了したか否かを判定する。演奏が終了していない場合（Ｓ１１２：ＮＯ）、制御部１１はＳ１０８に戻る。以降、制御部１１は、Ｓ１０８〜Ｓ１１２を繰り返し、演奏中の楽曲を構成する複数の歌唱区間それぞれについて表情に関する評価を導出する。一方、演奏が終了した場合（Ｓ１１２：ＹＥＳ）、制御部１１はＳ１１４に進む。

Ｓ１１４では、制御部１１は、歌唱採点処理により別途導出された歌唱に関する評価結果と、Ｓ１１０において導出された表情に関する評価結果とを総合した総合評価を導出する。例えば、制御部１１は、歌唱に関する評価結果の点数に表情に関する評価結果に応じた点数を加算することにより総合評価を導出する。なお、総合評価を導出するにあたって、複数の歌唱区間それぞれに対応する表情の評価結果を個別に総合評価に反映してもよいし、複数の歌唱区間それぞれに対応する表情の評価結果を統計的に処理した値を総合評価に反映してもよい。

Ｓ１１６では、制御部１１は、Ｓ１１６において導出された総合評価を参加者に対して提示する。具体的には、制御部１１は、総合評価の内容を表す画像情報をディスプレイ１６に表示させる。Ｓ１１６の後、制御部１１は本処理を終了する。

［効果］
実施形態のカラオケ装置１０によれば、次の効果を奏する。
カラオケの参加者の顔の表情を、参加者の心情や気分、場の雰囲気等といった心理的状態を測るための指標として用いて、歌唱の評価に加味することができる。これにより、歌唱音を分析することで得られる歌唱の技術的な評価に加え、参加者を撮像した画像から認識された各参加者の顔の表情に基づく心理的状態に関する評価を含んだ総合的な評価を行うことができる。

特に、楽曲の雰囲気に相応しい表情として対応付けられた表情属性情報と歌唱者の表情との一致度合を評価の観点とすることで、歌唱者が楽曲の雰囲気に適した表情で歌唱できているかを評価できる。また、歌唱者及び聴取相互の表情の一致度合を評価の観点とすることで、歌唱者と聴取者との間に心理的な一体感が形成されているかを評価できる。このように、カラオケの参加者の表情を複数の観点から評価に加味することで、歌唱者及び聴取者を取り巻く場の雰囲気を的確に判断し、歌唱の評価に効果的に反映できる。

また、楽曲を複数の区間に分けた歌唱区間ごとに定義された表情属性を表情に関する評価の基準として用いることで、演奏の途中で雰囲気が変わる楽曲であっても、歌唱者が歌唱区間ごとの雰囲気に適した表情で歌唱できているかを評価できる。

［変形例］
上述の実施形態においては、図２（ａ）に例示されるとおり、曲タイプ及び歌唱区分パターンごとに対応付けられた表情属性を評価基準に用いる事例について説明した。これとは別に、個々の楽曲ごとに定義された表情属性を評価基準に用いる構成であってもよい。また、上述の実施形態においては、図２（ｂ）に例示されるとおり、複数の歌唱区間それぞれに対応する歌唱区分パターンの表情属性を評価基準に用いる事例について説明した。これとは別に、１つの楽曲について一律に定義された表情属性を評価基準に用いる構成であってもよい。

上述の実施形態においては、表情対応テーブル（図２（ａ）参照）で表される表情属性と、歌唱者の表情との一致度合を算出する事例について説明した。これとは別に、歌唱者に加えて聴取者の表情についても、表情対応テーブルで表される表情属性との一致度合を算出し、これを表情に関する評価に加味してもよい。

［特許請求の範囲に記載の構成との対応］
実施形態の各構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
記憶部１３が、記憶手段に相当する。制御部１１及び図３のＳ１０２が、認識手段に相当する。制御部１１及び図３のＳ１０６が、判別手段に相当する。制御部１１及び図３のＳ１０８が、表情認識手段に相当する。制御部１１及び図３のＳ１１０が、表情評価手段に相当する。制御部１１及び図３のＳ１１４が、総合評価手段に相当する。制御部１１が、歌唱評価手段に相当する。

１０…カラオケ装置、１１…制御部、１３…記憶部、１４…操作部、１５…音声入出力部、１６…ディスプレイ、１７…マイク、１８…スピーカ、１９…カメラ。

Claims (5)

1. 参加者によってリクエストされた楽曲を演奏し、演奏された楽曲に合わせて行われた歌唱に関する評価を行うカラオケ装置であって、
   楽曲に対応付けられた顔の表情の属性を表す表情属性情報を記憶する記憶手段と、
   参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、前記参加者を認識する認識手段と、
   楽曲の演奏が行われている期間において入力された歌唱音を分析して、歌唱音に関する評価を導出する歌唱評価手段と、
   前記楽曲の演奏が行われている期間において、前記認識手段により前記撮像画像の中から認識された各参加者の顔の表情を認識する表情認識手段と、
   演奏された楽曲に対応付けられた前記表情属性情報と当該楽曲の演奏中に前記表情認識手段により認識された参加者の表情との一致度合、及び当該楽曲の演奏中に前記表情認識手段により認識された参加者相互の表情の一致度合に基づいて、参加者の表情に関する評価を導出する表情評価手段と、
   前記歌唱評価手段により導出された歌唱音に関する評価結果と、前記表情評価手段により導出された参加者の表情に関する評価結果とを総合して、歌唱に関する総合評価を導出する総合評価手段と、
   を備えることを特徴とするカラオケ装置。
2. 請求項１に記載のカラオケ装置において、
   前記認識手段により前記撮像画像の中から認識された参加者について、楽曲の演奏時に歌唱を行う歌唱者と歌唱を行わない聴取者とを判別する判別手段を備え、
   前記表情評価手段は、前記判別手段により判別された歌唱者及び聴取者について、演奏された楽曲に対応付けられた前記表情属性情報と当該楽曲の演奏中における前記歌唱者の表情との一致度合、及び当該楽曲の演奏中における前記歌唱者と前記聴取者との間の表情の一致度合に基づいて、参加者の表情に関する評価を導出すること、
   を特徴とするカラオケ装置。
3. 請求項１又は請求項２に記載のカラオケ装置において、
   前記表情属性情報と参加者の表情との一致度合及び参加者相互の表情の一致度合と、参加者の表情に関する評価との相関を表す対照テーブルを備え、
   前記表情評価手段は、演奏された楽曲に対応付けられた前記表情属性情報と当該楽曲の演奏中における参加者の表情との一致度合、及び当該楽曲の演奏中における参加者相互の表情の一致度合を前記対照テーブルに照らし合せることにより、参加者の表情に関する評価を導出すること、
   を特徴とするカラオケ装置。
4. 請求項１ないし請求項３の何れか１項に記載のカラオケ装置において、
   前記記憶手段は、楽曲を複数に区分けした区間ごとに対応付けられた表情属性情報を記憶し、
   前記表情評価手段は、演奏された楽曲の区間ごとに対応付けられた前記表情属性情報と当該区間が演奏されたときに認識された参加者の表情との一致度合、及び当該区間が演奏されたときに認識された参加者相互の表情の一致度合に基づいて、前記区間ごとに参加者の表情に関する評価を導出すること、
   を特徴とするカラオケ装置。
5. 参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、前記参加者を認識する認識手順と、
   楽曲の演奏が行われている期間において入力された歌唱音を分析して、歌唱音に関する評価を導出する歌唱評価手順と、
   前記楽曲の演奏が行われている期間において、前記認識手順において前記撮像画像の中から認識された各参加者の顔の表情を認識する表情認識手順と、
   演奏された楽曲に対応付けられた顔の表情の属性を表す表情属性情報と、当該楽曲の演奏中に前記表情認識手順において認識された参加者の表情との一致度合、及び当該楽曲の演奏中に前記表情認識手順において認識された参加者相互の表情の一致度合に基づいて、参加者の表情に関する評価を導出する表情評価手順と、
   前記歌唱評価手順において導出された歌唱音に関する評価結果と、前記表情評価手順において導出された参加者の表情に関する評価結果とを総合して、歌唱に関する総合評価を導出する総合評価手順と、
   をコンピュータに実行させることを特徴とするプログラム。