JP6944357B2 - 通信カラオケシステム - Google Patents

Description

本発明は通信カラオケシステムに関する。

通信カラオケシステムの利用者によるカラオケ歌唱を様々な観点から評価する技術が広く知られている。たとえば、歌唱音声信号からカラオケ歌唱のタイミング（リズム）、音高、音量などのデータを抽出し、リファレンスデータと比較することで、カラオケ歌唱の正確さ（歌唱技術）を評価する機能（所謂、歌唱採点機能）を備えた通信カラオケシステムが存在する。

また、歌唱音声信号から歌唱音声のタイミング（リズム）、音高、音量などのパターンを検出し、ビブラート、しゃくり、フォールなどの歌唱技法を特定することにより、歌唱表現力を評価する機能を備えた通信カラオケシステムも存在する。

たとえば、特許文献１〜３には、歌唱音声信号からビブラート歌唱を検出して評価する技術が開示されている。また、特許文献４には、歌唱音声信号からしゃくり歌唱を検出して評価する技術が開示されている。更に、特許文献５には、歌唱音声信号からフォール歌唱を検出して評価する技術が開示されている。

特開２００５−１０７０８７号公報 特開２００８−２６８３６９号公報 特開２０１０−１４５８３８号公報 特開２００５−１０７３３６号公報 特開２００８−２２５１１５号公報

ここで、一般に、カラオケ装置が提示する歌唱技術の評価は、カラオケ歌唱を聴く聴取者の感じ方と概ね一致する傾向がある。たとえば、歌唱技術の評価が高い値を示している場合、聴取者も巧いカラオケ歌唱であると感じる傾向にある。

一方、カラオケ装置が提示する歌唱技法の検出に基づいた歌唱表現力の評価は、聴取者の感じ方との乖離が大きい場合がある。たとえば、歌唱表現力の評価は高いスコアを示しているにも関わらず、聴取者は歌唱表現力がそれほど豊かではないと感じる場合があったり、逆に歌唱表現力の評価は低いスコアを示しているにも関わらず、聴取者は歌唱表現力が豊かであると感じる場合があった。すなわち、歌唱技法の検出に基づいた歌唱表現力の評価（カラオケ装置が提示する評価）が、聴取者の感じ方と食い違うという問題が生じていた。

本発明の目的は、カラオケ装置が提示する歌唱表現力の評価を聴取者の感じ方と近似させることが可能な通信カラオケシステムを提供することにある。

上記目的を達成するための主たる発明は、カラオケ装置とサーバとが伝送路により通信可能に接続された通信カラオケシステムであって、前記カラオケ装置は、ある利用者のカラオケ歌唱により得られる歌唱音声信号から少なくとも二つの歌唱技法を検出し、検出した歌唱技法の歌唱技法スコアを歌唱区間毎に算出する歌唱技法スコア算出部と、前記カラオケ歌唱を聴いた聴取者による当該カラオケ歌唱の歌唱表現力の評価を取得し、取得した評価に基づく聴取者評価スコアを歌唱区間毎に算出する聴取者スコア算出部と、算出した前記歌唱技法スコア、及び前記聴取者評価スコアを前記サーバに送信するスコア送信部と、を有し、前記サーバは、一の楽曲のカラオケ歌唱が行われる都度、歌唱区間毎に、算出された前記歌唱技法スコアに基づく表現力評価スコアを推定し、推定した表現力評価スコアを、算出された前記聴取者評価スコアと比較し、比較結果に応じて前記表現力評価スコアの推定の精度を高めることにより、推定した表現力評価スコアが前記聴取者評価スコアに近づくように学習する人工知能部と、所定回数の前記学習が終了した後、前記一の楽曲のカラオケ歌唱における歌唱技法を評価するための評価情報を前記カラオケ装置に送信する評価情報送信部と、を有する通信カラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

本発明によれば、カラオケ装置が提示する歌唱表現力の評価を聴取者の感じ方と近似させることができる。

第１実施形態に係る通信カラオケシステムの概略を示す図である。 第１実施形態に係るカラオケ装置のハードウェア構成を示す図である。 第１実施形態に係るサーバのハードウェア構成を示す図である。 第１実施形態に係るカラオケ装置（学習時）のソフトウェア構成を示す図である。 第１実施形態に係るサーバ（学習時）のソフトウェア構成を示す図である。 サーバの記憶部に記憶されているスコアの例を示す図である。 サーバの記憶部に記憶されている配点ルールの例を示す図である。 第１実施形態に係る通信カラオケシステムの処理（学習時）を示すフローチャートである。 第１実施形態に係るサーバ（採点時）のソフトウェア構成を示す図である。 第１実施形態に係るカラオケ装置（採点時）のソフトウェア構成を示す図である。 第１実施形態に係る通信カラオケシステムの処理（採点時）を示すフローチャートである。 第２実施形態に係るサーバ（採点時）のソフトウェア構成を示す図である。 第２実施形態に係るカラオケ装置（採点時）のソフトウェア構成を示す図である。 第２実施形態に係る通信カラオケシステムの処理（採点時）を示すフローチャートである。 変形例に係る通信カラオケシステムの概略を示す図である。

＜第１実施形態＞
図１〜図１１を参照して、本実施形態に係る通信カラオケシステム１について説明する。

［通信カラオケシステム］
図１に示すように、通信カラオケシステム１は、複数のカラオケ装置Ｋ、及びサーバＳを備える。各カラオケ装置とサーバＳとは、ネットワークＮを介して通信可能に接続されている。ネットワークＮは、たとえば公衆電話回線網やインターネット回線等の伝送路である。

カラオケ装置Ｋは、利用者が所有する携帯端末Ｍと通信可能となっている。携帯端末Ｍは、一般的なスマートフォンやタブレット端末等である。各携帯端末には、カラオケ装置Ｋに対して各種入力を行うための専用アプリケーションソフトウェア（以下、「カラオケアプリ」）がインストールされている。カラオケアプリは、サーバＳや、サーバＳが提供するＷｅｂサイトからダウンロードすることで入手できる。

携帯端末Ｍとカラオケ装置Ｋは、互いに通信可能となるようにペアリングされている。ペアリングは公知の手法を利用することができる。ペアリングは、たとえば、カラオケ装置Ｋが設置されたカラオケルームへの入室後、カラオケアプリを起動させた場合に実行される。

［カラオケ装置］
カラオケ装置Ｋは、カラオケ楽曲の演奏、及び利用者がカラオケ歌唱を行うための装置である。

図２は、カラオケ装置Ｋのハードウェア構成を示す図である。図２に示すように、カラオケ装置Ｋは、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、及びリモコン装置５０を備える。

スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は利用者の歌唱音声（マイク４０からの入力音声）をアナログの音声信号に変換してカラオケ本体１０に入力するための構成である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。利用者はリモコン装置５０を用いてカラオケ歌唱を希望する楽曲の検索や選曲（予約）等を行うことができる。リモコン装置５０の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。なお、利用者が所有する携帯端末Ｍにインストールされたカラオケアプリを実行することにより、リモコン装置５０と同様の機能を携帯端末Ｍ側で実現することも可能である。

カラオケ本体１０は、選曲された楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク４０を通じて入力された音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図２に示すように、カラオケ本体１０は、制御部１１、通信部１２、記憶部１３、音響処理部１４、表示処理部１５、及び操作部１６を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

制御部１１は、ＣＰＵ及びメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリは、ＣＰＵに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。

通信部１２は、ルーター（図示なし）を介してカラオケ本体１０を通信回線に接続するためのインターフェースを提供する。

記憶部１３は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶部１３は、カラオケ装置１によりカラオケ演奏を行うための複数の楽曲データを記憶する。

楽曲データは、個々のカラオケ楽曲を特定するための識別情報（楽曲ＩＤ）が付与されている。楽曲データは、伴奏データ、リファレンスデータ、背景画像データ、歌詞データ及び属性情報を含む。伴奏データは、カラオケ演奏音の元となるＭＩＤＩ形式のデータである。リファレンスデータは、利用者によるカラオケ歌唱を採点する際の基準として用いられるデータである。リファレンスデータは、ピッチ（音高）データ、音長データ、タイミングデータ等を含む。背景画像データは、カラオケ演奏時に合わせて表示装置３０等に表示される背景画像に対応するデータである。歌詞データは、表示装置３０等に表示させる歌詞（歌詞テロップ）に関するデータである。属性情報は、曲名、歌手名、作詞・作曲者名、及びジャンル等の当該楽曲に関する情報である。また、歌唱区間の構成情報も属性情報に含まれる。歌唱区間は楽曲を構成する演奏区間のうち、カラオケ歌唱が行われる区間であって、２小節や４小節の構成単位でもよいし、１番の歌詞のＡメロ、Ｂメロ、サビといった構成単位でもよい。

音響処理部１４は、制御部１１の制御に基づき、楽曲に対するカラオケ演奏の制御およびマイク４０を通じて入力された歌唱音声信号の処理を行う。音響処理部１４は、たとえばＭＩＤＩ音源、ミキサ、アンプ（いずれも図示なし）を含む。ＭＩＤＩ音源は、楽曲データに基づいて楽音信号を生成する。ミキサは、当該楽音信号およびマイク４０から出力される音声信号を適当な比率でミキシングしてアンプに出力する。アンプは、ミキサからのミキシング信号を増幅し、放音信号としてスピーカ２０へ出力する。これにより、スピーカ２０からは放音信号に基づくカラオケ演奏音およびマイク４０からの歌唱音声が放音される。

表示処理部１５は、制御部１１の制御に基づき、表示装置３０やリモコン装置５０における各種表示に関する処理を行う。たとえば、表示処理部１５は、カラオケ演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置３０に表示させる。或いは、表示処理部１５は、リモコン装置５０の表示画面に操作入力用の各種アイコンを表示させる。

操作部１６は、パネルスイッチおよびリモコン受信回路などからなり、利用者によるカラオケ装置Ｋのパネルスイッチあるいはリモコン装置５０の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部１１に対して出力する。制御部１１は、操作部１６からの操作信号を検出し、対応する処理を実行する。

［サーバ］
サーバＳは、カラオケ装置Ｋに関する各種情報を管理したり、カラオケ装置Ｋから送信される情報処理を行うコンピュータである。図３に示すように、サーバ装置Ｓは、記憶部６０、通信部７０、及び制御部８０を備える。

記憶部６０は、各種のデータを記憶する大容量の記憶装置である。通信部７０は、サーバＳと各カラオケ装置とを接続するためのインターフェースを提供する。制御部８０は、サーバＳにおける各種の制御を行う。制御部８０はＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。

ここで、本実施形態において、通信カラオケシステム１（カラオケ装置Ｋ及びサーバＳ）は、カラオケ歌唱の表現力を評価する際の推定の精度を高める場合（学習時）と、学習結果を利用してカラオケ歌唱の表現力を評価する場合（採点時）で異なる処理を実行する。以下、学習時と採点時に分けて説明を行う。

＝＝＝学習時＝＝＝
［学習時のカラオケ装置］
学習時、制御部１１のＣＰＵがメモリに記憶される学習時用のプログラムを実行することにより、制御部１１は、歌唱技法スコア算出部１１０、聴取者スコア算出部１１１、及びスコア送信部１１２として機能する（図４参照）。

（歌唱技法スコア算出部）
歌唱技法スコア算出部１１０は、ある利用者のカラオケ歌唱により得られる歌唱音声信号から少なくとも二つの歌唱技法を検出し、検出した歌唱技法の歌唱技法スコアを歌唱区間毎に算出する。

歌唱技法は、カラオケ歌唱を行う際に利用者が駆使する技法である。具体的には、ビブラート、しゃくり、フォール等である。歌唱技法スコアは、使用された歌唱技法を評価するためのスコアであり、たとえば０点〜１００点満点の間で算出される所定の数値である。或いは、算出された数値をＡ〜Ｅの５段階のスコアとして評価することもできる。歌唱技法の検出、及び評価（歌唱技法スコアの算出）は、公知の手法を用いることができる。

一例として、利用者Ａが楽曲Ｘのカラオケ歌唱を行うとする。マイク４０は利用者Ａの歌唱音声をアナログの歌唱音声信号に変換してカラオケ本体１０に入力する。音響処理部１４は、制御部１１の制御に基づき、入力された歌唱音声信号の処理を行い、歌唱技法スコア算出部１１０に入力する。たとえば、楽曲Ｘのある歌唱区間Ｘｎのカラオケ歌唱が終了した場合、歌唱技法スコア算出部１１０は、当該カラオケ歌唱に伴う歌唱音声信号（処理済みの歌唱音声信号）から歌唱技法の検出、及び評価を行う。

ここで、歌唱区間Ｘｎにおけるビブラートの検出、評価は、たとえば以下のように行う。歌唱技法スコア算出部１１０は、処理された歌唱音声信号に基づいて、歌唱音声のピッチを検出し歌唱ピッチデータとして出力し、歌唱ピッチデータが示すピッチが正弦波形状に変動しているか否かを検出し、正弦波状に変動しているときに、歌唱音声にビブラートがかかっていると判断する。ビブラートが検出された場合、歌唱技法スコア算出部１１０は、歌唱区間Ｘｎにおけるリファレンスデータを読み出し、読み出したリファレンスデータに応じたリファレンスピッチデータと歌唱ピッチデータとを比較することにより歌唱区間Ｘｎの歌唱音声の評価を示すスコア（ビブラートの歌唱技法スコア）を算出する（詳細は特許文献１を参照）。

また、歌唱区間Ｘｎにおけるしゃくりの検出、評価は、たとえば以下のように行う。歌唱技法スコア算出部１１０は、処理された歌唱音声信号に基づいて、歌唱区間Ｘｎに含まれる音符の開始時から一定期間の歌唱周波数の変化を監視し、禁止エリアに入らず、且つしゃくり検出期間の終了のち、歌唱周波数がリファレンスの音程許容範囲に入れば、しゃくりの技巧で歌唱されたと判定する。歌唱技法スコア算出部１１０は、しゃくりの技巧で歌唱されたと判定された音符の数に応じてスコア（しゃくりの歌唱技法スコア）を算出する（詳細は特許文献４を参照）。

また、歌唱区間Ｘｎにおけるフォールの検出、評価は、たとえば以下のように行う。歌唱技法スコア算出部１１０は、処理された歌唱音声信号に基づいて、利用者Ａの歌唱のピッチを抽出する。歌唱技法スコア算出部１１０は、所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて抽出したピッチを第１のピッチとして特定し、第１のピッチを抽出したタイミングから、予め設定された設定時間前のタイミングにおいて抽出されたピッチを第２のピッチとして特定する。そして、歌唱技法スコア算出部１１０は、第２のピッチが第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を取得し、その回数に基づいて、利用者Ａの歌唱区間Ｘｎにおけるカラオケ歌唱についてのスコア（フォールの歌唱技法スコア）を算出する（詳細は特許文献５を参照）。

以上のような処理により、ここでは、楽曲Ｘの歌唱区間Ｘｎにおけるスコアとして、ビブラートに基づく歌唱技法スコア：８０．０点、しゃくりに基づく歌唱技法スコア：６０．０点、フォールに基づく歌唱技法スコア：４０．０点が算出されたとする（いずれも１００点満点中）。

（聴取者スコア算出部）
聴取者スコア算出部１１１は、カラオケ歌唱を聴いた聴取者による当該カラオケ歌唱の歌唱表現力の評価を取得し、取得した評価に基づく聴取者評価スコアを歌唱区間毎に算出する。

聴取者は、カラオケ歌唱を行う利用者（歌唱者）以外の利用者（他の利用者）であって、歌唱者のカラオケ歌唱を聴く少なくとも一人の者である。また、歌唱表現力の評価は、カラオケ歌唱に含まれる各種歌唱技法に関する評価（様々な歌唱技法を使っているか、歌唱技法を巧く使えているか等）である。聴取者による歌唱表現力の評価は、聴取者の主観に基づくものである。

聴取者によるカラオケ歌唱の評価は、様々な方法で行うことができる。本実施形態において、聴取者評価スコア算出部１１１は、聴取者が操作するそれぞれの携帯端末Ｍから受信した入力情報に基づいて、聴取者によるカラオケ歌唱の歌唱表現力の評価を取得する。

具体例として、利用者Ａが行う楽曲Ｘのカラオケ歌唱を、聴取者Ｂ〜Ｄが聴いているとする。ここで、楽曲Ｘの歌唱区間Ｘｎのカラオケ歌唱を聴いた聴取者Ｂ〜Ｄは、それぞれの主観に基づいて歌唱表現力の評価を行う。聴取者Ｂ〜Ｄは、各自の携帯端末Ｍにおいてカラオケアプリを起動させ、歌唱表現力の評価（たとえば、０点〜１００点満点の数値）を入力する。携帯端末Ｍは、入力された評価（入力情報）を聴取者評価スコア算出部１１１に送信する。聴取者評価スコア算出部１１１は、受信した入力情報に基づいて、歌唱区間Ｘｎにおける聴取者Ｂ〜Ｄそれぞれの歌唱表現力の評価を取得することができる。

聴取者スコア算出部１１１は、取得した評価に基づく聴取者評価スコアを歌唱区間毎に算出する。

たとえば、上記例における歌唱区間Ｘｎの評価として、聴取者Ｂが６７．０点、聴取者Ｃが７５．０点、聴取者Ｄが８０．０点の入力を行ったとする。この場合、聴取者スコア算出部１１１は、入力された評価の単純平均により、７４．０点を利用者Ａの歌唱区間Ｘｎにおける聴取者評価スコアとして算出することができる。なお、聴取者評価スコアの算出は、単純平均に限らず様々な方法が可能である。たとえば、各聴取者のこれまでの評価経験、歌唱履歴や年齢等の属人情報に基づいた加重平均により、聴取者評価スコアを算出してもよい。

（スコア送信部）
スコア送信部１１２は、算出した歌唱技法スコア、及び聴取者評価スコアをサーバＳに送信する。

たとえば、利用者Ａにより楽曲Ｘの歌唱区間Ｘｎのカラオケ歌唱が行われ、歌唱技法スコア（ビブラートに基づく歌唱技法スコア：８０．０点、しゃくりに基づく歌唱技法スコア：６０．０点、フォールに基づく歌唱技法スコア：４０．０点）、及び聴取者評価スコア（７４．０点）が算出されたとする。この場合、スコア送信部１１２は、算出した当該スコアを、楽曲Ｘの識別情報（楽曲ＩＤ）、及び歌唱区Ｘｎの識別情報（区間ＩＤ）等の情報と合わせ、ネットワークＮを介してサーバＳに送信する。

［学習時のサーバ］
学習時、サーバＳの記憶部６０の一部は、スコア記憶部６０ａ及び配点ルール記憶部６０ｂとして機能する（図５参照）。また、制御部８０のＣＰＵがメモリに記憶される学習時用のプログラムを実行することにより、制御部８０は、人工知能部８０ａとして機能する（図５参照）。

（スコア記憶部）
スコア記憶部６０ａは、各カラオケ装置から送信される歌唱技法スコア、及び聴取者評価スコアを記憶する。スコア記憶部６０ａは、たとえば、各スコアを楽曲毎、カラオケ歌唱毎、且つ歌唱区間毎に記憶している。図６は、スコア記憶部６０ａに記憶されているデータの一例を示す。図６に示したように、歌唱技法スコア及び聴取者評価スコアは、楽曲の識別情報（楽曲ＩＤ）、歌唱区間の識別情報（区間ＩＤ）、及びサーバＳが各スコアを受信した順に採番した楽曲毎の識別情報（歌唱ＩＤ）と関連付けて記憶されている。新たなカラオケ歌唱が行われる都度、スコア記憶部６０ａは、スコア送信部１１２から送信される歌唱技法スコア及び聴取者評価スコアを楽曲ＩＤ等と関連付けて記憶する。

（配点ルール記憶部）
配点ルール記憶部６０ｂは、表現力評価スコアを推定する際に用いる配点ルールを記憶している。配点ルールは、カラオケ装置Ｋが提示する歌唱表現力の評価を聴取者の感じ方と近似させる際に用いるルールである。配点ルールは、楽曲毎且つ歌唱区間毎に設定されている。図７は、ある楽曲のある歌唱区間における配点ルールの一例を示す。図７における配点ルールは、各歌唱技法の配点率として示されている。各配点率の合計（ビブラートの配点率Ｒｖ＋しゃくりの配点率Ｒｓ＋フォールの配点率Ｒｆ）は１．０である。

（人工知能部）
人工知能部８０ａは、一の楽曲のカラオケ歌唱が行われる都度、歌唱区間毎に、算出された歌唱技法スコアに基づく表現力評価スコアを推定し、推定した表現力評価スコアを、算出された聴取者評価スコアと比較し、比較結果に応じて表現力評価スコアの推定の精度を高めることにより、推定した表現力評価スコアが聴取者評価スコアに近づくように学習する。

カラオケ装置Ｋが提示する歌唱表現力の評価は、聴取者の実際の感じ方と乖離が大きい場合がある。そこで、人工知能部８０ａは、ある楽曲のカラオケ歌唱が行われる都度、カラオケ装置Ｋで算出された歌唱表現力の評価と、聴取者の評価との乖離が小さくなるように学習する。

表現力評価スコアは、各歌唱技法スコアに基づいて推定される総合的な評価結果である。表現力評価スコアは、たとえば、０点〜１００点満点の数値として推定される。また、表現力評価スコアは、複数のスコアの総計や平均として推定される。

具体的に、人工知能部８０ａは、カラオケ装置Ｋで算出された歌唱技法スコアに所定の配点ルールを適用することにより表現力評価スコアを推定する。所定の配点ルールは、ある楽曲のある歌唱区間においてその時点で設定されているルールであり、未だ確定していないルール（学習により変動するルール）である。

たとえば、楽曲Ｘの歌唱区間Ｘｎにおける歌唱技法スコアとして、ビブラート：８０．０点、しゃくり：６０．０点、フォール：４０．０点が算出されたとする。また、その時点で配点ルール記憶部６０ｂに記憶されている楽曲Ｘの歌唱区間Ｘｎにおける配点率が、ビブラート：０．６０、しゃくり：０．３０、フォール：０．１０であったとする。

この場合、人工知能部８０ａは、配点ルール記憶部６０ｂから配点ルール（所定の配点ルール）を読み出し、算出された各歌唱技法スコアに適用することにより、表現力評価スコアを７０．０点（＝８０．０点×０．６＋６０．０点×０．３＋４０．０点×０．１）と推定する。

次に、人工知能部８０ａは、推定した表現力評価スコアを、算出された聴取者評価スコア（スコア送信部１１２から送信されたスコア）と比較する。そして、人工知能部８０ａは、比較結果に応じて所定の配点ルールを変更することにより、表現力評価スコアの推定の精度を高める。

たとえば、上記例において、人工知能部８０ａは、楽曲Ｘの歌唱区間Ｘｎにおける聴取者評価スコアとして７４．０点を受信したとする。この場合、人工知能部８０ａは、推定された表現力評価スコア（７０．０点）と聴取者評価スコア（７４．０点）とを比較し、差分（４．０点）を得る。

ここで、人工知能部８０ａは、今回のカラオケ歌唱より前に行われた楽曲Ｘの歌唱区間Ｘｎの全カラオケ歌唱について、スコア記憶部６０ａから歌唱技法スコア及び聴取者評価スコアを読み出す。そして、人工知能部８０ａは、読み出したあるカラオケ歌唱における歌唱技法スコアに対して所定の配点ルールを適用して当該あるカラオケ歌唱における表現力評価スコアを算出し、当該あるカラオケ歌唱における聴取者評価スコアと比較することで差分を求める。人工知能部８０ａは、全カラオケ歌唱について差分を求め、その平均値を算出する。この平均値は、過去のカラオケ歌唱における聴取者の評価が反映されているため、聴取者が実際に感じた歌唱表現力の評価と関連性が高い。

たとえば、差分の平均値が４．５点であったとする。この場合、上記例で求められた差分４．０点は、差分の平均値４．５点よりも小さい。この場合、人工知能部８０ａは、上記例における表現力評価スコアの推定の精度は高いと判断する。この場合、人工知能部８０ａは、配点ルールの変更を行わない（所定の配点ルールを維持する）。

一方、たとえば、差分の平均値が２．５点であったとする。この場合、上記例で求められた差分４．０点は、差分の平均値２．５点よりも大きい。この場合、人工知能部８０ａは、上記例における表現力評価スコアの推定の精度は低いと判断する。この場合、人工知能部８０ａは、所定の配点ルールの変更を行う。

配点ルールの変更は、たとえば、比較により得られた差分４．０点が差分の平均値２．５点よりも小さくなるよう配点率を調整することにより行う。具体例として、人工知能部８０ａは、一番大きい配点率を少し減少させ、減少分を一番小さい配点率に回し、過去の差分平均値と今回の差分とを算出し直して比較し、過去の差分の平均値が大きくならず、且つ今回の差分が平均値を下回るように調整する。

ここで、たとえば、人工知能部８０ａが、ビブラートの配点率を０．６６とし、しゃくりの配点率を０．２６とし、フォールの配点率を０．０８と調整したとする。この場合、過去のカラオケ歌唱の差分の平均値は２．４９と算出し直され、一方、今回の表現力評価スコアは、７１．６点（＝８０．０点×０．６６＋６０．０点×０．２６＋４０．０点×０．０８）と推定される。従って、推定された表現力評価スコア（７１．６点）と聴取者評価スコア（７４．０点）との差分は２．４点となり、算出し直した差分の平均値２．４９点よりも小さくなる。

人工知能部８０ａは、上記と同様の処理を、一の楽曲の歌唱区間毎に所定回数、繰り返し行う。所定回数は、予め任意の値（たとえば、２０００回）を設定できる。人工知能部８０ａは、所定回数の学習が終了した後に、変更された配点ルール（最後に変更された配点ルール）を一の楽曲に対する配点ルールとして確定する。確定した配点ルールは、配点ルール記憶部６０ｂに記憶される。

［学習時の通信カラオケシステムにおける処理について］
次に、図８を参照して本実施形態に係る通信カラオケシステム１における学習時の処理の具体例について述べる。図８は、通信カラオケシステム１における処理例を示すフローチャートである。この例では、楽曲Ｘに対する配点ルールを確定する例について述べる。

ある利用者が楽曲Ｘのカラオケ歌唱を行った場合、歌唱技法スコア算出部１１０は、そのカラオケ歌唱により得られる歌唱音声信号から少なくとも二つの歌唱技法を検出し、検出した歌唱技法の歌唱技法スコアを歌唱区間毎に算出する（歌唱技法スコアの算出。ステップ１０）。

また、聴取者は、ある利用者の楽曲Ｘのカラオケ歌唱に伴い、自己の携帯端末Ｍを介して歌唱表現力の評価を入力する。聴取者スコア算出部１１１は、歌唱表現力の評価を取得し、取得した評価に基づく聴取者評価スコアを歌唱区間毎に算出する（聴取者評価スコアの算出。ステップ１１）。

スコア送信部１１２は、ステップ１０で算出した歌唱技法スコア、及びステップ１１で算出した聴取者評価スコアをサーバＳに送信する（スコアの送信。ステップ１２）。

人工知能部８０ａは、ステップ１２で送信された歌唱技法スコアに所定の配点ルールを適用することにより表現力評価スコアを推定する（表現力評価スコアの推定。ステップ１３）。

人工知能部８０ａは、ステップ１３で推定した表現力評価スコアを、ステップ１２で送信された聴取者評価スコアと比較し、比較結果に応じて所定の配点ルールを変更（または維持）することにより、表現力評価スコアの推定の精度を高める（推定の精度向上。ステップ１４）。

通信カラオケシステム１は、楽曲Ｘについて所定回数の学習が終了するまで、ステップ１０〜ステップ１４までの処理を歌唱の都度、繰り返し行うことにより、推定した表現力評価スコアと聴取者評価スコアが近似するように学習を行う。

一方、楽曲Ｘについて所定回数の学習が終了した場合（ステップ１５でＹの場合）、人工知能部８０ａは、最終的に変更された配点ルールを楽曲Ｘに対する配点ルールとして確定する（配点ルールの確定。ステップ１６）。

＝＝＝採点時＝＝＝
［採点時のサーバ］
採点時、サーバＳの記憶部６０の一部は、配点ルール記憶部６０ｂとして機能する（図９参照）。配点ルール記憶部６０ｂには、確定した配点ルールが記憶されている。また、制御部８０のＣＰＵがメモリに記憶される採点時用のプログラムを実行することにより、制御部８０は、人工知能部８０ａ、及び評価情報送信部８０ｂとして機能する（図９参照）。

（人工知能部）
採点時（所定回数の学習が終了した後）における人工知能部８０ａは、カラオケ装置Ｋ（歌唱技法スコア算出部１１０）で算出された歌唱技法スコアに確定した配点ルールを適用することにより表現力評価スコアを算出する。

たとえば、確定した楽曲Ｘの歌唱区間Ｘｎの配点ルールが、ビブラートの配点率：０．６５とし、しゃくりの配点率を０．２５とし、フォールの配点率を０．１０であるとする。ここで、カラオケ装置Ｋにおいて利用者Ｅが楽曲Ｘのカラオケ歌唱を行った場合、カラオケ装置Ｋ（歌唱技法スコア算出部１１０）は、楽曲Ｘの歌唱区間毎に歌唱技法スコアを算出する。スコア送信部１１２は、算出した歌唱技法スコアをサーバＳに送信する。この際、楽曲Ｘの歌唱区間Ｘｎにおけるスコアとして、ビブラートに基づく歌唱技法スコア：８０．０点、しゃくりに基づく歌唱技法スコア：６０．０点、フォールに基づく歌唱技法スコア：４０．０点が送信されたとする。

人工知能部８０ａは、算出された歌唱技法スコアに確定した配点ルールを適用することにより、歌唱区間Ｘｎの表現力評価スコアとして７１．０点（８０．０点×０．６５＋６０．０点×０．２５＋４０．０点×０．１０）を算出する。すなわち、所定回数の学習が終了した後は、聴取者の有無に関わらず、聴取者評価スコアに近い評価を表現力評価スコアとして得ることができる。

（評価情報送信部）
評価情報送信部８０ｂは、所定回数の学習が終了した後、一の楽曲のカラオケ歌唱における歌唱技法を評価するための評価情報をカラオケ装置Ｋに送信する。

評価情報は、様々な形態で出力できる。本実施形態において、評価情報送信部８０ｂは、評価情報として、確定した配点ルールに基づいて算出された表現力評価スコアを一の楽曲のカラオケ歌唱が行われたカラオケ装置Ｋに対して送信する。

たとえば上記例において、人工知能部８０ａにより、歌唱区間Ｘｎにおける表現力評価スコアとして７１．０点が算出された場合、評価情報送信部８０ｂは、算出された表現力評価スコアをカラオケ装置Ｋに送信する。

［採点時のカラオケ装置］
図１０に示すように、採点時には、制御部１１のＣＰＵがメモリに記憶される採点時用のプログラムを実行することにより、制御部１１は、歌唱技法スコア算出部１１０、スコア送信部１１２、技術評価スコア算出部１１３、及び歌唱総合評価スコア算出部１１４として機能する。なお、学習時と同様の構成については詳細な説明を省略する。

（スコア送信部）
採点時におけるスコア送信部１１２は、算出した歌唱技法スコアをサーバＳに送信する。上述のように、たとえば、利用者Ｅが楽曲Ｘのカラオケ歌唱を行った場合、スコア送信部１１２は、歌唱技法スコア算出部１１０が楽曲Ｘの歌唱区間毎に算出した歌唱技法スコアをサーバＳに送信する。

（技術評価スコア算出部）
技術評価スコア算出部１１３は、カラオケ歌唱により得られる歌唱音声信号から少なくともタイミング情報と音高情報とを含む歌唱データを抽出し、リファレンスデータと比較することにより技術評価スコアを算出する。

技術評価スコアの算出は、公知のカラオケ歌唱における採点手法を用いることができる。たとえば、利用者Ｅが楽曲Ｘのカラオケ歌唱を行った場合、技術評価スコア算出部１１３は、利用者Ｅの歌唱音声信号からタイミング情報及び音高情報を抽出する。また、技術評価スコア算出部１１３は、記憶部１３から楽曲Ｘのリファレンスデータを読み出す。技術評価スコア算出部１１３は、抽出したタイミング情報及び音高情報をリファレンスデータと比較することでそのズレを判別し、ずれ量に応じて技術評価スコア（たとえば、０点〜１００点満点の数値）を算出する。

（歌唱総合評価スコア算出部）
歌唱総合評価スコア算出部１１４は、サーバＳの評価情報送信部８０ｂにより送信された表現力評価スコア、及び算出された技術評価スコアに基づいて歌唱総合評価スコアを算出する。

たとえば、評価情報送信部８０ｂにより送信された表現力評価スコアが７１点であり、技術評価スコア算出部１１３により算出された技術評価スコアが８５点であったとする。この場合、歌唱総合評価スコア算出部１１４は、平均値である７８点を歌唱総合評価スコアとして算出する。歌唱総合評価スコア算出部１１４は、算出した歌唱総合評価スコアを表示装置３０やリモコン装置５０に出力して表示させることができる。なお、単純な平均値ではなく、たとえば広い声域が必要とされる楽曲や複雑なリズムの楽曲など難易度が高い楽曲については技術評価スコアの比重を高めたり、スローテンポのバラードの様な楽曲については表現力評価スコアの比重を高めたりした加重平均により平均値を算出してもよい。

［採点時の通信カラオケシステムにおける処理について］
次に、図１１を参照して本実施形態に係る通信カラオケシステム１における採点時の処理の具体例について述べる。図１１は、通信カラオケシステム１における処理例を示すフローチャートである。この例では、学習により得られた、楽曲Ｘに対する確定した配点ルールが配点ルール記憶部６０ｂに記憶されている例について述べる。

ある利用者が楽曲Ｘのカラオケ歌唱を行った場合、歌唱技法スコア算出部１１０は、そのカラオケ歌唱により得られる歌唱音声信号から少なくとも二つの歌唱技法を検出し、検出した歌唱技法の歌唱技法スコアを歌唱区間毎に算出する（歌唱技法スコアの算出。ステップ２０）。

スコア送信部１１２は、ステップ２０で算出した歌唱技法スコアをサーバＳに送信する（歌唱技法スコアの送信。ステップ２１）。

サーバＳの人工知能部８０ａは、ステップ２１で送信された歌唱技法スコアに確定した配点ルールを適用することにより表現力評価スコアを算出する（確定した配点ルールによる表現力評価スコアの算出。ステップ２２）。

評価情報送信部８０ｂは、評価情報として、ステップ２２で算出された表現力評価スコアを、歌唱技法スコアを送信したカラオケ装置Ｋに対して送信する（表現力評価スコアの送信。ステップ２３）。

一方、技術評価スコア算出部１１３は、ある利用者の楽曲Ｘのカラオケ歌唱により得られる歌唱音声信号から歌唱データを抽出し、リファレンスデータと比較することにより技術評価スコアを算出する（技術評価スコアの算出。ステップ２４）。

そして、歌唱総合評価スコア算出部１１４は、ステップ２３で送信された表現力評価スコア、及びステップ２４で算出された技術評価スコアに基づいて歌唱総合評価スコアを算出する（歌唱総合評価スコアの算出。ステップ２５）。

このように、本実施形態に係る通信カラオケシステム１は、カラオケ装置ＫとサーバＳとが伝送路により通信可能に接続されたシステムである。カラオケ装置Ｋは、ある利用者のカラオケ歌唱により得られる歌唱音声信号から少なくとも二つの歌唱技法を検出し、検出した歌唱技法の歌唱技法スコアを歌唱区間毎に算出する歌唱技法スコア算出部１１０と、カラオケ歌唱を聴いた聴取者による当該カラオケ歌唱の歌唱表現力の評価を取得し、取得した評価に基づく聴取者評価スコアを歌唱区間毎に算出する聴取者スコア算出部１１１と、算出した歌唱技法スコア、及び聴取者評価スコアをサーバＳに送信するスコア送信部１１２と、を有する。サーバＳは、一の楽曲のカラオケ歌唱が行われる都度、歌唱区間毎に、算出された歌唱技法スコアに基づく表現力評価スコアを推定し、推定した表現力評価スコアを、算出された聴取者評価スコアと比較し、比較結果に応じて表現力評価スコアの推定の精度を高めることにより、推定した表現力評価スコアと聴取者評価スコアが近づくように学習する人工知能部８０ａと、所定回数の学習が終了した後、一の楽曲のカラオケ歌唱における歌唱技法を評価するための評価情報をカラオケ装置Ｋに送信する評価情報送信部８０ｂと、を有する。

このような通信カラオケシステム１によれば、聴取者による歌唱表現力の評価に基づいて、表現力評価スコアの推定の精度を高めることができる。そして、このような学習を繰り返すことにより、推定の精度は徐々に向上する。従って、所定回数の学習が終了した後に得られる評価情報は、聴取者が実際に感じる歌唱表現力の豊かさを反映させたものとなっている。すなわち、本実施形態に係る通信カラオケシステム１によれば、カラオケ装置Ｋが提示する歌唱表現力の評価を聴取者の実際の感じ方と近似させることができる。

また、人工知能部８０ａは、算出された歌唱技法スコアに所定の配点ルールを適用することにより表現力評価スコアを推定し、比較結果に応じて所定の配点ルールを変更することにより、表現力評価スコアの推定の精度を高め、所定回数の前記学習が終了した後に、変更された配点ルールを一の楽曲に対する配点ルールとして確定する。

このように、歌唱技法スコア（カラオケ装置が提示する評価）及び聴取者評価スコア（聴取者が実際に感じる評価）を利用して配点ルールを変更することにより、表現力評価スコアの推定により適した配点ルールを確定できる。

また、人工知能部８０ａは、所定回数の学習が終了した後、算出された歌唱技法スコアに確定した配点ルールを適用することにより表現力評価スコアを算出する。評価情報送信部８０ｂは、評価情報として、確定した配点ルールに基づいて算出された表現力評価スコアを前記一の楽曲のカラオケ歌唱が行われたカラオケ装置に対して送信する。

更に、カラオケ装置Ｋは、カラオケ歌唱により得られる歌唱音声信号から少なくともタイミング情報と音高情報とを含む歌唱データを抽出し、リファレンスデータと比較することにより技術評価スコアを算出する技術評価スコア算出部１１３と、評価情報送信部８０ｂにより送信された表現力評価スコア、及び算出された技術評価スコアに基づいて歌唱総合評価スコアを算出する歌唱総合評価スコア算出部１１４と、を有する。

確定した配点ルールに基づいて算出された表現力評価スコアは、聴取者が実際に感じる評価に近似している。よって、聴取者が実際に感じた評価を加味した歌唱総合評価スコアを算出できる。

また、聴取者評価スコア算出部１１１は、聴取者が操作するそれぞれの携帯端末Ｍから受信した入力情報に基づいて、聴取者によるカラオケ歌唱の歌唱表現力の評価を取得する。

このように、聴取者に評価を直接入力させることにより、聴取者が実際に感じた評価を聴取者評価スコアとして正確に算出できる。

＜第２実施形態＞
次に、図１２〜図１４を参照して、本実施形態に係る通信カラオケシステム１について説明する。本実施形態では、表現力評価スコアをカラオケ装置Ｋ側で算出する例について述べる。

＝＝＝学習時＝＝＝
本実施形態における学習は、第１実施形態と同様に行われるため詳細な説明を省略する。

＝＝＝採点時＝＝＝
［採点時のサーバ］
採点時、サーバＳの記憶部６０の一部は、配点ルール記憶部６０ｂとして機能する（図１２参照）。配点ルール記憶部６０ｂには、確定した配点ルールが記憶されている。また、制御部８０のＣＰＵがメモリに記憶される採点時用のプログラムを実行することにより、制御部８０は、評価情報送信部８０ｃとして機能する（図１２参照）。

（評価情報送信部）
本実施形態において、評価情報送信部８０ｃは、評価情報として、確定した配点ルールをカラオケ装置Ｋに対して送信する。

たとえば、カラオケ装置Ｋにおいて利用者Ｅが楽曲Ｘのカラオケ歌唱を行った場合、カラオケ装置Ｋは、楽曲Ｘに対応する配点ルールを送信するよう、サーバＳに対して要求する。楽曲Ｘについて確定した配点ルールが存在する場合（配点ルール記憶部６０ｂに記憶されている場合）、評価情報送信部８０ｃは、当該配点ルールを要求のあったカラオケ装置Ｋに送信する。なお、確定した配点ルールの送信タイミングはこれに限られない。たとえば、ある楽曲に対する配点ルールが確定する都度、評価情報送信部８０ｃは、サーバＳと通信可能な全てのカラオケ装置に対して当該配点ルールを一斉に送信することでもよい。

［採点時のカラオケ装置］
採点時、記憶部１３の一部は、確定配点ルール記憶部１３ａとして機能する（図１３参照）。また、制御部１１のＣＰＵがメモリに記憶される採点時用のプログラムを実行することにより、制御部１１は、歌唱技法スコア算出部１１０、技術評価スコア算出部１１３、歌唱総合評価スコア算出部１１４、及び表現力評価スコア算出部１１５として機能する（図１３参照）。

（確定配点ルール記憶部）
確定配点ルール記憶部１３ａは、確定した配点ルールを記憶する。記憶する配点ルールは、サーバＳの評価情報送信部８０ｃから受信した配点ルールである。

（表現力評価スコア算出部）
表現力評価スコア算出部１１５は、学習が終了した後に行われた一の楽曲のカラオケ歌唱に基づいて算出された歌唱技法スコアに対し、記憶した配点ルールを適用して表現力評価スコアを算出する。

たとえば、予め、楽曲Ｘについて確定した配点ルールが確定配点ルール記憶部１３ａに記憶されているとする。ある利用者が楽曲Ｘをカラオケ歌唱した場合、歌唱技法スコア算出部１１０は、当該カラオケ歌唱に基づく歌唱技法スコアを算出する。表現力評価スコア算出部１１５は、算出された歌唱技法スコアに対し、確定配点ルール記憶部１３ａから配点ルールを読み出して適用することで表現力評価スコアを算出する（具体的には、表現力評価スコア算出部１１５は、第１実施形態で説明した採点時の人工知能部８０ａにおける処理と同様の処理を行う）。

（歌唱総合評価スコア算出部）
本実施形態に係る歌唱総合評価スコア算出部１１４は、表現力評価スコア算出部１１５により算出された表現力評価スコア、及び算出された技術評価スコアに基づいて歌唱総合評価スコアを算出する。

たとえば、表現力評価スコア算出部１１５により算出された表現力評価スコアが７０点であり、技術評価スコア算出部１１３により算出された技術評価スコアが８０点であったとする。この場合、歌唱総合評価スコア算出部１１４は、平均値である７５点を歌唱総合評価スコアとして算出する。

［採点時の通信カラオケシステムにおける処理について］
次に、図１４を参照して本実施形態に係る通信カラオケシステム１における採点時の処理の具体例について述べる。図１４は、通信カラオケシステム１における処理例を示すフローチャートである。この例では、学習により得られた、楽曲Ｘに対する確定した配点ルールが配点ルール記憶部６０ｂに記憶されている例について述べる。

ある利用者が楽曲Ｘのカラオケ歌唱を行った場合、評価情報送信部８０ｃは、楽曲Ｘに対する確定した配点ルールを配点ルール記憶部６０ｂから読み出し、ある利用者がカラオケ歌唱を行うカラオケ装置Ｋに送信する（確定した配点ルールの送信。ステップ３０）。

確定配点ルール記憶部１３ａは、ステップ３０で送信された配点ルールを記憶する（確定した配点ルールの記憶。ステップ３１）。

一方、歌唱技法スコア算出部１１０は、ある利用者のカラオケ歌唱により得られる歌唱音声信号から少なくとも二つの歌唱技法を検出し、検出した歌唱技法の歌唱技法スコアを歌唱区間毎に算出する（歌唱技法スコアの算出。ステップ３２）。

表現力評価スコア算出部１１５は、ステップ３２で算出された歌唱技法スコアに対し、ステップ３１で記憶した確定した配点ルールを適用することにより表現力評価スコアを算出する（確定した配点ルールによる表現力評価スコアの算出。ステップ３３）。

また、技術評価スコア算出部１１３は、ある利用者の楽曲Ｘのカラオケ歌唱により得られる歌唱音声信号から歌唱データを抽出し、リファレンスデータと比較することにより技術評価スコアを算出する（技術評価スコアの算出。ステップ３４）。

そして、歌唱総合評価スコア算出部１１４は、ステップ３３で算出された表現力評価スコア、及びステップ３４で算出された技術評価スコアに基づいて歌唱総合評価スコアを算出する（歌唱総合評価スコアの算出。ステップ３５）。

このように、本実施形態に係る通信カラオケシステム１における評価情報送信部８０ｃは、評価情報として、確定した配点ルールをカラオケ装置Ｋに送信する。また、カラオケ装置Ｋは、受信した確定した配点ルールを記憶する確定配点ルール記憶部１３ａと、学習が終了した後に行われた一の楽曲のカラオケ歌唱に基づいて算出された歌唱技法スコアに対し、記憶した配点ルールを適用して表現力評価スコアを算出する表現力評価スコア算出部１１５と、を有する。

このような通信カラオケシステム１によれば、確定した配点ルールに基づく表現力評価スコアの算出をカラオケ装置Ｋ側で行うことができる。よって、歌唱表現力の評価の都度、サーバＳと通信する必要が無いため、より簡便に表現力評価スコアを得ることができる。

また、カラオケ装置Ｋは、カラオケ歌唱により得られる歌唱音声信号から少なくともタイミング情報と音高情報とを含む歌唱データを抽出し、リファレンスデータと比較することにより技術評価スコアを算出する技術評価スコア算出部１１３と、表現力評価スコア算出部１１５により算出された表現力評価スコア、及び算出された技術評価スコアに基づいて歌唱総合評価スコアを算出する歌唱総合評価スコア算出部１１４と、を有する。

確定した配点ルールに基づいて算出された表現力評価スコアは、聴取者が実際に感じる評価に近似している。よって、第１実施形態の通信カラオケシステム１と同様、聴取者が実際に感じた評価を加味した歌唱総合評価スコアを算出できる。

＜変形例＞
上記実施形態では、聴取者による歌唱表現力の評価を聴取者が所有する携帯端末Ｍを介して直接入力する例について述べた。一方、聴取者が直接入力しなくとも歌唱表現力の評価を得ることも可能である。

図１５は、変形例に係る通信カラオケシステム１を示した図である。図１５に示すように、カラオケ装置Ｋは、集音部Ｃ、及び撮影部Ｐと有線または無線で通信可能に接続されている。

集音部Ｃは、聴取者の音声を集音するための手段である。集音部Ｃは、たとえば、カラオケ装置Ｋが設置されている部屋内に設けられた専用マイクである。撮影部Ｐは、聴取者を撮影し映像を取得するための手段である。撮影部Ｐは、たとえば、カラオケ装置Ｋが設置されている部屋内に設けられたカメラである。

ここで、ある利用者がカラオケ装置Ｋを利用し、楽曲Ｘのカラオケ歌唱を行っているとする。この場合、聴取者は、当該カラオケ歌唱を聴きながら、歌唱表現力の評価を行う。この際、たとえば、歌唱表現力が豊かであると感じた聴取者は、歓声を上げたり、表情が和やかになったりする。集音部Ｃや撮影部Ｐは、そのような聴取者の発する音声や表情が変化する映像を取得し、聴取者スコア算出部１１１に送信する。聴取者スコア算出部１１１は、受信した音声や映像に基づいて、聴取者の盛り上がり情報を求め、この情報を歌唱表現力の評価として用いることで聴取者評価スコアを算出する。聴取者の盛り上がり情報は、公知の手法により求めることができる（たとえば、特開２０１５−１０６０６１号公報参照）。このように、集音部Ｃから得られる音声や撮影部Ｐから得られる映像を用いて歌唱表現力の評価を取得することにより、聴取者が都度、評価の入力作業を行う手間を軽減できる。

なお、集音部Ｃ及び撮影部Ｐはいずれか一方のみが設けられていてもよいし、双方が設けられていてもよい。双方が設けられている場合、通信カラオケシステム１は、いずれか一方からの信号に基づいて歌唱表現力の評価を取得してもよいし、双方からの信号を用いて歌唱表現力の評価を取得してもよい。また、通信カラオケシステム１は、集音部Ｃや撮影部Ｐをシステムの一部として備えていてもよいし、通信カラオケシステム１とは別体の装置として設けられた集音部Ｃや撮影部Ｐからの音声信号や映像信号を利用することでもよい。

また、上記実施形態では、算出された表現力評価スコアを技術評価スコアと総合したスコアとして算出する例について述べたがこれに限られない。たとえば、カラオケ装置Ｋは、算出された表現力評価スコアのみを提示することでもよい。このような表現力評価スコアは、聴取者が実際に感じた歌唱表現力の豊かさが反映されているものである。従って、提示されたスコアを見た聴取者が違和感を覚えることが無い。

また、上記実施形態では、歌唱技法としてビブラート、しゃくり、フォールの３種類を例に説明したが、これに限られない。たとえば、特開２０１２−１９４３８９号公報には、歌唱音声信号から裏声歌唱を検出する技術が開示され、特開２０１２−７８７０１号公報には、歌唱音声信号からシャウト歌唱を検出する技術が開示され、特開２０１２−８５９６号公報には、歌唱音声信号からロングトーン歌唱を検出する技術が開示され、特開２００８−２６８３７０号公報には、歌唱音声信号からこぶし歌唱を検出する技術が開示されている。これらの技術を用いて歌唱技法を検出して評価を行うことにより、より多くの歌唱技法スコアを算出することが可能となる。

また、上記実施形態では、聴取者は、カラオケ歌唱を行う利用者（歌唱者）以外の利用者（他の利用者）としたが、これに限られない。たとえば、聴取者は、録音されたカラオケ歌唱の再生に基づいて、歌唱表現力を評価してもよい。この場合も、聴取者スコア算出部１１１は、聴取者の携帯端末やそれに類する入力手段で入力された評価（入力情報）を取得することや、録音されたカラオケ歌唱を再生した際に聴取者の発する音声や映像を取得することができる。

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 通信カラオケシステム
１３ａ 確定配点ルール記憶部
６０ａ スコア記憶部
６０ｂ 配点ルール記憶部
８０ａ 人工知能部
８０ｂ、８０ｃ 評価情報送信部
１１０ 歌唱技法スコア算出部
１１１ 聴取者評価スコア算出部
１１２ スコア送信部
１１３ 技術評価スコア算出部
１１４ 歌唱総合評価スコア算出部
１１５ 表現力評価スコア算出部
Ｋ カラオケ装置
Ｓ サーバ

Claims (8)

1. カラオケ装置とサーバとが伝送路により通信可能に接続された通信カラオケシステムであって、
   前記カラオケ装置は、
   ある利用者のカラオケ歌唱により得られる歌唱音声信号から少なくとも二つの歌唱技法を検出し、検出した歌唱技法の歌唱技法スコアを歌唱区間毎に算出する歌唱技法スコア算出部と、
   前記カラオケ歌唱を聴いた聴取者による当該カラオケ歌唱の歌唱表現力の評価を取得し、取得した評価に基づく聴取者評価スコアを歌唱区間毎に算出する聴取者スコア算出部と、
   算出した前記歌唱技法スコア、及び前記聴取者評価スコアを前記サーバに送信するスコア送信部と、
   を有し、
   前記サーバは、
   一の楽曲のカラオケ歌唱が行われる都度、歌唱区間毎に、算出された前記歌唱技法スコアに基づく表現力評価スコアを推定し、推定した表現力評価スコアを、算出された前記聴取者評価スコアと比較し、比較結果に応じて前記表現力評価スコアの推定の精度を高めることにより、推定した表現力評価スコアが前記聴取者評価スコアに近づくように学習する人工知能部と、
   所定回数の前記学習が終了した後、前記一の楽曲のカラオケ歌唱における歌唱技法を評価するための評価情報を前記カラオケ装置に送信する評価情報送信部と、
   を有する通信カラオケシステム。
2. 前記人工知能部は、
   算出された前記歌唱技法スコアに所定の配点ルールを適用することにより前記表現力評価スコアを推定し、
   比較結果に応じて前記所定の配点ルールを変更することにより、前記表現力評価スコアの推定の精度を高め、
   所定回数の前記学習が終了した後に、変更された配点ルールを前記一の楽曲に対する配点ルールとして確定することを特徴とする請求項１記載の通信カラオケシステム。
3. 前記人工知能部は、所定回数の前記学習が終了した後、算出された前記歌唱技法スコアに確定した前記配点ルールを適用することにより表現力評価スコアを算出し、
   前記評価情報送信部は、前記評価情報として、確定した前記配点ルールに基づいて算出された前記表現力評価スコアを前記一の楽曲のカラオケ歌唱が行われたカラオケ装置に対して送信することを特徴とする請求項２記載の通信カラオケシステム。
4. 前記評価情報送信部は、前記評価情報として、確定した前記配点ルールを前記カラオケ装置に送信し、
   前記カラオケ装置は、
   受信した前記確定した配点ルールを記憶する確定配点ルール記憶部と、
   前記学習が終了した後に行われた前記一の楽曲のカラオケ歌唱に基づいて算出された歌唱技法スコアに対し、記憶した前記配点ルールを適用して表現力評価スコアを算出する表現力評価スコア算出部と、
   を有することを特徴とする請求項２記載の通信カラオケシステム。
5. 前記カラオケ装置は、
   カラオケ歌唱により得られる歌唱音声信号から少なくともタイミング情報と音高情報とを含む歌唱データを抽出し、リファレンスデータと比較することにより技術評価スコアを算出する技術評価スコア算出部と、
   前記評価情報送信部により送信された表現力評価スコア、及び算出された前記技術評価スコアに基づいて歌唱総合評価スコアを算出する歌唱総合評価スコア算出部と、
   を有することを特徴とする請求項３記載の通信カラオケシステム。
6. 前記カラオケ装置は、
   カラオケ歌唱により得られる歌唱音声信号から少なくともタイミング情報と音高情報とを含む歌唱データを抽出し、リファレンスデータと比較することにより技術評価スコアを算出する技術評価スコア算出部と、
   前記表現力評価スコア算出部により算出された前記表現力評価スコア、及び算出された前記技術評価スコアに基づいて歌唱総合評価スコアを算出する歌唱総合評価スコア算出部と、
   を有することを特徴とする請求項４記載の通信カラオケシステム。
7. 前記聴取者スコア算出部は、前記聴取者が操作するそれぞれの携帯端末から受信した入力情報に基づいて、前記聴取者によるカラオケ歌唱の歌唱表現力の評価を取得することを特徴とする請求項１〜６のいずれか一つに記載の通信カラオケシステム。
8. 前記聴取者スコア算出部は、集音部により集音された前記聴取者の音声に基づく音声信号、及び／または撮影部により撮影された前記聴取者の映像に基づく映像信号から検出された検出情報に基づいて、前記聴取者によるカラオケ歌唱の歌唱表現力の評価を取得することを特徴とする請求項１〜６のいずれか一つに記載の通信カラオケシステム。

Images