JP5245987B2 - 歌唱支援システム，支援内容推定装置およびプログラム - Google Patents

Description

本発明は、歌唱者が歌唱に際して歌唱音それぞれを発声するタイミングを、その楽曲を適切に歌唱した場合に歌唱音それぞれが発声されるタイミングに合わせられるようにするための歌唱支援を行う歌唱支援システムに関する。

近年、上述のような歌唱支援の手法としては、テロップによる文字の表示タイミングや表示態様を調整する（特許文献１〜３参照）、ガイドメロディの音量を調整する（特許文献４参照）などといった手法が提案されている。

特開２００５−１７３２５６号 特開平１０−０３９８８２号 特開２００７−２９２９２２号 特開２００５−１４８６２７号

ところで、歌唱が行われている環境が異なれば、それに応じて適切な支援内容も異なってくることが予想されるため、それに応じた歌唱支援を行うことが望ましいといえる。
例えば、歌唱が行われている場所が明るく、テロップを表示する表示装置を視認することが妨げてられている場合には、テロップの表示タイミングなどを調節しても、歌唱音の発生タイミングを合わせることに寄与しにくい。このような環境下では、テロップの表示ではなく、ガイドメロディの音量を変更するなど視認性との関連が低い支援媒体による歌唱支援を実施することが望ましいといえる。

また、歌唱が行われている場所が騒がしく、ガイドメロディの音量変化を認識させることが妨げてられている場合には、ガイドメロディの音量を調整しても、歌唱音の発生タイミングを合わせることに寄与しにくい。このような環境下では、ガイドメロディの音量変化ではなく、テロップの表示タイミングを調整するなど音量変化の認識性との関連が低い支援媒体による歌唱支援を実施することが望ましいといえる。

しかし、上述した手法では、テロップやガイドメロディなど支援に用いる単一の支援媒体でどのような内容の支援を行うことが適しているのかといったことを推定することはできても、歌唱が行われている環境において、どの支援媒体によりどのような内容の支援を行うことが適しているのか、といったことまで推定することはできない。

本発明は、このような課題を解決するためになされたものであり、その目的は、歌唱が行われている環境において、どの支援媒体によりどのような内容の支援を行うことが適しているのか、といったことを推定するための技術を提供することである。

上記課題を解決するため第１の構成は、歌唱者が歌唱に際して歌唱音それぞれを発声するタイミング（以降「発声タイミング」という）を、その楽曲を適切に歌唱した場合に歌唱音それぞれが発声されるタイミング（以降「理想タイミング」という）に合わせられるようにするための支援内容として、支援に際して用いられる１以上の支援媒体のいずれか，および，該支援媒体による支援の程度を示す１以上の支援量のいずれか，をそれぞれ組み合わせた複数種類の支援内容による歌唱支援が可能な歌唱支援システムであって、歌唱者による歌唱に関する情報を収集する情報収集部と、歌唱者に適した支援内容を推定する内容推定部と、前記内容推定部により推定された支援内容による歌唱支援を行う歌唱支援部と、からなる。

これらのうち、前記情報収集部は、歌唱者（以降「対象歌唱者」という）による楽曲（以降「対象楽曲」という）の歌唱が行われている状態において、前記１以上の支援媒体それぞれによる歌唱支援であり、該支援媒体による支援量を変更しつつ実施する測定用の歌唱支援（以降「測定支援」という）を、前記支援媒体毎に一定の測定期間ずつ繰り返し実施する測定支援手段と、前記測定支援手段により計測支援が実施されている計測期間毎に、対象歌唱者による前記発声タイミングそれぞれを、前記対象楽曲における前記理想タイミングのうちの対応する理想タイミングと対比していき、前記発声タイミングと前記理想タイミングとの時間差が所定の範囲内に収束した一部期間における前記時間差それぞれからなる時間差系列を取得する系列取得手段と、前記対象楽曲の歌唱が行われている状態において、該歌唱が行われている周辺環境に関する環境パラメータを取得する測定時パラメータ取得手段と、前記系列取得手段により取得された時間差系列，および，該取得に際して実施された前記測定支援の支援内容，からなる測定情報を、前記測定時パラメータ取得手段により取得された環境パラメータに対応づけて保存する測定情報保存手段と、を備えている。

また、前記内容推定部は、前記情報収集部において保存された同じ周辺環境を示す環境パラメータの測定情報を、前記支援内容を規定する支援媒体毎にグループ分けし、各グループの測定情報における時間差系列についての分散度合を算出する分散算出手段と、前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報のグループについて、該グループに対応する支援媒体による支援を、前記分散算出手段による算出の対象となった環境パラメータで規定される周辺環境に適した支援内容として推定する支援推定手段と、前記支援推定手段により推定された支援内容を前記環境パラメータに対応づけて保存する支援内容保存手段と、を備えている。

そして、前記歌唱支援部は、歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際に、該歌唱が行われる周辺環境に関する環境パラメータを取得する支援時パラメータ取得手段と、歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際に、前記内容推定部により保存された支援内容のうち、前記支援時パラメータ取得手段により取得された環境パラメータに対応する支援内容を抽出する内容抽出手段と、前記内容抽出手段により抽出された支援内容による歌唱支援を実施する歌唱支援手段と、を備えている。

この構成であれば、歌唱に際して複数の支援媒体それぞれによる測定支援を行うことで支援媒体毎に発声タイミングと理想タイミングとの時間差系列を計測していき、時間差系列の分散度合がしきい値未満となっている，または，最も小さくなっている支援媒体による歌唱支援を、その時点で歌唱が行われている周辺環境に適した支援内容として推定することができる。

時間差系列の分散度合がしきい値未満，または，最も小さくなる歌唱支援は、時間差が狭い範囲で収束しており、一定の時間差で安定的に歌唱できている支援内容だったことを意味している。つまり、ここでは安定的に歌唱できる支援内容を推定しているといえる。

そして、楽曲の歌唱に際して歌唱支援の要求があった際には、その時点で歌唱が行われる周辺環境に対応する支援内容が抽出され、この支援内容による歌唱支援，つまり現時点の周辺環境下で安定的に歌唱できる支援内容で歌唱支援を実施することができる。

この発明における支援媒体とは、テロップにおいて文字の表示色を変更するタイミングを調整する支援内容でいえば、「文字の表示色を変更すること」であり、この場合、その変更タイミングが「支援量」である。また、テロップにおいて文字の表示量（文字数）を調整する支援内容でいえば、「文字の表示量を変更すること」であり、この場合、その表示量が「支援量」である。また、テロップにおいて文字の表示態様（大きさなど）を変更する支援内容でいえば、「文字の表示態様を変更すること」であり、この場合、その表示態様が「支援量」である。また、理想タイミングに合わせてガイドメロディの音量などを調整する支援内容でいえば、「ガイドメロディの音量を変更すること」であり、この場合、その音量が「支援量」である。また、理想タイミングを通知するように演奏音（例えばベース音など）を調整する支援内容でいえば、「演奏音を調整すること」であり、この場合、演奏音を調整する度合（音の大きさなど）が「支援量」である。

また、上記発明における測定支援は、支援媒体毎に測定期間ずつ繰り返し実施されるものであり、例えば、同一の楽曲が歌唱される期間中の一部期間を「測定期間」として実施すればよく、また、楽曲が歌唱される期間全体を「測定期間」として実施してもよい。

また、測定支援を繰り返すためには、例えば、同一の楽曲が歌唱される期間中の一部期間を「測定期間」とする場合であれば、歌唱者による歌唱が行われており、かつ、測定期間に相当する時間が残っていることを条件に、それまでに実施されたのとは別の支援媒体によって測定支援を実施するようにすればよい。

また、上記構成において、発声タイミングと理想タイミングとを対比してなる時間差は、次のようにして特定するとよい。まず、歌唱者が楽曲の歌唱に際して歌唱音それぞれを発声した区間を歌唱区間とし、歌唱区間における音高の推移パターンを、同じ楽曲を適切に歌唱した場合に歌唱音それぞれを発声される区間であるガイド区間のうち、該当する歌唱区間に対応するガイド区間における音高の推移パターンと対比する。そして、歌唱区間における音高の推移パターンが、ガイド区間における音高の推移パターンに最も近似する（近似度が最大となる）まで、歌唱区間における時間軸上の位置を修正（時間軸に沿って前後にシフト）した場合における修正量を、上述した時間差として特定する。

なお、このように推移パターンが近似するように時間軸上の位置を修正する手法としては、どのような手法を採用してもよいが、例えば、特開２００５−１０７３３０号公報に記載されているような手法を採用することが考えられる。

また、こうして特定した時間差それぞれからなる時間差系列を取得する際の条件である「時間差が所定の範囲内に収束した」とは、例えば、測定支援中に特定される時間差それぞれが一定範囲内でしか変動しなくなったり、測定支援中に算出された時間差が継続的に一定範囲内の小さな値となったり、などという状態のことである。

また、上述した「歌唱が行われている周辺環境」とは、例えば、歌唱支援システムの機種や機能，周辺の明るさ（光量），周辺の騒がしさ（騒音レベル），室内空間の形状や広さ，などのことであり、これらをパラメータ化したものが環境パラメータとなる。また、これら環境パラメータは、例えば光量や騒音レベルなど逐次変化する値については各種センサによりその値を取得することとすればよく、その他固定値となるものについてはあらかじめ設定された値を取得することとすればよい。

また、上記構成において、歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際には、その時点における周辺環境に対応する支援内容として、特定の支援媒体だけでなく、その支援媒体による支援の程度を示す支援量についても、抽出できるようにしておくことが望ましい。

このための構成としては、上記第１の構成を以下に示す第２の構成（請求項２）のようにすることが望ましい。
この構成の前記情報収集部において、前記測定情報保存手段は、前記時間差系列の取得に際して実施された前記測定支援の支援内容として、該時間差系列の取得に際して実施された測定支援の支援媒体，および，該時間差系列に対応する一部期間に実施された測定支援の支援量を、前記測定時パラメータ取得手段により取得された環境パラメータに対応づけて保存している。

そして、前記内容推定部において、前記支援推定手段は、前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報のグループについて、該グループに対応する支援媒体，および，該グループの測定情報における支援量による支援を、前記環境パラメータで規定される周辺環境に適した支援内容として推定する。

この構成であれば、時間差系列の分散度合がしきい値未満となっている，または，最も小さくなっている支援媒体で実施された所定の支援量による歌唱支援を、周辺環境に適した支援内容として推定することができる。そして、歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際には、その時点における周辺環境に対応する支援内容が抽出され、この支援内容として特定の支援媒体による特定の支援量での歌唱支援を実施することができる。

なお、この構成において対処歌唱者に対応づけて保存する支援量は、一部期間に実施された測定支援の支援量のうち、時間差が収束した時点における支援量であってもよいし、一部期間全体の支援量を平均化したものであってもよい。

また、上記各構成において、分散度合を算出するための具体的な手法は特に限定されないが、例えば、以下に示す第３の構成（請求項３）のような手法とすることが考えられる。

この構成の前記内容推定部において、前記分散算出手段は、対象となるグループの前記測定情報における時間差系列をｄｔｉ［ｋ］（ｋは、理想タイミングに対応するインデックス）とした場合に、以下に示す式１により分散度合を算出する。

（ｋ，ｍは、理想タイミングに対応するインデックス）
この構成であれば、上記式１により算出した分散度合に基づいて、歌唱が行われている周辺環境に適した支援内容を推定することができる。

また、上記課題を解決するためには、上記第１から第３のいずれかの構成における全ての手段を備えてなることを特徴とする支援内容推定装置（請求項４）としてもよい。
この構成であれば、上記第１から第３のいずれかの構成と同様の作用，効果を得ることができる。

また、上記課題を解決するためには、上記第１〜第３のいずれかの構成における全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム（請求項５）としてもよい。

このプログラムを実行するコンピュータシステムであれば、上記第１〜第３のいずれかに係る歌唱支援システムの一部を構成することができる。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して歌唱支援システム，歌唱内容推定装置や、これを利用するユーザ等に提供されるものである。

カラオケシステムの全体構成を示すブロック図 情報収集処理を示すフローチャート カラオケシステムの動作を示す図 歌唱支援処理を示すフローチャート 支援内容特定処理を示すフローチャート 測定テーブルへと情報が登録される様子を示す図 測定情報の各情報が支援内容テーブルに登録される様子を示す図 支援内容通知処理を示すフローチャート

以下に本発明の実施形態を図面と共に説明する。
（１）全体構成
カラオケシステム１は、周知のコンピュータシステムからなるサーバ２と、１以上のカラオケ装置３それぞれとが、ネットワーク１００を介して通信可能に接続されてなるものである。なお、このカラオケシステム１が本発明における歌唱支援システムとして機能するものである。

サーバ２は、サーバ全体を制御する制御部２１，各種情報を記憶する記憶部２３，ネットワーク１００を介した通信を制御する通信部２５，キーボードやディスプレイなどからなるユーザインタフェース（Ｕ／Ｉ）部２７，記録メディアを介して情報を入出力するメディアドライブ２９などを備えている。

カラオケ装置３は、装置全体を制御する制御部３１，演奏楽曲の伴奏内容および歌詞を示す楽曲データや映像データなどを記憶する記憶部３３，ネットワーク１００を介した通信を制御する通信部３５，各種映像の表示を行う表示部４１，複数のキー・スイッチなどからなる操作部４３，マイク４５からの音声の入力とスピーカ４７からの音声の出力とを制御する音声入出力部４９，カラオケ装置３の設置場所における周辺環境に関する環境パラメータを検出する環境センサ５２などを備えている。

ここでいう「周辺環境」とは、例えば、歌唱支援システムの機種や機能，周辺の明るさ（光量），周辺の騒がしさ（騒音レベル），室内空間の形状や広さ，などのことであり、これらをパラメータ化したものが環境パラメータである。環境センサ５２は、これら環境パラメータのうち、例えば光量や騒音レベルなど逐次変化するパラメータの値を検出して取得する。一方、逐次変化しない環境パラメータは、固定値が設定されているが、その変更の必要が生じた際に、任意の操作または外部からの指令を受けて更新される。

このカラオケシステム１では、歌唱者が歌唱に際して歌唱音それぞれを発声するタイミング（以降「発声タイミング」という）を、その楽曲を適切に歌唱した場合に歌唱音それぞれが発声されるタイミング（以降「理想タイミング」という）に合わせられるようにするための支援内容として、支援に際して用いられる複数の支援媒体のいずれか，および，該支援媒体による支援の程度を示す１以上の支援量のいずれか，をそれぞれ組み合わせた複数種類の支援内容によって歌唱支援を実施するように構成されている。

ここでいう「支援媒体」とは、テロップにおいて文字の表示色を変更するタイミングを調整する支援内容でいえば、「文字の表示色を変更すること」であり、この場合、その変更タイミングが「支援量」となる。また、テロップにおいて文字の表示量（文字数）を調整する支援内容でいえば、「文字の表示量を変更すること」であり、この場合、その表示量が「支援量」となる。また、テロップにおいて文字の表示態様（大きさなど）を変更する支援内容でいえば、「文字の表示態様を変更すること」であり、この場合、その表示態様が「支援量」となる。また、理想タイミングに合わせてガイドメロディの音量などを調整する支援内容でいえば、「ガイドメロディの音量を変更すること」であり、この場合、その音量が「支援量」となる。また、理想タイミングを通知するように演奏音（例えばベース音など）を調整する支援内容でいえば、「演奏音を調整すること」であり、この場合、演奏音を調整する度合（音の大きさなど）が「支援量」となる。
（２）カラオケ装置３による処理
以下に、カラオケ装置３の制御部３１が、記憶部３３に記憶されたプログラムを実行することで開始される各種処理手順を説明する。
（２−１）情報収集処理
はじめに、カラオケ装置３において情報収集を行うための収集モードが「ＯＮ」に設定されている状態で、歌唱者による楽曲の歌唱が行われている場合に繰り返し実行される情報収集処理の処理手順を図２に基づいて説明する。ここで「歌唱者による楽曲の歌唱が行われている」ことは、楽曲の演奏が行われており、演奏中の楽曲において歌唱を行うべき期間が終了していないことをもって判定される。

この情報収集処理が起動されると、まず、歌唱が行われている周辺環境が特定される（ｓ１１０）。ここでは、環境センサ５２により検出された光量ＬＩや騒音レベルＮＬなどの値が検出されると共に、歌唱支援システムの機種や機能を表すシステム値♯Ｔ，室内空間の形状や広さを示す空間値ＳＰなどの設定値が記憶部３３から読み出され、これらの値が周辺環境を規定する環境パラメータとして取得される。なお、本実施形態において、光量ＬＩや騒音レベルＮＬなど逐次変化する値については、検出後に量子化され、一定範囲毎の領域それぞれを示す値として取得されるように構成されている。

次に、以降の処理で実施する測定用の歌唱支援（以降「測定支援」という）として、複数種類の測定支援の中から第ｉ番目の支援媒体による測定支援が選定される（ｓ１２０）。本実施形態においては、測定支援に際して用いられる支援媒体の順番を示す値ｉをセットするための変数ｉが用意されているため、ここでは、この変数ｉの値に基づいて第ｉ番目の支援媒体による測定支援が選定される。なお、この変数ｉは、後述する処理において、初期値「１」から上限値まで順次インクリメントされた後、初期値「１」にリセットされるものである。

次に、上記ｓ１２０にて選定された第ｉ番目の支援媒体による測定支援が開始される（ｓ１３０）。ここでは、第ｉ番目の支援媒体における支援量をＸｉ［１］〜Ｘｉ［ｎ］（ｎ：任意の数）それぞれに順次変更しながら歌唱支援を実施する、という測定用の歌唱支援が開始される（図３（ａ）「測定支援」参照）。

次に、歌唱者による歌唱音の発声タイミングそれぞれを、対象楽曲における理想タイミングのうちの対応する歌唱音の理想タイミングと対比することにより、発声タイミングと理想タイミングとの時間差を順次算出する、といった処理（時間差系列の算出処理）が開始される（ｓ１４０）。この処理によって、測定支援の進行に伴い、発声タイミングと理想タイミングとの時間差からなる時間差系列が生成されていくことになる（図３（ａ）「遅延計測」参照）。

この時間差系列の算出処理では、まず、歌唱者が楽曲の歌唱に際して歌唱音それぞれを発声した区間を歌唱区間とし、歌唱区間における音高の推移パターンを、同じ楽曲を適切に歌唱した場合に歌唱音それぞれを発声される区間であるガイド区間のうち、該当する歌唱区間に対応するガイド区間における音高の推移パターンと対比する。そして、歌唱区間における音高の推移パターンが、ガイド区間における音高の推移パターンに最も近似する（近似度が最大となる）まで、歌唱区間における時間軸上の位置を修正（時間軸に沿って前後にシフト）した場合における修正量を上述した時間差として算出する。このとき、推移パターンが近似するように時間軸上の位置を修正する手法は、どのような手法を採用してもよいが、例えば、特開２００５−１０７３３０号公報に記載されているような手法を採用することが考えられる。

次に、第ｉ番目の測定支援を終了する終了条件ＦＮｉが充足されているか否かがチェックされる（ｓ１５０）。ここでは、測定支援において支援量を変更する過程で算出された時間差が所定の範囲に収束した，または，第ｉ番目の測定支援が終了した（例えば全ての支援量への変更に必要な時間が経過した）ことをもって、終了条件ＦＮｉが充足したと判定される。

なお、上述した「時間差が所定の範囲に収束した場合」とは、例えば、測定支援中に算出される時間差それぞれが一定範囲内でしか変動しなくなったり、測定支援中に算出された時間差が継続的に一定範囲内の小さな値となったり、といった場合のことである。

このｓ１５０で終了条件が満たされていないと判定された場合には（ｓ１５０：ＮＯ）、対象歌唱者による対象楽曲の歌唱が終了したか否かがチェックされる（ｓ１６０）。ここでは、対象楽曲の演奏が終了したことをもって、歌唱者による対象楽曲の歌唱が終了したと判定される。

このｓ１６０で歌唱者による歌唱が終了していないと判定された場合（ｓ１６０：ＮＯ）、プロセスがｓ１５０へ戻る。
また、上記ｓ１５０で終了条件が満たされていると判定された場合（ｓ１５０：ＹＥＳ），または，上記ｓ１６０で歌唱者による歌唱が終了していると判定された場合（ｓ１６０：ＹＥＳ）、上記ｓ１３０で開始された測定支援が終了される（ｓ１７０）。

次に、ここまでに実施された測定支援において算出された時間差のうち、上記ｓ１７０で測定支援が終了された時点から遡った所定数の時間差からなる時間差系列ｄｔｉ［ｋ］（ｋは、理想タイミングに対応するインデックス，ｋ＝１，２，…）が取得される（ｓ１８０）。なお、このｓ１８０では（特に上記ｓ１６０で「ＹＥＳ」と判定された場合）、測定支援が終了された時点から遡った所定数の時間差からなる時間差系列ｄｔｉではなく、時間差系列の算出処理において算出された時間差のうち、所定数の時間差の平均が最も小さくなる区間における時間差系列を取得することとしてもよい。

次に、上記ｓ１８０にて取得された時間差系列ｄｔｉ［ｋ］，上記ｓ１７０にて測定支援が終了された時点における支援内容（支援媒体iと支援量Ｘｉ［ｊ］），および，上記ｓ１１０にて取得された環境パラメータ（ＬＩ，ＮＬ，＃Ｔ，ＳＰ）などからなる測定情報が生成され、これがサーバ２へと送信される（ｓ１９０）（図３（ａ）参照）。

ここで、支援内容を規定する支援量Ｘ［ｊ］は、以下の式１で示されるフィードバック関数ＦＢｉにより算出される。

この測定情報を受信したサーバ２では、後述する支援内容特定処理において、ｓ１１０にて特定された周辺環境に適した支援内容が特定されたうえ、これが保存される。
次に、全ての支援媒体による測定支援が終了したか否かがチェックされる（ｓ２００）。ここでは、変数ｉの値が上限値となっていることをもって、全ての支援媒体による測定支援が終了したと判定される。

このｓ２００で全ての支援媒体による測定支援が終了していないと判定された場合には（ｓ２００：ＮＯ）、上述した変数ｉがインクリメント（ｉ＋１→ｉ）された後（ｓ２１０）、本情報収集処理が終了する。

一方、全ての支援媒体による測定支援が終了していると判定された場合には（ｓ２００：ＹＥＳ）、上述した変数ｉが初期化（１→ｉ）された後（ｓ２２０）、本情報収集処理が終了する。

こうして、本情報収集処理が終了した後は、上記ｓ２１０またはｓ２２０により変更された変数ｉの値に基づいて再度情報収集処理が実行されることとなる。
（２−２）歌唱支援処理
続いて、カラオケ装置３において歌唱支援を実施するための支援モードが「ＯＮ」に設定されている状態で、歌唱者による楽曲の歌唱が開始されるタイミングで実行される歌唱支援処理の処理手順を図４に基づいて説明する。

この歌唱支援処理が起動されると、まず、歌唱が行われている周辺環境が特定される（ｓ３１０）。ここでは、上述した情報収集処理と同様、光量ＬＩ，騒音レベルＮＬ，システム値♯Ｔ，空間値ＳＰなどの値が周辺環境を規定する環境パラメータとして取得される。

次に、上記ｓ３１０で特定された周辺環境に適した支援内容を通知すべき旨の要求指令がサーバ２に対して送信される（ｓ３２０）。ここでは、要求指令が上記ｓ３１０で取得された環境パラメータと共にサーバ２へ送信される（図３（ｂ）「要求指令」参照）。この要求指令を受けたサーバ２からは、要求指令と共に送信された環境パラメータに基づいて、この環境パラメータで規定される周辺環境に適した支援内容（支援媒体ｉｏｐｔおよび支援量Ｘｏｐｔ＿ｉ）を示す要求応答が返信されてくる（図３（ｂ）「要求応答」参照）。

こうして、上記ｓ３２０で要求指令を送信した後、サーバ２からの要求応答を受信したら（ｓ３３０）、この要求応答で示される支援内容を、歌唱者が楽曲を歌唱する際の支援内容として決定する（ｓ３４０）。

次に、楽曲の演奏と共に、上記ｓ３４０により決定された支援内容による歌唱支援が開始される（ｓ３５０）（図３（ｂ）参照）。
そして、楽曲の演奏が終了するまで待機状態となった後（ｓ３６０：ＮＯ）、楽曲の演奏が終了したことをもって（ｓ３６０：ＹＥＳ）、上記ｓ３５０により開始された歌唱支援が終了し（ｓ３７０）、その後、本歌唱支援処理が終了する。
（３）サーバ２による処理
以下に、サーバ２の制御部２１が、記憶部２３に記憶されたプログラムを実行することで開始される各種処理手順を説明する。
（３−１）支援内容特定処理
はじめに、サーバ２においてカラオケ装置３から測定情報を受信する毎に起動される支援内容特定処理の処理手順を図５に基づいて説明する。この測定情報は、カラオケ装置３が情報収集処理のｓ１９０にて送信してくる情報であり、時間差系列ｄｔｉ［ｋ］，支援内容（支援媒体iと支援量Ｘｉ［ｊ］），および，環境パラメータ（ＬＩ，ＮＬ，＃Ｔ，ＳＰ）などからなる情報である（図３（ａ）参照）。

この支援内容特定処理が起動されると、まず、その起動に先立って受信した測定情報が測定情報登録用のデータテーブル（測定テーブル）に登録される（ｓ４１０）。ここでは、測定情報における時間差系列ｄｔｉ［ｋ］，および，支援内容（支援媒体iおよび支援量Ｘｉ［ｊ］）が、環境パラメータ（ＬＩ，ＮＬ，＃Ｔ，ＳＰ）に対応する測定情報として測定テーブルに登録される（図６参照）。

次に、この時点で測定テーブルに登録されている測定情報のうち、上記ｓ４１０で登録された環境パラメータに対応する１以上の測定情報それぞれが抽出される（ｓ４２０）（図７（ａ）参照）。ここでは、ｓ４１０で登録された環境パラメータと、値の組み合わせが一致または所定のしきい値以上近似している環境パラメータに対応する測定情報それぞれが抽出される。

次に、上記ｓ４２０で抽出された測定情報それぞれが、支援内容を規定する支援媒体ｉが同一となっている測定情報のグループに分けられる（ｓ４３０）（図７（ｂ）参照）。
次に、上記ｓ４３０にてグループ分けされた測定情報それぞれについて時間差系列ｄｔｉ［ｋ］の分散度合が算出され、これが支援媒体ｉ毎に平均化される（ｓ４４０）。ここでは、同一グループの測定情報それぞれの分散度合ｖｄｔｉが、その測定情報の時間差系列ｄｔｉ［ｋ］に基づいて以下の式２により算出され、これらが支援媒体ｉ毎に平均化され、これにより、支援媒体ｉそれぞれについての分散度合が求められる（図７（ｃ）参照）。

なお、上記式２における「ｍ」は、ｋと同様、理想タイミングに対応するインデックスである。
次に、上記ｓ４４０にて求められた支援媒体ｉそれぞれの分散度合ｖｄｔｉに基づいて、周辺環境に適した支援内容を規定する支援媒体ｉｏｐｔが推定される（ｓ４５０）。ここでは、分散度合ｖｄｔｉが最小または所定のしきい値未満となっている支援媒体ｉｏｐｔが、該当する環境パラメータで規定される周辺環境で楽曲を歌唱するのに適した支援内容を規定する支援媒体と推定される。

このように、分散度合ｖｄｔｉが最も小さくなる，または，しきい値未満の支援媒体ｉによる歌唱支援は、時間差系列ｄｔｉ［ｋ］の時間差が狭い範囲で収束しており、一定の時間差で安定的に歌唱できている支援内容だったことを意味している。そのため、ここで推定される支援媒体ｉｏｐｔは、その時点の周辺環境において一定の時間差で安定的に歌唱できる支援内容を規定する支援媒体といえる。

次に、上記ｓ４５０にて特定された支援媒体ｉｏｐｔそれぞれについて、この支援媒体ｉｏｐｔによる歌唱支援を行うに際しての支援量Ｘｏｐｔ＿ｉ［ｊ］が特定される（ｓ４６０）。ここでは、上記ｓ４５０において支援媒体ｉｏｐｔを特定する際に参照された支援内容を規定する支援量Ｘｉ［ｊ］，つまり対象歌唱者に適した支援内容を規定する支援媒体の支援量が、支援媒体ｉｏｐｔによる歌唱支援を行うに際しての支援量Ｘｏｐｔ＿ｉ［ｊ］として特定される。なお、参照された支援内容を規定する支援量Ｘｉ［ｊ］が複数存在している場合には、そのいずれか一方の支援量，または，平均となる支援量を、支援量Ｘｏｐｔ＿ｉ［ｊ］として特定することとすればよい。

このことを図７に基づいて説明すると、支援媒体ｉｏｐｔとして、支援媒体４が特定された場合には（同図（ｃ）参照）、この支援媒体４を特定する際に参照された支援内容（支援媒体４，支援量Ｘ４［９］）を規定する支援量Ｘ４［９］が（同図（ｂ）参照）、支援量Ｘｏｐｔ＿ｉ［ｊ］として特定される。

そして、上記ｓ４５０，ｓ４６０により特定された支援媒体ｉｏｐｔおよび支援量Ｘｏｐｔ＿ｉ［ｊ］からなる支援内容が、環境パラメータに対応づけて支援内容登録用のデータテーブル（支援内容テーブル）に登録される（ｓ４７０）（図７（ｄ）参照）。

なお、該当する支援内容テーブルに、歌唱頻度に対応する支援内容が既に登録されている場合には、この支援内容に上書きされる。
こうしてｓ４７０を終えた後、本支援内容特定処理が終了する。
（３−２）支援内容通知処理
続いて、カラオケ装置３から支援内容を通知すべき旨の要求指令を受けて起動する支援内容通知処理の処理手順を図８に基づいて説明する。この要求指令は、カラオケ装置３が歌唱支援処理のｓ３２０にて送信してくるものであり、環境パラメータと共に送信されてくる（図３（ｂ）「要求指令」参照）。

この支援内容通知処理が起動すると、まず、その起動に先立って受信された環境パラメータに基づいて、この環境パラメータで規定される周辺環境で楽曲を歌唱するのに適した支援内容が抽出される（ｓ５２０）。ここでは、この時点で支援内容テーブルに登録されている支援内容（支援媒体ｉｏｐｔおよび支援量Ｘｏｐｔ＿ｉ）のうち、本支援内容通知処理の起動に先立って受信された環境パラメータに対応する（値の組み合わせが一致または所定のしきい値以上近似している）支援内容が抽出される。

そして、上記ｓ５２０にて抽出された支援内容を示す要求応答が、要求指令の送信元であるカラオケ装置３へと返信された後（ｓ５３０）、本支援内容通知処理が終了する。
この要求応答は、カラオケ装置３が歌唱支援処理のｓ３３０にて受信する（図３（ｂ）「要求指令」参照）。
（４）作用，効果
このように構成されたカラオケシステム１では、歌唱に際して複数の支援媒体それぞれによる測定支援を行うことで支援媒体毎に発声タイミングと理想タイミングとの時間差系列を計測していき（図２の情報収集処理）、時間差系列の分散度合がしきい値未満となっている，または，最も小さくなっている支援媒体で実施された所定の支援量による歌唱支援を、その時点で歌唱が行われている周辺環境に適した支援内容として推定（特定）することができる（図５のｓ４５０，ｓ４６０）。

そして、楽曲の歌唱に際して歌唱支援の要求があった際には、その時点で歌唱が行われる周辺環境に対応する支援内容が抽出され（図８のｓ５２０）、この支援内容による歌唱支援，つまり現時点の周辺環境下で安定的に歌唱できる支援内容で歌唱支援を実施することができる（同図ｓ５３０，図４のｓ３４０，ｓ３５０）。

このとき、上記式１２より算出した分散度合に基づいて、歌唱が行われている周辺環境に適した支援内容を推定することができる。
（５）変形例
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記実施形態においては、カラオケ装置３とサーバ２とが協調して動作するように構成されたシステムとなっているが、全ての処理をカラオケ装置３側でのみ実施するように構成してもよく、また、カラオケ装置３により実施される処理それぞれを別の装置により実施するように構成してもよい。

また、上記実施形態においては、カラオケ装置３による情報収集処理が、楽曲の演奏が行われており、演奏中の楽曲において歌唱を行うべき期間が終了していない状況において繰り返し行われるように構成されている。つまり、同一の楽曲が歌唱される期間中の一部が測定支援による計測期間となっている。しかし、楽曲が歌唱される期間全体が測定支援による測定期間となるようにすべく、情報収集処理が、歌唱者による楽曲の歌唱が行われる毎に繰り返されるように構成してもよい。

また、上記実施形態においては、サーバ２による支援内容特定処理が、カラオケ装置３からの測定情報を受信する毎に起動されるように構成されている。しかし、この支援内容特定処理は、測定情報の受信とは無関係に一定期間または所定のイベント発生時に起動されるように構成してもよい。この場合、ｓ４１０を行うことなくｓ４２０から開始し、このｓ４２０においていずれかの環境パラメータに対応する測定情報を抽出すると共に、ｓ４７０の後、別の環境パラメータについてｓ４２０以降が行われるようにするとよい。

また、上記実施形態のいては、周辺環境を規定する環境パラメータとして、光量ＬＮ，騒音レベルＮＬ，システム値＃Ｔ，空間値ＳＰなどの値が採用されている場合を例示したが、環境パラメータは、歌唱が行われる周辺環境を規定することのできるものであれば、上記以外の値を採用できることはいうまでもない。
（６）本発明との対応関係
以上説明した実施形態において、情報収集処理を実行するカラオケ装置３の制御部３１が本発明における情報収集部であり、支援内容特定処理を実行するサーバ２の制御部２１が本発明における内容推定部であり、歌唱支援処理を実行するカラオケ装置の制御部３１および支援内容通知処理を実行するサーバ２の制御部２１が本発明における歌唱支援部である。

また、図２のｓ１２０〜ｓ２２０が本発明における測定支援手段に相当し、同図ｓ１８０が本発明における系列取得手段に相当し、同図ｓ１１０が本発明における測定時パラメータ取得手段に相当し、同図ｓ１９０および図５のｓ４１０が本発明における測定情報保存手段に相当し、同図ｓ４４０が本発明における分散算出手段に相当し、同図ｓ４５０，ｓ４６０が本発明における支援推定手段に相当し、同図ｓ４７０が本発明における支援内容保存手段に相当し、図４のｓ３１０が本発明における支援時パラメータ取得手段であり、図８のｓ５２０，ｓ５３０が本発明における内容抽出手段に相当し、図４のｓ３４０，ｓ３５０が本発明における歌唱支援手段に相当する。

また、支援内容特定処理を実行するサーバ２が本発明における支援内容推定装置に相当する。

１…カラオケシステム、２…サーバ、２１…制御部、２３…記憶部、２５…通信部、２７…ユーザインタフェース部、２９…メディアドライブ、
３…カラオケ装置、３１…制御部、３３…記憶部、３５…通信部、４１…表示部、４３…操作部、４５…マイク、４７…スピーカ、４９…音声入出力部、５２…環境センサ、１００…ネットワーク。

Claims (5)

1. 歌唱者が歌唱に際して歌唱音それぞれを発声するタイミング（以降「発声タイミング」という）を、その楽曲を適切に歌唱した場合に歌唱音それぞれが発声されるタイミング（以降「理想タイミング」という）に合わせられるようにするための支援内容として、支援に際して用いられる１以上の支援媒体のいずれか，および，該支援媒体による支援の程度を示す１以上の支援量のいずれか，をそれぞれ組み合わせた複数種類の支援内容による歌唱支援が可能な歌唱支援システムであって、
   歌唱者による歌唱に関する情報を収集する情報収集部と、歌唱者に適した支援内容を推定する内容推定部と、前記内容推定部により推定された支援内容による歌唱支援を行う歌唱支援部と、からなり、
   前記情報収集部は、
   歌唱者（以降「対象歌唱者」という）による楽曲（以降「対象楽曲」という）の歌唱が行われている状態において、前記１以上の支援媒体それぞれによる歌唱支援であり、該支援媒体による支援量を変更しつつ実施する測定用の歌唱支援（以降「測定支援」という）を、前記支援媒体毎に一定の測定期間ずつ繰り返し実施する測定支援手段と、
   前記測定支援手段により計測支援が実施されている計測期間毎に、対象歌唱者による前記発声タイミングそれぞれを、前記対象楽曲における前記理想タイミングのうちの対応する理想タイミングと対比していき、前記発声タイミングと前記理想タイミングとの時間差が所定の範囲内に収束した一部期間における前記時間差それぞれからなる時間差系列を取得する系列取得手段と、
   前記対象楽曲の歌唱が行われている状態において、該歌唱が行われている周辺環境に関する環境パラメータを取得する測定時パラメータ取得手段と、
   前記系列取得手段により取得された時間差系列，および，該取得に際して実施された前記測定支援の支援内容，からなる測定情報を、前記測定時パラメータ取得手段により取得された環境パラメータに対応づけて保存する測定情報保存手段と、を備えており、
   前記内容推定部は、
   前記情報収集部において保存された同じ周辺環境を示す環境パラメータの測定情報を、前記支援内容を規定する支援媒体毎にグループ分けし、各グループの測定情報における時間差系列についての分散度合を算出する分散算出手段と、
   前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報のグループについて、該グループに対応する支援媒体による支援を、前記分散算出手段による算出の対象となった環境パラメータで規定される周辺環境に適した支援内容として推定する支援推定手段と、
   前記支援推定手段により推定された支援内容を前記環境パラメータに対応づけて保存する支援内容保存手段と、を備えており、
   前記歌唱支援部は、
   歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際に、該歌唱が行われる周辺環境に関する環境パラメータを取得する支援時パラメータ取得手段と、
   歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際に、前記内容推定部により保存された支援内容のうち、前記支援時パラメータ取得手段により取得された環境パラメータに対応する支援内容を抽出する内容抽出手段と、
   前記内容抽出手段により抽出された支援内容による歌唱支援を実施する歌唱支援手段と、を備えている
   ことを特徴とする歌唱支援システム。
2. 前記情報収集部において、
   前記測定情報保存手段は、前記時間差系列の取得に際して実施された前記測定支援の支援内容として、該時間差系列の取得に際して実施された測定支援の支援媒体，および，該時間差系列に対応する一部期間に実施された測定支援の支援量を、前記測定時パラメータ取得手段により取得された環境パラメータに対応づけて保存しており、
   前記内容推定部において、
   前記支援推定手段は、前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報のグループについて、該グループに対応する支援媒体，および，該グループの測定情報における支援量による支援を、前記環境パラメータで規定される周辺環境に適した支援内容として推定する
   ことを特徴とする請求項１に記載の歌唱支援システム。
3. 前記内容推定部において、
   前記分散算出手段は、対象となるグループの前記測定情報における時間差系列をｄｔｉ［ｋ］（ｋは、理想タイミングに対応するインデックス）とした場合に、以下に示す式１により分散度合を算出する
   ことを特徴とする請求項請求項１または請求項２のいずれかに記載の歌唱支援システム。
   （ｋ，ｍは、理想タイミングに対応するインデックス）
4. 請求項１から３のいずれかに記載の内容推定部の備える全ての手段を供えてなる
   ことを特徴とする支援内容推定装置。
5. 請求項１から３のいずれかに記載の内容推定部が備える全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム。