JP5245986B2 - 歌唱支援システム，支援内容推定装置およびプログラム - Google Patents

Description

本発明は、歌唱者が歌唱に際して歌唱音それぞれを発声するタイミングを、その楽曲を適切に歌唱した場合に歌唱音それぞれが発声されるタイミングに合わせられるようにするための歌唱支援を行う歌唱支援システムに関する。

近年、上述のような歌唱支援の手法としては、テロップによる文字の表示タイミングや表示態様を調整する（特許文献１〜３参照）、ガイドメロディの音量を調整する（特許文献４参照）などといった手法が提案されている。

特開２００５−１７３２５６号 特開平１０−０３９８８２号 特開２００７−２９２９２２号 特開２００５−１４８６２７号

しかし、上述した手法では、テロップやガイドメロディなど支援に用いる単一の支援媒体でどのような内容の支援を行うことが適しているのかといったことを特定することはできるが、歌唱者にとってどの支援媒体によりどのような内容の支援を行うことが適しているのか、といったことまで特定することはできない。

本発明は、このような課題を解決するためになされたものであり、その目的は、歌唱者にとってどの支援媒体によりどのような内容の支援を行うことが適しているのか、といったことを特定するための技術を提供することである。

上記課題を解決するため第１の発明は、歌唱者が歌唱に際して歌唱音それぞれを発声するタイミング（以降「発声タイミング」という）を、その楽曲を適切に歌唱した場合に歌唱音それぞれが発声されるタイミング（以降「理想タイミング」という）に合わせられるようにするための支援内容として、支援に際して用いられる１以上の支援媒体のいずれか，および，該支援媒体による支援の程度を示す１以上の支援量のいずれか，をそれぞれ組み合わせた複数種類の支援内容による歌唱支援が可能な歌唱支援システムであり、特定の歌唱者による歌唱に関する情報を収集する情報収集部と、歌唱者に適した支援内容を推定する内容推定部と、前記内容推定部により推定された支援内容による歌唱支援を行う歌唱支援部と、からなる。

これらのうち、前記情報収集部は、特定の歌唱者（以降「対象歌唱者」という）による楽曲（以降「対象楽曲」という）の歌唱が行われている状態において、前記１以上の支援媒体それぞれによる歌唱支援であり、該支援媒体による支援量を変更しつつ実施する測定用の歌唱支援（以降「測定支援」という）を、前記支援媒体毎に一定の測定期間ずつ繰り返し実施する測定支援手段と、前記測定支援手段により測定支援が実施されている計測期間毎に、対象歌唱者による前記発声タイミングそれぞれを、前記対象楽曲における前記理想タイミングのうちの対応する理想タイミングと対比していき、前記発声タイミングと前記理想タイミングとの時間差が所定の範囲内に収束した一部期間における前記時間差それぞれからなる時間差系列を取得する系列取得手段と、前記系列取得手段により取得された時間差系列，および，該取得に際して実施された前記測定支援の支援内容，からなる測定情報を、対象歌唱者に対応づけて保存する測定情報保存手段と、を備えている。

また、前記内容推定部は、前記情報収集部において保存された同じ対象歌唱者の測定情報を、前記支援内容を規定する支援媒体毎にグループ分けし、各グループの測定情報における時間差系列についての分散度合を算出する分散算出手段と、前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報のグループについて、該グループに対応する支援媒体による支援を、前記分散算出手段による算出の対象となった対象歌唱者に適した支援内容として推定する支援推定手段と、前記支援推定手段により推定された支援内容を対象歌唱者に対応づけて保存する支援内容保存手段と、を備えている。

そして、前記歌唱支援部は、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際に、前記内容推定部により保存された支援内容のうち、前記要求に係る歌唱者に対応する支援内容を抽出する内容抽出手段と、前記内容抽出手段により抽出された支援内容による歌唱支援を実施する歌唱支援手段と、を備えている。

この構成であれば、対象歌唱者に対して複数の支援媒体それぞれによる測定支援を行うことで支援媒体毎に発声タイミングと理想タイミングとの時間差系列を計測していき、時間差系列の分散度合がしきい値未満となっている，または，最も小さくなっている支援媒体による歌唱支援を、対象歌唱者に適した支援内容として推定することができる。

時間差系列の分散度合がしきい値未満，または，最も小さくなる歌唱支援は、時間差が狭い範囲で収束しており、一定の時間差で安定的に歌唱できている支援内容だったことを意味している。つまり、ここでは安定的に歌唱できる支援内容を推定しているといえる。

そして、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際には、その歌唱者に対応する支援内容が抽出され、この支援内容による歌唱支援，つまり歌唱者が一定の時間差で安定的に歌唱できる支援内容で歌唱支援を実施することができる。

この発明における支援媒体とは、テロップにおいて文字の表示色を変更するタイミングを調整する支援内容でいえば、「文字の表示色を変更すること」であり、この場合、その変更タイミングが「支援量」である。また、テロップにおいて文字の表示量（文字数）を調整する支援内容でいえば、「文字の表示量を変更すること」であり、この場合、その表示量が「支援量」である。また、テロップにおいて文字の表示態様（大きさなど）を変更する支援内容でいえば、「文字の表示態様を変更すること」であり、この場合、その表示態様が「支援量」である。また、理想タイミングに合わせてガイドメロディの音量などを調整する支援内容でいえば、「ガイドメロディの音量を変更すること」であり、この場合、その音量が「支援量」である。また、理想タイミングを通知するように演奏音（例えばベース音など）を調整する支援内容でいえば、「演奏音を調整すること」であり、この場合、演奏音を調整する度合（音の大きさなど）が「支援量」である。

また、上記発明における測定支援は、支援媒体毎に測定期間ずつ繰り返し実施されるものであり、例えば、同一の楽曲が歌唱される期間中の一部期間を「測定期間」として実施すればよく、また、楽曲が歌唱される期間全体を「測定期間」として実施してもよい。

また、測定支援を繰り返すためには、例えば、同一の楽曲が歌唱される期間中の一部期間を「測定期間」とする場合であれば、対象歌唱者による歌唱が行われており、かつ、測定期間に相当する時間が残っていることを条件に、それまでに実施されたのとは別の支援媒体によって測定支援を実施するようにすればよい。

また、上記構成において、発声タイミングと理想タイミングとを対比してなる時間差は、次のようにして特定するとよい。まず、歌唱者が楽曲の歌唱に際して歌唱音それぞれを発声した区間を歌唱区間とし、歌唱区間における音高の推移パターンを、同じ楽曲を適切に歌唱した場合に歌唱音それぞれを発声される区間であるガイド区間のうち、該当する歌唱区間に対応するガイド区間における音高の推移パターンと対比する。そして、歌唱区間における音高の推移パターンが、ガイド区間における音高の推移パターンに最も近似する（近似度が最大となる）まで、歌唱区間における時間軸上の位置を修正（時間軸に沿って前後にシフト）した場合における修正量を、上述した時間差として特定する。

なお、このように推移パターンが近似するように時間軸上の位置を修正する手法としては、どのような手法を採用してもよいが、例えば、特開２００５−１０７３３０号公報に記載されているような手法を採用することが考えられる。

また、こうして特定した時間差それぞれからなる時間差系列を取得する際の条件である「時間差が所定の範囲内に収束した」とは、例えば、測定支援中に特定される時間差それぞれが一定範囲内でしか変動しなくなったり、測定支援中に算出された時間差が継続的に一定範囲内の小さな値となったり、などという状態のことである。

また、上記構成においては、歌唱者から楽曲の歌唱の要求を受けた際、その要求に係る歌唱者に割り当てられた識別情報を取得することにより、この識別情報の割り当てられた歌唱者を特定したうえで、この歌唱者を対象歌唱者として測定情報，支援内容の保存を行うようにするとよい。また、楽曲の歌唱に際しての歌唱支援の要求を受けた際にも、歌唱者の識別情報を取得することにより、この識別情報の割り当てられた歌唱者を特定したうえで、この歌唱者に対応する支援内容の抽出を行うようにするとよい。

また、上記構成において、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際には、その歌唱者に対応する支援内容として、特定の支援媒体だけでなく、その支援媒体による支援の程度を示す支援量についても、抽出できるようにしておくことが望ましい。

このための構成としては、上記第１の構成を以下に示す第２の構成（請求項２）のようにすることが望ましい。
この構成の前記情報収集部において、前記測定情報保存手段は、前記時間差系列の取得に際して実施された前記測定支援の支援内容として、該時間差系列の取得に際して実施された測定支援の支援媒体，および，該時間差系列に対応する一部期間に実施された測定支援の支援量を、対象歌唱者に対応づけて保存している。

そして、前記内容推定部において、前記支援推定手段は、前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報のグループについて、該グループに対応する支援媒体，および，該グループの測定情報における支援量による支援を、前記対象歌唱者に適した支援内容として推定する。

この構成であれば、時間差系列の分散度合がしきい値未満となっている，または，最も小さくなっている支援媒体で実施された所定の支援量による歌唱支援を、対象歌唱者に適した支援内容として推定することができる。そして、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際には、その歌唱者に対応する支援内容が抽出され、この支援内容として特定の支援媒体による特定の支援量での歌唱支援を実施することができる。

なお、この構成において対処歌唱者に対応づけて保存する支援量は、一部期間に実施された測定支援の支援量のうち、時間差が収束した時点における支援量であってもよいし、一部期間全体の支援量を平均化したものであってもよい。

ところで、一般的に歌唱者は、同じ楽曲を歌唱している回数が多くなるほど、その楽曲の歌唱が上達していく結果、それまでに実施されていた支援内容による歌唱支援よりも、別の支援内容による歌唱支援の方が理想タイミングに合わせて歌唱するのに適していることも考えられる。具体的な例としては、例えば、同じ楽曲を繰り返し歌唱したことで歌詞や歌唱タイミングなどを覚える結果、それまではテロップによる文字表示を支援媒体とすることがタイミングを合わせて歌唱するのに適していたところが、ガイドメロディの音量を支援媒体とした方がタイミングを合わせやすくなった、というようなケースである。

そのため、対象歌唱者に適した支援内容を推定するに際しては、同じ楽曲の歌唱頻度を考慮したうえで推定することが望ましい。このための構成としては、例えば、上記各構成を以下に示す第３の構成（請求項３）のようにすることが考えられる。

この構成の前記情報収集部において、前記測定情報保存手段は、前記系列取得手段により取得された時間差系列，該取得に際して実施された前記測定支援の支援内容，および，前記対象楽曲，からなる測定情報を、前記対象歌唱者に対応づけて保存する。

また、前記内容推定部において、前記分散算出手段は、前記情報収集部において保存された同じ対象歌唱者の測定情報からなり、前記対象楽曲が対象歌唱者に歌唱された楽曲であるとした場合における歌唱頻度（または歌唱回数）に応じた測定情報の大グループそれぞれを、さらに、前記支援内容を規定する支援媒体が同一となっている測定情報の小グループに分け、該小グループそれぞれについて時間差系列の分散度合を算出して、前記支援推定手段は、前記歌唱頻度に応じた測定情報の大グループ毎に、前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報の小グループを特定し、該特定した小グループに対応する支援媒体による支援を、該小グループの属する大グループに対応する歌唱頻度の楽曲を前記対象歌唱者が歌唱する際に適した支援内容として推定して、前記支援内容保存手段は、前記支援推定手段により推定された歌唱頻度毎の支援内容を前記対象歌唱者に対応づけて保存する。

また、前記歌唱支援部において、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際、該歌唱者に対応づけて前記情報収集部に保存された測定情報として、該要求に係る楽曲と同じ前記対象楽曲となっている測定情報がいくつ含まれているか否かにより、該要求に係る楽曲の歌唱頻度を特定する頻度特定手段，が備えられている。そして、前記内容抽出手段は、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際に、前記内容推定部により保存された支援内容のうち、前記要求に係る歌唱者，および，前記頻度特定手段により特定された歌唱頻度，に対応する支援内容を抽出する。

この構成であれば、歌唱頻度毎に、時間差系列の分散度合がしきい値未満となっている，または，最も小さくなっている支援媒体による歌唱支援を、対象歌唱者に適した支援内容として推定することができる。

そして、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際には、その歌唱者に対応し、かつ、その要求に係る楽曲の歌唱頻度に対応する支援内容が抽出され、この支援内容による歌唱支援，つまり歌唱者が歌唱頻度に応じて一定の時間差で安定的に歌唱できる支援内容で歌唱支援を実施することができる。

また、上記各構成において、分散度合を算出するための具体的な手法は特に限定されないが、例えば、以下に示す第４の構成（請求項４）のような手法とすることが考えられる。

この構成の前記内容推定部において、前記分散算出手段は、対象となるグループの前記測定情報における時間差系列をｄｔｉとした場合に、以下に示す式１により分散度合を算出する。

この構成であれば、上記式１により算出した分散度合に基づいて、対象歌唱者に適した支援内容を推定することができる。

また、上記課題を解決するためには、上記第１から第４のいずれかの構成における全ての手段を備えてなることを特徴とする支援内容推定装置（請求項５）としてもよい。
この構成であれば、上記第１から第４のいずれかの構成と同様の作用，効果を得ることができる。

また、上記課題を解決するためには、上記第１〜第４のいずれかの構成における全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム（請求項６）としてもよい。

このプログラムを実行するコンピュータシステムであれば、上記第１〜第４のいずれかに係る歌唱支援システムの一部を構成することができる。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して歌唱支援システム，歌唱内容推定装置や、これを利用するユーザ等に提供されるものである。

カラオケシステムの全体構成を示すブロック図 情報収集処理を示すフローチャート カラオケシステムの動作を示す図 歌唱支援処理を示すフローチャート 支援内容特定処理を示すフローチャート 測定テーブルへと情報が登録される様子を示す図 測定情報の各情報が支援内容テーブルに登録される様子を示す図 支援内容通知処理を示すフローチャート

以下に本発明の実施形態を図面と共に説明する。
（１）全体構成
カラオケシステム１は、周知のコンピュータシステムからなるサーバ２と、１以上のカラオケ装置３それぞれとが、ネットワーク１００を介して通信可能に接続されてなるものである。なお、このカラオケシステム１が本発明における歌唱支援システムとして機能するものである。

サーバ２は、サーバ全体を制御する制御部２１，各種情報を記憶する記憶部２３，ネットワーク１００を介した通信を制御する通信部２５，キーボードやディスプレイなどからなるユーザインタフェース（Ｕ／Ｉ）部２７，記録メディアを介して情報を入出力するメディアドライブ２９などを備えている。

カラオケ装置３は、装置全体を制御する制御部３１，演奏楽曲の伴奏内容および歌詞を示す楽曲データや映像データなどを記憶する記憶部３３，ネットワーク１００を介した通信を制御する通信部３５，各種映像の表示を行う表示部４１，複数のキー・スイッチなどからなる操作部４３，マイク４５からの音声の入力とスピーカ４７からの音声の出力とを制御する音声入出力部４９などを備えている。

このカラオケシステム１では、歌唱者が歌唱に際して歌唱音それぞれを発声するタイミング（以降「発声タイミング」という）を、その楽曲を適切に歌唱した場合に歌唱音それぞれが発声されるタイミング（以降「理想タイミング」という）に合わせられるようにするための支援内容として、支援に際して用いられる複数の支援媒体のいずれか，および，該支援媒体による支援の程度を示す１以上の支援量のいずれか，をそれぞれ組み合わせた複数種類の支援内容によって歌唱支援を実施するように構成されている。

ここでいう「支援媒体」とは、テロップにおいて文字の表示色を変更するタイミングを調整する支援内容でいえば、「文字の表示色を変更すること」であり、この場合、その変更タイミングが「支援量」となる。また、テロップにおいて文字の表示量（文字数）を調整する支援内容でいえば、「文字の表示量を変更すること」であり、この場合、その表示量が「支援量」となる。また、テロップにおいて文字の表示態様（大きさなど）を変更する支援内容でいえば、「文字の表示態様を変更すること」であり、この場合、その表示態様が「支援量」となる。また、理想タイミングに合わせてガイドメロディの音量などを調整する支援内容でいえば、「ガイドメロディの音量を変更すること」であり、この場合、その音量が「支援量」となる。また、理想タイミングを通知するように演奏音（例えばベース音など）を調整する支援内容でいえば、「演奏音を調整すること」であり、この場合、演奏音を調整する度合（音の大きさなど）が「支援量」となる。
（２）カラオケ装置３による処理
以下に、カラオケ装置３の制御部３１が、記憶部３３に記憶されたプログラムを実行することで開始される各種処理手順を説明する。
（２−１）情報収集処理
はじめに、カラオケ装置３において情報収集を行うための収集モードが「ＯＮ」に設定されている状態で、歌唱者による楽曲の歌唱が行われている場合に繰り返し実行される情報収集処理の処理手順を図２に基づいて説明する。ここで「歌唱者による楽曲の歌唱が行われている」ことは、楽曲の演奏が行われており、演奏中の楽曲において歌唱を行うべき期間が終了していないことをもって判定される。

この情報収集処理が起動されると、まず、歌唱を行っている歌唱者（以降「対象歌唱者」という）が特定される（ｓ１１０）。本実施形態では、カラオケ装置３のユーザがカラオケ装置３に対するログイン操作を行った後で歌唱すべき楽曲を選択できるように構成されているため、ここでは、演奏中の楽曲（以降「対象楽曲」という）を選択したユーザ（ログイン操作に伴うユーザＩＤのユーザ）が対象歌唱者として特定される。

次に、以降の処理で実施する測定用の歌唱支援（以降「測定支援」という）として、複数種類の測定支援の中から第ｉ番目の支援媒体による測定支援が選定される（ｓ１２０）。本実施形態においては、測定支援に際して用いられる支援媒体の順番を示す値ｉをセットするための変数ｉがユーザＩＤそれぞれに対して用意されているため、ここでは、上記ｓ１１０にて特定されたユーザＩＤに対応する変数ｉの値に基づいて第ｉ番目の支援媒体による測定支援が選定される。なお、この変数ｉは、ユーザＩＤの登録時に初期値「１」がセットされた状態で生成され、後述する処理において上限値まで順次インクリメントされた後、初期値「１」にリセットされるものである。

次に、上記ｓ１２０にて選定された第ｉ番目の支援媒体による測定支援が開始される（ｓ１３０）。ここでは、第ｉ番目の支援媒体における支援量をＸｉ［１］〜Ｘｉ［ｎ］（ｎ：任意の数）それぞれに順次変更しながら歌唱支援を実施する、という測定用の歌唱支援が開始される（図３（ａ）「測定支援」参照）。

次に、対象歌唱者による歌唱音の発声タイミングそれぞれを、対象楽曲における理想タイミングのうちの対応する歌唱音の理想タイミングと対比することにより、発声タイミングと理想タイミングとの時間差を順次算出する、といった処理（時間差系列の算出処理）が開始される（ｓ１４０）。この処理によって、測定支援の進行に伴い、発声タイミングと理想タイミングとの時間差からなる時間差系列が生成されていくことになる（図３（ａ）「遅延計測」参照）。

この時間差系列の算出処理では、まず、歌唱者が楽曲の歌唱に際して歌唱音それぞれを発声した区間を歌唱区間とし、歌唱区間における音高の推移パターンを、同じ楽曲を適切に歌唱した場合に歌唱音それぞれを発声される区間であるガイド区間のうち、該当する歌唱区間に対応するガイド区間における音高の推移パターンと対比する。そして、歌唱区間における音高の推移パターンが、ガイド区間における音高の推移パターンに最も近似する（近似度が最大となる）まで、歌唱区間における時間軸上の位置を修正（時間軸に沿って前後にシフト）した場合における修正量を上述した時間差として算出する。このとき、推移パターンが近似するように時間軸上の位置を修正する手法は、どのような手法を採用してもよいが、例えば、特開２００５−１０７３３０号公報に記載されているような手法を採用することが考えられる。

次に、第ｉ番目の測定支援を終了する終了条件ＦＮｉが充足されているか否かがチェックされる（ｓ１５０）。ここでは、測定支援において支援量を変更する過程で算出された時間差が所定の範囲に収束した，または，第ｉ番目の測定支援が終了した（例えば全ての支援量への変更に必要な時間が経過した）ことをもって、終了条件ＦＮｉが充足したと判定される。

なお、上述した「時間差が所定の範囲に収束した場合」とは、例えば、測定支援中に算出される時間差それぞれが一定範囲内でしか変動しなくなったり、測定支援中に算出された時間差が継続的に一定範囲内の小さな値となったり、といった場合のことである。

このｓ１５０で終了条件が満たされていないと判定された場合には（ｓ１５０：ＮＯ）、対象歌唱者による対象楽曲の歌唱が終了したか否かがチェックされる（ｓ１６０）。ここでは、対象楽曲の演奏が終了したことをもって、対象歌唱者による対象楽曲の歌唱が終了したと判定される。

このｓ１６０で対象歌唱者による歌唱が終了していないと判定された場合（ｓ１６０：ＮＯ）、プロセスがｓ１５０へ戻る。
また、上記ｓ１５０で終了条件が満たされていると判定された場合（ｓ１５０：ＹＥＳ），または，上記ｓ１６０で対象歌唱者による歌唱が終了していると判定された場合（ｓ１６０：ＹＥＳ）、上記ｓ１３０で開始された測定支援が終了される（ｓ１７０）。

次に、ここまでに実施された測定支援において算出された時間差のうち、上記ｓ１７０で測定支援が終了された時点から遡った所定数の時間差からなる時間差系列ｄｔｉ［ｋ］（ｋは、理想タイミングに対応するインデックス，ｋ＝１，２，…）が取得される（ｓ１８０）。なお、このｓ１８０では（特に上記ｓ１６０で「ＹＥＳ」と判定された場合）、測定支援が終了された時点から遡った所定数の時間差からなる時間差系列ｄｔｉではなく、時間差系列の算出処理において算出された時間差のうち、所定数の時間差の平均が最も小さくなる区間における時間差系列を取得することとしてもよい。

なお、上記ｓ１６０で「ＹＥＳ」と判定された場合のｓ１８０では、測定支援が終了された時点から遡った所定数の時間差からなる時間差系列ｄｔｉではなく、時間差系列の算出処理において算出された時間差のうち、所定数の時間差の平均が最も小さくなる区間における時間差系列を取得することとしてもよい。

次に、上記ｓ１８０にて取得された時間差系列ｄｔｉ［ｋ］，上記ｓ１７０にて測定支援が終了された時点における支援内容（支援媒体iと支援量Ｘｉ［ｊ］），対象楽曲（に割り当てられた楽曲番号ＴＲ＿Ｎ），および，対象歌唱者（に割り当てられた識別情報ＳＩ）などからなる測定情報が生成され、これがサーバ２へと送信される（ｓ１９０）（図３（ａ）参照）。

ここで、支援内容を規定する支援量Ｘ［ｊ］は、以下の式１で示されるフィードバック関数ＦＢｉにより算出される。

この測定情報を受信したサーバ２では、後述する支援内容特定処理において、対象歌唱者に適した支援内容が特定されたうえ、これが保存される。

次に、全ての支援媒体による測定支援が終了したか否かがチェックされる（ｓ２００）。ここでは、変数ｉの値が上限値となっていることをもって、全ての支援媒体による測定支援が終了したと判定される。

このｓ２００で全ての支援媒体による測定支援が終了していないと判定された場合には（ｓ１９０：ＮＯ）、上述した変数ｉがインクリメント（ｉ＋１→ｉ）された後（ｓ２１０）、本情報収集処理が終了する。

一方、全ての支援媒体による測定支援が終了していると判定された場合には（ｓ２００：ＹＥＳ）、上述した変数ｉが初期化（１→ｉ）された後（ｓ２２０）、本情報収集処理が終了する。

こうして、本情報収集処理が終了した後は、上記ｓ２１０またはｓ２２０により変更された変数ｉの値に基づいて再度情報収集処理が実行されることとなる。
（２−２）歌唱支援処理
続いて、カラオケ装置３において歌唱支援を実施するための支援モードが「ＯＮ」に設定されている状態で、歌唱者による楽曲の歌唱が開始されるタイミングで実行される歌唱支援処理の処理手順を図４に基づいて説明する。

この歌唱支援処理が起動されると、まず、歌唱を開始する歌唱者（以降「対象歌唱者」という）が特定される（ｓ３１０）。ここでは、上述した情報収集処理と同様、次に演奏されることとなる楽曲（以降「対象楽曲」という）を選択したユーザ（ログイン操作に伴うユーザＩＤ）が対象歌唱者として特定される。

次に、上記ｓ３１０で特定した対象歌唱者に適した支援内容を通知すべき旨の要求指令がサーバ２に対して送信される（ｓ３２０）。ここでは、要求指令が上記ｓ３１０で特定された対象歌唱者のユーザＩＤおよび対象楽曲の楽曲番号と共にサーバ２へ送信される（図３（ｂ）「要求指令」参照）。この要求指令を受けたサーバ２からは、要求指令と共に送信されたユーザＩＤに基づいて、このユーザＩＤで識別される対象歌唱者に適した支援内容（支援媒体ｉｏｐｔおよび支援量Ｘｏｐｔ＿ｉ）を示す要求応答が返信されてくる（図３（ｂ）「要求応答」参照）。

こうして、上記ｓ３２０で要求指令を送信した後、サーバ２からの要求応答を受信したら（ｓ３３０）、この要求応答で示される支援内容を、対象歌唱者が対象楽曲を歌唱する際の支援内容として決定する（ｓ３４０）。

次に、対象楽曲の演奏と共に、上記ｓ３４０により決定された支援内容による歌唱支援が開始される（ｓ３５０）（図３（ｂ）参照）。
そして、対象楽曲の演奏が終了するまで待機状態となった後（ｓ３６０：ＮＯ）、対象楽曲の演奏が終了したことをもって（ｓ３６０：ＹＥＳ）、上記ｓ３５０により開始された歌唱支援が終了し（ｓ３７０）、その後、本歌唱支援処理が終了する。
（３）サーバ２による処理
以下に、サーバ２の制御部２１が、記憶部２３に記憶されたプログラムを実行することで開始される各種処理手順を説明する。
（３−１）支援内容特定処理
はじめに、サーバ２においてカラオケ装置３から測定情報を受信する毎に起動される支援内容特定処理の処理手順を図５に基づいて説明する。この測定情報は、カラオケ装置３が情報収集処理のｓ１９０にて送信してくる情報であり、時間差系列ｄｔｉ［ｋ］，支援内容（支援媒体iおよび支援量Ｘｉ［ｊ］），対象楽曲（楽曲番号ＴＲ＿Ｎ），および，歌唱者（識別情報ＳＩ）などからなる情報である（図３（ａ）参照）。

この支援内容特定処理が起動されると、まず、その起動に先立って受信した測定情報が測定情報登録用のデータテーブル（測定テーブル）に登録される（ｓ４１０）。ここでは、対象楽曲（楽曲番号ＴＲ＿Ｎ），測定情報における時間差系列ｄｔｉ［ｋ］，および，支援内容（支援媒体iおよび支援量Ｘｉ［ｊ］）が、歌唱者（識別情報ＳＩ）に対応する測定情報として測定テーブルに登録される（図６参照）。

次に、この時点で測定テーブルに登録されている測定情報のうち、上記ｓ４１０で登録された歌唱者（以降「対象歌唱者」という）に対応する１以上の測定情報それぞれが抽出される（ｓ４２０）。

次に、上記ｓ４２０で抽出された測定情報それぞれが、対象楽曲の歌唱頻度（または歌唱回数）に応じた測定情報の大グループに分けられ、さらに、この大グループそれぞれが、支援内容を規定する支援媒体ｉが同一となっている測定情報の小グループに分けられる（ｓ４３０）。

ここでは、まず、測定情報に含まれる対象楽曲を対象歌唱者が歌唱したものとし、同じ対象楽曲となっている測定情報の数を歌唱回数とした場合の歌唱頻度が、測定情報それぞれに割り当てられる（図７（ａ）参照）。なお、歌唱頻度は、例えば、歌唱回数０〜２回までを歌唱頻度Ｄ，歌唱回数３〜５回までを歌唱頻度Ｃ，歌唱回数６〜９回までを歌唱頻度Ｂ，歌唱回数１０回以上を歌唱頻度Ａなどと表される。そして、歌唱頻度の割り当てられた測定情報それぞれが、歌唱頻度それぞれに対応する大グループに分けられた後、大グループに属する測定情報それぞれが、支援内容を規定する支援媒体ｉそれぞれに対応する小グループに分けられる（図７（ｂ）参照）。

次に、上記ｓ４３０にてグループ分けされた小グループの測定情報それぞれについて時間差系列ｄｔｉ［ｋ］の分散度合が算出され、これが同一の小グループにおいて支援内容を規定する支援媒体ｉ毎に平均化される（ｓ４４０）。ここでは、小グループに属する測定情報それぞれの分散度合ｖｄｔｉが、その測定情報の時間差系列ｄｔｉ［ｋ］に基づいて以下の式２により算出され、これらが同一の小グループにおける支援媒体ｉ毎に平均化され、これにより、歌唱頻度毎に、支援媒体ｉそれぞれについての分散度合が求められる（図７（ｃ）参照）。

なお、上記式２における「ｍ」は、ｋと同様、理想タイミングに対応するインデックスである。

次に、上記ｓ４４０にて歌唱頻度毎に求められた支援媒体ｉそれぞれについての分散度合ｖｄｔｉに基づいて、対象歌唱者に適した支援内容を規定する支援媒体ｉｏｐｔが歌唱頻度毎に推定される（ｓ４５０）。ここでは、分散度合ｖｄｔｉが最小または所定のしきい値未満となっている支援媒体ｉｏｐｔが歌唱頻度毎に特定され、これら支援媒体ｉｏｐｔが、該当する歌唱頻度の対象楽曲を歌唱するに際して対象歌唱者に適した支援内容を規定する支援媒体と推定される。

このように、分散度合ｖｄｔｉが最も小さくなる，または，しきい値未満の支援媒体ｉによる歌唱支援は、時間差系列ｄｔｉ［ｋ］の時間差が狭い範囲で収束しており、一定の時間差で安定的に歌唱できている支援内容だったことを意味している。そのため、分散度合ｖｄｔｉが最小または所定のしきい値未満となっている支援媒体ｉｏｐｔは、歌唱者が一定の時間差で安定的に歌唱できる支援内容を規定する支援媒体といえる。

次に、上記ｓ４５０にて特定された歌唱頻度毎の支援媒体ｉｏｐｔそれぞれについて、この支援媒体ｉｏｐｔによる歌唱支援を行うに際しての支援量Ｘｏｐｔ＿ｉ［ｊ］が特定される（ｓ４６０）。ここでは、上記ｓ４５０において支援媒体ｉｏｐｔを特定する際に参照された支援内容を規定する支援量Ｘｉ［ｊ］，つまり対象歌唱者に適した支援内容を規定する支援媒体の支援量が、支援媒体ｉｏｐｔによる歌唱支援を行うに際しての支援量Ｘｏｐｔ＿ｉ［ｊ］として特定される。なお、参照された支援内容を規定する支援量Ｘｉ［ｊ］が複数存在している場合には、そのいずれか一方の支援量，または，平均となる支援量を、支援量Ｘｏｐｔ＿ｉ［ｊ］として特定することとすればよい。

このことを図７に基づいて説明すると、歌唱頻度Ａについての支援媒体ｉｏｐｔとして、支援媒体４が特定された場合には（同図（ｃ）参照）、この支援媒体４を特定する際に参照された支援内容（支援媒体４，支援量Ｘ４［９］）を規定する支援量Ｘ４［９］が、支援量Ｘｏｐｔ＿ｉ［ｊ］として特定される。

そして、上記ｓ４５０，ｓ４６０により特定された歌唱頻度毎の支援媒体ｉｏｐｔおよび支援量Ｘｏｐｔ＿ｉ［ｊ］からなる支援内容が、対象歌唱者に対応づけて支援内容登録用のデータテーブル（支援内容テーブル）に登録される（ｓ４７０）。

この支援内容テーブルは、ユーザＩＤそれぞれに対して用意されているため、ここでは、支援内容特定処理の起動に先立って受信した測定情報におけるユーザＩＤに対応する支援内容テーブルに、歌唱頻度それぞれに対応する支援内容として登録される（図７（ｄ）参照）。なお、該当する支援内容テーブルに、歌唱頻度に対応する支援内容が既に登録されている場合には、この支援内容に上書きされる。

こうしてｓ４７０を終えた後、本支援内容特定処理が終了する。
（３−２）支援内容通知処理
続いて、カラオケ装置３から支援内容を通知すべき旨の要求指令を受けて起動する支援内容通知処理の処理手順を図８に基づいて説明する。この要求指令は、カラオケ装置３が歌唱支援処理のｓ３２０にて送信してくるものであり、歌唱者のユーザＩＤおよび対象楽曲の楽曲番号と共に送信されてくる（図３（ｂ）「要求指令」参照）。

この支援内容通知処理が起動すると、まず、その起動に先立って受信されたユーザＩＤの歌唱者により、同じく受信された楽曲番号の楽曲が歌唱された頻度（歌唱頻度）が特定される（ｓ５１０）。

ここでは、まず、この時点で該当ユーザＩＤに対応する測定テーブルに登録されている測定情報のうち、支援内容通知処理の起動に先立って受信したユーザＩＤの歌唱者に対応する測定情報それぞれが抽出される。続いて、こうして抽出された測定情報の対象楽曲の中に、受信した楽曲番号の楽曲と同じ対象楽曲がいくつ含まれるかがチェックされる。そして、その対象楽曲の数に応じた歌唱頻度が上述した支援内容特定処理と同様に割り当てられ、これが受信した楽曲番号の楽曲における歌唱頻度として特定される。

次に、上記ｓ５１０にて特定された歌唱頻度の楽曲を歌唱するのに適した支援内容が抽出される（ｓ５２０）。ここでは、まず、この時点で該当ユーザＩＤに対応する支援内容テーブルに登録されている支援内容（支援媒体ｉｏｐｔおよび支援量Ｘｏｐｔ＿ｉ）のうち、上記ｓ５１０にて特定された歌唱頻度に対応する支援内容が抽出される。

そして、上記ｓ５２０にて抽出された支援内容を示す要求応答が、要求指令の送信元であるカラオケ装置３へと返信された後（ｓ５３０）、本支援内容通知処理が終了する。
この要求応答は、カラオケ装置３が歌唱支援処理のｓ３３０にて受信する（図３（ｂ）「要求指令」参照）。
（４）作用，効果
このように構成されたカラオケシステム１では、対象歌唱者に対して複数の支援媒体それぞれによる測定支援を行うことで支援媒体毎に発声タイミングと理想タイミングとの時間差系列を計測していき（図２の情報収集処理）、時間差系列の分散度合がしきい値未満となっている，または，最も小さくなっている支援媒体で実施された所定の支援量による歌唱支援を、対象歌唱者に適した支援内容として推定することができる（図５のｓ４５０，ｓ４６０）。

そして、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際には、その要求に係る楽曲の歌唱頻度に対応する支援内容が抽出され（図８のｓ５１０，ｓ５２０）、この支援内容による歌唱支援，つまり歌唱者が一定の時間差で安定的に歌唱できる支援内容で歌唱支援を実施することができる（同図ｓ５３０，図４のｓ３４０，ｓ３５０）。

このとき、上記式２により算出した分散度合に基づいて、対象歌唱者に適した支援内容を推定することができる。
このように、対象歌唱者に適した支援内容を推定するに際しては、同じ楽曲の歌唱頻度を考慮したうえで推定が行われている。

これは、同じ楽曲を歌唱している回数が多くなるほど、その楽曲の歌唱が上達していくことが考えられるため、それまでに実施されていた支援内容による歌唱支援よりも、別の支援内容による歌唱支援の方が理想タイミングに合わせて歌唱するのに適していることも想定されるからである。

具体的な例としては、例えば、同じ楽曲を繰り返し歌唱したことで歌詞や歌唱タイミングなどを覚える結果、それまではテロップによる文字表示を支援媒体とすることがタイミングを合わせて歌唱するのに適していたところが、ガイドメロディの音量を支援媒体とした方がタイミングを合わせやすくなった、というようなケースである。

つまり、上記実施形態のように、同じ楽曲の歌唱頻度を考慮したうえで支援内容を推定する構成であれば、歌唱者の上達度合に即した支援内容を、その歌唱者に適した支援内容として推定することができる。
（５）変形例
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記実施形態においては、カラオケ装置３とサーバ２とが協調して動作するように構成されたシステムとなっているが、全ての処理をカラオケ装置３側でのみ実施するように構成してもよく、また、カラオケ装置３により実施される処理それぞれを別の装置により実施するように構成してもよい。

また、上記実施形態においては、カラオケ装置３による情報収集処理が、楽曲の演奏が行われており、演奏中の楽曲において歌唱を行うべき期間が終了していない状況において繰り返し行われるように構成されている。つまり、同一の楽曲が歌唱される期間中の一部が測定支援による計測期間となっている。しかし、楽曲が歌唱される期間全体が測定支援による測定期間となるようにすべく、情報収集処理が、歌唱者による楽曲の歌唱が行われる毎に繰り返されるように構成してもよい。

また、上記実施形態においては、サーバ２による支援内容特定処理が、カラオケ装置３からの測定情報を受信する毎に起動されるように構成されている。しかし、この支援内容特定処理は、測定情報の受信とは無関係に一定期間または所定のイベント発生時に起動されるように構成してもよい。この場合、ｓ４１０を行うことなくｓ４２０から開始し、このｓ４２０においていずれかの歌唱者に対応する測定情報を抽出すると共に、ｓ４７０の後、別の歌唱者（未処理の歌唱者）についてｓ４２０以降が行われるようにするとよい。
（６）本発明との対応関係
以上説明した実施形態において、情報収集処理を実行するカラオケ装置３の制御部３１が本発明における情報収集部であり、支援内容特定処理を実行するサーバ２の制御部２１が本発明における内容推定部であり、歌唱支援処理を実行するカラオケ装置の制御部３１および支援内容通知処理を実行するサーバ２の制御部２１が本発明における歌唱支援部である。

また、図２のｓ１２０〜ｓ２２０が本発明における測定支援手段に相当し、同図ｓ１８０が本発明における系列取得手段に相当し、同図ｓ１９０および図５のｓ４１０が本発明における測定情報保存手段に相当し、同図ｓ４４０が本発明における分散算出手段に相当し、同図ｓ４５０，ｓ４６０が本発明における支援推定手段に相当し、同図ｓ４７０が本発明における支援内容保存手段に相当し、図８のｓ５２０，ｓ５３０が本発明における内容抽出手段に相当し、図４のｓ３４０，ｓ３５０が本発明における歌唱支援手段に相当し、図８のｓ５１０が本発明における頻度特定手段に相当する。

また、支援内容特定処理を実行するサーバ２が本発明における支援内容推定装置に相当する。

１…カラオケシステム、２…サーバ、２１…制御部、２３…記憶部、２５…通信部、２７…ユーザインタフェース部、２９…メディアドライブ、３…カラオケ装置、３１…制御部、３３…記憶部、３５…通信部、４１…表示部、４３…操作部、４５…マイク、４７…スピーカ、４９…音声入出力部、１００…ネットワーク。

Claims (6)

1. 歌唱者が歌唱に際して歌唱音それぞれを発声するタイミング（以降「発声タイミング」という）を、その楽曲を適切に歌唱した場合に歌唱音それぞれが発声されるタイミング（以降「理想タイミング」という）に合わせられるようにするための支援内容として、支援に際して用いられる１以上の支援媒体のいずれか，および，該支援媒体による支援の程度を示す１以上の支援量のいずれか，をそれぞれ組み合わせた複数種類の支援内容による歌唱支援が可能な歌唱支援システムであって、
   特定の歌唱者による歌唱に関する情報を収集する情報収集部と、歌唱者に適した支援内容を推定する内容推定部と、前記内容推定部により推定された支援内容による歌唱支援を行う歌唱支援部と、からなり、
   前記情報収集部は、
   特定の歌唱者（以降「対象歌唱者」という）による楽曲（以降「対象楽曲」という）の歌唱が行われている状態において、前記１以上の支援媒体それぞれによる歌唱支援であり、該支援媒体による支援量を変更しつつ実施する測定用の歌唱支援（以降「測定支援」という）を、前記支援媒体毎に一定の測定期間ずつ繰り返し実施する測定支援手段と、
   前記測定支援手段により測定支援が実施されている計測期間毎に、対象歌唱者による前記発声タイミングそれぞれを、前記対象楽曲における前記理想タイミングのうちの対応する理想タイミングと対比していき、前記発声タイミングと前記理想タイミングとの時間差が所定の範囲内に収束した一部期間における前記時間差それぞれからなる時間差系列を取得する系列取得手段と、
   前記系列取得手段により取得された時間差系列，および，該取得に際して実施された前記測定支援の支援内容，からなる測定情報を、対象歌唱者に対応づけて保存する測定情報保存手段と、を備えており、
   前記内容推定部は、
   前記情報収集部において保存された同じ対象歌唱者の測定情報を、前記支援内容を規定する支援媒体毎にグループ分けし、各グループの測定情報における時間差系列についての分散度合を算出する分散算出手段と、
   前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報のグループについて、該グループに対応する支援媒体による支援を、前記分散算出手段による算出の対象となった対象歌唱者に適した支援内容として推定する支援推定手段と、
   前記支援推定手段により推定された支援内容を対象歌唱者に対応づけて保存する支援内容保存手段と、を備えており、
   前記歌唱支援部は、
   特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際に、前記内容推定部により保存された支援内容のうち、前記要求に係る歌唱者に対応する支援内容を抽出する内容抽出手段と、
   前記内容抽出手段により抽出された支援内容による歌唱支援を実施する歌唱支援手段と、を備えている
   ことを特徴とする歌唱支援システム。
2. 前記情報収集部において、
   前記測定情報保存手段は、前記時間差系列の取得に際して実施された前記測定支援の支援内容として、該時間差系列の取得に際して実施された測定支援の支援媒体，および，該時間差系列に対応する一部期間に実施された測定支援の支援量を、対象歌唱者に対応づけて保存しており、
   前記内容推定部において、
   前記支援推定手段は、前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報のグループについて、該グループに対応する支援媒体，および，該グループの測定情報における支援量による支援を、前記対象歌唱者に適した支援内容として推定する
   ことを特徴とする請求項１に記載の歌唱支援システム。
3. 前記情報収集部において、
   前記測定情報保存手段は、前記系列取得手段により取得された時間差系列，該取得に際して実施された前記測定支援の支援内容，および，前記対象楽曲，からなる測定情報を、前記対象歌唱者に対応づけて保存して、
   前記内容推定部において、
   前記分散算出手段は、前記情報収集部において保存された同じ対象歌唱者の測定情報からなり、前記対象楽曲が対象歌唱者に歌唱された楽曲であるとした場合における歌唱頻度（または歌唱回数）に応じた測定情報の大グループそれぞれを、さらに、前記支援内容を規定する支援媒体が同一となっている測定情報の小グループに分け、該小グループそれぞれについて時間差系列の分散度合を算出して、
   前記支援推定手段は、前記歌唱頻度に応じた測定情報の大グループ毎に、前記分散算出手段により算出された分散度合が所定のしきい値未満となっている，または，最も小さくなっている前記測定情報の小グループを特定し、該特定した小グループに対応する支援媒体による支援を、該小グループの属する大グループに対応する歌唱頻度の楽曲を前記対象歌唱者が歌唱する際に適した支援内容として推定して、
   前記支援内容保存手段は、前記支援推定手段により推定された歌唱頻度毎の支援内容を前記対象歌唱者に対応づけて保存して、
   前記歌唱支援部において、
   特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際、該歌唱者に対応づけて前記情報収集部に保存された測定情報として、該要求に係る楽曲と同じ前記対象楽曲となっている測定情報がいくつ含まれているか否かにより、該要求に係る楽曲の歌唱頻度を特定する頻度特定手段，が備えられており、
   前記内容抽出手段は、特定の歌唱者から楽曲の歌唱に際して歌唱支援の要求があった際に、前記内容推定部により保存された支援内容のうち、前記要求に係る歌唱者，および，前記頻度特定手段により特定された歌唱頻度，に対応する支援内容を抽出する
   ことを特徴とする請求項１または請求項２に記載の歌唱支援システム。
4. 前記内容推定部において、
   前記分散算出手段は、対象となるグループの前記測定情報における時間差系列をｄｔｉとした場合に、以下に示す式１により分散度合を算出する
   ことを特徴とする請求項請求項１から３のいずれかに記載の歌唱支援システム。
   （ｋ，ｍは、理想タイミングに対応するインデックス）
5. 請求項１から４のいずれかに記載の内容推定部の備える全ての手段を備えてなる
   ことを特徴とする支援内容推定装置。
6. 請求項１から４のいずれかに記載の内容推定部が備える全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム。