JP4949899B2 - ピッチ表示制御装置 - Google Patents

Description

本発明は、音声のピッチを表示するための技術に関する。

カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互相関を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。この方法によれば、歌唱者が「ため」や「ルバート」の歌唱技法を用いて歌唱した場合でも、歌唱タイミングをリファレンスのタイミングに合わせて比較して採点することができる。
特開２００５−１０７３３０号公報

しかしながら、特許文献１に記載の技術においては、歌唱者の歌唱の巧拙を採点することができるものの、歌唱者は、その採点結果を見ても、曲中のどの箇所がどのように悪いのかを把握することができなかった。歌唱者が自身の歌唱を確認するための一例として、歌唱者のピッチの時間的な変化を表すグラフを画面に表示することも考えられるが、歌唱音声の周波数は不安定であり、音声の周波数の変化をそのまま表示しても、歌唱者がその内容を理解することは難しい場合が多い。
本発明は上述した背景の下になされたものであり、歌唱者のピッチを、より理解し易い形式で表示する技術を提供することを目的とする。

上記課題を解決するため、本発明の好適な態様であるピッチ表示制御装置は、音声のピッチを複数の区間に区分し、各区間の代表値を特定する代表値特定手段と、収音された音声を表すオーディオ信号から、該オーディオ信号のピッチを検出するピッチ検出手段と、前記ピッチ検出手段によって前記ピッチが検出されなかった時間区間がある場合に、該時間区間の直後に検出されたピッチで、該ピッチの検出が開始されたときから予め定められた時間前までの間のピッチを補間するピッチ補間手段と、前記ピッチ補間手段により補間がなされたピッチに対して、該ピッチが含まれる区間の代表値を前記代表値特定手段を用いて特定し、該ピッチを、前記代表値特定手段を用いて特定された代表値に変換するピッチ丸め手段と、前記ピッチ丸め手段により変換された代表値の時間的変化を表す画像データを生成する画像データ生成手段と、前記画像データ生成手段により生成された画像データを表示手段に出力する画像データ出力手段とを具備することを特徴とする。

また、本発明の好適な態様であるピッチ表示制御装置は、音声のピッチを複数の区間に区分し、各区間の代表値を特定する代表値特定手段と、収音された音声を表すオーディオ信号から、該オーディオ信号のピッチを検出するピッチ検出手段と、前記ピッチ検出手段により検出されたピッチが含まれる区間の代表値を前記代表値特定手段を用いて特定し、前記ピッチ検出手段により検出されたピッチを、前記代表値特定手段を用いて特定された代表値に変換するピッチ丸め手段と、前記ピッチ丸め手段によって変換された代表値の時間的な変化を解析し、同一の代表値が予め定められた時間以上継続している場合には、該代表値を選択する一方、それ以外の場合には、直前に選択された代表値を継続して選択する代表値選択手段と、前記代表値選択手段により選択された代表値の時間的変化を表す画像データを生成する画像データ生成手段と、前記画像データ生成手段により生成された画像データを表示手段に出力する画像データ出力手段とを具備することを特徴とする。

また、上述の態様において、前記画像データ生成手段は、前記代表値の高低をその表示位置で示すとともに該代表値の継続時間長をその形状で示す帯状図形を含む画像を表す画像データを生成してもよい。

また、上述の態様において、模範となるピッチの時間的変化を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備え、前記画像データ生成手段は、前記ピッチ丸め手段により変換された代表値の時間的変化と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチの時間的変化とが、比較可能な態様で表示されるような画像データを生成してもよい。

また、上述の態様において、前記画像データ生成手段は、前記ピッチ丸め手段により変換された代表値の時間的変化と前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチの時間的変化とが、一致する場合と一致しない場合とで異なる態様で表示されるような画像データを生成してもよい。

また、上述の態様において、模範となるピッチの時間的変化を示すリファレンスデータを記憶するリファレンスデータ記憶手段を備え、前記画像データ生成手段は、前記代表値選択手段により選択された代表値の時間的変化と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチの時間的変化とが、比較可能な態様で表示されるような画像データを生成してもよい。

本発明によれば、歌唱者のピッチを、より理解し易い形式で表示することができる。

＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成を示すブロック図である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介してカラオケ装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネル等を備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、カラオケ装置１の利用者による操作に応じた信号を制御部１１に出力する。マイクロホン１５は、収音し、収音した音声を表すオーディオ信号（アナログ信号）を出力する収音手段である。音声処理部１６は、マイクロホン１５が出力するオーディオ信号（アナログ信号）をデジタルデータに変換する。また、音声処理部１６は、デジタルデータをアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力されるオーディオ信号に応じた強度で放音する放音手段である。

なお、この実施形態では、マイクロホン１５とスピーカ１７とがカラオケ装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力されるオーディオ信号及び音声処理部１６からスピーカ１７へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１３、操作部１４についても同様であり、カラオケ装置１に内蔵される形式であってもよく、外付けされる形式であってもよい。

カラオケ装置１の記憶部１２は、図１に示すように、楽曲データ記憶領域１２１と、背景画データ記憶領域１２２とを有している。楽曲データ記憶領域１２１には、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域１２２には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。

ここで、楽曲データ記憶領域１２１に記憶された楽曲データの内容の一例について説明する。楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、図２に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上の楽曲データは、ＭＩＤＩフォーマットに従って記述されている。

次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について説明する。図３は行と列のマトリックスになっているので、まず、列について説明する。第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。

第３列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「１」としている。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。

次に、図３に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図３に示す例では、デルタタイム４８０の長さを４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわたって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４分音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。

利用者が楽曲指定操作を行うと、曲番号データを基にして、指定された楽曲データが楽曲データ記憶領域１２１から読み出され、ＲＡＭに転送される。制御部１１がＲＡＭ内の楽曲データを順次読み出して処理することで楽曲の演奏が進行する。このとき、リファレンスデータも楽曲の進行と同期して読み出され、制御部１１はリファレンスデータのノートとベロシティに応じてリファレンスピッチデータＲＰを生成する。

一方、マイクロホン１５に入力された歌唱者の音声は、歌唱音声信号となり、アンプ（図示略）を介してスピーカ１７より出力されるとともに、音声処理部１６に入力される。音声処理部１６がこの歌唱音声信号をＡ／Ｄ変換した後、制御部１１は、歌唱音声のピッチを抽出し、歌唱ピッチデータＳＰとして出力する。この場合、歌唱音声のピッチの抽出処理はおよそ３０ｍｓごとに行われるようになっている。

＜Ｂ：動作＞
次に、この実施形態の動作について、図４に示すフローチャートを参照しつつ以下に説明する。利用者が操作部１４を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データが楽曲データ記憶領域１２１からＲＡＭへ転送される。制御部１１は、ＲＡＭ内の楽曲データのイベントを順次読み出すことによりカラオケ伴奏や歌詞表示処理を実行する（ステップＳ１）。具体的には、楽曲データの演奏トラックに記述されたイベントデータを音声処理部１６に出力するとともに、歌詞トラックの歌詞データを表示部１３に出力する。この結果、カラオケ伴奏音がスピーカ１７から出力される一方、歌詞データの表す歌詞が表示部１３に表示される。

一方、制御部１１は、楽曲の進行に応じて読み出したリファレンスデータのノートオンイベント（ＮｏｔｅＯｎ）のノートナンバ及びベロシティから、歌唱すべきピッチを示すリファレンスピッチデータＲＰを生成する（ステップＳ２）。なお、この実施形態では、制御部１１が、楽曲データ記憶領域１２１に記憶された楽曲データに含まれるリファレンスデータからリファレンスピッチデータＲＰを生成するが、これに代えて、模範となるピッチを表すリファレンスピッチデータを予め記憶部１２に記憶しておくようにしてもよい。

歌唱者は、スピーカ１７から放音される伴奏音に併せて歌唱を行う。歌唱者の歌唱音声はマイクロホン１５によってオーディオ信号に変換され、音声処理部１６でＡ／Ｄ変換される。制御部１１は、音声処理部１６でＡ／Ｄ変換されたオーディオデータ（以下「歌唱者音声データ」という）からピッチを抽出し、歌唱ピッチデータＳＰとして出力する（ステップＳ３）。

図５は、歌唱ピッチデータＳＰの示すピッチの時間的変化の一例を示す図である。図において、横軸は時刻を示し、縦軸はピッチを示している。図５に示す例においては、歌唱者が「あるひたびだ…」と歌唱した場合に検出されたピッチの時間的変化の一例が示されている。

次いで、制御部１１は、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとを比較し、比較結果に基づいて、歌唱ピッチデータＳＰに対してピッチの丸め処理を行う（ステップＳ４）。この実施形態では、制御部１１は、予め用意されている関数（又はテーブル）であって音声のピッチを複数の区間に区分し各区間の代表値を特定するための関数を用いて、歌唱ピッチデータＳＰが含まれる区間の代表値を特定し、歌唱ピッチデータＳＰの値を特定した代表値に変換することによって、ピッチの丸め処理を行う。

ここで、このピッチ丸め処理の具体的な一例について以下に説明する。この実施形態では、制御部１１は、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差値が７５（cent）未満である場合には、歌唱ピッチデータＳＰの値をリファレンスピッチデータＲＰの値に差し替える。すなわち、この実施形態では、リファレンスピッチデータＲＰの±７５（cent）に含まれるピッチ区間の代表値が、リファレンスピッチデータＲＰの値となる。一方、それ以外の場合、すなわち歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差値が７５（cent）以上である場合には、制御部１１は、歌唱ピッチデータＳＰが含まれるピッチ区間の代表値を、記憶部１２に予め記憶されたピッチ丸め関数を用いて特定する。このピッチ丸め関数は、ピッチを複数の区間に区分し、各区間の代表値を特定するための関数である。具体的には、例えば、この関数を用いることにより、１５０〜２４９（cent）の区間の代表値は２００（cent）と特定され、また、例えば、２５０〜３４９（cent）の区間の代表値は３００（cent）と特定される。この場合は、歌唱ピッチデータＳＰの値は、半音（１００（cent））単位で丸められることになる。

図６は、図５に例示した歌唱ピッチデータＳＰに対してピッチ丸め処理が施された結果の一例を示す図である。図において、横軸は時刻を表し、縦軸はピッチを示している。図示のように、歌唱ピッチデータＳＰの値が、半音単位で丸められている。

次いで、制御部１１は、歌唱ピッチデータＳＰに対してノイズ除去処理を行う（ステップＳ５）。具体的には、制御部１１は、ステップＳ４の処理が施された歌唱ピッチデータＳＰの示すピッチの時間的な変化を解析し、同一のピッチが予め定められた時間（例えば、１００msec）以上継続している場合にはそのピッチを選択する一方、それ以外の場合には、直前に選択されたピッチを継続して選択する（ステップＳ５）。すなわち、制御部１１は、一定時間（例えば、１００msec）以上同じ音高が継続していない場合には、ノイズとみなして、以前の音を継続して発音していると判断する。この実施形態では、具体的には、例えば、図６に示す例において、制御部１１は、時間区間ｔ１においては、所定時間以上同一のピッチが継続していると判断し、この時間区間ｔ１においては歌唱ピッチデータＳＰの示すピッチｐ１を選択する。一方、制御部１１は、時間区間ｔ２においては、所定時間以上同一のピッチが継続していないと判断し、この時間区間ｔ２においては、直前に選択されたピッチｐ１を採用する。

図７は、図６に例示した歌唱ピッチデータＳＰに対してノイズ除去処理が施された結果の一例を示す図である。図において、横軸は時刻を示し、縦軸はピッチを示している。図示のように、一定の期間の間にピッチがゆらいでいる区間は、ノイズとみなされ、その直前のピッチが採用されることによって、ノイズが除去される。

次いで、制御部１１は、子音区間のピッチを補間する処理を行う（ステップＳ６）。具体的には、制御部１１は、歌唱ピッチデータＳＰの示すピッチについて、ピッチが検出されなかった時間区間がある場合に、その時間区間の直後に検出されたピッチで、そのピッチの検出が開始されたときから予め定められた時間前までの間のピッチを補間する。例えば、図７に示されるように、歌唱音声の「る」にあたる時間区間の先頭部分の時間区間ｔ３や、「ひ」にあたる時間区間の先頭部分の時間区間ｔ４は、子音が発音された部分であり、これらの時間区間ではピッチが検出されない。この場合、制御部１１は、例えば時間区間ｔ３については、その直後に検出されたピッチｐ２で、時間区間ｔ３の最後尾から所定時間Ｔ１（例えば、１００msec）前までの間のピッチを補間する。もちろん、Ｔ１の時間値はピッチが検出されなかった時間ｔ３をそのまま代入してもよい。
図８は、図７に例示したピッチデータに対して子音区間のピッチ補間処理が施された結果を示す図である。図において、横軸は時刻を示し、縦軸はピッチを示している。図示のように、歌唱音声に含まれるそれぞれの音素の子音部分のピッチが補間される。

次いで、制御部１１は、ステップＳ６に示す処理が施された歌唱ピッチデータＳＰの示すピッチとリファレンスピッチデータＲＰの示すピッチとが、一致する場合と一致しない場合とで異なる態様で表示されるような画像データを生成し（ステップＳ７）、歌詞データと生成した画像データとを表示部１３に出力する（ステップＳ８）。表示部１３は、制御部１１から供給される画像データに基づいて、歌詞テロップを表示するとともに歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとを表す画像を表示する。

図９は、表示部１３に表示される画面の一例を示す図である。図示のように、この画面には、歌詞テロップＷ１が表示されるとともに、リファレンスデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…が表示される。帯状図形Ｚ１，Ｚ２，Ｚ３，…は、音素（ノートデータ）毎に描画され、ピッチの高低がその表示位置で示されるとともに、ノートの長さがその横幅で示されている。より具体的には、図９に示す例においては、帯状図形Ｚ１，Ｚ２，Ｚ３，…は、その表示位置が図中上部にあるほどピッチが高いことを示し、また、その横幅が長いほど音の長さが長いことを示す。

このとき、この画面では、基本色Ｃ１と一致色Ｃ２との２色の色が用いられる。歌唱者が未歌唱の区間については、リファレンスデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…は基本色Ｃ１で描画される。一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとが一致する区間については一致色Ｃ２で描画され、一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとが一致しない区間においては基本色Ｃ１で描画される。

制御部１１は、カラオケ伴奏が終了していない場合には（ステップＳ９；ＮＯ）、ステップＳ２の処理に戻る。すなわち、制御部１１は、歌唱者の歌唱音声が収音されてオーディオ信号が生成されると、その楽曲のカラオケ伴奏が終了する（ステップＳ９；ＹＥＳ）まで、ステップＳ２〜ステップＳ９の処理を所定時間単位で繰り返し実行し、処理結果をリアルタイムに表示部１３に表示させる。
これにより、歌唱者は、歌唱している最中に、自身の歌唱音声のピッチとリファレンスデータのピッチとの相違箇所を、表示部１３をみることで直感的に把握することができる。

以上説明したようにこの実施形態によれば、制御部１１が、収音した音声を表すオーディオ信号からピッチを検出し、検出したピッチに対してピッチ丸め処理を行うから、表示部１３に表示される画像は、半音単位で丸められたピッチが表示される。これにより、検出したピッチの波形そのものをそのまま表示する場合（図５参照）と比較して、歌唱者のピッチを、より歌唱者に分かり易く示すことができる。

また、この実施形態によれば、子音区間を母音のピッチで補間するから、各音素の発音タイミングがずれて表示が不自然になるという不具合を防ぐことができる。

また、この実施形態によれば、同一のピッチが予め定められた時間以上継続している場合にはそのピッチを選択する一方、予め定められた時間内に複数のピッチが混在している場合には、直前に選択されたピッチを継続して選択するから、ノイズを除去することができ、より見易い表示を行うことができる。

また、この実施形態によれば、歌唱者は、自身の歌唱音声のピッチとリファレンスのピッチとがずれている箇所を、表示部１３を視認することで直感的に把握することができる。特に、歌唱者が歌唱している最中であっても、表示部１３に表示された図形の色を見るだけで、歌唱者は、自身の歌唱音声のピッチとガイドメロディのピッチとの差異を直感的に把握することができる。

＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態では、図９に示すような、基本色Ｃ１と一致色Ｃ２との２色の色を用いて表示したが、これに限らず、例えば、図１０に示すように、基本色Ｃ１，一致色Ｃ２，不一致色Ｃ３の３色の色を用いて表示してもよい。図１０に例示する画面では、歌唱者が未歌唱の区間については、リファレンスデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…は基本色Ｃ１で描画される。一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとが一致する区間については一致色Ｃ２で描画される。また、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとが一致しない区間においては不一致色Ｃ３で描画される。
また、他の例として、例えば、リファレンスピッチデータＲＰを表す帯状図形を表示しておき、歌唱が行われると、歌唱ピッチデータＳＰを表す帯状図形を、その上に上書するようにしてもよい。
このように、描画に用いられる色の数や種類は任意であり、要するに、歌唱ピッチデータＳＰの示すピッチとリファレンスピッチデータＲＰの示すピッチとが、一致する場合と一致しない場合とで異なる態様で表示されるようにすればよい。

（２）上述の実施形態では、歌唱ピッチデータＳＰの表すピッチとリファレンスピッチデータＲＰの表すピッチとを、両者が一致する場合とそれ以外の場合で異なる態様で表示するようにした。表示態様はこれに限らず、例えば、歌唱ピッチデータの表すピッチとリファレンスピッチデータＲＰの表すピッチとを、比較可能な態様で表示してもよい。具体的には、例えば、図１１に示すように、リファレンスピッチデータＲＰのピッチを表す帯状図形Ｚ１，Ｚ２，Ｚ３，…と、歌唱ピッチデータＳＰのピッチを表す帯状図形Ｚ１１，Ｚ１２，Ｚ１３，…とを、並べて表示するようにしてもよい。図１１に示す例において、帯状図形Ｚ１１，Ｚ１２，Ｚ１３，…は、帯状図形Ｚ１，Ｚ２，Ｚ３，…と同様に、ピッチの高低がその表示位置で示されるとともに、ピッチの継続時間長がその横幅で示されている。すなわち、制御部１１は、リファレンスピッチデータＲＰと歌唱ピッチデータＳＰのそれぞれについて、ピッチの高低とその継続時間が、帯状図形の表示位置と形状で示されるような画像データを生成し、表示部１３に出力する。

また、上述した実施形態では歌唱ピッチデータＳＰの示すピッチとリファレンスピッチデータＲＰの示すピッチとを両方表示するようにしたが、歌唱ピッチデータＳＰの示すピッチのみを表示するようにしてもよい。具体的には、例えば、図１２に示すように、歌唱ピッチデータＳＰのピッチを表す帯状図形Ｚ１１，Ｚ１２，Ｚ１３，…を表示するようにしてもよい。なお、図１２に示す帯状図形Ｚ１１，Ｚ１２，Ｚ１３，…は、図１１に示したそれと同様であり、ここではその詳細な説明を省略する。

（３）上述の態様において、歌唱音声の比較対象となるリファレンスデータは、例えば楽曲のガイドメロディを表すデータであってもよく、また、例えば、楽曲の模範となる歌唱音声を表すデータであってもよく、楽曲の模範となるデータであればどのようなものであってもよい。

（４）上述した実施形態では、歌唱者の歌唱音声をリアルタイムで解析するようにしたが、必ずしもリアルタイムで解析する必要はなく、例えば、記憶部に予め記憶されたオーディオ信号を解析するようにしてもよい。また、例えば、カラオケ装置１にインターネット等の通信ネットワークを介してデータ伝送を行うための通信部を設ける構成とし、通信ネットワークを介してオーディオ信号を受信し、受信したオーディオ信号を解析するようにしてもよい。

（５）上述した実施形態では、制御部１１は、図４に示すフローチャートの順に各処理を行ったが、処理順序はこれに限定されるものではなく、例えば、ノイズ除去処理を行う前に子音区間ピッチ補間処理を行ってもよく、また、例えば、ピッチ丸め処理を行う前に子音区間ピッチ補間処理を行ってもよく、それらの処理順序は設計等に応じて変更可能である。また、制御部１１が、図４のステップＳ２〜ステップＳ９に示される処理を逐次実行するようにしてもよく、また、マルチタスクＯＳを用いて複数の処理を並行して実行するようにしてもよい。

また、上述の実施形態では、制御部１１は、図４に示すフローチャートの各処理をすべて実行したが、図４に示す処理の一部を実行するようにしてもよい。具体的には、例えば、ステップＳ５に示すノイズ除去処理を実行しないようにしてもよく、また、例えば、ステップＳ６に示す子音区間ピッチ補間処理を実行しないようにしてもよい。

（６）上述の実施形態では、カラオケ装置１が本実施形態に係るピッチ検出処理、ピッチ丸め処理、ノイズ除去処理等を行うようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、ピッチ検出処理、ノイズ除去処理等を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンから入力された音声をオーディオ信号に変換してサーバ装置に送信し、サーバ装置が、受信したオーディオ信号を解析して解析結果を示す画像データを生成し、生成した画像データをコンピュータ装置に送信してもよい。

（７）上述した実施形態におけるカラオケ装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。

カラオケ装置のハードウェア構成の一例を示すブロック図である。 楽曲データの構造を示す図である。 楽曲データに含まれるリファレンスデータトラックの内容を示す図である。 カラオケ装置の制御部が行う処理の流れを示すフローチャートである。 ピッチ検出処理を説明するための図である。 ピッチ丸め処理を説明するための図である。 ノイズ除去処理を説明するための図である。 子音区間ピッチ補間処理を説明するための図である。 表示部１３に表示される画面の一例を示す図である。 表示部１３に表示される画面の一例を示す図である。 表示部１３に表示される画面の一例を示す図である。 表示部１３に表示される画面の一例を示す図である。

符号の説明

１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１２１…楽曲データ記憶領域、１２２…背景画データ記憶領域。

Claims (6)

1. 音声のピッチを複数の区間に区分し、各区間の代表値を特定する代表値特定手段と、
   収音された音声を表すオーディオ信号から、該オーディオ信号のピッチを検出するピッチ検出手段と、
   前記ピッチ検出手段によって前記ピッチが検出されなかった時間区間がある場合に、該時間区間の直後に検出されたピッチで、該ピッチの検出が開始されたときから予め定められた時間前までの間のピッチを補間するピッチ補間手段と、
   前記ピッチ補間手段により補間がなされたピッチに対して、該ピッチが含まれる区間の代表値を前記代表値特定手段を用いて特定し、該ピッチを、前記代表値特定手段を用いて特定された代表値に変換するピッチ丸め手段と、
   前記ピッチ丸め手段により変換された代表値の時間的変化を表す画像データを生成する画像データ生成手段と、
   前記画像データ生成手段により生成された画像データを表示手段に出力する画像データ出力手段と
   を具備することを特徴とするピッチ表示制御装置。
2. 音声のピッチを複数の区間に区分し、各区間の代表値を特定する代表値特定手段と、
   収音された音声を表すオーディオ信号から、該オーディオ信号のピッチを検出するピッチ検出手段と、
   前記ピッチ検出手段により検出されたピッチが含まれる区間の代表値を前記代表値特定手段を用いて特定し、前記ピッチ検出手段により検出されたピッチを、前記代表値特定手段を用いて特定された代表値に変換するピッチ丸め手段と、
   前記ピッチ丸め手段によって変換された代表値の時間的な変化を解析し、同一の代表値が予め定められた時間以上継続している場合には、該代表値を選択する一方、それ以外の場合には、直前に選択された代表値を継続して選択する代表値選択手段と、
   前記代表値選択手段により選択された代表値の時間的変化を表す画像データを生成する画像データ生成手段と、
   前記画像データ生成手段により生成された画像データを表示手段に出力する画像データ出力手段と
   を具備することを特徴とするピッチ表示制御装置。
3. 前記画像データ生成手段は、前記代表値の高低をその表示位置で示すとともに該代表値の継続時間長をその形状で示す帯状図形を含む画像を表す画像データを生成する
   ことを特徴とする請求項１又は２に記載のピッチ表示制御装置。
4. 模範となるピッチの時間的変化を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備え、
   前記画像データ生成手段は、前記ピッチ丸め手段により変換された代表値の時間的変化と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチの時間的変化とが、比較可能な態様で表示されるような画像データを生成する
   ことを特徴とする請求項１に記載のピッチ表示制御装置。
5. 前記画像データ生成手段は、前記ピッチ丸め手段により変換された代表値の時間的変化と前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチの時間的変化とが、一致する場合と一致しない場合とで異なる態様で表示されるような画像データを生成する
   ことを特徴とする請求項４に記載のピッチ表示制御装置。
6. 模範となるピッチの時間的変化を示すリファレンスデータを記憶するリファレンスデータ記憶手段を備え、
   前記画像データ生成手段は、前記代表値選択手段により選択された代表値の時間的変化と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチの時間的変化とが、比較可能な態様で表示されるような画像データを生成する
   ことを特徴とする請求項２に記載のピッチ表示制御装置。

Images