JP3966112B2

JP3966112B2 - 歌唱力評価機能付カラオケ機能を有する携帯端末装置

Info

Publication number: JP3966112B2
Application number: JP2002221866A
Authority: JP
Inventors: 保之村木
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-07-30
Filing date: 2002-07-30
Publication date: 2007-08-29
Anticipated expiration: 2022-07-30
Also published as: JP2004061968A

Description

【０００１】
【発明の属する技術分野】
この発明は、歌唱力評価機能付カラオケ機能を有する携帯端末装置に関する。
【０００２】
【従来の技術】
従来より、カラオケ装置は飲食店や家庭等において広く用いられ、近年では、携帯電話機のような携帯端末装置においても、カラオケ機能を付加した機種が開発されている。このカラオケ機能を有する携帯電話機には、楽曲の再生と歌詞の表示だけではなく、マイクとスピーカを利用して、スピーカからカラオケ楽曲を放音するとともに、マイクから利用者の歌声の入力を受け、さらに入力された利用者の歌声とカラオケ楽曲をミキシングしてスピーカから放音し、専用のカラオケ装置と同様の機能をもたせているものもある。
一方、専用のカラオケ装置では、歌唱力を評価する機能として歌唱力の採点機能をもつものが一般的になってきている。また、携帯電話機においても、例えば、特開２００１−１９７１６８号公報等には、カラオケ機能と歌唱力の採点機能を有する携帯電話機の発明が開示されている。
しかしながら、従来のこの種の採点機能付きカラオケ装置はその採点結果を単に表示するのみであった。
【０００３】
また、従来の一般的なカラオケ装置においては、演奏終了後に採点結果が表示されるのみであるため、具体的に楽曲中のどの個所の歌唱が悪かったのかを歌唱者が把握できないといった問題があった。
このような問題を解決する技術として、特開平４−１３１７６号公報に「音高差表示機能付きカラオケ装置」が開示されている。これは、基準となる歌唱旋律の音高と、マイクロフォンから入力される歌唱音声の音高との差を、楽曲演奏中に随時、グラフ等の形式によってディスプレイ装置に表示する機能を備えたカラオケ装置である。
しかしながら、上記音高差表示機能付きカラオケ装置においては、楽曲演奏中に歌詞表示と上記音高差を示すグラフ等とが同時に表示されるため、歌詞表示が見にくくなるといった問題があった。
特に、携帯電話機のような、その利用形態から小型である携帯端末装置にカラオケ機能と歌唱力の採点機能をもたせた場合では、上記問題は一層深刻なものとなる。
【０００４】
【発明が解決しようとする課題】
本発明は、上記の点に鑑みてなされたもので、歌唱力の評価結果をリアルタイムに歌唱者に分かりやすい方法で伝えることができる歌唱力評価機能付カラオケ機能を有する携帯端末装置を提供するものである。
【０００５】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、基地局と無線により送受信を行う通信部と、前記通信部による通話時の音声およびカラオケモード時の音声を入力するマイクロフォンと、前記通信部による着信を点滅で知らせる発光素子と、表示部と、楽曲データを再生して楽曲を生成する楽曲再生手段と、前記マイクロフォンから入力した音声信号に基づいて歌唱力を評価する評価手段と、を具備する歌唱力評価機能付カラオケ機能を有する携帯端末装置において、前記表示部は、前記評価手段による評価結果を表示し、前記発光素子は、前記評価手段により評価された歌唱力の程度に応じた周期で点滅することを特徴とする。
【０００６】
また、請求項２に記載の発明は、基地局と無線により送受信を行う通信部と、前記通信部による通話時の音声およびカラオケモード時の音声を入力するマイクロフォンと、前記通信部による着信を振動で知らせるバイブレータと、表示部と、楽曲データを再生して楽曲を生成する楽曲再生手段と、前記マイクロフォンから入力した音声信号に基づいて歌唱力を評価する評価手段と、を具備する歌唱力評価機能付カラオケ機能を有する携帯端末装置において、前記表示部は、前記評価手段による評価結果を表示し、前記バイブレータは、前記評価手段により評価された歌唱力の程度に応じた周期で振動することを特徴とする。
【０００７】
前記歌唱力評価機能付カラオケ機能を有する携帯端末装置は、歌唱者の歌唱力を評価するが、その評価結果に応じて、すなわち、歌唱者の歌唱力の程度に応じて、発光素子の点滅パターンを変え、または、バイブレータの振動パターンを変える。この点滅パターンまたは振動パターンの変更は、その点滅または振動の周期を変えることで行うことが望ましい。例えば、歌唱者の歌声がお手本の音声に近い場合は、点滅の周期または振動の周期を長くし、お手本の音声からのずれが大きい場合は、点滅の周期または振動の周期を短くする。このように発光素子の点滅やバイブレータの振動のパターンを変化させることにより、歌唱者は、携帯端末装置のような小型の機器であっても、リアルタイムに、自身の歌唱力の程度を容易に認識することができる。
【０００８】
【発明の実施の形態】
以下、本発明の一実施の形態である携帯電話機について図面を参照して説明する。図１は、本実施の形態の携帯電話機の概略構成を示すブロック図である。
【０００９】
同図において、携帯電話機１は、アンテナ１１と、アンテナ１１を介して基地局（図示せず）と無線送信／受信を行う通信部１２と、マイク１３から入力した音声を符号化し、あるいは入力したデジタル信号を復号化する音声処理部１４と、楽曲データの再生と再生した楽曲信号およびマイク１３から入力された音声信号のミキシングと着信音の形成をする楽曲再生部１５と、着信音の放音ならびに楽曲再生部１５においてミキシングされた楽曲と音声（歌声）の放音をするスピーカ１６と、歌唱者の歌唱力を評価し、その評価結果を出力する評価パラメータ抽出部１７と、液晶表示パネル（ＬＣＤ）１８と、電話番号や機能選択を入力する入力部１９と、データ記憶用のＲＡＭ（ランダム・アクセス・メモリ）２０と、通信プログラムなどを格納するＲＯＭ（リード・オンリ・メモリ）２１と、着信を点滅により知らせると供に、歌唱力の評価結果も知らせるＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）２２と、着信を振動で知らせると供に、歌唱力の評価結果も知らせるバイブレータ２３と、通信プログラム等を実行し各部の動作を制御するＣＰＵ（中央処理装置）２４とから構成される。各部はバス１０によりＣＰＵ・２４へ接続されている。
【００１０】
上記の構成をさらに説明すると、通信部１２は、音声処理部１４から入力したデジタル信号により変調した信号をアンテナ１１を介して基地局へ送信する。また、アンテナ１１を介して、受信した無線信号を復調してそのデジタル信号を出力する。変復調方式には、無線周波数の利用率を良くするため、ＱＰＳＫ（４相位相変調）などが用いられる。また、ＴＤＤ（時分割双方向通信）方式が用いられている場合は、送受信に同一周波数を用いて、送信と受信は時分割で行われる。その他、ＣＤＭＡ（符合分割多重接続）方式やＰＤＣ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＣｅｌｌｕｌａｒＳｙｓｔｅｍ）方式などを用いてもよい。
【００１１】
また、ＲＡＭ・２０にはユーザ設定データ格納エリア、ＣＰＵ・２４のワークエリア、無線通信回線を介してダウンロードした楽曲データの格納エリアなどが設定される。また、ＲＯＭ・２１は、ＣＰＵ・２４が実行する発信／着信処理の通信プログラムや楽曲再生処理を補助する処理などのプログラムを格納する。入力部１９は、数値キーおよびコードキーからなるテンキーやジョグダイヤルなどから構成される入力手段である。通常の通話のための操作のほかに楽曲データの配信要求、カラオケモードＯＮ／ＯＦＦ、楽曲番号選択、楽曲再生スタート／ストップなどの操作入力ができる。ＬＣＤ・１８は、電話機能のメニュー、テンキーやジョグダイヤルなどのボタン操作に応じた表示、楽曲の歌詞、グラフィックス、評価結果（評価値）などを表示する。
【００１２】
ここで、楽曲データについて説明する。
本実施の形態で用いる楽曲データには、楽曲として再生する音色データとテンポデータとお手本ボーカル音声データ（お手本ボーカル音程データ及びお手本ボーカル音量データ）と、ＬＣＤ・１８に表示する歌詞データとグラフィクスデータを含んでいる。楽曲データ中の音色データは、波形パラメータ、エンベロープパラメータ、変調パラメータ、エフェクトパラメータ、その他のパラメータからなり、それぞれのパラメータは各音色に特有のパラメータとされている。各音色データにおける波形パラメータは、音色に対応する楽音波形を指示しており、例えば楽曲再生部１５に備わる音源部（図示せず）が波形テーブルを有するＰＣＭ音源とされている場合は、波形テーブルの何れかの波形を指示するパラメータとされ、音源部がＦＭ音源とされている場合は、ＦＭ演算のアルゴリズムを指示するパラメータとされる。上記エンベロープパラメータは、アタックレート、ディケイレート、サスティンレベル、リリースレートなどのパラメータであり、上記変調パラメータはビブラートやトレモロの深さや早さのパラメータであり、また、上記エフェクトパラメータはリバーブ、コーラス、バリエーションなどのパラメータである。
【００１３】
次に、図２を参照して評価パラメータ抽出部１７の説明を行う。
先ず、マイク１３（図１）から出力される歌唱者の音声信号と、再生された楽音信号（楽曲再生部１５の出力）は前処理部１７ａに入力される。前処理部１７ａでは入力された音声信号を音声帯域のフィルタを通し、高域および低域の雑音を除去し、歌唱者音声信号として出力する。また、この前処理部１７ａは、入力された楽音信号からお手本ボーカル音声信号を抽出する。すなわち、音声多重方式の場合、左側チャネル信号には伴奏が記録されており、右側チャネル信号には伴奏および音声が記録されている。そこで、前処理部１７ａは、右側チャネル信号から左側チャネル信号を減算することにより、音声信号を抽出する。次いで、抽出した音声信号を音声帯域のフィルタを通過させて高域および低域の雑音を除去し、お手本ボーカル音声信号として出力する。
【００１４】
音程抽出部１７ｂは、まず、前処理部１７ａから供給された歌唱者音声信号およびお手本ボーカル音声信号の各々からピッチを抽出する。ピッチ抽出の手法としては、周知のゼロクロス間隔検出法、自己相関法またはそれらの組み合わせ法などを用いることができる。ピッチ抽出された各音声信号はそれぞれ、低域通過フィルタでビブラート成分が除去された後、音程データに変換される。
【００１５】
即ち、抽出されたピッチの逆数である周波数ｆは、基本周波数３２．７０３２Ｈｚからのずれとして次式のように表される。
ｆ＝３２．７０３２×２^(P+Q/12)［Ｈｚ］…（１）
ここで、Ｐはオクターブデータであり、Ｑは半音階データである。従って、音程データは、次式に基づいて算出される。
Ｐ＋（Ｑ／１２）＝ｌｏｇ₂（ｆ／３２．７０３２）…（２）
なお、オクターブデータＰは整数で、Ｑの絶対値が最小となるように決められる。このように音程データに変換するのは、聴覚特性にマッチングした比較をすることができるからである。そして、上述した処理によって得られた歌唱者音程データおよびお手本ボーカル音程データが各々評価部１７ｄへ出力される。
【００１６】
また、音量抽出部１７ｃは、入力された歌唱者音声信号とお手本ボーカル音声信号の各々の振幅値を絶対値化し、さらに、平滑化して音量データを生成し、歌唱者音量データおよびお手本ボーカル音量データとして評価部１７ｄへ出力する。評価部１７ｄは、入力された歌唱者音程データとお手本ボーカル音程データとを一定周期または再生音声信号から抽出したピッチに基づく比較タイミング信号に基づいて比較する。そして、両者が概ね一致していればカウンタがカウントアップし、このカウント値から音程データの一致度を算出する。同様にして、歌唱者音量データとお手本ボーカル音量データを上述した比較タイミング信号に同期して比較し、両者が概ね一致していればカウンタがカウントアップし、このカウント値から音量データの一致度を算出する。
【００１７】
更に、再現性のある機械的な比較処理だけではなく、主観的評価に近づけるように乱数が生成される。そして、音程データの一致度、音量データの一致度および乱数は、音程重視パラメータα、音量重視パラメータβおよび乱数重視パラメータγを乗算した後、加算される。各パラメータα、β、γは、パラメータ設定部１７ｅによってα＋β＋γ＝１を満たすように任意の割合で調整可能になっている。この加算値を評価値に変換し、この評価値に応じた周期で、バイブレータ２３を振動させるか、または、ＬＥＤ・２２を点滅させる。もちろんバイブレータ２３の振動とＬＥＤ・２２の点滅を同時にさせてもよい。
なお、この周期は、歌唱者（人）が振動や点滅の変化を認識できる範囲で、評価値と対応づけられている。また、上記評価値またはこの評価値をグラフ化した図あるいはこの評価値の変化に応じて変化する所定のキャラクタ図を、ＬＣＤ・１８に表示させるようにしてもよい。
【００１８】
また、評価パラメータ抽出部１７について、楽曲データからお手本ボーカル音声信号を抽出して評価する方法を説明したが、一般的には、楽曲データが音声信号を含まず伴奏データのみの場合がある。この場合、楽曲データに時系列に並んだ音程データと音量データからなる評価基準用パラメータが付加されているものとする。この場合、評価パラメータ抽出部１７は歌唱者音声信号から音程データと音量データを抽出してＣＰＵ・２４へ出力する。ＣＰＵ・２４は入力したデータと前記評価基準用パラメータを比較して歌唱力の評価を行う。
【００１９】
次に、上述した本実施の形態の携帯電話機１において、楽曲を再生しこの楽曲を歌唱者の歌声とミキシングして放音するとともに、歌唱者の歌唱力を評価するカラオケモードについてその動作を説明する。なお、以下では、楽曲データは予めＲＡＭ・２０に格納されているものとする。
【００２０】
先ず、ユーザが入力部１９のカラオケモードを選択するキー操作を行い（ステップＳ０１）、次いで、入力部１９から所望の楽曲番号を入力し（ステップＳ０２）、演奏スタートを指示するキー操作を行うと（ステップＳ０３）、入力部１９から入力された楽曲番号により、ＣＰＵ・２４は、ＲＡＭ・２０に格納されている楽曲データを読み出す（ステップＳ０４）。ＲＡＭ・２０から読み出された楽曲データは、バス１０を介して楽曲再生部１５に設定される（ステップＳ０５）。そして、楽曲再生部１５により楽曲データの再生がスタートする（ステップＳ０６）。
【００２１】
一方、歌唱者はマイク１３から音声信号を入力する。入力された音声信号は、再生された上記楽音信号とミキシングされる。ミキシングされた一方の出力は、所定のレベルに調整されてスピーカ１６から放音される（ステップＳ０６）。このとき、ＣＰＵ・２４は、楽曲データ中の歌詞データおよびグラフィックスデータを楽曲の再生処理と同期させてＬＣＤ・１８へ送り、表示させる（ステップＳ０６’）。
【００２２】
他方、評価パラメータ抽出部１７は、音声処理部１４を介してマイク１３から入力した歌唱者の音声信号と楽曲再生部１５で再生された楽音信号を受ける。評価パラメータ抽出部１７は、入力された音声信号から歌唱者音程データと歌唱者音量データを抽出し、また、楽音信号からお手本ボーカル音程データ、お手本ボーカル音量データとを抽出する。そして、両音声の音程データと音量データを比較し、その一致度から歌唱者の評価値を算出する（ステップＳ０７）。ＣＰＵ・２４は、楽曲再生のタイミングと合わせて、評価パラメータ抽出部１７により算出された評価値に応じたパターンで、バイブレータ２３を振動させるか、または、ＬＥＤ・２２を点滅させる（ステップＳ０８）。ここで、歌唱者の歌声がお手本の音声に近い場合に評価結果の評価値が高いものとすると、例えば、歌唱者の評価値が高い場合には、点滅の周期または振動の周期を長くし、評価値が低い場合は、点滅の周期または振動の周期を短くして、歌唱者の歌唱力の程度をリアルタイムに知らせる。
【００２３】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の構成等も含まれる。上記実施の形態では、携帯電話機を例として説明したが、本発明は、例えば、歌唱力評価機能付カラオケ機能を有する、ＰＨＳ（登録商標）（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）端末や、携帯情報端末（ＰＤＡ）等にも適用できる。
【００２４】
【発明の効果】
以上説明したように、本発明によれば、歌唱力評価機能付カラオケ機能を有する携帯端末装置において、評価手段により評価された歌唱力の程度に応じて、前記携帯端末装置に備わる発光素子の点滅パターンまたは前記携帯端末装置に備わるバイブレータの振動パターンを変えるので、携帯端末装置のような小型の機器であっても、歌唱者は、発光素子の点滅やバイブレータの振動の変化によって、リアルタイムに、自身の歌唱力の程度を容易に認識することができ、そのカラオケ機能と歌唱力評価機能とを利用し楽しむことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である携帯電話機の構成を示すブロック図である。
【図２】図１における評価パラメータ抽出部１７の構成を示すブロック図である。
【図３】同実施の形態の携帯電話機のカラオケモードについてその動作を説明するシーケンス図である。
【符号の説明】
１…携帯電話機（携帯端末装置）、１０…バス、１１…アンテナ、１２…通信部、１３…マイク（マイクロフォン）、１４…音声処理部、１５…楽曲再生部（楽曲再生手段、合成手段）、１６…スピーカ（発音手段）、１７…評価パラメータ抽出部（評価手段）、１８…ＬＣＤ、１９…入力部、２０…ＲＡＭ、２１…ＲＯＭ、２２…ＬＥＤ（発光素子）、２３…バイブレータ（バイブ）、２４…ＣＰＵ（中央処理装置）、１７ａ…前処理部、１７ｂ…音程抽出部、１７ｃ…音量抽出部、１７ｄ…評価部、１７ｅ…パラメータ設定部

Claims

基地局と無線により送受信を行う通信部と、前記通信部による通話時の音声およびカラオケモード時の音声を入力するマイクロフォンと、前記通信部による着信を点滅で知らせる発光素子と、表示部と、楽曲データを再生して楽曲を生成する楽曲再生手段と、前記マイクロフォンから入力した音声信号に基づいて歌唱力を評価する評価手段と、を具備する歌唱力評価機能付カラオケ機能を有する携帯端末装置において、
前記表示部は、前記評価手段による評価結果を表示し、
前記発光素子は、前記評価手段により評価された歌唱力の程度に応じた周期で点滅する
ことを特徴とする歌唱力評価機能付カラオケ機能を有する携帯端末装置。
基地局と無線により送受信を行う通信部と、前記通信部による通話時の音声およびカラオケモード時の音声を入力するマイクロフォンと、前記通信部による着信を振動で知らせるバイブレータと、表示部と、楽曲データを再生して楽曲を生成する楽曲再生手段と、前記マイクロフォンから入力した音声信号に基づいて歌唱力を評価する評価手段と、を具備する歌唱力評価機能付カラオケ機能を有する携帯端末装置において、
前記表示部は、前記評価手段による評価結果を表示し、
前記バイブレータは、前記評価手段により評価された歌唱力の程度に応じた周期で振動する
ことを特徴とする歌唱力評価機能付カラオケ機能を有する携帯端末装置。