JP6090043B2 - 情報処理装置、及びプログラム - Google Patents
情報処理装置、及びプログラム Download PDFInfo
- Publication number
- JP6090043B2 JP6090043B2 JP2013159239A JP2013159239A JP6090043B2 JP 6090043 B2 JP6090043 B2 JP 6090043B2 JP 2013159239 A JP2013159239 A JP 2013159239A JP 2013159239 A JP2013159239 A JP 2013159239A JP 6090043 B2 JP6090043 B2 JP 6090043B2
- Authority
- JP
- Japan
- Prior art keywords
- vowel
- voice
- waveform
- data
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
すなわち、上記特許文献1に記載された方法では、歌唱の評価において、より適切な評価を実現することが困難であるという課題が存在する。
本発明における歌詞取得手段は、所定の楽曲において歌唱すべき歌詞を表す歌詞データを取得する。そして、特定手段が、歌詞取得手段により取得された歌詞データによって表される歌詞を、母音で表した母音データを特定する。
換言すれば、本発明の情報処理装置によれば、歌唱の評価において、客観的で違和感が少なく、より適切な評価を実現できる。
さらに、本発明における安定性評価手段は、母音ごとに安定性指標を導出しても良い。
このような情報処理装置によれば、母音(の内容)ごとに安定性指標を導出することができ、利用者が得意な母音や不得意な母音を特定できる。
ところで、本発明の情報処理装置においては、音声制御手段が、所定の楽曲を表す楽曲データに従って、楽曲を出力させ、表示制御手段が、音声制御手段により出力される楽曲に従って、歌詞取得手段により取得された歌詞データを表示させても良い。
換言すれば、本発明の情報処理装置によれば、歌唱の評価において、客観的で違和感が少なく、より適切な評価を実現できる。
この場合、本発明におけるプログラムは、歌詞データを取得する歌詞取得手順と、母音データを特定する特定手順と、音声データを取得する音声データ取得手順と、母音発声波形を抽出する抽出手順と、声質評価値を、発声の安定性を表す指標として決定する声質評価手順とをコンピュータに実行させるものであることが好ましい。
[第一実施形態]
〈カラオケシステムについて〉
図1に示すように、カラオケシステム1は、ユーザ(利用者)が指定した楽曲を演奏し、その演奏に合わせてユーザが歌唱するシステムである。
情報処理装置10は、カラオケの用途に用いられる音楽データMDに基づいて楽曲を演奏すると共に、その楽曲の演奏中に音声の入力を受け付ける。情報格納サーバ25は、楽曲ごとに用意された音楽データMDそれぞれを格納すると共に、情報処理装置10を介して入力された音声それぞれの音声波形を表すデータである音声データSVを格納する。
〈情報格納サーバ〉
情報格納サーバ25は、記憶装置27と、制御装置29とを備え、通信網を介して、情報処理装置10に接続されている。
音楽データMDは、楽曲MIDIデータDMと、歌詞データDLとを有し、それぞれ対応する楽曲ごとに対応付けられている。
このうち、歌詞テロップデータDTは、楽曲において歌唱されるべき歌詞を表すデータであり、周知のカラオケ装置を構成する表示装置に表示されるテロップに関するデータである。歌詞出力データDOは、歌詞出力タイミングを楽曲MIDIデータDMの演奏と対応付けたタイミング対応関係が規定されたデータである。ここで言う歌詞出力タイミングとは、歌詞構成文字の出力タイミングであり、歌詞構成文字とは、歌詞テロップデータDTによって表される歌詞を構成する文字である。
〈情報処理装置〉
情報処理装置10は、通信部11と、入力受付部12と、音源モジュール16と、記憶部17と、制御部20とを備えている。この情報処理装置10には、表示部13と、音声入力部14と、音声出力部15とが接続されている。
表示部13は、制御部20からの信号に従って、少なくとも、画像を表示する表示装置である。本実施形態における表示装置とは、例えば、液晶ディスプレイやCRTなどである。また、音声入力部14は、音を電気信号に変換して制御部20に入力する装置(いわゆるマイクロホン)である。音声出力部15は、制御部20からの電気信号を音に変換して出力する装置(いわゆるスピーカ)である。
記憶部17は、記憶内容を読み書き可能に構成された不揮発性の記憶装置である。本実施形態における記憶装置とは、例えば、ハードディスク装置や、フラッシュメモリなどである。
〈安定性判定処理〉
制御部20が実行する安定性判定処理は、起動指令が入力されると起動される。なお、起動指令は、カラオケ演奏処理の終了後に自動的に入力されても良いし、カラオケ演奏処理の終了後に入力されるようにユーザが予め設定した場合に入力されても良い。または、安定性判定処理を実行するためのアプリケーションが、情報処理装置10で実行された場合に起動されても良い。
具体的にS200では、制御部20が、S180での分析時間窓ごとの周波数解析の結果(即ち、周波数スペクトル)について自己相関を算出(導出)する。この自己相関の導出は、時系列に沿って順次実施される。そして、制御部20は、その自己相関の算出(導出)の結果、ピークの存在が未検出である状態から検出された状態へと切り替わった分析時間窓に対応する時刻を発声開始タイミングΔctsとして特定する。
具体的にS210では、制御部20が、S200にて自己相関を算出した結果に基づいて、各発声開始タイミングΔcts以降に、所定の条件を満たす最初の時刻を発声終了タイミングΔcteとして特定しても良い。ここで言う所定の条件とは、例えば、ピークの存在を検出した状態から未検出である状態へと切り替わった分析時間窓に対応することである。
さらに、S220では、制御部20が、母音データに基づいて、各母音発声波形にて発声された母音の内容を対応付ける。
さらに、制御部20は、発声の安定性を表す指標である安定性指標を算出(導出)する(S270)。このS270にて算出する安定性指標には、母音ごとの発声の安定性を表す母音安定性指標と、対象楽曲全体に対する総合的な発声の安定性を表す総合安定性指標とを含む。
続いて、制御部20は、S270にて算出した安定性指標を報知する(S280)。このS280で報知する安定性指標には、母音安定性指標及び総合安定性指標のうちの少なくとも一方を表示部13に表示することを含む。
つまり、本実施形態の安定性判定処理では、対象楽曲に対する歌唱が完了した後、制御部20が、その対象楽曲に対する音声データSVに基づいて、母音に対する発声の安定度合いを表す安定性指標を算出している。その安定性指標は、母音に対して声質が高い発声ができていれば、高いものとして算出される。
[第一実施形態の効果]
本実施形態においては、ケプストラムベクトルの分散ベクトルの逆数の母音ごとの和を母音安定性指標として算出している。このため、その母音安定性指標は、同一母音に対する発声のスペクトル包絡のブレを表すものである。よって、母音安定性指標は、値が大きいほどブレが小さく、当該母音を安定して発声できており、声質が高いことを表している。
換言すれば、情報処理装置10によれば、歌唱の評価において、客観的で違和感が少なく、より適切な評価を実現できる。
[第二実施形態]
第二実施形態のカラオケシステムは、第一実施形態のカラオケシステム1とは、主として、情報処理装置10が実行するカラオケ演奏処理、及び安定性判定処理の内容が異なる。このため、本実施形態においては、第一実施形態と同様の構成及び処理には、同一の符号を付して説明を省略し、第一実施形態とは異なるカラオケ演奏処理、及び安定性判定処理を中心に説明する。
〈カラオケ演奏処理〉
本実施形態の情報処理装置10では、カラオケ演奏処理の実行中に安定性判定処理を実行し、歌唱中の音声について発声の安定性を判定する。
続いて、制御部20は、対象楽曲の演奏中に歌唱された音声に基づいて、安定性判定処理を実行する(S530)。
〈安定性判定処理〉
本実施形態における安定性判定処理では、図7に示すように、制御部20が、カラオケ演奏処理のS530にて起動されると、まず、対象楽曲の歌詞データDLを情報格納サーバ25から取得し(S610)、当該対象楽曲のメロノート情報を情報格納サーバ25から取得する(S620)。
この表示部13による表示は、制御部20が、表示部13に対して制御信号を出力することで実現する。制御信号が入力された表示部13は、例えば、図8に示すように、ピアノロール形式で表示された楽音に楽音安定性指標を付加する。このような表示は、楽音安定性指標が所定の基準を満たす母音に対応する歌詞であるか、楽音安定性指標が所定の基準を満たさない母音に対応する歌詞であるかを識別可能な態様で実施することが考えられる。そして、識別可能な態様としては、図8に示すように、楽音安定性指標を評価が高い順に、「丸(○)」,「三角(△)」,「罰点(×)」の三段階で表示することが考えられる。
〈基準生成処理〉
基準生成処理は、安定性判定処理のS655にて起動されると、図9に示すように、制御部20が、まず、対象楽曲における母音の出現回数を母音ごとにカウントする母音出現カウンタを初期化する(S910)。ここで言う初期化は、「0」とすることである。
さらに、制御部20は、S950にて抽出した母音発声波形を分析する(S960)。このS960における分析では、制御部20が、パワー時間変化や、基本周波数推移、ケプストラムベクトルの平均ベクトル(即ち、発声ケプストラム)を算出(導出)する。
[第二実施形態の効果]
以上説明したように、本実施形態の情報処理装置によれば、対象楽曲を歌唱しているユーザの発声の安定性を、対象楽曲の演奏中にリアルタイムに評価できる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
上記実施形態における表示部13、音声入力部14、音声出力部15は、情報処理装置10に接続されていたが、表示部13、音声入力部14、音声出力部15は、情報処理装置10が備えていても良い。すなわち、本発明における情報処理装置は、カラオケ装置に限定されるものではなく、携帯端末であっても良いし、その他の情報処理機器であっても良い。
[実施形態と特許請求の範囲との対応関係]
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
Claims (7)
- 所定の楽曲において歌唱すべき歌詞を表す歌詞データを取得する歌詞取得手段と、
前記歌詞取得手段により取得された歌詞データによって表される歌詞を、母音で表した母音データを特定する特定手段と、
前記所定の楽曲について歌唱された音声波形を表す音声データを取得する音声データ取得手段と、
前記音声データ取得手段により取得された音声データによって表される音声波形において、前記特定手段により特定された母音データの中の母音を発声した区間における波形を示す母音発声波形を抽出する抽出手段と、
前記抽出手段により抽出された母音発声波形と、母音を構成する複数の音ごとに用意され、かつ、母音を構成する複数の音ごとに発声される音の基準値とから、母音を構成する複数の音における母音発声波形の声質評価値を、発声の安定性を表す指標として決定する声質評価手段と、
を備えることを特徴とする情報処理装置。 - 前記所定の楽曲における発声の安定性を表す指標を安定性指標とし、前記声質評価手段にて決定した声質評価値が高いほど、前記発声の安定性が高いものとして前記安定性指標を決定する安定性評価手段
を備えることを特徴とする請求項1に記載の情報処理装置。 - 前記安定性評価手段は、
前記母音ごとに前記安定性指標を導出する
ことを特徴とする請求項2に記載の情報処理装置。 - 前記特定手段で特定した母音データに基づいて、前記所定の楽曲に含まれる母音を構成する複数の音の総数に対して、母音を構成する複数の音夫々の割合を表す母音割合を決定する決定手段を備え、
前記安定性評価手段は、
前記決定手段で導出された母音割合が高いほど、前記声質評価手段で導出された母音を構成する複数の音ごとの声質評価値を高くして、前記安定性指標として決定する
ことを特徴とする請求項2または請求項3に記載の情報処理装置。 - 前記情報処理装置は、
前記所定の楽曲を表す楽曲データに従って、楽曲を出力させる音声制御手段と、
前記音声制御手段により出力される楽曲に従って、前記歌詞取得手段により取得された歌詞データを表示させる表示制御手段と、を備え、
前記音声データ取得手段は、前記音声制御手段により前記所定の楽曲が出力されているときに歌唱された音声波形を表す音声データを、前記楽曲の出力に沿って順次取得し、
前記抽出手段は、前記音声データ取得手段により順次取得された音声データについて、順次、前記特定手段により特定された母音データの中の母音を発声した区間における波形を示す前記母音発声波形を抽出し、
前記声質評価手段は、前記抽出手段により抽出された母音発声波形と、母音ごとに発声される音の基準値とから、母音における母音発声波形の声質評価値を順次決定し、
前記表示制御手段は、前記声質評価手段により決定された声質評価値に基づいて、前記声質評価値が所定の基準を満たす母音、または、前記声質評価値が所定の基準を満たさない母音の少なくともいずれかに対応する歌詞を識別可能な態様で表示手段に表示させることを特徴とする請求項1から請求項4のいずれか一項に記載の情報処理装置。 - 前記抽出手段により抽出された母音発声波形それぞれにおけるケプストラムである発声ケプストラムそれぞれを導出する解析手段を備え、
前記声質評価手段は、
各母音のフォルマント構造におけるスペクトル包絡から導出したケプストラムそれぞれを前記基準値とし、前記特定手段で特定した母音データに基づいて、前記解析手段で導出された発声ケプストラムそれぞれと当該発声ケプストラムに対する母音の前記基準値との相関値を前記声質評価値として導出する
ことを特徴とする請求項1から請求項5までのいずれか一項に記載の情報処理装置。 - 所定の楽曲において歌唱すべき歌詞を表す歌詞データを取得する歌詞取得手順と、
前記歌詞取得手順により取得された歌詞データによって表される歌詞を、母音で表した母音データを特定する特定手順と、
前記所定の楽曲について歌唱された音声波形を表す音声データを取得する音声データ取得手順と、
前記音声データ取得手順により取得された音声データによって表される音声波形において、前記特定手順により特定された母音データの中の母音それぞれを発声した区間における波形を示す母音発声波形を抽出する抽出手順と、
前記抽出手順により抽出された母音発声波形と、母音を構成する複数の音ごとに用意され、かつ、母音を構成する複数の音ごとに発声される音の基準値とから、母音を構成する複数の音における母音発声波形の声質評価値を、発声の安定性を表す指標として決定する声質評価手順と、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013159239A JP6090043B2 (ja) | 2013-07-31 | 2013-07-31 | 情報処理装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013159239A JP6090043B2 (ja) | 2013-07-31 | 2013-07-31 | 情報処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015031728A JP2015031728A (ja) | 2015-02-16 |
JP6090043B2 true JP6090043B2 (ja) | 2017-03-08 |
Family
ID=52517122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013159239A Active JP6090043B2 (ja) | 2013-07-31 | 2013-07-31 | 情報処理装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6090043B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108206027A (zh) * | 2016-12-20 | 2018-06-26 | 北京酷我科技有限公司 | 一种音频质量评价方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006195385A (ja) * | 2005-01-17 | 2006-07-27 | Matsushita Electric Ind Co Ltd | 音楽再生装置および音楽再生プログラム |
JP4906776B2 (ja) * | 2008-04-16 | 2012-03-28 | 株式会社アルカディア | 音声制御装置 |
-
2013
- 2013-07-31 JP JP2013159239A patent/JP6090043B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108206027A (zh) * | 2016-12-20 | 2018-06-26 | 北京酷我科技有限公司 | 一种音频质量评价方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2015031728A (ja) | 2015-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6060867B2 (ja) | 情報処理装置,データ生成方法,及びプログラム | |
JP5598516B2 (ja) | カラオケ用音声合成システム,及びパラメータ抽出装置 | |
CN111837183A (zh) | 声音处理方法、声音处理装置及记录介质 | |
JP6098422B2 (ja) | 情報処理装置、及びプログラム | |
JP6252420B2 (ja) | 音声合成装置、及び音声合成システム | |
JP6090043B2 (ja) | 情報処理装置、及びプログラム | |
JP2017181793A (ja) | 音響処理装置、及びプログラム | |
CN113823270B (zh) | 节奏评分的确定方法、介质、装置和计算设备 | |
JP6075314B2 (ja) | プログラム,情報処理装置,及び評価方法 | |
WO2022054496A1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6075313B2 (ja) | プログラム,情報処理装置,及び評価データ生成方法 | |
JP2013210501A (ja) | 素片登録装置,音声合成装置,及びプログラム | |
JP5810947B2 (ja) | 発声区間特定装置、音声パラメータ生成装置、及びプログラム | |
JP6056799B2 (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP6406182B2 (ja) | カラオケ装置、及びカラオケシステム | |
JP6399715B1 (ja) | 歌唱支援装置および、カラオケ装置 | |
JP6365483B2 (ja) | カラオケ装置,カラオケシステム,及びプログラム | |
JP6011506B2 (ja) | 情報処理装置,データ生成方法,及びプログラム | |
JP5983670B2 (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP6252517B2 (ja) | 音声合成装置、及びプログラム | |
JP6260499B2 (ja) | 音声合成システム、及び音声合成装置 | |
JP5845857B2 (ja) | パラメータ抽出装置、音声合成システム | |
JP6281447B2 (ja) | 音声合成装置,及び音声合成システム | |
JP6252408B2 (ja) | 表示制御装置,及び表示制御システム | |
JP6365561B2 (ja) | カラオケシステム、カラオケ装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6090043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |