JP4910855B2 - Reference data editing device, fist evaluation device, reference data editing method, fist evaluation method, and program - Google Patents
Reference data editing device, fist evaluation device, reference data editing method, fist evaluation method, and program Download PDFInfo
- Publication number
- JP4910855B2 JP4910855B2 JP2007108528A JP2007108528A JP4910855B2 JP 4910855 B2 JP4910855 B2 JP 4910855B2 JP 2007108528 A JP2007108528 A JP 2007108528A JP 2007108528 A JP2007108528 A JP 2007108528A JP 4910855 B2 JP4910855 B2 JP 4910855B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- section
- fist
- melody
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、リファレンスデータ編集装置、こぶし評価装置、リファレンスデータ編集方法、こぶし評価方法及びプログラムに関する。 The present invention relates to a reference data editing device, a fist evaluation device, a reference data editing method, a fist evaluation method, and a program.
カラオケ装置において歌唱の評価を行うための技術が種々提案されている。例えば、特許文献1に記載のカラオケ装置においては、歌唱者の音声からピッチ(音程)、音長、タイミングなどのパラメータを抽出し、抽出された各パラメータに基づいて歌唱の評価を行う技術が開示されている。
ところで、カラオケ装置を用いて歌唱の練習をする歌唱者は、歌い始めや歌い終わりを意図的にずらしたり、声質や音量を変化させたり、ビブラートやこぶしなどの技法を用いたりするなど、様々な表現方法を用いて歌のなかに情感を表現しようと試みる。
従来のカラオケ装置では、模範となる歌唱やガイドメロディなどのリファレンスに基づいて歌唱を評価している。リファレンスにおいては、例えば「こぶし」を用いて歌唱すべき区間におけるピッチが一過的に高くなるように設定されるなどしており、カラオケ装置は、該リファレンスのピッチと歌唱者のピッチとを比較して評価していた。
By the way, singers who practice singing using a karaoke device, such as intentionally shifting the beginning and end of singing, changing voice quality and volume, using techniques such as vibrato and fist, etc. Attempts to express emotions in songs using expression methods.
In a conventional karaoke apparatus, a singing is evaluated based on a reference such as a typical singing or a guide melody. In the reference, for example, “fist” is used so that the pitch in the section to be sung is temporarily increased, and the karaoke device compares the pitch of the reference with the pitch of the singer. And evaluated.
しかし、こぶしのピッチ変化の態様は歌唱者ごとに様々であり、ピッチ変化の態様がリファレンスと似ているか否かによって評価を行うのは適切ではない。むしろ、こぶしを用いて歌唱すべき区間で、歌唱者が実際にこぶしを用いて歌唱したか否かを判定するのが適切であると考えられる。 However, the pitch change mode of the fist varies from singer to singer, and it is not appropriate to evaluate whether or not the pitch change mode is similar to the reference. Rather, it is considered appropriate to determine whether or not the singer actually sang using the fist in the section to be sung using the fist.
本発明は、上述した事情に鑑みてなされたものであり、リファレンスデータからこぶしの技法を用いて歌唱すべき区間を検出し、リファレンスデータに該検出された区間を示すデータを加えることが可能なリファレンスデータ編集装置、リファレンスデータ編集方法、を提供することを目的とする。また、上記検出されたリファレンスデータにおけるこぶし区間に基づき、歌唱者の音声についてこぶしの技法を評価することが可能なこぶし評価装置、こぶし評価方法を提供することを目的とする。また、コンピュータに、上記リファレンスデータ編集およびこぶしの評価を行わせるためのプログラムを提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and it is possible to detect a section to be sung from the reference data using a fist technique and add data indicating the detected section to the reference data. It is an object of the present invention to provide a reference data editing device and a reference data editing method. It is another object of the present invention to provide a fist evaluation device and a fist evaluation method capable of evaluating a fist technique for a singer's voice based on the fist section in the detected reference data. It is another object of the present invention to provide a program for causing a computer to edit the reference data and evaluate the fist.
本発明に係るリファレンスデータ編集装置は、旋律を表すリファレンスデータを受取る受取手段と、前記受取手段が受取ったリファレンスデータが表す旋律からピッチを検出するピッチ検出手段と、前記ピッチ検出手段により検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、(2)ピッチが上昇している時間長が所定の閾値よりも短いという条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定手段と前記リファレンスこぶし区間特定手段が特定したリファレンスこぶし区間を示すリファレンスこぶし区間データを前記リファレンスデータに加える編集手段とを有することを特徴とする。 A reference data editing apparatus according to the present invention includes a receiving unit that receives reference data representing a melody, a pitch detecting unit that detects a pitch from a melody represented by the reference data received by the receiving unit, and a pitch detecting unit that detects the pitch. With reference to the pitch of the melody, (1) the pitch immediately before the pitch rises and the pitch immediately after the pitch fall are equal from one or more sections where the pitch rises and then falls in the melody, and (2) the pitch The reference fist section specifying means for specifying the section satisfying the condition that the time length during which the time is rising is shorter than a predetermined threshold as the reference fist section, and the reference fist section data indicating the reference fist section specified by the reference fist section specifying means Editing means for adding to the reference data Characterized in that it has.
本発明に係るこぶし評価装置は、音声を表す音声データを受取る受取手段と、前記受取手段が受取った音声データが表す音声からピッチを検出するピッチ検出手段と、前記ピッチ検出手段により検出された前記音声のピッチを参照し、前記音声においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、(2)ピッチが下降する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、(3)ピッチが上昇し始めてから下降し終わるまでに要する時間が所定の範囲内であることを特徴とする候補区間を特定する候補区間特定手段と、前記音声において、ビブラートの技法が用いられている区間を表すビブラート区間データを受取る第2の受取手段と、前記候補区間特定手段により特定された候補区間の各々について、前記第2の受取手段が受け取ったビブラート区間データが表すビブラート区間に含まれなければ、該候補区間をこぶしの技法が用いられているこぶし区間として特定するこぶし区間特定手段と旋律を表すリファレンスデータを受取る第3の受取手段と、前記第3の受取手段が受取ったリファレンスデータが表す旋律からピッチを検出する第2のピッチ検出手段と、前記第2のピッチ検出手段により検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、(2)ピッチが上昇している時間長が所定の閾値よりも短いという条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定手段と前記リファレンスこぶし区間特定手段により特定されたリファレンスこぶし区間と、前記こぶし区間特定手段により特定されたこぶし区間とに基づいて前記音声の評価をする評価手段とを有することを特徴とする。 The fist evaluation device according to the present invention includes a receiving unit that receives voice data representing a voice, a pitch detection unit that detects a pitch from a voice represented by the voice data received by the receiving unit, and the pitch detection unit that detects the pitch. With reference to the pitch of the voice, the absolute value of the ratio of the change in pitch in the section where the pitch rises is greater than a predetermined threshold from one or more sections where the pitch rises in the voice and then falls. 2) The absolute value of the rate of change in pitch in the interval in which the pitch is lowered is greater than a predetermined threshold value, and (3) the time required from when the pitch starts to rise until it finishes falling is within a predetermined range. Candidate section specifying means for specifying candidate sections to be received, and vibrato section data representing sections in which the vibrato technique is used in the voice If each of the candidate sections specified by the second receiving means and the candidate section specifying means is not included in the vibrato section represented by the vibrato section data received by the second receiving means, the candidate section is fisted. A fist section specifying means for specifying the fist section in which the technique is used, a third receiving means for receiving reference data representing a melody, and a pitch detecting means for detecting a pitch from the melody represented by the reference data received by the third receiving means. The pitch of the melody detected by the second pitch detection means and the pitch detection means of the second pitch detection means, and (1) the pitch rises from one or a plurality of sections that fall after the pitch rises in the melody. The pitch immediately before and the pitch immediately after the pitch is lowered are equal, and (2) the length of time during which the pitch is rising is shorter than a predetermined threshold. Based on the reference fist section specifying means for specifying a section satisfying the condition as a reference fist section, the reference fist section specified by the reference fist section specifying means, and the fist section specified by the fist section specifying means. And an evaluation means for evaluating the above.
本発明に係るこぶし評価装置は、上記の構成において、前記評価手段は、前記リファレンスこぶし区間特定手段により特定されたリファレンスこぶし区間と、前記こぶし区間特定手段により特定されたこぶし区間が高い一致度を示すほど高い評価を出力しても良い。 In the fist evaluation apparatus according to the present invention, in the configuration described above, the evaluation means has a high degree of coincidence between the reference fist section specified by the reference fist section specifying means and the fist section specified by the fist section specifying means. A higher evaluation may be output as shown.
本発明に係るリファレンスデータ編集方法は、旋律を表すリファレンスデータを受取る受取段階と、前記受取段階において受取ったリファレンスデータが表す旋律からピッチを検出するピッチ検出段階と、前記ピッチ検出段階において検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、(2)ピッチが上昇している時間長が所定の閾値よりも短いという条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定段階と前記リファレンスこぶし区間特定段階において特定されたリファレンスこぶし区間を示すリファレンスこぶし区間データを前記リファレンスデータに加える編集段階とを有することを特徴とする。 The reference data editing method according to the present invention includes a reception stage for receiving reference data representing a melody, a pitch detection stage for detecting a pitch from the melody represented by the reference data received in the reception stage, and a detection in the pitch detection stage. With reference to the pitch of the melody, (1) the pitch immediately before the pitch rises and the pitch immediately after the pitch fall are equal from one or more sections where the pitch rises and then falls in the melody, and (2) the pitch A reference fist section identifying stage that identifies a section that satisfies the condition that the time length during which the time is rising is shorter than a predetermined threshold as a reference fist section, and a reference fist section that indicates the reference fist section identified in the reference fist section identifying stage Data into the reference data And having a editing step to obtain.
本発明に係るこぶし評価方法は、音声を表す音声データを受取る受取段階と、前記受取段階において受取った音声データが表す音声からピッチを検出するピッチ検出段階と、前記ピッチ検出段階において検出された前記音声のピッチを参照し、前記音声においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、(2)ピッチが下降する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、(3)ピッチが上昇し始めてから下降し終わるまでに要する時間が所定の範囲内であることを特徴とする候補区間を特定する候補区間特定段階と、前記音声において、ビブラートの技法が用いられている区間を表すビブラート区間データを受取る第2の受取段階と、前記候補区間特定段階において特定された候補区間の各々について、前記第2の受取段階が受け取ったビブラート区間データが表すビブラート区間に含まれなければ、該候補区間をこぶしの技法が用いられているこぶし区間として特定するこぶし区間特定段階と旋律を表すリファレンスデータを受取る第3の受取段階と、前記第3の受取段階において受取ったリファレンスデータが表す旋律からピッチを検出する第2のピッチ検出段階と、前記第2のピッチ検出段階において検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、(2)ピッチが上昇している時間長が所定の閾値よりも短いという条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定段階と前記リファレンスこぶし区間特定段階において特定されたリファレンスこぶし区間と、前記こぶし区間特定段階において特定されたこぶし区間とに基づいて前記音声の評価をする評価段階とを有することを特徴とする。 The fist evaluation method according to the present invention includes a receiving stage for receiving voice data representing a voice, a pitch detecting stage for detecting a pitch from the voice represented by the voice data received in the receiving stage, and the pitch detected in the pitch detecting stage. With reference to the pitch of the voice, the absolute value of the ratio of the change in pitch in the section where the pitch rises is greater than a predetermined threshold from one or more sections where the pitch rises in the voice and then falls. 2) The absolute value of the rate of change in pitch in the interval in which the pitch is lowered is greater than a predetermined threshold value, and (3) the time required from when the pitch starts to rise until it finishes falling is within a predetermined range. A candidate section identification stage for identifying candidate sections to be used, and vibrato section data representing sections in which the vibrato technique is used in the voice. For each of the second receiving stage for receiving the candidate section and the candidate section specified in the candidate section specifying stage, if the candidate section is not included in the vibrato section represented by the vibrato section data received by the second receiving stage, the candidate section A fist section specifying stage that is specified as a fist section in which the fist technique is used, a third receiving stage that receives reference data representing a melody, and a pitch is detected from the melody represented by the reference data received in the third receiving stage. (1) From the one or a plurality of sections in which the pitch rises and then falls in the melody, with reference to the second pitch detection stage and the pitch of the melody detected in the second pitch detection stage. The pitch immediately before rising is equal to the pitch immediately after falling, and (2) the length of time the pitch is rising A reference fist section identifying step that identifies a section that satisfies a condition that is shorter than a threshold of a reference fist section, a reference fist section identified in the reference fist section identifying step, and a fist section identified in the fist section identifying step And an evaluation stage for evaluating the voice based on the above.
本発明に係るプログラムは、コンピュータを、旋律を表すリファレンスデータを受取る受取手段と、前記受取手段が受取ったリファレンスデータが表す旋律からピッチを検出するピッチ検出手段と、前記ピッチ検出手段により検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、(2)ピッチが上昇している時間長が所定の閾値よりも短いという条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定手段と前記リファレンスこぶし区間特定手段が特定したリファレンスこぶし区間を示すリファレンスこぶし区間データを前記リファレンスデータに加える編集手段として機能させることを特徴とする。 The program according to the present invention is detected by a receiving means for receiving reference data representing a melody, a pitch detecting means for detecting a pitch from the melody represented by the reference data received by the receiving means, and the pitch detecting means. With reference to the pitch of the melody, (1) the pitch immediately before the pitch rises and the pitch immediately after the pitch fall are equal from one or more sections where the pitch rises and then falls in the melody, and (2) the pitch The reference fist section specifying means for specifying the section satisfying the condition that the time length during which the time is rising is shorter than a predetermined threshold as the reference fist section, and the reference fist section data indicating the reference fist section specified by the reference fist section specifying means Editing means for adding to the reference data; Characterized in that to function Te.
本発明に係るプログラムは、コンピュータを、音声を表す音声データを受取る受取手段と、前記受取手段が受取った音声データが表す音声からピッチを検出するピッチ検出手段と、前記ピッチ検出手段により検出された前記音声のピッチを参照し、前記音声においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、(2)ピッチが下降する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、(3)ピッチが上昇し始めてから下降し終わるまでに要する時間が所定の範囲内であることを特徴とする候補区間を特定する候補区間特定手段と、前記音声において、ビブラートの技法が用いられている区間を表すビブラート区間データを受取る第2の受取手段と、前記候補区間特定手段により特定された候補区間の各々について、前記第2の受取手段が受け取ったビブラート区間データが表すビブラート区間に含まれなければ、該候補区間をこぶしの技法が用いられているこぶし区間として特定するこぶし区間特定手段と旋律を表すリファレンスデータを受取る第3の受取手段と、前記第3の受取手段が受取ったリファレンスデータが表す旋律からピッチを検出する第2のピッチ検出手段と、前記第2のピッチ検出手段により検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、(2)ピッチが上昇している時間長が所定の閾値よりも短いという条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定手段と前記リファレンスこぶし区間特定手段により特定されたリファレンスこぶし区間と、前記こぶし区間特定手段により特定されたこぶし区間とに基づいて前記音声の評価をする評価手段として機能させることを特徴とする。 A program according to the present invention is detected by a receiving means for receiving sound data representing sound, a pitch detecting means for detecting a pitch from sound represented by the sound data received by the receiving means, and the pitch detecting means. With reference to the pitch of the voice, from one or a plurality of sections that descend after the pitch increases in the voice, (1) the absolute value of the rate of change in pitch in the section where the pitch increases is greater than a predetermined threshold, (2) The absolute value of the rate of change of the pitch in the section where the pitch is lowered is larger than a predetermined threshold, and (3) the time required from the start of the increase to the end of the decrease is within a predetermined range. Candidate section specifying means for specifying a candidate section that is a feature, and a vibrato section that represents a section in which the vibrato technique is used in the voice If each of the second receiving means for receiving the data and the candidate section specified by the candidate section specifying means is not included in the vibrato section represented by the vibrato section data received by the second receiving means, the candidate A fist section specifying means for specifying the section as a fist section in which the fist technique is used, a third receiving means for receiving reference data representing the melody, and a pitch from the melody represented by the reference data received by the third receiving means. A second pitch detecting means for detecting the melody, and the pitch of the melody detected by the second pitch detecting means, and from one or a plurality of sections in which the pitch rises and then falls in the melody, (1) The pitch immediately before the pitch rises is equal to the pitch immediately after the pitch falls, and (2) the time length during which the pitch is rising is a predetermined threshold. Based on the reference fist section specifying means for specifying the section satisfying the condition of shorter than the reference fist section, the reference fist section specified by the reference fist section specifying means, and the fist section specified by the fist section specifying means And functioning as an evaluation means for evaluating the voice.
本発明に係るリファレンスデータ編集装置、こぶし評価装置、リファレンスデータ編集方法、こぶし評価方法及びプログラムによれば、リファレンスデータからこぶしの技法を用いて歌唱すべき区間を検出し、リファレンスデータに該検出された区間を示すデータを加えること、上記検出されたリファレンスデータにおけるこぶし区間に基づき、歌唱者の音声についてこぶしの技法を評価することが可能になる。 According to the reference data editing device, the fist evaluation device, the reference data editing method, the fist evaluation method, and the program according to the present invention, the section to be sung is detected from the reference data using the fist technique, and the reference data is detected. It is possible to evaluate the technique of the fist for the voice of the singer based on the data indicating the selected section and the fist section in the detected reference data.
以下では、本発明の一実施形態に係るカラオケ装置について説明する。なお、以下の説明では、上記カラオケ装置を用いて歌唱を練習する者を「歌唱者」と呼ぶ。 Below, the karaoke apparatus which concerns on one Embodiment of this invention is demonstrated. In the following description, a person who practices singing using the karaoke apparatus is referred to as a “singer”.
(A:構成)
図1は、カラオケ装置1のハードウェア構成を示したブロック図である。カラオケ装置1は、カラオケ伴奏を再生するカラオケ機能を備えるとともに、歌唱の模範的な旋律を示すガイドメロディ(リファレンス)から「こぶし」の技法を用いて歌唱すべき区間(以下、リファレンスこぶし区間)を特定するリファレンスこぶし区間特定機能、歌唱者の歌唱音声から「こぶし」の技法を用いて歌唱している区間(以下、歌唱こぶし区間)を特定する歌唱こぶし区間特定機能、および歌唱音声においてこぶしに関する評価を行うこぶし評価機能を備える。なお、「こぶし」とは、装飾的に加える、うねるような節回しを行う技法である。
(A: Configuration)
FIG. 1 is a block diagram showing a hardware configuration of the
図1において、CPU(Central Processing Unit)11は、ROM(Read Only Memory)12に記憶されている制御プログラムを読み出してRAM(Random Access Memory)13にロードし、これを実行することにより、カラオケ装置1の各部を制御する。 In FIG. 1, a CPU (Central Processing Unit) 11 reads a control program stored in a ROM (Read Only Memory) 12, loads it into a RAM (Random Access Memory) 13, and executes it to execute a karaoke device. 1 part is controlled.
表示部15は、例えば液晶ディスプレイなどであり、CPU11の制御の下で、カラオケ装置1を操作するためのメニュー画面や、背景画像に歌詞テロップが重ねられたカラオケ画面などの各種画面を表示する。
操作部16は、テンキーや上下キー、演奏開始キーなどの各種のキーを備えており、押下されたキーに対応した操作信号をCPU11へ出力する。
The
The
マイクロホン17は、音声を収音し、該音声を音声信号(アナログデータ)に変換する。
音声処理部18は、マイクロホン17が生成した音声信号をA/D変換し、デジタルデータ(音声データ)に変換してCPU11に出力する。また、音声処理部18は、CPU11から受取った音声データをD/A変換し、音声信号に変換してスピーカ19に出力する。
スピーカ19は、音声処理部18から受取った音声信号に基づいて音声を放音する。
The
The
The
記憶部14は、例えばHDD(Hard Disk Drive)などの大容量の記憶手段であり、各種の記憶領域を有している。
楽曲データ記憶領域14aには、複数の楽曲データが格納されている。図2は、各楽曲データの内容を模式的に示した図である。各楽曲データは、ヘッダと伴奏データと歌詞データとガイドメロディデータとを有している。
The
A plurality of music data is stored in the music
ヘッダには、楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データなどが含まれている。
伴奏データには、楽曲の伴奏を行う各種楽器の演奏音が楽曲の進行に伴って記されている。伴奏データは、例えばMIDI(Musical Instrument Digital Interface)形式などのデータ形式で記されている。
歌詞データには、歌詞の内容(文字)が、表示すべきタイミング、表示部15の画面において表示すべき位置、および楽曲の進行に伴い表示態様を変える所謂ワイプ処理をするタイミングと対応付けられて記されている。
The header includes song number data for specifying a song, song name data indicating a song title, genre data indicating a genre, performance time data indicating a performance time of a song, and the like.
In the accompaniment data, performance sounds of various musical instruments that accompany the music are recorded as the music progresses. The accompaniment data is written in a data format such as MIDI (Musical Instrument Digital Interface) format.
In the lyrics data, the contents (characters) of the lyrics are associated with the timing to be displayed, the position to be displayed on the screen of the
ガイドメロディデータには、歌唱の模範的な旋律を示したガイドメロディが書き込まれている。該ガイドメロディはMIDIフォーマットに従って記述されており、旋律は、時刻と対応付けられた複数の音名(ノート)により指定されている。 In the guide melody data, a guide melody showing an exemplary melody of singing is written. The guide melody is described according to the MIDI format, and the melody is specified by a plurality of note names (notes) associated with the time.
なお、本実施形態におけるガイドメロディは、「こぶし」を用いて歌唱すべき区間において一過的にピッチが上昇するように作成されている。図3は、ガイドメロディが示すピッチの変動の一例を示したグラフである。同図においては、ノートA、B、およびCが含まれており、ピッチは区間1のピッチP1(ベースライン)から区間2に示されるピッチP2まで一過的に高くなり、区間3において再びベースラインであるピッチP3に戻るようにガイドメロディは生成されている。ここでは、ノートBの区間2がこぶしを用いるべき区間である。
The guide melody in the present embodiment is created so that the pitch rises temporarily in the section to be sung using “fist”. FIG. 3 is a graph showing an example of the variation in pitch indicated by the guide melody. In the figure, note A, B, and C are included, pitch transiently increases the pitch P 1 of
歌唱音声データ記憶領域14bには、歌唱者の歌唱を表す音声データ(以下、歌唱音声データ)が各楽曲について記憶される。該歌唱音声データは、マイクロホン17から出力された歌唱を表す音声信号が音声処理部18でA/D変換されることにより生成される。歌唱音声データは、WAVE形式やMP3(MPEG-1 Audio Layer-3)形式などの音声データである。
ビブラート区間データ記憶領域14cには、各楽曲の歌唱音声データにおいて「ビブラート」の技法が用いられている区間(以下、ビブラート区間)を示すデータが記憶される。
In the singing voice
The vibrato section
歌唱こぶし区間データ記憶領域14dには、各楽曲の歌唱音声データにおいて「こぶし」の技法が用いられている歌唱こぶし区間を示すデータ(歌唱こぶし区間データ)が記憶される。
パラメータ記憶領域14eには、各楽曲の歌唱音声データから抽出されたピッチや、該ピッチから抽出された各種のパラメータが記憶される。
The singing fist section
The
リファレンスこぶし区間データ記憶領域14fには、リファレンスであるガイドメロディにおいて特定されたリファレンスこぶし区間を示すデータ(リファレンスこぶし区間データ)が記憶される。
以上に説明したカラオケ装置1の各部は、バス20を介して互いにデータをやり取りする。
In the reference fist section
Each unit of the
(B:動作)
次に、カラオケ装置1が実行する処理について説明する。
(B−1:カラオケ伴奏処理)
歌唱者が、操作部16を操作して歌唱する楽曲を選択すると、楽曲の曲番号データなど楽曲を特定する操作信号が操作部16からCPU11に出力される。CPU11は、操作部16から供給された操作信号が示す楽曲データを楽曲データ記憶領域14aから読み出し、読み出した楽曲データについてカラオケ伴奏処理を行う。
(B: Operation)
Next, the process which the
(B-1: Karaoke accompaniment processing)
When the singer operates the
図4は、カラオケ伴奏処理の流れを示すフローチャートである。
ステップSA100において、CPU11は、楽曲データ記憶領域14aから楽曲データに含まれる伴奏データを読み出して音声処理部18に出力する。そして音声処理部18は、上記伴奏データをD/A変換によりアナログの音声信号に変換し、スピーカ19に出力する。スピーカ19は、受取った伴奏データに基づいてカラオケ伴奏を放音する。また、CPU11は、楽曲データ記憶領域14aから楽曲データに含まれる歌詞データを読み出して、該歌詞データに従って歌詞テロップを表示部15に表示させる。
FIG. 4 is a flowchart showing the flow of karaoke accompaniment processing.
In step SA100, the
歌唱者は、表示部15に表示された歌詞テロップを見ながら、スピーカ19から放音されるカラオケ伴奏にあわせて歌唱を行う。歌唱者による歌唱はマイクロホン17により音声信号に変換され、該音声信号がA/D変換されることにより歌唱音声データが生成される(ステップSA110)。該歌唱音声データは、歌唱音声データ記憶領域14bに書き込まれる。
The singer sings along with the karaoke accompaniment emitted from the
ステップSA120において、CPU11は、楽曲の演奏が一曲分終了したか否かを判定する。ステップSA120の判定結果が“No”である場合には、楽曲の残りの部分についてステップSA100およびステップSA110の処理を行う。ステップSA120の判定結果が“Yes”である場合には、カラオケ伴奏処理を終了する。
In step SA120, the
(B−2:リファレンスこぶし区間特定処理)
次に、リファレンスであるガイドメロディにおいて、「こぶし」の技法を用いて歌唱するべき区間を特定するリファレンスこぶし区間特定処理について説明する。図5は、リファレンスこぶし区間特定処理の流れを示したフローチャートである。
ステップSB100において、CPU11は、ガイドメロディからピッチを検出する。上述のように、ガイドメロディは、MIDIフォーマットに従って記述されているため、CPU11はMIDIフォーマットによって示される音名(ノート)をピッチ(周波数)データに変換することでガイドメロディからピッチを検出する。
(B-2: Reference fist section specifying process)
Next, reference fist section specifying processing for specifying a section to be sung using the “fist” technique in the reference guide melody will be described. FIG. 5 is a flowchart showing the flow of the reference fist section specifying process.
In step SB100, the
ステップSB110において、CPU11は、ガイドメロディデータからリファレンスこぶし区間を特定する。以下では図3を参照して、CPU11がガイドメロディからリファレンスこぶし区間を特定する方法を説明する。
CPU11は、ガイドメロディが示すピッチの変動の態様から以下の条件(1)および(2)を同時に満たす区間を「リファレンスこぶし区間」として特定する。すなわち、CPU11は、ピッチが上がった後に下がる区間において、
(1)ピッチが上がる前のピッチとピッチが下がった後のピッチが同じレベルである
(2)ピッチが上がっている区間の時間長が所定の値より小さい
区間を「リファレンスこぶし区間」として特定する。
In step SB110, the
The
(1) The pitch before the pitch goes up and the pitch after the pitch goes down are the same level
(2) A section in which the time length of the section in which the pitch is increasing is smaller than a predetermined value is specified as a “reference fist section”.
例えば図3に示したガイドメロディにおいては、CPU11は、ピッチが上がった後に下がる区間として区間2を特定する。該区間は上記条件(1)および(2)の条件も同時に満たすため、区間2をリファレンスこぶし区間と特定する。CPU11は、上述のようにリファレンスこぶし区間を特定し、特定した区間を記したリファレンスこぶし区間データを、リファレンスこぶし区間データ記憶領域14fに書き込む。
For example, in the guide melody shown in FIG. 3, the
ステップSB120において、CPU11は、「こぶし抜きガイドメロディデータ」を生成する。こぶし抜きガイドメロディデータとは、ガイドメロディデータからこぶしの技法に起因するピッチの変動を差し引いたガイドメロディデータを指す。
図6は、図3に示されたガイドメロディデータに基づいて生成されたこぶし抜きガイドメロディデータである。CPU11は、図3に示されたガイドメロディにおいて、区間2がリファレンスこぶし区間であることを特定すると、該特定した区間のピッチをベースラインである区間1および3のピッチと等しくなるように変更する。すなわち、図6に示されるように、ノートBを発音する全区間でピッチがP1になるように変更する。その結果、こぶしの技法が用いられないガイドメロディを表す「こぶし抜きガイドメロディデータ」が生成される。CPU11は、生成したこぶし抜きガイドメロディデータを、楽曲データ記憶領域14aに書き込む。
以上で、リファレンスこぶし区間特定処理を終了する。
In step SB120,
FIG. 6 shows the fist guide melody data generated based on the guide melody data shown in FIG. When the
Thus, the reference fist section specifying process is completed.
(B−3:ビブラート区間特定処理)
CPU11は、歌唱音声から「歌唱こぶし区間」を特定するにあたり、予め「こぶし」と類似した特徴を示す「ビブラート」が用いられている区間を特定するビブラート区間特定処理を行う。ビブラートとは、音を伸ばしながらピッチをわずかに上下させ震えるような音色を出すことにより音に豊かな響きを与える歌唱技法である。
(B-3: Vibrato section specifying process)
When the
図7は、ビブラート区間特定処理の流れを示したフローチャートである。
ステップSC100において、CPU11は、歌唱音声データを歌唱音声データ記憶領域14bから読み出し、該歌唱音声データから所定時間長(例えば、10msec)のフレーム単位でピッチを検出し、検出したピッチを表す歌唱ピッチデータを生成する。
なお、歌唱ピッチデータにおいては、上記歌唱音声データから検出されたピッチの値を、「こぶし抜きガイドメロディデータ」のピッチをゼロ基準とした場合の相対的な値に変換して表す。生成された歌唱ピッチデータは、パラメータ記憶領域14eに書き込まれる。
FIG. 7 is a flowchart showing the flow of the vibrato section specifying process.
In step SC100, the
In the singing pitch data, the pitch value detected from the singing voice data is converted into a relative value when the pitch of the “fist guide melody data” is set to zero. The generated singing pitch data is written in the
図8には、ステップSC100において生成される歌唱ピッチデータの一例をグラフA1で示す。図8において、横軸は時刻(楽曲が開始されてからの経過時間)を表し、図8においては、楽曲の一部分を取り出して示す。また、縦軸には、各時刻における歌唱ピッチデータの値が示されている。 In FIG. 8, an example of the singing pitch data produced | generated in step SC100 is shown by graph A1. In FIG. 8, the horizontal axis represents time (elapsed time since the music was started), and in FIG. 8, a part of the music is extracted and shown. Moreover, the value of singing pitch data at each time is shown on the vertical axis.
ステップSC110において、CPU11は、パラメータ記憶領域14eから歌唱ピッチデータを読み出し、該歌唱ピッチデータから特定の周波数成分を抽出するフィルタ処理を施し、新たなピッチデータ(以下、フィルタ歌唱ピッチデータ)を生成する。本実施形態においては、CPU11は、歌唱ピッチデータを6Hzより低い周波数の成分を抽出するローパスフィルタを用いる。
図8におけるグラフA2は、グラフA1の歌唱ピッチデータを上記ローパスフィルタによりフィルタ処理することで生成されたフィルタ歌唱ピッチデータを示している。
In step SC110, the
A graph A2 in FIG. 8 shows filter singing pitch data generated by filtering the singing pitch data of the graph A1 with the low-pass filter.
図8に示されるように、フィルタをかける前の歌唱ピッチデータ(A1)には、波形に細かい乱れがある。このような波形の乱れは例えばリバーブによるものであり、リバーブのかかった音声データからピッチを検出した場合には、その検出結果は正弦波にならず波形の乱れたものとなる。そのため、リバーブのかかった音声からビブラート区間を特定することが困難であった。更には、音声にリバーブがかかっているか否かを音声データから判定することも困難であった。しかしながら、ローパスフィルタで処理された歌唱ピッチデータにおいては、音声にかけられたリバーブの影響は取り除かれており、後述の処理においてより適切にビブラート区間を特定することが可能になる。 As shown in FIG. 8, the singing pitch data (A1) before applying the filter has a fine disturbance in the waveform. Such waveform disturbance is caused by, for example, reverb. When a pitch is detected from audio data subjected to reverberation, the detection result is not a sine wave but a waveform disturbance. For this reason, it is difficult to specify the vibrato section from the reverberated voice. Furthermore, it is difficult to determine from the audio data whether or not the audio is reverberated. However, in the singing pitch data processed by the low-pass filter, the influence of the reverb applied to the voice is removed, and the vibrato section can be specified more appropriately in the processing described later.
ステップSC120において、CPU11は、歌唱音声データにおいてビブラート区間の特徴を示す区間(以下、ビブラート候補区間)を以下の条件で特定する。
CPU11は、ステップSC110において生成されたフィルタ歌唱ピッチデータの表すピッチが、負から正又は正から負に変化する(ゼロクロスする)箇所をゼロクロス箇所として特定する。例えば図8に示すフィルタ歌唱ピッチデータにおいては、フィルタ歌唱ピッチデータ(A2)がゼロクロスする時刻(例えば、時刻P1,P2,P3,P4など)が、ゼロクロス箇所として特定される。
In step SC120, CPU11 specifies the area (henceforth a vibrato candidate area) which shows the characteristic of a vibrato area in song voice data on the following conditions.
CPU11 specifies the place where the pitch which the filter song pitch data produced | generated in step SC110 represents changes from negative to positive or positive to negative (zero crossing) as a zero crossing place. For example, in the filter singing pitch data shown in FIG. 8, the time (for example, time P1, P2, P3, P4 etc.) at which the filter singing pitch data (A2) crosses zero is specified as the zero crossing location.
次いで、CPU11は、フィルタ歌唱ピッチデータにおいてゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔が予め定められた範囲内であり、かつ、その時間間隔が連続して所定回数以上検出された区間を、ビブラート候補区間として特定する。この処理によって、図8に示した例では、ゼロクロス箇所がほぼ等間隔で現れる区間A3がビブラート候補区間として特定される。なお、図8に含まれない楽曲部分においてもビブラート候補区間が特定される。
Next, the
ステップSC130において、CPU11は、ステップSC120で特定されたビブラート候補区間の各々について、ビブラート技法が実際に用いられていることを更に検証するため、以下のようにビブラート候補区間の各々から各種パラメータを抽出する。なお、以下の説明において、例えば図8における区間A3のようにフィルタ歌唱ピッチデータの値が周期的に変動している場合に、単位時間あたりの振動の回数を「ビブラートの振動数」と呼ぶ。
In step SC130, the
(1)ビブラートの振動数の平均値(Af;Average of frequency)
パラメータAfは各ビブラート候補区間におけるビブラートの振動数の平均値であり、上記フィルタ歌唱ピッチデータが横軸とゼロクロスする時間間隔の逆数の平均値として算出される。
(2)ビブラートの振動数の標準偏差(Df;Deviation of frequency)
パラメータDfは、上記フィルタ歌唱ピッチデータが横軸とゼロクロスする時間間隔の逆数の分布の標準偏差として算出される。本パラメータから、ビブラートの振動数の「ばらつき」の大きさを推定することができる。すなわち、本パラメータの値が0に近いほど均一な振動数を持つ、優れたビブラートであることを示す。
(1) Average frequency of vibrato (Af; Average of frequency)
The parameter Af is the average value of the vibrato frequency in each vibrato candidate section, and is calculated as the average value of the reciprocal of the time interval at which the filter singing pitch data zero crosses the horizontal axis.
(2) Standard deviation (Df: Deviation of frequency) of vibrato
The parameter Df is calculated as the standard deviation of the reciprocal distribution of the time interval at which the filter singing pitch data crosses zero with the horizontal axis. From this parameter, it is possible to estimate the magnitude of “variation” of the vibrato frequency. That is, the closer the value of this parameter is to 0, the better the vibrato has a uniform frequency.
ここで、以下のパラメータの説明において用いられる「ピッチ振動幅」について説明する。図9は、図8におけるフィルタ歌唱ピッチデータ(A2)を取り出して示したグラフである。図9において、CPU11は、以下のようにして上記ビブラート候補区間における「ピッチ振動幅」を算出する。まず、CPU11は、フィルタ歌唱ピッチデータを時間で微分することにより、該データのグラフから極大値および極小値を特定する。
Here, the “pitch vibration width” used in the description of the following parameters will be described. FIG. 9 is a graph showing extracted filter singing pitch data (A2) in FIG. In FIG. 9, the
例えば、図9においてQ2、Q4、Q6、Q8、およびQ10は極大値を示し、Q1、Q3、Q5、Q7、およびQ9は極小値を示す。CPU11は、特定された1つの極小値と、時間的に直後に隣接する極大値との差分をピッチ振動幅とし、該ピッチ振動幅を、該値の算出に用いた極小値と極大値との中間の時刻に位置付ける。例えば極小値Q1と極大値Q2とからはピッチ振動幅W1が生成される。図9には、以上のようにして生成されたピッチ振動幅W1〜5が書き込まれている。
For example, in FIG. 9, Q2, Q4, Q6, Q8, and Q10 indicate maximum values, and Q1, Q3, Q5, Q7, and Q9 indicate minimum values. The
さて、ステップSC140で抽出されるパラメータの説明に戻る。
(3)ピッチ振動幅の平均値(Ap;Average of pitch)
パラメータApは、各ビブラート候補区間において算出されたピッチ振動幅の平均値を示す。
(4)ピッチ振動幅の標準偏差(Dp;Deviation of pitch)
パラメータDpは、各ビブラート候補区間において算出されたピッチ振動幅の標準偏差を示す。本パラメータから、ビブラート区間におけるピッチの振動幅の「ばらつき」の大きさを推定することができる。すなわち、本パラメータの値が0に近いほど均一の振動幅でピッチが振動する、優れたビブラートであることを示す。
Now, the description returns to the parameters extracted in step SC140.
(3) Average value of pitch vibration width (Ap: Average of pitch)
The parameter Ap indicates the average value of the pitch vibration width calculated in each vibrato candidate section.
(4) Standard deviation of pitch vibration width (Dp; Deviation of pitch)
The parameter Dp indicates the standard deviation of the pitch vibration width calculated in each vibrato candidate section. From this parameter, the “variation” of the vibration width of the pitch in the vibrato section can be estimated. That is, the closer the value of this parameter is to 0, the better the vibrato that the pitch vibrates with a uniform vibration width.
(5)ピッチ振動幅の線形近似直線の傾き(Sp;Slope of pitch)
パラメータSpは、上記ピッチ振動幅のグラフにおける線形近似直線の傾きを示す。図10は、図9において算出されたピッチ振動幅のグラフを取り出して示している。CPU11は、ビブラート候補区間におけるピッチ振動幅の点について、線形近似直線を決定する。例えば、図10に示す区間A3においては、線形近似直線のグラフは直線L1のように決定され、(式1)として表される。
(式1)P=15t+150
このように線形近似直線を算出することにより直線の傾きSpが決定される。上記の例では、ピッチ振動幅の線形近似直線の傾きSpは、15である。
本パラメータから、ビブラートを行っている間のピッチの振動幅の安定性を推定することができる。すなわち、Spの絶対値が小さい値であるほど、ビブラートを行っている間にピッチの変動幅が均一に保たれた、優れたビブラートであることを表す。
(5) Slope of pitch (Sp; Slope of pitch)
The parameter Sp indicates the slope of the linear approximation line in the pitch vibration width graph. FIG. 10 shows a graph of the pitch vibration width calculated in FIG. CPU11 determines a linear approximation straight line about the point of pitch vibration width in a vibrato candidate section. For example, in the section A3 shown in FIG. 10, the linear approximate straight line graph is determined as a straight line L1, and is expressed as (Equation 1).
(Formula 1) P = 15t + 150
Thus, by calculating the linear approximate straight line, the slope Sp of the straight line is determined. In the above example, the slope Sp of the linear approximation line of the pitch vibration width is 15.
From this parameter, the stability of the vibration width of the pitch during vibrato can be estimated. That is, the smaller the absolute value of Sp is, the better the vibrato is, in which the pitch fluctuation range is kept uniform during the vibrato.
ステップSC140において、CPU11は、以下のような基準で、ステップSC120において特定されたビブラート候補区間の各々について、ビブラート区間として最終的に決定するか否かを判定する。すなわち、
(1)Dfが所定の閾値より小さい
(2)Apが所定の範囲内である
(3)Dpが所定の閾値より小さい
(4)Spの絶対値が所定の閾値より小さい
CPU11は、上記(1)ないし(4)の全ての条件を満たすビブラート候補区間をビブラート区間として最終決定する。
In step SC140,
(1) Df is smaller than a predetermined threshold (2) Ap is within a predetermined range (3) Dp is smaller than a predetermined threshold (4) The absolute value of Sp is smaller than a predetermined threshold The vibrato candidate section that satisfies all of the conditions (4) to (4) is finally determined as a vibrato section.
上記の条件により特定されたビブラート区間においては、ビブラートが用いられている可能性は非常に高いことが期待される。なぜなら、一般にビブラートにおいては、ビブラートの振動数、ピッチの振動幅のばらつきは小さく、また、その振動幅は所定の大きさの範囲内(例えば500セント以内など)にあり、更にはピッチの変動幅はビブラート区間を通して略一定となるからである。なお、「セント」とは、ピッチの相対的な音程差を示す単位であり、例えば+100セントが示すピッチは基準となるピッチから半音分上の音程を示す。CPU11は、特定した区間を表すビブラート区間データを、ビブラート区間データ記憶領域14cに記憶する。
In the vibrato section specified by the above conditions, it is expected that the possibility that vibrato is used is very high. This is because, generally, in vibrato, variations in the vibration frequency and pitch vibration width of vibrato are small, and the vibration width is within a predetermined range (for example, within 500 cents), and further, the fluctuation range of the pitch. Is substantially constant throughout the vibrato section. Note that “cent” is a unit indicating a relative pitch difference of pitches. For example, a pitch indicated by +100 cents indicates a pitch that is a semitone above a reference pitch. The
図11に、図8に示された歌唱ピッチデータについて生成されたビブラート区間データを示す。図11に示されるように、ビブラート区間データにおいては、各楽曲についての歌唱音声データにおいて特定されたビブラート区間について、その開始時刻と終了時刻が書き込まれている。
以上で、ビブラート区間特定処理は終了する。
FIG. 11 shows vibrato section data generated for the singing pitch data shown in FIG. As shown in FIG. 11, in the vibrato section data, the start time and the end time are written for the vibrato section specified in the singing voice data for each song.
This completes the vibrato section specifying process.
以上のように、ステップSC120で、フィルタ歌唱ピッチデータにおいてピッチの振動の時間間隔が予め定められた範囲内であり、且つその時間間隔が連続して所定回数以上検出されたことを条件として一旦ビブラート区間の候補を絞り込んだ。そしてステップSC130において抽出されたパラメータに基づいて上記ビブラート候補区間がビブラート区間として適切であるか検証した。以上のように、ビブラートに特有のピッチの変動を示すか否かを複数の条件で判定することで、最終的に正確なビブラート区間を特定することができる。 As described above, in step SC120, on the condition that the time interval of pitch vibration in the filter singing pitch data is within a predetermined range and that the time interval is continuously detected a predetermined number of times or more, the vibrato is temporarily performed. We narrowed down the candidates for the section. Based on the parameters extracted in step SC130, it was verified whether the vibrato candidate section is appropriate as a vibrato section. As described above, it is possible to finally specify an accurate vibrato section by determining whether or not a change in pitch peculiar to vibrato is exhibited based on a plurality of conditions.
(B−4:歌唱こぶし区間特定処理)
CPU11は、上述のビブラート区間特定処理を終えると、歌唱こぶし区間特定処理を行う。歌唱こぶし区間特定処理とは、歌唱音声データからこぶしを用いて歌唱している区間を特定する処理である。図12は、歌唱こぶし区間特定処理の流れを示すフローチャートである。
(B-4: Singing fist section identification process)
When the
ステップSD100において、CPU11は、パラメータ記憶領域14eから、フィルタ歌唱ピッチデータを読み出す。
次にステップSD110において、CPU11は、歌唱音声データにおいてこぶしを含む可能性がある区間(以下、歌唱こぶし候補区間)を以下のように特定する。なお、以下では、フィルタ歌唱ピッチデータの一部を模式的に示した図13を参照して説明する。なお、図13において、PA(>0)およびPB(<0)は、それぞれピッチが上昇している区間Aおよび減少している区間Bにおけるピッチの変動幅を示す。また、区間Cは、区間Aの開始から区間Bの終了までの区間を示す。tA、tB、およびtCは、それぞれ区間A、B、およびCの時間幅を示す。
In step SD100, the
Next, in step SD110, CPU11 specifies the area (henceforth a song fist candidate area) which may contain a fist in song audio | voice data as follows. In the following, description will be made with reference to FIG. 13 schematically showing a part of the filter singing pitch data. In FIG. 13, P A (> 0) and P B (<0) indicate pitch fluctuation ranges in the section A where the pitch is increasing and the section B where the pitch is decreasing, respectively. Section C indicates a section from the start of section A to the end of section B. t A , t B , and t C indicate the time widths of the sections A, B, and C, respectively.
CPU11は、フィルタ歌唱ピッチデータから、以下に示す条件(1)ないし(3)を同時に満たす区間を「歌唱こぶし候補区間」として特定する。すなわち、ピッチが上がった後に下がる区間(図13では、区間C)において、
(1)ピッチが上がる区間(区間A)においてピッチの変化の割合の絶対値(|PA/tA|)が所定値よりも大きい
(2)ピッチが下がる区間(区間B)においてピッチの変化の割合の絶対値(|PB/tB|)が所定値よりも大きい
(3)ピッチが上がり始めてから下がり終わるまでの区間の長さ(tC)が所定の範囲内であること。すなわち、ピッチの一過的な上昇が、所定の時間内に起こる
区間を「歌唱こぶし候補区間」として特定する。
CPU11 specifies the area which satisfy | fills the conditions (1) thru | or (3) shown below simultaneously from filter filter pitch data as a "song fist candidate area." In other words, in a section that decreases after the pitch increases (section C in FIG. 13),
(1) The absolute value (| P A / t A |) of the rate of change in pitch is greater than a predetermined value in the section where the pitch increases (section A)
(2) The absolute value of the rate of change in pitch (| P B / t B |) is greater than a predetermined value in the section where the pitch decreases (section B)
(3) The length (t C ) of the section from when the pitch starts to rise until it finishes falling is within a predetermined range. That is, a section in which a transient increase in pitch occurs within a predetermined time is specified as a “singing fist candidate section”.
以上の条件(1)ないし(3)により、図14(図8と同じフィルタ歌唱ピッチデータを示す)において歌唱こぶし候補区間を特定すると、区間1、2、3、4、5、および6が特定される。CPU11は、該歌唱こぶし候補区間を示すデータを歌唱こぶし候補区間データとして生成し、歌唱こぶし区間データ記憶領域14dに書き込む。
図15は、歌唱こぶし候補区間データの一例を示している。歌唱こぶし候補区間データにおいては、歌唱音声データにおいて特定された歌唱こぶし候補区間の各々について、ピッチの変動の開始時刻と終了時刻が書き込まれている。例えば、図15において、00m14s500〜00m15s400msとのデータは、図14における区間3のピッチ変動と対応している。
According to the above conditions (1) to (3), when singing fist candidate sections are identified in FIG. 14 (showing the same filter singing pitch data as FIG. 8),
FIG. 15 shows an example of singing fist candidate section data. In the singing fist candidate section data, the pitch fluctuation start time and end time are written for each of the singing fist candidate sections specified in the singing voice data. For example, in FIG. 15, data of 00m14s500 to 00m15s400ms corresponds to the pitch fluctuation in section 3 in FIG.
ステップSD120において、CPU11は、歌唱こぶし区間を特定する。すなわちCPU11は、ビブラート区間データ記憶領域14cからビブラート区間データを、歌唱こぶし区間データ記憶領域14dから歌唱こぶし候補区間データを読み出し、読み出した1または複数の歌唱こぶし候補区間から、ビブラート区間に含まれている歌唱こぶし候補区間を除外することにより、歌唱こぶし区間を特定する。
In step SD120, the
例えば、図14に示されたフィルタ歌唱ピッチデータからは、図15に示す歌唱こぶし候補区間データと、図11に示すビブラート区間データとが生成されるが、図15に示された複数の歌唱こぶし候補区間のうち、00m12s200ms〜00m12s800msの区間のみは、ビブラート区間に含まれないが、該区間を除く他の区間は、ビブラート区間に含まれる。従って、00m12s200ms〜00m12s800msの区間が歌唱こぶし区間として特定される。
なお、歌唱こぶし候補区間とビブラート区間の開始時刻または終了時刻がずれている場合には、歌唱こぶし候補区間の一部がビブラート区間に含まれていれば該歌唱こぶし候補区間はビブラート区間に含まれていると判定する。
For example, from the filter singing pitch data shown in FIG. 14, the singing fist candidate section data shown in FIG. 15 and the vibrato section data shown in FIG. 11 are generated, but a plurality of singing fists shown in FIG. Of the candidate sections, only the section of 00m12s200ms to 00m12s800ms is not included in the vibrato section, but other sections other than the section are included in the vibrato section. Therefore, the section of 00m12s200ms to 00m12s800ms is specified as the singing fist section.
In addition, when the start time or end time of the singing fist candidate section and the vibrato section are shifted, if a part of the singing fist candidate section is included in the vibrato section, the singing fist candidate section is included in the vibrato section. It is determined that
上述したように、歌唱こぶし候補区間特定処理においては、所定の時間内にピッチが一過的に上昇することを条件として歌唱こぶし候補区間を特定する。そのような条件により特定された区間には、歌唱音声に含まれるビブラートのピッチの振動も含まれてしまう。そこで、一旦特定された歌唱こぶし候補区間から別途特定されたビブラート区間を除外することにより、こぶしを用いて歌唱されている歌唱こぶし区間が適切に特定される。 As described above, in the singing fist candidate section specifying process, the singing fist candidate section is specified on the condition that the pitch temporarily rises within a predetermined time. The section specified by such a condition includes vibration of the vibrato pitch included in the singing voice. Therefore, by excluding the vibrato section specified separately from the singing fist candidate section once specified, the singing fist section sung using the fist is appropriately specified.
(B−5:こぶし評価処理)
次に、歌唱者の歌唱音声における「こぶし」の技法を評価するこぶし評価処理について説明する。CPU11は、リファレンスこぶし区間に対応する区間で、歌唱者がこぶしの技法を用いて歌唱したか否かを判定することにより、歌唱音声におけるこぶしの評価を行う。
(B-5: Fist evaluation processing)
Next, the fist evaluation process for evaluating the technique of “fist” in the singing voice of the singer will be described. The
具体的には、特定された歌唱こぶし区間とリファレンスこぶし区間とを比較し、上記リファレンスこぶし区間の中間の時刻の直前または直後の上記所定長の区間に中間の時刻を持つような歌唱こぶし区間がある場合には、こぶしに関する評価に加点する。なぜなら、その場合、リファレンスこぶし区間と歌唱こぶし区間は略一致していると考えられ、従って、該リファレンスこぶし区間において実際にこぶしを用いて歌唱されたと考えられるからである。
一方、上記リファレンスこぶし区間の中間の時刻の直前または直後の上記所定長の区間に中間の時刻を持つような歌唱こぶし区間が無い場合には、こぶしに関する評価に加点をしない。なぜなら、その場合、こぶしを用いて歌唱すべき区間においてこぶしが用いられていないと考えられるからである。
Specifically, the identified fist section and the reference fist section are compared, and a singing fist section having an intermediate time in the predetermined length section immediately before or immediately after the intermediate time of the reference fist section If there is, add a score to the evaluation of the fist. This is because in that case, it is considered that the reference fist section and the singing fist section substantially coincide with each other, and therefore, it is considered that the reference fist section is actually sung using the fist.
On the other hand, when there is no singing fist section having an intermediate time in the predetermined length section immediately before or immediately after the intermediate time of the reference fist section, no evaluation is added to the evaluation regarding the fist. This is because in that case, it is considered that the fist is not used in the section to be sung using the fist.
上述したように、歌唱音声データにおいては、図14の区間1が歌唱こぶし区間として特定された。そして、ガイドメロディにおいては、例えば時刻00m12s200ms〜00m13s200msにおいてこぶしが検出された場合、該歌唱こぶし区間の中間の時刻は、00m12s700msであり、上記歌唱こぶし区間(区間1)の中間の時刻(00m12s500ms)との差分値は、200msとなる。例えば上記所定長が500msと設定されている場合には、上記の差分値は該閾値以下であることから、評価に加点される。
As described above, in the singing voice data, the
(C:変形例)
以上、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
(C: Modification)
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the above-mentioned embodiment, It can implement with another various form. An example is shown below.
(1)上述した実施形態においては、歌唱音声データはWAVE形式やMP3形式のデータとしたが、データの形式はこれに限定されるものではなく、歌唱音声を表すデータであればどのような形式のデータであってもよい。 (1) In the above-described embodiment, the singing voice data is data in the WAVE format or MP3 format, but the data format is not limited to this, and any format as long as the data represents the singing voice. It may be the data.
(2)上述した実施形態では、CPU11は、歌唱音声データに対して特定の周波数以下の周波数成分を抽出するローパスフィルタ処理を行ったが、CPU11が行うフィルタ処理は上記のローパスフィルタによる処理に限定されない。例えば、所定の周波数幅の周波数成分を取り出すフィルタを用いてもよい。要するに、特定の周波数帯域の成分を抽出するフィルタ処理であればどのようなものであってもよい。
(2) In the above-described embodiment, the
(3)上述した実施形態においては、カラオケ装置1を利用する歌唱者の歌唱音声データについて、歌唱こぶし区間の特定やこぶしの評価など各種の処理を行う場合について説明した。しかし、処理の対象となる音声データは、歌唱音声を表すデータに限らず、例えばバイオリンやフルートなどの楽器の演奏音を表す音声データであってもよい。そのようにすれば、例えば楽器においてこぶしと特性が類似した演奏技法を検出することができる。
(3) In embodiment mentioned above, the case where various processes, such as identification of a fist area and evaluation of a fist, were performed about the singing voice data of the singer who utilizes the
(4)上述した実施形態においては、マイクロホン17に入力された音声から生成された歌唱音声データについて、歌唱こぶし区間の特定やこぶしの評価を行う場合について説明した。しかし、処理の対象となる音声データは、何らかの記憶手段に記憶された音声データでも良い。
(4) In the above-described embodiment, the case where the singing fist section is specified and the fist evaluation is performed on the singing voice data generated from the voice input to the
(5)上述した実施形態において、上記ガイドメロディは、各々所定のピッチと音長を有する複数の楽音の音名と時間データにより旋律を示すMIDIデータであり、該ガイドメロディから、上述の「リファレンスこぶし区間特定処理」によりリファレンスこぶし区間が特定される場合について説明した。
しかし、上記ガイドメロディは、各々所定のピッチと音長を有する複数の楽音の波形データにより旋律を示すデータ(WAVE形式、MP3形式など)であっても良い。その場合は、該ガイドメロディから、FFT(Fast Fourier Transform)などの方法を用いてピッチを検出し、該検出されたピッチを用いて上述の「リファレンスこぶし区間特定処理」でリファレンスこぶし区間を特定すれば良い。
また、ガイドメロディは、ピッチの時間変化を表すデータであっても良い。その場合は、上記リファレンスこぶし区間特定処理において各楽音の音名をピッチに変換する処理は不要であり、該ガイドメロディに書き込まれたピッチを用いて、上述の「リファレンスこぶし区間特定処理」によりリファレンスこぶし区間を特定すれば良い。
また、リファレンスとして用いる音声データが、例えば歌手による模範歌唱やカラオケ伴奏における特定のパートなどを表すデータ(WAVE形式、MP3形式など)でも良い。そのように、リファレンスとして用いる音声データにおいてピッチの時間変化が連続的になる部分が含まれる場合には、上述の「歌唱こぶし区間特定処理」によってリファレンスこぶし区間を特定すれば良い。
以上に説明したように、上述した実施形態において示した「リファレンスこぶし区間特定処理」だけではなく、「歌唱こぶし区間特定処理」をリファレンスにおけるこぶし区間の特定に用いても良く、リファレンスとして用いられるデータの特性に応じて両者を使い分けるようにすれば良い。
(5) In the above-described embodiment, the guide melody is MIDI data that indicates the melody by the pitch name and time data of a plurality of musical sounds each having a predetermined pitch and length. The case where the reference fist section is specified by the “fist section specifying process” has been described.
However, the guide melody may be data (WAVE format, MP3 format, etc.) indicating melody by waveform data of a plurality of musical sounds each having a predetermined pitch and tone length. In this case, the pitch is detected from the guide melody using a method such as FFT (Fast Fourier Transform), and the reference fist section is specified by the above-described “reference fist section specifying process”. It ’s fine.
The guide melody may be data representing a change in pitch with time. In that case, it is not necessary to convert the pitch name of each musical sound into a pitch in the reference fist section specifying process, and the reference “fist section specifying process” is used for the reference using the pitch written in the guide melody. What is necessary is just to specify a fist area.
Moreover, the audio data used as a reference may be data (WAVE format, MP3 format, etc.) representing, for example, specific singing by a singer or a karaoke accompaniment part. As described above, when the audio data used as the reference includes a portion where the time change of the pitch is continuous, the reference fist section may be specified by the above-described “singing fist section specifying process”.
As described above, not only the “reference fist section specifying process” shown in the above-described embodiment, but also the “singing fist section specifying process” may be used for specifying the fist section in the reference, and data used as a reference It is sufficient to use both according to the characteristics.
(6)上述した実施形態においては、ガイドメロディにおいてリファレンスこぶし区間を特定し、歌唱音声データの該リファレンスこぶし区間に対応する区間にこぶしが検出されるか否かに基づいてこぶしの評価を行う場合について説明した。しかし、ガイドメロディにおいてこぶしが用いられている区間を示すデータが楽曲データに含まれているなどの場合には該データをリファレンスこぶし区間データとして用いれば良く、リファレンスこぶし区間特定処理を行う必要は無い。 (6) In the above-described embodiment, when the fist section is specified in the guide melody and the fist is evaluated based on whether or not the fist is detected in the section corresponding to the reference fist section of the singing voice data. Explained. However, when data indicating the section where the fist is used in the guide melody is included in the music data, the data may be used as the reference fist section data, and there is no need to perform the reference fist section specifying process. .
(7)上述した実施形態では、ガイドメロディのピッチに基づいてリファレンスこぶし区間を特定する場合について説明した。本変形例では、更に歌詞データに基づいてリファレンスこぶし区間を特定するようにしても良い。歌詞データにおいては、ワイプ処理するタイミングから、各文字とガイドメロディの楽音の対応関係を特定することが可能である。そこで、CPU11は、1つの文字と対応するガイドメロディ部分に複数のピッチが見られるとの条件を更に併せてリファレンスこぶし区間を特定するようにしても良いし、一旦上述の方法でリファレンスこぶし区間を特定した後に、1つの文字と対応するガイドメロディ部分に複数のピッチが見られるとの条件を更に用いてリファレンスこぶし区間を特定するようにしても良い。
(7) In the above-described embodiment, the case has been described in which the reference fist section is specified based on the pitch of the guide melody. In this modification, the reference fist section may be further specified based on the lyrics data. In the lyrics data, it is possible to specify the correspondence between each character and the musical tone of the guide melody from the timing of the wipe process. Therefore, the
(8)上述した実施形態においては、ガイドメロディにおいて、ピッチの変動の態様が上述した条件(1)および(2)を同時に満たす区間をリファレンスこぶし区間として特定する場合について説明した。しかし、ガイドメロディデータからこぶし区間を特定する方法は上述の方法に限られるものではない。例えば、楽曲データに含まれる伴奏データから、歌唱の旋律と略一致する旋律を演奏する楽器(例えばピアノ)の伴奏データを読出し、該伴奏データとガイドメロディデータとから該伴奏データのピッチを基準としたガイドメロディデータのピッチの相対値(差分値)を算出し、その相対値が一過的に上昇する区間をリファレンスこぶし区間として特定するとしても良い。なぜなら、伴奏データにおいてはこぶしの技法に起因するピッチの変動は含まれていないと考えられ、上記の差分値はこぶしによるピッチの一過的な上昇を抽出したものであると考えられるからである。 (8) In the above-described embodiment, the case has been described in which the section in the guide melody where the pitch variation mode satisfies the above conditions (1) and (2) is specified as the reference fist section. However, the method for specifying the fist section from the guide melody data is not limited to the method described above. For example, accompaniment data of an instrument (for example, a piano) that plays a melody that substantially matches the melody of the singing is read from the accompaniment data included in the music data, and the pitch of the accompaniment data is determined based on the accompaniment data and the guide melody data. It is also possible to calculate the relative value (difference value) of the pitch of the guide melody data and specify the section in which the relative value rises temporarily as the reference fist section. This is because the accompaniment data is considered not to include pitch fluctuations due to the fist technique, and the above difference value is considered to be an extraction of a transient rise in pitch due to fist. .
(9)上述した実施形態においては、歌唱音声データからビブラート区間を特定し、該ビブラート区間を歌唱こぶし候補区間から除外して歌唱こぶし区間を特定する場合について説明した。しかし、楽曲データに付随しているなど、ビブラートの技法を用いて歌唱すべき区間を示すデータが得られる場合には、上述のビブラート区間特定処理を行う必要はない。その場合、該データが示す区間をビブラート区間データ記憶領域14cに書き込んでおき、歌唱こぶし区間特定処理の際には、該書き込まれたデータを読み出して用いれば良い。
(9) In the above-described embodiment, the case where the vibrato section is specified from the singing voice data, the singing fist section is specified by excluding the vibrato section from the singing fist candidate section, has been described. However, when the data indicating the section to be sung is obtained using the vibrato technique such as accompanying the music data, it is not necessary to perform the above-described vibrato section specifying process. In that case, the section indicated by the data may be written in the vibrato section
(10)上述した実施形態においては、ビブラート区間を特定する方法の一例として、ピッチの変動の態様に基づく場合について説明した。しかし、ビブラート区間を特定する方法は上述の方法に限定されるものではない。例えば、ビブラートの区間を特定するために上記実施形態において用いた複数の条件のうち、いずれかを用いないとしても良いし、上記の条件に加え、他の条件を組み合わせて用いても良い。 (10) In the above-described embodiment, the case where it is based on the aspect of pitch variation has been described as an example of the method for specifying the vibrato section. However, the method for specifying the vibrato section is not limited to the above-described method. For example, any of a plurality of conditions used in the above embodiment for specifying a vibrato section may not be used, or other conditions may be used in combination with the above conditions.
(11)上述した実施形態においては、歌唱こぶし区間特定処理において、フィルタ歌唱ピッチデータの、ピッチの変動の態様が条件(1)ないし(3)の条件を満たす区間を「歌唱こぶし候補区間」として特定する場合について説明した。しかし、上記の条件に加え、例えば以下のような条件(a)、(b)、(c)、および(d)に基づいて歌唱こぶし候補区間を特定しても良い。
(a)ピッチの立ち上がりが、ノート(楽音)の発音を開始するタイミングの直後の所定の期間内にある場合に、該ピッチの上昇区間を歌唱こぶし候補区間とする。
図16は、フィルタ歌唱ピッチデータの一部を取り出して示した図である。図16(a)に示されているように、時刻t1からt3まで伸ばして発音するノートにおいて、その発音開始(時刻t1)から所定の時間以上経過してからピッチの立ち上がり(時刻t2)が見られる場合には、該区間を歌唱こぶし候補区間とは特定しない。なぜなら、各ノートの発音開始の直後にこぶしを回すのが一般的であるからである。
(11) In the above-described embodiment, in the singing fist section specifying process, the section of the filter singing pitch data in which the pitch variation mode satisfies the conditions (1) to (3) is defined as the “singing fist candidate section”. The case of specifying was explained. However, in addition to the above conditions, the singing fist candidate section may be specified based on the following conditions (a), (b), (c), and (d), for example.
(A) When the rising edge of the pitch is within a predetermined period immediately after the timing at which the note (musical sound) is started, the rising section of the pitch is set as a singing fist candidate section.
FIG. 16 is a diagram showing a part of the filter singing pitch data. As shown in FIG. 16 (a), in a note that is sounded from time t1 to time t3, the rise of the pitch (time t2) is observed after a predetermined time or more has elapsed since the sounding start (time t1). If it is, the section is not specified as a singing fist candidate section. This is because it is common to turn the fist immediately after the start of pronunciation of each note.
(b)こぶしの直前および直後に所定のレベルを超えるピッチの下降がない。
図16(b)に示されているように、時刻t5において極大値を示すピッチの一過的な上昇の直前に時刻t4において極小値を示すようなピッチの大きな下降が見られる場合には、上記時刻t5において極大値を示すピッチの一過的な上昇の区間を歌唱こぶし候補区間とは特定しない。
(B) There is no pitch drop exceeding a predetermined level immediately before and after the fist.
As shown in FIG. 16B, when a large drop in the pitch showing the minimum value at time t4 is seen immediately before the temporary increase in the pitch showing the maximum value at time t5, A section where the pitch is temporarily increased at time t5 is not specified as a singing fist candidate section.
(c)こぶしの直後に所定のレベルを超えるピッチの上昇がない。
図16(c)に示されているように、時刻t6において極大値を示すピッチの一過的な上昇の直後に時刻t7において極大値を示すようなピッチの大きな上昇が見られる場合には、時刻t6において極大値を示すピッチの一過的な上昇の区間を歌唱こぶし候補区間とは特定しない。
(C) There is no pitch increase exceeding a predetermined level immediately after the fist.
As shown in FIG. 16 (c), when a large increase in pitch showing a maximum value at time t7 is observed immediately after a transient increase in pitch showing a maximum value at time t6, A section where the pitch is temporarily increased at time t6 is not specified as a singing fist candidate section.
(d)ピッチの一過的な上昇の後に一定期間の平坦部(区間内のピッチの最大値と最小値の差分が一定値以内である部分)がある。
図16(d)に示されているように、時刻t8において極大値を示すピッチの一過的な上昇が終了した後に時刻t9において極小値を示すピッチの下降や、時刻t10において極大値を示すピッチの上昇が見られ、該区間におけるピッチの変動幅は所定の閾値より大きくなるため、時刻t8において極大値を示すピッチの一過的な上昇の区間を歌唱こぶし候補区間とは特定しない。
なお、上述の実施形態において示した条件(1)ないし(3)、および上記の条件(a)、(b)、(c)、および(d)の中から、複数の条件を選択して用いることにより歌唱こぶし候補区間を特定するとしても良く、該条件の組み合わせ方法は適切に設定すれば良い。
(D) After a temporary increase in pitch, there is a flat portion (a portion where the difference between the maximum value and the minimum value of the pitch in the section is within a certain value) for a certain period.
As shown in FIG. 16 (d), after the temporary rise in the pitch showing the maximum value at time t8 is finished, the pitch showing the minimum value is lowered at time t9, and the maximum value is shown at time t10. Since the pitch rises and the fluctuation range of the pitch in the section becomes larger than the predetermined threshold, the section where the pitch is temporarily increased at time t8 is not specified as the singing fist candidate section.
It should be noted that a plurality of conditions are selected and used from the conditions (1) to (3) and the above conditions (a), (b), (c), and (d) shown in the above embodiment. Thus, the singing fist candidate section may be specified, and the combination method of the conditions may be set appropriately.
(12)上述した実施形態においては、歌唱こぶし区間を特定するに際し、歌唱こぶし候補区間の一部でもビブラート区間に含まれている場合には、該歌唱こぶし候補区間はビブラート区間に含まれていると判定する場合について説明した。しかし、各歌唱こぶし候補区間がビブラート区間に含まれるか否かを判定する方法は、上記の方法に限定されるものではない。たとえば、各歌唱こぶし候補区間の開始時刻から終了時刻までがビブラート区間に含まれる場合に、該歌唱こぶし候補区間はビブラート区間に含まれると判定しても良い。また、各歌唱こぶし候補区間において、ピッチが極大値を示す時刻がビブラート区間に含まれる場合に、該歌唱こぶし候補区間はビブラート区間に含まれると判定しても良い。 (12) In the embodiment described above, when specifying a singing fist section, if even a part of the singing fist candidate section is included in the vibrato section, the singing fist candidate section is included in the vibrato section. The case where the determination is made has been described. However, the method for determining whether each singing fist candidate section is included in the vibrato section is not limited to the above method. For example, if the vibrato section includes the start time to the end time of each singing fist candidate section, it may be determined that the singing fist candidate section is included in the vibrato section. Further, in each singing fist candidate section, when the time when the pitch shows the maximum value is included in the vibrato section, it may be determined that the singing fist candidate section is included in the vibrato section.
(13)上述した実施形態においては、上記リファレンスこぶし区間の中間の時刻の直前または直後の上記所定長の区間に中間の時刻を持つような歌唱こぶし区間があるか否かによりこぶしの評価をする場合について説明した。しかし、こぶしの評価方法は、上記の方法に限定されるものではない。
例えば、上記の方法において、リファレンスこぶし区間および歌唱こぶし区間の中間の時刻に代えて、両こぶし区間のピッチが最大値を示す時刻同士で比較しても良い。また、上記リファレンスこぶし区間の開始時刻の直前および直後の所定の区間において、歌唱こぶし区間の開始時刻が見られるか否かによりこぶしの評価を行っても良い。
(13) In the above-described embodiment, the fist is evaluated based on whether or not there is a singing fist section having an intermediate time in the predetermined length section immediately before or immediately after the intermediate time of the reference fist section. Explained the case. However, the fist evaluation method is not limited to the above method.
For example, in the above method, instead of the intermediate time between the reference fist section and the singing fist section, the times at which the pitches of both fist sections show the maximum values may be compared. Further, the fist evaluation may be performed depending on whether or not the start time of the singing fist section is seen in a predetermined section immediately before and after the start time of the reference fist section.
(14)上述した実施形態においては、ガイドメロディにおいてリファレンスこぶし区間を特定し、一方歌唱音声データにおいて歌唱こぶし区間を特定し、その後、特定されたリファレンスこぶし区間および歌唱こぶし区間を比較することにより歌唱のこぶしを評価する場合について説明した。しかし、リファレンスこぶし区間を一旦特定し、該特定されたリファレンスこぶし区間と対応する区間の歌唱音声データにおいて、こぶしが用いられているか否かを判定することによりこぶしの評価をしても良い。その場合、リファレンスこぶし区間と対応する区間の歌唱音声のピッチが上述した歌唱こぶし区間特定処理において用いた条件を満たすか否かを判定すれば良い。 (14) In the embodiment described above, the reference fist section is specified in the guide melody, the singing fist section is specified in the singing voice data, and then the singing is performed by comparing the specified reference fist section and the singing fist section. The case of evaluating the fist has been described. However, the fist may be evaluated by once identifying the reference fist section and determining whether or not the fist is used in the singing voice data of the section corresponding to the identified reference fist section. In that case, it may be determined whether or not the pitch of the singing voice in the section corresponding to the reference fist section satisfies the condition used in the above-described singing fist section specifying process.
(15)上述した実施形態においては、リファレンスこぶし区間に対応する歌唱音声の区間においてこぶしが検出された場合に、評価に加点する場合について説明した。しかし、リファレンスこぶし区間に対応する歌唱音声の区間においてこぶしが検出されなかった場合に、評価に減点するようにしても良い。 (15) In the above-described embodiment, the case where points are added to the evaluation when the fist is detected in the section of the singing voice corresponding to the reference fist section has been described. However, if no fist is detected in the singing voice section corresponding to the reference fist section, the evaluation may be deducted.
(16)上述した実施形態においては、リファレンスこぶし区間に対応する歌唱音声の区間においてこぶしが検出されるか否かによりこぶしの評価処理を行う場合について説明した。しかし、こぶしの評価は上述の方法に限られるものではない。例えば、リファレンスこぶし区間と歌唱こぶし区間とから、こぶしにおいてピッチが上昇するタイミングのずれの大きさを算出し、該ずれが大きい場合に減点したり、小さいほど加点したりするなどの評価をしても良い。 (16) In the above-described embodiment, the case has been described in which the fist evaluation process is performed depending on whether or not the fist is detected in the singing voice section corresponding to the reference fist section. However, the evaluation of the fist is not limited to the method described above. For example, from the reference fist section and the singing fist section, calculate the magnitude of the timing deviation in which the pitch rises in the fist, and if the deviation is large, it will be deducted, or the smaller the score, the more points will be added Also good.
(17)上述した実施形態において、歌唱音声とガイドメロディのピッチを比較することによる従来の歌唱評価(以下、総合評価)をこぶしの評価と合わせて行っても良い。その場合、歌唱音声においてこぶしが検出されたにも関わらず、対応するガイドメロディの区間にこぶしが検出されなかった場合には、上記総合評価において該歌唱こぶし区間における歌唱音声とガイドメロディの間のピッチのずれに応じた減点を行わないとしても良い。なぜなら、歌唱者は上記こぶし区間において意図的にこぶしを回して歌唱したと考えられ、そのことに由来するガイドメロディからのピッチのずれに基づいて総合評価において減点することは適切ではないからである。 (17) In the above-described embodiment, conventional singing evaluation (hereinafter referred to as comprehensive evaluation) by comparing the pitch of the singing voice and the guide melody may be performed together with the evaluation of the fist. In that case, when a fist is not detected in the corresponding section of the guide melody even though a fist is detected in the singing voice, in the above comprehensive evaluation, between the singing voice and the guide melody in the singing fist section. The deduction according to the pitch deviation may not be performed. This is because it is considered that the singer intentionally turned the fist in the above fist section, and it is not appropriate to deduct points in the overall evaluation based on the pitch deviation from the guide melody derived from that. .
(18)上述した実施形態では、カラオケ装置1が、上記実施形態に係る機能の全てを実現する場合について説明した。しかし、ネットワークで接続された2以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置1の機能を実現するようにしてもよい。
(18) In the above-described embodiment, the case where the
(19)上述した実施形態におけるカラオケ装置1のCPU11によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、RAM、ROMなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置1にダウンロードさせることも可能である。
(19) The program executed by the
(20)上述した実施形態においては、ガイドメロディにおけるこぶし区間を表すリファレンスこぶし区間データを生成し、該リファレンスこぶし区間データを記憶部14のリファレンスこぶし区間データ記憶領域14fに記憶し、歌唱音声のこぶしに関する評価を行う場合に、該データを読み出して評価に用いる場合について説明した。該方法はすなわち、リファレンスこぶし区間データを楽曲データやガイドメロディデータとは別に新たなファイルとして生成し、ガイドメロディデータにリファレンスこぶし区間データを併せて用いる方法である。
しかし、生成したリファレンスこぶし区間データをガイドメロディに加える方法は、上述の方法に限られるものではない。例えば、こぶしを用いて歌唱すべき区間が書き込まれたガイドメロディデータを新たに生成しても良い。その場合、こぶし区間を表すリファレンスこぶし区間データを、例えば楽曲データのヘッダやガイドメロディデータの冒頭に書き込むなどしても良いし、ガイドメロディデータにおけるこぶし区間のデータを改変するなどしても良い。
(20) In the embodiment described above, the reference fist section data representing the fist section in the guide melody is generated, the reference fist section data is stored in the reference fist section
However, the method of adding the generated reference fist section data to the guide melody is not limited to the method described above. For example, guide melody data in which a section to be sung is written using a fist may be newly generated. In that case, the reference fist section data representing the fist section may be written, for example, at the beginning of the music data header or the guide melody data, or the data of the fist section in the guide melody data may be modified.
1…カラオケ装置、11…CPU、12…ROM、13…RAM、14…記憶部、15…表示部、16…操作部、17…マイクロホン、18…音声処理部、19…スピーカ、20…バス。
DESCRIPTION OF
Claims (7)
前記受取手段が受取ったリファレンスデータが表す旋律からピッチを検出するピッチ検出手段と、
前記ピッチ検出手段により検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、
(2)ピッチが上昇している時間長が所定の閾値よりも短い
という条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定手段と
前記リファレンスこぶし区間特定手段が特定したリファレンスこぶし区間を示すリファレンスこぶし区間データを前記リファレンスデータに加える編集手段と
を有することを特徴とするリファレンスデータ編集装置。 A receiving means for receiving reference data representing a melody;
Pitch detecting means for detecting the pitch from the melody represented by the reference data received by the receiving means;
With reference to the pitch of the melody detected by the pitch detection means, from one or a plurality of sections that descend after the pitch rises in the melody,
(1) The pitch immediately before the pitch increases and the pitch immediately after the pitch decreases are equal,
(2) A reference fist section specifying means for specifying a section satisfying a condition that the length of time during which the pitch is rising is shorter than a predetermined threshold as a reference fist section, and a reference fist section specified by the reference fist section specifying means A reference data editing apparatus, comprising: an editing unit that adds reference fist section data to the reference data.
前記受取手段が受取った音声データが表す音声からピッチを検出するピッチ検出手段と、
前記ピッチ検出手段により検出された前記音声のピッチを参照し、前記音声においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、
(2)ピッチが下降する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、
(3)ピッチが上昇し始めてから下降し終わるまでに要する時間が所定の範囲内である
ことを特徴とする候補区間を特定する候補区間特定手段と、
前記音声において、ビブラートの技法が用いられている区間を表すビブラート区間データを受取る第2の受取手段と、
前記候補区間特定手段により特定された候補区間の各々について、前記第2の受取手段が受け取ったビブラート区間データが表すビブラート区間に含まれなければ、該候補区間をこぶしの技法が用いられているこぶし区間として特定するこぶし区間特定手段と
旋律を表すリファレンスデータを受取る第3の受取手段と、
前記第3の受取手段が受取ったリファレンスデータが表す旋律からピッチを検出する第2のピッチ検出手段と、
前記第2のピッチ検出手段により検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、
(2)ピッチが上昇している時間長が所定の閾値よりも短い
という条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定手段と
前記リファレンスこぶし区間特定手段により特定されたリファレンスこぶし区間と、前記こぶし区間特定手段により特定されたこぶし区間とに基づいて前記音声の評価をする評価手段と
を有することを特徴とするこぶし評価装置。 Receiving means for receiving voice data representing voice;
Pitch detecting means for detecting a pitch from the voice represented by the voice data received by the receiving means;
With reference to the pitch of the voice detected by the pitch detection means, from one or a plurality of sections in which the pitch rises and then falls in the voice,
(1) The absolute value of the rate of change in pitch in a section in which the pitch increases is greater than a predetermined threshold;
(2) The absolute value of the rate of change in pitch in the section where the pitch is lowered is greater than a predetermined threshold value,
(3) Candidate section specifying means for specifying a candidate section characterized in that the time required from when the pitch starts to rise until it finishes falling is within a predetermined range;
A second receiving means for receiving vibrato section data representing a section in which the vibrato technique is used in the voice;
If each candidate section specified by the candidate section specifying means is not included in the vibrato section represented by the vibrato section data received by the second receiving means, the fist technique using the candidate section is used. A fist section specifying means for specifying the section, a third receiving means for receiving reference data representing the melody,
Second pitch detecting means for detecting a pitch from the melody represented by the reference data received by the third receiving means;
With reference to the pitch of the melody detected by the second pitch detection means, from one or a plurality of sections that descend after the pitch rises in the melody,
(1) The pitch immediately before the pitch increases and the pitch immediately after the pitch decreases are equal,
(2) a reference fist section specifying means for specifying a section satisfying a condition that the time length during which the pitch is rising is shorter than a predetermined threshold as a reference fist section; a reference fist section specified by the reference fist section specifying means; And an evaluation means for evaluating the voice based on the fist section specified by the fist section specifying means.
ことを特徴とする請求項2に記載のこぶし評価装置。 The evaluation means outputs a higher evaluation as the reference fist section specified by the reference fist section specifying means and the fist section specified by the fist section specifying means show a higher degree of coincidence. The fist evaluation apparatus according to 2.
前記受取段階において受取ったリファレンスデータが表す旋律からピッチを検出するピッチ検出段階と、
前記ピッチ検出段階において検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、
(2)ピッチが上昇している時間長が所定の閾値よりも短い
という条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定段階と
前記リファレンスこぶし区間特定段階において特定されたリファレンスこぶし区間を示すリファレンスこぶし区間データを前記リファレンスデータに加える編集段階と
を有することを特徴とするリファレンスデータ編集方法。 A receiving stage for receiving reference data representing a melody;
A pitch detection step of detecting a pitch from the melody represented by the reference data received in the reception step;
With reference to the pitch of the melody detected in the pitch detection step, from one or a plurality of sections that descend after the pitch rises in the melody,
(1) The pitch immediately before the pitch increases and the pitch immediately after the pitch decreases are equal,
(2) A reference fist section specifying stage that specifies a section that satisfies the condition that the length of time during which the pitch is rising is shorter than a predetermined threshold as a reference fist section, and a reference fist section that is specified in the reference fist section specifying stage. An editing step of adding reference fist section data to the reference data.
前記受取段階において受取った音声データが表す音声からピッチを検出するピッチ検出段階と、
前記ピッチ検出段階において検出された前記音声のピッチを参照し、前記音声においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、
(2)ピッチが下降する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、
(3)ピッチが上昇し始めてから下降し終わるまでに要する時間が所定の範囲内である
ことを特徴とする候補区間を特定する候補区間特定段階と、
前記音声において、ビブラートの技法が用いられている区間を表すビブラート区間データを受取る第2の受取段階と、
前記候補区間特定段階において特定された候補区間の各々について、前記第2の受取段階が受け取ったビブラート区間データが表すビブラート区間に含まれなければ、該候補区間をこぶしの技法が用いられているこぶし区間として特定するこぶし区間特定段階と
旋律を表すリファレンスデータを受取る第3の受取段階と、
前記第3の受取段階において受取ったリファレンスデータが表す旋律からピッチを検出する第2のピッチ検出段階と、
前記第2のピッチ検出段階において検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、
(2)ピッチが上昇している時間長が所定の閾値よりも短い
という条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定段階と
前記リファレンスこぶし区間特定段階において特定されたリファレンスこぶし区間と、前記こぶし区間特定段階において特定されたこぶし区間とに基づいて前記音声の評価をする評価段階と
を有することを特徴とするこぶし評価方法。 A receiving stage for receiving audio data representing the audio;
A pitch detection step of detecting a pitch from the voice represented by the voice data received in the reception step;
With reference to the pitch of the voice detected in the pitch detection step, from one or more sections that fall after the pitch rises in the voice,
(1) The absolute value of the rate of change in pitch in the section where the pitch increases is greater than a predetermined threshold
(2) The absolute value of the rate of change in pitch in the section where the pitch is lowered is greater than a predetermined threshold value,
(3) a candidate section specifying stage for specifying a candidate section characterized in that the time required from when the pitch starts to rise until it finishes falling is within a predetermined range;
Receiving a vibrato section data representing a section in which the vibrato technique is used in the voice;
If each candidate section specified in the candidate section specifying step is not included in the vibrato section represented by the vibrato section data received in the second receiving stage, the fist technique using the candidate section is used. A fist section identifying stage identified as a section, a third receiving stage for receiving reference data representing a melody,
A second pitch detecting step of detecting a pitch from the melody represented by the reference data received in the third receiving step;
With reference to the pitch of the melody detected in the second pitch detection stage, from one or a plurality of sections that descend after the pitch rises in the melody,
(1) The pitch immediately before the pitch increases and the pitch immediately after the pitch decreases are equal,
(2) A reference fist section identifying step that identifies a section that satisfies the condition that the pitch rise time is shorter than a predetermined threshold as a reference fist section, and a reference fist section identified in the reference fist section identifying step. And an evaluation stage for evaluating the voice based on the fist section identified in the fist section identification stage.
旋律を表すリファレンスデータを受取る受取手段と、
前記受取手段が受取ったリファレンスデータが表す旋律からピッチを検出するピッチ検出手段と、
前記ピッチ検出手段により検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、
(2)ピッチが上昇している時間長が所定の閾値よりも短い
という条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定手段と
前記リファレンスこぶし区間特定手段が特定したリファレンスこぶし区間を示すリファレンスこぶし区間データを前記リファレンスデータに加える編集手段
として機能させるためのプログラム。 Computer
A receiving means for receiving reference data representing a melody;
Pitch detecting means for detecting the pitch from the melody represented by the reference data received by the receiving means;
With reference to the pitch of the melody detected by the pitch detection means, from one or a plurality of sections that descend after the pitch rises in the melody,
(1) The pitch immediately before the pitch increases and the pitch immediately after the pitch decreases are equal,
(2) A reference fist section specifying means for specifying a section satisfying a condition that the length of time during which the pitch is rising is shorter than a predetermined threshold as a reference fist section, and a reference fist section specified by the reference fist section specifying means A program for functioning as an editing means for adding reference fist interval data to the reference data.
音声を表す音声データを受取る受取手段と、
前記受取手段が受取った音声データが表す音声からピッチを検出するピッチ検出手段と、
前記ピッチ検出手段により検出された前記音声のピッチを参照し、前記音声においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、
(2)ピッチが下降する区間におけるピッチの変化の割合の絶対値が所定の閾値よりも大きく、
(3)ピッチが上昇し始めてから下降し終わるまでに要する時間が所定の範囲内である
ことを特徴とする候補区間を特定する候補区間特定手段と、
前記音声において、ビブラートの技法が用いられている区間を表すビブラート区間データを受取る第2の受取手段と、
前記候補区間特定手段により特定された候補区間の各々について、前記第2の受取手段が受け取ったビブラート区間データが表すビブラート区間に含まれなければ、該候補区間をこぶしの技法が用いられているこぶし区間として特定するこぶし区間特定手段と
旋律を表すリファレンスデータを受取る第3の受取手段と、
前記第3の受取手段が受取ったリファレンスデータが表す旋律からピッチを検出する第2のピッチ検出手段と、
前記第2のピッチ検出手段により検出された前記旋律のピッチを参照し、前記旋律においてピッチが上昇した後下降する1または複数の区間から、
(1)ピッチが上昇する直前のピッチとピッチが下降した直後のピッチが等しく、
(2)ピッチが上昇している時間長が所定の閾値よりも短い
という条件を満たす区間をリファレンスこぶし区間として特定するリファレンスこぶし区間特定手段と
前記リファレンスこぶし区間特定手段により特定されたリファレンスこぶし区間と、前記こぶし区間特定手段により特定されたこぶし区間とに基づいて前記音声の評価をする評価手段
として機能させるためのプログラム。 Computer
Receiving means for receiving voice data representing voice;
Pitch detecting means for detecting a pitch from the voice represented by the voice data received by the receiving means;
With reference to the pitch of the voice detected by the pitch detection means, from one or a plurality of sections in which the pitch rises and then falls in the voice,
(1) The absolute value of the rate of change in pitch in a section in which the pitch increases is greater than a predetermined threshold value,
(2) The absolute value of the rate of change in pitch in the section where the pitch is lowered is greater than a predetermined threshold value,
(3) Candidate section specifying means for specifying a candidate section characterized in that the time required from when the pitch starts to rise until it finishes falling is within a predetermined range;
A second receiving means for receiving vibrato section data representing a section in which the vibrato technique is used in the voice;
If each candidate section specified by the candidate section specifying means is not included in the vibrato section represented by the vibrato section data received by the second receiving means, the fist technique using the candidate section is used. A fist section specifying means for specifying the section, a third receiving means for receiving reference data representing the melody,
Second pitch detecting means for detecting a pitch from the melody represented by the reference data received by the third receiving means;
With reference to the pitch of the melody detected by the second pitch detection means, from one or a plurality of sections that descend after the pitch rises in the melody,
(1) The pitch immediately before the pitch increases and the pitch immediately after the pitch decreases are equal,
(2) a reference fist section specifying means for specifying a section satisfying a condition that the time length during which the pitch is rising is shorter than a predetermined threshold as a reference fist section; a reference fist section specified by the reference fist section specifying means; A program for functioning as an evaluation means for evaluating the voice based on the fist section specified by the fist section specifying means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007108528A JP4910855B2 (en) | 2007-04-17 | 2007-04-17 | Reference data editing device, fist evaluation device, reference data editing method, fist evaluation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007108528A JP4910855B2 (en) | 2007-04-17 | 2007-04-17 | Reference data editing device, fist evaluation device, reference data editing method, fist evaluation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008268371A JP2008268371A (en) | 2008-11-06 |
JP4910855B2 true JP4910855B2 (en) | 2012-04-04 |
Family
ID=40047995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007108528A Active JP4910855B2 (en) | 2007-04-17 | 2007-04-17 | Reference data editing device, fist evaluation device, reference data editing method, fist evaluation method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4910855B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5549166B2 (en) * | 2009-09-18 | 2014-07-16 | ブラザー工業株式会社 | Audio processing device, program |
JP6432478B2 (en) * | 2015-09-30 | 2018-12-05 | ブラザー工業株式会社 | Singing evaluation system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4008562B2 (en) * | 1998-03-02 | 2007-11-14 | 株式会社第一興商 | A karaoke device characterized by a singer's original grading system |
JP2001013976A (en) * | 1999-07-02 | 2001-01-19 | Kenwood Corp | Karaoke device |
JP2004102146A (en) * | 2002-09-12 | 2004-04-02 | Taito Corp | Karaoke scoring device having vibrato grading function |
JP4135461B2 (en) * | 2002-10-15 | 2008-08-20 | ブラザー工業株式会社 | Karaoke device, program and recording medium |
JP4222915B2 (en) * | 2003-09-30 | 2009-02-12 | ヤマハ株式会社 | Singing voice evaluation device, karaoke scoring device and programs thereof |
-
2007
- 2007-04-17 JP JP2007108528A patent/JP4910855B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008268371A (en) | 2008-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4672613B2 (en) | Tempo detection device and computer program for tempo detection | |
JP4910854B2 (en) | Fist detection device, fist detection method and program | |
JP6631199B2 (en) | Technique determination device | |
JP4212446B2 (en) | Karaoke equipment | |
JP4163584B2 (en) | Karaoke equipment | |
JP3996565B2 (en) | Karaoke equipment | |
JP2007334364A (en) | Karaoke machine | |
JP4204941B2 (en) | Karaoke equipment | |
JP4900017B2 (en) | Vibrato detection device, vibrato evaluation device, vibrato detection method, vibrato evaluation method and program | |
JP4910855B2 (en) | Reference data editing device, fist evaluation device, reference data editing method, fist evaluation method, and program | |
JP4222919B2 (en) | Karaoke equipment | |
JP4222915B2 (en) | Singing voice evaluation device, karaoke scoring device and programs thereof | |
JP4865607B2 (en) | Karaoke apparatus, singing evaluation method and program | |
JP5447624B2 (en) | Karaoke equipment | |
JP5416396B2 (en) | Singing evaluation device and program | |
JP4855980B2 (en) | Karaoke apparatus, singing evaluation method and program | |
JP5034642B2 (en) | Karaoke equipment | |
JP2017173655A (en) | Sound evaluation device and sound evaluation method | |
JP5200144B2 (en) | Karaoke equipment | |
JP5585320B2 (en) | Singing voice evaluation device | |
JP4048249B2 (en) | Karaoke equipment | |
JP5618743B2 (en) | Singing voice evaluation device | |
JP5186793B2 (en) | Karaoke equipment | |
JP6365483B2 (en) | Karaoke device, karaoke system, and program | |
JP6175034B2 (en) | Singing evaluation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4910855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |