JP6514874B2 - Karaoke scoring device that compares the pitch difference of the reference with the pitch difference of the singing voice and performs scoring - Google Patents
Karaoke scoring device that compares the pitch difference of the reference with the pitch difference of the singing voice and performs scoring Download PDFInfo
- Publication number
- JP6514874B2 JP6514874B2 JP2014204826A JP2014204826A JP6514874B2 JP 6514874 B2 JP6514874 B2 JP 6514874B2 JP 2014204826 A JP2014204826 A JP 2014204826A JP 2014204826 A JP2014204826 A JP 2014204826A JP 6514874 B2 JP6514874 B2 JP 6514874B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- scoring
- note
- karaoke
- singing voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、利用者によるカラオケ歌唱の巧拙を採点するカラオケ採点装置に関し、特に、リファレンスの音高差と歌唱音声の音高差を比較して採点を行うものに関する。 The present invention relates to a karaoke scoring device for scoring the skill of a karaoke song by a user, and more particularly to a device that compares the pitch difference of a reference with the pitch difference of a singing voice to perform scoring.
カラオケ装置には、利用者の歌唱の巧拙を採点する採点機能が備えられている。特に最近は、利用者の歌唱を聴取した者が感じる聴覚的な印象と、採点結果のずれが小さいことが望まれており、これに応えるべく採点機能の改良や開発が行われている。このような歌唱の巧拙を適切に採点する技術として、例えば特許文献1には、ローパスフィルタ処理されたリファレンスデータと歌唱音声周波数データを音符毎に比較し、1個の音符の期間内にリファレンスデータと歌唱音声周波数データの差が許容範囲になったサンプルが所定回数以上であったとき、この音符について合格と判定し、1曲を通して合格と判定した音符の数に基づいて最終得点を決定する技術が開示されている。また特許文献2には、所定区間のリファレンスデータと歌唱音声周波数データを時間軸方向に相互にずらして、その相関が最大になる位置を求め、その位置にて各音符を比較することによりその周波数差に基づいて採点を行うことで、「ため」による歌唱でも正確に判定することができる技術が開示されている。
The karaoke apparatus is provided with a scoring function for scoring the user's singing skill. Particularly in recent years, it is desirable that the auditory impression felt by the person who listens to the user's song and the gap between the scoring results be small, and the scoring function has been improved and developed in response to this. As a technique for appropriately scoring the skill of such a song, for example, Patent Document 1 compares the low-pass filtered reference data with the singing voice frequency data for each note, and refers to the reference data within a single note period. This technique determines the final score on the basis of the number of notes that are determined to pass for this note when the difference between the song and the singing voice frequency data is within the allowable range for a predetermined number of times or more. Is disclosed. Further, in
ところで最近では、一人でカラオケボックスに入って集中して歌唱するいわゆる一人カラオケが流行している。一人カラオケという形態を利用する目的のひとつとして、楽曲のレパートリーを増やすことが挙げられる。この目的を達成するためにはひとつの楽曲を繰り返し歌唱することになるが、その過程においては、音高の正確性よりも、どの程度メロディーを覚えられたか確認したいという要望がある。 By the way, in recent years, so-called one-man karaoke in which one person concentrates on singing into a karaoke box is popular. One of the purposes of using one-person karaoke is to increase the repertoire of music. In order to achieve this purpose, one song will be sung repeatedly, but in the process, there is a demand to check how much melody can be learned rather than the accuracy of the pitch.
またカラオケの利用者の中には、いわゆるアカペラであれば主旋律を正しく歌唱できるのに、伴奏を聞きながらそのキーに合わせた歌い方ができない利用者もおり、そのような特性の利用者についても、一般的な利用者と同様に音程の正確性を評価する採点機能が望まれる。しかしながら、前述の各特許文献を初めとする従来の採点処理では、リファレンス通りの音高で歌唱されているか否かを判定している。このため、いくら主旋律を正しく歌唱していても、キーがずれていれば評価は低くなってしまう。 In addition, some users of karaoke can sing the main melody correctly with so-called acapella, but can not sing along with the keys while listening to the accompaniment, and users of such characteristics are also able to sing. As with general users, a scoring function to evaluate pitch accuracy is desired. However, in the conventional scoring process starting with each of the patent documents described above, it is determined whether or not the song is sung at the reference pitch. Therefore, no matter how much the main melody is sung correctly, the evaluation will be lowered if the key is shifted.
ここで、特許文献2の技術を応用して、所定区間のリファレンスデータと歌唱音声周波数データを時間軸方向ではなく音高方向に相互にずらし、その相関が最大になる位置を割り出して、その位置にて各音符を比較することにより採点を行うことも考えられる。しかしながら、利用者の絶対ピッチ(音高の基準)は、時系列で頻繁に変化する傾向があることから、所定区間中にピッチ変化が生じた場合には、ピッチ変化前後の音程が正確であっても正しい評価が得られない。
Here, the technique of
本発明は、このような事情に鑑みてなされたものであり、その目的は、一人カラオケを利用する利用者や伴奏キーに合わせられない利用者に適した採点方法を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a marking method suitable for a user who uses karaoke alone or a user who can not be matched to an accompaniment key.
前述の目的を達成するため、本発明に係るカラオケ採点装置は、カラオケ楽曲の演奏とともに、演奏に同期して歌唱旋律における各音符の音高情報と区切り情報を含むリファレンスデータを取得する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、前記区切り情報によって識別される音符毎に、前記歌唱音声の音高を記録する記録手段と、前記リファレンスデータに含まれる連続する2つの音符の音高差と、当該2つの音符に対応する、前記記録した歌唱音声に含まれる2つの音符の音高差の差分の比較によって採点する第1の採点手段と、を備えることを特徴とする。 In order to achieve the above-mentioned object, a karaoke scoring apparatus according to the present invention is a performance means for acquiring reference data including pitch information and break information of each note in the song melody in synchronization with the performance of the karaoke music. A singing voice input unit for inputting a singing voice, a recording unit for recording the pitch of the singing voice for each note identified by the delimiter information, and a pitch of two consecutive musical notes included in the reference data It is characterized by comprising: a first scoring unit that performs scoring by comparing a difference and a difference in pitch difference between two notes included in the recorded singing voice corresponding to the two notes.
本発明によれば、第1の採点手段は、リファレンスデータに含まれる連続する2つの音符の音高差と、これら2つの音符に対応する歌唱音声に含まれる2つの音符の音高差の差分の比較によって採点を行うので、各音符の音程の正確さを評価することができる。また、所定区間の中で絶対ピッチの変化が生じた場合であっても、ピッチ変化前後の音程が正確であれば比較的高い評価が得られる。これにより、一人カラオケを利用する利用者や伴奏キーに合わせられない利用者に適した採点を行うことができる。 According to the present invention, the first scoring means comprises the difference in pitch between two consecutive notes contained in the reference data and the difference in pitch between the two notes contained in the singing voice corresponding to these two notes. Because the scoring is done by comparing the, the accuracy of the pitch of each note can be evaluated. In addition, even when a change in absolute pitch occurs in a predetermined section, a relatively high evaluation can be obtained if the pitch before and after the change in pitch is accurate. As a result, it is possible to perform marking suitable for a user who uses karaoke alone or a user who can not match the accompaniment key.
前述のカラオケ採点装置において、前記記録手段に記録される音高は、前記区切り情報によって識別される1の音符の期間内に入力された歌唱音声の複数のサンプル音高のうち、所定期間における音高変動が所定範囲未満の水平箇所が検出された場合は、水平箇所の平均値をこの音符の音高とし、前記水平箇所が検出されなかった場合は、発音期間中に検出されたすべてのサンプル音高の平均値を当該音符の音高とすることが好ましい。このカラオケ採点装置では、各音符において歌唱音声の音高が定まらなくても、妥当な音高を設定できる。 In the above-mentioned karaoke scoring apparatus, the pitch recorded in the recording means is a pitch in a predetermined period among a plurality of sample pitches of the singing voice inputted within the period of one note identified by the division information. When a horizontal point whose high fluctuation is less than a predetermined range is detected, the average value of the horizontal point is taken as the pitch of this note, and when the horizontal point is not detected, all samples detected during the sound generation period It is preferable to set the average value of the pitch as the pitch of the note. In this karaoke scoring device, a proper pitch can be set even if the pitch of the singing voice is not determined in each note.
前述のカラオケ採点装置において、利用対象のカラオケ採点装置に利用者をログインさせるためのログイン手段と、前記区切り情報によって識別される音符毎に、前記リファレンスデータと前記歌唱音声を比較し、その音高差によって採点する第2の採点手段と、を備え、前記ログイン手段によりログインした利用者が一人の場合には第1の採点手段で採点し、それ以外の場合には第2の採点手段で採点することが好ましい。このカラオケ採点装置では、ログインした利用者の人数に応じ、適切な採点週案を自動的に選択できる。すなわち、一人カラオケを利用する利用者については、各音符の音程の正確さを評価することができ、複数人でカラオケを利用する利用者については、聴取者の聴感に基づく歌のうまさを評価することができる。 In the above-described karaoke scoring apparatus, the reference data and the singing voice are compared for each note identified by the delimiter information and login means for logging the user into the karaoke scoring apparatus to be used, and the pitch thereof The second marking device is provided with a second marking device for marking according to the difference, and when the user logged in by the login device is one, the first marking device is scored, and in the other cases, the second marking device is scored. It is preferable to do. The karaoke scoring device can automatically select an appropriate marking week according to the number of logged-in users. That is, for a user who uses karaoke alone, the accuracy of the pitch of each note can be evaluated, and for a user who uses karaoke by multiple people, the evaluation of a song based on the listener's hearing is evaluated be able to.
本発明によれば、一人カラオケを利用する利用者や伴奏キーに合わせられない利用者に対し、各音符の音程の正確さを評価する採点機能を採用することで、伴奏キーに関係なく利用者がその楽曲において正しい旋律で歌唱しているかどうかを判断することができる。 According to the present invention, a user who uses karaoke alone or a user who can not match the accompaniment keys adopts a scoring function that evaluates the accuracy of the pitch of each note, regardless of the accompaniment keys. It can be determined whether the song is singing with the correct melody in the song.
以下、本発明の実施形態について説明する。まず、図1を参照し、カラオケ装置1の構成について説明する。このカラオケ装置1は、利用者によるカラオケ歌唱の巧拙を採点するカラオケ採点機能を有している。このため、本実施形態のカラオケ装置1は、本発明に係るカラオケ採点装置に相当する。 Hereinafter, embodiments of the present invention will be described. First, the configuration of the karaoke apparatus 1 will be described with reference to FIG. The karaoke apparatus 1 has a karaoke scoring function for scoring the skill of karaoke singing by the user. For this reason, the karaoke apparatus 1 of this embodiment is corresponded to the karaoke scoring apparatus which concerns on this invention.
図1に示すように、カラオケ装置1は、カラオケ本体11と、スピーカ12と、モニタ13と、歌唱マイク14と、リモコン装置15とを有している。
As shown in FIG. 1, the karaoke apparatus 1 has a
カラオケ本体11は、利用者によって指定されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、歌唱マイク14で生成されたマイク信号の処理、カラオケ歌唱の採点等、カラオケ歌唱に関する各種の制御を行う部分である。そして、スピーカ12、モニタ13、歌唱マイク14、及びリモコン装置15は、有線或いは無線でカラオケ本体11に接続されている。またカラオケ本体11は、ルーター装置RTを介して伝送路2に接続されている。この伝送路2を通じてカラオケ本体11は、ホスト装置(図示せず)と通信することができる。ホスト装置との通信によってカラオケ本体11は、例えば楽曲データのダウンロードや利用者のログイン(認証)を行うことができる。なお、このカラオケ本体11については、後で詳しく説明する。
The
スピーカ12は、カラオケ本体11から出力される放音信号に基づいて音を出力する。例えば、歌唱音声とカラオケ演奏音が混合された混合音を出力する。モニタ13は、カラオケ本体11からの映像信号に基づいて映像を画面に表示する。例えば、歌唱しているカラオケ楽曲の歌詞や背景映像を表示する。歌唱マイク14は、利用者(歌唱者)の歌唱音声を集音し、マイク信号に変換してカラオケ本体11(詳しくは後述する音響処理部25,図2(a)参照)に入力させる。このため、歌唱マイク14とカラオケ本体11の組は、利用者の歌唱音声を入力する歌唱音声入力手段に相当する。
The
リモコン装置15は、カラオケ本体11との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、例えばカラオケ楽曲の予約時に操作される。カラオケ楽曲の予約時において、リモコン装置15からは、演奏対象の楽曲を識別するための楽曲IDを含んだ操作信号が送信される。そして、カラオケ本体11は、選択されたカラオケ楽曲を待ち行列で管理する。
The
また、リモコン装置15は、ルーター装置RTとも通信可能に構成されており、利用者のログイン時にも操作される。ログイン処理の実行時において、リモコン装置15からは、利用者を識別するための利用者IDやパスワードが送信される。これらの利用者IDやパスワードについては、伝送路2を介してホスト装置に送信される。このため、リモコン装置15とホスト装置の組は、本発明におけるログイン手段に相当する。なお、利用者のログインをカラオケ装置1で処理してもよい。この場合には、カラオケ本体11とリモコン装置15の組がログイン手段に相当する。
The
次に、カラオケ本体11について詳細に説明する。図2(a)に示すように、カラオケ本体11は、制御部21と、通信部22と、記憶部23と、音源部24と、音響処理部25と、表示処理部26と、操作部27とを有している。
Next, the
制御部21は、カラオケ本体11における制御の中心となる部分である。通信部22は、ルーター装置RTを介してカラオケ本体11を伝送路2に接続するためのインタフェースを提供する部分である。記憶部23は、各種のデータを記憶する大容量の記憶装置であり、ハードディスクドライブ等によって構成されている。音源部24は、カラオケ演奏音信号の基となる楽音信号を生成する部分である。音響処理部25は、カラオケ演奏音や歌唱音声に関する処理を行う部分である。表示処理部26は、カラオケ演奏時における背景映像等の表示制御を行う部分である。操作部27は、パネルスイッチやリモコン装置15の操作に応じた操作信号を出力する部分である。そして、これらの各部がバスBSを介して通信可能な状態に接続されている。
The
次に、制御部21について説明する。制御部21は、CPU21aやメモリ21bを有している。CPU21aは、メモリ21bに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部27からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。また、記憶部23に記憶された採点用プログラムを読み込んで実行することで、制御部21は採点処理を行う。詳細は後述するが、本実施形態では、歌唱旋律を構成する音符毎にリファレンスデータと歌唱音声の音高同士を比較する一般的な採点モードによる採点処理(第2採点処理)の他、連続する2つの音符の音高差をリファレンスデータと歌唱音声との間で比較する別の採点モードによる採点処理(第1採点処理)も選択できる。
Next, the
メモリ21bは、CPU21aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。このメモリ21bは、リモコン装置15で予約されたカラオケ楽曲を、待ち行列で記憶することも行っている。また、メモリ21bの一部領域はワークエリアとして用いられる他、図2(b)に示すように、メモリ21bの一部領域は、リファレンス音高記憶領域21c、リファレンス音高差記憶領域21d、歌唱音高記憶領域21e、歌唱音高差記憶領域21f、差分値記憶領域21g、及び判定結果記憶領域21hとして用いられている。便宜上、これらの領域に記憶される情報については、後で説明する。
The
次に、記憶部23について説明する。記憶部23には、前述した採点用プログラムが記憶される採点用プログラム記憶領域23bに加え、楽曲データ記憶領域23aが設けられている。この楽曲データ記憶領域23aには、カラオケ楽曲を演奏するための楽曲データが記憶される。楽曲データには、MIDIデータとリファレンスデータと歌詞データが含まれる。
Next, the
MIDIデータは、電子楽器の音源を自動演奏させるためのデータ、すなわちカラオケ用の演奏データであり、デルタ時間で規定される時系列のMIDIイベント(メッセージ)によって構成される。MIDIイベントには、例えば発音の開始を示すノートオンや発音の終了を示すノートオフがある。これらのノートオンやノートオフには、音の高さを表す音階番号や音の強さを表すベロシティが含まれている。制御部21は、このMIDIデータを記憶部23から読み出して蓄積し、デルタ時間で規定されるタイミングでMIDIイベントを音源部24に送信する。
The MIDI data is data for automatically playing the sound source of the electronic musical instrument, that is, performance data for karaoke, and is constituted by time-series MIDI events (messages) defined by delta time. The MIDI event includes, for example, note-on indicating the start of sound generation and note-off indicating the end of sound generation. These note-on and note-off include scale numbers indicating the pitch of the sound and velocities indicating the strength of the sound. The
リファレンスデータは、利用者によるカラオケ歌唱を採点する際に用いられるものであり、歌唱旋律における各音符の音高を時系列で表す音高情報である。このリファレンスデータもMIDI形式のデータとなっている。すなわち、デルタ時間で規定される時系列のMIDIイベント(メッセージ)によって構成されている。従って、リファレンスデータを構成するノートオン及びノートオフは、歌唱旋律における各音符の区切り情報に相当する。また、音階番号は、歌唱旋律における各音符の音高情報に相当する。制御部21は、このリファレンスデータを記憶部23から読み出して蓄積し、MIDIデータと同期させつつ、デルタ時間で規定されるタイミングで各イベントを参照する。
The reference data is used when scoring a karaoke song by the user, and is pitch information representing the pitch of each note in the song melody in time series. This reference data is also MIDI format data. That is, it is composed of time-series MIDI events (messages) defined by delta time. Therefore, note-on and note-off constituting the reference data correspond to the delimitation information of each note in the singing melody. Also, the scale number corresponds to the pitch information of each note in the singing melody. The
歌詞データは、カラオケ楽曲における歌詞テロップをモニタ13で表示させるための文字列データである。
The lyric data is character string data for displaying the lyric telop in the karaoke music on the
次に、音源部24及び音響処理部25について説明する。音源部24は、MIDIイベントに基づいて楽音信号を生成する部分である。この音源部24には、対象楽器が奏でた様々な音の波形データが読み出し可能に記憶されている。前述の制御部21は、シーケンサ処理として、楽曲データ記憶領域23aからMIDIデータを取得し、MIDIデータに含まれるMIDIイベントのそれぞれを所定のタイミングで音源部24に送信する。そして、音源部24は、受信したMIDIイベントに応じて波形データを加工し、デジタルの楽音信号を生成する。生成された楽音信号は、音響処理部25へ出力される。
Next, the
音響処理部25では、楽音信号の処理やマイク信号(歌唱音声)の処理が行われる。例えば、カラオケ楽曲の演奏制御において、音響処理部25は、音源部24から出力された楽音信号をアナログ変換し、カラオケ演奏音信号を生成する。また、歌唱マイク14からのマイク信号が入力されると、音響処理部25は、マイク信号に対してエコー等の調整を適宜施してカラオケ演奏音信号とミキシングする。ミキシング後の信号は、放音信号としてスピーカ12に出力される。これにより、スピーカ12からは、歌唱音声とカラオケ演奏音が混合された混合音が出力される。以上の説明から判るように、制御部21、記憶部23、音源部24、音響処理部25、及びスピーカ12の組は、カラオケ楽曲の演奏を行う演奏手段に相当する。
The
また、音響処理部25は、調整前のマイク信号をデジタル変換し、歌唱信号を生成する。この歌唱信号は、例えば10〜30msの期間を単位に繰り返しサンプリングされた、時系列のサンプル音高群を含んでいる。音響処理部25は、この歌唱信号(サンプル音高群)を制御部21に送信する。制御部21は、受信した歌唱信号に基づいて音符毎の音高を定め、記録手段としてのメモリ21b(歌唱音高記憶領域21e)に記録する。なお、音符毎の音高の決定については後で説明する。
Further, the
次に、表示処理部26、及び操作部27について説明する。表示処理部26は、カラオケ演奏時における背景映像の表示等の制御を行う。カラオケ演奏時において、モニタ13には歌詞テロップが表示される。制御部21のシーケンサ処理として、記憶部23(楽曲データ記憶領域23a)から表示処理部26へ歌詞データが出力されるとともに、このシーケンサ処理で出力される色換え命令に従って、歌詞テロップの表示色が変更される。その結果、モニタ13には、カラオケ楽曲の進行にあわせて歌詞テロップの表示色が変更される。
Next, the
操作部27は、パネルスイッチやリモコン受信回路などからなっており、パネルスイッチやリモコン装置15の操作に応じた操作信号を制御部21に対して出力する。制御部21は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置15は、操作を選択するための種々のスイッチ(図示せず)を備えている。
The
ここで、本実施形態の特徴である第1採点処理について説明する。なお、第1採点処理とともに、メモリ21bに設けられた各領域についても説明する。前述したように、この第1採点処理では、連続する2つの音符の音高差をリファレンスデータと歌唱音声との間で比較することにより、歌唱の巧拙を採点している。
Here, the first scoring process, which is a feature of the present embodiment, will be described. In addition to the first scoring process, each area provided in the
図3は、第1採点処理を説明するフローチャートである。第1採点処理では、主として制御部21、音源部24、及び音響処理部25が動作をする。このため、各部の動作について説明する。そして、制御部21は、この第1採点処理の実行時において、第1の採点手段として機能する。
FIG. 3 is a flowchart illustrating the first scoring process. In the first scoring process, the
音響処理部25は、歌唱マイク14から入力されるマイク信号(図3ではMICと表記)をデジタル変換して歌唱信号を生成し、制御部21へ出力する(S41)。図4に示すように、この歌唱信号は、所定のサンプリング期間を単位として繰り返しサンプリングされた時系列のサンプル音高群SPを含んでいる。なお、サンプル音高群SPを構成する短尺な線の1本1本は、1つのサンプル音高spを示している。
The
制御部21は、音響処理部25から送信された歌唱信号の取り込み処理を行う(S11)。取り込んだ歌唱信号は、例えばメモリ21bのワークエリアに記録される。また、制御部21は、読出手段として機能し、演奏対象となるカラオケ楽曲のMIDIデータ(演奏データ,図3ではMIDIと表記)及びリファレンスデータ(図3ではREFと表記)を記憶部23の楽曲データ記憶領域23aから取得し(S12)、MIDIデータに基づくシーケンサ処理を行う。また、制御部21は、MIDIデータに同期させてリファレンスデータを参照する。
The
すなわち制御部21は、取得したMIDIデータに基づいてMIDIイベントのそれぞれを所定のタイミングで(S13でY)、音源部24に送信する(S14)。音源部24は、MIDIイベントを取得するとともに、取得したノートオンのタイミングで楽音信号を生成し、音響処理部25へ送信する(S31)。また、音響処理部25は、音源部24から出力された楽音信号をアナログ変換することでカラオケ演奏音信号を生成し、マイク信号とミキシングして放音信号(図5では放音と表記)を出力する(S42)。これにより、スピーカ12からは、歌唱音声とカラオケ演奏音の混合音が出力される。
That is, the
また、制御部21は、参照しているリファレンスデータがノートオンであるか否かを判定しており(S15)、ノートオンであった場合には音階番号を取得する(S16)。そして、制御部21は、取得した音階番号に基づいて音高(セント値)を認識し、メモリ21bのリファレンス音高記憶領域21cに時系列で記憶する。
Further, the
また、制御部21は、参照しているリファレンスデータがノートオフであるか否かも判定しており(S17)、ノートオフであった場合には、1つの音符の期間が終了したとして、歌唱音声の音高を判定する(S18)。音高の判定は、前回のノートオフから今回のノートオフの期間内に入力された、歌唱信号の複数のサンプル音高spによってなされる。詳しくは、ノートオフ(区切り情報)のデルタ時間によって識別される1の音符の発音期間内に入力された、歌唱信号の複数のサンプル音高spによってなされる。
The
例えば、制御部21は、図5(a)に示すサンプル音高群SP1のように、1つの音符に対応する発音期間Tにおいて、所定期間T1に亘ってサンプル音高spの変動範囲が所定範囲S1未満である水平箇所Xが検出された場合には、この水平箇所Xの平均値AV1をこの音符の音高(セント値)とする。また、制御部21は、図5(b)に示すサンプル音高群SP2のように、前述の条件を満たす水平箇所が検出されなかった場合は、発音期間Tに検出されたすべてのサンプル音高spの平均値AV2を当該音符の音高(セント値)とする。なお、所定期間T1に関し、例えば音符で規定される期間の40%の長さとされるが、任意の比率に定めればよい。所定範囲S1も判定精度に応じて任意の音高差に定めることができる。こうして定められた音符単位の音高は制御部21に出力され、歌唱音声の音高として歌唱音高記憶領域21eに記憶される。
For example, as in the sample pitch group SP1 shown in FIG. 5A, the
歌唱音声について1つの音符に対応する音高を判定し、歌唱音高記憶領域21eに記憶させたならば、制御部21は、合否判定を行う(S19)。合否の判定は、リファレンスデータに含まれる連続する2つの音符の音高差と、これら2つの音符に対応する、歌唱音声に含まれる2つの音符の音高差の差分の比較によって行われる。このため、合否判定は、2番目以降の音符の音高判定後から行われる。
If the pitch corresponding to one note is determined for the singing voice and stored in the singing voice
例えば図6(a)及び(b)に示すように、2音符目の音高判定が終わった直後において制御部21は、リファレンスデータの2音符目の音高から1音符目の音高を減算し、リファレンスの音高差dC1−1を取得する。同様に、歌唱音声の2音符目の音高から1音符目の音高を減算し、歌唱音声の音高差dC2−1を取得する。そして、音高差dC1−1については、記憶部23のリファレンス音高差記憶領域21dに記憶される。同様に、音高差dC2−1については、記憶部23の歌唱音高差記憶領域21fに記憶される。次に、制御部21は、リファレンスの音高差dC1−1と歌唱音声の音高差dC2−1の差の絶対値(差分値)を算出し、算出した差分値を記憶部23の差分値記憶領域21gに記憶する。
For example, as shown in FIGS. 6A and 6B, the
また、3音符目の音高判定が終わった直後において制御部21は、リファレンスデータの3音符目の音高から2音符目の音高を減算し、リファレンスの音高差dC1−2を取得する。同様に、歌唱音声の3音符目の音高から2音符目の音高を減算し、歌唱音声の音高差dC2−2を取得する。これらの音高差dC1−2,dC2−2を所定の記憶領域21d、21fに記憶させた後、制御部21は、リファレンスの音高差dC1−2と歌唱音声の音高差dC2−2の差分値を算出して前述の記憶領域21gに記憶させる。なお、4音符目以降の処理については同様であるため、説明は省略する。
Further, immediately after the determination of the third note, the
差分値を記憶させたならば、制御部21は、差分値と判定値とを比較し、音高差について合否を判定する。すなわち、差分値が所定値以内であれば、正しい音程で歌唱されていると判断する。例えば、判定値を100セントに定めた場合、差分値が100セント以内であれば音高差について合格と判定し、差分値が100セントを越えていたら音高差について不合格と判定する。そして制御部21は、判定結果を記憶部23の判定結果記憶領域21hに記憶させる。なお、この例では、差分値と判定値に関して絶対値を使用したが、絶対値を用いずに±100セントのように、プラスからマイナスまでの範囲値にしてもよい。
Once the difference value is stored, the
ここで、図7の具体例を参照し、S19の合否判定についてより詳しく説明する。この具体例では、リファレンス音高(Ref音高)に関し、1音符目が4800セント(C4)、2音符目が5000セント(D4)、3音符目が5200セント(E4)、4音符目が5300セント(F4)、5音符目が5200セント(E4)、6音符目が5000セント(D4)、及び7音符目が4800セント(C4)である。また、歌唱音高(歌唱音声の音高)に関し、1音符目が5021セント、2音符目が5218セント、3音符目が5408セント、4音符目が5678セント、5音符目が5588セント、6音符目が5372セント、及び7音符目が5183セントである。 Here, with reference to the specific example of FIG. 7, the pass / fail determination of S19 will be described in more detail. In this example, the first note is 4800 cents (C4), the second note is 5000 cents (D4), the third note is 5200 cents (E4), and the fourth note is 5300 with respect to the reference pitch (Ref pitch). The fifth note is 5200 cents (E4), the sixth note is 5000 cents (D4), and the seventh note is 4800 cents (C4). The first note is 5021 cents, the second note is 5218 cents, the third note is 5408 cents, the fourth note is 5678 cents, the fifth note is 5588 cents, 6 The note number is 5372 cents, and the seventh note is 5183 cents.
この場合、1つ目のリファレンス音高差dC1−1は、5000セント(2音符目)−4800セント(1音符目)で算出され+200セントになる。2つ目のリファレンス音高差dC1−2は、5200セント(3音符目)−5000セント(2音符目)で算出され+200セントになる。以下同様に、音高差dC1−3は+100セント、音高差dC1−4は−100セント、音高差dC1−5は−200セント、及び音高差dC1−6は−200セントになる。 In this case, the first reference pitch difference dC1-1 is calculated to be +200 cents at 5000 cents (second note)-4800 cents (first note). The second reference pitch difference dC1-2 is calculated at 5200 cents (third note) -5000 cents (second note) to +200 cents. Likewise, the pitch difference dC1-3 is +100 cents, the pitch difference dC1-4 is -100 cents, the pitch difference dC1-5 is -200 cents, and the pitch difference dC1-6 is -200 cents.
一方、1つ目の歌唱音高差dC2−1は、5218セント(2音符目)−5021セント(1音符目)で算出され+197セントになる。2つ目の歌唱音高差dC2−2は、5408セント(3音符目)−5218セント(2音符目)で算出され+190セントになる。以下同様に、音高差dC2−3は+240セント、音高差dC2−4は−90セント、音高差dC2−5は−216セント、及び音高差dC2−4は−189セントになる。 On the other hand, the first song pitch difference dC2-1 is calculated at 5218 cents (second note)-5021 cents (first note) and is +197 cents. The second song pitch difference dC2-2 is calculated at 5408 cents (third note)-5218 cents (second note) and reaches +190 cents. Likewise, the pitch difference dC2-3 is +240 cents, the pitch difference dC2-4 is -90 cents, the pitch difference dC2-5 is -216 cents, and the pitch difference dC2-4 is -189 cents.
さらに、1つ目の差分値は、|200セント−197セント|で算出され3セントになり、2つ目の差分値は、|200セント−190セント|で算出され10セントになる。同様に、3つ目の差分値は140セント、4つ目の差分値は10セント、5つ目の差分値は16セント、6つ目の差分値は11セントになる。従って、この具体例では、第3音符から第4音符へ移行する際の音高差が不合格と判定され、他の音高差については合格と判定される。すなわち6つ中5つの音程差が合格になる。 Further, the first difference value is calculated at | 200 cents to 197 cents and becomes 3 cents, and the second difference value is calculated at | 200 cents-190 cents | and is 10 cents. Similarly, the third difference value is 140 cents, the fourth difference value is 10 cents, the fifth difference value is 16 cents, and the sixth difference value is 11 cents. Therefore, in this specific example, the pitch difference at the time of transition from the third note to the fourth note is determined to be a rejection, and the other pitch differences are determined to be a pass. That is, 5 out of 6 pitch differences pass.
なお、一般的な採点処理では、同じ音符に対する歌唱信号の音高情報とリファレンスデータの音高情報とが時系列で順次比較される。上記具体例にあてはめると、1音符目の音高差が、5021セント−4800セントで算出され+221セントになる。2音符目の音高差が、5218セント−5000セントで算出され+218セントになる。同様に、3音符目の音高差が+208セント、4音符目の音高差が+378セント、5音符目の音高差が+388セント、6音符目の音高差が+372セント、及び7音符目の音高差が+383セントになる。何れの音符の音高差も+200セントを超えていることから、第1採点処理よりも悪い結果となる。 In general scoring processing, the pitch information of the singing signal for the same note and the pitch information of the reference data are sequentially compared in time series. If applied to the above specific example, the pitch difference of the first note is calculated at 5021 cents-4800 cents and becomes +221 cents. The pitch difference of the second note is calculated at 5218 cents-5000 cents and becomes +218 cents. Similarly, the third note's pitch difference is +208 cents, the fourth note's pitch difference is +378 cents, the fifth note's pitch difference is +388 cents, the sixth note's pitch difference is +372 cents, and seven notes The pitch difference between the eyes is +383 cents. Since the pitch difference of any note exceeds +200 cents, the result is worse than the first scoring process.
図3に戻り、S19の合否判定が終了すると、制御部21は、以上の処理を楽曲が終了するまで繰り返し行い(S17でN,S20でN)、楽曲が終了したならば(S20でY)、モニタ13等を介してカラオケ楽曲の全体の採点結果を報知する(S21)。全体の採点結果は、判定結果記憶領域21hに記憶された音符毎の判定結果を参照し、その合否の比率により取得される。
Returning to FIG. 3, when the pass / fail determination in S19 is completed, the
以上説明した第1採点モードは、一人カラオケを利用する利用者や伴奏キーに合わせられない利用者が一人で歌唱する場合に適している。言い換えれば、1台のカラオケ装置1を複数人で利用する場合には選択されないことが好ましい。そこで、本実施形態では、1台のカラオケ装置1に対してログインした利用者が一人の場合に第1採点モードを選択し、ログインした利用者が複数人の場合に、通常の採点モードである第2採点モードを選択するように構成している。図8は、このカラオケ装置1における、利用者のログインからログアウトまでの処理を説明するフローチャートである。 The first scoring mode described above is suitable for the case where one user who sings karaoke alone or a user who can not match the accompaniment keys sing alone. In other words, it is preferable not to select when one karaoke apparatus 1 is used by a plurality of people. Therefore, in the present embodiment, the first scoring mode is selected when there is only one user who has logged in to one karaoke apparatus 1, and the normal scoring mode is used when there are a plurality of logged in users. The second scoring mode is selected. FIG. 8 is a flow chart for explaining the processing from login of the user to logout in the karaoke apparatus 1.
同図に示すように、このカラオケ装置1では、まず利用者のログイン処理(S51)が行われる。このログイン処理において利用者は、リモコン装置15を操作する。この操作により、リモコン装置15からは、利用者を識別するための利用者IDやパスワードが送信される。これらの利用者IDやパスワードはホスト装置に送信され、利用者の認証処理が行われる。なお、利用者が複数いる場合、S41のログイン処理は繰り返し行われる(S52でN)。そして、利用者全員のログインが完了したならば(S52でY)、制御部21は、利用者が単数か否かを判定する(S53)。
As shown in the figure, in the karaoke apparatus 1, a login process (S51) of the user is performed first. In this login process, the user operates the
利用者が単数である場合、制御部21は、採点モードとして第1採点モードを設定する(S54)。前述したように、この第1採点モードは、リファレンスデータに含まれる連続する2つの音符の音高差と、当該2つの音符に対応する、記録した歌唱音声に含まれる2つの音符の音高差の差分の比較によって採点するモードである。一方、利用者が複数である場合、制御部21は、採点モードとして第2採点モードを設定する(S55)。この第2採点モードは、リファレンスデータに含まれる歌唱旋律の音符毎に、リファレンスデータの音高と歌唱音声の音高を比較し、その音高差によって採点するモードである。
When the user is single, the
このようにして採点モードを設定したならば、制御部21は、カラオケ演奏が行われる毎に採点処理を行う(S56)。すなわち、制御部21は、第1採点モードが設定された場合に、第1の採点手段として機能し、リファレンスデータにおける音高差と歌唱音声における音高差の差分に基づいて採点を行う。一方、制御部21は、第2採点モードが設定された場合に、第2の採点手段として機能し、リファレンスデータと歌唱音声の音符毎の音高差によって採点を行う。なお、この採点処理は、利用者がカラオケルームを退室する際に行うログアウトまで継続して行われる(S57)。
When the scoring mode is set as described above, the
以上説明したように、本実施形態のカラオケ装置1によれば、制御部21は、第1採点モードが設定された場合に、リファレンスデータに含まれる連続する2つの音符の音高差と、これら2つの音符に対応する歌唱音声に含まれる2つの音符の音高差の差分の比較によって採点を行うので、各音符の音程の正確さを評価することができる。これにより、一人カラオケを利用する利用者や伴奏キーに合わせられない利用者に適した採点を行うことができる。また、所定区間の中で絶対ピッチの変化が生じた場合であっても、ピッチ変化前後の音程が正確であれば比較的高い評価が得られる。
As described above, according to the karaoke apparatus 1 of the present embodiment, when the first scoring mode is set, the
また制御部21は、ログインした利用者が一人の場合に第1採点モードによる採点処理を行い、ログインした利用者が複数人の場合に第2採点モードによる採点処理を行っている。これにより、ログインした利用者の人数に応じた適切な採点処理を自動的に選択できる。すなわち、一人カラオケを利用する利用者については、各音符の音程の正確さを評価することができ、複数人でカラオケを利用する利用者については、聴取者の聴感に基づく歌のうまさを評価することができる。
The
また制御部21は、記憶部23の歌唱音高記憶領域21eに記憶させる音符毎の音高に関し、ノートオンやノートオフ(区切り情報)によって識別される1の音符の期間内に入力された歌唱音声の複数のサンプル音高spのうち、所定期間T1における音高変動が所定範囲S1未満の水平箇所Xが検出された場合は、水平箇所Xの平均値をこの音符の音高とし、水平箇所Xが検出されなかった場合は、発音期間T中に検出されたすべてのサンプル音高spの平均値を当該音符の音高としている。これにより、各音符において歌唱音声の音高が定まらなくても、妥当な音高を設定できる。
In addition, the
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。 The above description of the embodiments is for the purpose of facilitating the understanding of the present invention, and does not limit the present invention. The present invention can be modified and improved without departing from the gist thereof, and the present invention includes the equivalents thereof. For example, it may be configured as follows.
リファレンスデータに関し、前述の実施形態ではMIDI形式のデータを例示したが、MIDI形式のデータでなくてもよい。すなわち、カラオケ楽曲の演奏に同期して出力され、歌唱旋律における各音符の音高情報と区切り情報を含むデータであれば、リファレンスデータとして使用することができる。 Regarding the reference data, although the MIDI format data is exemplified in the above embodiment, the data may not be MIDI format data. That is, any data that is output in synchronization with the performance of the karaoke music and includes the pitch information and the delimitation information of each note in the song melody can be used as reference data.
歌唱音声の音高の記録を記録する記録手段に関し、前述の実施形態では、記憶部23の歌唱音高記憶領域21eを用い、当該領域に歌唱音高のデータを記憶させていたが、この構成に限定されるものではない。歌唱音声の音高を読み出しであればどのような形態で記録されていてもよい。
Regarding the recording means for recording the recording of the pitch of the singing voice, the above-mentioned embodiment uses the singing voice
カラオケ採点装置に関し、前述の実施形態では、カラオケ装置1に組み込まれたものを例示したが、この態様に限定されるものではない。パーソナルコンピュータや家庭用ゲーム機に組み込んでもよいし、採点専用装置としてもよい。 Although the thing integrated in the karaoke apparatus 1 was illustrated in the above-mentioned embodiment regarding the karaoke scoring apparatus, it is not limited to this aspect. It may be incorporated in a personal computer or a home game machine, or may be a dedicated scoring device.
1…カラオケ装置,2…伝送路,11…カラオケ本体,12…スピーカ,13…モニタ,14…歌唱マイク,15…リモコン装置,21…制御部,21a…CPU,21b…メモリ,21c…リファレンス音高記憶領域,21d…リファレンス音高差記憶領域,21e…歌唱音高記憶領域,21f…歌唱音高差記憶領域,21g…差分値記憶領域,21h…判定結果記憶領域,22…通信部,23…記憶部,23a…楽曲データ記憶領域,23b…採点用プログラム記憶領域,24…音源部,25…音響処理部,26…表示処理部,27…操作部,RT…ルーター装置,BS…バス,SP…サンプル音高群,SP1…サンプル音高群,SP2…サンプル音高群,sp…サンプル音高,X…水平箇所 DESCRIPTION OF SYMBOLS 1 ... Karaoke apparatus, 2 ... Transmission path, 11 ... Karaoke main body, 12 ... Speaker, 13 ... Monitor, 14 ... Singing microphone, 15 ... Remote control apparatus, 21 ... Control part, 21a ... CPU, 21b ... Memory, 21c ... Reference sound High storage area, 21 d: Reference pitch difference storage area, 21 e: Singing voice pitch storage area, 21 f: Singing voice pitch difference storage area, 21 g ... Difference value storage area, 21 h ... Judgment result storage area, 22: Communication unit, 23 ... Memory unit, 23a ... Music data storage area, 23b ... Scoring program storage area, 24 ... Sound source unit, 25 ... Sound processing unit, 26 ... Display processing unit, 27 ... Operation unit, RT ... Router device, BS ... Bus, SP: sample pitch group, SP 1: sample pitch group, SP 2: sample pitch group, sp: sample pitch, X: horizontal location
Claims (2)
歌唱音声を入力する歌唱音声入力手段と、
前記区切り情報によって識別される音符毎に、前記歌唱音声の音高を記録する記録手段と、
前記リファレンスデータに含まれる連続する2つの音符の音高差と、当該2つの音符に対応する、前記記録した歌唱音声に含まれる2つの音符の音高差の差分の比較によって採点する第1の採点手段と、
を備え、
前記記録手段に記録される音高は、前記区切り情報によって識別される1の音符の期間内に入力された歌唱音声の複数のサンプル音高のうち、所定期間における音高変動が所定範囲未満の水平箇所が検出された場合は、前記水平箇所の平均値をこの音符の音高とし、前記水平箇所が検出されなかった場合は、発音期間中に検出されたすべてのサンプル音高の平均値を当該音符の音高とすることを特徴とするカラオケ採点装置。 With the performance of karaoke music, a play means for obtaining a reference data including one pitch information and delimiter information for each musical note in the song melody in synchronism with the playing
Singing voice input means for inputting singing voice;
Recording means for recording the pitch of the singing voice for each note identified by the delimiter information;
A first scoring is performed by comparing the difference in pitch between two consecutive notes included in the reference data and the difference in pitch between the two notes included in the recorded singing voice corresponding to the two notes. Scoring means,
Bei to give a,
Among the plurality of sample pitches of the singing voice input within the period of one note identified by the division information, the pitch recorded in the recording means is less than a predetermined range of pitch fluctuation in a predetermined period. If a horizontal point is detected, the average value of the horizontal point is taken as the pitch of this note, and if the horizontal point is not detected, the average value of all sample pitches detected during the pronunciation period is used. A karaoke scoring device characterized by having the pitch of the note concerned .
前記区切り情報によって識別される音符毎に、前記リファレンスデータと前記歌唱音声を比較し、その音高差によって採点する第2の採点手段と、
を備え、
前記ログイン手段によりログインした利用者が一人の場合には第1の採点手段で採点し、それ以外の場合には第2の採点手段で採点することを特徴とする請求項1記載のカラオケ採点装置。 Login means for logging the user in to the karaoke scoring device to be used;
Second scoring means for comparing the reference data and the singing voice for each note identified by the delimiter information and scoring according to the pitch difference;
Equipped with
Wherein when the user who has logged one person by log unit scored in the first scoring means, karaoke scoring of claim 1 Symbol mounting, characterized in that scored in the second scoring means otherwise apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014204826A JP6514874B2 (en) | 2014-10-03 | 2014-10-03 | Karaoke scoring device that compares the pitch difference of the reference with the pitch difference of the singing voice and performs scoring |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014204826A JP6514874B2 (en) | 2014-10-03 | 2014-10-03 | Karaoke scoring device that compares the pitch difference of the reference with the pitch difference of the singing voice and performs scoring |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016075753A JP2016075753A (en) | 2016-05-12 |
JP6514874B2 true JP6514874B2 (en) | 2019-05-15 |
Family
ID=55951355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014204826A Active JP6514874B2 (en) | 2014-10-03 | 2014-10-03 | Karaoke scoring device that compares the pitch difference of the reference with the pitch difference of the singing voice and performs scoring |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6514874B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6634937B2 (en) | 2016-04-05 | 2020-01-22 | 株式会社ジェイテクト | Roller bearing race, method of manufacturing roller bearing race, and roller bearing |
CN106157979B (en) * | 2016-06-24 | 2019-10-08 | 广州酷狗计算机科技有限公司 | A kind of method and apparatus obtaining voice pitch data |
JP6819108B2 (en) | 2016-07-14 | 2021-01-27 | 株式会社ジェイテクト | Heat treatment method and heat treatment equipment |
CN110060702B (en) * | 2019-04-29 | 2020-09-25 | 北京小唱科技有限公司 | Data processing method and device for singing pitch accuracy detection |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3074693B2 (en) * | 1990-02-21 | 2000-08-07 | ヤマハ株式会社 | Music evaluation device |
JP4110951B2 (en) * | 2002-11-29 | 2008-07-02 | ブラザー工業株式会社 | Karaoke equipment |
JP4480650B2 (en) * | 2005-09-08 | 2010-06-16 | ローランド株式会社 | Pitch control device and pitch control program |
JP2008040258A (en) * | 2006-08-08 | 2008-02-21 | Yamaha Corp | Musical piece practice assisting device, dynamic time warping module, and program |
JP2007334364A (en) * | 2007-08-06 | 2007-12-27 | Yamaha Corp | Karaoke machine |
JP6024130B2 (en) * | 2012-03-13 | 2016-11-09 | ヤマハ株式会社 | Voice evaluation device |
-
2014
- 2014-10-03 JP JP2014204826A patent/JP6514874B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016075753A (en) | 2016-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6514874B2 (en) | Karaoke scoring device that compares the pitch difference of the reference with the pitch difference of the singing voice and performs scoring | |
JP2009244789A (en) | Karaoke system with guide vocal creation function | |
JP2007316261A (en) | Karaoke machine | |
US10332496B2 (en) | Reference display device, reference display method, and program | |
JP2014191192A (en) | Reference data creation device, reference data creation system, and performance terminal device | |
JP5704368B2 (en) | Musical performance device and musical performance processing program | |
JP4171680B2 (en) | Information setting device, information setting method, and information setting program for music playback device | |
JP2012037565A (en) | Singing evaluation apparatus and singing evaluation program | |
JP6141737B2 (en) | Karaoke device for singing in consideration of stretch tuning | |
JP2008165079A (en) | Singer attribute group-by-group song competition system | |
JP6219750B2 (en) | Singing battle karaoke system | |
JP6349223B2 (en) | Karaoke scoring device that performs the same scoring regardless of the length of singing time | |
JP5708730B2 (en) | Musical performance device and musical performance processing program | |
JP6144593B2 (en) | Singing scoring system | |
JP5397637B2 (en) | Karaoke equipment | |
JP6340303B2 (en) | Karaoke scoring system for scoring humming songs | |
JP6236807B2 (en) | Singing voice evaluation device and singing voice evaluation system | |
JP5983670B2 (en) | Program, information processing apparatus, and data generation method | |
JP5660408B1 (en) | Posted music performance system and posted music performance method | |
JP5342841B2 (en) | Karaoke device that measures and displays the overtone characteristics of singing voices at the singing part of long notes | |
JP5847049B2 (en) | Instrument sound output device | |
JP7117229B2 (en) | karaoke equipment | |
JP2009244790A (en) | Karaoke system with singing teaching function | |
KR101321446B1 (en) | Lyrics displaying method using voice recognition | |
JP6177091B2 (en) | Singing scoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6514874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |