JP6870024B2 - Karaoke equipment and karaoke programs - Google Patents
Karaoke equipment and karaoke programs Download PDFInfo
- Publication number
- JP6870024B2 JP6870024B2 JP2019084692A JP2019084692A JP6870024B2 JP 6870024 B2 JP6870024 B2 JP 6870024B2 JP 2019084692 A JP2019084692 A JP 2019084692A JP 2019084692 A JP2019084692 A JP 2019084692A JP 6870024 B2 JP6870024 B2 JP 6870024B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- karaoke
- lyrics
- display
- layout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、再生される伴奏音に併せて歌唱を楽しむカラオケ装置、並びに、カラオケ用プログラムに関する。 The present invention relates to a karaoke device for enjoying singing along with a reproduced accompaniment sound, and a karaoke program.
従来、宴会や飲み会等、各種の人が集う場等では、伴奏音に合わせて歌唱を楽しむカラオケが行われている。カラオケを行うためのカラオケ装置では、伴奏音に同期して歌詞を表示装置に表示させる基本機能を有することが通常である。ユーザは、表示される歌詞を参照しつつ、歌唱を行うことで、歌詞を記憶していなくても適切な歌詞で歌唱を行うことが可能である。 Traditionally, karaoke is performed in places where various people gather, such as banquets and drinking parties, where people can enjoy singing along with the accompaniment sounds. A karaoke device for performing karaoke usually has a basic function of displaying lyrics on a display device in synchronization with an accompaniment sound. By singing while referring to the displayed lyrics, the user can sing with appropriate lyrics even if the lyrics are not memorized.
特許文献1には、伴奏音に合わせて歌唱を楽しむカラオケシステムにおいて、歌詞の表示と共に、歌唱する旋律をバーの高低で示したピアノロール表示を行うことが開示されている。ユーザは、伴奏音の進行に同期して表示される歌詞を見ながら歌唱を行うとともに、自己の歌唱と模範旋律の一致、不一致を確認することが可能となっている。
現在のカラオケ装置は、通信を介してカラオケ情報を配信する形態が一般的である。通信型のカラオケ装置が普及してから年月が経過しているが、普及当初に作成されたカラオケ情報が、今も使用されている場合もある。通信型のカラオケ装置の普及当初は、使用される表示装置(モニタ)も、現在の大画面の表示装置ほどは大きくなく、カラオケ情報に含まれる歌詞情報、あるいは、カラオケの進行と共に表示されるピアノロール等の各種情報は、表示装置の大きさに見合ったレイアウトで表示していた。 Current karaoke devices generally distribute karaoke information via communication. It has been many years since the communication type karaoke equipment became widespread, but the karaoke information created at the beginning of the spread may still be used. At the beginning of the spread of communication-type karaoke devices, the display devices (monitors) used were not as large as the current large-screen display devices, and the lyrics information included in the karaoke information or the piano displayed as the karaoke progressed. Various information such as rolls was displayed in a layout suitable for the size of the display device.
現在、カラオケボックス等で使用される表示装置は、大型液晶表示装置等、50インチ以上の大画面の表示装置が使用されることが一般的となっている。このような大画面の表示装置を使用することで、迫力のある背景映像を提供することが可能となっている。一方、前述したように、ピアノロール等の各種情報は、従来の表示装置を対象にして作成されているため、大画面に表示した場合には、違和感を生じることが考えられる。また、大画面では、ピアノロール等の各種表示は、大画面化に伴って相対的に拡大されるため、従来の画面よりも背景映像の視認性が悪く感じられることがあり、背景映像による演出効果が低下することがある。 Currently, as a display device used in a karaoke box or the like, a display device having a large screen of 50 inches or more, such as a large liquid crystal display device, is generally used. By using such a large screen display device, it is possible to provide a powerful background image. On the other hand, as described above, since various information such as the piano roll is created for a conventional display device, it may cause a sense of discomfort when displayed on a large screen. In addition, on a large screen, various displays such as the piano roll are relatively enlarged as the screen becomes larger, so that the visibility of the background image may be felt worse than that of the conventional screen. The effect may be reduced.
そのため、本発明に係るカラオケ装置は、以下の構成を採用するものである。
カラオケ情報に基づいて再生を行うカラオケ装置であって、
カラオケ情報は、伴奏情報と歌詞情報を含んで構成され、
演奏処理と、表示処理と、レイアウト変更処理と、を実行可能とし、
演奏処理は、指定されたカラオケ情報の伴奏情報を再生し、
表示処理は、指定されたカラオケ情報に対応する背景映像に、当該カラオケ情報に含まれる歌詞情報に基づく歌詞と、補助情報に基づく補助映像を重畳して表示部に表示出力し、
補助情報は、歌唱評価に関する情報、楽器演奏に関する情報の少なくとも何れか1つを含み、
レイアウト変更処理は、表示処理において、少なくとも補助映像の表示位置を変更する。
Therefore, the karaoke device according to the present invention adopts the following configuration.
It is a karaoke device that plays back based on karaoke information.
Karaoke information is composed of accompaniment information and lyrics information.
Performance processing, display processing, and layout change processing can be executed.
The performance process plays the accompaniment information of the specified karaoke information,
In the display process, the lyrics based on the lyrics information included in the karaoke information and the auxiliary video based on the auxiliary information are superimposed on the background image corresponding to the specified karaoke information and displayed and output to the display unit.
Auxiliary information includes at least one of information on singing evaluation and information on musical instrument performance.
The layout change process changes at least the display position of the auxiliary image in the display process.
さらに本発明に係るカラオケ装置において、
レイアウト変更処理は、補助映像の表示位置の変更に伴って、補助情報に基づく補助映像の大きさを変更する。
Further, in the karaoke device according to the present invention,
The layout change process changes the size of the auxiliary image based on the auxiliary information as the display position of the auxiliary image is changed.
さらに本発明に係るカラオケ装置において、
レイアウト変更処理は、歌詞の表示位置の変更に伴って、補助映像の表示位置を変更する。
Further, in the karaoke device according to the present invention,
The layout change process changes the display position of the auxiliary image according to the change of the display position of the lyrics.
さらに本発明に係るカラオケ装置において、
補助映像は、歌唱評価に関する映像であって、カラオケ情報に含まれる模範歌唱の音高と歌唱者による歌唱の音高とを表示するピアノロールである。
Further, in the karaoke device according to the present invention,
The auxiliary video is a video related to singing evaluation, and is a piano roll that displays the pitch of the model singing included in the karaoke information and the pitch of the singing by the singer.
さらに本発明に係るカラオケ装置において、
レイアウト変更処理は、歌詞情報に基づく歌詞の大きさの変更に伴って、補助映像の表示位置を変更する。
Further, in the karaoke device according to the present invention,
The layout change process changes the display position of the auxiliary image according to the change in the size of the lyrics based on the lyrics information.
さらに本発明に係るカラオケ装置において、
レイアウト変更処理は、接続されている表示部に応じて、補助映像の表示位置を変更する。
Further, in the karaoke device according to the present invention,
The layout change process changes the display position of the auxiliary image according to the connected display unit.
さらに本発明に係るカラオケ装置において、
レイアウト変更処理は、歌詞情報に規定される表示位置に歌詞を表示する第1レイアウト、歌詞情報で規定された表示位置を変更して歌詞を表示する第2レイアウトに変更する。
Further, in the karaoke device according to the present invention,
The layout change process changes to the first layout for displaying the lyrics at the display position specified in the lyrics information and the second layout for displaying the lyrics by changing the display position specified in the lyrics information.
さらに本発明に係るカラオケ装置において、
レイアウト変更処理は、指定されたカラオケ情報が変換禁止楽曲である場合、第2レイアウトへの変更を実行しない。
Further, in the karaoke device according to the present invention,
The layout change process does not execute the change to the second layout when the designated karaoke information is the conversion prohibited music.
また本発明に係るカラオケ用プログラムは、
カラオケ情報に基づいて再生を行う情報処理装置で実行されるカラオケ用プログラムであって、
カラオケ情報は、伴奏情報と歌詞情報を含んで構成され、
演奏処理と、表示処理と、レイアウト変更処理と、を実行可能とし、
演奏処理は、指定されたカラオケ情報の伴奏情報を再生し、
表示処理は、指定されたカラオケ情報に対応する背景映像に、当該カラオケ情報に含まれる歌詞情報に基づく歌詞と、補助情報に基づく補助映像を重畳して表示部に表示出力し、
補助情報は、歌唱評価に関する情報、楽器演奏に関する情報の少なくとも何れか1つを含み、
レイアウト変更処理は、表示処理において、少なくとも補助映像の表示位置を変更可能とする。
The karaoke program according to the present invention is
A karaoke program executed by an information processing device that plays back based on karaoke information.
Karaoke information is composed of accompaniment information and lyrics information.
Performance processing, display processing, and layout change processing can be executed.
The performance process plays the accompaniment information of the specified karaoke information,
In the display process, the lyrics based on the lyrics information included in the karaoke information and the auxiliary video based on the auxiliary information are superimposed on the background image corresponding to the specified karaoke information and displayed and output to the display unit.
Auxiliary information includes at least one of information on singing evaluation and information on musical instrument performance.
The layout change process makes it possible to change at least the display position of the auxiliary image in the display process.
本発明に係るカラオケ装置、カラオケ用プログラムによれば、従来の表示装置を対象に作成されたカラオケ情報であっても、大画面の表示装置等に適切な形態でピアノロール等の各種情報を表示することが可能となる。 According to the karaoke device and the karaoke program according to the present invention, even if the karaoke information is created for a conventional display device, various information such as a piano roll is displayed on a large screen display device or the like in an appropriate form. It becomes possible to do.
図1は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステム3は、カラオケ装置2(「コマンダ」とも呼ばれる)と、リモコン装置1を含んで構成されている。カラオケ装置2とリモコン装置1は、LAN100及びアクセスポイント110を利用してネットワークを形成するように接続されている。
FIG. 1 is a diagram showing a configuration of a karaoke system according to an embodiment of the present invention. The
カラオケボックスなどの店舗に設置されるカラオケ装置2は、楽曲を演奏するための演奏手段として音響制御部25を備えている。また、カラオケ装置2は、ユーザからの各種入力を受け付けるスイッチなどで構成されるカラオケ装置2側の入力手段としての操作部21を備える。カラオケ装置2は、操作部21からの入力を解釈して制御部30に伝達する操作処理部22を備える。また、カラオケ装置2は、各種情報を記憶するカラオケ装置2側の記憶手段としてのHDD32(ハードディスク)を備える。カラオケ装置2は、LAN100に接続してネットワークに加入するためのカラオケ装置側通信手段としてのLAN通信部24を備えている。
The
また、カラオケ装置2は、表示部としてのモニタ41に対して歌詞、背景映像等の映像を表示させる映像再生手段を備える。この映像再生手段は、背景映像情報に基づいて背景映像を再生する映像再生部29、再生する背景映像を一時的に蓄積するビデオRAM28、再生された背景映像に歌詞を重畳表示する映像制御部31を備えている。なお、映像制御部31では、背景映像に対して映像効果を付与する機能を有してもよい。
Further, the
さらに、このカラオケ装置2では、外部に接続されたモニタ41以外に、タッチパネルモニタ33に対しても各種情報を表示することを可能としている。タッチパネルモニタ33は映像制御部31から入力された映像情報を表示する表示部33aと、タッチ入力された位置を操作処理部22に出力するタッチパネル33bが重畳されて構成されている。また、カラオケ装置2に対する各種操作は、カラオケ装置2のフロントパネル等に設けられた操作部21を介して行うことも可能となっている。
Further, in this
本実施形態のタッチパネルモニタ33は、リモコン装置1の操作手段であるタッチパネルモニタ11と同様の操作手段として機能することも可能としている。ユーザはタッチパネルモニタ33から楽曲を選択して、直接カラオケ装置2に予約をさせるなど、リモコン装置1と同等の操作手段として機能することが可能である。
The touch panel monitor 33 of the present embodiment can also function as an operating means similar to the touch panel monitor 11 which is an operating means of the
さらに、カラオケ装置2は、各構成を統括して制御するための制御手段として、CPU等で構成された制御部30、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ27を備えている。
Further, the
このような構成にてカラオケ装置2は、各種処理を実行することとなるが、カラオケ装置2の主な機能として、楽曲指定処理、楽曲再生処理などを実行可能としている。楽曲指定処理は、ユーザからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置1と連携して実行される。リモコン装置1から送信された楽曲を識別する楽曲IDを含む予約情報をメモリ27に記憶する予約テーブルに登録する。楽曲再生処理は、予約テーブルに登録された予約情報に基づき楽曲を再生させる処理であって、演奏処理と歌詞再生処理とが同期して実行される処理である。
With such a configuration, the
演奏処理は、カラオケ情報に含まれる伴奏情報を音響制御部25にて演奏させる処理である。音響制御部25にて演奏された楽曲は、歌唱用マイク44a、44bから入力される歌唱音声と一緒にスピーカ42から放音される。歌詞再生処理は、カラオケ情報に含まれる歌詞情報に基づいて、歌詞をモニタ41に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。
The performance process is a process in which the accompaniment information included in the karaoke information is played by the
一方、リモコン装置1は、予約情報などカラオケ装置2に対して各種指示を送信するとともに、カラオケ装置2あるいはインターネット上に接続されたサーバ装置5から各種情報を受信する。本実施形態では、ユーザインターフェイスとしてボタンなどの操作部17と、タッチパネルモニタ11を備えている。タッチパネルモニタ11は、表示部11aとタッチパネル11bを有して構成され、表示部11aに各種インターフェイスを表示するとともに、ユーザからのタッチ入力を受付可能としている。
On the other hand, the
さらにリモコン装置1は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶するメモリ14、そして、これら構成を統括して制御するためのリモコン側制御手段を備えて構成される。リモコン側制御手段には、CPU等で構成される制御部15、表示部11aに対して表示する映像を形成する映像制御部13、表示する映像情報を一時的に蓄えるビデオRAM12、操作部17からの入力を解釈して制御部15に伝達する操作処理部18が含まれている。
Further, the
リモコン装置1は、無線LAN通信部16によって、アクセスポイント110と無線接続されることで、LAN100によって構成されるネットワークに接続される。なお、各リモコン装置1は、特定のカラオケ装置2に対して事前に対応付けされている。リモコン装置1から出力される各種指令は、対応付けされたカラオケ装置2にて受信されることとなる。なお、カラオケ装置2の操作は、ユーザ(顧客)が所持するスマートフォン等の携帯端末を使用して行うことも可能である。その場合、ユーザが来店した際、ユーザが所持する携帯端末とカラオケ装置2とが対応付けられる。
The
図2(A)は、カラオケ装置2で再生されるカラオケ情報のデータ構成を示す図である。カラオケ情報は、選曲等を行うために付与されたメタ情報と、伴奏、歌詞表示を行うための実情報を含んで構成されている。メタ情報には、楽曲を管理するための楽曲ID、楽曲名、歌手名、作詞者名、作曲者名、区間識別情報等を含んで構成されている。
FIG. 2A is a diagram showing a data structure of karaoke information reproduced by the
実情報は、伴奏情報、歌詞情報、背景映像情報を含んで構成されている。楽曲を再生する際、伴奏情報を音響制御部25に演奏させることで、歌唱伴奏としての伴奏音をスピーカ42から音響出力することが可能である。また、楽曲を再生する際、歌詞情報を映像再生部29で再生し、モニタ41に映像出力することで、ユーザの歌唱補助を行うことが可能である。その際、カラオケ情報に含まれる背景映像情報を、背景映像として再生することで、楽曲の雰囲気に合った映像を表示することが可能である。なお、背景映像情報は、カラオケ情報に含めるものではなく、例えば、楽曲のジャンル毎に用意しておき、カラオケ情報のジャンルに応じて使用することとしてもよい。
The actual information is composed of accompaniment information, lyrics information, and background video information. By causing the
図2(B)は、カラオケ情報に含まれる歌詞情報のデータ構成を示す図である。本実施形態の歌詞情報は、複数の行情報によって構成されている。行情報は、画面に表示させる歌詞1行に関する情報であって、付随情報と文字情報によって構成されている。図2(B)には、行情報4について、その詳細が示されている。文字情報は、歌詞として表示させる文字を規定する情報であって、文字コード(JISコード等)で規定された情報である。付随情報は、演奏進行における文字情報に関する情報であって、本実施形態では、文字情報がモニタ41に表示される位置を規定した表示位置(表示行)、文字情報の表示が開始されるタイミングを規定した表示開始タイミング、文字情報の表示が消去されるタイミングを規定した表示終了タイミング、文字情報の色変えのタイミングを規定した色変え開始タイミング、文字情報の色変えの速度を規定した色変え速度を含んで構成されている。
FIG. 2B is a diagram showing a data structure of lyrics information included in karaoke information. The lyrics information of this embodiment is composed of a plurality of line information. The line information is information about one line of lyrics to be displayed on the screen, and is composed of accompanying information and character information. FIG. 2B shows the details of the
図2(B)に示されている行情報4の例では、文字情報4で規定される歌詞「うううううううう」を、付随情報に含まれる文字情報が表示される表示行を規定する表示位置(X1,Y1(Y1は1行目に相当))に、表示開始タイミングt1のタイミングでモニタ41の画面に表示させる。その後、色変え開始タイミングDtのタイミングにおいて、色変え速度v1で色変えを開始する。そして、表示終了タイミングt2が到来することで、歌詞「うううううううう」の表示を終了(消去)する。
In the example of the
図3には、カラオケ装置2で実行される楽曲再生処理を示すフロー図が示されている。カラオケ装置2は、予約テーブルを参照(S101)し、次に再生すべき予約情報の有無を判定する(S102)。予約情報がある場合(S102:Yes)、次に再生すべき予約情報の楽曲が変換対象楽曲であるか否かが判定される(S103)。変換対象楽曲の判定は、例えば、再生対象となる予約情報に含まれる楽曲IDを、変換禁止楽曲の楽曲IDを規定したテーブルと参照することで行われる。再生対象となる楽曲IDがテーブルに掲載されている場合、変換対象楽曲で無いと判定(S103:No)され、再生対象となる楽曲IDがテーブルに掲載されていない場合、変換対象楽曲と判定(S103:Yes)される。
FIG. 3 shows a flow chart showing a music reproduction process executed by the
ここで、変換禁止楽曲を規定するテーブルに掲載される楽曲としては、例えば、以下に示す楽曲が挙げられる。
・背景映像情報に歌詞が含まれている楽曲
・歌詞の2行表示が禁止されている楽曲
・歌詞の表示サイズの変更が禁止されている楽曲
・歌詞が5行以上同時に表示されている楽曲
・同時色変わりイベントが使用されている楽曲
本実施形態では、このような楽曲を変換対象楽曲として扱わず、後の歌詞情報変換処理(S104)は実行しないこととしている。なお、変換対象楽曲で無い、つまり変換禁止楽曲である場合、後で説明する第2レイアウトの切り替えは行われず、変換前の歌詞情報の付随情報の表示位置を使用する第1レイアウトでのみ表示されることになる。
Here, examples of the music posted on the table that defines the conversion prohibited music include the following music.
-Songs that contain lyrics in the background video information-Songs that are prohibited from displaying two lines of lyrics-Songs that are prohibited from changing the display size of lyrics-Songs that display lyrics in five or more lines at the same time- Music in which the simultaneous color change event is used In the present embodiment, such a music is not treated as a music to be converted, and the subsequent lyrics information conversion process (S104) is not executed. If the song is not a conversion target song, that is, it is a conversion prohibited song, the second layout, which will be described later, is not switched and is displayed only in the first layout that uses the display position of the accompanying information of the lyrics information before conversion. Will be.
一方、変換対象楽曲については、その歌詞情報に対して歌詞情報変換処理(S104)が実行される。本実施形態の歌詞情報変換処理(S104)は、4乃至3行で規定された元の歌詞情報を2行に、または、2行で規定された元の歌詞情報を1行に変換する処理である。その際、歌詞の文字サイズを小さくすることで、大画面のモニタ41においても、背景映像が歌詞で阻害されず、その視認性の向上を図ることが可能となっている。
On the other hand, for the music to be converted, the lyrics information conversion process (S104) is executed for the lyrics information. The lyrics information conversion process (S104) of the present embodiment is a process of converting the original lyrics information specified in 4 to 3 lines into two lines or the original lyrics information specified in two lines into one line. is there. At that time, by reducing the character size of the lyrics, the background image is not obstructed by the lyrics even on the
次に、この歌詞情報変換処理(S104)について説明する。図4(A)は、変換前の歌詞情報について、歌詞情報の表示経過を示す例であり、図4(B)は、変換後の歌詞情報について、新たな行情報に基づく歌詞情報の表示経過を示す例である。図4(A)は、変換前の歌詞情報に基づいて表示される歌詞の表示経過である。本実施形態では、付随情報に含まれる表示位置(表示行)において、Y座標として1行〜4行の何れかの行を割り当てることが可能となっている。行情報に含まれる文字情報1〜7は、各文字情報に関連付けられた各付随情報の表示位置に基づく座標に、表示開始タイミング、表示終了タイミングにしたがって表示される。
Next, this lyrics information conversion process (S104) will be described. FIG. 4 (A) is an example showing the display progress of the lyrics information for the lyrics information before conversion, and FIG. 4 (B) shows the display progress of the lyrics information based on the new line information for the lyrics information after conversion. This is an example showing. FIG. 4A shows a display process of lyrics displayed based on the lyrics information before conversion. In the present embodiment, at the display position (display line) included in the accompanying information, any line of 1 to 4 can be assigned as the Y coordinate. The
例えば、図2(B)で説明した行情報4については、表示位置(X1、Y1(1行目))、表示開始タイミングt1、表示終了タイミングt2が付随情報によって規定されているため、t1〜t2の期間、1行目(行番号1)に表示される。図5(A)は、変換前の歌詞情報を使用して、第1レイアウトで表示されるモニタ41の画面を示す図であって、図4(A)に示すt1時の様子が示されている。t1時には、1行目(行番号1)に文字情報4「うううううううう」が表示され、2行目(行番号2)に文字情報5「ええええええええ」が表示され、3行目(行番号3)に文字情報2「ああああああああ」が表示され、4行目(行番号4)に文字情報3「いいいいいいいい」が表示されている。文字情報3「いいいいいいいい」には、色変え位置Cが示されており、歌唱タイミングを示している。
For example, with respect to the
図5(B)は、変換後の歌詞情報を使用して、第2レイアウトで表示されるモニタ41の画面を示す図であり、図4(B)のt1時の様子、つまり図5(A)と同じ時点の様子が示されている。変換後には、変換前の1行目の文字情報4と2行目の文字情報5が結合され、文字情報4+5「ううううううううええええええええ」が、新たな1行目に表示される。また、変換前の3行目の文字情報2と4行目の文字情報3が結合され、文字情報2+3「ああああああああいいいいいいいい」が、新たな2行目に表示される。つまり、変換(結合)後は、変換(結合)した文字情報に関連する付随情報に規定される表示位置(表示行)、表示開始タイミング及び表示終了タイミングが変更され、メモリ27に一時保存され、一時保存された情報に基づいて、文字情報が表示される。その際、文字情報が結合されることによって文字情報の横幅が長くなって表示されないことあるため、変換後の歌詞情報は、変換前の歌詞情報よりも文字サイズを小さく表示する。これらによって、背景映像情報が歌詞情報によって阻害されることを抑制している。
FIG. 5 (B) is a diagram showing a screen of the
ここで楽曲再生処理を実行するプログラムについて説明する。楽曲再生処理は、演奏情報等を再生して伴奏音を出力する演奏処理を実行する演奏プログラム、歌詞情報に基づく歌詞を表示する歌詞再生処理を実行する歌詞表示プログラム、採点処理が指定された場合に起動し、歌唱者の歌唱を評価する採点処理を実行する採点プログラムが同期して実行される。ここで、歌詞表示プログラム、採点プログラムは、モニタ41に歌詞、補助映像を表示するプログラムであるため、表示処理を実行する表示プログラムということもできる。なお、採点処理は、歌唱評価結果としての点数を表示することになるが、点数を表示しない形態で歌唱評価を行うことも考えられる。例えば、ピアノロール41aだけを表示し、点数は表示しない場合がこれに相当する。したがって、採点処理は、その上位概念としての歌唱評価処理とし、歌唱評価処理を実行する歌唱評価プログラムを使用する形態としてもよい。
Here, a program that executes music playback processing will be described. The music playback process is a performance program that executes performance processing that reproduces performance information and outputs accompaniment sounds, a lyrics display program that executes lyrics playback processing that displays lyrics based on lyrics information, and when scoring processing is specified. The scoring program that executes the scoring process that evaluates the singer's singing is executed synchronously. Here, since the lyrics display program and the scoring program are programs that display lyrics and auxiliary images on the
歌詞情報変換処理(S104)が実装される前のカラオケ装置2では、歌詞表示プログラムと採点プログラムは、モニタ41への出力制御について同期する必要は無かった。歌詞表示プログラムは、歌詞情報の付随情報に規定されている表示位置に歌詞を表示し、採点プログラムは、それ自身に規定されている表示位置に補助映像を表示していた。一方、カラオケ装置2のバージョンアップ、あるいは、カラオケ装置2の新型化等により、歌詞情報変換処理(S104)が実装された後のカラオケ装置2では、歌詞の表示位置、大きさの少なくとも一方が変更され表示されることになる。
In the
したがって、歌詞情報変換処理(S104)で変換後の歌詞情報を使用する場合には、歌詞表示プログラムは、変換後の歌詞情報を使用して歌詞を表示することを採点プログラムに対して出力する。この出力を受けた場合、採点プログラムは、当初、規定されていた表示位置(第1レイアウト)とは異なる表示位置(第2レイアウト)に、歌唱評価に基づく補助映像を表示する。一方、歌詞表示プログラムは、変換前の歌詞情報を使用して歌詞を使用する場合には、歌詞表示プログラムは採点プログラムに何ら情報を出力せず、採点プログラムは、当初、規定されていた表示位置(第1レイアウト)に補助映像を表示する。このように本実施形態のカラオケ装置2では、歌詞表示プログラムと採点プログラム(補助映像表示プログラム)が同期することで、変換後の歌詞表示に適した形態で補助映像を表示することが可能となっている。
Therefore, when the converted lyrics information is used in the lyrics information conversion process (S104), the lyrics display program outputs to the scoring program that the lyrics are displayed using the converted lyrics information. Upon receiving this output, the scoring program displays the auxiliary video based on the singing evaluation at a display position (second layout) different from the initially specified display position (first layout). On the other hand, when the lyrics display program uses the lyrics using the lyrics information before conversion, the lyrics display program does not output any information to the scoring program, and the scoring program has the initially specified display position. Auxiliary video is displayed in (1st layout). In this way, in the
図5(A)、図5(B)に示す本実施形態は、どちらも採点処理が実行される場合(S106:Yes)であって、ピアノロール41a、技巧映像41b〜41d等、歌唱評価に関する補助情報に基づく補助映像を表示している。なお、図5(A)の表示レイアウトとするか、図5(B)の表示レイアウトとするかは、楽曲生成処理内で実行されるレイアウト変更処理によって変更される。ここで、ピアノロール41aは、模範歌唱の音高、及び、ユーザの歌唱音高を比較するための表示であって、それぞれ、音高を縦方向の位置に、時間経過を横方向の位置にとったバー形状で表示される。また、技巧映像41b〜41dは、ユーザの歌唱における技巧情報に基づく映像であって、技巧発生回数を示したものである。本実施形態では、3種類(こぶし、しゃくり、ビブラート)を技巧情報としている。
The present embodiment shown in FIGS. 5 (A) and 5 (B) is a case where the scoring process is executed (S106: Yes), and relates to singing evaluation such as piano roll 41a and
図5(A)の第1レイアウトでは、モニタ41の上方位置にピアノロール41aを表示し、ピアノロール41aの直上に技巧映像41b〜41dを表示している。現在、多くのカラオケ楽曲では、オリジナルのアーティストを使用した背景映像が使用される。図5(A)、図5(B)もそのような場合であって、オリジナルのアーティストが歌唱している映像を表示している例である。図5(A)の第1レイアウトでは、ピアノロール41a部分が、アーティストの顔部分にかかることとなり、背景映像の主要部分が遮られてしまう。一方、図5(B)の第2レイアウトでは、ピアノロール41aを画面下方に位置させることで、アーティストの顔部分が遮られること無く表示された形態となっている。
In the first layout of FIG. 5A, the piano roll 41a is displayed above the
また、第2レイアウトでは、ピアノロール41aの直上に縮小した歌詞を表示させ、ピアノロール41aの直下に技巧映像41b〜41dを表示している。このように、ピアノロール41aは、その直上が平らな形状で形成されているため、直上部分に歌詞を表示させることで、ピアノロール41aで歌詞が遮られることなく表示させることが可能となっている。また、ピアノロール41aと歌詞を密着させて表示させることで、ユーザは視線を大きく移動させること無く、ピアノロール41aと歌詞を確認することが可能となっている。
Further, in the second layout, the reduced lyrics are displayed directly above the piano roll 41a, and the
このように、本実施形態では、図5(A)に示される第1レイアウト、図5(B)に示される第2レイアウトに変更可能とすることで、歌唱時における各種情報の視認性向上を図ることが可能となっている。特に、図5(B)に示される第2レイアウトでは、画面上方に表示されるアーティストの顔部分といった、背景映像の主要部が、ピアノロール41aや技巧映像41b〜41dといった補助映像で隠されること無く、表示することが可能となっている。また、この第2レイアウトでは、歌詞情報変換処理(S104)で変換された歌詞情報を使用して、オリジナルである第1レイアウトよりも縮小された歌詞が表示されており、ピアノロール41aや技巧映像41b等の補助映像は、縮小された歌詞に適したレイアウトとなっている。
As described above, in the present embodiment, the visibility of various information during singing can be improved by making it possible to change to the first layout shown in FIG. 5 (A) and the second layout shown in FIG. 5 (B). It is possible to plan. In particular, in the second layout shown in FIG. 5B, the main part of the background image such as the artist's face displayed at the upper part of the screen is hidden by the auxiliary images such as the piano roll 41a and the
このように、本実施形態では、歌詞の表示位置及び大きさの変更に伴って、補助映像の表示位置を変更することとしているが、歌詞の表示位置、歌詞の大きさの少なくとも一方の変更に伴って、補助映像の表示位置を変更することとしてもよい。 As described above, in the present embodiment, the display position of the auxiliary image is changed according to the change of the display position and the size of the lyrics, but at least one of the display position of the lyrics and the size of the lyrics is changed. Along with this, the display position of the auxiliary image may be changed.
本実施形態では、図5(A)の第1レイアウトと、図5(B)の第2レイアウトでは、ピアノロール41a、技巧映像41b〜41dの大きさは変更しない形態としているが、第1レイアウトと第2レイアウト間では、ピアノロール41a、技巧映像41b〜41dの少なくとも一方の大きさを変更することとしてもよい。例えば、図5(B)の第2レイアウトでは、図5(A)の第1レイアウトよりも、ピアノロール41a、技巧映像41b〜41dを小さく表示することが考えられる。したがって、歌詞の表示位置、歌詞の大きさの少なくとも一方の変更に伴って、補助映像の大きさを変更する形態とすることも可能である。
In the present embodiment, in the first layout of FIG. 5 (A) and the second layout of FIG. 5 (B), the sizes of the piano roll 41a and the
図3の楽曲再生処理に戻り、歌詞情報変換処理(S104)が完了すると、カラオケ情報に含まれる伴奏情報の再生が開始される(S105)。本実施形態では、採点処理を行う場合(S106:Yes)であって、歌詞の表示形態が歌詞を縮小表示する第2レイアウトに指定されている場合(S106:第2レイアウト)、図5(B)に示す、変換後の歌詞情報を使用した第2レイアウトで表示を行うこととしている(S108)。一方、それ以外の場合、すなわち、採点処理が指定されていない場合(S106:No)、あるいは、採点処理が指定されていても、第1レイアウトが指定されている場合(S107:第1レイアウト)、図5(A)に示す変換前の歌詞情報を使用した第1レイアウトで表示させることとしている(S110)。なお、採点処理時には、ピアノロール41a、技巧映像41b〜41dがモニタ41に表示され、採点処理を行わない場合には、モニタ41には、ピアノロール41a、技巧映像41b〜41dは表示されない。
Returning to the music reproduction process of FIG. 3, when the lyrics information conversion process (S104) is completed, the accompaniment information included in the karaoke information is started to be reproduced (S105). In the present embodiment, when the scoring process is performed (S106: Yes) and the display form of the lyrics is specified as the second layout for reducing and displaying the lyrics (S106: second layout), FIG. 5 (B). ), The display is performed in the second layout using the converted lyrics information (S108). On the other hand, in other cases, that is, when the scoring process is not specified (S106: No), or when the scoring process is specified but the first layout is specified (S107: first layout). , The first layout using the lyrics information before conversion shown in FIG. 5 (A) is displayed (S110). At the time of scoring processing, the piano roll 41a and the
このように、本実施形態では、歌詞の大きさの指定状況、及び、採点処理によるピアノロール41a、技巧映像41b〜41dの表示状況によって、変換前の歌詞情報を使用した4行乃至3行表示、あるいは、変換後の歌詞情報を使用した2行表示に表示形態を切り替えることとしている。その際、歌詞の表示形態に合わせて、ピアノロール41a、技巧映像41b〜41dのレイアウトを異ならせている。なお、このような実施形態に限られるものでは無く、変換後の歌詞情報を使用した歌詞の表示形態は、カラオケ装置2における適宜設定状況下で使用することとしてもよい。
As described above, in the present embodiment, the lyrics information before conversion is used to display 4 to 3 lines depending on the designated status of the lyrics size and the display status of the piano roll 41a and the
本実施形態の楽曲再生処理では、楽曲の再生途中、採点処理の指定(S105)、歌詞の表示形態(S106)の判断が繰り返し実行され、状況に応じた歌詞の表示形態に変更することが可能となっている。なお、採点処理の指定、歌詞の表示形態については、少なくとも一方について、楽曲再生中は変更を禁止することとしてもよい。楽曲の再生が完了した場合(S109:Yes)、楽曲再生処理の先頭に戻り、次の楽曲について、予約テーブルチェック(S101)が実行される。 In the music reproduction process of the present embodiment, the designation of the scoring process (S105) and the determination of the lyrics display form (S106) are repeatedly executed during the reproduction of the music, and the lyrics display form can be changed according to the situation. It has become. It should be noted that at least one of the designation of the scoring process and the display form of the lyrics may be prohibited from being changed during music playback. When the reproduction of the music is completed (S109: Yes), the process returns to the beginning of the music reproduction process, and the reservation table check (S101) is executed for the next music.
以上、本実施形態の楽曲再生処理について説明を行ったが、本実施形態では、楽曲情報に含まれるオリジナルの歌詞情報を使用して表示される第1レイアウト、歌詞情報変換処理で変換した歌詞情報で表示され第2レイアウトに変更可能としている。その際、第1レイアウトと第2レイアウトにおいて、歌唱評価に関する補助情報に基づく補助映像(ピアノロール41aや技巧映像41b等)の表示位置を変更可能とすることで、現在のカラオケ装置2の環境、特に、モニタ41が大型化する環境に適合させた表示形態で表示させることが可能となっている。
The music reproduction processing of the present embodiment has been described above, but in the present embodiment, the first layout displayed using the original lyrics information included in the music information, the lyrics information converted by the lyrics information conversion processing. Is displayed and can be changed to the second layout. At that time, in the first layout and the second layout, the display position of the auxiliary image (piano roll 41a,
なお、本実施形態では、補助映像として、ピアノロール41aや技巧映像41bを用いて説明したが、カラオケ装置で使用される補助映像には、このような形態のみならず、楽器演奏に関する補助情報に基づく、補助映像であってもよい。現在、カラオケ装置では、ギターの演奏を補助するため、歌詞の表示に加え、ギターコードを表示する機能を備えたものがある。このようなカラオケ装置においても、モニタの大型化に伴い、歌詞の縮小表示やギターコード映像等の補助映像の最適化を行うことが好ましい。したがって、補助映像として楽器演奏に関する情報に基づく映像についても、本実施形態のピアノロール41aや技巧映像41bと同様に、レイアウトを変更可能とすることで、モニタが大型化する環境に適した表示形態とすることが可能となる。
In the present embodiment, the piano roll 41a and the
また、本実施形態では、歌詞情報変換処理(S104)は、カラオケ装置2において、カラオケ情報の楽曲IDが指定(予約)され、再生開始前に実行されることとしているが、歌詞情報変換処理(S104)を行う主体、あるいは、その実行タイミングは適宜に行うことが可能である。例えば、主体としては、カラオケ装置2が実行することに代え、サーバ装置5で実行し、変換された歌詞情報、あるいは、変換された歌詞情報を含むカラオケ情報をカラオケ装置2に配信することとしてもよい。あるいは、歌詞情報変換処理(S104)は、カラオケ装置2において、楽曲がユーザにより指定(予約)された直後に開始されることとしてもよい。
Further, in the present embodiment, the lyrics information conversion process (S104) is executed before the music ID of the karaoke information is designated (reserved) and the playback is started in the
また、本実施形態では、歌詞情報変換処理(S104)で変換された歌詞情報は、再利用しないこととしているが、変換された歌詞情報をカラオケ装置2内に保存しておき、再度、選曲された時に再利用することとしてもよい。その場合、新たに歌詞情報変換処理(S104)は実行されない。あるいは、変換された歌詞情報は、サーバ装置5に送信してもよい。サーバ装置5で変換された歌詞情報を収集し、他のカラオケ装置2に配信することも可能となる。
Further, in the present embodiment, the lyrics information converted by the lyrics information conversion process (S104) is not reused, but the converted lyrics information is stored in the
また、本実施形態では、採点処理の指定、及び、表示形態の指定を条件として、第1レイアウト、第2レイアウトの切り替えを行うこととしているが、第1レイアウト、第2レイアウトの切り替えは、採点処理の指定、あるいは、表示形態の指定を条件のどちらか一方で行うこととしてもよい。 Further, in the present embodiment, the first layout and the second layout are switched on condition that the scoring process is specified and the display form is specified. However, the switching between the first layout and the second layout is scoring. The processing may be specified or the display form may be specified as either of the conditions.
また、現在、表示部としてのモニタ(表示部)を接続する際に使用されるHDMI(登録商標)規格では、接続されるモニタの機種情報等、モニタに関する情報を取得することが可能である。例えば、図1のシステム構成において、カラオケ装置2は、モニタ41の機種情報等、モニタ41に関する情報をモニタ41から取得することが可能である。このような場合、カラオケ装置2で実行される第1レイアウト、第2レイアウトの切り替えは、接続されているモニタ41から取得したモニタ41に関する情報に基づいて行われることとしてもよい。例えば、モニタ41に関する情報を参照して、モニタ41の画面の大きさを判定し、画面の大きさが所定値以下である場合には、第1レイアウトで表示し、所定値より大きい場合には、第2レイアウトで表示する等、接続されるモニタ41に応じた制御を行うこととしてもよい。
Further, in the HDMI (registered trademark) standard currently used when connecting a monitor (display unit) as a display unit, it is possible to acquire information related to the monitor such as model information of the connected monitor. For example, in the system configuration of FIG. 1, the
以上、本実施形態ではカラオケ装置2を例に取って説明を行ったが、本発明はカラオケ装置2に限らず、サーバ装置5、あるいは、各種情報処理装置で実行可能なカラオケ用プログラムについても本発明の範疇に属する。また、カラオケ装置2は、カラオケ専用の装置のみならず、PCやゲーム機、スマートフォン等の各種情報装置であってもよい。その際、これらの情報装置で実行可能なカラオケ用プログラムについても本発明の範疇に属する。
In the present embodiment, the
1:リモコン装置 25:音響制御部
2:カラオケ装置 27:メモリ
3:カラオケシステム 28:ビデオRAM
5:サーバ装置 29:映像再生部
11:タッチパネルモニタ 30:制御部
11a:表示部 31:映像制御部
11b:タッチパネル 32:HDD
12:ビデオRAM 33:タッチパネルモニタ
13:映像制御部 33a:表示部
14:メモリ 33b:タッチパネル
15:制御部 41:モニタ
16:無線LAN通信部 41a:ピアノロール
17:操作部 41b〜41d:技巧映像
18:操作処理部 42:スピーカ
21:操作部 44a、44b:歌唱用マイク
22:操作処理部 110:アクセスポイント
24:LAN通信部
1: Remote control device 25: Acoustic control unit 2: Karaoke device 27: Memory 3: Karaoke system 28: Video RAM
5: Server device 29: Video playback unit 11: Touch panel monitor 30:
12: Video RAM 33: Touch panel monitor 13:
Claims (9)
カラオケ情報は、伴奏情報と歌詞情報を含んで構成され、
演奏処理と、表示処理と、レイアウト変更処理と、を実行可能とし、
演奏処理は、指定されたカラオケ情報の伴奏情報を再生し、
表示処理は、指定されたカラオケ情報に対応する背景映像に、当該カラオケ情報に含まれる歌詞情報に基づく歌詞と、補助情報に基づく補助映像を重畳して表示部に表示出力し、
補助情報は、歌唱評価に関する情報、楽器演奏に関する情報の少なくとも何れか1つを含み、
レイアウト変更処理は、表示処理において、少なくとも補助映像の表示位置を変更する
カラオケ装置。 It is a karaoke device that plays back based on karaoke information.
Karaoke information is composed of accompaniment information and lyrics information.
Performance processing, display processing, and layout change processing can be executed.
The performance process plays the accompaniment information of the specified karaoke information,
In the display process, the lyrics based on the lyrics information included in the karaoke information and the auxiliary video based on the auxiliary information are superimposed on the background image corresponding to the specified karaoke information and displayed and output to the display unit.
Auxiliary information includes at least one of information on singing evaluation and information on musical instrument performance.
The layout change process is a karaoke device that changes at least the display position of the auxiliary image in the display process.
請求項1に記載のカラオケ装置。 The karaoke device according to claim 1, wherein the layout change process changes the size of the auxiliary image based on the auxiliary information in accordance with the change of the display position of the auxiliary image.
請求項1または請求項2に記載のカラオケ装置。 The karaoke device according to claim 1 or 2, wherein the layout change process changes the display position of the auxiliary image according to the change of the display position of the lyrics.
請求項1から請求項3の何れか1項に記載のカラオケ装置。 The auxiliary video is a video related to singing evaluation, and is a piano roll that displays the pitch of the model singing included in the karaoke information and the pitch of the singing by the singer. Karaoke device described in.
請求項1から請求項4の何れか1項に記載のカラオケ装置。 The karaoke device according to any one of claims 1 to 4, wherein the layout change process changes the display position of the auxiliary image according to the change in the size of the lyrics based on the lyrics information.
請求項1から請求項5の何れか1項に記載のカラオケ装置。 The karaoke device according to any one of claims 1 to 5, wherein the layout change process changes the display position of the auxiliary image according to the connected display unit.
請求項1から請求項6の何れか1項に記載のカラオケ装置。 The layout change process changes from claim 1 to the first layout for displaying the lyrics at the display position specified in the lyrics information and the second layout for changing the display position specified in the lyrics information to display the lyrics. The karaoke device according to any one of 6.
請求項7に記載のカラオケ装置。 The karaoke device according to claim 7, wherein the layout change process does not execute the change to the second layout when the designated karaoke information is a conversion-prohibited song.
カラオケ情報は、伴奏情報と歌詞情報を含んで構成され、
演奏処理と、表示処理と、レイアウト変更処理と、を実行可能とし、
演奏処理は、指定されたカラオケ情報の伴奏情報を再生し、
表示処理は、指定されたカラオケ情報に対応する背景映像に、当該カラオケ情報に含まれる歌詞情報に基づく歌詞と、補助情報に基づく補助映像を重畳して表示部に表示出力し、
補助情報は、歌唱評価に関する情報、楽器演奏に関する情報の少なくとも何れか1つを含み、
レイアウト変更処理は、表示処理において、少なくとも補助映像の表示位置を変更可能とする
カラオケ用プログラム。 A karaoke program executed by an information processing device that plays back based on karaoke information.
Karaoke information is composed of accompaniment information and lyrics information.
Performance processing, display processing, and layout change processing can be executed.
The performance process plays the accompaniment information of the specified karaoke information,
In the display process, the lyrics based on the lyrics information included in the karaoke information and the auxiliary video based on the auxiliary information are superimposed on the background image corresponding to the specified karaoke information and displayed and output to the display unit.
Auxiliary information includes at least one of information on singing evaluation and information on musical instrument performance.
The layout change process is a karaoke program that enables at least the display position of the auxiliary image to be changed in the display process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084692A JP6870024B2 (en) | 2019-04-25 | 2019-04-25 | Karaoke equipment and karaoke programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084692A JP6870024B2 (en) | 2019-04-25 | 2019-04-25 | Karaoke equipment and karaoke programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020181116A JP2020181116A (en) | 2020-11-05 |
JP6870024B2 true JP6870024B2 (en) | 2021-05-12 |
Family
ID=73023477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019084692A Active JP6870024B2 (en) | 2019-04-25 | 2019-04-25 | Karaoke equipment and karaoke programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6870024B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000039892A (en) * | 1998-07-21 | 2000-02-08 | Yamaha Corp | Karaoke sing-along machine |
JP6065224B2 (en) * | 2013-09-30 | 2017-01-25 | ブラザー工業株式会社 | Karaoke equipment |
JP6391159B2 (en) * | 2014-12-13 | 2018-09-19 | 株式会社エクシング | Karaoke device and program |
JP6301275B2 (en) * | 2015-02-27 | 2018-03-28 | 株式会社エクシング | Karaoke device and karaoke program |
-
2019
- 2019-04-25 JP JP2019084692A patent/JP6870024B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020181116A (en) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6708537B2 (en) | Karaoke system | |
JP6870024B2 (en) | Karaoke equipment and karaoke programs | |
JP6528473B2 (en) | Karaoke apparatus and program for karaoke | |
JP5516911B2 (en) | Karaoke device and karaoke program | |
JP4858504B2 (en) | Karaoke equipment | |
JP7129367B2 (en) | Karaoke device, karaoke program and lyric information conversion program | |
JP5291025B2 (en) | Karaoke equipment | |
JP2013003430A (en) | Karaoke device | |
JP5039609B2 (en) | Karaoke equipment | |
JP5505662B2 (en) | Karaoke device and karaoke program | |
JP7395536B2 (en) | Playback position indicating device and playback position indicating program | |
JP7327437B2 (en) | karaoke device | |
JP2002301262A (en) | Game device using music, its computer program and program storage medium | |
JP5741625B2 (en) | Karaoke system, karaoke equipment | |
JP2001013964A (en) | Playing device and recording medium therefor | |
JP5459522B2 (en) | Karaoke device and karaoke program | |
JP2018112597A (en) | Karaoke device | |
JP6558123B2 (en) | Karaoke device and karaoke program | |
JP2010072222A (en) | Performance data editing device and program | |
JP2018059966A (en) | Karaoke apparatus and program for karaoke | |
JP6559003B2 (en) | Karaoke device and karaoke system | |
JP6642215B2 (en) | Music selection device, karaoke system and music selection program | |
JP2014199374A (en) | Drawing singing scoring system | |
JP2016031395A (en) | Reference display device, and program | |
JP6394366B2 (en) | Karaoke device and karaoke program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190514 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6870024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |