JP6859204B2 - Karaoke song recommendation system - Google Patents
Karaoke song recommendation system Download PDFInfo
- Publication number
- JP6859204B2 JP6859204B2 JP2017110398A JP2017110398A JP6859204B2 JP 6859204 B2 JP6859204 B2 JP 6859204B2 JP 2017110398 A JP2017110398 A JP 2017110398A JP 2017110398 A JP2017110398 A JP 2017110398A JP 6859204 B2 JP6859204 B2 JP 6859204B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- karaoke
- unit
- keyword
- recommended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 44
- 239000000284 extract Substances 0.000 claims description 18
- 238000000034 method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000037213 diet Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明はカラオケ楽曲のリコメンドシステムに関する。 The present invention relates to a karaoke music recommendation system.
カラオケ装置を利用してカラオケ歌唱を行う場合、利用者はリモコン装置等を介してカラオケ歌唱したい楽曲を選曲する。 When singing karaoke using a karaoke device, the user selects a song to be sung in karaoke via a remote control device or the like.
楽曲の選曲を行う際に使用する機能として、楽曲検索機能が普及している。カラオケ装置の利用者は、リモコン装置等を介して任意のキーワードを手入力し、条件を絞り込みながら、所望の楽曲を検索することができる。また、特許文献1には、音声認識を使用することによって、入力された音声から楽曲を検索する技術が開示されている。
The music search function has become widespread as a function used when selecting music. A user of a karaoke device can manually input an arbitrary keyword via a remote control device or the like to search for a desired song while narrowing down the conditions. Further,
一方、利用者によっては、歌唱する楽曲がなかなか決まらない場合がありうる。このような問題を解決するため、業務用通信カラオケにおいては、利用者の歌唱履歴や利用者情報に基づいて利用者に最適な楽曲を推奨(リコメンド)するサービスが普及している。 On the other hand, depending on the user, it may be difficult to decide which song to sing. In order to solve such a problem, in commercial communication karaoke, a service that recommends (recommends) the most suitable music for the user based on the user's singing history and user information is widespread.
たとえば、特許文献2には、任意の楽曲が演奏予約された際に、後続の楽曲予約のための推奨楽曲リストを、それまでの演奏履歴に基づいて作成して表示する技術が開示されている。或いは、特許文献3には、複数の利用者でカラオケ歌唱を行う場合に、各利用者の歌唱履歴に基づいて、利用者全員が共通して楽しめる推奨楽曲を提示する技術が開示されている。
For example,
ここで、特許文献1の技術を含む従来の楽曲検索機能は、利用者が入力した任意のキーワードに基づいて楽曲を検索するものであり、利用者にカラオケ楽曲を推奨するものではない。
Here, the conventional music search function including the technique of
一方、特許文献2及び3の技術によれば、利用者に対して自動で推奨楽曲を提示することが可能となるが、当該推奨楽曲は、カラオケ歌唱を行う場の雰囲気や利用者の気分が反映されたものではない。
On the other hand, according to the techniques of
本発明の目的は、カラオケ歌唱を行う場の雰囲気や利用者の気分を反映した推奨楽曲を提示することが可能なリコメンドシステムを提供することにある。 An object of the present invention is to provide a recommendation system capable of presenting recommended music that reflects the atmosphere of a place where karaoke singing is performed and the mood of a user.
上記目的を達成するための主たる発明は、複数のカラオケ楽曲を記憶する楽曲記憶部と、カラオケ楽曲の検索を行う際に使用されたキーワードを記憶するキーワード記憶部と、一のカラオケ装置を利用する複数の利用者の会話を集音する集音部と、集音された複数の利用者の会話に基づく音声データに対して音声認識処理を実行することにより、テキストデータを作成する音声認識処理部と、記憶された前記キーワードのうち所定条件を満たすキーワードを参照して、前記テキストデータの中から検索用ワードを抽出する抽出部と、抽出された前記検索用ワードに基づいて、前記楽曲記憶部に記憶されたカラオケ楽曲の中から推奨楽曲を特定する推奨楽曲特定部と、特定された前記推奨楽曲に関する情報を前記複数の利用者に対して提示する提示部と、を有するカラオケ楽曲のリコメンドシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
The main invention for achieving the above object uses a music storage unit that stores a plurality of karaoke songs, a keyword storage unit that stores keywords used when searching for karaoke songs, and one karaoke device. A sound collecting unit that collects the conversations of a plurality of users, and a voice recognition processing unit that creates text data by executing voice recognition processing on the voice data based on the collected conversations of a plurality of users. And the extraction unit that extracts the search word from the text data by referring to the keyword that satisfies the predetermined condition among the stored keywords, and the music storage unit based on the extracted search word. A karaoke music recommendation system having a recommended music specifying unit that specifies a recommended music from the karaoke music stored in the above, and a presenting unit that presents information about the specified recommended music to the plurality of users. Is.
Other features of the present invention will be clarified by the description of the specification and drawings described later.
本発明によれば、カラオケ歌唱を行う場の雰囲気や利用者の気分を反映した推奨楽曲を提示できる。 According to the present invention, it is possible to present a recommended music that reflects the atmosphere of the place where karaoke singing is performed and the mood of the user.
後述する明細書及び図面の記載から、上記の主たる発明の他、少なくとも以下の事項が明らかとなる。 In addition to the above-mentioned main invention, at least the following matters will be clarified from the description of the specification and the drawings described later.
すなわち、前記抽出部が、前記テキストデータに基づいて、所定の会話単位毎に前記検索用ワードを抽出し、前記推奨楽曲特定部が、前記所定の会話単位毎ごとに前記推奨楽曲を特定し、前記提示部が、前記所定の会話単位毎ごとに前記推奨楽曲に関する情報を更新して提示するカラオケ楽曲のリコメンドシステムが明らかとなる。このようなリコメンドシステムによれば、会話の流れに合った推奨楽曲を順次、提示することができる。 That is, the extraction unit extracts the search word for each predetermined conversation unit based on the text data, and the recommended music identification unit specifies the recommended music for each predetermined conversation unit. A karaoke music recommendation system in which the presentation unit updates and presents information on the recommended music for each predetermined conversation unit becomes clear. According to such a recommendation system, recommended songs that match the flow of conversation can be presented in sequence.
また、前記キーワード記憶部が、記憶する各キーワードに対し、当該キーワードに基づいて実際にカラオケ楽曲の予約が行われた回数を関連付けて記憶し、前記抽出部が、前記所定条件を満たすキーワードとして、前記回数が所定数以上であるキーワードを参照して、前記検索用ワードを抽出するカラオケ楽曲のリコメンドシステムが明らかとなる。このようなリコメンドシステムによれば、利用者が歌唱する可能性の高い楽曲を推奨楽曲として提示できる。 Further, the keyword storage unit stores each of the stored keywords in association with the number of times the karaoke music is actually reserved based on the keyword, and the extraction unit stores the keywords as keywords satisfying the predetermined conditions. A karaoke music recommendation system for extracting the search word is clarified by referring to the keyword whose number of times is equal to or greater than a predetermined number. According to such a recommendation system, a song that is likely to be sung by the user can be presented as a recommended song.
<実施形態>
図1〜図7を参照して、実施形態に係るカラオケシステム1について説明する。図1に示すように、カラオケシステム1は、カラオケ装置K及びサーバ装置Sを備える。本実施形態に係るカラオケシステム1は、「リコメンドシステム」に相当する。
<Embodiment>
The
==カラオケシステム==
図1に示すように、カラオケシステム1は、複数のカラオケ装置(カラオケ装置K1〜カラオケ装置Kn)、及びサーバ装置Sを備える。各カラオケ装置とサーバ装置Sとは、ネットワークNを介して通信可能となっている。ネットワークNは、たとえば公衆電話回線網やインターネット回線等の伝送路である。
== Karaoke system ==
As shown in FIG. 1, the
==サーバ装置==
サーバ装置Sは、カラオケ装置に関する各種情報を管理したり、カラオケ装置から送信される情報処理を行うコンピュータである。図2はサーバ装置Sのハードウェア構成例を示す図である。サーバ装置Sは、記憶部10、通信部20及び制御部30を備える。
== Server device ==
The server device S is a computer that manages various information related to the karaoke device and performs information processing transmitted from the karaoke device. FIG. 2 is a diagram showing a hardware configuration example of the server device S. The server device S includes a
[記憶部]
記憶部10は、各種のデータを記憶する大容量の記憶装置である。本実施形態に係る記憶部10は、楽曲記憶部10a及びキーワード記憶部10bを含んで構成されている。
[Memory]
The
(楽曲記憶部)
楽曲記憶部10aは、各カラオケ装置において演奏を行うための複数のカラオケ楽曲(楽曲データ)を記憶する。楽曲データは、個々のカラオケ楽曲を特定するための楽曲ID(識別子)が付与されている。楽曲データは、伴奏データ、リファレンスデータ、ガイドメロディデータ等を含む。また、楽曲記憶部10aは、各カラオケ楽曲に対応する歌詞テロップを表示させるための歌詞テロップデータ、カラオケ演奏時に表示される背景画像等の背景画像データ、及びカラオケ楽曲の属性情報(歌手名、作詞・作曲者名、ジャンル等のカラオケ楽曲に関する情報)を記憶する。サーバ装置Sから各カラオケ装置に対して楽曲データを配信することにより、各カラオケ装置において対応するカラオケ楽曲の演奏が可能となる。
(Music memory)
The
更に、本実施形態に係る楽曲記憶部10aは、カラオケ楽曲毎に複数の単語が関連付けて記憶されている。これらの単語は、カラオケ楽曲に関連するものであり、たとえば、タイトルに含まれる単語、歌詞を構成する単語で特に重要とみなされる単語(出現頻度が高い単語、サビで使用されている単語等)、上述の属性情報を示す単語(歌手名、ジャンル名)である。これらの単語は、カラオケ楽曲の検索時や推奨楽曲を特定する際に参照される(詳細は後述)。
Further, the
(キーワード記憶部)
キーワード記憶部10bは、カラオケ楽曲の検索を行う際に使用されたキーワードを記憶する。
(Keyword memory)
The
キーワードは、各カラオケ装置においてカラオケ楽曲の検索を行う際に入力されたものである。キーワードは各カラオケ装置から送信される。キーワード記憶部10bに記憶されるキーワードの種類は、カラオケ楽曲の検索が行われる都度、増加する。キーワード記憶部10bは、受信したキーワードを、所定の分類(たとえば、あいうえお順)で記憶する。
The keyword is input when searching for a karaoke song on each karaoke device. Keywords are transmitted from each karaoke device. The types of keywords stored in the
また、キーワード記憶部10bは、カラオケ装置から送信される予約確定情報に基づいて、各キーワードに対し、実際にカラオケ楽曲の予約が行われた回数(予約回数)を関連付けて記憶してもよい。予約確定情報は、あるキーワードに基づいて検索されたカラオケ楽曲について、実際に予約登録が行われたことを示す情報である。
Further, the
図3は、キーワード記憶部10bに記憶されるテーブルデータの一例である。図3の例において、キーワードは、あいうえお順で記憶されている。また、各キーワードは、予約回数が関連付けられている。ここで、たとえば、キーワード「家族」について、現在の予約回数は「3000回」となっている。この状態において、あるカラオケ装置からキーワード「家族」に基づいて実際にカラオケ楽曲の予約がなされたことを示す予約確定情報を受け取ると、キーワード記憶部10bは、キーワード「家族」についての予約の回数を「3001回」に更新して記憶する。なお、図3の例では、キーワードとして名詞のみが記載されているが、動詞や形容詞がキーワードとして記憶されていてもよい。
FIG. 3 is an example of table data stored in the
或いは、キーワード記憶部10bは、各キーワードに対し、同じキーワードが入力された回数を関連付けて記憶してもよい。たとえば、カラオケ装置からキーワード「家族」が送信された場合、キーワード記憶部10bには、当該キーワードが記憶されると共に入力回数「1回」が関連付けられる。そして、別の機会にカラオケ装置からキーワード「家族」が送信された場合、キーワード記憶部10bには、キーワード「家族」についての入力回数を「2回」に更新して記憶する。
Alternatively, the
[通信部]
通信部20は、サーバ装置Sと各カラオケ装置とを接続するためのインターフェースを提供する。
[Communication Department]
The
[制御部]
制御部30は、サーバ装置Sにおける各種の制御を行う。制御部30はCPUおよびメモリ(いずれも図示無し)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。本実施形態においては、CPUがメモリに記憶されるプログラムを実行することにより、制御部30は、検索処理部30a及び推奨楽曲特定部30bとして機能する。
[Control unit]
The
(検索処理部)
検索処理部30aは、利用者からのキーワード入力に応じてカラオケ楽曲の検索処理を行う。たとえば、利用者がカラオケ装置において所定のキーワードを入力し、検索実行を指示したとする。カラオケ装置は、所定のキーワードをサーバ装置Sに送信する。この場合、検索処理部30aは、楽曲記憶部10aに記憶されている各カラオケ楽曲の単語と、所定のキーワードとを対比することで、当該キーワードを含むカラオケ楽曲を検索する。検索処理部30aは、通信部20を介して検索結果(たとえば、検索でヒットしたカラオケ楽曲の楽曲ID)をキーワードの入力を行ったカラオケ装置に送信する。
(Search processing department)
The search processing unit 30a performs a search process for karaoke music in response to a keyword input from the user. For example, suppose that a user inputs a predetermined keyword in a karaoke device and instructs execution of a search. The karaoke device transmits a predetermined keyword to the server device S. In this case, the search processing unit 30a searches for the karaoke music including the keyword by comparing the word of each karaoke music stored in the
なお、検索処理部30aは、検索処理に用いたキーワードを含むカラオケ楽曲の曲数をキーワード記憶部10bに出力してもよい。この場合、キーワード記憶部10bは、検索で得られたカラオケ楽曲の曲数をキーワード毎に関連付けて記憶する。たとえば、キーワード「家族」で検索処理を行った場合に、当該キーワードを含むカラオケ楽曲が1000曲ヒットしたとする。この場合、検索処理部30aは、当該曲数をキーワード記憶部10bに出力する。キーワード記憶部10bは、キーワード「家族」に対し、曲数「1000曲」を関連付けて記憶する。
The search processing unit 30a may output the number of karaoke songs including the keyword used in the search processing to the
(推奨楽曲特定部)
推奨楽曲特定部30bは、カラオケ装置の抽出部600(後述)で抽出された検索用ワードに基づいて、楽曲記憶部10aに記憶されたカラオケ楽曲の中から推奨楽曲を特定する。
(Recommended music identification part)
The recommended music specifying unit 30b identifies a recommended music from the karaoke music stored in the
「検索用ワード」は、楽曲記憶部10aに記憶された楽曲の中から推奨楽曲を特定するために使用されるキーワードである。検索用ワードの抽出処理については後述する。「推奨楽曲」は、カラオケ装置の利用者に対してカラオケ歌唱を薦めるのに適した楽曲である。
The "search word" is a keyword used to specify a recommended music from the music stored in the
推奨楽曲特定部30bは、楽曲記憶部10aに記憶されている各カラオケ楽曲の単語と、検索用ワードとを対比することで、検索用ワードを含むカラオケ楽曲を特定する。推奨楽曲特定部30bは、通信部20を介して特定結果(たとえば、特定されたカラオケ楽曲の楽曲ID)を検索用ワードの抽出処理を行ったカラオケ装置に送信する。
The recommended music identification unit 30b identifies the karaoke music including the search word by comparing the word of each karaoke music stored in the
==カラオケ装置==
カラオケ装置は、カラオケ楽曲の演奏、及び利用者がカラオケ歌唱を行うための装置である。以下では、カラオケ装置K1について説明を行うが、他のカラオケ装置も同様の構成を備える。
== Karaoke device ==
The karaoke device is a device for playing karaoke music and for the user to sing karaoke. Hereinafter, the karaoke device K1 will be described, but other karaoke devices also have the same configuration.
[ハードウェア構成]
図4に示すように、カラオケ装置K1は、カラオケ本体40、スピーカ50、表示装置60、マイク70、及びリモコン装置80を備える。
[Hardware configuration]
As shown in FIG. 4, the karaoke device K1 includes a
スピーカ50はカラオケ本体40からの放音信号に基づいて放音するための構成である。表示装置60はカラオケ本体40からの信号に基づいて映像や画像を画面に表示するための構成である。マイク70は利用者の歌唱音声(マイク70からの入力音声)をアナログの音声信号に変換してカラオケ本体40に入力するための構成である。リモコン装置80は、カラオケ本体40に対する各種操作をおこなうための装置である。利用者はリモコン装置80を用いてカラオケ歌唱を希望する楽曲の検索や選曲(予約)等を行うことができる。リモコン装置80の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。なお、利用者が所有する携帯端末(スマートフォン等)に専用のアプリケーションソフトウェアをダウンロードし、当該ソフトウェアを実行することにより、リモコン装置80と同様の機能を携帯端末側で実現することも可能である。
The
カラオケ本体40は、選曲された楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク70を通じて入力された音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図4に示すように、カラオケ本体40は、制御部41、通信部42、記憶部43、音響処理部44、表示処理部45及び操作部46を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
The
制御部41は、CPU41aおよびメモリ41bを備える。CPU41aは、メモリ41bに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ41bは、CPU41aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。
The
通信部42は、ルーター(図示なし)を介してカラオケ本体40を通信回線に接続するためのインターフェースを提供する。
The
記憶部43は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。本実施形態において、記憶部43は、楽曲記憶部10aが記憶する楽曲データに対応する楽曲IDや属性情報を記憶している。但し、楽曲データそのものは、記憶部43に記憶されておらず、必要に応じてサーバ装置Sからダウンロードする。
The
音響処理部44は、制御部41の制御に基づき、楽曲に対するカラオケ演奏の制御およびマイク70を通じて入力された歌唱音声信号の処理を行う。音響処理部44は、たとえばMIDI音源、ミキサ、アンプ(いずれも図示なし)を含む。MIDI音源は、楽曲データに基づいて楽音信号を生成する。ミキサは、当該音楽信号およびマイク70から出力される音声信号を適当な比率でミキシングしてアンプに出力する。アンプは、ミキサからのミキシング信号を増幅し、放音信号としてスピーカ50へ出力する。これにより、スピーカ50からは放音信号に基づくカラオケ演奏音およびマイク70からの歌唱音声が放音される。
Based on the control of the
表示処理部45は、制御部41の制御に基づき、表示装置60やリモコン装置80における各種表示に関する処理を行う。たとえば、表示処理部45は、カラオケ演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置60に表示させる。或いは、表示処理部45は、リモコン装置80の表示画面に操作入力用の各種アイコンを表示させる。
The
操作部46は、パネルスイッチおよびリモコン受信回路などからなり、利用者によるカラオケ装置K1のパネルスイッチあるいはリモコン装置80の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部41に対して出力する。制御部41は、操作部46からの操作信号を検出し、対応する処理を実行する。
The
[ソフトウェア構成]
図5はカラオケ本体40のソフトウェア構成例を示す図である。カラオケ本体40は、キーワード入力部100、予約登録部200、演奏処理部300、集音部400、音声認識処理部500、抽出部600、及び提示部700を備える。キーワード入力部100、予約登録部200、演奏処理部300、集音部400、音声認識処理部500、抽出部600、及び提示部700は、CPU41aがメモリ41bに記憶されるプログラムを実行することにより実現される。
[Software configuration]
FIG. 5 is a diagram showing a software configuration example of the karaoke
(キーワード入力部)
キーワード入力部100は、カラオケ楽曲を検索する際のキーワード入力を行わせる。具体的に、キーワード入力部100は、リモコン装置80の表示画面等にキーワードを入力する画面を表示させる。利用者は、当該画面において任意のキーワードを入力し、検索実行の指示を行う。この場合、キーワード入力部100は、入力されたキーワードをサーバ装置S(検索処理部30a)に送信する。
(Keyword input section)
The
(予約登録部)
予約登録部200は、カラオケ楽曲の予約登録等、楽曲予約に関する各種処理を行う。
(Reservation registration department)
The
予約登録されるカラオケ楽曲は、キーワード検索により得られたカラオケ楽曲の中から利用者が任意に選曲した楽曲である。リモコン装置80は、選曲されたカラオケ楽曲に対応する楽曲IDをカラオケ本体40に送信する。カラオケ本体40は、受信した楽曲IDを予約待ち行列に登録する。予約待ち行列は、たとえば、記憶部43の記憶領域の一部として提供される。
The karaoke music registered by reservation is a music arbitrarily selected by the user from the karaoke music obtained by the keyword search. The
予約登録部200は、予約待ち行列に登録された順番に、楽曲IDを読み出して演奏処理部300に出力する。そして、予約登録部200は、演奏処理部300に出力した予約楽曲の楽曲IDを予約待ち行列から消去する。
The
ここで、本実施形態に係る予約登録部200は、キーワード検索により得られたカラオケ楽曲の中からある楽曲の楽曲IDが予約待ち行列に登録された場合(キーワードに基づいて実際にカラオケ楽曲の予約が行われた場合)、予約確定情報をサーバ装置Sに送信する。
Here, when the music ID of a certain music from the karaoke music obtained by the keyword search is registered in the reservation queue, the
(演奏処理部)
演奏処理部300は、カラオケ楽曲の演奏を行う。
(Performance processing section)
The
具体的に、演奏処理部300は、予約登録部200により登録されたカラオケ楽曲の楽曲IDの入力を受けると、当該楽曲IDに対応する楽曲データをサーバ装置Sに要求する。サーバ装置Sは、楽曲記憶部10aから当該楽曲IDに対応する楽曲データを読み出し、演奏処理部300に送信する。演奏処理部300は、当該楽曲データに基づいてカラオケ演奏を行う。
Specifically, when the
(集音部)
集音部400は、一のカラオケ装置を利用する複数の利用者の会話を集音する。
(Sound collection section)
The
集音は、カラオケ歌唱用のマイク70やリモコン装置80に設けられたマイク(図示無し)を介して行うことができる。集音部400は、集音した会話の音声データを音声認識処理部500に出力する。
Sound collection can be performed via a
集音部400は、集音を開始するタイミングや終了するタイミングを調整することができる。
The
一般に、利用者がカラオケルームへ入室した直後は、カラオケ楽曲の予約が頻繁に行われる。従って、本実施形態に係るカラオケシステム1を利用して推奨楽曲を提示する必要性に乏しい。しかし、各利用者が一通りカラオケ歌唱を行うと、会話をしながら適当に選曲したり、選曲せずに雑談を始める場合がある。そこで、集音部400は、利用者が入室後、所定時間(たとえば、30分)が経過した後、集音を開始することが可能である。或いは、集音部400は、予約待ち行列に登録されているカラオケ楽曲が所定数以下であり、且つカラオケ演奏が所定時間行われていない場合に集音を開始することや、予約待ち行列に最後のカラオケ楽曲が登録されてから所定時間経過後に集音を開始することも可能である。
Generally, immediately after a user enters a karaoke room, karaoke music is frequently reserved. Therefore, there is little need to present the recommended music using the
一方、提示した推奨楽曲が予約登録された場合や、予約待ち行列に複数のカラオケ楽曲が登録され出した場合等には、新たな推奨楽曲を提示する必要性に乏しい。そこで、集音部400は、集音開始後、新たなカラオケ楽曲の予約登録があった場合、予約待ち行列に所定数以上のカラオケ楽曲が登録された場合、或いはマイク70以外からの音声データ入力が無くなった場合(カラオケ歌唱が行われていると判断した場合)等に集音を終了させることが可能である。
On the other hand, when the presented recommended music is reserved and registered, or when a plurality of karaoke songs are registered and started in the reservation queue, there is little need to present a new recommended music. Therefore, after the start of sound collection, the
(音声認識処理部)
音声認識処理部500は、集音された複数の利用者の会話に基づく音声データに対して音声認識処理を実行することにより、テキストデータを作成する。音声認識処理については、公知の手法を用いることが可能である。音声認識処理部500は、作成したテキストデータを抽出部600に出力する。
(Voice recognition processing unit)
The voice
(抽出部)
抽出部600は、キーワード記憶部10bに記憶されたキーワードのうち所定条件を満たすキーワードを参照して、テキストデータの中から検索用ワードを抽出する。
(Extractor)
The
「所定条件」は、キーワード記憶部10bに記憶されたキーワードの中から、推奨楽曲を特定する際に利用するキーワードを絞り込むための条件である。所定条件は、たとえば、上述の予約回数、曲数、入力回数である。「所定条件を満たすキーワード」は、たとえば、予約回数が所定数以上であるキーワード、曲数が所定数以上であるキーワード、入力回数が所定数以上であるキーワードである。所定数は、予め任意の値が設定されている。或いは、抽出処理を行う都度、設定してもよい。
The "predetermined condition" is a condition for narrowing down the keywords used when specifying the recommended music from the keywords stored in the
抽出部600は、所定条件を満たすキーワードとテキストデータに含まれるテキストを対比することにより、検索用ワードを抽出する。
The
ここで、抽出部600は、テキストデータに基づいて、所定の会話単位毎に検索用ワードを抽出することができる。
Here, the
所定の会話単位は、たとえば一会話毎のように任意に設定することが可能である。或いは、公知の会話分析処理を利用し、テキストデータの内容からある会話の開始時点から会話の話題が変わった時点(「ところで」、「そういえば」等の接続詞が使用された時点)を特定し、その範囲の中から検索用ワードを抽出してもよい。 The predetermined conversation unit can be arbitrarily set, for example, for each conversation. Alternatively, using a known conversation analysis process, identify the time when the topic of the conversation changes from the start of a certain conversation from the content of the text data (the time when conjunctions such as "by the way" and "speaking" are used). , You may extract the search word from the range.
抽出部600は、抽出した検索用ワードをサーバ装置Sの推奨楽曲特定部30bに送信する。推奨楽曲特定部30bは、当該検索用ワードに基づいて楽曲記憶部10aを検索し、当該検索用ワードを含む楽曲を特定する。推奨楽曲特定部30bは、特定した楽曲に関する情報(たとえば、楽曲ID)をカラオケ装置K1に送信する。なお、検索用ワードが複数ある場合、推奨楽曲特定部30bは、それら全てを含むカラオケ楽曲を特定することでもよいし、少なくとも一つを含むカラオケ楽曲を特定することでもよい。
The
(提示部)
提示部700は、特定された推奨楽曲に関する情報を複数の利用者に対して提示する。
(Presentation section)
The
提示部700は、推奨楽曲特定部30bから送信された楽曲IDに基づいて、記憶部43から楽曲に関する情報を読み出して提示する。楽曲に関する情報は、たとえば、楽曲名や歌手名である。提示部700は、推奨楽曲に関する情報を、たとえば表示装置60の表示画面に表示させる。
The
なお、カラオケ演奏が行われている場合、表示装置60には歌詞テロップ等が表示される。そのため、推奨楽曲に関する情報を表示装置60に表示させてしまうとカラオケ歌唱の邪魔になる。この場合、提示部700は、カラオケ演奏が行われているかを確認し、行われていない場合のみ、推奨楽曲に関する情報を表示させることが可能である。或いは、提示部700は、カラオケ演奏が行われている場合には歌詞テロップに重ならないように推奨楽曲に関する情報を表示させることも可能である。或いは、提示部700は、リモコン装置80の表示画面に推奨楽曲に関する情報を表示させることでもよい。更に、提示部700は、スピーカ50を介して音声により推奨楽曲に関する情報を提示することも可能である。音声で推奨楽曲に関する情報を提示することにより、会話に夢中になっている利用者に対してカラオケ楽曲の選曲を促すことができる。
When a karaoke performance is being performed, a lyric telop or the like is displayed on the
==検索用ワードの抽出及び推奨楽曲の特定の具体例==
ここで、図6A及び図6Bを参照して、検索用ワードの抽出及び推奨楽曲の特定の具体例について説明する。図6Aは、カラオケ装置K1の集音部400で集音された利用者A及び利用者Bの会話の例を示している。ここでは、理解しやすいように漢字を含む会話として示しているが、抽出部600で処理される対象は、これらの会話のテキストデータである。図6Bは、抽出された検索用ワードを会話毎に示した図である。なお、この例では、キーワード記憶部10bに記憶されている各キーワードには予約回数が関連付けられているとする(図3を適宜参照)。
== Extraction of search words and specific examples of recommended songs ==
Here, with reference to FIGS. 6A and 6B, specific examples of extracting search words and specifying recommended songs will be described. FIG. 6A shows an example of a conversation between the user A and the user B collected by the
抽出部600は、キーワード記憶部10bに記憶されているキーワードのうち、所定条件を満たすキーワードを参照し、会話(1)から順番に検索用ワードを抽出する。この例において、所定条件を満たすキーワードは、予約回数が500回以上のキーワードである。
The
具体的に、抽出部600は、会話(1)において、キーワード「家族」(3000回)、「沖縄」(500回)が含まれていると判断する。この場合、抽出部600は、「家族」及び「沖縄」を検索用ワードとして抽出する。
Specifically, the
次に、会話(2)には、キーワードとして「サンセットビーチ」、「夕日」、「奇麗」が含まれている。ここで、図3に示した通り、各キーワードの予約回数は「サンセットビーチ」30回、「夕日」800回、「奇麗」:1500回である。 Next, the conversation (2) includes "sunset beach," "sunset," and "beautiful" as keywords. Here, as shown in FIG. 3, the number of reservations for each keyword is 30 times for "sunset beach", 800 times for "sunset", and 1500 times for "beautiful".
このような場合、抽出部600は、会話(2)に対する抽出処理を行う際、所定条件を満たしていないキーワード「サンセットビーチ」は参照しない。従って、抽出部600は、会話(2)のテキストデータから、予約回数が500回以上のキーワード「夕日」及び「奇麗」のみを検索用ワードとして抽出する。
In such a case, the
また、会話(4)は「ところで」という話題を変える単語を含む。この場合、抽出部600は、会話(1)〜会話(3)までを所定の会話単位と判断し、それらの会話の中から抽出した検索用ワード「家族」、「沖縄」、「夕日」、「奇麗」をサーバ装置Sの推奨楽曲特定部30bに送信する。
In addition, conversation (4) includes the word "by the way" that changes the topic. In this case, the
推奨楽曲特定部30bは、当該4つの検索用ワードに基づいて楽曲記憶部10aを検索し、それらのワード全てを含む楽曲を特定する。推奨楽曲特定部30bは、特定した楽曲X1及びY1に関する情報(たとえば、楽曲ID)をカラオケ装置K1に送信する。
The recommended music identification unit 30b searches the
抽出部600は、会話(4)以降に対しても同様の抽出処理を行う。たとえば、抽出部600は、会話(4)において、キーワード「誕生日」(1800回)、「プレゼント」(3000回)を検索用ワードとして抽出し、会話(7)において、キーワード「ウソ」(1200回)、「彼」(4000回)を検索用ワードとして抽出する。
The
一方、会話(5)の「ハリー・ウィンストン(登録商標)」のように、そもそもキーワード記憶部10bに記憶されていないものや、会話(6)の「ホンマ」のようにキーワード記憶部10bに記憶されているキーワードであっても、予約されたことが無いものも存在する。
On the other hand, something that is not stored in the
抽出部600は、このようなキーワードについても所定条件を満たしていないキーワードとして判断し、検索用ワードを抽出する際には参照しない。従って、抽出部600は、会話(5)のテキストデータについては予約回数が700回のキーワード「指輪」のみを検索用ワードとして抽出し、会話(6)のテキストデータについては予約回数が1200回のキーワード「ウソ」のみを検索用ワードとして抽出する。
The
そして、会話(8)は「それより」という話題を変える単語を含む。この場合、抽出部600は、会話(4)〜会話(7)までを所定の会話単位と判断し、それらの会話の中から抽出した検索用ワード「誕生日」、「プレゼント」、「指輪」、「ウソ」、「彼」をサーバ装置Sの推奨楽曲特定部30bに送信する。
And conversation (8) includes the topic-changing word "more than that". In this case, the
推奨楽曲特定部30bは、当該検索用ワードに基づいて楽曲記憶部10aを検索し、それらのワード全てを含む楽曲を特定する。推奨楽曲特定部30bは、特定した楽曲X2及びY2に関する情報(たとえば、楽曲ID)をカラオケ装置K1に送信する。
The recommended music identification unit 30b searches the
抽出部600は、集音部400による集音が終了するまで(図6Aの例であれば会話(11)まで)、同様の処理を繰り返し行う。
The
このように、会話の話題が変わる都度、推奨楽曲を変えることにより、利用者は会話の内容に合った推奨楽曲の提示を受けることができる。 In this way, by changing the recommended music each time the topic of the conversation changes, the user can receive the presentation of the recommended music that matches the content of the conversation.
なお、図6Aに示した会話は、利用者2名の会話であるが、3名以上の利用者による会話に対しても同様の処理を行うことができる。 The conversation shown in FIG. 6A is a conversation between two users, but the same processing can be performed for a conversation between three or more users.
==カラオケシステムにおける処理について==
次に、図7を参照して本実施形態に係るカラオケシステム1における処理の具体例について述べる。図7は、カラオケシステム1における処理例を示すフローチャートである。この例では、利用者A及び利用者Bがカラオケ装置K1でカラオケ歌唱を行う例について述べる。
== Processing in the karaoke system ==
Next, a specific example of the processing in the
集音部400は、カラオケ装置K1を利用する利用者A及び利用者Bの会話の集音を開始する(会話の集音開始。ステップ10)。
The
音声認識処理部500は、ステップ10で集音された会話に基づく音声データに対して音声認識処理を実行することにより、テキストデータを作成する(テキストデータの作成。ステップ11)。
The voice
抽出部600は、キーワード記憶部10bに記憶されたキーワードの中から所定条件を満たすキーワードを参照して、ステップ11で作成したテキストデータの中から所定の会話単位に含まれる検索用ワードを抽出する(所定の会話単位における検索用ワードの抽出。ステップ12)。抽出部600は、抽出した検索用ワードをサーバ装置Sに送信する。
The
推奨楽曲特定部30bは、ステップ12で抽出された所定の会話単位の検索用ワードに基づいて、楽曲記憶部10aに記憶された楽曲の中から推奨楽曲を特定する(所定の会話単位における推奨楽曲の特定。ステップ13)。推奨楽曲特定部30bは、特定した推奨楽曲の楽曲IDをカラオケ装置K1に送信する。
The recommended music specifying unit 30b specifies a recommended music from the music stored in the
提示部700は、ステップ13で特定された推奨楽曲に関する情報を複数の利用者に対して提示する(所定の会話単位における推奨楽曲の提示。ステップ14)。
The
カラオケシステム1は、会話の集音が終了するまで(ステップ15でYの場合)、所定の会話単位毎にステップ12〜ステップ14の処理を繰り返し行う。
The
このように、本実施形態に係るカラオケシステム1は、複数のカラオケ楽曲を記憶する楽曲記憶部10aと、カラオケ楽曲の検索を行う際に使用されたキーワードを記憶するキーワード記憶部10bと、カラオケ装置K1を利用する複数の利用者の会話を集音する集音部400と、集音された複数の利用者の会話に基づく音声データに対して音声認識処理を実行することにより、テキストデータを作成する音声認識処理部500と、キーワード記憶部10bに記憶されたキーワードの中から所定条件を満たすキーワードを参照して、テキストデータの中から検索用ワードを抽出する抽出部600と、抽出された検索用ワードに基づいて、楽曲記憶部10aに記憶されたカラオケ楽曲の中から推奨楽曲を特定する推奨楽曲特定部30bと、特定された推奨楽曲に関する情報を複数の利用者に対して提示する提示部700と、を有する。
As described above, the
このようなカラオケシステム1によれば、カラオケ装置K1の利用者が様々な意図や感情に基づいて行う日常的な会話の中から抽出された検索用ワードを用い、複数のカラオケ楽曲の中から推奨楽曲を特定することができる。また、複数利用者の会話に基づいて検索用ワードを抽出することにより、場の雰囲気を反映させやすい。すなわち、本実施形態に係るカラオケシステム1によれば、カラオケ歌唱を行う場の雰囲気や利用者の気分を反映した推奨楽曲を提示できる。
According to such a
また、抽出部600は、テキストデータに基づいて、所定の会話単位毎に検索用ワードを抽出し、推奨楽曲特定部30bは、所定の会話単位毎ごとに推奨楽曲を特定し、提示部700は、所定の会話単位毎ごとに推奨楽曲に関する情報を更新して提示する。このようなカラオケシステム1によれば、会話の話題の変化に応じて異なるカラオケ楽曲が推奨されることになるため、推奨楽曲が会話の流れに合わせて変化に富んだものとなる。すなわち、本実施形態に係るカラオケシステム1によれば、会話の流れに合った推奨楽曲を順次、提示することができる。
Further, the
また、キーワード記憶部10bは、記憶する各キーワードに対し、当該キーワードに基づいて実際にカラオケ楽曲の予約が行われた回数を関連付けて記憶する。そして、抽出部600は、当該回数が所定数以上であるキーワードを参照して、検索用ワードを抽出することができる。この場合、利用者同士の会話の中から、楽曲検索において実績のあるキーワード(実際のカラオケ楽曲の予約に繋がったキーワード)を参照して、検索用ワードを抽出できる。このような検索用ワードを使用して特定される推奨楽曲は、歌唱される頻度が高いカラオケ楽曲であるといえる。すなわち、本実施形態に係るカラオケシステム1によれば、利用者が歌唱する可能性の高いカラオケ楽曲を推奨楽曲として提示できる。
Further, the
<その他>
なお、上記実施形態におけるサーバ装置Sの構成やカラオケ装置K1の構成は一例である。たとえば、音声認識処理部500、抽出部600の機能をサーバ装置S側に持たせてもよい。逆に、カラオケ装置K1の記憶部13の記憶領域の一部を楽曲記憶部10a及びキーワード記憶部10bとして使用し、且つ制御部41を検索処理部30a及び推奨楽曲特定部30bとして機能させることにより、カラオケ装置のみで推奨楽曲の提示に関する処理を実施できる。この場合、カラオケ装置単体が「リコメンドシステム」に相当する。
<Others>
The configuration of the server device S and the configuration of the karaoke device K1 in the above embodiment are examples. For example, the functions of the voice
また、カラオケシステム1は、カロリーカラオケやビンゴゲーム等、カラオケ歌唱と併せて楽しむことができる様々なコンテンツを搭載しているものがある。そこで、利用者に推奨楽曲を提示する際にこれらのコンテンツを併せて推奨することも可能である。
In addition, some
この場合、抽出部600は、抽出した検索用ワードに対応するコンテンツをカラオケシステム1が搭載しているかどうかを判断する。たとえば、検索用ワードとして「ダイエット」が抽出された場合、抽出部600は、「ダイエット」に対応するカロリーカラオケのコンテンツがカラオケ装置K1に搭載されているかを判断する。
In this case, the
所定のコンテンツが搭載されていると判断した場合、抽出部600は、当該コンテンツの情報を提示部700に出力する。
When it is determined that the predetermined content is loaded, the
提示部700は、特定された推奨楽曲に関する情報と併せて、所定のコンテンツに関する情報(たとえば、コンテンツ選択用のアイコン)をリモコン装置80の表示画面に表示させる。
The
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above embodiment is presented as an example and does not limit the scope of the invention. The above configurations can be implemented in appropriate combinations, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiments and modifications thereof are included in the scope and gist of the invention, as well as in the scope of the invention described in the claims and the equivalent scope thereof.
1 カラオケシステム(リコメンドシステム)
10a 楽曲記憶部
10b キーワード記憶部
30b 推奨楽曲特定部
400 集音部
500 音声認識処理部
600 抽出部
700 提示部
1 Karaoke system (recommendation system)
10a
Claims (2)
カラオケ楽曲の検索を行う際に使用されたキーワードを記憶するキーワード記憶部と、
一のカラオケ装置を利用する複数の利用者の会話を集音する集音部と、
集音された複数の利用者の会話に基づく音声データに対して音声認識処理を実行することにより、テキストデータを作成する音声認識処理部と、
記憶された前記キーワードのうち所定条件を満たすキーワードを参照して、前記テキストデータの中から検索用ワードを抽出する抽出部と、
抽出された前記検索用ワードに基づいて、前記楽曲記憶部に記憶されたカラオケ楽曲の中から推奨楽曲を特定する推奨楽曲特定部と、
特定された前記推奨楽曲に関する情報を前記複数の利用者に対して提示する提示部と、
を有し、
前記抽出部は、前記テキストデータに基づいて、所定の会話単位毎に前記検索用ワードを抽出し、
前記推奨楽曲特定部は、前記所定の会話単位毎ごとに前記推奨楽曲を特定し、
前記提示部は、前記所定の会話単位毎ごとに前記推奨楽曲に関する情報を更新して提示するカラオケ楽曲のリコメンドシステム。 A music storage unit that stores multiple karaoke songs,
A keyword storage unit that stores keywords used when searching for karaoke songs,
A sound collector that collects conversations from multiple users who use one karaoke device,
A voice recognition processing unit that creates text data by executing voice recognition processing on voice data based on conversations of a plurality of users who have collected sounds.
An extraction unit that extracts a search word from the text data by referring to a keyword that satisfies a predetermined condition among the stored keywords, and an extraction unit.
Based on the extracted search word, the recommended music identification unit that specifies the recommended music from the karaoke music stored in the music storage unit, and the recommended music identification unit.
A presentation unit that presents information on the specified recommended music to the plurality of users, and a presentation unit.
Have a,
The extraction unit extracts the search word for each predetermined conversation unit based on the text data.
The recommended music specifying unit specifies the recommended music for each predetermined conversation unit.
The presentation unit is a karaoke music recommendation system that updates and presents information on the recommended music for each predetermined conversation unit.
前記抽出部は、前記所定条件を満たすキーワードとして、前記回数が所定数以上であるキーワードを参照して、前記検索用ワードを抽出することを特徴とする請求項1記載のカラオケ楽曲のリコメンドシステム。 The keyword storage unit stores each keyword to be stored in association with the number of times a karaoke song is actually reserved based on the keyword.
The extraction unit is configured as a predetermined condition is satisfied keywords, by referring to the keyword the number is equal to or more than a predetermined number, recommendation system of the karaoke music piece according to claim 1, wherein the extracting the search word.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017110398A JP6859204B2 (en) | 2017-06-02 | 2017-06-02 | Karaoke song recommendation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017110398A JP6859204B2 (en) | 2017-06-02 | 2017-06-02 | Karaoke song recommendation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018205514A JP2018205514A (en) | 2018-12-27 |
JP6859204B2 true JP6859204B2 (en) | 2021-04-14 |
Family
ID=64957669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017110398A Active JP6859204B2 (en) | 2017-06-02 | 2017-06-02 | Karaoke song recommendation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6859204B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117235300B (en) * | 2023-11-13 | 2024-03-15 | 深圳市致尚信息技术有限公司 | Song recommendation method, system and storage medium of intelligent K song system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217370A (en) * | 2007-03-02 | 2008-09-18 | Nec Corp | Profile registration system, method, and program |
JP2010008938A (en) * | 2008-06-30 | 2010-01-14 | Casio Comput Co Ltd | Voice recorder and speech recording method |
JP2011180271A (en) * | 2010-02-26 | 2011-09-15 | Daiichikosho Co Ltd | Karaoke music selection reservation device connected to host system through cradle |
-
2017
- 2017-06-02 JP JP2017110398A patent/JP6859204B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018205514A (en) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5220494B2 (en) | Low-level music search system for music selectors | |
JP6859204B2 (en) | Karaoke song recommendation system | |
JP5014927B2 (en) | Karaoke system on request | |
JP5585144B2 (en) | Karaoke device and program | |
JP7117113B2 (en) | Server equipment, recommendation system | |
JP6937675B2 (en) | Karaoke equipment | |
JPH11219188A (en) | Communication karaoke (sing-along music) system, karaoke playing terminal, and music selecting device | |
JP6630628B2 (en) | Karaoke system, recommended music presentation program | |
JP2009180952A (en) | Karaoke system with electronic index book function | |
JPH11265187A (en) | Communication karaoke system having feature in support function for team style singing battle and karaoke play terminal to be used for the same | |
JP7161301B2 (en) | karaoke system | |
JP2019148769A (en) | Karaoke device | |
JP5173645B2 (en) | A karaoke device that is well-thought-out for the topic that connects one requested song to the next. | |
JP5220493B2 (en) | A high-level music search system for music selectors | |
JP2000214849A (en) | Karaoke apparatus | |
JP3602059B2 (en) | Melody search formula karaoke performance reservation system, melody search server, karaoke computer | |
JP6594045B2 (en) | Karaoke equipment | |
JP6800053B2 (en) | Karaoke device | |
JP6594196B2 (en) | Karaoke equipment | |
JP6667332B2 (en) | Karaoke system | |
JP4299747B2 (en) | Electronic sampler | |
JP6901955B2 (en) | Karaoke equipment | |
JP2006337966A (en) | Karaoke machine, information search device, program, and operation terminal | |
JP2022098723A (en) | Karaoke device | |
JP2005017735A (en) | Karaoke remote controller and karaoke machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6859204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |