JP7117236B2 - karaoke system - Google Patents

karaoke system Download PDF

Info

Publication number
JP7117236B2
JP7117236B2 JP2018243377A JP2018243377A JP7117236B2 JP 7117236 B2 JP7117236 B2 JP 7117236B2 JP 2018243377 A JP2018243377 A JP 2018243377A JP 2018243377 A JP2018243377 A JP 2018243377A JP 7117236 B2 JP7117236 B2 JP 7117236B2
Authority
JP
Japan
Prior art keywords
portable light
user
light emitting
karaoke
emitting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018243377A
Other languages
Japanese (ja)
Other versions
JP2020106610A (en
Inventor
政之 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP2018243377A priority Critical patent/JP7117236B2/en
Publication of JP2020106610A publication Critical patent/JP2020106610A/en
Application granted granted Critical
Publication of JP7117236B2 publication Critical patent/JP7117236B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明はカラオケシステムに関する。 The present invention relates to karaoke systems.

アーティストのライブコンサートや各種イベント等においては、観客参加型の演出方法が採用されることがある。たとえば、楽曲の演奏や演出に合わせて観客が携帯発光装置（たとえば、ペンライトや腕時計型の発光体）を動かすことで演出効果を高める方法がある。 In live concerts of artists, various events, and the like, an audience-participation type production method is sometimes adopted. For example, there is a method in which the audience moves a portable light-emitting device (for example, a penlight or a wristwatch-type light-emitting body) to enhance the performance effect in accordance with the performance or production of music.

特許文献１には、複数色を発光可能なペンライトを利用した演出用発光装置が開示されている。特許文献１に開示された演出用発光装置は、複数の携帯発光装置（ペンライト）の発光色を、無線接続された一台の発光状態制御装置によって制御することで、観客席において任意の光の文字、画像、模様を表現することができる。 Japanese Patent Laid-Open No. 2002-200002 discloses a light emitting device for presentation using a penlight capable of emitting light of multiple colors. The light-emitting device for performance disclosed in Patent Document 1 controls the light-emitting colors of a plurality of portable light-emitting devices (penlights) by a single wirelessly-connected light-emitting state control device, so that arbitrary light can be emitted from the audience seats. characters, images, and patterns can be expressed.

特開２００３－０３６９８１号公報JP-A-2003-036981

ここで、カラオケルームにおいてカラオケ歌唱を行う際、複数の利用者それぞれが携帯発光装置を使用することがある。この場合、各利用者は、それぞれが自由に携帯発光装置を動かすため、全体として動きがバラバラとなり、統一感に欠ける。その結果、歌唱者にとって、携帯発光装置の動きが目障りとなったり、カラオケ歌唱のリズムに悪影響を及ぼす可能性もある。 Here, when singing karaoke in a karaoke room, each of a plurality of users may use a portable light emitting device. In this case, each user moves the portable light-emitting device freely, so the movement as a whole becomes uncoordinated and lacks a sense of unity. As a result, the movement of the portable light-emitting device may become an eyesore for the singer, and may adversely affect the rhythm of karaoke singing.

本発明の目的は、カラオケ歌唱を妨げることなく、携帯発光装置を使用可能とするカラオケステムを提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a karaoke stem that enables the use of a portable light-emitting device without interfering with karaoke singing.

上記目的を達成するための一の発明は、カラオケ装置を利用する利用者の顔画像と、当該利用者を識別するための利用者識別情報とを紐付けて記憶する利用者情報記憶部と、利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置に対する当該利用者のログインを行うログイン処理部と、記憶された前記装置識別情報に対応する携帯発光装置と前記利用者がログインしたカラオケ装置とをペアリングさせるペアリング部と、撮影手段により、カラオケ歌唱を行う利用者以外の利用者である複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部と、前記聴衆映像から、所定の条件を満たす前記動作関連情報を示した前記携帯発光装置を使用する聴衆の顔画像を特定する特定部と、特定した前記聴衆の顔画像に基づいて前記利用者情報記憶部から利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部と、を有するカラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。 One invention for achieving the above object is a user information storage unit for storing a face image of a user using a karaoke machine and user identification information for identifying the user in association with each other; Based on the operation input from the user, the user identification information of the user and the device identification information for identifying the portable light emitting device used by the user are linked and stored, so that the karaoke device Karaoke singing is performed by a login processing unit that logs in a user, a pairing unit that pairs a portable light emitting device corresponding to the stored device identification information with a karaoke device logged in by the user, and a photographing means. From the audience images obtained by shooting multiple audience members who are users other than the karaoke users and multiple portable light emitting devices used by each audience during the karaoke singing, related to the movement of the portable light emitting device an extracting unit for extracting action-related information that satisfies a predetermined condition; a specifying unit for specifying, from the audience video, facial images of the audience using the portable light-emitting device showing the action-related information that satisfies a predetermined condition; and the specified audience. brightness control that acquires user identification information from the user information storage unit based on the face image of and controls the brightness of the portable light emitting device based on device identification information linked to the acquired user identification information and a karaoke system.
Other features of the present invention will be clarified by the description of the specification and drawings described later.

本発明によれば、カラオケ歌唱を妨げることなく、携帯発光装置を使用できる。 According to the present invention, the portable light emitting device can be used without disturbing karaoke singing.

実施形態に係るカラオケシステムの概略を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the outline of the karaoke system which concerns on embodiment. 実施形態に係るサーバ装置の構成例を示す図である。It is a figure which shows the structural example of the server apparatus which concerns on embodiment. 実施形態に係るカラオケ装置の構成例を示す図である。It is a figure which shows the structural example of the karaoke apparatus which concerns on embodiment. 実施形態に係るカラオケシステムの処理を示すフローチャートである。It is a flow chart which shows processing of a karaoke system concerning an embodiment.

＜実施形態＞
図１～図４を参照して、実施形態に係るカラオケシステムについて説明する。 <Embodiment>
A karaoke system according to an embodiment will be described with reference to FIGS.

＝＝カラオケシステム＝＝
図１に示すように、本実施形態に係るカラオケシステム１は、サーバ装置Ｓ及びカラオケ装置Ｋを備える。サーバ装置Ｓとカラオケ装置Ｋとは、ネットワークＮを介して通信可能となっている。ネットワークＮは、たとえば公衆電話回線網やインターネット回線等の伝送路である。 == Karaoke System ==
As shown in FIG. 1, the karaoke system 1 according to this embodiment includes a server device S and a karaoke device K. As shown in FIG. The server device S and the karaoke device K can communicate with each other via the network N. The network N is, for example, a transmission line such as a public telephone line network or Internet line.

サーバ装置Ｓは、各種情報を管理するコンピュータである。カラオケ装置Ｋは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。カラオケ装置Ｋは、利用者の歌唱音声を集音するマイク、カラオケ演奏音を放音するスピーカ、歌詞テロップ等を表示させるモニタ、カラオケ装置Ｋに対する各種操作入力を行うリモコン装置（いずれも図示なし）等を備える。カラオケ装置Ｋは、カラオケ装置Ｋにおいてカラオケ演奏を行うための複数の楽曲（楽曲データ）を記憶する。楽曲データは、個々の楽曲を特定するための楽曲ＩＤが付与されている。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは所定の演奏区間が設定されている。演奏区間は、前奏、１番のＡメロ、２番のサビ等、カラオケ演奏が行われる区間である。各演奏区間のカラオケ演奏は、所定の演奏時間で実行される。 The server device S is a computer that manages various information. The karaoke device K is a device for performing karaoke music and for users to sing karaoke songs. The karaoke device K includes a microphone that collects the user's singing voice, a speaker that emits the karaoke performance sound, a monitor that displays lyrics telops, etc., and a remote control device that performs various operation inputs to the karaoke device K (none of them are shown). etc. The karaoke device K stores a plurality of songs (song data) for performing karaoke performances on the karaoke device K. FIG. The music data is given a music ID for identifying each music. The music data includes accompaniment data, reference data, and the like. The accompaniment data has a predetermined performance interval set. The performance section is a section in which a karaoke performance is performed, such as the prelude, the first A melody, the second chorus, and the like. The karaoke performance in each performance section is performed for a predetermined performance time.

また、本実施形態に係るカラオケ装置Ｋは、撮影手段Ｃを有する。撮影手段Ｃは、カラオケ装置Ｋが設置されている部屋内に在席する利用者等を撮影し、映像を取得する。 Moreover, the karaoke apparatus K according to this embodiment has a photographing means C. As shown in FIG. A photographing means C photographs a user or the like sitting in a room in which the karaoke apparatus K is installed, and obtains an image.

図１に示した利用者Ｕ１～利用者Ｕ４は、カラオケ装置Ｋを一緒に利用する利用者である。各利用者は、それぞれ携帯発光装置（携帯発光装置Ｐ１～Ｐ４）を所持している。本実施形態に係る携帯発光装置は、ペンライト型の装置である。携帯発光装置は、たとえばカラオケ店舗のフロントで貸し出される。各利用者は、カラオケ歌唱の場を盛り上げるため、カラオケ演奏に合わせて携帯発光装置を左右や上下に振る動作を繰り返し行う。 Users U1 to U4 shown in FIG. 1 are users who use the karaoke machine K together. Each user has a portable light emitting device (portable light emitting devices P1 to P4). The portable light emitting device according to this embodiment is a penlight type device. Portable light-emitting devices are rented out, for example, at the front desk of a karaoke store. Each user repeatedly shakes the portable light-emitting device left and right and up and down along with the karaoke performance in order to liven up the karaoke singing.

携帯発光装置は、光を発光する発光素子、発光素子の輝度を調整するための制御回路、通信用のインターフェース、電源ＯＮ／ＯＦＦ用のスイッチ等（いずれも図示なし）を含む。携帯発光装置は、それぞれ基準となる輝度の値が設定されている。本実施形態において、携帯発光装置Ｐ１～Ｐ４の基準となる輝度の値はいずれも同じであり、電源をＯＮした場合には当該値に応じて発光する。 The portable light-emitting device includes a light-emitting element that emits light, a control circuit for adjusting the brightness of the light-emitting element, a communication interface, a power ON/OFF switch, and the like (all not shown). A reference luminance value is set for each portable light-emitting device. In this embodiment, the reference luminance values of the portable light emitting devices P1 to P4 are all the same, and light is emitted according to this value when the power is turned on.

各携帯発光装置とカラオケ装置Ｋは、ペアリングされることで互いに通信可能となる。ペアリングの詳細については後述する。なお、本実施形態においては、少なくともカラオケ装置Ｋが携帯発光装置を制御できるようにペアリングされていればよい。すなわち、カラオケ装置Ｋから携帯発光装置への一方向の通信ができればよい。 Each portable light-emitting device and the karaoke device K are paired to be able to communicate with each other. Details of pairing will be described later. In this embodiment, at least the karaoke machine K should be paired so as to control the portable light emitting device. That is, it suffices if one-way communication from the karaoke machine K to the portable light emitting device is possible.

＝＝サーバ装置＝＝
図２はサーバ装置Ｓのハードウェア構成例を示す図である。サーバ装置Ｓは、記憶部１０、通信部２０、及び制御部３０を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。 == server device ==
FIG. 2 is a diagram showing a hardware configuration example of the server device S. As shown in FIG. The server device S includes a storage unit 10 , a communication unit 20 and a control unit 30 . Each configuration is connected to bus B via an interface (not shown).

記憶部１０は、各種のデータを記憶する大容量の記憶装置である。本実施形態に係る記憶部１０の記憶領域の一部は、利用者情報記憶部１０ａとして機能する。 The storage unit 10 is a large-capacity storage device that stores various data. Part of the storage area of the storage unit 10 according to this embodiment functions as a user information storage unit 10a.

利用者情報記憶部１０ａは、カラオケ装置を利用する利用者の顔画像と、利用者識別情報とを紐付けて記憶する。 The user information storage unit 10a associates and stores the face image of the user who uses the karaoke device and the user identification information.

顔画像は、利用者の顔を撮影して得られる画像である。利用者識別情報は、利用者を識別するための利用者ＩＤのような、各利用者に固有の情報である。 A face image is an image obtained by photographing a user's face. User identification information is information unique to each user, such as a user ID for identifying the user.

顔画像及び利用者識別情報は、各利用者がカラオケシステム１を利用する前に予め取得しておく。たとえば、利用者Ｕ１が初めてカラオケシステム１を利用する際、カラオケ装置Ｋのリモコン装置を介して自己の利用者ＩＤを任意に設定し、カラオケ装置Ｋの撮影手段Ｃにより顔の撮影を行う。カラオケ装置Ｋは、利用者Ｕ１が設定した利用者ＩＤと撮影により得られた利用者Ｕ１の顔画像とを紐付けてサーバ装置Ｓに送信する。利用者情報記憶部１０ａは、利用者Ｕ１の顔画像を利用者ＩＤと紐付けて記憶する。 The face image and user identification information are obtained in advance before each user uses the karaoke system 1 . For example, when the user U1 uses the karaoke system 1 for the first time, he/she arbitrarily sets his own user ID through the remote control device of the karaoke machine K, and photographs his face with the photographing means C of the karaoke machine K. The karaoke device K associates the user ID set by the user U1 with the photographed face image of the user U1 and transmits the image to the server device S. The user information storage unit 10a stores the face image of the user U1 in association with the user ID.

通信部２０は、サーバ装置Ｓとカラオケ装置Ｋとを接続するためのインターフェースを提供する。制御部３０は、サーバ装置Ｓにおける各種の制御を行う。 The communication unit 20 provides an interface for connecting the server device S and the karaoke device K. FIG. The control unit 30 performs various controls in the server device S. FIG.

＝＝カラオケ装置＝＝
図３に示すように、カラオケ装置Ｋは、ログイン処理部１００、ペアリング部２００、抽出部３００、特定部４００、及び輝度制御部５００を有する。 ==Karaoke Device==
As shown in FIG. 3, the karaoke machine K has a login processing section 100, a pairing section 200, an extraction section 300, an identification section 400, and a brightness control section 500. FIG.

（ログイン処理部）
ログイン処理部１００は、利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置に対する当該利用者のログインを行う。 (Login processing part)
Based on the operation input from the user, the login processing unit 100 links and stores the user identification information of the user and the device identification information for identifying the portable light emitting device used by the user. to log in the user to the karaoke machine.

装置識別情報は、携帯発光装置を識別するための装置ＩＤのような、各携帯発光装置に固有の情報である。 The device identification information is information unique to each portable light emitting device, such as a device ID for identifying the portable light emitting device.

図１の例において、各利用者は、カラオケ装置Ｋを利用するに当たり、カラオケ装置Ｋにログインするための操作を行う。具体的に、各利用者は、カラオケ装置Ｋのリモコン装置を介し、自己の利用者ＩＤと、カラオケ店舗のフロントで貸し出された携帯発光装置の装置ＩＤとを入力する。装置ＩＤの入力は、携帯発光装置に付された装置ＩＤを手入力してもよいし、携帯発光装置に付された二次元コードをリモコン装置に設けられている専用カメラ（リーダー）で読み取ることでもよい。 In the example of FIG. 1, each user performs an operation for logging in to the karaoke machine K when using the karaoke machine K. FIG. Specifically, each user inputs his/her own user ID and the device ID of the portable light-emitting device rented at the front desk of the karaoke parlor through the remote control device of the karaoke device K. FIG. The device ID may be input manually by entering the device ID attached to the portable light emitting device, or by reading the two-dimensional code attached to the portable light emitting device with a dedicated camera (reader) provided on the remote control device. It's okay.

ログイン処理部１００は、入力された利用者ＩＤと装置ＩＤとを紐付けて記憶部（図示なし）に記憶させることにより、カラオケ装置Ｋに対する各利用者のログインを完了する。図１の例であれば、ログイン処理部１００は、利用者Ｕ１の利用者ＩＤと携帯発光装置Ｐ１の装置ＩＤとを紐付けて記憶させることで、利用者Ｕ１のログインを完了し、利用者Ｕ２の利用者ＩＤと携帯発光装置Ｐ２の装置ＩＤとを紐付けて記憶させることで、利用者Ｕ２のログインを完了し、利用者Ｕ３の利用者ＩＤと携帯発光装置Ｐ３の装置ＩＤとを紐付けて記憶させることで、利用者Ｕ３のログインを完了し、利用者Ｕ４の利用者ＩＤと携帯発光装置Ｐ４の装置ＩＤとを紐付けて記憶させることで、利用者Ｕ４のログインを完了する。 The login processing unit 100 completes the login of each user to the karaoke device K by linking the input user ID and device ID and storing them in a storage unit (not shown). In the example of FIG. 1, the login processing unit 100 associates and stores the user ID of the user U1 and the device ID of the portable light emitting device P1, thereby completing the login of the user U1. By linking and storing the user ID of U2 and the device ID of the portable light emitting device P2, the login of the user U2 is completed, and the user ID of the user U3 and the device ID of the portable light emitting device P3 are linked. The login of the user U3 is completed by attaching and storing, and the login of the user U4 is completed by linking the user ID of the user U4 and the device ID of the portable light emitting device P4 and storing them.

（ペアリング部）
ペアリング部２００は、記憶された装置識別情報に対応する携帯発光装置と利用者がログインしたカラオケ装置とをペアリングさせる。 (Pairing part)
The pairing unit 200 pairs the portable light-emitting device corresponding to the stored device identification information with the karaoke device logged in by the user.

ペアリング部２００は、ログインするための操作時に入力された装置ＩＤに基づいて、ログインした利用者が使用する携帯発光装置を特定し、特定した携帯発光装置とカラオケ装置Ｋとをペアリングさせる。カラオケ装置Ｋは、ペアリングされた携帯発光装置に対して制御信号を送信し、携帯発光装置の発光素子が発する光の輝度を個別に調整することができる（詳細は後述）。 A pairing part 200 specifies a portable light emitting device used by a logged-in user based on a device ID input at the time of operation for logging in, and pairs the specified portable light emitting device with a karaoke machine K.例文帳に追加The karaoke machine K can transmit a control signal to the paired portable light emitting device and individually adjust the brightness of the light emitted by the light emitting elements of the portable light emitting device (details will be described later).

（抽出部）
抽出部３００は、撮影手段Ｃにより、複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、動作関連情報を抽出する。 (Extraction part)
The extraction unit 300 extracts action-related information from audience images obtained by photographing a plurality of audience members and a plurality of portable light-emitting devices used by each audience member during karaoke singing. .

聴衆は、カラオケ歌唱を行う利用者以外の利用者である。たとえば、図１の例において、利用者Ｕ１が楽曲Ｘのカラオケ歌唱を行うとする。この場合、利用者Ｕ１は「歌唱者」に相当し、利用者Ｕ２～利用者Ｕ４は「聴衆」に相当する。 The audience is users other than users who sing karaoke. For example, in the example of FIG. 1, assume that user U1 sings song X in karaoke. In this case, the user U1 corresponds to the "singer", and the users U2 to U4 correspond to the "audience".

利用者Ｕ２～利用者Ｕ４は、楽曲Ｘのカラオケ演奏に合わせて、携帯発光装置Ｐ２～Ｐ４を動かす。この場合、撮影手段Ｃは、楽曲Ｘのカラオケ演奏に合わせて、利用者Ｕ２～利用者Ｕ４自身、及び各利用者が使用している携帯発光装置Ｐ２～Ｐ４を撮影し、聴衆映像を取得する。撮影手段Ｃは、楽曲Ｘのカラオケ演奏開始からカラオケ演奏終了まで聴衆映像を取得する。すなわち、聴衆映像は動画像として取得される。撮影手段Ｃは、取得した聴衆映像を順次、抽出部３００に出力する。 The users U2 to U4 move the portable light emitting devices P2 to P4 in time with the karaoke performance of the song X. In this case, the photographing means C photographs the users U2 to U4 themselves and the portable light-emitting devices P2 to P4 used by each of the users in time with the karaoke performance of the music piece X to acquire the audience image. . The photographing means C acquires audience images from the start of the karaoke performance of the musical piece X to the end of the karaoke performance. That is, the audience video is acquired as a moving image. The photographing unit C sequentially outputs the acquired audience images to the extraction unit 300 .

抽出部３００は、聴衆映像から動作関連情報を抽出する。動作関連情報は、携帯発光装置の動きに関連する情報である。本実施形態における動作関連情報は、携帯発光装置を繰り返し振る際の一往復の移動に要する往復時間である。映像から動作関連情報を抽出する方法は、公知の手法を用いることができる。 The extraction unit 300 extracts action-related information from the audience video. The motion-related information is information related to motion of the portable light-emitting device. The action-related information in this embodiment is the round-trip time required for one round-trip movement when repeatedly shaking the portable light-emitting device. A known technique can be used as a method for extracting action-related information from a video.

たとえば、聴衆映像において、楽曲Ｘのカラオケ演奏に合わせて利用者Ｕ２～利用者Ｕ４が携帯発光装置Ｐ２～携帯発光装置Ｐ４をそれぞれ左右に振る動作を繰り返し行っているとする。この場合、抽出部３００は、聴衆映像から、楽曲Ｘのカラオケ演奏の所定の演奏区間において、各携帯発光装置の往復時間（左→右→左の移動に要する時間）を抽出する。たとえば、所定の演奏区間が、楽曲Ｘの最初のサビの一小節目である場合、抽出部３００は、当該演奏区間に対応する聴衆映像を解析し、各携帯発光装置の往復時間を抽出する。 For example, assume that users U2 to U4 repeatedly shake portable light emitting devices P2 to P4 to the left and right, respectively, in time with a karaoke performance of song X in an audience video. In this case, the extraction unit 300 extracts the round-trip time of each portable light-emitting device (the time required for movement from left to right to left) in a predetermined performance section of the karaoke performance of the song X from the audience video. For example, if the predetermined performance section is the first bar of the first chorus of the song X, the extraction unit 300 analyzes the audience video corresponding to the performance section and extracts the round trip time of each portable light emitting device.

なお、利用者Ｕ１がカラオケ歌唱中に携帯発光装置Ｐ１を使用することはないので、聴衆映像の中に、歌唱者である利用者Ｕ１及び利用者Ｕ１に貸し出された携帯発光装置Ｐ１は含まれないものとする。従って、抽出部３００は、携帯発光装置Ｐ１について動作関連情報を抽出することはない。 Since the user U1 does not use the portable light-emitting device P1 while singing karaoke, the user U1 who is the singer and the portable light-emitting device P1 lent to the user U1 are not included in the audience image. Make it not exist. Therefore, the extraction unit 300 does not extract operation-related information about the portable light emitting device P1.

（特定部）
特定部４００は、聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する。 (specific part)
The identifying unit 400 identifies, from the audience video, facial images of the audience using the portable light-emitting devices that indicate action-related information that satisfies a predetermined condition.

所定の条件は、聴衆の顔画像を特定するかどうかを判断するための値である。所定の条件は、動作関連情報の種類に応じて予め設定されている。たとえば、動作関連情報が往復時間の場合、所定の条件は「往復時間がある基準値（時間）未満であること」として設定できる。 The predetermined condition is a value for determining whether to specify the face image of the audience. The predetermined condition is set in advance according to the type of action-related information. For example, if the action-related information is round-trip time, the predetermined condition can be set as "the round-trip time is less than a certain reference value (time)."

本実施形態に係る特定部４００は、カラオケ演奏の所定の演奏区間において抽出した往復時間と、当該所定の演奏区間の演奏時間とを比較することで一致度を算出し、当該一致度が所定値未満となる携帯発光装置がある場合に、当該携帯発光装置を使用する聴衆の顔画像を特定する。所定の演奏区間の演奏時間は、カラオケ演奏されている楽曲の楽曲データを参照することで取得できる。 The identification unit 400 according to the present embodiment calculates the degree of matching by comparing the round trip time extracted in the predetermined performance section of the karaoke performance and the performance time of the predetermined performance section, and the degree of matching is a predetermined value. If there is a portable light emitting device that is less than 100,000, the face image of the audience using the portable light emitting device is specified. The performance time of the predetermined performance section can be acquired by referring to the music data of the music being performed in karaoke.

たとえば、抽出部３００は、利用者Ｕ１が選曲した楽曲Ｘの最初のサビの１小節目において往復時間を抽出した結果、顔画像αの聴衆が持つ携帯発光装置Ｐαの往復時間が２，１００ｓｅｃ、顔画像βの聴衆が持つ携帯発光装置Ｐβの往復時間が１，７５０ｓｅｃ、顔画像γの聴衆が持つ携帯発光装置Ｐγの往復時間が１，９５０ｓｅｃであったとする。 For example, the extraction unit 300 extracts the round-trip time of the first bar of the first chorus of the music piece X selected by the user U1. Assume that the round trip time of the portable light emitting device Pβ held by the audience of the face image β is 1,750 sec, and the round trip time of the portable light emitting device Pγ held by the audience of the face image γ is 1,950 sec.

この場合、特定部４００は、各往復時間と楽曲Ｘの最初のサビの１小節目の演奏時間（この例では２，０００ｓｅｃ）との一致度を算出する。この場合、携帯発光装置Ｐαにおける一致度は９５％であり、携帯発光装置Ｐβにおける一致度は８７．５％であり、携帯発光装置Ｐγにおける一致度は９７．５％となる。 In this case, the specifying unit 400 calculates the degree of matching between each round-trip time and the performance time of the first bar of the first chorus of the song X (2,000 sec in this example). In this case, the degree of matching for the portable light emitting device Pα is 95%, the degree of matching for the portable light emitting device Pβ is 87.5%, and the degree of matching for the portable light emitting device Pγ is 97.5%.

特定部４００は、このうち、一致度が所定値未満となる携帯発光装置があるかどうかを判定する。この例では所定値が９０％であるとする。この場合、特定部４００は、携帯発光装置Ｐβを特定する。 The identifying unit 400 determines whether or not there is a portable light emitting device with a degree of matching less than a predetermined value. In this example, it is assumed that the predetermined value is 90%. In this case, the identifying unit 400 identifies the portable light emitting device Pβ.

特定部４００は、聴衆映像から携帯発光装置Ｐβを使用している聴衆の顔画像を抽出する。顔画像の抽出方法は、公知の手法を用いることができる。たとえば、特定部４００は、聴衆映像を解析し、顔の部分に相当する画素をトリミングすることで複数の顔画像を抽出する。そして、特定部４００は、抽出した顔画像のうち、特定された携帯発光装置Ｐβの画像に最も近い位置にある顔画像を、携帯発光装置Ｐβを使用する聴衆の顔画像（顔画像β）として特定する。或いは、携帯発光装置Ｐβから携帯発光装置Ｐβを把持する手、さらに腕、肘、肩、胴部、首、頭部といった繋がりに基づいて顔画像βを特定してもよい。 The specifying unit 400 extracts the face image of the audience using the portable light emitting device Pβ from the audience video. A known technique can be used as a face image extraction method. For example, the identification unit 400 analyzes the audience video and extracts a plurality of face images by trimming the pixels corresponding to the face portions. Then, the identifying unit 400 selects the face image closest to the identified image of the portable light emitting device Pβ among the extracted face images as the face image (face image β) of the audience using the portable light emitting device Pβ. Identify. Alternatively, the face image β may be specified based on the connections between the portable light emitting device Pβ and the hand holding the portable light emitting device Pβ, as well as the arms, elbows, shoulders, torso, neck, and head.

なお、上記例では、所定の演奏区間において、携帯発光装置が一往復するものとして一致度を算出したが、これに限られない。たとえば、所定の演奏区間が４拍である場合に、当該所定の演奏区間において携帯発光装置が二往復したとする。この場合、特定部４００は、往復時間（一往復の時間）と２拍の時間との一致度を算出してもよい。このようにして一致度を求めることにより、テンポの遅い楽曲に対する携帯発光装置の動きを考慮することができる。 In the above example, the degree of coincidence is calculated assuming that the portable light emitting device makes one round trip in the predetermined performance section, but the present invention is not limited to this. For example, when the predetermined performance section is four beats, assume that the portable light-emitting device makes two reciprocations during the predetermined performance section. In this case, the specifying unit 400 may calculate the degree of matching between the round-trip time (one round-trip time) and the time of two beats. By obtaining the degree of matching in this way, it is possible to take into consideration the movement of the portable light-emitting device with respect to slow-tempo music.

（輝度制御部）
輝度制御部５００は、特定した聴衆の顔画像に基づいて利用者情報記憶部１０ａから利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する。具体的に、輝度制御部５００は、ある携帯発光装置の輝度が、他の携帯発光装置の輝度よりも低くなるよう制御する。 (Brightness control unit)
The brightness control unit 500 acquires the user identification information from the user information storage unit 10a based on the specified face image of the audience, and the device identification information linked to the acquired user identification information. Controls the brightness of the light emitting device. Specifically, the luminance control unit 500 controls the luminance of a certain portable light emitting device to be lower than the luminance of other portable light emitting devices.

上記例において、特定部４００は、特定した聴衆の顔画像βをサーバ装置Ｓに送信する。サーバ装置Ｓは、受信した顔画像βと、利用者情報記憶部１０ａに記憶されている顔画像とを認証し、一致する顔画像があるかどうかを判断する。一致する顔画像がある場合、サーバ装置Ｓは、一致する顔画像に紐付けられている利用者ＩＤを読み出し、カラオケ装置Ｋに送信する。 In the above example, the specifying unit 400 transmits to the server device S the face image β of the specified audience. The server device S authenticates the received face image β and the face images stored in the user information storage unit 10a, and determines whether or not there is a matching face image. When there is a matching face image, the server device S reads out the user ID linked to the matching face image and transmits it to the karaoke machine K.

輝度制御部５００は、記憶部に記憶されている利用者ＩＤ及び装置ＩＤを参照し、サーバ装置Ｓから受信した利用者ＩＤに紐付けられた装置ＩＤを特定する。そして、輝度制御部５００は、特定した装置ＩＤに基づいて、輝度を制御すべき携帯発光装置を制御する。具体的には、輝度制御部５００は、サーバ装置Ｓから受信した利用者Ｕ３の利用者ＩＤに紐付けられた携帯発光装置Ｐ３の装置ＩＤを記憶部において特定し、輝度の制御信号を生成し、携帯発光装置Ｐ３に送信する。 The brightness control unit 500 refers to the user ID and the device ID stored in the storage unit, and identifies the device ID linked to the user ID received from the server device S. FIG. Then, the luminance control unit 500 controls the portable light emitting device whose luminance should be controlled based on the identified device ID. Specifically, the brightness control unit 500 identifies in the storage unit the device ID of the portable light emitting device P3 linked to the user ID of the user U3 received from the server device S, and generates a brightness control signal. , to the portable light emitting device P3.

ところで、上記例において、携帯発光装置Ｐ３は、他の携帯発光装置Ｐ２及び携帯発光装置Ｐ４に比べ、往復時間が短い。つまり、携帯発光装置Ｐ３の動きは、他の携帯発光装置の動きとズレが生じている。そのため、カラオケ歌唱を行う利用者Ｕ１にとって、携帯発光装置Ｐ３の動きが目障りとなる可能性がある。 By the way, in the above example, the portable light emitting device P3 has a shorter round-trip time than the other portable light emitting devices P2 and P4. In other words, the movement of the portable light emitting device P3 is different from the movements of the other portable light emitting devices. Therefore, the movement of the portable light emitting device P3 may be an eyesore for the user U1 who sings karaoke.

このような場合、輝度制御部５００は、携帯発光装置Ｐ３の輝度が、他の携帯発光装置の輝度よりも低くなるよう（たとえば、基準の輝度の５０％になるよう）な制御信号を生成し、携帯発光装置Ｐ３に送信する。制御信号を受信した携帯発光装置Ｐ３の制御回路は、発光素子の輝度が基準値の５０％になるよう調整する。 In such a case, the luminance control unit 500 generates a control signal such that the luminance of the portable light emitting device P3 is lower than the luminance of the other portable light emitting devices (for example, 50% of the reference luminance). , to the portable light emitting device P3. Upon receiving the control signal, the control circuit of the portable light emitting device P3 adjusts the luminance of the light emitting element to 50% of the reference value.

なお、輝度の調整は、一致度に基づいて行ってもよい。輝度制御部５００は、たとえば、一致度が低いほど、輝度が小さくなるような制御信号を生成してもよい。この場合、一致度に応じた、より細かい輝度の制御が可能となる。 Note that the luminance adjustment may be performed based on the degree of matching. Brightness control section 500 may generate a control signal such that, for example, the lower the degree of matching, the lower the brightness. In this case, it becomes possible to control the luminance more precisely according to the degree of matching.

＝＝カラオケシステムにおける処理について＝＝
次に、図４を参照して本実施形態に係るカラオケシステム１における処理の具体例について述べる。図４は、カラオケシステム１における処理例を示すフローチャートである。この例では、利用者Ｕ１がカラオケ歌唱を行い、利用者Ｕ２～利用者Ｕ４がそのカラオケ歌唱を聴くとする。また、サーバ装置Ｓの利用者情報記憶部１０ａは、利用者Ｕ１～利用者Ｕ４の顔画像と、当該利用者を識別するための利用者ＩＤとを紐付けて記憶しているとする。 == Processing in karaoke system ==
Next, a specific example of processing in the karaoke system 1 according to this embodiment will be described with reference to FIG. FIG. 4 is a flow chart showing an example of processing in the karaoke system 1. As shown in FIG. In this example, user U1 sings a karaoke song, and users U2 to U4 listen to the karaoke song. It is also assumed that the user information storage unit 10a of the server device S associates and stores face images of users U1 to U4 with user IDs for identifying the users.

カラオケ装置Ｋの利用にあたり、各利用者は、カラオケ装置Ｋにログインする操作を行う。各利用者は、カラオケ装置Ｋのリモコン装置を介し、自己の利用者ＩＤと、自己が使用する携帯発光装置を識別するための装置ＩＤを入力する。 When using the karaoke machine K, each user performs an operation to log in to the karaoke machine K. FIG. Each user inputs his/her own user ID and a device ID for identifying the portable light-emitting device that he or she uses through the remote control device of the karaoke machine K. FIG.

ログイン処理部１００は、利用者からの操作入力に基づき、利用者ＩＤと装置ＩＤとを紐付けて記憶させることにより、カラオケ装置Ｋに対する利用者のログインを行う（利用者のログイン。ステップ１０）。 The login processing unit 100 logs in the user to the karaoke machine K by linking the user ID and the device ID and storing them based on the user's operation input (user's login, step 10). .

ペアリング部２００は、ステップ１０で記憶された装置ＩＤに対応する携帯発光装置と利用者がログインしたカラオケ装置Ｋとをペアリングさせる（携帯発光装置とカラオケ装置とのペアリング。ステップ１１）。 The pairing unit 200 pairs the portable light emitting device corresponding to the device ID stored in step 10 with the karaoke machine K logged in by the user (pairing of the portable light emitting device and the karaoke machine; step 11).

その後、カラオケ装置Ｋは、利用者Ｕ１が選曲した楽曲Ｘのカラオケ演奏を開始する（カラオケ演奏の開始。ステップ１２）。利用者Ｕ１は、カラオケ演奏に合わせてカラオケ歌唱を行う。また、利用者Ｕ２～利用者Ｕ４それぞれは、カラオケ演奏に合わせて、携帯発光装置Ｐ２～携帯発光装置Ｐ４を使用する。 After that, the karaoke machine K starts karaoke performance of the song X selected by the user U1 (start of karaoke performance, step 12). The user U1 sings karaoke along with the karaoke performance. Further, the users U2 to U4 use the portable light emitting devices P2 to P4 in time with the karaoke performance.

撮影手段Ｃは、利用者Ｕ２～利用者Ｕ４、及び各利用者により使用されている複数の携帯発光装置を撮影し、聴衆映像を取得する（聴衆映像の取得。ステップ１３）。 Photographing means C photographs users U2 to U4 and a plurality of portable light-emitting devices used by each user, and obtains audience images (acquisition of audience images, step 13).

抽出部３００は、ステップ１３で取得された聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する（動作関連情報の抽出。ステップ１４）。 The extraction unit 300 extracts motion-related information related to the movement of the portable light-emitting device from the audience video acquired in step 13 (extraction of motion-related information; step 14).

特定部４００は、ステップ１４で抽出した動作関連情報について、所定の条件を満たす動作関連情報があるかどうかを判定する。 The identifying unit 400 determines whether there is action-related information that satisfies a predetermined condition for the action-related information extracted in step 14 .

所定の条件を満たす動作関連情報がある場合（ステップ１５でＹの場合）、特定部４００は、ステップ１３で取得された聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する（聴衆の顔画像の特定。ステップ１６）。特定部４００は、ステップ１６で特定した顔画像をサーバ装置Ｓに送信する（顔画像の送信。ステップ１７）。 If there is action-related information that satisfies the predetermined condition (Y in step 15), the specifying unit 400 selects the portable light-emitting device indicating the action-related information that satisfies the predetermined condition from the audience video acquired in step 13. Identify the audience facial image to be used (specify audience facial image, step 16). The identification unit 400 transmits the face image identified in step 16 to the server device S (transmission of face image, step 17).

サーバ装置Ｓは、受信した顔画像と、利用者情報記憶部１０ａに記憶されている顔画像とを認証し、一致する顔画像があるかどうかを判断する。この例では、一致する顔画像が記憶されているとする。この場合、サーバ装置Ｓは、一致する顔画像に紐付けられている利用者ＩＤを読み出し、カラオケ装置Ｋに送信する（利用者ＩＤの送信。ステップ１８）。 The server device S authenticates the received face image and the face images stored in the user information storage unit 10a, and determines whether or not there is a matching face image. In this example, it is assumed that matching face images are stored. In this case, the server device S reads out the user ID associated with the matching face image and transmits it to the karaoke device K (transmission of the user ID, step 18).

輝度制御部５００は、受信した利用者ＩＤに紐付けられている装置ＩＤに基づいて携帯発光装置の輝度を制御する（装置ＩＤに基づいて携帯発光装置の輝度を制御。ステップ１９）。輝度制御部５００は、輝度の制御信号を生成し、携帯発光装置に送信する（輝度の制御信号を送信。ステップ２０）。 The brightness control unit 500 controls the brightness of the portable light emitting device based on the device ID linked to the received user ID (controls the brightness of the portable light emitting device based on the device ID; step 19). The brightness control unit 500 generates a brightness control signal and transmits it to the portable light emitting device (transmits brightness control signal; step 20).

カラオケシステム１は、楽曲Ｘのカラオケ演奏が終了するまで（ステップ２１でＹの場合）、ステップ１３～ステップ２０の処理を繰り返し行う。 The karaoke system 1 repeats the processing of steps 13 to 20 until the karaoke performance of the song X is completed (Y in step 21).

このように、本実施形態に係るカラオケシステム１は、サーバ装置Ｓとカラオケ装置Ｋとが通信可能に接続されている。サーバ装置Ｓは、カラオケ装置を利用する利用者の顔画像と、当該利用者を識別するための利用者識別情報とを紐付けて記憶する利用者情報記憶部１０ａを有する。カラオケ装置Ｋは、利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置Ｋに対する当該利用者のログインを行うログイン処理部１００と、記憶された装置識別情報に対応する携帯発光装置と利用者がログインしたカラオケ装置Ｋとをペアリングさせるペアリング部２００と、撮影手段Ｃにより、カラオケ歌唱を行う利用者以外の利用者である複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部３００と、聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する特定部４００と、特定した聴衆の顔画像に基づいて利用者情報記憶部１０ａから利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部５００と、を有する。また、輝度制御部５００は、ある携帯発光装置の輝度が、他の携帯発光装置の輝度よりも低くなるよう制御することが好ましい。 Thus, in the karaoke system 1 according to this embodiment, the server device S and the karaoke device K are connected so as to be able to communicate with each other. The server device S has a user information storage unit 10a that associates and stores a facial image of a user who uses the karaoke machine and user identification information for identifying the user. The karaoke machine K associates and stores the user identification information of the user and the device identification information for identifying the portable light emitting device used by the user based on the operation input from the user. a login processing unit 100 for logging in the user to the karaoke machine K; a pairing unit 200 for pairing the portable light emitting device corresponding to the stored device identification information with the karaoke machine K logged in by the user; Audience images obtained by photographing a plurality of audience members who are users other than the users singing karaoke and a plurality of portable light emitting devices used by each audience member during the karaoke singing by the photographing means C. , an extraction unit 300 for extracting action-related information related to the movement of the portable light-emitting device, and an identification unit for specifying facial images of the audience using the portable light-emitting device showing the action-related information that satisfies a predetermined condition from the audience video. 400, the user identification information is acquired from the user information storage unit 10a based on the specified face image of the audience, and the portable light emitting device is selected based on the device identification information linked to the acquired user identification information. and a brightness control unit 500 for controlling brightness. Also, it is preferable that the brightness control unit 500 performs control such that the brightness of a certain portable light emitting device is lower than the brightness of other portable light emitting devices.

このようなカラオケシステム１によれば、ある携帯発光装置の動きが所定の条件を満たす場合には、その携帯発光装置の輝度を調整することができる。よって、たとえば、一の携帯発光装置の輝度を他の携帯発光装置の輝度よりも低く抑えることにより、一の携帯発光装置の動きが目立たなくなるため、歌唱者にとって目障りになることが無い。すなわち、本実施形態に係るカラオケシステム１によれば、カラオケ歌唱を妨げることなく、携帯発光装置を使用できる。 According to such a karaoke system 1, when the movement of a certain portable light emitting device satisfies a predetermined condition, the luminance of that portable light emitting device can be adjusted. Therefore, for example, by keeping the luminance of one portable light emitting device lower than the luminance of the other portable light emitting devices, the movement of the one portable light emitting device becomes inconspicuous and does not become an eyesore to the singer. That is, according to the karaoke system 1 according to this embodiment, the portable light-emitting device can be used without disturbing karaoke singing.

また、本実施形態における動作関連情報は、携帯発光装置を繰り返し振る際の一往復の移動に要する往復時間であり、特定部４００は、カラオケ演奏の所定の演奏区間において抽出した往復時間と、当該所定の演奏区間の演奏時間とを比較することで一致度を算出し、当該一致度が所定値未満となる携帯発光装置がある場合に、当該携帯発光装置を使用する聴衆の顔画像を特定する。 Further, the action-related information in this embodiment is the round-trip time required for one round-trip movement when repeatedly shaking the portable light-emitting device. A degree of matching is calculated by comparing the performance time of a predetermined performance section, and when there is a portable light emitting device whose degree of matching is less than a predetermined value, the face image of the audience using the portable light emitting device is specified. .

このように動作関連情報として、携帯発光装置の往復時間を用いることにより、カラオケ演奏に合わない動きをしている携帯発光装置の輝度を調整することができる。 By using the round-trip time of the portable light-emitting device as the operation-related information in this way, it is possible to adjust the brightness of the portable light-emitting device that is moving in a way that does not match the karaoke performance.

＜変形例＞
上記実施形態では、動作関連情報として携帯発光装置を繰り返し振る際の一往復の移動に要する往復時間を例に説明した。一方、動作関連情報は、これに限られない。たとえば、動作関連情報は、カラオケ演奏の所定の演奏区間において携帯発光装置が動いた軌跡（すなわち、携帯発光装置が発する光の軌跡）であってもよい。 <Modification>
In the above embodiment, the round-trip time required for one round-trip movement when repeatedly shaking the portable light-emitting device is described as an example of the operation-related information. On the other hand, the action-related information is not limited to this. For example, the action-related information may be a trajectory of movement of the portable light emitting device (that is, a trajectory of light emitted by the portable light emitting device) during a predetermined performance section of a karaoke performance.

この場合、特定部４００は、少なくとも３つの携帯発光装置について抽出した軌跡を２つずつ比較することで一致度を複数算出し、算出した全ての一致度に基づいて他の携帯発光装置の軌跡との差が大きい軌跡を描いた携帯発光装置を使用する聴衆の顔画像を特定する。 In this case, the specifying unit 400 calculates a plurality of degrees of matching by comparing the trajectories extracted for at least three portable light emitting devices two by two, and based on all the calculated degrees of matching, the trajectories of the other portable light emitting devices. Identify the facial images of the audience using the portable light-emitting devices that depict a trajectory with a large difference in .

たとえば、抽出部３００は、利用者Ｕ１が選曲した楽曲Ｘの最初のサビの１小節目に対応する聴衆映像を解析し、顔画像αの聴衆が持つ携帯発光装置Ｐαの軌跡Ｔα、顔画像βの聴衆が持つ携帯発光装置Ｐβの軌跡Ｔβ、及び顔画像γの聴衆が持つ携帯発光装置Ｐγの軌跡Ｔγを抽出したとする。なお、ある映像に含まれる携帯発光装置の軌跡を抽出する方法は、公知の手法を用いることができる。 For example, the extraction unit 300 analyzes the audience video corresponding to the first bar of the first chorus of the song X selected by the user U1, and extracts the trajectory Tα of the portable light emitting device Pα held by the audience of the face image α, the face image β and the trajectory Tγ of the portable light emitting device Pγ held by the audience of the face image γ are extracted. A known technique can be used as a method for extracting the trajectory of the portable light-emitting device included in a certain image.

この場合、特定部４００は、抽出された全ての軌跡を２つずつ比較することで一致度を複数算出する。上記例において、特定部４００は、軌跡Ｔαと軌跡Ｔβの一致度Ｍ１、軌跡Ｔαと軌跡Ｔγの一致度Ｍ２、及び軌跡Ｔβと軌跡Ｔγの一致度Ｍ３を算出する。２つの軌跡の一致度を算出する方法は、機械学習等の公知の手法を用いることができる。この例では、一致度Ｍ１が４０％であり、一致度Ｍ２が９０％であり、一致度Ｍ３が３０％であったとする。 In this case, the specifying unit 400 calculates a plurality of matching degrees by comparing all the extracted trajectories two by two. In the above example, the identifying unit 400 calculates the matching degree M1 between the trajectory Tα and the trajectory Tβ, the matching degree M2 between the trajectory Tα and the trajectory Tγ, and the matching degree M3 between the trajectory Tβ and the trajectory Tγ. A known method such as machine learning can be used as a method for calculating the degree of matching between two trajectories. In this example, it is assumed that the matching degree M1 is 40%, the matching degree M2 is 90%, and the matching degree M3 is 30%.

特定部４００は、他の携帯発光装置の軌跡との差が大きい携帯発光装置を特定する。上記例の場合、特定部４００は、携帯発光装置Ｐβの関わる一致度Ｍ１及びＭ３の値に対し、携帯発光装置Ｐβの関わらない一致度Ｍ２の値だけが大きく異なることから、携帯発光装置Ｐβの軌跡と他の携帯発光装置の軌跡との差が大きいと判定する。従って、特定部４００は、携帯発光装置Ｐβを特定する。 The identification unit 400 identifies a portable light emitting device that has a large difference from the trajectories of other portable light emitting devices. In the case of the above example, the identification unit 400 determines that only the value of the matching score M2 that is not related to the portable light emitting device Pβ is significantly different from the values of the matching scores M1 and M3 that are related to the portable light emitting device Pβ. It is determined that the difference between the trajectory and the trajectory of another portable light emitting device is large. Therefore, the identification unit 400 identifies the portable light emitting device Pβ.

特定部４００は、聴衆映像から携帯発光装置Ｐβを使用している聴衆の顔画像を抽出する。 The specifying unit 400 extracts the face image of the audience using the portable light emitting device Pβ from the audience video.

このように、本変形例における動作関連情報は、カラオケ演奏の所定の演奏区間において携帯発光装置が動いた軌跡であり、特定部４００は、少なくとも３つの携帯発光装置について抽出した軌跡を２つずつ比較することで一致度を複数算出し、算出した全ての一致度に基づいて他の携帯発光装置の軌跡との差が大きい軌跡を描いた携帯発光装置を使用する聴衆の顔画像を特定する。 As described above, the action-related information in this modification is the trajectory of the movement of the portable light emitting device in the predetermined performance section of the karaoke performance, and the specifying unit 400 extracts two trajectories for each of at least three portable light emitting devices. A plurality of degrees of matching are calculated by the comparison, and facial images of the audience using the portable light-emitting devices are specified based on all the calculated degrees of matching, with traces having a large difference from the traces of the other portable light-emitting devices.

このように動作関連情報として、携帯発光装置の軌跡を用いることにより、他の携帯発光装置と異なる動きをしている一の携帯発光装置の輝度を調整することができる。 By using the trajectory of the portable light emitting device as the motion-related information in this way, it is possible to adjust the brightness of one portable light emitting device that moves differently from other portable light emitting devices.

なお、本変形例のように携帯発光装置の軌跡全体を比較するのではなく、抽出した軌跡から、携帯発光装置の移動する方向のみを特定し、特定した方向同士を比較することでもよい。この場合、一致度を算出する処理を簡素化することができる。 Instead of comparing the entire trajectory of the portable light emitting device as in this modified example, only the moving direction of the portable light emitting device may be identified from the extracted trajectory and the identified directions may be compared. In this case, it is possible to simplify the process of calculating the degree of matching.

＜その他＞
上記実施形態におけるカラオケシステム１をカラオケ装置Ｋのみで構成することも可能である。 <Others>
It is also possible to configure the karaoke system 1 in the above embodiment only with the karaoke machine K. FIG.

このようなカラオケ装置Ｋは、カラオケ装置を利用する利用者の顔画像と、当該利用者を識別するための利用者識別情報とを紐付けて記憶する利用者情報記憶部と、利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置に対する当該利用者のログインを行うログイン処理部と、記憶された装置識別情報に対応する携帯発光装置と利用者がログインしたカラオケ装置とをペアリングさせるペアリング部と、撮影手段により、カラオケ歌唱を行う利用者以外の利用者である複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部と、聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する特定部と、特定した聴衆の顔画像に基づいて利用者情報記憶部から利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部と、を有する。このようなカラオケ装置Ｋによっても、カラオケ歌唱を妨げることなく、携帯発光装置を使用できる。 Such a karaoke machine K includes a user information storage unit that associates and stores a facial image of a user who uses the karaoke machine and user identification information for identifying the user; User identification information of the user and device identification information for identifying the portable light emitting device used by the user are linked and stored based on the operation input, thereby allowing the user to log in to the karaoke device. a pairing unit for pairing the portable light emitting device corresponding to the stored device identification information with the karaoke device logged in by the user; extracting motion-related information related to the movement of portable light-emitting devices from audience images obtained by photographing a plurality of audience members and portable light-emitting devices used by each audience during karaoke singing a specifier for specifying, from the audience video, facial images of the audience using portable light-emitting devices that indicate action-related information that satisfies a predetermined condition; and user information storage based on the specified facial images of the audience. a brightness control unit that acquires user identification information from the unit and controls brightness of the portable light emitting device based on device identification information linked to the acquired user identification information. With such a karaoke device K, the portable light-emitting device can be used without disturbing karaoke singing.

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above embodiments are presented as examples and are not intended to limit the scope of the invention. The above configurations can be implemented in combination as appropriate, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. The above-described embodiments and modifications thereof are included in the invention described in the claims and their equivalents, as well as being included in the scope and gist of the invention.

１ カラオケシステム
１０ａ 利用者情報記憶部
１００ ログイン処理部
２００ ペアリング部
３００ 抽出部
４００ 特定部
５００ 輝度制御部
Ｋ カラオケ装置
Ｐ１～Ｐ４ 携帯発光装置
Ｓ サーバ装置 1 karaoke system 10a user information storage unit 100 login processing unit 200 pairing unit 300 extraction unit 400 identification unit 500 brightness control unit K karaoke device P1 to P4 portable light emitting device S server device

Claims (4)

カラオケ装置を利用する利用者の顔画像と、当該利用者を識別するための利用者識別情報とを紐付けて記憶する利用者情報記憶部と、
利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置に対する当該利用者のログインを行うログイン処理部と、
記憶された前記装置識別情報に対応する携帯発光装置と前記利用者がログインしたカラオケ装置とをペアリングさせるペアリング部と、
撮影手段により、カラオケ歌唱を行う利用者以外の利用者である複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部と、
前記聴衆映像から、所定の条件を満たす前記動作関連情報を示した前記携帯発光装置を使用する聴衆の顔画像を特定する特定部と、
特定した前記聴衆の顔画像に基づいて前記利用者情報記憶部から利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部と、
を有するカラオケシステム。 a user information storage unit that associates and stores a face image of a user who uses the karaoke machine and user identification information for identifying the user;
Based on the operation input from the user, the user identification information of the user and the device identification information for identifying the portable light emitting device used by the user are linked and stored, so that the karaoke device a login processing unit that logs in a user;
a pairing unit for pairing the portable light emitting device corresponding to the stored device identification information with the karaoke device logged in by the user;
From the audience image obtained by photographing a plurality of audience members who are users other than the user who sings karaoke and a plurality of portable light emitting devices used by each audience member when singing karaoke, an extraction unit for extracting motion-related information related to motion of the portable light emitting device;
an identifying unit that identifies, from the audience video, facial images of the audience using the portable light-emitting device that indicate the action-related information that satisfies a predetermined condition;
User identification information is acquired from the user information storage unit based on the specified face image of the audience, and brightness of the portable light emitting device is adjusted based on device identification information linked to the acquired user identification information. a brightness control unit to control;
karaoke system. 前記動作関連情報は、前記携帯発光装置を繰り返し振る際の一往復の移動に要する往復時間であり、
前記特定部は、カラオケ演奏の所定の演奏区間において抽出した前記往復時間と、当該所定の演奏区間の演奏時間とを比較することで一致度を算出し、当該一致度が所定値未満となる携帯発光装置がある場合に、当該携帯発光装置を使用する前記聴衆の顔画像を特定することを特徴とする請求項１記載のカラオケシステム。 The motion-related information is a round-trip time required for one round-trip movement when repeatedly shaking the portable light-emitting device,
The identification unit calculates a degree of matching by comparing the round trip time extracted in a predetermined performance section of the karaoke performance with the performance time of the predetermined performance section, and calculates the degree of matching by comparing the performance time of the predetermined performance section. 2. The karaoke system according to claim 1, wherein, when there is a light emitting device, the face image of the audience using the portable light emitting device is identified. 前記動作関連情報は、カラオケ演奏の所定の演奏区間において前記携帯発光装置が動いた軌跡であり、
前記特定部は、少なくとも３つの携帯発光装置について抽出した前記軌跡を２つずつ比較することで一致度を複数算出し、算出した全ての一致度に基づいて他の携帯発光装置の軌跡との差が大きい軌跡を描いた携帯発光装置を使用する前記聴衆の顔画像を特定することを特徴とする請求項１に記載のカラオケシステム。 The motion-related information is a trajectory of movement of the portable light-emitting device in a predetermined performance section of a karaoke performance,
The specifying unit compares the trajectories extracted from at least three portable light emitting devices two by two to calculate a plurality of degrees of matching, and based on all the calculated degrees of matching, the differences from the trajectories of the other portable light emitting devices. 2. The karaoke system of claim 1, wherein the face image of the audience using a portable light emitting device with a large trajectory is identified. 前記輝度制御部は、前記ある携帯発光装置の輝度が、他の携帯発光装置の輝度よりも低くなるよう制御することを特徴とする請求項１～３のいずれか一つに記載のカラオケシステム。 4. The karaoke system according to any one of claims 1 to 3, wherein the brightness control unit controls the brightness of the portable light emitting device to be lower than the brightness of other portable light emitting devices.
JP2018243377A 2018-12-26 2018-12-26 karaoke system Active JP7117236B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018243377A JP7117236B2 (en) 2018-12-26 2018-12-26 karaoke system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018243377A JP7117236B2 (en) 2018-12-26 2018-12-26 karaoke system

Publications (2)

Publication Number Publication Date
JP2020106610A JP2020106610A (en) 2020-07-09
JP7117236B2 true JP7117236B2 (en) 2022-08-12

Family

ID=71448946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018243377A Active JP7117236B2 (en) 2018-12-26 2018-12-26 karaoke system

Country Status (1)

Country Link
JP (1) JP7117236B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316368A (en) 2002-04-26 2003-11-07 Yamaha Corp Method for delivering content data, content server, method for controlling content server, control program for content server, and recording medium
JP2014085644A (en) 2012-10-26 2014-05-12 Xing Inc Karaoke system
JP2016010085A (en) 2014-06-26 2016-01-18 キヤノン株式会社 Imaging device
JP2016207296A (en) 2015-04-16 2016-12-08 株式会社ｂｕｌｂ Light emission control system
JP2017068142A (en) 2015-09-30 2017-04-06 株式会社エクシング Karaoke system and program
JP2018006062A (en) 2016-06-29 2018-01-11 株式会社Ｐｉｋａｂｏｎ Lighting control system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3077192B2 (en) * 1990-11-08 2000-08-14 ヤマハ株式会社 Electronic musical instruments compatible with performance environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316368A (en) 2002-04-26 2003-11-07 Yamaha Corp Method for delivering content data, content server, method for controlling content server, control program for content server, and recording medium
JP2014085644A (en) 2012-10-26 2014-05-12 Xing Inc Karaoke system
JP2016010085A (en) 2014-06-26 2016-01-18 キヤノン株式会社 Imaging device
JP2016207296A (en) 2015-04-16 2016-12-08 株式会社ｂｕｌｂ Light emission control system
JP2017068142A (en) 2015-09-30 2017-04-06 株式会社エクシング Karaoke system and program
JP2018006062A (en) 2016-06-29 2018-01-11 株式会社Ｐｉｋａｂｏｎ Lighting control system

Also Published As

Publication number Publication date
JP2020106610A (en) 2020-07-09

Similar Documents

Publication Publication Date Title
US20160088286A1 (en) Method and system for an automatic sensing, analysis, composition and direction of a 3d space, scene, object, and equipment
US9467673B2 (en) Method, system, and computer-readable memory for rhythm visualization
US9986364B2 (en) Endpoint mixing system and playing method thereof
US9898850B2 (en) Support and complement device, support and complement method, and recording medium for specifying character motion or animation
CN108334540A (en) Methods of exhibiting and device, storage medium, the electronic device of media information
US10298876B2 (en) Information processing system, control method, and storage medium
JP7424456B2 (en) Information processing device, information processing method, and program
JP2020039029A (en) Video distribution system, video distribution method, and video distribution program
JP6148958B2 (en) A communication karaoke system that allows remote control of lighting using a portable terminal
JP6315568B2 (en) Online karaoke system and server
CN114155322A (en) Scene picture display control method and device and computer storage medium
WO2015151766A1 (en) Projection photographing system, karaoke device, and simulation device
KR20170072233A (en) Information processing device
JP2024019661A (en) Information processing device, information processing method, and information processing program
US20160179206A1 (en) Wearable interactive display system
JP7117236B2 (en) karaoke system
JP7442979B2 (en) karaoke system
KR102227998B1 (en) System for virtual reality karaoke and providing virtual reality karaoke using the same
JP7141955B2 (en) karaoke system
JP6548499B2 (en) Karaoke system
JP7249859B2 (en) karaoke system
JP6037557B2 (en) Singing action advance notification system in collaboration singing
WO2022190917A1 (en) Information processing device, information processing terminal, information processing method, and program
WO2024125478A1 (en) Audio presentation method and device
JP2014235301A (en) Command input discrimination system using gesture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R150 Certificate of patent or registration of utility model

Ref document number: 7117236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150