JP6472216B2 - カラオケ連携システム、デジタルサイネージ、およびその広告選択方法 - Google Patents

Description

本発明は、カラオケ装置とデジタルサイネージとが連携するカラオケ連携システムおよびその広告選択方法に関する。

従来のカラオケ連携システムにおいては、楽曲ごとにその特徴を重み付けしたデータに基づいて管理し、演奏される楽曲に対し、その重み付けした値の総和を求めて、ユーザ層を判断して、ユーザ層にあった広告を表示するものである（例えば、特許文献１参照）。

特開２００４−６１６８３号公報

しかしながら、上記のカラオケ連携システムでは、演奏中は広告を視聴しないカラオケ演奏者の情報も含めてユーザ層を判断して広告を行っているので、演奏待機中のカラオケ演奏者にあった広告を再生できないという問題があった。

この発明は、上記の問題点を解決するためになされたものであり、演奏待機中のカラオケ演奏者にあった広告を表示できるカラオケ連携システムを提供することを目的とする。

この発明にかかるカラオケ連携システムは、楽曲別に顧客層情報が付加された楽曲からカラオケ演奏者の顧客層情報を推定する顧客層推定部と、楽曲を演奏するカラオケ演奏者を識別する演奏者識別情報を生成する演奏者識別部と、演奏者識別情報を用いてカラオケ演奏者が演奏中か演奏待機中かの演奏状況を判別する演奏状況判別部と、演奏状況と顧客層情報から演奏待機中のカラオケ演奏者の顧客層情報を決定する顧客層情報決定部と、演奏待機中のカラオケ演奏者の顧客層情報から広告を選択する広告選択部と、広告選択部にて選択された広告を再生する広告再生部とを設け、顧客層推定部は、楽曲演奏者の顧客層を示す重み付け情報で構成された楽曲別顧客層情報から演奏者個々の重み付け情報を算出し、カラオケ演奏者の顧客層情報を推定するものである。

本発明によれば、演奏待機中のカラオケ演奏者にあった広告を表示することができ、広告の訴求効果の高いカラオケ連携システムを得ることができる。

この発明の実施の形態１を示すカラオケ連携システムの全体図である。 この発明の実施の形態１においてカラオケ演奏者の音声を用いる場合の演奏者識別部の詳細を示す機能ブロック図である。 人間の音声における、母音のフォルマント分布状態を性別ごとにプロットした特性図である。 この発明の実施の形態１における楽曲別重み付け情報の一例を示す図である。 この発明の実施の形態１における演奏者別重み付け情報の一例を示す図である。 この発明の実施の形態１における顧客推定方法に関するフローチャートである。 この発明の実施の形態１における索引情報を示す構成図である。 この発明の実施の形態１における広告管理テーブルを示す構成図である。 この発明の実施の形態１における演奏者フラグを示す構成図である。 この発明の実施の形態１における広告選択方法に関する動作フローチャートである。 この発明の実施の形態１におけるカラオケ連携システムの広告選択方法の具体例を説明する図である。 この発明の実施の形態２における演奏者識別部にカラオケ演奏者の顔情報を用いた場合のブロック図である。

実施の形態１．
この発明の実施の形態１におけるカラオケ連携システムについて説明する。図１はカラオケ連携システム１００の全体図である。図において、カラオケ連携システム１００はカラオケ装置１とデジタルサイネージ２を備え、両者はカラオケ装置１に設けられた送信器１８とデジタルサイネージ２に設けられた受信器２６を介して通信を行う。また、カラオケ装置１はインターネット１０１を介してカラオケホスト装置１０２及びカラオケデータベースサーバ１０３と通信を行い、カラオケ演奏に必要な楽曲情報のやり取りを行う。さらに、デジタルサイネージ２はインターネット１０１を介して広告管理サーバ１０４と通信を行い、広告表示に必要な広告情報に関するやり取りを行う。また、広告管理サーバ１０４はデジタルサイネージ２にて再生される広告を管理するデータベースで、画像音声ファイルにて構成される広告が蓄積された広告情報データベース１０５と、各広告情報を検索するための索引情報１０６から構成される。

カラオケ制御装置１０は、たとえばパソコンと同等のコンピュータであり、カラオケ装置１の全体的な制御とデータ処理を統括する。記憶装置１１は例えばハードディスク装置を含み、プログラムやデータベースあるいは楽曲を構成する映像や音声データとともに、楽曲の発売年度や音楽ジャンル、楽曲を視聴すると思われるカラオケ演奏者の年代や性別等の顧客層情報で構成される楽曲データを格納する。ユーザインタフェース１２は、カラオケ制御装置１０の制御によりカラオケ連携システム１００の利用者に各種の情報を表示するとともに、前記利用者からの情報入力を行う機能要素であり、例えばカラオケ装置１の本体に設置される操作ボタンやタッチパネル、前記操作ボタンやタッチパネルやリモコン、カラオケ索引データベース等の機能を持つタブレットコンピュータ、さらにマウスとキーボードといった入力機器等で構成される。マイクロホン１９は、ユーザインタフェ−ス１２を介してカラオケ演奏者の音声情報をカラオケ音響装置１５に送る。通信インタフェース１３は、例えばインターネット１０１上でＶＰＮ（Virtual Private Network）を通じてカラオケホスト装置１０２やカラオケデータベースサーバ１０３との通信を可能とする。

カラオケ表示装置１４は、カラオケ制御装置１０の制御に従い記憶装置１１に格納されたカラオケ楽曲データの中から映像情報を表示するとともに、楽曲の歌詞を字幕として表示する他、カラオケ演奏終了後は各種の案内情報などの映像を表示する。また、ユーザインタフェース１２にて設定された情報の一部、例えば前記タッチパネルから演奏予約された楽曲の曲名等を表示する。カラオケ音響装置１５は、カラオケ制御装置１０の制御に従い、カラオケ楽曲データの中から音声情報を抜き出してカラオケ伴奏音楽を生成し、マイクロホン１９およびワイヤレスマイク受信装置１６からの音声信号と混合してスピーカー（図示せず）から出力する。顧客推定モジュール１７は、演奏者識別部３１と顧客層推定部３２を保有し、演奏者識別部３１ではカラオケ演奏者全員の中から個人を特定するための演奏者識別情報３３を生成し、顧客層推定部３２ではカラオケ演奏者全体の性別や年代情報で構成される顧客層情報３４を推定する。ワイヤレスマイク４０は音声信号を無線信号に変換してワイヤレスマイク受信装置１６に送信する。ワイヤレスマイク受信装置１６は、受信した無線信号を音声信号に変換してカラオケ音響装置１５に出力する。送信器１８は、カラオケ装置１とデジタルサイネージ２の連携に用いられる各種情報、例えば演奏者識別情報３３や顧客層情報３４、その他カラオケ演奏状況を示す演奏開始信号及び演奏終了信号などをデジタルサイネージ２に向けて送信する。

カラオケ制御装置１０は、カラオケ装置１のユーザインタフェース１２を介して、リモコン等から行われる複数のカラオケ演奏予約に対する演奏再生の待ち行列を処理する。カラオケ制御装置１０は、この待ち行列に登録されたリクエスト曲を順番に演奏処理する制御シーケンスに関連して、カラオケ曲の演奏開始を示す演奏開始信号を生成し、カラオケ曲の演奏終了時にはカラオケ曲の演奏終了を示す演奏終了信号を生成する。さらにカラオケ制御装置１０は、これら演奏開始信号および演奏終了信号を送信器１８から受信器２６に送信する。なお、送信器１８と受信器２６の通信は一般的な無線通信技術を使用すればよく、無線通信環境が不安定な場合は有線通信を用いてもよい。さらに送信器１８とデジタルサイネージ２の受信器２６は双方向の通信を可能としてもよい。

また、顧客推定モジュール１７は、特定した演奏者識別情報３３と推定した顧客層情報３４の２つから構成される顧客推定情報を楽曲演奏中に生成する。この顧客推定情報は送信器１８よりデジタルサイネージ２側へ送信される。一方、デジタルサイネージ２は受信器２６にて受信した顧客推定情報を広告選択モジュール２７に出力する。広告選択モジュール２７ではこの顧客推定情報から演奏者識別情報３３と顧客層情報３４を抽出し、この情報をもとに広告情報を選択する。

次に、顧客推定モジュール１７における演奏者識別情報の特定方法について説明する。図２は演奏者識別部３１にカラオケ演奏者の音声を用いた場合のブロック図である。図において、ワイヤレスマイク４０は、カラオケ演奏者の音声を音声信号に変換、その音声信号は無線信号に変換してワイヤレスマイク受信装置１６に送出する。ワイヤレスマイク受信装置１６では無線信号を音声信号に変換したのち、その音声信号を音声出力処理部３０１に出力する。またマイクロホン１９は、有線にてユーザインタフェース１２を介して音声信号を音声出力処理部３０１に入力する。音声出力処理部３０１は、入力された２系統の音声信号から、カラオケ演奏者が使用しているマイクの音声信号を選択して、フォルマント抽出処理部３０２に出力する。フォルマント抽出処理部３０２は、入力された音声信号の中からフォルマント情報を抽出して、フォルマント比較処理部３０４に出力する。フォルマントとは、人間の音声において特に言葉を発生している際に発生する周波数スペクトルのピークのことである。

図３は人間の母音におけるフォルマント分布状態を性別ごとにプロットした特性図である。図において、黒まるは平均的な男性の第一フォルマントを、黒三角は平均的な男性の第二フォルマントを示す。また、白まるは平均的な女性の第一フォルマントを、白三角は平均的な女性の第二フォルマントを示す。図からわかるように、第二フォルマントは、特に母音の”イ“、”ウ“、”エ“における性別に関し、そのピークの周波数に差が出る。さらに個人の体格や年齢によってもフォルマントは変化することから、例えばこの３つの母音の周波数成分を抽出すれば、音声から個人を特定することができる。

図２において、フォルマント情報記録部３０７はフォルマント比較処理部３０４の指示により、フォルマント抽出処理部３０２からのフォルマント情報４６をフォルマント情報４７として、任意の数値N（Nは自然数）にて生成された演奏者番号４１とを一対で記録する。

フォルマント比較処理部３０４では、フォルマント情報記録部３０７に記録されている過去に演奏したカラオケ演奏者のフォルマント情報４７と、フォルマント抽出処理部３０２から出力されたフォルマント情報４６を比較し、比較結果が一致しなかった場合は現在のカラオケ演奏者はこのカラオケ装置１の新規顧客と判断し、現在のカラオケ演奏者のフォルマント情報４６を演奏者番号４１と組み合わせてフォルマント情報記録部３０７に記録するとともに、この演奏者番号４１を出力する。フォルマント比較処理部３０４では、現在演奏しているカラオケ演奏者の演奏者番号を演奏者識別情報３３として出力する。

フォルマント比較処理部３０４は、現在のカラオケ演奏者のフォルマント情報４６と過去のカラオケ演奏者のフォルマント情報４７が一致した場合は、一致したフォルマント情報４７に対応して記録されている演奏者番号４１を、演奏者識別情報３３として出力する。なお、このフォルマント情報記録部３０７には、演奏を終了した待機中のカラオケ演奏者の演奏者番号４１の情報もあることから、今までに演奏を終了したカラオケ演奏者の演奏者番号が判明する。また、このフォルマント情報記録部３０７に記録された情報は、顧客退出時の清算処理完了後、もしくは一定時間以上カラオケ装置１における演奏がない場合は、このフォルマント情報４７を削除することにより、新たな来店客に対するカラオケ演奏者からの各種情報の推測に備えることができる。

次に、顧客推定モジュール１７における顧客層情報の推定方法について説明する。顧客層推定部３２は、楽曲情報と顧客層情報３４とを対応させる楽曲別重み付け情報３６と、演奏者別重み付け情報３７を保有する。まず楽曲別重み付け情報３６について、図を用いて説明する。図４は楽曲別重み付け情報３６を示す構成図である。図における各種情報、例えば楽曲のヒットした年や、ジャンル、楽曲が主にどのような性別、年齢層に好まれるかを数値の大小で表したものである。対象年齢別重み付け情報４４は、数値の高いほどその楽曲を演奏する性別、及び年齢層の演奏者によって演奏される確率が高いことを示す。例えば図４の楽曲番号Ｂにおいては、男性の重みづけ情報が“２０”に対し、女性の重み付けは“３０”と設定されているが、この楽曲Ｂの演奏者の男女別比率は、男性：女性＝２０：３０の割合であると想定している。同様に楽曲番号Ｂの演奏者の年齢層別比は、子供、若者、中年、年配＝１０：１５：１５：５の割合であると想定している。このように構成された各楽曲について、例えばあるカラオケ演奏者が楽曲番号Ｂと楽曲番号Ｃを演奏した場合、あるカラオケ演奏者に対する対象年齢別重み付け情報４４は、楽曲番号Ｂと楽曲番号Ｃの両者を加算したものとなり、男女別比は男性：女性＝３０：７０、年齢層別比は、子供、若者、中年、年配＝３０：３５：２０：１０となる。この結果を見ると、楽曲番号Ｂと楽曲番号Ｃを演奏した時点での演奏者の性別は女性で、年齢層は若者と推測される。

次に、演奏者別重み付け情報３７について説明する。図５は演奏者別重み付け情報３７を示す構成図である。図において、演奏者番号４１はカラオケ演奏者全員の中から個々のカラオケ演奏者を特定するための固有の値で、演奏者識別部３１にて判定されたカラオケ演奏者個々を区別するための番号である。各演奏者番号４１における対象年齢別重み付け情報４５は、楽曲別重み付け情報３６から得られた各楽曲別の対象年齢別重み付け情報４４を、カラオケ演奏者別にカラオケ演奏者が歌唱した楽曲分加算した結果である。この値から、例えば演奏者番号４１＝“１”の場合、対象年齢別重み付け情報４４の値は“男性”＝“１２５”、年齢層は“子供“＝”７０”が最も数値が大きいことから、演奏者番号４１＝“１”のカラオケ演奏者は”男性、子供“と推測でき、他のカラオケ演奏者に関しても、同様に性別と年齢層といった顧客層情報３４を推測できる。

次に、カラオケ装置２における顧客推定情報作成方法の手順について説明する。図６は顧客推定方法に関するフローチャートである。図において、カラオケ装置２は例えばユーザインタフェース１２を介して顧客によりリモコンや、タブレットコンピュータ、あるいはカラオケ装置２に設置された操作ボタン等から演奏曲の選択（Ｓ１）が行われると、楽曲を演奏開始（Ｓ２）する。演奏開始とともに、カラオケ制御装置１０は演奏開始信号を送信器１８に送信する（Ｓ３）。顧客推定モジュール１７は、楽曲別重み付け情報３６と演奏者別重み付け情報３７をもとに、カラオケ演奏者全員の顧客層情報３４を推定する（Ｓ４）。

顧客推定モジュール１７は、ワイヤレスマイク受信装置１６が受信した音声信号あるいはマイクロホン１９からの音声信号を受け取ると、演奏者識別部３１のフォルマント抽出処理部３０２で現在演奏している演奏者のフォルマント情報４６を抽出する（Ｓ５）。そして、抽出したフォルマント情報４６をフォルマント情報記録部３０７に記録されているフォルマント情報４７と比較する。この比較の結果、現在演奏している演奏者が新規のカラオケ演奏者であるのか、既に演奏を終えた演奏者と同一の演奏者であるのかを特定する（Ｓ６）。
Ｓ６にてフォルマント情報記録部３０７に記録されたフォルマント情報４７と、フォルマント抽出処理部３０２から出力されたフォルマント情報４６とが一致しない場合は、現在のカラオケ演奏者はこのカラオケ装置２の新規顧客と判断する。Ｓ６にて新規顧客として判断された場合、現在演奏中の演奏者のフォルマント情報４６を演奏者番号４１と組み合わせてフォルマント情報記録部３０７へ記録する（Ｓ７）。
顧客推定モジュール１７はこの演奏者番号４１から現在のカラオケ演奏者を特定し（Ｓ８）、この演奏者番号から演奏者識別情報３３を生成する。また、Ｓ６でフォルマント情報を比較した結果、フォルマント情報４６とフォルマント情報４７とが一致する場合、顧客推定モジュール１７はこのフォルマント情報４７に対応する演奏者番号４１から現在のカラオケ演奏者を特定し、この演奏者番号４１から演奏者識別情報３３を生成する（Ｓ８）。

カラオケ制御装置１０は、顧客推定モジュール１７の演奏者識別部３１にて生成された演奏者識別情報３３と顧客層推定部３２にて推定された顧客層情報３４から構成される演奏者推定情報を、送信器１８からデジタルサイネージ２の受信器２６に送信する（Ｓ９）。カラオケ演奏者の楽曲終了とともに、カラオケ制御装置１０は演奏終了信号を生成し、送信器１８より受信器２６に送信する（Ｓ１０）。その後、カラオケ装置１は次の演奏曲の選択開始まで待機し（Ｓ１１）、以降演奏曲が選択される毎に図６のＳ１からＳ１１までの処理を繰り返す。

次に、デジタルサイネージ２について説明する。デジタルサイネージ２は、例えば一般的なパソコンとモニターで構成されるコンピュータ応用製品であり、１０〜１５インチ程度の画面のデジタルフォトフレームのようなタブレット型コンピュータや、５０インチ程度の大型モニターとパソコンを組み合わせで構成される。サイネージ制御装置２０は、デジタルサイネージ２の全体制御を行うコンピュータである。記憶装置２１はハードディスク装置を含み、各種制御に必要となるプログラムやデータベース、サイネージに必要な広告情報をデータベース化して格納している広告情報データベース２８や、索引情報２９などの各種データ等を格納する。ユーザインタフェース２２は、サイネージ制御装置２０の制御により、カラオケ連携システム１００の利用者に各種の情報を表示するとともに、前記利用者からの入力情報を受ける機能要素であり、例えばデジタルサイネージ２の本体に内蔵される操作ボタンやタッチパネル、前記操作ボタンやタッチパネル、リモコン等の機能を持つタブレットコンピュータ、あるいはマウスとキーボードといった入力機器等で構成される。通信インタフェース２３は、例えばインターネット１０１上でＶＰＮを通じて広告管理サーバ１０４との通信を可能とする。また、インターネット１０１上のＶＰＮを介してカラオケホスト装置１０２やカラオケデータベースサーバ１０３との通信を可能とする機能を備えている。

広告再生部５３は、広告の映像、音声を再生するもので、サイネージ表示装置２４及びサイネージ音響装置２５から構成される。サイネージ表示装置２４はモニターなどの映像表示装置（図示せず）を有し、サイネージ制御装置２０による制御により、記憶装置２１に格納された広告情報から映像情報を表示する。サイネージ音響装置２５は、記憶装置２１に格納された広告情報から音声情報を抽出し、音声情報としてスピーカー（図示せず）から出力する。またサイネージ音響装置２５は電子ボリューム回路を備えており、サイネージ制御装置２０からの制御によりサイネージ音響装置２５から出力する出力音量レベルを可変設定できる。

受信器２６はカラオケ装置１の送信器１６から送られる演奏者識別情報３３と顧客層情報３４、その他カラオケ装置１の各種情報を受信する。また、受信したこれらの情報を広告選択モジュール２７に送る。広告選択モジュール２７は、演奏者識別情報３３と顧客層情報３４から記憶装置２１に格納されている広告情報を選択する。広告選択モジュール２７は、演奏状況判別部５１、顧客層情報決定部５０、及び広告選択部５２で構成されている。また、演奏状況判別部５１は演奏者フラグ３０を持ち、広告選択部５２は広告管理テーブル３５を持つ。受信した演奏者識別情報３３は演奏状況判別部５１に、顧客層情報３４は顧客層情報決定部５０にそれぞれ振り分けられる。広告選択モジュール２７によって選択された広告情報に含まれる映像情報は、サイネージ表示装置２４にて画像表示され、また広告情報に含まれる音声情報についてはサイネージ音響装置２５を介して音声が出力される。

ここで、デジタルサイネージ２にて再生される広告の構成と、再生方法について説明する。デジタルサイネージ２にて再生される広告情報は、例えばＭＰＥＧファイルやＡＳＦファイル、あるいはＭＯＶファイルなどの周知の形式でデジタルデータ化された音声付きの動画ファイルやアニメーションファイル、あるいはスライドショー形式のファイルで構成されるが、他に音声なしの動画ファイルやＪＰＥＧやＰＮＧ、ビットマップ等の静止画を連続表示させる構成としてもよい。

この様な広告において、デジタルサイネージ２はインターネット上の広告管理サーバ１０４と通信し、この広告管理サーバ１０４にデータベース化されて格納されている広告情報データベース１０５から広告をダウンロードし、記憶装置２１の広告情報データベース２８に格納後再生する。但し、必ずしも記憶装置２１に格納後に再生する必要はなく、ストリーミングにより広告管理サーバ１０４から広告をダウンロードしつつ再生してもよい。この際、サイネージ制御装置２０は、広告管理サーバ１０４にある索引情報１０６を用いて広告情報を選択すればよく、広告選択方法は広告情報データベース２８及び索引情報２９へのアクセス方法と同様にて実現できる。また、デジタルサイネージ２の管理者が、通信インタフェース２３に広告が蓄積されたパソコンやスマートホン等を接続し、広告を記憶装置２１に転送してもよい。さらに広告が格納されたタブレットコンピュータをユーザインタフェース２２に接続し、広告を記憶装置２１に転送しても良い。

また広告については、サイネージ制御装置２０は、例えばインターネット１０１と通信インタフェース２３を介して、広告管理サーバ１０４からのタイムスケジュール情報に従い、広告選択モジュール２７にてタイムスケジュール情報に指定された広告、及び再生日時に従って記憶装置２１から広告情報を選択してもよい。また、デジタルサイネージ２の管理者が、任意のタイムスケジュールを作成し、そのタイムスケジュールに従ってサイネージ制御装置２０が広告選択及び表示を行う機能を有しても良い。

次に、記憶装置２１に格納される広告情報の詳細を説明する。以上の説明のとおり、デジタルサイネージ２にて再生可能な広告情報を集めた広告情報データベース２８は、デジタルサイネージ２の記憶装置２１に構築されている。例えばデジタルサイネージ２は、その広告情報データベース２８にアクセスして任意の広告情報を選択するために、図７に示す索引情報２９を有している。

図７は索引情報２９を示す構成図である。図において、索引情報２９は例えば作品番号２０１、映像情報２０２、音声情報２０３、再生時間２０４、データ形式２０５、対象顧客識別情報２０６から構成されている。この索引情報２９において、作品番号２０１は広告作品固有の番号である。映像情報２０２、音声情報２０３は、広告情報に映像と音声が含まれるか否かを表しており、例えば映像情報２０２＝“有”、音声情報２０３＝“有”であれば、音声付広告であることを示す。また、映像情報２０２＝“無”、音声情報２０３＝“有”であれば、音声のみの広告を示す。再生時間２０４は、各広告情報における作品番号別の再生時間を示し、データ形式２０５は各作品番号で定義される広告情報の動画/音声ファイル形式を示す。対象顧客識別情報２０６は、広告別に視聴の対象となる年代や性別を特定する情報であり、例えば、“２０代 女性” “０〜１０代 男性、女性”といったように、対象となる年齢層及び性別が記載される。

次に、広告選択モジュール２７の構成について詳細を説明する。
上記広告選択モジュール２７における演奏状況判別部５１は、受信器２６にて受信された演奏者識別情報３３における演奏者番号４１から、現在のカラオケ演奏者を特定できる。また演奏状況判別部５１は、この演奏者番号４１と演奏者フラグ３０を用いてカラオケ演奏者全員の演奏状況を判別し、その結果を表示する。
顧客層情報決定部５０は、演奏状況判別部５１で判別したカラオケ演奏者全員の演奏状況から、演奏待機中のカラオケ演奏者の演奏者番号４１を特定する。そして、この演奏者番号４１に対応する顧客層情報３４を選択し、待機者の顧客層情報を決定する。広告選択部５２は、顧客層情報決定部５０によって決定した顧客層情報３４に対応する広告を、広告管理テーブル３５を用いて選択する。以下に広告選択モジュール２７内部における各処理部の詳細を説明する。

次に上記した演奏者フラグ３０について説明する。図９は演奏者フラグ３０を示す構成図である。図において、演奏者フラグ３０はカラオケ演奏者１人に対して、演奏者番号４１に対応したカラオケ演奏者の有無４２と演奏状況４３の計２ビットのフラグで構成されている。例えば、演奏者有無４２＝“１”はカラオケ演奏者が存在することを示し、演奏者有無４２＝“０”の場合はカラオケ演奏者が存在しないことを示す。また演奏状況４３＝“１”は、カラオケ演奏者が演奏中であることを示し、演奏状況４３＝“０”は、カラオケ演奏者が待機中、もしくはカラオケ演奏者が不在の場合を示す。図９では、演奏者番号４１＝“１”、“２”、“３”における演奏者有無４２＝“１”であり、演奏状況４３は演奏者番号４１＝“１”が演奏状況４３＝“１”であることから、演奏者番号４１＝“１”は演奏中で、残りの演奏者番号４１＝“２”及び“３”のカラオケ演奏者は待機中であることを示している。また、演奏者番号４１＝“４”は演奏者有無４２＝“０”であることから、カラオケ演奏者が存在しないことを示している。これらの情報から、演奏待機中のカラオケ演奏者を判別できる。具体的には、演奏者有無４２＝“１”かつ演奏状況＝“０”の場合が、演奏待機中のカラオケ演奏者の情報である。そして、カラオケ装置１から受信した演奏者識別情報３３に含まれる演奏者番号４１がこの条件を満たす場合、演奏状況判別部５１は、この演奏者番号４１を演奏待機中のカラオケ演奏者の番号として、顧客層情報決定部５０に出力する。

顧客層情報決定部５０は、受信器２６にて受信した顧客層情報３４と、演奏状況判別部５１から出力される演奏待機中のカラオケ演奏者の演奏者番号４１とを用いて、演奏待機中のカラオケ演奏者の顧客層情報を決定する。決定された顧客層情報は広告選択部５２に出力される。広告選択部５２には広告管理テーブル３５が設けられており、顧客層情報決定部５０にて決定された顧客層情報を元に、広告管理テーブル３５を用いて広告を選択する。

以下、上記した広告管理テーブル３５の詳細について説明する。
図８は広告管理テーブル３５を示す構成図である。図において例えば性別及び年齢層といったユーザ層３９の情報と、広告番号２０７とを連携させるためのテーブルであり、ユーザ層３９が特定されると、再生する広告の広告番号２０７が決定する。例えばユーザの年齢層と性別が、“若者”“女性”の場合、広告番号２０７は“ｄ”もしくは“e”と判断される。なお、図８では“若者”“女性”向けの広告番号２０７は“ｄ”もしくは“e”の2つを設定しているが、この2つの広告番号２０１を選択する方法は任意の方法でよく、例えば“若者”“女性”が選択されるたびに“ｄ”と“ｅ”を交互に使用するか、あるいはランダムに選択する等が可能である。この結果、広告選択部５２にて演奏待機中のカラオケ演奏者の顧客層情報にあった広告が選択される。

次にデジタルサイネージ２における、広告選択モジュール２７における広告選択方法の動作を説明する。図１０は広告選択方法に関する動作フローチャートである。図において、カラオケ装置１にて楽曲演奏が開始されると、受信器２６はカラオケ装置１の送信器１８から送信される演奏開始信号を受信する（Ｓ１３）。カラオケ演奏者による歌唱開始後、受信器２６はカラオケ装置１の送信器１８から送信される演奏者推定情報を受信し、受信された演奏者推定情報を広告選択モジュール２７に出力する（Ｓ１４）。
広告選択モジュール２７は、受信器２６から演奏者推定情報を受け取って演奏者識別情報３３と顧客層情報３４を抽出する（Ｓ１５）。そして、演奏者識別情報３３に含まれる演奏者番号４１から、この演奏者番号に該当する顧客を演奏中のカラオケ演奏者、他の顧客を演奏待機者として、演奏者フラグ３０の演奏状況を更新設定する（Ｓ１６）。

サイネージ制御装置２０は、デジタルサイネージ２における広告の再生状態を確認する（Ｓ１７）。現在再生中の広告が終了すると、広告選択モジュール２７では、演奏者フラグ３０から演奏者有無４２の情報を用いてカラオケ演奏者全員の数を抽出する（Ｓ１８）。カラオケ演奏者が２人以上存在する場合は、演奏待機中のカラオケ演奏者の演奏者番号４１を検出し（Ｓ１９）、顧客層情報決定部５０にて演奏待機中のカラオケ演奏者に対応する顧客層情報を決定する（Ｓ２１）。そして、決定した演奏待機中のカラオケ演奏者の顧客層情報と広告管理テーブル３５のユーザ層３９が合致する場合は、合致した広告番号２０７を再生する広告番号に決定する（Ｓ２２）。Ｓ２２にて決定した広告番号２０７をもとに、記憶装置２１の広告情報データベース２８にある広告から、索引情報２９にて再生する広告を決定する（Ｓ２３）。Ｓ１８において、演奏者フラグ３０における演奏者情報有無がすべて“０”（カラオケ演奏者がいない場合）、もしくはカラオケ演奏者が１人であった場合は、広告選択モジュール２７は、広告管理テーブル３５に登録されている顧客向けの広告から再生する広告をランダムに選択する（Ｓ２０）。サイネージ表示装置２４とサイネージ音響装置２５は、広告選択モジュール２７によって選択された広告を再生する。

受信器２６にてカラオケ装置１の送信器１８から演奏終了信号を受信すると（Ｓ２４）、広告選択モジュール２７はカラオケ装置１における演奏が終了し、カラオケ演奏者が変更されたと判断し、演奏者フラグ３０に対して演奏が終了したカラオケ演奏者の演奏者番号４１を“０”（待機中）に更新する（Ｓ２５）。以後、カラオケ装置１において演奏が再開されると、前記Ｓ１３からＳ２５の処理を繰り返す。

次に、本発明のカラオケ連携システム１００における一連の動作について説明する。
カラオケ装置２において、カラオケ演奏者が演奏する楽曲を選択すると、楽曲の演奏が開始される。演奏開始とともに顧客推定モジュール１７は、楽曲別重み付け情報３６と演奏者別重み付け情報３７をもとに、カラオケ演奏者全員の顧客層情報３４を推定する。また、ワイヤレスマイク４０は演奏中のカラオケ演奏者の音声を音声信号として演奏者識別部３１に入力する。演奏者識別部３１は、演奏中のカラオケ演奏者の音声から、過去に演奏を行ったカラオケ演奏者か、今回初めて演奏するカラオケ演奏者であるかを識別するためのカラオケ演奏者固有の演奏者番号４１を生成する。推定されたカラオケ演奏者全員の顧客層情報３４と、演奏中のカラオケ演奏者の演奏者番号４１を含む演奏者識別情報３３は、演奏者推定情報として送信器１８よりデジタルサイネージ２の受信器２６に送信される。

デジタルサイネージ２の受信器２６は、送信器１８から送信された演奏者推定情報を構成する演奏者識別情報３３と顧客層情報３４を受信すると、広告選択モジュール２７へこれらの情報を出力する。広告選択モジュール２７は、カラオケ演奏者全員の顧客層情報３４を顧客層情報決定部５０へ、演奏中のカラオケ演奏者の演奏者識別情報３３を演奏状況判別部５１へ振り分ける。演奏状況判別部５１は、受信器２６にて受信された演奏者識別情報３３から演奏者番号４１を検出する。また演奏状況判別部５１は、演奏者識別情報３３に含まれる演奏者番号４１から、この演奏者番号に該当する顧客を演奏中のカラオケ演奏者、他の顧客を演奏待機者として、演奏者フラグ３０の演奏状況を更新設定する。
デジタルサイネージ２にて現在再生されている広告の再生が終了すると、広告選択モジュール２７では演奏者フラグ３０からカラオケ演奏者全員の数を抽出する。ここでカラオケ演奏者が２人以上存在する場合は演奏待機中のカラオケ演奏者の演奏者番号４１を検出し、顧客層情報決定部５０にて演奏待機中のカラオケ演奏者に対応する顧客層情報を決定する。また広告選択部５２は、演奏待機中のカラオケ演奏者の顧客層情報と広告管理テーブル３５のユーザ層３９が合致した広告番号２０７を再生する広告番号に決定する。また演奏者フラグ３０においてカラオケ演奏者が１人以下であった場合、広告選択モジュール２７は、広告管理テーブル３５に登録されている顧客向けの広告から再生する広告をランダムに選択する。広告選択モジュール２７によって選択された広告は、サイネージ表示装置２４とサイネージ音響装置２５にて表示再生される。

次に、本発明のカラオケ連携システム１００における広告選択方法の具体例について説明する。図１１において、カラオケ演奏者は演奏者Ａ，及び演奏者Ｂの２名にてカラオケ店を訪れた場合を想定している。演奏者Ａが最初に歌唱を始め、演奏者Ｂは演奏者Ａの次に歌唱を行うために待機している。カラオケ装置１は来店時初期状態のため、演奏者フラグ３０がすべてリセットされている。この状態で演奏者Ａがカラオケ装置１に楽曲を登録すると、演奏開始信号がカラオケ装置１からデジタルサイネージ２に送信されるとともに、演奏者フラグ３０には、演奏者番号４１＝“１”に対応した演奏者有無＝“１”（演奏者有）と演奏状況＝“１”（演奏中）が設定される。また演奏者Ｂに関する情報はなんら設定されていないため、現時点におけるカラオケ演奏者としての登録者は１名となる。この結果、再生する広告は、演奏待機中のカラオケ演奏者がいないと判断され、広告１（ランダム）にて広告情報データベース２８から任意の広告が選択される。演奏者Ａの歌唱が終了すると、カラオケ装置１から演奏終了信号がデジタルサイネージ２に送信され、演奏者Ａの演奏者フラグ３０における演奏状況は“待機中”となるとともに、演奏者Ａに関する顧客推定情報（演奏者識別情報と、推定した顧客層情報）が確定する。広告１が再生完了すると、広告選択モジュール２７では演奏者フラグ３０を参照し、この時点で演奏者Ａが待機中で演奏者Ｂが演奏中であることが判るため、演奏者Ａの性別、年齢層にあった広告２を選択して再生する。演奏者Ｂの歌唱が終了すると、演奏者Ｂの演奏者フラグ３０は“待機中”となるとともに、演奏者Ｂに関する顧客推定情報が確定する。広告２が再生完了した時点で、演奏者Ａは歌唱中で演奏者Ｂは待機中であることから、演奏者Ｂの性別、年齢層にあった広告３の広告を再生する。

なお、上記デジタルサイネージ２の構成に関しては、カラオケ装置１と共通化してもよい。例えば、カラオケ装置１とデジタルサイネージ２が隣り合うような近距離に配置される場合は、サイネージ表示装置２４はカラオケ表示装置１４と共通、すなわち同一の表示装置にカラオケ楽曲情報と広告を表示させてもよく、その他に関しても共有化することが可能である。

さらに、デジタルサイネージ２は必ずしもサイネージ機能に特化した専用機でなければならないものではなく、サイネージ以外の他の機能、例えばアプリケーションプログラム等を有していてもよい。また、Ｗｅｂページを閲覧するブラウザー機能、カラオケ店舗内の飲食物注文システムのセルフオーダー端末の機能、カラオケデータベースにアクセスして楽曲検索をする機能等を搭載してもよい。

以上に述べたように、この実施の形態１のカラオケ連携システム１００におけるカラオケ装置１は、演奏者識別部３１と顧客層推定部３２を有し、演奏者識別部３１と顧客層推定部３２にて現在演奏中のカラオケ演奏者の演奏者識別情報３３と顧客層情報３４を推定する。また、この実施の形態１のカラオケ連携システム１００におけるデジタルサイネージ２は、演奏状況判別部５１と顧客層情報決定部５０と広告選択部５２と広告再生部５３を有し、演奏状況判別部５１と顧客層情報決定部５０と広告選択部５２にて演奏待機中のカラオケ演奏者の顧客層情報にあった広告を選択し、広告再生部５３にて広告を再生する。このような構成により、演奏待機中のカラオケ演奏者にあった広告を再生することができ、広告の訴求効果の高いカラオケ連携システムを得ることができる。

また、演奏者識別部３１では演奏中のカラオケ演奏者の音声を用いて演奏中のカラオケ演奏者を識別しており、音声が持つカラオケ演奏者固有の情報から演奏待機中のカラオケ演奏者を精度よく認識できるので、演奏待機中のカラオケ演奏者の顧客層情報を的確に判断できる。
実施の形態２．

この発明の実施の形態２のカラオケ装置に連携したデジタルサイネージシステムについて、以下図１２を用いて説明する。図１２中、図１と同一符号は同一又は相当部分を示す。この実施の形態２における演奏者識別部３１では、実施の形態１のカラオケ演奏者の音声情報に代えてカラオケ演奏者の顔情報を用いてカラオケ演奏者を認識する。図において、カメラモジュール４０１はユーザインタフェース１２を介して演奏者識別部３１に接続されており、例えばカラオケ表示装置１４に併設することにより、カラオケ演奏中、カラオケ演奏者が楽曲の歌詞を確認するためにカラオケ表示装置１４に表示された歌詞の字幕を確認するためにカラオケ表示装置１１を見る際、演奏中のカラオケ演奏者の顔を撮影することができる。このように設置されたカメラモジュール４０１における顔画像情報は、ユーザインタフェース１２を介して位置情報抽出部４０２に入力される。

位置情報抽出部４０２は、顔画像情報から、目、口、顔の輪郭、しわといった顔の構成要素について、その大きさや位置の情報を抽出して、それぞれの顔の構成要素の位置情報を位置情報記録部４０３に記録する。位置情報記録部４０３は、顔の構成要素の位置情報を任意の数値N（Nは自然数）にて生成される演奏者番号４１と一対にして記録する。これらの情報の記録方法は、例えば初期状態として位置情報記録部４０３に何も情報が記載されていない場合に、位置情報抽出部４０２から顔情報が入力されると、カラオケ制御装置１０は、その情報から位置情報を検出して演奏者番号＝“１“として位置情報記録部４０３に記録する。また位置情報抽出部４０２に演奏者番号＝１とは異なる顔情報が入力されると、カラオケ制御装置１０は、位置情報記録部４０３に、演奏者番号＝２として位置情報を記録する。以後位置情報比較部４０４の比較にて、位置情報記録部４０３に記録されていない位置情報が検出された場合は、新規の演奏者番号と一対にて位置情報を位置情報記録部４０３に記録する。位置情報比較部４０４は、位置情報抽出部４０２からの顔の構成要素の位置情報と、位置情報記録部４０３との構成要素の位置情報を比較し、一致した位置情報に対応する演奏者番号を含む演奏者識別情報３３を出力する。

なお、前記の説明ではカメラモジュール４０１をカラオケ表示装置１４に併設する場合を説明したが、必ずしもカラオケ表示装置１４に併設しなくても、例えば天井や壁等の離れた位置にカメラモジュール４０１を設置してもよい。また、複数人で演奏を行っている場合、カメラモジュール４０１を演奏中のカラオケ演奏者全員の顔が撮影できる位置に固定すれば、一枚の撮影画像から同時に演奏中のカラオケ演奏者全員の顔情報を得ることができるため、カラオケ演奏者が複数いる場合も一人のカラオケ演奏者の場合と同様に演奏者識別情報３３を得ることができる。

この実施の形態２におけるカラオケ連携システム１００においては、カメラモジュール４０１にてカラオケ演奏中のカラオケ演奏者の顔情報を撮影し、この顔情報を用いて演奏中のカラオケ演奏者を識別しているので、カラオケ演奏中のカラオケ演奏者が複数人いる場合も、撮影された顔画像からカラオケ演奏中のカラオケ演奏者全員の顔情報を得ることができる。この結果、演奏中のカラオケ演奏者を精度よく認識できることから、演奏待機中のカラオケ演奏者をより正確に特定できる。

１ カラオケ装置、２ デジタルサイネージ、１７ 顧客推定モジュール、２１ 記憶装置、２４ サイネージ表示装置、２５ サイネージ音響装置、２７ 広告選択モジュール、３０ 演奏者フラグ、３１ 演奏者識別部、３２ 顧客層推定部、３３ 演奏者識別情報、３４ 顧客層情報、３５ 広告管理テーブル、５０ 顧客層情報決定部、５１ 演奏状況判別部、５２ 広告選択部、５３ 広告再生部、１００ カラオケ連携システム。

Claims (10)

1. 楽曲別に顧客層情報が付加された楽曲からカラオケ演奏者の顧客層情報を推定する顧客層推定部、
   前記楽曲を演奏するカラオケ演奏者を識別する演奏者識別情報を生成する演奏者識別部、
   前記演奏者識別情報を用いてカラオケ演奏者が演奏中か演奏待機中かの演奏状況を判別する演奏状況判別部、
   前記演奏状況と前記顧客層情報から演奏待機中のカラオケ演奏者の顧客層情報を決定する顧客層情報決定部、
   前記演奏待機中のカラオケ演奏者の顧客層情報から広告を選択する広告選択部、
   前記広告選択部にて選択された広告を再生する広告再生部、
   を備え、
   前記顧客層推定部は、楽曲演奏者の顧客層を示す重み付け情報で構成された楽曲別顧客層情報から演奏者個々の重み付け情報を算出し、カラオケ演奏者の顧客層情報を推定することを特徴とするカラオケ連携システム。
2. 前記演奏者識別部は、演奏中のカラオケ演奏者の音声情報を用いて演奏者識別情報を生成することを特徴とする請求項１記載のカラオケ連携システム。
3. 前記演奏者識別部は演奏中のカラオケ演奏者の顔情報を用いて演奏者識別情報を生成することを特徴とする請求項１記載のカラオケ連携システム。
4. 前記広告選択部は、カラオケ演奏者の顧客層情報と広告を特定するための識別情報とが一対で記憶された広告管理テーブルを有し、当該広告管理テーブルの顧客層情報と前記顧客層情報決定部により決定された顧客層情報とが一致した場合に前記識別情報を用いて広告を選択することを特徴とする請求項１から請求項３のいずれか１項に記載のカラオケ連携システム。
5. カラオケ連携システムにおける広告選択方法であって、
   楽曲別に顧客層情報が付加された楽曲からカラオケ演奏者の顧客層情報を推定する顧客層推定手段、
   前記楽曲を演奏するカラオケ演奏者を識別する演奏者識別情報を生成する演奏者識別手段、
   前記演奏者識別情報を用いて、カラオケ演奏者が演奏中か演奏待機中かの演奏状況を判別する演奏状況判別手段、
   前記演奏状況と前記顧客層情報から、演奏待機中のカラオケ演奏者の顧客層情報を決定する顧客層情報決定手段、
   前記演奏待機中のカラオケ演奏者の顧客層情報から広告を選択する広告選択手段、
   を備え、
   前記顧客層推定手段は、楽曲演奏者の顧客層を示す重み付け情報で構成された楽曲別顧客層情報から、演奏者個々の重み付け情報を算出し、カラオケ演奏者の顧客層情報を推定することを特徴とする広告選択方法。
6. 前記演奏者識別手段は演奏中のカラオケ演奏者の音声情報を用いて演奏者識別情報を生成することを特徴とする請求項５記載の広告選択方法。
7. 前記演奏者識別手段は演奏中のカラオケ演奏者の顔情報を用いて演奏者識別情報を生成することを特徴とする請求項５記載の広告選択方法。
8. 前記広告選択手段は、カラオケ演奏者の顧客層情報と広告を特定するための識別情報とが一対で記憶された広告管理テーブルを有し、当該広告管理テーブルの顧客層情報と前記顧客層情報決定部により決定された顧客層情報とが一致した場合に前記識別情報を用いて広告を選択することを特徴とする請求項５から請求項７のいずれか１項に記載の広告選択方法。
9. 請求項１に記載のカラオケ連携システムの、前記演奏状況判別部と、前記顧客層情報決定部と、前記顧客層推定部が推定した顧客層情報から広告を選択する前記広告選択部と、前記広告再生部と、
   を備えたデジタルサイネージ。
10. 前記広告選択部は、カラオケ演奏者の顧客層情報と広告を特定するための識別情報が一対で記憶された広告管理テーブルを有し、当該広告管理テーブルの顧客層情報と前記顧客層情報決定部により決定された顧客層情報とが一致した場合に前記識別情報を用いて広告を選択することを特徴とする請求項９に記載のデジタルサイネージ。

Images