JP6264251B2 - カラオケ装置、プログラム - Google Patents

Description

本発明は、カラオケの参加者を撮影して表示する機能を有するカラオケ装置に関する。

特許文献１には、歌唱者が歌う姿をカメラで撮影して、ディスプレイに表示するカラオケ装置が記載されている。特許文献１に記載のカラオケ装置によれば、動き回る歌唱者をカメラが追跡して撮影をすることができるようになっている。

特開平１０−２４０２７６号公報

ところで、カラオケ装置には歌唱を希望する楽曲を複数予約できる機能がある。これにより、複数人の参加者がカラオケ装置を共同で利用する場合、それぞれの参加者が歌唱を希望する楽曲を予約し、予約された楽曲が演奏される順番に従って各参加者が順次歌唱を行うことができるようになっている。ところが、キッズルームやカラオケ喫茶といった不特定多数の客がカラオケ装置を共同して利用する状況では、次の演奏曲の予約者に対して見ず知らずの誰かが歌唱の順番が到来したことを教えてくれるとは限らない。そのため、予約者は、自分が歌唱する順番がいつ回ってくるのか分からず、不便であった。

一方、特許文献１に記載のような先行技術では、歌唱者を追跡して映し出すことで場を盛り上げることができるとされている。しかしながら、歌唱者だけを映し出す仕組みにおいては、不特定多数の参加者から次の歌唱者を告知することはできない。

本発明は上記問題を解決するためになされたものである。本発明の目的は、参加者の顔画像を用いて、楽曲の演奏中に次の歌唱者を告知する演出を行うための技術を提供することである。

本発明のカラオケ装置は、顔画像取得手段と、リスト作成手段と、演奏手段と、特定手段と、表示制御手段とを備える。顔画像取得手段は、予約を受付けた楽曲に対応する予約者の顔画像を取得する。リスト作成手段は、顔画像取得手段により取得された予約者の顔画像と、その予約者に対応する楽曲を識別する楽曲識別情報とを対応付けて予約リストに登録する。演奏手段は、予約リストにおける演奏順に従って、予約リストに登録されている楽曲を順次演奏する。特定手段は、予約リストに基づいて、演奏手段により現在演奏中の楽曲の次の演奏順に該当する楽曲に対応付けられた顔画像を特定する。表示制御手段は、参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、特定手段により特定された予約者の顔画像に該当する人物を認識する。そして、表示制御手段は、その認識された人物の画像に対して視覚的な演出を施した演出画像を、現在演奏中の楽曲の演奏が所定の位置まで進行したときに所定の表示手段に表示させる。

本発明によれば、楽曲の予約時に取得した顔画像を含む予約リストに基づいて、現在演奏中の楽曲の次に演奏が予定されている楽曲の歌唱者について、撮像画像の中から得られた当該予約者の画像を用いた演出画像を表示することができる。このように、参加者の画像を使って次の歌唱者を告知することで、その歌唱者は歌う順番が近いことを知ることが
できる。また、カラオケに参加している不特定多数の相手に対して、次の歌唱者を紹介したりアピールできる。

請求項２に記載のカラオケ装置は、次の特徴を有する。すなわち、表示制御手段は、現在演奏中の楽曲の演奏が所定の位置まで進行する以前には、その楽曲に対応する所定の背景画像上に歌詞テロップを重畳した画像を表示手段に表示させる。そして、現在演奏中の楽曲の演奏が所定の位置まで進行したときに、表示制御手段は、背景画像を特定手段により特定された予約者に関する演出画像に切替える。このように、楽曲の演奏の途中で通常の背景画像から次の歌唱者を告知する演出画像に切替わることで、演奏中の表示内容に変化が加わり、次の楽曲の演奏に向けて場を盛り上げることができる。

なお、演出画像の具体な内容として、請求項３に記載のようにすることが考えられる。すなわち、表示制御手段は、撮像画像において予約者として認識された人物の画像に対して、所定の告知キャラクタの画像を対応付けて撮像画像上に配置した演出画像を表示させる。このようにすることで、例えば、撮像画像上において次の歌唱者の画像の近傍に個性的なキャラクタ（登場人物）を表示させるといった具合に、次の歌唱者を楽しく紹介することができる。

請求項４に記載のカラオケ装置は、次の特徴を有する。すなわち、表示制御手段は、撮像手段により撮像された撮像画像の中から、特定手段により特定された予約者の顔画像に該当する人物を認識できなかった場合、顔画像取得手段により取得された予約者の顔画像に対して視覚的な演出を施した演出画像を表示させる。このようにすることで、何らかの理由により、撮像画像の中から予約者に該当する人物を認識できなかった場合であっても、楽曲の予約を受付けたときに予め取得しておいた予約者の顔画像を用いて、次の歌唱者を告知する演出画像を表示させることができる。

なお、本発明は、請求項５に記載のように、コンピュータにおいて実行されるプログラム、あるいは当該プログラムを記憶する記憶媒体として実現することもできる。

カラオケ装置１０の概略構成を表すブロック図。 （ａ）予約処理の手順を表すフローチャート、（ｂ）予約リスト登録処理の手順を表すフローチャート。 予約リストの一例を表す説明図。 演出画像表示処理の手順を表すフローチャート。 （ａ）演出画像の表示例１、（ｂ）演出画像の表示例２。

以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［カラオケ装置１０の構成の説明］
図１に示すように、カラオケ装置１０は、制御部１１、記憶部１２、楽曲再生部１３、音声制御部１４、映像制御部１５、映像入力部１６、操作部１７、通信部１８を備える。このカラオケ装置１０は、ユーザからリクエストされたカラオケ楽曲を演奏する機能や、楽曲の演奏時に様々な画像をディスプレイ２３に表示する機能を有する。

制御部１１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備え、各種プログラムを実行することによりカラオケ装置１０の動作を制御する。制御部１１は、後述する予約リスト登録処理（図２参照）及び演出画像表示処理（図４参照）のプログラムを実行することで、楽曲の演奏中に、次の演奏曲を歌唱する予定の参加者を告知する演出画像を作成する（図５参照）。
そして、制御部１１は、作成した演出画像をディスプレイ２３に表示させる。

記憶部１２は、ハードディスクドライブ等の記憶装置である。記憶部１２には、制御部１１により実行されるプログラムや、その実行時に用いられるデータが記憶されている。また、記憶部１２は、個々のカラオケ楽曲に対応する楽曲データ、楽曲の歌詞を表すテロップを表示するための歌詞データ、楽曲の演奏時に表示する背景画像データ等を多数収録したカラオケデータベースを有している。各楽曲データは、ＭＩＤＩ（Music Instrument
Digital Interface）規格に対応した演奏データ（ＭＩＤＩデータ）で構成されている。このＭＩＤＩデータには、カラオケ楽曲の伴奏パートのメロディを演奏するための演奏データが含まれる。

楽曲再生部１３は、記憶部１２に記憶されている楽曲データに基づいて楽曲の再生を行う。音声制御部１４は、音声の入出力を制御するデバイスであり、入力部１４ａ及び出力部１４ｂ等を備える。入力部１４ａには、マイク１９が接続される。これにより、入力部１４ａは、ユーザの歌唱音を取得する。出力部１４ｂにはスピーカ２１が接続されている。出力部１４ｂは、楽曲再生部１３によって再生される楽曲の音源信号、入力部１４ａから出力される歌唱音の音源信号をスピーカ２１に出力する。スピーカ２１は、出力部１４ｂから出力される音源信号を音に換えて出力する。

映像制御部１５は、制御部１１から送られてくる映像データに基づく映像の再生及び出力を行う。映像制御部１５には、映像の表示を行うディスプレイ２３が接続されている。これにより、映像制御部１５は再生した映像をディスプレイ２３に表示させる。映像入力部１６は、映像の入力を制御する制御デバイスである。映像入力部１６には、カメラ２５が接続される。これにより、映像入力部１６は、カメラ２５により撮像された画像データを取得する。カメラ２５は、カラオケ装置１０が設置される場所（例えば、カラオケルーム）に設置される撮像装置であり、カラオケ装置１０を利用してカラオケを行う参加者の居る場所全体の様子を撮像し、撮像した画像データを出力する。

操作部１７は、カラオケ装置１０に対する各種操作を行うための入力装置である。操作部１７は、タッチパネルや種々の入力ボタンを備えており、入力操作に応じた操作信号を制御部１１に出力する。通信部１８は、リモコン端末３０と通信を行うための通信インタフェースである。なお、カラオケ装置１０のその他の構成や機能については公知技術に従っているので、ここでの詳細な説明は省略する。

リモコン端末３０は、カラオケ装置１０を遠隔操作するための端末装置である。リモコン端末３０は、通信機能、情報表示機能及びユーザが入力操作する入力機能を有する。リモコン端末３０には、演奏を予約する楽曲の識別情報（曲番号）等の情報がユーザから入力される。リモコン端末３０は、ユーザから入力された情報をカラオケ装置１０に送信する。

［予約処理、予約リスト登録処理の説明］
リモコン端末３０が実行する予約処理の手順について、図２（ａ）のフローチャートを参照しながら説明する。この処理は、リモコン端末３０が稼動しているときに、所定の制御間隔で繰返し実行される。

Ｓ１００では、リモコン端末３０は、カラオケ装置１０に演奏させる楽曲の予約操作を受付けたか否かを判定する。予約操作を受付けた場合（Ｓ１００：ＹＥＳ）、リモコン端末３０はＳ１０２に進む。一方、予約操作を受付けていない場合（Ｓ１００：ＮＯ）、リモコン端末３０は本処理を終了する。Ｓ１０２では、リモコン端末３０は、楽曲の識別情報（例えば、曲番号）を含む予約情報をカラオケ装置１０に送信する。Ｓ１０２の後、リ
モコン端末３０は本処理を終了する。

次に、リモコン端末３０による予約処理に応じて、カラオケ装置１０の制御部１１が実行する予約リスト登録処理の手順について、図２（ｂ）のフローチャートを参照しながら説明する。この処理は、カラオケ装置１０が稼動しているときに、所定の制御間隔で繰返し実行される。

Ｓ２００では、制御部１１は、予約順を数えるカウンタを１に初期化する。Ｓ２０２では、リモコン端末３０から送信された予約情報を受信する。この予約情報は、上述の予約所処理（図２（ａ）参照）のＳ１０２において送信される情報である。予約情報には、予約者により指定された楽曲の識別情報である曲番号が含まれている。Ｓ２０４では、制御部１１は、現在カウントしている予約順と、Ｓ２０２で受信した予約情報で表される曲番号とを対応付けて予約リスト（詳細は後述する）に登録する。

Ｓ２０６では、制御部１１は、Ｓ２０２で予約情報を受信した時点でカメラ２５により撮像された参加者全体の撮像画像の中から、Ｓ２０２で受信した予約情報に対応する予約者を特定し、その予約者の顔面部分の画像（顔画像）を取得する。具体的には、制御部１１は、カメラ２５から入力された撮像画像の中から、周知の画像認識アルゴリズムによってリモコン端末３０の画像を検出する。そして、検出したリモコン端末の画像から最も近い位置に存在する人物の画像を画像認識により検出する。なお、画像の中から人物の顔を認識する周知技術として、例えば、特許第５００２３１１号が挙げられる。また、特定の物体を認識する周知技術として、例えば、特許第４８３０６９６号等が挙げられる。この検出した人物の画像を楽曲の予約者の画像として特定し、撮像画像から検出された予約者の画像から、顔面部分の画像を抽出する。

Ｓ２０８では、制御部１１は、Ｓ２０８で取得した予約者の顔画像を、Ｓ２０４で登録した予約順及び曲番号に対応付けて予約リストに登録する。次のＳ２１０では、制御部１１は、予約順を数えるカウンタに１を加算する。Ｓ２１０の後、制御部１１はＳ２０２に戻る。

ここで、予約リストの詳細な内容について、図３を参照しながら説明する。図３に例示されるとおり、予約リストには、「予約順」、「曲番号」、「顔画像」の各情報項目に対応する情報が登録されている。予約順は、楽曲が予約された順番を表す。制御部１１は、この予約順に従って、楽曲を順次演奏する。曲番号は、楽曲を識別するための識別情報である。顔画像は、当該楽曲を予約した参加者、すなわち、楽曲を歌唱する予定の参加者の顔面部分の画像を抽出したものである。

［演出画像表示処理の説明］
カラオケ装置１０の制御部１１が実行する演出画像表示処理の手順について、図４のフローチャートを参照しながら説明する。この処理は、予約リストに登録された楽曲を予約順に沿って順次演奏する処理と並行して実行される。前提として、制御部１１は、楽曲の演奏と並行して、演奏対象の楽曲に対応する所定の背景画像データに基づき、ディスプレイ２３に背景画像を表示させる。また、制御部１１は、演奏対象の楽曲に対応する歌詞データに基づき、歌詞を表すテロップを演奏の進行に同期してディスプレイ２３に表示させる。

Ｓ３００では、制御部１１は、楽曲再生部１３による楽曲の演奏が所定の告知タイミングまで進行したか否かを判定する。なお、告知タイミングとしては、楽曲の後半から終盤における特定のタイミング（例えば、リフレイン形式におけるメロディの区切り）とすることが考えられる。楽曲の演奏が告知タイミングまで進行していない場合（Ｓ３００：Ｎ
Ｏ）、制御部１１はＳ３００を繰返す。一方、楽曲の演奏が告知タイミングまで進行した場合（Ｓ３００：ＹＥＳ）、制御部１１はＳ３０２に進む。

Ｓ３０２では、制御部１１は、現在演奏中の楽曲の次の予約順に該当する楽曲、すなわち、次に演奏する予定の楽曲があるか否かを判定する。次の演奏曲がない場合（Ｓ３０２：ＮＯ）、制御部１１は本処理を終了する。次の演奏曲がある場合（Ｓ３０２：ＹＥＳ）、制御部１１はＳ３０４に進む。

Ｓ３０４では、制御部１１は、予約リスト（図３参照）から次の演奏曲の予約者の顔画像を取得する。Ｓ３０６では、制御部１１は、カメラ２５により参加者全体の現在の様子が撮像された撮像画像の中から、Ｓ３０４で取得した予約者の顔画像に該当する人物の画像を画像処理によって検出する。撮像画像の中から予約者に該当する人物を検出する方法としては、例えば、予約者の顔画像をパターンマッチングの認識基準モデルとして適用し、この認識基準モデルと類似性が高い画像を撮像画像から検出する方法が挙げられる。

Ｓ３０８では、制御部１１は、Ｓ３０６の結果、現在の撮像画像の中から予約者の画像を特定できたか否かを判定する。撮像画像の中から予約者の画像を特定できた場合（Ｓ３０８：ＹＥＳ）、制御部１１はＳ３１０に進む。Ｓ３１０では、制御部１１は、カメラ２５により撮像された現在の撮像画像を用いて、Ｓ３０６において認識された予約者の画像に対して視覚的な演出を施した演出画像を作成する。そして、制御部１１は、ディスプレイ２３に表示させているカラオケの背景画像を、撮像画像から作成した演出画像に切替えて表示させる。このとき、演奏中の楽曲に対応する歌詞のテロップについては、演出画像に重畳して表示を継続する。

ここで、Ｓ３１０における演出画像の表示例について、図５（ａ）を参照しながら説明する。図５（ａ）に例示されるとおり、演出画像５０には、カメラ２５により撮像された複数の参加者の実物の画像５１，５２が含まれている。このうち、画像５１が、予約リストから取得した顔画像に基づいて特定された予約者に該当すると想定する。制御部１１は、次に演奏される楽曲の歌唱者を告知する仮想的な登場人物を表す告知キャラクタ５３の画像を、予約者の画像５１の近傍に配置する。また、制御部１１は、次に演奏される楽曲の歌唱者を告知する旨の告知メッセージ５４を、告知キャラクタ５３が話す台詞として告知キャラクタ５３の近傍に配置する。また、制御部１１は、楽曲の歌詞を表すテロップを演出画像５０上に重畳して表示させる。

図４のフローチャートの説明に戻る。Ｓ３０８で予約者の画像を特定できなかった場合（Ｓ３０８：ＮＯ）、制御部１１はＳ３１２に進む。この場合では、予約者が、何らかの理由でカメラ２５の撮像範囲から外れたために、撮像画像に写っていなかったと考えられる。Ｓ３１２では、制御部１１は、予約リストに登録されている次の演奏曲の予約者の顔画像を用いて、視覚的な演出を施した演出画像を作成する。そして、制御部１１は、ディスプレイ２３に表示させているカラオケの背景画像を、予約者の顔画像から作成した演出画像に切替えて表示させる。このとき、演奏中の楽曲に対応する歌詞のテロップについては、演出画像に重畳して表示を継続する。

ここで、Ｓ３１２における演出画像の表示例について、図５（ｂ）を参照しながら説明する。図５（ｂ）に例示されるとおり、制御部１１は、予約リストから取得した予約者の顔画像６１を演出画像６０の中央部に配置する。制御部１１は、次に演奏される楽曲の歌唱者を告知する仮想的な登場人物を表す告知キャラクタ６２の画像を、予約者の顔画像６１の近傍に配置する。また、制御部１１は、次に演奏される楽曲の歌唱者を告知する旨の告知メッセージ６３を、告知キャラクタ６２が話す台詞として告知キャラクタ６２の近傍に配置する。また、制御部１１は、楽曲の歌詞を表すテロップを演出画像６０上に重畳し
て表示させる。

［効果］
実施形態のカラオケ装置１０によれば、次の効果を奏する。
楽曲の予約時に取得した顔画像が登録された予約リスト（図３参照）に基づき、次に演奏が予定されている楽曲の歌唱者の画像に告知キャラクタや告知メッセージ等の演出を施した演出画像を表示することができる。このように、参加者の撮像画像を使って次の歌唱者を告知することで、その歌唱者は歌う順番が近いことを知ることができる。また、カラオケに参加している不特定多数の参加者に対して、次の歌唱者を分かりやすく紹介することができる。

また、演奏における特定のタイミングで、通常の背景画像から次の歌唱者を告知する演出画像に切替えることで、演奏中の表示内容に変化が加わり、次の楽曲の演奏に向けて場を盛り上げることができる。

また、何らかの理由により、カメラ２５により撮像された参加者全体の撮像画像の中から、次の歌唱者の顔画像に該当する人物を認識できなかった場合であっても、楽曲の予約を受付けたときに予約者として予め取得しておいた顔画像を用いて、次の歌唱者を告知する演出画像を表示させることができる。

［変形例］
上述の実施形態においては、カラオケ装置１０がリモコン端末３０から予約情報を受信したときに、カラオケ装置１０に接続されているカメラ２５から取得した撮像画像の中から予約者を特定し、その予約者の顔画像を取得する事例について説明した。これとは別に、リモコン端末３０側に備えられたカメラを用いて、予約者の顔画像を取得する構成であってもよい。

具体的には、リモコン端末３０が備えるディスプレイの付近に、使用者の顔を撮像するためのカメラを設ける。リモコン端末３０は、使用者から楽曲の予約操作を受付けたときに、そのカメラにより使用者の顔を撮像する。そして、リモコン端末３０は、カラオケ装置１０に対して予約情報を送信する際に、撮像した顔画像のデータを併せて送信する。カラオケ装置１０は、リモコン端末３０から予約情報と予約者の顔画像とを受信すると、それらの情報を予約リストに登録する。このようにすることで、カラオケ装置１０に接続されたカメラ２５の撮像画像から楽曲の予約者を特定する方法以外でも、楽曲の予約者の顔画像を取得することができる。

［特許請求の範囲に記載の構成との対応］
実施形態の各構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
図２（ｂ）のＳ２０６（制御部１１）が、顔画像取得手段に相当する。図２（ｂ）のＳ２０８（制御部１１）が、リスト作成手段に相当する。制御部１１及び楽曲再生部１３が、演奏手段に相当する。図４のＳ３０６（制御部１１）が、特定手段に相当する。図４のＳ３１０（制御部１１）が、表示制御手段に相当する。

１０…カラオケ装置、１１…制御部、１２…記憶部、１３…楽曲再生部、１４…音声制御部、１４ａ…入力部、１４ｂ…出力部、１５…映像制御部、１６…映像入力部、１７…操作部、１８…通信部、１９…マイク、２１…スピーカ、２３…ディスプレイ、２５…カメラ、３０…リモコン端末。

Claims (5)

1. 予約を受付けた楽曲に対応する予約者の顔画像を取得する顔画像取得手段と、
   前記顔画像取得手段により取得された予約者の顔画像と、その予約者に対応する楽曲を識別する楽曲識別情報とを対応付けて予約リストに登録するリスト作成手段と、
   前記予約リストにおける演奏順に従って、前記予約リストに登録されている楽曲を順次演奏する演奏手段と、
   前記予約リストに基づいて、前記演奏手段により現在演奏中の楽曲の次の演奏順に該当する楽曲に対応付けられた顔画像を特定する特定手段と、
   参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、前記特定手段により特定された予約者の顔画像に該当する人物を認識し、その認識された人物の画像に対して視覚的な演出を施した演出画像を、現在演奏中の楽曲の演奏が所定の位置まで進行したときに所定の表示手段に表示させる表示制御手段と、
   を備えることを特徴とするカラオケ装置。
2. 請求項１に記載のカラオケ装置において、
   前記表示制御手段は、現在演奏中の楽曲の演奏が所定の位置まで進行する以前には、その楽曲に対応する所定の背景画像上に歌詞テロップを重畳した画像を前記表示手段に表示させており、現在演奏中の楽曲の演奏が所定の位置まで進行したときに、前記背景画像を前記特定手段により特定された予約者に関する前記演出画像に切替えること、
   を特徴とするカラオケ装置。
3. 請求項１又は請求項２に記載のカラオケ装置において、
   前記表示制御手段は、前記撮像画像において予約者として認識された人物の画像に対して、所定の告知キャラクタの画像を対応付けて前記撮像画像上に配置した演出画像を表示させること、
   を特徴とするカラオケ装置。
4. 請求項１ないし請求項３の何れか１項に記載のカラオケ装置において、
   前記表示制御手段は、前記撮像手段により撮像された撮像画像の中から、前記特定手段により特定された予約者の顔画像に該当する人物を認識できなかった場合、前記顔画像取得手段により取得された予約者の顔画像に対して視覚的な演出を施した演出画像を表示させること、
   を特徴とするカラオケ装置。
5. 予約を受付けた楽曲に対応する予約者の顔画像を取得する顔画像取得手順と、
   前記顔画像取得手順において取得された予約者の顔画像と、その予約者に対応する楽曲を識別する楽曲識別情報とを対応付けて予約リストに登録するリスト作成手順と、
   前記予約リストにおける演奏順に従って、前記予約リストに登録されている楽曲を順次演奏する演奏手順と、
   前記予約リストに基づいて、前記演奏手順において現在演奏中の楽曲の次の演奏順に該当する楽曲に対応付けられた顔画像を特定する特定手順と、
   参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、前記特定手順において特定された予約者の顔画像に該当する人物を認識し、その認識された人物の画像に対して視覚的な演出を施した演出画像を、現在演奏中の楽曲の演奏が所定の位置まで進行したときに所定の表示手段に表示させる表示制御手順と、
   をコンピュータに実行させることを特徴とプログラム。