JP6604129B2 - カラオケシステム、選曲装置及び選曲用プログラム - Google Patents

Description

本発明は、伴奏に合わせて歌唱を楽しむことのできるカラオケシステム、並びに、歌唱する楽曲を選択する選曲装置及び選曲用プログラムに関する。

従来、社交の場等では、伴奏に合わせて歌唱を楽しむカラオケが行われている。従来、カラオケにおける選曲は、楽曲に対応したコードを記載した冊子（通称、歌本）を利用し、歌唱したい楽曲のコードをリモコン装置に打ち込むことで行われていた。現在、カラオケ装置で再生可能な楽曲数は数万曲以上にのぼるため、選曲方法も歌本の使用に代え、楽曲名、歌手名等で検索可能なリモコン装置が主流となっている。

従来、このようなリモコン装置に対して各種機能の開発が行われている。特許文献１には、利用者の声紋データに基づいて個人同定を行い、同定した個人に対応する歌唱履歴に基づいて選曲を行うことを可能とするシステムが開示されている。

特開２００１−２０９３０号公報

特許文献１に開示されたシステムを使用するとで、ユーザーは音声入力により、過去に歌唱した楽曲の中から選曲することが可能である。現在、カラオケでは膨大な数の楽曲から選択することが可能であるものの、ユーザーが知っている楽曲は限られていることが多く、いつも同じ楽曲が歌唱されることが多かった。本発明は、このような状況を鑑みたものであって、新たな観点による選曲を行うことを可能とするものである。

そのため本発明は、以下の構成を採用したことを特徴としている。
選曲処理と、楽曲再生処理と、登録処理と、を実行可能なカラオケシステムであって、
前記選曲処理は、これまでに楽曲を選択したユーザーの顔画像に基づいて形成されたデータベースを参照し、楽曲を選択するユーザーを撮像した顔画像に対応する楽曲をユーザーに提示することで、ユーザーに楽曲を選択させ、
前記楽曲再生処理は、前記選曲処理で選択された楽曲を再生し、
前記登録処理は、前記選曲処理で楽曲を選択したユーザーの顔画像を前記データベースに登録し、
前記データベースは、これまでに楽曲を選択したユーザーの顔画像に基づいて形成された合成顔画像が対応付けられており、
前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像と、合成顔画像の類似度に基づいてユーザーに楽曲を提示することを特徴とする。

さらに本発明に係るカラオケシステムにおいて、
前記データベースは、歌手別に顔画像が登録され、
前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像に対応する歌手をユーザーに提示することで、ユーザーに楽曲を選択させることを特徴とする。

さらに本発明に係るカラオケシステムにおいて、
前記データベースは、ジャンル別に顔画像が登録され、
前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像に対応するジャンルをユーザーに提示することで、ユーザーに楽曲を選択させることを特徴とする。

さらに本発明に係るカラオケシステムは、
楽曲を選択するユーザーの顔画像を撮像する撮像処理を実行可能とすることを特徴とする。

さらに本発明に係るカラオケシステムにおいて、
前記撮像処理は、選曲処理内で実行され、ユーザーの顔画像を撮像する毎に、撮像した顔画像に対応する楽曲をユーザーに提示することを特徴とする。

さらに本発明に係るカラオケシステムにおいて、
前記選曲処理は、顔画像が所定条件を満たしていない場合、楽曲を提示するために前記顔画像を使用しないことを特徴とする。

さらに本発明に係る選曲装置は、
これまでに楽曲を選択したユーザーの顔画像に基づいて形成されたデータベースを参照し、楽曲を選択するユーザーを撮像した顔画像に対応する楽曲をユーザーに提示することで、ユーザーに楽曲を選択させる選曲処理と、
前記選曲処理で選択された楽曲の再生指示を出力する指示処理と、
前記選曲処理で楽曲を選択したユーザーの顔画像を前記データベースに登録する登録処理と、を実行可能とし、
前記データベースは、これまでに楽曲を選択したユーザーの顔画像に基づいて形成された合成顔画像が対応付けられており、
前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像と、合成顔画像の類似度に基づいてユーザーに楽曲を提示することを特徴とする。

さらに本発明に係る選曲用プログラムは、
これまでに楽曲を選択したユーザーの顔画像に基づいて形成されたデータベースを参照し、楽曲を選択するユーザーを撮像した顔画像に対応する楽曲をユーザーに提示することで、ユーザーに楽曲を選択させる選曲処理と、
前記選曲処理で選択された楽曲の再生指示を出力する指示処理と、
前記選曲処理で楽曲を選択したユーザーの顔画像を前記データベースに登録する登録処理と、を情報処理装置に実行させ、
前記データベースは、これまでに楽曲を選択したユーザーの顔画像に基づいて形成された合成顔画像が対応付けられており、
前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像と、合成顔画像の類似度に基づいてユーザーに楽曲を提示することを特徴とする。

本発明に係るカラオケシステム、選曲装置及び選曲用プログラムによれば、これまでに楽曲を選択したユーザーの顔画像に基づいて形成されたデータベースを参照し、楽曲を選択するユーザーを撮像した顔画像に対応する楽曲をユーザーに提示することで、ユーザーの顔画像を利用した新たな観点による選曲を行うことが可能となる。このような新たな観点による選曲を行うことで、ユーザーがこれまでに歌唱したことのない意外性のある楽曲を選択させることも可能となる。

さらに本発明では、これまでに楽曲を選択したユーザーの顔画像に基づいて架空画像を形成し、架空画像と選曲するユーザーの顔画像の類似度を使用して楽曲を提示することとしている。このような構成により、ユーザーに類似する（あるいは類似しない）架空顔画像が対応付けられた楽曲を提示する趣向性を持たせることが可能である。また、形成した顔画像をユーザーに対して表示することも可能となる。

さらに本発明では、データベースは、歌手別に顔画像が登録され、楽曲を選択するユーザーの顔画像に対応する歌手をユーザーに提示することとしている。このような構成により、自己の顔画像に対応する歌手の持ち歌（楽曲）をユーザーに提示することが可能となる。

さらに本発明では、データベースは、ジャンルに顔画像が登録され、楽曲を選択するユーザーの顔画像に対応するジャンルをユーザーに提示することとしている。このような構成により、自己の顔画像に対応するジャンルの楽曲をユーザーに提示することが可能となる。

さらに本発明では、楽曲を選択するユーザーの顔画像を撮像する撮像処理を実行可能としている。このような構成により、予め顔画像を登録しておく必要が無く、選曲を行う場で顔画像を撮像し、撮像した顔画像を用いて選曲を行うことが可能となる。

さらに本発明では、ユーザーの顔画像を撮像する毎に、撮像した顔画像に対応する楽曲をユーザーに提示することとしている。このような構成により、ユーザーは表情を変えて撮像を行い、表情の変化した顔画像に対応する楽曲から選択することが可能となる。

さらに本発明では、顔画像が所定条件を満たしていない場合、楽曲を提示するために使用しないこととしている。このような構成により、動物の顔画像等を使用したりするといった不正行為を抑制し、データベースが適正に保つことが可能となる。また、同じユーザーについて顔画像を複数回、取得した場合、過去に取得した顔画像と大きく異なる場合、楽曲を提示するために使用しないことで、他人の顔画像を使用する等の不正行為を抑制することも可能となる。

カラオケシステムの構成を示す図 アクティブユーザートップ画面を示す図 顔検索処理を示すフロー図 利用画像選択画面を示す図 利用画像選択処理を示すフロー図 類似判定処理を示すフロー図 各種情報の構成を示す図 合成顔画像情報の形成過程を説明するための模式図 類似判定処理を説明するための模式図 選曲画面を示す図 楽曲確認画面を示す図 楽曲再生処理を示すフロー図 楽曲再生処理時のモニタの様子を示す図

図１は、本実施形態のカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダ）と、リモコン装置１を含んで構成されている。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように接続されている。

カラオケボックスなどの店舗に設置されるカラオケ装置２は、楽曲を演奏するための演奏部として音響制御部２５を備えている。また、カラオケ装置２は、ユーザーからの各種入力を受け付ける操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶する記憶部としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に接続してネットワークに加入する通信手段としてのＬＡＮ通信部２４を備えている。

また、カラオケ装置２は、モニタ４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果を付与する映像制御部３１を備えて構成される。

さらに、このカラオケ装置２では、外部に接続されるモニタ４１以外に、タッチパネルモニタ３３に対して各種情報を表示することを可能としている。タッチパネルモニタ３３は映像制御部３１から入力された映像情報を表示する表示部３３ａと、タッチ入力された位置を操作処理部２２に出力するタッチパネル３３ｂが重畳されて構成されている。このタッチパネルモニタ３３は、カラオケ装置２の操作部、あるいは、リモコン装置１のタッチパネルモニタ１１などと同様、カラオケ装置２の入力部として機能する。ユーザーは、タッチパネルモニタ３３にて楽曲を選択することで、直接カラオケ装置２に予約をさせるなど、カラオケ装置２に対する各種操作を行うことが可能である。

さらに、カラオケ装置２は、各構成を統括して制御するためのＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を備えて構成される。

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザーからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置１と連携して実行される。ユーザーの操作により、リモコン装置１などの入力部で指定された予約情報をメモリ２７中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞再生処理とが同期して実行される処理である。

楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部２５に演奏を実行させる処理である。音響制御部２５にて演奏された楽曲は、歌唱用マイク４３ａ、４３ｂから入力される歌唱音声と一緒にスピーカー４２から放音される。歌詞再生処理は、楽曲情報に含まれる歌詞情報をモニタ４１に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。

一方、リモコン装置１は、予約情報などカラオケ装置２に対して各種指示を送信するとともに、カラオケ装置２あるいはインターネット上に接続されたサーバー装置５から各種情報を受信する。本実施形態では、ユーザーから各種指示を受け付けるユーザーインターフェイスとして、操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザーからのタッチ入力を受付可能としている。

さらにリモコン装置１は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ１４、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニタ１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニタ１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。

また、リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。

さらに本実施形態のリモコン装置１は、カメラ４４を備えている。カメラ４４は、タッチパネルモニタ１１の上方等に配置され、リモコン装置１を使用するユーザーを撮像可能としている。本実施形態では、カメラ４４で撮像したユーザーの顔画像情報を使用して、楽曲検索を行うことが可能となっている。

このようなリモコン装置１の構成により、ユーザーからの各種入力をタッチパネルモニタ１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニタ１１の表示により各種情報を提供することで、カラオケ装置２に対して楽曲予約などの各種指示を行うことが可能とされている。

図２には、本実施形態のアクティブユーザートップ画面が示されている。本実施形態のカラオケシステムは、複数のユーザーが同時にログインして使用することが可能である。ユーザーはログインすることで、自己のユーザー情報を使用した各種サービスを受けることが可能である。このアクティブユーザートップ画面は、ユーザーがログインした直後に表示される画面である。ユーザーが受けることのできるサービスとしては、ユーザーが登録したお気に入り楽曲、お気に入りアーティスト（歌手）、履歴を使用した楽曲検索、あるいは、ユーザーの属性に応じた楽曲の推奨等がある。ユーザーは、このアクティブユーザートップ画面から、希望するサービスを選択することが可能である。

図２に示すアクティブユーザートップ画面の上方には、カラオケシステムにログインしているユーザーに関する情報が表示されている。ログインユーザー欄１０３には、カラオケシステムにログインしているユーザーの分身像１０３ａ〜１０３ｅ（本実施形態では顔部分）が表示される。またログインユーザー欄１０３中、右端に背景がハイライト（白色）で示されるユーザー（分身像１０３ｅ）が、アクティブユーザー（この例ではＡさん）であって、分身像１０３ｅに対応するアクティブユーザーに対するサービスが実行されている状態となっている。アクティブユーザーの切り替えは、ユーザー切り替えボタン１０１を操作することで行うことが可能である。また、ユーザー登録していないユーザーは、ゲストボタン１０２を操作することで、ゲストユーザーとしてカラオケシステムを使用することが可能である。

本実施形態のカラオケシステムは、提供するサービスの１つとして、選曲するユーザーの顔画像を使用して楽曲を検索することを可能としている。サーバー装置５では、楽曲毎に当該楽曲を選曲したユーザーの顔画像に基づいて合成顔画像を形成しデータベースに蓄積する。選曲を行うリモコン装置１等では、新たに選曲を行うユーザーの顔画像に類似する合成顔画像に対応した楽曲を推奨可能としている。このように本実施形態のカラオケシステムは、ユーザーの顔画像を利用した新たな選曲方法を提案するものである。

図３は、本実施形態の顔検索処理を示すフロー図である。顔検索処理は、主にリモコン装置１で行われる処理であるが、カラオケ装置２側で行われる場合もある。顔検索処理は、図２で説明したアクティブユーザートップ画面において、階層的なメニューを選択することで開始される。顔検索処理が開始されると、まず、利用画像選択画面をタッチパネルモニタ１１に表示する（Ｓ１０１）。利用画像選択画面は、ログインしているユーザー（アクティブユーザー）に対して、検索に使用する顔画像を選択させる画面であって、本実施形態では、過去に登録した顔画像を使用するか、もしくは、新たにカメラ４４を使用して撮像するかを選択することが可能となっている。

図４は、リモコン装置１のタッチパネルモニタ１１に表示される顔画像選択画面を示した図である。この顔画像選択画面には、新たに顔画像を撮影するための撮影ボタン１０４と、サーバー装置５に登録された顔画像を使用する登録写真使用ボタン１０５が設けられている。ボタンを操作することで、ユーザーは検索に使用する顔画像を選択することが可能である。図５は、顔画像選択画面を表示する際に実行される利用画像選択処理（Ｓ１３０）を示したフロー図である。顔画像選択画面において、撮影ボタン１０４が操作された場合（Ｓ１３１：撮影）と、リモコン装置１に設けられたカメラ４４を使用して、リモコン装置１を使用しているユーザーの顔が撮像される（Ｓ１３２）。

本実施形態では、撮影された顔画像について、ユーザーの不適切な使用を防止するための判定処理（Ｓ１３３）を実行する。顔検索処理では、本当に選曲をしたユーザーの顔を使用して検索を行うことが好ましい。しかしながら飲酒の席でも行われるカラオケでは、ユーザーの悪ふざけにより、自己の顔以外の顔（例えば、雑誌に掲載された動物やキャラクターの顔等）やものを撮像することが考えられる。判定処理（Ｓ１３３）では、撮像された顔画像の特徴を抽出し、人間の顔か否かをする。なお、判定処理は、このように人間の顔であるか否かのみならず、使用している本人の顔か否かを確認することとしてもよい。例えば、以前にサーバー装置５に本人顔画像情報を登録している場合、登録されている本人顔画像情報と、新たに撮影された顔画像の特徴量を対比する等して、同一人物であるか否かを判定することが考えられる。同一人物でない場合は、撮影した顔画像は不適切であると判定されることになる。撮像された顔画像が適切な場合（Ｓ１３４：Ｙｅｓ）は、撮像された顔画像をタッチパネルモニタ１１に表示して、ユーザーの確認を待つ（Ｓ１３５）。一方、撮像された顔画像が不適切な場合（Ｓ１３４：Ｎｏ）は、カメラ４４による撮影を再度実行する。

タッチパネルモニタ１１に表示された顔画像を確認し、撮り直ししたいユーザーは、図示しないユーザーインターフェイスを使用して、撮り直しを行う旨を伝える（Ｓ１３６：再度撮影）ことで、カメラ４４による撮影を再度実行する（Ｓ１３２）。一方、表示された顔画像で検索を行うことを決定したユーザーは、図示しないユーザーインターフェイスを使用して、選択する旨をリモコン装置１に伝えることで、顔検索に使用する顔画像が決定され、その顔画像は本人顔画像情報となる。選曲を行なっているユーザー（アクティブユーザー）の顔画像の決定後、サーバー装置５に対し、そのユーザーのユーザーＩＤと本人顔画像情報と送信するための判定要求情報が形成される（Ｓ１３７）。図７（Ａ）は、判定要求情報のデータ構成を示した図である。

一方、顔画像選択画面において、登録写真使用ボタン１０５が操作された場合（Ｓ１３１：登録写真）と、リモコン装置１は、サーバー装置５に登録されている本人顔画像の要求を行う（Ｓ１３８）。サーバー装置５の記憶部５１には、以前にユーザーが登録した本人顔画像がユーザーＩＤに対応付けて記憶されている。Ｓ１３８では、ユーザーＩＤを送信することで、アクティブユーザーの本人顔画像情報をサーバー装置５に要求する。要求を受信（Ｓ２０３）したサーバー装置５は、記憶部５１から該当する本人顔画像情報を読み出し（Ｓ２０４）、要求のあったリモコン装置１に送信する（Ｓ２０５）。本人顔画像情報を受信（Ｓ１３９）したリモコン装置１は、タッチパネルモニタ１１に本人顔画像情報を表示（Ｓ１４０）してユーザーに確認させる。ユーザーが本人顔画像を確認した後、撮影の場合と同様、ユーザーＩＤと本人顔画像情報を含んだ判定要求情報が形成される（Ｓ１３７）。

利用画像選択画面を使用した利用画像選択処理（Ｓ１３０）による判定要求情報の作成が完了すると、リモコン装置１は、サーバー装置５に対して判定要求情報を送信する（Ｓ１０２）。サーバー装置５は、判定要求情報を受信（Ｓ２０１）し、受信した判定要求情報と、サーバー装置５の記憶部５１に記憶するデータベースに基づいて類似判定処理（Ｓ２１０）を実行し、要求のあったリモコン装置１に履歴応答情報を送信する（Ｓ２０２）。サーバー装置５が所持するデータベースでは、類似判定処理（Ｓ２１０）に使用する楽曲毎に履歴情報を管理している。

図７（Ｂ）は、サーバー装置５のデータベースで管理する履歴情報のデータ構成である。本実施形態の履歴情報は、楽曲ＩＤ、合成顔画像情報、参加ユーザー情報を含んで構成されている。合成顔画像情報は、これまでに当該楽曲を選曲したユーザーの本人顔画像情報を使用して合成された情報である。この合成顔画像情報を判定要求情報の本人顔画像情報と対比することで、両者間の類似度が判定される。参加ユーザー情報は、合成顔画像情報を形成するのに使用した本人顔画像情報に対応するユーザーＩＤである。参加ユーザー情報は、複数のユーザーＩＤを含んで構成されており、この参加ユーザー情報を参照することで、これまでにこの楽曲を選曲したユーザーを判別することが可能である。

ここで合成顔情報の形成について説明しておく。合成顔情報は、ある楽曲を選曲した場合、選曲したユーザーの本人顔画像情報に基づいて形成される画像情報である。図８は、合成顔画像情報の形成過程を説明するための模式図である。この模式図は、ある楽曲の合成顔画像情報の形成過程を示している。まず選曲１人目のユーザーＡが選曲を行った場合、先に選曲が行われていないため、ユーザーＡの本人顔画像情報に基づいて、合成顔画像情報α１が形成される。次に選曲２人目のユーザーＢが選曲を行った場合、先に形成された合成顔画像情報α１と、ユーザーＢの本人顔画像情報に基づいて、合成顔画像情報α２が形成される。更に、次に選曲３人目のユーザーＣが選曲を行った場合、先に形成された合成顔画像情報α２と、ユーザーＣの本人顔画像情報に基づいて、合成顔画像情報α３が形成される。複数の顔画像から合成顔画像の形成は、例えば、特開２０１０−２２４３７２号公報に開示された技術や、その中で記載された先行技術等、モンタージュやモーフィングなどの公知技術を使用して実施可能である。

合成顔画像情報の形成は、各種形態を採用することが考えられる。例えば、合成画像情報と本人顔画像情報を半々の割合で合成する形態の他、選曲回数に応じた割合で合成することとしてもよい。図８の模式図において、選曲回数に応じた割合で合成する場合、選曲２人目の本人顔画像情報Ｂと合成顔画像情報α１は、１：１の割合で合成されることになるが、３人目の本人顔画像情報Ｃと合成顔画像情報α２は、１：２の割合で合成されることになる。このように選曲を行ったユーザーの顔画像情報を使用して、合成顔画像情報を形成していくことで、ある楽曲を選曲したユーザーの顔の特徴を反映した合成顔画像情報が形成される。

図６は、サーバー装置５で実行される類似判定処理（Ｓ２１０）のフロー図である。類似判定処理（Ｓ２１０）は、リモコン装置１から受信した本人顔画像情報と、データベースの合成顔画像情報とを対比して類似度を算出し、ユーザーに推奨する楽曲を選択する処理である。類似判定処理が開始されると、受信した判定要求情報から本人顔画像情報を取得する（Ｓ２１１）。そして、データベースに記憶する１の楽曲の履歴情報を抽出する（Ｓ２１２）。そして、抽出した履歴情報から合成顔画像情報を取得する（Ｓ２１３）。そして、Ｓ２１１で取得した本人顔画像情報と、Ｓ２１３で取得した合成顔画像情報を対比して両者間の類似度を算出する（Ｓ２１４）。類似判定処理の対象となる全ての楽曲について、類似度の算出が完了する（Ｓ２１５：Ｙｅｓ）と、類似度が高い楽曲を所定数抽出（Ｓ２１６）し、抽出したこれらの楽曲について判定応答情報を作成する（Ｓ２１７）。

ところで、類似度が高い楽曲を抽出する場合、同じユーザーしか選曲していない楽曲が高い類似度となり、以前にユーザーが選曲した楽曲のみが推奨されてしまうことが考えられる。そのため、類似度が高い楽曲を抽出するにあたっては、履歴情報中の参加ユーザー情報を参照し、今回選曲を行ったユーザーしか含まれていない。あるいは、選曲した全ユーザー数に対して今回選曲を行ったユーザーの割合が高い場合（例えば、２人しか選曲しておらず、１人が今回選曲を行ったユーザーである場合）には、当該楽曲を推奨の対象から除外することが好ましい。

図９は、類似判定処理（Ｓ２１０）を説明するための模式図である。この模式図から分かるようにサーバー装置５では、各楽曲に合成顔画像情報が対応付けられており、選曲を行うユーザーの本人顔画像情報との間で類似度が算出される。算出された類似度に基づいて、ユーザーに推奨する楽曲が選定される。本実施形態では、類似度の高い所定数の楽曲を選定しているが、反対に類似度の低い所定数の楽曲を選定し、ユーザーに推奨することとも考えられる。

図７（Ｃ）は、判定応答情報のデータ構成を示した図である。判定応答情報は、楽曲毎に作成される情報であって、楽曲ＩＤ、合成顔画像情報、類似度を含んで構成されている。類似判定処理（Ｓ２１０）で作成された判定応答情報は、要求のあったリモコン装置１に送信される（Ｓ２０２）。

リモコン装置１は、サーバー装置５で作成された判定応答情報を受信（Ｓ１０３）した後、受信した判定応答情報に基づいて選曲画面を表示する（Ｓ１０４）。図１０は、顔検索を行った際に表示される選曲画面を示す図である。選曲画面には、サーバー装置５から受信した判定応答情報の楽曲ＩＤに対応する楽曲（曲名、歌手名）が選択可能に表示されている。各楽曲には、使用しているユーザーの本人顔画像情報との類似度も合わせて表示されている。本実施形態では、類似度の高い順に楽曲を表示しており、ユーザーはどの楽曲が自分の顔と類似度が高いかを確認することが可能となっている。また、画面左側には、類似判定処理（Ｓ２１４）で、本人顔画像情報と合成顔画像情報との間の類似度の算出に使用した本人顔画像情報１０６も表示されている。さらに、本実施形態の選曲画面では、類似判定処理に使用する顔画像を変更して、再度顔検索処理を行うことを可能としている。そのため、画面の下方には、図４の利用画像選択画面と同様の撮影ボタン１０７、登録写真使用ボタン１０８が設けられている。何れかのボタンが操作された場合（Ｓ１０５：Ｙｅｓ）、図５の利用画像選択処理（Ｓ１３０）が実行され、この処理で選択された本人顔画像情報に基づき、再度、サーバー装置５において類似判定処理（Ｓ２１０）が実行される。ユーザーは、表情を変更して撮影を行うことで、表情の違いによる検索結果の違いを楽しむことが可能である。

一方、選曲画面で、写真を変更するためのボタン（撮影ボタン１０７、登録写真使用ボタン１０８）を操作しない場合には、本人顔画像は確定する（Ｓ１０５：Ｎｏ）。本人顔画像が確定している状態で、楽曲が選択された場合（Ｓ１０６：Ｙｅｓ）、楽曲の詳細を確認するための楽曲確認画面を表示する（Ｓ１０７）。図１１は、楽曲確認画面を示す図である。アクティブユーザーとして選曲画面で楽曲を選択した場合、次に、この楽曲確認画面にて、予約を行う楽曲に間違いがないか、曲名、歌手名、歌い出しなどを表示してユーザーに確認させる。本実施形態の楽曲確認画面には、音程設定欄１０９が設けられている。音程設定欄１０９は、演奏する際、ユーザーが歌唱しやすいように音程調整を行うための設定欄であり、音程設定欄１０９の右下に表示されている変更ボタンを操作することで、音程設定用の子画面（図示せず）が表示され、予約する楽曲に対し音程設定値を設定することが可能である。

さらに、楽曲確認画面には、顔検索結果表示欄１１０が設けられている。顔検索結果表示欄１１０には、アクティブユーザー（選曲を行っているユーザー）の本人顔画像情報、確認中の楽曲に対応する合成顔画像情報、及び、両者間の類似度が表示されている。このように、本人顔画像情報と合成顔画像情報を一緒に表示することで、ユーザーは両者を対比してどの程度似ているのかを確認することができる。また、類似度により判定された類似の程度も確認することが可能となっている。なお、顔検索結果表示欄１１０で表示する各種情報は、選曲画面上で表示することとしてもよい。

楽曲確認画面にて歌唱する楽曲を決定したユーザーは、予約ボタン１１２を操作して楽曲を予約する。予約ボタン１１２が操作された場合、リモコン装置１からカラオケ装置２に予約情報が送信される。図７（Ｄ）は、予約情報のデータ構成を示した図である。予約情報には、再生する楽曲を示す楽曲ＩＤの他、予約を行ったユーザーのユーザーＩＤ、音程設定値、選曲するのに使用した本人顔画像情報、楽曲に対応する合成顔画像情報、そして本人顔画像情報と合成顔画像情報の類似度が含まれている。カラオケ装置２は、リモコン装置１などから予約情報を受け取った場合、受け取った予約情報を、カラオケ装置２のメモリ２７で管理する予約テーブルに登録する。

図１２は、本実施形態の楽曲再生処理を示すフロー図である。楽曲再生処理が開始されると、カラオケ装置２内のメモリ２７に記憶している予約テーブルを参照し、次に再生させる楽曲の有無が判定される（Ｓ３０１）。予約テーブル中、次に再生させる楽曲がある場合（Ｓ３０２：Ｙｅｓ）には、当該楽曲の再生を開始する（Ｓ３０３）。楽曲の再生は、楽曲情報中の演奏情報を音響制御部２５に再生させる楽曲演奏処理と、楽曲情報中の歌詞情報を再生する歌詞再生処理とを同期して実行する。本実施形態では、予約情報に含ませた本人顔画像情報、合成顔画像情報、類似度を使用して、楽曲再生中、モニタ４１にこれらの情報を表示することとしている。

図１３は、楽曲再生処理時のモニタ４１の様子を示す図である。モニタ４１には、再生される背景映像に重畳して、歌詞再生処理によって表示される歌詞文字、顔検索結果表示欄４０１が表示されている。この顔検索結果表示欄４０１は、楽曲確認画面で表示した顔検索結果表示欄１１０と同様であって、本人顔画像情報と合成顔画像情報、そして、両者間の類似度が表示されている。楽曲確認画面では、選曲を行っているユーザーしか、類似判定処理の結果を確認できなかったのに対し、このように楽曲再生処理時に顔検索結果表示欄４０１を表示することで、歌唱の場に参加しているユーザーも顔検索処理の結果を視認し、楽しむことが可能となっている。

楽曲の再生が終了した場合（Ｓ３０４：Ｙｅｓ）、今回の再生に基づく歌唱結果情報をサーバー装置５に送信する（Ｓ３０６）。その際、楽曲の再生時間の７０％以上が再生されたこと（Ｓ３０５：Ｙｅｓ）を条件としている。これは、間違えて予約した場合、演奏をキャンセルすること等を想定している。歌唱しないのに歌唱結果情報を送信すると、歌唱していないユーザーの本人顔画像情報に基づいて合成顔画像情報が形成されることになり、合成顔画像情報の形成精度が低下するためである。図７（Ｅ）は、歌唱結果情報のデータ構成を示す図である。歌唱結果情報は、歌唱した楽曲の楽曲ＩＤ、選曲を行ったユーザーの本人顔画像情報、そのユーザーＩＤを含んで構成されている。歌唱結果情報を受信したサーバー装置５では登録処理（Ｓ４０１）を実行し、今回歌唱された楽曲のユーザーＩＤの履歴情報と、新たな本人顔画像情報について、合成顔画像情報、及び、参加ユーザー情報を更新する。

以上、本実施形態のカラオケシステムについて説明したが、本発明はこの実施形態に限られるものではなく、各種変形例を採用することが可能である。以下に本発明の変形例を説明する。

前述の実施形態では、選曲を行うユーザーの本人顔画像情報を使用して楽曲を推奨する顔検索処理について説明したが、顔検索処理の選曲画面において推奨する対象は、楽曲ではなく、歌手あるいは楽曲のジャンルを推奨することとしてもよい。この場合、履歴情報は、歌手別、ジャンル別に管理されることになる。現在、カラオケ装置２で再生可能な楽曲数（選択される可能性のある楽曲）は、膨大な数で、カラオケ装置２の装置数も同時に多地点で稼動しているため、カラオケ装置５毎の各楽曲について、同時に類似判定処理を行うことはサーバー装置５の負荷が大きくなることが考えられる。このように、歌手あるいは楽曲のジャンルを推奨対象とすることで、類似判定処理を行うサーバー装置５の負荷を削減することが可能となる。歌手あるいは楽曲のジャンルが推奨された場合、選曲画面において、ユーザーは、歌手あるいは楽曲のジャンルを選択することで、それに属する楽曲を選曲することになる。また、類似判定処理の負荷を削減する点については、類似判定処理の対象楽曲を、全楽曲とするのではなく、例えば、カラオケ装置５で選曲された楽曲ＩＤをログ情報としてサーバー装置５で収集し、選曲数が多かった楽曲を抽出した人気楽曲、もしくは、選曲するユーザー数が一定数量見込まれる定番楽曲に限定して行うこととしてもよい。

前述の実施形態で使用する合成顔画像情報は、前回までの合成顔画像情報に、今回歌唱したユーザーの本人顔画像情報を合成することとしている。このような形態に代え、これまでに選曲したユーザーの本人顔画像情報をデータベースで管理しておくこととしてもよい。この場合、判定要求情報を受信した場合、それに含まれる本人顔画像情報と、これまでに選曲したユーザーの本人顔画像情報で形成された合成顔画像情報を対比することで類似度が算出される。また、同じユーザーが再度、選曲を行った場合、データベース上の本人顔画像を更新することで、同じユーザーによる重複を防ぐと共に、最新の本人顔画像を使用することが可能となる。

また、顔検索処理では、本人顔画像情報と合成顔画像情報間の類似度としているが、合成顔画像情報を形成することなく、類似度を算出することとしてもよい。例えば、以前に歌唱したユーザーの本人顔画像情報から、顔の特徴量を表すパラメーター（眼、鼻、口等のパーツの大きさ、形状、パーツの配置等）を記憶しておき、これまでに選曲したユーザーの平均的なパラメーターを算出し、今回、選曲を行うユーザーのパラメーターと対比することで類似度を算出すること等が考えられる。

また、前述の実施形態では、本人顔画像情報として、撮影した写真を使用している。合成顔画像情報は、他のユーザーによっても閲覧できる状況となるため、自己の顔が閲覧されることを嫌がるユーザーもいる。そのため、使用する本人顔画像情報は、撮像した写真をそのまま使用するのではなく、写真から抽出した顔の特徴量を使用して作成したキャラクター像としてもよい。新たに形成される合成顔画像情報は、前回までの合成顔画像情報に、写真から抽出した顔の特徴量を加える、あるいは、写真を使用して形成したキャラクター像の特徴量を加えたキャラクター像として形成することが可能である。

以上、本発明についてカラオケシステムを用いて説明したが、本発明はカラオケシステムに限られるものではなく、カラオケシステムで使用するリモコン装置１（選曲装置）であってもよい。また、現在、スマートフォンにアプリ（プログラム）をインストールすることで、スマートフォンをカラオケシステムのリモコンとして使用する形態もある。このようなスマートフォン等の情報処理装置にインストールすることで、本発明の機能を実現する選曲用プログラムについても本発明の範疇に属するものである。

１：リモコン装置 ３１：映像制御部
２：カラオケ装置 ３２：ハードディスク
５：サーバー装置 ３３：タッチパネルモニタ
１１：タッチパネルモニタ ３３ａ：表示部
１１ａ：表示部 ３３ｂ：タッチパネル
１１ｂ：タッチパネル ４１：モニタ
１２：ビデオＲＡＭ ４２：スピーカー
１３：映像制御部 ４３ａ、４３ｂ：歌唱用マイク
１４：メモリ ４４：カメラ
１５：ＣＰＵ ５１：記憶部
１６：無線ＬＡＮ通信部 １０１：ユーザー切り替えボタン
１７：操作部 １０２：ゲストボタン
１８：操作処理部 １０３：ログインユーザー欄
２１：操作部 １０３ａ〜１０３ｅ：分身像
２２：操作処理部 １０４、１０７：撮影ボタン
２４：ＬＡＮ通信部 １０５、１０８：登録写真使用ボタン
２５：音響制御部 １０６：本人顔画像情報
２７：メモリ １０９：音程設定欄
２８：ビデオＲＡＭ １１０、４０１：顔検索結果表示欄
２９：映像再生部 １１２：予約ボタン
３０：ＣＰＵ １３０：アクセスポイント

Claims (8)

1. 選曲処理と、楽曲再生処理と、登録処理と、を実行可能なカラオケシステムであって、
   前記選曲処理は、これまでに楽曲を選択したユーザーの顔画像に基づいて形成されたデータベースを参照し、楽曲を選択するユーザーを撮像した顔画像に対応する楽曲をユーザーに提示することで、ユーザーに楽曲を選択させ、
   前記楽曲再生処理は、前記選曲処理で選択された楽曲を再生し、
   前記登録処理は、前記選曲処理で楽曲を選択したユーザーの顔画像を前記データベースに登録し、
   前記データベースは、これまでに楽曲を選択したユーザーの顔画像に基づいて形成された合成顔画像が対応付けられており、
   前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像と、合成顔画像の類似度に基づいてユーザーに楽曲を提示することを特徴とする
   カラオケシステム。
2. 前記データベースは、歌手別に顔画像が登録され、
   前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像に対応する歌手をユーザーに提示することで、ユーザーに楽曲を選択させることを特徴とする
   請求項１に記載のカラオケシステム。
3. 前記データベースは、ジャンル別に顔画像が登録され、
   前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像に対応するジャンルをユーザーに提示することで、ユーザーに楽曲を選択させることを特徴とする
   請求項１または請求項２に記載のカラオケシステム。
4. 楽曲を選択するユーザーの顔画像を撮像する撮像処理を実行可能とすることを特徴とする
   請求項１から請求項３の何れか１項に記載のカラオケシステム。
5. 前記撮像処理は、選曲処理内で実行され、ユーザーの顔画像を撮像する毎に、撮像した顔画像に対応する楽曲をユーザーに提示することを特徴とする
   請求項４に記載のカラオケシステム。
6. 前記選曲処理は、顔画像が所定条件を満たしていない場合、楽曲を提示するために前記顔画像を使用しないことを特徴とする
   請求項１から請求項５の何れか１項に記載のカラオケシステム。
7. これまでに楽曲を選択したユーザーの顔画像に基づいて形成されたデータベースを参照し、楽曲を選択するユーザーを撮像した顔画像に対応する楽曲をユーザーに提示することで、ユーザーに楽曲を選択させる選曲処理と、
   前記選曲処理で選択された楽曲の再生指示を出力する指示処理と、
   前記選曲処理で楽曲を選択したユーザーの顔画像を前記データベースに登録する登録処理と、を実行可能とし、
   前記データベースは、これまでに楽曲を選択したユーザーの顔画像に基づいて形成された合成顔画像が対応付けられており、
   前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像と、合成顔画像の類似度に基づいてユーザーに楽曲を提示することを特徴とする
   選曲装置。
8. これまでに楽曲を選択したユーザーの顔画像に基づいて形成されたデータベースを参照し、楽曲を選択するユーザーを撮像した顔画像に対応する楽曲をユーザーに提示することで、ユーザーに楽曲を選択させる選曲処理と、
   前記選曲処理で選択された楽曲の再生指示を出力する指示処理と、
   前記選曲処理で楽曲を選択したユーザーの顔画像を前記データベースに登録する登録処理と、を情報処理装置に実行させ、
   前記データベースは、これまでに楽曲を選択したユーザーの顔画像に基づいて形成された合成顔画像が対応付けられており、
   前記選曲処理は、楽曲を選択するユーザーを撮像した顔画像と、合成顔画像の類似度に基づいてユーザーに楽曲を提示することを特徴とする
   選曲用プログラム。