図1は、本発明の実施例であるカラオケシステム10の構成を説明する図である。この図1に示すカラオケシステム10においては、カラオケボックス、スナック、旅館等の店舗12における複数の個室14a、14b、14c、・・・(以下、特に区別しない場合には単に個室14という)にそれぞれ1台乃至は複数台ずつ(図1では1台ずつ)のカラオケ装置16a、16b、16c、・・・(以下、特に区別しない場合には単にカラオケ装置16という)が設置されている。これら複数のカラオケ装置16は、ルータ22を介して通信回線20に接続されており、同様にその通信回線20に接続されたサーバ装置18等との相互間でその通信回線20を介して情報の通信が可能とされている。すなわち、本実施例のカラオケシステム10は、複数のカラオケ装置16と、サーバ装置18等とが、通信回線20を介して相互に通信可能に接続された通信カラオケシステムである。
カラオケシステム10は、カラオケリモコンプログラムがダウンロードされたスマートフォンなどの携帯型情報通信端末装置など、或いはカラオケ装置専用リモコン装置など複数のカラオケリモコン装置28a、28b、28c、・・・(以下、特に区別しない場合には単にリモコン装置28という)を備えており、カラオケ装置16の利用に際して、各利用者(グループ)毎に1台乃至数台ずつのリモコン装置28が貸与され、各個室14において後述するようにカラオケ装置16との間で対応付け処理が行われることで、そのカラオケ装置16の遠隔操作装置としてリモコン装置28が用いられるようになっている。図1に示すように、店舗12内には複数のカラオケ装置16を相互に接続するLAN24が敷設されており、リモコン装置28からのカラオケ装置16への入力は、所定のアクセスポイント26及びLAN24を介したLAN通信等により行われる。
通信回線20は、例えば公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続された広域情報通信網である。
サーバ装置18は、カラオケシステム10を管理する情報配信サービス提供会社によって運営されるサーバであり、そのカラオケシステム10における楽曲情報(カラオケデータ)、背景映像情報、曲間情報等のデジタルコンテンツ(Digital Contents)の保管や入出力管理の基本的な制御を行うセンタ装置として機能する。
サーバ装置18は、カラオケシステム10を利用する各利用者毎の、カラオケ装置16を用いたカラオケ演奏に関する情報を、その利用者の識別情報(ユーザID)と対応付けて記憶するSNS(Social Network Service)データベース等を管理するデータベースサーバとして機能する。本実施例においては、カラオケシステム10のセンタ装置としての機能及びデータベースサーバとしての機能を兼ね備えた単一のサーバ装置18を備えた構成について説明するが、それらセンタ装置及びデータベースサーバが個別のサーバ装置として構成されたものであってもよい。
図2は、カラオケシステム10に備えられたカラオケ装置16の構成を例示するブロック線図である。この図2に示すように、カラオケ装置16は、中央演算処理手段であるCPU42と、読出専用メモリであるROM44と、随時書込読出メモリであるRAM46と、記憶手段であるハードディスク48と、グラフィックスチップ(グラフィックスボード)等の映像処理部50と、サウンドチップ(サウンドボード)等の音声処理部52と、操作パネル54と、表示制御部56及び入力制御部58を介してCPU42に接続されたタッチパネルディスプレイ60と、LANインターフェイス66と、ビデオ出力端子70を介して映像処理部50に接続された映像表示装置であるディスプレイ72と、オーディオ入力端子74を介して音声処理部52に接続された音声入力装置であるマイクロフォン76と、オーディオ出力端子78を介して音声処理部52に接続された音声増幅装置であるアンプ80と、そのアンプ80に備えられた音声出力装置であるスピーカ82と、接続端子88を介して接続された撮像装置であるデジタルカメラ86とを、備えて構成されている。
CPU42は、RAM46の一時記憶機能を利用しつつROM44に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、カラオケ装置16における各種制御を実行する。すなわち、操作パネル54、タッチパネルディスプレイ60、或いはリモコン装置28等により所定の楽曲(カラオケ演奏曲)が選曲入力された場合、その選曲入力された楽曲をRAM46等に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルに登録された楽曲の順番に従ってHDD(以下、ハードディスクという)48から選曲入力された楽曲の楽曲情報に含まれる演奏情報及び歌詞情報を読み出し、読み出された楽曲情報をRAM46に一時記憶する楽曲情報読出制御、楽曲の演奏進行に応じてそのRAM46に一時記憶された楽曲情報に含まれる演奏情報を音声処理部52へ送信する演奏出力制御、その演奏出力制御に際してRAM46に一時記憶された楽曲情報に含まれる歌詞情報に基づいて歌詞文字映像を生成して映像処理部50へ送信する歌詞文字映像出力制御、演奏出力制御に際して映像処理部50を制御して所定の背景映像を再生させる背景映像出力制御、及びカラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御等の基本的な制御を実行する。
映像処理部50は、ディスプレイ72に表示される画像(映像)の描画に係る各種制御を行う。例えば、CPU42から供給されるデータに基づいてグラフィックスメモリにそのデータを書き込み、そのデータを読み出すことによってビデオ出力端子70を介してディスプレイ72に所定の画像を表示させる制御を行う。具体的には、カラオケ装置16による楽曲の演奏出力(カラオケ演奏)に際して、CPU42において生成された歌詞文字映像等の文字映像(テロップ)を出力させたり、ハードディスク48に記憶されたMPEG(Moving Picture Experts Group)データ等の背景映像情報に基づいて所定の背景映像を再生(デコード)させたり、その背景映像の前面側に歌詞文字映像を合成させてディスプレイ72に表示させたり、その歌詞文字映像を楽曲の演奏進行に応じて順次色替わり表示させる等の各種表示制御を行う。本実施例においては、映像処理部50によりディスプレイ72の表示制御を行う一方、後述する表示制御部56により前記タッチパネルディスプレイ60(表示装置62)の表示制御を行う態様について説明するが、映像処理部50によりタッチパネルディスプレイ60の表示制御をも行う態様も考えられる。この態様において、表示制御部56は必ずしも設けられなくともよい。
音声処理部52は、FM音源やPCM音源等の各種音源を備え、カラオケ装置16による音声出力に係る各種制御を行う。好適には、電子回路により音を合成し、各種音色を発生するシンセサイザ(synthesizer)を備えている。このシンセサイザは、ハードディスク48から読み出されて送信されるカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する。シンセサイザは、好適には、MIDI(Musical Instrument Digital Interface)端子を備えたものであり、演奏情報は、例えばMIDI形式のデータである。そのMIDIデータに基づいてシンセサイザにより生成された音楽信号は、マイクロフォン76からオーディオ入力端子74を介して入力される利用者(演奏者)の歌声とミキシングされ、オーディオ出力端子78を介してアンプ80に供給されてそのアンプ80により増幅されてスピーカ82から出力される。
操作パネル54は、カラオケ装置16の利用者が歌いたい楽曲を検索や選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための画像を表示するタッチパネルディスプレイ60、操作ボタン(スイッチ)、或いはつまみを備えた入力装置である。タッチパネルディスプレイ60は、画像(映像)を表示させる利用者の操作に応じてカラオケ装置16への操作入力を行う装置である。タッチパネルディスプレイ60は、所定の画像(映像)を表示させる表示装置62と、利用者の指や図示しない備え付けのペン等による前記タッチパネルディスプレイ60への接触により入力を受け付けるタッチパネル64とを、備えている。表示制御部56は、CPU42から供給される情報に基づいて表示装置62に表示される画像(映像)の描画を制御する映像処理部である。入力制御部58は、タッチパネル64により入力される操作入力情報をCPU42等に供給する入力処理部である。以上の構成を備えていることで、タッチパネルディスプレイ60は、ディスプレイ72とは別に第2の映像表示装置として機能し、さらにカラオケ装置16の利用者が歌いたい楽曲を検索や選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力装置として機能する。
LANインターフェイス66は、LAN接続端子84を介してカラオケ装置16とLAN24とを接続するための接続器であり、そのようにLAN24に接続されることで、カラオケ装置16は、同様にLAN24に接続されたリモコン装置28等の他の機器との間で情報の送受信が可能とされる。カラオケ装置16が設置される店舗等に複数台のカラオケ装置16が備えられている場合において、同様にLAN24に接続されたカラオケ装置16相互間において情報の送受信が可能とされる。例えば、LAN24に接続されたアクセスポイント26を介して受信されるリモコン装置28からの選曲入力を受け付けてRAM46に設けられた予約曲テーブルに記憶したり、そのアクセスポイント26を介してカラオケ装置16からリモコン装置28へ所定の情報を送信したりというように、電波を介してカラオケ装置16とリモコン装置28との間における相互の情報のやりとりが実行される。
デジタルカメラ86(第1撮像手段)は、例えばCCD(charge coupled device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子及びレンズを備え、そのレンズから入射される映像を撮像素子により検知し、その映像を電子情報(撮像画像情報)として取得する所謂デジタルビデオカメラであり、少なくとも動画(時間の経過に従い変化する動きのある映像)を撮影し得るものであるが、必要に応じて静止画(スチル写真)を撮影できるように構成されたものであってもよい。このデジタルカメラ86により撮影された撮像画像情報は、図示しないビデオ端子等のインターフェイスを介してCPU42等へ供給され、RAM46等に記憶される。デジタルカメラ86は常に起動された状態にして、人の顔を判定したら撮影を実行する設定がされていてもよい。
カラオケ装置16は、図1に示すように、LAN24及びルータ22等を介して通信回線20に接続されており、同様にその通信回線20に接続された他の機器との相互間でその通信回線20を介して情報の通信が可能とされている。好適には、通信回線20を介してサーバ装置18に接続されており、そのサーバ装置18から送信された楽曲情報(カラオケデータ)、背景映像情報、及び曲間情報等のデジタルコンテンツ(Digital Contents)を受け付けるものである。
図3は、本発明のリモコン装置の構成を示すブロック線図である。リモコン装置28は、所定の画像(映像)を表示させると共に、タッチパネルディスプレイ102に接触されることで利用者の入力操作を受け付け、受け付けた入力操作に応じて入力を行うためのタッチパネルディスプレイ102を備える。リモコン装置28は、無線LAN通信部120を備え、その無線LAN通信部120によりアクセスポイント26及びLAN24を介してカラオケ装置16に無線接続されるようになっており、タッチパネルディスプレイ102における入力操作に応じて、カラオケ装置16に対して所定の楽曲の選曲入力をはじめとする各種入力操作を行う。リモコン装置28は、換言すれば、タッチパネルディスプレイ102における入力操作に対応する信号をカラオケ装置16へ送信するカラオケ用遠隔操作装置(リモートコントロール装置)である。
図3に示すように、リモコン装置28は、タッチパネルディスプレイ102に所定の画像を表示させる表示装置104と、その表示装置104による表示を制御する表示制御部106と、利用者の指や図示しない備え付けのペン等によるタッチパネルディスプレイ102への接触により入力を行うタッチパネル108と、そのタッチパネル108による入力を制御する入力制御部110と、中央演算処理手段であるCPU112と、読出専用メモリであるROM114と、随時書込読出メモリであるRAM116と、フラッシュROM等の記憶部118と、無線LAN通信部120と、デジタルカメラ122とを、備えて構成されている。CPU112は、リモコン装置28に備えられたコンピュータに相当する。リモコン装置28は、好適には、タッチパネルディスプレイ102を備え、インターネット上における各種コンテンツを、そのタッチパネルディスプレイ102に表示させるウェブブラウザ機能等を備えた所謂タブレット端末である。リモコン装置28は、好適には、公知のジャイロセンサを備えたものであり、重力方向を基準とするリモコン装置28の姿勢(方向)に応じて、タッチパネルディスプレイ102に表示される画像が90°ずつ回転(すなわち、縦横回転)させられるように構成されている。
CPU112は、RAM116の一時記憶機能を利用しつつROM114に記憶された情報に基づいて情報処理を実行する所謂マイクロコンピュータであり、表示制御部106を介してタッチパネルディスプレイ102(表示装置104)に所定の画像を表示させたり、その画像に基づくタッチパネルディスプレイ102(タッチパネル108)への接触により入力制御部110を介して入力される入力信号を処理したり、その入力信号に基づき前記無線LAN通信部120等を介して前記カラオケ装置16へ選曲入力をはじめとする入力操作に対応する信号の送信を行ったりといった基本的な制御を実行する。
リモコン装置28は、例えば無線LAN通信部120等を介してカラオケ装置16との間で通信を行うことにより、そのカラオケ装置16に関連付けられる。すなわち、リモコン装置28が、所定のカラオケ装置16のカラオケ用遠隔操作装置として関連付けられる。リモコン装置28は、カラオケ装置16に関連付けられた後、無線LAN通信部120等を介してカラオケ装置16へ入力操作に対応する信号を送信するそのカラオケ装置16のカラオケ用遠隔操作装置として機能する。すなわち、関連付け処理が行われた後、リモコン装置28とカラオケ装置16との間の通信は、LAN24及び前記アクセスポイント26等を介したLAN通信により行われる。カラオケ装置16との間で関連付け処理が行われたリモコン装置28は、カラオケ装置16との間で相互に情報の通信を行うことで、そのカラオケ装置16一部として機能する。
デジタルカメラ122(第2撮像手段)は、例えばCCD(charge coupled device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子及びレンズを備え、そのレンズから入射される映像を撮像素子により検知し、その映像を電子情報(撮像画像情報)として取得する所謂デジタルビデオカメラであり、少なくとも動画(時間の経過に従い変化する動きのある映像)を撮影し得るものであるが、必要に応じて静止画(スチル写真)を撮影できるように構成されたものであってもよい。このデジタルカメラ122により撮影された撮像画像情報は、CPU112等へ供給され、RAM116等に記憶される。
図4は、カラオケシステム10に備えられたサーバ装置18の構成を説明する図である。この図4に示すように、サーバ装置18は、中央演算処理手段であるCPU130、読出専用メモリであるROM132、及び随時書込読出メモリであるRAM134を備え、CPU130によりRAM134の一時記憶機能を利用しつつROM132に予め記憶されたプログラムに従って信号処理を行う所謂コンピュータである。TFTやPDP等の映像表示装置136と、その映像表示装置136による映像の表示を制御するためのビデオボード(グラフィックスチップ)等の映像処理部138と、キーボード等の入力装置140と、その入力装置140による入力を処理するためのインターフェイス142と、CPU130等を前記通信回線20に接続するためのモデム144とを、備えて構成されている。
図4に示すように、サーバ装置18は、データベース146を図示しないハードディスク内に備える。このデータベース146は、カラオケシステム10におけるカラオケ装置16等に送信するための複数の楽曲情報(カラオケデータ)を記憶するものであり、新しく作成された楽曲情報はこのデータベース146に蓄積される。そして、所定の送信制御プログラムにより定期的に、あるいはカラオケ装置16等からの送信要求に応じて、随時新たな楽曲情報がサーバ装置18のデータベース146から通信回線20を介して、カラオケ装置16等に送信される。
データベース146は、カラオケ装置16により演奏出力可能な楽曲にそれぞれ対応する複数(例えば、数万曲分)の楽曲情報(カラオケデータ)を記憶する。この楽曲情報は、音声処理部52により所定の楽器の演奏音を生成するための演奏情報と、歌詞文字映像(歌詞テロップ)を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字映像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツIDである各楽曲に固有の選曲番号により識別される。また、楽曲情報には、その楽曲の曲名、アーティスト名(歌手名)、発表年月日、曲の長さ(演奏時間)、ジャンル、曲調、アーティスト(歌手)の出身地、コンサート情報(近い将来その楽曲のコンサートが行われる開催地等に係る情報)、タイアップ情報(例えばその楽曲が主題歌として用いられたドラマの放映された曜日、時間帯、CMソング)等の情報が関連付けられてデータベース146に記憶されている。
図5は、カラオケ装置16のCPU、サーバ装置18のCPU、リモコン装置28のCPUに備えられた制御機能の要部を説明する機能ブロック線図である。図5で示すように、楽曲再生手段150、顔情報判定手段152、デジタルカメラ86、撮像情報制御手段154、通信処理制御手段156、および関連付け情報記憶手段158は、カラオケ装置16のCPUに機能的に備えられたものである。位置情報制御手段162、デジタルカメラ122、撮像情報制御手段164、通信処理制御手段166、および関連付け情報記憶手段168は、リモコン装置28のCPUに機能的に備えられたものである。カラオケ装置識別情報手段172、リモコン装置識別情報記憶手段174、非通信リモコン装置特定手段176、位置情報特定手段178、同一利用者判断手段180、関連付け決定手段182、通信処理制御手段184、撮像画像情報検索手段186、および撮像画像情報受信手段188は、サーバ装置18のCPUに機能的に備えられたものである。
楽曲再生手段150は、楽曲情報読出制御によって読み出された楽曲情報に含まれる演奏情報と歌詞情報とに基づいて楽曲の再生を行う。
顔情報判定手段152は、デジタルカメラ86で撮影された撮像画像情報に顔が含まれているかを判定する制御を行う。具体的には、例えば、顔認識ソフトを用いて人の顔の特徴点となる眉や目や鼻等を抽出することで人の顔を認識し判定する。
撮像情報制御手段154は、顔情報判定手段152によりデジタルカメラ86で撮影された撮像画像情報に顔が含まれると判定された場合に、撮影指示の制御をデジタルカメラ86に行い、そして、デジタルカメラ86で撮影された撮像画像情報(第1撮像画像情報)を受信する。
通信処理制御手段156は、撮像情報制御手段154によって撮像画像情報(第1撮像画像情報)を受信した場合に、撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーとを関連付けてサーバ装置18に送信する制御を行う。さらに、通信処理制御手段156は、後述するサーバ装置18に設けられた関連付け決定手段182により通信が許可されたリモコン装置28のシリアルナンバーを受信する。
関連付け情報記憶手段158は、通信処理制御手段156によって受信されたリモコン装置28のシリアルナンバーを記憶して、そのリモコン装置28のシリアルナンバーが示すリモコン装置28とカラオケ装置16とを通信可能にする処理を行う。
位置情報制御手段162は、リモコン装置28の測位装置、例えばGPSによってリモコン装置28の位置情報を取得する。
撮像情報制御手段164は、カラオケ装置16とリモコン装置28とを関連付けるためデジタルカメラ122による利用者の撮影指示を受信した場合に、その撮影指示の制御をデジタルカメラ122に行い、デジタルカメラ122によって撮影された撮像画像(第2撮像画像情報)を受信する。
通信処理制御手段166は、撮像情報制御手段164にて撮像画像情報(第2撮像画像情報)を受信した場合に、撮像画像情報(第2撮像画像情報)と、位置情報制御手段162によって取得された位置情報(GPS情報)とリモコン装置28のシリアルナンバーとを関連付けてサーバ装置18に送信する制御を行う。さらに、通信処理制御手段166は、後述するサーバ装置18に設けられた関連付け決定手段182により通信が許可されたカラオケ装置16のシリアルナンバーを受信する。
関連付け情報記憶手段168は、通信処理制御手段166によって受信されたカラオケ装置16のシリアルナンバーを記憶して、そのカラオケ装置16のシリアルナンバーが示すカラオケ装置16とリモコン装置28とを通信可能にする処理を行う。
カラオケ装置識別情報記憶手段172は、撮像画像情報受信手段188から送信された撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーとを受信した場合に、その撮像画像情報(第1撮像画像情報)とカラオケ装置16のカラオケ装置シリアルナンバーとを関連付けて記憶する。
リモコン装置識別情報記憶手段174は、撮像画像情報受信手段188から送信された撮像画像情報(第2撮像画像情報)とリモコン装置28のシリアルナンバーと位置情報(GPS情報)とを受信した場合に、撮像画像情報(第2撮像画像情報)とリモコン装置28のリモコン装置シリアルナンバーと位置情報(GPS情報)とを関連付けて記憶する。
非通信リモコン装置特定手段176は、カラオケ装置16と通信していないリモコン装置28を特定する処理を行う。具体的には、後述する関連付け決定手段182に備えるRAMに記憶されていないリモコン装置28のシリアルナンバーを関連付けたリモコン装置28をリモコン装置識別情報記憶手段174から抽出する。
位置情報特定手段178は、非通信リモコン装置特定手段176によって特定されたリモコン装置28について、リモコン装置識別情報記憶手段174に記憶された撮像画像情報(第2撮像画像情報)とリモコン装置28のシリアルナンバーと位置情報(GPS情報)とに基づき、リモコン装置28を利用している店舗(エリア)を特定する。
同一利用者判断手段180は、位置情報(GPS情報)に関連付けられた撮像画像情報(第2撮像画像情報)と、カラオケ装置16のシリアルナンバーに関連付けられた撮像画像情報(第1撮像画像情報)とが一致するか否かを判断する。例えば、撮像画像情報に含まれる眉や目や鼻等の特徴点を複数抽出して比較することで、それぞれの撮像画像情報が一致するか否かを判断する。また、同一利用者判断手段180は、後述する撮像画像情報検索手段186によって抽出されるカラオケ装置16のシリアルナンバーに関連付けられた撮像画像情報(第1撮像画像情報)と、位置情報(GPS情報)に関連付けられた撮像画像情報(第2撮像画像情報)とが一致するか否かを判断するものであってもよい。
関連付け決定手段182は、同一利用者判断手段180によって撮像画像情報(第2撮像画像情報)と撮像画像情報(第1撮像画像情報)とが一致すると判断された場合に、カラオケ装置16とリモコン装置28とを関連付けて記憶する。具体的には、撮像画像情報(第1撮像画像情報)に関連付けられたカラオケ装置16のシリアルナンバーと、撮像画像情報(第2撮像画像情報)に関連付けられたリモコン装置28のシリアルナンバーとを関連付けて関連付け決定手段182に備えるRAMに記憶し、カラオケ装置16とリモコン装置28との相互の通信を許可する処理を行う。
通信処理制御手段184は、関連付け決定手段182によって関連付けられたカラオケ装置16のシリアルナンバーをリモコン装置28に送信すると共に、関連付け決定手段182で関連付けられたリモコン装置28のシリアルナンバーをカラオケ装置16に送信する。
撮像画像情報検索手段186は、位置情報特定手段178で特定されたリモコン装置28を利用している店舗(エリア)情報に基づいて、カラオケ装置識別情報記憶手段172に記憶された撮像画像情報(第1撮像画像情報)を検索し、抽出する。具体的には、カラオケ装置識別情報記憶手段172に記憶されたカラオケ装置16のシリアルナンバーに基づいて、当該カラオケ装置16のシリアルナンバーのカラオケ装置16が設置されている場所情報を他のサーバ装置18から取得し、取得された場所とカラオケ装置16のシリアルナンバーとを関連付けてカラオケ装置識別情報記憶手段172に記憶される。位置情報特定手段178で特定されたリモコン装置28を利用している店舗(エリア)情報と、カラオケ装置識別情報記憶手段172に記憶された場所情報とから該当するカラオケ装置16のシリアルナンバーを検索し、カラオケ装置16のシリアルナンバーに関連付けられた撮像画像情報(第1撮像画像情報)を抽出する。
撮像画像情報受信手段188は、カラオケ装置16の通信処理手段156から送信された撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーと、リモコン装置28の通信処理手段166から送信された撮像画像情報(第2撮像画像情報)と、位置情報(GPS情報)と、リモコン装置28のシリアルナンバーとを受信する。撮像画像情報受信手段188は、受信した撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーをカラオケ装置識別情報記憶手段172に送信する。撮像画像情報受信手段188は、受信した撮像画像情報(第2撮像画像情報)と、位置情報(GPS情報)と、リモコン装置28のシリアルナンバーとをリモコン装置識別情報記憶手段174に送信する。
撮像画像情報受信手段188は、楽曲再生手段150によって楽曲情報が演奏出力されている場合には、カラオケ装置16から撮像画像情報(第1撮像画像情報)を受信しない制御を行う。また、撮像画像情報受信手段188は、カラオケ装置16に設けられた顔情報判定手段152によってデジタルカメラ86で撮影された撮像画像情報(第1撮像画像情報)に顔情報が含まれると判断された場合にはカラオケ装置16から撮像画像情報(第1撮像画像情報)を受信する制御を行う。
図6は、カラオケ装置16のCPUにより実行される本実施例の関連付け制御の一例を示すフローチャートであり、繰り返し実行される。
ステップ(以下、ステップを省略する)S1において、顔情報判断手段152の機能に対応するS1が実行される。常に起動しているカラオケ装置16に設けられたデジタルカメラ86で撮影した撮像画像情報に人の顔が含まれるかが判断される。S1の判定が否定される場合は、この判定が肯定されるまで繰り返し実行されるが、肯定される場合は、撮像情報制御手段154の機能に対応するS2が実行される。S2では、S1において人の顔が含まれると判定された撮像画像情報に基づき、デジタルカメラ86に撮影指示がされる。
S3において、S2において撮影指示されたデジタルカメラ86から撮影され撮像画像情報を受信したか否かが判定される。具体的には、デジタルカメラ86によって撮影された撮像画像情報(第1撮像画像情報)を撮像情報制御手段154が受信したか否かが判断される。S3の判定が否定される場合は、この判定が肯定されるまで繰り返し実行されるが、肯定される場合は、通信処理制御手段156の機能に対応するS4が実行される。
S4において、撮影された撮像画像情報とカラオケ装置16のシリアルナンバーとが関連付けられサーバ装置18に送信される。具体的には、撮影された撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーとが関連付けられ、関連付けられた撮像画像情報とカラオケ装置16のシリアルナンバーとを通信処理制御手段156からサーバ装置18に送信される。
S5において、リモコン装置28のシリアルナンバーとその通信許可信号を受信したか否かが判定される。具体的には、サーバ装置18に通信処理制御手段184より送信される通信が許可されたリモコン装置28のシリアルナンバーとその通信許可信号を通信処理制御手段156が受信したか否かが判断される。S5の判定が否定される場合は、S1以下が繰り返し実行されるが、肯定される場合は、関連付け情報記憶手段158の機能に対応するS6が実行される。S6では、通信処理制御手段156が受信したリモコン装置28のシリアルナンバーを関連付け情報記憶手段158に記憶して通信可能にする処理が行われ、本ルーチンは終了する。
図7は、リモコン装置28のCPUにより実行される本実施例の関連付け制御の一例を示すフローチャートであり、繰り返し実行される。
S11において、カラオケ装置16とリモコン装置28とを関連付けることを目的とした利用者によってデジタルカメラ122の撮影指示があったか否かが判定される。S11の判定が否定される場合は、この判定が肯定されるまで繰り返し実行されるが、肯定される場合は、撮像情報制御手段164の機能に対応するS12が実行される。S12では、デジタルカメラ122に撮影を指示する。
S13において、S12において撮影を指示されたデジタルカメラ122から撮影された撮像画像情報(第2撮像画像情報)を撮像情報制御手段164が受信したか否かが判定される。S13の判定が否定される場合は、この判定が肯定されるまで繰り返し実行されるが、肯定される場合は、通信処理制御手段166の機能に対応するS14が実行される。
S14において、撮影された撮像画像情報とリモコン装置28のシリアルナンバーと位置情報(GPS情報)とがサーバ装置18に送信される。具体的には、撮影された撮像画像情報(第2撮像画像情報)とリモコン装置28のシリアルナンバーと位置情報(GPS情報)とが関連付けられ、関連付けられた撮像画像情報とリモコン装置28のシリアルナンバーと位置情報とを通信処理制御手段166からサーバ装置18に送信する。
S15において、カラオケ装置16のシリアルナンバーとその通信許可信号を受信したか否かが判定される。具体的には、サーバ装置18に通信処理制御手段184より送信される通信が許可されたカラオケ装置16のシリアルナンバーとその通信許可信号とを通信処理制御手段166が受信したか否かが判定される。S15の判定が否定される場合は、S11以下が繰り返し実行されるが、肯定される場合は、関連付け情報記憶手段168の機能に対応するS16が実行される。S16では、通信処理制御手段166で受信したカラオケ装置16のシリアルナンバーを関連付け記憶手段168に記憶して通信可能にする処理が行われ、本ルーチンは終了する。
図8は、サーバ装置18のCPUにより実行される本実施例の関連付け制御の一例を示すフローチャートであり、繰り返し実行される。
S21において、撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーとを受信したか否かが判定される。具体的には、カラオケ装置16の通信処理手段156から送信される撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーとを撮像画像情報受信手段188が受信したか否かが判定される。S21の判定が否定される場合は、S23が実行される。S21の判定が肯定される場合は、カラオケ装置識別情報記憶手段172の機能に対応するS22が実行される。S22では、撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーとが関連付けて記憶される。具体的には、撮像画像情報受信手段188から送信される撮像画像情報(第1撮像画像情報)とカラオケ装置16のシリアルナンバーとが関連付けてカラオケ装置識別情報記憶手段172に記憶される。
S23において、撮像画像情報(第2撮像画像情報)とリモコン装置28のシリアルナンバーと位置情報(GPS情報)とを受信したか否かが判定される。具体的には、リモコン装置28の通信処理制御手段166から送信される撮像画像情報(第2撮像画像情報)とリモコン装置28のシリアルナンバーと位置情報(GPS情報)とを撮像画像情報受信手段188が受信したか否かが判定される。S23の判定が否定される場合は、S25が実行される。S23の判定が肯定される場合は、リモコン装置識別情報記憶手段174の機能に対応するS24が実行される。S24では、撮像画像情報(第2撮像画像情報)とリモコン装置28のシルアルナンバーと位置情報(GPS情報)とが関連付けて記憶される。具体的には、撮像画像情報受信手段から送信される撮像画像情報(第2撮像画像情報)とリモコン装置28のシリアルナンバーと位置情報(GPS情報)とが関連付けてリモコン装置識別情報記憶手段174に記憶される。
S25において、カラオケ装置16と通信していないリモコン装置28があるか否かが判定される。具体的には、関連付け決定手段182に備えるRAMに記憶されていないリモコン装置28のシリアルナンバーがリモコン装置識別情報記憶手段174にあるか否かが判定される。S25の判定が否定される場合は、S21以下が繰り返し実行されるが、肯定される場合は、非通信リモコン装置特定手段176の機能に対応するS26が実行される。S26では、カラオケ装置16と通信していないリモコン装置28が特定される。具体的には、関連付け決定手段182に備えるRAMに記憶されていないリモコン装置28のシリアルナンバーがリモコン装置識別情報記憶手段から抽出される。
位置情報特定手段178の機能に対応するS27が実行される。S27では、S26において特定されたリモコン装置28のシリアルナンバーに関連付けられている位置情報(GPS情報)を特定する。具体的には、リモコン装置識別情報記憶手段174からS26において抽出されたリモコン装置28のシリアルナンバーに関連付けられている位置情報(GPS情報)に基づいてエリアを特定する。また、位置情報(GPS情報)から店舗(エリア)が特定されてもよい。
S28において、S27において特定された店舗(エリア)のカラオケ装置16のシリアルナンバーが記憶されているか否かが判定される。具体的には、カラオケ装置識別情報記憶手段172に記憶されたカラオケ装置16のシリアルナンバーに基づいて、当該カラオケ装置16のシリアルナンバーのカラオケ装置16が設置されている場所情報を、他のサーバ装置18から取得し、取得された場所情報とカラオケ装置16のシリアルナンバーとを関連付けてカラオケ装置識別情報記憶手段172に記憶される。位置情報特定手段178で特定されたリモコン装置28を利用している店舗(エリア)情報と、カラオケ装置識別情報記憶手段172に記憶された場所情報とから該当するカラオケ装置16のシリアルナンバーがあるか否かが判定される。S28の判定が否定される場合は、S21以下が繰り返し実行されるが、肯定される場合は、撮像画像情報検索手段186の機能に対応するS29が実行される。S29では、特定された店舗(エリア)のカラオケ装置16のシリアルナンバーの撮像画像情報(第1撮像画像情報)がカラオケ装置識別情報記憶手段172から検索される。
S30において、カラオケ装置識別情報記憶手段172に記憶されているカラオケ装置16のシリアルナンバーに関連付けされた撮像画像情報(第1撮像画像情報)と、リモコン装置識別情報記憶手段174に記憶されているリモコン装置28の位置情報(GPS情報)に関連付けされた撮像画像情報(第2撮像画像情報)とを比較して同一画像であるか否かが判定される。具体的にはそれぞれの撮像画像情報に含まれる人物が同一人物であるか否かが判断される。S30の判定が否定される場合は、S21以下が繰り返し実行されるが、肯定される場合は、関連付け決定手段182の機能に対応するS31が実行される。S31では、カラオケ装置16のシリアルナンバーとリモコン装置28のシリアルナンバーとを関連付けて相互の通信を許可する処理が実行される。
S32において、カラオケ装置16にリモコン装置28との通信許可の信号が送信されると共に、リモコン装置28にカラオケ装置16との通信許可の信号が送信される。具体的には、リモコン装置28のシリアルナンバーと通信許可の信号とをカラオケ装置16に送信する処理が実行されると共に、リモコン装置28にカラオケ装置16のシリアルナンバーと通信許可の信号とを送信する処理が実行されて、本ルーチンは終了する。
本実施例によれば、カラオケ装置16のシリアルナンバーとデジタルカメラ86によって撮影された撮像画像情報(第1撮像画像情報)とを関連付けて記憶するカラオケ装置識別情報記憶手段172に記憶された撮像画像情報(第1撮像画像情報)と、リモコン装置28のシリアルナンバーと位置情報(GPS情報)とデジタルカメラ122によって撮影された撮像画像情報(第2撮像画像情報)とを関連付けて記憶するリモコン装置識別情報記憶手段174に記憶された撮像画像情報(第2撮像画像情報)とが一致するか否かを判断して、撮像画像情報が同一であると判断された場合にカラオケ装置16とリモコン装置28との関連付けを行うことから、利用者の動作は、リモコン装置28を用いて自身を撮影する動作のみの1ステップとなり、カラオケ装置16とリモコン装置28との関連付けを簡便に行え、利用者の負担を軽減することができる。
また、本実施例においては、サーバ装置18は、楽曲再生手段150によって楽曲情報が再生されている場合、カラオケ装置16から撮像画像情報(第1撮像画像情報)を受信しない撮像画像情報受信手段188を備えることから、カラオケ装置16とリモコン装置28との関連付けを行う際に、関連付けの失敗や誤った関連付けなどの発生を防ぐことができるため、利用者の負担を軽減することができる。
また、本実施例においては、サーバ装置18は、顔情報を判定する顔情報判定手段152によって撮像画像情報(第1撮像画像情報)に顔情報が含まれていると判断された場合に、カラオケ装置16から撮像画像情報(第1撮像画像情報)を受信する撮像画像情報受信手段188を備えていることから、カラオケ装置16とリモコン装置28との関連付けを行う際に、関連付けの失敗や誤った関連付けなどの発生を防ぐことができるため、利用者の負担を軽減することができる。
また、本実施例においては、位置情報(GPS情報)に関連付けられている撮像画像情報(第2撮像画像情報)と、カラオケ装置16のシリアルナンバーに関連付けられている撮像画像情報(第1撮像画像情報)との、それぞれの撮像画像情報に含まれる顔情報を比較して一致しているか否かを判断することから、カラオケ装置16とリモコン装置28との関連付けを簡便に行い、さらに精度の高い関連付けを行うことができる。このため、関連付けの失敗や誤った関連付けによる二度手間の発生を防ぎ、利用者の負担を軽減することができる。
また、本実施例においては、リモコン装置28のシリアルナンバーに関連付けられた位置情報(GPS情報)に基づき、リモコン装置28の位置情報を特定する位置情報特定手段178と、位置情報特定手段178により特定された位置情報に基づき、カラオケ装置識別情報記憶手段172に記憶されている撮像画像情報(第1撮像画像情報)を検索する撮像画像情報検索手段186とを備えることから、カラオケ装置16とリモコン装置28との関連付けを簡便に行い、さらに精度の高い関連付けを行うことができる。このため、関連付けの失敗や誤った関連付けによる二度手間の発生を防ぎ、利用者の負担を軽減することができる。
また、本実施例においては、サーバ装置18にて、カラオケ装置16のシリアルナンバーと撮像画像情報(第1撮像画像情報)とを関連付けて記憶するカラオケ装置識別情報記憶手段172に記憶された撮像画像情報と、リモコン装置28のシリアルナンバーと位置情報(GPS情報)と撮像画像情報(第2撮像画像情報)とを関連付けて記憶するリモコン装置識別情報記憶手段174に記憶された撮像画像情報とが一致するか否かを判断して、撮像画像情報が同一であると判断された場合にカラオケ装置16とリモコン装置28との関連付けを行うことから、利用者の動作は、リモコン装置28を用いて自身を撮影する動作のみの1ステップとなり、カラオケ装置16とリモコン装置28との関連付けを簡便に行え、利用者の負担を軽減することができる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれらの実施例に限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例においては、カラオケ装置識別情報記憶手段172、リモコン装置識別情報記憶手段174、同一利用者判断手段180、関連付け決定手段182はサーバ装置18に設けられているが、必ずしもサーバ装置18に設けられている必要はなく、全部又は一部がその他の装置に設けられてもよい。例えば、カラオケ装置16やリモコン装置28に設けられてもよい。
また、前述の実施例においては、撮像画像情報受信手段188はサーバ装置18に設けられているが、必ずしもサーバ装置18に設けられている必要はなく、例えばカラオケ装置16やリモコン装置28に設けられてもよい。
また、前述の実施例においては、顔情報判定手段152はカラオケ装置16に設けられているが、必ずしもカラオケ装置16に設けられている必要はなく、例えばサーバ装置18やリモコン装置28に設けられてもよい。また、カラオケ装置16内の顔情報判定手段152は、デジタルカメラ86によって撮影された撮像画像情報に顔情報が含まれているか否かを判定し、サーバ装置18内やリモコン装置28内に設けた顔情報判定手段がデジタルカメラ122によって撮影された撮像画像情報に顔情報が含まれているか否かを判定してもよい。
また、前述の実施例においては、位置情報特定手段178、撮像画像情報検索手段186はサーバ装置18に設けられているが、必ずしもサーバ装置18に設けられている必要はなく、全部又は一部が、例えばカラオケ装置16やリモコン装置28に設けられてもよい。
また、前述の実施例においては、楽曲再生手段150によって楽曲情報が再生されている場合に、カラオケ装置16からデジタルカメラ86によって撮影された撮像画像(第1撮像画像情報)を受信しない撮像画像情報受信手段188がサーバ装置18に設けられているが、楽曲再生手段150によって楽曲情報が再生されている場合に、カラオケ装置16からサーバ装置18に撮像画像情報を送信しない、例えば、撮像画像情報送信手段がカラオケ装置16に設けられてもよい。
また、前述の実施例においては、撮像画像情報受信手段はサーバ装置18に設けられているが、必ずしも個別に設けられる必要はなく、例えば、通信処理制御手段184を介して受信された撮像画像情報(第1撮像画像情報)等はデータベース146に直接記憶されるものであってもよい。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。