JP5739369B2 - カラオケ装置 - Google Patents

Description

本発明は、カラオケボックス等で使用されるカラオケ装置に関し、特に、その利便性を向上させるための改良に関する。

多数の演奏曲のうちから選択される演奏曲を出力させると共に、その演奏曲の歌詞文字映像を映像表示装置に表示させるカラオケ装置が知られている。斯かるカラオケ装置によれば、予め記憶装置に記憶された多数のカラオケ演奏曲からリモコン装置等により選択（選曲）されたカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の歌詞情報を含む映像をその出力に同期して画面に表示させることで、所望の歌のカラオケ演奏を楽しむことができる。

前記カラオケ装置の一態様として、ＣＣＤ（Charge Coupled Device）カメラ等の撮像装置を備え、その撮像装置により撮影された動画乃至静止画像を、前記カラオケ装置によるカラオケ演奏における背景映像等として出力させるものが知られている。例えば、特許文献１に記載されたカラオケ装置がその一例である。この技術によれば、カラオケ装置によるカラオケ演奏に際して、曲の進行や歌唱者の動きに合わせてその歌唱者を撮影し、撮影された映像をモニタに表示させることで、個別対応のカメラ制御データがない場合でも汎用のカメラ制御データを用いてカメラの方向や焦点距離を制御でき、変化のある映像を撮影してその映像をカラオケ演奏における背景映像として用いることができる。

特許第４１２２７９３号公報

ところで、本出願人は、前記カラオケ装置を通信端末装置としてインターネットにおける動画情報配信システムに組み込み、前記カラオケ装置による演奏曲の出力に際して撮像装置により撮影された映像情報及び音声入力装置により入力された音声情報の投稿を受け付けて閲覧可能とする技術を発案し、実用化している。また、近年の技術革新により、撮像装置を内蔵する携帯電話機等の携帯型撮像装置がめざましく普及するに至り、時と場所とを選ばず手軽に画像乃至映像を撮影することが可能となった。その結果、斯かる携帯型撮像装置により撮影された撮像を前記動画情報配信システムに投稿される映像に反映したいという要望が生じるようになった。すなわち、前記カラオケ装置に備えられた撮像装置により撮影された撮像と、前記携帯型撮像装置により撮影された撮像とを合成して表示させる技術が求められるようになった。

しかし、前記従来の技術のように、単に前記カラオケ装置に備えられた撮像装置により撮影された撮像をカラオケ演奏における背景映像として用いる技術では、前記携帯型撮像装置により撮影された撮像を、前記カラオケ装置に備えられた撮像装置により撮影された撮像に対して組み込むことはできなかった。また、前記携帯型撮像装置により撮影された撮像を、動画編集アプリケーションソフト等により前記カラオケ装置に備えられた撮像装置により撮影された撮像に対して合成することが考えられるが、カラオケ演奏中に撮影される撮像という特殊性から、合成する位置によっては曲の印象とちぐはぐになってしまったり、利用者の所望するものとはかけ離れた内容になってしまう可能性があった。更に、動画編集アプリケーションソフト等により動画編集を行うには、そのアプリケーションソフトを使いこなせなければならず、初心者には敷居が高いものであった。すなわち、携帯型撮像装置により撮影された撮像を用いて簡便に動画編集を行い得るカラオケ装置は、未だ開発されていないのが現状である。このような課題は、撮像装置を備えたカラオケ装置の利便性向上を意図して本発明者が鋭意研究を継続する過程において新たに見出したものである。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、携帯型撮像装置により撮影された撮像を用いて簡便に動画編集を行い得るカラオケ装置を提供することにある。

斯かる目的を達成するために、本発明の要旨とするところは、多数の演奏曲のうちから選択される演奏曲を出力させると共に、その演奏曲の歌詞文字映像を映像表示装置に表示させるカラオケ装置であって、そのカラオケ装置に対して位置固定に設けられた据付型撮像装置と、携帯型撮像装置により撮影された撮像を受信する受信部と、前記カラオケ装置による前記演奏曲の出力と併行して前記据付型撮像装置により撮影された撮像に対して、前記携帯型撮像装置により撮影された撮像を、その演奏曲の出力の進行に応じて合成表示させる合成表示手段と、所定の音声入力装置から入力される音声情報に応じて、前記カラオケ装置により出力される演奏曲に係る演奏評価を行う演奏評価手段とを、備え、前記合成表示手段は、前記携帯型撮像装置により撮影された撮像を、前記演奏評価手段による評価結果に応じて決定される時間位置において、前記据付型撮像装置により撮影された撮像の一部乃至全体に合成表示させることを特徴とするものである。

このようにすれば、前記カラオケ装置に対して位置固定に設けられた据付型撮像装置と、携帯型撮像装置により撮影された撮像を受信する受信部と、前記カラオケ装置による前記演奏曲の出力と併行して前記据付型撮像装置により撮影された撮像に対して、前記携帯型撮像装置により撮影された撮像を、その演奏曲の出力の進行に応じて合成表示させる合成表示手段と、所定の音声入力装置から入力される音声情報に応じて、前記カラオケ装置により出力される演奏曲に係る演奏評価を行う演奏評価手段とを、備え、前記合成表示手段は、前記携帯型撮像装置により撮影された撮像を、前記演奏評価手段による評価結果に応じて決定される時間位置において、前記据付型撮像装置により撮影された撮像の一部乃至全体に合成表示させるものであることから、前記演奏曲の出力と併行して前記据付型撮像装置により撮影された撮像における、その演奏曲の演奏評価結果を踏まえた所定の時間位置に、簡便且つ実用的な態様で前記携帯型撮像装置により撮影された撮像を組み込むことができる。すなわち、携帯型撮像装置により撮影された撮像を用いて簡便に動画編集を行い得るカラオケ装置を提供することができる。

ここで、好適には、前記演奏評価手段は、前記音声入力装置から入力される音声情報に応じて、前記カラオケ装置により出力される演奏曲の盛り上がり位置を判定するものであり、前記合成表示手段は、前記携帯型撮像装置により撮影された撮像を、前記演奏評価手段により判定される盛り上がり位置において、前記据付型撮像装置により撮影された撮像の一部乃至全体に合成表示させるものである。このようにすれば、前記演奏曲の出力と併行して前記据付型撮像装置により撮影された撮像における、その演奏曲が盛り上がる部分に相当する所定の時間位置に、簡便且つ実用的な態様で前記携帯型撮像装置により撮影された撮像を組み込むことができる。

本発明のカラオケ装置が好適に適用される通信カラオケシステムの構成を例示する図である。 本発明の一実施例であるカラオケ装置の構成を例示するブロック線図である。 図２のカラオケ装置におけるコマンダ本体に設けられたタッチパネルディスプレイについて説明する図である。 図２のカラオケ装置に備えられたデジタルカメラの構成を詳しく説明する正面図である。 図１の通信カラオケシステムに備えられた携帯電話機の構成を例示する図である。 図１の通信カラオケシステムに備えられたサーバ装置の構成を例示する図である。 図２のカラオケ装置のＣＰＵ等に備えられた制御機能の要部を説明する機能ブロック線図である。 図２のカラオケ装置に備えられたデジタルカメラにより撮影された撮像の一例を示す図である。 図５の携帯電話機に備えられた撮像部により撮影された撮像の一例を示す図である。 図８の撮像に対して図９の撮像が合成表示された映像を例示する図である。 図１０に示す映像が、図２のカラオケ装置によるカラオケ演奏における背景映像として表示される様子を例示する図である。 図８の撮像に対して図９の撮像が合成表示された他の映像が、図２のカラオケ装置によるカラオケ演奏における背景映像として表示される様子を例示する図である。 図６のサーバ装置に投稿された映像が、図１の通信カラオケシステムに備えられた通信端末装置において表示される様子を例示する図である。 図５の携帯電話機のＣＰＵによる撮像／送信制御の一例の要部を説明するフローチャートである。 図２のカラオケ装置のＣＰＵによる演奏／撮像制御の一例の要部を説明するフローチャートである。 図６のサーバ装置のＣＰＵによる動画管理制御の一例の要部を説明するフローチャートである。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明のカラオケ装置が好適に適用される通信カラオケシステム１０の構成を説明する図である。この図１に示すように、本実施例の通信カラオケシステム１０においては、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ１台乃至は複数台ずつ（図１では１台ずつ）本発明の一実施例であるカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。これら複数のカラオケ装置１６は、ルータ２８を介して通信回線１８に接続されており、同様にその通信回線１８に接続されたサーバ装置２０等との相互間でその通信回線１８を介して情報の通信が可能とされている。

また、前記通信カラオケシステム１０は、複数の電子早見本装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子早見本装置２２と称する）を備えており、前記カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台乃至数台ずつの前記電子早見本装置２２が貸与され、各個室１４において後述するように前記カラオケ装置１６との間で対応付け処理が行われることで、そのカラオケ装置１６の遠隔操作装置として用いられるようになっている。また、図１に示すように、前記店舗１２内には前記複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、前記電子早見本装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。

前記通信回線１８は、例えば公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線等から構成されるＷＷＷ（World Wide Web）等のインターネットに接続された広域情報通信網である。また、前記サーバ装置２０は、例えば、前記通信カラオケシステム１０を管理する情報配信サービス提供会社によって運営されるサーバであり、その通信カラオケシステム１０におけるカラオケ情報（楽曲データ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理の基本的な制御を行うセンタ装置として機能する。また、前記サーバ装置２０は、前記通信回線１８を介して接続された前記カラオケ装置１６等の投稿側端末装置から、予め定められた複数の楽曲データの何れかに対応する動画情報の投稿を受け付け、その投稿された動画情報を対応する楽曲データと関連付けて動画データベース１５８（図６を参照）に記憶させると共に、前記通信回線１８を介して接続された前記カラオケ装置１６やパーソナルコンピュータ３０等の配信側端末装置からの配信要求に応じて、その動画データベース１５８に記憶された動画情報を配信する動画情報配信システムにおけるセンタ装置としても機能する。なお、本実施例においては、前記通信カラオケシステム１０のセンタ装置としての機能及び動画情報配信システムのセンタ装置としての機能を兼ね備えた単一の前記サーバ装置２０を備えた構成について説明するが、それらセンタ装置が個別のサーバ装置として構成されたものであってもよい。

図１に示すように、本実施例の通信カラオケシステム１０は、前記通信回線１８を介して複数のシステム乃至通信端末装置との間で相互に情報の送受信が可能とされている。すなわち、通信端末装置であるパーソナルコンピュータ３０が前記通信回線１８に接続されると共に、同じく通信端末装置である携帯電話機３２が中継基地局３４を介して前記通信回線１８に接続され、それらパーソナルコンピュータ３０及び携帯電話機３２と前記カラオケ装置１６やサーバ装置２０等との間で相互に情報の送受信が可能とされている。また、前記カラオケ装置１６とは異なる形態のカラオケ装置である家庭用カラオケ装置３６が前記通信回線１８に接続され、その家庭用カラオケ装置３６と前記カラオケ装置１６やサーバ装置２０等との間で相互に情報の送受信が可能とされている。すなわち、本実施例の通信カラオケシステム１０は、前記サーバ装置２０及び複数の前記家庭用カラオケ装置３６を備えた第２の通信カラオケシステムを内包している。なお、好適には、前記携帯電話機３２は、前記カラオケ装置１６とは異なる形態のカラオケ装置として機能するものである。

図２は、前記カラオケ装置１６の構成を例示するブロック線図である。この図２に示すように、前記カラオケ装置１６は、ＴＦＴ（Thin Film Transistor Liquid Crystal）やＰＤＰ（Plasma Display Panel）等の映像表示装置４０と、ビデオボード（グラフィックスボード）等の映像出力制御部４２と、映像情報デコーダ４４と、ビデオミキサ４６と、音源であるシンセサイザ４８と、音声入力装置であるマイクロフォン５０と、アンプミキサ５２と、スピーカ５４と、操作パネル５６と、その操作パネル５６等からの入力信号を処理する入出力インターフェイス５８と、中央演算処理装置であるＣＰＵ６０と、読出専用メモリであるＲＯＭ６２と、随時書込読出メモリであるＲＡＭ６４と、記憶装置であるハードディスク６６と、モデム６８と、ＬＡＮポート７０と、前記電子早見本装置２２やリモコン装置７６等の入力装置からのリモコン信号を受信するためのリモコン受信部７２と、前記マイクロフォン５０から入力される音声をディジタル信号に変換するためのＡ／Ｄコンバータ７４と、据付型撮像装置であるデジタルカメラ８２（図４を参照）とを、備えて構成されている。

前記映像出力制御部４２は、前記ＣＰＵ６０において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置として機能する他、前記映像表示装置４０による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ４４は、利用者が歌詞を参照しながら歌唱する際に前記ハードディスク６６に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、そのＭＰＥＧデータに基づいて前記映像情報デコーダ４４により再生された背景映像は、前記ビデオミキサ４６へ送られる。また、そのビデオミキサ４６は、前記ＣＰＵ６０において生成され且つ前記映像出力制御部４２から出力される文字映像と、前記映像情報デコーダ４４により再生される背景映像とを合成して前記映像表示装置４０に表示させる映像合成装置である。

前記シンセサイザ４８は、前記ハードディスク６６から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいて前記シンセサイザ４８により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ５２へ送られる。そのアンプミキサ５２では、送られてきた音楽信号と前記マイクロフォン５０を介して入力される利用者（演奏者）の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ５４から出力される。

前記操作パネル５６は、前記カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記カラオケ装置１６は、例えば図３に示すように、前記ＣＰＵ６０やシンセサイザ４８等を格納するコマンダ本体３８にタッチパネルディスプレイ７８を備えたものであってもよい。このタッチパネルディスプレイ７８は、画像（映像）を表示させると共に利用者の接触に応じて前記カラオケ装置１６への入力を行うものであり、好適には、前記コマンダ本体３８における表側の平面部（カラオケボックス等に設置される場合に、利用者側とされる面）に設けられる。斯かる態様において、前記タッチパネルディスプレイ７８は、前記映像表示装置４０とは別に第２の映像表示装置として機能すると共に、前記カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作パネルとして機能する。例えば、図３に示す例では、前記タッチパネルディスプレイ７８にそれぞれ個別の文字（例えば、五十音の文字やアルファベット等）を示す複数の文字ボタン８０が表示された状態を示している。このタッチパネルディスプレイ７８に表示された文字ボタン８０（タッチパネルにおける文字ボタン８０に対応する相対位置）に対する利用者の指や備え付けのペン等による接触操作が行われると、それら文字ボタン８０によって示される文字乃至文字列の入力が行われる。そして、斯かる操作により入力された文字乃至文字列に基づいて、それらの文字乃至文字列に前方一致する歌手名乃至曲名が検索される等、前記カラオケ装置１６の利用者が歌いたいカラオケ演奏曲の検索乃至選曲入力が前記タッチパネルディスプレイ７８を介して行われる。

また、前記カラオケ装置１６には、前記操作パネル５６の一部機能を遠隔で実行するための入力装置として機能するリモコン装置７６が備えられており、前記リモコン受信部７２は、そのリモコン装置７６から送信されるリモコン信号を受信して前記ＣＰＵ６０へ供給する。また、前記カラオケ装置１６と電子早見本装置２２との対応付け（くくりつけ）処理も前記リモコン受信部７２を介して行われ、そのようにして前記カラオケ装置１６に対応付けられた電子早見本装置２２も同様に入力装置として機能する。また、前記携帯電話機３２等の外部装置からリモコン信号として送信される各種情報が前記リモコン受信部７２により受信され、その受信された情報が前記ＣＰＵ６０へ供給されるようになっている。なお、本実施例においては、前記カラオケ装置１６に備えられたリモコン装置７６や対応付け処理の行われた電子早見本装置２２等の入力装置もそのカラオケ装置１６の一部を構成するものであるとして以下の説明を行う。

前記ＣＰＵ６０は、前記ＲＡＭ６４の一時記憶機能を利用しつつ前記ＲＯＭ６２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置１６に係る各種制御を実行する。すなわち、前記電子早見本装置２２やタッチパネルディスプレイ７８等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を前記ＲＡＭ６４に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク６６から前記ＲＡＭ６４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報（楽曲データ）を読み出す楽曲データ読出制御、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ６４から前記シンセサイザ４８へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記ＲＡＭ６４に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像出力制御部４２へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像情報デコーダ４４を制御して所定の背景映像を再生させる背景映像出力制御、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御、及び前記通信回線１８を介した前記サーバ装置２０等との間の情報通信制御等の基本的な制御に加えて、後述する本実施例の撮像合成制御等を実行する。

前記モデム６８は、前記カラオケ装置１６を前記通信回線１８に接続するための装置であり、前記ＣＰＵ６０から出力されるディジタル信号をアナログ信号に変換して前記通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換して前記ＣＰＵ６０に供給する処理を行う。なお、前記店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６が前記ルータ２８の機能を備えてマスターコマンダとして前記通信回線１８に接続される態様も考えられ、その場合、前記モデム６８はそのマスターコマンダとして機能するカラオケ装置１６には必要とされるが、そのマスターコマンダを介して前記サーバ装置２０等との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。

前記ＬＡＮポート７０は、前記カラオケ装置１６をＬＡＮ２４を介して他のカラオケ装置１６や電子早見本装置２２等の他の機器に接続するための接続器であり、前記カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子早見本装置２２等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント２６を介して受信される前記電子早見本装置２２からの選曲入力を受け付けて前記ＲＡＭ６４に設けられた予約曲テーブルに記憶したり、そのアクセスポイント２６を介して前記カラオケ装置１６から電子早見本装置２２へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１６と電子早見本装置２２との間における相互の情報のやりとりが実行される。また、前記通信回線１８を介しての前記電子早見本装置２２とサーバ装置２０等との間の通信も、このＬＡＮ２４乃至ルータ２８を備えたカラオケ装置１６を介して行われる。また、前記携帯電話機３２等の外部装置との間で前記ＬＡＮ２４及びアクセスポイント２６等を介して情報の送受信を行うものであってもよく、この場合、前記携帯電話機３２等から電波として送信される各種情報が前記ＬＡＮポート７０により受信され、その受信された情報が前記ＣＰＵ６０へ供給される。

前記ハードディスク６６には、カラオケ演奏曲を出力させるための多数のカラオケ情報（楽曲データ）を記憶する楽曲データベースをはじめとする各種データベースが設けられている。カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６例えば前記カラオケ装置１６ａは、前記モデム６８を介して前記通信回線１８に接続されており、前記複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、随時新たなカラオケ情報等が前記サーバ装置２０から前記通信回線１８を介して配信され、前記ハードディスク６６の楽曲データベース等に記憶される。また、そのようにして前記サーバ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間で前記ＬＡＮ２４を介した通信が行われることにより、各カラオケ装置１６のハードディスク６６に記憶される情報が共有され、前記楽曲データベース等の内容が等価なものとされる。

前記楽曲データベースは、前記カラオケ装置１６により出力可能な演奏曲にそれぞれ対応する多数（例えば、数万曲分）の楽曲データ（カラオケデータ）を記憶する。この楽曲データは、前記シンセサイザ４８により所定の楽器の演奏音を生成するための演奏情報と、歌詞文字映像（歌詞テロップ）を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字映像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツＩＤである各演奏曲に固有の選曲番号により識別される。また、前記楽曲データには、その演奏曲の曲名、アーティスト名（歌手名）、発表年月日、ジャンル、曲調等の情報が関連づけられて記憶されている。ここで、前記演奏情報は、各種楽器に対応するパートやドラムパート等を含むものであるが、少なくとも演奏曲の主旋律（歌唱において発声すべき音程の連なり）に相当するガイドメロディに対応する演奏情報を含んでいる。また、前記楽曲データベースに記憶される楽曲データは、好適には、演奏情報としてのＭＩＤＩデータ等において複数の区分が予め定められたものである。この区分とは、例えば、前記ＭＩＤＩデータのメタ情報に定められた演奏の区分であり、所定の演奏時間毎に、例えば、前奏に対応するイントロ（Intro）、Ａメロ（Amelo）、Ｂメロ（Bmelo）、Ｃメロ（Cmelo）、フィル（Fill）、サビ、間奏、後奏、及び変拍等の区分が定められている。

図４は、前記カラオケ装置１６に備えられた据付型撮像装置の一例であるデジタルカメラ８２の構成を詳しく説明する正面図である。このデジタルカメラ８２は、好適には、動画を撮影し得る所謂デジタルビデオカメラであり、例えば各個室１４等における所定位置に、前記カラオケ装置１６に対して位置固定に設けられる据付型の撮像装置である。なお、据付型撮像装置とは、必ずしもその一部がねじ等により壁等に固定されるものでなくともよく、例えばカラオケボックスにおける所定位置に置かれて利用者がその位置を動かすことができるようになっており、何れかの場所に置かれることで前記カラオケ装置１６に対しての相対位置が定められるものであってもよい。換言すれば、据付型撮像装置とは、前記カラオケ装置１６によるカラオケ演奏に際して、そのカラオケ装置１６に対しての相対位置が定められた状態で用いられるものである。前記デジタルカメラ８２は、図４に示すように、前記カラオケ装置１６に対して位置固定に設けられる台座８４と、その台座８４に対してレンズ９０を含む本体８８を中心軸（本体を垂直方向から見た場合における中心軸）Ｃ回りに回転駆動（左右方向に首振り駆動）させるパン（pan）機構８６と、前記本体８８（台座８４）に対して前記レンズ９０を垂直方向に駆動（上下方向に首振り駆動）させるチルト（tilt）機構９２と、前記デジタルカメラ８２のズーム制御すなわちズームイン（被写体を拡大させる焦点距離の変更）及びズームアウト（被写体を縮小させる焦点距離の変更）を行うズーム（zoom）機構９４とを、備えて構成されている。すなわち、前記デジタルカメラ８２は、前記ＣＰＵ６０等からの指令（制御信号）に応じてパン・チルト制御及びズーム制御可能な所謂パン・チルト・ズームカメラである。このデジタルカメラ８２により撮影された撮像に相当する映像情報は、インターフェイス等を介して前記ＣＰＵ６０等へ供給される。

図５は、前記携帯電話機３２の構成を例示する図である。この図５に示すように、前記携帯電話機３２は、中央演算処理装置であるＣＰＵ１００と、読出専用メモリであるＲＯＭ１０２と、随時書込読出メモリであるＲＡＭ１０４と、フラッシュＲＯＭ等の記憶部１０６と、後述するタッチパネルディスプレイ１２４の補助的な操作を行うための操作部１０８と、アンテナ１１０と、送受信部１１２と、モデム部１１４と、音声コーディック部１１６と、アナログフロントエンド１１８と、スピーカ１２０と、マイクロフォン１２２と、タッチパネルディスプレイ１２４と、撮像部１３４と、赤外線送信部１３６とを、備えて構成されている。

前記ＣＰＵ１００は、随時書込読出メモリであるＲＡＭ１０４の一時記憶機能を利用しつつ読出専用メモリであるＲＯＭ１０２に予め記憶されたプログラムに従って信号処理を行う所謂マイクロコンピュータであり、前記タッチパネルディスプレイ１２４に表示された文字入力ボタンに対する入力操作に従って文字入力が実行されるように制御したり、斯かる入力操作により入力された電話番号に従って通信或いは通話チャンネルを成立させると共に相互の通信或いは通話が可能となるように制御したり、前記入力操作により入力されたＵＲＬに従って所定のＷＷＷサイトにアクセスしたり、メールの作成及び送受信を制御する等の基本的な制御を実行する。例えば、前記携帯電話機３２の通話状態においては、前記アンテナ１１０を介して送受信部１１２に受けた通話信号等がモデム部１１４を介して音声コーディック部１１６においてデジタルコード信号から音声信号に変換され、アナログフロントエンド１１８によりスピーカ１２０が駆動されて音声が出力される。同時に、前記マイクロフォン１２２により音声から変換された音声信号が前記アナログフロントエンド１１８を介して前記音声コーディック部１１６に送られてそこでディジタル信号に変換され、前記モデム部１１４、送受信部１１２、及びアンテナ１１０を介して送信される。

前記携帯電話機３２は、前記タッチパネルディスプレイ１２４に所定の映像を表示させる表示装置１２６と、その表示装置１２６による表示を制御する表示制御部１２８と、利用者の指や図示しない備え付けのペン等によるタッチパネルディスプレイ１２４への接触により入力を行うタッチパネル１３０と、そのタッチパネル１３０による入力を制御する入力制御部１３２とを、備えている。また、前記送受信部１１２等を介して前記通信回線１８に接続され、例えば公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線等から構成されるＷＷＷ等のインターネットに接続された前記サーバ装置２０をはじめとする各種通信機器との間で情報の通信が可能とされる。また、前記通信回線１８を介しての通信状態において、前記ＣＰＵ１００は、前記タッチパネルディスプレイ１２４等により入力された信号を通信先へ送信すると同時に、通信先から受信された信号をそのタッチパネルディスプレイ１２４に表示させる制御を行う。すなわち、前記携帯電話機３２は、前記タッチパネルディスプレイ１２４を有すると共に、そのタッチパネルディスプレイ１２４を介しての操作に応じたインターネットへのアクセス機能をはじめとする各種機能を有する所謂スマートフォンである。

前記撮像部１３４は、ＣＣＤ（charge coupled device）等の撮像素子及びレンズを備え、そのレンズから入射される映像（静止画像乃至動画）を撮像素子により検知し、その映像を電子情報（映像データ）として取得する所謂デジタルカメラである。前記携帯電話機３２による映像の撮影に際しては、前記レンズから取り込まれ撮像素子により電子情報に変換された映像が前記表示装置１２６等に表示された状態で、前記タッチパネル１３０等により所定の操作が行われることでその映像が撮像され、前記記憶部１０６等に所定の映像ファイル（画像ファイル乃至動画ファイル）の形式で記憶される。また、そのようにして記憶された映像ファイルは、前記タッチパネル１３０等による所定の操作に応じて、例えば前記赤外線送信部１３６から赤外線信号（リモコン信号）として前記カラオケ装置１６へ送信され、そのカラオケ装置１６のリモコン受信部７２等により受信される。すなわち、本実施例において、前記携帯電話機３２は、前記撮像部１３４により映像（静止画像乃至動画）を撮影すると共に、その撮影された映像を前記カラオケ装置１６に備えられた受信部としての前記リモコン受信部７２等を介してそのカラオケ装置１６に対して送信し得る携帯型撮像装置として機能する。

図６は、前記サーバ装置２０の構成を説明する図である。この図６に示すように、前記サーバ装置２０は、中央演算処理装置であるＣＰＵ１４０、読出専用メモリであるＲＯＭ１４２、及び随時書込読出メモリであるＲＡＭ１４４を備え、前記ＣＰＵ１４０によりＲＡＭ１４４の一時記憶機能を利用しつつＲＯＭ１４２に予め記憶されたプログラムに従って信号処理を行う所謂ノイマン式コンピュータである。また、ＴＦＴやＰＤＰ等の映像表示装置１４６と、その映像表示装置１４６による映像の表示を制御するためのビデオボード（グラフィックスチップ）１４８と、キーボード等の入力装置１５０と、その入力装置１５０による入力を処理するためのインターフェイス１５２と、前記ＣＰＵ１４０等を前記通信回線１８に接続するためのモデム１５４とを、備えて構成されている。

図６に示すように、前記サーバ装置２０は、楽曲データベース１５６及び動画データベース１５８をはじめとする各種データベースを備えている。この楽曲データベース１５６は、前記通信カラオケシステム１０における前記カラオケ装置１６乃至前記第２のカラオケシステムにおける前記家庭用カラオケ装置３６等に配信するための多数の楽曲データ（カラオケ情報）を記憶するものであり、新しく作成された楽曲データはこの楽曲データベース１５６に蓄積される。そして、所定の配信制御プログラムにより定期的に、或いは前記カラオケ装置１６乃至家庭用カラオケ装置３６からの配信要求に応じて、随時新たなカラオケ情報が前記サーバ装置２０の楽曲データベース１５６から前記通信回線１８を介して配信され、前記カラオケ装置１６乃至家庭用カラオケ装置３６による演奏可能に前記ハードディスク６６等に記憶される。

前記動画データベース１５８は、通信端末装置としての前記カラオケ装置１６等から投稿すなわち前記通信回線１８を介してアップロードされた複数の動画情報（映像情報）を記憶する。この動画情報は、例えばＡＶＩ（Audio-Video Interleaved）形式、ＭＰＥＧ（Moving Picture Experts Group）形式、ＦＬＶ（Flash Video）形式等の動画ファイル（映像ファイル）であり、例えば投稿順に定められた所定の識別番号（コンテンツＩＤ）をインデックスとして前記動画データベース１５８に記憶される。なお、この動画情報は、複数枚の静止画像が所定の時間間隔で切替表示される所謂パラパラアニメーションや、映像が一時的に停止する静止画部分を含むものであってもよい。また、その動画データベース１５８には、投稿者の識別情報（ユーザＩＤ）、投稿者の名前（ニックネーム）、投稿時（投稿日時）、投稿に相前後して投稿者により設定（入力）された映像のタイトル、投稿者のコメント、削除用のパスワード、再生回数、投稿コメント数、閲覧者からの投票結果（得票数）、対応する演奏曲の識別情報（選曲番号）、曲名、アーティスト名、及び演奏評価結果（採点結果）等の情報が各動画情報毎にその動画情報と関連づけられて記憶されるようになっている。

図７は、前記カラオケ装置１６のＣＰＵ６０等に備えられた制御機能の要部を説明する機能ブロック線図である。この図７に示す演奏制御手段１６０、演奏評価手段１６２、撮像記憶手段１６８、合成表示手段１７０、及び動画投稿手段１７４は、好適には、何れも前記カラオケ装置１６のＣＰＵ６０に機能的に備えられたものであり、撮像送信手段１６６は、前記携帯電話機３２のＣＰＵ１００に機能的に備えられたものであり、動画管理手段１７６は、前記サーバ装置２０のＣＰＵ１４０に機能的に備えられたものである。すなわち、以下の実施例においては、前記カラオケ装置１６によるカラオケ演奏の出力と併行して前記デジタルカメラ８２により撮影された撮像に対して、携帯型撮像装置としての前記携帯電話機３２により撮影された撮像を組み込み、その映像（動画）を前記サーバ装置２０の動画データベース１５８に投稿（アップロード）する制御例について説明するが、このサーバ装置２０の動画データベース１５８への投稿は必ずしも行われなくともよい。すなわち、前記デジタルカメラ８２により撮影された撮像に対して前記携帯電話機３２により撮影された撮像を組み込んだ映像を、前記カラオケ装置１６によるカラオケ演奏における背景映像として前記映像表示装置４０に表示させるに留めるものであってもよい。また、前記カラオケ装置１６によるカラオケ演奏の出力と併行して前記デジタルカメラ８２により撮影された撮像に対して、携帯型撮像装置としての一般的なデジタルカメラ乃至デジタルビデオカメラ等により撮影された撮像を組み込む場合にも、以下に詳述する本実施例の技術は好適に適用される。

前記演奏制御手段１６０は、前記カラオケ装置１６によるカラオケ演奏に際しての演奏曲の出力を制御する。具体的には、前記ＲＡＭ６４等の予約曲テーブルにおける上位の予約曲から順に（すなわち入力順に）、その予約曲テーブルに記憶された予約曲の選曲番号に対応する楽曲データを前記ハードディスク６６の楽曲データベースから読み出し、その楽曲データに含まれる演奏情報に基づいて演奏曲の出力を制御する。すなわち、演奏情報としてのＭＩＤＩデータに基づいて、前記シンセサイザ４８によりそのＭＩＤＩデータにおける楽譜情報としてのトラック乃至チャンネルに対応する楽器の演奏音（音楽情報）を出力させ、前記アンプミキサ５２を介して前記スピーカ５４から出力させる。また、楽曲データに含まれる歌詞情報に基づいて演奏曲に係る歌詞文字映像の出力を制御する。すなわち、歌詞情報に基づいて歌詞文字映像を生成し、前記映像出力制御部４２を介してその歌詞文字映像を前記映像表示装置４０に表示させる。また、カラオケ演奏の進行に伴い、その歌詞文字映像を切替表示させると共に、歌詞色替情報に基づいて歌詞文字映像を順次色替え表示させる。

前記演奏評価手段１６２は、評価対象となる演奏曲の出力と併行して音声入力装置である前記マイクロフォン５０から入力される音声情報に基づいて、その音声情報の入力主体である利用者の演奏評価（歌唱評価）を行う。すなわち、前記カラオケ装置１６による演奏曲の出力に際して、前記シンセサイザ４８によるその演奏曲の出力と併行して前記マイクロフォン５０から入力される音声に対応して、音程、音量、及びテンポのうち少なくとも１つを評価基準とする評価を行う。具体的には、所定の演奏曲の出力に際して、前記シンセサイザ４８を介して出力されるその演奏曲のピッチ（音程）及びテンポと、前記マイクロフォン５０により入力されて前記Ａ／Ｄコンバータ７４を介して供給される音声情報のピッチ及びテンポとを比較することにより斯かる演奏曲の演奏評価を行う。この演奏評価の態様としては、例えば、百点満点中何点というように数値的に採点を行うものであってもよいし、２０段階評定の何れに当てはまるかを判定するというように簡易なものであってもよい。また、斯かる演奏評価制御は、演奏と併行して各区分毎に複数回行われた評価を、演奏終了時に集計するものであってもよいし、前記ＲＡＭ６４等に入力音声情報を記録しておき、演奏終了時にそれを対象となる演奏曲の演奏情報に基づいて評価するものであってもよい。

図７に示すように、前記演奏評価手段１６２は、盛り上がり判定手段１６４を備えている。この盛り上がり判定手段１６４は、前記マイクロフォン５０から入力される音声情報に応じて、前記カラオケ装置１６により出力される演奏曲の盛り上がり位置を判定する。この盛り上がり位置とは、例えば、対象となる演奏曲（楽曲データ）の演奏開始から演奏終了までの間で、最も盛り上がる時間位置（区間）を言い、多くの場合にはサビに相当する部分がこの盛り上がり位置に対応する。前記盛り上がり判定手段１６４は、好適には、前記マイクロフォン５０から入力されて前記Ａ／Ｄコンバータ７４を介して供給される音声情報に対応する信号強度が、予め定められた閾値以上となった部分を前記盛り上がり位置として判定する。また、好適には、前記マイクロフォン５０から入力されて前記Ａ／Ｄコンバータ７４を介して供給される音声情報に対応する信号強度が、対象となる演奏曲を通して最も大きくなる時間区間（例えば、信号強度が最大値をとる時点を中心とする所定の時間区間）を前記盛り上がり位置として判定する。また、好適には、対象となる演奏曲の楽曲データに予め定められたサビに相当する区間を前記盛り上がり位置として判定する。すなわち、前記盛り上がり判定手段１６４は、必ずしも前記マイクロフォン５０から入力される音声情報に応じて前記盛り上がり位置を判定するものでなくともよい。

前記撮像送信手段１６６は、前記携帯電話機３２における撮像部１３４により撮影された撮像（静止画像乃至動画）を前記カラオケ装置１６へ送信する。前記撮像部１３４により撮影された撮像は、所定の映像ファイル（画像ファイル乃至動画ファイル）の形式で前記記憶部１０６等に保存される。前記携帯電話機３２において、前記タッチパネルディスプレイ１２４により所定の撮像送信操作が行われた場合、前記撮像送信手段１６６は、送信対象となる映像ファイルを前記記憶部１０６から読み出し、前記赤外線送信部１３６から赤外線信号として前記カラオケ装置１６へ送信する。或いは、図示しない無線送信部から電波等として前記カラオケ装置１６へ送信するものであってもよい。

前記撮像記憶手段１６８は、前記デジタルカメラ８２により撮影された撮像を記憶する。例えば、前記デジタルカメラ８２により撮影された撮像を、所定の映像ファイル（画像ファイル乃至動画ファイル）の形式で前記ＲＡＭ６４等に記憶する。また、前記携帯電話機３２等の携帯型撮像装置から、前記撮像送信手段１６６により送信された撮像を記憶する。例えば、前記撮像送信手段１６６により送信されて前記リモコン受信部７２等により受信された撮像を、所定の映像ファイル（画像ファイル乃至動画ファイル）の形式で前記ＲＡＭ６４等に記憶する。

前記合成表示手段１７０は、前記カラオケ装置１６による演奏曲の出力と併行して据付型撮像装置である前記デジタルカメラ８２により撮影された撮像に対して、携帯型撮像装置である前記携帯電話機３２等により撮影された撮像を合成表示させる。すなわち、前記デジタルカメラ８２により撮影されて前記撮像記憶手段１６８により記憶された映像情報に対して、前記携帯電話機３２等により撮影されて前記撮像記憶手段１６８により記憶された映像情報を、前記映像出力制御部４２及び映像情報デコーダ４４等により前記ビデオミキサ４６を介して合成し、前記映像表示装置４０に表示させる。

図７に示すように、前記合成表示手段１７０は、映像合成手段１７２を備えている。この映像合成手段１７２は、前記カラオケ装置１６による演奏曲の出力と併行して前記デジタルカメラ８２により撮影された撮像に対して、前記携帯電話機３２等により撮影された撮像を合成する。好適には、前記デジタルカメラ８２により撮影された映像情報と、前記携帯電話機３２等により撮影された映像情報とを合成して１つの映像情報（映像ファイル）を作成し、前記合成表示手段１７０は、その映像情報に対応する映像を前記映像表示装置４０に表示させる。また、前記映像合成手段１７２（合成表示手段１７０）は、好適には、前記デジタルカメラ８２により撮影された映像情報と、前記携帯電話機３２等により撮影された映像情報とを、個別の映像情報（映像ファイル）のまま相互に重ね合わせる等して前記映像表示装置４０に表示させる。例えば、前記デジタルカメラ８２により撮影された映像情報に対応する映像を前記映像情報デコーダ４４により出力させると共に、前記携帯電話機３２等により撮影された映像（画像）を前記映像出力制御部４２により出力させ、前記ビデオミキサ４６により前記デジタルカメラ８２により撮影された映像情報に対応する映像の前面側レイヤに前記携帯電話機３２等により撮影された映像（画像）を配置して表示させる等の制御を行う。

図８は、据付型撮像装置である前記デジタルカメラ８２により撮影された撮像１８０の一例を示す図である。この図８に示す撮像１８０は、前記カラオケ装置１６を用いてカラオケ演奏を行っている演奏者を含む利用者を撮影したものである。また、図９は、前記携帯電話機３２の撮像部１３４により撮影された撮像１８２の一例を示す図である。そして、図１０は、図８に示す撮像１８０に対して、図９に示す撮像１８２を合成表示させた映像１８４を例示する図である。この図１０に示すように、前記合成表示手段１７０は、好適には、前記デジタルカメラ８２により撮影された撮像１８０の前面側レイヤであってその撮像１８０の一部に相当する位置に、前記携帯電話機３２の撮像部１３４により撮影された撮像１８２を合成表示させる。ここで、図１０に示す映像１８４において、前記携帯電話機３２の撮像部１３４により撮影された撮像１８２は、前記デジタルカメラ８２により撮影された撮像１８０の一部に合成されているため、その撮像１８０における前記撮像１８２との合成に係らない残部が見えるようになっているが、後述する図１２に示すように、前記携帯電話機３２の撮像部１３４により撮影された撮像１８２を、前記デジタルカメラ８２により撮影された撮像１８０の全部に合成することにより、合成表示が行われる時間区間においてはその撮像１８０が完全に隠されるものであってもよい。また、前記デジタルカメラ８２により撮影された撮像１８０に対して、前記携帯電話機３２の撮像部１３４により撮影された複数の撮像を同時に乃至断続的に合成させるものであってもよい。また、合成表示に係る画面を二分割して前記デジタルカメラ８２により撮影された撮像１８０と前記携帯電話機３２の撮像部１３４により撮影された撮像１８２とを並べて合成表示させる等の態様も考えられる。

また、前記合成表示手段１７０は、好適には、図１０に示すように、前記撮像１８０に含まれる人物の像の顔部分を隠さないようにその撮像１８０に前記撮像１８２を合成表示させるものであってもよい。すなわち、よく知られた顔認識技術により前記撮像１８０に含まれる人物の像の顔部分を認識し、その認識された顔部分以外の位置に前記携帯電話機３２の撮像部１３４により撮影された撮像１８２を合成表示させるものであってもよい。また、単純に前記撮像１８０の一部に相当する所定位置に前記撮像１８２を合成させるものでなくともよく、前記撮像１８０の前面側レイヤにおいて前記撮像１８２を左右方向（或いは上下方向）によぎるように相対移動させたり、前記撮像１８０に対してあたかもダンスのステップを踏むように前記撮像１８２を移動させたり、前記撮像１８０の前面側レイヤに所謂フェイドインにより前記撮像１８２を出現させたり、前記合成された映像１８４から所謂フェイドアウトにより前記撮像１８２を消去させたり、合成に係る撮像１８２の輪郭をぼかしたり、輪郭を装飾したり、或いは透明度を変更した（例えば透明度５０％とした）前記撮像１８２を前記撮像１８０の前面側レイヤに合成したりというように種々の態様が考えられる。

前記合成表示手段１７０は、前記カラオケ装置１６による前記演奏曲の出力と併行して据付型撮像装置である前記デジタルカメラ８２により撮影された撮像に対して、携帯型撮像装置である前記携帯電話機３２等により撮影された撮像を、その演奏曲の出力の進行に応じて合成表示させる。すなわち、前記演奏制御手段１６０による所定の演奏曲の出力中に前記デジタルカメラ８２により撮影された撮像１８０に対しては、その出力されている演奏曲の進行に係る所定の時間位置（演奏開始からの経過時間に関する所定の時点乃至時間区間）において、前記携帯電話機３２等により撮影された撮像１８２を前記撮像１８０に対して合成表示させる。換言すれば、前記撮像１８０に対する前記撮像１８２の合成表示を行う時間位置（撮像１８０が動画である場合には、その動画の出力開始からの経過時間に関する所定の時点乃至時間区間）を、前記演奏曲の進行に係る時間情報を基準として決定する。例えば、対象となる演奏曲のサビに相当する時間区間において、前記撮像１８０に対する前記撮像１８２の合成表示を行う。ここで、前記合成表示手段１７０は、好適には、前記カラオケ装置１６による前記演奏曲の出力と併行して前記デジタルカメラ８２により撮影された撮像に対して、前記携帯電話機３２等により撮影された撮像を、その演奏曲の出力中にリアルタイムで合成表示させる。また、好適には、斯かる演奏曲の出力中にその演奏曲の出力に係る情報例えば演奏評価結果や盛り上がり位置等の情報を前記ＲＡＭ６４等に記憶しておき、その演奏曲の出力終了後（カラオケ演奏終了後）に、演奏中に得られた情報に基づいて前記デジタルカメラ８２により撮影された撮像に対して、前記携帯電話機３２等により撮影された撮像を合成させるものであってもよい。

前記合成表示手段１７０は、好適には、前記カラオケ装置１６によるカラオケ演奏の出力と併行して前記デジタルカメラ８２により撮影された撮像１８０に対しての、前記携帯電話機３２等により撮影された撮像１８２の合成表示に関して、そのカラオケ演奏に係る前記演奏評価手段１６２による評価結果に応じて決定される時間位置において、前記デジタルカメラ８２により撮影された撮像１８０の一部乃至全体に前記携帯電話機３２等により撮影された撮像１８２を合成表示させる。例えば、前記カラオケ演奏の出力中にリアルタイムで合成表示させる態様においては、そのカラオケ演奏に係る前記演奏評価手段１６２による評価結果が予め定められた閾値（例えば、９０点といった所定の点数）以上となった場合（時間位置）に、前記撮像１８０に対して前記撮像１８２を合成表示させる。また、前記カラオケ演奏中にその演奏に係る情報を記憶しておき、そのカラオケ演奏の終了後に合成を行う態様においては、そのカラオケ演奏を通して前記演奏評価手段１６２による評価結果が最も高かった時点乃至時間区間を判定し、その判定された時間位置において、前記撮像１８０に対して前記撮像１８２を合成表示させる。

また、前記合成表示手段１７０は、好適には、前記カラオケ装置１６によるカラオケ演奏の出力と併行して前記デジタルカメラ８２により撮影された撮像１８０に対しての、前記携帯電話機３２等により撮影された撮像１８２の合成表示に関して、そのカラオケ演奏に係る前記盛り上がり判定手段１６４の判定結果すなわちその盛り上がり判定手段１６４により盛り上がり位置と判定される時間位置において、前記デジタルカメラ８２により撮影された撮像１８０の一部乃至全体に前記携帯電話機３２等により撮影された撮像１８２を合成表示させる。例えば、前記カラオケ演奏の出力中にリアルタイムで合成表示させる態様においては、そのカラオケ演奏に関して前記盛り上がり判定手段１６４により盛り上がり位置と判定される時間位置例えば前記マイクロフォン５０から入力される音声情報に対応する信号強度が予め定められた閾値（例えば、所定の音圧）以上となった場合（時間位置）に、前記撮像１８０に対して前記撮像１８２を合成表示させる。また、前記カラオケ演奏中にその演奏に係る情報を記憶しておき、そのカラオケ演奏の終了後に合成を行う態様においては、そのカラオケ演奏を通して前記盛り上がり判定手段１６４により盛り上がり位置と判定される時間位置例えば前記マイクロフォン５０から入力される音声情報に対応する信号強度が最も高かった時点乃至時間区間を判定し、その判定された時間位置において、前記撮像１８０に対して前記撮像１８２を合成表示させる。

前記演奏制御手段１６０は、好適には、前記カラオケ装置１６による所定の演奏曲の出力に際して、その演奏曲に係り前記合成表示手段１７０により合成表示される映像１８４をカラオケ演奏における背景映像として表示させる。すなわち、前記カラオケ装置１６によるカラオケ演奏の出力と併行して前記デジタルカメラ８２により撮影された撮像１８０に対して、前記携帯電話機３２等により撮影された撮像１８２を合成表示させた映像１８４を、その演奏曲の出力に際して前記映像表示装置４０に背景映像として表示させる。すなわち、図１１に示すように、前記映像出力制御部４２及び映像情報デコーダ４４等を介して、前記撮像１８０に対して前記撮像１８２が合成表示された映像１８４の前面側レイヤに、対象となる演奏曲（デジタルカメラ８２による撮像１８０の撮影中に出力される演奏曲）の歌詞文字映像１８６を表示させる。また、図１２に示すように、前記撮像１８０の全体に対して（撮像１８０が不可視となるように）前記撮像１８２が合成表示された映像１８８に関しても同様に、その映像１８８の前面側レイヤに対象となる演奏曲の歌詞文字映像１８６を表示させる。換言すれば、前記カラオケ装置１６による前記演奏曲の出力と併行して前記デジタルカメラ８２により撮影された撮像１８０に対して、前記携帯電話機３２等により撮影された撮像１８２を、その演奏曲の出力中にリアルタイムで合成表示させる態様において、その合成表示される映像１８４をその演奏曲の出力に係る背景映像として前記映像表示装置４０に表示させる。

図７に示す動画投稿手段１７４は、前記デジタルカメラ８２等により撮影された映像を、前記サーバ装置２０における動画データベース１５８に投稿する。好適には、前記デジタルカメラ８２等により撮影された映像情報及び前記マイクロフォン５０から入力された音声情報を１つの動画情報（音声を含む映像ファイル）として前記サーバ装置２０における動画データベース１５８に投稿する。例えば、斯かる動画情報（映像情報及び音声情報）を、投稿者の識別情報（ユーザＩＤ）、投稿者の名前（ニックネーム）、投稿に相前後して投稿者により設定（入力）された映像のタイトル、投稿者のコメント、削除用のパスワード、対応する演奏曲の識別情報（選曲番号）、曲名、アーティスト名、及び演奏評価結果（採点結果）等の情報等と関連付けて前記サーバ装置２０へ送信する。そのようにして送信された動画情報は、後述する動画管理手段１７６により前記動画データベース１５８に記憶（登録）される。

前記動画投稿手段１７４は、好適には、前記合成表示手段１７０による合成表示に係る映像１８４等を前記サーバ装置２０における動画データベース１５８に投稿する。例えば、前述した図８〜図１０等に示す例では、前記デジタルカメラ８２により撮影された撮像１８０に対して、前記携帯電話機３２等により撮影された撮像１８２を合成表示させた映像１８４に対応する動画が、配信側端末装置である前記パーソナルコンピュータ３０等により閲覧できるように、その動画を表示させるための情報を前記サーバ装置２０における動画データベース１５８に投稿する。好適には、前記デジタルカメラ８２により撮影された撮像１８０に対して、前記携帯電話機３２等により撮影された撮像１８２を合成させた映像１８４に対応する映像情報（動画ファイル）を前記サーバ装置２０における動画データベース１５８に投稿する。また、好適には、前記デジタルカメラ８２により撮影された撮像１８０に対応する映像情報と、前記携帯電話機３２等により撮影された撮像１８２に対応する映像情報と、前記撮像１８０に対して前記撮像１８２を所定の時間位置で合成表示させるための情報とを、前記サーバ装置２０における動画データベース１５８に投稿する。

図７に示す動画管理手段１７６は、前記動画データベース１５８を主要な構成要素とする動画情報配信システムにおける動画投稿乃至配信に係る各種管理制御を行う。具体的には、前記通信回線１８を介して接続された前記カラオケ装置１６等の投稿側端末装置からの動画情報の投稿を受け付け、その投稿された動画情報を対応する各種情報と関連付けて動画データベース１５８に記憶させる。また、前記通信回線１８を介して接続された前記カラオケ装置１６やパーソナルコンピュータ３０等の配信側端末装置からの配信要求に応じて、その動画データベース１５８に記憶された動画情報を配信する。

図１３は、前記サーバ装置２０における動画データベース１５８に投稿された前記映像１８４が、前記パーソナルコンピュータ３０等の通信端末装置において表示される様子を例示する図である。この図１３においては、前記サーバ装置２０における動画データベース１５８に投稿された前記映像１８４が、前記パーソナルコンピュータ３０等の通信端末装置による配信要求に応じて配信され、その通信端末装置において所定のＷＷＷ（World Wide Web）サイト１９０上において出力される例を示している。この図１３に示すＷＷＷサイト１９０は、例えば、前記動画データベース１５８を主要な構成要素とする動画情報配信システムを運営する情報配信サービス提供会社により管理される所謂動画投稿サイトに相当するものであり、一般的なＷＷＷブラウザにより前記パーソナルコンピュータ３０や携帯電話機３２等の通信端末装置において閲覧可能とされる。このＷＷＷサイト１９０上においては、出力される映像１８４に係る演奏曲の曲名及びアーティスト名が表示されると共に、再生／停止ボタン１９２、頭出しボタン１９４、再生位置決定つまみ１９６、音量設定つまみ１９８、及び表示画面の全画面表示乃至等倍表示を切り替える表示切替ボタン２００等が表示され、各ボタン乃至つまみにより前記映像１８４の出力に係る各種操作が可能とされている。

図１４は、前記携帯電話機３２のＣＰＵ１００による撮像／送信制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）ＳＡ１において、前記タッチパネルディスプレイ１２４等を介して前記撮像部１３４により撮影を行うための所定の操作が行われたか否かが判断される。このＳＡ１の判断が否定される場合には、ＳＡ３以下の処理が実行されるが、ＳＡ１の判断が肯定される場合には、ＳＡ２において、前記撮像部１３４による撮影が行われ、撮影された撮像が前記記憶部１０６等に記憶される。次に、ＳＡ３において、前記タッチパネルディスプレイ１２４等を介して前記カラオケ装置１６に対して所定の撮像に相当する映像情報（映像ファイル）を送信するための操作が行われたか否かが判断される。このＳＡ３の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＡ３の判断が肯定される場合には、ＳＡ４において、前記赤外線送信部１３６等から前記カラオケ装置１６に対して所定の撮像に相当する映像情報（映像ファイル）の送信が行われた後、本ルーチンが終了させられる。

図１５は、前記カラオケ装置１６のＣＰＵ６０による演奏／撮像制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ＳＢ１において、前記ＲＡＭ６４等の予約曲テーブルにおける所定の予約曲の演奏順となる等して前記カラオケ装置１６によりその演奏曲のカラオケ演奏が開始されるか否かが判断される。このＳＢ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＢ１の判断が肯定される場合には、ＳＢ２において、演奏主体である利用者の携帯電話機３２から、その携帯電話機３２により撮影された撮像が例えばリモコン信号等として前記リモコン受信部７２により受信され、前記ＲＡＭ６４等に記憶される。次に、ＳＢ３において、前記カラオケ装置１６により演奏が開始される演奏曲に対応する楽曲データが前記ハードディスク６６における楽曲データベースから読み出され、その楽曲データに基づくカラオケ演奏制御が開始される。また、前記マイクロフォン５０から入力されて前記Ａ／Ｄコンバータ７４を介して供給される音声情報の記憶が開始される。次に、ＳＢ４において、前記デジタルカメラ８２による撮像が開始され、撮影された映像情報の前記ＲＡＭ６４等への記憶が開始されると共に、その撮像を背景映像として前面側に歌詞文字映像を表示させる表示制御が開始される。

次に、ＳＢ５において、演奏中の演奏曲において予め定められた所定区間が経過したか否かが判断される。このＳＢ５の判断が否定される場合には、ＳＢ９以下の処理が実行されるが、ＳＢ５の判断が肯定される場合には、ＳＢ６において、該当区間における前記マイクロフォン５０から入力された音声情報と、その区間における演奏曲とが比較されることで、斯かる区間におけるカラオケ演奏の評価（採点）が行われる。次に、ＳＢ７において、該当区間における前記マイクロフォン５０から入力された音声情報に対応する信号強度が算出され、その信号強度に基づいて演奏中の演奏曲における盛り上がり位置であるか否かの判断が行われる。このＳＢ７の判断が否定される場合には、ＳＢ９以下の処理が実行されるが、ＳＢ７の判断が肯定される場合には、ＳＢ８において、ＳＢ４にて前記デジタルカメラ８２により撮影された撮像に対して、ＳＢ２にて前記携帯電話機３２等から受信された撮像が合成表示される。好適には、その合成表示に係る映像がカラオケ演奏映像における背景映像として前記映像表示装置４０に表示される。

次に、ＳＢ９において、カラオケ演奏終了であるか否かが判断される。このＳＢ９の判断が否定される場合には、ＳＢ５以下の処理が再び実行されるが、ＳＢ９の判断が肯定される場合には、ＳＢ１０において、前記カラオケ装置１６によるカラオケ演奏制御及び前記デジタルカメラ８２による撮像制御が終了させられる。次に、ＳＢ１１において、前記電子早見本装置２２等を介して前記サーバ装置２０に対して動画の投稿を行うための操作が行われたか否かが判断される。このＳＢ１１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＢ１１の判断が肯定される場合には、ＳＢ１２において、ＳＢ４にて前記デジタルカメラ８２により撮影された撮像に対して、ＳＢ２にて前記携帯電話機３２等から受信された撮像が合成された映像、すなわちＳＢ４にて前記デジタルカメラ８２により撮影された撮像に対してＳＢ８の合成が反映された映像が、投稿者のユーザＩＤをはじめとする各種情報に関連付けられて前記サーバ装置２０へ投稿され、それをもって本ルーチンが終了させられる。

図１６は、前記サーバ装置２０のＣＰＵ１４０による動画管理制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ＳＣ１において、前記カラオケ装置１６等の通信端末装置から前記通信回線１８を介して動画すなわち映像情報の投稿があったか否かが判断される。このＳＣ１の判断が否定される場合には、ＳＣ３以下の処理が実行されるが、ＳＣ１の判断が肯定される場合には、ＳＣ２において、投稿された動画が投稿主体である利用者のユーザＩＤ等と関連付けられて前記動画データベース１５８に記憶（登録）される。次に、ＳＣ３において、前記パーソナルコンピュータ３０等の通信端末装置から前記通信回線１８を介して動画すなわち映像情報の配信要求があったか否かが判断される。このＳＣ３の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＣ３の判断が肯定される場合には、ＳＣ４において、配信要求の要求元である通信端末装置に対して前記通信回線１８を介して要求に係る映像情報の配信が行われた後、本ルーチンが終了させられる。

以上の制御において、ＳＢ１、ＳＢ３、ＳＢ９、及びＳＢ１０が前記演奏制御手段１６０の動作に、ＳＢ５〜ＳＢ７が前記演奏評価手段１６２の動作に、ＳＢ７が前記盛り上がり判定手段１６４の動作に、ＳＡ３及びＳＡ４が前記撮像送信手段１６６の動作に、ＳＢ２及びＳＢ４が前記撮像記憶手段１６８の動作に、ＳＢ８が前記合成表示手段１７０及び前記撮像合成手段１７２の動作に、ＳＢ１１及びＳＢ１２が前記動画投稿手段１７４の動作に、ＳＣ１〜ＳＣ４が前記動画管理手段１７６の動作に、それぞれ対応する。

このように、本実施例によれば、前記カラオケ装置１６に対して位置固定に設けられた据付型撮像装置としてのデジタルカメラ８２と、携帯型撮像装置としての携帯電話機３２により撮影された撮像を受信するリモコン受信部７２等と、前記カラオケ装置１６による前記演奏曲の出力と併行して前記デジタルカメラ８２により撮影された撮像に対して、前記携帯電話機３２により撮影された撮像を、その演奏曲の出力の進行に応じて合成表示させる合成表示手段１７０（ＳＢ８）とを、備えたものであることから、カラオケ演奏中に撮影された撮像の特殊性を踏まえて、その撮像における所定の時間位置に前記携帯電話機３２により撮影された撮像を組み込むことができる。すなわち、携帯型撮像装置により撮影された撮像を用いて簡便に動画編集を行い得るカラオケ装置１６を提供することができる。

また、音声入力装置であるマイクロフォン５０から入力される音声情報に応じて、前記カラオケ装置１６により出力される演奏曲に係る演奏評価を行う演奏評価手段１６２（ＳＢ５〜ＳＢ７）を備え、前記合成表示手段１７０は、前記携帯電話機３２により撮影された撮像を、前記演奏評価手段１６２による評価結果に応じて決定される時間位置において、前記デジタルカメラ８２により撮影された撮像の一部乃至全体に合成表示させるものであるため、前記演奏曲の出力と併行して前記デジタルカメラ８２により撮影された撮像における、その演奏曲の演奏評価結果を踏まえた所定の時間位置に、簡便且つ実用的な態様で前記携帯電話機３２により撮影された撮像を組み込むことができる。

また、前記演奏評価手段１６２に備えられた盛り上がり判定手段１６４（ＳＢ７）は、前記マイクロフォン５０から入力される音声情報に応じて、前記カラオケ装置１６により出力される演奏曲の盛り上がり位置を判定するものであり、前記合成表示手段１７０は、前記携帯電話機３２により撮影された撮像を、前記演奏評価手段１６２により判定される盛り上がり位置において、前記デジタルカメラ８２により撮影された撮像の一部乃至全体に合成表示させるものであるため、前記演奏曲の出力と併行して前記デジタルカメラ８２により撮影された撮像における、その演奏曲が盛り上がる部分に相当する所定の時間位置に、簡便且つ実用的な態様で前記携帯電話機３２により撮影された撮像を組み込むことができる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例では、前記携帯電話機３２により撮影された撮像に対応する映像情報を、その携帯電話機３２に備えられた赤外線送信部１３６から前記カラオケ装置１６に対して赤外線信号として送信する態様を説明したが、本発明はこれに限定されるものではなく、例えば、前記サーバ装置２０等において前記通信カラオケシステム１０の利用者毎に個別の情報を記憶させるデータベースを備えた構成においては、前記携帯電話機３２により撮影された撮像に対応する映像情報をそのデータベースに蓄積しておき、前記カラオケ装置１６による演奏曲の出力に際してそのデータベースに記憶された映像情報をダウンロードし、前記デジタルカメラ８２により撮影された撮像と合成表示させるといった態様も考えられる。

また、前述の実施例では、前記デジタルカメラ８２により撮影された撮像に対して、前記携帯電話機３２により撮影された撮像を合成させて前記映像表示装置４０に表示させる態様について説明したが、斯かる映像を前記コマンダ本体３８に備えられたタッチパネルディスプレイ７８に表示させるものであってもよい。この場合、前記映像表示装置４０にはデフォルトの背景映像を用いたカラオケ演奏映像を表示させてもよいし、その映像表示装置４０にも同様に合成に係る映像を表示させてもよい。

また、前述の実施例では特に言及していないが、本発明は、前記サーバ装置２０に投稿された複数の動画を組み合わせて表示させるサービスにも好適に適用される。すなわち、前記動画管理手段１７６により受け付けられる複数の動画（映像情報）を組み合わせて共演映像情報を編集し、その編集された共演映像情報を前記動画データベース１５８に記憶させると共に、通信端末装置からの配信要求に応じてその共演映像情報をその通信端末装置に配信する動画配信システム（コラボ動画）にも、本発明は好適に適用される。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

１６：カラオケ装置、３２：携帯電話機（携帯型撮像装置）、５０：マイクロフォン（音声入力装置）、７０：ＬＡＮポート（受信部）、７２：リモコン受信部、８２：デジタルカメラ（据付型撮像装置）、１６２：演奏評価手段、１７０：合成表示手段、１８０、１８２：撮像、１８４、１８８：映像（合成表示）、１８６：歌詞文字映像

Claims (2)

1. 多数の演奏曲のうちから選択される演奏曲を出力させると共に、該演奏曲の歌詞文字映像を映像表示装置に表示させるカラオケ装置であって、
   該カラオケ装置に対して位置固定に設けられた据付型撮像装置と、
   携帯型撮像装置により撮影された撮像を受信する受信部と、
   前記カラオケ装置による前記演奏曲の出力と併行して前記据付型撮像装置により撮影された撮像に対して、前記携帯型撮像装置により撮影された撮像を、該演奏曲の出力の進行に応じて合成表示させる合成表示手段と、
   所定の音声入力装置から入力される音声情報に応じて、前記カラオケ装置により出力される演奏曲に係る演奏評価を行う演奏評価手段と
   を、備え、
   前記合成表示手段は、前記携帯型撮像装置により撮影された撮像を、前記演奏評価手段による評価結果に応じて決定される時間位置において、前記据付型撮像装置により撮影された撮像の一部乃至全体に合成表示させるものである
   ことを特徴とするカラオケ装置。
2. 前記演奏評価手段は、前記音声入力装置から入力される音声情報に応じて、前記カラオケ装置により出力される演奏曲の盛り上がり位置を判定するものであり、
   前記合成表示手段は、前記携帯型撮像装置により撮影された撮像を、前記演奏評価手段により判定される盛り上がり位置において、前記据付型撮像装置により撮影された撮像の一部乃至全体に合成表示させるものである請求項１に記載のカラオケ装置。

Images