JPWO2015008756A1 - 投影装置、制御装置、制御プログラム、および投影制御方法 - Google Patents

Abstract

投影装置は、楽曲に基づいた画像を投影する投影部と、楽曲を歌唱する歌唱者を検出する検出部と、検出部によって検出された歌唱者に画像を投影部によって投影させる投影制御部と、を備える。

Description

本発明は、投影装置、制御装置、制御プログラム、および投影制御方法に関する。

カラオケ曲に応じた環境を、投影映像や送風、空調、照明、臭いにより人工的に形成して臨場感を高めるカラオケ装置が知られている（特許文献１参照）。

日本国特開平８−７６７７９号公報

従来技術では、臨場感に乏しい場合があった。

本発明の第１の態様によると、投影装置は、楽曲に基づいた画像を投影する投影部と、楽曲を歌唱する歌唱者を検出する検出部と、検出部によって検出された歌唱者に画像を投影部によって投影させる投影制御部と、を備える。
本発明の第２の態様によると、第１の態様の投影装置において、歌唱者の位置と、歌唱者とは異なる人物の位置と、を検出する位置検出部を備え、投影制御部は、位置検出部による検出結果に基づいて、投影部による投影を制御することが好ましい。
本発明の第３の態様によると、第２の態様の投影装置において、投影制御部は、位置検出部による検出結果に基づいて、歌唱者とは異なる人物から歌唱者を視認した場合、歌唱者に画像が重畳されるように投影部に投影させることが好ましい。
本発明の第４の態様によると、第１から第３のいずれか一態様の投影装置において、楽曲に基づいて、歌唱者による歌唱を評価する評価部を備え、投影制御部は、評価部による評価に基づいて、投影部に投影させる画像を変更することが好ましい。
本発明の第５の態様によると、第４の態様の投影装置において、投影制御部は、楽曲の再生中に、評価部による評価値に基づいて画像を変更することが好ましい。
本発明の第６の態様によると、第１から第５のいずれか一態様の投影装置において、投影制御部は、楽曲に関連付けられている衣装の画像を投影部に投影させることが好ましい。
本発明の第７の態様によると、第１から第５のいずれか一態様の投影装置において、投影制御部は、楽曲のジャンル別に関連付けられている衣装の画像を投影部に投影させることが好ましい。
本発明の第８の態様によると、第１から第７のいずれか一態様の投影装置において、歌唱者の姿勢を検出する姿勢検出部を備え、投影制御部は、姿勢検出部によって検出された歌唱者の姿勢に基づいて、投影部による投影を制御することが好ましい。
本発明の第９の態様によると、第８の態様の投影装置において、投影制御部は、検出された姿勢に基づいて、投影部によって投影される画像を処理することが好ましい。
本発明の第１０の態様によると、第１から第９のいずれか一態様の投影装置において、マイク装置を含み、投影部は、マイク装置に搭載されていてもよい。
本発明の第１１の態様によると、第１から第９のいずれか一態様の投影装置において、投影制御部は、画像を歌唱者以外へ投影するように制御してもよい。
本発明の第１２の態様によると、第１１の態様の投影装置において、周囲の状況を検出する状況検出部を備え、投影制御部は、評価部による評価値、もしくは状況検出部によって検出された状況に基づいて、歌唱者以外へ投影する画像を変更することが好ましい。
本発明の第１３の態様によると、第１から第１２のいずれか一態様の投影装置において、投影制御部は、楽曲のデータに付されるタグ情報に基づいて、投影部に投影させる画像を選択することが好ましい。
本発明の第１４の態様によると、投影装置は、楽曲に基づいた画像を投影する投影部と、楽曲を歌う歌唱者の歌唱を評価する評価部と、評価部による評価に基づいて、投影部に投影させる画像を変更する投影制御部と、を備える。
本発明の第１５の態様によると、第１４の態様の投影装置において、評価部は、経過時間ごとに歌唱者の歌唱の評価を行うことが好ましい。
本発明の第１６の態様によると、第１５の態様の投影装置において、投影制御部は、評価部によって歌唱者の歌唱が第１評価点であると評価された場合、第１画像を投影部に投影させ、評価部によって歌唱者の歌唱が第１評価点とは異なる第２評価点であると評価された場合、第１画像とは異なる第２画像を投影部に投影させることが好ましい。
本発明の第１７の態様によると、投影装置は、楽曲に基づいた画像を楽曲を歌唱する歌唱者に投影する投影部と、投影部によって投影される歌唱者の位置と、歌唱者とは異なる人物の位置と、を検出する位置検出部と、位置検出部による検出結果に基づいて、投影部による投影を制御する投影制御部と、を備える。
本発明の第１８の態様によると、制御装置は、楽曲を歌唱する歌唱者を検出する検出部と、検出部によって検出された歌唱者に楽曲に基づく画像を投影部に投影させる投影制御部と、を備える。
本発明の第１９の態様によると、制御プログラムは、楽曲を歌唱する歌唱者を検出する処理と、検出された歌唱者に楽曲に基づく画像を投影部に投影させる処理と、をコンピュータに実行させる。
本発明の第２０の態様によると、投影制御方法は、楽曲を歌唱する歌唱者を検出する処理と、検出された歌唱者に楽曲に基づく画像を投影部に投影させる処理と、を行う。

本発明によれば、臨場感を高められる。

本発明の一実施の形態による投影装置の使用場面を説明する図である。 衣装の画像が投影された人物を例示する図である。 制御装置、デジタルカメラ、およびプロジェクタの要部構成を説明するブロック図である。 男性服の衣装画像が投影された人物を例示する図である。 衣装でない他の画像が投影された人物を例示する図である。 制御装置の制御部が実行する処理の流れを例示するフローチャートである。 マイクに内蔵されるマイクロプロジェクタから衣装の画像が投影された人物を例示する図である。 第二実施形態におけるマイクの要部構成を説明するブロック図である。 プログラムの供給を説明する図である。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一実施形態）
＜使用場面の説明＞
図１は、本発明の第一実施形態による投影装置の使用場面を説明する図である。図１において、人物Ａは、スピーカー６０Ａおよび６０Ｂから音響再生される楽曲伴奏に合わせて、マイク５０を用いて歌唱する。楽曲の歌詞は、人物Ａに向けて配置されているモニタ装置３０に表示される。人物Ａが歌唱する楽曲は、人物Ａが曲選曲ターミナル４０を操作して選ぶ。伴奏や歌詞などの楽曲データは、制御装置７０がネットワーク９０を介してサーバー８０から取得する。サーバー８０には、あらかじめ複数の楽曲データが、それぞれの曲番号に対応付けて格納されている。

制御装置７０は、取得した楽曲データに基づいてスピーカー６０Ａおよび６０Ｂを駆動するとともに、楽曲データに基づく歌詞をモニタ装置３０に表示させる。制御装置７０はさらに、マイク５０で集音され、マイク５０から無線送信された歌唱音声データを、楽曲伴奏に重畳してスピーカー６０Ａおよび６０Ｂから再生させる。

デジタルカメラ２０は、人物Ａを所定のフレームレート（例えば６０ｆｐｓ）で撮像し、撮像したフレーム画像を逐次無線通信によって制御装置７０へ送信する。制御装置７０は、デジタルカメラ２０から送信されたフレーム画像に基づいて、人物Ａの位置および姿勢を検出する。制御装置７０はさらに、再生している楽曲データと、マイク５０から送信される歌唱音声データとに基づいて、人物Ａによる歌唱について公知のカラオケ採点を行う。

制御装置７０は、再生する楽曲に応じて投影データを決定し、決定した投影データに基づく投影用画像を生成する。投影する画像は、例えば仮想衣装の画像である。プロジェクタ１０は、上記検出されている人物Ａの位置および姿勢に対応させて投影像を制御しながら、人物Ａ（主として胴や手足）に向けて画像を投影する。ここで、制御装置７０は、楽曲を選んだ人物Ａを投影対象物に決める。例えば、デジタルカメラ２０から送信されたフレーム画像に基づいて、曲選択操作が行われた時点において曲選曲ターミナル４０を持っている人を人物Ａとする。図２は、衣装の画像が投影された人物Ａを例示する図である。プロジェクタ１０から投影する映像信号は、制御装置７０から無線通信によってプロジェクタ１０へ供給される。

制御装置７０は、例えばパーソナルコンピューターによって構成される。制御装置７０は、所定のプログラムを実行することにより、上記デジタルカメラ２０による撮像動作、上記プロジェクタ１０から投影する画像の生成動作、プロジェクタ１０による投影動作、上記楽曲データの取得および再生動作、および歌唱に対する採点動作についての制御を行う。サーバー８０は、楽曲データ等を格納し、制御装置７０からの要求に応じて必要なデータを制御装置７０へ提供する。なお、サーバー８０は必ずしも必要がなく、楽曲データ等を制御装置７０に記憶させておいてもよい。
また、制御装置７０、モニタ装置３０、デジタルカメラ２０、プロジェクタ１０は、それぞれ別体構成として例示したが、これらを一体的に構成してもよい。例えば、プロジェクタ１０の内部に、デジタルカメラ２０や制御装置７０を含む構成としてもよいし、モニタ装置３０の内部にデジタルカメラ２０、制御装置７０、プロジェクタ１０を含む構成としてもよい。つまり、利用者の要望に合わせて適宜変更して構わない。

＜投影制御の説明＞
第一実施形態では、上述したように衣装の画像をプロジェクタ１０から人物Ａに投影させる。図３は、図１の制御装置７０、デジタルカメラ２０、およびプロジェクタ１０の要部構成を説明するブロック図である。

デジタルカメラ２０は、撮像光学系２１と、撮像素子２２と、画像処理部２３と、制御部２４とを含む。撮像光学系２１は、撮像素子２２の撮像面上に被写体像（本例の主要被写体は人物Ａ）を結像させる。撮像素子２２は、例えばベイヤ配列されたカラーフィルタを通して被写体像を撮像し、ＲＧＢ表色系で表された画像データを出力する。画像処理部２３は、画像データに所定の画像処理（例えば、輪郭強調など）を行う。制御部２４は、デジタルカメラ２０の各部に対する制御、および制御装置７０との間の通信を行う。

制御装置７０は、再生部７１と、採点部７２と、投影像生成部７３と、制御部７４と、記憶部７５とを含む。再生部７１は、ネットワーク９０を介して取得した楽曲データ、およびマイク５０から無線送信された歌唱音声データに基づいて、カラオケ伴奏と人物Ａの歌声をスピーカー６０Ａおよび６０Ｂから音響再生させる。再生部７１はさらに、楽曲データに基づく歌詞をモニタ装置３０に表示させる。なお、楽曲データに関連付けられた画像データが存在する場合は、画像データに基づく画像（プロモーションビデオ（ＰＶ）等）を背景にして歌詞をモニタ装置３０に表示させる。

採点部７２は、楽曲データと歌唱音声データとに基づいて、例えば歌声が伴奏の音程と一致しているか、歌声のテンポが伴奏のテンポと一致しているか、歌声にビブラートや抑揚が含まれているか、などを採点要素に含めた採点を行う。採点部７２による採点結果は、ユーザが歌っている最中に所定のタイミングでモニタ装置３０に表示してもよいし、ユーザが歌い終わった後にモニタ装置３０に表示してもよい。採点部７２は、ユーザが歌っている間に適宜採点を行うが、モニタ装置３０への採点結果の表示は、必ずしも行わなくてもよい。

投影像生成部７３は、衣装の画像を生成する。本実施形態では、あらかじめ複数の衣装画像のデータが記憶部７５に格納されている。衣装画像は、盛装や軽装、正装や略装、洋服や和服、民族衣装、女性服（例えばドレス等）や男性服（例えばタキシード等）に分けて、それぞれ色や柄のデザインが異なる衣装が多数用意されている。各衣装の画像には、衣装を前から見た画像、横（左右両方）から見た画像、および後ろから見た画像が含まれる。

投影像生成部７３は、例えば楽曲データに付されているタグ情報に基づいて、選曲された楽曲が女性歌手によって歌われた楽曲であることを判断すると、女性服の衣装画像を選ぶ。投影像生成部７３は、楽曲データに付されているタグ情報に基づいて、選曲された楽曲が男性歌手によって歌われた楽曲であることを判断すると、男性服の衣装画像を選ぶ。図４は、男性服の衣装画像が投影された人物Ａを例示する図である。衣装の画像を関連付けるために楽曲データにタグ情報を付しておくと、衣装画像の選択処理が容易になる。

衣装画像のデータを、あらかじめ演歌、ロック、ポップ、ジャズ、ビジュアル系などの楽曲のジャンル別にタグ付けしておいてもよい。この場合、投影像生成部７３は、選曲された楽曲のジャンルに応じて衣装画像を選ぶことができる。また、投影像生成部７３は、モニタ装置に表示されている画像（ＰＶ）に応じて衣装画像を変更してもよい。
衣装画像のデータのタグ付けは、一衣装を一楽曲に対応させるのみでなく、複数の衣装を一つの楽曲に対して複数タグ付けさせてもよい。また、一つの楽曲が流れている最中に複数の衣装を適宜変更して投影するように設定されていてもよい。

投影像生成部７３は、デジタルカメラ２０から送信された画像データに基づいて、人物Ａの位置および姿勢を推定し、投影する画像の衣装を人物Ａに重ねるように、選んだ衣装画像に対して処理を施して投影像を生成する。ここで、人物Ａは静止しているとは限らないため、人物Ａの位置に応じて衣装の投影位置を移動させるように、衣装画像に対して画像処理を行う。このような処理により、実質的に衣装の投影方向を制御する。また、投影像生成部７３は、人物Ａが正面（プロジェクタ１０方向）を向いているとは限らないので、人物Ａの向きに応じて、前から見た衣装、横（左右両方）から見た衣装、または後ろから見た衣装の画像を人物Ａに重ねるように、衣装画像を切替える投影像を生成する。

投影像生成部７３は、歌っている人物Ａに衣装の画像を投影する際に、人物Ａを観ている他の人物の位置を考慮して、人物Ａに重ねる衣装画像を切替えるようにしてもよい。例えば、歌っている人物Ａの位置だけでなく、人物Ａを観ている不図示の人物Ｂの位置を検出し、人物Ｂの位置から人物Ａを観た場合に衣装の画像が人物Ａに適切に重畳するように、衣装の投影像を生成する。

また、プロジェクタ１０以外にも複数台のプロジェクタを備え、人物Ａに対して前後左右からそれぞれ衣装画像を投影するようにしてもよい。この場合の投影像生成部７３は、これらの複数台のプロジェクタのそれぞれで必要な衣装の投影像を生成する。

さらに、人物Ａが実際に着ている衣装は白とは限らないため、投影像生成部７３は、人物Ａがもともと着用している服装の色や模様をデジタルカメラ２０から送信された画像データの色情報に基づいて検出し、検出した色や模様を目立たなくする一方で投影する衣装画像の衣装が目立つように、衣装画像に対して色や輝度を変える画像処理を行って投影像を生成する。以上のように生成した投影像を人物Ａに投影することにより、人物Ａがあたかも投影された画像の衣装をまとっているかのように観察される。

上述したプロジェクション・マッピングにおける投影像のための画像処理方法は、例えば、非特許文献：Takuma Nakamura, Akio Watanabe, Naoki Hashimoto, “Dynamic Projection Mapping”, ACM SIGGRAPH, Proc. of ACM SIGGRAPH2012, 2012/08 に記載される手法を用いることができる。

投影する衣装のグレードを採点部７２で採点されたスコアに応じて異ならせるようにしてもよい。投影像生成部７３は、採点スコアが第１所定値（例えば１００点満点で８０点）以上の場合に盛装の衣装の画像を選び、採点スコアが第１所定値に満たない場合には、軽装の衣装の画像を選ぶ。また、採点スコアが第２所定値（例えば１００点満点で３０点）に満たない場合には、服でなく他の画像（骨の画像）を選ぶ。図５は、他の画像が投影された人物Ａを例示する図である。

投影する衣装のグレードを変更する場合、採点スコアが上がるほど衣装のグレードを上げるだけでなく、これとは逆にしてもよい。すなわち、採点スコアが下がるにつれて、衣装を豪華に変更してもよい。また、衣装の変更に際し、周囲が盛り上がるような衣装に変更してもよい。例えば、楽曲の進行とともにどんどん採点スコアが落ちていくような場合は、比較的歌が上手くない人が歌っている場合であるといえる。このような場合に、歌う人物が歌い辛くならないように、周囲を盛り上げるような衣装の画像に変更してもよい。さらにまた、採点スコアだけでなく、その場の盛り上がり具合などの周囲の雰囲気や状況に応じて衣装の画像を変更してもよい。具体的には、マイク５０から送信される音声データに基づいて盛り上がり具合を検出し、盛り上がっている場合に豪華な衣装の画像に変更する。

制御部７４は、制御装置７０の各部に対する制御の他、制御装置７０とデジタルカメラ２０との間、および制御装置７０とプロジェクタ１０との間の通信を行う。記憶部７５は、上述したように複数の衣装画像のデータをあらかじめ格納しておく他にも、上記画像処理の過程における衣装の画像データを記憶する。上述したように、投影像生成部７３は、動きのある人物Ａに対して衣装の画像を重ねるように衣装画像に対する画像処理を行うが、人物Ａが同じ動きを繰り返す場合には、同じ画像処理を繰り返すことになる。そこで、人物Ａが同じ動きを繰り返す場合において、以前と同じ投影像を記憶部７５から読み出して使用することで、投影像生成部７３による処理負担を軽減させることができる。

制御部７４は、投影像生成部７３で生成された投影像をプロジェクタ１０から投影させるため、生成した衣装画像の映像信号をプロジェクタ１０へ送出する。

プロジェクタ１０は、投影光学系１１と、投影像生成部１２と、光源１３と、制御部１４とを含む。光源１３は、投影像生成部１２を照明する。投影像生成部１２は、例えば液晶パネルによって構成され、制御装置７０からの映像信号に基づいて照明光を変調する。投影光学系１１は、投影像生成部１２によって変調された光の像を人物Ａに向けて投影する。

＜フローチャートの説明＞
図６は、以上説明した投影動作を行うために制御装置７０の制御部７４が実行する処理の流れを例示するフローチャートである。制御部７４は、人物Ａによってスタートが指示されると図６による処理を開始させる。図６のステップＳ１０１において、制御部７４は、曲番号が入力されたか否かを判定する。制御部７４は、曲選曲ターミナル４０から送信された曲番号情報を受信すると、ステップＳ１０１を肯定判定してステップＳ１０２へ進む。制御部７４は、曲選曲ターミナル４０からの曲番号情報を受信しない場合には、ステップＳ１０１を否定判定して当該判定処理を繰り返しながら、曲番号情報が受信されるのを待つ。

ステップＳ１０２において、制御部７４は、サーバー８０から曲番号に対応する楽曲データを取得してステップＳ１０３へ進む。ステップＳ１０３において、制御部７４は、デジタルカメラ２０およびプロジェクタ１０を始動させてステップＳ１０４へ進む。これにより、デジタルカメラ２０は、所定のフレームレートで撮像したフレーム画像を逐次無線通信によって制御装置７０へ送信する。一方プロジェクタ１０は、投影信号の入力を待つ。

ステップＳ１０４において、制御部７４は投影像生成部７３へ指示を送り、楽曲データに応じて衣装を決定させてステップＳ１０５へ進む。投影像生成部７３は、楽曲データに付されているタグ情報に基づいて、例えば楽曲のジャンルや、その楽曲を歌う歌手の性別に応じて衣装を決定する。

ステップＳ１０５において、制御部７４は投影像生成部７３へ指示を送り、決定した衣装の画像に基づいて投影像の生成を開始させてステップＳ１０６へ進む。制御部７４が、生成された投影像の映像信号をプロジェクタ１０へ送信すると、プロジェクタ１０から映像信号に基づく衣装の画像の投影が始まる。

ステップＳ１０６において、制御部７４は、楽曲の再生が指示されたか否かを判定する。制御部７４は、曲選曲ターミナル４０から送信された再生指示情報を受信すると、ステップＳ１０６を肯定判定してステップＳ１０７へ進む。制御部７４は、曲選曲ターミナル４０からの曲番号情報を受信しない場合には、ステップＳ１０６を否定判定して当該判定処理を繰り返す。

ステップＳ１０７において、制御部７４は再生部７１へ指示を送り、楽曲の再生を開始させてステップＳ１０８へ進む。これにより、再生部７１がカラオケ伴奏と人物Ａの歌声をスピーカー６０Ａおよび６０Ｂから音響再生させ、楽曲データに基づく歌詞をモニタ装置３０に表示させる。なお、採点部７２は、楽曲の再生が始まると採点を開始するように構成される。

ステップＳ１０８において、制御部７４は、採点部７２から現時点における採点スコアを取得してステップＳ１０９へ進む。ステップＳ１０９において、制御部７４は投影像生成部７３へ指示を送り、採点スコアに応じて衣装を変更させてステップＳ１１０へ進む。投影像生成部７３は、上述したように採点スコアに応じて衣装を変更したり、衣装でない骨の画像を選んだりする。なお、衣装の変更が必要ない場合はステップＳ１０９をスキップしてステップＳ１１０へ進む。

ステップＳ１１０において、制御部７４は、楽曲の再生が終了したか否かを判定する。制御部７４は、再生部７１による再生が終了した場合にステップＳ１１０を肯定判定してステップＳ１１１へ進む。制御部７４は、再生部７１による再生が終了しない場合にはステップＳ１１０を否定判定し、ステップＳ１０８へ戻る。以上説明したように、楽曲の進行とともに、採点スコアに応じて投影される衣装が変化する。

ステップＳ１１１において、制御部７４は、終了操作が行われたか否かを判定する。制御部７４は、人物Ａによって終了が指示されると、ステップＳ１１１を肯定判定してステップＳ１１２へ進む。制御部７４は、終了が指示されない場合には、ステップＳ１１１を否定判定して当該判定処理を繰り返し、衣装画像の投影を続ける。

ステップＳ１１２において、制御部７４は投影像生成部７３へ指示を送り、投影像の生成を終了させてステップＳ１１３へ進む。これにより、プロジェクタ１０による衣装の画像の投影が終了する。ステップＳ１１３において、制御部７４は、デジタルカメラ２０およびプロジェクタ１０を停止させて図６による処理を終了する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）投影装置は、楽曲データを取得する制御装置７０と、取得された楽曲データに基づいて衣装画像を選択する制御装置７０と、選択された画像を投影するプロジェクタ１０と、人物Ａの姿勢を検出する制御装置７０と、検出された姿勢に基づいて、投影像が人物Ａ上に映るようにプロジェクタ１０からの投影を制御する制御装置７０と、を備える。例えば、人物Ａが動いたとしても、動いた人物Ａに衣装の投影像が映るように制御するので、臨場感を高めることができる。

（２）制御装置７０は、検出された姿勢に基づいて、プロジェクタ１０から投影される画像を処理することによって投影像が人物Ａ上に映るようにしたので、プロジェクタ１０による投影方向を機械的に動かさなくてもよい。

なお、衣装画像に対する画像処理を行うことによって実質的に衣装画像の投影方向を制御する代わりに、プロジェクタ１０の投影方向を機械的に動かすことにより、動いた人物Ａに衣装の投影像が映るように制御してもよい。

（３）制御装置７０は楽曲データを取得し、投影対象物は、楽曲データを選ぶ人物Ａとした。例えば、楽曲を選んだ人物Ａに楽曲に応じた衣装の画像が投影されるので、人物Ａが希望する曲に見合う衣装が人物Ａに投影される。人物Ａは、臨場感を楽しめる。

（４）制御装置７０は、楽曲データにあらかじめ関連付けられている衣装の画像を選択するので、例えば、盛装や軽装、女性用や男性用など、衣装画像の選択処理を容易にできる。

（５）制御装置７０は、楽曲データのジャンル別にあらかじめ関連付けられている衣装の画像を選択するので、例えば、曲調に合わせた衣装を選ぶ際に、衣装画像の選択処理が容易になる。

（６）楽曲データに基づいて、人物Ａによる歌唱を採点する採点部７２を備え、制御装置７０は、採点部７２による採点スコアに基づいて、衣装の画像を変更するようにした。これにより、例えばスコアが高いほど高級な衣装にするなど、衣装替えを行うことができる。

（変形例１）
上述した実施形態では、人物Ａが一人で歌唱する例を説明したが、複数の人物が歌唱するように構成してもよい。この場合、複数の人物の間で投影する衣装を変えるため、例えばマイクの色を異ならせておく。制御部７４は、デジタルカメラ２０から送信されるフレーム画像のデータに基づいて、画像に含まれるマイクの色を検出し、検出した色に基づき人物ごとに異なる衣装を投影する。

（変形例２）
マイクの色に基づいて人物を識別する代わりに、例えばＱＲコード（登録商標）のように、マイクに所定のパターンを付しておいてもよい。パターンは複数のマイクの間で異ならせておく。制御部７４は、デジタルカメラ２０から送信されるフレーム画像のデータに基づいて、画像に含まれるマイクのパターンを復号し、復号した情報に基づき人物ごとに異なる衣装を投影する。

（変形例３）
上述した説明では、衣装画像のデータを制御装置７０の記憶部７５に格納しておく例を説明したが、衣装画像のデータを楽曲データに関連付けて、サーバー８０に格納しておくように構成してもよい。変形例３の場合は、あらかじめ楽曲ごとに、衣装と楽曲との間のひも付けが行われる。ひも付けは、例えば、楽曲のジャンルや、その楽曲を歌う歌手などに分類して行う。制御部７４は、曲選曲ターミナル４０から送信された曲番号に対応する楽曲データをサーバー８０から取得する際に、楽曲にひも付けられている衣装画像のデータも合わせてサーバー８０から取得する。投影像生成部７３は、このようにサーバー８０から取得した衣装画像のデータに対して処理を施して投影像を生成する。

（変形例４）
衣装画像のデータを、楽曲データに関連付けることなくサーバー８０に格納しておくように構成してもよい。変形例４の場合は、衣装画像のデータが、あらかじめ演歌、ロック、ポップ、ジャズ、ビジュアル系などの楽曲のジャンル別に分類して複数格納される。歌唱する人物は、曲選曲ターミナル４０から曲番号を指定する際に、衣装番号も指定する。制御部７４は、曲選曲ターミナル４０から送信された曲番号に対応する楽曲データをサーバー８０から取得するとともに、曲選曲ターミナル４０から送信された衣装番号に対応する衣装画像のデータもサーバー８０から取得する。投影像生成部７３は、このようにサーバー８０から取得した衣装画像のデータに対して処理を施して投影像を生成する。

（変形例５）
上述した実施形態では、投影像生成部７３が、デジタルカメラ２０から送信された画像データに基づいて、人物Ａの位置および姿勢を推定する例を説明した。人物Ａが踊りながら歌う場合には、人物Ａの位置や姿勢をＲＧＢ表色系の画像データのみに基づいて求める代わりに、キネクト（Kinect(商標)）センサと呼ばれるモーション認識用センサで取得される３次元位置情報に基づいて人物Ａの位置や姿勢を求めてもよい。キネクトセンサは、ＲＧＢ方式カメラに加えて、奥行き（センサからの距離）測定用の赤外光カメラを備えており、人物Ａの骨格の各部位についての３次元位置情報を取得する。キネクトセンサ出力に基づいて人物Ａの骨格の動きを精度よく検出することにより、ＲＧＢ表色系の画像データのみに基づいて人物Ａの位置や姿勢を求める場合に比べて、高精度に人物Ａの位置や姿勢を求めることができる。投影像生成部７３は、このように求めた人物Ａに衣装の画像を重ねるように、衣装画像に対して処理を施して投影像を生成する。

（変形例６）
人物Ａがもともと着用している服装の色が黒い場合は、人物Ａに投影した衣装画像が映りにくい。そこで、このような場合には、人物Ａの服装のうち黒い部分を除いた映りやすい部分へ、衣装画像を投影してもよい。具体的には、投影像生成部７３が、楽曲データに基づいて選んだ衣装画像に対し、人物Ａの服装の黒でない部分へ選択的に投影するように処理を施して投影像を生成する。
また、人物Ａが着用している服装の色が黒い場合において、制御部７４が室内の電球を暗くするように制御してもよい。明るい環境下で衣装の画像を投影する場合よりも、暗い環境下で衣装の画像を投影する方が、投影した衣装画像が映りやすくなるからである。

（変形例７）
人物Ａの動きが非常に激しい場合には、衣装画像の投影を中断してもよい。例えば、人物Ａの位置がプロジェクタ１０の投影範囲外へ移動した場合や、変形例５において取得される人物Ａの骨格の各部位についての３次元位置情報の単位時間当たりの変化が所定値を超えた場合には、衣装画像の投影を中断する。投影像が人物Ａから外れて人物Ａに映らないという事態を避けるためである。

（第二実施形態）
第一実施形態では、衣装の画像を、プロジェクタ１０から人物Ａに向けて投影するようにした。プロジェクタ１０の代わりに、マイク装置５０Ｂの中にマイクロプロジェクタ５０ｐを内蔵させてもよい。図７は、マイク装置５０Ｂに内蔵されるマイクロプロジェクタ５０ｐから衣装の画像が投影された人物Ａを例示する図である。

図８は、第二実施形態におけるマイク装置５０Ｂの要部構成を説明するブロック図である。図８において、図３の場合と同一構成には同一符号を付して説明を省略する。マイク装置５０Ｂは、音による空気振動を電気信号に変換するマイクユニット５２と、アナログ電気信号をデジタルデータ（本例では歌唱音声データ）に変換するA/D変換部５１と、マイクロプロジェクタ５０ｐと、制御部１４とを含む。

A/D変換部５１によってデジタル化された歌唱音声データは、制御装置７０へ無線送信される。マイクロプロジェクタ５０ｐから投影すべき映像信号は、制御装置７０からマイク装置５０Ｂへ無線通信によって供給される。

マイクロプロジェクタ５０ｐは、投影光学系１１と、投影像生成部１２と、光源１３とを含む。マイクロプロジェクタ５０ｐは、制御装置７０からの映像信号に基づく投影像を人物Ａに向けて投影する。制御部１４は、マイク装置５０Ｂ内の各部を制御する。

以上説明した第二の実施形態によれば、人物Ａが持っているマイク装置５０Ｂに搭載したマイクロプロジェクタ５０ｐから人物Ａに衣装画像を投影する。マイクロプロジェクタ５０ｐは、人物Ａがマイク装置５０Ｂを持っている場合において人物Ａの腕の長さの範囲に存在するので、図３の場合に比べて、人物Ａに近い距離から人物Ａへ衣装画像を投影できる。このため、少ない光量でも明るい衣装画像を投影できる。

（変形例８）
上述した説明では、人物Ａの体に衣装画像を投影する例を説明したが、衣装に加えて、人物Ａの頭部へ髪の毛の色を変えるような投影をしてもよい。髪の毛の色は、衣装の色に合わせた色にしてもよいし、再生されている楽曲を持ち歌とするプロ歌手の髪の色に合わせてもよい。
さらに、衣装画像の投影に加えて、人物Ａの顔に画像を投影してもよい。顔に投影する画像は、再生されている楽曲を持ち歌とするプロ歌手のメイク等に合わせてもよい。

（変形例９）
再生されている音を判別し、判別した音に基づいて重畳する画像を選択してもよい。例えば、スピーカー６０Ａ、６０Ｂから再生されている音をマイク５０（マイク装置５０Ｂ）で検出し、検出された音を制御装置７０によって判別する。投影像生成部７３は、判別された音に基づいて重畳する画像を選択する。

（変形例１０）
人物Ａに向けて衣装画像を投影するだけでなく、壁等にも投影を行ってよい。例えば、壁に向けてバックダンサーの画像を投影する。人物Ａ以外の壁にも投影することで、投影像の豪華さを増すことができる。壁等に投影するバックダンサーの画像は、投影像生成部７３が選択、生成する。

（変形例１１）
採点スコアや盛り上がり度合いに応じて投影の豪華さを決定してもよい。例えば、採点部７２による採点スコアが所定点数を超えた場合において、壁にバックダンサーの画像を投影する。また、マイク５０（マイク装置５０Ｂ）で検出された音に基づいて制御装置７０によって場の盛り上がり具合を検出し、盛り上がっている場合において壁にバックダンサーの画像を投影する。

投影像の豪華さを高める例として、通常は投影しないバックダンサーを投影像に加えたり、投影しているバックダンサーの人数を増やしたりすることができる。また、バックダンサーの数は、再生されている楽曲に応じて決定してもよい。

（変形例１２）
採点部７２が、人物Ａの踊りについて採点してもよい。この場合、楽曲データとデジタルカメラ２０で取得されたフレーム画像データとに基づいて、例えば踊りのテンポが楽曲のテンポと一致しているか、などを採点要素に含めた採点を行う。このように採点された踊りの採点スコアについても、投影の豪華さを決定するための判断要素に加えてもよい。

（変形例１３）
踊りのテンポが早い場合、踊っている人物Ａに対してタイミングよく衣装画像を投影することができない場合がある。この場合の制御装置７０は、人物Ａに対して衣装画像を投影するタイミングが遅れないようにするため、曲の踊りなどに基づいて人物Ａの動きの予測を行い、投影タイミングを少し早めるように制御を行う。

図９は、制御プログラムの供給を説明する図である。制御装置７０を構成するパーソナルコンピューターに対する制御プログラムの供給は、以下のように行うことができる。制御プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体２０４をパーソナルコンピュータ（制御装置７０）にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ（制御装置７０）へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などに制御プログラムを格納しておく。このように、制御プログラムは、記憶媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。実施形態および各変形例は、適宜組み合わせて構わない。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１３年第１５０８７９号（２０１３年７月１９日出願）

１０…プロジェクタ
２０…デジタルカメラ
３０…モニタ装置
４０…曲選曲ターミナル
５０…マイク
５０Ｂ…マイク装置
５０ｐ…マイクロプロジェクタ
６０Ａ、６０Ｂ…スピーカー
７０…制御装置
７１…再生部
７２…採点部
７３…投影像生成部
７４…制御部
７５…記憶部
８０…サーバー
９０…ネットワーク
Ａ…人物

Claims (20)

1. 楽曲に基づいた画像を投影する投影部と、
   前記楽曲を歌唱する歌唱者を検出する検出部と、
   前記検出部によって検出された前記歌唱者に前記画像を前記投影部によって投影させる投影制御部と、
   を備える投影装置。
2. 請求項１に記載の投影装置において、
   前記歌唱者の位置と、前記歌唱者とは異なる人物の位置と、を検出する位置検出部とを備え、
   前記投影制御部は、前記位置検出部による検出結果に基づいて、前記投影部による投影を制御する、
   投影装置。
3. 請求項２に記載の投影装置において、
   前記投影制御部は、前記位置検出部による検出結果に基づいて、前記歌唱者とは異なる人物から前記歌唱者を視認した場合、前記歌唱者に前記画像が重畳されるように前記投影部に投影させる、
   投影装置。
4. 請求項１から請求項３のいずれか一項に記載の投影装置において、
   前記楽曲に基づいて、前記歌唱者による歌唱を評価する評価部とを備え、
   前記投影制御部は、前記評価部による評価に基づいて、前記投影部に投影させる前記画像を変更する、
   投影装置。
5. 請求項４に記載の投影装置において、
   前記投影制御部は、前記楽曲の再生中に、前記評価部による評価値に基づいて前記画像を変更する、
   投影装置。
6. 請求項１から請求項５のいずれか一項に記載の投影装置において、
   前記投影制御部は、前記楽曲に関連付けられている衣装の画像を前記投影部に投影させる、
   投影装置。
7. 請求項１から請求項５のいずれか一項に記載の投影装置において、
   前記投影制御部は、前記楽曲のジャンル別に関連付けられている衣装の画像を前記投影部に投影させる、
   投影装置。
8. 請求項１から請求項７のいずれか一項に記載の投影装置において、
   前記歌唱者の姿勢を検出する姿勢検出部とを備え、
   前記投影制御部は、前記姿勢検出部によって検出された前記歌唱者の姿勢に基づいて、前記投影部による投影を制御する、
   投影装置。
9. 請求項８に記載の投影装置において、
   前記投影制御部は、前記検出された姿勢に基づいて、前記投影部によって投影される前記画像を処理する、
   投影装置。
10. 請求項１から請求項９のいずれか一項に記載の投影装置において、
    マイク装置とを含み、
    前記投影部は、前記マイク装置に搭載される、
    投影装置。
11. 請求項１から請求項９のいずれか一項に記載の投影装置において、
    前記投影制御部は、前記画像を前記歌唱者以外へ投影するように制御する、
    投影装置。
12. 請求項１１に記載の投影装置において、
    周囲の状況を検出する状況検出部とを備え、
    前記投影制御部は、前記評価部による評価値、もしくは前記状況検出部によって検出された状況に基づいて、前記歌唱者以外へ投影する前記画像を変更する、
    投影装置。
13. 請求項１から請求項１２のいずれか一項に記載の投影装置において、
    前記投影制御部は、前記楽曲のデータに付されるタグ情報に基づいて、前記投影部に投影させる前記画像を選択する、
    投影装置。
14. 楽曲に基づいた画像を投影する投影部と、
    前記楽曲を歌う歌唱者の歌唱を評価する評価部と、
    前記評価部による評価に基づいて、前記投影部に投影させる前記画像を変更する投影制御部と、
    を備える投影装置。
15. 請求項１４に記載の投影装置において、
    前記評価部は、経過時間ごとに前記歌唱者の歌唱の評価を行う、
    投影装置。
16. 請求項１５に記載の投影装置において、
    前記投影制御部は、前記評価部によって前記歌唱者の歌唱が第１評価点であると評価された場合、第１画像を前記投影部に投影させ、前記評価部によって前記歌唱者の歌唱が前記第１評価点とは異なる第２評価点であると評価された場合、前記第１画像とは異なる第２画像を前記投影部に投影させる、
    投影装置。
17. 楽曲に基づいた画像を前記楽曲を歌唱する歌唱者に投影する投影部と、
    前記投影部によって投影される前記歌唱者の位置と、前記歌唱者とは異なる人物の位置と、を検出する位置検出部と、
    前記位置検出部による検出結果に基づいて、前記投影部による投影を制御する投影制御部と、
    を備える投影装置。
18. 楽曲を歌唱する歌唱者を検出する検出部と、
    前記検出部によって検出された前記歌唱者に前記楽曲に基づく画像を投影部に投影させる投影制御部と、
    を備える制御装置。
19. 楽曲を歌唱する歌唱者を検出する処理と、
    検出された前記歌唱者に前記楽曲に基づく画像を投影部に投影させる処理と、
    をコンピュータに実行させる制御プログラム。
20. 楽曲を歌唱する歌唱者を検出する処理と、
    検出された前記歌唱者に前記楽曲に基づく画像を投影部に投影させる処理と、
    を行う投影制御方法。

Images