JP7161200B2 - カラオケ演出システム - Google Patents

Description

本発明は、カラオケの空間を演出する技術に関する。

特許文献１には、カラオケの背景映像を表示するシステムが開示されている。

また近年では、カラオケの背景映像の臨場感を増大させるシステムが提案されている。非特許文献１には、カラオケの背景映像として３６０°映像を表示するシステムが示されている。また、非特許文献２には、ヘッドマウントディスプレイにより映像を提供し、カラオケの歌唱中の映像体験を向上するシステムが示されている。

特開２０１４－２３５３０４号公報

"The Zone（登録商標）"、ゾーン株式会社、[online]、[2019年4月1日検索]、インターネット<URL : http://thezone.jp/promotion/ > "ファンタジーＶＲステージプラス"、株式会社大庄、[online]、[2019年4月1日検索]、インターネット<URL : https://karaoke-fantasy.com/vr/ >

非特許文献１に示されたシステムは、ユーザは、前後、上下、左右のディスプレイにより３６０°に広がる映像を見ながら歌を歌う。３６０°の映像により臨場感が増す効果はある程度は期待できる。しかし、ユーザが見る映像はそのユーザの視点の位置に合わせたものとなっている訳ではない。そのため、ユーザが実際に映像の世界に入ったような高い臨場感および没入感が得られるとは言えなかった。

非特許文献２に示されたシステムは、ユーザはヘッドマウントディスプレイに表示される映像を見ながら歌を歌う。ヘッドマウントディスプレイには仮想現実の映像が表示され、映像はユーザの体の動きに追従するので、高い臨場感や没入感が期待できる。また仮想現実を利用することでカラオケルームのような狭い閉鎖空間から解き放たれ疑似的に広いところで歌っているかのような爽快な気分にさせることが期待できる。

しかし、ヘッドマウントディスプレイと顔の間に髪の毛が挟まってユーザに不快感を与える可能性があるという問題もあった。また、ヘッドマウントディスプレイの重さが没入の妨げになる可能性があるという問題もあった。また、ユーザが動くとヘッドマウントディスプレイがずれてしまう可能性があるという問題もあった。また、ヘッドマウントディスプレイを装着している状態では、ユーザは足元や周囲の状況が全く分からないことに不安感を持つことがあった。また、ユーザは立って歌う場合など足元や周囲が見えない状況で身体のバランスに気を配らなければならないことがあった。また、友人や親しい人たちとカラオケに来ているのにヘッドマウントディスプレイをかぶるとその人たちが見えず、一緒にその場の雰囲気を楽しむことができないという課題もあった。

本開示のひとつの目的は、カラオケのユーザに高い臨場感や没入感を与えつつ、ユーザの不安感や不快感を低減することを可能にする技術を提供することである。

本開示のひとつの態様に従うカラオケ演出システムは、歌唱曲の伴奏音楽と、取得した歌唱ユーザの歌唱する音声とを出力するカラオケ装置と、所定の基準座標系における前記歌唱ユーザの視点位置を測定する測定装置と、前記視点位置から固定設置された画面を介して前記基準座標系の仮想空間上の観客を見たときの見え方を疑似する表示映像を、前記視点位置に応じて生成し、該表示映像を前記画面に表示する観客映像装置と、を有する。

カラオケのユーザに高い臨場感や没入感を与えつつ、ユーザの不安感や不快感を低減することができる。

第１実施形態によるカラオケ演出システムの概略構成図である。 第１実施形態によるカラオケ演出システムの概略ブロック図である。 視点位置に追従する表示映像について説明するための概念図である。 視点位置の算出について説明するための概念図である。 カラオケ演出システムの設置例を示す平面図である。 観客映像装置が表示する観客映像の一例を示す図である。 第２実施形態によるカラオケ演出システムについて説明するための平面図である。 第３実施形態によるカラオケ演出システムの概略平面図である。 高さ方向の追従性の制御例を示すグラフである。 第５実施形態における表示映像の生成について説明するための概念図である。 第６実施形態によるカラオケ演出システムのブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

（第１実施形態）
図１は、第１実施形態によるカラオケ演出システムの概略構成図である。

図２は、第１実施形態によるカラオケ演出システムの概略ブロック図である。

カラオケ演出システム１０は、カラオケ装置１１と測定装置１２と観客映像装置１３とを有している。測定装置１２は、情報処理装置１４とセンサ１６とで実現されている。観客映像装置１３は、情報処理装置１４と投射装置１５とスクリーン１７とで実現されている。スクリーン１７は２面のスクリーン１７Ａ、１７Ｂを有している。情報処理装置１４はプロセッサでソフトウェアプログラムを実行するコンピュータであり、測定装置１２と観客映像装置１３とに共用されている。本カラオケ演出システム１０が設置された室内には、カラオケの歌唱曲を歌唱する歌唱ユーザ１９と、歌唱していない非歌唱ユーザ９９とがいる。歌唱ユーザ１９と非歌唱ユーザ９９は歌唱曲毎に交代しうる。

カラオケ装置１１は、歌唱曲の伴奏音楽と、マイク１８で取得された歌唱ユーザ１８の音声と、を出力し、その伴奏音楽の出力に伴いカラオケ映像を表示する装置である。本実施形態ではカラオケ映像にはその歌唱曲の歌詞の文字が画像として含まれている。伴奏音楽およびカラオケ映像は、装置内に予め蓄積しておいたデータを再生するのでもよいし、通信回線を通じて取得しながら再生するのでもよい。カラオケ映像は、歌唱曲に応じて製作されたものであってもよいし、汎用的なものであってもよい。

測定装置１２は、歌唱ユーザ１９が伴奏音楽に合わせて歌唱曲を歌唱するとき、所定の基準座標系における歌唱ユーザ１９の視点位置１９Ａを測位する。視点位置１９Ａは、歌唱ユーザ１９の目の位置に相当する位置である。処理に用いる具体的な視点位置１９Ａは特に限定されないが、例えば、両目の中間点、頭部の中心点、両目の中心から所定寸法だけ頭部の内側の位置などを視点位置１９Ａとして用いることができる。

図１には基準座標系の一例として、スクリーン１７Ａを正面に見ている歌唱ユーザ１９の右方向に向かうＸ軸と上方向に向かうＹ軸と後ろ方向に向かうＺ軸とを有する直行座標系が示されている。投射装置１５、センサ１６、スクリーン１７は位置および姿勢がこの基準座標系に固定されている。姿勢は、Ｘ軸周り方向のＹａｗとＹ軸周り方向のＰｉｔｃｈとＺ軸周り方向のＲｏｌｌとで表される。

観客映像装置１３は、視点位置１９Ａから、固定された画面を介して、基準座標系の仮想空間上の物体を見たときの見え方を疑似する物体の表示映像を、視点位置１９Ａに応じて生成し、その表示映像をその画面に表示する。カラオケ装置１１からは、歌唱曲の歌詞を含む映像の映像データと伴奏音楽および歌唱ユーザ１９の声を含む音声データとを含む出力信号が出力されている。観客映像装置１３は、カラオケ装置１１から映像データを含む出力信号を受信し、リアルタイムで、その映像情報により描かれる画像フレームに含まれているテキストを抽出し、そのテキストを仮想空間上に合成することにより、テキストを含んだ表示映像を生成する。例えば、仮想空間上に平面を配置し、その平面にテキストを張り付ければよい。テキストは歌唱曲の歌詞である。

本実施形態では、基準座標系に固定された画面はスクリーン１７の画面である。スクリーン１７は３面のスクリーン１７Ａ、１７Ｂ、１７Ｃを有しているので、観客映像装置１３は、スクリーン１７Ａ、１７Ｂ、１７Ｃのそれぞれの画面に、視点位置１９Ａからそれぞれの画面を介して見える仮想空間上の物体の表示映像を、それぞれの画面に表示する。例えば、観客映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像として予め内部の記憶装置に格納しておき、歌唱ユーザ１９にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理により、三次元映像から表示映像を生成する。その際、観客映像装置１３は、例えば、スクリーン１７Ａの画面に表示する画像を生成するとき、三次元データに定義された仮想空間における、観客を含む三次元オブジェクトをスクリーン１７Ａの画面、すなわち二次元の面に投影させるような射影変換を行う。スクリーン１７Ｂ、１７Ｃについても観客映像装置１３は同じ処理で表示映像を生成する。

以上、本実施形態によれば、歌唱ユーザ１９の視点位置１９Ａに応じた映像がスクリーン１７に表示されるので、歌唱ユーザ１９に伴奏音楽に合わせた歌唱と確からしい観客の映像を融合した高い臨場感や没入感を与えることができる。また、本実施形態では、ヘッドマウントディスプレイではなく固定された画面に映像を表示する方式を採用しているので、ヘッドマウントディスプレイを用いることによる不都合を歌唱ユーザ１９に与えることはない。

なお、ここでは観客映像装置１３が三次元映像を元映像として表示映像を生成する例を示したが、元映像は二次元映像であってもよい。二次元映像を基にスクリーン１７の画面に表示す表示映像を生成する処理の例については後述する。

また、ここでは、ヘッドマウントディスプレイのようにユーザの頭部と共に動く画面ではない、固定された画面の一例として、スクリーン１７の画面を示した。そして、投射装置１５からスクリーン１７の画面に映像を投射する例を示したが、観客映像装置１３は他の構成も可能である。他の例として、投射装置１５とスクリーン１７に代えて液晶ディスプレイあるいは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等のディスプレイ装置を用いてもよい。

以下、本実施形態のカラオケ演出システム１０を更に詳しく説明する。

測定装置１２は、視点位置１９Ａを継続的に測定し、観客映像装置１３は、観客の表示映像を視点位置１９Ａに追従するように生成し、スクリーン１７の画面に表示する。これによれば、歌唱ユーザ１９の頭部が動いたときにそれに伴って動く視点位置１９Ａに追従して映像が変化するので、歌唱ユーザ１９に歌唱と映像を融合した高い臨場感や没入感を与えることができる。視点位置１９Ａへの追従は、描画内容がその時点の視点位置１９Ａから見た見え方の画像を生成し、描画することである。

図３は、視点位置に追従する表示映像について説明するための概念図である。これはカラオケ演出システム１０を上から見た概念図である。複数の観客２０は、スクリーン１７Ａ、１７Ｂ、１７Ｃに表示映像として表示される基準座標系に配置された仮想的な観客である。歌唱ユーザ１９の視点位置１９Ａは、図３において実線と破線とで示されているように動くものとする。視点位置１９Ａが図３に示すように移動すると、スクリーン１７Ａ、１７Ｂ、１７Ｃの画面に表示すべき画像は変化する。例えば、視点位置１９Ａが左側（実線）にあるときには観客２０ａはスクリーン１７Ａとスクリーン１７Ｂを跨ぐように表示されるが、視点位置１９Ａが右側（破線）にあるときには観客２０ａの全体がスクリーン１７Ｂに表示される。

本実施形態の測定装置１２は、歌唱ユーザ１９の頭部を含む領域を撮像する撮像部と、撮像部にて撮像された歌唱ユーザ１９の頭部の位置に基づいて視点位置１９Ａを定める算出部とを有する構成である。撮像部は図１に示したセンサ１６により実現される。算出部は図１に示した情報処理装置１４により実現される。

本実施形態では、センサ１６（撮像部）は、各画素におけるセンサ１６から物体（ここでは歌唱ユーザ１９の人体）までの深度を測定するデプスセンサである。情報処理装置１４により実現される算出部は、センサ１６で測定された各画素の深度に基づいて、人体の形状を推定し、その人体における頭部の位置に基づいて視点位置１９Ａを算出する。これによれば、各画素の深度から人体形状を推定し、その人体形状における頭部の位置を用いるので、歌唱ユーザ１９の体の位置や向きが様々に変化しても視点位置を高い精度で特定できる。

図４は、視点位置の算出について説明するための概念図である。基準座標系におけるセンサ１６の位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）と姿勢（Ｙａｗ_ｓ，Ｐｉｔｃｈ_ｓ，Ｒｏｌｌ_ｓ）が予め設定されている。センサ１６で取得される各画素の深度と、センサ１６の位置および姿勢とから視点位置１９Ａの座標（ｘ_ｈ，ｙ_ｈ，ｚ_ｈ）とを算出することができる。なお、図４に示すように、スクリーン１７Ｂの基準座標系における位置（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）、姿勢（Ｙａｗ_ｍ，Ｐｉｔｃｈ_ｍ，Ｒｏｌｌ_ｍ）、および形状（Ｈｅｇｈｔ_ｍ，Ｗｉｄｔｈ_ｍ）も予め設定されている。スクリーン１７Ａ、１７Ｃも同様に位置、姿勢、および形状が予め設定されている。

センサ１６が撮像する画像は、深度画像であってもよいし、深度画像と可視画像であってもよい。例えば、撮像部は、深度画像を撮像するセンサと、可視画像を撮像するカメラとを含み、算出部は、深度画像と可視画像の両方を用いて視点位置１９Ａを算出することにしてもよい。

また、図１および図４の例では、センサ１６は、歌唱ユーザ１９の背後に設置された例を示したが、歌唱ユーザ１９の前方にスクリーン１７に重ならない位置に配置することも可能である。

また、ここでは、映像装置１３は、歌唱ユーザ１９の正面を含む所定範囲に拡がるスクリーン１７と、スクリーン１７に表示映像を投射する投射装置１５（プロジェクタ）と、を有する。これによれば、スクリーンとプロジェクタとで映像を表示するので、少人数用のカラオケルーム等に小さい設置面積で設備を構築することができる。ただし本構成は一例であり、他の構成も可能である。他の例として、映像装置１３は、歌唱ユーザ１９の正面を含む所定範囲に拡がる液晶もしくは有機ＥＬなどのディスプレイ装置、を有するものであってもよい。

図５は、カラオケ演出システムの設置例を示す平面図である。図５を参照すると、カラオケ演出システム１０は、図中の歌唱ユーザ１９の正面にはスクリーン１７Ｂが配置され、スクリーン１７Ｂと９０度の角度をなして接し、図中の歌唱ユーザ１９の左側にスクリーン１７Ａが配置され、図中の歌唱ユーザ１９の右側にスクリーン１７Ｃが配置されている。なお、ここでいう歌唱ユーザ１９の正面というのは予め固定された方向を意味するものであり、歌唱ユーザ１９が向きを変えても、その固定された方向が変わるものではない（以下、同様）。

映像装置１３は、歌唱ユーザ１９の正面を含む所定範囲に広がるスクリーン１７Ａ、１７Ｂ、１７Ｃと、歌唱ユーザ１９の頭部よりも高い位置にありスクリーン１７Ａ、１７Ｂ、１７Ｃに表示映像を投射する投射装置１５（プロジェクタ）とを有しており、互いに９０度の角度をなすスクリーン１７Ａとスクリーン１７Ｂとスクリーン１７Ｃが連続的に配置されている。これによれば、歌唱ユーザ１９の正面と側方とで連続的にスクリーン１７Ａ～１７Ｃを構成するので、設備の横幅を抑えつつ歌唱ユーザ１９に横方向に広がりのある映像を提供し、高い臨場感および没入感を与えることができる。

なお、ここでは、投射装置１５を歌唱ユーザ１９の頭部よりも高い位置に設置する例を示した。具体的には、スクリーンまでの距離が短くても大きな画面に映像を表示できる１台の超短焦点プロジェクタを歌唱ユーザ１９の頭部より高い位置に配置し、歌唱ユーザ１９の正面のスクリーン１７Ｂおよび側方のスクリーン１７Ａ、１７Ｃに映像を投射する例である。しかし、他の構成も可能である。例えば、プロジェクタからミラーを介してスクリーンに表示映像を投射することにより、プロジェクタとスクリーンとの相対位置の自由度を向上する構成を採用してもよい。

また、ここでは、スクリーン１７を歌唱ユーザ１９の正面と両側方の三面に構成する例を示したが、他の構成も可能である。天井、床、およびユーザの背面のいずれか１つあるいは２つあるいは全てにもスクリーン１７を構成し、４面、５面、あるいは６面にスクリーン１７を構成することにしてもよい。

また、ここでは、１台のプロジェクタを用いる例を示したが、複数のプロジェクタを用いてもよい。その場合にスクリーンの平面の数と同数のプロジェクタを用いても良い。本実施形態のように３面のスクリーン１７Ａ～１７Ｃを配置した場合に、それぞれのスクリーンに対応させて３台プロジェクタを配置してもよい。あるいは、スクリーンの数とプロジェクタの台数が一致していなくてもよい。例えば、３面のスクリーン１７Ａ～１７Ｃに２台のプロジェクタで表示映像を投射する構成も可能である。また、３面のスクリーン１７Ａ～１７Ｃに４台のプロジェクタで表示映像を投射する構成も可能である。

図６は、観客映像装置が表示する観客映像の一例を示す図である。図６には観客映像装置１３のスクリーン１７Ａ、１７Ｂ、１７Ｃが示されている。スクリーン１７Ａ、１７Ｃは、実際には、上述したように歌唱ユーザ１９の正面のスクリーン１７Ｂと９０度の角度をなして、歌唱ユーザ１９を囲むように配置されるものであるが、図６では映像の内容が見やすくなるようにスクリーン１７Ｂと同一平面に開いた状態で示している。

図６を参照すると、スクリーン１７Ａ～１７Ｃには、疑似場面においてステージ上にいる歌唱ユーザ１９を観ている観客２０が表示されている。また、スクリーン１７Ａ～１７Ｃの少なくとも１つには、歌唱ユーザ１９が歌唱している歌唱曲の歌詞を示すテキスト２１が表示されている。歌唱ユーザ１９はそのテキストを見ながら歌唱曲を歌うことができる。

このように、本実施形態のカラオケ演出システム１０によれば、観客映像装置１３は、歌唱曲の伴奏音楽とその歌唱曲の歌詞の文字を含むカラオケ映像とを出力するカラオケ装置１１からカラオケ映像を含む信号を受信し、表示映像にカラオケ映像の少なくとも一部を合成してスクリーン１７の画面に表示する。具体的には、観客映像装置１３は、カラオケ映像の画像から文字認識によりテキストを抽出し、そのテキストを表示映像に合成する。歌唱ユーザ１９は臨場感および没入感の高い表示映像を見ている状態で歌詞を確認しながら歌唱することができる。

以上、本実施形態によれば、観客映像装置１３は、歌唱ユーザ１９の正面を含み歌唱ユーザ１９の周囲の少なくとも一部を囲む画面を有し、画面を介して観客を見たときの見え方を疑似する表示映像を、その視点位置１９Ａの動きに追従して生成し、その表示映像を画面に表示する。歌唱ユーザ１９の周囲の少なくとも一部を囲む画面を用いることで歌唱ユーザ１９に広角度にわたる映像を提供するとともに、視点位置１９Ａに追従して表示映像を制御することで歌唱ユーザに高い臨場感および没入感を与えることができる。

また、本実施形態では、その画面は、互いに所定の角度をなす複数の平面上の部分画面を含んでおり、観客映像装置１３は、複数の平面の各々について、その平面上の部分画面を介して観客を見たときの見え方を疑似する表示映像を、視点位置１９Ａの動きに追従して生成し、表示映像を平面上の部分画面に表示する。所定の角度をなす複数の平面の画面を用いることで歌唱ユーザ１９に広角度にわたる映像を提供するので、歌唱ユーザ１９に高い臨場感および没入感を与えることができる。

また、本実施形態では、観客映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像として予め内部の記憶装置に格納しておき、歌唱ユーザ１９にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理により、三次元映像から表示映像を生成するものとしたが、変形例として、その表示映像を左右の眼の視差を与えた２つの映像からなる三次元映像としてもよい。観客映像装置１３は、表示映像を画面に表示する表示装置と、ユーザが着用する三次元眼鏡装置とを有し、表示装置は、視点位置１９Ａに応じて、視差を有する左右の眼用の２つの表示映像を生成し、画面に表示する。三次元眼鏡装置は、２つの表示映像を歌唱ユーザ１９の左右の眼にそれぞれ見せる。歌唱ユーザ１９の視点位置１９Ａに応じた映像を左右の眼に視差を持たせることで、歌唱ユーザ１９に映像の立体感を与え、より高い臨場感や没入感を与えることができる。

なお、本変形例による表示装置および三次元眼鏡の三次元映像の方式は特に限定されない。例えば、アナグリフ式であってもよいし、偏光式であってもよいし、液晶シャッター式であってもよい。なお、一般に三次元眼鏡はヘッドマウントディスプレイのように不安感や不快感を与えることはない。

また、本実施形態において、立体音響技術により仮想空間上の所定位置での発生を疑似する出力音を発生させる音響装置と組み合わせて用いることにより歌唱ユーザ１９に与える臨場感および没入感を高めることができる。

また、本実施形態において、測定装置１２は、所定位置範囲内に存在する人物を歌唱ユーザ１９として、その視点位置１９Ａを検出することにしてもよい。図１に示したように歌唱ユーザ１９と非歌唱ユーザ９９を含む複数の人物が存在しうるカラオケルームにおいて歌唱ユーザ１９を特定し、歌唱ユーザ１９の視点位置に応じた映像を表示することができるので、歌唱ユーザ１９に音楽と映像を融合した高い臨場感や没入感を与えることができる。

また、本実施形態において、観客映像装置１３は、カラオケ装置１１からのカラオケ映像の信号を解析し、歌唱ユーザ１９の歌唱を採点した得点を知得し、前記得点に応じて表示映像を制御することにしてもよい。

また、本実施形態において、観客映像装置１３は、視点位置１９Ａの高さに応じて表示映像における観客２０に所定の動作を行わせることにしてもよい。

また、本実施形態において、測定装置１２は、上述したように、歌唱ユーザ１９の人体の形状を検知しているので、歌唱ユーザ１９の手の高さを測定することにしてもよい。観客映像装置１３は、歌唱ユーザ１９の手の高さに基づいて、表示映像の観客２０に所定の動作を行わせてもよい。具体的には、歌唱ユーザ１９の手の高さが所定の閾値を超えたら観客２０に所定の動作をさせることにしてもよい。所定の動作は例えば、立ち上がる、手を上げる、叫ぶ、などである。閾値は固定値であっても良いし、歌唱ユーザ１９毎に定めてもよい。例えば視点位置１９Ａに応じて閾値を定めてもよい。

また、測定装置１２は、歌唱ユーザ１９の人体の形状を継続的に測定し、歌唱ユーザ１９の人体の形状に基づいて観客２０に所定の動作を行わせることにしてもよい。継続的に測定した歌唱ユーザ１９の人体の形状は動作に相当する。歌唱ユーザ１９の動作に応じて観客２０に動作させることができる。例えば、歌唱ユーザ１９が左右にゆっくり手を振ると、観客２０も同じペースで手を振るといったことが可能である。また、歌唱ユーザ１９が右手を上げると、向かって右の観客２０から左の観客２０に順にウェーブを行わせるといったことが可能である。また、歌唱ユーザ１９の顔の向きに応じて観客２０が反応するといったことも可能である。

また、本実施形態のカラオケ演出システム１０は、カラオケ装置１１から歌唱曲の伴奏音楽が出力されていないときにも、観客映像装置１３が観客２０を含む表示映像を、視点位置１９Ａに応じて生成し、その表示映像をその画面に表示することにしてもよい。例えば、観客の前でのスピーチやプレゼンテーションの練習を臨場感を感じながら行うことができる。

（第２実施形態）
第１実施形態では、図１や図４に示したように、観客映像装置１３は１台の投射装置１５が３面のスクリーン１７Ａ、１７Ｂ、１７Ｃに表示映像を投射する構成を例示した。これに対して、第２実施形態では、３台の投射装置を用いる例を示す。第２実施形態のカラオケ演出システムの構成および動作は、基本的に第１実施形態のものと同様であるが、３台の投射装置を有する構成とその構成に関連する動作が第１実施形態のものと異なる。以下、主に第２実施形態における第１実施形態と異なる点について説明する。

図７は、第２実施形態によるカラオケ演出システムについて説明するための平面図である。図７に示すように、本実施形態のカラオケ演出システム１０は、３台の投射装置３１Ａ、３１Ｂ、３１Ｃを備えている。投射装置１５はスクリーン１７Ａに表示映像を投射する。投射装置３１Ｂはスクリーン１７Ｂに表示映像を投射する。投射装置３１Ｃはスクリーン１７Ｃに表示映像を投射する。投射装置３１Ａ、３１Ｂ、３１Ｃからスクリーン１７Ａ、１７Ｂ、１７Ｃにそれぞれの映像を投射する構成なので、広い面積に明るい映像を表示することができる。

（第３実施形態）
第１実施形態では、３つの平面のスクリーン１７Ａ、１７Ｂ、１７Ｃを用いる例を示したが、他の構成も可能である。第３実施形態では曲面のスクリーンを用いる構成を例示する。

図８は、第３実施形態によるカラオケ演出システムの概略平面図である。第３実施形態のカラオケ演出システム１０は、図１に示した第１実施形態のカラオケ演出システムにおける３つのスクリーン１７Ａ、１７Ｂ、１７Ｃの代わりに、１つの曲面のスクリーン４１が用いられてる点で第１実施形態のものと異なる。それ以外の点では第４実施形態は第１実施形態と同様である。

本実施形態の観客映像装置１３の処理も基本的には第１実施形態のものと同様である。観客映像装置１３は、視点位置１９Ａから、固定されたスクリーン４１の画面を介して、基準座標系の仮想空間上の物体を見たときの見え方を疑似する物体の表示映像を、視点位置１９Ａに応じて生成し、その表示映像を基準座標系に固定されたスクリーン４１の画面に表示する。

スクリーン４１は曲面の画面を有している。より具体的には、スクリーン４１は、歌唱ユーザ１９の少なくとも頭部を囲む円筒形の内面の周方向の少なくとも一部にわたる曲画面を含む形状である。

観客映像装置１３は、スクリーン４１の画面に、視点位置１９Ａからそれぞれの画面を介して見える仮想空間上の物体の表示映像を、それぞれの画面に表示する。例えば、観客映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像として予め内部の記憶装置に格納しておき、歌唱ユーザ１９にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理により、三次元映像から表示映像を生成する。その際、観客映像装置１３は、スクリーン４１の画面に表示する画像を生成するとき、三次元データに定義された仮想空間における三次元オブジェクトをスクリーン４１の画面、すなわち二次元の面に投影させるような射影変換を行う。

本実施形態においても、第１実施形態と同様に、観客映像装置１３は、歌唱ユーザ１９の正面を含み歌唱ユーザ１９の周囲の少なくとも一部を囲む画面を有し、その画面を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａの動きに追従して生成し、その表示映像を画面に表示する。歌唱ユーザ１９の周囲の少なくとも一部を囲む画面を用いることで歌唱ユーザ１９に広角度にわたる映像を提供するとともに、視点位置１９Ａに追従して表示映像を制御することで、画面の形状によらず歌唱ユーザ１９にとって自然な映像を表示できるので、歌唱中の歌唱ユーザ１９に高い臨場感および没入感を与えることができる。

また、本実施形態では、スクリーン４１の画面は、歌唱ユーザ１９の少なくとも頭部を囲む円筒形の内面の周方向の少なくとも一部にわたる曲画面を含み、観客映像装置１３は、その曲画面の各部分を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａの動きに追従して生成し、その表示映像をその曲画面の各部分に表示する。円筒内面の周方向の少なくとも一部にわたる曲画面を用いることで歌唱ユーザ１９に広角度にわたる映像を提供するので、歌唱中の歌唱ユーザ１９に高い臨場感および没入感を与えることができる。

（第４実施形態）
第１実施形態は、観客映像装置１３は、視点位置１９Ａに追従して表示映像を生成するものであった。これに対して、第４実施形態は、その追従性を水平方向と垂直方向とで異ならせものである。第４実施形態によるカラオケ演出システム１０の基本的な構成は、図１～図３に示した第１実施形態のものと同様である。

測定装置１２は、水平面上の二次元位置および高さ方向の位置を含む三次元座標として視点位置１９Ａを測定する。本実施形態では、観客映像装置１３は、視点位置１９Ａの水平面上と高さ方向とで異なる、視点位置１９Ａに対する追従処理により表示映像を生成する。筋力による水平方向の頭部の動きと、筋力だけでなく重力の影響を受ける上下方向の頭部の動きとは異なる特性を示す場合がある。それらに異なる追従処理を施すことにより、歌唱ユーザ１９に更に好適な映像の提供が可能となる。

以下に、より詳しく説明する。

本実施形態の観客映像装置１３は、歌唱曲の開始直後から一定時間については、視点位置１９Ａの高さ方向の動きに対する追従性を、水平面上の動きに対する追従性と等しくする。そして、その間に観客映像装置１３は、視点位置１９の高さの代表値を算出する。歌唱曲が変わったときには歌唱ユーザ１９が変わっている可能性があるので、歌唱曲が変わる毎に歌唱曲の開始から一定時間に視点位置１９Ａの代表値を取得しなおす。一定時間が経過したら、観客映像装置１３は、追従性を徐々にゼロまで低下させていく。追従性をゼロにしたときには視点位置１９Ａの高さを上記代表値に固定する。視点位置１９Ａの代表値としては、例えば、所定回あるいは所定期間の視点位置１９Ａの高さの平均値あるいは中央値などを用いればよい。

本実施形態では、一例として、視点位置１９Ａの高さ方向の移動距離に対して１以下の係数を乗算することにより、追従性を低下させるものとする。

図９は、高さ方向の追従性の制御例を示すグラフである。図９のグラフには、高さ方向の移動距離に対する係数の時間変化が示されている。歌唱曲の開始後一定時間（ｔ＝０～ｔ１）には係数は１である。ｔ＝ｔ１～ｔ２の間は係数が一定の傾きで減少する。ｔ＝ｔ２に係数がゼロになり、それ以降は係数をゼロである。

以上のように、観客映像装置１３は、視点位置１９Ａの高さ方向の動きに対する追従性を、水平面上の動きに対する追従性よりも低くしているため、上下方向の動きに水平方向の動きよりも早い動きが含まれる場合に表示映像が上下に過敏に変化するのを抑制することができる。

また、観客映像装置１３は、歌唱曲の開始から所定時間に到達するまでは、視点位置１９Ａの高さ方向の動きと水平面上の動きとに対して等しく追従し、所定時間に到達したら高さ方向の追従性を低下させている。これにより、歌唱ユーザ１９が仮想的な観客の前での歌唱に慣れてきた頃に追従性を低下させることができるので、臨場感や没入感を維持しつつ自然に追従性を低下させることができる。

また、観客映像装置１３は、測定装置１２で測定される視点位置１９Ａに基づいて視点位置１９Ａの高さ方向の代表値を決定し、視点位置１９Ａの高さ方向の位置を代表値に固定して表示映像を生成する。これにより、視点位置１９Ａの高さが適切な位置に固定されるので、水平方向の追従性により自然な映像の表示を行うことができる。

本実施形態の変形例として、スクリーン４１の画面は、歌唱ユーザ１９の少なくとも頭部を囲む球形の内面の一部にわたる曲画面を含み、観客映像装置１３は、その曲画面の各部分を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａの動きに追従して生成し、その表示映像をその曲画面の各部分に表示することにしてもよい。球内面の周方向の一部にわたる曲画面を用いることで歌唱ユーザ１９に広角度にわたる映像を提供するので、歌唱中の歌唱ユーザ１９に高い臨場感および没入感を与えることができる。

（第５実施形態）
第１実施形態では、観客映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像とし、その三次元映像から表示映像を生成して表示する例を示した。これに対して、第５実施形態では二次元の平面映像を元映像とする例を示す。平面映像は時系列の複数の平面画像のフレームで構成されている。

第５実施形態のカラオケ演出システム１０の基本的な構成は、図１に示した第１実施形態のものと同様である。

平面映像は通常の映画の映像のように１つの平面に表示するための映像である。そのままの平面映像をスクリーン１７Ａ、１７Ｂ、１７Ｃに亘るように表示すると、歌唱ユーザ１９にとって不自然な映像となり、臨場感や没入感は低くなってしまう。本実施形態のカラオケ演出システム１０は、平面映像に所定の処理を施すことにより臨場感および没入感を高めるものである。

図１０は、第５実施形態における表示映像の生成について説明するための概念図である。これはカラオケ演出システム１０を上から見た概念図である。

本実施形態では、観客映像装置１３は、平面映像に含まれる平面画面を、仮想空間上の画像変換用仮想物体５１の表面にテクスチャとして貼り付け、測定装置１２により特定された視点位置１９Ａから、スクリーン１７Ａ、１７Ｂ、１７Ｃを介して画像変換用仮想物体５１を見たときの見え方を疑似する各表示画面を生成し、その各表示画面を各スクリーン１７Ａ、１７Ｂ、１７Ｃに表示する。スクリーン１７Ａ、１７Ｂ、１７Ｃは、上述のとおり、歌唱ユーザ１９の正面を含み歌唱ユーザ１９の周囲の少なくとも一部を囲むように配置されている。画像変換用仮想物体５１は、一例として、側方部が歌唱ユーザ１９のいる側に湾曲した曲面を持った物体であり、観客映像装置１３は、平面画像をその曲面にテクスチャとして貼り付ける処理を行う。このようにすることで、歌唱ユーザ１９を囲むような映像を歌唱ユーザ１９の視点位置１９Ａに応じて表示することができ、歌唱ユーザ１９に高い臨場感および没入感を与えることができる。

なお、観客映像装置１３は、測定装置１２により一旦得られた視点位置１９Ａに固定し、その視点位置１９Ａから見たときの見え方を疑似する表示画面を生成してもよいが、好適には、測定装置１２は、視点位置１９Ａを継続的に測定し、観客映像装置１３は、表示映像を視点位置１９Ａに追従して生成し、スクリーン１７Ａ、１７Ｂ、１７Ｃの画面に表示する。

ここでいう平面映像は、例えばカメラで撮影した実写映像でもよいし、三次元映像をプリレンダリングして二次元映像化したものであってもよい。また、カメラ、タブレット、スマートフォン、パーソナルコンピュータなどの外部デバイスからリアルタイムに取り込んだ画像（ミラーリングしている画像）であってもよい。

また、そのどちらにおいても３６０度映像（すなわち３６０度カメラで撮影した実写と３６０度映像としてプリレンダリングした平面映像）でもよいし、通常の平面画面に表示するためのスクリーン映像であってもよい。

なお、本実施形態では、互いに９０度の角度をなして連なるスクリーン１７Ａ、１７Ｂ、１７Ｃに表示映像を表示する例を示したが、他の構成も可能である。

観客映像装置１３は、歌唱ユーザ１９の正面を含み歌唱ユーザ１９の周囲の少なくとも一部を囲む画面を有し、その画面を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａに応じて生成し、その表示映像を画面に表示すればよい。例えば、図８に示した第３実施形態のスクリーン４１に映像を表示してもよいい。

（第６実施形態）
第６実施形態のカラオケ演出システムは、第１実施形態のものに対して、歌唱ユーザ１９の音声に基づいて、表示映像の観客２０に動作を行わせる機能を加えたものである。図１１は、第６実施形態によるカラオケ演出システムのブロック図である。第６実施形態のカラオケ演出システム１０は、カラオケ装置１１、測定装置１２、観客映像装置１３、および音声認識装置６１を有している。本実施形態では、音声認識装置６１は情報処理装置１４により実現される。

音声認識装置６１は、カラオケ装置１１からの音声データを含む出力信号に対して音声認識処理を行い、歌唱ユーザ１９の発した音声をテキスト化した音声テキスト情報を出力する。観客映像装置１３は、音声テキスト情報に基づいて元映像の再生を制御する。例えば、観客映像装置１３は、音声テキスト情報に所定の言葉が含まれていたら、元映像における観客２０に所定の動作をさせる。歌唱ユーザ１９の声かけに表示映像の観客２０が反応するといったことが可能となる。

以上説明した各実施形態は、本開示内容を説明のための例示的構成であり、本開示の範囲をそれらの実施形態のみに限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、これらを組み合わせたり、他の様々な態様で実施したりすることができる。また、各実施形態の説明において射影変換の具体的な演算式など詳細を明記していない部分があるが、当業者であれば各実施形態を実施できることは言うまでもない。

１０…カラオケ演出システム、１１…カラオケ装置、１２…測定装置、１３…観客映像装置、１４…情報処理装置、１５…投射装置、１６…センサ、１７、１７Ａ、１７Ｂ、１７Ｃ…スクリーン、１８…マイク、１８…歌唱ユーザ、１９…視点位置、１９Ａ…視点位置、１９…歌唱ユーザ、２０、２０ａ…観客、２１…テキスト、３１Ａ、３１Ｂ、３１Ｃ…投射装置、４１…スクリーン、５１…画像変換用仮想物体、６１…音声認識装置、９９…非歌唱ユーザ

Claims (20)

1. 歌唱曲の伴奏音楽と、取得した歌唱ユーザの歌唱する音声とを出力するカラオケ装置と、
   所定の基準座標系における前記歌唱ユーザの視点位置を測定する測定装置と、
   前記基準座標系の仮想空間上の三次元オブジェクトを前記基準座標系に固定された画面に投影した二次元の映像であって、前記画面上に表示されると 前記視点位置から前記三次元オブジェクトを見たときの見え方となる表示映像を、前記視点位置に応じて生成し、該表示映像を前記画面に表示する映像装置と、
   を有するカラオケ演出システム。
2. 前記測定装置は、前記視点位置を継続的に測定し、
   前記映像装置は、前記表示映像を前記視点位置に追従して生成し、前記画面に表示する、
   請求項１に記載のカラオケ演出システム。
3. 前記測定装置は、
   前記歌唱ユーザの頭部を含む領域を撮像する撮像部と、
   前記撮像部にて撮像された前記頭部の位置に基づいて前記視点位置を定める算出部と、
   を有する請求項１に記載のカラオケ演出システム。
4. 前記撮像部は前記歌唱ユーザの頭部よりも高い位置にある撮像装置であり、
   前記算出部は、前記撮像装置で取得された画像から前記頭部の領域を抽出し、前記領域の前記画像における位置に基づいて前記頭部の位置を算出する、
   請求項３に記載のカラオケ演出システム。
5. 前記撮像部は、各画素における該撮像部から物体までの深度を測定するセンサ装置であり、
   前記算出部は、前記センサ装置で測定される前記各画素の深度に基づいて人体の形状を推定し、前記人体における頭部の位置に基づいて前記視点位置を定める、
   請求項３に記載のカラオケ演出システム。
6. 前記映像装置は、予め設定された前記歌唱ユーザの正面方向を含む所定範囲に拡がるスクリーンと、前記スクリーンに前記表示映像を投射するプロジェクタと、を有する、
   請求項１に記載のカラオケ演出システム。
7. 前記映像装置は、前記歌唱ユーザの正面を含み前記歌唱ユーザの周囲の少なくとも一部を囲む画面を有し、前記画面上に表示されると前記視点位置から前記三次元オブジェクトを見たときの見え方となる前記表示映像を、前記視点位置の動きに追従して生成し、該表示映像を該画面に表示する、
   請求項２に記載のカラオケ演出システム。
8. 前記測定装置は、水平面上の二次元位置および高さ方向の位置を含む三次元座標として前記視点位置を測定し、
   前記映像装置は、前記視点位置の前記水平面上と前記高さ方向とで異なる、前記視点位置に対する追従処理により、前記表示映像を生成する、
   請求項１に記載のカラオケ演出システム。
9. 前記映像装置は、前記視点位置の前記高さ方向の動きに対する追従性を、前記水平面上の動きに対する追従性よりも低くする、
   請求項８に記載のカラオケ演出システム。
10. 前記映像装置は、前記歌唱曲の開始から所定時間に到達するまでは、前記視点位置の前記高さ方向の動きと前記水平面上の動きとに対して等しく追従し、前記所定時間に到達したら前記高さ方向の追従性を低下させる、
    請求項９に記載のカラオケ演出システム。
11. 前記映像装置は、前記測定装置で測定される前記視点位置に基づいて前記視点位置の高さ方向の代表値を決定し、前記視点位置の高さ方向の位置を前記代表値に固定して前記表示映像を生成する、
    請求項１０に記載のカラオケ演出システム。
12. 前記映像装置は、前記表示映像を前記画面に表示する表示装置と、前記歌唱ユーザが着用する三次元眼鏡装置とを有し、
    前記表示装置は、前記視点位置に応じて、視差を有する左右の眼用の２つの表示映像を生成し、前記画面に表示し、
    前記三次元眼鏡装置は、前記２つの表示映像を前記歌唱ユーザの左右の眼にそれぞれ見せる、
    請求項１に記載のカラオケ演出システム。
13. 前記測定装置は、前記基準座標系における所定位置範囲に存在する人物を前記歌唱ユーザと認識する、
    請求項１に記載のカラオケ演出システム。
14. 前記映像装置は、前記歌唱曲の前記伴奏音楽と前記歌唱曲の歌詞の文字を含むカラオケ映像とを出力するカラオケ装置から前記カラオケ映像の信号を受信し、前記表示映像に前記カラオケ映像の少なくとも一部を合成して前記画面に表示する、
    請求項１に記載のカラオケ演出システム。
15. 前記映像装置は、前記カラオケ映像の画像フレームから文字認識によりテキストを抽出し、該テキストを前記表示映像に合成して表示する、
    請求項１４に記載のカラオケ演出システム。
16. 前記映像装置は、前記カラオケ映像の信号を解析し、前記歌唱ユーザの歌唱を採点した得点を知得し、前記得点に応じて前記表示映像を制御する、
    請求項１４に記載のカラオケ演出システム。
17. 前記映像装置は、前記視点位置の高さに応じて前記表示映像における前記三次元オブジェクトに所定の動作をさせる、
    請求項１に記載のカラオケ演出システム。
18. 前記測定装置は、前記歌唱ユーザの手の高さを測定し、
    前記映像装置は、前記歌唱ユーザの手の高さに基づいて前記三次元オブジェクトに所定動作を行わせる、
    請求項１に記載のカラオケ演出システム。
19. 前記測定装置は、前記歌唱ユーザの動作を継続的に測定し、
    前記映像装置は、前記歌唱ユーザの動作に基づいて前記三次元オブジェクトに所定動作を行わせる、
    請求項１に記載のカラオケ演出システム。
20. 前記歌唱ユーザの音声を認識する音声認識装置を更に有し、
    前記映像装置は、前記音声認識装置で認識された音声に基づいて、前記三次元オブジェクトに所定の動作を行わせる、
    請求項１に記載のカラオケ演出システム。

Images