JP5371574B2 - 背景映像中の顔画像を避けるように歌詞字幕を表示するカラオケ装置 - Google Patents

Description

本発明はカラオケ装置に関し、とくに、背景映像中の顔画像を避けるように歌詞字幕を表示するカラオケ装置に関する。

カラオケ装置は、利用者がリクエストしたカラオケ楽曲を演奏に合わせて歌唱するのを支援するため、そのカラオケ演奏に伴って歌詞字幕データを逐次生成するとともに、表示装置に表示される背景映像に重ねて歌詞字幕を表示する機能を備える（たとえば、特許文献１〜４）。

このため、カラオケ装置は、伴奏音楽データ、映像データ（動画データ）、台本データ、歌詞文字データなどを楽曲ＩＤに対応付けて格納したデータベースを有し、このデータベースから楽曲ＩＤとの対応で読み出されるカラオケデータに基づいて、伴奏音楽、背景映像、歌詞字幕をそれぞれ生成する。

歌詞文字データには、楽曲の演奏時系列中における表示タイミングなどを定めるシーケンス情報も含まれている。また、歌詞字幕の起源となる歌詞文字列はフレーズ毎などによって適宜に区切られ、複数のブロックに分割される。そして、このブロックの単位で処理される。

背景映像は、台本データに基づいて所定の映像データを所定の順番およびタイミングで映像処理装置に順次転送して復号することにより生成されて表示装置に表示される。歌詞字幕は、伴奏音楽に同期して歌唱すべき歌詞文字列を順次抽出するとともに、抽出した文字列から歌詞字幕画像を生成し、上記表示装置の所定位置に上書き合成（スーパーインポーズ）により表示される。

特開平１１−３８９８１公報 特開平１１−３４４９８７号公報 特開２００６−１２６５２３号公報 特開２００４−３４１２２８号公報

カラオケ装置において、カラオケ演奏に伴って歌詞字幕データを逐次生成して表示させる機能は、利用者がカラオケ楽曲を演奏に合わせて歌唱するのを支援する上で不可欠であるが、これとともに、その歌詞字幕が上書きされる背景映像についても、今は、カラオケの楽しみの一つとして重要な役割を担っている。

したがって、その背景映像（カラオケ映像）の内容と質を充実させることは、カラオケの商品性を高めることにつながる。このため、その背景映像の題材や素材には、多くの利用者（カラオケ利用者）の関心や興味を引きそうなものが選択されるとともに、それらの題材や素材を利用者が十分に楽しめるような映像表現が行われる。

背景映像の題材や素材は、なるべく多くの曲目に流用可能な汎用性のあるものが使用され、たとえば都会の夜景、夜の盛り場、海や山などの自然風景、有名な観光地、ホテルや旅館、あるいは雪や嵐などの気候風景などの映像素材が歌詞内容に応じて選択的に使用される。さらに、楽曲演奏の進行に合わせて表示されるカラオケ映像では、それらの映像素材に人物を登場させることにより、カラオケの歌詞内容に調和する叙情感や情緒性を演出することが行われる。この場合、その登場人物の顔はカラオケ映像（背景映像）の重要な構成要素となる。

この背景映像は歌詞字幕と共に、カラオケ演奏に合わせて生成され、背景映像の上に歌詞字幕が上書きされた状態で表示装置に表示される。背景映像と歌詞字幕の生成はカラオケ演奏に合わせて行われるが、その生成のプロセスはそれぞれ別々に行われる。

このため、その背景映像の重要な構成要素となるべき登場人物の顔が、その背景映像に上書きされた歌詞字幕によって遮蔽されてしまうことがある。歌詞字幕は、背景映像の視認を大きく妨げないよう、表示画面上での表示位置や範囲があらかじめ定められているが、背景映像の内容は、登場人物の表示位置や表示範囲も含めて、カラオケ演奏の進行に従って多様に変化する。

カラオケデータには、歌詞内容に調和する背景映像をカラオケ演奏の進行に合わせて生成させるための台本データが楽曲毎に作成されて格納されているが、その背景映像中の人物の顔の映り方までも個別に管理するような台本データを楽曲毎に作成することは、膨大な手間を要するため、非現実的である。

ここで、ある映像素材に別の映像素材を上書き合成して表示させることは、一般のテレビ放送映像で良く行われている。テレビ放送映像では、たとえばニュース番組等の主映像素材に、たとえば天気予報テロップのような副映像素材を上書きして放映することが良く行われる。

この場合、背景映像に相当する主映像素材が副映像素材に対して常に優先して放映される。たとえば、主映像素材内の人物の顔が、副映像素材である天気予報テロップの上書きによって遮蔽されてしまうような場合は、その副映像素材の上書きを停止させる。これにより、視聴者は、主映像素材内の人物の顔を、副映像素材で遮られることなく視ることができる。

特開２００８−２４５２３３号公報には、主映像素材に副映像素材を上書きする際に、主映像素材内の人物被写体の位置および大きさを顔画像認識（顔認識）により検出し、この検出に基づいて人物被写体が副映像素材で遮蔽される度合いを判定し、この判定結果に応じて上記上書きの可否を決定する遮蔽制御装置が記載されている。この装置によれば、主映像素材内の人物被写体の顔画像が副映像素材によって一定度合い以上に遮蔽されてしまうのを自動的に防ぐことができる。

しかし、カラオケ装置の場合、主映像素材に相当する背景映像と、副映像素材に相当する歌詞字幕は、そのどちらも必要不可欠なものであって、カラオケ演奏中は共に中断することなく表示されなければならない。つまり、カラオケの場合、一般のテレビ放送映像と異なり、背景映像と歌詞字幕は共に、表示を停止させることができない主映像素材として扱わなければならない。

歌詞字幕はカラオケ利用者の歌唱を支援するために不可欠であり、その表示は、背景映像中の人物の顔を遮蔽するような場合でも、維持しなければならない。一方、背景映像については、上述したように、登場人物の顔をできるだけ遮蔽しないで表示することが、カラオケの商品性を高める上で必要である。

本発明は、以上のような背反する問題を解決するものであって、その目的は、カラオケ演奏に合わせて生成される背景映像と歌詞字幕を、そのどちらも中断することなく一緒に表示させるとともに、背景映像内に人物が登場したときは、その人物の顔と歌詞字幕を、互いに妨げ合うことなく、共に良好に視認できるようにし、これにより、カラオケ演奏中の歌唱支援と背景映像によるカラオケ商品性の向上とを両立して達成させることができるカラオケ装置を提供することにある。

この発明に係るカラオケ装置は、分説すると、つぎの事項（１）〜（３）により特定されるものである。
（１）カラオケ演奏に伴って歌詞字幕データを逐次生成するとともに表示装置に表示される背景映像に重ねて歌詞字幕を表示するカラオケ装置であること
（２）表示する背景映像データを逐次分析し、画面中に顔画像が存在する場合、画面に占める顔画像領域を表す顔位置データを出力する顔認識手段を備えること
（３）出力された顔位置データに基づいて、画面に占める顔画像領域に歌詞字幕が重なる部分が少なくなるように歌詞字幕の表示位置を変化させる字幕位置制御手段を備えること

カラオケ演奏に合わせて生成される背景映像と歌詞字幕を、そのどちらも中断することなく一緒に表示させるとともに、背景映像内に人物が登場したときは、その人物の顔と歌詞字幕を、互いに妨げ合うことなく、共に良好に視認できるようにし、これにより、カラオケ演奏中の歌唱支援と背景映像によるカラオケ商品性の向上とを両立して達成させることができる。

本発明のカラオケ演奏装置全体の概略構成を示すブロック図である。 本発明の第１実施形態の要部を示すフローチャートである。 本発明の第１実施形態による字幕位置制御を例示する図である。 本発明の第２実施形態の要部を示すフローチャートである。 本発明の第２実施形態による字幕位置制御を例示する図である。 本発明の第３実施形態の要部を示すフローチャートである。 本発明の第３実施形態による字幕位置制御を例示する図である。

＝＝＝カラオケ装置全体の基本構成＝＝＝
本発明に係るカラオケ装置の概略構成を図１に例示する。
このカラオケ装置は、周知のパソコン相当のコンピュータ応用機器であって、その中核をなす中央処理装置１１は、ＣＰＵ・ＲＡＭ・ＲＯＭを含むコンピュータ本体を形成する。

この中央処理装置１１の制御管理下に、大容量の外部記憶としてのハードディスク装置１２、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの光ディスク再生装置１３、光通信回線などの公衆通信回線を介してカラオケホスト装置と通信する通信制御装置１４、利用者からの入力と利用者に向けての応答をやりとりする利用者インターフェイス装置１５、ＭＩＤＩ形式の音楽演奏データに基づいて伴奏音楽の音響信号を生成する音楽生成装置１６、伴奏音楽やマイクロホン１７１からの音響信号等を増幅してスピーカ１７２から発音する音響装置１７、ＬＣＤやＰＤＰなどを用いたディスプレイ（表示装置）１８、このディスプレイ１８に表示すべき映像データを処理する映像処理装置１９が設置されている。

ハードディスク装置１２には多数のカラオケ楽曲について、ＭＩＤＩデータを主体とした伴奏音楽データと、歌詞字幕の生成起源となる歌詞文字データとを含むカラオケデータが蓄積されている。また、所定形式の長時間分の動画データと、動画データの処理シーケンス（処理すべき動画データの格納場所と処理順番など）を規定した台本データや、演奏可能なカラオケ楽曲について、曲名やアーティスト名、発表年、歌詞の歌い出し部分などの目次情報も格納されている。

音楽生成装置１６はカラオケデータ中の伴奏音楽データによって伴奏音楽を生成する。歌詞文字データについては、伴奏音楽に同期して歌唱すべき箇所が色変わりする歌詞字幕画像を順次生成してビデオＲＡＭにビットマップ展開していく。また、台本データに基づいて所定の動画データを所定の順番で映像処理装置１９に順次転送して歌詞字幕の背景動画を復号させる。

音響装置１７はミキシングアンプを含み、音楽生成装置１６で生成された伴奏音楽と、マイクロホン１７１に入力された歌声音声とを混合・増幅してスピーカ１７２より音響出力する。

映像処理装置１９は、復号した動画映像に歌詞字幕をスーパーインポーズ処理してディスプレイ１８に表示出力する。歌詞字幕は、伴奏音楽の進行に同期した時系列の歌詞文字データから順次作成される。

利用者インターフェイス装置１５には、カラオケ装置本体の操作パネル１５１やカラオケリモコン装置１５２が含まれ、双方向通信が可能な短距離無線通信手段（ＩｒＤＡトランシーバ・赤外線ＬＥＤ・赤外線受光素子）を備えている。

中央処理装置１１は、各楽曲のカラオケデータ、台本データ、および目次情報などを楽曲ＩＤによって識別し、これをカラオケデータベースとして管理する。

この中央処理装置１１は、利用者インターフェイス装置１５から予約コマンド（リクエスト）を受信する。予約コマンドは楽曲ＩＤ（楽曲識別符号）を含む。この予約コマンドを受信すると、そのコマンドに含まれている楽曲ＩＤを受け取った順に処理予約の待ち行列の末尾に登録する。そして待ち行列の先頭から楽曲ＩＤを順次取り出す。待ち行列から楽曲ＩＤが取り出された場合は、カラオケデータベースから該当する楽曲用のカラオケデータを取りだして演奏処理に供する。

さらに、中央処理装置１１は、上述した周辺ハードウェア（１２〜１７）の存在下にて、後述する顔認識手段や字幕位置制御手段をソフトウェア的に構成する。

＝＝＝顔認識手段について＝＝＝
顔認識手段は、与えられた画像の中の顔を検出することができ、さらに、検出した顔の位置と大きさ（顔画像領域）を特定することができるものであればよく、たとえば、以下に示す文献に記載された手法を実装した、Ｉｎｔｅｌ社が提供する公開ライブラリ（ＯｐｅｎＣＶ）等を用いることができる。

このＯｐｅｎＣＶは、明暗コントラストによるパターン認識手法を用いるものであり、予め設定された複数の顔らしさのパターンと検出対象の顔らしさのパターンとを照合し、合致した場合に顔であると判断する。

なお、ＯｐｅｎＣＶについては自明であるので、ここでは詳細な説明を省略する（ＯｐｅｎＣＶについては、例えばＰ．ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ，”，Ｐｒｏｃ．ＣＶＰＲ２００１，Ｖｏｌ．１，ｐｐ．５１１−５１８．等参照）。

＝＝＝本発明の第１実施形態＝＝＝
本発明の第１実施形態をなす要部の構成および動作を、図２および図３によって示す。図２は本発明に係るカラオケ装置の制御動作に着目したフローチャートであり、図３は字幕位置制御の状態を例示する説明図である。

この第１実施形態によるカラオケ装置は、図１に示したハードウェア構成によって構成されている。すなわち、中央処理装置１１、ハードディスク装置１２、光ディスク再生装置１３、通信制御装置１４、利用者インターフェイス装置１５、音楽生成装置１６、音響装置１７、ディスプレイ１８、映像処理装置１９などにより、カラオケ演奏に伴って歌詞字幕データを逐次生成するとともに表示装置に表示される背景映像に重ねて歌詞字幕を表示するカラオケ装置が構成されている。

図１〜図３において、中央処理装置１１は、上述した周辺ハードウェア（１２〜１７）の存在下にて、顔認識手段および字幕位置制御手段をソフトウェア的に構成する。

顔認識手段は、ディスプレイ１８に表示する背景映像データを逐次分析し、画面中に顔画像が存在する場合、画面に占める顔画像領域を表す顔位置データを出力する。

たとえば、表示画面をマトリックス状に区画割りし、画面中に顔画像が存在する場合は、その顔画像の表示領域となる表示区画の行列位置（ＸＹ座標位置）を顔位置データとして出力させる。

字幕位置制御手段は、出力された顔位置データに基づいて、画面に占める顔画像領域に歌詞字幕が重なる部分が少なくなるように歌詞字幕の表示位置を変化させる。

たとえば、表示画面をマトリックス状に区画割りし、顔画像が表示される表示区画と歌詞字幕が表示される表示区画の重複数により、顔画像領域に歌詞字幕が重なる部分の大きさを求めることができる。歌詞字幕の表示位置の変化範囲はある程度定まっており、その定められた変化範囲内で上記重複数が最小となるような歌詞字幕の表示位置を求め、この求めた位置に歌詞字幕を表示させる。

図２および図３に示すように、カラオケ演奏に伴って逐次生成されてディスプレイ１８に表示される背景映像５１をリアルタイムで顔認識処理し、この認識処理によって背景映像５１中に顔画像５２が検出された場合は、その顔位置の表示範囲を示す顔位置データを取得するとともに、背景映像５１に上書き表示させる歌詞字幕６１の表示範囲を示す歌詞字幕データを取得する。

そして、背景映像５１中の顔位置に歌詞字幕６１が重なる部分の割合を判定する。この判定で、重なり部分が所定の規定値よりも大きい場合は、顔位置に歌詞字幕６１が重なる部分の大きさが最小となるように歌詞字幕６１の表示位置を変化させる字幕位置制御を行う。

これにより、カラオケ演奏に合わせて生成される背景映像５１と歌詞字幕６１を、そのどちらも中断することなく一緒に表示させるとともに、背景映像５１内に人物が登場したときは、その人物の顔と歌詞字幕を、互いに妨げ合うことなく、共に良好に視認できるようにすることができる。これにより、カラオケ演奏中の歌唱支援と背景映像によるカラオケ商品性の向上とを両立して達成させることができる。

＝＝＝本発明の第２実施形態＝＝＝
上述した第１実施形態との相違に着目すると、この第２実施形態では、図４および図５に示すように、顔位置に歌詞字幕６１が重なる部分の大きさを字幕位置制御によって最小化した後も、その重なり部分の大きさが所定の規定値よりも大きかった場合に、１画面で表示すべき歌詞文字列を複数に分割し、分割した文字列ごとに上記重なり部分が最小となるような文字列分割および字幕位置制御を行う。

これにより、背景映像５１中の顔位置に歌詞字幕６１が重なる部分の大きさをさらに確実に縮小させることができる。

＝＝＝本発明の第３実施形態＝＝＝
上述した第１実施形態との相違に着目すると、この第３実施形態では、図６および図７に示すように、顔位置に歌詞字幕６１が重なる部分の大きさを字幕位置制御によって最小化した後も、その重なり部分の大きさが所定の規定値よりも大きかった場合に、画面に占める顔画像５２領域に歌詞字幕６１が重なる部分が少なくなるように、歌詞字幕６１の大きさを変化させる字幕サイズおよび字幕位置制御を行う。

これにより、背景映像５１中の顔位置に歌詞字幕６１が重なる部分の大きさをさらに確実に縮小させることができる。

１１ 中央処理装置
１２ ハードディスク装置
１３ 光ディスク再生装置
１４ 通信制御装置
１５ 利用者インターフェイス装置
１５１ 操作パネル
１５２ カラオケリモコン装置
１６ 音楽生成装置
１７ 音響装置
１７１ マイクロホン
１７２ スピーカ
１８ ディスプレイ
１９ 映像処理装置
５１ 背景映像
５２ 顔画像
６１ 歌詞字幕

Claims (3)

1. カラオケ演奏に伴って歌詞字幕データを逐次生成するとともに表示装置に表示される背景映像に重ねて歌詞字幕を表示するカラオケ装置であって、
   表示する背景映像データを逐次分析し、画面中に顔画像が存在する場合、画面に占める顔画像領域を表す顔位置データを出力する顔認識手段と、
   出力された顔位置データに基づいて、画面に占める顔画像領域に歌詞字幕が重なる部分が少なくなるように歌詞字幕の表示位置を変化させる字幕位置制御手段と
   を備えたカラオケ装置。
2. 字幕位置制御手段は、画面に占める顔画像領域に歌詞字幕が重なる部分が少なくなるように、１画面で表示すべき歌詞文字列を複数に分割する
   請求項１に記載のカラオケ装置。
3. 字幕制御手段は、画面に占める顔画像領域に歌詞字幕が重なる部分が少なくなるように、歌詞字幕の大きさを変化させる
   請求項１または２に記載のカラオケ装置。

Images