JP5780258B2 - 携帯端末装置、携帯端末用プログラム、サーバ、及び画像閲覧システム - Google Patents

Description

本発明は、公共の会場で撮影された画像を携帯端末で閲覧するための携帯端末装置、携帯端末用プログラム、サーバ、及び画像閲覧システムに関する。

通常の楽曲は複数の演奏パート（歌唱パート）を同期して併奏する形態であり、近年のカラオケシステムでは特定のパートの歌唱や楽器演奏の練習を目的として、指定された１つの演奏パートを除く他の演奏パートだけで併奏するマイナスワン演奏が普及している。

特許文献１には、そのマイナスワン演奏中の演奏者の様子をカラオケ装置側のカメラ等で撮像し、それら演奏中画像をインターネットなどの通信ネットワークを介してサーバに記録、蓄積し、同一の楽曲に対応する演奏中画像を抽出してコラボレーション（協同）させるよう合成する技術が開示されている。これにより、異なる演奏パートの演奏者が擬似的に共演しているように見える共演画像を合成できる。

特開２０１２−７３４２８号公報

従来では、共演画像の合成が複数の画像になる場合、抽出した演奏中画像をそれぞれの記録順で時系列的に並べた配置で共演画像を合成していた。

また一方、楽曲の種類によっては当該楽曲の主旋律に対応するメインパートと、当該メインパートに対するそれぞれ音高キーが一定の関係にあるハモリパートとを和声（いわゆるハーモニー、以下「ハモリ」という）で合唱する形態のものがある。このような合唱楽曲の場合でも、従来では各歌唱中画像をそれぞれの記録順で時系列的に並べた配置で合唱画像を合成していたが、実際のライブ合唱を行う場合には各歌唱パートそれぞれに対応する歌唱者の立ち位置が整列されている場合が多い。このように、歌唱する人数や編成形態などに応じて各パートの配置を考慮すべきでありながら、上記のように各パートの歌唱中画像を記録順で並べた合唱画像を見た場合には違和感を感じていた。

本発明の目的は、合唱画像中における歌唱者の自然な配置を実現できるカラオケシステム及びカラオケ装置を提供することにある。

上記目的を達成するために、本願発明は、所定の楽曲に対して、歌唱する歌唱パートのパート種別を、歌唱者の歌唱音声と前記楽曲の主旋律に対する音高キーとに基づいて指定するパート種別キー指定手段と、前記歌唱パートの歌唱者の歌唱中画像を撮像するパート画像撮像手段と、を有するカラオケ装置と、前記カラオケ装置の前記パート画像撮像手段で撮像した前記歌唱中画像を、前記所定の楽曲の曲識別情報及び前記パート種別情報に対応付けて記録するパート画像記録手段を有するサーバと、で構成されるカラオケシステムであって、前記カラオケ装置及び前記サーバのいずれか一方において、楽曲と歌唱パートを指定して追加歌唱する際に、指定した楽曲の曲識別情報に対応し、且つ、指定した前記歌唱パート以外のパートのパート種別情報に対応してすでに記録されている歌唱中画像を前記パート画像記録手段から抽出し、それら抽出した前記歌唱中画像を所定の配置規則に従って配置した合唱画像を合成する合唱画像合成手段を備え、前記カラオケ装置は、前記合唱画像合成手段で合成した前記合唱画像を表示する合唱画像表示手段を備え、前記合唱画像合成手段は、当該合唱画像の表示領域中において、同じパート種別どうしがまとまるよう振り分ける配置規則に従って前記抽出した歌唱中画像を配置することを特徴とする。

上記目的を達成するために、本願発明は、所定の楽曲に対して、歌唱する歌唱パートのパート種別を、歌唱者の歌唱音声と前記楽曲の主旋律に対する音高キーとに基づいて指定するパート種別キー指定手段と、前記歌唱パートの歌唱者の歌唱中画像を撮像するパート画像撮像手段と、外部のサーバに対して、前記パート画像撮像手段で撮像した前記歌唱中画像を、前記所定の楽曲の曲識別情報及び前記歌唱パートのパート種別情報に対応付けて記録させるよう送信する歌唱中画像送信手段とを有するカラオケ装置であって、歌唱する楽曲と歌唱パートを指定した際に、前記サーバにおいて、指定された楽曲の曲識別情報に対応し、且つ、指定された前記歌唱パート以外のパートのパート種別情報に対応してすでに記録されている歌唱中画像を抽出し、それら抽出した前記歌唱中画像を所定の配置規則に従って配置するよう合成された合唱画像を当該サーバの合唱画像合成手段から受信して表示する合唱画像表示手段を備え、前記合唱画像合成手段は、当該合唱画像の表示領域中において、同じパート種別どうしがまとまるよう振り分ける配置規則に従って前記抽出した歌唱中画像を配置することを特徴とする。

本発明によれば、合唱画像中における歌唱者の自然な配置を実現できる。

カラオケ装置の主要構成を示す説明図である。 制御装置の制御系の主要構成を示す機能ブロック図である。 カラオケシステムにおける特徴的処理の具体的な工程を示す図である。 歌唱パートを指定する際に行われる歌唱パート判別処理について説明する図である。 コラボ画像が合成される際の各歌唱パートの配置規則の基本形を示す図である。 合唱する際のカラオケ装置のＣＰＵとサーバのＣＰＵによりそれぞれ実行される処理内容を示すフローチャートである。 フローにおいて送受、記録される各情報のデータ形式とそれらの関係を示す図である。 コラボ画像が合成される際の各歌唱パートの配置規則のその他の基本形を示す図である。 歌唱パートの種別と数に応じてそれらのコラボ画像における位置と大きさを適宜変更する場合の配置パターンの例を示す図である。

以下、本発明の一実施の形態について図面を参照しつつ説明する。なお、本実施形態では、利用者がカラオケ装置の演奏と共に主として主旋律より高い高音パートを歌唱する場合を説明する。

＜主要構成＞
図１は、本実施形態に係わるカラオケ装置を備えたカラオケシステムの主要構成を示す説明図である。図１に示すように、カラオケ装置１０には、歌詞テロップや後述する共演画像、もしくは各種の操作画面などをＣＲＴに表示するモニタテレビ（以下、モニタと略称する）１３と、小型のモニタ１４と、カラオケ用の楽曲（以下、適宜「曲」と略称する）の選曲、及び曲の再生の予約などの選曲制御、選曲された曲の送信要求などを含むリクエスト信号のサーバ５８への送信、及びリクエスト信号により示される曲に対応する楽曲データなどを含む応答信号の受信などの通信制御、後述する歌唱パート（この例の高音パート）を指定する等の制御装置２０と、が備えられている。

さらに、カラオケ装置１０には、この例では、マイクロフォン１７，１８から入力される音声信号及び曲の再生信号のミキシングを行うミキシング回路９を備え、音声と曲との音量バランス、エコー調整、デレィ調整、ミキシング信号の増幅、再生される曲の音程制御、高音、低音の制御などを行うアンプ１６と、このアンプ１６から出力される増幅信号を音として再生するフロアータイプの１組のスピーカ１１，１１と、天井吊下げ用の１組のスピーカ１２，１２と、制御装置２０を遠隔操作するリモコン３０と、歌唱者を撮影するカメラ２５（パート画像撮影手段に相当）と、が備えられている。

＜制御系＞
上記制御装置２０の制御系の構成について図２を参照して説明する。図２は、制御装置２０の制御系の主要構成を示す機能ブロック図である。制御装置２０は、装置筺体にＬＡＮ回線１５を接続する通信端子４０と、アンプ１６の音声入力端子と接続される音声出力端子４１と、モニタ１３の映像入力端子と接続される映像出力端子４２と、モニタ１４の映像入力端子と接続される映像出力端子４３とを備えている。この制御装置２０には、制御プログラムにしたがって各種制御を実行するＣＰＵ４５が設けられている。ＣＰＵ４５には、リモコン３０から送信されるデータ、選曲された曲の曲識別情報である曲名データ、予約された曲の曲名データなどを一時保存するためのＲＡＭ４６と、ＣＰＵ４５により実行されるプログラム及び必要なデータテーブルなどが記憶されたＲＯＭ４７とが接続されている。

また、ＣＰＵ４５には、モニタ１３，１４に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオＲＡＭ４８と、外部のサーバ５８から送信される楽曲データや合唱画像の動画データ（詳細は後述）、歌詞データ、及び映像データなどの各種データを通信端子４０及び通信ネットワーク１５を介して受信するためのＬＡＮボード５０と、このＬＡＮボード５０により受信される楽曲データ及び共演画像の動画データ等を一時保存するためのＲＡＭ４９とが接続されている。

さらに、ＣＰＵ４５には、ＲＡＭ４９から読み出された曲データに含まれるＭＩＤＩデータを入力するとともに、その入力されたＭＩＤＩデータにより指定される音源から音源信号を出力するＭＩＤＩ音源ボード５１が接続されている。また、ＣＰＵ４５には、上記出力された音源信号を入力してアンプ１６により増幅可能な信号に変換する音声制御回路５２と、別途一般的な背景映像を示す背景映像データを読み出すＣＤ−ＲＯＭプレーヤ５３とが接続されている。

また、ＣＰＵ４５には、サーバ５８から受信した上記合唱画像とカメラ２５で撮影した歌唱中画像とをはめこみ表示したりする映像制御を行う映像制御回路５４が接続されている。

さらに、ＣＰＵ４５には、制御装置２０の受光部３８により受光されたリモコン３０からの光信号をデジタル信号に変換する変換回路５５と、制御装置２０の筺体に設けられた各種ボタン、キー３９（テンキー、選曲ボタン等）を押したときに点灯するＬＥＤ３７へ表示信号を出力する表示回路５６と、上記各種ボタン、キー３９を押したときに発生するスイッチング信号を入力する入力回路５７と、カメラ２５からの撮影信号を入力する入力回路５９とが接続されている。なお、上記カラオケ装置１０とサーバ５８とを合わせた全体が、各請求項記載のカラオケシステム（カラオケシステム１）に相当する。

＜本実施形態の特徴＞
以上説明したように本実施形態のカラオケシステム１は、通信ネットワーク１５を介して相互に情報を送受可能に接続されているカラオケ装置１０とサーバ５８とを有している。また楽曲の種類によっては、それぞれのキーが一定の関係にある複数の歌唱パートを和声（いわゆるハーモニー、以下「ハモリ」という）で合唱する形態のものがある。本実施形態のカラオケシステム１では、楽曲の主旋律に対応するメインパートと、当該メインパートに対するそれぞれ音高キーが一定の関係にあるハモリパートとを個別に歌唱させる機能を有する。

そして、別途指定された所定の楽曲に対し、カラオケ装置１０のＣＰＵ４５により実行される歌唱パート判別処理（パート種別キー指定手段；後述の図４参照）により歌唱対象となる歌唱パートのパート種別が指定され、カメラ２５により当該歌唱パートの歌唱者の歌唱中画像を撮像する。歌唱が終了した際には撮影した歌唱中画像の動画データを外部のサーバ５８に送信し、指定された楽曲の曲名と歌唱パートのパート種別情報に対応付けられて、上記歌唱中画像の動画データをサーバ５８が備えるＨＤＤなどの大容量記憶装置５８ａ（パート画像記録手段に相当）に記録される。

このように各歌唱パート種別に対応した歌唱中画像をサーバ５８に記録、蓄積することにより、次回以降にあらためて曲名と歌唱パートを指定して歌唱する際に、合唱画像（以下、コラボレーション画像、適宜コラボ画像と略称する）を合成できる。具体的には、指定した楽曲の曲名に対応し、且つ、指定した歌唱パート以外のパートのパート種別情報に対応してすでに記録されている歌唱中画像の動画データをサーバ５８の大容量記憶装置５８ａから抽出し、それら抽出した歌唱中画像の動画データを組み合わせてコラボ画像を合成できる。この合成処理自体は、カラオケ装置１０とサーバ５８のいずれか一方で行えばよいが、この例ではサーバ５８で行うとする。そしてこのコラボ画像をカラオケ装置１０側のモニタ１３、１４で表示することで、当該歌唱者は、他のパートの歌唱者と合唱（以下、コラボレーション歌唱、適宜コラボ歌唱と略称する）しているような視覚的効果が得られる。

比較例として、上記抽出した歌唱中画像をそれぞれの記録順で時系列的に並べた配置でコラボ画像を合成する手法が取られていた。しかしながら、実際のライブ合唱などでは、各パートそれぞれに対応する歌唱者の立ち位置がまとまって整列されている場合が多い。例えば観客から見て、メインパートの１人の歌唱者がステージの中央に位置し、高音のハモリパートがそのメインパートを挟んで前列側に、低音のハモリパートが後ろ側に並んで全体で２列に整列するなど、低音のハモリパートと高音のハモリパートとがそれぞれまとまるように配置される

このように、歌唱する人数や編成形態などに応じて各パートの配置を考慮すべきでありながら、上記のように各パートの歌唱中画像を記録順で並べたコラボ画像を見た場合には違和感を感じていた。

これに対し本実施形態のカラオケシステム１では、サーバ５８の大容量記憶装置５８ａから抽出した歌唱中画像を、上述したような歌唱する人数や編成形態などに応じた配置規則に従って配置した合唱画像を合成する。

＜具体的な処理内容＞
図３に、本実施形態のカラオケシステム１における上記特徴的処理の具体的な工程を示す。まず、図示しない別途の操作画面で曲名を指定する。そして図３（ａ）に示すように、利用者が楽曲の最初の数フレーズ（所定数の小節）で歌唱の対象となる歌唱パートを歌唱することで当該歌唱パートを指定する。この際には、モニタ１３、１４などに歌唱の対象となるパートのキーで歌唱するよう利用者に促す表示を行い、利用者は当該歌唱パートで歌唱する。これによりアンプ１６を介して音声信号が入力された制御装置２０は、歌唱パート判別処理（後述の図４参照）によって当該楽曲の主旋律に対する音高キーを認識し、対応する歌唱パートの種別を指定する。このようにして行われる予約操作により、カラオケ装置１０は曲名と歌唱パートの情報を含むリクエスト信号をサーバ５８へ送信する（後述の図６、図７中のＡ参照）。

リクエスト信号を受信したサーバ５８は、指定された曲名に対応して、指定された歌唱パート以外のパートの歌唱中画像を大容量記憶装置５８ａから抽出し、それらを用いてコラボ画像を合成する。この合成はサーバ５８で予め行っていてもよい。このコラボ画像の動画データを、指定された曲名に対応する曲データ（ＭＩＤＩデータ）と共にカラオケ装置１０に応答信号として返信する（後述の図６、図７中のＢ参照）。

サーバ５８から応答信号を受信したカラオケ装置１０は、図３（ｂ）に示すようにサーバ５８から受信したコラボ画像の動画データとともに曲データを再生する。図示するコラボ画像の例では、すでに記録済みであったメインパートの歌唱中画像のみが合成され、歌唱対象の１つ目の高音パートに対応する配置場所（右上）がブランク（空き）となっている。また図示する例では高音パートは２つ目まで合成可能である（低音パートは３つ）。

そして歌唱中では、図３（ｃ）に示すように、カメラ２５で撮影したこの例の高音パートの歌唱者の歌唱中画像が上記ブランクの配置場所にはめこまれて表示される。この間には、カメラ２５で撮影した歌唱中画像が録画されており、当該楽曲の演奏が終了した際にはこの録画された歌唱中画像の動画データがサーバ５８に送信され大容量記憶装置５８ａに記録される（後述の図６、図７中のＤ参照）。これにより、次回以降に同じ楽曲がメインパート以外の歌唱パートで予約された場合には、メインパートと１つ目の高音パートのコラボ画像が合成、表示される。

ここで、上記図３（ａ）で歌唱パートを指定する際に行われる歌唱パート判別処理について図４を参照して説明する。アンプ１６を介して制御装置２０に入力される歌唱者の音声信号は、歌詞を表現する複雑な波形が含まれているものの全体の音程が時系列的に変化する信号となる。なお、図示している歌唱パート音声信号は、その音程の時間変化の様子だけを示している。

制御装置２０が実行する歌唱パート判別処理では、まず楽曲の歌唱すべき数フレーズ（所定数の小節）分だけこのような音声信号を入力し、その音程の時間変化パターンを生成する（図中の点線部参照）。歌唱すべき数フレーズは、楽曲の最初の歌詞から数フレーズであったり、人が記憶し易い楽曲のサビフレーズであったりする。歌唱すべき数フレーズの区間が曲の途中である場合には、楽曲データに、歌唱パートの判別用の曲演奏区間フラグとして予め組み込んでおけばよい。そしてこの生成した音程パターンに対し、当該予約楽曲に対応してあらかじめ歌唱パート別に用意されている音程ガイドパターンとそれぞれ比較を行う。

ここで、和声（ハモリ）で合唱される組み合わせの各音程ガイドパターンどうしは、相互にパターン全体の配置関係が同じであって全体の音の高低だけが相違している関係にある。つまりパターン間で、常に相対的な音の高低差である音高キーが相違している。歌唱パート判別処理では、入力された歌唱パート音声信号がどの歌唱パートの音程ガイドパターン（音高キー）と最も一致するかのパターンマッチングを行い、一致する音程ガイドパターンに対応するパート種別を当該歌唱者の歌唱パートとして判別、指定する。なお、主旋律に対応するメインパートの音程ガイドパターン（例えば、ガイドメロディ）とだけ比較して、それに対する音の高低差を直接音高キーとして検出して歌唱パートを判別、指定してもよい。
主旋律に対応するメインパートの音声ガイドパターンは、上述したようにガイドメロディを代用してもよい。または、音声ガイドパターン用の比較データとして、歌唱パート判別に必要な、歌唱すべき数フレーズ分をガイドメドディとは別に用意する場合は、楽曲に対応してあらかじめ歌唱パート別に用意されている音程のガイドパターンとして、楽曲データに予め組み込んでおけばよい。
予め楽曲データに組み込むことによって、上記歌唱パートの判別時に、歌唱すべき数フレーズの歌詞の色換を行いながらモニタ１３に表示するよう、楽曲データを作成することもできる。

また、サーバ５８でコラボ画像が合成される際の各歌唱パートの配置は、例えば図５に示すような配置規則の基本形に従うものとする。図示する例では、コラボ画像全体が２行×３列の碁盤目状に区画されており、全体の上側中央に位置する１行２列目にメインパートが割り当てられている。その他に、上側の１行目にメインパートを挟んで２つの高音パートが割り当てられ、下側の２行目に３つの低音パートが割り当てられている。つまり図示する例では、メインパートを上側中央とし、高音パートと低音パートを上下方向に分けてまとめており、このような配置規則とすることで各歌唱パートが擬似的に整列されてあたかも実際のライブ合唱のステージと視覚的に近い配置関係となる。

本実施形態の例では、コラボ画像の表示領域中における各歌唱パートの歌唱中画像の位置をそれぞれ上記基本形における規定位置そのままに固定し、それぞれ同じ大きさで表示する。まだサーバ５８に歌唱中画像が記録されていない歌唱パートについては、対応する位置に図示するような歌唱パート名を表示してもよいし、ブランクとしてもよい。上述したように、サーバ５８側では、今回歌唱の対象となる歌唱パートの位置をブランクとし、それ以外で大容量記憶装置５８ａから抽出できた歌唱パートの歌唱中画像を組み合わせてコラボ画像を合成する（予め合成していてもよい）。そしてカラオケ装置１０側で、カメラ２５で撮影した歌唱者の歌唱中画像をコラボ画像中の対応位置にはめこんで再生する。一方の画像に他方の画像をはめ込む、画像のはめ込みは、具体的には、映像のオーバレイや、スーパーインポーズ等の技術を用いればよく、周知であるので詳細には述べない。

＜システムの制御手順＞
上記のようにして利用者がカラオケ楽曲を再生しつつ特定の歌唱パートを歌唱するときに、カラオケ装置１０のＣＰＵ４５とサーバ５８のＣＰＵ（特に図示せず）によりそれぞれ実行される処理内容を、図６のフローチャートにより説明する。

図６において、このフローは、例えば上記利用者が、カラオケ装置１０の制御装置２０の電源ボタンを押して制御装置２０の電源を立ち上げると、開始される。制御装置２０の電源の立ち上がりに連動して、アンプ１６及びモニタ１３，１４の電源が立ち上がる。なお、前述したように、この例では、利用者が高音パートを歌唱する場合を例にとって説明する。また、サーバ５８は常時電源が入っている状態とする。また、図中では図示の煩雑を避けるために、楽曲データに関係する内容は省略し、各用語は略記されている。

図６において、まず、ステップＳＫ１０において、ＣＰＵ４５は、利用者自身が歌唱したい楽曲の予約操作を受け付ける。具体的には、利用者が歌唱したい楽曲の曲名または選曲番号をリモコン３０により入力する操作を受け付ける。

次にステップＳＫ１３へ移り、カラオケ装置のＣＰＵ４５は、利用者に希望する歌唱パートを歌唱するよう促す表示をモニタ１３、１４に出力し、アンプ１６を介して音声信号の入力を受け付ける。

次にステップＳＫ１７へ移り、カラオケ装置のＣＰＵ４５は、上記図４で説明した歌唱パート判別処理によって歌唱者が歌唱した歌唱パートを判別する。

次にステップＳＫ２０へ移り、カラオケ装置のＣＰＵ４５は、上記ステップＳＫ１０で受け付けた予約楽曲と、上記ステップＳＫ１７で特定した歌唱パートの情報を含むコラボ画像のリクエスト信号（後述の図７のＡ参照）をサーバ５８へ送信する。

次にステップＳＳ１０へ移り、上記リクエスト信号を受信したサーバ５８のＣＰＵは、当該リクエスト信号の歌唱パート指定に対応する動画データ、つまり指定した楽曲に対応しかつ指定した歌唱パートの歌唱中画像が抜けているコラボ画像を大容量記憶装置５８ａから取得する。そして、取得したコラボ画像の動画データと別途取得した楽曲データを応答信号（後述の図７のＢ参照）として要求元（リクエスト信号の発信元）のカラオケ装置１０に返信する。

次にステップＳＫ３０へ移り、カラオケ装置のＣＰＵ４５は、サーバ５８からの応答信号であるコラボ画像の動画データ及び楽曲データをダウンロードする。

次にステップＳＫ４０へ移り、カラオケ装置のＣＰＵ４５は、上記ステップＳＫ１０でメインパートが指定されているか否かを判定する。メインパートが歌唱パートとして指定されている場合には、判定が満たされ、ステップＳＫ５０へ移る。

ステップＳＫ５０では、カラオケ装置のＣＰＵ４５は、通常のカラオケ演奏と同様にメインパートを指定するよう設定する。そしてステップＳＫ７０へ移る。

一方、上記ステップＳＫ４０の判定において、メインパートが指定されていなかった場合、判定は満たされず、ステップＳＫ６０へ移る。

ステップＳＫ６０では、カラオケ装置のＣＰＵ４５は、指定された歌唱パートに設定する。そしてステップＳＫ７０へ移る。

ステップＳＫ７０では、カラオケ装置のＣＰＵ４５は、上記ステップＳＫ３０でダウンロードしたコラボ画像の動画データと楽曲データとを同期再生するとともに、コラボ画像中で設定した歌唱パートに該当する配置場所にカメラ映像をはめこみ表示する。また、カメラ映像も録画する。

次にステップＳＫ８０へ移り、カラオケ装置のＣＰＵ４５は、録画データ（後述の図７のＤ参照）をサーバ５８へ送信する。具体的に送信する録画データの主な内容としては、今回カメラ２５で録画した歌唱中画像の動画データと、今回歌唱した歌唱パート情報（パート種別情報に相当）と、使用したコラボ画像の動画データの識別情報（動画ＩＤ）である。

次にステップＳＳ２０へ移り、上記データを受信したサーバ５８のＣＰＵは、今回のコラボ画像中に元から合成されていた歌唱パート及び今回歌唱された歌唱パートから、コラボ画像中の各歌唱パートの配置場所を再決定する。この配置場所の再決定は、上記図５に示した基本形の配置規則に従って行う。

次にステップＳＳ３０へ移り、元のコラボ画像の動画データ、今回録画した歌唱中画像の録画データ、及び上記ステップＳＳ２０で再決定した配置場所の情報から、コラボ画像を再合成する。そして、このコラボ画像を楽曲の曲名や歌唱パートと対応付けて大容量記憶装置５８ａに記録する。そしてこのフローを終了する。

以上において、ステップＳＫ１７の手順が各請求項記載のパート種別キー指定手段に相当し、ステップＳＳ３０の手順が各請求項記載の合唱画像合成手段に相当し、ステップＳＫ７０の手順が各請求項記載の合唱画像表示手段に相当し、ステップＳＫ８０の手順が各請求項記載の歌唱中画像送信手段に相当する。

上記フローにおいて送受、記録される各情報のデータ形式とそれらの関係を図７に示す。なお図示の煩雑を避けるために、楽曲データ（ＭＩＤＩデータ）の記載は省略している。図７中のＡは、カラオケ装置１０からサーバ５８へ送信されるリクエスト信号のデータ形式を示している。このリクエスト信号には、利用者の識別情報であるユーザＩＤと、予約された楽曲の曲名（または曲識別情報）と、歌唱の対象である歌唱パート情報とが含まれている。これにより、サーバ５８は予約された楽曲と歌唱パートを確認できる。

図７中のＢは、カラオケ装置１０がサーバ５８からダウンロードする応答信号のデータ形式を示している。この応答信号には、ユーザＩＤと、予約された楽曲の曲名と、取得したコラボ画像の動画ＩＤ及び動画データと、当該コラボ画像で合成されている歌唱中画像の歌唱パート情報とが含まれている。これにより、カラオケ装置１０はコラボ画像の再生とカメラ２５で撮影した歌唱パートの歌唱中画像を適切にはめこみ表示できる。

図７のＣは、サーバ５８の大容量記憶装置５８ａに記録されている各種動画データのデータ形式を示している。記録されている動画データは大別して２種類あり、一方はすでに合成されているコラボ画像の動画データであり、他方はそれまでに受信した個々の歌唱中画像の動画データである。

一方のコラボ画像は、対応する楽曲の曲名と、当該コラボ画像の動画ＩＤ及び動画データと、当該コラボ画像で合成されている歌唱中画像の歌唱パート情報とが含まれている。上記Ｂの応答信号は、このコラボ画像の動画データのうち、今回予約された楽曲と歌唱パートに対応して取得されたものである。なお、この動画データに含まれる歌唱中画像の歌唱パート情報については、その代わりに歌唱可能な歌唱パート情報に置き換えてもよい。

他方の歌唱中画像は、対応する楽曲の曲名と、他の利用者が歌唱中に録画した歌唱中画像の動画データと、その際の歌唱パート情報とを含んでいる。このように歌唱中画像を個別に記録しておくことで、同一の楽曲に対し多様な組み合わせでコラボ画像を合成できる。

図７のＤは、コラボ歌唱（合唱）の後に、カラオケ装置１０からサーバ５８へ送信される録画データのデータ形式を示している。この録画データには、少なくとも、コラボ歌唱された楽曲の曲名と、使用したコラボ画像の動画ＩＤと、歌唱時にカメラ２５で撮影した動画データと、そのときの歌唱パート情報とが含まれている。録画データに含まれたユーザＩＤは、撮影した動画データの投稿者の特定（例えば、合成後の画像に歌唱者としてメンバー表示する場合など）には用いられるが、歌唱パート情報に応じて決定されるコラボ画像の合成自体には不要である。

この録画データを受信したサーバ５８は、それに含まれている動画ＩＤに基づいて元のコラボ画像の動画データを大容量記憶装置５８ａから取得し、当該コラボ画像で合成されている歌唱中画像の歌唱パート情報を特定できる。また、同じ楽曲に対応して大容量記憶装置５８ａに記録されている歌唱中画像も取得できる。そしてサーバ５８は、特定した歌唱パート情報と、取得した歌唱中画像と、録画データに含まれている曲名、今回の録画データ、歌唱パート情報とに基づいて、同じ楽曲に対応し上記図５の配置規則の基本形に従い新たなコラボ画像を再合成できる。このコラボ画像に別途の動画ＩＤを付与して新たな動画データとし、大容量記憶装置５８ａに記録する。

以上説明したように、本実施形態では、ステップＳＳ３０の手順で、大容量記憶装置５８ａから抽出した歌唱中画像を、予約された楽曲のジャンルや歌唱する人数や編成形態などに応じた配置規則に従って配置した合唱画像を合成する。このように合成された合唱画像は、歌唱者のみならず同席している他のユーザにとっても見た目に違和感を感じることがなくなる。この結果、合唱画像中における歌唱者の自然な配置を実現できる。

なお、カラオケ装置１０の処理能力が高い場合には、カラオケ装置１０側でコラボ画像の合成処理を行ってもよい。この場合には、サーバ５８から個別の歌唱中画像をダウンロードし、歌唱前もしくは歌唱中でリアルタイムにコラボ画像を合成、表示してもよい。または、サーバ５８からコラボ画像をダウンロードして、歌唱後にコラボ画像と録画データに基づいて新たなコラボ画像を再合成してもよい。

また、上記実施形態ではカラオケ装置１０で歌唱する歌唱パートが１つだけ（高音パートだけ）の場合を示したが、複数の歌唱パートを同時にコラボ歌唱してもよい。この場合には、コラボ画像には複数の歌唱パートにそれぞれ対応する位置がブランクとなり、それぞれに複数のカメラ２５で撮影した歌唱中画像をはめこみ表示する。

また、本実施形態では、ステップＳＫ１７の手順で、歌唱者の歌唱音声と楽曲の主旋律に対する音高キーとに基づいて歌唱パートのパート種別を指定する。これにより、歌唱者による歌唱だけで容易に歌唱パートのパート種別を指定できる。なお、本実施形態では上述した歌唱パート判別処理をカラオケ装置１０側で行ったが、サーバ５８側で歌唱パート判別処理を行ってもよい。この場合、上記ステップＳＫ２０の手順でカラオケ装置１０からサーバ５８に送信するリクエスト信号（図７中のＡ）には、歌唱パート情報のデータの代わりに音声信号のデータが含まれることになる。

また、歌唱中において、歌唱パートの歌唱者の歌唱中画像を撮影しつつ、同時にその撮影した歌唱中画像をリアルタイムに反映させてコラボ画像を合成、表示することは、カラオケ装置１０又は通信ネットワーク１５に大きな処理負担が強いられる。これに対し、本実施形態では特に、ステップＳＫ７０の手順で今回の歌唱中において撮影された歌唱中画像を既存のコラボ画像にはめこみ表示し、その終了後にステップＳＳ３０の手順で同じ楽曲の次回以降の歌唱時に反映させるようコラボ画像を再合成することで、カラオケ装置１０及び通信ネットワーク１５の処理負担を大きく軽減できる。これにより、簡易な構成のカラオケ装置１０及び通信ネットワーク１５を用いてコラボ画像の合成、表示を実現できる。

また、本実施形態では特に、ステップＳＳ３０の手順において、抽出した歌唱中画像を、当該コラボ画像の表示領域中におけるそれぞれの規定位置に配置して合成する。これにより、抽出した歌唱中画像の各パートの配置関係を明確に視認できる。また、抽出した歌唱中画像を所定の配置規則に従ったそれぞれの規定位置に単純に並べるだけでコラボ画像を合成できるため、ステップＳＳ３０の手順でのサーバ５８の処理負担を軽減できる。なお、サーバ５８の大容量記憶装置５８ａにまだ記録されておらず抽出できなかったパートの歌唱中画像については、その規定位置に当該パート種別の名称や対応する楽器等の画像を配置すればよい。

また、本実施形態では特に、ステップＳＳ３０の手順では、当該合唱画像の表示領域中において、同じパート種別どうしがまとまるよう振り分ける配置規則に従って抽出した歌唱中画像を配置する。これにより、歌唱者のみならず同席している他のユーザにとっても、合唱編成上見た目に違和感を感じることがなくなる。この結果、合唱画像中における歌唱者の自然な配置を実現できる。

なお、合唱画像の表示領域中において、同じパート種別どうしがまとまるよう振り分ける配置規則であればよく、上記図５に示した例以外の配置規則でもよい。例えば図８に示すように、メインパートが全体の下側中央に位置する２行２列目に割り当てられ、３つの低音パートが上側の１行目に割り当てられ、メインパートを挟む２つの高音パートが下側の２行目に割り当てられる配置規則としてもよい。または特に図示しないが、高音パートと低音パートを左右に振り分ける配置規則としてもよい。また、メインパートが２つ以上でもよく、その場合にはメインパートどうしがまとまるよう配置する。また、メインパートに対し高音パートを複数、もしくは低音パートを複数（複数段階の音高キー）設けるよう歌唱パートを区別してもよい。

なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を説明する。

＜歌唱パートの数と種別に応じて位置と大きさを変更する場合＞
上記実施形態ではコラボ画像中における各歌唱中画像の配置と大きさを固定していたが、本発明はこれに限られない。例えば、図９に示すように、合成する歌唱中画像の歌唱パート種別と数に応じてそれらの位置と大きさを適宜変更してもよい。

図示する例としては、１つの歌唱パートのみ（メインパートのみ）を表示する場合、図８（ａ）に示すようにその１つの歌唱パートの歌唱中画像だけで全表示領域と同等の大きさに拡大して表示する。これに対し、２つの歌唱パート（低音パートを追加）で表示する場合、図８（ｂ）に示すように２つの歌唱パートの歌唱中画像で全表示領域を左右２分割する大きさに拡大して表示する。このとき２つの歌唱パートが図示する例のメインパートと低音パートの場合には、メインパートが左で低音パートが右に配置される。また、特に図示しないが、左右逆の配置でもよいし、メインパートが上で低音パートが下の上下２分割で配置してもよい。

もし、メインパートと高音パートと低音パートの３つの歌唱パートを表示する場合には、図８（ｃ）に示すように、メインパートの左に高音パートが位置し、メインパートの下に低音パートが位置する。この配置では表示領域を上下左右の４分割となるため、上記図５の基本形と比較して各歌唱パートの歌唱中画像をより大きく表示できる。このように、複数の歌唱パートを表示する場合、どのような組み合わせの２つの歌唱パート間においてもそれらの間の配置関係性だけは維持しつつ表示領域を最大限に生かせる配置、大きさで表示する。

１つのメインパートと１つの高音パートと２つの低音パートの４つの歌唱パートを表示する場合には、図８（ｄ）に示すように、下側の２行目に２つの低音パートが位置し、上側のメインパートの右に高音パートが位置する。メインパートと高音パートが左右逆の配置でもよい。

以上のようにステップＳＳ３０の手順で、抽出した歌唱中画像を、それらの数とパート種別情報に応じて当該コラボ画像の表示領域中における位置と大きさを変更するよう配置して合成する。この合成時には、抽出した歌唱中画像の数と種別に応じて各歌唱パート間の配置関係性を考慮するようそれぞれの大きさや配置のパターンをその時点で決定してもよいし、あらかじめテーブルなどに全ての歌唱パートの組み合わせに対応する配置パターンを記憶しておき、それに従って決定してもよい。

これにより、個々の歌唱パート間の配置関係性だけは維持しつつ、抽出できたパートの歌唱中画像だけでコラボ画像の表示領域全体を最大限に活用したコラボ画像の合成が可能となり、各歌唱パートの視認性が向上する。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用してもよい。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１ カラオケシステム
１０ カラオケ装置
１３、１４ モニタ
１６ アンプ
１７、１８ マイク
２５ カメラ（パート画像撮影手段）
５８ サーバ
５８ａ 大容量記憶装置（パート画像記録手段）

Claims (5)

1. 所定の楽曲に対して、歌唱する歌唱パートのパート種別を、歌唱者の歌唱音声と前記楽曲の主旋律に対する音高キーとに基づいて指定するパート種別キー指定手段と、
   前記歌唱パートの歌唱者の歌唱中画像を撮像するパート画像撮像手段と、
   を有するカラオケ装置と、
   前記カラオケ装置の前記パート画像撮像手段で撮像した前記歌唱中画像を、前記所定の楽曲の曲識別情報及び前記パート種別情報に対応付けて記録するパート画像記録手段
   を有するサーバと、
   で構成されるカラオケシステムであって、
   前記カラオケ装置及び前記サーバのいずれか一方において、
   楽曲と歌唱パートを指定して追加歌唱する際に、指定した楽曲の曲識別情報に対応し、且つ、指定した前記歌唱パート以外のパートのパート種別情報に対応してすでに記録されている歌唱中画像を前記パート画像記録手段から抽出し、それら抽出した前記歌唱中画像を所定の配置規則に従って配置した合唱画像を合成する合唱画像合成手段を備え、
   前記カラオケ装置は、
   前記合唱画像合成手段で合成した前記合唱画像を表示する合唱画像表示手段を備え、
   前記合唱画像合成手段は、当該合唱画像の表示領域中において、同じパート種別どうしがまとまるよう振り分ける配置規則に従って前記抽出した歌唱中画像を配置することを特徴とするカラオケシステム。
2. 前記合唱画像合成手段は、今回の歌唱中において撮像された歌唱中画像を、同じ楽曲の次回以降の歌唱時に反映させて合成することを特徴とする請求項１記載のカラオケシステム。
3. 前記合唱画像合成手段は、前記抽出した歌唱中画像を、当該合唱画像の表示領域中におけるそれぞれの規定位置に配置して合成することを特徴とする請求項１又は２記載のカラオケシステム。
4. 前記合唱画像合成手段は、前記抽出した歌唱中画像を、それらの数とパート種別情報に応じて当該合唱画像の表示領域中における位置と大きさを変更するよう配置して合成することを特徴とする請求項１又は２記載のカラオケシステム。
5. 所定の楽曲に対して、歌唱する歌唱パートのパート種別を、歌唱者の歌唱音声と前記楽曲の主旋律に対する音高キーとに基づいて指定するパート種別キー指定手段と、
   前記歌唱パートの歌唱者の歌唱中画像を撮像するパート画像撮像手段と、
   外部のサーバに対して、前記パート画像撮像手段で撮像した前記歌唱中画像を、前記所定の楽曲の曲識別情報及び前記歌唱パートのパート種別情報に対応付けて記録させるよう送信する歌唱中画像送信手段と
   を有するカラオケ装置であって、
   歌唱する楽曲と歌唱パートを指定した際に、前記サーバにおいて、指定された楽曲の曲識別情報に対応し、且つ、指定された前記歌唱パート以外のパートのパート種別情報に対応してすでに記録されている歌唱中画像を抽出し、それら抽出した前記歌唱中画像を所定の配置規則に従って配置するよう合成された合唱画像を当該サーバの合唱画像合成手段から受信して表示する合唱画像表示手段を備え、
   前記合唱画像合成手段は、当該合唱画像の表示領域中において、同じパート種別どうしがまとまるよう振り分ける配置規則に従って前記抽出した歌唱中画像を配置することを特徴とするカラオケ装置。
   

Images