JP6544147B2 - 歌唱動画作成装置及び歌唱動画作成システム - Google Patents

Description

本発明は、歌唱する様子を撮像することで歌唱動画を作成する歌唱動画作成装置及び歌唱動画作成システムに関する。特に、カメラで撮像した歌唱映像を加工することのできる歌唱動画作成装置及び歌唱動画作成システムに関する。

従来、楽曲の演奏に合わせて歌唱を楽しむカラオケが知られている。カラオケボックス等のカラオケ施設では、知人等が集まって歌唱が楽しまれている。このようなカラオケでは、現在、カラオケの様子を撮影し、インターネット上で公開することで、他人の歌唱を楽しむ、あるいは、他人の歌唱と一緒に歌唱を行うサービスが提供されている。このようなサービスによれば、聴取側は同席せずとも歌唱を楽しむことが可能であり、また、歌唱する側は歌唱による自己アピールを行うことが可能である。

一方、自己アピールをする手段としては、ブース内で写真撮影を行い、その場でシール紙等の記録紙に印刷して提供する写真撮影サービスが行われている。このような写真撮影サービスは、アミューズメント施設等に設置され、若い女性の間で人気を集めている。写真撮影サービスでは静止画を使用しているが、特許文献１には動画を扱うサービスが開示されている。特許文献１に開示されるオリジナル映像作成システムでは、被写体の画像を取り込んで、動画記憶手段に記憶された動画と合成して記録媒体に記録することで、利用者が撮影されたオリジナル映像を作成することが可能である。

特開２００３−１６３８８８号公報

現在、静止画を使用した写真撮影サービスでは、撮影した写真に対して、美白処理、眼の拡大、アイテムの追加、背景映像の変更といった各種加工処理を施して印刷することで、サービス価値の向上を図っている。特許文献１に開示されるオリジナル映像作成システムにおいても被写体の画像と、動画記憶手段に記憶された動画の合成が行われている。しかしながら、静止画の場合と比較して、動画の合成など、動画に対する加工は、静止画の場合と比較して、処理する情報処理装置の負荷も大きく、処理時間がかかってしまう。したがって、撮影を完了してからオリジナル映像を受領するまでの待ち時間は、各種加工処理を施す処理時間を必要とするため、静止画の写真撮影サービスよりも動画撮影サービスの待ち時間の方が長くなる。このため、利用者としてはオリジナル映像をいち早く受け取りたいという要望があるとともに、サービス提供側としては、待ち時間をなるべく短くすることで、稼働率を向上させたいという要望がある。

本発明に係る歌唱動画作成装置は、このような課題を解決することを目的とするものであって、以下の構成を採用したことを特徴としている。
演奏処理と、前記演奏処理に同期して実行される録画処理と録音処理と、加工形態選択処理と、加工処理と、出力処理と、を実行可能とし、
前記演奏処理は、指定された楽曲に対応する楽曲情報を演奏し、
前記録画処理は、カメラで撮像された映像を録画して録画情報を形成し、
前記録音処理は、マイクロホンからの歌唱音声を録音して録音情報を形成し、
前記加工形態選択処理は、前記録画処理の実行中、今回の前記録画処理で録画された録画情報の一部を加工して表示部に表示し、ユーザに加工形態を選択させ、
前記加工処理は、前記加工形態選択処理において加工形態が選択された後であって前記録画処理の実行中、前記録画処理で録画中の録画情報に対して、選択された加工形態を使用して加工開始し、加工録画情報を形成し、
前記出力処理は、前記加工処理の完了後、前記加工処理で形成された加工録画情報と、前記録音処理で録音された録音情報を含む歌唱動画情報を出力することを特徴とする。

さらに本発明に係る歌唱動画作成装置において、
前記加工形態選択処理の実行タイミングは、楽曲情報で規定されるタイミングで実行されることを特徴とする。

さらに本発明に係る歌唱動画作成装置において、
前記加工形態選択処理は、今回の前記録画処理で録画された録画情報の一部を複数の加工形態で加工して表示部に表示することで、ユーザに加工形態を選択させることを特徴とする。

さらに本発明に係る歌唱動画作成装置において、
前記加工形態選択処理は、今回の録画処理で録画された録画情報の一部に対し、ユーザによって指定されたパラメータで加工して前記表示部に表示することで、ユーザに加工形態を選択させることを特徴とする。

さらに本発明に係る歌唱動画作成装置において、
前記加工処理は、楽曲情報で規定される区間の録画情報を繰り返し使用して加工録画情報を形成することを特徴とする。

また本発明に係る歌唱動画作成システムは、
歌唱動画作成装置と、歌唱動画作成装置と通信可能なサーバ装置と、を備えた歌唱動画作成システムであって、
歌唱動画作成装置は、演奏処理と、前記演奏処理に同期して実行される録画処理と録音処理と、加工形態選択処理と、を実行可能とし、
前記演奏処理は、指定された楽曲に対応する楽曲情報を演奏し、
前記録画処理は、カメラで撮像された映像を録画して録画情報を形成し、
前記録音処理は、マイクロホンからの歌唱音声を録音して録音情報を形成し、
前記加工形態選択処理は、前記録画処理の実行中、今回の前記録画処理で録画された録画情報の一部を加工して表示部に表示し、ユーザに加工形態を選択させ、
前記歌唱動画作成装置もしくは前記サーバ装置は、加工処理と、出力処理と、を実行可能とし、
前記加工処理は、前記加工形態選択処理において加工形態が選択された後であって前記録画処理の実行中、前記録画処理で録画中の録画情報に対して、選択された加工形態を使用して加工開始し、加工録画情報を形成し、
前記出力処理は、前記加工処理の完了後、前記加工処理で形成された加工録画情報と、録音処理で録音された録音情報を含む歌唱動画情報を出力することを特徴とする。

本発明に係る歌唱動画作成装置、歌唱動画作成システムによれば、録画処理実行中に、当該録画処理で得られた録画情報を使用して、ユーザに加工形態を選択させる加工形態選択処理を実行している。したがって、ユーザは自己の録画情報を使用して加工形態を選択することが可能である。また、録画処理実行中に加工処理を開始するため、利用者は歌唱が終了した後、迅速に、好みの加工形態で加工された加工録画情報を得られるため、待ち時間を短くすることが可能となる。

さらに本発明によれば、加工形態選択処理の実行タイミングを、楽曲情報で規定されるタイミングで実行することにより、例えば、間奏中等、歌唱を行わない期間にユーザに加工形態を選択させることで、ユーザの操作性の向上を図ることが可能である。

さらに本発明によれば、ユーザは複数の加工形態で加工された録画情報を参照し、好みの加工形態を選択することが可能である。

さらに本発明によれば、ユーザはパラメータを指定することで当該パラメータを使用して加工された録画情報を確認し、加工形態を選択することが可能である。

さらに本発明によれば、楽曲情報で規定される区間の録画情報を繰り返し使用して加工録画情報することで、楽曲の演奏期間中、全ての期間について加工処理を行う必要が無く、加工処理に必要な処理時間を更に短くすることが可能となる。

カラオケ装置の設置状況を説明するための図 カラオケ装置及び周辺機器の構成を説明するためのブロック図 楽曲情報のデータ構成を示す図 カラオケ装置で実行されるメイン処理を示すフロー図 加工形態の選択画面を示す図 他の実施形態について、加工形態の選択画面を示す図 歌唱動画作成を説明するためのタイムチャート 他の実施形態について、（Ａ）歌唱動画作成、及び（Ｂ）再生の形態を説明するためのタイムチャート

図１は、本発明の実施形態に係るカラオケ装置１の設置状況を説明するための図である。本実施形態では、歌唱動画作成装置としてカラオケ装置１を使用している。ブース２０は、ゲームセンター等のアミューズメント施設に設置され、ユーザが料金を支払うことで歌唱動画を作成することが可能である。ブース２０内には、カラオケ装置１及び、カラオケ装置１の周辺機器が設置されている。ブース２０内で歌唱した歌唱音声を録音するため、外部の音を遮音するため、ブース２０の壁面等には防音機能を持たせることが好ましい。

ブース２０内には、カラオケ装置１の他、カラオケ装置１の周辺機器として、モニタ２６、タッチパネルモニタ２７、カメラ２４、料金管理部２８、プロジェクタ２５が設置されている。モニタ２６は、ブース２０内で歌唱するユーザに対して、歌詞表示を行う等の各種視覚情報を提供する。タッチパネルモニタ２７は、ユーザに対して視覚情報を提供すると共に、ユーザからの各種指示を受け付けることが可能である。料金管理部２８は、コインボックスやカードリーダ等、ユーザから歌唱動画作成のための使用料金を接受する。カメラ２４は、歌唱動画作成のため、ユーザを撮像するために設置されている。プロジェクタ２５は、ブース２０内のユーザの背後に設置されたスクリーンＳに、背景映像、あるいは、ブルースクリーンを投影する。

歌唱動画を作成したいユーザは、ブース２０に入り、料金管理部２８に規定の料金を投入し、歌唱動画の作成を開始する。図２は、カラオケ装置１、及び、その周辺機器の構成を示すブロック図である。カラオケ装置１は、楽曲を演奏するための演奏部として音響制御部１１を備えている。音響制御部１１は、指定された楽曲について、楽曲に対応する演奏情報を演奏することで、カラオケの伴奏を実行する。また、音響制御部１１には、マイクロホン２１ａ、２１ｂが接続されており、入力された歌唱音声を、演奏情報に基づく演奏音とミキシングして、スピーカ２３から音響出力する。

また、カラオケ装置１は、タッチパネルモニタ２７、料金管理部２８等の周辺機器と接続するための外部インターフェイス１６を備える。また、カラオケ装置１は、各種情報を記憶する記憶部としてのハードディスク１８を備える。カラオケ装置１は、ＬＡＮ３０に接続する通信手段としてのＬＡＮ通信部１７を備えている。ＬＡＮ３０は、店舗内のルータ３１に接続されており、インターネットと通信することが可能である。本実施形態では、カラオケ装置１は、ＬＡＮ通信部１７、ルータ３１を介し、歌唱動画を管理するためのサーバ装置４と通信することが可能である。

また、カラオケ装置１は、モニタ２６に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部１４、再生する映像を一時的に蓄積するビデオＲＡＭ１３、再生された映像に対する歌詞テロップの重畳、映像効果を付与する映像制御部１５を備えている。また、映像再生手段は、プロジェクタ２５に対して、歌唱動画の背景映像、あるいは、ブルースクリーンを再生することが可能である。また、映像制御部１５は、ブース２０内に設置されたカメラ２４に接続され、カメラ２４で撮影した映像を取り込むことが可能である。

また、このカラオケ装置１では、タッチパネルモニタ２７に対し、ユーザに各種選択、入力を行わせるための映像を表示することを可能としている。タッチパネルモニタ２７は、映像制御部１５が出力する映像を表示する表示部２７ｂと、タッチ入力された位置を外部インターフェイス１６に出力するタッチパネル２７ａが重畳されて構成されている。このタッチパネルモニタ２７は、ブース２０を使用するユーザから各種選択、指示を入力可能な入力部として機能する。

また、カラオケ装置１は、各構成を統括して制御するためのＣＰＵ１０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ１２を備えて構成される。

図３は、カラオケ装置１で使用する楽曲情報のデータ構成を示す図である。楽曲情報は、選曲等を行うために付与されたメタ情報と、演奏、歌詞表示を行うための実情報を含んで構成されている。メタ情報には、楽曲を管理するための楽曲識別情報（楽曲ＩＤ）、楽曲名、歌手名、作詞者名、作曲者名、区間識別情報等を含んで構成されている。区間識別情報は、前奏、Ａメロ、Ｂメロ、間奏等、楽曲の進行に対応した区間種別を示す情報である。この区間識別情報を使用することで、楽曲再生中、現在再生している区間種別を判定することが可能である。実情報は、演奏情報と歌詞情報を含んで構成されている。楽曲を再生する際、演奏情報を音響制御部１１に演奏させる（演奏処理）ことで、歌唱伴奏としての演奏音をスピーカ２３から音響出力することが可能である。また、楽曲を再生する際、歌詞情報を映像再生部１４で再生し、モニタ２６に映像出力することで、ユーザの歌唱補助を行うことが可能である。

では、ブース２０内に設置されたカラオケ装置１について、歌唱動画を作成するためのメイン処理について説明する。図４は、カラオケ装置１で実行されるメイン処理を示すフロー図である。カラオケ装置１は、料金管理部２８からの出力信号に基づき、歌唱動画作成のための規定料金の投入を監視する（Ｓ１００）。規定料金が投入されたことを判定した場合（Ｓ１００：Ｙｅｓ）、歌唱する楽曲の選択（Ｓ１０１）、歌唱時に使用する背景映像の選択（Ｓ１０２）を実行する。楽曲の選択、背景映像の選択は、タッチパネルモニタ２７を使用して行われる。楽曲の選択は、楽曲情報中のメタ情報を使用することで、所望の楽曲をユーザに検索、選択させることが可能である。選択された背景映像は、プロジェクタ２５を使用してブース２０内においてユーザの背後に位置するスクリーンＳに投影される。

ユーザは、スクリーンＳに投影された背景映像をバックに歌唱を行うことになる。歌唱の様子は、カメラ２４で撮像されるため、スクリーンＳに投影された背景映像もカメラ２４で撮影されることになる。本実施形態では、このように選択した背景映像をスクリーンＳに投影し、その様子をカメラ２４で撮像しているが、カメラ２４で撮像した映像を処理し、ユーザの背後に背景映像を合成することとしてもよい。その場合、ブース２０内のユーザの背面をブルースクリーンにしておく、あるいは、プロジェクタ２５を使用してスクリーンＳにブルースクリーンを投影することが考えられる。あるいは、ブルースクリーンを使用することなく、カメラ２４で撮像した映像を画像処理することで、背景映像と合成してもよい。このように、プロジェクタ２５で背景映像を投影しない場合には、事後的に背景映像を選択することが可能である。

背景映像を投影開始（Ｓ１０３）した後、楽曲情報に基づく再生処理を開始する（Ｓ１０４）。この再生処理は、楽曲情報中の演奏情報を音響制御部１１に再生させるとともに、歌詞情報を映像再生部１４にて再生させる処理である。ユーザはスピーカ２３から音響出力される演奏音を聴取するとともに、モニタ２６に表示される歌詞表示を確認しつつ歌唱を行うことが可能である。本実施形態では、楽曲の再生期間中、カメラ２４からの映像を録画（動画撮影）する録画処理と、マイクロホン２１ａ、２１ｂに入力される歌唱音声の録音を行う録音処理を実行する（Ｓ１０５）。録音は歌唱音声のみを録音することとしてもよいし、あるいは、歌唱音声と再生された演奏音とミキシングした音を録音することとしてもよい。歌唱音声のみを録音する場合には、歌唱動画情報を作成するときに演奏音が含められる。カラオケ装置１は、録画開始後、適宜タイミングで得られた録画情報（動画）から静止画を抽出する（Ｓ１０６）。そして、抽出された静止画に対し、複数の加工形態で加工する（Ｓ１０７）。

ここで加工形態とは、静止画に対して各種エフェクトを施す処理である。例えば、撮影された画像中、肌の色を変更、あるいは、顔に化粧を施すコスメ処理、眼の大きさ等、顔のパーツの大きさを変更する処理、あるいは、顔の位置を検出して、顔の適切な位置に眼鏡、帽子、アクセサリー等のＣＧ映像を配置する処理等がある。また、本実施形態では、スクリーンＳに背景映像を投影しているが、ブルースクリーン等、事後的に背景映像を変更可能な場合には、異なる背景映像を使用して加工することとしてもよい。Ｓ１０７で作成する加工後の静止画は、ユーザに加工形態を選択させるためのサンプル画像である。本実施形態では、楽曲再生期間中にカメラ２４で撮像した映像を基にサンプル画像を作成するため、ユーザは実際に提供される歌唱画像によって、使用したい加工形態を選択することが可能である。

カラオケ装置１を使用するユーザは歌唱を行っているため、加工形態の選択は、楽曲の間奏区間を使用して行うこととしている。間奏区間に入ったことの判定（Ｓ１０８：Ｙｅｓ）は、楽曲情報中に規定される区間識別情報を使用して判定される。間奏区間では、ユーザに対して、Ｓ１０７で加工したサンプル画像を加工形態候補として表示する（Ｓ１０９）ことで加工形態を選択させる（Ｓ１１０）加工形態選択処理を実行する。なお、加工形態の選択は、間奏区間のみならず、楽曲の再生期間中であれば適宜タイミングで行ってもよい。例えば、マイクロホン２１ａ、２１ｂに一定期間、歌唱音声が入力されていないことを条件として行うことも可能である。

図５には、Ｓ１０９でタッチパネルモニタ２７に表示する加工形態の選択画面が示されている。この加工形態の選択画面では、Ｓ１０７において、加工形態毎に作成した加工サンプル画像６１ａ〜６１ｄを表示することで、最終的に提供される歌唱動画情報に使用する加工形態を選択することが可能である。図５では、模式的に各加工サンプル画像６１ａ〜６１ｄ上に加工形態を文字で表記しているが、実際には加工形態毎の加工処理が施された加工サンプル画像が表示される。なお、各加工サンプル画像６１ａ〜６１ｄには、加工処理の内容を示す説明文を付与してもよい。

加工形態の選択画面において、タッチパネルモニタ２７上に表示される加工サンプル画像６１ａ〜６１ｄの何れかをタッチして、決定ボタン６２を操作することで、使用する加工形態が選択される。なお、加工形態の選択は、複数種別行わせることも可能である。その場合、例えば、種別毎に選択画面を表示することで、複数の加工形態を選択することが可能である。

図５では、加工形態毎に作成した加工サンプル画像６１ａ〜６１ｄを選択させることで、加工処理で使用する加工形態を決定することとしているが、加工形態の選択は、選択画面においてパラメータを指定することで行うこととしてもよい。図６は、他の実施形態について、加工形態の選択画面を示した図である。この選択画面は、図５と同様、間奏区間等、楽曲の再生期間中にタッチパネルモニタ２７に表示され、ユーザに加工形態（パラメータ）を選択させる画面である。選択画面には、楽曲の再生期間中に録画した得られた一静止画である加工サンプル画像６３が表示されている。この加工サンプル画像６３の下方には、３つのパラメータＡ〜Ｃを調整可能な調整操作子６４が表示されている。パラメータＡ〜Ｃについて操作子を移動させることで、例えば、肌の色、顔のパーツの大きさ等、度合いを調整することが可能である。加工サンプル画像６３は、調整されたパラメータＡ〜Ｃに基づいて加工処理が施される。加工サンプル画像６３は、１静止画像であるため、加工処理は略リアルタイムで行うことが可能である。ユーザは、調整操作子６４を使用して、好みの加工形態となるようにパラメータＡ〜Ｃを調整し、決定ボタン６５を操作することで、パラメータＡ〜Ｃを使用する加工形態として決定することが可能である。

ユーザによる加工形態が選択されると、カラオケ装置１は、選択された加工形態を使用して、カメラ２４を使用して録画中の録画情報に対して加工処理を開始する（Ｓ１１１）。映像に対して行う加工処理は、ＣＰＵ等の制御手段における処理負荷が大きく、時間がかかることが予想される。本実施形態では、録画している期間に、加工形態を選択させるとともに、選択された加工形態で加工処理を開始することで、最終的な成果物としての歌唱動画情報をできるだけ早く完成させることとしている。歌唱動画情報が早く完成することで、ユーザに歌唱動画情報を早く提供できるのみならず、ブース２０の利用効率を高めることも可能となる。

ここで加工処理の一例について説明する。カメラ２４で撮影した映像（動画）は、短い間隔の静止画としてハードディスク１８に格納しておく。加工処理では、ハードディスク１８から静止画をメモリ１２上に読み出し、ユーザによって選択された加工形態で画像処理し、再度、ハードディスク１８に格納する。撮像により得られた全ての静止画に対して画像処理が完了後、静止画像に対し所定の形態でエンコード（画像圧縮）を行うことで、歌唱動画情報の動画部分が完成する。

楽曲の再生が終了した場合（Ｓ１１２：Ｙｅｓ）、カメラ２４からの映像の録画、マイクロホン２１ａ、２１ｂの歌唱音声の録音を終了する（Ｓ１１３）。このとき、まだ加工処理が完了していない場合には、モニタ２６、あるいは、タッチパネルモニタ２７にメッセージを表示し、加工処理中であることをユーザに通知する（Ｓ１１４）。このユーザに対する通知は、加工処理が終了する（Ｓ１１５：Ｙｅｓ）まで継続して行われる。加工処理が終了する（Ｓ１１５：Ｙｅｓ）と、再生期間に録音した録音情報と、加工後の録画情報（加工録画情報）を含んだ歌唱動画情報を形成する（Ｓ１１６）。

完成した歌唱動画情報は、カラオケ装置１で再生することで、ユーザに提示する（Ｓ１１７）他、各種形態でユーザに歌唱動画情報を提供する（Ｓ１１８）ための出力処理を実行する。本実施形態では、サーバ装置４を介して歌唱動画情報を提供する。Ｓ１１６で形成された歌唱動画情報は、ＬＡＮ３０、インターネットを介してサーバ装置４の記憶部４１に記憶される。また、カラオケ装置１は、利用したユーザに対して、ＵＲＬ等、サーバ装置４上の歌唱動画情報にアクセスするためのアクセス情報を提供する。アクセス情報としては、ユーザが入力したメールアドレス宛にアクセス情報を送信すること等が考えられる。ユーザは、アクセス情報を使用して、歌唱動画情報を視聴する、あるいは、ダウンロードすることが可能となる。歌唱動画情報の提供形態としては、このようにサーバ装置４を介した形態の他、カラオケ装置１にて、ＤＶＤ、メモリカード等の各種記憶媒体に歌唱動画情報を記憶して、記憶媒体を排出することでユーザに提供すること、あるいは、ユーザが所持するスマートフォン等の携帯情報端末を、カラオケ装置１と接続し、携帯情報端末に歌唱動画情報を送信することで、歌唱動画情報を提供すること等が考えられる。

図７は、歌唱動画作成を説明するためのタイムチャートである。図７（Ａ）は、図４で説明したメイン処理に対応した本実施形態のタイムチャートである。また、図７（Ｂ）は、楽曲の再生後に加工処理を行った場合の参考例を示すタイムチャートである。図７（Ａ）において、楽曲の再生から終了までの期間をバーで示しており、右方向が時間経過方向を示している。バーの中間位置には間奏区間が示されている。再生開始後、間奏区間において、図５で説明した加工形態の選択画面が表示される。間奏区間において加工形態が選択されると、その直後に、選択された加工形態を使用して加工処理が開始される。本実施形態では、楽曲の再生開始から再生終了までの間に録画された録画情報に対して加工処理を実行することとしている。一点鎖線は、加工処理の対象となる区間を示している。このように加工形態を選択した直後に、加工処理を開始した場合、楽曲の再生終了から加工処理の終了時までが、ユーザにとっての待ち時間となる。

一方、図７（Ｂ）は、楽曲の再生終了後に、加工形態を選択させ、選択された加工形態に基づいて、加工処理を開始した場合の参考例である。このように楽曲の再生終了後に加工処理を実行する場合、加工処理に必要な時間と、加工形態を選択するために必要な時間の和が待ち時間となる。この参考例と比較してよく分かるように、図７（Ａ）の本実施形態では、最終的な成果物となる歌唱動画情報を、楽曲再生の終了後、迅速にユーザに提供することが可能である。

図７（Ａ）に示すように本実施形態では、楽曲再生開始から終了までに録画された録画情報を加工処理の対象としている。楽曲では、第１パート、第２パートのように旋律は同じであるが歌詞が異なるパートを歌唱することがある。このような事情を鑑み、歌唱動画情報において、第１パート、第２パートについて共通の録画情報を使用することとしてもよい。共通の録画情報を使用することで、加工処理の対象となる録画情報を短くし、加工処理に必要な処理時間を短くすることが可能となる。

図８は、このような実施形態について、図８（Ａ）歌唱動画作成時、及び図８（Ｂ）再生時の様子を説明するためのタイムチャートを示した図である。図８（Ａ）に示すタイムチャートは、歌唱動画作成時の様子を示しており、図７と同様、右方向が時間経過方向を示している。カメラ２４の映像の録画は、楽曲再生開始時から間奏区間までの期間において実行される。また、マイクロホン２１ａ、２１ｂの歌唱音声の録画は、楽曲再生開始から再生終了までの期間において実行される。区間識別情報を使用して、各区間に対応して録画情報を、録画Ａ（前奏区間）、録画Ｂ（第１パート区間）、録画Ｃ（間奏区間）に分けている。前述の実施形態と同様、間奏区間において加工形態をユーザに選択させている。加工形態が選択されると、選択された加工形態にて加工処理を開始することになるが、本実施形態では、楽曲再生開始から間奏終了までの期間の録画情報を加工処理の対象としている。このように、前実施形態が楽曲全体の録画情報を加工処理の対象としていたのに対して、本実施形態はそれよりも短い区間を加工処理の対象としているため、加工処理に必要な時間を短くすることが可能となっている。

図８（Ｂ）は、図８（Ａ）の形態で録音・録画された場合に形成される歌唱動画情報について、その再生時の様子（歌唱動画情報の構成にも相当）を示した図である。前述したように、第１パート、第２パートでは、旋律が同じで歌詞が異なるパートを歌唱することがある。本実施形態では、第２パート区間で表示する映像として、第１パート区間において録画された録画情報Ｂを代替的に使用することとしている。また、後奏区間については、間奏区間で録画された録画情報Ｃを代替的に使用している。このように、歌唱動画情報で使用する録画情報に、楽曲情報で規定された区間の録画情報を繰り返して使用することで、加工処理の対象となる録画情報の時間長を短くし、加工処理自体の処理時間を短くすることが可能となる。なお、本実施形態では、第２パートに対して第１パートの録画情報を使用し、後奏区間には間奏区間の録画情報を使用しているが、区間の利用形態は、このような形態に限らず、他の形態を採用することも可能である。歌唱している区間には歌唱している区間の録画情報を使用し、歌唱していない区間には歌唱していない区間の録画情報を使用することが、違和感の無い歌唱動画情報を形成する上で好ましい。

なお、本実施形態ではカラオケ装置１を例として、歌唱動画作成装置の説明を行ったが、歌唱動画の作成は、カラオケ装置１のみで行うことに代え、カラオケ装置１とサーバ装置４と連携して行うこととしてもよい。カラオケ装置１とサーバ装置４を含むカラオケシステムで行う場合、例えば、ブース２０に設置されたカメラ２４の映像をサーバ装置４に送信し、サーバ装置４で加工処理を実行すること等が考えられる。

１：カラオケ装置 ２６：モニタ
１０：ＣＰＵ ２７：タッチパネルモニタ
１１：音響制御部 ２７ａ：タッチパネル
１２：メモリ ２７ｂ：表示部
１３：ビデオＲＡＭ ２８：料金管理部
１４：映像再生部 ３１：ルータ
１５：映像制御部 ４：サーバ装置
１６：外部インターフェイス ４１：記憶部
１７：ＬＡＮ通信部 ６１ａ：加工サンプル画像
１８：ハードディスク ６１ｂ：加工サンプル画像
２０：ブース ６１ｃ：加工サンプル画像
２１ａ：マイクロホン ６１ｄ：加工サンプル画像
２１ｂ：マイクロホン ６２：決定ボタン
２３：スピーカ ６３：加工サンプル画像
２４：カメラ ６４：調整操作子
２５：プロジェクタ ６５：決定ボタン

Claims (6)

1. 演奏処理と、前記演奏処理に同期して実行される録画処理と録音処理と、加工形態選択処理と、加工処理と、出力処理と、を実行可能とし、
   前記演奏処理は、指定された楽曲に対応する楽曲情報を演奏し、
   前記録画処理は、カメラで撮像された映像を録画して録画情報を形成し、
   前記録音処理は、マイクロホンからの歌唱音声を録音して録音情報を形成し、
   前記加工形態選択処理は、前記録画処理の実行中、今回の前記録画処理で録画された録画情報の一部を加工して表示部に表示し、ユーザに加工形態を選択させ、
   前記加工処理は、前記加工形態選択処理において加工形態が選択された後であって前記録画処理の実行中、前記録画処理で録画中の録画情報に対して、選択された加工形態を使用して加工開始し、加工録画情報を形成し、
   前記出力処理は、前記加工処理の完了後、前記加工処理で形成された加工録画情報と、録音処理で録音された録音情報を含む歌唱動画情報を出力することを特徴とする
   歌唱動画作成装置。
2. 前記加工形態選択処理の実行タイミングは、楽曲情報で規定されるタイミングで実行されることを特徴とする
   請求項１に記載の歌唱動画作成装置。
3. 前記加工形態選択処理は、今回の前記録画処理で録画された録画情報の一部を複数の加工形態で加工して表示部に表示することで、ユーザに加工形態を選択させることを特徴とする
   請求項１または請求項２に記載の歌唱動画作成装置。
4. 前記加工形態選択処理は、今回の録画処理で録画された録画情報の一部に対し、ユーザによって指定されたパラメータで加工して前記表示部に表示することで、ユーザに加工形態を選択させることを特徴とする
   請求項１から請求項３の何れか１項に記載の歌唱動画作成装置。
5. 前記加工処理は、楽曲情報で規定される区間の録画情報を繰り返し使用して加工録画情報を形成することを特徴とする
   請求項１から請求項４の何れか１項に記載の歌唱動画作成装置。
6. 歌唱動画作成装置と、歌唱動画作成装置と通信可能なサーバ装置と、を備えた歌唱動画作成システムであって、
   前記歌唱動画作成装置は、演奏処理と、前記演奏処理に同期して実行される録画処理と録音処理と、加工形態選択処理と、を実行可能とし、
   前記演奏処理は、指定された楽曲に対応する楽曲情報を演奏し、
   前記録画処理は、カメラで撮像された映像を録画して録画情報を形成し、
   前記録音処理は、マイクロホンからの歌唱音声を録音して録音情報を形成し、
   前記加工形態選択処理は、前記録画処理の実行中、今回の前記録画処理で録画された録画情報の一部を加工して表示部に表示し、ユーザに加工形態を選択させ、
   前記歌唱動画作成装置もしくは前記サーバ装置は、加工処理と、出力処理と、を実行可能とし、
   前記加工処理は、前記加工形態選択処理において加工形態が選択された後であって録画処理の実行中、前記録画処理で録画中の録画情報に対して、選択された加工形態を使用して加工開始し、加工録画情報を形成し、
   前記出力処理は、前記加工処理の完了後、前記加工処理で形成された加工録画情報と、録音処理で録音された録音情報を含む歌唱動画情報を出力することを特徴とする
   歌唱動画作成システム。