JP6110731B2 - ジェスチャーによるコマンド入力識別システム - Google Patents

Description

本発明は、ジェスチャーによるコマンド入力識別システムに関するものであり、例えば、ジェスチャーにより種々のコマンドを実行可能なカラオケシステムにおいて、コマンド入力のためのジェスチャーと歌唱時の振り付けとを区別可能なシステムに関するものである。

近年、ナチュラルユーザーインターフェイスとして、利用者の動作（ジェスチャー）を撮像して３次元解析等を行うことにより、種々のコマンドを認識することが可能な技術が開発されている。この技術を用いて、利用者の動作（ジェスチャー）とコマンドとを紐付けしておくことにより、利用者はカラオケリモコン装置等を操作することなく、動作（ジェスチャー）によりコマンド入力を行うことができる。

例えば、利用者の動作（ジェスチャー）により自動演奏、歌唱音声に対する効果等を制御することが可能な技術が開示されている（特許文献１参照）。特許文献１に記載された技術は、撮像手段から得られる人物の姿形と、三次元位置計測装置から得られる人物の三次元位置情報とに基づき、画像処理装置において人物の三次元モデルとのマッチングを行い人物のジェスチャーを検出する。そして、画像処理装置は、検出されたジェスチャーに基づき、楽音処理装置および映像表示装置に制御イベントを伝達する。楽音処理装置及び映像表示装置は、受け取った制御イベントに基づき、自動演奏、歌唱音声に対する効果等を制御するようになっている。

特開平１１−１７５０６１号公報

ところで、カラオケを楽しむ際に、歌唱だけではなくアーティストのダンスの振り付けを真似て歌唱することがあり、このような歌唱者の歌唱姿態を他人に見て貰いたいという要望がある。そこで、現在普及しているカラオケシステムでは、歌唱者の歌唱姿態を動画撮影してＤＶＤ等の記録媒体に記録したり、ウェブサイトで公開したりする機能を有しているものがある。このような動画公開機能を有するカラオケシステムに、上述した利用者の動作（ジェスチャー）によりコマンド入力を行う機能を採用することが考えられる。

しかし、歌唱者の歌唱姿態を動画撮影する場合に、ダンスの振り付けだけではなく、コマンド入力のための動作（ジェスチャー）が含まれていると、振り付けとは関係のない動作が録画されてしまい、動画を公開する利用者や動画の視聴者にとって、動画公開の興趣を削いでしまうおそれがあった。

本発明は、上述した事情に鑑み提案されたもので、歌唱者の歌唱姿態を動画撮影する機能と、歌唱者の動作を認識してコマンド入力を行う機能とを有するカラオケシステムにおいて、両者を識別して、コマンド入力のための動作が行われた場合に、当該動作を他の映像に置き換え、あるいは、コマンド入力のための動作であることを識別できるような情報を映像に付加して、動画公開の興趣を高めることが可能なジェスチャーによるコマンド入力識別システムを提供することを目的とする。

本発明のジェスチャーによるコマンド入力識別システムは、上述した事情に鑑み提案されたもので、以下の特徴点を有している。すなわち、本発明のジェスチャーによるコマンド入力識別システムは、歌唱者の歌唱姿態を録画する機能と、歌唱者の動作を認識してコマンド入力を行う機能とを有するカラオケシステムにおいて、撮影手段と、音声入力手段と、動画データ作成手段と、コマンドデータベースと、コマンド判定手段と、コマンド入力区間特定手段と、動画データ編集手段とを備えたことを特徴とするものである。

撮影手段は、歌唱者の歌唱姿態を撮影するための手段である。音声入力手段は歌唱者の歌唱音声を入力するための手段である。動画データ作成手段は、撮影手段で撮影した歌唱者の歌唱姿態及び音声入力手段により入力された歌唱音声を用いて動画データを作成して保存するための手段である。コマンドデータベースは、予め定められた歌唱者の動作と、当該歌唱者の動作に対応する所定のコマンドとを紐付けして管理するためのデータベースである。

コマンド判定手段は、歌唱者の動作映像を解析し、当該歌唱者の動作がコマンドデータベースに存在する場合に、当該歌唱者の動作をコマンド入力のためのジェスチャーであると判定するための手段である。コマンド入力区間特定手段は、歌唱者の動作がコマンド入力のためのジェスチャーであると判定された場合に、動画撮影された歌唱者の歌唱姿態の中から当該コマンド入力が行われている撮影区間を特定するための手段である。動画データ編集手段は、コマンド入力が行われていると特定された撮影区間の動画データを編集して、当該コマンド入力のためのジェスチャーが含まれない一連の動画データとして編集し、あるいは当該コマンド入力のためのジェスチャーを識別可能とするための手段である。

また、コマンド判定手段で判定の対象となる動作映像とは、撮影手段で撮影している歌唱者の歌唱姿態と、動画データ作成手段で作成された動画データに含まれる歌唱者の歌唱姿態のいずれか一方とすることが可能である。

また、動画データ編集手段は、コマンドデータベースに基づいて、コマンド入力が行われていると特定された撮影区間を含む所定区間の動画データを、当該コマンド入力のためのジェスチャーを含まない歌唱者の顔を中心とした映像にデジタルズームアップした映像データに置き換えることが可能である。

また、コマンドデータベースに、コマンドの内容に応じた映像データを含ませることにより、動画データ編集手段において、コマンドデータベースに基づいて、コマンド入力が行われていると特定された撮影区間の動画データに、当該コマンドの内容に応じた映像データを合成して、コマンド入力のためのジェスチャーを識別可能とすることが可能である。

このような構成からなるジェスチャーによるコマンド入力識別システムでは、音声入力手段（例えば、マイクロホン及びその付帯機器）の機能により歌唱者の歌唱音声を入力し、撮影手段（例えば、ビデオカメラ及びその付帯機器）の機能により、歌唱者の歌唱姿態を撮影する。そして、動画データ作成手段の機能により、撮影した歌唱姿態及び入力された歌唱音声を用いて動画データを作成して、所定の記録装置（例えば、ＨＤＤ）に保存する。保存した動画データは、ＤＶＤ等の記録媒体に記録したり、動画公開を目的としたウェブサイト等にアップロードしたりすることができる。

また、本発明では、予め定められた歌唱者の動作と、当該歌唱者の動作に対応する所定のコマンドとを紐付けして管理するためのデータベースを備えており、コマンド判定手段の機能により、歌唱者の動作映像を解析し、当該歌唱者の動作がコマンドデータベースに存在する場合に、当該歌唱者の動作をコマンド入力のためのジェスチャーであると判定する。歌唱者の動作がコマンド入力のためのジェスチャーであると判定された場合には、当該コマンドに基づくカラオケ演奏装置の操作が行われる。このようなコマンドには、例えば、音量の増減、効果音（拍手や歓声等）の発生、エコーの強弱の設定、演奏キーの変更、演奏テンポの変更等がある。

さらに、歌唱者の動作がコマンド入力のためのジェスチャーであると判定された場合には、コマンド入力区間特定手段の機能により、コマンド入力が行われている撮影区間を特定する。そして、動画データ編集手段の機能により、コマンド入力が行われていると特定された撮影区間を含む所定区間の動画データについて、当該コマンド入力のためのジェスチャーが含まれない一連の動画データとして編集し、あるいは当該コマンド入力のためのジェスチャーを識別可能とする処理を実施する。これにより、コマンド入力のためのジェスチャーが含まれない一連の動画データ、あるいは歌唱者の動作がコマンド入力のためのジェスチャーであることを識別可能な動画データが作成される。コマンド入力のためのジェスチャーが含まれない一連の動画データとは、例えば、歌唱者の顔を中心とした映像にデジタルズームアップした映像データ、歌唱者のストップモーション画像、予め用意されたムード映像、カラオケを一緒に楽しんでいる他の利用者の映像等である。

また、コマンドデータベースに、コマンドの内容に応じた映像データ（コマンドの説明文字データ、コマンドの内容表示データ）を含ませた場合には、コマンド入力が行われていると特定された撮影区間の映像において、ジェスチャーがコマンド入力のための動作であることを識別可能とする。

本発明のジェスチャーによるコマンド入力識別システムによれば、歌唱者の歌唱姿態を録画する機能と、歌唱者の動作を認識してコマンド入力を行う機能とを有するカラオケシステムにおいて、現に撮影している歌唱者の映像、あるいは保存されている動画データにおいて、コマンド入力のための動作が映っている場合に、当該動作をコマンド入力のためのジェスチェーであると識別して、当該ジェスチャーを他の映像に置き換え、あるいはジェスチャーがコマンド入力のための動作であることを識別可能とする。

したがって、歌唱動画を録画して後に再生したり、歌唱動画の公開を行ったりした場合に、歌唱動画の中に余分な動作が含まれることがなく、また、余分な動作が含まれたままでも、その動作自体がコマンド入力のための動作（ジェスチャー）であると識別することができるので、歌唱者及び視聴者の興趣を高めることが可能となる。

本発明の実施形態に係るジェスチャーによるコマンド入力識別システムの構成を示すブロック図。 動画データの編集処理の手順を示すフローチャート。 映像の置き換えを説明する説明図。 コマンド入力のためのジェスチャーを識別可能とする映像処理の模式図。

図面を参照して、本発明のジェスチャーによるコマンド入力識別システム（以下、コマンド入力識別システムと略記する）の実施形態について説明する。図１〜図４は本発明の実施形態に係るコマンド入力識別システムを示すもので、図１はコマンド入力識別システムの構成を示すブロック図、図２は動画データの編集処理の手順を示すフローチャート、図３は映像の置き換えを説明する説明図、図４はコマンド入力のためのジェスチャーを識別可能とする映像処理の模式図である。

＜コマンド入力識別システムの概要＞
本発明の実施形態に係るコマンド入力識別システム１０は、歌唱者の歌唱姿態を録画する機能と、歌唱者の動作を認識してコマンド入力を行う機能とを有するカラオケシステムに適用する技術であり、主要な構成要素として、図１に示すように、撮影手段（ビデオカメラ３２及びその付帯機器）と、音声入力手段（マイクロホン３４及びＡ／Ｄコンバータ５３）と、動画データ作成手段５１と、コマンドデータベース４５ｃと、コマンド判定手段４８と、コマンド入力区間特定手段４９と、動画データ編集手段５０とを備えている。各手段等は、カラオケ演奏端末３０及びその付帯装置の機能手段として実現される。

なお、以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

＜カラオケ演奏端末＞
本発明の実施形態に係るコマンド入力識別システム１０を適用するカラオケ演奏端末３０は、図１に示すように、カラオケ本体４０、カラオケリモコン装置３１、ビデオカメラ３２、スピーカ３３、マイクロホン３４、表示装置３５、ミキシングアンプ３６を備えている。また、本実施形態のカラオケ演奏端末３０は、ルータ２０及びデータ送受信回線７０を介して、管理サーバ６０にネットワーク接続されている。

＜管理サーバ＞
管理サーバ６０は、会員情報の管理、カラオケ演奏端末３０に対する楽曲データ等の配信、利用者がアップロードしたカラオケ動画の公開等を行うためのサーバである。データ送受信回線７０は、例えば、インターネット回線、デジタル通信回線、アナログ通信回線、無線通信回線、ＬＡＮ等、環境に応じてどのような回線を用いてもよいが、ネットワークに対する第三者の侵入やデータの傍聴及び改竄が困難であるとともに、帯域を独占せずに安価な通信網であるという点で、インターネットにより構成されるＶＰＮを利用することが好ましい。

なお、単独の管理サーバ６０により、上述した複数の機能を実現するのではなく、各機能に特化したサーバを設け、各サーバにより各機能を実現してもよい。この際、仮想化技術により、１つのサーバに複数の機能を持たせることもできる。

＜カラオケリモコン装置＞
カラオケリモコン装置３１は、ユーザインタフェース機能を備えており、カラオケ本体４０のローカル送受信手段４６との間で有線方式又は無線方式によりデータの送受信を行うようになっている。このカラオケリモコン装置３１は、楽曲検索手段３１ａとして機能するプログラム、楽曲索引データベース３１ｂ、種々のデータを記憶するためのデータ記憶部３１ｃ、データの入出力を行うための入出力表示部３１ｄ等を備えている。このカラオケリモコン装置３１に付帯するスイッチ類や、入出力表示部３１ｄに表示される各種のアイコン等を操作することにより、選曲操作等が行われる。

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段３１ａは、利用者の指示に基づき、楽曲索引データベース３１ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース３１ｂは、カラオケ演奏端末３０で演奏に供されるカラオケ楽曲について、その属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・歌手名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。

＜マイクロホン＞
マイクロホン３４は、歌唱音声の入力を行うための装置である。マイクロホン３４から入力された歌唱音声信号は、ミキシングアンプ３６により、音楽再生制御手段５２から送出される演奏音声信号とミキシングされると共に増幅され、スピーカ３３へ出力される。なお、マイクロホン３４からの音声入力信号は、Ａ／Ｄコンバータ５３によりデジタル変換され、動画データ作成手段５１における動画の作成や歌唱採点手段（図示せず）における採点等に使用される。本実施形態では、マイクロホン３４及びＡ／Ｄコンバータ５３が音声入力手段として機能する。

＜ビデオカメラ＞
ビデオカメラ３２は、利用者の歌唱姿態を撮影するための撮影手段として機能する装置であり、撮像レンズ及び撮像素子を主要な構成要素とし、フォーカシング機構、ズーム機構、パン・チルト機構等を備えていてもよい。ビデオカメラ３２で撮影が行われると、映像信号（ビデオ信号）が入力される。この映像信号は動画作成手段５１における動画の作成やコマンド判定手段４８における歌唱者の動作映像の解析等に使用される。なお、図１に示す例では、ビデオカメラ３２を２台設けている。これは、利用者の歌唱姿態だけではなく、置換映像データ４４ｃとして、観客の様子を撮影する場合を考慮したためである。

＜表示装置＞
表示装置３５は、カラオケ楽曲に関連した背景映像や歌詞テロップ等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

＜カラオケ本体＞
カラオケ本体４０は、ネットワーク送受信手段４１、中央制御手段４２、ＲＯＭ４３、ＲＡＭ４４、ＨＤＤ４５、ローカル送受信手段４６、予約管理手段４７、コマンド判定手段４８、コマンド入力区間特定手段４９、動画データ編集手段５０、動画データ作成手段５１、音楽再生制御手段５２、Ａ／Ｄコンバータ５３、映像再生制御手段５４を備えている。

＜中央制御手段＞
中央制御手段４２は、カラオケ本体４０を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ４３等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ４３は、カラオケ本体４０を構成する各機器を制御するためのプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ４４は、プログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。なお、物理的な半導体メモリによりＲＡＭ４４を構成するのではなく、ハードディスク記憶装置等を用いて仮想的なＲＡＭ４４を構成してもよい。

本実施形態では、ＲＡＭ４４に、予約待ち行列４４ａ、動画データ４４ｂ、置換映像データ４４ｃが記憶されるようになっている。なお、予約待ち行列４４ａは、選曲予約されたカラオケ楽曲について、演奏順に楽曲ＩＤを並べて構成されたデータテーブルであり、選曲者の利用者ＩＤ、動画撮影を行う旨のフラグ等、他の識別データが紐付けられている場合もある。

＜動画データ＞
動画データ４４ｂは、ビデオカメラ３２により撮像され、ビデオ信号として入力された画像データと、マイクロホン３４から入力され、Ａ／Ｄコンバータ５３によりデジタル変換された歌唱音声データとを動画データ作成手段５１において同期させたデータである。この動画データ４４ｂは、ＤＶＤ等の記録媒体に記録したり、管理サーバ６０等にアップロードして公開したりすることができる。

＜置換映像データ＞
置換映像データ４４ｃは、コマンド入力のためのジェスチャーであると特定された撮影区間における動画データ４４ｂと置き換えるための映像データ素材であり、例えば、予め用意されたムード映像、カラオケを一緒に楽しんでいる他の利用者の映像等からなる。

＜ＨＤＤ＞
ＨＤＤ４５は、大容量記憶装置として機能するもので、少なくとも、楽曲データベース４５ａ、映像データベース４５ｂ、コマンドデータベース４５ｃが格納されている。なお、ＨＤＤ４５に替えて、あるいはＨＤＤ４５と共に、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。

＜楽曲データベース／映像データベース＞
楽曲データベース４５ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞描出データが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞描出データは演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。映像データベース４５ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。

＜コマンドデータベース＞
コマンドデータベース４５ｃは、予め定められた歌唱者の動作と、当該歌唱者の動作に対応する所定のコマンドとを紐付けして管理するためのデータベースである。コマンドデータベース４５ｃで管理されるコマンドは、カラオケ演奏端末３０の操作に関するものであり、例えば、音量の増減、効果音（拍手や歓声等）の発生、エコーの強弱の設定、演奏キーの変更、演奏テンポの変更等である。これらのコマンドと紐付けされるジェスチャーは、例えば、左手又は右手を横に振り出す、左手又は右手を上に挙げる、両手を上に挙げる、これらの動作を連続して組み合わせる等、種々の動作とすることができる。また、コマンドデータベース４５ｃに、コマンドの内容に応じた映像データを含ませてもよい。

後に詳述するが、撮影手段で撮影した動作が、コマンド入力のためのジェスチャーである場合には、当該ジェスチャーに紐付けられたコマンド入力が行われるとともに、動画データ編集手段５０の機能により、動画編集が行われる。ジェスチャーによるコマンド入力については、例えば、上述した特許文献１（特開平１１−１７５０６１号公報）に記載された技術を応用することができる。

＜送受信手段＞
ローカル送受信手段４６は、カラオケ本体４０とカラオケリモコン装置３１との間で、データの送受信を行うための電子回路及びプログラムからなる。本実施形態では、赤外線通信により、カラオケ本体４０とカラオケリモコン装置３１との間でデータの送受信が行われる。また、本実施形態では、ルータ２０との間でデータの送受信を行うためのネットワーク送受信手段４１を備えている。

＜予約管理手段＞
予約管理手段４７は、利用者により楽曲検索手段３１ａの機能を用いて選曲された楽曲ＩＤを演奏順に並べて予約待ち行列４４ａを作成し、この予約待ち行列４４ａをＲＡＭ４４に格納して管理するためのプログラムからなる。

＜音楽再生制御手段＞
音楽再生制御手段５２は、楽曲ＩＤに基づいて楽曲データベース４５ａから抽出された演奏制御データに基づいて、音源データをデジタル再生すると共にアナログ変換してミキシングアンプ３６に出力するための電子回路である。上述したように、ミキシングアンプ３６は、マイクロホン３４から入力された歌唱者の歌唱音声信号と、音楽再生制御手段５２から送出される演奏音声信号とをミキシングすると共に、アンプ機能により増幅してスピーカ３３より出力させるための装置である。

＜映像再生制御手段＞
映像再生制御手段５４は、カラオケ楽曲の演奏中に、映像データベース４５ｂから抽出した映像データと、楽曲データベース４５ａに含まれる歌詞描出データに基づいて作成される歌詞文字とを、当該カラオケ楽曲の楽曲データに同期させて表示装置３５に出力するためのプログラムからなる。

＜動画データ作成手段＞
動画データ作成手段５１は、撮影手段（ビデオカメラ３２及びその付帯機器）で撮影した歌唱者の歌唱姿態及びマイクロホン３４から入力され、Ａ／Ｄコンバータ５３でデジタル変換された歌唱音声を用いて動画データ４４ｂを作成して保存するための電子機器及びプログラムからなる。上述したように、動画データ作成手段５１で作成した動画データ４４ｂは、ＨＤＤ４５等に保存されて、動画データ編集手段５０における動画の編集、ＤＶＤ等の記録媒体への記録、管理サーバ６０における歌唱動画の公開等に使用される。

＜コマンド判定手段＞
コマンド判定手段４８は、歌唱者の動作映像を解析し、当該歌唱者の動作がコマンドデータベース４５ｃに存在する場合に、当該歌唱者の動作をコマンド入力のためのジェスチャーであると判定するためのプログラムからなる。上述したように、歌唱者の動作映像は、ビデオカメラ３２で撮影され、デジタルデータとしてコマンド判定手段４８に入力される。コマンド判定手段４８では、３次元解析等、周知の解析技術により解析し、コマンドデータベース４５ｃに存在する動作（ジェスチャー）と比較することにより、歌唱者の動作がコマンド入力のためのジェスチャーであるか否かを判定する。歌唱者の動作がコマンド入力のためのジェスチャーであると判定された場合には、中央制御手段３３が音楽再生制御手段等に対し、音量の増減、効果音の発生、エコーの強弱の設定などの指示を出す。

＜コマンド入力区間特定手段＞
コマンド入力区間特定手段４９は、コマンド判定手段４８の機能により、歌唱者の動作がコマンド入力のためのジェスチャーであると判定された場合に、動画撮影された歌唱者の歌唱姿態の中から当該コマンド入力が行われている撮影区間を特定するためのプログラムからなる。すなわち、コマンド入力区間特定手段４９は、現に撮影されている歌唱者の歌唱姿態、あるいはＨＤＤ４５等に保存されている動画データ４４ｂについて、コマンド入力のためのジェスチャーが行われている撮影区間を特定する。

＜動画データ編集手段＞
動画データ編集手段５０は、コマンド入力が行われていると特定された撮影区間の動画データを編集して、コマンド入力のためのジェスチャーが含まれない一連の動画データとして編集し、あるいは当該コマンド入力のためのジェスチャーを識別可能とするためのプログラムからなる。

例えば、コマンド入力区間特定手段４９の機能により、現に撮影されている歌唱者の歌唱姿態、あるいはＨＤＤ４５等に保存されている動画データ４４ｂに、コマンド入力が行われていると特定された撮影区間が存在すると、ＨＤＤ４５等に保存されている動画データ４４ｂを他の映像データ（置換映像データ４４ｃ）に置き換えて、当該コマンド入力のためのジェスチャーが含まれない一連の動画データ４４ｂとして編集する。

また、現に撮影されている歌唱者の歌唱姿態、あるいはＨＤＤ４５等に保存されている動画データ４４ｂに、コマンド入力が行われていると特定された撮影区間が存在すると、当該撮影区間の映像において、他の映像に置き換える代わりに、ジェスチャーがコマンド入力のための動作であることを識別するための説明表示を動画データ４４ｂに付加してもよい。

本実施形態では、コマンド入力のためのジェスチャーと置き換える置換映像データ４４ｃはＲＡＭ４４に格納されている。この置換映像データ４４ｃは、例えば、予め用意されたムード映像、カラオケを一緒に楽しんでいる他の利用者の映像等からなる。また、動画データ４４ｂを直接加工して、歌唱者の顔を中心とした映像にデジタルズームアップした映像データ、歌唱者のストップモーション画像などに置き換えてもよい。

動画データ４４ｂの編集（置換データ４４ｃへの置き換え）は、コマンド入力が行われていると特定された撮影区間を含む前後所定の撮影区間について行うことが好ましい。すなわち、コマンド入力が行われていると特定された撮影区間のみについて、他の映像データと置き換えた場合には、動画の繋がりが不自然なものとなる可能性がある。したがって、歌唱フレーズの区切り等を、動画編集を行う撮影区間の開始点及び終了点とすることにより、動画として不必要なコマンド入力のためのジェスチャーが他の映像に置き換えられるだけではなく、動画全体の繋がりが自然なものとなり、さらに一層、歌唱者及び視聴者の興趣を高めることが可能となる。

＜ジェスチャー動画の編集／ジェスチャーの識別可能表示＞
次に、図２〜図４を参照して、コマンド入力のためのジェスチャーを他の映像に置き換え、あるいはジェスチャーを識別可能とする手順について説明する。

ジェスチャー動画の編集処理では、図２に示すように、現に撮影している歌唱者の動作映像、あるいは保存されている動画データ４４ｂにおける歌唱者の動作映像を解析する（Ｓ１）。続いて、歌唱者の動作がコマンドデータベース４５ｃに存在するか否かを判定し（Ｓ２）、歌唱者の動作がコマンドデータベース４５ｃに存在する場合に、当該歌唱者の動作をコマンド入力のためのジェスチャーであると判定する（Ｓ３）。

ここで、歌唱者の動作がコマンド入力のためのジェスチャーであると判定されると、現に撮影している歌唱者の動作映像、あるいは保存されている動画データ４４ｂの中から当該コマンド入力が行われている撮影区間を特定する（Ｓ４）。一方、コマンド入力のためのジェスチャーが存在しなければ、撮影区間の特定は行わない。

続いて、特定された撮影区間の動画データを他の映像データ（動画データ４４ｂを直接加工した映像あるいは置換映像データ４４ｃ）に置き換え、あるいはコマンド入力のためのジェスチャーであることを識別可能とする（Ｓ５）。そして、特定された撮影区間のすべてにおいて、動画データの置き換え又は識別可能とする処理が終了したか否か（特定された撮影区間が、さらに存在するか否か）を判断し（Ｓ６）、特定された撮影区間がさらに存在すれば、順次、画像の置き換え、あるいはコマンド入力のためのジェスチャーであることを識別可能とする処理を行う（Ｓ５）。そして、すべての撮影区間に画像について画像の置き換え、あるいはコマンド入力のためのジェスチャーであることを識別可能とする処理が終了したら、動画データ４４ｂの編集処理を終了する。

画像の置き換え処理は、図３に示すように、コマンド入力のためのジェスチャーが行われていると特定された撮影区間を含む所定区間について、当該ジェスチャーの動画データ４４ｂを他の映像データ（置換映像データ４４ｃ）に置き換えて、歌唱者の顔画像のズームアップを表示する等、画像データの編集を行う。

また、コマンド入力のためのジェスチャーであることを識別可能とする処理は、図４に示すように、コマンド入力のためのジェスチャーが行われている映像に対して、当該コマンドの内容を説明する説明映像を合成すればよい。

＜他の実施形態＞
本発明のシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。

１０ コマンド入力識別システム
２０ ルータ
３０ カラオケ演奏端末
３１ カラオケリモコン装置
３１ａ 楽曲検索手段
３１ｂ 楽曲索引データベース
３１ｃ データ記憶部
３１ｄ 入出力表示部
３２ ビデオカメラ
３３ スピーカ
３４ マイクロホン
３５ 表示装置
３６ ミキシングアンプ
４０ カラオケ本体
４１ ネットワーク送受信手段
４２ 中央制御手段
４３ ＲＯＭ
４４ ＲＡＭ
４４ａ 予約待ち行列
４４ｂ 動画データ
４４ｃ 置換映像データ
４５ ＨＤＤ
４５ａ 楽曲データベース
４５ｂ 映像データベース
４５ｃ コマンドデータベース
４６ ローカル送受信手段
４７ 予約管理手段
４８ コマンド判定手段
４９ コマンド入力区間特定手段
５０ 動画データ編集手段
５１ 動画データ作成手段
５２ 音楽再生制御手段
５３ Ａ／Ｄコンバータ
５４ 映像再生制御手段
６０ 管理サーバ
７０ データ送受信回線

Claims (4)

1. 歌唱者の歌唱姿態を録画する機能と、歌唱者の動作を認識してコマンド入力を行う機能とを有するカラオケシステムにおいて、
   歌唱者の歌唱姿態を撮影する撮影手段と、
   歌唱者の歌唱音声を入力する音声入力手段と、
   前記撮影手段で撮影した歌唱者の歌唱姿態及び入力された歌唱音声を用いて動画データを作成して保存する動画データ作成手段と、
   予め定められた歌唱者の動作と、当該歌唱者の動作に対応する所定のコマンドとを紐付けして管理するコマンドデータベースと、
   歌唱者の動作映像を解析し、当該歌唱者の動作が前記コマンドデータベースに存在する場合に、当該歌唱者の動作をコマンド入力のためのジェスチャーであると判定するコマンド判定手段と、
   前記歌唱者の動作がコマンド入力のためのジェスチャーであると判定された場合に、前記動画撮影された歌唱者の歌唱姿態の中から当該コマンド入力が行われている撮影区間を特定するコマンド入力区間特定手段と、
   前記コマンド入力が行われていると特定された撮影区間を含む所定区間の動画データを編集して、当該コマンド入力のためのジェスチャーが含まれない一連の動画データとして編集し、あるいは当該コマンド入力のためのジェスチャーを識別可能とする動画データ編集手段と、
   を備えたことを特徴とするジェスチャーによるコマンド入力識別システム。
2. 前記コマンド判定手段で判定の対象となる前記動作映像とは、前記撮影手段で撮影している歌唱者の歌唱姿態と、前記動画データ作成手段で作成された動画データに含まれる歌唱者の歌唱姿態のいずれか一方であることを特徴とする請求項１に記載のジェスチャーによるコマンド入力識別システム。
3. 前記動画データ編集手段は、前記コマンドデータベースに基づいて、前記コマンド入力が行われていると特定された撮影区間の動画データを、当該コマンド入力のためのジェスチャーを含まない歌唱者の顔を中心とした映像にデジタルズームアップした映像データに置き換えることを特徴とする請求項１又は２に記載のジェスチャーによるコマンド入力識別システム。
4. 前記コマンドデータベースは、コマンドの内容に応じた映像データを含み、
   前記動画データ編集手段は、前記コマンドデータベースに基づいて、前記コマンド入力が行われていると特定された撮影区間の動画データに、当該コマンドの内容に応じた映像データを合成して、前記コマンド入力のためのジェスチャーを識別可能とすることを特徴とする請求項１又は２に記載のジェスチャーによるコマンド入力識別システム。

Images