JPH11175061A

JPH11175061A - 制御装置およびカラオケ装置

Info

Publication number: JPH11175061A
Application number: JP9361756A
Authority: JP
Inventors: Motoaki Miyabe; 素明宮部
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1997-12-09
Filing date: 1997-12-09
Publication date: 1999-07-02
Anticipated expiration: 2017-12-09
Also published as: JP3817878B2

Abstract

(57)【要約】【課題】人物のジェスチャーにより自動演奏および自動
演奏音もしくは音声に対する効果および映像の少なくと
もいずれか一つを制御する制御装置およびカラオケ装置
を提供する。【解決手段】撮像手段１ｂから得られる人物の姿形およ
び三次元位置計測装置１ｃから得られる人物の三次元位
置情報を基に、画像処理装置２において人物の三次元モ
デルとのマッチングを行い人物のジェスチャーを検出す
る。画像処理装置２は検出されたジェスチャーに基づき
楽音処理装置９および映像表示装置１０に制御イベント
を伝達する。楽音処理装置９および映像表示装置１０
は、受け取った制御イベントに基づき自動演奏および自
動演奏音もしくは音声に対する効果および映像の少なく
ともいずれか一つを制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、演奏者や歌唱者等
の人物の動画像から人物の所定の部位の状態を検出し、
この状態に応じて楽音や映像の制御を行うことのできる
制御装置およびカラオケ装置に関する。

【０００２】

【従来の技術】従来、演奏者の身体の動作を楽音制御に
用いる楽音制御装置等が知られている。従来の装置は演
奏者の身体の肘や手等の各部位に曲げセンサーや加速度
センサー等の計測機器を設置し、それらセンサーから得
られる情報に応じて、所定の動作にあらかじめ設定され
た音高や音色を楽音として発生させるといった形態をと
る。

【０００３】また、伴奏音情報や歌詞情報や背景映像情
報をあらかじめデジタル情報として記憶し、歌唱者のリ
クエストに応じて自動演奏や歌詞表示や背景映像の表示
を行うカラオケ装置が一般的に知られている。従来のカ
ラオケ装置において、伴奏音の演奏開始や停止、テンポ
やキーの調節等の自動演奏の制御は、カラオケ装置のコ
ンソールパネルやリモートコントローラ上に配置された
操作子により行われている。

【０００４】

【発明が解決しようとする課題】しかし、従来の演奏者
の身体の動作を、例えば楽音制御に用いる楽音制御装置
においては、演奏者は種々の計測装置をその身体の各部
に装着する必要がある。そのため、装置を使用するため
の装着作業が煩雑なものとなり、また、各種計測装置を
装着することによって身体の不快感を生じるという問題
があった。

【０００５】また、従来のカラオケ装置における操作子
は、歌唱者から離れたコンソールパネルに設置されてい
たり、リモートコントローラ上の細かなスイッチとして
提供されている。したがって、歌唱者はコンソールパネ
ルまで移動する必要や、リモートコントローラ上の細か
なスイッチを操作するために歌詞から目を離す必要が生
じるため、歌唱者は歌詞を歌唱すると同時に自動演奏の
態様を制御をすることは容易ではないという問題があっ
た。

【０００６】本発明は、上記問題点を解決することを課
題としてなされたものであり、その目的は画像から演奏
者のジェスチャー等を検出することにより、自動演奏音
や楽音発生指示等により発生される楽音信号等の音信号
を制御をすることを可能とする制御装置およびカラオケ
装置を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係る制御装置は、人物の映像を撮像する撮
像手段と、前記人物の映像から人物の所定の部位の状態
を検出する画像処理手段と、音信号を発生する音発生手
段と、前記画像処理手段によって検出された前記人物の
所定の部位の状態に基づき前記音信号を制御する制御手
段とを備えることを特徴とする。ここで、画像処理手段
によって検出される人物の状態とは、人物の身体全体も
しくは腕や脚、手指、身体各部の動作や姿勢によって表
現されるジェスチャーのみならず、顔の眼や口の動き、
あるいは表情変化なども含む。

【０００８】上記構成の制御装置によれば、撮像される
人物である演奏者の身体各部の所定の部位の状態に応じ
て音信号が制御される。演奏者は撮像手段の前で、身体
全体あるいは腕や脚、手指、身体各部の動作や姿勢、も
しくは、顔の眼や口の動き、あるいは表情変化などを行
うことにより、非接触で音信号を制御することが可能と
なるため、機器を装着する煩わしさや機器の装着に伴う
不快感を解消することができる。

【０００９】さらに、本発明に係るカラオケ装置は、歌
唱者の映像を撮像する撮像手段と、前記歌唱者の映像か
ら歌唱者の所定の部位の状態を検出する画像処理手段
と、歌唱者の音声を入力する音声入力手段と、楽曲情報
を記憶する楽曲情報記憶手段と、前記楽曲情報記憶手段
から前記楽曲情報を読み出し、この読み出された楽曲情
報に基づいて自動演奏を行う自動演奏手段と、前記音声
入力手段から入力された音声および前記自動演奏手段に
よる自動演奏音のすくなくとも一方に対して効果を付加
する効果付加手段と、映像情報を記憶する映像情報記憶
手段と、前記映像情報記憶手段から前記映像情報を読み
出し、この読み出された映像情報に基づいて映像の表示
を行う映像表示手段と、前記画像処理手段によって検出
された前記歌唱者の所定の部位の状態に基づき、前記自
動演奏、前記効果および前期映像表示のうち、前記自動
演奏あるいは前記効果を含む少なくとも１つを制御する
制御手段とを備えることを特徴とする。

【００１０】上記構成のカラオケ装置によれば、歌唱者
の所定の部位の状態に応じて、自動演奏、効果および映
像表示のうち、自動演奏あるいは効果を含む少なくとも
１つが制御される。歌唱者は撮像手段の前で、身体全体
あるいは腕や脚、手指、身体各部の動作や姿勢、もしく
は、顔の眼や口の動き、あるいは表情変化などを行うこ
とにより、歌詞から目を離す等といったことを行わずに
容易に自動演奏等の態様を制御することが可能となる。

【００１１】

【発明の実施の形態】以下、本発明の好適な実施形態を
図面を参照して説明する。

【００１２】図１は本発明をカラオケ装置に適用した場
合のブロック図である。

【００１３】音声入力装置１ａはマイクとＡ／Ｄ回路等
によって構成された装置である。この音声入力装置１ａ
は歌唱者の音声信号を楽音処理装置９へ出力する。

【００１４】撮像装置１ｂは歌唱者を撮像する機器であ
り、本実施形態ではビデオカメラを使用する。この撮像
装置１ｂは所定の標本周期毎に撮像した画像情報を画像
処理装置２へ出力する。

【００１５】三次元位置計測装置１ｃは磁場計測型のセ
ンサーである。磁場計測型のセンサーは簡易な構成で高
精度に三次元的な位置と方向を計測することが可能な機
器として一般的に知られている。この三次元位置計測装
置１ｃは歌唱者の後頭部に設置され、装着された人物の
頭部の位置および方向を表す三次元位置情報を画像処理
装置２および映像表示装置１０へ出力する。

【００１６】画像処理装置２はビデオカメラによって撮
影された歌唱者の画像と三次元位置計測装置１ｃから得
られる歌唱者の三次元位置に基づいて歌唱者のジェスチ
ャーを検出し、楽音処理装置９および映像表示装置１０
へ制御イベントを送信する。このジェスチャーおよびジ
ェスチャーの検出方法および制御イベントについては後
段において詳述する。

【００１７】楽音処理装置９は自動演奏手段９ａと効果
付加手段９ｂとを備える装置である。自動演奏手段９ａ
は、所望の楽曲を自動演奏させるための楽曲情報を記憶
した記憶装置９ｃから楽曲情報を読み出し、この読み出
された楽曲情報に基づいて楽音信号を発生することによ
り伴奏音を自動演奏するものであって、画像処理装置２
から受け取った制御イベントに応じて、テンポの調節等
の制御を行った伴奏音信号を出力する。効果付加手段９
ｂは、音声入力装置１ａから入力された歌唱者の音声信
号や、自動演奏手段９ａからの自動演奏を行う伴奏音信
号のすくなくとも一方に対し、画像処理装置２から受け
取った制御イベントに応じて、リバーブ等の効果の付加
を行った音信号を楽音出力装置１ｄへ出力する。

【００１８】映像表示装置１０は画像処理装置２から受
け取った制御イベントに従い、記憶装置１０ｂからＣＧ
（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）の描画情報を
読み出し、この描画情報に基づいたＣＧの作成および表
示を行う。

【００１９】また、映像表示装置１０における表示機器
としてはＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａ
ｙ）として一般的に知られている装置を使用する。ＨＭ
Ｄは使用者の頭部に装着され、両眼の視差を考慮した画
像を左右に配置された液晶モニターに表示することによ
り、三次元的な物体の表示が可能である。また、ハーフ
ミラーを介して前記液晶ディスプレイを設置すること
で、ＣＧによる虚像を実像と重ねあわせて表示すること
も可能である。このＨＭＤの後頭部に相当する場所に、
先述の三次元位置計測装置１ｃが設置されている。

【００２０】楽音出力装置１ｄはアンプやスピーカ等で
構成される。楽音出力装置１ｄは効果を付加した自動演
奏による伴奏音信号および歌唱者の音声信号を増幅し、
スピーカから出力する。

【００２１】図２は画像処理装置２における処理の流れ
をあらわした図である。

【００２２】画像処理装置２においては、標本周期毎に
撮像装置１ｂから歌唱者を含む画像情報を受け取り、そ
の画像情報に基づき三次元モデルマッチングを行うこと
で、歌唱者の姿勢情報を獲得しジェスチャーの検出を行
う。三次元モデルマッチングとは画像中の被写体の姿勢
情報を獲得する一手法であり、姿勢を判別したい物体の
三次元モデルと画像中の被写体とのマッチングを行い、
三次元モデルの情報から被写体の姿勢情報を獲得するも
のである。ジェスチャーは、画像からの人物領域の抽出
処理２ａ、人物の三次元モデルとのマッチング判定処理
２ｃ、ジェスチャー判定処理２ｆを経て検出される。次
に順を追って画像処理装置２における処理を説明する。

【００２３】人物領域の抽出を行うシルエット化処理２
ａは、あらかじめ人物の立ち位置の背景画像を撮像して
おき、この背景画像と撮像装置１ｂから受信した歌唱者
を含む画像との差分を取ることにより行う。人物領域を
抽出した画像は圧縮・伸張処理が施される。すなわち，
３ａのような画像に対し、３ｂのような背景画像の差分
をとり、３ｃのようなノイズを含む人物画像を作成す
る。この人物画像に対し圧縮・伸張処理を施すことによ
り、３ｄのようなノイズの除去された人物シルエット画
像を得ることができる。

【００２４】圧縮・伸張処理は図４にあらわす処理で、
画像に対し２値化処理を行い被写体の領域を抽出する処
理において、照明等の状況によって混入するノイズを除
去する一手法である。すなわち３ａのような被写体を撮
像し、その画像を２値化した場合、ノイズを含む画像４
ａが得られる。この画像４ａを方形の領域に分割し、各
々の方形領域の平均値を画素値として持つ圧縮画像４ｂ
を作成する。この圧縮画像の各画素値に対し閾値処理を
行い、圧縮画像を元の画像と同じサイズをもつ画像４ｃ
に伸張する。このような処理を行うことで画像中に含ま
れるノイズの除去を行うことができる。

【００２５】例えば、元の画像が１００×１００画素の
２値画像であり、５×５の方形領域Ｓｉ（ｉ＝０，１，
２，…，３９９）に分割した場合、圧縮画像のサイズは
２０×２０であり、圧縮画像の各画素Ｐｉの値は（Ｓｉ
中の画素値の和）／２５である。圧縮画像の各画素Ｐｉ
に対する閾値を０．４とした場合、方形領域Ｓｉ中の値
が１である画素の数が１０以下の場合はＰｉ＝０、それ
以外の場合はＰｉ＝１とする。したがってこの場合、１
０画素以下の領域はノイズとして除去されることにな
る。

【００２６】次に、三次元モデルとのマッチング判定処
理２ｃの説明をする前に三次元モデルについて簡単に説
明する。三次元モデルは人体を模倣したモデルであり、
運動学的な制約条件を持つ骨格とそれに付随する肉体を
模倣したオブジェクトから構成される。本発明では図５
に示すように人体を楕円球と円筒で近似し、Ｊ１〜Ｊ
８、Ｊ１１、Ｊ１２の１０箇所に可動な関節をもつ人物
の三次元モデルを使用する。

【００２７】前記２ａにおいて抽出した人物のシルエッ
ト画像とのマッチング処理はこの人物の三次元モデルを
動かすことによって行う。その際、次の制約条件を設
け、人物の三次元モデルの姿勢に対する探索空間を限定
する。１各関節は運動学的な制約の下で動く。２各関節の回転角速度は時間に対し連続的に変化す
る。３各関節の状態は標本周期毎の処理における前回の処
理における状態の近傍にある。これらの条件は、肘等が逆方向に曲がらないこと、運動
の方向が劇的に変化するような動作はないこと、あまり
にも動作が早く動画像の連続したフレーム間でジャンプ
しているように見える動作がないことを意味している。

【００２８】歌唱者はビデオカメラの前に立ち、しばら
く静止した状態を保つ。この間、画像処理装置２は、標
準的な人物の三次元モデルの頭部や胸部等の各オブジェ
クトのサイズや初期位置を、歌唱者の身体に適合するよ
う調節する。すなわち、記憶装置２ｇにあらかじめ記憶
されている標準的な人物の三次元モデルを基準とし、頭
部や胸部等のモデルの各部品の大きさや、頭部の位置Ｊ
０を基準とした各関節Ｊｎ（ｎ＝１，２，…，１２）の
位置を、歌唱者に適合するよう調節し、その歌唱者の三
次元モデルを再び記憶装置２ｇに記憶する。記憶装置２
ｇには、このように標準的な三次元モデルや、歌唱者の
体型に適合させた歌唱者の三次元モデルのほか、先述の
背景画像や標本周期毎の処理における前回の処理時の歌
唱者の三次元モデルの各関節の状態が記憶されている。

【００２９】マッチング判定処理２ｃに先立って、歌唱
者の三次元モデルの姿勢が初期化される（図２中２
ｂ）。すなわち、三次元モデルの可動な関節Ｊ１〜Ｊ
８、Ｊ１１、Ｊ１２の回転角および回転角速度に対し、
記憶装置２ｇに保存された前マッチング時刻における値
を設定し（図２中２ｇから２ｂへの矢印）、現時刻にお
けるマッチングを行うための三次元モデルの初期姿勢
を、前時刻における姿勢から線形に予測することで決定
する。

【００３０】撮像された人物とマッチングするように修
正された歌唱者の三次元モデルは、ビデオカメラの視点
から見た平面に投影され、人物のシルエット画像の作成
（図２中２ａ）と同様の手順をもってシルエット化され
る（図２中２ｄ）。ただし、３次元モデルのシルエット
画像は値として−１をもつ。

【００３１】マッチング判定処理２ｃは、人物のシルエ
ット画像と三次元モデルのシルエット画像を加算したマ
ッチングデータを作成し、このマッチングデータを用い
て行う。このマッチングデータは、人物のシルエット画
像と三次元モデルのシルエット画像が重なっている領域
および背景領域は０、人物のシルエットのみが存在する
領域は＋１、三次元モデルのシルエットのみが存在する
領域は−１の値を持つ。このマッチングデータの各座標
の値の絶対値の和をマッチング度数とし、マッチング度
数の値が閾値以下であれば、人物の画像と三次元モデル
とのマッチングが成立したものとみなす。マッチング度
数が閾値以上の場合は、マッチングデータの−１の領域
が＋１の領域へ移動するように三次元モデルの姿勢の修
正を行い（図２中２ｅ）、上述のマッチング判定を行
う。

【００３２】マッチングが成立したものとみなされた場
合は、歌唱者の三次元モデルの姿勢を表す情報である各
関節Ｊｎの状態が記憶装置２ｇに保存され（図２中２ｃ
から２ｇへの矢印）、ジェスチャー判定処理（図２中２
ｆ）へと進む。

【００３３】ところで、三次元モデルの自由度は非常に
大きいため、上記の制約条件を加味しても、人物のシル
エット画像にマッチングする姿勢を単純に決定すること
は困難である。しかし、本実施形態のように三次元位置
計測装置１ｃを設置している場合、被写体の特定の場所
（本実施形態においては被写体の後頭部）の位置と方向
が既知となる。このような場合、図６のような階層構造
をもって三次元モデルの姿勢の探索を効率的に行うこと
ができる。

【００３４】関節Ｊｍから関節ＪｎへのベクトルをＪｍ
ｎで表す。頭部の位置Ｊ０と方向Ｊ０１が既知であるの
で、首の位置Ｊ１と方向Ｊ１２、Ｊ１３（もしくはＪ１
４）は上記の３つの制約条件から容易に探索することが
できる。両碗、腹部、両足についても同様に、階層の上
部にあるモデルの部位を基準として各々の位置および方
向の決定を行う。ただし、ジェスチャーが上半身の姿勢
のみで決定される場合は、図６中点線で示した探索は行
わない。

【００３５】以上のように画像から人物の姿勢が抽出さ
れた後、ジェスチャー判定処理２ｆを行う。この処理で
は、まず、マッチング判定処理２ｃにおいて得られた各
関節の状態から図７のどの姿勢に合致するかを判定す
る。図７中のいずれかの姿勢に合致していれば、その姿
勢をマッチング判定処理中の記憶手段（不図示）に記憶
しておく。本発明におけるジェスチャーは、図７に例示
するように、歌唱者の三次元モデルの両腕の状態によっ
て定義される９つの二次元的な姿勢のうち、２つの姿勢
の組み合わせによってあらわされる。ジェスチャーの定
義は、不図示のジェスチャー判定テーブルに記憶されて
いる。現在の処理において歌唱者の三次元モデルの姿勢
（姿勢２）が判別された場合、その姿勢と、マッチング
判定処理中の記憶手段に記憶された前回判別された歌唱
者の三次元モデルの姿勢（姿勢１）とに基づいてジェス
チャーの判別と対応するイベントの送信が行われる。

【００３６】三次元モデルの９つの状態のうち、状態０
は基本姿勢として扱い、状態０はすべてのジェスチャー
の初期姿勢かつ終端姿勢であり、基本的に状態０から任
意の状態へ移行し、再び状態０へ戻るまでを一つのジェ
スチャーとして解釈する。例えば、両腕を下げた状態０
（姿勢１）から両腕を上げた状態８（姿勢２）へ移行し
た場合、これは繰り返し演奏開始を表すジェスチャーで
あり、両腕を上げた状態８（姿勢１）から両腕を下ろし
た状態０（姿勢２）に移行した場合、これは自動演奏終
了をあらわすジェスチャーである。図８に代表的なジェ
スチャーを例示する。また、各々のジェスチャーには対
応する制御イベントが定義されている。先述の例におい
ては、各々繰り返し演奏開始制御イベントおよび自動演
奏終了制御イベントが対応する。

【００３７】また、図８中に例示したテンポアップとテ
ンポダウンのように順動作と逆動作によって対となる制
御イベントを割り当てている場合、それらの動作を分離
して判別することが必要となる場合がある。例えばこの
場合、単純にジェスチャーの判定を行うと、状態０、状
態２、状態０というジェスチャーは、テンポアップした
後すぐに元のテンポにテンポダウンするというジェスチ
ャーとして解釈されうる。さらに、状態０から所定の状
態へと移行する場合において、その中間姿勢もジェスチ
ャーを構成する姿勢として解釈される場合もありえる。

【００３８】そのため、本実施態様では状態０からある
状態に移行し、その状態をしばらく保つようなジェスチ
ャーを逆動作として定義し、状態０からある状態に移行
し、速やかに状態０に戻るような動作を順動作として定
義している。先ほどの例では状態０、状態２、状態２を
維持、状態０というジェスチャーは逆動作である右腕を
下ろすというジェスチャーとして解釈する。すなわち、
状態０以外の例えば状態２のような姿勢が一旦保持され
た場合、その状態がジェスチャーの初期姿勢（姿勢１）
として解釈される。また、中間的な姿勢であるため誤検
出されうる状態（状態１、状態３、状態４、状態５、状
態７）は、そのすぐ後に状態０以外の状態が検出された
場合は無視される。

【００３９】以上述べたように、画像処理装置２は撮影
した人物の画像からジェスチャーを検出し、ジェスチャ
ーに対応する制御イベントを楽音処理装置９および映像
表示装置１０へ送信する。

【００４０】図９は楽音処理装置９における処理の流れ
をあらわした図である。

【００４１】自動演奏手段９ａは、記憶装置９ｃから楽
曲情報を読み出し、この読み出された伴奏音情報に基づ
いて音信号を発生することにより伴奏音を自動演奏す
る。その際、画像処理装置２から送信される制御イベン
トに応じて自動演奏の制御が行われる。制御されるもの
としては、テンポ、キー、演奏開始、演奏停止、演奏一
時停止等があげられる。

【００４２】効果付加手段９ｂは音声入力装置１ａから
の入力である歌唱者の音声および自動演奏手段９ａから
の自動演奏音に対し、画像処理装置２から送信される制
御イベントに応じてリバーブ等の効果を付加する。効果
を付加する回路については、従来用いられている回路を
そのまま用いればよい。

【００４３】なお、自動演奏手段９ａと効果付加手段９
ｂにおいて、画像処理装置２から送信されてきた制御イ
ベントが各々の処理内容に定義されていない場合は、そ
の制御イベントは無視される。例えば、送信されてきた
制御イベントがリバーブオン制御イベントである場合、
効果音付加手段９ｂはリバーブを付加を実行するが、自
動演奏手段９ａはこれに応じた処理は行わない。また、
送信されてきた制御イベントが自動演奏終了制御イベン
トである場合、自動演奏手段９ａは自動演奏の停止を実
行するが、効果付加手段９ｂはこれに応じた処理は行わ
ない。

【００４４】図１０は映像表示装置１０における処理の
流れをあらわした図である。

【００４５】映像表示装置１０は画像処理装置２から送
信される制御イベントに応じて、記憶装置１０ｂから背
景映像等の描画すべきオブジェクトのデータを読み出
し、描画パラメータを設定した後、描画したＣＧアニメ
ーションをＨＭＤ１０ｄに表示する。例えば、自動演奏
一時停止制御イベントを受け取った場合には、その時点
で描画していたオブジェクトを繰り返し表示し、一時停
止解除制御イベントを受け取った後、再びＣＧアニメー
ションが開始される。

【００４６】ここで、オブジェクトのデータは、ＣＧで
描画する物体の三次元的な形状の情報やアニメーション
を作成するための位置および姿勢情報等である。また、
描画パラメータは、オブジェクトのデータと三次元位置
計測装置から得られる歌唱者あるいは観客の視点に基づ
いて計算される、実際にＣＧの描画を行うためのパラメ
ータである。ＨＭＤ１０ｂの左右の液晶ディスプレイに
対し、両眼視差を考慮した視点の異なる映像が表示され
る。

【００４７】なお、楽音処理装置９と同様、画像処理装
置２から送信されてきた制御イベントが処理内容に定義
されていない場合は、その制御イベントは無視される。
例えば、送信されてきた制御イベントがリバーブオン制
御イベントである場合、映像表示装置１０はこれに応じ
た処理は行わない。

【００４８】次に上記実施形態における動作例について
述べる。

【００４９】図１１は実施の際における、各装置および
人物の配置を模式的に示した図である。画像処理装置
２、楽音処理装置９、映像表示装置１０を含む処理装置
１１ｅには、ビデオカメラ１ｂ、マイク１ａ、ＨＭＤ１
０ｄ、三次元位置計測装置１ｃが接続されている。ＨＭ
Ｄ１０ｄおよび三次元位置計測装置１ｃは歌唱者１１ａ
のみならず観客１１ｂも装着する。観客１１ｂの装着し
ている三次元位置計測装置１ｃからの情報は映像表示装
置１０にのみ送信される。なお、図では省略したが、こ
のほかに、楽音出力装置、照明装置、磁場発生装置等が
存在する。

【００５０】歌唱者１１ａはビデオカメラの前に立ち、
しばらく静止した状態を保つ。この間、画像処理装置２
は、人物の三次元モデルの頭部や胸部等の各オブジェク
トのサイズや初期位置を、歌唱者１１ａの身体に適合す
るよう調節する。この処理が完了され次第、歌唱者１１
ａの動作の追跡が開始され、自動演奏による伴奏音が演
奏開始となる。画像処理装置２は歌唱者１１ａの姿勢情
報の獲得を常に実行し、歌唱者１１ａの動作が定義され
ているジェスチャーと合致するものであれば、楽音処理
装置９および映像表示装置１０へ制御イベントを送信す
る。楽音処理装置９および映像表示装置１０は、動作が
未定義の制御イベントを受け取った場合、その制御イベ
ントを受け取る直前の状態を維持する。

【００５１】歌唱者１１ａは歌いながら所定のジェスチ
ャーをすることにより、効果付加の態様や自動演奏の態
様および映像表示の態様を制御する。例えば、歌唱者１
１ａが両腕を下ろした状態０から右腕を水平に上げた状
態１に移行すると、画像処理装置２が歌唱者１１ａの動
作からジェスチャーを検出し、リバーブオン制御イベン
トを送信する。楽音処理装置９中の効果付加手段９ｂは
この制御イベントに従い、歌唱者１１ａの音声および自
動演奏音に対しリバーブを付加する。楽音処理装置９中
の自動演奏手段９ａおよび映像表示装置１０は、この制
御イベントに対する動作は行わず、それまでの状態を維
持する。また、同じく歌唱者１１ａが両腕を下ろした状
態０から両腕を垂直に上げた状態８に移行すると、繰り
返し演奏開始制御イベントが送信され、自動演奏手段９
ａおよび映像表示装置１０において、直前の自動演奏音
および映像の繰り返し演奏もしくは再生が行われる。

【００５２】各ＨＭＤには歌唱者１１ａもしくは観客１
１ｂの各々の視点から見た、仮想的な人物や歌詞のよう
なＣＧアニメーション１１ｃが表示され、制御イベント
に応じてその態様は変化する。先ほどの例と同じく、リ
バーブオン制御イベントの場合ＣＧアニメーション１１
ｃの態様は変化せず、繰り返し演奏開始制御イベントの
場合はその直前に表示されていたＣＧアニメーション１
１ｃのパターンを繰り返し表示する。

【００５３】記憶装置９ｃに収められた楽曲情報のすべ
てを演奏し終わるか、歌唱者１１ａが両腕を上げた状態
から両腕を下げ、自動演奏終了制御イベントが送信され
たら全ての処理を終了する。

【００５４】以上が本発明に好適な実施形態である。

【００５５】上記実施形態によれば、歌唱者１１ａはジ
ェスチャーを行うことにより自動演奏、楽音に対する効
果および映像表示を制御することができる。ジェスチャ
ーの検出はビデオカメラによって撮像された、歌唱者１
１ａの画像を基に行われるため、従来の身体の動作を計
測し楽音制御を行う制御装置に比べ機器を装着する煩わ
しさや機器の装着に伴う不快感を解消することができ
る。

【００５６】また、歌唱者１１ａは効果および自動演奏
および映像表示の態様を制御する際、歌詞から目を離し
たり、操作パネルに移動する等の行為を必要としないた
め、歌いながらでも容易に自動演奏、効果および映像表
示を制御することができる。

【００５７】また、歌唱者１１ａおよび観客はＨＭＤ１
０ｄを装着し、ＨＭＤ１０ｄには三次元的なＣＧを表示
することが可能である。したがって、表現力豊かな、例
えばあたかもコンサートホールで歌っているかのような
映像を表示することもできる。

【００５８】なお、前記実施態様における画像処理装置
２、楽音処理装置９、映像表示装置１０は各々独立した
装置として提供してもよいし、１または複数の処理装置
上のソフトウェアとして提供してもよい。

【００５９】前記実施形態において、肘を延ばした両腕
の姿勢によって表現されるジェスチャーのみを用いた
が、肘を曲げた姿勢や下半身の姿勢等も加えたジェスチ
ャーを用いてもよいし、撮像手段の解像度と処理能力が
十分に高ければ、手指等の姿勢を含めてもよい。これに
より、例えば、指で狐の顔を形作ると狐の鳴声を発生
し、Ｖサインを形作ると「ピース」と発音するといった
制御が可能となる。さらに、このようなジェスチャーの
みならず、顔の眼や口の動きや形状あるいは喜怒哀楽な
どの表情に応じて音信号を制御するようにしてもよい。

【００６０】前記実施形態において、ジェスチャーを構
成する姿勢を固定としたが、姿勢設定手段をさらに設
け、ユーザが任意に設定を行なってもよい。

【００６１】また、ジェスチャー判定処理２ｆにおいて
姿勢、ジェスチャー、イベントは固定としたが、テーブ
ル編集手段をさらに設け、ユーザがその組み合わせを任
意に変更できるようにしてもよいし、曲毎やジャンル毎
にあらかじめ設定しておき、歌唱者の選曲に応じて自動
的に対応するテーブルが選択されるようにしてもよい。

【００６２】前記実施態様において、三次元モデルマッ
チングを行う際、歌唱者１１ａの三次元位置を計測した
が、歌唱者１１ａの立ち位置が固定であるような、あら
かじめ撮像手段１ｂから歌唱者１１ａまでの距離が既知
である場合は二次元位置の計測のみでよい。

【００６３】また、三次元モデルの姿勢を線形に予測し
たが、非線型な関数を用いたり、統計学的な手法を用い
て、三次元モデルの姿勢を予測してもよい。

【００６４】前記実施形態の撮像装置１ｂにおいて、ビ
デオカメラは１台のみ設置されているが、２台以上設置
し、多視点画像を用いて映像処理装置におけるジェスチ
ャーの検出処理を行ってもよい。多視点の画像を用いる
場合、三次元的な動作が検出可能となるという利点があ
る。

【００６５】また、多視点画像を用いることにより、画
像のみから歌唱者１１ａの三次元的な位置が獲得可能で
あるので、十分高速に処理を行うことができれば、前記
実施形態で用いた三次元位置計測装置１ｃは設置しなく
ともよい。

【００６６】前記実施形態の画像処理装置２において、
撮影した画像とあらかじめ記憶しておいた背景画像との
差分をとることによって人物領域の検出を行ったが、画
素値情報に基づいた人物領域の抽出やオプティカルフロ
ーによる人物領域と動作の同時抽出を行ってもよい。

【００６７】また、同処理装置におけるジェスチャー判
定処理は、あらかじめ記憶された人物の姿勢のシルエッ
ト画像と撮影された人物のシルエット画像とを、ニュー
ラルネットワークを用いた認識回路や固有空間を用いた
類似度を判定する回路等を用いた処理としてもよい。

【００６８】また、これら人物もしくはジェスチャーの
検出方法を用いる場合は、歌唱者１１ａの三次元位置は
必ずしも必要ではないため、前記実施形態で用いた三次
元位置計測装置１ｃは設置しなくともよい。

【００６９】また、同処理装置において、ノイズを除去
する手法として圧縮・伸張処理を用いているが、同様な
効果が得られる手法であればなんでもよい。

【００７０】前記実施形態の楽音処理装置９において、
さらに、記憶装置９ｃに主旋律情報を記憶しておき、入
力音声と主旋律とのピッチ差を検出する手段９ｄと、こ
のピッチ差および楽音情報の少なくとも一方に基づき、
映像表示手段に制御イベントを出力する制御イベント発
生手段９ｅを設けてもよい。楽音処理装置９に制御イベ
ント発生手段を設けることで、楽音による映像の制御
や、楽音と映像の同期が可能となる。この場合、映像表
示装置１０において作成するＣＧは、伴奏音にあわせて
踊る仮想的なダンサーや、歌詞であってもよい。

【００７１】前記実施態様の映像表示装置１０におい
て、歌唱者１１ａもしくは観客１１ｂが装着するＨＭＤ
に三次元的な映像を表示したが、従来の二次元的なモニ
ターディスプレイにＣＧを表示してもよい。この場合、
三次元的な映像を表示するならば、モニターディスプレ
イに左右両眼視差を考慮した映像を交互に表示し、その
映像を切り替える周期と同期して、左右のグラスを交互
に遮光するようにした液晶シャッター眼鏡を歌唱者１１
ａもしくは観客１１ｂが装着すればよい。

【００７２】前記実施態様においては本発明をカラオケ
装置に適用したがその他の装置に適用可能である。例え
ば、電子楽器に適用する場合には、演奏者を撮像してそ
のジェスチャーを検出し、このジェスチャーに基づいて
電子楽器を演奏操作することによって発生される楽音の
音高、音色、音量等の特性を制御するようにした楽音制
御装置に適用してもよい。

【００７３】

【発明の効果】以上詳述した本発明の制御装置によれ
ば、撮像される人物である演奏者の身体各部の所定の部
位の状態に応じて音信号が制御される。演奏者は撮像手
段の前で、身体全体あるいは腕や脚、手指、身体各部の
動作や姿勢、もしくは、顔の眼や口の動き、あるいは表
情変化などを行うことにより、非接触で音信号を制御す
ることが可能となるため、機器を装着する煩わしさや機
器の装着に伴う不快感を解消することができる。

【００７４】また、本発明のカラオケ装置によれば、歌
唱者の所定の部位の状態に応じて、自動演奏、効果およ
び映像表示のうち、自動演奏あるいは効果を含む少なく
とも１つが制御される。歌唱者は撮像手段の前で、身体
全体あるいは腕や脚、手指、身体各部の動作や姿勢、も
しくは、顔の眼や口の動き、あるいは表情変化などを行
うことにより、歌詞から目を離す等といったことを行わ
ずに容易に自動演奏等の態様を制御することが可能とな
る。

【図面の簡単な説明】

【図１】実施例の全体構成を表すブロック図である。

【図２】画像処理装置２の処理を表すブロック図であ
る。

【図３】画像から人物を抽出する処理を表す図である。

【図４】圧縮・伸張処理を表す図である。

【図５】三次元モデルの概略図である。

【図６】三次元モデルの各部分に対する探索経路であ
る。

【図７】ジェスチャーを構成する姿勢を表す図である。

【図８】代表的なジェスチャーを表す図である。

【図９】楽音処理装置９の処理を表すブロック図であ
る。

【図１０】映像表示装置１０の処理を表すブロック図で
ある。

【図１１】装置および人物の配置例を表す図である。

【符号の説明】

１ａ・・・音声入力装置（マイク＝音声入力手段）１ｂ・・・撮像装置（ビデオカメラ＝撮像手段）１ｃ・・・三次元位置計測装置（位置測定手段）１ｄ・・・楽音出力装置２・・・・画像処理装置（画像処理手段および制御手
段）９・・・・楽音処理装置（音発生手段）９ａ・・・自動演奏装置（自動演奏手段）９ｂ・・・効果付加装置（効果付加手段）９ｃ・・・楽曲情報記憶装置（楽曲情報記憶手段）１０・・・映像表示装置（映像表示手段）１０ｂ・・映像情報記憶装置（映像情報記憶手段）１０ｄ・・ＨＭＤ１１ｃ・・ＣＧ

Claims

【特許請求の範囲】

【請求項１】人物の映像を撮像する撮像手段と、前記撮
像手段からの撮像情報に基づき前記人物の所定の部位の
状態を検出する画像処理手段と、音信号を発生する音発
生手段と、前記画像処理手段によって検出された前記人
物の所定の部位の状態に基づき前記音信号を制御する制
御手段とを備えることを特徴とする制御装置。
【請求項２】前記音発生手段は、楽曲情報を記憶する楽
曲情報記憶手段と、前記楽曲情報記憶手段から前記楽曲
情報を読み出し、この読み出された楽曲情報に基づいて
自動演奏を行う自動演奏手段とからなり、前記制御手段
は前記自動演奏手段による前記自動演奏を制御するもの
であることを特徴とする請求項１に記載の制御装置。
【請求項３】前記制御手段は、前記画像処理手段によっ
て検出された前記人物の所定の部位の状態に基づき前記
音発生手段から発生される前記音信号の特性を制御する
ものであることを特徴とする請求項１に記載の制御装
置。
【請求項４】請求項１乃至３に記載の制御装置におい
て、さらに、映像を表示する映像表示手段を設け、前記
制御手段は前記画像処理手段によって検出された前記人
物の所定の部位の状態に基づき前記音信号および前記映
像表示手段で表示される映像を制御するものであること
を特徴とする請求項１乃至３に記載の制御装置。
【請求項５】請求項１乃至４に記載の制御装置におい
て、前記人物の位置を測定する位置測定手段を備え、前
記画像処理手段は前記撮像手段からの撮像情報と前記位
置測定手段からの前記人物の位置情報を用いて前記人物
の所定の部位の状態を検出するものであることを特徴と
する請求項１乃至４に記載の制御装置。
【請求項６】歌唱者の映像を撮像する撮像手段と、前記
撮像手段からの撮像情報に基づき前記歌唱者の所定の部
位の状態を検出する画像処理手段と、歌唱者の音声を入
力する音声入力手段と、楽曲情報を記憶する楽曲情報記
憶手段と、前記楽曲情報記憶手段から前記楽曲情報を読
み出し、この読み出された楽曲情報に基づいて自動演奏
を行う自動演奏手段と、前記音声入力手段から入力され
た音声および前記自動演奏手段による自動演奏音の少な
くとも一方に対して効果を付加する効果付加手段と、映
像情報を記憶する映像情報記憶手段と、前記映像情報記
憶手段から前記映像情報を読み出し、この読み出された
映像情報に基づいて映像の表示を行う映像表示手段と、
前記画像処理手段によって検出された前記歌唱者の所定
の部位の状態に基づき、前記自動演奏、前記効果および
前期映像表示のうち、前記自動演奏あるいは前記効果を
含む少なくとも１つを制御する制御手段とを備えること
を特徴とするカラオケ装置。
【請求項７】請求項６に記載のカラオケ装置において、
歌唱者の位置を測定する位置測定手段を備え、前記画像
処理手段は前記撮像手段からの撮像情報と前記位置測定
手段からの歌唱者の位置情報を用いて歌唱者の所定の部
位の状態を検出することを特徴とする請求項６に記載の
カラオケ装置。