JP4389501B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明が属する技術分野】
本発明は、パターン追跡する際に入力画像の特定領域のみを追跡対象とする画像処理装置に関するものである。
【０００２】
【従来の技術】
従来、楽器本体には触れないで演奏する楽器としてテルミンが知られている。テルミンは、本体にピッチを可変するためのアンテナと、ボリュームを可変するためのアンテナとを備えており、その２本のアンテナの周りで手を動かすことにより、ピッチを指定すると共にボリュームを調整しながら演奏するようにしている。
【０００３】
【発明が解決しようとする課題】
楽器本体には触れないで演奏する電子楽器の演奏情報を得る手段として、演奏者の画像を表示している画面に仮想的な演奏操作子を表示させ、入力画像から演奏者の手の動きを検出し、検出された手の位置が仮想的な演奏操作子のどこにあるかを求めることにより、演奏者の手の動きに対応する演奏情報の抽出を行うことが考えられる。
このような手段では、楽器本体には触れないで演奏する電子楽器において、仮想的な演奏操作子が表示されていることから、この演奏操作子をあたかも操作しているようにして演奏することができるようになる。しかしながら、入力画像における特定のパターンの位置情報の検出には高速の処理装置が必要であると共に、その操作対象が動画像となると１フレームあたりの演算を実時間に行う必要があるため、コスト的に高価になりすぎてしまうという問題点があった。
【０００４】
そこで、本発明は、入力画像における特定のパターンの位置検出を簡易に行うことのできる画像処理装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成することのできる本発明の画像処理装置は、複数の入力エリアにそれぞれ入力された画像パターンが表示されており、複数の入力エリアのいずれかを選択することにより、選択された入力エリアに表示されている画像パターンが所定のパターンとして指定され、少なくとも音量や音高等の演奏操作対象を含むエリア内においてのみ所定のパターンを追跡していることから、全画面の全ての解析を行う必要がなく画像処理の演算量を大幅に低減することができるようになる。これにより、所定のパターンの位置検出を簡易に行うことができる。
また、追跡する所定のパターンを入力エリアに入力していることから、ライティングの演出などにより入力画像が刻々と変動しても、入力エリアに入力されている所定のパターンも同様に変動するようになり、入力画像の照度や色相などの変動に対処することができるようになる。
【０００６】
【発明の実施の形態】
本発明の実施の形態の画像処理装置が実行する画像処理の説明を図１を参照して行う。ただし、図１には本発明にかかる画像処理装置から出力されるビデオ信号を再生した表示画面の一例が示されている。
図１において、入力画像である動画像５が表示される表示画面１には左側に追跡エリア２ａが設定され、追跡エリア２ａ内に操作対象３ａが入力画像とハーフトーンでミックスされることにより半透明で表示されている。また、表示画面１の右側には追跡エリア２ｂが設定され、追跡エリア２ｂ内に操作対象３ｂが入力画像とハーフトーンでミックスされることにより半透明で表示されている。操作対象３ａは、音高（TONE）を指定するための操作子とされ、操作対象３ｂは、音量（VOLUME）を指定するための操作子とされている。さらに、表示画面１の中央上部に小さな入力エリア４が設定されており、破線で図示するように入力エリア４に動画像５の右手の部分を入力してサンプリングすることにより、動画像５の右手の部分が追跡パターン６として設定される。この追跡パターン６は入力エリア４に表示される。
【０００７】
画像処理装置において追跡パターン６とマッチングするパターンの動きや軌跡が、追跡エリア２ａ，２ｂ内の画像のみを解析することにより検出される。この場合、追跡エリア２ａにおいては追跡パターン６とマッチングする動画像５の左手のパターン５ａが追跡され、フレーム毎の左手のパターン５ａの表示画面１上の座標位置が算出される。そして、算出された座標位置に対応する操作対象３ａにおける操作子の座標位置の音高情報が求められて出力される。これにより、左手を音高の操作子（操作対象３ａ）における所望の音高位置に動かすことにより、その音高の操作情報が出力されるようになる。また、追跡エリア２ｂにおいては追跡パターン６とマッチングする動画像５の右手のパターン５ｂが追跡され、フレーム毎の右手のパターン５ｂの表示画面１上の座標位置が算出される。そして、算出された座標位置に対応する操作対象３ｂにおける操作子の座標位置の音量情報が求められて出力される。これにより、右手を音量の操作子（操作対象３ｂ）における所望の音量位置に動かすことにより、その音量の操作情報が出力されるようになる。出力された音高情報および音量情報は、演奏情報として音源に供給されることにより、音源から供給された音高情報および音量情報に基づく楽音が生成されて放音されるようになる。
【０００８】
このように、表示画面１に表示される動画像５は演奏者であり、演奏者は表示画面１の音高の仮想的な操作子に合わせて左手を動かすことにより音高を指定することができると共に、表示画面１の音量の仮想的な操作子に合わせて右手を動かすことにより音量を指定することができる。音高を指定する操作子（操作対象３ａ）は、例えば鍵盤とすることができ、いずれかの鍵に容易に手を移動させることができるので楽音の音高を誤りなく指定することができるようになる。また、音量を指定する操作子（操作対象３ｂ）は、制御盤とすることができ楽音の音量を所望の音量に容易に指定することができるようになる。この場合、操作対象３ａ，３ｂの操作子を入力画像である動画像５とハーフトーンでミックスして表示するようにしたので、実際にはその場所に無い楽器の鍵盤や制御盤等の操作子をあたかも操作しているような効果を演奏者に与えることができ、楽器本体には触れないで演奏する楽器であっても容易に演奏を行えるようになる。
【０００９】
ところで、追跡パターンを固定パターンとしてしまうと、その場所の照度、あるいは調光の状態などの外的要因が変化した場合に追跡パターンにマッチングするパターンを解析する処理が困難になることが考えられる。特に、音楽のパフォーマンスが行われるような場所ではライティングの演出などにより入力画像の状態が刻々とかなり変動することが容易に予想される。そこで、図１に示す入力エリア４に、追跡すべき追跡パターン６をシーンもしくはフレーム単位でサンプリングするか、もしくは追跡すべき追跡パターン６を入力エリア４に置き常にサンプリングしてマッチングパターンとして利用するようにする。このようにすると、設置場所での入力画像の照度、色相などの変動にある程度対処ができるようになる。なお、追跡エリア２ａ，２ｂでは入力エリア４で設定された追跡パターン６を追跡し、その位置情報を解析する。この場合、追跡エリア２ａ，２ｂ内の画像の解析だけを行って、追跡パターン６を追跡すればよいことから、表示画面１の全画面の解析を行うことに比べてその演算量を格段に低減することができ、計算コストを軽くすることができるようになる。
【００１０】
次に、本発明の実施の形態の画像処理装置が画像処理を実行する際に表示される表示画面の他の例を図２に示す。
図２に示す表示画面１では、画面上部の約１／３位が追跡エリア２として設定されている。この追跡エリア２には操作対象３が入力画像とハーフミックスされて半透明で表示されている。操作対象３は、音高を指定するための鍵盤等や音量を指定するための操作子とすることができる。さらに、表示画面１の右下に小さな入力エリア４が設定されており、図示するように入力エリア４に動画像５の右手の部分が置かれて入力エリア４をサンプリングすることにより、動画像５の右手の部分が追跡パターン６として設定されている。
【００１１】
画像処理装置においては、追跡パターン６とマッチングするパターンの動きや軌跡が、追跡エリア２内の画像を解析することにより検出される。この場合、追跡エリア２においては動画像５の左手のパターン５ａが追跡エリア２において追跡され、フレーム毎の左手のパターン５ａの表示画面１上の座標位置が算出される。この場合、その追跡中座標７が四角形で囲んで図示されており、例えば算出される座標は追跡中座標７の重心位置とされる。そして、算出された座標位置に対応する操作対象３における座標位置の音高情報あるいは音量情報等の演奏情報が求められて出力される。出力された音高情報あるいは音量情報の演奏情報は、音源に供給されることにより、音源で生成される楽音の音高や音量が演奏情報により制御されるようになる。この場合、追跡エリア２では入力エリア４で入力されたパターンを追跡し、その位置情報を解析している。このように、追跡エリア２内の画像の解析だけを行って、設定されている追跡パターン６を追跡すればよいことから、表示画面１の全画面の解析を行うことに比べてその演算量を格段に低減することができ、計算コストを軽くすることができるようになる。また、図２に示す表示画面１の例では、追跡すべき追跡パターン６を入力エリア４に置いて常にサンプリングしてマッチングパターンとして利用するようにしている。これにより、設置場所での入力画像の照度、色相などの変動にある程度対処ができるようになる。
【００１２】
この図２に示す表示画面１の具体的な一例を図３に示す。
図３に示す表示画面１では、画面上部の約１／３位が追跡エリア２とされて、追跡エリア２にシンセサイザのフロントパネル及び鍵盤が入力画像にハーフトーンミックスされて半透明で表示されている。そして、このシンセサイザにおける鍵盤が操作対象３とされている。追跡エリア２を除く部分は入力画像をそのままインポーズして表示している。この半透明で表示されているシンセサイザが動画像５で示される演奏者が演奏する仮想的な楽器となり、動画像５の動きにかかわらず追跡エリア２に表示されているシンセサイザは常に画面の同じ位置に表示される。また、入力エリア４が３つ設けられており、それぞれの入力エリア４に追跡すべき追跡パターンを入力することができるようにされている。図示する場合は、右側の入力エリア４に右手の人差し指と中指の略上半部が置かれてサンプリングされ追跡パターン６ａとされている。また、中央の入力エリアに先端に球が付いた棒の先端部が置かれてサンプリングされ追跡パターン６ｂとされている。さらに、左側の入力エリアに筆記具の先端部が置かれてサンプリングされ追跡パターン６ｃとされている。このように、複数の入力エリア４には追跡パターン６ａ，６ｂ，６ｃの画像が表示されている。
【００１３】
複数の入力エリア４に表示されている追跡パターン６ａ，６ｂ，６ｃのいずれかを選択することができ、ここでは追跡パターン６ａを選択したとする。すると、追跡エリア２において追跡されるパターンは右手の追跡パターン６ａを左手に置き換えたパターンとされて、動画像５におけるパターン５ａが追跡パターン６ａにマッチングするパターンとして追跡されるようになる。従って、画像処理装置において追跡パターン６とマッチングするパターン５ａの動きや軌跡が、追跡エリア２内の画像を解析することにより検出されるようになる。すなわち、追跡エリア２において追跡された表示画面１上のパターン５ａの座標位置がフレーム毎に算出される。この場合の追跡中座標７が四角形で囲まれて図示されており、例えば算出される座標は追跡中座標７におけるパターン５ａの重心位置とされる。そして、算出された座標位置に対応する操作対象３である鍵盤の座標位置における音高情報が求められて出力される。すなわち、左手の中指と人差し指で指し示す鍵盤の鍵の音高が演奏情報として出力されるようになる。出力された演奏情報は音源に供給されることにより、音源で生成される楽音の音高が演奏情報により制御されるようになる。
【００１４】
入力エリア４において、追跡パターン６ｂが選択された場合は先端に球が付いた棒の先端部が追跡エリア２における追跡パターンとなり、この棒で指し示す鍵盤の鍵の音高が上記と同様にして演奏情報として出力されるようになる。また、入力エリア４において、追跡パターン６ｃを選択した場合は筆記具の先端部が追跡エリア２における追跡パターンとなり、この筆記具で指し示す鍵盤の鍵の音高が上記と同様にして演奏情報として出力されるようになる。
図３に示す例において、追跡エリア２では選択されている入力エリア４で入力された追跡パターンの内の選択された追跡パターンにマッチングするパターンを追跡し、その位置情報を解析している。このように、追跡エリア２内の画像の解析だけを行って、選択されている追跡パターンにマッチングするパターンを追跡すればよいことから、表示画面１の全画面の解析を行うことに比べてその演算量を格段に低減することができ、計算コストを軽くすることができるようになる。
【００１５】
ところで、追跡パターンを固定してしまうと、上述したようにその場所の照度、あるいは調光の状態などの外的要因が変化した場合に追跡パターンにマッチングするパターンの解析処理が困難になることが考えられる。そこで、選択されている入力エリア４に、追跡すべき追跡パターンをシーンもしくはフレーム単位でサンプリングするか、もしくは追跡すべき追跡パターンを選択されている入力エリア４に置き常にサンプリングしてマッチングパターンとして利用するようにする。これにより、設置場所での入力画像の照度、色相などの変動にある程度対処ができるようになる。
【００１６】
次に、本発明の実施の形態の画像処理装置のハードウェア構成をブロック図で図４に示す。
図４に示す画像処理装置１０において、ＣＰＵ（Central Processing Unit）１１はメモリシステム（MEMORY SYSTEM）１２に格納されている画像処理プログラムを実行することにより、追跡パターンと追跡エリアにおける入力画像とのパターンマッチング処理等の画像処理を行うことにより検出された追跡パターンの動きに対応する操作情報を出力している処理装置である。メモリシステム１２は、入力エリア４に入力された追跡パターンの画像データが格納されたり、ＣＰＵ１１のワークエリア等が設定されるＲＡＭ（Random Access Memory）と、画像処理プログラム等のプログラムや各種データが記憶されているＲＯＭ（Read Only Memory）から構成されている記憶装置である。操作情報インタフェース（操作情報Ｉ／Ｆ）１３は、画像処理装置１０において求められた演奏情報である操作情報を音源等に出力するためのインタフェースである。この操作情報は、例えばＭＩＤＩ信号あるいはそれに類するフォーマットの信号とされている。
【００１７】
ビデオ入力インタフェース１４には、複数のビデオ入力Ｖ１，Ｖ２，Ｖ３が入力可能とされており、スイッチャーにより複数のビデオ入力Ｖ１，Ｖ２，Ｖ３を切り替えて、一つの系統のビデオ信号として画像処理部（DISP SYSTEM）１６に供給している。この際に、入力されたアナログビデオ信号はＡＤコンバータ（ＡＤＣ）でディジタルビデオ信号に変換されて、一時的に入力バッファメモリに保存され、所定のタイミングで読み出されて画像処理部１６に供給される。また、入力されたディジタルビデオ信号は一時的に入力バッファメモリに保存され所定のタイミングで読み出されて画像処理部１６に供給される。画像処理部１６は、ＤＩＳＰ（Digital Image Signal Processor）から構成されており、ＣＰＵ１１の制御の基で追跡エリア２に表示される仮想的な操作子画像を入力画像にハーフトーンミックスする処理を行い、処理された画像信号を画像メモリ１５に保存したり、パターンマッチング処理等の画像処理を行っている。画像メモリ１５からは、表示タイミングで画像信号が読み出され、ＤＡコンバータ（ＤＡＣ）１７によりアナログビデオ信号に変換されてビデオ信号として表示器に供給される。これにより、表示画面１に図３に示すように入力画像にハーフトーンでミックスされたシンセサイザのフロントパネル及び鍵盤等が表示されるようになる。ＣＰＵ１１ないしＤＡＣ１７はバス１８により接続されている。
【００１８】
次に、本発明にかかる画像処理装置１０が実行するシステム処理のフローチャートを図５に示す。
画像処理装置１０の電源が投入されるとシステム処理が起動される。リアルタイムで実行されるシステム処理では１フレームごとに処理を行っており、ステップＳ１０にて１フレームのデータが取り込まれる。次いで、ステップＳ１１にて入力エリア４に設定されている追跡パターンを、追跡エリア２内における画像とのパターンマッチングを行うことにより検出して、検出されたパターンの座標位置を算出する処理が行われる。この処理において追跡エリア２内から追跡パターンが検出されたか否かがステップＳ１２にて判断される。ここで、追跡エリア２内から追跡パターンが検出されたと判断された場合は、ステップＳ１３に進んで検出された追跡パターンにパターンマッチングするパターンの重心が半透明で表示されている操作対象３のエリア内にあるか否かが判断される。
【００１９】
ここで、追跡パターンにパターンマッチングするパターンの重心が操作対象３のエリア内にあると判断された場合は、ステップＳ１４に進み追跡パターンにパターンマッチングするパターンの重心近傍の色相や明度等の画像条件が、設定されている追跡パターンの画像条件に合致するか否かがて判断される。そして、追跡パターンにパターンマッチングするパターンの重心近傍の画像条件が、設定されている追跡パターンの画像条件に合致すると判断された場合は、ステップＳ１５に進んで追跡パターンにパターンマッチングするパターンの重心が位置する座標に対応する操作対象３の座標位置の操作情報が出力される。また、ステップＳ１２にて追跡エリア２内から追跡パターンが検出されないと判断された場合、ステップＳ１３にて追跡パターンにパターンマッチングするパターンの重心が操作対象３のエリア内にないと判断された場合、および、ステップＳ１４にて追跡パターンにパターンマッチングするパターンの重心近傍の画像条件が、設定されている追跡パターンの画像条件に合致しないと判断された場合は、ステップＳ１６に進んで既に実行されたシステム処理により出力中の操作情報がリセットあるいは、その出力が終了される。例えば、キーオンの操作情報が出力中であった場合はキーオフの操作情報が出力されることになる。また、音高を指定する操作情報が出力中であった場合は、その操作情報の出力が停止される。
【００２０】
ステップＳ１５の処理が終了した場合、あるいはステップＳ１６の処理が終了した場合は、ステップＳ１０に戻り、次のフレームデータが取り込まれて、取り込まれたフレームデータに対して上述したステップＳ１１ないしステップＳ１６の処理が繰り返し行われる。このようにして、１フレームデータごとのシステム処理がリアルタイムで常時行われるようになる。
なお、以上の説明では演奏情報を検出する画像処理装置としたが、本発明はこれに限るものではなく各種パラメータの設定装置やデータ入力装置に適用可能とされている。
【００２１】
【発明の効果】
本発明は以上説明したように、少なくとも操作対象を含むエリア内においてのみ所定のパターンを追跡していることから、全画面の全ての解析を行う必要がなく画像処理の演算量を大幅に低減することができるようになる。これにより、所定のパターンの位置検出を簡易に行うことができる。この場合、例えば操作子とされる操作対象はハーフトーンで画面に表示されることから、所定のパターンが操作対象で隠れることがなく操作対象の所望の位置に所定のパターンを容易に動かすことができるようになる。
また、追跡する所定のパターンを入力エリアに入力していることから、ライティングの演出などにより入力画像が刻々と変動しても、入力エリアに入力されている所定のパターンも同様に変動するようになり、入力画像の照度や色相などの変動に対処することができるようになる。
【図面の簡単な説明】
【図１】 本発明の実施の形態の画像処理装置が画像処理を実行する際に表示される表示画面を示す図である。
【図２】 本発明の実施の形態の画像処理装置が画像処理を実行する際に表示される表示画面の他の例を示す図である。
【図３】 図２に示す表示画面の具体的な一例を示す図である。
【図４】 本発明の実施の形態の画像処理装置のハードウェア構成をブロック図である。
【図５】 本発明にかかる画像処理装置が実行するシステム処理のフローチャートである。
【符号の説明】
１ 表示画面、２ 追跡エリア、２ａ，２ｂ 追跡エリア、３ 操作対象、３ａ，３ｂ 操作対象、４ 入力エリア、５ 動画像、５ａ パターン、５ｂ パターン、６ 追跡パターン、６ａ，６ｂ，６ｃ 追跡パターン、７ 追跡中座標、１０ 画像処理装置、１１ ＣＰＵ、１２ メモリシステム、１３ 操作情報Ｉ／Ｆ、１４ ビデオ入力インタフェース、１５ 画像メモリ、１６ 画像処理部、１７ ＤＡＣ、１８ バス

Claims (1)

1. 入力画像が表示される画面に音量や音高等の演奏操作対象の画像をはめ込んで表示する表示手段と、
   前記画面上に設定された複数の入力エリアにそれぞれ入力された画像パターンが表示されており、前記複数の入力エリアのいずれかを選択することにより、選択された入力エリアに表示されている前記画像パターンが所定のパターンとして指定される指定手段と、
   少なくとも前記音量や音高等の演奏操作対象が表示されているエリア内において、前記指定手段で指定された所定のパターンを追跡して、前記所定のパターンの前記画面上の位置を検出するパターン検出手段と、
   該パターン検出手段により検出された前記所定のパターンの位置で示される前記音量や音高等の演奏操作対象の音量や音高等の演奏操作情報を出力する出力手段と、
   を備えることを特徴とする画像処理装置。

Images