JPH1138967A

JPH1138967A - 電子楽器

Info

Publication number: JPH1138967A
Application number: JP9193677A
Authority: JP
Inventors: Jiyunichi Rekimoto; 純一暦本; Nobuyuki Matsushita; 伸行松下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-18
Filing date: 1997-07-18
Publication date: 1999-02-12

Abstract

(57)【要約】【課題】省スペース化を図りつつ複数の楽器を演奏可
能とし、さらにリアルな演奏方法での演奏を可能にす
る。【解決手段】半透明面２の背面側に対して、赤外線光
を定常的に照射する赤外線ＬＥＤパネル３と、半透明面
２側から入射してくる赤外線光のみを撮像するＣＣＤカ
メラ４と、半透明面２に対して画像（赤外線光は含まな
い）を投影表示するプロジェクタ５を設ける。ユーザが
半透明面２の前面側で演奏を行うと赤外線反射光量が変
化するので、制御装置７では、ＣＣＤカメラ４の撮像信
号に基づいて上記反射光量の変化を検出画像情報として
捉えた上で、この画像情報に基づいて得られる演奏情報
に従って、例えば半透明面２に表示されている楽器の楽
音を出力するための所要の制御を実行して、スピーカ６
から出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子楽器に関する
ものである。

【０００２】

【従来の技術】例えば趣味などの分野においてピアノ、
ギターなどの楽器演奏を行なうことが知られている。ま
た、１種類の楽器のみではなくピアノ、ギターなどの複
数の楽器を演奏するユーザもいる。また、最近では例え
ばパーソナルコンピュータのアプリケーションソフトウ
エアとして、楽器の絵を表示して例えば文字入力用のキ
ーボードのキーを操作することによって発音させたり、
また例えばマウスなどを用いてポインタを移動させ画面
上のピアノの鍵盤やギターの弦を選択することにより発
音させるものが知られている。

【０００３】

【発明が解決しようとする課題】しかし、例えば電子ピ
アノ、ギターなどをそれぞれ演奏する場合は、演奏した
い楽器をそれぞれそろえなければならないので、購入費
用がかかってしまう。また楽器をそろえることができた
場合でも配置スペースが必要となる。また、パーソナル
コンピュータを用いて楽器演奏を行なう場合は、広い配
置スペースは必要とされないが、コンピュータ用のキー
ボードやマウスでは、実際の楽器と同様に演奏すること
は困難であるという問題がある。

【０００４】

【課題を解決するための手段】そこで、本発明は上記し
た課題を解決するため、半透明面と、上記半透明面側の
方向から入射する所定の波長帯域の光又は電磁波のみを
像として捉える撮像手段と、上記撮像手段から入射され
た撮像信号に基づいて、上記半透明面に対して与えられ
た操作が反映される検出用画像情報を生成し、この検出
用画像情報に基づいて識別した操作情報に基づいて所要
の制御処理を実行する制御処理手段と、上記撮像手段が
撮像すべき光又は電磁波の波長帯域を含まない可視光に
よる画像を上記半透明面に対して投影表示可能に設けら
れる撮影表示手段と、少なくとも楽音を音声として発音
出力可能な発音手段とを備え、上記制御処理手段は、少
なくとも、楽器として機能する楽器画像が上記投影手段
により投影表示されるための上記撮影手段に対する表示
制御と、上記楽器画像が表示された半透明面上の領域に
対して行なわれた所定の操作により得られる操作情報を
演奏情報として認識して、この演奏情報に基づいて楽音
を発生するための上記発音手段に対する発音制御とを実
行するように電子楽器を構成する。

【０００５】本発明によれば、省スペース化を実現しつ
つ複数の楽器を揃えることができ、さらに実際の楽器に
対する奏法を摸すようにしてほぼ同等の演奏方法によっ
て楽音を出力することができるという利点がある。

【０００６】

【発明の実施の形態】以下、本発明の実施の形態の電子
楽器について説明する。図１は、本発明の実施の形態と
しての電子楽器の構成例を概念的に示している。本実施
の形態としての電子楽器１は、半透明面２、赤外線発光
ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネ
ル３、ＣＣＤ(Charge Coupled Device)カメラ４、プロ
ジェクタ５、スピーカ６、及び制御装置７を備えて構成
される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及び
プロジェクタ５は半透明面２の背面側に対して設けられ
る。スピーカ６は出力される音声をモニタすることがで
きる位置に配置されていれば良い。

【０００７】半透明面２は、例えば透明なガラス板に対
してトレーシングペーパーのような見え方をする半透明
膜を貼り合わせる、あるいは磨りガラスのような半透明
の性質を有するものを利用するなどして形成され、後述
するようにして当該電子楽器１における演奏及び操作を
行なうための入力パネルとしての機能と、該入力パネル
を表示するための表示パネルとしての機能を併せ持つ。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数
の赤外線ＬＥＤが集合的に配列されることによって構成
され、上記赤外線ＬＥＤから発光出力される赤外線光が
半透明面２の背面全体に対して照射されるように設けら
れる。上記赤外線ＬＥＤは制御装置７によって定常的に
赤外線を発光するように駆動される。なお、赤外線ＬＥ
Ｄパネル３としては、発光出力される赤外線光が半透明
面２全体に対して照射されるのに充分な数の赤外線ＬＥ
Ｄが設けられればよい。また、後述するように、初期の
赤外線画像に対する現在の赤外線画像の差分に基づいて
半透明面２側から反射してくる画像情報を得るようにさ
れることから、半透明面２全体に対して照射される赤外
線光量が一律であるべき必要もない。従って赤外線ＬＥ
Ｄパネル３のサイズは、半透明面２よりもはるかに小さ
いもので済ませることができる。

【０００８】ＣＣＤカメラ４は、撮像素子としてＣＣＤ
を用いたカメラ装置であり、この場合には、半透明面２
に映る画像光として赤外線光の成分のみを撮像すること
により、半透明面２に対して行われた操作を画像情報と
して認識するために設けられる。このため、ＣＣＤカメ
ラ４の光学系の部分に対しては、赤外線領域の波長帯域
のみを透過する赤外線透過フィルタ４ａが設けられる。
また、ＣＣＤカメラ４により撮影される構図として半透
明面２全体が含まれるようにその配置位置が設定され
る。

【０００９】プロジェクタ５は、制御装置７から供給さ
れる画像情報に基づいて、可視光による画像光を半透明
面２の背面に対して投影表示する。例えばユーザは、半
透明面２に投影表示されたプロジェクタ５の画像を、半
透明面２の前面側から観察することができる。ここで、
プロジェクタ５の光学系には赤外線領域の波長を遮断す
る赤外線遮断フィルタ５ａが設けられているが、これに
より、半透明面２に投影表示される画像光には赤外線が
含まれなくなるため、プロジェクタ５の投影画像は、Ｃ
ＣＤカメラ４からは不可視となる。

【００１０】制御装置７は、例えばマイクロコンピュー
タを備えて構成され、ＣＣＤカメラ４から供給される撮
像信号から画像情報（映像データ）を得て、更にこの画
像情報をもとに演奏が行なわれた際の演奏情報又は発音
される楽音の音色や音量調整などを行なうための操作情
報を得る。そして、この演奏／操作情報に基づいて、例
えばプロジェクタ５により半透明面２に表示させる画像
に関する発音制御及び表示制御を実行する他、各種所要
の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外
線ＬＥＤの発光駆動を行う。なお、上記赤外線ＬＥＤパ
ネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置
は、それぞれが果たすべき役割が充分機能することを考
慮して設定されればよい。

【００１１】図２は、上記制御装置７の内部構成例を示
すブロック図である。この図に示す制御装置７におい
て、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設け
られた複数の赤外線ＬＥＤを発光駆動するための回路部
位である。

【００１２】画像入力部１１は、ＣＣＤカメラ４から供
給された撮像信号について所要の信号処理を施すことに
よって映像信号を生成して入力画像処理部１２に供給す
る。つまり、画像入力部１１では、半透明面２側からＣ
ＣＤカメラ４を介して入射してきた赤外線光を画像情報
として出力する。

【００１３】入力画像処理部１２では、例えば画像入力
部１１から供給された映像信号をデジタル信号による映
像信号データに変換する。入力画像処理部１２において
は、この映像信号データに基づいて得られる「画像情報
（例えばフレーム単位の映像データ）」を利用して所要
の解析処理等を実行することで、半透明面２に対して行
われた演奏／操作情報を得るようにされる。ここで画像
情報に基づいて得られる演奏／操作情報としては、例え
ば、半透明面２に対して操作を行っている操作体の画像
上の位置（座標）や画像の信号レベルなどが用いられ
る。この演奏／操作情報はデータベース駆動部１４に伝
送される。また、上記映像信号データは、画像合成部１
７に対しても供給可能とされている。

【００１４】しきい値制御部１３は、入力画像処理部１
２にて実行される演奏／操作情報に関する処理に必要な
しきい値を設定して入力画像処理部１２に伝送する。上
記入力画像処理部１２では、しきい値制御部１３におい
て設定されるしきい値を利用して画像情報について解析
を行うなど所要の処理を実行することで演奏／操作情報
を得る。また、本実施の形態では後述するようにして入
力画像データのフレーム差分を算出することにより、現
在の半透明面２の画像状態（検出画像情報）を得るよう
にされるが、フレーム差分演算に利用する基準値（基準
画像入力レベル）等の情報も、後述するようにして、し
きい値制御部１３に格納されるものとする。

【００１５】データベース駆動部１４は、入力画像処理
部１２により得られた演奏／操作情報を取り込み、この
演奏／操作情報に基づいて適宜所要の処理を実行する。
この際、データベース駆動部１４が実行すべき制御処理
に必要なプログラムデータはデータベースメモリ１５に
格納されており、データベース駆動部１４は、データベ
ースメモリ１５に格納されたプログラムデータに基づい
て所要の制御処理を実行することになる。また、データ
ベースメモリ１５には楽音データ（ここでは少なくとも
音色データ及び音程データを含む楽音としてのデータと
される）が格納されており、この楽音データは入力され
た演奏情報に応じて読み出されて音源駆動部１９に供給
される。音源駆動部１９では供給された楽音データにつ
いて、例えばデジタル／アナログ変換や増幅などの所要
の音声信号処理を施してスピーカ６から出力する。タイ
マ２０は後述するようにして演奏時においてしきい値制
御部１３で設定される第一のしきい値が検出されてから
第二のしきい値が検出されるまでの時間を計測するよう
にされている。ここで計測された時間は発音されるべき
楽音、すなわち音源駆動部１９に供給する楽音データに
与える発音の強弱情報に換算される。

【００１６】画像生成部１６は、データベース駆動部１
４の制御によって、必要な画像データ（デジタル信号に
よる映像信号データ）を生成して画像合成部１７に出力
する。画像合成部１７においては、必要があれば上記画
像生成部１６から供給された映像信号データに対して、
入力画像処理部１２から供給された映像信号データを合
成してＲＧＢ信号生成部１８に対して出力する。ＲＧＢ
信号生成部１８では、上記画像合成部１７から供給され
た映像信号データについて、例えばアナログによるＲＧ
Ｂ信号に変換してプロジェクタ５に対して出力する。こ
れにより、プロジェクタ５からは、半透明面２に対して
行われる操作に応答した映像による画像光が半透明面２
に対して照射出力されることになる。

【００１７】次に、上記構成による本実施の形態の電子
楽器１における演奏／操作情報の検出方法について説明
する。前述のように、図１に示す半透明面２全体に対し
ては、その背面から赤外線ＬＥＤパネル３により赤外線
光が照射されるのであるが、この赤外線光は半透明面２
が半透明であることから、全ての赤外線光が半透明面２
を通過するのではなく、幾分かの赤外線光が半透明面２
の作用によって反射されることになる。そして、本実施
の形態においては半透明面２に対して何も操作が行われ
ていないとされる状態のもとで、半透明面２にて反射さ
れる赤外線光をＣＣＤカメラ４により撮像して得られる
映像信号データの初期レベルを「基準入力画像レベル」
として記憶する。この基準入力画像レベルは、入力され
た映像信号データに基づいて例えば１フレームにおける
画素ごとの信号レベルを検出することにより行うように
すればよい。この検出処理は、入力画像処理部１２によ
り行われるものとされる。このようにして検出された基
準入力画像レベルの情報はしきい値制御部１３に伝送さ
れ、ここで保持されることになる。

【００１８】上記基準入力画像レベルの検出処理は、例
えば図３のフローチャートに示すものとなる。この図に
示すように、先ず入力画像処理部１２では、ステップＳ
１０１において、ＣＣＤカメラ４から画像入力部１１を
介して供給された映像信号から得られる１フレーム分の
画像データに基づいて、上述のようにして画素ごとに信
号レベルを検出し、この検出結果を基準入力画像レベル
Ｌｉｎｔとして得る。なお、具体的には画素ごとの輝度
信号成分のレベルを検出してこれを基準入力画像レベル
Ｌｉｎｔとすることが考えられる。入力画像処理部１２
は、続くステップＳ１０２において、上記基準入力画像
レベルＬｉｎｔをしきい値制御部１３に伝送して記憶さ
せるように処理を実行する。

【００１９】なお、基準入力画像レベルＬｉｎｔを検出
してしきい値制御部１３に記憶させる処理（上記図３に
示す処理動作）は、例えば当該インタラクティブ表示シ
ステムの電源オン時などに実行させたり、あるいは何ら
かのユーザの指示によって必要なときに基準入力画像レ
ベルＬｉｎｔを更新させるように構成することが考えら
れる。

【００２０】上記のようにして基準入力画像レベルＬｉ
ｎｔの情報が保持された状態のもとで、演奏／操作情報
として扱われる画像情報は次のようにして得るようにさ
れる。図４は、演奏／操作情報のもととなる画像情報
（以下、この「画像情報」については特に「検出画像情
報」という）を得るための入力画像処理部１２の処理動
作を示すフローチャートである。この場合、入力画像処
理部１２は、先ずステップＳ２０１において現在の入力
画像レベルＬｐｒｓを検出する処理を実行する。ここで
いう入力画像レベルＬｐｒｓは、現在においてＣＣＤカ
メラ４により撮像された、赤外線光に基づく半透明面２
の画像についてのフレーム単位のデータであり、このフ
レーム単位の画像データにおける画素ごとの信号レベル
を検出して得られる情報である。

【００２１】続いて、入力画像処理部１２はステップＳ
２０２において、基準入力画像レベルＬｉｎｔと上記現
在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌ
ｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬ
を算出する。具体的には、基準入力画像レベルＬｉｎｔ
と上記入力画像レベルＬｐｒｓとして得られたデータ値
を、同一位置の画素ごとに差分を求めることによって差
分入力画像レベルＬを得るようにされる。従って、差分
入力画像レベルＬとしては、常に基準入力画像レベルＬ
ｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号
レベル差が画素ごとに得られることになる。そして、入
力画像処理部１２は、ステップＳ２０３に進み、上記差
分入力画像レベルＬに基づいて、現在の検出画像情報
（フレーム単位で画素ごとのレベル情報を有する形式の
映像データ）を生成するようにされる。

【００２２】上記のごとき検出画像情報の検出動作を、
実際のユーザの半透明面２の前面側での動きと共に説明
する。例えばユーザは、半透明面２の前面側において赤
外線を反射可能な何らかの物体を利用して半透明面２の
前面側において操作を行うようにするのであるが、ここ
では、説明の簡単のためにユーザ自身の指や身体を用い
ることとする。ここで、例えば図１に示すように半透明
面２の前面側においてユーザが半透明面２から遠く離れ
た距離にいるときには、例えば半透明面２を通過してユ
ーザの身体に反射するとされる赤外線光量は少ないこと
から、そのほとんどが半透明面２の前面から背面を通過
して戻ることはない。このとき、上述した基準入力画像
レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓと
は同等であり、入力画像処理部１２では、差分入力画像
レベルＬとしてほぼ０であると検出することになる。つ
まり、差分入力画像レベルＬに基づいて生成される検出
画像情報としては、初期状態と同様の変化の無いとされ
る状態が得られることになる。

【００２３】ここで、例えば上記の状態からユーザが徐
々に半透明面２に対して近づいていったとすると、半透
明面２を通過してユーザの身体に反射する赤外線光のう
ち、半透明面２を通過して背面側に到達する光量が次第
に増加していくことになる。この状態を、入力画像処理
部１２からみた場合には、ユーザの身体に対応する画像
部分の基準入力画像レベルＬｉｎｔに対する現在の入力
画像レベルＬｐｒｓのレベルが徐々に増加していく状態
として捉えられる。これに応じて、検出画像情報として
は算出される差分入力画像レベルＬに応じて、半透明面
２に接近するユーザの姿が徐々に捉えられていくことに
なる。そして、半透明面２に対して例えばユーザの体が
非常に接近した状態（しきい値の設定にもよるが例えば
半透明面２から３０ｃｍ以内）では、その人体に反射し
た赤外線光がほとんど半透明面２を通過して背面側に到
達することになるので、その身体形状がより鮮明な状態
の検出画像情報が生成されることになる。

【００２４】また、ここでユーザがその身体を半透明面
２からある程度距離を置いた状態で、例えば自身の指を
手前にかざして半透明面２の非常に近い位置においたと
する。この場合、半透明面２に近接するユーザの指は他
の身体部分よりも多くの赤外線光を反射するため、入力
画像処理部１２において得られる画像情報としては、ユ
ーザの指にあたるに位置の画像領域のレベルが強く、そ
の背景となる部分においてユーザの身体部分にあたる位
置の画像領域のレベルは半透明面２からの距離に応じて
弱くなることになる。そして、例えばこの状態のもと
で、しきい値制御部１３にて設定された所定のしきい値
と検出画像情報とを比較すれば、容易にユーザの指にあ
たる部分のみの画像を背景から分離させることが可能で
あり、同様にしきい値の設定によっては、半透明面２か
ら離れた距離にあるユーザの身体部分のみを抽出した画
像情報を得ることも可能である。このようなしきい値
は、前述のように実際に必要とされる条件に応じた値が
しきい値制御部１３において設定されるものである。

【００２５】このようにして、半透明面２の前面側の状
態を検出する構成を採ることにより、この半透明面２を
例えばインタラクティブなインターフェイスのための操
作パネルとして機能させる場合には次のような利点が得
られる。先ず、本実施の形態では半透明面２側からの赤
外線の反射光量によって得られる画像に基づいて操作情
報を得ることになるので、操作を行うための操作体とし
ては、特に特殊なポインティングデバイスを必要とせ
ず、赤外線を反射する物体であればその種類は問わない
ことになる。つまり、操作体としては、上述のように人
体全体もしくはその一部や、その他の何らかの物理的対
象を問題なく使用することができる。

【００２６】また、例えばタッチパネルなどでは操作パ
ネル面に対して指などの操作体を接触させる必要がある
が、本実施の形態の場合には操作体の位置や動きは赤外
線光の反射として検出されればよいことから、半透明面
２に操作体を接触させる必要性はなく、その前面の空間
において操作を行うような方法を採ることができる。

【００２７】また、上述したように赤外線の反射光量
は、操作体の半透明面２に対する距離に応じて変化する
ために、例えば操作体の半透明面２からの距離を演奏／
操作情報として利用することも考えられる。

【００２８】更に、半透明面２は前述のように例えば透
明のガラス板などに対してトレーシングペーパーのよう
な半透明の薄膜を組み合わせたり、磨りガラスのような
ものを利用するなどの簡略な手段により構成可能とさ
れ、特にパネルに固有の駆動回路などは不要なので、低
コストで容易に大型化を実現することができ、この点で
大型化が困難なタッチパネルなどとは大きく異なる。そ
して、半透明面２側からの赤外線の反射光により得られ
る画像に基づいて演奏／操作情報を得ることで、画像認
識さえ可能であれば複数の操作体を同時に認識して所要
の制御を実行させることが可能である。つまり、複数の
異なる操作対象に対する同時操作が可能となるものであ
り、特に半透明面２が大画面として構成される場合には
半透明面２上のいろいろな領域を利用して異なる種類の
操作を同時に行うことができることにもなるので非常に
有効となる。

【００２９】そして、半透明面２は画像表示パネルとし
ての機能も有することから、例えば後述するように操作
対象となるメニュー画面のようなものを表示させた上
で、ユーザがこのメニュー画面に対して指などにより操
作を行えるようにするなどの直接的な操作を実現するこ
とも容易に可能となる。

【００３０】次に、上記構成による本実施の形態の電子
楽器１の利用例について、図５〜図９を参照して説明す
る。図５には、本実施の形態の電子楽器１の利用例とし
て、メニュー操作を行う場合の例が示されており、ここ
では半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面
に近づいたとすると、先ず、電子楽器１の制御装置７で
は、このときに得られる検出画像情報に基づいてユーザ
が近づいた半透明面２上の位置を認識する。そして、半
透明面２上においてユーザが近づいたと認識された位置
に対して、図のようにメニュー画面Ｍを表示するように
表示制御を行う。このメニュー画面Ｍは当然のこととし
てプロジェクタ５から半透明面２に対して投影された画
像である。またここでのメニュー画面Ｍは当該電子楽器
１を利用して演奏する楽器の種類を選択するためのもの
とする。そして、ユーザ自身が位置している付近の半透
明面２上にメニュー画面Ｍが表示された状態のもとで、
例えばユーザは自身の指を用いて、メニュー画面Ｍにお
いて操作項目すなわち楽器名が表示されている領域を指
さすように指定したとする。このとき、ユーザの指先
は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の
距離にあるようにされる。

【００３１】これにより、例えばメニュー画面Ｍにおい
ては、ユーザが指し示した操作項目の領域が選択された
ことを示す何らかの指示表示（例えば選択領域に対する
カーソルの配置表示や所定の形態による強調表示など）
が行われることになる。この強調表示のための表示制御
は、検出画像情報に基づいてユーザの指が指し示してい
る領域の座標を検出することにより実現される。ここで
は、上記のようにして指示表示が開始された状態から所
定時間（例えば数秒程度）経過したときにエンター操作
が行われたとみなすこととする。そして、ユーザがエン
ター操作を行った、つまり、特定の操作項目が強調表示
された状態を所定時間以上維持させたとすると、指定さ
れた操作項目に従った所要の制御動作を実行する。ここ
では、演奏を行なう楽器としてのキーボード装置、ギタ
ーなどを表示させる。なお、ユーザが半透明面２の前面
から離れていき、ユーザと半透明面２との間にある程度
以上の距離があいた場合には、それまで表示されていた
メニュー画面Ｍは自動的に消去されるものとされる。

【００３２】ここで、図６のフローチャートに、上記図
５に示した利用例に対応して実行される制御装置７の処
理動作を示す。この図に示す処理動作は、主として制御
装置７内の入力画像処理部１２が検出画像情報に基づい
て操作情報を認識すると共に、データベース駆動部１４
がデータベースメモリ１５に格納されたプログラムに従
って、上記操作情報に基づいて適宜処理動作を実行する
ことにより実現されるものである。

【００３３】この図に示すルーチンにおいては、先ずス
テップＳ３０１において現在の検出画像情報から「接近
体」が検出されるか否かについて判別を行う。ここで、
「接近体」とは半透明面２に対して所定の距離範囲まで
接近した何らかの検出対象（図５ではユーザ自身の身体
とされている）をいうものとされる。この「接近体」の
検出は、例えば入力画像処理部１２が検出画像情報と接
近体の検出用に設定されたしきい値（しきい値制御部１
３により設定される）を比較して、例えば検出画像情報
のある領域においてこのしきい値以上の値が得られた場
合には「接近体有り」と検出し、しきい値以上の値が得
られる領域がない場合には、「接近体無し」と検出する
ことになる。上記接近体検出用のしきい値は、例えば通
常、人体（ユーザ）が半透明面２にある程度（例えば数
十ｃｍ）近づいたときに検出画像情報として得られる人
体部分の画像レベルに基づいて設定されればよい。

【００３４】上記ステップＳ３０１において接近体が検
出されなかった場合にはステップＳ３０８に進んで、こ
こで現在メニュー画面Ｍが表示中であるか否かについて
判別が行われ、ここでメニュー画面Ｍが表示されていな
い場合には元のルーチンに戻る（即ち再度ステップＳ３
０１の処理に移行する）が、メニュー画面Ｍが表示中の
状態である場合にはステップＳ３０９に進み、メニュー
画面Ｍを消去するための制御処理を実行する。このメニ
ュー画面Ｍの消去処理は、例えばデータベース駆動部１
４が画像生成部１６に対するメニュー画面Ｍの画像デー
タの生成処理を停止することで実現される。

【００３５】これに対して、ステップＳ３０１において
接近体が検出された場合には、ステップＳ３０２に進ん
で、半透明面２上における上記接近体の位置を検出する
ことが行われる。この処理は、例えば検出画像情報にお
ける接近体の部分が占有する領域の座標を検出すること
で可能となる。この場合、検出すべき座標としては接近
体の領域の所定の一地点であっても、所定規則に従って
求められる複数地点であっても構わなく実際の使用環境
等に応じて任意に設定されればよい。

【００３６】続くステップＳ３０３においては、上記ス
テップＳ３０２にて検出された接近体の位置に応じた半
透明面２の領域に対してメニュー画面Ｍを表示させるた
めの制御を実行する。この制御処理は、例えばデータベ
ース駆動部１４がデータベースメモリ１５に格納されて
いるメニュー画面表示用のプログラムに基づいて、画像
生成部１６において所要の種類のメニュー画面の画像デ
ータが作成されるように制御を行うことになる。この
際、データベース駆動部１４は、ステップＳ３０２にて
検出された接近体の位置に対応する表示領域に対して、
例えばメニュー画面の画像データをマッピングするよう
にして、表示用画像データを作成する。この結果、最終
的にプロジェクタ５から投影される画像としては、半透
明面２におけるユーザが近づいた位置に対してメニュー
画面Ｍが表示されたものとなる。

【００３７】上記ステップＳ３０３の処理が実行された
後は、ステップＳ３０４において、現在表示中のメニュ
ー画面Ｍの操作項目とされる表示領域内において、「操
作体」が検出されたか否かについて判別が行われる。こ
こで、「操作体」とは半透明面２の前面において至近距
離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）
にある物体（検出対象）のことをいうものとされる。つ
まり、図５においてはメニュー画面Ｍを指し示す指が対
象となる。そして、この「操作体」の検出処理は、先
ず、操作体検出用としてしきい値制御部１３において設
定されたしきい値と、検出画像情報の画像レベルとを比
較することにより、操作体の有無を検出することが行わ
れる。このとき設定されるしきい値としては、半透明面
２の前面において至近距離にある物体を背景から分離し
て検出する必要上、前述した接近体検出用のしきい値よ
りも大きい値が設定される。そして、例えばしきい値と
比較した結果、操作体が検出されたとすれば、その操作
体が検出された検出画像情報上の座標位置を検出し、こ
の検出位置とメニュー画面Ｍが表示されているとされる
画像情報上の位置が一致しているか否かを判別すること
で、現在表示中のメニュー画面の表示領域内における操
作体の有無を検出することになる。

【００３８】上記ステップＳ３０４においてメニュー画
面Ｍの操作項目とされる表示領域内において操作体が検
出されない場合とは、検出画像情報上に操作体が検出さ
れなかった（ユーザが至近距離で半透明面２上を指し示
していないような状態）か、或いは、検出画像情報上に
操作体を検出したとしても、この操作体の検出位置（座
標）がメニュー画面Ｍの表示領域内に対応する画像情報
上の領域に無かった（ユーザが至近距離で半透明面２上
を指し示していた位置がメニュー画面Ｍの操作項目以外
の領域であったような状態）ことになるが、このような
場合にはステップＳ３０１に戻るようにされる。

【００３９】なお、ここで操作体が人体の手又は指に特
定されるような場合には、ステップＳ３０４における操
作体の検出処理として、例えば、データベースメモリ１
５に対して操作時に現れる人体の手又は指の形状の情報
を記憶させておき、この手又は指の形状の情報と、検出
画像情報として得られた画像形状とを比較して、その一
致状態をみて操作体の検出の有無を識別するように構成
することが可能である。本発明では、画像情報から入力
情報を検出するために、検出画像情報に得られる画像の
形状に基づいてもこれを操作情報として認識可能であ
る。

【００４０】ステップＳ３０４においてメニュー画面Ｍ
の操作項目とされる表示領域内において操作体が検出さ
れたと判別された場合には、ステップＳ３０５に進ん
で、操作体が検出された位置に対応するメニュー画面Ｍ
の操作項目について指示表示が行われるように制御を実
行してステップＳ３０６に進む。

【００４１】ステップＳ３０６の処理はエンター操作の
待機処理となる。前述のように、ここでのエンター操作
は、指示表示が開始された状態から所定時間経過したと
きに確定されるものと規定している。そこで、ステップ
Ｓ３０６においては、ステップＳ３０４にて検出された
操作体の検出状態が所定時間以上維持されるか否かにつ
いて検出を行うようにしている。この検出処理は、入力
画像処理部１２において現在の検出画像の状態遷移を監
視することにより行われる。そして、例えば現在の検出
画像情報上から操作体が検出されなくなったり、あるい
は現在の検出画像情報上における操作体の検出位置が、
ステップＳ３０４にて検出されたメニュー画面Ｍの操作
項目とされる表示領域内から外れたことが検出されたよ
うな場合には、ステップＳ３０６からステップＳ３０１
以降の処理に戻ることになる。（この処理により、例え
ばユーザがこれまでとは異なるメニュー画面Ｍ上の操作
項目を指し示すように、その指定位置を変更した場合に
は、新たに指定されたメニュー画面Ｍ上の操作項目に対
して指示表示が行われたりすることになる。）

【００４２】これに対して、ステップＳ３０６におい
て、直前のステップＳ３０４にて検出された操作体の検
出状態が所定時間以上維持されたと判別された場合に
は、エンター操作が行われたものとしてステップＳ３０
７に進む。ステップＳ３０７においては、メニュー画面
Ｍ上において操作体が検出された項目とされる楽器が表
示される制御処理が実行される。この処理は、データベ
ース駆動部１４がデータベースメモリ１５に格納された
プログラムに従って実行することになる。

【００４３】次に、図７乃至図９にしたがい半透明面２
に表示される楽器として例えばキーボード装置が表示さ
れてこれを演奏する場合の例を説明する。図７乃至図９
に示されているキーボード装置５０は先述したようにメ
ニュー画面Ｍを操作することによって選択され、半透明
面２に表示されている。キーボード装置５０は図７
（ａ）に示されているように、演奏情報の入力を検出す
る演奏領域とされる鍵盤部５１、及び演奏に伴って発音
する音色を設定する操作情報を検出する操作領域とされ
る音色キー部５２、発音する音の音量を調整する操作領
域とされる音量キー５３などによって構成されている。

【００４４】鍵盤部５１に示されている鍵盤は通常のピ
アノと同様に、各鍵盤の入力を個別に検出することがで
きるようにされている。すなわち、単音演奏、重音演奏
を行なうことが可能とされている。音色キー部５２には
本実施の形態では例えば『ピアノ』『ビブラフォン』
『オルガン』の３種類の音色を選択することができる音
色キー５２ａ、５２ｂ、５２ｃが配置されている。そし
て、後述するように例えば音色キー５２ａに操作体とさ
れる例えばユーザの手を近づけることによって、『ピア
ノ』の音色を選択することができるようにされている。
音量キー５３はスライド式の音量調整キーとされてお
り、音量キー５３に操作体を近づけて、この例では上下
方向に操作体を移動させることにより、音量を増減する
調整を行なうことができるようにされている。

【００４５】図７（ａ）に示されているように、例えば
鍵盤部５１の鍵盤５１ａを操作して発音させる場合は、
操作体とされるユーザの手４０を矢印で示されているよ
うに鍵盤５１ａに近づけていくと、手４０の画像情報が
検出されるようになる。図示した例では、説明の便宜上
手４０の指により打鍵する様子が示されているが、実際
の演奏方法としては、指に依るのではなく、例えば手の
一部などを使って演奏することも考えられ、このような
演奏情報（操作情報）も検出され得る限り、これに応答
した発音制御が可能なため、ここでは演奏のため操作体
を手４０として扱うものとする。このとき制御装置７で
は半透明面２からの所定の位置とされる検出開始位置か
ら発音位置の間において、半透明面２に手４０が近づく
速度の検出を行なっている。したがって図７（ｂ）に示
されているように手４０が鍵盤５１ａに対する発音位置
に達すると、手４０による演奏情報はＣＣＤカメラ４を
介して制御装置７に供給され、この検出された速度に基
づいた演奏強度で、鍵盤５１ａに対応した音程の楽音を
出力することができる。これにより、演奏に強弱をつけ
ることができるようになる。さらにこのとき、発音と同
時に演奏が行なわれた鍵盤５１ａの表示色を変えること
により、いずれの鍵盤が演奏されたかを示すことができ
るようになる。また、鍵盤５１ａの他の鍵盤についても
同様であり、演奏したい鍵盤に対して手４０を近づけて
発音位置に達することにより、その鍵盤に対応した音程
の楽音を演奏速度に応じた強度で出力することができ
る。なお、演奏速度の検出に関しては後で詳しく説明す
る。

【００４６】図７では単音演奏の例を説明したが、図８
に示されているように複数の鍵盤を同時に演奏すること
も可能である。この場合、図示されているように例えば
手４０ａと手４０ｂをそれぞれ鍵盤５１ａと鍵盤５１ｂ
に近づけることによって、手４０ａと手４０ｂの画像情
報が鍵盤５１ａと鍵盤５１ｂに対応した位置でほぼ同時
に検出される。これによって、鍵盤５１ａと鍵盤５１ｂ
に対応した楽音を出力することができる。なお、図８で
は手４０ａと手４０ｂの指を一本ずつ用いる例を説明し
たが、例えば手４０ａ、手４０ｂの指を複数本ずつ使用
してコードなどを演奏することも可能である。

【００４７】またキーボード装置５０を演奏することに
よって発音する音を選択する場合は、図９に示されてい
るように、音色キー部５２に配置されている音色キー５
２ａ、５２ｂ、５２ｃのいずれかに手４０を近づければ
良い。例えば、現在『ピアノ（piano ）』の音色が選択
されているときに、『ビブラフォン（vib ）』の音色を
選択して切替えたい場合は、図示されているように音色
キー５２ｂに手４０ｂを近づけることにより、音色キー
５２ｂに対応した位置で手４０ｂの画像情報を検出する
ことができる。そして、この状態が所定時間以上続いた
場合ユーザが『ビブラフォン』を選択したと判別し、制
御装置７ではデータベース駆動部１４において音色を
『ピアノ』から『ビブラフォン』に切替える制御を行な
う。これにより、次に鍵盤部５１において演奏が行なわ
れた場合は、『ビブラフォン』の音色で発音するように
制御される。また、同様に音色キー５２ｃに手４０ｂを
近づけることにより、『オルガン（organ ）』の音色を
選択して切替えることができるようになる。なお、音色
の切替状態が解るように何らかの指示表示を行なうこと
が好ましい。

【００４８】さらに、キーボード装置５０を演奏するこ
とによって出力される楽器の楽音の音量を調整する場合
は、まず音量キー５３に手４０ａを近づける。これによ
り、各鍵盤や音色キーなどと同様に音量キー５３の表示
色を変えて、音量キー５３が選択されたことを示す。さ
らに、この状態で手４０を例えば上下方向に移動させる
ことによって、この移動に伴う画像情報が検出され、手
４０を矢印Ｕ方向に移動させた場合は音量増、矢印Ｄ方
向に移動させた場合は音量減となるように制御を行な
う。

【００４９】このように、鍵盤部５１において所望する
鍵盤に例えばユーザの手４０を近づけることによって、
疑似的にピアノ演奏を行なうことができるようになる。
また、鍵盤部５１とともに、音色キー部５２、音量キー
５３を設けることにより音色切替えや音量調整を容易に
行なうことができるようになる。なお、図７乃至図９に
示したキーボード装置５０は一例であり配置される鍵盤
の数や、鍵盤個々の大きさは演奏を行ないやすいように
設定すれば良い。また、音色キー部５２に関しても、デ
ータベースメモリ１５に格納されている音色データに対
応して、多数の音色キーによって構成されるようにして
も良い。また、音色キー部５２を独立した音色選択メニ
ューとして構成するようにしても良い。さらに、音量キ
ー５３の他にも例えばリバーブ、ビブラートなど、エフ
ェクト機能の設定を行なうことができる操作キーなどを
設けても良い。

【００５０】また、鍵盤部５１と音色キー部５２、音量
キー５３では同じしきい値が設定される必要はない。す
なわち音色キー部５２、音量キー５３は単に選択操作な
どを行なうことができれば良いので、そのときの操作性
を考慮して半透明面２からそれほど近接しない位置でも
入力することができるように上記しきい値を設定すれば
良く、また、鍵盤部５１では演奏を行なう指は比較的鍵
盤に近接した状態で動くことが想定されるので、これに
応じた適切なしきい値が設定されれば良い。

【００５１】次に、手４０を半透明面２に表示されてい
る鍵盤部５１に近づける場合に行なわれる速度検出につ
いて説明する。図１０は演奏時の手４０の動作と、手４
０の動作を検出するためのしきい値の関係を説明する摸
式図であり。鍵盤部５１において手４０が近づいた場合
の画像情報の検出を行なうために、例えば第一、第二の
しきい値が設定されている。速度検出開始を指示する第
一のしきい値は例えば半透明面２から或る程度離れた位
置Ａでの画像情報の検出を行なうことができる値として
設定され、速度検出終了及び発音処理を指示する第二の
しきい値は例えば半透明面２付近の位置Ｂにおいて画像
情報の検出を行なうことができる値として設定されてい
る。すなわち、位置Ａから位置Ｂまでの区間が速度検出
区間とされる。

【００５２】図１０（ａ）に示されているように、演奏
を行なう際に手４０を白抜き矢印で示されているように
半透明面２に近づけていくと、制御装置７では手４０の
動作に伴って位置Ａで得られる画像情報から、まず第一
のしきい値を超えたことが検出される。第一のしきい値
を超えたことが検出された時点でタイマ２０のタイマカ
ウントを開始する。そしてさらに手４０を半透明面２に
近づけていき、図１０（ｂ）に示されているように位置
Ｂまで近づくと第二のしきい値を超えたことが検出され
る。この第二のしきい値を超えたことが検出された時点
でタイマ２０のカウントを停止して、位置Ａ点から位置
Ｂ点までにかかった時間が短い場合（カウント値が小さ
い）は素早い動作で強い打鍵動作が行なわれたと判別
し、また位置Ａ点から位置Ｂ点がまでにかかった時間が
長かった場合（カウント値が大きい）はゆっくりとした
動作で弱い打鍵動作が行なわれたと判別する。つまり、
第二のしきい値が検出された時点でのカウント値（速度
情報）を発音すべき楽音データの強弱情報に変換して、
この強弱情報及び選択した鍵盤から得られる音程情報に
基づいて発音処理を行なうよう。

【００５３】強弱情報に基づいて楽音に強弱をつける方
法としては、例えば予め強弱に応じた楽音データを記録
しておいて、その都度強弱情報に応じた楽音データを読
み出すようにしても良いし、例えば音源駆動部１９にお
いて強弱情報に応じて単に出力される楽音の音量を調整
するようにしても良い。なお、第一、第二のしきい値は
実際の使用環境によっても異なるが、演奏時に行なわれ
るユーザの手の動きの一般的な上下動範囲を考慮して設
定されれば良い。

【００５４】図１１は半透明面２に対して手４０を近づ
けることによりキーボード装置５０を演奏して、鍵盤部
５１の各鍵盤に対応した楽音を出力する場合の処理の流
れを説明するフローチャートである。キーボード装置５
０が表示されている状態で、鍵盤部５１に手４０を近づ
けることにより、入力画像処理部１２において画像情報
が検出されたか否かを判別する（S401）。ここで画像情
報が検出されない場合は演奏待機状態として画像情報の
検出を待つことになる。また、鍵盤部５１で画像情報を
検出したと判別した場合は、その画像情報の検出レベル
が第一のしきい値を超えたか否かを判別する（S402）。
ここで第一のしきい値を超えたと判別した場合は、タイ
マ２０のカウントを開始する（S403）。

【００５５】タイマ２０のカウントが開始されると、次
に画像情報の検出レベルが第二のしきい値を超えたか否
かを判別する（S404）。画像情報が第二のしきい値を超
えたと判別した場合は、タイマ２０のカウントを停止し
て（S405）、カウント値ｔを検出し（S406）、さらにこ
のカウント値ｔを強弱情報に換算する処理を行なう（S4
07）。そして、第二のしきい値を超えたと判別された検
出画像情報における画像の位置（座標）を検出し、デー
タベースメモリ１５から検出された位置に対応している
鍵盤が担当する音高の楽音データの読み出しを行なう
（S408）。そして、楽音データと強弱情報を音源駆動部
１９に供給して（S409）、所要の信号処理を施して、演
奏に応じた楽音をスピーカ６から出力させる。また、楽
音データと強弱情報を音源駆動部１９に供給するととも
に、画像生成部１６を制御して第二のしきい値を超えた
と判別された鍵盤の表示色を変更する（S410）。そし
て、タイマ２０のカウント値をリセットして（S411）、
再び演奏が開始されるのを待つ。

【００５６】また、タイマ２０のカウントをスタートし
た後に、画像情報の検出レベルが第二のしきい値を超え
ないと判別した場合は（S404）、画像情報が第一のしき
い値以下になったか、または、第一のしきい値が検出さ
れてからタイマ２０のカウント値が所定値以上となった
かを判別する（S412）。ここで、画像情報が第一のしき
い値以上、またはタイマ２０のカウント値が所定値以下
である場合はステップS404に戻り、画像情報の検出レベ
ルが第二のしきい値を超えたか否かを判別する。また、
ステップS412において画像情報が第一のしきい値以下に
なったか、またはカウントとが所定値以上となったと判
別した場合は、タイマ２０のカウント値をリセットして
（S411）、再び演奏が開始されるのを待つ。

【００５７】図１２は半透明面２に対して手４０を近づ
けることにより音色キー部５２、音量キー５３を操作し
て音色選択又は音量調整を行う場合の処理の流れを説明
するフローチャートである。キーボード装置５０が表示
されている状態で、操作領域に手４０を近づけることに
より、入力画像処理部１２において例えば操作体として
の画像情報が検出画像情報内において検出されたか否か
を判別する（S501）。なお、ここでいう操作領域は音色
キー部５２及び音量キー５３であるものとする。ここで
画像情報が検出されない場合は演奏待機、状態として画
像情報の検出を待つことになる。また、操作領域で画像
情報を検出したと判別した場合は、その画像情報の検出
レベルが操作領域用に設定された所定のしきい値を超え
たか否かを判別する（S502）。ここで上記しきい値を超
えたと判別した場合は、次に操作領域に対応して得られ
た操作体の画像が音色キー部５２、音量キー５３のいず
れかの位置にあるのかを判別する（S503）。

【００５８】ステップS503で、音色キー部５２で画像入
力が行なわれたと判別した場合は、音色キー部５２にお
いて選択された音色キー５２（ａ、又はｂ、又はｃ）の
表示色を替えて選択されたことを示し（S504）、データ
ベースメモリ１５に対して演奏時に発音する音色を変更
する（例えば『ピアノ』から『オルガン』）ように設定
する（S505）。また、ステップS503で音量キー５３で画
像入力が行なわれたと判別した場合は、さらに手４０の
例えば上下方向に対する動作に伴って音量キー５３を移
動させながら表示させる（S506）。そして、手４０の動
作に伴って音源駆動部１９を制御し音量を調整する（S5
07）。

【００５９】このように、プロジェクタ５によって半透
明面２に表示される例えばキーボード装置５０に手４０
を近づけることにより、あたかも本物のキーボード装置
と同様に鍵盤による演奏及び各種設定及び調整などの操
作を行なうことができる。さらに、本発明ではプロジェ
クタ５によってキーボード装置５０以外の例えばギター
などの弦楽器などを表示して演奏することも可能であ
る。

【００６０】次に、図１３、図１４にしたがい半透明面
２にギターを表示して演奏する場合の例を説明する。例
えば先に図５で説明したメニュー画面Ｍで『ギター』を
選択すると、図１３（ａ）（ｂ）に示されているよう
に、プロジェクタ５によって半透明面２にギター６０が
表示され、さらに、データベースメモリ１５ではギター
の音色が選択される。ギター６０には所定のチューニン
グで例えば４本の弦ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４が
張られているものとされているが、弦の数はこれに限定
する必要はなく、例えば６弦、１２弦などとなるような
構成としても良い。

【００６１】例えば図１３（ａ）に示されているように
手４０を演奏領域ＰＲにおいて弦ＳＴ４に近づけて弾く
ようにすると、弦ＳＴ４の開放音として設定されている
ギターの音色で発音するようにされる。このギター６０
を演奏する場合も、先に説明したキーボード装置５０の
場合に準じて弦を弾くような手の動きの速さを演奏の強
弱情報として検出して、その強弱情報に応じた強さで発
音するようにされている。さらに、強弱情報に応じて画
像生成部１６を制御して演奏された弦ＳＴ４を振動して
いるように表示するものとされる。また、手４０を弦Ｓ
Ｔ１付近に近づけて、上方から弾き下ろすことによって
弦ＳＴ１から弦ＳＴ４までの４本の弦をほぼ同時に演奏
（ストローク奏法）することもできる。

【００６２】さらに、図１３（ａ）で説明した開放音の
みではなく、図１３（ｂ）に示されているように、ネッ
ク部Ｎ付近に手４０ｂを近づけることによって、例えば
フレットＦ１付近とされる位置で弦ＳＴ３を押さえた状
態で演奏することができる。つまりネック部Ｎにおいて
手４０ｂを操作体とする画像情報が検出画像情報内にお
いて検出された場合、データベース駆動部１４はこの検
出された画像情報の位置、すなわちフレットＦ１に対応
した音程で発音するように制御を行なう。そして、手４
０ａを弦ＳＴ３に近づけて弦を弾くようにすることで、
フレットＦ１に対応した音程、かつ演奏時の強弱情報に
応じた強さでギターの音を出力することができる。ま
た、図示は省略するが、ネック部Ｎにおいて４本の弦Ｓ
Ｔ１からＳＴ４の所定の位置に手４０の指を近づけてあ
たかも指板上で和音を押さえるような操作形態を採っ
て、手４０ａ側を適宜動かすことによってストローク奏
法やアルペジオ奏法を行なってもよい。

【００６３】次に、手４０を半透明面２に表示されてい
る弦ＳＴ（１から４）に近づける場合に行なわれる演奏
領域ＰＲにおける速度検出について図１４を参照して説
明する。この場合は演奏領域ＰＲにおいて手４０が近づ
いた場合の画像情報の検出を行なうためのしきい値が設
定されている。ここでのしきい値は、先に図１０で説明
した第一のしきい値と同様に機能するものとして設定さ
れ、第一のしきい値と同レベルとなるように設定されて
も良いし、キーボード装置５０とギター６０の演奏形態
の違いを考慮して、最適な値に設定すれば良い。さら
に、例えば弦ＳＴが表示される領域Ｇに対応する位置に
検出位置Ｈ及び検出位置Ｊが設定されており、これらの
検出位置Ｈと検出位置Ｊの間が演奏速度の検出区間とさ
れる。

【００６４】例えば、手４０の矢印Ｄ方向の動作による
画像情報の検出レベルがしきい値以上となり、この状態
を維持しながら例えば検出位置Ｈを通過したということ
を検出すると、タイマ２０がカウントを開始する。さら
に、画像情報により手４０が検出位置Ｊを通過した時点
でカウントを停止してカウント値を検出して、このカウ
ント値を強弱情報として当該弦に対応した所定の音程で
発音させる。つまり、矢印Ｄ方向に演奏した場合は、検
出位置Ｈが速度検出開始位置、検出位置Ｊは速度検出終
了位置及び発音位置となる。また、手４０を矢印Ｕ方向
に動作させて演奏を行なう場合は、検出位置Ｈが速度検
出終了位置及び発音位置、検出位置Ｊは速度検出開始位
置となる。さらに、検出位置Ｈ及び検出位置Ｊは各弦の
間隔や太さなどに応じて、快適に演奏することができる
間隔となるように設定されれば良い。

【００６５】なお、半透明面２に表示する楽器として
は、鍵盤楽器とされる例えばキーボード装置５０、弦楽
器とされる例えばギター６０を例に挙げて説明したが、
この他にも打楽器とされるドラム、各種パーカッション
などを表示して演奏することができるようにしても良
い。また、操作体に関してもユーザの手を例に挙げて説
明したが、画像情報を検出することができるものであれ
ば何でも良く、例えばユーザの足を用いてもよいし、ま
た実際の楽器演奏に用いるスティック、マレット、ブラ
シ、ボウなどいかなるものを使用することによって、現
実に近い感覚で演奏することができるようになる。

【００６６】さらに、先述したように本実施の形態では
複数の操作情報を同時に認識して、各操作情報に対応し
てそれぞれ異なる所要の処理を実行させることが可能な
ので、同時にピアノ、ギター、ドラムなど複数の楽器を
表示して各楽器によるアンサンブルを行なうことも可能
である。またさらに、電子楽器１は画像情報を検出して
これに応じて発音制御を行なうようにされているので、
半透明面２に表示されるのは必ずしも楽器に限定する必
要はなく、例えば動物の絵柄を表示して、画像情報を検
出することにより鳴き声などを出力することも可能であ
る。

【００６７】また、本実施の形態では半透明面２を壁面
状に形成する例を挙げて説明したが、半透明面２の形状
はこれに限定されるものではなく、例えば例えば机状と
される水平な面として構成しても良いし、また平面では
なく例えば球面などの曲面を有した形状としても良い。
これにより、様々な演奏形態を演出することができるの
で、既成の楽器とは異なる創造的な楽器を構成すること
が可能になる。すなわち、本発明を適用することによ
り、楽器を構成する自由度を得ることができるようにな
る。

【００６８】ところで、本発明に基づく電子楽器を屋外
などの外光の強い環境で使用する場合、たとえば日中の
自然光に含まれる赤外線が強いために、図１に示すよう
な赤外線ＬＥＤパネル３から照射される赤外線光を操作
情報検出用の光源とする構成では、赤外線ＬＥＤパネル
３から照射される赤外線光の強度が自然光に含まれる赤
外線に対して相対的に弱まるので、場合によっては適切
な操作情報の検出が行われない（つまり操作情報を認識
可能な適正な検出画像情報が得られない）可能性があ
る。

【００６９】そこで、このような場合には、例えば図１
５に他の実施の形態として示されているように、赤外線
ＬＥＤパネル３を省略して、その代わりに、自然光に含
まれる赤外線光を操作情報検出用の光源として利用する
すればよい。この場合、検出画像情報を得るために必要
な基準入力画像レベルＬｉｎｔは、例えば接近体及び操
作体等の検出対象が無い（半透明面２に対して何の操作
も行われていない）とされる状態のもとで、その前面側
から半透明面２を透過してＣＣＤカメラ４において撮像
される撮像信号から得た画像情報に基づいて検出するよ
うにされる。

【００７０】そして、例えば半透明面２に対して何らか
の操作が行われるとすると、このときの半透明面２にお
ける接近体及び操作体などの部分をＣＣＤカメラ４側か
らみた場合には、接近体及び操作体などにより自然光の
赤外線が遮られることから、これを自然光に含まれる赤
外線光の影として見ることができる。他の実施の形態の
い制御装置７では、基準入力画像レベルＬｉｎｔに対し
て、画像レベルがより低くなる（暗くなる）ようにして
変化する画像情報を操作情報として扱うことになる。な
お、電子楽器１Ａの制御装置７の内部構成の図示は省略
するが、赤外線ＬＥＤパネル３が省略されたことに応じ
て、ＬＥＤ駆動部１０が設けられないことになる。

【００７１】また、奔発明の電子楽器としては、図１に
示す構成において、例えば赤外線ＬＥＤパネル３の代わ
りにマイクロ波発生器を設け、また、ＣＣＤカメラ４の
代わりにマイクロ波受信器を設けて構成することも考え
られる。この場合、図２に示す制御装置７においては、
ＬＥＤ駆動部１０（図１参照）の代わりに、マイクロ波
発生器を駆動するためのマイクロ波駆動回路が備えられ
る。また、マイクロ波受信器から供給される受信マイク
ロ波を入力して例えば所定形式のデータに変換して出力
する画像信号入力回路と、この画像信号入力回路から供
給されるマイクロ波の受信データを入力して所要の処理
を行うことにより、例えば検出画像情報を得ると共にこ
の検出画像情報に基づいて操作情報を得る入力データ処
理回路が設けられる必要がある。画像信号入力回路及び
入力データ処理回路は、それぞれ図２に示す画像入力部
１１及び入力画像処理部１２に代わる機能回路部であ
る。また、操作情報検出用の媒体としてマイクロ波を利
用するため、ＣＣＤカメラ４に備えられた赤外線透過フ
ィルタ４ａや、プロジェクタ５に備えられた赤外線遮断
フィルタ５ａは不要となる。

【００７２】このように、それが照射された物体に反射
する性質を有するマイクロ波のような媒体を操作情報の
検出に利用するように構成しても、これまで説明してき
た実施の形態（赤外線を操作情報の検出に利用した例）
と同様にして本発明としての電子楽器を構成することが
可能である。

【００７３】

【発明の効果】以上、説明したように本発明は半透明面
に表示されている楽器の映像に操作体とされる例えば手
などを近づけることによって、検出される画像情報に応
じた楽音を出力することができる。すなわち、半透明面
に表示されている例えばピアノなどの楽器を、本来の演
奏方法に近い方法で疑似的に演奏することができるよう
になる。また、楽音データと楽器を表示するための画像
データを有していれば、その楽器の演奏を行なうことが
できるので、本発明の電子楽器１台で必要な分だけ楽器
を揃えることが可能になる。したがって、本発明は省ス
ペース化を実現するとともに、実際の楽器とほぼ同等の
演奏によって楽音を出力することができるという利点が
ある。

【図面の簡単な説明】

【図１】本発明の実施の形態としての電子楽器の構成例
を示す概念図である。

【図２】本実施の形態の電子楽器に備えられる制御装置
の内部構成を示す図である。

【図３】基準入力画像レベルを検出及び保持するための
処理動作を示すフローチャートである。

【図４】検出画像情報を生成するための処理動作を示す
フローチャートである。

【図５】本実施の形態の電子楽器の利用例を示す説明図
である。

【図６】図５に示す利用例を実現するための処理動作を
示すフローチャートである。

【図７】本実施の形態の電子楽器をキーボード装置とし
て演奏する場合の例を説明する図である。

【図８】本実施の形態の電子楽器をキーボード装置とし
て演奏する場合の例を説明する図である。

【図９】本実施の形態の電子楽器をキーボード装置とし
て演奏する場合の例を説明する図である。

【図１０】本実施の形態の電子楽器をキーボード装置と
して演奏する場合の打鍵速度の検出方法を説明する図で
ある。

【図１１】本実施の形態の電子楽器をキーボード装置と
して演奏する場合の処理動作を示すフローチャートであ
る。

【図１２】本実施の形態の電子楽器をキーボード装置と
して使用する場合の、音色設定、音量調整の処理動作を
示すフローチャートである。

【図１３】本実施の形態の電子楽器をギターとして演奏
する場合の例を説明する図である。

【図１４】本実施の形態の電子楽器をギターとして演奏
する場合の撥弦速度の検出方法を説明する図である。

【図１５】本発明の他の実施の形態としての電子楽器の
構成例を示す概念図である。

【符号の説明】

１電子楽器、２半透明面、３赤外線ＬＥＤパネ
ル、４ＣＣＤカメラ、５プロジェクタ、６スピー
カ、７制御装置、１０ＬＥＤ駆動部、１１画像入力
部、１２入力画像処理部、１３しきい値制御部、１
４データベース駆動部、１５データベースメモリ、
１６画像生成部、１７画像合成部、１８ＲＧＢ信
号生成部、１９音源駆動部、２０タイマ、５０キ
ーボード装置、５１鍵盤部、５２音色キー部、５３
音量キー、６０ギター、ＳＴ１〜ＳＴ４弦

Claims

【特許請求の範囲】

【請求項１】半透明面と、上記半透明面側の方向から入射する所定の波長帯域の光
又は電磁波のみを像として捉える撮像手段と、上記撮像手段から入射された撮像信号に基づいて、上記
半透明面に対して与えられた操作が反映される検出用画
像情報を生成し、この検出用画像情報に基づいて識別し
た操作情報に基づいて所要の制御処理を実行する制御処
理手段と、上記撮像手段が撮像すべき光又は電磁波の波長帯域を含
まない可視光による画像を上記半透明面に対して投影表
示可能に設けられる撮影表示手段と、少なくとも楽音を音声として発音出力可能な発音手段
と、を備え、上記制御処理手段は、少なくとも、楽器として機能する
楽器画像が上記投影手段により投影表示されるための上
記撮影手段に対する表示制御と、上記楽器画像が表示さ
れた半透明面上の領域に対して行なわれた所定の操作に
より得られる操作情報を演奏情報として認識して、この
演奏情報に基づいて楽音を発生するための上記発音手段
に対する発音制御とを実行するように構成されているこ
とを特徴とする電子楽器。
【請求項２】上記制御処理手段は、上記楽器画像とし
て鍵盤楽器を表示させる表示制御を行なうとともに、上
記演奏情報が検出された位置に対応して表示されている
鍵盤に対応する音高による楽音を発音させるための発音
制御を実行するように構成されていることを特徴とする
請求項１に記載の電子楽器。
【請求項３】上記制御処理手段は、上記演奏情報が検
出された位置に対応するとされる上記鍵盤楽器の鍵盤の
表示状態を所定の形態に変化させるための表示制御を実
行するように構成されていることを特徴とする請求項２
に記載の電子楽器。
【請求項４】上記制御処理手段は、上記演奏情報とし
て上記鍵盤楽器としての楽器画像に対する打鍵速度情報
を認識可能とされ、この打鍵速度情報に基づいて、上記
楽音の発音強度を可変制御するように構成されているこ
とを特徴とする請求項２に記載の電子楽器。
【請求項５】上記制御処理手段は、上記楽器画像とし
て弦楽器を表示させる表示制御を行なうとともに、上記
演奏情報が検出された位置に対応して表示されている弦
に対応する音高による楽音を発音させるための発音制御
を実行するように構成されていることを特徴とする請求
項１に記載の電子楽器。
【請求項６】上記制御処理手段は、上記演奏情報が検
出された位置に対応するとされる上記弦楽器の弦の表示
状態を所定の形態に変化させるための表示制御を実行す
るように構成されていることを特徴とする請求項５に記
載の電子楽器。
【請求項７】上記制御処理手段は、上記演奏情報とし
て上記弦楽器としての楽器画像に対する撥弦速度情報を
認識可能とされ、この撥弦速度情報に基づいて、上記楽
音の発音強度を可変制御するように構成されていること
を特徴とする請求項２に記載の電子楽器。
【請求項８】上記制御処理手段は、上記演奏情報とし
て上記弦楽器としての楽器画像に対する押弦位置情報を
認識可能とされ、この押弦位置情報に基づいて、上記楽
音の音高を可変する発音処理を実行するように構成され
ていることを特徴とする請求項５に記載の電子楽器。
【請求項９】上記撮像手段が受像すべき所定の波長帯
域の光又は電磁波を上記半透明面に対して定常的に輻射
する輻射手段を備えていることを特徴とする請求項１に
記載の電子楽器。