JPH06301475A - 位置検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像を取り込んで複数の異なる検出対象の位
置を区別して検出する位置検出装置を提供する。 【構成】 ＣＣＤ３０は複数の異なるペンライトを含む
画像を取り込む。輝度検出回路３８Ａ〜３８Ｃは画像中
の赤、緑、または青の最高輝度で示されるペンライトの
位置を検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はパーソナルコンピュー
タ、ゲーム機、電子楽器等に利用可能な位置検出装置に
関する。

【０００２】

【従来の技術】従来より種々の位置検出装置が知られ
る。例えば、タッチパネルではパネル上に外部からの指
等による押圧あるいは接触に感応してその位置を検出す
る機構が設けられている。また、マウスでは、マウスの
移動量、方向を計測してスクリーンカーソルの位置を検
出する。しかしながら、いずれの従来技術もこの発明の
ような独自の方式で位置を検出するものではない。

【０００３】

【発明が解決しようとする課題】すなわち、この発明の
目的は従来にない位置検出原理に基づく位置検出装置を
提供することである。具体的なこの発明の目的は、画像
入力方式の位置検出装置において画像中の複数の異なる
検出対象の位置を区別して検出可能にすることである。

【０００４】

【課題を解決するための手段、作用】この発明によれ
ば、画像を取り込む撮像手段と、取り込んだ画像におけ
る複数の異なる特異点の位置を区別して検出する位置検
出手段と、を有することを特徴とする位置検出装置が提
供される。この構成によれば、画像を取り込み、取り込
んだ画像中複数の異なる特異点の位置を区別して検出す
ることができる。このように、位置検出のために画像入
力を用いる方式は従来、全くなかった新規な方式であ
る。

【０００５】この発明の一態様として、互に発光スペク
トルが異なる発光源を有する複数の異なる特異点を含む
画像を取り込んで、各発光スペクトルに対する画像デー
タを形成する手段と、前記各発光スペクトルに対する画
像データの各画素の強度を計測して前記複数の異なる特
異点の位置を区別して検出する位置検出手段と、を有す
ることを特徴とする位置検出装置が提供される。これ
は、特異点（検出対象）ごとの発光スペクトルの違いを
利用して複数の異なる特異点の位置を区別して検出した
ものである。

【０００６】

【実施例】以下、図面を参照してこの発明の実施例を説
明する。この実施例はこの発明を電子楽器に応用した例
である。図１に実施例の位置検出装置の使用状況の概要
を示す。撮像部を内蔵する位置検出装置２の前で演奏者
４が複数の異なるペンライト２０Ａ、２０Ｂ（特異点）
を振る。この画像は位置検出装置２に取り込まれる。位
置検出装置２は取り込んだ画像のなかで特異点である複
数のペンライト２０の位置（正確にはペンライト先端の
ランプ位置）を区別して検出する。検出した各特異点の
位置が仮想楽器モデル世界内の楽器操作エリア（例えば
ドラムセットのシンバル操作位置）に入ったら、該当す
る楽器音を発生させる。更に、位置検出装置２は、ディ
スプレイ６に仮想楽器モデル世界の画像と演奏者４から
の実画像とを合成して表示させる。

【０００７】図２と図３に示すように、位置検出装置２
は前面（図２）に、電源スイッチ１０、撮像部のレンズ
１２が設けられ、裏面にはＡＣアダプタに接続される電
源端子１４、サウンドシステム（図示せず）に接続され
るオーディオ出力端子１６、ディスプレイ６に接続され
るビデオ出力端子１８が設けられる。

【０００８】この実施例に従い、複数の異なる検出対象
（特異点）として複数の異なるペンライトが用意され
る。図４に３つのペンライト２０Ａ、２０Ｂ、２０Ｃを
示す。これらのペンライトは先端に互いに異なる発光ス
ペクトルの光を発生する発光素子（ＬＥＤ）を有する。
例えば、第１のペンライト２０ＡのＬＥＤ２２ａは赤色
を発光し、第２のペンライト２０ＢのＬＥＤ２２ｂは緑
色を発光し、第３のペンライト２０ＣのＬＥＤ２２ｃは
青色を発光する。各ペンライトのＬＥＤのオンオフはペ
ンライト側部のスイッチ２４で行われる。

【０００９】図５に位置検出装置２の回路構成を示す。
演奏者４からの実画像はレンズ１２を介してＣＣＤ３０
に取り込まれる。タイミング回路３４により制御される
ドライバ３２はＣＣＤ３０に駆動パルスを与えてＣＣＤ
３０の各素子に光電変換を実行させる。この結果、ＣＣ
Ｄ３０からは実画像を色成分別（例えば赤、緑、青）に
表わす電気信号が出力され、信号処理回路３６に入力さ
れる。信号処理回路３６はＣＣＤ３０からの信号を反転
処理し、テレビジョンの３原色信号を反転した信号に相
当する信号（反転実画像カラー信号）を形成する。３つ
の反転実画像カラー信号は画像合成回路に供給される。
また、３つの反転実画像カラー信号のうち、Ｒ信号はＲ
輝度検出回路３８Ａに、Ｇ信号はＧ輝度検出回路３８Ｂ
に、Ｂ信号はＢ輝度検出回路３８Ｃに供給される。

【００１０】一方ＣＧ発生器４２はビデオＲＡＭ４４か
らのデジタルＣＧ画像データを処理し、仮想画像（コン
ピュータグラフィクス画像）を表わす３原色ＲＧＢ信号
（仮想画像カラー信号）を形成する。この仮想画像カラ
ー信号は画像合成回路４０に供給される。

【００１１】ＣＧ発生器４２と信号処理回路３６の動作
を同期させるために（仮想画像カラー信号と反転実画像
カラー信号の各走査を同期させるために）、タイミング
回路３４から所定のタイミング信号がＣＧ発生器４２と
信号処理回路３６に供給される。

【００１２】画像合成回路４０は仮想画像と反転実画像
とを合成するものである。このために、画像合成回路４
０は、内部のアナログスイッチにより仮想画像カラー信
号（の画素）が白画素のときは反転実画像カラー信号
（の画素）を選択し、仮想画像カラー信号の画素が白画
素でないときは仮想画像カラー信号を選択する。画像合
成回路４０からのカラー（ＲＧＢ）信号はＲＧＢ／複合
ＮＴＳＣ変換回路４１により複合ビデオＮＴＳＣ信号に
変換された後、ビデオ出力端子１８に出力される。

【００１３】この実施例は電子楽器への応用例であるの
で、仮想画像は楽器に関するものである。仮想画像の画
面構成は、図８に示すようにバックグラウンド面１００
とイベント時に重ね合わされるスプライト面１０２から
成る。スプライト面１０２はバックグラウンド面１００
におけるいずれかの楽器が実画面１０８の演奏者４のペ
ンライト２０により仮想的に操作された（打たれた）と
きに操作に係る楽器近くに表示されるよう、バックグラ
ウンド面１００と重ね合わされる。ビデオＲＡＭ４４に
は選択された楽器ゲーム（例えばドラムゲーム）に関す
るバックグラウンド面の画像データとスプライト面の画
像データとが記憶されており、両画像データの合成はマ
イコンシステム４６の制御の下に、ＣＧ発生器４２によ
って行われる。

【００１４】なお、楽器ゲームの選択時に、マイコンシ
ステム４６からＣＧ発生器４２を介してビデオＲＡＭ４
４に選択楽器ゲームに係るバックグラウンド面の画像デ
ータとスプライト面の画像データがセットされる。これ
に関連し、マイコンシステム４６は種々の楽器ゲームに
関するデータメモリとしてＲＯＭ４８を有している。

【００１５】また、バックグラウンド面の楽器以外の部
分（背景）は白であり、上述した画像合成回路４０の合
成により、反転実画面１０８の演奏者の手前に楽器（ド
ラムセット）がくるように重ねられた合成画面１０６が
得られる。演奏者４の複数のペンライト（例えば赤色ペ
ンライト２０Ａと緑色ペンライト２０Ｂ）の位置を区別
して検出するために、Ｒ輝度検出回路３８Ａ、Ｇ輝度検
出回路３８Ｂ、Ｂ輝度検出回路３８Ｃが設けられる。Ｒ
輝度検出回路３８Ａは赤色ペンライト２０Ａの位置を検
出し、Ｇ輝度検出回路３８Ｂは緑色ペンライト２０Ｂの
位置を検出し、Ｂ輝度検出回路３８Ｃは青色ペンライト
２０Ｃの位置を検出する。各輝度検出回路は、信号処理
回路３６からの入力信号が異なる点（Ｒ輝度検出回路３
８Ａには反転実画像のＲ信号、Ｇ輝度検出回路３８Ｂに
は反転実画像のＧ信号、Ｂ輝度検出回路３８Ｃには反転
実画像のＢ信号が供給される点）を除き、回路構成は同
一である。

【００１６】各輝度検出回路の回路構成を参照番号３８
として図６に示す。輝度検出回路３８には信号処理回路
３６から反転実画像のＲ、ＧまたはＢ信号（ＮＴＳＣ信
号）が入力される。また、タイミング回路３４からフレ
ームクロックＶＣＫ、行クロックＲＣＫ、列クロックＨ
ＣＫが供給される。図７のタイミングチャートに示すよ
うに、フレームクロックＶＣＫはＮＴＳＣ信号の１フレ
ーム（１画面、２フィールド）ごとに発生する。行クロ
ックＲＣＫはＮＴＳＣ信号の１走査線期間ごとに発生す
る。列クロックＨＣＫはＮＴＳＣ信号の１走査線中の映
像期間（輝度信号期間）の間に２５６回発生する。いい
かえると、列クロックＨＣＫは水平を２５６画素とみた
ときに各画素位置で発生する。

【００１７】反転実画像ＮＴＳＣ信号は輝度検出回路３
８のＡＤＣ５０によりアナログ／デジタル変換され、列
クロックＨＣＫで動作するサンプリングレジスタ５２に
より、各画素のデジタル値がサンプリングされる。サン
プリングレジスタ５２の出力は大小比較器５４に供給さ
れる。大小比較器５４はサンプリングレジスタ５２の出
力値と（フレームクロックＶＣＫでリセットされる）ピ
ークホールドレジスタ５６の内容とを比較し、サンプリ
ングレジスタ５２の出力値の方が大きいとき、比較クロ
ック出力を発生し、ピークホールドレジスタ５６に新た
なピークであるピークホールドレジスタ５６の出力を取
り込ませる、とともに列レジスタ６０と行レジスタ６４
をクロック動作させる。

【００１８】一方、列カウンタ５８は行クロックＲＣＫ
ごとにリセットされ、列クロックＨＣＫをカウントす
る。行カウンタ６２はフレームクロックＶＣＫでリセッ
トされ、行クロックＲＣＫをカウントする。

【００１９】したがって、１フレーム（１画面）のなか
で赤、緑、または青の成分について最高輝度をもつ画素
の位置が各輝度検出回路３８Ａ、３８Ｂ、３８Ｃで検出
されることになる。すなわち、最高輝度の画素のタイミ
ングで、大小比較器５４から比較クロック出力が発生
し、この比較クロック出力により、列レジスタ６０はそ
の時点の列カウンタ５８の列カウント（最高輝度画素の
列座標）を取り込み、行レジスタ６０はその時点の行カ
ウンタ６２の行カウント（最高輝度画素の行座標）を取
り込む。

【００２０】したがって、Ｒ輝度検出回路３８Ａは赤色
ペンライト２０Ａの位置（正確には赤色ＬＥＤの位置）
を検出し、Ｇ輝度検出回路３８Ｂは緑色ペンライト２０
Ｂの位置を検出し、Ｂ輝度検出回路３８Ｃは青色ペンラ
イト２０Ｃの位置を検出する。列レジスタ６０と行レジ
スタ６４の出力はマイコンシステム４６のポートに接続
される。

【００２１】ペンライト、例えば赤色ペンライト２０Ａ
が使用されておらず、画像に赤色ペンライト２０Ａが含
まれない場合でも、輝度検出回路（Ｒ輝度検出回路３８
Ａ）はその画像中の赤色最高輝度の値と位置を検出す
る。しかし、その場合の最高輝度（ピークホールドレジ
スタ５６の内容）は赤色ペンライト２０Ａの赤色ＬＥＤ
２２ａからの輝度より十分低いと考えられる。したがっ
て、ピークホールドレジスタ５６の輝度出力をマイコン
システム４６に与えるようにし、マイコンシステム４６
において輝度出力値を適当なしきい値と比較することに
より、実際に画像中で赤色ペンライト２０Ａが使用され
ているかどうかを判別することができる。他の色のペン
ライトについても同様である。

【００２２】ただし、この実施例では、演奏者４からマ
イコンシステム４６に対し、各ペンライトの使用・不使
用をモード設定部４６Ａを介して設定するようになって
いる。マイコンシステム４６はタイミング回路３４から
のフレームクロックＶＣＫに応答して図９に示すような
Ｖインタラプトルーチンを実行する。

【００２３】まず、ステップ９−１〜９−３で各輝度検
出回路３８Ａ〜３８Ｃの行列値（赤、青、緑の最高輝度
の位置データ）を読み込む。赤色ペンライト２０Ａが使
用されているなら（ステップ９−４）、ステップ９−１
で読み込んだ位置データは赤色ペンライト２０Ａの位置
を示している。そこでステップ９−５に示す赤色ペンラ
イト処理（Ｒ処理）を実行する。まず、エリアテスト９
−６を行う。エリアテスト９−６では選択楽器ゲームの
各楽器の操作エリアデータ（ＲＯＭ４８上）と赤色ペン
ライト２０Ａ（第１の特異点）の位置データとを比較
し、新たに赤色ペンライトが操作エリアに入ったときに
イベントフラグを立て、該当するイベントの種類（例え
ばハイハット、ドラム）をセットする。ステップ９−７
でイベントフラグが立っていれば、ステップ９−８でイ
ベントの種類に対応したスプライト表示指示をＣＧ発生
器４２に与える。これは、スプライト面１０２の表示位
置データを含むスプライト表示コマンドをＣＧ発生器４
２に送ることで行われる。これを受けてＣＧ発生器４２
はバックグラウンド面上にスプライト面１０２を指示さ
れた位置に重ね合わせ、そのＲＧＢ信号を形成する。こ
の結果、例えば、図８の１０８に示すようにシンバルが
ペンライトで仮想的（間接的）に打たれたときはシンバ
ルの上方に音符スプライト面が表示される。

【００２４】更にマイコンシステム４６はステップ９−
９で該当するイベントの種類に対応する楽器の音色デー
タ（ＲＯＭ４８上）を含む発音指示コマンドを音源４８
に送る。これを受けて音源４８は対応する楽音信号を発
生する。この楽音信号はオーディオ出力端子１６を介し
て外部に出力される。

【００２５】同様に、緑色ペンライト２０Ｂが使用され
ているなら（９−１０）、Ｒ処理９−５と同様なペンラ
イト処理９−１１（Ｇ処理）を緑色ペンライトの位置に
ついて実行し、青色ペンライト２０Ｃが使用されている
なら（９−１２）、Ｒ処理９−５と同様なペンライト処
理９−１３（Ｂ処理）を青色ペンライトの位置について
実行する。以上で実施例の説明を終えるがこの発明の範
囲内で種々の変形、応用が可能である。

【００２６】例えば、特異点とその検出方式について、
ペンライト以外のもの、輝度検出方式以外の方式が可能
である。例えば、複数の異なる特定の形状（例えば星印
と四角）を複数の特異点（検出対象）として、取り込ん
だ画像から各特定の形状とその位置を認識することがで
きる。

【００２７】また、特異点の種類によって異なる出力制
御を行うこともできる。例えば、赤色ペンライト２０Ａ
がシンバルを（間接的に）打ったときは、第１の音色の
音を発生させ、緑色ペンライト２０Ｂが同じシンバルを
打ったときは第１の音色とは異なる音を発生させること
が可能である。また、赤、青、緑以外の色のペンライト
の位置を検出することも実施例の容易な変形で達成でき
る。

【００２８】また、実施例ではディスプレイに表示され
る画面の一部を反転実画像としているが、実画像に代
え、適当なＣＧ（コンピュータグラフィックス）画像を
用いてもよい。あるいは実画像を処理して、ＣＧ画像を
形成してもよい。これにより、バックグラウンドのＣＧ
画像と実画像に基づくＣＧ画像の画質を合わせることが
できる。この発明は楽器ゲームに限らず、その他の種々
のゲーム機やパーソナルコンピュータ装置に応用可能で
ある。

【００２９】

【発明の効果】以上詳細に述べたように、この発明では
画像を取り込み、取り込んだ画像中の複数の異なる特異
点（検出対象）の位置を区別して検出しているので従来
にない新規な位置検出装置を提供することができる。ま
た、検出した複数の特異点の位置に基づいて所望の出力
を制御することにより、種々のアプリケーションへの応
用が可能である。

【図面の簡単な説明】

【図１】実施例の位置検出装置の使用例を示す概要図。

【図２】位置検出装置の正面を示す図。

【図３】位置検出装置の背面を示す図。

【図４】赤、緑、青のペンライトの外観を示す図。

【図５】位置検出装置の回路構成を示すブロック図。

【図６】輝度検出回路の構成を示すブロック図。

【図７】輝度検出回路に入力される信号のタイミングチ
ャート。

【図８】画面の構成、重ね合わせ、及びスプライト面の
制御を説明する図。

【図９】マイコンシステムの動作を示すタイムチャー
ト。

【符号の説明】 ３０ ＣＣＤ（撮像手段） ３８Ａ Ｒ輝度検出回路 ３８Ｂ Ｇ輝度検出回路 ３８Ｃ Ｂ輝度検出回路 ３８Ａ〜３８Ｃ （位置検出手段） ２０Ａ〜２０Ｃ ペンライト（複数の異なる特異点）

Claims (2)

【特許請求の範囲】
1. 【請求項１】画像を取り込む撮像手段と、 取り込んだ画像における複数の異なる特異点の位置を区
   別して検出する位置検出手段と、 を有することを特徴とする位置検出装置。
2. 【請求項２】互に発光スペクトルが異なる発光源を有す
   る複数の異なる特異点を含む画像を取り込んで、各発光
   スペクトルに対する画像データを形成する手段と、 前記各発光スペクトルに対する画像データの各画素の強
   度を計測して前記複数の異なる特異点の位置を区別して
   検出する位置検出手段と、 を有することを特徴とする位置検出装置。