JPH04123121A

JPH04123121A - 画像入力装置

Info

Publication number: JPH04123121A
Application number: JP2243466A
Authority: JP
Inventors: Masaharu Kashii; 正治香椎; Kenichi Kobayashi; 健一小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1990-09-13
Filing date: 1990-09-13
Publication date: 1992-04-23

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はビデオカメラを用いた画像入力装置に関する。

〔発明の概要〕

本発明はビデオカメラを用いた画像入力装置に関し、動
く被写体が有する指標部材と、指標部材を撮像する撮像
手段と、撮像手段からの指標部材の撮像出力を表示する
表示手段とを具備し、指標部材を表示手段にカーソルと
して表示することで、三次元的な動きの行なえる入力操
作手段を得る様にしたものである。

〔従来の技術〕

近時、コンピュータ等の入力装置としてタッチパネルが
キーボードの代りに利用され、種々の方式が提案されて
いる。最も一般的なものは陰極線管（以下ＣＲＴと記す
）のフェース面に２枚の透明なポリエステルシートに透
明な抵抗膜導線をマトリックス状に１着し、２枚のシー
ト間にスペーサを介在させたものを貼付け、指で所定位
置を押圧すると交差する２本の線のとれかが導通するの
で、この接触点を検出する様にした抵抗膜方式のもので
ある。この方式は長い爪等でポリエステルシートに触れ
ると、傷がついたり、孔があいたりするために第７図に
示す様な光学方式のタッチパネルが一般的に広く利用さ
れている。この光学方式の構成はキャロル方式の呼ばれ
、表示画面の上下左右に位置するように複数のプリント
基板が配され、この一つのプリント基板（１ａ）上に配
列された複数個の発光ダイオードの様な発光素子（２ａ
）が赤外線ビームを発光し、その反対側のプリント基板
（１ｂ）上に配列された複数個のフォト・トランジスタ
の様な受光素子（３ａ）が受光し、また、プリント基板
（１ｃ）上に配列された複数個の発光ダイオード（２ｂ
）が赤外線ビームを発光し、その反対側のプリント基板
（１ｄ）上に配列された複数個の受光素子（３ｂ）が受
光して赤外線ビームの格子を作る。光軸に沿った各受光
素子（３ａ）　（３ｂ）と発光素子（２ａ）　（２ｂ）
には個別のアドレスを割り付けである。アドレスを指定
して各発光素子（２ａ）　（２ｂ）と、これに対になっ
ている受光素子（３ａ）　（３ｂ）を順次切換えること
により、どの発光素子が発光し、反対側のどの受光素子
がその光を検出したかがわかる様になされている。尚（
４）は発光素子を順次走査して行くための切換回路用Ｉ
Ｃであり、この様なプリント基板は枠体に収納され、Ｃ
ＲＴのフェース面の周辺に配設されている。

第８図はこの様な光学方式のタッチパネルを所定位置に
支持したときの従来の検出装置の系統図を示すものであ
る。第８図でプリント基板（１ａ）（１ｃ）上のＸ及び
Ｙ軸用の発光素子アレー（７）　（８）の発光素子群（
２ａ）　（２ｂ）には発光素子駆動回路（９）から順次
Ｘ。からＸＮ方向、Ｙｏ力方向らＹ８方向に切換走査信
号が供給され、発光素子（２ａ）　、　（２ｂ）が順次
、例えば赤外線ビームを発光する。この赤外線ビームは
ＣＲＴ　（５）のフェース面で格子状ビームを作ること
になる。プリント基板（ｌｂ）　、　（ｌｄ）上のＸ及
びＹ軸用の受光素子アレー（１０）、　（１１）の各受
光素子（３ａ）　、　（３ｂ）は順次赤外線ビームを受
光し、その光電出力をマルチプレクサ（３２）に出力す
る。ＣＲＴ（５）のフェース面にペンや指（６）等で触
れると、この部分の赤外線ビームは遮断され、検出信号
はマルチプレクサ（３２）を介して中央処理装置（以下
ＣＰＵと記す＞　（２４）に供給される。ＣＰ　ＩＪ　
（２４）はマルチプレクサ（３２）及び発光素子駆動回
路（９）の切換操作やアドレス指定及び割付などの制御
を行なう。ＣＰ　Ｕ　（２４）は通常のＲＯＭ（２５）
、ＲＡＭ（２６）等の記憶手段を有し、出力インタフェ
ース（３３）を介して出力端子（３４）に検出信号を出
力する様に成されている。

〔発明が解決しようとする課題〕

上述の第７図及び第８図で説明したタッチパネルによれ
ばキーボード等に比べて簡単な入力装置が得られるが、
入力位置はＣＲＴ　（５）のＸＹ軸内の平面内に限定さ
れるために自由度か狭い問題があった。更に表示装置の
ＣＲＴ　（５）の画面上にマウスやトラックボール等を
用いて図形画像等を入力する入力装置もよく知られてい
るが、マウスを操作する操作面とＣＲＴ　（５）上に表
示されている表示方向が水平面の動きに対し垂直方向で
あるため入力し難い等の問題があった。

本発明は叙上の問題点に鑑み成されたもので、その目的
とするところは指標部材を限定された平面内だけでなく
、三次元的に自由に移動出来て操作の自由度を拡げた画
像入力装置を得る様にしたものである。

〔課題を解決するための手段〕

本発明の画像入力装置はその例が第１図に示されている
様に、動く被写体（１）が有する指標部材（１２）と、
指標部材（１２）を撮像する撮像手段（１３）と、撮像
手段（１３）からの指標部材（１２）の撮像出力を表示
する表示手段（２２）とを具備し、指標部材（１２）を
表示手段（２２）にカーソル（３０）として表示してな
るものである。

〔作用］本発明の画像入力装置は人が持っている指標部材（以下
ポインテングデハイスと記す）をビデオカメラ等の撮像
手段を介して撮像し、このボインテングデバイスを表示
手段の画面上に映出させることで、人はボインテングデ
バイスを動かし、カーソルとして利用する様にしたので
三次元的な画像入力装置が得られて、操作範囲を拡大し
、操作の自由度の大きいものが得られる。

〔実施例〕

以下、本発明の画像入力装置の一実施例を第１図乃至第
６図について詳記する。

第１図及び第２図は本発明の画像入力装置の系統図であ
るが、この系統図を説明する前に第３図乃至第６図で本
例で使用する主要部材を説明する。

第３図は本例の画像入力装置をコンピュータゲーム等に
利用した場合の全体的な説明図である。第３図で、（１
３）はビデオカメラ等の撮像手段で、例えば、撮像素子
はＣＣＤ等で構成させ、ズーム。

アイリス、フォーカスレンズ等を有し、これらの各コン
トロールが行なえる様などデオムービ等を可とする。（
３５）は後述するも被写体（１１）のボインテングデバ
イス（１２）を検知する検知手段やコンピュータゲーム
を行うためのゲーム機器を含む電子機器であり、ゲーム
ソフト（３６）の各種画像や文字記号等のアプリケーシ
ョン（２９）は表示手段（２２）のＣＲＴ　（５）の画
面上に映出される。撮像手段（１３）は表示手段（２２
）の前面でＣＲＴ　（５）の画面を視ている動く被写体
（１１）の例えば、人が手に持ったり、服に付けている
ボインテングデバイス（１２）を人の動きと共にとらえ
て、撮像し、ポインランプデバイス（１２）をカーソル
（３０）としてＣＲＴ　（５）の画面に表示する様に成
されている。

ボインテングデハイス（１２）は第４図Ａ、Ｂ、ＣＤに
示す様に種々構成させることが出来る。第４図Ａ及びＢ
は反射部材を利用したもので第３図Ａは人が持つことの
出来る棒（１２）の上部に球状部材（１２ｂ）を固定し
、この球状部材（１２ｂ）の表面に第４図で示す様に直
径１０〜１００ミクロン程度のガラス球からなる再帰性
光学部材（１２ｃ）を貼着させる。

好ましくは第５図に示す様に球状部材（１２ｂ）或は後
述するバッジの基板（１２ｇ）上に反射銀膜（１２ｊ）
を形成し、この反射銀膜（１２ｊ）上に再帰性光学部材
（１２ｃ）を接着剤（１２ｋ）等を介して貼着させる。

この様に構成したボインテングデハイス（１２）は４５
゜以下の入射光（３７）は、はとんど入射方向に反射さ
れて光軸方向輝度を向上させることが出来る。この再帰
性部材（１２ｂ）　としてはガラス球の他にコーナキュ
ーブ等でもよく、勿論、ミラボールの様に複数の鏡の小
片を貼付けたものでもよい。第３図Ｂに示すものは人の
服や帽子に取付ける様にしたバッジの基板（１２ｇ）に
再帰性光学部材（１２ｃ）を貼着したものである。第４
図Ｃ及びＢはボインテングデハイス（１２）として発光
部材を用いたものである。発光部材としては可視光、赤
外光等を発光するランプやＬＥＤ等を用いることが出来
る。或は蛍光体等でもよい。第４図Ｃは人が持つことの
出来る筒状棒（１２ａ’）内に電池（１２ｅ）を収納し
、筒状棒（１２ａりの先端にガラス球（１２ｄ）を固定
し、ガラス球（１２ｄ）内にＬＥＤ等の発光素子（１２
ｆ）を配設し、電池（１２ｅ）で発光素子（１２ｆ）を
灯点させる様にしたものである。第４図りに示すものは
ヘアバンド（１２ｈ）或は帽子に発光素子（１２ｆ）を
取り付け、電池（１２ｅ）で点灯させる様にしたもので
、人が頭に巻付けたり、かぶったりする。勿論、　これ
らのハンドは通常の腰のバンド、ハンドバンド等であっ
てもよい。

上述の様な撮像手段（１３）及びポインランプデバイス
（１２）によって画像入力装置を構成させるための系統
図を第１図によって説明する。第１図で、動く被写体で
ある人（１１）はポインランプデバイス（１２）を持っ
て表示手段（２２）のＣＦ？　Ｔ　（５）の画面に対向
した位置に居る。撮像手段（１３）で被写体（１３）に
フォーカスを合せて撮像する。撮像手段（１３）の撮像
出力は画面合成回路（２１）と外部同期制御回路（１４
）並にポインタ検出部に供給される。外部同期制御回路
（１４）の出力はＸ軸周カウンタ（１６）及びＹ軸周カ
ウンタ（１８）に供給され、ポインテングデハイス（１
２）のＸ軸及びＹ軸位置がＸ軸及びＹ軸周カウンタ（１
６）及び（１８）でカウントされ、そのカウント出力は
表示画面発生回路（２０）、Ｘ軸位置保持回路（１７）
並にＹ軸位置保持回路（１９）に供給されて、ポインラ
ンプ検出回路（１５）からのポインランプデバイス（１
２）の位置がカウント値としてＸ軸及びＹ軸位置保持回
路（１７）及び（１８）に保持される。Ｘ軸及びＹ軸位
置保持回路（１７）及び（１９）の保持カウント位置出
力はＣＰ　Ｕ　（２４）のバス（２８）を介してＣＰＵ
　（２４）に供給される。バス（２８）にはＣＰ　Ｕ　
（２４）が通常持っているＲ　ＯＭ　（２５）　ＲＡ　
Ｍ　（２６）並にキーボード（２７）が接続され、更に
表示画面メモリ（２３）もバス（２８）に接続され、Ｃ
Ｐ　Ｕ　（２４）と表示画面（２３）間でやりとりが成
されＣＰ　Ｕ　（２４）はＸ及びＹ位置保持を表示画面
メモリ（２３）に格納する。表示画面メモＩＪ　（２３
）の出力側は表示画面発生回路（２０）に接続され、表
示画面発生回路（２０）は画面合成回路（２１）に出力
され、撮像手段（１３）の撮像出力と合成される。画面
合成回路（２１）の出力は表示手段（２２）のＣＲＴ　
（５）に供給されている。従って、被写体（１１）の像
とゲームソフト（３６）を介して入力された例えば、押
釦を表すアプリケーション（２９）と、ポインテングデ
ハイス（１２）を示すカーソル（３０）が表示手段（２
２）のＣＲＴ　（５）の画面上に表示される。

ポインラングデバイス検出回路（１５）としては種々の
方法が考えられるが例えば、ボインラングデバイス（１
２）の輝点の移動軌跡を検出するには、第２図に示す様
に成すことが出来る。第２図はＣＰＵ　（２４）とＲＡ
　Ｍ　（２６）等を含む機能ブロックを示すもので、入
力端子Ｔ、に供給した撮像手段（１３）の撮像出力を比
較回路（３９）及び合成部（３８）に供給する。この比
較部（３８）はＲＡ　Ｍ　（２６）等に格納した１フイ
一ルド或１フレーム分の撮像出力信号と次の１フイール
ド或は１フレームとの差を検出する。

例えば、フレームメモリ（２６）ではｌフィールド遅延
した撮像出力信号を比較部（３９）に戻し、現在の撮像
出力信号と比較し、その間の相違部分を合成部（３８）
で合成しフレームメモリ（２６）に書き換える様にすれ
ばポインラングデバイス（１２）の軌跡を得ることがで
きる。

上述の如き構成に於いて、被写体（１１）である人はボ
インラングデバイス（１２）の例えば、カーソル（３０
）がＣＲＴ　（５）に映出されている位置を画面上で視
ながら画面上に映出されたアプリケーション（２９）の
押釦位置に持ち来せば、ゲームソフ）　（３６）の所定
の動作が行なれわる。即ち、操作釦の動作指標としたり
、或は音を放音させたりすることが出来る。又、ボイン
ラングデバイス（１２）を移動させてマウスの様に絵を
描くことも出来るので画像入力者は空間内でポインラン
グデバイス（１２）を動かすだけで画像入力を容易に行
なうことができることになり、ポインラングデバイス（
１２）の移動範囲を平面だけでなく三次元的に拡大する
ことの出来るものが得られる。又、入力時に表示手段上
で操作が完結し、キーボードと表示画面を交互に視る必
要がなく、表示手段上のカーソルの動きはポインラング
デバイスの操作の動きと一対一に対応して解り易いもの
が得られる。更にビデオカメラのズーム等を使って１ｍ
の移動を表示手段の１ドツトに対応させることも、１ｍ
の移動を１ドツトに対応させることも自由に出来るので
検出精度も自由に設定可能となる。

第６図は本発明の画像入力装置の他の実施例を示すもの
である。通常のビデオカメラやビデオカメラ等を用いて
被写体（１１）の人が、右手に持っているボインラング
デバイス（１２）を撮像すると、表示手段（２２）のＣ
ＲＴ　（５）に映出される画像のボインラングデバイス
（１２）は左手に持って映出される。

即ち左右逆の像を視ながらカーソル（３０）を移動させ
ることになり操作しにくい、そこで第６図の様に撮像手
段（１３）の前に鏡（４０）を設け、（勿論カメラの光
学系の中に適当に入れてもよい）被写体（１工）を撮像
させれば表示手段（２２）のＣＲＴ（５）の画面上には
左右反転した像が映出され、カーソル（３０）をアプリ
ケーション（２９）等に合せ易い画像が得られる。

又、操作する人（被写体（１１））の姿や体の一部の輪
郭等を表示手段（２２）に抽出しこの輪郭の変化に応じ
てアプリケーションソフトの指令や命令を行なう様にし
てもよく、本発明の要旨を逸脱しない範囲で種々変更し
得ることは明らかである。

〔発明の効果〕

本発明によればボインラングデバイスを限定されだ二次
元平面内だけでなく三次元的に拡大しても、その動きが
検知出来て、操作の自由度を拡げた画像入力装置を得る
ことが出来る。

【図面の簡単な説明】

第１図は本発明の画像入力装置の一実施例を示す系統図
、第２図はボインラング検出回路の系統図、第３図は本
発明の画像入力装置の全体的説明図、第４図は本発明に
用いるボインラングデバイスを示す図、第５図は本発明
に用いる再帰性光学部材の説明図、第６図は本発明の画
像入力装置の他の実施例を示す模式図、第７図は従来の
夕・ンチパネルの斜視図、第８図は従来の検出回路の系
統図である。（１）は被写体、（１２）はボインラングデハイス、（
１３）は操作手段、（１５）はポインタ検出回路、（２
２）は表示装置、（２４）はＣＰＵ、（２９）はアプリ
ケーション、（３０）はカーソルである。代理人松隈秀盛不″インチ゛レク１幹払回語／）系１改ｔａ第２図 ′ｉ−、Ｖ：ｉＦ月カ画イ象入力装置ハ金り艮自勺書２
明ひコ第図木発１ｈ−らイ寥入力慕？Ｌめ忙潰寅ずシ例＆水ず縛式
図第６図不ｔｔｎタツナｊで２１Ｌ−橡斗不す図第７図

Claims

【特許請求の範囲】

　動く被写体が有する指標部材と、上記指標部材を撮像
する撮像手段と、上記撮像手段からの上記指標部材の撮
像出力を表示する表示手段とを具備し、上記指標部材を
カーソルとして上記表示手段に表示して成ることを特徴
とする画像入力装置。