JPH02132510A

JPH02132510A - 入力装置

Info

Publication number: JPH02132510A
Application number: JP63286567A
Authority: JP
Inventors: Toshiro Watanabe; 敏郎渡辺; Satoyuki Hiroi; 聡幸広井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1988-11-12
Filing date: 1988-11-12
Publication date: 1990-05-22

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、コンピュータの入力装置に関するもので、
特に、マンマシンインターフェースの向上がはかれる入
力装置に係わる。

〔発明の概要〕

この発明は、入力装置において、基準座標設定手段と、
可動の被写体を措像する盪像手段と、撮像手段の出力信
号を画像処理する画像処理手段と、画像処理手段によっ
て画像処理された信号から基準座標に対する被写体の相
対座標を検出する手段とを有し、検出手段の出力に基づ
いてコンピュータの指令信号を形成するようにすること
により、マンマシンインターフェースの向上がはかれる
ようにしたものである。

［従来の技術］人間の意志をそのまま反映でき、親しみ易《、マンマシ
ンインターフェースの優れたコンピュータの操作環境を
開発していくことが望まれている．そのためには、人間
の意志を直接的に反映できる入力装置の開発が要望され
る。

コンピュータの入力装置としては、従来、キーボード、
マウス、ジョイスティック、タッチパネル等が使われて
いる。しかしながら、キーボード、マウス、ジョイステ
ィック等の入力装置は、特殊な機器を用いて間接的に入
力を行うものであり、特に、コンピュータに不慣れなユ
ーザーにとっては、人間の意志をそのまま反映できるも
のとは言えない．また、タッチパネルでは、ディスプレ
イ上に透明電極を設ける必要があるとともに、解像度が
限定されており、厳密な入力作業を行えない。

〔発明が解決しようとする課題〕

このように、従来の入力装置は、特殊な機器を用いて間
接的に入力を行うもので、特に、コンピュータに不慣れ
なユーザーにとっては、自分の意志が十分反映されず、
マンマシンインターフェースが十分優れているとは言え
ない．したがって、この発明の目的は、ユーザーの意志を反映
して直接的に入力が行え、マンマシンインターフェース
の優れた入力装置を従供することにある。

〔課題を解決するための手段〕

この発明は、基準座標設定手段と、可動の被写体を撮像
する撮像手段と、撮像手段の出力信号を画像処理する画
像処理手段と、画像処理手段によって画像処理された信
号から基準座標に対する被写体の相対座標を検出する検
出手段とを有し、検出手段の出力に基づいてコンピュー
タの指令信号を形成するようにした入力装置である。

（作用〕例えば手の動きがビデオカメラで撮像され、手の位置座
標が求められる．この位置座標を基に、コンピュータ入
力がなされる。このように、特別な機器を介さず、直接
的にコンピュータ入力を行えるので、マンマシンインタ
ーフェースが向上され、使い易く、人間の意志を反映し
た入力が行える．〔実施例］以下、この発明の一実施例について図面を参照して説明
する．第１図はこの発明の第１の実施例を示すものである。第
１図において、デスク１上には、コンピュータ本体２及
びディスプレイ３が載置されるとともに、指示板４が載
置される。この指示板４は、青色又は黒色で均一に着色
されている。デスク１の上方に、指示板４が十分撮像で
きるように、ビデオカメラ５が配置される。ビデオカメ
ラ５は、コンピュータ本体２に接続される．ユーザー６が自分の手７を指示板４上に置くと、指示板
４上に置かれた手７の情報がビデオカメラ５で撮像され
る。ビデオカメラ５の撮像出力がコンピュータ本体２に
入力される。コンピュータ本体２には、後に詳述するよ
うに、画像入力からコンピュータ人力を行えるようにす
るためのプリプロセッサが設けられている。このプリプ
ロセッサにより指示板４上の手７の座標が算出され、指
示板４上に置かれたユーザー６の手７の位置情報から、
例えばマウス等のボインティングデバイスと同様な要領
でコンピュータ入力を行える。

つまり、例えば、握り拳の中心位置でカーソルの移動距
離が示され、１本指でクリック、２本指でダブルクリッ
ク、４本指でカーソルの範囲の縮小、５本指でカーソル
の範囲の拡大が指示できる。

ディスプレイ３上には、例えば第２図に示すように、ア
イコン１１、１１、１ｌ・・・が表示される。

指示仮４上に手を握った状態で手７を置くと、手の像１
２がスーパーインポーズされて表示される。

手の像１２の拳の中心座標位置に対応して、手の像１２
上にカーソルｌ３が表示される。手７を指示板４上で動
かし、手の像ｌ２上のカーソル１３をアイコン１１上に
動かしていくことで、コマンドが選択される．例えば、
第３図に示すように、手７の指を１本出すと、指８の先
端１４が検出される．これにより、クリックされた状態
になり、アイコン１ｌで選択されたコマンドが入力され
る。

このように、この発明の第１の実施例では、ビデオカメ
ラ５からの画像入力から、コンピュータ入力が行える。

このことについて詳述する。

第４図は、ビデオカメラ５で撮像された画像信号を使っ
てコンピュータ入力を行わせるための処理を行うブリプ
ロセッサの構成を示すものである。

第４図において、ビデオカメラ５で指示板４が撮像され
、このビデオカメラ５の撮像出力信号が画像メモリ２ｌ
に取り込まれる．画像メモリ２１の出力が画像処理回路
２２に供給される．画像処理回路２２では、ローカルメ
モリ２３との間でデータのやりとりを行いながら、第５
図に示すような処理が行われる。これにより、指示板４
上に置かれた手７の指先位置情報が得られる．つまり、第５図に示すように、画像処理回路２２に画像
信号が入力されると（ステップ１０１）、この画像信号
が白色と黒色に２値化される（ステップ１０２）。この
２値化処理は、例えば所定値以上の青色が検出されるか
どうかにより行われる．すなわち、指示板４を例えば青
色とした場合には、青色の指示板４の部分の信号は青色
を多く含むので、黒色となる．これに対して、手７の部
分の信号は赤色成分を多く含み、青色を殆ど含まないの
で、白色となる。

この２値化された画像が細線化処理され、取り込まれた
画像のスケルトンが形成される（ステップ１０３）．こ
のスケルトンは例えば黒色の線で描かれ、背景が白色と
される．このスケルトンから、画像の端点が検出される（ステッ
プ１０４）。端点の検出処理は、例えば、各画素の中か
ら黒となる画素を検出し、黒となる画素の上下（２方向
）、左右（２方向）、斜め（４方向）の計８方向の連続
する画素が黒か白かにより判断していくことによりなさ
れる。すなわち、スケルトンの線は黒色であり、スケル
トンの端点ては、１方向にだけ線が連続しているので、
黒色となる画素で、その周囲の１つの画素が黒色で、他
の周囲の画素が白色となる画素が端点と判断される。

このような処理により、手７の指先の位置座標が得られ
る．この位置情報は、コンピュータ２４に入力される。コン
ピュータ２４に接続されたディスプレイ３に、この座標
位置がカーソルとして表示される。

これとともに、画像メモリ２１に蓄えられている画像信
号がディスプレイ３に表示される。

例えば、第６図Ａに示すような手の画像１５Ａが画像メ
モリ２ｌに取り込まれたとする．この画像１５Ａが２値
化される。このような２値化処理により、第６図Ｂに示
すように、背景となる指示板４の部分が黒色（斜線で示
す）になり、手の画像１５Ｂの部分が白色となる。この
２｛ｉ化された信号が細線化処理され、第６図Ｃに示す
ようなスケルトン１５Ｃが形成される．このスケルトン
１５Ｃから、指先の位置座標が算出される。ディスプレ
イ３には、第６図Ｄに示すように、画像メモ１Ｊ２１に
取り込まれた手の画像１５Ｄが表示されるとともに、指
先の位置座標に対応するカーソルｌ６、１６、１６、・
・・が表示される。

なお、上述した説明では、コンピュータ２４に指示板４
上の千７の指先の位置情報だけが入力されているが、コ
ンピュータ２４には、手７の指先の位置情報だけでなく
、手７の位置座標の基準となる指示板４の位置情報が人
力される。また、手７の静的な位置情報ばかりでなく、
手７の動きをコンピュータ入力に用いることもできる。

つまり、第７図に機能ブロック図で示すように、画像入
力部１１１の出力を基に、ボード位置検出部１１２で指
示板４の位置座標が検出され、指示板４の位置情報が得
られる。また、画像入力部１１１の出力を基に、指の位
置検出部１１３で指示板４の位置座標を基準とした手７
の指先の位置座標が検出され、手７の指先の位置情報が
得られる。

更に、手７の指先の位置座標の変化が動き検出部１１４
で検出され、しきい値処理部１１５で、しきい値以上の
動きが検出されるかどうかが検出される。これにより、
手７の動き情報が得られる。

このように手７の動き情報をコンピュータ入力として取
り込めば、運動速度を検知したりすることが可能である
。また、このような手７の動きによるコンピュータ入力
は、人間的な情報の入力を可能にする．例えば、手話入
力や、手の動きに応じて音楽再生を行うフィンガーミュ
ージックの実現を可能とする。また、例えば、手７の代
わりに、人間の顔をビデオカメラで撮像し、顔の動きに
よりコンピュータ入力を行うことも可能である。このよ
うにすると、人間の感情を直接コンビ，１−夕入力させ
ることができる。

勿論、ペンやスティック等の器具を使って入力を行うこ
とも可能である。

第８図はこの発明の第２の実施例を示すものである。前
述の第１の実施例は、ビデオカメラ５で指示板４を盪像
し、指示板４上に手７を置くことにより、マウスのよう
なボインティングデバイスと同様の操作を行えるように
したものである。これに対して、この第２の実施例では
、キーボード、或いはディスプレイ上にタッチパネルを
配置したのと同様の操作でコンピュータ入力を行えるよ
うにしたものである。

第８図において、デスク３１上には、コンピュータ本体
３２が載置されるとともに、ディスプレイ３３がその表
示部が上方を向くように載置される。デスク３１の上方
に、ディスプレイ３３の表示部が十分撮像できるように
、ビデオカメラ３５が配置される．ビデオカメラ３５は
、コンビュ〜夕本体３２に接続される。

ディスプレイ３３上には、例えば第９図Ａに示すような
「かな」を示す表示４１Ａ、「英字」を示す表示４１Ｂ
、「数字」を示す表示４１Ｃが映し出される。ディスプ
レイ３３上にユーザーの手３７の指先が置かれると、こ
の手３７の像がビデオカメラ３５で撮像される．ディス
プレイ３３上の手３７の指先の座標は、前述の一実施例
と同様の処理により求められる．ディスプレイ３３上に
は、手３７の指先の置かれている座標に対応してカーソ
ル４２が表示される。手３７の指先を例えば「数字」を
示す表示４１Ｃ上に置くと、カーソル４２が「数字」を
示す表示４１Ｃ上に合敗し、第９図Ｂに示すようなテン
キー表示４３に変わる．このテンキー表示４３上の所望
のキー上に手３７の指先を置くと、押されたテンキー上
にカーソル４２が移動され、押された数字の入力がなさ
れる．このように、この実施例では、ディスプレイ３３
上に映し出されるキー表示４３上に指先を置いていくこ
とにより、キーボードと同様の操作で、或いは、タッチ
パネルをディスプレイ上に配設したのと同様の操作でコ
ンピュータ入力を行える．なお、タッチパネルでは、精
度が透明電掻に配置されているセルの大きさに依存して
おり、精度の向上が難しい。これに対して、この実施例
では、ビデオカメラ３５で撮像した撮像出力から位置情
報を求めるようにしているので、高い精度で位＝情報が
得られる。

第１０図はこの発明の第３の実施例を示すものである。

この実施例は、特に、ラップトップ型のように、ディス
プレイの大きさが制限されている場合に用いて好適であ
る。

第１０図において、ラップトップ型のコンピュータ５０
には、出力用のディスプレイ５工と、入力用のディスプ
レイ５２とが備えられている。出力用のディスプレイ５
１としては高精細度のものを用いることが望まれる。こ
れに対して、人力用のディスプレイ５２は、低精細度の
ものでも良い．入力用のディスプレイ５２の画面は、ミ
ラー５３を介して、ビデオカメラ５４で川像される。

出力用のディスプレイ５１には、キー等の必要な表示が
なされる．そして、入力用のディスプレイ５２には、こ
の出力用のディスプレイ５１の表示の一部が拡大されて
表示される。ユーザーが入力用のディスプレイ５２の表
示上に手５５の指先を置くと、手５５の指先の座標が求
められ、これにより、コンピュータ入力がなされる。そ
して、ビデオカメラ５４で撮像された画面が出力用のデ
ィスプレイ５１に縮小表示される。

このように、この実施例では、出力用のディスプレイ５
ｌの表示の一部が拡大されて入力用のディスプレイ５２
に表示される。ラップトップ型のようにディスプレイの
大きさが限られる場合には、手の大きさに対して表示の
大きさが小さくなりがちである。このため、指先を必要
な位置に正確に置けないことが多い。このように、出力
用のディスプレイ５１の表示の一部を拡大して入力用の
ディスプレイ５２に表示することにより、指先庖正確な
位置に置《ことができる。

〔発明の効果〕

この発明によれば、ビデオカメラで撮像された例えば手
の位置に応じて、コンピュータ入力が行える。このよう
に、特別な機器を用いずに、直接的にコンピュータ入力
が行えるので、マンマシンインターフェースが向上され
、使い易《、人間の意志が直接反映するようなコンピュ
ータを実現していくことができる．

【図面の簡単な説明】

第１図はこの発明の第１の実施例の斜視図，第２図はこ
の発明の第１の実施例の説明に用いる路線図，第３図は
この発明の第１の実施例の説明に用いる斜視図，第４図
はこの発明の第１の実施例のブロック図，第５図はこの
発明の第１の実施例の説明に用いるフローチャート，第
６図Ａ〜第６図Ｄはこの発明の第１の実施例における画
像処理の説明に用いる略線図．第７図はこの発明の一実
施例の説明に用いる機能ブロック図，第８図はこの発明
の第２の実施例の斜視図，第９図Ａ及び第９図Ｂはこの
発明の第２の実施例の説明に用いる略線図．第ｌＯ図は
この発明の第３の実施例の斜視図である．図面における主要な符号の説明２，３２：コンピュータ本体，

Claims

【特許請求の範囲】　基準座標設定手段と、可動の被写体を撮像する撮像手段と、該撮像手段の出力信号を画像処理する画像処理手段と、該画像処理手段によって画像処理された信号から上記基
準座標に対する上記被写体の相対座標を検出する検出手
段とを有し、該検出手段の出力に基づいてコンピュータの指令信号を
形成するようにした入力装置。