JPH04137027A - コンピュータの入力装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はコンピュータに対して画像により指示データを
入力するための装置に関する。

（従来の技術］ コンピュータの入力手段としてはキーボードが古くから
知られており、我が国においても広く普及している。こ
こにキーボードの配列はタイプライタ−に習熟した者に
とってはその操作は比較的容易であるが、タイプライタ
−に触れたことのない者にとって、そのキー配列を覚え
るだけでも長時間の訓練が必要である。

そこで画像上の座標をポイントするという形式の人力手
段も従来から使用されている。その例としては、タッチ
パネル、ライトペン、マウスが知られている。

〔発明が解決しようとする課題］ タッチパネルは接触する指の表面の水分が存在しないと
入力不能であり、ライトペンは入力座標の精度が低いと
いう問題がある。また、マウスは可動部を含む構成とな
っているため耐久性に限界がある。さらにタッチパネル
、ライトペン、マウスは信号ラインが必要であり、耐久
性、作業性に課題がある。

また研究室レベルでは赤外線投光器による座標入力等の
実験も行われているが、照明条件の制約が厳しい等の問
題があり、実用レベルに至っていない。

本発明は構成が簡単であるとともに操作が簡単であり、
かつ充分な耐久性を有し、しかも多様な指令データの入
力が可能である入力装置を提供することを目的としてい
る。

（課題を解決する手段） 本発明に係るコンピュータの人力装置は、人体による指
示状態の画像を画像処理することによってコンピュータ
に対して指令データを与えることを特徴としている。

〔実施例〕

以下図示実施例により本発明を説明する。

第１図は本発明の一実施例に係る入力装置を示す。ビデ
オカメラ１１はケーブル１２を介してコンピュータ１３
に接続されており、また蛍光灯スタンド１４に固定され
ている。コンピュータ１３は従来周知のノート型コンピ
ュータであり、例えば液晶デイスプレィ１５とキーボー
ド１６を有する。本実施例においてコンピュータ１３に
対する処理の開始および終了等の種々の指令データおよ
び処理データはキーボード１６から入力される。

指令データは後述するように人体の動作あるいは姿勢等
に基づいて与えられ、コンピュータ１３は画像処理を行
なって、この指令データを認識する。

すなわちコンピュータ１３には、画像処理を行うための
ボード（以下、画像処理装置という）が設けられている
。なお、蛍光灯スタンド１４は従来周知のものであるが
、これに代えて他の照明装置を用いてもよい。

第２図は、人体の一部である手を上げることによりコン
ピュータ１３に対して指示データを与えるルーチンを示
す。第１図に示すような蛍光灯スタンド１４ではなく、
指示者を照明するライトを設けることが好ましく、また
ビデオカメラ１１を三脚等に固定する必要がある。

まず、ステップ１０１からステップ１０６を説明する。

ここは、背景のみの画像の処理が行なわれる段階を示す
。キーボード１６により処理開始の指令データを入力す
ると、ステップ１０１で背景入力のメツセージがコンピ
ュータのデイスプレィ１５上に表示される。ステップ１
０２では、画像が取り込まれ、ステップ１０３において
画像処理装置により画像の最適２値化が行なわれる。ス
テップ１０４では、最適２値化されたことを示す確認メ
ツセージがデイスプレィ１５に表示される。

指示者が背景を確定すべきでないと判断した場合、手を
カメラ１１に映すなどして画像に変化を与える。ステッ
プ１０５において、その画像の変化量が所定値より大き
いと判断されると、背景画像は確定せず、ステップ１０
１〜１０４の処理が繰り返される。これ対し指示者が背
景を確定すべきと判断した場合、画像に変化を与えない
。この結果、ステップ１０５において画像の変化量が所
定値より小さいと判断され、ステップ１０６において背
景画像が確定する。

次にステップ１０７からステップ１１４までを説明する
。ここは、ステップ１０６で確定した背景に、指示を与
える前の人物の画像が取り込まれ、その画像処理が行わ
れる段階を示している。ステップ１０７で指示者の画像
がカメラを介して取り込まれ、ステップ１０８で人物の
輪郭を鮮明化するために微分処理が行なわれる。ステッ
プ１０９では画像の２値化が行なわれ、その後ステップ
１１０でＸ方向、Ｙ方向に濃度投影が行なわれる。

第３図（ａ）は、指示を与える前の人物の画像と、この
時におけるＸ方向およびＹ方向の濃度投影をそれぞれ示
すものである。さて、ステップ１１１において濃度投影
の変化が所定値より大きい場合は指示者が静止していな
い状態であり、ステップ１１１の処理が繰り返される。

指示者が静止し、濃度投影の変化量が所定値より小さい
場合は、ステップ１１２で指示者が静止したことを示す
確認メツセージが表示される。ステップ１１３において
指示者が指示前の画像を取り込むべきでないと判断した
場合、指示者は体を動かす。この場合、一定時間経過後
、濃度投影の変化量が所定値より大きいと判別されると
ステップ１０７〜１１２の処理が繰り返されることにな
る。一方、ステップ１１３で指示者が指示前の濃度投影
を取り込むべきと判断した場合、指示者はそのままの姿
勢を保つ。その場合、一定時間経過後、濃度投影の変化
が所定値より小さくなり、ステップ１１４においてその
濃度投影画像が登録される。

次はステップ１１５から１１８を説明する。ここは、指
示を与えた人物の画像処理が行なわれる段階を示してい
る。ステップ１１５では手を上げた画像が取り込まれる
。そして、ステップ１１６で画像が微分処理され、ステ
ップ１１７で画像の２値化が行なわれる。ステップ１１
８で手を上げた画像のＸ軸とＹ軸方向の濃度投影が行な
われる。

第３図（ｂ）は、手を上げた人物の画像と、この時にお
けるＸ方向およびＸ方向の濃度投影をそれぞれ示すもの
である。

次に、ステップ１１９から１２３を説明する。

ここは、指示者による指示が与えられたか否かを判断す
る段階を示している。ステップ１１９では、ステップ１
１４で登録された濃度投影画像とステップ１１８のそれ
との投影濃度差が求められる。

第３図（ｂ）の濃度投影は、第３図（ａ）との比較にお
いて、符号Ｃ及び符号りに表されるように変化している
。その変化量が所定値を超えない場合は、ステップ１２
０が繰り返される。ステップ１２０で変化量が所定値よ
り大きいと判断された場合、ステップ１２１において、
その確認メツセージがデイスプレィ１５上に表示される
。ステップ１２２では、濃度投影の差の変化量が一定時
間経過後、所定値より大きい場合、指示者による指示が
成されたと判断され、ステップ１１５以下の処理が繰り
返される。これに対し、ステップ１２２において変化量
が所定値より小さいと判断された場合、指示者による指
示はないものと判断され、ステップ１２３で、その旨が
判定され、ステップ１１５以下の処理が繰り返される。

第４図はコンピュータ１３に文字あるいは数字を入力し
、これによりコンピュータ１３に指令を与えるルーチン
を示す。この例では、第５図に示すように、文字及び数
字が記載されたシート２１が用いられ、指示者がシート
２１上の文字または数字を指により指定することにより
コンピュータ１３に対して指令データが入力されるもの
とする。

まず、ステップ２０１から２０６を説明する。

ここは、シート２１だけが画像処理される段階を示して
いる。処理開始の指令データをキーボード１６により入
力すると、ステップ２０１でデイスプレィ１５上に背景
入力のメンセージが表示され、ステ、プ２０２でシート
２１だけの画像が取り込まれる。ステップ２０３では、
シート２１だけの画像が最適２値化され、ステップ２０
４において、その旨の確認メンセージが表示される。ス
テップ２０５で指示者シート２１だけの背景を確認すべ
きでないと判断した場合、指示者はカメラの前で手を動
かす等により画像に変化を与える。逆に確定すべきとき
は、指示者は画像に何ら変化を与えないようにし、これ
によりシートのみの背景が確定する。

次に、ステップ２０７から２１０を説明する。

ここは、シート２１上の指が静止したか否かを判断する
までの段階を示している。ステップ２０７において、シ
ート２１上に指が現れると画素数に変化が生じ、その変
化量が算出される。ステップ２０８で画素数の変化量が
所定値より大きい場合、指がまだシート２１上に静止し
ていない状態であり、ステップ２０８が繰り返される。

ステップ２０８で画素数の変化量が所定値より小さいと
判断された場合、ステップ２０９においてその旨の確認
メツセージが表示される。ステップ２１０では、一定時
間の経過後、画素数の変化量が所定値より大きい場合は
、指による指令があったと判断されず、ステップ２１０
の処理が繰り返される。ステップ２１０で、一定時間経
過後、画素数の変化量が所定値より小さいと判断された
場合、指示者による指示があったと判断される。

次に、ステップ２１１から２１４を説明する。

ここは、シート２１上に置かれた指先（左上）のフィレ
座標が算出されるまでの段階を示している。

ステップ２１１では、シート２１上に静止した指の画像
がカメラ１１を介して取り込まれる。ステップ２１２で
、画像の最適２値化が行なわれる。

ステップ２１３で、背景が消去され、これにより指のみ
の画像が得られる。ステップ２１４で、指先の指示する
点（ｉ）のフィレ座標が算出される。

第６図は指先の指示する点（ｉ）のフィレ座標を示して
いる。

次に、ステップ２１５から２２１を説明する。

ここは、指で指示されたシート２１上の文字または数字
による指令が入力されるか否かが判断される段階を示し
ている。ステップ２１５において、ステップ２１４で算
出された指先の座標（ｉ）とシート２１を対応させるこ
とにより、座標（ｉ）がシート２１上のどの文字または
数字を指示しているかが判断される。指示者による指示
が適切でない場合は文字判断が不可能であり、この場合
ステップ２２１においてデイスプレィ１５に再入力をす
べき旨のメツセージが表示され、ステップ２０７〜２１
４の処理が繰り返される。ステップ２１５において文字
判断が可能であると判定された場合、ステップ２１６で
文字判断が行なわれ、その文字がステップ２１７におい
てデイスプレィ１５上に表示される。また、その旨の確
認メツセージがステップ２１８においてデイスプレィ１
５上に表示される。ステップ２１９において、指示者が
自ら意図した文字でないと判断した場合、手を動かすこ
とにより画像に変化を生せしめる。この結果、画像の変
化量が所定値より太き（なると、文字は確定されず、ス
テップ２２１で再入力メツセージが表示され、ステップ
２０７以下の処理が繰り返される。ステップ２１９にお
いて、指示者が自ら意図した文字であると判断した場合
、指示者は手を静止させたままにする。この結果、画像
の変化量は所定値以下となり、ステップ２２０で文字が
確定されて入力が行なわれる。この確定された文字はバ
ッファに一時的に記憶され、一定数の文字が格納された
後、ＲＡＭに転送される。

第７図は、差し出す指の本数によって数字をコンピュー
タ１３に入力する場合におけるルーチンを示す。まず、
ステップ３０１から３０６を説明する。ここは、背景の
みが入力される段階を示す。

処理開始の指令データをキーボード１６から入力すると
、ステップ３０１で背景入力のメツセージがデイスプレ
ィ１５上に表示され、ステップ３０２で背景のみの画像
が取り込まれる。ステップ３０３で画像の最適２値化が
行われ、ステップ３０４で２値化の確認メツセージが表
示される。ステップ３０５で、指示者が背景を確定すべ
きでないと判断した場合、手をカメラ１１に映したりし
て画像に変化を与える。この結果、画像の変化量が所定
値を超えると背景は確定せず、ステ、１３０１〜３０４
の処理が繰り返される。指示者が背景を確定すべきと判
断した場合は、画像に変化を与えない。この場合、ステ
ップ３０５で画像の変化量が所定値より小さくなり、ス
テップ３０６において背景が確定する。

次に、ステップ３０７から３１４を説明する。

ここは、カメラを介して指を差し出す前、つまり握り拳
状態の手の画像が取り込まれ、その握り拳の面積が算出
される段階を示している。ステップ３０７では、握り拳
状態の手が静止しているか否かが判定され、画像の変化
量が所定値を超える場合は手が静止するまでステップ３
０７の処理が繰り返される。ステップ３０７において画
像の変化量が所定値より小さいと判定された場合、ステ
ップ３０８でその旨の確認メツセージがデイスプレィ１
５上に表示される。ステップ３０９で、指示者が静止画
像を握り拳の状態ではないと判断した場合、指示者は手
を動かすなどして画像に変化を与える。その画像の変化
量が一定期間経過後所定値を超える場合は、ステ、プ３
０７〜３０９の処理が繰り返される。ステップ３０９で
指示者が握り拳の状態を取り込むべきと判断した場合、
指示者はその手を静止させる。この結果、画像の変化量
が一定期間経過後所定値より小さくなり、ステップ３１
０で、第８図（ａ）に示すような握り拳状態の手の画像
が取り込まれる。ステップ３１１では、この画像の最適
２値化が行なわれる。ステップ３１２で背景が消去され
、ステップ３１３で握り拳状態の手の面積が算出され登
録される。

次に、ステップ３１４から３２３を説明する。

ここは、指の数によって数字Ｏから５までを入力する段
階を示している。ステップ３１４では、入力メツセージ
が表示される。ステップ３１５では、入力したい数字と
同じ数の指を差し出した手をカメラに映す。このとき、
画像中に手が進入し、あるいは手の位置が移動すること
により画像に変化が生じる。この変化が生じるまでは、
ステップ３１５の処理が繰り返される。ステップ３１６
では、入力された数字の確認メンセージが表示される。

ステップ３１７で、指示者の意図した画像が表示された
ときは、指示者は手を静止させる。一定時間経過後、画
像の変化量が所定値より大きい場合、手が静止していな
いと判断され、画像の取り込みは行なわれず、ステップ
３１７の処理が繰り返される。ステップ３１７で、指示
者が手を静止させることにより画像の変化量が所定値よ
り小さくなったと判断された場合、ステップ３１８で手
の画像を取り込む。ステップ３１９で、取り込んだ画像
を最適２値化する。ステップ３２０で指を差し出した手
の面積をステップ３１３の面積と比較する。面積量に変
化がない場合（第８図（ｂ））、握り拳の状態であり数
字は′０”を意味し、ステップ３２１で“′０°゛が入
力される。ステ・ンプ３２０で、面積量がステップ３１
３より大きい場合は“１′°以上の数字を意味し、ステ
ップ３２２でその旨のメソセージがデイスプレイエ５上
に表示される。ステップ３２３で、第９図に示すように
一定の深さ４以上の凹の個数が１より小さい場合（第８
図（Ｃ））は、ステップ３２４で数字１が入力される。

これに対し、凹の数が１以上と判断された場合、ステッ
プ３２５で“凹の数＋１°゛の数字が入力される（第８
図（ｄ））。

〔発明の効果〕

以上のように本発明によれば、従来のキーボード、タッ
チパネル、ライトベン、マウスを用いることなく、人体
の姿勢あるいは動作によってコンピュータに指令を与え
ることが可能である。従って、入力方法が簡単であり、
さらに入力装置の耐久性が問題にならないという効果が
得られる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る入力装置を示す斜視図
、 第２図は人体による指令データをコンピュータに入力す
るためのルーチンを示すフローチャート、第３図（ａ）
は指示者の指示前の画像とこの時のＸ方向およびＸ方向
の濃度投影とを示す図、第３図（ｂ）は指示者の指示後
の画像とこの時のＸ方向およびＸ方向の濃度投影とを示
す図、第４図は文字あるいは数字による指令データをコ
ンピュータに入力するためのルーチンを示すフローチャ
ート、 第５図は文字および数字が記載されたシートを示す平面
図、 第６図は指先のフィレ座標を示す図、 第７図は差し出す指の本数によって数字をコンピュータ
に人力するためのルーチンを示すフローチャート、 第８図（ａ）は握り拳状態の手の画像を示す図、第８図
（ｂ）は第８図（ａ）の図示状態と面積量が変化してい
ない状態を示す図、 第８図（Ｃ）は一定の深さ４以上の凹の個数が１より小
さい場合を示す図、 第８図（ｄ）は一定の深さ４以上の凹の個数が１より大
きい場合を示す図、 第９図は凹部によって数字を認識する場合を説明するた
めの図である。 第１図 第 図 り 第 図 第 図 手続補正書 （自発）

Claims (1)

【特許請求の範囲】
1. （１）人体による指示状態を撮影する入力手段と、指示
   状態の画像を画像処理して特徴抽出する画像処理手段と
   、この画像処理手段の出力をこれに対応したデータに変
   換する変換手段とを備えたことを特徴とするコンピュー
   タの入力装置。