JP3114813B2 - 情報入力方法 - Google Patents

情報入力方法

Info

Publication number
JP3114813B2
JP3114813B2 JP03053565A JP5356591A JP3114813B2 JP 3114813 B2 JP3114813 B2 JP 3114813B2 JP 03053565 A JP03053565 A JP 03053565A JP 5356591 A JP5356591 A JP 5356591A JP 3114813 B2 JP3114813 B2 JP 3114813B2
Authority
JP
Japan
Prior art keywords
pointing
target object
point
information input
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03053565A
Other languages
English (en)
Other versions
JPH04271423A (ja
Inventor
福本雅朗
間瀬健二
末永康仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP03053565A priority Critical patent/JP3114813B2/ja
Publication of JPH04271423A publication Critical patent/JPH04271423A/ja
Application granted granted Critical
Publication of JP3114813B2 publication Critical patent/JP3114813B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、情報処理装置への情報
入力方法、特に人間の手足や指示器の如き指示動作物体
の動きを直接映像としてとらえ、画像処理によって該指
示動作物体の動きによって表現される人間の意図をコン
ピュータに伝えるための安価にして簡便な情報入力方法
に関するものである。
【0002】
【従来の技術】従来、計算機の入力装置としては、キー
ボードやマウスなどが一般的に用いられている。しかし
ながら、これらの装置を使用する場合、ある程度の熟練
が要求され、万人が即座に使用できるようなものではな
い。現在、「コンピュータはむずかしい」という人が多
いのは、このような熟練を必要とするインタフェースに
もその一因があると考えられる。本来ならば、人間同士
が会話をするのと同じような自然な方法を用いて、コン
ピュータとの会話が行なわれることが望まれる。この
点、「身振り手振り」を用いたインタフェースは、誰に
でも熟練を要することなく簡便に使用でき、「誰にでも
使えるコンピュータ」の実現に大きく寄与すると考えら
れる。
【0003】特願昭60−36580(特開昭61−1
96317間瀬、末永:「情報入力方式」は上記問題を
一部解決し、テレビカメラから入力された映像から指先
もしくは指示器の位置を検出し、指示器の位置と異なる
位置にある基準点と結ぶ直線上の特定点の座標位置を決
定するものである。
【0004】
【発明が解決しようとする課題】前述の特許出願発明に
おいては次のような問題がある。 (1)指先もしくは指示器の位置(以下先端点という)
の決定の方法が明確に述べられていない。また、指示目
標物体を決定するためには、先端点並びに基準点を定め
る必要があるが、基準点を「空間内の適当な固定点を定
めておく」としているだけで、基準点の求め方について
は言及していない。また、「顔の中心位置」を基準点と
して定めると良いとしているが、人間が「顔の中心」と
「指先」を用いて指示動作を行なう場合は、「ねらいを
つけて凝視する」ことにあたり、この動作を続けている
と疲労が激しい。 (2)複数個の指示目標物体から特定のものを選択する
場合、現在指示している物体が表示されていないので、
正確な目標物体の決定が困難である。 (3)「本来人間の手の動きは種々の意味に使用される
ものであり、本発明方式で入力された3次元点列に対す
る種々の識別法を開発することにより…」とあるが、識
別法に対しては言及されていない。また、指示目標物体
を固定したままで命令を与えるには、単一の3次元点列
の解析のみでは移動と命令の区別がつきにくい。さら
に、指示によって指示目標物体を決定できたとしても、
これに対して命令を与えるには、何らかの動作が必要と
される。
【0005】本発明の目的は、手もしくは指示器などの
指示動作物体の複数の撮像信号を処理して得られる指示
動作物体の座標を入力するとともに、同座標および基準
点の座標から決定される直線上にある指示目標物体を決
定し入力する情報入力方法に関し、指示動作物体の座標
としての先端点および基準点の新しい決定方法、現に指
示されている指示目標物体にカーソルを表示して次の指
定動作を補助する方法、さらに、指示動作物体の特定の
動作により指示目標物体に命令を行う方法を提供するこ
とである。
【0006】
【課題を解決するための手段】本発明の情報入力方法
は、人間の手もしくは指示器などの指示目標物体を指示
する指示動作物体に対して異なる視野を持つように配置
された複数の撮像装置から得られる複数の撮像信号を処
理して該指示動作物体の3次元座標を得て入力するとと
もに、前記指示動作物体および基準点を結ぶ直線上に存
在する指示目標物体を決定し、これを入力する情報入力
方法において、 (1)前記指示動作物体の座標を該物体における前記指
示目標物体に最も近接する位置の3次元座標を求めて得
た先端点の座標とし、情報入力を行うにあたって複数の
既知の指示目標物体に対し順次指示動作を行い、指示方
向を表わす直線が1点に交差する定点を求めて基準点と
し、該基準点および前記先端点から指示目標物体を決定
し入力する。 (2)現に指示動作が行われている指示目標物体に対し
てカーソルを表示する。 (3)前記指示動作物体の特定の動作を識別し、前記指
示目標物体に対する命令情報を入力する。
【0007】
【作用】(1)指示目標物体に最も近い位置にある指示
動作物体の部分の座標を指示動作物体の座標位置(先端
点)として定め、既知の複数の指示目標物体に対する指
示動作によって求められた3次元空間内の特定の1点
(基準点)と前記先端点から決定される直線上に指示目
標物体の決定を行ない、 (2)指示動作物体によって決定された前記指示目標物
体に対して、カーソルを表示し、指示動作物体に対して
指示目標物体を知らしめることにより、次に行う指示目
標物体の決定の補助を行ない、 (3)前記指示動作物体の特定の動作を識別し、該動作
を命令情報として利用することにより、指示目標物体に
対して命令動作を与えることを可能としている。
【0008】
【実施例】次に本発明の実施例について図面を参照して
説明する。
【0009】図1は本発明の情報入力方法の一実施例の
説明図、図2は図1においてyz平面からX軸方向に向
って見た、先端点の決定方法を示す説明図、図3は先端
点の探索アルゴリズムの一例を示す説明図、図4は基準
点の決定方法の一例を示す図、図5は基準点の補正アル
ゴリズムの一例を示す説明図、図6は親指の開閉動作の
識別アルゴリズムの一例を示す説明図、図7は親指の開
閉状態を示す図である。
【0010】図1には本発明の情報入力方法の一実施例
が適用される情報入力システムが示されており、指示動
作物体の一部としての人間の手6、指示目標物体として
のスクリーン4に投影された仮想物体5、指示動作物体
の平面画像および立面画像を取込むテレビカメラ(#
1,#2)1および2、情報入力装置3および情報処理
装置0を含んでいる。図中5.1は現在の指示目標物体
を表示するカーソルであり、また、基準点8と先端点7
を結ぶ直線が指定目標物体5に達している。
【0011】なお、本実施例では指示動作物体5として
人間の手6を用いているが、これは口や足など身体の他
の部分や棒などの指示器を用いてもよい。また指示目標
物体5として、仮想現実空間を想定し、実在の物体では
なく壁面に設置されたスクリーン4中に表示された仮想
的な物体としている。撮像装置として用いる2台のテレ
ビカメラ1、2を天井と壁面に配置しているが、テレビ
カメラはステレオ画像を得ることができるような位置に
複数台配置されていれば本発明の目的を果たすことが可
能である。
【0012】次に上述のシステムにおける情報入力方法
について説明する。まず図1の配置により、上方と側方
に置かれた2台のテレビカメラ1,2から手6の映像を
入力し、該映像を情報入力装置3において処理すること
によって先端点7の3次元座標位置を検出する。次いで
先端点7と基準点8の座標から決定される直線上にある
指示目標物体5を決定する方法に関し、先端点7の決定
方法および基準点8の決定方法について述べる。
【0013】まず先端点の決定方法について説明する
(図2参照)。通常、人間が手または指示器を用いて指
示動作を行なう場合には、手または指示器の先端が、指
示目標物体に一番近い位置にあると考えることができ
る。そこで、本発明では、先端点7の座標として、指示
動作物体9の一部である手6のうち、指示目標物体5に
最も近い位置の座標を、先端点7として定めている。ア
ルゴリズムの一例を図3で説明する。 (1)指示動作物体を背景から切り出し、2値化処理等
を行なう(11を得る)。 (2)スクリーン4と反対方向から、スクリーン4の方
向に向かって連続した領域12の探索を行なう。これに
よって、ノイズ13などの影響を除外している。 (3)スクリーン4に一番近い連続領域12の先端を、
「先端点7」とする。この方法によって簡便に先端点7
の座標を決定することができる。
【0014】次に基準点8の決定方法について述べる
(図4参照)。指示動作を行なう場合の基準点8は、人
によってその場所が異なっている。さらに、指示動作を
行なう状況(立位か座位か、リラックスの程度など)に
よっても異なる。また、一度決定した基準点は、その後
の一連の指示動作中は有効であると考えられる。そこで
指示動作を行なう前に既値の指示目標物体に対する指示
動作によりキャリブレーションを行なうことによって、
基準点8を決定する。キャリブレーションの方法として
は、スクリーン4の特定の位置に表示された指示目標物
体5を人間に指示させ、これを複数の既知の指示目標物
体5に対し順次繰り返すことによって、基準点8の3次
元的な座標を求める方法が考えられる。キャリブレーシ
ョンアルゴリズムの一例を図5で説明する。 (1)スクリーンの中央に指示目標物体14を表示し、
指示動作を行なわせる。 (2)先端点16を決定すると、指示目標物体14の位
置(既知)から3次元空間中の直線17が1本定まる。 (3)スクリーンの4隅に順番に指示目標物体15を表
示させ、同じようにして直線群18を決定する。 (4)得られた直線群(18及び17)の交差する3次
元空間上の点19を、基準点8とする。
【0015】なお、指示動作を行う場合、上体を変動さ
せずに腕を動かす程度であれば上述の直線群は容易に畧
一点に交差することがわかっている。
【0016】以上のようにして基準点が決定されると、
その後の一連の指示動作が行われるが、その場合現在指
示中の指示目標物体には前述のカーソルが表示される。
このカーソルの補助があるため複数個の指示目標物体か
ら特定のものを選択するような場合にも容易に正確に目
標物体を決定することができる。
【0017】決定された基準点の座標は情報入力装置に
読み込まれ、指示動作により先端点の座標が読み込まれ
れば両者による直線が決定され、従って指示目標物体が
決定される。本実施例の場合は上の直線とスクリーン
(Z=0)の交点の座標が指示目標物体の座標となる。
【0018】なお、上述の基準点の座標を情報処理装置
に入力し、基準点の位置の微調整を行うことも可能であ
る。
【0019】次に、指示動作物体の特定の動作を識別
し、該動作を命令情報として利用することについて述べ
る。図6では、手の動作のうち、親指の開閉動作をスイ
ッチ情報として用いている。親指の開閉動作は、図1の
テレビカメラ1,2によって撮影され、情報入力装置3
によって識別が行なわれる。識別アルゴリズムの一例を
図7で説明する。 (1)指示動作物体を背景から切り出し、2値化処理を
行なう(11を得る)。 (2)図3で述べた如き手法を用いて先端点7(人差し
指先端)を認識する。 (3)先端点7と手首の位置20から、親指の移動範囲
を推測し、該範囲内で親指先端19の探索を行なう。 (4)親指先端19が発見されれば、「親指=開」状態
とし、発見されなければ、親指が人差し指の影に折りた
たまれているとし、「親指=閉」状態とする。親指の動
作は、開いた時点をON、閉じた時点をOFFとして定
義しても良いし、その逆も可能である。また、1ビット
のスイッチではなく、バリオームのような無段階又は多
段階の情報を持たせることもできる。この方法の利点
は、先端点を固定したままで命令動作を行なうことがで
きるため、対象物決定と命令の区別が明確になることに
ある。
【0020】以上のようにして求められた指示目標物体
および指示目標物体に対する命令に関する情報は、情報
入力装置から出力され情報処理装置に入力される。
【0021】
【発明の効果】以上説明したように本発明は、特殊な装
置を使用することなく、3次元空間内の指示目標物体の
決定および該物体に対する命令動作を効率的に行うこと
を可能にし、3次元ビデオタブレット、3次元空間内仮
想指示装置などの実現に資する効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例の説明図である。
【図2】図1においてyz平面からX軸に向かって見
た、先端点の決定方法を示す説明図である。
【図3】先端点の探索アルゴリズムの一例を示す説明図
である。
【図4】基準点の決定方法の一例を示す図である。
【図5】基準点のキャリブレーションアルゴリズの一例
を示す説明図である。
【図6】親指の開閉動作の識別アルゴリズムの一例を示
す説明図である。
【図7】親指の開閉状態を示す図である。
【符号の説明】
1,2 テレビカメラ、 3 情報入力装置、 0 情報処理装置、 4 スクリーン、 5 指示目標物体、 5.1 カーソル、 6 指示動作物体の一部(人間の手)、 7 先端点、 8 基準点、 9 指示動作物体(人間)、 11 二値化された指示動作物体(手)、 12 連続領域、 13 非連続領域、 14 スクリーンの中央に表示された指示目標物
体、 15 スクリーンの四隅に順番に表示された指示目
標物体、 16 先端点、 17 得られた直線、 18 得られた直線群 19 補正動作で求められた基準点
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−196317(JP,A) 特開 平2−199526(JP,A) 特開 平1−188925(JP,A) 特開 昭62−196723(JP,A) 特開 昭61−199178(JP,A) 特開 平2−132510(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06F 3/03

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 人間の手もしくは指示器などの指示目標
    物体を指示する指示動作物体に対して異なる視野を持つ
    ように配置された複数の撮像装置から得られる複数の撮
    像信号を処理して該指示動作物体の3次元座標を得て入
    力するとともに、前記指示動作物体および基準点を結ぶ
    直線上に存在する指示目標物体を決定し、これを入力す
    る情報入力方法において、 前記指示動作物体の座標を該物体における前記指示目標
    物体に最も近接する位置の3次元座標を求めて得た先端
    点の座標とし、情報入力を行うにあたって複数の既知の
    指示目標物体に対し順次指示動作を行い、指示方向を表
    わす直線が1点に交差する定点を求めて基準点とし、該
    基準点および前記先端点から指示目標物体を決定し入力
    することを特徴とする情報入力方法。
  2. 【請求項2】現に指示動作が行われている前記指示目標
    物体に対してカーソルを表示することを特徴とする請求
    項1に記載の情報入力方法。
  3. 【請求項3】前記指示動作物体の特定の動作を識別し、
    前記指示目標物体に対する命令情報を入力することを特
    徴とする請求項1または2に記載の情報入力方法。
JP03053565A 1991-02-27 1991-02-27 情報入力方法 Expired - Fee Related JP3114813B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03053565A JP3114813B2 (ja) 1991-02-27 1991-02-27 情報入力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03053565A JP3114813B2 (ja) 1991-02-27 1991-02-27 情報入力方法

Publications (2)

Publication Number Publication Date
JPH04271423A JPH04271423A (ja) 1992-09-28
JP3114813B2 true JP3114813B2 (ja) 2000-12-04

Family

ID=12946348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03053565A Expired - Fee Related JP3114813B2 (ja) 1991-02-27 1991-02-27 情報入力方法

Country Status (1)

Country Link
JP (1) JP3114813B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471983B2 (en) 2013-01-22 2016-10-18 Ricoh Company, Ltd. Information processing device, system, and information processing method

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274270A (ja) * 1993-03-10 1994-09-30 Roehm Properties Bv 仮想現実空間データ入力装置
JPH0757103A (ja) * 1993-08-23 1995-03-03 Toshiba Corp 情報処理装置
JPH07271818A (ja) * 1994-03-31 1995-10-20 Toshiba Corp ハイパーメディアシステム
JP3749369B2 (ja) 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
DE60133386T2 (de) * 2000-05-17 2009-04-02 Koninklijke Philips Electronics N.V. Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
JP4513830B2 (ja) * 2007-06-25 2010-07-28 ソニー株式会社 描画装置、及び描画方法
TW200934566A (en) * 2007-09-07 2009-08-16 Konami Digital Entertainment Image processor, game device, and computer program
JP4569613B2 (ja) 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
JP5120754B2 (ja) * 2008-03-28 2013-01-16 株式会社国際電気通信基礎技術研究所 動作検出装置
US8345920B2 (en) 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
JP5783828B2 (ja) * 2010-08-25 2015-09-24 キヤノン株式会社 情報処理装置およびその制御方法
WO2012144145A1 (ja) 2011-04-22 2012-10-26 パナソニック株式会社 ポインティング制御装置とその集積回路、およびポインティング制御方法
WO2015045082A1 (ja) * 2013-09-27 2015-04-02 日立マクセル株式会社 端末装置、及び入力方法
CN104199547B (zh) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 一种虚拟触屏操作装置、系统及方法
CN104199548B (zh) * 2014-08-29 2017-08-25 福州瑞芯微电子股份有限公司 一种三维人机交互操作装置、系统及方法
CN104199549B (zh) * 2014-08-29 2017-09-26 福州瑞芯微电子股份有限公司 一种虚拟鼠标操作装置、系统及方法
CN104199550B (zh) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 一种虚拟键盘操作装置、系统及方法
JP5888393B2 (ja) * 2014-11-12 2016-03-22 セイコーエプソン株式会社 位置検出システム、表示システム及び情報処理システム
JP6124862B2 (ja) * 2014-11-26 2017-05-10 レノボ・シンガポール・プライベート・リミテッド ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
JP2017131433A (ja) * 2016-01-28 2017-08-03 ゼネラル・エレクトリック・カンパニイ 医用画像表示装置、その制御プログラム及び医用画像表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471983B2 (en) 2013-01-22 2016-10-18 Ricoh Company, Ltd. Information processing device, system, and information processing method

Also Published As

Publication number Publication date
JPH04271423A (ja) 1992-09-28

Similar Documents

Publication Publication Date Title
JP3114813B2 (ja) 情報入力方法
US8274535B2 (en) Video-based image control system
EP3629129A1 (en) Method and apparatus of interactive display based on gesture recognition
Oka et al. Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems
O'Hagan et al. Visual gesture interfaces for virtual environments
US6204852B1 (en) Video hand image three-dimensional computer interface
US7215322B2 (en) Input devices for augmented reality applications
US6198485B1 (en) Method and apparatus for three-dimensional input entry
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
JPH0844490A (ja) インターフェイス装置
JPH07141101A (ja) 画像を用いた入力システム
Leibe et al. Toward spontaneous interaction with the perceptive workbench
JPH02132510A (ja) 入力装置
JPH1031551A (ja) ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置
JPH07129312A (ja) 画像処理装置
JPS61196317A (ja) 情報入力方式
GB2345538A (en) Optical tracker
JP4563723B2 (ja) 指示動作認識装置及び指示動作認識プログラム
Ueng et al. Vision based multi-user human computer interaction
JPH07160412A (ja) 指示位置検出方法
Jain et al. Human computer interaction–Hand gesture recognition
Dias et al. In your hand computing: tangible interfaces for mixed reality
JPH05108302A (ja) 音声と指示動作を用いた情報入力方法
Sato et al. Video-based tracking of user's motion for augmented desk interface
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees