JPH10255052A - ジェスチャインタフェース装置 - Google Patents

ジェスチャインタフェース装置

Info

Publication number
JPH10255052A
JPH10255052A JP6097497A JP6097497A JPH10255052A JP H10255052 A JPH10255052 A JP H10255052A JP 6097497 A JP6097497 A JP 6097497A JP 6097497 A JP6097497 A JP 6097497A JP H10255052 A JPH10255052 A JP H10255052A
Authority
JP
Japan
Prior art keywords
image
gesture
user
virtual space
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6097497A
Other languages
English (en)
Inventor
Kenji Mase
健二 間瀬
Rieko Kadobayashi
理恵子 門林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR CHINOU EIZO TSUSHIN KENKYU
ATR CHINOU EIZO TSUSHIN KENKYUSHO KK
Original Assignee
ATR CHINOU EIZO TSUSHIN KENKYU
ATR CHINOU EIZO TSUSHIN KENKYUSHO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR CHINOU EIZO TSUSHIN KENKYU, ATR CHINOU EIZO TSUSHIN KENKYUSHO KK filed Critical ATR CHINOU EIZO TSUSHIN KENKYU
Priority to JP6097497A priority Critical patent/JPH10255052A/ja
Publication of JPH10255052A publication Critical patent/JPH10255052A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 (修正有) 【課題】 仮想空間内を歩き回るときに、そのためのイ
ンタフェースを自然なものにして仮想空間の操作を容易
にし得るジェスチャインタフェース装置を提供する。 【解決手段】 テレビカメラ1によってユーザ6を撮像
し、その撮像出力に基づいて画像処理装置2がユーザ6
の位置を検出するとともに、ユーザ6の身振りジェスチ
ャを認識する。グラフィック生成装置3では、検出した
ユーザの画像の位置に応じてテレビカメラ1の撮像位置
を移動させ、認識されたジェスチャに対応するコマンド
を実行し、例えばオブジェクトを選択してスクリーン4
に表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明はジェスチャインタ
フェース装置に関し、特に、コンピュータグラフィック
スで作られた仮想空間を有するコンピュータグラフィッ
クスシステムや、バーチャルリアリティシステムにおい
て、仮想空間内を移動したり、仮想空間内の情報を選択
する際のヒューマンインタフェースのようなジェスチャ
インタフェース装置に関する。
【0002】
【従来の技術】従来より、バーチャルリアリティなどの
仮想空間を有するシステムにおいて、その仮想空間を動
き回ったり、仮想空間内の情報を選択するときには、コ
ンピュータに接続された各種の入力装置、すなわちキー
ボードやマウスやジョイスティックやトラックボールな
どが用いられていた。
【0003】また、臨場感のあるシステムとするため、
アーケードゲームに見られるように、自転車のペダルや
ハンドルにセンサを取付けたり、車のアクセルやハンド
ルに相当する入力装置を作り、仮想空間を動き回るため
の情報入力デバイスとして用いてきた。中には、フィッ
トネス用の歩行マシンをインタフェースとするシステム
や、脚に振動を感知するセンサを取付けたインタフェー
スもある。
【0004】
【発明が解決しようとする課題】上述のインタフェース
のうち、前者においては机の上のような限られた場所で
しか使えないため、仮想空間を移動して情報検索した
り、擬似体験する感覚が得られにくいという問題があ
り、後者は臨場感を得ることができるが、特殊な装置を
用意しなければならないという問題点があった。特に、
後者は機械部品を多用するため、保守や調整が困難であ
るという問題点がある。
【0005】さらに、この問題に類似のシステムとして
自分自身をビデオカメラでとらえ、画像処理をして、そ
の分身を仮想空間中に表示するとともに、ジェスチャに
より仮想空間中のオブジェクトに働きかけるようなシス
テムがある。しかしながら、仮想空間を移動させるのに
歩くという動作を用いているものは見当たらない。
【0006】それゆえに、この発明の主たる目的は、仮
想空間内を歩き回るときに、そのためのインタフェース
を自然なものにして、仮想空間の操作を容易にし得るジ
ェスチャインタフェース装置を提供することである。
【0007】
【課題を解決するための手段】請求項1に係る発明は、
多次元空間を可視化して生成するグラフィックス生成手
段と、生成された多次元空間の前にいる人間を撮像し、
その撮像出力によって人間の画像を検出する画像検出手
段と、画像検出手段の検出出力に基づいて空間移動パラ
メータを計算し、人間の画像の位置に応じて撮像位置を
多次元空間内で移動するように制御する制御手段とを備
えて構成される。
【0008】請求項2に係る発明では、さらに人間の種
々の身振り動作のそれぞれに対応するコマンドを予め記
憶する記憶手段と、画像検出手段の検出出力に基づい
て、人間の身振り動作を認識する認識手段を備え、制御
手段は認識された身振り動作に対応して記憶手段からコ
マンドを読出して撮像位置を制御する。
【0009】
【発明の実施の形態】図1はこの発明の一実施形態のシ
ステムの構成を示す図であり、図2は図1に示したグラ
フィックス生成装置のブロック図である。
【0010】図1において、表示スクリーン4によって
多次元の仮想空間が表示され、この表示スクリーン4の
前方がユーザ6の歩き回る空間5であり、テレビカメラ
1によってユーザ6が撮像される。テレビカメラ1は図
示しない機構によりその向きが上下左右に移動できるよ
うにされていて、テレビカメラ1の撮像出力は画像処理
装置2に与えられる。画像処理装置2としては、たとえ
ば C. Wren, A. Azarbayejani, T. Darrell,and A. P.
Pentland, " Pfinder: Real-Time Tracking ofthe Huma
n Body", In 2nd International Conf. on Automatic F
ace and Gesture Recognition, Killington, Vermont,
Oct. 1996. で提案されているようなものが用いられ
る。
【0011】画像処理装置2はテレビカメラ1からの映
像を入力として毎秒10枚程度の画像を処理し、その結
果をグラフィックス生成装置3に与える。画像出力装置
2のプログラムは、テレビカメラ1で撮像された画像出
力に基づいて、空間5内でユーザ6の立っている位置を
検出したり、ユーザ6のジェスチャを認識して出力す
る。すなわち、画像処理装置2からは、たとえば手を少
し上げる,高く上げる(左右それぞれ)、手を振る、し
ゃがむなどの情報と、たとえばスクリーン4に平行なx
軸と垂直なy軸からなる床面の座標系で表現された立っ
ている位置の情報が得られる。
【0012】グラフィックス生成装置3は図2に示すよ
うに、ジェスチャ認識部31とマウスイベント制御部3
2と3次元空間生成部33と3次元空間データメモリ3
4とを含む。ジェスチャ認識部31はユーザ6のジェス
チャを認識する。マウスイベント制御部32はマウスを
入力デバイスとして仮想空間中を行き来することができ
るように制御する。3次元空間生成部33はジェスチャ
解釈部31で認識されたジェスチャに従って、3次元空
間をコンピュータグラフィックスで生成する。なお、3
次元空間生成部33には、3次元空間データメモリ34
から3次元データが与えられ、さらにオブェクト関連情
報を記憶するためのオブジェクト関連情報データベース
35が外部に設けられている。
【0013】図3はこの発明の一実施形態の動作を説明
するためのフローチャートである。次に、図1〜図3を
参照して、この発明の一実施形態の動作について説明す
る。まず、空間5内において、ユーザ6が立つ中立の位
置7が定められていて、ユーザ6はその中立の位置7に
立っている状態でテレビカメラ1がユーザ6を撮像す
る。この撮像出力は画像処理装置2に与えられる。画像
処理装置2はユーザ6の立っている座標系での位置を検
出してグラフィックス生成装置3に与える。グラフィッ
ク生成装置3のジェスチャ解釈部31は、ユーザ6が立
つ中立の位置7の座標X0 ,Y0 を予め設定しておく。
【0014】ステップSP2において、ユーザ6が空間
5内を移動したときの各位置情報(x,y)を取込む。
ジェスチャ解釈部31はステップSP3において、中立
位置からの差分(dx,dy)=(x−X0 ,y−
0 )を計算し、ステップSP4において、その差分d
x,dyとマウスボタン=“on”の情報をマウスイベ
ント制御部32に出力する。このとき、雑音を除去する
ために、dxおよびdyが同時に予め定めるしきい値よ
りも小さいときには信号をマウスイベント制御部32に
出力しない。
【0015】マウスイベント制御部32はこの情報が来
ると、マウスボタンが押されて動かされたのと同じ形式
にして、(dx,dy)を3次元空間生成部33に出力
する。3次元空間生成部33は、ステップSP5におい
て予め定められた位置変数関数(f)および(g)に従
って、正面に対する直進速度vy =f(dy)および地
表面に対して垂直軸周りの回転角速度rz =g(dx)
を計算する。そして、ステップSP6において、グラフ
ィックシステムの表示更新レートに従って、表示単位時
間あたりの移動距離δy =vy /rateおよび、回転
角δθ=rz /rateに変換し、ステップSP7にお
いてそれをもとに画像生成のための仮想カメラ位置を移
動させる。
【0016】なお、ここで単位時間あたりのデータの計
算は予め(f),(g)に含むことができる。関数
(f),(g)はシステム全体の条件(コンピュータの
計算速度,表示する仮想空間の内容および歩き回る目
的)によって経験的に定められるが、一般的には原点を
通る直線または2次曲線となる関数である。
【0017】上述のごとくして、ユーザ6が立つ位置の
情報により、ユーザ6が前後どちらかに踏み出して移動
すると、それに合わせて仮想空間の画像生成のための仮
想カメラ位置を前後どちらかに移動させることになり、
結果的にユーザ6は仮想空間中を前後どちらかに歩いて
いるような感覚を得ることができる。また、同様にし
て、ユーザ6が左右に踏み出して移動すると、それに合
わせて仮想空間の画像生成のための仮想カメラをその場
で左右に回転することになり、結果的にユーザ6は仮想
空間中で左右を向くような感覚を得ることができるよう
になる。このようにすると、斜めに足を踏み出すと円を
描いて進むように映像を変化させることができる。停止
するためには、ユーザ6は中立の位置に戻ればよい。そ
のときは(dx,dy)=(0,0)であり、マウスイ
ベント制御部32には移動に関する何の情報も与えられ
ない。あるいは、移動に関する情報を送っても映像に変
化をきたさない。
【0018】次いで、ジェスチャの解釈について説明す
る。ジェスチャ認識部31は、前述のごとくユーザ6の
位置を検出するのみならず、ユーザ6の身振りジェスチ
ャを認識する。ジェスチャに対しては、予め定められた
コマンドが表1に示すように割当てられている。
【0019】
【表1】
【0020】ジェスチャ認識部31はステップSP8に
おいて、画像処理装置2で処理されたユーザ6の映像か
ら外形を抽出し、頭、両腕、胴、両足の各部分を認識
し、次に腕の上下、立つ、しゃがむといったジェスチャ
情報を取込み、ステップSP9においてそのジェスチャ
情報に対応するコマンドが表1の中にあるか否かを判別
する。たとえば、「片手を上げる」動作が認識されたと
き、ステップSP10において上げられた手の側にある
オブジェクトを仮想空間中から探し、そのオブジェクト
のスクリーン上の位置(a,b)と“マウス=on”と
“オブジェクト選択モード=on”の情報をマウスイベ
ント制御部32に出力する。マウスイベント制御部32
はそのオブジェクトを選択したという情報を3次元空間
生成部33に与える。3次元空間生成部33はステップ
SP11において、オブジェクトに関連する情報をスク
リーン4に表示する。
【0021】その他のジェスチャに対しても、ステップ
SP12においてそのジェスチャに対応するコマンドを
表示する。ステップSP9においてジェスチャに対応す
るコマンドでないことが判別されたときには、その他の
カメラ情報であると認識し、ステップSP13でカメラ
位置を回転移動させる。
【0022】なお、3次元空間生成部33は選択された
オブジェクトに、関連する情報がオブジェクト関連情報
データベース35にあればそれを画面上に表示する。こ
れは、たとえばデータベース表示ツールとして、Netsca
pe社のwwwブラウザであるNetscapeナビゲータを用い
る際はデータベースをHTML形式で記述しておき、オ
ブジェクトごとにobj1、html,obj2、ht
mlというようなファイル化しておけば、オブジェクト
を選んだときにそのファイル名を指定するコマンドを発
行することによって目的の情報をスクリーン4に表示す
ることができる。
【0023】
【発明の効果】以上のように、この発明によれば、仮想
的に生成された多次元空間の前にいる人間を撮像し、そ
の撮像出力によって人間の画像を検出し、その検出出力
に基づいて空間移動パラメータを計算して人間の画像位
置に応じて撮像位置を多次元空間内で移動するように制
御することにより、仮想空間内を歩き回るときに、イン
タフェースを自然なものにして仮想空間の操作を容易に
できる。
【0024】さらに、画像出力に基づいて人間の身振り
動作を認識して対応するオブジェクトを表示することが
でき、足の踏み出し等ジェスチャだけで仮想空間の移動
やオブジェクトの選択による検索情報を実現できる。
【図面の簡単な説明】
【図1】この発明の一実施形態のシステムの構成を示す
図である。
【図2】図1に示したグラフィック生成装置のブロック
図である。
【図3】この発明の一実施形態の動作を説明するための
フローチャートである。
【符号の説明】
1 テレビカメラ 2 画像処理装置 3 グラフィック生成装置 4 スクリーン 5 空間 6 ユーザ 7 中立位置 31 ジェスチャ解釈部 32 マウスイベント制御部 33 3次元空間生成部 34 3次元空間データメモリ 35 オブジェクト関連情報データベース

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 多次元空間を可視化して生成するグラフ
    ィックス生成手段、 前記グラフィックス生成手段によって生成された多次元
    空間の前にいる人間を撮像し、その撮像出力によって前
    記人間の画像を検出する画像検出手段、および前記画像
    検出手段の検出出力に基づいて、空間移動パラメータを
    計算し、前記人間の画像の位置に応じて、撮像位置を前
    記多次元空間内で移動するように制御する制御手段を備
    えた、ジェスチャインタフェース装置。
  2. 【請求項2】 さらに、前記人間の種々の身振り動作の
    それぞれに対応するコマンドを予め記憶する記憶手段、
    および前記画像検出手段の検出出力に基づいて、前記人
    間の身振り動作を認識する認識手段を備え、 前記制御手段は、前記認識手段によって認識された身振
    り動作に対応して前記記憶手段からコマンドを読出して
    前記撮像位置を制御することを特徴とする、請求項1の
    ジェスチャインタフェース装置。
JP6097497A 1997-03-14 1997-03-14 ジェスチャインタフェース装置 Pending JPH10255052A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6097497A JPH10255052A (ja) 1997-03-14 1997-03-14 ジェスチャインタフェース装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6097497A JPH10255052A (ja) 1997-03-14 1997-03-14 ジェスチャインタフェース装置

Publications (1)

Publication Number Publication Date
JPH10255052A true JPH10255052A (ja) 1998-09-25

Family

ID=13157916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6097497A Pending JPH10255052A (ja) 1997-03-14 1997-03-14 ジェスチャインタフェース装置

Country Status (1)

Country Link
JP (1) JPH10255052A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
KR100851977B1 (ko) 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
JP2009240370A (ja) * 2008-03-28 2009-10-22 Advanced Telecommunication Research Institute International 動作検出装置
US9317956B2 (en) 2011-11-14 2016-04-19 Electronics And Telecommunications Research Institute Apparatus and method for providing mixed reality contents for learning through story-based virtual experience
CN107256087A (zh) * 2017-06-13 2017-10-17 宁波美象信息科技有限公司 一种vr瞬移控制方法
US10241565B2 (en) 2014-06-19 2019-03-26 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
US11513607B2 (en) 2019-03-27 2022-11-29 Marui-Plugin Co., Ltd. Path recognition method using a combination of invariant positional data and attributes of variation, path recognition device, path recognition program, and path recognition program recording medium

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
KR100851977B1 (ko) 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
JP2009240370A (ja) * 2008-03-28 2009-10-22 Advanced Telecommunication Research Institute International 動作検出装置
US9317956B2 (en) 2011-11-14 2016-04-19 Electronics And Telecommunications Research Institute Apparatus and method for providing mixed reality contents for learning through story-based virtual experience
US10241565B2 (en) 2014-06-19 2019-03-26 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
CN107256087A (zh) * 2017-06-13 2017-10-17 宁波美象信息科技有限公司 一种vr瞬移控制方法
CN107256087B (zh) * 2017-06-13 2020-02-21 宁波美象信息科技有限公司 一种vr瞬移控制方法
US11513607B2 (en) 2019-03-27 2022-11-29 Marui-Plugin Co., Ltd. Path recognition method using a combination of invariant positional data and attributes of variation, path recognition device, path recognition program, and path recognition program recording medium

Similar Documents

Publication Publication Date Title
US7492362B2 (en) Virtual space rendering/display apparatus and virtual space rendering/display method
US5512920A (en) Locator device for control of graphical objects
JP4278979B2 (ja) ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム
US8395620B2 (en) Method and system for tracking of a subject
US6195104B1 (en) System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6181343B1 (en) System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP4768196B2 (ja) 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
US20110292036A1 (en) Depth sensor with application interface
US20150097777A1 (en) 3D Motion Interface Systems and Methods
JP5839220B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2006108279A1 (en) Method and apparatus for virtual presence
JP4926826B2 (ja) 情報処理方法および情報処理装置
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
WO2000007148A1 (en) Method and apparatus for three-dimensional input entry
JP2005256232A (ja) 3dデータ表示方法、装置、およびプログラム
US20130069939A1 (en) Character image processing apparatus and method for footskate cleanup in real time animation
JPH10255052A (ja) ジェスチャインタフェース装置
JP5597087B2 (ja) 仮想物体操作装置
Leubner et al. Computer-vision-based human-computer interaction with a back projection wall using arm gestures
WO2020174586A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2746251B2 (ja) 体感入力装置
KR20150028179A (ko) 동적 화상 분석 시스템 및 동적 화상 분석 방법
JP7373090B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法
JP2003084229A (ja) 指示位置表示装置及び方法
JP3619096B2 (ja) 仮想空間操作方法、仮想空間システム、仮想空間操作入力装置及び仮想空間操作入力プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19991116