JPH11161769A - 動作認識情報入力装置 - Google Patents

動作認識情報入力装置

Info

Publication number
JPH11161769A
JPH11161769A JP32307397A JP32307397A JPH11161769A JP H11161769 A JPH11161769 A JP H11161769A JP 32307397 A JP32307397 A JP 32307397A JP 32307397 A JP32307397 A JP 32307397A JP H11161769 A JPH11161769 A JP H11161769A
Authority
JP
Japan
Prior art keywords
pixel
operation content
operator
background
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP32307397A
Other languages
English (en)
Inventor
Satoshi Yamaguchi
山口  聡
Hirotada Ueda
博唯 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Denshi KK
Original Assignee
Hitachi Denshi KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Denshi KK filed Critical Hitachi Denshi KK
Priority to JP32307397A priority Critical patent/JPH11161769A/ja
Publication of JPH11161769A publication Critical patent/JPH11161769A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 対象となる人間などに対して何等の束縛もな
く、充分な自由度と自然に近い環境が確実に与えられる
動作認識情報入力装置を提供すること。 【解決手段】 固定された背景2の前に位置する操作者
1をビデオカメラ3で撮像した画像データをコンピュー
タ装置4に入力する。コンピュータ装置4では、動作画
素抽出部5ににより画素毎に背景2、操作者1の何れに
よる画素かを色の違いで識別するクロマキー技法により
判定し、操作者1が表示されている画素領域のみを抽出
する。動作内容認識部6では、順次抽出処理される動作
画素領域の形状をあらかじめ登録されている基本形状パ
ターンと比較し、合致する基本形状パターンの遷移によ
り、動作内容を認識する。認識された動作内容から制御
信号出力部7でその動作内容に割り当てられた制御信号
を出力するのである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、人間などの動物の
動きを認識し、情報としてコンピュータ装置に取り込む
ための装置に係り、特に、画像データにより情報の取り
込みが得られるようにした動作認識情報入力装置に関す
る。
【0002】
【従来の技術】近年、コンピュータ装置により仮想空間
を生成し、その空間内で、あたかも自分が動き回ってい
るかの如き感覚を与えることができるようにしたバーチ
ャルリアリティ(仮想現実)システムが実用化されている
が、このようなシステムでは、人間や動物など(以下、
操作者という)の動きを認識し、それを情報としてコン
ピュータ装置に取り込むための入力装置、すなわち、動
作認識情報入力装置が必要である。
【0003】そこで、このような入力装置としては、従
来から、対象となる操作者の関節部など、必要な部分に
磁気センサを取り付け、このセンサから、その位置デー
タをコンピュータに取り込み、この位置データから人間
などの動作を識別する装置が用いられている。
【0004】図2は、このような従来技術による入力装
置の一例で、まず、この入力装置では、図示のように、
操作者1の両手首、頭など必要な部分に夫々磁気センサ
8を取り付けると共に、磁界発生装置9を用いて所定の
空間に磁界を形成させ、この中に操作者1を位置させ、
磁気センサ8により検出されてくる磁力線量と磁界方向
などの磁気情報をコンピュータ装置40に入力するよう
になっている。
【0005】そして、コンピュータ装置40では、まず
3次元位置計算部10により、入力された磁気情報から
磁界発生装置9に対する各磁気センサ8の相対的な空間
位置を求め、それを仮想的な空間における3次元座標に
割り当てることにより、各磁気センサ8の3次元座標値
を算出する。
【0006】次に、動作内容認識部11により、3次元
位置計算部10から順次算出されてくる各磁気センサ8
の3次元座標値を取り込み、その変化から、それらの移
動量や移動方向を求め、操作者1の、例えば姿勢の変化
や、腕、頭の動きなど、動作の内容(種類)を認識し、結
果を制御信号出力部7に供給する。
【0007】そこで、制御信号出力部7は、認識された
操作者1の動作の内容に応じて、それぞれの動作の内容
に割り当てられた夫々の制御信号を出力するのである。
【0008】
【発明が解決しようとする課題】上記従来技術は、対象
となる人間などにセンサの取付けを要し、且つセンサに
信号伝達路の接続を要する点について配慮がされておら
ず、人間などの動きに充分な自由度を与えることができ
ないという問題があった。
【0009】このような動作認識情報入力装置では、対
象となる人間などに対して、いかに自由度に富み自然に
近い環境が提供できるかが大きな課題となるが、従来技
術では、センサ装着位置の正確な3次元座標位置を算出
する点に関しては優れてはいるものの、以下のように、
操作者に対して各種の制限が与えられるため、自由度に
富み、自然に近い動作環境を提供するという点で、問題
が生じてしまうのである。
【0010】まず、従来技術では、各センサからコンピ
ュータ装置に伸びる信号伝達ケーブルが必要で、このた
め操作者の動作内容に大幅な制限を受け、次に磁界発生
装置による磁界内でしか動作できないので、この点でも
動作に大幅な制限を受け、このとき、磁界に影響を与え
る物体の着用や配置にも制限を受けることになり、従っ
て、対象となる人間などに対して、自由度に富み自然に
近い環境を提供することができなくなってしまうのであ
る。
【0011】本発明の目的は、対象となる人間などに対
して何等の束縛もなく、充分な自由度と自然に近い環境
が確実に与えられる動作認識情報入力装置を提供するこ
とにある。
【0012】
【課題を解決するための手段】まず、第1の本発明によ
れば、上記目的は、所定の色、例えば青色からなる背景
のもとで撮像した画像データから、上記所定の色要素以
外の色要素を持つ画素領域を抽出し、抽出した画素領域
の形状変化を解析し、変化の中で画素領域の形状に合致
する基本的な形状パターンの組み合わせ順序により、前
記背景の前に存在する物体の動作内容を認識、判断し、
動作内容に割り当てた制御信号を発生するようにして達
成される。
【0013】次に、第2の本発明によれば、上記目的
は、所定の輝度値を有する、例えば白色だけからなる背
景のもとで撮影した画像データから、上記所定の輝度値
と異なる、例えば、上記所定の輝度値より低い輝度値を
有する画素領域を抽出し、抽出した画素領域の形状変化
を解析し、変化の中で画素領域の形状に合致する基本的
な形状パターンの組み合わせ順序により、前記背景の前
に存在する物体の動作内容を認識、判断し、動作内容に
割り当てた制御信号を発生するようにして達成される。
【0014】さらに、第3の発明によれば、上記目的
は、固定した任意の背景のもとで撮像した画像データ
を、予め前記背景だけの状態で撮像し記憶した画像デー
タと各画素毎に比較し、異なった画素領域を抽出し、抽
出した画素領域の形状変化を解析し、変化の中で画素領
域の形状に合致する基本的な形状パターンの組み合わせ
順序により、前記背景の中に別に存在する物体の動作内
容を認識、判断し、内容に割り当てた制御信号を発生す
るようにして達成される。
【0015】そして、第4の本発明によれば、上記目的
は、所定のスクリーンに投影された影絵を撮影した画像
データから、所定の輝度値より低い輝度値を有する画素
領域を抽出し、抽出した画素領域の形状変化を解析し、
変化の中で画素領域の形状に合致する基本的な形状パタ
ーンの組み合わせ順序により、前記影絵を作っている物
体の動作内容を認識、判断し、内容に割り当てた制御信
号を発生するようにられるようにして達成される。
【0016】ビデオカメラの撮像処理によっては、被写
体の動きには何等の拘束も受けないし、動作を制限する
ケーブル類の取付けも不要なので、対象となる人間や動
物に固定された広い背景内での動作を許容し、装着物、
設置物の影響を受けることの無い、極めて自由度の高い
操作環境を容易に実現できる。
【0017】
【発明の実施の形態】以下、本発明による動作認識情報
入力装置について、図示の実施形態により詳細に説明す
る。まず、図1の実施形態により、本発明による動作認
識情報入力装置の基本構成について説明する。この図1
の実施形態では、撮影用ビデオカメラ3を備え、静止し
た背景2の前に位置した操作者1を撮影し、撮影した画
像データをコンピュータ装置4に入力するようになって
いる。
【0018】コンピュータ装置4は、ビデオカメラ3か
ら供給される画像データから、動きのある画素領域を抽
出する動作画素抽出部5と、この抽出された画素領域の
変化から、動作内容を認識する動作内容認識部6、それ
に動作内容の認識結果から制御信号を発生する制御信号
発生部7を備えている。
【0019】そこで、いま、ビデオカメラ3を動作さ
せ、撮像した画像データがコンピュータ装置4に入力さ
れると、まず動作画素抽出部5では、この画像データの
各画素毎に順次、その画素が操作者1と背景2の何れの
画像の画素であるかを判別し、操作者1の画像の画素だ
けを動作画素として抽出処理してゆく。このときの、操
作者1の画素と、背景2の画素の識別には、操作者1と
背景2の色の違いを利用する方法や信号レベルの違いを
利用する方法などが用いられている。
【0020】次に、動作内容認識部6では、順次抽出さ
れてくる動作画素で決まる領域の形状を、予め登録され
ている幾つかの基本形状パターンと比較し、合致する基
本形状パターンの遷移により、動作内容を認識する。そ
して、制御信号出力部7では、こうして認識された動作
内容から、その動作内容に割り当てられた制御信号を出
力するのである。
【0021】次に、動作内容認識部6での動作内容認識
処理について、図3により詳細に説明する。この図3に
おいて、12は動作画素領域の垂直方向の累積画素数を
グラフ化した垂直画素累積分布を示し、13は水平方向
の累積画素数をグラフ化した水平画素累積分布を示す。
【0022】ここで、鎖線14は操作者1の中心位置を
示す中心線、線分15は操作者1の直立姿勢における幅
を示す個体幅、線分16は中心線を真中にした3個体幅
分の広さの垂直サンプル領域、線分17は操作者1の身
長分の水平サンプル領域を示し、黒丸点18は累積画素
数を調査するサンプル点を示す。
【0023】動作内容認識部6には、動作画素抽出部5
から、背景2の画像が排除された操作者1だけの画像が
入力される。そこで、まず最初に、直立姿勢時の画像デ
ータから、操作者1の個体幅15と身長の情報及び操作
者1の中心線14を認識して設定し、垂直サンプル領域
16と水平サンプル領域17を決定する。
【0024】次に、各領域に、幾つかのサンプル点18
を等間隔で設定し、各サンプル点18における垂直、水
平の累積画素数を算出し、垂直画素累積分布12及び水
平画素累積分布13を求める。そして、求められた各累
積分布の各サンプル点18での画素数変動を表わす形状
推移を、予め登録されている基本形状推移パターンと比
較し、合致する基本形状パターンの遷移により、動作内
容を認識するのである。
【0025】このとき、中心線14は、画像の取り込み
毎に、垂直画素累積分布12の内容に応じて更新するよ
うにし、これにより、操作者1の移動に対処することが
できるようにしてある。また、垂直サンプル領域16と
水平サンプル領域17についても、操作者1の個体幅1
5と身長17から求めるようにしてあり、これにより、
操作者1の体格の違いに対処することができるようにし
てある。
【0026】従って、この図1の実施形態によれば、ビ
デオカメラ3で撮像した画像データから操作者1の動作
が認識できるので、操作者1は、ほとんど束縛を受ける
こと無く自由に振る舞うことができ、容易に操作者1の
動作内容を表す夫々の制御信号を得ることができる。
【0027】次に、放送用クロマキー処理に用いられて
いるブルーバックなどの青色背景を使用し、表示モニタ
中で、コンピュータグラフィックス(以下、CGと称す)
による登場物体(以下、CGキャラクタと称す)との共演
を実現するようにした本発明の一実施形態にについて、
図4により説明する。
【0028】この図4において、19は青色背景、20
はコンピュータ装置4内の動作認識式入力装置の処理
部、21はCGキャラクタと背景に存在する物体などの
画像を生成するCG発生部、22は操作者1の画像とC
G発生部21の画像を合成する画像合成処理部、23は
出力される画像を表示するための表示モニタである。な
お、ビデオカメラ3、動作画素抽出部5、動作内容認識
部6、それに制御信号出力部7は、図1の実施形態と同
じである。
【0029】操作者1は青色背景19の前で動作を行
い、それをビデオカメラ3により撮影し、撮影した画像
はコンピュータ装置4に入力される。コンピュータ装置
4では、動作画素抽出部5で入力画像中の青色要素を持
つ画素を選択し、選択された各画素に設定される透明度
情報に対して、その画素が透明であることを記述し、一
方、選択されない青色以外の要素を持つ画素、つまり操
作者1が表示されている画素には不透明であることを記
述する。こうして生成された抽出画像は、動作内容認識
部6に出力されると共に、画像合成処理部22にも出力
される。
【0030】動作内容認識部6では、不透明情報を持つ
画素領域を動作画素領域として、その形状を予め登録さ
れている幾つかの基本形状パターンと比較し、合致する
基本形状パターンの遷移により、動作内容を認識する。
制御信号出力部7では、認識された動作内容からその動
作内容に割り当てられた制御信号を発生し、CG発生部
21に供給する。
【0031】CG発生部21では、この制御信号に基
き、予め登録されているCGキャラクタの形状データに
対して移動、回転などの処理を施すと共に、雲や木など
必要な背景画像の生成処理を行うことによりCG画像を
作成し、画像合成処理部22に出力する。
【0032】そこで、画像合成処理部22では、動作画
素抽出部5から入力された抽出画像の透明情報を持つ画
素位置に、CG発生部21から入力されたCG画像の同
一位置の画素情報を挿入して、抽出画像とCG画像との
合成処理を行ない、合成処理された画像データを表示モ
ニタ23に出力する。
【0033】この結果、表示モニタ23には、CG画像
内に操作者1の画像が挿入され、且つ、操作者1の動き
に応じて表示されているCGキャラクタが動く画像が表
示されることになる。このときの動きの例としては、操
作者1が「おいで」と手招き動作をすると、犬などのC
Gキャラクタが操作者1の方へ近づいてくる画像が挙げ
られる。
【0034】従って、この実施形態によれば、操作者1
の動作に応じてCGキャラクタが応答動作する、対話型
のCGシステムを得ることができ、このとき、操作者1
は、青色背景19の前で動きをすること以外、何も束縛
を受けることがないので、充分に自然な感覚のもとで、
バーチャルリアリティに入り込むことができる。なお、
この実施形態では、操作者1が人以外の動物であって
も、全く同様な合成動画像を得ることができるのはいう
までもない。
【0035】次に、本発明のさらに別の実施形態につい
て、図5により説明する。この図5の実施形態例は、白
色に塗装した壁などの白色背景を用い、表示プロジェク
タにより大型スクリーンに映写されるCGキャラクタを
操作するシステムに本発明を適用したもので、図におい
て、24は白壁等の白色背景、25はCGキャラクタ生
成部、26は出力される画像を表示するための表示プロ
ジェクタ、27は大型投写スクリーンであり、その他の
構成は、図1の実施形態と同じである。
【0036】この実施形態の場合には、操作者1は、黒
系の衣服を着用した上で白色背景24の前で動作を行
い、それを撮影用ビデオカメラ3で撮影し、画像データ
をコンピュータ装置4に入力するようになっている。そ
して、まず動作画素抽出部5では、画像データの各画素
の輝度情報を調べ、輝度の高い画素を白色背景24の表
示画素、輝度の低い画素を操作者1の表示画素とし、前
者の画素情報を0、後者の画素情報を1にして、入力さ
れた画像データを2値化する。
【0037】次に、動作内容認識部6では、画素情報1
の画素領域を動作画素領域とし、その形状を予め登録さ
れている複数の基本形状パターンと比較し、合致する基
本形状パターンの遷移により、動作内容を認識する。認
識された動作内容は制御信号出力部7に入力され、その
動作内容に割り当てられた制御信号が出力され、CGキ
ャラクタ生成部25に供給される。
【0038】そこで、CGキャラクタ生成部25では、
予め登録されているCGキャラクタの形状データに対し
て、制御信号に応じた移動、回転等の処理を施し、同時
に生成した雲や木などの背景画像と共にCG画像を作成
して、表示プロジェクタ26に供給する。
【0039】この結果、大型スクリーン27には、所定
のCGキャラクタを含み、そのキャラクタが、操作者1
の動作に応じて自由に動くようになる大型のCG動画像
が表示されることになる。このときの動画像の例として
は、操作者1が手を挙げる動作をすると、犬などのCG
キャラクタが所定の芸をするなどの画像が挙げられる。
【0040】従って、この実施形態によっても、操作者
1が白色背景24の前で動きをすること以外、何も束縛
を受けること無く、操作者1の動作に応じてCGキャラ
クタが応答動作する、対話型のCGシステムを得ること
ができ、大型スクリーン画面によるバーチャルリアリテ
ィを享受することができる。なお、この実施形態でも、
人以外の動物の動作により、全く同様にキャラクタの動
きが変化される画像を得ることができる。
【0041】次に、同じく本発明の更に別の実施形態に
ついて、図6により説明すると、この実施形態は、家具
や置物が設置されている室内において、CGによる仮想
空間を擬似体験することができるようにしたバーチャル
リアリティシステムに本発明を適用した場合の一実施形
態である。
【0042】図6において、28は室内背景、29はC
Gによる仮想空間を30Hz以上の画像更新レートで生
成するリアルタイムCG発生装置、30は出力される表
示画像の一例、31は画像を表示するための頭部装着型
表示装置(ヘッドマウントディスプレイ、以下、HMD
と略す)であり、その外は、既に説明した実施形態と同
じである。
【0043】操作者1はHMD31を装着し、家具など
が配置固定されている室内を背景として動作を行い、そ
れを撮影用ビデオカメラ3により撮影し、画像データが
コンピュータ装置4に入力される。コンピュータ装置4
内の動作画素抽出部5には、事前に撮影しておいた室内
背景28による画像データが記憶してあり、入力された
画像データと、記憶されてる室内背景28の画像データ
の画素毎の差分をとり、同一情報を持たない画素の情報
を1、それ以外の画素の情報を0として、入力画像を2
値化する。
【0044】動作内容認識部6では、画素情報1の画素
領域を動作画素領域として、その形状を予め登録されて
いる基本形状パターンと比較し、合致する基本形状パタ
ーンの遷移により、動作内容を認識する。そして、認識
された動作内容から、制御信号出力部7でその動作内容
に割り当てられた制御信号を出力する。
【0045】リアルタイムCG発生装置29では、コン
ピュータ装置4の制御信号出力部7から入力される制御
信号に従い、予め登録されているテーブル、椅子など室
内風景28内にある家具などの形状データに対して移
動、回転などの処理を施し、30Hz以上の画像更新レ
ートでCG画像データを発生する。この生成されたCG
画像データは操作者1が装着しているHMD31に供給
され、これにより操作者1には、動画からなる表示画像
30が観察されるようになる。
【0046】そこで、例えば、操作者1が前進すると、
CGにより生成されている仮想空間内で、視点が前方へ
移動したときと同じ画像の変化が与えられ、あたかも操
作者1が実際に室内にいて動いたときと同様な画像が表
示されることになる。従って、この実施形態によれば、
操作者1の現実の動作が仮想空間内に反映されることに
なり、極めて現実感のあるバーチャルリアリティシステ
ムを容易に実現することができる。
【0047】図7も本発明の一実施形態で、この例は、
暗い室内において、照明(光源)32により透過型スクリ
ーン33上に生じる操作者1の影絵34を利用し、作業
ロボット36の操作を行うシステムに本発明を適用した
もので、撮影用ビデオカメラ3は、透過型スクリーン3
3の裏側から操作者1の影33を撮像し、画像データを
出力するようになっている。
【0048】操作者1が透過型スクリーン33の前で動
作を行い、それによる影絵34が撮影用ビデオカメラ3
により撮像され、画像データがコンピュータ装置4に入
力されると、動作画素抽出部5では、入力画像の各画素
の輝度情報を調べ、輝度の高い画素をスクリーン33自
体による表示画素で、輝度の低い画素を影絵34の表示
画素とし、前者の画素情報を0、後者の画素情報を1と
して2値化する。
【0049】動作内容認識部6では、画素情報1の画素
領域を動作画素領域として、その形状を、予め登録され
ている基本形状パターンと比較し、合致する基本形状パ
ターンの遷移により、動作内容を認識する。そして、こ
の認識された動作内容から、制御信号出力部7は、その
動作内容に割り当てられた制御信号を出力する。
【0050】そこで、ロボット制御装置35は、コンピ
ュータ装置4の制御信号出力部7から入力される制御信
号に応じて、作業ロボット36の腕、手、車輪などの駆
動装置に対する制御信号を生成し、それを作業ロボット
36に出力し、これにより、操作者1の動きに応じて作
業ロボット36の動きが制御されるようにするのであ
る。
【0051】このときの操作ロボット36の操作例とし
ては、操作者1が前進すると作業ロボット36も前方に
移動し、物を掴む動作をすると、作業ロボット36が何
かをを掴むなどの操作がある。従って、この実施形態に
よれば、操作者1が体や手足を動かすだけで、直ちに作
業ロボット36に動作が指令され、自らが動いているの
と同じように、感覚的にロボットを制御することができ
る。
【0052】なお、この図7の実施形態では、透過型ス
クリーン33に投射された操作者1の影絵34を利用し
ているが、壁に投射された影絵を利用しても同様の効果
が得られることは明らかであり、また、逆光により操作
者1自身が影絵と同等の状態になる場合には、操作者1
自身を直接撮影しても同様の効果が得られることは言う
までもない。
【0053】
【発明の効果】本発明によれば、動作を取り込むべき対
象となる人間や動物の動きに対して、ほとんど何等の制
限も与えることがなく、極めて高い動作自由度のもとで
の操作環境が提供できるので、コンピュータ装置に対す
る感覚的、対話的な入力を極く自然な状態で行うことが
できる。
【0054】そして、また、この結果、人間や動物の動
きを、そのままコンピュータ装置による各種の制御に割
り当てることができ、人間や動物の動きによる直接的な
画像生成や機器の操作を簡単に行うことができる。
【図面の簡単な説明】
【図1】本発明による動作認識情報入力装置の一実施形
態を示すブロック図である。
【図2】従来技術による動作認識情報入力装置の一例を
示すブロック図である。
【図3】本発明の一実施形態による動作内容認識処理の
説明図である。
【図4】本発明をCGキャラクタとの共演処理に適用し
た場合の一実施形態を示すブロック図である。
【図5】本発明をCGキャラクタ操作に適用した場合の
一実施形態を示すブロック図である。
【図6】本発明をバーチャルリアリティシステムに適用
した場合の一実施形態を示すブロック図である。
【図7】本発明をロボット操作システムに適用した場合
の一実施形態を示すブロック図である。
【符号の説明】
1 操作者 2 固定背景 3 撮影用ビデオカメラ 4 コンピュータ装置 5 動作画素抽出部 6 動作内容認識部 7 制御信号出力部 8 磁気センサ 9 磁界発生装置 10 3次元位置計算部 11 従来型動作内容認識部 12 垂直画素累積分布 13 水平画素累積分布 14 中心線 15 個体幅 16 垂直サンプル領域 17 水平サンプル領域 18 サンプル点 19 青色背景 20 動作認識式入力処理部 21 CG発生部 22 画像合成処理 23 表示モニタ 24 白色背景 25 CGキャラクター生成部 26 画像表示プロジェクタ 27 大型投写スクリーン 28 室内における固定背景 29 リアルタイムCG発生装置 30 表示画像 31 ヘッドマウントディスプレイ 32 照明 33 透過型スクリーン 34 操作者の影 35 ロボット制御装置 36 作業ロボット

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 所定の色からなる背景のもとで撮像した
    画像データから、前記所定の色要素以外の色要素を持つ
    画素領域を抽出し、抽出した画素領域の形状変化を解析
    し、変化の中で画素領域の形状に合致する基本的な形状
    パターンの組み合わせ順序により、前記背景の前に存在
    する物体の動作内容を認識、判断し、動作内容に割り当
    てた制御信号を発生するように構成したことを特徴とす
    る動作認識情報入力装置。
  2. 【請求項2】 第1の所定の輝度値を有する色からなる
    背景のもとで撮影した画像データから、第2の所定の輝
    度値より低い輝度値を有する画素領域を抽出し、抽出し
    た画素領域の形状変化を解析し、変化の中で画素領域の
    形状に合致する基本的な形状パターンの組み合わせ順序
    により、前記背景の前に存在する物体の動作内容を認
    識、判断し、動作内容に割り当てた制御信号を発生する
    ように構成したことを特徴とする動作認識情報入力装
    置。
  3. 【請求項3】 固定した任意の背景のもとで撮像した画
    像データを、予め前記背景だけの状態で撮像し記憶した
    画像データと各画素毎に比較し、異なった画素領域を抽
    出し、抽出した画素領域の形状変化を解析し、変化の中
    で画素領域の形状に合致する基本的な形状パターンの組
    み合わせ順序により、前記背景の中に別に存在する物体
    の動作内容を認識、判断し、内容に割り当てた制御信号
    を発生するように構成したことを特徴とする動作認識情
    報入力装置。
  4. 【請求項4】 所定のスクリーンに投影された影絵を撮
    影した画像データから、所定の輝度値より低い輝度値を
    有する画素領域を抽出し、抽出した画素領域の形状変化
    を解析し、変化の中で画素領域の形状に合致する基本的
    な形状パターンの組み合わせ順序により、前記影絵を作
    っている物体の動作内容を認識、判断し、内容に割り当
    てた制御信号を発生するように構成したことを特徴とす
    る動作認識情報入力装置。
  5. 【請求項5】 請求項1〜請求項4の何れかの発明にお
    いて、 前記物体の動作内容を認識、判断するための手段とし
    て、抽出した画素領域を構成する水平及び垂直方向の累
    積画素数を求め、それぞれ水平画素累積分布、垂直画素
    累積分布としてグラフ化し、得られたグラフ形状を予め
    登録されている幾つかの基本的なグラフ形状パターンと
    を比較し、合致した基本形状パターンの遷移にしたがっ
    て動作の内容を認識、判断する手段が用いられているこ
    とを特徴とする動作認識情報入力装置。
JP32307397A 1997-11-25 1997-11-25 動作認識情報入力装置 Pending JPH11161769A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32307397A JPH11161769A (ja) 1997-11-25 1997-11-25 動作認識情報入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32307397A JPH11161769A (ja) 1997-11-25 1997-11-25 動作認識情報入力装置

Publications (1)

Publication Number Publication Date
JPH11161769A true JPH11161769A (ja) 1999-06-18

Family

ID=18150792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32307397A Pending JPH11161769A (ja) 1997-11-25 1997-11-25 動作認識情報入力装置

Country Status (1)

Country Link
JP (1) JPH11161769A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
WO2005093687A1 (ja) 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
WO2005093687A1 (ja) 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
EP1739642A1 (en) * 2004-03-26 2007-01-03 Atsushi Takahashi 3d entity digital magnifying glass system having 3d visual instruction function
AU2005225878B2 (en) * 2004-03-26 2009-09-10 Atsushi Takahashi 3D entity digital magnifying glass system having 3D visual instruction function
EP1739642A4 (en) * 2004-03-26 2010-04-14 Atsushi Takahashi DIGITAL 3D ENTITY MAGNIFICATION GLASS SYSTEM WITH A VISUAL 3D INSTRUCTION FUNCTION

Similar Documents

Publication Publication Date Title
US10320437B2 (en) System and method for immersive and interactive multimedia generation
CN105556508B (zh) 虚拟镜子的装置、系统和方法
JP4880350B2 (ja) 実マーカオブジェクトを識別する拡張現実システム
KR101455403B1 (ko) 얼굴 모션 데이터 캡쳐링 및 처리
JP3790638B2 (ja) 医療実習装置及び医療実習結果の評価方法
US8139087B2 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
CN106062862A (zh) 用于沉浸式和交互式多媒体生成的系统和方法
KR100298240B1 (ko) 정보입력장치,정보입력방법및고체촬상장치
CN108780578A (zh) 用于增强现实系统的直接光补偿技术
US8098263B2 (en) Image processing method and image processing apparatus
CN106456292B (zh) 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
JP2021179835A (ja) 画像処理装置、画像処理方法およびプログラム
CN101952818A (zh) 基于姿态的用户交互的处理
KR20080086996A (ko) 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치,메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션프로그램
Bruder et al. Enhancing presence in head-mounted display environments by visual body feedback using head-mounted cameras
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
JP4871200B2 (ja) 映像合成装置および映像合成プログラム
KR100301962B1 (ko) 실시간 가상캐릭터 시스템
JP2007148567A (ja) 画像処理方法、画像処理装置
JPH11161769A (ja) 動作認識情報入力装置
JPH09311759A (ja) ジェスチャ認識方法および装置
JP6982203B2 (ja) キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム
JP2004297734A (ja) 電子鏡システム
KR20110049024A (ko) 영상 제어 장치