JPH0689342A - 動画像処理装置 - Google Patents
動画像処理装置Info
- Publication number
- JPH0689342A JPH0689342A JP4239853A JP23985392A JPH0689342A JP H0689342 A JPH0689342 A JP H0689342A JP 4239853 A JP4239853 A JP 4239853A JP 23985392 A JP23985392 A JP 23985392A JP H0689342 A JPH0689342 A JP H0689342A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- images
- motion
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】本発明は、複数の画像情報を入力し、画像の特
徴点の位置の変化から対象物体の動きおよび構造を検出
する動画像処理装置を提供することを目的とする。 【構成】複数の画像に対応する画像情報を入力する画像
入力部１と、各画像から特徴点を抽出する特徴点抽出部
２と、画像間における少なくとも３点の特徴点の位置の
変化から画像間でのアフィン変形を推定し、アフィン変
形に用いた特徴点とは異なる特徴点の位置の変化と推定
アフィン変形を適用したことによる位置の変化とを比較
することにより仮想視差を求め、推定アフィン変形情報
と仮想視差情報とから複数の画像間での画像を撮影した
観察者の運動情報を推定するアフインフロー解析部３と
を具備する。
徴点の位置の変化から対象物体の動きおよび構造を検出
する動画像処理装置を提供することを目的とする。 【構成】複数の画像に対応する画像情報を入力する画像
入力部１と、各画像から特徴点を抽出する特徴点抽出部
２と、画像間における少なくとも３点の特徴点の位置の
変化から画像間でのアフィン変形を推定し、アフィン変
形に用いた特徴点とは異なる特徴点の位置の変化と推定
アフィン変形を適用したことによる位置の変化とを比較
することにより仮想視差を求め、推定アフィン変形情報
と仮想視差情報とから複数の画像間での画像を撮影した
観察者の運動情報を推定するアフインフロー解析部３と
を具備する。
Description
【０００１】
【産業上の利用分野】この発明は、複数の画像情報を入
力し、特徴点の位置の変化から対象物体の動きおよび構
造を検出する動画像処理装置に関する。
力し、特徴点の位置の変化から対象物体の動きおよび構
造を検出する動画像処理装置に関する。
【０００２】
【従来の技術】複数の画像に撮影された物体の構造を検
出する方式としては、既に幾つかの方式が提案されてい
る。
出する方式としては、既に幾つかの方式が提案されてい
る。
【０００３】例えば、S.Ullmanは、The interpretaion
of visual motion.MIT Press Cambridge,USA,1919 に
は、３枚以上の平行投影した画像であり、剛体である物
体の同一平面上にない４点の対応が決まっている場合
に、４点の構造および動きを完全に求める方法が紹介さ
れている。
of visual motion.MIT Press Cambridge,USA,1919 に
は、３枚以上の平行投影した画像であり、剛体である物
体の同一平面上にない４点の対応が決まっている場合
に、４点の構造および動きを完全に求める方法が紹介さ
れている。
【０００４】また、H.C.Longuest-HigginsはA computer
algorithm for reconstructing ascene from two proj
ections Nature,293:133-135,1981には、透視変換した
２枚の画像上で８つの対応点がある場合に、構造および
動きを検出する線形計算方式が開示されている。
algorithm for reconstructing ascene from two proj
ections Nature,293:133-135,1981には、透視変換した
２枚の画像上で８つの対応点がある場合に、構造および
動きを検出する線形計算方式が開示されている。
【０００５】他に、O.D.FaugerasとS.J.Maybank はMoti
on from point matches:multiplicity of solutions,IE
EE Workshop on Motion 248-255 1989には、中心投影し
た２画像に５つの対応点があれば、それらの対応を満た
す構造および動きは有限になることが記載されている。
on from point matches:multiplicity of solutions,IE
EE Workshop on Motion 248-255 1989には、中心投影し
た２画像に５つの対応点があれば、それらの対応を満た
す構造および動きは有限になることが記載されている。
【０００６】また、特開平３−６７８０号には、２枚の
画像上の対応点から、まず３次元の回転運動を求め、次
に、その回転運動情報から対応点の一つを基準とする３
次元の位置関係を求める方式が開示されている。
画像上の対応点から、まず３次元の回転運動を求め、次
に、その回転運動情報から対応点の一つを基準とする３
次元の位置関係を求める方式が開示されている。
【０００７】これらの方式は、すべて、物体の３次元座
標とこの物体が中心投影で投影された画像上の座標との
間に方程式を立て、その方程式を解いて答を求める方式
である。
標とこの物体が中心投影で投影された画像上の座標との
間に方程式を立て、その方程式を解いて答を求める方式
である。
【０００８】また、Jan J KoenderinkとAndrea J.van D
oolrn のAffine structure from motion, Journal of O
ptiical Society of America pp. 377-385 vol.8, No.2
1991 に開示されているように、物体の運動をアフィン
(affine)変換（１次変換）で表わし、そこから物体の構
造を検出する方式も計算されている。この方式では、動
画像の２枚のフレームから物体のおよその構造を計算す
ることができる。この方式により計算した物体の構造
は、奥行き方向の情報がカメラから物体までの距離に比
例する未知の係数を掛け合わせることによって得られる
構造となる。
oolrn のAffine structure from motion, Journal of O
ptiical Society of America pp. 377-385 vol.8, No.2
1991 に開示されているように、物体の運動をアフィン
(affine)変換（１次変換）で表わし、そこから物体の構
造を検出する方式も計算されている。この方式では、動
画像の２枚のフレームから物体のおよその構造を計算す
ることができる。この方式により計算した物体の構造
は、奥行き方向の情報がカメラから物体までの距離に比
例する未知の係数を掛け合わせることによって得られる
構造となる。
【０００９】
【発明が解決しようとする問題点】上述した中心投影の
方程式を解く方法は、撮影対象となる物体が撮影装置に
非常に近く、大きく写っている場合には、効率良く物体
の運動および構造を計算することができるが、実際の処
理画像で起きるように、画像中で撮影対象となる物体が
写っている面積が小さい場合や、撮影装置から対象物体
までの距離が遠い場合には、中心投影による画像の変形
が小さくなり、その変形をもとに物体の運動を計算する
ため、計算結果が不安定になってしまうという欠点があ
った。例えば、視線方向に垂直な向きへの平行移動と、
その移動方向に垂直な軸の周りの回転とを区別すること
が難しくなったり、それ以外にも、中心投影による効果
が小さいと、深さ方向の曖昧性が発生し、近くにある彫
りの浅い物体か、遠くにある彫りの深い物体かの判別が
難しくなったり、観察者の近くで小さな物体が運動して
いるのか、遠くで大きな物体が運動しているのか判別が
難しくなるようなことが起きた。
方程式を解く方法は、撮影対象となる物体が撮影装置に
非常に近く、大きく写っている場合には、効率良く物体
の運動および構造を計算することができるが、実際の処
理画像で起きるように、画像中で撮影対象となる物体が
写っている面積が小さい場合や、撮影装置から対象物体
までの距離が遠い場合には、中心投影による画像の変形
が小さくなり、その変形をもとに物体の運動を計算する
ため、計算結果が不安定になってしまうという欠点があ
った。例えば、視線方向に垂直な向きへの平行移動と、
その移動方向に垂直な軸の周りの回転とを区別すること
が難しくなったり、それ以外にも、中心投影による効果
が小さいと、深さ方向の曖昧性が発生し、近くにある彫
りの浅い物体か、遠くにある彫りの深い物体かの判別が
難しくなったり、観察者の近くで小さな物体が運動して
いるのか、遠くで大きな物体が運動しているのか判別が
難しくなるようなことが起きた。
【００１０】また、Koendoerink の方法は、検出した物
体の構造に未知の係数を含んでいるので、ここから物体
の運動を計算することは難しかった。
体の構造に未知の係数を含んでいるので、ここから物体
の運動を計算することは難しかった。
【００１１】本発明は、このような問題点を解決するた
めになされたものであり、観察者の動きによる画像の変
形をアフィン変換（１次変換）で近似して表現し、か
つ、ある特徴点の実際の運動によって移動した位置と周
囲の特徴の運動によるアフィン変形によって移動した位
置との差である仮想視差を計算し、仮想視差情報から物
体の運動を直接計算することにより、中心投影の曖昧性
に影響されることなく、精度良く物体の運動パラメータ
を算出する動画像処理装置を提供することを目的とす
る。
めになされたものであり、観察者の動きによる画像の変
形をアフィン変換（１次変換）で近似して表現し、か
つ、ある特徴点の実際の運動によって移動した位置と周
囲の特徴の運動によるアフィン変形によって移動した位
置との差である仮想視差を計算し、仮想視差情報から物
体の運動を直接計算することにより、中心投影の曖昧性
に影響されることなく、精度良く物体の運動パラメータ
を算出する動画像処理装置を提供することを目的とす
る。
【００１２】
【問題点を解決するための手段】上記目的を達成するた
め、本発明は、複数の画像に対応する複数の画像情報を
入力する画像入力手段と、複数の画像の各々から３次元
物体の同一の点が投影されたと推定される特徴点を抽出
する特徴点抽出手段と、画像間における少なくとも３点
の特徴点の位置の変化から画像間においてのアフィン変
形を推定するアフィン変形推定手段と、該アフィン変形
推定手段で用いた、画像間における特徴点とは異なる特
徴点の位置の変化と該アフィン変形推定手段により推定
したアフィン変形を適用したことによる位置の変化との
差を計算する仮想視差計算手段と、該アフィン変形推定
手段により推定したアフィン変形情報と該仮想視差計算
手段により計算した仮想視差情報とから複数の画像間に
おける画像を投影した観察者の運動情報を推定する運動
情報推定手段とを有することを特徴とする動画像処理装
置を提供する。
め、本発明は、複数の画像に対応する複数の画像情報を
入力する画像入力手段と、複数の画像の各々から３次元
物体の同一の点が投影されたと推定される特徴点を抽出
する特徴点抽出手段と、画像間における少なくとも３点
の特徴点の位置の変化から画像間においてのアフィン変
形を推定するアフィン変形推定手段と、該アフィン変形
推定手段で用いた、画像間における特徴点とは異なる特
徴点の位置の変化と該アフィン変形推定手段により推定
したアフィン変形を適用したことによる位置の変化との
差を計算する仮想視差計算手段と、該アフィン変形推定
手段により推定したアフィン変形情報と該仮想視差計算
手段により計算した仮想視差情報とから複数の画像間に
おける画像を投影した観察者の運動情報を推定する運動
情報推定手段とを有することを特徴とする動画像処理装
置を提供する。
【００１３】
【作用】本発明による動画像処理装置は、観察者の運動
による画像の局所的変形をアフィン変換により推定し、
推定したアフィン変換による特徴点の位置の変化と実際
の運動による位置の変化とを計算する。これは、一つの
画像では画像上で重なって見える２つの特徴点が、観察
者が運動したことによって、どのように位置が変化した
かを表しており、この情報を使うことにより、観察者の
運動を精度良く計算することができる。
による画像の局所的変形をアフィン変換により推定し、
推定したアフィン変換による特徴点の位置の変化と実際
の運動による位置の変化とを計算する。これは、一つの
画像では画像上で重なって見える２つの特徴点が、観察
者が運動したことによって、どのように位置が変化した
かを表しており、この情報を使うことにより、観察者の
運動を精度良く計算することができる。
【００１４】
【実施例】以下、本発明による実施例を図に基づいて説
明する。
明する。
【００１５】図１に示される数値表現された物体モデル
の運動姿勢の指示に用いた簡単な一実施例によると、画
像入力部１は特徴点抽出部２を介してポイティング情報
生成部４に接続される。このポイティング情報生成部４
には、アフィンフロー解析部３およびジェスチャパタン
マッチング部６が接続される。ジェスチャパタンマッチ
ング部６はジェスチャパタン記憶部７に接続され、更に
ポインタ表示部８とともにステータス切換部５に接続さ
れる。ポインタ表示部８は３Ｄ（３次元）モデル記憶部
９、画像合成部１０およびポインタモデル記憶部１２に
接続される。画像合成部１０は画像入力部１に接続され
るとともに画像表示部１１に接続される。
の運動姿勢の指示に用いた簡単な一実施例によると、画
像入力部１は特徴点抽出部２を介してポイティング情報
生成部４に接続される。このポイティング情報生成部４
には、アフィンフロー解析部３およびジェスチャパタン
マッチング部６が接続される。ジェスチャパタンマッチ
ング部６はジェスチャパタン記憶部７に接続され、更に
ポインタ表示部８とともにステータス切換部５に接続さ
れる。ポインタ表示部８は３Ｄ（３次元）モデル記憶部
９、画像合成部１０およびポインタモデル記憶部１２に
接続される。画像合成部１０は画像入力部１に接続され
るとともに画像表示部１１に接続される。
【００１６】画像入力部１は、運動している物体をテレ
ビカメラなどで撮影することによって得られる時系列画
像情報を入力し、これを特徴点抽出部２に転送する。こ
の画像は運動している物体を撮影しやすいように画像表
示部１１の前に座った人間を天井から撮影した画像、画
像表示部１１のディスプレイの枠状のカメラで撮影した
画像および中心投影の効果が大きく出ないように長い焦
点距離で撮像範囲を狭くした複数のカメラを並べ、それ
らのカメラから入力した画像を繋ぎ合わせた画像などで
ある。また、ここで、画像として入力する物体は、人間
の手等の体の一部、もしくは、図２のように後の特徴点
抽出部２にて処理しやすいように他の部分と容易に区別
できるように、例えば一部に色を塗ったり、色のついた
物をつけたりして特徴をつけた手袋などをした手などの
体の一部、あるいは、人間が手に持って動かすことがで
き、画像処理で他の部分と区別できる特徴を持った器具
などである。図３はそのような器具の一例で、同じ大き
さの球を４つ、他の球と区別できるようにそれぞれ異な
る色に塗り、３次元空間内で同一平面上にない位置関係
で接続したものである。図４は別の器具の一例であり、
箱の表面にＬＥＤ等の発光素子を埋め込んだ器具であ
り、内蔵する電池による電力で発光する。この器具を掴
んだときに指で押させる位置にスイッチがあり、スイッ
チを押している間は発光を止めてその間には運動を指示
することなく器具を動かすことができる。図２の手袋上
の特徴、図４の発光素子などは、３次元的なあらゆる視
線方向から見て、近傍にない特徴が４点以上見えるよう
に、配置されている。
ビカメラなどで撮影することによって得られる時系列画
像情報を入力し、これを特徴点抽出部２に転送する。こ
の画像は運動している物体を撮影しやすいように画像表
示部１１の前に座った人間を天井から撮影した画像、画
像表示部１１のディスプレイの枠状のカメラで撮影した
画像および中心投影の効果が大きく出ないように長い焦
点距離で撮像範囲を狭くした複数のカメラを並べ、それ
らのカメラから入力した画像を繋ぎ合わせた画像などで
ある。また、ここで、画像として入力する物体は、人間
の手等の体の一部、もしくは、図２のように後の特徴点
抽出部２にて処理しやすいように他の部分と容易に区別
できるように、例えば一部に色を塗ったり、色のついた
物をつけたりして特徴をつけた手袋などをした手などの
体の一部、あるいは、人間が手に持って動かすことがで
き、画像処理で他の部分と区別できる特徴を持った器具
などである。図３はそのような器具の一例で、同じ大き
さの球を４つ、他の球と区別できるようにそれぞれ異な
る色に塗り、３次元空間内で同一平面上にない位置関係
で接続したものである。図４は別の器具の一例であり、
箱の表面にＬＥＤ等の発光素子を埋め込んだ器具であ
り、内蔵する電池による電力で発光する。この器具を掴
んだときに指で押させる位置にスイッチがあり、スイッ
チを押している間は発光を止めてその間には運動を指示
することなく器具を動かすことができる。図２の手袋上
の特徴、図４の発光素子などは、３次元的なあらゆる視
線方向から見て、近傍にない特徴が４点以上見えるよう
に、配置されている。
【００１７】特徴点抽出部２は、画像入力部１から時系
列画像情報を入力し、画像処理によって、他の領域と容
易に弁別できて物体上の同一の点が投影されたと特定で
きる、複数の特徴点を抽出し、追跡し、その座標値をポ
インティング情報生成部４に出力する。撮影した物体が
手などであれば、画像中の近傍の画素との明度差が大き
いような点を特徴点として抽出する。図２や図３のよう
に色を塗った部分を特徴とする場合は、どのような色を
特徴とするか、色情報を記憶するためのメモリを用意し
ておき、そこに記憶された色情報と同じ色を持った領域
を画像情報から抽出し、その重心座標をポインティング
情報生成部４に出力する。また、この場合のように、色
を持った領域の大きさが判る場合には、領域の大きさも
補助情報として、ポインティング情報生成部４に出力す
る。このメモリに記憶させる色情報はあらかじめメモリ
に書き込んでおくか、この実施例による装置を起動した
後、色情報を学習するための学習手段を起動し、入力し
た画像情報を画像表示部に表示し、ユーザーに画像中の
どの部分の色を特徴とするかをカーソルによって領域を
選択させるか、あるいは入力した動画像情報とウインド
ウを重ねて画像表示部１１に表示し、ユーザーに特徴と
なる色がウインドウ内に入るように手や器具を操作さ
せ、キー入力などのタイミングでウインドウによって指
定した領域の画像を取り込むなどして、特徴となる色を
含んだ部分画像を得てそこから色を学習し、メモリに記
憶する。色の学習は、例えば、Ｉ（明度）Ｈ（色相）Ｓ
（彩度）の３成分で表現された画像であれば、次のよう
な２次方程式による表現を用意し、指定した部分画像の
画素値に最小２乗推定を行なってパラメータを推定する
などすれば、色の学習を行なうことができる。
列画像情報を入力し、画像処理によって、他の領域と容
易に弁別できて物体上の同一の点が投影されたと特定で
きる、複数の特徴点を抽出し、追跡し、その座標値をポ
インティング情報生成部４に出力する。撮影した物体が
手などであれば、画像中の近傍の画素との明度差が大き
いような点を特徴点として抽出する。図２や図３のよう
に色を塗った部分を特徴とする場合は、どのような色を
特徴とするか、色情報を記憶するためのメモリを用意し
ておき、そこに記憶された色情報と同じ色を持った領域
を画像情報から抽出し、その重心座標をポインティング
情報生成部４に出力する。また、この場合のように、色
を持った領域の大きさが判る場合には、領域の大きさも
補助情報として、ポインティング情報生成部４に出力す
る。このメモリに記憶させる色情報はあらかじめメモリ
に書き込んでおくか、この実施例による装置を起動した
後、色情報を学習するための学習手段を起動し、入力し
た画像情報を画像表示部に表示し、ユーザーに画像中の
どの部分の色を特徴とするかをカーソルによって領域を
選択させるか、あるいは入力した動画像情報とウインド
ウを重ねて画像表示部１１に表示し、ユーザーに特徴と
なる色がウインドウ内に入るように手や器具を操作さ
せ、キー入力などのタイミングでウインドウによって指
定した領域の画像を取り込むなどして、特徴となる色を
含んだ部分画像を得てそこから色を学習し、メモリに記
憶する。色の学習は、例えば、Ｉ（明度）Ｈ（色相）Ｓ
（彩度）の３成分で表現された画像であれば、次のよう
な２次方程式による表現を用意し、指定した部分画像の
画素値に最小２乗推定を行なってパラメータを推定する
などすれば、色の学習を行なうことができる。
【００１８】Ｈ＝ｈ0 ＋ｈ1 Ｉ＋ｈ2 Ｉ2 Ｓ＝ｓ0 ＋ｓ1 Ｉ＋ｓ2 Ｉ2 図４の器具のように発光素子を使う場合は、適当な閾値
を設けて画像を２値化し、閾値より明るい領域のそれぞ
れの重心を取って特徴の座標値を計算し、ポインティン
グ情報生成部４に出力する。
を設けて画像を２値化し、閾値より明るい領域のそれぞ
れの重心を取って特徴の座標値を計算し、ポインティン
グ情報生成部４に出力する。
【００１９】ポインティング情報生成部４は特徴点抽出
部２から特徴点座標の時系列データを入力し、そこから
ある２つの時点での複数の特徴点の座標を選んで、アフ
ィンフロー解析部３で運動パラメータを解析し、その結
果を用いてポインタを動かすために必要な情報を生成す
る。
部２から特徴点座標の時系列データを入力し、そこから
ある２つの時点での複数の特徴点の座標を選んで、アフ
ィンフロー解析部３で運動パラメータを解析し、その結
果を用いてポインタを動かすために必要な情報を生成す
る。
【００２０】このアフィンフロー解析部３で行なってい
る処理について以下に詳しく説明する。
る処理について以下に詳しく説明する。
【００２１】アフィンフロー解析部３では、２枚の画像
中での４つの特徴点の座標を入力し、４つの特徴点によ
り構成される物体の画像を撮影したカメラ（観察者）の
２枚の画像間での運動を計算する。この場合、図５のよ
うな中心投影で撮影している撮影系のモデルを考える。
ここで、３次元空間上の座標（Ｘ，Ｙ，Ｚ）にある点が
焦点距離ｆにある画像平面上の点（ｘ，ｙ）に投影され
ている。この状態で、観察者側が速度｛Ｕ1 ，Ｕ2 ，Ｕ
3 ｝で並進運動し、｛Ω1 ，Ω2 ，Ω3 ｝で回転運動を
しているとする。特徴点抽出部２から入力した特徴点
（ｘ，ｙ）が視線方向に十分近いものとして、特徴点
（ｘ，ｙ）の画像平面上での移動速度Ｖ（ｘ，ｙ）の成
分を（ｕ，ｖ）で表す。
中での４つの特徴点の座標を入力し、４つの特徴点によ
り構成される物体の画像を撮影したカメラ（観察者）の
２枚の画像間での運動を計算する。この場合、図５のよ
うな中心投影で撮影している撮影系のモデルを考える。
ここで、３次元空間上の座標（Ｘ，Ｙ，Ｚ）にある点が
焦点距離ｆにある画像平面上の点（ｘ，ｙ）に投影され
ている。この状態で、観察者側が速度｛Ｕ1 ，Ｕ2 ，Ｕ
3 ｝で並進運動し、｛Ω1 ，Ω2 ，Ω3 ｝で回転運動を
しているとする。特徴点抽出部２から入力した特徴点
（ｘ，ｙ）が視線方向に十分近いものとして、特徴点
（ｘ，ｙ）の画像平面上での移動速度Ｖ（ｘ，ｙ）の成
分を（ｕ，ｖ）で表す。
【００２２】この速度成分を観察者側の運動パラメータ
で表現してみる。３次元座標（Ｘ，Ｙ，Ｚ）と速度パラ
メータとの関係は、
で表現してみる。３次元座標（Ｘ，Ｙ，Ｚ）と速度パラ
メータとの関係は、
【数１】 であるので、
【数２】 が得られる。これを、３次元座標と画像平面上の点の投
影関係、
影関係、
【数３】 の微分、
【数４】 に代入すれば、
【数５】 を得る。
【００２３】ｖについても同様に計算を行なって、
【数６】 と、表すことができる。この画像の移動速度は、並進運
動に依存するシーンの情報（Ｚ）を含んだ成分と回転運
動に依存する成分とに分けることができる。回転運動に
依存する成分は、画素の位置によって変化するだけで対
象物の場所や形には依存しないので、従来例でも述べた
ように、数式的に解く方法はあっても、中心投影による
効果が出ないと、画像の上に現れる変化が小さくなるの
で、実際に回転運動のパラメータを求めることは難し
い。そのため、回転運動による変化が並進運動に誤差と
なって加わり、並進運動の計算精度も悪くなる。その結
果として、物体の形や運動を精度良く計算することは難
しかった。
動に依存するシーンの情報（Ｚ）を含んだ成分と回転運
動に依存する成分とに分けることができる。回転運動に
依存する成分は、画素の位置によって変化するだけで対
象物の場所や形には依存しないので、従来例でも述べた
ように、数式的に解く方法はあっても、中心投影による
効果が出ないと、画像の上に現れる変化が小さくなるの
で、実際に回転運動のパラメータを求めることは難し
い。そのため、回転運動による変化が並進運動に誤差と
なって加わり、並進運動の計算精度も悪くなる。その結
果として、物体の形や運動を精度良く計算することは難
しかった。
【００２４】しかし、２つの特徴点が画像上の同じ場所
に投影されていたと仮定し、その２つの特徴点の移動速
度の差（Δu ，Δv ）、（以後、これを運動視差と呼
ぶ）を考えると、運動視差の大きさは、
に投影されていたと仮定し、その２つの特徴点の移動速
度の差（Δu ，Δv ）、（以後、これを運動視差と呼
ぶ）を考えると、運動視差の大きさは、
【数７】 である。この運動視差は、物体までの距離と観察者の並
進運動だけに依存し、観察者の回転運動には、依存しな
い。また、この式１２から、
進運動だけに依存し、観察者の回転運動には、依存しな
い。また、この式１２から、
【数８】 のように、ｘ，ｙ，Ｕ3 が十分に小さければ、運動視差
から並進運動の方向が求められることが判る。Ｕ3 が小
さくない場合は、座標値（ｘ，ｙ）の異なる複数の点の
運動視差をこの式に代入して解けば，Ｕ1 とＵ2 の比か
ら並進運動の方向を求めることができる。
から並進運動の方向が求められることが判る。Ｕ3 が小
さくない場合は、座標値（ｘ，ｙ）の異なる複数の点の
運動視差をこの式に代入して解けば，Ｕ1 とＵ2 の比か
ら並進運動の方向を求めることができる。
【００２５】一方、観察者の運動が十分滑らかで、ま
た、撮影している物体の表面も十分滑らかであれば、式
（１１）の画像の速度場は、ある小さな領域の中で、線
形方程式で近似することができる。つまり、画像上のあ
る座標（ｘ，ｙ）の近傍での画像速度場は、アフィン変
換（一次変換）を使って、
た、撮影している物体の表面も十分滑らかであれば、式
（１１）の画像の速度場は、ある小さな領域の中で、線
形方程式で近似することができる。つまり、画像上のあ
る座標（ｘ，ｙ）の近傍での画像速度場は、アフィン変
換（一次変換）を使って、
【数９】 で表すことができる。このうち、Ｏ（ｘ2 ，ｘｙ，ｙ2
）は２次の非線形成分を表すが、この部分は十分小さ
いものと考えて以後の計算では無視する。
）は２次の非線形成分を表すが、この部分は十分小さ
いものと考えて以後の計算では無視する。
【００２６】最初の項の［ｕ0 ，ｙ0 ］は、画像の平行
移動を表し、２番目の項の２×２テンソルは、画像の形
の変形を表す。第２項の添字は、添字で示したパラメー
タで偏微分したことを示す。この第２項の２×２テンソ
ルは、図６にあるような、いくつかの幾何学的に意味の
ある成分に分割される。向きの変化を示す画像平面上で
の回転（Curl）curlＶ、スケールの変化（Divergence）
を示す等方的変化divＶ、画像の変形（Deformation ）
（面積を一定に保ったまま、ある軸の方向に引き延ば
し、それと垂直な軸の方向に縮める変化）の大きさを示
すdef Ｖ、および画像変形の拡張する方向を示す変形の
主軸μなどである。これらの特徴量は、ある座標（ｘ，
ｙ）での画像の速度をＶ（ｘ，ｙ）としたときに、
移動を表し、２番目の項の２×２テンソルは、画像の形
の変形を表す。第２項の添字は、添字で示したパラメー
タで偏微分したことを示す。この第２項の２×２テンソ
ルは、図６にあるような、いくつかの幾何学的に意味の
ある成分に分割される。向きの変化を示す画像平面上で
の回転（Curl）curlＶ、スケールの変化（Divergence）
を示す等方的変化divＶ、画像の変形（Deformation ）
（面積を一定に保ったまま、ある軸の方向に引き延ば
し、それと垂直な軸の方向に縮める変化）の大きさを示
すdef Ｖ、および画像変形の拡張する方向を示す変形の
主軸μなどである。これらの特徴量は、ある座標（ｘ，
ｙ）での画像の速度をＶ（ｘ，ｙ）としたときに、
【数１０】 で表される。これらの特徴量のうち、div Ｖ，curlＶ，
def Ｖの値は、画像中で座標系をどのように取っても、
取り方による変化のない不変特徴量である。変形の主軸
μは、座標系の軸の向きだけに依存する特徴量である。
def Ｖの値は、画像中で座標系をどのように取っても、
取り方による変化のない不変特徴量である。変形の主軸
μは、座標系の軸の向きだけに依存する特徴量である。
【００２７】図７のように、ある画像平面上にある特徴
点Ｐと、その近傍にある３つの特徴点を考える。既に示
したように、十分小さい領域の中では画像平面上の速度
は、３つの特徴点から求められるアフィン変換（一次変
換）で近似できる。点Ｐと同じ座標にあって、他の３点
の移動速度のアフィン変換で決まる移動速度を持つ仮想
的な点Ｐ′を考える。実際の点Ｐと仮想的な点Ｐ′の運
動視差は、点Ｐと同じ座標に投影されるが、観察者まで
の距離の違う点との運動の違いである。この点ＰとＰ′
との運動視差を以後、仮想視差と呼ぶことにする。運動
視差は、式（１２）に示したように、観察者の回転運動
には影響されず、並進運動と距離だけに依存するので、
ここから、安定した運動パラメータと、３次元構造情報
を計算することができる。
点Ｐと、その近傍にある３つの特徴点を考える。既に示
したように、十分小さい領域の中では画像平面上の速度
は、３つの特徴点から求められるアフィン変換（一次変
換）で近似できる。点Ｐと同じ座標にあって、他の３点
の移動速度のアフィン変換で決まる移動速度を持つ仮想
的な点Ｐ′を考える。実際の点Ｐと仮想的な点Ｐ′の運
動視差は、点Ｐと同じ座標に投影されるが、観察者まで
の距離の違う点との運動の違いである。この点ＰとＰ′
との運動視差を以後、仮想視差と呼ぶことにする。運動
視差は、式（１２）に示したように、観察者の回転運動
には影響されず、並進運動と距離だけに依存するので、
ここから、安定した運動パラメータと、３次元構造情報
を計算することができる。
【００２８】この仮想視差からどのような情報が得られ
るか、画像の移動速度（式１１）を、アフイン変換式
（１４）にあてはめて求める。撮影している物体は観察
者から十分遠いと仮定しているので、観察者から物体ま
での距離に比べて物体表面の３次元座標間の距離の変化
は非常は小さい。そこで、ｆが１のときの画像中心から
物体までの距離をλとし、物体表面までの距離の変化を
るか、画像の移動速度（式１１）を、アフイン変換式
（１４）にあてはめて求める。撮影している物体は観察
者から十分遠いと仮定しているので、観察者から物体ま
での距離に比べて物体表面の３次元座標間の距離の変化
は非常は小さい。そこで、ｆが１のときの画像中心から
物体までの距離をλとし、物体表面までの距離の変化を
【数１１】 で表すことにより、Ｚを深さを表す変数λで正規化して
おく。これによって、観察者の並進運動の成分と、アフ
イン変換の各パラメータは、
おく。これによって、観察者の並進運動の成分と、アフ
イン変換の各パラメータは、
【数１２】 のように表される。
【００２９】この結果を式（１５）から（１８）までの
不変特徴量を表す式に代入すれれば、
不変特徴量を表す式に代入すれれば、
【数１３】 となる。式を見てわかるように、これらのパラメータ
は、観察者の動き、深さ、表面の向きに依存している。
これを、２つのベクトルＡとＦを使って、座標系に依存
しないように書き換えることができる。Ａは、下の式の
ような、深さλで正規化された、画像平面に平行な並進
速度ベクトルである。Ｕは並進運動ベクトル、Ｑは視線
方向の単位ベクトルである。
は、観察者の動き、深さ、表面の向きに依存している。
これを、２つのベクトルＡとＦを使って、座標系に依存
しないように書き換えることができる。Ａは、下の式の
ような、深さλで正規化された、画像平面に平行な並進
速度ベクトルである。Ｕは並進運動ベクトル、Ｑは視線
方向の単位ベクトルである。
【００３０】
【数１４】 Ｆは、やはり深さλで正規化した、物体表面の最大勾配
の方向を示す２次元ベクトルである。
の方向を示す２次元ベクトルである。
【００３１】
【数１５】 このＦは図８にあるように、大きさが、物体表面の傾斜
σのtangent （視線方向と物体表面の法線のなす角のta
ngent ）を表す。またＦの方向は、tangent 平面とｘ軸
とのなす角τを表す。
σのtangent （視線方向と物体表面の法線のなす角のta
ngent ）を表す。またＦの方向は、tangent 平面とｘ軸
とのなす角τを表す。
【００３２】
【数１６】 以上のような性質を持つ、ベクトルＡとＦを使って、上
記の不変特徴量の表現を書き換えると、
記の不変特徴量の表現を書き換えると、
【数１７】 と表される。画像変形の主軸を示す角μは、ＡとＦの中
点を通る角度で表される。
点を通る角度で表される。
【００３３】
【数１８】 この式（３４）から式（３７）を使って得られる情報
は、中心投影をweak-perspective投影で近似したため、
曖昧性を含んだものになっている。例えば、物体の運動
速度は、近くを運動している小さな物体と遠くを運動し
ている大きな物体との判別ができなく、大きさと速度の
曖昧性があるので、速度の代わりに、現在の運動速度で
運動した時に物体に衝突するまでの距離ｔc
は、中心投影をweak-perspective投影で近似したため、
曖昧性を含んだものになっている。例えば、物体の運動
速度は、近くを運動している小さな物体と遠くを運動し
ている大きな物体との判別ができなく、大きさと速度の
曖昧性があるので、速度の代わりに、現在の運動速度で
運動した時に物体に衝突するまでの距離ｔc
【数１９】 で表すことになる。式（３６）は近くにある彫りの浅い
物体か、遠くにある彫りの深い物体かの判別ができな
く、深さの曖昧性を含んでおり、この式の値からは、画
像の変形が、大きく動いた（｜Ａ｜が大きい）表面の傾
きの小さい（｜Ｆ｜が小さい）物体か、小さく動いた表
面の傾きの大きい物体かの区別はできなくなっている。
このように曖昧性が存在する部分を明らかにしておくこ
とにより、残りの必要な情報をノイズの影響を受けずに
精度良く求めることができる。
物体か、遠くにある彫りの深い物体かの判別ができな
く、深さの曖昧性を含んでおり、この式の値からは、画
像の変形が、大きく動いた（｜Ａ｜が大きい）表面の傾
きの小さい（｜Ｆ｜が小さい）物体か、小さく動いた表
面の傾きの大きい物体かの区別はできなくなっている。
このように曖昧性が存在する部分を明らかにしておくこ
とにより、残りの必要な情報をノイズの影響を受けずに
精度良く求めることができる。
【００３４】次に、アフィンフロー解析部３で行なって
いる処理を図９のフローチャートに従って説明する。
いる処理を図９のフローチャートに従って説明する。
【００３５】まず、入力した４つの特徴点から３点を抽
出して組み合わせたときに、３点を結んで構成される領
域の面積が最大となる３つの特徴点を選び、選んだ３点
を参照点、残りの１点を基準点とする（ステップＳＴ１
０１）。
出して組み合わせたときに、３点を結んで構成される領
域の面積が最大となる３つの特徴点を選び、選んだ３点
を参照点、残りの１点を基準点とする（ステップＳＴ１
０１）。
【００３６】３つの参照点の運動速度を代入して式（１
４）を解き、一次近似したアフィン変換パラメータｕ0
，ｖ0 ，ｕx ，ｕy ，ｖx ，ｖy を求める。物体の運
動が小さくて滑らかな場合には、参照点の３フレーム以
上の画像での位置情報を使って最小２乗法を使ってアフ
イン変換パラメータを求める（ステップＳＴ１０２）。
４）を解き、一次近似したアフィン変換パラメータｕ0
，ｖ0 ，ｕx ，ｕy ，ｖx ，ｖy を求める。物体の運
動が小さくて滑らかな場合には、参照点の３フレーム以
上の画像での位置情報を使って最小２乗法を使ってアフ
イン変換パラメータを求める（ステップＳＴ１０２）。
【００３７】次に、基準点とアフイン変換で補間した仮
想点の運動速度の仮想視差を求める。物体がカメラから
十分遠く、視線方向の並進運動Ｕ3 が大きくないと仮定
できるときには、この仮想視差の方向が、Ａの方向θA
を表わす。そうでないときには、複数の点の仮想視差を
式（１３）を代入してθA ＝Δｕ／Δｖを求める（ステ
ップＳＴ１０３）。
想点の運動速度の仮想視差を求める。物体がカメラから
十分遠く、視線方向の並進運動Ｕ3 が大きくないと仮定
できるときには、この仮想視差の方向が、Ａの方向θA
を表わす。そうでないときには、複数の点の仮想視差を
式（１３）を代入してθA ＝Δｕ／Δｖを求める（ステ
ップＳＴ１０３）。
【００３８】３つの参照点から式（１５），（１６），
（１７）および（１８）を使って、curl,div,defの各不
変特徴量を求める。これらの不変特徴量は、物体の並進
運動や回転運動によって起きる変化に物体表面の向きと
画像平面上での動きによって起きる変化が加わったもの
である（ステップＳＴ１０４）。
（１７）および（１８）を使って、curl,div,defの各不
変特徴量を求める。これらの不変特徴量は、物体の並進
運動や回転運動によって起きる変化に物体表面の向きと
画像平面上での動きによって起きる変化が加わったもの
である（ステップＳＴ１０４）。
【００３９】変形の主軸μと並進運動の画像平面への投
影θA から、式（３７）を使って、参照点の３点で定め
られる平面の傾きτを求める（ステップＳＴ１０５）。
影θA から、式（３７）を使って、参照点の３点で定め
られる平面の傾きτを求める（ステップＳＴ１０５）。
【００４０】式（３５）から、表面方向と画像平面上で
の動きの関係による形の伸縮を差し引く。
の動きの関係による形の伸縮を差し引く。
【００４１】これまでに判った値を用いて、式（３５）
からＦ・Ａ＝｜ｄｅｆｖ｜ｃｏｓ（τ−θA ）を引く。
残った成分は、視線方向に沿った物体の動きによる画像
のスケールの変化を示し、ここから、衝突までの時間ｔ
c が求められる（ステップＳＴ１０６）。
からＦ・Ａ＝｜ｄｅｆｖ｜ｃｏｓ（τ−θA ）を引く。
残った成分は、視線方向に沿った物体の動きによる画像
のスケールの変化を示し、ここから、衝突までの時間ｔ
c が求められる（ステップＳＴ１０６）。
【００４２】式（３４）から表面の方向と画像平面上で
の動きの影響を差し引く。これまでに判った値を用い
て、式（３４）からＦ×Ａ＝｜ｄｅｆｖ｜ｓｉｎ（τ−
θA ）を引くと、残った成分は、物体と撮影者間の視線
方向の周りの回転によるものだけになる（ステップＳＴ
１０７）。
の動きの影響を差し引く。これまでに判った値を用い
て、式（３４）からＦ×Ａ＝｜ｄｅｆｖ｜ｓｉｎ（τ−
θA ）を引くと、残った成分は、物体と撮影者間の視線
方向の周りの回転によるものだけになる（ステップＳＴ
１０７）。
【００４３】アフィンフロー解析部３は、このようにし
て、並進運動方向θA 、スケールの変化ｔｃ、視線方向
の周りの回転Ω・Ｕ、など、画像情報から安定して計算
することのできる観察者の運動パラメータを計算し、ポ
インティング情報生成部４に出力する（ステップＳＴ１
０８）。
て、並進運動方向θA 、スケールの変化ｔｃ、視線方向
の周りの回転Ω・Ｕ、など、画像情報から安定して計算
することのできる観察者の運動パラメータを計算し、ポ
インティング情報生成部４に出力する（ステップＳＴ１
０８）。
【００４４】先に述べたように、ポインティング情報生
成部４は特徴点抽出部２から特徴点座標の時系列データ
を入力し、そこから適当な２つの時点の特徴点座標を選
んでアフィンフロー解析部３で運動パラメータを計算
し、３次元の空間を指示するために必要な情報を生成す
る。以下、フローチャート１０に従って、この処理を説
明する。
成部４は特徴点抽出部２から特徴点座標の時系列データ
を入力し、そこから適当な２つの時点の特徴点座標を選
んでアフィンフロー解析部３で運動パラメータを計算
し、３次元の空間を指示するために必要な情報を生成す
る。以下、フローチャート１０に従って、この処理を説
明する。
【００４５】まず、特徴点抽出部２から特徴点座標（補
助情報がある場合は、補助情報も）を入力する。入力し
た特徴点の数をｎとし、座標を（ｘi ，ｙi ）とする
（ステップＳＴ２０１）。
助情報がある場合は、補助情報も）を入力する。入力し
た特徴点の数をｎとし、座標を（ｘi ，ｙi ）とする
（ステップＳＴ２０１）。
【００４６】撮影対象の物体は動いているので、特徴点
が他の部分に隠されて見えなくなったり、隠されていた
特徴点が出現したりする場合がある。特徴点が４点より
少ない場合は何もせず、特徴点が４点以上になった場合
は、前回ポインティング情報を生成した時に抽出した特
徴点と今回抽出した特徴点の共通集合から、物体上に均
等に位置されるような特徴点を４点選択する（ステップ
ＳＴ２０２）。
が他の部分に隠されて見えなくなったり、隠されていた
特徴点が出現したりする場合がある。特徴点が４点より
少ない場合は何もせず、特徴点が４点以上になった場合
は、前回ポインティング情報を生成した時に抽出した特
徴点と今回抽出した特徴点の共通集合から、物体上に均
等に位置されるような特徴点を４点選択する（ステップ
ＳＴ２０２）。
【００４７】選択した特徴点について、前回ポインティ
ングに使った時の座標値（ｌｘi ，ｌｙi ）からの移動
距離（（ｘi −ｌｘi ）2 ＋（ｙi −ｌｙi ）2 ）を計
算し、この距離を一定の閾値と比較する。特徴の大きさ
など、補助情報がある場合には、その値を使って閾値を
決める。選んだ特徴点を以前にポインティングに使った
ことがなければ、ｌｘi ，ｌｙi に、ｘi ，ｙi を代入
する。４点の移動距離で、閾値以上の距離を持つ点が１
つでもあれば、以降の処理を行ない、全て閾値以下であ
れば、ステップＳＴ２０１に戻る（ステップＳＴ２０
３）。
ングに使った時の座標値（ｌｘi ，ｌｙi ）からの移動
距離（（ｘi −ｌｘi ）2 ＋（ｙi −ｌｙi ）2 ）を計
算し、この距離を一定の閾値と比較する。特徴の大きさ
など、補助情報がある場合には、その値を使って閾値を
決める。選んだ特徴点を以前にポインティングに使った
ことがなければ、ｌｘi ，ｌｙi に、ｘi ，ｙi を代入
する。４点の移動距離で、閾値以上の距離を持つ点が１
つでもあれば、以降の処理を行ない、全て閾値以下であ
れば、ステップＳＴ２０１に戻る（ステップＳＴ２０
３）。
【００４８】このようにして求めた、４点の過去の座標
値（ｌｘi ，ｌｙi ）と現在の座標値（ｘi ，ｙi ）を
アフィンフロー解析部３に入力して運動パラメータをを
計算する（ステップＳＴ２０４）。
値（ｌｘi ，ｌｙi ）と現在の座標値（ｘi ，ｙi ）を
アフィンフロー解析部３に入力して運動パラメータをを
計算する（ステップＳＴ２０４）。
【００４９】アフィンフロー解析部３で計算した運動パ
ラメータは物体が静止し、観察者（カメラ）が運動して
いると仮定した時のパラメータである。これを、物体の
運動を表す値に置き換えると、重心の動きは物体のＸ，
Ｙ方向への並進運動、スケールの変化を表すｔｃはＺ方
向への並進運動、Ω・Ｕは、Ｚ軸周りの回転運動、Ａは
物体のＸ軸周りの回転運動とＹ軸周りの回転運動の比を
表す。これらパラメータそれぞれについて、閾値と比較
し、閾値より大きな動きがあれば、そのパラメータの示
す物体の運動を一定の大きさだけ起こすようなポインテ
ィングイベントを発生する（ステップＳＴ２０５）。そ
の際、画面上に見るポインタの動きと、人間が、自分の
手や、ポインティングに利用する器具を見た時の運動の
方向を一致させるようにポインティングイベントでの運
動方向の符合を決める。
ラメータは物体が静止し、観察者（カメラ）が運動して
いると仮定した時のパラメータである。これを、物体の
運動を表す値に置き換えると、重心の動きは物体のＸ，
Ｙ方向への並進運動、スケールの変化を表すｔｃはＺ方
向への並進運動、Ω・Ｕは、Ｚ軸周りの回転運動、Ａは
物体のＸ軸周りの回転運動とＹ軸周りの回転運動の比を
表す。これらパラメータそれぞれについて、閾値と比較
し、閾値より大きな動きがあれば、そのパラメータの示
す物体の運動を一定の大きさだけ起こすようなポインテ
ィングイベントを発生する（ステップＳＴ２０５）。そ
の際、画面上に見るポインタの動きと、人間が、自分の
手や、ポインティングに利用する器具を見た時の運動の
方向を一致させるようにポインティングイベントでの運
動方向の符合を決める。
【００５０】ここで発生したポインティングイベント
は、ポインタ表示部８およびジェスチャパタンマッチン
グ部６に送られる。アフィンフロー解析部３で求めた運
動パラメータは、中心投影を仮定しないと計算できない
パラメータは深さλを使った相対的な表現をしている
が、ポインティング情報生成部４では物体の絶対的な動
きを必要とする時のために、中心投影の方程式（１１）
にλを使って相対値で表現したパラメータを代入して位
置と姿勢を計算し、この情報もポインタ表示部６に出力
する（ステップＳＴ２０６）。
は、ポインタ表示部８およびジェスチャパタンマッチン
グ部６に送られる。アフィンフロー解析部３で求めた運
動パラメータは、中心投影を仮定しないと計算できない
パラメータは深さλを使った相対的な表現をしている
が、ポインティング情報生成部４では物体の絶対的な動
きを必要とする時のために、中心投影の方程式（１１）
にλを使って相対値で表現したパラメータを代入して位
置と姿勢を計算し、この情報もポインタ表示部６に出力
する（ステップＳＴ２０６）。
【００５１】ポインタ表示部８は、後で述べるステータ
ス切替部５からの指示によって、ポインタモデル記憶部
１２に記憶されている。例えば図１１のように容易に３
次元的に向きのわかるポインタの３Ｄモデルか、３Ｄモ
デル記憶部９に記憶されているモデルのうち、ステータ
ス切替部５によって指定された３Ｄモデルかを選択し、
選択した３Ｄモデルの現在の位置と姿勢から、入力した
ポインティングイベントに従って並進、回転運動させた
グラフィクス画像情報を生成し、出力する。
ス切替部５からの指示によって、ポインタモデル記憶部
１２に記憶されている。例えば図１１のように容易に３
次元的に向きのわかるポインタの３Ｄモデルか、３Ｄモ
デル記憶部９に記憶されているモデルのうち、ステータ
ス切替部５によって指定された３Ｄモデルかを選択し、
選択した３Ｄモデルの現在の位置と姿勢から、入力した
ポインティングイベントに従って並進、回転運動させた
グラフィクス画像情報を生成し、出力する。
【００５２】ポインタモデル記憶部１２には、前述した
ようにポインタの３Ｄモデルと現在の位置と姿勢が記憶
されており、３Ｄモデル記憶部９には、現在、画像に表
示されている３Ｄモデルとモデルの位置と姿勢が記憶さ
れている。
ようにポインタの３Ｄモデルと現在の位置と姿勢が記憶
されており、３Ｄモデル記憶部９には、現在、画像に表
示されている３Ｄモデルとモデルの位置と姿勢が記憶さ
れている。
【００５３】ジェスチャパタンマッチング部６では、ポ
インティング情報生成部４から入力した最新のポインテ
ィングイベントの時系列のリストで、ユーザーからのキ
ーボード入力などで途切れていないパタンと、ジェスチ
ャパタン記憶部７に記憶されたジェスチャパタンとを比
較して、ユーザーによるポインタの操作が、あらかじめ
登録された何かの意味を持った動きかどうかを判定す
る。合致したジェスチャパタンがあれば、そのパタンと
一緒に記憶されているオペレーションを実行する。
インティング情報生成部４から入力した最新のポインテ
ィングイベントの時系列のリストで、ユーザーからのキ
ーボード入力などで途切れていないパタンと、ジェスチ
ャパタン記憶部７に記憶されたジェスチャパタンとを比
較して、ユーザーによるポインタの操作が、あらかじめ
登録された何かの意味を持った動きかどうかを判定す
る。合致したジェスチャパタンがあれば、そのパタンと
一緒に記憶されているオペレーションを実行する。
【００５４】ジェスチャパタン記憶部７の中では、ジェ
スチャパタンは、図１２に示すようなリスト構造の並ん
だ表で記憶されている。１つのジェスチャは、ジェスチ
ャのパタンと、それが起きた時に呼び出されるオペレー
ションを示す文字列から構成されている。１つのジェス
チャパタンは、ポインティングイベントのリストで表現
されており、１つのポインティングイベントは並進運動
｛Ｕ1 ，Ｕ2 ，Ｕ3 ｝と、回転運動｛Ω1 ，Ω2 ，Ω3
｝の６つのパラメータについて、正負の方向への運動
があることを示す＋か−、あるいは運動がないことを示
す０の３種類のシンボルで表されている。図１２で、ジ
ェスチャパタンのリストにリストの次の要素を示す２つ
のsucessorがあり、自分で閉ループを構成しているもの
があるが、これは、この閉ループで同じポインティング
イベントの繰り返しを許容する仕組みである。sucessor
の横の変数ｎは４つの閉ループがみな同じ回数だけ繰り
返すことを示す。図１２の例では、ジェスチャパタン
は、ｘｙ平面上での任意の大きさの正方形を示し、この
ジェスチャによって／ｕｓｒ／ｂｉｎ／Ｘ１１／ｋｔと
いうオペレーションが起動されることを示している。
スチャパタンは、図１２に示すようなリスト構造の並ん
だ表で記憶されている。１つのジェスチャは、ジェスチ
ャのパタンと、それが起きた時に呼び出されるオペレー
ションを示す文字列から構成されている。１つのジェス
チャパタンは、ポインティングイベントのリストで表現
されており、１つのポインティングイベントは並進運動
｛Ｕ1 ，Ｕ2 ，Ｕ3 ｝と、回転運動｛Ω1 ，Ω2 ，Ω3
｝の６つのパラメータについて、正負の方向への運動
があることを示す＋か−、あるいは運動がないことを示
す０の３種類のシンボルで表されている。図１２で、ジ
ェスチャパタンのリストにリストの次の要素を示す２つ
のsucessorがあり、自分で閉ループを構成しているもの
があるが、これは、この閉ループで同じポインティング
イベントの繰り返しを許容する仕組みである。sucessor
の横の変数ｎは４つの閉ループがみな同じ回数だけ繰り
返すことを示す。図１２の例では、ジェスチャパタン
は、ｘｙ平面上での任意の大きさの正方形を示し、この
ジェスチャによって／ｕｓｒ／ｂｉｎ／Ｘ１１／ｋｔと
いうオペレーションが起動されることを示している。
【００５５】ステータス切替部５は、ディスプレイに表
示された３次元空間内を自由にポインタを動かして操作
する、ポインタ操作状態か、表示されたモデルのうちの
一つをポインタによって指定した後、モデルの位置や姿
勢を変更するモデル把握状態の、どちらかの現在のポイ
ンタの状態を記憶し、また、ユーザーからの指示か、ポ
インタ表示部からの指示によって、ポインタの状態を切
替え、それにともなって他の部分の設定変更を行なう。
示された３次元空間内を自由にポインタを動かして操作
する、ポインタ操作状態か、表示されたモデルのうちの
一つをポインタによって指定した後、モデルの位置や姿
勢を変更するモデル把握状態の、どちらかの現在のポイ
ンタの状態を記憶し、また、ユーザーからの指示か、ポ
インタ表示部からの指示によって、ポインタの状態を切
替え、それにともなって他の部分の設定変更を行なう。
【００５６】ポインタ操作状態の時には、ポインタ表示
部８に、ポインタモデル記憶部に記憶されたモデルを使
うように指示し、発生したポインティングイベントに従
ってポインタモデルの位置と姿勢を変更する。ポインテ
ィングイベントはジェスチャパタンマッチング部にも入
力され、ジェスチャの認識が行なわれ、イベント列にジ
ェスチャが含まれると認識されれば、そのジェスチャに
対応したオペレーションが実行される。ユーザーのキー
ボード入力やジェスチャなどによる指示か、ポインタの
３次元位置が３Ｄモデル記憶部に記憶してある３Ｄモデ
ルの１つの位置と一致した時に、ポインタの状態はモデ
ル把握状態に切り替わる。
部８に、ポインタモデル記憶部に記憶されたモデルを使
うように指示し、発生したポインティングイベントに従
ってポインタモデルの位置と姿勢を変更する。ポインテ
ィングイベントはジェスチャパタンマッチング部にも入
力され、ジェスチャの認識が行なわれ、イベント列にジ
ェスチャが含まれると認識されれば、そのジェスチャに
対応したオペレーションが実行される。ユーザーのキー
ボード入力やジェスチャなどによる指示か、ポインタの
３次元位置が３Ｄモデル記憶部に記憶してある３Ｄモデ
ルの１つの位置と一致した時に、ポインタの状態はモデ
ル把握状態に切り替わる。
【００５７】モデル把握状態では、３Ｄモデル記憶部９
に記憶されたモデルを位置姿勢を変更させて表示する。
まず、モデル把握状態に入ると、指示された３Ｄモデル
を３Ｄモデル記憶部９から取り出して、ポインタ表示部
８に送り、これを他のモデルと区別できるよう色などを
変えて表示するように指示する。次に、画像合成部１０
に、モデルの位置や形などを入力して、３Ｄモデルの画
像情報と入力した画像情報から、手でモデルを掴んでい
たり、ポインティング用の器具に３Ｄモデルがはめ込ま
れていたりするように見える画像を合成し、画像表示部
１１で表示する。モデルの移動や回転には、ポインタ操
作状態とは異なり、ポインティングイベントではなく、
中心投影に当てはめて計算した位置や姿勢の情報を用い
る。
に記憶されたモデルを位置姿勢を変更させて表示する。
まず、モデル把握状態に入ると、指示された３Ｄモデル
を３Ｄモデル記憶部９から取り出して、ポインタ表示部
８に送り、これを他のモデルと区別できるよう色などを
変えて表示するように指示する。次に、画像合成部１０
に、モデルの位置や形などを入力して、３Ｄモデルの画
像情報と入力した画像情報から、手でモデルを掴んでい
たり、ポインティング用の器具に３Ｄモデルがはめ込ま
れていたりするように見える画像を合成し、画像表示部
１１で表示する。モデルの移動や回転には、ポインタ操
作状態とは異なり、ポインティングイベントではなく、
中心投影に当てはめて計算した位置や姿勢の情報を用い
る。
【００５８】画像合成部１０では、まず、画像入力部１
から入力した画像情報から特徴点を囲む閉領域を切り出
すことによって、手や器具の写っている部分を取り出
す。次に、手や器具の運動が、実際の運動と画像上での
運動の方向がユーザーから見て一致するように、取り出
した画像の左右を反転する。入力した３Ｄモデルの位置
や形などの情報と特徴点の座標を元に、手や器具の画像
に平行移動、スケールの変更などの処理を行なって、特
徴点の位置を３Ｄモデルのグラフィクス画像の頂点など
に合わせる。その後、モデルのグラフィクス画像と手や
器具の画像を半透明で重ね表示を行なって、図１３のよ
うに、モデルを掴んでいるように見える画像を合成し、
画像表示部１１に出力する。
から入力した画像情報から特徴点を囲む閉領域を切り出
すことによって、手や器具の写っている部分を取り出
す。次に、手や器具の運動が、実際の運動と画像上での
運動の方向がユーザーから見て一致するように、取り出
した画像の左右を反転する。入力した３Ｄモデルの位置
や形などの情報と特徴点の座標を元に、手や器具の画像
に平行移動、スケールの変更などの処理を行なって、特
徴点の位置を３Ｄモデルのグラフィクス画像の頂点など
に合わせる。その後、モデルのグラフィクス画像と手や
器具の画像を半透明で重ね表示を行なって、図１３のよ
うに、モデルを掴んでいるように見える画像を合成し、
画像表示部１１に出力する。
【００５９】図１４を参照して本発明の他の実施例を説
明する。
明する。
【００６０】動画像入力部２１は、カメラ（観察者）が
３次元空間内を未知の運動をしながら画像を撮影し、撮
影した動画像に対応する画像情報を特徴点抽出部２２に
転送する。この動画像入力部２１が撮影している撮影環
境は、基本的に静止環境であるが、運動物体が含まれて
いても構わない。
３次元空間内を未知の運動をしながら画像を撮影し、撮
影した動画像に対応する画像情報を特徴点抽出部２２に
転送する。この動画像入力部２１が撮影している撮影環
境は、基本的に静止環境であるが、運動物体が含まれて
いても構わない。
【００６１】特徴点抽出部２２は、動画像入力部２１か
らの時系列画像情報を受け、画像処理によって、明度や
色が近傍の領域と急激に変化し、２枚の画像で物体の同
一の点が投影されたと特定できる多数の特徴点を抽出
し、抽出した特徴点を並進フロー計算部２３に入力す
る。
らの時系列画像情報を受け、画像処理によって、明度や
色が近傍の領域と急激に変化し、２枚の画像で物体の同
一の点が投影されたと特定できる多数の特徴点を抽出
し、抽出した特徴点を並進フロー計算部２３に入力す
る。
【００６２】並進フロー計算部２３は、入力された特徴
点のそれぞれの座標を比較し、最近傍の４点を結んだネ
ットワークを構成し、最近傍の４点の組合わせの全てに
対してアフィンフロー解析部３が行う処理と同様な処理
を行なって、仮想視差を求め、観察者の運動パラメータ
を計算する。計算した運動パラメータのうち、並進運動
方向θA を見ると、この値は、カメラが撮影環境に対し
て並進運動し得ている方向を示すものであるから、動画
像入力部２１が撮影した画像が静止環境であれば、どの
４点の特徴点の組合わせを取っても同じ値を示してい
る。実際には、中心投影を狭い視野範囲に限定してアフ
ィン変換で近似しているので、互いに近傍にある特徴点
の組合わせで同じ値を示す。従って、画像全体に分布す
る特徴点の組合わせから並進運動方向θA だけを抜き出
して、図１５のような分布図を作成し、出力する。尚、
図１５の矢印は、２つの物体の各々の複数の点の動きを
示している。
点のそれぞれの座標を比較し、最近傍の４点を結んだネ
ットワークを構成し、最近傍の４点の組合わせの全てに
対してアフィンフロー解析部３が行う処理と同様な処理
を行なって、仮想視差を求め、観察者の運動パラメータ
を計算する。計算した運動パラメータのうち、並進運動
方向θA を見ると、この値は、カメラが撮影環境に対し
て並進運動し得ている方向を示すものであるから、動画
像入力部２１が撮影した画像が静止環境であれば、どの
４点の特徴点の組合わせを取っても同じ値を示してい
る。実際には、中心投影を狭い視野範囲に限定してアフ
ィン変換で近似しているので、互いに近傍にある特徴点
の組合わせで同じ値を示す。従って、画像全体に分布す
る特徴点の組合わせから並進運動方向θA だけを抜き出
して、図１５のような分布図を作成し、出力する。尚、
図１５の矢印は、２つの物体の各々の複数の点の動きを
示している。
【００６３】独立運動分割部２４は、並進フロー計算部
２３で計算した並進運動方向のフロー図において、近傍
にある特徴点の組合わせの並進運動方向θA を比較し、
その差が一定閾値より大きいところで領域分割を行な
う。これによって、図１５の実線で囲まれた領域のよう
に、動いている背景画像の中から、異なる動きをしてい
る物体を示す領域を取り出すことができる。この後、異
なる動きをしている領域を取り除き、残った、背景画像
を示す領域からθA 以外の運動パラメータも計算し、カ
メラの運動を求めて出力する。
２３で計算した並進運動方向のフロー図において、近傍
にある特徴点の組合わせの並進運動方向θA を比較し、
その差が一定閾値より大きいところで領域分割を行な
う。これによって、図１５の実線で囲まれた領域のよう
に、動いている背景画像の中から、異なる動きをしてい
る物体を示す領域を取り出すことができる。この後、異
なる動きをしている領域を取り除き、残った、背景画像
を示す領域からθA 以外の運動パラメータも計算し、カ
メラの運動を求めて出力する。
【００６４】図１６を参照して本発明に係る他の実施例
を説明する。
を説明する。
【００６５】画像入力部３１は、１つの物体を複数の方
向から撮影した画像に対応する画像情報を入力する。こ
こで入力する画像情報の画像は、時間的に連続していな
くても構わない。また、物体を撮影した時の観察者の位
置関係も不明である。
向から撮影した画像に対応する画像情報を入力する。こ
こで入力する画像情報の画像は、時間的に連続していな
くても構わない。また、物体を撮影した時の観察者の位
置関係も不明である。
【００６６】特徴点抽出部３２は、画像入力部３１より
入力した画像情報に、各点抽出処理などの画像処理を行
ない、明度や色が近傍の領域と急激に変化している多数
の特徴点に対応する特徴点情報を抽出し、対応特徴探索
部３３に出力する。抽出した特徴点情報は、入力した画
像情報に重ね合わせて画像表示部３６に表示される。
入力した画像情報に、各点抽出処理などの画像処理を行
ない、明度や色が近傍の領域と急激に変化している多数
の特徴点に対応する特徴点情報を抽出し、対応特徴探索
部３３に出力する。抽出した特徴点情報は、入力した画
像情報に重ね合わせて画像表示部３６に表示される。
【００６７】初期対応探索部３３は複数の画像間におい
て特徴点情報を比較し、撮影対象となった物体上の同一
の点が投影されたものかどうか調べる。まず、特徴点抽
出部３２から入力した全ての特徴点情報に未対応を示す
フラグをつける。次に、画像間において、特徴点を中心
とする小領域の相関マッチングを行ない、相関係数が一
定閾値より高い特徴点情報同士を対応させ、対応した特
徴点情報には、対応したことを示すフラグをつけ、特徴
点の集合情報を対応修正部、即ち対応特徴更新部３７に
出力する。画像表示部３６に、対応した特徴点情報を、
色を変えるなどして未対応の特徴点情報と区別できるよ
うに入力画像情報と重ね合わせて表示し、また、複数の
画像情報間においてどの特徴点情報とどの特徴点情報が
対応しているかが分かるように表示する。
て特徴点情報を比較し、撮影対象となった物体上の同一
の点が投影されたものかどうか調べる。まず、特徴点抽
出部３２から入力した全ての特徴点情報に未対応を示す
フラグをつける。次に、画像間において、特徴点を中心
とする小領域の相関マッチングを行ない、相関係数が一
定閾値より高い特徴点情報同士を対応させ、対応した特
徴点情報には、対応したことを示すフラグをつけ、特徴
点の集合情報を対応修正部、即ち対応特徴更新部３７に
出力する。画像表示部３６に、対応した特徴点情報を、
色を変えるなどして未対応の特徴点情報と区別できるよ
うに入力画像情報と重ね合わせて表示し、また、複数の
画像情報間においてどの特徴点情報とどの特徴点情報が
対応しているかが分かるように表示する。
【００６８】インタフェイス部３４は、初期対応探索部
３３から対応のついた特徴点を含む特徴点集合情報を入
力し、特徴点の対応関係の修正作業を行なう。初期対応
探索部３２によって作成した対応関係が、十分正確で誤
りが少なければ、対応点の修正は行なわずに後で処理を
行なうことも可能である。
３３から対応のついた特徴点を含む特徴点集合情報を入
力し、特徴点の対応関係の修正作業を行なう。初期対応
探索部３２によって作成した対応関係が、十分正確で誤
りが少なければ、対応点の修正は行なわずに後で処理を
行なうことも可能である。
【００６９】初期対応探索の結果、画像表示部３６に表
示している特徴点を重ね表示した入力画像に、マウスな
どのポインティングデバイスで制御されたカーソルを表
示し、ユーザーが特徴点を選択できるようにする。既に
対応フラグのついた特徴点を選んだ場合には、その特徴
点とそれに対応する特徴点のフラグを未対応につけか
え、対応関係を取り消す。入力した複数の画像情報にお
いて未対応フラグのついた特徴点情報を１つづつ連続し
て選んだ場合には、それらの特徴点情報に対応が確定し
たことを示すフラグをつけ、それらの特徴点情報間に対
応関係を設定する。また、特徴点のない領域でも、複数
の画像において、１つづつ連続して選んだ画素があれ
ば、その画素の座標に対応が確定した特徴点を生成して
対応関係を設定する。また、画像と特徴点以外に、対応
点の更新および物体の構造抽出並びに画像の合成を呼び
出すボタンを表示し、ポインティングデバイスによって
これらを選択できるようにしておく。ユーザーが対応点
の更新ボタンを選んだ場合には、対応特徴更新部３７に
特徴点の集合情報を渡して、特徴点の対応関係を更新す
る。物体の構造抽出のボタンを選んだ場合には、構造抽
出部に特徴点の集合を渡して、撮影した物体の３次元構
造を抽出する。画像の合成のボタンを選んだ場合には、
さらに、どこから見た画像を合成するかを質問して、画
像を合成する視点までの並進、回転の運動ベクトルを入
力し、画像合成部３５に入力した画像、特徴点の集合、
構造抽出部３８で抽出した物体の３次元構造、運動ベク
トルを渡して、画像を合成し、画像表示部に表示する。
示している特徴点を重ね表示した入力画像に、マウスな
どのポインティングデバイスで制御されたカーソルを表
示し、ユーザーが特徴点を選択できるようにする。既に
対応フラグのついた特徴点を選んだ場合には、その特徴
点とそれに対応する特徴点のフラグを未対応につけか
え、対応関係を取り消す。入力した複数の画像情報にお
いて未対応フラグのついた特徴点情報を１つづつ連続し
て選んだ場合には、それらの特徴点情報に対応が確定し
たことを示すフラグをつけ、それらの特徴点情報間に対
応関係を設定する。また、特徴点のない領域でも、複数
の画像において、１つづつ連続して選んだ画素があれ
ば、その画素の座標に対応が確定した特徴点を生成して
対応関係を設定する。また、画像と特徴点以外に、対応
点の更新および物体の構造抽出並びに画像の合成を呼び
出すボタンを表示し、ポインティングデバイスによって
これらを選択できるようにしておく。ユーザーが対応点
の更新ボタンを選んだ場合には、対応特徴更新部３７に
特徴点の集合情報を渡して、特徴点の対応関係を更新す
る。物体の構造抽出のボタンを選んだ場合には、構造抽
出部に特徴点の集合を渡して、撮影した物体の３次元構
造を抽出する。画像の合成のボタンを選んだ場合には、
さらに、どこから見た画像を合成するかを質問して、画
像を合成する視点までの並進、回転の運動ベクトルを入
力し、画像合成部３５に入力した画像、特徴点の集合、
構造抽出部３８で抽出した物体の３次元構造、運動ベク
トルを渡して、画像を合成し、画像表示部に表示する。
【００７０】画像表示部３６は、複数の入力画像、特徴
点、画像から抽出した物体構造の３Ｄモデル、視線方向
を変えて合成した画像などを表示し、そこにカーソルを
重ね表示して、画像上の座標や特徴点を指示できるよう
にする。
点、画像から抽出した物体構造の３Ｄモデル、視線方向
を変えて合成した画像などを表示し、そこにカーソルを
重ね表示して、画像上の座標や特徴点を指示できるよう
にする。
【００７１】対応特徴更新部３７は、インタフェイス部
３４から特徴点の集合情報を受け、新たな基準に従っ
て、未対応の特徴点の対応づけを行なう。まず、入力し
た特徴点集合情報の中から、対応が確定し、対応フラグ
のついた特徴点（これを点Ａ0とする）を選択し、特徴
点Ａ0 の近傍にある未対応フラグのついた特徴点Ｂを選
択する。特徴点Ａ0 と対応する、他の画像中の特徴点Ａ
0 ′の近傍にある特徴点Ｂ′と特徴点Ｂを比較し、対応
するかどうかを判定する。ＢとＢ′の比較は、両方の近
傍に、対応のついた特徴点が２点以下しかなければ、初
期対応探索と同様に特徴点を中心とする小領域の相関マ
ッチングを行ない、初期対応探索部３３で使った閾値よ
り低い閾値で対応するかどうかを判定する。図１７のよ
うに、ＢとＢ′の両方の近傍に対応のついた特徴点が３
点以上あれば、画像の変形を考慮したマッチングを行な
う。まず、三角形Ａ0 ，Ａ1 ，Ａ2 を三角形Ａ0 ′，Ａ
1 ′，Ａ2 ′に変形するアフィン変換を計算する。Ｂを
中心とする小領域を、計算したアフィン変換で変形し、
変形した小領域とＢ′を中心とする小領域との間で相関
マッチングを行ない、近傍に対応済みの点が２点以下し
かない場合と同じ閾値で判定する。このようにして見つ
けた特徴点には、初期対応探索部３３と同様に特徴点に
対応を示すフラグをつけ、特徴点間を対応関係で結ぶ。
この処理を、新たに対応する特徴点がなくなるまで、繰
り返してインタフェイス部３４に復帰する。 構造抽出
部３８は、形状が不明の物体を撮影して得られる複数の
画像情報とこれらの画像情報間で対応をつけた特徴点の
集合情報を受け、これら情報から物体の３次元形状モデ
ルと、物体表面のテクスチャパタンを抽出し、出力す
る。まず、特徴点の集合情報から近傍にある４点の組合
わせを取り出し、その４点にアフィンフロー解析部３に
よる処理を行なって、運動パラメータを計算する。この
４点を、図７のように、３角形を構成する３点と、それ
以外の１点Ｐに分けて考える。点Ｐ′は一方の画像で点
Ｐと同じ座標にあって、もう一方の画像では、他の３点
の移動で表現されるアフィン変換で移動する仮想的な点
である。この点Ｐ′は、３次元空間では３点で決まる３
次元平面上にあって、画像平面には点Ｐと同じ座標に投
影される点を示している。この仮想視差ＰＰ′の大きさ
は、式（１２）より、
３４から特徴点の集合情報を受け、新たな基準に従っ
て、未対応の特徴点の対応づけを行なう。まず、入力し
た特徴点集合情報の中から、対応が確定し、対応フラグ
のついた特徴点（これを点Ａ0とする）を選択し、特徴
点Ａ0 の近傍にある未対応フラグのついた特徴点Ｂを選
択する。特徴点Ａ0 と対応する、他の画像中の特徴点Ａ
0 ′の近傍にある特徴点Ｂ′と特徴点Ｂを比較し、対応
するかどうかを判定する。ＢとＢ′の比較は、両方の近
傍に、対応のついた特徴点が２点以下しかなければ、初
期対応探索と同様に特徴点を中心とする小領域の相関マ
ッチングを行ない、初期対応探索部３３で使った閾値よ
り低い閾値で対応するかどうかを判定する。図１７のよ
うに、ＢとＢ′の両方の近傍に対応のついた特徴点が３
点以上あれば、画像の変形を考慮したマッチングを行な
う。まず、三角形Ａ0 ，Ａ1 ，Ａ2 を三角形Ａ0 ′，Ａ
1 ′，Ａ2 ′に変形するアフィン変換を計算する。Ｂを
中心とする小領域を、計算したアフィン変換で変形し、
変形した小領域とＢ′を中心とする小領域との間で相関
マッチングを行ない、近傍に対応済みの点が２点以下し
かない場合と同じ閾値で判定する。このようにして見つ
けた特徴点には、初期対応探索部３３と同様に特徴点に
対応を示すフラグをつけ、特徴点間を対応関係で結ぶ。
この処理を、新たに対応する特徴点がなくなるまで、繰
り返してインタフェイス部３４に復帰する。 構造抽出
部３８は、形状が不明の物体を撮影して得られる複数の
画像情報とこれらの画像情報間で対応をつけた特徴点の
集合情報を受け、これら情報から物体の３次元形状モデ
ルと、物体表面のテクスチャパタンを抽出し、出力す
る。まず、特徴点の集合情報から近傍にある４点の組合
わせを取り出し、その４点にアフィンフロー解析部３に
よる処理を行なって、運動パラメータを計算する。この
４点を、図７のように、３角形を構成する３点と、それ
以外の１点Ｐに分けて考える。点Ｐ′は一方の画像で点
Ｐと同じ座標にあって、もう一方の画像では、他の３点
の移動で表現されるアフィン変換で移動する仮想的な点
である。この点Ｐ′は、３次元空間では３点で決まる３
次元平面上にあって、画像平面には点Ｐと同じ座標に投
影される点を示している。この仮想視差ＰＰ′の大きさ
は、式（１２）より、
【数２０】 で表される。ここに、この４点の近傍にある別の特徴点
Ｑを追加した図１８の状況を想定する。点Ｑ′は点Ｐ′
と同様に、ほかの３点の移動で決まるアフィン変換で移
動する仮想的な点であって、やはり３次元空間では３点
で決まる３次元平面上の点である。２つの仮想視差Ｐ
Ｐ′とＱＱ′を考えると、画像中で近傍にあって、ま
た、観察者から物体までの距離が十分遠いことから、こ
の２つの仮想視差の長さの比は、（ＺP −ＺP ′）／
（ＺQ −ＺQ ′）となり、これからＰとＱのある３次元
平面に対する深さ方向の座標の比が求められる。この処
理を全ての近傍にある特徴点の組合わせに対して行なっ
て、物体の深さ方向の長さが、ある長さλに対する比で
表現された、物体の３Ｄモデルを算出する。この後、あ
るλに対応する物体の３Ｄモデルがグラフィクス表示さ
れ、ユーザーが、この３Ｄモデルを見ながらλの値を調
整するか、３Ｄモデルの表面で、平面が交差している部
分を見つけ、交差角が直角になるように、λの大きさを
推定する、などして、完全な物体の３Ｄモデルが計算さ
れる。また、λの大きさが計算されると、式（３１）よ
り、画像上で、近傍にある３点の特徴点で囲まれた３角
形の物体表面の勾配が求められ、これから、物体表面の
テクスチャ情報も取り出すことができる。
Ｑを追加した図１８の状況を想定する。点Ｑ′は点Ｐ′
と同様に、ほかの３点の移動で決まるアフィン変換で移
動する仮想的な点であって、やはり３次元空間では３点
で決まる３次元平面上の点である。２つの仮想視差Ｐ
Ｐ′とＱＱ′を考えると、画像中で近傍にあって、ま
た、観察者から物体までの距離が十分遠いことから、こ
の２つの仮想視差の長さの比は、（ＺP −ＺP ′）／
（ＺQ −ＺQ ′）となり、これからＰとＱのある３次元
平面に対する深さ方向の座標の比が求められる。この処
理を全ての近傍にある特徴点の組合わせに対して行なっ
て、物体の深さ方向の長さが、ある長さλに対する比で
表現された、物体の３Ｄモデルを算出する。この後、あ
るλに対応する物体の３Ｄモデルがグラフィクス表示さ
れ、ユーザーが、この３Ｄモデルを見ながらλの値を調
整するか、３Ｄモデルの表面で、平面が交差している部
分を見つけ、交差角が直角になるように、λの大きさを
推定する、などして、完全な物体の３Ｄモデルが計算さ
れる。また、λの大きさが計算されると、式（３１）よ
り、画像上で、近傍にある３点の特徴点で囲まれた３角
形の物体表面の勾配が求められ、これから、物体表面の
テクスチャ情報も取り出すことができる。
【００７２】構造抽出部３８は、このようにして計算し
た物体の３Ｄモデルとテクスチャ情報を出力する。
た物体の３Ｄモデルとテクスチャ情報を出力する。
【００７３】画像合成部３５は、入力した物体の３次元
構造と視点までの運動ベクトルを使って、入力画像を変
形し、新たな視点から物体を見た時の画像を合成する。
観察者が動いた時の画像の変形は、式（３４）から式
（３６）によって、観察者の並進運動ベクトルと回転運
動ベクトル、物体表面の勾配と、画像平面上の並進運動
で表現される。観察者の運動と画像平面上での並進運動
は、視点までの運動ベクトルから計算され、物体表面の
勾配は、物体の３次元構造から得られるので、これか
ら、視点を変更したことによる、画像の変形を表現する
アフィン変換行列を計算することができる。まず、入力
画像において対象物体が写っている領域を、領域内にあ
る特徴点を結んだ直線で区切られた３角パッチに分割す
る。各３角パッチの画像に対して、上記のアフィン変換
を適用して、新たな３角パッチ画像を作成する。作成し
たパッチ画像をつなぎ合わせたものが新たな視線方向か
ら見た時の物体の画像であり、これを画像表示部に表示
する。
構造と視点までの運動ベクトルを使って、入力画像を変
形し、新たな視点から物体を見た時の画像を合成する。
観察者が動いた時の画像の変形は、式（３４）から式
（３６）によって、観察者の並進運動ベクトルと回転運
動ベクトル、物体表面の勾配と、画像平面上の並進運動
で表現される。観察者の運動と画像平面上での並進運動
は、視点までの運動ベクトルから計算され、物体表面の
勾配は、物体の３次元構造から得られるので、これか
ら、視点を変更したことによる、画像の変形を表現する
アフィン変換行列を計算することができる。まず、入力
画像において対象物体が写っている領域を、領域内にあ
る特徴点を結んだ直線で区切られた３角パッチに分割す
る。各３角パッチの画像に対して、上記のアフィン変換
を適用して、新たな３角パッチ画像を作成する。作成し
たパッチ画像をつなぎ合わせたものが新たな視線方向か
ら見た時の物体の画像であり、これを画像表示部に表示
する。
【００７４】
【発明の効果】以上説明したように、本発明によれば、
アフィン変換で推定した特徴点の動きと別の位置にある
特徴点の動きとの差かを計算し、１つの画像では画像上
で重なって見える２つの特徴点が、観察者が運動したこ
とによって、どのように位置が変化したかを求めるの
で、観察者の運動方向を精度良く計算することができ、
その結果、複数画像からの動物体の運動と構造の推定を
精度良く行なうことができる。
アフィン変換で推定した特徴点の動きと別の位置にある
特徴点の動きとの差かを計算し、１つの画像では画像上
で重なって見える２つの特徴点が、観察者が運動したこ
とによって、どのように位置が変化したかを求めるの
で、観察者の運動方向を精度良く計算することができ、
その結果、複数画像からの動物体の運動と構造の推定を
精度良く行なうことができる。
【図１】本発明の一実施例であり、ＣＡＤシステムでの
モデルの操作などのヒューマンインタフェイスに用いる
動画像処理装置のブロック図。
モデルの操作などのヒューマンインタフェイスに用いる
動画像処理装置のブロック図。
【図２】ポインティングに用いる第１の例の器具の図。
【図３】ポインティングに用いる第２の例の器具の図。
【図４】ポインティングに用いる第３の例の器具の図。
【図５】中心投影による撮像形での３次元座標と画像座
標の関係を示す図。
標の関係を示す図。
【図６】画像から抽出できる不変特徴量を示す図。
【図７】運動視差を説明する図。
【図８】物体表面の傾斜の表現方法を説明する図。
【図９】アフィンフロー解析部の動作を説明するフロー
チャート図。
チャート図。
【図１０】ポインティング情報生成部の動作を説明する
フローチャート図。
フローチャート図。
【図１１】ポインタの３Ｄ（３次元）モデルを示す図。
【図１２】ジェスチャパタン記憶部に記憶されたジェス
チャパタンのデータ構造を示す図。
チャパタンのデータ構造を示す図。
【図１３】３Ｄモデルと入力した画像の一部を重ね合わ
せて合成した画像を示す図。
せて合成した画像を示す図。
【図１４】本発明の他の実施例であり、独立下運動を弁
別するシステムのブロック図。
別するシステムのブロック図。
【図１５】並進運動方向の分布図。
【図１６】本発明の他の実施例であり、複数画像から３
Ｄモデルを獲得し、物体を他の方向から見た時の画像を
合成するシステムに適用した動画像処理装置の構成図。
Ｄモデルを獲得し、物体を他の方向から見た時の画像を
合成するシステムに適用した動画像処理装置の構成図。
【図１７】アフィン変換による画像変形を考慮したマッ
チングを示す図。
チングを示す図。
【図１８】２つの仮想視差の関係を示す図。
１…画像入力部、２…特徴点抽出部、３…アフィンフロ
ー解析部 ４…ポインティング情報生成部、５…ステータス切替部 ６…ジェスチャパタンマッチング部、７…ジェスチャパ
タン記憶部 ８…ポインタ表示部、９…３Ｄモデル記憶部、１０…画
像合成部 １１…画像表示部、１２…ポインタモデル記憶部、２１
…動画像入力部 ２２…特徴点抽出部、２３…並進フロー計算部、２４…
独立運動分割部 ３１…画像入力部、３２…特徴点抽出部、３３…初期対
応探索部 ３４…インタフェイス部、３５…画像合成部、３６…画
像表示部 ３７…対応特徴更新部、３８…構造抽出部
ー解析部 ４…ポインティング情報生成部、５…ステータス切替部 ６…ジェスチャパタンマッチング部、７…ジェスチャパ
タン記憶部 ８…ポインタ表示部、９…３Ｄモデル記憶部、１０…画
像合成部 １１…画像表示部、１２…ポインタモデル記憶部、２１
…動画像入力部 ２２…特徴点抽出部、２３…並進フロー計算部、２４…
独立運動分割部 ３１…画像入力部、３２…特徴点抽出部、３３…初期対
応探索部 ３４…インタフェイス部、３５…画像合成部、３６…画
像表示部 ３７…対応特徴更新部、３８…構造抽出部
Claims (1)
- 【請求項１】 複数の画像に対応する画像情報を入力す
る画像入力手段と、複数の画像の各々から特徴点を抽出
するため前記画像情報に特徴点抽出処理を行う特徴点抽
出手段と、特徴点情報を受け、画像間における少なくと
も３点の特徴点の位置の変化から画像間でのアフィン変
形を推定するアフィン変形推定手段と、画像間における
前記アフィン変形推定手段で用いた特徴点とは異なる特
徴点の位置の変化と前記アフィン変形推定手段により推
定したアフィン変形を適用したことによる位置の変化と
を比較する仮想視差計算手段と、前記アフィン変形推定
手段により推定したアフィン変形情報と前記仮想視差計
算手段で計算した仮想視差情報とから複数の画像間での
画像を撮影した観察側の運動情報を推定する運動情報推
定手段とを具備する動画像処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23985392A JP3244798B2 (ja) | 1992-09-08 | 1992-09-08 | 動画像処理装置 |
| DE69331259T DE69331259T2 (de) | 1992-09-08 | 1993-09-08 | Räumliche Mensch-Schnittstelle durch Bewegungserkennung mit dynamischer Bildverarbeitung |
| US08/117,930 US5581276A (en) | 1992-09-08 | 1993-09-08 | 3D human interface apparatus using motion recognition based on dynamic image processing |
| EP93114415A EP0587138B1 (en) | 1992-09-08 | 1993-09-08 | 3D Human interface apparatus using motion recognition based on dynamic image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23985392A JP3244798B2 (ja) | 1992-09-08 | 1992-09-08 | 動画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001280637A Division JP3668168B2 (ja) | 2001-09-14 | 2001-09-14 | 動画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0689342A true JPH0689342A (ja) | 1994-03-29 |
| JP3244798B2 JP3244798B2 (ja) | 2002-01-07 |
Family
ID=17050852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23985392A Expired - Lifetime JP3244798B2 (ja) | 1992-09-08 | 1992-09-08 | 動画像処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5581276A (ja) |
| EP (1) | EP0587138B1 (ja) |
| JP (1) | JP3244798B2 (ja) |
| DE (1) | DE69331259T2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6993157B1 (en) | 1999-05-18 | 2006-01-31 | Sanyo Electric Co., Ltd. | Dynamic image processing method and device and medium |
| JP2009514106A (ja) * | 2005-10-26 | 2009-04-02 | 株式会社ソニー・コンピュータエンタテインメント | コンピュータプログラムとインタフェースするためのシステムおよび方法 |
| JP2013196482A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 入力ユーザーインターフェイス装置、投影装置、プログラム及びコマンド決定方法 |
| JP2014106603A (ja) * | 2012-11-26 | 2014-06-09 | Kddi Corp | 情報端末装置 |
| JP2018185702A (ja) * | 2017-04-27 | 2018-11-22 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法とプログラム |
| US10786736B2 (en) | 2010-05-11 | 2020-09-29 | Sony Interactive Entertainment LLC | Placement of user information in a game space |
Families Citing this family (311)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US6947571B1 (en) * | 1999-05-19 | 2005-09-20 | Digimarc Corporation | Cell phones with optical capabilities, and related applications |
| US6044165A (en) * | 1995-06-15 | 2000-03-28 | California Institute Of Technology | Apparatus and method for tracking handwriting from visual input |
| US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
| JPH09212648A (ja) * | 1996-01-31 | 1997-08-15 | Toshiba Corp | 動画像処理方法 |
| US5982378A (en) * | 1996-08-02 | 1999-11-09 | Spatial Technology Inc. | System and method for modeling a three dimensional object |
| US5944530A (en) | 1996-08-13 | 1999-08-31 | Ho; Chi Fai | Learning method and system that consider a student's concentration level |
| DE69626208T2 (de) * | 1996-12-20 | 2003-11-13 | Hitachi Europ Ltd | Verfahren und System zur Erkennung von Handgesten |
| JPH10210506A (ja) * | 1997-01-22 | 1998-08-07 | Sony Corp | ３次元画像情報入力装置および３次元画像情報入出力装置 |
| US6266061B1 (en) * | 1997-01-22 | 2001-07-24 | Kabushiki Kaisha Toshiba | User interface apparatus and operation range presenting method |
| US5796354A (en) * | 1997-02-07 | 1998-08-18 | Reality Quest Corp. | Hand-attachable controller with direction sensing |
| US5764164A (en) * | 1997-02-07 | 1998-06-09 | Reality Quest Corp. | Ergonomic hand-attachable controller |
| WO1998041701A1 (de) * | 1997-03-16 | 1998-09-24 | Reglomat Ag | Verfahren und einrichtung zur beeinflussung zumindest einer eigenschaft eines objektes |
| US5821922A (en) * | 1997-05-27 | 1998-10-13 | Compaq Computer Corporation | Computer having video controlled cursor system |
| JP3699807B2 (ja) * | 1997-06-30 | 2005-09-28 | 株式会社東芝 | 相関関係抽出装置 |
| US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
| US6750848B1 (en) | 1998-11-09 | 2004-06-15 | Timothy R. Pryor | More useful man machine interfaces and applications |
| US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| AU1099899A (en) * | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
| US6532022B1 (en) * | 1997-10-15 | 2003-03-11 | Electric Planet, Inc. | Method and apparatus for model-based compositing |
| US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| WO1999019840A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | A system and method for generating an animatable character |
| US6031934A (en) * | 1997-10-15 | 2000-02-29 | Electric Planet, Inc. | Computer vision system for subject characterization |
| US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
| AU2211799A (en) * | 1998-01-06 | 1999-07-26 | Video Mouse Group, The | Human motion following computer mouse and game controller |
| KR100595925B1 (ko) | 1998-01-26 | 2006-07-05 | 웨인 웨스터만 | 수동 입력 통합 방법 및 장치 |
| SE510478C2 (sv) * | 1998-03-16 | 1999-05-25 | Tony Paul Lindeberg | Förfarande och anordning för överföring av information genom rörelsedetektering, samt användning av anordningen |
| US6088018A (en) * | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
| JP2000076460A (ja) * | 1998-06-18 | 2000-03-14 | Minolta Co Ltd | モニタ表示装置 |
| US20010008561A1 (en) * | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
| US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
| US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
| US6950534B2 (en) * | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
| DE69939858D1 (de) | 1998-08-31 | 2008-12-18 | Sony Corp | Bildverarbeitung |
| JP3688489B2 (ja) * | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
| JP2000222584A (ja) * | 1999-01-29 | 2000-08-11 | Toshiba Corp | 映像情報記述方法、映像検索方法及び映像検索装置 |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| TW413795B (en) * | 1999-02-26 | 2000-12-01 | Cyberlink Corp | An image processing method of 3-D head motion with three face feature points |
| US7015950B1 (en) | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
| US7406214B2 (en) | 1999-05-19 | 2008-07-29 | Digimarc Corporation | Methods and devices employing optical sensors and/or steganography |
| US20020032734A1 (en) | 2000-07-26 | 2002-03-14 | Rhoads Geoffrey B. | Collateral data combined with user characteristics to select web site |
| EP1923830A3 (en) * | 1999-05-19 | 2008-08-27 | Digimarc Corporation | Methods and systems for controlling computers or linking to internet resources from physical and electronic objects |
| US7760905B2 (en) * | 1999-06-29 | 2010-07-20 | Digimarc Corporation | Wireless mobile phone with content processing |
| GB9912784D0 (en) * | 1999-06-02 | 1999-08-04 | White Peter M | Device and method for human interaction with a computer through a lifesize image of the user within a three dimensional setting |
| US6766036B1 (en) | 1999-07-08 | 2004-07-20 | Timothy R. Pryor | Camera based man machine interfaces |
| US6775835B1 (en) * | 1999-07-30 | 2004-08-10 | Electric Planet | Web based video enhancement apparatus method and article of manufacture |
| US6545706B1 (en) | 1999-07-30 | 2003-04-08 | Electric Planet, Inc. | System, method and article of manufacture for tracking a head of a camera-generated image of a person |
| US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| US8391851B2 (en) * | 1999-11-03 | 2013-03-05 | Digimarc Corporation | Gestural techniques with wireless mobile phone devices |
| US6973207B1 (en) * | 1999-11-30 | 2005-12-06 | Cognex Technology And Investment Corporation | Method and apparatus for inspecting distorted patterns |
| JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
| US6993156B1 (en) * | 2000-02-18 | 2006-01-31 | Microsoft Corporation | System and method for statistically comparing and matching plural sets of digital data |
| US7328119B1 (en) * | 2000-03-07 | 2008-02-05 | Pryor Timothy R | Diet and exercise planning and motivation including apparel purchases based on future appearance |
| SE0000850D0 (sv) * | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
| EP1739529B1 (en) | 2000-07-05 | 2010-12-01 | Smart Technologies ULC | Camera-based touch system and method |
| US6803906B1 (en) * | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US6795068B1 (en) | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
| US20020071277A1 (en) * | 2000-08-12 | 2002-06-13 | Starner Thad E. | System and method for capturing an image |
| US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
| US6944315B1 (en) * | 2000-10-31 | 2005-09-13 | Intel Corporation | Method and apparatus for performing scale-invariant gesture recognition |
| US7643655B2 (en) * | 2000-11-24 | 2010-01-05 | Clever Sys, Inc. | System and method for animal seizure detection and classification using video analysis |
| US6678413B1 (en) | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
| US7030861B1 (en) * | 2001-02-10 | 2006-04-18 | Wayne Carl Westerman | System and method for packing multi-touch gestures onto a hand |
| US8306635B2 (en) | 2001-03-07 | 2012-11-06 | Motion Games, Llc | Motivation and enhancement of physical and mental exercise, rehabilitation, health and social interaction |
| US20040125076A1 (en) * | 2001-06-08 | 2004-07-01 | David Green | Method and apparatus for human interface with a computer |
| JP3849517B2 (ja) * | 2001-12-14 | 2006-11-22 | ソニー株式会社 | 写真ブース、画像処理方法、記録媒体、並びにプログラム |
| US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
| US10242255B2 (en) | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
| US9959463B2 (en) | 2002-02-15 | 2018-05-01 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
| GB2388418A (en) * | 2002-03-28 | 2003-11-12 | Marcus James Eales | Input or pointing device with a camera |
| US7038659B2 (en) * | 2002-04-06 | 2006-05-02 | Janusz Wiktor Rajkowski | Symbol encoding apparatus and method |
| US7366645B2 (en) * | 2002-05-06 | 2008-04-29 | Jezekiel Ben-Arie | Method of recognition of human motion, vector sequences and speech |
| US6952046B2 (en) * | 2002-06-19 | 2005-10-04 | Foster-Miller, Inc. | Electronic and optoelectronic component packaging technique |
| US20040001144A1 (en) | 2002-06-27 | 2004-01-01 | Mccharles Randy | Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects |
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US7102615B2 (en) | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US7627139B2 (en) | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US7164800B2 (en) * | 2003-02-19 | 2007-01-16 | Eastman Kodak Company | Method and system for constraint-consistent motion estimation |
| US7203384B2 (en) | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
| US7312788B2 (en) * | 2003-03-11 | 2007-12-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Gesture-based input device for a user interface of a computer |
| US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7256772B2 (en) | 2003-04-08 | 2007-08-14 | Smart Technologies, Inc. | Auto-aligning touch system and method |
| US20040268393A1 (en) * | 2003-05-08 | 2004-12-30 | Hunleth Frank A. | Control framework with a zoomable graphical user interface for organizing, selecting and launching media items |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| WO2004107266A1 (en) * | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
| EP3196805A3 (en) * | 2003-06-12 | 2017-11-01 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US8133115B2 (en) | 2003-10-22 | 2012-03-13 | Sony Computer Entertainment America Llc | System and method for recording and displaying a graphical path in a video game |
| US7088440B2 (en) * | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
| US7355593B2 (en) | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US7663689B2 (en) | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
| US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
| US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
| US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US7232986B2 (en) * | 2004-02-17 | 2007-06-19 | Smart Technologies Inc. | Apparatus for detecting a pointer within a region of interest |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US7460110B2 (en) | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
| US7492357B2 (en) | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| US9058388B2 (en) | 2004-06-22 | 2015-06-16 | Digimarc Corporation | Internet and database searching with handheld devices |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| US8560972B2 (en) * | 2004-08-10 | 2013-10-15 | Microsoft Corporation | Surface UI for gesture-based interaction |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US20060071933A1 (en) | 2004-10-06 | 2006-04-06 | Sony Computer Entertainment Inc. | Application binary interface for multi-pass shaders |
| KR100663515B1 (ko) * | 2004-11-08 | 2007-01-02 | 삼성전자주식회사 | 휴대 단말 장치 및 이를 위한 데이터 입력 방법 |
| KR100960577B1 (ko) * | 2005-02-08 | 2010-06-03 | 오블롱 인더스트리즈, 인크 | 제스처 기반의 제어 시스템을 위한 시스템 및 방법 |
| DE102005011432B4 (de) * | 2005-03-12 | 2019-03-21 | Volkswagen Ag | Datenhandschuh |
| US7710452B1 (en) | 2005-03-16 | 2010-05-04 | Eric Lindberg | Remote video monitoring of non-urban outdoor sites |
| US7636126B2 (en) | 2005-06-22 | 2009-12-22 | Sony Computer Entertainment Inc. | Delay matching in audio/video systems |
| JP4424299B2 (ja) * | 2005-11-02 | 2010-03-03 | ソニー株式会社 | 画像処理方法、画像処理装置およびこれを用いた画像表示装置 |
| US8196055B2 (en) * | 2006-01-30 | 2012-06-05 | Microsoft Corporation | Controlling application windows in an operating system |
| US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| US9075441B2 (en) * | 2006-02-08 | 2015-07-07 | Oblong Industries, Inc. | Gesture based control using three-dimensional information extracted over an extended depth of field |
| US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
| US20140035805A1 (en) * | 2009-04-02 | 2014-02-06 | David MINNEN | Spatial operating environment (soe) with markerless gestural control |
| US9910497B2 (en) * | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
| US8537112B2 (en) * | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US8407725B2 (en) | 2007-04-24 | 2013-03-26 | Oblong Industries, Inc. | Proteins, pools, and slawx in processing environments |
| US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US7965859B2 (en) | 2006-05-04 | 2011-06-21 | Sony Computer Entertainment Inc. | Lighting control of a user environment via a display device |
| US7880746B2 (en) | 2006-05-04 | 2011-02-01 | Sony Computer Entertainment Inc. | Bandwidth management through lighting control of a user environment via a display device |
| EP2067119A2 (en) | 2006-09-08 | 2009-06-10 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
| JP4759524B2 (ja) * | 2007-01-09 | 2011-08-31 | 富士フイルム株式会社 | 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置 |
| US7877706B2 (en) * | 2007-01-12 | 2011-01-25 | International Business Machines Corporation | Controlling a document based on user behavioral signals detected from a 3D captured image stream |
| US7792328B2 (en) * | 2007-01-12 | 2010-09-07 | International Business Machines Corporation | Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream |
| US8588464B2 (en) * | 2007-01-12 | 2013-11-19 | International Business Machines Corporation | Assisting a vision-impaired user with navigation based on a 3D captured image stream |
| US8269834B2 (en) | 2007-01-12 | 2012-09-18 | International Business Machines Corporation | Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream |
| US7801332B2 (en) * | 2007-01-12 | 2010-09-21 | International Business Machines Corporation | Controlling a system based on user behavioral signals detected from a 3D captured image stream |
| US7840031B2 (en) * | 2007-01-12 | 2010-11-23 | International Business Machines Corporation | Tracking a range of body movement based on 3D captured image streams of a user |
| US7971156B2 (en) * | 2007-01-12 | 2011-06-28 | International Business Machines Corporation | Controlling resource access based on user gesturing in a 3D captured image stream of the user |
| US8295542B2 (en) | 2007-01-12 | 2012-10-23 | International Business Machines Corporation | Adjusting a consumer experience based on a 3D captured image stream of a consumer response |
| WO2008128096A2 (en) | 2007-04-11 | 2008-10-23 | Next Holdings, Inc. | Touch screen system with hover and click input methods |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| CA2697856A1 (en) | 2007-08-30 | 2009-03-05 | Next Holdings, Inc. | Low profile touch panel systems |
| CN101802760B (zh) | 2007-08-30 | 2013-03-20 | 奈克斯特控股有限公司 | 具有改进照明的光学触摸屏 |
| US8005263B2 (en) * | 2007-10-26 | 2011-08-23 | Honda Motor Co., Ltd. | Hand sign recognition using label assignment |
| US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
| US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| CN102016877B (zh) | 2008-02-27 | 2014-12-10 | 索尼计算机娱乐美国有限责任公司 | 用于捕获场景的深度数据并且应用计算机动作的方法 |
| US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| US10642364B2 (en) | 2009-04-02 | 2020-05-05 | Oblong Industries, Inc. | Processing tracking and recognition data in gestural recognition systems |
| US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
| US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
| US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
| US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
| US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| FR2931277B1 (fr) * | 2008-05-19 | 2010-12-31 | Ecole Polytech | Procede et dispositif de reconnaissance invariante-affine de formes |
| CN102112945B (zh) * | 2008-06-18 | 2016-08-10 | 奥布隆工业有限公司 | 用于交通工具接口的基于姿态的控制系统 |
| US8477103B2 (en) | 2008-10-26 | 2013-07-02 | Microsoft Corporation | Multi-touch object inertia simulation |
| US8466879B2 (en) | 2008-10-26 | 2013-06-18 | Microsoft Corporation | Multi-touch manipulation of application objects |
| US8634635B2 (en) * | 2008-10-30 | 2014-01-21 | Clever Sys, Inc. | System and method for stereo-view multiple animal behavior characterization |
| US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
| US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| US8660300B2 (en) * | 2008-12-12 | 2014-02-25 | Silicon Laboratories Inc. | Apparatus and method for optical gesture recognition |
| US8970707B2 (en) | 2008-12-17 | 2015-03-03 | Sony Computer Entertainment Inc. | Compensating for blooming of a shape in an image |
| US8253801B2 (en) | 2008-12-17 | 2012-08-28 | Sony Computer Entertainment Inc. | Correcting angle error in a tracking system |
| US8761434B2 (en) | 2008-12-17 | 2014-06-24 | Sony Computer Entertainment Inc. | Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system |
| DE202010018601U1 (de) | 2009-02-18 | 2018-04-30 | Google LLC (n.d.Ges.d. Staates Delaware) | Automatisches Erfassen von Informationen, wie etwa Erfassen von Informationen unter Verwendung einer dokumentenerkennenden Vorrichtung |
| US8990235B2 (en) | 2009-03-12 | 2015-03-24 | Google Inc. | Automatically providing content associated with captured information, such as information captured in real-time |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
| US20150309581A1 (en) * | 2009-04-02 | 2015-10-29 | David MINNEN | Cross-user hand tracking and shape recognition user interface |
| US10824238B2 (en) | 2009-04-02 | 2020-11-03 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| US9317128B2 (en) | 2009-04-02 | 2016-04-19 | Oblong Industries, Inc. | Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control |
| US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
| US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
| US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
| US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
| US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
| US9058063B2 (en) | 2009-05-30 | 2015-06-16 | Sony Computer Entertainment Inc. | Tracking system calibration using object position and orientation |
| TWI493506B (zh) * | 2009-06-09 | 2015-07-21 | Univ Nat Taiwan | 三維指標裝置及三維指標裝置定位方法 |
| US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
| US8400398B2 (en) * | 2009-08-27 | 2013-03-19 | Schlumberger Technology Corporation | Visualization controls |
| US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| US9971807B2 (en) | 2009-10-14 | 2018-05-15 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
| US8600166B2 (en) | 2009-11-06 | 2013-12-03 | Sony Corporation | Real time hand tracking, pose classification and interface control |
| TWI413024B (zh) * | 2009-11-19 | 2013-10-21 | Ind Tech Res Inst | 物件偵測方法及系統 |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US20110193969A1 (en) * | 2010-02-09 | 2011-08-11 | Qisda Corporation | Object-detecting system and method by use of non-coincident fields of light |
| US9628722B2 (en) | 2010-03-30 | 2017-04-18 | Personify, Inc. | Systems and methods for embedding a foreground video into a background feed based on a control input |
| US8384559B2 (en) | 2010-04-13 | 2013-02-26 | Silicon Laboratories Inc. | Sensor device with flexible interface and updatable information store |
| US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
| US8427483B1 (en) | 2010-08-30 | 2013-04-23 | Disney Enterprises. Inc. | Drawing figures in computer-based drawing applications |
| US8649592B2 (en) | 2010-08-30 | 2014-02-11 | University Of Illinois At Urbana-Champaign | System for background subtraction with 3D camera |
| US8487932B1 (en) * | 2010-08-30 | 2013-07-16 | Disney Enterprises, Inc. | Drawing figures in computer-based drawing applications |
| US8467599B2 (en) | 2010-09-02 | 2013-06-18 | Edge 3 Technologies, Inc. | Method and apparatus for confusion learning |
| US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
| US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
| US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
| US20120058824A1 (en) | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Scalable real-time motion recognition |
| US8963836B2 (en) * | 2010-09-17 | 2015-02-24 | Tencent Technology (Shenzhen) Company Limited | Method and system for gesture-based human-machine interaction and computer-readable medium thereof |
| CN102023707A (zh) * | 2010-10-15 | 2011-04-20 | 哈尔滨工业大学 | 基于dsp-pc机器视觉系统的斑纹式数据手套 |
| US8730157B2 (en) * | 2010-11-15 | 2014-05-20 | Hewlett-Packard Development Company, L.P. | Hand pose recognition |
| US9160898B2 (en) | 2011-01-25 | 2015-10-13 | Autofuss | System and method for improved video motion control |
| US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
| US8928589B2 (en) * | 2011-04-20 | 2015-01-06 | Qualcomm Incorporated | Virtual keyboards and methods of providing the same |
| US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
| US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
| US9832352B2 (en) | 2011-11-16 | 2017-11-28 | Autofuss | System and method for 3D projection mapping with robotically controlled objects |
| CN104054023B (zh) * | 2011-11-16 | 2017-11-17 | 欧特法斯公司 | 用于与机器人控制的物体映射的3d投影的系统和方法 |
| US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9336456B2 (en) | 2012-01-25 | 2016-05-10 | Bruno Delean | Systems, methods and computer program products for identifying objects in video data |
| US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
| US9536135B2 (en) * | 2012-06-18 | 2017-01-03 | Microsoft Technology Licensing, Llc | Dynamic hand gesture recognition using depth data |
| WO2014013628A1 (ja) * | 2012-07-20 | 2014-01-23 | 楽天株式会社 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
| US20140047393A1 (en) * | 2012-08-07 | 2014-02-13 | Samsung Electronics Co., Ltd. | Method and portable apparatus with a gui |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9626015B2 (en) | 2013-01-08 | 2017-04-18 | Leap Motion, Inc. | Power consumption in motion-capture systems with audio and optical signals |
| US9696867B2 (en) | 2013-01-15 | 2017-07-04 | Leap Motion, Inc. | Dynamic user interactions for display control and identifying dominant gestures |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| WO2014116882A1 (en) * | 2013-01-23 | 2014-07-31 | Leap Motion, Inc. | Systems and methods of tracking object movements in three-dimensional space |
| US9524028B2 (en) | 2013-03-08 | 2016-12-20 | Fastvdo Llc | Visual language for human computer interfaces |
| WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
| US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US8922589B2 (en) | 2013-04-07 | 2014-12-30 | Laor Consulting Llc | Augmented reality apparatus |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US9829984B2 (en) * | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
| US9020194B2 (en) * | 2013-06-14 | 2015-04-28 | Qualcomm Incorporated | Systems and methods for performing a device action based on a detected gesture |
| US9678583B2 (en) * | 2013-07-23 | 2017-06-13 | University Of Kentucky Research Foundation | 2D and 3D pointing device based on a passive lights detection operation method using one camera |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| US9774548B2 (en) | 2013-12-18 | 2017-09-26 | Personify, Inc. | Integrating user personas with chat sessions |
| US9414016B2 (en) | 2013-12-31 | 2016-08-09 | Personify, Inc. | System and methods for persona identification using combined probability maps |
| US9386303B2 (en) | 2013-12-31 | 2016-07-05 | Personify, Inc. | Transmitting video and sharing content via a network using multiple encoding techniques |
| US9485433B2 (en) | 2013-12-31 | 2016-11-01 | Personify, Inc. | Systems and methods for iterative adjustment of video-capture settings based on identified persona |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| US20150244747A1 (en) * | 2014-02-26 | 2015-08-27 | United Video Properties, Inc. | Methods and systems for sharing holographic content |
| US9761035B1 (en) | 2014-03-03 | 2017-09-12 | Mindstream Interface Dynamics, Inc. | Dynamic user interfaces |
| US9990046B2 (en) | 2014-03-17 | 2018-06-05 | Oblong Industries, Inc. | Visual collaboration interface |
| CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
| MA41117A (fr) | 2014-12-05 | 2017-10-10 | Myfiziq Ltd | Imagerie d'un corps |
| US9916668B2 (en) | 2015-05-19 | 2018-03-13 | Personify, Inc. | Methods and systems for identifying background in video data using geometric primitives |
| US9563962B2 (en) | 2015-05-19 | 2017-02-07 | Personify, Inc. | Methods and systems for assigning pixels distance-cost values using a flood fill technique |
| US10244224B2 (en) | 2015-05-26 | 2019-03-26 | Personify, Inc. | Methods and systems for classifying pixels as foreground using both short-range depth data and long-range depth data |
| US9607397B2 (en) | 2015-09-01 | 2017-03-28 | Personify, Inc. | Methods and systems for generating a user-hair-color model |
| US9898674B2 (en) * | 2015-12-10 | 2018-02-20 | International Business Machines Corporation | Spoof detection for facial recognition |
| US10771508B2 (en) | 2016-01-19 | 2020-09-08 | Nadejda Sarmova | Systems and methods for establishing a virtual shared experience for media playback |
| US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
| US9883155B2 (en) | 2016-06-14 | 2018-01-30 | Personify, Inc. | Methods and systems for combining foreground video and background video using chromatic matching |
| US10529302B2 (en) | 2016-07-07 | 2020-01-07 | Oblong Industries, Inc. | Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold |
| KR102594792B1 (ko) * | 2016-09-30 | 2023-10-30 | 엘지디스플레이 주식회사 | 유기발광표시장치 및 그 제어방법 |
| US9881207B1 (en) | 2016-10-25 | 2018-01-30 | Personify, Inc. | Methods and systems for real-time user extraction using deep learning networks |
| RU2693197C2 (ru) * | 2017-05-04 | 2019-07-01 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Сибирский государственный университет телекоммуникаций и информатики" (СибГУТИ) | Операторный универсальный интеллектуальный 3-D интерфейс |
| CN109923583A (zh) | 2017-07-07 | 2019-06-21 | 深圳市大疆创新科技有限公司 | 一种姿态的识别方法、设备及可移动平台 |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
| US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
| CN117011922B (zh) * | 2023-09-26 | 2024-03-08 | 荣耀终端有限公司 | 人脸识别方法、设备和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4685143A (en) * | 1985-03-21 | 1987-08-04 | Texas Instruments Incorporated | Method and apparatus for detecting edge spectral features |
| US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
| JPH01183793A (ja) * | 1988-01-18 | 1989-07-21 | Toshiba Corp | 文字認識装置 |
| US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
| JPH036782A (ja) * | 1989-06-05 | 1991-01-14 | Nippon Telegr & Teleph Corp <Ntt> | ３次元的動き情報抽出処理方式 |
| JPH036780A (ja) * | 1989-06-05 | 1991-01-14 | Nippon Telegr & Teleph Corp <Ntt> | ３次元の位置情報抽出処理方式 |
| US5263097A (en) * | 1991-07-24 | 1993-11-16 | Texas Instruments Incorporated | Parameter normalized features for classification procedures, systems and methods |
| JP2873338B2 (ja) * | 1991-09-17 | 1999-03-24 | 富士通株式会社 | 動物体認識装置 |
-
1992
- 1992-09-08 JP JP23985392A patent/JP3244798B2/ja not_active Expired - Lifetime
-
1993
- 1993-09-08 EP EP93114415A patent/EP0587138B1/en not_active Expired - Lifetime
- 1993-09-08 US US08/117,930 patent/US5581276A/en not_active Expired - Lifetime
- 1993-09-08 DE DE69331259T patent/DE69331259T2/de not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6993157B1 (en) | 1999-05-18 | 2006-01-31 | Sanyo Electric Co., Ltd. | Dynamic image processing method and device and medium |
| JP2009514106A (ja) * | 2005-10-26 | 2009-04-02 | 株式会社ソニー・コンピュータエンタテインメント | コンピュータプログラムとインタフェースするためのシステムおよび方法 |
| US10786736B2 (en) | 2010-05-11 | 2020-09-29 | Sony Interactive Entertainment LLC | Placement of user information in a game space |
| US11478706B2 (en) | 2010-05-11 | 2022-10-25 | Sony Interactive Entertainment LLC | Placement of user information in a game space |
| JP2013196482A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 入力ユーザーインターフェイス装置、投影装置、プログラム及びコマンド決定方法 |
| JP2014106603A (ja) * | 2012-11-26 | 2014-06-09 | Kddi Corp | 情報端末装置 |
| JP2018185702A (ja) * | 2017-04-27 | 2018-11-22 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法とプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0587138A3 (en) | 1994-12-28 |
| DE69331259T2 (de) | 2002-07-18 |
| EP0587138A2 (en) | 1994-03-16 |
| JP3244798B2 (ja) | 2002-01-07 |
| EP0587138B1 (en) | 2001-12-05 |
| US5581276A (en) | 1996-12-03 |
| DE69331259D1 (de) | 2002-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3244798B2 (ja) | 動画像処理装置 | |
| KR101424942B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법 | |
| JP4473754B2 (ja) | 仮想試着装置 | |
| Gavrila et al. | Tracking of humans in action: A 3-D model-based approach | |
| JP5093053B2 (ja) | 電子カメラ | |
| JPH11259660A (ja) | 三次元動作復元システム | |
| KR20120014925A (ko) | 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법 | |
| JPH10320588A (ja) | 画像処理装置および画像処理方法 | |
| Darrell et al. | A virtual mirror interface using real-time robust face tracking | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| Plankers et al. | Automated body modeling from video sequences | |
| Zou et al. | Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking | |
| JP2010211732A (ja) | 物体認識装置および方法 | |
| JP3668168B2 (ja) | 動画像処理装置 | |
| JP3642923B2 (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
| JP3790253B2 (ja) | 動画像処理装置 | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| JP2005063463A (ja) | 動画像処理装置 | |
| Mukaigawa et al. | Face synthesis with arbitrary pose and expression from several images: An integration of image-based and model-based approaches | |
| KR102239957B1 (ko) | 가상 관절 구(sphere)를 이용한 모션 모델링 방법 및 그 장치 | |
| US20220198747A1 (en) | Method for annotating points on a hand image to create training dataset for machine learning | |
| Caron et al. | 3D Model-Based Tracking of Puppet in Depth Images for the Dynamic Video-Mapping of Its Suit | |
| Maidi et al. | Multimodal 2D/3D Registration for Open Augmented Reality Applications | |
| Kim et al. | Projection-based registration using color and texture information for virtual environment generation | |
| JP2023026244A (ja) | 画像生成装置および画像生成方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081026 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081026 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091026 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |