JP5620516B2 - 安定化方法、及びコンピュータ・システム - Google Patents

安定化方法、及びコンピュータ・システム Download PDF

Info

Publication number
JP5620516B2
JP5620516B2 JP2012546439A JP2012546439A JP5620516B2 JP 5620516 B2 JP5620516 B2 JP 5620516B2 JP 2012546439 A JP2012546439 A JP 2012546439A JP 2012546439 A JP2012546439 A JP 2012546439A JP 5620516 B2 JP5620516 B2 JP 5620516B2
Authority
JP
Japan
Prior art keywords
measurement value
value
measurement
difference
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012546439A
Other languages
English (en)
Other versions
JP2013515962A (ja
Inventor
ベール、グザヴィエ
トロ、ジュリアン
Original Assignee
ソフトキネティック ソフトウェア
ソフトキネティック ソフトウェア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトキネティック ソフトウェア, ソフトキネティック ソフトウェア filed Critical ソフトキネティック ソフトウェア
Publication of JP2013515962A publication Critical patent/JP2013515962A/ja
Application granted granted Critical
Publication of JP5620516B2 publication Critical patent/JP5620516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering

Description

本発明は、デジタル・センサにより取得された物理変数の一連の測定値を安定化する方法、及びデバイスに関する。
通常、物理変数が連続信号である一方で、デジタル・センサが出力できるのは、それら変数の不連続な読取り値のみである。デジタル・センサによるそのような連続的な物理変数の不連続な読取り値はいくらかのノイズを生成する、又は、前記連続的な物理変数のデジタル表示の精度を変える可能性がある。フィルタを追加することでそのようなノイズを削減又は抑制することができる一方で、フィルタはまた、知覚可能な待ち時間/遅延を導入する、又は、前記物理変数の一連の測定値全体に亘る緩やかであるが明確な変動をマスクする可能性もある。したがって、そのような緩やかであるが明確な変動に大幅な影響を及ぼすことなく、且つ知覚可能な遅延を加えることなく、デジタル・センサによって取得された物理変数の一連の測定値における雑音を制御することができる安定化方法を開発することは利点がある。
そのような安定化方法は、デジタル・センサによってある時間に亘って取得された一連の空間位置測定値、特に3Dデジタル・イメージング・システムによって、ある時間に亘って取得された一連の空間位置測定値を安定化することに対して特に利点がある。特に、そのような空間位置測定値の取得が対象物認識ステップも含む場合、対象物認識アルゴリズムは対象物の空間位置の連続する測定値における顕著なノイズ、及び空間位置調整ラスタの限定的な定義によって悪化させられる可能性のあるノイズを引き起こすことがある。
米国特許出願公開第2006/028944号において、前の位置測定値との差がある閾値より小さいなら、位置測定値の変化を破棄する又は減じることによって、デジタル・モーション・センサによって取得された経時的な一連の位置測定値のノイズを抑制する試みが成されている。しかしながら、そのような安定化技術によって、緩やかであるが真の連続動作が、位置測定値における不意の変動として気付かれないか、又は反映されることになる。このような理由から明らかなように、この開示によれば、この技術は特定の事象に応じて規則的に適用される。
米国特許出願公開第2008/165280号では、画像の安定化が安定化アルゴリズムの形で画像安定化パラメータの初期セットを使って達成される、ビデオ安定化の方法が開示されている。因果性及び非因果性フィルタリングの両方が記載されており、因果性フィルタリングが使われた場合に、復号された画像がバッファリングされる。部分的な投影ベクトル、すなわち2つの画像の部分的な領域の比較を実行して、ジッタ成分に対して最良の一致(比較された2つのベクトルの間の最短距離)を判断する。フィルタ式を使うことで二次元におけるジッタを補正し、フィルタ式は算出された動きの推定値に関して表される。ジッタをゼロに導き、フレーム毎に、2Hz以上の周波数でビデオカメラの手ぶれを補正するために採用することができるダンピング係数aが開示されている。このダンピング係数は、0<a<1の正規化された値を有する。
米国特許出願公開第2008/030460号では、基準画像を比較画像と比較して、特徴を一致させることが開示されている。2つの閾値が適用され、結果的に、画像を3つの領域、すなわち高ダンピング領域、低ダンピング領域、及び漸進又は線形領域に分割する。画像内の位置情報は、適用物、例えば関心領域内の手の位置を制御するために使われる。
米国特許出願公開第2006/028944号 米国特許出願公開第2008/165280号 米国特許出願公開第2008/030460号 国際公開第2008/128568号
したがって、本発明は、デジタル・センサによって取得された一連の物理変数の測定値におけるノイズを確実にフィルタリングできる方法及びデバイスを含み、前記一連の測定値全体に亘る前記物理変数における緩やかだが関連性のある変動を十分に反映したまま、物理変数のデジタル表現と現実世界における連続空間内での絶対式との間の顕著な遅延の導入を実質的に妨げる。
本発明によれば、デジタル・センサによって取得された物理変数の一連の測定値Pを安定化する方法は、
センサを通じて、前記物理変数の少なくとも第1の測定値Pt−2、第2の測定値Pt−1、及び第3の測定値Pを取得するステップと、
前記第1の測定値Pt−2と前記第2の測定値Pt−1間の差Δt−1が閾値βより小さいなら、前記第1の測定値Pt−2に対する差がフィルタリング強度αt−1を使って減ぜられた、補正された第2の測定値P’t−1を、デジタル・メモリにおいて第2の測定値Pt−1と置き換えるステップと、
前記補正された第2の測定値P’t−1と前記第3の測定値P間の差Δも閾値βより小さいなら、前記補正された第2の測定値P’t−1に対する差が第2の測定値Pt−1に適用されたフィルタリング強度αt−1より低いフィルタリング強度αを使って減ぜられた、補正された第3の測定値P’を、デジタル・メモリにおいて第3の測定値Pと置き換えるステップとを含む。
「デジタル・メモリ」とは、ランダム・アクセス・メモリ又はフラッシュ・メモリ等の固体記憶装置だけでなく、ハード・ディスク・ドライブ又は磁気テープ等の磁気データ記憶媒体、光ディスク等の光データ記憶媒体等を含むが、それらに限定されない任意のコンピュータ読込み可能及びコンピュータ書込み可能データ記憶媒体を意味する。
フィルタリング強度は、フィルタリングされる必要のある各測定値が後続になるにつれて減少するので、フィルタリングされた出力は、徐々に、一方向に緩やかだが着実に動く入力に向かって収束する。他方、短期ノイズは、最も高いフィルタリング強度でフィルタリングされる。
米国特許出願公開2008/165280号に記載された方法では、閾値より小さい差に応じた、測定された比較値又は測定値の補正はない。このビデオ安定化技術において、安定化は、ジッタ及び動き推定に関する連続フレームにおける画像の同じ部分を保持することにより達成される。元の画像はクロップされ(したがって、壊され)、クロップされた画像は次の画像との補間に使われ、クロッピングの量は決められたジッタに応じて求められる。
米国特許出願公開2008/030460号は閾値の適用について開示しており、それら閾値により画像を3つの領域、すなわち高ダンピング領域、低ダンピング領域、及び漸進又は線形領域に効果的に分割する。画像の位置情報は、関心領域内の用途を制御するために使われる。この方法では、線形関数が2つの閾値間のダンピングのために使われるので、動的調整は提供されない。
有利には、本方法では、デジタル・プロセッサにおいてP’t−1を次式で計算することができる。
Figure 0005620516

ここで、Δ’t−1は、フィルタリング関数f(Δ)をフィルタリング強度αt−1との差Δt−1に適用した結果であり、
P’は、デジタル・プロセッサにおいて、次式で計算される。
Figure 0005620516

ここで、Δ’は、フィルタリング関数f(Δ)を低フィルタリング強度αとの差Δt−1に適用した結果である。これらの数式はスカラに対してだけでなくベクトル測定値Pに対しても適用できるので、本発明のこの特定の実施例による方法は、物理変数が多次元である場合でも、前記物理変数の一連の測定値を安定化するために使うこともできる。
更に有利には、フィルタリング関数f(Δ)は、次式によってべき関数とすることができる。
Figure 0005620516
有利には、前記第1、第2、第3の測定値は、時間的に連続となり得る。したがって、本発明のこの特定の実施例による方法は、時間の経過に伴う物理変数の状態変化を評価するために、前記物理変数の一連の経時的に連続する測定値を安定化する目的で使うことができる。
有利には、前記物理変数は位置であり得る。更により有利には、前記物理変数は、三次元空間における位置であり得る。特定の実施例において、フィルタリング・パラメータの別のセットを、この三次元空間における各軸に対して適用することができる。したがって、特に前記測定値が経時的に連続する場合、本発明のこの特定の実施例による方法は、緩やかだが着実な移動の測定に大幅な影響を与えずに、位置又は動きのデジタル・センサを使って取得された動きにおけるノイズをフィルタリングするために使うことができる。
特に有利には、前記デジタル・センサは、撮像センサであり得る。このことは、位置測定値の取得を更に容易にし、特に、前記デジタル・センサが3D撮像センサであるなら、三次元空間における位置測定値の取得を可能にする。そのような3D撮像センサは、例えば、LIDARセンサ、飛行時間(TOF)カメラ、レーザ三角測量の走査で用いるカメラ、又は、他の任意の種類の遠隔計測システムを含む。
特に有利には、物理的位置の前記一連の測定値における各測定値を取得することは、画像内の所与の対象物を認識すること、及び基準フレーム内のその位置を測定することを含むことができる。例えば、国際公開第2008/128568号において以前に開示されたような既存の認識アルゴリズムは、例えば、画像、おそらくは3D画像内でのユーザの手足等の対象物を認識することを可能にする。国際公開第2008/128568号において、三次元空間内でのボリュームを認識する方法が開示され、この方法において、三次元画像データは、三次元空間で用いる複数のポイントを備える。これらのポイントはクラスタ化され、クラスタは関心ポイントとして選択される。選択されたクラスタ内のポイントはサブクラスタに再グループ化され、サブクラスタは、それぞれが重心、及び重心と関連づけられたボリュームを有する。重心は対象物を表すネットワークを形成するよう繋ぐことができ、手足は他の1つの重心のみに繋げられた重心であるとして識別される。
しかしながら、これらのアルゴリズムは、連続画像内の前記対象物の位置の測定におけるあるレベルのノイズをもたらす可能性がある。本発明のこの特定の実施例による方法は、対象物の緩やかであるが着実な移動の伝達に大幅な影響を与えることなしに、そのようなノイズに対する前記対象物の連続する位置測定値の安定化をもたらすと共に、現実の位置と前記位置のデジタル値の間の顕著な遅延の導入を回避する。
本方法は、この安定化方法を実行するための実行可能コードを格納するコンピュータ読込み可能データ記憶媒体にも関する。
「コンピュータ読込み可能データ記憶媒体」とは、ランダム・アクセス・メモリ、フラッシュ・メモリ、又はリード・オンリー・メモリ等の固体記憶装置だけでなく、ハード・ディスク・ドライブ又は磁気テープ等の磁気データ記憶媒体、光ディスク等の光データ記憶媒体などを含むが、それらに限定されない、デジタル・データを含む任意のコンピュータ読込み可能サポートを意味する。
本発明は、デジタル・センサによって取得された物理変数の一連の測定値を通じて、コンピュータ・システムにデータ及び/又はコマンドを入力する方法にも関する。本発明の特定の実施例において、この一連の測定値は、上記のように安定化される。有利には、前記データ及び/又はコマンドは、前記コンピュータ・システムによって実行されるコンピュータ・ゲームに関連することができる。前記物理変数は、ユーザの体の部分の物理的な位置であってもよい。
本発明は、コンピュータ・システムにも関する。本発明の1つの好適な実施例によれば、このコンピュータ・システムは、
デジタル・センサによって取得された物理変数の一連の測定値を受信する、前記デジタル・センサに接続可能な入力と、
本発明による前記一連の測定値を安定化する方法を実行するための命令を含むデジタル・メモリと、
前記命令を実行するために前記デジタル・メモリ及び前記入力に接続されたデジタル・データ・プロセッサとを備える。
本発明の特定の実施例は、以下の図を参照して、限定的な形態ではなく例示的に記載される。
本発明の特定の実施例による、人間のユーザ、デジタル・センサ、及びコンピュータ・システムの模式図である。 本発明の特定の実施例による安定化方法のフローチャートである。 初期測定に関するいくつかの異なる差について、本発明による安定化方法の効果を表すグラフである。
本発明の特定の実施例を図1に示す。この特定の実施例において、本発明の方法は、コンピュータ・システム4に接続された3D撮像センサ3を通して認識される人間のユーザ2の右手1の動きを安定化するために使われる。特に有利な実施例では、3D撮像センサ3はTOFカメラである。しかしながら、2Dカメラ、ステレオ・カメラ、LIDAR、レーダー、ソナー等の別の種類のデジタル・イメージング・システムが代わりに使われてもよい。
3D撮像センサは、人間のユーザ2が立っている部屋の3D画像データを取得し、この3D画像データは、複数のピクセルによる部屋の2D画像と、各ピクセルに対する深度値とを含んでおり、この深度値は、各ピクセルによって描き出されるポイントの3D撮像センサ3への距離に対応している。2D画像自体の中のピクセルのX及びY位置は、それらが3D撮像センサ3に対して表すポイントの天頂角、及び方位角に対応するので、これら3D画像データは、3D撮像センサ3の範囲内にある対象物の可視ポイントに対応するポイントの三次元雲によって示すことができる。処理を簡単にするために、3D撮像センサ3に対する各ポイントの深度、天頂角、及び方位角は、直交座標に変換することができる。
3D撮像センサ3自体の中、コンピュータ・システム4の中、又はそれらの間の任意の場所にあってもよいプロセッサは、人間のユーザ2に対応するこの画像のポイントをグループ化する認識アルゴリズムをいくつかのクラスタに適用し、各クラスタは、人間のユーザ2の体の部分に対応し、人間のユーザ2の体の部分としてタグ付けされる。プロセッサは、各クラスタの重心位置も計算し、右手1等の対応する体の部分にクラスタを割り当てる。しかしながら、時間的に連続する人間のユーザの画像を取得すると、光のわずかな変化でさえ、認識アルゴリズムに、所与のクラスタに対して異なるポイントを割り当てさせ、たとえ人間のユーザ2が実際には完全に立ち止まっていても、対応する体の部分の位置の明確な動きを生成する。そのようなノイズは、光の摂動又は変調により、3D撮像センサの限られた精細度及び体の部分の位置が示された基準フレームのラスタにより、3D撮像センサの感度により、及び/又は前の画像処理ステップにより、もたらされる可能性がある。
手1の測定された位置におけるこのノイズ及び別のノイズを抑制するが、同じ手1の緩やかであるが実際の着実な動きは抑制しないように、コンピュータ・システム4が図2のフローチャートに示すような安定化方法を実行する。
第1のステップ101において、コンピュータ・システム4は、3D撮像センサ3を通じて取得され、上記の認識アルゴリズムによって解釈される3つの軸X、Y、Zにおける手の位置の経時的に連続する一連の測定値を受信し、この測定値には、軸X、Y、Zのそれぞれに対する手の位置の少なくとも第1の測定値Pt−2、第2の測定値Pt−1、及び第3の測定値Pが含まれる。
ステップ102において、前記コンピュータ・システム4のプロセッサは、軸X、Y、Zのそれぞれに対する前記第1の測定値Pt−2と前記第2の測定値Pt−1の間の差Δt−1を次式で計算する。
Δt−1=‖(Pt−1−Pt−2)‖
次いで第3のステップ103において、この差Δt−1は、プロセッサによって所定の閾値βと比較される。この好適な実施例において、この閾値βは軸X、Y、Zのそれぞれに対して個々に設定され得る。差Δt−1が閾値β以上なら、第2の測定値はフィルタリングされずに残る。しかしながら、差Δt−1が閾値βより小さいなら、プロセッサは、第4のステップ104において、第2の測定値Pt−1の補正値P’t−1を計算して、コンピュータ・メモリ内の前記第2の測定値Pt−1と置き換える。この補正値P’t−1は、次の式で計算される。
Figure 0005620516

ここで、Δ’t−1はフィルタリング関数f(Δ)にフィルタリング強度αt−1との差Δt−1を適用することでもたらされる補正された差であり、フィルタリング関数f(Δ)は次式で表されるべき関数である。
Figure 0005620516
その後、次のステップ105において、プロセッサは、軸X、Y、Zのそれぞれに対して、補正された前記第2の測定値P’t−1と前記第3の測定値Pの間の差Δを次の式により計算する。
Δ=‖(P−P’t−1)‖
次いでステップ106において、この差Δは、プロセッサによって、各対応する軸に対し、同じ所定の閾値βと比較される。差Δが閾値β以上なら、第1の測定値はフィルタリングされずに残る。差Δが前記閾値βより小さいなら、プロセッサは、ステップ107において、前記第3の測定値Pの補正値P’を計算して、コンピュータ・メモリ内の前記第3の測定値Pと置き換える。この補正値P’は、以下の式により計算される。
Figure 0005620516

ここで、Δ’はフィルタリング関数f(Δ)に差Δを適用してもたらされる補正された差である。しかしながら、前記ステップ107の前に、ステップ108において、プロセッサは、前の測定値、すなわち第2の測定値Pt−1も補正されたかどうか(すなわち、ステップ104が実行されたかどうか)を確認する。この場合、フィルタリング関数f(Δ)のフィルタリング強度αは、ステップ109において、Δ’とP’を計算する前に、0<σ<1の減衰係数σを掛けることにより減ぜられ、その結果α=σ・αt−1となる。
フィルタリング強度の減少が望まれる場合、σ<1であるが、フィルタリング強度の増加が望まれない環境においては、代わりにσを1に設定することも可能である。
その後の測定値に対し、前の各測定値に対する差が毎回、閾値βより小さいなら、フィルタリング強度は毎回、再び減衰係数σと掛け合わせることができ、それにより、補正された測定値P’が実際の測定値Pに近づく。その後の測定値において、測定差が閾値β以上であるなら、フィルタリング強度αは元の値にリセットされる。
図3において、フィルタリングされた差Δ’t−1及びΔ’は、4の初期フィルタリング強度αt−1、及び1/2の減衰係数σに対して測定された差Δの関数としてプロットされる。グラフ201はΔ’t−1に、グラフ202はΔ’に対応する。明らかであるように、どちらの場合においても、閾値βを超える場合にはフィルタリングされない。しかしながら、前記閾値より下では、Δ’t−1はΔ’より強くフィルタリングされる。
上記の好適な実施例では、差は、軸X、Y、Zのそれぞれに対して個別に計算、比較、及びフィルタリングされたが、代替実施例では、同じ式を使用して、連続する測定値間のベクトル距離の係数を代わりに使うことができる。
上記の好適な実施例において、デジタル・センサは3D撮像センサであり、測定された物理変数は三次元基準フレーム内の手1の位置であるが、本発明の方法及びデバイスは、他の種類のデジタル・センサを通じて取得される、位置、速度、加速度、温度、圧力等の様々な他の種類の物理変数に対して適用することができる。
本発明は、単独で使用することができ、又は、コンピュータ・システム4と通信するのに適した他のユーザインターフェースと組み合わせて使うことができ、そのようなユーザインターフェースには、スイッチ、キーボード、マウス、トラックボール、タブレット、タッチパッド、タッチスクリーン、6−DOF周辺装置、ジョイスティック、ゲームパッド、モーション・トラッキング・システム、アイ・トラッキング・システム、データグローブ、3Dマウス、音声認識、生体電気センサ、神経インターフェース、トレッドミル、固定自転車、ローイング・マシン、又はコンピュータ・システム4への入力に適した他の任意のセンサやインターフェース等がある。
本発明のデバイス及び方法を通じて提供され得るコマンド及び入力には、以下のものがある。
・視点の回転、移動、位置決め、及び/又は配向等の2D及び/又は3Dナビゲーション、並びに遠近感、範囲、色、エクスポジション等の他の視覚パラメータ
・例えば、メニュー、リスト、パラメータ選択、及び/又は入力フィールド内のナビゲーションを含む、インターフェース要素ナビゲーション
・例えば、アバター制御や、位置、方向、移動等のアプリケーション・オブジェクト・パラメータの制御、回転、外観、形状、及び/又はシステム・パラメータの機能及び/又は制御を含む操作
・例えば、動作コマンド、パラメータ変更コマンド、及び/又は状態コマンド、動作コマンド、及び/又はアプリケーション・オブジェクト、制御パラメータ、及び/又はその他の状態を変更するコマンドの変更の検証等の起動
・例えば、インターフェース要素、アプリケーション・オブジェクト、実環境オブジェクト等の選択
・例えば、物理的シミュレーションにおける力の入力
・例えば、音声ボリューム、アプリケーション・オブジェクトの外観、アプリケーション・オブジェクトの提示のための出力パラメータ調整
コンピュータ・システム4は、例えば以下のような様々な出力デバイスのいずれにも同様に接続することができる。
・2D又は3Dディスプレイ・デバイス、スピーカ、ヘッドホン、プリンター、触覚出力デバイス、ベンチレーター、及び/又は背景照明等のコンピュータ出力デバイス
・仮想現実ゴーグル、携帯ディスプレイ・デバイス、Cave(登録商標)等のマルチ・ディスプレイ・デバイス、Reality Center(登録商標)等の大型ディスプレイ・デバイス、立体スクリーン、強制復帰デバイス、3Dディスプレイ・デバイス、発煙機、及び/又はスプリンクラー等の仮想現実出力デバイス
・雨戸制御デバイス、暖房制御デバイス、及び/又は照明制御デバイス等のホーム・オートメーション・デバイス
・テレビ、及び/又は音楽システムのようなホーム・エンターテイメント・デバイス
・携帯音楽及び/又は映像プレイヤー、ポジショニング・システム、携帯情報端末、ポータブル・コンピュータ、及び/又は携帯電話等のポータブル・デバイス
・バルブ、トレッドミル、ロボット・デバイス等のコンピュータ・システム4に接続可能な他のデバイス
本発明を特定の例示的な実施例を参照して説明したが、特許請求の範囲に記載されている本発明のより広い範囲から逸脱することなく、これらの実施例に様々な変形や変更を行うことができることは明らかであろう。したがって、本明細書と図面は、限定的なものではなく例示的なものであると考えるべきである。

Claims (14)

  1. デジタル・センサによって取得された物理変数の一連の測定値を安定化する方法であって、
    (a)前記物理変数の少なくとも第1の測定値、第2の測定値、及び第3の測定値を、前記デジタル・センサを通して取得するステップと、
    (b)デジタル・メモリに前記物理変数の各測定値を格納するステップと、
    (c)前記第1の測定値と前記第2の測定値の間の差を計算するステップと
    (d)前記第1の測定値と前記第2の測定値の間の差が所定の閾値より小さいなら、前記デジタル・メモリの中で、前記第2の測定値を補正された第2の測定値と置き換えるステップであって、前記補正された第2の測定値、前記第1の測定値に対する差が第1のフィルタリング強度によって減ぜられている、ステップと、
    (e)前記補正された第2の測定値と前記第3の測定値の間の差を計算するステップと、
    (f)前記第2の補正された測定値と前記第3の測定値の間の差も前記閾値より小さいなら、前記デジタル・メモリの中で、前記第3の測定値を補正された第3の測定値と置き換えるステップであって、前記補正された第3の測定値、前記補正された第2の測定値に対する差が第2のフィルタリング強度によって減ぜられており、前記第2のフィルタリング強度は、前記第1のフィルタリング強度よりも小さい、ステップと
    含む方法において、
    前記ステップ(d)は、以下の等式にしたがって、前記補正された第2の測定値を計算することを含み、
    Figure 0005620516

    ここで、P t−2 は前記第1の測定値であり、P t−1 は前記第2の測定値であり、P’ t−1 は前記第2の測定値の補正された値であり、Δ t−1 は前記第1及び第2の測定値の間の差であり、Δ’ t−1 は前記第1のフィルタリング強度でフィルタリング関数f(Δ)を差Δ t−1 に適用した結果であり、
    前記ステップ(f)は、以下の等式にしたがって、前記補正された第3の測定値を計算することを含み、
    Figure 0005620516

    ここで、P は前記第3の測定値であり、P’ t−1 は前記第2の測定値の補正された値であり、P’ は前記第3の測定値の補正された値であり、Δ は前記第2及び第3の測定値の間の差であり、Δ’ は前記第2のフィルタリング強度で前記フィルタリング関数f(Δ)を差Δ に適用した結果である、ことを特徴とする、方法。
  2. 前記フィルタリング関数f(Δ)は次式で表されるべき関数であり、
    Figure 0005620516

    ここで、αはフィルタリング強度であり、βは閾値である、請求項に記載の方法。
  3. 前記第1、第2、及び第3の測定値が時間的に連続している、請求項1又は2に記載の方法。
  4. 前記物理変数が物理的位置である、請求項1からまでのいずれか一項に記載の方法。
  5. 前記位置が三次元空間における位置である、請求項に記載の方法。
  6. 異なる閾値を、三次元空間における各軸に対して適用する、請求項に記載の方法。
  7. 前記物理的位置の各測定値を取得することが、画像内の所与の対象物を認識し、基準フレーム内のその位置を測定することを含む、請求項5又は6に記載の方法。
  8. 前記デジタル・センサが撮像センサである、請求項1からまでのいずれか一項に記載の方法。
  9. 前記デジタル・センサが3D撮像センサ(3)である、請求項に記載の方法。
  10. デジタル・センサによって取得され、請求項1からまでのいずれか一項に記載の方法を使って安定化された物理変数の一連の測定値を通じて、データ及び/又はコマンドをコンピュータ・システム(4)に入力する方法。
  11. 前記データ及び/又はコマンドが、前記コンピュータ・システム(4)によって実行されるコンピュータ・ゲームに関する、請求項10に記載の方法。
  12. 前記物理変数が、ユーザの体の一部の物理的位置である、請求項10又は11に記載の方法。
  13. デジタル・センサに接続可能な入力と、
    請求項1からまでのいずれか一項に記載の、前記デジタル・センサを通じて取得された物理変数の一連の測定値を安定化する方法を実行する命令を有するデジタル・メモリと、
    前記命令を実行するために、前記デジタル・メモリ及び前記入力に接続されたデジタル・データ・プロセッサとを備える、
    コンピュータ・システム(4)。
  14. 請求項1からまでのいずれか一項に記載の方法を実行する実行可能コードを格納する、コンピュータ読込み可能データ記憶媒体。
JP2012546439A 2009-12-28 2010-12-28 安定化方法、及びコンピュータ・システム Active JP5620516B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09180784.2 2009-12-28
EP09180784A EP2357605B1 (en) 2009-12-28 2009-12-28 Stabilisation method and computer system
PCT/EP2010/070819 WO2011080281A1 (en) 2009-12-28 2010-12-28 Stabilisation method and computer system

Publications (2)

Publication Number Publication Date
JP2013515962A JP2013515962A (ja) 2013-05-09
JP5620516B2 true JP5620516B2 (ja) 2014-11-05

Family

ID=42060468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012546439A Active JP5620516B2 (ja) 2009-12-28 2010-12-28 安定化方法、及びコンピュータ・システム

Country Status (13)

Country Link
US (1) US9092863B2 (ja)
EP (1) EP2357605B1 (ja)
JP (1) JP5620516B2 (ja)
KR (1) KR101434072B1 (ja)
CN (1) CN102844787B (ja)
AU (1) AU2010338191B2 (ja)
BR (1) BR112012015919A2 (ja)
CA (1) CA2784557A1 (ja)
MX (1) MX2012007594A (ja)
SG (1) SG181598A1 (ja)
TW (1) TWI489417B (ja)
WO (1) WO2011080281A1 (ja)
ZA (1) ZA201204376B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
EP2674913B1 (en) 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US9011246B1 (en) * 2013-11-18 2015-04-21 Scott Kier Systems and methods for immersive backgrounds
US10368784B2 (en) * 2014-06-23 2019-08-06 Microsoft Technology Licensing, Llc Sensor data damping

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013734A (ja) 1996-06-18 1998-01-16 Canon Inc 撮像装置
JPH1079872A (ja) 1996-09-03 1998-03-24 Victor Co Of Japan Ltd 映像信号処理回路
JP2000350056A (ja) 1999-06-09 2000-12-15 Matsushita Electric Ind Co Ltd 輪郭補正回路及びそれを用いたカメラ
GB9920256D0 (en) * 1999-08-26 1999-10-27 Wave Limited M Motion estimation and compensation in video compression
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2002222522A (ja) 2001-01-24 2002-08-09 Matsushita Electric Ind Co Ltd 情報ディスク記録再生装置、及び情報ディスク記録再生装置の振動検出方法
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
JP4417780B2 (ja) * 2004-05-31 2010-02-17 株式会社東芝 ノイズ除去装置及び画像表示装置
US7838165B2 (en) 2004-07-02 2010-11-23 Kabushiki Kaisha Toshiba Carbon fiber synthesizing catalyst and method of making thereof
JP2006197455A (ja) 2005-01-17 2006-07-27 Matsushita Electric Ind Co Ltd ノイズリダクション装置
JP2006287632A (ja) 2005-03-31 2006-10-19 Pioneer Electronic Corp ノイズ低減装置およびノイズ低減方法
US20070273775A1 (en) * 2006-05-24 2007-11-29 Jutao Jiang Image sensor with built-in thermometer for global black level calibration and temperature-dependent color correction
US20080165280A1 (en) 2007-01-05 2008-07-10 Deever Aaron T Digital video stabilization with manual control
MX2009011251A (es) 2007-04-20 2009-12-14 Softkinetic S A Metodo y sistema de reconocimiento de volumen.
US8824833B2 (en) * 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
JP2010250611A (ja) * 2009-04-16 2010-11-04 Sony Corp 画像処理装置、画像処理方法及び記録媒体

Also Published As

Publication number Publication date
CA2784557A1 (en) 2011-07-07
AU2010338191A1 (en) 2012-07-26
EP2357605A1 (en) 2011-08-17
MX2012007594A (es) 2013-03-20
TW201145213A (en) 2011-12-16
US9092863B2 (en) 2015-07-28
CN102844787B (zh) 2016-05-18
BR112012015919A2 (pt) 2016-04-19
US20130027293A1 (en) 2013-01-31
AU2010338191B2 (en) 2014-12-04
WO2011080281A1 (en) 2011-07-07
CN102844787A (zh) 2012-12-26
KR20120130174A (ko) 2012-11-29
SG181598A1 (en) 2012-07-30
KR101434072B1 (ko) 2014-08-25
TWI489417B (zh) 2015-06-21
JP2013515962A (ja) 2013-05-09
EP2357605B1 (en) 2013-01-16
ZA201204376B (en) 2013-08-28
AU2010338191A2 (en) 2012-08-02

Similar Documents

Publication Publication Date Title
KR101950641B1 (ko) 향상된 안구 추적을 위한 장면 분석
US8351651B2 (en) Hand-location post-process refinement in a tracking system
US11050994B2 (en) Virtual reality parallax correction
JP2022509483A (ja) 仮想現実システムのための安全境界を修正するためのシステムおよび方法
JP2014011574A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5620516B2 (ja) 安定化方法、及びコンピュータ・システム
US10573073B2 (en) Information processing apparatus, information processing method, and storage medium
US20230140170A1 (en) System and method for depth and scene reconstruction for augmented reality or extended reality devices
KR102148103B1 (ko) 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
WO2018216342A1 (ja) 情報処理装置、情報処理方法、及びプログラム
TWI810233B (zh) 用於產生視圖影像之設備及方法
EP3133557A1 (en) Method, apparatus, and computer program product for personalized depth of field omnidirectional video
US9998724B2 (en) Image processing apparatus and method for processing three-dimensional data that describes a space that includes physical objects
WO2015030623A1 (en) Methods and systems for locating substantially planar surfaces of 3d scene
CN115578541B (zh) 虚拟对象驱动方法及装置、设备、系统、介质和产品
CN112711324B (zh) 基于tof相机的手势交互方法及其系统
CN114830176A (zh) 用于深度神经网络特征匹配的非对称归一化相关层
CN116917947A (zh) 像素对齐的体积化身
CN117314976A (zh) 一种目标物跟踪方法及数据处理设备
KR20180042667A (ko) 운동 역사 영상을 이용한 운동 깊이 맵 생성 방법 및 이를 기록한 기록 매체

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140107

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140918

R150 Certificate of patent or registration of utility model

Ref document number: 5620516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250