JP4759446B2 - 姿勢平滑化方法およびそのプログラム - Google Patents

Description

本発明は、撮像手段により撮像された画像上の対象物の姿勢の平滑化方法およびそのプログラムに関する。

従来、手などで把持された姿勢操作用ターゲットをカメラで撮像し、この撮像した画像上におけるこの姿勢操作用ターゲットの位置と大きさからこの姿勢操作用ターゲットの３次元空間内での位置を、この撮像した画像上におけるこの姿勢操作用ターゲットの見え方からこの姿勢操作用ターゲットの３次元空間内での姿勢を検出する方法、およびデバイスがある。

この種の３次元姿勢検出方法としては例えば下記特許文献１に記載のものが提案されている。
特開２００４−１４５６６４号公報

前記のような画像処理を用いた姿勢検出技術を、姿勢入力のためのポインティングデバイスに利用する場合、レンズの歪みによる画像の歪み、画像データに混じるノイズ、特徴の検出位置の誤差、などに起因して出力される姿勢にはブレが含まれ、操作のクオリティーが低下する。

このような操作のクオリティーの低下はブレを取り除くことで改善が期待できる。ブレを含む姿勢の時系列からブレを取り除くための方法として姿勢の時系列への曲線の当てはめがある。そして、姿勢の時系列への曲線の当てはめにおいて、ひとつの方法として次のようなものが考えられる。

すなわち、図４に示す物体Ｘに単位ベクトルＶを固定し物体の姿勢を変化させると、図５に示す単位ベクトルの時系列Ｖｉが得られる。この単位ベクトルの時系列Ｖｉに対して式（１）で示す評価を最小にする単位ベクトルＶＮを求め、図６に示すように、この単位ベクトルＶＮを軸とし、かつ単位ベクトルの時系列Ｖｉの終点を含む円筒面πを求める。

各時系列単位ベクトルＶｉを終点側に延長した直線とこの円筒面πとの交点Ｐｉを求め、図７に示すように、円筒面πを平面に展開した後にこれら交点Ｐｉに曲線Ｆを当てはめる。

しかしながら前記のように、姿勢の時系列を適当な空間内の位置の時系列に変換し、その位置の時系列に曲線を当てはめる方法には次のような欠点がある。

物体Ｘの姿勢変化が、式（２）および式（３）で表現されるように、ある軸を中心に回転方向にブレながら回転するようなものである場合、ブレが除去された後の姿勢変化としては、等速回転が期待される。

ところが、この姿勢変化に対応する姿勢の時系列に対して上記の方法を適用すると、図８に示すように、位置の時系列Ｐｉに一致するかたちで直線が当てはめられ、結果としてもともとの姿勢変化には何ら補正が加えられないことになる。

本発明は上記の点に鑑みてなされたものでその目的は、ブレを含む姿勢情報の時系列からブレを取り除くことができる姿勢平滑化方法およびそのプログラムを提供することにある。

上記課題を解決するための本発明の姿勢平滑化方法は、入力された姿勢の時系列の各姿勢に対して個々に異なる微小補正を施し、ブレが取り除かれた姿勢の時系列を得るという方法である。この際、ブレが取り除かれた姿勢の時系列を結ぶ曲線の全体に渡る屈曲度の評価、および施す各微小補正の度合いの総和という互いに背反する評価を定義し、そのいずれをも出来るだけ小さくという制約を設けることで、解の一意性を保証している。

すなわち、請求項１記載の姿勢平滑化方法は、撮像手段により撮像された画像上の、対象物のブレを含む姿勢情報の時系列からブレを取り除いた姿勢情報の時系列を得る姿勢平滑化方法であって、時系列取り込み手段が、姿勢情報検出手段から、ブレを含む姿勢情報の時系列をオリジナル姿勢情報の時系列として取り込むステップと、補正施行手段が、前記取り込まれたオリジナル姿勢情報の時系列を姿勢を表現するクオータニオンの時系列と捉え、該クオータニオンの時系列に対して、個々に異なる微小補正を施す補正施行ステップと、逸脱度算出手段が、前記オリジナル姿勢情報の時系列をＱｉ、該Ｑｉにそれぞれ回転方向への微小補正を施した姿勢の時系列をｑｉとしたときの補正回転ｒ _i をｒ _i ＝ｑ _i Ｑ _i ^-1 で表現し、クオータニオンｑを四次元空間（ｗ，ｉ，ｊ，ｋ）を用いて、
ｑ＝ｗ＋ｘｉ＋ｙｊ＋ｚｋ …（５）
ｉｊ＝−ｊｉ＝ｋ …（６）
ｊｋ＝−ｋｊ＝ｉ …（７）
ｋｉ＝−ｉｋ＝ｊ …（８）
‖ｑ‖＝ｗ ² ＋ｉ ² ＋ｊ ² ＋ｋ ² ＝１…（９）
と表現し、関数Ｗ（ｑ）をＷ（ｑ）＝ｗと定義し、前記微小補正が施された姿勢の時系列ｑｉの、前記オリジナル姿勢情報の時系列Ｑｉからの逸脱度Ｅ _d を、
Ｅ _d ＝Σ（ｃｏｓ ^-1 Ｗ（ｒ _i ）） ² …（１０）
の式によって求めるステップと、
屈曲度算出手段が、前記クオータニオンｑからわずかに前後する二つのクオータニオンｑ _- と、ｑ ₊ に対して、ｑの微小近傍に対応する微小時間をΔｔとし、ｑ _- からｑへの微小回転Ｒ _- と、ｑからｑ ₊ への微小回転Ｒ ₊ を、
で表現し、
前記Ｒ _- からＲ ₊ への微小回転Ｒを
で表現し、
ｔの関数として表現されるクオータニオンｑ（ｔ）の微小区間に対する屈曲度ΔＥを
で表現し、前記式（１９）を考慮して
の式によって、前記クオータニオンｑ（ｔ）の屈曲度Ｅ _e を求めるステップと、
評価値算出手段が、前記求められた逸脱度Ｅ _d および屈曲度Ｅ _e に基づいて評価値Ｅを算出する評価値算出ステップと、
平滑化姿勢の時系列取得手段が、前記求められた評価値Ｅが最小となる前記クオータニオンの時系列を算出して、ブレが取り除かれた姿勢情報の時系列を得るステップとを備えたことを特徴とする。

また請求項２記載の姿勢平滑化方法は、請求項１において、前記屈曲度Ｅ _e を求めるステップは、０≦ｉ≦Ｎ−１の範囲で規定されるＮ個のクオータニオンの時系列ｑｉを通過する曲線として、０≦ｎ≦Ｎ−２であるときの
で示される補間曲線をあてはめて、前記屈曲度Ｅ _e を求めるものであり、
前記Ｎ個のクオータニオンの時系列の各区分Ｓｉの各接続点における両側の一致する補間曲線の傾きＴｉを、各々
とし、
前記補間曲線の両端での傾きＳ´ _n-1 （１）、Ｓ´ _n （０）を
とすることを特徴とする。

また請求項３記載のプログラムは、請求項１又は２に記載の姿勢平滑化方法をコンピュータに実行させるプログラムとしたことを特徴とする。

上記構成によれば、オリジナルの姿勢の時系列を尊重しつつ、且つ姿勢変化が小さくなるような姿勢の時系列を得ることができる。

（１）請求項１〜３に記載の発明によれば、従来のように姿勢の時系列を適当な空間内の位置の時系列に変換し、その位置の時系列に曲線を当てはめるといった方法ではなく、姿勢の時系列をクオータニオンの時系列と捉え、このクオータニオンの時系列に対して直接曲線を当てはめる方法であるため、物理的に理解が容易な明確な意味を持ち、かつ従来のように、姿勢変化に補正が加えられず適切な結果が得られないという事態にはならない。

すなわち、オリジナルの姿勢の時系列を尊重しつつ、且つ姿勢変化が小さくなるような姿勢の時系列を得ることができる。そしてブレを取り除いた後の姿勢の時系列は、物理的にイメージされるブレの無い姿勢の時系列に一致する。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本実施形態例における機能ブロック図を表しており、１はブレを含む姿勢情報の時系列を保存するための手段であり、例えばコンピュータのメモリで構成され、後述のオリジナルの姿勢の時系列を保存するための手段である。

２は屈曲度と逸脱度とのバランスを規定する係数αを保存するための手段であり、例えばコンピュータのメモリで構成され、後述の逸脱度に乗ずる適当な定数を保存するための手段である。

３は演算手段であり、例えばコンピュータで構成され、後述の、総合評価Ｅの最小値を、クオータニオンの時系列ｑｉおよび傾きＴｉに対する制約の下に、変分法により解くための手段である。

この演算手段３は、ブレを含む姿勢情報の時系列をオリジナル姿勢情報の時系列として取り込む時系列取り込み手段と、前記取り込まれたオリジナル姿勢情報の時系列を姿勢を表現するクオータニオンの時系列と捉え、該クオータニオンの時系列に対して、個々に異なる微小補正を施す補正施行手段と、前記微小補正の量に基づいて、前記微小補正が施された姿勢の時系列の、前記オリジナルの姿勢情報の時系列からの逸脱度を求める逸脱度算出手段と、前記微小補正が施された姿勢の時系列を通過する曲線を当てはめ、該曲線の曲がり具合に基づいて屈曲度を求める屈曲度算出手段と、前記求められた逸脱度および屈曲度に基づいて評価値を算出する評価値算出手段と、前記求められた評価値が最小となる前記クオータニオンの時系列を算出して、ブレが取り除かれた姿勢情報の時系列を得る平滑化姿勢の時系列取得手段とを備えている。

４はブレが取り除かれた姿勢情報の時系列を保存するための手段であり、例えばコンピュータのメモリで構成され、後述のクオータニオンの時系列ｑｉを保存するための手段である。

図２は本発明を装置化して姿勢平滑化装置とした際の利用形態の例を示している。図２において１１は位置姿勢ポインティングデバイス、１２はモーションキャプチャ、１３は本発明を適用した姿勢平滑化装置、１４はその他の位置姿勢情報検出装置である。尚前記位置姿勢ポインティングデバイス１１、モーションキャプチャ１２、位置姿勢情報検出装置１４が、本発明の姿勢情報検出手段を構成するものである。

図２において、対象物の位置姿勢情報を検出し時系列で出力する様々なタイプのデバイスが利用されるが、デバイスの検出誤差により出力される位置情報の時系列にブレが含まれる場合がある。本発明では、これらブレを含む位置情報の時系列からブレを取り除くことが可能である。

まず、本発明における姿勢の時系列への曲線当てはめについての、物理的イメージを説明する。姿勢の時系列の各姿勢に対応する補正された姿勢は、姿勢の時系列の各姿勢に対して個々に異なる補正回転（微小補正）を施すことにより算出する。

これら個々の補正回転の量を基にして、補正された姿勢の時系列のオリジナルの姿勢の時系列からの逸脱度を評価する。逸脱度については、ひとつの補正回転の量が増加した際にはその量も増大するようなものとする。また、補正された姿勢の時系列を通過するような滑らかな曲線を当てはめ、この曲線の曲がり具合を基にして、補正された姿勢の時系列の屈曲度を評価する。屈曲度については、曲線上のひとつの微小区間における曲率が増加した際にはその量も増大するようなものとする。

これら個々に異なる補正回転としては、この逸脱度に適当な定数を乗じたものとこの屈曲度との和を最小にするものを求める。

以上のように、なるべくオリジナルの姿勢の時系列を尊重しつつ、なるべく姿勢変化が小さくなるような姿勢の時系列を得ることができる。なお、この背反する指標のバランスは逸脱度に乗ずる定数によって制御可能である。

次に、上記ふたつの評価、すなわち逸脱度および屈曲度について数式を用いて具体的に説明する。

図９に示すように、姿勢ポインティング用デバイス等から出力される姿勢の時系列をＱｉとする。図１０に示すように、これら姿勢の時系列Ｑｉにそれぞれ補正回転を施した姿勢の時系列をｑｉとする。これら補正回転は式（４）で表現される。

なお、図９に示すＳｑはノルムが１のクオータニオンの集合である。すなわちクオータニオンを式（５）、式（６）、式（７）および式（８）で表現した際に、式（９）を満たすクオータニオンの集合であり、四次元空間（ｗ、ｉ、ｊ、ｋ）における単位球である。姿勢を表現するクオータニオンはこの単位球上にある。

ここで、補正された姿勢の時系列のオリジナルの姿勢の時系列からの逸脱度を式（１０）で定義する。ただしＷ（ｑ）は式（１１）で定義される関数とする。

次に、補正された姿勢の時系列の屈曲度について説明する。

はじめに、本発明で用いる、与えられた二つのクオータニオンｑ０およびｑ１の補間方法と、本発明で用いる、ｔの関数として表現されるクオータニオンｑ（ｔ）の屈曲度について説明する。

第１の補間方法は、与えられた二つのクオータニオンｑ０およびｑ１を最短の経路で補間する方法で、式（１２）で表現される方法である。ただし、ｔについては式（１３）で示される値域をもち、θは式（１４）で表現される値である。

第２の補間方法は、与えられた二つのクオータニオンｑ０およびｑ１を、二つのコントロールクオータニオンにより制御された経路により補間する方法で、式（１５）で表現される方法である。ただし、ｔについては式（１３）で示される値域をもつ。

さて、ｔの滑らかな連続関数として表現されるクオータニオンｑ（ｔ）に対して、図１１に示すように、ｑの微小近傍を考える。ｑから僅かに前後する二つのクオータニオンｑ−とｑ＋に対して、ｑ−からｑへの微小回転Ｒ−と、ｑからｑ＋への微小回転Ｒ＋は、それぞれ式（１６）および式（１７）で表現される。ただし、Δｔはこの微小近傍に対応する微小時間である。

次に、クオータニオンｑ（ｔ）の屈曲度について説明する。

微小回転であるＲ−およびＲ＋をそれぞれ姿勢を表現するクオータニオンと看做すと、Ｒ−からＲ＋への微小回転は式（１８）のように表現される。

この微小回転の回転量の２乗をクオータニオンｑ（ｔ）の微小区間に対する屈曲度と定義すると、クオータニオンｑ（ｔ）の屈曲度は式（１９）で表現される。ただし、ＣおよびＶ[ｑ]は式（２０）および式（２１）で表現される値である。なお、式（１９）の導出にあたっては式（２２）で表現される近似を用いた。

ここで、ｔの関数として表現されるクオータニオンｑ（ｔ）の屈曲度を、式（１９）を考慮して、式（２３）で定義する。

次に、本発明で用いる、与えられたＮ個のクオータニオンの時系列ｑｉへの滑らかな曲線の当てはめ方法について説明する。ただし、０≦ｉ≦Ｎ−１とする。まず、図１２に示す、与えられたＮ個のクオータニオンの時系列の各区分Ｓｉごとに、式（２４）で表現される補間を考える。ここで０≦ｎ≦Ｎ−２である。

区分の接続点においてその両側の補間曲線の傾きは一致しなければならないことから、各接続点における傾きをＴｉとすると、式（２５）および式（２６）が得られる。

一方、補間曲線の両端での傾きは、式（２７）および式（２８）でそれぞれ表現されるので、式（２５）および式（２６）に代入すると、式（２９）および式（３０）のようにａｎおよびｂｎが求まる。

求まったａｎおよびｂｎを用いて、式（２４）により表現される曲線を、与えられたＮ個のクオータニオンの時系列ｑｉに当てはめられる滑らかな曲線とする。

最後に、補正された姿勢の時系列について説明する。はじめに、前記した、逸脱度に適当な定数を乗じたものとこの屈曲度との和を、式（３１）で表現される総合評価Ｅにより定義する。

式（２３）のｑに式（２４）のＳｎを代入すると、この総合評価Ｅは、式（３２）のように、ｑｉおよびＴｉで表現されることがわかる。ただし、ｑｉおよびＴｉに対しては式（３３）および式（３４）で表現される制約がある。次に、この総合評価Ｅを最小にするｑｉおよびＴｉを求める。

そして補正された姿勢の時系列については、求められたｑｉを以ってすればよい。

図３は、本実施形態例における屈曲度、入力された姿勢の時系列、ブレが取り除かれた姿勢の時系列の関係を表しており、この図によれば、黒丸印で示す入力された姿勢の時系列を結んだ場合、その曲線はブレのため滑らかではないが、白丸印で示すブレが取り除かれた姿勢の時系列を結ぶ曲線は滑らかとなることがわかる。

また前記姿勢平滑化方法をコンピュータに実行させるためのプログラムを構築するものである。

また前記プログラムを記録した記録媒体を、システム、又は装置に供給し、そのシステム又は装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することも可能である。この場合記録媒体から読み出されたプログラム自体が上記実施形態の機能を実現することになり、このプログラムを記録した記録媒体としては、例えば、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ及びＨＤＤ等がある。

以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施形態例に限定されるものではなく、幅広く応用することができる。

本発明の一実施形態例の機能ブロック図。 本発明の一実施形態例を適用した姿勢平滑化装置のブロック図。 本発明の一実施形態例の作用を表す説明図。 従来のブレを取り除く方法における物体と単位ベクトルの関係を示す説明図。 従来のブレを取り除く方法における単位ベクトルの時系列を示す説明図。 従来のブレを取り除く方法における単位ベクトルの時系列の終点を含む円筒面の説明図。 従来のブレを取り除く方法における円筒面を平面に展開した説明図。 従来のブレを取り除く方法における円筒面を平面に展開した説明図。 本発明の一実施形態例における姿勢の時系列を示す説明図。 本発明の一実施形態例における補正回転を施した姿勢の時系列を示す説明図。 本発明の一実施形態例におけるクオータニオンｑの微小近傍への微小回転を示す説明図。 本発明の一実施形態例におけるＮ個のクオータニオンの時系列の各区分ごとの補間を示す説明図。

符号の説明

１…ブレを含む姿勢情報の時系列を保存するための手段、２…屈曲度と逸脱度とのバランスを規定する係数αを保存するための手段、３…演算手段、４…ブレが取り除かれた姿勢情報の時系列を保存するための手段、１１…位置姿勢ポインティングデバイス、１２…モーションキャプチャ、１３…姿勢平滑化装置、１４…位置姿勢情報検出装置。

Claims (3)

1. 撮像手段により撮像された画像上の、対象物のブレを含む姿勢情報の時系列からブレを取り除いた姿勢情報の時系列を得る姿勢平滑化方法であって、
   時系列取り込み手段が、姿勢情報検出手段から、ブレを含む姿勢情報の時系列をオリジナル姿勢情報の時系列として取り込むステップと、
   補正施行手段が、前記取り込まれたオリジナル姿勢情報の時系列を姿勢を表現するクオータニオンの時系列と捉え、該クオータニオンの時系列に対して、個々に異なる微小補正を施す補正施行ステップと、
   逸脱度算出手段が、前記オリジナル姿勢情報の時系列をＱｉ、該Ｑｉにそれぞれ回転方向への微小補正を施した姿勢の時系列をｑｉとしたときの補正回転ｒ _i をｒ _i ＝ｑ _i Ｑ _i ^-1 で表現し、クオータニオンｑを四次元空間（ｗ，ｉ，ｊ，ｋ）を用いて、
   ｑ＝ｗ＋ｘｉ＋ｙｊ＋ｚｋ …（５）
   ｉｊ＝−ｊｉ＝ｋ …（６）
   ｊｋ＝−ｋｊ＝ｉ …（７）
   ｋｉ＝−ｉｋ＝ｊ …（８）
   ‖ｑ‖＝ｗ ² ＋ｉ ² ＋ｊ ² ＋ｋ ² ＝１…（９）
   と表現し、関数Ｗ（ｑ）をＷ（ｑ）＝ｗと定義し、前記微小補正が施された姿勢の時系列ｑｉの、前記オリジナル姿勢情報の時系列Ｑｉからの逸脱度Ｅ _d を、
   Ｅ _d ＝Σ（ｃｏｓ ^-1 Ｗ（ｒ _i ）） ² …（１０）
   の式によって求めるステップと、
   屈曲度算出手段が、前記クオータニオンｑからわずかに前後する二つのクオータニオンｑ _- と、ｑ ₊ に対して、ｑの微小近傍に対応する微小時間をΔｔとし、ｑ _- からｑへの微小回転Ｒ _- と、ｑからｑ ₊ への微小回転Ｒ ₊ を、
   で表現し、
   前記Ｒ _- からＲ ₊ への微小回転Ｒを
   で表現し、
   ｔの関数として表現されるクオータニオンｑ（ｔ）の微小区間に対する屈曲度ΔＥを
   で表現し、前記式（１９）を考慮して
   の式によって、前記クオータニオンｑ（ｔ）の屈曲度Ｅ _e を求めるステップと、
   評価値算出手段が、前記求められた逸脱度Ｅ _d および屈曲度Ｅ _e に基づいて評価値Ｅを算出する評価値算出ステップと、
   平滑化姿勢の時系列取得手段が、前記求められた評価値Ｅが最小となる前記クオータニオンの時系列を算出して、ブレが取り除かれた姿勢情報の時系列を得るステップと
   を備えたことを特徴とする姿勢平滑化方法。
2. 前記屈曲度Ｅ _e を求めるステップは、０≦ｉ≦Ｎ−１の範囲で規定されるＮ個のクオータニオンの時系列ｑｉを通過する曲線として、０≦ｎ≦Ｎ−２であるときの
   で示される補間曲線をあてはめて、前記屈曲度Ｅ _e を求めるものであり、
   前記Ｎ個のクオータニオンの時系列の各区分Ｓｉの各接続点における両側の一致する補間曲線の傾きＴｉを、各々
   とし、
   前記補間曲線の両端での傾きＳ´ _n-1 （１）、Ｓ´ _n （０）を
   とすることを特徴とする請求項１に記載の姿勢平滑化方法。
3. 請求項１又は２に記載の姿勢平滑化方法をコンピュータに実行させるプログラム。