JP4452272B2 - 複雑な関節の動きをモデリングする関節構成要素フレームワーク - Google Patents

複雑な関節の動きをモデリングする関節構成要素フレームワーク Download PDF

Info

Publication number
JP4452272B2
JP4452272B2 JP2006507722A JP2006507722A JP4452272B2 JP 4452272 B2 JP4452272 B2 JP 4452272B2 JP 2006507722 A JP2006507722 A JP 2006507722A JP 2006507722 A JP2006507722 A JP 2006507722A JP 4452272 B2 JP4452272 B2 JP 4452272B2
Authority
JP
Japan
Prior art keywords
joint
component
rotation
components
joint component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006507722A
Other languages
English (en)
Other versions
JP2006524863A (ja
Inventor
ング−ソウ−ヒング ビクター
シャオ ウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2006524863A publication Critical patent/JP2006524863A/ja
Application granted granted Critical
Publication of JP4452272B2 publication Critical patent/JP4452272B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00Indexing scheme for animation
    • G06T2213/04Animation description language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

本発明は、一般に、関節のモデリングに関し、より詳しくは、関節を表現するための複雑な関節接合および生体力学的な正確さを提供する構成要素フレームワークに関する。
骨格の関節接合の正確な表現は、生体力学およびコンピュータグラフィックスを含む多くの応用分野で重要である。例えば生体力学では、正確な関節モデルを怪我予防およびリハビリテーションのために利用できる。コンピュータグラフィックスでは、正確な関節モデルはキャラクターアニメーションのリアリズムの改善につながる。
連結した関節モデルを用いて人間のキャラクターを表現する従来の一手法は、連結した手足を有する人物を表現するのにロボット工学に基づくDenavit−Hartenbergリンクパラメータ表記法を用いる。そのような従来システムの1つは、コンピュータグラフィックス(Computer Graphics)(SIGGRAPH ‘85年のプロシーディングス)の1985年発行第19巻263〜270ページに掲載されたM.Girard他著「Computational modeling for the computer animation of legged figures(脚を有する像のコンピュータアニメーションに対する計算モデリング)」に記載されている。パラメータ表記法は、隣接するセグメント間の座標構造を4つのパラメータに関連づけるが、各パラメータ集合は、単に2つのセグメント間の単一の自由度について記述するのみである。複数の自由度(DOF)を有する関節を実現するためにパラメータの複数の集合を接続することができるが、利用者がその結果として生じる関節の表現を操作、あるいは利用するためには、さらなる複雑さが加わる。
他の従来手法には、セグメント方向を表現するオイラー角度を所望の補間特性を有し、且つオイラー角度固有の特異性を回避する4元数および指数関数マップとともに利用する手法がある。オイラー角度は、人間動作のひねり、屈曲-伸展、および外転-内転などの運動描写に適する類似の自由度を有する。しかしながら、オイラー角度の一短所はパラメータ化の選択が特定の方向に制限されるということである。
さらに、従来、特定の型の関節に関連する複雑な生体力学的特性を表現するために、特殊な、あるいは専用のモデルが用いられる。生理的関節は、グラフィックモデルではしばしば無視される多くの複雑さを有することが分かっている。例えば、生体力学者は、通常、骨関節に、より良く合わせされた数個の非直交性の任意の回転軸を複数個有する関節を特定する。従来、単一DOFの蝶番い関節として単純化される膝を含む多くの関節は、並進運動要素および変化する回転中心を有する。肩などのような関節では、鎖骨、肩甲骨、および胸郭の胸部表面からなる閉ループが、これらのすべての関節の関節接合の間に結合を生じる。いくつかの従来の手法では、この状況をモデリングするため、胸郭を近似する楕円体の表面に滞留するように肩甲骨に制約条件を設けることをその手段としている。生体力学的または生理的な複雑さを表現する特殊なモデルを用いる技術を構成し且つ制御することは、利用者にとって難しい場合がある。
さらに、三次元(3−D)モデリング用の視覚化機能を提供する市販ソフトウェアの大半は、複数DOFの関節または特殊なモデルの複雑さをサポートしていない。一般に、単一の関節の運動は、いくつかのセグメントにわたる連携した動きの集合よりも、むしろ、2つの隣接するセグメント間の相対運動に制限される。
いくつかのセグメントにわたる連携を欠いたシステムの一具体例が、コンピュータアニメーション2002のプロシーディングス(Proceedings of Computer Animation 2002)の165〜172ページに掲載されたA.Maciel他著「Anatomy-based joint models for virtual human skeletons(解剖学に基づく仮想人間骸骨の関節モデル)」に記載されている。Maciel他は、ある面の上を共に並進および回転でき、かつ任意の関節のDOFと共に動的に変化する関節限界を有する関節を組み込むモデルについて記述している。各DOFは、単一のセグメントに対する回転軸または並進軸に関連づけられてる。
他の従来のアプローチは、変化する関節中心、表面制約条件、および球関節のジョイント限界に対する関節空洞コーンを含むために必要とされる一般性を欠いている。例えば、オックスフォード大学出版局1992年発行のN.Badler他著「Virtual humans and simulated agents(仮想人間と模擬エージェント)」に記述されたピーボディシステム(Peabody system)は、関節グループのセグメントを構成するために、グループ角度を有する関節グループに関節を集めるものであるが、しかしながら、この一般性を欠いている。個々の関節を連携させる高度の組織を提供する従来システムの一課題は、従来システムは十分に一般化されておらず、すべての関節を正確に表現できないことである。
従来システムの他の課題は、関節モデルがソフトウェア環境の間で容易に交換または取り替えられないことである。標準化されたヒト類似関節の階層構造が、アバター表現を目的として定義されたが、標準的な関節の動きを妨げない時に限り、カスタム関節を付加することが出来る。標準的な人間表現が、異なったソフトウェア間でのアバターの交換および互換性のために重要であるが、新たな連携関節接合を定義するための融通性が、階層構造によって強制された制約条件によって妨げられる。
いくつかの骨のセグメントにわたる関節表現のモデリングを提供し、かつ関節構成要素を連携させるための高度の組織を提供する関節構成要素モデルのフレームワークが求められる。さらに、非直交性回転軸、変化する関節中心、閉ループ、ならびに、直感的な構造パラメータおよび制御を有する生体力学的に正確な関節を収容するフレームワークが求められる。加えて、直感的な制御を備え、かつソフトウェア環境の間での交換または取り替えを提供するフレームワークが求められている。
本発明の一実施例は、多関節形状において関節の複雑な動きを提示する汎用関節構成要素モデルを提供する。関節構成要素は、パラメータのリストで制御される出力に対する入力の写像として定義される。パラメータは、ジョイント限界および回転軸などの特定の特徴を記述するための関節構成要素を設定する。関節構成要素は、モジュール式で再使用可能な構成ブロックであり、関節集合関数を実現するためにネットワークにおいて相互接続できる。さらに、関節構成要素は、現実の解剖学的な関節の運動学においてしばしば現れる非直交性、非交差性の回転軸、および変化する関節中心を取り扱うことが出来る。
本発明の一実施例では、一般化座標が関節集合関数に対する入力として供される。一般化座標は関節集合関数の自由度(DOF)を表現し、かつ関節接合を調整するために用いられる。関節集合関数は、骨のセグメントをアニメ−ションさせるために用いられる出力変換行列を生成する。多様な線形および非線形の関節の従属関係はフレームワーク中に内在させる。したがって、関節接合の調節は、パラメータ化する運動中の関節接合の個数と比較して、相対的に小さい直感的なパラメータの集合を用いてなされる。
本発明の他の実施例では、関節集合関数への入力は、アニメータなどの利用者に直感的に理解されるように設計可能であり、かつ関節の従属関係および結合が関節集合関数に内在的に組み込まれるため、十分コンパクトにすることが出来る。関節構成要素は異なった情況で再利用可能であり、あるいは、関節モデルにおける正確さを向上させるために拡張することができる。
本発明のさらなる実施例では、対象関節に対する関節集合関数を構築する方法を提供する。方法の一実施例は、対象関節において骨および関節接合を特定し、骨および関節接合を骨のグループに分割し、骨のグループを選択し、選択された骨のグループに対する関節接合をモデリングするために関節構成要素を選択することを含む。各関節構成要素は少なくとも1つのパラメータを含む。方法はさらに、関節構成要素の動きを定義するために、各関節構成要素のパラメータを設定し、関節集合関数を生成するために関節構成要素をネットワークに結合することを含む。
また、本発明の特徴、その性質、および多様な利点は、添付図面および以下の詳細な説明でさらに明らかになるであろう。
さて、ここで本発明は、本発明のいくつかの実施例を示す添付図面を参照することによってより十分に説明される。本発明は多くの異なった形態で実施可能であり、本明細書に示される実施例に制限されるものと解釈するべきではない。むしろ、これらの実施例は、本開示が詳細で完全なものとなり、当業者に本発明を十分に伝えるようにするために提供されるものである。
コンピュータグラフィックスアプリケーションでは、人間のキャラクターの写実的描写およびアニメーションは、対話型グラフィックスの魅力および成功に貢献する重要な構成要素である。三次元の人型は、しばしば対話型インターフェースの物理的な具体例であり、プレーヤーのアバター、または仮想環境における他の自律的なキャラクターの表象の何れかとして機能する。最近の研究は、人間の表皮および筋肉の変形を表現し且つアニメーションする、より良い形状表現、解剖学に基づくモデリング、ならびに姿勢に基づく皮膚変形に焦点が当てられてきたが、これらの方法を駆動する下層にある多関節体の表現は1980年代にコンピュータアニメーションにおいて初めて用いられて以来、概して不変のままであった。
正確な生体力学的関節モデルを関節変換の従来の階層構造に導入することによって、人間のキャラクターアニメーションにおける写実性の改善をもたらすことが出来る。3次元コンピューターゲームおよびバーチャルリアリティなどの対話型アプリケーションは、グラフィクスハードウェアの進歩の恩恵を受け、それらの幾何学的表面モデルにおいて、より一層細部まで人型のキャラクターを表現できるようになった。しかしながら、異なった形状モデルを用いた人間動作の認識の研究では、観察者が、棒線画を使用したときに較べて多角形モデルを使用したとき、動作の変化に対して、より敏感になることが示唆された。3次元対話型アプリケーションの大半が、より詳細な多角形モデルを用いるので、観察者は身体の肩および胴体領域などにおけるアニメーションの非現実的な関節運動に、より敏感に気付くこともある。この状況は、感知される集中的な活動性が、仮想人間プレーヤーの動作の連携に関係するスポーツシミュレーションに特に関連している。骨格の運動に基づき表皮モデルを変形させるアニメーション技術に対して、骨のセグメントの正確な関節変換はこれらの方法のより良いパフォーマンスにつながりうるもので、その手段として、姿勢に基づく変形に関しては表皮運動とその下層の骨の間の連関を改善する方式を採用し、解剖学に基づくモデルに関しては、骨格の動作に対応して、より正確な筋肉変形をモデリングする方式を採用している。
本発明のプロセス、特徴、または作用は、適切な計算装置において実行されるプログラム命令によって実施することができる。計算装置の具体例としては、企業サーバ、アプリケーションサーバ、ワークステーション、パーソナルコンピュータ、ネットワークコンピュータ、ネットワーク機器、携帯情報端末、ゲーム機、テレビ、セットトップボックス、構内自動化設備、POS端末装置、自動車、およびパーソナル通信機器(例えば、携帯電話機/無線電話)を含む。
プログラム命令は、コンピュータが読み込み可能な媒体または記憶ボリュームによって配布することが出来る。コンピュータ読み込み可能記憶ボリュームは、公衆通信網、専用通信網、またはインターネットを介して利用することができる。プログラム命令は、ソースコード、オブジェクトコード、またはスクリプト用コードなどの任意の適切な形式である。
A. システム概要
図1は、本発明の一実施例における関節構成要素モデルの図である。図示の実施例は関節集合関数105を含む。関節集合関数105は、多数の関節構成要素110、112、114、116、118、120、122、関節集合関数の入力130、および出力変換行列140を含む。各関節構成要素110、112、114、116、118、120、122は写像であり、一組の入力を取り込み、フレームワーク中の他の構成要素に付置できる出力を生成する。関節構成要素110、112、114、116、118、120、122は、関節集合関数105を形成するネットワークとして構成される。関節構成要素110、112、114、116、118、120、122のネットワークは、各骨のセグメントの変換に対応する出力変換行列140を生成する。
関節集合関数の入力130は、モデルの関節接合を制御するために利用者が変更するパラメータの集合に対応する。関節集合関数105の利用者の一例はアニメータであるが、当業者は、関節集合関数の入力130の提供にはプログラムによる方法が使えることを理解するだろう。そのようなプログラムによる方法の1つは、従来のアニメーションアルゴリズムである。
関節集合関数105の一利点は、関節構成要素110、112、114、116、118、120、122の複雑さが利用者から隠されるということである。すなわち、関節集合関数の入力130は、対象の複雑な関節接合を効果的に制御する直感的に設計されたパラメータの集合とすることが出来る。特定の関節のモデル構築に関するさらなる特徴と具体例を後述する。
B. 関節構成要素モデル
以下の記述を分かりやすくするため、ここで、いくつかの用語および記号について説明する。多関節形状は、剛体運動だけを表現できるセグメントsの集合を有する。セグメントは階層構造で相互に関連し、セグメントsの運動はその親pに対して相対的に表され、4×4の変換行列 Tの形で表現される(親セグメントを参照しないとき、上付き文字pを除去できる)。その運動がワールド座標フレームに対しての運動では、セグメントは親、 Tを有することができない。したがって、単一の多関節形状のセグメントを、いくつかの階層的なツリーに分割できる。これは、多関節形状が浮動性セグメントを含むとき有用である。
関節集合Jは、1つ以上のセグメントを含み、そのセグメントの構成が独立自由度(DOF)または一般化座標(GC)qによって記述される。関節集合の各セグメントに対して、その親に対する各セグメントの相対運動は、関節接合または関節として記述される。図2は、本発明の一実施例における肩関節集合を示す。例えば、図2で示すように、肩関節集合は4つの骨のセグメント、即ち、鎖骨205、肩甲骨210、胸郭(図示せず)、および上腕骨215を含む。また、肩関節集合は4つの関節接合、即ち、胸鎖の関節250、肩峰鎖骨の関節255、肩甲上腕骨の関節260、および肩甲骨胸部の関節265を含む。本発明の一実施例では、セグメントは関節集合の中で相互に隣接している必要はなく、このことは、セグメントの親が異なった関節集合に存在できることを意味する。
数学的に、Jにおける各セグメントの関節に対する変換行列は、変化変換行列関数T(q)として表現される。各関節集合Jに対して、関節集合関数105は、関節集合関数105の一般化座標(すなわち、関節集合関数の入力130)の、各セグメント140の変換行列関数に対する写像として定義できる。式1は関節集合関数105の1つの定義を表す。
多関節形状のセグメントの動作をいくつかの関節集合に分割することによって、複雑な関節接合をほんの少数のDOFを用いて動力学的に制御できる。さらに詳しく後述するように、例えば、24の脊椎骨からなる人間の背骨を、頚部の、胸部の、および腰部の領域に対する3つの関節集合を用いて実現することができ、これらの各領域は、屈曲/伸展、側方湾曲、および軸方向捻転に対する3つのDOFを有する。
本発明の一実施例によれば、関節構成要素110、112、114、116、118、120、122は、モジュール式で再使用可能な構成ブロックであり、関節集合関数105を実行する。各関節構成要素110、112、114、116、118、120、122は結合性関数を実現し、異なった情況における再利用を容易にする。関節構成要素110、112、114、116、118、120、122は写像として式2で定義され、Λは、ジョイント限界および回転軸などの特定の特徴を記述するための関節構成要素を構成するパラメータのリストである。
集合ΘおよびΩは、スカラ、ベクトル、または行列の成分を有することができ、それぞれ、関節構成要素jΛの入力および出力に対応する。関節集合関数105は、関節構成要素110、112、114、116、118、120、122のネットワークを含み、そのネットワークは、1つの構成要素の出力を他の1つ以上の構成要素の入力に接続することによって作成される。本発明の他の実施例では、関節集合関数105(および/または対応するネットワーク)は、単一の関節構成要素110、112、114、116、118、120、122を含む。関節集合関数の入力130などの一般化座標は、出力として与えられたセグメントの変換行列140をネットワークへ入力する。本発明の一実施例では、比較的少数の単純な関節構成要素110、112、114、116、118、120、122を組み合わせて、多様な振る舞いを創出することができる。このフレームワークでは、関節構成要素110、112、114、116、118、120、122の新タイプを、最小限のモジュール間の接続で、既存の構成要素に付加し、共用することが可能となる。
C. 関節構成要素
関節構成要素110、112、114、116、118、120、122のいくつかの具体例について以下に説明する。当業者は、本発明の1つの特徴が、関節構成要素110、112、114、116、118、120、122のネットワークの一般化された、フレキシブルな表現であることを理解するであろう。したがって、以下に記載するもの以外の関節構成要素を本発明の一実施例に追加できる。また、関節構成要素110、112、114、116、118、120、122を、特に本明細書に記載されていない付加的な特徴または機能を含むように変更できる。
1. 行列積構成要素
行列積構成要素は、入力として、いくつかの行列のリストを取り込み、それらを共に乗じて、単一の変換行列を出力として生成する。リストの要素の順番が、乗算の順番を決定する。出力は、対応する関節に適用される最終的な変換(例えば、変換行列140)であるか、または、他の関節構成要素110、112、114、116、118、120、122に対する入力として用いられる中間結果であるか、の何れかである。
当業者は、行列積構成要素の数学的演算は従来の行列積処理手順であることを知るであろう。グラフィックスインターフェイス1992のプロシーディングス(Proceedings of Graphics Interface 1992)の258〜264ページに掲載されているK.Shoemake他著「Matrix animation and polar decomposition(マトリクスアニメーションおよび極分解)」において、さらに記述されるように、多くの変換は、利用者にとって直感的なパラメータを有する行列分解として表現できる。
2. 一対多写像構成要素
一対多写像構成要素は、単一のスカラ入力を有し、また1つ以上の関節変数のベクトルを生成する。これは、回転関節または並進関節に対する角度、または並進運動単位と解釈できる。このメカニズムによって、単一スカラのDOFが2つ以上の関節の関節接合を制御することが可能となる。例えば、本発明の一実施例では膝モデルを実現でき、ここでは単一の一般化座標が、膝蓋骨、腓骨、および脛骨に対するオイラー角度の回転および並進を評価するいくつかの三次スプライン関数の共通のパラメータである。当業者は、非線形な区分的三次スプライン関数が、運動を平滑化するために有益であることを理解するであろう。
一対多写像構成要素の中で、出力ベクトルの各要素は入力スカラからの接続において、それ自身の線形の、または非線形の関数を有することができる。これらの関数は、1つ以上の関節に対していくつかの関節変数、単位変換、およびジョイント限界に対する異なった変化率を実施できる。例えば、定義域[0,1]を、回転角θに対して範囲[θmin,θmax] に写像できる。
3. 補償構成要素
従来の階層的な骨格ツリーでは、親セグメントの変換は子セグメントによって引き継がれる。しかしながら、これは、いくつかの状況で好ましくない動作を生じうる。例えば、人体モデルの肩をすくめたいとき、鎖骨205の回転は上腕215に伝播され、上腕215が身体から回転しつつ離れる動きを惹起する。利用者またはアニメータは、上腕215および鎖骨205の方向を独立に保持したいかもしれない。
従来の補償構成要素は、親から伝播してきた回転を補正する補正的角度回転を適用するように設計されている。本発明の一実施例では、補償構成要素はこの思想を一般化して、特定のセグメントに対して任意の先祖セグメント(直接の親だけでなく)の(任意の回転パラメータ化によって創出された)方向変換を相殺しながら、セグメントの並進運動を連携させることによって、その関節でのそのセグメントとの連結性を保持する。これにより、セグメントはワールドフレームに関して定位を有することができる。
特定のセグメントsの補償構成要素は、入力として先祖セグメントの単一の変換行列を取り込み、先祖の回転で惹起された好ましくない方向変化を相殺する行列を生成する。どれくらい離れた骨格階層構造ツリーまで方向を相殺したいと思うかによって、セグメントは各々の先祖に対する補償構成要素を保有することができる。そして、各補償構成要素の出力は、行列積構成要素を用いて乗じられ、骨格ツリーのある一定レベルまでのセグメントの先祖によって惹起されたすべての好ましくない動作を補償する行列を生成する。図2に示す肩の関節集合では、肩甲骨210および鎖骨205の回転から独立した上腕215の方向を創出するために、2つの補償構成要素が用いられる。第1の構成要素は肩峰鎖骨の関節255(肩甲骨210を鎖骨205に接続する)の影響を相殺し、第2の構成要素は胸鎖の関節250(鎖骨205を胸郭の胸骨に接続する)を無効にする。
本発明の一実施例では、補償行列の演算処理は2つのステップでなされる。図3は本発明の一実施例の補償構成要素を示す。最初に、図3に示すように、先祖セグメントの変換行列の逆行列が、その動作を相殺するために計算される。この工程では、セグメントは先祖の変換が適用される前の元の位置および方向に(矢印305で示すように)戻っている。セグメントは、ここで、その親と共有した同一の関節位置に再接続されなければならない。第2ステップでは、補正的並進運動(矢印310で示すように)が、先祖の変換行列で惹起されるセグメントの局所的な原点の変位として計算される。
より詳しくは、上腕215の親である肩甲骨210は、それ自体が鎖骨205の子供である。図3では、鎖骨205は、その基準位置(薄い灰色で示す)から新たな配置(濃い灰色で示す)へ回転する。肩甲骨210および鎖骨205の逆変換を上腕骨215に適用する第1ステップは、画像307に示される配置をもたらす。上腕骨215は、この状態では、肩甲骨210から分離されている。第2ステップでは、補正的並進運動が上腕骨215に適用され(矢印310で示すように)、上腕骨215を肩甲骨210と再結合させる。
4. 回転構成要素
本発明の一実施例では、回転構成要素は、一般化座標値の関数である変化する関節中心を有する非直交性の任意の回転軸にも適合するように設計出来る。複数のDOF回転を有する関節は、回転構成要素を結合することによって創出できる。それらの各回転構成要素は単一軸回転に対する回転行列を生成する。当業者は、各軸回転の関節中心が、他の軸回りを中心とする回転から独立していると仮定されていることを理解されよう。回転構成要素は以下のパラメータを含む:(1)n個の連続した角度間隔のリスト:[a,a)、[a,a)、...、[an−1,a];(2)各角度間隔[ai−1,a)に対する回転中心点c =< c,c,c >;(3) 共通回転軸x。
本発明の一実施例では、各角度間隔は異なった関節回転中心を有することができる。変化する関節回転中心をモデリングする能力は、膝および肩の上腕骨を含むいくつかの関節における回転を正確に記述するために重要である。もちろん単一の角度間隔(および対応する関節中心)もまた、回転構成要素に対して定義することができる。これらの回転パラメータおよび入力回転角度 α∈ [a,a](他の関節構成要素の出力から導出できる)を用いて、関節構成要素に対する最終出力回転行列Rは、式3で定義されるように計算される。式3において、R、M、T、T −1、およびQは、すべて変換行列である。Qは、軸xの周りの角度βの回転を表す4元数から計算される。
角度βは式4で決定される。角度αの最終的な回転は、より小さい角度βの4元数回転の連続の累積結果である。これらの各4元数回転はそれ自身の中心がTおよびT −1の並進行列で表される。これは、本発明の一実施例に基づく関節の変化する関節回転中心の1つの実現方法である。
図4は、本発明の一実施例の変化する関節中心を示す図である。図4で示す例では、上腕の外転は、0〜50度の回転の間はcを回転中心とし、かつ50〜90度の回転の間ではcを回転中心とする。より詳しくは、70度の外転角度に対して最初に50度の回転がcの周りになされ、残りの20度は回転中心としてcを用いる。
当業者は、ある一定の間隔[aj−1,a)に該当する所与のαに対して、すべてのM(0<k<j)は、それらの各βがa−ak−1と等しい定数であるために、αに依存しないことに気づくであろう。リアルタイム計算の必要を減らすために、行列Mを全角度間隔回転に対して事前に計算して保存できる。さらに、j番目の間隔に対する式1の累積的な行列積Rは、インタラクティブレートで多関節形状の動作を更新するために、Mj−1 X Mj−2 X…X Mを事前に計算し、取り出すことができる。
5. 従属性構成要素
従属性構成要素によって、関節集合関数105の中の種々の異なる関節の間の連結動作のモデリングが可能となる。各従属性構成要素では、1対の関節、すなわち能動関節aおよび受動関節pが特定され、能動関節aは、もう片方の受動関節pを駆動する。pのDOFの推移は、写像関数を介してaのDOFに依存するように設定される。従属性構成要素で用いられる写像関数の実際の性質は任意の線形の、または非線形の関数である。補間スプラインは従属関係を実験データサンプルに整合させるためにしばしば好都合である。本発明の一実施例では、DOFは各関節の回転行列を定義するオイラー角度に対応する。従属性構成要素は各関節から1つずつの、2つの入力オイラー角度を取り、受動関節に対する修正された角度を出力する写像関数を含む。(1)一対一写像、(2)一辺固定写像、および(3)二辺固定写像を含む、いくつかの種類の写像関係を実施することができる。
a) 一対一写像
aの任意の所与DOF値に対して、pに対するDOF値が定義される。例えば、肩甲骨外表面の接平面に垂直な軸を中心とした肩甲骨の回転は、上腕の外転にほぼ一次従属である。線形一対一写像が、この関係を捕捉することができる。
b) 一辺固定写像
一辺固定写像は、aのDOFの関数である下限または上限によって、一辺についてpの値が制限された一対一写像である。この具体例は、上腕骨215の外転と鎖骨205の上昇の間の従属関係である。上腕を高く上げれば上げるほど、肩の鎖骨の上下移動は、より制限される。鎖骨205の上昇に付された下限のためその移動が制限され、この制限は、上腕骨215の外転の量に依存する一辺の限界として実施されうる。
c) 二辺固定写像
pのDOFの値は、aのDOFに依存する限度によって両辺について制限されている。再度、肩を例にとると、左上腕が左端から身体の右前方まで水平面において回旋しているとき、肩(鎖骨205において)の水平運動はさらに制限されるようになる。左上腕が身体の後方に回旋しているとき同様の現象が生じる。上下限界両方があるため二辺写像がこの例に適する。
6. 関節コーン構成要素
関節空洞コーンは、通常、球関節のジョイント限界に対して各関節DOFのオイラー角度限界対よりも、より良いメカニズムを提供するために用いられてきた。従来の関節空洞コーンの詳細については、コンピュータズ アンド グラフィックス (Computers and Graphics)の2000年発行第24巻第2号203〜218ページに掲載されたW.Maurel他著「Human shoulder modeling including scapulo−thoracic constraint and joint sinus cones(肩甲骨胸部の拘束性および関節空洞コーンを含む人間の肩のモデリング)」に記載されている。
図5は、本発明の一実施例のジョイント限界コーンを示す図である。図示された実施例では、関節空洞コーン505、510、515は、前述の回転構成要素と共に生じうる、変化する関節中心にも適合するように拡張される。関節コーン構成要素では、関節空洞コーン505、510、515は、基準点pおよび空間曲線Cを用いて画定される。基準点pは、コーンの頂点であり、かつ関節中心に位置する。曲線cは、コーン下端の境界を画定して、利用者が選択した制御点の最初のリストによって形成される。例えば、関節空洞コーン505は曲線Cを画定するために14点を用いる。
曲線を精密にして、かつ平滑化するために細分化規則を用いることができる。例えば、関節空洞コーン510は、関節空洞コーン505を精密にして、かつ平滑化したバーションを表す。追加ベクトルvrestが定義され、骨の安静配置において骨の縦軸と同一方向に位置するように、pに配置される。このコーンは、肩の上腕骨215の外転/内転および屈曲/伸展などのような、関節の2DOFの動作を束縛する方法を提供する。第三のねじりDOFを制限するために、角度束縛の追加対を曲線cおよび点vrestの各制御点と関連づける。精密化プロセスの間に、細分化で与えられた新たな制御点に対して、新たに補間された上下限が計算される。本発明の一実施例では、コーン内の任意の所定配置に対する一対のねじり限度が実行に補間できる。例えば、関節空洞コーン515に、各点のねじり限度を表すために陰影をつけてある。より濃い色合いは、より制限的な限度範囲を示す。曲線の精密化および平滑化の詳細については、グラフィクスツール誌(Jurnal of Graphics Tools)の2001年発行第6巻第2号27〜41ページに掲載されたJane Wilhelms他著「Fast and easy reach−cone joint limits(速くて容易な到達 − コーンジョイント限界)」に記載されている。
図6は、本発明の一実施例の関節コーンの射影を示す図である。正当な関節配置をチェックして、かつ不正な方向を境界曲線Cに射影し戻すために、関節コーン構成要素を用いることができる。関節コーン構成要素は1つの特定の関節、例えば関節jに付属する。関節コーン構成要素は、入力として回転構成要素によって与えられるjの変換行列Tinputを取る。Tinputは、その骨の方向が関節コーン内にあるかどうかを検査するために、ベクトルvrest605をvinput610に変換する。その骨の方向が関節コーン内にあるとき、Tinputは関節コーン構成要素を通過する。その骨の方向が関節コーン内に無いとき、新たな変換行列TadjustedがTinputを用いて計算され、vinput610がvadjusted615に変換される。当業者は、vinput610およびvrest605を結ぶ線分が、vadjusted615でコーンの境界と交差することに気づくであろう。vadjusted615を用いて、回転構成要素による回転角α(関節の第1DOFに対する)およびβ(関節の第2DOFに対する)を新たに計算でき、調整済み回転行列Tadjustedを生成する。
7. 肩甲骨束縛構成要素
本発明の一実施例では、肩甲骨束縛構成要素は肩の肩甲骨胸部の制限の特定の状況を記述する。肩甲骨束縛構成要素は、本発明の構成要素フレームワークが各関節の特別な取扱いに対してどのように拡張しうるかについての一例を示す。肩甲骨210は、肋硬骨、筋肉、および脂肪性構造によって画定された曲面上を摺動する。これを関節構成要素モデルで表すために、従来の楕円体の拘束条件を用いることができる。楕円体拘束条件の記述については、例えば、Computer Methods in Biomechanical and Biomedical Engineeringの1999年発行第2巻107〜124ページに掲載されたB. Garner著「A kinematic model of the upper limb based on the visible human project (vhp) image dataset(ビジブルヒューマンプロジェクト(vhp)画像データセットに基づく上肢の運動学的モデル)」に見ることが出来る。しかしながら、図12に示すように、従来はただ1つの楕円体のみを用いていたところを、本発明の一実施例では2つの楕円体を用いて胸郭の両側部に対してそれぞれ1つの楕円体を当てる。これにより、背骨を捻転する、または側方に湾曲するときに胸郭の両側の拘束条件が適切に保持されることが可能となる。
図7は、本発明の一実施例の肩甲骨上の基準点を示す図である。肩甲骨210が楕円体の表面上で摺動するように制限するために、肩甲骨210上で対をなす基準点が定義され、少なくとも1つの能動対が常に楕円体上に確実に滞留するようにする。
図7の例を用いて、ここで、肩甲骨210に対するDOFの決定法について記述する。肩甲骨210を、当初、回転に対して3DOF、および並進に対して3DOFを有する自由継手であるとみなす。肩甲骨210は親の鎖骨205に付属するため、並進の3DOFは鎖骨205と共有された付着点で決定される。肩甲骨の平面に垂直な軸の周りの肩甲骨210の回旋はさらに制限され、従属性構成要素を用いて上腕骨215の外転に依存する。この従属関係拘束条件は他のDOFを排除する。楕円体拘束条件は、残りの2DOFまたは回転を決定する。肩甲骨上の一対の基準点を楕円体表面に拘束することによって、肩甲骨の配置を完全に決定できる。
図7に示す本発明の一実施例によれば、対をなす基準点220、225、230が、肩甲骨210の周辺縁部240付近に位置するように画定される。数対の基準点220、225、230を有することによって、肩甲骨210および胸郭の間の接触面が肩の他の関節に基づいて変化することが可能となる。肩が持ち上げられるとき、第1の対220付近の領域は胸郭に接触する可能性がより高い。肩が下ろされるとき、第2の対225は接触する可能性がより高い。肩甲骨210が肩甲骨表面に垂直な軸の周りを時計回りで完全に回旋するとき、第3の対230は動的である。したがって、これらの3対の基準点220、225、230は、新たな接点対を求めるために用いられ、その手段として、肩の上昇および肩甲骨210に関する回転の量に対応する2つのDOFを補間する方法を採用している。
そのため、肩甲骨210は楕円体表面上にこれらの接点を拘束するために二度回転することが出来る。第1の回転では、関節の起点を通る所定のベクトルxが回転軸として用いられる。xの周りの角度θの回転は、楕円体表面上に第1の基準点220をもたらす。第2の回転では、関節の起点と第1の基準点220を結ぶベクトルが回転軸xとして用いられる。同様にxの周りの角度Ψの回転は楕円体上に第2の基準点225をもたらす。当業者は、第1の接点が回転軸x上にあるため第2の回転は第1の接点の位置を変化させないことに気づくであろう。本発明の一実施例では、回転角θおよびΨの両方を求めるために二分探索法を用いている。
本発明の実施例では再利用できる関節構成要素を作成することが一般に好ましいが、特殊な拘束条件を創出する能力は、特定の関節に固有の複雑な関節接合の記述を簡略化するための、その関節に適合した直感的なパラメータを創出するのに有用である。もちろん、応用のために必要と考えられる、より多くの生体力学的細部を関節構成要素に付加することができる。
D. 関節構成要素モデルの構築
いくつかの関節構成要素の例について記載したが、ここでは、骨格セグメントに対する関節集合関数105を構築するために関節構成要素をネットワークに接続するプロセスについて記述する。図8は、本発明の一実施例の関節モデルを構築するためのフロー図である。本発明の一実施例では、関節構築者は図示したプロセスを実行する。関節構築者は、関節集合関数105を形成するために、関節構成要素110、112、114、116、118、120、122の入力および出力を組み合わせる人間であっても良い。関節構築者は、どの関節構成要素110、112、114、116、118、120、122を関節集合関数105に含め、所望の多関節運動を得るために、これらの構成要素をどのように結合して構成するかを確定する。
図示したプロセスは804から開始し、モデリングするための対象関節を選択する808。その後、選択された関節に対する骨および関節接合が特定される812。その後、プロセスは骨および関節接合を、関連する骨の個別のグループに分割して816、骨のグループ820の集合を生成する。その後、骨のグループ820は反復処理される。また、当業者にとって公知のように、並行して、または種々の順序で骨のグループ820を処理できる。
反復例のループの始まりにおいて、すべての骨のグループ820を処理し終わったかどうかを判定824する。すべての骨のグループ820を処理し終わっていないとき、未処理の骨のグループ820が選択される828。関節構成要素が選択され832、特定された812関節接合をモデリングする。選択された832関節構成要素を構成するために、各関節構成要素のパラメータが定義され、且つ設定される836。次に、選択された関節構成要素がネットワークに接続される840。選択された関節構成要素を結合または接続する一手法は、個々の選択された関節構成要素がネットワーク化844されるまで、入力および出力データ値を1つの関節構成要素から次の関節構成要素へ受け渡すことである。
その後、プロセスは、すべての骨のグループ820を処理し終わったかどうかの判定824に戻る。すべての骨のグループ820を処理し終わっていないとき、プロセスは、前述のように、ステップ828、832、836、および840を繰り返す。すべての骨のグループ820を処理し終わったとき、プロセスは、すべての完成した関節ネットワーク844の接続処理848に進み、関節集合関数105のための大規模ネットワークを形成する。次に、関節集合関数105はテストされて852、所望の多関節運動を生成するかどうかが判定される。関節集合関数105をテストする852一手法は、関節運動の視覚表示856である。それによって、関節構築者は、関節集合関数105が特定された812関節接合を正確に表すかどうかを判定する860ことができる。また、関節運動の視覚表示856には、関節運動をテストする852ために、スライダ、マニピュレータ、または他のユーザーインタフェースコントロール(例えば、さまざまな値の範囲を特定する)を調整する関節構築者を含めることができる。
関節運動が好ましくないとき、関節構築者は、パラメータ、関節構成要素の選択、または関節構成要素ネットワークの結合を修正868できる。それから、プロセスは関節集合関数105を再テストする852。関節運動が好ましいとき、関節構成要素モデルをデータファイル872に保存864できる。関節構成要素モデルを保存864した後に、プロセスは終了する786。当業者は、データファイル872は、データベースレコード、または他の任意の適切なフォーマットのファイル形式が可能であることを知るであろう。
本発明の一実施例では、関節構成要素モデルは拡張可能なマークアップランゲージ(XML)ファイル形式で保存864される。XML形式は、ソフトウェア環境またはアプリケーションソフトウェアパッケージの中での交換の容易さを有する、効率的かつ便利な方法である。XML形式の関節構成要素モデルの一例を以下の付録に供する。その例では、関節構成要素110、112、114、116、118、120、122は、タグおよびパラメータを含む。
E. 計算システム
図9は、本発明の一実施例の計算装置のブロック図である。図面では、プロセッサ905、入出力装置910、ディスプレー装置915、およびメモリ920を含む計算装置を示す。プロセッサ905、入出力装置910、ディスプレー装置915、およびメモリ920は、バス950を介してそれぞれ結合されている。プロセッサ905は、カリフォルニア州サンタクララのインテル社から市販されているPentium IVプロセッサなどの従来のマイクロプロセッサであっても良い。入出力装置910は従来と同様であり、計算装置が他の計算装置、ネットワーク、および周辺デバイスなどと通信することを可能とする。ディスプレイデバイス915は、従来のモニタまたはテレビなどである。ディスプー装置915は、利用者、関節構築者、あるいは他の開発者が、メモリ920の機能モジュールとインターフェースをとることを可能ならしめる。
メモリ920は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、固定媒体、または脱着可能媒体(例えば、フロッピーディスク、コンパクトディスクROM(CD−ROM)、CD−Rディスク(CD R/W)、またはディジタル多機能ディスク(DVD))などの従来のメモリデバイスであってもよい。
メモリ920は、多くの機能モジュール、すなわち、関節構成要素モジュール925、構成モジュール930、関節集合関数モジュール935、およびユーザインタフェースモジュール940を具備する。これらの各モジュール925、930、935、940の典型的機能について、ここで詳細に記述する。
関節構成要素モジュール925は、関節構成要素110、112、114、116、118、120、122を実行するための、プログラム命令および/またはデータを具備する。より詳しくは、関節構成要素モジュール925は、行列積構成要素、一対多写像構成要素、補償構成要素、回転構成要素、従属性構成要素、関節コーン構成要素、および肩甲骨束縛構成要素に対する計算およびデータ操作を実行する。
構成モジュール930は、関節構成要素110、112、114、116、118、120、122のパラメータを構成するための、および関節構成要素を関節集合関数105にネットワーク化するための、プログラム命令および/またはデータを具備する。構成モジュール930は、関節構成要素モジュール925、関節集合関数モジュール935、およびユーザインタフェースモジュール940の各々とインターフェースをとることができる。
関節集合関数モジュール935は、1つ以上の関節集合関数105を実行するためのプログラム命令および/またはデータを具備する。関節集合関数モジュール935は、入力として関節集合関数の入力130(例えば、一般化座標または自由度)を受け入れ、かつ出力として関節集合140のセグメントに対する変換行列を生成する。
ユーザインタフェースモジュール940は、利用者、開発者、または関節構築者の入力を受け入れ、且つ処理するためのプログラム命令および/またはデータを具備する。例えば、ユーザインタフェースモジュール940は、利用者が関節集合関数の入力130を操作するために用いることができるディスプレイを、利用者に提示出来る。
当業者は、本発明の特徴または機能を実現するために、他の機能ユニットまたはモジュールを用いることができることを知るであろう。すなわち、図9に示す機能ユニットは、メモリ920の構成の、ほんの一例に過ぎない。例えば、関節構成要素モジュールの機能は、従来の分散計算技術を用いて複数の計算装置間で分散化できる。
F. 結果の例
ここでは、構成要素フレームワークの例を2つの複雑な関節、すなわち、背骨および肩について記述する。以下の結果の実例を生成するために、関節に対するパラメータデータの最初の推定値は、I. Kapandji著「関節の生理学 胴部および脊柱」(The Physiology of the Joints: The Trunk and the Vertebral Column)1982年発行第2版第3巻チャーチル・リビングストン出版、および、I. Kapandji著「関節の生理学 上肢」(The Physiology of the Joints: Upper Limb)1982年発行第1版第1巻チャーチル・リビングストン出版などの関節生理学についての文献から決定された。
関節構成要素110、112、114、116、118、120、122、および対応する関節集合関数105からなる関節モデルは、C++プログラミング言語を用いたプログラムコードモジュールで実行できる。カナダのオンタリオ州トロントにあるAlias/Wavefrontから市販されているマヤ(Maya)三次元モデリングソフトウェアのプラグイン用に、プログラムコードモジュールを適合させることができる。マヤ環境は、対話型の骨の位置決めおよび関節パラメータの調節を提供する。マヤの高度なモデリング環境によって、関節集合の関節接合を対話形式で、または、視覚的に評価できる。OpenGLベースのアプリケーションソフトウェアを含む他のツールにロードすることができるXMLベースのファイル形式で、関節構成要素のパラメータをエクスポートできる。本発明の一実施例では、OpenGLベースのアプリケーションソフトウェアは、入力として、XMLベースのファイル形式で記述された関節構成要素モデルを受容でき、かつXMLベースのファイル形式で記述された関節構成要素ネットワークを構築できる。ネットワークが構築されると、関節モデルは、OpenGLを用いて三次元グラフィックスで表示され、かつ入力装置(例えば、マウス)を用いて一般化座標を調整することで操作できる。本発明の一実施例では、ソフトウェア環境の間のXMLベースの関節モデルの互換性をテストするために、OpenGLベースのアプリケーションソフトウェアを用いることができる。Nvidia GeForce4グラフィックハードウェアを搭載した従来の933MHzのインテルPentiumII汎用コンピュータは、マヤを搭載した状態で対話型ディスプレイレートを達成できる。
1. 背骨
人間の背骨には24個の可動脊椎骨がある。位置および機能に従って、それらは3つの関節集合、すなわち、頚部(首の7つの脊椎骨)、胸部(胸郭の12の脊椎骨)、腰部(腹の5つの脊椎骨)に分割される。胸部の関節グループに対して、すべての肋硬骨および胸骨は胸郭を創出するために関節モデルに含まれる。すべての3つの背骨関節集合に対して、同一形式の関節関数が用いられる。それらの関節関数の間の差は、各関節グループに対して付与される関節パラメータであり、胸椎の回転量は頚部および腰部より大幅に少ない。
図10は、本発明の一実施例の頚部関節集合の典型的関節関数を示す図である。図面では、頚部の関節集合は、7つの骨と同様に7つの関節(cl−c7)を有する(脊椎骨および任意の2つの脊椎骨の間の円板の両方を含む)。各関節は、単独で、回転の3DOFを有するため3つの回転構成要素を有する。回転軸および回転中心は、各回転構成要素に対して、I. Kapandji著「関節の生理学 胴部および脊柱」(The Physiology of the Joints: The Trunk and the Vertebral Column)1982年発行第2版第3巻チャーチル・リビングストン出版から推定される。単一の関節の3つの回転構成要素は、種々の回転中心および非直交性回転軸を有することができる。一対多写像構成要素によって定義された一対のジョイント限界角度が、各回転を制限するために供される。背骨の脊椎骨の回転動作は連結されるため、動作制御は、屈曲/伸展、側方湾曲、および脊椎骨軸に沿った捻転の3つだけのDOFを有するように簡略化される。これらのDOFは、一般化座標1、2、および3の入力として図示される。背骨の各関節集合では、一対多写像構成要素は、最初に、入力DOFを関節集合の各脊椎骨に対する回転角に変換する。一対多写像構成要素はMとして特定され、回転構成要素はRとして特定され、および行列積構成要素は*で表される。
例えば、頚部では、屈曲/伸展は、7つの脊椎骨に対する次の角度回転範囲(単位は度)、すなわち、C7 [−13.2,5.5]、C6 [−7.5,5.5]、C5[−4,5.5]、C4[−4.6,5.5]、C3[−8,6.5]、C2[−5.5,6.5]、C1[−18.5,6.5]へ写像する。変換は、[−1,1]と一対の脊椎骨−特別の角度限界の対[min,max]、の間の線形写像である。そして、対応する脊椎骨に対する特定の回転構成要素Rに各角度が送られる。脊椎骨C1〜C7に対する最終的な変換を生成するために、各DOFに対する回転構成要素の出力行列は、行列積構成要素Mに導入される。
胸部グループが各脊椎骨に付属の肋骨を有することを除いて、胸部および腰部に対する関節集合関数の実現方法は頚椎と同様である。胸郭が背骨および胸骨と共に拘束連鎖を創出するため、それは、側方湾曲の間、各肋骨を互いに離れるように、または互いに近づくように回旋させる胸椎運動に対して抵抗する傾向がある。胸郭の全体形状を保持するために、肋骨の回旋が、付属する胸椎の運動の量に依存するようにパラメータで設定できる。直観的に、当業者は、肋骨が背骨ほど回旋しない状態で、肋骨は背骨の回旋の方向と反対の方向に回旋されることを理解するであろう。したがって、肋骨の軸は脊椎骨の軸に対抗するように画定されるとともに、肋骨の軸はより小さい回転限度を有することができる。当業者は、より正確な胸郭の変形のために、本発明の関節構成要素モデルに対してカスタム関節構成要素を設計できることに気づくであろう。
背骨モデルの例では、各関節集合は屈曲/伸展、側方湾曲、および捻転に対して3つの回転のDOFを有し、全体の背骨および胸郭を制御するには合計9つのDOFとなる。この9つのDOFは、多様な従属関係が潜在的にモデルに組み込まれるため、我々のモデルで達成可能な関節接合の総数よりも大幅に少ないDOFである。より少ないDOFが軽量で、かつ直感的な制御メカニズムをもたらすとともに、正確さと制御の簡単さのバランスをとる。
2. 肩
肩は、4つの関節接合(肩甲上腕骨の関節260、肩峰鎖骨の関節255、胸鎖の関節250、および摺動する肩甲骨胸部の関節265)を含む。数個の骨、すなわち、鎖骨205、肩甲骨210、上腕骨215、胸骨、および胸郭がこれらの関節に関係している。骨の関節接合に加えて、靫帯、軟骨、および筋肉も、肩において重要な役割を果たすことができ、肩の関節の間の連関の動きおよび従属関係を創出する。
4つの関節および3つの骨を有する肩関節モデルが構築された。その関節集合関数は5つのDOFを有して、その内の3つは、肩甲上腕骨の関節260を制御し(上腕骨215の屈曲/伸展、外転/内転、および捻転)、2つは、胸鎖の関節250を制御する(鎖骨205の垂直および水平な回転)。他の2つの関節の動作および胸郭の楕円体表面拘束条件によって、肩峰鎖骨の関節255の動作を完全に決定できるため、肩峰鎖骨の関節255の制御可能なDOFは零個である。関節集合関数105は、3つの関節それぞれに対する3つの変換行列140を出力する。関節集合関数105は、内部に、各々が1つの関節を担当する3つの構成部分を有する。
図11Aは、肩甲上腕骨の関節260を制御する変換行列140を生成する関節集合関数105の第1の部分を示す。各制御入力130は、最初に一対多写像構成要素Mを経由して、[−180,180]の範囲の角度に変換される。屈曲/伸展および外転/内転の2つの角度は、2つの回転構成要素R12およびR13に送られ、それらの回転行列を創出する。右腕の外転/内転に対して、回転構成要素は2つの間隔[0,60]度および[60,180]度を有して、それぞれ、上腕骨局所座標系の(−0.373,−0.247,−0.181)および(−0.373,0.449,−0.181)に回転中心を有する。当業者は、これらの座標は、測定単位、骨の形状、および骨格モデルを表すために用いられるセグメントの局所座標系に依存し得ることを評価するだろう。したがって、これらの座標は種々のモデルの間で変化することが出来る。
その後、ねじり角度と共に、これらの2つの行列の結合結果は、図11AでLと表される関節コーン構成要素を経由して、最終的な有効方向行列を生成する。肩甲上腕骨関節260の親関節と祖父関節の両方からの動作を補正するために、2つの補償構成要素CおよびCを用いることができる。これらの入力は、後述する他の2つの機能部(4および5で表される)の最終出力である。補償行列および最終回転行列を共に乗じることによって、肩甲上腕骨関節260の最終的な変換を得る。
図11Bは、胸鎖の関節250を制御する変換行列140を生成する関節集合関数105の第2の部分を示す。各入力DOF130は、一対多写像構成要素Mを経由してある角度に変換される。その2つの角度は、肩甲上腕骨関節260の2つの角度(2および3で表される)と共に、入力として2つの従属性構成要素DおよびDに送られる。その理由は、鎖骨205の回転角が、前述のように、部分的に上腕の回転角に依存するためである。例えば、右の肩において区分的線形関数は、0度、60度、120度、180度の上腕骨の外転/内転角度を、それぞれ−10度、−6.7度、4.85度、および23度の鎖骨仰角に写像する。回転構成要素R11およびR12は、従属性構成要素DおよびDの出力を用いて行列を構成して、その結合結果が関節コーン構成要素Lで検査される。その出力は胸鎖関節250を制御する最終的な変換を提供する。
図11Cは、肩峰鎖骨の関節255を制御する変換行列140を生成する関節集合関数105の第3の部分を示す。その入力(1および6で表される)は前述の他の2つの部分に由来する。第1の部分は上腕の外転角度を供して、従属性構成要素Dおよび回転構成要素Rを介して、肩甲骨210の平面に垂直な軸の周りの肩甲骨210の回転を決定する。第2の部分は胸鎖関節250の変換を供し、補償構成要素Cによって用いられて補償行列を計算する。その後、肩甲骨束縛構成要素Sは結合した結果を用いて他の2つの角度を生成する。右肩に対して肩甲骨上の最初の局所的な回転軸は(0.263,−0.912,0.314)であった。肩甲骨210上の3対の基準点220、225、230は、その局所座標で、それぞれ(8.5,−4,−0.3)と(8.7,−2.4,−0.1)、(8.2,0,−0.1)と(7.5,2,0)、および(8,2,−0.8)と(7,3,−0.6)である。回転構成要素RおよびRは、2つの角度を用いて胸骨の基準系に固定された楕円体表面上に肩甲骨を回旋させる。最後に、3つの回転行列および補償行列は、共に乗じられて肩峰鎖骨関節255を制御する最終的な変換を生成する。
当業者は、図11A〜図11Cに示す3つの機能的な部分は相互に密に結合されることを認識するであろう。それらの内のいずれも、他と完全に独立に計算することは不可能である。これは、第1の部分の演算処理が他の2つの部分の最終結果に依存するとともに、他の2つの部分は、それらの入力として第1の部分の中間結果を要すためである。しかしながら、これらの3部分全体のネットワークの計算に対して従来の位相的な順序が用いられ、関節関数が行き詰まりの危険性なしに、逐次計算することが可能となる。
本発明の一実施例の構成要素関節モデルは、平易な制御インターフェースを具備し、また、関節構成要素は従来の計算装置を用いたリアルタイム対話型アプリケーションの計算が出来る。現実的な関節運動を産み出すために構成要素関節モデルを用いることができる。関節設計者または関節構築者は、フレームワークを介して、所望の対象用途に対する好適なモデルを開発するための、細部、関節パラメータ設計、および計算の複雑性の所望のレベルなどの、種々の競合する基準について検討することが可能となる。
当業者は、いくつかの関節集合関数105の複雑さのために、運動学または勾配ベースの最適化の逆演算子に対する分析的な導関数を計算することが常に可能とは限らないかもしれぬことを理解するであろう。しかしながら、関節集合関数105が決定論的な関節変換を生成するため、それらの導関数を推定するために、有限差分法を用いることができる。また、同一の関節集合関数105を、種々の人または動物に対してカスタマイズすることを可能とする対象固有のパラメータを見つけるために、フレームワークの実施例を用いることができる。前述の関節構成要素は、全ての正確さのレベルで全関節をモデリングする完全な集合を表すものではない。特に、新たな構成要素または新たな関節集合の設計を通じて、他の多様な関節モデルを本発明のフレームワークに組み入れることができる。
複雑な関節の動きをモデリングする関節構成要素フレームワークの実施例について説明したが(例を示したものであり、限定するものではない)、当業者は、前述の開示に照らして修正および変形することが可能であることに注意すべきである。したがって、変更は、それが添付クレームおよび同等物によって定義される本発明の範囲および精神内であれば、開示された本発明の特定の実施例において実施可能であると理解すべきである。
添付図面は、本発明のいくつかの実施例を図示するものであり、説明とともに本発明の原理について説明するのに役立つ。
本発明の一実施例における関節構成要素モデルの図である。 本発明の一実施例における肩関節集合を示す。 本発明の一実施例における補償構成要素を示す。 本発明の一実施例における変化する関節中心を示す図である。 本発明の一実施例におけるジョイント限界コーンを示す図である。 本発明の一実施例におけるジョイントコーンの射影を示す図である。 本発明の一実施例における肩甲骨上の基準点を示す図である。 本発明の一実施例における関節モデルを構築するためのフロー図である。 本発明の一実施例における計算装置のブロック図である。 本発明の一実施例における頚部関節集合の典型的関節関数を示す図である。 本発明の一実施例における肩関節集合の典型的関節関数を示す図である。 本発明の一実施例における肩関節集合の典型的関節関数を示す図である。 本発明の一実施例における肩関節集合の典型的関節関数を示す図である。 本発明の一実施例における肩甲骨胸部関節を制約するための楕円体を示す図である。

Claims (3)

  1. 関節のセグメント毎に変換行列を決定する装置であって、
    前記装置は、
    パラメータを含む第1の算術関数を有し、第1の角度間隔用の第1の関節回転中心及び第2の角度間隔用の第2の関節回転中心を供給するように構成されている、第1の関節構成要素を選択する手段と、
    前記第1の関節構成要素の動きを定義するために前記パラメータを設定する手段と、
    第2の算術関数を有する第2の関節構成要素を選択する手段と、
    前記第1の関節構成要素と前記第2の関節構成要素を対にして、前記変換行列を特定する関節集合関数を生成する手段と、
    を有することを特徴とする装置。
  2. 関節のセグメント毎に変換行列を決定する装置であって、
    前記装置は、
    パラメータを含む第1の算術関数を有し、複数の楕円体と複数の基準点の対を用いてセグメントを束縛するように構成されている、第1の関節構成要素を選択する手段と、
    前記第1の関節構成要素の動きを定義するために前記パラメータを設定する手段と、
    第2の算術関数を有する第2の関節構成要素を選択する手段と、
    前記第1の関節構成要素と前記第2の関節構成要素を対にして、前記変換行列を特定する関節集合関数を生成する手段と、
    を有することを特徴とする装置。
  3. 関節のセグメント毎に変換行列を決定する装置であって、
    前記装置は、
    パラメータを含む第1の算術関数を有し、境界曲線を生成し、かつ、第1の角度間隔用の第1の関節回転中心及び第2の角度間隔用の第2の関節回転中心を供給する関節中心変化を伴う回転に起因する不適切な方向を前記境界曲線に射影し戻すように構成された第1の関節構成要素を選択する手段と、
    前記第1の関節構成要素の動きを定義するために前記パラメータを設定する手段と、
    第2の算術関数を有する第2の関節構成要素を選択する手段と、
    前記第1の関節構成要素と前記第2の関節構成要素を対にして、前記変換行列を特定する関節集合関数を生成する手段と、
    を有することを特徴とする装置。
JP2006507722A 2003-04-25 2004-04-23 複雑な関節の動きをモデリングする関節構成要素フレームワーク Expired - Fee Related JP4452272B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/425,122 US7333111B2 (en) 2003-04-25 2003-04-25 Joint component framework for modeling complex joint behavior
PCT/JP2004/005922 WO2004097746A1 (en) 2003-04-25 2004-04-23 Joint component framework for modeling complex joint behavior

Publications (2)

Publication Number Publication Date
JP2006524863A JP2006524863A (ja) 2006-11-02
JP4452272B2 true JP4452272B2 (ja) 2010-04-21

Family

ID=33415911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006507722A Expired - Fee Related JP4452272B2 (ja) 2003-04-25 2004-04-23 複雑な関節の動きをモデリングする関節構成要素フレームワーク

Country Status (4)

Country Link
US (1) US7333111B2 (ja)
EP (1) EP1618533A4 (ja)
JP (1) JP4452272B2 (ja)
WO (1) WO2004097746A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7390309B2 (en) * 2002-09-23 2008-06-24 Honda Motor Co., Ltd. Human assist system using gravity compensation control system and method using multiple feasibility parameters
US7650204B2 (en) * 2001-06-29 2010-01-19 Honda Motor Co., Ltd. Active control of an ankle-foot orthosis
US7469166B2 (en) * 2001-06-29 2008-12-23 Honda Motor Co., Ltd. System and method of predicting novel motion in a serial chain system
US7623944B2 (en) * 2001-06-29 2009-11-24 Honda Motor Co., Ltd. System and method of estimating joint loads in a three-dimensional system
US7774177B2 (en) 2001-06-29 2010-08-10 Honda Motor Co., Ltd. Exoskeleton controller for a human-exoskeleton system
US7684896B2 (en) 2001-06-29 2010-03-23 Honda Motor Co., Ltd. System and method of estimating joint loads using an approach of closed form dynamics
US7259764B2 (en) * 2003-05-14 2007-08-21 Pixar Defrobulated angles for character joint representation
US7248270B1 (en) * 2004-01-22 2007-07-24 Pacific Data Images Llc Stroke-based posing of three-dimensional models
US20060262119A1 (en) * 2005-05-20 2006-11-23 Michael Isner Transfer of motion between animated characters
US8082062B2 (en) * 2005-06-10 2011-12-20 Honda Motor Co., Ltd. Regenerative actuation in motion control
US7760201B2 (en) * 2005-07-29 2010-07-20 Autodesk, Inc. Transfer of attributes between geometric surfaces of arbitrary topologies with distortion reduction and discontinuity preservation
DE102005048536B4 (de) * 2005-10-11 2007-03-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Prüfung eines Fahrzeug-Konstruktionsmodells
US7779708B2 (en) * 2006-01-13 2010-08-24 Mts Systems Corporation Orthopedic simulator with fluid concentration maintenance arrangement for controlling fluid concentration of specimen baths
US7654150B2 (en) * 2006-01-20 2010-02-02 Mts Systems Corporation Specimen containment module for orthopedic simulator
US7824184B2 (en) * 2006-01-13 2010-11-02 Mts Systems Corporation Integrated central manifold for orthopedic simulator
US7770446B2 (en) 2006-01-13 2010-08-10 Mts Systems Corporation Orthopedic simulator with temperature controller arrangement for controlling temperature of specimen baths
US7762147B2 (en) * 2006-01-13 2010-07-27 Mts Systems Corporation Orthopedic simulator with integral load actuators
US8156824B2 (en) * 2006-01-13 2012-04-17 Mts Systems Corporation Mechanism arrangement for orthopedic simulator
US7913573B2 (en) 2006-01-13 2011-03-29 Mts Systems Corporation Orthopedic simulator with a multi-axis slide table assembly
US8395626B2 (en) * 2006-04-08 2013-03-12 Alan Millman Method and system for interactive simulation of materials
US8786613B2 (en) 2006-04-08 2014-07-22 Alan Millman Method and system for interactive simulation of materials and models
FR2902914A1 (fr) * 2006-06-27 2007-12-28 France Telecom Procede de codage de parametres d'animation d'un avatar, procede de decodage, signal et dispositifs correspondants
US7859538B2 (en) * 2006-07-31 2010-12-28 Autodesk, Inc Converting deformation data for a mesh to animation data for a skeleton, skinning and shading in a runtime computer graphics animation engine
US8094156B2 (en) * 2006-07-31 2012-01-10 Autodesk Inc. Rigless retargeting for character animation
US8130225B2 (en) * 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8683429B2 (en) * 2008-08-25 2014-03-25 Adobe Systems Incorporated Systems and methods for runtime control of hierarchical objects
US8373704B1 (en) 2008-08-25 2013-02-12 Adobe Systems Incorporated Systems and methods for facilitating object movement using object component relationship markers
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8458610B2 (en) * 2010-03-17 2013-06-04 Discus Investments, Llc Medical information generation and recordation methods and apparatus
EP2550613A1 (de) * 2010-03-25 2013-01-30 Normamed S.A. Verfahren und erfassungsmaschine zur erfassung von gesundheitsbezogenen informationen
US20120038639A1 (en) * 2010-08-11 2012-02-16 Vincent Mora Presentation-enhanced solid mechanical simulation
US9786083B2 (en) 2011-10-07 2017-10-10 Dreamworks Animation L.L.C. Multipoint offset sampling deformation
KR101501137B1 (ko) * 2013-08-01 2015-03-11 한국항공우주산업 주식회사 헬리콥터 로터의 3d 모델 구현장치 및 그 처리방법
US9142022B2 (en) * 2013-10-11 2015-09-22 Intel Corporation 3D object tracking
US9418465B2 (en) * 2013-12-31 2016-08-16 Dreamworks Animation Llc Multipoint offset sampling deformation techniques
WO2015154008A1 (en) * 2014-04-04 2015-10-08 Massachusetts Institute Of Technology System and method for extracting dominant orientations from a scene
US9987749B2 (en) 2014-08-15 2018-06-05 University Of Central Florida Research Foundation, Inc. Control interface for robotic humanoid avatar system and related methods
US10860752B2 (en) 2015-08-25 2020-12-08 Dassault Systémes Americas Corp. Method and system for vision measure for digital human models
US11039762B2 (en) * 2015-11-13 2021-06-22 Innomotion Incorporation (Shanghai) Joint movement analysis system and method; knee-joint dynamic evaluation method and system
US10621384B2 (en) * 2015-12-09 2020-04-14 Dassault Systemes Americas Corp. Method and system of constraint-based optimization of digital human upper limb models
EP3552199A4 (en) * 2016-12-13 2020-06-24 Deepmotion, Inc. IMPROVED VIRTUAL REALITY SYSTEM USING MULTIPLE FORCE ASSEMBLIES FOR A SOLVER
JP7389032B2 (ja) 2017-12-14 2023-11-29 マジック リープ, インコーポレイテッド 仮想アバタのコンテキストベースのレンダリング
US10902618B2 (en) * 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
CN110334017B (zh) * 2019-06-18 2024-03-01 天航长鹰(江苏)科技有限公司 测试脚本的生成方法及相关装置
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
CN112535475B (zh) * 2020-11-24 2021-11-19 中国标准化研究院 基于刚性上臂模型的功能性肩关节旋转中心定位方法
WO2022241613A1 (zh) * 2021-05-17 2022-11-24 哈尔滨工业大学 基于ct图像的肘关节屈伸三维运动分析方法及装置
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4600919A (en) * 1982-08-03 1986-07-15 New York Institute Of Technology Three dimensional animation
US4797836A (en) * 1986-11-19 1989-01-10 The Grass Valley Group, Inc. Image orientation and animation using quaternions
US5483630A (en) * 1990-07-12 1996-01-09 Hitachi, Ltd. Method and apparatus for representing motion of multiple-jointed object, computer graphic apparatus, and robot controller
JP3179474B2 (ja) * 1990-11-28 2001-06-25 株式会社日立製作所 コンピュータグラフィックの表示方法及び情報処理装置
JPH06505817A (ja) * 1990-11-30 1994-06-30 ケンブリッジ アニメーション システムズ リミテッド 画像合成及び処理
US5623428A (en) * 1990-12-25 1997-04-22 Shukyohoji, Kongo Zen Sohozan Shoriji Method for developing computer animation
AU670311B2 (en) 1992-07-06 1996-07-11 Immersion Corporation Determination of kinematically constrained multi-articulated structures
US5427531A (en) 1992-10-20 1995-06-27 Schlumberger Technology Corporation Dynamic simulation of mechanisms
JPH0887609A (ja) * 1994-07-21 1996-04-02 Matsushita Electric Ind Co Ltd 画像処理装置
US5835693A (en) * 1994-07-22 1998-11-10 Lynch; James D. Interactive system for simulation and display of multi-body systems in three dimensions
US6115053A (en) * 1994-08-02 2000-09-05 New York University Computer animation method and system for synthesizing human-like gestures and actions
EP0712097A2 (en) * 1994-11-10 1996-05-15 Matsushita Electric Industrial Co., Ltd. Method and system for manipulating motion units for computer articulated figure animation
ES2177823T5 (es) * 1995-12-29 2006-08-16 Rhodia Engineering Plastics Srl Composicion que contiene una poliamida y procedimiento para su fabricacion.
US6414684B1 (en) * 1996-04-25 2002-07-02 Matsushita Electric Industrial Co., Ltd. Method for communicating and generating computer graphics animation data, and recording media
US5982389A (en) * 1996-06-17 1999-11-09 Microsoft Corporation Generating optimized motion transitions for computer animated objects
US5847716A (en) * 1996-07-31 1998-12-08 Silicon Graphics, Inc. Manipulation of graphic structures using inverse kinematics
US5889532A (en) * 1996-08-02 1999-03-30 Avid Technology, Inc. Control solutions for the resolution plane of inverse kinematic chains
US5912675A (en) * 1996-12-19 1999-06-15 Avid Technology, Inc. System and method using bounding volumes for assigning vertices of envelopes to skeleton elements in an animation system
US6400368B1 (en) * 1997-03-20 2002-06-04 Avid Technology, Inc. System and method for constructing and using generalized skeletons for animation models
US6057859A (en) * 1997-03-31 2000-05-02 Katrix, Inc. Limb coordination system for interactive computer animation of articulated characters with blended motion data
US6014150A (en) * 1997-08-01 2000-01-11 Avid Technology, Inc. System and method of defining and employing behaviors for articulated chains
US5990908A (en) * 1997-09-22 1999-11-23 Lamb & Company Method and apparatus for processing full motion computer animation
US5891060A (en) 1997-10-13 1999-04-06 Kinex Iha Corp. Method for evaluating a human joint
US6353437B1 (en) * 1998-05-29 2002-03-05 Avid Technology, Inc. Animation system and method for defining and using rule-based groups of objects
US6628286B1 (en) * 1999-10-08 2003-09-30 Nintendo Software Technology Corporation Method and apparatus for inserting external transformations into computer animations
JP4775989B2 (ja) * 2001-08-23 2011-09-21 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US6798416B2 (en) * 2002-07-17 2004-09-28 Kaydara, Inc. Generating animation data using multiple interpolation procedures
US8013852B2 (en) * 2002-08-02 2011-09-06 Honda Giken Kogyo Kabushiki Kaisha Anthropometry-based skeleton fitting
US7409322B2 (en) * 2003-06-26 2008-08-05 Honda Motor Co., Ltd. Mass set estimation for an object using variable geometric shapes

Also Published As

Publication number Publication date
WO2004097746A1 (en) 2004-11-11
JP2006524863A (ja) 2006-11-02
EP1618533A4 (en) 2010-07-21
US7333111B2 (en) 2008-02-19
EP1618533A1 (en) 2006-01-25
US20060061574A1 (en) 2006-03-23

Similar Documents

Publication Publication Date Title
JP4452272B2 (ja) 複雑な関節の動きをモデリングする関節構成要素フレームワーク
Kühnapfel et al. Endoscopic surgery training using virtual reality and deformable tissue simulation
US9330502B2 (en) Mixed reality simulation methods and systems
Wang et al. Multi-weight enveloping: least-squares approximation techniques for skin animation
Bodenheimer et al. The process of motion capture: Dealing with the data
JP4272621B2 (ja) 人体測定に基づく骨格フィッティング
Saito et al. Computational bodybuilding: Anatomically-based modeling of human bodies
Aristidou et al. Inverse kinematics: a review of existing techniques and introduction of a new fast iterative solver
Shao et al. A general joint component framework for realistic articulation in human characters
Lee et al. Spline joints for multibody dynamics
CN114173692A (zh) 用于推荐手术程序的参数的系统和方法
WO2023185703A1 (zh) 虚拟角色的动作控制方法、装置、设备和存储介质
Yasumuro et al. Three-dimensional modeling of the human hand with motion constraints
JPH0887609A (ja) 画像処理装置
Schleicher et al. BASH: Biomechanical Animated Skinned Human for Visualization of Kinematics and Muscle Activity.
Lemieux et al. Degrees of freedom coupling adapted to the upper limb of a digital human model
Lin et al. Dynamic volume texture mapping and model deformation for visually realistic surgical simulation
Radetzky et al. Elastodynamic shape modeling in virtual medicine
Yuan et al. Data-driven weight optimization for real-time mesh deformation
JP3209196B2 (ja) 多関節物体の表示方法及び表示装置
Preda et al. Advanced virtual humanoid animation framework based on the MPEG-4 SNHC standard
France et al. Implicit representations of the human intestines for surgery simulations
Ng-Thow-Hing Revisiting the Standard Joint Hierarchy
Tang et al. Can we reposition finite element human body model like dummies?
Nedel Anatomic modeling of human bodies using physically-based muscle simulation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090611

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20090715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090717

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091110

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140205

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees