JP6941934B2 - デジタルの人間の上肢モデルの制約ベースの最適化の方法およびシステム - Google Patents

デジタルの人間の上肢モデルの制約ベースの最適化の方法およびシステム Download PDF

Info

Publication number
JP6941934B2
JP6941934B2 JP2016234173A JP2016234173A JP6941934B2 JP 6941934 B2 JP6941934 B2 JP 6941934B2 JP 2016234173 A JP2016234173 A JP 2016234173A JP 2016234173 A JP2016234173 A JP 2016234173A JP 6941934 B2 JP6941934 B2 JP 6941934B2
Authority
JP
Japan
Prior art keywords
model
upper limb
data
humerus
clavicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016234173A
Other languages
English (en)
Other versions
JP2017107562A (ja
JP2017107562A5 (ja
Inventor
レミュー ピエール−オリヴィエ
レミュー ピエール−オリヴィエ
バーレ アルノー
バーレ アルノー
アイサウィ ラシッド
アイサウィ ラシッド
ヘイグマイスター ニコラ
ヘイグマイスター ニコラ
Original Assignee
ダッソー システムズ アメリカス コーポレイション
ダッソー システムズ アメリカス コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ダッソー システムズ アメリカス コーポレイション, ダッソー システムズ アメリカス コーポレイション filed Critical ダッソー システムズ アメリカス コーポレイション
Publication of JP2017107562A publication Critical patent/JP2017107562A/ja
Publication of JP2017107562A5 publication Critical patent/JP2017107562A5/ja
Application granted granted Critical
Publication of JP6941934B2 publication Critical patent/JP6941934B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/04Constraint-based CAD
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Description

仮想マネキンは、実際の人または物が自然にとり得る位置またはポーズをとるように操作され得る、コンピュータによって生成された実体(すなわち人または物)の画像である。本明細書で述べられる実施形態に対しては、実体は人体または人体の一部分であるが、述べられる概念は一般に他の実体、例えば動物または想像上の生き物にも応用され得る。
仮想マネキンは、4つの分節、つまり、鎖骨、上腕骨、前腕および手からなる簡略化された上肢運動連鎖を含むことができる。この運動連鎖は、ハンドル、ドリル、またはねじ回しなどの指定された目標物に関与するように、連鎖のエンドエフェクタ(すなわち手)が移動されることを可能にする例えば9つの自由度(DOF)を含み得る。
運動連鎖はまた、運動連鎖の各DOFに対する空間的限度に関して、可動域(ROM)を含み得る。人間の上肢をシミュレートするこの方法はロボットマニピュレータにおいて見られるものと同様であり、それに対しては冗長な運動連鎖の動きを制限するために、各DOFにおいて一定の下側および上側限度しか必要としない。
仮想マネキンは、エンドエフェクタを特定の目標物上に位置決めする、マネキンの構成(すなわち各DOFの値)を見出すために、逆運動学的(IK)姿勢エンジンをしばしば用いる。IK姿勢エンジンは解を見出すのに非常に効率的であるが、予測される姿勢はロバスト性が不足する。「ロバスト性の不足」とは、目標物のわずかな変位がDOF角度における突然の跳びに繋がり得るという事実を指し、これは結果として非現実的な人間の姿勢を生じ得る。
このロバスト性の不足は、少なくとも部分的に運動連鎖の冗長性による。運動連鎖冗長性とは、運動連鎖は同じエンドエフェクタ位置を達成するために、複数の方法に適応できるという事実を指す。冗長性は、エンドエフェクタ制約の数(この例に対しては手に対して3から6の間)に対する、DOFの多さ(この例では鎖骨から手まで9つのDOF)を理由として存在する。
人間の上肢の様々なDOFの間に、生理学的依存性が存在することが知られている。例えば上腕骨が、異なる仰角の平面において上げられたとき、鎖骨および肩甲骨分節は「肩リズム」として知られている再現可能な非線形の運動のパターンに従う。さらに空間における上腕骨の方向と、内部/外部上腕骨軸回転の限界との間に非線形の関係が存在する。
他の中でもこれらの生理学的依存性は、人間の上肢の複雑な生理学的性質を表し、これはロボットマニピュレータよりはるかに高度に複雑である。すべてのこれらの生理学的依存性を完全に統合することは、当技術分野で見られる従来の仮想マネキンには不足している。
したがって当技術分野で知られている仮想マネキンの上肢は、(1)運動連鎖における冗長性、(2)各DOFの間の依存性を考慮に入れない簡略化された運動連鎖、および(3)旧式のデータベースから生じるROMの簡略化および(時には)過小/過大推定が関わる。直接の結果は大きすぎる解空間であり、これは運動連鎖における望ましくない振動、および予測される姿勢の乏しいロバスト性に繋がり得る。
ユーザの観点から、従来の上肢モデルにより仮想マネキンに姿勢をとらせることは、挑戦を要する煩わしいタスクとなり得る。姿勢をとらせるタスクは、かなりの時間量を必要となる場合があり、結果としての姿勢の生体力学的分析のために使用可能な時間を減らす。さらにこのようなモデルでは、いくつかの姿勢は現実には達成することが不可能に思われ得ることを考えれば、予測される姿勢においてユーザはより低い信頼をもつ。
述べられる実施形態は、仮想マネキンの上肢部分をシミュレートするための従来技法に対するいくつかの改善をもたらす。例えば述べられる実施形態は、複数の情報源から収集された上肢生体力学に関する生体力学的情報を用いる。さらに述べられる実施形態は、上肢の運動学および各DOFのROMに関する特定の情報を用いる。
述べられる実施形態は、以下を課すことによって上肢運動連鎖冗長性の改善された管理を提案する:
1.鎖骨DOFを駆動する予め計算された生理学的リズム、および
2.鎖骨、上腕骨、および手首関節の生理学的ROMをシミュレートする円錐形のリーチコーン
述べられる実施形態の提案される上腕骨ROMは、推定される母集団の3つの異なる百分位数(すなわち5、50および95番目)をカバーし得る。一方、述べられる実施形態の提案される手首ROMは、互いに異なるリーチコーンを用いた4つの異なるタイプの手の開きをカバーし得る(すなわち完全に開かれたこぶし、小さな円筒(例えば25mm直径)を持った、大きな円筒(例えば50mm直径)を持った、および完全に閉じられたこぶし)。
スマート上肢モデルの利点は、鎖骨振動がないこと、および改善されたロバスト性を含み得る。これらの改善は、マネキンを位置決めするのに割り当てられる時間の割合を低減し、したがって姿勢分析に割り当てられる時間の割合を増加することに寄与することが予想される。
制約されたスマート上肢モデルの精度を、下側/上側限度制約のみを有するモデルと比較したとき、スマートモデルに対する解を見出すために、述べられる実施形態のIK姿勢エンジンによって必要な著しい追加の時間はなかった。そのより制約された性質(すなわち低減されたDOFの数および解空間)により、述べられる実施形態のモデルは、制約が少ない下側/上側限度モデルより性能が優れる。
1つの態様では本発明は、1または複数のデータセットに基づいて、変換されたデータを作成するように構成されたデータ変換エンジンを含んだ、仮想マネキンの上肢モデルである。各データセットは運動連鎖の要素間の依存性を表すことができる。上肢モデルはさらに、変換されたデータに基づいて1または複数の制約を生成するように構成された運動連鎖のモデル、および1または複数の制約に基づいて、第1の位置から第2の位置への軌道を決定するように構成された姿勢エンジンを含む。
一実施形態では運動学モデルはさらに、第2の姿勢に対応する姿勢をレンダリングするように構成されたレンダリングエンジンを含む。他の実施形態では運動学モデルの要素は、鎖骨、肩甲骨、上腕骨、前腕および手の1または複数を含む。
一実施形態では依存性は、運動学モデルの要素の少なくとも1つに関連付けられた1または複数の自由度に関係する。他の実施形態では、1または複数のデータセットは実験データを含む。他の実施形態では運動学モデルは、鎖骨−肩甲骨−上腕骨(CSH)モデル、および鎖骨−上腕骨(CH)モデルの少なくとも1つを含む。CSHモデルの上腕骨関節はCHモデルの上腕骨関節に接続することができ、CSHモデルの肘関節はCHモデルの肘関節に接続することができる。変換されたデータは、CHモデルの挙動を特性化するための入力として、CSHモデルにもたらされ得る。
一実施形態では1または複数の制約は、(i)鎖骨リズム係数、および(ii)運動学モデル要素に関連付けられたリーチコーンの少なくとも1つを含む。
他の実施形態では姿勢エンジンは、(i)各制約が強制されたことを検証すること、および(ii)解空間における探索方向を示す制約勾配を決定することの、1または複数を行うように構成された非線形ソルバを含む。
他の態様では本発明は、仮想マネキン上肢のエンドエフェクタ軌道を決定する方法であり、データ変換エンジンにより、1または複数のデータセットに基づいて変換されたデータを作成するステップを含む。各データセットは運動連鎖の要素間の依存性を表すことができる。方法はさらに、運動連鎖のモデルにより、変換されたデータに基づいて1または複数の制約を生成するステップを含む。方法はまた、姿勢エンジンにより、第1の位置から第2の位置へのエンドエフェクタ軌道を決定するステップを含む。エンドエフェクタ軌道は、1または複数の制約に基づいて決定され得る。
一実施形態はさらに、レンダリングエンジンを用いて、第2の姿勢に対応する姿勢をレンダリングするステップを含む。他の実施形態はさらに、実験データからデータセットを取得するステップを含む。
一実施形態では生成するステップはさらに、鎖骨−肩甲骨−上腕骨(CSH)モデル、および鎖骨−上腕骨(CH)モデルの少なくとも1つを実行するステップを含む。方法はさらに、CSHモデルの上腕骨関節をCHモデルの上腕骨関節に接続し、CSHモデルの肘関節をCHモデルの肘関節に接続するステップを含むことができる。方法はさらに、CHモデルの挙動を特性化するための入力として、変換されたデータをCSHモデルにもたらすステップを含むことができる。他の実施形態では1または複数の制約は、(i)鎖骨リズム係数、および(ii)運動学モデル要素に関連付けられたリーチコーンの少なくとも1つを含む。
一実施形態はさらに、非線形ソルバにより、(i)各制約が強制されたことの検証、および(ii)解空間内の探索方向を示す制約勾配の決定の、1または複数を行うステップを含む。
他の態様では本発明は、仮想マネキン上肢のエンドエフェクタ軌道を決定するための命令を記憶するように構成された非一時的コンピュータ可読媒体である。命令はプロセッサによってロードされ実行されたときにプロセッサに、データ変換エンジンにより、1または複数のデータセットに基づいて変換されたデータを作成させる。各データセットは運動連鎖の要素間の依存性を表すことができる。命令はさらにプロセッサに、運動連鎖のモデルを使用することにより、変換されたデータに基づいて1または複数の制約を生成させる。命令はさらにプロセッサに、姿勢エンジンを使用することにより、第1の位置から第2の位置へのエンドエフェクタ軌道を決定させる。エンドエフェクタ軌道は1または複数の制約に基づいて決定され得る。
一実施形態では、命令はさらにプロセッサに、レンダリングエンジンを用いて、第2の姿勢に対応する姿勢をレンダリングさせる。
上記は、異なる図にわたって類似の参照記号は同じ部分を指す添付の図面に示されるのに従って、以下の本発明の例示的実施形態のより具体的な説明から明らかになるであろう。図面は必ずしも原寸に比例して描かれておらず、代わりに本発明の実施形態を示すことに重点が置かれる。
本発明の1または複数の述べられる実施形態による、創造ステップの第1の段階を示す図である。 本発明による創造ステップの第2および第3の段階を示す図である。 本発明による例示のデータ変換プロセスのより詳しい説明を示す図である。 本発明による例示のCSHモデル運動学的データ変換プロセスのより詳しい説明を示す図である。 本発明による例示の上肢モデル(CSHからCH)運動学的伝達プロセスの詳しい説明を示す図である。 本発明による例示のCHモデル出力データ変換プロセスの詳しい説明を示す図である。 従来技術の上肢モデルによる例示の軌道経路を有するマネキンを示す図である。 本発明の1または複数の述べられる実施形態による例示の軌道経路を有するマネキンを示す図である。 図2Aの例に対応する様々なDOF角度を示す図である。 図2Bの例に対応する様々なDOF角度を示す図である。 本発明によるスマート上肢モデリングシステムの実施形態を示す図である。 図5で述べられ示される構成要素の1または複数を実施するために用いられ得るプロセッサシステムの一実施形態を示す図である。 本発明による、仮想マネキン上肢のエンドエフェクタ軌道を決定する方法の一実施形態を示す図である。
以下は本発明の例示的実施形態の説明である。
本明細書で引用されるすべての特許、公開された出願、および参考文献の教示は、それらの全体が参照により組み込まれる。
スマート上肢モデルは、可能な解の数を低減するために、生理学的制約を上肢の運動連鎖に適用する。そうするためにモデルは、鎖骨リズムおよび分節リーチコーンなど、これらの生理学的制約に関する情報を必要とする。これらの制約は、モデルの「創造」ステップ時に推定される。「適用」ステップ時に、これらの制約はさらに仮想マネキンの上肢部分に適用され、これは最適化ベースの逆運動学的(IK)姿勢エンジンによって駆動される。
創造ステップはさらに図1Aおよび1Bに示される3つの段階に分割される。図1Aに示される段階1の間に、様々な文献調査から実験データ102が収集され、またはデータベース106から取られる。次いでこのデータのいくつかは、段階2で2つの上肢モデル112(図1Bに示される)によって用いられるように、1または複数の変換プロセス108によって、都合のよい形110に変換される。図1Aから1Fまでの例示的実施形態は、以下に列挙される参考文献からの実験データを用いることができるが、他の実施形態は、以下の参考文献の代わりに、またはそれらのいくつかまたはすべてと共に、他の参考文献を用いることができる。
de Groot, J.H. and R. Brand, “A three−dimensional regression model of the shoulder rhythm,” Clin Biomech (Bristol, Avon), 2001. 16(9): p. 735−43.
Grewal, T.−J. and C.R. Dickerson, “A novel three−dimensional shoulder rhythm definition that includes overhead and axially rotated humeral postures,” Journal of biomechanics, 2013. 46(3): p. 608−611.
Inman, V.T., J.B. Saunders, and L.C. Abbott, “Observations of the function of the shoulder joint,” Clin Orthop Relat Res, 1944(330): p. 3−12.
Ludewig, P.M., et al., “Motion of the shoulder complex during multiplanar humeral elevation.” J Bone Joint Surg Am, 2009. 91(2): p. 378−89.
McClure, P.W., et al., “Direct 3−dimensional measurement of scapular kinematics during dynamic movements in vivo” J Shoulder Elbow Surg, 2001. 10(3): p. 269−77.
Wang, X., et al., “Three−dimensional modelling of the motion range of axial rotation of the upper arm,” J Biomech, 1998. 31(10): p. 899−908.
Delfs, N., “Manikin in Time; Development of the Virtual Manikin with External Root and Improved Inverse Kinematics, in Mathematical Sciences,” 2012, University of Gothenburg: Gothenburg. p. 40.
Christiensen, J.M. and J.W. McBarron, “Man−Systems Integration Standards,” (NASA−STD−3000), N.A.a.S. Administration, Editor. 1989, National Aeronautics and Space Administration: Houston, TX, USA.
Diffrient, N., A. Tilley, and D. Harman, “Humanscale 7/8/9,” 1981, Massachusetts Institute of Technology: Cambridge, MA. p. 52.
Engin, A.E. and S.M. Chen, “Statistical data base for the biomechanical properties of the human shoulder complex−−I: Kinematics of the shoulder complex,” J Biomech Eng, 1986. 108(3): p. 215−21.
Tumer, S.T. and A.E. Engin, “Three−dimensional kinematic modelling of the human shoulder complex−−Part II: Mathematical modelling and solution via optimization,” J Biomech Eng, 1989. 111(2): p. 113−21.
Gehrmann, S.V., R.A. Kaufmann, and Z.M. Li, “Wrist circumduction reduced by finger constraints,” J Hand Surg Am, 2008. 33(8): p. 1287−92.
Edelsbrunner, H., D. Kirkpatrick, and R. Seidel, “On the shape of a set of points in the plane,” Information Theory, IEEE Transactions on, 1983. 29(4): p. 551−559.
Engin, A.E. and S.M. Chen, “Statistical data base for the biomechanical properties of the human shoulder complex−−II: Passive resistive properties beyond the shoulder complex sinus,” J Biomech Eng, 1986. 108(3): p. 222−7.
Maurel, W., “3d modeling of the human upper limb including the biomechanics of joints, muscles and soft tissues, in Informatique,” 1999, Ecole Polytechnique Federale de Lausanne (EPFL): Lausanne, Suisse. p. 204.
Veeger, H.E.J. and B. Yu., “Orientation of axes in the elbow and forearm for biomechanical modelling,” in Biomedical Engineering Conference, 1996., Proceedings of the 1996 Fifteenth Southern. 1996.
Wilhelms, J. and A. Van Gelder, “Fast and easy reach−cone joint limits,” J. Graph. Tools, 2002. 6(2): p. 27−41.
Doody, S.G., L. Freedman, and J.C. Waterland, “Shoulder movements during abduction in the scapular plane,” Arch Phys Med Rehabil, 1970. 51(10): p. 595−604.
Poppen, N.K. and P.S. Walker, “Normal and abnormal motion of the shoulder,” J Bone Joint Surg Am, 1976. 58(2): p. 195−201.
Bagg, S.D. and W.J. Forrest, “A biomechanical analysis of scapular rotation during arm abduction in the scapular plane,” Am J Phys Med Rehabil, 1988. 67(6): p. 238−45.
Johnson, G.R., P.R. Stuart, and S. Mitchell, “A method for the measurement of three−dimensional scapular movement,” Clin Biomech (Bristol, Avon), 1993. 8(5): p. 269−73.
McQuade, K.J. and G.L. Smidt, “Dynamic scapulohumeral rhythm: the effects of external resistance during elevation of the arm in the scapular plane,” J Orthop Sports Phys Ther, 1998. 27(2): p. 125−33.
van der Helm, F.C. and G.M. Pronk, “Three−dimensional recording and description of motions of the shoulder mechanism,” J Biomech Eng, 1995. 117(1): p. 27−40.
Ludewig, P.M., T.M. Cook, and D.A. Nawoczenski, “Three−dimensional scapular orientation and muscle activity at selected positions of humeral elevation,” J Orthop Sports Phys Ther, 1996. 24(2): p. 57−65.
Meskers, C.G.M., et al., “3D shoulder position measurements using a six−degree−of−freedom electromagnetic tracking device. Clinical Biomechanics, 1998,” 13(4−5): p. 280−292.
Wu, G., van der Helm, F. C. T., Veeger, H. E. J., Makhsous, M., Van Roy, P., Anglin, C., . . . Buchholz, B., “ISB recommendation on definitions of joint coordinate systems of various joints for the reporting of human joint motion−Part II: shoulder, elbow, wrist and hand. Journal of Biomechanics,” 38(5), 981−992, 2005 (doi:http://dx.doi.org/10.1016/j.jbiomech.2004.05.042).
図1Cは本発明の実施形態による、例示のデータ変換プロセス108、Ludewigの運動学的データ変換プロセスのより詳しい説明をもたらす。図1Dは本発明の実施形態による、もう1つの例示のデータ変換プロセス108、CSHモデル運動学的データ変換プロセスのより詳しい説明をもたらす。図1CのLudewigの変換プロセスは、Ludewigら2009年の実験データにより、CSHモデルを駆動することを可能にする。このデータは、15から135度の仰角(正面、肩甲骨、および矢状方向面)の多面仰角を表す。
CSHモデルは、9つの真の自由度(DOF)、および肩甲骨と胸部の間のすべり面制約を有する、3つの球状関節からなる閉ループモデルである。局部座標系およびDOFは、Wuら(2005年)の規約を順守する。鎖骨および上腕骨の長軸は動くのが自由である(2つのDOFで表される)が、軸回転(すなわち第3のDOF)は、プロセスにおいて有用でなかったので、運動学的制約によりゼロ度において阻止される。このプロセスの出力は、Ludewigら2009年の、仰角の3つの互いに異なる平面に対するCSHモデルの各DOFの角度値であった。
プロセスの終了においてこれらの値は、肩甲骨−胸部すべり面運動学的制約の適用により、Ludewigのデータとわずかに異なる。その制約に対して、胸部の特有の部分は楕円面によってシミュレートされ、一方、肩甲骨の特有の部分はその面上の関連のある位置での接触ノードによりシミュレートされる。
図1DのCSHモデル運動学的データ変換プロセスは、図1Cに示される変換プロセスからの出力データを、2つの他の実験データセット(すなわち上腕骨長軸リーチコーン(Enginら1986年)、および軸回転限界(Wangら1998年))と共に用いることを可能にする。独立および従属変数の間の、様々な非線形回帰が計算される。2つの独立変数は胸部−上腕骨(TH)仰角面、および上腕の仰角であり、一方、従属変数は鎖骨、肩甲骨のDOF、ならびに上腕骨の第3のDOF(すなわち軸回転)の下側および上側限界であった。第1に、Ludewigの実験データの様々な仰角面の間の薄板スプライン内挿が行われる。その後に対応するデータと、Enginら1986年の上腕骨長軸外部リーチコーン実験データとの間の外挿が行われた。その後に一定の所定の限界を超えた角度値は、それらの限界にクランプされた。これらの限界は、鎖骨および肩甲骨DOFのそれぞれに対するROM推定の様々な実験調査のあらかじめの注意深い考察から得られた。最後に、3次の直接多項式回帰を用いて、独立および従属変数の間の回帰係数が得られた。このプロセスは、CSHモデルの各分節の生理学的動きを保証しながら、肩の全可動域(ROM)を掃引することを可能にした。このプロセスの出力は、掃引プロセスの各離散点に対するCSHモデルの各DOFの角度であった。
第1のモデルは「鎖骨−肩甲骨−上腕骨」(CSH)閉ループ運動学モデルであり、段階1からの変換された実験データにより直接駆動される。第2のモデルは「鎖骨−上腕骨」(CH)開ループモデルであり、それらのそれぞれの上腕骨および肘関節を接続することによってCSHモデルによって間接駆動される。このCSHモデルとCHモデルの間の変換は、述べられる実施形態が、仮想マネキンの上肢に適用され得るデータを得ることを可能にし、これは通常は肩甲骨なしの4分節モデルとして簡略化される。例示の上肢モデル対上肢モデル(CSHからCH)運動学的伝達プロセス112の詳しい説明は、図1Eに示される。このプロセスは、ROM掃引運動をCSHモデルからCHモデルに伝達するために、CSHモデルと簡略化されたCHモデルとの間の結合(すなわち運動学的伝達)を行うことを可能にする。両方のモデルは、異なる運動学的構成を有した。両方のモデルの構成は、ブロック内に示される。CSHモデルでのように、CHモデルの鎖骨の軸回転(すなわち第3のDOF)は、それはプロセスにおいて有用でなかったので、運動学的制約によりゼロ度にて阻止される。CHモデルは、それらの共通の関節(すなわち関節窩上腕および肘)の2つにおいてCSHモデルに結合された。結合は、これらの関節のXYZ位置の間の直接対応の形を有した。このプロセスの3つの第1の出力は、掃引プロセスの各離散点に対するCHモデル(すなわち鎖骨および上腕骨)のすべてのDOFの角度値であった。さらに手首リーチコーンの4つの異なるバージョンが、Gehrmannら2008年の研究から抽出された。これらの異なるコーンは、4つの異なる手の開き(閉じられたこぶし、25および50cm円筒を持った、および完全に広げられた手)に対応する。これらのコーンは、CSHおよびCHモデルの肩部分に干渉しなかった。しかしそれらはここでは、前腕および手モデル運動学的構成と共に示される。これは仮想マネキンの上肢全体に対する前腕および手の運動学的構成、および手首コーンが接続されたところの理解を可能にする。
段階3ではCHモデルの運動学が得られた後に、CHモデル出力データ変換プロセス114により、鎖骨リズム係数、および鎖骨、上腕骨、および手首のリーチコーンが推定される。この情報はさらに、最適化ベースのIKエンジンに供給するために、(i)線形等式、(ii)線形不等式,(iii)非線形等式,および(iv)非線形不等式の1または複数によって制約として表される。図1Fは、本発明の実施形態による、例示のCHモデル出力データ変換プロセス114のより詳しい説明をもたらす。このプロセスは、非線形最適化ソルバを生理学的なやり方で制約するために、図1Eに示される上肢モデル112からのCHモデル出力データを、都合のよい制約係数に変換することを可能にする。独立および従属変数の間の、様々な非線形回帰が計算される。2つの独立変数は関節窩上腕(GH)関節の最初の2つのDOF(すなわち仰角面および仰角)であり、従属変数は鎖骨の2つのDOF、および上腕骨の第3のDOF(すなわち軸回転)の下側および上側限界のそれぞれである。
2つのタイプの制約が導き出される:1)鎖骨リズム、および2)鎖骨および上腕骨に対するリーチコーンである。鎖骨リズムは、2つの独立の上腕骨変数の動きを、鎖骨の2つのDOFのそれぞれに結合した。一方、リーチコーンは、ROM掃引の境界のみを考慮しながら、鎖骨および上腕骨分節のそれぞれの長手方向軸の円錐形の限界を確立する。最適化ソルバに供給するために、様々な出力が生成された。第1に、その2つのDOF(延長および仰角)のそれぞれに課された鎖骨リズム回帰から制約係数(pij)が、取り出され、さらに非線形等式として表される(ceq=0)。さらに各リーチコーン(すなわち鎖骨、上腕骨、および手首)は、線形不等式のセット(Ax≦b)に変換され、これはコーンの内部領域を表す。最後に上腕骨第3のDOF限界(すなわち内部回転)の回帰係数(pij)が取り出され、さらにそれらの限界に課された非線形不等式(c=0)を表す。
最適化ベースのIKエンジンは、スマート上肢制約をオンデマンドで含む。手のエフェクタが目標物に到達するように活動化された場合は、姿勢エンジンは、解くべき問題におけるスマート上肢制約を含めるように構成される。これらの制約(図1Bの「データ出力」のボックスを参照)は、上肢の非生理学的姿勢を捨てることによって解空間を低減する。
内部的に、姿勢エンジンによって用いられる非線形ソルバは、2つの異なるレベルでの制約を含む。第1にそれは、各制約が守られ適用されていることを検証する。その後に、解空間における探索方向を決定するために、関連付けられた制約勾配(有効化されたマネキン関節DOFに関する制約の偏導関数)が用いられる。最終的に最適解が見出されたときは、姿勢エンジンはそれをマネキンのDOFに割り当てる。次いで最終の姿勢がユーザに表示される。
述べられる実施形態の独特な態様は、2つの上肢モデルを異なる構成(すなわちCSHおよびCH)により一緒に結合することである。この結合は述べられる実施形態が、実際の肩構成(すなわちCSH)において実験的に測定されたリーチコーンおよびリズムを、簡略化されたCH構成に専用化されたリーチコーンおよびリズムに変換することを可能にする。したがって述べられる実施形態は、現実的な生理学的制約を、文献の多くの仮想マネキンによって依然として用いられるCHモデルに適用する。
述べられる実施形態の上肢モデルは、下側/上側一定DOF限度のみを有する上肢モデルに対して、向上されたロバスト性を示す。このロバスト性は、運動連鎖の挙動に密接に関係する。
いくつかの実施形態において、および再び図1Aおよび1Bを参照すると、変換されたデータ110を作成するためのデータ変換は、結果としての変換されたデータが次いで上肢モデル112によって繰り返し用いられ得るように、1回行われる。他の実施形態ではデータ変換は、上肢モデル112の1または複数の実行に対して行われる。
図2Aおよび2Bに示される例では、垂直軌道202は骨盤の下から頭部の上まで、マネキンのわずかに前方および右に位置する。図2Aは従来の上肢モデルに対して課される軌道を示し、図2Bは述べられる実施形態による上肢モデルに対して課される軌道を示す。図2Aおよび2Bのそれぞれにおいて、前腕は文字「F」で識別され、上腕骨は文字「H」で識別され、および鎖骨は文字「C」で識別される。図2Bに対してはまた、鎖骨および上腕骨リーチコーン204、および手首リーチコーン206が示される。
運動連鎖のロバスト性は、垂直軌道タスクの間に、鎖骨、上腕骨、および前腕の様々なDOFを監視することによって定量化され得る。この例に対してタスクは、軌道202の下端において開始し終了する。完全なロバスト性は、上昇曲線が下降曲線と同一である、突然の変化がない滑らかなDOF曲線によって特性化され得る。
下側/上側一定DOF限度のみを有する図2Aの上肢モデルに対するDOF角度は、図3に示される。タスクの上昇および下降部分の間で、特にグラフ302に示される鎖骨仰角に対して、DOF角度においてかなりの差異がある。また垂直変位の800mm近くの鎖骨仰角に対して示される変化304など、DOF角度における突然の変化がある。これらの結果は、従来の上肢モデルはロバスト性の不足の影響を受けることを示唆する。
述べられる実施形態のスマート上肢モデルに対する結果は、図4に示される。タスクの上昇および下降部分のDOF角度の間にはわずかな差異があるのみで、各グラフに示されるように2つの部分はほぼ同一である。さらに図4に示される述べられる実施形態によるモデルは、図3における変化304などのDOF角度の突然の変化は示さない。これらの推定は、非線形リズムを鎖骨DOFに適用する直接の結果であり、これはその回転を、生理学的なやり方で上腕骨のそれらに従うことを強制する。これらの結果は、下側/上側一定DOF限度のみを有するモデルと比べたときに、述べられる実施形態のスマート上肢モデルに対するロバスト性はかなり高いことを示す一助となる。
図5は、本発明によるスマート上肢モデリングシステム500の実施形態を示す。データ変換エンジン502は、そのそれぞれが運動連鎖の要素間の依存性を表す1または複数のデータセット504を受け取り、図1A〜1Fで上述されたプロセス、および/または図7に以下で示される方法700を用いて、変換されたデータ506の1または複数のセットを作成する。
運動連鎖モデル508は、変換されたデータ506に基づいて1または複数の制約510を生成する。姿勢エンジン512は、制約510に基づいて、上肢に関連付けられた軌道情報514を生成する。
一実施形態ではレンダリングエンジン516は表示データ518を生成し、これはディスプレイ構成要素520にもたらされる。
データ変換エンジン502、運動連鎖モデル508、姿勢エンジン512、およびレンダリングエンジン516は、プロセッサによって実行されるソフトウェアまたはファームウェアコードにより、ハードウェアベース状態機械もしくは特定用途向け集積回路(ASIC)などの他のハードウェアベース構成要素により、またはハードウェア実装形態およびソフトウェア実装形態の組合せにより実施され得る。
図6は、図5で述べられ示される構成要素の1または複数を実施するために用いられ得る、プロセッサシステム602の一実施形態を示す。プロセッサシステム602は、バス606に電気的に結合されたプロセッサ要素604を含む。プロセッサ604は、バス606を通してメモリ要素608からのデータおよび命令コードにアクセスする。システム602はさらに、バス606を通してまたは他の通信経路を直接通して、プロセッサシステム602の他の要素に接続された、様々なサポート電子回路610を含む。システム602はまた、様々なユーザI/Oデバイス(例えばキーボード、マウスなど)と通信するためのユーザI/Oインターフェース、ディスプレイと通信するためにディスプレイインターフェース614、およびネットワーク(例えばLAN、WANまたはインターネット)を通して外部エンティティと通信するための通信インターフェース616を含む。動作時にプロセッサシステム602は、プロセッサ要素604、ならびにメモリ要素608に記憶されたデータおよび命令コードによって、図1A〜1Fにおいて上述された変換プロセス、および/または図7に以下で示される方法のステップを行う。
図7は本発明による、仮想マネキン上肢のエンドエフェクタ軌道を決定する方法700の一実施形態を示す。仮想マネキン上肢のエンドエフェクタ軌道を決定する要求を受け取るステップ702の後すぐに、実施形態はデータ変換エンジンにより、1または複数のデータセットに基づいて変換されたデータを作成するステップ704を含むことができる。各データセットは運動連鎖の要素間の依存性を表す。実施形態はさらに運動連鎖のモデルにより、変換されたデータに基づいて1または複数の制約を生成するステップ706を含むことができる。実施形態はさらに姿勢エンジンにより、第1の位置から第2の位置へのエンドエフェクタ軌道を決定するステップ708を含むことができる。エンドエフェクタ軌道は、1または複数の制約に基づいて決定され得る。実施形態はさらにレンダリングエンジンを用いて、第2の姿勢に対応する姿勢をレンダリングするステップ710を含むことができる。
本明細書で述べられた1または複数の実施形態は、ソフトウェアおよびハードウェアの多くの異なる形で実施され得ることが明らかになるであろう。本明細書で述べられた実施形態を実施するために用いられるソフトウェアコードおよび/または専門のハードウェアは、本明細書で述べられた本発明の実施形態に限定されない。したがって実施形態の動作および挙動は、特定のソフトウェアコードおよび/または専門のハードウェアに言及せずに述べられ、本明細書での説明に基づいて、実施形態を実施するためのソフトウェアおよび/またはハードウェアを設計でき得ることが理解される。
さらに本明細書で述べられた例示的実施形態のいくつかの実施形態は、1または複数の機能を行うロジックとして実施され得る。このロジックはハードウェアベース、ソフトウェアベース、またはハードウェアベースとソフトウェアベースの組合せとすることができる。ロジックのいくつかまたはすべては、1または複数の有形の、非一時的、コンピュータ可読記憶媒体に記憶することができ、コントローラまたはプロセッサによって実行され得るコンピュータ実行可能命令を含むことができる。コンピュータ実行可能命令は、本発明の1または複数の実施形態を実施する命令を含むことができる。有形の、非一時的、コンピュータ可読記憶媒体は、揮発性または不揮発性とすることができ、例えばフラッシュメモリ、ダイナミックメモリ、リムーバブルディスク、および非リムーバブルディスクを含むことができる。
本発明はその例示的実施形態を参照して具体的に示され述べられたが、当業者には、添付の特許請求の範囲によって包含される本発明の範囲から逸脱せずに、形および詳細において様々な変更がなされ得ることが理解されるであろう。

Claims (15)

  1. 仮想マネキンの上肢をモデリングするためのコンピューター実装の上肢モデリングシステムであって、
    プロセッサと、
    コンピュータコード命令が記憶されたメモリであって、前記メモリは、前記プロセッサに動作可能に結合され、前記コンピュータコード命令は、前記プロセッサに、
    または複数のデータセットに基づいて、変換されたデータを作成するように構成されたデータ変換エンジンであって、各データセットは運動の連鎖の要素の間における依存性を表し、前記データ変換エンジンは、前記1つまたは複数のデータセットに肩甲骨−胸部すべり面運動学的制約を適用するようにさらに構成された、データ変換エンジンと、
    前記変換されたデータに基づいて2つ以上の制約を生成するように構成された前記運動連鎖モデルであって、前記2つ以上の制約は、(i)鎖骨リズムと、(ii)鎖骨および上腕骨に対するリーチコーンとの両方を含む、モデルと、
    前記2つ以上の制約に基づいて、第1の位置から第2の位置への手のエフェクタの軌道を決定するように構成された姿勢エンジンと
    前記手のエフェクタの前記第2の位置に対応する姿勢の表示データをレンダリングし、ディスプレイデバイスに前記表示データを提供するように構成されたレンダリングエンジンと
    を実行させる、メモリと
    を備えることを特徴とするコンピューター実装の上肢モデリングシステム。
  2. 前記運動モデルの前記要素は、鎖骨、肩甲骨、上腕骨、前腕および手の1または複数を含むことを特徴とする請求項1に記載のコンピューター実装の上肢モデリングシステム。
  3. 前記依存性は、前記運動モデルの前記要素の少なくとも1つに関連付けられた1または複数の自由度に関係することを特徴とする請求項1に記載のコンピューター実装の上肢モデリングシステム。
  4. 前記1または複数のデータセットは、実験データを含むことを特徴とする請求項1に記載のコンピューター実装の上肢モデリングシステム。
  5. 前記運動モデルは、鎖骨−肩甲骨−上腕骨(CSH)モデル、および鎖骨−上腕骨(CH)モデルの少なくとも1つを含むことを特徴とする請求項1に記載のコンピューター実装の上肢モデリングシステム。
  6. 前記CSHモデルの上腕骨の関節は前記CHモデルの上腕骨の関節に接続され、前記CSHモデルの肘関節は前記CHモデルの肘関節に接続されることを特徴とする請求項に記載のコンピューター実装の上肢モデリングシステム。
  7. 前記変換されたデータは、前記CHモデルの挙動を特性化するための入力として、前記CSHモデルにもたらされることを特徴とする請求項に記載のコンピューター実装の上肢モデリングシステム。
  8. 前記姿勢エンジンは、(i)各制約が強制されたことを検証すること、および(ii)解空間における探索方向を示す制約勾配を決定することの、1または複数を行うように構成された非線形ソルバを含むことを特徴とする請求項1に記載のコンピューター実装の上肢モデリングシステム。
  9. 仮想マネキン上肢のエンドエフェクタ軌道を決定する方法であって、
    データ変換エンジンによって、または複数のデータセットに基づいて、変換されたデータを作成するステップであって、各データセットは運動連鎖の要素間の依存性を表す、ステップと、
    前記データ変換エンジンによって、記1つまたは複数のデータセットに肩甲骨−胸部すべり面運動学的制約を適用するステップと、
    運動連鎖のモデルによって、前記変換されたデータに基づいて2つ以上の制約を生成するステップであって、前記2つ以上の制約は、(i)鎖骨リズムと、(ii)鎖骨および上腕骨に対するリーチコーンとの両方を含む、ステップと、
    姿勢エンジンによって、第1の位置から第2の位置への前記エンドエフェクタ軌道を決定するステップであって、前記エンドエフェクタ軌道は前記2つ以上の制約に基づいて決定される、ステップと
    レンダリングエンジンを使用して、前記エンドエフェクタの前記第2の位置に対応する姿勢の表示データをレンダリングし、ディスプレイデバイスに前記表示データを提供するステップと
    を含むことを特徴とする方法。
  10. 実験データから前記データセットを取得するステップをさらに含むことを特徴とする請求項に記載の方法。
  11. 前記生成するステップは、鎖骨−肩甲骨−上腕骨(CSH)モデル、および鎖骨−上腕骨(CH)モデルの少なくとも1つを実行するステップをさらに含むことを特徴とする請求項に記載の方法。
  12. 前記CSHモデルの上腕骨の関節を前記CHモデルの上腕骨の関節に接続し、前記CSHモデルの肘関節を前記CHモデルの肘関節に接続するステップをさらに含むことを特徴とする請求項11に記載の方法。
  13. 前記CHモデルの挙動を特性化するための入力として、前記変換されたデータを前記CSHモデルにもたらすステップをさらに含むことを特徴とする請求項11に記載の方法。
  14. 非線形ソルバにより、(i)各制約が強制されたことの検証、および(ii)解空間内の探索方向を示す制約勾配の決定の、1または複数を行うステップをさらに含むこと特徴とする請求項に記載の方法。
  15. 仮想マネキン上肢のエンドエフェクタの軌道を決定するための命令を格納するように構成された非一時的なコンピューター読み取り可能な媒体であって、前記命令は、プロセッサによってロードされ実行されると、前記プロセッサに請求項ないし14のいずれか一項に記載の方法を実行させることを特徴とする非一時的なコンピューター読み取り可能な媒体。
JP2016234173A 2015-12-09 2016-12-01 デジタルの人間の上肢モデルの制約ベースの最適化の方法およびシステム Active JP6941934B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/963,679 2015-12-09
US14/963,679 US10621384B2 (en) 2015-12-09 2015-12-09 Method and system of constraint-based optimization of digital human upper limb models

Publications (3)

Publication Number Publication Date
JP2017107562A JP2017107562A (ja) 2017-06-15
JP2017107562A5 JP2017107562A5 (ja) 2019-11-21
JP6941934B2 true JP6941934B2 (ja) 2021-09-29

Family

ID=57714346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016234173A Active JP6941934B2 (ja) 2015-12-09 2016-12-01 デジタルの人間の上肢モデルの制約ベースの最適化の方法およびシステム

Country Status (4)

Country Link
US (1) US10621384B2 (ja)
EP (1) EP3179394A1 (ja)
JP (1) JP6941934B2 (ja)
CN (1) CN107038274B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860752B2 (en) 2015-08-25 2020-12-08 Dassault Systémes Americas Corp. Method and system for vision measure for digital human models
EP3324366A1 (en) 2016-11-22 2018-05-23 Dassault Systèmes Computer-implemented method for simulating a body taking a posture
EP3324365A1 (en) * 2016-11-22 2018-05-23 Dassault Systèmes Computer-implemented method for simulating a body taking a posture, in particular to look at a target
CN109522574B (zh) * 2017-09-19 2023-06-16 广州中医药大学第一附属医院 前臂曲面模型的构建方法以及前臂固定支具
US11062520B2 (en) * 2019-09-09 2021-07-13 Ford Global Technologies, Llc Ergonomic assessment using a wearable device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3413383B2 (ja) 2000-02-17 2003-06-03 株式会社ナムコ ゲームシステム及び情報記憶媒体
US7333111B2 (en) * 2003-04-25 2008-02-19 Honda Giken Kogyo Kabushiki Kaisha Joint component framework for modeling complex joint behavior
US7259764B2 (en) * 2003-05-14 2007-08-21 Pixar Defrobulated angles for character joint representation
US20100030532A1 (en) * 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
US9305390B2 (en) 2009-02-24 2016-04-05 Textron Innovations Inc. System and method for mapping two-dimensional image data to a three-dimensional faceted model
US20120276509A1 (en) * 2010-10-29 2012-11-01 The Cleveland Clinic Foundation System of preoperative planning and provision of patient-specific surgical aids
EP2796249B1 (en) * 2011-09-28 2015-12-30 Universal Robots A/S Programming of robots
US20140287389A1 (en) * 2013-03-14 2014-09-25 The Regents Of The University Of California Systems and methods for real-time adaptive therapy and rehabilitation
CN103824326B (zh) * 2014-03-05 2017-04-26 北京工业大学 一种动态的人体三维建模方法
US10860752B2 (en) 2015-08-25 2020-12-08 Dassault Systémes Americas Corp. Method and system for vision measure for digital human models

Also Published As

Publication number Publication date
JP2017107562A (ja) 2017-06-15
US20170169138A1 (en) 2017-06-15
CN107038274B (zh) 2022-05-27
EP3179394A1 (en) 2017-06-14
CN107038274A (zh) 2017-08-11
US10621384B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
JP6941934B2 (ja) デジタルの人間の上肢モデルの制約ベースの最適化の方法およびシステム
Borst et al. Realistic virtual grasping
Aristidou et al. Inverse kinematics: a review of existing techniques and introduction of a new fast iterative solver
Abdel-Malek et al. Towards a new generation of virtual humans
Lee Full-body imitation of human motions with kinect and heterogeneous kinematic structure of humanoid robot
Unzueta et al. Full-body performance animation with sequential inverse kinematics
US20100030532A1 (en) System and methods for digital human model prediction and simulation
Borst et al. A spring model for whole-hand virtual grasping
Hansen et al. Design-validation of a hand exoskeleton using musculoskeletal modeling
Davoudabadi Farahani et al. Optimization-based dynamic prediction of kinematic and kinetic patterns for a human vertical jump from a squatting position
Hiley et al. Investigating optimal technique in a noisy environment: application to the upstart on uneven bars
US10482647B2 (en) Computer-implemented method for simulating a body taking a posture
Quental et al. A window moving inverse dynamics optimization for biomechanics of motion
Głowiński et al. Design of motion trajectory of an arm exoskeleton
Lemieux et al. Degrees of freedom coupling adapted to the upper limb of a digital human model
Molla et al. Singularity free parametrization of human limbs
Yoshiyasu et al. Forward dynamics simulation of human figures on assistive devices using geometric skin deformation model
US11620416B2 (en) Systems and methods for determining digital model positioning for grasping
Zhang et al. Real-time human motion capture with simple marker sets and monocular video
Niyetkaliyev et al. Modelling of the human shoulder girdle as a 6-4 parallel mechanism with a moving scapulothoracic joint
Tsai et al. Two-phase optimized inverse kinematics for motion replication of real human models
Molet et al. An architecture for immersive evaluation of complex human tasks
Kawaguchi et al. Database-driven grasp synthesis and ergonomic assessment for handheld product design
Nanayakkara et al. Kinematic analysis of the human thumb with foldable palm
Battaglia et al. chand: Open source hand posture visualization in chai3d

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210907

R150 Certificate of patent or registration of utility model

Ref document number: 6941934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150