JP7202022B2 - ３次元モデル生成方法、３次元モデル生成装置、及び３次元モデル生成プログラム - Google Patents

Description

本発明は、関節を構成する骨及び軟骨の３次元モデルを生成する技術に関する。

人間の身体を構成する複数の関節の各々は、複数の骨同士を連結することにより構成されている。これらの複数の骨の周囲には、それぞれの端部がいずれかの骨に接合された複数の筋肉が配置されている。人間は、これらの複数の筋肉を収縮させることによって、一方の骨に対する他方の骨の相対的な位置を、意図的に固定したり、任意に変化させたりすることができる。人間は、各関節を協調させながら制御することによって、様々な運動を行うことができる。

このように複数の骨同士を連結することにより構成された関節には、運動の種類に応じて多かれ少なかれ負荷が掛かる。このように負荷が掛かった状態でも関節がスムースに動くことができるように、２つの骨が互いに近接する各々の端面には、それぞれ、層状の関節軟骨が形成されている。一方の骨の端面に形成されている関節軟骨を第１の関節軟骨とし、他方の骨の端面に形成されている関節軟骨を第２の関節軟骨とする。関節軟骨が形成されている端面は、骨の端部の表面であったり、骨の一部に設けられた臼部（関節窩）の内壁面であったりする。

このような関節軟骨が形成されていることによって、関節に負荷が掛かった状態であっても、人間は、関節をスムースに動かすことができる。ところが、運動に伴う負荷の強度や、その負荷の掛かる方向や、その運動を続けた期間などによっては、関節軟骨及び軟骨下骨が損傷を受ける場合がある。これらの損傷は、関節内骨軟骨病変と呼ばれる。

関節内骨軟骨病変は、直接命に関わる症状ではないものの、生活の質を低下させる大きな要因となる。また、通称野球肘と呼ばれる症状のように、その患者の大半が成長期にある若年層である場合も多い。したがって、関節内骨軟骨病変を治療する場合には、その関節の機能を最大限温存することを念頭に治療方針が作成され、その前提として、関節内骨軟骨病変の状態を適切に評価することが求められる。治療方針には、手術の要否の判断や、手術を実施すべき場合には最適な術式の選択などが含まれ、これらの治療方針は、関節内骨軟骨病変の進行度に応じて大きく異なるためである。

日本国公開特許公報「特開２０１４－６４９５７号公報（２０１４年４月１７日公開）」

関節内骨軟骨病変を評価する方法として、例えば、ＣＴ（Computed Tomography：コンピュータ断層撮影）法や、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像）法が挙げられる。以下では、ＣＴ法を用いて生体の断面を表す複数の断面画像の画像データセットを生成する装置のことをＣＴ装置と称し、ＭＲＩ法を用いて生体の断面を表す複数の断面画像の画像データセットを生成する装置のことをＭＲＩ装置と称する。

ＣＴ法は、Ｘ線を用いるため、ＭＲＩ法と比較して、骨を明瞭に描画可能だが、軟骨、筋肉等の組織を明瞭に描画することが難しい。一方、ＭＲＩ法は、水分子を共鳴させることができる周波数帯域の電磁波を用いるため、ＣＴ法と比較して、軟骨や筋肉などの組織を明瞭に描画可能だが、骨を明瞭に描画することが難しい。以上のように、ＣＴ法と、ＭＲＩ法とは、明瞭に描画可能な組織が異なるため、互いに相補的な技術である。

そこで、これらの技術を組み合わせて、３次元モデルを生成する技術が提案されている。例えば、特許文献１には、同じ臓器に関して取得した、ＣＴ装置を用いて生成した複数の断面画像（ＣＴ画像と称する）の画像データセットと、ＭＲＩ装置を用いて生成した複数の断面画像（ＭＲＩ画像と称する）の画像データセットとを用いて、臓器の３次元モデルを生成する技術が記載されている。

しかしながら、特許文献１に記載された技術を、関節内骨軟骨病変の評価に適用しようとした場合、すなわち、ＣＴ画像、及び、ＣＴ画像を用いて歪みを補正したＭＲＩ画像の各々から、関節を構成する骨及び関節軟骨の各々を表す領域を抽出し、それぞれの３次元形状を表す３次元モデルを生成しようとする場合、以下の課題が生じる。

上述したように、関節を構成する２つの骨が互いに近接する各々の端面には、それぞれ、層状の関節軟骨である第１の関節軟骨及び第２の関節軟骨が形成されている。ここで、第１の関節軟骨及び第２の関節軟骨は、互いに接触しているか、又は、非常に狭い間隔で近接している。そのため、ＭＲＩ装置を用いて生成した複数の断面画像の画像データセットに基づいて、例えば第１の関節軟骨の３次元形状を表す３次元モデルを生成した場合、実際の第１の関節軟骨の３次元形状を忠実に反映した３次元モデルを生成することが難しい。これは、ＭＲＩ装置を用いて生成した複数の断面画像の画像データセットから、第１の関節軟骨を表す領域のみを抽出することが難しいためである。この難しさは、第１の関節軟骨のＭＲＩ値と第２の関節軟骨のＭＲＩ値とが同程度のレベルで描画されており、且つ、第１の関節軟骨と第２の関節軟骨とが互いに接触しているか、又は、非常に狭い間隔で近接していることに起因する。

このようにして生成された３次元モデルは、実際の関節軟骨の３次元形状を忠実に反映しているとは言えない。そのため、関節内骨軟骨病変の治療方針を作成する医師は、多くの不確定要素を抱えたまま、関節内骨軟骨病変の治療方針を作成することを余儀なくされる。例えば、第１の関節軟骨の正確な状態は、実際の手術中に患部を観察するまで把握することができないし、第１の関節軟骨の下層に位置する軟骨下骨の状態は、実際の手術中であっても第１の関節軟骨を除去しない限り把握することができない。このように、従来の方法では、身体に侵襲を加えることなく、関節を構成する骨及び関節軟骨の状態を正確に把握することができなかった。

本発明は、上述した課題に鑑みなされたものであり、その目的は、身体に侵襲を加えることなく、関節を構成する骨及び関節軟骨の３次元形状を、従来よりも忠実に再現することができる技術を提供することである。

上記の課題を解決するために、本発明の一態様に係る３次元モデル生成方法は、その一部の表面上に第１の関節軟骨が形成された第１の骨と、その一部の表面上に第２の関節軟骨が形成された第２の骨とを含む関節の３次元形状を表す３次元モデルをコンピュータが生成する３次元モデル生成方法である。当該３次元モデル生成方法は、前記関節における複数の断面画像の各々をそれぞれが表す複数の第１の画像データにより構成された第１の画像データセットであって、少なくとも第１の骨が映されている第１の画像データセットに基づいて、第１の骨の３次元形状を表す第１の３次元モデルを生成する第１工程と、前記関節における複数の断面画像の各々をそれぞれが表す複数の第２の画像データにより構成された第２の画像データセットであって、少なくとも第１の関節軟骨と第２の関節軟骨とが互いに離間して映されている第２の画像データセットに基づいて、第１の関節軟骨の３次元形状を表す第２の３次元モデルを生成する第２工程と、第１の３次元モデル及び第２の３次元モデルに基づいて、第１の骨の３次元形状及び第１の関節軟骨の３次元形状を組み合わせた第３の３次元モデルを生成する第３工程と、を含む。

上記の課題を解決するために、本発明の一態様に係る３次元モデル生成装置は、その一部の表面上に第１の関節軟骨が形成された第１の骨と、その一部の表面上に第２の関節軟骨が形成された第２の骨とを含む関節の３次元形状を表す３次元モデルを生成する３次元モデル生成装置である。当該３次元モデル生成装置は、前記関節における複数の断面画像の各々をそれぞれが表す複数の第１の画像データにより構成された第１の画像データセットであって、少なくとも第１の骨が映されている第１の画像データセットに基づいて、第１の骨の３次元形状を表す第１の３次元モデルを生成するする第１生成部と、前記関節における複数の断面画像の各々をそれぞれが表す複数の第２の画像データにより構成された第２の画像データセットであって、少なくとも第１の関節軟骨と第２の関節軟骨とが互いに離間して映されている第２の画像データセットに基づいて、第１の関節軟骨の３次元形状を表す第２の３次元モデルを生成する第２生成部と、第１の３次元モデル及び第２の３次元モデルに基づいて、第１の骨の３次元形状及び第１の関節軟骨の３次元形状を組み合わせた第３の３次元モデルを生成する第３生成部と、を備えている。

本発明の一態様に係る３次元モデルプログラムは、上述の３次元モデル生成装置としてコンピュータを機能させるための３次元モデル生成プログラムであって、第１生成部、第２生成部及び第３生成部としてコンピュータを機能させる。

本発明の一態様によれば、身体に侵襲を加えることなく、関節を構成する骨及び関節軟骨の３次元形状を、従来よりも忠実に再現した３次元モデルを得ることができる。

本発明の特徴的な画像データセットを取得するためのＭＲＩ装置の一例を説明する模式図である。 （ａ）は、肘を牽引しながら取得されたＭＲＩ画像を表し、（ｂ）は、肘を牽引せずに取得されたＭＲＩ画像を表す。 （ａ）は、腕橈関節について、注目すべき関節軟骨を表す領域の抽出精度を、牽引時と非牽引時とで比較した結果を示す図である。（ｂ）は、滑車部（腕尺関節外側）についての抽出精度の比較結果を示す図である。（ｃ）は、腕尺関節（特に内側）についての抽出精度の比較結果を示す図である。 本実施形態に係る３次元モデル生成装置の機能的な構成を示すブロック図である。 本実施形態に係る３次元モデル生成方法の流れを説明するフローチャートである。 本実施形態に係る３次元モデル生成方法の詳細な流れを説明するフローチャートである。 本実施形態に係る３次元モデル生成方法の詳細な流れを説明するフローチャートである。 本実施形態に係る３次元モデル生成方法の詳細な流れを説明するフローチャートである。 （ａ）～（ｃ）は、本実施形態の具体例におけるＣＴ画像データセットの一部の一例である。（ｄ）は、本実施形態の具体例における上腕骨のＣＴ３次元モデルの一例を示す図である。 （ａ）～（ｃ）は、本実施形態の具体例におけるＭＲＩ画像データセットの一部の一例を示す図である。（ｄ）は、本実施形態の具体例における上腕骨のＭＲＩ３次元モデルの一例を示す図である。 （ａ）及び（ｂ）は、本実施形態の具体例において、ＭＲＩ画像から抽出された関節軟骨の一例を示す図である。 （ａ）～（ｄ）は、本実施形態の具体例における関節軟骨の３次元モデルの一例を示す図である。 （ａ）～（ｃ）は、本実施形態の具体例における合成３次元モデルの一例を示す図である。 （ａ）及び（ｂ）は、本実施形態の具体例において、加工された合成３次元モデルの一例を示す図である。 本実施形態に係る３次元モデル生成装置のハードウェア構成の一例を示すブロック図である。 （ａ）は、本実施形態の具体例において、加工された合成３次元モデルの一例を示す三面図である。（ｂ）は、（ａ）に示した肋軟骨の小片の三面図である。 （ａ）及び（ｂ）は、本実施形態の具体例において、加工された合成３次元モデルの一例を示す図である。

〔本発明の特徴〕
本発明の特徴は、対象となる関節軟骨及び他の関節軟骨が離間した状態で映されている断面画像を含む画像データセットを用いることにある。また、そのような断面画像から、対象となる関節軟骨を表す領域を抽出することにある。

本願発明者らは、生体において対象となる関節を含む部位を、関節軟骨同士が離間する方向に牽引しながら、断面画像生成装置を用いて当該部位の断面を撮像することにより、そのような、関節軟骨同士が離間して映された断面画像を含む画像データセットが得られることを見出した。ここで、断面画像生成装置は、関節を構成する組織のうち、少なくとも関節軟骨を明瞭に描画可能な装置であればよい。本実施形態では、このような断面画像生成装置の一例として、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像）装置を用いる。ＭＲＩ装置は、ＭＲＩ法を用いて生体の断面を表す複数の断面画像の画像データセットを生成する。

また、本実施形態では、関節の一例として肘を用いる。肘を構成する骨は、上腕骨ｂ１、橈骨ｂ２、及び尺骨である。図２の（ａ）において、上腕骨ｂ１及び橈骨ｂ２の各々は、特許請求の範囲に記載の第１の骨及び第２の骨の一態様である。上腕骨ｂ１の一方の端部である上腕骨小頭の表面上には、第１の関節軟骨の一態様である関節軟骨ｎ１が形成されている。橈骨ｂ２の一方の端部である橈骨頭の表面上には、第２の関節軟骨の一態様である関節軟骨ｎ２が形成されている。なお、尺骨は、図２には図示されていない。

肘を牽引しながら、ＭＲＩ装置を用いて当該肘の断面画像を撮像する手法について、図１～３を用いて説明する。図１は、本手法で用いるＭＲＩ装置９００を模式的に表す斜視図である。ＭＲＩ装置９００は、撮像部９０１と、載置台９０２と、牽引機構９０３とを有する。

撮像部９０１は、環状に構成される。撮像部９０１は、内部の撮像空間に静磁場及び傾斜磁場を発生し、撮像空間に置かれた被検体ｈに対し高周波パルスを印加し、被検体ｈが発生する磁気共鳴信号を検出してコンピュータで処理することにより、被検体ｈの断面画像を生成する。

載置台９０２は、被検体ｈを載置可能な台である。また、載置台９０２は、撮像部９０１内部の撮像空間に進入・進出可能に可動するよう構成される。

牽引機構９０３は、紐９０３ａと、滑車９０３ｂと、おもり９０３ｃとを含む。

このような構成のＭＲＩ装置９００は、載置台９０２に載置された被検体ｈの肘を牽引しながら、肘の断面画像を撮像する。具体的には、例えば、被検体ｈの手関節には、紐９０３ａの一方の端部が結ばれる。紐９０３ａは、載置台９０２の上を、被検体ｈの足が向く方向ｄ１に向かって伸び、載置台９０２の足側の端部から床に向かって垂れている。紐９０３ａの他方の端部には、おもり９０３ｂが結ばれている。おもり９０３ｂとしては、ここでは砂嚢を用い、重量を約７ｋｇとした。これにより、肘は、方向ｄ１に向かって牽引される。この状態で、載置台９０２が撮像部９０１の内部に進入するよう稼動し、撮像部９０１が動作する。これにより、肘が牽引された状態で、肘のＭＲＩ画像が取得される。その結果、ＭＲＩ装置９００は、関節軟骨ｎ１と関節軟骨ｎ２とが互いに離間した状態で映されているＭＲＩ画像を複数生成する。ＭＲＩ装置９００が生成したこれら複数のＭＲＩ画像の各々は、特許請求の範囲に記載の複数の第２の画像データの一態様であり、特許請求の範囲に記載の第２の画像データセットを構成する。

図２（ａ）は、図１に例示したＭＲＩ装置９００によって取得されたＭＲＩ画像の一例であるＭＲＩ画像９１０を示す図である。ＭＲＩ画像９１０は、肘の矢状断面を表し、上腕骨ｂ１及び橈骨ｂ２をそれぞれ表す領域を含んでいる。また、ＭＲＩ画像９１０は、関節軟骨ｎ１及び関節軟骨ｎ２をそれぞれ表す領域を含んでいる。関節軟骨ｎ１は、上腕骨ｂ１の関節側の端部である上腕骨小頭を覆う軟骨である。関節軟骨ｎ２は、橈骨ｂ２の関節側の端部にある関節窩を覆う軟骨である。ＭＲＩ画像９１０は、肘が方向ｄ１に牽引された状態で撮像されていることにより、関節軟骨ｎ１及び関節軟骨ｎ２をそれぞれ表す領域間には、関節液が流れ込んだ隙間領域ａ１がある。ＭＲＩ画像９１０において、関節軟骨ｎ１及び関節軟骨ｎ２のＭＲＩ値は同程度であるものの、関節液のＭＲＩ値は、関節軟骨ｎ１及び関節軟骨ｎ２のＭＲＩ値とは明らかに異なる。そのため、ＭＲＩ画像９１０において、関節軟骨ｎ１を表す領域と関節軟骨ｎ２を表す領域との境界は、明瞭である。

図２（ｂ）は、比較のため、牽引機構９０３を用いていない状態（すなわち牽引していない状態）の肘を、ＭＲＩ装置９００を用いて撮影した結果、ＭＲＩ装置９００が生成したＭＲＩ画像９２０を示す図である。ＭＲＩ画像９２０も、ＭＲＩ画像９１０と同様に、上腕骨ｂ１、橈骨ｂ２、関節軟骨ｎ１及び関節軟骨ｎ２をそれぞれ表す領域を含んでいる。ただし、図２（ｂ）において、領域ａ２において、関節軟骨ｎ１と関節軟骨ｎ２とが接触している。別の言い方をすれば、ＭＲＩ画像９２０において、関節軟骨ｎ１を表す領域と関節軟骨ｎ２を表す領域との境界は、不明瞭である。

このように、牽引機構９０３を有するＭＲＩ装置９００により、注目する関節軟骨ｎ１と、隣接する関節軟骨ｎ２とが離間して映されたＭＲＩ画像９１０が得られることがわかった。

図３は、複数の被検体について、肘が牽引された状態で得られたＭＲＩ画像９１０と、牽引されていない状態で得られたＭＲＩ画像９２０とを取得し、それぞれを用いて、注目する関節軟骨を表す領域の抽出精度を比較した結果を説明する図である。詳細には、図３（ａ）は、肘関節を構成する関節のうち腕橈関節について、注目する関節軟骨を表す領域の抽出精度の比較結果を示す。図３（ｂ）は、肘関節を構成する関節のうち滑車部（腕尺関節外側）について、注目する関節軟骨を表す領域の抽出精度の比較結果を示す。図３（ｃ）は、肘関節を構成する関節のうち腕尺関節（特に内側）について、注目する関節軟骨を表す領域の抽出精度の比較結果を示す。また、図３（ａ）～（ｃ）において、「Complete」は、関節軟骨の輪郭ならびに境界を完全に抽出できた被検体の数を表す。また、「Poor」は、関節軟骨の輪郭全体の５０％以上が明瞭に抽出できなかった被検体の数を表す。また、「Intermediate」は、「Complete」及び「Poor」の何れにも分類されなかった被検体の数を表す。すなわち、「Intermediate」は、関節軟骨の輪郭の一部（全体の５０％以下）が明瞭に描出できなかった被検体の数である。比較は、対応のある２群の検定（paired t test）により行い、ｐ値が有意水準以下のものを、「牽引により関節軟骨の抽出精度が有意に改善された」、と判断した。

図３（ａ）～（ｃ）のうち、（ａ）によれば、「牽引により関節軟骨の抽出精度が有意に改善された」ことがわかる。このように、対象となる部位が牽引された状態で断面画像を撮像することにより、断面画像からの関節軟骨を表す領域の抽出精度が向上する部位があることがわかった。

なお、本発明の特徴として用いられる、対象となる関節軟骨及び他の関節軟骨が離間した状態で映されている断面画像を含む画像データセットは、上述した手法により撮像されたものに限定されない。対象となる関節軟骨及び他の関節軟骨が離間した状態で映されていれば、他の手法により撮像されたものであっても構わない。また、対象となる関節は、腕橈関節に限定されず、膝関節や、股関節などの他の関節であってもよい。

〔実施形態〕
本実施形態に係る３次元モデル生成装置１０について、図面を参照して詳細に説明する。

（３次元モデル生成装置の構成）
図４は、３次元モデル生成装置１０の機能ブロック構成を示す図である。３次元モデル生成装置１０は、第１生成部１１と、第２生成部１２と、第３生成部１３と、表示加工部１４とを含む。また、３次元モデル生成装置１０は、入力装置２０及び表示装置３０に接続されている。入力装置２０は、３次元モデル生成装置１０に対する入力操作を受け付けるデバイスである。以降、入力装置２０を介して行われる入力操作を、単に、入力操作とも記載する。また、表示装置３０は、３次元モデル生成装置１０から出力される情報を表示するデバイスである。以降、表示装置３０に情報を表示することを、単に、表示する、とも記載する。なお、入力装置２０及び表示装置３０の詳細については後述する。

第１生成部１１は、肘における複数の断面画像の各々をそれぞれが表す複数の第１の画像データにより構成された第１の画像データセットであって、少なくとも上腕骨ｂ１が映されている第１の画像データセットに基づいて、上腕骨ｂ１の３次元形状を表す第１の３次元モデルを生成する。

第１の画像データセットには、少なくとも上腕骨ｂ１が映されている。本実施形態においては、第１の画像データセットには、上腕骨ｂ１とともに橈骨ｂ２が映されている。

本実施形態では、第１の画像データとして、ＣＴ（Computed Tomography：コンピュータ断層撮影）装置によって得られるＣＴ画像を表す画像データを用いる。以降、第１の画像データセットを、ＣＴ画像データセットとも記載する。また、以降、ＣＴ画像データセットから生成された上腕骨ｂ１の３次元モデルを、「上腕骨ｂ１のＣＴ３次元モデル」とも記載する。なお、ＣＴ画像データセットから、注目する組織の３次元モデルを生成する技術には、公知の技術を適用可能である。

第２生成部１２は、肘における複数の断面画像の各々をそれぞれが表す複数の第２の画像データにより構成された第２の画像データセットであって、少なくとも関節軟骨ｎ１と関節軟骨ｎ２とが互いに離間して映されている第２の画像データセットに基づいて、関節軟骨ｎ１の３次元形状を表す第２の３次元モデルを生成する。また、以降、ＭＲＩ画像データセットから生成された関節軟骨ｎ１の３次元モデルを、「関節軟骨ｎ１のＭＲＩ３次元モデル」とも記載する。

第２の画像データセットには、関節軟骨ｎ１及び関節軟骨ｎ２の少なくとも何れか一方が映されている。また、本実施形態の第２の画像データセットには、関節軟骨ｎ１，ｎ２ほど鮮明ではないものの、上腕骨ｂ１及び橈骨ｂ２の少なくとも何れか一方が映されている。

本実施形態では、第２の画像データとして、ＭＲＩ装置によって得られるＭＲＩ画像を用いる。以降、第２の画像データセットを、ＭＲＩ画像データセットとも記載する。本実施形態のＭＲＩ画像データセットは、図１に示したＭＲＩ装置９００によって得られたものでる。

より詳しくは、第２生成部１２は、複数のＭＲＩ画像の各々のＭＲＩ値の差に基づいて、関節軟骨ｎ１を表す領域を抽出し、関節軟骨ｎ１を表す領域に基づいて、第２の３次元モデルを生成する。ＭＲＩ値とは、ＭＲＩ画像に含まれる各画素の画素値に対応する。ＭＲＩ画像において、ＭＲＩ値が高い画素ほど明るく表示され、ＭＲＩ値が低い画素ほど暗く表示される。ＭＲＩ値は、関節を構成する組織を構成する材料に依存しており、同じ材料により構成されている領域は、同程度のＭＲＩ値になりやすい。したがって、図２の（ａ）に示すように、上腕骨ｂ１のＭＲＩ値と、橈骨ｂ２のＭＲＩ値とは同程度であり、関節軟骨ｎ１のＭＲＩ値と、関節軟骨ｎ２のＭＲＩ値とは、同程度である。

したがって、関節軟骨ｎ１と関節軟骨ｎ２とが接触している場合、関節軟骨ｎ１を表す領域と関節軟骨ｎ２を表す領域との境界をＭＲＩ画像に基づいて定めることは困難である。本手法では、ＭＲＩ画像データセットに映されている関節軟骨ｎ１と関節軟骨ｎ２とが互いに離間しており、関節軟骨ｎ１を表す領域と関節軟骨ｎ２を表す領域との間に、関節液を表す領域が存在する。したがって、第２生成部１２は、ＭＲＩ画像データセットに基づいて、関節軟骨ｎ１を抽出することができる。すなわち、第２生成部１２は、第２のデータセットに基づいて、関節軟骨ｎ１の３次元形状を表す３次元モデルを生成することができる。

なお、関節軟骨ｎ１を表す領域として抽出すべきＭＲＩ値の上限値及び下限値は、予め定められていてもよいし、ユーザからの入力操作に基づき定められてもよいし、第２生成部１２が各ＭＲＩ画像を解析した結果として定められたものであってもよい。なお、ＭＲＩ値の上限値及び下限値を定めるためにユーザにより入力される情報は、必ずしも、ＭＲＩ値を表す数値自体でなくてもよい。例えば、表示装置３０に表示されたＭＲＩ画像において、ある領域を指定する入力操作がなされたとする。この場合、第２生成部１２は、指定された領域に含まれるＭＲＩ値と同程度である画素が集合することによって形成された領域を、関節軟骨ｎ１を表す領域として抽出してもよい。

ここで、ＭＲＩ画像データセットは、関節軟骨ｎ１，ｎ２を表す領域に加えて、上腕骨ｂ１及び橈骨ｂ２を表す領域を含んでいることが好ましい。本実施形態において、ＭＲＩ画像データセットは、上腕骨ｂ１及び橈骨ｂ２を表す領域を含んでいる。

第２生成部１２は、ＭＲＩ画像データセットに基づいて、上腕骨ｂ１の３次元形状を表す３次元モデルである第４の３次元モデルを生成する。以降、ＭＲＩ画像データセットから生成された第４の３次元モデルを、「上腕骨ｂ１のＭＲＩ３次元モデル」とも記載する。

なお、上述したように、ＭＲＩ画像は、ＣＴ画像に比べて、骨を表す領域が不明瞭であることが多い。したがって、上腕骨ｂ１のＭＲＩ３次元モデルは、上腕骨ｂ１のＣＴ３次元モデルに比べて、３次元形状の再現精度が低くてもよい。

第３生成部１３は、上腕骨ｂ１のＣＴ３次元モデル、及び、関節軟骨ｎ１のＭＲＩ３次元モデルに基づいて、上腕骨ｂ１の３次元形状と関節軟骨ｎ１の３次元形状とを組み合わせた第３の３次元モデルを生成する。以降、第３の３次元モデルを、「合成３次元モデル」とも記載する。

第３生成部１３は、上腕骨ｂ１のＣＴ３次元モデルが表す３次元形状と、上腕骨ｂ１のＭＲＩ３次元モデルが表す３次元形状とを照合し、照合結果に基づいて、合成３次元モデルを生成するように構成されていることが好ましい。例えば、第３生成部１３は、（１）上腕骨ｂ１のＣＴ３次元モデルが表す３次元形状の特徴点と、上腕骨ｂ１のＭＲＩ３次元モデルが表す３次元形状との特徴点とをそれぞれ抽出し、（２）互いに対応する特徴点同士をマッチングさせ、（３）上腕骨ｂ１のＣＴ３次元モデルに含まれる上腕骨ｂ１を表す領域と、上腕骨ｂ１のＭＲＩ３次元モデルに含まれる上腕骨ｂ１を表す領域とを重ねることにより、合成３次元モデルを生成する。

この構成によれば、例えば、上腕骨ｂ１のＣＴ３次元モデルに適用される３次元座標と、上腕骨ｂ１のＭＲＩ３次元モデルに適用される３次元座標との対応関係を定めることができる。

ここで、上腕骨ｂ１のＭＲＩ３次元モデルと、関節軟骨ｎ１のＭＲＩ３次元モデルとは、同一のＭＲＩ画像データセットに基づいて生成されている。したがって、これらの３次元モデルに適用される３次元座標は同一であるとみなせる。そこで、この場合、第３生成部１３は、算出された３次元座標の対応関係に基づいて、関節軟骨ｎ１のＭＲＩ３次元モデルを、上腕骨ｂ１のＣＴ３次元モデルに適用されている３次元座標に合わせて補正することが可能である。そして、第３生成部１３は、上腕骨ｂ１のＣＴ３次元モデルと、補正した関節軟骨ｎ１のＭＲＩ３次元モデルとを重畳して再構成することにより、合成３次元モデルを生成すればよい。

表示加工部１４は、合成３次元モデルが表す３次元形状を、視点を変更可能に表示する。以降、合成３次元モデルが表す３次元形状を表示することを、単に、合成３次元モデルを表示する、とも記載する。例えば、表示加工部１４は、入力操作に基づいて、表示した合成３次元モデルの視点を変更して表示を更新する。

また、表示加工部１４は、表示した合成３次元モデルに対して、ユーザの入力操作に基づく加工を行う。例えば、表示加工部１４は、表示した合成３次元モデルにおいて、指定された領域に含まれる関節軟骨の透明度を上げる機能を有していてもよい。これにより、透明度を上げた領域の深部の軟骨下骨について、その３次元形状が視認可能に表示される。また、例えば、表示加工部１４は、表示した合成３次元モデルにおいて、指定された領域の関節軟骨及び軟骨下骨の少なくとも一方を加工する機能を有していてもよい。表示加工部１４が有する加工の機能としては、（１）関節軟骨の削除又は透明化、（２）関節軟骨の追加、（３）軟骨下骨の削除、及び、（４）移植用の骨片である移植片の追加、及び（５）損傷を受けた領域のマーキング、が挙げられる。表示加工部１４は、上述した（１）～（５）の機能のうち少なくとも何れか１つの機能を有していればよく、（１）～（５）の機能の全てを有していることが好ましい。これにより、例えば関節軟骨を削除された領域に位置する軟骨下骨について、その３次元形状が視認可能に表示される。また、例えば軟骨下骨を削除したうえで移植片を追加された領域について、その３次元形状が視認可能に表示される。

なお、表示加工部１４は、入力操作に基づいて、表示した合成３次元モデルにおける指定領域を検出すればよい。また、表示加工部１４は、入力操作に基づいて、指定領域に対する加工処理を実行すればよい。指定領域に対する加工処理としては、前述のように、透明度を上げる、加工する等が挙げられるが、これらに限られない。

（３次元モデル生成装置の動作）
図５は、以上のように構成された３次元モデル生成装置１０が実行する３次元モデル生成方法Ｓ１を説明するフローチャートである。３次元モデル生成方法Ｓ１は、以下に説明する工程Ｓ１０１～Ｓ１０４を含んでいる。

工程Ｓ１０１において、第１生成部１１は、上述したＣＴ画像データセットに基づいて、上腕骨ｂ１のＣＴ３次元モデルを生成する。この工程の詳細については後述する。

工程Ｓ１０２において、第２生成部１２は、上述したＭＲＩ画像データセットに基づいて、関節軟骨ｎ１のＭＲＩ３次元モデル、及び、上腕骨ｂ１のＭＲＩ３次元モデルを生成する。この工程の詳細については後述する。なお、工程Ｓ１０１及びＳ１０２の処理の実行順序は、逆であってもよいし、並行して実行されてもよい。

工程Ｓ１０３において、第３生成部１３は、上腕骨ｂ１のＣＴ３次元モデルと、関節軟骨ｎ１のＭＲＩ３次元モデルとに基づいて、合成３次元モデルを生成する。このとき、工程Ｓ１０２で生成された上腕骨ｂ１のＭＲＩ３次元モデルが用いられる。この工程の詳細については後述する。

工程Ｓ１０４において、表示加工部１４は、合成３次元モデルを表示する。また、表示加工部１４は、入力操作に基づいて、その視点を変更する処理、又は、加工する処理を行う。

次に、各工程の詳細について説明する。図６は、工程Ｓ１０１の詳細を示すフローチャートである。

工程Ｓ２０１において、第１生成部１１は、ＣＴ画像データセットを取得する。なお、第１生成部１１は、ＣＴ装置（図示せず）と接続され、当該ＣＴ装置からＣＴ画像データセットを取得してもよい。また、第１生成部１１は、ＣＴ画像データセットが蓄積された画像サーバ（図示せず）に、通信インタフェース及びネットワークを介して通信可能に接続され、当該画像サーバからＣＴ画像データセットを取得してもよい。また、第１生成部１１は、可搬型媒体に記憶されたＣＴ画像データセットを、入出力インタフェースを介して読み込むことにより取得してもよい。

工程Ｓ２０２において、第１生成部１１は、ＣＴ画像データセットに基づいて、上腕骨ｂ１のＣＴ３次元モデルを生成する。前述したように、本工程の処理には、公知の技術を適用可能である。

図７は、工程Ｓ１０２の詳細を示すフローチャートである。

工程Ｓ３０１において、第２生成部１２は、ＭＲＩ画像データセットを取得する。ここで取得するＭＲＩ画像データセットは、対象となる関節軟骨ｎ１と、関節軟骨ｎ１に隣接する関節軟骨ｎ２とが、離間して映されているＭＲＩ画像を含むものである。例えば、第２生成部１２は、図１に示したＭＲＩ装置９００と接続され、当該ＭＲＩ装置９００からＭＲＩ画像データセットを取得してもよい。また、第２生成部１２は、ＭＲＩ装置９００によって取得されたＭＲＩ画像データセットが蓄積された画像サーバ（図示せず）に、通信インタフェース及びネットワークを介して通信可能に接続され、当該画像サーバからＭＲＩ画像データセットを取得してもよい。また、第２生成部１２は、ＭＲＩ装置９００によって取得されたＭＲＩ画像データセットを記憶した可搬型媒体から、入出力インタフェースを介して当該ＭＲＩ画像データセットを読み込むことにより取得してもよい。

工程Ｓ３０２において、第２生成部１２は、ＭＲＩ画像データセットに基づいて、上腕骨ｂ１のＭＲＩ３次元モデルを生成する。

工程Ｓ３０３において、第２生成部１２は、ＭＲＩ画像データセットに含まれるＭＲＩ画像から、関節軟骨ｎ１を表す領域のＭＲＩ値と、関節軟骨ｎ１と関節軟骨ｎ２との間に介在する関節液を表す領域のＭＲＩ値との差に基づいて、関節軟骨ｎ１を表す領域を抽出する。

工程Ｓ３０４において、第２生成部１２は、抽出された関節軟骨ｎ１を表す領域に基づいて、関節軟骨ｎ１の３次元モデルを生成する。

図８は、工程Ｓ１０３の詳細を示すフローチャートである。

工程Ｓ４０１において、第３生成部１３は、ステップＳ２０２で生成された上腕骨ｂ１のＣＴ３次元モデルと、ステップＳ３０２で生成された上腕骨ｂ１のＭＲＩ３次元モデルとを照合する。前述のように、例えば、第３生成部１３は、これらの３次元モデルが表す３次元形状の特徴点同士を照合することにより、これらの３次元モデルにそれぞれ適用されている３次元座標の対応関係を算出してもよい。

工程Ｓ４０２において、第３生成部１３は、ステップＳ４０１の照合結果に基づいて、ステップＳ２０２で生成された上腕骨ｂ１のＣＴ３次元モデルと、ステップＳ３０４で生成された関節軟骨ｎ１のＭＲＩ３次元モデルとを合成し、合成３次元モデルを生成する。前述のように、例えば、第３生成部１３は、関節軟骨ｎ１のＭＲＩ３次元モデルを、上腕骨ｂ１のＣＴ３次元モデルに適用されている３次元座標に合わせて補正し、補正した関節軟骨ｎ１のＭＲＩ３次元モデルと、上腕骨ｂ１のＣＴ３次元モデルとを合成することによって、合成３次元モデルを生成する構成であってもよい。

（実施例）
次に、本実施形態に係る３次元モデル生成装置１０を用いて、上腕骨ｂ１及び上腕骨小頭を覆う関節軟骨ｎ１の合成３次元モデルを生成した実施例について説明する。このような合成３次元モデルは、関節内骨軟骨病変の一つである上腕骨離断性軟骨炎、通称外側型野球肘の評価を行うために有用である。上述した実施形態の場合と同様に、上腕骨ｂ１は、本実施例における第１の骨の一例であり、上腕骨小頭を覆う関節軟骨ｎ１は、本実施例における第１の関節軟骨の一例である。

図９（ａ）～（ｃ）は、ステップＳ２０１において取得されたＣＴ画像データセットの一部を表している。具体的には、図９（ａ）は、肘の軸位断面、図９（ｂ）は、肘の冠状断面、図９（ｃ）は、肘の矢状断面をそれぞれ表すＣＴ画像である。これらのＣＴ画像には、それぞれ、上腕骨ｂ１と、橈骨ｂ２とが映されている。これらのＣＴ画像を含むＣＴ画像データセットを用いて、ステップＳ２０２が実行される。図９（ｄ）は、ステップＳ２０２において生成された上腕骨遠位部のＣＴ３次元モデルを表している。

図１０（ａ）～（ｃ）は、ステップＳ３０１において取得されたＭＲＩ画像データセットの一部を表している。具体的には、図１０（ａ）は、肘の軸位断面、図１０（ｂ）は、肘の冠状断面、図１０（ｃ）は、肘の矢状断面をそれぞれ表すＭＲＩ画像である。これらのＭＲＩ画像には、ＣＴ画像に比べると不明瞭であるものの、それぞれ、上腕骨ｂ１と、橈骨ｂ２とが映されている。これらのＭＲＩ画像を含むＭＲＩ画像データセットを用いて、ステップＳ３０２が実行される。図１０（ｄ）は、ステップＳ３０２において生成された上腕骨遠位部のＭＲＩ３次元モデルを表している。

図９（ｄ）に示した上腕骨遠位部のＣＴ３次元モデルと、図１０（ｄ）に示した上腕骨遠位部のＭＲＩ３次元モデルとが、ステップＳ４０１において照合される。これにより、ＣＴ３次元モデルに適用される３次元座標と、ＭＲＩ３次元モデルに適用される３次元座標との対応関係が算出される。

図１１（ａ）及び（ｂ）は、ステップＳ３０３においてＭＲＩ画像から抽出された、上腕骨小頭を覆う関節軟骨を表す領域を表している。具体的には、図１１（ａ）は、肘の冠状断面を表すＭＲＩ画像において、上腕骨小頭を覆う関節軟骨ｎ１を表す領域が抽出されたことを表している。当該ＭＲＩ画像に、隙間領域ａ３が含まれることにより、ＭＲＩ値に基づいて、関節軟骨ｎ１を表す領域の抽出が可能となった。図１１（ｂ）は、肘の矢状断面を表すＭＲＩ画像において、該当関節軟骨ｎ１を表す領域が抽出されたことを表している。当該ＭＲＩ画像に、隙間領域ａ４が含まれることにより、ＭＲＩ値に基づいて、関節軟骨ｎ１を表す領域の抽出が可能となった。

図１２（ａ）～（ｄ）は、ステップＳ３０４において生成された、上腕骨小頭を覆う関節軟骨の３次元モデルを表している。具体的には、図１２（ａ）は、当該関節軟骨の３次元モデルが、正面からの視点で表示された例であり、図１２（ｂ）は、側面からの視点で表示された例であり、図１２（ｃ）は、上腕骨遠位からの視点で表示された例であり、図１２（ｄ）は、裏面からの視点で表示された例である。

図１３（ａ）は、ステップＳ４０２において生成された合成３次元モデルを表している。すなわち、この合成３次元モデルは、図９（ｄ）に示した上腕骨遠位部のＣＴ３次元モデルと、図１２（ａ）～（ｄ）に示した該当関節軟骨の３次元モデルとが、ステップＳ４０１の照合結果に基づいて合成されたものである。図１３（ａ）では、当該合成３次元モデルが、正面からの視点で表示装置３０に表示されている。また、図１３（ｂ）及び（ｃ）は、ステップＳ１０４において、当該合成３次元モデルが、視点を変更して表示された例を表している。具体的には、図１３（ｂ）は、側面からの視点に変更された表示例であり、図１３（ｃ）は、上腕骨遠位からの視点に変更された表示例である。このように視点を変更した合成３次元モデルの表示は、術中にも確認できない視点からの情報を評価者に提供する。したがって、このような表示は、関節軟骨及び上腕骨を総合的に評価することを支援する。

図１４（ａ）及び（ｂ）は、ステップＳ１０４において、合成３次元モデルに対する加工が行われた場合の表示例である。具体的には、図１４（ａ）は、上腕骨小頭を覆う関節軟骨のうち、領域ａ５の透明度を上げ（透明化し）、且つ、遊離した軟骨下骨（すなわち関節内骨軟骨病変）を含む領域ａ７を、マーキングすることによって、軟骨下骨が遊離した領域を他の損傷を受けていない領域から判別しやすくなるように、合成３次元モデルを加工した表示例である。このような表示は、関節軟骨と遊離した軟骨下骨の位置関係を、詳細に把握することを支援する。なお、図１４（ａ）において、遊離した軟骨下骨のコントラストを変化させることによってマーキングしているが、図１７（ａ）に示した領域ａ１２に含まれる遊離した軟骨下骨のように、他の領域と明らかに異なるコントラストにすることにより、他の領域からより判別しやすくなるように、合成３次元モデルを加工してもよい。図１４（ｂ）は、上腕骨小頭を覆う関節軟骨のうち領域ａ６を削除し、且つ、領域ａ７に含まれていた遊離した軟骨下骨を削除した表示例である。このような表示により、評価者は、関節軟骨の一部及び遊離した軟骨下骨を切除した後のイメージを詳細に把握することができる。このように、合成３次元モデルの加工処理は、手術シミュレーションとしての機能を評価者に提供する。その結果、このような表示は、関節軟骨及び上腕骨を総合的に評価することを支援する。

以上のように、図１４（ａ）及び（ｂ）では、それぞれ、上腕骨小頭を覆う関節軟骨の一部領域の透明度を上げた表示例、及び、上腕骨小頭を覆う関節軟骨の一部領域を削除し、且つ、遊離した軟骨下骨を削除した表示例を示している。しかし、３次元モデル生成装置１０は、ステップＳ１０４において、上腕骨小頭を覆う関節軟骨の全領域の透明度を上げる（図１７（ａ）参照）又は全領域を削除するといった加工を合成３次元モデルに施すように構成されていてもよい。

図１６（ａ）では、図１４（ｂ）に示した表示例と同様に遊離した軟骨下骨を削除したうえで、肋軟骨小片ａ８，ａ９を上腕骨小頭に移植した後の状態を示すように合成３次元モデルを加工した表示例である。上腕骨小頭への肋軟骨小片ａ８，ａ９の移植は、関節面を再建することを目的としている。肋軟骨小片ａ８，ａ９は、移植用の骨片である移植片の一例である。図１６（ａ）は、肋軟骨小片ａ８の三面図であり、肋軟骨小片ａ９も肋軟骨小片ａ８と同様の形状を有する。以上のように、３次元モデル生成装置１０は、ステップＳ１０４において、移植片を追加する加工を合成３次元モデルに施すように構成されていてもよい。

図１７は、図１４及び図１６に示した症例とは、別の症例における合成３次元モデルを示す。図１７（ａ）は、上腕骨小頭を覆う関節軟骨の全領域ａ１１の透明度を上げ（透明化し）、且つ、遊離した軟骨下骨を含む領域ａ１２を、マーキングすることによって、軟骨下骨が遊離した領域を他の損傷を受けていない領域から判別しやすくなるように、合成３次元モデルを加工した表示例である。図１７（ｂ）は、上腕骨小頭を覆う関節軟骨の一部領域ａ１３を削除し、且つ、遊離した軟骨下骨を含む領域ａ１２を、マーキングすることによって、軟骨下骨が遊離した領域を他の損傷を受けていない領域から判別しやすくなるように、合成３次元モデルを加工した表示例である。図１７（ａ）に示したような表示例は、関節軟骨と遊離した軟骨下骨の位置関係を、評価者が詳細に把握することを支援する。図１７（ｂ）に示したような表示例は、関節軟骨の一部領域ａ１３を削除した後のイメージを、評価者が詳細に把握することを支援する。

このように、（１）関節軟骨の削除又は透明化、（２）関節軟骨の追加、（３）軟骨下骨の削除、及び、（４）移植用の骨片である移植片の追加、及び（５）損傷を受けた領域のマーキングに代表される合成３次元モデルの加工処理は、手術シミュレーションとしての機能を評価者に提供する。その結果、このような表示は、関節軟骨及び上腕骨を総合的に評価することを支援する。

（本実施形態の効果）
以上説明したように、本実施形態に係る３次元モデル生成装置は、対象となる関節軟骨と、その深部の軟骨下骨及び骨とを組み合わせた３次元形状を提示する。これにより、評価者にとって、従来は術中所見でしか評価できなかった情報や、術中にも確認できなかった情報が、生体に侵襲を加えることなく確認可能となる。その結果、本実施形態は、関節軟骨及びその深部の軟骨下骨及び骨との総合的な評価を支援することができる。

（変形例）
なお、本実施形態において、対象となる関節が肘関節であり、第１の骨が上腕骨であり、第１の関節軟骨が、上腕骨小頭を覆う関節軟骨である例について説明した。また、これにより、本実施形態の３次元モデル生成装置が、上腕骨離断性軟骨炎の総合評価に有用である例について説明した。しかし、３次元モデル生成装置１０の適用例は、これに限らない。３次元モデル生成装置１０は、膝関節や、股関節などの他の関節にも適用可能である。

例えば、本実施形態において、膝関節を対象とし、第１の骨として大腿骨遠位端を適用し、第１の関節軟骨として大腿骨内顆・外顆を覆う関節軟骨を適用してもよい。この場合、本実施形態の３次元モデル生成装置は、膝関節離断性軟骨炎や変形性膝関節症の総合評価に有用である。また、本実施形態において、股関節を対象とし、第１の骨として大腿骨頭を適用し、第１の関節軟骨として大腿骨頭関節軟骨を適用してもよい。この場合、本実施形態の３次元モデル生成装置は、変形性股関節症や大腿骨頭壊死の総合評価に有用である。また、本実施形態において、足関節を対象とし、第１の骨として距骨を適用し、第１の関節軟骨として距腿関節軟骨を適用してもよい。この場合、本実施形態の３次元モデル生成装置は、足関節離断性骨軟骨炎や変形性足関節症の総合評価に有用である。また、本実施形態において、膝関節を対象とし、第１の骨として大腿骨内顆を適用し、第１の関節軟骨として大腿骨内顆を覆う関節軟骨を適用してもよい。この場合、本実施形態の３次元モデル生成装置は、大腿骨内顆骨壊死の総合評価に有用である。その他、本実施形態は、第１の骨及び第１の関節に適宜適切な組織を適用することにより、軟骨の評価が必要な各種の関節疾患の総合評価に有用である。

また、本実施形態において、第１の画像データセットとしてＣＴ装置により生成された画像データセットを用いる例について説明した。これに限らず、第１の画像データセットは、骨を表す領域が映された画像データセットであれば、他の手法により得られた画像データセットであってもよい。

また、本実施形態において、第２の画像データセットとしてＭＲＩ装置により生成された画像データセットを用いる例について説明した。これに限らず、第２の画像データセットは、注目する関節軟骨を表す領域と、隣接する関節軟骨を表す領域とが離間して映された画像データセットであれば、他の手法により得られた画像データセットであってもよい。

また、本実施形態において、第２の画像データセットを得るための装置に備えられた牽引機構が、紐及びおもりによって構成される例について説明した。これに限らず、第２の画像データセットは、対象となる関節を牽引する機構であれば、その他の牽引機構により牽引されながら取得された断面画像のデータセットであってもよい。

（３次元モデル生成装置のハードウェア構成とソフトウェアによる実現形態）
本実施形態における３次元モデル生成装置１０は、例えば、図１５に示すハードウェア要素によって実現可能である。図１５は、３次元モデル生成装置１０を実現するコンピュータ装置１００の構成例を示すブロック図である。

コンピュータ装置１００は、図１５に示すように、プロセッサ１０１と、メモリ１０２と、入出力インタフェース１０３と、通信インタフェース１０４とを含む。これらの要素は、バスにより互いに接続される。入出力インタフェース１０３には、入力装置２０及び表示装置３０が接続される。入力装置２０及び表示装置３０は、コンピュータ装置１００に内蔵されていてもよい。また、入力装置２０及び表示装置３０は、単一の装置（例えば、タッチパネル）として実現されていてもよい。

プロセッサ１０１は、メモリ１０２に記憶されたプログラムに含まれる命令を実行することによって、入出力インタフェース１０３及び通信インタフェース１０４を制御しながら、３次元モデル生成装置１０の第１生成部１１、第２生成部１２、第３生成部１３及び表示加工部１４として機能する。

プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等によって構成可能である。ただし、プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み込んで実行する演算装置であればよく、これらに限られない。

メモリ１０２には、コンピュータ装置１００を３次元モデル生成装置１０として動作させるためのプログラム、及び、各種データが格納される。メモリ１０２は、例えば、主記憶装置、補助記憶装置、または、これらの任意の組み合わせ等により構成可能である。主記憶装置としては、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリが挙げられるが、これに限られない。また、補助記憶装置としては、ＨＤＤ（hard disk drive）やＳＳＤ（solid state drive）等の不揮発性メモリが挙げられるが、これらに限られない。

なお、コンピュータ装置１００を３次元モデル生成装置１０として動作させるためのプログラムは、必ずしもコンピュータ装置１００内部のメモリ１０２に記憶されていなくてもよい。コンピュータ装置１００を３次元モデル生成装置１０として動作させるためのプログラムは、例えば、外部記録媒体に記録されてもよい。外部記録媒体の具体例としては、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などが挙げられるが、これらに限られない。この場合、外部記録媒体に記録されたプログラムは、プロセッサ１０１によって読み込まれて実行される。また、本発明は、外部記録媒体に記録されたプログラム、または、当該外部記録媒体としても実現され得る。また、コンピュータ装置１００を３次元モデル生成装置１０として動作させるためのプログラムは、通信ネットワークを介してコンピュータ装置１００に供給されてもよい。この場合、通信ネットワークは、プログラムを伝送可能なネットワークであればよく、特に限定されない。また、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

入出力インタフェース１０３には、図１５に示したように、入力装置２０及び表示装置３０が接続される。入力装置２０及び表示装置３０は、上述したように、コンピュータ装置１００に内蔵されていてもよく、単一の装置（例えば、タッチパネル）として実現されていてもよい。

入力装置２０の具体例としては、キーボード、マウス、タッチパッドといった装置が挙げられる。本実施形態においては、例えば、第１の関節軟骨を表す領域を抽出するためのパラメータを表す情報、合成３次元モデルの加工を指示する情報等が、入力装置２０を用いて入力される。ただし、入力装置２０は、コンピュータ装置１００に情報を入力する装置であれば、上述した具体例に限られない。

表示装置３０の具体例としては、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ブラウン管等といった装置が挙げられる。例えば、生成された合成３次元モデル、視点を変更された合成３次元モデル、加工された合成３次元モデルが、画像として表示装置３０に表示される。また、表示装置３０は、音声を出力する装置（スピーカ）や、画像を印刷する装置（プリンタ）等であってもよい。ただし、表示装置３０は、上述した具体例に限られない。

通信インタフェース１０４には、図１５に示すように、例えば、ＣＴ画像データセット及びＭＲＩ画像データセットを含む画像サーバとの通信に利用される。通信インタフェース１０４は、例えば、無線ＬＡＮ（Local Area Network）インタフェース、有線ＬＡＮインタフェース、インターネットインタフェース、モバイルデータ通信インタフェース、又は、これら通信インタフェースの任意の組み合わせであってもよい。

また、上述のハードウェア要素を含むコンピュータ装置１００の態様は、デスクトップ型、ノート型、タブレット型などのパーソナルコンピュータであってもよいし、汎用計算機であってもよいし、携帯型情報端末であってもよいが、これらに限られない。また、コンピュータ装置１００は、他の機器に組み込まれた組み込みシステムとして実現されていてもよい。

なお、本実施形態における３次元モデル生成装置１０の各機能ブロックは、メモリ１０２に記憶されたプログラムをプロセッサ１０１が実行することにより実現されることに限らず、その一部または全部が、専用のハードウェア要素（例えば、電子回路）により実現されていてもよい。

また、本実施形態における３次元モデル生成装置１０は、通信インタフェース１０４を介して第１の装置及び第２の装置からアクセス可能なサーバとして実現されてもよい。この場合、３次元モデル生成装置１０は、通信インタフェース１０４を介して第１の装置から、ＣＴ画像データセット及びＭＲＩ画像データセットを取得する。また、３次元モデル生成装置１０は、合成３次元モデルを表す第３の画像データセットを、第２の装置に対して出力する。

また、第１の装置及び第２の装置の各々の具体例としては、例えば、ネットワーク接続されたコンピュータ装置が挙げられる。本実施形態において、第１の装置及び第２の装置は、互いに異なる装置であってもよいし、同じ装置であってもよい。換言すれば、３次元モデル生成装置１０は、第１の装置から取得したＣＴ画像データセット及びＭＲＩ画像データセットに基づき作成した第３の画像データセットを、第１の装置とは異なる第２の装置に対して出力してもよいし、第２の装置として機能する第１の装置に対して出力してもよい。

また、３次元モデル生成装置１０は、ＣＴ画像データセット及びＭＲＩ画像データセットのうち少なくとも何れか一方を第１の装置から取得するように構成されていればよく、ＣＴ画像データセット及びＭＲＩ画像データセットの両方を第１の装置から取得するように構成されていることが好ましい。

〔まとめ〕
本発明の一態様に係る３次元モデル生成方法Ｓ１は、その一部の表面上に第１の関節軟骨ｎ１が形成された第１の骨（上腕骨ｂ１）と、その一部の表面上に第２の関節軟骨ｎ２が形成された第２の骨（橈骨ｂ２）とを含む関節（実施形態においては肘）の３次元形状を表す３次元モデルをコンピュータが生成する３次元モデル生成方法である。３次元モデル生成方法Ｓ１は、前記関節における複数の断面画像の各々をそれぞれが表す複数の第１の画像データ（ＣＴ画像）により構成された第１の画像データセット（ＣＴ画像データセット）であって、少なくとも第１の骨（上腕骨ｂ１）が映されている第１の画像データセット（ＣＴ画像データセット）に基づいて、第１の骨（上腕骨ｂ１）の３次元形状を表す第１の３次元モデル（ＣＴ３次元モデル）を生成する第１工程（工程Ｓ１０１）と、前記関節における複数の断面画像の各々をそれぞれが表す複数の第２の画像データ（ＭＲＩ画像）により構成された第２の画像データセット（ＭＲＩ画像データセット）であって、少なくとも第１の関節軟骨ｎ１と第２の関節軟骨ｎ２とが互いに離間して映されている第２の画像データセット（ＭＲＩ画像データセット）に基づいて、第１の関節軟骨ｎ１の３次元形状を表す第２の３次元モデル（ＭＲＩ３次元モデル）を生成する第２工程（工程Ｓ１０２）と、第１の３次元モデル及び第２の３次元モデルに基づいて、第１の骨（上腕骨ｂ１）の３次元形状及び第１の関節軟骨ｎ１の３次元形状を組み合わせた第３の３次元モデル（合成３次元モデル）を生成する第３工程（工程Ｓ１０３）と、を含む。

本発明の一態様に係る３次元モデル生成装置１０は、その一部の表面上に第１の関節軟骨ｎ１が形成された第１の骨（上腕骨ｂ１）と、その一部の表面上に第２の関節軟骨ｎ２が形成された第２の骨（橈骨ｂ２）とを含む関節（実施形態においては肘）の３次元形状を表す３次元モデルを生成する３次元モデル生成装置である。３次元モデル生成装置１０は、前記関節における複数の断面画像の各々をそれぞれが表す複数の第１の画像データ（ＣＴ画像）により構成された第１の画像データセット（ＣＴ画像データセット）であって、少なくとも第１の骨（上腕骨ｂ１）が映されている第１の画像データセット（ＣＴ画像データセット）に基づいて、第１の骨（上腕骨ｂ１）の３次元形状を表す第１の３次元モデル（ＣＴ３次元モデル）を生成するする第１生成部１１と、前記関節における複数の断面画像の各々をそれぞれが表す複数の第２の画像データ（ＭＲＩ画像）により構成された第２の画像データセット（ＭＲＩ画像データセット）であって、少なくとも第１の関節軟骨ｎ１と第２の関節軟骨ｎ２とが互いに離間して映されている第２の画像データセット（ＭＲＩ画像データセット）に基づいて、第１の関節軟骨ｎ１の３次元形状を表す第２の３次元モデル（ＭＲＩ３次元モデル）を生成する第２生成部１２と、第１の３次元モデル（ＣＴ３次元モデル）及び第２の３次元モデル（ＭＲＩ３次元モデル）に基づいて、第１の骨（上腕骨ｂ１）の３次元形状及び第１の関節軟骨ｎ１の３次元形状を組み合わせた第３の３次元モデル（合成３次元モデル）を生成する第３生成部１３と、を備えている。

本発明の一態様に係る３次元モデルプログラムは、３次元モデル生成装置１０としてコンピュータを機能させるための３次元モデル生成プログラムであって、第１生成部１１、第２生成部１２及び第３生成部１３としてコンピュータを機能させる。

これらの構成によれば、第２の画像データセット（ＭＲＩ画像データセット）から、第１の関節軟骨ｎ１を表す領域と、第２の関節軟骨ｎ２を表す領域との境界を精度よく検出することができる。これにより、これらの構成は、第２の画像データセット（ＭＲＩ画像データセット）から、第１の関節軟骨ｎ１を表す領域を精度よく抽出してその３次元形状を再現することができる。その結果、これらの構成は、第２の画像データセット（ＭＲＩ画像データセット）から再現した第１の関節軟骨ｎ１の３次元モデル（ＭＲＩ３次元モデル）と、第１の画像データセット（ＣＴ画像データセット）から再現した第１の骨（上腕骨ｂ１）の３次元モデル（ＣＴ３次元モデル）とを組み合わせることによって、関節を構成する第１の骨（上腕骨ｂ１）及び第１の関節軟骨ｎ１の３次元モデル（合成３次元モデル）を、従来よりも精度よく再現することができる。また、これらの構成における３次元形状の再現は、第１の画像データセット（ＣＴ画像データセット）及び第２の画像データセット（ＭＲＩ画像データセット）を入力としてコンピュータによって実行されるため、身体に侵襲を加える必要はない。

本発明の一態様に係る３次元モデル生成方法Ｓ１において、第２の画像データセット（ＭＲＩ画像データセット）は、第１の関節軟骨ｎ１及び第２の関節軟骨ｎ２が離間する方向に第１の骨（上腕骨ｂ１）及び第２の骨（橈骨ｂ２）の各々を牽引した状態の関節を、核磁気共鳴映像法を用いて撮影することによって得られたものである、ことが好ましい。

上記の構成によれば、第１の関節軟骨ｎ１と第２の関節軟骨ｎ２とがより確実に離間して映されている第２の画像データセット（ＭＲＩ画像データセット）を、取得することができる。

本発明の一態様に係る３次元モデル生成方法Ｓ１において、第２工程（工程Ｓ１０２）は、複数の第２の画像データ（ＭＲＩ画像）の各々のＭＲＩ値に基づいて、（１）第１の関節軟骨ｎ１を表す領域を抽出し、第１の関節軟骨ｎ１を表す領域に基づいて、第２の３次元モデル（ＭＲＩ３次元モデル）を生成する、ことが好ましい。

上記の構成によれば、第１の関節軟骨ｎ１を表す領域をより精度よく抽出できる。

本発明の一態様に係る３次元モデル生成方法Ｓ１において、第１の画像データセット（ＣＴ画像データセット）は、関節を、コンピュータ断層撮影法を用いて撮影することによって得られたものである、ことが好ましい。

上記の構成によれば、第１の画像データセット（ＣＴ画像データセット）には、第１の骨（上腕骨ｂ１）が明瞭に映されていることが期待できる。その結果、第１の画像データセット（ＣＴ画像データセット）に基づく第１の骨の３次元モデル（ＣＴ３次元モデル）の再現性能が良好となる。

本発明の一態様に係る３次元モデル生成方法Ｓ１において、第２の画像データセット（ＭＲＩ画像データセット）には、第１の関節軟骨ｎ１とともに第１の骨（上腕骨ｂ１）が映されており、第２の画像データセット（ＭＲＩ画像データセット）に基づいて第１の骨（上腕骨ｂ１）の３次元形状を表す第４の３次元モデル（上腕骨ｂ１のＭＲＩ３次元モデル）を生成する第４工程（工程Ｓ３０２）をさらに含む。第３工程（工程Ｓ１０３）は、第１の３次元モデル（ＣＴ３次元モデル）が表す３次元形状と第４の３次元モデル（上腕骨ｂ１のＭＲＩ３次元モデル）が表す３次元形状とを照合し、第１の３次元モデル（ＣＴ３次元モデル）に含まれる第１の骨（上腕骨ｂ１）を表す領域と、第４の３次元モデル（上腕骨ｂ１のＭＲＩ３次元モデル）に含まれる第１の骨（上腕骨ｂ１）を表す領域とを重ねることにより、第３の３次元モデル（合成３次元モデル）を生成する、ことが好ましい。

上記の構成において、第２の３次元モデル（ＭＲＩ３次元モデル）と、第４の３次元モデル（上腕骨ｂ１のＭＲＩ３次元モデル）とは、同一の第２の画像データセット（ＭＲＩ画像データセット）に基づいて生成されている。このため、第１の３次元モデル（ＣＴ３次元モデル）及び第４の３次元モデル（上腕骨ｂ１のＭＲＩ３次元モデル）間の位置関係は、第１の３次元モデル（ＣＴ３次元モデル）及び第２の３次元モデル（ＭＲＩ３次元モデル）間の位置関係に適用可能である。したがって、本構成は、第１の３次元モデル（ＣＴ３次元モデル）及び第２の３次元モデル（ＭＲＩ３次元モデル）を、より正確な位置関係で組み合わせることができる。

本発明の一態様に係る３次元モデル生成方法Ｓ１において、第３の３次元モデル（合成３次元モデル）が表す３次元形状を、視点を変更可能に表示装置に表示する第５工程（工程Ｓ１０４）をさらに含む、ことが好ましい。

上記の構成によれば、第１の関節軟骨ｎ１及び第１の骨（上腕骨ｂ１）について、術中に確認できる視点からの情報だけでなく、術中にも確認できない視点からの情報を評価者に提供することができる。

本発明の一態様に係る３次元モデル生成方法Ｓ１において、第５工程（工程Ｓ１０４）において表示装置に表示された第３の３次元モデル（合成３次元モデル）が表す３次元形状に対して、ユーザの入力操作に基づく加工を行う第６工程（工程Ｓ１０４）をさらに含む、ことが好ましい。

上記の構成によれば、手術シミュレーションとしての機能を評価者に提供することができる。

本発明の一態様に係る３次元モデル生成装置１０は、ネットワークを介して第１の装置及び第２の装置と接続される通信インタフェース１０４をさらに備え、第１の画像データセット（ＣＴ画像データセット）及び第２の画像データセット（ＭＲＩ画像データセット）のうち少なくとも何れか一方を、通信インタフェース１０４を介して第１の装置から取得し、第３の３次元モデル（合成３次元モデル）を表す第３の画像データセットを、通信インタフェース１０４を介して第２の装置に対して出力する、ことが好ましい。

上記の構成によれば、ネットワークを介して接続される外部の装置に対して、第１の関節軟骨ｎ１及び第１の骨（上腕骨ｂ１）を表す第３の３次元モデル（合成３次元モデル）を生成するサービスを提供することができる。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１０ ３次元モデル生成装置
１１ 第１生成部
１２ 第２生成部
１３ 第３生成部
１４ 表示加工部
２０ 入力装置
３０ 表示装置
１００ コンピュータ装置
１０１ プロセッサ
１０２ メモリ
１０３ 入出力インタフェース
１０４ 通信インタフェース
９００ ＭＲＩ装置
９００ 装置
９０１ 撮像部
９０２ 載置台
９０３ 牽引機構
９１０、９２０ ＭＲＩ画像
ｈ 被検体
ｂ１ 上腕骨
ｂ２ 橈骨
ｎ１、ｎ２ 関節軟骨
ａ１、ａ３、ａ４ 隙間領域

Claims (14)

1. その一部の表面上に第１の関節軟骨が形成された第１の骨と、その一部の表面上に第２の関節軟骨が形成された第２の骨とを含む関節の３次元形状を表す３次元モデルをコンピュータが生成する３次元モデル生成方法であって、
   前記関節における複数の断面画像の各々をそれぞれが表す複数の第１の画像データにより構成された第１の画像データセットであって、少なくとも前記第１の骨が映されている第１の画像データセットに基づいて、前記第１の骨の３次元形状を表す第１の３次元モデルを生成する第１工程と、
   前記関節における複数の断面画像の各々をそれぞれが表す複数の第２の画像データにより構成された第２の画像データセットであって、少なくとも前記第１の関節軟骨と前記第２の関節軟骨とが互いに離間して映されている第２の画像データセットに基づいて、前記第１の関節軟骨の３次元形状を表す第２の３次元モデルを生成する第２工程と、
   前記第１の３次元モデル及び前記第２の３次元モデルに基づいて、前記第１の骨の３次元形状及び前記第１の関節軟骨の３次元形状を組み合わせた第３の３次元モデルを生成する第３工程と、を含み、
   前記第２の画像データセットは、前記第１の関節軟骨及び前記第２の関節軟骨が離間する方向に前記第１の骨及び前記第２の骨の各々を牽引した状態の前記関節を撮影することによって得られたものである、
   ことを特徴とする３次元モデル生成方法。
2. 前記第２の画像データセットは、前記牽引した状態の前記関節を、核磁気共鳴映像法を用いて撮影することによって得られたものである、
   ことを特徴とする請求項１に記載の３次元モデル生成方法。
3. 前記第２工程は、前記複数の第２の画像データの各々のＭＲＩ値に基づいて、前記第１の関節軟骨を表す領域を抽出し、当該第１の関節軟骨を表す領域に基づいて、前記第２の３次元モデルを生成する、
   ことを特徴とする請求項２に記載の３次元モデル生成方法。
4. 前記第１の画像データセットは、前記関節を、コンピュータ断層撮影法を用いて撮影することによって得られたものである、
   ことを特徴とする請求項１～３の何れか１項に記載の３次元モデル生成方法。
5. 前記第２の画像データセットには、前記第１の関節軟骨とともに前記第１の骨が映されており、
   前記第２の画像データセットに基づいて前記第１の骨の３次元形状を表す第４の３次元モデルを生成する第４工程をさらに含み、
   前記第３工程は、前記第１の３次元モデルが表す３次元形状と前記第４の３次元モデルが表す３次元形状とを照合し、前記第１の３次元モデルに含まれる前記第１の骨を表す領域と、前記第４の３次元モデルに含まれる前記第１の骨を表す領域とを重ねることにより、前記第３の３次元モデルを生成する、
   ことを特徴とする請求項１から４の何れか１項に記載の３次元モデル生成方法。
6. 前記第３の３次元モデルが表す３次元形状を、視点を変更可能に表示装置に表示する第５工程をさらに含む、
   ことを特徴とする請求項１から５の何れか１項に記載の３次元モデル生成方法。
7. 前記第５工程において表示装置に表示された前記第３の３次元モデルが表す３次元形状に対して、ユーザの入力操作に基づく加工を行う第６工程をさらに含む、
   ことを特徴とする請求項６に記載の３次元モデル生成方法。
8. その一部の表面上に第１の関節軟骨が形成された第１の骨と、その一部の表面上に第２の関節軟骨が形成された第２の骨とを含む関節の３次元形状を表す３次元モデルを生成する３次元モデル生成装置であって、
   前記関節における複数の断面画像の各々をそれぞれが表す複数の第１の画像データにより構成された第１の画像データセットであって、少なくとも前記第１の骨が映されている第１の画像データセットに基づいて、前記第１の骨の３次元形状を表す第１の３次元モデルを生成する第１生成部と、
   前記関節における複数の断面画像の各々をそれぞれが表す複数の第２の画像データにより構成された第２の画像データセットであって、少なくとも前記第１の関節軟骨と前記第２の関節軟骨とが互いに離間して映されている第２の画像データセットに基づいて、前記第１の関節軟骨の３次元形状を表す第２の３次元モデルを生成する第２生成部と、
   前記第１の３次元モデル及び前記第２の３次元モデルに基づいて、前記第１の骨の３次元形状及び前記第１の関節軟骨の３次元形状を組み合わせた第３の３次元モデルを生成する第３生成部と、を備えており、
   前記第２の画像データセットは、前記第１の関節軟骨及び前記第２の関節軟骨が離間する方向に前記第１の骨及び前記第２の骨の各々を牽引した状態の前記関節を撮影することによって得られたものである、
   ことを特徴とする３次元モデル生成装置。
9. ネットワークを介して第１の装置及び第２の装置と接続される通信インタフェースをさらに備え、
   前記第１の画像データセット及び前記第２の画像データセットのうち少なくとも何れか一方を、前記通信インタフェースを介して前記第１の装置から取得し、
   前記第３の３次元モデルを表す第３の画像データセットを、前記通信インタフェースを介して前記第２の装置に対して出力する、
   ことを特徴とする請求項８に記載の３次元モデル生成装置。
10. 請求項８又は９に記載の３次元モデル生成装置としてコンピュータを機能させるための３次元モデル生成プログラムであって、前記第１生成部、前記第２生成部及び前記第３生成部としてコンピュータを機能させるための３次元モデルプログラム。
11. 前記関節は、前記第１の骨及び前記第２の骨の各々を牽引していない状態において、前記第１の関節軟骨及び前記第２の関節軟骨の一部が接触している関節である、
    ことを特徴とする請求項１から７の何れか１項に記載の３次元モデル生成方法。
12. 前記関節は、腕橈関節又は股関節である、
    ことを特徴とする請求項１から７、及び１１の何れか１項に記載の３次元モデル生成方法。
13. 前記関節は、前記第１の骨及び前記第２の骨の各々を牽引していない状態において、前記第１の関節軟骨及び前記第２の関節軟骨の一部が接触している関節である、
    ことを特徴とする請求項８又は９に記載の３次元モデル生成装置。
14. 前記関節は、腕橈関節又は股関節である、
    ことを特徴とする請求項８、９及び１３の何れか１項に記載の３次元モデル生成装置。

Images