JP6491068B2 - 三次元造形システム、情報処理装置及び方法、並びにプログラム - Google Patents

Description

本発明は、三次元造形システム、情報処理装置及び方法、並びにプログラムに係り、特に、医用画像診断装置などから得られる三次元データに基づいて立体モデルの造形物を造形出力する三次元造形技術及び情報処理技術に関する。

近時、医療分野において、臓器や血管、骨といった人体モデルを、３Ｄプリンタを用いて造形し、手術手技の検討や手術前カンファレンスにおけるメンバーの意思統一に役立てることが期待されている。３Ｄは「Three-Dimensional」又は「Three Dimensions」の短縮表記であり、「三次元」を意味する。特許文献１には、ＣＴ（Computerized Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置などの医用画像診断装置によって得られた三次元画像データを基に、三次元立体モデルを３Ｄプリンタによって造形する技術が記載されている。

また、特許文献２には、三次元ＣＡＤ（Computer Aided Design）データを基にラピッドプロトタイピング装置で作成した簡易試作物に、同じ三次元ＣＡＤデータから作成した３Ｄ−ＣＧ（Computer Graphic）データを重ね合わせて表示することが記載されている。ラピッドプロトタイピング装置は、「３Ｄプリンタ」に対応する用語である。

特許文献２には、現実空間と仮想空間との間の位置合わせの方法に関して、撮影装置から得られる二次元的な画像情報に基づいて物体の幾何特徴を抽出して物体の位置姿勢を決定する方法と、指標となるマーカーを撮影する方法が記載されている。

特開２０１１−２２４１９４号公報 特開２００８−４０９１３号公報

従来、手術前カンファレンスにおいて、拡張現実（ＡＲ； Augmented Reality）を利用することにより、ＣＴデータ等の三次元画像から取得した臓器モデルや腫瘍モデルを表示し、シミュレーションを行う方法が知られている。しかし、拡張現実では、実際のモデルに触れることができないため実寸感を得にくいという課題がある。一方、３Ｄプリンタにより作成した造形物を用いて手術前カンファレンスを行うことでその課題は解決されるが、造形出力の時間的及び金銭的コストが高いという課題がある。これらの課題を解決する方法として、３Ｄプリントした造形物上に仮想物体を拡張現実により重畳表示する方法が考えられる。仮想物体は、「仮想オブジェクト」又は「仮想モデル」と同義である。

３Ｄプリンタによる実際の造形物の作製と拡張現実を組み合わせて、材料コストの低減と実際の寸法の把握容易性を両立させる方法を提供するための技術課題の一つとして、実際の造形物を撮影した画像から造形物の位置や姿勢などを把握する必要がある。

この点について、造形物と仮想モデルの位置合わせの方法として、パターンマッチングを用いる方法や、造形物上に特定位置の目印となるマーカーを３個以上貼り付け、それぞれのマーカーの位置が仮想モデル上でどこに対応するかを入力として与える方法がある。しかし、前者の方法では計算コストが高いという課題があり、後者の方法ではユーザがマーカー位置を入力する手間があるという課題がある。

このような課題は、医療分野で利用される人体モデルの造形物に限らず、工業製品を含む様々な三次元モデルの造形物に関して共通する課題である。

本発明はこのような事情に鑑みてなされたものであり、三次元データを基に三次元造形出力された造形物を撮影した撮影画像から造形物の位置や姿勢に関する情報を簡易に取得することが可能になる三次元造形システム、情報処理装置及び方法、並びにプログラムを提供することを目的とする。

課題を解決するために、次の発明態様を提供する。

第１態様に係る三次元造形システムは、三次元の構造物を表す三次元データを取得する三次元データ取得手段と、三次元データから造形対象とする構造物を表す造形対象物データを生成する造形対象物データ生成手段と、造形対象物データを基に造形される造形物に位置合わせ用のマーカーを取り付けるためのマーカー取付部の三次元形状を表す取付部データを、造形対象物データに加えて三次元造形用データを生成する三次元造形用データ生成手段と、三次元造形用データに基づいて、マーカー取付部を有する造形物を造形出力する三次元造形出力手段と、造形物のマーカー取付部にマーカーを取り付けた状態の造形物を撮影する撮影手段と、撮影手段によって撮影した撮影画像からマーカーを認識することにより、撮影手段と造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出手段と、を備える三次元造形システムである。

第１態様によれば、三次元データから生成した造形対象物データを基に造形物を造形する際に、造形対象物データにマーカー取付部の三次元形状を表す取付部データが追加されて三次元造形用データが生成される。この三次元造形用データを基に三次元造形出力手段によって造形物を造形出力することにより、マーカー取付部を有する造形物が得られる。
予め用意されているマーカーを造形物のマーカー取付部に取り付けることにより、造形物の特定位置にマーカーを固定することができる。マーカーが取り付けられた状態の造形物を撮影し、得られた撮影画像からマーカーを認識することにより、撮影手段と造形物の相対的な位置関係を表す情報を含むカメラパラメータが算出される。このようにして算出されたカメラパラメータを利用することで、造形物上に仮想オブジェクトや各種の情報を表示することが可能になる。

第１態様によれば、ユーザによる対応位置の入力作業などが不要であり、簡易にカメラパラメータを得ることができる。また、第１態様によれば、パターンマッチングを利用する方法と比べて計算コストが低く、仮想オブジェクトなどの表示に要する位置合わせを簡便に行うことができる。

第２態様として、第１態様に記載の三次元造形システムにおいて、カメラパラメータは、撮影手段の位置、撮影手段の撮影方向、及び、撮影手段と造形物の距離を含む構成とすることができる。

第３態様として、第１態様又は第２態様の三次元造形システムにおいて、マーカーは、マーカー取付部と連結させる連結部を有しており、連結部とマーカー取付部との嵌合結合により、造形物にマーカーが固定される構成とすることができる。

第４態様として、第３態様の三次元造形システムにおいて、マーカー取付部及び連結部のうち一方が雄ねじ型であり、他方が雌ねじ型である構成とすることができる。

第５態様として、第３態様又は第４態様の三次元造形システムにおいて、マーカーは、六面体の六面のうち一つの面に連結部である穴を有し、他の五つの面の各々に異なる模様が付されている構成とすることができる。

第６態様として、第１態様から第５態様のいずれか一態様の三次元造形システムにおいて、カメラパラメータを基に、三次元データと現実の造形物の位置との対応関係を特定する位置合わせ処理手段を備える構成とすることができる。

第７態様として、第１態様から第６態様のいずれか一態様の三次元造形システムにおいて、カメラパラメータを用いて、造形物の姿勢に応じた表示用データを生成する表示用データ生成手段と、表示用データに基づき造形物の姿勢に応じた情報表示を行う表示手段と、を備える構成とすることができる。

第７態様の三次元造形システムは、拡張現実を提供する表示システム、或いは、拡張現実提供システムとして把握することができる。

第８態様として、第７態様の三次元造形システムにおいて、三次元データから少なくとも非造形対象の三次元領域を含む関心領域を抽出する関心領域抽出手段を有し、表示用データ生成手段は、関心領域抽出手段により抽出された関心領域に対応する三次元データを基に、カメラパラメータを用いて関心領域の仮想オブジェクトの表示を行うための表示用データを生成する構成とすることができる。

第９態様として、第８態様の三次元造形システムにおいて、表示用データ生成手段は、仮想オブジェクトを撮影画像に重畳表示させる表示用データを生成する構成とすることができる。

第１０態様として、第７態様から第９態様のいずれか一態様の三次元造形システムにおいて、撮影画像からマーカーの画像部分を消し去る画像加工手段を有し、表示用データ生成手段は、撮影画像からマーカーの画像部分を消した画像を表示させる表示用データを生成する構成とすることができる。

第１１態様として、第１態様から第１０態様のいずれか一態様の三次元造形システムにおいて、三次元データは医用画像診断装置によって取得された医用画像データである構成とすることができる。

第１２態様に係る情報処理方法は、三次元の構造物を表す三次元データを取得する三次元データ取得工程と、三次元データから造形対象とする構造物を表す造形対象物データを生成する造形対象物データ生成工程と、造形対象物データを基に造形される造形物に位置合わせ用のマーカーを取り付けるためのマーカー取付部の三次元形状を表す取付部データを、造形対象物データに加えて三次元造形用データを生成する三次元造形用データ生成工程と、三次元造形用データに基づいて、マーカー取付部を有する造形物を造形出力する三次元造形出力工程と、造形物のマーカー取付部にマーカーを取り付けた状態の造形物を撮影手段により撮影する撮影工程と、撮影工程によって撮影した撮影画像からマーカーを認識することにより、撮影手段と造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出工程と、を含む情報処理方法である。

第１２態様の情報処理方法は、拡張現実の提供に利用することができる。第１２態様の情報処理方法は、拡張現実提供方法として把握することができる。

第１２態様において、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、三次元造形システムにおいて特定される処理や機能を担う手段は、これに対応する処理や動作の「工程（ステップ）」の要素として把握することができる。

第１３態様に係る情報処理装置は、三次元の構造物を表す三次元データを取得する三次元データ取得手段と、三次元データから造形対象とする構造物を表す造形対象物データを生成する造形対象物データ生成手段と、造形対象物データを基に造形される造形物に位置合わせ用のマーカーを取り付けるためのマーカー取付部の三次元形状を表す取付部データを記憶しておく取付データ記憶手段と、造形対象物データに取付部データを加えて三次元造形用データを生成する三次元造形用データ生成手段と、三次元造形用データを出力するデータ出力手段と、を備える情報処理装置である。

第１３態様によれば、三次元データから生成した造形対象物データに、マーカー取付部の三次元形状を表す取付部データが追加されて三次元造形用データが生成される。この三次元造形用データを基に三次元造形出力手段によって造形物を造形出力することにより、マーカー取付部を有する造形物を製造することができる。

第１３態様において、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。

第１４態様に係る三次元造形システムは、第１３態様の情報処理装置と、三次元造形用データに基づいて、マーカー取付部を有する造形物を造形出力する三次元造形出力手段と、を備える三次元造形システムである。

第１５態様に係るプログラムは、コンピュータを、三次元の構造物を表す三次元データを取得する三次元データ取得手段と、三次元データから造形対象とする構造物を表す造形対象物データを生成する造形対象物データ生成手段と、造形対象物データを基に造形される造形物に位置合わせ用のマーカーを取り付けるためのマーカー取付部の三次元形状を表す取付部データを、造形対象物データに加えて三次元造形用データを生成する三次元造形用データ生成手段と、三次元造形用データを出力するデータ出力手段として機能させるためのプログラムである。

第１５態様のプログラムにおいて、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。

本発明によれば、三次元データを基に三次元造形出力された造形物を撮影した撮影画像から簡単にカメラパラメータを求めることができ、拡張現実の表示などに必要な造形物の位置や姿勢に関する情報を簡易に取得することが可能になる。

図１は本発明の実施形態に係る三次元造形システムの構成例を示すブロック図である。 図２は三次元造形システムによる造形物の製造手順を示したフローチャートである。 図３は三次元データの一例を示す模式図である。 図４は図３の三次元データから造形対象とする構造物のみを抽出したデータの例を示す図である。 図５は造形対象物データに、マーカー取付部の三次元形状を表す取付データを追加した様子を示す要部拡大図である。 図６は取付データを追加した３Ｄプリント用データを基に造形出力された造形物の例を示す斜視図である。 図７は図６に示した造形物にマーカーを固定した様子を示した斜視図である。 図８はジョブ編集画面の画像例を示す図である。 図９は造形物を利用した拡張現実の提供方法の例を示すフローチャートである。 図１０は造形物を撮影する際の様子を示す説明図である。 図１１は図１０の撮影状況により撮影された撮影画像の例を示す図である。 図１２は造形物に対するマーカーの取付構造に関する他の実施形態を示す要部断面図である。 図１３は肝臓の血管のモデルを造形した造形物にマーカーを固定した様子を示す斜視図である。 図１４は図１３の造形物の上に肝臓と病変領域の仮想オブジェクトを重畳表示させた表示例を示す図である。

以下、添付図面に従って本発明の実施の形態について詳述する。

［三次元造形システムの構成例］
図１は本発明の実施形態に係る三次元造形システム１０の構成例を示すブロック図である。三次元造形システム１０は、第１情報処理装置１２と、３Ｄプリンタ１４と、ヘッドマウントディスプレイ１６と、第２情報処理装置１８と、を備える。

第１情報処理装置１２は、３Ｄデータ取得部２０と、造形対象物データ生成部２２と、取付データ記憶部２４と、３Ｄプリント用データ生成部２６と、データ出力部２８と、を備える。また、第１情報処理装置１２は、第１入力装置３０と第１表示装置３２とを備える。

第１情報処理装置１２は、コンピュータのハードウエア及びソフトウエアによって構成される。ソフトウエアは「プログラム」と同義である。３Ｄデータ取得部２０は、三次元の構造物を表す三次元データを取得するデータ入力インターフェースである。三次元データを「３Ｄデータ」と表記する場合がある。本実施形態で取り扱う３Ｄデータは、医用画像診断装置３４によって撮影された人体の一部又は全部の構造を表す医用画像データとする。医用画像診断装置３４には、例えば、ＣＴ装置、ＭＲＩ装置、ＯＣＴ（Optical Coherence Tomography）装置、超音波診断装置、内視鏡装置など様々な装置が該当する。

３Ｄデータ取得部２０は、例えば、患者の肝臓を含むＣＴボクセルデータを取得する。３Ｄデータ取得部２０は、外部又は装置内の他の信号処理部から画像を取り込むデータ入力端子で構成することができる。３Ｄデータ取得部２０として、有線又は無線の通信インターフェース部を採用してもよいし、メモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース部を採用してもよく、若しくは、これら態様の適宜の組み合わせであってもよい。３Ｄデータ取得部２０は「三次元データ取得手段」の一形態に相当する。

造形対象物データ生成部２２は、３Ｄデータ取得部２０を介して取得した３Ｄデータから、造形出力の対象とする構造物のデータを生成する処理部である。造形出力の対象とする構造物を「造形対象物」という。一例を示すと、造形対象物データ生成部２２は、肝臓の３Ｄデータから、造形出力の対象とする血管のデータを生成する処理を行う。造形対象物のデータを「造形対象物データ」と呼ぶ。造形対象物データを「生成する」とは、３Ｄデータの中から該当するデータ部分を「認識する」、「抽出する」、「設定する」、又は「決定する」という概念も含む。例えば、肝臓内の一定以上の径を持つ血管のみを造形対象物の領域として抽出する。

３Ｄデータの中から、どの部分を造形出力の対象とするかについては、手動で選択してもよいし、自動で選択してもよい。例えば、第１表示装置３２に表示される三次元データの映像を見ながら、第１入力装置３０を操作して所望の造形対象物の領域を指定することができる。また、例えば、３Ｄデータ内の一定の太さ以上の「血管」を造形対象の構造物として指定することにより、３Ｄデータの中から、該当する血管の部分を自動的に抽出するようにプログラムされていてもよい。造形対象物データ生成部２２は「造形対象物データ生成手段」の一形態に相当する。

取付データ記憶部２４は、造形対象物データを基に３Ｄプリンタ１４にて造形される造形物４０に位置合わせ用のマーカー５０を取り付けるためのマーカー取付部４２の三次元形状を表す取付部データを記憶しておく手段である。取付データ記憶部２４は「取付データ記憶手段」の一形態に相当する。

本例のマーカー５０は、造形物４０に対して脱着自在に固定可能な立体マーカーであり、表面に幾何学的な模様が付されている。マーカー５０は、マーカー取付部４２との連結を行うための連結部５２を有している。マーカー５０の連結部５２と造形物４０のマーカー取付部４２との嵌合結合により、造形物４０にマーカー５０が固定される。

取付データ記憶部２４に記憶される取付部データは、マーカー５０の連結部５２の三次元形状に対応して連結部５２に嵌合する三次元形状を表すデータである。

３Ｄプリント用データ生成部２６は、造形対象物データ生成部２２にて生成された造形対象物データに、取付部データを追加して３Ｄプリント用データを生成する。３Ｄプリント用データは、造形対象物の立体モデルにマーカー取付部４２が付加された三次元構造物を３Ｄプリンタ１４で造形出力するためのデータである。３Ｄプリント用データは「三次元造形用データ」の一形態に相当し、３Ｄプリント用データ生成部２６は「三次元造形用データ生成手段」の一形態に相当する。

データ出力部２８は、３Ｄプリント用データ生成部２６にて生成された３Ｄプリント用データを外部に出力するためのデータ出力インターフェースである。データ出力部２８として、有線又は無線の通信インターフェース部を採用してもよいし、メモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース部を採用してもよく、若しくは、これら態様の適宜の組み合わせであってもよい。データ出力部２８は「データ出力手段」の一形態に相当する。

３Ｄプリント用データ生成部２６にて生成された３Ｄプリント用データは、データ出力部２８を介して３Ｄプリンタ１４に送られる。

第１入力装置３０と第１表示装置の組み合わせは、第１情報処理装置１２のユーザインターフェースとして機能する。第１入力装置３０は各種情報を入力する操作を行うため操作部として機能する。第１入力装置３０には、キーボード、マウス、タッチパネル、トラックボールなど、各種の手段を採用することができ、これらの適宜の組み合わせであってもよい。第１表示装置３２は各種情報を表示する表示部として機能する。第１表示装置３２に、例えば、液晶ディスプレイ、有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどの種々の表示方式による表示デバイスを用いることができる。第１情報処理装置１２に対する指示の入力や設定等の作業は、第１入力装置３０と第１表示装置３２を利用して行うことができる。

３Ｄプリンタ１４は「三次元造形出力手段」の一形態に相当する。３Ｄプリンタ１４は、３Ｄプリント用データに基づいて、マーカー取付部４２を有する造形物４０を造形出力する。３Ｄプリンタ１４の造形方式は特に限定されない。３Ｄプリンタ１４の造形方式として、例えば、熱溶融堆積方式、インクジェット方式、光造形方式、粉末固着方式などがある。熱溶融堆積方式は、加熱融解した樹脂を少しずつ積み重ねていく方式であり、ＦＤＭ（Fused Deposition Modeling）方式と呼ばれる。インクジェット方式は、インクジェット式の吐出ヘッドから紫外線硬化型の樹脂を噴射し、紫外線を照射することで樹脂を硬化させて積層させる方式である。光造形方式は、液状の樹脂に紫外線などを照射して、樹脂を少しずつ硬化さることで造形を行う方式である。粉末固着方式は、粉末の樹脂に接着剤を吹きつけて固めていく方法である。液状の樹脂に紫外線などを照射し少しずつ硬化させていく光造形方式、なお、三次元造形出力手段として、３Ｄプリンタ１４に代えて、切削造形法による３Ｄプロッターを用いる形態も可能である。

３Ｄプリンタ１４によって造形出力された造形物４０のマーカー取付部４２にマーカー５０の連結部５２を嵌合させ、造形物４０にマーカー５０を固定する。

ヘッドマウントディスプレイ１６は、撮影機能を備えるゴーグル型（又は眼鏡型）の表示装置であり、撮影部６０と表示部６２とを備える。撮影部６０は、図示せぬ撮影レンズとイメージセンサを含むカメラ部である。本例では、マーカー５０が取り付けられた状態の造形物４０を撮影部６０によって撮影し、造形物４０の撮影画像を得る。撮影部６０は「撮影手段」の一形態に相当する。撮影部６０は少なくとも１枚の静止画の撮影を行う。好ましくは、撮影部６０は連続的な撮影を行い、時系列で撮影画像を取得する。

表示部６２は、撮影部６０によって撮影された撮影画像を基に生成される情報を表示する表示装置である。表示部６２は、非透過型表示装置で構成されてもいし、透過型表示装置で構成されてもよい。表示部６２は「表示手段」の一形態に相当する。

第２情報処理装置１８は、撮影部６０で撮影された撮影画像を処理する画像処理機能と、表示部６２に表示させる表示用データを生成する表示制御機能とを有する。第２情報処理装置１８は、データ取得部７０と、関心領域抽出部７２と、撮影画像取得部７４と、カメラパラメータ算出部７６と、マーカー情報記憶部７８と、位置合わせ処理部８０と、画像加工部８２と、表示用データ生成部８４と、表示用データ出力部８６とを備える。また、第２情報処理装置１８は、ユーザインターフェースとして機能する第２入力装置９０と第２表示装置９２とを備える。第２入力装置９０と第２表示装置９２の構成は第１入力装置３０と第１表示装置３２の構成と同様である。第２情報処理装置１８は、コンピュータのハードウエア及びソフトウエアによって構成することができる。

データ取得部７０は、第１情報処理装置１２から各種のデータを取得するインターフェースである。第２情報処理装置１８は、データ取得部７０を介して、３Ｄデータ、造形対象物データ、３Ｄプリント用データなどを取得することができる。

関心領域抽出部７２は、３Ｄデータから指定された関心領域を抽出する処理を行う。「抽出する」とは、「認識する」、「設定する」、又は「決定する」という概念をも含む。関心領域は、３Ｄデータのうち、少なくとも造形対象とされた構造物以外の三次元領域を含む領域として指定される。すなわち、関心領域は、少なくとも非造形対象の三次元領域を含む。例えば、３Ｄプリンタ１４で造形されていない肝臓内における病変領域が関心領域として指定される。なお、関心領域は手動で指定してもよいし、自動的に指定してもよい。手動によって関心領域を指定する操作は、第２入力装置９０と第２表示装置９２を用いて行うことも可能であるし、第１入力装置３０と第１表示装置３２を用いて行うことも可能である。関心領域抽出部７２は「関心領域抽出手段」の一形態に相当する。

撮影画像取得部７４は、ヘッドマウントディスプレイ１６の撮影部６０で撮影した撮影画像を取り込む画像データ入力インターフェースである。撮影画像取得部７４は、撮影部６０から画像信号を取り込むデータ入力端子で構成することができる。また、撮影画像取得部７４として、有線又は無線の通信インターフェース部を採用してもよい。

カメラパラメータ算出部７６は、撮影部６０によって撮影した撮影画像からマーカー５０を認識し、マーカー５０の画像情報から、撮影部６０と被写体である造形物４０の相対的な位置関係を表す情報を含むカメラパラメータを算出する演算処理を行う。カメラパラメータには、撮影部６０の位置、撮影部６０の撮影方向、及び、撮影部６０と造形物４０の距離が含まれる。マーカー５０は、造形物４０の予め定められた特定の部位に、予め定められた向き（姿勢）で固定されるため、撮影画像内のマーカー５０の情報から、カメラパラメータを計算することができる。

カメラパラメータ算出部７６は、画像認識技術を利用して、撮影画像からマーカー５０を認識し、かつ、マーカー５０の写り方から撮影部６０とマーカー５０の相対的な位置関係（つまり、撮影部６０と造形物４０の相対的な位置関係）を計算する。相対的な位置関係には、撮影部６０に対するマーカー５０の姿勢（すなわち、造形物４０の姿勢）が含まれる。カメラパラメータ算出部７６は「カメラパラメータ算出手段」の一形態に相当する。

マーカー情報記憶部７８には、マーカー５０の幾何特徴を示すマーカー情報が記憶されている。マーカー情報には、マーカー５０の立体的形状、及びマーカー５０の表面に付された幾何学模様を特定する情報が含まれる。カメラパラメータ算出部７６は、マーカー情報記憶部７８に記憶されているマーカー情報と撮影画像内のマーカー５０の画像情報を利用してカメラパラメータを算出する。

位置合わせ処理部８０は、カメラパラメータ算出部７６で算出したカメラパラメータを基に、３Ｄデータと、撮影部６０が撮影した現実の造形物４０の位置との対応関係を特定する処理を行う。造形物４０は３Ｄデータから生成した３Ｄプリント用データを基に造形されたものであるため、カメラパラメータを基に、３Ｄプリント用データにおけるデータ上の位置と、現実の造形物４０の物体上の位置の対応関係を特定できる。３Ｄデータの座標系と、３Ｄプリント用データの座標系の対応関係は明らかであるため、３Ｄデータと現実の造形物４０の位置の対応関係を把握できる。位置合わせ処理部８０は、関心領域抽出部７２で抽出した関心領域と撮影部６０により撮影された造形物４０の位置の対応関係を把握することができる。位置合わせ処理部８０は「位置合わせ処理手段」の一形態に相当する。

画像加工部８２は、撮影部６０で撮影した撮影画像の加工を行う処理部である。画像加工部８２は、撮影画像からマーカー５０の画像部分を消し去る処理を行う。マーカー５０は、カメラパラメータを求めるために造形物４０に取り付けた付属部品であることから、表示部６２に造形物４０の撮影画像を表示させる場合に、マーカー５０の情報を表示させる必要性に乏しい。したがって、表示部６２に非透過型表示装置を採用する場合に、撮影画像内からマーカー５０の画像部分を非表示とする処理を選択できるようにすることが好ましい。画像加工部８２は「画像加工手段」の一形態に相当する。

表示用データ生成部８４は、カメラパラメータを用いて、造形物４０の姿勢に応じた表示用データを生成する処理を行う。表示用データ生成部８４は、関心領域抽出部７２により抽出された関心領域に対応する三次元データを基に、関心領域の仮想オブジェクトの表示を行うための表示用データを生成する。表示用データ生成部８４は、カメラパラメータを基に、表示せる関心領域の仮想オブジェクトの姿勢を計算し、仮想オブジェクトの表示に用いる表示用データを生成する。

表示部６２が非透過型表示装置で構成される場合、表示用データ生成部８４は、撮影部６０で撮影した撮影画像に仮想オブジェクトを重畳させた表示を行う表示用データを生成する。表示部６２が透過型表示装置で構成される場合には、ヘッドマウントディスプレイ１６を装着した人の目の視界の中の造形物４０に対して仮想オブジェクトが適切な位置に重畳される表示用データが生成される。また、表示用データ生成部８４は、関心領域の仮想オブジェクトに限らず、拡張現実による様々な情報の表示を行うための表示用データを生成することができる。表示用データ生成部８４は「表示用データ生成手段」の一形態に相当する。

表示用データ出力部８６は、表示用データ生成部８４で生成された表示用データを出力するデータ出力インターフェースである。表示用データ出力部８６は、データ出力端子で構成することができる。また、表示用データ出力部８６には、有線又は無線の通信インターフェース部を採用することができる。

表示用データ生成部８４により生成された表示用データは、表示用データ出力部８６を介して表示部６２に送られる。表示部６２は表示用データに基づき造形物４０の姿勢に応じた情報表示を行う。表示部６２は「表示手段」の一形態に相当する。

［システム構成の変形例］
図１では、３Ｄプリンタ１４の制御装置として機能する第１情報処理装置１２と、ヘッドマウントディスプレイ１６の画像情報を処理する画像処理装置として機能する第２情報処理装置１８をそれぞれ別々のコンピュータで構成したが、第１情報処理装置１２の機能と第２情報処理装置１８の機能を１台のコンピュータで実現する構成も可能である。

また、第１情報処理装置１２の機能の一部を第２情報処理装置１８に搭載する形態や、第２情報処理装置１８の機能の一部を第１情報処理装置１２に搭載する形態も可能である。さらに、第１情報処理装置１２の機能及び第２情報処理装置の機能を３台以上の複数台のコンピュータで機能を分担して実現してもよい。

また、第２情報処理装置１８の画像処理機能の一部又は全部はヘッドマウントディスプレイ１６に搭載する形態も可能である。ヘッドマウントディスプレイ１６として、撮影機能及び撮影画像の処理機能及び表示用データの生成機能を備えるヘッドマウント型のウエアブル端末を用いることができる。

［三次元造形システム１０の作用］
次に、本実施形態に係る三次元造形システム１０による造形物４０の製造方法と、製造した造形物４０を利用した拡張現実の提供方法について説明する。

図２は三次元造形システム１０による造形物４０の製造手順を示したフローチャートである。本実施形態により造形物４０を製造する際には、まず、元になる３Ｄデータを取得する（ステップＳ１０）。ステップＳ１０の３Ｄデータ取得工程は、図１で説明した第１情報処理装置１２によって実施される。第１情報処理装置１２は、３Ｄデータ取得部２０を介して３Ｄデータを取得する。ステップＳ１０は「三次元データ取得工程」の一形態に相当する。

次に、図２のステップＳ１０で取得した３Ｄデータ１０２から造形対象とする構造物を抽出して造形対象物データを生成する（ステップＳ１２）。ステップＳ１２の造形対象物データ生成工程は、図１で説明した造形対象物データ生成部２２の処理機能により実施される。

図３は図２のステップＳ１０で取得される３Ｄデータの模式図である。図３では説明を簡単にするために、第１構造物１１０と第２構造物１１２を含んだ３Ｄデータ１０２を示した。第１構造物１１０と第２構造物１１２のそれぞれは例えば、血管である。そして、図３に示した３Ｄデータ１０２のうち、３Ｄプリンタ１４によってプリント（造形出力）したい構造物は第１構造物１１０であるとする。

この場合、造形対象物データ生成工程（図２のステップＳ１２）にて、３Ｄデータ１０２から、第１構造物１１０に対応するデータが抽出され、造形対象物データ１０４が生成される。

図４は図３の３Ｄデータ１０２から造形対象の構造物である第１構造物１１０のみを抽出した様子を示した模式図である。図４に示した第１構造物１１０の三次元データが造形対象物データ１０４（図２参照）に該当する。

次に、図２のステップＳ１２によって生成した造形対象物データ１０４に、取付部データ１０６を追加し、３Ｄプリント用データを生成する（ステップＳ１４）。ステップＳ１４の３Ｄプリント用データ生成工程は、図１で説明した３Ｄプリント用データ生成部２６の処理機能により実施される。取付部データ１０６は、図１で説明した取付データ記憶部２４に記憶されているデータである。ステップＳ１４の３Ｄプリント用データ生成工程は「三次元造形用データ生成工程」の一形態に相当する。

図５は図４で説明した造形対象物データ１０４に、取付部データ１０６をデータ上で追加した様子を示す要部拡大図である。図５では、図４に示した第１構造物１１０の右上の端部１１０Ａに、マーカー取付部４２の三次元形状を示す取付部データ１０６を追加（合成）した例が示されている。

マーカー５０は、造形物４０の特定の部位に対して、一意の位置かつ一意の姿勢で取り付けることが望ましい。「一意の」とは「唯一の」と同義である。図５に例示したマーカー取付部４２は、マーカー５０の連結部５２である凹部（穴）に嵌合する凸形状を有し、かつ、マーカー５０の位置決めと回転規制（回り止め）の役割を果たす三次元形状を有する。マーカー取付部４２の三次元形状は、図５の例に限らず、様々な具体的形態があり得る。

次に、図２のステップＳ１４で生成した３Ｄプリント用データ１０８を基に、３Ｄプリンタ１４にて造形出力を行う（ステップＳ１６）。ステップＳ１６の三次元造形出力工程は、図１で説明した３Ｄプリンタ１４を作動させることにより実施される。

図６は図５で説明したマーカー取付部４２の取付部データ１０６を追加した３Ｄプリント用データ１０８を基に造形出力された造形物４０の例である。この造形物４０は、第１構造物１１０の立体モデルの端部４０Ａにマーカー取付部４２が一体的に形成された三次元造形物となっている。

このようにして造形物４０を製造した後、造形物４０にマーカー５０を固定する（図２のステップＳ１８）。ステップＳ１８のマーカー取付工程は、造形物４０のマーカー取付部４２とマーカー５０の連結部５２とを嵌合結合させることによって行われる。この作業は手動で実施してもよいし、図示せぬロボットなどを利用して自動的に実施してもよい。

図７は図６に示した造形物４０にマーカー５０を固定した様子を示した図である。図７のようにマーカー５０を造形物４０に取り付けた状態で造形物４０の撮影が行われる。

図８はマーカー５０の一例を示す斜視図である。図８に例示したマーカー５０は、六面体の形状を有し、六面体の六面のうちの一つの面（図８における底面）に連結部５２である穴を有している。図８では連結部５２の穴は見えていない（図１参照）。マーカー５０における連結部５２（図８中不図示）の穴の三次元形状は、造形物４０のマーカー取付部４２が一意に嵌合する形状である。「一意に嵌合」とは、唯一の位置かつ唯一の姿勢で嵌合することを意味する。

マーカー５０は、連結部５２が形成されている底面に該当しない他の五つの面の各々にそれぞれ異なる幾何学模様５４が付されている。なお、連結部５２が形成されている底面にも幾何学模様が付されていてもよい。マーカー５０の各面に付されているそれぞれの幾何学模様５４とマーカー５０上での位置関係に関する情報、並びに、連結部５２の位置と穴形状に関する情報は、予めマーカー情報としてマーカー情報記憶部７８（図１参照）に保持されている。マーカー情報では、マーカー５０上の位置はマーカー座標系で記述される。

次に、造形物４０を利用した拡張現実の提供方法の例を説明する。

図２のステップＳ１０からステップＳ１６で説明した造形物４０の製造プロセスとは別に、ステップＳ１０で取得した３Ｄデータ１０２から、非造形対象の三次元領域を含む関心領域を抽出する処理が行われる（ステップＳ２０）。例えば、図３に示した第２構造物１１２を関心領域とすることができる。ステップＳ２０の関心領域抽出工程は、図１で説明した関心領域抽出部７２の機能によって実施される。関心領域抽出工程（ステップＳ２０）で抽出された関心領域データ１２０は、仮想オブジェクトの表示用データの生成に利用される。

図９は造形物４０を利用した拡張現実の提供方法の例を示すフローチャートである。図９のフローチャートに示した各工程は、図１で説明した三次元造形システム１０におけるヘッドマウントディスプレイ１６と第２情報処理装置１８によって実施される。

図９のフローチャートが開始されると、まず、ヘッドマウントディスプレイ１６の撮影部６０により造形物４０を撮影し（ステップＳ３０）、撮影画像の取得を行う（ステップＳ３２）。ステップＳ３０は「撮影工程」の一形態に相当する。ステップＳ３２の撮影画像取得工程は、撮影部６０によって撮影した撮影画像のデータを第２情報処理装置１８が取り込む工程に相当する。

図１０は造形物４０を撮影する際の様子を示す説明図である。図１０に示したように、造形物４０にマーカー５０が取り付けられている状態で撮影部６０によって造形物４０の撮影が行われる。この撮影により、マーカー５０を含んだ造形物４０の撮影画像が得られる。

図１１は、図１０の撮影状況により撮影された撮影画像１３０の例を示している。撮影画像１３０には、マーカー５０と造形物４０の画像情報が含まれている。

図９のステップＳ３２により撮影画像が取得されると、得られた撮影画像からマーカー５０を認識する処理を行い（ステップＳ３４）、マーカー５０の画像情報を基にカメラパラメータを算出する（ステップＳ３６）。ステップＳ３４のマーカー認識工程とステップＳ３６のカメラパラメータ算出工程は、図１で説明したカメラパラメータ算出部７６の機能によって実施される。

カメラパラメータ算出部７６は、撮影画像から把握されるマーカー５０の画像情報と、予め保持されているマーカー情報とを基に、マーカー５０の位置及び姿勢を検出してカメラパラメータを算出する。

造形物４０に対するマーカー５０の取付位置と取付姿勢は予め把握されているため、カメラパラメータから造形物４０の位置及び姿勢の情報を得ることができる。カメラパラメータを用いて、造形物４０の位置及び姿勢に応じて、様々な情報を表示部６２に表示させることが可能になる。本例では、関心領域の仮想オブジェクトを造形物４０に重畳表示する例を示すが、表示部６２に表示させる情報はこの例に限らない。

ステップＳ３６に続いて、３Ｄデータと造形物４０の位置合わせ処理を行う（ステップＳ３８）。造形物４０は３Ｄデータから生成された３Ｄプリント用データを基に造形されたものであるため、カメラパラメータから把握される造形物４０の位置及び姿勢情報を基に、３Ｄデータの座標系と、現実の造形物４０との位置関係を特定することができる。

ステップＳ３６の位置合わせ処理工程の処理結果を基に、関心領域の仮想オブジェクトの表示姿勢及び表示位置が決定される（ステップＳ４０）。ステップＳ３８の位置合わせ処理工程及びステップＳ４０の仮想オブジェクト表示位置決定工程は、図１で説明した位置合わせ処理部８０の処理機能によって実施される。

次いで、図９のステップＳ４２に進み、仮想オブジェクトの表示用データを生成する。ステップＳ４２の表示用データ生成工程は、図１で説明した表示用データ生成部８４の処理機能によって実施される。こうして、造形物４０の位置及び姿勢に応じた仮想オブジェクトの表示用データが生成され、表示用データは表示部６２に送られる。

ステップＳ４２で生成した表示用データを表示部６２に供給し、表示部６２において造形物４０の撮影画像に関心領域の仮想オブジェクトを重畳表示する（ステップＳ４４）。

ステップＳ４４の表示工程は、図１で説明した表示部６２の処理機能によって実施される。また、表示部６２における仮想オブジェクトの重畳表示に際して、造形物４０の撮影画像からマーカー５０の画像部分を消して、造形物４０の画像情報を表示してもよい。

本実施形態によれば、実寸感を把握できる造形物４０に、非造形対象領域である関心領域の仮想オブジェクトを重畳表示することができる。これにより、実際の三次元モデルである造形物４０と関心領域の位置関係を把握しやすくなり、手術前のシミュレーションや手術前カンファレンスを効果的に行うことができる。

また、本実施形態によれば、３Ｄプリンタによる造形出力が困難な三次元領域（構造物）の造形出力を省略して、拡張現実による仮想オブジェクトの表示で代替することができる。このため、時間的コスト及び材料コストの低減を図ることが可能である。

上述した第１情報処理装置１２による処理の内容として説明した方法は、３Ｄデータから三次元の造形物を製造するための情報処理方法として理解することができる。

また、第１情報処理装置１２及び第２情報処理装置１８による処理の内容として説明した方法は、３Ｄデータを基に造形した造形物を利用する拡張現実の提供に有益な情報処理方法として理解することができる。

［変形例１］
造形物４０に対するマーカー５０の取付構造に関して、図５で例示した構成に限らない。造形物４０のマーカー取付部４２及びマーカー５０の連結部５２のうち一方が雄ねじ型であり、他方が雌ねじ型である構成とすることも可能である。螺合による結合も「嵌合結合」の概念に含まれる。

図１２は造形物４０に対するマーカー５０の取付構造に関する他の実施形態を示す要部断面図である。図１２では、造形物４０のマーカー取付部４２が雄ねじ型、マーカー５０の連結部５２が雌ねじ型である例が示されている。

［実施例］
図１３は肝臓の３Ｄデータを基に血管のモデルを造形した造形物４０にマーカー５０を固定した様子を示す斜視図である。

図１４は、図１３で示した造形物４０を撮影し、造形物４０の上に、肝臓の仮想オブジェクト１６０と病変領域の仮想オブジェクト１６２を重畳表示させた表示例を示す図である。図１４において、円で囲んだ領域が病変領域の仮想オブジェクト１６２である。

［コンピュータに第１情報処理装置１２の処理機能及び第２情報処理装置１８の処理機能を実現させるためのプログラムについて］
上述の実施形態で説明した第１情報処理装置１２の処理機能及び第２情報処理装置１８の処理機能をコンピュータに実現させるためのプログラムをＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）や磁気ディスクその他のコンピュータ可読媒体（有体物たる非一時的な情報記憶媒体）に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどのネットワークを利用してプログラムをダウンロードサービスとして提供することも可能である。

また、上述の実施形態で説明した第１情報処理装置１２の処理機能及び／又は第２情報処理装置１８の処理機能をアプリケーションサーバとして提供し、ネットワークを通じて処理機能を提供するサービスを行うことも可能である。

［他の応用例］
上述の実施形態では、医用画像診断装置３４から得られる３Ｄデータを取り扱う例を説明したが、本発明は、三次元ＣＡＤデータを用いて造形物を造形出力するシステムにも適用することができる。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有するものにより、多くの変形が可能である。

１０…三次元造形システム、１２…第１情報処理装置、１４…３Ｄプリンタ、１６…ヘッドマウントディスプレイ、１８…第２情報処理装置、２０…３Ｄデータ取得部、２４…取付データ記憶部、２２…造形対象物データ生成部、２６…３Ｄプリント用データ生成部、２８…データ出力部、４０…造形物、４２…マーカー取付部、５０…マーカー、５２…連結部、６０…撮影部、６２…表示部、７０…データ取得部、７２…関心領域抽出部、７４…撮影画像取得部、７６…カメラパラメータ算出部、７８…マーカー情報記憶部、８０…位置合わせ処理部、８２…画像加工部、８４…表示用データ生成部

Claims (15)

1. 三次元の構造物を表す三次元データを取得する三次元データ取得手段と、
   前記三次元データから造形対象とする構造物を表す造形対象物データを生成する造形対象物データ生成手段と、
   前記造形対象物データを基に造形される造形物に位置合わせ用のマーカーを取り付けるためのマーカー取付部の三次元形状を表す取付部データを、前記造形対象物データに加えて三次元造形用データを生成する三次元造形用データ生成手段と、
   前記三次元造形用データに基づいて、前記マーカー取付部を有する前記造形物を造形出力する三次元造形出力手段と、
   前記造形物の前記マーカー取付部に前記マーカーを取り付けた状態の前記造形物を撮影する撮影手段と、
   前記撮影手段によって撮影した撮影画像から前記マーカーを認識することにより、前記撮影手段と前記造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出手段と、
   を備え、
   前記マーカーは、前記造形物の前記マーカー取付部と連結させる連結部を有し、
   前記マーカー取付部は、前記連結部との連結によって前記マーカーの位置決めと回転規制の役割を果たす三次元形状を有する三次元造形システム。
2. 前記カメラパラメータは、前記撮影手段の位置、前記撮影手段の撮影方向、及び、前記撮影手段と前記造形物の距離を含む請求項１に記載の三次元造形システム。
3. 前記マーカーは、前記連結部と前記マーカー取付部との嵌合結合により、前記造形物に前記マーカーが固定される請求項１又は２に記載の三次元造形システム。
4. 前記マーカー取付部及び前記連結部のうち一方が雄ねじ型であり、他方が雌ねじ型である請求項３に記載の三次元造形システム。
5. 前記マーカーは、六面体の六面のうち一つの面に前記連結部である穴を有し、他の五つの面の各々に異なる模様が付されている請求項３又は４に記載の三次元造形システム。
6. 前記カメラパラメータを基に、前記三次元データと現実の前記造形物の位置との対応関係を特定する位置合わせ処理手段を備える請求項１から５のいずれか一項に記載の三次元造形システム。
7. 前記カメラパラメータを用いて、前記造形物の姿勢に応じた表示用データを生成する表示用データ生成手段と、
   前記表示用データに基づき前記造形物の姿勢に応じた情報表示を行う表示手段と、
   を備える請求項１から６のいずれか一項に記載の三次元造形システム。
8. 前記三次元データから少なくとも非造形対象の三次元領域を含む関心領域を抽出する関心領域抽出手段を有し、
   前記表示用データ生成手段は、前記関心領域抽出手段により抽出された前記関心領域に対応する三次元データを基に、前記カメラパラメータを用いて前記関心領域の仮想オブジェクトの表示を行うための前記表示用データを生成する請求項７に記載の三次元造形システム。
9. 前記表示用データ生成手段は、前記仮想オブジェクトを前記撮影画像に重畳表示させる前記表示用データを生成する請求項８に記載の三次元造形システム。
10. 前記撮影画像から前記マーカーの画像部分を消し去る画像加工手段を有し、
    前記表示用データ生成手段は、前記撮影画像から前記マーカーの画像部分を消した画像を表示させる前記表示用データを生成する請求項７から９のいずれか一項に記載の三次元造形システム。
11. 前記三次元データは医用画像診断装置によって取得された医用画像データである請求項１から１０のいずれか一項に記載の三次元造形システム。
12. 三次元の構造物を表す三次元データを取得する三次元データ取得工程と、
    前記三次元データから造形対象とする構造物を表す造形対象物データを生成する造形対象物データ生成工程と、
    前記造形対象物データを基に造形される造形物に位置合わせ用のマーカーを取り付けるためのマーカー取付部の三次元形状を表す取付部データを、前記造形対象物データに加えて三次元造形用データを生成する三次元造形用データ生成工程と、
    前記三次元造形用データに基づいて、前記マーカー取付部を有する前記造形物を造形出力する三次元造形出力工程と、
    前記造形物の前記マーカー取付部に前記マーカーを取り付けた状態の前記造形物を撮影手段により撮影する撮影工程と、
    前記撮影工程によって撮影した撮影画像から前記マーカーを認識することにより、前記撮影手段と前記造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出工程と、
    を含み、
    前記マーカーは、前記造形物の前記マーカー取付部と連結させる連結部を有し、
    前記マーカー取付部は、前記連結部との連結によって前記マーカーの位置決めと回転規制の役割を果たす三次元形状を有する
    情報処理方法。
13. 三次元の構造物を表す三次元データを取得する三次元データ取得手段と、
    前記三次元データから造形対象とする構造物を表す造形対象物データを生成する造形対象物データ生成手段と、
    前記造形対象物データを基に造形される造形物に位置合わせ用のマーカーを取り付けるためのマーカー取付部の三次元形状を表す取付部データを記憶しておく取付データ記憶手段と、
    前記造形対象物データに前記取付部データを加えて三次元造形用データを生成する三次元造形用データ生成手段と、
    前記三次元造形用データを出力するデータ出力手段と、
    を備え、
    前記マーカーは、前記造形物の前記マーカー取付部と連結させる連結部を有し、
    前記マーカー取付部は、前記連結部との連結によって前記マーカーの位置決めと回転規制の役割を果たす三次元形状を有する
    情報処理装置。
14. 請求項１３に記載の情報処理装置と、
    前記三次元造形用データに基づいて、前記マーカー取付部を有する前記造形物を造形出力する三次元造形出力手段と、
    を備える三次元造形システム。
15. コンピュータを、
    三次元の構造物を表す三次元データを取得する三次元データ取得手段と、
    前記三次元データから造形対象とする構造物を表す造形対象物データを生成する造形対象物データ生成手段と、
    前記造形対象物データを基に造形される造形物に位置合わせ用のマーカーを取り付けるためのマーカー取付部の三次元形状を表す取付部データを、前記造形対象物データに加えて三次元造形用データを生成する三次元造形用データ生成手段と、
    前記三次元造形用データを出力するデータ出力手段として機能させるためのプログラムであって、
    前記マーカーは、前記造形物の前記マーカー取付部と連結させる連結部を有し、
    前記マーカー取付部は、前記連結部との連結によって前記マーカーの位置決めと回転規制の役割を果たす三次元形状を有する
    プログラム。