JPWO2014016894A1 - 形状データ生成方法及び装置 - Google Patents

形状データ生成方法及び装置 Download PDF

Info

Publication number
JPWO2014016894A1
JPWO2014016894A1 JP2014526631A JP2014526631A JPWO2014016894A1 JP WO2014016894 A1 JPWO2014016894 A1 JP WO2014016894A1 JP 2014526631 A JP2014526631 A JP 2014526631A JP 2014526631 A JP2014526631 A JP 2014526631A JP WO2014016894 A1 JPWO2014016894 A1 JP WO2014016894A1
Authority
JP
Japan
Prior art keywords
shape
input
target
vertex
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014526631A
Other languages
English (en)
Other versions
JP5850380B2 (ja
Inventor
真智子 中川
真智子 中川
耕平 畠中
耕平 畠中
久田 俊明
俊明 久田
清了 杉浦
清了 杉浦
巧 鷲尾
巧 鷲尾
岡田 純一
純一 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
University of Tokyo NUC
Original Assignee
Fujitsu Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, University of Tokyo NUC filed Critical Fujitsu Ltd
Application granted granted Critical
Publication of JP5850380B2 publication Critical patent/JP5850380B2/ja
Publication of JPWO2014016894A1 publication Critical patent/JPWO2014016894A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/10Selection of transformation methods according to the characteristics of the input images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本形状データ生成方法は、画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変更を所定回数実行する処理を含む。

Description

本技術は、形状データ生成技術に関する。
近年、HPC(High Performance Computing)技術による計算機の演算能力の向上に伴い、人体の心臓等の臓器の動きを再現する生体シミュレーションが注目されている。この生体シミュレーションを実行するために、複雑な内部情報を有する3次元の臓器等の形状データを用いる場合がある。
臓器等の形状データを生成するために、臓器を表す標準的な形状を、画像データが表す臓器の形状に変形する方法が知られている。
この方法では、例えば、標準的な形状における点と目標となる形状における点との対応付けを行うことにより変形を行うが、対応付けを行う点を適切に設定しなければ変形がうまく行われないという問題がある。
また、心臓などの臓器の場合、標準形状と個々の患者についての目標形状とに大きな差があることもあり、血管位置等の差などから、標準形状から精度良く変形できない場合があることも分かってきた。
特開2002−329216号公報 特開2010−61431号公報 特開2001−34774号公報 特開2007−98028号公報
Fred L. Bookstein "Principal Warps: Thin-Plate Splines and the Decomposition of Deformation", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE. VOL. 11, NO. 6, PP. 567-585, JUNE 1989 "Laplacian surface editing", SGP '04 Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing, O. Sorkine Tel Aviv University D. Cohen-Or Tel Aviv University Y. Lipman Tel Aviv University M. Alexa Darmstadt University of Technology C. Roessl Max-Planck Institut fuer Informatik, Saarbruecken H.-P. Seidel Max-Planck Institut fuer Informatik, Saarbruecken
従って、本技術の目的は、一側面として、高精度の三次元形状データを生成するための新規な技術を提供することである。
本技術の一態様に係る形状データ生成方法は、(A)画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、(B)入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、(C)特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、(D)変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変更を所定回数実行する処理を含む。
高精度の3次元形状データを生成することができるようになる。
図1は、第1の実施の形態に係る形状データ生成装置の機能ブロック図である。 図2は、セグメント画像データの一例を示す図である。 図3は、入力形状の一例である球を示す図である。 図4は、第1の実施の形態におけるメインの処理フローを示す図である。 図5は、入力形状の初期配置を示す図である。 図6は、変形処理の処理フローを示す図である。 図7は、ランドマーク設定処理の処理フローを示す図である。 図8は、境界点探索処理の処理フローを示す図である。 図9は、頂点vの位置と輝度値との関係について説明するための図である。 図10は、頂点vの位置と輝度値との関係について説明するための図である。 図11は、探索点が変形前形状を貫通するケースの一例を示す図である。 図12は、探索点が変形前形状を貫通するケースの一例を示す図である。 図13は、境界点の探索を説明するための図である。 図14は、従来の問題点を示す図である。 図15は、本実施の形態における変形処理を説明するための図である。 図16は、デローニ三角形分割を説明するための図である。 図17は、デローニ三角形分割を説明するための図である。 図18は、デローニ三角形分割を説明するための図である。 図19は、デローニ三角形分割を説明するための図である。 図20は、メッシュ再分割を行わない場合の形状データの一例を示す図である。 図21は、メッシュ再分割を行った場合の形状データの一例を示す図である。 図22は、開口部を有する目標形状の一例を示す図である。 図23は、円板状の入力形状の一例を示す図である。 図24は、第2の実施の形態に係るメインの処理フローを示す図である。 図25は、入力形状にソースランドマークを設定した例を示す図である。 図26は、目標形状にターゲットランドマークを設定した例を示す図である。 図27は、第2の実施の形態における最初の変形処理を説明するための図である。 図28は、第2の実施の形態における最初の変形処理を実施した後の状態を示す図である。 図29は、第2の実施の形態の処理結果の一例を示す図である。 図30は、第3の実施の形態における目標形状を示す図である。 図31は、第3の実施の形態に係る形状データ生成装置の機能ブロック図である。 図32は、第3の実施の形態に係るメインの処理フローを示す図である。 図33は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。 図34は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。 図35は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。 図36は、第3の実施の形態の処理結果を示す図である。 図37は、第3の実施の形態の処理結果を示す図である。 図38は、コンピュータの機能ブロック図である。
[実施の形態1]
図1に、本技術の第1の実施の形態に係る形状データ生成装置の機能ブロック図を示す。形状データ生成装置100は、画像データ格納部101と、入力形状データ格納部102と、変形処理部103と、ランドマークデータ格納部104と、変形形状データ格納部105と、出力処理部106と、表示部107と、入力部108とを有する。
変形処理部103は、初期設定部1031と、ランドマーク設定部1032と、変形部1033と、メッシュ処理部1034とを有する。
画像データ格納部101には、セグメント画像データが格納されている。セグメント画像データは、特定の患者の心臓等のCT(Computed Tomography)画像等に対して、部位毎に境界の内部を異なる輝度値で塗りつぶす処理を施すことにより得られる。例えば図2に模式的に示すようなセグメント画像データを積層することにより、変形の目標となる形状である目標形状の三次元のデータが得られる。図2の例では、下から(a)(b)(c)(d)の順番で積層される。
入力形状データ格納部102には、変形される形状である入力形状の三次元データが格納される。なお、本実施の形態では、心臓などの標準形状を入力形状には使わずに、表現したい形状と同様なトポロジを有する最も特徴の無い単純な形状を入力形状として用いる。このような入力形状は、三次元閉曲面であれば球状の入力形状であり、開口部を有する三次元曲面であれば、円板状の入力形状である。本実施の形態では、目標形状が三次元閉曲面である例を説明するので、入力形状は球となる。例えば、図3に示すような表面がメッシングされた球が用いられる。
変形処理部103は、入力形状を目標形状に変形する処理を行う。具体的には、変形処理部103の初期設定部1031は、目標形状に対して入力形状を配置する処理を実行する。ランドマーク設定部1032は、入力形状又は変形後の入力形状に対してランドマークを設定する処理を実行する。変形部1033は、TPSWarpによる変形処理を実行する。TPSWarp処理については、Fred L. Bookstein "Principal Warps: Thin-Plate Splines and the Decomposition of Deformation", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE. VOL. 11, NO. 6, PP. 567-585, JUNE 1989に詳細が説明されているので、ここでは詳細な説明を省略する。
メッシュ処理部1034は、例えばDelaunay(デローニ)三角形分割技術に従って、メッシュ再分割処理を実行する。Delaunay三角形分割については、よく知られているので詳細な説明は省略する。
ランドマークデータ格納部104は、ランドマーク設定部1032により設定され且つ変形部1033での変更処理において用いられるランドマークのデータを格納する。
変形形状データ格納部105は、変形処理途中の形状データ及び変形処理完了後の形状データを格納する。出力処理部106は、変形形状データ格納部105に格納されている変形処理完了後の形状データを、表示部107に表示するためのデータを生成し、表示部107に出力する。
入力部108は、ユーザから変形処理部103に対する指示などを受け付け、変形処理部103に出力する。
次に、図4乃至図21を用いて、形状データ生成装置100の処理内容を説明する。
例えば、ユーザから目標形状が右心房などの三次元閉曲面である旨の指示を入力部108から受け付けると、変形処理部103の初期設定部1031は、画像データ格納部101に格納されている画像データから目標形状を特定し、入力形状データ格納部102から球状の入力形状のデータを読み出して目標形状に合わせて入力形状を拡大又は縮小し、目標形状の重心位置と入力形状の重心位置が一致するように配置する(図4:ステップS1)。
より詳しくは、目標形状を囲う最小の直方体(バウンディングボックス)を特定し、当該バウンディングボックスのx軸、y軸及びz軸の辺の長さの平均値を算出する。そして、当該平均値の長さを有する立方体に入るように、入力形状である球を拡大又は縮小する。但し、バウンディングボックスに入るように、3方向で異なる拡大又は縮小率で球に対してスケール変換を実行するようにしても良い。
なお、等スケールで拡大又は縮小する場合には、例えば図5に示すように初期配置がなされる。図5は、例えば右心房である目標形状10に対して球11が、それらの重心が一致するように配置されている状態を示している。
次に、変形処理部103は、変形処理を実行し、変形処理完了後の形状データを変形形状データ格納部105に格納する(ステップS3)。変形処理については、後に詳しく述べる。
その後、出力処理部106は、変形処理完了後の3次元形状データを表示部107に表示するための処理を行う(ステップS5)。
次に、図6乃至図21を用いて変形処理について説明する。
まず、変形処理部103は、変形回数をカウントするための変数tの初期値をt=0と設定する(図6:ステップS21)。次に、変形処理部103は、変数tをt=t+1と増分することにより変形回数をカウントするとともに、また変数mの初期値をm=0と設定する(ステップS23)。mは、処理した頂点数をカウントするための変数である。
そして、変形処理部103は、変数mをm=m+1と増分し(ステップS25)、変形処理部103のランドマーク設定部1032は、ランドマーク設定処理を実行する(ステップS27)。ランドマーク設定処理については、図7乃至図13を用いて説明する。
まず、ランドマーク設定部1032は、入力形状又は前回変形後の入力形状のデータから、頂点vをランダムに1つ特定する(図7:ステップS41)。同じ頂点を選択する意味はないので、例えばtの値が変化しない間で未選択の頂点を選択する。
そして、ランドマーク設定部1032は、ランドマークデータ格納部104に格納されている各ソースランドマークと頂点vとの間のユークリッド距離をそれぞれ算出する。そして、ランドマーク設定部1032は、頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが、閾値D以下であるか判断する(ステップS43)。ステップS43は、頂点vを入力形状又は前回変形後の入力形状において可能な限り均等に配置するために行われる処理である。ステップS43においては、以下の式を満たすか否かを判断する。
ここで、d(v、vi)は、点vと点viとの間のユークリッド距離を表す。viは、ソースランドマークである。但し、初回は、ソースランドマークが設定されていないので、ユークリッド距離は閾値Dを超えると判断するものとする。
頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値D以下であると判断された場合(ステップS43:Yesルート)、呼出元の処理に戻る。一方、頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値Dより大きいと判断された場合(ステップS43:Noルート)、ランドマーク設定部1032は、境界点探索処理を実行する(ステップS45)。境界点探索処理については、図8乃至図13を用いて説明する。
まず、ランドマーク設定部1032は、頂点vの単位法線ベクトルn(v)を算出する(図8:ステップS61)。ここで、n(v)は、頂点v(∈H)での面Hに対する単位法線ベクトルである。単位法線ベクトルとは、長さが1の法線ベクトルをいう。なお、H(⊂V)は、入力形状又は前回変形後の入力形状の形状面を表し、V(⊂R3)はセグメント画像データにより特定されるボクセル空間である。また、R3は、実数空間を表す。ここでは簡単化のため、セグメント画像データは、0又は1の2値を取るものとするが、0又は1以外の値を取るものであっても良いし、2値以上の多値を取るものであっても良い。また、ボクセルは、デジタルデータの立体表現において、その最小の立方体(正規格子)の単位を示す。
また、ランドマーク設定部1032は、頂点vが目標形状の内側に存在するか判断する(ステップS63)。ステップS63においては、以下の式を満たすか否かを判断する。
ここで、ボクセル空間Vから実数空間Rへの写像f:V→Rは以下のように定義される。この写像fにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間Rに対応付けられる。
ここで、Iは点p(∈V)を含むボクセルの輝度値である。
図9及び図10を用いて、ステップS63の処理について説明する。図9に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0より大きい場合には、頂点vが目標形状の内側に存在する。そこで、後に説明するステップS75の処理において係数kを1ずつインクリメントするように設定することで、目標形状の内から外へ向かう方向に境界点を探索する。一方、図10に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0になる場合には、頂点vが目標形状の外側に存在する。そこで、後に述べるステップS89の処理において係数kを1ずつデクリメントするように設定することで、目標形状の外から内へ向かう方向に境界点を探索する。
そして、頂点vが目標形状の内側に存在すると判断された場合(ステップS63:Yesルート)、ランドマーク設定部1032は、係数kをk=0と設定する(ステップS65)。また、ランドマーク設定部1032は、境界点であるかどうかを判定する点(以下、探索点と呼ぶ)を以下のように設定する(ステップS67)。
そして、ランドマーク設定部1032は、断層画像データにより特定されるボクセル空間内に探索点が存在するか判断する(ステップS69)。ステップS69においては、以下の式を満たすか判断する。
断層画像データにより特定されるボクセル空間内に探索点が存在しないと判断された場合(ステップS69:Noルート)、呼出元の処理に戻る。探索点がボクセル空間外に達したため、頂点vについての法線と目標形状とが交点を有さないと判断できるためである。
一方、断層画像データにより特定されるボクセル空間内に探索点が存在すると判断された場合(ステップS69:Yesルート)、ランドマーク設定部1032は、探索点が変形前形状(入力形状又は前回変形後の入力形状)を貫通したか判断する(ステップS71)。ステップS71においては、以下の式を満たすか判断する。
ここで、写像g:V→R3は以下のように定義される。この写像gにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間R3に対応付けられる。
ここで、写像gの制限g|はn(v)になることに注意する。
図11及び図12を用いて、ステップS71の処理について説明する。探索点が境界点に達する前に変形前形状(入力形状又は前回変形後の入力形状)を貫通するような場合には、境界点の探索を適切に行えていない可能性がある。探索点が境界点に達する前に変形前形状を貫通するような場合とは、例えば、図11に示したような場合と、図12に示したような場合とが考えられる。すなわち、目標形状に対する変形前形状の変形度合いにより探索方向に境界点が存在しない場合が考えられる。いずれのケースにおいても、境界点を検出できないか、又は適切でない位置に境界点を検出してしまう可能性がある。そこで、ステップS71においては、頂点vについての法線ベクトルと探索点についての法線ベクトルとの内積を算出し、内積が0より小さい(すなわち、法線ベクトルのなす角が90度より大きい)場合に、探索点が変形前形状を貫通したと判断している。
図8の説明に戻り、探索点が変形前形状を貫通したと判断された場合(ステップS71:Yesルート)、適切な境界点を検出できないので、呼出元の処理に戻る。一方、探索点が変形前形状を貫通していないと判断された場合(ステップS71:Noルート)、ランドマーク設定部1032は、探索点に対応するボクセル空間の輝度値と頂点vに対応するボクセル空間の輝度値とを比較し、輝度値が有意に、すなわち許容値以上に変化したかを判断する(ステップS73)。ステップS73においては、以下の式を満たすか判断する。
そして、輝度値が有意には変化していないと判断された場合(ステップS73:Noルート)、ランドマーク設定部1032は、係数kをk=k+1とインクリメントし(ステップS75)、ステップS67の処理に戻る。
このようにすると、図13に示すように、頂点vから法線方向へ1ボクセル分ずつ探索点を移動させつつ、境界点が存在するかを判定することができる。
一方、輝度値が有意に変化したと判断された場合(ステップS73:Yesルート)、ランドマーク設定部1032は、探索点を境界点に設定する(ステップS77)。ステップS77においては、探索点のデータ(例えばkの値)をメインメモリ等の記憶装置に格納しておく。そして呼出元の処理に戻る。
これに対して、ステップS63において、頂点vが目標形状の外側に存在すると判断された場合(ステップS63:Noルート)に行われる処理について説明する。この場合の処理は、上で述べた処理とは探索方向が異なるだけであるから、基本的な処理の内容は上で述べたとおりである。すなわち、ステップS79の処理はステップS65の処理と同様であり、ステップS81の処理はステップS67の処理と同様であり、ステップS83の処理はステップS69の処理と同様であり、ステップS85の処理はステップS71の処理と同様であり、ステップS87の処理はステップS73の処理と同様である。従って、ステップS79乃至S87の処理の詳細な説明は省略する。
そして、ステップS89において、ランドマーク設定部1032は、係数kをk=k−1とデクリメントし(ステップS89)、ステップS81の処理に戻る。これにより、探索点が、目標形状の外側から内側へ向かう法線方向に1ボクセル分移動される。また、ステップS91の処理は、ステップS77の処理と同様である。
以上のような処理を実施することにより、頂点vについての法線と目標形状との交点(すなわち境界点)を検出することができるようになる。
図7の説明に戻り、ランドマーク設定部1032は、境界点探索処理において境界点が検出されたか判断する(ステップS47)。境界点が検出されていないと判断された場合(ステップS47:Noルート)、次の頂点について処理するため、呼出元の処理に戻る。
一方、境界点が検出されたと判断された場合(ステップS47:Yesルート)、ランドマーク設定部1032は、頂点vと境界点v+kn(v)とを結ぶ線分の内分点をターゲットランドマークに設定する(ステップS49)。具体的には、ターゲットランドマークは以下のような点に設定される。
そして、ランドマーク設定部1032は、頂点vをソースランドマークに設定する(ステップS51)。ソースランドマークについては頂点識別子のデータをランドマークデータ格納部104に格納し、対応するターゲットランドマークについては座標データをランドマークデータ格納部104に格納する。ソースランドマークの座標データについては、ソースランドマークの識別子を用いて、入力形状を処理する場合には入力形状データ格納部102から読み出し、前回変形後の入力形状を処理する場合には変形形状データ格納部105から読み出して用いる。ソースランドマークについては、ステップS43で用いられるが、過去に設定されたソースランドマークが処理対象となる。ステップS49及びS51で設定されたソースランドマーク及びターゲットランドマークの対については、次のステップS31でのみ用いられる。
以上のような処理を実行することにより、変形前の形状(入力形状又は前回変形後の入力形状)における頂点と目標形状における境界点とを結ぶ線分の内分点を、ターゲットランドマークに設定することができるようになる。
図6の説明に戻り、変形処理部103は、変数mについてm<Nであるか判断する(ステップS29)。ここで、Nは、予め設定された整数である。m<Nであると判断された場合(ステップS29:Yesルート)、次の頂点について処理するため、ステップS25の処理に戻る。
一方、変数mについてm<Nではないと判断された場合(ステップ29:Noルート)、変形処理部103の変形部1033は、ランドマークデータ格納部104に格納されている、同じtについて設定された、ソースランドマーク及びターゲットランドマークの対のデータに従い、TPSWarpによる変形処理を実行し、変形後の形状データを変形形状データ格納部105に格納する(ステップS31)。
図14に示すように、ソースランドマークを変形前の形状に配置し、ソースランドマークの法線と目標形状との交点にターゲットランドマークを配置し、TPSWarpによる変形処理を行うことが考えられる。しかしながら、図14に示すように、法線が交差するような状況が発生すると、変形後の形状には、目標形状とは異なる不自然な形状が生じてしまうことがある。
そこで、本実施の形態における変形処理においては、図15に示すように、変形前の形状に配置されたソースランドマーク(ドットによるハッチング付き丸)と、ソースランドマークの法線と目標形状との交点とを結ぶ線分を内分する点(一点鎖線上の点)に、ターゲットランドマーク(クロスハッチング付き丸)を配置し、TPSWarpによる変形処理を行う。この変形処理で得られた変形後形状においてソースランドマーク(ドットによるハッチング付き丸)を再度設定して、ソースランドマークの法線と目標形状との交点とを結ぶ線分を内分する点にターゲットランドマークを配置して、TPSWarpによる変形処理を行う。このような変形処理を繰り返し行うことにより、徐々に目標形状に近付けていく。これにより、変形後の形状に不自然な形状が生じにくくなり、また法線の方向が本来目標とすべき部分に向きやすくなる。なお、内分比は徐々に大きくなるが、ソースランドマークとターゲットランドマークとの距離も短くなるので、適切な変形が行われる。
そして、変形処理部103のメッシュ処理部1034は、変形形状データ格納部105に格納された、今回の変形後の形状データについて、メッシュ再分割処理を実行し、処理結果を変形形状データ格納部105に格納する(ステップS33)。
目標形状が複雑であるほど変形の際メッシュ要素の形状に偏りが生じるため、本実施の形態では、変形を繰り返しながらメッシュ要素の面積が所定の閾値を超えるメッシュ要素及び周辺のメッシュ要素についてはメッシュの細分化を行う処理としてメッシュ再分割処理を行う。メッシュ要素の細分化を行うことで、メッシュの形状の偏りのためアスペクト比が悪化して滑らかな形状が保てなくなる等の現象を防ぐことが出来る。また、メッシュ要素で区画される曲面を描画する場合には、その精度はメッシュ要素の細かさ(メッシュ解像度とも呼ぶ)に依存するため、メッシュ再分割処理を行うことで、任意形状を精度良く表現することが出来る。
特に、特徴の無い単純な形状を用いているため変形に偏りが生じ、結果としてメッシュの不均等が起こりやすい。よって、例えば変形前のメッシュ要素のサイズよりも大きくなったメッシュ要素については、当該メッシュ要素等を再分割することによって不都合を解消する。
メッシュ再分割処理におけるメッシュ分割手法には、八分木メッシュ分割法やDelaunay三角形分割等様々な手法がある。Delaunay三角分割はよく知られているが、一例として、ここで簡単に説明しておく。まず、面積が所定の閾値を超えるメッシュ要素の内部に新たな点aを追加する。図16の例では、面積とは関係なく点aが設定されているが、面積が所定の閾値を超えるメッシュ要素内部に新たな点aを設定する。次に、各メッシュ要素の外接円を描き、点aを内包するメッシュ要素を特定する。図17の例では、ハッチングが付された3つのメッシュ要素が特定される。これらのメッシュ要素で多角形を生成し(図18)、この多角形の頂点と点aとで、多角形を三角形に分割する(図19)。このような処理を行えば、おおよそ均一サイズの三角形が含まれる三角形メッシュが生成されるようになる。
そして、変形処理部103は、変数tについてt<Tであるか判断する(ステップS35)。t<Tであると判断された場合(ステップS33:Yesルート)、さらに変形処理を行うため、ステップS23の処理に戻る。なお、Tは総変形回数であり、予め管理者等により設定される(例えばT=500)。
一方、変数tについてt<Tでないと判断された場合(ステップS35:Noルート)、T回の変形が終了したため、呼出元の処理に戻る。
以上のような処理を実行することにより、精度の高い3次元形状データを得ることができるようになる。
例えば、ステップS33のメッシュ再分割処理を実施しないと、図20に示すような三次元形状データが得られる。図20から分かるように、メッシュ要素のサイズは不均一で精度の低い三次元形状データが得られている。一方、ステップS33のメッシュ再分割処理を実施すれば、図21に示すような三次元形状データが得られる。細かい三角形要素により精度の高い三次元形状データが得られていることが分かる。
[実施の形態2]
本実施の形態では、目標形状として開口部を有する三次元曲面を想定する。わかりにくい部分もあるが、図22に示すような目標形状を想定する。この目標形状において点線で囲った部分が開口部である。
この場合、本実施の形態では、例えば図23に示すような円板状の入力形状を用いる。図23ではメッシングされていないように見えるが、メッシングされているものとする。
このような場合に、図1に示した形状データ生成装置100は、図24乃至図29で示すような処理を実施する。
まず、ユーザから目標形状が開口を有する三次元曲面である旨の指示を入力部108から受け付けると、変形処理部103の初期設定部1031は、入力形状データ格納部102に格納されている円板状の入力形状のデータを読み出し、その円板の外周エッジに等間隔でソースランドマークを設定する(図24:ステップS101)。例えば、図25に模式的に示すように、円板の外周上に球形のソースランドマークが設定される。なお、ソースランドマークについては、その頂点識別子が、ランドマークデータ格納部104に格納されている。なお、本ステップで設定されたソースランドマークは、固定点として以下の処理で扱われる。
さらに、初期設定部1031は、画像データ格納部101に格納されている画像データから目標形状を特定し、当該目標形状の開口部の外周エッジに等間隔に、入力形状に設定したソースランドマーク数と同数のターゲットランドマークを設定する(ステップS103)。ターゲットランドマークについては、その頂点座標のデータが、ランドマークデータ格納部104に格納される。図26に模式的に示すように、開口部の外周エッジに、球形のターゲットランドマークが等間隔及び同数設定される。
そうすると、初期設定部1031は、変形部1033に対して、ソースランドマークをターゲットランドマークの位置に移動するように、TPSWarpによる変形処理を実行させ、変形後の形状データを変形形状データ格納部105に格納する(ステップS105)。図27に、本変形処理を模式的に示す。図27の左側は、変形前の状態を示しており、入力形状の外周エッジ21に等間隔に配置されたソースランドマークを、目標形状の開口部の外周エッジ22に等間隔に配置されたターゲットランドマークに向けて1回で変形する。そうすると、図27の右側に示すように、ソースランドマークがターゲットランドマークの位置に移動して、その他の入力形状の外周エッジ21はおおよそ目標形状の開口部の外周エッジ22に一致するように変形される。図25及び図26の例では、図28に模式的に示すような状態が得られる。図28の例では、上面において塗りつぶされた部分が入力形状に相当する。
そして、変形処理部103は、変形処理を実行する(ステップS107)。基本的な処理の流れは、図6乃至図8の処理を行うことになる。但し、第1の実施の形態と異なる点は、既に1回変形処理が行われている点、既にソースランドマークが設定されている点、当該ソースランドマークは固定点である点が異なる。既に1回変形処理が行われている点については、処理の流れとしては、t=1の場合においてもランドマーク設定処理において変形形状データ格納部105に格納されている前回変形後の入力形状のデータを用いる点が異なる。
既にソースランドマークが設定されている点は、処理の流れとしてはステップS43において初回でもユークリッド距離が算出される点で異なる。ソースランドマークが固定点である点については、ステップS31における変形処理において固定点の座標データは変更されないという点で異なる。
それ以外の処理については第1の実施の形態と同様である。
そして、出力処理部106は、変形形状データ格納部105に格納されている変形後の形状データを表示部107に表示するための処理を実行する(ステップS109)。
例えば上で述べた例では、図29に示すような処理結果が得られる。図29の例では、おおよそ均等なメッシュ要素で形成された形状データが得られていることが分かる。
[実施の形態3]
心房は、心室に比して、肺静脈や大静脈などの血管に繋がっており複雑な形状を有している。そこで、図30に示すように、右心房から大静脈31が伸びている形状を目標形状の一例として処理を行う例を説明する。
本実施の形態に係る形状データ生成装置200の機能ブロック図を図31に示す。なお、図1に示した形状データ生成装置100とほぼ同様の機能を有する場合には同じ参照符号を付している。形状データ生成装置200は、画像データ格納部101bと、入力形状データ格納部102と、変形処理部103bと、ランドマークデータ格納部104と、固定点データ格納部201と、変形形状データ格納部105と、出力処理部106bと、表示部107と、入力部108とを有する。
画像データ格納部101bには、右心房のみについての第1のセグメント画像データと、右心房及び血管についての第2のセグメント画像データとが両方格納されている。
固定点データ格納部201は、以下で述べるように1回目の変形処理を実施することで得られる変形後入力形状と血管との境界部分における外周エッジに設定される固定点のデータを格納する。
出力処理部106bは、変形処理部103bからの指示に応じて、1回目の変形処理を実施することで得られる変形後入力形状を表示部107に出力する場合もある。
さらに、変形処理部103bは、初期設定部1031と、ランドマーク設定部1032と、変形部1033と、メッシュ処理部1034と、第2初期設定部1035とを有する。第2初期設定部1035は、2回目の変形処理の前に行われる設定処理を実行する。
次に、図32乃至図37を用いて、本実施の形態に係る処理を説明する。
例えば、ユーザから本実施の形態に係る処理の開始指示を入力部108から受け付けると、変形処理部103bの初期設定部1031は、画像データ格納部101bに格納されている第1のセグメント画像データから血管等を含まない右心房などの目標形状を特定し、入力形状データ格納部102から球状の入力形状のデータを読み出して目標形状に合わせて入力形状を拡大又は縮小し、目標形状の重心位置と入力形状の重心位置が一致するように配置する(図32:ステップS201)。本ステップは、図4のステップS1と同様の処理である。
次に、変形処理部103bは、第1変形処理を実行し、変形処理完了後の形状データを変形形状データ格納部105に格納する(ステップS203)。第1変形処理については、図4のステップS3と同様であり、図6乃至図8を用いて説明された処理を実行する。
次に、第2初期設定部1035は、変形形状データ格納部105に格納されている第1変形処理の処理結果である変形後入力形状を、画像データ格納部101bに格納されている第2セグメント画像データから特定される右心房及び血管を含む第2の目標形状に重畳させるように配置する(ステップS205)。重畳した状態はわかりにくいが、図33に示すような状態となる。図33の例では丸印で囲われた部分が、血管の部分であり、この部分は第1の変形処理による変形後入力形状との差分に相当する。
そして、第2初期設定部1035は、変形後入力形状において、当該変形後入力形状と第2の目標形状との境界面の外周エッジに固定点を設定し、当該固定点のデータを固定点データ格納部201に格納する(ステップS207)。例えば、固定点の頂点識別子のデータを、固定点データ格納部201に格納する。
図33の丸印で囲まれた部分を拡大すると図34に示すようになる。図34の例では、変形後入力形状と第2の目標形状との境界面40が特定されるようになる。そうすると、この境界面40の外周エッジに、例えば等距離で丸印の固定点を設定する。なお、変形形状データ格納部105に格納されている第1の変形処理の処理結果及び第2の目標形状とを表示部107に表示して、ユーザに入力部108を介して固定点を設定させるようにしても良い。固定点が設定された変形後入力形状の一例を図35に示す。固定点は球で表されているが、図35では強調表示されている。なお、球で囲まれた内部の面にも三角形メッシュ要素が形成されている。
そして、変形処理部103bは、第2変形処理を実施し、処理結果を変形形状データ格納部105に格納する(ステップS209)。基本的には、第1の実施の形態に係る変形処理と同様である。
但し、固定点データ格納部201に格納されている固定点については移動させないので、ステップS31において、固定点データ格納部201に識別子が登録されている頂点についてはその位置を移動させないようにする。
そして、出力処理部106bは、変形形状データ格納部105に格納されている変形後の形状データを表示部107に表示するための処理を実行する(ステップS211)。
例えば上で述べた例では、図36に示すような処理結果が得られる。図36は強調表示した固定点を示したままであるが、固定点は実際には見えない。すなわち、図37に示すような三次元形状データが第2変形処理の変形後入力形状のデータとして得られる。
このように複雑な形状であっても精度良く形状データを生成することができるようになる。
以上本技術の実施の形態を説明したが、本技術はこのような実施の形態に限定されるものではない。例えば、上で説明した図1及び図31に示された機能ブロック図は一例であって、必ずしも実際のプログラムモジュール構成とは一致しない場合もある。
また、処理フローについても、処理結果が変わらない限り、ステップの順番を入れ替えたり、複数のステップを並列実行するようにしても良い。
さらに、上では心臓特に右心房を一例に説明したが、他の心房や心室、その他の臓器でも同様に処理できる。
なお、上で述べた形状データ生成装置100及び200は、コンピュータ装置であって、図38に示すように、メモリ2501とCPU2503とハードディスク・ドライブ(HDD)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本実施の形態をまとめると以下のようになる。
本実施の形態に係る形状データ生成方法は、(A)画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、(B)入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、(C)特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、(D)変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変更を所定回数実行する処理を含む。
このような入力形状を用いることで、精度良く目標形状と同様の形状を有する形状データを生成できるようになる。
なお、上で述べた入力形状の変形において、変形後の形状における複数のメッシュ要素のうち、面積が閾値を超えるメッシュ要素及び周辺のメッシュ要素についてメッシュ再分割処理を実行するようにしても良い。このようにメッシュ再分割処理を実施することで、おおよそ均一なサイズを有するメッシュ要素が生成されることになるので、滑らかな形状を生成できるようになる。特に、上で述べたような入力形状の場合には、不均一なメッシュ要素が生成されるケースが多くなるので、このような処理は精度の良い形状データを生成するために有効である。
さらに、上で述べた入力形状の設定において、目標形状が三次元閉曲面であれば、球状の入力形状を、目標形状に合わせて縮小又は拡大して目標形状の重心位置に配置するようにしても良い。このようにすれば、三次元閉曲面であっても適切に変形処理を実行できるようになる。
また、上で述べた入力形状の設定において、目標形状が開口部を有する三次元曲面であれば、平板の入力形状を、開口部に合わせて変形するようにしても良い。この場合、上で述べた入力形状の変形において、開口部に合わせて変形された入力形状のエッジ部分を固定させるようにしても良い。このようにすれば、開口部を有するような三次元曲面であっても適切に変形処理を実行できるようになる。
さらに、本形状データ生成方法は、(E)第2の画像データにより特定され且つ目標形状に対して追加部分が付加された第2の目標形状に対して、第1の頂点の特定及び入力形状の変更を所定回数実行させた後の形状である第2の入力形状であって第2の目標形状の追加部分との境界面の外周エッジに移動させない固定点が設定された第2の入力形状を配置させ、(F)第2の入力形状の複数の頂点から、法線が第2の目標形状と交点を有するという条件を含む所定の条件を満たす第2の頂点を特定させ、(G)特定された第2の頂点を、当該第2の頂点についての法線の方向に、第2の目標形状までの距離より短い第2の距離移動させるように、固定点を除き第2の入力形状を変形させ、(H)変形後の第2の入力形状を処理対象の第2の入力形状に変更して第2の頂点の特定及び第2の入力形状の変更を第2の所定回数実行させるようにしても良い。
複雑な形状を有する形状データを生成する場合には、2段階で変形処理を実行すれば精度の良い形状データを生成できるようになる。
さらに、上で述べた第1の頂点の特定又は第2の頂点の特定において、(X1)着目した頂点を当該着目した頂点についての法線の方向へ第3の距離移動させ、移動先の点が前記画像データ又は前記第2の画像データにより特定されるボクセル空間に含まれるかを判断し、(X2)移動先の点がボクセル空間に含まれると判断された場合、着目した頂点についての法線ベクトルと移動先の点についての法線ベクトルとの内積に基づき、移動先の点が入力形状又は第2の入力形状を貫通したか判断し、(X3)移動先の点が入力形状又は第2の入力形状を貫通していないと判断された場合、移動先の点における輝度値と着目した頂点における輝度値とを比較し、輝度値が変化したか判断し、(X4)輝度値が変化したと判断された場合、着目した頂点についての法線が目標形状又は第2の目標形状と交点を有するという条件を満たすと判定し、(X5)移動先の点がボクセル空間に含まれないと判断された場合又は移動先の点が入力形状又は第2の入力形状を貫通したと判断された場合、着目した頂点についての法線が入力形状又は第2の入力形状と交点を有するという条件を満たさないと判定し、(X6)輝度値が変化していないと判断された場合、移動先の点が画像データ又は第2の画像データにより特定されるボクセル空間に含まれるかの判断以降の処理を移動先の点について再度実行するようにしても良い。
このようにすれば、第1の頂点についての法線が第2の形状と交点を有するか否かを適切に判定することができるようになる。
なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
本技術は、形状データ生成技術に関する。
近年、HPC(High Performance Computing)技術による計算機の演算能力の向上に伴い、人体の心臓等の臓器の動きを再現する生体シミュレーションが注目されている。この生体シミュレーションを実行するために、複雑な内部情報を有する3次元の臓器等の形状データを用いる場合がある。
臓器等の形状データを生成するために、臓器を表す標準的な形状を、画像データが表す臓器の形状に変形する方法が知られている。
この方法では、例えば、標準的な形状における点と目標となる形状における点との対応付けを行うことにより変形を行うが、対応付けを行う点を適切に設定しなければ変形がうまく行われないという問題がある。
また、心臓などの臓器の場合、標準形状と個々の患者についての目標形状とに大きな差があることもあり、血管位置等の差などから、標準形状から精度良く変形できない場合があることも分かってきた。
特開2002−329216号公報 特開2010−61431号公報 特開2001−34774号公報 特開2007−98028号公報
Fred L. Bookstein, "Principal Warps: Thin-Plate Splines and the Decomposition of Deformations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 11, NO. 6, PP. 567-585, JUNE 1989 "Laplacian surface editing", SGP '04 Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing, O. Sorkine, Tel Aviv University, D. Cohen-Or, Tel Aviv University, Y. Lipman Tel Aviv University, M. Alexa, Darmstadt University of Technology, C. Roessl, Max-Planck Institut fuer Informatik, Saarbruecken, H.-P. Seidel, Max-Planck Institut fuer Informatik, Saarbruecken
従って、本技術の目的は、一側面として、高精度の三次元形状データを生成するための新規な技術を提供することである。
本技術の一態様に係る形状データ生成方法は、(A)画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、(B)入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、(C)特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、(D)変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変を所定回数実行する処理を含む。
高精度の3次元形状データを生成することができるようになる。
図1は、第1の実施の形態に係る形状データ生成装置の機能ブロック図である。 図2は、セグメント画像データの一例を示す図である。 図3は、入力形状の一例である球を示す図である。 図4は、第1の実施の形態におけるメインの処理フローを示す図である。 図5は、入力形状の初期配置を示す図である。 図6は、変形処理の処理フローを示す図である。 図7は、ランドマーク設定処理の処理フローを示す図である。 図8は、境界点探索処理の処理フローを示す図である。 図9は、頂点vの位置と輝度値との関係について説明するための図である。 図10は、頂点vの位置と輝度値との関係について説明するための図である。 図11は、探索点が変形前形状を貫通するケースの一例を示す図である。 図12は、探索点が変形前形状を貫通するケースの一例を示す図である。 図13は、境界点の探索を説明するための図である。 図14は、従来の問題点を示す図である。 図15は、本実施の形態における変形処理を説明するための図である。 図16は、デローニ三角形分割を説明するための図である。 図17は、デローニ三角形分割を説明するための図である。 図18は、デローニ三角形分割を説明するための図である。 図19は、デローニ三角形分割を説明するための図である。 図20は、メッシュ再分割を行わない場合の形状データの一例を示す図である。 図21は、メッシュ再分割を行った場合の形状データの一例を示す図である。 図22は、開口部を有する目標形状の一例を示す図である。 図23は、円板状の入力形状の一例を示す図である。 図24は、第2の実施の形態に係るメインの処理フローを示す図である。 図25は、入力形状にソースランドマークを設定した例を示す図である。 図26は、目標形状にターゲットランドマークを設定した例を示す図である。 図27は、第2の実施の形態における最初の変形処理を説明するための図である。 図28は、第2の実施の形態における最初の変形処理を実施した後の状態を示す図である。 図29は、第2の実施の形態の処理結果の一例を示す図である。 図30は、第3の実施の形態における目標形状を示す図である。 図31は、第3の実施の形態に係る形状データ生成装置の機能ブロック図である。 図32は、第3の実施の形態に係るメインの処理フローを示す図である。 図33は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。 図34は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。 図35は、第3の実施の形態における第2の変形処理の前の状態を説明するための図である。 図36は、第3の実施の形態の処理結果を示す図である。 図37は、第3の実施の形態の処理結果を示す図である。 図38は、コンピュータの機能ブロック図である。
[実施の形態1]
図1に、本技術の第1の実施の形態に係る形状データ生成装置の機能ブロック図を示す。形状データ生成装置100は、画像データ格納部101と、入力形状データ格納部102と、変形処理部103と、ランドマークデータ格納部104と、変形形状データ格納部105と、出力処理部106と、表示部107と、入力部108とを有する。
変形処理部103は、初期設定部1031と、ランドマーク設定部1032と、変形部1033と、メッシュ処理部1034とを有する。
画像データ格納部101には、セグメント画像データが格納されている。セグメント画像データは、特定の患者の心臓等のCT(Computed Tomography)画像等に対して、部位毎に境界の内部を異なる輝度値で塗りつぶす処理を施すことにより得られる。例えば図2に模式的に示すようなセグメント画像データを積層することにより、変形の目標となる形状である目標形状の三次元のデータが得られる。図2の例では、下から(a)(b)(c)(d)の順番で積層される。
入力形状データ格納部102には、変形される形状である入力形状の三次元データが格納される。なお、本実施の形態では、心臓などの標準形状を入力形状には使わずに、表現したい形状と同様なトポロジを有する最も特徴の無い単純な形状を入力形状として用いる。このような入力形状は、三次元閉曲面であれば球状の入力形状であり、開口部を有する三次元曲面であれば、円板状の入力形状である。本実施の形態では、目標形状が三次元閉曲面である例を説明するので、入力形状は球となる。例えば、図3に示すような表面がメッシングされた球が用いられる。
変形処理部103は、入力形状を目標形状に変形する処理を行う。具体的には、変形処理部103の初期設定部1031は、目標形状に対して入力形状を配置する処理を実行する。ランドマーク設定部1032は、入力形状又は変形後の入力形状に対してランドマークを設定する処理を実行する。変形部1033は、TPS Warpによる変形処理を実行する。TPS Warp処理については、Fred L. Bookstein, "Principal Warps: Thin-Plate Splines and the Decomposition of Deformations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 11, NO. 6, PP. 567-585, JUNE 1989に詳細が説明されているので、ここでは詳細な説明を省略する。
メッシュ処理部1034は、例えばDelaunay(デローニ)三角形分割技術に従って、メッシュ再分割処理を実行する。Delaunay三角形分割については、よく知られているので詳細な説明は省略する。
ランドマークデータ格納部104は、ランドマーク設定部1032により設定され且つ変形部1033での変更処理において用いられるランドマークのデータを格納する。
変形形状データ格納部105は、変形処理途中の形状データ及び変形処理完了後の形状データを格納する。出力処理部106は、変形形状データ格納部105に格納されている変形処理完了後の形状データを、表示部107に表示するためのデータを生成し、表示部107に出力する。
入力部108は、ユーザから変形処理部103に対する指示などを受け付け、変形処理部103に出力する。
次に、図4乃至図21を用いて、形状データ生成装置100の処理内容を説明する。
例えば、ユーザから目標形状が右心房などの三次元閉曲面である旨の指示を入力部108を介して受け付けると、変形処理部103の初期設定部1031は、画像データ格納部101に格納されている画像データから目標形状を特定し、入力形状データ格納部102から球状の入力形状のデータを読み出して目標形状に合わせて入力形状を拡大又は縮小し、目標形状の重心位置と入力形状の重心位置が一致するように配置する(図4:ステップS1)。
より詳しくは、目標形状を囲う最小の直方体(バウンディングボックス)を特定し、当該バウンディングボックスのx軸、y軸及びz軸の辺の長さの平均値を算出する。そして、当該平均値の長さを有する立方体に入るように、入力形状である球を拡大又は縮小する。但し、バウンディングボックスに入るように、3方向で異なる拡大又は縮小率で球に対してスケール変換を実行するようにしても良い。
なお、等スケールで拡大又は縮小する場合には、例えば図5に示すように初期配置がなされる。図5は、例えば右心房である目標形状10に対して球11が、それらの重心が一致するように配置されている状態を示している。
次に、変形処理部103は、変形処理を実行し、変形処理完了後の形状データを変形形状データ格納部105に格納する(ステップS3)。変形処理については、後に詳しく述べる。
その後、出力処理部106は、変形処理完了後の3次元形状データを表示部107に表示するための処理を行う(ステップS5)。
次に、図6乃至図21を用いて変形処理について説明する。
まず、変形処理部103は、変形回数をカウントするための変数tの初期値をt=0と設定する(図6:ステップS21)。次に、変形処理部103は、変数tをt=t+1と増分することにより変形回数をカウントするとともに、数mの初期値をm=0と設定する(ステップS23)。mは、処理した頂点数をカウントするための変数である。
そして、変形処理部103は、変数mをm=m+1と増分し(ステップS25)、変形処理部103のランドマーク設定部1032は、ランドマーク設定処理を実行する(ステップS27)。ランドマーク設定処理については、図7乃至図13を用いて説明する。
まず、ランドマーク設定部1032は、入力形状又は前回変形後の入力形状のデータから、頂点vをランダムに1つ特定する(図7:ステップS41)。同じ頂点を選択する意味はないので、例えばtの値が変化しない間で未選択の頂点を選択する。
そして、ランドマーク設定部1032は、ランドマークデータ格納部104に格納されている各ソースランドマークと頂点vとの間のユークリッド距離をそれぞれ算出する。そして、ランドマーク設定部1032は、頂点vと各ソースランドマークとの間のユークリッド距離のうち最小のものが、閾値D以下であるか判断する(ステップS43)。ステップS43は、頂点vを入力形状又は前回変形後の入力形状において可能な限り均等に配置するために行われる処理である。ステップS43においては、以下の式を満たすか否かを判断する。
ここで、d(vi)は、点vと点viとの間のユークリッド距離を表す。viは、ソースランドマークである。但し、初回は、ソースランドマークが設定されていないので、ユークリッド距離は閾値Dを超えると判断するものとする。
頂点vと各ソースランドマークとの間のユークリッド距離のうち最小のものが閾値D以下であると判断された場合(ステップS43:Yesルート)、呼出元の処理に戻る。一方、頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値Dより大きいと判断された場合(ステップS43:Noルート)、ランドマーク設定部1032は、境界点探索処理を実行する(ステップS45)。境界点探索処理については、図8乃至図13を用いて説明する。
まず、ランドマーク設定部1032は、頂点vの単位法線ベクトルn(v)を算出する(図8:ステップS61)。ここで、n(v)は、頂点v(∈H)での面Hに対する単位法線ベクトルである。単位法線ベクトルとは、長さが1の法線ベクトルをいう。なお、H(⊂V)は、入力形状又は前回変形後の入力形状の形状面を表し、V(⊂R3)はセグメント画像データにより特定されるボクセル空間である。また、R3は、実数空間を表す。ここでは簡単化のため、セグメント画像データは、0又は1の2値を取るものとするが、0又は1以外の値を取るものであっても良いし、2値以上の多値を取るものであっても良い。また、ボクセルは、デジタルデータの立体表現において、その最小の立方体(正規格子)の単位を示す。
また、ランドマーク設定部1032は、頂点vが目標形状の内側に存在するか判断する(ステップS63)。ステップS63においては、以下の式を満たすか否かを判断する。
ここで、ボクセル空間Vから実数空間R 3 への写像f:V→R 3 は以下のように定義される。この写像fにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間R 3 に対応付けられる。
ここで、Iは点p(∈V)を含むボクセルの輝度値である。
図9及び図10を用いて、ステップS63の処理について説明する。図9に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0より大きい場合には、頂点vが目標形状の内側に存在する。そこで、後に説明するステップS75の処理において係数kを1ずつインクリメントするように設定することで、目標形状の内から外へ向かう方向に境界点を探索する。一方、図10に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0になる場合には、頂点vが目標形状の外側に存在する。そこで、後に述べるステップS89の処理において係数kを1ずつデクリメントするように設定することで、目標形状の外から内へ向かう方向に境界点を探索する。
そして、頂点vが目標形状の内側に存在すると判断された場合(ステップS63:Yesルート)、ランドマーク設定部1032は、係数kをk=0と設定する(ステップS65)。また、ランドマーク設定部1032は、境界点であるかどうかを判定する点(以下、探索点と呼ぶ)を以下のように設定する(ステップS67)。
そして、ランドマーク設定部1032は、セグメント画像データにより特定されるボクセル空間内に探索点が存在するか判断する(ステップS69)。ステップS69においては、以下の式を満たすか判断する。
セグメント画像データにより特定されるボクセル空間内に探索点が存在しないと判断された場合(ステップS69:Noルート)、呼出元の処理に戻る。探索点がボクセル空間外に達したため、頂点vについての法線と目標形状とが交点を有さないと判断できるためである。
一方、セグメント画像データにより特定されるボクセル空間内に探索点が存在すると判断された場合(ステップS69:Yesルート)、ランドマーク設定部1032は、探索点が変形前形状(入力形状又は前回変形後の入力形状)を貫通したか判断する(ステップS71)。ステップS71においては、以下の式を満たすか判断する。
ここで、写像g:V→R3は以下のように定義される。この写像gにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間R3に対応付けられる。
ここで、写像gの制限g|はn(v)になることに注意する。
図11及び図12を用いて、ステップS71の処理について説明する。探索点が境界点に達する前に変形前形状(入力形状又は前回変形後の入力形状)を貫通するような場合には、境界点の探索を適切に行えていない可能性がある。探索点が境界点に達する前に変形前形状を貫通するような場合とは、例えば、図11に示したような場合と、図12に示したような場合とが考えられる。すなわち、目標形状に対する変形前形状の変形度合いにより探索方向に境界点が存在しない場合が考えられる。いずれのケースにおいても、境界点を検出できないか、又は適切でない位置に境界点を検出してしまう可能性がある。そこで、ステップS71においては、頂点vについての法線ベクトルと探索点についての法線ベクトルとの内積を算出し、内積が0より小さい(すなわち、法線ベクトルのなす角が90度より大きい)場合に、探索点が変形前形状を貫通したと判断している。
図8の説明に戻り、探索点が変形前形状を貫通したと判断された場合(ステップS71:Yesルート)、適切な境界点を検出できないので、呼出元の処理に戻る。一方、探索点が変形前形状を貫通していないと判断された場合(ステップS71:Noルート)、ランドマーク設定部1032は、探索点に対応するボクセル空間の輝度値と頂点vに対応するボクセル空間の輝度値とを比較し、輝度値が有意に、すなわち許容値以上に変化したかを判断する(ステップS73)。ステップS73においては、以下の式を満たすか判断する。
そして、輝度値が有意には変化していないと判断された場合(ステップS73:Noルート)、ランドマーク設定部1032は、係数kをk=k+1とインクリメントし(ステップS75)、ステップS67の処理に戻る。
このようにすると、図13に示すように、頂点vから法線方向へ1ボクセル分ずつ探索点を移動させつつ、境界点が存在するかを判定することができる。
一方、輝度値が有意に変化したと判断された場合(ステップS73:Yesルート)、ランドマーク設定部1032は、探索点を境界点に設定する(ステップS77)。ステップS77においては、探索点のデータ(例えばkの値)をメインメモリ等の記憶装置に格納しておく。そして呼出元の処理に戻る。
これに対して、ステップS63において、頂点vが目標形状の外側に存在すると判断された場合(ステップS63:Noルート)に行われる処理について説明する。この場合の処理は、上で述べた処理とは探索方向が異なるだけであるから、基本的な処理の内容は上で述べたとおりである。すなわち、ステップS79の処理はステップS65の処理と同様であり、ステップS81の処理はステップS67の処理と同様であり、ステップS83の処理はステップS69の処理と同様であり、ステップS85の処理はステップS71の処理と同様であり、ステップS87の処理はステップS73の処理と同様である。従って、ステップS79乃至S87の処理の詳細な説明は省略する。
そして、ンドマーク設定部1032は、係数kをk=k−1とデクリメントし(ステップS89)、ステップS81の処理に戻る。これにより、探索点が、目標形状の外側から内側へ向かう法線方向に1ボクセル分移動される。また、ステップS91の処理は、ステップS77の処理と同様である。
以上のような処理を実施することにより、頂点vについての法線と目標形状との交点(すなわち境界点)を検出することができるようになる。
図7の説明に戻り、ランドマーク設定部1032は、境界点探索処理において境界点が検出されたか判断する(ステップS47)。境界点が検出されていないと判断された場合(ステップS47:Noルート)、次の頂点について処理するため、呼出元の処理に戻る。
一方、境界点が検出されたと判断された場合(ステップS47:Yesルート)、ランドマーク設定部1032は、頂点vと境界点v+kn(v)とを結ぶ線分の内分点をターゲットランドマークに設定する(ステップS49)。具体的には、ターゲットランドマークは以下のような点に設定される。
そして、ランドマーク設定部1032は、頂点vをソースランドマークに設定する(ステップS51)。ソースランドマークについては頂点識別子のデータをランドマークデータ格納部104に格納し、対応するターゲットランドマークについては座標データをランドマークデータ格納部104に格納する。ソースランドマークの座標データについては、ソースランドマークの識別子を用いて、入力形状を処理する場合には入力形状データ格納部102から読み出し、前回変形後の入力形状を処理する場合には変形形状データ格納部105から読み出して用いる。ソースランドマークについては、ステップS43で用いられるが、過去に設定されたソースランドマークが処理対象となる。ステップS49及びS51で設定されたソースランドマーク及びターゲットランドマークの対については、次のステップS31でのみ用いられる。
以上のような処理を実行することにより、変形前の形状(入力形状又は前回変形後の入力形状)における頂点と目標形状における境界点とを結ぶ線分の内分点を、ターゲットランドマークに設定することができるようになる。
図6の説明に戻り、変形処理部103は、変数mについてm<Nであるか判断する(ステップS29)。ここで、Nは、予め設定された整数である。m<Nであると判断された場合(ステップS29:Yesルート)、次の頂点について処理するため、ステップS25の処理に戻る。
一方、変数mについてm<Nではないと判断された場合(ステップ29:Noルート)、変形処理部103の変形部1033は、ランドマークデータ格納部104に格納されている、同じtについて設定された、ソースランドマーク及びターゲットランドマークの対のデータに従い、TPSWarpによる変形処理を実行し、変形後の形状データを変形形状データ格納部105に格納する(ステップS31)。
図14に示すように、ソースランドマークを変形前の形状に配置し、ソースランドマークの法線と目標形状との交点にターゲットランドマークを配置し、TPSWarpによる変形処理を行うことが考えられる。しかしながら、図14に示すように、法線が交差するような状況が発生すると、変形後の形状には、目標形状とは異なる不自然な形状が生じてしまうことがある。
そこで、本実施の形態における変形処理においては、図15に示すように、変形前の形状に配置されたソースランドマーク(ドットによるハッチング付き丸)と、ソースランドマークの法線と目標形状との交点とを結ぶ線分を内分する点(一点鎖線上の点)に、ターゲットランドマーク(クロスハッチング付き丸)を配置し、TPSWarpによる変形処理を行う。この変形処理で得られた変形後形状においてソースランドマーク(ドットによるハッチング付き丸)を再度設定して、ソースランドマークの法線と目標形状との交点とを結ぶ線分を内分する点にターゲットランドマークを配置して、TPSWarpによる変形処理を行う。このような変形処理を繰り返し行うことにより、徐々に目標形状に近付けていく。これにより、変形後の形状に不自然な形状が生じにくくなり、また法線の方向が本来目標とすべき部分に向きやすくなる。なお、内分比は徐々に大きくなるが、ソースランドマークとターゲットランドマークとの距離も短くなるので、適切な変形が行われる。
そして、変形処理部103のメッシュ処理部1034は、変形形状データ格納部105に格納された、今回の変形後の形状データについて、メッシュ再分割処理を実行し、処理結果を変形形状データ格納部105に格納する(ステップS33)。
目標形状が複雑であるほど変形の際メッシュ要素の形状に偏りが生じるため、本実施の形態では、変形を繰り返しながらメッシュ要素の面積が所定の閾値を超えるメッシュ要素及び周辺のメッシュ要素についてはメッシュの細分化を行う処理としてメッシュ再分割処理を行う。メッシュ要素の細分化を行うことで、メッシュの形状の偏りのためアスペクト比が悪化して滑らかな形状が保てなくなる等の現象を防ぐことが出来る。また、メッシュ要素で区画される曲面を描画する場合には、その精度はメッシュ要素の細かさ(メッシュ解像度とも呼ぶ)に依存するため、メッシュ再分割処理を行うことで、任意形状を精度良く表現することが出来る。
特に、特徴の無い単純な形状を用いているため変形に偏りが生じ、結果としてメッシュの不均等が起こりやすい。よって、例えば変形前のメッシュ要素のサイズよりも大きくなったメッシュ要素については、当該メッシュ要素等を再分割することによって不都合を解消する。
メッシュ再分割処理におけるメッシュ分割手法には、八分木メッシュ分割法やDelaunay三角形分割等様々な手法がある。Delaunay三角分割はよく知られているが、一例として、ここで簡単に説明しておく。まず、面積が所定の閾値を超えるメッシュ要素の内部に新たな点aを追加する。図16の例では、面積とは関係なく点aが設定されているが、面積が所定の閾値を超えるメッシュ要素内部に新たな点aを設定する。次に、各メッシュ要素の外接円を描き、点aを内包するメッシュ要素を特定する。図17の例では、ハッチングが付された3つのメッシュ要素が特定される。これらのメッシュ要素で多角形を生成し(図18)、この多角形の頂点と点aとで、多角形を三角形に分割する(図19)。このような処理を行えば、おおよそ均一サイズの三角形が含まれる三角形メッシュが生成されるようになる。
そして、変形処理部103は、変数tについてt<Tであるか判断する(ステップS35)。t<Tであると判断された場合(ステップS3:Yesルート)、さらに変形処理を行うため、ステップS23の処理に戻る。なお、Tは総変形回数であり、予め管理者等により設定される(例えばT=500)。
一方、変数tについてt<Tでないと判断された場合(ステップS35:Noルート)、T回の変形が終了したため、呼出元の処理に戻る。
以上のような処理を実行することにより、精度の高い3次元形状データを得ることができるようになる。
例えば、ステップS33のメッシュ再分割処理を実施しないと、図20に示すような三次元形状データが得られる。図20から分かるように、メッシュ要素のサイズは不均一で精度の低い三次元形状データが得られている。一方、ステップS33のメッシュ再分割処理を実施すれば、図21に示すような三次元形状データが得られる。細かい三角形要素により精度の高い三次元形状データが得られていることが分かる。
[実施の形態2]
本実施の形態では、目標形状として開口部を有する三次元曲面を想定する。わかりにくい部分もあるが、図22に示すような目標形状を想定する。この目標形状において点線で囲った部分が開口部である。
この場合、本実施の形態では、例えば図23に示すような円板状の入力形状を用いる。図23ではメッシングされていないように見えるが、メッシングされているものとする。
このような場合に、図1に示した形状データ生成装置100は、図24乃至図29で示すような処理を実施する。
まず、ユーザから目標形状が開口を有する三次元曲面である旨の指示を入力部108を介して受け付けると、変形処理部103の初期設定部1031は、入力形状データ格納部102に格納されている円板状の入力形状のデータを読み出し、その円板の外周エッジに等間隔でソースランドマークを設定する(図24:ステップS101)。例えば、図25に模式的に示すように、円板の外周上に球形のソースランドマークが設定される。なお、ソースランドマークについては、その頂点識別子が、ランドマークデータ格納部104に格納されている。なお、本ステップで設定されたソースランドマークは、固定点として以下の処理で扱われる。
さらに、初期設定部1031は、画像データ格納部101に格納されている画像データから目標形状を特定し、当該目標形状の開口部の外周エッジに等間隔に、入力形状に設定したソースランドマーク数と同数のターゲットランドマークを設定する(ステップS103)。ターゲットランドマークについては、その頂点座標のデータが、ランドマークデータ格納部104に格納される。図26に模式的に示すように、開口部の外周エッジに、球形のターゲットランドマークが等間隔及び同数設定される。
そうすると、初期設定部1031は、変形部1033に対して、ソースランドマークをターゲットランドマークの位置に移動するように、TPSWarpによる変形処理を実行させ、変形後の形状データを変形形状データ格納部105に格納する(ステップS105)。図27に、本変形処理を模式的に示す。図27の左側は、変形前の状態を示しており、入力形状の外周エッジ21に等間隔に配置されたソースランドマークを、目標形状の開口部の外周エッジ22に等間隔に配置されたターゲットランドマークに向けて1回で変形する。そうすると、図27の右側に示すように、ソースランドマークがターゲットランドマークの位置に移動して、その他の入力形状の外周エッジ21はおおよそ目標形状の開口部の外周エッジ22に一致するように変形される。図25及び図26の例では、図28に模式的に示すような状態が得られる。図28の例では、上面において塗りつぶされた部分が入力形状に相当する。
そして、変形処理部103は、変形処理を実行する(ステップS107)。基本的な処理の流れは、図6乃至図8の処理を行うことになる。但し、第1の実施の形態と異なる点は、既に1回変形処理が行われている点、既にソースランドマークが設定されている点、当該ソースランドマークは固定点である点が異なる。既に1回変形処理が行われている点については、処理の流れとしては、t=1の場合においてもランドマーク設定処理において変形形状データ格納部105に格納されている前回変形後の入力形状のデータを用いる点が異なる。
既にソースランドマークが設定されている点は、処理の流れとしてはステップS43において初回でもユークリッド距離が算出される点で異なる。ソースランドマークが固定点である点については、ステップS31における変形処理において固定点の座標データは変更されないという点で異なる。
それ以外の処理については第1の実施の形態と同様である。
そして、出力処理部106は、変形形状データ格納部105に格納されている変形後の形状データを表示部107に表示するための処理を実行する(ステップS109)。
例えば上で述べた例では、図29に示すような処理結果が得られる。図29の例では、おおよそ均等なメッシュ要素で形成された形状データが得られていることが分かる。
[実施の形態3]
心房は、心室に比して、肺静脈や大静脈などの血管に繋がっており複雑な形状を有している。そこで、図30に示すように、右心房から大静脈31が伸びている形状を目標形状の一例として処理を行う例を説明する。
本実施の形態に係る形状データ生成装置200の機能ブロック図を図31に示す。なお、図1に示した形状データ生成装置100とほぼ同様の機能を有する場合には同じ参照符号を付している。形状データ生成装置200は、画像データ格納部101bと、入力形状データ格納部102と、変形処理部103bと、ランドマークデータ格納部104と、固定点データ格納部201と、変形形状データ格納部105と、出力処理部106bと、表示部107と、入力部108とを有する。
画像データ格納部101bには、右心房のみについての第1のセグメント画像データと、右心房及び血管についての第2のセグメント画像データとが両方格納されている。
固定点データ格納部201は、以下で述べるように1回目の変形処理を実施することで得られる変形後入力形状と血管との境界部分における外周エッジに設定される固定点のデータを格納する。
出力処理部106bは、変形処理部103bからの指示に応じて、1回目の変形処理を実施することで得られる変形後入力形状を表示部107に出力する場合もある。
さらに、変形処理部103bは、初期設定部1031と、ランドマーク設定部1032と、変形部1033と、メッシュ処理部1034と、第2初期設定部1035とを有する。第2初期設定部1035は、2回目の変形処理の前に行われる設定処理を実行する。
次に、図32乃至図37を用いて、本実施の形態に係る処理を説明する。
例えば、ユーザから本実施の形態に係る処理の開始指示を入力部108を介して受け付けると、変形処理部103bの初期設定部1031は、画像データ格納部101bに格納されている第1のセグメント画像データから血管等を含まない右心房などの目標形状を特定し、入力形状データ格納部102から球状の入力形状のデータを読み出して目標形状に合わせて入力形状を拡大又は縮小し、目標形状の重心位置と入力形状の重心位置が一致するように配置する(図32:ステップS201)。本ステップは、図4のステップS1と同様の処理である。
次に、変形処理部103bは、第1変形処理を実行し、変形処理完了後の形状データを変形形状データ格納部105に格納する(ステップS203)。第1変形処理については、図4のステップS3と同様であり、図6乃至図8を用いて説明された処理を実行する。
次に、第2初期設定部1035は、変形形状データ格納部105に格納されている第1変形処理の処理結果である変形後入力形状を、画像データ格納部101bに格納されている第2セグメント画像データから特定される右心房及び血管を含む第2の目標形状に重畳させるように配置する(ステップS205)。重畳した状態はわかりにくいが、図33に示すような状態となる。図33の例では丸印で囲われた部分が、血管の部分であり、この部分は第1の変形処理による変形後入力形状との差分に相当する。
そして、第2初期設定部1035は、変形後入力形状において、当該変形後入力形状と第2の目標形状との境界面の外周エッジに固定点を設定し、当該固定点のデータを固定点データ格納部201に格納する(ステップS207)。例えば、固定点の頂点識別子のデータを、固定点データ格納部201に格納する。
図33の丸印で囲まれた部分を拡大すると図34に示すようになる。図34の例では、変形後入力形状と第2の目標形状との境界面40が特定されるようになる。そうすると、この境界面40の外周エッジに、例えば等距離で丸印の固定点を設定する。なお、変形形状データ格納部105に格納されている第1の変形処理の処理結果及び第2の目標形状とを表示部107に表示して、ユーザに入力部108を介して固定点を設定させるようにしても良い。固定点が設定された変形後入力形状の一例を図35に示す。固定点は球で表されているが、図35では強調表示されている。なお、球で囲まれた内部の面にも三角形メッシュ要素が形成されている。
そして、変形処理部103bは、第2変形処理を実施し、処理結果を変形形状データ格納部105に格納する(ステップS209)。基本的には、第1の実施の形態に係る変形処理と同様である。
但し、固定点データ格納部201に格納されている固定点については移動させないので、ステップS31において、固定点データ格納部201に識別子が登録されている頂点についてはその位置を移動させないようにする。
そして、出力処理部106bは、変形形状データ格納部105に格納されている変形後の形状データを表示部107に表示するための処理を実行する(ステップS211)。
例えば上で述べた例では、図36に示すような処理結果が得られる。図36は強調表示した固定点を示したままであるが、固定点は実際には見えない。すなわち、図37に示すような三次元形状データが第2変形処理の変形後入力形状のデータとして得られる。
このように複雑な形状であっても精度良く形状データを生成することができるようになる。
以上本技術の実施の形態を説明したが、本技術はこのような実施の形態に限定されるものではない。例えば、上で説明した図1及び図31に示された機能ブロック図は一例であって、必ずしも実際のプログラムモジュール構成とは一致しない場合もある。
また、処理フローについても、処理結果が変わらない限り、ステップの順番を入れ替えたり、複数のステップを並列実行するようにしても良い。
さらに、上では心臓特に右心房を一例に説明したが、他の心房や心室、その他の臓器でも同様に処理できる。
なお、上で述べた形状データ生成装置100及び200は、コンピュータ装置であって、図38に示すように、メモリ2501とCPU2503とハードディスク・ドライブ(HDD)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本実施の形態をまとめると以下のようになる。
本実施の形態に係る形状データ生成方法は、(A)画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、(B)入力形状の複数の頂点から、法線が目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、(C)特定された第1の頂点を、当該第1の頂点についての法線の方向に、目標形状までの距離より短い第1の距離移動させるように、入力形状を変形し、(D)変形後の入力形状を処理対象の入力形状に変更して第1の頂点の特定及び入力形状の変を所定回数実行する処理を含む。
このような入力形状を用いることで、精度良く目標形状と同様の形状を有する形状データを生成できるようになる。
なお、上で述べた入力形状の変形において、変形後の形状における複数のメッシュ要素のうち、面積が閾値を超えるメッシュ要素及び周辺のメッシュ要素についてメッシュ再分割処理を実行するようにしても良い。このようにメッシュ再分割処理を実施することで、おおよそ均一なサイズを有するメッシュ要素が生成されることになるので、滑らかな形状を生成できるようになる。特に、上で述べたような入力形状の場合には、不均一なメッシュ要素が生成されるケースが多くなるので、このような処理は精度の良い形状データを生成するために有効である。
さらに、上で述べた入力形状の設定において、目標形状が三次元閉曲面であれば、球状の入力形状を、目標形状に合わせて縮小又は拡大して目標形状の重心位置に配置するようにしても良い。このようにすれば、三次元閉曲面であっても適切に変形処理を実行できるようになる。
また、上で述べた入力形状の設定において、目標形状が開口部を有する三次元曲面であれば、平板の入力形状を、開口部に合わせて変形するようにしても良い。この場合、上で述べた入力形状の変形において、開口部に合わせて変形された入力形状のエッジ部分を固定させるようにしても良い。このようにすれば、開口部を有するような三次元曲面であっても適切に変形処理を実行できるようになる。
さらに、本形状データ生成方法は、(E)第2の画像データにより特定され且つ目標形状に対して追加部分が付加された第2の目標形状に対して、第1の頂点の特定及び入力形状の変更を所定回数実行させた後の形状である第2の入力形状であって第2の目標形状の追加部分との境界面の外周エッジに移動させない固定点が設定された第2の入力形状を配置させ、(F)第2の入力形状の複数の頂点から、法線が第2の目標形状と交点を有するという条件を含む所定の条件を満たす第2の頂点を特定させ、(G)特定された第2の頂点を、当該第2の頂点についての法線の方向に、第2の目標形状までの距離より短い第2の距離移動させるように、固定点を除き第2の入力形状を変形させ、(H)変形後の第2の入力形状を処理対象の第2の入力形状に変更して第2の頂点の特定及び第2の入力形状の変を第2の所定回数実行させるようにしても良い。
複雑な形状を有する形状データを生成する場合には、2段階で変形処理を実行すれば精度の良い形状データを生成できるようになる。
さらに、上で述べた第1の頂点の特定又は第2の頂点の特定において、(X1)着目した頂点を当該着目した頂点についての法線の方向へ第3の距離移動させ、移動先の点が前記画像データ又は前記第2の画像データにより特定されるボクセル空間に含まれるかを判断し、(X2)移動先の点がボクセル空間に含まれると判断された場合、着目した頂点についての法線ベクトルと移動先の点についての法線ベクトルとの内積に基づき、移動先の点が入力形状又は第2の入力形状を貫通したか判断し、(X3)移動先の点が入力形状又は第2の入力形状を貫通していないと判断された場合、移動先の点における輝度値と着目した頂点における輝度値とを比較し、輝度値が変化したか判断し、(X4)輝度値が変化したと判断された場合、着目した頂点についての法線が目標形状又は第2の目標形状と交点を有するという条件を満たすと判定し、(X5)移動先の点がボクセル空間に含まれないと判断された場合又は移動先の点が入力形状又は第2の入力形状を貫通したと判断された場合、着目した頂点についての法線が入力形状又は第2の入力形状と交点を有するという条件を満たさないと判定し、(X6)輝度値が変化していないと判断された場合、移動先の点が画像データ又は第2の画像データにより特定されるボクセル空間に含まれるかの判断以降の処理を移動先の点について再度実行するようにしても良い。
このようにすれば、第1の頂点についての法線が第2の形状と交点を有するか否かを適切に判定することができるようになる。
なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

Claims (8)

  1. コンピュータに、
    画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定させ、
    前記入力形状の複数の頂点から、法線が前記目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定させ、
    特定された前記第1の頂点を、当該第1の頂点についての法線の方向に、前記目標形状までの距離より短い第1の距離移動させるように、前記入力形状を変形させ、
    変形後の入力形状を処理対象の入力形状に変更して前記第1の頂点の特定及び前記入力形状の変更を所定回数実行させる
    形状データ生成プログラム。
  2. 前記入力形状の変形において、
    変形後の形状における複数のメッシュ要素のうち、面積が閾値を超えるメッシュ要素及び周辺のメッシュ要素についてメッシュ再分割処理を実行する
    請求項1記載の形状データ生成プログラム。
  3. 前記入力形状の設定において、
    前記目標形状が三次元閉曲面であれば、球状の入力形状を、前記目標形状に合わせて縮小又は拡大して前記目標形状の重心位置に配置する
    請求項1又は2記載の形状データ生成プログラム。
  4. 前記入力形状の設定において、
    前記目標形状が開口部を有する三次元曲面であれば、平板の入力形状を、前記開口部に合わせて変形し、
    前記入力形状の変形において、
    前記開口部に合わせて変形された前記入力形状のエッジ部分を固定させる
    請求項1又は2記載の形状データ生成プログラム。
  5. 前記コンピュータに、さらに、
    第2の画像データにより特定され且つ前記目標形状に対して追加部分が付加された第2の目標形状に対して、前記第1の頂点の特定及び前記入力形状の変更を所定回数実行させた後の形状である第2の入力形状であって前記第2の目標形状の前記追加部分との境界面の外周エッジに移動させない固定点が設定された前記第2の入力形状を配置させ、
    前記第2の入力形状の複数の頂点から、法線が前記第2の目標形状と交点を有するという条件を含む前記所定の条件を満たす第2の頂点を特定させ、
    特定された前記第2の頂点を、当該第2の頂点についての法線の方向に、前記第2の目標形状までの距離より短い第2の距離移動させるように、前記固定点を除き前記第2の入力形状を変形させ、
    変形後の第2の入力形状を処理対象の第2の入力形状に変更して前記第2の頂点の特定及び前記第2の入力形状の変更を第2の所定回数実行させる
    請求項1乃至4のいずれか1つ記載の形状データ生成プログラム。
  6. 前記第1の頂点の特定又は前記第2の頂点の特定において、
    着目した頂点を当該着目した頂点についての法線の方向へ第3の距離移動させ、移動先の点が前記画像データ又は前記第2の画像データにより特定されるボクセル空間に含まれるかを判断し、
    前記移動先の点が前記ボクセル空間に含まれると判断された場合、前記着目した頂点についての法線ベクトルと前記移動先の点についての法線ベクトルとの内積に基づき、前記移動先の点が前記入力形状又は前記第2の入力形状を貫通したか判断し、
    前記移動先の点が前記入力形状又は前記第2の入力形状を貫通していないと判断された場合、前記移動先の点における輝度値と前記着目した頂点における輝度値とを比較し、輝度値が変化したか判断し、
    前記輝度値が変化したと判断された場合、前記着目した頂点についての法線が前記目標形状又は前記第2の目標形状と交点を有するという条件を満たすと判定し、
    前記移動先の点が前記ボクセル空間に含まれないと判断された場合又は前記移動先の点が前記入力形状又は前記第2の入力形状を貫通したと判断された場合、前記着目した頂点についての法線が前記入力形状又は前記第2の入力形状と交点を有するという条件を満たさないと判定し、
    前記輝度値が変化していないと判断された場合、前記移動先の点が前記画像データ又は前記第2の画像データにより特定されるボクセル空間に含まれるかの判断以降の処理を前記移動先の点について再度実行する
    請求項1乃至5のいずれか1つ記載の形状データ生成方法。
  7. コンピュータが、
    画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定し、
    前記入力形状の複数の頂点から、法線が前記目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定し、
    特定された前記第1の頂点を、当該第1の頂点についての法線の方向に、前記目標形状までの距離より短い第1の距離移動させるように、前記入力形状を変形し、
    変形後の入力形状を処理対象の入力形状に変更して前記第1の頂点の特定及び前記入力形状の変更を所定回数実行する
    処理を実行する形状データ生成方法。
  8. 画像データにより特定される変形目標の形状である目標形状に対して、当該目標形状と同じトポロジを有する単純な形状を有する入力形状を設定する設定部と、
    前記入力形状の複数の頂点から、法線が前記目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定する特定部と、
    特定された前記第1の頂点を、当該第1の頂点についての法線の方向に、前記目標形状までの距離より短い第1の距離移動させるように、前記入力形状を変形する変形部と、
    変形後の入力形状を処理対象の入力形状に変更して前記特定部及び前記変形部を所定回数動作させる処理部と、
    を有する形状データ生成装置。
JP2014526631A 2012-07-23 2012-07-23 形状データ生成方法及び装置 Active JP5850380B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/068634 WO2014016894A1 (ja) 2012-07-23 2012-07-23 形状データ生成方法及び装置

Publications (2)

Publication Number Publication Date
JP5850380B2 JP5850380B2 (ja) 2016-02-03
JPWO2014016894A1 true JPWO2014016894A1 (ja) 2016-07-07

Family

ID=49996731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014526631A Active JP5850380B2 (ja) 2012-07-23 2012-07-23 形状データ生成方法及び装置

Country Status (4)

Country Link
US (1) US9607423B2 (ja)
EP (1) EP2876607B1 (ja)
JP (1) JP5850380B2 (ja)
WO (1) WO2014016894A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885084B (zh) * 2013-12-16 2018-04-20 株式会社日立制作所 分析用网格数据生成方法以及分析用网格数据生成装置
US9947142B2 (en) * 2014-11-18 2018-04-17 St. Jude Medical, Cardiology Division, Inc. Methods and systems for generating a patch surface model of a geometric structure
WO2016120225A1 (en) * 2015-01-28 2016-08-04 Koninklijke Philips N.V. Finite element modeling of anatomical structure
JP6536169B2 (ja) * 2015-05-21 2019-07-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034774A (ja) 1999-07-21 2001-02-09 Ricoh Co Ltd 自由曲線の近似変換方法、装置及び記録媒体
WO2002073536A2 (en) * 2001-03-09 2002-09-19 Koninklijke Philips Electronics N.V. Image segmentation
DE10111661A1 (de) 2001-03-09 2002-09-12 Philips Corp Intellectual Pty Verfahren zum Segmentieren einer in einem Objekt enthaltenen dreidimensionalen Struktur, insbesondere für die medizinische Bildanalyse
US7221787B2 (en) * 2002-12-10 2007-05-22 Eastman Kodak Company Method for automated analysis of digital chest radiographs
EP1638459A2 (en) 2003-06-11 2006-03-29 Case Western Reserve University Computer-aided-design of skeletal implants
US7620226B2 (en) * 2004-10-28 2009-11-17 Siemens Medical Solutions Usa, Inc. Semi-local active contour for a faint region detection in knee CT images
US7602965B2 (en) * 2004-10-28 2009-10-13 Siemens Medical Solutions Usa, Inc. Object detection using cross-section analysis
JP2007098028A (ja) 2005-10-07 2007-04-19 Konica Minolta Medical & Graphic Inc モデリング装置、モデリング方法、領域抽出装置、およびプログラム
JP2007159927A (ja) * 2005-12-15 2007-06-28 Konica Minolta Medical & Graphic Inc モデリング装置、モデリング方法、領域抽出装置、領域抽出方法及びプログラム
US7557804B1 (en) * 2006-03-06 2009-07-07 Adobe Systems Inc. Methods and apparatus for three-dimensional isographic navigation
JP4994737B2 (ja) * 2006-07-27 2012-08-08 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
US8358818B2 (en) * 2006-11-16 2013-01-22 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US8160345B2 (en) * 2008-04-30 2012-04-17 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
US8108189B2 (en) * 2008-03-25 2012-01-31 Align Technologies, Inc. Reconstruction of non-visible part of tooth
JP4931022B2 (ja) 2008-09-04 2012-05-16 独立行政法人産業技術総合研究所 衣類状態推定方法及びプログラム
JP4806706B2 (ja) * 2008-12-18 2011-11-02 株式会社日立製作所 解析モデルの変形方法および計算機
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
JP5546230B2 (ja) * 2009-12-10 2014-07-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2011224143A (ja) * 2010-04-20 2011-11-10 Hitachi Aloka Medical Ltd 超音波データ処理装置
US20120253170A1 (en) * 2011-03-29 2012-10-04 Samsung Electronics Co., Ltd. Method and apparatus for generating medical image of body organ by using 3-d model

Also Published As

Publication number Publication date
EP2876607A1 (en) 2015-05-27
EP2876607B1 (en) 2019-07-31
US20150131914A1 (en) 2015-05-14
WO2014016894A1 (ja) 2014-01-30
EP2876607A4 (en) 2016-01-06
US9607423B2 (en) 2017-03-28
JP5850380B2 (ja) 2016-02-03

Similar Documents

Publication Publication Date Title
JP5120926B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5866177B2 (ja) 画像処理装置および画像処理方法
US8130221B2 (en) Method and system for repairing triangulated surface meshes
EP2074499B1 (en) 3d connected shadow mouse pointer
US10346504B2 (en) 3D modelling of bodies
CN110168619B (zh) 在虚拟现实或增强现实环境中渲染复杂数据的系统和方法
US10891787B2 (en) Apparatus and method for creating biological model
JP5850380B2 (ja) 形状データ生成方法及び装置
JP2010508570A (ja) 結合された強度の投影
WO2002007089A2 (en) Apparatus and method for volume rendering
US20150130804A1 (en) Shape data generation method and apparatus
JP5721225B2 (ja) 形状データ生成方法、プログラム及び装置
JP2017012446A (ja) 画像処理装置
CN109509259A (zh) 一种医学图像三维重建等值面网格提取方法
EP3726477A1 (en) Chamber reconstruction from a partial volume
JP2011039828A (ja) 画像処理システム及び画像処理方法
JP6253962B2 (ja) 情報処理装置及び方法
JP6942007B2 (ja) 画像処理装置、及びプログラム
Hart et al. Interpolated SelectionConv for spherical images and surfaces
US11776207B2 (en) Three-dimensional shape data processing apparatus and non-transitory computer readable medium
US12026835B2 (en) Computer-implemented methods for simulating deformation in real-world scene, electronic devices, and computer-readable storage medium
US20220335691A1 (en) Computer-implemented methods for simulating deformation in real-world scene, electronic devices, and computer-readable storage medium
JP6106293B2 (ja) 画像処理装置、画像処理システム、および画像処理方法
JP2022171068A (ja) データ処理装置、データ処理方法、及びプログラム
CN117152378A (zh) 血管的建模方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151120

R150 Certificate of patent or registration of utility model

Ref document number: 5850380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150