JP5984114B2 - モデル作成プログラム、モデル作成方法、およびモデル作成装置 - Google Patents

モデル作成プログラム、モデル作成方法、およびモデル作成装置 Download PDF

Info

Publication number
JP5984114B2
JP5984114B2 JP2012159660A JP2012159660A JP5984114B2 JP 5984114 B2 JP5984114 B2 JP 5984114B2 JP 2012159660 A JP2012159660 A JP 2012159660A JP 2012159660 A JP2012159660 A JP 2012159660A JP 5984114 B2 JP5984114 B2 JP 5984114B2
Authority
JP
Japan
Prior art keywords
point
dimensional model
annulus
landmark
reference position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012159660A
Other languages
English (en)
Other versions
JP2014018413A (ja
Inventor
真智子 中川
真智子 中川
久田 俊明
俊明 久田
清了 杉浦
清了 杉浦
巧 鷲尾
巧 鷲尾
岡田 純一
純一 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
University of Tokyo NUC
Original Assignee
Fujitsu Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, University of Tokyo NUC filed Critical Fujitsu Ltd
Priority to JP2012159660A priority Critical patent/JP5984114B2/ja
Priority to EP13174019.3A priority patent/EP2688040B1/en
Priority to US13/934,859 priority patent/US9123169B2/en
Publication of JP2014018413A publication Critical patent/JP2014018413A/ja
Application granted granted Critical
Publication of JP5984114B2 publication Critical patent/JP5984114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、器官の3次元モデルを作成するモデル作成プログラム、モデル作成方法、およびモデル作成装置に関する。
近年、生体系のシミュレーションに注目が集まっている。例えば、生体系のシミュレーションとして心臓などの器官の動きのシミュレーションを行う場合がある。この場合、入力データとして器官のモデルを生成する。個別の患者の器官をシミュレーションする場合には、患者の器官の形状に合わせたモデルを作成することとなる。ただし患者の器官を直接目視することが困難であるため、例えば、器官の断層画像を介して器官の形状を確認し、その形状を元に器官の3次元モデルを作成している。例えば、患者の心臓および心臓周辺の血管の3次元形状モデルを容易に生成するための3次元テンプレート変形方法が考えられている。
特開2011−200549号公報
しかし、器官の断層画像から、器官の正確な形状を、3次元モデルで正確に再現することは難しい。
例えば心臓形状のテンプレートとして用意した3次元モデルを変形し、患者の心臓の3次元モデルを生成する場合を想定する。この場合、一次変形として、テンプレートの弁輪(弁の枠の部分)の位置を、患者の心臓形状に合わせる。一次変形は、後の変形に大きな影響を与えるため、正確に行う必要がある。テンプレートの弁輪の位置を、患者の心臓形状に合わせる場合、従来の手法では、例えば、断層画像における弁輪上の点に対応する点を、手動でテンプレートに設定する。そしてテンプレート上に設定された点が、断層画像における弁輪上の対応する点に合致するように、テンプレートを変形する。しかし、断層画像における弁輪上の点に対応するテンプレート上の点の設定が手動で行われているため、3次元的に確認すると、例えば弁輪同士の相対的な位置関係の整合性が取れず、変形後のモデルが歪む場合がある。
1つの側面では、本発明は、断層画像で示される器官の形状を3次元モデルで正確に再現できるモデル作成プログラム、モデル作成方法、およびモデル作成装置を提供することを目的とする。
1つの案では、器官の複数の断層画像に表されている第1の部位上に第1の点を設定し、複数の断層画像に表されている第1の部位の基準位置と、複数の断層画像に表されている第2の部位の基準位置とに対する、第1の点の相対位置を判断し、器官の構造を表した3次元モデル内の第1の部位の基準位置と、3次元モデル内の第2の部位の基準位置とに対する相対位置が、第1の点の相対位置と同じとなる第2の点を、該第1の点に対応付けて、3次元モデル内の第1の部位に設定し、複数の断層画像と3次元モデルとを同一座標系に配置したときに、第2の点が、該第2の点に対応する第1の点の位置に合致するように、3次元モデルを変形する、処理をコンピュータに実行させるモデル作成プログラムが提供される。
1態様によれば、断層画像で示される器官の形状を3次元モデルで正確に再現できる。
第1の実施の形態に係るモデル作成装置の機能構成例を示す図である。 本実施の形態に用いるコンピュータのハードウェアの一構成例を示す図である。 第2の実施の形態におけるコンピュータの機能を示すブロック図である。 心臓の断層画像の一例を示す図である。 テンプレート記憶部のデータ構造の一例を示す図である。 弁輪データ記憶部のデータ構造の一例を示す図である。 ランドマークデータのデータ構造の一例を示す図である。 3次元モデル作成処理の手順の一例を示すフローチャートである。 断層画像における弁輪部分の拡大図である。 弁輪指定処理の手順の一例を示すフローチャートである。 ターゲットランドマークに基づく弁輪のラインデータの一例を示す図である。 ソースランドマークの開始点の設定例を示す図である。 ランドマーク間の距離の比率の関係を示す図である。 ランドマーク対応付け処理の手順の一例を示すフローチャートである。 ターゲットランドマークに対応付けて設定されたソースランドマークの一例を示す図である。 ランドマークに応じた変形処理の一例を示す図である。 ランドマークに基づくテンプレートモデルの変形例を示す図である。 断層画像に応じた弁輪のフィッティング手法の一例を示す図である。 テンプレート変形処理の手順の一例を示す図である。 フィッティング処理による弁輪の変形例を示す図である。 比較例の式でフィッティング処理を行った場合の一例を示す図である。
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。第1の実施の形態は、生物の器官の正確な3次元モデルを作成するモデル作成装置である。
図1は、第1の実施の形態に係るモデル作成装置の機能構成例を示す図である。モデル作成装置Xは、記憶部3、第1の設定部4、判断部5、第2の設定部6、および変形部7を有する。
記憶部3は、器官の複数の断層画像1a,1b,1c,1dと、その器官の構造を表した3次元モデル2とを記憶する。器官としては、例えば心臓である。
第1の設定部4は、複数の断層画像1a,1b,1c,1dに表されている第1の部位上に第1の点を設定する。第1の部位は、例えば心臓内の弁の弁輪である。例えば第1の設定部4は、ユーザからの入力によって断層画像上に指定された点を、第1の点として設定する。なお第1の点は、複数設定することができる。
判断部5は、複数の断層画像1a,1b,1c,1dに表されている第1の部位の基準位置と、複数の断層画像1a,1b,1c,1dに表されている第2の部位の基準位置とに対する、第1の点の相対位置を判断する。第2の部位は、例えば心臓内の弁の弁輪のうち、第1の部位と異なる弁輪である。例えば第1の部位が僧帽弁の弁輪であれば、第2の部位は大動脈弁の弁輪となる。例えば判断部5は、複数の断層画像1a,1b,1c,1dに表されている第1の部位の基準位置と複数の断層画像1a,1b,1c,1dに表されている第2の部位の基準位置とを結んだ線と、第1の部位の基準点と第1の点とを結んだ線とを生成する。そして判断部5は、生成した2つの線の成す角度で、第1の点の相対位置を表す。なお、第1の部位と第2の部位との基準位置は、例えばそれぞれの重心である。
第2の設定部6は、第2の点を、第1の点に対応付けて、3次元モデル2内の第1の部位に設定する。このとき第2の設定部6は、器官の構造を表した3次元モデル2内の第1の部位の基準位置と、3次元モデル2内の第2の部位の基準位置とに対する相対位置が、第1の点の相対位置と同じとなるように、第2の点を設定する。例えば第2の設定部6は、3次元モデル2内の第1の部位の基準位置と3次元モデル2内の第2の部位の基準位置とを結んだ線と、3次元モデル2内の第1の部位の基準位置と第2の点とを結んだ線とを生成する。そして第2の設定部6は、生成した2つの線の成す角度が、第1の点の相対位置を表す角度と等しくなる、3次元モデル2内の第1の部位の位置に、その第1の点に対応する第2の点を設定する。
変形部7は、複数の断層画像1a,1b,1c,1dと3次元モデル2とを同一座標系8に配置したときに、第2の点が、該第2の点に対応する第1の点の位置に合致するように、3次元モデル2を変形する。
このようなモデル作成装置Xによれば、第1の設定部4により、複数の断層画像1a,1b,1c,1dに表されている第1の部位上に第1の点が設定される。次に判断部5により、第1の点の相対位置が判断される。次に第2の設定部6により、第1の点と同じ相対位置となる第2の点が、その第1の点に対応付けて、3次元モデル2内の第1の部位に設定される。そして変形部7により、第2の点が、その第2の点に対応する第1の点の位置に合致するように、3次元モデル2が変形される。
このようにモデル作成装置Xは、第1の部位と第2の部位とに対する相対位置を用いて第2の点を設定するようにしたため、変形後の3次元モデルにおいても、第1の部位と第2の部位との相対的な位置関係が正確となる。その結果、変形後の3次元モデル2が歪になってしまうことが抑止される。すなわち断層画像で示される器官の形状が、3次元モデルで正確に再現できる。
なお、第1の設定部4、判断部5、第2の設定部6、および変形部7は、モデル作成装置Xが有するCPU(Central Processing Unit)により実現することができる。また、記憶部3は、モデル作成装置Xが有するRAM(Random Access Memory)やハードディスクドライブ(HDD:Hard Disk Drive)などにより実現することができる。
また、図1に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。
〔第2の実施の形態〕
次に、第2の実施の形態について説明する。第2の実施の形態は、心臓の断層画像に基づいて、3次元モデルを作成するものである。
図2は、本実施の形態に用いるコンピュータのハードウェアの一構成例を示す図である。コンピュータ100は、CPU101によって装置全体が制御されている。CPU101には、バス109を介してRAM102と複数の周辺機器が接続されている。なおコンピュータ100が有するCPU数は1つに限定されず、複数であってもよい。コンピュータ100が複数のCPUを有する場合、複数のCPUが連係動作し、装置全体を制御する。
RAM102は、コンピュータ100の主記憶装置として使用される。RAM102には、CPU101に実行させるOS(Operating System)やアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、CPU101による処理に必要な各種データが格納される。
バス109に接続されている周辺機器としては、HDD103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107およびネットワークインタフェース108がある。
HDD103は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。HDD103は、コンピュータ100の補助記憶装置として使用される。HDD103には、OS、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
グラフィック処理装置104には、モニタ11が接続されている。グラフィック処理装置104は、CPU101からの命令に従って、画像をモニタ11の画面に表示させる。モニタ11としては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置などがある。
入力インタフェース105には、キーボード12とマウス13とが接続されている。入力インタフェース105は、キーボード12やマウス13から送られてくる信号をCPU101に送信する。なお、マウス13は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク14に記録されたデータの読み取りを行う。光ディスク14は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク14には、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。
機器接続インタフェース107は、コンピュータ100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置15やメモリリーダライタ16を接続することができる。メモリ装置15は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ16は、メモリカード17へのデータの書き込み、またはメモリカード17からのデータの読み出しを行う装置である。メモリカード17は、カード型の記録媒体である。
ネットワークインタフェース108は、ネットワーク10に接続されている。ネットワークインタフェース108は、ネットワーク10を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。なお、第1の実施の形態に示したモデル作成装置Xも、図2に示したコンピュータ100と同様のハードウェアにより実現することができる。
コンピュータ100は、コンピュータ読み取り可能な記録媒体に記録されたモデル作成プログラムを実行することにより、第2の実施の形態の処理機能を実現する。コンピュータ100に実行させる処理内容を記述したモデル作成プログラムは、様々な記録媒体に記録しておくことができる。例えば、コンピュータ100に実行させるプログラムをHDD103に格納しておくことができる。CPU101は、HDD103内のプログラムの少なくとも一部をRAM102にロードし、プログラムを実行する。またコンピュータ100に実行させるプログラムを、光ディスク14、メモリ装置15、メモリカード17などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばCPU101からの制御により、HDD103にインストールされた後、実行可能となる。またCPU101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。なおプログラムを記録する記録媒体には、一時的な伝搬信号自体は含まれない。
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスク14、メモリ装置15、メモリカード17などの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワーク10を介して、他のサーバコンピュータからコンピュータ100にそのプログラムを転送することもできる。コンピュータ100は、ネットワークを介してプログラムを取得する場合、例えば取得したプログラムをHDD103に格納する。そしてコンピュータ100のCPU101がHDD103内のプログラムを実行する。またコンピュータ100は、サーバコンピュータからプログラムの一部が転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
図3は、第2の実施の形態におけるコンピュータの機能を示すブロック図である。コンピュータ100は、断層画像記憶部110、テンプレート記憶部120、弁輪指定部130、弁輪データ記憶部140、ランドマーク設定部150、ランドマークデータ記憶部160、テンプレート変形部170、および3次元モデル記憶部180を有する。
断層画像記憶部110は、3次元モデル対象の心臓の複数の断層画像を記憶する。例えば断層画像記憶部110には、コンピュータ断層撮影(CT:Computed Tomography)機器を用いて撮影した、患者の心臓の断層画像が予め格納される。複数の断層画像は、心臓の異なる位置での断面を示す画像である。例えばHDD103の記憶領域の一部が、断層画像記憶部110として使用される。
テンプレート記憶部120は、心臓の3次元モデルのテンプレート(テンプレートモデル)を表すテンプレートデータを記憶する。テンプレートモデルは、例えば、心臓の形状を4面体の要素の集合で表した3次元有限要素モデルである。例えばHDD103の記憶領域の一部が、テンプレート記憶部120として使用される。
弁輪指定部130は、テンプレート記憶部120に記憶された断層画像に基づいて、心臓の弁輪上の点を指定し、弁輪形状を決定する。例えば弁輪指定部130は、断層画像をモニタ11に表示する。次に弁輪指定部130は、モニタ11に表示された断層画像上の弁輪の位置の指定を受け付ける。例えば弁輪指定部130は、僧帽弁・三尖弁・大動脈弁・肺動脈弁それぞれについて、3点以上の弁輪上の点の指定を受け付ける。弁輪指定部130は、指定された弁輪上の点を、ターゲットランドマークとする。そして弁輪指定部130は、ターゲットランドマークに基づく弁輪形状を示す情報を、弁輪データとして弁輪データ記憶部140に格納する。
弁輪データ記憶部140は、弁輪データを記憶する。例えばRAM102の記憶領域の一部が、弁輪データ記憶部140として使用される。
ランドマーク設定部150は、ターゲットランドマークそれぞれに対応するソースランドマークを決定する。ソースランドマークは、テンプレート記憶部120に記憶されたテンプレートデータで示されるテンプレートモデルにおいて、弁輪を形作っている点の中から選ばれる。例えばランドマーク設定部150は、弁輪データ記憶部140に格納された弁輪データで示されるターゲットランドマークの、相対的な位置関係を求める。そしてランドマーク設定部150は、求めた位置関係と同様の位置関係となる、テンプレートモデルの弁輪上の点を、そのターゲットランドマークに対応するソースランドマークに決定する。ランドマーク設定部150は、ターゲットランドマークと、そのターゲットランドマークに対応するソースランドマークとの組を、ランドマークデータとしてランドマークデータ記憶部160に格納する。
ランドマークデータ記憶部160は、ランドマークデータを記憶する。例えばRAM102の記憶領域の一部が、ランドマークデータ記憶部160として使用される。
テンプレート変形部170は、断層画像とテンプレートモデルとを同一座標系に配置する。そしてテンプレート変形部170は、テンプレートモデルにおけるソースランドマークの位置が、そのソースランドマークに対応するターゲットランドマークの位置に移動するように、テンプレートモデルを変形させる。このときテンプレート変形部170は、3次元モデルの形状が滑らかになるように、形状を補正することができる。テンプレート変形部170は、変形後のテンプレートモデルを、断層画像に映し出された心臓の3次元モデルとして、3次元モデル記憶部180に格納する。
3次元モデル記憶部180は、心臓の3次元モデルを記憶する。例えばHDD103の記憶領域の一部が、3次元モデル記憶部180として使用される。
なお弁輪指定部130は、図1に示した第1の実施の形態における第1の設定部4の一例である。またランドマーク設定部150は、図1に示した第1の実施の形態における判断部5と第2の設定部6とを合わせた機能を有する要素の一例である。またテンプレート変形部170は、図1に示した第1の実施の形態における変形部7の一例である。また断層画像記憶部110とテンプレート記憶部120とを合わせた機能は、図1に示した第1の実施の形態の記憶部3の一例である。なお、図3に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。
次に、断層画像記憶部110に記憶される断層画像について説明する。
図4は、心臓の断層画像の一例を示す図である。断層画像記憶部110には、複数の断層画像111,112,113,114,・・・が格納されている。
コンピュータ100は、患者の心臓が収まる3次元空間20を定義している。図4の例では、X軸・Y軸が水平方向であり、Z軸が垂直方向である。そしてX−Y平面と平行な心臓の断層画像111,112,113,114,・・・が複数撮影されている。そして、断層画像111,112,113,114,・・・は、それぞれの撮影位置におけるZ座標値と共に、断層画像記憶部110に格納されている。
次に、テンプレート記憶部120に格納されるテンプレートデータについて説明する。
図5は、テンプレート記憶部のデータ構造の一例を示す図である。テンプレート記憶部120には、テンプレートデータ121が格納されている。テンプレートデータ121は、心臓のテンプレートモデルを3次元で表したデータである。例えばテンプレートデータ121には、データタイプ、頂点数、セル数、頂点座標、セル構成などの情報が含まれる。データタイプは、基本となる要素の形状を示している。例えば、データタイプが「Triangle」であれば、三角形のセルの集合により、テンプレートモデルが形作られている。頂点数は、テンプレートモデルに含まれる頂点の数である。セル数は、テンプレートモデルに含まれるセルの数である。頂点座標は、各頂点の3次元空間での座標である。頂点座標は、頂点数分設定されている。セル構成は、セルの形状を示す頂点のリストである。セル構成は、セル数分設定される。
次に、弁輪データ記憶部140に格納される弁輪データについて説明する。
図6は、弁輪データ記憶部のデータ構造の一例を示す図である。弁輪データ記憶部140には、心臓の弁輪形状を示す弁輪データ141が格納されている。弁輪データ141には、データタイプ、ライン(Line)数、ノード(node)数、ノード座標、ライン(Line)接続情報、重心などの情報が含まれている。弁種は、どの弁の弁輪なのかを示す情報である。データタイプは、弁輪データで表される図形の種別である。例えば弁輪データ141のデータタイプは、線データ(Line Data)である。ライン数は、弁輪を形成するラインの本数である。第2の実施の形態では、僧帽弁・三尖弁・大動脈弁・肺動脈弁それぞれに対応する4つのラインが設定される。ノード数は、弁輪の形状を定義する節点(ノード)の数である。ノード座標は、各節点の3次元空間での座標である。ライン(Line)接続情報は、節点間を接続するラインを定義する情報である。ラインは、隣接する節点間を接続するため、ライン接続情報には、節点の隣接関係が定義される。重心は、弁輪の重心の3次元空間内での位置である。
次に、ランドマークデータ記憶部160に格納されるランドマークデータについて説明する。
図7は、ランドマークデータのデータ構造の一例を示す図である。ランドマークデータ記憶部160には、ターゲットランドマークとソースランドマークとの位置を示すランドマークデータ161が格納されている。ランドマークデータ161には、データタイプ、ランドマーク(Landmark)数、ランドマークセット(Landmark set)、ノード座標、節点上データ、どの弁輪部かなどの情報が含まれる。データタイプは、ランドマークの位置を示すデータ種別である。図7の例では、ランドマークデータ161のデータタイプは、点データ(PointData)である。ランドマーク数は、設定されているランドマークの総数である。ランドマークセットは、ランドマークの組がいくつあるかを示している。第2の実施の形態では、ターゲットランドマークの組とソースランドマークの組とが設定されており、ランドマークセットは「2」である。ノード座標は、ランドマークの座標である。節点上データは、例えば、どの弁輪上の節点なのかを示している。
次に、図3に示した機能のコンピュータ100で実行される心臓の3次元モデル作成処理の手順について説明する。
図8は、3次元モデル作成処理の手順の一例を示すフローチャートである。以下、図8に示す処理をステップ番号に沿って説明する。
[ステップS101]弁輪指定部130は、断層画像記憶部110に格納されている断層画像に基づいて、弁輪を指定する。例えば弁輪指定部130は、ユーザからの断層画像上の弁輪位置を指定する入力を受け付ける。すると弁輪指定部130は、指定された位置の断層画像内での位置と、その断層画像自身の3次元空間内での位置とに基づいて、指定された位置の3次元空間内での座標を決定する。なお弁輪の指定は、僧帽弁・三尖弁・大動脈弁・肺動脈弁それぞれについて行われる。なお、弁輪指定処理の詳細は後述する(図10参照)。
[ステップS102]弁輪の指定が完了すると、ランドマーク設定部150は、ターゲットランドマークとソースランドマークとを対応付ける。ランドマーク設定部150は、例えば、弁輪指定部130によって指定された弁輪の位置を、ターゲットランドマークとする。またランドマーク設定部150は、ターゲットランドマークに対応するソースランドマークを、例えばテンプレートモデルにおける弁輪形状を定義する節点の中から選択する。なお、ランドマーク対応付け処理の詳細は後述する(図14参照)。
[ステップS103]テンプレート変形部170は、ソースランドマークが、ターゲットランドマークの位置に合致するように、テンプレートデータで表される3次元モデルを変形する。この際、テンプレート変形部170は、例えば3次元モデルの弁輪を示す対応点間の曲線を、断層画像の境界にフィッティングさせ、断層画像と3次元モデルの形状との正確な対応付けを行う。なお、テンプレート変形処理の詳細は後述する(図19参照)。
次に、弁輪指定処理の詳細について説明する。弁輪指定処理では、ユーザにより、断層画像からの弁輪の位置が指定される。
図9は、断層画像における弁輪部分の拡大図である。図9に示す心臓の断層画像111には、2箇所に弁輪111a,111bが写っている。ユーザは、モニタ11に表示された断層画像111を参照し、弁輪111a,111bの位置を判断する。そしてユーザは、ポインティングデバイスなどを用いて、断層画像111内での弁輪111a,111bの位置をコンピュータ100に入力する。この際、ユーザは、例えば弁輪の種別も合わせて入力する。すると弁輪指定部130が、入力された位置の座標を計算する。
図10は、弁輪指定処理の手順の一例を示すフローチャートである。以下、図10に示す処理をステップ番号に沿って説明する。
[ステップS111]弁輪指定部130は、断層画像上の点の入力を受け付ける。例えば弁輪指定部130は、モニタ11に表示された断層画像上の位置の入力を受け付ける。すると弁輪指定部130は、表示されている断層画像の位置に応じた3次元空間での座標を判断し、その座標の点をターゲットランドマークとする。また弁輪指定部130は、例えば、弁輪に位置の座標値による入力を受け付けることもできる。また弁輪指定部130は、ターゲットランドマークの削除の場合、既に登録されているターゲットランドマークのリストから1つのターゲットランドマークを選択する入力を受け付けることができる。
[ステップS112]弁輪指定部130は、ステップS111で入力された点が、どの弁の点であるのかを示す入力を受け付ける。
[ステップS113]弁輪指定部130は、ターゲットランドマークの追加(add)なのか、ターゲットランドマークの削除(remove)なのかを指定する入力を受け付ける。弁輪指定部130は、入力内容がターゲットランドマークの追加であれば、処理をステップS114に進める。また弁輪指定部130は、入力内容がターゲットランドマークの削除であれば、処理をステップS115に進める。
[ステップS114]弁輪指定部130は、ターゲットランドマークの追加であれば、ステップS112で指定された弁のターゲットランドマークのリストに、ステップS111で指定された点を追加する。弁輪指定部130は、その後、処理をステップS116に進める。
[ステップS115]弁輪指定部130は、ターゲットランドマークの削除であれば、ステップS112で指定された弁のターゲットランドマークのリストから、ステップS111で指定された点を削除する。
[ステップS116]弁輪指定部130は、ターゲットランドマークの追加または削除が行われた弁輪のターゲットランドマークのリストに登録されているターゲットランドマーク数(numLM)が、3未満か否かを判断する。弁輪指定部130は、ターゲットランドマーク数が3未満であれば、処理をステップS119に進める。また弁輪指定部130は、ターゲットランドマーク数が3以上であれば、処理をステップS117に進める。
[ステップS117]弁輪指定部130は、ステップS112で指定された弁のターゲットランドマークが3点以上設定されていれば、弁輪の重心と回転軸とを算出する。重心は、例えばターゲットランドマークの各軸の値の、軸ごとの平均値である。弁輪の回転軸は、例えばその弁輪の重心を通り、大動脈a・三尖弁Ot・僧帽弁Omの3つの弁輪の重心に基づいて以下の式で求めた外積vと同じ方向を向いた軸である。
Figure 0005984114
[ステップS118]弁輪指定部130は、ターゲットランドマークを並べ替える。例えば弁輪指定部130は、ステップS112で指定された弁の弁輪の重心を起点に、v方向に時計回りになるように、ターゲットランドマークのリストに含まれるランドマークを並べ替える。
[ステップS119]弁輪指定部130は、弁輪指定の入力が終了か否かを判断する。例えば弁輪指定部130は、ユーザから弁輪指定の入力終了指示が入力された場合、弁輪指定の入力が終了したと判断する。弁輪指定部130は、弁輪指定の入力が終了した場合、弁輪指定処理を終了する。また弁輪指定部130は、弁輪指定の入力が終了していなければ、処理をステップS111に進める。
このような処理により、ユーザが弁輪上の点座標の追加・削除を好きな位置に好きな弁輪に行うことが可能となる。弁輪ごとに設定されたターゲットランドマークの点を線で接続したラインデータにより、弁輪の形状が表される。
図11は、ターゲットランドマークに基づく弁輪のラインデータの一例を示す図である。図11に示すように、各弁輪31〜34には、複数のターゲットランドマークが設定されている。弁輪31は、大動脈弁の弁輪である。弁輪32は、肺動脈弁の弁輪である。弁輪33は、三尖弁の弁輪である。弁輪34は、僧帽弁の弁輪である。
図11では、弁輪31〜34の形状を表す多角形の頂点の位置が、ターゲットランドマークである。各ターゲットランドマークには、識別番号が付与されている。図11において、ターゲットランドマークの横に記載している数値は、そのランドマークの識別番号である。識別番号は、図10のステップS118で並べ替えられたランドマークリストの上位から昇順に設定されている。図11の例では、各弁輪31〜34の1つのランドマークを始点とし、重心41〜44から時計回りに、始点から順に番号が1ずつ増加するように識別番号が付与されている。
次に、ランドマーク対応付け処理の詳細について説明する。
第2の実施の形態では、入力されたターゲットランドマークが対応するテンプレートの弁輪上にソースランドマークを配置するため、ランドマーク設定部150は、ある一点を開始点に定め順に対応するソースランドマークを配置する。開始点を定める方法として、ランドマーク設定部150は、例えば大動脈弁の弁輪と他の弁の弁輪との配置を利用する。
図12は、ソースランドマークの開始点の設定例を示す図である。図12には、テンプレートモデル上の僧帽弁のソースランドマークの開始点の設定例が示されている。
ここで、テンプレートモデルの僧帽弁の弁輪54の曲線を、vtmp(s)=(xtmp(s),ytmp(s)),s∈[0,1]とする。またターゲットランドマークに基づく弁輪34の曲線を、v(s)=(x(s),y(s)),s∈[0,1]とする。このときランドマーク設定部150は、Pm=min(dis(Om,v(s))となる点Pmと、その点を挟むターゲットランドマーク34a,34bを開始点とする。dis(x,y)はx、yの距離を表す。min(dis(x,y))は、距離の最短値を表す。開始点に決定されたターゲットランドマーク34a,34bの位置をLt 0,Lt 1とする。
なお図12の例では、2つのターゲットランドマーク34a,34bを開始点としているが、これらのターゲットランドマーク34a,34bのうちの一方のみを開始点としてもよい。例えば点Pmに近い方のターゲットランドマークのみを開始点とすることができる。
次にランドマーク設定部150は、テンプレートモデルの弁輪54上に、重心との相対的な位置関係がターゲットランドマーク34a,34bと等しいテンプレートモデル上の点を求め、対応するソースランドマーク54a,54bとする。ソースランドマーク54a,54bの位置をLs 0,Ls 1とする。
重心との相対的な位置関係とは、例えば、処理対象の弁の弁輪の重心から大動脈弁の弁輪の重心へのベクトルと、処理対象の弁の弁輪の重心からランドマークへのベクトルとの成す角が、ターゲットランドマークと等しくなる点をソースランドマークとする。例えば、図12の例では、断層画像上に設定したターゲットランドマークに基づく僧帽弁の弁輪34の重心44から、大動脈弁の弁輪31の重心41へのベクトルと、重心44からターゲットランドマーク34aへのベクトルとの成す角が、αであるものとする。また弁輪34の重心44から大動脈弁の弁輪31の重心41までのベクトルと、重心44からターゲットランドマーク34bへのベクトルとの成す角が、βであるものとする。
例えばランドマーク設定部150は、テンプレートモデル上の僧帽弁の弁輪の重心64から大動脈弁の弁輪の重心61へのベクトルとの成す角がαとなる線を、重心64から引く。そしてランドマーク設定部150は、重心64から引いた線と僧帽弁の弁輪54との交点を、ターゲットランドマーク34aに対応するソースランドマーク54aとする。同様にランドマーク設定部150は、僧帽弁の弁輪の重心64から大動脈弁の弁輪の重心61へのベクトルとの成す角がβとなる線を、重心64から引く。そしてランドマーク設定部150は、重心64から引いた線と僧帽弁の弁輪54との交点が、ターゲットランドマーク34bに対応するソースランドマーク54bとする。
2つの弁輪の重心に対する、ターゲットランドマークまたはソースランドマークの相対的な位置関係を式で表すと、以下のようになる。
Figure 0005984114
なお式(2)において、テンプレートモデルのベクトルには、左下に「tmp」の文字を添えている。式(2)の左辺は、断層画像に基づく弁輪におけるコサインα・コサインβを求める式である。また式(2)の右辺は、テンプレートモデルに基づく弁輪におけるコサインα・コサインβを求める式である。このようにしてソースランドマークの開始位置が決まると、ランドマーク設定部150は、テンプレートモデルにおける弁輪上に、残りのターゲットランドマークに対応するソースランドマークを配置する。この際、ランドマーク間の距離の比率が、ターゲットランドマークとソースランドマークとで等しくなるようにする。
図13は、ランドマーク間の距離の比率の関係を示す図である。図13の例では、上段にターゲットランドマーク34b,34c,34d,34eを示している。ターゲットランドマーク34bとターゲットランドマーク34cとの間の距離を「a1」とする。ターゲットランドマーク34cとターゲットランドマーク34dとの間の距離を「a2」とする。ターゲットランドマーク34dとターゲットランドマーク34eとの間の距離を「a3」とする。この場合、ターゲットランドマーク34b,34c,34d,34e間の距離の比は、「a1:a2:a3」となる。
また図13の下段に、ソースランドマーク54b,54c,54d,54eを示している。ソースランドマーク54bは、ターゲットランドマーク34bに対応付けられている。ソースランドマーク54cは、ターゲットランドマーク34cに対応付けられている。ソースランドマーク54dは、ターゲットランドマーク34dに対応付けられている。ソースランドマーク54eは、ターゲットランドマーク34eに対応付けられている。
このとき、ソースランドマーク54bとソースランドマーク54cとの間の距離を「b1」とする。ソースランドマーク54cとソースランドマーク54dとの間の距離を「b2」とする。ソースランドマーク54dとソースランドマーク54eとの間の距離を「b3」とする。この場合、ランドマーク設定部150は、ソースランドマーク54b,54c,54d,54e間の距離の比「b1:b2:b3」が、ターゲットランドマーク34b,34c,34d,34e間の距離の比「a1:a2:a3」と等しくなるようにする。
このようにして、僧帽弁・三尖弁・肺動脈弁のソースランドマークが設定できる。大動脈弁については、例えばランドマーク設定部150は、弁輪データから、大動脈弁の弁輪上の僧帽弁・三尖弁・肺動脈弁の重心それぞれと最も近い3つのターゲットランドマークを検出し、開始位置とする。そしてランドマーク設定部150は、開始位置のターゲットランドマークに対応するソースランドマークを、テンプレートモデルの大動脈弁の弁輪上に設定する。このときのソースランドマークの位置は、例えば弁輪の重心に対する相対的な位置関係に基づいて決定される。例えば弁輪データの大動脈弁のターゲットランドマークのうち、僧帽弁に最も近いターゲットランドマークに対応するソースランドマークについては、大動脈弁の弁輪の重心と、僧帽弁の弁輪の重心とに対する相対的な位置関係に基づいて決定される。例えば、ターゲットランドマークと、そのターゲットランドマークに対応するソースランドマークとの間で、式(2)と同様の関係が満たされる位置に、ソースランドマークが設定される。またランドマーク設定部150は、大動脈弁の開始点以外の残りのソースランドマークを、例えばターゲットランドマーク間の距離の比とソースランドマーク間の距離の比が等しくなるように配置する。
図14は、ランドマーク対応付け処理の手順の一例を示すフローチャートである。以下、図14に示す処理をステップ番号に沿って説明する。
[ステップS121]ランドマーク設定部150は、テンプレートデータに基づいて、心臓のテンプレートモデルにおける4つの弁輪の重心を求める。
[ステップS122]ランドマーク設定部150は、僧帽弁・三尖弁・肺動脈弁を順に選択し、選択した弁を処理対象として、ステップS123〜S125の処理を実行する。
[ステップS123]ランドマーク設定部150は、弁輪データにおいて、処理対象の弁のターゲットランドマークのうち、大動脈弁の弁輪データ上の重心に近い点を求め、開始点とする。例えばランドマーク設定部150は、処理対象の弁の弁輪の重心と、大動脈弁の弁輪の重心とを結ぶ線分を求める。次にランドマーク設定部150は、求めた線分と、処理対象の弁の弁輪との交点を求める。さらにランドマーク設定部150は、求めた交点を挟む2つのターゲットランドマークを開始点とする。
[ステップS124]ランドマーク設定部150は、開始点に決定されたターゲットランドマークに対応するソースランドマークを、テンプレートモデルにおける処理対象の弁の弁輪上に設定する。このとき設定するソースランドマークの位置は、例えば式(2)に従い、処理対象の弁の弁輪の重心、および大動脈弁の弁輪の重心に対する相対的な位置関係に基づいて決定される。
[ステップS125]ランドマーク設定部150は、残りのソースランドマークを設定する。残りのソースランドマークとは、開始点以外のターゲットランドマークそれぞれに対応するソースランドマークである。例えばランドマーク設定部150は、ターゲットランドマーク間の距離の比とソースランドマーク間の距離の比が等しくなるような位置に、残りのソースランドマークを配置する。
[ステップS126]ランドマーク設定部150は、僧帽弁・三尖弁・肺動脈弁のそれぞれについて、ステップS123〜S125の処理が完了した場合、処理をステップS127に進める。未処理の弁があれば、ランドマーク設定部150は、未処理の弁の1つを処理対象として選択し、ステップS123〜S125の処理を実行する。
[ステップS127]ランドマーク設定部150は、大動脈弁のソースランドマークを設定する。例えばランドマーク設定部150は、大動脈弁の弁輪上の僧帽弁・三尖弁・肺動脈弁の重心それぞれと最も近い3つのターゲットランドマークに対応するソースランドマークを、各弁輪の重心に対する相対的な位置関係に基づいて決定する。次にランドマーク設定部150は、例えば、ターゲットランドマーク間の距離の比とソースランドマーク間の距離の比が等しくなるように、残りのソースランドマークを配置する。
このようにして、ターゲットランドマークそれぞれに対応するソースランドマークが設定される。
図15は、ターゲットランドマークに対応付けて設定されたソースランドマークの一例を示す図である。図15の左側には、ターゲットランドマークと、そのターゲットランドマークに基づいて形成されている弁輪31〜34とを示している。また図15の右側には、ソースランドマークと、そのソースランドマークが設定された、テンプレートモデル上の弁輪51〜54とを示している。
ターゲットランドマークには、ターゲットランドマークの集合内で一意に識別する識別番号が付与されている。ソースランドマークには、ソースランドマークの集合内で一意に識別する識別番号が付与されている。ソースランドマークに付与されている識別番号は、対応するターゲットランドマークに付与されている識別番号と同じである。
次に、テンプレート変形部170によるテンプレート変形処理について説明する。テンプレート変形処理では、ランドマークに応じた変形処理と、断層画像に応じたフィッティング処理とが行われる。ランドマークに応じた変形処理は、ソースランドマークが設定されたテンプレートモデル上の位置が、そのソースランドマークに対応するターゲットランドマークの位置に合致するように、テンプレートモデルを変形させる処理である。断層画像に応じたフィッティング処理は、推定した弁輪の対応点間の曲線を、医療画像の境界にフィッティングさせ、医療画像上の形状とテンプレートの形状との正確な対応付けを行う処理である。
図16は、ランドマークに応じた変形処理の一例を示す図である。図16には、僧帽弁のソースランドマークの位置を、対応するターゲットランドマークの位置に移動させる様子を示している。図16では、ターゲットランドマークに基づく弁輪34を破線で示し、ソースランドマークに基づく弁輪54を実線で示している。弁輪54上に設定された各ソースランドマークは、同じ識別番号が付与されたターゲットランドマークの位置に移動される。
ここでソースランドマークの移動は、テンプレートモデルを形成するノード(頂点)のうち、ソースランドマークの位置のノード、およびそのノードの近辺のノードを移動することで行われる。ソースランドマークは、そのソースランドマークの位置のノードの移動に伴って移動する。このようなソースランドマークの移動により、テンプレートモデルが変形する。
図17は、ランドマークに基づくテンプレートモデルの変形例を示す図である。図17では、変形前と変形後とにおけるテンプレートモデルの心臓の弁輪形状の変化を示している。図17中の左側が変形前、右側が変形後である。
このようにソースランドマークの位置を、対応するターゲットランドマークの位置に移動させることで、弁輪の形状が変化する。ターゲット・ソースランドマークを正確かつ十分な数だけ取った場合、この時点でテンプレート形状を対象の弁輪に合わせるための十分な情報をもつ。しかし、より正確にテンプレート間の情報を補間したい場合、あるいは、手動によるランドマークのブレを修正したい場合、さらに断層画像に応じたフィッティング処理が行われる。
フィッティング処理では、テンプレート変形部170は、医療画像上の弁輪の境界に沿った滑らかな曲線となるよう、テンプレートモデルの修正を行う。例えばテンプレート変形部170は、まず、生成した弁輪データ上に十分に密な節点(ノード)を配置する。テンプレート変形部170は、この節点を移動させることで医療画像の境界に沿った弁輪データを生成する。
節点の移動は、例えば動的輪郭モデル(ACM:Active Contour Model)と呼ばれる手法を用いて行うことができる。動的輪郭モデルは、画像中の境界近傍に輪郭線を設定し、予め定められた条件を満たすように、輪郭線の位置や形状の修正を繰り返し行う手法である。予め定められた条件としては、例えば「画像中で濃度(輝度値)が急激に変化する箇所に輪郭線が位置する」という条件である。
図18は、断層画像に応じた弁輪のフィッティング手法の一例を示す図である。図18には、弁輪が写り込んだ断層画像111と、その断層画像に対応する面を断面とする、変形後のテンプレートモデルの断面に現れる弁輪54とを示している。図18において、断層画像上の輝度値の濃い部分にハッチングを施している。
断層画像111上では、輝度値が濃い部分と薄い部分との境界に弁輪が現れる。そこで第2の実施の形態では、テンプレートモデルの弁輪54を示すラインが、断層画像111の輝度値の境界上となるように、弁輪54の変形が行われる。例えばテンプレート変形部170は、弁輪54の形状を定義する複数の節点のうちの1つの節点54fについて、3次元の6方向(上・下・左・右・前・後)へ移動した場合と、移動させない場合とで、節点54fの位置の断層画像111の輝度値の勾配を比較する。そしてテンプレート変形部170は、7つの位置のうち、輝度値の勾配が最も急となる位置に節点54fを移動する。
テンプレート変形部170は、このような節点の移動を、弁輪54を構成する全ての節点に対して繰り返し行う。これにより、弁輪54の形状を示すラインが、断層画像111の輝度値の境界上に移動する。
このような弁輪のフィッティングは、以下のような計算で行うことができる。
まず、弁輪の曲線をv(s)=(x(s),y(s)),s∈[0,1」とする。このときテンプレート変形部170は、以下の式(3)を計算する。
Figure 0005984114
そしてテンプレート変形部170は、式(3)で示されるEを最小にするx,yを見つける。なお式(3)において、Eintは内部エネルギー、Eimageは画像エネルギー、Econは外部エネルギーである。テンプレート変形部170は、各エネルギーを次のように定義する。
まず、内部エネルギーは、以下の式(4)のように定義する。
Figure 0005984114
ただし、α、βは正の定数である。式(4)の第一項は曲線全体の長さが小さいほどエネルギーが小さくなり、第二項で曲線が滑らかな直線に近づくほどエネルギーが小さくなる。内部エネルギーは、弁輪のラインが、より短く、より滑らかとなるように作用する。
画像エネルギーは、輝度値の変化が大きい場所ほど小さなエネルギーを与える。例えば画像エネルギーを以下の式(5)のように定義することができる。
Figure 0005984114
式(5)において、I(v(s))は位置v(s)における輝度値である。γは正の定数である。ただし、第2の実施の形態では、より境界に向かいやすいよう、節点の移動ベクトルuの方向微分係数を用いて、画像エネルギーを以下の式(6)のように定義する。
Figure 0005984114
このような画像エネルギーは、弁輪のラインが、輝度の境界(断層画像に現れる象の輪郭)上になるように作用する。
外部エネルギーは、設定したターゲットランドマーク上に置かれた節点が移動しにくいよう、以下の式(7)、式(8)のように定義する。
例えばターゲットランドマーク上に置かれた節点ならば
Figure 0005984114
とする。それ以外の節点は
Figure 0005984114
とする。dis(v(s),L)は、節点とターゲットランドマークとの距離を示す。ηは正の定数である。これにより、ターゲットランドマークに近い節点ほど外部エネルギーが小さくなる。この外部エネルギーは、ターゲットランドマークに近い節点ほど、移動しにくいように作用する。なお、すでにソースランドマークはターゲットランドマークの位置に移動されているため、dis(v(s),L)を、節点とソースランドマークとの距離と言い換えることもできる。
テンプレート変形部170は、このようなエネルギーEが小さくなる方向へ、テンプレートモデルにおける各節点を移動させる。このようにして得られたテンプレートモデルは、断層画像に表された弁輪と正確に一致する弁輪形状を有する心臓の3次元モデルとなる。
以下、テンプレート変形処理の手順について説明する。
図19は、テンプレート変形処理の手順の一例を示す図である。以下、図19に示す処理をステップ番号に沿って説明する。
[ステップS131]テンプレート変形部170は、テンプレートモデル上のソースランドマークを、対応するターゲットランドマークの位置へ移動させる。
[ステップS132]テンプレート変形部170は、4つの弁それぞれの弁輪について、ステップS133〜S139の処理を実行する。
[ステップS133]テンプレート変形部170は、初期の位置エネルギーEを式(3)により計算し、Epreとする。
[ステップS134]テンプレート変形部170は、処理対象の弁輪上の節点数分、ステップS135〜S136の処理を繰り返す。
[ステップS135]テンプレート変形部170は、ステップS135〜S136の繰り返し処理において未選択の節点を1つ選択する。
[ステップS136]テンプレート変形部170は、選択した節点を、エネルギーEが小さくなる方向へ移動させる。なおテンプレート変形部170は、移動させない場合が最もエネルギーEが小さい場合には、節点を移動させない。
[ステップS137]テンプレート変形部170は、処理対象の弁輪のすべての節点の移動処理が完了した場合、処理をステップS138に進める。またテンプレート変形部170は、移動処理を実行していない節点がある場合、ステップS135に戻り、処理を繰り返す。
[ステップS138]テンプレート変形部170は、処理対象の弁輪のエネルギーEが、Epreより小さいか否かを判断する。テンプレート変形部170は、エネルギーEの方が小さければ、処理をステップS139に進める。またテンプレート変形部170は、エネルギーEがEpreより小さくなければ、現在の処理対象の弁輪に対する処理を終了し、処理をステップS140に進める。
[ステップS139]テンプレート変形部170は、現在の処理対象の弁輪のエネルギーEを、Epreに設定し、処理をステップS134に進める。
[ステップS140]テンプレート変形部170は、4つの弁それぞれの弁輪についてステップS133〜S139の処理が完了した場合、テンプレート変形処理を終了する。またテンプレート変形部170は、処理を行っていない弁輪がある場合、処理をステップS132に進め、その弁輪に対する処理を実行する。
このようにして、テンプレートの変形が行われる。第2の実施の形態では、ソースランドマークをターゲットランドマークに一致させる処理に加え、フィッティング処理を行うため、断層画像の弁輪に、3次元モデルの弁輪を正確に合わせることができる。
図20は、フィッティング処理による弁輪の変形例を示す図である。図20に示すように、フィッティング処理前の節点群71は、フィッティング処理により節点群72の位置に移動している。
なお、比較例として、内部エネルギーEint、画像エネルギーEimage、外部エネルギーEconを、以下の式(9)、式(10)、式(11)のように定義し、式(3)のエネルギーEを計算した場合を考える。
Figure 0005984114
Figure 0005984114
Figure 0005984114
これらの式では、設定したターゲットランドマーク上に置かれた節点を移動しにくくする作用が働かない。すると節点は、内部エネルギーを小さくするように、内側に向かう。そのため、初期位置が、断層画像上の弁輪の境界よりも内側にあると、弁輪が小さく縮んでしまう。
図21は、比較例の式でフィッティング処理を行った場合の一例を示す図である。図21において、白い線が、フィッティング処理前の弁輪のラインである。節点(図21中の白丸)の集合で表されているのが、フィッティング処理後の弁輪である。図21の例では、フィッティング処理により、弁輪が小さく縮んでいる。このように、外部エネルギーとして式(7)を用いないと、正確性に欠ける場合がある。
以上説明したように、第2の実施の形態によれば、ユーザによる、断層画像上で弁輪上の点の指定に基づいて、断層画像に合わせた3次元モデルを得ることができる。しかも、ある弁輪のターゲットランドマークに対応するソースランドマークを、その弁輪の重心と別の弁輪の重心とに対する相対的な位置関係に基づいて決定したことで、弁輪同士の相対的な位置関係も正しくなる。その結果、作成した3次元モデルにおいて弁輪同士の相対的な位置関係が合わず、変形後のモデルが歪むような事態を抑止できる。
さらに、ソースランドマークを、対応するターゲットランドマークの位置に移動後、フィッティング処理を行うようにしたことで、ターゲットランドマークの数が少ない場合でも、より正確な弁輪形状を得ることができる。しかも、ユーザは、断層画像上での弁輪の位置の指定回数が少なくて済み、作業効率が向上する。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
1a,1b,1c,1d 断層画像
2 3次元モデル
3 記憶部
4 第1の設定部
5 判断部
6 第6の設定部
7 変形部
8 座標系
X モデル作成装置

Claims (10)

  1. 器官の複数の断層画像に表されている第1の部位上に第1の点を設定し、
    前記複数の断層画像に表されている第1の部位の基準位置と、前記複数の断層画像に表されている第2の部位の基準位置とに対する、前記第1の点の相対位置を判断し、
    前記器官の構造を表した3次元モデル内の第1の部位の基準位置と、前記3次元モデル内の第2の部位の基準位置とに対する相対位置が、前記第1の点の相対位置と同じとなる第2の点を、前記第1の点に対応付けて、前記3次元モデル内の第1の部位に設定し、
    前記複数の断層画像と前記3次元モデルとを同一座標系に配置したときに、前記第2の点が、対応する前記第1の点の位置に合致するように、前記3次元モデルを変形する、
    処理をコンピュータに実行させるモデル作成プログラム。
  2. 前記第1の点の相対位置の判断では、前記複数の断層画像に表されている第1の部位の基準位置と前記複数の断層画像に表されている第2の部位の基準位置とを結んだ線と、該第1の部位の基準点と前記第1の点とを結んだ線との成す角度で、前記第1の点の相対位置を表し、
    前記第2の点の設定では、前記3次元モデル内の第1の部位の基準位置と前記3次元モデル内の第2の部位の基準位置とを結んだ線と、前記3次元モデル内の第1の部位の基準位置と前記第2の点とを結んだ線との成す角度が、前記第1の点の相対位置を表す角度と等しくなる、前記3次元モデル内の第1の部位の位置に、前記第1の点に対応する前記第2の点を設定する、
    ことを特徴とする請求項1記載のモデル作成プログラム。
  3. 前記第1の点の設定では、複数の前記第1の点を設定し、
    前記第1の点の相対位置の判断では、複数の前記第1の点のうち、前記複数の断層画像に表されている第2の部位に最も近い点を選択し、選択された前記第1の点の相対位置を判断し、
    前記第2の点の設定では、前記3次元モデル内の第1の部位の基準位置と、前記3次元モデル内の第2の部位の基準位置とに対する相対位置が、選択された前記第1の点の相対位置と同じとなる前記第2の点を、選択された前記第1の点に対応付けて設定し、複数の前記第1の点間の間隔の比と同じ比の間隔となるように、選択されていない第1の点それぞれに対応する前記第2の点を、前記3次元モデル内の第1の部位に設定する、
    ことを特徴とする請求項1または2記載のモデル作成プログラム。
  4. 前記第1の点の選択では、複数の前記第1の点に基づいて前記複数の断層画像に表されている第1の部位を表す線を求め、該線上で、前記複数の断層画像に表されている第2の部位の重心に最も近い点を求め、該点に最も近い前記第1の点を選択する、
    ことを特徴とする請求項3記載のモデル作成プログラム。
  5. 前記第1の点の相対位置の判断では、前記複数の断層画像に表されている第1の部位の重心を、該第1の部位の基準位置とし、前記複数の断層画像に表されている第2の部位の重心を、該第2の部位の基準位置とし、
    前記第2の点の設定では、前記3次元モデル内の第1の部位の重心を、該第1の部位の基準位置とし、前記3次元モデル内の第2の部位の重心を、該第2の部位の基準位置とすることを特徴とする請求項1乃至3のいずれかに記載のモデル作成プログラム。
  6. 前記3次元モデルの変形では、前記3次元モデル内の第1の部位を、前記複数の断層画像に表されている第1の部位の画像と照合し、前記3次元モデル内の第1の部位の輪郭が、該画像において輝度値の変化が周囲より大きな位置と重なるように、前記3次元モデル内の第1の部位の形状を修正する、ことを特徴とする請求項1乃至5のいずれかに記載のモデル作成プログラム。
  7. 前記3次元モデル内の第1の部位の形状の修正では、前記第1の点の位置に移動された前記第2の点は動かさないように修正を行うことを特徴とする請求項6記載のモデル作成プログラム。
  8. 前記器官は心臓であり、第1の部位と第2の部位とは、それぞれ心臓の弁であることを特徴とする請求項1乃至7のいずれかに記載のモデル作成プログラム。
  9. コンピュータが、
    器官の複数の断層画像に表されている第1の部位上に第1の点を設定し、
    前記複数の断層画像に表されている第1の部位の基準位置と、前記複数の断層画像に表されている第2の部位の基準位置とに対する、前記第1の点の相対位置を判断し、
    前記器官の構造を表した3次元モデル内の第1の部位の基準位置と、前記3次元モデル内の第2の部位の基準位置とに対する相対位置が、前記第1の点の相対位置と同じとなる第2の点を、前記第1の点に対応付けて、前記3次元モデル内の第1の部位に設定し、
    前記複数の断層画像と前記3次元モデルとを同一座標系に配置したときに、前記第2の点が、対応する前記第1の点の位置に合致するように、前記3次元モデルを変形する、
    ことを特徴とするモデル作成方法。
  10. 器官の複数の断層画像に表されている第1の部位上に第1の点を設定する第1の設定部と、
    前記複数の断層画像に表されている第1の部位の基準位置と、前記複数の断層画像に表されている第2の部位の基準位置とに対する、前記第1の点の相対位置を判断する第1の判断部と、
    前記器官の構造を表した3次元モデル内の第1の部位の基準位置と、前記3次元モデル内の第2の部位の基準位置とに対する相対位置が、前記第1の点の相対位置と同じとなる第2の点を、前記第1の点に対応付けて、前記3次元モデル内の第1の部位に設定する第2の設定部と、
    前記複数の断層画像と前記3次元モデルとを同一座標系に配置したときに、前記第2の点が、対応する前記第1の点の位置に合致するように、前記3次元モデルを変形する変形部と、
    を有することを特徴とするモデル作成装置。
JP2012159660A 2012-07-18 2012-07-18 モデル作成プログラム、モデル作成方法、およびモデル作成装置 Active JP5984114B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012159660A JP5984114B2 (ja) 2012-07-18 2012-07-18 モデル作成プログラム、モデル作成方法、およびモデル作成装置
EP13174019.3A EP2688040B1 (en) 2012-07-18 2013-06-27 3D registration of tomographic models using particularly chosen points
US13/934,859 US9123169B2 (en) 2012-07-18 2013-07-03 Model generation method and model generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012159660A JP5984114B2 (ja) 2012-07-18 2012-07-18 モデル作成プログラム、モデル作成方法、およびモデル作成装置

Publications (2)

Publication Number Publication Date
JP2014018413A JP2014018413A (ja) 2014-02-03
JP5984114B2 true JP5984114B2 (ja) 2016-09-06

Family

ID=48746306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012159660A Active JP5984114B2 (ja) 2012-07-18 2012-07-18 モデル作成プログラム、モデル作成方法、およびモデル作成装置

Country Status (3)

Country Link
US (1) US9123169B2 (ja)
EP (1) EP2688040B1 (ja)
JP (1) JP5984114B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424662B (zh) * 2013-08-23 2017-07-28 三纬国际立体列印科技股份有限公司 立体扫描装置
US10013767B2 (en) * 2013-11-01 2018-07-03 The Research Foundation For The State University Of New York Method for measuring the interior three-dimensional movement, stress and strain of an object
JP6253053B2 (ja) * 2013-11-29 2017-12-27 富士通株式会社 データ探索装置、データ探索装置の制御方法およびデータ探索装置の制御プログラム
US9514530B2 (en) * 2014-04-16 2016-12-06 Heartflow, Inc. Systems and methods for image-based object modeling using multiple image acquisitions or reconstructions
KR102301793B1 (ko) 2014-12-18 2021-09-14 삼성전자주식회사 이미지 생성 방법 및 이를 수행하기 위한 이미징 시스템
US10440092B2 (en) * 2016-05-18 2019-10-08 The Boeing Company Alert generation based on proximate events identified by source data analytics
CN106251407A (zh) * 2016-08-03 2016-12-21 上海同筑信息科技有限公司 基于bim的超大场景盒碰撞体批量加载标识方法及系统
US10163008B2 (en) * 2016-10-04 2018-12-25 Rovi Guides, Inc. Systems and methods for recreating a reference image from a media asset
US10699405B2 (en) * 2017-09-29 2020-06-30 General Electric Company System and method for DXA tomo-based finite element analysis of bones
US11481964B2 (en) * 2018-04-27 2022-10-25 Hewlett-Packard Development Company, L.P. Three dimensional volume imaging
JP7038377B2 (ja) * 2018-05-23 2022-03-18 富士通株式会社 生体モデル生成装置、生体モデル生成方法、および生体モデル生成プログラム
DE102019203192A1 (de) * 2019-03-08 2020-09-10 Siemens Healthcare Gmbh Erzeugung eines digitalen Zwillings für medizinische Untersuchungen
WO2024085549A1 (ko) * 2022-10-19 2024-04-25 주식회사 덴티움 3차원 컴퓨터 단층 촬영 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003503136A (ja) * 1999-04-21 2003-01-28 オークランド ユニサービシーズ リミティド 器官の特性を測定する方法およびシステム
EP1554695A2 (en) * 2002-10-16 2005-07-20 Koninklijke Philips Electronics N.V. Hierarchical image segmentation
JP2004187998A (ja) * 2002-12-12 2004-07-08 Fuji Photo Film Co Ltd 異常陰影形状抽出装置
US7693563B2 (en) * 2003-01-30 2010-04-06 Chase Medical, LLP Method for image processing and contour assessment of the heart
CN101765864B (zh) * 2007-07-27 2012-06-27 皇家飞利浦电子股份有限公司 用于图像配准的交互式图集
JP5610129B2 (ja) * 2010-03-26 2014-10-22 富士通株式会社 3次元テンプレート変形方法、装置及びプログラム

Also Published As

Publication number Publication date
EP2688040A3 (en) 2016-08-03
EP2688040B1 (en) 2019-01-23
US9123169B2 (en) 2015-09-01
JP2014018413A (ja) 2014-02-03
EP2688040A2 (en) 2014-01-22
US20140022253A1 (en) 2014-01-23

Similar Documents

Publication Publication Date Title
JP5984114B2 (ja) モデル作成プログラム、モデル作成方法、およびモデル作成装置
JP5660432B2 (ja) 領域データ編集装置、領域データ編集方法、プログラム、及び、記録媒体
JP5592011B2 (ja) マルチスケール3次元配向
JP7038377B2 (ja) 生体モデル生成装置、生体モデル生成方法、および生体モデル生成プログラム
US20210134057A1 (en) Three-dimensional (3d) model creation and incremental model refinement from laser scans
JP2004534584A (ja) 3d画像に表示される3dサーフェイスとインタラクトする画像処理方法
US10147242B2 (en) Distance field coupled fitted deformation lattices for shape modification
US8543902B2 (en) Converting a drawing into multiple matrices
US20240189079A1 (en) Semi-automatic tooth segmentation
JP5673489B2 (ja) 点群データの処理装置、処理方法、処理プログラム及び記録媒体
JPH09138864A (ja) 3次元形状データの生成方法及び処理装置
Ye et al. Puzzlefixer: A visual reassembly system for immersive fragments restoration
JP3786410B2 (ja) フィレット作成方法、及び3次元cadプログラム
WO2014016894A1 (ja) 形状データ生成方法及び装置
JP7093680B2 (ja) 構造物差分抽出装置、構造物差分抽出方法およびプログラム
JP4736755B2 (ja) モデリング装置、領域抽出装置、モデリング方法及びプログラム
JP2007159927A (ja) モデリング装置、モデリング方法、領域抽出装置、領域抽出方法及びプログラム
JPH1196400A (ja) 形状変換方法
KR100782152B1 (ko) 3차원 수치지도를 제작하기 위하여 항공사진 db로부터건물의 3차원 데이터를 획득하는 방법
JP2004046545A (ja) 立体形状データ変換装置および立体形状データ変換方法
JP6618499B2 (ja) 3次元地図分離装置および3次元地図分離プログラム
CN116628828B (zh) 一种大型建筑物拆除点确定方法、介质及系统
KR102493440B1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
CN112948919B (zh) 一种基于图像细化的bim模型跨楼层路网提取方法
JP4707543B2 (ja) 立体形状データ変換方法、それを記述したコンピュータプログラムおよび立体形状データ変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160725

R150 Certificate of patent or registration of utility model

Ref document number: 5984114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150