JP7343751B2 - 部位指定装置、部位指定方法、および部位指定プログラム - Google Patents

部位指定装置、部位指定方法、および部位指定プログラム Download PDF

Info

Publication number
JP7343751B2
JP7343751B2 JP2019082817A JP2019082817A JP7343751B2 JP 7343751 B2 JP7343751 B2 JP 7343751B2 JP 2019082817 A JP2019082817 A JP 2019082817A JP 2019082817 A JP2019082817 A JP 2019082817A JP 7343751 B2 JP7343751 B2 JP 7343751B2
Authority
JP
Japan
Prior art keywords
dimensional model
depth
region
infarction
thickness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019082817A
Other languages
English (en)
Other versions
JP2020181303A (ja
Inventor
大介 櫛部
正宏 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019082817A priority Critical patent/JP7343751B2/ja
Priority to US16/850,257 priority patent/US11562532B2/en
Publication of JP2020181303A publication Critical patent/JP2020181303A/ja
Application granted granted Critical
Publication of JP7343751B2 publication Critical patent/JP7343751B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、部位指定装置、部位指定方法、および部位指定プログラムに関する。
コンピュータを用いて作成した3次元モデルは、さまざまな分野で利用することができる。例えばコンピュータは、複雑な構造を有する物体の3次元モデルを用いて、その物体の運動などのシミュレーションを行い、その物体の特性を解析することができる。シミュレーションには、例えば心臓の3次元モデルを用いて心臓の挙動を再現する心臓シミュレーションがある。
3次元モデルを用いたシミュレーションを行う場合、3次元モデルで表される物体の部位ごとに物理特性を示す物性値が設定される。そのため、シミュレーションを高精度に行うには、特定の物性値を有する部位を、3次元モデル上で指定することとなる。例えば心臓の心筋に梗塞部位がある場合、その梗塞部位の物性値は他の心筋と異なる。心臓における心筋の梗塞部位を指定する場合、ユーザは、梗塞部位の心筋の表面に表れている部分だけでなく、心筋の内部に埋まった部分も含めて、3次元モデルにおける梗塞部位に該当する領域を指定する。
3次元モデルを用いたシミュレーションに関する技術としては、例えば、臓器における疾患部位の特定の容易化を図る描画プログラムが提案されている。また患者の生体内ボリュームの機能的イメージングモダリティから得られた機能的画像に基づき所望の形状の物体(例えば、組織、神経、癌)の位置を決定するための方法も提案されている。また心筋の梗塞部位を効率的に指定する指定装置も提案されている。さらに、全身循環を考慮した脳血流シミュレーションの可視化に関する提案もされている。
特開2013-254445号公報 特表2016-509508号公報 特開2019-28574号公報
藤澤慶、小林匡治、山田茂樹、高木周、大島まり、"全身循環を考慮した脳血流シミュレーションと可視化"生産研究、東京大学生産技術研究所、2013年5月1日、65巻3号, p.281-284
しかし、従来の技術では、物体の表面に一部が露出しているものの、他の部分が物体内部に埋もれている部位を、ユーザがその物体の立体的な位置関係で把握している場合、ユーザは、3次元モデル上で該当部位の領域を簡単に指定することができない。例えばコンピュータは、3次元モデルの断面図または3次元モデルの表面を2次元に写像展開した平面図上でユーザが部位の範囲を指定させることができる。この場合、ユーザは、部位が占める領域を物体の立体的な位置関係で把握しているにもかかわらず、部位が占める領域を平面上での範囲に置き換えて指定することとなり、正しい範囲を指定するのが簡単ではない。
1つの側面では、本件は、一部が物体内部に埋もれた部位の3次元モデル上での領域を容易に指定できるようにすることを目的とする。
1つの案では、以下に示す記憶部と処理部とを有する部位指定装置が提供される。
記憶部は、物体の3次元モデルを示す3次元モデルデータを記憶する。処理部は、3次元モデルデータに基づいて3次元モデルを表示し、表示された3次元モデルの表面に対する閉曲線の入力と、3次元モデルの表面からの深さを指定する入力とに応じて、3次元モデルの表面における閉曲線に囲まれた領域から、3次元モデルの内部に向かって指定された深さの範囲内の部位を、3次元モデルから選択する。
1態様によれば、3次元モデルの表面から任意の深さの部位を容易に指定できるようになる。
第1の実施の形態に係る部位選択方法の一例を示す図である。 第2の実施の形態のシステム構成例を示す図である。 部位指定装置のハードウェアの一構成例を示す図である。 部位指定装置の機能を示すブロック図である。 心臓の3次元モデルデータの一例を示す図である。 梗塞部位指定画面の一例を示す図である。 梗塞部位の深さの指定例を示す図である。 心筋の断面を示す図である。 心筋の厚みの計算手順の一例を示すフローチャートである。 デプスゲージの一例を示す図である。 デプスゲージを用いた梗塞深さの設定例を示す図である。 梗塞表面域の決定例を示す図である。 梗塞部位を示す閉領域の決定方法の一例を示す図である。 閉領域Vd内の要素の決定例を示す図である。 梗塞要素決定処理の手順の一例を示すフローチャートである。 半径dの球内部要素を抽出する処理の詳細手順を示すフローチャートである。 要素リストの一例を示す図である。 梗塞部位を切除した場合の3次元モデルの表示例を示す図である。 制御点を用いた閉曲線の生成例を示す図である。 深さの異なる梗塞部位の指定例を示す図である。 深さの異なる梗塞部位を切除した3次元モデルの一例を示す図である。
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。
図1は、第1の実施の形態に係る部位選択方法の一例を示す図である。図1の例では、部位指定装置10が部位選択方法を実施する。部位指定装置10は、例えば部位選択方法の処理手順が記述された部位選択プログラムを実行することにより、部位選択方法を実施することができる。
部位指定装置10は、記憶部11と処理部12とを有する。記憶部11は、例えば部位指定装置10が有するメモリ、またはストレージ装置である。処理部12は、例えば部位指定装置10が有するプロセッサ、または演算回路である。
記憶部11は、物体の3次元モデル1を示す3次元モデルデータ11aを記憶する。
処理部12は、記憶部11に記憶された3次元モデルデータ11aに基づいて、3次元モデル1の表面から所定の深さの範囲の部位を選択する。例えば処理部12は、3次元モデルデータ11aに基づいて、3次元モデル1を表示する。
次に処理部12は、表示された3次元モデル1の表面に対する閉曲線4の入力と、3次元モデル1の表面からの深さを指定する入力とを受け付ける。例えばユーザは、マウスを操作し、3次元モデル1の表面上に閉曲線4を描くように、マウスカーソル2を移動させる。処理部12は、マウスカーソル2の移動経路を、閉曲線4の入力として取得する。
処理部12は、閉曲線4で囲まれた領域5内の点における3次元モデル1の厚さを基準として、深さの量の指定入力を受け付けることができる。この場合、処理部12は、領域5内の点における法線方向の3次元モデル1の厚さを算出し、その厚さに対する深さの比率の入力を受け付ける。そして処理部12は、厚さと比率に基づいて深さを決定する。
また処理部12は、深さを指定する入力を、例えば深さを表すバー3を用いて受け付けることができる。その場合、処理部12は、深さを表すバー3を表示する。そして処理部12は、マウスホイールの回転量に応じてバー3の長さを変更し、バー3の長さに応じて深さを決定する。例えばバー3の長さが、3次元モデル1の厚さに対する比率を示す場合、処理部12は、3次元モデル1の厚さに対してバー3の長さで示される比率を乗算することで、深さを計算する。
そして処理部12は、閉曲線4の入力と深さを指定する入力とに応じて、3次元モデル1の表面における閉曲線4に囲まれた領域5から、3次元モデル1の内部に向かって指定された深さの範囲内の部位を、3次元モデル1から選択する。例えば3次元モデルデータ11aが多面体の要素の集合によって3次元モデル1を表現している場合、処理部12は、3次元モデルデータ11aから選択された部位に含まれる要素のリストを出力する。
具体的には、3次元モデルデータ11aは、3次元空間での位置が設定された複数の節点と、頂点の位置を示す節点が設定された多面体の要素の集合とによって3次元モデル1を表現できる。処理部12は、領域5に含まれる節点それぞれを中心とする深さの距離を半径とする球を生成し、球内の節点を有する要素をリストに含める。
また処理部12は、閉曲線4上の複数の点それぞれを通る法線を生成し、球内に含まれ、かつ隣接する法線間に設けた面と3次元モデル1の表面とで囲まれた閉領域に含まれる要素を、リストに含めるようにしてもよい。
処理部12は、例えば3次元モデル1から選択された部位を切り取った形状を表示することができる。3次元モデル1が心臓のモデルであり、選択された部位が心筋の梗塞部位の場合、処理部12は、梗塞部位を切除した後の心臓の形状の3次元モデル1を表示することができる。図1には、処理部12が心臓の3次元モデル1から梗塞部位を選択し、梗塞部位を切除した後の3次元モデル1aを表示している。また図1では、3次元モデル1aの表示例の横に、梗塞部位の切除部分におけるX-X断面を示している。X-X断面に示すように、3次元モデル1aでは、選択された部位(梗塞部位)の部分が欠けた形状となっている。
このような部位指定装置10によれば、閉曲線4の入力と深さを指定する入力とを行うだけで、物体の内部に一部が埋もれている部位の3次元モデル1上での領域を容易に指定することが可能となる。例えば3次元モデル1が複雑な曲面形状の場合、表面から所定の深さで埋もれた部位の形状も複雑な曲面を有する。そのような複雑な曲面形状を、ユーザが直接指定するのは容易ではない。特に選択対象の部位における3次元モデル1の内部に埋もれた面(該当部位の領域と他の領域との境界面)は、図1に示す部位選択方法を用いない場合、ユーザは新たな曲面の定義を入力することとなる。目的の曲面を新たに定義するのは、手間のかかる作業である。それに対して、図1に示す部位選択方法を用いれば、ユーザは、閉曲線4の入力と深さを指定する入力を行えばよく、容易に目的の部位を指定することができる。
しかも、図1に示す部位選択方法では、ユーザが物体における立体的な位置関係で部位の位置を把握している場合に、立体的な3次元モデル1上で閉曲線4を指定することができ、ユーザの把握している閉曲線4の位置および形状をそのまま指定すればよい。そのため、正確な閉曲線4の指定が容易である。
なお処理部12によって指定された部位を示す情報は、例えば3次元モデル1を用いたシミュレーションに利用することができる。指定された部位を示す情報をシミュレーションに利用する場合、処理部12は、該当部位について、物体内の他の部分と違う性質を持つことを示す情報を出力する。他と異なる部位の性質としては、例えば電気伝導度や剛性などがある。
例えば3次元モデル1が心臓のモデルであり、処理部12が心臓の梗塞部位を選択した場合、処理部12は、選択した部位が、心筋が梗塞している梗塞部位であることを示す情報を出力する。例えば処理部12は、梗塞部位を示す要素のリストを、心臓シミュレーションを行うコンピュータ(心臓シミュレータ)に送信する。心臓シミュレータは、梗塞部位の物性値(電気伝導度や剛性)を他の心筋と異なる値に設定して心臓シミュレーションを実行する。これにより、心筋梗塞を患う患者の正確な心臓シミュレーションが可能となる。
〔第2の実施の形態〕
次に第2の実施の形態について説明する。第2の実施の形態は、患者の心臓の3次元モデルを用いた心臓シミュレーションを行う際に、心臓の梗塞部位を容易に指定可能なシステムである。
図2は、第2の実施の形態のシステム構成例を示す図である。例えば部位指定装置100が、ネットワーク20を介して心臓シミュレータ200に接続されている。部位指定装置100は、ユーザからの操作に応じて、患者の心臓の3次元モデルに対して、該当患者の梗塞部位を設定する。部位指定装置100は、梗塞部位を示す情報を、心臓シミュレータ200に送信する。
心臓シミュレータ200は、梗塞部位を含む患者の心臓の3次元モデルを用いて、心臓の挙動のシミュレーションを行う。例えば心臓シミュレータ200は、梗塞部位の物性値を他の心筋と異なる値に設定し、梗塞部位が存在する場合を想定した心臓シミュレーションを実行する。
図3は、部位指定装置のハードウェアの一構成例を示す図である。部位指定装置100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス109を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
メモリ102は、部位指定装置100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に利用する各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
バス109に接続されている周辺機器としては、ストレージ装置103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107およびネットワークインタフェース108がある。
ストレージ装置103は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、コンピュータの補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
グラフィック処理装置104には、モニタ21が接続されている。グラフィック処理装置104は、プロセッサ101からの命令に従って、画像をモニタ21の画面に表示させる。モニタ21としては、有機EL(Electro Luminescence)を用いた表示装置や液晶表示装置などがある。
モニタ21は、例えば3D(3-Dimensional)表示可能なモニタである。モニタ21に表示された画像は、3Dめがね29を用いて立体的に見ることができる。モニタ21は、例えばパッシブ型円偏光型3Dディスプレイである。この場合、3Dめがね29は、左右のグラスに方向軸の異なる円偏光フィルタが設けられている。
入力インタフェース105には、キーボード22とマウス23とが接続されている。入力インタフェース105は、キーボード22やマウス23から送られてくる信号をプロセッサ101に送信する。マウス23は、例えば左右のボタンの間にマウスホイールを有する。なお、マウス23は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク24に記録されたデータの読み取りを行う。光ディスク24は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク24には、DVD(Digital Versatile Disc)、DVD-RAM、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)などがある。
機器接続インタフェース107は、部位指定装置100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置25やメモリリーダライタ26を接続することができる。メモリ装置25は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ26は、メモリカード27へのデータの書き込み、またはメモリカード27からのデータの読み出しを行う装置である。メモリカード27は、カード型の記録媒体である。
ネットワークインタフェース108は、ネットワーク20に接続されている。ネットワークインタフェース108は、ネットワーク20を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
部位指定装置100は、以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。心臓シミュレータ200も、図3に示した部位指定装置100と同様のハードウェアにより実現することができる。また、第1の実施の形態に示した部位指定装置10も、図3に示した部位指定装置100と同様のハードウェアにより実現することができる。
部位指定装置100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。部位指定装置100に実行させる処理内容を記述したプログラムは、さまざまな記録媒体に記録しておくことができる。例えば、部位指定装置100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。また部位指定装置100に実行させるプログラムを、光ディスク24、メモリ装置25、メモリカード27などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
次に、3次元モデルにおける梗塞部位の指定の困難性について説明する。
例えば部位指定装置100が、心臓の3次元モデルの心室内膜および外膜それぞれを2次元に写像展開した平面に対する梗塞部位を示す特定個数の点情報の指定入力に基づき、3次元モデル内の心臓の梗塞部位を指定するものとする。この場合、部位指定装置100は、3次元の心筋情報を2次元平面に一度落とす。その後、ユーザは平面図上の点を複数指定する。部位指定装置100は、ユーザからの平面図上の点の入力を受け付け、指定された点の情報を再度3次元情報に直すことにより心筋梗塞領域を指定する。例えば部位指定装置100は、平面上に指定された複数の点を閉曲線で結び、それを心筋の深さ方向に伸ばすことによって心筋梗塞部位を指定する。この場合、ユーザは複数の点を指定すればよく、複数の点を閉曲線で囲む部分は部位指定装置100により自動的に行われる。
このような2次元平面上でユーザが梗塞部位を指定する場合、ユーザが行う手作業部分は平面図上での複数の点の指定だけである。一方で、平面を用いた梗塞部位の指定では、本来3次元的である情報を2次元情報に射影してから領域を指定するため、以下のような問題点がある。
[問題点1]
2次元の平面上での梗塞部位の指定は、本来3次元的な心臓の構造を平面情報に射影したのち、平面図上で領域指定をすることとなる。しかしながら、医師が視認する患者の心臓は平面ではなく、あくまで立体像である。そのため医師が認識した梗塞部位の2次元の平面上での位置が正確には分からず、医師によって指定された梗塞部位の領域が、医師が認識していた領域と異なってしまう場合がある。
この問題点について世界地図を例にとって説明する。地球儀は3次元情報であるが、地球儀上の閉領域を平面図に落とされた図面にて領域を指定することを考える。代表的な平面図としてはメルカトル図法がある。メルカトル図法は、正角図法であり、図中に表れる何らかの角度(例えば2点間を結ぶ直線と経線とのなす角度)は、立体の表面上での角度と同じである。角度が同じということは、十分に狭い範囲であれば形状が正しいことを意味する。その一方で、メルカトル図法では面積が犠牲にされている。すなわちメルカトル図法では高緯度領域に行くほど面積の情報が食い違ってしまう。
メルカトル図法に限らず、立体を射影した平面図は、何の物理量を平面図中で保存するかによって、欠落する情報が異なる。前述のメルカトル図法の場合、等角航路が正確になるようにし、航路を確保する目的で作成されるが、代わりに距離や面積の情報が犠牲になる。このように本質的に立体の曲面情報を平面図に直す時には、何らかの情報が不正確になる。
心臓シミュレーションを行う場合において、梗塞部位の面積と梗塞部位の形状との両方が重要である。立体図であれば、梗塞部位の面積と形状との両方を正確に表すことができる。したがって立体図に対して梗塞部位を直接指定できれば、面積と形状とが正確な梗塞部位の領域を指定することができ、正確な心臓シミュレーションが可能となる。
[問題点2]
医師が梗塞部位を指定する場合、現実に近い3次元モデルに対して、梗塞部位を直接、直感的に指定できることが理想である。しかし、心臓上の点を選択するだけでの梗塞部位の指定は、直感的とは言い難い。医師にとっては、手術の際の切り取り対象の部位を指定する場合のように、手を動かして手の動きに沿って梗塞部位を指定できるのが直感的と言える。平面上の点の指定は、このような直感的な指定と大きく異なる。
[問題点3]
平面上の点の指定での梗塞部位の指定では、心臓表面からの心筋梗塞部位の深さの指定が難しい。心筋梗塞が起きている領域は心臓のうちの一部である。そのため、心臓表面で梗塞している表面上の領域も有限であり、深さも有限である。そして、梗塞部位の場所によって梗塞を起こしている深さも違う。このように梗塞部位は場所によって深さが異なるが、平面上での点の指定だけでは、深さの違いを適切に指定することができない。
上記の問題点1、問題点2、および問題点3を解決することが課題である。この3つの問題点を解決するための課題を整理すると以下のようになる。
[課題1]
医師が自らの目で心臓データの奥行きを含めて認識できる表現を用いること。
[課題2]
医師が自らの手で、メスを使う場合のような直感的な操作で、心筋梗塞部位を簡単に指定できること。
[課題3]
心臓の表面に沿って選択された梗塞部位の深さの情報を視覚情報としてわかりやすく表示すること。
第2の実施の形態に係る部位指定装置100は、このような課題を解決するために、心臓の3次元モデルを3D表示用のモニタ21によって立体的に表示し、ユーザによるマウス操作に基づいて、3次元モデルの表面から任意の深さの梗塞部位を指定可能とする。部位指定装置100が心臓の3次元モデルを立体表示することで、物体の奥行情報を際立たせることができる。これにより、医師であるユーザは、実際の心臓上の梗塞部位の位置を、3次元モデル上に容易に指定できる。また部位指定装置100が、通常のマウス操作による領域および深さの指定による梗塞部位の指定を受け付けることで、ユーザは、メス操作に似た操作感で、直感的な領域指定が可能となる。
なお、マウス操作に代えて、手術に使用するメスに似せた形状のポインティングデバイスを用いることで、さらにメス操作に似せた入力環境を得ることもできる。例えばタブレット用のペンをメス型にすることができる。またタッチパネルへの入力用のスタイラスをメス型にしてもよい。同様に、画面に表示されるマウスカーソルの形状をメス型にしてもよい。
以下、部位指定装置100の機能について詳細に説明する。
図4は、部位指定装置の機能を示すブロック図である。部位指定装置100は、記憶部110,心筋モデル表示部120、梗塞表面域決定部130、梗塞深さ決定部140、梗塞要素決定部150、および梗塞要素情報送信部160を有する。
記憶部110は、心臓の3次元モデルを表す3次元モデルデータ111を記憶する。3次元モデルデータ111は、例えば多数の四面体の要素の位置、および形状のデータである。
心筋モデル表示部120は、心臓の心筋形状を表す3次元モデルに基づいて、心臓の立体画像を表示する。また心筋モデル表示部120は、梗塞部位に含まれる要素を示す梗塞要素情報を受信すると、心臓の立体画像上で梗塞部位を他の部位と区別して3次元モデルを表示する。例えば心筋モデル表示部120は、梗塞部位を除外した3次元モデルを表示することができる。
梗塞表面域決定部130は、心臓の梗塞部位の心筋表面に露出している範囲(梗塞表面域)を決定する。例えば梗塞表面域決定部130は、心臓の3次元モデルの表示画面上で、ユーザがポインタ操作によって囲んだ閉領域を、梗塞表面域に決定する。
梗塞深さ決定部140は、梗塞部位の心筋表面からの深さを決定する。例えば梗塞深さ決定部140は、心筋の厚さを基準とした場合の梗塞部位の厚みを指定するデプスゲージを表示し、そのデプスゲージを用いてユーザが指定した厚みに応じて、梗塞部位の深さを決定する。
梗塞要素決定部150は、決定した梗塞範囲内の決定した深さの領域を梗塞領域とし、3次元モデルから、梗塞部位に含まれる要素を梗塞要素として抽出する。例えば梗塞要素決定部150は、3次元モデルを構成する要素のうち、梗塞領域に少なくとも一部が含まれる要素を、梗塞要素とする。梗塞要素決定部150は、例えば梗塞要素を示す梗塞要素情報を心筋モデル表示部120と梗塞要素情報送信部160とに送信する。
梗塞要素情報送信部160は、梗塞要素情報を心臓シミュレータ200に送信する。心臓シミュレータ200は、梗塞要素情報に基づいて、電気伝導度や剛性などの物性量の物性値を変更して心臓シミュレーションを実施する。
なお、図4に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図4に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。
次に記憶部110に格納される3次元モデルデータ111について、具体的に説明する。
図5は、心臓の3次元モデルデータの一例を示す図である。3次元モデルデータ111には、例えば節点情報テーブル111aと要素情報テーブル111bとが含まれる。節点情報テーブル111aには、節点ごとに、節点番号と、節点の位置を示す座標とが設定されている。節点情報テーブル111aにおける各節点の座標は、シミュレーション実行前の状態における節点の位置を示している。要素情報テーブル111bには、要素ごとに、要素番号と、4面体の要素の頂点となる節点の節点番号とが設定されている。
図5に示した3次元モデルデータ111に基づいて、心臓の心筋を表す3次元モデルが生成できる。例えば心筋モデル表示部120は、3次元モデルデータ111に基づいて生成した3次元モデルデータを、梗塞部位指定画面内に表示する。
図6は、梗塞部位指定画面の一例を示す図である。梗塞部位指定画面40には、心筋の3次元モデル41が立体画像で表示されている。また梗塞部位指定画面40には、メスモード切り替えボタン42が表示されている。
メスモード切り替えボタン42は、マウスポインタによる操作モードを、梗塞部位の指定用のモード(メスモード)に変更するためのボタンである。メスモード切り替えボタン42には、例えば手術用のメス型のアイコンが表示されている。
ユーザがメスモード切り替えボタン42を選択すると、心筋モデル表示部120は、マウスポインタによる操作モードをメスモードに変更する。メスモードの間にユーザがメスモード切り替えボタン42を再度選択すると、心筋モデル表示部120は、メスモードを解除する。このようにユーザは、GUI(Graphical User Interface)画面上にあるメス型のアイコンで示されるメスモード切り替えボタン42のマウス操作による選択により、メスモードのオンとオフを切り替えることができる。
メスモードがオンになると、心筋モデル表示部120は、梗塞部位指定画面40内に、梗塞部位の深さを決めるためのデプスゲージ43を表示する。デプスゲージ43には、例えば心筋の厚さを「100」とし、梗塞部位の心筋外膜からの深さを「0-100」の範囲で指定したときの、深さの量がバーの長さで表示される。すなわち心筋の厚さに対して、梗塞部位が何%まで及んでいるのかが、デプスゲージ43で示される。
なお梗塞部位の深さは、メスで梗塞部位を切り取ることを想定した場合の、メスの切り込みの深さに相当する。すなわち、医師であるユーザは、メスで梗塞部位を切り取ることを想像しながら、直感的に梗塞部位の深さを指定することができる。
メスモードがオンになったとき、心筋モデル表示部120は、心臓の3次元モデル41の3次元仮想空間内での位置および向きを固定し、3次元モデル41に対する梗塞部位の指定操作を可能な状態にする。
このように、3次元モデル41の位置および向きを固定した状態を、以下、ユーザが掴んだ状態であると呼ぶ。なお、ユーザは例えばマウス23の右ボタンを押すことで、心臓の3次元モデル41を掴んだ状態を解除することができる。ユーザは、梗塞部位の指定操作を、3次元モデル41を掴んだ状態で行う。
図7は、梗塞部位の深さの指定例を示す図である。例えばユーザは、メスモードをオンにした後、マウス23を操作し、表示された3次元モデル41の1点を選択する。心筋モデル表示部120は、例えば選ばれた点Pを、梗塞部位指定画面40内で小さい色付きの点で表示する。またメスモードがオンにされたことで、心筋モデル表示部120は、梗塞部位指定画面40上にデプスゲージ43を表示する。
ユーザが指定した梗塞部位の深さは、デプスゲージ43上にバー44で表される。梗塞部位の深さは、梗塞深さ決定部140によって決定される。例えばユーザがマウス23のマウスホイールを回転させると、梗塞深さ決定部140がマウスホイールの回転方向および回転角度に応じて、梗塞部位の深さを変更する。具体的には、梗塞深さ決定部140は、ユーザがマウスホイールを手前から奥に回転させると、回転量に応じてデプスゲージ43のバー44を伸ばす。また梗塞深さ決定部140は、ユーザがマウスホイールを奥から手前に回転させると、回転量に応じてデプスゲージ43のバー44を縮める。これにより、デプスゲージ43に示されるバー44の長さが、ユーザによって指定された梗塞部位の深さを表す。
図7に示すように、梗塞部位の深さは、バー44によって、指定された点Pにおける心筋の厚さとの比率で表される。梗塞部位の深さが何ミリメートルになるのかは、心筋の厚さに応じて決まる。そこで梗塞深さ決定部140は、点Pが選択されると、点Pにおける心筋の厚さを計算する。
図8は、心筋の断面を示す図である。3次元モデル41で示される心筋は、複数の節点45によって形状が定義されている。3次元モデル41では、外側の心筋表面S1と内側の心筋表面S2とに挟まれた領域が、心筋の存在する領域である。点Pにおける心筋の厚さDは、点Pを通る法線l1と、心筋表面S1および内側の心筋表面S2との交点間の距離である。点Pを通る法線l1は、点Pにおける心筋表面S1の接平面Snに垂直な直線である。
図9は、心筋の厚みの計算手順の一例を示すフローチャートである。以下、図9に示す処理をステップ番号に沿って説明する。
[ステップS101]梗塞深さ決定部140は、点Pにおける外側の心筋表面S1の法線ベクトルと法線l1とを求める。例えば梗塞深さ決定部140は、点Pにおける心筋表面S1の接平面Snを算出する。次に梗塞深さ決定部140は、接平面Snに垂直な法線ベクトルを算出する。そして梗塞深さ決定部140は、点Pを通り、算出した法線ベクトルと平行な直線を算出し、法線l1とする。
[ステップS102]梗塞深さ決定部140は、法線l1と内側の心筋表面S2との交点P’を求める。
[ステップS103]梗塞深さ決定部140は、2点PP’間の距離を計算し、計算した距離を心筋の厚さDとする。
梗塞深さ決定部140は、計算した心筋の厚さDを、心筋モデル表示部120に送信する。すると心筋モデル表示部120は、デプスゲージ43の横に、選択した点Pでの心筋の厚さDを表示する。
図10は、デプスゲージの一例を示す図である。例えば心筋モデル表示部120は、心筋の厚さDをわかりやすく表示するため、デプスゲージ43の左側に実際の厚さ(図10の例ではmm単位)を表示し、デプスゲージ43の右側にその点での厚さを「100」とした100分率の目盛りを表示する。100分率の目盛り最小値は0である。
デプスゲージ43の横には、梗塞深さ設定値を示す矢印46が示されている。点Pを選択した段階では梗塞深さは指定されていない。図10の例では梗塞深さの初期値は最小値「0」であり、梗塞深さ設定値の矢印46は「0%」の位置を指し示している。
図10に示すようなデプスゲージ43を参照し、ユーザは、患者の梗塞部位の厚さに応じた梗塞深さを設定する。例えばユーザは、梗塞深さを設定するため、マウスの中央ボタン(ホイール式の場合はホイール)を押す。梗塞深さ決定部140は、中央ボタンが押されたことを検知すると、処理のモードを深さ決めモードに切り替える。なお梗塞深さ決定部140は、別途用意するアイコンが選択されたときに深さ決めモードに切り替えてもよい。
ユーザは、深さ決めモードに切り替わった後、マウスホイールを前後に回転させることで、深さを調整する。例えばユーザがマウスホイールを手前から奥に動かすと、梗塞深さ決定部140は、梗塞深さを増加させ、デプスゲージ43のバー44を上に伸ばす。またユーザがマウスホイールを奥から手前に動かすと、梗塞深さ決定部140は、梗塞深さを減少させ、デプスゲージ43のバー44を下に縮める。
なお梗塞深さ決定部140は、バー44の長さに応じてバー44の色を変えることもできる。例えば梗塞深さ決定部140は、バー44が長くなるほど、色を濃くする。
このように、梗塞深さ決定部140が梗塞深さの設定値に応じてバー44の長さや色を変えて表示することで、ユーザは、今どのくらいの梗塞深さに設定されているのかが容易に認識できる。
図11は、デプスゲージを用いた梗塞深さの設定例を示す図である。ユーザがマウスホイールを回転させることで、デプスゲージ43内のバー44が伸び縮みする。バー44の最上部の横には、現在の梗塞深さ設定値を示す矢印46と、100分率による梗塞深さ(心筋の厚さの何%か)を示す数値とが示されている。
梗塞深さ決定部140は、初期状態では、例えばマウスホイールが1回転(360度)するとバー44の長さが「0%」から最大値「100%」まで到達するようにする。梗塞深さ決定部140は、マウスホイールの1回転あたりでデプスゲージ43が何%埋まるかをユーザの入力に応じて設定することもできる。例えば梗塞深さ決定部140は、マウスホイール1回転の回転角(360度)を単位回転角とし、単位回転角だけマウスホイールが回転したときの梗塞深さの増減量をユーザからの入力に応じて変更する。
ユーザに単位回転角当りの梗塞深さの増減量の数値入力を求めると操作性が悪いため、梗塞深さ決定部140は、梗塞深さの増減量変更用のショートカットキーを定義する。例えば梗塞深さ決定部140は、キーボードの2つのキーにショートカットキーを定義する。例えば梗塞深さ決定部140は、キーボード上のF8キーとF9キーに、単位回転角当りの梗塞深さの増減量変更用のショートカットキーを割り当てる。
梗塞深さ決定部140は、一方のショートカットキー(例えばF8)が押下されると単位回転角当りの梗塞深さの増減量を、現在の2倍にする。また梗塞深さ決定部140は、もう一方のショートカットキー(例えばF9)が押下されると単位回転角当りの梗塞深さの増減量を、現在の1/2倍にする。
これにより、ユーザは画面から目を離すことなくこれらのショートカットキーを押しながらデプスゲージ43における深さバーの増減幅を調節することができる。なお梗塞深さ決定部140は、単位回転角をリセットするために、角度リセットボタンも用意し、ショートカットキーに割り当ててもよい。梗塞深さ決定部140は、例えばF10キーを角度リセットキーに割り当てる。
このようにしてユーザは目で画面を見ながら、片手をマウスに当て、もう片手をキーボードに当てながら操作できる。例えば、マウスホイール1回転(360度)でデプスゲージ43に示されるバー44が0%から100%となる状態のとき、ユーザがF8キーを一回押すと、梗塞深さ決定部140は、マウスホイール0.5回転(180度)でバー44が0%から100%となるように、マウスホイールの回転角度に応じたバー44の増減量を変更する。ユーザがもう一回F8キーを押すと、梗塞深さ決定部140は、0.25回転(90度)でバー44が0%から100%となるように、マウスホイールの回転角度に応じたバー44の増減量を変更する。このように単位回転角当りの梗塞深さの増減量を増加させると、梗塞深さの大幅な変更を迅速に行うことができる。
またマウスホイール1回転(360度)でデプスゲージ43に示されるバー44が0%から100%となる状態のとき、ユーザがF9キーを1回押すとマウスホイール1回転(360度)でバー44が0%から50%となる。ユーザがもう一回F9キーを押すと、マウスホイール1回転(360度)でバー44が0%から25%となる。このように単位回転角当りの梗塞深さの増減量を減少させると、梗塞深さの微調整がしやすくなる。
なお、マウスホイールによっては最小回転角が大きくなる場合があり、単位回転角当りの梗塞深さの増減量が調整できたとしても、丁度よい数値に調整しづらいケースがある。そこで梗塞深さ決定部140は、デプスゲージ43の値の横に示されている矢印46をユーザが左クリックしながらマウス23を前後させた場合、マウスの移動量に応じて梗塞深さを微調整する。マウス23の前後のほうがマウスホイールの回転より細かな操作が可能であり、マウス23の移動で梗塞深さを調整できることにより、微調整が容易となる。
梗塞深さ決定部140は、ユーザがもう一度マウスの中央ボタンを押すと、深さ決めモードを解除する。梗塞深さ決定部140は、深さ決めモードが解除されたときの梗塞深さdを主記憶装置に格納する。深さ決めモードが解除されると、梗塞深さ決定部140は、例えばマウスカーソルを点Pの位置に自動で移動する。
ユーザがメスモードで深さを決めるときに、点Pを選択した状態からボタンをリリース(離して)いる可能性がある。その場合は、ユーザがマウス23を操作してマウスカーソルを点Pの近くに移動させると、心筋モデル表示部120は、例えば点Pにマウスカーソルが重なったときに点Pの色を変更する。点Pにマウスカーソルが重なった状態でユーザがマウス23の左クリックボタンを押すと、心筋モデル表示部120は、点Pを再度選択する。
ユーザが点Pを選択した状態で、マウス23の左ボタンを押しながらマウス23を動かすと、梗塞表面域決定部130は、マウスカーソルの移動によって示される範囲内の領域を、梗塞表面域に決定する。梗塞表面域内の点Pで指定した梗塞深さの範囲内の心筋が梗塞部位となる。
図12は、梗塞表面域の決定例を示す図である。例えば梗塞表面域決定部130は、ユーザがマウスカーソルを移動させると、マウスカーソルの軌跡に沿って線を描く。例えばユーザは、マウスカーソルを点P(図7参照)から開始して、心筋表面上に表れている梗塞部位の範囲を囲むようにマウスカーソルを移動させ、さらにマウスカーソルを点P移動させる。すると、梗塞表面域決定部130は、心筋表面上にて始点と終点を点Pにするような閉曲線CAを生成する。梗塞表面域決定部130は、閉曲線CAによって囲まれる曲面SAを、梗塞表面域とする。
梗塞要素決定部150は、梗塞深さと梗塞表面域とが決まると、梗塞部位を示す閉領域を決定する。以下、閉領域の決定方法を説明する。
図13は、梗塞部位を示す閉領域の決定方法の一例を示す図である。梗塞要素決定部150は、外側の心筋表面の閉曲線CAの長さを求め、その長さをM分割(Mは2以上の整数)するような、閉曲線CA上の点Pm(m=1,2,…,M)を選ぶ。梗塞要素決定部150は、点Pmそれぞれについて、点Pmを通り心筋表面に対して垂直な法線lmを生成する。梗塞要素決定部150は、法線lmと内側の心筋表面との交点をP'mとする。このとき曲面{Pm,P'm,P (m+1),P' (m+1)}は分割数Mが大きい場合平面とみなしてよい。そこで梗塞要素決定部150は、m=1,2,…,Mとすることで、点Pm,P'm,P (m+1),P' (m+1)を頂点とするM個の平面Smを生成する。梗塞要素決定部150は、M個の平面Sm(m=1,2,…,M)の集合を、心筋における梗塞部位の領域とそれ以外の領域との境界面SSideとする。
次に梗塞要素決定部150は、曲面SAと境界面SSideで囲まれる領域であって、曲面SAの各点から梗塞深さd内にある領域を、梗塞部位を表す閉領域Vdとする。そして梗塞要素決定部150は、閉領域Vd内にある要素を次のようにして決定する。
図14は、閉領域Vd内の要素の決定例を示す図である。図14には、閉領域Vdが存在する位置の心筋の上面図と、閉領域Vdが存在する位置での心筋の断面図とが示されている。断面図では、心臓の外側の心筋表面S1が左側であり、心臓の内側の心筋表面S2が右側である。なお図14では、簡単のため閉領域Vdを直線で囲まれた正方形で示しているが、実際には閉領域Vdは曲線に囲まれた領域である。
梗塞要素決定部150は、閉領域Vdにおける外側の心筋表面S1上のすべての節点から、半径dの球を想定する。梗塞要素決定部150は、心筋表面S1上のすべての節点から半径dの球の範囲内に含まれ、かつ閉領域Vdの境界面SSideの内側にある節点を、閉領域Vd内にある節点として抽出する。梗塞要素決定部150は、心臓の3次元モデル41を構成する要素のうち、抽出した節点を頂点の1つとして含む要素を、心筋梗塞を起こしている領域内部の要素(梗塞要素)であると判定する。
図15は、梗塞要素決定処理の手順の一例を示すフローチャートである。以下、図15に示す処理をステップ番号に沿って説明する。
[ステップS111]梗塞要素決定部150は、外側の心筋表面S1上の節点のうち、曲面SA上にある節点の数(節点数)Neを求める。
[ステップS112]梗塞要素決定部150は、表面節点リストLsに、曲面SA上にある節点(表面節点)の節点番号を格納する。
[ステップS113]梗塞要素決定部150は、節点リストに格納されたすべての表面節点それぞれから半径dの球内部にある要素を抽出する。抽出した要素の集合が、梗塞部位を表す。
図16は、半径dの球内部要素を抽出する処理の詳細手順を示すフローチャートである。以下、図16に示す処理をステップ番号に沿って説明する。
[ステップS121]梗塞要素決定部150は、節点数Neの回数だけ、ステップS122~S127の処理を繰り返す。例えば梗塞要素決定部150は、繰返し処理の実行回数を示す変数iに初期値「1」を設定する。梗塞要素決定部150は、ステップS122~S127の処理を1回実行するごとに、変数iの値を1だけカウントアップする。そして梗塞要素決定部150は、変数iが節点数Neを超えるまで、ステップS122~S127の処理を繰り返す。
[ステップS122]梗塞要素決定部150は、曲面SA上のi番目の節点Qiを中心とする半径dの球Sdiを定義する。そして梗塞要素決定部150は、球Sdiの内部の領域Vdiに存在するすべての要素を取得する。例えば梗塞要素決定部150は、球Sdi内に存在する節点を少なくとも1つ有する要素を抽出する。梗塞要素決定部150は、このとき取得した要素数をNvとしてメモリ102に保存する。
[ステップS123]梗塞要素決定部150は、要素数Nvの回数だけ、ステップS124~S126の処理を繰り返す。例えば梗塞要素決定部150は、繰返し処理の実行回数を示す変数jに初期値1を設定する。梗塞要素決定部150は、ステップS124~S126の処理を1回実行するごとに、変数jの値を1だけカウントアップする。そして梗塞要素決定部150は、変数jが要素数Nvを超えるまで、ステップS124~S126の処理を繰り返す。
[ステップS124]梗塞要素決定部150は、ステップS122で取得した要素のうちのj番目の要素Ejが閉領域Vd内にあるか否かを判断する。例えば梗塞要素決定部150は、要素Ejの節点の少なくとも1つが閉領域Vd内にあれば、要素Ejが閉領域Vd内にあると判断する。梗塞要素決定部150は、閉領域Vd内にあれば、処理をステップS125に進める。また梗塞要素決定部150は、閉領域Vd内になければ、処理をステップS127に進める。
[ステップS125]梗塞要素決定部150は、j番目の要素Ejが要素リストに登録済みか否かを判断する。梗塞要素決定部150は、要素リストに登録済みであれば、処理をステップS127に進める。梗塞要素決定部150は、要素リストに登録済みでなければ、処理をステップS126に進める。
[ステップS126]梗塞要素決定部150は、j番目の要素Ejを要素リストに登録する。
[ステップS127]梗塞要素決定部150は、変数jの値を1だけカウントアップして、変数jが要素数Nvを超えた場合、処理をステップS128に進める。
[ステップS128]梗塞要素決定部150は、変数iの値を1だけカウントアップして、変数iが節点数Neを超えた場合、半径dの球内部要素抽出処理を終了する。
半径dの球内部要素抽出処理の結果、梗塞部位に含まれる要素の集合が、要素リストに設定される。梗塞部位に含まれる要素とは、表面節点のいずれかから半径dの球内にあり、かつ閉領域Vd内にある節点を少なくとも1つ有する要素である。
図17は、要素リストの一例を示す図である。要素リスト50には、要素番号、要素種類、および4つの節点番号の欄が設けられている。要素番号の欄には、梗塞部位に含まれる要素の要素番号が設定される。要素種類の欄には、該当する要素の種類が設定される。例えば要素の種類が4面体(テトラ要素)であれば、要素の種類の欄に「tet」と設定される。4つの節点番号の欄には、該当する要素の節点のうち、表面節点のいずれかから半径dの球内にあり、かつ閉領域Vd内にある節点の節点番号が設定される。
このように、要素リスト50に梗塞部位に含まれる要素の集合を定義しておけば、全体の要素のなかで、要素リスト50に示される要素に対して処理を加えることで、梗塞部位に対して他の部位と異なる処理を行うことができる。例えば心筋モデル表示部120は、要素リスト50に基づいて、梗塞部位を切除した場合の心臓の3次元モデルを表示することができる。
図18は、梗塞部位を切除した場合の3次元モデルの表示例を示す図である。心筋モデル表示部120は、梗塞部位指定前の3次元モデル41に含まれる要素のうち、要素リスト50に示される要素を表示対象から除外することで、梗塞部位指定後の3次元モデル60を表示する。梗塞部位指定後の3次元モデル60は、梗塞部位指定前の3次元モデル41と比べ、梗塞部位切除部分61の心筋が欠けた形状となっている。
第2の実施の形態に示した部位指定装置100により、以下のように利便性が医師に提供される。
1.目で心臓画像を見ながら、直接マウス操作をして閉領域を決定できる。
2.梗塞部位の深さをデプスゲージで決めることができ、表示された3次元モデルから目を離さずにすむ。しかもデプスゲージが心筋の厚さを基準に設定されているため、梗塞部位の深さの設定の誤りを抑止できる。例えば心筋の内側までは梗塞部位が達していないことが明らかな場合、ユーザは、深さを示すバーがデプスゲージの100%に達していないことを確認することで、梗塞部位の深さが心筋の内側にまで達してしまうことを抑止できる。
梗塞部位の指定結果を取得した心臓シミュレータ200は、心筋梗塞領域に属する要素に対して、別途、剛性や電気伝導度などの物性値のパラメータを変えることが可能になる。その結果、心筋梗塞を患う患者の心臓シミュレーションを正確に行うことができる。すなわち梗塞要素情報送信部160は、要素リスト50を梗塞要素情報として心臓シミュレータ200に送信する。心臓シミュレータ200は、記憶部110内の3次元モデルデータ111と同じ3次元モデルデータを有しており、その3次元モデルデータのうち要素リスト50に示される要素の物性値を変更して、心臓シミュレーションを行う。
例えば心臓では洞房結節から発生した電気的興奮が心筋を伝わることで、心房と心室とが収縮する。心筋に梗塞部位が存在すると、その梗塞部位での電気伝導度が下がり、電気的興奮が伝わりにくくなる。そこで心臓シミュレータ200は、梗塞部位に含まれる要素の電気伝導度を下げて、心臓シミュレーションを行う。これにより、心筋梗塞を患っている患者の興奮伝播に応じた心臓シミュレーションを正確に行うことができる。また梗塞部位は、他の部位に比べて柔軟性が落ちる。そこで心臓シミュレータ200は、梗塞部位に含まれる要素の剛性を上げて心臓シミュレーションを行うこともできる。
なお図17に示すように、要素リスト50には、各要素の節点のうち、梗塞部位の領域に含まれる節点の接点番号のみが設定されている。心臓シミュレータ200は、要素リスト50に基づいて、全体が梗塞部位に含まれる要素と、部分的に梗塞部位に含まれる要素とを分けることができる。そして心臓シミュレータ200は、例えば一部のみが梗塞部位に含まれる要素については、心臓シミュレーション時に、梗塞部位に与えられた物性値を部分的に適用してもよい。
例えば心臓シミュレータ200は、4面体の要素が有する4つの節点のうち、2つの節点のみが梗塞部位に含まれ、他の節点は梗塞部位に含まれない場合を想定する。この場合、心臓シミュレータ200は、該当要素の梗塞部位に含まれる節点の近くでは梗塞部位の物性値を適用し、その他の節点の近くでは正常な心筋の物性値を適用する。これにより、正確な心臓シミュレーションが可能となる。すなわち要素リスト50において、梗塞部位に含まれる節点とそれ以外とを区別できるようにしたことが心臓シミュレーションの精度向上に寄与している。
〔その他の実施の形態〕
第2の実施の形態では、ユーザは、マウスによって一筆書きの要領で心筋表面上の閉曲線CAを描くことで、梗塞表面域を指定する。しかし、この場合、領域をきれいな閉曲線で囲むことが難しい場合がある。そこで梗塞表面域決定部130は、制御点の指定により梗塞表面域を指定できるようにしてもよい。
図19は、制御点を用いた閉曲線の生成例を示す図である。梗塞部位の外周に沿ってユーザがフリーハンドでマウスカーソルを移動させた場合のマウスカーソルの軌跡に基づいて、梗塞表面域決定部130が閉曲線を生成すると、図19の破線で示す閉曲線71のようになる。この例では、医師がメスで切っていく感覚を出すために、ユーザによるマウス23の左クリックボタンを押しながら切っていく操作を入力としているが、フリーハンドでマウスカーソルを移動しているため、閉曲線71に示すように手ブレが起きてしまう。
そこで梗塞表面域決定部130は、制御点をユーザが望む時に入れることができるようにする。例えば梗塞表面域決定部130は、メスモードとなったときの点Pを最初の制御点P1とする。ユーザは、メスモードで、3次元モデル41における心筋表面上の梗塞部位の外周に沿って、マウス23の左ボタンを押しながらマウスカーソルを移動させる。マウスカーソルが制御点を配置したい位置に到達したとき、ユーザはマウス23の右ボタンを押す。すると梗塞表面域決定部130は、マウスカーソルの位置に制御点を設定する。N個(Nは1以上の整数)を設定した場合、心臓の3次元モデルの表面に制御点P2,P3,Pk…,PNが配置される(kは1以上、N以下の整数)。
梗塞表面域決定部130は、フリーハンドで描かれた曲線を次のように補正する。例えば梗塞表面域決定部130は、k-1番目とk番目の制御点Pk-1,Pkの間を最低でも2次以上の曲線Lkで繋ぎ滑らかに連続する。また梗塞表面域決定部130は、k番目とk+1番目との制御点Pk,Pk+1も同様に滑らかな曲線L k+1でつなぐ。この際、梗塞表面域決定部130は、曲線Lkと曲線L k+1とは制御点P kで滑らかに連続になるようにする。このようにして、制御点から算出した閉曲線72が得られる。
制御点から閉曲線72を算出することで、実際の梗塞部位の外周形状と同様の滑らかな曲線の閉曲線72が得られる。
また第2の実施の形態では、梗塞部位の深さが一定であるものとして説明したが、梗塞部位の深さが場所によって異なる場合もある。その場合、ユーザは、深さの異なる梗塞部位の操作を2回以上行うことで、深さが場所によって異なる梗塞部位を指定することができる。
図20は、深さの異なる梗塞部位の指定例を示す図である。図20には、梗塞部位を指定するごとの心筋の3次元モデル80の断面の様子を示している。
例えばユーザは、最初に梗塞深さd1で梗塞部位を指定する。その結果、部位指定装置100によって、3次元モデル80内の閉領域81が決定される。次にユーザは、梗塞深さd2で梗塞部位を指定する。これにより部位指定装置100によって、3次元モデル80内の2個目の閉領域82が決定される。
部位指定装置100は、2回に分けて決定した閉領域81,82を合わせた領域を、梗塞部位とする。これにより、例えば部位指定装置100は、場所によって深さの異なる梗塞部位を切除した3次元モデル80を生成できる。
図21は、深さの異なる梗塞部位を切除した3次元モデルの一例を示す図である。3次元モデル80は、2つの梗塞部位切除部分83,84を有する。梗塞部位切除部分83,84は、それぞれ異なる深さで心筋表面から梗塞部位を2度に分けて切り出した部分である。
このように複数回に分けて梗塞部位の指定を行うことで、位置によって深さの異なる梗塞部位を指定することができる。例えば、1つ目の梗塞域では浅い深さd1で梗塞領域を指定し、1つ目の閉曲面内部に小さい領域(2つ目の梗塞域)を用意し、その部分については深さd2(>d1)として設定すれば、2つ目の梗塞域の中だけは深さd2で設定される。これにより、梗塞部位の深さが場所によって異なる場合であっても、梗塞部位の形状を正しく指定することができる。
なお、上記の例では、心臓の梗塞部位を指定する例であるが、部位指定装置100は、心臓に限らず、さまざまな物体の3次元モデルに対して、特定の物性を持つ部位を指定することができる。すなわち部位指定装置100は、任意の物体の3次元モデルにおいて、正しい奥行きで、その物体の部位の領域を指定することができる。例えば部位指定装置100は、自動車や電化製品の設計時の3次元モデルを用いて、表面から一定の深さの領域を指定することができる。このような指定によって得られた部位の領域を示す情報を、自動車または電化製品に関するシミュレーション装置に入力することで、シミュレーション装置によって、該当領域の物性値を他と異なる値にしてシミュレーションを行うことができる。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
1,1a 3次元モデル
2 マウスカーソル
3 バー
4 閉曲線
5 領域
10 部位指定装置
11 記憶部
11a 3次元モデルデータ
12 処理部

Claims (7)

  1. 物体の3次元モデルを示す3次元モデルデータを記憶する記憶部と、
    前記3次元モデルデータに基づいて前記3次元モデルを表示し、表示された前記3次元モデルの表面に対する閉曲線の入力に応じて、前記3次元モデルの前記表面における前記閉曲線に囲まれた領域内の点における法線方向の前記3次元モデルの厚さを算出し、前記厚さに対する前記表面からの深さの比率の入力に応じて、前記厚さと前記比率とに基づいて前記深さを決定し、前記領域から、前記3次元モデルの内部に向かって決定した前記深さの範囲内の部位を、前記3次元モデルから選択する処理部と、
    を有する部位指定装置。
  2. 前記処理部は、前記深さを表すバーを表示し、マウスホイールの回転量に応じて前記バーの長さを変更し、前記バーの長さに応じて前記深さを決定する、
    請求項1記載の部位指定装置。
  3. 3次元空間での位置が設定された複数の節点と、頂点の位置を示す節点が設定された多面体の要素の集合とによって物体の3次元モデルを表す3次元モデルデータを記憶する記憶部と、
    前記3次元モデルデータに基づいて前記3次元モデルを表示し、表示された前記3次元モデルの表面に対する閉曲線の入力と、前記3次元モデルの前記表面からの深さを指定する入力とに応じて、前記3次元モデルの前記表面における前記閉曲線に囲まれた領域に含まれる節点それぞれを中心とする前記深さの距離を半径とする球を生成し、前記3次元モデルの内部に向かって指定された前記深さの範囲内の部位として、前記球内の節点を有する要素のリストを出力する処理部と、
    を有する部位指定装置。
  4. 前記処理部は、前記閉曲線上の複数の点それぞれを通る法線を生成し、前記球内に含まれ、かつ隣接する前記法線間に設けた面と前記3次元モデルの前記表面とで囲まれた閉領域に含まれる要素を、前記リストに含める、
    請求項記載の部位指定装置。
  5. 前記処理部は、前記部位について、前記物体内の他の部分と違う性質を持つことを示す情報を出力する、
    請求項1ないしのいずれかに記載の部位指定装置。
  6. コンピュータが、
    物体の3次元モデルを示す3次元モデルデータに基づいて前記3次元モデルを表示し、
    表示された前記3次元モデルの表面に対する閉曲線の入力に応じて、前記3次元モデルの前記表面における前記閉曲線に囲まれた領域内の点における法線方向の前記3次元モデルの厚さを算出し、前記厚さに対する前記表面からの深さの比率の入力に応じて、前記厚さと前記比率とに基づいて前記深さを決定し、前記領域から、前記3次元モデルの内部に向かって決定した前記深さの範囲内の部位を、前記3次元モデルから選択する、
    部位指定方法。
  7. コンピュータに、
    物体の3次元モデルを示す3次元モデルデータに基づいて前記3次元モデルを表示し、
    表示された前記3次元モデルの表面に対する閉曲線の入力に応じて、前記3次元モデルの前記表面における前記閉曲線に囲まれた領域内の点における法線方向の前記3次元モデルの厚さを算出し、前記厚さに対する前記表面からの深さの比率の入力に応じて、前記厚さと前記比率とに基づいて前記深さを決定し、前記領域から、前記3次元モデルの内部に向かって決定した前記深さの範囲内の部位を、前記3次元モデルから選択する、
    処理を実行させる部位指定プログラム。
JP2019082817A 2019-04-24 2019-04-24 部位指定装置、部位指定方法、および部位指定プログラム Active JP7343751B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019082817A JP7343751B2 (ja) 2019-04-24 2019-04-24 部位指定装置、部位指定方法、および部位指定プログラム
US16/850,257 US11562532B2 (en) 2019-04-24 2020-04-16 Site specifying device, site specifying method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019082817A JP7343751B2 (ja) 2019-04-24 2019-04-24 部位指定装置、部位指定方法、および部位指定プログラム

Publications (2)

Publication Number Publication Date
JP2020181303A JP2020181303A (ja) 2020-11-05
JP7343751B2 true JP7343751B2 (ja) 2023-09-13

Family

ID=72917284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019082817A Active JP7343751B2 (ja) 2019-04-24 2019-04-24 部位指定装置、部位指定方法、および部位指定プログラム

Country Status (2)

Country Link
US (1) US11562532B2 (ja)
JP (1) JP7343751B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006187531A (ja) 2005-01-07 2006-07-20 Ziosoft Inc 関心領域指定方法、関心領域指定プログラム、関心領域指定装置
JP2007502471A (ja) 2003-08-14 2007-02-08 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 画像中のコンパクト・オブジェクトを検出するシステム及び方法
JP2009515602A (ja) 2005-11-14 2009-04-16 イマージョン コーポレイション シミュレーション用の物理システムのモデルを編集するためのシステムおよび方法
JP2009116403A (ja) 2007-11-01 2009-05-28 Canon Inc 画像表示装置及び画像表示方法、プログラム
JP2011092687A (ja) 2009-09-30 2011-05-12 Fujifilm Corp 診断支援システム、診断支援プログラムおよび診断支援方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006085B1 (en) * 2000-10-30 2006-02-28 Magic Earth, Inc. System and method for analyzing and imaging three-dimensional volume data sets
US20100076305A1 (en) * 2008-06-25 2010-03-25 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Method, system and computer program product for targeting of a target with an elongate instrument
US8325179B2 (en) * 2009-03-04 2012-12-04 Landmark Graphics Corporation Three-dimensional visualization of images in the earth's subsurface
JP4926199B2 (ja) * 2009-04-16 2012-05-09 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法
US8908538B1 (en) * 2010-03-31 2014-12-09 Arris Enterprises, Inc. Impairment discovery using automatic geographical clustering
JP2012161460A (ja) * 2011-02-07 2012-08-30 Fujifilm Corp 画像処理装置および画像処理方法、並びに、画像処理プログラム
JP5892548B2 (ja) 2012-06-08 2016-03-23 富士通株式会社 描画プログラム、描画装置、および描画方法
WO2014115151A1 (en) 2013-01-24 2014-07-31 Tylerton International Holdings Inc. Body structure imaging
US8955392B2 (en) * 2013-03-15 2015-02-17 Strain Measurement Devices, Inc. Ultrasonic flowmeter with integrally formed acoustic noise attenuating feature
WO2018212230A1 (ja) * 2017-05-16 2018-11-22 テルモ株式会社 画像処理装置、画像処理システム及び画像処理方法
JP6857885B2 (ja) 2017-07-26 2021-04-14 富士通株式会社 指定装置、指定装置の制御プログラムおよび制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007502471A (ja) 2003-08-14 2007-02-08 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 画像中のコンパクト・オブジェクトを検出するシステム及び方法
JP2006187531A (ja) 2005-01-07 2006-07-20 Ziosoft Inc 関心領域指定方法、関心領域指定プログラム、関心領域指定装置
JP2009515602A (ja) 2005-11-14 2009-04-16 イマージョン コーポレイション シミュレーション用の物理システムのモデルを編集するためのシステムおよび方法
JP2009116403A (ja) 2007-11-01 2009-05-28 Canon Inc 画像表示装置及び画像表示方法、プログラム
JP2011092687A (ja) 2009-09-30 2011-05-12 Fujifilm Corp 診断支援システム、診断支援プログラムおよび診断支援方法

Also Published As

Publication number Publication date
JP2020181303A (ja) 2020-11-05
US20200342663A1 (en) 2020-10-29
US11562532B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
Gallo et al. 3D interaction with volumetric medical data: experiencing the Wiimote
Bacim et al. Design and evaluation of 3D selection techniques based on progressive refinement
CN103970413B (zh) 触摸屏界面成像系统及方法
Yan et al. Eyes-free target acquisition in interaction space around the body for virtual reality
Bade et al. Usability comparison of mouse-based interaction techniques for predictable 3d rotation
US20130104084A1 (en) Systems and methods for human-computer interaction using a two handed interface
Mewes et al. A gesture-controlled projection display for CT-guided interventions
US20130104085A1 (en) Systems and methods for human-computer interaction using a two handed interface
CN101426446A (zh) 用于触觉表达的装置和方法
Pietroszek et al. Smartcasting: a discount 3D interaction technique for public displays
Mirhosseini et al. Benefits of 3D immersion for virtual colonoscopy
WO2021007935A1 (zh) 一种基于vr的导板3d打印模型建立方法
Andersen et al. Immersion or diversion: Does virtual reality make data visualisation more effective?
Lopes et al. On the utility of 3D hand cursors to explore medical volume datasets with a touchless interface
US11341664B2 (en) Apparatus and method for visualization
Fiorentino et al. Improving bi-manual 3D input in CAD modelling by part rotation optimisation
Riduwan et al. Finger-based gestural interaction for exploration of 3D heart visualization
US20130104086A1 (en) Systems and methods for human-computer interaction using a two handed interface
Chakraborty et al. Captive: a cube with augmented physical tools
Luo et al. Exploring and slicing volumetric medical data in augmented reality using a spatially-aware mobile device
McGuffin et al. Path tracing in 2D, 3D, and physicalized networks
Gallo et al. Toward a natural interface to virtual medical imaging environments
JP7343751B2 (ja) 部位指定装置、部位指定方法、および部位指定プログラム
KR101903996B1 (ko) 의료 영상 시뮬레이션 방법 및 그 방법을 이용한 장치
KR20130089645A (ko) 정보 비주얼화를 위한 방법, 장치 및 어레인지먼트

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R150 Certificate of patent or registration of utility model

Ref document number: 7343751

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150