JP6297753B2 - ボリューム形状の仮想対話型規定 - Google Patents

ボリューム形状の仮想対話型規定 Download PDF

Info

Publication number
JP6297753B2
JP6297753B2 JP2017530303A JP2017530303A JP6297753B2 JP 6297753 B2 JP6297753 B2 JP 6297753B2 JP 2017530303 A JP2017530303 A JP 2017530303A JP 2017530303 A JP2017530303 A JP 2017530303A JP 6297753 B2 JP6297753 B2 JP 6297753B2
Authority
JP
Japan
Prior art keywords
volume
image
image processing
profile shape
propagation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017530303A
Other languages
English (en)
Other versions
JP2018504164A (ja
Inventor
ドミニク ベンジャミン クトラ
ドミニク ベンジャミン クトラ
ハンス バルチドルフ
ハンス バルチドルフ
トーマス ビューロウ
トーマス ビューロウ
キルステン レジナ メーツ
キルステン レジナ メーツ
ヨルグ サブシンスキ
ヨルグ サブシンスキ
スチュワート ヨウング
スチュワート ヨウング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018504164A publication Critical patent/JP2018504164A/ja
Application granted granted Critical
Publication of JP6297753B2 publication Critical patent/JP6297753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理方法、画像処理システム、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。
がん手術の目的は、腫瘍組織の周りの腫瘍のない組織の安全マージンを伴って腫瘍組織を除去することである。一部のがんには、成長しやすい方向がある。例えば、乳がんは、胸筋に垂直な方向で、小葉に沿って成長することが多い。臨床的には、胸筋から皮膚まで延びた円筒形状のボリュームを乳房から除去するのが標準的な治療である。
このような手術の報告及び計画は、ほぼ必ず、患者の皮膚に対して直接(例えば、フェルトペンを用いて)切開線を手で描くことによって実行され、次いでその患者の皮膚を例えば写真撮影で記録できる。時折、切開線は、関連器官の全体的描写が示されている印刷前の紙フォーム上に印として描かれる。これらの線は、平面視のがんの輪郭又は形状を捕捉することになる。言い換えると、形状は、(1つの視認方向から描かれているため)2次元でしか描画されない。しかし、除去されるべきボリュームの3次元範囲及び周辺組織内のその配向は、明確に記録されていないため、このような報告の読み手により知的に推定されなければならない。
したがって、当技術分野においては、上記不備の少なくとも一部に対処する代替の方法及び/又は関連するシステムが求められる。
本発明の目的は、独立請求項の主題によって達成され、更なる実施形態は、従属請求項において具現化されている。本発明の下記の態様は、画像処理システム、コンピュータプログラム要素、及びコンピュータ可読媒体にも等しく当てはまることに留意されたい。
本発明の第1の態様によれば、
i)画像ボリューム、ii)プロファイル形状、及びiii)伝播曲線を受信するステップと、
前記伝播曲線に沿って、画像ボリューム全体で前記プロファイル形状を伝播させることにより、前記画像ボリュームに部分ボリュームを生成するステップと、
前記部分ボリュームを表示装置に表示するステップと、
を含み、
画像ボリュームが層状であり、画像ボリュームの2つの層間の界面を横切って部分ボリュームが延びることのないように、前記プロファイル形状の伝播が、前記界面で自動的に終結するか又は部分ボリュームSVが前記界面で切断される、画像処理方法が提供される。
これによって、前記界面の表面規定を部分ボリュームの演算への制約に含めることにより、周辺の画像ボリュームIVの内部構造を「順守」する部分ボリュームを生成可能である。
一実施形態によれば、この方法は、画像ボリュームと併せて前記部分ボリュームを表示するステップを含む。
この方法によれば、例えば表面走査によるMRI又は個別モデルから得られた関心対象(例えば、乳房)の様々な3次元デジタル表示を利用可能である。特に、外科手術の報告及び/又は計画をより簡単に行うことができる。特に、「仮想」3D切除ボリュームを生成可能である。
一実施形態によれば、この方法は、画像ボリューム又はその少なくとも一部を表示するステップと、部分ボリュームが画像ボリュームにおいて掃引されている間に、前記プロファイル形状伝播中の部分ボリュームの表示を徐々に構築するステップと、を含む。これによって、特に喚起的な表示が可能となる。ユーザが演算の動態を「視認」可能であり、特に、画像ボリュームIVにおいて、腫瘍部位等の所定の関心領域(ROI)を部分ボリュームが実際に網羅することになるのかを視認又は推測可能だからである。ユーザは、演算の終了前であっても、部分ボリュームがROIを完全に含むことになるのか否かを視認可能であり、演算を事前に中断して、場合により新たな伝播方向及び/又はプロファイル形状の調整サイズで再度実行することができる。
一実施形態によれば、この方法は、部分ボリュームのサイズ(すなわち、数的ボリューム)及び/又は部分ボリュームと画像ボリュームとの比を演算するステップを含む。
一実施形態によれば、この方法は、部分ボリュームの演算したサイズ及び/又は演算した比が所定の閾値を逸脱している場合に信号を発するステップを含む。
一実施形態によれば、画像ボリュームは、所定の臨界領域を含んでおり、前記臨界領域が前記部分ボリュームによって完全には囲まれていない場合又は前記臨界領域が前記部分ボリュームの外側に所定量を越えて延びている場合に、警告信号が発せられる。特に、手術においては、これにより、周辺の患者組織に対して、除去されるべき組織量の介入前/術前の厳密な規定が可能となる。従来、これらのことは、実際に切除した組織の病理学検査によって、術後にのみ利用可能であった。
一実施形態によれば、画像ボリュームは、MRI画像、CT画像、光学3D画像、3D超音波画像、個別ボリュームモデル、又は一般ボリュームモデルのいずれか1つである。
一実施形態によれば、プロファイル形状は、調整可能である。
一実施形態によれば、プロファイル形状は、画像ボリュームにおいて自動的に識別される。
以下、図面を参照して、本発明の例示的な実施形態を説明する。
画像処理システムのブロック図である。 画像処理方法のフローチャートである。 図2の画像処理方法により生成された例示的な画像を示した図である。 図2の画像処理方法により生成された例示的な画像を示した図である。 図2の画像処理方法により生成された例示的な画像を示した図である。
図1は、本明細書において提案する画像処理システムIPSの模式的なブロック図を示している。画像処理システムIPSは、潜在的に複雑な画像ボリュームデータIVにおいて、部分ボリュームを規定することができる。本提案の画像処理システムは、例えば製造設計、コンピュータ支援設計、及び/若しくは3D印刷、又は、例えば周辺の材料から切除されるべき対象を厳密に規定するという要件が重要となる他の任意の試行分野において、利益を伴って用いられてもよいこともここで理解されるであろうが、画像処理システムIPSは、乳腺手術等の手術計画(「仮想手術」)の分野における1つの例示的な応用として使用できる。
一実施形態において、提案のシステムIPSによれば、ユーザは、画像対象(例えば、患者の乳房)の所定の画像ボリュームIV内で、組織の部分ボリュームSVを対話的に規定することができる。画像ボリュームIV及び/又は部分ボリュームSVは、関心境界面を規定する三角メッシュにより規定されるようになっていてもよい。装置は、外科手術の切除ボリュームを表す3D形状としてSVを生成する。
部分ボリュームSVの3D形状は、ユーザ規定又は自動演算(ルールベース又は画像ベース)の2D形状である伝播軌跡(例えば、直線区分)の規定を用いて生成される。3D形状SVは、軌跡PCに沿ったユーザ規定2D形状PSの伝播又はシフトによって生成される。
3D形状SVは、例えば異なる器官の境界を表す周辺ボリュームSVの1つ若しくは複数の所定の表面又は特定のアプリケーションコンテキストに依存した他の所定の層等、所定の制約に従って制限されている。この制限は、演算した部分ボリューム及び前記表面の一部又はすべてを切断することによる。言い換えると、画像処理装置IPSは、部分ボリュームSVの生成に際して、画像ボリュームIV内の前記所定の制約を順守するように構成されている。
本明細書に提案の画像プロセッサIPSの主要な入力パラメータは、適当な画像モダリティIM(CT又はMRI等)により生成された画像ボリュームIVを含むか、又は、関心対象(例えば、女性の乳房)の内部の十分な構造規定としてプロファイル形状曲線又は「輪郭」PS及び前記伝播曲線PCを規定したモデルから構成される。
一般的に平面(「2D」)曲線である輪郭曲線PC及び伝播曲線PCは、いくつかの実施形態においては、テキストベースの入力も考えられるが、特にグラフィカルユーザ入力UI手段を用いてユーザにより好適に規定される。
画像プロセッサIPSは、伝播器PR及び視覚化モジュールVISを具備する。一実施形態においては、部分ボリュームSVに関して数値データを演算するように構成されたボリューム定量化器VQも存在する。
簡単には、画像プロセッサIPSの動作は、次の通りである。すなわち、プロファイル形状PSに沿って処理される画像ボリュームIV及び伝播曲線PCの規定が入力ポートIMで受信される。そして、挿入図1Aに図式的且つ模式的に示すように、伝播器PRにより、伝播曲線に沿ってプロファイル形状又は輪郭が伝播される。伝播曲線PCが規定する方向にボリュームIVを通って進む間に、(一般的に平面で閉じた)曲線PCは、上記規定の切除ボリュームとして、部分ボリュームSVを内部に掃引又は生成する。その後、この規定の部分ボリュームSVは、モニタMT上において、最初の画像ボリュームIVと併せたレンダリング又は別個の分離したレンダリングが可能である。このように部分ボリュームを規定することを目的として、一塊のがん組織又は腫瘍部位等の所定の関心領域(ROI)の少なくとも一部(好ましくは全部)が部分ボリュームSVによって囲まれるようにする。簡単に上述した通り、一実施形態によれば、画像処理システムIPSは、適当なユーザ入力手段、特に、プロファイル形状PS及び伝播曲線PC並びに/又は実際にはボリュームIV内の臨界ROIをユーザが対話的に規定又は編集するグラフィカルユーザ入力手段を具備する。
ここでも、特に乳腺手術における切除ボリュームSVの規定を参照して動作を説明するが(画像ボリュームIVは、関連する乳房の画像資料を代表する)、これは、本明細書に提案の画像プロセッサIPSの応用範囲を制限するものと解釈されるべきではない。本明細書においては、他の外科的応用及び非医療的応用も同様に考えられるためである。
以下、図2のフローチャートを参照して、画像プロセッサIPSの動作をより詳しく説明する。
ステップS210においては、上述の入力パラメータ(画像ボリュームIV、プロファイル形状PS、及び伝播曲線PC)を受信する。特に、このように受信した画像ボリュームIVをまず、視覚化器VISによって、ビューポートのモニタMT上に表示する。
以下においては、2種類の方向を区別するのが有用となる。1つは、伝播曲線PCが規定するプロファイル形状PSの伝播方向であり、もう1つは、特定の段階における画像ボリュームIV上の視認方向である。視認方向は、マウスクリック若しくはタッチスクリーン動作(モニタが対応している場合)又はその他任意の形態のユーザ入力によって対話的に規定可能であるが、いくつかの実施形態においては、自動規定も考えられる。例えば、対話的な実施形態において、ユーザは、マウスのクリック・ドラッグ動作又は画面MT上のスワイプ等のタッチスクリーン動作により、例えば画像IVの表示を回転又はシフトすることによって、好ましい視認方向を規定するようにしてもよい。一実施形態において、視認方向は、視認面の法線として規定されるようになっていてもよい。視認面自体は、周辺画像IVと異なる色相又は周辺画像IVよりも高い不透明度で内側がレンダリングされた代表的な正方形、長方形、円形、又は三角形(又は、その他任意の形状)を前記視認面内に面配向指標として描くことにより表示可能である。
画像ボリューム表示IV自体としては、一般器官モデル、一般器官モデルの個別バージョン、適当なモダリティIM(CTスキャナ、MIRイメージャ、又はデプスカメラ等)により患者について取得された画像(MRI、CT、3D光学等)の分割結果、又はこのような画像に基づく(個別の)モデルデータといった任意適当な表示又はレンダリングが可能である。モデル又は画像に基づく画像ボリュームIVは、変形によって関連器官に作用する重力を考慮することにより、手術室で見られるような器官の実際の様子をより忠実に模倣することができる。
ボリュームIV内の部分ボリュームSVによる埋め込み又は包囲がなされるROIは、画像ボリュームIVを考慮した全自動若しくは半自動の分割による導出又は画像ボリューム表示中のユーザによる対話型の同様な規定が可能である。ROI(例えば、腫瘍オブジェクト等の「手術対象物」)は、その場所/形状/サイズが既知の場合にレンダリング可能である。そして、ROIは、ユーザにより、仮想腫瘍オブジェクトとしての画像IVへの挿入、位置決め、及びサイズの適応調整が可能である。例えば、これは、球体(又は、その他任意の幾何学的物体)等のマーカを(器官を代表する)画像ボリュームIVにおいて対話的に位置決めすることにより実現可能である。球体ひいてはROIのサイズは、例えばマウスホイールを用いて球体を膨張又は収縮させることにより適応可能である。球体の位置は、視認面において平行移動させることにより変更可能である。ROIマーカ球体の3D位置を変更するため、視認面において球体を平行移動させるステップ及び/又は視認方向を変更するステップを交互に行うことができる。
ユーザによるROIの規定又はROI分割の画像ボリュームIVへのロードに際しては、ボリュームIV中のROIを画面MT上に所望の視認方向で表示する。一実施形態において、この最初の視認方向は、関連器官の撮像手順に基づいて、ユーザが自動的に提案可能である。一実施形態において、最初の視認方向が自動的に提案された場合、システムは、マウスクリック又はタッチスクリーンイベント等の対応する確認イベントを待つ。
一実施形態において、プロファイル形状及び/又は伝播方向を規定する際にユーザを補助するため、画像プロセッサIPSは、現在選定中の伝播方向に対して視認面の法線が平行となるように、画面上で前記視認面をレンダリングするように動作する。一実施形態において、視認面の位置(特に、その空間深さ)は、視認面がROIの中心又は表示器官の中心と交差するように、ユーザによる規定又はシステムによる調整が可能である。最初の視認方向を予め演算することによって、器官の正面像を提示可能である。或いは、ユーザが対話的に視認方向を適応させて、描画する切除ボリュームSVの配向を規定可能である。視認面は、図3Bのような前景でのレンダリング又は図3Aのような「潜在」型のレンダリングが可能である。
プロファイル又は輪郭形状曲線PSの規定については、一実施形態において、ユーザが適当な形状情報を入力することによって編集又は規定可能である。プロファイル又は輪郭形状PSは、演算する部分ボリュームSVの局所的又は全体的な断面形状を規定する。本明細書においては、ユーザ入力手段UI又はプロファイル編集ツールPSEによって異なる入力モード又は編集モードも考えられる。これらのモードとしては、閉じた輪郭(頂点の対話的な規定による多角形)の自由形状描画、腫瘍の中心(与えられている場合)により規定された円等の形状及び円形輪郭上の別の点の規定が挙げられるが、これらに限定されない。プロファイル形状の規定がユーザの描画相互作用による場合、このプロファイル形状は、その描画の完了後に視認面の配向(すなわち、視認面の法線による視認方向)を変更可能であるという了解の下、本明細書においては描画面とも称する視認面にレンダリングされる。その後、この形状は、ユーザが要求する視認面/方向の変更に応じて、(場合により歪んだ)様々な視点でレンダリングされることになる。この拡張として、一実施形態においては、IPSにより、描画の継続中にユーザが視認面を変更可能である。したがって、描画面が視認面の過去の配向を維持するため、プロファイル形状の描画又は規定中、描画面が常に平行である必要はない。
また、2D形状PSは、形状探索ツールSFの動作によって自動的に導出されるようになっていてもよい。実施形態において、形状探索ツールは、所与の視認方向の腫瘍形状を任意選択により膨張させて視認面に投射することにより、安全マージン(例えば、手術計画における切除マージン)を考慮する。腫瘍ROIは、上述の通り、形状探索器SFが作用し得るように、手動又は自動分割ツールによって、事前に分割済みであるものとする。ただし、他の実施形態において、形状探索器は、分割をまず行い、分割した形状を視認面に投射する分割ツールを具備する。
例えばマウスクリック又はタッチスクリーン若しくはキーボードイベントによって、ユーザが視認方向を確認したら、フロー制御がステップS220に進む。
伝播ステップS220においては、ユーザ規定又は自動生成2D形状PSの伝播曲線PCに沿った平行移動により、一般的なプリズム(曲線が直線の場合)、又はより一般的には、ユーザ入力形状PSが断面の「チューブ」(曲線が直線でない場合)を生成する。曲線PSとしては、視認面に直交する直線又は間近の用途による予備規定若しくはユーザ規定がなされた任意の曲線が可能である。
一実施形態において、伝播曲線が曲線の内部点(例えば、中心点)を通過した後、プロファイル形状は、この構成で伝播曲線に沿って伝播する。言い換えると、伝播曲線は常に、各プロファイル形状により描かれたエリア内に維持される。ただし、すべての実施形態において必ずしもそうとはならない。例えば、プロファイル形状は、伝播曲線と並行してボリュームIVも伝播し得るため、曲線PCが(一般的に閉じた)曲線PSを通過することはない。伝播曲線が直線でない場合(すなわち、非ゼロの曲率を有し、例えば凹状又は凸状の曲線である場合)、プロファイル形状は、伝播曲線の方向に進みつつチューブをなぞる。言い換えると、伝播曲線が直線の実施形態は、伝播が単一の方向に沿って進む一方、非ゼロの曲率の曲線に沿った伝播が変化方向(曲線の正接方向)に沿った伝播に対応する特殊な場合であると理解可能である。本明細書においては、区分規定された伝播曲線PC(直線であるか否かを問わず)も考えられる。
例えば、伝播曲線は、それぞれの端部で結合されたいくつかの直線区分により再規定されて、「屈折」伝播曲線を規定していてもよい。例えば、ユーザはまず、伝播形状が第1の直線区分に沿って伝播できるようにしてもよい。そして、ユーザは、伝播を中断する割り込み信号を発する。その後、ユーザは、現在の直線区分の端部の現在位置において、異なる方向に進む別の直線区分を結合する。そして、ユーザが再開コマンドを発すると、伝播形状は、第2の直線区分に沿って継続することになる。屈折点での円滑な移行を保証するため、(各伝播曲線区分周りの)各副部分ボリュームが相互に貫通するように、伝播を結合点で延伸させることができる。この例をさらに進めると、複数の(必ずしも接続されていない)伝播方向又は伝播曲線の規定によって、任意の複雑な形状を生成可能であることが分かる。そして、これらの各曲線に沿って、同じ形状又は異なる形状が伝播可能である。言い換えると、各伝播曲線区分に沿って(プロファイル曲線PCが与える基準の)上記規定のチューブ又はプリズムに設定された理論的な交差又は結合により、複雑な部分ボリュームを構築して規定することができる。
上記のさらに別の変形として、上記例では、所与の曲線PCに沿った伝播全体でプロファイル形状が一定のままであったが、すべての実施形態において必ずしもそうでなくてもよい。例えば、第1の距離を伝播曲線に沿って伝播する最初のプロファイル形状が選定されるようになっていてもよい。そして、ユーザは、伝播を中断する割り込み信号を発する。その後、形状編集ツールPSEを用いてプロファイル形状を変更した後、今度は異なる形状で伝播を再開する。このプロファイル変更は、伝播方向に沿って複数回実行することにより、プロファイル形状が異なる部分を有する部分ボリュームSVを得ることができる。プロファイル形状が変更となった場合は、スプラインベース又はその他任意の数値手法等の補間法によって、変更されたプロファイル形状間の円滑な形状移行又は「モーフィング」を保証することができる。
ユーザ規定ではないプロファイル形状は、形状探索器SFにより、関心領域において自動的に識別可能であることに留意するものとする。例えば、プロファイル形状は、各視認面における関心領域の部分の周りの複雑な外殻として規定されるようになっていてもよい。そして、この複雑な外殻は、わずかに伸張して、切除マージンを規定可能である。この手法では一般的に、関心領域ROIの周りで図4Bに示すような多角形を規定することになる。
前述の通り、本明細書に提案の方法によれば、ボリュームIV内の層の順守が可能である。例えば、画像ボリュームIVにおいては、その内部に表面を規定する様々なボクセル値によって脂肪及び筋組織が符号化されるようになっていてもよい。その後、例えば器官境界又は器官境界から導出された表面(例えば、別の器官境界までの所要最短距離)により与えられる2つの表面に同じ交差によって、部分ボリュームSVの区分を切り取り又は「切り離し」可能である。或いは、部分ボリュームSVは、単一の器官表面境界及びチューブSVの所定長さにわたって切り取り可能である。一実施形態によれば、このような2つの層間の界面を伝播方向が通過する場合、伝播は中断される。例えば、プロファイル形状の少なくとも1つの点がこのような界面と交差する場合は、プロファイル曲線に沿ったプロファイル形状による伝播が中断される。別の実施形態において、プロファイル形状の伝播は、界面を通って延びた後、曲線のすべての点が表面を通過した直後に中断される。つまり、上記すべてによって、異なる層間の各界面による伝播部分ボリュームの切断が本質的に規定される。
任意選択としてのステップS230においては、上記規定の(場合により切断された)部分ボリュームをレンダリングしてモニタMT上で見られるようにする。これは、多くの形態が可能であり、その例を図5A及び図5Bに示す。好適な実施形態において、部分ボリュームは、異なる色又は色相でレンダリングされた部分ボリューム内のそれぞれの位置に示される。別の実施形態においては、周辺の画像ボリュームを除く部分ボリュームのみを示すのが有益であってもよいし、部分ボリュームが除去された画像ボリュームを示すのが有益であってもよい。
ステップS230の代替又は追加として、任意選択としてのステップS240においては、ボリューム定量化器VQによって、部分ボリュームの数的ボリューム又は部分ボリュームの数的ボリュームと画像ボリュームIVの数的ボリュームとの比を演算し、表示した部分ボリューム及び/又は全体ボリュームIVと併せて、数的な形態で画面MT上に出力する。
さらに、任意選択としてのステップS250においては、関心領域の全体(又は、全部)が部分ボリュームに埋め込まれているかを判定し、埋め込まれていない場合は、警告信号を発する。これの延長として、警告信号は、関心領域が部分ボリュームを所定量を越えて延びている場合にも発せられるようになっていてもよい。部分ボリュームは、臨界ROI(例えば、がん組織)を埋め込むように意図されている。特に、部分ボリュームは、ROIのほか、ROIの周りの適当な切除マージン(安全マージン)の全体又は全部を含むように意図されている。この点に関して、ボリューム定量化器VQは、モニタリング機能を実行するようにも構成可能である。言い換えると、ボリューム定量化器VQは、関心領域の全体が上記規定の部分ボリュームSVに含まれるかをモニタリングする。ROIの全体が含まれない場合は、(スピーカ等の)トランスデューサTRの起動によって、適当な警告信号(例えば、音響信号)が発せられるか、又は、暗示的な視覚的指標がモニタMT若しくは専用のフラッシュライトTRにより表示されることになる。関心領域の全体が部分ボリュームSVに含まれるかをモニタリングする代わりに、ボリューム定量化器は、前記関心領域が部分ボリュームSVを所定量を越えて延びている場合に、警告信号を示すように構成されていてもよい。この場合も、トランスデューサTRの制御による音響的若しくは視覚的警報信号の発行又はモニタMT上へのこの事実の図示によって、ユーザにこれを知らせることができる。この所定量(割合値又は絶対的な閾値等)は、ユーザが調整可能であってもよい。この追加又は代替として、現在掃引されている部分ボリュームの一部が所定の(考え得るユーザ調整可能な)ボリューム閾値を超えた場合に、警告信号が発せられるようになっていてもよい。また、これが起こった場合は、形状PSの伝播が中断され、ユーザが確認信号を発した場合にのみ再開されるようになっていてもよい。
ここで図3〜図5を参照して、これらは、図1及び図2で上記説明した概念を説明するための(乳腺手術の例示的な背景における)例示的な画像及びそのレンダリングをより詳細に示している。
左側の図3Aは、女性の乳房の3次元表示である。3D表示305すなわちメッシュレンダリングは、皮膚の表面のほか、胸筋を表す表面を含んでいる点において層状である。乳房ボリューム305の内側には、腫瘍規定301が示されている。図3Bにおいては、現在の視認の投射面と平行に、視認面310が腫瘍301の中心を通過している。一実施形態においては、上述の通り、視認面を対話的に位置決め可能である。図3において、視認面は、プロファイル形状SPが平行移動される投射方向を暗示的に規定することによって、参照番号305として指定されたボリュームIV内で部分ボリュームSVも規定する。
この特定の構成において、軌跡PCは、直線状であり、平面310の法線に沿って延びているが、図4A及び図4Bにおいてはこの通りでなくてもよく、視認方向は、側面図に示す平面310の法線に沿って、伝播方向に垂直である。図4A及び図4Bによって、図3A及び図3Bによる視認の側面図をそれぞれ提供可能であり、平面310も同様に(直線として)側面図で示されている。ボリュームIV上の視認方向が伝播方向と一致しない構成(図4A、図4Bのような側面図等)は、各曲線に沿ったプロファイル形状の伝播をユーザがより良く視覚化できるようにするのに有益であってもよい。言い換えると、伝播方向が規定された場合は、ユーザが視認方向を変更可能であり、これらの視認方向の変更に応じて、(プロファイルPSが伝播する)伝播方向が異なる視点のレンダリングで視覚化される。
図4Bは、描画面上の腫瘍部位301の周りに描画された切除ボリュームSVの多角形断面として輪郭PSを示している。
一実施形態において、システムIPSは、形状伝播が開始となったら、側面図等へと自動的に切り替わるように構成されている。特に、一実施形態において、部分ボリュームSVの表示は、徐々に累積進行する。言い換えると、ユーザは実際のところ、ボリュームに沿う伝播曲線に沿ってプロファイル形状が進行する様子を画面MT上で確認することができる。さらに言い換えると、部分ボリュームSVの構築は、層ごとに徐々に累積表示される。
ただし、別の実施形態も考えられ、ユーザが各パラメータ(特に、伝播曲線及びプロファイル形状)を入力したら、部分ボリュームが背景で演算され、その後この完全に演算された部分ボリュームが画面上で一度にレンダリングされる。
上記の拡張として、一実施形態においては、ユーザがOK信号を発した後に伝播方向が開始となるものの、より対話的なモードも同様に考えられる。このモードによれば、ユーザがプロファイル形状及び伝播曲線を規定したら、曲線に沿った伝播がユーザの管理下で並列動作に合わせて発生する。例えば、ユーザは、タッチスクリーン上において、伝播曲線を指でなぞってもよく、その後のユーザの指のスワイプ動作中に、プロファイル形状が部分ボリュームをなぞる。同様に、ユーザは、慣れ親しんだマウスドラッグ操作を用いて、伝播曲線を描くと同時に、ユーザの描く動作又は現在のタッチスクリーン指動作に続いて、プロファイル形状が伝播曲線に沿って移動可能である。
図5Aは、生成されたボリュームIVの一例を示している。切除ボリュームSV(濃い部分)は、図4Cに示す多角形断面を描画面に垂直な直線に沿って平行移動させることにより生成されたものである。また、ボリュームは、皮膚の表面及び胸筋の筋膜において自動的に切断されている。図5Bは、円形断面PSにより生成された円筒状の部分ボリュームSVを示している。
画像処理モジュールIPSは、ソフトウェアモジュールとして構成されていてもよく、また、汎用コンピューティングユニット又は専用コンピューティングユニット上で動作するようになっていてもよい。具体的に、プロセッサIPSは、撮像システムの画像表示ワークステーションコンソール上で実行されるようになっていてもよい。画像処理モジュールIPSは、その構成要素の一部又は全部とともに、代行機器(汎用コンピュータ、ワークステーション、又はコンソール等)に存在していてもよいし、分散アーキテクチャの適当な通信ネットワークを介して、代行機器による遠隔/集中アクセスを受けるようになっていてもよい。
或いは、画像処理モジュールIPSの構成要素は、専用のFPGA(フィールドプログラマブルゲートアレイ)又は類似の独立型チップとして構成されていてもよい。非限定的な一例として、構成要素は、Matlab(登録商標)又はSimulink(登録商標)等の適当な科学演算又は開発プラットフォームにおいてプログラミングされた後、ライブラリに保持され、汎用コンピュータ、ワークステーション、又はコンソール等の代行機器により呼び出された場合にリンクされるC++又はCルーチンに変換されるようになっていてもよい。
本発明の別の例示的な実施形態においては、上記実施形態のうちの1つに係る方法の方法ステップを適当なシステム上で実行するように構成されたことを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
したがって、コンピュータプログラム要素は、コンピューティングユニットに格納されていてもよく、これは、本発明の一実施形態の一部であってもよい。このコンピューティングユニットは、上記方法のステップの実行又は実行の誘導を行うように構成されていてもよい。さらに、上記装置の構成要素を動作させるように構成されていてもよい。コンピューティングユニットは、自動的な動作及び/又はユーザの命令の実行を行うように構成可能である。また、データプロセッサの作業メモリにコンピュータプログラムがロードされるようになっていてもよい。このため、データプロセッサは、本発明の方法を実行するように構成されていてもよい。
本発明の例示的な本実施形態は、最初から本発明を使用するコンピュータプログラム及び更新によって本発明を使用するプログラムへと既存のプログラムを変えるコンピュータプログラムの両者を網羅する。
さらに、コンピュータプログラム要素は、上述したような方法の例示的な一実施形態の手順を実行するすべての必要なステップを提供可能であってもよい。
本発明の別の例示的な実施形態によれば、CD−ROM等のコンピュータ可読媒体が提示されており、このコンピュータ可読媒体には、上記項で記載のコンピュータプログラム要素が格納されている。
コンピュータプログラムは、他のハードウェアの一体又は一部として供給される光記憶媒体又は固体媒体等の適当な媒体に格納及び/又は分散されていてもよいが、インターネット又は他の有線若しくは無線通信システム等、他の形態で分散していてもよい。
ただし、コンピュータプログラムは、ワールドワイドウェブ等のネットワーク上に存在していてもよく、このようなネットワークから、データプロセッサの作業メモリにダウンロード可能である。本発明の別の例示的な実施形態によれば、ダウンロードに利用可能なコンピュータプログラム要素を構成する媒体が提供されており、このコンピュータプログラム要素は、本発明の上記実施形態のうちの1つに係る方法を実行するように構成されている。
本発明の実施形態は、様々な主題を参照して記載していることに留意する必要がある。特に、方法の請求項を参照して一部の実施形態を記載する一方、装置の請求項を参照して他の実施形態を記載している。ただし、当業者によれば、上記及び以下の説明から、別段の指定のない限り、ある種類の主題に属する特徴の任意の組み合わせのほか、異なる主題に関する特徴間の任意の組み合わせについても、本出願で開示されているものと考えられる。ただし、すべての特徴の組み合わせにより、各特徴の単純な合計を超える相乗効果がもたらされ得る。
以上、図面及び上記説明において、本発明を詳しく図示及び記載したが、このような図示及び記載は、一例又は例示に過ぎず、限定的なものではないと考えるべきである。本発明は、開示の実施形態に限定されない。当業者であれば、図面、開示内容、及び従属請求項の検討によって、開示の実施形態の他の変形例を理解し、特許請求の範囲に係る発明の実施に際して実現可能である。
特許請求の範囲において、単語「備える(comprising)」は、他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は、複数を除外するものではない。特許請求の範囲に列挙する複数の項目の機能を単一のプロセッサ又は他のユニットが実行するようにしてもよい。相互に異なる従属請求項に特定の手段が列挙されているという事実だけでは、これら手段の組み合わせを都合良く使用できない、ということにならない。特許請求の範囲における如何なる参照記号も、その範囲を制限するものと解釈されるべきではない。

Claims (15)

  1. i)画像ボリューム、ii)プロファイル形状、及びiii)伝播曲線を受信するステップと、
    前記伝播曲線に沿って、前記画像ボリューム全体で前記プロファイル形状を伝播させることにより、前記画像ボリュームに部分ボリュームを生成するステップと、
    前記部分ボリュームを表示装置に表示するステップと、
    を含み、
    前記画像ボリュームが層状であり、前記プロファイル形状の伝播が、前記画像ボリュームの2つの層間の界面を横切って前記部分ボリュームが延びることのないように、前記界面で自動的に終結する、画像処理方法。
  2. 前記画像ボリュームと併せて前記部分ボリュームを表示するステップを含む、請求項1に記載の画像処理方法。
  3. 前記画像ボリューム又はその少なくとも一部を表示するステップと、前記プロファイル形状伝播中、前記部分ボリュームの表示を徐々に構築するステップと、を含む、請求項1又は2に記載の画像処理方法。
  4. 前記部分ボリュームのサイズ及び/又は前記部分ボリュームと前記画像ボリュームとの比を演算するステップを含む、請求項1乃至3のいずれか一項に記載の画像処理方法。
  5. 前記部分ボリュームの演算した前記サイズ及び/又は演算した前記比が所定の閾値を逸脱している場合に信号を発するステップを含む、請求項に記載の画像処理方法。
  6. 前記画像ボリュームが、所定の臨界領域を含んでおり、前記臨界領域が前記部分ボリュームによって完全には囲まれていない場合又は前記臨界領域が所定量を越えて前記部分ボリュームの外側に延びている場合に、警告信号が発せられる、請求項1乃至5のいずれか一項に記載の画像処理方法。
  7. 前記画像ボリュームが、MRI画像、CT画像、光学3D画像、3D超音波画像、又は個別若しくは一般器官モデルのいずれか1つである、請求項1乃至6のいずれか一項に記載の画像処理方法。
  8. 前記プロファイル形状が、調整可能である、請求項1乃至7のいずれか一項に記載の画像処理方法。
  9. 前記プロファイル形状が、前記画像ボリュームにおいて自動的に識別される、請求項1乃至8のいずれか一項に記載の画像処理方法。
  10. i)画像ボリューム、ii)プロファイル形状、及びiii)伝播曲線を受信する入力ポートと、
    前記伝播曲線に沿って、前記画像ボリューム全体で前記プロファイル形状を伝播させることにより、前記画像ボリュームに部分ボリュームを生成する伝播器と、
    前記部分ボリュームの表示装置への表示を行わせる視覚化器と、
    を備え、
    前記画像ボリュームが層状であり、前記画像ボリュームの2つの層間の界面を横切って前記部分ボリュームが延びることのないように、前記プロファイル形状の伝播が前記界面で自動的に終結するか又は前記部分ボリュームが前記界面で切断される、画像処理システム。
  11. 要求に応じて前記プロファイル形状を調整するプロファイル形状編集モジュールを備える、請求項10に記載の画像処理システム。
  12. 前記画像ボリュームにおいて、前記プロファイル形状を自動的に検出する形状探索器を備える、請求項10又は11に記載の画像処理システム。
  13. 前記部分ボリュームのサイズ及び/又は前記部分ボリュームと前記画像ボリュームとの比を演算するボリューム定量化器を備えた、請求項10乃至12のいずれか一項に記載の画像処理システム。
  14. 請求項10乃至13のいずれか一項に記載の画像処理システムを制御するコンピュータプログラムであって、前記コンピュータプログラムは、処理ユニットにより実行された場合、請求項1乃至9のいずれか一項に記載の画像処理方法のステップを実行する、コンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムが格納されたコンピュータ可読媒体。
JP2017530303A 2014-12-08 2015-11-25 ボリューム形状の仮想対話型規定 Active JP6297753B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14196686.1 2014-12-08
EP14196686 2014-12-08
PCT/EP2015/077579 WO2016091583A1 (en) 2014-12-08 2015-11-25 Virtual interactive definition of volumetric shapes

Publications (2)

Publication Number Publication Date
JP2018504164A JP2018504164A (ja) 2018-02-15
JP6297753B2 true JP6297753B2 (ja) 2018-03-20

Family

ID=52101062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017530303A Active JP6297753B2 (ja) 2014-12-08 2015-11-25 ボリューム形状の仮想対話型規定

Country Status (8)

Country Link
US (1) US10403039B2 (ja)
EP (1) EP3230957B8 (ja)
JP (1) JP6297753B2 (ja)
CN (1) CN107004300B (ja)
BR (1) BR112017011837A2 (ja)
CA (1) CA2969880A1 (ja)
RU (1) RU2667976C1 (ja)
WO (1) WO2016091583A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810799B2 (en) * 2015-09-28 2020-10-20 Montefiore Medical Center Methods and devices for intraoperative viewing of patient 3D surface images
WO2020012799A1 (ja) * 2018-07-13 2020-01-16 日本電産リード株式会社 検査治具、及び検査装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4200546B2 (ja) * 1998-03-09 2008-12-24 株式会社日立メディコ 画像表示装置
RU2202276C2 (ru) 2000-03-06 2003-04-20 Институт хирургии им. А.В. Вишневского РАМН Способ моделирования оперативного вмешательства на внутренних органах
AU2001251134B2 (en) * 2000-03-31 2006-02-02 Angiodynamics, Inc. Tissue biopsy and treatment apparatus and method
CN100446035C (zh) * 2003-09-10 2008-12-24 美国西门子医疗解决公司 用于利用导引点进行时间空间建模的系统和方法
US7676257B2 (en) * 2003-11-25 2010-03-09 General Electric Company Method and apparatus for segmenting structure in CT angiography
DE10356272B4 (de) * 2003-11-28 2006-02-23 Siemens Ag Verfahren zur Navigation in 3-dimensionalen Bilddaten
EP1805744A2 (en) * 2004-08-10 2007-07-11 The General Hospital Corporation Methods and apparatus for simulation of endovascular and endoluminal procedures
CN101065775B (zh) * 2004-11-26 2010-06-09 皇家飞利浦电子股份有限公司 感兴趣体积的选择
US7307630B2 (en) 2005-08-26 2007-12-11 Barco Nv Volume rendering apparatus and method
US7421174B2 (en) * 2006-08-28 2008-09-02 Furakawa Electric North America; Inc. Multi-wavelength, multimode optical fibers
WO2009019617A2 (en) 2007-05-28 2009-02-12 The University Of Western Ontario 3d tissue model formation from non-parallel 2d images
EP2181431A1 (en) * 2007-08-16 2010-05-05 Koninklijke Philips Electronics N.V. Imaging method for sampling a cross-section plane in a three-dimensional (3d) image data volume
EP2074933B1 (de) * 2007-12-19 2012-05-02 Kantonsspital Aarau AG Verfahren zur Analyse und Bearbeitung von Fluoreszenzbildern
US8073220B2 (en) * 2009-04-20 2011-12-06 Siemens Aktiengesellschaft Methods and systems for fully automatic segmentation of medical images
WO2011042833A1 (en) * 2009-10-05 2011-04-14 Koninklijke Philips Electronics N.V. Interactive selection of a volume of interest in an image
US8675009B2 (en) * 2010-07-20 2014-03-18 Apple Inc. Keying an image in three dimensions
WO2012017375A2 (en) 2010-08-05 2012-02-09 Koninklijke Philips Electronics N.V. In-plane and interactive surface mesh adaptation
US10993678B2 (en) * 2010-11-24 2021-05-04 Edda Technology Medical Solutions (Suzhou) Ltd. System and method for interactive three dimensional operation guidance system for soft organs based on anatomic map and tracking surgical instrument
US8907944B2 (en) 2011-06-28 2014-12-09 General Electric Company Method and system for navigating, segmenting, and extracting a three-dimensional image
US10388020B2 (en) * 2012-04-11 2019-08-20 The Trustees Of Columbia University In The City Of New York Methods and systems for segmentation of organs and tumors and objects
EP2967280A4 (en) * 2013-03-14 2016-09-28 Lumicell Inc MEDICAL IMAGING DEVICE AND METHODS OF USE
US9601030B2 (en) 2013-03-15 2017-03-21 Mark B. Ratcliffe System and method for performing virtual surgery
CA2899359C (en) * 2013-03-15 2017-01-17 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
SG11201510217PA (en) * 2013-06-11 2016-01-28 Agency Science Tech & Res Computer-Aided Planning Of Liver Surgery

Also Published As

Publication number Publication date
RU2667976C1 (ru) 2018-09-25
CA2969880A1 (en) 2016-06-16
CN107004300B (zh) 2021-01-22
JP2018504164A (ja) 2018-02-15
EP3230957B8 (en) 2020-04-01
BR112017011837A2 (pt) 2018-02-27
US10403039B2 (en) 2019-09-03
US20170270708A1 (en) 2017-09-21
EP3230957A1 (en) 2017-10-18
CN107004300A (zh) 2017-08-01
WO2016091583A1 (en) 2016-06-16
EP3230957B1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
US9099015B2 (en) System, method, apparatus, and computer program for interactive pre-operative assessment involving safety margins and cutting planes in rendered 3D space
US20170035517A1 (en) Dynamic and interactive navigation in a surgical environment
JP6208670B2 (ja) 肺葉の曖昧性ガイドインタラクティブセグメンテーションのためのワークフロー
US20210132687A1 (en) Device and system for volume visualization and interaction in a virtual reality or augmented reality environment
Konrad-Verse et al. Virtual resection with a deformable cutting plane.
CN106887000A (zh) 医学图像的网格化处理方法及其系统
WO2007142607A2 (en) Method and system for selective visualization and interaction with 3d image data, in a tunnel viewer
CN101866379B (zh) 用于可视化计算机屏幕上显示的对象的方法、程序和产品编辑系统
WO2017020580A1 (zh) 一种医学组织的切片图像三维重建的方法及设备
CN107067398A (zh) 用于三维医学模型中缺失血管的补全方法及装置
WO2019152850A1 (en) Segmentation of anatomic structures
WO2018097880A1 (en) Systems and methods for an integrated system for visualizing, simulating, modifying and 3d printing 3d objects
GB2524955A (en) Method for cell envelope segmentation and visualisation
US20220346888A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment
JP6297753B2 (ja) ボリューム形状の仮想対話型規定
JP6900180B2 (ja) 画像処理装置及び画像処理方法
US20230054394A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality image guided surgery
JP2012085833A (ja) 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム
Kaibori et al. Novel liver visualization and surgical simulation system
Lawonn et al. Coherent View-Dependent Streamlines for Understanding Blood Flow.
Zhang et al. Online view enhancement for exploration inside medical volumetric data using virtual reality
Bornik et al. Interactive editing of segmented volumetric datasets in a hybrid 2D/3D virtual environment
EP3491622B1 (en) A method and apparatus for refining a model of an anatomical structure in an image
Bruckner et al. Illustrative focus+ context approaches in interactive volume visualization
EP4141801A1 (en) Interactive handling of 3d images

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180221

R150 Certificate of patent or registration of utility model

Ref document number: 6297753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250