JPWO2017043194A1 - マッピング画像表示制御装置および方法並びにプログラム - Google Patents

マッピング画像表示制御装置および方法並びにプログラム Download PDF

Info

Publication number
JPWO2017043194A1
JPWO2017043194A1 JP2017538907A JP2017538907A JPWO2017043194A1 JP WO2017043194 A1 JPWO2017043194 A1 JP WO2017043194A1 JP 2017538907 A JP2017538907 A JP 2017538907A JP 2017538907 A JP2017538907 A JP 2017538907A JP WO2017043194 A1 JPWO2017043194 A1 JP WO2017043194A1
Authority
JP
Japan
Prior art keywords
region
position information
arrival position
boundary
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017538907A
Other languages
English (en)
Other versions
JP6434635B2 (ja
Inventor
健太 山田
健太 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017043194A1 publication Critical patent/JPWO2017043194A1/ja
Application granted granted Critical
Publication of JP6434635B2 publication Critical patent/JP6434635B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

気管支の末梢に染料を吹き付けた場合に染料が滲み出す肺表面の位置をシミュレーションし、その位置の中から、腫瘍などを適切に切除するために選択すべき気管支に対応する位置を自動的に決定するマッピング画像表示制御装置および方法並びにプログラムを提供する。３次元画像から臓器領域を抽出する臓器領域抽出部１１と、臓器領域内の管状構造物を抽出する管状構造物抽出部１２と、管状構造物の分枝の延長線が臓器領域の表面に到達する到達位置情報を推定する到達位置情報推定部１３と、臓器領域における切除領域の情報を取得する切除領域情報取得部１４と、切除領域の情報に基づいて、到達位置情報の中から切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定する境界特定到達位置情報決定部１５と、境界特定用の到達位置情報を臓器領域の表面にマッピングしたマッピング画像を表示させる表示制御部１６を備える。

Description

本発明は、気管支の末梢に染料を吹き付けた場合に、その染料が滲み出す肺表面の位置をシミュレーションし、その位置を肺表面上にマッピングしたマッピング画像を生成して表示させる装置および方法並びにプログラムに関するものである。
近年、肺の切除領域をマーキングする方法としてVAL-MAP（Virtual Assisted Lung Mapping）法が提案されている（非特許文献１参照）。このVAL-MAP法では、腫瘍の周辺にある気管支を任意に選択し、その気管支において気管支鏡の手技を実施する。カテーテルを気管支の末梢まで進ませ、染料を吹きかけることによって肺表面を染色する。
このように肺表面を染色することによって、開胸あるいは胸腔鏡の手技時には染色された領域をランドマークとして、腫瘍の存在位置を高精度に予測できる。
Masaaki Sato、外８名、"Thoracoscopic wedge lung resection using virtual-assisted lung mapping"、[online]、２０１４年６月１２日、Asian Cardiovascular and Thoracic Annals、〈URL:http://aan.sagepub.com/content/early/2014/06/12/0218492314539332〉
ここで、上述したVAL-MAP法を実施する際、腫瘍を適切に切除するためにはどの気管支を選択して染料を吹き付ければよいか、術前にシミュレーションによって確認したい場合がある。そこで、画像処理により抽出された気管支領域に基づいて、肺表面に染色できる位置をシミュレーションし、そのシミュレーションされた位置に基づいて、腫瘍を適切に切除するために選択すべき気管支を決定する方法が考えられる。
シミュレーションの方法としては、通常、気管支領域は、肺表面に触れるところまでは存在しないので、気管支領域を肺表面まで引き延ばし、その延長線が肺表面に到達する位置を染色される位置とする方法がある。
しかしながら、上記のシミュレーションによって染色される位置が確認できたとしても、腫瘍を適切に切除するために選択すべき気管支を決定するためには、腫瘍の深さ方向なども考慮して決定する必要があり、染色される位置をマッピングした３次元のマッピング画像を回転させるなど、その表示形態を変更しながら慎重に気管支を選択する必要があり、手間がかかる。
本発明は、上記事情に鑑み、シミュレーションによって求められた肺表面上の染色位置の中から、腫瘍などを適切に切除するために選択すべき気管支に対応する染色位置を自動的に決定することによって、作業の手間を軽減することができるマッピング画像表示制御装置および方法並びにプログラムを提供することを目的とするものである。
本発明のマッピング画像表示制御装置は、３次元画像に含まれる臓器領域を抽出する臓器領域抽出部と、臓器領域内に含まれる管状構造物を抽出する管状構造物抽出部と、管状構造物に含まれる分枝の延長線が臓器領域の表面に到達する到達位置情報を推定する到達位置情報推定部と、臓器領域における切除領域の情報を取得する切除領域情報取得部と、切除領域の情報に基づいて、到達位置情報の中から切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定する境界特定到達位置情報決定部と、境界特定用の到達位置情報を臓器領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部とを備えたことを特徴とする。
また、上記本発明のマッピング画像表示制御装置において、境界特定到達位置情報決定部は、臓器領域の表面上における切除領域の境界から予め設定された範囲内に存在する到達位置情報を境界特定用の到達位置情報として決定することができる。
また、上記本発明のマッピング画像表示制御装置において、境界特定到達位置情報決定部は、臓器領域の表面上における切除領域の境界からの距離が近い順で予め設定された個数の到達位置情報を境界特定用の到達位置情報として決定することができる。
また、上記本発明のマッピング画像表示制御装置において、境界特定到達位置情報決定部は、切除領域の内側に存在する到達位置情報を境界特定用の到達位置情報として決定することができる。
また、上記本発明のマッピング画像表示制御装置において、境界特定到達位置情報決定部は、臓器領域の表面上における切除領域内に存在する到達位置情報のうち、３個以上の到達位置情報を結んで形成される多角形の面積が最大となる３個以上の到達位置情報を境界特定用の到達位置情報として決定することができる。
また、上記本発明のマッピング画像表示制御装置において、切除領域情報取得部は、臓器領域内に含まれる病変領域を抽出し、その病変領域に基づいて、切除領域の情報を取得することができる。
また、上記本発明のマッピング画像表示制御装置において、切除領域情報取得部は、管状構造物に含まれる分枝の支配領域を決定し、その支配領域に基づいて、切除領域の情報を取得することができる。
また、上記本発明のマッピング画像表示制御装置において、表示制御部は、境界特定用の到達位置情報によって特定される到達位置を含む領域を設定し、その領域を肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させることができる。
また、上記本発明のマッピング画像表示制御装置において、臓器領域として肺領域を抽出し、管状構造物として気管支領域を抽出することができる。
また、上記本発明のマッピング画像表示制御装置においては、管状構造物の分岐位置の情報を取得する分岐位置情報取得部を設けることができ、到達位置情報推定部は、分岐位置の情報に基づいて、到達位置情報を推定することができる。
本発明のマッピング画像表示制御方法は、３次元画像に含まれる臓器領域を抽出し、臓器領域内に含まれる管状構造物を抽出し、管状構造物に含まれる分枝の延長線が臓器領域の表面に到達する到達位置情報を推定し、臓器領域における切除領域の情報を取得し、切除領域の情報に基づいて、到達位置情報の中から切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定し、境界特定用の到達位置情報を臓器領域の表面にマッピングしたマッピング画像を生成して表示部に表示させることを特徴とする。
本発明のマッピング画像表示制御プログラムは、コンピュータを、３次元画像に含まれる臓器領域を抽出する臓器領域抽出部と、臓器領域内に含まれる管状構造物を抽出する管状構造物抽出部と、管状構造物に含まれる分枝の延長線が臓器領域の表面に到達する到達位置情報を推定する到達位置情報推定部と、臓器領域における切除領域の情報を取得する切除領域情報取得部と、切除領域の情報に基づいて、到達位置情報の中から切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定する境界特定到達位置情報決定部と、境界特定用の到達位置情報を臓器領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部として機能させることを特徴とする。
本発明のマッピング画像表示制御装置および方法並びにプログラムによれば、３次元画像に含まれる臓器領域を抽出し、臓器領域内に含まれる管状構造物を抽出し、管状構造物に含まれる分枝の延長線が臓器領域の表面に到達する到達位置情報を推定する。これにより、たとえば管状構造物として気管支領域を抽出した場合には、その気管支の分枝の末梢に染料を吹き付けた場合に染色される肺表面の位置を上述した到達位置情報として取得することができる。
そして、さらに臓器領域における切除領域の情報を取得し、その切除領域の情報に基づいて、上述した到達位置情報の中から切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定し、その境界特定用の到達位置情報を臓器領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる。これにより、シミュレーションによって求められた肺表面上の染色位置（到達位置情報）の中から、腫瘍などを適切に切除するために選択すべき気管支に対応する染色位置を境界特定用の到達位置情報として自動的に決定することができるので、ユーザの作業の手間を軽減することができる。
本発明のマッピング画像表示制御装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 肺領域および気管支領域のボリュームレンダリング画像に到達位置情報を重ね合わせたマッピング画像の一例を示す図 肺領域内における腫瘍領域の一例を示す図 ユーザによって設定入力された切除線の一例を示す図 ３次元的に設定入力された切除領域の表面を示す図 肺領域の表面上における切除領域の表面を正面方向に向けた図 境界特定用の到達位置情報を決定する方法を説明するための図 境界特定用の到達位置情報の一例を示す図 本発明のマッピング画像表示制御装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの作用を説明するためのフローチャート 気管支領域から取得されたグラフ構造の末端の形状がいびつな形状となった場合を示す図 本発明のマッピング画像表示制御装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの変形例を示すブロック図 気管支領域のグラフ構造の分枝の末端とその末端から１つの目の分岐点とを結んだ直線を気管支領域の分枝の延長線として推定する場合を説明するための図 分枝上の２つの点と分岐点とを用いてスプライン補間した曲線を気管支領域の分枝の延長線として推定する場合を説明するための図 スプライン補間によって気管支領域の分枝の延長線を推定する場合のその他の例を説明するための図 分枝の支配領域の重心と分枝の末端とを結んだ直線を気管支領域の分枝の延長線として推定する場合を説明するための図 支配領域の表面のうちの肺領域の表面となる領域の重心を到達位置情報として推定する場合を説明するための図 血管領域抽出部をさらに備えた医用画像診断支援システムの概略構成を示すブロック図 血管領域および分岐位置の情報に基づいて、気管支領域の分枝の延長線が肺表面に到達する位置を推定する場合を説明するための図
以下、本発明のマッピング画像表示制御装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の医用画像診断支援システムの概略構成を示すブロック図である。
本実施形態の医用画像診断支援システムは、上述したVAL-MAP法を行う際の支援を行うものであり、具体的には、気管支の末梢に染料を吹き付けた場合に、その染料が滲み出す肺表面の位置をシミュレーションし、その位置の中から、肺における切除領域の境界を特定するための位置を自動的に決定してその位置をマッピングしたマッピング画像を生成し、その生成したマッピング画像を表示させるものである。医者は、術前にマッピング画像を観察することによって、染料を吹き付ける気管支を適切に選択することができる。
本実施形態の医用画像診断支援システムは、具体的には、図１に示すように、マッピング画像表示制御装置１と、医用画像保管サーバ２と、表示装置３（表示部に相当するものである）と、入力装置４とを備えている。
マッピング画像表示制御装置１は、コンピュータに本実施形態のマッピング画像表示制御プログラムをインストールしたものである。
マッピング画像表示制御装置１は、中央処理装置（ＣＰＵ（central processing unit））、半導体メモリ、およびハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態のマッピング画像表示制御プログラムがインストールされており、このマッピング画像表示制御プログラムが中央処理装置によって実行されることによって、図１に示す医用画像取得部１０、臓器領域抽出部１１、管状構造物抽出部１２、到達位置情報推定部１３、切除領域情報取得部１４、境界特定到達位置情報決定部１５および表示制御部１６が動作する。
マッピング画像表示制御プログラムは、ＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、マッピング画像表示制御プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
医用画像取得部１０は、予め撮影された患者の３次元画像６を取得するものである。３次元画像６は、たとえばＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置などによって患者の撮影したものである。本実施形態では、患者の胸部の３次元画像６を取得する場合について説明する。
３次元画像６は、医用画像保管サーバ２に患者の識別情報とともに予め保管されており、医用画像取得部１０は、入力装置４などを用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する３次元画像６を医用画像保管サーバ２から読み出して一時記憶するものである。
臓器領域抽出部１１は、医用画像取得部１０によって取得された胸部の３次元画像６から肺領域を抽出する処理を行うものである。肺領域を抽出する方法としては、肺野は空気が存在する領域であるため、３次元画像６の各画素位置の信号値をヒストグラム化し、肺領域をしきい値処理することにより抽出する方法や、肺領域を表すシード点に基づく領域拡張法などの公知の手法を用いることができる。
管状構造物抽出部１２は、胸部の３次元画像６の肺領域内に含まれる気管支領域を抽出する処理を行うものである。３次元画像６に含まれる気管支は、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表れるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物であると考えられる。そこで、画素毎に画素値の分布に基づく形状の構造解析を行なって気管支を抽出する。たとえば特開２０１２−２００４０３号公報に記載の方法のように、各画素の画素値に基づいてヘッセ解析を行うことによって気管支領域および気管支領域を細線化したグラフ構造を抽出することができる。なお、気管支領域を抽出方法としては、その他の公知の手法を用いるようにしてもよい。
到達位置情報推定部１３は、管状構造物抽出部１２において抽出された気管支領域のグラフ構造に基づいて、気管支領域に含まれる分枝の延長線が肺領域の表面に到達する到達位置情報を推定するものである。
VAL-MAP法において気管支の末梢に染料を吹き付けた場合に、その染料が肺の組織内を通過し、肺表面に到達して滲み出す位置は、気管支の分枝の延長線が肺表面に到達する位置と推定することができる。
そこで、本実施形態の到達位置情報推定部１３は、気管支領域のグラフ構造に含まれる分枝の末端とその末端近傍のエッジ上の点（たとえば末端から一つ手前の点）とを結ぶ直線を分枝の延長線とし、その延長線が肺領域の表面に到達する位置を染料が到達する（滲み出す）位置として推定する。
図２は、肺領域および気管支領域のボリュームレンダリング画像を示すとともに、気管支領域のグラフ構造を黒の細線により示し、グラフ構造の分枝の延長線をグレーの太線により示し、グラフ構造の分枝の延長線が肺領域の表面に到達する到達位置情報を球体または半球体により示している。
なお、到達位置情報としては、気管支領域の分枝の延長線と肺領域表面との交点を取得するようにしてもよいし、その交点を含む２次元的または３次元的な範囲を到達位置情報として取得するようにしてもよい。到達位置情報は、気管支の末梢に染料を吹き付けた場合に、その染料が肺の組織内を通過して肺表面に到達する到達点または到達範囲を表す情報である。
切除領域情報取得部１４は、臓器領域抽出部１１によって抽出された肺領域における切除領域の情報を取得するものである。具体的には、本実施形態の切除領域情報取得部１４は、たとえば図３に示すように肺領域内に腫瘍領域が存在する場合に、その腫瘍領域を含む切除領域の情報を取得するものである。なお、切除領域とは、肺などの臓器から病変部を手術によって切除する場合などおいて、臓器の３次元画像において設定される切除予定の領域である。
本実施形態では、図４に示すように、肺領域、気管支領域および腫瘍領域のボリュームレンダリング画像などが表示装置３に表示された状態において、ユーザが、入力装置４を用いて腫瘍領域を含む切除領域を設定入力し、その設定入力された切除領域の情報が、切除領域情報取得部１４によって取得される。
切除領域の設定入力方法としては、たとえば図４に示すように、切除線の設定入力を受け付けるようにすればよい。表示装置３の表示座標系は２次元であるため奥行方向の設定入力はできないが、切除線をボリュームレンダリング画像の投影面に対して垂直方向に投影することによって形成される面を、切除領域の境界面とすることができる。すなわち、図４に示す切除線の設定入力によって、３次元的な切除領域の設定入力を行うことができる。図５は、３次元的に設定入力された切除領域の表面を示したものである。なお、切除線は、上述したように直線によって設定してもよいし、曲線によって設定してもよい。
境界特定到達位置情報決定部１５は、切除領域情報取得部１４によって取得された切除領域の情報に基づいて、到達位置情報推定部１３によって取得された到達位置情報の中から、切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定するものである。
図６および図７は、肺領域の表面上における切除領域の表面を正面方向に向けた図である。本実施形態の境界特定到達位置情報決定部１５は、切除領域の肺領域表面上における境界線（輪郭）を特定し、図７に示すように、その境界線から予め設定された幅だけ内側のラインＩＬを設定する。そして、到達位置情報推定部１３によって推定された複数の到達位置情報の中から、境界線とラインＩＬとの範囲内に存在する到達位置情報を境界特定用の到達位置情報として決定する。図８は、上記のようにして決定された境界特定用の到達位置情報の例を示すものであり、境界特定用の到達位置情報は、それ以外の到達位置情報とは異なる色により示している。なお、ラインＩＬを設定するための幅は、ユーザが入力装置４を用いて任意に設定可能としてもよい。また、切除領域を予め設定された割合だけ縮小することによってラインＩＬを求めるようにしてもよい。このように、切除領域の境界線とラインＩＬとの範囲内に存在する到達位置情報を境界特定用の到達位置情報として決定するようにした場合には、簡易な処理によって境界特定用の到達位置情報を決定することができる。
表示制御部１６は、臓器領域抽出部１１によって抽出された肺領域および管状構造物抽出部１２によって抽出された気管支領域に基づいて、肺領域および気管支領域のボリュームレンダリング画像を生成するものである。肺領域のボリュームレンダリング画像の不透明度については、肺領域内の気管支領域が視認できる程度に設定され、肺領域と気管支領域の色はそれぞれ異なる色に設定される。
また、表示制御部１６は、気管支領域を細線化することによって取得されたグラフ構造、到達位置情報推定部１３において設定された気管支領域の分枝の延長線および到達位置情報を、肺領域および気管支領域のボリュームレンダリング画像に重ね合わせたマッピング画像を表示装置３に表示させるものである。図８は、マッピング画像の一例を示すものである。境界特定用の到達位置情報は、それ以外の到達位置情報とは異なる表示態様で表示され、たとえば図８に示すように異なる色により表示される。ただし、これに限らず、境界特定用の到達位置情報とそれ以外の到達位置情報とを異なる形状で表示させるようにしてもよいし、境界特定用の到達位置情報を点滅表示させるようにしてもよい。また、境界特定用の到達位置情報以外の到達位置情報を表示させないようにしたり、表示と非表示とを切り替え可能としてもよい。
また、マッピング画像内に表示される到達位置情報を表す球体または半球体の大きさは、ユーザによって入力装置４を用いて任意に設定可能である。また、気管支領域の延長線は必ずしも表示しなくてもよく、ユーザによって表示と非表示を切り替え可能としてもよい。
また、表示制御部１６は、ユーザによる指示を受け付けて肺領域などのボリュームレンダリング画像を回転させて表示可能なものである。したがって、表示制御部１６は、図８に示すボリュームレンダリング画像を回転させることによって、境界特定用の到達位置情報に対応する気管支領域の分枝も表示させることができる。これによりユーザは、境界特定用の到達位置情報に対応する気管支領域の分枝を確認することができ、染料を吹き付ける気管支領域の分枝を選択することができる。なお、ユーザが染料を吹き付ける分枝を確認しやすいように、境界特定用の到達位置情報に対応する気管支領域の分枝をその他の分枝とは異なる表示形態としてもよい。たとえば、異なる色により表示したり、点滅表示させるようにしてもよい。
表示装置３は、液晶ディスプレイなどの表示デバイスを備えたものであり、上述したボリュームレンダリング画像などを表示するものである。
入力装置４は、ユーザによる種々の設定入力を受け付けるものであり、キーボードやマウスなどの入力デバイスを備えたものである。入力装置４は、たとえば患者の識別情報の設定入力、ボリュームレンダリング画像の不透明度および色の設定入力、肺領域における切除領域の設定入力、並びに到達位置情報の表示形状および大きさの設定入力などを受け付けるものである。
なお、タッチパネルを用いることによって表示装置３と入力装置４と兼用するようにしてもよい。
次に、本実施形態の医用画像診断支援システムの作用について、図９に示すフローチャートを参照しながら説明する。
まず、ユーザによる患者の識別情報などの入力に基づいて、医用画像取得部１０によって医用画像保管サーバ２から３次元画像６が読み出されて取得される（Ｓ１０）。
医用画像取得部１０によって取得された３次元画像６は、臓器領域抽出部１１および管状構造物抽出部１２に入力される。臓器領域抽出部１１は、入力された３次元画像６から肺領域を抽出し（Ｓ１２）、管状構造物抽出部１２は、入力された３次元画像６から気管支領域を抽出し、さらにその気管支領域を細線化したグラフ構造を取得する（Ｓ１４）。
管状構造物抽出部１２によって取得されたグラフ構造は、到達位置情報推定部１３に入力され、到達位置情報推定部１３は、グラフ構造に基づいて、気管支領域の分枝の延長線を設定し、その延長線と肺領域表面との交点の情報を到達位置情報として取得する（Ｓ１６）。
次に、肺領域、気管支領域および腫瘍領域のボリュームレンダリング画像などが表示装置３に表示された状態において、ユーザによって入力装置４を用いて切除領域が設定入力され、その設定入力された切除領域の情報が、切除領域情報取得部１４によって取得される（Ｓ１８）。
切除領域情報取得部１４によって取得された切除領域の情報は、境界特定到達位置情報決定部１５に入力され、境界特定到達位置情報決定部１５は、入力された切除領域の情報に基づいて、上述したように到達位置情報の中から切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定する（Ｓ２０）。
そして、肺領域の表面に到達位置情報を重ね合わせたマッピング画像が表示制御部１６によって生成されて（Ｓ２２）、表示装置３に表示される（Ｓ２４）。この際、境界特定用の到達位置情報は、それ以外の到達位置情報とは異なる表示態様で表示される。
上記実施形態の医用画像診断支援システムによれば、肺領域における切除領域の情報を取得し、その切除領域の情報に基づいて、上述した到達位置情報の中から切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定し、その境界特定用の到達位置情報を肺領域の表面にマッピングしたマッピング画像を生成して表示装置３に表示させる。これにより、シミュレーションによって求められた肺表面上の染色位置（到達位置情報）の中から、腫瘍などを適切に切除するために選択すべき気管支に対応する染色位置を境界特定用の到達位置情報として自動的に決定することができるので、ユーザの作業の手間を軽減することができる。
なお、境界特定用の到達位置情報の決定方法としては、上述した方法に限らず、たとえば、肺領域の表面上における切除領域の境界からの距離が近い順で予め設定された個数の到達位置情報を境界特定用の到達位置情報として決定するようにしてもよい。具体的には、切除領域の境界と各到達位置情報との距離を算出し、その距離が短い順に３番目までの到達位置情報を境界特定用の到達位置情報として決定するようにしてもよい。なお、上記予め設定された個数は、ユーザが入力装置４を用いて任意に設定可能としてもよい。このように、切除領域の境界からの距離が近い順に境界特定用の到達位置情報を決定した場合には、切除領域の境界により近い到達位置情報を優先して境界特定用の到達位置情報として決定することができる。
また、上述したように切除領域の境界からの距離が近い到達位置情報を境界特定用の到達位置情報として決定する場合、切除領域の内側に存在する到達位置情報を境界特定用の到達位置情報として決定することが望ましい。すなわち、切除領域の境界からの距離が近い到達位置情報であっても、切除領域の外側に存在する到達位置情報は境界特定用の到達位置情報として決定せず、切除領域の内側に存在する到達位置情報であって、切除領域の境界からの距離が近い到達位置情報を境界特定用の到達位置情報として決定することが望ましい。
また、肺領域の表面上における切除領域内に存在する到達位置情報のうち、３個以上の到達位置情報を結んで形成される多角形の面積が最大となる到達位置情報を境界特定用の到達位置情報として決定するようにしてもよい。具体的には、切除領域内に存在する複数の到達位置情報について、３個以上の到達位置情報の全ての組み合わせを設定し、その各組み合わせによって形成された多角形の面積をそれぞれ算出する。そして、各組み合わせによって形成される多角形のうち、面積が最大となる多角形を形成する組み合わせの到達位置情報を境界特定用の到達位置情報として決定するようにしてもよい。なお、３個以上の到達位置情報の組み合わせによって形成される多角形とは、３個以上の到達位置情報を頂点とし、到達位置情報同士を直線で結ぶことによって形成される多角形である。このようにして、境界特定用の到達位置情報を決定した場合には、切除領域の形状に近い多角形を形成する到達位置情報を境界特定用の到達位置情報として決定することができる。
また、上記実施形態においては、ユーザが手動で切除領域を設定するようにしたが、切除領域情報取得部１４が自動的に切除領域を設定するようにしてもよい。たとえば肺領域内に含まれる腫瘍領域などの病変領域を抽出し、その病変領域に基づいて、切除領域を設定するようにしてもよい。なお、病変領域の抽出方法は、種々の公知な手法を用いることができる。また、切除領域としては、病変領域を含み、かつ肺表面上における切除領域の範囲の面積が予め設定された大きさ以上となる領域が設定される。このように、自動的に切除領域を設定した場合には、ユーザの手間をさらに軽減することができる。
また、切除領域を自動的に設定する方法としては、上記の方法に限らず、たとえば気管支領域に含まれる分枝の支配領域を決定し、その支配領域に基づいて、切除領域を自動的に設定するようにしてもよい。具体的には、肺領域内に含まれる腫瘍領域などの病変領域を抽出し、その病変領域との距離が予め設定された閾値以下である分枝を特定する。そして、その分枝の支配領域を特定し、その支配領域を切除領域として設定するようにしてもよい。なお、支配領域とは、解剖学的な見地から分枝毎に予め設定されるものである。
また、上記実施形態においては、気管支領域から取得されたグラフ構造に基づいて気管支領域の分枝の延長線を設定するようにしたが、たとえばグラフ構造の抽出精度によっては、分枝の末端の形状がいびつな形状となる場合があり、その場合、上述したように分枝の末端とその末端近傍のエッジ上の点とを結ぶ直線を分枝の延長線とすると、その延長線の延伸方向と本来の気管支領域の分枝の延伸方向とが全く異なる場合があり、その結果、染料が到達する位置の推定精度が低下する場合がある。
図１０は、上述したようにグラフ構造の分枝の末端の形状がいびつな形状となった場合を示すものである。図１０に示す黒線の丸印内のグラフ構造の末端近傍は、実際の形状よりも図面右側に曲がった形状として抽出されており、その結果、染料が到達すると推定される位置が、実際に到達する位置よりも図面右方向（白い矢印方向）にずれた位置となっている。
そこで、図１１に示すように、マッピング画像表示制御装置１に対して分岐位置情報取得部１７をさらに設け、分岐位置情報取得部１７によって取得された分岐位置の情報とグラフ構造の分枝の末端とに基づいて設定された直線を気管支領域の分枝の延長線として推定するようにしてもよい。
分岐位置情報取得部１７は、管状構造物抽出部１２において抽出された気管支領域のグラフ構造を、開始点、端点、分岐点、エッジに分類し、その分岐点の位置情報を気管支領域の分岐位置の情報として取得するものである。
具体的には、到達位置情報推定部１３は、図１２に示すように、気管支領域のグラフ構造の分枝の末端Ｔとその末端Ｔから１つの目の分岐点Ｓとを結んだ直線を気管支領域の分枝の延長線Ｌ１として推定する。そして、その延長線Ｌ１と肺領域表面との交点を到達位置情報として取得する。末端Ｔから１つ目の分岐点とは、気管支領域の末端から気管上流側に向かう方向について１つの目の分岐である。
なお、本実施形態においては、末端Ｔから１つ目の分岐点を用いるようにしたが、これに限らず、末端Ｔから２つ目の分岐点や３つ目の分岐点などを用いるようにしてもよい。また、本実施形態においては、管支領域のグラフ構造の分枝の末端Ｔとその末端Ｔから１つの目の分岐点Ｓとを結ぶようにしたが、必ずしも分岐点Ｓを用いなくてもよく、実質的に同等の結果が得られるような点であれば、分岐点Ｓの近傍の点を用いてもよい。すなわち、分岐位置の情報とグラフ構造の分枝の末端とに基づいて設定された直線とは、分枝の末端Ｔと分岐点Ｓの近傍の点とを結んで設定された直線も含むものとする。
上記のように分岐位置の情報に基づいて、気管支領域に含まれる分枝の延長線が肺領域の表面に到達する到達位置情報を推定するようにした場合には、上述したようにグラフ構造の抽出精度が低く、グラフ構造の末端が不自然な方向に曲がっている場合においても、染料が到達する位置を高精度にシミュレーションすることができる。
そして、その高精度にシミュレーションされた到達位置情報を肺領域の表面にマッピングしたマッピング画像を生成して表示させることができる。
また、末端Ｔとその末端Ｔから１つの目の分岐点Ｓとを結んだ直線を気管支領域の分枝の延長線Ｌ１として推定するようにしたので、簡易な演算処理によって延長線Ｌ１を推定することができる。
なお、上記説明では、グラフ構造の末端と分岐点とを結ぶ直線を気管支領域の分枝の延長線として推定するようにしたが、気管支領域の分枝の延長線の設定方法としてはこれに限らない。たとえば、図１３に示すように、分枝上の２つの点Ｐ１および点Ｐ２と分枝の末端Ｔから１つの目の分岐点Ｓとを用いてスプライン補間し、そのスプライン補間によって求められた曲線Ｌ２を気管支領域の分枝の延長線として推定するようにしてもよい。
このようにスプライン補間によって求められた曲線Ｌ２を気管支領域の分枝の延長線として推定するようにした場合には、より高精度に分枝の延長線を推定することができる。
なお、このようにスプライン補間によって分枝の延長線を推定する場合においても、必ずしも分岐点Ｓを用いなくてもよく、実質的に同等の結果が得られるような点であれば、分岐点Ｓの近傍の点を用いてもよい。
また、上記説明では、分岐点Ｓと分枝上の２つの点Ｐ１，Ｐ２を用いてスプライン補間を行うようにしたが、分岐点Ｓ以外の点については、３つ以上の点を設定するようにしてもよい。また、図１３に示すように分枝上の２点を設定するのではなく、図１４に示すように、分枝上の少なくとも１つ以上の点Ｐ１と分岐点Ｓと分岐点Ｓよりも気管上流側の点Ｐ３とを用いてスプライン補間して曲線Ｌ３を推定するようにしてもよい。点Ｐ３は、分岐点Ｓと分岐点Ｓから気管上流側に１つ前の分岐点との間に設定することが望ましい。なお、スプライン補間に用いる点Ｐ１〜Ｐ３は、ユーザが入力装置４を用いて任意に設定するようにしてもよいし、分岐点Ｓからの距離を予め設定しておき、自動的に設定するようにしてもよい。
また、分岐位置情報取得部１７によって取得された分岐位置の情報に基づいて、分枝を特定し、肺領域におけるその特定した分枝の支配領域を特定し、その支配領域の重心と分枝の末端とを結んだ直線を気管支領域の分枝の延長線として推定するようにしてもよい。具体的には、図１５に示すように、分岐位置情報取得部１７によって取得された分岐点Ｓに基づいて分枝Ｂを特定し、肺領域における分枝Ｂの支配領域Ｒを特定し、その支配領域Ｒの重心Ｇ１と分枝Ｂの末端Ｔとを結んだ直線Ｌ４を気管支領域の分枝の延長線として推定するようにしてもよい。なお、分枝の支配領域は、解剖学的な見地から分枝毎に予め設定されるものであり、ここでいう重心Ｇ１は、３次元的な形状である支配領域の３次元空間上の重心である。
このように、支配領域Ｒの重心Ｇ１と分枝Ｂの末端Ｔとを結んだ直線Ｌ４を気管支領域の分枝の延長線として推定した場合には、解剖学的な見地に基づいて、より高精度に分枝の延長線を推定することができる。
また、気管支領域の分枝の支配領域を用いて分枝の延長線の肺表面における到達位置を推定するその他の方法として、たとえば分枝の支配領域の表面のうちの肺領域の表面となる領域の重心を到達位置情報として推定するようにしてもよい。具体的には、図１６に示すように、分岐位置情報取得部１７によって取得された分岐点Ｓに基づいて分枝Ｂを特定し、肺領域における分枝Ｂの支配領域Ｒを特定し、その支配領域Ｒの表面のうちの肺領域の表面となる領域Ａの重心Ｇ２を到達位置情報として推定するようにしてもよい。なお、ここでいう重心Ｇ２は、３次元空間上の面として表される領域Ａの重心である。
また、気管支の周辺には肺動脈および肺静脈があり、気管支の延伸方向と肺動脈および肺静脈の延伸方向とは類似していることが知られている。そこで、肺動脈や肺動脈の延伸方向の情報に基づいて、気管支領域の分枝の延長線が肺表面に到達する位置を推定するようにしてもよい。
具体的には、図１７に示すように、マッピング画像表示制御装置１に対してさらに血管領域抽出部１８を設ける。血管領域抽出部１８は、３次元画像６から肺領域内に含まれる血管領域を抽出するものである。具体的には、血管領域抽出部１８は、肺動脈領域および肺静脈領域を抽出する。肺動脈領域および肺静脈領域の抽出方法としては、たとえば領域拡張法などの公知な手法を用いることができる。
そして、到達位置情報推定部１３は、分岐位置情報取得部１７によって取得された分岐位置の情報に基づいて気管支領域の分枝に沿って延びる肺動脈領域および肺静脈領域を特定し、その特定した肺動脈領域および肺静脈領域に基づいて、気管支領域の分枝の延長線を推定する。具体的には、図１８に示すように、分岐位置情報取得部１７によって取得された分岐点Ｓに最も近い肺動脈領域の位置ｖ１と分岐点Ｓに最も近い肺静脈領域の位置ａ１とを検出し、さらに、グラフ構造の分枝の末端Ｔに最も近い肺動脈領域上の位置ｖ２と末端Ｔに最も近い肺静脈領域上の位置ａ２とを検出する。
なお、分岐点Ｓは、グラフ構造の分枝の末端Ｔから気管上流側に向かって一つ目の分岐点である。また、分岐点Ｓに最も近い肺動脈領域上の位置ｖ１とは、分岐点Ｓとの距離が最も短い肺動脈領域上の位置であり、分岐点Ｓに最も近い肺静脈領域上の位置ａ１とは、分岐点Ｓとの距離が最も短い肺静脈領域上の位置である。また、末端Ｔに最も近い肺動脈領域上の位置ｖ２とは、末端Ｔとの距離が最も短い肺動脈領域上の位置であり、末端Ｔに最も近い肺静脈領域上の位置ａ２とは、末端Ｔと距離が最も短い肺静脈領域上の位置である。
そして、肺動脈領域上の位置ｖ１から位置ｖ２へ向かう方向を肺動脈領域の延伸方向として推定して第１のベクトルを設定し、肺静脈領域上の位置a１から位置ａ２へ向かう方向を肺静脈領域の延伸方向として推定して第２のベクトルを設定し、第１のベクトルと第２のベクトルの平均を算出する。そして、その平均のベクトルを伸ばした直線Ｌ５を気管支領域の分枝の延長線として推定し、この延長線が肺表面に到達する位置を取得する。
このように肺静脈領域および肺動脈領域を用いて分枝の延長線を推定することによって、解剖学的な見地に基づいて、より高精度に分枝の延長線を推定することができる。
なお、上記説明では、肺動脈領域上の位置ｖ1と位置ｖ２を用いて第１のベクトルを設定し、肺静脈領域上の位置ａ１と位置ａ２を用いて第２のベクトルを設定するようにしたが、たとえば肺動脈領域上の位置ｖ1と位置ｖ２とこれらの位置の間の点を用いてスプライン補間して第１の曲線を設定し、肺静脈領域上の位置ａ１と位置ａ２とこれらの位置の間の点を用いてスプライン補間して第２の曲線を設定し、第１の曲線と第２の曲線を平均化した曲線を気管支領域の分枝の延長線として推定するようにしてもよい。
また、上記説明では、肺静脈領域と肺動脈領域の両方を使用して分枝の延長線を推定するようにしたが、いずれか一方のみを用いて分枝の延長線を推定するようにしてもよい。たとえば、肺動脈領域に基づいて設定された第１のベクトルに平行であり、かつ分枝の末端Ｔを通る直線を分枝の延長線を推定するようにしてもよい。また、肺静脈領域に基づいて設定された第２のベクトルに平行であり、かつ分枝の末端Ｔを通る直線を分枝の延長線を推定するようにしてもよい。
なお、上記実施形態においては、医用画像取得部１０が、患者の胸部の３次元画像を取得し、臓器領域抽出部１１が、３次元画像から肺領域を抽出し、管状構造物抽出部１２が、肺領域に含まれる気管支領域を抽出するようにしたが、本発明の対象臓器は肺に限らずたとえば肝臓でもよく、医用画像取得部１０が、患者の腹部の３次元画像を取得し、臓器領域抽出部１１が、３次元画像から肝臓領域を抽出し、管状構造物抽出部１２が、肝臓領域に含まれる血管領域を抽出するようにしてもよい。なお、管状構造物抽出部１２によって血管領域を抽出した後の処理については、上記実施形態と同様である。この場合、血管の末梢に染料を吹き付けた場合にその染料が肝臓表面に滲み出す位置をシミュレーションし、その位置を肝臓領域の表面に重ね合わせたマッピング画像を表示装置３に表示させることができる。
１ マッピング画像表示制御装置
２ 医用画像保管サーバ
３ 表示装置
４ 入力装置
１０ 医用画像取得部
１１ 臓器領域抽出部
１２ 管状構造物抽出部
１３ 到達位置情報推定部
１４ 切除領域情報取得部
１５ 境界特定到達位置情報決定部
１６ 表示制御部
１７ 分岐位置情報取得部
１８ 血管領域抽出部

Claims (12)

  1. ３次元画像に含まれる臓器領域を抽出する臓器領域抽出部と、
    前記臓器領域内に含まれる管状構造物を抽出する管状構造物抽出部と、
    前記管状構造物に含まれる分枝の延長線が前記臓器領域の表面に到達する到達位置情報を推定する到達位置情報推定部と、
    前記臓器領域における切除領域の情報を取得する切除領域情報取得部と、
    前記切除領域の情報に基づいて、前記到達位置情報の中から前記切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定する境界特定到達位置情報決定部と、
    前記境界特定用の到達位置情報を前記臓器領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部とを備えたことを特徴とするマッピング画像表示制御装置。
  2. 前記境界特定到達位置情報決定部が、前記臓器領域の表面上における前記切除領域の境界から予め設定された範囲内に存在する前記到達位置情報を前記境界特定用の到達位置情報として決定する請求項１記載のマッピング画像表示制御装置。
  3. 前記境界特定到達位置情報決定部が、前記臓器領域の表面上における前記切除領域の境界からの距離が近い順で予め設定された個数の前記到達位置情報を前記境界特定用の到達位置情報として決定する請求項１記載のマッピング画像表示制御装置。
  4. 前記境界特定到達位置情報決定部が、前記切除領域の内側に存在する前記到達位置情報を前記境界特定用の到達位置情報として決定する請求項３記載のマッピング画像表示制御装置。
  5. 前記境界特定到達位置情報決定部が、前記臓器領域の表面上における前記切除領域内に存在する前記到達位置情報のうち、３個以上の前記到達位置情報を結んで形成される多角形の面積が最大となる前記３個以上の到達位置情報を前記境界特定用の到達位置情報として決定する請求項１記載のマッピング画像表示制御装置。
  6. 前記切除領域情報取得部が、前記臓器領域内に含まれる病変領域を抽出し、該病変領域に基づいて、前記切除領域の情報を取得する請求項１から５いずれか１項記載のマッピング画像表示制御装置。
  7. 前記切除領域情報取得部が、前記管状構造物に含まれる分枝の支配領域を決定し、該支配領域に基づいて、前記切除領域の情報を取得する請求項１から５いずれか１項記載のマッピング画像表示制御装置。
  8. 前記表示制御部が、前記境界特定用の到達位置情報によって特定される到達位置を含む領域を設定し、該領域を前記肺領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる請求項１から７いずれか１項記載のマッピング画像表示制御装置。
  9. 前記臓器領域が肺領域であり、前記管状構造物が気管支領域である請求項１から８いずれか１項記載のマッピング画像表示制御装置。
  10. 前記管状構造物の分岐位置の情報を取得する分岐位置情報取得部を備え、
    前記到達位置情報推定部が、前記分岐位置の情報に基づいて、前記到達位置情報を推定する請求項１から９いずれか１項記載のマッピング画像表示制御装置。
  11. ３次元画像に含まれる臓器領域を抽出し、
    前記臓器領域内に含まれる管状構造物を抽出し、
    前記管状構造物に含まれる分枝の延長線が前記臓器領域の表面に到達する到達位置情報を推定し、
    前記臓器領域における切除領域の情報を取得し、
    前記切除領域の情報に基づいて、前記到達位置情報の中から前記切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定し、
    前記境界特定用の到達位置情報を前記臓器領域の表面にマッピングしたマッピング画像を生成して表示部に表示させることを特徴とするマッピング画像表示制御方法。
  12. コンピュータを、３次元画像に含まれる臓器領域を抽出する臓器領域抽出部と、
    前記臓器領域内に含まれる管状構造物を抽出する管状構造物抽出部と、
    前記管状構造物に含まれる分枝の延長線が前記臓器領域の表面に到達する到達位置情報を推定する到達位置情報推定部と、
    前記臓器領域における切除領域の情報を取得する切除領域情報取得部と、
    前記切除領域の情報に基づいて、前記到達位置情報の中から前記切除領域の境界を特定するために用いられる境界特定用の到達位置情報を決定する境界特定到達位置情報決定部と、
    前記境界特定用の到達位置情報を前記臓器領域の表面にマッピングしたマッピング画像を生成して表示部に表示させる表示制御部として機能させることを特徴とするマッピング画像表示制御プログラム。
JP2017538907A 2015-09-09 2016-07-22 マッピング画像表示制御装置および方法並びにプログラム Active JP6434635B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015177524 2015-09-09
JP2015177524 2015-09-09
PCT/JP2016/071554 WO2017043194A1 (ja) 2015-09-09 2016-07-22 マッピング画像表示制御装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017043194A1 true JPWO2017043194A1 (ja) 2018-03-15
JP6434635B2 JP6434635B2 (ja) 2018-12-05

Family

ID=58239720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017538907A Active JP6434635B2 (ja) 2015-09-09 2016-07-22 マッピング画像表示制御装置および方法並びにプログラム

Country Status (4)

Country Link
US (1) US10198875B2 (ja)
JP (1) JP6434635B2 (ja)
DE (1) DE112016003687T5 (ja)
WO (1) WO2017043194A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6396597B2 (ja) * 2015-09-09 2018-09-26 富士フイルム株式会社 マッピング画像表示制御装置および方法並びにプログラム
EP4070723A1 (en) * 2015-09-18 2022-10-12 Auris Health, Inc. Navigation of tubular networks
JP7034306B2 (ja) * 2018-08-31 2022-03-11 富士フイルム株式会社 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
WO2020066132A1 (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 医用画像診断支援装置、方法及びプログラム
EP3975117A4 (en) * 2020-07-30 2022-11-16 Infervision Medical Technology Co., Ltd. IMAGE SEGMENTATION METHOD AND APPARATUS AND IMAGE SEGMENTATION MODEL TRAINING METHOD AND APPARATUS
WO2022110799A1 (zh) * 2020-11-26 2022-06-02 上海商汤智能科技有限公司 目标显示方法、装置、电子设备、存储介质及程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011212313A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 医用画像処理装置および方法、並びにプログラム
JP2012045288A (ja) * 2010-08-30 2012-03-08 Fujifilm Corp 手術支援装置、手術支援方法および手術支援プログラム
JP2014054428A (ja) * 2012-09-13 2014-03-27 Fujifilm Corp ３次元画像表示装置および方法並びにプログラム
JP2014073355A (ja) * 2012-09-14 2014-04-24 Fujifilm Corp 領域抽出装置、領域抽出方法および領域抽出プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
WO2007053676A2 (en) * 2005-11-01 2007-05-10 Edda Technology, Inc. Method and system for liver lobe segmentation and pre-operative surgical planning
CN102395320B (zh) * 2010-06-02 2014-02-26 奥林巴斯医疗株式会社 医疗设备以及医疗设备的控制方法
JP5748520B2 (ja) 2011-03-25 2015-07-15 富士フイルム株式会社 内視鏡挿入支援装置およびその作動方法、並びに内視鏡挿入支援プログラム
US9603668B2 (en) * 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011212313A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 医用画像処理装置および方法、並びにプログラム
JP2012045288A (ja) * 2010-08-30 2012-03-08 Fujifilm Corp 手術支援装置、手術支援方法および手術支援プログラム
JP2014054428A (ja) * 2012-09-13 2014-03-27 Fujifilm Corp ３次元画像表示装置および方法並びにプログラム
JP2014073355A (ja) * 2012-09-14 2014-04-24 Fujifilm Corp 領域抽出装置、領域抽出方法および領域抽出プログラム

Also Published As

Publication number Publication date
JP6434635B2 (ja) 2018-12-05
DE112016003687T5 (de) 2018-05-03
US20180225884A1 (en) 2018-08-09
US10198875B2 (en) 2019-02-05
WO2017043194A1 (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6434635B2 (ja) マッピング画像表示制御装置および方法並びにプログラム
CN110010249B (zh) 基于视频叠加的增强现实手术导航方法、系统及电子设备
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
Ikeda et al. Three dimensional computed tomography lung modeling is useful in simulation and navigation of lung cancer surgery
JP7133474B2 (ja) 内視鏡画像及び超音波画像の画像ベースの融合
JP4931027B2 (ja) 医用画像診断支援装置および方法、並びにプログラム
US9563978B2 (en) Image generation apparatus, method, and medium with image generation program recorded thereon
US9649167B2 (en) Pattern and surgery support set, apparatus, method and program
JP2004534584A5 (ja)
JP5748636B2 (ja) 画像処理装置および方法並びにプログラム
JP2008142481A (ja) 肺を肺区域の単位に自動的にセグメンテーションする装置およびプログラム
JP6702902B2 (ja) マッピング画像表示制御装置および方法並びにプログラム
Collins et al. A system for augmented reality guided laparoscopic tumour resection with quantitative ex-vivo user evaluation
JP2023065490A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6396597B2 (ja) マッピング画像表示制御装置および方法並びにプログラム
US20190019433A1 (en) Method and system for a preoperative surgical intervention simulation
JP2003339644A (ja) 臓器の切除領域抽出表示装置
JP5486616B2 (ja) 医用画像診断支援装置およびその作動方法、並びにプログラム
Singh et al. A novel enhanced hybrid recursive algorithm: Image processing based augmented reality for gallbladder and uterus visualisation
US10062184B2 (en) Medical image display control device, method of operation for same, and medical image display control program
JP2020520759A (ja) ライブ２次元ｘ線画像において介入装置の空間情報を提供する装置及び対応する方法
CN106600599B (zh) 肿瘤包绕血管的包绕程度分析方法及装置
Drechsler et al. Interventional planning of liver resections: An overview
CN117100393A (zh) 一种用于视频辅助外科手术靶标定位的方法、系统和装置
JP2021045340A (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181108

R150 Certificate of patent or registration of utility model

Ref document number: 6434635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250