WO2014199640A1 - 仮想内視鏡画像生成装置および方法並びにプログラム - Google Patents

仮想内視鏡画像生成装置および方法並びにプログラム Download PDF

Info

Publication number
WO2014199640A1
WO2014199640A1 PCT/JP2014/003132 JP2014003132W WO2014199640A1 WO 2014199640 A1 WO2014199640 A1 WO 2014199640A1 JP 2014003132 W JP2014003132 W JP 2014003132W WO 2014199640 A1 WO2014199640 A1 WO 2014199640A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
large intestine
region
virtual endoscopic
endoscopic image
Prior art date
Application number
PCT/JP2014/003132
Other languages
English (en)
French (fr)
Inventor
善則 板井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2014199640A1 publication Critical patent/WO2014199640A1/ja
Priority to US14/961,667 priority Critical patent/US9542772B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Definitions

  • luminal organs such as the large intestine, small intestine, and stomach of a patient are extracted from a three-dimensional image taken by a modality such as a computed tomography (CT) apparatus, and the extracted three-dimensional image of the luminal organ is used for diagnostic imaging. Things have been done.
  • CT computed tomography
  • this image is called a virtual endoscopic image.
  • the three-dimensional image of the large intestine acquired by the large intestine region extracting unit 11 is output to the virtual endoscope image generating unit 12 and the viewpoint setting unit 14, and the viewpoint setting unit 14 is based on the input three-dimensional image of the large intestine.
  • a center line of the large intestine region is acquired (S14), and a plurality of viewpoints are set on the center line (S16).
  • the viewpoint setting unit 14 determines the viewpoint of the virtual endoscopic image. Are continuously moved to the vicinity of the boundary between the space region and the tagging region in the large intestine region (S22, YES, S24). The viewpoint moving method in the viewpoint setting unit 14 at this time will be described in detail later.
  • the viewpoint may be moved when the user inputs a predetermined setting on the input device 4.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】デジタルクレンジング処理を実行せずとも残渣に埋もれた大腸の内壁を観察することができる仮想内視鏡画像を生成する仮想内視鏡画像生成装置および方法並びにプログラムを提供する。 【解決手段】仮想内視鏡画像生成部(12)が、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて仮想内視鏡画像を生成する。

Description

仮想内視鏡画像生成装置および方法並びにプログラム
 本発明は、大腸の内壁を表す仮想内視鏡画像を生成する仮想内視鏡画像生成装置および方法並びにプログラムに関するものである。
 近年、CT(Computed Tomography)装置などのモダリティによって撮影された3次元画像から患者の大腸、小腸、胃などの管腔臓器を抽出し、その抽出した管腔臓器の3次元画像を画像診断に用いることが行われている。
 たとえば、大腸に空気を入れた状態でCT撮影を行い、その撮影によって得た3次元画像を大腸の内側からボリュームレンダリングすることによって、あたかも内視鏡で観察するような画像を作り出すことが可能であり、この画像を仮想内視鏡画像と呼んでいる。
 この仮想内視鏡画像を生成する場合には、検査前に大腸の中を空にする必要があるが、大腸内に残渣が残る場合がある。この残渣が仮想内視鏡画像に残っていると大腸内の観察の妨げとなる。
 そこで、あらかじめ残渣を造影してCT撮影を行い、そのCT撮影後に画像処理でその造影されたタギング領域を取り除くことによって仮想的に残渣の存在しない3次元画像を生成してボリュームレンダリングすることもあり、これをデジタルクレンジング処理と呼んでいる。たとえば特許文献1および特許文献2には、このようなデジタルクレンジング処理を行った後に、ポリープなどの検出を行う方法が開示されている。
特表2012-504003号公報 特表2009-511216号公報
 しかしながら、上述したように大腸領域の3次元画像に対してデジタルクレンジング処理を施すようにしたのでは、その精度上の問題によってタギング領域が残っていたり、逆に観察すべき大腸内腔のひだやポリープの形状が大きく変わってしまう場合がある。
 本発明は、上記事情に鑑み、デジタルクレンジング処理を実行せずとも残渣に埋もれた大腸の内壁を観察することができる仮想内視鏡画像を生成することができる仮想内視鏡画像生成装置および方法並びにプログラムを提供することを目的とするものである。
 本発明の仮想内視鏡画像生成装置は、大腸領域を含む3次元画像を取得する3次元画像取得部と、大腸領域の3次元画像に基づいて、大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成部とを備えた仮想内視鏡画像生成装置において、仮想内視鏡画像生成部が、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて、仮想内視鏡画像を生成するものである。
 また、上記本発明の仮想内視鏡画像生成装置は、不透明度設定テーブルの変更を受け付ける不透明度変更受付部を備えたものとできる。
 また、設定面を、視線方向に垂直な平面とできる。
 また、設定面を、曲面とできる。
 また、設定面を、視線方向に垂直な平面と曲面とからなるものとできる。
 また、曲面を、球面または放物曲面とできる。
 また、視点からの上記距離の変更を受け付ける距離変更受付部を備えたものとできる。
 また、視点の位置を大腸領域の中心線に沿って移動させる視点設定部を設け、その視点設定部を、中心線上の視点が残渣領域に対して予め設定された距離まで近づいた場合に、中心線上の視点を境界近傍まで連続的に移動させるものとできる。
 また、視点設定部を、視点が境界近傍に設定された後、残渣領域に対して予め設定された距離だけ遠ざかる中心線上の位置まで視点を連続的に移動させるものとできる。
 また、大腸領域の中心線近傍に視点を設定する視点設定部を設け、その視点設定部を、設定した視点から重力方向に延ばした線上に予め設定された閾値以上の画素値が存在する場合に、視点を中心線近傍の位置から上記閾値以上の画素値の位置に移動させるものとできる。
 本発明の仮想内視鏡画像生成方法は、大腸領域を含む3次元画像を取得し、大腸領域の3次元画像に基づいて、大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成方法において、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて、仮想内視鏡画像を生成する。
 本発明の仮想内視鏡画像生成プログラムは、コンピュータを、大腸領域を含む3次元画像を取得する3次元画像取得部、大腸領域の3次元画像に基づいて、大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成部として機能させる仮想内視鏡画像生成プログラムにおいて、仮想内視鏡画像生成部が、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて、仮想内視鏡画像を生成するものである。
 本発明の仮想内視鏡画像生成装置および方法並びにプログラムによれば、3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、大腸領域の内壁と、大腸領域内に存在する残渣領域の内壁との両方を仮想内視鏡画像上に現わすことができる不透明度テンプレートと、大腸領域内の空間領域と残渣領域との境界近傍に設定された視点と、その視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、視点から延びる光線ベクトル上の3次元画像の画素値のうち設定面から先の光線ベクトル上の画素値とに基づいて仮想内視鏡画像を生成するようにしたので、デジタルクレンジング処理を実行せずとも残渣に埋もれた大腸の内壁を観察することができる仮想内視鏡画像を生成することができる。なお、本発明によって生成される仮想内視鏡画像については、後で詳述する。
本発明の仮想内視鏡画像生成装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 大腸領域の内壁と大腸領域内に存在するタギング領域の内壁との両方を仮想内視鏡画像上に現わすことができるカラーテンプレートの一例を示す図 空間領域内やタギング領域内に視点を設定した場合に生成される仮想内視鏡画像を説明するための図 空間領域内やタギング領域内に視点を設定した場合に生成される仮想内視鏡画像の一例を示す図 空間領域とタギング領域との境界近傍に設定された視点とクリップ面の一例を示す図 本発明の仮想内視鏡画像生成装置および方法並びにプログラムの一実施形態により生成された仮想内視鏡画像の一例を示す図 本発明の仮想内視鏡画像生成装置および方法並びにプログラムの一実施形態の作用を説明するためのフローチャート 視点の移動方法の一例を説明するための図 クリップ面のその他の例を示す図
 以下、本発明の仮想内視鏡画像生成装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の医用画像診断支援システムの概略構成を示すブロック図である。
 本実施形態の医用画像診断支援システムは、図1に示すように、医用画像表示制御装置1と、3次元画像保管サーバ2と、ディスプレイ3と、入力装置4とを備えている。
 医用画像表示制御装置1は、コンピュータに本実施形態の仮想内視鏡画像生成プログラムがインストールされたものである。 
 医用画像表示制御装置1は、中央処理装置(CPU)および半導体メモリや、ハードディスクやSSD(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の仮想内視鏡画像生成プログラムがインストールされており、この仮想内視鏡画像生成プログラムが中央処理装置によって実行されることによって、図1に示すような3次元画像取得部10、大腸領域抽出部11、仮想内視鏡画像生成部12および視点設定部14が動作する。
 3次元画像取得部10は、手術前または検査前などに予め撮影された被検体の3次元画像5を取得するものである。3次元画像5としては、たとえばCT装置やMRI(Magnetic Resonance Imaging)装置などから出力されたスライスデータから再構成されたボリュームデータや、MS(Multi Slice)CT装置やコーンビームCT装置から出力されたボリュームデータなどがある。3次元画像5は、3次元画像保管サーバ2に被検体の識別情報とともに予め保管されており、3次元画像取得部10は、入力装置4において入力された被検体の識別情報に対応する3次元画像5を3次元画像保管サーバ2から読み出すものである。なお、3次元画像取得部10において多数のスライスデータを取得してボリュームデータを生成するようにしてもよい。本実施形態における3次元画像取得部10は、CT装置によって撮影された大腸を含む3次元画像5を取得するものである。
 大腸領域抽出部11は、3次元画像取得部10によって取得された3次元画像5が入力され、その入力された3次元画像5から大腸領域の3次元画像を抽出するものである。
 大腸領域を抽出する方法としては、具体的には、まず、3次元画像5に基づいて体軸に垂直な断面(軸位断;axial)の軸位断画像を複数生成し、その各軸位断画像に対して、公知の手法により、体表を基準に体外と体内領域を分離する処理を行う。たとえば、入力された軸位断画像に対して二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。
 次に、体内領域の軸位断画像に対して閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のCT値に対応する閾値(たとえば、-600以下)を設定して二値化処理を行い、各軸位断画像の体内の空気領域を大腸領域候補として抽出する。
 最後に、各軸位断画像データ間で、抽出された体内の大腸領域候補がつながる部分のみを抽出することによって大腸領域を取得する。なお、大腸領域を取得する方法としては、上記の方法に限らず、その他にもRegion Growing法やLevel Set法など公知な方法を用いるようにしてもよい。
 仮想内視鏡画像生成部12は、入力された大腸領域の3次元画像に基づいて、大腸領域の内腔を表す仮想内視鏡画像を生成するものである。仮想内視鏡画像は、内視鏡によって仮想的に大腸の内腔を撮影した画像である。
 具体的には、仮想内視鏡画像生成部12は、予め設定された視点および視線方向に基づく視線ベクトルを中心として放射線状に延ばした複数の光線ベクトル上のボクセルデータを、所定の投影面に投影した中心投影による画像を仮想内視鏡画像として生成するものである。なお、中心投影の具体的な方法としては、たとえば公知のボリュームレンダリング手法等を用いることができる。
 ここで、このように仮想内視鏡画像を生成する際、上述したように大腸領域の3次元画像に対してデジタルクレンジング処理を施すようにしたのでは、その精度上の問題によってタギング領域が残っていたり、逆に観察すべき大腸内腔のひだやポリープの形状が大きく変わってしまう場合がある。
 そこで、本実施形態の医用画像診断支援システムにおいては、デジタルクレンジング処理を実行せずとも残渣に埋もれた大腸の内壁を観察することができる仮想内視鏡画像を生成する。
 具体的には、本実施形態の仮想内視鏡画像生成部12には、図2に示すようなカラーテンプレート(請求項における不透明度テンプレートに相当する)が予め設定されている。図2に示すカラーテンプレートは、CT値であるボクセルデータ(画素値)と不透明度とを対応づけたカラーテンプレートであって、大腸領域の内壁と、大腸領域内に存在するタギング領域の内壁との両方を仮想内視鏡画像上に現わすことができるものである。
 図2に示すカラーテンプレートは、大腸領域内の空間領域と大腸内壁との境界部分のボクセルデータに対して1.0の不透明度を割り当てるとともに、タギング領域と大腸内壁との境界部分のボクセルデータに対して1.0の不透明度を割り当てるものであり、かつ空間領域内のボクセルデータとタギング領域内のボクセルデータにはゼロの不透明度を割り当てるものである。
 より具体的には、本実施形態のカラーテンプレートは、空間領域が空気であり、タギング領域の造影剤のCT値が100~200である場合には、空気のCT値は-600以下であるため-600以下の第1の閾値よりも小さいボクセルデータに対してゼロの不透明度を割り当て、造影剤のCT値である100以上の第2の閾値よりも大きいボクセルデータに対してゼロの不透明度を割り当て、そして、第1の閾値以上第2の閾値以下のボクセルデータに対して1.0の不透明度を割り当てるものである。さらに、カラーテンプレートには、不透明度とともに色が設定されており、本実施形態においては大腸の内壁が赤で表され、タギング領域の内壁が緑で表されるように設定されている。なお、カラーテンプレートに設定される色はこれに限らず、その他の色を採用するようにしてもよく、また、大腸内壁とタギング領域の内壁とに同じ色を割り当てるようにしてもよい。
 また、カラーテンプレートにおける第1の閾値、第2の閾値および色は、ユーザによって任意に変更できるようにしてもよい。第1の閾値、第2の閾値および色の変更は、入力装置4によって受け付けられ、その変更後の内容が仮想内視鏡画像生成部12に設定される。残渣を造影する際に用いられる造影剤は、その種類によってCT値が異なるので、そのCT値に合わせて第2の閾値を変更することができる。造影剤の種類としてはガストログラフィン(登録商標)やバリウムなどがある。また、大腸領域内の空間領域の気体も空気以外の気体を用いることも可能であるので、その気体のCT値に合わせて第1の閾値を変更することができる。
 ここで、上述したようなカラーテンプレートを用いたとしても、仮想内視鏡画像の視点を、たとえば図3に示すように視点P1に設定し、この視点P1と光線ベクトルVとに基づいて仮想内視鏡画像を生成した場合には、空間領域から大腸壁へ光線ベクトルVが通過する際のボクセルデータの変化と、空間領域からタギング領域境界へ光線ベクトルVが通過する際のボクセルデータの変化とは識別することができないため、図4の左図に示すような仮想内視鏡画像となってしまい、仮想内視鏡画像上で大腸内部とタギング領域内部とを同時に観察することができない。
 また、仮想内視鏡画像の視点を図3に示す視点P2に設定し、この視点P2と光線ベクトルVとに基づいて仮想内視鏡画像を生成した場合には、タギング領域から大腸壁へ光線ベクトルVが通過する際のボクセルデータの変化と、タギング領域から空間領域へ光線ベクトルVが通過する際のボクセルデータの変化とは識別することができないため、図4の右図に示すような仮想内視鏡画像となってしまい、この場合も、仮想内視鏡画像上で大腸内部とタギング領域内部とを同時に観察することができない。
 そこで、本実施形態の仮想内視鏡画像生成部12は、大腸の内壁とタギング領域の内壁との両方を観察可能な仮想内視鏡画像を生成する際には、図5に示すように、仮想内視鏡画像の視点を大腸領域内の空間領域とタギング領域の境界近傍に設定する。なお、境界近傍とは、たとえば境界から±5mmの範囲である。また、空間領域とタギング領域との境界はCT値に基づいて求めるようにすればよい。
 そして、仮想内視鏡画像生成部12は、さらに、図5に示すように境界近傍に設定された視点から視線方向に所定の距離だけ離れた位置にクリップ面CP(請求項における設定面に相当する)を設定する。視線方向と視点からの距離は予め設定されるものであるがユーザによって変更可能としてもよい。視線方向と視点からの距離の変更は、入力装置4において受け付けられる。なお、視点とクリップ面との距離については、3mm~30mmの範囲であることが望ましい。
 そして、仮想内視鏡画像生成部12は、視点から放射線状に延びる光線ベクトルV上に存在するボクセルデータのうち、クリップ面CPから先の光線ベクトルV上に存在するボクセルデータと、上述したカラーテンプレートとを用いてボリュームレンダリング手法等によって仮想内視鏡画像を生成する。図6は、このようにして生成した仮想内視鏡画像の一例を示すものである。図6に示すように、仮想内視鏡画像上には、大腸内壁とタギング領域の内壁との両方が同時に現れることになる。これにより残渣に埋もれている大腸内壁の状態まで観察することができる。また、視点を境界近傍に設定するようにしたので、図4に示す仮想内視鏡画像上に現れている空間領域とタギング領域との境界面が、図6に示す仮想内視鏡画像においては線上に現れることになるので、境界面の画像が観察の邪魔になることがない。
 視点設定部14は、仮想内視鏡画像生成部12において仮想内視鏡画像を生成する際に用いられる視点を設定するものである。本実施形態における視点設定部14は、大腸のボクセルデータに基づいて大腸の中心線を抽出し、その中心線に沿った経路上において、視点を移動させながら順次切り替えて設定するものである。また、視点設定部14は、経路上に設定された視点がタギング領域に対して接近した場合に、大腸領域内の空間領域とタギング領域の境界近傍に視点を設定し、その後、タギング領域から中心線上の点が遠ざかる場合に、境界近傍の視点を中心線上の位置に戻すものである。なお、視点の移動方法については、後で詳述する。
 また、仮想内視鏡画像の視点については、上述したような設定方法に限らず、たとえばディスプレイ3上に表示された大腸の3次元画像上において、ユーザが入力装置4を用いて任意の点を指定することによって設定するようにしてもよいし、大腸の中心線上の所定の点を手動で指定することによって設定するようにしてもよい。
 表示制御部13は、仮想内視鏡画像生成部12において生成された仮想内視鏡画像をディスプレイ3に表示させるものである。
 入力装置4は、マウスやキーボードなどを備えたものであり、ユーザによる操作入力を受け付けるものである。本実施形態の入力装置4は、上述したように仮想内視鏡画像を生成する際に用いられる視点や視線方向、カラーテンプレートにおける第1の閾値、第2の閾値および色、視点とクリップ面CPとの距離などの設定入力を受け付けるものである。入力装置4は、請求項における不透明度変更受付部および距離変更受付部に相当するものである。
 次に、本実施形態の医用画像診断支援システムの作用について、図7に示すフローチャートおよび図8を参照しながら説明する。
 まず、入力装置4を用いてユーザによって被検体の識別情報が入力され、医用画像表示制御装置1の3次元画像取得部10は、その入力された被検体の識別情報に対応する3次元画像5を3次元画像保管サーバ2から読み出して取得する(S10)。
 3次元画像取得部10によって取得された3次元画像5は、大腸領域抽出部11に入力され、大腸領域抽出部11は、入力された3次元画像5に基づいて大腸の3次元画像を抽出して取得する(S12)。
 大腸領域抽出部11によって取得された大腸の3次元画像は、仮想内視鏡画像生成部12および視点設定部14に出力され、視点設定部14は、入力された大腸の3次元画像に基づいて大腸領域の中心線を取得し(S14)、その中心線上に複数の視点を設定する(S16)。
 そして、視点設定部14において設定された複数の視点のうち、たとえば大腸の入り口近傍の最初の視点が仮想内視鏡画像生成部12に入力され、仮想内視鏡画像生成部12は、入力された大腸の3次元画像、最初の視点、予め設定された視線方向および上述したカラーテンプレートに基づいて仮想内視鏡画像を生成し、その生成した仮想内視鏡画像を表示制御部13に出力する。表示制御部13は、入力された仮想内視鏡画像をディスプレイ3に表示させる(S18)。
 次いで、視点設定部14は、仮想内視鏡画像の視点を大腸領域の中心線に沿って移動させ、その視点を仮想内視鏡画像生成部12に順次出力する(S20)。なお、視点の移動は自動的に行ってもよいし、ユーザによる入力装置4における設定入力によって行うようにしてもよい。
 仮想内視鏡画像生成部12は、入力された視点に基づいて仮想内視鏡画像を順次生成して表示制御部13に出力し、表示制御部13は、入力された仮想内視鏡画像を順次切り替えてディスプレイ3に表示させる。
 そして、上述したように大腸領域の中心線に沿って視点を移動させていった際、移動後の視点がタギング領域に接近した場合には、視点設定部14は、仮想内視鏡画像の視点を大腸領域内の空間領域とタギング領域の境界近傍に連続的に移動させて設定する(S22,YES、S24)。なお、このときの視点設定部14における視点の移動方法については、後で詳述する。
 次いで、視点設定部14は、視線方向とクリップ面CPとを設定し(S24)、仮想内視鏡画像生成部12は、視点設定部14によって設定された視点、視線方向、クリップ面CPおよびカラーテンプレートに基づいて、大腸の内壁とタギング領域の内壁との両方を観察可能な仮想内視鏡画像を生成し、表示制御部13に出力し、表示制御部13は、入力された仮想内視鏡画像をディスプレイ3に表示させる(S28)。
 引き続き、視点設定部14は、タギング領域境界近傍において大腸が延びる方向に向かって視点を移動させる(S30)。そして、視点がタギング領域と大腸内壁との境界まで移動した場合には、視点設定部14は、視点を再び大腸領域の中心線まで連続的に移動させる(S32,YES,S34)。
 仮想内視鏡画像生成部12は、再び大腸領域の中心線上の視点に基づいて仮想内視鏡画像を生成して表示制御部13に出力し、表示制御部13は、入力された仮想内視鏡画像をディスプレイ3に表示させる(S36)。
 そして、仮想内視鏡画像を表示させる処理を終了する指示がユーザによって設定入力されない場合には(S38,NO)、S20に戻り、再び大腸領域の中心線上の経路に沿って視点が移動して設定され、各視点に基づいて仮想内視鏡画像が順次生成されて表示される。
 仮想内視鏡画像を表示させる処理を終了する指示がユーザによって設定入力された場合には(S38,YES)、そのまま処理を終了する。
 次に、上述したような視点設定部14における視点の移動方法を、図8を参照しながら具体的に説明する。
 視点設定部14は、まず、大腸領域の中心線上の視点群の各視点において、その視点から重量方向に延ばした直線上にタギング領域が存在するか否かを確認する。具体的には、上述した重力方向に延ばした直線上に所定の閾値以上のCT値のボクセルデータが存在するか否かを確認する。そして、重力方向に延ばした直線上にタギング領域が最初に確認された視点を開始点tとし、最後の確認された視点を終了点tとして設定する。
 そして、視点設定部14は、大腸領域の中心線に沿って視点を移動させていく際、t-δからtまでの間については、視点が空間領域とタギング領域の境界近傍に次第に近付くような経路に修正し、その経路上に沿って視点を移動させる。なお、上記δは、予め設定された一定値である。また、t-δからtまでの間の経路ついては、tから重量方向に延ばした直線とタギング領域境界との接点Qと、t-δとを直線で結んだ経路としてもよいし、曲線で結んだ経路としてもよい。
 そして、視点設定部14は、tからtまでの間については、空間領域とタギング領域の境界近傍に視点を設定する。
 また、視点設定部14は、tからt+δまでの間については、視点が空間領域とタギング領域の境界近傍から次第に遠ざかり、かつ大腸の中心線に近付くような経路に修正し、その経路上に沿って視点を移動させる。なお、tからt+δまでの間の経路についても、tから重量方向に延ばした直線とタギング領域境界との接点Qと、t+δとを直線で結んだ経路としてもよいし、曲線で結んだ経路としてもよい。
 上述したようにして、視点設定部14は、視点の移動にともなって視点がタギング領域に接近したり、タギング領域から遠ざかる際には、大腸領域の中心線に沿った経路Lを経路L’に修正する。これにより視点の移動に伴う仮想内視鏡画像の変化を小さくすることができ、内視鏡撮影における画像の変化により近づけることができる。
 また、上記実施形態の説明においては、仮想内視鏡画像の視点を大腸領域の中心線上の経路に沿って移動させ、中心線上の視点がタギング領域に対して予め設定された距離まで近づいた場合に、中心線上の視点をタギング領域の境界近傍まで連続的に移動させ、その後、タギング領域に対して予め設定された距離だけ遠ざかる中心線上の位置まで視点を連続的に移動させるようにしたが、視点の移動の方法はこれに限られるものではない。
 たとえば、視点設定部14が、視点を大腸領域の中心線上の経路に沿って移動させる際、この移動に伴って、大腸領域の中心線上に設定した視点から重力方向に延ばした線上に予め設定された閾値以上のボクセルデータが存在するか否かを確認し、閾値以上のボクセルデータが存在する場合に、視点を中心線上の位置から上記閾値以上のボクセルデータの位置まで移動させるようにしてもよい。なお、このとき中心線から最も近い閾値以上のボクセルデータの位置まで移動させることが望ましい。
 また、上記実施形態のように、視点を大腸領域の中心線上の経路に沿って移動させるのではなく、大腸領域の中心線近傍の任意の位置を視点として設定するようにしてもよい。
 そして、このように大腸領域の中心線近傍の任意の位置を視点として設定する場合においても、上述したように、視点設定部14が、大腸領域の中心線近傍に設定した視点から重力方向に延ばした線上に予め設定された閾値以上のボクセルデータが存在するか否か確認し、閾値以上のボクセルデータが存在する場合に、視点を中心線近傍の位置から上記閾値以上のボクセルデータの位置まで移動させるようにしてもよい。なお、このときも中心線から最も近い上記閾値以上のボクセルデータの位置まで移動させることが望ましい。
 上述したように大腸領域の中心線近傍に設定した視点から重力方向に延ばした線上に閾値以上のボクセルデータが存在するか否か確認するようにした場合には、厳密にタギング領域を求めることなく、視点を境界近傍まで移動させることができる。
 また、たとえばタギング領域が相対的に小さい領域である場合には、視点を境界近傍に移動させた方がかえって観察し難い仮想内視鏡画像となる場合もある。したがって、視点を境界近傍に移動させるタイミングとしては、ユーザが入力装置4において所定の設定入力した場合に視点を移動させるようにしてもよい。
 また、上記実施形態の説明においては、クリップ面CPとして視線方向に垂直な平面を設定するようにしたが、クリップ面CPは平面に限らず、球面または放物曲面などの曲面としてもよい。また、図9に示すように、クリップ面CPを、平面6aと球面または放物曲面などの曲面6bとから構成するようにしてもよい。なお、このとき視点が曲面6bの開口側に位置するように設定される。また、空間領域とタギング領域との境界が曲面6bを通過するように設定することが望ましい。このようにクリップ面CPを構成することによって、図6に示す境界部分の直線の画像を細くすることができ、より観察し易い仮想内視鏡画像を生成することができる。

Claims (12)

  1.  大腸領域を含む3次元画像を取得する3次元画像取得部と、前記大腸領域の3次元画像に基づいて、前記大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成部とを備えた仮想内視鏡画像生成装置において、
     前記仮想内視鏡画像生成部が、
     前記3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、前記大腸領域の内壁と、前記大腸領域内に存在する残渣領域の内壁との両方を前記仮想内視鏡画像上に現わすことができる前記不透明度テンプレートと、
     前記大腸領域内の空間領域と前記残渣領域との境界近傍に設定された視点と、
     該視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、
     前記視点から延びる光線ベクトル上の前記3次元画像の画素値のうち前記設定面から先の前記光線ベクトル上の画素値とに基づいて、前記仮想内視鏡画像を生成するものである仮想内視鏡画像生成装置。
  2.  前記不透明度設定テーブルの変更を受け付ける不透明度変更受付部を備えた請求項1記載の仮想内視鏡画像生成装置。
  3.  前記設定面が、前記視線方向に垂直な平面である請求項1または2記載の仮想内視鏡画像生成装置。
  4.  前記設定面が、曲面である請求項1または2記載の仮想内視鏡画像生成装置。
  5.  前記設定面が、前記視線方向に垂直な平面と曲面とからなるものである請求項1または2記載の仮想内視鏡画像生成装置。
  6.  前記曲面が、球面または放物曲面である請求項4または5記載の仮想内視鏡画像生成装置。
  7.  前記視点からの前記距離の変更を受け付ける距離変更受付部を備えた請求項1から6いずれか1項記載の仮想内視鏡画像生成装置。
  8.  前記視点の位置を前記大腸領域の中心線に沿って移動させる視点設定部を備え、
     該視点設定部が、前記中心線上の視点が前記残渣領域に対して予め設定された距離まで近づいた場合に、前記中心線上の視点を前記境界近傍まで連続的に移動させるものである請求項1から7いずれか1項記載の仮想内視鏡画像生成装置。
  9.  前記視点設定部が、前記視点が前記境界近傍に設定された後、前記残渣領域に対して予め設定された距離だけ遠ざかる前記中心線上の位置まで前記視点を連続的に移動させるものである請求項8記載の仮想内視鏡画像生成装置。
  10.  前記大腸領域の中心線近傍に前記視点を設定する視点設定部を備え、
     該視点設定部が、設定した視点から重力方向に延ばした線上に予め設定された閾値以上の前記画素値が存在する場合に、前記視点を前記中心線近傍の位置から前記閾値以上の画素値の位置に移動させるものである請求項1から7いずれか1項記載の仮想内視鏡画像生成装置。
  11.  大腸領域を含む3次元画像を取得し、前記大腸領域の3次元画像に基づいて、前記大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成方法において、
     前記3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、前記大腸領域の内壁と、前記大腸領域内に存在する残渣領域の内壁との両方を前記仮想内視鏡画像上に現わすことができる前記不透明度テンプレートと、
     前記大腸領域内の空間領域と前記残渣領域との境界近傍に設定された視点と、
     該視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、
     前記視点から延びる光線ベクトル上の前記3次元画像の画素値のうち前記設定面から先の前記光線ベクトル上の画素値とに基づいて、前記仮想内視鏡画像を生成する仮想内視鏡画像生成方法。
  12.  コンピュータを、大腸領域を含む3次元画像を取得する3次元画像取得部、前記大腸領域の3次元画像に基づいて、前記大腸領域内を内視鏡によって仮想的に撮影した画像を表す仮想内視鏡画像を生成する仮想内視鏡画像生成部として機能させる仮想内視鏡画像生成プログラムにおいて、
     前記仮想内視鏡画像生成部が、
     前記3次元画像の画素値と不透明度とを対応づけた不透明度テンプレートであって、前記大腸領域の内壁と、前記大腸領域内に存在する残渣領域の内壁との両方を前記仮想内視鏡画像上に現わすことができる前記不透明度テンプレートと、
     前記大腸領域内の空間領域と前記残渣領域との境界近傍に設定された視点と、
     該視点から予め設定された視線方向について、予め設定された距離だけ離れた位置に設定された設定面と、
     前記視点から延びる光線ベクトル上の前記3次元画像の画素値のうち前記設定面から先の前記光線ベクトル上の画素値とに基づいて、前記仮想内視鏡画像を生成するものである仮想内視鏡画像生成プログラム。
PCT/JP2014/003132 2013-06-13 2014-06-12 仮想内視鏡画像生成装置および方法並びにプログラム WO2014199640A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/961,667 US9542772B2 (en) 2013-06-13 2015-12-07 Virtual endoscope image-generating device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-124350 2013-06-13
JP2013124350A JP6026357B2 (ja) 2013-06-13 2013-06-13 仮想内視鏡画像生成装置および方法並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/961,667 Continuation US9542772B2 (en) 2013-06-13 2015-12-07 Virtual endoscope image-generating device, method, and program

Publications (1)

Publication Number Publication Date
WO2014199640A1 true WO2014199640A1 (ja) 2014-12-18

Family

ID=52021952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003132 WO2014199640A1 (ja) 2013-06-13 2014-06-12 仮想内視鏡画像生成装置および方法並びにプログラム

Country Status (3)

Country Link
US (1) US9542772B2 (ja)
JP (1) JP6026357B2 (ja)
WO (1) WO2014199640A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6134978B2 (ja) * 2013-05-28 2017-05-31 富士フイルム株式会社 投影画像生成装置、方法およびプログラム
US10510171B2 (en) * 2016-11-29 2019-12-17 Biosense Webster (Israel) Ltd. Visualization of anatomical cavities

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63266583A (ja) * 1987-04-03 1988-11-02 トムソン−セージェーエール 対象物の像を計算および画像化するための方法
JP2001502197A (ja) * 1996-09-16 2001-02-20 ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク 三次元仮想的検査を行うためのシステム及び方法
JP2002534191A (ja) * 1999-01-04 2002-10-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 管状構造を示す画像を処理し、その構造を通る経路を構成する方法、システム及び装置
JP2005182207A (ja) * 2003-12-16 2005-07-07 Square Enix Co Ltd 画像描画装置及び方法、プログラム並びに記録媒体
JP2009511216A (ja) * 2005-10-17 2009-03-19 ザ ジェネラル ホスピタル コーポレイション コンピュータトモグラフィーコロノグラフィー画像のデジタルデジタル洗浄用の構造解析システム、方法、ソフトウェア構成及びコンピュータがアクセス可能な媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US7477768B2 (en) * 1999-06-29 2009-01-13 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US6477401B1 (en) * 2000-03-10 2002-11-05 Mayo Foundation For Medical Education And Research Colonography of an unprepared colon
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
EP1393260A1 (en) * 2001-05-15 2004-03-03 Koninklijke Philips Electronics N.V. Analysis of a multi-dimensional data set
JP2005506140A (ja) * 2001-10-16 2005-03-03 ザ・ユニバーシティー・オブ・シカゴ コンピュータ支援の3次元病変検出方法
US7349563B2 (en) * 2003-06-25 2008-03-25 Siemens Medical Solutions Usa, Inc. System and method for polyp visualization
US20050054895A1 (en) * 2003-09-09 2005-03-10 Hoeg Hans David Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
US7454045B2 (en) * 2003-10-10 2008-11-18 The United States Of America As Represented By The Department Of Health And Human Services Determination of feature boundaries in a digital representation of an anatomical structure
DE102004027708B4 (de) * 2004-06-07 2006-07-27 Siemens Ag Verfahren zur medizinischen 3D-Bilddarstellung und -verarbeitung, Computertomografiegerät, Arbeitsstation und Computerprogrammprodukt
DE102004027710A1 (de) * 2004-06-07 2006-01-26 Siemens Ag Verfahren zur automatischen Detektion einer Struktur bei bildgebenden medizinischen Verfahren, Computertomografiegerät, Arbeitsstation und Comupterprogrammprodukt
PL1803097T3 (pl) * 2004-06-23 2011-04-29 Koninl Philips Electronics Nv Endoskopia wirtualna
WO2006099490A1 (en) * 2005-03-15 2006-09-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data
US8249687B2 (en) * 2005-06-02 2012-08-21 Vital Images, Inc. Systems and methods for virtual identification of polyps
US7876947B2 (en) * 2007-10-10 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for detecting tagged material using alpha matting
GB2463906A (en) 2008-09-29 2010-03-31 Medicsight Plc Identification of medical image objects using local dispersion and Hessian matrix parameters
JP5486432B2 (ja) * 2010-07-28 2014-05-07 富士フイルム株式会社 画像処理装置、その作動方法およびプログラム
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
JP5369078B2 (ja) * 2010-11-26 2013-12-18 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63266583A (ja) * 1987-04-03 1988-11-02 トムソン−セージェーエール 対象物の像を計算および画像化するための方法
JP2001502197A (ja) * 1996-09-16 2001-02-20 ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク 三次元仮想的検査を行うためのシステム及び方法
JP2002534191A (ja) * 1999-01-04 2002-10-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 管状構造を示す画像を処理し、その構造を通る経路を構成する方法、システム及び装置
JP2005182207A (ja) * 2003-12-16 2005-07-07 Square Enix Co Ltd 画像描画装置及び方法、プログラム並びに記録媒体
JP2009511216A (ja) * 2005-10-17 2009-03-19 ザ ジェネラル ホスピタル コーポレイション コンピュータトモグラフィーコロノグラフィー画像のデジタルデジタル洗浄用の構造解析システム、方法、ソフトウェア構成及びコンピュータがアクセス可能な媒体

Also Published As

Publication number Publication date
JP6026357B2 (ja) 2016-11-16
US9542772B2 (en) 2017-01-10
US20160086371A1 (en) 2016-03-24
JP2015000094A (ja) 2015-01-05

Similar Documents

Publication Publication Date Title
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
US9036882B2 (en) Diagnosis assisting apparatus, diagnosis assisting method, and recording medium having a diagnosis assisting program stored therein
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
EP2641561A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
JP5826082B2 (ja) 医用画像診断支援装置および方法並びにプログラム
JP2012110549A (ja) 医用画像処理装置および方法、並びにプログラム
US10398286B2 (en) Medical image display control apparatus, method, and program
US9501709B2 (en) Medical image processing apparatus
JP5443238B2 (ja) 仮想内視鏡画像処理装置、方法、及びプログラム
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
JP2005349199A (ja) 医用3d画像表示および3d画像処理方法、コンピュータ断層撮影装置、ワークステーションおよびコンピュータプログラム製品
JP2014064721A (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
JP2007014483A (ja) 医用診断装置及び診断支援装置
JP6026357B2 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びx線ct装置
JP2010075549A (ja) 画像処理装置
US10631948B2 (en) Image alignment device, method, and program
US9558589B2 (en) Medical image display apparatus, method, and program
US11056149B2 (en) Medical image storage and reproduction apparatus, method, and program
WO2014192275A1 (ja) 投影画像生成装置、方法およびプログラム
JP2005131317A (ja) 挿入支援システム
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
WO2014156176A1 (ja) 領域抽出装置および方法並びにプログラム
JP5918734B2 (ja) 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
JP2018038680A (ja) 医用画像処理装置及び医用画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14811589

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14811589

Country of ref document: EP

Kind code of ref document: A1