JP5457841B2 - 医用画像処理装置、及び医用画像処理プログラム - Google Patents

医用画像処理装置、及び医用画像処理プログラム Download PDF

Info

Publication number
JP5457841B2
JP5457841B2 JP2010002230A JP2010002230A JP5457841B2 JP 5457841 B2 JP5457841 B2 JP 5457841B2 JP 2010002230 A JP2010002230 A JP 2010002230A JP 2010002230 A JP2010002230 A JP 2010002230A JP 5457841 B2 JP5457841 B2 JP 5457841B2
Authority
JP
Japan
Prior art keywords
endoscope
unit
endoscopic image
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010002230A
Other languages
English (en)
Other versions
JP2011139797A (ja
Inventor
康太 青柳
仁 山形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2010002230A priority Critical patent/JP5457841B2/ja
Priority to US12/973,146 priority patent/US9078568B2/en
Priority to CN2011100026173A priority patent/CN102119848B/zh
Publication of JP2011139797A publication Critical patent/JP2011139797A/ja
Application granted granted Critical
Publication of JP5457841B2 publication Critical patent/JP5457841B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

この発明は、内視鏡装置によって取得された画像(以下、「内視鏡画像」と称する場合がある)と、X線CT装置などの医用画像診断装置によって取得された医用画像とを表示する医用画像処理装置、及び医用画像処理プログラムに関する。
内視鏡装置は、撮像装置を備えた内視鏡を被検体の体腔内に挿入して、体腔内を観察したり治療したりするための装置である。内視鏡装置は、例えば気管支、食道、又は大腸などの部位の観察や治療に用いられる。
また、X線CT装置やMRI装置などの医用画像診断装置によって取得された医用画像データを用いて、仮想的な内視鏡画像(以下、「仮想内視鏡画像」と称する場合がある)を生成することが可能である。この仮想内視鏡画像は、内視鏡装置を用いた検査又は治療の際に内視鏡操作の支援のために用いられ、内視鏡画像の相補的な機能を有している。例えば、内視鏡装置を用いた検査又は治療の際に、リアルタイムに取得されている内視鏡画像と仮想内視鏡画像とを並べて表示することが行われている(例えば特許文献1)。この場合、視点の位置と視線方向とを両画像で一致させて、内視鏡画像と仮想内視鏡画と並べて表示する。また、CAD(Computer Aided Diagnosis:コンピュータ支援診断)による結果を仮想内視鏡画像に重畳して表示することで、内視鏡画像による観察を効率的に行うことができる。
内視鏡画像と仮想内視鏡画像とを並べて表示することで、被検体の体腔内で内視鏡を押し進めながら、内視鏡画像による観察を効率的に行うことができる。一方で、内視鏡装置を用いた観察では、内視鏡を押し進めながら行う観察の他、内視鏡を引き戻しながら観察する場合もある。内視鏡を押し進めながら観察する場合では穿孔のおそれがあり、引き戻しながらの観察の方が安全だからである。
内視鏡画像と仮想内視鏡画像とを表示する場合、それぞれの画像の視線方向も一致させている。内視鏡を引き戻しながら内視鏡画像と仮想内視鏡画像とを表示する場合、仮想内視鏡画像の視線方向は、内視鏡の進行方向とは反対の方向を向いている。この視線方向に従って生成された仮想内視鏡画像には、内視鏡の進行方向に向いた画像が表されない。そのため、仮想内視鏡画像によって内視鏡の進行方向を確認しながら、内視鏡操作を行うことができない問題がある。
これに対して、内視鏡画像の視線方向とは反対の方向を視線方向として、仮想内視鏡画像を生成して表示する方法が提案されている(例えば特許文献2)。この場合、あたかもバックミラーのような視界が得られる。しかしながら、内視鏡画像と仮想内視鏡画像とで視線方向が逆方向であるため、仮想内視鏡画像において内視鏡画像との対応関係を直感的に把握することは容易ではない。
また、被検体の体腔内で内視鏡を押し進める場合であっても、仮想内視鏡画像の視点は内視鏡の先端の位置に設定される。そのため、その視点に従って生成された仮想内視鏡画像においては、内視鏡の進行方向の視界を十分に確保することはできず、穿孔のおそれがある。
特開2005−21355号公報 特開平9−81787号公報
この発明は上記の問題を解決するものであり、内視鏡によって取得された内視鏡画像に対応して、内視鏡の視野を分かりやすく表す仮想内視鏡画像を生成することが可能な医用画像処理装置、及び医用画像処理プログラムを提供することを目的とする。
請求項1に記載の発明は、内視鏡の位置及び向きを検出する検出手段と、前記内視鏡とは異なる医用画像撮影装置によって生成された管状組織を表す医用画像データを記憶する記憶手段と、前記内視鏡の位置から所定距離離れた位置を視点として、前記医用画像データに基づいて前記管状組織の内部を表す仮想内視鏡画像データを生成する画像生成手段と、前記内視鏡によって生成された前記管状組織の内部を表す内視鏡画像データを受け、前記内視鏡画像データに基づく内視鏡画像と、前記仮想内視鏡画像データに基づく仮想内視鏡画像とを表示手段に表示させる表示制御手段と、を有することを特徴とする医用画像処理装置である。
請求項7に記載の発明は、コンピュータに、内視鏡の位置を示す位置情報を受け、前記内視鏡とは異なる医用画像撮影装置によって生成された管状組織を表す医用画像データを受けて、前記内視鏡の位置から所定距離離れた位置を視点として、前記医用画像データに基づいて前記管状組織の内部を表す仮想内視鏡画像データを生成する画像生成機能と、前記内視鏡によって生成された前記管状組織の内部を表す内視鏡画像データを受け、前記内視鏡画像データに基づく内視鏡画像と、前記仮想内視鏡画像データに基づく仮想内視鏡画像とを表示装置に表示させる表示制御機能と、を実行させることを特徴とする医用画像処理プログラムである。
この発明によると、内視鏡の位置から所定距離離れた位置を視点とすることで、内視鏡の視野を分かりやすく表す仮想内視鏡画像を生成して表示することが可能となる。このようにして生成された仮想内視鏡画像によると、内視鏡の視野を事前に確認することが可能となるため、検査の効率を向上させることが可能となり、また、内視鏡の操作における安全性を向上させることが可能となる。
この発明の第1実施形態に係る医用画像処理装置を示すブロック図である。 内視鏡プローブを前進させる場合における視点の位置を示す図である。 内視鏡プローブを前進させる場合に生成される内視鏡画像と仮想内視鏡画像とを示す図である。 内視鏡プローブを後退させる場合における視点の位置を示す図である。 内視鏡プローブを後退させる場合に生成される内視鏡画像と仮想内視鏡画像とを示す図である。 この発明の第2実施形態に係る医用画像処理装置を示すブロック図である。 CAD(コンピュータ支援診断)によって特定された腫瘍の候補を模式的に示す図である。 腫瘍の候補を示すマーカを、仮想内視鏡画像に重ねて表示した状態を示す図である。
[第1の実施の形態]
図1を参照して、この発明の第1実施形態に係る医用画像処理装置について説明する。この発明の第1実施形態に係る医用画像処理装置1は、内視鏡装置100と医用画像撮影装置200とに接続されている。医用画像撮影装置200には、例えばX線CT装置やMRI装置などの撮影装置が用いられる。医用画像処理装置1は、内視鏡装置100から内視鏡画像データを受け、医用画像撮影装置200から内視鏡画像データとは異なる医用画像データを受ける。
(内視鏡装置100)
内視鏡装置100は、内視鏡プローブ110を備えている。内視鏡プローブ110には、CCDカメラや光ファイバを画像撮像部とした公知の内視鏡プローブが用いられる。例えば、内視鏡プローブ110はケーブル状の形状を有し、先端に画像撮像部が設けられている。内視鏡プローブ110は、先端部(画像撮像部)が被検体内に挿入された状態で撮影することで、被検体内を表す内視鏡画像データを生成する。例えば、大腸、気管支、又は食道などの管状組織を撮影対象とする。以下では、1例として大腸を撮影対象とした場合について説明するが、大腸以外の管状組織を撮影対象としても同じ作用及び効果を奏することができる。
内視鏡プローブ110は、先端部(画像撮像部)が大腸内に挿入された状態で撮影することで、大腸の内部を表す内視鏡画像データを生成する。例えば、操作者が内視鏡プローブ110の先端部(画像撮像部)を大腸内に挿入して、先端部を大腸に沿って押し進めながら撮影を行う。または、操作者が、内視鏡プローブ110を大腸に沿って引き戻しながら撮影を行う。内視鏡装置100は、管状組織内の各位置における内視鏡画像データを生成して、各位置における内視鏡画像データを医用画像処理装置1に出力する。なお、内視鏡プローブ110が、この発明の「内視鏡」の1例に相当する。
また、内視鏡装置100は1例としてロータリーエンコーダ120を備えている。ロータリーエンコーダ120は、内視鏡プローブ110の進行方向を判定するための手段の1例である。ロータリーエンコーダ120には公知のロータリーエンコーダを用いることができる。ロータリーエンコーダ120には、例えばインクリメンタル方式又はアブソリュート方式のロータリーエンコーダを用いることができる。
ロータリーエンコーダ120は、内視鏡プローブ110が一定の距離押し進められるたびにパルスを発生する。同様に、ロータリーエンコーダ120は、内視鏡プローブ110が一定の距離引き戻されるたびにパルスを発生する。ロータリーエンコーダ120によって発生させられたパルスの数をカウントすることで、内視鏡プローブ110の移動量を検出することができる。例えば、ロータリーエンコーダ120は、エンコーダの軸の回転に合わせてA相のパルスとB相のパルスとを出力する。ロータリーエンコーダ120は、タイミング(位相)をずらして2つのパルス(A相のパルスとB相のパルス)を出力するように構成されている。また、ロータリーエンコーダ120の軸の回転方向で、その出力タイミングを逆の関係にしておく。例えば内視鏡プローブ110を押し進めている場合、先にA相のパルスがロータリーエンコーダ120から出力され、その途中でB相のパルスがロータリーエンコーダ120から出力される。一方、内視鏡プローブ110を引き戻す場合、先にB相のパルスがロータリーエンコーダ120から出力され、その途中でA相のパルスがロータリーエンコーダ120から出力される。つまり、2つのパルスの関係を用いて、ロータリーエンコーダ120の軸の回転方向と回転量とを特定することが可能となる。これにより、内視鏡プローブ110の進行方向(前進又は後退)を判定することができる。ロータリーエンコーダ120によって発生させられた信号は、画像処理部2の進行方向判定部24に出力される。
(医用画像撮影装置200)
医用画像撮影装置200には、X線CT装置やMRI装置などの撮影装置が用いられる。この実施形態では、医用画像撮影装置200は3次元の撮影領域を撮影することで、3次元の撮影領域を表すボリュームデータを医用画像データとして生成する。医用画像撮影装置200としてX線CT装置を用いた場合、3次元の撮影領域を撮影することで、断面位置がそれぞれ異なる複数の断面におけるCT画像データを生成し、3次元の撮影領域を表すボリュームデータを生成する。大腸を撮影対象とした場合、X線CT装置は大腸が含まれる3次元の撮影領域を撮影することで、大腸を表すボリュームデータを生成する。医用画像撮影装置200は、ボリュームデータを医用画像処理装置1に出力する。
例えば内視鏡装置100を用いて大腸の検査又は治療を行う前に、医用画像撮影装置200によって大腸の撮影を行う。医用画像撮影装置200による撮影の後、内視鏡装置100によって大腸内を撮影することで大腸内を表す内視鏡画像データを生成する。
(医用画像処理装置1)
医用画像処理装置1は、画像処理部2と、記憶部3と、表示制御部4と、ユーザインターフェース(UI)5とを備えている。記憶部3は、医用画像撮影装置200によって生成された医用画像データを記憶する。1例として、記憶部3は大腸を表すボリュームデータを記憶する。なお、記憶部3が、この発明の「記憶手段」の1例に相当する。
(画像処理部2)
画像処理部2は、位置検出部21と、抽出部22と、位置合わせ部23と、進行方向判定部24と、決定部25と、画像生成部26とを備えている。
(位置検出部21)
位置検出部21は、内視鏡プローブ110の位置と向き(方向)とを検出する。1例として、位置検出部21は磁気を用いて内視鏡プローブ110の位置と向きとを検出する。例えば図示しない磁気発生部と磁気検出部とを用いる。磁気発生部は任意の位置に設置されて磁気を発生する。磁気検出部は、内視鏡プローブ110の先端付近に装着されて固定されている。磁気検出器は磁気発生部からの磁気を検出し、検出された磁気の強さに応じた電流を発生する。位置検出部21は磁気検出部からの電流を検知し、3次元空間内での磁気発生部に対する磁気検出部の位置情報及び方向情報を位置合わせ部23に出力する。これにより、磁気発生部の位置を原点として、内視鏡プローブ110の先端の位置と先端の向きとが検出される。なお、位置検出部21が、この発明の「検出手段」の1例に相当する。
(抽出部22)
抽出部22は記憶部3からボリュームデータを読み込んで、ボリュームデータから撮影対象の部位を表すボリュームデータを抽出する。抽出部22は、例えば画素値に基づいてボリュームデータから撮影対象の部位を表すボリュームデータを抽出する。1例として大腸を撮影対象とする場合、抽出部22は、画素値に基づいてボリュームデータから大腸を表すボリュームデータを抽出する。抽出部22は、撮影対象の部位を表すボリュームデータを位置合わせ部23に出力する。
(位置合わせ部23)
位置合わせ部23は、内視鏡プローブ110の先端の位置を示す位置情報と先端の向きを示す方向情報とを位置検出部21から受ける。また、位置合わせ部23は、撮影対象の部位(例えば大腸)を表すボリュームデータを抽出部22から受ける。位置合わせ部23は、大腸を表すボリュームデータにおいて、内視鏡プローブ110の先端の位置と方向とを特定する。
例えば、位置合わせ部23は、3次元空間における内視鏡プローブ110の先端位置の軌跡と、抽出部22によって得られた大腸を表すボリュームデータとをパターンマッチングによって位置合わせを行うことで、ボリュームデータにおける内視鏡プローブ110の先端の位置と先端の向きとを特定する。具体的には、位置合わせ部23は、位置検出部21から出力された磁気検出部の位置の軌跡と、大腸を表すボリュームデータとをパターンマッチングによって位置合わせを行うことで、ボリュームデータにおける内視鏡プローブ110の先端の位置と先端の向きとを特定する。
または、操作者が操作部52を用いて内視鏡プローブ110の先端の位置と向きとを指定しても良い。この場合、画像生成部26が、大腸を表すボリュームデータに基づいて大腸を表す3次元画像データを生成する。表示制御部4は、大腸を表す3次元画像を表示部51に表示させる。操作者は操作部52を用いて、大腸を表す3次元画像に対して、内視鏡プローブ110の先端の位置と先端の向きとを指定する。操作部52によって指定された位置を示す位置情報と向きを示す方向情報とが、位置合わせ部23に出力される。位置合わせ部23は、操作部52によって指定された位置と向きとを、ボリュームデータにおける内視鏡プローブ110の先端の位置と向きとして定義する。
または、位置合わせ部23は、観察対象の部位(例えば大腸)の特徴点を用いて位置合わせを行うことで、ボリュームデータにおける内視鏡プローブ110の先端の位置と先端の向きとを特定しても良い。例えば、位置合わせ部23は、観察対象の部位(例えば大腸)を表すボリュームデータから大腸の特徴点を抽出する。また、位置合わせ部23は、3次元空間における内視鏡プローブ110の先端位置の軌跡から大腸の特徴点を抽出する。そして、位置合わせ部23は、特徴点の位置を合わせることで、ボリュームデータにおける内視鏡プローブ110の先端の位置と先端の向きとを特定する。
位置合わせ部23は、大腸を表すボリュームデータにおける内視鏡プローブ110の先端の位置を示す位置情報と、先端の向きを示す方向情報とを決定部25に出力する。
(進行方向判定部24)
進行方向判定部24は、内視鏡装置100のロータリーエンコーダ120から上述した信号(1例として2つのパルス信号)を受けて、内視鏡プローブ110の進行方向を判定する。すなわち、進行方向判定部24は、内視鏡プローブ110が前進しているか後退しているかの判定を行う。つまり、進行方向判定部24は、内視鏡プローブ110が前方に進行しているか後方に進行しているかの判定を行う。進行方向判定部24は、内視鏡プローブ110の進行方向を示す情報を決定部25に出力する。具体的には、進行方向判定部24は、内視鏡プローブ110が前方に進行していることを示す前進情報、又は、内視鏡プローブ110が後方に進行していることを示す後退情報を決定部25に出力する。なお、進行方向判定部24による判定処理は、ロータリーエンコーダ120によって行われても良い。
(決定部25)
決定部25は、画像生成部26での画像生成処理に用いられる視点の位置と視線方向とを決定する。具体的には、決定部25は、大腸を表すボリュームデータにおける内視鏡プローブ110の先端の位置を示す位置情報と、先端の向きを示す方向情報とを位置合わせ部23から受ける。また、決定部25は、内視鏡プローブ110の進行方向(前進又は後退)を示す情報を進行方向判定部24から受ける。そして、決定部25は、内視鏡プローブ110の先端の位置、先端の向き、及び進行方向に基づいて、画像生成処理に用いられる視点の位置と視線方向とを決定する。
決定部25は、内視鏡プローブ110の先端の位置から進行方向に所定距離離れた位置を、画像生成処理に用いられる視点の位置とする。また、決定部25は、内視鏡プローブ110の先端の向きを、画像生成処理に用いられる視線方向とする。すなわち、決定部25は、画像生成処理に用いられる視線方向を、内視鏡プローブ110の先端の向きと同一にする。決定部25は、画像生成処理に用いられる視点の位置を示す視点位置情報(座標情報)と、視線方向を示す視線方向情報とを画像生成部26に出力する。上記の所定距離は、予め決定されていても良いし、操作者が任意に決定するようにしても良い。例えば、操作者が操作部52を用いて所定距離の値を入力することで、所定距離を示す情報がユーザインターフェース(UI)5から決定部25に出力される。所定距離は、観察対象の部位によって異なる値を用いても良く、同じ値を用いても良い。例えば内視鏡画像と比べたときに、仮想内視鏡画像を用いて観察しやすい位置が視点の位置となるように、所定距離を決めることが好ましい。1例として、所定距離は5mm程度であることが好ましいが、観察対象の部位や視点の位置によって所定距離を変えても良い。例えば、管状組織が直線状となる箇所では所定距離を比較的長く設定し、管状組織が曲線状となる箇所では所定距離を比較的短く設定しても良い。
(画像生成部26)
画像生成部26は記憶部3からボリュームデータを読み込む。また、画像生成部26は、決定部25から視点位置情報と視線方向情報とを受ける。画像生成部26は、視点位置情報が示す視点の位置から、視線方向情報が示す視線方向に向けてボリュームレンダリングを施すことで、大腸などの管状組織の内部を表す仮想内視鏡(Virtual Endoscopy)画像データを生成する。画像生成部26は仮想内視鏡画像データを表示制御部4に出力する。なお、画像生成部26が、この発明の「画像生成手段」の1例に相当する。
(表示制御部4)
表示制御部4は画像生成部26から仮想内視鏡画像データを受けて、仮想内視鏡画像データに基づく仮想内視鏡画像を表示部51に表示させる。また、表示制御部4は内視鏡装置100から内視鏡画像データを受けて、内視鏡画像データに基づく内視鏡画像を表示部51に表示させる。例えば、表示制御部4は内視鏡画像と仮想内視鏡画像とを並べて表示部51に表示させる。または、表示制御部4は内視鏡画像と仮想内視鏡画像とを重ねて表示部51に表示させても良い。なお、表示制御部4が、この発明の「表示制御手段」の1例に相当する。
(ユーザインターフェース(UI)5)
ユーザインターフェース(UI)5は、表示部51と操作部52とを備えている。表示部51は、CRTや液晶ディスプレイなどのモニタで構成されている。操作部52は、キーボードやマウスなどの入力装置で構成されている。
なお、画像処理部2と表示制御部4とはそれぞれ、CPU、GPU、又はASICなどの図示しない処理装置と、ROM、RAM、又はHDDなどの図示しない記憶装置とによって構成されていても良い。記憶装置には、画像処理部2の機能を実行するための画像処理プログラムと、表示制御部4の機能を実行するための表示制御プログラムとが記憶されている。また、画像処理プログラムには、位置検出部21の機能を実行するための位置検出プログラム、抽出部22の機能を実行するための抽出プログラム、位置合わせ部23の機能を実行するための位置合わせプログラム、進行方向判定部24の機能を実行するための進行方向判定プログラム、決定部25の機能を実行するための決定プログラム、及び、画像生成部26の機能を実行するための画像生成プログラムが含まれている。そして、CPUなどの処理装置が、記憶装置に記憶されている各プログラムを実行することで各部の機能を実行する。
なお、画像処理プログラムと表示制御プログラムとによって、この発明の「医用画像処理プログラム」の1例を構成する。
(動作)
次に、第1実施形態に係る医用画像処理装置1による動作について、内視鏡プローブ110が前進している場合と後退している場合とに分けて説明する。
(内視鏡プローブ110が前進している場合)
図2を参照して、内視鏡プローブ110が前進している場合における視点位置の設定例について説明する。また、図3に、表示部51に表示される画像の1例を示す。
1例として図2(a)に示すように、内視鏡プローブ110が大腸内を矢印X1方向に前進している場合について説明する。内視鏡プローブ110は視野F1内を撮影することで、視野F1における内視鏡画像データをリアルタイムに生成する。表示制御部4は内視鏡装置100から視野F1における内視鏡画像データを受けて、視野F1における内視鏡画像を表示部51にリアルタイムに表示させる。
図3(a)に、内視鏡画像の表示例を示す。図3(a)に示すように、表示部51には、視野F1における内視鏡画像300が表示される。内視鏡画像300には腫瘍候補Aが表されている。内視鏡プローブ110を前進させながら撮影することで、各位置における内視鏡画像300がリアルタイムに表示部51に表示される。
位置検出部21は内視鏡プローブ110の先端部111の位置と、先端部111が向いている方向(向き)とを検出する。図2(a)に示す例では、矢印Y方向が先端部111の向きに該当する。また、進行方向判定部24は、ロータリーエンコーダ120からの信号に基づいて、内視鏡プローブ110の進行方向を判定する。図2(a)に示す例では、内視鏡プローブ110は矢印X1方向に前進しているため、進行方向判定部24は、内視鏡プローブ110が前方方向(矢印X1方向)に進行していると判定する。
決定部25は、内視鏡プローブ110の先端部111の位置、先端部111の向き(矢印Y方向)、及び内視鏡プローブ110の進行方向(前方方向)に基づいて、画像生成処理に用いられる視点の位置と視線方向とを決定する。例えば図2(b)に示すように、決定部25は、内視鏡プローブ110の先端部111の位置から前方方向(矢印X1方向)に所定距離(例えば距離L1)離れた位置を、画像生成処理に用いられる視点VPの位置とする。距離L1は、決定部25に予め設定されている値であり、操作者が操作部52を用いて任意に変更することができる。例えば、距離L1を5cm程度とする。また、決定部25は、内視鏡プローブ110の先端部111の向き(矢印Y方向)を、画像生成処理に用いられる視線方向VDとする。すなわち、内視鏡プローブ110の先端部111が向いている方向(矢印Y方向)と同じ方向を、視線方向VDとする。位置検出部21、進行方向判定部24、及び決定部25はそれぞれリアルタイムに処理を行うことで、画像生成処理に用いられる視点の位置と視線方向とをリアルタイムに決定する。
そして、画像生成部26は、視点VPの位置から視線方向VDに向けてボリュームレンダリングを施すことで、大腸の内部を表す仮想内視鏡画像データを生成する。図2(b)に示す例では、視点VPから視線方向VDを向いた領域が視野F2となり、画像生成部26は、視野F2における仮想内視鏡画像データを生成する。表示制御部4は画像生成部26から視野F2における仮想内視鏡画像データを受けて、視野F2における仮想内視鏡画像を表示部51に表示させる。
図3(b)に、仮想内視鏡画像の表示例を示す。図3(b)に示すように、表示部51には、視野F2における仮想内視鏡画像400が表示される。仮想内視鏡画像400には腫瘍候補Aと腫瘍候補Bとが表されている。
なお、図2(c)に示すように、内視鏡プローブ110の先端部111の位置を視点VPの位置とした場合、視点VPから視線方向VDを向いた領域が視野F3となり、視野F3における仮想内視鏡画像データが生成される。図3(c)に、この仮想内視鏡画像の表示例を示す。図3(c)に示すように、表示部51には、視野F3における仮想内視鏡画像500が表示される。仮想内視鏡画像500には腫瘍候補Aが表されている。内視鏡プローブ110の先端部111の位置に視点VPが設定されているため、視野F3と視野F1とは同じ領域である。従って、内視鏡画像300と仮想内視鏡画像500とには、同じ領域が表されている。
1例として、表示制御部4は、内視鏡画像300と仮想内視鏡画像400とを並べて表示部51に表示させる。表示制御部4は、内視鏡画像300と仮想内視鏡画像400とをリアルタイムに更新して表示部51に表示させる。
以上のように、内視鏡プローブ110を前方に進める場合に、内視鏡プローブ110の先端部111から前方方向に距離L1離れた位置を視点VPの位置とし、先端部111の向きを視線方向VDとすることで、内視鏡プローブ110の視野F1よりも前方の視野F2を確保することが可能となる。そのことにより、視野F1よりも前方の視野F2に含まれる腫瘍候補Bが表された仮想内視鏡画像400を生成して表示することが可能となる。すなわち、内視鏡プローブ110を前方に進める場合に、内視鏡プローブ110の先端部111よりも前方の視野F2における仮想内視鏡画像400を生成して表示することで、操作者は、内視鏡画像300よりも前方の領域を事前に確認しながら内視鏡プローブ110を操作することが可能となる。その結果、内視鏡装置100を用いた検査の効率を向上させることが可能となり、また、内視鏡プローブ110の操作における安全性を向上させることが可能となる。
(内視鏡プローブ110が後退している場合)
図4を参照して、内視鏡プローブ110が後退している場合における視点位置の設定例について説明する。また、図5に、表示部51に表示される画像の1例を示す。
1例として図4(a)に示すように、内視鏡プローブ110が大腸内を矢印X2方向に後退している場合について説明する。内視鏡プローブ110は視野F4内を撮影することで、視野F4における内視鏡画像データをリアルタイムに生成する。表示制御部4は内視鏡装置100から視野F4における内視鏡画像データを受けて、視野F4における内視鏡画像を表示部51にリアルタイムに表示させる。
図5(a)に、内視鏡画像の表示例を示す。図5(a)に示すように、表示部51には、視野F4における内視鏡画像600が表示される。内視鏡画像600には腫瘍候補Aが表示されている。内視鏡プローブ110を後退させながら撮影することで、各位置における内視鏡画像600がリアルタイムに表示部51に表示させる。
位置検出部21は内視鏡プローブ110の先端部111の位置と、先端部111が向いている方向(向き)とを検出する。図4(a)に示す例では、矢印Y方向が先端部111の向きに該当する。また、進行方向判定部24は、ロータリーエンコーダ120からの信号に基づいて、内視鏡プローブ110の進行方向を判定する。図4(a)に示す例では、内視鏡プローブ110は矢印X2方向に後退しているため、進行方向判定部24は、内視鏡プローブ110が後方方向(矢印X2方向)に進行していると判定する。
決定部25は、内視鏡プローブ110の先端部111の位置、先端部111の向き(矢印Y方向)、及び内視鏡プローブ110の進行方向(後方方向)に基づいて、画像生成処理に用いられる視点の位置と視線方向とを決定する。例えば図4(b)に示すように、決定部25は、内視鏡プローブ110の先端部111の位置から後方方向(矢印X2方向)に所定距離(例えば距離L2)離れた位置を、画像生成処理に用いられる視点VPの位置とする。距離L2は、決定部25に予め設定されている値であり、操作者が操作部52を用いて任意に変更することができる。例えば、距離L2を5cm程度とする。また、決定部25は、内視鏡プローブ110の先端部111の向き(矢印Y方向)を、画像生成処理に用いられる視線方向VDとする。すなわち、内視鏡プローブ110の先端部111が向いている方向(矢印Y方向)と同じ方向を、視線方向VDとする。位置検出部21、進行方向判定部24、及び決定部25はそれぞれリアルタイムに処理を行うことで、画像生成処理に用いられる視点の位置と視線方向とをリアルタイムに決定する。
そして、画像生成部26は、視点VPの位置から視線方向VDに向けてボリュームレンダリングを施すことで、大腸の内部を表す仮想内視鏡画像データを生成する。図4(b)に示す例では、視点VPから視線方向VDを向いた領域が視野F5となり、画像生成部26は、視野F5における仮想内視鏡画像データを生成する。表示制御部4は画像生成部26から視野F5における仮想内視鏡画像データを受けて、視野F5における仮想内視鏡画像を表示部51に表示させる。
図5(b)に、仮想内視鏡画像の表示例を示す。図5(b)に示すように、表示部51には、視野F5における仮想内視鏡画像700が表示される。仮想内視鏡画像700には腫瘍候補Aと腫瘍候補Bとが表されている。
1例として、表示制御部4は、内視鏡画像600と仮想内視鏡画像700とを並べて表示部51に表示させる。表示制御部4は、内視鏡画像600と仮想内視鏡画像700とをリアルタイムに更新して表示部51に表示させる。
以上のように、内視鏡プローブ110を後方に進める場合に、内視鏡プローブ110の先端部111から後方方向に距離L2離れた位置を視点VPの位置とし、先端部111の向きを視線方向VDとすることで、内視鏡プローブ110の視野F4よりも後方の視野F5を確保することが可能となる。そのことにより、視野F4よりも後方の視野F5に含まれる腫瘍候補Bが表された仮想内視鏡画像700を生成して表示することが可能となる。すなわち、内視鏡プローブ110を後方に進める(引き戻す)場合に、内視鏡プローブ110の先端部111よりも後方の視野F5における仮想内視鏡画像700を生成して表示することで、操作者は、内視鏡画像600よりも後方の領域を事前に確認しながら内視鏡プローブ110を操作することが可能となる。その結果、内視鏡装置100を用いた検査の効率を向上させることが可能となり、また、内視鏡プローブ110の操作における安全性を向上させることが可能となる。
この実施形態では、内視鏡プローブ110の先端部111の向き(矢印Y方向)が視線方向VDとして用いられているため、先端部111の向きが内視鏡プローブ110の進行方向(矢印X2方向)とは反対側を向いている場合であっても、内視鏡画像600と仮想内視鏡画像700とにおいて、同じ方向を向いた画像が得られる。すなわち、内視鏡画像600と仮想内視鏡画像700とで、視線方向を同一にした画像が得られる。このように、内視鏡画像600と仮想内視鏡画像700とで同じ方向を向いた画像が得られて表示されるため、操作者は直感的に、内視鏡画像600と仮想内視鏡画像700との位置関係を把握することが可能となる。
以上のように、この実施形態によると、内視鏡プローブ110を前方に進める場合であっても、後方に後退させる場合であっても、内視鏡プローブ110の先端の位置から進行方向に所定距離離れた位置を視点の位置とすることで、内視鏡画像に対応して、内視鏡プローブ110の進行方向の視野を操作者にとって直感的に分かりやすく表す仮想内視鏡画像を生成することが可能となる。
なお、操作者は内視鏡画像、仮想内視鏡画像、又は3次元画像などを参照し、操作部52を用いて、視点の位置によって所定距離を任意に変えるようにしても良い。例えば、管状組織が直線状となる箇所では、操作者は操作部52を用いて比較的長い距離の値を入力し、管状組織が曲線状となる箇所では、操作者は操作部52を用いて比較的短い距離の値を入力しても良い。操作部52によって入力された距離の値は、決定部25に出力される。決定部25は、操作部52によって入力された距離を上記の所定距離として視点の位置を決定する。管状組織が直線状となる箇所では所定距離を比較的長くすることで、内視鏡画像の視点からより離れた位置を事前に観察することが可能となる。一方、管状組織が曲線状となる箇所では所定距離を比較的長くすると、管状組織の外部に視点が設定されるおそれがある。この場合には、操作者の判断によって所定距離を比較的短くすることで、管状組織の内部に仮想内視鏡画像の視点を設定することが可能となる。
[第2の実施の形態]
図6を参照して、この発明の第2実施形態に係る医用画像処理装置について説明する。第2実施形態に係る医用画像処理装置1Aは、CAD(Coputer Aided Diagnosis:コンピュータ支援診断)の結果に基づいて、内視鏡プローブ110の進行方向を判定する。第2実施形態において、第1実施形態における構成と同じ符号が付された構成は同じ機能を有するため、説明を省略する場合がある。第2実施形態に係る医用画像処理装置1Aは、内視鏡装置100Aと医用画像撮影装置200とに接続されている。
内視鏡装置100Aは、内視鏡プローブ110を備えている。第2実施形態に係る医用画像処理装置1Aは、CADの結果に基づいて内視鏡プローブ110の進行方向を判定するため、内視鏡装置100Aはロータリーエンコーダ120を備えていない。
(医用画像処理装置1A)
医用画像処理装置1Aは、画像処理部2Aと、記憶部3と、表示制御部4と、ユーザインターフェース(UI)5とを備えている。第2実施形態に係る医用画像処理装置1Aは、第1実施形態に係る画像処理部2の代わりに、画像処理部2Aを備えている
(画像処理部2A)
画像処理部2Aは、位置検出部21と、抽出部22と、位置合わせ部23と、進行方向判定部24Aと、決定部25と、画像生成部26と、CAD(Computer Aided Diagnosis:コンピュータ支援診断)27と、測定部28とを備えている。
位置検出部21、抽出部22、及び位置合わせ部23は、第1実施形態と同じ機能を有するため、説明を省略する。
(CAD27)
CAD(Computer Aided Diagnosis:コンピュータ支援診断)27は記憶部3からボリュームデータを読み込んで、そのボリュームデータに基づいて疾患の特徴や部位を検出する。大腸を撮影対象とする場合、CAD27は、大腸を表すボリュームデータに基づいて腫瘍候補の形状と位置とを特定する。例えば、CAD27は、大腸の輪郭の曲率に基づいて突起部を特定し、その突起部を腫瘍候補と判断する。CAD27は、腫瘍候補の位置を示す位置情報を、表示制御部4と進行方向判定部24Aと測定部28とに出力する。なお、CAD27が、この発明の「特定手段」の1例に相当する。
例えば、画像生成部26が記憶部3からボリュームデータを読み込み、そのボリュームデータにボリュームレンダリングを施すことで、大腸を立体的に表す3次元画像データを生成する。画像生成部26は、大腸を立体的に表す3次元画像データを表示制御部4に出力する。表示制御部4は、大腸を立体的に表す3次元画像に、CAD27によって特定された腫瘍候補を重ねて表示部51に表示させる。
操作者は表示部51に表示されている腫瘍候補を参照し、操作部52を用いて、観察対象とする腫瘍候補を指定し、さらに、観察の順番を指定する。
図7を参照して、腫瘍候補の指定方法について説明する。例えば表示部51には、大腸を立体的に表す3次元画像800が表示される。さらに、腫瘍候補810、820、830、840、850が、3次元画像800に重ねて表示されている。操作者は操作部52を用いて、観察対象とする腫瘍候補を指定する。1例として、操作者は操作部52を用いて、腫瘍候補810、820、830、840、850を、その順番で指定する。例えば、指定された順番が、観察の順番に相当する。このように操作部52によって腫瘍候補と順番とが指定されると、指定された腫瘍候補の位置を示す情報(座標情報)と、指定された順番を示す情報とが、ユーザインターフェース(UI)5から進行方向判定部24Aに出力される。なお、操作者は、腫瘍候補のすべてを指定しても良いし、一部の腫瘍候補を指定しても良い。例えば、操作者は操作部52を用いて、腫瘍候補810、830、850を、その順番で指定しても良い。
(進行方向判定部24A)
進行方向判定部24Aは、指定された腫瘍候補の位置を示す情報(座標情報)と、指定された順番を示す情報とを受ける。そして、進行方向判定部24Aは、腫瘍候補の指定の順番に基づいて、内視鏡プローブ110の進行方向を判定する。腫瘍候補810、820、830、840、850の順番で腫瘍候補が操作部52によって指定された場合、進行方向判定部24Aは、大腸に沿ってその順番に従って向かう方向(矢印Z1方向)を、内視鏡プローブ110の進行方向として判定する。また、別の例として、腫瘍候補810、830、850の順番で腫瘍候補が操作部52によって指定された場合、進行方向判定部24Aは、大腸に沿ってその順番に従って向かう方向(矢印Z1方向)を、内視鏡プローブ110の進行方向として判定する。
一方、腫瘍候補850、840、830、820、810の順番で腫瘍候補が操作部52によって指定された場合、進行方向判定部24Aは、大腸に沿ってその順番に従って向かう方向(矢印Z2方向)を、内視鏡プローブ110の進行方向として判定する。なお、矢印Z2方向は、矢印Z1方向とは逆の方向である。
なお、図7に示す例において、腫瘍候補810側が体腔(大腸)の入口側に相当する場合、矢印Z1方向が、内視鏡プローブ110が前進している方向に相当し、矢印Z2方向が、内視鏡プローブ110が後退している方向に相当する。
進行方向判定部24Aは、内視鏡プローブ110の進行方向(前進又は後退)を示す情報を決定部25に出力する。
(決定部25)
決定部25は、第1実施形態と同様に、大腸を表すボリュームデータにおける内視鏡プローブ110の先端の位置を示す位置情報と、先端の向きを示す方向情報とを位置合わせ部23から受ける。また、決定部25は、内視鏡プローブ110の進行方向(前進又は後退)を示す情報を進行方向判定部24Aから受ける。そして、決定部25は、第1実施形態と同様に、内視鏡プローブ110の先端の位置、先端の向き、及び進行方向に基づいて、画像生成処理に用いられる視点の位置と視線方向とを決定する。すなわち、決定部25は、内視鏡プローブ110の先端の位置から進行方向に所定距離(距離L1又は距離L2)離れた位置を、視点VPの位置とする。また、決定部25は、内視鏡プローブ110の先端の向きを、画像生成処理に用いられる視線方向とする。
画像生成部26は、第1実施形態と同様に記憶部3からボリュームデータを読み込み、決定部25によって決定された視点と視線方向とに従って、大腸の内部を表す仮想内視鏡画像データを生成する。表示制御部4は、第1実施形態と同様に内視鏡画像と仮想内視鏡画像とを並べて表示部51に表示させる。または、表示制御部4は内視鏡画像と仮想内視鏡画像とを重ねて表示部51に表示させても良い。
以上のように、CAD27によって特定された腫瘍候補の位置に基づいて進行方向を特定した場合であっても、内視鏡画像に対応して、内視鏡プローブ110の進行方向の視野を操作者にとって直感的に分かりやすく表す仮想内視鏡画像を生成することが可能となる。
(測定部28)
測定部28は、腫瘍候補の位置を示す位置情報をCAD27から受けて、予め基準として設定された基準点から各腫瘍候補までの距離を求める。測定部28は、各腫瘍候補までの距離を示す情報を表示制御部4に出力する。例えば、測定部28は、内視鏡プローブ110の先端部を基準点として、先端部から各腫瘍候補までの距離を求める。表示制御部4は、仮想内視鏡画像に表されている各腫瘍候補の近傍に、対応する腫瘍候補までの距離を示す情報を表示させる。なお、測定部28が、この発明の「測定手段」の1例に相当する。
図8に、腫瘍候補までの距離の表示例を示す。図8(a)には、内視鏡プローブ110によって生成された内視鏡画像600が示されている。内視鏡画像600には、腫瘍候補Aが表されている。図8(b)には、内視鏡プローブ110を後退させた場合における仮想内視鏡画像900が示されている。仮想内視鏡画像900には、腫瘍候補Aと腫瘍候補Bとが表されている。表示制御部4は、腫瘍候補Aの近傍に、内視鏡プローブ110の先端部から腫瘍候補Aまでの距離を示す情報(38mm)を表示させる。また、表示制御部4は、腫瘍候補Bの近傍に、内視鏡プローブ110の先端部から腫瘍候補Bまでの距離を示す情報(21mm)を表示させる。
以上のように、各腫瘍候補までの距離を表示することで、内視鏡画像の視点と仮想内視鏡画像の視点とが異なっている場合であっても、操作者は、それぞれの視点の前後関係を容易に把握することが可能となる。
なお、表示制御部4は、内視鏡画像の視点と仮想内視鏡画像の視点との間の距離を表示部51に表示させても良い。例えば、表示制御部4は、内視鏡プローブ110の先端部からの所定距離(距離L1又は距離L2)を示す情報を決定部25から受けて、距離L1又は距離L2の値を表示部51に表示させても良い。
仮想内視鏡画像を生成するための視線方向は、内視鏡画像における視線方向と同一である。そのため、その視線方向とは逆の方向から観察可能な腫瘍候補が、大腸のヒダに隠れて仮想内視鏡画像に表されない可能性がある。例えば、内視鏡プローブ110を後退させる場合においても、仮想内視鏡画像を生成するための視線方向は、内視鏡画像における視線方向と同一である。この場合、視線方向とは逆の方向から観察可能な腫瘍候補が、大腸のヒダに隠れて仮想内視鏡画像に表されない可能性がある。そこで、仮想内視鏡画像において、ヒダを半透明にして表示することが好ましい。これにより、操作者は、ヒダに隠れている腫瘍候補を認識することが可能となる。または、腫瘍候補の位置に、識別可能なマーカを重ねて表示することが好ましい。
大腸のヒダを半透明にして表示する場合、画像生成部26は、ボリュームデータの画素値(例えばCT値)に基づいて大腸のヒダを特定し、そのヒダを半透明にした状態で仮想内視鏡画像データを生成する。そして、表示制御部4は、ヒダが半透明にされた状態の仮想内視鏡画像を表示部51に表示させる。これにより、操作者は、ヒダの裏側に存在する腫瘍候補を認識することが可能となる。
腫瘍候補の位置にマーカを重ねる場合、表示制御部4が、腫瘍候補を示すマーカを生成する。表示制御部4は、腫瘍候補の位置を示す位置情報をCAD27から受けると、その腫瘍候補を示すマーカを生成する。表示制御部4は、腫瘍候補を示すマーカを仮想内視鏡画像に重ねて表示部51に表示させる。
例えば図8(b)に示すように、表示制御部4は、腫瘍候補Aの位置にマーカ910を重ね、腫瘍候補Bの位置にマーカ920を重ねて表示部51に表示させる。これにより、腫瘍候補の手前にヒダが存在する場合であっても、操作者は、マーカによって腫瘍候補の存在を認識することが可能となる。
なお、画像処理部2Aと表示制御部4とはそれぞれ、CPU、GPU、又はASICなどの図示しない処理装置と、ROM、RAM、又はHDDなどの図示しない記憶装置とによって構成されていても良い。記憶装置には、画像処理部2Aの機能を実行するための画像処理プログラムと、表示制御部4の機能を実行するための表示制御プログラムとが記憶されている。また、画像処理プログラムには、位置検出部21の機能を実行するための位置検出プログラム、抽出部22の機能を実行するための抽出プログラム、位置合わせ部23の機能を実行するための位置合わせプログラム、進行方向判定部24Aの機能を実行するための進行方向判定プログラム、決定部25の機能を実行するための決定プログラム、画像生成部26の機能を実行するための画像生成プログラム、CAD27の機能を実行するためのプログラム、及び、測定部28の機能を実行するための測定プログラムが含まれている。そして、CPUなどの処理装置が、記憶装置に記憶されている各プログラムを実行することで各部の機能を実行する。
なお、第1実施形態に係る医用画像処理装置1は、第2実施形態に係る医用画像処理装置1Aが備える機能を有していても良い。例えば、第1実施形態に係る医用画像処理装置1がCAD27を備えて、腫瘍候補を特定し、腫瘍候補を用いた処理を行っても良い。また、第1実施形態に係る医用画像処理装置1が測定部28を備えて、内視鏡プローブ110の先端の位置から各腫瘍候補までの距離を測定し、その距離を用いた処理を行っても良い。
なお、第1実施形態及び第2実施形態において、内視鏡プローブ110を前進させる場合には、内視鏡プローブ110の先端部111の位置を視点VPの位置として仮想内視鏡画像データを生成しても良い。この場合であっても、内視鏡プローブ110を後退させる場合には、先端部111から後方方向に距離L2離れた位置を視点VPの位置として仮想内視鏡画像データを生成することで、内視鏡画像よりも後方の領域を事前に確認しながら内視鏡プローブ110を操作することが可能となる。例えば、進行方向判定部24又は進行方向判定部24Aによって、内視鏡プローブ110が前進していると判定されると、決定部25は、先端部111の位置を視点の位置に決定する。一方、進行方向判定部24又は進行方向判定部24Aによって、内視鏡プローブ110が後退していると判定されると、決定部25は、先端部111から進行方向(後退する方向)に距離L2離れた位置を視点に決定する。この場合であっても、内視鏡プローブ110を後方に進める(引き戻す)場合に、検査効率を向上させ、また、内視鏡プローブ110の操作の安全性を向上させることが可能となる。
1、1A 医用画像処理装置
2、2A 画像処理部
3 記憶部
4 表示制御部
5 ユーザインターフェース(UI)
21 位置検出部
22 抽出部
23 位置合わせ部
24、24A 進行方向判定部
25 決定部
26 画像生成部
27 CAD
28 測定部
100、100A 内視鏡装置
110 内視鏡プローブ
120 ロータリーエンコーダ
200 医用画像撮影装置

Claims (7)

  1. 内視鏡の位置及び向きを検出する検出手段と、
    前記内視鏡とは異なる医用画像撮影装置によって生成された管状組織を表す医用画像データを記憶する記憶手段と、
    前記内視鏡の位置から所定距離離れた位置を視点として、前記医用画像データに基づいて前記管状組織の内部を表す仮想内視鏡画像データを生成する画像生成手段と、
    前記内視鏡によって生成された前記管状組織の内部を表す内視鏡画像データを受け、前記内視鏡画像データに基づく内視鏡画像と、前記仮想内視鏡画像データに基づく仮想内視鏡画像とを表示手段に表示させる表示制御手段と、
    を有することを特徴とする医用画像処理装置。
  2. 前記画像生成手段は、前記内視鏡が前記管状組織内で進行している進行方向を示す情報を受けて、前記内視鏡の位置から前記進行方向に前記所定距離離れた位置を前記視点として、前記仮想内視鏡画像データを生成することを特徴とする請求項1に記載の医用画像処理装置。
  3. 前記画像生成手段は、前記内視鏡の向きを視線方向として前記仮想内視鏡画像データを生成することを特徴とする請求項1又は請求項2のいずれかに記載の医用画像処理装置。
  4. 前記医用画像データに基づいて腫瘍の候補を特定する特定手段と、
    前記腫瘍の候補について観察の順番を受けて、前記順番に基づいて前記内視鏡の前記進行方向を判定する判定手段と、を更に有することを特徴とする請求項1又は請求項2のいずれかに記載の医用画像処理装置。
  5. 前記内視鏡の位置から前記腫瘍の候補までの距離を求める測定手段を更に有し、
    前記表示制御手段は、前記距離を前記表示手段に表示させることを特徴とする請求項4に記載の医用画像処理装置。
  6. 前記表示制御手段は、前記腫瘍の候補を示すマーカを生成し、前記仮想内視鏡画像に表された前記腫瘍の候補の位置に前記マーカを重ねて前記表示手段に表示させることを特徴とする請求項4又は請求項5のいずれかに記載の医用画像処理装置。
  7. コンピュータに、
    内視鏡の位置を示す位置情報を受け、前記内視鏡とは異なる医用画像撮影装置によって生成された管状組織を表す医用画像データを受けて、前記内視鏡の位置から所定距離離れた位置を視点として、前記医用画像データに基づいて前記管状組織の内部を表す仮想内視鏡画像データを生成する画像生成機能と、
    前記内視鏡によって生成された前記管状組織の内部を表す内視鏡画像データを受け、前記内視鏡画像データに基づく内視鏡画像と、前記仮想内視鏡画像データに基づく仮想内視鏡画像とを表示装置に表示させる表示制御機能と、
    を実行させることを特徴とする医用画像処理プログラム。
JP2010002230A 2010-01-07 2010-01-07 医用画像処理装置、及び医用画像処理プログラム Expired - Fee Related JP5457841B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010002230A JP5457841B2 (ja) 2010-01-07 2010-01-07 医用画像処理装置、及び医用画像処理プログラム
US12/973,146 US9078568B2 (en) 2010-01-07 2010-12-20 Medical image processing system and a method for processing a medical image
CN2011100026173A CN102119848B (zh) 2010-01-07 2011-01-07 医用图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010002230A JP5457841B2 (ja) 2010-01-07 2010-01-07 医用画像処理装置、及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2011139797A JP2011139797A (ja) 2011-07-21
JP5457841B2 true JP5457841B2 (ja) 2014-04-02

Family

ID=44225089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010002230A Expired - Fee Related JP5457841B2 (ja) 2010-01-07 2010-01-07 医用画像処理装置、及び医用画像処理プログラム

Country Status (3)

Country Link
US (1) US9078568B2 (ja)
JP (1) JP5457841B2 (ja)
CN (1) CN102119848B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130303887A1 (en) 2010-08-20 2013-11-14 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
JP5989666B2 (ja) * 2011-01-05 2016-09-07 バル・イラン・ユニバーシティBar Ilan University 多芯ファイバを使用する撮像システム
JP5830328B2 (ja) * 2011-09-26 2015-12-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP5215483B1 (ja) * 2012-02-24 2013-06-19 株式会社東芝 医用画像処理装置
KR20130109838A (ko) * 2012-03-28 2013-10-08 삼성전자주식회사 병변 진단 지원 장치와 방법
JP6080248B2 (ja) 2012-09-13 2017-02-15 富士フイルム株式会社 3次元画像表示装置および方法並びにプログラム
JP6026932B2 (ja) 2013-03-22 2016-11-16 富士フイルム株式会社 医用画像表示制御装置および方法並びにプログラム
US20150157197A1 (en) * 2013-12-09 2015-06-11 Omer Aslam Ilahi Endoscopic image overlay
CN104799806A (zh) * 2015-03-27 2015-07-29 管正秀 妇产科全方位检查成像装置
US10163262B2 (en) 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
JP6384925B2 (ja) * 2016-02-05 2018-09-05 株式会社Aze 医用診断支援装置、方法およびプログラム
CN110167417B (zh) * 2017-01-26 2022-01-07 奥林巴斯株式会社 图像处理装置、动作方法和存储介质
US20230017738A1 (en) * 2019-12-19 2023-01-19 Sony Group Corporation Method, apparatus and system for controlling an image capture device during surgery
EP4364636A1 (en) 2021-06-29 2024-05-08 NEC Corporation Image processing device, image processing method, and storage medium
CN115049666B (zh) * 2022-08-16 2022-11-08 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6702736B2 (en) * 1995-07-24 2004-03-09 David T. Chen Anatomical visualization system
JP3851364B2 (ja) 1995-09-08 2006-11-29 株式会社日立メディコ 投影画像表示装置
CN100364479C (zh) 2002-07-31 2008-01-30 奥林巴斯株式会社 内窥镜装置及其引导方法、以及内窥镜图像的显示方法
CN100377685C (zh) 2002-08-30 2008-04-02 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
JP2005021355A (ja) 2003-07-01 2005-01-27 Olympus Corp 手術支援装置
JP4022192B2 (ja) 2003-10-31 2007-12-12 オリンパス株式会社 挿入支援システム
US7945310B2 (en) * 2006-09-18 2011-05-17 Stryker Corporation Surgical instrument path computation and display for endoluminal surgery
WO2008111070A2 (en) 2007-03-12 2008-09-18 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
JP5028191B2 (ja) 2007-09-03 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5188879B2 (ja) * 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
JP5372406B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器

Also Published As

Publication number Publication date
US20110166418A1 (en) 2011-07-07
US9078568B2 (en) 2015-07-14
CN102119848B (zh) 2013-07-17
JP2011139797A (ja) 2011-07-21
CN102119848A (zh) 2011-07-13

Similar Documents

Publication Publication Date Title
JP5457841B2 (ja) 医用画像処理装置、及び医用画像処理プログラム
US10085672B2 (en) Diagnostic endoscopic imaging support apparatus and method, and non-transitory computer readable medium on which is recorded diagnostic endoscopic imaging support program
JP5535725B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5421828B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5160699B2 (ja) 医療機器
US8611988B2 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP5377153B2 (ja) 画像処理装置、画像処理プログラムおよび医用診断システム
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
US20140088357A1 (en) Endoscope system
EP2754396A1 (en) Ultrasound diagnostic device and ultrasound image display method
WO2009116465A1 (ja) 医用画像表示装置及び医用画像表示方法
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP5457764B2 (ja) 医用画像処理装置
JP5670145B2 (ja) 医用画像処理装置及び制御プログラム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びx線ct装置
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP4445792B2 (ja) 挿入支援システム
JP2011135937A (ja) 医用画像処理装置、医用画像処理プログラム及び医用画像診断装置
JP7183449B2 (ja) 工業用内視鏡画像処理装置、工業用内視鏡システム、工業用内視鏡画像処理装置の作動方法及びプログラム
JP7157098B2 (ja) 血管内視鏡システムおよび血管径測定方法
JP5854399B2 (ja) 医用システム
JP5993221B2 (ja) 内視鏡システムおよび内視鏡画像生成方法
JP2005304936A (ja) 多断面再構築画像生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140110

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees