JPWO2017037904A1 - 読影支援プログラム、断面画像生成装置及び断面画像生成方法 - Google Patents

読影支援プログラム、断面画像生成装置及び断面画像生成方法 Download PDF

Info

Publication number
JPWO2017037904A1
JPWO2017037904A1 JP2017537149A JP2017537149A JPWO2017037904A1 JP WO2017037904 A1 JPWO2017037904 A1 JP WO2017037904A1 JP 2017537149 A JP2017537149 A JP 2017537149A JP 2017537149 A JP2017537149 A JP 2017537149A JP WO2017037904 A1 JPWO2017037904 A1 JP WO2017037904A1
Authority
JP
Japan
Prior art keywords
cross
image
sectional image
section
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017537149A
Other languages
English (en)
Other versions
JP6677256B2 (ja
Inventor
正樹 石原
正樹 石原
遠藤 進
進 遠藤
昌彦 杉村
昌彦 杉村
武部 浩明
浩明 武部
馬場 孝之
孝之 馬場
上原 祐介
祐介 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2017037904A1 publication Critical patent/JPWO2017037904A1/ja
Application granted granted Critical
Publication of JP6677256B2 publication Critical patent/JP6677256B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

腫瘍に対する集束が現れている断面上で、腫瘍と集束の状態とを表示することにより、腫瘍が腺癌であるか否かを読影医が判断できるように支援する。読影支援プログラムは、特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成し、前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出し、検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定し、前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成し、生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する、処理をコンピュータに実行させる。

Description

本発明は、読影支援プログラム、断面画像生成装置及び断面画像生成方法に関する。
医療の現場では、異なる時期に撮影されたCT(Computed Tomography)画像を用いて、読影医等が、病気の箇所あるいは病気の疑いがある箇所を比較し、患者の病気を判断する読影を行っている。
特開2013−141603号公報
ところで、肺に腫瘍(例えば腺癌)がある患者の場合、腫瘍により肺胞が潰され、その潰れた箇所に集束するように、血管等の周辺組織の位置が変動するという特性がある。一方で、肺は患者の呼吸や心拍の影響を受けて変形するため、肺を撮影したCT画像に基づいて腫瘍に対する集束を見つけ出し、腫瘍が腺癌であることを判断することは、経験の高い読影医でなければ難しい。
一つの側面では、腫瘍に対する集束が現れている断面上で、腫瘍と集束の状態とを表示することにより、その腫瘍が腺癌であるか否かを読影医が判断できるように支援することを目的とする。
一態様によれば、読影支援プログラムは、特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成し、前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出し、検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定し、前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成し、生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する、処理をコンピュータに実行させる。
腫瘍に対する集束が現れている断面上で、腫瘍と集束の状態とを表示することにより、その腫瘍が腺癌であるか否かを読影医が判断することを支援することができる。
図1は、CT画像撮影システムの一例を示す図である。 図2は、断面画像生成装置のハードウェア構成を示す図である。 図3は、断面画像生成装置における読影支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す図(その1)である。 図4は、断面画像生成装置における読影支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す図(その2)である。 図5は、画像DBに格納される情報の一例を示す図である。 図6は、比較元CT画像に対する比較先CT画像の局所的な位置の変動の要因を示した図である。 図7は、腫瘍の変化に基づく位置の変動を更に詳細に説明するための図である。 図8は、代表ベクトルの算出処理及び対応領域の算出処理を説明するための図である。 図9は、非剛体変形の影響を含む代表ベクトルを用いて局所的位置合わせを行うことで得た画像を示す図である。 図10は、第2のレジストレーション部の機能構成を示す図である。 図11は、集束領域判定部の処理内容を示す図である。 図12は、集束領域があると判定された場合の代表ベクトルの算出方法を示す図である。 図13は、集束領域がないと判定された場合の代表ベクトルの算出方法を示す図である。 図14は、非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得た画像を示す図である。 図15は、第1の実施形態における部分画像抽出部の処理内容を示す図である。 図16は、第1の実施形態における断面画像生成部1007の処理内容を示す図である。 図17は、第2のレジストレーション部により実行される処理の第1のフローチャートである。 図18は、集束領域判定処理のフローチャートである。 図19は、局所的位置合わせ処理(腺癌以外)のフローチャートである。 図20は、局所的位置合わせ処理(腺癌)のフローチャートである。 図21は、断面変更処理の第1のフローチャートである。 図22は、第2の実施形態における部分画像抽出部の処理内容を示す図である。 図23は、第2の実施形態における部分画像抽出部の処理内容を示す図である。 図24は、第2の実施形態における断面画像生成部の処理内容を示す図である。 図25は、断面変更処理の第2のフローチャートである。 図26は、第3の実施形態における断面画像生成部の処理内容を示す図である。 図27は、断面変更処理の第3のフローチャートである。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
はじめに、第1の実施形態に係る断面画像生成装置を含むCT(Computed Tomography)画像撮影システムについて説明する。図1は、CT画像撮影システムの一例を示す図である。
CT画像撮影システム100は、CT装置110と断面画像生成装置120と画像データベース(以下、データベースを"DB"と略す)130とを有する。CT装置110と断面画像生成装置120とは電気的に接続されており、両装置の間では各種データの送受信が行われる。また、断面画像生成装置120と画像DB130も電気的に接続されており、両装置の間においても各種データの送受信が行われる。
CT装置110は、放射線等を利用して患者の体内を走査し、コンピュータを用いて処理することで、患者を輪切りにした断面(基準断面)についての断面画像であるCT画像を生成する(以下、このような処理を"CT画像を撮影する"と称する)。CT装置110は、撮影したCT画像を断面画像生成装置120に送信する。
断面画像生成装置120は、CT装置110において撮影されたCT画像を、接続された画像DB130に格納する。また、断面画像生成装置120は、CT装置110において撮影されたCT画像を処理し、読影医等(以下、単に"読影医"と略す)に対して表示する。このとき、断面画像生成装置120は、読影医の指示に基づき、CT画像を生成した際に用いた断面とは異なる断面についての断面画像を生成し表示する。
なお、断面画像生成装置120には、読影支援プログラムがインストールされており、当該読影支援プログラムがコンピュータにより実行されることで、断面画像生成装置120は、読影支援部140として機能し、これらの処理を実行する。
画像DB130は、CT装置110において撮影されたCT画像を、断面画像生成装置120を介して受信し、同じ時期に撮影された複数のCT画像(基準断面についての断面画像群)ごとにわけて格納する。
読影支援部140は、画像DB130に格納されたCT画像について、読影医が読影を行う際に利用する機能である。読影支援部140は、例えば異なる時期に撮影されたCT画像を、読影医が比較しながら読影できるように並列に表示する。なお、以下では、並列に表示されたCT画像のうち、一方(例えば所定期間経過前に撮影された過去のCT画像)を"比較元CT画像"と称し、他方(例えば所定期間経過後に撮影された直近のCT画像)を"比較先CT画像"と称する。
読影支援部140は、比較元CT画像内において読影医により指定された位置を含む所定領域(ROI:Region of interest)の画像を拡大表示画面に拡大表示する。また、読影支援部140は、指定された位置を含む所定領域に対応する対応領域の画像を比較先CT画像より抽出し、拡大表示画面に拡大表示する。このように、読影支援部140は、指定された位置を含む所定領域の画像と、その対応領域の画像とを自動的に拡大表示する。このため、読影医にとっては、読影の負荷を軽減できるとともに、拡大表示する操作の手間を省くことができる。
なお、読影支援部140は、これらの処理を実行するために、第1のレジストレーション部141と、第2のレジストレーション部142と、表示制御部143とを有する。
第1のレジストレーション部141は、例えば、第1のレジストレーションプログラムがコンピュータにより実行されることで実現される。第1のレジストレーション部141は、異なる時期に撮影されたCT画像を並列に表示する際に、各CT画像間の位置ずれをアフィン変換により補正することで、各CT画像間の大域的位置合わせを行う。
第2のレジストレーション部142は、例えば、第2のレジストレーションプログラムがコンピュータにより実行されることで実現される。第2のレジストレーション部142は、読影医により指定された位置を含む所定領域の画像が拡大表示された場合に、比較先CT画像において変換処理を行うことで局所的位置合わせを行い、比較先CT画像より、対応領域の画像を抽出する。なお、変換処理には種々の処理が含まれるが、第1の実施形態において変換処理とは、平行移動を指すものとし、変換処理を行うことで比較先CT画像より抽出された対応領域の画像を、"局所的位置合わせが行われた画像"と称する。
更に、第2のレジストレーション部142は、読影医から断面変更の指示があった場合に、腫瘍に関して読影医が適切な読影を行うことができるように、基準断面とは異なる断面についての断面画像を生成する「断面変更処理」を行う。
表示制御部143は、例えば、表示プログラムがコンピュータにより実行されることで実現される。表示制御部143は、読影医により選択された比較元CT画像を表示するとともに、読影医により指定された位置を含む所定領域の画像を拡大表示画面に拡大表示する。また、表示制御部143は、第2のレジストレーション部142により抽出された、局所的位置合わせが行われた画像を拡大表示画面に拡大表示する。更に、表示制御部143は、第2のレジストレーション部142により断面変更処理が行われた場合にあっては、断面変更処理において生成された断面画像を、拡大表示画面に拡大表示する。
次に、断面画像生成装置120のハードウェア構成について説明する。図2は、断面画像生成装置のハードウェア構成を示す図である。図2に示すように、断面画像生成装置120は、CPU201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を備える。また、断面画像生成装置120は、補助記憶部204、接続部205、表示部206、操作部207、ドライブ部208を備える。なお、断面画像生成装置120の各部は、バス209を介して相互に接続されている。
CPU201は、補助記憶部204に格納された各種プログラム(例えば、第1のレジストレーションプログラム、第2のレジストレーションプログラム、表示プログラム等)を実行するコンピュータである。
ROM202は不揮発性メモリである。ROM202は、補助記憶部204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。
RAM203は揮発性メモリであり、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等を含む。RAM203は、補助記憶部204に格納された各種プログラムがCPU201によって実行される際に展開される、作業領域を提供する主記憶部である。
補助記憶部204は、断面画像生成装置120にインストールされた各種プログラムや、各種プログラムが実行されることで生成されるデータ等を記録するコンピュータ読み取り可能な記憶装置である。
接続部205は、CT装置110及び画像DB130と接続され、CT装置110及び画像DB130との間で、各種データの送受信を行う。表示部206は、画像DB130に格納されたCT画像を並列表示画面に表示する。操作部207は、読影医が断面画像生成装置120に対して行う各種操作を受け付ける。
ドライブ部208は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。
なお、補助記憶部204に格納される各種プログラムは、例えば、配布された記録媒体210がドライブ部208にセットされ、該記録媒体210に記録された各種プログラムがドライブ部208により読み出されることでインストールされる。あるいは、接続部205を介してネットワークからダウンロードされることでインストールされる。
次に、断面画像生成装置120の読影支援部140の処理内容と、読影支援部140により処理が実行される際の読影医の操作内容ならびに断面画像生成装置120の表示部206に表示される並列表示画面との関係について説明する。
図3及び図4は、断面画像生成装置における読影支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す図(その1、その2)である。
断面画像生成装置120において読影支援部140が起動すると、表示制御部143による処理が開始され、表示部206には、図3に示すように異なる時期に撮影されたCT画像を並列して表示させるための並列表示画面300が表示される。並列表示画面300には、所定の患者について所定の時期に撮影された所定の部位(ここでは肺)の断面画像群を、比較元CT画像群として、読影医が選択するための機能が設けられている。
表示制御部143は、読影医により選択された比較元CT画像群を、画像DB130より読み出す。更に、選択された比較元CT画像群の中から、読影医により所定の比較元CT画像(ここではファイル名="ImageA015")が指定されると、表示制御部143は、指定された比較元CT画像を並列表示画面300に表示する。
また、並列表示画面300には、比較元CT画像と比較すべく、異なる時期に撮影された同一患者の同一部位の断面画像群を、比較先CT画像群として、読影医が選択するための機能が設けられている。具体的には、患者IDや撮影日時、撮影部位(ここでは肺)等を入力して選択するための機能が設けられている。
表示制御部143は、入力された患者名、撮影日時、撮影部位等により特定される断面画像群を比較先CT画像群として、画像DB130より読み出す。更に、表示制御部143は、読み出した比較先CT画像群の中から読影医により指定された比較先CT画像(ここではファイル名="ImageB018")を読み出し、並列表示画面300に表示する。
このとき、読影支援部140は第1のレジストレーション部141が機能し、読み出した各CT画像に対して、回転や平行移動等のアフィン変換を用いて補正を行うことで大域的位置合わせを行う。CT画像全体に対して大域的位置合わせが行われることで、比較元CT画像と比較先CT画像との間の大域的な位置ずれが解消される。
大域的位置合わせが完了すると、並列表示画面は、表示された比較元CT画像において腫瘍部分Fの位置を読影医が指定できるようになる。並列表示画面において、読影医が腫瘍部分Fの位置を指定すると、図4に示すように、表示制御部143は、指定された腫瘍部分Fの位置を含む所定領域(ROI:Region of interest)401の画像を、比較元CT画像上の拡大表示画面に拡大表示する。
所定領域401の画像が拡大表示されると、第2のレジストレーション部142は、比較先CT画像の対応する領域に対して局所的位置合わせを行う。これにより、第2のレジストレーション部142は、腫瘍部分Fに対応する腫瘍部分の位置を含む対応領域の画像(局所的位置合わせが行われた画像)を抽出する。なお、第2のレジストレーション部142は、局所的位置合わせを行うにあたり集束判定(詳細は後述)を行う。また、第2のレジストレーション部142は、局所的位置合わせが行われることで得た対応領域の画像を、表示制御部143に通知する。
表示制御部143は、第2のレジストレーション部142より通知された対応領域402の画像を、比較先CT画像上の拡大表示画面に拡大表示する。これにより、局所的位置合わせが行われた画像として、腫瘍部分Fに対応する腫瘍部分F'の位置を含む対応領域402の画像を表示することができる。
なお、図4において、断面411aは、所定領域401の画像の基準断面を模式的に示したものである。同様に、断面412aは、対応領域402の画像の基準断面を模式的に示したものである。
第2のレジストレーション部142は、局所的位置合わせが行われることで得た対応領域402の画像について、読影医より断面変更の指示を受け付けると、断面変更処理(詳細は後述)を行う。断面変更処理を行うことで、第2のレジストレーション部142は、所定領域401及び対応領域402における、変更後の新たな断面についての断面画像を生成する。
これにより、表示制御部143は、所定領域401の画像及び対応領域402の画像に代えて、所定領域401及び対応領域402における、新たな断面についての断面画像を拡大表示する。なお、このとき、表示制御部143は、新たな断面(断面421a、422a)を示すための表示情報431、432を合わせて表示する。
図4において、断面422aは、対応領域402の画像を断面変更処理する際に用いた断面を模式的に示したものである。同様に、断面421aは、所定領域401の画像を断面変更処理する際に用いた断面を模式的に示したものである。断面421aの断面位置、断面方向、断面角度は、断面422aの断面位置、断面方向、断面角度に対応している。
また、第2のレジストレーション部142は、読影医より、腫瘍に対する集束の状態を表すベクトル(差分ベクトル)の表示指示があった場合に、対応領域402における新たな断面についての差分ベクトルを表示する。
このように、断面画像生成装置120によれば、比較元CT画像において読影医により腫瘍部分Fの位置が指定された場合に、所定領域401の画像を拡大表示することができる。また、所定領域401の画像に基づいて、局所的位置合わせを行うことで比較先CT画像より対応領域402の画像を抽出し、拡大表示することができる。更に、読影医より断面変更の指示を受け付けた場合、腫瘍に関する適切な読影を促進可能な新たな断面についての断面画像を生成し、拡大表示画面に拡大表示することができる。更に、新たな断面についての断面画像において、腫瘍に対する集束の状態を示す差分ベクトルを表示することができる。
これにより、読影医は、異なる時期に撮影された断面画像群に含まれる各CT画像間の対応領域を容易に把握することができるとともに、腫瘍に関する適切な読影を行うことができる。
次に、断面画像生成装置120により処理される断面画像群を格納する画像DB130について説明する。図5は、画像DBに格納される情報の一例を示す図である。図5に示すように、画像DB130に格納される情報は患者ごとに分類されて管理されており、図5は患者ID="xxx"の患者についての情報の一例を示している。
図5に示すように、情報の項目には、"撮影日時"、"撮影部位"、"シリーズ名"、"断面画像群"が含まれる。"撮影日時"には、CT画像を撮影した日時についての情報が格納される。"撮影部位"には、撮影対象となる特定の対象物(部位)についての情報が格納される。"シリーズ名"には、撮影により得られた複数のCT画像からなるシリーズを特定するためのシリーズ名が格納される。"断面画像群"には、撮影により得られた複数のCT画像(基準断面についての断面画像群)それぞれのファイル名が格納される。
図5の例は、撮影日時="H26.2.5"に撮影部位="肺"について撮影が行われることで得られた、ImageA001〜ImageA030のCT画像を含むシリーズ名="シリーズA"のシリーズが画像DB130に格納されていることを示している。また、撮影日時="H26.8.3"に撮影部位="肺"について撮影が行われることで得られた、ImageB001〜ImageB030のCT画像を含むシリーズ名="シリーズB"のシリーズが画像DB130に格納されていることを示している。
なお、図5中の点線は、"ImageA015"のCT画像が比較元CT画像として読影医により選択されたことを示している。また、"ImageB018"のCT画像が比較先CT画像として読影医により選択されたことを示している。
次に、読影支援部140の各部について説明する。なお、以下では、第1のレジストレーション部141及び表示制御部143についての説明は省略し、主に、第2のレジストレーション部142について説明する。
上述したとおり、大域的位置合わせが完了した時点では、比較元CT画像と比較先CT画像との間では全体的な位置の変動が補正されている一方で、局所的な位置の変動は残されている。このため、読影医により指定された腫瘍部分Fの位置を含む所定領域401に対応する対応領域402の画像を拡大表示するにあたり、第2のレジストレーション部142は、まず、比較元CT画像に対する比較先CT画像の局所的な位置の変動を求める。そして、求めた変動に応じて、比較先CT画像に対して平行移動による変換処理を行うことで、局所的位置合わせを行う。これにより、第2のレジストレーション部142は、対応領域402の画像を抽出することができる。
ここで、撮影部位="肺"の場合、局所的な位置の変動が生じる主な要因として、2つの要因(呼吸・心拍に基づくものと、腫瘍の変化(経時変化)に基づくもの)が挙げられる。図6は、比較元CT画像に対する比較先CT画像の局所的な位置の変動の要因を示した図である。
局所的な位置の変動が生じると、図6に示すように比較元CT画像上の所定領域401と同じ座標を有する比較先CT画像上の領域からは、例えば、画像610が抽出されることになる。
図6において、比較元CT画像における所定領域401の画像600と、所定領域401と同じ座標を有する比較先CT画像上の領域の画像610とを対比すると、両者は血管の位置や腫瘍の位置が大きくずれていることがわかる。なお、図6において、太線は血管601〜603、611〜613を示しており、網掛け領域は腫瘍部分F、F'を示している。
ここで、呼吸・心拍に基づく位置の変動とは、例えば、呼吸時の横隔膜の動きに伴う位置の変動をいう。患者が息を吐く場合と息を吸う場合とでは横隔膜の位置が変動するため、これに伴って肺の各部の位置が変動する。この結果、比較元CT画像と比較先CT画像との間には、撮影時の患者の呼吸の状態が完全に一致している場合を除き、呼吸・心拍に基づく局所的な位置の変動が含まれることになる。
なお、呼吸・心拍に基づく位置の変動は、例えば身体全体に対しては非剛体変形であるが、所定領域401は肺内の一部であるため、所定領域401は全体が所定方向に平行移動することになる。このため、所定領域401において、呼吸・心拍に基づく位置の変動は、剛体運動と見做すことができる。
一方、腫瘍の変化に基づく位置の変動とは、腺癌等のような悪性腫瘍が、肺胞を破壊しながら増殖し、肺胞が保っていた空気の分だけ肺胞の容積が減少すること等により生じる位置の変動をいう。
第2のレジストレーション部142は、これら2つの要因に基づく位置の変動のうち、腫瘍の変化(経時変化)に基づく位置の変動分を差し引くことで、呼吸・心拍に基づく位置の変動分を抽出する。そして、第2のレジストレーション部142は、呼吸・心拍に基づく位置の変動分に基づいて局所的位置合わせを行う。
ここで、腫瘍の変化(経時変化)に基づく位置の変動について図7を用いて更に詳説する。図7は、腫瘍の変化に基づく位置の変動を更に詳細に説明するための図である。
図7(a)は、腺癌等の悪性腫瘍が腫瘍中心点Oに示す位置に発生した直後の周辺組織の様子を示している。図7(a)に示すように、悪性腫瘍が発生した直後の状態では腫瘍中心点Oから気管支711の点D1までの距離及び血管712の点C1までの距離は、それぞれr1である。
図7(b)は、悪性腫瘍が腫瘍周辺の肺胞を破壊しつつ増殖したことで、気管支711や血管712を含む周辺組織が腫瘍中心点Oに向かって移動した様子を示している。図7(b)に示すように、周辺組織が腫瘍中心点Oに向かって移動したことで、腫瘍中心点Oから気管支711の点D2までの距離及び血管712の点C2までの距離は、それぞれr2(<r1)となる。
図7(c)は、悪性腫瘍が腫瘍周辺の肺胞を更に破壊して増殖したことで、気管支711や血管712を含む周辺組織が更に腫瘍中心点Oに向かって移動した様子を示している。図7(c)に示すように、周辺組織が腫瘍中心点Oに向かって移動したことで、腫瘍中心点Oから気管支711の点D3までの距離及び血管712の点C3までの距離は、それぞれr3(<r2)となる。
このように、腫瘍の変化に基づく位置の変動は、周辺組織が腫瘍中心点Oに向かうという特性があり、非剛体変形と見做すことができる。
なお、図7に示すように、腫瘍の周辺組織は、腫瘍領域703の組織と、集束領域702の組織と、正常領域701の組織とに大別することができる。腫瘍領域703では、新たに出現した悪性腫瘍により破壊されることで、図7(a)において存在していた組織の一部が消失し、図7(c)においては存在しない。一方、集束領域702では、図7(a)において存在していた組織が図7(c)においても存在するが、対応する組織の位置が変動している(B1→B2→B3)。一方、正常領域701では、図7(a)において存在していた組織が図7(c)においても存在しており、対応する組織の位置(A1→A2→A3)もほとんど変動していない。
以上、図6及び図7の説明から明らかなように、比較元CT画像と比較先CT画像との間の局所的な位置の変動の要因には、剛体運動と見做せる"呼吸・心拍に基づくもの"と非剛体変形となる"腫瘍の変化に基づくもの"とがある。また、"腫瘍の変化に基づくもの"の場合、腫瘍中心点Oに向かうという特性があり、その度合いに応じて、腫瘍の周辺組織を正常領域701、集束領域702、腫瘍領域703に大別することができる。
次に、比較先CT画像において、図6に示したような剛体運動と非剛体変形とが混在している領域について、第2のレジストレーション部142が局所的位置合わせを行う場合の問題点について図8及び図9を用いて説明する。
上述したとおり、比較先CT画像において局所的位置合わせを行うにあたり、第2のレジストレーション部142は、平行移動による変換処理を行う。つまり、非剛体を想定した変換処理ではなく剛体を想定した変換処理を行う。
ここで、平行移動による変換処理を行うにあたり、第2のレジストレーション部142は、所定領域401が比較先CT画像のどの位置に移動したか(所定領域401と対応領域402との位置関係)を示す代表ベクトルの算出を行う。
図8は、代表ベクトルの算出処理及び対応領域の算出処理を説明するための図である。このうち、図8(a)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置との差である対応ベクトル(黒矢印)を示したものである。なお、領域800は、比較元CT画像の所定領域401に含まれる特徴点に対応する比較先CT画像中の特徴点が含まれる領域であって、代表ベクトルの算出に用いられる領域である。以下、比較先CT画像中の当該領域を代表ベクトル算出対象領域800と称する。
つまり、第2のレジストレーション部142において、比較元CT画像の所定領域401と、比較先CT画像の代表ベクトル算出対象領域800とは、撮影部位(肺)に含まれる腫瘍及びその周辺組織の内部構造を示すデータに他ならない。
ここで、第2のレジストレーション部142が、代表ベクトル算出対象領域800に含まれるすべての対応ベクトルを用いて、代表ベクトル810を算出したと仮定する。この場合、局所的位置合わせが行われた画像は、図8(b)に示す処理を実行することにより抽出することができる。
図8(b)は、代表ベクトル810を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図8(b)に示すように、第2のレジストレーション部142は、比較元CT画像の所定領域401と同じ座標を有する比較先CT画像中の領域801を、代表ベクトル810に基づいて平行移動させることで領域802を求める。そして、比較先CT画像より領域802の画像を抽出することで、局所的位置合わせが行われた画像を抽出する。
しかしながら、このようにして抽出した画像は、剛体運動と非剛体変形とが混在している領域において、剛体運動のみが生じていると仮定して代表ベクトルを求め、仮定した剛体運動を相殺するように平行移動させることで得た画像に他ならない。つまり、非剛体変形分の影響をも相殺するように平行移動させていることになる。
図8(c)、図8(d)を用いて更に詳説する。図8(c)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置とを結ぶ対応ベクトルのうち、呼吸・心拍に基づく位置の変動分(剛体運動分)の対応ベクトルを示したものである。図8(c)に示すように、剛体運動分の対応ベクトルは、いずれも同じ方向を向いており、また、いずれも同じ長さとなっている。なお、剛体運動分の対応ベクトルは、正常領域701及び集束領域702に存在する。ただし、腫瘍領域703には比較元CT画像の特徴点に対応する比較先CT画像の特徴点が存在しないため、対応ベクトルも存在しない。
一方、図8(d)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置とを結ぶ対応ベクトルのうち、腫瘍の変化に基づく位置の変動分(非剛体変形分)の対応ベクトルを示したものである。図8(d)に示すように、非剛体変形分の対応ベクトルは、集束領域702(ただし、腫瘍領域703は除く)内にのみ存在し、中心方向を向いている。
このように剛体運動分の対応ベクトルと非剛体変形分の対応ベクトルとでは、ベクトルの長さ及び向きに違いがあり、存在する位置にも違いがある。
なお、図8(a)に示した対応ベクトルは図8(c)に示す対応ベクトルと図8(d)に示す対応ベクトルとを足し合わせたものである。
つまり、図8(a)に示した対応ベクトルのうち集束領域702に相当する位置に存在する対応ベクトルには、剛体運動分の対応ベクトルと非剛体変形分の対応ベクトルとが混在していることになる。このため、集束領域702に相当する位置に存在する対応ベクトルを含めて代表ベクトル810を算出した場合、代表ベクトル810には、非剛体変形の影響が含まれることとなる。そして、このような代表ベクトル810により局所的位置合わせを行っても、精度の高い位置合わせを行うことはできない。
具体的な画像を用いて説明する。図9は、非剛体変形の影響を含む代表ベクトルを用いて局所的位置合わせが行われた画像を示す図である。なお、図9の例では、局所的位置合わせが行われた画像900(比較先CT画像の領域802の画像)と、比較元CT画像における所定領域401の画像600とを重ねて示している。
図9に示すように、画像900に含まれる血管901〜903及び腫瘍部分F'の位置は、局所的位置合わせを行ったにも関わらず画像600に含まれる血管601〜603及び腫瘍部分Fの位置に対してずれてしまっている。
以上のような、剛体運動と非剛体変形とが混在している領域での代表ベクトル算出の際の問題点に鑑みて、第1の実施形態の第2のレジストレーション部142は、非剛体変形の影響を排除して代表ベクトルを求め、局所的位置合わせを行う。
更に、第1の実施形態の第2のレジストレーション部142は、局所的位置合わせを行うことで得た対応領域402の画像を、非剛体変形の影響がより現れる断面における断面画像に変更する断面変更処理を行う。
これにより、第1の実施形態によれば、呼吸・心拍に基づく位置の変動分を相殺する局所的位置合わせを行うことで得た対応領域について、非剛体変形の影響(つまり、腫瘍の変化(経時変化)に基づく位置の変動分)がより現れた断面画像を表示することができる。
なお、第2のレジストレーション部142において、腫瘍の変化(経時変化)に基づく位置の変動分を算出することは、腫瘍及びその周辺組織の内部構造の構造変化を検出することに等しい。換言すると、代表ベクトル算出対象領域800の画像において表される内部構造について、所定領域401の画像において表される内部構造からの構造変化を検出することに等しい。
以下、図10を用いて、第1の実施形態の第2のレジストレーション部142の機能構成を説明し、図11〜図16を用いて、第2のレジストレーション部142を構成する各部の具体的な処理内容について説明する。更に、図17〜図21のフローチャートを用いて、第2のレジストレーション部142により実行される処理の流れについて説明する。
図10は、第2のレジストレーション部の機能構成を示す図である。図10に示すように、第2のレジストレーション部142は、領域識別部1001と、対応ベクトル算出部1002と、集束領域判定部1003と、代表ベクトル算出部1004と、位置合わせ部1005とを有する。更に、第2のレジストレーション部142は、部分画像抽出部1006と、断面画像生成部1007とを有する。
領域識別部1001は、読影医により指定された位置を含む所定領域401を識別する。具体的には、所定領域401の位置を特定する比較元CT画像上の座標を取得する。
対応ベクトル算出部1002は、領域識別部1001により識別された比較元CT画像の所定領域401より、特徴点を抽出する。また、対応ベクトル算出部1002は、抽出した各特徴点に対応する比較先CT画像中の各特徴点を検索する。更に、対応ベクトル算出部1002は、比較元CT画像より抽出した各特徴点の位置と、該各特徴点に対応する比較先CT画像中の各特徴点の位置との差に基づいて、対応ベクトルを算出する。
集束領域判定部1003は、対応ベクトル算出部1002において算出した対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かの判定を行う。また、集束領域702が含まれていると判定した場合、集束領域判定部1003は、正常領域701と集束領域702との境界位置を算出する。更に、集束領域判定部1003は、集束領域702が含まれているか否かの判定結果と、正常領域701と集束領域702との境界位置の算出結果とを、代表ベクトル算出部1004に通知する。
代表ベクトル算出部1004は、対応ベクトル算出部1002において算出された対応ベクトルに基づいて、代表ベクトル算出対象領域800における代表ベクトルを算出する。代表ベクトル算出部1004は、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定された場合には、代表ベクトル算出対象領域800内の全ての対応ベクトル(ただし腫瘍領域は除く)を用いて代表ベクトルを算出する。一方、代表ベクトル算出対象領域800に集束領域702が含まれていると判定された場合には、代表ベクトル算出対象領域800内の対応ベクトルのうち、集束領域(及び腫瘍領域)に含まれる対応ベクトルを除く対応ベクトルを用いて代表ベクトルを算出する。
なお、第1の実施形態において、代表ベクトル算出部1004は、対応ベクトルを用いて代表ベクトルを算出するにあたり、平均処理を行う。
位置合わせ部1005は、代表ベクトル算出部1004において算出された代表ベクトルに基づいて、所定領域401に対応する対応領域402の画像を比較先CT画像より抽出する。具体的には、位置合わせ部1005は、所定領域401の位置を特定する座標を、比較先CT画像上において代表ベクトルを用いて移動させることで移動後の座標を算出する。更に、位置合わせ部1005は、算出した移動後の座標により特定される領域(対応領域402)の画像を比較先CT画像より抽出することで、局所的位置合わせが行われた画像を取得する。
なお、第1の実施形態において、領域識別部1001〜位置合わせ部1005は、比較元CT画像と比較先CT画像に対して処理を実行するだけでなく、前後の各層のCT画像に対しても同様の処理を実行する。比較元CT画像の前後の各層のCT画像とは、例えば、比較元CT画像がファイル名="ImageA015"であった場合、ファイル名="ImageA010"〜"ImageA014"のCT画像等を指す。あるいは、ファイル名="ImageA016"〜"ImageA020"のCT画像等を指す。また、比較先CT画像の前後の各層のCT画像とは、例えば、比較先CT画像がファイル名="ImageB018"のCT画像であった場合、ファイル名="ImageB014"〜"ImageB017"のCT画像等を指す。あるいは、ファイル名="ImageB019"〜"ImageB022"のCT画像等を指す。
このため、領域識別部1001は、比較元CT画像及び比較元CT画像の前後の各層のCT画像に基づいて、腫瘍及びその周辺組織の内部構造を示すデータである、所定領域401の画像を生成する生成手段として機能する。
また、対応ベクトル算出部1002は、比較先CT画像及び比較先CT画像の前後の各層のCT画像に基づいて、腫瘍及びその周辺の内部構造を示すデータである、代表ベクトル算出対象領域800の画像を生成する生成手段として機能する。
更に、集束領域判定部1003は、領域識別部1001により生成された所定領域401の画像と、対応ベクトル算出部1002により生成された代表ベクトル算出対象領域800の画像とに基づいて、構造変化を検出する検出手段として機能する。
部分画像抽出部1006は、読影医から断面変更の指示があった場合に、対応領域402に関して、基準断面とは異なる断面を特定する。また、部分画像抽出部1006は、特定した断面についての断面画像を生成するための部分画像を、比較先CT画像及び比較先CT画像の前後の各層のCT画像より抽出する。同様に、部分画像抽出部1006は、所定領域401に関して、基準断面とは異なる断面を特定する。また、部分画像抽出部1006は、特定した断面についての断面画像を生成するための部分画像を、比較元CT画像及び比較元CT画像の前後の各層のCT画像より抽出する。
断面画像生成部1007は、基準断面とは異なる断面についての断面画像を生成し、表示制御部143に通知する。具体的には、断面画像生成部1007は、部分画像抽出部1006が比較元CT画像及び比較元CT画像の前後の各層のCT画像より抽出した部分画像を用いて断面画像を生成し、表示制御部143に通知する。また、断面画像生成部1007は、部分画像抽出部1006が比較先CT画像及び比較先CT画像の前後の各層のCT画像より抽出した部分画像を用いて断面画像を生成し、表示制御部143に通知する。なお、断面画像生成部1007は、生成した断面画像を表示制御部143に通知するにあたり、生成に用いた断面を示すための表示情報431、432も合わせて通知する。
また、断面画像生成部1007は、読影医から差分ベクトルの表示指示があった場合、比較先CT画像及び比較先CT画像の前後の各層のCT画像より抽出した部分画像に含まれる差分ベクトルを、生成した断面画像に重畳する。更に、断面画像生成部1007は、差分ベクトルを重畳した断面画像を表示制御部143に通知する。
つまり、断面画像生成部1007は、基準断面とは異なる新たな断面についての断面画像を生成する生成手段として機能する。また、表示制御部143は、生成した断面画像を、差分ベクトル(構造変化を示す情報)とともに表示する表示手段として機能する。
次に、図10に示した第2のレジストレーション部142に含まれる各部のうち、集束領域判定部1003、代表ベクトル算出部1004、位置合わせ部1005、部分画像抽出部1006、断面画像生成部1007の各部の処理内容の具体例について説明する。
はじめに、集束領域判定部1003の処理内容の具体例について説明する。図11は、集束領域判定部の処理内容を示す図である。
図11の例は、代表ベクトル算出対象領域800の中心から辺縁までを、矩形枠状に所定の刻み幅の区画で区分けし、各区画の対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する様子を示したものである。
なお、代表ベクトル算出対象領域800の中心から辺縁までの距離をR、刻み幅をΔRとする。また、ここでは矩形枠状に区分けする場合について説明するが、矩形枠状に区分けする代わりに円環状に区分けしてもよい。
集束領域判定部1003は、R〜(R−ΔR)の範囲内の区画群1101(図11の左端に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。更に、集束領域判定部1003は、(R−ΔR)〜(R−ΔR×2)の範囲内の区画群1102(図11の中央に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。
そして、集束領域判定部1003は、抽出した対応ベクトルのうち、区画群1101の対応ベクトルと区画群1102の対応ベクトルとの間で隣接する対応ベクトル同士の差を算出し、差分ベクトルを求める。このようにして求めた差分ベクトルは、比較元CT画像と比較先CT画像との間での特徴点の位置の変化の差を示すものということができる。図11の右端に示す代表ベクトル算出対象領域800内の各ベクトルは、区画群1101の対応ベクトルと区画群1102の対応ベクトルとに基づいて算出した差分ベクトルの一例を示している。
集束領域判定部1003は、このようにして求めた差分ベクトルが所定の閾値より大きい場合、当該差分ベクトルの方向を判定する。また、集束領域判定部1003は、当該差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向に向かっていると見做せる場合には、集束領域が含まれていると判定する。また、集束領域判定部1003は、集束領域が含まれているとの判定に用いられた差分ベクトルを算出する際に用いた対応ベクトルが存在する、2つの区画群の境界位置を、正常領域701と集束領域702との境界位置と判定する。
なお、図11の説明から明らかなように、集束領域判定部1003は、はじめに、代表ベクトル算出対象領域800の最も外側に位置する区画群1101より抽出した対応ベクトルを用いて差分ベクトルを求める。これは、当該対応ベクトルが、腫瘍の変化に基づく位置の変動の影響を受けていない対応ベクトルであって、呼吸・心拍に基づく位置の変動に伴う対応ベクトルであると推定できるからである。
また、集束領域判定部1003は隣接する対応ベクトル間の差を算出する。これは、隣接する対応ベクトル間では、呼吸・心拍に基づく位置の変動に大きな差異はなく、差を算出することで、呼吸・心拍に基づく位置の変動の影響を差し引くことができるからである。つまり、隣接する対応ベクトル間の差を算出することで求められる差分ベクトル(ただし、所定の閾値以上の大きさを有する差分ベクトル)は、腫瘍の変化に基づく位置の変動分の対応ベクトル(つまり、構造変化を示す情報)を表しているということができる。
なお、集束領域判定部1003が差分ベクトルの方向を判定するのは、集束領域における対応ベクトルは、腫瘍中心点Oの方向を向くという特性があるため、腫瘍の変化に基づく位置の変動であることを識別するのに有効だからである。
次に、代表ベクトル算出部1004の処理内容の具体例について説明する。図12は、集束領域があると判定された場合の代表ベクトルの算出方法を示す図である。
代表ベクトル算出部1004は、代表ベクトル算出対象領域800に集束領域702が含まれている場合、代表ベクトル算出対象領域800において算出された各対応ベクトルのうち、集束領域702内に存在する対応ベクトルを除いて、代表ベクトルを求める。図12(a)の例では、代表ベクトル算出対象領域800において15個の対応ベクトル(黒矢印)が算出されており、このうち、集束領域702内に存在する4個の対応ベクトルを除く、11個の対応ベクトルを用いて代表ベクトルを算出する。
代表ベクトル1200は、11個の対応ベクトルを用いて算出した代表ベクトルを示している。このように、集束領域702内に存在する4個の対応ベクトルを除くことで、非剛体変形の影響(つまり、腫瘍の変化(経時変化)に基づく位置の変動分)を排除して代表ベクトルを求めることができる。
図12(b)は、代表ベクトル1200を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図12(b)に示すように、第2のレジストレーション部142は、比較元CT画像の所定領域401に対応する比較先CT画像中の領域801を、代表ベクトル1200に応じて平行移動させることで対応領域402を求めることができる。更に、比較先CT画像より対応領域402の画像を抽出することで、第2のレジストレーション部142は、局所的位置合わせが行われた画像を抽出することができる。
一方、図13は、集束領域がないと判定された場合の代表ベクトルの算出方法を示す図である。代表ベクトル算出部1004では、代表ベクトル算出対象領域800に集束領域702が含まれていない場合、代表ベクトル算出対象領域800において算出された各対応ベクトルを用いて代表ベクトルを求める。ただし、腫瘍領域703内に含まれる対応ベクトルは除くものとする。なお、腫瘍領域703内においては、特徴点の対応点が存在しないため、対応ベクトルは存在しないことから、腫瘍領域703内に存在する対応ベクトルを除くか否かに関わらず、算出される代表ベクトルは同じとなる。
図13(a)の例では、代表ベクトル算出対象領域800において15個の対応ベクトル(黒矢印)が算出されており、代表ベクトル算出部1004は、これらを用いて代表ベクトルを算出する。代表ベクトル1300は、15個の対応ベクトルを用いて算出した代表ベクトルを示している。このように、代表ベクトル算出対象領域800内に集束領域702が含まれていない場合、非剛体変形の影響を受けることはないため、全ての対応ベクトルを用いて代表ベクトルを算出することができる。
図13(b)は、代表ベクトル1300を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図13(b)に示すように、第2のレジストレーション部142は、比較元CT画像の所定領域401に対応する比較先CT画像中の領域801を、代表ベクトル1300に応じて平行移動させることで対応領域402を求めることができる。更に、比較先CT画像より対応領域402の画像を抽出することで、第2のレジストレーション部142は、局所的位置合わせが行われた画像を抽出することができる。
ここで、非剛体変形の影響を排除した代表ベクトル1200を用いて、位置合わせ部1005が局所的位置合わせを行うことで得た対応領域402の画像について説明する。図14は、非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得た画像を示す図である。
なお、図14の例は、比較先CT画像の対応領域402の画像1400と、比較元CT画像の所定領域401の画像600とを重ねて示している。
図14に示すように、画像1400に含まれる血管1401〜1403及び腫瘍部分F'の位置は、画像600に含まれる血管601〜603及び腫瘍部分Fの位置と概ね同じである。つまり、画像1400の場合、心拍・呼吸に基づく位置の変動が打ち消されている。一方で、血管1402、1403のうち、腫瘍部分F'の周辺に位置する血管は、画像600に含まれる血管601〜603のうち、腫瘍部分Fの周辺に位置する血管に対して、位置がずれている。つまり、画像1400の場合、腫瘍の変化に基づく位置の変動の影響は残されている。
次に、部分画像抽出部1006の処理内容の具体例について説明する。図15は、部分画像抽出部の処理内容を示す図である。図15(a)は、断面を示すための表示情報432を表している。なお、図15(a)に示すx軸は、患者の左右方向を表しており、y軸は、患者の前後方向を表しているものとする。また、z軸は、患者の上下方向を表しているものとする。一方、図15(b)、(c)は、比較先CT画像の前後の各層の対応領域及び部分画像を表している。
図15(a)〜(c)に示すように、部分画像抽出部1006は、比較先CT画像(ファイル名="ImageB018")に含まれる対応領域402の画像を、位置合わせ部1005より取得する。また、部分画像抽出部1006は、対応領域402の画像のうち、腫瘍を含む部分画像1514を抽出する。なお、部分画像1514により特定される範囲に、差分ベクトルが含まれる場合には、当該差分ベクトルも合わせて抽出する。
同様に、部分画像抽出部1006は、比較先CT画像の1つ前の層のCT画像(ファイル名="ImageB017")に含まれる対応領域1503の画像のうち、断面422aに対応する部分画像1513を抽出する。
同様に、部分画像抽出部1006は、比較先CT画像の前の各層のCT画像(ファイル名="ImageB016"、"ImageB015")に含まれる対応領域1502、1501の画像のうち、断面422aに対応する部分画像1512、1511を抽出する。
また、部分画像抽出部1006は、比較先CT画像の1つ後の層のCT画像(ファイル名="ImageB019")に含まれる対応領域1505の画像のうち、断面422aに対応する部分画像1515を抽出する。
同様に、部分画像抽出部1006は、比較先CT画像の後の各層のCT画像(ファイル名="ImageB020"、"ImageB021")に含まれる対応領域1506、1507の画像のうち、断面422aに対応する部分画像1516、1517を抽出する。
次に、断面画像生成部1007の処理内容の具体例について説明する。図16は、断面画像生成部1007の処理内容を示す図である。
断面画像生成部1007は、部分画像抽出部1006において抽出された部分画像1511〜1517(図15参照)に基づいて、断面画像(断面422aについての断面画像)を生成する。断面422aについての断面画像422は、患者の腫瘍の周辺組織を断面422aに略直交する方向から見た場合の断面画像である。
図16の例では、対比のために、基準断面である断面412aについての断面画像1600(=比較先CT画像内の対応領域402の画像1400)も合わせて示している。図16に示すように、断面412aについての断面画像1600に含まれる差分ベクトルの数及び大きさと、断面422aについての断面画像422に含まれる差分ベクトルの数及び大きさとは、等しくない。
これは、集束自体は均一に起こっていると考えられるが、集束に伴う経時変化(移動)を観測できる血管などの組織が、肺内に均一に分布しているとは限らないからである。したがって、差分ベクトルが観測された血管等の組織が、腫瘍に近い場合には、強い集束力を受けて、大きな移動を示す差分ベクトルとなり、逆に、腫瘍から遠い場合には、弱い集束力を受けて、小さな移動を示す差分ベクトルとなる。ここで、読影医にとっては、組織の移動量が大きい断面についての断面画像を読影する方が、腫瘍に対する集束を容易に見つけることができ、腫瘍が腺癌であることを誤りなく判断できる可能性が高い。
そこで、第1の実施形態では、断面画像生成部1007が、組織の移動量が大きい所定の断面422aについての断面画像を生成し、読影医が読影に際して利用できるようにする。図16の例によれば、断面412aについての断面画像1600に含まれる差分ベクトルは2つ(1600_1〜1600_2)である。これに対して、断面422aについての断面画像422に含まれる差分ベクトルの数は7つ(422_1〜422_7)あり、ベクトルの大きさも大きい。
したがって、断面422aについての断面画像422を対応領域402の画像1400(=断面412aについての断面画像1600)に代えて拡大表示することで、読影医は、腫瘍に対する集束を容易に見つけることができる。この結果、読影医は腫瘍が腺癌であることを誤りなく判断することができるようになる。
次に、第2のレジストレーション部142により実行される処理の流れについて説明する。図17は、第2のレジストレーション部により実行される処理の第1のフローチャートである。
ステップS1701において、領域識別部1001は、比較元CT画像において読影医により指定された腫瘍部分Fの位置を中心とする所定領域401を識別する。
ステップS1702において、対応ベクトル算出部1002は、領域識別部1001により識別された比較元CT画像の所定領域401より、特徴点を抽出する。また、抽出した各特徴点に対応する比較先CT画像中の各特徴点を検索し、抽出する。
ステップS1703において、集束領域判定部1003は、比較先CT画像より抽出された各特徴点を含む領域を代表ベクトル算出対象領域800として抽出する。
ステップS1704において、対応ベクトル算出部1002は、比較元CT画像より抽出した各特徴点の位置と、該特徴点に対応する比較先CT画像中の各特徴点の位置との差に基づいて、対応ベクトルを算出する。
ステップS1705において、集束領域判定部1003は、算出された対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する。また、集束領域702が含まれると判定した場合、集束領域判定部1003は、正常領域701と集束領域702との境界位置を算出する。なお、ステップS1705の集束領域判定処理の詳細なフローチャートは後述する。
ステップS1706において、代表ベクトル算出部1004は、集束領域判定処理(ステップS1705)の結果に基づいて、集束領域702の有無を判断する。ステップS1706において集束領域702が含まれていないと判断した場合には(ステップS1706において"No")、ステップS1707に進む。ステップS1707において、代表ベクトル算出部1004及び位置合わせ部1005は、腺癌以外の腫瘍に応じた局所的位置合わせ処理を行う。なお、ステップS1707の局所的位置合わせ処理(腺癌以外)の詳細なフローチャートは後述する。
ステップS1708において、代表ベクトル算出部1004は、局所的位置合わせが行われた画像を、対応領域402の画像として表示制御部143に通知する。これにより、局所的位置合わせが行われた画像が拡大表示画面に拡大表示される。
一方、ステップS1706において、集束領域702が含まれていると判断した場合には(ステップS1706において"Yes")、ステップS1709に進む。ステップS1709において、代表ベクトル算出部1004及び位置合わせ部1005は、腺癌に応じた局所的位置合わせ処理を行う。なお、ステップS1709の局所的位置合わせ処理(腺癌)の詳細なフローチャートは後述する。
ステップS1710において、代表ベクトル算出部1004は、局所的位置合わせが行われた画像1400を、対応領域402の画像として表示制御部143に通知する。これにより、ステップS1709において局所的位置合わせが行われた画像1400が拡大表示画面に拡大表示される。
ステップS1711において、部分画像抽出部1006は、拡大表示画面に拡大表示された画像1400についての断面変更指示(または、断面変更指示及び差分ベクトル表示指示の両方)が入力されたか否かを判定する。
ステップS1711において、断面変更指示が入力されなかったと判定した場合には(ステップS1711において"No")、第2のレジストレーション部による処理を終了する。一方、ステップS1711において、断面変更指示が入力されたと判定した場合には(ステップS1711において"Yes")、ステップS1712に進む。
ステップS1712において、部分画像抽出部1006は、領域識別部1001〜位置合わせ部1005に対して、比較先CT画像の前後の各層のCT画像について、ステップS1701からステップS1706、S1709の処理を実行するよう指示する。
また、部分画像抽出部1006は、比較先CT画像及び比較先CT画像の前後の各層のCT画像に含まれる対応領域(対応領域1501〜1503、402、1505〜1507)の画像から、部分画像1511〜1517を抽出する。更に、断面画像生成部1007は、抽出された部分画像1511〜1517に基づいて断面画像(断面422aについての断面画像422)を生成し、表示制御部143に通知する。これにより、断面変更処理が行われることで得た断面画像(断面422aについての断面画像422)が、局所的位置合わせが行われた画像1400(=断面412aについての断面画像1600)に代わって、拡大表示画面に拡大表示される。
更に、部分画像抽出部1006は、比較元CT画像及び比較元CT画像の前後の各層のCT画像に含まれる所定領域から、部分画像を抽出する。更に、断面画像生成部1007は、抽出された部分画像に基づいて断面画像を生成し、表示制御部143に通知する。これにより、ステップS1712において断面変更処理が行われることで得られた断面画像が、所定領域401の画像600に代わって、拡大表示画面に拡大表示される。なお、ステップS1712の断面変更処理の詳細なフローチャートは後述する。
次に、集束領域判定処理(ステップS1705)の詳細について説明する。図18は、集束領域判定処理のフローチャートである。
ステップS1801において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心(腫瘍中心点O)から辺縁までを、円環状または矩形枠状に刻み幅ΔRで区分けする。ステップS1802において、集束領域判定部1003は、カウンタiに1を代入する。
ステップS1803において、集束領域判定部1003は、(R−ΔR×(i−1))〜(R−ΔR×i)の範囲の区画群と、当該区画群の内側(腫瘍に近い側)に位置する(R−ΔR×i)〜(R−ΔR×(i+1))の範囲の区画群とを抽出する。
ステップS1804において、集束領域判定部1003は、抽出した各区画群に存在する対応ベクトルのうち、隣接する対応ベクトルの差を算出し、差分ベクトルを求める。
ステップS1805において、集束領域判定部1003は、差分ベクトルの大きさが閾値以下であるか否かを判定する。ステップS1805において閾値以下であると判定した場合には(ステップS1805において"Yes")、ステップS1806に進み、カウンタiをインクリメントする。
ステップS1807において、集束領域判定部1003は、i≧R/ΔRが成立するか否かを判定する。成立しないと判定した場合(ステップS1807において"No")、集束領域判定部1003は、更に内側(腫瘍に近い側)に区画群があると判定し、ステップS1803に戻る。
一方、ステップS1807において、i≧R/ΔRが成立すると判定した場合(ステップS1807において"Yes")、集束領域判定部1003は、全ての区画群について差分ベクトルを算出したと判定し、ステップS1808に進む。
ステップS1808において、集束領域判定部1003は、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定し、集束領域判定処理を終了する。
一方、ステップS1805において差分ベクトルの大きさが閾値より大きいと判定した場合には(ステップS1805において"No")、ステップS1809に進む。ステップS1809において、集束領域判定部1003は、差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向に向かっているか否かを判定する。
ステップS1809において、中心方向に向かってないと判定した場合には(ステップS1809において"No")、ステップS1806に進む。一方、ステップS1809において、中心方向に向かっていると判定した場合には(ステップS1809において"Yes")、ステップS1810に進む。
ステップS1810において、集束領域判定部1003は、代表ベクトル算出対象領域800に集束領域702が含まれていると判定し、ステップS1811に進む。ステップS1811において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心からの距離が(R−ΔR×i)の位置を正常領域701と集束領域702との境界位置と判定し、集束領域判定処理を終了する。
次に、ステップS1707の局所的位置合わせ処理(腺癌以外)の詳細について説明する。図19は、局所的位置合わせ処理(腺癌以外)のフローチャートである。
ステップS1901において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800のうち、腫瘍領域703に対してマスクする。
ステップS1902において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に含まれる対応ベクトルのうち、ステップS1901においてマスクした腫瘍領域703以外の領域の対応ベクトルを用いて、代表ベクトルを算出する。
ステップS1903において、位置合わせ部1005は、算出された代表ベクトルを用いて、比較先CT画像より、所定領域401に対応する対応領域402の画像を抽出する。これにより、局所的位置合わせが行われた画像を抽出することができる。
次に、ステップS1709の局所的位置合わせ処理(腺癌)の詳細について説明する。図20は、局所的位置合わせ(腺癌)のフローチャートである。ステップS1911において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800のうち、腫瘍領域703を含む集束領域702に対してマスクする。
ステップS1912において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に含まれる対応ベクトルのうち、ステップS1911においてマスクした集束領域702以外の領域の対応ベクトルを用いて、代表ベクトルを算出する。
ステップS1913において、位置合わせ部1005は、算出された代表ベクトルを用いて、比較先CT画像より、所定領域401に対応する対応領域402の画像1400を抽出する。これにより、局所的位置合わせが行われた画像を抽出することができる。
次に、断面変更処理(ステップS1712)の詳細について説明する。図21は、断面変更処理のフローチャートである。
ステップS2001において、部分画像抽出部1006は、所定の断面を特定する。所定の断面とは、腫瘍を含む平面であって、基準断面に対して所定の軸周り(断面方向)に所定の断面角度だけ回転させることで得られる断面412aである。所定の断面は、予め定められていてもよいし、読影医が指示してもよい。
ステップS2002において、部分画像抽出部1006は、領域識別部1001〜対応ベクトル算出部1002に対して、比較元CT画像の前後の各層と、比較先CT画像の前後の各層との間での、層ごとの対応ベクトルを算出するよう指示する。これにより、領域識別部1001〜対応ベクトル算出部1002は、比較元CT画像の前後の各層と、比較先CT画像の前後の各層との間で、層ごとの対応ベクトルを算出する。
ステップS2003において、部分画像抽出部1006は、集束領域判定部1003に対して、各層についての集束領域判定処理を実行するよう指示する。これにより、集束領域判定部1003は、各層についての集束領域判定処理を実行する。なお、各層において実行される集束領域判定処理の内容は、図18を用いて説明した集束領域判定処理と同じであるため、ここでは詳細な説明は省略する。
ステップS2004において、部分画像抽出部1006は、代表ベクトル算出部1004及び位置合わせ部1005に対して、各層についての局所的位置合わせ処理を実行するよう指示する。これにより、代表ベクトル算出部1004及び位置合わせ部1005は、各層についての局所的位置合わせ処理を実行する。なお、各層において実行される局所的位置合わせ処理の内容は、図20を用いて説明済みであるため、ここでは詳細な説明は省略する。
ステップS2005において、部分画像抽出部1006は、ステップS2004において局所的位置合わせが行われた画像(対応領域1501〜1503、402、1505〜1507の画像)を取得する。更に、部分画像抽出部1006は、取得した対応領域1501〜1503、402、1505〜1507の画像それぞれより、ステップS2001において特定した断面(422a)に応じた部分画像1511〜1517を抽出する。
ステップS2006において、断面画像生成部1007は、ステップS2005において抽出した部分画像1511〜1517に基づいて、断面画像(断面422aについての断面画像422)を生成する。なお、差分ベクトル表示指示が入力されていた場合にあっては、ステップS2005において抽出された部分画像にそれぞれ含まれる差分ベクトルを合わせて取得し、断面画像422に重畳する。
ステップS2007において、断面画像生成部1007は、生成した断面画像422及び断面画像422の生成に際して用いた断面422aを示すための表示情報432を表示制御部143に通知する。
なお、図21のフローチャートは、対応領域402の画像1400について断面変更処理を行う場合のフローチャートであるが、所定領域401の画像600について断面変更処理を行う場合も同様である。ただし、所定領域401の画像600について断面変更処理を行う場合、図21に示すフローチャートのステップS2005〜ステップS2007を実行するものとする。また、ステップS2005については、"比較先CT画像"を"比較元CT画像"に読み替えて実行するものとする。
以上の説明から明らかなように、第1の実施形態では、比較元CT画像において読影医により腫瘍部分Fの位置が指定された場合に、所定領域401の画像を拡大表示する。また、所定領域401の画像に基づいて、局所的位置合わせを行うことで比較先CT画像より対応領域402の画像を抽出し、拡大表示する。
これにより、読影医は、異なる時期に撮影された断面画像群に含まれる各CT画像間の対応領域を容易に把握することができるようになるとともに、腫瘍に関する適切な読影を行うことができるようになる。
また、第1の実施形態では、読影医より断面変更の指示があった場合に、比較先CT画像と比較先CT画像の前後の各層に含まれる対応領域の画像より、新たな断面に応じた部分画像を抽出する。更に、抽出した部分画像に含まれる差分ベクトル(腫瘍の周辺組織の集束の状態を示す情報)を抽出する。更に、生成した断面画像(差分ベクトルの表示指示があった場合にあっては、生成した断面画像と差分ベクトル)を拡大表示する。
これにより、腫瘍に対する集束がより現れている断面上で、腫瘍と集束の状態とを表示することが可能となり、読影医は、腫瘍に対する集束を見つけ、腫瘍が腺癌であることを容易に判断することができるようになる。つまり、第1の実施形態によれば、腫瘍が腺癌であるか否かを読影医が判断することを支援することができる。
[第2の実施形態]
上記第1の実施形態において断面画像生成装置120は、予め定められた断面または読影医により指示された断面についての断面画像を生成して表示した。これに対して、第2の実施形態では、様々な断面についての断面画像を生成し、それぞれの断面画像に含まれる差分ベクトル(構造変化を示す情報)に基づいて、構造変化の度合い(腫瘍に対する集束の度合い)を示す評価値を算出する。そして、評価値の最も高い断面画像を、拡大表示画面に拡大表示する。これにより、様々な断面のうち腫瘍に対する集束が最も現れている断面上で、腫瘍と集束の状態とを表示することが可能となる。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
はじめに、第2の実施形態における部分画像抽出部1006の処理内容の具体例について説明する。図22、図23は、第2の実施形態における部分画像抽出部の処理内容を示す図である。
図22に示すように、第2の実施形態における部分画像抽出部1006は、y軸周りの断面422aに対応する部分画像に加え、x軸周りの断面2101aに対応する部分画像を抽出する。
具体的には、部分画像抽出部1006は、比較先CT画像及び比較先CT画像の前後の各層のCT画像に含まれる対応領域1501〜1503、402、1505〜1507の画像のうち、断面2101aに対応する部分画像2111〜2117を抽出する。
また、図23に示すように、第2の実施形態における部分画像抽出部1006は、z軸周りの断面2102aに対応する部分画像を抽出する。
具体的には、部分画像抽出部1006は、比較先CT画像及び比較先CT画像の前後の各層のCT画像に含まれる対応領域1501〜1503、402、1505〜1507の画像のうち、断面2102aに対応する部分画像2121〜2127を抽出する。
次に、第2の実施形態における断面画像生成部1007の処理内容の具体例について説明する。図24は、第2の実施形態における断面画像生成部の処理内容を示す図である。
図24に示すように、第2の実施形態における断面画像生成部1007は、x軸、y軸、z軸周りにそれぞれ一定の刻み幅で断面の角度を変えることで得た複数の断面それぞれについての断面画像を生成する。また、第2の実施形態における断面画像生成部1007は、生成した複数の断面画像それぞれに含まれる差分ベクトルを取得する。また、第2の実施形態における断面画像生成部1007は、それぞれの断面画像について、腫瘍中心点Oから外側に向かう放射状の領域を一定角度間隔で分割し、各放射状の領域よりベクトル長さが最大の差分ベクトルを抽出する。更に、第2の実施形態における断面画像生成部1007は、各放射状の領域から抽出した各差分ベクトルのベクトル長さに応じた評価値を合算し、断面画像ごとの評価値の合計値を算出する。
このように、放射状の領域と、最大の差分ベクトルとを用いたのは、読影医が集束を判断しやすくするためである。読影医が集束を判断しやすい要件は、腫瘍周辺の血管等の組織が大きく移動していること、及び、腫瘍中心に向かっていることの2点である。このうち、前者の要件に対応するために(ベクトル長が大きいほど高い評価値が得られるように)、最大の差分ベクトルを評価値の算出に用いるようにした。また、後者の要件に対応するために(放射状に各方向から万遍なくベクトルがある場合に評価値が高くなるように)、放射状の各領域において最大の差分ベクトルのみを評価値の算出に用いるようにした。
図24(a)の例は、断面画像生成部1007が、断面2210a〜2212aについての断面画像2210〜2212を生成し、断面画像2210において差分ベクトル2210_1、2210_2を取得したことを示している。また、断面画像生成部1007が、差分ベクトル2210_1、2210_2を、それぞれの放射状の領域におけるベクトル長さが最大の差分ベクトルと判断したことを示している。更に、差分ベクトル2210_1、2210_2のベクトル長さに応じた評価値を、それぞれ、"0.8"、"0.9"と算出したことを示している。
この結果、断面画像生成部1007は、断面画像2210の評価値の合計値を"1.7"と算出する。なお、図24(a)の例では、更に断面画像2211の評価値の合計値を"1.1"と算出し、断面画像2212の評価値の合計値を"2.4"と算出している。
図24(b)の例は、断面画像生成部1007が、断面2220a〜2222aについての断面画像2220〜2222を生成し、断面画像2220において差分ベクトル2220_1を取得したことを示している。また、断面画像生成部1007が、差分ベクトル2220_1を、それぞれの放射状の領域におけるベクトル長さが最大の差分ベクトルと判断し、差分ベクトル2220_1のベクトル長さに応じた評価値を、"0.2"と算出したことを示している。
この結果、断面画像生成部1007は、断面画像2220の評価値の合計値を"0.2"と算出する。なお、図24(b)の例では、更に断面画像2221の評価値の合計値を"0.1"と算出し、断面画像2222の評価値の合計値を"0.5"と算出している。
図24(c)の例は、断面画像生成部1007が、断面2230a〜2232aについての断面画像2230〜2232を生成し、断面画像2230において差分ベクトル2230_1〜2230_6を取得したことを示している。また、断面画像生成部1007が、差分ベクトル2230_2、2230_3、2230_4、2230_5、2230_6を、それぞれの放射状の領域におけるベクトル長さが最大の差分ベクトルと判断したことを示している。更に、断面画像生成部1007が、それぞれの差分ベクトル2230_2、2230_3、2230_4、2230_5、2230_6のベクトル長さに応じた評価値を、"0.5"、"0.4"、"0.1"、"0.8"、"0.8"と算出したことを示している。
この結果、断面画像生成部1007は、断面画像2230の評価値の合計値を"2.7"と算出している。なお、図24(c)の例では、更に断面画像2231の評価値の合計値を"2.2"と算出し、断面画像2232の評価値の合計値を"2.4"と算出している。
断面画像生成部1007は、複数の断面画像2210〜2212、2220〜2222、2230〜2232それぞれの評価値の合計値を比較して、評価値の合計値が最大となる断面画像を判断する。図24の例では、断面画像2230の評価値の合計値(="2.7")が最大と判断される。
したがって、断面画像生成部1007は、断面画像2230を表示制御部143に通知する。これにより、表示制御部143は、生成された様々な断面画像のうち、腫瘍に対する集束が最も現れている断面画像2230を、拡大表示画面に拡大表示することができる。
なお、差分ベクトル表示指示が入力されていた場合にあっては、断面画像2230に含まれる差分ベクトル2230_1〜2230_6を表示制御部143に通知する。これにより、表示制御部143は、差分ベクトルを合わせて拡大表示することができる。
このように、第2の実施形態において、断面画像生成部1007は、構造変化を示す情報(差分ベクトル)に基づいて、基準断面とは異なる新たな断面を特定する特定手段として機能する。
次に、第2の実施形態における断面変更処理(ステップS1712)の詳細について説明する。図25は、断面変更処理のフローチャートである。なお、ステップS2301〜S2303は、図21のステップS2002〜S2004と同じであるため、ここでは説明を省略する。
ステップS2304において、部分画像抽出部1006は、一定の刻み幅で断面の角度を変える際の回転軸を設定する。部分画像抽出部1006は、x軸→y軸→z軸の順に設定していくものとする。なお、ここでは、はじめに回転軸としてx軸が設定されるものとする。
ステップS2305において、部分画像抽出部1006は、断面角度を設定する。ステップS2306において、部分画像抽出部1006は、比較先CT画像及び比較先CT画像の前後の各層から、設定した回転軸及び断面角度により特定される断面に対応する部分画像を抽出する。
ステップS2307において、断面画像生成部1007は、抽出した部分画像に基づいて断面画像を生成する。例えば、断面画像生成部1007は、断面画像2210を生成する。
ステップS2308において、断面画像生成部1007は、生成した断面画像における評価値の合計値を算出する。例えば、断面画像生成部1007は、断面画像2210における評価値の合計値として"1.7"を算出する。
ステップS2309において、断面画像生成部1007は、すべての断面角度について、断面画像を生成したか否かを判定する。ステップS2309において、断面画像を生成していない断面角度があると判定した場合には(ステップS2309において"No")、ステップS2305に戻り、一定の刻み幅だけ断面角度を変えて、ステップS2306〜ステップS2308を実行する。
一方、ステップS2309において、すべての断面角度について、断面画像を生成したと判定した場合には(ステップS2309において"Yes")、ステップS2310に進む。
ステップS2310において、部分画像抽出部1006は、すべての回転軸を設定したか否かを判定する。ステップS2310において、設定していない回転軸があると判定した場合には(ステップS2310において"No")、ステップS2304に進む。ここでは、x軸を設定しただけであるので、ステップS2304に戻り、y軸を設定したうえで、ステップS2305〜ステップS2309の処理を実行する。更に、z軸を設定したうえで、ステップS2305〜ステップS2309の処理を実行する。
ステップS2310において、すべての回転軸を設定したと判定した場合には(ステップS2310において"Yes")、ステップS2311に進む。ステップS2311において、断面画像生成部1007は、生成した各断面画像における評価値の合計値を比較し、最大となる評価値の合計値が算出された断面画像を識別する。更に、断面画像生成部1007は、識別した断面画像及び識別した断面画像を生成する際に用いた断面を示すための表示情報432を表示制御部143に通知する。
以上の説明から明らかなように、第2の実施形態では、様々な断面についての断面画像を生成し、それぞれの断面画像に含まれる差分ベクトルに基づいて構造変化の度合い(腫瘍に対する集束の度合い)を評価する。また、第2の実施形態では、評価値の最も高い断面画像を識別し、識別した断面画像を拡大表示する。
これにより、第2の実施形態によれば、様々な断面のうち腫瘍に対する集束が最も現れている断面上で、腫瘍と集束の状態とを表示することが可能となり、読影医は、腫瘍に対する集束を見つけ、腫瘍が腺癌であることを容易に判断することができるようになる。つまり、第2の実施形態によれば、腫瘍が腺癌であるか否かを読影医が判断することを支援することができる。
[第3の実施形態]
上記第1及び第2の実施形態では、断面変更指示があった場合に、対応領域402の画像に代えて表示する画像として、腫瘍中心点を含む平面を断面とする断面画像を生成した。これに対して、第3の実施形態では、腫瘍中心点を含む曲面を断面とする断面画像を生成する。腫瘍に対する集束が現れる断面が平面とは限られず、曲面を断面とする断面画像の方が、腫瘍に対する集束が現れることもあるからである。以下、第3の実施形態について、上記第1または第2の実施形態との相違点を中心に説明する。
はじめに、第3の実施形態における断面画像生成部1007の処理内容の具体例について説明する。図26は、第3の実施形態における断面画像生成部の処理内容を示す図である。図26(a)に示すように、腫瘍の周辺組織のうち、腫瘍に向かって移動する周辺組織の領域は不規則である。このため、腫瘍中心点を含む平面よりも、腫瘍中心点を含む曲面の方が、腫瘍に対する集束がより現れる断面となる可能性が高い。
図26(b)は、腫瘍中心点を含む曲面2401aの一例を示している。図26(c)は、曲面2401aについての断面画像2401を示したものである。図26(c)に示すように、曲面2401aについての断面画像2401に含まれる差分ベクトルの数は、平面についての断面画像2210〜2212、2220〜2222、2230〜2232のいずれよりも、差分ベクトルの数が多い。また、それぞれの差分ベクトルのベクトル長も長い。つまり、腫瘍に対する集束がより現れる断面であるといえる。
次に、第3の実施形態における断面変更処理(ステップS1712)の詳細について説明する。図27は、断面変更処理のフローチャートである。なお、ステップS2501〜S2504は、図21のステップS2001〜S2004と同じであるため、ここでは説明を省略する。ただし、ステップS2501において、部分画像抽出部1006は、例えば、最小二乗法等を用いて曲面を特定する。あるいは、部分画像抽出部1006は、ベジエ曲面を用いて曲面を特定する。
ステップS2505において、部分画像抽出部1006は、比較先CT画像の腫瘍中心点を含む曲面2401aに応じた部分画像を抽出する。
ステップS2506において、断面画像生成部1007は、ステップS2505において抽出した部分画像に基づいて、曲面2401aを断面とする断面画像2401を生成する。なお、差分ベクトル表示指示が入力されていた場合にあっては、ステップS2505において抽出された部分画像にそれぞれ含まれる差分ベクトルを合わせて取得し、断面画像2401に重畳する。
ステップS2507において、断面画像生成部1007は、生成した曲面を断面とする断面画像2401及び断面画像2401の生成に際して用いた曲面2401aを示すための表示情報を表示制御部143に通知する。
以上のとおり、第3の実施形態では、断面変更指示があった場合に、対応領域402の画像に代えて表示する画像として、腫瘍中心点を含む曲面を断面とする断面画像を生成する。これにより、腫瘍に対する集束がより現れている断面上で、腫瘍と集束の状態とを表示することが可能となり、読影医は、腫瘍に対する集束を見つけ、腫瘍が腺癌であることを容易に判断することができるようになる。つまり、第3の実施形態によれば、腫瘍が腺癌であるか否かを読影医が判断することを支援することができる。
[その他の実施形態]
上記第3の実施形態では、予め定められた1の曲面を断面とする断面画像を生成したが、上記第2の実施形態と同様に、複数の曲面に基づいて断面画像を生成し、それぞれの断面画像において算出した評価値の合計値に基づいて、1の断面画像を選択してもよい。
あるいは、腫瘍中心点から外側に向かう各地点において、周辺の部分画像の中から、評価値の最も高い部分画像を選択していくことで部分画像を抽出し、抽出した部分画像をつなぎ合わせることで、曲面を断面とする断面画像を生成するようにしてもよい。
また、上記第2の実施形態では、複数の断面画像の中から、評価値の合計値が最も大きい断面画像を拡大表示画面に拡大表示した。しかしながら、拡大表示画面に拡大表示する断面画像は、1つに限定されず、読影医の指示のもとで複数の断面画像を切り替えて拡大表示するようにしてもよい。なお、このとき切り替えて拡大表示する複数の断面画像は、例えば、評価値の合計値が大きい上位の断面画像(例えば、上位3つの断面画像)に限定してもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100 :CT画像撮影システム
110 :CT装置
120 :断面画像生成装置
130 :画像DB
140 :読影支援部
141 :第1のレジストレーション部
142 :第2のレジストレーション部
143 :表示制御部
300 :並列表示画面
401 :所定領域
402 :対応領域
421a :断面
422a :断面
431 :断面を示すための表示情報
432 :断面を示すための表示情報
701 :正常領域
702 :集束領域
703 :腫瘍領域
810 :代表ベクトル
1001 :領域識別部
1002 :対応ベクトル算出部
1003 :集束領域判定部
1004 :代表ベクトル算出部
1005 :位置合わせ部
1006 :部分画像抽出部
1007 :断面画像生成部
1200 :代表ベクトル
1300 :代表ベクトル

Claims (9)

  1. 特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成し、
    前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出し、
    検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定し、
    前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成し、
    生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する、
    処理をコンピュータに実行させる読影支援プログラム。
  2. 前記特定の対象物についての新たな複数の断面を特定し、
    前記第1の断面画像群に基づいて、前記複数の新たな断面それぞれについての前記特定の対象物の断面画像をそれぞれ生成し、
    生成した複数の前記断面画像の中から選択された1の断面画像を表示する、
    処理をコンピュータに実行させる請求項1に記載の読影支援プログラム。
  3. 前記特定の対象物についての新たな複数の断面を特定し、
    前記第1の断面画像群に基づいて、前記複数の新たな断面それぞれについての前記特定の対象物の断面画像をそれぞれ生成し、
    生成した複数の前記断面画像の中から、検出した前記構造変化を示す情報に基づいて前記構造変化の度合いを示す評価値を算出し、
    前記算出した評価値を用いることで選択した1の断面画像を表示する、
    処理をコンピュータに実行させる請求項1に記載の読影支援プログラム。
  4. 生成した前記断面画像を、該断面画像の生成に際して特定された断面を示す情報とともに表示する処理をコンピュータに実行させる請求項1に記載の読影支援プログラム。
  5. 前記特定の対象物についての新たな断面は、前記第1の内部構造を示すデータに含まれる腫瘍領域を含む平面または曲面である請求項1に記載の読影支援プログラム。
  6. 前記構造変化を示す情報は、腫瘍の変化に基づく周辺組織の位置の変動を表すベクトルである請求項1に記載の読影支援プログラム。
  7. 前記第2の内部構造を示すデータは、腫瘍を含む所定領域の画像であり、前記第1の内部構造を示すデータは、該所定領域の画像に含まれる特徴点に対応する特徴点を含む領域の画像である請求項1に記載の読影支援プログラム。
  8. 特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成する第1の生成手段と、
    前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出する検出手段と、
    検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定する特定手段と、
    前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成する第2の生成手段と、
    生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する表示手段と
    を有することを特徴とする断面画像生成装置。
  9. コンピュータが、
    特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成し、
    前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出し、
    検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定し、
    前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成し、
    生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する、
    処理を実行することを特徴とする断面画像生成方法。
JP2017537149A 2015-09-02 2015-09-02 読影支援プログラム、断面画像生成装置及び断面画像生成方法 Active JP6677256B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/075004 WO2017037904A1 (ja) 2015-09-02 2015-09-02 読影支援プログラム、断面画像生成装置及び断面画像生成方法

Publications (2)

Publication Number Publication Date
JPWO2017037904A1 true JPWO2017037904A1 (ja) 2018-07-12
JP6677256B2 JP6677256B2 (ja) 2020-04-08

Family

ID=58186762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017537149A Active JP6677256B2 (ja) 2015-09-02 2015-09-02 読影支援プログラム、断面画像生成装置及び断面画像生成方法

Country Status (4)

Country Link
US (1) US10588581B2 (ja)
JP (1) JP6677256B2 (ja)
CN (1) CN107949330B (ja)
WO (1) WO2017037904A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7444387B2 (ja) 2019-10-10 2024-03-06 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
CN112526608B (zh) * 2020-11-16 2022-08-02 哈尔滨工程大学 一种基于射线简正波的深海完整声道会聚区分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137230A (ja) * 1999-11-10 2001-05-22 Toshiba Corp コンピュータ支援診断システム
JP2004073379A (ja) * 2002-08-13 2004-03-11 Toshiba Corp 医用画像診断装置および画像領域指定支援方法
JP2005034473A (ja) * 2003-07-17 2005-02-10 Hitachi Medical Corp 異常陰影検出装置
JP2008194456A (ja) * 2007-01-16 2008-08-28 Kobe Univ 医用画像処理装置および医用画像処理方法
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
JP2009160045A (ja) * 2007-12-28 2009-07-23 Toshiba Corp 医用画像表示装置および画像表示方法
JP2012213604A (ja) * 2011-03-29 2012-11-08 Toshiba Corp X線ct装置及び画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4653324B2 (ja) 2001-02-20 2011-03-16 東芝医用システムエンジニアリング株式会社 画像表示装置、画像表示プログラム、画像処理装置、及び医用画像診断装置
US6952097B2 (en) * 2003-10-22 2005-10-04 Siemens Aktiengesellschaft Method for slice position planning of tomographic measurements, using statistical images
JP4526114B2 (ja) 2004-05-21 2010-08-18 株式会社日立メディコ 管腔臓器切除シミュレーション方法
DE102005059209B4 (de) * 2005-12-12 2010-11-25 Siemens Ag Verfahren und Vorrichtung zur Visualisierung einer Folge von tomographischen Bilddatensätzen
US7903857B2 (en) 2006-04-17 2011-03-08 Siemens Medical Solutions Usa, Inc. Robust click-point linking with geometric configuration context: interactive localized registration approach
JP5142591B2 (ja) 2006-06-08 2013-02-13 国立大学法人神戸大学 医用画像診断支援装置および医用画像診断支援プログラム
EP1865464B1 (en) 2006-06-08 2013-11-20 National University Corporation Kobe University Processing device and program product for computer-aided image based diagnosis
DE602007002048D1 (de) * 2007-02-09 2009-10-01 Agfa Gevaert Visuelle Hervorhebung von Intervalländerungen mittels einer Zeitsubtraktionstechnik
US8867807B1 (en) * 2011-09-23 2014-10-21 Dr Systems, Inc. Intelligent dynamic preloading and processing
US8675944B2 (en) 2012-01-12 2014-03-18 Kabushiki Kaisha Toshiba Method of registering image data
WO2014177928A2 (en) * 2013-05-02 2014-11-06 Yangqiu Hu Surface and image integration for model evaluation and landmark determination
US10127662B1 (en) * 2014-08-11 2018-11-13 D.R. Systems, Inc. Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137230A (ja) * 1999-11-10 2001-05-22 Toshiba Corp コンピュータ支援診断システム
JP2004073379A (ja) * 2002-08-13 2004-03-11 Toshiba Corp 医用画像診断装置および画像領域指定支援方法
JP2005034473A (ja) * 2003-07-17 2005-02-10 Hitachi Medical Corp 異常陰影検出装置
JP2008194456A (ja) * 2007-01-16 2008-08-28 Kobe Univ 医用画像処理装置および医用画像処理方法
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
JP2009160045A (ja) * 2007-12-28 2009-07-23 Toshiba Corp 医用画像表示装置および画像表示方法
JP2012213604A (ja) * 2011-03-29 2012-11-08 Toshiba Corp X線ct装置及び画像処理方法

Also Published As

Publication number Publication date
US10588581B2 (en) 2020-03-17
JP6677256B2 (ja) 2020-04-08
US20180184987A1 (en) 2018-07-05
CN107949330B (zh) 2021-04-20
WO2017037904A1 (ja) 2017-03-09
CN107949330A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
US9430825B2 (en) Image processing apparatus, control method, and computer readable storage medium for analyzing retina layers of an eye
JP5263995B2 (ja) ネットワーク構築装置および方法ならびにプログラム
WO2017037904A1 (ja) 読影支援プログラム、断面画像生成装置及び断面画像生成方法
US20120083696A1 (en) Apparatus, method and medium storing program for reconstructing intra-tubular-structure image
US9383424B2 (en) System and method for automatic planning of views in 3D images of brain
US20120099776A1 (en) Medical image processing apparatus
JP5777070B2 (ja) 領域抽出装置、領域抽出方法および領域抽出プログラム
KR20120024842A (ko) 화상 처리 장치, 그 제어 방법, 화상 처리 방법, 촬상 시스템 및 저장 매체
JP2016514533A (ja) インタラクティブな経過観察の可視化
US9198603B2 (en) Device, method and program for searching for the shortest path in a tubular structure
JP2011519590A (ja) 肺動脈のセグメント化
JP2010528750A (ja) 管状構造の検査
CN103871036A (zh) 用于三维数字减影血管造影图像的快速配准和拼接方法
JP6641696B2 (ja) 画像表示装置、画像表示プログラム及び画像表示方法
JP6565422B2 (ja) 画像処理プログラム、画像処理装置及び画像処理方法
JP2016142666A (ja) 核医学画像中の腫瘍輪郭を抽出する技術
WO2005009242A1 (ja) 医用画像処理装置及び方法
JP4837579B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6326555B2 (ja) 縮小角度範囲を用いる回転c−アームコンピュータ断層撮影のための適応セグメンテーションを行う医用イメージングシステム又は方法
JP6827786B2 (ja) 輪郭抽出装置、輪郭抽出方法およびプログラム
JP6479671B2 (ja) 画像処理装置
US9808175B1 (en) Method and system for analyzing images to quantify brain atrophy
EP4258207A1 (en) Automatic rib fracture detection from unfolded scan images
JP2004337200A (ja) 画像処理装置
WO2023194267A1 (en) Automatic rib fracture detection from unfolded scan images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6677256

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150