JPWO2019102829A1 - 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体 - Google Patents

画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体 Download PDF

Info

Publication number
JPWO2019102829A1
JPWO2019102829A1 JP2019556166A JP2019556166A JPWO2019102829A1 JP WO2019102829 A1 JPWO2019102829 A1 JP WO2019102829A1 JP 2019556166 A JP2019556166 A JP 2019556166A JP 2019556166 A JP2019556166 A JP 2019556166A JP WO2019102829 A1 JPWO2019102829 A1 JP WO2019102829A1
Authority
JP
Japan
Prior art keywords
image
image analysis
binarization
tissue
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019556166A
Other languages
English (en)
Other versions
JP7264486B2 (ja
Inventor
和昭 中根
和昭 中根
浩文 山本
浩文 山本
瑞穂 西尾
瑞穂 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Publication of JPWO2019102829A1 publication Critical patent/JPWO2019102829A1/ja
Application granted granted Critical
Publication of JP7264486B2 publication Critical patent/JP7264486B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

組織に生じた変化の程度を精度良く評価する。組織を撮像した1つの撮像画像に対して、二値化の基準値が異なる複数の二値化画像を生成し、複数の二値化画像のそれぞれについて、二値化後の一方の画素値の画素が連結して成る連結領域の数を示す第1特徴数を算出するベッチ数算出部(42)と、二値化の基準値と第1特徴数との関係性を示すパターンを所定の基準パターンと比較した結果に基づいて、組織に生じた変化に関する情報を決定する予測スコア決定部(44)とを備える。

Description

本発明は組織を撮像した画像を解析して、組織に生じた変化の程度を評価するための情報を出力する画像解析方法および画像解析装置等に関する。
CT(computed tomography)は、医療画像診断において必要不可欠な技術である。CT画像を用いた画像診断が主に用いられている臓器の一つとして肺が挙げられる。肺に生じた疾患を診断する場合、被検体の胸部を撮像した胸部CT画像が用いられる。
従来、医師などが視覚的に診断を行っていたが、近年では、胸部CT画像を解析した結果に基づいた診断が行われている。例えば、肺のCT画像のスクリーニングは、慢性閉塞性肺疾患(Chronic obstructive pulmonary disease (COPD)、以後、「COPD」と略記する)などを早期に発見・診断し、治療を行うことを可能にしており、日本のみならず世界全体において健康寿命を維持する上で重要な技術である。
例えば、胸部CT画像の画像解析によって肺に生じたCOPD、肺気腫、および肺癌などの病変について診断する場合に用いられている定量指標の1つにLAA%が挙げられる。LAA%を用いた画像診断では、胸部CT画像に含まれる肺の上部、中部、および下部の3領域において、X線の吸収率が低い(CT値が−950HU以下)領域である低吸収肺領域(low-attenuation lung area)が占める割合が指標として用いられる。
肺気腫は、肺胞が拡大して、X線を吸収する肺胞壁が萎縮消失し、肺が持続的に拡張する状態である。そのため、肺のCT画像において、肺気腫が生じた領域は正常な肺の画像に比べてより黒い領域となる。LAA%を適用する場合、例えば、胸部CT画像に含まれる肺の領域が抽出され、CT値が−950HUなどを閾値として二値化される。そして、肺の領域の総画素数に占める低吸収肺領域(すなわち、二値化の結果、画素値が0の領域)のピクセル数の割合(%)を算出する。この割合は、肺気腫の重症度に相関性が認められる値として知られている。
肺のCT画像を診断する放射線医および呼吸器内科医などは、肺気腫が肺癌のリスク要因であることを指摘している。非特許文献1および2に記載されているように、肺気腫検出のための定量指標としてLAA%を適用することは有効である。しかし、LAA%は肺気腫の重症度を正確に評価できていない場合も多い。それゆえ、LAA%を用いた肺気腫の重症度判定に基づいて肺癌に進行するリスクを評価することは難しい、との指摘がなされている。
Smith BM et al., 「Emphysema detected on computed tomographyand risk of lung cancer: a systematic review and meta-analysis」 Lung Cancer, Vol.77(1), p58-63, 2012 Wille MMW et al., 「Visual assessment of early emphysema andinterstitial abnormalities on CT is useful in lung cancer risk analysis」 Eur Radiol. Vol.26(2), p487-494, 2016
医師が肺のCT画像を視覚的に診断して肺気腫から肺癌へ進行するリスクを評価できるのと同様に、肺気腫から肺癌に進行するリスクを評価することが可能な画像解析技術が求められている。
一般に、画像診断では、多くの場合、癌化のリスクに関する評価が重要である。そのため、画像解析技術としては、組織に生じた病変について構造上の特性を捉えて、その病変がさらに重症度の疾患へと進行する可能性を判定するための情報を提供することが重要である。肺気腫から肺癌に進行するリスクを評価する場合に限らず、さまざまな臓器および組織においても同様である。
本発明の一態様は、上記の問題点を解決するためになされたものであり、その目的は、組織の画像を解析することにより、組織に生じた変化の程度を医師のように精度良く評価するための情報を出力する画像解析方法および画像解析装置等を実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る画像解析方法は、組織を撮像した撮像画像を解析する方法であって、前記撮像画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化ステップと、複数の前記二値化画像のそれぞれについて、二値化後の一方の画素値の画素が連結して成る連結領域の数を示す第1特徴数を算出する算出ステップと、前記二値化の基準値と前記第1特徴数との関係性を示す第1パターンを、所定の基準パターンと比較した結果に基づいて、前記組織に生じた変化に関する情報を決定する決定ステップと、を含む。
また、本発明の一態様に係る画像解析装置は、組織を撮像した撮像画像を解析する画像解析装置であって、前記撮像画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、複数の二値化画像のそれぞれについて、二値化後の一方の画素値の画素が連結して成る連結領域の数を示す第1特徴数を算出する算出部と、前記二値化の基準値と前記第1特徴数との関係性を示す第1パターンを、所定の基準パターンと比較する比較部と、前記比較の結果に基づいて、前記組織に生じた変化に関する情報を決定する決定部と、を備える。
また、本発明の一態様に係る画像解析システムは、前記の画像解析装置と、前記撮像画像の画像データを前記画像解析装置へ送信する外部機器と、前記画像解析装置において決定された情報を取得して該情報を提示する提示装置と、を含む。
本発明の一態様によれば、組織の画像を解析することにより、組織に生じた変化の程度を精度良く評価するための情報を出力することができる。
本発明の実施形態1に係る画像解析装置の構成例を示す機能ブロック図である。 本発明の一態様に係る画像解析方法の処理の流れの一例を示すフローチャートである。 図2のステップS1における処理の一例を示すフローチャートである。 学習に用いる胸部CT画像の例を示す図である。 胸部CT画像から肺のCT画像を切り出して、異なる二値化の基準値を用いて生成された二値化画像の例を示す図である。 二値化の基準値に対して、0次元ベッチ数および1次元ベッチ数が変化する様子をプロットしたグラフである。 解析対象の胸部CT画像から予測スコアを決定する処理の流れの一例を示すフローチャートである。 本発明の実施形態2に係る画像解析装置の構成例を示す機能ブロック図である。 本発明に係る画像解析装置を含む画像解析システムの概略構成の例を示す図である。 本発明の一態様に係る画像解析方法を胸部CT画像に適用して、肺癌に罹患している患者を評価した場合の精度を、他の指標を適用した場合の精度と比較した表である。 年齢・性別・喫煙履歴(ブリンクマン指数)という基本の指標を用いた場合、基本の指標に加えてLAA%を指標として用いた場合、および基本の指標に加えてベッチ数を指標として用いた場合における、肺癌の予測精度を比較した結果を示す表である。
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
(本発明の技術思想)
まず、本発明の技術思想について以下に説明する。本発明の目的は、組織を撮像した撮像画像を解析することにより、当該撮像画像に写っている組織に生じた病変の有無、および癌化の可能性の程度を精度良く判別するために有用な情報を出力することである。
本発明の発明者は、被検体の胸部を撮像したCT(computed tomography)画像を調べ、肺気腫の重症度と癌化の可能性との関係を詳細に比較・検討した。具体的には、胸部CT画像のうち、肺が写っている領域に対して、二値化の基準値が異なる複数の二値化画像を生成した。そして、二値化の基準値に応じて、二値化後の各画像に含まれる肺のCT画像について算出された0次元ベッチ数(b、第1特徴数)、および1次元ベッチ数(b、第2特徴数)がどのように変化するかを調べた。その結果、肺のCT画像において、二値化の基準値を変化させたことに伴う、0次元ベッチ数および1次元ベッチ数の変化はいずれも、肺気腫の重症度を判別したり、癌化の可能性を評価したりするための指標として利用することが可能であることを見出した。
ところで、0次元ベッチ数と1次元ベッチ数のいずれか一方を利用する構成であってもよいが、以下では、0次元ベッチ数と1次元ベッチ数の双方を利用する構成を採用した場合について説明する。0次元ベッチ数と1次元ベッチ数の双方を利用することにより、より精度の高い情報を出力することができる。
なお、本明細書では、二値化の基準値は各画素のCT値に基づいて設定されるものとする。すなわち、二値化の基準値は、肺を撮像対象とする胸部CT画像において一般的に設定されるCT値−1000〜−700HUの範囲において設定される。例えば、二値化の基準値を−900HUに設定した場合、CT値が−900HU以下の画素の画素値は0となり、CT値が−900より高い画素の画素値を1となる。
以下では、X線CT画像を解析して、肺に生じた肺気腫の重症度を判別するために有用な情報を出力する画像解析装置1を例に挙げて説明するが、本発明の解析対象は、肺に限定されない。また、X線CT画像に限定されるものでもない。本発明の一態様に係る画像解析装置1は、任意の医用画像に適用可能であり、例えば、(1)レントゲン(マンモグラフィーを含む)検査にて撮像される肝臓および乳房などの画像、(2)MRI(磁気共鳴像、magnetic resonance imaging)検査にて撮像される脳および膵臓などの画像、(3)PET(陽電子放射断層撮影、positron emission tomography)、RI検査(アイソトープ検査とも呼称される)にて撮像される画像の解析にも好適に適用され得る。
<肺のCT画像>
例えば、肺のCT画像において正常な肺は淡い乳白色の靄がかかった黒っぽい領域として表示されるのに対し、肺気腫を患っている部位では肺胞壁が萎縮消失しているため靄のうすい黒い領域として表示される。
一般に肺のCT画像において、肺胞の破壊および融合は、その初期において、正常な肺に囲まれた低吸収肺領域として検出される。正常な肺の領域と低吸収肺領域との境界には明瞭な壁が無いことが多いが、肺気腫の初期段階では、直径が約1cm程度の低吸収領域が散在するようになり、重症化するにつれて、低吸収領域が融合して増加する一方、正常な肺は減少する。
胸部CT画像の画像解析によって肺に生じた肺気腫などの病変について診断する場合、LAA%等の定量指標が適用され得る。LAA%は、肺のCT画像において、低吸収肺領域(low-attenuation lung area)が全肺領域に占める割合(%)を算出し、この割合に基づいて、肺気腫の重症度を判定する。ここで、重症度とは肺に生じた変化の程度を意図し、健常な肺には無い病変の進行具合を指す。
医師が、胸部CT画像に基づいて肺気腫の有無および重症度を判断する場合、撮像された肺に生じた肺気腫の重症度に応じて複数の段階に区分された視覚的スコア(visual score)が確定情報として胸部CT画像に対応付けられる。
以下では、肺気腫の所見が無い0、および肺気腫の重症度が1(軽度)、2、3(中度)、4、5(重度)の計6段階に肺気腫の重症度を区分する視覚的スコアを適用した場合を例に挙げて説明する。
なお、視覚的スコアには幾つかの種類があり、これに限定されるものではない。例えば、肺のCT画像において、6つの部位における視覚的評価(0〜4点の5段階)を合計して肺気腫の重症度を段階別に区分するGoddard分類の肺気腫スコア(満点は24点)を用いてもよい。
<肺のCT画像を解析するための数学的表現>
組織に生じた変化を定量化するために、本発明の発明者らは、ホモロジーの概念、特にパーシステントホモロジーの適用を試みた。ホモロジーとは、図形の形態上の性質を代数的に置き換えて、図形の結合などの解析を容易にする数学の一分野である。本発明の発明者らは、ホモロジーの概念の中でも、二次元画像における0次元ベッチ数および1次元ベッチ数の利用に着目した。
ホモロジーの概念は、構成要素の連結および接触を表す数学的な概念である。病理画像において、適切な二値化の基準値(二値化パラメータともいう)を設定して二値化する。そして、二値化された画像から単位面積当たりの0次元ベッチ数および1次元ベッチ数を算出する。算出された0次元ベッチ数および1次元ベッチ数を用いて、その組織の構成要素同士の連結の程度、および構成要素同士の接触の程度の評価が可能である。
ベッチ数とは、図形(例えば、組織の構成要素に該当)の形状には無関係であり、図形同士の接触と分離とにのみ関係するトポロジカルな示唆数である、q次元特異ホモロジー群が有限生成のとき、このq次特異ホモロジー群は、自由アーベル群と有限アーベル群との直和に分けられる。この自由アーベル群の階級をベッチ数という。2次元画像の場合、0次元ベッチ数は連結成分の数であり、1次元ベッチ数は当該連結成分が外縁となって囲んだ空間(以下、「穴形状の領域」と記す場合がある)の数である。穴形状の領域の数とは、すなわち連結成分中に存在する「穴」の数である。
<0次元ベッチ数>
0次元ベッチ数は、数学的には以下のように定義される。一般に有限個の線分を繋ぎ合わせて成る図形(1次元複体とも呼称される)Kの連結成分の個数を0次元ベッチ数という。「有限個の点を有限個の線分で結んだ図形が連結である」とは、この図形の任意の頂点から他の任意の頂点に、この図形の辺を辿って到達し得ることを意図する。
肺のCT画像に対して、異なる二値化の基準値を用いて生成した複数の二値化画像のそれぞれにおいて、二値化後の一方の画素値(例えば、二値化の結果、画素値が0)の画素が連結して成る連結領域の数が、0次元ベッチ数である。それゆえ、0次元ベッチ数は、肺のCT画像における低吸収肺領域の数に相当するといえる。
<1次元ベッチ数>
1次元ベッチ数は、数学的には以下のように定義される。以下の(1)および(2)の条件が満たされる場合、図形Kの1次元ベッチ数はrである。(1)有限個の線分を繋ぎ合わせて成る図形(連結な1次元複体)Kに対して、適当なr個の、開いた(両端を含まない)1次元単体(例えば、線分)を図形Kから取り去っても図形Kの連結成分の個数は増加しない。(2)任意の(r+1)個の、開いた1次元単体をKから取り去った場合にはKは連結でなくなる(すなわち、Kの連結成分の個数が1つ増加する)。
肺のCT画像に対して、異なる二値化の基準値を用いて生成した複数の二値化画像のそれぞれにおいて、二値化後の一方の画素値(例えば、二値化の結果、画素値が0)の画素に囲まれた穴形状の領域の数が、1次元ベッチ数である。それゆえ、1次元ベッチ数は、肺のCT画像における、低吸収肺領域に囲まれた正常な肺の領域の数に相当するといえる。
(画像解析方法の概要)
まず、本発明の一態様に係る画像解析方法は、被検体を撮像した撮像画像を解析し、撮像されている組織に生じた変化に関する情報を決定・出力する方法である。本発明の一態様に係る画像解析方法の概要について図2を用いて説明する。図2は、本発明の一態様に係る画像解析方法における処理の流れの一例を示すフローチャートである。なお、以下では、被検体の胸部CT画像を解析して、肺気腫などの重症度に関する情報を出力する画像解析装置1が行う処理を例に挙げて説明する。
なお、以下では、0次元ベッチ数および1次元ベッチ数を算出する構成について説明するが、いずれか一方のみを算出して利用する構成であってもよい。ただし、組織に生じた変化の特性は様々であり、撮像画像に表れる特徴も様々であるため、0次元ベッチ数および1次元ベッチ数を算出する構成が望ましい。なぜなら、組織に生じた変化を、撮像画像中の連結領域の数の変化として検出することに加え、穴形状の数の変化としても検出する構成である方が、精度の良い予測スコアを決定することができるからである。
まず、医師などによって過去に診察された被検体を撮像した胸部CT画像であって、肺気腫の重症度および肺癌への進行に関するリスクが既に医師などによって評価されている胸部CT画像を用いた機械学習が行われる(ステップS1)。ステップS1では、過去に診察された被検体を撮像した胸部CT画像が、ステップS3において解析対象のCT画像に対して行われる解析と同様に解析される。そして、肺のCT画像を解析することで得られる特徴量と、既に決定されている視覚的スコアとの相関関係が学習される。ここで、特徴量とは、CT画像についての二値化の基準値に応じた0次元ベッチ数および1次元ベッチ数の変化を示す数値、該変化をプロットしたグラフにおいて表される増減パターン、および該グラフを近似的に表す関数の係数値などであってもよい。
なお、本明細書では、肺気腫の視覚的スコアを予測スコアとして決定する場合を例に挙げて説明するが、本発明の適用範囲は視覚的スコアの決定に限定されない。例えば、CT、MRI、PET、RIなどを用いて撮像された断層撮像を解析することで得られる特徴量と、既に決定されている該病変に関する臨床的意義のある任意の指標との相関関係が学習され得る。臨床的意義のある任意の指標としては、例えば、癌化のリスク、癌の重症度(例えば、TNMステージングなどの病期分類)、および癌の予後予測などが挙げられる。このような学習を行うことによって、画像解析装置1は、被検体の画像を解析して、臨床的に意義のある任意の指標に関する情報を出力することができる。
ここで、「予測スコア」とは、医師によって決定される視覚的スコアに倣った指標(スコア)であり、肺のCT画像を解析した結果として得られた、肺気腫の重症度および肺癌への進行に関するリスク評価に利用可能なスコアである。ステップS1の詳細な工程については後に具体例を挙げて説明する(図3参照)。
次に、被検体の胸部CT画像が入力される(ステップS2)。
続いて、入力された胸部CT画像を解析して、肺気腫の重症度および肺癌への進行に関するリスク評価に利用可能な予測スコアが決定される(ステップS3)。ステップS3の詳細な工程については後に具体例を挙げて説明する(図7参照)。
最後に、ステップS3にて決定された予測スコアが出力される(ステップS4)。予測スコアを出力する態様は、予測スコアの利用を希望するユーザに提示されるものであればよく、特に限定されない。例えば、表示装置5に表示されてもよいし、プリンター(図示せず)、スピーカー(図示せず)から出力されてもよい。
(画像解析装置1の構成)
次に、図2に示す画像解析方法を実現する画像解析装置1の構成について、図1を用いて説明する。図1は、本発明の実施例1に係る画像解析装置1の構成の一例を示すブロック図である。なお、図1において、図2のステップS1に関連するデータの流れは破線で示し、図2のステップS2〜4に関連するデータの流れは実線で示している。
図1に示すように、画像解析装置1は、画像取得部2(受信部)、記憶部3、制御部4を備えている。記憶部3には少なくとも、CT画像31および基準パターン32が記憶されている。
なお、画像解析装置1が別体として設けられた表示装置5(提示部)と接続されている例を図示しているが、これに限定されない。例えば、画像解析装置1が表示装置5(提示部)を内蔵する構成であってもよいし、複数の表示装置5と無線/有線で接続された構成であってもよい。
画像取得部2は、外部機器8から組織を撮像した撮像画像(以下、CT画像と称する)を取得し、取得したCT画像を記憶部3に格納する。あるいは、画像取得部2は、取得したCT画像を二値化部41に出力してもよい。なお、外部機器8は、例えば、CT装置に接続されたパーソナルコンピュータ、画像データを保存可能な記憶装置などである。上記CT画像は、解析対象の組織が肺である場合、被検体の胸部を適当なコントラストで撮像して得られたCT画像である。なお、CT画像のコントラストなどは、解析の対象となる組織のX線吸収率に応じて適宜設定されればよい。
画像解析装置1が肺のCT画像に基づいてCOPDに関する診断を行う場合、画像取得部2は、肺の上部、中部、および下部の断面をそれぞれ含む少なくとも3枚の胸部CT画像を一組として取得することが望ましい。
また、画像取得部2は、医師によって決定された、組織に関する視覚的スコアが確定情報として予め対応付けられたCT画像とその視覚的スコアとの組み合わせを取得し、記憶部3に格納する。視覚的スコア(確定情報)が予め対応付けられたCT画像は、予測スコア決定部44の機械学習において入力される学習データとして用いられる。
記憶部3は、画像取得部2が取得したCT画像31、図2のステップS1で生成した基準パターン32に加え、制御部4が実行する(1)各部の制御プログラム、(2)OSプログラム、(3)アプリケーションプログラム、および、(4)これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部3は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。なお、記憶部3の他に、上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される記憶装置であり、RAM(Random Access Memory)などの揮発性の記憶装置を備えていてもよい。
表示装置5は、制御部4から出力される出力情報等を表示する表示装置であり、例えば液晶ディスプレイである。なお、画像解析装置1が専用の表示装置5を備える構成であってもよい。なお、表示装置5の表示画面にタッチセンサが重畳されており、ユーザによる表示面へのタッチ操作を表示装置5が検出できる構成であってもよい。
(制御部4の構成)
制御部4は、画像取得部2が取得したCT画像を解析することにより、当該CT画像に含まれる肺気腫などCOPDの重症度を示す情報を出力する。この制御部4は、さらに二値化部41(二値化部、領域抽出部)、ベッチ数算出部42(算出部)、パターン特定部43、予測スコア決定部44(比較部、決定部)、表示制御部45、および学習制御部46を備えている。
二値化部41は、画像取得部2が取得した胸部CT画像から、被検体の肺に対応する領域を肺のCT画像として切り出し(抽出し)、切り出された肺のCT画像に対して二値化処理を行う。すなわち、二値化部41が領域抽出部(図示せず)としての機能も備えている。被検体の肺に対応する領域は、肺のX線吸収率が低いことを利用した公知の画像処理の手法を用いて胸部CT画像から切り出すことが可能である。なお、被検体の肺に対応する領域を肺のCT画像として切り出して、切り出された肺のCT画像を二値化部41に出力する領域抽出部を二値化部41とは別に備える構成としてもよい。
図1は、二値化部41が胸部CT画像を記憶部3から取り出す構成について図示しているが、これに限定されない。例えば、画像取得部2が取得した解析対象となる胸部CT画像を記憶部3に記憶させることなく、二値化部41に出力する構成であってもよい。
二値化部41は、二値化処理において、二値化の基準値よりも大きいCT値を有する画素を白色の画素に変換し、二値化の基準値以下のCT値を有する画素を黒色の画素に変換する。このとき二値化部41は、肺を撮像した1つのCT画像に対して、二値化の基準値を変更する度に二値化処理を行い、複数の二値化画像を生成する。すなわち、二値化部41は、肺のCT画像について、二値化の基準値が異なる複数の二値化画像を生成する。
ベッチ数算出部42は、二値化部41が生成した複数の二値化画像について、当該二値化画像に含まれる、(1)二値化後の画素値が0である画素が連結して成る連結領域の数(2)二値化後の画素値が0である画素に囲まれた穴形状の領域の数を算出する。すなわち、ベッチ数算出部42は、複数の二値化画像にそれぞれ含まれる組織の像について、0次元ベッチ数および1次元ベッチ数を算出する。
上記連結領域は、画素値が0である画素が隣接しつつ集まった領域である。それぞれの連結領域は、画素値が1である画素によって囲まれており、互いに独立している。
上記穴は、1つ以上の構成成分の外縁の少なくとも一部(構成成分が1つの場合には、その構成成分の外縁の全部)をその外縁として有している開口部である。換言すれば、構成成分の外縁によって囲まれた穴には、1つの構成成分がその内部に有する穴と、互いに連結した複数の構成成分がそれぞれ有する外縁によって囲まれた穴とが含まれる。
ベッチ数算出部42として、既存のプログラムを用いてもよい。このようなプログラムの一例としてCHomPを挙げることができる。CHomPは、GNU(General PublicLicense)に準拠したフリーウェアであり、ホームページ(http://chomp.rutgers.edu/)からダウンロードできる。なお、これに限定されるものではなく、画像に関する0次元ベッチ数および1次元ベッチ数を算出できるプログラムであれば、CHomP以外のプログラムを用いてもよい。
パターン特定部43は、二値化の基準値に応じた0次元ベッチ数の変化のパターン(第1パターン)、および二値化の基準値に応じた1次元ベッチ数の変化のパターン(第2パターン)のうちの少なくとも一方を特定する。例えば、パターン特定部43は、二値化の基準値に対して、該二値化の基準値を設定して生成した二値化画像において算出された0次元ベッチ数および1次元ベッチ数の少なくとも何れかをプロットしたグラフを生成する。この場合、0次元ベッチ数の変化について生成されたグラフは第1パターンであり、1次元ベッチ数の変化について生成されたグラフは第2パターンである。
なお、パターン特定部43は、二値化の基準値の変化に伴う0次元ベッチ数および1次元ベッチ数の変化を近似的に示す関数を特定してもよい。この場合、パターン特定部43は、特定した関数の係数などを、0次元ベッチ数および1次元ベッチ数の変化のパターンとして出力してもよい。ここで、0次元ベッチ数および1次元ベッチ数の変化を近似的に示す関数(近似関数)としては、任意の関係式で表記可能な関数であってもよく、例えば、n次関数(n≧1)(線形近似および対数近似を含む)、指数関数(累乗近似)、および三角関数などであってもよい。
予測スコア決定部44は、パターン特定部43によって特定された第1パターンを、記憶部3に記憶されている基準パターン32と比較し、比較結果に基づいて、肺に生じた変化に関する情報を決定する。
ここで、基準パターン32とは、過去に医師などによって診察され、既に視覚的スコアが決定されている胸部CT画像を、その視覚的スコア毎に解析することでパターン生成部によって生成される特徴量である。基準パターン32は、図1のステップS1の学習によって生成される。具体的には、基準パターン32は、パターン特定部43によって生成された、二値化の基準値に応じた0次元ベッチ数および1次元ベッチ数の変化をプロットしたグラフである。基準パターン32は、視覚的スコアが複数の段階に区分されている場合、その段階ごとに生成され得る。
すなわち、予測スコア決定部44は、パターン特定部43によって特定された第1パターンを、視覚的スコアの段階ごとに生成された基準パターン32と比較し、最も類似した基準パターン32と同じスコアを予測スコアとして決定する。
(学習ステップS1の処理の流れ)
次に、図2のステップS1における処理の流れの一例について、図4〜6を参照しながら、図3を用いて説明する。図3は、学習ステップS1における処理の流れの一例を示すフローチャートである。
画像取得部2は、外部機器8から視覚的スコアなどの診断結果が確定されている胸部CT画像を取得する(ステップS11)。画像取得部2は、取得した胸部CT画像を記憶部3に格納する。
図4に、学習に用いる胸部CT画像の例を示す。図4の(A)は肺気腫が疑われる所見が無く、正常の肺(視覚的スコア=0)と診断された画像の例であり、(B)は、中度の肺気腫(視覚的スコア=3)が認められる画像の例であり、(C)は、重度の肺気腫(視覚的スコア=5)が認められる画像の例である。
次に、学習制御部46は、CT画像31から胸部CT画像を1つ選択し、二値化部41に送る。この胸部CT画像には、予め決定された視覚的スコアが対応付けられている。二値化部41は、肺に対応する肺のCT画像を切り出す(抽出する)(ステップS12:抽出ステップ)。さらに、二値化部41は、肺のCT画像に対して、二値化の基準値を変化させながら、肺のCT画像から複数の二値化画像を生成する(ステップS13)。
図5は、胸部CT画像から肺のCT画像を切り出して、異なる二値化の基準値を用いて生成された二値化画像の例を示す図である。なお、図5では、肺の領域を分かりやすく示すために、白と黒を反転させた画像を示している。図5の(A)は、図4の(C)に示した胸部CT画像と同じものであり、(B)〜(E)は、(A)の画像から、二値化の基準値を−975HU〜−900HUに設定した場合に生成される二値化画像の例を示している。
次に、ベッチ数算出部42は、各二値化画像について0次元ベッチ数(b)および1次元ベッチ数(b)を算出する(ステップS14)。パターン特定部43は、二値化の基準値と0次元ベッチ数との関係性を示すグラフ、および二値化の基準値と1次元ベッチ数との関係性を示すグラフを生成する(ステップS15)。すなわち、二値化の基準値の変化に対する0次元ベッチ数の値の変化を示すグラフと、二値化の基準値の変化に対する1次元ベッチ数の値の変化を示すグラフとを生成する。
図6は、二値化の基準値に対して、0次元ベッチ数および1次元ベッチ数が変化する様子をプロットしたグラフである。図6の左側に示すグラフはいずれも、横軸に二値化の基準値(すなわち、二値化の閾値として設定した値)としたCT値(HU)、縦軸に0次元ベッチ数をプロットしたグラフである。また、図6の右側に示すグラフはいずれも、横軸に二値化の基準値としたCT値(HU)、縦軸に1次元ベッチ数をプロットしたグラフである。図6の(A)〜(C)はそれぞれ、図4の(A)〜(C)に示した胸部CT画像から生成された二値化画像について生成されたグラフである。なお、図6では、0次元ベッチ数または1次元ベッチ数の値を肺領域の総画素数で正規化した値を縦軸にプロットしているが、これに限定されない。例えば、肺領域の総画素数で正規化を施さなくても、同様の学習効果が得られる場合、正規化は必須の処理ではない。なお、学習において、敢えて正規化を施さないようにすることで予測精度を向上させることが可能であることを、本発明の発明者は確認している。
学習制御部46は、パターン特定部43から生成されたグラフを取得し、胸部CT画像に対応付けられていた診断結果(例えば、視覚的スコア)とともに予測スコア決定部44に送る。学習制御部46は、予測スコア決定部44に、グラフを入力変数、視覚的スコアを目的変数とする学習を行わせる(ステップS16)。なお、この学習のアルゴリズムとしては任意の機械学習用のアルゴリズムを適用することができる。このようなアルゴリズムの一例として、「ランダムフォレスト」が挙げられる。
図6に示す6つのグラフに示すように、二値化の基準値に応じた0次元ベッチ数または1次元ベッチ数の値の変化のパターン(すなわち、グラフの形態上の特徴)は、肺気腫の重症度によって異なっている。例えば、0次元ベッチ数のグラフの極大値を与える二値化の基準値を見れば、肺気腫が重症化するにつれて低下する傾向があることが分かる。一方、グラフのピーク幅を見れば、肺気腫が重症化するにつれて広くなる傾向が分かる。また、肺気腫が重症化すると、グラフに変曲点が出現する傾向があることも分かる。学習制御部46は、予測スコア決定部44に、このようなグラフの特徴を入力変数とし、視覚的スコアを目的変数とする学習を行わせる。
学習制御部46は、学習用に格納されたCT画像31のすべてが選択されるまでステップS12〜ステップS16を繰り返す(ステップS17)。予測スコア決定部44にすべてのCT画像31についての学習が終わった場合、学習制御部46は、パターン特定部43によって生成されたグラフを基準パターンのグラフとして、視覚的スコア毎に基準パターン32に格納する。
(予測スコアを決定する処理の流れ)
続いて、図2のステップS3における処理の流れの一例について、図7を用いて説明する。図7は、解析対象の胸部CT画像から予測スコアを決定する処理の流れの一例を示すフローチャートである。
ステップS31において、二値化部41は、記憶部3から胸部CT画像を1つ取得し、被検体の肺に対応する肺のCT画像を切り出す(ステップS31)。さらに、二値化部41は、肺のCT画像に対して、二値化の基準値を変化させながら、肺のCT画像から複数の二値化画像を生成する(ステップS32:二値化ステップ)。
次に、ベッチ数算出部42は、各二値化画像について0次元ベッチ数(b)および1次元ベッチ数(b)を算出する(ステップS33:算出ステップ)。パターン特定部43は、二値化の基準値に応じて0次元ベッチ数および1次元ベッチ数が変化する様子をプロットしたグラフを生成する(ステップS34)。
予測スコア決定部44は、パターン特定部43によって生成されたグラフと、予め学習で得た、0次元ベッチ数および1次元ベッチ数が変化する様子をプロットした基準パターン32のグラフとを比較し、比較結果に基づいて予測スコアを決定する。予測スコア決定部44は、例えば、グラフの極大値を与える二値化の基準値、ピーク幅、変曲点の有無および位置などを基準パターン32のグラフと比較することにより、グラフの特徴が最も類似している基準パターン32のグラフに対応付けられている視覚的スコアを、予測スコアとして決定する(ステップS35:決定ステップ)。
医師などが、肺を撮像した撮像画像(例えば、CT画像)に基づいて肺気腫などの疾患の有無および重症度を決定する場合、例えば、以下の(1)および(2)のような特徴が手掛かりとして利用される。(1)軽度の肺気腫では、直径約1cm程度の低吸収領域の散在が認められる。(2)重度の肺気腫では、低吸収領域は融合して増加する一方、正常な肺の領域は減少する。
図2および7に示す方法により、組織に生じた変化の有無および程度に関する情報を精度良く決定することができる。例えば、決定した情報を医師に提示することによって、組織に生じた変化の有無および程度の判断を適切にサポートすることができる。
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
(画像解析装置1aの構成)
次に、図8を用いて、画像解析装置1aの構成について説明する。図8は、本発明の実施例2に係る画像解析装置1aの構成の一例を示すブロック図である。画像解析装置1aは通信部6を備えている点で、画像解析装置1と異なっている。通信部6は、外部機器8から受信した画像データが示す撮像画像を解析した結果に基づいて決定した予測スコアを予測スコア決定部44から取得し、提示装置7に送信する。
なお、外部機器8および提示装置7の数は1つに限定されるものではなく、複数であってもよい。
(画像解析システム)
ここでは、画像解析装置1aを含む画像解析システム100および100aの構成例について、図9を用いて説明する。図9は、本発明に係る画像解析装置1aを含む画像解析システム100および100aの構成例を示す概略図である。図9の(a)は、外部機器8と提示装置7とが離れた場所に設置されている例を示しており、(b)は、提示装置7が外部機器8aに接続されている例を示している。
画像解析システム100は、外部機器8、画像解析装置1a、および提示装置7を有している。外部機器8、画像解析装置1a、および提示装置7は、インターネットなどの情報通信ネットワーク50に接続されており、相互にデータの送受信が可能である。
外部機器8は、例えば、CT装置に接続されたパーソナルコンピュータであってもよいし、組織を撮像した画像を集約して管理するサーバ(電子カルテサーバ、CT画像データサーバなど)であってもよい。
提示装置7は、ユーザに画像解析の結果を提示する機能を有する装置であればよく、例えば、提示装置7はディスプレイを備える表示装置である。あるいは、提示装置7は、医療関係者などが携帯するタブレット端末などの通信端末機器であってもよい。
組織を撮像した撮像画像の画像データは、外部機器8から画像解析装置1aへと送信される。画像データを受信した画像解析装置1aは該画像を解析し、予測スコア決定部44によって決定された予測スコアを、通信部6を介して提示装置7に送信する。
画像解析システム100aは、外部機器8a、画像解析装置1a、および提示装置7を有している。外部機器8aおよび画像解析装置1aは、インターネットなどの情報通信ネットワーク50に接続されており、相互にデータの送受信が可能である。提示装置7は、外部機器8aに接続されている。
すなわち、画像解析装置1aは、遠隔地で撮像された画像を外部機器8または8aから受信して、画像解析を行い、解析結果である予測スコアを、提示装置7に送信することができる。なお、予測スコアを、解析に供したCT画像と対応付けて提示装置7に送信してもよい。提示装置7は、外部機器8aに接続された装置であってもよいし、画像解析装置1aおよび外部機器8と独立している装置であってもよい。
この構成を採用することにより、画像解析システム100および100aは、遠隔地の外部機器8および8aからの撮像画像を受信して、当該画像を解析することができ、かつ撮像画像および決定された情報を遠隔地のユーザに提示することができる。よって、医師が不在であったり、不足していたりする遠隔地のユーザに対しても、高い精度の画像診断の結果を提供することができる。
〔ソフトウェアによる実現例〕
画像解析装置1、1aの制御ブロック(特に制御部4)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、画像解析装置1、1aは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の一実施例について、図10を用いて説明する。図10は、本発明の一態様に係る画像解析方法を胸部CT画像に適用して、肺癌に罹患している患者を評価した場合の精度を、他の指標を適用した予測方法の精度と比較した表である。
図10において比較されている予測方法は、(1)ブリンクマン指標を用いた方法、(2)肺領域、(3)LAA%、および(4)本発明に係る画像解析方法の4種類である。ブリンクマン指標は、喫煙指標とも呼ばれ、患者の喫煙履歴等を数値化した指標である。
なお、LAA%は、二値化の基準値をCT値=−950HUとした場合、CT値=−910HUとした場合、およびCT=−880HUとした場合の3つの場合について調べた。
また、本発明に係る画像解析方法に関しては、二値化の基準値をCT値=−880HUと設定して生成された二値化画像における0次元ベッチ数、および1次元ベッチ数を指標として用いた場合について調べた。このように、本発明に係る画像解析方法は、二値化の基準値に応じた0次元ベッチ数の変化のパターン、および1次元ベッチ数の変化のパターンではなく、所定の二値化の基準値にて生成された二値化画像における0次元ベッチ数、および1次元ベッチ数の値を指標として採用してもよい。
図10に示すように、肺癌の有無予測において、0次元ベッチ数、および1次元ベッチ数を指標として用いた予測は他の予測方法に比べて、精度が高く、最も信頼性の高い予測方法であることが示された。
図10では、単一の指標を用いて肺癌の有無を予測した場合の結果を示した。しかし、肺癌のリスク評価を行う場合、年齢・性別・ブリンクマン指数などの各指標(図11では「予測変数」と表記されている)を組み合わせて評価することが有効であるとされている(非特許文献1参照)。
そこで、複数の指標を組み合わせて肺癌のリスクを評価した場合の結果を図11に示す。図11は、(1)年齢・性別・喫煙履歴(ブリンクマン指数)という基本の指標を用いた予測モデル、(2)基本の指標に加えてLAA%を指標として用いた予測モデル、および(3)基本の指標に加えてベッチ数を指標として用いた予測モデルにおける、肺癌の予測精度を比較した結果を示す表である。
図11に示すように、年齢・性別・ブリンクマン指数に加えて、LAA%を指標として用いた予測モデルは、肺癌のリスク評価の精度の向上は見られなかった。これに対し、年齢・性別・ブリンクマン指数に加えて、ベッチ数(ここでは、二値化の基準値をCT値=−880HUと設定して生成された二値化画像における1次元ベッチ数を用いた)を指標として用いた予測モデルでは、肺癌のリスク評価の精度が有意に向上した。図11に示す例では、上記(1)〜(3)の各予測モデルの肺癌のリスク評価の精度を比較するために、赤池情報量基準(AIC)を用いた。ここで、AICはその値が低いほど精度の良い予測モデルであるとされる。また、AICの差が1.5〜2程度あれば、統計的に有意な差であると扱われる。基本の指標のみを用いた予測モデルのAICは785.9であった。基本の指標に加えてLAA%を指標として用いた予測モデルのAICは786.2であり、LAA%を指標に追加した効果は見られなかった。これに対して、基本の指標に加えて1次元ベッチ数bを指標として用いた場合のAICは779.8であり、基本の指標のみを用いた場合に比べて6.1低かった。すなわち、年齢・性別・ブリンクマン指数に加えて、1次元ベッチ数bを指標として用いた予測モデルは、比較した他の予測モデルに比べてAICが低く、肺癌のリスク評価の予測モデルとして、最も精度の良い予測モデルであることが示された。
一般に肺癌の大多数では、肺のCT画像上に原発巣となる肺結節が確認される。本実施例では、肺癌の候補となるような肺結節の有無に依存することなく、肺癌のリスク評価をすることが可能であることが示された。すなわち、本発明の一実施例は、肺結節の有無によらず実施されたこれが肺癌リスクの層別化に有用と期待される。
〔まとめ〕
本発明の一態様に係る画像解析方法は、組織を撮像した撮像画像を解析する方法であって、前記撮像画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化ステップ(S32)と、複数の前記二値化画像のそれぞれについて、二値化後の一方の画素値の画素が連結して成る連結領域の数を示す第1特徴数を算出する算出ステップ(S33)と、前記二値化の基準値と前記第1特徴数との関係性を示す第1パターンを、所定の基準パターンと比較した結果に基づいて、前記組織に生じた変化に関する情報を決定する決定ステップ(S35)と、を含む。
上記の構成によれば、被検体を撮像した撮像画像に対して、二値化の基準値が異なる複数の二値化画像を生成し、二値化後の一方の画素値の画素が連結して成る連結領域の数と二値化の基準値との関係性を示す第1パターンと所定の基準パターンとの比較に基づいて、組織に生じた変化に関する情報を決定する。
「連結領域」とは、二次元平面である撮像画像における連結成分である。連結領域の数を算出する処理としては、上記複数の二値化画像の各々について第1特徴数として0次元ベッチ数を求める処理を行ってもよい。なお、画像からベッチ数を算出するためのプログラムは公知であり、そのプログラムを実行する装置を算出部として用いればよい。
また「組織」とは、1または複数種類の構成要素が一定のパターンで集合した構造単位を意味しており、細胞などの集まりから構成される生体組織である臓器などが含まれる。
組織を撮像した撮像画像を用いた検査・診断では、組織に生じた変化が、正常な組織とは異なる所見の有無およびその程度が利用される。画像診断を自動化する場合、組織に生じた変化の程度を評価するための手掛かりとなる特徴を如何に正確に検出して定量化するか、が重要である。
医師などが肺気腫などの疾患の有無および重症度を、肺を撮像した撮像画像(例えば、CT画像)に基づいて決定する場合、例えば、以下の(1)および(2)のような特徴が手掛かりとされる。(1)軽度の肺気腫では、直径約1cm程度の低吸収領域の散在が認められる。(2)重度の肺気腫では、低吸収領域は融合して増加する一方、正常な肺の領域は減少する。
本発明の発明者は、上記の方法を適用することによって、(1)および(2)のような組織に生じた変化が示す特徴を組織画像から検出・定量化し、該変化の程度を高精度に評価できる可能性があることを見出した。
上記の方法を採用することにより、組織に生じた変化の特性に合致する特徴に基づいて、該変化の有無および程度に関する情報を精度良く決定することができる。例えば、決定した情報を医師に提示することによって、組織に生じた変化の有無および程度の判断を適切にサポートすることができる。
前記二値化ステップにて生成した複数の二値化画像のそれぞれについて、前記一方の画素値の画素に囲まれた、他方の画素値の画素からなる穴形状の領域の数を示す第2特徴数を算出し、前記決定ステップにおいて、前記二値化の基準値の変化に応じて前記第2特徴数が変化する第2パターンを、所定の基準パターンと比較した結果に基づいて、前記組織に生じた変化に関する情報を決定してもよい。
組織に生じた変化の特性は様々であり、撮像画像に表れる特徴も様々である。それゆえ、組織に生じた変化を、撮像画像中の連結領域の数の変化として検出するよりも、穴形状の数の変化として検出した方が適切である場合がある。
上記の構成によれば、被検体を撮像した撮像画像に対して、二値化の基準値が異なる複数の二値化画像を生成し、二値化後の一方の画素値の画素に囲まれた穴形状の領域の数の変化パターンと所定の基準パターンとの比較に基づいて、組織に生じた変化に関する情報を決定する。これにより、二次元平面である撮像画像において、組織に生じたさまざまな変化を高精度に検出・定量化することができる。よって、多様な組織において生じた変化を撮像した撮像画像に適用することができる。
「穴形状の領域」とは、二次元平面である撮像画像における空間(穴)である。穴形状の領域の数を算出する処理としては、上記複数の二値化画像の各々について第2特徴数として1次元ベッチ数を求める処理を行ってもよい。なお、画像からベッチ数を算出するためのプログラムは前述のように公知であり、そのプログラムを実行する装置を算出部として用いればよい。
前記組織に生じた変化に関する確定情報が予め対応付けられた前記撮像画像を取得して、該撮像画像の前記第1パターンと、前記確定情報との組み合わせを含む学習データを用いた機械学習によって、前記基準パターンを生成する学習ステップ(S1)をさらに含んでいてもよい。
「確定情報」とは、医師によって予め評価・決定された、組織に生じた変化に関する情報であり、例えば、組織に生じた疾患の有無および重症度などを示す情報である。
上記の構成によれば、組織に関する確定情報が予め対応付けられた撮像画像の第1パターンと確定情報との相関関係について学習する。これにより、学習された相関関係に倣って、解析対象となる撮像画像の第1パターンから組織に生じた変化に関する情報を決定することができる。
前記確定情報は、前記組織に生じた変化の程度に応じた複数の段階に関する情報を含み、前記基準パターンは、前記段階ごとに生成されており、前記決定ステップにおいて、前記組織に生じた変化が前記段階のいずれに該当するかを決定してもよい。
これにより、学習された相関関係に倣って、解析対象となる撮像画像の第1パターンから、組織に生じた変化の程度を決定することができる。
前記撮像画像から解析対象となる組織に対応する領域を抽出する抽出ステップをさらに含んでいてもよい。
組織を撮像した画像には、解析対象ではない部位に対応する領域も含まれている場合がある。上記のように構成すれば、解析対象の組織に対応していない不要な領域であり、組織に生じた変化の検出・定量化を阻害する可能性がある領域を抽出することができる。
本発明の一態様に係る画像解析装置(1、1a)は、組織を撮像した撮像画像を解析する画像解析装置であって、前記撮像画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化部(41)と、複数の二値化画像のそれぞれについて、二値化後の一方の画素値の画素が連結して成る連結領域の数を示す第1特徴数を算出する算出部(ベッチ数算出部42)と、前記二値化の基準値と前記第1特徴数との関係性を示す第1パターンを、所定の基準パターンと比較する比較部(パターン特定部43)と、前記比較の結果に基づいて、前記組織に生じた変化に関する情報を決定する決定部(予測スコア決定部44)と、を備える。
上記の構成によれば、組織に生じた変化の特性に合致する特徴に基づいて、該変化の有無および程度に関する情報を精度良く決定することができる、という上記方法と同様の効果を奏する。
前記算出部は、前記二値化部によって生成された複数の二値化画像のそれぞれについて、前記一方の画素値の画素に囲まれた、他方の画素値の画素からなる穴形状の領域の数を示す第2特徴数を算出し、前記比較部は、前記二値化の基準値の変化に応じて前記第2特徴数が変化する第2パターンを、所定の基準パターンと比較し、前記決定部は、比較結果に基づいて、前記組織に生じた変化に関する情報を決定する構成であってもよい。
上記の構成によれば、二次元平面である撮像画像において、組織に生じたさまざまな変化を高精度に検出・定量化することができる。よって、多様な組織を撮像した撮像画像に適用することができる。
前記組織に生じた変化に関する確定情報が予め対応付けられた前記撮像画像を取得して、該撮像画像の前記第1パターンと、前記確定情報との組み合わせを含む学習データを用いた機械学習によって、前記比較部に前記基準パターンを生成させる学習制御部(46)をさらに備えていてもよい。
上記の構成によれば、組織に関する確定情報が予め対応付けられた撮像画像の第1パターンと確定情報との相関関係について学習する。これにより、学習された相関関係に倣って、解析対象となる撮像画像の第1パターンから組織に生じた変化に関する情報を決定することができる。
前記確定情報は、前記組織に生じた変化の程度を複数の段階に区分する情報を含み、前記基準パターンは、前記段階ごとに生成されており、前記決定部は、前記組織に生じた変化が前記段階のいずれに該当するかを決定する構成であってもよい。
これにより、解析対象となる撮像画像の第1パターンから、組織に生じた変化の程度を決定することができる。
前記撮像画像から解析対象となる組織に対応する領域を抽出する領域抽出部(二値化部41)をさらに備える構成であってもよい。
上記の構成によれば、解析対象の組織に対応していない不要な領域であり、組織に生じた変化の検出・定量化を阻害する可能性がある領域を抽出することができる。
本発明の一態様に係る画像解析システム(100、100a)は、前記の画像解析装置(1、1a)と、前記撮像画像の画像データを前記画像解析装置へ送信する外部機器(8、8a)と、前記画像解析装置において決定された情報を取得して該情報を提示する提示装置(7)と、を含む。
これにより、例えば遠隔地の外部機器を用いて撮像された撮像画像を受信して、当該画像を解析することができ、かつ撮像画像および決定された情報を遠隔地のユーザに提示することができる。
本発明の各態様に係る画像解析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像解析装置が備える各部(ソフトウェア要素)として動作させることにより上記画像解析装置をコンピュータにて実現させる画像解析プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
1、1a 画像解析装置
2 画像取得部
4 制御部
7 提示装置
8、8a 外部機器
41 二値化部(二値化部、領域抽出部)
42 ベッチ数算出部(算出部)
43 パターン特定部(比較部)
44 予測スコア決定部(決定部)
46 学習制御部
100、100a 画像解析システム
S1 学習ステップ
S32 二値化ステップ
S33 算出ステップ
S35 決定ステップ

Claims (13)

  1. 組織を撮像した撮像画像を解析する方法であって、
    前記撮像画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化ステップと、
    複数の前記二値化画像のそれぞれについて、二値化後の一方の画素値の画素が連結して成る連結領域の数を示す第1特徴数を算出する算出ステップと、
    前記二値化の基準値と前記第1特徴数との関係性を示す第1パターンを、所定の基準パターンと比較した結果に基づいて、前記組織に生じた変化に関する情報を決定する決定ステップと、を含むことを特徴とする画像解析方法。
  2. 前記二値化ステップにて生成した複数の二値化画像のそれぞれについて、前記一方の画素値の画素に囲まれた、他方の画素値の画素からなる穴形状の領域の数を示す第2特徴数を算出し、
    前記決定ステップにおいて、前記二値化の基準値の変化に応じて前記第2特徴数が変化する第2パターンを、所定の基準パターンと比較した結果に基づいて、前記組織に生じた変化に関する情報を決定することを特徴とする請求項1に記載の画像解析方法。
  3. 前記組織に生じた変化に関する確定情報が予め対応付けられた前記撮像画像を取得して、該撮像画像の前記第1パターンと、前記確定情報との組み合わせを含む学習データを用いた機械学習によって、前記基準パターンを生成する学習ステップをさらに含むことを特徴とする請求項1または2に記載の画像解析方法。
  4. 前記確定情報は、前記組織に生じた変化の程度に応じた複数の段階に関する情報を含み、
    前記基準パターンは、前記段階ごとに生成されており、
    前記決定ステップにおいて、前記組織に生じた変化が前記段階のいずれに該当するかを決定することを特徴とする請求項3に記載の画像解析方法。
  5. 前記撮像画像から解析対象となる組織に対応する領域を抽出する抽出ステップをさらに含むことを特徴とする請求項1から4のいずれか1項に記載の画像解析方法。
  6. 組織を撮像した撮像画像を解析する画像解析装置であって、
    前記撮像画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、
    複数の二値化画像のそれぞれについて、二値化後の一方の画素値の画素が連結して成る連結領域の数を示す第1特徴数を算出する算出部と、
    前記二値化の基準値と前記第1特徴数との関係性を示す第1パターンを、所定の基準パターンと比較する比較部と、
    前記比較の結果に基づいて、前記組織に生じた変化に関する情報を決定する決定部と、を備えることを特徴とする画像解析装置。
  7. 前記算出部は、前記二値化部によって生成された複数の二値化画像のそれぞれについて、前記一方の画素値の画素に囲まれた、他方の画素値の画素からなる穴形状の領域の数を示す第2特徴数を算出し、
    前記比較部は、前記二値化の基準値の変化に応じて前記第2特徴数が変化する第2パターンを、所定の基準パターンと比較し、
    前記決定部は、比較結果に基づいて、前記組織に生じた変化に関する情報を決定することを特徴とする請求項6に記載の画像解析装置。
  8. 前記組織に生じた変化に関する確定情報が予め対応付けられた前記撮像画像を取得して、該撮像画像の前記第1パターンと、前記確定情報との組み合わせを含む学習データを用いた機械学習によって、前記比較部に前記基準パターンを生成させる学習制御部をさらに備えることを特徴とする請求項6または7に記載の画像解析装置。
  9. 前記確定情報は、前記組織に生じた変化の程度を複数の段階に区分する情報を含み、
    前記基準パターンは、前記段階ごとに生成されており、
    前記決定部は、前記組織に生じた変化が前記段階のいずれに該当するかを決定することを特徴とする請求項8に記載の画像解析装置。
  10. 前記撮像画像から解析対象となる組織に対応する領域を抽出する領域抽出部をさらに備えることを特徴とする請求項6から9のいずれか1項に記載の画像解析装置。
  11. 請求項6から10のいずれか1項に記載の画像解析装置と、
    前記撮像画像の画像データを前記画像解析装置へ送信する外部機器と、
    前記画像解析装置において決定された情報を取得して該情報を提示する提示装置と、を含むことを特徴とする画像解析システム。
  12. 請求項6に記載の画像解析装置としてコンピュータを機能させるための画像解析プログラムであって、前記二値化部、前記算出部、前記比較部、および前記決定部としてコンピュータを機能させるための画像解析プログラム。
  13. 請求項12に記載の画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2019556166A 2017-11-24 2018-11-05 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体 Active JP7264486B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017226260 2017-11-24
JP2017226260 2017-11-24
PCT/JP2018/040977 WO2019102829A1 (ja) 2017-11-24 2018-11-05 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019102829A1 true JPWO2019102829A1 (ja) 2020-12-03
JP7264486B2 JP7264486B2 (ja) 2023-04-25

Family

ID=66630826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019556166A Active JP7264486B2 (ja) 2017-11-24 2018-11-05 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体

Country Status (3)

Country Link
US (1) US11321841B2 (ja)
JP (1) JP7264486B2 (ja)
WO (1) WO2019102829A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102829A1 (ja) * 2017-11-24 2019-05-31 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
EP3884458A4 (en) * 2018-11-23 2022-07-27 iCAD, Inc. SYSTEM AND PROCEDURE FOR ASSESSING BREAST CANCER RISK USING IMAGES
JP2022133479A (ja) * 2019-05-29 2022-09-14 国立大学法人九州大学 予後推定装置及び予後推定方法
WO2021081104A1 (en) * 2019-10-21 2021-04-29 The Uab Research Foundation Systems and methods for detection and staging of pulmonary fibrosis from image-acquired data
US20230005148A1 (en) * 2019-12-05 2023-01-05 Osaka University Image analysis method, image analysis device, image analysis system, control program, and recording medium
WO2021177357A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
EP4252657A4 (en) * 2020-11-25 2024-01-24 Panasonic Holdings Corporation SYSTEM FOR DETECTING ANOMALIES IN A MEDICAL IMAGE AND METHOD FOR DETECTING ANOMALIES
JP7122017B2 (ja) * 2020-12-28 2022-08-19 株式会社APSAM Imaging 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体
JP7414753B2 (ja) * 2021-02-16 2024-01-16 株式会社日立製作所 組織画像解析装置及び組織画像解析方法
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036434A1 (en) * 2005-08-15 2007-02-15 Peter Saveliev Topology-Based Method of Partition, Analysis, and Simplification of Dynamical Images and its Applications
WO2017010397A1 (ja) * 2015-07-15 2017-01-19 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体
JP6606997B2 (ja) * 2015-11-25 2019-11-20 富士通株式会社 機械学習プログラム、機械学習方法及び情報処理装置
WO2019102829A1 (ja) * 2017-11-24 2019-05-31 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
NAKANE KAZUAKI ET AL.: ""Homology-based method for detecting regions of interest in colonic digital images"", DIAGNOSTIC PATHOLOGY, vol. 10:36, JPN6019001951, 2015, ISSN: 0004887654 *
NISHIO MIZUHO ET AL.: ""Application of the homology method for quantification of low-attenuation lung region in patients wi", INTERNATIONAL JOURNAL OF COPD, vol. 2016:11, JPN6019001957, 2016, pages 2125 - 2137, ISSN: 0004887656 *
NISHIO MIZUHO ET AL.: ""Automated prediction of emphysema visual score using homology-based quantification of low-attenuati", PLOS ONE, vol. Vol.12(5), JPN6019001959, 25 May 2017 (2017-05-25), pages 0178217, ISSN: 0004887657 *
QAISER TALHA ET AL.: ""Persistent Homology for Fast Tumor Segmentation in Whole Slide Histology Images"", PROCEDIA COMPUTER SCIENCE, vol. 90, JPN6019001950, 2016, pages 119 - 124, XP029654609, ISSN: 0004887653, DOI: 10.1016/j.procs.2016.07.033 *
中根 和昭 他: ""文部科学省科学研究費助成事業 研究成果報告書 機関番号:14401 課題番号:26310209 研究", [ONLINE], vol. [平成31年1月15日検索], JPN6019001942, 31 May 2017 (2017-05-31), ISSN: 0004887658 *
中根 和昭: ""癌病理画像診断の自動化について(第10回生物数学の理論とその応用)"", 数理解析研究所講究録(2014), JPN6019001955, 2014, pages 1917, ISSN: 0004887655 *
中根和昭 他: ""4.ホモロジーの概念を用いた組織画像解析法"", 実験医学増刊, vol. 35, no. 5, JPN6019001947, 6 March 2017 (2017-03-06), pages 86 - 746, ISSN: 0004887659 *
西尾 瑞穂 他: ""ホモロジーによる肺気腫の定量評価と視覚評価の関係および機械学習による視覚評価の予測について"", 第9回呼吸機能イメージング研究会予稿集, vol. 66頁, JPN6019001944, 28 January 2017 (2017-01-28), pages 39, ISSN: 0004887652 *

Also Published As

Publication number Publication date
WO2019102829A1 (ja) 2019-05-31
JP7264486B2 (ja) 2023-04-25
US20200372649A1 (en) 2020-11-26
US11321841B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
JP7264486B2 (ja) 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
Larici et al. Lung nodules: size still matters
JP7075882B2 (ja) 肺野病変の診断支援装置、該装置の制御方法及びプログラム
US10588589B2 (en) Systems and methods for prediction of osteoporotic fracture risk
KR102154733B1 (ko) 의료 영상을 이용하여 대상체에 악성 종양이 존재하는지 여부를 예측하는 장치 및 방법
US20120166211A1 (en) Method and apparatus for aiding imaging diagnosis using medical image, and image diagnosis aiding system for performing the method
KR101840350B1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
WO2016013004A1 (en) Systems and methods for prediction of osteoporotic fracture risk
JP2010515557A (ja) 画像処理システム、及び方法。
US11058383B2 (en) Apparatus for the detection of opacities in X-ray images
Yoshiyasu et al. Radiomics technology for identifying early-stage lung adenocarcinomas suitable for sublobar resection
US20230386033A1 (en) Image Processing Apparatus, Image Processing Method, and Program
Pertuz et al. Clinical evaluation of a fully-automated parenchymal analysis software for breast cancer risk assessment: A pilot study in a Finnish sample
KR20100010973A (ko) 폐질환 자동 분류 방법
CN115995295A (zh) 基于影像组学的乳腺癌骨转移治疗反应评估方法及系统
Gupta et al. Performance of lung nodule management algorithms for Lung-RADS category 4 lesions
CN111265234A (zh) 一种肺部纵膈淋巴结的性质判定方法及系统
JP6275157B2 (ja) 画像データに基づく組織表面ラフネスの定量化、及びそれに基づく疾患の存在の決定
US8935099B2 (en) Method and system for identifying, assessing, and managing cancer growth rates and potential metastasis
Li et al. An Effective Malignancy Prediction Model for Incidentally Detected Pulmonary Subsolid Nodules Based on Current and Prior CT Scans
CN110892448B (zh) 用于动脉钙化的检测和量化的方法
JP2010019572A (ja) 画像処理装置及び方法
EP2716225A1 (en) Image processing apparatus and method
KR20150141832A (ko) 의료 영상의 분산 이미지 노이즈를 활용한 골밀도 진단 장치 및 이의 골밀도 진단 정보 제공 방법
EP4170671A1 (en) Method and system for the analysis of medical images

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230406

R150 Certificate of patent or registration of utility model

Ref document number: 7264486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150