JPWO2020067481A1 - 画像解析装置、画像解析システム、画像解析方法、コンピュータプログラム及び非一時的記録媒体 - Google Patents

Abstract

生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理部と、二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成部と、生成した連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定部と、特定された連結成分の頻度分布における基準閾値を用いて、予後に関する情報の解析結果を生成する生成部と、を備える画像解析装置。

Description

本発明は、画像解析装置、画像解析システム、画像解析方法、コンピュータプログラム及び非一時的記録媒体に関する。
本願は、２０１８年９月２８日に、日本に出願された特願２０１８−１８５２２８号に基づき優先権を主張し、その内容をここに援用する。

従来、医療画像の診断には、主にＣＴ（Computed Tomography）、ＰＥＴ（Positron Emission Tomography）、ＭＲＩ（Magnetic Resonance Imaging）が使用されていた（例えば、特許文献１、特許文献２及び非特許文献１参照）。ＣＴでは患者の全身の形態情報を、ＰＥＴでは患者の生体組織の代謝や機能の情報を、ＭＲＩでは狭い範囲でコントラスト良く軟部組織の形態情報が診断されてきた。しかし、これらのモダリティの医療画像はそれぞれ独立して解析・診断が行われていた。そのため、これらのモダリティの画像間の関連性を見出し、医療情報を統合して、医療現場に活かす研究はなかった。

しかし、近年、モダリティ間の画像を全て統合して解析を行うＲａｄｉｏｍｉｃｓという新興技術が提案されている（例えば、非特許文献２参照）。Ｒａｄｉｏｍｉｃｓにより、日々撮影されて蓄積されている大量の医療画像のビッグデータを活用することができる。ビッグデータ内の画像において数千個に及ぶ特徴量の解析を行うことにより、画像を数値化して、異なるモダリティの画像間において統一化を図ることができる。また、画像の特徴を示した特徴量と、生存期間、バイオマーカー、遺伝子情報、悪性度、病理等の結果との関連性を調べることにより、画像のみから患者の予後予測（例えば、生存期間）、バイオマーカー、遺伝子情報、悪性度、病理等の情報を得ることができる。

国際公開第２０１７／０１０３９７号 特表２０１３−５３１２６２号公報

Mizuho Nishio, Kazuaki Nakane, Yutaka Tanaka, "Applicationof the homology method for quantification of low-attenuation lung region in patients with and without COPD", International Journal of COPD p.2125-2137 "NSCLC-Radiomics"、［online］、Atlassian、［令和１年９月２０日検索］、インターネット（URL:https://wiki.cancerimagingarchive.net/display/Public/NSCLC-Radiomics）

Ｒａｄｉｏｍｉｃｓの予後予測は現在も盛んに行われており、ニハらの研究では、ＭＲＩ画像の脳腫瘍部位に対して、画像の濃度の周波数やピクセル値の分布などの３０個に及ぶ特徴量を組み合わせることにより、悪性度の高い腫瘍と低い腫瘍に分けて、生存率に有意差を出すことができている。また、ヒューゴらの研究では、ＣＴ画像の肺腫瘍部位に対して、生存期間に有意差があった４つの特徴量を組み合わせて解析することにより、ある程度の正確性で予後の推定を行うことができている。
しかしながら、従来の研究では、予後予測の精度は低く、さらなる精度の向上が求められている。なお、このような問題は、予後予測に限らず、生体組織を撮像した撮像画像から患者の予後に関する情報を生成する場合に共通する問題である。

上記事情に鑑み、本発明は、生体組織を撮像した撮像画像から得られる患者の予後に関する情報の精度を向上させる技術の提供を目的としている。

本発明の一態様は、生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理部と、前記二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成部と、生成した前記連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる前記連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定部と、特定された前記連結成分の頻度分布における前記基準閾値を用いて、予後に関する情報の解析結果を生成する生成部と、を備える画像解析装置である。

本発明の一態様は、上記の画像解析装置であって、前記基準値特定部は、前記連結成分の頻度分布において極値を与える閾値又は前記閾値の近傍の値を前記連結成分の頻度分布における前記基準閾値と特定する。

本発明の一態様は、上記の画像解析装置であって、前記頻度分布生成部は、前記二値化処理部によって生成された前記複数の二値化画像を用いて、前記二値化画像に含まれる穴又は球の数の頻度分布をさらに生成し、前記基準値特定部は、前記穴又は球の数の頻度分布において極値を与える閾値又は前記閾値の近傍の値を前記穴又は球の数の頻度分布における基準閾値と特定し、前記生成部は、特定された前記連結成分の頻度分布における前記基準閾値と、前記穴又は球の数の頻度分布における基準閾値とを用いて、予後に関する情報の解析結果を生成する。

本発明の一態様は、上記の画像解析装置であって、前記連結成分の頻度分布と、患者の予後のデータとを対応付けて学習することによって学習モデルを生成する学習モデル生成部をさらに備え、前記生成部は、新たに入力された撮像画像から得られる前記連結成分の頻度分布と、前記学習モデルとを用いて前記患者の予後のデータをさらに生成する。

本発明の一態様は、生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理部と、前記二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成部と、生成した前記連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる前記連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定部と、特定された前記連結成分の頻度分布における前記基準閾値を用いて、予後に関する情報の解析結果を生成する生成部と、を備える画像解析システムである。

本発明の一態様は、生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理ステップと、前記二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成ステップと、生成した前記連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる前記連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定ステップと、特定された前記連結成分の頻度分布における前記基準閾値を用いて、予後に関する情報の解析結果を生成する出力情報生成ステップと、を備える画像解析方法である。

本発明の一態様は、生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理ステップと、前記二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成ステップと、生成した前記連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる前記連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定ステップと、特定された前記連結成分の頻度分布における前記基準閾値を用いて、予後に関する情報の解析結果を生成する出力情報生成ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様は、上記のコンピュータプログラムを記録した非一時的記録媒体である。

本発明により、生体組織を撮像した撮像画像から得られる患者の予後に関する情報の精度を向上させることが可能となる。

第１の実施形態における予後予測システムのシステム構成を表す構成図である。 第１の実施形態における画像解析装置の処理の流れを示すフローチャートである。 第１の実施形態における画像解析装置に入力される撮像画像の一例を示す図である。 第１の実施形態においてウィンドウ幅とウィンドウレベルの変更後の撮像画像を表す図である。 第１の実施形態において撮像画像から領域を抽出することによって得られた抽出画像を表す図である。 第１の実施形態において抽出画像から抽出された二次元画像を表す図である。 第１の実施形態における二値化処理の対象となる二次元画像の一例を表す図である。 第１の実施形態における二次元画像に対して二値化処理を行った後の二値化画像を表す図である。 第１の実施形態におけるａｘｉａｌ断面の二値化画像を表す図である。 閾値Ｘの値を０から２５５まで変化させた際に計測した図形の穴の数を用いて生成した１つの面における第１の頻度分布を表す図である。 閾値Ｘの値を０から２５５まで変化させた際に計測した連結成分を用いて生成した１つの面における第２の頻度分布を表す図である。 各面の二次元画像に基づいて生成された第１の頻度分布及び第２の頻度分布を表す図である。 複数面における複数の第１の頻度分布を合算して得られた１つの第１の頻度分布及び複数面における複数の第２の頻度分布を合算して得られた１つの第２の頻度分布の一例を示す図である。 ホモロジーの値が小さいｌｏｗ ｖａｌｕｅ群の２０症例を表す図である。 ホモロジーの値が高いｈｉｇｈ ｖａｌｕｅ群の２０症例を表す図である。 穴の数に対応する第１の基準閾値を用いた場合の検証結果を表す図である。 連結成分に対応する第２の基準閾値を用いた場合の検証結果を表す図である。 従来手法における生存期間分析の結果を示す図である。 従来手法における生存期間分析の結果を示す図である。 従来手法における生存期間分析の結果を示す図である。 従来手法における生存期間分析の結果を示す図である。 従来手法における生存期間分析の結果を示す図である。 本発明における生存期間分析の結果を示す図である。 本発明における生存期間分析の結果を示す図である。 第２の実施形態における予後予測システムのシステム構成を表す構成図である。 従来手法と本発明との予後予測精度の比較結果を示す図である。 従来手法と本発明との予後予測精度の比較結果を示す図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１の実施形態）
図１は、第１の実施形態における予後予測システム１００のシステム構成を表す構成図である。予後予測システム１００は、外部装置１０及び画像解析装置２０を備える。外部装置１０及び画像解析装置２０は、無線又は有線により通信可能に接続される。

外部装置１０は、生体組織が撮像された撮像画像を保持する装置である。撮像画像は、ＣＴ画像、ＭＲＩ画像及びＰＥＴ画像等の生体組織が撮像された画像である。以下の説明では、撮像画像として、ＣＴ画像を例に説明する。外部装置１０は、例えばＣＴ画像を取得するＸ線ＣＴ診断装置、ＭＲＩ画像を取得するＭＲＩ装置、ＰＥＴ画像を取得するＰＥＴ装置、ＰＥＴ／ＣＴ装置及び撮像画像を保存可能な記憶装置である。なお、撮像画像は、適当な染色を施した後の生体組織を撮像した画像であってもよい。本実施形態における生体組織とは、例えば腫瘍である。

画像解析装置２０は、外部装置１０が保持している撮像画像を解析することにより、撮像画像の患者の予後予測に有用な情報を出力する。画像解析装置２０は、例えばノートパソコン、パーソナルコンピュータ、スマートフォン、携帯電話、タブレット端末等の情報処理装置を用いて構成される。

次に、第１の実施形態における画像解析装置２０の具体的な機能構成について説明する。画像解析装置２０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像解析プログラムを実行する。画像解析プログラムの実行によって、画像解析装置２０は、画像取得部２０１、前処理部２０２、二値化処理部２０３、頻度分布生成部２０４、基準値特定部２０５、出力情報生成部２０６、出力部２０７を備える装置として機能する。なお、画像解析装置２０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像解析プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像解析プログラムは、電気通信回線を介して送受信されてもよい。

画像取得部２０１は、外部装置１０が保持している撮像画像を取得する。例えば、画像取得部２０１は、外部装置１０が保持している複数の撮像画像のうち１枚の撮像画像を取得する。
前処理部２０２は、画像取得部２０１によって取得された撮像画像に対して、画像解析を容易に行うための前処理を行う。具体的には、前処理部２０２は、撮像画像に対して、画像のウィンドウ幅とウィンドウレベルの変更、腫瘍以外の部分が入らないように腫瘍部分の抽出処理、３Ｄ画像から２Ｄ画像への変換のいずれか又は全てを前処理として行う。

二値化処理部２０３は、前処理後の撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する。
頻度分布生成部２０４は、二値化処理部２０３によって生成された複数の二値化画像を用いて、複数の二値化画像それぞれに含まれる図形の穴の数の頻度を表す第１の頻度分布と、連結成分の頻度を表す第２の頻度分布とを生成する。具体的には、まず頻度分布生成部２０４は、各二値化画像において、図形の穴の数及び連結成分を計測する。そして、頻度分布生成部２０４は、二値化画像の生成に用いられた閾値毎に、図形の穴の数をプロットすることによって第１の頻度分布を生成する。また、頻度分布生成部２０４は、二値化画像の生成に用いられた閾値毎に、連結成分をプロットすることによって第２の頻度分布を生成する。なお、連結成分とは、一連なりの図形の数を表す。

基準値特定部２０５は、生成された第１の頻度分布及び第２の頻度分布を用いて、予後に関する情報の解析に用いられる基準となる閾値を基準閾値として特定する。具体的には、基準値特定部２０５は、第１の頻度分布において極値を与える閾値を第１の基準閾値と特定し、第２の頻度分布において極値を与える閾値を第２の基準閾値と特定する。
出力情報生成部２０６は、特定された第１の基準閾値と、第２の基準閾値とを用いて、予後に関する情報の解析結果を出力情報として生成する。具体的には、出力情報生成部２０６は、第１の基準閾値と、第２の基準閾値とを画像のホモロジーの特徴量として、この特徴量と患者の生存率とをＫａｐｌａｎ−ｍｅｉｅｒで分析した結果やＰ値を出力情報として生成する。なお、出力情報生成部２０６は、生成部の一態様である。

出力部２０７は、出力情報生成部２０６によって生成された出力情報を出力する。例えば、出力部２０７は、自装置に接続された表示装置に対して出力情報を出力してもよいし、自装置に接続された印刷装置に対して出力情報を出力してもよい。

図２は、第１の実施形態における画像解析装置２０の処理の流れを示すフローチャートである。
画像取得部２０１は、外部装置１０から撮像画像を取得する（ステップＳ１０１）。画像取得部２０１は、取得した撮像画像を前処理部２０２に出力する。前処理部２０２は、画像取得部２０１から出力された撮像画像に対して前処理を行う（ステップＳ１０２）。

図３Ａ及び図３Ｂを用いて、第１の実施形態における前処理の具体的な処理を説明する。前処理部２０２は、図３Ａに示す撮像画像３１を入力として、入力された撮像画像３１に対してウィンドウ幅とウィンドウレベルを変更する処理を行う。図３Ｂは、ウィンドウ幅とウィンドウレベルの変更後の撮像画像３２を表す図である。本実施形態では、肺腫瘍が見やすい縦隔条件を満たすウィンドウ幅とウィンドウレベルに変更している。このときグレイスケールの階調度は２５６である。次に、前処理部２０２は、図３Ｂに示す画像から肺の腫瘍部分の領域３２１を抽出する。この際、前処理部２０２は、できるだけ腫瘍以外の情報がはいらないように、肺腫瘍のＣＴＶ領域以外のＣＴ値を０とする。

図３Ｃは、撮像画像３２から領域３２１を抽出することによって得られた抽出画像３３を表す図である。抽出画像３３は、３次元の画像データである。次に、前処理部２０２は、抽出画像３３から複数の面（例えば、ａｘｉａｌ断面（体軸断面）、ｃｏｒｏｎａｌ断面（冠状断面）及びｓａｇｉｔｔａｌ断面（矢状断面））の複数の二次元画像を抽出する。なお、前処理部２０２は、各面で腫瘍面積が最大になる複数の二次元画像を抽出する。図３Ｄは、抽出された二次元画像３４、３５及び３６を表す図である。二次元画像３４は、ａｘｉａｌ面でスライスされた二次元画像である。二次元画像３５は、ｃｏｒｏｎａｌ面でスライスされた二次元画像である。二次元画像３６は、ｓａｇｉｔｔａｌ面でスライスされた二次元画像である。このように、本実施形態では、患者一人当たり、３枚の二次元画像を用いる。

図２に戻り、二値化処理部２０３は、二値化の閾値Ｘ＝０とする（ステップＳ１０３）。二値化処理部２０３は、前処理部２０２によって抽出された二次元画像３４、３５及び３６それぞれに対して、二値化の閾値をＸとして二値化処理を行うことによって複数の二値化画像を生成する（ステップＳ１０４）。例えば、処理開始時では、二値化処理部２０３は、二値化の閾値を０として二次元画像３４、３５及び３６それぞれに対して二値化処理を行うことによって複数の二値化画像を生成する。

図４Ａ及び図４Ｂを用いて、第１の実施形態における二値化処理に説明する。図４Ａは二次元画像３４の一例を表す図である。図４Ｂは、二次元画像３４に対して二値化処理を行った後の二値化画像４０を表す図である。図４Ｂに示すように、二値化画像４０には、図形内に穴が複数存在している。この穴の数は、Ｘの値に応じて変化する。なお、図４Ａでは、ａｘｉａｌ断面の二次元画像３４を示しているが、二値化処理部２０３はｃｏｒｏｎａｌ断面の二次元画像３５及びｓａｇｉｔｔａｌ断面の二次元画像３６に対しても同様に二値化処理を行う。これにより、二値化処理部２０３は、ａｘｉａｌ断面の二値化画像、ｃｏｒｏｎａｌ断面の二値化画像及びｓａｇｉｔｔａｌ断面の二値化画像を生成する。

図２に戻り、頻度分布生成部２０４は、二値化処理部２０３によって生成された複数の二値化画像を用いて、複数の二値化画像それぞれに含まれる図形の穴の数と、連結成分を計測する（ステップＳ１０５）。頻度分布生成部２０４は、計測した図形の穴の数と、連結成分とを一時的に保持する。その後、二値化処理部２０３は、Ｘ＝Ｘｍａｘであるか否かを判定する（ステップＳ１０６）。Ｘｍａｘは、二値化処理に用いる閾値の最大値であり、例えば２５６階調の場合には２５５である。

Ｘ＝Ｘｍａｘでない場合（ステップＳ１０６−ＮＯ）、二値化処理部２０３はＸの値に１加算して値を新たな閾値Ｘとする（ステップＳ１０７）。その後、画像解析装置２０は、ステップＳ１０４以降の処理を実行する。
一方、Ｘ＝Ｘｍａｘである場合（ステップＳ１０６−ＹＥＳ）、頻度分布生成部２０４は保持している閾値Ｘ毎の図形の穴の数と、連結成分とを用いて第１の頻度分布及び第２の頻度分布を生成する（ステップＳ１０８）。

図５Ａ〜５Ｃ、図６Ａ及び図６Ｂを用いて、第１の実施形態における頻度分布の生成処理を説明する。図５Ａはａｘｉａｌ断面の二値化画像４０を表す図である。図５Ｂは、頻度分布生成部２０４が、閾値Ｘの値を０から２５５まで変化させた際に計測した図形の穴の数を用いて生成した１つの面（例えば、ａｘｉａｌ断面）における第１の頻度分布を表す図である。図５Ｃは頻度分布生成部２０４が、閾値Ｘの値を０から２５５まで変化させた際に計測した連結成分を用いて生成した１つの面（例えば、ａｘｉａｌ断面）における第２の頻度分布を表す図である。図５Ｂにおいて、横軸は閾値Ｘを表し、縦軸は穴の数を表す。図５Ｂに示す１つの面（例えば、ａｘｉａｌ断面）における第１の頻度分布では、Ｘの値がある値に近づくと穴の数が急激に上昇し、その値を超えると減少している。図５Ｃにおいて、横軸は閾値Ｘを表し、縦軸は連結成分を表す。図５Ｃに示す１つの面（例えば、ａｘｉａｌ断面）における第２の頻度分布では、Ｘの値がある値に近づくと連結成分が上昇し、その値を超えると減少している。頻度分布生成部２０４は、１つのスライス面に対して２つの頻度分布を生成する。

本実施形態では、ａｘｉａｌ断面の二次元画像３４の他に、ｃｏｒｏｎａｌ断面の二次元画像３５及びｓａｇｉｔｔａｌ断面の二次元画像３５を用いている。そのため、頻度分布生成部２０４は、ｃｏｒｏｎａｌ断面の二次元画像３５から得られる二値化画像からも２つの第１の頻度分布及び第２の頻度分布を生成する。また、頻度分布生成部２０４は、ｓａｇｉｔｔａｌ断面の二次元画像３６から得られる二値化画像からも２つの第１の頻度分布及び第２の頻度分布を生成する。

図６Ａは、各面の二次元画像に基づいて生成された第１の頻度分布及び第２の頻度分布を表す図である。例えば、第１の頻度分布３４１及び第２の頻度分布３４２は、ａｘｉａｌ断面の二次元画像３４から得られる二値化画像に基づいて生成される。また、第１の頻度分布３５１及び第２の頻度分布３５２は、ｃｏｒｏｎａｌ断面の二次元画像３５から得られる二値化画像に基づいて生成される。また、第１の頻度分布３６１及び第２の頻度分布３６２は、ｓａｇｉｔｔａｌ断面の二次元画像３６から得られる二値化画像に基づいて生成される。

そして、頻度分布生成部２０４は、ａｘｉａｌ断面における第１の頻度分布３４１、ｃｏｒｏｎａｌ断面における第１の頻度分布３５１及びｓａｇｉｔｔａｌ断面における第１の頻度分布３６１を合算（足し算）して、図６Ｂに示すような１つの第１の頻度分布５１を生成する。同様に、頻度分布生成部２０４は、ａｘｉａｌ断面における第２の頻度分布３４２、ｃｏｒｏｎａｌ断面における第２の頻度分布３５２及びｓａｇｉｔｔａｌ断面における第２の頻度分布３６２を合算（足し算）して、図６Ｂに示すような１つの第２の頻度分布５２を生成する。

その後、頻度分布生成部２０４は、生成した第１の頻度分布５１及び第２の頻度分布５２を基準値特定部２０５に出力する。基準値特定部２０５は、第１の頻度分布５１及び第２の頻度分布５２それぞれにおいて、基準閾値を特定する（ステップＳ１０９）。例えば、基準値特定部２０５は、第１の頻度分布５１のピークの値、すなわち穴の数が１番大きいＸの値（円５１１で示す値）を第１の基準閾値と特定する。また、基準値特定部２０５は、第２の頻度分布５２のピークの値、すなわち連結成分が１番大きいＸの値（円５２１で示す値）を第２の基準閾値と特定する。

基準値特定部２０５は、特定した第１の基準閾値及び第２の基準閾値を出力情報生成部２０６に出力する。出力情報生成部２０６は、特定された第１の基準閾値と、第２の基準閾値に対応した予後に関する情報の解析結果である出力情報を生成する（ステップＳ１１０）。出力情報生成部２０６は、生成した出力情報を出力部２０７に出力する。出力部２０７は、出力情報生成部２０６によって生成された出力情報を出力する（ステップＳ１１１）。

次に、基準値特定部２０５で得られた第１の基準閾値及び第２の基準閾値を用いて、生存期間分析を行い、第１の基準閾値及び第２の基準閾値がどれほど正しく評価できているのかを検証する。図７及び図８は、生存期間分析の流れを説明するための図である。図７Ａ、図７Ｂ、図８Ａ及び図８Ｂでは、生存期間が既知である４０の症例を用いて検証した例を示している。
まず、４０症例を穴の数に対応する第１の基準閾値及び連結成分に対応する第２の基準閾値それぞれで２群(ホモロジーの値が小さいｌｏｗ ｖａｌｕｅ群の２０症例と、ホモロジーの値が高いｈｉｇｈ ｖａｌｕｅ群の２０症例)に分類する。図７Ａ及び図７Ｂでは、４０症例を穴の数に対応する第１の基準閾値で２群に分類した例を示している。例えば、図７Ａはｌｏｗ ｖａｌｕｅ群の２０症例を表し、図７Ｂはｈｉｇｈ ｖａｌｕｅ群の２０症例を表す。

次に、生存期間に有意差があるか否かをｋａｐｌａｎ−ｍｅｉｅｒ法を用いて定量的に解析する。Ｋａｐｌａｎ−ｍｅｉｅｒの結果を図８Ａ及び図８Ｂに示す。図８Ａ及び図８Ｂにおいて、横軸は期間を表し、縦軸は生存率を表す。図８Ａは、穴の数に対応する第１の基準閾値を用いた場合の検証結果を表す図である。図８Ｂは、連結成分に対応する第２の基準閾値を用いた場合の検証結果を表す図である。図８Ａ及び図８Ｂに示すように、穴の数で２群に分けた場合も、連結成分で２群に分けた場合も、ｈｉｇｈ ｖａｌｕｅ群の生存率は期間が長くなるほど低くなり、ｌｏｗ ｖａｌｕｅ群の生存率は期間が長くなっても高いのが見て取れる。また、実際にＰ値を算出すると、どちらも０．０５以下であり有意差を確認することができた。
上記に示す結果から、本発明における画像解析装置２０は、精度よく予後予測を行うことができることがわかる。

次に、従来手法における生存期間分析と、本発明における生存期間分析を比較して本発明の優位性を検証する。図９Ａ〜図９Ｃ及び図１０Ａ〜図１０Ｂは、従来手法における生存期間分析の結果を示す図である。図１１Ａ及び図１１Ｂは、本発明における生存期間分析の結果を示す図である。なお、図９Ａ〜図１１Ｂでは、ストラクチャデータが既知である２９５の症例を用いて検証した例を示している。ストラクチャデータが既知である２９５の症例は、非特許文献１に示されている。

まず従来手法について説明する。
従来手法では、図９Ａに示すような腫瘍画像を用いて、腫瘍画像に最も多く含まれている画素値をその腫瘍画像の標準画素値とする。ここで、画素値８８が標準画素値であるとし、標準画素値の倍率を１とする。従来手法では、標準画素値を閾値として、図９Ａに示す腫瘍画像に二値化処理を行うことによって図９Ｂに示す二値化画像を得る。しかしながら、図９Ｂに示す二値化画像では、穴の数が計測不可能である。そのため、従来手法では、例えば画素値４８（倍率０．５５）〜画素値６３（倍率０．７２）の間で、腫瘍画像に二値化処理を行うことで複数の二値化画像を取得して、複数の二値化画像のそれぞれから穴の数を計測することによって図９Ｃのようなグラフを取得する。図９Ｃに示すグラフの横軸は倍率を表し、縦軸は穴の数を表す。

そして、従来手法では、近似式ｙ＝ａ（ｘ−ｂ）２＋ｃにおける定数ａと、定数ｂの値を用いて生存期間分析を行っている。その結果を図１０Ａ及び図１０Ｂに示す。図１０Ａ及び図１０Ｂにおいて、横軸は期間を表し、縦軸は生存率を表す。図１０Ａは、近似式ｙ＝ａ（ｘ−ｂ）２＋ｃにおけるａの中央値で２９５の症例を２群に分類してｋａｐｌａｎ−ｍｅｉｅｒ法を用いて定量的に解析した結果を表している。図１０Ｂは、近似式ｙ＝ａ（ｘ−ｂ）２＋ｃにおける定数ｂの中央値で２９５の症例を２群に分類してｋａｐｌａｎ−ｍｅｉｅｒ法を用いて定量的に解析した結果を表している。図１０Ａ及び図１０Ｂに示すように、Ｐ値を算出すると、どちらも０．０５以上であり有意差を確認することができなかった。

それに対して、図１１Ａ及び図１１Ｂに示すように、本発明ではＰ値を算出すると、どちらも０．０５以下であり有意差を確認することができた。このように、本発明における手法は、従来の手法に比べて優位性がある。また、有意差があるため、予後予測の有用性を示唆しているといえる。

以上のように構成された画像解析装置２０によれば、生体組織を撮像した撮像画像から得られる患者の予後に関する情報の精度を向上させることが可能となる。具体的には、画像解析装置２０は、生体組織を撮像した１枚の撮像画像から得られる複数の二値化画像に基づいて、穴の数及び連結成分が極値（例えば、最大値）となる基準閾値を、その撮像画像の特徴量として用いて予後予測を行う。得られた基準閾値を用いた有意差については、図７Ａ〜図７Ｂ、図８Ａ〜図８Ｂ及び図１１Ａ〜図１１Ｂに示す通りである。このように、有意差があるため、得られる予後予測についてもより正確な値を予測することができる。そのため、生体組織を撮像した撮像画像から得られる患者の予後に関する情報の精度を向上させることが可能になる。

（第２の実施形態）
第２の実施形態では、画像形成装置は、頻度分布と、患者の予後のデータとを学習することによって学習モデルを生成し、新たに入力された患者の画像データから患者のこれからの予後を予測する。
図１２は、第２の実施形態における予後予測システム１００ａのシステム構成を表す構成図である。予後予測システム１００ａは、外部装置１０及び画像解析装置２０ａを備える。外部装置１０及び画像解析装置２０ａは、無線又は有線により通信可能に接続される。

画像解析装置２０ａは、外部装置１０が保持している撮像画像を解析することにより、撮像画像の患者の予後予測に有用な情報を出力する。また、画像解析装置２０ａは、頻度分布と、患者の予後のデータとを学習することによって学習モデルを生成する。画像解析装置２０ａは、例えばノートパソコン、パーソナルコンピュータ、スマートフォン、携帯電話、タブレット端末等の情報処理装置を用いて構成される。

画像解析装置２０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像解析プログラムを実行する。画像解析プログラムの実行によって、画像解析装置２０ａは、画像取得部２０１ａ、前処理部２０２、二値化処理部２０３、頻度分布生成部２０４、基準値特定部２０５、出力情報生成部２０６ａ、出力部２０７、学習モデル生成部２０８を備える装置として機能する。なお、画像解析装置２０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像解析プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像解析プログラムは、電気通信回線を介して送受信されてもよい。

画像解析装置２０ａは、出力情報生成部２０６に代えて出力情報生成部２０６ａを備える点、学習モデル生成部２０８を新たに備える点で画像解析装置２０と構成が異なる。画像解析装置２０ａは、他の構成については画像解析装置２０と同様である。そのため、画像解析装置２０ａ全体の説明は省略し、出力情報生成部２０６ａ及び学習モデル生成部２０８について説明する。

学習モデル生成部２０８は、第１の頻度分布及び第２の頻度分布と、患者の予後のデータ（例えば、予後○か月であるかを表す生存期間のデータ）とを対応付けて学習することによって学習モデルを生成する。
出力情報生成部２０６ａは、出力情報生成部２０６と同様の処理を行う。また、出力情報生成部２０６ａは、頻度分布生成部２０４によって生成された第１の頻度分布及び第２の頻度分布と、学習モデル生成部２０８によって生成された学習モデルとを用いて、患者の予後のデータを出力情報として生成する。

以上のように構成された画像解析装置２０ａによれば、第１の実施形態と同様の効果を得ることができる。
また、画像解析装置２０ａは、学習結果に応じて、より高精度に患者の予後を予測することができる。

＜第２の実施形態における変形例＞
学習モデル生成部２０８は、第１の頻度分布及び第２の頻度分布のいずれか一方と、患者の予後のデータ（例えば、予後○か月のデータ）とを対応付けて学習することによって学習モデルを生成するように構成されてもよい。
学習モデル生成部２０８は、病理結果（例えば、病気のステージ数、病気の進行度合い）やＤＮＡの解析結果を学習することによって、病理結果やＤＮＡの解析に用いる学習モデルを生成するように構成されてもよい。

第１の実施形態及び第２の実施形態に共通する変形例について説明する。
本発明で用いる撮像画像は、上記の画像に限定される必要はなく、超音波画像、ＳＰＥＣＴ画像、Ｘ線一般撮影画像等の画像であってもよい。
頻度分布生成部２０４，２０４ａは、第１の頻度分布及び第２の頻度分布のいずれか一方を生成するように構成されてもよい。このように構成される場合、基準値特定部２０５は、頻度分布生成部２０４，２０４ａによって、生成された第１の頻度分布及び第２の頻度分布のいずれか一方の頻度分布を用いて、予後に関する情報の解析に用いられる基準閾値を特定する。
上記の各実施形態では、前処理部２０２，２０２ａが、抽出画像３３から３つの面それぞれの二次元画像を抽出する構成を示したが、前処理部２０２，２０２ａは抽出画像３３から１つ又は２つの面の二次元画像を抽出するように構成されてもよい。

上記の各実施形態では、基準値特定部２０５が、頻度分布において極値を与える閾値を基準閾値と特定する構成を示したが、基準閾値は以下の方法で特定されてもよい。例えば、基準値特定部２０５は、極値を与える閾値の近傍の値を基準閾値として特定してもよい。
画像解析装置２０，２０ａは、全ての閾値で二値化処理を行うことによって複数の二値化画像を生成した後に、全ての二値化画像に対して穴の数と連結成分を計測するように構成されてもよい。
画像解析装置２０，２０ａは、二次元画像の抽出を行わず、三次元画像に対して二値化処理を行うことによって穴の数と連結成分を計測するように構成されてもよい。このように構成される場合、頻度分布生成部２０４，２０４ａは、三次元画像内における穴がつながっている領域を１つの穴（画像上では、球）としてカウントする。

画像解析装置２０，２０ａが備える各機能部の一部は、別の筐体に備えられてもよい。
別の筐体は、例えばクラウド上に設けられた１又は複数のサーバである。例えば、画像取得部２０１及び前処理部２０２が１又は複数のサーバに備えられ、画像解析装置２０，２０ａが前処理後の撮像画像を処理するように構成される。このように構成される場合、画像解析装置２０，２０ａ及び１又は複数のサーバを備える画像解析システムとして構成されてもよい。
出力情報生成部２０６，２０６ａは、第１の基準閾値と、第２の基準閾値との比を出力情報の生成に用いるように構成されてもよい。

二値化処理部２０３は、ステップＳ１０７の処理においてＸの値に２以上の値を加算して新たな閾値Ｘとするように構成されてもよい。このように構成されることによって、二値化処理部２０３は、閾値Ｘ＝０からＸ＝Ｘｍａｘまでの全てにおいて二値化画像を生成する必要がない。そのため、処理負荷を軽減することができる。このように構成される場合、頻度分布生成部２０４は、穴の数及び連結成分が計測されていない閾値における穴の数及び連結成分を、前後の閾値における穴の数及び連結成分から補完する。

画像解析装置２０，２０ａは、穴が発生してから、閾値を変化させることによって、発生した穴が消失するまでの期間を予後予測に用いるように構成されてもよい。具体的には、頻度分布生成部２０４は、ある閾値における二値化画像において穴が発生し、穴が発生してから、閾値を変化させて所定の期間経過する前に消失した穴をノイズと判断して、ノイズと判断された穴を各閾値において穴の数の計測対象に含めず、所定の期間以上残っている穴を計測対象とする。所定の期間は、閾値の数を表す。例えば、所定の期間が閾値３つであるとし、閾値１で穴が発生したとする。この場合、頻度分布生成部２０４は、閾値１から所定の期間、すなわち閾値４未満の時点で、閾値１で発生した穴が消失した場合には当該穴をノイズと判断して、ノイズと判断された穴を閾値１〜閾値３における穴の数の計測に含めない。一方、頻度分布生成部２０４は、閾値１から所定の期間、すなわち閾値４未満の時点で、閾値１で発生した穴が消失していない場合には閾値１〜閾値３における穴の数の計測に含める。

次に、図１３及び図１４を用いて、本発明における予後予測精度の優位性について説明する。図１３及び図１４は、従来手法と本発明との予後予測精度の比較結果を示す図である。従来手法と本発明との予後予測精度を比較するために、一般公開されているＴＣＩＡ（The Cancer Imaging Archive）から抽出した２７７人のＮＳＣＬＣ（Non-Small Cell Lung Cancer：非小細胞性肺がん）患者を解析した。各ＮＳＣＬＣ患者の詳細なデータは、図１３に示す通りである。ＮＳＣＬＣ患者の予後予測の優れた性能である５つの標準的な放射線特徴を採用し、相同性に基づく放射線特徴を比較した。この標準的な放射線特徴は、３つの強度特徴と２つのテクスチャ特徴で構成されている。

２７７人のＮＳＣＬＣ患者の画像データを用いて、上記の手法で穴の頻度分布を作成した。そして、穴の数（ホモロジー）の値が小さい群（ｌｏｗ ｖａｌｕｅ群）と、ホモロジーの値が高い群（ｈｉｇｈ ｖａｌｕｅ群）の２群に分けて、それぞれにｋａｐｌａｎ−ｍｅｉｅｒ法を用いて図８Ａのような図（例えば、カプランマイヤープロット）を作成した。その後、各プロット曲線からＡＵＣ（Area under an ROC curve）値を求めた。本発明の穴の数の代わりに、公知の特徴量を用いて分けた２群で作成したカプランマイヤープロットについてそれぞれＡＵＣ値を求め、ＡＵＣ値を特徴量間で比較して予測精度を検証した。ここで、公知の特徴量とは、例えば、ＮＳＣＬＣの予後予測に有効な特徴量（参考文献１参照）、参考文献２に記載の特徴量及び参考文献３に記載の特徴量である。
（参考文献１：Wen Yu et al., “Development and Validation of a Predictive
Radiomics Model for Clinical Outcomes in Stage I Non-small Cell Lung Cancer”, International journal of Radiation Oncology biology Physics, 2018）
（参考文献２：Hugo J.W.L. Aerts1 et al., “Decoding tumour phenotype by noninvasive imaging using a quantitative radiomics approach”, Nature communications, 2014）
（参考文献３：Elizabeth Huynh et al., “CT-based radiomic analysis of stereotactic body radiation therapy patients with lung cancer”, Radiotherapy and Oncology, p.258-266, 2016）
その結果、本発明における特徴量（ホモロジー特徴量）を用いた場合のＡＵＣが最も高く、公知の特徴量よりも予後予測を精度よく行える特徴量であることが分かった。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

生体組織を撮像した撮像画像を用いて患者の予後に関する情報の解析を行う装置に適用できる。

１０…外部装置， ２０、２０ａ…画像解析装置， ２０１…画像取得部， ２０２…前処理部， ２０３…二値化処理部， ２０４…頻度分布生成部， ２０５…基準値特定部， ２０６、２０６ａ…出力情報生成部， ２０７…出力部， ２０８…学習モデル生成部

Claims (8)

1. 生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理部と、
   前記二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成部と、
   生成した前記連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる前記連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定部と、
   特定された前記連結成分の頻度分布における前記基準閾値を用いて、予後に関する情報の解析結果を生成する生成部と、
   を備える画像解析装置。
2. 前記基準値特定部は、前記連結成分の頻度分布において極値を与える閾値又は前記閾値の近傍の値を前記連結成分の頻度分布における前記基準閾値と特定する、請求項１に記載の画像解析装置。
3. 前記頻度分布生成部は、前記二値化処理部によって生成された前記複数の二値化画像を用いて、前記二値化画像に含まれる穴又は球の数の頻度分布をさらに生成し、
   前記基準値特定部は、前記穴又は球の数の頻度分布において極値を与える閾値又は前記閾値の近傍の値を前記穴又は球の数の頻度分布における基準閾値と特定し、
   前記生成部は、特定された前記連結成分の頻度分布における前記基準閾値と、前記穴又は球の数の頻度分布における基準閾値とを用いて、予後に関する情報の解析結果を生成する、請求項２に記載の画像解析装置。
4. 前記連結成分の頻度分布と、患者の予後のデータとを対応付けて学習することによって学習モデルを生成する学習モデル生成部をさらに備え、
   前記生成部は、新たに入力された撮像画像から得られる前記連結成分の頻度分布と、前記学習モデルとを用いて前記患者の予後のデータをさらに生成する、請求項１から３のいずれか一項に記載の画像解析装置。
5. 生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理部と、
   前記二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成部と、
   生成した前記連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる前記連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定部と、
   特定された前記連結成分の頻度分布における前記基準閾値を用いて、予後に関する情報の解析結果を生成する生成部と、
   を備える画像解析システム。
6. 生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理ステップと、
   前記二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成ステップと、
   生成した前記連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる前記連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定ステップと、
   特定された前記連結成分の頻度分布における前記基準閾値を用いて、予後に関する情報の解析結果を生成する出力情報生成ステップと、
   を備える画像解析方法。
7. 生体組織を撮像した撮像画像に対して、異なる閾値毎に二値化処理を行うことによって複数の二値化画像を生成する二値化処理ステップと、
   前記二値化画像に含まれる一連なりの図形の数を表す連結成分の頻度分布を生成する頻度分布生成ステップと、
   生成した前記連結成分の頻度分布を用いて、予後に関する情報の解析に用いられる前記連結成分の頻度分布における基準となる閾値を基準閾値として特定する基準値特定ステップと、
   特定された前記連結成分の頻度分布における前記基準閾値を用いて、予後に関する情報の解析結果を生成する出力情報生成ステップと、
   をコンピュータに実行させるためのコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを記録した非一時的記録媒体。

Images