JP7179521B2 - 医用画像処理装置、画像生成方法、及び画像生成プログラム - Google Patents

Description

本発明の実施形態は、医用画像処理装置、画像生成方法、及び画像生成プログラムに関する。

肺がん等が疑われる患者に対するＣＴ検査にあっては、１回のＣＴ検査では結節（腫瘤）が悪性か良性かの判断がつかない場合が多い。そのような場合、数ヶ月後に再度ＣＴ検査を行い、前後のＣＴ画像を比較して得られる結節領域の変化に基づき、結節が悪性か良性かを判断するようにしている。

ところで、近年、結節領域の変化を比較するため、ＣＴ画像から結節領域を自動的に抽出する手法が提案されている。この種の手法では、例えば、様々な陰影パターンの肺結節画像を用意する必要がある。しかしながら、例えば、日常診療で気腔に遭遇する頻度は比較的低い等、あらゆる陰影パターンを満遍なく揃えることは困難である。

特許第５３９００８０号公報

発明が解決しようとする課題は、病変についてのデータ不足を緩和することである。

実施形態によれば、医用画像処理装置は、画像取得部、抽出部、及び生成部を有する。画像取得部は、医用画像を取得する。抽出部は、前記取得された医用画像における病変領域を抽出する。生成部は、前記抽出された病変領域を変更した合成画像を生成する。

図１は、第１の実施形態に係る医用画像処理装置が設けられる病院情報システムの機能構成を示すブロック図である。 図２は、図１に示される医用画像処理装置の機能構成を表すブロック図である。 図３は、図１に示される処理回路が合成画像を生成する際の動作を表すフローチャートである。 図４は、肺野についてのＣＴ画像に含まれる組成の発生頻度の分布を表す図である。 図５は、合成画像に含まれる領域を表す概念図である。 図６は、合成画像に含まれる領域のその他の例を表す概念図である。 図７は、合成画像に含まれる領域のその他の例を表す概念図である。 図８は、図１に示される処理回路が尤度画像を生成する処理手順を表す図である。 図９は、図１に示される処理回路がキャビティー領域を対象領域に合成する処理を表す図である。 図１０は、図１に示される処理回路により生成される合成画像を表す図である。 図１１は、図１に示される処理回路により生成される合成画像のその他の例を表す図である。 図１２は、図１に示される処理回路により生成される合成画像のその他の例を表す図である。 図１３は、図１に示される処理回路により生成される合成画像のその他の例を表す図である。 図１４は、図１に示される処理回路により生成される合成画像のその他の例を表す図である。 図１５は、第２の実施形態に係る医用画像処理装置の機能構成を示すブロック図である。 図１６は、第３の実施形態に係る医用画像処理装置の機能構成を示すブロック図である。

以下、実施の形態について、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態に係る医用画像処理装置１０が設けられる病院情報システムの機能構成の例を示すブロック図である。図１に示される病院情報システムは、医用画像処理装置１０、及び医用画像管理システム（ＰＡＣＳ：Picture Archiving and Communication System）２０を備える。医用画像処理装置１０、及び医用画像管理システム２０は、ＬＡＮ（Local Area Network）等の病院内ネットワークを介してデータ通信可能に接続されている。なお、病院内ネットワークへの接続は、有線接続、及び無線接続を問わない。また、セキュリティが確保されるのであれば、接続される回線は病院内ネットワークに限定されない。例えば、ＶＰＮ（Virtual Private Network）等を介し、インターネット等、公衆の通信回線に接続するようにしても構わない。

医用画像管理システム２０は、医用画像データを記憶し、記憶している医用画像データを管理するシステムである。医用画像管理システム２０は、例えば、サーバ装置２１を有する。サーバ装置２１は、医用画像管理システム２０において、例えば、ＤＩＣＯＭ（Digital Imaging and Communication Medicine）規格に則って変換された医用画像データを記憶する。また、サーバ装置２１は、例えば、閲覧要求に応じ、記憶している医用画像データを要求元へ送信する。

医用画像データは、例えば、Ｘ線診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ－ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ－ＣＴ装置、ＰＥＴ装置とＭＲＩ装置とが一体化されたＰＥＴ－ＭＲＩ装置、又はこれらの装置群等である医用画像診断装置により生成される。

なお、図１では、医用画像管理システム２０に含まれるサーバがサーバ装置２１のみである場合を例に示しているが、これに限定されない。サーバ装置２１は、必要に応じて複数設けられていても構わない。

医用画像処理装置１０は、医用画像データを利用し、症例数の少ない病変領域が含まれる合成画像を生成する。本実施形態において、症例数の少ない病変領域は、例えば、少なくとも１種類の組成を部分的に有する病変領域を表す。図２は、図１に示される医用画像処理装置１０の機能構成の例を表すブロック図である。図２に示される医用画像処理装置１０は、処理回路１１、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５を有する。処理回路１１、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５は、例えば、バスを介して互いに通信可能に接続されている。

処理回路１１は、医用画像処理装置１０の中枢として機能するプロセッサである。処理回路１１は、メモリ１２等に記憶されているプログラムを実行することにより、当該プログラムに対応する機能を実現する。

メモリ１２は、種々の情報を記憶するＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及び集積回路記憶装置等の記憶装置である。また、メモリ１２は、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。なお、メモリ１２は、必ずしも単一の記憶装置により実現される必要は無い。例えば、メモリ１２は、複数の記憶装置により実現されても構わない。また、メモリ１２は、医用画像処理装置１０にネットワークを介して接続された他のコンピュータ内にあってもよい。

メモリ１２は、本実施形態に係る画像生成プログラム等を記憶している。なお、この画像生成プログラムは、例えば、メモリ１２に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されてメモリ１２にインストールされてもよい。

入力インタフェース１３は、ユーザから各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１へ出力する。入力インタフェース１３は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド、及び操作面へ触れることで指示が入力されるタッチパネル等の入力機器に接続されている。また、入力インタフェース１３に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。

ディスプレイ１４は、処理回路１１からの指示に従って種々の情報を表示する。また、ディスプレイ１４は、合成画像を生成するための画面へユーザが必要事項を入力するためのＧＵＩ（Graphical User Interface）を表示する。ディスプレイ１４は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、及びプラズマディスプレイ等、任意のディスプレイが適宜利用可能である。

通信インタフェース１５は、医用画像管理システム２０等との間でデータ通信を行う。通信インタフェース１５は、例えば、予め設定されている既知の規格に準拠してデータ通信を行う。医用画像管理システム２０との間では、例えば、ＤＩＣＯＭに準拠した通信が実施される。

図２に示される処理回路１１は、例えば、メモリ１２に記憶されている画像生成プログラムを実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路１１は、画像生成プログラムを実行することで、画像取得機能１１１、抽出機能１１２、及び生成機能１１３を有する。なお、本実施形態では、単一のプロセッサによって画像取得機能１１１、抽出機能１１２、及び生成機能１１３が実現される場合を説明するが、これに限定されない。例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより画像取得機能１１１、抽出機能１１２、及び生成機能１１３を実現しても構わない。

また、画像取得機能１１１、抽出機能１１２、及び生成機能１１３は、その動作がハードウェアによって実現されるものであってもよいし、ソフトウェアによって実現されるものであってもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであってもよい。

画像取得機能１１１は、医用画像を取得する機能であり、画像取得部の一例である。画像取得機能１１１において処理回路１１は、例えば、医用画像管理システム２０にアクセスし、医用画像管理システム２０に記憶されている医用画像データを読み出す。また、処理回路１１は、例えば、ＵＳＢ等の記憶媒体を介してユーザから入力される医用画像データを読み出す。処理回路１１は、読み出した医用画像データに基づく医用画像を取得する。

抽出機能１１２は、医用画像に含まれる病変領域を抽出する機能であり、抽出部の一例である。抽出機能１１２において処理回路１１は、例えば、医用画像に含まれる各画素の画素値に基づき、医用画像に含まれる病変領域を抽出する。

生成機能１１３は、病変領域に基づく合成画像を生成する機能であり、生成部の一例である。生成機能１１３において処理回路１１は、例えば、抽出した病変領域に基づいて加工画像を生成する。そして、処理回路１１は、作成した加工画像と、取得した医用画像とを用い、合成画像を生成する。

次に、以上のように構成された医用画像処理装置１０により合成画像が生成される動作を、処理回路１１の処理手順に従って説明する。以下の説明では、合成画像は、例えば、少なくとも１種類の組成を部分的に有する領域を含むものとする。

図３は、図１に示される処理回路１１が合成画像を生成する際の動作の例を表すフローチャートである。なお、図３では、Ｘ線ＣＴ装置により生成されたＣＴ画像に基づき、肺結節についての合成画像が生成される場合を例に説明する。

肺結節のＣＴ陰影は、充実性（ソリッド）陰影、すりガラス（ＧＧＯ：Ground Glass Opacity）陰影、及び気腔（キャビティー）に大別される。なお、気腔は結節内に存在する、ガスで満たされた低輝度領域である。

図４は、肺野についてのＣＴ画像に含まれる組成の発生頻度の分布の例を表す図である。ＣＴ画像の画素値は、空気－１０００ＨＵ、水０ＨＵを基準として設定されている。一例として、肺野内において、肺実質は－９００～－８００ＨＵで表される。また、肺結節に含まれる気腔は－９５０ＨＵ以下で表され、ＧＧＯ陰影は－８００ＨＵ～－３００ＨＵで表され、かつ、ソリッド陰影は－２００ＨＵ～０ＨＵ付近で表される。

図３において、まず、例えば、入力インタフェース１３を介して合成画像の生成開始が指示されると、処理回路１１は、画像生成プログラムをメモリ１２から読み出し、読み出した画像生成プログラムを実行する。処理回路１１は、画像生成プログラムを実行すると、画像取得機能１１１を実行する。

画像取得機能１１１を実行すると処理回路１１は、医用画像データを取得する（ステップＳ３１）。具体的には、例えば、処理回路１１は、医用画像データをユーザに選択させるための画面をディスプレイ１４に表示させる。ユーザは、例えば、入力インタフェース１３を操作し、肺野について撮影された、少なくとも１つの医用画像データを選択する。

ユーザにより医用画像データが指定されると、処理回路１１は、指定された医用画像データを、医用画像データの記憶元、例えば、医用画像管理システム２０、又は可搬性記憶媒体等から読み出す。処理回路１１は、読み出した医用画像データに基づく医用画像をディスプレイ１４に表示させる。

ディスプレイ１４に医用画像が表示されると、ユーザは、例えば、表示されている医用画像のうち、病変領域、つまり結節領域を少なくとも１つ含む所定の広さの対象領域を指定する。所定の広さは、予め設定されていてもよいし、入力インタフェース１３を介した操作によりユーザが独自に設定してもよい。このとき、対象領域として、例えば、充実性陰影だけで構成される充実型結節、又はＧＧＯ陰影だけで構成されるすりガラス型結節に対応する領域を指定することができる。なお、対象領域は、処理回路１１が画像解析を実施することで、医用画像から自動的に選択されてもよい。

対象領域が指定されると、処理回路１１は、抽出機能１１２を実行する。抽出機能１１２を実行すると処理回路１１は、対象領域に含まれる結節領域を抽出する（ステップＳ３２）。具体的には、処理回路１１は、例えば、ソリッド陰影のＣＴ値を閾値として利用し、対象領域から充実型結節領域を抽出する。また、処理回路１１は、例えば、ＧＧＯ陰影のＣＴ値を閾値として利用し、対象領域からすりガラス型結節領域を抽出する。

結節領域を抽出すると、処理回路１１は、生成機能１１３を実行する。生成機能１１３を実行すると処理回路１１は、抽出した結節領域に基づいて合成画像を生成する。図５乃至図７は、合成画像に含まれる、少なくとも１種類の組成を部分的に有する領域の例を表す概念図である。図５は、キャビティー領域３１を有するソリッド陰影３２の例を表す。図６は、キャビティー領域３１を有するＧＧＯ陰影３３の例を表す。図７は、ソリッド陰影３２とＧＧＯ陰影３３とを有する部分充実性結節の例を表す。

処理回路１１は、例えば、下記のように合成画像を生成する。まず、処理回路１１は、抽出した結節領域の形状に基づき、抽出した結節領域をランダムに変形させることにより、抽出した結節領域の内部に、この結節領域よりも小さい領域を生成するための画像を生成する。本実施形態において、結節領域内部の小領域を生成するための画像のことを、キャビティー領域、又はその他の所定の組成領域の尤度画像と称する。

図８は、図１に示される処理回路１１が、充実型結節領域からキャビティー領域の尤度画像を生成する処理手順の例を表す模式図である。キャビティーは充実型結節の内部に形成され、その大きさは様々である。そこで、充実型結節の輪郭を幾何学的に変形させた気腔領域マスクを生成し、気腔領域マスクの内部を空気に近いＣＴ値で埋めた擬似キャビティーをオリジナルの充実性結節に合成することでキャビティーのある結節を生成する。

図８において、図８（ａ）はユーザにより指定された対象領域４０の例を表す。図８（ａ）において、網掛けの領域は、抽出機能１１２において抽出された充実型結節領域４１を表す。

結節領域４１を抽出すると、処理回路１１は、結節領域４１が合成画像を生成する要件を満たしているか否かを判断する（ステップＳ３３）。例として、図５乃至図７で示されるような結節領域４１を含む画像に対して、結節領域４１の内部に疑似キャビティーを形成した合成画像を作成する場合について説明する。結節領域４１の内部に疑似キャビティーを合成するためには、形成しようとする疑似キャビティーの大きさよりも結節領域４１の大きさのほうが大きくなければならない。本実施形態では、例えば、キャビティー領域の最小体積を予め定義しておく。この最小体積とは、ユーザが合成画像中に形成させたいキャビティーの最小体積であり、例えばユーザにより指定される。処理回路１１は、抽出した結節領域４１の体積が、キャビティー領域の最小体積より大きいか否かを判断する。結節領域４１の体積がキャビティー領域の最小体積より大きい場合（ステップＳ３３のＹｅｓ）、処理回路１１は、結節領域４１が合成画像を生成する要件を満たしているとして、合成画像の生成処理を継続する。結節領域４１の体積がキャビティー領域の最小体積以下である場合（ステップＳ３３のＮｏ）、処理回路１１は、処理をステップＳ３５に移行させる。なお、ステップＳ３３における判断処理を経ずに、合成画像の生成処理を実施しても構わない。

ステップＳ３３においてＹｅｓの場合、処理回路１１は、例えば、抽出した結節領域４１に含まれる画素の値を「１」とし、その他の領域に含まれる画素の値を「０」とすることでマスク画像４２を生成する。図８（ｂ）は、抽出した結節領域４１に基づいて生成されるマスク画像４２の例を表す。

マスク画像４２を生成すると、処理回路１１は、生成したマスク画像４２に対し、例えば、ノイズ除去処理、及び縮小処理を実施する。具体的には、処理回路１１は、例えば、モルフォロジー変換によるオープニング処理を実施することで、マスク画像４２に含まれるノイズ成分を除去する。オープニング処理は、縮小処理の後に膨張処理を実施する処理である。処理回路１１は、ノイズ成分を除去した画像に対してモルフォロジー変換による縮小処理を実施することで、マスク画像４３を生成する。図８（ｃ）は、マスク画像４２に対してノイズ除去処理、及び縮小処理を施すことで生成されるマスク画像４３の例を表す図である。マスク画像４３において、画素が「１」の領域はマスク画像４２における「１」の領域よりも小さい。

処理回路１１は、ノイズ成分を除去した画像に対する縮小処理を、パラメータを変更しながら複数回実施してもよい。これにより、１種類のマスク画像４２から複数種類のマスク画像４３が生成される。

マスク画像４３を生成すると、処理回路１１は、生成したマスク画像４３に対し、例えば、平行移動と線形変換とを組み合わせた変換処理を実施する。具体的には、処理回路１１は、例えば、アフィン変換による回転処理、移動処理、左右反転処理、引き延ばし、又はこれらの処理のうち少なくともいずれか２つの処理を実施することで、マスク画像４４を生成する。図８（ｄ）は、マスク画像４３に対して変換処理を施すことで生成されるマスク画像４４の例を表す図である。

処理回路１１は、平行移動と線形変換とを組み合わせた変換処理を、パラメータを変更しながら複数回実施してもよい。これにより、１種類のマスク画像４３から複数種類のマスク画像４４が生成される。

マスク画像４４を生成すると、処理回路１１は、例えば、生成したマスク画像４４をぼかす。具体的には、処理回路１１は、例えば、マスク画像４４に対してガウシアンぼかしを実施することで、キャビティー領域の尤度画像４５を生成する。図８（ｅ）は、マスク画像４４に対してぼかし処理を施すことで生成される尤度画像４５（Ｐ（ｘ，ｙ，ｚ）∈［０，１］）の例を表す図である。

なお、図８では、尤度画像を処理回路１１が自動的に生成する場合を例に説明した。しかしながら、これに限定されない。尤度画像を生成する際のパラメータは、ユーザにより設定されても構わない。すなわち、尤度画像は、ユーザがマニュアル操作で生成することも可能である。

また、処理回路１１は、ユーザの指定に従い、合成画像を生成してもよい。例えば、ユーザが模擬したい病変（例：ソリッド領域中のキャビティー領域）を、入力インタフェース１３を介して入力する。模擬したい病変が指定された場合にどのような画像処理を施して合成画像を作成するかの処理ルールは予め対応テーブルとして記憶されている。処理ルールの一例が、上述した結節内にキャビティーを形成する際の画像処理である。処理回路１１は、入力された病変ごとに対する処理ルールを、記憶された対応テーブルから取得する。処理回路１１は、取得した処理を原画像に対して実施することで合成画像を生成する。

続いて、処理回路１１は、例えば、生成した尤度画像をアルファ値として用いることで、キャビティー領域、又はその他の所定の組成領域を、ユーザにより指定された対象領域の所定箇所に合成する。

図９は、図１に示される処理回路１１が、キャビティー領域を対象領域に合成する処理の例を表す模式図である。図９において、キャビティー領域の輝度値Ｎ（ｘ，ｙ，ｚ）は、一様分布Ｕ（－１０００，－９３５）からサンプリングされるものとする。なお、合成する領域の輝度値は、例えば、図４に示される組成毎の輝度分布から決定される。処理回路１１は、例えば、尤度画像４５：Ｐ（ｘ，ｙ，ｚ）と、輝度値Ｎ（ｘ，ｙ，ｚ）との論理積を取る。また、処理回路１１は、例えば、尤度画像４５のインバージョン：１－Ｐ（ｘ，ｙ，ｚ）と、対象領域４０：Ｉ（ｘ，ｙ，ｚ）との論理積を取る。そして、処理回路１１は、論理積が取られた信号同士の論理和を取ることで、合成画像５０を生成し（ステップＳ３４）、生成した合成画像５０をメモリ１２に記憶する。なお、合成画像を生成する際に採用される論理式は、上記に限定されない。

図１０、及び図１１は、図１に示される処理回路１１により生成される合成画像５０の例を表す模式図である。図１０、及び図１１では、左図のように指定された充実型結節領域を含む対象領域に基づき、右図のようにキャビティー領域が合成された合成画像が生成される。なお、図１０、及び図１１では、結節領域内に１つのキャビティー領域を含む合成画像が生成される場合を例に説明した。しかしながら、合成画像内に含まれるキャビティー領域は２つ以上あっても構わない。

合成画像５０を生成すると、処理回路１１は、合成画像の生成を終了するか否かを判断する（ステップＳ３５）。具体的には、処理回路１１は、例えば、合成画像の生成対象となる対象領域、及び／又は、結節領域を含む医用画像データが他に存在する場合、合成画像の生成処理を終了しないと判断し（ステップＳ３５のＮｏ）、処理をステップＳ３１へ移行させる。一方、処理回路１１は、合成画像の生成対象となる対象領域、及び、結節領域を含む医用画像データが他に存在しない場合、生成処理を終了すると判断し（ステップＳ３５のＹｅｓ）、処理を終了させる。

なお、図８、及び図９では、充実型結節領域を含む対象領域に基づき、キャビティー領域が合成された合成画像を生成する場合を例に説明した。しかしながら、対象領域に含まれる領域は、すりガラス型結節領域であっても構わない。処理回路１１は、抽出したすりガラス型結節領域に対して図８、及び図９で表される処理と同様の処理を実施し、すりガラス型結節領域を含む対象領域に基づき、キャビティー領域が合成された合成画像を生成する。

図１２、及び図１３は、図１に示される処理回路１１により生成される合成画像のその他の例を表す模式図である。図１２、及び図１３では、左図のように指定されたすりガラス型結節領域を含む対象領域に基づき、右図のようにキャビティー領域が合成された合成画像が生成される。なお、図１２、及び図１３では、結節領域内に１つのキャビティー領域を含む合成画像が生成される場合を例に説明した。しかしながら、合成画像内に含まれるキャビティー領域は２つ以上あっても構わない。

また、対象領域に含まれる領域はすりガラス型結節領域であり、合成画像にて合成される領域はソリッド領域であっても構わない。すなわち、部分充実型結節が合成画像として生成されても構わない。部分充実型結節におけるソリッド陰影は、結節の内部に形成され、その大きさ及び形状は様々である。そこで、すりガラス型結節の輪郭を幾何学的に変形させた充実領域マスクを生成し、充実領域マスクの内部をソリッド陰影が持つＣＴ値で埋めた擬似ソリッド陰影をオリジナルのすりガラス型結節に合成することで部分充実型結節を生成する。このとき、処理回路１１は、例えば、抽出したすりガラス型結節領域に対して図８で表される処理と同様の処理を実施し、ソリッド領域の尤度画像を生成する。そして、処理回路１１は、図９で表される処理と同様の処理を実施し、すりガラス型結節領域を含む対象領域にソリッド領域を合成する。

部分充実型結節を合成画像で生成する手法は上記に限定されない。部分充実型結節において充実性陰影部分とすりガラス陰影部分とをそれぞれ領域抽出し、充実性陰影部分の輪郭を幾何学的に変形させることで、新たに部分充実型結節を生成するようにしても構わない。

以上のように、第１の実施形態では、医用画像処理装置１０は、処理回路１１の抽出機能１１２により、取得した医用画像から病変領域を抽出する。そして、医用画像処理装置１０は、処理回路１１の生成機能１１３により、病変領域が含まれる医用画像に基づき、少なくとも１種類の組成を部分的に有する領域を含む合成画像を生成する。これにより、医用画像に基づき、症例数が少ない病変についての画像を、合成画像で表現することが可能となる。

なお、第１の実施形態では、肺結節について合成画像を生成する場合を例に説明した。しかしながら、生成される合成画像は肺結節に限定されない。少なくとも１種類の組成を部分的に有する領域であれば、肺結節以外の病変、例えば、胃潰瘍、肝臓の腫瘍等について合成画像を生成しても構わない。

また、第１の実施形態では、Ｘ線ＣＴ装置により生成されたＣＴ画像に基づいて合成画像が生成される場合を例に説明した。しかしながら、合成画像は、ＣＴ画像に基づくものに限定されない。少なくとも１種類の組成を部分的に有する領域を含む合成画像を生成可能であれば、ＣＴ画像に限らず、その他の医用画像診断装置により取得された医用画像に基づいて生成されてもよい。

（変形例）
第１の実施形態では、一般的な病変領域を含む医用画像から、症例数の少ない病変領域、例えば、少なくとも１種類の組成を部分的に有する病変領域を含む合成画像を生成する場合を例に説明した。しかしながら、これに限定されない。生成される合成画像は、症例数の少ない病変領域を含むものに限定されない。処理回路１１は、結節領域を含む医用画像に基づき、結節と、結節の周囲肺組織との境界を加工した画像を生成してもよい。

例えば、結節の中には、結節と、結節の周囲肺組織との境界が明瞭な結節と、不明瞭な結節とが存在する。処理回路１１は、例えば、生成機能１１３により、抽出した結節領域の輪郭をぼかした、又は強調した加工画像を生成する。

具体的には、処理回路１１は、例えば、抽出した結節領域に基づいてマスク画像を生成する。処理回路１１は、生成したマスク画像に含まれる結節領域に対してガウシアンぼかしを実施することで、輪郭をぼかした結節領域の尤度画像、又は、輪郭を強調した結節領域の尤度画像を生成する。処理回路１１は、例えば、生成した尤度画像をアルファ値として用いることで、輪郭をぼかした、又は強調した結節領域を、ユーザにより指定された対象領域の所定箇所に合成する。これにより、辺縁明瞭な結節領域を含む合成画像、及び／又は辺縁不明瞭な結節領域を含む合成画像が擬似的に生成される。

また、結節の中には、結節と、結節の周囲肺組織との境界が滑らかな結節と、凹凸がある結節とが存在する。処理回路１１は、例えば、生成機能１１３により、抽出した結節領域の輪郭を幾何学的に変形させた加工画像を生成する。

具体的には、処理回路１１は、例えば、抽出した結節領域に基づいてマスク画像を生成する。処理回路１１は、生成したマスク画像に含まれる結節領域の輪郭に対してスムージング処理を施すなどの画像処理を行って、輪郭を滑らかにした結節領域の尤度画像、又は、輪郭を凹凸にした結節領域の尤度画像を生成する。これにより、擬似的に辺縁平滑な結節領域を含む合成画像、及び／又は辺縁不整な結節領域を含む合成画像を生成する。なお、辺縁不正の顕著な例としてスピキュラが挙げられる。

図１４は、図１に示される処理回路１１により生成される合成画像のその他の例を表す模式図である。図１４では、左図のように指定された充実型結節領域を含む対象領域に基づき、右上図のように輪郭がぼかされた結節領域を含む合成画像が生成される。また、左図のように指定された充実型結節領域を含む対象領域に基づき、右下図のように輪郭を凹凸にした結節領域を含む合成画像が生成される。なお、合成画像は、パラメータを変更しながら、複数種類生成されてもよい。

また、処理回路１１は、結節領域を含む医用画像に基づき、結節領域の大きさを加工した画像を生成してもよい。結節の中には、結節領域の大きさが経時と共に増大する結節が存在する。処理回路１１は、例えば、生成機能１１３により、抽出した結節領域の大きさを調整した加工画像を生成する。

具体的には、処理回路１１は、例えば、抽出した結節領域に基づいてマスク画像を生成する。処理回路１１は、生成したマスク画像に含まれる結節領域に対してアフィン変換による引き延ばし処理を実施することで、様々な大きさの結節領域の尤度画像を生成する。処理回路１１は、例えば、生成した尤度画像をアルファ値として用いることで、大きさを調整した結節領域を、ユーザにより指定された対象領域の所定箇所に合成する。これにより、大きさを擬似的に調整した結節領域を含む合成画像が生成される。

以上のように、医用画像に基づく合成画像を生成することで、比較的出現頻度の低い陰影パターンの肺結節画像を擬似的に多数生成することが可能となる。

なお、第１の実施形態では、肺結節について合成画像を生成する場合を例に説明した。しかしながら、生成される合成画像は肺結節に限定されない。複数の合成画像を擬似的に生成することが可能であるならば、肺結節以外の病変、例えば、胃潰瘍、肝臓の腫瘍等について合成画像を生成しても構わない。

また、第１の実施形態では、Ｘ線ＣＴ装置により生成されたＣＴ画像に基づいて合成画像が生成される場合を例に説明した。しかしながら、合成画像は、ＣＴ画像に基づくものに限定されない。複数の合成画像を擬似的に生成可能であれば、ＣＴ画像に限らず、その他の医用画像診断装置により取得された医用画像に基づいて生成されてもよい。

（第２の実施形態）
第１の実施形態では、医用画像処理装置１０が合成画像を生成する場合を例に説明した。第２の実施形態では、医用画像処理装置が合成画像を利用して学習済みモデルを生成する場合を説明する。本実施形態において、学習済みモデルは、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることで生成されるモデルを表し、計算モデルの一例である。

図１５は、第２の実施形態に係る医用画像処理装置１０ａの機能構成の例を表すブロック図である。図１５に示される医用画像処理装置１０ａは、処理回路１１ａ、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５を有する。処理回路１１ａ、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５は、例えば、バスを介して互いに通信可能に接続されている。

処理回路１１ａは、医用画像処理装置１０ａの中枢として機能するプロセッサである。処理回路１１ａは、例えば、メモリ１２に記憶されている画像生成プログラム、及びモデル学習プログラムを実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路１１ａは、画像生成プログラム、及びモデル学習プログラムを実行することで、画像取得機能１１１、抽出機能１１２、生成機能１１３、及びモデル学習機能１１４を有する。

なお、例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより画像取得機能１１１、抽出機能１１２、生成機能１１３、及びモデル学習機能１１４を実現しても構わない。また、画像取得機能１１１、抽出機能１１２、生成機能１１３、及びモデル学習機能１１４は、その動作がハードウェアによって実現されるものであってもよいし、ソフトウェアによって実現されるものであってもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであってもよい。

モデル学習機能１１４は、メモリ１２に記憶された合成画像データを学習データとして利用し、機械学習モデルに機械学習を行わせることで、学習済みモデルを生成する機能であり、学習部の一例である。具体的には、モデル学習機能１１４において処理回路１１は、例えば、順伝播型の多層化ネットワークを用いて学習済みモデルを生成する。順伝播型の多層化ネットワークは、例えば、層状に並べた隣接層間のみ結合した構造を持ち、情報が入力層側から出力層側に一方向に伝播するネットワークである。なお、本実施形態では順伝播型の多層化ネットワークを例に説明するが、機械学習モデルに限定はなく、例えば、決定木、サポートベクターマシン、ベイジアンネットワーク等を利用しても構わない。

学習済みモデルは、複数の関数が合成されたパラメータ付き合成関数である。学習済みモデルが順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み付行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係（又は線形関係）、及びバイアスの組み合わせとして定義される。

パラメータ付き合成関数は、パラメータとしての重み付行列、及びバイアスをどのように選ぶかで、関数としての形を変える。パラメータは、例えば、学習データと誤差関数とを用いた学習を実行することで設定される。学習データは、例えば、所定の入力、この入力に対する望ましい結果（正解出力）を出力とした学習サンプルの集合である。本実施形態においては、学習データは、例えば、合成画像データを入力、生成された合成画像中の結節領域の体積を正解出力とした学習サンプルの集合である。なお、学習サンプルにおける正解出力は、合成画像中の結節領域の体積に限定されない。結節領域を分類、又は検出するための正解出力、例えば、部分充実型結節、及びスピキュラ等の名称であっても構わない。

誤差関数は、学習サンプルとしての入力を多層化ネットワークへ入力した際の出力、すなわち多層化ネットワークが推定した出力と、正解の出力である学習サンプルとしての出力との近さを表す関数である。誤差関数の代表例としては、二乗誤差関数、最尤度推定関数、交差エントロピー関数等が挙げられる。パラメータは、学習サンプル毎に、例えば、誤差関数を極小にする値が決定される。このような学習により、パラメータが適切に設定され、出力層から好ましい結果を出力することが可能な関数を定義することが可能となる。なお、パラメータを決定する際の計算量を抑制するため、誤差逆伝播法が用いられてもよい。

生成された学習済みモデルは、メモリ１２に記憶される。メモリ１２に記憶された学習済みモデルは、例えば、通信インタフェース１５を介して外部の診断支援装置へ供給されても構わない。

以上のように、第２の実施形態では、医用画像処理装置１０ａは、処理回路１１ａの生成機能１１３により、合成画像を生成する。そして、医用画像処理装置１０ａは、処理回路１１ａのモデル学習機能１１４により、合成画像を学習データとして利用して計算モデルを生成する。これにより、陰影パターンを満遍なく再現した学習データ、及び症例数の少ない病変を再現した学習データを用意することが可能となるため、機械学習の精度向上が期待できる。

（第３の実施形態）
第２の実施形態では、医用画像処理装置１０ａが合成画像を利用して学習済みモデルを生成する場合を例に説明した。第３の実施形態では、医用画像処理装置が学習済みモデルを利用して診断を支援する場合を説明する。

図１６は、第３の実施形態に係る医用画像処理装置１０ｂの機能構成の例を表すブロック図である。図１６に示される医用画像処理装置１０ｂは、処理回路１１ｂ、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５を有する。処理回路１１ｂ、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５は、例えば、バスを介して互いに通信可能に接続されている。

処理回路１１ｂは、医用画像処理装置１０ｂの中枢として機能するプロセッサである。処理回路１１ｂは、例えば、メモリ１２に記憶されている画像生成プログラム、モデル学習プログラム、及び診断支援プログラムを実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路１１ａは、画像生成プログラム、モデル学習プログラム、及び診断支援プログラムを実行することで、画像取得機能１１１、抽出機能１１２、生成機能１１３、モデル学習機能１１４、及び計算機能１１５を有する。

なお、例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより画像取得機能１１１、抽出機能１１２、生成機能１１３、モデル学習機能１１４、及び計算機能１１５を実現しても構わない。また、画像取得機能１１１、抽出機能１１２、生成機能１１３、モデル学習機能１１４、及び計算機能１１５は、その動作がハードウェアによって実現されるものであってもよいし、ソフトウェアによって実現されるものであってもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであってもよい。

計算機能１１５は、メモリ１２に記憶された学習済みモデルへ医用画像を入力し、入力された医用画像に対応する出力信号を生成する機能であり、計算部の一例である。具体的には、計算機能１１５において処理回路１１ｂは、例えば、医用画像診断装置で撮影され、結節領域を含む医用画像を学習済みモデルへ入力する。学習済みモデルにおいて、結節領域が医用画像から抽出され、抽出された結節領域の体積が出力される。

以上のように、第３の実施形態では、医用画像処理装置１０ｂは、処理回路１１ｂの生成機能１１３により、合成画像を生成する。医用画像処理装置１０ｂは、処理回路１１ｂのモデル学習機能１１４により、合成画像を学習データとして利用して計算モデルを生成する。そして、医用画像処理装置１０ｂは、処理回路１１ｂの計算機能１１５により、計算モデルに医用画像を入力し、入力した医用画像に対する出力信号を生成させる。これにより、合成画像を利用して学習した計算データを用い、撮像した医用画像に対する出力信号を取得することが可能となる。これにより、例えば計算モデルが出力する出力信号が病変領域のセグメンテーションであれば、合成画像を学習データとして利用することによりセグメンテーションの精度が向上する。そこで、精度が向上した計算モデルを抽出機能１１２に適用することにより、抽出機能１１２のセグメンテーションの精度をも向上させることができる。一方、例えば計算モデルが出力する出力信号が計算機能１１５に対応する病変領域の病名の推定であれば、病名の推定精度が向上する。

（その他の実施形態）
第１の実施形態で生成された合成画像の活用は、学習済みモデルの生成に限定されない。例えば、合成画像は、類似症例画像を検索する際の入力キーとして利用されてもよい。例えば、部分充実型結節におけるソリッド領域は、悪性である場合、時間の経過と共に成長することが知られている。そこで、処理回路１１は生成機能１１３により、部分充実型結節において、内部に含まれるソリッド領域を引き延ばした合成画像を生成することで、ソリッド領域の成長を模擬した合成画像を作成することが可能である。例えば被検体の画像を入力して類似症例画像を検索する場合に、被検体の画像を入力キーとして類似画像を検索するのみならず、被検体の画像をもとに作成した合成画像を作成し、この合成画像を追加の入力キーとして類似画像を検索することが可能である。このような処理により抽出される類似画像の数を増やすことができる。更に、被検体の画像そのものを入力キーとして検索した類似画像と、作成した合成画像を基に検索した類似画像とを区別可能に表示することもできる。合成画像を基に検索された類似画像を合成画像とともに操作者へ提示することにより、被検体の画像が合成画像相当に変化したと仮定した場合の類似画像をユーザが把握することができ、予後予測に有用である。

以上説明した少なくとも一つの実施形態によれば、医用画像処理装置は、病変についてのデータ不足を緩和させることができる。

実施形態の説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、上記各実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、上記各実施形態における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０，１０ａ，１０ｂ…医用画像処理装置
１１，１１ａ，１１ｂ…処理回路
１１１…画像取得機能
１１２…抽出機能
１１３…生成機能
１１４…モデル学習機能
１１５…計算機能
１２…メモリ
１３…入力インタフェース
１４…ディスプレイ
１５…通信インタフェース
２０…医用画像管理システム
２１…サーバ装置

Claims (10)

1. 医用画像を取得する画像取得部と、
   前記取得された医用画像における病変領域を抽出する抽出部と、
   前記抽出された病変領域を変更した合成画像を生成する生成部と
   を備え、
   前記病変領域に含まれる病変は、複数の組成に分類され、
   前記抽出部は、前記医用画像の画素値に基づいて、前記病変領域から前記複数の組成のいずれか１つを抽出し、
   前記生成部は、前記複数の組成のうち前記抽出された組成とは異なる組成を疑似的に形成し、前記病変領域に前記疑似的に形成された組成を合成した前記合成画像を生成する、
   医用画像処理装置。
2. 前記生成部は、前記抽出した病変領域の形状と、合成する領域の組成に関する輝度分布とに基づいて前記合成画像を生成する請求項１記載の医用画像処理装置。
3. 前記生成部は、前記抽出した病変領域の形状に基づいてマスク画像を生成し、前記マスク画像を用いて所定の領域を前記医用画像に合成する請求項１又は２に記載の医用画像処理装置。
4. 前記合成画像は、少なくとも１種類の組成を部分的に有する病変領域を含む請求項１乃至３のいずれかに記載の医用画像処理装置。
5. 前記生成部は、前記抽出した病変領域の形状を変更して前記合成画像を生成する請求項１乃至３のいずれかに記載の医用画像処理装置。
6. 前記生成した合成画像を学習データとして計算モデルを生成する学習部をさらに具備する請求項１乃至５のいずれかに記載の医用画像処理装置。
7. 前記生成した合成画像と、前記合成画像の病変領域に関する情報とを学習データとして計算モデルへ入力する学習部をさらに具備する請求項１乃至５のいずれかに記載の医用画像処理装置。
8. 前記計算モデルに医用画像を入力させ、前記入力させた医用画像に対する出力信号を出力する計算部をさらに具備する請求項６又は７に記載の医用画像処理装置。
9. 医用画像を取得し、
   前記取得した医用画像における病変領域を抽出し、
   前記抽出した病変領域を変更した合成画像を生成する画像生成方法であって、
   前記病変領域に含まれる病変は、複数の組成に分類され、
   前記病変領域を抽出することは、前記医用画像の画素値に基づいて、前記病変領域から前記複数の組成のいずれか１つを抽出することを含み、
   前記合成画像を生成することは、前記複数の組成のうち前記抽出された組成とは異なる組成を疑似的に形成し、前記病変領域に前記疑似的に形成された組成を合成して前記合成画像を生成することを含む、
   画像生成方法。
10. 医用画像を取得する処理と、
    前記取得された医用画像における病変領域を抽出する処理と、
    前記抽出された病変領域を変更した合成画像を生成する処理と
    をプロセッサに実行させる画像生成プログラムであって、
    前記病変領域に含まれる病変は、複数の組成に分類され、
    前記病変領域を抽出する処理は、前記医用画像の画素値に基づいて、前記病変領域から前記複数の組成のいずれか１つを抽出することを含み、
    前記合成画像を生成する処理は、前記複数の組成のうち前記抽出された組成とは異なる組成を疑似的に形成し、前記病変領域に前記疑似的に形成された組成を合成して前記合成画像を生成することを含む、
    画像生成プログラム。

Images