JP6646552B2 - 画像診断支援装置、画像診断支援方法及び試料分析システム - Google Patents

Description

本発明は、画像診断支援装置、画像診断支援方法及び試料分析システムに関するものであり、特に、細胞画像または組織画像に基づいて細胞または組織の状態を自動識別しその識別結果を表示する画像診断支援装置に適用して好適なものである。

近年、がん患者数の増加に伴って病理医の不足が課題となっている。これを解決する手段として、デジタル化した病理画像を用いた診断支援や遠隔診断を行うデジタルパソロジーという技術が注目されている（特許文献１参照）。これは、高倍率の病理画像及び低倍率の病理画像を用いて病理組織を自動識別する技術である。

特開２０１０−２０３９４９号公報

上述した従来の手法では、病理画像から矩形の注目領域を選択し、注目領域毎に識別結果を表示している。しかしながら注目領域内で一定の識別結果しか表示されず、注目領域内の細胞、組織の状態を表示することができない。仮に注目領域を画素単位でずらしながら識別することで画素単位の識別結果を得て、注目領域の中心等のアンカー位置に識別結果を表示したとしても、識別結果はアンカー周辺の画像から総合的に判断した結果であるためアンカー位置の細胞組織の状態を正確に表示することは難しい。

本発明は以上の点を考慮してなされたもので、注目領域内の正確な位置に細胞または組織の状態を可視化して十分な診断支援が可能な画像診断支援装置、画像診断支援方法及び試料分析システムを提案するものである。

かかる課題を解決するため、本発明においては、入力画像から局所領域特徴量を算出する局所領域特徴量算出部と、前記局所領域特徴量を用いて複数の識別を実施する識別部と、前記局所領域特徴量の算出結果及び前記複数の識別の結果を用いて各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す複数の反応値を算出する反応値算出部と、前記複数の反応値の差分を算出する反応値差分算出部とを備えることを特徴とする。

また、本発明においては、演算部が入力画像を染色濃淡に応じて分類する染色濃淡分類ステップと、前記演算部が入力画像から局所領域特徴量を算出する局所領域特徴量算出ステップと、前記演算部が前記局所領域特徴量を用いて複数の識別を実施する識別ステップと、前記演算部が前記局所領域特徴量の算出結果と複数の識別結果を用いて各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す複数の反応値を算出する反応値算出ステップと、前記演算部が複数の反応値の差分を算出する反応値差分算出ステップとを有することを特徴とする。

また、本発明においては、演算部が入力画像から局所領域特徴量を算出する局所領域特徴量算出ステップと、前記演算部が前記局所領域特徴量を用いて複数の識別を実施する識別ステップと、前記演算部が前記局所領域特徴量の算出結果と複数の識別結果を用いて各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す複数の反応値を算出する反応値算出ステップと、前記演算部が複数の反応値の差分を算出する反応値差分算出ステップとを有することを特徴とする。

また、本発明においては、入力画像から局所領域特徴量を算出する局所領域特徴量算出部と、前記局所領域特徴量を用いて複数の識別を実施する識別部と、前記局所領域特徴量の算出結果及び前記複数の識別の結果を用いて各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す複数の反応値を算出する反応値算出部と、前記複数の反応値の差分を算出する反応値差分算出部と、前記算出した情報に基づいて試料を採取する試料採取部と、前記試料採取部によって採取された前記試料の分析を実施する分析部とを備えることを特徴とする。

本発明によれば、注目領域内の正確な位置に細胞または組織の状態を可視化して十分な診断支援が可能となる。

第１の実施の形態に係る画像診断支援装置のハードウェア構成図である。 第１の実施の形態に係る演算装置のブロック図である。 局所領域特徴量算出処理の一例である。 識別処理の手順の一例である。 反応値算出フローの一例である。 反応値および反応値差分算出の一例である。 反応値選択ＧＵＩである。 第２の実施の形態に係る演算装置のブロック図である。 染色濃淡分類方法の一例である。 局所領域特徴量算出部の一例である。 第３の実施の形態に係るシステム構成図である。 第３の実施の形態に係るシステムのブロック図である。

以下、図面について、本発明の実施の形態について詳述する。

（１）第１の実施の形態による画像診断支援装置の構成
図１は、第１の実施の形態に係る画像診断支援装置１００のハードウェア構成図である。画像診断支援装置１００は、画像入力装置１０１、メモリ１０２、演算装置１０３、ユーザーインターフェース１０４及び画像表示装置１０５を備えている。

画像入力装置１０１は、バーチャルスライドや顕微鏡画像の入力を受付ける。メモリ１０２には、例えば特徴量抽出及び識別に用いる係数群または入力された画像及び算出した反応値が保存される。本実施の形態では、特徴量抽出及び識別に用いる係数群を「重み」と呼ぶ。演算装置１０３は、ＣＰＵまたはＦＰＧＡ等であり、例えば局所領域特徴量の抽出や識別、反応値の算出を行う。

ユーザーインターフェース１０４は、キーボードやマウスなどを用いてユーザーからの操作情報を受付ける。画像表示装置１０５は、例えばディスプレイ装置である。この画像表示装置１０５は、演算装置１０３を介してユーザーに情報を表示する。画像診断支援装置１００は、図示は省略するが、外部との間で通信を行うための通信装置を内蔵していても良いし、別途、通信装置を外付けしていても良い。

図２は、図１に示す画像診断支援装置１００の機能ブロックを示す。画像入力部２０１は画像入力装置１０１から細胞、組織画像の入力を受付ける。局所領域特徴量算出部２０２は画像入力部２０１から入力された画像に対して、局所領域に対する特徴量を算出する。

識別部２０３は複数の識別器を有し、局所領域特徴量算出部２０２が出力した局所領域特徴量を用いて複数状態の識別結果を出力する。反応値算出部２０４は局所領域特徴量算出部２０２と識別部２０３が出力した特徴量と識別結果を用いて、各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す複数の反応値を算出する。

反応値差分算出部２０５は反応値算出部２０４が出力した複数の反応値に対して差分や合成等の処理を行う。合成とは加算、乗算、論理和、論理積等である。この差分及び合成の結果を反応値差分情報と呼ぶ。この反応値差分算出部２０５は、差分や合成等に用いる反応値の指定情報をユーザーインターフェース部２０６から受付ける。

ユーザーインターフェース部２０６は、ユーザーからの操作情報を受付け、差分や合成等に用いる反応値の指定情報を反応値差分算出部２０５及び表示部２０７に出力する。表示部２０７は、画像表示装置１０５に表示すべき情報を決定する。

表示部２０７は、画像入力部２０１から入力画像、反応値差分算出部２０５から反応値差分情報、ユーザーインターフェース部２０６からユーザーの操作情報の入力を受付け、操作情報に応じて入力画像と反応値差分画像とを切替えて表示する、あるいは入力画像と反応値差分情報との重畳画像を表示する。

以降、局所領域特徴量算出部２０２、識別部２０３、反応値算出部２０４及び反応値差分算出部２０５について詳しく説明する。

次に局所領域特徴量算出部２０２について説明する。局所領域特徴量算出部２０２は、メモリ１０２内に保存されている入力画像の局所的な色や輝度、形状といった特徴量を抽出するための重みを用いて入力画像内の各画素あるいは小領域単位の特徴量を得る。これを「局所領域特徴量」と呼ぶ。本実施の形態では、局所領域特徴量算出方法の一例として重みを入力データに畳込む方法を説明するが、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ
ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）等、その他の方法で局所領域特徴量を求めても良い。

図３は、局所領域特徴量算出処理の一例を示す。入力データ３０１は、チャンネルＣｈ、垂直方向位置Ｙ、水平方向位置Ｘの次元を持つ３次元配列である。重み３０２は、入力データ３０１から複数の特徴量を抽出するために複数の重みを有する。そのため、この重み３０２は、チャンネルＣｈ、垂直方向位置Ｆｙ及び水平方向位置Ｆｘ次元に加えて、特徴量番号Ｄの次元を持つ４次元配列である。重み３０２は人手で設計したものを用いても良いし、例えばいわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）のような機械学習により学習したものを用いても良い。

尚、本実施の形態では局所領域特徴量算出に使用する重みは機械学習により学習済みの重みを使用すると仮定するが、例えば、いわゆる教師なし学習等の手法により、入力された画像を用いて重みを更新してもよい。上述した重みの更新は装置内での実行に限らず、通信装置を介してサーバー等に情報を送信し、サーバーで更新を行った結果を受信する等の方式でもよい。

出力データである局所特徴量３０３は特徴量番号Ｄ、垂直方向位置Ｙ、水平方向位置Ｘの次元を持つ３次元配列である。図３に示す例では、入力データ３０１の局所領域に対して重み３０２を掛け合わせる処理を、局所領域をずらしながら繰り返すことで局所特徴量３０３を算出する。出力データである局所特徴量３０３の一要素は次のような数式（１）によって求められる。

F：局所領域特徴量
Ｉ：入力データ
Ｗ：重み
Ｇ：非線形関数または線形関数
ｄ：特徴量番号(0,1,…,D)
ｙ：入力データ内の垂直方向位置（０，１，・・・，Ｙ）
ｘ：入力データ内の水平方向位置（０，１，・・・，Ｘ）
ｃｈ：入力データのチャンネル（０，１，・・・，Ｃｈ）
ｆｙ：フィルタ内の垂直方向位置（０，１，・・・，Ｆｙ）
ｆｘ：フィルタ内の水平方向位置（０，１，・・・，Ｆｘ）

Ｆ（ｄ，ｙ，ｘ）は、特徴量番号ｄ、垂直方向位置ｙ及び水平方向位置ｘにおける局所特徴量３０３の値を示している。Ｆ（ｄ，ｙ，ｘ）は、入力データ３０１のチャンネル０からＣｈ、垂直方向位置ｙからｙ＋ｆｙ、水平方向位置ｘからｘ＋ｆｘの各要素に、重み３０２の各要素ｗ（ｄ，ｃｈ，ｆｙ，ｆｘ）を乗算後、総和することで算出される。

なお、局所領域特徴量は多層化して求めることが可能である。多層化した場合は前層の出力が次層の入力となる。

識別部２０３について説明する。識別部２０３は、局所領域特徴量算出部２０２が出力する局所領域特徴量を用いて複数状態の識別を実施する。識別部２０３は、メモリ１０２に保存されている局所領域特徴量に対する重みを用いて各状態の尤度を算出する。尤度とは、注目領域に対する各状態らしさを表す数値である。本実施の形態では識別方法の一例として、局所領域特徴量に重みを乗算して足し合わせることで各状態の尤度を算出する方式を説明するが、例えば、決定木等、その他の方法で識別しても良い。

図４は、識別処理の手順の一例を示す。局所領域特徴量Ｆ４０１は局所領域特徴量算出部２０２で求めた局所領域特徴量であり、特徴量番号Ｄ、垂直方向位置Ｙ、水平方向位置Ｘの次元を持つ３次元配列である。

重みＷｃ４０２は特徴量のインデックスＤ、垂直方向位置Ｙ、水平方向位置Ｘと状態Ｓの次元を持つ4次元配列である。重みは人手で設計したものを用いても良いし、機械学習により学習したものを用いても良い。

尚、本実施の形態では識別に使用する重みは機械学習により学習済みの重みを使用すると仮定するが、例えば、いわゆる半教師あり学習等の手法により、入力された画像を用いて重みを更新してもよい。また、重みの更新は装置内での実行に限らず、通信装置を介してサーバー等に情報を送信し、サーバーで更新を行った結果を受信する等の方式でもよい。

尤度Ｐ４０３は状態Ｓの次元を持つ１次元配列である。図４に示す例では、局所領域特徴量Ｆ４０１に対して状態毎の重みＷｃ４０２を掛け合わせることで各状態の尤度Ｐ４０３を算出している。尤度Ｐ４０３の一要素は次のような数式（２）によって求められる。

P：識別結果
F：局所領域特徴量
Ｗｃ：:重み
Ｇ：非線形関数または線形関数
Ｓ：状態番号（０，１，・・・，Ｓ）
ｄ：特徴量番号（０，１，・・・，Ｄ）
ｙ:入力データ内の垂直方向位置（０，１，・・・，Ｙ）
ｘ:入力データ内の水平方向位置（０，１，・・・，Ｘ）

Ｐ（ｓ）は状態ｓに対する尤度Ｐ４０３を示しており、局所領域特徴量Ｆ４０１の各要素に重みＷｃ４０２の各要素を乗算後、総和することで算出する。

次に反応値算出部２０４について説明する。反応値算出部２０４は、各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す反応値を画素または小領域単位で算出する。反応値は、局所領域特徴量算出部２０２と識別部２０３の各出力と重みから算出する。ここでは反応値算出方法の一例を述べる。

図５は、反応値を算出する手順の一例を示す。説明を容易にするために、図１０に示すような局所領域特徴量算出部２０２及び識別部２０３を有するものと仮定する。すなわち局所領域特徴量算出部が多重化構成とされている。

まずステップＳ５０１では、第１局所特徴量算出部１００１が入力画像から第１の局所特徴量を算出する。一方、ステップＳ５０２では、第２局所特徴量算出部１００２が第１の局所特徴量から第２の局所特徴量を算出する。

ステップＳ５０３では、識別部２０３が第２の局所特徴量を用いて識別を行い、識別結果を得る。ステップＳ５０４では、第２の局所特徴量Ｆ２による識別結果に対する寄与度Ｒ２が算出される。寄与度とは、入力の各要素が出力値の上昇にどの程度寄与したかを示す値である。すなわち寄与度Ｒ２は、第２の局所特徴量Ｆ２の各要素が識別結果の上昇にどの程度寄与したかを示す。寄与度Ｒ２は次のような数式（３）によって求められる。

Ｒ２：識別結果に対する２層目の局所特徴量の寄与度
Ｆ２：２層目の局所特徴量
Ｗｃ：識別部の重み
ｓ：状態番号（０，1，・・・，Ｓ）
ｄ：特徴量番号（０，1，・・・，Ｄ）
ｙ：垂直方向位置（０，１，・・・，Ｙ）
ｘ：水平方向位置（０，１，・・・，Ｘ）

数式（３）は、２層目の局所特徴量Ｆ２と識別部の重みＷｃとの内積を示しており、Ｒ２の値が大きいほど各状態の尤度上昇に寄与している。

ステップＳ５０５では、第１の局所特徴量Ｆ１による第２の局所特徴量Ｆ２に対する寄与度Ｒ１が算出される。寄与度Ｒ１は次のような数式（４）によって算出される。

Ｒ１：寄与度Ｒ２に対する１層目の局所特徴量の寄与度
F1：1層目の局所特徴量
Ｗ２：２層目の重み
ｄ２：２層目の特徴量番号（０，１，・・・，Ｄ２）
ｄ１：１層目の特徴量番号（０，１，・・・，Ｄ１）
ｙ：垂直方向位置（０，１，・・・，Ｙ）
ｘ：水平方向位置（０，１，・・・，Ｘ）
ｆｙ：フィルタ内の垂直方向位置（０，1，・・・，Ｆｙ）
ｆｘ：フィルタ内の水平方向位置（０，１，・・・，Ｆｘ）

上述した数式（４）は、第１の局所特徴量Ｆ１と第２局所特徴量算出部１００２の重みＷ２の局所的な内積を示しており、Ｒ１の値が大きいほど第２の局所特徴量Ｆ２の上昇に寄与していることを表している。

ステップＳ５０６では、反応値算出部２０４が入力画像による第１の局所特徴量Ｆ１に対する寄与度Ｒ０が算出される。寄与度Ｒ０は次のような数式（５）によって表される。

Ｒ０：寄与度Ｒ１に対する入力画像の寄与度
Ｉ：入力画像
Ｗ1：1層目の重み
ｄ1：1層目の特徴量番号（０，１，・・・，Ｄ１）
ｃｈ：入力画像のチャンネル（０，１，・・・，Ｃｈ）
ｙ：垂直方向位置（０，１，・・・，Ｙ）
ｘ：水平方向位置（０，１，・・・，Ｘ）
ｆｙ：フィルタ内の垂直方向位置（０，１，・・・，Ｆｙ）
ｆｘ：フィルタ内の水平方向位置（０，１，・・・，Ｆｘ）

数式（５）は入力画像Ｉと第１局所特徴量算出部１００１の重みＷ１の局所的な内積を示しており、Ｒ０の値が大きいほど局所特徴量Ｆ１の上昇に寄与することを表している。

ステップＳ５０７では、反応値算出部２０４が次のような数式（６）を用いて、ステップＳ５０４〜Ｓ５０６において求めた寄与度Ｒ２、Ｒ１，Ｒ０の値を乗算する。

Ｒ：識別結果に対する入力画像の寄与度
Ｒ２：識別結果に対する２層目の局所特徴量Ｆ２の寄与度
Ｒ１：Ｒ２に対する１層目の局所特徴量Ｆ１の寄与度
Ｒ０：Ｒ１に対する入力画像の寄与度
ｓ：状態番号（０，１，・・・，Ｓ）
ｙ：垂直方向位置（０，１，・・・，Ｙ）
ｘ：水平方向位置（０，１，・・・，Ｘ）
ｄ２：２層目の特徴量番号（０，１，・・・，Ｄ２）
ｄ１：１層目の特徴量番号（０，１，・・・，Ｄ１）
ｃｈ：入力画像のチャンネル（０，１，・・・，Ｃｈ）

これにより、反応値算出部２０４が各識別結果に対する入力画像の寄与度である反応値Ｒを算出する。以上が反応値算出方法の一例である。

尚、上述した反応値算出方法の任意のステップにおいて、反応値の視認性を上げるために、寄与度Ｒ２、Ｒ１、Ｒ０あるいはその乗算結果に対して値の正規化処理や閾値処理、強調処理またはぼかし処理等を適用してもよい。

本実施の形態では局所特徴量の算出を２層で行う場合について説明したが、３層以上であっても同様に反応値を求めることが可能である。

次に反応値差分算出部２０５について説明する。反応値差分算出部２０５は、反応値算出部２０４から入力される、複数の状態に対する反応値を用いて、ユーザーインターフェース部２０６から入力される反応値指定情報に基づき、反応値の差分を求める。

図６は、反応値差分を算出する一例を示す。入力画像６０１には状態Ａの組織６０２、状態Ｂの組織６０３及び間質６０４が含まれている。反応値Ａ６０５は状態Ａに対する反応値であり、反応値Ｂ６０６は状態Ｂに対する反応値である。反応値差分６０７は、反応値Ａ６０５から反応値Ｂ６０６を減算した結果を示している。

反応値Ａ６０５、反応値Ｂ６０６及び反応値差分６０７の網掛けは正の反応値の領域を示しており、網掛けが濃い部分ほど反応値が大きい領域であることを示している。一方、網掛けが無い部分は、反応値が０以下または０に近い値の領域であることを示す。

細胞及び組織画像においては、細胞及び組織の異なる状態間で共通する特徴を多く含む。例えば図６に示した間質６０４は、組織の状態に関わらず組織の周辺に頻繁に出現する。そのため、いわゆる機械学習または統計的な手法により特徴を求めた場合、間質６０４の部分は状態Ａ、Ｂの両者に対して類似した反応値になりやすく、図６の反応値Ａ６０５と反応値Ｂ６０６のように異なる状態に対する反応値であっても共通の領域に反応値が発生することがある。一方、状態Ａの組織６０２の領域では反応値Ａ６０５の値が大きくなっており、状態Ｂの組織６０３の領域では反応値Ｂ６０６の値が大きくなっている。

反応値差分６０７を算出することで、反応値の共通成分を除外することが可能となる。図６の反応値差分６０７は、反応値Ａ６０５から反応値Ｂ６０６を減算した結果を表しており、このときの反応値Ａ６０５を導出成分、反応値Ｂ６０６を除外成分と呼ぶ。間質６０４では、反応値Ａ６０５と反応値Ｂ６０６は同程度であるため、反応値差分６０７では０に近い値となる。状態Ｂの組織６０３においては、反応値Ａ６０５よりも反応値Ｂ６０６の方が大きいため、反応値差分６０７は負の値となる。

一方、状態Ａの組織６０２においては反応値Ａ６０５の方が反応値Ｂ６０６よりも大きいため、正の反応値となる。これにより、複数の状態に共通の特徴を持つ領域を除外し、各状態らしい領域を選択的に表示することが可能となる。

反応値差分情報は３つ以上の反応値から求めても良い。具体的には１つの反応値から複数の反応値の合成結果を減算する、複数の反応値の合成結果から１つの反応値を減算する、複数の反応値の合成結果から複数の反応値の合成結果を減算する手法がある。合成とは、加算、乗算、論理和、論理積等であり、合成結果の各要素に対して何らかの関数を適用しても良い。

図６では、反応値差分６０７において反応値が正の箇所のみを示しているが、表示色を反応値の正負で切り替える等の処理によって負の箇所を同時に表示しても良い。この場合、反応値差分６０７が負の箇所は、反応値Ｂ６０６から反応値Ａ６０５を減算した結果が正の値となる領域であり、反応値差分６０７と併せて表示することで２つの状態の反応値差分情報を同時に表示することができる。

またその他の手法としては、３つ以上の反応値に対して予め各状態に色を割り当てておき、反応値差分算出部２０５が画素毎に最も値の大きい反応値を導出成分、２番目に値の大きい反応値を除外成分として反応値差分情報を算出するようにしても良い。この場合、表示部２０７は導出成分となる各状態に割り当てた色で反応値差分情報を表示する等の方法で、３つ以上の反応値差分情報を同時に表示してもよい。

図７は、反応値差分情報の算出に用いる反応値の選択に係るＧＵＩの一例を示す。図７に示す例では、識別する状態数が４の場合であり、状態Ａから状態Ｄを挙げる。ウィンドウ７０１には、導出成分及び除外成分の選択用にチェックボックス等が配置されている。この例では、状態Ａに対する反応値が導出成分となる一方、状態Ｃ及び状態Ｄに対する反応値の合成結果が除外成分となる。

表示部２０７は、図７に示す選択内容が変化したことを契機として、図６の表示結果を切り替え、指定した反応値差分情報を画像表示装置１０５に表示する。以上により正確な位置に細胞または組織の状態を可視化でき、病理医の診断支援が可能となる。

（２）第２の実施の形態
細胞、組織診断においては視認性向上のために細胞や組織を染色するための薬品を用いて細胞や組織を染色することが一般的である。しかしながら薬品の劣化や染色方法によって染色濃淡にばらつきが生じる場合があり、染色濃淡に応じた特徴量算出方法及び識別方法を使用しないと、細胞または組織の状態の識別精度低下や、細胞、組織状態の可視化結果の誤りが発生する場合がある。

第２の実施の形態では、染色濃淡の異なる細胞または組織画像を自動分類することで、染色濃淡に合わせた識別を行い、その結果に基づいて細胞、組織の状態の可視化を行う方法及び装置に関するものである。これにより、細胞または組織画像の染色濃淡にばらつきがある場合でも正確な細胞または組織の状態の可視化を行うことができ、病理医の診断支援が可能となる。

なお、第２の実施の形態では、ハードウェア構成については第１の実施の形態と同様であるため、図１を援用して説明を省略する。

図８は、画像診断支援装置の機能ブロックを示す。第２の実施の形態における画像入力部８０１、反応値算出部８０４、反応値差分算出部８０５、ユーザーインターフェース部８０６及び表示部８０７は、それぞれ、第１の実施の形態の図２における画像入力部２０１、反応値算出部２０４、反応値差分算出部２０５、ユーザーインターフェース部２０６及び表示部２０７と同様であるため、説明を省略する。

染色濃淡分類部８０８は、画像入力部８０１から入力された細胞または組織画像を染色濃淡毎に分類し、分類結果を局所領域特徴量算出部８０２、または識別部８０３、あるいは局所領域特徴量算出部８０２と識別部８０３の両方に出力する。本実施の形態では一例として局所領域特徴量算出部８０２と識別部８０３の両方に出力する場合を説明するが、どちらか一方だけを切替える方式でも良い。

局所領域特徴量算出部８０２は、画像入力部８０１から入力された画像に対して、局所領域に対する特徴量を算出する。この際、局所領域特徴量算出部８０２は、染色濃淡分類部８０８から入力される染色濃淡分類結果に基づいて特徴量算出方法を切替える。

識別部８０３は、図示しないが複数の識別器を有し、局所領域特徴量算出部８０２が出力した局所領域特徴量を用いて複数状態の識別結果を出力する。このとき識別部８０３は、染色濃淡分類部８０８から入力される染色濃淡分類結果に基づいて識別方法を切替える。

染色濃淡分類部８０８について説明する。染色濃淡分類部８０８は、画像入力部８０１から入力された細胞または組織画像を染色濃淡毎に自動分類する。ここでは、染色濃淡分類方法の一例を説明する。

染色濃淡分類部８０８は、染色濃淡を分類するための一つ以上の評価指標を有する。評価指標には、入力画像に対するＲＧＢ各チャンネルの平均値、分散値若しくは平均値または分散値を主成分分析により変換した値等を用いる。

図９は、染色濃淡分類方法の一例を示す。図示の例では評価指標Ａ９０１と評価指標Ｂ９０２の２つの評価指標を用いた場合を示している。複数の評価指標が成す空間を評価指標空間９０５とする。評価指標Ａ９０１と評価指標Ｂ９０２とはそれぞれ、閾値Ａ９０３と閾値Ｂ９０４とで２つの区間に分けられている。評価指標Ａ９０１と評価指標Ｂ９０２との区間の組合せによって、評価指標空間９０５は、第１グループ９０６、第２グループ９０７、第３グループ９０８及び第４グループ９０９に分割される。以降、このグループを「染色濃淡グループ」と呼ぶ。

入力画像が染色濃淡分類部８０８に入力されると、染色濃淡分類部８０８は評価指標Ａ９０１及び評価指標Ｂ９０２に対する数値をそれぞれ算出する。評価指標Ａ９０１及び評価指標Ｂ９０２は次のような数式（７Ａ）及び数式（７Ｂ）によって算出される。

A：評価指標A
B：評価指標B
ａｖｅＲＧＢ：入力画像のＲＧＢ各チャンネルの平均値
ｖａｒＲＧＢ：入力画像のＲＧＢ各チャンネルの分散値
ＰＣＡａ：ＲＧＢの平均値と分散値の任意の主成分ａ
ＰＣＡｂ：ＲＧＢの平均値と分散値の任意の主成分ｂ
ＰＣＡｃ：ＲＧＢの平均値と分散値の任意の主成分ｃ
ＰＣＡｄ：ＲＧＢの平均値と分散値の任意の主成分ｄ
α１：ＰＣＡａに乗算する係数
α２：ＰＣＡｂに乗算する係数
β１：ＰＣＡｃに乗算する係数
β２：ＰＣＡｄに乗算する係数

入力画像のＲＧＢ各チャンネルの平均値ａｖｅＲＧＢ及び分散値ｖａｒＲＧＢの主成分分析結果を「ＰＣＡ」とし、任意の主成分をＰＣＡａ、ＰＣＡｂ、ＰＣＡｃ、ＰＣＡｄとする。

数式（７Ａ）及び数式（７Ｂ）の例では、評価指標Ａ９０１として主成分ＰＣＡａと主成分ＰＣＡｂにそれぞれ係数α１とα２を掛けて足し合わせた数値、評価指標Ｂ９０２として主成分ＰＣＡｃと主成分ＰＣＡｄにそれぞれ係数β１とβ２を掛けて足し合わせた数値を用いている。

入力画像の評価指標Ａを計算した結果の一例を評価指標Ａ計算結果９１０に示す。同様に評価指標Ｂを計算した結果の一例を評価指標Ｂ計算結果９１１に示す。また、評価指標Ａ計算結果９１０と評価指標Ｂ計算結果９１１を評価指標空間９０５上にプロットした結果をプロット結果９１２に示す。

図９の例では、評価指標空間９０５においていずれの染色濃淡グループ内にプロットされるかによって染色濃淡を分類する。プロット結果９１２の例では、第２グループ９０７内にプロットされているため、分類結果は第２グループ９０７となる。染色濃淡分類部８０８は、上述した方法により入力画像の染色濃淡を分類した結果を染色濃淡分類結果として出力する。

図９は、各評価指標上の閾値により評価指標空間９０５を分割しているが、評価指標空間９０５内に複数の代表点を設定して代表点からの距離に基づいて分類する等、その他の手法により評価指標空間９０５を分割しても良い。尚、評価指標上の閾値等は固定値でも良いし、評価指標空間上の分布等から動的に定めても良い。

次に局所領域特徴量算出部８０２について説明する。局所領域特徴量算出部８０２は、メモリ１０２内に保存されている重みを用いて入力画像内の各画素若しくは小領域内の色、輝度及び形状といった局所領域特徴量を抽出する。

第２の実施の形態における局所領域特徴量の算出方法は、第１の実施の形態の局所領域特徴量算出部２０２による算出方法と同様であるが、染色濃淡に応じて局所領域特徴量抽出用の重みを切替える点が第１の実施の形態とは異なる。

メモリ１０２には、各染色濃淡グループに対する局所領域特徴量算出用の重みを保存しておく、またはベースとなる局所領域特徴量算出用の重みを保存しておく。染色濃淡分類結果に応じて重みを切替える、または重みを変換する等の方法により、染色濃淡に合わせて局所領域特徴量算出用の重みが切り替えられる。

この重みを用いて局所領域特徴量算出部８０２は、染色濃淡分類結果に応じた局所領域特徴量を算出する。尚、本実施の形態では、局所領域特徴量算出に使用する重みは機械学習により学習済みの重みを使用すると仮定するが、例えばいわゆる教師なし学習等の手法により、入力された画像を用いて重みを更新してもよい。さらには上述した重みの更新は装置内での実行に限らず、通信装置を介してサーバー等に情報を送信し、サーバーで更新を行った結果を受信する等の方式でもよい。

次に識別部８０３について説明する。識別部８０３は、メモリ１０２内に保存されている重みを用いて局所領域特徴量算出部８０２が出力する局所領域特徴量から複数状態の識別を実施する。

第２の実施の形態における識別方法は、第１の実施の形態の識別部２０３による識別方法と同様であるが、染色濃淡に応じて識別用の重みを切替える点が第１の実施の形態とは異なる。

メモリ１０２には、各染色濃淡グループに対する細胞若しくは組織の複数状態を識別するための重みを保存しておく、またはベースとなる細胞、組織の複数状態を識別するための重みを保存しておく。染色濃淡分類結果に応じて重みを切替える、または重みを変換する等の方法により、染色濃淡に合わせて細胞、組織の複数状態を識別するための重みが切り替えられる。

尚、本実施の形態においては、各染色濃淡グループに対する細胞、組織の複数状態を識別するための重みは事前に機械学習等で作成済みであるとするが、例えば半教師あり学習等の手法により、入力された画像を用いて重みを更新してもよい。さらに、上述した重みの更新は装置内での実行に限らず、通信装置を介してサーバー等に情報を送信し、サーバーで更新を行った結果を受信する等の方式でもよい。

この重みを用いて識別部８０３は、染色濃淡分類部８０８が出力する染色濃淡分類結果に応じた識別を実施する。

以上により、入力画像の染色濃淡のばらつきに対応した特徴抽出と識別が可能となる。これにより入力画像の染色濃淡のばらつきがある場合でも正確な位置に細胞または組織の状態を可視化することができ、病理医の診断支援が可能となる。

（３）第３の実施の形態
第３の実施の形態は、第１の実施の形態または第２の実施の形態に記載の方法で求めた細胞若しくは組織状態の情報に基づいて、例えば、マイクロダイセクション等の試料採取装置により試料を採取し、質量分析装置やＤＮＡシーケンサー等の分析装置で分析を行う試料分析システムを採用している。

図１１は、第３の実施の形態に係る試料分析システムの構成例を示す。画像診断支援装置１１０９には、既述の実施の形態の構成と同様に、画像入力装置１１０１、メモリ１１０２、演算装置１１０３、ユーザーインターフェース１１０４及び画像表示装置１１０５を備えている。すなわち、これら画像入力装置１１０１、メモリ１１０２、演算装置１１０３、ユーザーインターフェース１１０４及び画像表示装置１１０５は、それぞれ、第１の実施の形態および第２の実施の形態の画像入力装置１０１、メモリ１０２、演算装置１０３、ユーザーインターフェース１０４及び画像表示装置１０５を備え、同様な動作を行うため、その説明を省略する。

さらに第３の実施の形態による試料分析システムは、試料採取装置１１０６、分析装置１１０７及び分析結果表示装置１１０８を備えている。試料採取装置１１０６は、画像診断支援装置１１０９から出力される反応値差分情報に基づき試料採取を行う。分析装置１１０７は、試料採取装置１１０６が採取した試料を受付けて分析を行う。分析結果表示装置１１０８は、例えば、分析装置１１０７の分析結果を表示するディスプレイまたはプリンタである。

図１２は、第３の実施の形態による試料分析システムの機能ブロックを示す。画像診断支援装置１１０９は、第１の実施の形態または第２の実施の形態に記載の画像診断支援装置１００と同様な構成である。

試料採取装置制御部１２０１は、画像診断支援装置１１０９が出力する反応値差分情報に基づいて試料採取領域を決定し試料を採取する。分析装置制御部１２０２は、試料採取装置制御部１２０１から入力された試料採取状況に基づいて試料の分析を行う。分析結果表示部１２０３は、分析装置制御部１２０２の分析結果を受付け、分析結果を表示する。

試料採取装置制御部１２０１について詳しく説明する。試料採取装置制御部１２０１は、画像診断支援装置１１０９から既述の反応値差分情報を受付け、試料採取領域を決定する。試料採取領域の決定方法としては、例えば反応値差分情報が閾値を超える領域を採取する、反応値差分情報を正規化して、値が高い領域から一定面積を採取する。

分析装置制御部１２０２は、試料採取装置制御部１２０１から採取した試料を受付け、試料の分析を行う。分析結果表示部１２０３は、分析装置制御部１２０２から試料の分析結果を受付け、分析結果表示装置１１０８を介してユーザーに分析結果を提示する。

これにより、第１の実施の形態または第２の実施の形態に記載の画像診断支援装置が出力する細胞または組織状態の情報に基づいて試料採取から試料分析までを一貫して行う分析システムをユーザーに提供することができるようになる。

（４）その他の実施形態
上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その趣旨を逸脱しない限り、様々な形態で実施することができる。例えば、上記実施形態では、各種プログラムの処理をシーケンシャルに説明したが、特にこれにこだわるものではない。従って、処理結果に矛盾が生じない限り、処理の順序を入れ替えまたは並行動作するように構成しても良い。

２０２……局所領域特徴量算出部、２０３……識別部、２０４……反応値算出部、２０５……反応値差分算出部、１１０６……試料採取装置、１１０７……分析装置、１１０８……分析結果表示装置、１１０９……画像診断支援装置、１２０１……試料採取装置制御部、１２０２……分析装置制御部、１２０３……分析結果表示部１２０３。

Claims (9)

1. 入力画像から局所領域特徴量を算出する局所領域特徴量算出部と、
   前記局所領域特徴量を用いて複数の識別を実施する識別部と、
   前記局所領域特徴量の算出結果及び前記複数の識別の結果を用いて各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す複数の反応値を算出する反応値算出部と、
   前記複数の反応値の差分を算出する反応値差分算出部と
   を備えることを特徴とする画像診断支援装置。
2. 前記局所領域特徴量算出部によって前記入力画像から前記局所領域特徴量を算出する前に、前記入力画像を染色濃淡に応じて分類する染色濃淡分類部を備える
   ことを特徴とする請求項１に記載の画像診断支援装置。
3. 前記局所領域特徴量算出部は、
   前記入力画像を用いて局所領域特徴量の算出または識別に使用する係数群を更新することを特徴とする請求項１に記載の画像診断支援装置。
4. 演算部が入力画像から局所領域特徴量を算出する局所領域特徴量算出ステップと、
   前記演算部が前記局所領域特徴量を用いて複数の識別を実施する識別ステップと、
   前記演算部が前記局所領域特徴量の算出結果と複数の識別結果を用いて各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す複数の反応値を算出する反応値算出ステップと、
   前記演算部が複数の反応値の差分を算出する反応値差分算出ステップと
   を有することを特徴とする画像診断支援方法。
5. 前記局所領域特徴量算出ステップにおいて前記演算部によって前記入力画像から前記局所領域特徴量が算出される前に、前記演算部が前記入力画像を染色濃淡に応じて分類する染色濃淡分類ステップを有することを特徴とする請求項４に記載の画像診断支援方法。
6. 前記演算部が前記入力画像を用いて前記局所領域特徴量の算出または識別に使用する係数群を更新する更新ステップを有する請求項４に記載の画像診断支援方法。
7. 入力画像から局所領域特徴量を算出する局所領域特徴量算出部と、
   前記局所領域特徴量を用いて複数の識別を実施する識別部と、
   前記局所領域特徴量の算出結果及び前記複数の識別の結果を用いて各識別結果が前記入力画像うちのどの単位領域に基づいて判断されたかを示す複数の反応値を算出する反応値算出部と、
   前記複数の反応値の差分を算出する反応値差分算出部と、
   前記算出した情報に基づいて試料を採取する試料採取部と、
   前記試料採取部によって採取された前記試料の分析を実施する分析部と
   を備えることを特徴とする試料分析システム。
8. 前記局所領域特徴量算出部によって前記入力画像から前記局所領域特徴量を算出する前に、前記入力画像を染色濃淡に応じて分類する染色濃淡分類部を備える
   ことを特徴とする請求項７に記載の試料分析システム。
9. 前記局所領域特徴量算出部は、
   前記入力画像を用いて局所領域特徴量の算出または識別に使用する係数群を更新することを特徴とする請求項７に記載の試料分析システム。