JP6979278B2

JP6979278B2 - 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法

Info

Publication number: JP6979278B2
Application number: JP2017077180A
Authority: JP
Inventors: 英春服部; 容弓柿下; 憲孝内田; 定光麻生; 智也桜井
Original assignee: Hitachi High Tech Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2017-04-07
Filing date: 2017-04-07
Publication date: 2021-12-08
Anticipated expiration: 2037-04-07
Also published as: WO2018186052A1; US11676268B2; JP2018180794A; US20200151877A1

Description

本発明は、画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法に関し、例えば、顕微鏡に搭載したカメラなどの撮影装置によってスライドガラス上の組織・細胞切片等を撮影した画像内に含まれる特定の組織や細胞（例えば、がん等）を検出するための画像処理技術に関するものである。

近年、病気の診断においては、病変部組織標本の顕微鏡観察による「病理診断」が重要な位置を占めている。病理診断では、標本作成から診断までの多くを人手に頼っており、自動化が困難である。特に、診断における病理医の能力と経験が重要であり、その個人的能力に依存している。一方で、高齢化に伴うがん患者の増加など、医療現場では病理医が不足している。以上より、病理診断を支援する画像処理技術や遠隔診断などのニーズが増加している。

このように、病理診断支援に向け、病理組織か否かを判定するために、例えば、特許文献１に提案される技術がある。当該特許文献１では、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて、病理組織を分類している。

特開２０１０−２０３９４９号公報

しかしながら、組織・細胞画像においては、一種類の染色法で染めた組織・細胞画像だけでは異常組織(例：がん)や異常細胞(例：がん)か否かを判定できず、検出漏れや誤検出が発生するという課題がある。このため、特許文献１のように、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて、組織・細胞を分類したとしても、一種類の染色法で染めた組織・細胞画像だけでは異常組織や異常細胞を検出できず、検出漏れや誤検出になるという課題が存在する。また、複数の染色法による画像を作成した場合、検査コストが高額になるという課題がある。

本発明はこのような状況に鑑みてなされたものであり、一種類の染色法で染めた組織・細胞画像から、染めた組織・細胞画像の特徴量の算出だけでなく、他染色法で染めた組織・細胞画像の特徴量を推定することで、一種類の染色法で染めた組織・細胞画像から組織・細胞の分類を実現するための技術を提供するものである。

上記課題を解決するために、本発明は、対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサは、組織や細胞を撮像した画像を入力する処理と、前記対象画像の組織や細胞の特徴量を抽出する処理と、前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を抽出する特徴抽出処理と、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定処理と、を実行することを特徴とする。

また、さらに本発明は、対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサは、組織や細胞を撮像した画像を入力する処理と、前記対象画像の組織や細胞の特徴量を抽出する処理と、前記対象画像から前記対象画像とは異なる成分を持つ画像を生成する処理と、前記生成した画像の組織や細胞の特徴量を抽出する特徴抽出処理と、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定処理と、を実行することを特徴とする。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

本発明によれば、複数種類の染色法で染めた組織・細胞画像を用いないと異常組織や異常細胞か否かを判定できない場合でも、一種類の染色法で染めた組織・細胞画像から、染めた組織・細胞画像の特徴量の算出だけでなく、他染色法で染めた組織・細胞画像の特徴量を推定することで、誤検出や過検出を抑制して、一種類の染色法で染めた組織・細胞画像から組織・細胞を分類することができるようになる。

本発明の第１の実施形態による画像診断支援装置の機能を示すブロック図である。本発明の第１及び第２の実施形態による画像診断支援装置のハードウェア構成例を示す図である。特徴抽出部の動作の一例を説明するための図である。特徴抽出部の動作の一例を説明するための図である。一分類判定部の動作の一例を説明するための図である。学習部の動作の一例を説明するための図である。学習部の動作の一例を説明するための図である。描画部の動作の一例を説明するための図である。学習部の動作を説明するためのフローチャートである。第１の実施形態による画像診断支援装置の全体動作を説明するためのフローチャートである。描画部の判定結果表示の一例を説明するための図である。本発明の第２の実施形態による画像診断支援装置の機能を示すブロック図である。画像生成部動作の一例を説明するための図である。第２の実施形態による画像診断支援装置の全体動作を説明するためのフローチャートである。本発明の画像診断支援装置を搭載した遠隔診断支援システムの概略構成を示す図である。本発明の画像診断支援装置を搭載したネット受託サービス提供システムの概略構成を示す図である。

本発明の実施形態は、一種類の染色法で染めた組織・細胞画像から、染めた組織・細胞画像の特徴量を算出し、さらに、他染色法で染めた組織・細胞画像の特徴量を推定することで、異常組織や異常細胞(例：病変)の検出漏れや誤検出抑制を実現する画像診断支援装置及びその方法を提供する。

以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

以下では「プログラムとしての各処理部（例えば、特徴抽出部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。

（１）第１の実施形態
＜画像診断支援装置の機能構成＞
図１は、本発明の実施形態による画像診断支援装置の機能構成を示すブロック図である。

画像診断支援装置１は、入力部１０と、特徴抽出部１１と、一分類判定部１２と、描画部１３と、記録部１４と、学習部１５と、制御部９１と、メモリ９０と、を有している。当該画像診断支援装置は、バーチャルスライド等の組織・細胞画像取得装置内に実装しても良いし、後述する（第３乃至第４の実施形態）ように、組織・細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。

画像診断支援装置１における、入力部１０、特徴抽出部１１、一分類判定部１２、描画部１３、記録部１４、及び学習部１５は、プログラムによって実現しても良いし、モジュール化して実現しても良い。

入力部１０には画像データが入力される。例えば、入力部１０は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。

特徴抽出部１１は、一種類の染色法で染めた組織・細胞画像から、染めた組織・細胞画像の組織や細胞に関する特徴量を算出し、さらに、他染色法で染めた組織・細胞画像の組織や細胞に関する特徴量を推定する。

一分類判定部１２は、抽出した特徴量と推定した特徴量から組織や細胞の異常らしさを算出し、入力画像に関して、正常組織か異常組織か、また、正常細胞か異常細胞かを分類する。

描画部１３は、前記一分類判定部１２で分類した異常組織や異常細胞を囲むように検出枠を画像上に描画する。

記録部１４は、前記描画部１３で原画像上に検出枠を描画した画像をメモリ９０に保存する。

学習部１５は、入力画像内の正常の組織や細胞を正常の組織や細胞と識別するように、また、入力画像内の異常の組織や細胞を異常の組織や細胞と識別するように、機械学習を行って識別に必要な各パラメータ(フィルター係数、オフセット値等)を算出する。さらに、入力画像から入力画像の染色法とは異なる他染色法で染めた組織・細胞画像内の正常の組織や細胞を正常の組織や細胞と推定するように、また、入力画像の染色法とは異なる他染色法で染めた組織・細胞画像内の異常の組織や細胞を異常の組織や細胞と推定するように、機械学習を行って推定に必要な各パラメータ(フィルター係数、オフセット値等)を算出する。

制御部９１は、プロセッサで実現され、画像診断支援装置１内の各要素に接続される。画像診断支援装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により動作する。

このように本実施形態の画像診断支援装置１では、特徴抽出部１１で求めた入力画像に関する組織や細胞の異常らしさを示す特徴量と入力画像の染色法とは異なる他染色法で染めた画像に関する組織や細胞の異常らしさを示す特徴量を用いて、一分類判定部１２で、入力画像に関して、正常組織か異常組織か、また、正常細胞か異常細胞かを分類することを特徴とする。

＜画像診断支援装置のハードウェア構成＞
図２は、本発明の実施形態による画像診断支援装置１のハードウェア構成例を示す図である。

画像診断支援装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（メモリ９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。

ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。

メモリ２０２は、プログラムとしての、入力部１０と、特徴抽出部１１と、一分類判定部１２と、描画部１３と、記録部１４と、学習部１５とを格納する。ただし、実施例１の画像診断支援装置１のメモリ２０２には、画像生成部２０は含まない。

記憶装置２０３は、処理対象画像、一分類判定部１２によって生成された入力画像に関する分類結果とその数値、入力画像の染色法とは異なる他染色法で染めた画像に関する推定結果とその数値、描画部１３によって生成された検出枠を描画するための位置情報、学習部１５によって生成した後述の式（１）と式（２）の各パラメータ等を記憶している。

出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１３によって生成されたデータをディスプレイ画面上に表示する。

入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像診断支援装置１に入力される。

通信デバイス２０６は、画像診断支援装置１としては必須の構成ではなく、組織・細胞画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、画像診断支援装置１は通信デバイス２０６を保持していなくても良い。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する動作を行う。

本発明の画像診断支援装置は、入力画像に関する組織や細胞の特徴量を算出し、また、入力画像から入力画像の染色法とは異なる他染色法で染めた画像に関する組織や細胞の特徴量を推定して、それらの特徴量を用いて入力画像内の組織や細胞の病変らしさを判定する。

＜各部の構成と動作＞
以下、各要素の構成と動作について詳細に説明する。
（i）特徴抽出部１１
入力画像と入力画像の染色法とは異なる他染色法で染めた画像の特徴量を求める。一例として、各特徴量を求める例を図３に示す。図３のCNNは、Convolutional Neural Networkを表す。

例えば、特徴抽出器Aを用いて、式（１）により、入力画像A1から入力画像A1の組織・細胞の特徴量FAiを求める。また、特徴抽出器Cを用いて、式（１）により、入力画像A1から入力画像とは異なる成分を持つ画像の組織・細胞の特徴量FCiを求める。

式（１）に示すフィルター係数wjは、正常組織や正常細胞を正常組織や正常細胞と識別するように、また、異常組織や異常細胞を異常組織や異常細胞と識別するように、機械学習等により求めた係数である。

式（１）において、pjは画素値、biはオフセット値、mはフィルター係数の数、hは非線形関数を示す。図４に示すように、式（１）を用いて、対象画像の左上から右下に対して、各フィルターの計算結果を求めることで、任意のフィルターiの特徴量fiを求める。例えば、特徴抽出器Aで求めた特徴量fiの行列を入力画像A1の特徴量FAiとする。同様に、特徴抽出器Cで求めた特徴量fiの行列を入力画像A1から推定した特徴量FCiとする。特徴抽出器AとCの作成方法については、後述する学習部１５にて説明する。

（ii）一分類判定部１２
一分類判定部１２は、図５に示すように、前記特徴抽出部１１で求めた特徴抽出器Aの特徴量FAiと特徴抽出器Cの特徴量FCiの行列fを用いて、ロジスティック回帰処理にて、式（２）により、病変らしさの値を算出して、入力画像A1内の組織・細胞が正常か異常かを判定する。式（２）において、ｗは重みの行列、bはオフセット値、gは非線形関数、yは計算結果をそれぞれ示し、後述する学習部１５にて、機械学習により、wの重みとbのオフセット値を求める。

一例として、前立腺のHE染色画像では、病変有無の判定が出来ない場合でも、特徴抽出器AとCを用いることで、前立腺のHE染色画像から特徴量FAiを算出し、前立腺のHE染色画像から特徴量FCiを算出して、前立腺の免疫染色画像の特徴量を推定することで、基底細胞の有無や上皮細胞での病変有無の特徴が明確となり、HE染色画像単体では判定できない病変有無を判定することが可能となる。

（iii）学習部１５
学習部１５は、式（２）により、入力した組織・細胞画像内の組織や細胞が正常組織や正常細胞であれば、例えば、ロジスティック回帰処理にて、正常組織や正常細胞と判定するように、例えば、従来技術である機械学習の技術を用いて、組織や細胞の特徴量を学習する。また、入力した組織・細胞画像内の組織や細胞が異常組織や異常細胞であれば、ロジスティック回帰処理にて、異常組織や異常細胞と判定するように、組織や細胞の特徴量を学習する。例えば、機械学習の技術として、Convolutional Neural Networkを用いてもよい。

学習部１５は、図６に示すように、事前の機械学習により、入力画像A1(例えば、HE染色画像)と入力画像とは異なる成分を持つ画像B1(例えば、免疫染色画像や特殊染色画像等)を用いて、異常組織や異常細胞を異常組織や異常細胞と判定するように、また、正常組織や正常細胞を正常組織や正常細胞と判定するように、式（１）と式（２）により、入力画像A1の特徴量fi(FAiとする)を算出する特徴抽出器Aと入力画像とは異なる成分を持つ画像B1の特徴量fi(FBiとする)を算出する特徴抽出器Bを作成する。

さらに学習部１５は、図７に示すように、事前の機械学習によって、特徴抽出器Aと特徴抽出器Bを用いて、式（１）と式（２）により、入力画像とは異なる成分を持つ画像B1を特徴抽出器Bに入力したときに算出される特徴量FBiと、入力画像A1を特徴抽出器Cに入力したときに算出される特徴量fi(FCiとする)の差分が小さくなるように特徴抽出器Cを作成する。このように特徴抽出器Cを作成することで、入力画像A1から入力画像とは異なる成分を持つ画像の特徴量FCiを推定することが可能となる。

学習部１５は、複数の学習用画像を用いて、前記特徴抽出部１１と前記一分類判定部１２を繰り返して行い、式（１）と式（２）に示す重みw、フィルター係数wj、オフセット値bとbiを求め、入力画像A1から入力画像A1の特徴量FAiを算出する特徴抽出器A及び入力画像A1から入力画像とは異なる成分をもつ画像の特徴量FCiを算出する特徴抽出器Cを作成する。

学習部１５は、特徴量FAiと特徴量FCiから成る行列をfとした場合((a))、特徴量FAiのみから成る行列をfとした場合((b))、特徴量FCiのみから成る行列をfとした場合((c))の各々について、重みw、フィルター係数wj、オフセット値bとbiを求める。この学習部１５は、求めたそれぞれの重みw、フィルター係数wj、オフセット値bとbiをメモリに格納する。

（iv）描画部１３
描画部１３は、一分類判定部１２において、異常組織や異常細胞と判定された場合、図８に示すように、異常組織や異常細胞が疑われる箇所を示すために、入力した対象画像内に検出枠を描画する。

一方、正常組織や正常細胞と判定された場合は、検出枠を入力した対象画像上に描画せず、入力した対象画像をそのまま表示する。また、図８に示すように、判定した病変らしさの結果(例えば、腫瘍)を表示する。また、一例として、図１１に示すＧＵＩ（グラフィカルユーザーインタフェース）にて、病変らしさ判定の結果を表示する。

図１１は、胃がんの場合の一例であり、低分化管状腺がん、中分化管状腺がん、高分化管状腺がん、乳頭状腺がん、印環細胞がんの分類結果を示す図である。図１１の例では、低分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である低分化管状腺がんを含むと分類し、低分化管状腺がんの病変らしさ(HE)の値を0.69、病変らしさ(免染/特染)の値を0.80と算出した例である。

また、中分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である中分化管状腺がんを含まず、正常組織・細胞と分類し、中分化管状腺がんの病変らしさ(HE)の値を0.11、病変らしさ(免染/特染)の値を0.10と算出した例である。

また、高分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である高分化管状腺がんを含まず、正常組織・細胞と分類し、高分化管状腺がんの病変らしさ(HE)の値を0.09、病変らしさ(免染/特染)の値を0.05と算出した例である。

また、乳頭状腺がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である乳頭状腺がんを含まず、正常組織・細胞と分類し、乳頭状腺がんの病変らしさ(HE)の値を0.06、病変らしさ(免染/特染)の値を0.03と算出した例である。

また、印環細胞がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である印環細胞がんを含まず、正常組織・細胞と分類し、印環細胞がんの病変らしさ(HE)の値を0.05、病変らしさ(免染/特染)の値を0.02と算出した例である。

（v）記録部１４
記録部１４は、描画部１３で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０に保存する。

＜画像診断支援装置の処理手順＞
図９は、本発明の実施形態による画像診断支援装置１の学習部１５の動作を説明するためのフローチャートである。以下では、学習部１５を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップ９０１
入力部１０は、学習用に入力された画像を受け付け、当該入力画像を学習部１５に出力する。

（ii）ステップ９０２
学習部１５は、機械学習によって、上述の式（１）と式（２）により、フィルターを用いて入力画像A1の組織や細胞の特徴量FAiと入力画像とは異なる成分を持つ画像B1の特徴量FBiを求め、特徴抽出器AとBを作成する。

（iii）ステップ９０３
学習部１５は、機械学習によって、式（１）と式（２）により、特徴抽出器AとB及びフィルターを用いて、入力画像とは異なる成分を持つ画像B1を特徴抽出器Bに入力したときに算出される特徴量FBiと、入力画像A1を特徴抽出器Cに入力したときに算出される特徴量fi(FCiとする)の差分が小さくなるように特徴抽出器Cを作成する。

特徴量FAiと特徴量FCiから成る行列をfとした場合((a))、特徴量FAiのみから成る行列をfとした場合((b))、特徴量FCiのみから成る行列をfとした場合((c))の各々について、重みｗ、フィルター係数wj、オフセット値bとbiを求める。

（iv）ステップ９０４
学習部１５は、算出した特徴抽出器AとCのそれぞれの重みw、フィルター係数wj、オフセット値b、biをメモリ９０に保存する。

図１０は、本実施の形態による画像診断支援装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップＳ１００１
入力部１０は、当該入力画像A1を特徴抽出部１１に出力する。

（ii）ステップＳ１００２
特徴抽出部１１は、メモリ９０から特徴抽出器AとCのそれぞれのフィルター係数wj、オフセットbiを読込み、上述の式（１）により、フィルターを用いて入力画像A1の組織・細胞の特徴量FAiと入力画像A1から推定した組織・細胞の特徴量FCiを求める。

（iii）ステップＳ１００３
一分類判定部１２は、メモリ９０からそれぞれの重みw、オフセットbを読込み、式（２）により、特徴量FAiと特徴量FCiから成る行列をfとした場合((a))の計算結果y、特徴量FAiのみから成る行列をfとした場合((b))の計算結果ya、特徴量FCiのみから成る行列をfとした場合((c))の計算結果ycをそれぞれ算出する。

（iv）ステップＳ１００４
一分類判定部１２は、算出した計算結果yと閾値Th1を比較する。すなわち、計算結果y≧閾値Th1の場合、処理はステップ１００５に移行する。一方、計算結果y＜閾値Th1の場合、処理はステップ１００６に移行する。

（v）ステップＳ１００５
一分類判定部１２は、分類結果resに異常組織・異常細胞(例えば、１)を設定する。

（vi）ステップＳ１００６
一分類判定部１２は、分類結果resに正常組織・正常細胞(例えば、０)を設定する。

（vii）ステップＳ１００７
一分類判定部１２は、分類結果resから病変らしさを分類する。例えば、前立腺については、分類結果resには、非腫瘍、腫瘍等の結果が設定される。従って、分類結果resにより、病変有無(例えば、腫瘍等)や病変らしさ(y=0.89：値域(0〜1))を求めることが可能となる。また、一分類判定部１２は、入力画像から求めた特徴量FAiを用いて算出した病変らしさ(ya=0.76：値域(0〜1))、入力画像から推定した特徴量FCiを用いて算出した病変らしさ(yc=0.81：値域(0〜1))を求めることが可能である。

（viii）ステップＳにより１００８
描画部１３は、異常組織や異常細胞と分類された場合は、図８に示すように、異常組織や異常細胞を示す検出枠を画像上に描画して表示する。描画部１３は、正常組織や正常細胞と分類された場合は、検出枠を画像上に描画することはしない。また、描画部１３は、図１１に示すように、入力画像から算出した病変らしさと入力画像から推定した病変らしさの値を表示する。

（ix）ステップＳ１００９
記録部１４は、描画部１３で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。

第１の実施形態によれば、入力画像から入力画像の組織や細胞の特徴量と入力画像とは異なる成分を持つ画像の組織や細胞の特徴量を機械学習し、重み、フィルター係数、オフセットを算出して、組織や細胞が正常か否かを分類する識別器(各特徴抽出器とロジスティック回帰層から構成)を作成するため、病変の誤検出や過検出を抑制して、画像から正常組織か異常組織か、及び正常細胞か異常細胞かを分類することが可能となる。

また、入力画像から入力画像とは異なる成分を持つ画像の組織や細胞の特徴量を推定するため、入力画像単体では判定できない病変らしさを判定することが可能となる。また、入力画像から入力画像とは異なる成分を持つ画像の組織や細胞の特徴量を推定するため、入力画像とは異なる成分を持つ画像の作製コストが不要となり、検査コストを抑制することが可能となる。

（２）第２の実施形態
図１２は、第２の実施形態に係る画像診断支援装置２の構成例を示す図である。第２の実施形態に掛かる画像診断支援装置２は、第１の実施形態における画像診断支援装置１（図１参照）と同様な構成を多く含む一方、特徴抽出部１１、一分類判定部１２及び学習部１５の動作が、図１に示す形態とは異なっている。また、第２の実施形態に係る画像診断支援装置２は、新たな構成として画像生成部２０を含む。従って、ここでは、主として図１とは異なる構成について説明をする。

第２の実施形態に係る画像診断支援装置２は、入力画像から入力画像の染色方法とは異なる他染色法で染めた画像を生成し、入力画像と生成画像に関する組織や細胞の特徴量を算出して、それらの特徴量を用いて入力画像内の組織や細胞の病変らしさを判定する。

＜各部の構成と動作＞
以下、図１と異なる各要素の構成と動作について詳細に説明する。

（i）画像生成部２０
画像生成部２０は、図１３に示すように、後述する学習部２５にて作成した画像生成器Dを用いて、入力画像A1から入力画像とは異なる成分を持つ画像D1を生成し、入力画像と生成画像を特徴抽出部２１に出力する。

（ii）特徴抽出部２１
特徴抽出部２１は、図６に示す特徴抽出器Aに入力画像A1を入力して特徴量FAiを算出し、また、画像B1の代わりに、図６に示す特徴抽出器Bに生成画像D1を入力して特徴量FDiを算出する。

（iii）一分類判定部２２
一分類判定部２２は、前記特徴抽出部２１で求めた特徴抽出器Aの特徴量FAiと特徴抽出器Bの特徴量FDiの行列fを用いて、ロジスティック回帰処理にて、式（２）により、病変らしさの値を算出して、入力画像A1内の組織・細胞が正常か異常かを判定する。

（iv）学習部２５
学習部２５は、式（１）及び式（２）により、入力画像から入力画像とは異なる成分を持つ画像を生成するように、例えば、公知の機械学習の技術を用いて、画像の特徴量を学習する。例えば、機械学習の技術として、Autoencoderを用いてもよい。

学習部２５は、図１３に示すように、事前の機械学習により、入力画像A1(例えば、HE染色画像)から入力画像とは異なる成分を持つ画像D1(例えば、免疫染色画像や特殊染色画像等)を生成する画像生成器Dを作成する。

また、学習部２５は、図６に示すように、学習部１５と同様に、特徴抽出器A及び特徴抽出器Bを作成する。従って、学習部２５は、特徴抽出器A、Bの重みw、フィルター係数wj、オフセット値bとbi、画像生成器Dのフィルター係数wj、オフセット値biを算出し、メモリに格納する。

＜画像診断支援装置のハードウェア構成＞
第２の実施形態に係る画像診断支援装置２は、図２に示す構成と同様であるが、第１の実施形態に係る画像診断支援装置１とは異なり、メモリ２０２に画像生成部２０を含んでいる。

画像診断支援装置２の記憶装置２０３は、処理対象画像、一分類判定部２２によって生成された入力画像に関する分類結果とその数値、画像生成部２０によって生成された入力画像と異なる成分を持つ画像、描画部１３によって生成された検出枠を描画するための位置情報、学習部２５によって生成した式（１）及び式（２）の各パラメータ等を記憶している。

図１４は、本実施形態による画像診断支援装置２の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部２１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップ１４０１
入力部１０は、当該入力画像A1を画像生成部２０に出力する。

（ii）ステップ１４０２
画像生成部２０は、画像生成器Dを用いて入力画像A1から入力画像とは異なる成分を持つ画像D1を生成する。

（iii）ステップ１４０３
特徴抽出部２１は、メモリ９０から特徴抽出器AとBのそれぞれのフィルター係数wj、オフセットbiを読込み、上述の式（１）により、フィルターを用いて入力画像A1の組織・細胞の特徴量FAiと入力画像D1の組織・細胞の特徴量FDiを求める。

（iv）ステップ１４０４
一分類判定部２２は、メモリ９０からそれぞれのフィルター係数w、オフセットbを読込み、式（２）により、特徴量FAiと特徴量FDiから成る行列をfとした場合((a1))の計算結果y、特徴量FAiのみから成る行列をfとした場合((b1))の計算結果ya、特徴量FDiのみから成る行列をfとした場合((c1))の計算結果ycをそれぞれ算出する。

（v）ステップ１４０５
一分類判定部２２は、算出した計算結果yと閾値Th1を比較する。すなわち、計算結果y≧閾値Th1の場合、処理はステップ１４０６に移行する。一方、計算結果y＜閾値Th1の場合、処理はステップ１４０７に移行する。

（vi）ステップ１４０６
一分類判定部２２は、分類結果resに異常組織・異常細胞(例えば、１)を設定する。

（vii）ステップ１４０７
一分類判定部２２は、分類結果resに正常組織・正常細胞(例えば、０)を設定する。

（viii）ステップ１４０８
一分類判定部２２は、分類結果resから病変らしさを分類する。例えば、前立腺については、分類結果resには、非腫瘍、腫瘍等の結果が設定される。従って、分類結果resにより、病変有無(例えば、腫瘍等)や病変らしさ(y=0.89：値域(0〜1))を求めることが可能となる。また、一分類判定部２２は、入力画像から求めた特徴量FAiを用いて算出した病変らしさ(ya=0.76：値域(0〜1))、入力画像から生成した画像D1の特徴量FDiを用いて算出した病変らしさ(yc=0.80：値域(0〜1))を求めることが可能である。

（ix）ステップ１４０９
描画部１３は、異常組織や異常細胞と分類された場合は、図８に示すように、異常組織や異常細胞を示す検出枠を画像上に描画して表示する。描画部１３は、正常組織や正常細胞と分類された場合は、検出枠を画像上に描画することはしない。

一方、描画部１３は、図１１（Ａ）に示すように、例えば１０倍画像の入力画像から算出した病変らしさの値と生成画像から算出した病変らしさの値を表示したり、図１１（Ｂ）に示すように、例えば４０倍画像の入力画像から算出した病変らしさの値と生成画像から算出した病変らしさの値を表示する。すなわち、描画部１３は、倍率毎の判定結果を複数表示して各々の倍率の結果に基づいて病変らしさを判定可能とし、閾値を超えているものを表しているのである。このようにすると、画像倍率が異なる結果同士を比較してより正確に病変らしさを判定できるようになる。例えば、図１１（Ｃ）に示すように、各倍率の病変らしさ判定結果を用いて、総合した病変らしさ判定結果（例：低分化管状腺がんと中分化管状腺がん）を表示する。

（x）ステップ１４１０
記録部１４は、描画部１３で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。

以上のような第２の実施形態によれば、入力画像から入力画像の組織や細胞の特徴量と入力画像とは異なる成分を持つ画像の組織や細胞の特徴量を機械学習し、重み、フィルター係数、オフセットを算出して、組織や細胞が正常か否かを分類する識別器(各特徴抽出器とロジスティック回帰層から構成)を作成するため、病変の誤検出や過検出を抑制して、画像から正常組織か異常組織か、及び正常細胞か異常細胞かを分類することが可能となる。

また、入力画像から入力画像とは異なる成分を持つ画像を生成し、入力画像とその生成画像を用いて画像内の組織や細胞の特徴量を算出するため、入力画像単体では判定できない病変らしさを判定することが可能となる。

また、入力画像から入力画像とは異なる成分を持つ画像を生成するため、入力画像とは異なる成分を持つ画像の作製コストが不要となり、検査コストを抑制することが可能となる。

（３）第３の実施形態
図１５は、第３の実施形態による遠隔診断支援システム１５００の構成を示す機能ブロック図である。遠隔診断支援システム１５００は、サーバー１５０３と、画像取得装置１５０５と、を有する。

画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１５０１と、サーバー等１５０３から伝送されてきた判定結果を表示するための表示部１５０４と、を有している。なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバー等１５０３に送信したり、サーバー等１５０３から送信されてきたデータを受信したりする通信デバイスを有している。

サーバー等１５０３は、画像取得装置１５０５から伝送されてきた画像データに対して、本発明の第１や第２の実施形態による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された判定結果を格納する格納部１５０２と、を有している。なお、サーバー等１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信したり、画像取得装置１５０５に判定結果データを送信したりする通信デバイスを有している。

画像診断支援装置１は、撮像部１５０１で撮影した画像データ内の組織や細胞について、異常組織や異常細胞(例：がん)の有無を分類する。また、入力画像の組織・細胞の特徴量と入力画像とは異なる成分を持つ画像の組織・細胞の特徴量を算出する識別器による分類結果を用いて、異常組織や異常細胞(例：がん)の進行度に応じた異常組織や異常細胞(例：がん)の病変らしさの分類を行う。表示部１５０４は、サーバー等１５０３から伝送された分類結果を、画像取得装置１５０５の表示画面に表示する。

画像取得装置１５０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。

第３の実施形態によれば、地点の異なる施設等から伝送された画像内の組織や細胞について、正常組織か異常組織か、及び正常細胞か異常細胞かを分類し、分類結果を地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で分類結果を表示することで、遠隔診断支援システムを提供することが可能となる。

（４）第４の実施形態
図１６は、本発明の第４の実施形態によるネット受託サービス提供システム１６００の構成を示す機能ブロック図である。ネット受託サービス提供システム１６００は、サーバー等１６０３と、画像取得装置１６０５と、を有している。

画像取得装置１６０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１６０１と、サーバー等１６０３から伝送された識別器を格納する格納部１６０４と、サーバー等１６０３から伝送された識別器を読込んで、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の組織や細胞について、正常組織か異常組織か、及び正常細胞か異常細胞かを分類する第１及び第２の実施形態による画像処理を行う画像診断支援装置１とを有している。

なお、画像取得装置１６０５は、図示されてはいないが、画像データをサーバー等１６０３に送信したり、サーバー等１６０３から送信されてきたデータを受信したりする通信デバイスを有している。

サーバー等１６０３は、画像取得装置１６０５から伝送されてきた画像データに対して、本発明の第１や第２の実施形態による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された識別器を格納する格納部１６０２と、を有している。なお、サーバー等１６０３は、図示されてはいないが、画像取得装置１６０５から送信されてきた画像データを受信したり、画像取得装置１６０５に識別器を送信したりする通信デバイスを有している。

画像診断支援装置１は、撮像部１６０１で撮影した画像データ内の組織や細胞について、正常の組織や細胞は正常の組織や細胞と判定するように、また、異常の組織や細胞は異常の組織や細胞と判定するように機械学習を行い、地点の異なる施設等の画像の組織・細胞の特徴量とその画像とは異なる成分を持つ画像の組織・細胞の特徴量を算出する識別器を作成する。

格納部１６０４は、サーバー等１６０３から伝送された識別器等を格納する。

画像取得装置１６０５内の画像診断支援装置１は、格納部１６０４から識別器等を読込み、その識別器を用いて、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の組織や細胞について、正常組織か異常組織か、及び正常細胞か異常細胞かを分類し、画像診断支援装置１の出力装置２０４の表示画面に分類結果を表示する。

画像取得装置１６０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。

第４の実施形態によれば、地点の異なる施設等から伝送された画像内の組織や細胞について、正常の組織や細胞は正常の組織や細胞と分類するように、また、異常の組織や細胞は異常の組織や細胞と分類するように機械学習を行って識別器等を作成し、識別器等を地点の異なる施設等に伝送して、その施設等にある画像取得装置にて識別器を読込み、新たに撮影した画像内の組織や細胞について、正常組織か異常組織か、及び正常細胞か異常細胞かを分類することで、ネット受託サービス提供システムを提供することが可能となる。

以上説明した各実施形態については、次のような変形が可能である。例えば、特徴抽出部１１、２１及び学習部１５、２５では、機械学習によりフィルターを用いて複数特徴量を求めたが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。

一分類判定部１２、２２では、ロジスティック回帰を用いて組織や細胞の特徴量を機械学習したが、線形回帰やポアソン回帰等を用いてもよく、同様の効果を有する。

特徴抽出部１１や特徴抽出部２１では、入力画像、もしくは入力画像と生成画像に対して２つの特徴抽出器を用いて特徴量を算出したが、１つの特徴抽出器や３つ以上の特徴抽出器を用いて特徴量を算出してもよく、同様の効果を有する。

本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本技術分野における通常の知識を有する者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

１……画像診断支援装置、１０……入力部、１１……特徴抽出部、１２……一分類判定部、１３……描画部、１４……記録部、１５……学習部、２０……画像生成部、２１……特徴抽出部、２２……一分類判定部、２５……学習部、９１……制御部、１５００……遠隔診断支援システム、１６００……ネット受託サービス提供システム。

Claims

ある染色法で染められた組織や細胞を撮像した画像である対象画像を入力する入力部と、
前記対象画像が表す組織や細胞の特徴量を抽出する特徴抽出処理と、前記対象画像が表す組織や細胞の染色法とは異なる他染色法で染められた組織や細胞の成分を持つ画像である別画像が表す組織や細胞の特徴量を抽出する特徴抽出処理とを行う特徴抽出部と、
複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定部と、
を備え、
前記判定部は、前記対象画像から前記対象画像の特徴量を算出することと前記対象画像から前記別画像が表す組織や細胞の特徴量を算出することとを行う識別器を用いて病変の有無及び病変の確からしさを判定することを特徴とする画像診断支援装置。
前記特徴抽出部は、前記対象画像から、前記別画像が表す組織や細胞の特徴量を推定して抽出することを特徴とする請求項１に記載の画像診断支援装置。
前記判定部は、倍率毎の判定結果に基づいて病変の確からしさを判定することを特徴とする請求項１乃至２のうちのいずれか１項に記載の画像診断支援装置。
ある染色法で染められた組織や細胞を撮像した画像である対象画像を入力する入力部と、
前記対象画像から前記対象画像が表す組織や細胞の染色法とは異なる他染色法で染められた組織や細胞の画像を生成する処理である別画像を生成する画像生成部と、
前記対象画像が表す組織や細胞の特徴量を抽出する特徴抽出処理と、前記生成した別画像が表す組織や細胞の特徴量を抽出する特徴抽出処理とを行う特徴抽出部と、
複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定部と、
を備え、
前記判定部は、前記対象画像から前記対象画像の特徴量を算出することと前記対象画像から生成した前記別画像が表す組織や細胞の特徴量を前記別画像から算出することとを行う識別器を用いて病変の有無及び病変の確からしさを判定することを特徴とする画像診断支援装置。
前記判定部は、倍率毎の判定結果に基づいて病変の確からしさを判定することを特徴とする請求項４に記載の画像診断支援装置。
コンピュータが、ある染色法で染められた組織や細胞を撮像した画像である対象画像を入力するステップと、
コンピュータが、前記対象画像が表す組織や細胞の特徴量を抽出する第一の特徴抽出ステップと、
コンピュータが、前記対象画像が表す組織や細胞の染色法とは異なる他染色法で染められた組織や細胞の画像である別画像が表す組織や細胞の特徴量を抽出する第二の特徴抽出ステップと、
コンピュータが、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定ステップと、
を有し、
前記判定ステップでは、前記対象画像から前記対象画像の特徴量を算出することと前記対象画像から前記別画像が表す組織や細胞の特徴量を算出することとを行う識別器を用いて病変の有無及び病変の確からしさを判定することを特徴とする画像診断支援方法。
前記第二の特徴抽出ステップでは、コンピュータが、前記対象画像から、前記別画像が表す組織や細胞の特徴量を推定して抽出することを特徴とする請求項６に記載の画像診断支援方法。
コンピュータが、ある染色法で染められた組織や細胞を撮像した画像である対象画像を入力するステップと、
コンピュータが、前記対象画像が表す組織や細胞の特徴量を抽出する第一の特徴抽出ステップと、
コンピュータが、前記対象画像から前記対象画像が表す組織や細胞の染色法とは異なる他染色法で染められた組織や細胞の画像である別画像を生成する画像生成ステップと、
コンピュータが、前記生成した別画像が表す組織や細胞の特徴量を抽出する第二の特徴抽出ステップと、
コンピュータが、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定ステップと、
を有し、
前記判定ステップでは、前記対象画像から前記対象画像の特徴量を算出することと前記対象画像から生成した前記別画像が表す組織や細胞の特徴量を前記別画像から算出することとを行う識別器を用いて病変の有無及び病変の確からしさを判定することを特徴とする画像診断支援方法。
前記判定ステップでは、コンピュータが、倍率毎の判定結果に基づいて病変の確からしさを判定することを特徴とする請求項６乃至８のうちのいずれか１項に記載の画像診断支援方法。
請求項１乃至５のうちのいずれか１項に記載の画像診断支援装置を有するサーバーと、
画像データを撮影する撮像装置を有する画像取得装置と、を有し、
前記画像取得装置は、前記サーバーに前記画像データを送信し、
前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された組織や細胞の画像と判定結果とを、前記画像取得装置に送信し、
前記画像取得装置は、受信した前記判定された組織や細胞の画像と判定結果とを表示装置に表示することを特徴とする遠隔診断支援システム。
請求項１乃至５のうちのいずれか１項に記載の画像診断支援装置を有するサーバーと、
画像データを撮影する撮像装置と前記画像診断支援装置を有する画像取得装置と、を有し、
前記画像取得装置は、前記サーバーに前記画像データを送信し、
前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された組織や細胞の画像と識別器とを、前記画像取得装置に送信し、
前記画像取得装置は、受信した前記判定された組織や細胞の画像と識別器とを格納し、
前記画像取得装置内の前記画像診断支援装置は、前記識別器を用いて他の組織や細胞の画像を判定するとともに、前記判定の結果を表示装置に表示することを特徴とするネット受託サービス提供システム。