JP6324338B2 - 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、及びサービス提供システム - Google Patents

Description

本発明は、細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法に関し、例えば、細胞診断を支援するための画像処理技術に関するものである。

近年、病気の診断においては、病変部組織標本の顕微鏡観察による「病理診断」が重要な位置を占めている。病理診断では、標本作成から診断までの多くを人手に頼っており、自動化が困難である。特に、診断における病理医の能力と経験が重要であり、その個人的能力に依存している。一方で、高齢化に伴うがん患者の増加など、医療現場では病理医が不足している。 以上より、病理診断を支援する画像処理技術や遠隔診断などのニーズが増加している。このように、病理診断支援に向け、病理組織か否かを判定するために、例えば、特許文献１に提案される技術がある。当該特許文献１では、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて、病理組織を分類している。

特開２０１０−２０３９４９号公報

しかしながら、組織・細胞画像においては、異常細胞(例：がん)のタイプや異常細胞(例：がん)の進行度合いにより、組織や細胞は様々な形状を有することがあり、異常細胞(例：がん)の進行度合いに応じて、複数の疑わしい分類に該当する場合がある。このため、１つの分類に絞ってしまうと誤診につながる可能性があるという課題がある。このため、特許文献１のように、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて組織・細胞を分類した場合、複数の異常細胞のタイプに該当する可能性があっても１つの分類に絞ってしまい、誤検出につながるという課題が存在する。

また、病理診断においては１つの画像から細胞・組織を分類したいというニーズがある。ところが、特許文献１では高倍率と低倍率の両方の画像を使用する必要があり、１つの画像から組織・細胞を分類できないという課題がある。

本発明はこのような状況に鑑みてなされたものであり、異常細胞(例：がん)のタイプや異常細胞(例：がん)の進行度合いにより組織や細胞が様々な形状を有する場合でも、１つの画像から組織・細胞判定を実現するための技術を提供するものである。

上記課題を解決するために、本発明では、異常細胞(例：がん)の種別毎に、細胞の変形具合の特徴量を算出する。より具体的には、本発明による細胞診断支援装置は、処理の対象画像から複数の方向成分の特徴量を抽出する処理と、複数の前記特徴量を用いて、前記画像が一の分類に該当するか否かを判断する処理と、前記判断処理が、予め設定されているすべての分類に対して終了したかを判定する処理と、を実行する。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。

本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

本発明によれば、異常細胞(例：がん)のタイプや異常細胞(例：がん)の進行度合いにより、組織や細胞が様々な形状を有する場合でも、異常細胞(例：がん)の種別毎に、細胞の変形具合の特徴量を算出することで、誤検出や過検出を抑制して、１つの画像から組織・細胞を分類することができるようになる。

本発明の第１の実施形態による画像処理装置の機能を示すブロック図である。 本発明の第１および第２の実施形態による画像処理装置のハードウェア構成例を示す図である。 特徴抽出部１１のフィルターの一例を説明するための図である。 特徴抽出部１１の一方向の動作の一例を説明するための図である。 第１の実施形態による特徴抽出部１１の複数方向の動作の一例を説明するための図である。 一分類判定部１２の動作の一例を説明するための図である。 がん判定のＧＵＩの一例を説明するための図である。 描画部１４の動作の一例を説明するための図である。 第１の実施形態による画像処理装置１の全体動作を説明するためのフローチャートである。 本発明の第２の実施形態による画像処理装置の機能を示すブロック図である。 第２の実施形態による一分類判定部１２の動作の一例を説明するための図である。 学習部１６の動作を説明するためのフローチャートである。 第２の実施形態による画像処理装置１の全体動作を説明するためのフローチャートである。 本発明の画像処理装置を搭載した遠隔診断支援システムの概略構成を示す図である。 本発明の画像処理装置を搭載したネット受託サービス提供システムの概略構成を示す図である。

本発明は、顕微鏡に搭載したカメラなどの撮影装置によってスライドガラス上の組織・細胞切片等を撮影した画像内に含まれる特定の組織や細胞（例えば、がん等）を検出するための画像処理技術に関するものである。本発明の実施形態は、細胞の変形具合を捉え、異常細胞(例：がん)の種別毎に異常細胞(例：がん)有無を判定して異常細胞(例：がん)らしさを算出し、さらに、予め設定されているすべての種別の判定結果から異常細胞(例：がん)を分類することで、異常細胞(例：がん)の検出漏れや誤検出抑制を実現する画像処理装置およびその方法を提供する。

以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

以下では「プログラムとしての各処理部（例えば、特徴抽出部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。

（１）第１の実施形態
＜画像処理装置の機能構成＞
図１は、本発明の実施形態による画像処理装置の機能構成を示すブロック図である。画像処理装置１は、入力部１０と、特徴抽出部１１と、一分類判定部１２と、複数分類判定部１３と、描画部１４と、記録部１５と、制御部９１と、メモリ９０と、を有している。当該画像処理装置は、バーチャルスライド等の組織・細胞画像取得装置内に実装しても良いし、後述する（第３乃至第４の実施形態）ように、組織・細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。

画像処理装置１における、入力部１０、特徴抽出部１１、一分類判定部１２、複数分類判定部１３、描画部１４、及び記録部１５は、プログラムによって実現しても良いし、モジュール化して実現しても良い。

入力部１０には画像データが入力される。例えば、入力部１０は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。

特徴抽出部１１は、画像から細胞に関する複数の方向成分等の特徴量を抽出する。
一分類判定部１２は、抽出した特徴量から細胞の変形具合を算出し、一分類に関して、正常細胞か異常細胞かを分類する。

複数分類判定部１３は、予め設定されている複数の一分類の分類結果を用いて、組織・細胞を分類する。

描画部１４は、複数分類判定部１３で分類した異常細胞を囲むように検出枠を画像上に描画する。

記録部１５は、描画部１４で原画像上に検出枠を描画した画像をメモリ９０に保存する。

制御部９１は、プロセッサで実現され、画像処理装置１内の各要素に接続される。画像処理装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により行われる動作である。

このように本実施形態の画像処理装置１では、特徴抽出部１１で求めた細胞の変形具合を示す特徴量を用いて、一分類判定部１２で、一分類に関して、正常細胞か異常細胞かを分類し、複数分類判定部１３で、予め設定されている複数の一分類の分類結果を用いて、組織・細胞を分類することを特徴とする。

＜画像処理装置のハードウェア構成＞
図２は、本発明の実施形態による画像処理装置１のハードウェア構成例を示す図である。

画像処理装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（メモリ９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。

ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。

メモリ２０２は、プログラムとしての、入力部１０と、特徴抽出部１１と、一分類判定部１２と、複数分類判定部１３と、描画部１４と、記録部１５と、を格納する。なお、学習部１６は第２の実施形態で必要な構成であり、第１の実施形態による画像処理装置１は、当該学習部１６を含まない。

記憶装置２０３は、処理対象画像、一分類判定部１２によって生成された一分類の分類結果とその数値、複数分類判定部１３によって生成された組織・細胞の分類結果、描画部１４によって生成された検出枠を描画するための位置情報等を記憶している。

出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１４によって生成されたデータをディスプレイ画面上に表示する。

入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像処理装置１に入力されたりする。

通信デバイス２０６は、画像処理装置１としては必須の構成ではなく、組織・細胞画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、画像処理装置１は通信デバイス２０６を保持していなくても良い。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する動作を行う。

＜各部の構成と動作＞
以下、各要素の構成と動作について詳細に説明する。

（i）特徴抽出部１１
複数の方向成分の特徴量を求める。一例として、０度の方向の特徴量を求めるフィルターを図３に示す。例えば、図３の領域１（細胞及び細胞核以外の領域）、領域２（細胞の領域）、領域３（細胞核の領域）のフィルター係数を、各々０、１、−１とする。図４に示すように、式１を用いて、対象画像の左上から右下に対して、各フィルターの計算結果を求め、計算結果の総和を処理数Nで割ることで、０度(i=0)のフィルターの特徴量fiを求める。ただし、式１において、pjは画素値、kjはフィルター係数、mはフィルター係数の数を示す。同様に、図５に示すように、０度から３５９度までの方向の特徴量を求めるフィルターを用いて、各方向の特徴量を算出する。次に、図５に示すように、０度から３５９度までの各特徴量(f0〜f359)を用いて、特徴量の分布を算出する。ただし、図５では、各方向の特徴量を求めるフィルターを用いたが、一方向の特徴量を求めるフィルターと対象画像を１度ずつ回転させた画像を用いて、各方向の特徴量fiを求めてもよい。

（ii）一分類判定部１２
一分類判定部１２は、図６に示すように、前記特徴抽出部１１で求めた特徴量fiの分布から、式２と式３を用いて、特徴量fiの分布の分散値varを算出する。式２において、favはfiの平均値、fsdはfiの標準偏差を示す。また、式３において、tは求める複数の方向成分の数、例えば、３６０を示す。

次に、算出した分散値varは、細胞の均一性を表しており、分散値から正常細胞か異常細胞かを分類する。算出した分散値を異常細胞(例：がん)らしさの値とする。図６(a)に示すように、均一な形状をした細胞を含む組織・細胞画像が入力された場合は、図６(b)に示すような特徴量分布となり、異常細胞(例：がん)らしさの値を示す分散値varは閾値Ｔｈ未満となるため、入力された対象画像を正常細胞に分類する。一方、図６(c)に示すように、不均一な形状をした細胞を含む組織・細胞画像が入力された場合は、図６(d)に示すような特徴量分布となり、異常細胞(例：がん)らしさの値を示す分散値varは閾値Ｔｈ以上となるため、入力された対象画像を異常細胞に分類する。

図７は、細胞判定の一例として、がん判定のＧＵＩ（グラフィカルユーザーインタフェース）の一例を示す図である。図７は、胃がんの場合の一例であり、低分化管状腺がん、中分化管状腺がん、高分化管状腺がん、乳頭状腺がん、印環細胞がんの分類結果を示す図である。図７の例では、低分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常細胞である低分化管状腺がんを含むと分類し、低分化管状腺がんのがんらしさの値を0.89と算出した例である。また、中分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常細胞である中分化管状腺がんを含まず、正常細胞と分類し、中分化管状腺がんのがんらしさの値を0.31と算出した例である。また、高分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常細胞である高分化管状腺がんを含まず、正常細胞と分類し、高分化管状腺がんのがんらしさの値を0.21と算出した例である。また、乳頭状腺がんについて、一分類判定部１２は、入力された対象画像に異常細胞である乳頭状腺がんを含まず、正常細胞と分類し、乳頭状腺がんのがんらしさの値を0.11と算出した例である。また、印環細胞がんについて、一分類判定部１２は、入力された対象画像に異常細胞である印環細胞がんを含まず、正常細胞と分類し、印環細胞がんのがんらしさの値を0.05と算出した例である。

（iii）複数分類判定部１３
複数分類判定部１３は、前記一分類判定部１２で求めた予め設定されている複数の一分類の結果である異常細胞(例：がん)らしさの値と任意の閾値Ｔｈを比較し、閾値Ｔｈを超えた異常細胞(例：がん)の種別のみを異常細胞(例：がん)らしさ判定結果に表示する。図７の例では、がんらしさ判定結果に、低分化管状腺がんを表示している。異常細胞(例：がん)の進行度やタイプによっては、複数の異常細胞(例：がん)の種別と判定される場合がある。そのため、複数の異常細胞(例：がん)らしさの値が閾値Ｔｈを超える場合もあり、その場合は、異常細胞(例：がん)らしさ判定結果に、複数の異常細胞(例：がん)の種別を表示する。

（iv）描画部１４
描画部１４は、一分類判定部１２において、異常細胞（例えば、がん等）と判定された項目については、図７において、「画像」ボタンを押下した場合、図８に示すように、異常細胞(例：がん)が疑われる箇所を示すために、入力した対象画像内に検出枠を描画する。一方、正常細胞と判定された項目については、図７において、「画像」ボタンを押下した場合、検出枠を入力した対象画像上に描画せず、入力した対象画像をそのまま表示する。

（v）記録部１５
記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０に保存する。

＜画像処理装置の処理手順＞
図９は、本発明の実施形態による画像処理装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップ８０１
入力部１０は、入力された画像を受け付け、当該入力画像を特徴抽出部１１に出力する。

（ii）ステップ８０２
特徴抽出部１１は、上述の式１を用いて、複数の方向成分の特徴量fiを求める。

（iii）ステップ８０３
一分類判定部１２は、特徴抽出部１１が出力した特徴量fiを用いて、上述の式２,３により特徴量fiの分布を示す分散値varを算出する。

（iv）ステップ８０４
一分類判定部１２は、算出した分散値varと閾値Ｔｈを比較する。すなわち、分散値var≧閾値Ｔｈの場合、処理はステップ８０５に移行する。一方、var＜閾値Ｔｈの場合、処理はステップ８０６に移行する。

（v）ステップ８０５
一分類判定部１２は、分類結果resに異常細胞(例えば、１)を設定する。

（vi）ステップ８０６
一分類判定部１２は、分類結果resに正常細胞(例えば、０)を設定する。

（vii）ステップ８０７
複数判定部１３は、予め設定されている全ての種別について一分類判定部１２を行うため、上記ステップ８０２から８０６を繰り返す。ステップ８０２から８０６のステップを繰り返すことにより、予め設定されている全ての種別について、正常細胞か異常細胞かを判定することが可能となる。なお、各種別について特徴量fiを求めるためのフィルター（図３）の係数は異なるため、別の種別について分類処理を行う場合には当該フィルター係数は変更され、ステップ８０２に処理が移行することとなる。全種別の判定が終了したと判定されるとステップ８０８に移行する。

（viii）ステップ８０８
描画部１４は、異常細胞と判定された種別については、図７に示す画像ボタンを押下時に、異常細胞を示す検出枠を画像上に描画して表示する。描画部１４は、正常細胞と判定された種別については、図７に示す画像ボタンを押下時に、検出枠を画像上に描画することはしない。

（ix）ステップ８０９
記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。

本発明の実施形態によれば、複数の方向成分の特徴量を用いて、細胞の変形具合を示す分散値を求めている。したがって、一分類に関して、誤検出や過検出を抑制して、１つの画像から正常細胞か異常細胞かを分類することが可能となる。

また、予め設定されている複数の一分類の分類結果を用いて、組織・細胞を分類するため、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定を行うことが可能となる。

また、一度にすべての分類についての判断をするのではなく、各分類毎に該当するか否かを判定することで、誤検出を抑制した判定を行うことが可能となる。

（２）第２の実施形態
第２の実施形態に係る画像処理装置１を図１０に示す。図１０に示すように、第１の実施形態の図１と同じ構成を多く含むが、特徴抽出部１１、一分類判定部１２の動作が図１と異なる。また、学習部１６が追加になっている。従って、ここでは処理の異なる構成と追加の構成について図１０、また、図９とは異なる全体の処理フローについて図１３を用いて説明をする。

＜各部の構成と動作＞
以下、図１と異なる各要素の構成と動作について詳細に説明する。

（i）学習部１６
学習部１６は、特徴抽出部１１と一分類判定部１２と同一の構成を内部に含んでおり、これらを用いて、例えば、従来技術である機械学習の技術を用いて、細胞の変形具合を学習する。なお、学習部１６によって学習される入力画像と評価対象として入力される画像は異なるものである。

すなわち、前記特徴抽出部１１で求めた複数の方向成分の特徴量fiには、細胞の一部の形状を示す情報が含まれている。

一分類判定部１２は、図１１に示すように、前記特徴抽出部１１で求めた複数の方向成分の特徴量fiを用いて、式４と式５により、入力した組織・細胞画像内の細胞が正常細胞であれば、例えば、ロジスティック回帰処理にて、正常細胞と判定するように、例えば、従来技術である機械学習の技術を用いて、細胞の変形具合を学習する。また、入力した組織・細胞画像内の細胞が異常細胞であれば、ロジスティック回帰処理にて、異常細胞と判定するように、細胞の変形具合を学習する。ただし、式４において、ｗは重みの行列、ｆは入力画像から求めた各方向成分fiの行列、bはオフセット値、gは非線形関数、yは計算結果をそれぞれ示し、機械学習により、ｗの重みとbのオフセット値を求める。また、式５において、pjは画素値、wjはフィルター係数、biはオフセット値、mはフィルター係数の数、Nは処理数、hは非線形関数を示す。例えば、機械学習の技術として、Convolutional Neural Networkを用いてもよい。

学習部１６は、複数の学習用画像を用いて、前記特徴抽出部１１と前記一分類判定部１２を繰り返して行い、重みｗ、フィルター係数wj、オフセット値bとbiを求め、正常細胞か異常細胞かを判定する識別器を作成する。また、学習部１６は、求めた重みｗ、フィルター係数wj、オフセット値bとbiをメモリに格納する。

（ii）特徴抽出部１１
特徴抽出部１１は、メモリからフィルター係数wj、オフセット値biを読込み、入力部１０から出力された判定したい入力画像に対し、式５を用いて、図１１に示すように、０度から３５９度までの方向の特徴量を求めるフィルターを用いて、各方向の特徴量fiを算出する。

（iii）一分類判定部１２
一分類判定部１２は、メモリから重みw、オフセット値bを読込み、式５を用いて、図１１に示すように、前記特徴抽出部１１で求めた特徴量fiから、細胞が正常であるか異常であるかを判定する。

＜画像処理装置のハードウェア構成＞
本発明の実施形態による画像処理装置１のハードウェア構成例は、図２と同様である。ただし、第２の実施形態の場合、画像処理装置１は、第１の実施形態とは異なり、メモリ２０２に学習部１６を格納する。それ以外の画像処理装置１のハードウェア構成は、画像処理装置１と同じである。

＜画像処理装置の処理手順＞
図１２は、本発明の実施形態による画像処理装置１の学習部１６の動作を説明するためのフローチャートである。以下では、学習部１６を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップ１２０１
入力部１０は、学習用に入力された画像を受け付け、当該入力画像を学習部１６に出力する。

（ii）ステップ１２０２
学習部１６は、上述の式１を用いて、複数の方向成分の特徴量fiを求める。

（iii）ステップ１２０３
学習部１６は、式４と式５を用いて、細胞の変形具合を学習し、重みw、フィルター係数wj、オフセットb、biを算出する。

（iv）ステップ１２０４
学習部１６は、算出した重みw、フィルター係数wj、オフセットb、biをメモリ９０に保存する。なお、重みw、フィルター係数wj、オフセットb及びbiは、学習により、予め設定されている全ての種別（例えば、全ての種類のがん細胞）について求められることになる。

図１３は、本発明の実施形態による画像処理装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップ１３０１
入力部１０は、判定したい入力画像を受け付け、当該入力画像を特徴抽出部１１に出力する。

（ii）ステップ１３０２
特徴抽出部１１は、メモリ９０からフィルター係数wj、オフセットbiを読込み、上述の式５を用いて、複数の方向成分の特徴量fiを求める。

（iii）ステップ１３０３
一分類判定部１２は、メモリ９０から重みw、オフセットbを読込み、式４により、計算結果yを算出する。

（iv）ステップ１３０４
一分類判定部１２は、算出した計算結果yと閾値Th2を比較する。すなわち、計算結果y≧閾値Th2の場合、処理はステップ１３０５に移行する。一方、計算結果y＜閾値Th2の場合、処理はステップ１３０６に移行する。

（v）ステップ１３０５
一分類判定部１２は、分類結果resに異常細胞(例えば、１)を設定する。

（vi）ステップ１３０６
一分類判定部１２は、分類結果resに正常細胞(例えば、０)を設定する。

（vii）ステップ１３０７
複数分類判定部１３は、予め設定されている全ての種別について一分類判定部１２を行うため、上記ステップ１３０２から１３０６を繰り返す。ステップ１３０２から１３０６のステップを繰り返すことにより、予め設定されている全ての種別について、正常細胞か異常細胞かを判定することが可能となる。別の種別について判定する場合には、メモリから当該種別用のフィルター係数wj及びオフセットbiを読み込み、当該種別に対応する特徴量fiを求めることになる。全種別の判定が終了したと判定されるとステップ１３０８に移行する。

（viii）ステップ１３０８
描画部１４は、異常細胞と判定された種別については、図７に示す画像ボタンを押下時に、異常細胞を示す検出枠を画像上に描画して表示する。描画部１４は、正常細胞と判定された種別については、図７に示す画像ボタンを押下時に、検出枠を画像上に描画することはしない。

（ix）ステップ１３０９
記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。

第２の実施形態によれば、複数の方向成分の特徴量を用いて、細胞の変形具合を学習し、重み、フィルター係数、オフセットを算出して、正常細胞か異常細胞かを判定する識別器を作成するため、一分類に関して、誤検出や過検出を抑制して、１つの画像から正常細胞か異常細胞かを分類することが可能となる。

また、予め設定されている複数の一分類の識別器による分類結果を用いて、組織・細胞を分類するため、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定を行うことが可能となる。

さらに、一度にすべての分類についての判断をするのではなく、各分類毎に該当するか否かを判定することで、誤検出を抑制した判定を行うことが可能となる。

（３）第３の実施形態
図１４は、本発明の第３の実施形態による遠隔診断支援システム１４００の構成を示す機能ブロック図である。遠隔診断支援システム１４００は、サーバー１４０３と、画像取得装置１４０５と、を有する。

画像取得装置１４０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１４０１と、サーバー等１４０３から伝送されてきた判定結果を表示するための表示部１４０４と、を有している。なお、画像取得装置１４０５は、図示されてはいないが、画像データをサーバー等１４０３に送信したり、サーバー等１４０３から送信されてきたデータを受信したりする通信デバイスを有している。

サーバー等１４０３は、画像取得装置１４０５から伝送されてきた画像データに対して、本発明の第１や第２の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された判定結果を格納する格納部１４０２と、を有している。なお、サーバー等１４０３は、図示されてはいないが、画像取得装置１４０５から送信されてきた画像データを受信したり、画像取得装置１４０５に判定結果データを送信したりする通信デバイスを有している。

画像処理装置１は、撮像部１４０１で撮影した画像データ内の細胞について、異常細胞(例：がん)の種別毎に正常細胞か異常細胞かを判定する。また、予め設定されている複数の一分類の識別器による分類結果を用いて、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定を行う。表示部１４０４は、サーバー等１４０３から伝送された判定結果を、画像取得装置１４０５の表示画面に表示する。

画像取得装置１４０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。

第３の実施形態によれば、地点の異なる施設等から伝送された画像内の細胞について、正常細胞か異常細胞かを判定し、判定結果を地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で判定結果を表示することで、遠隔診断支援システムを提供することが可能となる。

（４）第４の実施形態
図１５は、本発明の第４の実施形態によるネット受託サービス提供システム１５００の構成を示す機能ブロック図である。ネット受託サービス提供システム１５００は、サーバー等１５０３と、画像取得装置１５０５と、を有している。

画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１５０１と、サーバー等１５０３から伝送された識別器を格納する格納部１５０４と、サーバー等１５０３から伝送された識別器を読込んで、画像取得装置１５０５の撮像部１５０１にて新たに撮影した画像内の細胞について、正常細胞か異常細胞かを判定する本発明の第２の実施形態による画像処理を行う画像処理装置１とを有している。なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバー等１５０３に送信したり、サーバー等１５０３から送信されてきたデータを受信したりする通信デバイスを有している。

サーバー等１５０３は、画像取得装置１５０５から伝送されてきた画像データに対して、本発明の第２の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された識別器を格納する格納部１５０２と、を有している。なお、サーバー等１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信したり、画像取得装置１５０５に識別器を送信したりする通信デバイスを有している。

画像処理装置１は、撮像部１５０１で撮影した画像データ内の細胞について、正常細胞は正常細胞と判定するように、また、異常細胞は異常細胞と判定するように機械学習を行い、地点の異なる施設等の画像に適した識別器を作成する。

格納部１５０４は、サーバー等１５０３から伝送された識別器等を格納する。
画像取得装置１５０５内の画像処理装置１は、格納部１５０４から識別器等を読込み、
その識別器を用いて、画像取得装置１５０５の撮像部１５０１にて新たに撮影した画像内の細胞について、正常細胞か異常細胞かを判定し、画像処理装置１の出力装置２０４の表示画面に判定結果を表示する。

画像取得装置１５０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。

第４の実施形態によれば、地点の異なる施設等から伝送された画像内の細胞について、正常細胞は正常細胞と判定するように、また、異常細胞は異常細胞と判定するように機械学習を行って識別器等を作成し、識別器等を地点の異なる施設等に伝送して、その施設等にある画像取得装置にて識別器を読込み、新たに撮影した画像内の細胞について、正常細胞か異常細胞かを判定することで、ネット受託サービス提供システムを提供することが可能となる。

（５）まとめ
（i）本発明による第１の実施形態の画像処理装置は、複数の方向成分の特徴量を算出する処理と、細胞の変形具合を示す分散値を求める処理と、一分類に関して、１つの画像から正常細胞か異常細胞かを分類する処理と、予め設定されている複数の一分類の分類結果を用いて組織・細胞を分類し、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定する処理と、を実行する。より具体的には、式１に示されるように、複数の方向成分の特徴量を求め、式２と式３に示されるように、複数の方向成分の特徴量fiを用いて、細胞の変形具合を示す分散値varを求める。特徴量fiを求める際、複数方向のフィルターを使用するのではなく、対象画像を複数方向に回転させて、特徴量fiを求めても良い。算出した分散値varは、細胞の均一性を表しており、分散値から正常細胞が異常細胞かを分類することができるようになる。

そして、予め設定されている複数の一分類の分類結果を用いて組織・細胞を分類し、異常細胞(例：がん)らしさ判定をするので、異常細胞(例：がん)の進行度に応じた判定結果を表示することができるようになる。

（ii）第２の実施形態の画像処理装置は、複数の方向成分の特徴量を求め、求めた特徴量を用いて細胞の変形具合を機械学習する処理と、機械学習により求めた識別器を用いて、一分類に関して、１つの画像から正常細胞か異常細胞かを分類する処理と、予め設定されている複数の一分類の分類結果を用いて組織・細胞を分類し、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定する処理と、を実行する。より具体的には、式１に示されるように、複数の方向成分の特徴量を求め、式４と式５に示されるように、正常細胞は正常細胞と判定するように、また、異常細胞は異常細胞と判定するように、細胞の変形具合を機械学習して、識別器の重み、フィルター係数、オフセットを算出する。そして、機械学習により求めた識別器の重み、フィルター係数、オフセットを用いることで、判定したい入力画像内の細胞について、一分類に関して、１つの画像から正常細胞か異常細胞かを分類することができるようになる。さらに、予め設定されている複数の一分類の分類結果を用いて組織・細胞を分類し、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定するので、異常細胞(例：がん)の進行度に応じた判定結果を表示することができるようになる。

（iii）第３の実施形態によれば、地点の異なる施設等から伝送された画像内の細胞について、正常細胞か異常細胞かを判定し、地点の異なる施設等にある画像取得装置の表示部で判定結果を表示することで、遠隔診断支援システムを提供することが可能となる。

（iv）第４の実施形態によれば、地点の異なる施設等から伝送された画像内の細胞について、正常細胞は正常細胞と判定するように、また、異常細胞は異常細胞と判定するように機械学習を行って識別器等を作成し、地点の異なる施設等にある画像取得装置にてその識別器を読込み、新たに撮影した画像内の細胞について、正常細胞か異常細胞かを判定することで、ネット受託サービス提供システムを提供することが可能となる。

（v）以上説明した各実施形態については、次のような変形が可能である。
特徴抽出部１１や学習部１６では、図３に示すようなフィルターを用いて複数の方向成分の特徴量を求めたが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。

一分類判定部１２では、ロジスティック回帰を用いて細胞の変形具合を機械学習したが、線形回帰やポアソン回帰等を用いてもよく、同様の効果を有する。

一分類判定部１２では、複数の方向成分の分散値もしくは機械学習を用いて細胞の分類判定をしたが、複数の方向成分の分散値による判定結果と機械学習による判定結果の両方を用いてもよく、同様の効果を有する。

（vi）本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或いは装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

１ 画像処理装置
１０ 入力部
１１ 特徴抽出部
１２ 一分類判定部
１３ 複数分類判定部
１４ 描画部
１５ 記録部
１６ 学習部
９０ メモリ
９１ 制御部
２０１ ＣＰＵ
２０２ メモリ
２０３ 記憶装置
２０４ 出力装置
２０５ 入力装置
２０６ 通信デバイス
１４００ 遠隔診断支援システム
１５００ ネット受託サービス提供システム

Claims (6)

1. 対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、
   画像処理の結果を格納するためのメモリと、を有し、
   前記プロセッサは、
   細胞を撮像した画像を入力する第１の処理と、
   複数方向の特徴量を求めるフィルターを一の対象画像に対して用いて、又は前記対象画像を回転させつつ一方向の特徴量を求めるフィルターを用いて、前記対象画像から複数の方向成分の特徴量を抽出するとともに、前記特徴量の分散を算出する第２の処理と、
   複数の前記特徴量の分散と閾値との比較結果に基づいて、前記対象画像が一の分類に該当するか否かを判断する第３の処理と、
   予め設定されているすべての分類に対して前記第３の処理が終了したかを判定し、終了するまでは前記フィルターの係数を変更しつつ前記第２の処理及び前記第３の処理を繰り返す第４の処理と、
   前記第４の処理において終了の判定がされた場合、予め設定されているすべての分類に関する前記第３の処理の判断の結果と閾値との比較結果に基づいて最終的な判定結果を表示する第５の処理と、
   を実行することを特徴とする、細胞診断支援装置。
2. 請求項１において、
   前記プロセッサは、前記判断する処理において、複数の方向成分の前記特徴量を機械学習することで求めた識別器を用いて一分類を判断する、細胞診断支援装置。
3. 対象画像において所望の細胞を分類する細胞診断支援方法であって、
   前記対象画像に対して画像処理するための各種プログラムを実行するプロセッサが、細胞を撮像した画像を入力する第１のステップと、
   前記プロセッサが、複数方向の特徴量を求めるフィルターを一の対象画像に対して用いて、又は前記対象画像を回転させつつ一方向の特徴量を求めるフィルターを用いて、前記対象画像から複数の方向成分の特徴量を抽出するとともに、前記特徴量の分散を算出する第２のステップと、
   前記プロセッサが、前記対象画像に対して、複数の前記特徴量の分散と閾値との比較結果に基づいて、前記対象画像が一の分類に該当するか否かを判断する第３のステップと、
   前記プロセッサが、予め設定されているすべての分類に対して前記第３のステップが終了したかを判定し、終了するまでは前記フィルターの係数を変更しつつ前記第２のステップ及び前記第３のステップを繰り返す第４のステップと、
   前記プロセッサが、前記第４のステップにおいて終了の判定がされた場合、予め設定されているすべての分類に関する前記第３のステップの判断の結果と閾値との比較結果に基づいて最終的な判定結果を表示する第５のステップと、
   を含む、細胞診断支援方法。
4. 請求項３において、
   前記プロセッサは、前記第３のステップにおいて、複数の方向成分の前記特徴量を機械学習することで求めた識別器を用いて一分類を判断する、細胞診断支援方法。
5. 画像データを撮影する撮像装置を有する画像取得装置と、
   請求項１に記載の細胞診断支援装置を有するサーバーと、を有し、
   前記画像取得装置は、前記サーバーに前記画像データを送信し、
   前記サーバーは、受信した前記画像データを前記細胞診断支援装置で処理して前記判断された細胞の画像と判断結果をメモリに格納するとともに、前記画像取得装置に送信し、
   前記画像取得装置は、受信した前記判断された細胞の画像と判断結果を表示装置に表示することを特徴とする遠隔診断支援システム。
6. 画像データを撮影する撮像装置と、請求項１に記載の細胞診断支援装置と、を含む画像取得装置と、
   請求項１に記載の細胞診断支援装置を有するサーバーと、を有し、
   前記画像取得装置は、前記サーバーに前記画像データを送信し、
   前記サーバーは、受信した前記画像データを前記細胞診断支援装置で処理し、前記判断された細胞の画像と識別器をメモリに格納するとともに、前記判断された細胞の画像と識別器を前記画像取得装置に送信し、
   前記画像取得装置は、受信した前記判断された細胞の画像と識別器を格納し、
   前記画像取得装置に含まれる前記細胞診断支援装置は、識別器を用いて他の細胞の画像を判断するとともに、判断結果を表示装置に表示することを特徴とするサービス提供システム。

Images