WO2019171909A1 - 画像処理方法、画像処理装置及びプログラム - Google Patents

Abstract

本発明の課題は、画像認識技術を用いた細胞識別において、高精度で細胞を識別可能な画像処理方法、画像処理装置及びプログラムを提供することである。細胞画像を入力する画像入力工程と、細胞画像の色に関する補助情報を入力する補助情報入力工程と、補助情報に基づいて、細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、複数の処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、特徴量に基づいて、細胞画像から識別対象を識別する識別工程と、を含む。

Description

画像処理方法、画像処理装置及びプログラム

　本発明は、画像処理方法、画像処理装置及びプログラムに関し、特に病理診断に用いられる画像処理に関する。

　近年、画像認識技術を用いて、画像から観察対象領域を自動的に識別する手法が多く用いられている。このような画像認識技術においては、画像から観察対象物を識別するのに有用な特徴量を抽出した後に、機械学習などをベースにした識別器にかけるといった流れが一般的である。
　例えば特許文献１には、画像認識技術を用いてＸ線画像の画像処理を行う手法が開示されている。具体的には、Ｘ線画像を画像処理する際にはＸ線撮影が行われた撮影部位や撮影方向によって適切な画像処理のパラメーターがあるため、機械学習によって識別器を構成し、当該識別機によりＸ線画像の撮影部位や撮影方向を判別し、判別された撮影部位及び／又は撮影方向に応じた画像処理を選択するものである。

　近年では、病理診断においても、画像認識技術を用いて細胞画像から細胞領域を自動的に識別する手法が多く検討されている。従来、臓器に発生した病気の種類や状態などを診断する病理診断において、細胞の顕微鏡画像から細胞種の識別や形状の推定等を行うことは非常に重要なプロセスであり、病理医などの専門家による判断が不可欠であった。しかし、画像認識技術によって人手によらず自動的に細胞識別等を行うことで、医療現場での負担が大幅に軽減されることとなる。

特許５５３３６６２号公報

　ところで、画像認識技術によって細胞識別を行う際に最も重要なのが、いかに有用な特徴量を構成するかである。従来、機械学習における特徴量は識別したい対象に合わせて人手により設計されていたが、近年は深層学習によって、特徴量の自動設計と当該特徴量を用いた細胞識別とを一括で行う方法も盛んである。

　一般的な画像認識技術における特徴抽出では、入力された一枚の画像から特徴量を抽出すれば十分である。しかし、細胞識別などにおいて病理医は、一枚の画像以外に識別対象や患者、撮影部位などに関する事前知識を併せて識別している場合が多く、一枚の画像からの特徴抽出だけでは十分な識別ができていなかった。例えば、色の濃淡で細胞種を識別する場合も、周辺との濃淡差を用いるのか、各細胞種の標準的な染色濃度との濃淡差を用いるのかでは、意味合いが大きく異なり、一枚の画像からそれらの特徴を自動的に判断することは困難であった。

　本発明は上記課題を鑑みてなされたものであり、画像認識技術を用いた細胞識別において、高精度で細胞を識別可能な画像処理方法、画像処理装置及びプログラムを提供することを目的とする。

　上記課題を解決するため、請求項１に記載の画像処理方法は、
　細胞画像を入力する画像入力工程と、
　前記細胞画像の色に関する補助情報を入力する補助情報入力工程と、
　前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、
　複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、
　前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別工程と、
　を含むことを特徴とする。

　請求項２に記載の発明は、請求項１に記載の画像処理方法において、
　前記補助情報は、前記細胞画像上の所定の領域ごとの色に関する情報であり、
　前記画像処理工程は、所定の領域ごとに画像処理を施すことで、複数の前記処理画像を生成する
　ことを特徴とする。

　請求項３に記載の発明は、請求項２に記載の画像処理方法において、
　前記画像処理工程は、画像処理として、細胞が属する領域ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
　ことを特徴とする。

　請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理方法において、
　前記補助情報は、細胞の種類ごとの色に関する情報であり、
　前記画像処理工程は、細胞の種類ごとに画像処理を施すことで、複数の前記処理画像を生成する
　ことを特徴とする。

　請求項５に記載の発明は、請求項４に記載の画像処理方法において、
　前記画像処理工程は、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
　ことを特徴とする。

　請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像処理方法において、
　前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
　前記画像処理工程は、前記細胞画像の染色条件に基づいて画像処理を施すことで、複数の前記処理画像を生成する
　ことを特徴とする。

　請求項７に記載の発明は、請求項６に記載の画像処理方法において、
　前記画像処理工程は、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
　ことを特徴とする。

　請求項８に記載の発明は、請求項１から７のいずれか一項に記載の画像処理方法において、
　前記特徴量抽出工程及び前記識別工程は、一括で実行される
　ことを特徴とする。

　請求項９に記載の画像処理装置は、
　細胞画像を入力する画像入力部と、
　前記細胞画像の色に関する補助情報を入力する補助情報入力部と、
　前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部と、
　複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部と、
　前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部と、
　を備えることを特徴とする。

　請求項１０に記載のプログラムは、
　細胞画像を入力する画像入力部及び前記細胞画像の色に関する補助情報を入力する補助情報入力部を備えた画像形成装置のコンピューターを、
　前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部、
　複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部、
　前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部、
　として機能させる。

　本発明によれば、画像認識技術を用いた細胞識別において、高精度で細胞を識別可能な画像処理方法、画像処理装置及びプログラムを提供することができる。

本発明の生体物質定量方法を適用した病理診断支援システムのシステム構成を示す図である。 図１の画像処理装置の機能的構成を示すブロック図である。 一般的な正規化処理の方法を説明する図である。 一般的な正規化処理の効果を説明する図である。 標準的な染色濃度に基づく正規化処理の効果を説明する図である。 一般的な正規化処理の効果を説明する図である。 細胞の種類ごとの濃度変化特性に基づく正規化処理の効果を説明する図である。 本発明に係る画像解析処理の流れを示すフローチャートである。 細胞画像の一例を示す図である。 図７Ａの細胞画像に基づいて作成された識別画像の一例を示す図である。

　以下、図面を参照しながら本発明の好ましい実施形態について説明するが、本発明はこれらに限定されない。
＜病理診断支援システム１０の構成＞
　図１に、病理診断支援システム１０の全体構成例を示す。
　病理診断支援システム１０は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得及び解析することにより、画像内の細胞の種類の識別（以降、細胞識別と表記）を行うシステムである。

　図１に示すように、病理診断支援システム１０は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
　顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。

　顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
　顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光などを結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
　顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。

　なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２－５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。

　画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、細胞画像についての細胞識別を行い、ユーザーが細胞の分類等を視認可能な態様で表示する。
　図２に、画像処理装置２Ａの機能構成例を示す。
　図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。

　制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
　たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理（図６参照）を実行し、画像処理部、特徴量抽出部、識別部としての機能を実現する。

　操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。操作部２２は、ユーザーが補助情報を入力するための補助情報入力部としての機能を実現する。

　表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。

　通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行うためのインターフェースであり、細胞画像を入力する画像入力部としての機能を実現する。

　記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
　また、記憶部２５には、画像中のサンプル（細胞）の特徴量と、それぞれのサンプルに対する正解のクラスラベル（細胞の種類）との情報を含む識別正解画像が記憶されている。また、記憶部２５には、予めユーザーによって設計された特徴量を抽出するための条件が記憶されている。さらに、記憶部２５には、識別画像の作成のための、細胞の種類や染色情報に応じた処理（色の変換、モノクロ画像への変換等）のパラメーター（識別条件）が記憶されている。
　その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。

　本実施形態では、画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像（細胞画像）を用いて解析を行うようになっている。
　「細胞画像」とは、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン－エオジン染色試薬（ＨＥ染色試薬）など、細胞の特定構造（例えば、細胞核、細胞膜、など）を染色しうる任意の染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）を染色する。エオジン（Ｅ）は赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）を染色する。また、組織切片はＤＡＢ染色法などの免疫染色によって、組織中の任意のタンパク質が染色されていてもよい。

＜病理診断支援システム１０の動作（画像処理方法を含む。）＞
　以下、病理診断支援システム１０において、上記説明した細胞画像を取得して観察対象物の領域を抽出する画像処理を行う動作について説明する。なお、本実施形態においては、人体から採取された組織切片を撮影した顕微鏡画像を用いる場合を例として説明する。

　まず、操作者はＨＥ染色試薬を用いて、公知の方法により、組織切片を染色する。
　その後、顕微鏡画像取得装置１Ａを用いて、（ａ１）～（ａ３）の手順により細胞画像を取得する。
（ａ１）操作者は、ＨＥ染色試薬により、細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。

　その後、画像処理装置２Ａを用いて、細胞画像に基づき画像処理を実行する。本実施形態においては、画像処理として正規化処理を行う。

　正規化処理について、図３を用いて説明する。正規化処理は、画像の輝度平均や輝度分散等の条件を揃えることで、撮影時に生じた異なる画像間の明暗差など抽出したい特徴とは関係のない変動の影響を抑え、撮影された複数の画像を同一条件下で比較可能とすることで、安定した特徴抽出を可能にする処理である。
　図３に示すように、細胞画像の輝度分布が輝度平均μ、輝度分散σ^２の正規分布Ｎ（μ，σ^２）に従う場合を想定する。一般的には、複数の画像間で画像の輝度平均を同一の値、例えば０に揃えることで、照明等の明暗変動による影響を抑え、基準輝度からのズレ（明暗）を特徴としてとらえやすくする。さらに、画像の輝度分散を同一の値、例えば１に揃えることで、ダイナミックレンジを揃えることと同等の効果が得られ、小さな輝度変動をとらえやすくなる。即ち、このような正規化処理によって画像の全体的な明暗や色味等が統一され、異なる画像間での比較が可能となる。

　しかしながら、細胞画像においては、一般的な画像と異なり染色工程が存在する。病理医などの専門家によって細胞画像から細胞識別が行われる場合には、病理医は細胞画像の全体的な明暗や色味以外に、一定の染色条件下における染色領域の標準的な色素濃度（以降、標準的な染色濃度と表記）に比べての細胞画像全体の濃淡差や、組織内における腫瘍領域／間質領域、及びガラス領域等の所定の領域ごとの標準的な染色濃度との差分等、様々な観点から総合的に細胞識別を行う。
　したがって、一枚の細胞画像を上記したような単一の条件で正規化したのみでは、細胞画像内の全ての領域について輝度条件が揃えられたとはいえず、特徴量の抽出の精度が低下するおそれがある。そこで本実施形態においては、一枚の細胞画像に基づいて、複数の条件を用いて正規化処理を施した複数枚の処理画像を生成する。
　以下、本実施形態に係る個々の正規化処理について説明する。

　標準的な染色濃度に応じた正規化処理について図４を用いて説明する。
　一定の染色条件下における標準的な染色濃度における、染色領域の輝度平均をα_１、輝度分散をβ_１とする。この場合、原画像の信号Ｘ_１に対して、
　Ｚ_１＝（Ｘ_１－α_１）／√β_１　　　・・・（１）
　とすることで、標準的な染色濃度を基準とした正規化処理が可能となる。
　仮に一枚の細胞画像全体の輝度平均及び輝度分散のみで正規化処理をした場合、図４Ａに示すように、画像中に占める染色領域Ａ及びＢの割合や、各々の染色領域Ａ及びＢの濃度の差が考慮されずに正規化されることになる。即ち、背景領域Ｃに対して画像内の染色領域Ａ及びＢの割合が小さい場合には、背景領域Ｃの色素濃度の影響が大きくなり、標準的な染色状態に比べて染色領域Ａと染色領域Ｂとの濃淡差等の特徴を得にくくなる。
　これに対して、上記（１）の式を用いて正規化処理を施した場合、図４Ｂに示すように、標準的な染色濃度で染色された染色領域Ａを基準に正規化されるため、背景領域Ｃの色素濃度の影響を抑えることができ、染色濃度の高い染色領域Ｂとの濃淡等の特徴を扱えるようになる。

　次いで、領域ごとの染色濃度に応じた正規化処理について説明する。
　同一の染色試薬を用いたとしても、組織切片には腫瘍領域や間質領域、ガラス領域などの様々な領域が存在し、これらの領域ごとに染まりやすさが異なる。上記したように一枚の細胞画像全体の輝度平均及び輝度分散のみで正規化処理をした場合、例えば間質領域のみが含まれる画像と、間質領域と腫瘍領域とが含まれる画像とでは、同じ間質領域であっても異なる基準によって正規化処理が施されることとなるため、これらの二つの細胞画像の間質領域を比較しても正しい解析結果を得られなくなってしまう。
　これに対して、本実施形態においては、例えばある領域の標準的な染色濃度における輝度平均をα_２、輝度分散をβ_２とする。この場合、原画像の信号Ｘ_２に対して、
　Ｚ_２＝（Ｘ_２－α_２）／√β_２　　　・・・（２）
　とすることで、当該領域の標準的な染色濃度を基準とした正規化処理が可能となる。したがって、領域ごとに上記した式（２）の式を用いて正規化処理を施すことで、各領域の特徴抽出に適した画像が得られる。

　次いで、細胞種ごとの染色濃度に応じた正規化処理について、図５を用いて説明する。同一の染色条件下であっても、細胞の種類によって染まりやすさが異なる。所定の染色条件及び所定の細胞の所属領域条件下での、抽出対象細胞の標準的な染色濃度における輝度平均をα_３、輝度分散をβ_３とする。この場合、原画像の信号Ｘ_３に対して、
　Ｚ_３＝（Ｘ_３－α_３）／√β_３　　　・・・（３）
　とすることで、当該抽出対象細胞の標準的な染色濃度を基準とした正規化処理が可能となる。
　仮に一枚の画像内の輝度平均及び輝度分散のみで正規化処理をした場合、図５Ａに示すように、画像内の抽出対象細胞の濃度分布や細胞数の多少が考慮されずに正規化される。即ち、画像内の抽出対象細胞のうち、標準的な染色濃度で染色された細胞Ｄが少なく、染色濃度の高い細胞Ｅが多く分布している場合には、これを一元的に正規化処理すると、染色濃度の高い細胞Ｅを基準に正規化されるため、標準的な染色濃度の細胞Ｄと染色濃度の高い細胞Ｅとの濃淡の差がわかりにくくなる。
　これに対して、上記（３）の式を用いて正規化処理を施した場合、図５Ｂに示すように、背景領域Ｆの影響を抑えるとともに、染色濃度の高い細胞Ｅに影響されず標準的な染色濃度で染色された細胞Ｄを基準に正規化されるため、細胞の濃淡の情報が維持され、画像内の抽出対象細胞のうちの染色の濃淡の差がわかりやすくなる。

　その他、複数の染色試薬によって染色を行う場合には、染色試薬ごとの標準的な染色濃度に基づいて正規化処理を実行することが有効である。これにより、染色試薬ごとに特徴抽出に適した画像が得られる。
　また、撮影機材や撮影プロセス等、撮影条件に基づく標準的な輝度に基づいて正規化処理することも可能である。これにより、撮影条件の違いによる輝度変動の影響を抑えて、特徴抽出することが可能となる。

　以上のように、同一の細胞画像に対して複数の条件に基づいて正規化処理を実行することで、複数枚の処理画像が取得される。上記した正規化処理に必要な情報（上記した例では輝度平均α_１～α_３、輝度分散β_１～β_３など）は、予めユーザーによって画像処理装置２Ａに入力され、補助情報として記憶部２５によって保持されている。
　複数枚の処理画像が取得されると、これらの処理画像から特徴量が抽出され、抽出された特徴量に基づいて細胞識別を行うための識別条件が構築され、細胞識別が実行される。

　図６に、画像処理装置２Ａにおける画像処理のフローチャートを示す。図６に示す画像処理は、制御部２１と記憶部２５に記憶されている画像解析処理プログラムとの協働により実行され、制御部２１はその画像解析処理プログラムにしたがって以下の処理を実行する。

　まず、画像入力部としての通信Ｉ／Ｆ２４により、顕微鏡画像取得装置１Ａから細胞画像が入力される（ステップＳ１：画像入力工程）。

　一方で、ユーザーにより、補助情報入力部としての操作部２２を介して補助情報が入力される（ステップＳ２：補助情報入力工程）。ここで、補助情報とはステップＳ１で入力された細胞画像に関連した情報であり、例えば、染色試薬ごとの染色時における平均的な色及びそのバラつき（上記した輝度平均α_１、輝度分散β_１等）、細胞画像内の間質領域／腫瘍領域等の領域情報及び所定の領域ごとの染色時の濃度変化特性（上記した輝度平均α_２、輝度分散β_３等）、抽出対象細胞ごとの染色時の濃度変化特性（上記した輝度平均α_３、輝度分散β_３等）、等が挙げられる。

　細胞画像及び補助情報が入力されると、ステップＳ１で入力された細胞画像に対して、画像処理部としての制御部２１により、ステップＳ２で入力された補助情報をもとに複数枚の処理画像が作成される（ステップＳ３：画像処理工程）。即ち、標準的な染色濃度、領域ごとの濃度変化特性、抽出対象細胞ごとの濃度変化特性、などの複数の補助情報が与えられた場合には、標準的な染色濃度に基づく正規化処理が施されるとともに、入力された領域の数だけ、及び抽出対象となる細胞種の数だけ正規化処理が施されることで、複数の処理画像が作成されることになる。

　ステップＳ３の処理の後、特徴量抽出部としての制御部２１により、ステップＳ３において作成された複数枚の処理画像から特徴量が抽出される（ステップＳ４：特徴量抽出工程）。特徴量としては、一般的には画素値の平均値、標準偏差、分散やエッジ情報、輝度勾配情報などが想定される。また、本実施形態においては複数枚の処理画像が入力されているため、画像間の共起性や差分等を特徴として用いる方法も考えられる。ステップＳ４においては、これらのような複数の特徴量が抽出される。なおこれらの抽出条件は、予めユーザーによって設計され、記憶部２５によって記憶されている。

　ステップＳ４の処理の後、識別部としての制御部２１により、細胞識別が実行される（ステップＳ５：識別工程）。即ち、ステップＳ４で抽出された特徴量に基づいて、細胞種を適切に識別するための識別条件が構築される。識別条件の構築には、一般的にサポートベクターマシンやランダムフォレスト等の機械学習が用いられる。
　サポートベクターマシンを用いて細胞識別を実行する場合には、例えば以下のような処理が実行される。記憶部２５には、予め識別正解画像が記憶されており、画像中のサンプル（細胞）の特徴量と、それぞれのサンプルに対する正解のクラスラベル（細胞の種類）とが与えられている。ステップＳ５では、まずクラスの帰属が既知のサンプル集合から、特徴量とクラスとの確率的な対応関係を知識として学習し、データを線形分離するパラメーター（識別条件）を取得する。次いで、ステップＳ４において抽出された特徴量が、識別条件に基づいていずれのクラスに属するかを判定することにより、細胞画像上の個々の細胞の種類が識別される。

　ステップＳ５の後、制御部２１により、識別画像が作成される（ステップＳ６）。
　図７に、識別画像の一例を示す。図７Ａは組織切片に対してＨ染色が施されるとともに、ＤＡＢ染色により免疫細胞が染色された細胞画像である。この細胞画像に対して細胞識別を実行し、細胞の種類ごとに色分けするとともにＤＡＢ染色領域にも色付けを行った識別画像を、図７Ｂに示す。このような細胞の種類や染色情報に応じた処理（色の変換、モノクロ画像への変換、階調変換等）のパラメーターは、記憶部２５によって予め記憶されており、制御部２１は当該パラメーターに基づいて、識別された所定の細胞及び所定の領域に対して処理を施して、識別画像を作成する。

　次いで、制御部２１により、ステップＳ６で作成された識別画像が表示部２３に表示される（ステップＳ７）。なお表示部２３には、識別画像とともに、分類された細胞種類ごとの細胞数、細胞の形状及び大きさ等の情報が表示されてもよい。これにより、ユーザーは細胞画像内の細胞の種類、細胞数、細胞の形状等を視認することが可能となる。

　以上説明したように、本実施形態に係る病理診断支援システム１０は、細胞画像を入力する画像入力工程と、細胞画像の色に関する補助情報を入力する補助情報入力工程と、補助情報に基づいて、細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、複数の処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、特徴量に基づいて、細胞画像から識別対象を識別する識別工程と、を含むことを特徴とする画像解析処理を実行する。
　従来のように一枚の処理画像のみから特徴抽出を行う場合、例えば細胞画像の全域で正規化した場合には、画像内で大半を占める背景領域に併せて正規化されることで、少数しか存在しない細胞領域の特徴が失われてしまうなどの問題が生じる。これに対し、上記した画像解析処理においては、補助情報をもとに複数枚の処理画像を作成することで、各々の特徴を確実に抽出し、精度よく細胞を識別することが可能となる。

　具体的には、例えば、補助情報とは細胞画像上の所定の領域ごとの色に関する情報であり、画像処理工程においては、領域ごとに画像処理を施すことで、複数の処理画像を取得する。この時、領域ごとの輝度平均分散を用いて、当該領域の標準的な染色濃度に基づいた正規化処理を実行する。即ち、領域ごとの染まりやすさの違いを考慮し、特徴量の抽出に適した処理画像を生成することで、細胞識別の精度を向上させることができる。

　また、補助情報とは抽出対象細胞の種類ごとの色に関する情報であり、画像処理工程においては、細胞の種類ごとに画像処理を施すことで、複数の処理画像を取得する。この時、細胞の種類ごと輝度平均分散を用いて、抽出対象細胞の標準的な染色濃度に基づいて正規化処理を実行する。即ち、細胞の種類ごとの染まりやすさの違いを考慮し、特徴量の抽出に適した処理画像を生成することで、細胞識別の精度を向上させることができる。

　また、補助情報とは染色条件の色に関する情報であり、画像処理工程においては、染色条件に応じた画像処理を施すことで、複数の処理画像を取得する。この時、ある染色試薬の標準的な染色を行った時の輝度平均分散を用いて、標準的な染色濃度に基づいた正規化処理を実行する。即ち、標準的な染色状態と比べた細胞画像の濃淡の特徴を得やすくなる。あるいは、染色条件ごとにこのような正規化処理を実行することで、染色条件ごとに特徴抽出に適した処理画像を得ることができる。

　なお、上記実施形態においては、特徴量抽出工程と識別工程とを異なる処理として実行し、識別工程における機械学習の一例としてサポートベクターマシンを用いる場合を説明したが、この他にニューラルネットワークなどを用いた深層学習によって、特徴量抽出工程及び識別工程をまとめて一つのネットワーク内で実行することも可能である。即ち、ユーザーによって特徴量の抽出条件及び識別条件を予め設計する必要がなく、深層学習により抽出条件及び識別条件を自動的に設計し、これに基づいて特徴抽出及び細胞識別を行うことが可能となるため、ユーザーが介する作業を省略し、画像解析処理を効率化することができる。

[他の実施形態]
　なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。

　上記実施形態においては、画像処理として正規化処理を実行するものとしたが、これに限定されない。例えば、ある抽出対象細胞において、テクスチャ情報よりも色味や概形の方が重要である場合には、あえてテクスチャ情報に関する特徴を低減させる処理を行ってから、特徴抽出を実行する方法も考えらえる。

　また、上記実施形態においては、識別対象として細胞を識別するものとしたが、これに限定されず、腫瘍領域、間質領域等の領域を識別するものとしてもよい。

　また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。

　また、画像処理装置は必ずしも単体の装置で構成する必要はなく、画像入力部、補助情報入力部、画像処理部、特徴量抽出部、識別部などの構成毎に特化した装置を組み合わせた構成であってもよい。

　その他、病理診断支援システム１０を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

　本発明は、画像処理方法、画像処理装置及びプログラムに利用することができる。

１Ａ　顕微鏡画像取得装置
２Ａ　画像処理装置
２１　制御部（画像処理部、特徴量抽出部、識別部）
２２　操作部（補助情報入力部）
２３　表示部
２４　通信Ｉ／Ｆ（画像入力部）
２５　記憶部
２６　バス
３Ａ　ケーブル
１０　病理診断支援システム

Claims (10)

1. 　細胞画像を入力する画像入力工程と、
   　前記細胞画像の色に関する補助情報を入力する補助情報入力工程と、
   　前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、
   　複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、
   　前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別工程と、
   　を含む画像処理方法。
2. 　前記補助情報は、前記細胞画像上の所定の領域ごとの色に関する情報であり、
   　前記画像処理工程は、所定の領域ごとに画像処理を施すことで、複数の前記処理画像を生成する
   　請求項１に記載の画像処理方法。
3. 　前記画像処理工程は、画像処理として、細胞が属する領域ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
   　請求項２に記載の画像処理方法。
4. 　前記補助情報は、細胞の種類ごとの色に関する情報であり、
   　前記画像処理工程は、細胞の種類ごとに画像処理を施すことで、複数の前記処理画像を生成する
   　請求項１から３のいずれか一項に記載の画像処理方法。
5. 　前記画像処理工程は、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
   　請求項４に記載の画像処理方法。
6. 　前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
   　前記画像処理工程は、前記細胞画像の染色条件に基づいて画像処理を施すことで、複数の前記処理画像を生成する
   　請求項１から５のいずれか一項に記載の画像処理方法。
7. 　前記画像処理工程は、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
   　請求項６に記載の画像処理方法。
8. 　前記特徴量抽出工程及び前記識別工程は、一括で実行される
   　請求項１から７のいずれか一項に記載の画像処理方法。
9. 　細胞画像を入力する画像入力部と、
   　前記細胞画像の色に関する補助情報を入力する補助情報入力部と、
   　前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部と、
   　複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部と、
   　前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部と、
   　を備える画像処理装置。
10. 　細胞画像を入力する画像入力部及び前記細胞画像の色に関する補助情報を入力する補助情報入力部を備えた画像形成装置のコンピューターを、
    　前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部、
    　複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部、
    　前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部、
    　として機能させるためのプログラム。

Images