JPWO2015145643A1 - 画像処理装置および画像処理プログラム - Google Patents

Abstract

画像処理装置では、細胞画像から細胞核の候補領域と領域情報とを抽出し（Ｓ２０）、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定し、その判定結果に基づき、細胞核の候補領域を補正する（Ｓ４０）。

Description

本発明は画像処理装置および画像処理プログラムに関し、特に病理診断の画像処理に関する。

人体から採取された組織切片を、顕微鏡で観察し、病変の有無や病変の種類について診断する、いわゆる病理診断が盛んにおこなわれている。病理診断の対象となる組織標本は、顕微鏡観察に適するように、一般的には、固定→包理→薄切→染色の過程を経て作製される。近年では、染色後の組織切片を高倍率で顕微鏡観察して画像データ（細胞画像）を生成し、かかる細胞画像を、画像処理して細胞核などの対象物を正確に抽出する技術が数多く提案されている。

たとえば、特許文献１の技術では、細胞画像上で、複数の細胞が重畳している場合であっても、細胞形状を個別に抽出しようとしている（段落００１８参照）。具体的には、細胞の染色濃度（濃度勾配）に着目して、細胞輪郭形成画素の濃度勾配ベクトルとその画素から細胞中心位置までの変位ベクトルとの内積値の符号の正負を求めてかかる技術を実現しようとしている（段落００２７〜００２８、図１０、段落００８４〜００８８、図１３〜図１６など参照）。
特許文献２の技術では、細胞画像から対象物（細胞核）の形状を抽出する際に、ノイズや他の組織のエッジとひっかかることがあっても、その影響を回避しようとしている（段落００１４〜００１５参照）。具体的には、公知のＳＮＡＫＥＳ処理を用いて、ぼかした画像を用いたＳＮＡＫＥＳ処理と、ぼかしていない画像を用いたＳＮＡＫＥＳ処理とを実行したり（段落００３７〜００３９、図１など参照）、細胞画像の細胞核に核内空がある場合には、あらかじめ核内空を周囲の色で塗りつぶす処理を実行したり（段落００４４〜００４６、図３など参照）してかかる技術を実現しようとしている。

特開２０００−３２１０３１号公報 特開２０００−３３１１４３号公報

ところで、組織切片の染色は細胞核などの対象物の形状を検出し易くするために行われるが、当該細胞核はすべてきれいに染色されるとは限らず、特に癌が進行しているような細胞においては細胞核の染色にムラができることが多い。
すなわち、図２０Ａに示すとおり、細胞核がきれいに染色された細胞画像からは１つの細胞核が検出されるが、癌が進行しているような細胞の細胞画像に対し画像処理を行っても、１つの細胞核がまばらに検出され、１つの細胞核が複数の細胞核として誤検出されることがあるし（図２０Ｂ参照）、逆に、複数の細胞核同士が隣接している場合には、複数の細胞核が１つの細胞核として誤検出されることもありうる（図２０Ｃ参照）。
したがって、本発明の主な目的は、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、細胞核の誤検出を抑制して細胞核を個々に検出することができる画像処理装置および画像処理プログラムを提供することにある。

上記課題を解決するため、本発明の一態様によれば、
細胞核が染色された細胞画像から細胞核を検出する画像処理装置において、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する判定手段と、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
を備えることを特徴とする画像処理装置が提供される。

本発明の他の態様によれば、
細胞核が染色された細胞画像から細胞核を検出するコンピュータに、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する判定手段と、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
として機能させることを特徴とする画像処理プログラムが提供される。

本発明によれば、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、細胞核の誤検出を抑制して細胞核を個々に検出することができる。

病理診断支援システムの構成を概略的に示す図である。 画像処理装置の機能的構成を概略的に示すブロック図である。 画像処理の流れを概略的に示すフローチャートである。 細胞核がきれいに染色された細胞画像における輝度値の関係を概略的に説明する図である。 １つの細胞核がまばらに染色された細胞画像における輝度値の関係を概略的に説明する図である。 図４Ｂの座標位置の範囲を広げた図である。 細胞核がきれいに染色された細胞画像、１つの細胞核がまばらに染色された細胞画像、および複数の細胞核が隣接して染色された細胞画像における、二値画像、エッジ強度で表した画像、エッジ角度で表した画像、エッジ法線方向で表した画像の一例である。 エッジ強度の抽出に用いるフィルタの一例である。 エッジ強度の抽出に用いるフィルタの一例である。 エッジ強度の抽出方法を概略的に説明する図である。 エッジ角度の抽出方法を概略的に説明する図である。 エッジ法線方向の抽出方法を概略的に説明する図である。 エッジ角度の角度を概略的に説明する図である。 エッジ法線方向の方向を概略的に説明する図である。 細胞画像の一例である。 細胞画像から生成した二値画像の一例である。 細胞画像からエッジ強度を抽出して生成した画像の一例である。 細胞画像からエッジ法線方向を抽出して生成した画像の一例である。 エッジ曲率の抽出に用いるフィルタの一例である。 エッジ曲率の抽出に用いるフィルタの一例である。 エッジ曲率の抽出に用いるフィルタの一例である。 エッジ曲率の抽出方法を概略的に説明する図である。 エッジ曲率の抽出方法を概略的に説明する図である。 判定／補正処理の流れを概略的に示すフローチャートである。 細胞核の候補領域の統合が必要である状態を示す図である。 細胞核の候補領域の分割が必要である状態を示す図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の統合が必要かどうかの判定から細胞核の候補領域の統合までの処理の一工程を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の統合処理の一例を示す図である。 細胞核の候補領域の分割が必要かどうかの判定から細胞核の候補領域の分割までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の分割が必要かどうかの判定から細胞核の候補領域の分割までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の分割が必要かどうかの判定から細胞核の候補領域の分割までの処理の一工程を概略的に説明する図である。 細胞核の候補領域の分割が必要かどうかの判定から細胞核の候補領域の分割までの処理の一工程を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 エッジ法線方向の連続性の有無を概略的に説明する図である。 細胞核の候補領域の分割処理の一例を示す図である。 細胞核がきれいに染色された細胞画像の一例である。 １つの細胞核がまばらに染色された細胞画像の一例である。 複数の細胞核が隣接して染色された細胞画像の一例である。

以下、図面を参照しながら本発明の好ましい実施形態について説明する。

＜病理診断支援システム１０の構成＞
図１に、病理診断支援システム１０の全体構成例を示す。
病理診断支援システム１０は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における細胞核を検出するシステムである。

図１に示すように、病理診断支援システム１０は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。

顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光などを結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。

なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２−５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。

画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における細胞核を検出する。
図２に、画像処理装置２Ａの機能構成例を示す。
図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像処理（図３参照）を実行し、領域抽出手段、判定手段、補正手段、エッジ抽出手段としての機能を実現する。

操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。

表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。

通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、細胞画像の入力手段として機能する。

記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。

本実施形態では、画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像（細胞画像）を用いて解析を行うようになっている。
「細胞画像」とは、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン−エオジン染色試薬（ＨＥ染色試薬）など、細胞核を染色しうる染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）を染色する。エオジン（Ｅ）は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）を染色する。

＜病理診断支援システム１０の動作（画像処理方法を含む。）＞
以下、病理診断支援システム１０において、上記説明した細胞画像を取得して解析を行う動作について説明する。

まず、操作者はＨ染色試薬またはＨＥ染色試薬を用いて組織切片を染色する。
その後、顕微鏡画像取得装置１Ａを用いて、（ａ１）〜（ａ３）の手順により細胞画像を取得する。
（ａ１）操作者は、Ｈ染色試薬またはＨＥ染色試薬により、細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。

その後、画像処理装置２Ａを用いて、細胞画像に基づき画像処理を実行する。
図３に、画像処理装置２Ａにおける画像処理のフローチャートを示す。
図３に示す画像処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって下記の処理を実行する。

まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから細胞画像が入力されると（ステップＳ１０）、細胞画像から色情報を取得し、特定の色成分を抽出してその細胞画像に閾値処理を施し二値画像を生成し、細胞核の候補領域と領域情報とを抽出する（ステップＳ２０）。
細胞核の「候補領域」とは、染色領域のうち、細胞核の個々の検出にあたり細胞核の候補となる領域であって、細胞核由来の領域と考えられる領域である。
細胞核の「領域情報」とは、細胞核の候補領域に関する情報であって、細胞核の候補領域のサイズや形状などに関する情報であり、細胞核以外の他の部位（核小体など）の存在の有無も含まれる。

他方、ステップＳ２０とは別に、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから細胞画像が入力されると（ステップＳ１０）、細胞画像から色情報を取得し、細胞核のエッジ情報も抽出する（ステップＳ３０）。

たとえば、図４Ａに示すとおり、細胞核がきれいに染色された細胞画像３０では（上側）、色情報から輝度値を算出すると、細胞画像３０の直線部に沿う座標位置の輝度値は、細胞核の核外領域と核内領域とでは差が大きい（下側）。
これに対し、図４Ｂに示すとおり、１つの細胞核がまばらに染色された細胞画像４０では（上側）、細胞画像４０の直線部に沿う座標位置の輝度値は、細胞核の核外領域と核内領域とで差が小さく、ステップＳ２０の二値画像では細胞核の候補領域として核内領域の領域４２のみが検出されるにすぎない（下側）。
ただ、図４Ｃに示すとおり、細胞画像４０でも（上側）、細胞画像４０の直線部に沿う座標位置の範囲を広げると、核外領域の領域４４と核内領域の領域４６とで差があり、エッジ情報を利用すれば細胞核の境界線を検出しうる（下側）。

本実施形態では、図５に示すとおり、細胞画像３０、細胞画像４０、および複数の細胞核が隣接して染色された細胞画像５０において、ステップＳ２０で二値画像を生成し細胞核の候補領域と領域情報とを抽出するのに加え、ステップＳ３では細胞核のエッジ情報を抽出する。
細胞核のエッジ情報には、エッジ強度、エッジ角度、エッジ法線方向、エッジ曲率が含まれる。

「エッジ強度」とは、細胞画像の細胞核のエッジ部における輝度値の変化量であって、一定のフィルタを用いて算出される値である。
一定のフィルタとしては、図６Ａ〜６Ｂに示すとおり、ｓｏｂｅｌフィルタ６０、１次方向微分フィルタ６２などを用いることができ、当該フィルタはエッジ角度、エッジ法線方向を抽出する際にも用いられる。
たとえば、ｓｏｂｅｌフィルタ６０を用いてエッジ強度を抽出する場合には、図６Ｃに示すとおり、エッジ部のある画素領域６４（注目画素６６を中心とした３×３の画素領域）を選択し、画素領域６４の輝度値ａ１〜ａ９とｓｏｂｅｌフィルタ６０の各値とを、１×ａ１→０×ａ２→−１×ａ３→…→０×ａ８→−１×ａ９というように掛け合わせ、その総計を注目画素６６の輝度値として算出し、かかる操作をエッジ部の各画素に対し順次実行すればよい。
図５のエッジ強度の画像は、ステップＳ３０で細胞画像からエッジ強度を抽出して生成した画像であり、エッジ強度が大きいほど白く表現されている。

「エッジ角度」とは、細胞画像の細胞核のエッジ部に対する接線の角度であって、図６Ｄに示すとおり、フィルタを０〜９０°の範囲で５°ずつ回転させながら、エッジ部のエッジ強度を求め、エッジ強度が最大値となるフィルタの角度である。
本実施形態では、図７Ａに示すとおり、細胞画像の細胞核のエッジ部に対し、横方向の接線の角度を０°と、縦方向の接線の角度を９０°（青）と設定している。
図５のエッジ角度の画像は、ステップＳ３０で細胞画像からエッジ角度を抽出して生成した画像であり、エッジ角度に応じて、細胞核が青の濃淡で表現されている。

「エッジ法線方向」とは、細胞画像の細胞核のエッジ部に対する接線の法線方向で、かつ、細胞核の核外領域から核内領域に向かう方向を示すものである。
詳しくは、エッジ法線方向とは、フィルタを０〜３６０°の範囲で５°ずつ回転させながら、エッジ部のエッジ強度を求め、エッジ強度が最大値となるフィルタの角度に対し直交する方向で、かつ、その直交する方向上でエッジ強度が正から負に変化する方向を示すものである。
エッジ強度の正負は下記のとおり観念される。
たとえば、図６Ｅの矢印に示すとおり、細胞画像３０において、細胞核の核外領域から核内領域に向けてフィルタ６０を用いてエッジ強度を求める場合、核外領域では輝度値が高く、核内領域では輝度値が低い。細胞核の核外領域と核内領域の境界領域では、核外領域の高い輝度値とフィルタ６０の正の値（１、２、１）とが掛け合わされ、核内領域の低い輝度値とフィルタ６０の負の値（−１、−２、−１）とが掛け合わされる。そのため、境界領域のうち、核外領域側では、核外領域の高い輝度値の寄与度が大きく注目画素の輝度値は正になり、核外領域側から核内領域側に移行するにつれて、核内領域の低い輝度値の寄与度が大きくなり、注目画素の輝度値は負に変化する。
本実施形態では、図７Ｂに示すとおり、細胞画像の細胞核のエッジ部に対し、接線の法線方向が横方向でかつ細胞核の核外領域から核内領域に向かう方向が右向きの方向を０°（赤）と、接線の法線方向が縦方向でかつ細胞核の核外領域から核内領域に向かう方向が上向きの方向を９０°（黄）と、接線の法線方向が横方向でかつ細胞核の核外領域から核内領域に向かう方向が左向きの方向を１８０°（緑）と、接線の法線方向が縦方向でかつ細胞核の核外領域から核内領域に向かう方向が下向きの方向を２７０°（青）と設定している。
図５のエッジ法線方向の画像は、ステップＳ３０で細胞画像からエッジ法線方向を抽出して生成した画像であり、エッジ法線方向に応じて、細胞核が赤、黄、緑、青で表現されている。

図８Ａ〜８Ｄは、細胞画像（図８Ａ）、ステップＳ２０で細胞画像から生成した二値画像（図８Ｂ）、ステップＳ３０で細胞画像からエッジ強度を抽出して生成した画像（図８Ｃ）、およびステップＳ３０で細胞画像からエッジ法線方向を抽出して生成した画像（図８Ｄ）の一例である。
なお、各画像の点線四角枠は同じ領域を示している。

「エッジ曲率」とは、文字どおり、細胞画像の細胞核のエッジ部における曲率である。
エッジ曲率は、細胞画像からエッジ強度を抽出して生成した画像に対し、図９Ａ〜９Ｃに示すとおり、一定の曲率を有するフィルタ７０、７２、７４を照合させ一致するかどうかにより算出することができる。
細胞画像からエッジ部を細線化し、図９Ｄに示すとおり、当該細線上の１点（Ｐ_ｉ）とその周辺の２点（Ｐ_ｉ−１）との計３点から数式を用いて算出してもよい。
細胞画像からエッジ部を細線化し、図９Ｅに示すとおり、当該細線上の複数の点から最小二乗法を用いて算出してもよい。

その後、図３に示すとおり、ステップＳ２０で抽出した細胞核の領域情報と、ステップＳ３０で抽出した細胞核のエッジ情報とに基づき、ステップＳ２０で抽出した細胞核の候補領域を補正するかどうかを判定する（ステップＳ４０）。

ステップＳ４０では、まず、図１０に示すとおり、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する（ステップＳ４１）。
ステップＳ４１では、たとえば、図１１に示すとおり、細胞核の候補領域から一定範囲の領域８０を抜き出し、細胞核の領域情報に基づき、領域８０において複数の小さな細胞核の候補領域８２ａ〜８２ｆが存在するかどうかを判断し、それが存在すると判断した場合に、領域８０における細胞核の候補領域８２ａ〜８２ｆの面積、密集度を算出する。
その後、
・候補領域８２ａ〜８２ｆの面積（総面積）が一定の閾値未満であるか（条件１−１）
・候補領域８２ａ〜８２ｆの密集度が一定の閾値を超えるか（条件１−２）
を判断し、条件１−１、１−２を満たすときは、候補領域８２の統合が必要であると判断してステップＳ４２に移行する。
ステップＳ４２への移行は、条件１−１、１−２の両方を満たすときになされてもよいし、いずれか一方を満たすときになされてもよい。
なお、図１１中、グレーの実線部が実際の細胞核を表している。

他方、たとえば、図１２に示すとおり、細胞核の候補領域から一定範囲の領域９０を抜き出し、細胞核の領域情報に基づき、領域９０において１つの大きな細胞核の候補領域９２が存在するかどうかを判断し、それが存在すると判断した場合に、領域９０における細胞核の候補領域９２の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出する。
その後、
・候補領域９２の面積が一定の閾値を超えるか（条件２−１）
・候補領域９２の円形度が一定の閾値未満であるか（条件２−２）
・候補領域９２に凹点が存在するか（条件２−３、図１２点線部参照）
・候補領域９２に複数の核小体が存在するか（条件２−４）
を判断し、条件２−１〜２−４を満たすときは、候補領域９２の分割が必要であると判断してステップＳ４６に移行する。
ステップＳ４６への移行は、条件２−１〜２−４のすべてを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
なお、図１２中、グレーの実線部が実際の細胞核を表している。

図１０に示すとおり、ステップＳ４２では、細胞核の領域情報と細胞核のエッジ情報とに基づき、真に、複数の小さな細胞核の候補領域を統合するかどうかを判定する（ステップＳ４２）。
ステップＳ４２では、図１３Ａに示すとおり、細胞核の領域情報に基づき、領域８０の候補領域８２ａ〜８２ｃの面積、円形度を算出し、細胞核のエッジ情報に基づき、領域８０の候補領域８２ａ〜８２ｃのエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
その後、
・候補領域８２ａ〜８２ｃの面積（総面積）が一定の閾値未満であるか（条件３−１Ｑ）
・候補領域８２ａ〜８２ｃの円形度が一定の閾値未満であるか（条件３−２Ｑ）
・エッジ法線方向に連続性があるか（条件３−３Ｑ）
・エッジ法線方向の角度合計値が０°から離れているか（条件３−４Ｑ）
・候補領域８２ａ〜８２ｃのエッジ曲率にバラツキがあるか（条件３−５Ｑ）
を判断し、条件３−１Ｑ〜３−５Ｑを満たすときは、真に、候補領域８２の統合が必要であると判断してステップＳ４３に移行する。
ステップＳ４３への移行は、条件３−１Ｑ〜３−５Ｑのすべてを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。

条件３−１Ｑに関しては、候補領域８２ａ〜８２ｃの面積（総面積）が小さく一定の閾値未満である場合、１つの細胞核のうち一部しか検出されておらず、候補領域８２ａ〜８２ｃを統合すべきと考えられる。
条件３−２Ｑに関しては、細胞核は基本的に円形度が高いが、候補領域８２ａ〜８２ｃの円形度が低く一定の閾値未満である場合、１つの細胞核のうち一部しか検出されておらず、候補領域８２ａ〜８２ｃを統合すべきと考えられる。
条件３−３Ｑに関しては、図１４Ａ〜１４Ｃに示すとおり、候補領域８２ａ〜８２ｃの外側輪郭線を結び、その外側輪郭線のエッジ法線方向に０°→９０°→１８０°→２７０°→０°といった連続性があるかどうかを判断し、連続性があると判断したときは、その外側輪郭線で囲まれた候補領域８２ａ〜８２ｃを統合すべきと考えられる。
条件３−４Ｑに関しては、候補領域８２ａ〜８２ｃの外側輪郭線を結び、かつ、フィルタの回転角度を０〜３６０°から−１８０°〜０°〜＋１８０°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が０°から離れるかどうかを判断し、０°から離れていると判断したときは、１つの細胞核のうち一部しか検出されておらず、候補領域８２ａ〜８２ｃを統合すべきと考えられる。
条件３−５Ｑに関しては、候補領域８２ａ〜８２ｃのエッジ曲率にバラツキがある場合、１つの細胞核のうち一部しか検出されておらず、候補領域８２ａ〜８２ｃを統合すべきと考えられる。

ステップＳ４３では、図１３Ｂに示すとおり、候補領域８２ａ、８２ｂ、８２ｃから近傍（一定の距離）に存在する候補領域８２ｂ／８２ｃ、８２ａ／８２ｃ、８２ａ／８２ｂを探索してこれらをグループ化する。

その後、図１３Ｃに示すとおり、グループ化した候補領域８２ａ〜８２ｃに対し、条件３−１Ｑ〜３−５Ｑと同様の基準を適用し、
・候補領域８２ａ〜８２ｃの面積（総面積）が一定の閾値以上である（条件３−１Ａ）
・候補領域８２ａ〜８２ｃの円形度が一定の閾値以上である（条件３−２Ａ）
・エッジ法線方向に連続性がある（条件３−３Ａ）
・エッジ法線方向の角度合計値が０°から一定の範囲に収まっている（条件３−４Ａ）
・候補領域８２ａ〜８２ｃのエッジ曲率のバラツキが緩和され一定の範囲に収まっている（条件３−５Ａ）
かどうかを判別し（ステップＳ４４）、条件３−１Ａ〜３−５Ａを満たすときは、候補領域８２ａ〜８２ｃの統合処理を実行する（ステップＳ４５）。
ステップＳ４４からステップＳ４５への移行は、条件３−１Ａ〜３−５Ａのすべてを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。

ステップＳ４５では、図１３Ｄ〜１３Ｅに示すとおり、グループ化した候補領域８２ａ〜８２ｃを１つの領域８４に統合する。
詳しくは図１５Ａに示すとおり、候補領域８２ａ〜８２ｃの重心を算出し、その重心から候補領域８２ａ〜８２ｃを包含する円を描き、その円の範囲内で候補領域８２ａ〜８２ｃを統合する。
図１５Ｂに示すとおり、候補領域８２ａ〜８２ｃの外側輪郭線同士を直線で結び、候補領域８２ａ〜８２ｃの外側輪郭線と直線とで囲まれる範囲内で候補領域８２ａ〜８２ｃを統合してもよい。
図１５Ｃに示すとおり、候補領域８２ａ〜８２ｃの外側輪郭線上の点から最小二乗法を用いて円の中心点と半径とを算出し、その円の範囲内で候補領域８２ａ〜８２ｃを統合してもよい。
図１６Ａに示すとおり、候補領域８２ａ〜８２ｂの外側輪郭線のエッジ曲率から円の中心と半径とを算出し、その円の範囲内で候補領域８２ａ〜８２ｂを統合してもよい。
図１６Ｂに示すとおり、候補領域８２ａ〜８２ｂの外側輪郭線のエッジ法線方向から交点を算出し、その交点から候補領域８２ａ〜８２ｂを包含する円を描き、その円の範囲内で候補領域８２ａ〜８２ｂを統合してもよい。
図１６Ｃに示すとおり、候補領域８２ａ〜８２ｃの外側輪郭線のエッジ法線方向が４５°→１４５°→２９０°と連続するような交点を算出し、その交点から候補領域８２ａ〜８２ｃを包含する円を描き、その円の範囲内で候補領域８２ａ〜８２ｃを統合してもよい。
図１６Ｄに示すとおり、細胞画像からエッジ法線方向を抽出して生成した画像において、候補領域の外側輪郭線がほぼ閉じた状態で一部が欠落しているような場合に、欠落部８６を候補領域の外側輪郭線に沿って直線または曲線で結び、候補領域の外側輪郭線と直線または曲線とで囲まれる範囲内で候補領域を統合してもよい。

他方、図１０に示すとおり、ステップＳ４６では、細胞核の領域情報と細胞核のエッジ情報とに基づき、真に、１つの大きな細胞核の候補領域を分割するかどうかを判定する（ステップＳ４６）。
ステップＳ４６では、図１７Ａに示すとおり、細胞核の領域情報に基づき、領域９０の候補領域９２の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出し、細胞核のエッジ情報に基づき、領域９０の候補領域９２のエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
その後、
・候補領域９２の面積が一定の閾値を超えているか（条件４−１Ｑ）
・候補領域９２の円形度が一定の閾値未満であるか（条件４−２Ｑ）
・候補領域９２に凹点が存在するか（条件４−３Ｑ）
・候補領域９２に複数の核小体が存在するか（条件４−４Ｑ）
・エッジ法線方向に連続性がないか（条件４−５Ｑ）
・エッジ法線方向の角度合計値が０°から離れているか（条件４−６Ｑ）
・候補領域９２のエッジ曲率にバラツキがあるか（条件４−７Ｑ）
を判断し、条件４−１Ｑ〜４−７Ｑを満たすときは、真に、候補領域９２の分割が必要であると判断してステップＳ４７に移行する。
ステップＳ４７への移行は、条件４−１Ｑ〜４−７Ｑのすべてを満たすときになされてもよいし、いずれか６つを満たすときになされてもよいし、いずれか５つを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。

条件４−１Ｑに関しては、候補領域９２の面積が大きく一定の閾値を超えている場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
条件４−２Ｑに関しては、細胞核は基本的に円形度が高いが、候補領域９２の円形度が低く一定の閾値未満である場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
条件４−３Ｑに関しては、候補領域９２に凹点が存在する場合、特に互いに対向する位置に凹点が存在する場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
条件４−４Ｑに関しては、核小体は基本的に細胞ごとに１つずつ存在するが、候補領域９２に複数の核小体が存在する場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
条件４−５Ｑに関しては、候補領域９２の外側輪郭線を結び、その外側輪郭線のエッジ法線方向に０°→９０°→１８０°→２７０°→０°といった連続性がないかどうかを判断し、連続性がないと判断したときは、その外側輪郭線で囲まれた候補領域９２を分割すべきと考えられる。
たとえば、図１８Ａ〜１８Ｂに示すとおり、候補領域９２の外側輪郭線上でエッジ法線方向の連続性がないかどうかを判断する際に、細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分が存在するときは、候補領域９２を分割すべきと考えられる。
条件４−６Ｑに関しては、候補領域９２の外側輪郭線を結び、かつ、フィルタの回転角度を０〜３６０°から−１８０°〜０°〜＋１８０°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が０°から離れるかどうかを判断し、０°から離れていると判断したときは、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
条件４−７Ｑに関しては、候補領域９２のエッジ曲率にバラツキがある場合、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。

ステップＳ４７では、図１７Ｂに示すとおり、候補領域９２を分割しうる境界線９４（分割パターン）を探索し、候補領域９２を境界線９４で領域９６と領域９８に区画する。

その後、領域９６、９８に対し、条件４−１Ｑ〜４−７Ｑと同様の基準を適用し、
・候補領域９６、９８の面積が一定の閾値以内である（条件４−１Ａ）
・候補領域９６、９８の円形度が一定の閾値以上である（条件４−２Ａ）
・候補領域９６、９８に凹点が存在しない（条件４−３Ａ）
・候補領域９６、９８に複数の核小体が存在しない（条件４−４Ａ）
・エッジ法線方向に連続性がある（条件４−５Ａ）
・エッジ法線方向の角度合計値が０°から一定の範囲に収まっている（条件４−６Ａ）
・候補領域９６、９８のエッジ曲率のバラツキが緩和され一定の範囲に収まっている（条件４−７Ａ）
かどうかを判別し（ステップＳ４８）、条件４−１Ａ〜４−７Ａを満たすときは、候補領域９２の統合処理を実行する（ステップＳ４９）。
ステップＳ４８からステップＳ４９への移行は、条件４−１Ａ〜４−７Ａのすべてを満たすときになされてもよいし、いずれか６つを満たすときになされてもよいし、いずれか５つを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。

ステップＳ４９では、図１７Ｃ〜１７Ｄに示すとおり、候補領域９２を、境界線９４で領域９６と領域９８とに分割する。
詳しくは、ステップＳ４７、Ｓ４９では、図１９に示すとおり、細胞画像からエッジ強度を抽出して生成した画像において、エッジ強度の大きい部分間に境界線９４を設定し、候補領域９２を領域９６、９８に分割する。
細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分間に境界線９４を設定し、候補領域９２を領域９６、９８に分割してもよい。
公知の手法にしたがって、候補領域９２の凹点間に境界線９４を設定し、候補領域９２を領域９６、９８に分割してもよい（Bottle-Neck: Pattern Reecognition Volume 45, Issue7, July 2012, Pages 2780-2787参照）。
公知のwatershed法にしたがって、候補領域９２に境界線９４を設定し、候補領域９２を領域９６、９８に分割してもよい。

そして最終的に、図３に示すとおり、統合後または分割後の領域（８４、９６、９８）を、１つの細胞核として検出する処理を実行する（ステップＳ５０）。

以上の本実施形態によれば、ステップＳ４１において、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定するのに加え、さらにステップＳ４２〜Ｓ４５において、細胞核の領域情報と細胞核のエッジ情報とに基づき、細胞核の候補領域を統合するかどうかを判定し統合するか、またはステップＳ４６〜Ｓ４９において、細胞核の領域情報と細胞核のエッジ情報とに基づき、細胞核の候補領域を分割するかどうかを判定し統合するから、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、１つの細胞核が複数の細胞核として誤検出されることも、複数の細胞核が１つの細胞核として誤検出されることも抑制され、細胞核を個々に検出することができる。

なお、本実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。

たとえば、本実施形態では、病理診断の対象を人体から採取した組織切片としたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞を使用することも可能である。

上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ-ＲＯＭなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、病理診断支援システム１０を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明は病理診断の画像処理に好適に利用することができる。

１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
３Ａ ケーブル
１０ 病理診断支援システム
２１ 制御部
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
３０、４０、５０ 細胞画像
８２ａ〜８２ｆ 細胞核の候補領域（統合前）
８４ 統合後の領域
９２ 細胞核の候補領域（分割前）
９６、９８ 分割後の領域

上記課題を解決するため、本発明の一態様によれば、
細胞核が染色された細胞画像から細胞核を検出する画像処理装置において、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段と、
細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または１つの細胞核の候補領域を分割するかを判定する判定手段と、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
を備えることを特徴とする画像処理装置が提供される。

本発明の他の態様によれば、
細胞核が染色された細胞画像から細胞核を検出するコンピュータに、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段、
前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段、
細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または１つの細胞核の候補領域を分割するかを判定する判定手段、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段、
として機能させることを特徴とする画像処理プログラムが提供される。

その後、領域９６、９８に対し、条件４−１Ｑ〜４−７Ｑと同様の基準を適用し、
・候補領域９６、９８の面積が一定の閾値以内である（条件４−１Ａ）
・候補領域９６、９８の円形度が一定の閾値以上である（条件４−２Ａ）
・候補領域９６、９８に凹点が存在しない（条件４−３Ａ）
・候補領域９６、９８に複数の核小体が存在しない（条件４−４Ａ）
・エッジ法線方向に連続性がある（条件４−５Ａ）
・エッジ法線方向の角度合計値が０°から一定の範囲に収まっている（条件４−６Ａ）
・候補領域９６、９８のエッジ曲率のバラツキが緩和され一定の範囲に収まっている（条件４−７Ａ）
かどうかを判別し（ステップＳ４８）、条件４−１Ａ〜４−７Ａを満たすときは、候補領域９２の分割処理を実行する（ステップＳ４９）。
ステップＳ４８からステップＳ４９への移行は、条件４−１Ａ〜４−７Ａのすべてを満たすときになされてもよいし、いずれか６つを満たすときになされてもよいし、いずれか５つを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。

以上の本実施形態によれば、ステップＳ４１において、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定するのに加え、さらにステップＳ４２〜Ｓ４５において、細胞核の領域情報と細胞核のエッジ情報とに基づき、細胞核の候補領域を統合するかどうかを判定し統合するか、またはステップＳ４６〜Ｓ４９において、細胞核の領域情報と細胞核のエッジ情報とに基づき、細胞核の候補領域を分割するかどうかを判定し分割するから、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、１つの細胞核が複数の細胞核として誤検出されることも、複数の細胞核が１つの細胞核として誤検出されることも抑制され、細胞核を個々に検出することができる。

Claims (8)

1. 細胞核が染色された細胞画像から細胞核を検出する画像処理装置において、
   前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
   細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する判定手段と、
   前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段を備え、
   前記補正手段が、細胞核のエッジ情報に基づき、細胞核の候補領域を補正することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   細胞核のエッジ情報には、エッジ強度、エッジ角度、エッジ法線方向、エッジ曲率の少なくとも１つが含まれることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記判定手段が、細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または１つの細胞核の候補領域を分割するかを判定することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記判定手段が、
   細胞核の領域情報に基づき、細胞核の候補領域の面積、円形度、凹点の有無、核小体の有無の少なくとも１つを算出または検出し、
   細胞核のエッジ情報に基づき、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率の少なくとも１つを算出または検出し、
   それら算出または検出結果に基づき、複数の細胞核の候補領域を統合するか、または１つの細胞核の候補領域を分割するかを判定することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記補正手段が、
   細胞核の候補領域の面積、円形度の算出結果と、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率の算出または検出結果との少なくとも１つに基づき、複数の細胞核の候補領域を統合することを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記補正手段が、
   細胞核の候補領域の面積、円形度、凹点の有無、核小体の有無の算出または検出結果と、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率を算出または検出結果との少なくとも１つに基づき、１つの細胞核の候補領域を分割することを特徴とする画像処理装置。
8. 細胞核が染色された細胞画像から細胞核を検出するコンピュータに、
   前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
   細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する判定手段と、
   前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
   として機能させることを特徴とする画像処理プログラム。

Images