JP5535727B2

JP5535727B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP5535727B2
Application number: JP2010084755A
Authority: JP
Inventors: 武史大橋
Original assignee: Japanese Foundation for Cancer Research; Sony Corp
Current assignee: Japanese Foundation for Cancer Research; Sony Corp
Priority date: 2010-04-01
Filing date: 2010-04-01
Publication date: 2014-07-02
Anticipated expiration: 2030-04-01
Also published as: JP2011215061A; US8774486B2; CN102214294A; CN102214294B; US20110243405A1

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば、人体を断層撮影して得られる病理画像上から腫瘍などの病巣部位を検出する場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。

従来、人体の臓器などを撮像して得られる病理画像上から腫瘍等の病巣部位を検出するための画像認識技術が存在する。

例えば、特許文献１には、人手（病理医）によって病理画像上に注目すべき領域(ROI)を設けた後、ROIを高倍率で再撮像して解析する手法が記載されている。解析においては、ROI内部のエッジ情報が画像特徴量として利用される。

また、特許文献２には、解析すべき部位を蛍光性色素の試料を用いて染色した後、暗視野マクロスコープを用いて精査する手法が記載されている。

特許文献３には、病理画像上の白色の領域を背景（注目しない領域）として除外する手法が記載されている。

特開２００９−１７５０４０号公報特開２００７−３１０２３１号公報特開２００９−１７５３３４号公報

上述したように、病理画像上から病巣部位を検出するための画像認識において、病理画像上で注目すべき領域を設けること、および注目しない領域を除外することは従来から行われている。

しかしながら、病理画像上に注目すべき領域を容易な処理によって的確に設定することは困難である。

本発明はこのような状況に鑑みてなされたものであり、病理画像上で注目すべき細胞組織領域を容易な処理によって的確に検出できるようにするものである。

本発明の一側面である画像処理装置は、解析対象物を撮像して得られた病理画像を解析する画像処理装置において、病理画像の各画素の特徴量として輝度差分特徴量を算出する特徴量算出手段と、前記輝度差分特徴得量に基づき、予め学習されている細胞組織検出器を用いて前記病理画像上の細胞組織領域を検出する検出手段と、検出された細胞組織領域のサイズ、前記細胞組織検出器におけるスコア、および前記病理画像における位置に基づいて、前記病理画像上に存在する複数の細胞組織領域の中から主役となる前記細胞組織領域を判定する判定手段と、主役として判定された前記細胞組織領域が内接する矩形領域を決定する矩形領域決定手段とを含み、前記細胞組織検出器は、細胞組織に対応する画像を用いた統計的学習により予め学習されている。

本発明の一側面である画像処理装置は、設定された前記細胞組織領域に対応する病理画像を解析して病巣部位を検出する解析手段をさらに含むことができる。

本発明の一側面である画像処理装置は、解析対象物を撮像して前記病理画像を生成する撮像手段をさらに含むことができる。

前記特徴量算出手段は、前記撮像手段により低解像度で撮像された低解像度の病理画像の各画素の特徴量として輝度差分特徴量を算出し、前記撮像手段は、決定された前記矩形領域に基づいて、前記解析対象物を高解像度で再撮像し、前記解析手段は、前記撮像手段により高解像度で再撮像された高解像度病理画像を解析して病巣部位を検出するようにすることができる。

前記統計的学習はBoostingとすることができる。

本発明の一側面である画像処理方法は、解析対象物を撮像して得られた病理画像を解析する画像処理装置の画像処理方法において、前記画像処理装置による、病理画像の各画素の特徴量として輝度差分特徴量を算出する特徴量算出ステップと、前記輝度差分特徴得量に基づき、予め学習されている細胞組織検出器を用いて前記病理画像上の細胞組織領域を検出する検出ステップと、検出された細胞組織領域のサイズ、前記細胞組織検出器におけるスコア、および前記病理画像における位置に基づいて、前記病理画像上に存在する複数の細胞組織領域の中から主役となる前記細胞組織領域を判定する判定ステップと、主役として判定された前記細胞組織領域が内接する矩形領域を決定する矩形領域決定ステップとを含み、前記細胞組織検出器は、細胞組織に対応する画像を用いた統計的学習により予め学習されている。

本発明の一側面であるプログラムは、解析対象物を撮像して得られた病理画像を解析するコンピュータを、病理画像の各画素の特徴量として輝度差分特徴量を算出する特徴量算出手段と、前記輝度差分特徴得量に基づき、予め学習されている細胞組織検出器を用いて前記病理画像上の細胞組織領域を検出する検出手段と、検出された細胞組織領域のサイズ、前記細胞組織検出器におけるスコア、および前記病理画像における位置に基づいて、前記病理画像上に存在する複数の細胞組織領域の中から主役となる前記細胞組織領域を判定する判定手段と、主役として判定された前記細胞組織領域が内接する矩形領域を決定する矩形領域決定手段として機能させ、前記細胞組織検出器は、細胞組織に対応する画像を用いた統計的学習により予め学習されている。

本発明の一側面においては、病理画像の各画素の特徴量として輝度差分特徴量が算出され、輝度差分特徴得量に基づき、予め学習されている細胞組織検出器を用いて病理画像上の細胞組織領域が検出され、検出された細胞組織領域のサイズ、細胞組織検出器におけるスコア、および病理画像における位置に基づいて、病理画像上に存在する複数の細胞組織領域の中から主役となる細胞組織領域が判定され、主役として判定された細胞組織領域が内接する矩形領域が決定される。

本発明の一側面によれば、病理画像上で注目すべき細胞組織領域を的確に検出することができる。

また、本発明の一側面によれば、検出された細胞組織領域のみを精査することで病巣部位を速やかに検出することができる。

本発明を適用した病巣部位検出装置の構成例を示すブロック図である。病理画像解析処理を説明するフローチャートである。細胞組織領域分離処理を説明するフローチャートである。低解像度病理画像の例を示す図である。低解像度病理画像上の位置に基づいてスコアＳＰｉの算出を説明する図である。複数の解析対象物が配置されたプレパラートの例を示す図である。図６に対応する矩形細胞組織領域を示す図である。コンピュータの構成例を示すブロック図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜１．実施の形態＞
［病巣部位検出装置の構成例］
この病巣部位検出装置１０は、撮像部１１、画像処理部１２、および病理解析部１３から構成される。

撮像部１１は、プレパラート化されている解析対象物（例えば、人体の臓器片など）の全体を低解像度で撮像し、その結果得られる低解像度病理画像を画像処理部１２に出力する。なお、低解像度画像は各画素の輝度のみを用いるので、モノクロで撮像するようにしてもよい。

また、撮像部１１は、画像処理部１２から通知される低解像度病理画像上の矩形細胞組織領域のみを高解像度で撮像し、その結果得られる高解像度病理画像を病理解析部１３に出力する。

画像処理部１２は、撮像部１１から入力される低解像度病理画像を、注目すべき細胞組織領域と、排除すべき背景領域（細胞組織ではない領域）とに分離し、細胞組織領域を内接する矩形領域（矩形細胞組織領域）を特定し、その座標位置を撮像部１１に通知する。

病理解析部１３は、撮像部１１から入力される、矩形細胞組織領域についての高解像度病理画像を解析し、腫瘍等の病巣部位を検出する。なお、病理解析部１３における病巣部位の検出方法は任意である。例えば、腫瘍部位の画像特徴量を予め学習してデータベース化し、高解像度病理画像上の各位置の画像特徴量と比較することにより病巣部位を検出するようにする。

このように、病理解析部１３にて、矩形細胞組織領域についての高解像度病理画像を解析することにより、解析対象物の全体を高解像度で撮像して解析する場合に比較して、演算コストを削減でき、一連の処理に要する時間を短縮することができる。

次に、画像処理部１２について詳述する。画像処理部１２は、特徴量算出部２１、細胞組織領域検出部２２、膨張部２３、ラベリング部２４、判定部２５、および矩形領域決定部２６から構成される。

特徴量算出部２１は、撮像部１１から入力される低解像度病理画像の各画素を順次注目画素に指定し、注目画素を中心とする所定サイズ（例えば、５×５画素）の画素ブロックを設定する。そして、注目画素の特徴量として、輝度差分特徴量をその画素ブロックに基づいて算出する。特徴量算出部２１は、低解像度病理画像とその各画素に対して算出した輝度差分特徴量を細胞組織領域検出部２２に出力する。

ここで、輝度差分特徴量とは、画素ブロック内の所定の複数の画素ペアに注目し、画素ペアそれぞれの輝度の差分を算出するものである。画素ペアを構成する画素の位置は、学習の低解像度病理画像（細胞組織の画像）に対して算出した輝度差分特徴量に基づき、統計的学習手法のブースティング(Boosting)により決定されているものとする。

なお、輝度差分特徴量については、PixDifと称されることがあり、PixDifの詳細については、例えば、特開２００５−２８４３４８号公報などにも開示されている。また、特徴量として、Haar-like特徴量を採用してもよい。Haar-like特徴量は、”Paul Viola and Michel J. Jones: “Rapid Object Detection Using a Boosted Cascade of Simple Features”, Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition”として公知である。

細胞組織領域検出部２２は、学習済みの細胞組織領域検出器を内蔵しており、特徴量算出部２１から入力される低解像度病理画像の各画素の輝度差分特徴量に基づいて、低解像度病理画像を細胞組織領域とそれ以外とに区分する。なお、ここでの区分は、輝度差分特徴量に基づくものであり、その境界付近は必ずしも正確に区分されていない可能性がある。細胞組織領域検出部２２は、処理結果（学習結果との類似度を示すスコアを含む）を後段に膨張部２３に出力する。

膨張部２３は、低解像度病理画像上の細胞組織領域と区分された領域について、膨張処理を行うことによりその輪郭を微小に膨張させる。これにより、実際には細胞組織であったにも拘らず、それ以外に区分されてしまっていた領域の取りこぼしを防ぐことができる。膨張部２３は、処理結果をラベリング部２４に出力する。

ラベリング部２４は、低解像度病理画像上に離散した各細胞組織領域（膨張処理済）に対して、異なるラベルを付与する領域ラベリング処理を行う。例えば、低解像度病理画像上に２つの細胞組織領域が存在している場合、一方に細胞組織領域Ａ、他方に細胞組織領域Ｂなどとラベリングを行う。なお、上述した膨張処理、および領域ラベリング処理は、画像処理分野において広く知られた既存技術である（例えば、「ディジタル画像処理編集委員会監修、「ディジタル画像処理」、第２版、財団法人画像情報教育振興協」参照）。ラベリング部２４は、処理結果を判定部２５に出力する。

判定部２５は、低解像度病理画像上のラベルが付与された各細胞組織領域に対して、その領域の大小、細胞組織領域検出部２２におけるスコア（学習結果との類似度を示すスコア）、および低解像度病理画像上の位置に基づくスコアに基づいて主役度スコアＳＡを算出する。そして、各細胞組織領域を主役度スコアＳＡに基づいて主役または非主役のいずれかに判定する。判定部２５は、処理結果を矩形領域決定部２６に出力する。

矩形領域決定部２６は、低解像度病理画像上の主役と判定された細胞組織領域が内接するように矩形領域（矩形細胞組織領域）を設定し、その座標位置を撮像部１１に通知する。

［動作説明］
次に、病巣部位検出装置１０の動作について説明する。図２は、病巣部位検出装置１０による病理画像解析処理を説明するフローチャートである。

ステップＳ１において、撮像部１１は、プレパラート化されている解析対象物の全体を低解像度で撮像し、その結果得られる低解像度病理画像を画像処理部１２に出力する。

ステップＳ２において、画像処理部１２は、撮像部１１から入力された低解像度病理画像を細胞組織領域と背景領域とに分離し、細胞組織領域を内接する矩形細胞組織領域を特定し、その座標位置を撮像部１１に通知する。

ここで、ステップＳ２の処理（以下、細胞組織領域分離処理と称する）について、図３および図４を参照して詳述する。図３は、細胞組織領域分離処理を説明するフローチャートである。図４は、細胞組織領域分離処理の各ステップにて処理される低解像度病理画像を示している。

画像処理部１２においては、撮像部１１からの低解像度病理画像が特徴量算出部２１に入力される。撮像部１１からの低解像度病理画像は、例えば図４Ａに示されるようなものである。

ステップＳ１１において、特徴量算出部２１は、撮像部１１から入力された低解像度病理画像の各画素を順次注目画素に指定し、注目画素を中心とする所定サイズの画素ブロックを設定する。そして、注目画素の特徴量として、輝度差分特徴量をその画素ブロックに基づいて算出する。特徴量算出部２１は、低解像度病理画像とその各画素に対して算出した輝度差分特徴量を細胞組織領域検出部２２に出力する。細胞組織領域検出部２２は、低解像度病理画像を細胞組織領域とそれ以外とに区分し、例えば、図４Ｂに示すように、細胞組織領域については白色、それ以外の領域は黒色とした低解像度病理画像を膨張部２３に出力する。

ステップＳ１２において、膨張部２３は、低解像度病理画像上の細胞組織領域と区分された領域について膨張処理を行い、その結果得られる例えば図４Ｃに示すように、細胞組織領域の輪郭が微小に膨張された低解像度病理画像をラベリング部２４に出力する。

ステップＳ１３において、ラベリング部２４は、低解像度病理画像上に離散した各細胞組織領域（膨張処理済）に対して、異なるラベルを付与する領域ラベリング処理を行う。この結果、例えば、図４Ｄに示されるように、低解像度病理画像上に２つの細胞組織領域が存在している場合、一方に細胞組織領域Ａ、他方に細胞組織領域Ｂなどのラベリングが付与される。ラベリング部２４は、処理結果を判定部２５に出力する。

ステップＳ１４において、判定部２５は、低解像度病理画像上のラベルが付与された各細胞組織領域に対して、その領域の大小、細胞組織領域検出部２２におけるスコア（学習結果との類似度を示すスコア）ＳＤｉ、および低解像度病理画像上の位置に基づいてスコアＳＰｉに基づき、次式（１）を用いて主役度スコアＳＡを算出する。
ＳＡ＝Σ（ＳＤｉ×ＳＰｉ）・・・（１）
ここで、Σは各細胞組織領域に属する画素ｉについての総和を意味する。

また、低解像度病理画像上の位置に基づいてスコアＳＰｉについては、画面の中央に近いほどそのスコアが大きくなり、周辺ほどスコアが小さくなるように、図５に示す位置関係に対して、次式（２）を用いて算出した値を採用する。
ＳＰ＝１−SQR[（（ｘ／Ｗ）−０．５）^２×２＋（（ｙ／Ｈ）−０．５）^２×２]
・・・（２）

さらに、判定部２５は、そして、各細胞組織領域を主役度スコアＳＡに基づいて、主役または非主役のいずれかに判定する。この判定は、例えば、主役度スコアＳＡが所定の閾値を越えている細胞組織領域を主役に、その他を非主役に判定する。または、主役度スコアＳＡが大きい方から順に所定数（例えば、１）の細胞組織領域を主役に、その他を非主役に判定する。

図４の例では、図４Ｅに示すように、画面中央の最も大きな細胞組織領域が主役として判定される。判定部２５は、処理結果を矩形領域決定部２６に出力する。

ステップＳ１５において、矩形領域決定部２６は、低解像度病理画像上の主役と判定された細胞組織領域が内接するように矩形領域（矩形細胞組織領域）を設定し、その座標位置を撮像部１１に通知する。以上で、細胞組織領域分離処理は終了されて、処理は図２のステップＳ３に戻される。

ステップＳ３において、撮像部１１は、画像処理部１２から通知された矩形細胞組織領域の座標に基づき、プレパラート化されている解析対象物のうちの矩形細胞組織領域のみを高解像度で撮像し、その結果得られる高解像度病理画像を病理解析部１３に出力する。

ステップＳ４において、病理解析部１３は、撮像部１１から入力された高解像度病理画像を解析し、腫瘍等の病巣部位を検出する。以上で、病理画像解析処理は終了される。

この病理画像解析処理によれば、解析対象物の全体を高解像度で撮像して解析する場合に比較して、演算コストを削減でき、一連の処理に要する時間を短縮することができる。

[他の応用例]
なお、本発明は、例えば、図６に示すような、複数の解析対象物（細胞組織）が配置されているプレパラートをスキャニングする際の前処理に適用することができる。

すなわち、従来であれば、同図に示すようなプレパラートに対しては、その全域をスキャニングの対象とするか、または予め人手によって設定した領域をスキャニングの対象としていた。しかしながら、本願発明を適用することにより、図７Ａに示すように、プレパラート上の各解析対象物に対して個別に矩形細胞組織領域を設定したり、図７Ｂに示すように、プレパラート上の全ての解析対象物を内接するように矩形細胞組織領域を設定したりすることができる。よって、スキャニングの対象とする領域を必要最小限にとどめることができ、その所要時間を短縮することができる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０病巣部位検出装置，１１撮像部，１２画像処理部，１３病理解析部，２１特徴量算出部，２２細胞組織領域検出部，２３膨張部，２４ラベルリング部，２５判定部，２６矩形領域決定部，１００コンピュータ，１０１ CPU

Claims

解析対象物を撮像して得られた病理画像を解析する画像処理装置において、
病理画像の各画素の特徴量として輝度差分特徴量を算出する特徴量算出手段と、
前記輝度差分特徴得量に基づき、予め学習されている細胞組織検出器を用いて前記病理画像上の細胞組織領域を検出する検出手段と、
検出された細胞組織領域のサイズ、前記細胞組織検出器におけるスコア、および前記病理画像における位置に基づいて、前記病理画像上に存在する複数の細胞組織領域の中から主役となる前記細胞組織領域を判定する判定手段と、
主役として判定された前記細胞組織領域が内接する矩形領域を決定する矩形領域決定手段と
を含み、
前記細胞組織検出器は、細胞組織に対応する画像を用いた統計的学習により予め学習されている
画像処理装置。
設定された前記細胞組織領域に対応する病理画像を解析して病巣部位を検出する解析手段を
さらに含む請求項１に記載の画像処理装置。
解析対象物を撮像して前記病理画像を生成する撮像手段を
さらに含む請求項２に記載の画像処理装置。
前記特徴量算出手段は、前記撮像手段により低解像度で撮像された低解像度の病理画像の各画素の特徴量として輝度差分特徴量を算出し、
前記撮像手段は、決定された前記矩形領域に基づいて、前記解析対象物を高解像度で再撮像し、
前記解析手段は、前記撮像手段により高解像度で再撮像された高解像度病理画像を解析して病巣部位を検出する
請求項２に記載の画像処理装置。
前記統計的学習はBoostingである
請求項１に記載の画像処理装置。
解析対象物を撮像して得られた病理画像を解析する画像処理装置の画像処理方法において、
前記画像処理装置による、
病理画像の各画素の特徴量として輝度差分特徴量を算出する特徴量算出ステップと、
前記輝度差分特徴得量に基づき、予め学習されている細胞組織検出器を用いて前記病理画像上の細胞組織領域を検出する検出ステップと、
検出された細胞組織領域のサイズ、前記細胞組織検出器におけるスコア、および前記病理画像における位置に基づいて、前記病理画像上に存在する複数の細胞組織領域の中から主役となる前記細胞組織領域を判定する判定ステップと、
主役として判定された前記細胞組織領域が内接する矩形領域を決定する矩形領域決定ステップと
を含み、
前記細胞組織検出器は、細胞組織に対応する画像を用いた統計的学習により予め学習されている
画像処理方法。
解析対象物を撮像して得られた病理画像を解析するコンピュータを、
病理画像の各画素の特徴量として輝度差分特徴量を算出する特徴量算出手段と、
前記輝度差分特徴得量に基づき、予め学習されている細胞組織検出器を用いて前記病理画像上の細胞組織領域を検出する検出手段と、
検出された細胞組織領域のサイズ、前記細胞組織検出器におけるスコア、および前記病理画像における位置に基づいて、前記病理画像上に存在する複数の細胞組織領域の中から主役となる前記細胞組織領域を判定する判定手段と、
主役として判定された前記細胞組織領域が内接する矩形領域を決定する矩形領域決定手段と
して機能させ、
前記細胞組織検出器は、細胞組織に対応する画像を用いた統計的学習により予め学習されている
プログラム。