JPWO2013102949A1

JPWO2013102949A1 - 画像処理方法、画像処理装置、画像処理プログラム、および記録媒体

Info

Publication number: JPWO2013102949A1
Application number: JP2013552329A
Authority: JP
Inventors: 公太郎岡田; 和昭中根; 成昭松浦; 鈴木　貴; 貴鈴木
Original assignee: Chinou Jouhou Shisutemu Inc.; Osaka University NUC
Current assignee: Chinou Jouhou Shisutemu Inc.; Osaka University NUC
Priority date: 2012-01-04
Filing date: 2012-01-04
Publication date: 2015-05-11
Anticipated expiration: 2032-01-04
Also published as: JP5762571B2; WO2013102949A1

Abstract

画像処理方法において、生体組織の染色条件等に左右されることなく、二値化処理のための最適な閾値を得る。本発明は、生体組織画像から選択された複数個の所定点を色濃度に基づいて、異なる二色のＸＹ基準軸からなる二次元フィールド上にプロットして散布図を得る工程と、散布図における所定点の回帰直線を算出するとともに、回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する仮想直線を設定し、これら仮想直線により区画される領域を二次元フィールド上に設定する工程と、各領域に含まれる各所定点の数を示すヒストグラムを得る工程と、ヒストグラムから、分布ピーク値である第１ピーク値を得る工程と、ヒストグラムの分布線を微分して、該分布線の変曲点であるヒストグラム微分第１ピーク値を算出する工程と、第１ピーク値とヒストグラム微分第１ピーク値とから閾値を算出する工程とを含む。

Description

本発明は、生体組織画像に対して二値化処理を行って、二値化画像を得るための画像処理方法に関する。
また、本発明は、当該画像処理方法を実行する画像処理装置と、当該画像処理方法をコンピュータ上で動作させるための画像処理プログラム、および当該画像処理プログラムが記録された記録媒体に関する。

病理診断の分野において、生体組織画像を解析することで、癌細胞の有無を判別することは広く行われている。また、かかる病理診断に際して、生体組織画像に対して画像解析処理を行うことで、ヒューマンエラーの発生を抑えて客観性を担保する試みも広く行われている。このような画像解析においてはデジタル化された画像をそのまま解析するのではなく、画像処理を行って解析に必要な情報を整理したうえで解析が行われることが多く、画像処理の精度によって解析結果が異なるものとなることが避けられない。

すなわち、画像解析に際して最も頻繁に行われる画像処理は、二値化と呼ばれる処理により染色された生体組織画像を二色画像に変換する処理である。このため、二値化の精度が画像解析の精度を左右し、高精度の画像解析を行うためには、二値化処理のための適切な閾値を設定することがネックとなる。かかる閾値の設定方法の従来例としては、特許文献１乃至３などを挙げることができる。特許文献１においては、赤色、緑色、及び青色の波長領域における各濃度信号の最大値と最小値から、二値化処理のための閾値を算出している。特許文献２では、細胞像の濃度ヒストグラムのピークより閾値を得ている。特許文献３では、生体組織画像に対して閾値を大小に調整しながら二値化画像を得ている。

特公昭５９−４０５８号公報特公平４−１８３４７号公報特開平５−１８０８３２号公報

生体組織画像は、染色された生体組織を顕微鏡を介して撮像機器により撮像することで得られる。このため、生体組織に対する染色条件、或いは生体組織を撮像する際の撮像条件などの各種条件により、ばらつきが生じやすい。従って、特許文献１のような各色の波長領域における濃度信号の最大値と最小値から二値化処理のための閾値を算出する方法、或いは特許文献２のような細胞像の濃度ヒストグラムのピークより閾値を得る方法では、生体組織画像のばらつきにより、閾値も異なるものとなることは避けられず、当該閾値を使って画像処理をすることで得られる二値化画像を使って、客観性を担保しながら正確に病理診断を行うことは困難である。特許文献３に記載の方法では、大小に閾値を調整する作業が不可欠であり、迅速に最適な閾値を得ることができず、画像解析や病理診断を迅速に行なうことができない。

本発明は、以上のような従来の画像処理方法の問題点を解決することを目的としてなされたものであり、生体組織の染色条件、或いは生体組織の撮像条件のばらつきに左右されることなく、適切且つ迅速に二値化処理のための最適な閾値を得ることができ、従って、病理診断の客観性の向上および迅速化に大いに貢献することができる、画像処理方法を提供することにある。

本発明に係る画像処理方法は、生体組織画像から選択された複数個の所定点を、各所定点の色濃度に基づいて、異なる二色のＸＹ基準軸からなる二次元フィールド上にプロットして、所定点の散布図を得る工程と、前記散布図における所定点の回帰直線を算出するとともに、前記回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、これら仮想直線により区画される多数個の領域を前記二次元フィールド上に設定する工程と、前記各領域に含まれる各所定点の数を示すヒストグラムを得る工程と、前記ヒストグラムから、分布ピーク値である第１ピーク値（Ｈｐ）を得る工程と、前記ヒストグラムの分布線を微分して、該分布線の変曲点であるヒストグラム微分第１ピーク値（Ｄｐ）を算出する工程と、前記第１ピーク値（Ｈｐ）と前記ヒストグラム微分第１ピーク値（Ｄｐ）とを下記の数式に代入して、前記生体組織画像を二値化処理する際に使用する閾値を算出する工程と、前記閾値を交点とする該回帰直線に対し直交する閾値直線を得る工程と、該閾値直線を使って生体組織画像に対して二値化処理を施して二値化画像を得る工程と、を含む。
＜数式＞
（Ｈｐ−Ｄｐ）×変数＋Ｄｐ＝閾値
変数：病理診断対象となる生体組織画像に応じて、予め決定されている値（０．５〜０．９）

本発明における第１ピーク値（Ｈｐ）とは、ヒストグラムにおいて原点から最も近い位置に現出されるピークの値を意味する。ヒストグラム微分第１ピーク値（Ｄｐ）とは、一次微分曲線において原点からも最も近い位置に現出されるピーク値であり、要は、原点から第１ピーク値（Ｈｐ）に至る分布線の変曲点を意味する。
また、本発明における「生体組織画像から選択された複数個の所定点を、各所定点の色濃度に基づいて、異なる二色のＸＹ基準軸からなる二次元フィールド上にプロットする」とは、例えば青の輝度をＸ軸に、赤の輝度をＹ軸に取った二次元フィールド上に、生体組織画像から任意に選択された複数個のピクセル点の青、赤の各輝度をプロットする態様のみならず、生体組織画像に含まれる全てのピクセル点が選択されて、これら全てのピクセル点の輝度を二次元フィールド上にプロットする態様をも含む概念である。

本発明における閾値直線とは、該第１ピーク値（Ｈｐ）とヒストグラム微分第１ピーク値（Ｄｐ）により求められる閾値をＸ座標の値とし、回帰直線の式に該Ｘ座標を代入して得られるＹ座標の値をＹ座標の値とした二次元プロット上の点（回帰直線上の点）を通り、回帰直線に直交した直線である。
また、閾値直線による二値化処理とは、各所定点が、閾値直線により二分される二次元プロット領域のどちらに分布されるかにより二値化する処理を意味する。

前記生体組織画像が、癌組織の像が含まれているか否かを判断するための病理診断画像である場合には、前記変数は０．６に設定することが好ましい。

本発明に係る画像処理装置は、生体組織画像から選択された複数個の所定点を、各所定点の色の輝度に基づいて、異なる二色のＸＹ基準軸からなる二次元フィールド上にプロットして、所定点の散布図を作成する散布図作成手段と、前記散布図における所定点の回帰直線を算出する回帰直線算出手段と、前記回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、該仮想直線により区画される多数個の領域を前記二次元フィールド上に設定する領域設定手段と、前記各領域に含まれる各所定点の数を示すヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラム作成手段により得られた前記ヒストグラムの分布線を微分して、一次微分曲線を得る微分手段と、前記ヒストグラムの分布線から分布ピーク値である第１ピーク値（Ｈｐ）を得るとともに、前記微分手段により得られた一次微分曲線から該分布線の変曲点であるヒストグラム微分第１ピーク値（Ｄｐ）を得るピーク値算出手段と、前記第１ピーク値（Ｈｐ）と前記ヒストグラム微分第１ピーク値（Ｄｐ）とを下記の数式に代入して、生体組織画像を二値化処理する際に使用する閾値を算出する閾値算出手段と、前記閾値算出手段により得られた閾値を交点とする該回帰直線に対し直交する閾値直線を得る閾値直線算出手段と、前記閾値直線を使って生体組織画像に対して二値化処理を施して二値化画像を得る二値化処理手段と、を備えることを特徴とする。
＜数式＞
（Ｈｐ−Ｄｐ）×変数＋Ｄｐ＝閾値
変数：病理診断対象となる生体組織画像に応じて、予め決定されている値（０．５〜０．９）

前記生体組織画像が、癌組織の像が含まれているか否かを判断するための病理診断画像である場合には、前記変数は０．６に設定することが望ましい。

本発明は、上記画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラムである。

また、本発明は、上記画像処理プログラムが記録された、コンピュータにより読取可能な記録媒体である。

本発明においては、散布図における所定点の回帰直線と、該所定点の分布状況を示すヒストグラムから、分布ピーク値である第１ピーク値（Ｈｐ）とヒストグラム微分第１ピーク値（Ｄｐ）とを算出する。次いで、これら第１ピーク値（Ｈｐ）とヒストグラム微分第１ピーク値（Ｄｐ）とから、二値化処理のための閾値を算出し、該閾値を用いて閾値直線を算出し、閾値直線を用いて生体組織画像に二値化処理を施して二値化画像を得る。

このように、回帰直線と直交する方向に該所定点をカウントしたヒストグラムを用いて二値化処理のための閾値直線を得ていると、従来のＸＹ基準軸の原点からの距離に係る該所定点の分布状況を示すヒストグラムを用いて閾値を得る方法においては不可避となる、生体組織の染色条件のばらつき、或いは生体組織の撮像条件のばらつきといった影響を排除することができる。従って、本発明によれば、染色条件或いは撮像条件のばらつきに左右されることなく、二値化処理のための最適な閾値直線を得ることができ、病理診断の客観性の向上および迅速化に大いに貢献することができる。

一例を挙げると、同一の生体組織に対して、同一の染色時間で染色を行うとともに、同一の撮像条件で撮像を行った場合でも、染色剤の色具合が異なると、最終的に得られる生体組織画像は異なるものとなる。つまり、赤みがかった染色剤を用いると、生体組織画像も赤みがかったものとなり、青みがかった染色剤を用いると、生体組織画像も青みがかったものとなる。図２０（ａ）（ｂ）に、これら二種の生体組織画像に含まれる全ピクセル点を、各ピクセル点の輝度（赤色と青色の色強度）に基づいて、赤色と青色のＸＹ基準軸からなる二次元フィールド上にプロットして得られた、ピクセル点の散布図を模式的に示す。図２０（ａ）は、赤みがかった染色剤を用いた場合の散布図を、図２０（ｂ）は、青みがかった染色剤を用いた場合の散布図を示す。つまり、赤みがかった染色剤を用いた場合には、図２０（ａ）に示すように、各ピクセル点は赤色の色強度が高く、青色の色強度が低いものとなる。一方、青みがかった染色剤を用いた場合には、図２０（ｂ）に示すように、各ピクセル点は青色の色強度が高く、赤色の色強度が低いものとなる。

図２１（ａ）は、図２０（ａ）（ｂ）の散布図より作成された、Ｘ軸の値の頻度を示したヒストグラムである。図２１（ｂ）は、図２０（ａ）（ｂ）の散布図より作成された、回帰直線に直交した方向に各ピクセル点をカウントしたヒストグラムである。なお、ここで言う回帰直線に直交した方向に各ピクセル点をカウントしたヒストグラムとは、具体的には、回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、該仮想直線により区画される領域内に所属する各ピクセルの数をカウントすることで作成されたものである。

図２１（ａ）（ｂ）において、斜線領域は、二値化処理において採用されるべき領域を示している。すなわち、当該斜線領域が採用されるような閾値直線を使って二値化処理を施せば、最終的に、染色剤の色具合とは無関係に同一の二値化画像を得ることができる。換言すれば、図２１（ａ）（ｂ）における「閾値」とは、二値化処理に最適な閾値を示している。

図２１（ａ）および図２１（ｂ）の比較からわかるように、図２１（ａ）のヒストグラムでは、二つの分布曲線の形状が全く異なる。つまり、図２１（ａ）のヒストグラムでは、染色剤の色具合という染色条件の影響を受けて、二つの分布線の形状は全く異なるものとなっている。このため、これら二つの分布線より、一義的に最適な二値化処理のための閾値を得ることは不可能である。つまり、図２１（ａ）のヒストグラムでは、これら二つの分布線の第１ピーク値などの各種値と、最適な閾値との間に相関関係を見出すことは全くできない。
以上のように、Ｘ軸の値の頻度を示すヒストグラムを使って、最適な閾値を算出することは不可能である。

一方、図２１（ｂ）のヒストグラムでは、二つの分布線の位置（Ｘ軸方向における位置）、ピーク高さ（Ｙ軸方向の高さ）、および分布線幅（Ｘ軸方向の幅）などの点において異なるものの、二つの分布線の形状は略同じ形状となっている。より詳しくは、図２１（ｂ）に示す例では、分布線のＸ軸方向に全幅における最適な閾値の位置（Ｘ軸方向の位置）は、二つの分布線において同位置にある。このため、これら二つの分布線より、一義的に同一の最適な二値化処理のための閾値を得ることは可能である。つまり、図２１（ｂ）のヒストグラムでは、これら二つの分布線と最適な閾値との間には相関関係があり、従って、当該分布線に基づいて、一義的に最適な閾値を得ることは可能である。

そのうえで、本発明者等は、最適な閾値と分布線とを比較して、その相関関係について鋭意検討した結果、分布線の第１ピーク値（Ｈｐ）、および分布線の変曲点であるヒストグラム微分第１ピーク値（Ｄｐ）とから、最適な閾値を算出することが可能であることを見出した。

具体的には、常に最適な閾値は、第１ピーク値（Ｈｐ）よりも小さな値を取ること、および、常に最適な閾値は、ヒストグラム微分第１ピーク値（Ｄｐ）よりも大きな値を取ることを見出した。そのうえで、これら三者の間には、下記の数式で表される関係があることを見出して、本発明を完成するに至った。
＜数式＞
（Ｈｐ−Ｄｐ）×変数＋Ｄｐ＝閾値（最適な閾値）

尤も、上記のような閾値の算出方法において使用される「変数」は、病理診断の対象となる生体組織画像によって異なる。本発明者等の知見によれば、生体組織画像が、癌組織の像が含まれているか否かを判断するための病理診断画像である場合には、変数は０．６に設定することが好ましい。これは、当該変数（０．６）を採用することで得られる閾値を用いて二値化処理を行って二値化画像を作成すると、細胞の核部分の周縁が明確に現出されるとの経験則に拠る。なお、これら変数は、病理診断の対象をプログラム上で決定する際に、自動或いは手動で選択されるようにすればよい。

以上のように、本発明に係る画像処理方法、或いは画像処理装置を用いれば、生体組織の染色条件、或いは生体組織の撮像条件のばらつきに左右されることなく、適切且つ迅速に二値化処理のための最適な閾値を得ることができる。従って、病理診断の客観性の向上および迅速化の向上に大いに貢献することができる。また、当該画像処理方法は、コンピュータ上で動作するプログラムデータ（画像処理プログラム）の形で提供することができ、さらに、当該画像処理プログラムが記録された記録媒体の形で提供することができる。

本発明に係る画像処理装置の構成を示す概略図である。本発明に係る画像処理方法を示すフローチャートである。生体組織画像の一例を示す図である。上記生体組織画像の二値化画像であり、最適な閾値直線により二値化処理を行って得られるものである。上記生体組織画像の二値化画像であり、第１ピーク値（Ｈｐ）により二値化処理を行って得られるものである。上記生体組織画像の二値化画像であり、ヒストグラム微分第１ピーク値（Ｄｐ）により二値化処理を行って得られるものである。生体組織画像から選択された複数個の所定点を、各所定点の色の輝度に基づいて、異なる二色の基準軸からなる二次元フィールド上にプロットして得られる所定点の散布図である。なお、図７では、生体組織画像を構成する全ピクセル点を二次元フィールド上にプロットすることで散布図を作成している。各所定点の回帰直線に直交する方向に各所定点の数をカウントしたヒストグラムである。図８のヒストグラムの分布線を微分することで得られる、一次微分曲線である。（ａ）〜（ｃ）は、生体組織画像から選択された複数個の所定点を、各所定点の色の輝度に基づいて、異なる二色の基準軸からなる二次元フィールド上にプロットして得られた、所定点の散布図を模式的に示す図である。（ａ）〜（ｃ）は、同一の生体組織に対して、異なる色具合を有する着色剤を用いて着色して得られた生体組織画像の散布図であり、（ａ）は（ｂ）に比べて、赤みがかった着色剤を用いて着色された生体組織画像の散布図を、（ｃ）は（ｂ）に比べて、青みがかった着色剤を用いて着色された生体組織画像の散布図を示している。各所定点の回帰直線に直交する方向に各所定点の数をカウントしたヒストグラムであり、二点鎖線は図１０（ａ）に、実線は図１０（ｂ）に、破線は図１０（ｃ）に対応している。図１１のヒストグラムの分布線を微分することで得られる、一次微分曲線であり、二点鎖線は図１０（ａ）に、実線は図１０（ｂ）に、破線は図１０（ｃ）に対応している。（ａ）〜（ｃ）は、閾値を使った二値化処理を説明するためのヒストグラムであり、斜線領域が二値化処理で採用されるピクセルの領域を示している。生体組織画像から選択された複数個の所定点を、各所定点の色の輝度に基づいて、異なる二色の基準軸からなる二次元フィールド上にプロットして得られた、所定点の散布図を模式的に示すものである。同図は、同一の生体組織に対して、同一の染色条件で染色された生体組織に対して、異なる３種の撮像機器を用いて撮像された生体組織画像から作成された散布図を示している。各所定点の回帰直線に直交する方向に各所定点の数をカウントしたヒストグラムであり、（ａ）は図１４の二点鎖線で示される回帰直線で特定される散布図に対応し、（ｂ）は図１４の実線で示される回帰直線で特定される散布図に対応し、（ｃ）は図１４の破線で示される回帰直線で特定される散布図に対応している。生体組織画像から選択された複数個の所定点を、各所定点の色濃度に基づいて、異なる二色の基準軸からなる二次元フィールド上にプロットして得られた、所定点の散布図を模式的に示すものである。（ａ）〜（ｃ）は、同一の生体組織に対して、同一の着色条件で、異なる露光条件（撮像条件）で撮像された生体組織画像の散布図を示しており、（ａ）は（ｂ）に比べて露光が少ない場合、（ｃ）は（ｂ）に比べて露光が多い場合を示している。仮想直線で規定される各領域に含まれる各所定点の数を示すヒストグラムであり、二点鎖線は図１６（ａ）に対応し、実線は図１６（ｂ）に対応し、破線は図１６（ｃ）に対応している。図１７のヒストグラムの分布線を微分することで得られる、一次微分曲線であり、二点鎖線は図１６（ａ）に対応し、実線は図１６（ｂ）に対応し、破線は図１６（ｃ）に対応している。（ａ）〜（ｃ）は、閾値を使った二値化処理を説明するためのヒストグラムであり、斜線領域が二値化処理で採用されるピクセルの領域を示している。（ａ）（ｂ）は、生体組織画像から選択された複数個の所定点を、各所定点の色濃度に基づいて、異なる二色の基準軸からなる二次元フィールド上にプロットして得られた、所定点の散布図を模式的に示す図である。（ａ）（ｂ）は、同一の生体組織に対して、異なる色具合を有する着色剤を用いて着色して得られた生体組織画像の散布図であり、（ａ）は赤みがかった着色剤を用いて着色された生体組織画像の散布図を、（ｂ）は青みがかった着色剤を用いて着色された生体組織画像の散布図を示している。（ａ）は、各所定点のＸＹ基準軸の原点からの距離に係る所定点の分布状況を示すヒストグラムであり、（ｂ）は、仮想直線で規定される各領域に含まれる各所定点の数を示すヒストグラムである。

本発明は、画像解析により生体組織に癌細胞等が含まれているか否かを判定する病理診断を行う際に、画像解析の前処理として行われる生体組織画像を二値化処理するための画像処理方法を対象とする。かかる生体組織画像は染色された生体組織を顕微鏡により撮像することで得られるものであるが、該生体組織画像が、生体組織の染色条件、或いは、撮像条件などの各種条件によりばらつくことが多いことは先に述べたとおりである。

（染色剤にばらつきがある場合）
図１０（ａ）〜（ｃ）は、色相の異なる３種の染色剤を使用して得られた生体組織画像から作成された散布図を示す。すなわち、図１０（ａ）〜（ｃ）は、生体組織画像から選択された複数個の所定点（ここでは生体組織画像を構成する全ピクセル点）を、各所定点の色濃度に基づいて、赤色と青色のＸＹ基準軸からなる二次元フィールド上にプロットして得られた所定点の散布図であり、図１０（ａ）〜（ｃ）では、各所定点に係るピクセルをＲ、Ｇ、Ｂの色成分に分解し、そのうちのＲ（赤色：縦軸）とＢ（青色：横軸）の色成分に基づいて、各所定点を二次元フィールド上にプロットしている。

図１０（ａ）〜（ｃ）では、一つの生体組織画像から赤色、或いは青色の色相を上下に変更することで、計３つの生体組織画像を作成して、これらを色相の異なる染色剤を用いて染色されて得られた生体組織画像と想定している。より詳しくは、図１０（ａ）は、図１０（ｂ）に係る元データとなる生体組織画像から赤色の色相を上げて得られたサンプル画像データに基づいて作成された散布図であり、図１０（ｂ）に示す形態よりも、生体組織の全体が、赤みがかった染色剤を用いて染色された場合を想定している。図１０（ｃ）は、図１０（ｂ）に係る元データとなる生体組織画像から青色の色相を上げて得られたサンプル画像データに基づいて作成された散布図であり、図１０（ｂ）に示す形態よりも、生体組織の全体が、青みがかった染色剤を用いて染色された場合を想定している。赤みがかった染色剤を用いた場合には、図１０（ａ）に示すように、各ピクセル点は赤色の色強度が強く、青色の色強度が低いものとなる。一方、青みがかった染色剤を用いた場合には、図１０（ｃ）に示すように、各ピクセル点は青色の色強度が強く、赤色の色強度が低いものとなる。

次に、仮想直線で規定される各領域に含まれる各所定点の数を示すヒストグラムを作成する。具体的には、図１０（ａ）〜（ｃ）に示すように、散布図における所定点の回帰直線を算出したうえで、回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、該仮想直線により区画領域を二次元フィールド上に設定する。次に、各所定点の前記領域に対する所属状況に基づいて、ヒストグラムを作成する。図１１は、ヒストグラムを示しており、図１１の二点鎖線は図１０（ａ）の分布図に対応し、実線は図１０（ｂ）の分布図に対応し、破線は図１０（ｃ）の分布図に対応している。図１１において、Ｈｐは、ヒストグラムの第１ピーク値を示す。

次に、ヒストグラムの分布線を微分して、一次微分曲線を作成する。図１２は、かかる一次微分曲線を示しており、二点鎖線は図１０（ａ）の分布図に対応し、実線は図１０（ｂ）の分布図に対応し、破線は図１０（ｃ）の分布図に対応している。また、図１２におけるＤｐは、ヒストグラム微分第１ピーク値を示す。また、図１２の中央に位置する一次微分曲線に対する左右のヒストグラムのシフト距離（ｄ１′、およびｄ２′）が、図１１の中央に位置するヒストグラムに対する左右のヒストグラムのシフト距離（ｄ１′、およびｄ２′）と完全に一致していることが着目される。

次に、これら第１ピーク値（Ｈｐ）と、ヒストグラム微分第１ピーク値（Ｄｐ）とを、上記の数式（変数：０．６）に代入して、最適な閾値を算出する。すなわち、図１０（ａ）〜（ｃ）の各ヒストグラムに対応する三つの閾値を算出する。

次に、該第１ピーク値（Ｈｐ）とヒストグラム微分第１ピーク値（Ｄｐ）により求められる閾値をＸ座標の値とし、回帰直線の式に該Ｘ座標を代入して得られるＹ座標の値をＹ座標の値とした二次元プロット上の点（回帰直線上の点）を通り、回帰直線に直交した閾値直線を算出する。

次に閾値直線による二値化処理を行う。具体的には各所定点が、閾値直線により二分される二次元プロット領域のどちらに分布されるかにより二値化する処理を行う。

図１３（ａ）〜（ｃ）の斜線領域は、これら閾値直線を使った二値化処理において、採用される領域を示す。これら図１３（ａ）〜（ｃ）より明らかなように、いずれのヒストグラムにおいても、閾値直線を使った二値化処理により同じ面積領域を抽出できることがわかる。
すなわち、本発明に係る画像処理方法を用いれば、染色剤の色具合という染色条件の影響を受けることなく、常に同じ二値化画像を得ることができる。このことは、二値化の精度が格段に向上することを意味し、従って、より正確に病理診断を実行することができる。また、ヒューマンエラーの介入を抑えて、正確な病理診断の実行に貢献できる。より迅速に最適な二値化画像を得ることができる点でも優れている。

（撮像機器にばらつきがある場合）
撮像機器であるカメラにおいては、画像エンジンと称される画像処理専用のＩＣが、撮像素子から出力されたデータに対して、色空間変換、ガンマ補正、ノイズリダクション等の種々の画像処理を行う。このため、カメラのメーカー、或いは種別が異なると、画質の傾向が異なるものとなることは広く知られている。つまり、同一の染色条件で染色された生体組織であっても、撮像機器の種別という撮像条件が異なるものであると、最終的に得られる生体組織画像が異なるものとなることが避けられない。

図１４は、異なる３種の撮像機器を使って撮像することで得られた３つの生体組織画像の散布図を概念的に示す図である。ここでは、図１４の実線で示される回帰直線で特定される散布図を元データとして、当該元データに係る散布図を赤色が強調される方向にシフトすることで、破線で示される回帰直線で特定される散布図を得て、これを赤色が強調される傾向にあるカメラを使って撮像された生体組織画像の散布図としている。また、当該元データに係る散布図を赤色が減退される方向にシフトすることで、二点鎖線で示される回帰直線で特定される散布図を得て、これを赤色が減退される傾向にあるカメラを使って撮像された生体組織画像の散布図としている。なお、図１４においては、比較のため、これら三つの散布図を同一の二次元フィールド（縦軸：赤色、横軸：青色）上に記載している。

次に、図１４に示される三つの散布図のそれぞれに対して、所定点の分布状況を示すヒストグラムを作成する。具体的には、散布図における所定点の回帰直線を算出したうえで、回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、該仮想直線により区画された領域を二次元フィールド上に設定する。次に、各所定点の前記領域に対する所属状況に基づいて、該所定点の分布状況を示すヒストグラムを作成する。図１５は、ヒストグラムを示しており、図１５（ａ）のヒストグラムは、図１４の二点鎖線で示される回帰直線で特定される散布図に対応し、図１５（ｂ）のヒストグラムは、図１４の実線で示される回帰直線で特定される散布図に対応し、図１５（ｃ）のヒストグラムは、図１４の破線で示される回帰直線で特定される散布図に対応している。このように、ヒストグラムを作成することで、各ヒストグラムの第１ピーク値（Ｈｐ）を得ることができる。

次に、各ヒストグラムの分布線を微分して一次微分曲線を作成し、ヒストグラム微分第１ピーク値（Ｄｐ）を得る。

次に、これら第１ピーク値（Ｈｐ）と、ヒストグラム微分第１ピーク値（Ｄｐ）とを、上記の数式（変数：０．６）に代入して、最適な閾値を算出する。すなわち、図１５（ａ）〜（ｃ）の各ヒストグラムに対応する三つの閾値を算出する。

図１５（ａ）〜（ｃ）の斜線領域は、これら閾値直線を使った二値化処理において、採用される領域を示す。これら図１５（ａ）〜（ｃ）より明らかなように、いずれのヒストグラムにおいても、閾値直線を使った二値化処理により同じ面積領域を抽出できることがわかる。
すなわち、本発明に係る画像処理方法を用いれば、異なる撮像機器を用いることに起因する、画質の指向性のばらつきという撮像条件の影響を受けることなく、常に同じ二値化画像を得ることができる。このことは、二値化の精度が格段に向上することを意味し、従って、より正確に病理診断を実行することができる。また、ヒューマンエラーの介入を抑えて、正確な病理診断の実行に貢献できる。より迅速に最適な二値化画像を得ることができる点でも優れている。

（露出条件にばらつきがある場合）
同一の染色条件で染色された生体組織に対して、同一の撮像機器を使って撮像が行われた場合であっても、露出条件という撮像条件が異なるものとなると、最終的に得られる生体組織画像が異なるものとなることが避けられない。

図１６（ａ）〜（ｃ）は、同一の染色条件で染色された一つの生体組織に対して、同一の撮像機器を使って、３種の異なる露出条件で撮像された生体組織画像の散布図を概念的に示す図である。図１６（ａ）の散布図の元データとなる生体組織画像は、図１６（ｂ）の散布図の元データとなる生体組織画像よりも露出を絞って撮像されたものである。また、図１６（ｃ）の散布図の元データとなる生体組織画像は、図１６（ｂ）の散布図の元データとなる生体組織画像よりも露出を開いて撮像されたものである。すなわち、露出が絞られると、生体組織画像を構成する各ピクセル点は原点に近づく方向に移動し、露出が開かれると、各ピクセル点は、原点から遠ざかる方向に移動する。

図１６（ａ）における二点鎖線、図１６（ｂ）における実線、および図１６（ｃ）における破線は、各散布図の回帰直線を示している。これら図１６（ａ）〜（ｃ）の回帰直線より明らかなように、異なる露出条件で撮像された生体組織画像であっても、その回帰直線は同じものとなる。

次に、図１６に示される三つの散布図のそれぞれに対して、ヒストグラムを作成する。具体的には、散布図における所定点の回帰直線を算出したうえで、回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、該仮想直線により区画される領域を二次元フィールド上に設定する。次に、各所定点の前記領域に対する所属状況に基づいて、該所定点の分布状況を示すヒストグラムを作成する。

図１７は、以上のようにして作成されたヒストグラムを示しており、図１７において二点鎖線で示されるヒストグラムは、図１６（ａ）の散布図に対応し、図１７において実線で示されるヒストグラムは、図１６（ｂ）の散布図に対応し、図１７において破線で示されるヒストグラムは、図１６（ｃ）の散布図に対応する。これにて、各ヒストグラムの第１ピーク値（Ｈｐ）を得ることができる。

次に、図１８に示すように、各ヒストグラムの分布線を微分して一次微分曲線を作成し、ヒストグラム微分第１ピーク値（Ｄｐ）を得る。図１８において二点鎖線で示される一次微分曲線は、図１６（ａ）の散布図に対応し、図１８において実線で示される一次微分曲線は、図１６（ｂ）の散布図に対応し、図１８において破線で示される一次微分曲線は、図１６（ｃ）の散布図に対応する。これにて、各ヒストグラムのヒストグラム微分第１ピーク値（Ｄｐ）を得ることができる。

次に、これら第１ピーク値（Ｈｐ）と、ヒストグラム微分第１ピーク値（Ｄｐ）とを、上記の数式（変数：０．６）に代入して、最適な閾値を算出する。すなわち、図１７の各ヒストグラムに対応する三つの閾値を算出する。

図１９（ａ）〜（ｃ）の斜線領域は、これら閾値直線を使った二値化処理において、採用される領域を示す。これら図１９（ａ）〜（ｃ）より明らかなように、いずれのヒストグラムにおいても、閾値直線を使った二値化処理により、全体に対して同じ割合の面積領域を抽出できることがわかる。すなわち、本発明に係る画像処理方法を用いれば、露出条件という撮像条件の影響を受けることなく、常に同じ二値化画像を得ることができる。このことは、二値化の精度が格段に向上することを意味し、従って、より正確に病理診断を実行することができる。また、ヒューマンエラーの介入を抑えて、正確な病理診断の実行に貢献できる。より迅速に最適な二値化画像を得ることができる点でも優れている。

（画像処理装置の構成）
図１に示すように、本発明に係る画像処理装置１は、画像取得部２、記憶部３、画像処理部４、表示制御部５、表示部６、一次記憶部７を備えている。なお、当該画像処理装置１は、市販のパーソナルコンピュータに専用の画像処理プログラムをインストールしてなるものであってもよい。

画像取得部２は、外部の装置（例えば、撮像装置）から生体組織を撮像した生体組織画像を取得し、該生体組織画像を記憶部３に記憶させるものである。画像取得部２の具体例としては、撮像装置により撮像された生体組織画像を直接受けるキャプチャーカードのほか、メモリカードから情報を読み取るカードリーダ、或いはＵＳＢメモリから情報を読み取るリーダー装置などを挙げることができる。

本発明における生体組織の染色方法は、特に限定されず、例えば、ＨＥ（Hematoxilin-Eosin）染色などを挙げることができる。ＨＥ染色では、細胞核および細胞質が染色され、細胞および細胞構造の全体像を把握することができる。図３に、ＨＥ染色により得られた生体組織画像を示す。

記憶部３は、ハードディスク、或いはフラッシュメモリなどの不揮発性の記憶装置であり、画像取得部２を介して取得された生体組織画像のほか、画像処理部４により作成された、散布図、回帰直線、仮想直線で区画された領域、ヒストグラム、一次微分曲線、第１ピーク値（Ｈｐ）、ヒストグラム微分第１ピーク値（Ｄｐ）などの各種データが格納される。また、記憶部３には、画像取得部２、表示制御部５などを制御するための各種制御プログラムのほか、ＯＳプログラムが格納されている。さらに、本発明に係る画像処理方法を実行するためのアプリケーションプログラム（画像処理プログラム）が予めインストールされて、格納されている。なお、図外のＲＯＭ（Read Only Memory）には、システムプログラムなどが格納されている。

画像処理部４は、所謂ＣＰＵ（Central Processing Unit）と称される中央処理装置であり、記憶部３の格納されているアプリケーションプログラムに基づいて、ＲＡＭ（Random Access Memory）である一次記憶部７を作業領域として、画像処理を実行する。具体的には、画像処理部４は、アプリケーションプログラムに基づいて、散布図作成部（散布図作成手段）、回帰直線算出部（回帰直線算出手段）、領域設定部（領域設定手段）、ヒストグラム作成部（ヒストグラム作成手段）、微分部（微分手段）、ピーク値算出部（ピーク値算出手段）、閾値算出部（閾値算出手段）、閾値直線算出部（閾値直線算出手段）、および二値化処理部（二値化処理手段）として機能する。画像処理部４の具体的動作については後述する。

表示制御部５は、表示部６を制御することにより、画像処理部４による処理結果等を表示部６に表示するものであり、グラフィックチップ、或いはグラフィックチップを搭載したグラフィックカードなどである。表示部６は、例えば液晶表示装置である。

次に、以上のような構成からなる画像処理装置１による画像処理方法について、図２のフローチャートを参照して説明する。まず、画像処理に係るアプリケーションプログラムが立ち上げられた状態から、図３に示すような生体組織画像が取得されると（Ｓ１）、画像処理部４は、散布図作成部として機能として、散布図（図７参照）を作成する（Ｓ２）。尤も、予め記憶部３内に格納されている生体組織画像から散布図を作成してもよい（Ｓ２）。

具体的には、画像処理部４は、生体組織画像から選択された複数個の所定点を、各所定点の色濃度に基づいて、異なる二色の基準軸からなる二次元フィールド上にプロットして、図７に示すような散布図を作成する。図７においては、横軸（Ｘ軸）を青色とし、縦軸（Ｙ軸）を赤色とする二次元フィールドを用いて散布図を作成している。また、生体組織画像に含まれる数万個の各所定点に係るピクセルをＲ、Ｇ、Ｂの色成分に分解し、そのうちのＲ（赤色）とＢ（青色）の色成分に基づいて、各所定点を二次元フィールド上にプロットしている。画像処理部４は、表示制御部５を介して、得られた散布図を表示部６に表示する。また、画像処理部４は、生体組織画像と関連するファイル名を散布図に付して記憶部３に格納する。

次に、画像処理部４は、回帰直線算出部として機能して、最小二乗法により回帰直線を算出する。すなわち、散布図上の全てのプロット、或いは散布図から抽出された任意の所定点に基づいて回帰直線を算出する（Ｓ３）。画像処理部は、表示制御部５を介して、得られた回帰直線を表示部６に表示する。また、画像処理部４は、生体組織画像と関連するファイル名を回帰直線に付して記憶部３に格納する。

次に、画像処理部４は、領域設定部として機能して、二次元フィールドを多数個の領域に設定する（Ｓ４）。具体的には、画像処理部４は、回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、該仮想直線により区画される領域を二次元フィールド上に設定する。なお、図７においては、数本の仮想直線が引かれた形態が示されているが、実際には、上述のように、図１６（ａ）〜（ｃ）に示すように、回帰直線上の等間隔位置に多数本の仮想直線が引かれる。画像処理部４は、表示制御部５を介して、得られた仮想直線および領域を表示部６に表示する。また、画像処理部４は、生体組織画像と関連するファイル名を仮想直線および領域に比して記憶部３に格納する。

次に、画像処理部４は、ヒストグラム作成部として機能して、各所定点の前記領域に含まれる所定点の数を示すヒストグラム（図８参照）を作成する（Ｓ５）。画像処理部４は、表示制御部５を介して、得られたヒストグラムを表示部６に表示する。また、画像処理部４は、生体組織画像と関連するファイル名をヒストグラムに付して記憶部３に格納する。

次に、画像処理部４は、ピーク値算出部として機能して、先のヒストグラムから第１ピーク値（Ｈｐ）を得る（Ｓ６）。ここでいう第１ピーク値（Ｈｐ）とは、ヒストグラムの分布線において、原点から最も近い位置に現出される最初のピーク値を示す。尤も、図８に示すヒストグラムの例では、ピークは一つしか現出していない。画像処理部４は、表示制御部５を介して、得られた第１ピーク値（Ｈｐ）を表示部６に表示する。また、画像処理部４は、生体組織画像と関連する名称を第１ピーク値（Ｈｐ）に付して記憶部３に格納する。

次に、画像処理部４は、微分手段として機能して、先のＳ６で得られたヒストグラムの分布線に対して微分処理を行って、一次微分曲線を得る（Ｓ７）。図９は、かかる微分処理により得られた一次微分曲線を示している。画像処理部４は、表示制御部５を介して、得られた一次微分曲線を表示部６に表示する。また、画像処理部４は、生体組織画像と関連するファイル名を一次微分曲線に付して記憶部３に格納する。

次に、画像処理部４は、ピーク値算出部として機能して、先の一次微分曲線からヒストグラム微分第１ピーク値（Ｄｐ）を得る（Ｓ８）。ここでいうヒストグラム微分第１ピーク値（Ｄｐ）とは、一次微分曲線において、原点から最も近い位置に現出される最初のピーク値を示す。すなわち、ヒストグラム微分第１ピーク値（Ｄｐ）は、原点から第１ピーク値（Ｈｐ）に至る、先のヒストグラムの分布線の変曲点である。画像処理部４は、表示制御部５を介して、得られたヒストグラム微分第１ピーク値（Ｄｐ）を表示部６に表示する。また、画像処理部４は、生体組織画像と関連する名称をヒストグラム微分第１ピーク値（Ｄｐ）に付して記憶部３に格納する。

次に、画像処理部４は、閾値算出部として機能して、先のＳ６で得られた第１ピーク値（Ｈｐ）、およびＳ８で得られたヒストグラム微分第１ピーク値（Ｄｐ）を、数式（（Ｈｐ−Ｄｐ）×変数＋Ｄｐ＝閾値）に代入して閾値を算出する（Ｓ９）。かかる数式に含まれる変数が、病理診断の対象となる生体組織画像によって異なるものであることは先に述べたとおりであり、本実施例のように、生体組織画像が、癌組織の像が含まれているか否かを判断するための病理診断画像である場合には、変数は０．６に設定されている。かかる変数の選択が、病理診断の対象を画像処理装置のプログラム上で決定する際に、自動或いは手動で選択されるものであることも先に述べたとおりである。画像処理部４は、表示制御部５を介して、得られた閾値を表示部６に表示する。また、画像処理部４は、生体組織画像と関連する名称を閾値に付して、記憶部３に格納する。

次に、画像処理部４は、閾値算出部として機能して、Ｓ９で得られた閾値から閾値直線を算出する（Ｓ１０）。具体的には、先の閾値をＸ座標の値とし、回帰直線の式に該Ｘ座標を代入して得られるＹ座標の値をＹ座標の値とした二次元プロット上の点（回帰直線上の点）を通り、回帰直線に直交した閾値直線を算出する。画像処理部４は、表示制御部５を介して、得られた閾値直線を表示部６に表示する。また、画像処理部４は、生体組織画像と関連する名称を閾値直線に付して、記憶部３に格納する。

次に、画像処理部４は、二値化処理部として機能して、Ｓ１０で得られた閾値直線を用いて生体組織画像に対して二値化処理を施して二値化画像を得る（Ｓ１１）。画像処理部４は、表示制御部５を介して、得られた二値化画像を表示部６に表示する。また、画像処理部４は、生体組織画像と関連するファイル名を二値化画像に付して、記憶部３に格納する。

図４は、Ｓ１１で得られた二値化画像である。なお、図５は、第１ピーク値（Ｈｐ）を使って二値化処理して得られる二値化画像であり、図６は、ヒストグラム微分第１ピーク値（Ｄｐ）を使って二値化処理して得られる二値化画像である。これら図４乃至図６において、黒色で示される部分が、二値化処理において採用されたピクセルである。これら図４乃至図６の比較より、本実施例に係る画像処理方法によって得られた二値化画像が、第１ピーク値（Ｈｐ）とヒストグラム微分第１ピーク値（Ｄｐ）との間に位置する閾値を使って得られたものであることがわかる。すなわち、図４における黒色部分が、図５に示す黒色部分より少なく、且つ図６に示す黒色部分より多いことより、本実施例に係る画像処理方法によって得られた二値化画像が、第１ピーク値（Ｈｐ）とヒストグラム微分第１ピーク値（Ｄｐ）との間に位置する閾値を使って得られたものであることがわかる。

本発明者等は、以上のような本実施例に係る画像処理方法によって得られた二値化画像を用いれば、従来よりも正確に病理診断を行うことができることを確認済みである。すなわち、この種の病理診断においては、癌組織の外縁によって囲まれた空間数に基づいて癌細胞の有無を確認するが、本実施例に係る画像処理方法により得られた二値化画像を用いれば、精度良く癌細胞の有無を判定することができることを確認済みである。以上より、本実施例に係る画像処理方法は、画像解析に基づく病理診断の客観性の向上に大いに貢献し得るものである。

上記実施例において示した散布図、ヒストグラム等は一例であり、病理診断の対象となる生体組織画像により、これら散布図等が異なるものとなることは言うまでも無い。上記実施例においては、画像処理部４は、散布図、或いはヒストグラム等が得られるたびに、これらを表示部６に表示していたが、本発明はこれに限られず、画像処理部４は、最終的に得られる二値化画像のみを表示部６に表示するものであってもよい。

１画像処理装置
４画像処理部

Claims

生体組織画像から選択された複数個の所定点を、各所定点の色濃度に基づいて、異なる二色のＸＹ基準軸からなる二次元フィールド上にプロットして、所定点の散布図を得る工程と、
前記散布図における所定点の回帰直線を算出する工程と、
前記回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、これら仮想直線により区画される領域を前記二次元フィールド上に設定する工程と、
前記各領域に含まれる各所定点の数を示すヒストグラムを得る工程と、
前記ヒストグラムから、分布ピーク値である第１ピーク値（Ｈｐ）を得る工程と、
前記ヒストグラムの分布線を微分して、該分布線の変曲点であるヒストグラム微分第１ピーク値（Ｄｐ）を算出する工程と、
前記第１ピーク値（Ｈｐ）と前記ヒストグラム微分第１ピーク値（Ｄｐ）とを下記の数式に代入して、前記生体組織画像を二値化処理する際に使用する閾値を算出する工程と、
前記閾値を交点とする該回帰直線に対し直交する閾値直線を得る工程と、
前記閾値を使って閾値直線を算出する工程と、
閾値直線を用いて生体組織画像に対して二値化処理を施して二値化画像を得る工程と、
を含む画像処理方法。
＜数式＞
（Ｈｐ−Ｄｐ）×変数＋Ｄｐ＝閾値
変数：病理診断対象となる生体組織画像に応じて、予め決定されている値（０．５〜０．９）
前記生体組織画像が、癌組織の像が含まれているか否かを判断するための病理診断画像であり、
前記変数が０．６に設定されている、請求項１記載の画像処理方法。
生体組織画像から選択された複数個の所定点を、各所定点の色濃度に基づいて、異なる二色のＸＹ基準軸からなる二次元フィールド上にプロットして、所定点の散布図を作成する散布図作成手段と、
前記散布図における所定点の回帰直線を算出する回帰直線算出手段と、
前記回帰直線上の等間隔位置に、該回帰直線に対して直交する方向に指向する多数本の仮想直線を設定し、該仮想直線により区画される領域を前記二次元フィールド上に設定する領域設定手段と、
前記各領域に含まれる各所定点の数を示すヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段により得られた前記ヒストグラムの分布線を微分して、一次微分曲線を得る微分手段と、
前記ヒストグラムの分布線から分布ピーク値である第１ピーク値（Ｈｐ）を得るとともに、前記微分手段により得られた一次微分曲線から該分布線の変曲点であるヒストグラム微分第１ピーク値（Ｄｐ）を得るピーク値算出手段と、
前記第１ピーク値（Ｈｐ）と前記ヒストグラム微分第１ピーク値（Ｄｐ）とを下記の数式に代入して、生体組織画像を二値化処理する際に使用する閾値を算出する閾値算出手段と、
前記閾値算出手段により得られた閾値を使って閾値直線を算出する閾値直線算出手段と、
前記閾値算出手段により得られた閾値を交点とする該回帰直線に対し直交する閾値直線を得る閾値直線算出手段と、
前記閾値直線を使って生体組織画像に対して二値化処理を施して二値化画像を得る二値化処理手段と、を備えることを特徴とする画像処理装置。
＜数式＞
（Ｈｐ−Ｄｐ）×変数＋Ｄｐ＝閾値
前記生体組織画像が、癌組織の像が含まれているか否かを判断するための病理診断画像であり、
前記変数が０．６に設定されている、請求項３記載の画像処理装置。
請求項３又は４のいずれかに記載の画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラム。
請求項５記載の画像処理プログラムが記録された、コンピュータにより読取可能な記録媒体。