JP5653733B2 - 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム - Google Patents

画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム Download PDF

Info

Publication number
JP5653733B2
JP5653733B2 JP2010265532A JP2010265532A JP5653733B2 JP 5653733 B2 JP5653733 B2 JP 5653733B2 JP 2010265532 A JP2010265532 A JP 2010265532A JP 2010265532 A JP2010265532 A JP 2010265532A JP 5653733 B2 JP5653733 B2 JP 5653733B2
Authority
JP
Japan
Prior art keywords
correction coefficient
component
target pixel
feature amount
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010265532A
Other languages
English (en)
Other versions
JP2012117844A (ja
Inventor
武 大塚
武 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010265532A priority Critical patent/JP5653733B2/ja
Priority to PCT/JP2011/077443 priority patent/WO2012073912A1/ja
Publication of JP2012117844A publication Critical patent/JP2012117844A/ja
Priority to US13/904,647 priority patent/US9406118B2/en
Application granted granted Critical
Publication of JP5653733B2 publication Critical patent/JP5653733B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムに関するものである。
被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。以下、病理診断における分光透過率の利用例について、さらに詳細に説明する。
病理診断における病理検査の一つとして、病変部位の組織を採取して顕微鏡で観察することにより、病気の診断または病変の拡大の程度を調べる組織診が知られている。この組織診は、生検（バイオプシー）とも呼ばれ、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも、光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
以下、標本のマルチバンド画像から表示画像を合成する従来の方法について説明する。
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
よって、式（２）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
式（６）において、Ｒｓｓは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
このようにして分光透過率データＴ＾（ｘ）を推定したら、次に、このＴ＾（ｘ）をもとに対応する標本上の点（標本点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても、赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
ここで、式（７）の左辺は、分光透過率ｔ（λ）を意味している。したがって、式（７）は次式（８）に置き換えられる。
ｔ（λ）＝ｅ−ｋ（λ）・ｄ ・・・（８）
また、分光吸光度ａ（λ）は次式（９）で表される。
ａ（λ）＝ｋ（λ）・ｄ ・・・（９）
したがって、式（８）は次式（１０）に置き換えられる。
ｔ（λ）＝ｅ−ａ（λ） ・・・（１０）
ここで、ＨＥ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
式（１１）において、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の色素スペクトル（以下、「基準色素スペクトル」と称す）である。また、ｄＨ，ｄＥ，ｄＲは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。なお、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄＨ，ｄＥ，ｄＲは、それぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表しているといえる。なお、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
ａ（ｘ，λ）＝ｋＨ（λ）・ｄＨ＋ｋＥ（λ）・ｄＥ＋ｋＲ（λ）・ｄＲ ・・・（１２）
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
式（１３）において、未知変数は、ｄＨ，ｄＥ，ｄＲの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ１，λ２，λ３について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
ここで、式（１４）を次式（１５）に置き換える。
式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄＨ，ｄＥ，ｄＲに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
そして、式（１５）に従い、最小二乗法を用いて色素量ｄＨ，ｄＥ，ｄＲを算出する。最小二乗法とは、単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。なお、式（１６）において、ｄ＾（ｘ）は、推定された色素量である。
さらに、式（１６）により推定された色素量ｄ＾Ｈ，ｄ＾Ｅ，ｄ＾Ｒを、式（１２）に代入すれば、復元した分光吸光度ａチルダ（ｘ，λ）は、次式（１７）で求められる。
したがって、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ＾（ｘ，λ）と復元した分光吸光度ａチルダ（ｘ，λ）とから次式（１８）で求められる。以下、ｅ（λ）を残差スペクトルと称す。
また、推定分光吸光度ａ＾（ｘ，λ）は、式（１７）および式（１８）を用いて、次式（１９）で表される。
ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に、半透明物体を透過する光の減衰を定式化したものである。しかし、実際の染色標本では、屈折も散乱も起こり得る。そのため、染色標本による光の減衰を、ランベルト・ベールの法則のみでモデル化すると、モデル化に伴った誤差が生じることになる。
しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は、極めて困難であり、実用上は実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
また、色素量ｄ＾Ｈ，ｄ＾Ｅ，ｄ＾Ｒが求まれば、これらを適宜修正して、標本における色素量の変化をシミュレートすることができる。この場合、染色法によって染色された色素量ｄ＾Ｈ，ｄ＾Ｅは修正し、赤血球本来の色であるｄ＾Ｒは修正しない。この場合の補正色素量ｄ＾Ｈドット，ｄ＾Ｅドットは、適当な係数αＨ，αＥを用いて、次式（２０）で求められる。
式（２０）の補正色素量ｄ＾Ｈドット，ｄ＾Ｅドットを式（１２）に代入すれば、新たな分光吸光度ａチルダドット（ｘ，λ）は、次式（２１）から求められる。
また、残差スペクトルを含める場合、新たな分光吸光度ａハットドット（ｘ，λ）は、次式（２２）から求められる。
式（２１）の分光吸光度ａチルダドット（ｘ，λ）または式（２２）のａハットドット（ｘ，λ）を式（１０）に代入すれば、新たな分光透過率ｔドット（ｘ，λ）は、次式（２３）から求められる。
分光吸光度ａドット（ｘ，λ）は、式（２１）のａチルダドット（ｘ，λ）または式（２２）のａハットドット（ｘ，λ）のいずれかである。
式（２３）を式（１）に代入すると、新たな画素値ｇドット（ｘ，ｂ）は、次式（２４）から求めることができる。なお、次式（２４）では、観測ノイズｎ（ｂ）をゼロとしている。
ここで、式（４）を次式（２５）に置き換える。
Ｇ＊（ｘ）＝ＨＴ＊（ｘ） ・・・（２５）
式（２５）において、Ｇドット（ｘ）はｇドット（ｘ，ｂ）に対応するＢ行１列の行列、Ｔドット（ｘ）はｔドット（ｘ，λ）に対応するＤ行１列の行列である。これにより、色素量を仮想的に変化させた標本の画素値Ｇドット（ｘ）を合成することができる。以上の手順により、染色標本の色素量を仮想的に調整することができる。
色素量を補正する方法については、染色標本画像の染色状態を標準的に補正する方法が知られている。例えば、特許文献１には、染色標本画像の各画素を色素量に基づいて複数のクラスに分類し、各クラスの色素量を標準的な染色状態における色素量に補正することで、染色標本画像の染色状態を標準的に補正する画像処理装置が開示されている。
特開２００９−１４３５５号公報
上記特許文献１に開示の画像処理装置では、染色標本画像の各画素をいずれかの組織に一意に分類している。しかしながら、染色標本を透過光により撮像する際に対象画素が受光する光は、実際には、撮像光学系の焦点深度内の複数の組織を通過している場合がある（図５参照）。そのため、上記特許文献１に開示の画像処理装置では、焦点深度内の複数の組織を通過した光を受光した画素では、いずれかの組織として分類されて、実際とは異なる画像処理が施されることになる。その結果、現実に即した正確な画像データが得られない場合がある。このような問題は、染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムにおいても、同様に生じるものである。
したがって、かかる点に鑑みてなされた本発明の目的は、染色標本を透過光により撮像して染色標本画像を取得した場合に、撮像光学系の焦点深度内に複数の組織が存在していた場合でも、現実に即した正確な画像データが得られる画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムを提供することにある。
上記目的を達成する第１の観点に係る発明は、
染色標本を撮像した染色標本画像を処理する画像処理装置において、
前記染色標本画像の各画素の第１の特徴量を算出する特徴量算出部と、
該特徴量算出部で算出された前記第１の特徴量に基づいて、対象画素における各構成要素の構成割合を算出する構成割合算出部と、
前記各構成要素の第２の特徴量の基準値を記憶する基準値記憶部と、
前記各構成要素の前記第２の特徴量と前記基準値記憶部に記憶されている前記基準値とに基づいて、前記各構成要素の前記第２の特徴量の補正係数を示す構成要素補正係数を算出する構成要素補正係数算出部と、
前記構成割合算出部で算出された前記構成割合と前記構成要素補正係数算出部で算出された前記構成要素補正係数とに基づいて、前記対象画素の前記第２の特徴量の補正係数を示す対象画素補正係数を算出する対象画素補正係数算出部と、
該対象画素補正係数算出部で算出された前記対象画素補正係数に基づいて、前記対象画素の前記第２の特徴量を補正する特徴量補正部と、
を備えることを特徴とするものである。
第２の観点に係る発明は、第１の観点に係る画像処理装置において、
前記構成割合算出部は、
前記染色標本画像における前記第１の特徴量の所定の特徴量空間において、対象画素と前記各構成要素との間のユークリッド距離に基づいて、前記各構成要素の構成割合を算出する、
ことを特徴とするものである請求項１に記載の画像処理装置。
第３の観点に係る発明は、第１の観点に係る画像処理装置において、
前記構成割合算出部は、
前記染色標本画像における前記第１の特徴量の所定の特徴量空間において、対象画素と前記各構成要素との間のマハラノビス距離に基づいて、前記各構成要素の構成割合を算出する、
ことを特徴とするものである。
第４の観点に係る発明は、第１〜３のいずれか一の観点に係る画像処理装置において、
前記第２の特徴量として前記染色標本画像の各画素における色素量を推定する色素量推定部をさらに備え、
前記基準値記憶部は、前記各構成要素の色素量基準値を記憶し、
前記構成要素補正係数算出部は、前記構成要素補正係数として、前記色素量推定部で推定された前記色素量と前記基準値記憶部に記憶されている前記色素量基準値とに基づいて、前記各構成要素の前記色素量の補正係数を算出し、
前記対象画素補正係数算出部は、前記対象画素補正係数として、前記構成割合算出部で算出された前記構成割合と前記構成要素補正係数算出部で算出された前記構成要素補正係数とに基づいて、前記対象画素の前記色素量の補正係数を算出し、
前記特徴量補正部は、前記対象画素補正係数算出部で算出された前記対象画素補正係数に基づいて前記対象画素の前記色素量を補正する、
ことを特徴とするものである。
第５の観点に係る発明は、第４の観点に係る画像処理装置において、
前記基準値記憶部は、前記色素量基準値として、標準的な染色状態の染色標本画像における前記各構成要素の色素量を記憶する、
ことを特徴とするものである。
第６の観点に係る発明は、第４または５の観点に係る画像処理装置において、
前記特徴量補正部で補正された前記色素量に基づいて表示用画像を作成する表示用画像作成部をさらに備える、
ことを特徴とするものである。
第７の観点に係る発明は、第４〜６のいずれか一の観点に係る画像処理装置において、
前記染色標本画像の画素値から分光スペクトルを推定する分光スペクトル推定部をさらに備え、
前記色素量推定部は、前記分光スペクトル推定部で推定された分光スペクトルに基づいて前記染色標本画像の各画素における色素量を推定する、
ことを特徴とするものである。
第８の観点に係る発明は、第１〜３のいずれか一の観点に係る画像処理装置において、
前記第２の特徴量は画素値であり、
前記基準値記憶部は、前記各構成要素の基準画素値を記憶し、
前記構成要素補正係数算出部は、前記構成要素補正係数として、前記各構成要素の画素値と前記基準値記憶部に記憶されている前記基準画素値とに基づいて、前記各構成要素の前記画素値の補正係数を算出し、
前記対象画素補正係数算出部は、前記対象画素補正係数として、前記構成割合算出部で算出された前記構成割合と前記構成要素補正係数算出部で算出された前記構成要素補正係数とに基づいて、前記対象画素の前記画素値の補正係数を算出し、
前記特徴量補正部は、前記対象画素補正係数算出部で算出された前記対象画素補正係数に基づいて前記対象画素の前記画素値を補正する、
ことを特徴とするものである。
さらに、上記目的を達成する第９の観点に係る発明は、
染色標本を撮像した染色標本画像を処理する画像処理方法であって、
前記染色標本画像の各画素の第１の特徴量を算出するステップと、
算出された前記第１の特徴量に基づいて、対象画素における各構成要素の構成割合を算出するステップと、
前記各構成要素の第２の特徴量と当該第２の特徴量の基準値とに基づいて、前記各構成要素の前記第２の特徴量の補正係数を示す構成要素補正係数を算出するステップと、
算出された前記構成割合と前記構成要素補正係数とに基づいて、前記対象画素の前記第２の特徴量の補正係数を示す対象画素補正係数を算出するステップと、
算出された前記対象画素補正係数に基づいて、前記対象画素の前記第２の特徴量を補正するステップと、
を含むことを特徴とするものである。
さらに、上記目的を達成する第１０の観点に係る発明は、
染色標本を撮像した染色標本画像を処理する画像処理プログラムであって、
前記染色標本画像の各画素の第１の特徴量を算出する処理と、
算出された前記第１の特徴量に基づいて、対象画素における各構成要素の構成割合を算出する処理と、
前記各構成要素の第２の特徴量と当該第２の特徴量の基準値とに基づいて、前記各構成要素の前記第２の特徴量の補正係数を示す構成要素補正係数を算出する処理と、
算出された前記構成割合と前記構成要素補正係数とに基づいて、前記対象画素の前記第２の特徴量の補正係数を示す対象画素補正係数を算出する処理と、
算出された前記対象画素補正係数に基づいて、前記対象画素の前記第２の特徴量を補正する処理と、
をコンピュータに実行させることを特徴とするものである。
さらに、上記目的を達成する第１１の観点に係る発明は、
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を透過光により撮像して染色標本画像を取得する画像取得部と、
該画像取得部で取得された前記染色標本画像の各画素の第１の特徴量を算出する特徴量算出部と、
該特徴量算出部で算出された前記第１の特徴量に基づいて、対象画素における各構成要素の構成割合を算出する構成割合算出部と、
前記各構成要素の第２の特徴量の基準値を記憶する基準値記憶部と、
前記各構成要素の前記第２の特徴量と前記基準値記憶部に記憶されている前記基準値とに基づいて、前記各構成要素の前記第２の特徴量の補正係数を示す構成要素補正係数を算出する構成要素補正係数算出部と、
前記構成割合算出部で算出された前記構成割合と前記構成要素補正係数算出部で算出された前記構成要素補正係数とに基づいて、前記対象画素の前記第２の特徴量の補正係数を示す対象画素補正係数を算出する対象画素補正係数算出部と、
該対象画素補正係数算出部で算出された前記対象画素補正係数に基づいて、前記対象画素の前記第２の特徴量を補正する特徴量補正部と、を備え、
前記特徴量補正部で前記第２の特徴量が補正された画像データに基づいて、前記染色標本のバーチャルスライド画像を取得する、ことを特徴とするものである。
本発明によれば、染色標本画像の各画素のデータが、当該画素における染色標本の組織の構成割合に基づいて補正される。したがって、染色標本を透過光により撮像して染色標本画像を取得した場合、撮像光学系の焦点深度内に複数の組織が存在していた画素があっても、現実に即した正確な画像データを得ることができる。
本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。 図１に示した画像取得部の概略構成を示す図である。 図２に示したＲＧＢカメラの分光感度特性を示す図である。 図２に示したフィルタ部を構成する各光学フィルタの分光透過率特性を示す図である。 焦点深度内での対象標本の各種状態を示す図である。 焦点深度内での構成要素の構成割合を算出する処理を示すフローチャートである。 Ｈ単染色標本の一例の顕微鏡写真である。 図７に示したＨ単染色画像におけるＲバンドの画素値と画素数の対数とのヒストグラムである。 図７に示したＨ単染色画像におけるＨ色素量と画素数の対数とのヒストグラムである。 対象画素の各構成要素の構成割合を算出する際に用いるユークリッド距離を説明するための模式図である。 対象画素の各構成要素の構成割合を算出する際に用いるマハラノビス距離を説明するための模式図である。 色素量の補正処理を示すフローチャートである。 本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。 図１３に示した画像処理装置による画素値の補正処理を示すフローチャートである。 本発明の第３実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。なお、本発明は、以下の実施の形態によって限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
（第１実施の形態）
図１は、本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、顕微鏡とパーソナルコンピュータ等のコンピュータから構成されるもので、画像取得部１１０、入力部２７０、表示部２９０、演算部２５０、記憶部２３０、および各部を制御する制御部２１０を備える。
画像取得部１１０は、マルチバンド画像（ここでは、６バンド画像）を取得するもので、例えば図２に示すように、ＲＧＢカメラ１１１と、該ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１３とを備える。
ＲＧＢカメラ１１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備え、例えば図３に示すようなＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有する。フィルタ部１１３は、ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するもので、回転式のフィルタ切り替え部１１３１を備える。フィルタ切り替え部１１３１は、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１３３ａ，１１３３ｂを保持する。図４（ａ）は、一方の光学フィルタ１１３３ａの分光透過率特性を示し、図４（ｂ）は、他方の光学フィルタ１１３３ｂの分光透過率特性を示す。
そして、制御部２１０により、先ず、例えば光学フィルタ１１３３ａを、照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、照明部１４０により受光位置移動部１３０上に載置された対象標本１３１を照明し、その透過光を結像レンズ１２０および光学フィルタ１１３３ａを経てＲＧＢカメラ１１１に結像させて第１の撮像を行う。次いで、制御部２１０により、フィルタ切り替え部１１３１を回転させて、光学フィルタ１１３３ｂを照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。取得された対象標本１３１の画像は、記憶部２３０に格納される。なお、フィルタ部１１３に設ける光学フィルタの数は、２枚に限定されるものではなく、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。また、画像取得部１１０は、フィルタ部１１３を省略して、ＲＧＢカメラ１１１によりＲＧＢ画像のみを取得するように構成しもよい。
入力部２７０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２１０に出力する。
表示部２９０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部２１０から入力される表示信号をもとに各種画面を表示する。
演算部２５０は、特徴量算出部２５０１、構成割合算出部２５０３、スペクトル推定部２５０５、色素量推定部２５０７、構成要素補正係数算出部２５０９、対象画素補正係数算出部２５１１、特徴量補正部２５１３、および、表示用画像作成部２５１５を有する。この演算部２５０は、ＣＰＵ等のハードウェアによって実現される。
記憶部２３０は、画像処理装置を動作させる画像処理プログラムを記憶するプログラム記憶部２３１と、染色標本画像の各構成要素の第２の特徴量の基準値を記憶する基準値記憶部２３３とを含み、画像処理プログラムの実行中に使用されるデータ等を格納する。この記憶部２３０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現される。
制御部２１０は、画像取得部１１０の動作を制御して対象標本１３１の画像を取得する画像取得制御部２１１を含み、入力部２７０から入力される入力信号や画像取得部１１０から入力される画像、記憶部２３０に格納されているプログラムやデータ等に基づいて画像処理装置を構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。この制御部２１０は、ＣＰＵ等のハードウェアによって実現される。
本実施の形態に係る画像処理装置において、図２に示したように、照明部１４０により対象標本１３１を照明し、その透過光を結像レンズ１２０によりＲＧＢカメラ１１１に結像させる場合、ＲＧＢカメラ１１１の各画素が受光する光線は、結像レンズ１２０の焦点深度内の対象標本１３１の状態に応じて異なる。例えば、図５に示すように、焦点深度内で、細胞核Ｎのみを通過した光線の場合（Ｉ）、細胞質Ｃのみを通過した光線の場合（II）、あるいは、細胞核Ｎと細胞質Ｃとの両方を通過した光線の場合（III,IV）がある。なお、（III）は、細胞核Ｎが３０％で細胞質Ｃが７０％の場合を示し、（IV）は、逆に細胞核Ｎが７０％で細胞質Ｃが３０％の場合を示す。
このように、ＲＧＢカメラ１１１の各画素が受光する光線は、１つの組織だけでなく、複数の組織を通過した光線の場合がある。実際に、組織には、細胞核Ｎや細胞質Ｃだけでなく、赤血球や腔等の組織があるため、照明光はこれらの組織の中の幾つかを通過してＲＧＢカメラ１１１の各画素に結像されることになる。
本実施の形態に係る画像処理装置においては、焦点深度内に複数の組織が存在する場合、その構成要素の構成割合に応じて画像データを補正する。以下、本実施の形態に係る画像処理装置が実行する処理について説明する。なお、以下に説明する処理は、記憶部２３０に格納された画像処理プログラムに従って制御部２１０により各部の動作を制御することによって実行される。
図６は、ＲＧＢカメラ１１１の対象画素が受光する光について、焦点深度内で通過した構成要素の構成割合を算出する処理を示すフローチャートである。先ず、制御部２１０は、画像取得制御部２１１により画像取得部１１０の動作を制御して対象標本１３１の画像を撮影する（ステップＳ１０１）。撮影した対象標本画像は、記憶部２３０に格納される。
次に、特徴量算出部２５０１は、撮影した対象標本画像の画素毎に第１の特徴量を算出する（ステップＳ１０３）。そして、算出した第１の特徴量の所定（任意に設定される）の特徴量空間における各構成要素の平均値ｕiを算出する。例えば、第１の特徴量としてＲ（reverse）バンドの画素値を算出する場合は、図７に示すようなＨ単染色標本の顕微鏡画像に基づいて、図８に示すようなＲバンドの画素値と画素数の対数とのヒストグラムを取得する。そして、図８に示したヒストグラムから、例えばK-means法等のクラス分類処理により細胞核と細胞質とを分類して、それぞれのＲバンドの画素値の平均値を算出する。
ここで、K-means法は、非階層型クラスタリング手法の単純な手法であり、Ｋ平均法とも呼ばれている。K-means法は、一般に、以下の流れで実行され、クラスタの平均を用いて、データを与えられたクラスタ数Ｋ個に分類する。
（１）データの数をｎ、クラスタの数をＫとしておく。
（２）各データに対してランダムにクラスタを割り振る。
（３）割り振ったデータをもとに各クラスタの中心を計算する。計算は通常割り当てられたデータの各要素の平均が使用される。
（４）各データと各クラスタの中心との距離を求めて、当該データを最も近い中心のクラスタに割り当て直す。
（５）上記の処理で全てのデータのクラスタの割り当てが変化しなかった場合は処理を終了する。それ以外の場合は新しく割り振られたクラスタから各クラスタの中心を再計算して上記の処理を繰り返す。
K-means法による分類結果は、最初のクラスタのランダムな割り振りに大きく依存するので、例えば、データの最小値から最大値の範囲を均等に分割してクラスタを割り振ってもよい。これにより、結果を常に同等の値に収束させることができる。
なお、第１の特徴量は、Ｒバンドの画素値に限らず、Ｈ色素量としてもよい。図９は、Ｈ単染色画像におけるＨ色素量と画素数の対数とのヒストグラムである。この場合の色素量の算出手順については、後述する。
次に、構成割合算出部２５０３は、第１の特徴量に基づいて対象画素の各構成要素の構成割合を算出する（ステップＳ１０５）。ここでは、構成割合として、画素毎に、対象画素ｘと各構成要素ｉとの距離ｄｉｓｔ（ｘ，ｉ）を算出する。この距離は、例えば次式（２６）に示すユークリッド距離から算出される。図１０は、ユークリッド距離の模式図である。
なお、上記の距離ｄｉｓｔ（ｘ，ｉ）は、ユークリッド距離に限らず、例えば、マハラノビス距離でもよい。この場合は、平均値ｕiの他に、例えば、公知の大津の方法により分散σｉを算出する。そして、次式（２７）に基づいてマハラノビス距離を算出する。図１１は、マハラノビス距離の模式図である。
次に、次式（２８）に基づいて、距離ｄｉｓｔ（ｘ，ｉ）から構成割合ｒａｔｅ（ｘ，ｉ）を算出する。
これにより、各画素が受光する光線が焦点深度内で通過した構成要素の構成割合を算出できる。算出した各画素における各構成要素の構成割合ｒａｔｅ（ｘ，ｉ）は、記憶部２３０に格納される。本実施の形態に係る画像処理装置では、各構成要素の構成割合ｒａｔｅ（ｘ，ｉ）を用いて、第２の特徴量としての色素量を補正する。
図１２は、色素量の補正処理を示すフローチャートである。先ず、スペクトル推定部２５０５は、画素値に基づいて画素毎にスペクトルを推定する（ステップＳ２０１）。つまり、上述した式（５）により推定対象画素の画素値Ｇ（ｘ）から対応する対象標本の標本点における分光透過率の推定値Ｔ＾（ｘ）を算出する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部２３０に格納される。式（５）を再掲する。
次に、色素量推定部２５０７は、分光透過率の推定値Ｔ＾（ｘ）に基づいて色素量を推定する（ステップＳ２０３）。ここで、色素量推定部２５０７は、対象標本の染色に用いた染色方法の各色素の基準分光特性をもとに、対象標本画像の任意の点ｘに対応する標本点における各染色方法の色素量を推定する。具体的には、対象標本画像の点ｘにおける分光透過率の推定値Ｔ＾（ｘ）に基づいて、点ｘに対応する対象標本の標本点に固定されたそれぞれの色素量を推定する。すなわち、上述した式（１６）により、ｄハット＾Ｈ、ｄハット＾Ｅ、ｄハット＾Ｒについて解く。推定された対象標本画像の点ｘにおける色素量ｄハット＾Ｈ、ｄハット＾Ｅ、ｄハット＾Ｒは、記憶部２３０に格納される。式（１６）を再掲する。
次に、構成要素補正係数算出部２５０９は、構成要素補正係数として、対象標本画像における各構成要素の色素量補正係数を算出する（ステップＳ２０５）。この算出処理においては、先ず、上述の任意の特徴量空間において、対象標本画像から各構成要素の平均値ｕｉに最も近い画素を１つ選択する。そして、選択された画素の色素量ｄハットを対象標本画像における対象構成要素の色素量ｄハット（ｉ）とみなす。ここで、選択する画素数は１つではなく複数として、それらの色素量の平均値を対象標本画像における対象構成要素の色素量ｄハット（ｉ）とみなしてもよい。
次に、次式（２９）に基づいて、各構成要素の色素量ｄハット（ｉ）と、基準値記憶部２３３に記憶されている各構成要素の色素量基準値ｄｓｔｄ（ｉ）とから、各構成要素の色素量補正係数ｃｏｅｆｉを算出する。算出された色素量補正係数ｃｏｅｆｉは、記憶部２３０に格納される。なお、基準値記憶部２３３に記憶する色素量基準値ｄｓｔｄ（ｉ）は、例えば、標準的な染色状態の染色標本画像における各構成要素の色素量とする。
次に、対象画素補正係数算出部２５１１は、対象画素補正係数として、次式（３０）に基づいて、対象画素ｘの各構成要素の構成割合ｒａｔｅ（ｘ，ｉ）と各構成要素の色素量補正係数ｃｏｅｆｉとに基づいて、対象画素ｘの色素量補正係数ｃｏｅｆ（ｘ）を算出する（ステップＳ２０７）。算出された色素量補正係数ｃｏｅｆ（ｘ）は、記憶部２３０に格納される。
次に、特徴量補正部２５１３は、次式（３１）に基づいて、対象画素ｘの色素量補正係数ｃｏｅｆ（ｘ）に基づいて、対象画素ｘの色素量ｄハット（ｘ）を補正する（ステップＳ２０９）。
これにより、対象画素ｘが受光する光が通過した構成要素の構成割合に基づいて、色素量が補正される。補正された色素量ｄドット（ｘ）は、記憶部２３０に格納される。
次に、表示用画像作成部２５１５は、補正された色素量に基づいて表示用画像を作成する（ステップＳ２１１）。そのため、算出した補正色素量ｄドットＨ，ｄドットＥおよびｄＲに基づき、補正スペクトルを合成する。そして、上述した式（２１）に従って、各点ｘにおける新しい分光吸光度ａチルダドット（ｘ，λ）を求める。式（２１）を再掲する。
次に、上述した式（２３）に従って各点ｘにおける新しい分光透過率ｔドット（ｘ，ｂ）を求める。式（２３）を再掲する。
これを波長方向にＤ回繰返し、Ｔドット（ｘ）を得る。Ｔドット（ｘ）は、ｔドット（ｘ，λ）に対応するＤ行１列の行列である。求めたＴドット（ｘ）は、記憶部２３０に格納される。
その後、合成した分光透過率Ｔドット（ｘ）に基づいて補正画像を合成する。つまり、上述した式（２５）に従って各点ｘにおける新しい画素値Ｇドット（ｘ）を求める。式（２５）を再掲する。
Ｇ＊（ｘ）＝ＨＴ＊（ｘ） ・・・（２５）
これにより、色素量を仮想的に変化させた標本の画素値Ｇドット（ｘ）を合成することができる。以上の手順により、染色標本の色素量を仮想的に調整することができる。合成した画像は、記憶部２３０に格納される。
次に、表示部２９０は、ステップＳ２１１で求めた合成した画像を表示する。これにより、利用者は結果画像を確認することができる。
以上のように、本実施の形態に係る画像処理装置によれば、組織の構成割合に基づいて色素量が補正されるので、焦点深度内の複数の組織を通過した光を受光した画素においても、現実に即して色素量を補正でき、正確な画像データを得ることができる。
（第２実施の形態）
図１３は、本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、第２の特徴量として画素値を直接補正するものである。そのため、演算部２５０は、特徴量算出部２５０１、構成割合算出部２５０３、構成要素補正係数算出部２５２１、対象画素補正係数算出部２５２３および特徴量補正部２５２５を有する。また、記憶部２３０は、例えば、標準的な染色状態の染色標本画像における各構成要素の基準画素値を記憶する基準値記憶部２３５を有する。その他の構成は第１実施の形態と同様であるので説明を省略する。
以下、演算部２５０による処理について説明する。演算部２５０は、先ず、第１実施の形態で説明したように、図６に示したフローチャートに従って、取得された対象標本画像の画素毎に特徴量算出部２５０１により第１の特徴量を算出する。そして、算出した第１の特徴量に基づいて、構成割合算出部２５０３により各画素が受光する光線が焦点深度内で通過した構成要素の構成割合を算出する。その後、演算部２５０は、算出された各構成要素の構成割合に基づいて、第２の特徴量である対象画素の画素値を補正する。
図１４は、画素値の補正処理を示すフローチャートである。先ず、構成要素補正係数算出部２５２１は、構成要素補正係数として、各構成要素の画素値の平均値と、基準値記憶部２３５に記憶されている各構成要素の基準画素色値とに基づいて、対象画像における各構成要素の画素値補正係数を算出する（ステップＳ３０５）。この構成要素補正係数の算出処理は、例えば図１２に示したステップＳ２０５による色素量補正係数算出処理において、色素量を画素値と置き換えることにより同様に実行することができる。
次に、対象画素補正係数算出部２５２３は、対象画素補正係数として、構成割合算出部２５０３で算出された対象画素の各構成要素の構成割合と、構成要素補正係数算出部２５２１で算出された構成要素補正係数とに基づいて、対象画素の画素値補正係数を算出する（ステップＳ３０７）。この対象画素補正係数の算出処理は、例えば図１２に示したステップＳ２０７による対象画素補正係数算出処理において、色素量を画素値と置き換えることにより同様に実行することができる。
その後、特徴量補正部２５２５は、対象画素補正係数算出部２５２３で算出された対象画素補正係数に基づいて対象画素の画素値を補正する（ステップＳ３０９）。この対象画素の画素値補正処理は、例えば図１２に示したステップＳ２０９による対象画素色素量補正処理において、色素量を画素値と置き換えることにより同様に実行することができる。
これにより、対象画素が受光する光が通過した構成要素の構成割合に基づいて、画素値が補正される。そして、表示部２９０は、ステップＳ３０９で補正された画素値による画像を表示する。これにより、利用者は、結果画像を確認することができる。
本実施の形態に係る画像処理装置によれば、第１実施の形態と同様に、組織の構成割合に基づいて第２の特徴量である画素値を直接補正するので、焦点深度内の複数の組織を通過した光を受光した画素においても、現実に即して画素値を簡単かつ迅速に補正でき、正確な画像データを得ることができる。
（第３実施の形態）
図１５は、本発明の第３実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。このバーチャル顕微鏡システムは、染色標本のバーチャルスライド画像を取得するもので、顕微鏡装置２００とホストシステム５００とを備える。
顕微鏡装置２００は、対象標本Ｓが載置される電動ステージ３１０と、側面視略コの字状を有し、電動ステージ３１０を支持するとともにレボルバ３６０を介して対物レンズ３７０を保持する顕微鏡本体３４０と、顕微鏡本体３４０の底部後方に配設された光源３８０と、顕微鏡本体３４０の上部に載置された鏡筒３９０とを備える。また、鏡筒３９０には、対象標本Ｓの標本像を目視観察するための双眼部４１０と、対象標本Ｓの標本像を撮像するためのＴＶカメラ４２０とが取り付けられている。すなわち、顕微鏡装置２００は、図１の画像取得部１１０に相当する。ここで、対物レンズ３７０の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
電動ステージ３１０は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ３１０は、モータ３２１およびこのモータ３２１の駆動を制御するＸＹ駆動制御部３２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部３２３は、顕微鏡コントローラ４３０の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ３１０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ３２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部３２３は、観察時の電動ステージ３１０のＸ位置およびＹ位置を適宜顕微鏡コントローラ４３０に出力する。
また、電動ステージ３１０は、モータ３３１およびこのモータ３３１の駆動を制御するＺ駆動制御部３３３によってＺ方向に移動自在である。Ｚ駆動制御部３３３は、顕微鏡コントローラ４３０の制御のもと、図示しないＺ位置の原点センサによって電動ステージ３１０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ３３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部３３３は、観察時の電動ステージ３１０のＺ位置を適宜顕微鏡コントローラ４３０に出力する。
レボルバ３６０は、顕微鏡本体３４０に対して回転自在に保持され、対物レンズ３７０を対象標本Ｓの上方に配置する。対物レンズ３７０は、レボルバ３６０に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ３６０の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ３７０が択一的に切り換えられるようになっている。
顕微鏡本体３４０は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源３８０から射出された照明光を集光するコレクタレンズ３５１、照明系フィルタユニット３５２、視野絞り３５３、開口絞り３５４、照明光の光路を対物レンズ３７０の光軸に沿って偏向させる折曲げミラー３５５、コンデンサ光学素子ユニット３５６、トップレンズユニット３５７等が、照明光の光路に沿って適所に配置されて構成される。光源３８０から射出された照明光は、照明光学系によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ３７０に入射する。したがって、光源３８０および照明光学系は、図２の照明部１４０に相当する。
また、顕微鏡本体３４０は、その上部においてフィルタユニット４００を内設している。フィルタユニット４００は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ４０３を回転自在に保持し、この光学フィルタ４０３を、適宜対物レンズ３７０後段において観察光の光路上に挿入する。このフィルタユニット４００は、図２に示したフィルタ部１１３に相当する。なお、ここでは、光学フィルタ４０３を対物レンズ３７０の後段に配置する場合を例示したが、これに限定されずるものではなく、光源３８０からＴＶカメラ４２０に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ３７０を経た観察光は、このフィルタユニット４００を経由して鏡筒３９０に入射する。
鏡筒３９０は、フィルタユニット４００を経た観察光の光路を切り換えて双眼部４１０またはＴＶカメラ４２０へと導くビームスプリッタ３９１を内設している。対象標本Ｓの標本像は、ビームスプリッタ３９１によって双眼部４１０内に導入され、接眼レンズ４１１を介して検鏡者に目視観察される。あるいはＴＶカメラ４２０によって撮像される。ＴＶカメラ４２０は、標本像（詳細には対物レンズ３７０の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム５００に出力する。すなわち、ＴＶカメラ４２０は、図２に示したＲＧＢカメラ１１１に相当する。
さらに、顕微鏡装置２００は、顕微鏡コントローラ４３０とＴＶカメラコントローラ４４０とを備える。顕微鏡コントローラ４３０は、ホストシステム５００の制御のもと、顕微鏡装置２００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ４３０は、レボルバ３６０を回転させて観察光の光路上に配置する対物レンズ３７０を切り換える処理や、切り換えた対物レンズ３７０の倍率等に応じた光源３８０の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部３２３やＺ駆動制御部３３３に対する電動ステージ３１０の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置２００の各部の調整を行うとともに、各部の状態を適宜ホストシステム５００に通知する。
ＴＶカメラコントローラ４４０は、ホストシステム５００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ４２０を駆動し、ＴＶカメラ４２０の撮像動作を制御する。
一方、ホストシステム５００は、図１あるいは図１３に示した、入力部２７０、表示部２９０、演算部２５０、記憶部２３０、装置各部を制御する制御部２１０を含んでいる。このホストシステム５００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
本実施の形態に係るバーチャル顕微鏡システムは、ホストシステム５００の記憶部に記憶されているＶＳ画像生成プログラムを含む画像処理プログラムに従って、顕微鏡装置２００を含む各部の動作を制御する。これにより、顕微鏡装置２００のＴＶカメラ４２０によって部分的にマルチバンド撮像された対象標本Ｓの複数の対象標本画像を、第１実施の形態や第２実施の形態で説明したようにそれぞれ処理して、ＶＳ（Virtual Slide）画像を生成する。ここで、ＶＳ画像とは、顕微鏡装置２００によってマルチバンド撮像された１枚以上の画像を繋ぎ合せて生成した画像であり、例えば高倍率の対物レンズ３７０を用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成された画像であって、対象標本Ｓの全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。
したがって、本実施の形態に係るバーチャル顕微鏡システムによれば、第１実施の形態や第２実施の形態で説明した画像処理装置と同様の効果を奏することができる。
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上記実施の形態では、第１の特徴量としてＲバンドの画素値を算出し、第２の特徴量として色素量あるいは画素値を補正するようにしたが、第１の特徴量および第２の特徴量は、同じとしてもよい。また、第１の特徴量として色素量あるいは画素値を算出し、第２の特徴量としてＲバンドの画素値を補正するようにしてもよい。また、上記実施の形態では、６バンドのマルチバンド画像を取得するようにしたが、４バンド以上の任意のマルチバンド画像、あるいは、ＲＧＢの３バンドの画像を取得して、特徴量を取得することもできる。
さらに、本発明は、上述した画像処理装置やバーチャル顕微鏡システムに限らず、これらの処理を実質的に実行する画像処理方法、画像処理プログラム、プログラムを記録した記憶媒体としても実現し得るものである。したがって、本発明は、これらも包含するものと理解されたい。
１１０ 画像取得部
１１１ ＲＧＢカメラ
１１３ フィルタ部
１２０ 結像レンズ
１３０ 受光位置移動部
１３１ 対象標本
１４０ 照明部
２００ 顕微鏡装置
２１０ 制御部
２３０ 記憶部
２３３，２３５ 基準値記憶部
２５０ 演算部
２７０ 入力部
２９０ 表示部
５００ ホストシステム
２５０１ 特徴量算出部
２５０３ 構成割合算出部
２５０５ スペクトル推定部
２５０７ 色素量推定部
２５０９，２５２１ 構成要素補正係数算出部
２５１１，２５２３ 対象画素補正係数算出部
２５１３，２５２５ 特徴量補正部
２５１５ 表示用画像作成部

Claims (11)

  1. 染色標本を撮像した染色標本画像を処理する画像処理装置において、
    前記染色標本画像の各画素の第１の特徴量を算出する特徴量算出部と、
    該特徴量算出部で算出された前記第１の特徴量に基づいて、対象画素における各構成要素の構成割合を算出する構成割合算出部と、
    前記各構成要素の第２の特徴量の基準値を記憶する基準値記憶部と、
    前記各構成要素の前記第２の特徴量と前記基準値記憶部に記憶されている前記基準値とに基づいて、前記各構成要素の前記第２の特徴量の補正係数を示す構成要素補正係数を算出する構成要素補正係数算出部と、
    前記構成割合算出部で算出された前記構成割合と前記構成要素補正係数算出部で算出された前記構成要素補正係数とに基づいて、前記対象画素の前記第２の特徴量の補正係数を示す対象画素補正係数を算出する対象画素補正係数算出部と、
    該対象画素補正係数算出部で算出された前記対象画素補正係数に基づいて、前記対象画素の前記第２の特徴量を補正する特徴量補正部と、
    を備えることを特徴とする画像処理装置。
  2. 前記構成割合算出部は、
    前記染色標本画像における前記第１の特徴量の所定の特徴量空間において、対象画素と前記各構成要素との間のユークリッド距離に基づいて、前記各構成要素の構成割合を算出する、
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記構成割合算出部は、
    前記染色標本画像における前記第１の特徴量の所定の特徴量空間において、対象画素と前記各構成要素との間のマハラノビス距離に基づいて、前記各構成要素の構成割合を算出する、
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記第２の特徴量として前記染色標本画像の各画素における色素量を推定する色素量推定部をさらに備え、
    前記基準値記憶部は、前記各構成要素の色素量基準値を記憶し、
    前記構成要素補正係数算出部は、前記構成要素補正係数として、前記色素量推定部で推定された前記色素量と前記基準値記憶部に記憶されている前記色素量基準値とに基づいて、前記各構成要素の前記色素量の補正係数を算出し、
    前記対象画素補正係数算出部は、前記対象画素補正係数として、前記構成割合算出部で算出された前記構成割合と前記構成要素補正係数算出部で算出された前記構成要素補正係数とに基づいて、前記対象画素の前記色素量の補正係数を算出し、
    前記特徴量補正部は、前記対象画素補正係数算出部で算出された前記対象画素補正係数に基づいて前記対象画素の前記色素量を補正する、
    ことを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
  5. 前記基準値記憶部は、前記色素量基準値として、標準的な染色状態の染色標本画像における前記各構成要素の色素量を記憶する、
    ことを特徴とする請求項４に記載の画像処理装置。
  6. 前記特徴量補正部で補正された前記色素量に基づいて表示用画像を作成する表示用画像作成部をさらに備える、
    ことを特徴とする請求項４または５に記載の画像処理装置。
  7. 前記染色標本画像の画素値から分光スペクトルを推定する分光スペクトル推定部をさらに備え、
    前記色素量推定部は、前記分光スペクトル推定部で推定された分光スペクトルに基づいて前記染色標本画像の各画素における色素量を推定する、
    ことを特徴とする請求項４〜６のいずれか一項に記載の画像処理装置。
  8. 前記第２の特徴量は画素値であり、
    前記基準値記憶部は、前記各構成要素の基準画素値を記憶し、
    前記構成要素補正係数算出部は、前記構成要素補正係数として、前記各構成要素の画素値と前記基準値記憶部に記憶されている前記基準画素値とに基づいて、前記各構成要素の前記画素値の補正係数を算出し、
    前記対象画素補正係数算出部は、前記対象画素補正係数として、前記構成割合算出部で算出された前記構成割合と前記構成要素補正係数算出部で算出された前記構成要素補正係数とに基づいて、前記対象画素の前記画素値の補正係数を算出し、
    前記特徴量補正部は、前記対象画素補正係数算出部で算出された前記対象画素補正係数に基づいて前記対象画素の前記画素値を補正する、
    ことを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
  9. 染色標本を撮像した染色標本画像を処理する画像処理方法であって、
    前記染色標本画像の各画素の第１の特徴量を算出するステップと、
    算出された前記第１の特徴量に基づいて、対象画素における各構成要素の構成割合を算出するステップと、
    前記各構成要素の第２の特徴量と当該第２の特徴量の基準値とに基づいて、前記各構成要素の前記第２の特徴量の補正係数を示す構成要素補正係数を算出するステップと、
    算出された前記構成割合と前記構成要素補正係数とに基づいて、前記対象画素の前記第２の特徴量の補正係数を示す対象画素補正係数を算出するステップと、
    算出された前記対象画素補正係数に基づいて、前記対象画素の前記第２の特徴量を補正するステップと、
    を含むことを特徴とする画像処理方法。
  10. 染色標本を撮像した染色標本画像を処理する画像処理プログラムであって、
    前記染色標本画像の各画素の第１の特徴量を算出する処理と、
    算出された前記第１の特徴量に基づいて、対象画素における各構成要素の構成割合を算出する処理と、
    前記各構成要素の第２の特徴量と当該第２の特徴量の基準値とに基づいて、前記各構成要素の前記第２の特徴量の補正係数を示す構成要素補正係数を算出する処理と、
    算出された前記構成割合と前記構成要素補正係数とに基づいて、前記対象画素の前記第２の特徴量の補正係数を示す対象画素補正係数を算出する処理と、
    算出された前記対象画素補正係数に基づいて、前記対象画素の前記第２の特徴量を補正する処理と、
    をコンピュータに実行させるための画像処理プログラム。
  11. 染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
    顕微鏡を用いて前記染色標本を透過光により撮像して染色標本画像を取得する画像取得部と、
    該画像取得部で取得された前記染色標本画像の各画素の第１の特徴量を算出する特徴量算出部と、
    該特徴量算出部で算出された前記第１の特徴量に基づいて、対象画素における各構成要素の構成割合を算出する構成割合算出部と、
    前記各構成要素の第２の特徴量の基準値を記憶する基準値記憶部と、
    前記各構成要素の前記第２の特徴量と前記基準値記憶部に記憶されている前記基準値とに基づいて、前記各構成要素の前記第２の特徴量の補正係数を示す構成要素補正係数を算出する構成要素補正係数算出部と、
    前記構成割合算出部で算出された前記構成割合と前記構成要素補正係数算出部で算出された前記構成要素補正係数とに基づいて、前記対象画素の前記第２の特徴量の補正係数を示す対象画素補正係数を算出する対象画素補正係数算出部と、
    該対象画素補正係数算出部で算出された前記対象画素補正係数に基づいて、前記対象画素の前記第２の特徴量を補正する特徴量補正部と、を備え、
    前記特徴量補正部で前記第２の特徴量が補正された画像データに基づいて、前記染色標本のバーチャルスライド画像を取得する、ことを特徴とするバーチャル顕微鏡システム。
JP2010265532A 2010-11-29 2010-11-29 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム Expired - Fee Related JP5653733B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010265532A JP5653733B2 (ja) 2010-11-29 2010-11-29 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
PCT/JP2011/077443 WO2012073912A1 (ja) 2010-11-29 2011-11-22 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
US13/904,647 US9406118B2 (en) 2010-11-29 2013-05-29 Stain image color correcting apparatus, method, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010265532A JP5653733B2 (ja) 2010-11-29 2010-11-29 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム

Publications (2)

Publication Number Publication Date
JP2012117844A JP2012117844A (ja) 2012-06-21
JP5653733B2 true JP5653733B2 (ja) 2015-01-14

Family

ID=46171844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010265532A Expired - Fee Related JP5653733B2 (ja) 2010-11-29 2010-11-29 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム

Country Status (3)

Country Link
US (1) US9406118B2 (ja)
JP (1) JP5653733B2 (ja)
WO (1) WO2012073912A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022719B (zh) * 2014-04-23 2019-06-28 Ge医疗系统环球技术有限公司 医学造影系统及方法
CN104978742B (zh) * 2015-06-12 2017-12-05 北京邮电大学 基于级联结构的图像配准方法及装置
WO2017103976A1 (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 観察装置
JP6744712B2 (ja) * 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6692660B2 (ja) * 2016-03-01 2020-05-13 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置
JP6815818B2 (ja) * 2016-10-17 2021-01-20 キヤノン株式会社 放射線撮影システム及び放射線撮影方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133547B2 (en) * 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
JP2004286666A (ja) * 2003-03-24 2004-10-14 Olympus Corp 病理診断支援装置および病理診断支援プログラム
JP4515332B2 (ja) * 2005-05-30 2010-07-28 オリンパス株式会社 画像処理装置及び対象領域追跡プログラム
JP5137481B2 (ja) 2007-06-29 2013-02-06 オリンパス株式会社 画像処理装置、画像処理プログラム、および画像処理方法
JP2010156612A (ja) * 2008-12-26 2010-07-15 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP5478084B2 (ja) * 2009-01-23 2014-04-23 オリンパス株式会社 画像処理システム、画像処理装置および画像処理端末

Also Published As

Publication number Publication date
JP2012117844A (ja) 2012-06-21
US20130259334A1 (en) 2013-10-03
WO2012073912A1 (ja) 2012-06-07
US9406118B2 (en) 2016-08-02

Similar Documents

Publication Publication Date Title
JP5498129B2 (ja) バーチャル顕微鏡システム
JP5738564B2 (ja) 画像処理システム
JP5653733B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
US8306317B2 (en) Image processing apparatus, method and computer program product
JP5117274B2 (ja) 画像処理装置および画像処理プログラム
US20100322502A1 (en) Medical diagnosis support device, image processing method, image processing program, and virtual microscope system
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP2010169467A (ja) 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム
JP2008051654A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP5178226B2 (ja) 画像処理装置および画像処理プログラム
JP5137481B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
JP2008304205A (ja) 分光特性推定装置および分光特性推定プログラム
WO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5687541B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
JP2010169592A (ja) 画像処理装置および画像処理プログラム
WO2020075226A1 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
CN112601950B (zh) 图像处理装置、摄像系统、图像处理装置的工作方法以及图像处理装置的工作程序
JP2009025147A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141119

R151 Written notification of patent or utility model registration

Ref document number: 5653733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees