JP4515899B2 - 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム - Google Patents

Description

この発明は、顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システムに関するものである。

近年、光学顕微鏡を用いて蛍光プローブによるイオン濃度、膜電位などの可視化が行われるようになっており、例えば標本として神経細胞などの生体機能観察、特に動的挙動の観察が行われるようになっている。
このような動的挙動を観察するものとしては、顕微鏡写真撮影装置が知られている（例えば、特許文献１参照。）。
特開２０００−２７５５３９号公報

しかしながら、このような従来の顕微鏡写真撮影装置は、標本の動的な挙動に合わせて写真を撮影するものであるが、カメラの焦点距離を一定に保ちながら、標本の動的な挙動の内の、ピントの合う静止状態を選択的に撮影するものであるため、得られる画像は細切れになり、見たい画像部分が途切れたり、動きがギクシャクして観察し難かったりする不都合がある。

また、実験動物等のように、脈動や拍動等の体動によって動的に挙動する標本に対して、時間間隔をあけて時系列的に撮像する方法が考えられるが、この場合に、ピントが完全に合った鮮明な顕微鏡画像と、ピントがずれた顕微鏡画像とが混在することになり、ピントのずれた顕微鏡画像を除去する必要がある。しかしながら、一部において部分的にピントがずれている顕微鏡画像のように、解析に必要な情報を含んでいる顕微鏡画像も存在するため、ピントがずれている顕微鏡画像を一律に除去することは、貴重な情報を失うことになり得策ではない。
また、膨大な数の顕微鏡画像の中から、必要な情報を含まない不要画像を目視により確認しながら除去することは不経済である。

本発明は上述した事情に鑑みてなされたものであり、動的に挙動する標本を撮像した複数の顕微鏡画像の中から、必要な情報を含まない不要画像を簡易に特定することができる顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する２つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出し、算出された複数の相関係数を時系列順位所定のしきい値と比較し、前記相関係数が時間的に２回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定する顕微鏡画像処理方法を提供する。

本発明によれば、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する２つの顕微鏡画像の相関係数が演算される。相関係数の演算は、全ての顕微鏡画像について順次行われ、算出された相関係数が時系列順に所定のしきい値と比較される。

仮に、時系列的に取得された３枚の顕微鏡画像の内、第２の顕微鏡画像のみにブレが発生した場合には、正常な第１の顕微鏡画像とブレのある第２の顕微鏡画像との相関関係が少なくなり、相関係数が小さくなる。相関係数は、２つの顕微鏡画像の相関関係が少なくなればなるほど小さくなるので、所定のしきい値を設定しておくことにより、相関関係の程度を判断することができる。

また、ブレのある第２の顕微鏡画像と、正常な第３の顕微鏡画像との相関係数も小さくなる。したがって、１枚の顕微鏡画像にブレが発生するなどして、解析に必要な情報が失われたときには、相関関係は２回連続してしきい値より低くなるため、両者の相関係数の算出に使用した共通の顕微鏡画像、すなわち、ブレのある第２の顕微鏡画像を不要画像として特定することにより、簡易に不要画像を顕在化させることができる。

また、本発明の参考例は、時系列的に取得された複数の顕微鏡画像について、各画素における輝度の平均値を算出し、時間的に隣接する２つの顕微鏡画像の輝度平均値の変化量を全ての顕微鏡画像に対して順次算出し、各変化量と所定のしきい値とを比較し、前記変化量が前記しきい値を越えている場合に、輝度平均値が小さい側の顕微鏡画像を不要画像として特定する顕微鏡画像処理方法を提供する。

各顕微鏡画像について算出した輝度平均値は、正常な顕微鏡画像とブレが発生した不要画像とを比較すると、ブレが発生した不要画像の方が輝度平均値が小さくなる。仮に３枚の顕微鏡画像が存在し、第１、第３の顕微鏡画像が正常であり、第２の顕微鏡画像に大きなブレが生じている場合には、第２の顕微鏡画像の輝度平均値は第１、第３の顕微鏡画像の輝度平均値と比較して小さくなっている。
本発明によれば、第２の顕微鏡画像の輝度平均値から第１の顕微鏡画像の輝度平均値を差し引いた変化量が、負の所定のしきい値を越えている場合に、第１の顕微鏡画像よりも輝度平均値が小さい第２の顕微鏡画像が、不要画像として特定されることになる。

また、本発明の参考例は、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、標準偏差を算出し、算出された各顕微鏡画像の標準偏差と所定のしきい値とを比較し、前記標準偏差が前記しきい値を下回っている場合に、その標準偏差を有する顕微鏡画像を不要画像として特定する顕微鏡画像処理方法を提供する。

取得された顕微鏡画像の各画素における輝度値は、ブレがなく正常な場合には、比較的分散している。このため、輝度値に基づいて算出される標準偏差は比較的大きな値を示しているが、ブレが生じた不要画像においては、特定の輝度値の割合が多くなるために標準偏差が小さくなる。
本発明によれば、時系列的に取得された顕微鏡画像の各画素における輝度値に基づいて算出された標準偏差が所定のしきい値を下回っている場合には、ブレが生じている場合が多いため、これを不要画像として特定することとした。これにより、簡易に不要画像を顕在化させることができる。

上記発明においては、時系列的に取得された複数の顕微鏡画像を一画面上に同時に表示するとともに、特定された不要画像を識別可能に表示することが好ましい。
このようにすることで、同時に表示された複数の顕微鏡画像を比較しながら観察することができる。この場合に、特定された不要画像を識別可能に表示することで、不要画像を一目で探すことができるとともに、その不要画像に解析に必要な情報が含まれているか否かを判定することができる。

また、上記発明においては、時系列的に取得された複数の顕微鏡画像から特定された不要画像を除去して画面上に表示することとしてもよい。
このようにすることで、取得された複数の顕微鏡画像を時系列に順次動画的に表示する場合に、不要画像によって顕微鏡画像が不連続になることを防止し、観察を容易にすることができる。

また、本発明は、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する２つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出するステップと、算出された複数の相関係数を時系列順に所定のしきい値と比較するステップと、前記相関係数が時間的に２回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定するステップとをコンピュータに実行させるための顕微鏡画像処理プログラムを提供する。

また、本発明の参考例は、時系列的に取得された複数の顕微鏡画像について、各画素における輝度の平均値を算出するステップと、時間的に隣接する２つの顕微鏡画像の輝度平均値の変化量を全ての顕微鏡画像に対して順次算出するステップと、各変化量と所定のしきい値とを比較するステップと、前記変化量が前記しきい値を越えている場合に、輝度平均値が小さい側の顕微鏡画像を不要画像として特定するステップとをコンピュータに実行させるための顕微鏡画像処理プログラムを提供する。

さらに、本発明の参考例は、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、標準偏差を算出するステップと、算出された複数の標準偏差と所定のしきい値とを比較するステップと、前記標準偏差が前記しきい値を下回っている場合に、その標準偏差を有する顕微鏡画像を不要画像として特定するステップとをコンピュータに実行させるための顕微鏡画像処理プログラムを提供する。

上記発明においては、時系列的に取得された複数の顕微鏡画像を一画面上に同時に表示するステップと、特定された不要画像を識別可能に表示するステップとをコンピュータに実行させることとしてもよい。
また、上記発明においては、時系列的に取得された複数の顕微鏡画像から特定された不要画像を除去して画面上に表示するステップをコンピュータに実行させることとしてもよい。

また、本発明は、時系列的に複数の顕微鏡画像を取得する顕微鏡装置と、該顕微鏡装置により取得された顕微鏡画像を処理する顕微鏡画像処理装置と、該顕微鏡画像処理装置により処理された顕微鏡画像を表示する表示装置とを備え、顕微鏡画像処理装置が、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する２つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出し、算出された複数の相関係数を時系列順に所定のしきい値と比較し、前記相関係数が時間的に２回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定する顕微鏡システムを提供する。

また、本発明の参考例は、時系列的に複数の顕微鏡画像を取得する顕微鏡装置と、該顕微鏡装置により取得された顕微鏡画像を処理する顕微鏡画像処理装置と、該顕微鏡画像処理装置により処理された顕微鏡画像を表示する表示装置とを備え、顕微鏡画像処理装置が、時系列的に取得された複数の顕微鏡画像について、各画素における輝度の平均値を算出し、時間的に隣接する２つの顕微鏡画像の輝度平均値の変化量を全ての顕微鏡画像に対して順次算出し、各変化量と所定のしきい値とを比較し、前記変化量が前記しきい値を越えている場合に、輝度平均値が小さい側の顕微鏡画像を不要画像として特定する顕微鏡システムを提供する。

また、本発明の参考例は、時系列的に複数の顕微鏡画像を取得する顕微鏡装置と、該顕微鏡装置により取得された顕微鏡画像を処理する顕微鏡画像処理装置と、該顕微鏡画像処理装置により処理された顕微鏡画像を表示する表示装置とを備え、顕微鏡画像処理装置が、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、標準偏差を算出し、算出された各顕微鏡画像の標準偏差と所定のしきい値とを比較し、前記標準偏差が前記しきい値を下回っている場合に、その標準偏差を有する顕微鏡画像を不要画像として特定する顕微鏡システムを提供する。

上記発明においては、前記表示装置が、特定された不要画像を識別可能にして、他の顕微鏡画像とともに表示することが好ましい。
また、上記発明においては、前記表示装置が、特定された不要画像を除去して、他の顕微鏡画像を表示することとしてもよい。

さらに、上記発明においては、前記顕微鏡画像処理装置が、しきい値を調節可能にするしきい値調節装置を備えることとしてもよい。
このようにすることで、解析に必要な情報を含む顕微鏡画像を不要画像として特定しないように、観察者にしきい値を調節させることが可能となる。

本発明によれば、動的に挙動する標本を撮像した複数の顕微鏡画像の中から、必要な情報を含まない不要画像を簡易に特定することができるという効果を奏する。

以下、本発明の一実施形態に係る顕微鏡画像処理方法について、図１〜図４を参照して説明する。
本実施形態に係る顕微鏡画像処理方法は、時系列的に取得された複数の顕微鏡画像の中から、解析に必要な情報を含まない不要画像を簡易に特定するための方法であって、図１に示されるように、時系列的に取得された複数の顕微鏡画像Ｇ１〜ＧＮから時間的に隣接する２つの顕微鏡画像Ｇｎ，Ｇｎ＋１を（ｎ＝１〜Ｎ−１）順次選択するステップＳ１と、選択された２つの顕微鏡画像の各画素における輝度値に基づいて相関係数γｎを順次算出するステップＳ２と、各相関係数と所定のしきい値γｓとを比較するステップＳ３と、不要画像を特定するステップＳ４とを備えている。

ステップＳ_２において算出される相関係数γ_ｎは、顕微鏡画像Ｇ_ｎの各画素の輝度値をｘ_ｎ、顕微鏡画像Ｇ_ｎ＋１の各画素の輝度値をｙ_ｎとしたとき、例えば、以下の式により算出される。

数１中において、ｘ_Ａ、ｙ_Ａはそれぞれ、顕微鏡画像Ｇ_ｎの各画素の輝度値ｘ_ｎ，ｙ_ｎの平均値を表している。

ステップＳ_３においては、予め設定されているしきい値γ_ｓをステップＳ_２において算出された各相関係数γ_ｎが下回っているか否かを判断し、下回っている場合には、ステップＳ_４１に進むようになっている。ステップＳ_４１は、最初の顕微鏡画像Ｇ_１については、不要画像ではないものとして特定の対象から除去している。

ステップＳ_４２においては、時系列的に１つ前の相関係数γ_ｎ−１も予め設定されているしきい値γ_ｓを下回っていたか否かを判断している。相関係数γ_ｎがしきい値γ_ｓを下回り、かつ、相関係数γ_ｎ−１もしきい値γ_ｓを下回っていた場合、すなわち、２回連続してしきい値γ_ｓを下回っていた場合には、ステップＳ_４３に進むようになっている。

そして、ステップＳ_４３においては、２つの相関係数γ_ｎ−１，γ_ｎの両方の算出に用いられた画像Ｇ_ｎが不要画像として特定されるようになっている。特定の方法としては、例えば、特定された画像Ｇ_ｎをその画像Ｇ_ｎを識別するための任意の識別符号とともに記憶しておけばよい。このようにすることで、解析時等に顕微鏡画像を表示する際に、不要画像と共に記憶されている識別符号に基づいて、不要画像であることを示すマーカーを併せて表示することにより、観察者に不要画像を一目で把握させることができる。

次に、本実施形態に係る顕微鏡画像処理方法の作用について、図２〜図４を参照して説明する。
図２は、時系列的に取得した顕微鏡画像の一例を示している。この図２には、顕微鏡画像Ｇ_１から顕微鏡画像Ｇ_９までが例示されている。この図２において、顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９がブレにより画像に乱れを生じている。そこで、本実施形態に係る顕微鏡画像処理方法を用いて、これら顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９を不要画像として特定できればよい。

図３は、顕微鏡画像Ｇ_１〜Ｇ_１０の各画素の輝度値に基づいて算出した相関係数γ_１〜γ_９を時系列的に配列して示したグラフである。顕微鏡画像Ｇ_１０については図２には表示していないが、ここでは、不要画像ではないものとしている。顕微鏡画像Ｇ_１，Ｇ_２の各画素の輝度値に基づいて算出した相関係数γ_１を最も左にプロットし、以下、相関係数γ_２〜γ_９を時系列で順次右方向にプロットしている。

これによれば、相関係数γ_１，γ_４，γ_７が１に近い値を示し、それらの相関係数γ_１，γ_４，γ_７の算出の基礎となった顕微鏡画像Ｇ_１，Ｇ_２、顕微鏡画像Ｇ_４，Ｇ_５、顕微鏡画像Ｇ_７，Ｇ_８がそれぞれ高い相関関係を示していることがわかる。
また、相関係数γ_２，γ_３、相関係数γ_５，γ_６および相関係数γ_８，γ_９はそれぞれ１より小さい値となっている。例えば、相関係数γ_２，γ_３についてみると、相関係数γ_２は、顕微鏡画像Ｇ_２，Ｇ_３を算出の基礎としており、相関係数γ_３は、顕微鏡画像Ｇ_３，Ｇ_４を算出の基礎としている。

このように相関係数γ_２，γ_３が時系列的に２回連続して１より低い値を示す場合、両相関係数γ_２，γ_３の共通の算出の基礎となった顕微鏡画像Ｇ_３が他の顕微鏡画像Ｇ_２，Ｇ_４との相関関係を低下させている可能性が高い。
したがって、本実施形態に係る顕微鏡画像処理方法によれば、１より低いしきい値γ_ｓを設定しておくことにより、この顕微鏡画像Ｇ_３を不要画像として特定することとしている。同様に、顕微鏡画像Ｇ_６，Ｇ_９を不要画像として特定することができる。

そして、例えば、図４に示されるように、複数の顕微鏡画像Ｇ_１〜Ｇ_９を並べて同時に表示する際に、不要画像に任意のマークＭをつけて表示することで、観察者がブレの生じている顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９を容易に確認することができる。この場合に、不要画像として特定され、マークの付けられた顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９を観察者に目視させることにより、その顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９に有用な情報が含まれているか否かを観察者に再確認させることができる。そして、全く有用な情報が含まれていない不要画像については、観察者が選択的に除去することとすればよい。なお、しきい値γ_ｓが適正に設定される場合には、不要画像を自動的に除去することにしてもよい。

このようにすることで、複数の顕微鏡画像Ｇ_１〜Ｇ_１０を時系列的に連続して順次表示することにより、動画的に表示させることができ、その際に、不要画像として特定された顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９が除去されていることによって、画像を滑らかに遷移させ、見やすさを向上することができるという利点がある。

次に、本発明の第１の参考実施形態に係る顕微鏡画像処理方法について、図５および図６を参照して以下に説明する。
本実施形態に係る顕微鏡画像処理方法は、図５に示されるように、時系列的に取得された複数の顕微鏡画像Ｇｎ（ｎ＝１〜Ｎ）について、各画素における輝度の平均値Ａｎを算出するステップＳ１１と、時間的に隣接する２つの顕微鏡画像Ｇｎ，Ｇｎ＋１の輝度平均値Ａｎ，Ａｎ＋１の差分値（変化量）αｎ（ｎ＝１〜Ｎ−１）を全ての顕微鏡画像Ｇｎに対して順次算出するステップＳ１２と、各差分値αｎと所定のしきい値αｓとを比較するステップＳ１３と、不要画像を特定するステップＳ１４とを含んでいる。

不要画像を特定するステップＳ_１４は、例えば、輝度平均値Ａ_ｎ，Ａ_ｎ＋１の差分値α_ｎが、しきい値α_ｓを越えている場合に、その差分値α_ｎの算出に使用した輝度平均値Ａ_ｎ，Ａ_ｎ＋１が小さい側の顕微鏡画像Ｇ_ｎ＋１を不要画像として特定するようになっている。
本実施形態に係る顕微鏡画像処理方法は、顕微鏡画像にブレが生ずることにより、暗くなる部分が多くなることに着目している。したがって、顕微鏡画像にブレが生ずると、該顕微鏡画像の全ての画素の輝度の平均値は低下することになるため、時間的に隣接する他の顕微鏡画像との差分値を求め、その差分値が所定のしきい値を越えている場合に、輝度平均値が小さい側の顕微鏡画像を不要画像として特定することができる。

次に、本実施形態に係る顕微鏡画像処理方法の作用について、図６を参照して説明する。顕微鏡画像としては、図２に示したものを使用する。
図６は、顕微鏡画像Ｇ_１〜Ｇ_９の各画素の輝度の平均値Ａ_ｎと、その差分値α_ｎとを時系列的に配列して示したグラフである。差分値α_ｎは、輝度平均値Ａ_ｎ＋１から輝度平均値Ａ_ｎを差し引くことにより算出し、便宜上、輝度平均値Ａ_ｎ＋１と同じ横軸位置にプロットしている。

図６によれば、輝度平均値Ａ_ｎのグラフを見ても不要画像は明らかではないが、差分値α_ｎのグラフによれば、差分値α_２，α_５，α_８が所定のしきい値α_ｓより低い値を示している。差分値α_２，α_５，α_８は、それぞれ、輝度平均値Ａ_３，Ａ_２、輝度平均値Ａ_６，Ａ_５、輝度平均値Ａ_９，Ａ_８を使用して算出されているので、それらの内で値の小さい側の輝度平均値Ａ_３，Ａ_６，Ａ_９を有する顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９を不要画像として特定することが可能となる。

不要画像が特定された後には、第１の実施形態と同様にして、図４のように不要画像にマークＭを付けて表示したり、不要画像を除去して動画的に表示することで、観察および解析の容易性を向上することができる。
なお、本実施形態においては、負のしきい値α_ｓを設定し、値の小さい輝度平均値Ａ_ｎ＋１から値の大きな輝度平均値Ａ_ｎを減算することにより算出された差分値α_ｎが、しきい値α_ｓをその絶対値において越えた場合に、値の小さい輝度平均値Ａ_ｎ＋１を不要画像として特定することとした。これに代えて、正のしきい値α_ｓを設定しておき、値の大きな輝度平均値Ａ_ｎ＋１から値の小さな輝度平均値Ａ_ｎを減算することにより算出された差分値α_ｎが、しきい値α_ｓをその絶対値において越えた場合に、値の小さい輝度平均値Ａ_ｎを不要画像として特定することにしてもよい。

次に、本発明の第２の参考実施形態に係る顕微鏡画像処理方法について、図７および図８を参照して以下に説明する。
本実施形態に係る顕微鏡画像処理方法は、図７に示されるように、時系列的に取得された複数の顕微鏡画像Ｇｎ（ｎ＝１〜Ｎ）について、各画素における輝度の標準偏差σｎを順次算出するステップＳ２１と、各標準偏差σｎと所定のしきい値σｓとを比較するステップＳ２２と、不要画像を特定するステップＳ２３とを含んでいる。
不要画像を特定するステップＳ２３は、標準偏差σｎが、しきい値σｓを下回った場合に、その標準偏差σｎを有する顕微鏡画像Ｇｎを不要画像として特定するようになっている。

本実施形態に係る顕微鏡画像処理方法は、顕微鏡画像にブレが生ずることにより、特定の輝度値を有する部分が増えることに着目している。顕微鏡画像にブレが生ずると、該顕微鏡画像の全ての画素の輝度の分散は少なくなるため、標準偏差σ_ｎの値が小さくなる。したがって、標準偏差σ_ｎが所定のしきい値σ_ｓを下回った場合に、その顕微鏡画像Ｇ_ｎを不要画像として特定することができる。

本実施形態に係る顕微鏡画像処理方法によれば、第１、第２の実施形態に係る顕微鏡画像処理方法と比較して、不要画像の特定に他の顕微鏡画像を用いる必要がなく、最も簡易に不要画像を特定することができる。第１、第２の実施形態に係る顕微鏡画像処理方法では、正常な画像が連続しない場合や、不要画像となる顕微鏡画像が連続する場合には不要画像の特定が困難になる場合があるが、本実施形態によれば、不要画像の発生頻度等にかかわらず、不要画像を特定することができるので効果的である。

次に、本実施形態に係る顕微鏡画像処理方法の作用について、図８を参照して説明する。顕微鏡画像としては、図２に示したものを使用する。
図８は、顕微鏡画像Ｇ_１〜Ｇ_９の輝度の標準偏差σ_ｎを時系列的に配列して示したグラフである。標準偏差σ_ｎは、通常の方法で算出している。

図８によれば、標準偏差σ_３，σ_６，σ_９が所定のしきい値σ_ｓより低い値を示している。標準偏差σ_３，σ_６，σ_９は、それぞれ、顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９を使用して算出されているので、顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９を不要画像として特定することが可能となる。
不要画像が特定された後には、第１、第２の実施形態と同様にして、図４のように不要画像にマークＭを付けて表示したり、不要画像を除去して動画的に表示することで、観察および解析の容易性を向上することができる。

また、本実施形態に係る顕微鏡画像処理方法によれば、第１，第２の顕微鏡画像処理方法と比較して、不要画像におけるブレの度合を良好に数値化することが可能となる。図２に示された顕微鏡画像Ｇ_３，Ｇ_６，Ｇ_９を見ると、ブレの程度は、顕微鏡画像Ｇ_９が最も大きく、顕微鏡画像Ｇ_３が次に大きく、顕微鏡画像Ｇ_６のブレが最も小さい。図８に示されたグラフによれば、顕微鏡画像のブレの大小関係が、そのまま標準偏差σ_ｎの大小関係として表示されている。したがって、顕微鏡画像Ｇ_６のように、ブレはあるが有用な情報を含んでいると判断できる場合には、しきい値σ_ｓをしきい値σ_ｓ′のように調節することによって、顕微鏡画像Ｇ_６を不要画像として特定しないように設定することも容易である。

なお、上記実施形態ならびに第１および第２の参考実施形態に係る顕微鏡画像処理方法は、図１，図５，図７に示されたフローチャートに従う各ステップをコンピュータに行わせる顕微鏡画像処理プログラムとしても実現することができる。

次に、本発明の一実施形態に係る顕微鏡画像処理システム１について図９を参照して説明する。
本実施形態に係る顕微鏡画像処理システム１は、時系列的に複数の顕微鏡画像を取得する顕微鏡装置２と、取得された顕微鏡画像を処理する顕微鏡画像処理装置３と、処理された顕微鏡画像を表示する表示装置４とを備えている。

顕微鏡装置２は、レーザ光を出射する光源５と、該光源５からのレーザ光を２次元的に走査するスキャナ６と、スキャナ６により走査されたレーザ光をステージ７上の標本Ａに照射する対物レンズ８と、標本Ａから発せられ、対物レンズ８およびスキャナ６を介して戻る反射光または蛍光を検出する受光素子９とを備えている。
顕微鏡画像処理装置３は、前記顕微鏡装置２の受光素子９から出力された顕微鏡画像を表すアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１０と、該Ａ／Ｄ変換器１０から出力されるディジタル信号を処理するＣＰＵ１１とを備えている。

ＣＰＵ１１には、入力装置１２、メモリ１３および記憶装置１４が接続されている。入力装置１２は、例えば、マウスやキーボード等からなり、しきい値の設定や、注目領域の指定を行うために使用されるようになっている。メモリ１３は、Ａ／Ｄ変換器１０から送られてくる顕微鏡画像や、入力装置１２により入力されたしきい値や注目領域の指定を記憶するようになっている。

ここで、注目領域は、相関係数、平均値または標準偏差を計算するときに画像内の計算に用いる対象領域である。注目領域が指定されているときは、各計算に注目領域内の画素のみを使用してもよい。こうすることで、より変化の大きな領域のみを計算に用いることができ、不要画像の特定の精度を上げることができる。

また、記憶装置１４は、上述した顕微鏡画像処理プログラムを記憶しているハードディスク装置等の装置である。ＣＰＵ１１は、必要に応じてメモリ１３上に記憶装置１４内に記憶されている顕微鏡画像処理プログラムを読み出して実行するようになっている。

また、表示装置４は、顕微鏡装置２により検出され、Ａ／Ｄ変換器１０によりディジタル信号に変換された顕微鏡画像を表示したり、図３，図６，図８のいずれかに記載されたグラフを表示して入力装置１２によるしきい値の設定を促したり、顕微鏡画像処理プログラムの実行の結果、特定した不要画像にマークＭを付して図４のような顕微鏡画像を同時に表示したり、不要画像を除去した後の顕微鏡画像を時系列に沿って動画のように順次表示したりして観察または解析できるようになっている。

このように構成された本実施形態に係る顕微鏡画像処理システム１によれば、顕微鏡装置２によって時系列的に取得した複数の顕微鏡画像から不要画像を特定して表示装置４により表示し、あるいは特定された不要画像を除去した顕微鏡画像を表示することによって、観察を容易にすることができる。

本発明の一実施形態に係る顕微鏡画像処理方法を示すフローチャートである。 図１の顕微鏡画像処理方法により処理する複数の顕微鏡画像の一例を示す図である。 図２の顕微鏡画像に対して図１の顕微鏡画像処理方法により算出した相関係数を示すグラフである。 図３の相関係数に基づいて特定した不要画像をマークと共に示した顕微鏡画像を示す図である。 本発明の第１の参考実施形態に係る顕微鏡画像処理方法を示すフローチャートである。 図２の顕微鏡画像に対して図５の顕微鏡画像処理方法により算出した輝度平均値とその差分値の変化を示すグラフである。 本発明の第２の参考実施形態に係る顕微鏡画像処理方法を示すフローチャートである。 図２の顕微鏡画像に対して図７の顕微鏡画像処理方法により算出した標準偏差の変化を示すグラフである。 本発明の一実施形態に係る顕微鏡画像処理システムを示す全体構成図である。

符号の説明

Ａ 標本
Ａ_ｎ 輝度平均値
Ｇ_ｎ 顕微鏡画像
γ_ｎ 相関係数
γ_ｓ しきい値
α_ｎ 差分値（変化量）
α_ｓ しきい値
σ_ｎ 標準偏差
σ_ｓ しきい値
Ｓ_２ 相関係数算出ステップ
Ｓ_３，Ｓ_１３，Ｓ_２２，Ｓ_４２ 比較ステップ
Ｓ_１１ 輝度平均値算出ステップ
Ｓ_１２ 変化量算出ステップ
Ｓ_１４，Ｓ_２３，Ｓ_４３ 不要画像特定ステップ
Ｓ_２１ 標準偏差算出ステップ
１ 顕微鏡システム
２ 顕微鏡装置
３ 顕微鏡画像処理装置
４ 表示装置
１２ 入力装置（しきい値調節装置）

Claims (10)

1. 時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する２つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出し、
   算出された複数の相関係数を時系列順に所定のしきい値と比較し、
   前記相関係数が時間的に２回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定する顕微鏡画像処理方法。
2. 時系列的に取得された複数の顕微鏡画像を一画面上に同時に表示するとともに、
   特定された不要画像を識別可能に表示する請求項１に記載の顕微鏡画像処理方法。
3. 時系列的に取得された複数の顕微鏡画像から特定された不要画像を除去して画面上に表示する請求項１に記載の顕微鏡画像処理方法。
4. 時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する２つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出するステップと、
   算出された複数の相関係数を時系列順に、所定のしきい値と比較するステップと、
   前記相関係数が時間的に２回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定するステップとをコンピュータに実行させるための顕微鏡画像処理プログラム。
5. 時系列的に取得された複数の顕微鏡画像を一画面上に同時に表示するステップと、
   特定された不要画像を識別可能に表示するステップとをコンピュータに実行させるための請求項４に記載の顕微鏡画像処理プログラム。
6. 時系列的に取得された複数の顕微鏡画像から特定された不要画像を除去して画面上に表示するステップをコンピュータに実行させるための請求項４に記載の顕微鏡画像処理プログラム。
7. 時系列的に複数の顕微鏡画像を取得する顕微鏡装置と、
   該顕微鏡装置により取得された顕微鏡画像を処理する顕微鏡画像処理装置と、
   該顕微鏡画像処理装置により処理された顕微鏡画像を表示する表示装置とを備え、
   顕微鏡画像処理装置が、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する２つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出し、算出された複数の相関係数を時系列順に所定のしきい値と比較し、前記相関係数が時間的に２回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定する顕微鏡システム。
8. 前記表示装置が、特定された不要画像を識別可能にして、他の顕微鏡画像とともに表示する請求項７に記載の顕微鏡システム。
9. 前記表示装置が、特定された不要画像を除去して、他の顕微鏡画像を表示する請求項７に記載の顕微鏡システム。
10. 前記顕微鏡画像処理装置が、しきい値を調節可能にするしきい値調節装置を備える請求項７から請求項９のいずれかに記載の顕微鏡システム。

Images