JP6438136B2 - 画像処理装置、画像処理方法および顕微鏡 - Google Patents

Description

本発明は、画像処理装置、画像処理方法および顕微鏡に関するものである。

巡回型ノイズ低減部および非巡回型ノイズ低減部を備え、映像信号のレベルと動き量または、ゲインと動き量に応じて、巡回量やフィルタ係数を切り替える画像処理装置が知られている（例えば、特許文献１参照。）。
また、巡回型ノイズ低減部を備え、ゲインと複数の閾値との対応関係に基づいて、巡回量を制御する画像処理装置が知られている（例えば、特許文献２参照。）。

特許第３６１１７７３号公報 特許第５４１７７４６号公報

特許文献１、２の画像処理装置は、ゲインと動き量に応じて、巡回型ノイズ低減部によるノイズ低減の効果を切り替えるものであるが、低輝度の被写体を観察する際には、高いゲインをかけて観察するため、画像のノイズが大きくなって、動きベクトルが正しく算出できない。その結果、巡回型ノイズ低減部の巡回量を正しく制御することが困難である。

本発明は上述した事情に鑑みてなされたものであって、低輝度の被写体であってもスムーズに観察することができる画像処理装置、画像処理方法および顕微鏡を提供することを目的としている。

本発明の一態様は、第１の画像と、該第１の画像より前に取得された第２の画像との間でパターンマッチング処理を行い、前記画像間の動きベクトルと該動きベクトルの確からしさを示す評価値とを出力するパターンマッチング部と、前記第１の画像にノイズ低減処理を施したノイズ低減画像を出力する巡回型ノイズ低減部であって、前記第１の画像に基づく画像と過去のノイズ低減画像に基づく画像とを所定の巡回量に応じて混合するノイズ低減処理を行う巡回型ノイズ低減部と、前記パターンマッチング部により出力された前記動きベクトルおよび前記評価値と、前記第１の画像にかけられて明るさを調節するゲインとに基づいて、前記巡回型ノイズ低減部の巡回量を制御する制御部とを備える画像処理装置である。

本態様によれば、時系列に取得された第１の画像と第２の画像とがパターンマッチング部においてパターンマッチング処理され、画像間の動きベクトルと、その確からしさを示す評価値とが出力される。そして、制御部において、パターンマッチング部から出力されてきた動きベクトルと評価値および第１の画像の明るさを調節するゲインとに基づいて、第１の画像または第１の画像に画像処理を施した画像と、過去のノイズ低減画像または過去のノイズ低減画像に画像処理を施した画像とを所定の巡回量に応じて混合してノイズ低減処理を行う巡回型ノイズ低減部の巡回量が制御される。

低輝度の被写体を観察する際には、画像に高いゲインがかけられる。その場合には画像にノイズが大きくなるため動きベクトルが正しく算出できず、動きベクトルのみでは巡回型ノイズ低減部の巡回量を正しく制御することが困難となる。動きベクトルに加えてその確からしさを示す評価値を用いることで、同じ動きベクトルでも評価値が異なれば異なる巡回量を設定でき、同じ評価値でも動きベクトルが異なれば異なる巡回量を設定できる。その結果、ゲインが高い場合の巡回量を適正に制御し、視認性の高い画像を取得することができる。

上記態様においては、前記制御部が、前記評価値と前記動きベクトルの大きさを示す動き量とを座標軸とする座標平面において、前記評価値を大小２つに区画する評価値境界線と、前記動き量を大小２つに区画する動き量境界線とにより区画された、前記評価値が大きく前記動き量が小さい第１領域において、該第１領域以外の第２領域よりも前記巡回量が大きくなるように制御してもよい。

このようにすることで、評価値と動き量とが第１領域に配置されているときには、巡回量を大きくし、第２領域に配置されているときにはそれよりも巡回量を小さくすることで、視認性が良い画像が生成される。

また、上記態様においては、前記評価値境界線は、前記動き量が大きくなるほど大きい前記評価値において前記第１領域と前記第２領域とを区画するように設定されていてもよい。
このようにすることで、評価値境界線近傍では、同じ評価値でも動き量が小さいほど巡回量が大きくされる範囲が広がる。これにより、高ゲインの特に静止状態において、視認性の高い画像を取得することができる。

また、上記態様においては、前記制御部は、前記ゲインが大きくなるほど、前記評価値境界線を前記評価値が小さい位置に、前記動き量境界線を前記動き量が大きい位置に設定してもよい。
このようにすることで、ゲインが大きくなるほど、第１領域を広げることにより、巡回量を大きくする範囲を広げることができる。

ゲインが小さいときにはノイズが少ないので、精度よく位置合わせされる、より狭い範囲での巡回型のノイズ低減処理が要求される一方、ゲインが大きいときにはノイズが多いので、動きベクトルの確からしさが低い状態でもノイズ低減を図る必要がある。ゲインによって巡回量を大きくする領域が変更され、低ゲインから高ゲインまでの広い範囲にわたって視認性の高い画像を取得することができる。

また、上記態様においては、前記制御部は、前記評価値および前記動き量が前記第１領域内に配置されている場合に、前記動き量が、前記ゲイン毎に定められた閾値より小さい場合に動きベクトルをゼロベクトルに補正してもよい。
このようにすることで、本来巡回量が大きく設定される第１領域内に配置されても、動き量が閾値より小さい領域で動きベクトルをゼロベクトルにする不感帯を設けることで、動き量の誤差により、巡回型のノイズ低減処理が行われることによって静止状態でも画像に動きが発生してしまうことを防止することができる。

また、上記態様においては、前記パターンマッチング部が、前記第１の画像および前記第２の画像の明るさ情報を出力し、前記制御部は、前記パターンマッチング部から出力された明るさ情報に基づいて前記第１の画像と前記第２の画像との間の明るさ変化が所定の閾値より大きい場合に前記巡回量を減少させるように制御してもよい。
このようにすることで、第１の画像と第２の画像との間の明るさ変化が急峻である場合に、巡回量を減少させるように制御して、巡回型のノイズ低減処理においてアーティファクトの発生を防止することができる。

また、上記態様においては、１枚の前記第１の画像を用いてノイズ低減処理を行う非巡回型ノイズ低減部を備え、前記制御部は、前記評価値および前記動き量が前記第１領域内に配置されている場合に、前記巡回型ノイズ低減部によるノイズ低減処理を前記非巡回型ノイズ低減部によるノイズ低減処理より強くし、前記評価値および前記動き量が前記第２領域内に配置されている場合に、前記非巡回型ノイズ低減部によるノイズ低減処理を前記巡回型ノイズ低減部によるノイズ低減処理より強くするように制御してもよい。
このようにすることで、巡回量を大きくしていない第２領域においても非巡回型のノイズ低減処理によりノイズを抑えることができる。特に動きの大きな状態で画像の視認性を改善することができる。

また、上記態様においては、前記制御部は、前記ゲインが大きくなるほど、前記巡回型ノイズ低減部および前記非巡回型ノイズ低減部によるノイズ低減処理が強くなるように制御してもよい。
このようにすることで、ゲインに関わらず残像による画質劣化の少ない良好なノイズ量の画質を確保することができる。

また、上記態様においては、前記第２の画像が前記巡回型ノイズ低減部により出力される前記ノイズ低減画像であってもよい。
また、上記態様においては、前記第２の画像が前記第１の画像よりも過去に取得された過去フレーム画像であってもよい。

また、本発明の他の態様は、第１の画像と、該第１の画像より前に取得された第２の画像との間でパターンマッチング処理を行って、前記画像間の動きベクトルと該動きベクトルの確からしさを示す評価値とを算出し、算出された前記動きベクトルおよび前記評価値に基づいて、該評価値と前記動きベクトルの大きさを示す動き量とを座標軸とする座標平面において、前記評価値を大小２つに区画する評価値境界線と、前記動き量を大小２つに区画する動き量境界線とにより区画された、前記評価値が大きく前記動き量が小さい第１領域において、該第１領域以外の第２領域よりも巡回量を大きくして巡回型のノイズ低減処理を行う画像処理方法である。

上記態様においては、前記評価値境界線は、前記動き量が大きくなるほど大きい前記評価値において前記第１領域と前記第２領域とを区画するように設定されていてもよい。
また、上記態様においては、ゲインが大きくなるほど、前記評価値境界線を前記評価値が小さい位置に、前記動き量境界線を前記動き量が大きい位置に設定してもよい。

また、上記態様においては、前記評価値および前記動き量が前記第１領域内に配置されている場合に、前記動き量が、前記ゲイン毎に定められた閾値より小さい場合に動きベクトルをゼロベクトルに補正してもよい。
また、上記態様においては、前記第１の画像と前記第２の画像と間の明るさ変化を検出し、検出された明るさ変化が所定の閾値より大きい場合に前記巡回量を減少させるように制御してもよい。

また、上記態様においては、前記評価値および前記動き量が前記第１領域内に配置されている場合に、巡回型のノイズ低減処理を非巡回型のノイズ低減処理より強くし、前記評価値および前記動き量が前記第２領域内に配置されている場合に、非巡回型のノイズ低減処理を巡回型のノイズ低減処理より強くするように制御してもよい。

また、上記態様においては、ゲインが大きくなるほど、巡回型のノイズ低減処理および非巡回型のノイズ低減処理が強くなるように制御してもよい。
また、本発明の他の態様は、第１の画像および第２の画像を時系列に取得する画像取得部と、上記いずれかの画像処理装置とを備える顕微鏡である。

本発明によれば、低輝度の被写体であってもスムーズに観察することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡を示すブロック図である。 図１の顕微鏡に備えられる本発明の一実施形態に係る画像処理装置を示すブロック図である。 図２の画像処理装置のノイズ低減制御部に備えられるゲインが１０の場合の評価値境界線および動き量境界線の一例を示す図である。 図２の画像処理装置のノイズ低減制御部に備えられるゲインが１００の場合の評価値境界線および動き量境界線の一例を示す図である。 図３Ａおよび図３Ｂを重ね、複数の状態をプロットした図である。 図２の画像処理装置による画像処理方法を説明するフローチャートである。 図２の画像処理装置の第１の変形例を示すブロック図である。 図５の画像処理装置のノイズ低減制御部に備えられる評価値境界線および動き量境界線の一例を示す図である。 図５の画像処理装置による画像処理方法を説明するフローチャートである。 図２の画像処理装置の第２の変形例を示すブロック図である。 図２の画像処理装置の第３の変形例を示すブロック図である。 図９の画像処理装置による画像処理方法を説明するフローチャートである。 図２の画像処理装置の第４の変形例を示すブロック図である。 図２の画像処理装置の第５の変形例を示すブロック図である。 図２の画像処理装置の第６の変形例を示すブロック図である。

本発明の一実施形態に係る画像処理装置３および顕微鏡１について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡１は、図１に示されるように、例えば、蛍光顕微鏡であって、蛍光画像を時系列に取得する画像取得部２と、該画像取得部２により取得された蛍光画像を処理する画像処理装置３と、該画像処理装置３により処理された蛍光画像を表示する表示部４とを備えている。図中、符号５は光源部である。

画像取得部２は、標本Ａを搭載するステージ６と、光源部５からの励起光をステージ６上の標本Ａに照射する一方、標本Ａにおいて発生した蛍光を集光する対物レンズ７と、集光された蛍光を励起光の光路から分離する蛍光ミラーユニット８と、分離された蛍光を撮影する撮像部９とを備えている。

撮像部９は、時系列に取得された蛍光画像を順次出力するとともに、各蛍光画像にかけられたゲイン値を出力するようになっている。また、ゲイン値とは、輝度に応じて、観察者が視認しやすい適正な画像を生成するために、撮像部９によって取得された蛍光画像に乗算して明るさを調節するための値である。
ステージ６には標本Ａを光軸方向に移動させるＺ調整機構１０と、光軸に直交する２方向に移動させるＸＹ調整機構１１とが設けられている。

本実施形態に係る画像処理装置３は、図２に示されるように、画像取得部２から送られてくる現フレームの蛍光画像（第１の画像）と、図示しないメモリに記憶されていた直前フレーム（過去フレーム）の蛍光画像（第２の画像）とを入力画像として、パターンマッチング処理を行うパターンマッチング部１２と、該パターンマッチング部１２から出力された評価値および動きベクトルに基づいて、ノイズ低減処理を行うための制御信号を生成するノイズ低減制御部（制御部）１３と、該ノイズ低減制御部１３により生成された制御信号に基づいて、現フレームの画像に巡回型のノイズ低減処理を施す巡回型ノイズ低減部１４とを備えている。

パターンマッチング部１２は、例えば、公知のＺＮＣＣ（ゼロ平均正規化相互相関）演算を利用したパターンマッチング処理を行うようになっている。
ＺＮＣＣ演算は数１により行われる。

パターンマッチング処理は、蛍光画像全体で行われてもよいし、部分的におこなわれてもよい。
パターンマッチング処理が行われると、パターンマッチング部１２からは、最も大きいＺＮＣＣ値が、動きベクトルの確からしさを表す評価値として出力され、そのときの（ｄｘ，ｄｙ）が動きベクトルとして出力されるようになっている。ＺＮＣＣ値は１以下の数値となるが、ＺＮＣＣ値が負の場合には評価値を０とし、０以上１以下の数値として評価値を出力するようになっている。本実施例では、０以下をクリップしているがクリップしなくてもよい。

ノイズ低減制御部１３は、画像取得部２から入力されてきたゲインと、パターンマッチング部１２から入力されてきた評価値および動きベクトルとに基づいて、巡回型ノイズ低減処理の巡回量を制御する信号を生成するようになっている。
具体的には、図３Ａから図３Ｃに示されるように、動きベクトルの大きさを示す動き量と、評価値とを座標軸とする座標平面において、評価値を大小２つに区画する評価値境界線Ｌ１と、動き量を大小２つに区画する動き量境界線Ｌ２とにより区画された第１領域Ｒ１および第２領域Ｒ２において巡回量を異ならせるようになっている。

動き量は、取得された動きベクトル（ｄｘ，ｄｙ）を用いて、以下の通りに決定している。
｜ｄｘ｜＞｜ｄｙ｜の場合には、動き量＝｜ｄｘ｜、
｜ｄｘ｜≦｜ｄｙ｜の場合には、動き量＝｜ｄｙ｜
である。
動き量としては、この他、ｄｘ＋ｄｙ、あるいは、√（ｄｘ^２＋ｄｙ^２）等を採用してもよい。

図３Ａはゲインが１０である場合の第１領域Ｒ１および第２領域Ｒ２を示し、図３Ｂはゲインが１００である場合の第１領域Ｒ１および第２領域Ｒ２を示し、図３Ｃは図３Ａと図３Ｂとを重ねた図を示している。
図３Ａおよび図３Ｂによれば、第１領域Ｒ１は評価値が評価値境界線Ｌ１より大きく動き量が動き量境界線Ｌ２より小さい領域であり、第２領域Ｒ２は第１領域Ｒ１以外の領域である。

また、図３Ａから図３Ｃに示されるように、評価値境界線Ｌ１は、単調増加する一次関数、（本実施例では、一例として、１次関数であるが、２次関数等でもよい。）
ｙ＝αｘ＋β、（α≧０）
として設定されている。
また、動き量境界線Ｌ２は、一定の閾値、
ｘ＝γ
として設定されている。

図３Ｃに示されるように、第１領域Ｒ１の大きさは、ゲインが大きくなるほど大きく設定されている。すなわち、ゲインが大きくなると、評価値境界線Ｌ１は切片βが小さくなる方向に移動し、動き量境界線Ｌ２は閾値γが大きくなる方向に移動している。また、αを小さくしてＲ１の領域を大きくしてもよい。

そして、ノイズ低減制御部１３は、例えば、図３Ａから図３Ｃに記載のゲインに応じたα、β、γのパラメータを記憶していて、評価値、動きベクトルおよびゲインが入力されてくると、ゲインによって選択される評価値境界線Ｌ１および動き量境界線Ｌ２によって、評価値および動き量が第１領域Ｒ１に属するのか第２領域Ｒ２に属するのかを判定し、第１領域Ｒ１に属する場合には制御信号「０」、第２領域Ｒ２に属する場合には制御信号「１」を出力するようになっている。なお、表１に図３Ｃに示すゲイン、評価値、動き量によって選択される制御信号の一例を示す。

巡回型ノイズ低減部１４は、ノイズ低減制御部１３から入力されてきた制御信号に応じた巡回量で、入力画像と過去の巡回画像とを混合して巡回画像（ノイズ低減画像）を生成して巡回画像を出力するとともに、出力された該巡回画像を過去の巡回画像として扱うようになっている。
本実施形態においては、制御信号「０」は巡回型ノイズ低減処理を所定の巡回量で実施することを意味し、制御信号「１」は巡回型ノイズ低減処理を実施しない（巡回量＝０）であることを意味するものとする。（なお、制御信号を使用して、例えば、制御信号「０」は、巡回量「強」（０．８）とし、制御信号「１」は、巡回量「弱」（０．２）として切替えてもよい。）

巡回型ノイズ低減部１４は、公知の方法で巡回型ノイズ低減処理を行う。すなわち、巡回画像を生成し、巡回画像と入力画像とを制御信号に従う巡回量だけ混合して出力するとともに、巡回画像を生成する。画像を混合する前には、巡回画像と入力画像との位置合わせを行っている。

このように構成された本実施形態に係る画像処理装置３による画像処理方法について以下に説明する。
本実施形態に係る画像処理方法によって標本Ａの観察を行うには、図４に示されるように、画像取得部２から入力画像とゲインとが入力されてくると、入力画像に基づいてパターンマッチング部１２においてパターンマッチング処理が行われ、評価値および動きベクトルが取得される（ステップＳ１）。

次いで、パターンマッチング部１２から出力された評価値および動きベクトルと、画像取得部２から入力されてきたゲインとがノイズ低減制御部１３に入力されると、ゲインに応じて評価値境界線Ｌ１および動き量境界線Ｌ２が算出され（ステップＳ２）、評価値および動き量が第１領域Ｒ１または第２領域Ｒ２のいずれに属するかが判定されて、制御信号が生成される（ステップＳ３）。
そして、生成された制御信号が巡回型ノイズ低減部１４に入力されることにより、制御信号に応じて巡回量が設定されて巡回型のノイズ低減処理が行われる（ステップＳ４）。

このように、本実施形態に係る画像処理装置３および画像処理方法によれば、巡回型のノイズ低減処理における巡回量を動きベクトルのみならず、動きベクトルの確かさを示す評価値も同時に参照するので、低輝度の被写体を観察する場合においても、巡回量を適正に制御し、視認性の高い画像を取得することができるという利点がある。

すなわち、低輝度の被写体を観察する際には、画像に高いゲインがかけられる。その場合には画像にノイズが大きくなるため、誤差を含む確率が高く、動きベクトルが正しく算出できず、動きベクトルのみでは巡回型ノイズ低減部１４の巡回量を正しく制御することが困難となる。
本実施形態によれば、動きベクトルに加えてその確からしさを示す評価値を用いることで、同じ動きベクトルでも評価値が異なれば異なる巡回量を設定でき、同じ評価値でも動きベクトルが異なれば異なる巡回量を設定できる。なお、図３Ａから図３Ｃに記載したαは、α＞０とすることで、同じ評価値でも動きベクトルを区別し、よりよい制御を実行することができる。

また、本実施形態によれば、ゲインが大きくなればノイズが多くなるので、第１領域Ｒ１を広げて、評価値が小さい状態でも位置合わせをしてノイズ低減処理を行うことにより、視認性を向上することができるという利点がある。

顕微鏡１においては、ＸＹ調整機構１１による標本Ａ移動の位置あわせは、ゲインが１０の場合の方が動きベクトルの確からしさが高い状態で実施しないと、位置合わせ精度が十分ではなく異なる位置で画像の位置合わせが行われるため画像観察の妨げになる。一方、ゲインが１００の場合にはノイズが多いため、ベクトルの確からしさが低い状態となり、低い状態でも位置合わせをしてノイズ低減を図らないと画像観察が困難になる。

また、Ｚ調整機構１０による合焦については、フォーカスボケの影響はゲインが１０の方が大きく、ボケの判断は動きベクトルの確からしさが高い状態で慎重に行わないと画像観察の妨げになる。一方、ゲインが１００の場合には合焦状態でも動きベクトルの確からしさが低い状態となり、ボケとの識別が困難になり、確からしさが低い状態でボケとの識別が行えないと画像観察が困難になる。

本実施形態に係る顕微鏡１によれば、ゲインに応じた評価値境界線Ｌ１および動き量境界線Ｌ２による巡回量の制御が行われるので、低ゲインから高ゲインまで視認性の高い画像による観察容易性を向上することができるという利点がある。
なお、本実施形態においては、ゲインが１０と１００の場合について説明したが、これに限定されるものではなく、他の任意のゲインについて切り替えることにしてもよいし、ゲインの数も３以上に設定してもよい。

また、本実施形態においては、ノイズ低減制御部１３が制御信号のみを出力したが、これに代えて、図５に示されるように、制御信号に加えて補正動きベクトルを出力することにしてもよい。
補正動きベクトルは、第１領域Ｒ１を閾値によってさらに２つに区画し、動き量が閾値より小さい領域と動き量が閾値Ｔ以上の領域とで異なる値を採用している。図６に示す例では、動き量が閾値Ｔより小さい領域Ｒ１１における補正動きベクトルは（０，０）、動き量が閾値Ｔ以上の領域Ｒ１２における補正動きベクトルは（ｄｘ、ｄｙ）としている。

これにより、巡回型ノイズ低減部１４における画像の位置合わせにおいて、動き量が閾値より小さい領域Ｒ１１では、実際の動き量が存在していても補正動きベクトルにより静止状態であるとして位置合わせが実施され、動き量が閾値Ｔ以上の領域Ｒ１２では実際の動きベクトルと同じ補正動きベクトルを用いて位置あわせが実施される。

すなわち、図７に示されるように、ステップＳ３において生成された制御信号に応じて、第１領域Ｒ１に属していると判定された場合に、ステップＳ１において算出された動きベクトルから、閾値によって補正動きベクトルが生成され（ステップＳ５）、ステップＳ４における巡回型のノイズ低減処理が行われるようになっている。

これにより、高ゲインの場合には動き量の誤差が発生し易く、静止状態でも画像に動きが発生するので、補正動きベクトルを出力することにより、不感帯を設け、静止状態の画像を実現し、高ゲイン時における静止状態の観察をより容易にすることができる。

また、本実施形態においては、制御信号に応じて巡回型のノイズ低減処理を行うか行わないかを切り替えることとしたが、これに代えて、図８に示されるように、複数のパラメータ（例えば、巡回量）を備えるパラメータ設定部１５をさらに備え、制御信号に応じてパラメータを切り替えることにしてもよい。図に示す例では、制御信号「０」の場合に、制御信号「１」の場合より多くの巡回量となるようなパラメータが保持されている。これにより、制御信号「０」の場合には、巡回画像の比率が高くなり、制御信号「１」の場合には現フレームの画像の比率が高くなった画像が出力される。

また、図９および図１０に示されるように、パターンマッチング部１２が、第１の画像および第２の画像の明るさ情報を映像レベルとして出力するとともに（ステップＳ６）、ノイズ低減制御部１３が、第１の画像と第２の画像との間の明るさ変化を算出し（ステップＳ７）、明るさ変化が所定の閾値より大きい場合に巡回量を減少させる制御信号を出力してもよい。
具体的には、第１の画像の映像レベルを第２の画像の映像レベルで除算することにより明るさ変化を算出する。

（第１の画像の映像レベル）／（第２の画像の映像レベル）＝明るさ変化
上記式により算出された明るさ変化が上限閾値以上または下限閾値以下の場合に（ステップＳ８、ステップＳ９）、急峻な明るさ変化であると判定して、第１領域Ｒ１に属していても制御信号「１」に設定する（ステップＳ１０）。これにより、出力される画像におけるアーティファクトの発生を抑えることができる。

図中、符号１６はアンプ部である。アンプ部１６は必ずしも必要ではない。アンプ部１６は、入力画像のみに対して設けてもよいし、パターンマッチングする流れにアンプ部１６を別途追加してもよい。

また、本実施形態においては巡回型ノイズ低減部１４のみを設けていたが、これに加えて、図１１に示されるように、巡回型ノイズ低減部１４の前段に、ノイズ低減処理対象である１枚の入力画像の画像データを用いて補間処理および平均化処理等を実行し、ノイズ低減処理を行う非巡回型ノイズ低減部１７を配置してもよい。パラメータ設定部１５に非巡回型ノイズ低減部１７のパラメータも保持しておき、制御信号に応じて切り替えることにしてもよい。

具体的には、制御信号「０」の場合に、巡回型ノイズ低減部１４によるノイズ低減処理を強く、非巡回型ノイズ低減部１７によるノイズ低減処理を弱くするようにパラメータが切り替えられる。巡回量が多い場合には、静止状態に近く、画像を詳細に観察したいので、非巡回型のノイズ低減処理を弱くして解像感の低下を防止することができる。

一方、制御信号「１」の場合には、巡回型ノイズ低減部１４によるノイズ低減処理を弱く（あるいは巡回量を「0」にし）、非巡回型ノイズ低減部１７によるノイズ低減処理を強くするようにパラメータが切り替えられる。この状態は、顕微鏡１ではＸＹ方向に標本Ａを移動中であるか、フォーカスを調整中であるため、巡回型のノイズ低減処理を弱く、非巡回型のノイズ低減処理を強くして残像の低減を図り、スムーズな操作を行うことができる。

また、図１２に示されるように、パラメータ設定部１５に備えるパラメータをゲインに応じて変更することにしてもよい。この場合には、制御情報にゲインの情報も含めることにすればよい。
ゲインに応じてノイズ量が異なるため、ゲイン毎に適正なノイズ低減量となるパラメータを設定することで、全てのゲインにおいて適正なノイズ低減を図ることができる。

また、本実施形態においては、パターンマッチング部１２に入力する、入力画像よりも遅延した過去の画像として、直前フレームの蛍光画像を採用したが、これに代えて、図１３に示されるように、巡回型ノイズ低減部１４から入力されてきた過去の巡回画像を採用してもよい。

また、本実施形態においては、パターンマッチング部１２や巡回型ノイズ低減部１４に入力する画像として、ＲＡＷ画像またはＲＡＷ画像を現像処理したカラー画像を採用してもよい。また、パターンマッチング部１２にＲＡＷ画像が入力され、巡回型ノイズ低減部１４にはＲＡＷ画像を現像処理したカラー画像が入力されてもよい。

また、パターンマッチング部１２や巡回型ノイズ低減部１４に入力する画像として、画像毎に適した画像処理を施したものを採用してもよい。例えば、パターンマッチング部１２に画素欠陥補正処理を施した画像が入力され、巡回型ノイズ低減部１４には画素欠陥補正処理およびホワイトバランス処理を施した画像が入力されてもよい。

１ 顕微鏡
２ 画像取得部
３ 画像処理装置
１２ パターンマッチング部
１３ ノイズ低減制御部（制御部）
１４ 巡回型ノイズ低減部
１７ 非巡回型ノイズ低減部
Ａ 標本
Ｌ１ 評価値境界線
Ｌ２ 動き量境界線
Ｒ１ 第１領域
Ｒ２ 第２領域

Claims (18)

1. 第１の画像と、該第１の画像より前に取得された第２の画像との間でパターンマッチング処理を行い、前記画像間の動きベクトルと該動きベクトルの確からしさを示す評価値とを出力するパターンマッチング部と、
   前記第１の画像にノイズ低減処理を施したノイズ低減画像を出力する巡回型ノイズ低減部であって、前記第１の画像に基づく画像と過去の前記ノイズ低減画像に基づく画像とを所定の巡回量に応じて混合するノイズ低減処理を行う巡回型ノイズ低減部と、
   前記パターンマッチング部により出力された前記動きベクトルおよび前記評価値と、前記第１の画像にかけられて明るさを調節するゲインとに基づいて、前記巡回型ノイズ低減部の巡回量を制御する制御部とを備える画像処理装置。
2. 前記制御部が、前記評価値と前記動きベクトルの大きさを示す動き量とを座標軸とする座標平面において、前記評価値を大小２つに区画する評価値境界線と、前記動き量を大小２つに区画する動き量境界線とにより区画された、前記評価値が大きく前記動き量が小さい第１領域において、該第１領域以外の第２領域よりも前記巡回量が大きくなるように制御する請求項１に記載の画像処理装置。
3. 前記評価値境界線は、前記動き量が大きくなるほど大きい前記評価値において前記第１領域と前記第２領域とを区画するように設定されている請求項２に記載の画像処理装置。
4. 前記制御部は、前記ゲインが大きくなるほど、前記評価値境界線を前記評価値が小さい位置に、前記動き量境界線を前記動き量が大きい位置に設定する請求項２または請求項３に記載の画像処理装置。
5. 前記制御部は、前記評価値および前記動き量が前記第１領域内に配置されている場合に、前記動き量が、前記ゲイン毎に定められた閾値より小さい場合に動きベクトルをゼロベクトルに補正する請求項４に記載の画像処理装置。
6. 前記パターンマッチング部が、前記第１の画像および前記第２の画像の明るさ情報を出力し、
   前記制御部は、前記パターンマッチング部から出力された明るさ情報に基づいて、前記第１の画像と前記第２の画像との間の明るさ変化が所定の閾値より大きい場合に前記巡回量を減少させるように制御する請求項１から請求項５のいずれかに記載の画像処理装置。
7. １枚の前記第１の画像を用いてノイズ低減処理を行う非巡回型ノイズ低減部を備え、
   前記制御部は、前記評価値および前記動き量が前記第１領域内に配置されている場合に、前記巡回型ノイズ低減部によるノイズ低減処理を前記非巡回型ノイズ低減部によるノイズ低減処理より強くし、前記評価値および前記動き量が前記第２領域内に配置されている場合に、前記非巡回型ノイズ低減部によるノイズ低減処理を前記巡回型ノイズ低減部によるノイズ低減処理より強くするように制御する請求項２または請求項３に記載の画像処理装置。
8. 前記制御部は、前記ゲインが大きくなるほど、前記巡回型ノイズ低減部および前記非巡回型ノイズ低減部によるノイズ低減処理が強くなるように制御する請求項７に記載の画像処理装置。
9. 前記第２の画像が前記ノイズ低減画像である請求項１から請求項８のいずれかに記載の画像処理装置。
10. 前記第２の画像が前記第１の画像よりも前に取得された過去フレーム画像である請求項１から請求項８のいずれかに記載の画像処理装置。
11. 第１の画像と、該第１の画像より前に取得された第２の画像との間でパターンマッチング処理を行って、前記画像間の動きベクトルと該動きベクトルの確からしさを示す評価値とを算出し、
    算出された前記動きベクトルおよび前記評価値に基づいて、該評価値と前記動きベクトルの大きさを示す動き量とを座標軸とする座標平面において、前記評価値を大小２つに区画する評価値境界線と、前記動き量を大小２つに区画する動き量境界線とにより区画された、前記評価値が大きく前記動き量が小さい第１領域において、該第１領域以外の第２領域よりも巡回量を大きくして巡回型のノイズ低減処理を行う画像処理方法。
12. 前記評価値境界線は、前記動き量が大きくなるほど大きい前記評価値において前記第１領域と前記第２領域とを区画するように設定されている請求項１１に記載の画像処理方法。
13. ゲインが大きくなるほど、前記評価値境界線を前記評価値が小さい位置に、前記動き量境界線を前記動き量が大きい位置に設定する請求項１１または請求項１２に記載の画像処理方法。
14. 前記評価値および前記動き量が前記第１領域内に配置されている場合に、前記動き量が、前記ゲイン毎に定められた閾値より小さい場合に動きベクトルをゼロベクトルに補正する請求項１３に記載の画像処理方法。
15. 前記第１の画像と前記第２の画像と間の明るさ変化を検出し、
    検出された明るさ変化が所定の閾値より大きい場合に前記巡回量を減少させるように制御する請求項１１または請求項１２に記載の画像処理方法。
16. 前記評価値および前記動き量が前記第１領域内に配置されている場合に、巡回型のノイズ低減処理を非巡回型のノイズ低減処理より強くし、前記評価値および前記動き量が前記第２領域内に配置されている場合に、非巡回型のノイズ低減処理を巡回型のノイズ低減処理より強くするように制御する請求項１１または請求項１２に記載の画像処理方法。
17. ゲインが大きくなるほど、巡回型のノイズ低減処理および非巡回型のノイズ低減処理が強くなるように制御する請求項１６に記載の画像処理方法。
18. 第１の画像および第２の画像を時系列に取得する画像取得部と、
    請求項１から請求項１０のいずれかに記載の画像処理装置とを備える顕微鏡。
    

Images