JP6408916B2 - 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体 - Google Patents

Description

本発明は、被検眼等の対象物体の形態を撮像して得られた画像を処理する画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体に関する。

ＣＣＤなどの撮像装置により得られた画像からノイズを除去する方法が種々提案されている。例えば、特許文献１には、選択画素の画素値と注目画素の画素値とに基づいて、注目画素の新たな画素値を決定し、注目画素の画素値を新たな画素値で置換して新たな画像データを生成することにより、低周波ノイズを含む画像データからノイズを除去する方法が記載されている。

特許文献２には、略同時に取得した全画素読み出しモードでの画像と画素加算読み出しモードでの画像をそれぞれ輝度成分と色差成分に分離し、適応的に合成処理を行う方法が記載されている。

特許文献３には、補正対象画素に対し、該補正対象画素と同じ色成分を有する複数の周囲の同色画素の画素値と、複数の周囲の同色画素よりも補正対象画素に近接して存在する、補正対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値との中から最大値を算出し、補正処理対象画素の画素値が算出した最大値よりも大きな値を示す場合に、補正対象画素の画素値を該最大値で置き換えることによって白傷を補正する方法が記載されている。

特許文献４には、基準画像中の対象画素のコントラスト値を算出するコントラスト算出部と、基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部であって、コントラスト値を使用して動きベクトルの算出方法を変更する動きベクトル算出部と、動きベクトル算出部により算出された動きベクトルに基づいて、参照画像を基準画像に対して動き補償する動き補償部と、基準画像と動き補償された参照画像とを対象画素ごとに加重加算する加重加算部とを備え、動画像からノイズを除去する画像処理装置が記載されている。

特許文献５には、入力画像と参照画像とを加算することで、入力画像中のノイズを除去する画像処理装置が記載されている。

特許文献６には、画像から高周波成分を抽出し、抽出した高周波成分から非線形変換によりノイズ成分を抽出し、抽出したノイズ成分を画像から減算し、ノイズ成分を減算した画像から、再度高周波成分を抽出し、再度抽出した高周波成分から非線形変換により補正成分を抽出し、抽出した補正成分をノイズ成分を減算した画像に加算することにより画像に含まれるノイズを除去する画像処理方法が記載されている。

特許第３８６２６１３号公報 特開２００８−１３１５８０号公報 特開２０１１−１３５５６６号公報 特開２０１２−２２２５１０号公報 再公表２０１０−００７７７７号公報 特許第４５３５１２５号公報

上記の従来の技術では、信号とノイズの特性が明瞭に分離されていないと、ノイズ除去の効果は低く、信号強度は低減されてしまうという問題があった。そこで本発明では、信号強度を保ったまま画像からノイズを除去する画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体を提供することを目的とする。

上記課題を解決する本発明の画像処理装置は、同一箇所を撮影した複数の撮影画像の全部または一部の平均画像を生成する平均画像生成手段と、
撮影画像の各画素の画素値と平均画像の対応する画素の画素値との比較結果に基づいてノイズ画素を抽出するノイズ抽出手段と、
撮影画像に含まれるノイズ画素の画素値を他の画素の画素値により補間してノイズ除去画像を生成する補間手段とを備えている。

本発明によれば、撮影画像と平均画像との画素値の差に基づいてノイズ画素を抽出している。そのため、信号強度を保ったまま画像からノイズを除去することができる。

被検眼眼底の断層画像を取得して画像処理するシステム全体を示すブロック図である。 眼底の黄斑部を信号光で走査する状態を示した説明図である。 複数枚の断層画像を取得する状態を示した説明図である。 ノイズ除去処理の手順を示すフローチャートである。 位置合わせ処理とノイズ画素の抽出処理を説明する模式図である。 ノイズ画素の除去と補間処理を説明する模式図である。 ノイズ除去処理の手順を示すフローチャートである。 動画の生成処理を説明する模式図である。

以下、図面を参照しながら実施例に基づいて本発明の画像処理装置を詳細に説明する。ここでは、眼科検診用の装置で被検眼の眼底の断層画像（撮影画像の一例）を取得し、この断層画像からノイズを除去する例について説明するが、本発明は他の種類の装置で他の対象を撮影した場合にも適用することができる。

図１は、被検眼眼底の断層画像を取得して画像処理するシステム全体を示すブロック図である。符号１で示すものは、被検眼Ｅの眼底（網膜）Ｅｆを観察及び撮像する眼底カメラユニット１であり、照明光学系４、撮影光学系５、走査ユニット６を備えている。

照明光学系４は、ハロゲンランプ等の観察光源とキセノンランプ等の撮影光源を備え、これらの光源からの光は照明光学系４を介して眼底Ｅｆに導かれて眼底を照明する。撮影光学系５は、対物レンズ、撮影レンズなどの光学系、ＣＣＤ等の撮像装置を備え、眼底Ｅｆにより反射された撮影光を撮影光路に沿って撮像装置に導き、眼底Ｅｆの画像を撮影する。また、撮影光学系５は後述する眼底Ｅｆにより反射されたＯＣＴユニット２から信号光をＯＣＴユニット２に導く。走査ユニット６は、ＯＣＴユニット２からの信号光を図１のＸ方向及びＹ方向に走査するためのガルバノミラーなどを備えた機構である。

眼底カメラユニット１は、コネクタ７及び接続線８を介して眼底Ｅｆの断層画像を撮像するＯＣＴユニット２と光学的に接続されている。

ＯＣＴユニット２は、フーリエドメイン方式のみならず、タイムドメイン方式やスエプトソース方式のものでもよいが、ここでは公知のフーリエドメイン方式のものであるとする。この場合、低コヒーレンス光源２０は、波長が700nm〜1100nmの光を発光するものであり、低コヒーレンス光源２０からの光は、参照光と信号光に分割され、参照光は参照光路をたどって参照ミラーで反射される。一方、信号光は、接続線７、コネクタ８を介して眼底カメラユニット１に導かれ、走査ユニット６により眼底Ｅｆ上でＸ、Ｙ方向に走査される。眼底Ｅｆで反射してＯＣＴユニット２に戻ってきた信号光は、参照ミラーで反射した参照光と重畳され干渉光を発生する。干渉光はＯＣＴ信号検出装置２１内で分光されて眼底の深度方向（Ｚ方向）の情報を示すＯＣＴ信号が発生する。

画像処理装置３は、例えば、眼底カメラユニット１に内蔵されたマイクロコンピュータ、あるいは眼底カメラユニット１と接続されたパーソナルコンピュータ等によって構成される。画像処理装置３には、ＣＰＵ、ＲＡＭ、ＲＯＭなどで構成された制御部３０が設けられ、制御部３０は画像処理プログラムを実行することにより全体の画像処理を制御する。

表示部３１は、例えば、ＬＣＤなどのディスプレイ装置によって構成され、画像処理装置３で生成あるいは処理された画像や、被験者に関する情報などの付随する情報を表示する。

操作部３２は、例えば、マウスやキーボード、操作パネル等を有し、操作者が画像処理装置３などに指示を与えるために用いられる。

断層画像形成部４１は、フーリエドメイン法（スペクトラルドメイン法）などの公知の解析方法を実行する専用の電子回路、または、前述のＣＰＵが実行する画像処理プログラムにより実現され、ＯＣＴ信号検出装置２１が検出したＯＣＴ信号に基づいて、眼底Ｅｆの断層画像を形成する。断層画像形成部４１で形成された断層画像は、例えば半導体メモリ、ハードディスク装置等により構成された記憶部４２に格納される。記憶部４２は、さらに上述した画像処理プログラムなども格納する。

画像処理部５０は、断層画像生成部４１により生成された断層画像（撮影画像）に対して演算処理を行い断層画像に含まれるノイズを除去する。画像処理部５０は、基準画像に他の撮影画像を位置合わせする位置合わせ手段５１、撮影画像の全部または一部の平均画像を生成する平均画像生成手段５２、撮影画像の各画素の画素値と平均画像の対応する画素の画素値との比較結果に基づいてノイズ画素を抽出するノイズ抽出手段５３、ノイズ画素の画素値を他の画素の画素値により補間してノイズ除去画像を生成する補間手段５４により構成される。画像処理部５０における各手段あるいは各画像処理は、専用の電子回路を用いることにより、あるいは制御部３０が画像処理プログラムを実行することにより実現される。

次に、画像処理装置３の動作を図４のフローチャートを参照しながら説明する。制御部３０は、走査ユニット６を制御して信号光を眼底Ｅｆの一箇所で図１のＸ軸方向に走査する。このときにＯＣＴ信号検出装置２１が検出したＯＣＴ信号に基づき断層画像形成部４１が１枚の断層画像を生成する。これらの処理をＮ回（Ｎは２以上の整数、例えばＮ＝１００〜３００）繰り返すことにより、眼底Ｅｆの同一箇所の異なる時刻ｔ₁〜ｔ_NにおけるＮ枚の断層画像Ｔ_i（ｉ＝１〜Ｎ）（以下Ｔ_iと書く）を生成する（ステップＳ１）。図３は、図２に示す網膜の黄斑部が存在する領域Ｒの走査線ｙ_ｊにおける複数の断層画像の例である。各断層画像Ｔ_iには、眼底を構成する組織が層状に現れている。これらの画像は、同一箇所を撮影した（図２の走査線ｙ_jの位置を固定して撮影した）ものであるが、固視微動等によりＸ軸方向およびＺ軸方向の位置ずれが生じていることもある。また、このような方法で生成された断層画像Ｔ_iは、通常、信号強度が小さくノイズが多く含まれている。

位置合わせ手段５１は、各断層画像Ｔ_iを基準画像に対して位置合わせ処理を行う（ステップＳ２）。具体的には、まず、位置合わせの基準となる基準画像を選択または生成する。基準画像としては、例えば、最初の断層画像Ｔ_１、あるいはＴ_ｉを表示部３１に表示して操作者が選択したいずれかの断層画像などとする。あるいは断層画像Ｔ_ｉの平均画像、あるいはこの平均画像との類似度が最大の断層画像、あるいは操作者が選択した複数の断層画像の平均画像を基準画像としてもよい。

次に、図５に示すように、各断層画像Ｔ_iを、Ｘ方向の幅がｋ画素（例えばｋ＝１）となるような細分領域６０に分割する。次に、各細分領域６０に対して、Ｘ方向の幅が２０ｋ程度、Ｚ方向長さが細分領域６０と同じの局所領域を設定し、設定された局所領域に基づいて各細分領域毎に基準画像の対応する局所領域との類似度を算出しＸ方向とＺ方向の位置ずれ量を算出する。そして算出した位置ずれ量だけ、各細分領域をＸ方向とＺ方向に移動させることによって位置合わせ処理を行い、図５の中段に示した位置合わせ後の断層画像Ｐ_iを生成する。なお、図５において、位置合わせされた断層画像Ｐ_iの各細分領域６０の位置がＺ方向（上下方向）に凹凸しており、Ｚ方向の位置ずれ量が摸式的に表現されているが、Ｘ方向の位置ずれ量は表現が困難なので省略されている。ｋの値は、予想されるノイズサイズ、撮影倍率などに応じて変化させることができる。また、類似度は、例えば次の数1により算出することができる。

ここで，Ｔ（ｋ）は画素値の集合（画素数ｎ）、Ｔ（上に横線）は画素値の平均である。

なお、位置合わせは、上記の方法のほか、種々の方法により行うことができる。たとえば、断層画像を細分領域に分割することなく全体に対して位置合わせを行う方法や、断層画像の一部を特徴領域として抽出し、この特徴領域の類似度に基づいて位置合わせを行う方法を用いてもよい。また、撮影対象の性質によっては、位置合わせ処理を省いてもよい。

平均画像生成手段５２は、位置合わせ後の断層画像Ｐ₁〜Ｐ_Nの画素値を画素ごとに加算して総和をとり、枚数Ｎで除算することにより各画素の画素値を求めて加算平均画像Ｔ_Aを生成する（ステップＳ３）。加算平均画像は、上記のようにすべての位置合わせ後の断層画像Ｐ_iから生成するほか、断層画像Ｐ_iの一部から生成してもよい。また、画素値の算術平均から加算平均画像の画素値を求めるほか、各断層画像の画素値の中央値、あるいは最頻出値により求めてもよい。

ノイズ抽出手段５３は、位置合わせ処理後の断層画像Ｐ_iの各画素の画素値と、その画素と同じ位置の加算平均画像Ｔ_Aの画素の画素値との差を求め、差の絶対値が所定の閾値よりも大きい場合に、その画素をノイズ画素と判定する（ステップＳ４）。閾値は、ひとつの値を用いるほか、加算平均画像Ｔ_Aの画素値に応じて段階的に変化させるようにしてもよい。

断層画像Ｔ_iの各画素の画素値と、その画素と同じ位置の加算平均画像Ｔ_Aの画素の画素値との比較は、上記のほか、比率により行い比率が所定の範囲から外れる場合にその画素をノイズ画素と判定するようにしてもよい。

本実施例のようなＯＣＴによる断層画像の場合には、ノイズ画素には大別して図５に黒い円（符号６１ａ）で示した眼底の組織に起因する画素値の小さいものと、図６に白い円（符号６１ｂ）で示した撮像装置に起因する画素値の大きいもの（ショットノイズ）とがある。ノイズ抽出手段５３は、図５の下段に示したように、各断層画像Ｐ_iについてノイズと判定した画素を抽出し、それらの画素を特定する情報、例えばノイズ画素のＸ座標とＺ座標を記憶部４２に格納する。

補間手段５４は、図６の上段に符号６２で示すようにステップＳ４でノイズと判定された画素を削除する（例えば画素値を０とする）。そして、削除した画素６２の画素値を、例えばその画素に隣接する画素、あるいは一定の距離以下にある画素の画素値に基づいて補間し、ノイズが除去された断層画像Ｑ₁〜Ｑ_N（ノイズ除去画像の一例）を生成して、記憶部４２に格納する（ステップＳ５）。補間の方法は、このほか種々の公知の方法を用いることができる。

記憶部４２に格納されたノイズを除去された断層画像Ｑ₁〜Ｑ_Nは、操作部３２を介した操作者の指示により、制御部３０が表示部３１に１枚ずつあるいは１画面に複数枚を並べて表示する。

本実施例の画像処理装置３によれば、位置合わせ処理後の各断層画像Ｐ_iと加算平均画像Ｔ_Aの画素値の比較結果に基づいてノイズ画素を抽出し、そのノイズ画素に対して補間処理を行っている。そのため、断層画像Ｔ_iの信号強度が小さい場合でも、信号強度を保ったままノイズを除去することができる。

また、ノイズ画素の抽出とノイズ画素の補間はすべての断層画像Ｔ_iに対してそれぞれ行っているから、ノイズが除去された鮮明な断層画像を複数枚（Ｎ枚）得ることができる。

次に、本発明の第２の実施例について説明する。第２の実施例の装置構成は図１に示した第１の実施例と同一である。また、動作も基本的には第１の実施例と同様であるので、図７のフローチャートと図８の模式図を参照しながら、第１の実施例と異なる部分について説明する。

断層画像形成部４１が被検眼Ｅの眼底Ｅｆの同一箇所のＮ枚の断層画像Ｒ₁〜Ｒ_Nを生成し、位置合わせ手段５１が各断層画像Ｒ_iに対して位置合わせを行う。これらの処理は第１の実施例と同様である（ステップＳ１、Ｓ２）。また、撮影対象によっては、位置合わせ処理を省くことができるのも同様である。生成された断層画像Ｒ_iには図８の黒い点（符号６３）で示したようにノイズ画素が含まれている。

平均画像生成手段５２は、断層画像Ｒ_iとの撮影時刻の差が所定の閾値より小さい断層画像を用いて断層画像Ｒ_iごとに異なる個別加算平均画像Ｂ_iを生成する（ステップＳ１３）。具体的には例えば、断層画像Ｒ_iの個別加算平均画像Ｂ_iとして、１回のＸ方向の走査に要する時間が一定の場合、断層画像Ｒ_iとその前後それぞれＭ枚（Ｍは１以上Ｎ未満の整数）ずつ、すなわちＴ_i-M〜Ｔ_i+Mの２Ｍ＋１枚の断層画像から図４のステップＳ３と同様の方法で個別加算平均画像を生成する。図８は、Ｍ＝２として原則５枚の断層画像から個別加算平均画像Ｂiを生成する例であり、個別加算平均画像Ｂiを示す太線がその生成に用いられた断層画像の範囲を示している。

平均画像生成手段５２は、図８のＲ₁、Ｒ₂、Ｒ_N-1、Ｒ_Nのように、その前または後の断層画像の枚数がＭに満たない場合には、それを補うことなく２Ｍ＋１よりも少ない枚数で個別加算平均画像Ｂiを生成する。例えば、断層画像Ｒ₁については、それよりも前の断層画像が存在しないので、断層画像Ｒ₁、Ｒ₂、Ｒ₃の３枚のみで個別加算平均画像を生成する。これは、個別加算平均画像の生成に用いる断層画像の枚数を多くして個別加算平均画像の鮮明さを向上させることよりも、着目している断層画像Ｒ_iと個別加算平均画像の生成に用いる断層画像のうち最後（再先）のものとの間の撮影時刻の差が大きくなるのを避けることを優先するためである。例えば、断層画像Ｒ₁用の加算平均画像を不足分を補って断層画像Ｒ₁〜断層画像Ｒ₅を用いて生成した場合、断層画像Ｒ_１と最も後の断層画像Ｒ₅との間の時間差が大きくなってしまい、脈動による血管の形の変化など実際に起こっている画像の変化がノイズと判定されて消去されてしまうおそれがある。

ノイズ抽出手段５３が各断層画像Ｒ_iとその断層画像用の個別加算平均画像Ｂ_iの各画素値を減算処理して、図４のステップＳ４と同様の手法でノイズ画素の抽出を行う（ステップＳ１４）。

補間手段５４がノイズ画素の補間を行い、ノイズが除去された断層画像Ｕ₁〜Ｕ_Nを生成し、それらを記憶部４２に格納する。この処理は第１の実施例と同様である（ステップＳ５）。

制御部３０は、記憶部４２からノイズが除去された断層画像Ｕ₁〜Ｕ_Nを表示部３１に動画として表示する（ステップＳ６）。すなわち、断層画像Ｕ_iを動画の１フレームとして、断層画像Ｕ₁〜Ｕ_Nを適切な時間間隔で順番に表示する。あるいは、断層画像Ｕ₁〜Ｕ_Nから動画形式のファイルを生成し、それを再生してもよい。

この実施例では、ノイズが除去された断層画像Ｕ₁〜Ｕ_Nを全部記憶部４２に格納してから動画の表示を行っているが、画像処理装置３の処理能力が十分大きい場合には、リアルタイム処理を行うこともできる。すなわち、Ｘ方向の走査を１回行う時間よりも、1枚の断層画像を生成し、その断層画像に対する一連の処理に要する時間が短い場合には、断層画像の撮影と並行して図７のステップＳ２〜Ｓ６の処理を行うようにしてもよい。

また、第２の実施例においても、ノイズが除去された断層画像Ｕ_iを表示部３１に静止画として表示してもよい。

第２の実施例の画像処理装置３によれば、ノイズ画素の抽出処理の基準となる加算平均画像をそれぞれの断層画層と撮影時刻の差が小さい断層画像のみから断層画像ごとに生成している。そのため、血管の脈動など撮影対象に実際に生じている変化をノイズと判定して消去してしまうことが避けられる。また、ノイズを除去された断層画像Ｕ_iを動画として表示することによって、操作者は眼底の血管等の動きを観察し診断に役立てることができる。

１ 眼底カメラユニット
２ ＯＣＴユニット
３ 画像処理装置
４ 照明光学系
５ 撮影光学系
６ 走査ユニット
７ コネクタ
８ 接続線
２０ 低コヒーレンス光源
２１ ＯＣＴ信号検出装置
３０ 制御部
３１ 表示部
３２ 操作部
４１ 断層画像形成部
４２ 記憶部
５０ 画像処理部
５１ 位置合せ手段
５２ 平均画像生成手段
５３ ノイズ抽出手段
５４ 補間手段
６０ 細分領域
６１ａ、６１ｂ、６３ ノイズ画素
６２ 削除されたノイズ画素
Ｅ 被検眼
Ｅｆ 眼底
Ｔ_i、Ｒ_i 断層画像
Ｐ_i 位置合わせ処理後の断層画像
Ｑ_i、Ｕ_i ノイズを除去された断層画像

Claims (10)

1. 同一箇所を撮影した複数の撮影画像の全部または一部から基準画像生成用平均画像を生成し、前記複数の撮影画像のうち、前記基準画像生成用平均画像との類似度が最大の撮影画像を基準画像とし、該基準画像に基づいて各撮影画像の位置合わせを行う位置合わせ手段と、
   位置合わせした撮影画像から加算平均画像を生成する平均画像生成手段と、
   位置合わせした撮影画像の各画素の画素値と前記加算平均画像の同位置の画素の画素値との比較結果に基づいてノイズ画素を抽出するノイズ抽出手段と、
   撮影画像に含まれるノイズ画素の画素値を他の画素の画素値により補間してノイズ除去画像を生成する補間手段と、
   を備えた画像処理装置。
2. 補間手段は、抽出したノイズ画素の画素値を該ノイズ画素に隣接する画素の画素値により補間してノイズ除去画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. ノイズ抽出手段は、撮影画像の各画素の画素値と前記加算平均画像の対応する画素の画素値との差を算出し、この差の絶対値が閾値よりも大きい画素をノイズ画素として抽出することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 平均画像生成手段は、撮影画像ごとに異なる個別加算平均画像を生成し、
   ノイズ抽出手段は撮影画像の各画素の画素値と個別加算平均画像の対応する画素の画素値との比較結果に基づいてノイズ画素を抽出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 平均画像生成手段は、撮影画像との撮影時刻の差が閾値よりも小さい撮影画像から個別加算平均画像を生成することを特徴とする請求項４に記載の画像処理装置。
6. 平均画像生成手段は、撮影画像およびその撮影画像と撮影時刻が前後に近接する所定の枚数の他の撮影画像から個別加算平均画像を生成することを特徴とする請求項４に記載の画像処理装置。
7. ノイズ除去画像を動画として表示する制御部を備えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 同一箇所を撮影した複数の撮影画像の全部または一部から基準画像生成用平均画像を生成し、前記複数の撮影画像のうち、前記基準画像生成用平均画像との類似度が最大の撮影画像を基準画像とし、該基準画像に基づいて各撮影画像の位置合わせを行う位置合わせ工程と、
   位置合わせした撮影画像から加算平均画像を生成する平均画像生成工程と、
   位置合わせした撮影画像の各画素の画素値と前記加算平均画像の同位置の画素の画素値との比較結果に基づいてノイズ画素を抽出するノイズ抽出工程と、
   撮影画像に含まれるノイズ画素の画素値を他の画素の画素値により補間してノイズ除去画像を生成する補間工程と、
   を有する画像処理方法。
9. 同一箇所を撮影した複数の撮影画像の全部または一部から基準画像生成用平均画像を生成し、前記複数の撮影画像のうち、前記基準画像生成用平均画像との類似度が最大の撮影画像を基準画像とし、該基準画像に基づいて各撮影画像の位置合わせを行う位置合わせ処理と、
   位置合わせした撮影画像から加算平均画像を生成する平均画像生成処理と、
   位置合わせした撮影画像の各画素の画素値と前記加算平均画像の同位置の画素の画素値との比較結果に基づいてノイズ画素を抽出するノイズ抽出処理と、
   撮影画像に含まれるノイズ画素の画素値を他の画素の画素値により補間してノイズ除去画像を生成する補間処理と、
   をコンピュータに実行させる画像処理プログラム。
10. 請求項９に記載の画像処理プログラムを格納したコンピュータにより読み取り可能な記録媒体。

Images