WO2018074459A1

WO2018074459A1 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: WO2018074459A1
Application number: PCT/JP2017/037500
Authority: WO
Inventors: 克己薮崎; 伸田中
Original assignee: Kowa Co Ltd
Current assignee: Kowa Co Ltd
Priority date: 2016-10-18
Filing date: 2017-10-17
Publication date: 2018-04-26
Anticipated expiration: 2019-04-18
Also published as: JPWO2018074459A1

Abstract

本発明の画像処理装置２０は、注目画素の輝度値と、注目画素の周囲に位置する複数の隣接画素それぞれの輝度値との差分値をそれぞれ算出する算出手段３１と、算出された差分値が所定の閾値以下である隣接画素の数を非該当隣接画素数としてカウントする計数手段３２と、非該当隣接画素数が所定数以下である場合には、複数の隣接画素の輝度値の平均値をもって注目画素の輝度値を置き換える置換手段３３と、を備える。本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、画像中の構造物の特徴を維持したまま、画像中のノイズを低減することができる。

Description

画像処理装置、画像処理方法及び画像処理プログラム

　本発明は、ノイズを含む画像を処理してノイズを低減した画像を生成するための画像処理装置、画像処理方法及び画像処理プログラムに関する。

　シグナルとノイズの比（Ｓ／Ｎ）が良好でない画像には白色点や黒色点からなるノイズが多く含まれる。これらのノイズは、例えば画像を分析・解析して何らかの情報を得るために行う画像処理の過程において、間違った分析・解析結果が導かれる原因となったり、得られた結果のばらつきを増大させる原因となったりする。特に医療分野において、観察部位の二次元画像や断層画像を得て画像診断を行う場合、異常とみなす注目する構造物は非常に小さかったり、不鮮明であったり、あるいは、幅が狭かったりする。そのような場合、ノイズ点が間違って着目する対象の構造物として抽出されてしまったり、ノイズ成分が着目する構造物を分断してしまうことにより、本来一つの構造物であったものを複数の構造物として認識させてしまったりする原因となる。そのため、いかにしてノイズを除去するかは画像処理の過程において非常に重要な課題となっている。

　従来、単一の画像に対してノイズを低減すべく行う処理としては、注目画素周辺の画素に着目して平均値をとったり、あるいは、中央値をとったりする方法が広く用いられている。これは、これらの処理により白色点や黒色点の寄与が薄まり、結果的にその領域の平均値から大きく外れるノイズが除去されることになるためである。また、連続する複数枚の画像を処理する分野、例えば眼底断層画像を扱う分野においては、例えば特許文献１に開示されているように、隣接する二枚以上の画像間において同様に画素の平均値や中央値を用いて移動平均をとることによりノイズを低減する方法がとられてきた。

国際公開公報ＷＯ２０１４／１１２６１１Ａ１

　しかしながら、従来のこれらの方法では、画像中の注目画素の周辺情報を一律に平均化することから、画像中の構造物の輪郭をぼかしてしまったり、構造物の輝度を下げてしまったりする結果となり、注目する構造物と背景とのコントラストを下げてしまうばかりか、構造物の形、明るさ、色などの特徴そのものを損なってしまうという問題点があった。

　また、断層画像などを扱う分野においては、上述のように注目する構造物の特徴を損なってしまうという問題点に加え、さらに次のような問題点もある。すなわち、連続する断層画像間の移動平均をとる方法では、複数の画像の画素を平均化することによりノイズと判断される画素を容易に除去することができ、滑らかな連続断層像を生成することはできるものの、連続する画像間で平均化処理をすることにより、注目する断層画像には含まれないがその前後の断層画像に含まれている構造物が処理後の注目する断層画像に映りこんでしまうという問題点があった。

　本発明は、このような点に鑑みてなされたものであり、画像中の構造物の特徴を維持したまま、画像中のノイズを低減することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

　上記目的を達成するために、第一に本発明は、注目画素の輝度値と、前記注目画素の周囲に位置する複数の隣接画素それぞれの輝度値との差分値をそれぞれ算出する算出手段と、算出された前記差分値が所定の閾値以下である前記隣接画素の数を非該当隣接画素数としてカウントする計数手段と、前記非該当隣接画素数が所定数以下である場合には、前記複数の隣接画素の輝度値の平均値をもって前記注目画素の輝度値を置き換える置換手段と、を備える画像処理装置を提供する（発明１）。

　上記発明（発明１）によれば、単純に注目画素の輝度値を周辺画素（注目画素の周囲に位置する隣接画素）の輝度値を用いて平均化するのではなく、注目画素の輝度値と周辺画素の輝度値との差分値に基づいて注目画素が周辺画素よりも明らかに明るいか、又は暗いかを判定し、注目画素が白色点や黒色点からなるノイズであると判断される場合のみ、周辺画素の輝度値の平均値で注目画素の輝度値を置き換えるため、画像中のノイズのみを除去することができる。その結果、画像中に存在する特徴的な構造物の形、明るさ、色などの特徴を損なうことなく、ノイズの低減処理を行うことができる。

　上記発明（発明１）においては、前記算出手段が、前記注目画素の輝度値から前記複数の隣接画素それぞれの輝度値を差し引いて求められる第１差分値と、前記複数の隣接画素それぞれの輝度値から前記注目画素の輝度値を差し引いて求められる第２差分値とをそれぞれ算出し、前記計数手段が、前記第１差分値が所定の第１閾値以下である前記隣接画素の数を第１非該当隣接画素数としてカウントするとともに、前記第２差分値が所定の第２閾値以下である前記隣接画素の数を第２非該当隣接画素数としてカウントし、前記置換手段が、前記第１非該当隣接画素数が第１の所定数以下であるか、または前記第２非該当隣接画素数が第２の所定数以下である場合には、前記複数の隣接画素全ての輝度値の平均値をもって前記注目画素の輝度値を置き換えてもよい（発明２）。

　上記発明（１，２）においては、前記注目画像の存する画像が連続する複数の断層画像のうちの一の断層画像であり、前記複数の隣接画素が、前記一の断層画像及びその前後の断層画像において空間的に前記注目画素の周囲に位置する複数の隣接画素であってもよい（発明３）

　上記発明（発明３）によれば、連続する断層画像を扱う場合においても注目する構造物の特徴を損なわず、かつ前後の断層画像中に含まれる構造物が処理後の注目する断層画像に映り込むこともなく、ノイズ低減処理を行うことができる。

　第二に本発明は、注目画素の輝度値と、該注目画素の周囲に位置する複数の隣接画素それぞれの輝度値との差分値をそれぞれ算出する算出工程と、算出された前記差分値が所定の閾値以下である前記隣接画素の数を非該当隣接画素数としてカウントする計数工程と、前記非該当隣接画素数が所定数以下である場合には、前記複数の隣接画素の輝度値の平均値をもって前記注目画素の輝度値を置き換える置換工程と、を備える画像処理方法を提供する（発明４）。

　上記発明（発明４）によれば、単純に注目画素の輝度値を周辺画素（注目画素の周囲に位置する隣接画素）の輝度値を用いて平均化するのではなく、注目画素の輝度値と周辺画素の輝度値との差分値に基づいて注目画素が周辺画素よりも明らかに明るいか、又は暗いかを判定し、注目画素が白色点や黒色点からなるノイズであると判断される場合のみ、周辺画素の輝度値の平均値で注目画素の輝度値を置き換えるため、画像中のノイズのみを除去することができる。その結果、画像中に存在する特徴的な構造物の形、明るさ、色などの特徴を損なうことなく、ノイズの低減処理を行うことができる。

　上記発明（発明４）においては、前記算出工程において、前記注目画素の輝度値から前記複数の隣接画素それぞれの輝度値を差し引いて求められる第１差分値と、前記複数の隣接画素それぞれの輝度値から前記注目画素の輝度値を差し引いて求められる第２差分値とをそれぞれ算出し、前記計数工程において、前記第１差分値が所定の第１閾値以下である前記隣接画素の数を第１非該当隣接画素数としてカウントするとともに、前記第２差分値が所定の第２閾値以下である前記隣接画素の数を第２非該当隣接画素数としてカウントし、前記置換工程において、前記第１非該当隣接画素数が第１の所定数以下であるか、または前記第２非該当隣接画素数が第２の所定数以下である場合には、前記複数の隣接画素全ての輝度値の平均値をもって前記注目画素の輝度値を置き換えてもよい（発明５）。

　上記発明（４，５）においては、前記注目画像の存する画像が連続する複数の断層画像のうちの一の断層画像であり、前記複数の隣接画像が、前記一の断層画像及びその前後の断層画像において空間的に前記注目画素の周囲に位置する複数の隣接画素であってもよい（発明６）。

　上記発明（発明６）によれば、連続する断層画像を扱う場合においても注目する構造物の特徴を損なわず、かつ前後の断層画像中に含まれる構造物が処理後の注目する断層画像に映り込むこともなく、ノイズ低減処理を行うことができる。

　第三に本発明は、コンピュータを発明１～３のいずれか１つに係る画像処理装置として機能させるための、あるいはコンピュータに発明４～６のいずれか１つに係る画像処理方法を実行させるための画像処理プログラムを提供する（発明７）。

　本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、画像中の構造物の特徴を維持したまま、画像中のノイズを低減することができる。

本発明の本実施形態に係る画像処理装置の全体構成を示すブロック図である。眼底をスキャンすることにより眼底断層画像を取得する状態を示す説明図である。本実施形態に係る画像処理装置により単一の画像を処理する場合の注目画素と隣接画素の関係を模式的に示す説明図である。本実施形態における画像処理の流れを示すフロー図である。本実施形態に係る画像処理装置により連続する複数の断層画像を処理する場合の注目画素と隣接画素の関係を模式的に示す説明図（その１）である。本実施形態に係る画像処理装置により連続する複数の断層画像を処理する場合の注目画素と隣接画素の関係を模式的に示す説明図（その２）である。従来のノイズ除去方法を適用した場合の効果と本実施形態のノイズ除去方法を適用した場合の効果とを比較する説明図である（第１実施例）。従来のノイズ除去方法を適用した場合の効果と本実施形態のノイズ除去方法を適用した場合の効果とを比較する説明図である（第２実施例）。従来のノイズ除去方法を適用した場合の効果と本実施形態のノイズ除去方法を適用した場合の効果とを比較する説明図である（第３実施例）。従来のノイズ除去方法を適用した場合の効果と本実施形態のノイズ除去方法を適用した場合の効果とを比較する説明図である（第４実施例）。従来のノイズ除去方法を適用した場合の効果と本実施形態のノイズ除去方法を適用した場合の効果とを比較する説明図である（第５実施例）。従来のノイズ除去方法を適用した場合の効果と本実施形態のノイズ除去方法を適用した場合の効果とを比較する説明図である（第６実施例）。

　以下、本発明の本実施形態を図面に基づいて詳細に説明する。ここでは、断層像差撮影装置により被検眼の眼底Ｅの断層画像を取得し、この断層画像からノイズを除去する例について説明するが、本発明における処理の対象となる画像は眼底断層画像に限定されるものでなく、他の種類の装置で他の対象を撮影した場合にも適用することができる。

　図１は、被検眼眼底の断層画像を取得して画像処理するシステム全体を示すブロック図である。断層像撮影装置１０は、被検眼の眼底の断層像を撮影する装置（ＯＣＴ：Optical Coherence Tomography）であり、例えばフーリエドメイン方式で動作する。断層像撮影装置１０は公知であるので、その詳細な説明は省略するが、断層像撮影装置１０には、低コヒーレンス光源が設けられ、低コヒーレンス光源からの光が参照光と信号光に分割される。信号光は、図２に図示したように、眼底Ｅ上で、例えばＸ、Ｙ方向にラスタースキャンされる。眼底Ｅで走査され反射された信号光は、参照ミラーで反射した参照光と重畳され干渉光を発生し、該干渉光に基づいて眼底の深度方向（Ｚ方向）の情報を示すＯＣＴ信号が発生する。

　画像処理装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭなどで構成されたコンピュータで実現される制御部２１を有し、制御部２１は画像処理プログラムを実行することにより全体の画像処理を制御する。また、画像処理装置２０には、断層画像形成部２２が設けられる。

　断層画像形成部２２は、フーリエドメイン方式などの公知の解析方法を実行する専用の電子回路、または、前述のＣＰＵが実行する画像処理プログラムにより実現され、断層像撮影装置１０で生成されたＯＣＴ信号に基づいて、被検眼眼底の断層画像を形成する。

　例えば、図２に示したように、眼底ＥがＹ方向にｙ_Ｎ（Ｎ＝１、２、・・・・・、ｎ）の位置で、Ｘ方向にスキャンされた場合、当該スキャン時に複数回（ｍ回）サンプリングが行われる。このＸ方向の各サンプリング時点でそれぞれＺ方向の断層画像（Ａスキャン画像）Ａ_ｈ（ｈ＝１、２、・・・・・、ｍ）が取得され、これらのＡスキャン画像Ａ_ｈから断層画像Ｂ_Ｎ（Ｎ＝１、２、・・・・・、ｔ）が形成される。Ａスキャン画像は、例えば、Ｘ方向に１画素幅、Ｚ方向にｎ画素の長さで格納されるので、断層画像Ｂ_Ｎはｍ×ｎ画素の大きさをもつ画像となり、Ｂスキャン画像とも呼ばれる。

　断層画像形成部２２で形成されたｔ枚の断層画像Ｂ_Ｎ、あるいはこれらｔ枚の断層画像Ｂ_Ｎから構築される３次元のボリューム画像は、例えば半導体メモリ、ハードディスク装置等により構成された記憶部２３に格納される。記憶部２３は、さらに上述した画像処理プログラムなども格納する。

　画像処理装置２０には、画像処理部３０が設けられる。画像処理部３０は、算出手段３１、計数手段３２、置換手段３３を備えている。後述するように、算出手段３１は、処理対象となる画像中の注目画素の輝度値と、当該注目画素の周囲に位置する複数の隣接画素それぞれの輝度値との差分値をそれぞれ算出し、計数手段３２は、算出された差分値が所定の閾値（輝度差閾値）以下である隣接画素の数を非該当隣接画素数としてカウントし、置換手段３３は、非該当隣接画素数が所定数（非該当許容数）以下である場合には、複数の隣接画素の輝度値の平均値をもって注目画素の輝度値を置き換える。画像処理部３０における各手段あるいは各画像処理は、専用の電子回路を用いることにより、あるいは画像処理プログラムを実行することに実現される。

　表示部２４は、例えば、ＬＣＤなどのディスプレイ装置によって構成され、記憶部２３に格納された断層画像、画像処理装置２０で生成あるいは処理された画像、被験者に関する情報などの付随する情報などを表示する。

　操作部２５は、例えば、マウスやキーボード、操作ペン、ポインター、操作パネル等を有し、表示部２４に表示された画像の選択、あるいは操作者が画像処理装置２０などに指示を与えるために用いられる。

　続いて、断層像撮影装置１０により被検眼Ｅの眼底の断層像を撮影し、撮影した断層像を元に断層画像形成部２２によって生成された被検眼眼底の断層画像中のノイズを、画像処理部３０による画像処理により除去する流れを説明する。まず、得られたｔ枚の断層画像Ｂ_Ｎのうちの一枚を処理対象画像Ｂ_Ｔとして、この単一の処理対象画像Ｂ_Ｔからノイズを除去する流れを説明する。

　処理対象画像Ｂ_Ｔは、図３の（Ａ）に示すように、ｍ×ｎ画素の大きさをもつ画像である。この処理対象画像Ｂ_Ｔからノイズを除去する流れを図４に示す。なお、図４中のｓ１０１～ｓ１０７が以下に述べる流れの説明におけるステップ１０１～１０７に相当する。図４に示す流れにおいて、まず算出手段３１は、この処理対象画像Ｂ_Ｔにおいて注目する画素を注目画素Ｐとして一つ設定し、その注目画素Ｐの周囲に位置する画素、すなわち注目画素Ｐの上下左右に位置する画素と注目画素Ｐの四隅に接するように位置する画素の合計８個の画素を隣接画素ｐ_ｉ（ｉ＝１～８）として設定する（ステップ１０１）。図３（Ｂ）に、処理対象画像Ｂ_Ｔの左から４列目、上から３行目に設定された注目画素Ｐと、その周囲に位置する８個の隣接画素ｐ_ｉの関係を示す。

　なお、処理対象画像Ｂ_Ｔにおいて注目画像Ｐを端部に設定する場合には必ずしも隣接画素が８個設定されるわけではなく、注目画素Ｐが処理対象画像Ｂ_Ｔにおいて端部に設定される場合、隣接画素はその注目画素の位置に合わせて適宜８個以内で設定されてよい。例えば注目画素が処理対象画像Ｂ_Ｔの左から１列目、上から３行目に設定された場合には、図３（Ｃ）に示すように、注目画素Ｐの上、下、右、右斜め上、右斜め下に位置する５個の画素が隣接画素として設定される。

　また、処理する画像の種類やノイズ除去の目的等に応じて注目画素の上下左右に位置する４個のみを隣接画素として設定するようにしてもよいし、注目画素の上下左右に位置する画素と注目画素の四隅に接するように位置する８個の画素に加えて、更にその外側に位置する１６個の画素を併せた２４個の画素を隣接画素として設定する等、隣接画素の設定の方法を適宜変更してもよい。

　続いて算出手段３１は、注目画素Ｐの輝度値Ｄと、８つの隣接画素ｐ_ｉの輝度値ｄ_ｉ（ｉ＝１～８）を処理対象画像Ｂ_Ｔの原画像データから取得する（ステップ１０２）。

　注目画素Ｐの輝度値Ｄ及び隣接画素ｐ_ｉの輝度値ｄ_ｉを取得した後、算出手段３１は、注目画素Ｐの輝度値Ｄから各隣接画素ｐ_ｉの輝度値ｄ_ｉを差し引いた第１差分値を、８個の隣接画素ｐ_ｉのそれぞれについて算出する（ステップ１０３ａ）。この第１差分値は隣接画素の数だけ算出され、注目画素Ｐが白色点ノイズであるかどうかを推定するために用いられる。

　続いて注目画素Ｐの白色点判定を行う。具体的には、計数手段３２が、算出された第１差分値が、あらかじめ記憶部２３に保存しておいた第１輝度差閾値ＰＫＴ以下であるかどうかを比較し、第１輝度差閾値ＰＫＴ以下であった隣接画素の数を第１非該当隣接画素数としてカウントする（ステップ１０４ａ）。すなわち、条件式：注目画素Ｐの輝度値Ｄ－隣接画素ｐ_ｉの輝度値ｄ_ｉ≦ＰＫＴを満たす隣接画素の数が第１非該当隣接画素数となる。

　第１非該当隣接画素数をカウントした後、置換手段３３が、その第１非該当隣接画素数があらかじめ記憶部２３に保存しておいた第１非該当許容数ＰＦＴ以下であるかどうかを判定する（ステップ１０５ａ）。第１非該当隣接画素数が第１非該当許容数ＰＦＴ以下であれば、注目画素Ｐは白色点ノイズであると判断される。

　一方、第１非該当隣接画素数が第１非該当許容数ＰＦＴ以下でなければ、算出手段３１は、各隣接画素ｐ_ｉの輝度値ｄ_ｉから注目画素Ｐの輝度値Ｄを差し引いた第２差分値を、８個の隣接画素ｐ_ｉのそれぞれについて算出する（ステップ１０３ｂ）。この第２差分値も第１差分値同様に隣接画素の数だけ算出され、注目画素Ｐが黒色点ノイズであるかどうかを推定するために用いられる。

　続いて注目画素Ｐの黒色点判定を行う。具体的には、計数手段３２が、算出された第２差分値が、あらかじめ記憶部２３に保存しておいた第２輝度差閾値ＨＬＴ以下であるかどうかを比較し、第２輝度差閾値ＨＬＴ以下であった隣接画素の数を第２非該当隣接画素数としてカウントする（ステップ１０４ｂ）。すなわち、条件式：隣接画素ｐ_ｉの輝度値ｄ_ｉ－注目画素Ｐの輝度値Ｄ≦ＨＬＴを満たす隣接画素の数が第２非該当隣接画素数となる。

　第２非該当隣接画素数をカウントした後、置換手段３３が、その第２非該当隣接画素数があらかじめ記憶部２３に保存しておいた第２非該当許容数ＨＦＴ以下であるかどうかを判定する（ステップ１０５ｂ）。第２非該当隣接画素数が第２非該当許容数ＨＦＴ以下であれば、注目画素Ｐは黒色点ノイズであると判断される。

　ステップ１０５ａ及び１０５ｂの判定の結果、注目画素Ｐが白色点ノイズであると判断された場合（第１非該当隣接画素数が第１非該当許容数ＰＦＴ以下である場合）及び注目画素Ｐが黒色点ノイズであると判断された場合（第２非該当隣接画素数が第２非該当許容数ＨＦＴ以下である場合）、置換手段３３は、各隣接画素ｐ_ｉの輝度値ｄ_ｉの平均値を算出する（ステップ１０６）。そして、算出した平均値をもって注目画素Ｐの輝度値を置き換えた画像を生成し（ステップ１０７）、記憶部２３に保存する。ステップ１０５ａの判定の結果、第１非該当隣接画素数が第１非該当許容数ＰＦＴ以下ではなく、かつステップ１０５ｂの判定の結果、第２非該当隣接画素数が第２非該当許容数ＨＦＴ以下ではない場合、注目画素Ｐの輝度値は平均値に置き換えることなく、そのままとする。

　上述の処理を、処理対象画像Ｂ_Ｔにおいて、例えば左上端の画素から順に全ての画素を注目画素として設定しながら繰り返し、最終的に処理対象画像Ｂ_Ｔの全体においてノイズ除去処理を行った画像が生成される。

　このように本発明は、処理対象となる画像中の注目する画素と、その周囲に位置する隣接画素とを比較して、注目画素の輝度値が隣接画素よりも所定の値以上に明るい場合、あるいは暗い場合には隣接画素の平均値と置き換えるものである。置き換えに用いる隣接画素と注目画素の輝度の差を大きくする、すなわち上述した第１輝度差閾値及び第２輝度差閾値を大きく設定すれば置き換えられる注目画素の数は減り、逆に小さく設定すれば置き換えられる注目画素の数が増加する。

　一方、置き換えの判定において、注目画素が全ての隣接画素よりも所定値以上に明るいかどうか、あるいは、注目画素が全ての隣接画素よりも所定値以上に暗いかどうかという、最も厳格な判定式を用いることもできる。この場合、上述の第１非該当許容数や第２非該当許容数を０とすることにより、注目画素が全ての隣接画素よりも所定値以上に明るい、あるいは、注目画素が全ての隣接画素よりも所定値以上に暗い場合にのみ、注目画素の輝度値を隣接画素の輝度値の平均値で置き換えるという処理を行うことになる。第１非該当許容数や第２非該当許容数を小さくするほど平均値に置換される注目画素の個数は減り、第１非該当許容数や第２非該当許容数を増やすにしたがって置換される注目画素の数が増加する。

　第１輝度差閾値及び第２輝度差閾値は同じ値を用いてもよいし、個別に異なる数値を設定してもよい。また、第１非該当許容数及び第２非該当許容数も同じ値を用いてもよいし、個別に異なる数値を設定してもよい。これらのあらかじめ記憶部２３に保存しておく条件値は、画像の質や抽出したい構造物の性状（形、明るさ、大きさ等）によって、最適な値をあらかじめ検討しておいて適用させることができる。

　本実施形態に係る画像処理装置及び画像処理方法によれば、単純に注目画素の輝度値を周辺画素（注目画素の周囲に位置する隣接画素）の輝度値を用いて平均化するのではなく、注目画素の輝度値と周辺画素の輝度値との差分値に基づいて注目画素が周辺画素よりも明らかに明るいか、又は暗いかを判定し、注目画素が白色点や黒色点からなるノイズであると判断される場合のみ、周辺画素の輝度値の平均値で注目画素の輝度値を置き換えるため、画像中のノイズのみを除去することができる。その結果、画像中に存在する特徴的な構造物の形、明るさ、色などの特徴を損なうことなく、ノイズの低減処理を行うことができる。

　なお、本実施形態では断層像撮影装置１０により取得した断層画像Ｂ_Ｎのうちの一枚を処理対象画像Ｂ_Ｔとしたが、走査型レーザー検眼鏡（ＳＬＯ：Scanning Laser Ophthalmoscope）により取得した眼底平面画像を処理対象画像としてここまでと同様の画像処理を行い、ノイズを除去することもできる。

＜第１変形例＞
　ここまで単一の処理対象画像Ｂ_Ｔからノイズを除去する流れを説明したが、以下においては、図２に示すように空間的に連続しているところから得られたｔ枚の断層画像Ｂ_Ｎのうちの一枚を処理対象画像Ｂ_Ｔとして、その前後の断層画像Ｂ_Ｔ－１及び断層画像Ｂ_Ｔ＋１も併せて用いて、注目画素及び隣接画素を設定する方法を説明する。断層画像Ｂ_Ｔ－１及び断層画像Ｂ_Ｔ＋１は、図２に示したＹ方向において処理対象画像Ｂ_Ｔに連続する断層画像であり、処理対象画像Ｂ_Ｔと同様にｍ×ｎ画素の大きさをもつ画像である。本変形例における画像処理に用いられる断層像撮影装置１０や画像処理装置２０は、前述のものと同じ構成を有するため、詳細な説明は省略するが、断層画像Ｂ_Ｔ－１、処理対象画像Ｂ_Ｔ及び断層画像Ｂ_Ｔ＋１はいずれも記憶部２３に格納されている。

　本変形例においては、処理対象画像Ｂ_Ｔにおいて注目する画素を注目画素Ｑとして一つ設定し、当該処理対象画像Ｂ_Ｔ及びその前後の断層画像Ｂ_Ｔ－１及び断層画像Ｂ_Ｔ＋１において空間的に注目画素の周囲に位置する合計２６個の画素を隣接画素ｑ_ｉ（ｉ＝１～２６）として設定する。

　すなわち、本変形例における隣接画素ｑ_ｉは、処理対象画像Ｂ_Ｔにおいて注目画素Ｑの上下左右に位置する画素及び注目画素の四隅に接するように位置する画素の合計８個の画素に加え、断層画像Ｂ_Ｔ－１及び断層画像Ｂ_Ｔ＋１を処理対象画像Ｂ_Ｔに並べたときに空間的に注目画素Ｑの周囲に位置することとなる合計１８個の画素を含めた合計２６個の画素である。図５に、処理対象画像Ｂ_Ｔの左から４列目、上から３行目に設定された注目画素Ｑと、当該処理対象画像Ｂ_Ｔ及びその前後の断層画像Ｂ_Ｔ－１及び断層画像Ｂ_Ｔ＋１において空間的に注目画素Ｑの周囲に位置する２６個の隣接画素ｑ_ｉの関係を示す。また、処理対象画像Ｂ_Ｔ及びその前後の断層画像Ｂ_Ｔ－１及び断層画像Ｂ_Ｔ＋１を並べた状態から注目画素Ｑと隣接画素ｑ_ｉだけを切り出した状態を図６に示す。

　なお、処理対象画像Ｂ_Ｔにおいて注目画素Ｑを端部に設定する場合には必ずしも隣接画素が２６個設定されるわけではなく、注目画素Ｑが処理対象画像Ｂ_Ｔにおいて端部に設定される場合、隣接画素はその注目画素の位置に合わせて適宜２６個以内で設定されてよい。また、前後に連続する断層画像が存在しない場合も隣接画素はその注目画素の位置に合わせて適宜２６個以内で設定されてよい。さらに、処理する画像の種類やノイズ除去の目的等に応じて隣接画素の設定の方法を適宜変更してもよい。

　このように注目画素Ｑと隣接画素ｑ_ｉを設定した場合にも、図４に示した流れに沿って、画像処理部３０による画像処理によりノイズを除去することができる。画像処理の流れは単一の処理対象画像Ｂ_Ｔからノイズを除去する流れと同様であるため省略する。

　このように連続する断層画像を扱う場合においても、本実施形態に係る画像処理装置及び画像処理方法を適用することにより、画像中のノイズのみを除去することができる。その結果、画像中に存在する特徴的な構造物の形、明るさ、色などの特徴を損なうことなく、かつ前後の断層画像中に含まれる構造物が処理後の注目する断層画像に映り込むこともなく、ノイズ低減処理を行うことができる。

＜第２変形例＞
　ここまでは断層像撮影装置１０により取得した断層画像Ｂ_Ｎを処理対象としてきたが、ＯＣＴアンギオグラフィ（ＯＣＴＡ：Optical Coherence Tomography Angiography）を用いて生成された網膜血管の正面画像（En Face画像）に対して画像処理を行ない、当該画像からノイズを除去することもできる。ＯＣＴアンギオグラフィは、蛍光剤を使用せずに血管造影のような画像を生成するものであり、上記実施形態において説明した断層像撮影装置１０を用いて被検眼の眼底Ｅの同一箇所を連続で複数枚撮影し、取得された数ｍｓの時間差断層画像（Ｂスキャン画像）における変化を血流変化とみなして正面画像を生成する。

　具体的には、被検眼の眼底Ｅの同一箇所を連続で複数枚撮影したＢスキャン画像群に対し、公知の変化検出方法、例えば、ＯＭＡＧ（Optical Microangiography）法や、ＳＳＡＤＡ（Split-spectrum Amplitude-decorrelation Angiography）法等を適用して一の血流断層画像を生成する。これを観察対象領域に対してＹ方向にスキャン位置を変えながら繰り返し、得られた連続する複数の血流断層画像から一つの三次元データセットを生成する。すなわち、三次元データセットは被検眼の眼底Ｅの観察対象領域を立体的にモデル化したデータである。

　Ｂスキャン画像群を構成するそれぞれのＢスキャン画像が図２におけるＸＺ平面の断層画像である場合、当該Ｂスキャン画像群から生成される血流断層画像もＸＺ平面の断層画像となるが、三次元データセットから今度はＺ方向に連続する複数のＸＹ平面の断層画像として血流断層画像を生成する。このＺ方向に連続する複数のＸＹ平面の血流断層画像を重層することにより網膜血管の正面画像が生成される。

　重層される複数のＸＹ平面の血流断層画像のうちの一枚の血流断層画像を第１変形例における処理対象画像Ｂ_Ｔとし、その血流断層画像を挟むように重なる前後の血流断層画像を断層画像Ｂ_Ｔ－１及び断層画像Ｂ_Ｔ＋１とすれば、前述の第１変形例において説明したものと同様の画像処理方法をＯＣＴアンギオグラフィにより生成された網膜血管の正面画像に適用することができ、当該正面画像中のノイズのみを除去することができる。

　以上、本発明に係る画像処理装置及び画像処理方法について図面に基づいて説明してきたが、本発明は上記実施形態に限定されることはなく、種々の変更実施が可能である。

　本発明に係る画像処理装置及び画像処理方法の利点をよりわかりやすく説明すべく、上記本発明の実施形態に示した画像処理装置及び画像処理方法を実際の画像に適用した実施例を従来法によるノイズ除去と比較しながら以下に説明する。

＜実施例１＞
　図７は、画像中のノイズを除去する従来法である平均値法及び中央値法と、本発明の画像処理方法とを比較するために用意した説明図であり、（Ａ）はノイズ点を含む簡単な構造物の図、（Ｂ）は平均値法、（Ｃ）は中央値法、（Ｄ）は本発明の方法でノイズ除去処理した画像を示す。

　図７（Ａ）は本発明の効果を一般的なノイズ除去方法と比較するために、簡単な正方形の注目構造を含む試験画像を用意したものであり、画像の画素は黒色が０、白色が２５５、灰色は１２８という輝度値を持つようにしてある。正方形の注目構造は画像の上から三つ並んでおり、それぞれ白色、灰色、黒色の背景を持たせ、背景が白色の場合は黒色のノイズ点が、背景が黒色の場合は白色のノイズ点が、背景が灰色の場合は同数の白色と黒色のノイズ点が含まれている。画像の各画素について左上から水平方向に注目画素を移動していき、右下に到達するまで全ての画素に対して次のような画像処理を施した。

　一つ目は、注目画素を含む８近傍９画素の平均値を求め、その平均値を注目画素と置き換える方法であり、平均値法と呼ぶ。二つ目は、注目画素を含む８近傍９画素を輝度の小さい方から昇順に並べ替え、５番目の輝度を持つ画素を注目画素と置き換える方法であり、中央値法と呼ぶ。三つ目は、本発明の画像処理方法であり、すなわち、注目画素と隣接８画素を比較し、注目画素の輝度値が隣接画素の輝度値に比べて既定の値以上に大きい場合、あるいは、小さい場合に隣接８画素の平均値を求め、注目画素と置き換える方法である。

　図７（Ｂ）に示すように、平均値法ではノイズ点を周辺画素と平均化してぼかすため、当初存在していた周辺画素との大きな輝度の差は減少したものの、ノイズ点周辺の画素の値に影響して変化させてしまった。また同様に、対象形状の輪郭もぼかしてしまうため、注目する構造物の形状を維持し、且つ、ノイズを低減するという目的には使用することができなかった。一方、図７（Ｃ）に示すように、中央値法ではノイズ点を除去する点では優れた効果があるものの、対象形状の頂点部分を欠損してしまっている。これは、注目する構造物の角や先端部分では８近傍９画素に占める構造物由来の画素は少数派になってしまい、大多数を占める非構造物の画素が中央値として選定されてしまうためである。

　続いて、本発明の画像処理方法において白色点検出用に第１輝度差閾値を４８、第１非該当許容数を１と設定するとともに、黒色点検出用に第２輝度差閾値を６、第２非該当許容数を４と設定して画像処理結果を評価したところ、図７（Ｄ）に示すように、本発明の画像処理方法では完全にノイズを除去し、且つ、形状を正確に維持することができた。

＜実施例２＞
　図８は、画像中での着目構造物を想定して、複雑な形状を含む画像に対して平均値法及び中央値法と、本発明の画像処理方法とによる処理の効果を比較するために用意した説明図であり、（Ａ）は複雑な形状を含む試験画像、（Ｂ）は平均値法、（Ｃ）は中央値法、（Ｄ）は本発明の方法で画像処理した画像を示す。複雑形状としては輝度に濃淡がある構造物（Ａ－上）、細線を結合させた構造物（Ａ－中）、ならびに、突起がある構造物である（Ａ－下）。これらの形状にはノイズ点は含まれておらず、それぞれのノイズ除去法がどのように構造物の形状に影響を与えるかを明らかにすることを目的とした。

　図８（Ｂ）に示すように、平均値法ではいずれの形状においても輪郭がぼやけ、形状の輝度が大幅に低下した。特に構造物中の細線状部位、あるいは、先端部位において注目画素を設定すると、その隣接画素においては構造物周辺の低輝度背景画素が多数を占めるため、平均化により構造物の情報が大きく損なわれた。一方、図８（Ｃ）に示すように、中央値法では形状の輪郭がぼやけることや、輝度が低下することはなかったものの、形状中の構造物中の細線状部位や先端部位は全く抽出されず、形状は試験画像の原型をとどめていなかった。細線を結合させた構造物（Ａ－中）や突起がある構造物である（Ａ－下）では、これらの部分が抽出されないことにより、複数の分断物として抽出された。

　これに対して本発明の画像処理方法では、実施例１で予備検討して決定した輝度差閾値及び非該当許容数を用いた場合、図８（Ｄ）に示すように、先端構造部分で若干の抽出漏れが観察されたものの、他の方法と比べて形状を高く維持したまま構造物を抽出することができた。すなわち、実施例１と併せて考えると、本発明の画像処理方法によれば、抽出したい構造物の形状を高く維持したまま、ノイズ除去を行えることが示されている。

＜実施例３＞
　図９は、図２に示すように空間的に連続しているところから得られた３枚の画像で、移動平均法による処理と本発明の画像処理方法を適用した処理との効果を比較した結果を示すものである。（Ａ）は試験対象とする３枚の連続画像で、そのうちの一枚の画像を処理対象として、その他の画像も併せて用いて処理する。つまり、図９の連続画像１が前述の断層画像Ｂ_Ｔ－１に相当し、連続画像２が断層画像Ｂ_Ｔ、連続画像３が断層画像Ｂ_Ｔ＋１にそれぞれ相当する。（Ｂ）は移動平均法で連続画像２を処理した結果の画像、（Ｃ）は本発明の画像処理方法で連続画像２を処理した結果の画像である。

　３枚の連続画像においては、連続画像１にのみに存在し、連続画像２には含まれていない構造物（１）、連続画像３にのみ存在し、連続画像２には含まれていない構造物（１’）、全ての画像中に存在し、大きさ、形、位置ともに変化しない構造物（２）、全ての画像中に存在し、大きさ及び形は変化しないが位置が変化する構造物（３）、全ての画像中に存在し、中心座標は変化しないが大きさが変化する構造物（４）が含まれている。ノイズ点は含まれていない。

　まず、従来法として移動平均法、すなわち、連続する三つの画像について、連続画像２中の注目画素とその位置に相当する両隣の連続画像１及び３中の画素、合計３画素の輝度値の平均値を注目画素の輝度値として置き換える方法を用いた。移動平均法の利点は連続する三つの画像で構造物の形、大きさ、位置がほぼ同じ場合、注目する構造物が正しく維持されつつ、ノイズのみが除去できることである。一方、問題となるのは、注目する構造物が連続する３画像中で、形、大きさ、輝度、位置の少なくとも１つ以上が変化する場合であり、特に、注目する画像にのみ着目している構造物がある場合や、構造物の大きさが変化する場合、構造物の位置が移動する場合には、隣接画像との平均化により構造物が重ならない部分での輝度の大幅な低下や構造のボケが発生する。また、注目している画像中には存在しない構造物が隣接する他の少なくとも一枚の画像中に存在する場合、本来、注目している画像中には観察されないはずの構造物が他の画像から影（ファントム）として映り込んでしまい、間違った構造物識別につながるおそれがある。

　平面を対象として注目画素の隣接８画素を対象としていた実施例１及び２と異なり、本実施例では本発明の画像処理方法を三枚の連続する画像に適用して、注目画素の隣接２６画素と注目画素とを比較する方法としており、すなわち本発明の適用を平面から空間へと拡張している。対象とする隣接画素数が増加するため、あらかじめ実施例１及び２とは異なった輝度差閾値及び非該当許容数の条件を決定して用いた。具体的には、輝度差閾値として３２を用い、非該当許容数を３として画像処理結果を評価した。

　図９（Ｂ）に示すように、移動平均法では予期していたように前述の問題点、つまりボケの発生とファントムの映り込みが見受けられたが、本発明の画像処理方法では、図９（Ｃ）に示すように、隣接する画像の構造物の影響を受けることなく、注目する画像中の構造物と同一のものが抽出された。

＜実施例４＞
　図１０は、連続する３枚の画像を用意して、移動平均法による処理と本発明の画像処理方法を適用した処理との効果を比較した結果を示すものであり、（Ａ）は試験対象とする３枚の連続画像、（Ｂ）は移動平均法で連続画像２を処理した結果の画像、（Ｃ）は本発明の画像処理方法で連続画像２を処理した結果の画像である。３枚の連続画像においては、形、大きさ、色、ならびに、位置が同一の構造物が存在しているが、それぞれの画像でノイズ点の位置が異なっている。

　構造物の形、輝度、位置が３枚の連続画像において共通であるため、移動平均法を適用した場合においても、図１０（Ｂ）に示すように、構造物そのもののボケやファントムの映り込みは発生しなかったが、ノイズ点は他の２枚の画像の同一位置の画素の値と平均化されるため、構造物が持つ輝度との差は縮まったものの完全にノイズが除去するには至らず、識別可能なノイズ点として残存した。

　これに対し、実施例１の条件値を用いて本発明の画像処理方法を適用したところ、図１０（Ｃ）に示すように、ノイズのほぼ全てを構造物の輝度と識別が困難な程度に減弱することができた。

＜実施例５＞
　図１１は、１枚の眼底光干渉断層像（ＯＣＴ像）に本発明の画像処理方法を適用した場合の効果を示すため、画像中のノイズを除去する従来法である平均値法及び中央値法と、本発明の画像処理方法とを比較するために用意した説明図である。（Ａ）は処理対象とする断層画像を擬似的にイラスト化した画像、（Ｂ）は平均値法、（Ｃ）は中央値法、（Ｄ）は本発明の方法でノイズ除去処理した画像を示す。（Ａ）の断層画像には輝度が高い（白色の）小さな構造物がいくつか見受けられるとともに、白色点や黒色点からなるノイズ点が画像全体にわたっていくつか散見される。

　実施例１～４においては比較的簡単な画像を用いて本発明の原理と効果を説明してきたが、本実施例においては本発明の実際の用途の一つとして想定される被検眼眼底のＯＣＴ断層画像を適用対象とした高輝度微小構造物の解析があるので、その状況に似た画像を作成して本発明の画像処理方法の効果を確認した。なお、高輝度の微小構造物は血管の断面であったり、異物であったり、あるいは、メラニンを多く含む細胞がこれに該当する。

　図１１（Ａ）に示すような単一の断層画像に対して平均値法によりノイズ除去処理をすると、図１１（Ｂ）に示すように、注目構造物の輝度の低下や輪郭のズレ（ボケ）が発生する。また、図１１（Ｃ）に示すように、中央値法によりノイズ除去処理をすると、ノイズ除去には効果が認められるものの、（中央値をとることにより隣接画素と同じ値をとりやすくなるために）輝度の画一化が認められ、それに起因して注目構造物の形状に影響を与えた。

　一方、本発明の画像処理方法を用いてノイズ除去処理をすると、図１１（Ｄ）に示すように、構造物の形状及び輝度を維持したまま、白色点や黒色点からなるノイズを除去することができた。これにより、白色点を構造物と誤認する可能性を低下させ、構造物中に発生した黒色点がもたらす構造物の分断により構造物の大きさや数を誤認してしまう可能性を低下させることが期待できる。

　なお、本実施例においては、適切にノイズが除去できるようにあらかじめ輝度差閾値及び非該当許容数を検討し、第１輝度差閾値及び第２輝度差閾値を２４、第１非該当許容数を１、第２非該当許容数を４とした。

＜実施例６＞
　図１２は、図２に示すように空間的に連続しているところから得られた３枚の眼底光干渉断層像（ＯＣＴ像）の擬似画像であり、移動平均法によるノイズ除去処理の効果と、本発明の画像処理方法によるノイズ除去処理の効果を比較した結果を示す説明図である。（Ａ）は処理対象とする３枚の連続画像で、そのうちの一枚の画像を処理対象として、その他の画像も併せて用いて処理する。つまり、図１２（Ａ）の断層画像１が前述の断層画像Ｂ_Ｔ－１に相当し、断層画像２が断層画像Ｂ_Ｔ、断層画像３が断層画像Ｂ_Ｔ＋１にそれぞれ相当する。（Ｂ）は移動平均法、（Ｃ）は本発明の方法で（Ａ）の擬似画像をノイズ除去処理した結果の画像を示す。（Ａ）の３枚の断層画像には輝度が高い（白色の）小さな構造物がいくつか見受けられるとともに、白色点や黒色点からなるノイズ点が画像全体にわたっていくつか散見される。

　図１２（Ａ）に示すような連続した３枚の画像に対して移動平均法でノイズ除去処理をすると、図１２（Ｂ）に示すように、構造物のボケやファントムの映り込みが発生していることが確認できた。

　一方、本発明の画像処理方法を用いてノイズ除去処理をすると、図１２（Ｃ）に示すように、注目する構造物の形や輝度を変化させることなく、白色点や黒色点からなるノイズを効率よく除去することが可能であった。

　なお、本実施例においては、連続する３枚の画像を対象として空間座標における隣接する画素（３×３×３－１＝２６画素）の輝度値から注目画素がノイズであるかどうかを判定しており、実施例５と同様に、適切にノイズが除去できるようにあらかじめ輝度差閾値及び非該当許容数を検討して決定した。具体的には、第１輝度差閾値及び第２輝度差閾値には実施例５と同じ２４を用いたが、対象とする隣接画素の数が増えるため、第１非該当許容数を３、第２非該当許容数を１２とした。

　以上説明した各実施例において適用した本発明の判定条件（輝度差閾値及び非該当許容数）は、画像の種類や測定条件などによって異なってくるため、必ずしも各実施例において示された数値でなければならないというものではなく、あらかじめ適切な検討により決定して決めることができる。また、処理対象の画像に基づいて自動的に適用する輝度差閾値及び非該当許容数を算出するようにしてもよいし、画像処理装置の特性を考慮して、装置毎に異なる輝度差閾値及び非該当許容数をあらかじめ定めておいてもよい。

　本発明はシグナルとノイズの比（Ｓ／Ｎ）が良好でない画像を用いる画像診断においてノイズを効率よく除去する方法として利用することが可能である。特に、強力な光源を照明光として利用することが困難な眼底画像診断、および、眼底断層像診断においてはＳ／Ｎが不良の画像中の微小な構造物の形状、ならびに、個数を診断しなくてはならないケースが多いため、本発明は強力な画像ノイズ除去法として利用できることが期待できる。

１０　断層像撮影装置
２０　画像処理装置
２１　制御部
２２　断層画像形成部
２３　記憶部
２４　表示部
２５　操作部
３０　画像処理部
３１　算出手段
３２　計数手段
３３　置換手段

Claims

　注目画素の輝度値と、前記注目画素の周囲に位置する複数の隣接画素それぞれの輝度値との差分値をそれぞれ算出する算出手段と、
　算出された前記差分値が所定の閾値以下である前記隣接画素の数を非該当隣接画素数としてカウントする計数手段と、
　前記非該当隣接画素数が所定数以下である場合には、前記複数の隣接画素の輝度値の平均値をもって前記注目画素の輝度値を置き換える置換手段と、を備える画像処理装置。
　前記算出手段が、前記注目画素の輝度値から前記複数の隣接画素それぞれの輝度値を差し引いて求められる第１差分値と、前記複数の隣接画素それぞれの輝度値から前記注目画素の輝度値を差し引いて求められる第２差分値とをそれぞれ算出し、
　前記計数手段が、前記第１差分値が所定の第１閾値以下である前記隣接画素の数を第１非該当隣接画素数としてカウントするとともに、前記第２差分値が所定の第２閾値以下である前記隣接画素の数を第２非該当隣接画素数としてカウントし、
　前記置換手段が、前記第１非該当隣接画素数が第１の所定数以下であるか、または前記第２非該当隣接画素数が第２の所定数以下である場合には、前記複数の隣接画素全ての輝度値の平均値をもって前記注目画素の輝度値を置き換えることを特徴とする、請求項１に記載の画像処理装置。
　前記注目画像の存する画像が連続する複数の断層画像のうちの一の断層画像であり、
　前記複数の隣接画素が、前記一の断層画像及びその前後の断層画像において空間的に前記注目画素の周囲に位置する複数の隣接画素であることを特徴とする、請求項１又は２に記載の画像処理装置。
　注目画素の輝度値と、該注目画素の周囲に位置する複数の隣接画素それぞれの輝度値との差分値をそれぞれ算出する算出工程と、
　算出された前記差分値が所定の閾値以下である前記隣接画素の数を非該当隣接画素数としてカウントする計数工程と、
　前記非該当隣接画素数が所定数以下である場合には、前記複数の隣接画素の輝度値の平均値をもって前記注目画素の輝度値を置き換える置換工程と、を備える画像処理方法。
　前記算出工程において、前記注目画素の輝度値から前記複数の隣接画素それぞれの輝度値を差し引いて求められる第１差分値と、前記複数の隣接画素それぞれの輝度値から前記注目画素の輝度値を差し引いて求められる第２差分値とをそれぞれ算出し、
　前記計数工程において、前記第１差分値が所定の第１閾値以下である前記隣接画素の数を第１非該当隣接画素数としてカウントするとともに、前記第２差分値が所定の第２閾値以下である前記隣接画素の数を第２非該当隣接画素数としてカウントし、
　前記置換工程において、前記第１非該当隣接画素数が第１の所定数以下であるか、または前記第２非該当隣接画素数が第２の所定数以下である場合には、前記複数の隣接画素全ての輝度値の平均値をもって前記注目画素の輝度値を置き換えることを特徴とする、請求項４に記載の画像処理方法。
　前記注目画像の存する画像が連続する複数の断層画像のうちの一の断層画像であり、
　前記複数の隣接画素が、前記一の断層画像及びその前後の断層画像において空間的に前記注目画素の周囲に位置する複数の隣接画素であることを特徴とする、請求項４又は５に記載の画像処理方法。
　コンピュータを請求項１～３のいずれか１項に記載の画像処理装置として機能させるための、あるいはコンピュータに請求項４～６のいずれか１項に記載の画像処理方法を実行させるための画像処理プログラム。