JP6045866B2

JP6045866B2 - 超音波画像処理装置

Info

Publication number: JP6045866B2
Application number: JP2012211812A
Authority: JP
Inventors: 松下　典義; 典義松下; 村下　賢; 賢村下; 優子永瀬; 俊徳前田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2012-09-26
Filing date: 2012-09-26
Publication date: 2016-12-14
Anticipated expiration: 2032-09-26
Also published as: JP2014064736A

Description

本発明は超音波画像処理装置に関し、特にエッジ強調処理に関する。

医療の分野において、超音波診断装置が活用されている。超音波診断装置は、生体に対する超音波の送受波により得られたデータに基づいて超音波画像を形成する装置である。より具体的には、超音波ビームの走査により複数のビームデータからなる受信フレームデータが取得される。受信フレームデータは、スキャンコンバータにおいて、表示フレームデータに変換される。表示フレームデータは二次元断層画像を構成するものである。受信フレームデータは二次元断層画像の基礎をなすデータであるから、それ自体を画像データとして認識することも可能である。

二次元断層画像には、スペックル等のノイズが含まれる。そのようなノイズを低減するために、受信フレームデータ又は表示フレームデータに対して、コントラスト調整や平滑化処理等が適用される。しかし、そのような処理では超音波画像上において組織構造がぼやけて不鮮明になる問題が生じやすい。一方、組織構造を明瞭化するために単純にエッジ強調フィルタを利用すると、超音波画像上でノイズがより目立つようになったり、超音波画像の質感が不自然になったりする問題が生じる。

非特許文献１には、複数のラプラシアン画像を生成するラプラシアンピラミッド処理が記載されている。しかし、その処理は超音波画像に適するものではなく、そもそも、それは、その論題にも記載されているように画像の圧縮を目的としたものであり、エッジ強調処理を目的としたものではない。特許文献２には、ラプラシアンピラミッド処理に相当する画像処理が記載されている。その画像処理はＸ線検査装置等に適用されるものであり、着目する画像情報を保存しつつノイズを効果的に圧縮することを目的とするものである。しかし、特許文献２には、エッジ中心からの距離に応じた重み付けの手法については記載されていない。

国際公開ＷＯ１９９８／０５５９１６号公報特開２００９−１５３９１８号公報

P.J.Burt and E.H.Adelson, The Laplacian Pyramid as a compact Image Code, IEEE Transactions on Communications, vol.com-31, no.4, pp.532-540, 1983.

本発明の目的は、ノイズの強調を制限しつつエッジを強調して、超音波画像の画質を向上させることにある。

本発明に係る超音波診断装置は、超音波の送受波により得られた元画像に基づいて、第１のエッジ表現画像とそれよりも低い解像度を有する第２のエッジ表現画像とを含むエッジ表現画像列を生成する画像列生成手段と、前記元画像に対して少なくとも前記第１のエッジ表現画像を重み付け合成することによりエッジ強調画像を生成する手段であって、少なくとも前記第２のエッジ表現画像に基づいて少なくとも前記第１のエッジ表現画像に与える重みを可変する重み制御手段を有するエッジ強調手段と、を含み、前記重み制御手段は、前記第１のエッジ表現画像における少なくともエッジ中心近傍範囲内において前記エッジ中心からの距離が増大すればするほど前記第１のエッジ表現画像に与える重みを小さくする、ことを特徴とする。

上記構成によれば、画像列生成手段が、元画像に基づいて少なくとも第１のエッジ表現画像及び第２のエッジ表現画像を含むエッジ表現画像列を生成する。各エッジ表現画像はエッジ成分を表した画像である。つまり、それらは元画像内での輝度変化を表現した画像であるから、それは一般に差分画像又は微分画像と同じような性質を有するものである。しかも、第１のエッジ表現画像よりも第２のエッジ表現画像の方が解像度が低いから、前者よりも後者の方がよりぼけた画像であり、前者よりも後者の方においてより大きなエッジ成分が支配的に現れる。以上のような個々のエッジ表現画像の性質及び複数のエッジ表現画像の関係を利用して、エッジが強調され、且つ、ノイズの強調が抑制された、エッジ強調画像が生成される。

より詳しくは、合成処理手段は、元画像に対して少なくとも第１のエッジ表現画像を重み付け合成することによりエッジ強調画像を生成する。第１のエッジ表現画像は相対的に見てより細かいエッジ成分までも表現した画像であり、それを元画像に加えれば元画像内のエッジをシャープに強調し得る。その際、望ましくはエッジ表現画像列の全部が多重的に重み付け合成される。つまり、細かいエッジ成分から大きなエッジ成分までが合成利用される。しかし、元画像の全体にわたって、組織構造によらずにつまりエッジであるか否かに拘わらず、一律の重み付け合成条件を適用すると、本来強調したくないノイズまでが強調されてしまうという問題が生じる。第１のエッジ表現画像は細かいエッジ成分を含むと同時に細かいノイズも含み得るものであるから、第１のエッジ表現画像の全部をそのまま元画像へ反映させるならば細かいエッジの強調と同時に細かいノイズも強調されてしまう。そこで、上記構成では、第１のエッジ表現画像とは性質及び解像度が異なる第２のエッジ表現画像を参照することにより、第１のエッジ表現画像に与える重みを可変している。すなわち、少なくともエッジ中心近傍範囲内において、エッジ中心からの距離が増大すればするほど第１のエッジ画像に与える重みが小さくなるように適応的制御を行っている。ここで、エッジ中心近傍範囲は、エッジ中心を含む範囲であり、第２のエッジ表現画像に基づいてエッジ中心からの距離に基づく適応的制御を実現可能な範囲である。その範囲の大小は第２のエッジ表現画像の性質に依存する。

上記構成によれば、エッジ中心近傍範囲内においては、基本的に、エッジ中心に近ければ近いほど、第１のエッジ表現画像へ与えられる重みがより大きくされ、第１のエッジ表現画像が出力画像により多く反映される。つまり、エッジ中心に近いほど細かいエッジ成分がより多く反映されることになる。逆に、エッジ中心から遠ければ遠いほど、第１のエッジ表現画像へ与えられる重みが小さくされ、第１のエッジ表現画像が出力画像へ反映される度合いがより小さくされる。これによりエッジとは無関係に存在しているノイズまでが強調されてしまうことを防止又は軽減できる。

第２のエッジ表現画像は、第１のエッジ表現画像へ与える重みを決定する際の基礎となるものであり、エッジ中心からの距離を直接的に又は間接的に表す画像であるのが望ましい。例えば第１のエッジ表現画像よりも低い解像度をもったエッジ表現画像であればそれを第２のエッジ表現画像として利用することが可能であり、特に元画像の二回微分に相当する画像であれば、ゼロクロス点がエッジ中心に相当することになるから、そのような画像を第２のエッジ表現画像として利用するのが望ましい。なお、そのような第２のエッジ表現画像においては、ゼロクロス点からの一定範囲内において、画素値とエッジ中心からの距離との間で相関関係が成立し、かかる一定範囲が上記のエッジ中心近傍範囲に相当する。その範囲を超えると、相関関係が成立しなくなるが、一般に超音波画像は大小様々な輝度変化を多量に含む画像であるから、画像内の全体にわたって上記の相関関係が多数成立するものと推認される。そうであれば相関関係が成立しない部分（つまりエッジから離れたノイズの強調を抑制できないケース）は相対的に見てかなり少ないと言い得る。なお、エッジから離れたところにあるノイズ（特にインパルス状ノイズ）につきその強調の抑制が不十分となるような場合には、複数のエッジ表現画像の生成に先立って、元画像に対してエッジ保存型フィルタ処理を施すのが望ましい。

望ましくは、前記エッジ表現画像列は、前記元画像に対してラプラシアンピラミッド処理を施すことにより生成された画像列であって、段階的に引き下げられた解像度をもってエッジ成分を表現する０番からｎ番（但しｎは２以上の整数）までのｎ＋１個のラプラシアン画像からなり、前記第２のエッジ表現画像は、前記ｎ＋１個のラプラシアン画像の内で、画素値が前記エッジ中心近傍範囲内において前記エッジ中心からの距離に相当するラプラシアン画像である。第２のエッジ画像は、前記ｎ＋１個のラプラシアン画像の内で２番のラプラシアン画像Ｌ₂であるのが望ましいが、３番のラプラシアン画像その他のラプラシアン画像であってもよい。複数のラプラシアン画像を参照するようにしてもよい。

望ましくは、前記第１のエッジ表現画像は、前記ｎ＋１個のラプラシアン画像の内で最も解像度が高いラプラシアン画像Ｌ₀である。ラプラシアン画像Ｌ₀はより細かいエッジ成分を含む画像であり、同時に細かいノイズも含み得る画像である。よって、元画像へのラプラシアン画像Ｌ₀の合成によればより細かいエッジを強調できる。同時にノイズも強調され得るが、エッジとは無関係に存在するノイズに対しては上記構成によりその強調が抑制される。つまり、エッジの選択的強調あるいはノイズの選択的強調抑制を実現できる。

望ましくは、前記重み制御手段は、前記ラプラシアン画像Ｌ₂を構成する各画素の画素値の絶対値を演算する絶対値演算手段と、前記ラプラシアン画像Ｌ₂を構成する各画素の画素値の絶対値に従って前記ラプラシアン画像Ｌ₀を構成する各画素に対して与える重みを決定する重み決定手段と、を含み、前記重み制御手段は、前記ラプラシアン画像Ｌ₂を構成する各画素の画素値の絶対値に従って前記ラプラシアン画像Ｌ₀を構成する各画素に与える重みを制御し、これによりエッジ強調に伴うノイズ強調が制限されるようにする。ラプラシアン画像Ｌ₂においては、ゼロクロス点がエッジ中心に対応し、その近傍範囲内において、画素値と距離との相関関係（疑似線形関係）が成立する。つまり、画素値をもってエッジ中心からの距離を認識することが可能である。これを前提として、ラプラシアン画像Ｌ₂の画素値を距離情報として利用して、ラプラシアン画像Ｌ₀の重みが適応的に決定される。ラプラシアン画像Ｌ₂は符号をもった画像であり、ゼロクロス点から正方向及び負方向に画素値が変化するから、符号を無視するために絶対値演算が実行される。その場合、単に符号ビットを無視するだけの処理が適用されてもよい。

ラプラシアン画像Ｌ₂の利用によれば、多重合成用として既に生成されている画像をそのまま使ってラプラシアン画像Ｌ₀の重みを瞬時に決定することができるので、リアルタイム処理を実現可能である。例えば、画素ごとに重み決定のために距離演算を行う場合には非常に複雑でかつ大量の演算が必要となるが、上記構成ではラプラシアン画像Ｌ₂を参照するだけでよい。

望ましくは、前記エッジ強調手段は、前記元画像に対して重み制御後のラプラシアン画像Ｌ₀を含む前記ｎ＋１個のラプラシアン画像を重み付け合成することにより前記エッジ強調画像を生成する。重み制御の対象は少なくともラプラシアン画像Ｌ₀であるが、それ以外のラプラシアン画像に対して重みを制御してもよい。

望ましくは、前記ラプラシアンピラミッド処理に先立って前記元画像に対してノイズ除去処理を適用するノイズ除去処理手段を含む。望ましくは、前記ノイズ除去処理手段はハイブリッドメディアンフィルタにより構成される。この構成によれば、ラプラシアン画像Ｌ₂の参照によっては十分に抑制できないノイズを事前に抑制することが可能である。ハイブリッドメディアン処理はエッジ保存型のノイズ除去フィルタである。

望ましくは、前記元画像は、スキャンコンバート処理前の複数のビームデータからなるフレームデータであり、前記エッジ強調画像に対して前記スキャンコンバート処理が適用される。望ましくは、前記超音波の送受波を行いながら前記エッジ表現画像列の生成及び前記元画像に対する前記エッジ表現画像列の重み付け合成がリアルタイムで実行される。

本発明によれば、ノイズの強調を制限しつつエッジを強調して、超音波画像の画質を向上させることが可能である。

本発明に係る超音波画像処理装置の好適な実施形態を示すブロック図である。エッジ強調部の第１構成例を示すブロック図である。複数のぼけ画像と複数のラプラシアン画像を示す図である。エッジ強調部の第２構成例を示すブロック図である。エッジ付近の１次元波形を示す図である。ラプラシアン画像Ｌと重みとの関係を示す図である。エッジ強調部の第３構成例を示すブロック図である。ハイブリッドメディアン処理を説明するための図である。元画像を示す図である。元画像に対して複数のラプラシアン画像を重み付け加算して生成された画像を示す図である。図７に示す第３構成例を適用することにより生成された画像を示す図である。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１には、本発明に係る超音波画像処理装置の好適な実施形態が示されており、図１には超音波画像処理装置としての超音波診断装置がブロック図として示されている。この超音波診断装置は医療機関において設置され、生体に対する超音波の送受波により得られたデータに基づいて超音波画像を形成する装置である。

プローブ１０は、超音波の送受波を行うデバイスであり、本実施形態においてプローブ１０は１Ｄアレイ振動子を有している。１Ｄアレイ振動子は複数の振動素子により構成されるものであり、その１Ｄアレイ振動子により超音波ビームが形成される。超音波ビームは電子的に走査され、電子走査方式としては、電子セクタ走査、電子リニア走査等が知られている。プローブ１０に２Ｄアレイ振動子を設け、三次元エコーデータ取込空間を形成するようにしてもよい。

送信部１４は送信ビームフォーマーであり、送信時において１Ｄアレイ振動子に対して複数の送信信号を並列的に供給する。これにより１Ｄアレイ振動子の作用により送信ビームが形成される。受信時において、生体内からの反射波が１Ｄアレイ振動子において受波されると、これにより、１Ｄアレイ振動子から複数の受信信号が並列的に受信部１２に対して出力される。受信部１２は受信ビームフォーマーである。すなわち、受信部１２は、複数の受信信号に対して整相加算処理を実行し、これにより整相加算後の受信信号すなわちビームデータを生成し、それを出力する。信号処理部１６はビームデータに対する処理を実行するモジュールであり、信号処理部１６は、例えば検波回路、対数変換回路、ゲイン調整回路等を含むものである。

エッジ強調部１８は、フレームデータ単位で適応的エッジ強調処理を実行するモジュールである。１つのフレームデータは、１つのビーム走査面に対応し、複数のビームデータの集合体として構成される。フレームデータにおける一方方向は電子走査方向であり、もう１つの方向が深さ方向である。エッジ強調部１８は、そのようなフレームデータに対して後に詳述するようにラプラシアンピラミッド処理を基礎とする適応的エッジ強調処理を適用する。エッジ強調処理の具体的内容については、後に図２ないし図８を用いて詳述する。

ＤＳＣ(デジタルスキャンコンバータ）２０は、エッジ強調処理後のフレームデータに基づいて２次元断層画像を形成するモジュールである。ＤＳＣ２０は座標変換機能、画素補間機能等を有している。形成された２次元断層画像のデータは表示処理部２２を経由して表示器２４へ送られる。表示器２４の表示画面上にはエッジ強調処理がなされた２次元断層画像が表示される。表示処理部２２は画像合成機能等を有するものである。

制御部２６はＣＰＵ及び動作プログラムにより構成され、制御部２６によって図１に示されている各構成の動作が制御されている。操作パネル２８はキーボードや各種スイッチを含むものであり、操作パネル２８を利用してユーザにより処理条件等の入力が行われる。

図１においては、ＤＳＣ２０の前段にエッジ強調部１８が設けられていたが、ＤＳＣ２０の後段にエッジ強調部１８を設けるようにしてもよい。また、超音波診断装置からＰＣに対してフレームデータを転送し、ＰＣ上においてフレームデータに対してエッジ強調処理等を適用するようにしてもよい。その場合においてはＰＣが超音波画像処理装置に相当する。

図１に示したエッジ強調部１８の具体的構成については、後に図２、図４及び図７を用いて説明するが、それに先立って、エッジ強調部１８で実行される境界強調処理の基礎をなすラプラシアンピラミッド処理について説明しておく。本実施形態では、ラプラシアンピラミッド処理が利用されているが、段階的に異なる解像度を有する複数のエッジ成分画像を生成できる限りにおいて他の処理を利用することも可能である。

ラプラシアンピラミッド処理は、元画像Ｇ₀を基礎として解像度を段階的に落とした複数のぼけ画像（Ｇ₁，…，Ｇ_n）を生成する処理と、元画像Ｇ₀及び複数のぼけ画像（Ｇ₁，…，Ｇ_n）における個々の隣接画像間で差分処理を適用することにより複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）を生成する処理と、を含むものである。ラプラシアン画像はエッジ成分画像あるいは差分画像と言い得るものである。

具体的には、以下の式１に基づいて、複数のぼけ画像（Ｇ₁，…，Ｇ_n）が生成され、以下の式２に基づいて複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）が生成される。以下において、ｉは０からｎ−１までの値をとり得る。

Ｇ_i+1 ＝ＤＳ（Ｗ_g ＊Ｇ_i） …(式１)
Ｌ_i ＝Ｇ_i − Expand（Ｇ_i+1） …(式２)
但し、Expand（Ｇ_i+1）＝Ｗ_g ＊ＵＳ（Ｇ_i+1） …(式３)

上記の式１乃至式３において、“ＤＳ”はダウンサンプル（Down Sample）を表し、“ＤＵ”はアップサンプル（Up Sample）を表し、“Ｗ_g”はガウシアン重み係数行列（Gaussian Weight）を表している。また“＊"は畳み込み演算を示している。

式１について説明すると、画像Ｇ_iに対するガウシアン重み係数行列Ｗ_gの畳み込み演算（ガウシアン処理）により、画像Ｇ_iをそれよりもぼけた画像にすることができ、その上で、そのぼけ画像に対してダウンサンプル処理が適用される。ダウンサンプル処理は、二次元の間引き処理であり、典型的には、水平方向（本実施形態では電子走査方向）及び垂直方向（本実施形態では深さ方向）において、１つおきにピクセルを除去する処理である。この処理により画像Ｇ_iは１／４に縮小された画像に変換される。そのような縮小画像がぼけ画像Ｇ_i+1である。二次元の間引き処理に先立って適用されるガウシアン処理は、一定サイズをもったエッジを残留させるための処理である。式１で示す処理を繰り返せば、元画像Ｇ₀を基礎として、段階的に解像度が引き下げられた、複数の階層にわたる、複数のぼけ画像（Ｇ₁，…，Ｇ_n）を生成できる。

式２について説明すると、 Expand（Ｇ_i+1）の内容は式３で定義されており、式３に示す拡張処理は、対象画像Ｇ_i+1に対してまずアップサンプル処理を適用した上で次にガウシアン処理を適用するものである。アップサンプル処理はサイズを大きくする処理であって、典型的には、水平方向及び垂直方向において、隣接ピクセル間に０が１つ挿入される。これにより画像Ｇ_i+1が４倍の大きさを有する拡張画像に変換される。式２で示されるように、画像Ｇ_iから、拡張処理後の画像Ｇ_i+1を引く差分処理が実行されると、その結果として、ラプラシアン画像Ｌ_iが生成される。式２で示す処理を繰り返せば、元画像Ｇ₀及び複数のぼけ画像（Ｇ₁，…，Ｇ_n）を基礎として、複数の階層にわたる、解像度の異なる、複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）を生成できる。

以上のように、ラプラシアンピラミッド処理は、元画像Ｇ₀から複数のぼけ画像（Ｇ₁，…，Ｇ_n）画像を生成した上で、最終的に複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）を生成する処理である。但し、それについては多様なバリエーションが考えられる。例えば、ダウンサンプル及びアップサンプルに当たって、水平方向の処理と垂直方向の処理とを段階的に実行してもよい。また、１回のダウンサンプルでの間引き率や１回のアップサンプルでの拡大率について任意に定めることが可能である。場合によってはアップサンプルに際して０以外の数値を入れることも可能である。

図２には、図１に示したエッジ強調部１８の第１構成例が示されている。後に図４に示す第２構成例及び後に図７に示す第３構成例に対して、第１構成例は比較例と言い得るものである。図２において、符号１００は元画像（フレームデータ）の入力を示しており、符号１０２はエッジ強調処理後の画像（処理済みフレームデータ）の出力を示している。元画像Ｇ₀を基礎として、ガウシアン処理及びダウンサンプル処理からなる縮小処理をくり返し実行することにより、複数の階層にわたる複数のぼけ画像（Ｇ₁，…，Ｇ_n）が生成される。元画像Ｇ₀及び複数のぼけ画像（Ｇ₁，…，Ｇ_n）により画像列１０４が構成される。一方、複数の階層にわたる隣接画像間で画像サイズを揃えつつ差分処理を適用することにより、複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）が生成される。それらは画像列１０６を構成するものである。符号１０８は重み付け加算部を示している。すなわち、元画像Ｇ₀に対して複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）が重み付け加算され、その結果として出力画像が生成される。但し、w_i0，w_i1，w_i2は、それぞれラプラシアン画像（Ｌ₀，…，Ｌ_n-1）に与える重み係数である。図２に示した第１構成例では、単純な重み付け加算が適用されており、エッジ中心からの距離に応じて重みを可変する制御は適用されていない。

図３には、元画像Ｇ₀及び複数のぼけ画像（Ｇ₁，…，Ｇ_n）からなる画像列１０４と、複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）からなる画像列１０６と、が示されている。但し、画像列１０４及び画像列１０６を構成する各画像のサイズは画像対比のために揃えてある。複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）は、それぞれ解像度の異なる差分画像に相当するものであり、換言すれば、複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）は、それぞれ細かさの異なるエッジ成分を含むものである。一般的画像が元画像となっているならば、複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）を元画像に対して重み付け加算することにより、境界の視認性が高められた出力画像を得られることが知られている。細かさの異なる複数のエッジ成分のブレンドにより、エッジを自然に強調できるからである。

しかしながら、本発明者らの実験、研究によれば、超音波画像には生体組織に由来しないスペックル等の不要なエコー成分やエコー成分の欠損部が非常に多く含まれており、そのような超音波画像を基礎として複数のラプラシアン画像を生成して、それらを超音波画像に重み付け加算すると、エッジが強調されると同時にノイズも強調されてしまい、画質が大きく低下するという問題が発覚している。エッジ強調処理後に平滑化処理を施せばノイズを低減可能ではあるが、通常の平滑化フィルタを利用して平滑化処理を行うと、超音波画像に含まれる高周波成分までもが消失してしまい、折角強調したエッジがぼけてしまう結果を招く。そのような問題に対処するための構成例が図４及図７に示されており、以下、それらについて詳述する。

図４には、図１に示したエッジ強調部１８の第２構成例が示されている。図４において、図２に示した構成とは同一の符号が付されている。このことは後に説明する図７においても同様である。図４に示す第２構成例では、エッジと共にノイズが強調されてしまう問題を解消又は軽減するための特別な適応的制御が実現されている。

その適用的制御について具体的に説明する。画像列１０６の内で最後のラプラシアン画像Ｌ₂に対してアップサンプリング処理１１０を適用し更にガウシアン処理１１２を適用することにより、ラプラシアン画像Ｌ₁と同じサイズをもった一次拡張画像が生成される。その一次拡張画像はラプラシアン画像Ｌ₁に対して重み付け加算される。この点では図２に示した第１構成例と同じである。一方図４に示す第２構成例では、ラプラシアン画像Ｌ₂から生成された一次拡張画像に対して、アップサンプリング処理１１４及びガウシアン処理１１６が更に適用され、これによりラプラシアン画像Ｌ₀と同じサイズをもった二次拡張画像が生成されている。そして、それがノイズ強調制限部（ＮＥＲ）１２０へ与えられている。

このノイズ強調制限部１２０は、ラプラシアン画像Ｌ₀に対する重みを適応的に可変設定するものであり、より詳しくは、ラプラシアン画像Ｌ₂を構成する各ピクセルの値に基づいて、ラプラシアン画像Ｌ₀を構成する各ピクセルに対して与える重みを可変するものである。後に図５を用いて説明するように、ラプラシアン画像Ｌ₂においてはゼロクロス点がエッジ中心に相当しており、エッジ中心近傍の範囲内に限っては、ゼロクロス点からの距離に応じてピクセル値が大凡線形に変化する性質あるいは傾向が認められる。よって、ラプラシアン画像Ｌ₂（実際にはそこから生成された二次拡張画像）におけるピクセル値が大きければ大きい程、それとは逆に（例えば反比例するように）重みを小さくすれば、エッジ中心においては、ラプラシアン画像Ｌ₀が有しているエッジ成分をより多く出力画像へ反映させて、エッジがより明瞭に表現されるようにし、エッジ中心から離れるに従ってラプラシアン画像Ｌ₀の反映度を小さくして、エッジとは無関係に存在しているノイズが不必要に強調されないようにすることが可能である。複数のラプラシアン画像（Ｌ₀，…，Ｌ_n-1）の中でラプラシアン画像Ｌ₀は最も細かいエッジ成分を有しており、同時に細かいノイズも含み得るから、上記のようなエッジ中心からの距離に応じた適応的重み制御により、エッジを強調しつつも、ノイズの強調を抑制することが可能となる。

図５には、ぼけ画像Ｇ₂及びラプラシアン画像Ｌ₂が、説明の都合上、一次元の波形として示されている。各波形のサイズは揃えてある。（Ａ）には、ぼけ画像Ｇ₂の一次元波形１２４が示されている。横軸はｘ方向の位置を示し、縦軸は成分レベル（画素値）を示している。一次元波形１２４は元画像Ｇ₀の大まかな傾向を示すものである。（Ａ）に示されるように、高輝度部分と低輝度部分との間にエッジ（境界）が存在しており、その中心がエッジ中心１２６である。（Ｂ）には、ラプラシアン画像Ｌ₂の一次元波形１２８が示されている。エッジ中心１２６がゼロクロス点に一致している。これはラプラシアン画像Ｌ₂が二回微分画像に相当しているためである。ゼロクロス点から一方側においては一定範囲内にわたってほぼ線形な立ち上がり波形部分が認められ、ゼロクロス点から他方側においても一定範囲内にわたってほぼ線形な立ち下がり波形部分が認められる。すなわち、符号１３４で示すエッジ中心近傍範囲内において、符号を伴うピクセル値がエッジ中心からの距離に相当している。（Ｃ）には、（Ｂ）に示した一次元波形の絶対値を示す一次元波形１３０が示されている。エッジ中心近傍範囲１３４内における波形部分はエッジ中心を境としてｘ軸の両側で斜めに立ち上がる線形な関数１３２として近似し得る。よって、その範囲内においてはラプラシアン画像Ｌ₂の画素値の絶対値が距離を表すとみなすことが可能であり、その情報を利用して、ラプラシアン画像Ｌ₀上において、対応する画素に与える重みを適応的に決定することが可能である。重みを決定する関数については後に図６を用いて説明する。

本実施形態によれば、エッジ中心及びそれに近いところでは、ラプラシアン画像Ｌ₀の成分をより多く出力画像へ反映させることができる。エッジ中心近傍範囲内であってもエッジ中心から離れれば離れるほど小さな重みが与えられるので、より遠いところほどラプラシアン画像Ｌ₀の成分があまり反映されず又はまったく反映されなくなる。よって、エッジ中心から離れたところにノイズが存在していても、そのノイズは出力画像上にはあまり反映されず又はまったく反映されなくなる。エッジ中心近傍範囲１３４を越える範囲１３６，１３８においては上記仮定が成り立たないが、実際の画像においては、非常に多くのゼロクロス点が存在しており、個々のゼロクロス点近傍範囲内において上記のような適応的制御が実行される結果、画像全体としてエッジ強調とノイズ強調の抑制とを同時に効果的に達成することが可能である。このことは実験により確認されている。

図６には、重み決定関数１４０の一例が示されている。横軸はラプラシアン画像Ｌ₂の成分レベル（ピクセル値）の絶対値を示しており、縦軸は重みを示している。成分レベルがゼロの地点から一定値までの範囲内において、成分レベルに反比例するように重みが引き下げられており、一定値を超えた範囲内で重みがゼロとされている。もちろん、一定値を超えた範囲内において若干の重みを与えてもよい。いずれにしても、エッジ中心から遠ざかれば遠ざかるほど、重みを小さくすればエッジと無関係に存在しているノイズの強調を抑制することが可能である。なお、エッジ上に存在するノイズについては、それが仮に強調されても、エッジ強調の結果、目立たなくなる。

図７には、図１に示したエッジ強調部１８の第３構成例が示されている。この図７に示す第３構成例は、図４に示した第２構成例に対してハイブリッドメディアン処理１４１を追加したものに相当する。すなわち、ラプラシアンピラミッド処理に先だって、元画像Ｇ₀に対してエッジ保存型のノイズ除去処理を適用するものである。

図８には、ハイブリッドメディアン処理の具体的な作用が例示されている。ハイブリッドメディアン処理では、第１に、符号１４２で示すように垂直報告及び水平方向に並ぶ複数個のピクセル（Ｒ）が特定され、それらのピクセルが有する複数の画素値の中から中央値ＭＲが特定される。第２に、符号１４４で示すように二つの斜め方向に並ぶ複数個のピクセル（Ｄ）が特定され、それらが有する画素値の中から中央値ＭＤが特定される。そして、第３に、中央値ＭＲ、中央値ＭＤ及び中央ピクセル１４６の画素値Ｃの３つの中から中央値が特定され、それがハイブリッドメディアン処理の出力値とされる。このような処理によれば、垂直方向及び水平方向並びに斜め方向に存在するエッジを効果的に保存できる一方において、インパルス性のノイズを効果的に除去することが可能である。

図７に戻って元画像Ｇ₀に対して上記のようなハイブリッドメディアン処理１４１が適用され、そのような処理後の元画像Ｇ₀に対して段階的に縮小処理つまり低解像処理が適用され、これによって複数のぼけ画像（Ｇ₁，Ｇ₂，Ｇ₃）が生成される。そして、ハイブリッドメディアン処理後の元画像Ｇ₀と複数のぼけ画像（Ｇ₁，Ｇ₂，Ｇ₃）に基づいて、隣接階層間での差分処理を行うことにより、複数のラプラシアン画像（Ｌ₀，Ｌ₁，Ｌ₂）が生成される。そして、それらのラプラシアン画像が元画像Ｇ₀に対して重み付け加算されるが、その際において第２構成例と同様に、ラプラシアン画像Ｌ₂に基づいてラプラシアン画像Ｌ₀に対する重みが適応的に可変設定されている。

この第３構成例によれば、図４に示した第２構成例では抑圧しきれないようなインパルス性のノイズを効果的に抑制することが可能である。逆に言えば、そのようなインパルス性のノイズがあまり目立たないような超音波画像に対しては図４に示した第２構成例を利用することが可能である。

図９には元画像が示されている。図１０には図２に示した第１構成例の利用によって生成されたエッジ強調画像が示されている。図１１には図７に示した第３構成例の適用によって得られたエッジ強調画像が示されている。各画像の対比から明らかなように、複数のラプラシアン画像を単純に重み付け加算した場合においては、図１０に示されるようにエッジ強調と共にノイズも過度に強調されてしまい、超音波画像全体としての画質が低下している。これに対し、ラプラシアン画像Ｌ₂に基づく重みの適用的制御によれば、図１０に示すように、スペックル、黒抜け、その他のノイズ成分があまり強調されずに、もっぱらエッジを強調することができ、非常に見やすい画像が構成されている。しかも、本実施形態においては、ラプラシアンピラミッド処理において生成された特定のラプラシアン画像を参照するだけでエッジ中心からの距離に応じた重み可変を実現できるので、リアルタイムでの処理を実現できるという利点が得られる。

なお、上述したハイブリッドメディアン処理に代えて他のエッジ保存型平滑化処理を適用することも可能である。上述した実施形態においては、ラプラシアン画像Ｌ₀に対しての重みが可変されていたが、合成対象となる他のラプラシアン画像に対する重みの可変を行うことも可能である。さらに、本実施形態においてはラプラシアン画像Ｌ₂を参照するようにしたが、エッジ中心からの距離に相当する情報を直接的に又は間接的に得られる画像であれば他の画像を参照することも可能であり、また複数のラプラシアン画像を参照するようにしてもよい。

１８エッジ強調部，１０４ぼけ画像列，１０６ラプラシアン画像列，１０８重み付け加算部分，１２０ノイズ強調制限部。

Claims

超音波の送受波により得られた元画像に基づいて、第１のエッジ表現画像とそれよりも低い解像度を有する第２のエッジ表現画像とを含むエッジ表現画像列を生成する画像列生成手段と、
前記元画像に対して少なくとも前記第１のエッジ表現画像を重み付け合成することによりエッジ強調画像を生成する手段であって、前記第２のエッジ表現画像に基づいて前記第１のエッジ表現画像に与える重みを可変する重み制御手段を有するエッジ強調手段と、
を含み、
前記重み制御手段は、前記第１のエッジ表現画像における少なくともエッジ中心の近傍範囲であるエッジ中心近傍範囲内において前記エッジ中心からの距離が増大すればするほど前記第１のエッジ表現画像に与える重みを小さくする手段であり、
前記エッジ表現画像列は、前記元画像に対してラプラシアンピラミッド処理を施すことにより生成された画像列であって、段階的に引き下げられた解像度をもってエッジ成分を表現する０番からｎ番（但しｎは２以上の整数）までのｎ＋１個のラプラシアン画像からなり、
前記第１のエッジ表現画像は、前記ｎ＋１個のラプラシアン画像の内で、最も解像度が高い、０番のラプラシアン画像Ｌ _０であり、
前記第２のエッジ表現画像は、前記ｎ＋１個のラプラシアン画像の内で、画素値が前記エッジ中心近傍範囲内において前記エッジ中心からの距離を表す、２番のラプラシアン画像Ｌ _２であり、
前記ラプラシアン画像Ｌ _０に与える重みが前記ラプラシアン画像Ｌ _２により定められる、
ことを特徴とする超音波画像処理装置。
請求項１記載の装置において、
前記重み制御手段は、
前記ラプラシアン画像Ｌ_２を構成する各画素の画素値の絶対値を演算する絶対値演算手段と、
前記ラプラシアン画像Ｌ_２を構成する各画素の画素値の絶対値に従って前記ラプラシアン画像Ｌ_０を構成する各画素に対して与える重みを決定する重み決定手段と、
を含み、
前記重み制御手段は、前記ラプラシアン画像Ｌ_２を構成する各画素の画素値の絶対値に従って前記ラプラシアン画像Ｌ_０を構成する各画素に与える重みを制御し、これによりエッジ強調に伴うノイズ強調が制限されるようにする、
ことを特徴とする超音波画像処理装置。
請求項１記載の装置において、
前記エッジ強調手段は、前記元画像に対して重み制御後のラプラシアン画像Ｌ_０を含む前記ｎ＋１個のラプラシアン画像を重み付け合成することにより前記エッジ強調画像を生成する、
ことを特徴とする超音波画像処理装置。
請求項１記載の装置において、
前記ラプラシアンピラミッド処理に先立って前記元画像に対してノイズ除去処理を適用するノイズ除去処理手段を含む、
ことを特徴とする超音波画像処理装置。
請求項４記載の装置において、
前記ノイズ除去処理手段はハイブリッドメディアンフィルタにより構成された、
ことを特徴とする超音波画像処理装置。
請求項１記載の装置において、
前記元画像は、スキャンコンバート処理前の複数のビームデータからなるフレームデータであり、
前記エッジ強調画像に対して前記スキャンコンバート処理が適用される、
ことを特徴とする超音波画像処理装置。
請求項１記載の装置において、
前記超音波の送受波を行いながら前記エッジ表現画像列の生成及び前記元画像に対する前記エッジ表現画像列の重み付け合成がリアルタイムで実行される、
ことを特徴とする超音波画像処理装置。