JP6274495B2 - 画像処理装置および超音波診断装置 - Google Patents

画像処理装置および超音波診断装置 Download PDF

Info

Publication number
JP6274495B2
JP6274495B2 JP2013222145A JP2013222145A JP6274495B2 JP 6274495 B2 JP6274495 B2 JP 6274495B2 JP 2013222145 A JP2013222145 A JP 2013222145A JP 2013222145 A JP2013222145 A JP 2013222145A JP 6274495 B2 JP6274495 B2 JP 6274495B2
Authority
JP
Japan
Prior art keywords
image
brightness
pixels
frequency components
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013222145A
Other languages
English (en)
Other versions
JP2015083056A (ja
Inventor
智久 今村
智久 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2013222145A priority Critical patent/JP6274495B2/ja
Priority to US14/522,874 priority patent/US9754361B2/en
Publication of JP2015083056A publication Critical patent/JP2015083056A/ja
Application granted granted Critical
Publication of JP6274495B2 publication Critical patent/JP6274495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、画像処理装置および超音波診断装置に関する。
超音波診断装置、X線CT装置、およびMRI装置などのモダリティにより、検査対象が診断され、診断時における検査対象の画像が取得される。
例えば、超音波診断装置は、非侵襲でリアルタイムに検査ができることから多くの医療機関に普及している。超音波診断装置は、超音波パルスを体内に照射する電気音響変換器および画像処理装置を有する。生体に照射された超音波パルスは生体組織の固有音響インピーダンスの差に応じた反射をする。たとえば、インピーダンスの差が大きな境界面でより強い反射信号が得られ、インピーダンスの差が小さな境界面でより弱い反射信号が得られる。反射信号は電気音響変換器によって電気信号に変換される。電気信号は増幅され、断層画像などに再構築されてディスプレイに表示される。ディスプレイに画像が表示されるとき、反射信号が大きなものを明るく、小さなものを暗くなるように、信号振幅に応じた輝度変調が行われる。
画像処理装置は、電気信号を増幅する調整部を有する。調整部は操作部を有する。操作部による指示を受けて、調整部が電気信号を増幅する(ゲイン調整する)ことにより、画像の明るさが調整される。
画像に、軟部組織や筋肉などの低周波成分の構造から骨などの高周波成分の構造までが描画されるときがある。このような画像に対し、点や線状の陰影を強調するための周波数処理が行われる。
ゲイン調整が暗めに働くと、画像において必要な情報が失われるおそれがある。また、画像の明るさをリアルタイムで調整したいという要請がある。また、ユーザーや検査対象に応じて、画像の明るさを簡易に調整したいという要請もある。さらに、周波数処理において、低周波数成分における画像のみの明るさを調整したいという要請もある。
特開2012−105973号公報
しかしながら、空間的に2次元でゲイン調整をすると、計算量が膨大なため、ゲイン調整に多くの時間を要し、画像の明るさをリアルタイムで調整することが困難となる。さらに、周波数処理において、低周波成分における画像のみの明るさを調整することは困難を伴う。
この実施形態は、上記の問題を解決するものであり、画像の明るさをリアルタイムで調整することが可能な画像処理装置および超音波診断装置を提供することを目的とする。
上記課題を解決するために、実施形態の画像処理装置は、多重解像度分解部と、調整部と、復元部と、を有する。多重解像度分解部は、画素が2次元または3次元の方向に配列された原画像を高周波成分と低周波成分とに分解することを、画素が各方向に所定個になるまで繰り返すことにより、低周波成分における最下層の画像を生成する。調整部は、最下層の画像における各画素の画素値を変更することにより、最下層の画像の明るさを調整する。復元部は、明るさが調整された最下層の画像を用いて、画素が各方向に前記原画像と同じ個数になるように画像を復元することを特徴とする。また、復元部は、明るさが調整された最下層の画像に基づいて、各方向に原画像と同じ個数の画素値が配列された第1の画像を生成し、画像を復元するとき、第1の画像を用いる。
第1実施形態に係る画像処理装置の構成ブロック図。 画像処理装置の一連の動作を示すフローチャート。 離散ウェーブレット変換の一連の動作を示すフローチャート。 3階層までの離散ウェーブレット変換の一例を示す図。 1次の高周波成分を示す図。 2次の高周波成分を示す図。 3次の高周波成分を示す図。 最下層の画像における低周波成分を示す図。 ユーザーおよび検査対象と係数との対応関係を示す図。 第2実施形態において、離散ウェーブレット変換から拡大処理までの動作を示すフローチャート。 実施形態の種類と動作との対応関係を示す図。 第3実施形態において、離散ウェーブレット変換から拡大処理までの動作を示すフローチャート。
(原画像)
モダリティにより検査対象が診断され、診断時における検査対象の原画像gが取得される。なお、原画像gは、画素が2次元または3次元の方向に配列されたものである。
2次元の方向にm個配列された原画像gは、次のように表される。
Figure 0006274495
原画像gにおいて、画素の画素値(輝度値または濃度値ともいう)をpijで表す。pの添え字である“i”は行番号(i=1,2,...,m)、“j”は列番号を表す(j=1,2,...,m)。
以下の説明では、原画像gを、画素が2次元の方向に64個(m=64)配列されたものとして説明する。
[第1実施形態]
画像処理装置の第1実施形態について各図を参照して説明する。
先ず、画像処理装置の基本的な構成について、図1および図2を参照して簡単に説明する。図1は、画像処理装置10の構成ブロック図である。
図1に示すように、画像処理装置10は、多重解像度分解部11と、調整部12と、フィルタ13と、復元部14と、記憶部15と、ユーザーインターフェース(UIF)17と、システムゲイン設定部19と、を有する。
〔多重解像度分解部11〕
多重解像度解析にはウェーブレット(Wavelet)やガウシアンピラミット等が用いられる。ここでは、一例として、ウェーブレットを用いて多重解像度解析を行う多重解像度分解部11について説明する。
多重解像度分解部11は、原画像gを、離散ウェーブレット変換により高周波成分と低周波成分とに分解する。第1実施形態では、各方向の画素が所定個rになるまで、離散ウェーブレット変換が繰り返される。
第1実施形態では、所定個rは8である(r=8)。離散ウェーブレット変換が繰り返される都度、各方向の画素の個数が半分(後述するダウンサンプリング)になるので、各方向の画素の個数が64個から8個になるためには、離散ウェーブレット変換が階層数N(=3)回繰り返される必要がある。
図2は、画像処理装置10の一連の動作を示すフローチャートである。図2に、画像処理装置10の一連の動作をステップS101〜S110で示す。なお、画像処理装置10の一連の動作は自動的に実行されるものとする。
図2に示すように、この例では、画像処理装置10の一連の動作において、3階層の離散ウェーブレット変換が行われる(ステップS101〜S103)。図2に、各階層の離散ウェーブレット変換を、破線により囲まれた部分で示す。
〔1階層目の離散ウェーブレット変換:ステップS101〕
1階層目の離散ウェーブレット変換について、図3を参照して説明する。図3は、離散ウェーブレットの一連の動作を示すフローチャートである(ステップS201〜S204)。
(水平方向の離散ウェーブレット変換:ステップS201)
図3に示すように、最初に、原画像gに対して、水平方向(行方向)に離散ウェーブレット変換が行われる(ステップS201)。
水平方向(行方向)に離散ウェーブレット変換が行われたときの変換後のFは、次の式で表される。
Figure 0006274495
ここで、gは、gの転置行列である。また、Cは、基底関数(正方行列)である。
基底関数Cは、次の式で表される。
Figure 0006274495
水平方向(行方向)に行われる離散ウェーブレット変換において、原画像gが水平方向の低周波成分と高周波成分とに分解される。
(垂直方向の離散ウェーブレット変換:ステップS202)
次に、変換後のFに対し、垂直方向(列方向)に離散ウェーブレット変換が行われる(ステップS202)。
垂直方向(列方向)に離散ウェーブレット変換が行われたときの変換後のSは、次の式で表される。
Figure 0006274495
変換後のSは、各周波数成分(水平方向・垂直方向ともに低周波成分;水平方向が低周波成分でかつ垂直方向が高周波成分;水平方向が高周波成分でかつ垂直方向が低周波成分;水平方向・垂直方向ともに高周波成分)から構成される。
(離散ウェーブレット逆変換:S203)
次に、変換後のSについて、離散ウェーブレット逆変換が行われる(S203)。
各周波数成分は、離散ウェーブレット逆変換により、画像g(1)に変換される。
(ダウンサンプリング:S204)
次に、画像g(1)が、半分にダウンサンプリングされる(S204)。ダウンサンプリングにより、画素がm×m(64×64)から32×32に配列される。
図4は、3階層まで行われた離散ウェーブレット変換の一例を示す図である。図4に、画像g(1)における、水平方向・垂直方向ともに低周波成分を“LL”、水平方向が低周波成分でかつ垂直方向が高周波成分を“LH”、水平方向が高周波成分でかつ垂直方向が低周波成分を“HL”、水平方向・垂直方向ともに高周波成分を“HH”で示す。また、H、Lの添え字は、変換されたときの階層数を示す。
画像g(1)における各周波数成分は、次の式で表される。
Figure 0006274495
1階層目の離散ウェーブレット変換において、単に「低周波成分」というときは、水平方向・垂直方向ともに低周波成分のことをいい、それ以外の成分を、単に「高周波成分」という(2階層目以降の離散ウェーブレット変換においても同様とする)。
なお、画像g(1)における高周波成分LH、HL、および、HHは、記憶部15に記憶される。
図5は1次の高周波成分を示す図である。画像g(1)における高周波成分の一例を図5に示す。
〔2階層目の離散ウェーブレット変換:ステップS102〕
2階層目の離散ウェーブレット変換も1階層目の離散ウェーブレット変換と同様に行われるため、その説明を省略する。
2階層目の離散ウェーブレット変換により、画像g(1)における低周波成分LLは、各周波数成分(水平方向・垂直方向ともに低周波成分;水平方向が低周波成分でかつ垂直方向が高周波成分;水平方向が高周波成分でかつ垂直方向が低周波成分;水平方向・垂直方向ともに高周波成分)に分解される。
図4に、画像g(2)における、水平方向・垂直方向ともに低周波成分を“LL”、水平方向が低周波成分でかつ垂直方向が高周波成分を“LH”、水平方向が高周波成分でかつ垂直方向が低周波成分を“HL”、水平方向・垂直方向ともに高周波成分を“HH”で示す。
画像g(2)における各周波数成分は、次の式で表される。
Figure 0006274495
2階層目の離散ウェーブレット変換において、ダウンサンプリングにより、画素が32×32から16×16に配列される。
なお、高周波成分LH、HL、および、HHは、記憶部15に記憶される。
図6は2次の高周波成分を示す図である。画像g(2)における高周波成分の一例を図6に示す。
〔3階層目の離散ウェーブレット変換:ステップS103〕
3階層目の離散ウェーブレット変換も1階層目の離散ウェーブレット変換と同様に行われるため、その説明を省略する。
3階層目の離散ウェーブレット変換により、画像g(2)における低周波成分LLは、各周波数成分(水平方向・垂直方向ともに低周波成分;水平方向が低周波成分でかつ垂直方向が高周波成分;水平方向が高周波成分でかつ垂直方向が低周波成分;水平方向・垂直方向ともに高周波成分)に分解される。
図4に、画像g(3)における、水平方向・垂直方向ともに低周波成分を“LL”、水平方向が低周波成分でかつ垂直方向が高周波成分を“LH”、水平方向が高周波成分でかつ垂直方向が低周波成分を“HL”、水平方向・垂直方向ともに高周波成分を“HH”で示す。
画像g(3)における各周波数成分は、次の式で表される。
Figure 0006274495
3階層目の離散ウェーブレット変換において、ダウンサンプリングにより、画像値が16×16から8×8の配列となる。すなわち、各方向に配列された画素の個数が所定個である8個になる(r=8)。それにより、離散ウェーブレット変換の繰り返しが3階層目で終了する。画像g(3)が最下層の画像となる。この画像g(3)における低周波成分LLは、次の調整部12による調整対象となる。ここで、「最下層の画像」とは、離散ウェーブレット変換が予め定められた階層数繰り返されたとき、最後の繰り返しが終了したときの画像をいう。
図7は3次の高周波成分を示す図である。画像g(3)における高周波成分の一例を図7に示す。また、図8は、最下層の画像における低周波成分を示す図である。画像g(3)における低周波成分の一例を図8に示す。
〔調整部12による明るさ調整1〕
最下層の画像g(3)における低周波成分をLLで示した。ここで、最下層の画像g(3)における画像の画素値も“LL”で表すものとする。最下層の画像g(3)における画像の画素値LLは、8×8に配列される。
調整部12は、画像g(3)における画像の画素値LLに対し係数αを乗算することにより、画素値LLを変更する(図2に示すステップS104;明るさ調整1)。変更された画素値LLを所定の値vとすると、所定の値vは、次の式で表される。
Figure 0006274495
所定の値vも、画素が8×8に配列されたものとなる。
〔フィルタ13〕
フィルタ13は、ぼかし処理をすることにより、所定の値v(8×8に配列された画素の画素値)の明るさを均一にする(図2に示すステップS105;明るさの均一化)。ここで、「明るさを均一にする」あるいは「明るさの均一化」とは、明るさの変化を少なくすることを意味する。
ぼかし処理においては、8×8に配列された画素の画素値に対して所定の値vを求めればよいため、計算量が膨大にならない。
ぼかし処理の一例としては、平滑化フィルタにおける係数の重みをいう。平滑化フィルタとして、例えば、移動平均フィルタ(平均化フィルタとも呼ばれる)、ガウシアンフィルタ、メディアンフィルタが用いられる。
移動平均フィルタは、対象となる画素(8×8に配列された画素)の画素値を計算するために、それに隣接した画素を用いるものである。
フィルタサイズ3×3の移動平均フィルタを次に示す。
Figure 0006274495
ここで、係数の重みを“w”で示し、wの添え字は、行番号および列番号を示す。
フィルタサイズ3×3の移動平均フィルタの一例としては、対象となる画素の画素値を計算するために、それに隣接した8つの画素の画素値を用いるものであって、重みwを合計した値は1とし、全ての重みwを1/9とする。
明るさの均一化において、対象となる所定の値v(8×8に配列された画素の画素値)を次に示す。
Figure 0006274495
所定の値vにおいて、8×8に配列された画素の画素値をqijで表す。qの添え字である“i”は行番号(i=1,2,...,8)、“j”は、列番号を表す(j=1,2,...,8)。
明るさの均一化には、重みw=1/9であって、フィルタサイズが3×3である移動平均フィルタが用いられる。このとき、例えば、対象となる所定の値v(8×8に配列された画素の画素値)のうち、行番号3で列番号3の位置に配置された画素の画素値q33は、次のように表される。
Figure 0006274495
ここで、p´33は、画素値q33がフィルタ13のぼかし処理により、変更された値を示す。
以上のようなフィルタ13のぼかし処理により、所定の値vがvに変更され、最下層の画像の明るさが均一になる。
変換された値vは次の式で表される。
Figure 0006274495
βは、フィルタサイズおよび重みを示す数値の並びに相当するものである。画素の画素値が8×8に配列された所定の値vに対し値vを求めればよいので、計算量が膨大にならずに済む。
なお、移動平均フィルタは、3×3のフィルタサイズのものに限らない。例えば、n(≧4)×nのフィルタサイズのものを用いることで、明るさをさらに均一にするものであってもよい。さらに、フィルタ13は、移動平均フィルタに限らず、他の平滑化フィルタであってもよい。
なお、次のように構成してもよい。これらのフィルタ13を、ユーザーおよび検査対象に対応づけて予め記憶部15に記憶する。画像処理装置10は、ユーザーおよび検査対象の情報を受けて、ユーザー等に対応するフィルタを用いることにより、ぼかし処理するようにしてもよい。ぼかし処理は、UIF17による操作を受けて、フィルタ調整部18により行われる。
〔調整部12による明るさ調整2〕
調整部12は、フィルタ13により変換された値v(8×8に配列された画素の画素値)にオフセット値や補正係数を乗算/加算することにより、vに調整する(図2に示すステップS106;明るさ調整2)。調整された値vは、次の式で表される。
Figure 0006274495
ここで、kは補正係数の初期値、aはオフセット値の初期値である。
初期値k、aは、ユーザーおよび検査対象に対応づけられて予め記憶部15に記憶される。
図9は、ユーザーおよび検査対象と係数との対応関係を示す図である。図9に、初期値k、aに乗算すべき係数を、ユーザーおよび検査対象に対応づけて示す。初期値k、a、に乗算すべき係数が記憶部15に記憶される。調整部12は、記憶部15から読み出した初期値k、aおよび、記憶部15から読み出した、初期値に乗算すべき係数に基づき、ユーザーおよび検査対象に対応づけられた係数を参照して、値vを値vに調整する。
このとき、値vは次の式で表される。
Figure 0006274495
ここで、γ、εは、初期値k、aに乗算される、ユーザーに対応づけられた係数である。また、δ、ηは、初期値k、aに乗算される、検査対象に対応づけられた係数である。
図9に示すように、初期値k、a、に乗算すべき係数は、ユーザーの識別番号(UID)が“AAAAAAAA”のとき、“1.0”、“1.0”である。さらに、UIDが“BBBBBBBB”のとき、係数は“1.1”、“1.4”である。さらに、検査対象が“CCC”のとき、係数は“1.0”、“1.0”である。さらに、検査対象が“DDD”のとき、係数は“1.2”、“1.5”である。
例えば、UIDが“BBBBBBBB”、かつ、検査対象が“DDD”のとき、調整された値vは、次の式で表される。
Figure 0006274495
以上のように、調整部12は、式(11)に基づき、記憶部15に記憶された初期値k、aおよびそれらに乗算すべき係数を参照して、フィルタ13により変換された値v(8×8に配列された画素の画素値)をユーザーおよび検査対象に対応づけられた値vに調整する。
さらに、調整部12は、値vを調整可能に構成される。値vの調整は、調整された値vに対し直接的に行ってもよく、初期値k、aやそれらに乗算すべき係数を変更することにより間接的に行ってもよい。値v、初期値k、a、係数の変更はユーザーインターフェース(UIF)17による操作を受けて、数値調整部16により行われる。
なお、第1実施形態では、明るさの均一化(ステップS105)の後に、明るさ調整2(ステップS106)をしたが、動作の順番を逆にしてもよい。
〔復元部14〕
復元部14は、明るさが調整された、各方向に8個の画素が配列された低周波成分における最下層の画像(8×8の画像)を、各方向に64個の画素が配列された原画像と同じサイズ(64×64の画像)にアップサンプリングする(図2に示すステップS107;拡大処理)。アップサンプリングされた画像をg(4)とする。このアップサンプリングでは、水平、垂直の2次元方向に画素を8倍すればよいため、短時間に計算することが可能となる。ここで、「拡大処理」とは、対象の画像における各方向の画素の個数を原画像と同じ個数に戻すことをいう。以下、ステップS108、S109で行われる拡大処理において同様である。
画像の復元には、高周波成分の画像が用いられる。ここで、高周波成分の画像とは、前述したように、水平方向・垂直方向ともに低周波成分(LL、および、LL)以外の周波数成分(LH、HL、および、HH、並びに、LH、HL、および、HH)の画像をいう。
復元部14は、記憶部15に記憶された、高周波成分LH、HL、および、HHの画像(16×16の画像)をそれぞれ原画像と同じサイズ(64×64の画像)にアップサンプリングする(図2に示すステップS108;拡大処理)。アップサンプリングされた画像をg(5)とする。このアップサンプリングでは、水平、垂直の2次元方向に画素の個数を4倍すればよいため、短時間に計算することが可能となる。
さらに、復元部14は、記憶部15に記憶された、高周波成分LH、HL、および、HHの画像(32×32の画像)をそれぞれ原画像と同じサイズ(64×64の画像)にアップサンプリングする(図2に示すステップS109;拡大処理)。アップサンプリングされた画像をg(6)とする。このアップサンプリングでは、水平、垂直の2次元方向に画素の個数を2倍すればよいため、短時間に計算することが可能となる。
復元部14は、アップサンプリングされた画像g(4)、g(5)、g(6)を加算することにより、画像g(n)を復元する(図2に示すステップS110;加算処理)。
復元された画像g(n)は、次の式で表される。
Figure 0006274495
画像g(n)を復元するためには、64×64の画像である、画像g(4)、g(5)、g(6)を加算すればよいので、算出に多くの時間を要しない。
なお、第1実施形態では、復元部14により画像g(4)に画像g(5)、g(6)の両方が加算されたものを示したが、いずれか一方が加算されてもよい。
さらに、第1実施形態では、フィルタ13による明るさの均一化をし(ステップS105)、その後、明るさ調整2をした(ステップS106)。しかし、明るさ調整2をし、その後、明るさの均一化をしてもよい。
前記第1実施形態によれば、骨などの高周波成分の構造や軟部組織などの低周波成分の構造が混在していても、構造はそのままで、骨の明るさと軟部組織の明るさを近いレベルに自動でかつリアルタイムで調整でき、ゲイン調整の手間を省くことができる。さらに、心臓の検査においては、心筋部以外のノイズ成分(高周波成分)を暗く表示することも可能となる。
[第2実施形態]
次に、画像処理装置10の第2実施形態について図10および図11を参照して説明する。図10は、第2実施形態において、離散ウェーブレット変換から拡大処理までの動作を示すフローチャート、図11は、実施形態の種類と動作との対応関係を示す図である。なお、第2実施形態において、第1実施形態と同じ構成については同一番号を付してその説明を省略し、異なる構成について主に説明する。
第1実施形態では、図2に示すように、離散ウェーブレット変換による低周波成分LLの抽出(ステップS103)、その後、低周波成分LLを所定の値vとする明るさ調整1(ステップS104)、その後、フィルタ13による明るさの均一化(ステップS105)、その後、明るさ調整2(ステップS106)、その後、拡大処理(ステップS107)を行うように構成した。
第2実施形態では、図11に示すように、明るさ調整1(ステップS104)、明るさの均一化(ステップS105)、および、明るさ調整2(ステップS106)の3つの処理のうち、一つの処理を省略する。それにより、画像処理の迅速化を図ることができる。
一つの形態は、図10に示すように、明るさ調整2(ステップS106)を省略する。すなわち、明るさ調整1(ステップS104)の後に、明るさの均一化(ステップS105)をするように構成する。
他の形態は、明るさの均一化(ステップS105)を省略する。すなわち、明るさ調整1(ステップS104)の後に、明るさ調整2(ステップS106)をするように構成してもよい。
さらに、他の形態は、明るさ調整1(ステップS104)を省略する。このとき、処理の順番としては、明るさの均一化(ステップS105)の後に、明るさ調整2(ステップS106)をするように構成してもよく、明るさ調整2(ステップS106)の後に、明るさの均一化(ステップS105)をするように構成してもよい。
これらの形態における各処理が終了した後に、拡大処理(ステップS107、S108、S109)が行われる。
前記第2実施形態によれば、高周波成分の構造や低周波成分の構造が混在していても、構造はそのままで、高周波成分の構造と低周波成分の構造の明るさを近いレベルに自動でかつリアルタイムで調整できる。
[第3実施形態]
次に、画像処理装置10の第3実施形態について図11および図12を参照して説明する。図12は、第3実施形態において、離散ウェーブレット変換から拡大処理までの動作を示すフローチャートである。なお、第3実施形態において、第1実施形態と同じ構成については同一番号を付してその説明を省略し、異なる構成について主に説明する。
第3実施形態では、図11に示すように、明るさ調整1(ステップS104)、明るさの均一化(ステップS105)、および、明るさ調整2(ステップS106)の3つの処理のうち、二つの処理を省略する。それにより、画像処理のさらなる迅速化を図ることができる。
一つの形態は、図12に示すように、明るさの均一化(ステップS105)、および、明るさ調整2(ステップS106)を省略する。すなわち、明るさ調整1(ステップS104)のみを行うように構成してもよい。
他の形態は、図11に示すように、明るさ調整1(ステップS104)、および、明るさ調整2(ステップS106)を省略する。すなわち、明るさの均一化(ステップS105)のみを行うように構成してもよい。この明るさの均一化(ステップS105)の後に、ある任意の係数を乗算して、輝度変化を強調または弱めてもよい。輝度変化を強調すれば、輝度の低いノイズを低減することができる。
さらに、他の形態は、図11に示すように、明るさ調整1(ステップS104)、および、明るさの均一化(ステップS105)を省略する。すなわち、明るさ調整2(ステップS106)のみを行うように構成してもよい。
これらの形態における各処理が終了した後に、拡大処理(ステップS107、S108、S109)が行われる。
前記第3実施形態によれば、高周波成分の構造や低周波成分の構造が混在していても、構造はそのままで、高周波成分の構造と低周波成分の構造の明るさを近いレベルに自動でかつリアルタイムで調整できる。
[第4実施形態]
次に、画像処理装置10の第4実施形態について図1を参照して説明する。なお、第4実施形態において、第1実施形態と同じ構成については同一番号を付してその説明を省略し、異なる構成について主に説明する。
第4実施形態では、図1に示すように、フィルタ13のぼかし処理により計算された値v(8×8に配列された画素の画素値)が、システムゲイン設定部19に出力されるように構成する。システムゲイン設定部19は、値vに基づいて、ゲイン調整することにより、画像処理装置10の性能を最適化することができる。
システムゲイン設定部19によるゲイン調整は、値v(8×8に配列された画素の画素値)に基づいて行われるので、計算量が膨大にならないで済む。
[超音波診断装置]
次に、前記各実施形態に係る画像処理装置10を備えた超音波診断装置について、説明する。
前述したように、超音波診断装置は、超音波パルスを体内に照射する電気音響変換器および画像処理装置10を有する。生体から反射して戻ってきた反射信号は電気音響変換器によって電気信号に変換される。電気信号は増幅器で増幅される。増幅された信号に基づいて、画像が構築され、画像がディスプレイに出力される。構築される画像としては、Bモード画像、Mモード画像、パルスドプラ方式により取得された画像、連続波ドプラ方式により取得された画像がある。
Bモード画像は、反射信号が発生した時間と反射信号の強度から、生体内部組織の音響的反射強度分布を断層画像としたものである。Mモード画像は、縦軸には反射強度を輝度に変換したものを、横軸には縦軸で輝度表示したものを、時系列で表示したものである。パルスドプラ方式により取得された画像は、超音波パルスを繰り返し照射し、反射信号の周波数偏移から移動組織(血流)の速度を求め、電気音響変換器(振動子)に向かってくる速度の方向は赤色成分で、反対に、遠ざかる方向は青色成分で表示されるものである。連続波ドプラ方式により取得された画像は、音波パルスを連続的に照射し、反射信号を周波数偏移してから移動組織(血流)の速度を求め、電気音響変換器(振動子)に向かってくる速度の方向は赤色成分で、反対に、遠ざかる方向は青色成分で表示されるものである。
超音波診断装置は、前述する画像処理装置10を備えている。超音波診断装置は、Bモード画像;Mモード画像;パルスドプラ方式により取得された画像;連続波ドプラ方式により取得された画像の少なくとも一つを原画像gとして画像処理装置10に出力する。
さらに、超音波診断装置によりフリーズ前に取得された画像、および/または、超音波診断装置により過去に取得された画像が、原画像gとして画像処理装置10に出力されるように構成される。
ここで、「フリーズ」とは、Bモード画像等が表示されているとき、例えば、ユーザーの操作を受けて、画像が静止されることをいう。フリーズされたときの画像は、自動的に、または、ユーザーの操作により、画像処理装置10の記憶部15に記憶される。
なお、前記各実施形態では、1階層目の離散ウェーブレット変換により、原画像gを低周波成分LLと高周波成分LH、HL、および、HHとに分解し、高周波成分LH、HL、および、HHを、画像g(6)として画像の復元に用いたが、これに限らない。高周波成分を変更せず、そのまま画像の復元に用いるように構成してもよい。それにより、診断に必要となる検査対象に関する情報を失うことがない。
また、前記各実施形態では、明るさ調整1(ステップS104)、明るさの均一化(ステップS105)、および、明るさ調整2(ステップS106)の3つの処理のうち、少なくとも一つの処理を行うように構成したが、全部の処理を省略してもよい。それにより、画像処理の迅速化をさらに図ることができる。
さらに、前記各実施形態では、離散ウェーブレット変換が2次元データとしての原画像gに対し行われるものを示したが、3次元データとしての原画像に対し行われるように構成されてもよく、このように構成されても、2次元データのときと同様に、原画像の明るさ調整をリアルタイムに行うことができる。
なお、前記各実施形態では、画素が64×64に配列された原画像gに対し、離散ウェーブレット変換を3階層繰り返すことにより、画素が8×8に配列された最下層の画像を生成したが、画素が4×4に配列された最下層の画像を生成するには、離散ウェーブレット変換を4階層繰り返す必要があることはいうまでもない。さらに、画素の個数がm(≧128)×mに配列された原画像gに対し、画素の個数がr(≦8)×rに配列された最下層の画像を生成するには、離散ウェーブレット変換を4階層以上繰り返す必要があることはいうまでもない。
また、前記各実施形態では、離散ウェーブレット変換の対象としての原画像gを画素の個数が2次元または3次元の方向にm個配列されたデータとして説明したが、座標変換前のデータ形式である生データ(Raw data)であってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるととともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 画像処理装置
11 多重解像度分解部
12 調整部
13 フィルタ
14 復元部
15 記憶部
16 数値調整部
17 ユーザーインターフェース(UIF)
18 フィルタ調整部
19 システムゲイン設定部

Claims (9)

  1. 画素が2次元または3次元の方向に配列された原画像を高周波成分と低周波成分とに分解することを、前記画素が前記各方向に所定個になるまで繰り返すことにより、前記低周波成分における最下層の画像を生成する多重解像度分解部と、
    前記最下層の画像における各画素の画素値を変更することにより、前記最下層の画像の明るさを調整する調整部と、
    前記明るさが調整された前記最下層の画像を用いて、前記画素が前記各方向に前記原画像と同じ個数になるように画像を復元する復元部と、を有し、
    前記復元部は、前記明るさが調整された前記最下層の画像に基づいて、前記各方向に前記原画像と同じ個数の画素値が配列された第1の画像を生成し、前記画像を復元するとき、前記第1の画像を用いることを特徴とする画像処理装置。
  2. 画素が2次元または3次元の方向に配列された原画像を高周波成分と低周波成分とに分解することを、前記画素が前記各方向に所定個になるまで繰り返すことにより、前記低周波成分における最下層の画像を生成する多重解像度分解部と、
    前記最下層の画像における各画素の画素値を変更することにより、前記最下層の画像の明るさを調整する調整部と、
    前記明るさが調整された前記最下層の画像を用いて、前記画素が前記各方向に前記原画像と同じ個数になるように画像を復元する復元部と、を有し、
    前記調整部は、前記各画素間の画素値の変化を少なくすることにより、前記最下層の画像の明るさを調整するフィルタをさらに有し、前記フィルタは、各画素値をそれに隣接した画素値の平均値とすることにより、前記明るさを調整するように構成されることを特徴とする画像処理装置。
  3. 画素が2次元または3次元の方向に配列された原画像を高周波成分と低周波成分とに分解することを、前記画素が前記各方向に所定個になるまで繰り返すことにより、前記低周波成分における最下層の画像を生成する多重解像度分解部と、
    前記最下層の画像における各画素の画素値を変更することにより、前記最下層の画像の明るさを調整する調整部と、
    前記明るさが調整された前記最下層の画像を用いて、前記画素が前記各方向に前記原画像と同じ個数になるように画像を復元する復元部と、
    前記明るさが調整された前記最下層の画像を受けて、ゲイン調整を行うシステムゲイン設定部と、
    を有することを特徴とする画像処理装置。
  4. 画素が2次元または3次元の方向に配列された原画像を高周波成分と低周波成分とに分解することを、前記画素が前記各方向に所定個になるまで繰り返すことにより、前記低周波成分における最下層の画像を生成する多重解像度分解部と、
    前記最下層の画像における各画素の画素値を変更することにより、前記最下層の画像の明るさを調整する調整部と、
    前記明るさが調整された前記最下層の画像を用いて、前記画素が前記各方向に前記原画像と同じ個数になるように画像を復元する復元部と、を有し、
    前記調整部は、前記変更した画素値を調整可能に構成されることを特徴とする画像処理装置。
  5. 画素が2次元または3次元の方向に配列された原画像を高周波成分と低周波成分とに分解することを、前記画素が前記各方向に所定個になるまで繰り返すことにより、前記低周波成分における最下層の画像を生成する多重解像度分解部と、
    前記最下層の画像における各画素の画素値を変更することにより、前記最下層の画像の明るさを調整する調整部と、
    前記明るさが調整された前記最下層の画像を用いて、前記画素が前記各方向に前記原画像と同じ個数になるように画像を復元する復元部と、を有し、
    前記調整部は、前記変更した画素値を調整可能に構成され
    ユーザーおよび/または検査対象に対応づけられて係数が予め記憶部に記憶され、
    前記変更した画素値を調整するとき、前記ユーザーおよび/または検査対象に対応づけられた前記係数に基づいて行われるように構成されることを特徴とする画像処理装置。
  6. 画素が2次元または3次元の方向に配列された原画像を高周波成分と低周波成分とに分解することを、前記画素が前記各方向に所定個になるまで繰り返すことにより、前記低周波成分における最下層の画像を生成する多重解像度分解部と、
    前記最下層の画像における各画素の画素値を変更することにより、前記最下層の画像の明るさを調整する調整部と、
    前記明るさが調整された前記最下層の画像を用いて、前記画素が前記各方向に前記原画像と同じ個数になるように画像を復元する復元部と、を有し、
    前記復元部は、前記明るさが調整された前記最下層の画像に基づいて、前記各方向に前記原画像と同じ個数の画素値が配列された第1の画像を生成し、前記画像を復元するとき、前記第1の画像を用い、
    前記復元部は、さらに、前記分解された前記高周波成分の画像に基づいて、前記各方向に前記原画像と同じ個数の画素値が配列された第2の画像を生成し、前記画像を復元するとき、前記第1の画像に加えて、前記第2の画像を用いることを特徴とする画像処理装置。
  7. 請求項1からのいずれかに記載の画像処理装置を有し、
    検査対象に超音波を送信し、検査対象からの反射エコー信号を受信し、前記反射エコー信号に基づいて画像を取得し、前記取得した画像を前記原画像として前記画像処理装置に出力することを特徴とする超音波診断装置。
  8. 前記超音波診断装置によりフリーズ前に取得された画像、および/または、前記超音波診断装置により過去に取得された画像が、前記原画像として前記画像処理装置に出力されるように構成されることを特徴とする請求項7に記載の超音波診断装置。
  9. Mモード画像、Bモード画像から再構成されるMモード画像、パルスドプラ方式により取得された画像、および、連続波ドプラ方式により取得された画像の少なくとも一つを、前記原画像として前記画像処理装置に出力することを特徴とする請求項7または8に記載の超音波診断装置。
JP2013222145A 2013-10-25 2013-10-25 画像処理装置および超音波診断装置 Active JP6274495B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013222145A JP6274495B2 (ja) 2013-10-25 2013-10-25 画像処理装置および超音波診断装置
US14/522,874 US9754361B2 (en) 2013-10-25 2014-10-24 Image processing apparatus and ultrasonic diagnosis apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013222145A JP6274495B2 (ja) 2013-10-25 2013-10-25 画像処理装置および超音波診断装置

Publications (2)

Publication Number Publication Date
JP2015083056A JP2015083056A (ja) 2015-04-30
JP6274495B2 true JP6274495B2 (ja) 2018-02-07

Family

ID=52995531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013222145A Active JP6274495B2 (ja) 2013-10-25 2013-10-25 画像処理装置および超音波診断装置

Country Status (2)

Country Link
US (1) US9754361B2 (ja)
JP (1) JP6274495B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
WO2023197219A1 (en) * 2022-04-13 2023-10-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Cnn-based post-processing filter for video compression with multi-scale feature representation

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3675896B2 (ja) * 1995-07-27 2005-07-27 富士写真フイルム株式会社 画像処理方法および装置
JPH10302052A (ja) * 1997-04-23 1998-11-13 Ricoh Co Ltd 画像処理方式
JP3273924B2 (ja) * 1998-08-21 2002-04-15 アロカ株式会社 超音波診断装置
JP4359840B2 (ja) 2004-07-23 2009-11-11 株式会社エムアンドシー 画像処理装置及び画像処理方法
US20090216124A1 (en) * 2005-05-19 2009-08-27 Hitachi Medical Corporation Ultrasonic diagnostic apparatus and image processing method thereof
WO2006132014A1 (ja) * 2005-06-06 2006-12-14 Tokyo Institute Of Technology 画像変換装置および画像変換プログラム
JP3996631B2 (ja) * 2005-09-09 2007-10-24 松下電器産業株式会社 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
JP2007117351A (ja) * 2005-10-27 2007-05-17 Konica Minolta Medical & Graphic Inc 小規模診断支援システム
JP4967763B2 (ja) * 2007-04-02 2012-07-04 パナソニック株式会社 超音波診断装置
JP2009039475A (ja) * 2007-08-13 2009-02-26 Aloka Co Ltd 超音波診断装置
JP5002397B2 (ja) * 2007-09-28 2012-08-15 株式会社東芝 超音波診断装置及びプログラム
JP5525867B2 (ja) * 2009-03-04 2014-06-18 株式会社東芝 超音波診断装置、画像処理装置、超音波診断装置の制御方法、及び画像処理方法
JP5449852B2 (ja) * 2009-05-08 2014-03-19 株式会社東芝 超音波診断装置
JP2011055415A (ja) 2009-09-04 2011-03-17 Niigata Univ 画像処理装置および画像処理方法
US9307958B2 (en) * 2010-08-05 2016-04-12 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus and an ultrasonic image processing apparatus
CN102596048B (zh) * 2010-10-26 2014-12-10 株式会社东芝 超声波诊断装置、超声波图像处理装置、医用图像诊断装置及医用图像处理装置
CN102686164B (zh) * 2010-12-16 2015-03-11 株式会社东芝 超声波诊断装置及其控制方法
JP5984260B2 (ja) 2011-09-20 2016-09-06 東芝メディカルシステムズ株式会社 画像処理装置及び医用画像診断装置
JP2013123592A (ja) * 2011-12-16 2013-06-24 Ge Medical Systems Global Technology Co Llc 超音波診断装置
JP6081139B2 (ja) * 2011-12-26 2017-02-15 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像処理装置、及び医用画像処理方法
WO2014045573A1 (ja) * 2012-09-19 2014-03-27 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法および超音波診断装置の制御器

Also Published As

Publication number Publication date
JP2015083056A (ja) 2015-04-30
US9754361B2 (en) 2017-09-05
US20150117741A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
Zhang et al. Ultrasound image reconstruction from plane wave radio-frequency data by self-supervised deep neural network
JP5449852B2 (ja) 超音波診断装置
DE102016100367B4 (de) Spärliche Verfolgung in Schallstrahlintensitätsimpuls-Bildgebung
US9307958B2 (en) Ultrasonic diagnostic apparatus and an ultrasonic image processing apparatus
US9255914B2 (en) Ultrasonic diagnosis apparatus and program
Besson et al. Ultrafast ultrasound imaging as an inverse problem: Matrix-free sparse image reconstruction
JP5773781B2 (ja) 超音波診断装置、画像処理装置及びプログラム
JP2010227554A (ja) 超音波診断装置、画像処理装置、超音波診断装置の制御方法、及び画像処理方法
JP2009153918A (ja) 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
US20110144497A1 (en) Ultrasonic 3-dimensional image reconstruction method and ultrasonic wave system thereof
US20120108973A1 (en) Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus
US9795364B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP6207972B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
US11529124B2 (en) Artifact removing method and diagnostic apparatus using the same
US10667792B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic diagnostic apparatus control method
JP6274495B2 (ja) 画像処理装置および超音波診断装置
JP6932200B2 (ja) 超音波画像クラッターをフィルタ処理するための方法及びシステム
JP6300728B2 (ja) 医用画像診断装置
Zhang et al. Self-supervised learning of a deep neural network for ultrafast ultrasound imaging as an inverse problem
Wang et al. Plane-wave ultrasound imaging based on compressive sensing with low memory occupation
US20230305126A1 (en) Ultrasound beamforming method and device
CN110869799A (zh) 用于处理超声图像的方法和系统
JP5738063B2 (ja) 被検体情報取得装置および被検体情報取得方法
US10228462B2 (en) Ultrasonic imaging apparatus and control method thereof
JP7536557B2 (ja) 画像処理装置及び超音波診断装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171227

R150 Certificate of patent or registration of utility model

Ref document number: 6274495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150