JP4579507B2

JP4579507B2 - 画像処理装置

Info

Publication number: JP4579507B2
Application number: JP2003164909A
Authority: JP
Inventors: 弘之新畠
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-06-10
Filing date: 2003-06-10
Publication date: 2010-11-10
Anticipated expiration: 2023-06-10
Also published as: JP2005005845A

Description

【０００１】
【発明の属する技術分野】
本発明は、多重周波数処理を用いて画像処理装置に関し、特に部位情報等に基づきノイズ除去、鮮鋭化、ダイナミックレンジ圧縮等の画像処理を選択的に行う画像処理装置に関するものである。
【０００２】
【従来の技術】
例えば、Ｘ線胸部画像は、Ｘ線が透過し易い肺野の画像及びＸ線が非常に透過しにくい縦隔部の画像より構成されるため、画素値の存在するレンジが非常に広い。このため、肺野及び縦隔部の両方を同時に観察することが可能なＸ線胸部画像を得ることは困難であるとされてきた。
【０００３】
そこで、この問題を回避する方法として、本願出願人より特許文献１に記載された方法がある。ｆ（ｘ，ｙ）を原画像、階調変換後の画像をｆｈ（ｘ，ｙ）、ｆｃ（ｘ，ｙ）を圧縮処理後の画像、Ｓｕｓ（ｘ，ｙ）を原画像の低周波画像、Ｂを定数とする。すると、本処理は（１）式で示される。ここで、ｆ（ｘ，ｙ）−Ｓｕｓ（ｘ，ｙ）が高周波成分であり、この項の効果により圧縮された高周波成分の振幅を復元し、ダイナミックレンジの圧縮後においても微細構造（主として高周波成分で構成される）の見え方を原画像と同様に維持するものである。
【０００４】
【数１】

【０００５】
【数２】

ここで、Ｓｕｓ（ｘ，ｙ）は移動平均画像であり、原画像ｆ（ｘ，ｙ）から（２）式で示す計算式で算出される。
【０００６】
Ｆ（）は単調増加関数である。
【０００７】
又、階調変換曲線Ｆ（）は微分値が連続となるようになっている。本処理では高周波成分の振幅を維持したまま一定画素値範囲のダイナミックレンジを圧縮することが可能である。
【０００８】
又、微細構造を見易くするために所謂鮮鋭化処理がある。
【０００９】
ｆ（ｘ，ｙ）を原画像、処理後の画像をｆｐ（ｘ，ｙ）、Ｓｕｓ２（ｘ，ｙ）を原画像の低周波画像、Ｃを定数とする。そうすると本処理は（３）式で表せるものである。
【００１０】
ここで、Ｓｕｓ２（ｘ，ｙ）は（２）式で表される平滑化画像とマスクサイズが異なるものである。
【００１１】
【数３】

又、高周波成分を平滑化したり、多重周波数分解処理におけるサブバンド間の相関等によりノイズを減少させるノイズ除去処理の検討が行われつつある。
【００１２】
以上のようなダイナミックレンジを圧縮する処理、鮮鋭処理、ノイズ除去処理等の複数の処理を原画像に行うことが行われる場合がある。
【００１３】
【特許文献１】
特開２０００−１０１８４１号公報
【発明が解決しようとする課題】
しかしながら、鮮鋭化処理を行った後にダイナミックレンジを圧縮する処理を行う場合、上述の（１）式は（４）式のように変更される。ここで、ｆｐ（ｘ，ｙ）−Ｓｕｓ３（ｘ，ｙ）の項が高周波成分を意味する。しかし、鮮鋭化処理後の画像でＳｕｓ３（ｘ，ｙ）は（５），（６）式で示すようにＳｕｓ４（ｘ，ｙ）の項の影響を受けるものであり、従来の（１）式でのｆ（ｘ，ｙ）−Ｓｕｓ（ｘ，ｙ）の高周波成分と（４）式でのｆｐ（ｘ，ｙ）−Ｓｕｓ３（ｘ，ｙ）の高周波成分は異なるものである。
【００１４】
【数４】

【００１５】
【数５】

【００１６】
【数６】

従って、（１）式でダイナミックレンジを圧縮する場合と、（４）式でダイナミックレンジを圧縮する場合とでは復元される高周波の周波帯が異なり、微細構造の復元性が異なり、画質の劣化の原因になる場合がある。これはダイナミックレンジを圧縮する処理を行った後に、鮮鋭化処理を行う場合にも同様の問題が生じる。つまり、移動平均を用いた周波数処理を２度以上行う場合には、上述の鮮鋭化処理、ダイナミックレンジを圧縮する処理に限らず同様の問題が生じる。
【００１７】
又、ノイズを除去する処理は基本的には高周波成分を抑制する処理であり、鮮鋭化処理は高周波成分を増強する処理であり、両処理は相反する効果を有する。
従って、従来のようにノイズ除去処理と鮮鋭化処理を独立に行っていた場合には、高周波成分を抑制したい領域を強調したり、逆に高周波成分を抑制したい領域を強調する等の問題が生じる場合がある。この問題は直接に画質の劣化へと繋がるものである。
【００１８】
更に、複数の画像処理は、一律に全部位に同様に掛けるとノイズが問題とならない部位にノイズ除去を行ったり、ダイナミックレンジ圧縮処理を行う必要が無い部位に処理を行う等の不都合が生じる。又、不必要な処理を行うことは計算機の処理効率上も好ましくない。更に、立位撮影、臥位撮影、カセッテ撮影では同一部位でも観察目的が異なるため、異なる処理を行う必要がある。
【００１９】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、必要とする画像処理だけを撮影ルーティンの中で行うことができ、処理効率を高めるとともに、効率良く鮮鋭化処理とノイズ除去処理を行うことができる画像処理装置を提供することにある。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明は、部位、撮影条件、装置情報等を取得する情報取得手段と、情報取得手段で取得された情報に基づき複数の多重周波数処理を用いた画像処理方法から実際に処理を行う画像処理方法を決定する決定手段と、決定手段で決定された画像処理方法を実行する画像処理手段とを含んで画像処理装置を構成したことを特徴とする。
【００２１】
請求項２記載の発明は、部位、撮影条件、装置情報等を取得する情報取得手段と、情報取得手段で取得された情報に基づき複数の多重周波数処理を用いた画像処理方法から実際に処理を行う画像処理方法を決定する決定手段と、画像を複数の周波数成分に変換する周波数成分分解手段と、決定手段で決定された画像処理方法に基づきノイズ除去解析、鮮鋭化解析、ダイナミックレンジ圧縮解析の何れか１つ以上の解析を行う解析手段と、該解析手段で解析された結果に基づき該周波数成分分解手段で分解された周波数帯毎の係数を変換する高周波係数変換手段と該高周波係数変換手段で変換された係数を逆変換する復元手段とを含んで画像処理装置を構成したことを特徴とする。
【００２２】
請求項３記載の発明は、原画像を諧調変換曲線に基づき諧調変換する諧調変換手段と、該諧調変換手段で諧調変換された画像を複数の周波数成分に変換する周波数成分分解手段と、ノイズ除去解析、ダイナミックレンジ圧縮解析、鮮鋭化解析の少なくとも１つ以上の解析処理を行う解析手段と、該解析手段で解析された結果に基づき該周波数成分分解手段で分解された周波数帯毎の係数を変換する高周波係数変換手段と該高周波係数変換手段で変換された係数を逆変換する復元手段とを含んで画像処理装置を構成したことを特徴とする。
【００２３】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００２４】
図１は本発明の実施の形態１に係るＸ線撮影装置１００を示す。即ち、Ｘ線撮影装置１００は、撮影された画像の周波数帯毎の処理を行う機能を有するＸ線の撮影装置であり、前処理回路１０６、ＣＰＵ１０８、メインメモリ１０９、操作パネル１１０、画像表示器１１１、画像処理回路１１２を備えており、ＣＰＵバス１０７を介して互いにデータ授受されるよう構成されている。
【００２５】
又、Ｘ線撮影装置１００は、前処理回路１０６に接続されたデータ収集回路１０５と、データ収集回路１０５に接続された２次元Ｘ線センサ１０４及びＸ線発生回路１０１とを備えており、これらの各回路はＣＰＵバス１０７にも接続されている。
【００２６】
図２は本発明の実施の形態１に係るＸ線撮影装置１００の処理の流れを示すフローチャートである。図３はノイズ除去を説明する図であり、図４は鮮鋭化処理を説明する図であり、原画像の画素値に応じて高周波係数を変更するものである。横軸が原画像の画素値、縦軸が高周波係数を変更する度合いを示し、例えば１．０であると何も変更せず、０．５であると高周波係数を０．５倍する。
【００２７】
図５は最も低周波数の帯域の係数を変更するための曲線形を示す。図６（ａ）は周波数成分分解回路１１５の構成を示す図であり、図６（ｂ）は２次元の変換処理により得られる２レベルの変換係数群の構成例を示し、図６（ｃ）は復元回路１１８の構成を示す図である。
【００２８】
上述のようなＸ線撮影装置１００において、先ず、メインメモリ１０９は、ＣＰＵ１０８での処理に必要な各種のデータ等が記憶されるものであるとともに、ＣＰＵ１０８の作業用としてのワークメモリを含む。
【００２９】
ＣＰＵ１０８は、メインメモリ１０９を用いて、操作パネル１１０からの操作に従った装置全体の動作制御等を行う。これによりＸ線撮影装置１００は、以下のように動作する。
【００３０】
先ず、Ｘ線発生回路１０１は、被検査体１０３に対してＸ線ビーム１０２を放射する。
【００３１】
Ｘ線発生回路１０１から放射されたＸ線ビーム１０２は、被検査体１０３を減衰しながら透過して２次元Ｘ線センサ１０４に到達し、２次元Ｘ線センサ１０４によりＸ線画像として出力される。ここでは、２次元Ｘ線センサ１０４から出力されるＸ線画像を例えば人体画像等とする。
【００３２】
データ収集回路１０５は、２次元Ｘ線センサ１０４から出力されたＸ線画像を電気信号に変換して前処理回路１０６に供給する。前処理回路１０６は、データ収集回路１０５からの信号（Ｘ線画像信号）に対して、オフセット補正処理やゲイン補正処理等の前処理を行う。この前処理回路１０６で前処理が行われたＸ線画像信号は原画像として、ＣＰＵ１０８の制御により、ＣＰＵバス１０７を介してメインメモリ１０９、画像処理回路１１２に転送される。
【００３３】
１１２は画像処理回路の構成を示すブロック図であり、１１２において、１１３は画像のヘッダ、操作パネル１１０等から画像の部位情報、撮影機、撮影条件を取得する部位情報入力回路、１１４は部位情報決定回路１１３で取得した情報から画像処理方法を決定する画像処理方法決定回路、１１５は原画像の諧調変換を行う諧調変換回路であり、１１６はノイズ除去のための解析、鮮鋭化処理を行うための解析、ダイナミックレンジを変更（圧縮、伸張を意味）するための解析を行う解析回路である。ここでの解析とは、高周波係数を変更する量と領域を決定することを意味する。
【００３４】
１１７は原画像に対して離散ウェーブレット変換（以後、ＤＷＴ変換）を施し、各周波数帯の高周波係数（ウェーブレット変換係数）を得る周波数成分分解回路、１１８は解析回路１１６で解析した結果に基づき、周波数成分分解回路１１７で分解された周波数帯毎の高周波係数を変換する高周波係数変換回路である。１１９は高周波係数変換回路１１８で変換された高周波係数に基き逆離散ウェーブレット変換（以後、逆ＤＷＴ）を行う復元回路を備えている。多重周波数処理は、ＤＷＴに限らず、ラプラシアンピラミッドを用いても良く、又、サブバンド化しないフィルタを用いても良い。
【００３５】
図２の処理の流れに従って本実施の形態について以下に説明する。
【００３６】
前処理回路１０６で前処理された原画像は、ＣＰＵバス１０７を介して画像処理装置１１２に転送される。画像処理装置１１２では、はじめに部位情報入力回路１１３が画像のヘッダ、操作パネル１１０等から画像の部位情報、撮影機、撮影条件を取得する（Ｓ２０１）、そして、画像処理方法決定回路１１４は部位情報決定回路１１３で取得した情報から画像処理方法を決定する。この場合、メインメモリ１０９に部位情報、撮影機、撮影条件に応じた画像処理方法をテーブルとして保存しておく。このテーブルは操作パネル１０等で自在に変更できるものである。
【００３７】
そして、周波数成分分解回路１１７が原画像をｆ（ｘ，ｙ）に対して２次元の離散ウェーブレット変換処理を行い、周波数帯毎の高周波係数を計算して出力するものである。入力された画像信号は、遅延素子及びダウンサンプラの組み合わせにより、偶数アドレス及び奇数アドレスの信号に分離され、２つのフィルタｐ及びｕによりフィルタ処理が施される。図５（ａ）のｓ及びｄは、各々１次元の画像信号に対して１レベルの分解を行った際のローパス係数及びハイパス係数を表しており、次式により計算されるものとする。
【００３８】
【数７】

【００３９】
【数８】

但し、ｘ（ｎ）は変換対象となる画像信号である。
【００４０】
以上の処理により、画像信号に対する１次元の離散ウェーブレット変換処理が行われる。２次元の離散ウェーブレット変換は、１次元の変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。図５（ｂ）は２次元の変換処理により得られる２レベルの変換係数群の構成例であり、画像信号は異なる周波数帯域の高周波係数ＨＨ１，ＨＬ１，ＬＨ１，…，ＬＬに分解される（Ｓ２０３）。図５（ｂ）においてＨＨ１，ＨＬ１，ＬＨ１，…，ＬＬ等（以下、サブバンドと呼ぶ）が周波数帯毎の高周波係数を示す。
【００４１】
次に、解析回路１１６では画像処理方法決定回路１１４で決定された画像処理方法に従い、処理を行う画像処理のための解析を行う。例えば胸部正面という情報に関しては、ノイズ除去、鮮鋭化、ダイナミックレンジ圧縮のための解析を行う。例えばノイズ解析の一例として、得られたサブバンドのうち高周波係数を示すＨＬ，ＬＨ，ＨＬの３つのサブバンドに対して、それぞれのサブバンドごとに適当な閾値を設定する。閾値の設定方法は特に限定しないが、離散ウェーブレット変換の分解レベルに応じて経験的に求めた或る定数を設定しても良く、各サブバンドの平均値や分散値等の統計量に基づいて自動的に決めても良い。
【００４２】
次に、設定した各サブバンドの閾値により、ＨＬ，ＬＨ，ＨＨの高周波係数に対して閾値処理を行う。閾値処理の方法としては、例えば符号付２値化処理が考えられ、以下のように実現できる。
【００４３】
if (-TH_ＨＬ < HL(x,y) < TH_ＨＬ)
then２値化画像HL(x,y) = 1;
else２値化画像HL(x,y) = 0;
if (-TH_ＬＨ < LH(x,y) < TH_ＬＨ)
then２値化画像LH(x,y) = 1;
else２値化画像LH(x,y) = 0;
if (-TH_ＨＨ < HH(x,y) < TH_ＨＨ)
then２値化画像HH(x,y) = 1;
else２値化画像HH(x,y) = 0;
ここで、ＴＨＨＬ，ＴＨＬＨ，ＴＨＨＨは設定された各サブバンドの閾値であり、ＨＬ（ｘ，ｙ），ＬＨ（ｘ，ｙ），ＨＨ（ｘ，ｙ）は、各サブバンドの画素値、即ちウェーブレット係数を表す。
【００４４】
次に、各サブバンドの閾値処理結果に基づき、後段の高周波係数変換回路１１６の処理対象とする画素を決定する。処理対象画素の決定方法は幾つか考えられるが、本実施の形態では各サブバンドの２値化画像の論理積を採用する。即ち、以下のように実現される。
【００４５】
if (( ２値化画像HL(x,y) = 1) AND
(２値化画像LH(x,y) = 1) AND
(２値化画像HH(x,y) = 1))
then２値化画像HL(x,y) = ２値化画像LH(x,y) = ２値化画像HH(x,y) = 1;
else２値化画像HL(x,y) = ２値化画像LH(x,y) = ２値化画像HH(x,y) = 0;
この高周波係数で１となった係数の値は、１を指摘された係数の周辺係数の平均値に置き換える。そして、この置き換えた係数の位置と値をメインメモリ１０９に保存する（Ｓ２０４）。
【００４６】
次に、鮮鋭化処理のための係数の変換の度合いを解析回路１１６は算出する。例えば、図４に示すように原画像の画素値毎に高周波係数を変更する割合が決められており、解析回路１１４はＨＬ，ＬＨ，ＨＨの全ての高周波係数を変更する割合をメインメモリ１０９に保存する（Ｓ２０３）。本実施の形態では、説明簡単のためにＨＬ，ＬＨ，ＨＨ全てに図４の変換曲線を用いるがサブバンドごとに異なる曲線形を用いても良い。又、これらの曲線系も部位情報等に応じて変更するものである。
【００４７】
次に、解析回路１１６は、ダイナミックレンジを変更するために、最も低周波数の帯域に対応する係数を係数の値に応じて変更する割合をメインメモリ１０９に保存する（Ｓ２０６）。一般に低周波成分の係数の値は、原画像の画素値の値と高い相関があり、低周波成分の係数の値を変更することで、復元した画像のダイナミックレンジも変更できるものである。
【００４８】
次に、高周波係数変換回路１１６は、先ず、メインメモリ１０９に保存される、ノイズ除去解析により変更された係数を周波数成分分解回路１１７で算出した係数に置き換える。そして、又、係数ごとにメインメモリ１０９に保存される変更する割合に従い置き換えられた係数を変更する。更に、最低周波数帯域に対応する係数（ここではＬＬ）を変更する（Ｓ２０７）。
【００４９】
そして、復元回路１１９では高周波係数変換回路１１８で変更された高周波係数に基づき逆離散ウェーブレット変換処理を行う。入力された係数はｕ及びｐの２つのフィルタ処理を施され、アップサンプリングされた後に重ね合わされて画像信号ｘ’が出力される。これらの処理は次式により行われる。
【００５０】
【数９】

【００５１】
【数１０】

以上の処理により、変換係数に対する１次元の逆離散ウェーブレット変換処理が行われる。２次元の逆離散ウェーブレット変換は、１次元の逆変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。
【００５２】
以上のように、本実施の形態では部位情報等に応じて画像処理方法を決定できるため、必要とする画像処理だけを撮影ルーティンの中で行える効果がある。更に、必要な画像解析しか行わないため、処理効率が上がる効果もある。
【００５３】
更に、周波数帯域に分解してノイズ除去処理及び鮮鋭化処理を行うので、両者で矛盾する効果を生じることなく、効率良く鮮鋭化処理とノイズ除去処理を行うことができる効果がある。又、ダイナミックレンジを変更する処理と鮮鋭化処理を同時に行うので、両処理の影響が干渉せず、画質の劣化が生じない効果がある。
【００５４】
又、ノイズ除去、鮮鋭化処理、ダイナミックレンジを変更する処理を矛盾なく行えるため、それぞれの処理を干渉することなく行え、それぞれの処理の目的を達することができ、画像全体の処理として画質の向上が図れる効果がある。更に、重複した周波数処理を行わないため、計算時間の短縮を行える効果もある。
【００５５】
【発明の効果】
以上の説明で明らかなように、本発明によれば、必要とする画像処理だけを撮影ルーティンの中で行うことができ、処理効率を高めるとともに、効率良く鮮鋭化処理とノイズ除去処理を行うことができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の構成を示すブロック図である。
【図２】本発明に係る画像処理装置の処理手順を示すフローチャートである。
【図３】ノイズ除去処理解析を説明する図である。
【図４】画素値依存の鮮鋭化解析処理を説明する図である。
【図５】ダイナミックレンジを変更する解析を説明する図である。
【図６】離散ウェーブレット変換及びその逆変換の説明図である。
【符号の説明】
１０１Ｘ線発生回路
１０２Ｘ線ビーム
１０３被写体
１０４２次元Ｘ線センサ
１０５データ収集回路
１０６前処理回路
１０７ＣＰＵバス
１０８ＣＰＵ
１０９メインメモリ
１１０操作パネル
１１１表示器
１１２画像処理回路
１１３部位情報入力回路
１１４画像処理方法決定回路
１１５諧調変換回路
１１６解析回路
１１７周波数成分分解回路
１１８高周波係数変換回路
１１９復元回路

Claims

部位、撮影条件、撮影機の情報の少なくとも一つの情報に対応させてノイズ除去処理、鮮鋭化処理、ダイナミックレンジ変更処理の何れの処理を行うかをテーブルとして記憶するメモリと、
部位、撮影条件、撮影機の情報の少なくとも一つの情報に対応するノイズ除去処理、鮮鋭化処理、ダイナミックレンジ変更処理の何れかを前記記憶されるテーブルに基づいて決定する決定手段と、
原画像を複数の高周波数帯域の周波数成分に変換する周波数成分分解手段と、
前記決定された処理方法に基づき、前記複数の周波数帯域の中の少なくとも一つの周波数帯域の周波数成分におけるノイズに対応する位置と該位置に対応する周波数成分の大きさを示す値を変更するための情報を得るノイズ除去解析処理、前記複数の周波数帯域毎の周波数成分における前記原画像の画素に対応する位置と該位置に対応する周波数成分の大きさを示す値を変更するための情報を得る鮮鋭化解析処理、前記複数の周波数帯域の周波数成分における前記原画像の画素に対応する位置と該位置に対応する周波数成分の大きさを示す値を変更するための情報を変更されるダイナミックレンジに応じて得るダイナミックレンジ変更解析処理の何れか１つ以上の解析処理を行う解析手段と、
前記解析手段で得られた前記複数の周波数帯域の周波数成分における前記原画像の画素に対応する位置と該位置に対応する周波数成分の大きさを示す値を変更するための情報に基づき前記複数の周波数帯域の周波数成分の大きさを変換処理する手段と、
前記変換処理で変換された各周波数成分に基づいて画像を合成する手段と、を備え
ることを特徴とする画像処理装置。
部位、撮影条件、撮影機の情報の少なくとも一つの情報に対応させてノイズ除去処理、鮮鋭化処理、ダイナミックレンジ変更処理の何れの処理を行うかをテーブルとして記憶するメモリの情報に基づき
部位、撮影条件、撮影機の情報の少なくとも一つの情報に対応するノイズ除去処理、鮮鋭化処理、ダイナミックレンジ変更処理の何れかを前記記憶されるテーブルに基づいて決定する決定工程と、
原画像を複数の高周波数帯域の周波数成分に変換する周波数成分分解工程と、
前記決定された処理方法に基づき、前記複数の周波数帯域の中の少なくとも一つの周波数帯域の周波数成分における前記原画像のノイズに対応する位置と該位置に対応する周波数成分の大きさを示す値を変更するための情報を得るノイズ除去解析処理、前記複数の周波数帯域毎の周波数成分における前記原画像の画素に対応する位置と該位置に対応する周波数成分の大きさを示す値を変更するための情報を得る鮮鋭化解析処理、前記複数の周波数帯域の周波数成分における前記原画像の画素に対応する位置と該位置に対応する周波数成分の大きさを示す値を変更するための情報を変更されるダイナミックレンジに応じて得るダイナミックレンジ変更解析処理の何れか１つ以上の解析処理を行う解析工程と、
前記解析手段で得られた前記複数の周波数帯域の周波数成分における前記原画像の画素に対応する位置と該位置に対応する周波数成分の大きさを示す値を変更するための情報に基づき前記複数の周波数帯域の周波数成分の大きさを変換処理する工程と、
前記変換処理で変換された各周波数成分に基づいて画像を合成する工程と、を備えることを特徴とする画像処理方法。
周波数成分分解手段は、離散ウエーブレット変換、ラプラシアンピラミッド、サブバンド化しないフィルタをもちいて画像を少なくとも３以上の周波数帯域の周波数成分に変換することを特徴とする請求項１に記載の画像処理装置。