JP3793036B2 - 画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体 - Google Patents
画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP3793036B2 JP3793036B2 JP2001117548A JP2001117548A JP3793036B2 JP 3793036 B2 JP3793036 B2 JP 3793036B2 JP 2001117548 A JP2001117548 A JP 2001117548A JP 2001117548 A JP2001117548 A JP 2001117548A JP 3793036 B2 JP3793036 B2 JP 3793036B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- frequency
- absolute value
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置及び方法に関し、特に、画像に対し鮮鋭化等の周波数強調又は抑制処理を施す画像処理装置及び方法に関する。
【0002】
【従来の技術】
近年のデジタル技術の進歩により、X線画像等の放射線画像をデジタル信号に変換し、かかるデジタル画像に画像処理を施して表示装置(例えば、CRT、液晶ディスプレイ等)に表示、又は記録装置(プリンタ等)によりフィルム等の記録媒体に記録することが行われている。かかる画像処理は、撮像装置から得られた画像を、撮像装置の特性等に依存して補正する前処理と、前処理を経た画像(原画像)を診断に適した画質の画像に変換する画質保証(QA)処理とに分類され、このうちQA処理は原画像の高周波成分を強調する鮮鋭化処理等の周波数処理を含む。
【0003】
鮮鋭化処理は原画像の高周波成分を調節したうえで原画像又は平滑化画像に加算することで高周波成分を強調し、原画像の鮮鋭度を上げることができる。ここで、平滑化画像とは原画像の低周波成分を抽出することで得られる画像のことであり、低周波画像又はボケ画像とも呼ばれる(本願では交換可能に使用する)。鮮鋭化処理では強調する周波数成分(例えば周波数帯域)を平滑化画像を作成するための画像範囲(例えば平滑化フィルタのマスクサイズ)に基づき調整している。
【0004】
また、近年では、これと同様の効果を奏するものとして、原画像を表す画像信号を複数の周波数帯の画像成分に分離し、周波数帯毎の画像成分を増加又は減弱する多重周波数処理も用いられ始めている。一般に、原画像中には鮮鋭度を増したい対象(例えば肺内の血管)と、鮮鋭度を落としたい対象(例えばノイズ)が存在する。多重周波数処理では目的とする対象の鮮鋭度をあげるように処理されるのが普通である。例えば、鮮鋭度を上げたい対象部を構成する主要な周波数帯が中周波数の帯域にある場合には、中周波数帯域の画像成分を強調することで目的とする対象部の鮮鋭度を一律に増加することが行われている。
【0005】
【発明が解決しようとする課題】
しかしながら、鮮鋭化処理では平滑化画像を原画像から減じることにより高周波成分を作成するため、強調したい(目的とする)周波数帯の成分のみを選択することが困難である。一般的に、高周波成分には広範囲(目的とする周波数帯より広い周波数帯)の周波数成分が含まれている。このため、鮮鋭化処理ではこの広範囲の周波数成分を含む高周波成分を一律に強調するため、目的外の周波数成分も強調してしまうことがある。また、画像のエッジ部分位置に対応する画像成分は、低周波数から高周波数までの広範囲にわたり振幅の大きな周波数成分から構成される。このため、広範囲の高周波成分を一律に強調する鮮鋭化処理では、エッジ部分にオーバーシュート等のアーティファクトを生じる問題がある。
【0006】
一方、目的とする対象物が特定の周波数成分(例えば、中周波数成分)をその構成要素の主とする場合、上述したように多重周波数処理は特定の周波数の画像成分のみを強調することができる。しかし、特定の周波数を示す画像成分のなかには非対象物(目的と異なる対象物)の画像成分も存在する。従って、一律に特定周波数の画像成分を強調すると非対象物までも強調されてしまう。また、多重周波数処理で特定周波数の周波数成分を一律に強調する場合であっても、上述の鮮鋭化処理と同様、エッジ部分にアーティファクトが生じる問題がある。
【0007】
このため、上述のような処理を施した画像(処理後画像)では、非対象物が過度に強調され、又はエッジ部分のプロファイルがオーバーシュートにより崩れ、不自然な画像を得ることになってしまう。かかる処理後画像に、特に診断に供される放射線画像等の医療画像に、このようなアーティファクトが生じることは好ましくない。
【0008】
そこで、対象画像のうち目的とする周波数帯又は対象物の画像成分を効果的又は選択的に変換する画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体を提供することを本発明の例示的目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明の一側面としての画像処理装置は、対象画像から当該対象画像の低周波成分と少なくとも1つの高周波成分とを作成する作成部と、前記少なくとも1つの高周波成分のうち所定の高周波成分における所定の絶対値範囲の絶対値を有する要素を強調又は抑制する成分変換部と、前記所定の絶対値範囲を決める少なくとも1つの閾値を設定する設定部と、前記成分変換部により変換された後の前記少なくとも1つの高周波成分と、前記対象画像又は前記低周波成分とを用いて画像を生成する画像生成部とを有することを特徴とする。かかる画像処理装置は、前記所定の絶対値範囲を決める前記閾値を設定可能である。よって、かかる前記閾値を変更することで所望の高周波成分のみを効果的に強調することができ、画像の鮮鋭化に寄与する。その結果、本発明の画像処理装置はより自然な感じの処理後画像を得ることができる。また、かかる画像処理装置は前記成分変換部が前記所定の高周波成分を変換する際に用いる変換関数を表示する表示部を有しても良い。かかる表示部は変換関数を表示することで、オペレータが視覚的に確認しながら処理後画像との関係を把握することができる。また、かかる画像処理装置は前記成分変換部が前記所定の高周波成分を変換する際に用いる変換関数を変更するための入力部を有してもよい。かかる入力部は前記変換関数を変更することができるので、適切な処理後画像が得られるように前記変換関数を変更することができる。
【0010】
かかる画像処理装置は、強調する対象の画像成分が強調する対象でない画像成分に比べて相対的に高い周波数側に分布する場合、前記成分変換部は前記所定の高周波成分の所定絶対値以上の絶対値を有する要素を相対的に減ずるように前記所定の高周波成分を変換することを特徴とする。また、かかる画像処理装置は、前記成分変換部は前記所定の高周波成分の所定絶対値以上の絶対値を有する要素を相対的に減ずるように前記所定の高周波成分を変換することを特徴とする。かかる画像処理装置は、所定の閾値を境に高周波成分を減じする変換を行うことで、強調する対象でない画像成分が強調されることを抑制し、画像の鮮鋭化に寄与する。前記少なくとも1つの閾値は予め決められた固定値であってもよい。また、前記成分変換部は前記少なくとも1つの閾値を少なくとも前記対象画像に基づいて決定してもよい。
【0011】
更に、前記画像生成部は前記成分変換部により変換された後の前記少なくとも1つの高周波成分と前記対象画像とを用いて画像を生成すると共に、前記成分変換部は前記所定の高周波成分の前記絶対値範囲外の絶対値を有する要素が実質的に0となるように前記所定の高周波成分を変換することを特徴とする。また、前記画像生成部は前記成分変換部により変換された後の前記少なくとも1つの高周波成分と前記低周波成分とを用いて画像を生成すると共に、前記成分変換部は前記所定の高周波成分の前記絶対値範囲外の絶対値を有する要素が実質的に不変となるように前記所定の高周波成分を変換してもよい。
【0012】
更に、前記画像処理装置は前記成分変換部が前記所定の高周波成分を変換する際に用いる変換関数はその傾きが連続であることを特徴とする。前記成分変換部は前記関数の微分値が一定となるように作成することで、処理後画像の偽輪郭を抑制することができる。また、上述の画像処理装置は前記設定部は前記閾値を、前記所定の高周波成分がより低い周波数の画像成分を含むほど大きくすることを特徴とする。かかる画像処理装置は、最適な閾値を決定することができ、周波数の漏れを防ぐ効果がある。
【0013】
また、本発明の画像処理装置の前記成分変換部は、前記作成部により作成される複数の高周波成分の各々の所定の絶対値範囲の絶対値を有する要素を強調又は抑制することを特徴とする。例えば、強調する対象の画像成分が強調する対象でない画像成分に比して相対的に高い周波数側に分布する場合、前記成分変換部は前記複数の高周波成分の各々の所定絶対値以上の絶対値を有する要素を相対的に減ずるように前記複数の高周波成分を変換する。また、前記成分変換部は前記複数の高周波成分の各々の所定絶対値以上の絶対値を有する要素を相対的に減ずるように前記複数の高周波成分を変換する。前記複数の高周波成分の各々の前記所定の絶対値範囲を決める少なくとも1つの閾値は予め決められた固定値であってもよい。また、前記成分変換部は前記複数の高周波成分の各々の前記所定の絶対値範囲を決める少なくとも1つの閾値を少なくとも前記対象画像に基づいて決定してもよい。また、前記成分変換部は前記複数の高周波成分の各々の前記所定の絶対値範囲を決める少なくとも1つの閾値を当該高周波成分の画像成分の平均値より算出してもよい。これにより、有効に他の周波数帯の成分を除去でき、周波数の漏れを防ぐ効果がある。
【0014】
本発明の別の一側面としての画像処理方法は、対象画像から当該対象画像の低周波成分と少なくとも1つの高周波成分とを作成するステップと、前記少なくとも1つの高周波成分のうち所定の高周波成分における所定の絶対値範囲の絶対値を有する要素を強調又は抑制するステップと、前記所定の絶対値範囲を決める少なくとも1つの閾値を設定するステップと、前記強調又は抑制ステップにより変換された後の前記少なくとも1つの高周波成分と、前記対象画像又は前記低周波成分とを用いて画像を生成するステップとを有することを特徴とする。かかる画像処理方法は、上述の画像処理装置の機能であって、同様の作用を奏する。また、かかる処理方法の処理ステップをコンピュータに実行させるためのプログラム又は上述の画像処理装置の機能をコンピュータに実現させるためのプログラム、及び当該プログラムを格納する記録媒体も本発明の一側面として機能する。
【0015】
【発明の実施の形態】
以下、添付図面を参照し、本発明の一側面としての画像処理装置100を説明する。なお、各図において同一の参照符号は同一部材を示し、重複説明は省略する。また、アルファベットを付した参照符号はアルファベットのない参照符号の変形例を表し、特に断らない限りアルファベットのない参照符号はアルファベットを付した参照符号を総括するものとする。本発明の画像処理装置100は、例えば、X線撮影を行うときに用いられるX線撮影装置、又は当該X線撮影装置の一部(例えば、X線撮影装置の画像処理部)として実現される。
【0016】
図1を参照するに、画像処理装置100は、CPU110と、メモリ120と、操作パネル130と、表示部140と、前処理部150と、データ収集部160と、画像処理部170とを有する。画像処理装置100はCPUバス105を有し、各要素がCPUバス105を介し互いにデータ授受可能に構成されている。ここで、図1は、本発明の画像処理装置100を示すブロック図である。なお、本実施例に示すように、画像処理装置100はデータ収集部160に接続された撮像部190を有し、当該撮像部190によって撮影されたX線画像の画像処理を一装置において可能な構成としている。しかし、本実施例の画像処理装置100は他の撮像機構に任意に接続可能に構成されても良く、また、単に後述する画像処理(鮮鋭化等の周波数処理)を達成可能な構成のみであってもよい。
【0017】
かかる構成において、画像処理装置100は撮像部190から得られる画像(生画像)を前処理部150によって前処理(例えば、オフセット補正、ゲイン補正、Log補正)を施すことで原画像を作成する。原画像とは生画像に対して前処理が施され、例えば撮像部190の特性に依存した補正が行われ体裁の整えられた画像を意味する。しかしながら、原画像は医師が診断を行うには不十分であるため、更に画像処理部170によって鮮鋭化処理等を施すことにより最も診断に適した、又は所望の画像を得ることができる。なお、この最適な画像又は所望の画像をQA画像(画質保証画像)と表現する場合もある。
【0018】
CPU110はMPUなど名称の如何を問わずいかなるプロセッサであってもよく、CPUバス105に接続されている。CPU110はCPUバス105を介し各部の動作を制御する。また、CPU110はメモリ120に格納されたプログラムを用いて、オペレータの操作パネル110への操作に従った画像処理装置100全体の動作制御等を行う。
【0019】
メモリ120は、例えば、画像処理装置100の動作プログラムや処理に必要な各種のデータなどを格納するROMなどの不揮発性メモリと、画像及び必要な制御プログラムを一時的に格納するRAMなどの揮発性メモリとを含む。
【0020】
操作パネル130は、例えば、キーボード、スイッチ、マウス、タッチパネル等より構成され、オペレータの画像処理装置100の操作を可能とする。また、表示部140は、例えば、CRT、液晶ディスプレイを含む表示装置及び/又は印刷装置を含み、QA画像を出力可能に構成されている。
【0021】
前処理部150は生画像に対する前処理を実行可能に構成された回路を有し、CPUバス105及びデータ収集部160に接続されている。なお、本実施例における前処理は、撮像部190の後述する2次元X線センサ194の各画素(図示しない)の特性(暗電流、検出感度等)の差によって生じる画像の誤差を補正する処理を含む。より特定的には、前処理とはオフセット補正、ゲイン補正、対数変換(Log変換)等を指し、かかる技術には当業界で周知のいかなる技術をも適用可能である。前処理部150はデータ収集部160より授受された生画像(又は、メモリ120を介しデータ収集部160より授受された生画像)をメモリ120に格納されたデータを基に、CPU110の制御に基づき補正を行う。なお、前処理部150は画像処理を実行する部分の一つであり、後述する画像処理部170の一部として構成されてもよい。前処理部150はかかる処理を施した画像(原画像)を画像処理部170及び/又はメモリ120に出力する。
【0022】
データ収集部160は撮像部190、前処理部150及びCPUバス105に接続され、撮像部190より出力された生画像を所定の電気信号に変換し前処理部150及び/又はメモリ120に供給する。データ収集部160は、例えば、14ビットA/D変換機を有し、撮像部190の出力に比例したデジタル信号を前処理部150及び/又はメモリ120に供給する。これにより前処理部150は上述した前処理、例えば、デジタル信号を対数変換し、X線の線量の対数に比例したデジタル信号に変換することができる。
【0023】
画像処理部170は、低周波成分作成部172と、高周波成分作成部174と、変換曲線作成部176と、成分変換部178と、高周波成分加算部180とを有し、CPUバス105を介し各々データを授受可能に構成されている。低周波成分作成部172は原画像から平滑化画像を作成する。高周波成分作成部174は原画像から平滑化画像を減じることで高周波成分(高周波画像)を作成する。変換曲線作成部176は高周波成分作成部で得られた高周波成分を成分変換部178で変換する際の所定の閾値を決定すると共に、変換曲線(変換関数)を作成する。なお、かかる変換曲線については、後述する動作において詳細に説明するものとし、ここでの説明を省略する。成分変換部178は高周波成分作成部174で作成された高周波成分を、変換曲線作成部176で作成された変換曲線に基づき変換する。高周波成分加算部180は、成分変換部174によって変換された高周波成分を原画像又は平滑化画像に加算する。
【0024】
本実施例の画像処理部170は成分変換部178において高周波成分を所定の関数で変換することを特徴としている。画像処理部170は所定の絶対値(閾値)以上(又は以下)の絶対値を有する高周波成分、即ち目的とする範囲外の絶対値を有する高周波成分の絶対値を減じて原画像(又は平滑化画像)に加算することができる。これにより、処理後画像のノイズを含む非対象物の高周波成分を相対的に抑制し、対象物の高周波成分を相対的に強調することができる。また、画像処理部170はオーバーシュートを抑制する効果がある。
【0025】
また、画像処理部170は後述する実施例で述べるように、表示回路182及び入力回路184を有してもよい。本実施例において、表示回路182は処理後画像(即ち、QA画像)、QA画像のプロファイル、所定の関数形を含む画像処理に関する情報を表示部140に表示可能とする。また、入力回路184は後述する閾値及び所定の関数を変更するパラメータ、並びに画像のプロファイル表示の対象となる水平ライン位置を指定するパラメータ等を含む情報を操作パネル130を介し入力することで、画像処理部170の変換曲線作成部176、成分変換部178に反映する。また、かかる情報は、表示回路182を介し表示部140に表示可能に構成される。なお、表示回路182及び入力回路184には当業界で周知のいかなる技術をも適用可能であって、ここでの詳細な説明は省略する。また、かかる表示回路182及び入力回路184の機能は後述する実施例にてより詳細に理解されるであろう。
【0026】
なお、図17に示すように、画像処理部170は画像処理部170aに置換されてもよい。ここで、図17は、本発明の別の画像処理装置100aを示すブロック図である。画像処理部170aは離散ウェーブレット変換部(DWT変換部)171と、変換曲線作成部173と、成分変換部175と、逆DWT変換部177と、特徴抽出部179と、階調変換部181とを有し、CPUバス105を介し各々データを授受可能に構成されている。
【0027】
DWT変換部171は原画像に対して離散ウェーブレット変換(DWT変換と称する場合もある)を行い、原画像を複数の周波数帯に分解したウェーブレット変換係数(以下、画像成分)を得る。DWT変換部171は図18に示すような回路より構成可能であるが、これに限定されず当業界周知のいかなる技術の適用も制限するものではない。ここで、図18は図17に示すDWT変換部171を構成可能な回路を例示的に示した図である。変換曲線作成部173はDWT変換部171で得られた各周波数帯の画像成分を成分変換部175で変換する際の所定の閾値を設定すると共に、変換曲線(変換関数)を作成する。なお、かかる変換曲線については、後述する動作において詳細に説明するものとし、ここでの説明を省略する。成分変換部175はDWT変換部171で得られた各周波数帯の画像成分を、変換曲線作成部173で作成された変換曲線に基づき変換する。逆DWT変換部177は成分変換部175で変換された後の周波数係数に基づき逆離散ウェーブレット変換(逆DWT変換)を行う。逆DWT変換部177は、例えば、図19に示すような回路で構成可能であるが、当業界周知のいかなる技術の適用も制限するものではない。ここで、図19は逆離散ウェーブレット変換処理を施す例示的な回路構成を示した図である。かかる構成において、逆変換部177は変換された後の周波数係数を逆変換することで画像を合成する。特徴抽出部179は原画像から階調変換のための特徴量を算出する回路を備える。また、階調変換回路181は特徴抽出部179で算出した特徴量に基づき、逆DWT変換部177で合成した画像を階調変換する回路を備える。
【0028】
画像処理部170aは所定の絶対値(閾値)以上(又は以下)の画像成分、即ち目的とする範囲外の絶対値を有する画像成分の絶対値を減じることができる。これにより、処理後画像はノイズを含む非対象物の画像成分を相対的に抑制し、対象物の画像成分を相対的に強調することができる。
【0029】
また、画像処理部170aは後述する実施例で述べるように、表示回路182及び入力回路184を有してもよい。表示回路182及び入力回路184は、上述した画像処理部170と同様の構成であって、ここでの詳細な説明は省略する。なお、画像処理部170aにおいて、表示回路182は変換曲線作成部173で作成した変換曲線を表示部140に表示可能に構成される。また、入力回路184は操作パネル130を介し変換曲線のパラメータを入力することで、かかる曲線形を変更可能に構成される。
【0030】
なお、画像処理部170と画像処理部170aは画像の処理方法において異なるが、各処理方法は後述する動作の説明において容易に理解されるであろう。
【0031】
撮像部190は、X線発生部192と2次元X線センサ194とを有し、データ収集部160に接続される。図1に良く示されるように、撮像部190は被検査体Pを介在させてX線発生部192と2次元X線センサ194とが対向する位置に配置されて構成される。かかる構成において、撮像部190は被検査体Pにおいて吸収及び散乱等の相互作用を経たX線を受け、X線画像(生画像)をデータ収集部160に供給する。X線発生部192はオペレータによって操作可能であって(オペレータが操作パネル130を操作することにより、メモリ120に格納された動作プログラムに従ってCPU110が制御することの意味も含む)、例えばX線管球を含む回路より構成される。一方、2次元センサ194は例えば、X線の入射側から順に蛍光体とアモルファス・シリコン光センサとから構成される積層構造を有し、データ収集部160に接続されている。なお、撮像部190が上述の構成に限定されず、当業界周知の技術を適用可能であることは言うまでもない。また、撮像部190は画像処理装置100から独立した構成要素であってもよく、本発明の画像処理装置100が必ずしも撮像部190を必要とすることを意味するものではない。例えば、撮像部190が独立の装置として画像処理装置100に接続されても良い。
【0032】
以下、上述の画像処理装置100の動作を説明する。なお、以下の説明において、画像処理装置100は、例えば、医療用X線撮影装置として具体化されている。
【0033】
先ず、操作パネル130にてオペレータから撮影の指示がなされると、X線発生部192は被検査体Pに対してX線ビームを放射する。X線発生部192から放射されたX線ビームは、被検査体Pを減衰しながら透過して、2次元X線センサ194に到達する。かかるX線ビームは2次元X線センサ194によりX線画像として出力される。ここでは、2次元X線センサ194から出力されるX線画像を、例えば、人体部画像等とする。
【0034】
データ収集部160は、2次元X線センサ194から出力されたX線画像をデジタル信号に変換して前処理部150に供給する。前処理部150は、データ収集部160から出力されたデジタル信号に対して、オフセット補正処理やゲイン補正処理等の前処理を行う。この前処理部150で前処理が行われた信号は原画像として、CPU110の制御により、CPUバス105を介しメモリ120及び/又は画像処理部170に転送される。
【0035】
画像処理部170(又は、画像処理部170a)に転送された原画像は後述する実施例で説明される画像処理部170(又は、画像処理部170a)において所定の処理を経て、処理後画像として表示部140に出力される。オペレータ、例えば、撮影技師又は医師等は表示部140に出力される画像によって、撮影された画像の確認又は診断を行うことができる。
【0036】
【実施例】
実施例1
以下、図1及び図2を参照するに、画像処理部170の動作、即ち、本発明の画像処理装置100の画像処理方法について説明する。ここで、図2は、本発明の一側面としての画像処理方法を示すフローチャートである。
【0037】
上述したように、画像処理部170は前処理部150より出力された画像(原画像)を、CPUバス105を介し授受する。より特定的には、前処理部150より出力された原画像は低周波成分作成部172に転送される。まず、低周波成分作成部171は原画像から以下に示す数式1に従い平滑化画像を作成する(ステップ1000)。ここで、原画像をf(x、y)、平滑化画像をf1(x、y)、d1、d2をマスクサイズとする。
【0038】
【数1】
【0039】
なお、ステップ1000によって作成される平滑化画像f1(x、y)の作成方法は数式1に示す方法に限定されない。例えば、モルフォロジカルフィルタリング等どのような手法を用いてもよい。
【0040】
次に、低周波成分作成部172で得られた平滑化画像f1(x、y)は高周波成分作成部174に転送される。高周波成分作成部174は数式2に従い高周波成分(高周波画像)を作成する。即ち、高周波成分作成部174は低周波成分作成部172で得られた画像f1(x、y)と原画像f(x、y)との差分を計算し高周波画像を抽出する(ステップ1005)。ここで、f2(x、y)を高周波成分作成部174で得られる高周波成分とする。
【0041】
【数2】
【0042】
高周波成分作成部174で得られた高周波成分f2(x、y)は成分変換部178に転送される。
【0043】
変換曲線(変換関数)G()は、例えば、図3乃至図5及び図8乃至図11に示す曲線形で表され、変換曲線作成部176にて作成される(ステップ1010)。ここで、図3乃至図5及び図8乃至図11は、高周波成分f2(x、y)を変換する変換曲線G()の例を示した図であるが、実際にはいずれも奇関数であり、便宜上、各変換関数の第1象限のみを示している。なお、図3乃至図5は、所定の高周波成分中の所定の絶対値(閾値SL1)以下の絶対値を有する要素の絶対値を減じる変換曲線の例を示す図である。図8乃至図11は、所定の高周波成分中の(少なくとも)所定の絶対値(閾値SL2)以上の絶対値を有する要素の絶対値を減じる変換曲線の例を示す図である。
【0044】
図3乃至図5に示した変換曲線G()は、所定の高周波成分の所定の絶対値(閾値SL1)より小さな絶対値を有する要素の絶対値を相対的に減少させ(例えば“0”)、閾値SL1以上の絶対値を有する要素の絶対値を相対的に増加させる(例えば不変とする)ものである。
【0045】
例えば、図6に示す様に、鮮鋭度を上げたい対象物(例えば、血管等)の主な周波数成分が中周波数成分であり、鮮鋭度を落としたい非対象物(例えば、ノイズ等)の主な周波数成分が高周波数成分である場合、中周波数に対応する高周波成分を増幅することで血管などの鮮鋭度を選択的に上げることが可能となる。ここで、図6は、対象物と非対象物の周波数分布を示す図であり、横軸が周波数、縦軸が出現頻度を示す図である。なお、本出願において鮮鋭度をあげるとは目的とする対象物の周波数成分の振幅を相対的に増加することをいう。
【0046】
しかしながら、非対象物と対象物の周波数分布には重なり合う領域が存在する。従って、中周波数帯の高周波成分を一律に増加すると非対象物の強調も同時になされてしまう問題が生じる。ただし、図7の実線で示す様に中周波数帯の高周波成分の値としては、対象物の高周波成分は絶対値の大きい方に偏在し、非対象物の高周波成分は絶対値の小さい方に偏在する。ここで、図7は、中周波数帯の高周波成分における対象成分と非対象成分の出現頻度を示す図であり、横軸が高周波成分の絶対値、縦軸が成分の出現頻度である。このため、中周波数成分の成分(要素)を相対的に増加する場合に、ノイズ成分が多く含有される範囲(例えば、成分の絶対値が閾値SL1より小さい範囲)では当該成分の絶対値を相対的に減ずるように変換することで非対象部を高周波成分を相対的に抑制すると共に、対象物の成分を多く含む領域(例えば、成分の絶対値が閾値SL1以上の範囲)の高周波成分を相対的に増加させることで対象物の鮮鋭度を選択的に上げることができる。
【0047】
さらに、図7の点線に示す様に、より低周波帯の高周波成分では高周波成分中に含まれる非対象物の成分の絶対値が大きくなる傾向がある。従って、より低周波になるに従い閾値SL1を大きくすることにより非対象物の成分をより効果的に抑制することができる。本実施例1では高周波成分に主に含まれる周波数帯は平滑化フィルタのマスクサイズで決まるものであり、マスクサイズが大きくなるほど、より低周波の成分が高周波成分に含有されることとなる。
【0048】
以上より、閾値SL1としては図14の実線に示す様に、平滑化フィルタのマスクサイズが大きくなる(高周波成分がより低周波数の帯域を含む)に従い閾値SL1を大きくすることが、対象物を選択的に強調するには有効となる。ここで、図14は閾値とマスクサイズの関係を示す図であり、横軸がマスクサイズであり、縦軸が閾値を示す。
【0049】
また、例えば、高周波成分には、中周波数帯、高周波数帯の成分も含まれる。このように高周波成分中の特定周波数帯(所望の周波数帯)に対し、高周波成分中に含まれる他周波数帯の成分を他周波数帯成分の漏れと呼ぶ。この場合に、目的とする周波数帯(中周波帯)の高周波成分に含まれる他の周波数帯(高周波数帯、低周波数帯)の成分の絶対値は比較的に小さな値として現れる。そこで、高周波成分中の値の小さい成分(要素)(例えば、閾値SL1以下の絶対値を有する成分)を抑制することで、周波数成分の漏れの影響を抑制できる効果があり、目的とする周波数帯の成分を選択的に強調できる効果がある。また、特定周波数帯に含まれる他周波数帯の成分の絶対値は低周波帯に行くに従い大きくなる傾向がある。よって、より低周波帯になるに従い閾値SL1を大きくすることは、より効果的に他の周波数帯の漏れ成分の影響を除去する効果を有する。
【0050】
再び図4を参照するに、変換曲線は高周波成分の絶対値が所定閾値(SL1)以下で0に変換されるようにしたものである。つまり、原画像には閾値SL1以下の高周波成分は加算されない。これにより上述の効果を達成するものである。また、図4に示す変換曲線は図3のそれと同様の効果を奏するものであるが、閾値SL1以下の成分は0とすると共に、変換曲線の立ち上がりがSL1で出力“0”から始まるようになっているものである。更に、図5に示す変換曲線も図3のそれと同様な効果を有するが、閾値SL1以下の高周波成分も出力を“0”とせず、抑制しつつ加算することで、加算される周波数成分の入力値範囲に途切れがない。これにより処理後画像はより自然な画像となる。
【0051】
次に、図8乃至11に示す変換曲線G()は、高周波成分が所定の閾値(SL2)より大きな絶対値有する成分を相対的に減少するとともに、それ以外の高周波成分を相対的に増加するものである。
【0052】
例えば、図12に示す様に鮮鋭度を上げたい対象物(血管等)の主な周波数成分が中周波数成分であり、鮮鋭度を落としたい非対象物(臓器等)の主な周波数成分が低周波数成分である場合、中周波数に対応する高周波成分を増幅することで血管などの鮮鋭度を上げることが可能となる。ここで、図12は、対象物と非対象物の周波数分布を示す図であり、横軸が周波数、縦軸が出現頻度である。
【0053】
しかしながら、対象物と非対象物の周波数分布には重なり合う領域が存在し、中周波数帯の高周波成分を一律に増幅すると非対象物の高周波成分の強調が起きてしまう問題が生じる。但し、図13の実線に示す様に、中周波数帯の高周波成分の絶対値として対象物の高周波成分は絶対値の小さい方に偏在し、非対象物の高周波成分は絶対値の大きい方に偏在する。ここで、図13は、中周波数帯の高周波成分における対象成分と非対象成分の絶対値分布を示す図であり、横軸が高周波成分の絶対値、縦軸が出現頻度である。このため、中周波数成分を相対的に強調する場合に、非対象物の成分が多く含有される絶対値範囲(例えば、閾値SL2を超える範囲)を相対的に減少させることで非対象物の成分を相対的に抑制するとともに、対象物の成分を多く含む絶対値範囲(例えば、閾値SL2以下の範囲)の高周波成分を相対的に増加させることで対象物の鮮鋭度を選択的に相対的に上げることができる。
【0054】
更に、図13の破線で示す様に、より低周波帯の高周波成分では高周波成分中に含まれる対象物の成分の絶対値が大きくなる傾向があるため、より低周波になるに従い閾値SL2を大きくすることにより、対象物の成分をより効果的に選択強調することができる。本実施例1では高周波成分に主に含まれる周波数帯は平滑化フィルタのマスクサイズで決まるものであり、マスクサイズが大きくなるほどより低周波の成分が高周波成分の中に含有されることとなる。
【0055】
以上より、閾値SL2としては図14の破線で示す様に、平滑化フィルタのマスクサイズが大きくなる(高周波成分がより低周波数の帯域を含む)に従い閾値SL2を大きくすることが、対象物を選択的に強調するには有効となる。
【0056】
また、画像中のエッジ部分(例えば、人体では骨の縁、金属片(ペースメーカ等)の縁)の位置に対応する周波数成分は低周波から高周波まで広い範囲の周波数成分を含有する。また、その周波数成分の振幅が大きいため、対応する高周波成分も比較的大きな絶対値を有する。そこで、所定値以上の高周波成分を抑制することで画像中のエッジ部分にオーバーシュートなどのアーティファクトが生じるのを抑制することもできる。例えば、所定閾値SL2以上の高周波成分を0とする場合には、エッジ成分に対応する高周波成分が原画像に加算されずエッジ構造がそのまま保存される効果がある。
【0057】
図8に示す変換曲線は所定閾値SL2未満の高周波成分を相対的に強調し、所定閾値SL2以上の高周波成分は0としている。これにより対象物の高周波成分は強調され、非対象物の成分は強調されず、上述の効果が達成されるものである。また、エッジ部分に相当する高周波成分を変更しないのでオーバーシュートなどのアーティファクトが生じるのを抑制することもできる。また、図9に示す変換曲線は図3及び図8に示す関数G()と同一の効果を同時に達成することを目的とし、所定絶対値範囲の成分(閾値SL1とSL2の間の絶対値を有する成分)以外の成分を0とするものである。また、図10に示す変換曲線は一定閾値SL2以下の成分を相対的に強調し、それ以外の成分を相対的に抑制するようにしたものである。閾値SL2以上の絶対値を有する成分を0としないことで加算される周波数成分の絶対値範囲が連続に存在するので処理後の画像がより自然となる。なお、かかる関数形の変換曲線であっても、定性的には上述した効果と同様の効果を奏するものである。更に、図11に示す変換曲線は図8に示す変換曲線と同様の効果をねらったものである。しかし、図11に示す変換曲線は、関数G()を、その両端を除き微分連続(傾きが連続)としたことで、偽輪郭の発生等も抑制しより自然な処理後画像が得られるものである。
【0058】
また、図14の破線で示すように、目的周波数帯に含まれる他周波数帯の漏れ成分の絶対値は低周波帯に行くに従い大きくなる傾向があることから、平滑化フィルタのマスクサイズが大きくなる(高周波成分がより低い周波数の成分を含むようになる)に従い、閾値SL2を大きくすることで、より有効に他の周波数帯の漏れ成分の影響を除去することができる。
【0059】
再び図2を参照するに、成分変換部178は変換曲線作成部176で作成される変換曲線G()により高周波成分f2(x、y)を変換する(ステップ1015)。そして、変換された変換後の画像は高周波成分加算部180に転送される。高周波成分加算部180はメモリ120から原画像f(x、y)を呼び出すと共に、変換された画像を原画像f(x、y)に加算する(ステップ1020)。かかる一連の処理は数式3で表される。
【0060】
【数3】
【0061】
ここで、f3(x、y)を高周波成分加算部180で得られた画像とする。
【0062】
次いで、画像f3(x、y)は画像処理部170より出力されメモリ120に格納される。よって、オペレータはかかる画像(即ち、処理後画像)を表示部140により表示又は印刷することで処理後画像を確認できる。
【0063】
なお、変換曲線G()、経験的に定められ、予めメモリ120にデータとして格納されていても良い。または、高周波成分の絶対値の平均値等、原画像又はその周波数成分等の画像データを解析した結果に基づいて、変換曲線G()の形状(閾値や傾き等)を決めるようにプログラムされていてもよい。また、例えば、オペレータがメモリ120に格納された関数G()を決めるパラメータから所望のパラメータを選択することで、変換曲線G()が変換曲線作成部176によって作成されてもよい。
【0064】
以上の様に実施例1では所定の高周波成分をその絶対値に基づいて抑制又は増加するように変換曲線を作成している。よって、目的とする対象物を選択的に強調できる効果がある。また、周波数帯毎に変換曲線の閾値を変更することで他の周波数帯成分の漏れの影響を有効に抑制することができる。さらに、目的とする周波数帯の高周波成分を増加すると共に、他の周波数帯の高周波成分を抑制するように変換曲線を作成することで、目的とする周波数帯の画像成分をより選択的に強調することができる。また、所定絶対値(閾値)以上の絶対値を有する高周波成分を抑制することで、エッジ部分におけるオーバーシュート等のアーティファクトを抑制することもできる。また、平滑化フィルタのマスクサイズに応じて閾値を変更することで、効果的に他の周波数帯成分の漏れの影響を防ぐことができる。更に、鮮鋭化処理において強調したい所望の周波数帯域の画像成分を画像から分離する際の周波数分離性(画像から分離した画像成分に不所望の周波数帯域の画像成分が漏れ込むこと)に起因する問題を改善でき、目的とする対象物(所望の周波数帯域の画像成分)を的確に強調することができる。
【0065】
実施例2
以下、図1、図15及び図16を参照するに、画像処理部170の動作における実施例1に対する変形例である画像処理方法ついて説明する。ここで、図15は、本発明の一側面としての画像処理方法を示すフローチャートである。図16は、図1に示す画像処理装置100の表示部140で出力される表示内容を例示的に示す図である。図16において、SLは閾値を示し、G1()及びG2()は変換曲線を示す。領域141は閾値SLの値を変更するためのパラメータが入力(表示)される領域であり、領域142は変換曲線G()の曲線形(傾き)を変更するパラメータが入力(表示)される領域である。なお、図16では閾値SLは1つのみ表示されているが、閾値を2つ入力(表示)するようにしてもよい。領域143は処理後の画像を表示する領域であり周波数処理が行われた後の画像を表示する。領域144は領域143に表示された画像の所定水平方向ラインのプロファイルを示す領域である。マーク(矢印)145は領域143に表示された画像において、領域144に表示されるプロファイルに対応する水平ラインの位置を示す。領域146はプロファイルを表示するラインの位置を入力(表示)する領域である。これらの領域141、142及び146への入力は操作パネル130を操作し、入力回路184を経由することで可能となる。例えば、領域141、142及び146は、グラフィカル・ユーザ・インターフェイスを構成し、領域141、142及び146に示される左向き、右向き、上向き又は下向きの矢印を、操作パネル130を構成するマウス又はタッチパネル等により操作(クリック又はタッチ)することにより、各パラメータを入力又は変更可能に構成されている。その際、入力又は変更されたパラメータは表示される変換曲線G()の閾値及び曲線形(傾き)やマーク(矢印)145の位置に反映されるが、それとは別に領域141、142及び146内の矢印の近傍に数値、記号、図等により表示されるようにしてもよい。また、操作パネル130から入力された情報(変換曲線G()の閾値、曲線形(傾き)、又はプロファイルの位置)は入力回路184を介して変換曲線作成部176を含む画像処理装置170に反映される。また、表示部140への画像及びその他情報の表示は表示回路182を介してCPU108により行われる。
【0066】
画像処理部170に転送された原画像は、図2に示すステップと同様な工程を経て表示部140に出力される(ステップ1100乃至1120)。なお、ステップ1100乃至ステップ1115の工程は、図2のステップ1000乃至1015で説明した工程と同じであって、ここでの詳細な説明は省略する。また、変換曲線作成部178は予め定められているパラメータ(例えば、経験上妥当であると考えられるパラメータがメモリ120に格納されている)を用い変換曲線G()を決定し、成分変換部178にて高周波成分の変換処理を行うものとする。
【0067】
次に、オペレータは領域143に表示された画像をもとに、かかる画像の所望の水平ラインの位置を(操作パネル130を介し)領域146を利用して入力する。そして、CPU110の制御のもと、入力された位置に対応するプロファイルが領域144に表示される(ステップ1125)。次に、オペレータはマスクサイズを変更したい場合には新たなマスクサイズを(操作パネル130を介し)選択する(ステップ1130)。オペレータにより指定されたマスクサイズ、又はメモリ120に格納されている代表的なマスクサイズをもとに閾値SLが決定され、変換曲線作成部176で作成された変換曲線を変換曲線G1()として表示部140に表示する(ステップ1135乃至1140)。
【0068】
CPU110は変換曲線G1()を表示すると共に、成分変換部178を介し高周波成分を変換曲線G1()で変換する(ステップ1145)。変換された後の高周波成分(高周波画像)は高周波成分加算部180で原画像に加算される(ステップ1150)。次いで、処理後画像は領域143に表示される(ステップ1155)。そして、処理後画像の予め指示された位置のプロファイルが領域144にも表示される(ステップ1160)。
【0069】
以上の工程により、領域143に表示された処理後画像、表示された変換曲線G1()、領域144に表示されたプロファイルを観察することによって、オペレータは処理後画像の適正を判断することができる。なお、オペレータが変換曲線G()を変更したい場合(ステップ1165)は、領域141及び142を利用して操作パネル130を介し所望のパラメータを入力する(ステップ1170)。ここで、領域141に表示されたパラメータを変更すると、変換曲線作成部176によって閾値SLが変更される。また、領域142に表示されたパラメータを変更すると変換曲線作成部176によって変換曲線G()の曲線形状(傾き等)が変更され、例えば傾きを減じた場合には曲線G1()が曲線G2()となる。
【0070】
そして、パラメータを変更した場合にはステップ1135乃至1165までの処理を繰り返す。かかるステップを繰り返すことで、オペレータは所望の変換曲線を得ることができる。また、マスクサイズを変更したい場合には(ステップ1175)、ステップ1130からの処理を繰り返す。マスクサイズを変更する必要がなければ処理を終了する。
【0071】
実施例2では処理後画像、画像のプロファイル、変換曲線形を表示することで処理の結果と変換曲線との関係を視覚的又は直観的に把握することができる。さらに、パラメータを変更することができるため、適切な又は所望の処理結果を得るようにパラメータを変更することができる。また、実施例1で述べた効果を奏することは言うまでもない。
【0072】
実施例3
以下、図17、図20及び図21を参照するに、画像処理部170aの動作、即ち、本発明の画像処理装置100aの画像処理方法について説明する。ここで、図20は、本発明の一側面としての画像処理方法を示すフローチャートである。図21は、図20に示す周波数帯毎の画像成分を変換する処理(ステップ1205)を示すフローチャートである。
【0073】
上述したように、画像処理部170aは前処理部150より出力された画像(原画像)をCPUバス105を介し授受する。より特定的には、前処理部150より出力された原画像は特徴抽出部179に転送される。まず、画像処理部170aにおいて、特徴抽出部179が原画像から階調変換のための特徴量を算出する(ステップ1200)。このような方法として、例えば人体の特定領域の画素値平均を特徴量とするなどの方法があり、このような方法として特開平11−096380、特開平2000−099708等が本出願人により出願されている。
【0074】
次に、原画像の周波数帯毎の画像成分を変換する(ステップ1205)。そして、階調変換部181は特徴抽出部179で得られた特徴量に基づき、画像成分が変換された後の画像の階調変換を行う(ステップ1210)。そして階調変換された画像は表示装置140により表示又は印刷される。
【0075】
次にステップ1205の処理を図21に従い説明する。
【0076】
図20に示すステップ1205に移行すると、原画像はDWT変換部171に転送される。DWT変換部171は転送された原画像を表す画像信号に対して2次元の離散ウェーブレット変換処理を行い、複数の周波数帯毎の画像成分(変換係数)を出力する。メモリ120に記憶された画像データはDWT変換部171により順次読み出されて変換処理され、再びメモリ120に書きこまれる。本実施の形態におけるDWT変換部171において、入力された画像信号は遅延素子およびダウンサンプラの組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、2つのフィルタpおよびuによりフィルタ処理が施される。図18に示すs及びdは、各々1次元の画像信号に対して1レベルの分解を行った際のローパス係数およびハイパス係数を表しており、次に示す数式4及び数式5に従って計算される。
【0077】
【数4】
【0078】
【数5】
【0079】
ただし、x(n)は変換対象となる画像信号である。
【0080】
以上の処理により、画像信号に対する1次元の離散ウェーブレット変換処理が行われる。2次元の離散ウェーブレット変換は、1次元の変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。図22に示すように、画像信号は異なる周波数帯域の画像成分HH1、HL1、LH1、...、LLに分解される(ステップ1206)。ここで、図22は、2次元の離散ウェーブレット変換処理により得られる2レベルの変換係数群の構成例を示す図である。図22においてHH1、HL1、LH1、...、LL等(以下サブバンドと呼ぶ)が周波数帯毎の画像成分を示す。
【0081】
次に、変換曲線作成部173は、例えば、図23乃至図25に示す変換曲線を作成する(ステップ1207)。ここで、図23乃至図25は、変換曲線作成部173で作成された変換曲線の例を示す図であり、横軸が入力画像成分、縦軸が出力画像成分を示す。図23において、閾値SL3及び閾値SL4は各々異なる周波数帯域に対して設定した閾値を示している。閾値は、例えば、SL3<SL4の関係があり、より低い周波数帯域の画像成分を変換する場合にはより閾値が大きくなるように構成されている。
【0082】
このような変換曲線では、画像成分が小さな領域の成分を0とすると共に、それ以外の画像成分を増加するものである。例えば、図26に示す様に、鮮鋭度を上げたい対象物(血管等)の主な周波数成分が中周波数成分であり、鮮鋭度を落としたい非対象物(ノイズ等)の主な周波数成分が高周波成分である場合、中周波数に対応する画像成分を増幅することで血管などの鮮鋭度を選択的に上げることが可能となる。ここで、図26は、対象物と非対象物の各周波数分布を示した図であり、横軸が周波数、縦軸が対象物及び非対象物の各周波数成分の出現頻度を示す。
【0083】
しかし、非対象物と対象物の各周波数分布に重なりあう領域が存在し、中周波数帯の画像成分を一律に増ずると非対象物の強調も起きてしまう。但し、図27の実線に示す様に、中周波数帯の画像成分の絶対値として対象物の画像成分は絶対値の大きい方に偏在し、非対象物の画像成分は絶対値の小さい方に偏在する。ここで、図27は、中周波数帯の画像成分中の対象物と非対象物の各成分の出現頻度の関係を示す図であり、横軸が画像成分の絶対値、縦軸が出現頻度である。このため、対象物の成分を増加する場合に、ノイズ成分が多く含有される絶対値の範囲(例えば、閾値SL1未満の範囲)に対し対象物の成分を多く含む絶対値の範囲の画像成分を相対的に増加することで、非対象物の成分を強調することなく対象物の鮮鋭度を選択的に上げることができる。
【0084】
さらに、図27の破線に示す様に、より低い周波帯の画像成分では画像成分中に含まれる非対象物の成分の絶対値が大きくなる傾向があるため、より低周波になるに従い閾値SL1を大きくすることにより、非対象物の成分をより効果的に抑えることができる。このことより、閾値としては図28に示す様に、より低い周波数帯になるに従い閾値を大きくすることが、対象物を選択的に強調するには効果的である。ここで、図28は、周波数帯の周波数と閾値との関係を示し、横軸が周波数、縦軸が閾値の値を示している。なお、図28では線形的に閾値を変更しているが、非線形であってももちろんよい。
【0085】
また、例えば中周波数帯の画像成分には、低周波数帯、高周波数帯の成分も含まれる(即ち、他の周波数帯成分の漏れ)。この場合に、目的とする周波数帯(中周波帯)の画像成分に含まれる他の周波数帯(低周波数帯、高周波数帯)の成分の絶対値は比較的小さな値として現れる。そこで、絶対値の小さい範囲(例えば閾値SL3以下の範囲)の画像成分の絶対値を相対的に抑制することで、他周波数帯成分の漏れの影響を抑制でき、目的とする周波数帯の成分を強調することができる。また、目的周波数帯に含まれる他周波数帯の成分の絶対値はより低い周波帯に行くに従い大きくなる傾向がある。そこで、より低い周波帯に行くに従い、閾値Thを大きくすることで、より有効に他の周波数帯の成分の影響、すなわち他周波数帯成分の漏れの影響を除去又は抑制することができる。
【0086】
図24に示す変換曲線は図23に示すそれと同様の効果を狙ったものであり、閾値SL3、SL4以下の成分(出力係数)を0としている点は同様であるが、かかる変換曲線は変換曲線の立ち上がりが出力係数0から始まるようになっている点において異なる。
【0087】
図25に示す変換曲線は画像成分の周波数帯域に応じて変換曲線の傾きが異なるものであるが、図23と同様な効果を有する。かかる変換曲線は目的とする周波数帯の成分は増加するように変換する曲線形(傾きが相対的に大)とし、他の周波数帯の画像成分は減じる様に変換する曲線形(傾きが相対的に小)としている。このことにより、目的とする周波数帯の画像成分は相対的に強調され、目的外の周波数帯の画像成分は相対的に抑制される。従って、目的周波数帯の画像成分のみを増加する場合より有効に目的とする周波数帯の画像成分が強調される効果を有するものである。目的とする周波数帯の成分の振幅は増加し、目的外の周波数帯の振幅は減少するので相対的に目的とする周波数帯の成分が強調されるためである。
【0088】
なお、DWT変換部171で原画像を各周波数帯毎の画像成分に分解した(ステップ1206)後、変換曲線作成部173は各周波数帯における画像成分の絶対値の平均値を算出し、この平均値に基づき閾値を決定するステップを設けても良い。例えば、各周波数帯における画像成分の絶対値の平均値の10%を閾値と定めても良い。かかるステップを設けることで、周波数帯毎の画像成分に基づき閾値を決定することができ、入力画像の成分の大きさの変動の影響を受けず、安定した処理を行うことができる。
【0089】
一方、変換曲線作成部173は例えば図29乃至図31に示す変換曲線を作成する(ステップ1207)ことも考えられる。ここで、図29乃至図31は、変換曲線作成部173で作成された変換曲線の例を示す図であり、横軸が入力画像成分(入力係数)、縦軸が出力画像成分(出力係数)を示す。図29において、閾値SL3又は閾値SL4は周波数帯毎に異なる閾値に構成したものである。閾値には、例えば、SL3<SL4の関係があり、より低い周波数の画像成分を変換する場合に、より閾値が大きくなるように構成されている。
【0090】
このような変換曲線は、大きな絶対値を有する画像成分の絶対値を0とすると共に、それ以外の画像成分の絶対値を増加するものである。
【0091】
例えば、図32に示すように、鮮鋭度を上げたい対象物(血管等)の主な周波数成分が中周波数成分であり、鮮鋭度を落としたい非対象物(臓器等)の主な周波数成分が低周波成分である場合に、中周波数に対応する画像成分を増幅することで血管などの鮮鋭度を上げることが可能となる。ここで、図32は、対象物と非対象物の各画像成分の周波数分布を示した図であり、横軸が周波数、縦軸が対象物及び非対象物の各周波数成分の出現頻度を示す。
【0092】
しかし、図32に示すように、非対象物と対象物の周波数成分に重なりあう領域が存在し、中周波数帯の画像成分を一律に増ずると非対象物の強調も起きてしまう。但し、図33の実線に示すように、中周波数帯の画像成分の絶対値として対象物の画像成分は絶対値の小さい方に偏在し、非対象物の画像成分は絶対値の大きい方に偏在する。ここで、図33は、中周波帯の画像成分中の対象物と非対象物の出現頻度の関係を示す図であり、横軸が画像成分の値(絶対値)、縦軸が出現頻度である。このため、対象物の中周波数帯の成分を増加する場合に、非対象物の成分が多く含有される絶対値の範囲(例えば閾値SL3以上の範囲)の絶対値を有する画像成分の絶対値を相対的に減ずるように変換することで非対象物の画像成分の強調を抑制することができる。また、対象物の成分を多く含む絶対値範囲の絶対値を有する画像成分を相対的に増加させることで対象物の鮮鋭度を選択的に上げることができる。
【0093】
さらに、図33の破線で示すように、より低い周波数帯の画像成分では画像成分中に含まれ非対称物の成分の絶対値が大きくなる傾向がある。従って、より低周波になるに従い閾値SL3を大きくすることにより、非対象物の成分を相対的に抑制し、対象物の成分を相対的に強調することができる。このことより、閾値としては図34に示す様に、より低い周波数帯になるに従い閾値を大きくすることが、対象物を選択的に強調するには効果的である。ここで、図34は、周波数帯の周波数と閾値との関係を示し、横軸が周波数、縦軸が閾値の値を示している。なお、図34では線形的に閾値を変更しているが、非線形であってもよい。
【0094】
また、画像中のエッジ部分(例えば人体では骨の縁、金属片(ペースメーカー等)の縁)を構成する周波数成分は低周波から高周波まで広い範囲の周波数成分を含む。また、その周波数成分の振幅が大きいため、対応する画像成分(周波数係数)も比較的大きな値を有する。そこで、図29乃至図31に示すような変換曲線を用いて、所定の周波数帯域の画像成分の所定絶対値(閾値)以上の絶対値を有する画像成分を相対的に抑制する又は不変とすることは画像中のエッジ部分にオーバーシュートなどのアーティファクトが生じるのを抑制することにもなる。
【0095】
図30に示す変換曲線は一定閾値SL3以下の画像成分を強調している。また、一定閾値SL3以上の画像成分は一定閾値SL3以下の画像成分に比し相対的に抑制するか又は値を変換しないような曲線形にしたものである。これにより対象物の画像成分は強調されるものの、非対象物の画像成分は相対的に抑制され、又は変更されないようにすることができる。また、上述したようにエッジ部分に相当する画像成分を変更しないので、オーバーシュートなどのアーティファクトが生じるのを抑制することもできる。さらに、図30の変換曲線を、その両端を除き微分連続(傾きが連続)とすることにより、偽輪郭の発生を確実に抑えるなど、より自然な処理後画像を得ることができる。
【0096】
図31に示す変換曲線は図29と同様の効果を奏するものであるが、変換曲線が0に減ずるまでに一定幅を持たせたものである。これにより、閾値以上の絶対値を有する画像成分をなだらかに減少することが可能であり、処理後の画像がより自然となる効果がある。また、変換曲線を、その両端を除き微分連続(傾きが連続)としており、偽輪郭の発生等を抑制し、より自然な処理後画像を得ることができる。
【0097】
以上のことにより、本来目的とする周波数帯の画像成分は相対的に強調され、補以来目的外の周波数帯の画像成分は相対的に抑制される。よって、所定の周波数帯の画像成分を一律に増加する場合より、目的とする対象物の画像成分を効果的に強調することができる。目的とする周波数帯の画像成分の振幅は相対的に増加し、目的外の周波数帯の画像成分の振幅は相対的に減少するので、相対的に目的とする周波数帯すなわち目的とする対象物の画像成分が強調されるためである。
【0098】
なお、DWT変換部171が原画像を周波数帯毎の画像成分に分解(ステップ1206)した後、変換曲線作成部173は各周波数帯における画像成分の絶対値の平均値を算出し、この平均値に基づき閾値を決定するステップを設けても良い。例えば、各周波数帯における画像成分の絶対値の平均値の70%を閾値と定めても良い。かかるステップを設けることで、周波数帯毎の画像成分に基づき閾値を決定することができるため、入力画像の成分の大きさの変動の影響を受けず、安定した処理を行える効果がある。
【0099】
次に、成分変換部175は変換曲線作成部173で作成された変換曲線に従い、所定の周波数帯の画像成分を変換する(ステップ1208)。なお、変換された各周波数帯の画像成分はメモリ120に格納される。そして、逆DWT変換部177は逆離散ウェーブレット変換を以下のように行う(ステップ1209)。メモリ120に記憶された変換された画像成分は逆DWT変換部177により順次読み出されて逆ウェーブレット変換処理が行われ、再びメモリ120に書きこまれる。図19に示すように、入力された画像成分はuおよびpの2つのフィルタ処理を施され、アップサンプリングされた後に重ね合わされて画像信号x’が出力される。これらの処理は次に示す数式6及び数式7により行われる。
【0100】
【数6】
【0101】
【数7】
【0102】
以上の処理により、変換後の係数に対する1次元の逆離散ウェーブレット変換処理が行われる。2次元の逆離散ウェーブレット変換は、1次元の逆変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。
【0103】
以上説明したように、実施例3では周波数帯毎に画像成分を、その絶対値に応じて抑制又は強調するように変換曲線を作成した。これによって、目的とする対象物を選択的に強調することができる。また、周波数帯毎に変換曲線の閾値を変更することで、他周波数帯の画像成分の漏れの影響を効果的に抑制することができる。さらに、目的とする周波数帯における目的とする対象物の画像成分を相対的に強調し、他の周波数帯の漏れ画像成分を相対的に抑制するように変換曲線を作成することにより、目的とする周波数帯の画像成分における目的とする対象物の画像成分を選択的に強調することができる。
【0104】
実施例4
以下、図17、図35及び図36を参照するに、画像処理部170aの動作における実施例3に対する変形例である画像処理方法ついて説明する。ここで、図35は、本発明の一側面としての画像処理方法を示すフローチャートである。図36は、図17に示す画像処理装置100aの表示部140により出力される表示内容を例示的に示す図である。なお、図36に示す表示部140により出力される表示内容の構成は図16に示すそれと類似した構成であり、重複する説明は省略する。図36において、G3()及びG4()は変換曲線を示し、SLは閾値を示す。
【0105】
画像処理部170aに転送された原画像は、まず特徴量抽出部179において解析され、その結果原画像から階調変換のための特徴量が算出される(ステップ1300)。次に、原画像はDWT変換部171で離散ウェーブレット変換処理され、複数の周波数帯の画像成分に分解される(ステップ1305)。なお、ステップ1305は図21に示すステップ1206と同様であるため、説明を省略する。原画像が各周波数帯毎の画像成分に分解された後、変換曲線作成部173は予め決められたパラメータに従い周波数帯毎の変換曲線を作成する(ステップ1310)。次に、成分変換部175はかかる変換曲線で画像成分を変換する。変換された後の各周波数帯の画像成分は逆DWT変換部177で逆離散ウェーブレット変換され、画像が生成される。次に、生成された画像を階調変換部181で階調変換し、かかる変換された画像を領域143に表示する(ステップ1315)。
【0106】
次に、領域143に表示された画像の中のプロファイルを見たい水平ラインの位置を特定するパラメータを、領域146を利用して(操作パネルを介して)入力し、プロファイルの表示される水平ラインの位置を決定する。入力されたパラメータに基づいて所望のプロファイルを領域144に表示する(ステップ1320)。そして、オペレータは変換曲線を変更したいサブバンドを選択する(ステップ1325)。変換曲線作成部173は選択されたサブバンドに対応する変換曲線を作成し、作成された変換曲線を変換曲線G3()として表示する(ステップ1330乃至1335)。
次に、かかるサブバンドに対応する画像成分を変換曲線で変換する(1340)。変換された各周波数帯毎の画像成分は逆DWT変換部177で逆離散ウェーブレット変換され、画像が合成される(ステップ1345)と共に、かかる画像は階調変換部181で階調変換される。そして、階調変換後の画像は処理後画像として領域143に表示される(ステップ1350)。そして、処理後画像の予め指示された位置のプロファイルが領域144に表示される(ステップ1355)。
【0107】
この領域143に表示される処理後画像、表示される変換曲線G3()、領域144に表示されるプロファイルをオペレータは観察することができる。なお、オペレータが変換曲線G3()を変更したい場合(ステップ1360)は、領域141及び142を利用してパラメータを入力する(ステップ1365)。例えば、領域141の値を変更すると閾値SLが変更される。また、領域142の値を変更すると、変換曲線G3()の曲線形(傾き等)が変更される。例えば、傾きを減じた場合には変換曲線G3()がG4()に変更される。パラメータを変更した場合にはステップ1330乃至ステップ1355までの処理が繰り返される。
【0108】
そして、他のサブバンドのパラメータを変更したい場合(ステップ1370)には、ステップ1325からの処理を繰り返し、全ての変換曲線形を変更する必要がなければ処理を終了する。
【0109】
実施例4では処理後画像、画像のプロファイル、変換曲線形を表示することで処理結果と変換曲線(変換関数)との関係を視覚的又は直観的に把握することができる。さらに、変換曲線(変換関数)を変更することができるため、適切な又は所望の処理結果を得ることができる。
【0110】
【発明の効果】
以上説明したように本発明では、対象画像のうち目的とする周波数帯又は対象物の画像成分を効果的又は選択的に変換する画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体を提供することができる。
【0111】
本発明の画像処理装置は、変換曲線作成部を有し、かかる作成部は所定の閾値を変更可能に作成することができる。よって、かかる画像処理装置は高周波成分を所定の閾値を境に異なる関数で変換することができ、目的とする周波数帯以外の高周波成分を抑制することができる。また、かかる画像処理装置は前記所定の閾値を設定することで、所望の周波数帯のみを選択的に変換することができる。よって、かかる画像処理装置は所望の高周波成分のみを効果的に強調することができ、画像の鮮鋭化に寄与する。その結果、本発明の画像処理装置はより自然な感じの処理後画像を得ることができる。
【0112】
更に、かかる画像処理装置は前記作成部により作成される所定の閾値を表示可能な表示部を有しても良い。かかる表示部は処理後画像及び所定の関数を表示することで、オペレータが視覚的に確認しながら画像処理を行うことができる。また、かかる画像処理装置は前記作成部により作成される前記所定の閾値を変更する入力部を有してもよい。かかる入力部は前記閾値を変更することができるので、適切な処理後画像が得られるように前記関数を変更することができる。これにより、かかる処理後画像はオペレータの所望とする通りの画像を得ることができる。例えば、かかる画像を診断に供する場合、医師の診断の正確性を向上させることができる。
【図面の簡単な説明】
【図1】 本発明の画像処理装置を示すブロック図である。
【図2】 本発明の一側面としての画像処理方法を示すフローチャートである。
【図3】 高周波成分を変換する変換曲線の例を示した図である。
【図4】 高周波成分を変換する変換曲線の例を示した図である。
【図5】 高周波成分を変換する変換曲線の例を示した図である。
【図6】 対象物と非対象物の周波数成分を示す図である。
【図7】 中周波数帯の高周波成分における対象成分と非対象成分の出現頻度を示す図である。
【図8】 高周波成分を変換する変換曲線の例を示した図である。
【図9】 高周波成分を変換する変換曲線の例を示した図である。
【図10】 高周波成分を変換する変換曲線の例を示した図である。
【図11】 高周波成分を変換する変換曲線の例を示した図である。
【図12】 対象物と非対象物の周波数成分を示す図である。
【図13】 中周波数帯の高周波成分における対象成分と非対象成分の出現頻度を示す図である。
【図14】 閾値とマスクサイズの関係を示す図である。
【図15】 本発明の別の画像処理方法を示すフローチャートである。
【図16】 図1に示す画像処理装置の表示部に出力される表示内容を例示的に示す図である。
【図17】 本発明の別の画像処理装置を示すブロック図である。
【図18】 図17に示すDWT変換部を構成可能な回路を例示的に示した図である。
【図19】 図17に示す逆DWT変換部を構成可能な回路を例示的示した図である。
【図20】 本発明の別の画像処理方法を示すフローチャートである。
【図21】 図20に示す周波数帯毎の画像成分を変換する処理を示すフローチャートである。
【図22】 2次元の離散ウェーブレット変換処理により得られる2レベルの変換係数群の構成例を示す図である。
【図23】 変換曲線作成部で作成された変換曲線及び閾値の例を示す図である。
【図24】 変換曲線作成部で作成された変換曲線及び閾値の例を示す図である。
【図25】 変換曲線作成部で作成された変換曲線及び閾値の例を示す図である。
【図26】 対象物と非対象物の周波数分布を示した図である。
【図27】 中周波数帯の画像成分中の対象物と非対象物の出現頻度の関係を示す図である。
【図28】 周波数帯と閾値の関係を示した図である。
【図29】 変換曲線作成部で作成された変換曲線及び閾値の例を示す図である。
【図30】 変換曲線作成部で作成された変換曲線及び閾値の例を示す図である。
【図31】 変換曲線作成部で作成された変換曲線及び閾値の例を示す図である。
【図32】 対象物と非対象物の周波数分布を示した図である。
【図33】 中周波帯の画像成分中の対象物と非対象物の出現頻度の関係を示す図である。
【図34】 周波数帯と閾値の関係を示す図である。
【図35】 本発明の別の画像処理方法を示すフローチャートである。
【図36】 図17に示す画像処理装置の表示部に出力される表示内容を例示的に示す図である。
【符号の説明】
100 画像処理装置
100a 画像処理装置
110 CPU
120 メモリ
130 操作パネル
140 表示部
150 前処理部
160 データ収集部
170 画像処理部
170a 画像処理部
190 撮像部
Claims (12)
- 対象画像から当該対象画像の低周波成分と少なくとも2つの高周波成分をウエーブレット変換を用いて作成する作成部と、
前記少なくとも2つの高周波成分のうち所定の絶対値以下の値を有する高周波成分を、それぞれ強調又は抑制する成分変換部と、
前記成分変換部により変換された後の前記少なくとも2つの高周波成分を逆ウエーブレット変換することで画像を生成する画像生成部とを有する画像処理装置において、
前記高周波成分の周波数帯域が低くなるに従い前記絶対値を定める閾値を大きくすると共に、前記絶対値以上の値を有する高周波成分を不変とすることを特徴とする画像処理装置。 - 対象画像から当該対象画像の低周波成分と少なくとも2つの高周波成分を作成する作成部と、
前記少なくとも2つの高周波成分のうち所定の絶対値以下の値を有する高周波成分を、それぞれ強調又は抑制する成分変換部と、
前記成分変換部により変換された後の前記少なくとも2つの高周波成分と前記低周波成分を用いて画像を生成する画像生成部とを有する画像処理装置において、
前記高周波成分の周波数帯域が低くなるに従い前記絶対値を定める閾値を大きくすると共に、前記絶対値以上の値を有する高周波成分を不変とすることを特徴とする画像処理装置。 - 対象画像から当該対象画像の低周波成分と少なくとも2つの高周波成分を作成する作成部と、
前記少なくとも2つの高周波成分のうち所定の絶対値以下の値を有する高周波成分を、それぞれ強調する成分変換部と、
前記成分変換部により変換された後の前記少なくとも2つの高周波成分と前記対象画像を用いて画像を生成する画像生成部とを有する画像処理装置において、
前記高周波成分の周波数帯域が低くなるに従い前記絶対値を定める閾値を大きくすると共に、前記絶対値前記絶対値以上の値を有する高周波成分を0とすることを特徴とする画像処理装置。 - 前記作成部は平滑化フィルタを用いて、当該対象画像の低周波成分と少なくとも2つの高周波成分とを作成する請求項2又は3記載の画像処理装置。
- 前記絶対値は予め決められた固定値である請求項1乃至4のいずれか一項に記載の画像処理装置。
- 前記成分変換部は前記絶対値を前記対象画像に基づいて決定する請求項1乃至4のいずれか一項に記載の画像処理装置。
- 前記成分変換部が前記所定の高周波成分を変換する際に用いる変換関数はその傾きが連続である請求項1乃至6のいずれか一項に記載の画像処理装置。
- 対象画像から当該対象画像の低周波成分と少なくとも2つの高周波成分をウエーブレット変換を用いて作成するステップと、
前記少なくとも2つの高周波成分のうち所定の絶対値以下の値を有する高周波成分を、それぞれ強調又は抑制するステップと、
前記成分変換部により変換された後の前記少なくとも2つの高周波成分を逆ウエーブレット変換することで画像を生成するステップとを有し、
前記高周波成分の周波数帯域が低くなるに従い前記絶対値を定める閾値を大きくすると共に、前記絶対値以上の値を有する高周波成分を不変とすることを特徴とする画像処理方法。 - 対象画像から当該対象画像の低周波成分と少なくとも2つの高周波成分を作成するステップと、
前記少なくとも2つの高周波成分のうち所定の絶対値以下の値を有する高周波成分を、それぞれ強調又は抑制するステップと、
前記成分変換部により変換された後の前記少なくとも2つの高周波成分と前記低周波成 分を用いて画像を生成するステップとを有し、
前記高周波成分の周波数帯域が低くなるに従い前記絶対値を定める閾値を大きくすると共に、前記絶対値以上の値を有する高周波成分を不変とすることを特徴とする画像処理方法。 - 対象画像から当該対象画像の低周波成分と少なくとも2つの高周波成分を作成するステップと、
前記少なくとも2つの高周波成分のうち所定の絶対値以下の値を有する高周波成分を、それぞれ強調するステップと、
前記成分変換部により変換された後の前記少なくとも2つの高周波成分と前記対象画像を用いて画像を生成するステップとを有し、
前記高周波成分の周波数帯域が低くなるに従い前記絶対値を定める閾値を大きくすると共に、前記絶対値前記絶対値以上の値を有する高周波成分を0とすることを特徴とする画像処理方法。 - 請求項1乃至7のうちいずれか一項記載の画像処理装置の機能をコンピュータに実現させるためのプログラム。
- 請求項8乃至10のうちいずれか一項記載の画像処理方法の処理ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001117548A JP3793036B2 (ja) | 2001-04-16 | 2001-04-16 | 画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001117548A JP3793036B2 (ja) | 2001-04-16 | 2001-04-16 | 画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002314816A JP2002314816A (ja) | 2002-10-25 |
JP3793036B2 true JP3793036B2 (ja) | 2006-07-05 |
Family
ID=18968075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001117548A Expired - Fee Related JP3793036B2 (ja) | 2001-04-16 | 2001-04-16 | 画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3793036B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004127064A (ja) * | 2002-10-04 | 2004-04-22 | Konica Minolta Holdings Inc | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 |
JP4843478B2 (ja) | 2006-12-22 | 2011-12-21 | 株式会社東芝 | 画像処理装置、および画像処理方法 |
EP3979199A4 (en) * | 2019-05-30 | 2022-08-03 | Panasonic Intellectual Property Management Co., Ltd. | IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS AND PROGRAM |
-
2001
- 2001-04-16 JP JP2001117548A patent/JP3793036B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002314816A (ja) | 2002-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3833177B2 (ja) | 画像処理装置、画象処理方法、記憶媒体及びプログラム | |
US6813335B2 (en) | Image processing apparatus, image processing system, image processing method, program, and storage medium | |
EP1501049B1 (en) | Method for rendering digital radiographic images for display based on independent control of fundamental image quality parameters | |
JP4679710B2 (ja) | ノイズ抑制処理装置並びに記録媒体 | |
JP3690882B2 (ja) | 画像の強調処理方法および装置 | |
JP3700804B2 (ja) | 画像処理方法および装置 | |
US8428324B2 (en) | Method and apparatus for processing digital mammographic images with parallel multi-scale decomposition and recombining in an optimized multi-scale reconstruction | |
JP2009516882A (ja) | ディジタル画像を強調する方法及びシステム | |
JPH1075395A (ja) | 画像処理方法および装置 | |
US7149358B2 (en) | Method and system for improving contrast using multi-resolution contrast based dynamic range management | |
JP4486784B2 (ja) | ノイズ低減方法 | |
US8374417B2 (en) | Image processing method and radiographic apparatus using the same | |
JP3738791B2 (ja) | 画像処理方法および装置 | |
US7024036B2 (en) | Image processing apparatus, image processing method, storage medium, and program | |
JP4197392B2 (ja) | ノイズ抑制処理装置並びに記録媒体 | |
JP3730872B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP3793036B2 (ja) | 画像処理装置及び方法、並びに、コンピュータプログラム及び記憶媒体 | |
WO2021094471A1 (en) | Method and apparatus for contrast enhancement | |
JPH1063839A (ja) | 画像処理方法および装置 | |
JP3783116B2 (ja) | 放射線画像強調処理方法および装置 | |
JP4235622B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体 | |
JP2004173078A (ja) | 画像処理装置 | |
JP2005176974A (ja) | X線画像処理方法およびこれを用いた装置 | |
JP2005176975A (ja) | X線画像処理方法およびこれを用いた装置 | |
JPH0950521A (ja) | 画像処理方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |