JP3680922B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3680922B2 JP3680922B2 JP20049799A JP20049799A JP3680922B2 JP 3680922 B2 JP3680922 B2 JP 3680922B2 JP 20049799 A JP20049799 A JP 20049799A JP 20049799 A JP20049799 A JP 20049799A JP 3680922 B2 JP3680922 B2 JP 3680922B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- difference
- data amount
- output
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 description 69
- 238000000034 method Methods 0.000 description 28
- 102100027473 Cartilage oligomeric matrix protein Human genes 0.000 description 26
- 101710176668 Cartilage oligomeric matrix protein Proteins 0.000 description 26
- 238000010586 diagram Methods 0.000 description 9
- 229920000122 acrylonitrile butadiene styrene Polymers 0.000 description 7
- 230000001934 delay Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、高精細な画像を得るために画像内のエッジ強調を行う画像処理装置に関する。
【0002】
【従来の技術】
従来より、インターレース方式の画像や解像度変更した画像において、画像データの無い画素に近接した画素の画像データを、空間的に又は時間的に、補間することによって画像データを生成して、画像データの無い画素にこの画像データを与えることにより、その画像を再生している。このとき、画像データの無い画素は、空間的に近接した画素の画像データに近い値のデータが与えられるため、再生される画像は、輪郭(エッジ)が鮮明でないぼけた画像となってしまう。そのため、2次の空間微分であるラプラシアンを各画素の画像データに加算することによって、画像のエッジ強調を行うラプラシアン処理が用いられている。
【0003】
しかしながら、このように単純にラプラシアンを加算することによって、画像のエッジ強調を行ったとき、ノイズ成分も強調されることとなり、その画像の粒状性を悪化させる恐れがあった。このような問題点を解決するために、特開平5−94515号公報や特開平9−91419号公報において、ノイズ成分の影響の少ないエッジ強調を行うことができる画像処理装置が提供されている。
【0004】
【発明が解決しようとする課題】
この特開平5−94515号公報では、ラプラシアンとブラックピークとを比較してそのデータの小さなものを取り出すブラックピーク演算を行い、又、ラプラシアンとホワイトピークとを比較したそのデータの大きなものを取り出すホワイトピーク演算を行う。このようにして、ブラックピーク演算及びホワイトピーク演算を行うことで、その振幅成分の小さいラプラシアンを除去することにより、ノイズ成分によるラプラシアンを除去する。しかしながら、このように、ブラックピーク及びホワイトピークなどの閾値を用いたとき、この閾値よりも小さくなるエッジについては強調されることが無いため、変化率の小さなエッジについては、エッジ強調されず、ぼけたエッジになってしまう。
【0005】
又、特開平9−91419号公報では、画像の各画素のエッジデータを検出し、このエッジデータの出現頻度を計測した後、この出現頻度に応じて、ラプラシアンに与える強調係数を変化させる。このように強調係数を変化させて、ラプラシアン処理を行うことで、画像の粒状性の悪化を防止することができる。しかしながら、この強調係数を選択するために、各画素のエッジデータを検出してその出現頻度を計測する必要があるので、その演算処理に時間がかかる。又、予め、実験などによって、エッジデータに応じた強調係数を求める必要があるので、この実験時における画像とパターンの異なる画像について適応させたとき、画像ムラが発生する恐れがある。
【0006】
上記のような問題を鑑みて、本発明は、ノイズ成分の影響の小さいエッジ強調を行うことが可能な画像処理装置を提供することを目的とする。又、本発明の他の目的は、階調性の良好な画像が再生できるように、画素のデータ量の変化率に応じたエッジ強調を行う画像処理装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の目的を達成するために、本発明の画像処理装置は、所定数の画素を検出単位とし、該検出単位の画素のうち中央に配される2画素のデータ量の差分である第1差分の絶対値が最大となるとき、前記第1差分以外の差分であるとともに前記第1差分値と同符号となる第2差分と前記第1差分との差が大きくなるように、前記検出単位を構成するデータ量を変化させることを特徴とする。
【0008】
このような画像処理装置において、前記第1差分の絶対値が最大となるとき、前記第1差分と同符号となる前記第2差分の絶対値が更に前記第1差分の絶対値との差よりも閾値となる所定の値分だけ大きくなったときに、前記第2差分と前記第1差分との差が大きくなるように、前記検出単位を構成する2画素のデータ量を変化させることによって、ノイズ成分による影響の少ないより高精細な画像を生成することができる。
【0009】
又、ライン状に配された画素において、前記検出単位を1画素毎ずらして、該検出単位における隣接する2画素のデータ量の差分を全て求め、該検出単位の画素のうち中央に配される2画素のデータ量の差分の絶対値が最大となり且つ差分が同符号となるとき、このデータ量の差分を更に大きくするように前記2画素のデータ量を変化させることによって、このライン状に配された画素によって再生される画像を階調性の良好なものにすることができる。
【0010】
又、上記のような画像処理装置において、前記検出単位となる画素の数を4つとしても良い。このような画像処理装置において、前記検出単位となる画素を第1画素、第2画素、第3画素、第4画素としたとき、前記第2画素と前記第3画素とのデータ量の差分の絶対値が、前記第1画素と前記第2画素とのデータ量の差分の絶対値及び前記第3画素と前記第4画素とのデータ量の差分の絶対値よりも大きいとき、前記第1画素と前記第2画素とのデータ量の差分の絶対値と前記第2画素と前記第3画素とのデータ量の差分の絶対値との差が閾値となる所定の値より大きく且つ差分が同符号の場合は、前記第1画素と前記第2画素とのデータ量の差分を小さくするとともに、前記第2画素と前記第3画素とのデータ量の差分を大きくして、前記第2画素と前記第3画素のそれぞれのデータ量を変化させ、又、前記第3画素と前記第4画素とのデータ量の差分の絶対値と前記第2画素と前記第3画素とのデータ量の差分の絶対値との差が閾値となる所定の値より大きく且つ差分が同符号の場合は、前記第3画素と前記第4画素とのデータ量の差分を小さくするとともに、前記第2画素と前記第3画素とのデータ量の差分を大きくして、前記第2画素と前記第3画素のそれぞれのデータ量を変化させることによって、この変化させたデータ量に基づいて階調性の良好な画像を再生することができる。
【0011】
又、前記検出単位となる画素を第1画素、第2画素、第3画素、第4画素としたとき、前記第2画素と前記第3画素とのデータ量の差分の絶対値が、前記第1画素と前記第2画素とのデータ量の差分の絶対値及び前記第3画素と前記第4画素とのデータ量の差分の絶対値よりも大きいとき、前記第1画素と前記第2画素とのデータ量の差分の絶対値と前記第2画素と前記第3画素とのデータ量の差分の絶対値との差が閾値となる所定の値より大きく且つ差分が同符号の場合は、前記第1画素と前記第2画素とのデータ量の差分を所定の値で割った商を求め、この求めた商を前記第1画素と前記第2画素とのデータ量の差分から引いて前記第1画素と前記第2画素とのデータ量の差分を小さくするとともに、前記求めた商を前記第2画素と前記第3画素とのデータ量の差分に加えることによって前記第2画素と前記第3画素とのデータ量の差分を大きくして、前記第2画素と前記第3画素のそれぞれのデータ量を変化させ、又、前記第3画素と前記第4画素とのデータ量の差分の絶対値と前記第2画素と前記第3画素とのデータ量の差分の絶対値との差が閾値となる所定の値より大きく且つ差分が同符号の場合は、前記第3画素と前記第4画素とのデータ量の差分を所定の値で割った商を求め、この求めた商を前記第3画素と前記第4画素とのデータ量の差分から引いて前記第3画素と前記第4画素とのデータ量の差分を小さくするとともに、前記求めた商を前記第2画素と前記第3画素とのデータ量の差分に加えることによって前記第2画素と前記第3画素とのデータ量の差分を大きくして、前記第2画素と前記第3画素のそれぞれのデータ量を変化させることによって、画素のデータ量の変化率に応じてそのデータ量を変化させることができる。そのため、この変化させたデータ量に基づいて画像を再生したとき、階調性の良好な画像が再生される。
【0012】
又、本発明の画像処理装置は、隣接する第1画素と第2画素との差分を求める第1差分手段と、隣接する第2画素と第3画素との差分を求める第2差分手段と、隣接する第3画素と第4画素との差分を求める第3差分手段と、前記第1、第2差分手段で求めた差分の絶対値の差を閾値と比較する第1比較手段と、前記第2、第3差分手段で求めた差分の絶対値の差を閾値と比較する第2比較手段と、前記第2差分手段の差分の絶対値が前記第1差分手段の差分の絶対値よりも大きく、且つ、前記第1、第2差分手段で求めた差分の絶対値の差が閾値より大きいとき、前記第1差分手段で求めた差分を所定の値で割ってその商を求める第1演算手段と、前記第2差分手段の差分の絶対値が前記第3差分手段の差分の絶対値よりも大きく、且つ、前記第2、第3差分手段で求めた差分の絶対値の差が閾値より大きいとき、前記第3差分手段で求めた差分を所定の値で割ってその商を求める第2演算手段と、前記第1演算手段及び第2演算手段で求めた商を前記第2差分手段で求めた差分に加算する第1加算手段と、前記第1演算手段で求めた商を前記第1差分手段で求めた差分から減算する第1減算手段と、前記第2演算手段で求めた商を前記第3差分手段で求めた差分から減算する第2減算手段と、前記第1画素のデータ量に前記第1減算手段からの出力を加算して前記第2画素のデータ量とする第2加算手段と、前記第2画素のデータ量と第2加算手段からの出力とが入力されるとともに、前記第1演算手段が動作したとき、第2加算手段からの出力を第2画素のデータ量として変換する第1変換手段と、該第1変換手段からの第2画素のデータ量に前記第1加算手段からの出力を加算する第3加算手段と、前記第3画素のデータ量と第3加算手段からの出力とが入力されるとともに、前記第1演算手段又は前記第2演算手段が動作したとき、第3加算手段からの出力を第3画素のデータ量として変換する第2変換手段と、該第2変換手段からの第3画素のデータ量に前記第2減算手段からの出力を加算して前記第4画素のデータ量とする第4加算手段と、前記第4画素のデータ量と第4加算手段からの出力とが入力されるとともに、前記第2演算手段が動作したとき、第4加算手段からの出力を第4画素のデータ量として変換する第3変換手段と、を有することを特徴とする。
【0013】
【発明の実施の形態】
<第1の実施形態>
本発明の第1の実施形態について、図面を参照して説明する。図1は、本実施形態の画像処理装置の内部構造を示すブロック図である。図1の画像処理装置は、アナログ信号として入力される各画素の輝度情報である画像データをデジタル信号に変換するA/D変換部1と、使用者によるキー操作などによって与えられる解像度に応じて画像データを補間する解像度変換部2と、この解像度変換部2から送出される画像データより画像のエッジ強調を行うエッジ強調部3と、このエッジ強調部3から送出される画像データに基づいて表示部5の各画素に信号を与えて画像を再生するとともに解像度変換部2及びエッジ強調部3の制御を行うコントローラ4と、表示部5とを有する。
【0014】
このような画像処理装置は、例えば、エリアセンサやラインセンサから読み取ったセンサ上の各画素の画像データや、記録媒体に記憶された画像データや、パーソナルコンピュータなどから出力される画像データが入力される。この入力された各画素の画像データがA/D変換部1で、例えば8ビットのデジタル信号に変換され、解像度変換部2に送出される。解像度変換部2では、例えば、この画像処理装置に備えられる画像の拡大、縮小を行うためのスイッチ(不図示)などを使用者が操作することによって、画像の解像度が与えられる。そして、A/D変換部1から送出される画像データを基に、この与えられた解像度に応じた画素数の画像データを生成する。
【0015】
この解像度変換部2において、例えば、多タップのデジタルフィルタ構成による拡大縮小方法やウェーブレット変換を用いた方法で行うことによって、その解像度に応じた画素数の画像データが生成される。このように解像度変換部2で変換された画像データがエッジ強調部3に送出される。このエッジ強調部3の動作について、図2及び図3のフローチャートを基に説明する。又、図5,6は、このフローチャートに応じてエッジ強調部3を動作させたときの各画素の画像データの変遷を表したもので、図5,6内の画素a,b,c,d内の数値は、各画素の画像データを表す。
【0016】
まず、図2のフローチャートにおける動作が実行されて、図4のように配された画素G11〜Gmnに与える垂直方向の画像データが処理される。まず、垂直方向に隣接した図4の画素G11,G21,G31,G41の画像データが選択されて、処理が始まる。以下、図4の画素G11,G21,G31,G41を図5の画素a,b,c,dとして説明する。この画素a,b,c,dは、まず、画素bから画素aの画像データの差分(以下、「上の差分」と呼ぶ。)、画像cから画像bの画像データの差分(以下、「中央の差分」と呼ぶ。)、画像dから画像cの画像データの差分(以下、「下の差分」と呼ぶ。)が求められる(STEP1)。今、図5(a)のように、画素a,b,c,dの画像データが、それぞれ、3,7,14,17となるとき、上の差分、中央の差分、下の差分が、それぞれ、4,7,3となる。
【0017】
このように隣接する画素の差分が求められると、上の差分、中央の差分、下の差分のそれぞれの絶対値が比較されて、中央の差分の絶対値が最大となるか判定される(STEP2)。このとき、中央の差分の絶対値が最大となれば、次のSTEP3に移行し、上の差分と中央の差分が同符号か否かが判定される。このとき、同符号であれば、次のSTEP4に移行し、上の差分と中央の差分との差が閾値HDより大きいか否かが判定される。このとき、閾値HDより大きければ、次のSTEP5に移行する。
【0018】
今、上の差分、中央の差分、下の差分がそれぞれ4,7,3であるので、その絶対値を比較したとき、中央の差分が最大となり、STEP3に移行する。そして、STEP3では、上の差分と中央の差分が同符号であるため、STEP4に移行する。又、STEP4では、閾値HDを1とすると、上の差分と中央の差分の差が3となり、閾値HDより大きくなるので、次のSTEP5に移行する。
【0019】
STEP5では、上の差分を閾値HEで割って商を求め、この商の少数部分を切り捨てる。そして、この商の整数部分を上の差分から引いた値を新たな上の差分に置き換える(STEP6)。又、中央の差分にSTEP5で求めた商の整数部分を加えた値を新たな中央の差分に置き換える(STEP7)。今、STEP5で閾値HEを2とすると、上の差分である4からこの閾値HEとなる2を割ったとき、その商の整数部分は2となる。この商の整数部分となる2を、STEP6及びSTEP7で適用することによって、上の差分が4−2で4から2に、中央の差分が7+2で7から9に、置き換えられる。
【0020】
このように、STEP7の処理が終わると、STEP8に移行する。又、STEP3で上の差分と中央の差分が同符号でないとき、又は、STEP4で上の差分と中央の差分の差が閾値HDよりも小さいときも、STEP8に移行する。STEP8〜STEP12では、下の差分と中央の差分について、STEP3〜STEP7と同様の処理を行う。
【0021】
即ち、まず、下の差分と中央の差分が同符号か判定し(STEP8)、次に、下の差分と中央の差分の差が閾値HDより大きいか判定する(STEP9)。そして、下の差分と中央の差分が同符号で、且つ、その差が閾値HDより大きいとき、下の差分を閾値HEで割った商を求め、その小数部分を切り捨てる(STEP10)。その後、この求めた商の整数部分を下の差分から引いて新たな下の差分に置き換えるとともに(STEP11)、求めた商の整数部分をもとの中央の差分又はSTEP8で置き換えた中央の差分に加えて新たな中央の差分に置き換える(STEP12)。
【0022】
今、中央の差分、下の差分がそれぞれ7,3であるので、STEP8では、下の差分と中央の差分が同符号であるため、STEP9に移行する。又、STEP9では、閾値HDが1であるので、下の差分と中央の差分の差が4となり、閾値HDより大きくなるため、次のSTEP10に移行する。そして、STEP10で、閾値HEが2であるので、下の差分である3からこの閾値HEとなる2を割ったとき、その商の整数部分は1となる。この商の整数部分となる1を、STEP11及びSTEP12で適用することによって、下の差分が3−1で3から2に、中央の差分が9+1で9から10に、置き換えられる。
【0023】
このように、STEP12までの処理が行われると、画素aの画像データ、上の差分、中央の差分、下の差分を用いて、画素b,c,dの画像データが変換される(STEP13)。又、STEP8で下の差分と中央の差分が同符号でないとき、又は、STEP9で下の差分と中央の差分の差が閾値HD以下のときも、STEP13に移行して同様の処理が行われる。今、画素aの画像データ、上の差分、中央の差分、下の差分がそれぞれ3,2,10,2となるので、画素b,c,dの画像データが5,15,17と置き換えられる。
【0024】
そして、変換した画素b,c,dの画像データが上限である最大値M(例えば、8ビットの画像データであるならば、255が最大値Mとなる。)よりも大きいか判定され(STEP14)、その画像データが最大値Mよりも大きくなる画素の画像データが最大値Mに置き換えられる(STEP15)。尚、STEP14で最大値Mより大きい画像データとなる画素が無いときは、STEP16に移行する。
【0025】
最後に、変換した画素b,c,dが下限である最小値m(例えば、8ビットの画像データであるならば、0が最小値mとなる。)よりも小さいか判定され(STEP16)、その画像データが最小値mよりも小さくなる画素の画像データが最小値mに置き換えられる(STEP17)。
【0026】
このように画素a,b,c,dである画素G11,G21,G31,G41(図4)の処理が行われると、垂直方向に1画素分ずれた画素G21,G31,G41,G51について、STEP1〜STEP17の処理が行うため、処理を行う画素を1画素分ずらして(STEP18)、STEP1に戻る。又、画素G11,G21,G31,G41の処理を行うとき、STEP2で中央の画素の絶対値が最大でないとき、又はSTEP16で最小値mより小さな画像データが検出できなかったときは、STEP18を経て次の処理を行う画素を画素G21,G31,G41,G51とし、STEP1に戻る。
【0027】
このように、STEP1〜STEP18の動作が繰り返され、画素G(m-3)1,G(m-2)1,G(m-1)1,Gm1の画像データまで処理されると、画素G12,G22,G32,G42の画像データについて、STEP1〜STEP18の処理が行われる。このようにして、図4のように配された画素が1列ずつ、垂直方向に隣接した4画素毎に図2のフローチャートで示した処理が行われることによって、水平方向のエッジ強調が行われる。
【0028】
又、図2のフローチャートに示す処理を行う際に、4つの隣接した画素a,b,c,dの画像データが図5(b)のように、5,10,18,15となるとき、上の差分、中央の差分、下の差分が5,8,−3となる。このとき、中央の差分の絶対値が最大であるので、STEP3〜STEP17の処理が行われる。今、閾値HD及び閾値HEがそれぞれ1,2となるとき、上の差分と中央の差分が同符号で且つその差が1より大きいので、STEP5〜STEP7の処理が行われ、上の差分、中央の差分がそれぞれ3,10に置き換えられる。
【0029】
一方、下の差分と中央の差分が異符号となるため、STEP10〜STEP12のような置き換え処理が行われず、中央の差分、下の差分はそれぞれ10,−3となる。このように、上の差分、中央の差分、下の差分が3,10,−3となるため、処理後の画素a,b,c,dの画像データが、それぞれ、5,8,18,15となる。
【0030】
又、図2のフローチャートに示す処理を行う際に、4つの隣接した画素a,b,c,dの画像データが図5(c)のように、5,3,10,15となるとき、上の差分、中央の差分、下の差分が−2,7,5となる。このとき、中央の差分の絶対値が最大であるので、STEP3〜STEP17の処理が行われる。今、閾値HD及び閾値HEがそれぞれ1,2となるとき、上の差分と中央の差分が異符号となるので、STEP5〜STEP7のような置き換え処理が行われず、上の差分、中央の差分はそれぞれ−2,7となる。
【0031】
一方、下の差分と中央の差分が同符号で且つその差が1より大きいため、STEP10〜STEP12の処理が行われ、中央の差分、下の差分はそれぞれ9,3に置き換えられる。このように、上の差分、中央の差分、下の差分が−2,9,3となるため、処理後の画素a,b,c,dの画像データが、それぞれ、5,3,12,15となる。
【0032】
図6に、閾値HD及び閾値HEを変えたときの画素a,b,c,dの画像データの変遷を示す。図5(a)のように画像データがそれぞれ3,7,14,1,7となる4つの画素a,b,c,dを処理する時の動作について説明する。図6(a)のように、閾値HD、閾値HEをそれぞれ1,4としたとき、上の差分と中央の差分の差及び下の差分と中央の差分の差がそれぞれ閾値HDである1より大きいので、STEP5〜STEP8及びSTEP10〜STEP12の処理が行われる。
【0033】
このとき、STEP5で上の差分を閾値HEである4で割った商の整数部分が1、STEP10で下の差分を閾値HEである4で割った商の整数部分が0となる。よって、上の差分、中央の差分、下の差分がそれぞれ3,8,3となり、画素a,b,c,dの画像データが3,6,14,17となる。
【0034】
又、図6(b)のように、閾値HD、閾値HEをそれぞれ3,2としたとき、上の差分と中央の差分の差が閾値HDである3以下となるため、STEP5〜STEP8の処理は行われない。又、下の差分と中央の差分の差が閾値HDである3より大きいので、STEP10〜STEP12の処理が行われる。このとき、STEP10で下の差分を閾値HEである2で割った商の整数部分が1となる。よって、上の差分、中央の差分、下の差分がそれぞれ4,8,2となり、画素a,b,c,dの画像データが3,7,15,17となる。
【0035】
更に、図2のフローチャートで示した処理の後に、水平方向に隣接した4画素毎に図3のフローチャートで示した処理を行う。図3に示すフローチャートは、図2に示すフローチャートで垂直方向に隣接した4画素について行った処理と同様の処理を、水平方向に隣接した4画素について行うためのフローチャートである。即ち、水平方向に隣接した4画素を左からe,f,g,hとしたとき、まず、STEP21で、画素fから画素eの画像データの差分(以下、「左の差分」と呼ぶ。)、画素gから画素fの画像データの差分(以下、「中央の差分」と呼ぶ。)、画素hから画素gの画像データの差分(以下、「右の差分」と呼ぶ。)が求められる。
【0036】
そして、STEP22で、中央の差分の絶対値が最大となるか判定され、中央の差分の絶対値が最大となるとき、STEP23以下の処理が行われる。STEP23〜STEP27では、STEP3〜STEP7の処理と同様の処理が、左の差分と中央の差分について行われる。そして、STEP28〜STEP32では、STEP8〜STEP12の処理と同様の処理が、右の差分と中央の差分で行われる。
【0037】
このように、STEP23〜STEP32の処理が行われると、STEP33〜STEP37で、STEP13〜17と同様の処理が、画素e,f,g,hの画像データについて行われ、画素e,f,g,hの画像データが置き換えられる。このように、STEP37までの処理が行われると、STEP38で次に行う4画素を水平方向に1画素毎ずらし、STEP21からの処理を行う。
【0038】
このように、画素G11,G12,G13,G14(図4)についてSTEP21〜STEP37の処理が行われると、STEP38を経て、水平方向に1画素分ずれた画素G12,G13,G14,G15について、STEP21〜STEP37の処理が行う。そして、このSTEP21〜STEP38の動作が繰り返され、画素G1(n-3),G1(n-2),G1(n-2),G1nの画像データまで処理されると、画素G21,G22,G23,G24の画像データについて、STEP21〜STEP38の処理が行われる。このようにして、図4のように配された画素が1行ずつ、水平方向に隣接した4画素毎に図3のフローチャートで示した処理が行われることによって、垂直方向のエッジ強調が行われる。
【0039】
このエッジ強調部3で画像の水平方向及び垂直方向のエッジ強調が行われた画像データがコントローラ4に送出され、コントローラ4では、この画像データに基づいて、表示部5の画素毎に信号を与えて、表示部5に画像を再生する。
【0040】
<第2の実施形態>
第2の実施形態について、図面を参照して説明する。尚、本実施形態で使用する画像処理装置は、第1の実施形態と同様、図1に示す画像処理装置であり、エッジ強調部3以外の動作については第1の実施形態と同様である。よって、エッジ強調部3の内部構成及び動作について、以下に説明する。
【0041】
エッジ強調部3の内部構成を、図7に示す。図7のエッジ強調部3は、垂直方向処理部3aと、水平方向処理部3bとから構成される。垂直方向処理部3aは、解像度変換部2から送出される画像データが入力される入力端子INと、1行に配された画素分の画像データが記憶されるラインメモリ11a,12a,13aと、垂直方向に隣接した画素の画像データの差分を求める差分回路14a,15a,16aと、差分回路14a,15a,16aの絶対値を求める絶対値算出回路17a,18a,19aと、差分回路14a,15aの出力の符号、差分回路15a,16aの出力の符号をそれぞれ比較する符号比較回路20a,21aと、絶対値算出回路17a,18aの出力、絶対値算出回路18a,19aの出力をそれぞれ比較する比較回路22a,23aとを有する。
【0042】
又、垂直方向処理部3aは、符号比較回路20aと比較回路22aの出力、符号比較回路21aと比較回路23aの出力がそれぞれ入力されるAND回路24a,25aと、AND回路24a,25aから出力によってそれぞれ動作するセレクタ回路26a,27aと、ルックアップテーブル28a,29aと、差分回路14a,16aの出力にセレクタ回路26a,27aの出力をそれぞれ乗算する乗算回路30a,31aと、乗算回路30a,31aの出力から少数部分を切り捨てる小数点切捨回路32a,33aと、差分回路14a,16aの出力から小数点切捨回路32a,33aの出力を減算する減算回路34a,35aと、差分回路15aに小数点切捨回路32a,33aの出力を加算する加算回路36aとを有する。
【0043】
更に、垂直方向処理部3aは、1行に配された画素分の画像データが記憶されるラインメモリ37a,40a,43aと、比較回路22a,23aの出力が入力されるOR回路46aと、入力端子INから入力される画像データに減算回路34aの出力を加算する加算回路38aと、比較回路22aより信号が与えられるとともにラインメモリ37aの出力と加算回路38aの出力を選択するセレクタ回路39aと、セレクタ回路39aの出力に加算回路36aの出力を加算する加算回路41aと、OR回路46aより信号が与えられるとともにラインメモリ40aの出力と加算回路41aの出力を選択するセレクタ回路42aと、セレクタ回路42aの出力に減算回路35aの出力を加算する加算回路44aと、比較回路23aより信号が与えられるとともにラインメモリ43aの出力と加算回路44aの出力を選択するセレクタ回路45aとを有する。
【0044】
水平方向処理部3bは、1画素分の画像データが記憶されるディレイ回路11b,12b,13bと、水平方向に隣接した画素の画像データの差分を求める差分回路14b,15b,16bと、差分回路14b,15b,16bの絶対値を求める絶対値算出回路17b,18b,19bと、差分回路14b,15bの出力の符号、差分回路15b,16bの出力の符号をそれぞれ比較する符号比較回路20b,21bと、絶対値算出回路17b,18bの出力、絶対値算出回路18b,19bの出力をそれぞれ比較する比較回路22b,23bとを有する。
【0045】
又、水平方向処理部3bは、符号比較回路20bと比較回路22bの出力、符号比較回路21bと比較回路23bの出力がそれぞれ入力されるAND回路24b,25bと、AND回路24b,25bから出力によってそれぞれ動作するセレクタ回路26b,27bと、ルックアップテーブル28b,29bと、差分回路14b,16bの出力にセレクタ回路26b,27bの出力をそれぞれ乗算する乗算回路30b,31bと、乗算回路30b,31bの出力から少数部分を切り捨てる小数点切捨回路32b,33bと、差分回路14b,16bの出力から小数点切捨回路32b,33bの出力を減算する減算回路34b,35bと、差分回路15bに小数点切捨回路32b,33bの出力を加算する加算回路36bとを有する。
【0046】
更に、水平方向処理部3bは、1画素分の画像データが記憶されるディレイ回路37b,40b,43bと、比較回路22b,23bの出力が入力されるOR回路46bと、セレクタ回路45aより送出される画像データに減算回路34bの出力を加算する加算回路38bと、比較回路22bより信号が与えられるとともにディレイ回路37bの出力と加算回路38bの出力を選択するセレクタ回路39bと、セレクタ回路39bの出力に加算回路36bの出力を加算する加算回路41bと、OR回路46bより信号が与えられるとともにディレイ回路40bの出力と加算回路41bの出力を選択するセレクタ回路42bと、セレクタ回路42bの出力に減算回路35bの出力を加算する加算回路44bと、比較回路23bより信号が与えられるとともにディレイ回路43bの出力と加算回路44bの出力を選択するセレクタ回路45bとを有する。
【0047】
尚、以下、「差分回路」を「SUB」、「絶対値算出回路」を「ABS」、「比較回路」を「COMP」、「セレクタ回路」を「SEL」、「ルックアップテーブル」を「LUT」、「小数点切捨回路」を「INT」、「AND回路」を「AND」、「OR回路」を「OR」、「ディレイ回路」を「DELAY」と呼ぶ。
【0048】
今、図8のような水平方向に6画素、垂直方向に5画素の画像データを、このエッジ強調回路3で処理するときの動作を説明する。尚、G11〜G56が画素を表す。即ち、この画像データによって、5行のラインに6画素ずつ配された表示装置によって、画像が再生される。まず、解像度変換装置2より1行のライン毎に、そのラインに配された6画素分の画像データが入力端子INに入力される。尚、図8において、方形で表すのが1つの画素を示すデータである。
【0049】
まず、3ライン分の画像データが入力端子INに入力され、図9(a)のように、1行目の画素G11〜G16の画像データがラインメモリ13aに、2行目の画素G21〜G26の画像データがラインメモリ12aに、3行目の画素G31〜G36の画像データがラインメモリ11aに一時記憶される。このとき、入力端子INからラインメモリ11aに、ラインメモリ11aからラインメモリ12aに、ラインメモリ12aからラインメモリ13aに、それぞれ画像データが送出される。
【0050】
又、入力端子INからラインメモリ37aに、ラインメモリ37aからSEL39aを介してラインメモリ40aに、ラインメモリ40aからSEL42aを介してラインメモリ43aに画像データが送出される。そして、1行目の画素G11〜G16の画像データがラインメモリ43aに、2行目の画素G21〜G26の画像データがラインメモリ40aに、3行目の画素G31〜G36の画像データがラインメモリ37aに一時記憶される。
【0051】
このとき、ラインメモリ13aに1行目の画像データが送出されるまで、ラインメモリ11a〜13a、ラインメモリ37a,40a,43a及びSEL39a,42a以外の回路は動作しないようにコントローラ4によって制御される。又、SEL39a,42aは、それぞれCOMP22a及びOR46aから信号が与えられず、ラインメモリ37a,40aからの出力を選択して出力する。
【0052】
ラインメモリ13aに1行目の画像データが記憶されると、入力端子IN、ラインメモリ11aからそれぞれ画素G41,G31の画像データがSUB14aに、ラインメモリ11a,12aからそれぞれ画素G31,G21の画像データがSUB15aに、ラインメモリ12a,13aからそれぞれ画素G21,G11の画像データがSUB16aに送出される。このとき、同時に、入力端子INからラインメモリ11aに画素G41の画像データが、ラインメモリ11aからラインメモリ12aに画素G31の画像データが、ラインメモリ12aからラインメモリ13aに画素G21の画像データが、それぞれ送出される。尚、以下の動作において、画素Gmnの画像データをGmnと表す。
【0053】
又、SUB14aでは画素G31の画像データから画素G41の画像データを引いた差分(G31−G41)が、SUB15aでは画素G21の画像データから画素G31の画像データを引いた差分(G21−G31)が、SUB16aでは画素G11の画像データから画素G21の画像データを引いた差分(G11−G21)が求められる。このSUB14a,15a,16aの出力がそれぞれABS17a,18a,19aに送出され、ABS17a,18a,19aでそれぞれの画素の差分の絶対値|G31−G41|、|G21−G31|、|G11−G21|が求められる。
【0054】
又、SUB14a,15aの出力が符号比較回路20aに送出されて、差分(G31−G41)、(G21−G31)の符号が比較され、SUB15a,16aの出力が符号比較回路21aに送出されて、差分(G21−G31)、(G11−G21)の符号が比較される。符号比較回路20aはSUB14a,15aの出力が同符号のとき、符号比較回路21aはSUB15a,16aの出力が同符号のとき、それぞれHiの信号を出力する。
【0055】
そして、ABS17a,18aの出力がCOMP22aに送出され、|G21−G31|−|G31−G41|>HDであるか判定される。(尚、HDは、第1の実施形態の閾値HDと同様の値である。)このとき、ABS18a,19aの出力がCOMP23aに送出され、|G21−G31|−|G11−G21|>HDであるか判定される。このCOMP22aはABS17a,18aの出力の差が閾値HDより大きいとき、COMP23aはABS18a,19aの出力の差が閾値HDより大きいとき、それぞれHiの信号を出力する。
【0056】
上記した符号比較回路20a及びCOMP22aの出力がAND24aに、同じく上記した符号比較回路21a及びCOMP23aの出力がAND25aに送出され、このAND24a,25aの出力がそれぞれSEL26a,27aに送出される。SEL26a,27aでは、AND24a,25aの出力がHiとなるとき、それぞれ、LUT28a,29aより1/HE(HEは、第1の実施形態の閾値HEと同様の値である。)を選択する。
【0057】
即ち、今、差分(G21−G31)、(G31−G41)が同符号で、且つ、|G21−G31|−|G31−G41|>HDとなるとき、SEL26aがLUT28aより1/HEを選択する。又、差分(G11−G21)、(G21−G31)が同符号で、且つ、|G21−G31|−|G11−G21|>HDとなるとき、SEL27aがLUT29aより1/HEを選択する。尚、LUT28a,29aは、共に、0、1/HEの二つの値を記憶している。
【0058】
そして、このSEL26a,27aで選択された値がそれぞれ乗算回路30a,31aに送出され、同じく乗算回路30a,31aのそれぞれに送出されるSUB14a,16aの出力にかけられる。即ち、SEL26a,27aがLUT28a,29aから選択した値をk(kは0又は1/HE)とすると、乗算回路30a,31aの出力がそれぞれ、k×(G31−G41)、k×(G11−G21)となる。
【0059】
この乗算回路30a,31aの出力がそれぞれINT32a,33aに入力されて、その小数部分が切り捨てられて、その整数部部のみが出力される。即ち、今、セレクタ26aで1/HEが選択され、乗算回路30aの出力(G31−G41)/HEが整数部分Aと小数部分Bとで表されるとき、その整数部分AのみがINT32aより減算回路34a及び加算回路36aに送出される。一方、セレクタ26aで0が選択され、乗算回路30aの出力が0となるときは、INT32aから0が減算回路34a及び加算回路36aに送出される。
【0060】
又、セレクタ27aで1/HEが選択され、乗算回路31aの出力(G11−G21)/HEが整数部分A’と小数部分B’とで表されるとき、その整数部分A’のみがINT33aより減算回路35a及び加算回路36aに送出される。一方、セレクタ27aで0が選択され、乗算回路31aが0となるときは、INT33aから0が減算回路35a及び加算回路36aに送出される。
【0061】
そして、減算回路34a、加算回路36a、減算回路35aの出力が、それぞれ、加算回路38a,41a,44aに送出される。よって、加算回路38aが、入力端子INに入力される画素の画像データに減算回路34aによって新たに生成された差分が加えられた画像データを出力する。即ち、今、INT32aの出力をC(Cは0又はA)とすると、加算回路38aには、入力端子INより画素G41の画像データが、そして減算回路34aより(G31−G41)−Cが送出される。よって、加算回路38aの出力がG31−Cとなる。
【0062】
この加算回路38aの出力G31−Cとラインメモリ37aに記憶された画素G31の画像データが同時にSEL39aに送出される。尚、SEL39aは、COMP22aの出力がHiのとき、加算回路38aの出力を選択し、又、COMP22aの出力がLowのとき、ラインメモリ37aからの出力を選択する。そして、このSEL39aが選択した値を画素G31の新たな画像データG31’(G31’はG31又はG31−C)としてラインメモリ40aに送出する。
【0063】
又、このとき、INT33aの出力をC’(C’は0又はA’)とすると、加算回路41aには、SEL39aより画素G31の新たな画像データG31’が、そして加算回路36aより(G21−G31)+C+C’が送出される。よって、加算回路41aの出力がG31’+(G21−G31)+C+C’となる。即ち、SEL39aの出力がG31のとき、INT32aからの出力Cは0であるので、加算回路41aの出力がG21+C’となる。又、SEL39aの出力がG31−Cのとき、(G31−C)+(G21−G31)+C+C’より加算回路41aの出力がG21+C’となる。
【0064】
この加算回路41aの出力G21+C’とラインメモリ40aに記憶された画素G21の画像データが同時にSEL42aに送出される。尚、SEL42aは、OR46aの出力がHiのとき、加算回路41aの出力を選択し、又、OR46aの出力がLowのとき、ラインメモリ40aからの出力を選択する。即ち、COMP22a又はCOMP23aのどちらか一方の出力がHiとなるとき、加算回路41aの出力を選択する。そして、このSEL42aが選択した値を画素G21の新たな画像データG21’(G21’はG21又はG21+C’)としてラインメモリ43aに送出する。
【0065】
又、このとき、加算回路44aには、SEL42aより画素G21の新たな画像データG21’が、そして減算回路35aより(G11−G21)−C’が送出される。よって、加算回路44aの出力がG21’+(G11−G21)−C’となる。即ち、SEL42aの出力がG21のとき、INT33aからの出力C’は0であるので、加算回路44aの出力がG11となる。又、SEL42aの出力がG21+C’のとき、(G21+C’)+(G11−G21)−C’より加算回路44aの出力がG11となる。
【0066】
この加算回路44aの出力G11とラインメモリ43aに記憶された画素G11の画像データが同時にSEL45aに送出される。尚、SEL45aは、COMP23aの出力がHiのとき、加算回路44aの出力を選択し、又、COMP23aの出力がLowのとき、ラインメモリ43aからの出力を選択する。そして、このSEL45aが選択した値を画素G11の新たな画像データとしてDELAY11b,37bに送出する。
【0067】
このように、画素G11の画像データがSEL45aから出力されると、ラインメモリ11a,12a,13a及びDELAY11bに格納されるデータが図9(b)のようになる。即ち、ラインメモリ11aに画素G32〜G36及び画素G41の画像データが、ラインメモリ12aに画素G22〜G26及び画素G31の画像データが、ラインメモリ13aに画素G12〜G16及び画素G21の画像データが、DELAY11bに画素G11の画像データが格納される。
【0068】
そして、上記のような処理が、垂直方向に隣接する4つの画素G12,G22,G32,G42の画像データ、及び画素G13,G23,G33,G43の画像データについて施され、SEL45aより画素G13の画像データが送出されると、ラインメモリ11a,12a,13a及びDELAY11b,12b,13bに格納されるデータが図9(c)のような状態になる。即ち、ラインメモリ11aに画素G41〜G43及び画素G34〜G36の画像データが、ラインメモリ12aに画素G31〜G33及び画素G24〜G26の画像データが、ラインメモリ13aに画素G21〜G23及び画素G14〜G16の画像データが、DELAY11b,12b,13bのそれぞれに画素G13,G12,G11の画像データが格納される。
【0069】
このとき、SEL45aからDELAY37bに、DELAY37bからSEL39bを介してDELAY40bに、DELAY40bからSEL42bを介してDELAY43bに画像データが送出される。そして、画素G11の画像データがDELAY43bに、画素G12の画像データがDELAY40bに、画素G13の画像データがDELAY37bに一時記憶される。
【0070】
このとき、DELAY13bに画素G11の画像データが送出されるまで、DELAY11b〜13b、DELAY37b,40b,43b及びSEL39b,42b以外の回路は動作しないようにコントローラ4によって制御される。又、SEL39b,42bは、それぞれCOMP22b及びOR46bから信号が与えられず、DELAY37b,40bからの出力を選択して出力する。
【0071】
そして、垂直方向に隣接する4つの画素G14,G24,G34,G44の画像データについて施され、SEL45aより画素G14が送出されると、SEL45a、DELAY11bからそれぞれ画素G14,G13の画像データがSUB14bに、DELAY11b,12bからそれぞれ画素G13,G12の画像データがSUB15bに、DELAY12b,13bからそれぞれ画素G12,G11の画像データがSUB16bに送出される。このとき、同時に、SEL45aからDELAY11bに画素G14の画像データが、DELAY11bからDELAY12bに画素G13の画像データが、DELAY12bからDELAY13bに画素G12の画像データが、それぞれ送出される。
【0072】
このように、水平方向に隣接する画素G11,G12,G13,G14の画像データがそれぞれ、同時にSUB14b,15b,16bに送出されると、ブロック14b〜45bが上述したブロック14a〜45aの動作を行う。即ちSUB14b,15b,16bで差分(G13−G14)、(G12−G13)、(G11−G12)のそれぞれが、そして、ABS17b,18b,19bでその絶対値|G13−G14|、|G12−G13|、|G11−G12|のそれぞれが求められる。
【0073】
そして、差分(G13−G14)、(G12−G13)が同符号で、且つ、|G12−G13|−|G13−G14|>HDのとき、符号比較回路20b及びCOMP22bのそれぞれからHiの信号が送出され、SEL26bがLUT28bより1/HEを選択する。一方、符号比較回路20b及びCOMP22bのどちらか一方からLowの信号が送出されると、SEL26bがLUT28bより0を選択する。このようにSEL26bが選択した値k(kは0又は1/HE)が乗算回路30bに送出され、乗算回路30bよりk×(G13−G14)がINT32bに送出される。
【0074】
又、差分(G12−G13)、(G11−G12)が同符号で、且つ、|G12−G13|−|G11−G12|>HDのとき、符号比較回路21b及びCOMP23bのそれぞれからHiの信号が送出され、SEL27bがLUT29bより1/HEを選択する。一方、符号比較回路21b及びCOMP23bのどちらか一方からLowの信号が送出されると、SEL27bがLUT29bより0を選択する。このようにSEL27bが選択した値k(kは0又は1/HE)が乗算回路31bに送出され、乗算回路31bよりk×(G11−G12)がINT33bに送出される。
【0075】
そして、セレクタ26bで1/HEが選択され、乗算回路30bの出力(G13−G14)/HEが整数部分Dと小数部分Eとで表されるとき、その整数部分DのみがINT32bより減算回路34b及び加算回路36bに送出される。一方、セレクタ26bで0が選択され、乗算回路30bの出力が0となるときは、INT32bから0が減算回路34b及び加算回路36bに送出される。
【0076】
又、セレクタ27bで1/HEが選択され、乗算回路31bの出力(G11−G12)/HEが整数部分D’と小数部分E’とで表されるとき、その整数部分D’のみがINT33bより減算回路35b及び加算回路36bに送出される。一方、セレクタ27bで0が選択され、乗算回路31bが0となるときは、INT33bから0が減算回路35b及び加算回路36bに送出される。
【0077】
そして、減算回路34b、加算回路36b、減算回路35bの出力が、それぞれ、加算回路38b,41b,44bに送出される。よって、今、INT32bの出力をF(Fは0又はD)とすると、加算回路38bが、SEL45aより送出される画像データG14に減算回路34bより新たに生成された差分(G13−G14)−Fが加えられた画像データG13−Fを出力する。
【0078】
この加算回路38bの出力G13−FとDELAY37bに記憶された画素G13の画像データが同時にSEL39bに送出される。尚、SEL39bは、COMP22bの出力がHiのとき、加算回路38bの出力を選択し、又、COMP22bの出力がLowのとき、DELAY37bからの出力を選択する。そして、このSEL39bが選択した値を画素G13の新たな画像データG13’(G13’はG13又はG13−F)としてDELAY40bに送出する。
【0079】
又、このとき、INT33bの出力をF’(F’は0又はD’)とすると、加算回路41bには、SEL39bより画素G31の新たな画像データG13’が、そして加算回路36bより(G12−G13)+F+F’が送出される。よって、加算回路41bの出力がG13’+(G12−G13)+F+F’となる。即ち、SEL39bの出力がG13のとき、INT32bからの出力Fは0であるので、加算回路41bの出力がG12+F’となる。又、SEL39bの出力がG13−Fのとき、(G13−F)+(G12−G13)+F+F’より加算回路41bの出力がG12+F’となる。
【0080】
この加算回路41bの出力G12+F’とDELAY40bに記憶された画素G12の画像データが同時にSEL42bに送出される。尚、SEL42bは、OR46bの出力がHiのとき、加算回路41bの出力を選択し、又、OR46bの出力がLowのとき、DELAY40bからの出力を選択する。即ち、COMP22b又はCOMP23bのどちらか一方の出力がHiとなるとき、加算回路41bの出力を選択する。そして、このSEL42bが選択した値を画素G12の新たな画像データG12’(G12’はG12又はG12+F’)としてDELAY43bに送出する。
【0081】
又、このとき、加算回路44bには、SEL42bより画素G12の新たな画像データG12’が、そして減算回路35bより(G11−G12)−F’が送出される。よって、加算回路44bの出力がG12’+(G11−G12)−F’となる。即ち、SEL42bの出力がG12のとき、INT33bからの出力F’は0であるので、加算回路44bの出力がG11となる。又、SEL42bの出力がG12+F’のとき、(G12+F’)+(G11−G12)−F’より加算回路44bの出力がG11となる。
【0082】
この加算回路44bの出力G11とDELAY43bに記憶された画素G11の画像データが同時にSEL45bに送出される。尚、SEL45bは、COMP23bの出力がHiのとき、加算回路44bの出力を選択し、又、COMP23bの出力がLowのとき、DELAY43bからの出力を選択する。そして、このSEL45bが選択した値を画素G11の新たな画像データとして出力端子OUTを介してコントローラ4に出力する。
【0083】
このように画素G11の画像データが出力端子OUTより出力されると、ラインメモリ11a,12a,13a及びDelaY11b,12b,13bに格納される画像データは図9(d)のようになる。即ち、ラインメモリ11aに画素G41〜G44及び画素G35,G36の画像データが、ラインメモリ12aに画素G31〜G34及び画素G25,G26の画像データが、ラインメモリ13aに画素G21〜G24及び画素G15,G16の画像データが、DELAY11b,12b,13bのそれぞれに画素G14,G13,G12の画像データが格納される。
【0084】
上記のような動作を繰り返し行うことによって、ラインメモリ11a,12a,13a及びDelaY11b,12b,13bに格納される画像データが図9(e)のようになる。即ち、出力端子OUTより画素G13の画像データが出力されるとともに、画素G21の画像データがSEL45aより送出されたときである。このとき、画素G21は、画素G14〜G16と別のライン上に配された画素であるため、他の画素と水平方向に隣接関係にない。
【0085】
よって、コントローラ4によってブロック14b〜36bの動作が停止され、水平方向処理部3bにおいて、上記のような処理が行われない。そして、このブロック14b〜36bは、図9(f)のように、画素G21の画像データがDELAY13bに格納されるとともに、画素G24の画像データがSEL45aより送出されるとき、動作が開始する。その後、上述した動作が繰り返されることによって、画素G11〜G56の画像データが処理され、図8における画像の各画像データがエッジ強調された画像データとなる。
【0086】
尚、本実施形態では省略しているが、図7において、入力端子INとラインメモリ37a及び加算回路38aとの間や、SEL45aとDELAY37b及び加算回路38bとの間にディレイ回路を設けることによって、SEL39a,39bに同時にデータを入力することができる。
【0087】
<第3の実施形態>
第3の実施形態について、図面を参照して説明する。尚、本実施形態で使用する画像処理装置は、第1の実施形態と同様、図1に示す画像処理装置であり、エッジ強調部以外の動作については第1の実施形態と同様である。よって、エッジ強調部の内部構成及び動作について、以下に説明する。
【0088】
エッジ強調部3’の内部構成を、図10に示す。尚、図10のエッジ強調部3において、第2の実施形態のエッジ強調部3(図7)と同様の目的で使用する部分については同一の符号を付して、その詳細な説明は省略する。
【0089】
図10に示すエッジ強調部3’は、図7のラインメモリ11a,12a,13aとラインメモリ37a,40a,43aを共通としたラインメモリ11c,12c,13cが垂直方向処理部3a’に設けられ、又、図7のDELAY11b,12b,13bとDELAY37b,40b,43bを共通としたDELAY11d,12d,13dが水平方向処理部3b’に設けられる。又、SUB14aには入力端子INから入力される画像データとSEL39aからの出力が、SUB15aにはSEL39a,42aからの出力が、SUB16aにはSEL42a,45aからの出力が与えられる。
【0090】
そして、SUB14bにはSEL45a,39bからの出力が、SUB15bにはSEL39b,42bからの出力が、SUB16bにはSEL42b,45bからの出力が与えられる。又、加算回路38a,41a,44aは、それぞれ、DELAY48a,49a,50aを介して、入力端子IN、SEL39a,42aより画像データが送出される。更に、加算回路38b,41b,44bは、それぞれ、DELAY48b,49b,50bを介して、SEL45a、SEL39b,42bより画像データが送出される。
【0091】
このような構成のエッジ強調部3’において、ブロック14a〜36a,46a及びブロック14b〜36b,46bは、第2の実施形態のエッジ強調部3のブロック14a〜36a,46a及びブロック14b〜36b,46bと同様の動作を行う。よって、その動作についての説明は、第2の実施形態の動作を参照として省略する。
【0092】
以下に、垂直方向処理部3a’内のラインメモリ11c,12c,13c、SEL39a,42a,45a、加算回路38a,41a,44a、DELAY48a,49a,50a、及び水平方向処理部3b’内のDELAY11d,12d,13d、SEL39b,42b,45b、加算回路38b,41b,44b、DELAY48b,49b,50bの動作について、説明する。
【0093】
第2の実施形態と同様、図8のように配設された画素の画像データが送出されるとき、入力端子INに、画素G41の画像データが入力されるまで、SEL39a,42a,45aはそれぞれラインメモリ11c,12c,13cに格納された画像データを選択する。そして、画素G41の画像データが入力されると、画素G11,G21,G31の画像データがそれぞれSEL39a,42a,45aより送出される。そして、ブロック14a〜36aの各ブロックで演算処理された後、減算回路34a、加算回路36a、減算回路35aより新しく生成された差分が、加算回路38a,41a,44aのそれぞれに送出される。
【0094】
このとき、DELAY48a,49a,50aより画素G41,G31,G21の画像データが、それぞれ、加算回路38a,41a,44aのそれぞれに送出される。このDELAY48a,49a,50aは、ブロック14a〜36aの各ブロックで演算処理された後、減算回路34a、加算回路36a、減算回路35aにて新しく生成された差分と同時に加算回路38a,41a,44aに画像データを送出するために設けられる。
【0095】
そして、加算回路38aからの出力及びラインメモリ11cからの出力がSEL39aに、加算回路41aからの出力及びラインメモリ12cからの出力がSEL42aに、加算回路44aからの出力及びラインメモリ13cからの出力がSEL45aに、それぞれ送出される。SEL39a,42a,45aは、第2の実施形態と同様に、COMP22a,23aの出力に応じて、入力される2つの画像データの一方を選択し出力する。このとき、SEL39aの出力がSUB14a,15a、DELAY49a及びラインメモリ12cに、SEL42aの出力がSUB15a,16a、DELAY50a及びラインメモリ13cに、SEL45aの出力がSUB16a、DELAY48b及びDELAY11dに、それぞれ送出される。
【0096】
又、水平方向処理回路b’内のDELAY11d,12d,13d、SEL39b,42b,45b、加算回路38b,41b,44b、DELAY48b,49b,50bの動作は、上述した垂直方向処理部3a’内のラインメモリ11c,12c,13c、SEL39a,42a,45a、加算回路38a,41a,44a、DELAY48a,49a,50aと同様の動作を行うことにより、出力端子OUTより順次データが修正された画像データを出力することができる。
【0097】
このように、第2の実施形態においてSUBに出力するラインメモリとSELに出力するラインメモリを共通のラインメモリとし、又、第2の実施形態において、SUBに出力するDELAYとSELに出力するDELAYを共通のDELAYとすることによって、装置の構成を簡単化することができる。
【0098】
尚、第1〜第3の実施形態において、解像度変換部を用いた画像処理装置を例に説明したが、インターレース方式で撮像された画像を補間する補間回路より送出される画像データをエッジ強調して画像再生する画像処理装置において、上述したエッジ強調部を適用しても構わない。又、補間を必要としない画像データをエッジ強調して画像再生する画像処理装置において、上述したエッジ強調部を適用しても構わない。
【0099】
【発明の効果】
本発明によると、隣接する画素の差分の値を変更してこれらの画素の画像データを変更する際、その周辺に隣接する画素との差分を用いて前記隣接する画素の差分の値が変更される。そのため、画像のエッジ強調が行われて階調性の良好な画像が得られるとともに、エッジ周辺との階調の差が原画像に比べてかなり急峻なものと成らず、その画像の粒状性を抑制することができる。又、このように階調性の良い画像データが得られるため、この画像データを基に奥行きのある高精細な画像を再生することができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の内部構造を示すブロック図。
【図2】第1の実施形態において垂直方向の画素を用いたエッジ強調の処理動作を示すフローチャート。
【図3】第1の実施形態において水平方向の画素を用いたエッジ強調の処理動作を示すフローチャート。
【図4】画素の配列を示す図。
【図5】エッジ強調処理前及び処理後における画素の画像データの変遷を示す図。
【図6】エッジ強調処理前及び処理後における画素の画像データの変遷を示す図。
【図7】図1のエッジ強調部内の構成を示すブロック図。
【図8】画素の配列を示す図。
【図9】ラインセンサ及びDELAYに格納されるデータの変遷図。
【図10】図1のエッジ強調部内の構成を示すブロック図。
【符号の説明】
1 A/D変換部
2 解像度変換部
3 エッジ強調部
4 コントローラ
5 表示部
Claims (10)
- 所定数の画素を検出単位とし、該検出単位における隣接する2画素のデータ量の差分を全て求め、
該検出単位の画素のうち中央に配される2画素のデータ量の差分である第1差分の絶対値が最大となるとき、前記第1差分以外の差分であるとともに前記第1差分値と同符号となる第2差分と前記第1差分との差が大きくなるように、前記検出単位を構成する画素のデータ量を変化させることを特徴とする画像処理装置。 - 前記第1差分の絶対値が最大となるとき、前記第1差分と同符号となる前記第2差分の絶対値が更に前記第1差分の絶対値との差よりも閾値となる所定の値分だけ大きくなったときに、前記第2差分と前記第1差分との差が大きくなるように、前記検出単位を構成する画素のデータ量を変化させることを特徴とする請求項1に記載の画像処理装置。
- ライン状に配された画素において、前記検出単位を1画素毎ずらすことを特徴とする請求項1又は請求項2に記載の画像処理装置。
- 前記検出単位となる画素の数が4つであることを特徴とする請求項1〜請求項3のいずれかに記載の画像処理装置。
- 前記検出単位となる画素が第1画素、第2画素、第3画素、第4画素の4つの画素であり、
前記第2画素と前記第3画素とのデータ量の差分の絶対値が、前記第1画素と前記第2画素とのデータ量の差分の絶対値及び前記第3画素と前記第4画素とのデータ量の差分の絶対値よりも大きいとき、
前記第1画素と前記第2画素とのデータ量の差分の絶対値と前記第2画素と前記第3画素とのデータ量の差分の絶対値との差が閾値となる所定の値より大きく且つ差分が同符号の場合は、前記第1画素と前記第2画素とのデータ量の差分を小さくするとともに、前記第2画素と前記第3画素とのデータ量の差分を大きくして、前記第2画素と前記第3画素のそれぞれのデータ量を変化させ、
又、前記第3画素と前記第4画素とのデータ量の差分の絶対値と前記第2画素と前記第3画素とのデータ量の差分の絶対値との差が閾値となる所定の値より大きく且つ差分が同符号の場合は、前記第3画素と前記第4画素とのデータ量の差分を小さくするとともに、前記第2画素と前記第3画素とのデータ量の差分を大きくして、前記第2画素と前記第3画素のそれぞれのデータ量を変化させることを特徴とする請求項4に記載の画像処理装置。 - 前記検出単位となる画素が第1画素、第2画素、第3画素、第4画素の4つの画素であり、
前記第2画素と前記第3画素とのデータ量の差分の絶対値が、前記第1画素と前記第2画素とのデータ量の差分の絶対値及び前記第3画素と前記第4画素とのデータ量の差分の絶対値よりも大きいとき、
前記第1画素と前記第2画素とのデータ量の差分の絶対値と前記第2画素と前記第3画素の絶対値とのデータ量の差分との差が閾値となる所定の値より大きく且つ差分が同符号の場合は、前記第1画素と前記第2画素とのデータ量の差分を所定の値で割った商を求め、この求めた商を前記第1画素と前記第2画素とのデータ量の差分から引いて前記第1画素と前記第2画素とのデータ量の差分を小さくするとともに、前記求めた商を前記第2画素と前記第3画素とのデータ量の差分に加えることによって前記第2画素と前記第3画素とのデータ量の差分を大きくして、前記第2画素と前記第3画素のそれぞれのデータ量を変化させ、
又、前記第3画素と前記第4画素とのデータ量の差分の絶対値と前記第2画素と前記第3画素とのデータ量の差分の絶対値との差が閾値となる所定の値より大きく且つ差分が同符号の場合は、前記第3画素と前記第4画素とのデータ量の差分を所定の値で割った商を求め、この求めた商を前記第3画素と前記第4画素とのデータ量の差分から引いて前記第3画素と前記第4画素とのデータ量の差分を小さくするとともに、前記求めた商を前記第2画素と前記第3画素とのデータ量の差分に加えることによって前記第2画素と前記第3画素とのデータ量の差分を大きくして、前記第2画素と前記第3画素のそれぞれのデータ量を変化させることを特徴とする請求項4に記載の画像処理装置。 - 隣接する第1画素と第2画素との差分を求める第1差分手段と、
隣接する第2画素と第3画素との差分を求める第2差分手段と、
隣接する第3画素と第4画素との差分を求める第3差分手段と、
前記第1、第2差分手段で求めた差分の絶対値の差を閾値と比較する第1比較手段と、
前記第2、第3差分手段で求めた差分の絶対値の差を閾値と比較する第2比較手段と、
前記第2差分手段の差分の絶対値が前記第1差分手段の差分の絶対値よりも大きく、且つ、前記第1、第2差分手段で求めた差分の絶対値の差が閾値より大きいとき、前記第1差分手段で求めた差分を所定の値で割ってその商を求める第1演算手段と、
前記第2差分手段の差分の絶対値が前記第3差分手段の差分の絶対値よりも大きく、且つ、前記第2、第3差分手段で求めた差分の絶対値の差が閾値より大きいとき、前記第3差分手段で求めた差分を所定の値で割ってその商を求める第2演算手段と、
前記第1演算手段及び第2演算手段で求めた商を前記第2差分手段で求めた差分に加算する第1加算手段と、
前記第1演算手段で求めた商を前記第1差分手段で求めた差分から減算する第1減算手段と、
前記第2演算手段で求めた商を前記第3差分手段で求めた差分から減算する第2減算手段と、
前記第1画素のデータ量に前記第1減算手段からの出力を加算して前記第2画素のデータ量とする第2加算手段と、
前記第2画素のデータ量と第2加算手段からの出力とが入力されるとともに、前記第1演算手段が動作したとき、第2加算手段からの出力を第2画素のデータ量として変換する第1変換手段と、
該第1変換手段からの第2画素のデータ量に前記第1加算手段からの出力を加算する第3加算手段と、
前記第3画素のデータ量と第3加算手段からの出力とが入力されるとともに、前記第1演算手段又は前記第2演算手段が動作したとき、第3加算手段からの出力を第3画素のデータ量として変換する第2変換手段と、
該第2変換手段からの第3画素のデータ量に前記第2減算手段からの出力を加算して前記第4画素のデータ量とする第4加算手段と、
前記第4画素のデータ量と第4加算手段からの出力とが入力されるとともに、前記第2演算手段が動作したとき、第4加算手段からの出力を第4画素のデータ量として変換する第3変換手段と、
を有することを特徴とする画像処理装置。 - 前記第1差分手段に前記第1画素と前記第2画素のデータ量を同時に入力するために、前記第2画素のデータ量を一時記憶する第1記憶手段と、
前記第2差分手段に前記第2画素と前記第3画素のデータ量を同時に入力するために、前記第3画素のデータ量を一時記憶する第2記憶手段と、
前記第3差分手段に前記第3画素と前記第4画素のデータ量を同時に入力するために、前記第4画素のデータ量を一時記憶する第3記憶手段と、
前記第2加算手段からの出力と、前記第2画素のデータ量とを同時に第1変換手段に入力するために、前記第2画素のデータ量を一時記憶する第4記憶手段と、
前記第3加算手段からの出力と、前記第3画素のデータ量とを同時に第2変換手段に入力するために、前記第3画素のデータ量を一時記憶する第5記憶手段と、
前記第4加算手段からの出力と、前記第4画素のデータ量とを同時に第3変換手段に入力するために、前記第4画素のデータ量を一時記憶する第6記憶手段と、
を有することを特徴とする請求項7に記載の画像処理装置。 - 前記第1記憶手段と前記第4記憶手段、前記第2記憶手段と前記第5記憶手段、前記第3記憶手段と前記第6記憶手段が、それぞれ、同一の記憶手段であることを特徴とする請求項8に記載の画像処理装置。
- 前記画像処理装置が、複数方向毎に、その方向に隣接した画素のデータ量を演算処理することを特徴とする請求項7〜請求項9のいずれかに記載の画像処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20049799A JP3680922B2 (ja) | 1999-07-14 | 1999-07-14 | 画像処理装置 |
TW089113999A TW468139B (en) | 1999-07-14 | 2000-07-13 | Image processing apparatus |
US09/616,267 US6788825B1 (en) | 1999-07-14 | 2000-07-14 | Image processing apparatus |
CNB001203886A CN1159679C (zh) | 1999-07-14 | 2000-07-14 | 数据处理设备及图像处理设备 |
KR10-2000-0040674A KR100366937B1 (ko) | 1999-07-14 | 2000-07-14 | 화상처리장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20049799A JP3680922B2 (ja) | 1999-07-14 | 1999-07-14 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001028691A JP2001028691A (ja) | 2001-01-30 |
JP3680922B2 true JP3680922B2 (ja) | 2005-08-10 |
Family
ID=16425314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20049799A Expired - Fee Related JP3680922B2 (ja) | 1999-07-14 | 1999-07-14 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6788825B1 (ja) |
JP (1) | JP3680922B2 (ja) |
KR (1) | KR100366937B1 (ja) |
CN (1) | CN1159679C (ja) |
TW (1) | TW468139B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8773407B2 (en) | 2007-10-29 | 2014-07-08 | Samsung Display Co., Ltd. | Driving device of display device and driving method thereof |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100396898B1 (ko) * | 2001-09-13 | 2003-09-02 | 삼성전자주식회사 | 이미지센서 출력데이터 처리장치 및 처리방법 |
KR20020065882A (ko) * | 2002-07-22 | 2002-08-14 | 남영희 | 치아인상채득방법 |
KR100553892B1 (ko) * | 2003-10-13 | 2006-02-24 | 삼성전자주식회사 | 디지털 영상 보간 방법 및 장치 |
JP3990375B2 (ja) * | 2004-03-30 | 2007-10-10 | 東芝ソリューション株式会社 | 画像処理装置および画像処理方法 |
US7551772B2 (en) * | 2004-11-30 | 2009-06-23 | Hewlett-Packard Development Company, L.P. | Blur estimation in a digital image |
WO2006074584A1 (fr) * | 2005-01-17 | 2006-07-20 | Shenzhen Chuangwei-Rgb Electronics Co., Ltd. | Procede d'amelioration de l'affichage d'un afficheur |
TW200729934A (en) * | 2006-01-27 | 2007-08-01 | Asustek Comp Inc | Method, video display system and automobile video display system |
JP4641957B2 (ja) * | 2006-03-23 | 2011-03-02 | 彰 吉田 | 画像処理装置および画像処理プログラム |
JP4585602B1 (ja) * | 2009-09-18 | 2010-11-24 | 株式会社東芝 | 画像処理装置、表示装置及び画像処理方法 |
US20120099801A1 (en) * | 2010-10-20 | 2012-04-26 | Rodney Shaw | Sharpness in Digital Images |
US8995719B2 (en) * | 2012-12-10 | 2015-03-31 | Intel Corporation | Techniques for improved image disparity estimation |
CN111080550B (zh) * | 2019-12-13 | 2023-03-07 | 北京金山云网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2589295B2 (ja) * | 1986-11-14 | 1997-03-12 | キヤノン株式会社 | 画像形成装置 |
US5341143A (en) * | 1987-07-24 | 1994-08-23 | Northrop Grumman Corporation | Hierarchical tracker and method |
JPH0594515A (ja) | 1991-09-30 | 1993-04-16 | Shimadzu Corp | デジタル画像処理装置 |
US5586063A (en) * | 1993-09-01 | 1996-12-17 | Hardin; Larry C. | Optical range and speed detection system |
JP3176195B2 (ja) * | 1993-10-28 | 2001-06-11 | キヤノン株式会社 | 画像処理装置 |
DE69416584T2 (de) * | 1994-08-25 | 1999-10-07 | Co.Ri.M.Me. Consorzio Per La Ricerca Sulla Microelettronica Nel Mezzogiorno, Catania | Unscharfes Verfahren zur Bildrauschverringerung |
JPH08125842A (ja) * | 1994-10-21 | 1996-05-17 | Canon Inc | 画像処理装置及び方法 |
JPH0991419A (ja) | 1995-09-25 | 1997-04-04 | Nec Corp | 画像処理装置 |
JPH09167240A (ja) * | 1995-12-15 | 1997-06-24 | Sony Corp | ディジタル画像信号処理装置および方法 |
US6181437B1 (en) * | 1996-07-17 | 2001-01-30 | Minolta Co., Ltd. | Image processing apparatus capable of producing images without jaggies at edges |
JPH10173929A (ja) * | 1996-12-12 | 1998-06-26 | Minolta Co Ltd | 画像処理装置 |
JP3275746B2 (ja) * | 1996-12-12 | 2002-04-22 | ミノルタ株式会社 | 画像処理装置 |
US6072889A (en) * | 1997-12-03 | 2000-06-06 | The Raytheon Company | Method and system for imaging target detection |
US6175659B1 (en) * | 1998-10-06 | 2001-01-16 | Silicon Intergrated Systems Corp. | Method and apparatus for image scaling using adaptive edge enhancement |
-
1999
- 1999-07-14 JP JP20049799A patent/JP3680922B2/ja not_active Expired - Fee Related
-
2000
- 2000-07-13 TW TW089113999A patent/TW468139B/zh not_active IP Right Cessation
- 2000-07-14 US US09/616,267 patent/US6788825B1/en not_active Expired - Fee Related
- 2000-07-14 CN CNB001203886A patent/CN1159679C/zh not_active Expired - Fee Related
- 2000-07-14 KR KR10-2000-0040674A patent/KR100366937B1/ko not_active IP Right Cessation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8773407B2 (en) | 2007-10-29 | 2014-07-08 | Samsung Display Co., Ltd. | Driving device of display device and driving method thereof |
US9330619B2 (en) | 2007-10-29 | 2016-05-03 | Samsung Display Co., Ltd. | Driving device of display device and driving method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR100366937B1 (ko) | 2003-01-09 |
TW468139B (en) | 2001-12-11 |
US6788825B1 (en) | 2004-09-07 |
CN1281197A (zh) | 2001-01-24 |
CN1159679C (zh) | 2004-07-28 |
KR20010015343A (ko) | 2001-02-26 |
JP2001028691A (ja) | 2001-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3680922B2 (ja) | 画像処理装置 | |
US6445833B1 (en) | Device and method for converting two-dimensional video into three-dimensional video | |
CN100366052C (zh) | 图像处理设备和方法 | |
US20090040246A1 (en) | Image processing device, display device, image processing method, and program | |
US20090002562A1 (en) | Image Processing Device, Image Processing Method, Program for Image Processing Method, and Recording Medium Having Program for Image Processing Method Recorded Thereon | |
KR100499434B1 (ko) | 이미지 변환기 및 이미지 변환 방법 | |
KR100478070B1 (ko) | 화상정보변환장치와방법및적화연산회로와방법 | |
US5894330A (en) | Adaptive anti-flicker method for VGA to TV data conversion | |
JP3852561B2 (ja) | 画像表示装置および画像表示方法 | |
JP2000152033A (ja) | 画像処理装置及び画像処理方法 | |
JP2003244715A (ja) | 混成画素補間装置および混成画素補間方法 | |
JP3674186B2 (ja) | 画像情報変換装置および方法 | |
JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
JPH1141491A (ja) | 2次元ノイズ低減回路 | |
JP4470280B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP3348499B2 (ja) | 巡回型雑音低減装置 | |
JP5103580B2 (ja) | 画像処理装置およびデジタルカメラ | |
JP3767019B2 (ja) | 積和演算回路および方法 | |
JP3899994B2 (ja) | 画像信号処理装置、及び、画像信号処理方法 | |
JP2002232713A (ja) | 画像処理装置及び画像処理方法 | |
JP2601344B2 (ja) | 雑音低減兼垂直輪郭補償回路 | |
JP3734362B2 (ja) | 補間方法 | |
JP4595162B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP3826434B2 (ja) | 信号変換装置および方法 | |
JP4241720B2 (ja) | 積和演算回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050510 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080527 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090527 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |