JPH11164142A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH11164142A JPH11164142A JP9330410A JP33041097A JPH11164142A JP H11164142 A JPH11164142 A JP H11164142A JP 9330410 A JP9330410 A JP 9330410A JP 33041097 A JP33041097 A JP 33041097A JP H11164142 A JPH11164142 A JP H11164142A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency
- circuit
- vertical
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
しつつ圧縮率を高める。 【解決手段】 イメージ・スキャナ10から出力される
原稿画像信号を画像メモリ12に格納する。サンプリン
グ装置14は、画像メモリ12の画像信号の6ヶ所をサ
ンプリングし、FFT用画像メモリ16に格納する。F
FT変換装置18は、FFT用画像メモリ16に格納さ
れる画像情報を高速フーリエ変換し、6つの周波数成分
の和をDC成分で規格化する。統計処理装置20がFF
T変換装置18のフーリエ変換係数を統計処理して画像
の縦横での品質を判定する。ブロック化回路22、DC
T回路24、量子化回路26、差分回路32及び可変長
符号化回路34からなるJPEG方式の圧縮符号化装置
では、量子化回路26は、回路20の判定結果に応じて
選定された量子化テーブル28を使用してDCT回路2
4の出力を量子化する。
Description
し、より具体的には、ラスタ画像信号の画像品質を判定
し、その判定結果に応じてラスタ画像信号を圧縮符号化
及び/又は出力する画像処理装置に関する。
する手段として広く普及している。従来のイメージ・ス
キャナでは、一般的に、画素単位に輝度成分及び色成分
を読み取る離散サンプリング化が実施されている。近年
では、その読み取り解像度が、1200DPI(画素/
インチ)程度にまで向上している。
技術も開発され、実用化されている。例えば、静止画像
の圧縮方式として、JPEG(Joint Photo
graphic Experts Group)方式が
標準化されている。JPEG方式は、可逆圧縮では1/
2〜1/3程度に、非可逆圧縮では数十分の1程度にま
で画像情報を圧縮可能であり、比較的画像品質が高い。
JPEG方式の一般的な例としては、8画素×8画素の
符号化ブロックの画像データを離散コサイン変換し、そ
のDCT変換係数を量子化テーブル及びスケール・ファ
クタに従って量子化し、可変長符号化する。量子化の際
の量子化テーブルとスケール・ファクタは、変更可能で
あり、画像品質と圧縮率を決定する重要な因子である。
的なシステムの概略構成ブロック図を示す。イメージ・
スキャナ110は、原稿を離散サンプリングして読み取
り、原稿画像の二次元ラスタ信号を出力する。スキャナ
110から出力される画像信号は、画像メモリ112に
一時記憶される。画像メモリ112に記憶される画像デ
ータは通常、圧縮符号化装置114により圧縮符号化さ
れて記憶装置116に記憶され、及び/又は送受信装置
118により伝送媒体を介して送受信される。圧縮符号
化装置120が圧縮画像データを伸長し、画像データを
復元し、画像メモリ112に格納する。印刷装置、複写
機及び映像ディスプレイ装置などの画像出力装置122
は、画像メモリ112に記憶される画像データをそれぞ
れの形式で出力する。
な構成の概略構成ブロック図を示す。その機能の一部又
は全部はソフトウエアにより実現できる。ブロック化回
路124は、ラスタ画像データを、通常8画素×8画素
からなるブロックに分割し、ブロック順に出力する。但
し、カラー画像の場合、画像信号を輝度成分と色度成分
に分解した後、しばしば色度の間引きが行われる。即
ち、図20の圧縮符号化の前に既に圧縮処理が施されて
いる。輝度成分と間引きされた色度成分は、以降、復号
されるまでお互いに影響することなく独立して同じよう
に処理される。
は、ブロック化回路124からのブロック毎の画像デー
タを離散コサイン変換する。その変換結果はDCT係数
と呼ばれる。量子化回路128は、量子化テーブル13
0及びスケール・ファクタ132を参照して、DCT回
路126の出力(DCT係数)を量子化する。量子化テ
ーブル130は、ブロックと同じ8×8の数値データか
らなり、基本的には、高周波ほど値が大きい傾向を有し
ている。画像の高周波成分は目立たないからである。ス
ケール・ファクタ132は、量子化テーブル130と共
に圧縮率を変化させる固有値係数である。この量子化テ
ーブル130とスケール・ファクタ132の積でDCT
係数を除算することで、高周波成分を縮小化する。
周波成分を縮小又は0とされたDCT係数は、その直流
(DC)成分と交流(AC)成分とでは以降の処理が異
なる。DC成分は、隣りのブロックとの相関が深いの
で、差分化回路134が、隣のブロックのDC成分との
差を算出する。即ち、0付近に近づけることで、後の符
号化効率を高める。AC成分については、ジグザグ・ス
キャンして低周波成分から高周波成分へと向かう順序に
並べる。
34から出力されるDC差分値と、ジグザグスキャンに
より順序化されたAC成分をハフマン符号化及びランレ
ングス符号化する。ハフマン符号化は、信号中の頻度の
高い数値には短めの符号を、頻度の低い数値には長めの
符号を付けることを基本とする圧縮方式である。ランレ
ングス符号化は、同じ数値が符号として並んだ場合に、
値とその個数に符号化する方法である。こうして圧縮さ
れた画像データが、一連のストリーム・データとして出
力される。出力データは、量子化テーブル130及びス
ケール・ファクタ132の情報自体又はこの情報を特定
するデータを含む。
成ブロック図を示す。符号化の場合と同様に、その一部
又は全部の機能はソフトウエアによっても実現できる。
基本的に、図20で示す圧縮符号化装置とは逆の行程を
たどることになる。可変長復号化回路138は、入力す
る圧縮画像データのハフマン符号及びランレングス符号
を復号化する。DC再生回路140は可変長復号化回路
138から出力されるDC差分値に隣のDC成分を加算
する。可変長復号化回路138から出力されるAC成分
は逆ジグザグスキャンにより二次元化され、DC再生回
路140の出力と共に逆量子化回路142に印加され
る。
されたのと同じ量子化テーブル144とスケール・ファ
クタ146の積を使って、DC成分及び63個のAC成
分を逆量子化し、逆DCT回路148は逆量子化回路1
42の出力を逆DCT変換する。そして、ラスタ回路1
50が逆DCT回路148から出力されるブロック順の
画像データを走査線順に変換して出力する。
スキャナによって読み込まれる前の原稿画像は、電子写
真方式、ドットインパクト方式、熱転写方式、インクジ
ェット方式、オフセット印刷及び銀塩フィルム等、多岐
にわたる画像出力方式によって出力又は形成されたもの
が用いられている。
号は、各種記述言語によるベクトル画像データとは異な
り、二次元配列の画素情報の集合体でありラスタ画像と
呼ばれる。DTP(DeskTop Pub1ishi
ng)作業等、コンピュータ内では画像データはしばし
ばベクトル・データとして扱うことができる。ベクトル
画像は、図22に示すように拡大してもぼけることのな
い画像である。
刷出力し、これを拡大すると、図23に示すように、エ
ッジ部分がだれて、一般にボケと呼ばれるような画像品
質の低下が見られる。通常、紙等に出力された原稿を画
像読み取りする場合、図23に示すように、通紙方向
(印刷の際の紙の通過方向)及び/又はこれに垂直な方
向にボケが発生しやすい。図23では、通紙方向(縦方
向)にボケが大きく、通紙方向と垂直な方向(横方向)
にはボケが少なくなっている。画像出力装置によって
は、ボケの大小が縦方向と横方向で逆になる場合もあ
る。
の画像濃度の変化を図24に示し、図23におけるB1
−B2方向(横方向)の画像濃度の変化を図25に示
す。図24及び図25共に、横軸は各方向の位置を示
し、縦軸はマイクロ濃度計により測定した濃度出力を示
す。縦方向では、図24に示すように、高濃度域のいわ
ゆるダレと、低濃度域のいわゆる拡散が発生しており、
結果として画像のボケが大きく、画像品質を低くしてい
る。また、画像の周りには、時として急峻な濃度域を持
つこともある。これは、インク又はトナーの飛び散り等
によるノイズ成分が画像周りに形成されがちであるため
である。これに対し、図25に示すように、横方向、即
ち、通紙方向に垂直な方向では、濃度変化が急峻である
ので、高精細であるといえる。
られる画像品質の異方性は、原稿画像を形成した画像出
力装置に負うところが大きい。一般的に、画像出力装置
が電子写真技術を使用した装置の場合、図23に示すよ
うに、通紙方向に画像品質が劣化しやすい。周知のごと
く、電子写真装置では、像担持体及び定着ローラ等、シ
リンダ形状した構成要素により画像が形成されるので、
シリンダの長手方向よりも回動方向にトナー像のブレ、
飛び散り及び尾引き等を発生し易いからである。また、
インクジェット方式の画像形成装置の場合、インク・カ
ートリッジの主走査方向における紙へのインクの染み込
みが滲みボケを発生させる。その他の画像形成装置でも
同様に、通紙方向とその垂直方向に画像品質が異なるこ
とが多い。但し、銀塩写真フィルムでは、このような異
方性は比較的少ない。
方向に均一な画像品質を持っているわけではない。電子
写真方式であれば、感光体、現像装置及び定着装置とい
った回動装置による画像のにじみを紙の挿通方向に自ず
と有している。また、インクジェット方式でも、インク
カートリッジの走査方向ににじみを発生しやすい。但
し、銀塩フィルムは、縦横方向に比較的均一な画像品質
を有している。
を移動させながら画像を印刷する方式では、縦横方向で
画像品質が異なる場合が多い。銀塩フイルムを除けば、
通常、イメージ・スキャナの読み取り分解能に比べ、画
像出力装置による出力画像の現実的な出力分解能は劣る
傾向があり、とりわけ、縦横方向の内の画像品質の悪い
方向では、イメージ・スキャナの分解能と比べ数段劣化
していることが多い。このため、イメージ・スキャナに
よる画像入力と画像出力装置による印刷出力を繰り返す
と、画像品質は低下し続けることになる。
子化テーブル及びスケール・ファクタにより変更できる
が、従来、縦横の画像品質に合わせた最適化は行われて
いなかった。そのため、量子化テーブルによっては、必
要な情報である周波数成分が縮小又は消去されたり、無
用な情報である高周波成分を抱え込んで符号化してしま
うといったバランスの悪い圧縮が行なわれることがあっ
た。
像処理装置を提示することを目的とする。
ラスタ画像の少なくとも1つの領域でその周波数特性を
算出する周波数特性算出手段と、当該周波数特性算出手
段により算出された、縦方向及び横方向の周波数成分を
第1及び第2の周波数と比較する周波数比較手段と、当
該周波数比較手段の比較結果に従い当該入力ラスタ画像
の縦横方向の画像品質を判定する判定手段とを設ける。
これにより入力ラスタ画像の縦横方向の画像品質を判定
できる。その判定結果に応じた圧縮条件(例えば、量子
化テーブル、スケール・ファクタ、及び/又はジグザグ
・スキャンの順序)で圧縮符号化することにより、実質
的に画質を維持したまた、より高い圧縮率を達成でき
る。
実施の形態を詳細に説明する。
ック図を示す。図1に示す実施例を説明する前に、本実
施例における画像品質判定の原理を簡単に説明する。
25に示す濃度変化をフーリエ変換した結果を示す。横
軸は周波数、縦軸は振幅である。図2及び図3の特性A
は、図23のA1−A2間及びB1−B2間の濃度をフ
ーリエ変換した結果を示す。フーリエ変換の対象となる
画像が図23に示すように1本の棒状になっていること
から、周波数別にピークが生じている。ところが、一本
の棒状の画像ではなく、多くの画像を含む所定範囲内で
の濃度をフーリエ変換し、規格化すると、特性Bに示す
ような変化になる。多くの画像を含むことで、画像内容
によるピークは出現しなくなるが、他方で、高周波領域
でのフーリエ係数が目立ってくる。前述したように、原
稿画像に含まれる画像の飛び散り等により急峻なノイズ
成分が現れることが、その原因である。このカーブの特
性こそが、通紙方向とその垂直方向における画像品質を
示すパラメータであり、図2に特性Bとして図示したよ
うに、周波数成分の中程度の領域のフーリエ係数が小さ
いと、画像品質が低いと判断してよいことがわかる。
により取り込んだ画像信号の所定範囲をサンプリング
し、その所定範囲内で縦横の画像品質を判定し、判定結
果により符号化条件を制御する。
スキャナ10から出力される原稿画像信号を画像メモリ
12に格納する。サンプリング装置14は、画像メモリ
12に格納される画像信号の所定画像範囲をサンプリン
グし、FFT用画像メモリ16に供給する。本実施例で
は、サンプリング装置14は、2×2インチの範囲で合
計6ヶ所、サンプリングする。サンプリング数を増やす
と処理時間がかかり、サンプリング数を減らすと画像品
質を正確に判定できなくなるので、両方のトレードオフ
として、このように決定した。原稿による画像情報の有
無及び偏重具合を考慮して、6箇所のサンプリングを実
施する。
を、1200画素/インチ、8ビット単色とすると、サ
ンプリング装置14は、2400画素×2400画素の
範囲を6箇所分、256階調で抽出する。抽出された画
像情報は、一旦、FFT用画像メモリ16に格納され
る。
リ16に格納される画像情報を高速フーリエ変換し、6
つの周波数成分の和をDC成分で規格化する。なお、F
FT変換装置18には、詳細な説明は省略するが、サン
プリング領域がモノトーン画像のように画像情報が極端
に少ない領域である場合には、その領域のFFT変換結
果を無視するシーケンスが組み込まれている。統計処理
装置20がFFT変換装置18のフーリエ変換係数を統
計処理して画像の縦横での品質を判定する。
理装置20までの部分の動作フローチャートを示す。前
述したように、イメージ・スキャナ10により取り込ま
れた画像から、2×2インチの領域を6箇所、サンプリ
ングし、FFT用画像メモリに格納する(S1)。
する(S2)。画像の情報量が十分かどうか調査し(S
3)、情報量が十分である領域のフーリ変換係数のみを
重ね合わせる(S4)。モノトーン画像では、画像の品
質を算出出来ないので、モノトーン画像部分は画像品質
の判定に使用しない。
向について検討する。即ち、まず縦方向について、周波
数fが第1の周波数f0以上で第2の周波数f1以下の
領域のフーリエ変換係数の和を演算し、変数Svに代入
する(S5)。Svが縦方向の品質を示す。同様に、横
方向についても周波数fが第1の周波数f0以上で第2
の周波数f1以下の領域のフーリエ係数の和を演算し、
変数Shに代入する(S6)。Shは横方向の品質を示
す。
相当の周波数、f1を400画素/インチ相当の周波数
としている。前述のように、イメージ・スキャナ10の
読み取り解像度が1200画素/インチであるので、フ
ーリエ変換後の最高周波数であるナイキスト周波数は、
標本化周波数である1200画素/インチの半分の60
0画素/インチである。図2及び図3から、第1の周波
数f0はナイキスト周波数の1/2〜1/5倍程度が望
ましく、第2の周波数f1はナイキスト周波数の付近よ
りやや小さい方が良いことが分かる。換言すると、第1
の周波数f0をイメージ・スキャナ10の読み取り解像
度1200画素/インチの1/4〜1/10倍程度の周
波数とし、第2の周波数f1をイメージ・スキャナ10
の読み取り解像度1200画素/インチの1/2未満の
周波数とすることで、正確な品質を判定できる。
△S(=Sv−Sh)を求め(S7)、ΔSの正負によ
り縦横のどちらが品質が高いかを判定する(S8)。即
ち、△Sが正のとき、すなわち、縦方向の品質係数Sv
が横方向の品質係数Shよりも高い時、縦方向の画像品
質が高く、横方向の品質が相対的に低いと判断する。逆
に△Sが負の場合は、縦方向の画像品質が低く、横方向
の画像品質が高いと判断する。
演算で縦方向と横方向の画像品質の良否を比較できる。
に示す。まず縦方向について、周波数fがf0以下の領
域の係数の和を演算してD1とする(S11)。D1を
縦方向の画像情報係数と呼ぶ。同様に横方向について
も、周波数fがf0以下の領域の係数の和を演算し、D
2とする(S12)。D2を横方向の画像情報係数と呼
ぶ。そして縦横の画像情報係数D1,D2について、そ
れぞれ所定量以上あるか否かを判断し(S13,S1
4)、共に所定量以上あれば、注目する画像領域は十分
な情報量を具備すると判定し、D1、D2のいずれかで
も所定量未満の場合には、十分な情報を具備しないと判
定する(S15)。
の出力画像信号から、原稿の縦横の画像品質を判定でき
る。次に、この判定結果に従って符号化情報を適応的に
制御して、イメージ・スキャナ10の出力画像信号を圧
縮符号化する部分の構成と動作を説明する。
記憶されるラスタ画像データを8画素×8画素からなる
ブロックに分割し、ブロック順に出力する。カラー画像
の場合、画像信号を輝度成分と色度成分に分解した後、
しばしば色度の間引きが行われるのは、従来例と同じで
ある。輝度成分と間引きされた色度成分は、以降、復号
されるまでお互いに影響することなく独立して同じよう
に処理される。
ブロック化回路22からのブロック毎の画像データを離
散コサイン変換する。量子化回路26は、量子化テーブ
ル28及びスケール・ファクタ30を参照して、DCT
回路24の出力(DCT係数)を量子化する。本実施例
では、量子化テーブル28の各値は、画像品質の判定結
果(統計処理回路20の出力)に従って決定される。ス
ケール・ファクタ30は従来例と同様に決定される。量
子化回路26は、量子化テーブル28とスケール・ファ
クタ30の積でDCT係数を除算することで、DCT係
数を量子化する。
波成分を縮小又は0とされたDCT係数は、そのDC成
分及びAC成分に分離されて、差分回路32及び可変長
符号化回路34により従来例と同様に処理される。
8の例を示す。このように3種類の量子化テーブルを用
意し、それらの1つを統計処理装置20の判定結果によ
り選択する。
Shの差△Sが0を挟んでそれほど大きな値ではない場
合、即ち、縦横の品質が大きくかけ離れていない場合の
量子化テーブルを示す。図7は、△Sが−aより小さい
場合、即ち、縦方向の品質劣化が横方向よりもある程度
大きい場合を示し、図8は、△Sがaより大きい場合、
即ち、横方向の品質劣化が縦方向よりもある程度大きい
場合を示す。
第1行のA,B,C,D,E,F,G,Hは横方向のテ
ーブル位置を示し、第1列の1,2,3,4,5,6,
7,8は縦方向のテーブル位置を示す。テーブルの要素
は、便宜上、(横位置,縦位置)で表現する。(A,
1)、(B,1)、(C,1)、(D,1)、(E,
1)、(F,1)、(G,1)、(H,1)、(A,
2)、(B,2)、(C,2)、・・・、(F,8)、
(G,8)及び(H,8)の64個の要素からなる。
(A,1)は、DCT係数のDC成分に対応するテーブ
ル要素となる。横方向では、テーブルの右側、縦方向で
はテーブルの下側ほど、DCT係数のより高い周波数成
分に対応するテーブル要素となる。
いので、一般的な量子化テーブルを用いている。図6に
示す量子化テーブルは、基本的には、高周波成分に対応
する要素ほど値が大きくので、量子化により、高い周波
数のDCT係数ほど、小さい値になる。値が小さくなる
と、後段のハフマン符号化及びランレングス符号化によ
る圧縮効率が向上する。
おける要素の値増加率に比べ、縦方向における各要素の
値増加率が大きく、かつまた、縦方向のより高い周波数
成分に対応する要素ほど、より大きな値に設定されてい
る。縦方向の要素が大きく設定されているので、対応す
るDCT係数は横方向よりも小さくなるように量子化さ
れ、従って、ハフマン符号化及びランレングス符号化の
圧縮効率を高くなる。もともと、縦方向の画像品質が横
方向よりも悪い画像であるから、縦方向の圧縮効率を高
めても支障無い。
逆に、縦方向における各要素の値の増加率に比べ、横方
向における各要素の値増加率が大きく、かつまた、横方
向のより高い周波数成分に対応する要素ほど、より大き
な値に設定されている。このような量子化テーブルを使
用することにより、横方向の圧縮効率を高くすることが
できる。
タ30の値は一定として、量子化テーブル28を画像品
質の判定結果により調整又は変更しているが、逆に、量
子化テーブル28を1種類とし、画像品質の判定結果に
よりスケール・ファクタ30を複数の一次元配列から選
択するようにしても、同様の作用効果を得られることは
明らかである。
確認してみた。原稿画像は、DTP作業で作成したベク
トル画像を電子写真方式のプリンタで出力したA4サイ
ズの画像である。顕微鏡等で原稿画像を拡大すると、通
紙方向の画像劣化を確認できた。この原稿画像を、縦横
共1200DPIでイメージ・スキャナにより読み取っ
た元画像は、約130MBのデータ量であった。これを
単一の量子化テーブルを持つ従来例では約1/27に圧
縮できたのに対し、本実施例では、図7又は図8に示す
量子化テーブルを使用することにより約1/45に圧縮
できた。
ディスプレイ上に表示して、画質を主観的に評価した。
最終的に画像を評価するのは人であり、JPEG圧縮方
式は、人の眼の周波数特性を利用している点で、むしろ
好ましい評価方法である。CRTディスプレイ上で、倍
率を変えずに確認すると、元画像、従来例の圧縮方法の
画像及び本実施例の圧縮方法の画像間で有為な差が認め
られなかった。CRTディスプレイ上で5倍に拡大する
と、元画像に比べ、従来例による画像及び本実施例によ
る画像共に高周波成分が縮小される分、ややボケが認め
られたが、従来例と本実施例との間に有為な差は認めら
れなかった。より高い倍率では、本実施例の画像の圧縮
率が従来例よりも高いので、画像の劣化が従来例よりも
顕著になると想像されるが、そもそも人が目視で、すな
わち1倍で確認する分には何ら差が無いことが確認され
たといえる。
7及び図8の方が大きいので、図7又は図8に示す量子
化テーブルを使用したほうが図6に示す量子化テーブル
を使用するよりも高い圧縮率を達成できることは容易に
想像される。しかし本実施例では、8画素×8画素の1
ブロックではなく、原稿画像の全体から原稿画像全体の
縦横の画像品質を判別している。そして、本実施例で
は、縦横の画像品質から相対的に劣化している方向の画
像品質は、より高い圧縮率でも、目視観察の範囲では、
伸長後の画像の画像品質にほとんど影響しないことに着
目している。図2及び図3に示したように、劣化した原
稿画像には高周波成分が多く含まれている。この高周波
成分の多くが画像劣化によるノイズであるので、むしろ
これを保持しないことが、圧縮率の向上と同時に、伸長
した画像の品質を高めることにもつながる。即ち、画質
を高めることにつながる。
対応する量子化テーブルを3種類用意したが、本発明
は、3種類の量子化テーブルに限定されるものではな
く、2種類又は4種類以上でも差し支えない。また、量
子化テーブル28の図6、図7及び図8に示す数値例に
限定されるものではなく、あくまで縦横方向の画像品質
に応じて縦横の量子化テーブルを調整したものであれば
よい。
の画像品質の判定結果に応じて変更するようにしてもよ
い。例えば、量子化回路26で実際に適用するスケール
・ファクタを、変数Sに定数Cを乗算したものとする。
そして、△S≦0のときS=Sh、△S>0のときS=
Svとする。定数Cは経験的に又は実験で定める。S
は、縦横方向の画像品質のうち、劣化していない方向の
品質係数である。劣化していない方向の品質係数を用い
ることで、必要以上にスケール・ファクタを大きくする
ことがなく、従って、必要な情報を無くすほどに圧縮率
を高めてしまうことが無い。縦横方向ともに画像が劣化
している場合には、スケール・ファクタをある程度大き
くすることが可能となり、量子化による圧縮効率が向上
する。
画像について実際に、本実施例の効果を確認してみた。
表1に示すように、縦横共に劣化の少ない原稿画像に対
しては、単一の量子化テーブルを使用する従来例、縦横
の画像品質に従い図6、図7及び図8に示す量子化テー
ブルを選択する実施例、及び、スケール・ファクタを品
質係数で変調する実施例のどれでも、約1/22の圧縮
率であったものが、縦横の何れか一方が他方よりも大き
く劣化している原稿画像に対しては、それぞれ、約1/
27、約1/45及び約1/45の圧縮率であり、縦横
共に劣化している原稿画像に対しては、それぞれ約1/
33、約1/56、約1/56であった。劣化が多くな
るに従い圧縮率が上昇するのは、原稿画像が劣化するに
従い、1ブロック内の高周波成分が少なくなるので、量
子化後のDCT係数が0に近づきがちになるからであ
る。
テーブルを選択する実施例では、原稿画像の縦横方向の
どちらかに劣化を生じている場合に、量子化テーブルを
変更するので、この時のみ圧縮率が高まる。スケール・
ファクタを品質係数で変調する実施例では、量子化後の
データが0に近づきやすくなるので、さらに圧縮率が高
くなる。
縦横方向の画像品質に応じた変調を施すことで、圧縮率
を高める実施例を説明する。図9は、その実施例の圧縮
符号化装置の概略構成ブロック図を示す。ジグザグスキ
ャン時の処理以外は、図1に示す実施例と同じである。
記憶されるラスタ画像データを8画素×8画素からなる
ブロックに分割し、ブロック順に出力する。カラー画像
の場合の処理は、図1の場合及び従来例と同じである。
らのブロック毎の画像データを離散コサイン変換する。
量子化回路44は、量子化テーブル46及びスケール・
ファクタ48を参照して、DCT回路42の出力(DC
T係数)を量子化する。量子化されたDCT係数のDC
成分は、差分回路50に印加されて、隣のブロックのD
C成分との差に変換されて可変長符号化回路54に供給
される。AC成分については、ジグザグスキャン順序設
定回路52が、量子化されたDCT係数のジグザグ・ス
キャン順序を、縦横の画像品質(統計処理装置20の出
力)に従って設定し、量子化回路44は、設定されたジ
グザグ・スキャン順序でDCT係数のAC成分を可変長
符号化回路54に供給する。
選択可能なジグザグ・スキャンのパターンを示す。図1
0は、縦方向と横方向の品質係数Sv,Shの差△Sが
−a以上でa以下の場合、即ち、0を挟んでそれほど大
きな値ではなく、縦横の品質が大きくかけ離れていない
場合のジグザグスキャンの順序を示す。図11は、△S
が−aより小さく、従って縦方向の品質劣化が横方向よ
りも顕著である場合を示し、図12は、△Sがaより大
きく、従って、横方向の品質劣化が縦方向よりも顕著で
ある場合をそれぞれ示している。図10、図11及び図
12で、(a)は、8行8列の行列要素の読み出し順序
を1〜63の数値で示し、同(b)はスキャン・パター
ンの模式図を示す。
の(A,1)はDC成分になるので、ジグザグ・スキャ
ンの対象にはならない。先に説明したように、横方向で
は、この行列の右側ほど周波数が高くなり、縦方向では
下側ほど周波数が高くなる。
スキャンであり、基本的に縦横に偏重することなく、低
周波成分から高周波成分に向かって順番に読み出すよう
な順序になっている。量子化テーブル及びスケールファ
クタで除算されたDCT係数は、量子化テーブルの構成
上、高周波成分が0になるか、又は0に近づくので、高
周波側ほど0が並ぶことになる。このため、ジグザグス
キャンの後半、すなわち行列の右下側では0が並ぶこと
になり、後のハフマン符号化及びランレングス符号化時
において高効率な圧縮を期待できる。
る場合、図11に示すスキャン・パターンを採用する。
このパターンでは、比較的横方向を優先してジグザグ・
スキャンする。このようにすると、縦方向の高周波成分
の多くが0の場合に0の並びが続きやすくなり、ハフマ
ン符号化及びランレングス符号化における圧縮率が向上
する。
ている場合には、図12に示すスキャン・パターンを採
用する。このスキャン・パターンでは、比較的縦方向を
優先してジグザグ・スキャンする。このようにすると、
横方向の高周波成分の多くが0の場合に0の並び続きや
すくなり、ハフマン符号化及びランレングス符号化にお
ける圧縮率が向上する。
す情報は、圧縮画像データを搬送するストリーム・デー
タのヘッダ情報などに含めて、一緒に伝送される。
を変調する実施例、縦横の画像品質によりジグザグ・ス
キャンのパターンを調整する実施例、及びこれらを両方
利用した実施例の、3種類の実施例を従来例と比較して
みた。原稿画像は、DTP作業で作成したベクトル画像
を電子写真方式のプリンタで出力したA4サイズの画像
である。顕微鏡等で原稿画像を拡大すると、通紙方向の
画像劣化をしていることが確認できた。この原稿画像を
縦横共1200DPIで読み取った元画像は、画像メモ
リ上で約130MBであった。これを、図10のスキャ
ン・パターンの従来例で圧縮したところ、1/27に圧
縮できた。縦横の画像品質によりスケール・ファクタを
変調する実施例では約1/45に圧縮でき、縦横の画像
品質によりジグザグ・スキャンのパターンを調整する実
施例では約1/35に圧縮できた。縦横の画像品質によ
りスケール・ファクタとジグザグ・スキャン・パターン
の両方を選択又は調整する実施例では、約1/56に圧
縮できた。
択する技術と組み合わせることも可能であり、そのよう
にすることで、より一層の圧縮率の改善を期待できる。
理装置に関する本発明の実施例の概略構成ブロック図を
示す。図1と同じ構成要素には同じ符号を付してある。
画像データを画像メモリ12に格納し、サンプリング装
置14、FFT用画像メモリ、FFT変換装置及び周波
数成分統計処理装置20により、サンプリングした画像
を高速フーリエ変換して縦横方向の画像品質を判定する
のは、図1と同じである。
ロック化回路22乃至可変長符号化回路34からなり、
縦横の画像品質に従って、画像メモリ12の画像データ
を圧縮符号化する。圧縮された画像データは、記憶装置
62に記憶され、また、送受信装置64におり遠隔地に
送信される。圧縮符号化装置66は、記憶装置62又は
送受信装置64からの圧縮画像データを伸長して、画像
メモリ12に格納する。
は、画像出力(表示及び印刷など)のために読み出さ
れ、エッジ処理装置68を介して、又は、スムージング
処理装置70及びエッジ処理装置68を介して画像出力
装置72に供給される。エッジ処理装置68とスムージ
ング処理装置70は共に、縦横の画像品質の判定結果を
参照して、エッジを処理し、スムージングする。画像出
力装置72は例えば、プリンタ、CRTディスプレイ及
び液晶表示パネルなどである。
データは、既に縦横の画像品質が考慮されているので、
スムージング処理装置70を経る必要が無く、従って、
エッジ処理装置68によるエッジ処理のみで画像出力装
置72に印加される。他方、イメージ・スキャナ10か
ら取り込まれただけの画像を画像出力する場合には、ス
ムージング処理装置70でその画像を一部変調した後、
エッジ処理装置68でエッジ処理して画像出力装置72
に供給する。
すように、着目画素M(x,y)について畳み込み演算
によるフィルタ処理を施す。ここで横方向をx軸、縦方
向をy軸とし、縦横方向の位置を(x,y)で表現す
る。フィルタ処理は、一般にオペレータPと呼ばれる一
次元又は二次元の配列と着目画素M(x,y)及びその
周辺の画素との間の畳み込み演算で実現される。変換後
の画素値をm(x,y)とする。スムージング処理装置
70では、このオペレータPを縦横の画像品質に従って
変調する。
ペレータPの例を示す。図15(a)〜(c)は縦方向
のオペレータを示し、図15(d)〜(f)は横方向の
オペレータを示す。縦方向のオペレータは、画像品質S
vによって変更され、横方向のオペレータは画像品質S
hによって変更される。各オペレータの要素内の数値
は、着目画素周辺の画素との畳み込み演算における重み
係数である。オペレータの大きさによって、着目画素の
隣り合う画素の数が変わり、スムージングの強さが変更
される。
所定値b1未満の場合、図15(b)は所定値b1以
上、所定値b0未満の場合、図15(c)は所定値b0
以上の場合をそれぞれ示す。所定値b1及びb0は、い
うまでもなくb1<b0の関係があり、品質係数を割り
振る閾値である。たとえば、縦方向の画像品質Svの値
が小さい場合、即ち、縦方向の画像が著しく劣化してい
るような場合には、図15(a)に示すような大きなオ
ペレータが用いられ、強いスムージングが施される。逆
に縦方向の画像品質Svの値が大きい場合、即ち、縦方
向の画像の劣化が少ない場合には、図15(c)に示す
ように1つの要素しかなく、事実上スムージング処理は
実行されない。
(d),(e),(f)に示すように3種類のオペレー
タが用意され、横方向の画像品質Shに応じて適用すべ
きオペレータPを変更する。
は縦横それぞれについて個別に実行される。着目画素M
(x,y)と変換画素m(x,y)の関係は、次式で表
現される。即ち、縦方向について、Sv<b1の場合、 m(x,y)=(M(x,y−2)×1+M(x,y−
1)×2+M(x,y)×3+M(x,y+1)×2+
M(x,y+2)×1)/9 b1≦Sv<b0の場合、 m(x,y)=(M(x,y−1)×1+M(x,y)
×2+M(x,y+1)×1)/4 b0<S1の場合、 m(x,y)=M(x,y) である。
y)×2+M(x,y)×3+M(x+1,y)×2+
M(x+2,y)×1)/9 b1≦S2<b0の場合、 m(x,y)=M(x−1,y)×1+M(x,y)×
2+M(x+1,y)×1)/4 b0<S2の場合、 m(x,y)=M(x,y) である。
ッジ処理装置68は、縦横の画像品質に従うフィルタ処
理により高周波成分を変調する。図16は、エッジ処理
装置68におけるオペレータの数値例を示す。図16
(a),(b),(c)は縦方向のオペレータ、図16
(d),(e),(f)は横方向のオペレータをそrて
ぞれ示す。縦方向のオペレータは、画像品質係数Svに
よって分けられ、横方向のオペレータは、画像品質係数
Shによって分けられている。図16で、各オペレータ
の要素内の数値は、着目画素周辺の画素との畳み込み演
算に使用される重み係数である。オペレータの大きさに
よって、着目画素の隣り合う画素の数がかわり、エッジ
処理の強さが変更される。
所定値b1未満の場合、図16(b)は所定値b1以
上、所定値b0未満の場合、図16(c)は、所定値b
0以上の場合をそれぞれ示す。例えば、縦方向の画像品
質Svの値が小さい場合、即ち縦方向の画像品質が著し
く劣化しているような場合には、図16(a)に示すよ
うな大きなオペレータでエッジ処理が行なわれる。逆に
縦方向の画像品質Svの値が大きい場合、即ち、縦方向
の画像の劣化が少ない場合には、図16(c)に示すよ
うに1つの要素しかないオペレータ使用され、事実上エ
ッジ処理は実行されない。
(d),(e),(f)に示すように3種類のオペレー
タが用意され、横方向の画像品質Shに応じて適用すべ
きオペレータQを変更する。
縦横それぞれについて個別に実行される。着目画素N
(x,y)と変換画素n(x,y)の関係は、次式で表
現される。即ち、縦方向について、Sv<b1の場合、 n(x,y)=N(x,y−2)×(−2)十N(x,
y−1)×1+N(x,y)×3+N(x,y+1)×
1+N(x,y+2)×(−2) b1≦Sv<b0の場合、 n(x,y)=N(x,y−1)X(−1)十N(x,
y)×3+N(x,y+1)×(−1) b0<Svの場合、 n(x,y)=N(x,y) である。
1,y)×1+N(x,y)×3+N(x+1,y)×
1+N(x+2,y)×(−2) b1≦Sh<b0の場合、 n(x,y)=(N(x−1,y)×(−1)十N
(x,y)×3+N(x+1,y)×(−1) b0<S2の場合、 n(x,y)=N(x,y) である。
ビット表記よりオーバーしないように負の場合は0に、
256以上の値になる場合は255にしていることはも
ちろんである。
ージング処理の効果を実際の画像で確認してみた。その
結果を図17に示す。スムージング処理1は、図15
(b)又は(e)に示すオペレータを使用したスムージ
ング処理であり、エッジ処理1は、図16(b)又は同
(e)に示すオペレータを用いたエッジ処理である。同
様にスムージング処理2は、図15(a)又は同(d)
に示すオペレータを用いたスムージング処理で、エッジ
処理2は図16(a)又は同(d)に示すオペレータを
使用したエッジ処理である。図17に示す表は、各処理
における周波数別のフィルタ効果を示している。
像をサンプリングしているので、低周波領域を150画
素/インチ以下、中周波領域を300画素/インチ付
近、高周波領域を600画素/インチまでの領域として
いる。各領域でスムージング処理装置70による縮小具
合と、エッジ処理装置68による拡大具合は図17に示
すような傾向を有している。画像劣化が中程度の場合、
高周波領域の原稿画像はそもそも画像信号として有効で
はなく、スムージング処理1で縮小している。その分、
中周波数領域を中心にエッジを強調することで、見た目
の画質を補償できる。また、画像劣化が著しい場合は、
スムージング処理2により高周波領域の大部分が縮小す
る。画像劣化が著しい場合には、先に説明したように、
画像の広範囲内で本来値が小さい傾向にあり、大きな値
はその信憑性が疑われるからである。エッジ処理2によ
って低周波領域のエッジを強調して、見た目の画質を改
善できる。
り12に記憶される画像データが、圧縮符号化装置66
におり復元されたものである場合、既に圧縮行程で画像
がスムージング処理され、かつ縦横方向の画像品質に応
じた周波数領域毎の縮小も実施されているので、改めて
スムージング処理装置70によるスムージング処理を実
行する必要性は少ない。従って、この場合は、エッジ処
理装置68によるエッジ処理のみで十分である。
ッジ処理による画質(主観評価)の変化を示しており、
イメージ・スキャナ10の読み取り画像と、画像出力装
置72により紙に出力した画像との間で画質を評価した
ものである。ここでは、紙に出力した画像を改めて原稿
画像としてイメージ・スキャナ10で読み取り、画像出
力装置72で出力するということを繰り返したものも同
時に表記した。実際の使用では、このように読み取りと
出力を繰り返し行うことがしばしば起こり得るからであ
る。画質は、1倍の肉眼観察と、出力紙上の画像を5倍
ルーペで見る拡大観察の両方で評価した。
出力したもので、20倍以上の顕微鏡等で確認すると、
縦方向に画像品質が劣化しているものである。この原稿
をイメージ・スキャナ10で読み取り、画像形成装置7
2により出力すると、肉眼による1倍の評価では、従来
例でも本実施例でも、縦横方向とも画像の劣化を確認で
きなかった。しかし、ルーぺで5倍に拡大して観察する
と、従来例では縦方向に画像の劣化が見られた。これ
は、元々の原稿が持っていた微少な画像劣化が画像形成
装置72による再出力で増幅したためと考えられる。こ
れに対し、本実施例では、スムージング処理装置70で
縦方向の余分な劣化を一時的に削除し、かつエッジ処理
装置68により画像信号の濃度変動をシャープ化してい
るので、従来例に比べ劣化しづらく、既存の劣化も効果
的に補償できる。
取りと画像形成装置72による出力を5回繰り返すと、
従来例では、肉眼による1倍観察でも縦方向の画像劣化
が確認できるようになる。5倍に拡大すると明らかに劣
化が著しいことがわかった。ところが本実施例では、肉
眼の1倍観察でも劣化が少なく、5倍に拡大しても劣化
が目立たずかつ縦横の劣化の差もほとんどない画像を得
ることができた。
ジ処理装置68で用いるオペレータの個数及び各係数の
大きさは、スムージング処理とエッジ処理を画像品質に
応じて適切に実行できるものならば、その個数及び各係
数の大きさは、上記例に限定されない。
トウエア又はハードウエアで実現できることは明らかで
ある。
に、本発明によれば、二次元ラスタ画像の縦横方向の画
像品質を判定できる。この縦横方向の画像品質を考慮し
て画像情報を圧縮符号化することで、画質を実質的に低
下させずに高い圧縮率を達成できる。例えば、縦横方向
の画像品質に応じて量子化テーブル、スケール・ファク
タ及び/又はジグザグスキャンの読み取り順序を変更す
る。
スムージング及びエッジ処理等の前処理で縦横方向の画
像品質に応じた処理を施すことにより、画像劣化を目立
たせ無くすることができる。例えば、画像読み取りと画
像出力を繰り返し行なっても、画像劣化が目立たないよ
うにできる。
る。
果である。
果である。
までの部分の動作フローチャートである。
Sが0を挟んでそれほど大きな値ではない場合の量子化
テーブル28の一例である。
きい場合の量子化テーブル28の一例である。
きい場合の量子化テーブルの一例である。
画像品質に応じた変調を施す圧縮符号化装置の概略構成
ブロック図である。
△Sが0を挟んでそれほど大きな値ではない場合のジグ
ザグ・スキャンの順序を示す。
る場合のジグザグ・スキャンの順序を示す。
る場合のジグザグ・スキャンの順序を示す。
する本発明の実施例の概略構成ブロック図である。
である。
の例である。
数値例である。
ージング処理の効果の確認結果である。
よる画質(主観評価)の変化である。
ムの概略構成ブロック図である。
図である。
図である。
の画像濃度の変化である。
の画像濃度の変化である。
Claims (10)
- 【請求項1】 入力ラスタ画像信号の縦方向及び横方向
の画像品質を判定する画像処理装置であって、 当該入力ラスタ画像の少なくとも1つの領域でその周波
数特性を算出する周波数特性算出手段と、 当該周波数特性算出手段により算出された、縦方向及び
横方向の周波数成分を第1及び第2の周波数と比較する
周波数比較手段と、 当該周波数比較手段の比較結果に従い当該入力ラスタ画
像の縦横方向の画像品質を判定する判定手段とからなる
ことを特徴とする画像処理装置。 - 【請求項2】 当該第1の周波数が当該入力ラスタ画像
の画像ソースの解像度の1/4乃至1/10倍の周波数
であり、当該第2の周波数が当該画像ソースの解像度の
1/2未満の周波数である請求項1に記載の画像処理装
置。 - 【請求項3】 更に、当該判定手段の判定結果に応じた
圧縮条件で、当該入力ラスタ画像を圧縮符号化する圧縮
符号化手段を具備する請求項1に記載の画像処理装置。 - 【請求項4】 当該圧縮符号化手段が量子化手段を含
み、当該量子化手段の量子化テーブルが、当該判定手段
の判定結果に応じて選定される請求項3に記載の画像処
理装置。 - 【請求項5】 画像品質が低下している方向ほど当該量
子化テーブルの値を大きくする請求項4に記載の画像処
理装置。 - 【請求項6】 当該圧縮符号化手段が量子化手段を含
み、当該量子化手段のスケール・ファクタが、当該判定
手段の判定結果に応じて選定される請求項3に記載の画
像処理装置。 - 【請求項7】 画像品質が高い方向の周波数成分に従っ
て当該スケール・ファクタを決定する請求項6に記載の
画像処理装置。 - 【請求項8】 更に、当該判定手段の判定結果に応じた
圧縮条件で、当該入力ラスタ画像を圧縮符号化するJP
EG方式の圧縮符号化手段を具備し、当該判定手段の判
定結果に応じてジグザグ・スキャンの順序を選定する請
求項1に記載の画像処理装置。 - 【請求項9】 画像品質の高い方向で、当該ジグザク・
スキャンの順序を優先する請求項8に記載の画像処理装
置。 - 【請求項10】 更に、出力すべきべ画像の周波数成分
を、当該判定手段の出力に従い増減する処理手段を具備
する請求項1乃至9の何れか1項に記載の画像処理装置
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33041097A JP3733225B2 (ja) | 1997-12-01 | 1997-12-01 | 画像処理装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33041097A JP3733225B2 (ja) | 1997-12-01 | 1997-12-01 | 画像処理装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11164142A true JPH11164142A (ja) | 1999-06-18 |
JP3733225B2 JP3733225B2 (ja) | 2006-01-11 |
Family
ID=18232297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33041097A Expired - Fee Related JP3733225B2 (ja) | 1997-12-01 | 1997-12-01 | 画像処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3733225B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6912252B2 (en) | 2000-05-08 | 2005-06-28 | Mitsubishi Heavy Industries, Ltd. | Distributed communicating system, distributed communication data, distributed transmitting means and distributed receiving means |
CN100361495C (zh) * | 2004-06-23 | 2008-01-09 | 夏普株式会社 | 图像处理方法、图像处理装置、图像形成装置 |
US7433867B2 (en) | 2000-03-24 | 2008-10-07 | Sony Corporation | Information processing apparatus, information delivery system, information processing method, and recording medium |
JP2009278303A (ja) * | 2008-05-14 | 2009-11-26 | Nec Electronics Corp | 画像処理方法、画像処理装置 |
-
1997
- 1997-12-01 JP JP33041097A patent/JP3733225B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7433867B2 (en) | 2000-03-24 | 2008-10-07 | Sony Corporation | Information processing apparatus, information delivery system, information processing method, and recording medium |
US6912252B2 (en) | 2000-05-08 | 2005-06-28 | Mitsubishi Heavy Industries, Ltd. | Distributed communicating system, distributed communication data, distributed transmitting means and distributed receiving means |
CN100361495C (zh) * | 2004-06-23 | 2008-01-09 | 夏普株式会社 | 图像处理方法、图像处理装置、图像形成装置 |
JP2009278303A (ja) * | 2008-05-14 | 2009-11-26 | Nec Electronics Corp | 画像処理方法、画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3733225B2 (ja) | 2006-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6421468B1 (en) | Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation | |
JP4714668B2 (ja) | 圧縮された画像の画質の向上 | |
US7139437B2 (en) | Method and system for removing artifacts in compressed images | |
US6259823B1 (en) | Signal adaptive filtering method and signal adaptive filter for reducing blocking effect and ringing noise | |
de Queiroz | Processing JPEG-compressed images and documents | |
EP2149860B1 (en) | Image processing unit, noise reduction method, program, and storage medium | |
EP0771507B1 (en) | Method and apparatus for reduction of image data compression noise | |
EP0933947B1 (en) | Adaptive quantization compatible with the JPEG baseline sequential mode | |
US6608928B1 (en) | Generic pre-processing of mixed raster content planes | |
JP3848443B2 (ja) | 圧縮デジタルデータ処理方法 | |
US7194143B2 (en) | Method of enhancement of the visual display of images and other visual data records | |
EP1408448B1 (en) | Image processing method, image processing apparatus, image processing program and image recording apparatus | |
US6823089B1 (en) | Method of determining the extent of blocking and contouring artifacts in a digital image | |
EP1213684A2 (en) | Image data compression method and system | |
US20030007561A1 (en) | Image encoding apparatus and method, program code, and storage medium | |
JPH08274998A (ja) | カラー画像を伝送する装置 | |
US6643410B1 (en) | Method of determining the extent of blocking artifacts in a digital image | |
JP2001143066A (ja) | 画像処理装置、画像処理システム及び記憶装置、画像処理方法、並びに記憶媒体 | |
JP2003348328A (ja) | ウェーブレット係数を用いた非線形画像処理方法、装置及びプログラム | |
EP1441309A2 (en) | Processing image signals using a dyadic wavelet transform | |
JP3733225B2 (ja) | 画像処理装置及び方法 | |
EP1006714A2 (en) | Method of processing mixed raster content planes | |
US7574055B2 (en) | Encoding documents using pixel classification-based preprocessing and JPEG encoding | |
US6968082B2 (en) | Resolution dependent image compression | |
JP3279324B2 (ja) | データフィールド画像圧縮方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |