JPH07193719A - 鮮鋭度の変更方法及び装置 - Google Patents

鮮鋭度の変更方法及び装置

Info

Publication number
JPH07193719A
JPH07193719A JP6267449A JP26744994A JPH07193719A JP H07193719 A JPH07193719 A JP H07193719A JP 6267449 A JP6267449 A JP 6267449A JP 26744994 A JP26744994 A JP 26744994A JP H07193719 A JPH07193719 A JP H07193719A
Authority
JP
Japan
Prior art keywords
sharpness
image
signal
filter
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6267449A
Other languages
English (en)
Other versions
JP3759761B2 (ja
Inventor
Reiner Eschbach
エッシュバッハ ライネル
William A Fuss
エイ.ファス ウィリアム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JPH07193719A publication Critical patent/JPH07193719A/ja
Application granted granted Critical
Publication of JP3759761B2 publication Critical patent/JP3759761B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【目的】 電子的に符号化された自然景観画像の複製
の鮮鋭度を変更する方法及び装置。 【構成】 初期に且つ任意に、画像はTRC補正され
るので、画像の高周波要素がTRC補正装置200で鮮
鋭度を補正する前にコントラスト及び/又は露光のため
に全体的に補正される。次に局所鮮鋭度Δは、鮮鋭度評
価装置204で画像から評価される。鮮鋭度評価Δは、
Δmod を得るように、複数の鮮鋭度評価を用いて変更装
置(modifier)206で任意に変更される。1つの可能な
変更は、最大ステップ高さと5%のステップ高さ(ステ
ップ高さの最大5%の最少高さ)でΔを計算することで
ある。Δの出力値は、鮮鋭度フィルタ用のフィルタ係数
を得るために、係数計算機207で使用される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、絵的な景観(pictorial
scene) を備えるデジタル符号化画像の外観を改良する
ための方法及び装置を提供することであって、更に詳細
には絵的な景観を備えるデジタル符号化画像内の鮮鋭度
(sharpness) を向上させるための方法及び装置に関す
る。
【0002】
【従来の技術及び発明が解決しようとする課題】画像に
成され得る一つの改良は、画像の鮮鋭度を補正すること
である。デジタル表現された画像及び画像一般の一般的
な欠点は、鮮鋭度が画像の外観によって”良好”とみな
されるだろうよりも低いことである。この矛盾は、焦点
(フォーカス)の画像走査から僅かに外れること、質の
悪いオリジナル写真、又は単にユーザの期待や好みに起
因するものであり得る。焦点やモーション(運動)のぶ
れ等、画像の実際のぶれ(ぼやけ)を測定し補正するこ
とは提案されないが、画像は画像の実際の鮮鋭度とは別
にユーザの期待にあうように変更可能である。又、この
関数(機能)は、次の鮮鋭度向上(強調)(enhancemen
t) が更なる画像の変更をもたらさない様な方法で実行
されることが重要である。
【0003】鮮鋭度の不足を特徴付ける一つの方法は、
画像の局所領域(ローカルエーリア)に鮮明なコントラ
ストが不足しているということである。一方、画像の最
大局所コントラストは鮮鋭度不足についてのいくつかの
情報、及び従って鮮鋭度不足を補正するためのフィルタ
についてのいくつかの情報を提供する。鮮鋭度不足の別
の特徴は、画像が鮮鋭(シャープ)であるとみなされる
様に、画像のある部分に微細な細部を要求することであ
る。非常に多くの数のエッジを備える微細で細かな対象
物と顔との比較を、しばらく思い浮かべよ。完全に焦点
を合わせられた顔はエッジを欠くが、画像内のどこかに
ある対象物、おそらく目の中の反射や微細な髪の毛等が
あり、その対象物で画像内の最大限のコントラストを測
定できる。
【0004】
【課題を解決するための手段と作用】本発明の一態様に
従えば、電子的に符号化された自然景観画像の複製にお
ける鮮鋭度を変更する方法であって、a)信号を輝度−
クロミナンス信号フォーマットに変換するステップであ
り、少なくとも1つの信号が全体の画像の明るさ(明
度、強度)(intensity) を示す前記変換ステップと、
b)画像内の最大局所コントラストを決定するステップ
と、c)最大局所コントラストを予め定められた目標値
まで増大させると共に、他の全局所コントラストをその
最大局所コントラストに比例する量へ増大させる、画像
に使用可能なフィルタ関数を決定するステップと、d)画
像の鮮鋭度を増すように、決定されたフィルタ関数を画
像に適用するステップと、を含む。
【0005】本発明の別の態様に従えば、画像は事前の
フィルタリング(prefiltering)ステップを含み、高パス
フィルタで画像をフィルタリングし、次に鮮鋭度向上方
法、及び任意ではあるがノイズフィルタで画像に動作す
る。
【0006】更に本発明の別の態様に従えば、最大局所
コントラストは、比較的大きな領域に関して重み付け(w
eighted)方法で平均化された幾つかの局所決定(local d
etermination) の関数として決定されることも可能であ
る。
【0007】本発明は、局所領域のコントラストを決定
し、該コントラストを予め定められた目標値まで増大さ
せるように作用ることによって、外観の鮮鋭度を増す。
【0008】請求項1に記載の鮮鋭度を変更する方法
は、電子的に符号化された自然景観画像の複製の鮮鋭度
を変更する方法であって、a)原稿符号化が色濃度信号
に関する電子的に符号化された自然景観画像を受け取る
ステップと、b)少なくとも1つの信号が画像の明るさ
を表すと共に、明るさのL個のレベルについて定義され
たフォーマットに色濃度信号を変換するステップと、
c)画像の鮮鋭度の尺度を画像の明るさ信号から引出す
ステップと、d)鮮鋭度及び所望される鮮鋭度の関数と
して鮮鋭度フィルタの動作を設定するステップと、e)
鮮鋭化画像を得るために鮮鋭度フィルタで色濃度信号を
フィルタリングするステップと、を含む。
【0009】請求項2に記載の鮮鋭度を変更する方法
は、請求項1に記載の鮮鋭度を変更する方法において、
鮮鋭度の尺度が画像について測定された最大局所鮮鋭度
によって与えられる。
【0010】請求項3に記載の鮮鋭度を変更するための
装置は、電子的に符号化された自然景観画像の複製の鮮
鋭度を変更するための装置であって、a)色濃度信号に
関して電子的に符号化された自然景観画像を受け取るの
に適した電子信号入力と、b)少なくとも1つの信号が
画像の明るさを表すと共に、明るさのL個のレベルにつ
いて定義されたフォーマットに色濃度信号を変換する色
空間変換回路と、c)画像の鮮鋭度の尺度を決定するた
めに、明るさ信号を画像のあらかじめ定められた領域に
対し繰り返し比較し、鮮鋭度を示す出力信号を生成する
コンパレータと、d)望ましい鮮鋭度信号をユーザから
受け取る外部信号入力を有すると共に、コンパレータ出
力信号と望ましい鮮鋭度の関数としてフィルタ係数を引
き出す鮮鋭度フィルタ係数引出し回路と、e)色濃度符
号化画像信号又は変換された色濃度信号の1つに作用
し、画像を鮮鋭化する鮮鋭度フィルタと、f)要求され
れば、出力する準備として、画像を出力符号化に戻すこ
とと、を含む。
【0011】
【実施例】図面を参照すると、図面は、本発明の実施例
を記述するために示されており、発明を同等物に限定す
るためではない。図1では、本発明が有利に利用され得
るスキャン・トゥー・プリント(scan-to-print) ・シス
テムを示す。スキャナ10は、都合のよいようにカラー
画像の場合のRGB空間か黒白画像の場合の濃度空間か
のいずれかで定義される画像信号を生成する黒白又はカ
ラースキャナであり得る。扱うこれらの画像は、自然を
絵的に表したもの、即ち、自然景観を表すものである。
ある種のコンピュータによって生成された画像を、自然
景観を表すものとみなすこともできるが、意図される画
像クラスは主に走査された写真である。画像自体は画素
によって定義され、各画素は白レベル(例としてのシス
テムは最大値)と黒レベル(例としてのシステムは最小
値)の間で変化するデジタルグレイ値を有する電気又は
電子信号のことである。演算が8ビット情報に基づいて
行われる一般的に望ましいシステムにおいて、256レ
ベルのグレイが使用可能である。画素はまた、位置によ
って識別される。即ち、画素は、画像内に固有の領域
m,nを規定し、走査線中のm番目の画素の位置及びペ
ージ内のn番目の走査線位置によって識別される。従っ
て、カラーは、画像中の各カラー画素m,nに対するグ
レイ画素のトリップレット(三つ組)によって表現さ
れ、グレイ画素の各トリップレットの各要素で各分離部
分においてカラーを定義し、それらが一緒になってカラ
ー画素が形成される。
【0012】スキャナ10の出力は、更に本明細書中で
定義される自動画像向上システムに送られることができ
る。我々の目的のために、自動画像向上システム(autom
atedimage enhancemnt system) は、文書内の画像のタ
イプを識別できるセグメンテーションシステムと、所望
されれば、本発明が連続階調(トーン)の自然景観画像
に作用するスクリーン解除システム(descreening syste
m)と、を含み得る。本明細書に記述される自動化画像向
上システムの出力は、最終的にプリンタ、CRT、又は
同様の装置に送られることが想定されるであろう。これ
らの装置は、多くの特性を有することができ、レーザプ
リンタ、又はインクジェットプリンタ、又はLEDディ
スプレイ、又はCRTディスプレイであり得る。しかし
ながら、そのようなデバイスへの一般的な要求として、
グレイの絵的な画像を表現するとういことがある。この
ことはグレイ印刷又は疑似(pseudo)グレイ印刷で行われ
うる。
【0013】本発明の画像向上システムで動作するため
のデータを引き出すために、コピー又は走査プラテン上
に配され、文書画像を表す信号を生成するためにスキャ
ナの電気光学システムによって走査される原稿をプレス
キャン(prescan、事前走査)してもよい。あるいはすで
に走査された、又はある他のシステムで得られた画像
を、メモリから自動画像向上システムに送ってもよく、
この場合、受け取られた画像は必要に応じてサンプリン
グされる。
【0014】プレスキャンは不完全に(不十分な数で)
サンプリングされる方法で実行され得る、即ち、画像を
向上させる目的のためにシステムの最終的な解像度でサ
ンプリングされる必要はない。実際に、全体の画像を表
すと共に、画像じゅうに分散された比較的少数の画素
が、この目的のために画像を正確に表現することができ
るということが確認された。特定の実施例では、約51
2画素×512画素における画像から得られる画素のブ
ロックが使用される。この選択の主な目的は、ソフトウ
ェア画像向上システムが絵的な画像を処理できる速度を
改良することである。一般的な画像分解(解像度)にお
けるサンプリングは本明細書中で十分に説明された発明
のプロセスにおいて見られる結果を改良せずに、必要と
されるソフトウェアの処理時間を著しく増大させる。説
明される本発明のプロセスについてのハードウェアの実
施例は、画像を不完全にサンプリングしないように設計
することが可能である。
【0015】概して、本発明を使用するシステムでは、
RGB空間で定義される自然景観画像は先ず色空間変換
器12へ送られ、色空間変換器12は向上処理のために
選択された色空間(後ほど明らかにする)に変換する。
後述され且つ算定される補正値はページバッファイング
を必要としないプレスキャニングプロセスにおいても算
定され得るが、便宜上、ページバッファメモリ11の形
態をとる画像の中間記憶装置に設けられてもよい。スキ
ャナ10又は同等物から最初に受け取られる初期のカラ
ー画像データは、先ずRGB空間、即ち赤−緑−青空間
にあることが想定され、本発明のプロセスのため、先ず
色空間変換器12において輝度空間(YC1 2 ) へ変
換されなくてはならない。他の画像処理のためにRGB
値を輝度/クロミナンス空間に変換することは一般的な
ので、画像が既に輝度空間にあることはあり得る。YC
1 2 空間は本発明の処理が実行され得る有用な空間で
あるが、1つの項(term)がXNSS289005(19
89年)の「ゼロックスカラー符号化規準(Xerox Color
Encording Standard)」のゼロックスYESのYのよう
な全体的な画像の明るさ(明度)(intensity) 又は濃度
に関係を有する表現(式)へあらゆるセットの色座標も
使用可能である。どんな空間を使用しても、明るさ又は
暗さという人間の視覚に関する要素を有していなければ
ならない。以下の例では、ゼロックス(Xerox)の
YES色空間を用いて本発明を述べる。
【0016】ゼロックスのYES線形カラーモデルは、
色を、輝度(luminance )Yと、2つのクロミナンス
(chrominance ) 値E及びSによって特定する。Y、
E、及びSを以下のように定義する。
【0017】Y= 0.253 R + 0.684
G + 0.063 B E= 0.50 R − 0.50 G S= 0.25 R + 0.25 G − 0.
50 B
【0018】R、G、Bは、標準原色の三刺激値(tris
timulus value )であり、それらは、等しい三刺激値
が、白と同じ色度(chromaticity)を有する刺激値を定
義するように基準化されている。
【0019】E及びSは、クロミナンス又は反対色値
(opponent-color value)である。Eはレッド−マイナ
ス−グリーン、そしてSはイエロー−マイナス−ブルー
である。クロミナンスは、無彩色(neutral color )に
対してゼロである三刺激値であり、無彩色は、白と同一
の色度を有する刺激値である。定義では、R、G、B三
刺激値は、無彩の刺激値に対して等しく、E及びSの値
はゼロである。全ての生成可能な色に対して、Yは負で
はなく、一方E及びSは、負又は正のどちらかになり得
る。
【0020】ゼロックス/YES線形カラーモデルは、
ゼロックス/RGB線形カラーモデルと同じ色度値を有
する原色を特定するが、必ずしも同じ白色点(white po
int)を特定するとは限らない。このことは、E及びS
値が、基準化のために使用されるいかなる白色点に対し
てもゼロであるということを保証する。しかしながら、
Y値は、CIE標準観測者にとってその標準の白色点を
使用する場合のみ、輝度となる。異なる白色点が使用さ
れた場合におけるゼロックス/YES線形カラーモデル
の使用法は、上記文献[XNSS289005(1989
年)の「ゼロックスカラー符号化基準(Xerox Color En
coding Standard )]のセクション6.3に記載されて
いる。
【0021】ゼロックス/YES線形カラーモデルは、
白黒両立式カラーモデルであり、それは、テレビ放送の
ナショナルテレビジョンシステム委員会(National Tel
evision System Committee、NTSC)の使用する輝度
−クロミナンスシステムに類似する。双方の利点は、輝
度及びクロミナンスとして符号化された色を受け取る白
黒デバイスが、クロミナンスを無視し、輝度のみを用い
ることによって、簡便にグレースケール表示を得ること
が可能であるということである。
【0022】色空間変換は全体のシステムに於ける幾つ
かの関数に対して必要とされ得るということが経験から
示されるので、図1では、色空間変換は自動画像向上器
とは別に示される。決定された補正がRGBチャンネル
に与えられる場合には、クロミナンス信号は無視される
ので、幾つかの実施例では自動鮮鋭度制御のためにRG
Bカラーデータを純明度データに変換することが重要で
あるということに注意すべきである。別の実施例におい
て決定された補正はYC1 2 データのY成分に与えら
れ、この場合、クロミナンス信号は維持されなくてはな
らない。
【0023】色空間変換器12の出力は、後で更に詳細
に説明するが、自動画像向上装置14によって処理さ
れ、幾つかの画像向上信号を生成する。一つのこのよう
な向上信号は、プリンタ18等の出力装置のTRC(to
ne reproduction curve;階調再生曲線)コントローラ1
6を駆動可能である。別の信号は、画像信号を任意の出
力バッファ20に記憶し、続いてプリンタ18又は他の
出力装置に転送する前に鮮鋭度調整装置19を駆動す
る。データパス中のTRCコントローラ16及び鮮鋭度
調整装置19の実際の位置は、自動画像向上ブロック1
4がデータをそれらの位置に従って転送すれば、相互交
換可能であるということが留意されるべきである。TR
Cコントローラ16は、装置独立型のデータストリーム
を印刷又はディスプレイ用の装置依存型データに合わせ
るために一般的に用いられるTRCコントローラと別々
に又は組み合わせて作動できるということは明白であろ
う。また、鮮鋭度調節装置19は、装置独立型のデータ
ストリームを印刷又はディスプレイ用の装置依存型デー
タに合わせるために用いられる鮮鋭度調節装置と別々に
又は組み合わせて作動できるということは明白であろ
う。
【0024】ここで、本発明の実施を述べる前に、本発
明の原理を述べる。図2のグレイピクチャ又は画像の領
域を参照すると、8ビット空間のような複数ビット空間
で演算する場合には、輝度レベルは0から255レベル
の間に分布するということがわかるだろう。図2は局所
の明るさ(明度、強度)(intensity) 値を示す画像の5
×5の小領域を示す。説明のために、図2に示される局
所画像領域は、全体の画像領域の最大鮮鋭度を明示し、
この図示される鮮鋭度は所望される鮮鋭度レベルよりも
下回るものと想定しよう。自然景観画像は通常、約10
0よりも大きな最大ステップ(段)高さ(隣接画素同士
のグレイ値間の差分)を有し、この量よりも少ないステ
ップ高さは、画像に伴う深刻な問題又はその画像が自然
景観でないということを示す傾向にあるということに留
意せよ。約220の最大ステップ高さにおけるコントラ
ストにより、この220が許容可能なステップ高さであ
るので鮮鋭度に対するあらゆる変化は一般的に回避され
る。このエッジの最大ステップ高さは50であることに
留意せよ。
【0025】本発明に従って、局所コントラスト又は鮮
鋭度は、Sharp(シャープ)と称することにする画
像の鮮鋭度の指標(indicator) を測定することによって
調べられる。Sharpは次の関数によって得られる;
【0026】
【外1】
【0027】上記式で、max は最大、abs は絶対値を表
し、i(n,m)は画像内の位置(n,m) での画像の所与の離散
領域に対する明るさ又は輝度である。
【0028】別の値測定は次式を含むことができる;
【0029】
【外2】
【0030】ここで、sobel() は、例えば、「画像処理
ハンドブック(The Image Processing Handbook) 」(CRC
Press, Boca Raton 1992年 124ページから) 等に記載
された周知のエッジ検出動作を示す。異なるSharp
は、より大きなセット又はより小さなセットを含む異な
る画素のセットに対して測定可能であることは当然わか
るであろう。
【0031】図3は、図2に示された画像領域上の鮮鋭
度の最初の測定による結果を示す。極めて小さな領域に
対して(図3に示された)結果として得られたShar
p信号は検査され、鮮鋭度尺度Sharpのヒストグラ
ムが得られる。鮮鋭度の基本的な尺度としてSharp
によって、鮮鋭度を目標値へ変化させ得る対応する操作
を算出することは可能である。
【0032】第1の方法は、ソフトウェア又はハードウ
ェアの装置で一般的に見られる標準的な鮮鋭度フィルタ
を使用する。測定された鮮鋭度Sharpは、所与の鮮
鋭度Sharpの理想対象物を鮮鋭度目標の理想対象物
又はエッジへ変形するフィルタを算定するために用いら
れる。フィルタがシステムで使用される例として図4に
示されるフィルタを使用して、Sharpの理想の明る
さ(明度、強度) ステップ(次式中ではΔとして与えら
れる)は、次式によって高さ目標の明るさステップに転
送(伝達)(transfer)される。
【0033】
【外3】
【0034】ここでβは図4(A)に示される正規化フ
ィルタ(normalized filter) のリング画素(ring pixel)
の値である。
【0035】目標鮮鋭度が目標=100で、図3から測
定された鮮鋭度Sharp=50の例を用いると、図4
(B)に示されるように、βは算出されてβ=1/2に
なる。従って、一定領域濃度を維持するために、中心の
値は”3”に設定される(フィルタの合計値は局所領域
濃度を維持するために当然1になる)。一方、フィルタ
を維持する非領域濃度はあり得る。図5(A)は図4
(B)のフィルタを使用後、中心の3×3領域に対して
新しい明るさ値を示す。図5(B)は、レベル”10
0”の予測鮮鋭度を提供する画像領域の新しい明るさに
適用される鮮鋭度尺度Sharpを示す。
【0036】値目標は、0からシステムの最大明るさ値
までの範囲を通して、ユーザが変更できる所望される鮮
鋭度である。2つの画素の間の最大コントラストに基づ
く鮮鋭度の計算は、2画素の演算が目標値を作ることを
要するので、目標鮮鋭度はフィルタで保証されない。一
方、フィルタを決定するために用いられる理想エッジの
場合、図5(B)に示されるように目標鮮鋭度が得られ
る。
【0037】上述された計算方法の代わりとして、値S
harpは、使用されるフィルタを決定するテーブルル
ックアップへの項目(entry) として使用可能である。例
えば、3×3のフィルタ形式等の一般的で単純な形式を
有するフィルタが提供されると、この値Sharpは、
完全なフィルタ記述か又は中心のフィルタ値になり得
る。
【0038】
【外4】
【0039】この場合、”α”は、ルックアップテーブ
ルによって決定される。2番目のフィルタは、再正規化
定数(renormalization constant)以外は、図4(B)に
示されるフィルタと同じである。
【0040】第2の実施例は、鮮鋭化に関して、参照と
して本明細書中に組み込まれる米国特許第5、045、
952号に記載されたエッジ向上エラー拡散処理を利用
する。この場合、しきい値変更(調整)項K は、値Sh
arpに基づいたテーブルルックアップによって選択さ
れる。この方法は、8ビットから1ビット又は10ビッ
トから8ビット等へ変換する場合のように、Nビットか
らnビット(N>n)へのデータの減少が必要とされる
状況で特に有用である。図1の状況では、このデータ減
少法によって、鮮鋭化動作を実際のハーフトーン化と結
合可能になり、結果として、ソフトウェアの性能を向上
させる又は、10ビットのTRCの内部使用により、8
ビットの出力を維持しながら複数のTRCを使用して打
ち切り誤差を減少できるようにする。
【0041】フィルタ又はエッジ向上係数を決定するた
めにテーブルルックアップを用いる両方法において、ル
ックアップテーブルをロードするために単純な方法があ
る。この方法において、所与のフィルタは鮮鋭度を変え
るエッジに作用し、その結果として生じた鮮鋭化エッジ
の単純な検査は、その所与のフィルタについてエッジ高
さの入力/出力関係を決定する。幾つかのフィルタは、
決定されたフィルタ値の単純な補間(interpolation) で
得られる関係及び中間鮮鋭度値を決定するために用いら
れる。同じ概念が、変更エラー拡散処理用のエッジ向上
係数の決定に適用できる。
【0042】Sharpの複数の算定(estimation)が使
用され、結合されて最終的なSharpmod となり得る
ことに注意することは重要である。この方法によって、
フィルタは最大測定鮮鋭度値を所望される目標値に変換
したいという要求に基づいて決定された。別の方法は画
像エッジの5%をその5%に対する目標値に変換するフ
ィルタを決定することである。次に、これらの算定は結
合され、最終値Sharpmod を生成する。
【0043】また、この手順の反復適用(application)
が、望ましい状態を越えてさらに画像を”鮮鋭化”しな
いことに留意することも重要である。代わりに、画像は
鮮鋭であるとみなされる鮮鋭度表現で収束する。このこ
とは、鮮鋭度尺度Δを考察することで理解され得る。先
ず、鮮鋭化後、Δは増加されるだろう。そして次の鮮鋭
化の企図は、古い鮮鋭度Δよりも目標により近くなるで
あろう新しいΔを使用し、極限が目標と等しくなること
によって、画像の最終的な鮮鋭度に収束する。このこと
によって、テーブルルックアップと計算されたフィルタ
で鮮鋭度を実現する正しさが維持される。
【0044】実行された自動画像強調デバイスの各処理
関数を考察すると共に、図6を参照すると、鮮鋭度調整
は図示されているように実行可能である。初期に且つ任
意に、画像はTRC補正されるので、画像の高周波要素
がTRC補正装置200で鮮鋭度を補正する前にコント
ラスト及び/又は露光のために全体的に補正される。次
に局所鮮鋭度Δは、鮮鋭度算定装置204で画像から算
定される。鮮鋭度算定Δは、Δmod を得るように、複数
の鮮鋭度算定を用いて変更装置(modifier)206で任意
に変更される。1つの可能な変更は、最大ステップ高さ
と5%のステップ高さ(ステップ高さの最大5%の最少
高さ)でΔを計算することである。鮮鋭度を増大させる
めに、計算されたΔの一方、又は他方、又はそれらを結
合したもを選択できる。Δの出力値は、鮮鋭度フィルタ
用のフィルタ係数を得るために、係数計算機207で使
用される。非対称フィルタを含む例えば5×5等の他の
小領域フィルタが代わりに機能てきることは経験により
示されているが、この実施では便利さのために3×3フ
ィルタを選択した。
【0045】図7を参照すると、図6で示された実施例
と類似した別の実施例において、鮮鋭度調整が図示され
たように実行できる。始めに且つ任意に、画像はTRC
補正されるので、画像の高周波要素は、TRC補正ブロ
ック300で鮮鋭度を補正する前にコントラスト及び/
又は露光のために全体的に補正される。次に、局所鮮鋭
度Δは、鮮鋭度算定装置304で画像から算定される。
鮮鋭度算定Δは、Δmo d を得るように、複数の鮮鋭度算
定を用いて変更装置306で任意に変更される。Δの出
力値は、フィルタ係数又はエッジ向上誤差拡散アルゴリ
ズム用の K係数を提供するためにルックアップテーブル
メモリ307で記憶されたテーブルルックアップ中で項
目(entry) として用いられる。
【0046】図8では、鮮鋭度算定装置204は、局所
領域鮮鋭度又はSharpを決定できるだけの画像デー
タを記憶する多重走査線バッファ250を使用する。コ
ンパレータ装置252は、m,nについて定義し、且つ
m,nとm+k,n+l{(k,l)=(−1,−
1),(0,−1),(1,−1),(−1,0)}
(m,nについての領域又はウィンドウ)との間の明る
さの差分Dをバッファ250に記憶する小領域内に各位
置m,nを決定する。差分Dの絶対値|D|は絶対値回
路254で決定され、コンパレータ256で前の最大決
定値と比較される。|D|の現在値が最大であれば、コ
ンパレータ256からの信号ENで最大バッファ258
中にその最大値を記憶できる。処理が終了すると、Sh
arp=Δは係数計算装置207へ送られる。ここで、
Δは、目標のために外部から適用された値で使用され、
αとβを計算する。図8の例では、図4(A)に示され
たフィルタタイプが用いられた。
【0047】別法として、図9の実施例は、局所領域鮮
鋭度又はSharpを決定できるだけの画像データを記
憶する多重走査線バッファ350を使用する。コンパレ
ータ装置352は、m,nについて定義し、且つm,n
とm+k,n+l{(k,l)=(−1,−1),
(0,−1),(1,−1),(−1,0)}(m,n
についての領域又はウィンドウ)との間の明るさの差分
Dをバッファ350に記憶する小領域内に各位置m,n
を決定する。差分Dの絶対値|D|は絶対値回路354
で決定され、コンパレータ356で前の最大決定値と比
較される。|D|の現在値が最大であれば、コンパレー
タ356からの信号ENで最大バッファ358中にその
最大値を記憶できる。処理が終了すると、Sharp=
Δは、所望されるフィルタ又はエッジ向上係数K を検索
するためにメモリ360に記憶されたルックアップテー
ブルへ送られる。次に、係数K は、参照として本明細書
中に組み込まれる米国特許第4、045、952号に記
述されたエッジ向上誤差拡散プロセッサ358で用いら
れる。この誤差拡散プロセッサは前記実施例に記載され
たフィルタとは異なるタイプのフィルタであるが、前述
されたそれと同じ役割を果たすことは、認識されるであ
ろう。
【0048】説明された本発明の処理は、画像の明るさ
成分に使用される必要な鮮鋭度動作を得るために使用可
能であることは留意されるべきである。他の実施は、計
算された鮮鋭度補正を直接、例えば、赤、緑、青の成分
等の画像のカラー成分に使用するように選択できる。鮮
鋭度パラメータは画像鮮鋭度測定のヒストグラムを用い
て決定され得る。
【0049】
【発明の効果】本発明によって、絵的な景観を備えるデ
ジタル符号化画像内の鮮鋭度を向上させるための方法及
び装置が提供された。
【図面の簡単な説明】
【図1】本発明を用いるシステムの機能的なブロック図
を示す。
【図2】画像中で検出された最も高い鮮鋭度の領域を表
す入力領域の例を示す。
【図3】図2から得られたSharpに対する値を示
す。
【図4】(A)は望ましい3×3のフィルタを示し、
(B)は計算された3×3のフィルタを示す。
【図5】(A)は文書中の鮮鋭度エッジを示し、(B)
は同じ領域に対して計算されたSharpに対する値を
示す。
【図6】鮮鋭度向上プロセッサのダイアグラムの実施例
をブロック図形式で示す。
【図7】鮮鋭度向上プロセッサのダイアグラムの実施例
をブロック図形式で示す。
【図8】図6の鮮鋭度プロセッサのための係数生成装置
のブロック図を示す。
【図9】図7の鮮鋭度プロセッサのための向上ファクタ
のブロック図を示す。
【符号の説明】
200 TRC補正装置 204 鮮鋭度算定装置 206 変更装置 207 係数計算機 208 フィルタ 250 多重走査線バッファ 252 コンパレータ 254 絶対値 256 コンパレータ 258 最大バッファ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 1/46 Z

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 電子的に符号化された自然景観画像の複
    製の鮮鋭度を変更する方法であって、 a)原稿符号化が色濃度信号に関する電子的に符号化さ
    れた自然景観画像を受け取るステップと、 b)少なくとも1つの信号が画像の明るさを表すと共
    に、明るさのL個のレベルについて定義されたフォーマ
    ットに色濃度信号を変換するステップと、 c)画像の鮮鋭度の尺度を画像の明るさ信号から引出す
    ステップと、 d)鮮鋭度及び所望される鮮鋭度の関数として鮮鋭度フ
    ィルタの動作を設定するステップと、 e)鮮鋭化画像を得るために鮮鋭度フィルタで色濃度信
    号をフィルタリングするステップと、 を含む鮮鋭度を変更する方法。
  2. 【請求項2】 鮮鋭度の尺度が画像について測定された
    最大局所鮮鋭度によって与えられる、請求項第1に記載
    の鮮鋭度を変更する方法。
  3. 【請求項3】 電子的に符号化された自然景観画像の複
    製の鮮鋭度を変更するための装置であって、 a)色濃度信号に関して電子的に符号化された自然景観
    画像を受け取るのに適した電子信号入力と、 b)少なくとも1つの信号が画像の明るさを表すと共
    に、明るさのL個のレベルについて定義されたフォーマ
    ットに色濃度信号を変換する色空間変換回路と、 c)画像の鮮鋭度の尺度を決定するために、明るさ信号
    を画像のあらかじめ定められた領域に対し繰り返し比較
    し、鮮鋭度を示す出力信号を生成するコンパレータと
    、 d)望ましい鮮鋭度信号をユーザから受け取る外部信号
    入力を有すると共に、コンパレータ出力信号と望ましい
    鮮鋭度の関数としてフィルタ係数を引き出す鮮鋭度フィ
    ルタ係数引出し回路と、 e)色濃度符号化画像信号又は変換された色濃度信号の
    1つに作用し、画像を鮮鋭化する鮮鋭度フィルタと、 f)要求されれば、出力する準備として、画像を出力符
    号化に戻すことと、 を含む鮮鋭度を変更するための装置。
JP26744994A 1993-11-05 1994-10-31 鮮鋭度の変更方法及び装置 Expired - Lifetime JP3759761B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US147612 1993-11-05
US08/147,612 US5363209A (en) 1993-11-05 1993-11-05 Image-dependent sharpness enhancement

Publications (2)

Publication Number Publication Date
JPH07193719A true JPH07193719A (ja) 1995-07-28
JP3759761B2 JP3759761B2 (ja) 2006-03-29

Family

ID=22522229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26744994A Expired - Lifetime JP3759761B2 (ja) 1993-11-05 1994-10-31 鮮鋭度の変更方法及び装置

Country Status (4)

Country Link
US (1) US5363209A (ja)
EP (1) EP0652672B1 (ja)
JP (1) JP3759761B2 (ja)
DE (1) DE69424920T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189938A (ja) * 1999-11-24 2001-07-10 Xerox Corp Jpeg圧縮画像データの処理方法

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621868A (en) * 1994-04-15 1997-04-15 Sony Corporation Generating imitation custom artwork by simulating brush strokes and enhancing edges
US5581370A (en) * 1995-06-05 1996-12-03 Xerox Corporation Image-dependent automatic area of interest enhancement
US5768482A (en) * 1995-06-14 1998-06-16 Hewlett-Packard Company Resolution-triggered sharpening for scaling of a digital-matrix image
US5668638A (en) * 1996-06-27 1997-09-16 Xerox Corporation Error diffusion method with symmetric enhancement
US5956468A (en) * 1996-07-12 1999-09-21 Seiko Epson Corporation Document segmentation system
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
US5978518A (en) * 1997-02-25 1999-11-02 Eastman Kodak Company Image enhancement in digital image processing
US6069979A (en) * 1997-02-25 2000-05-30 Eastman Kodak Company Method for compressing the dynamic range of digital projection radiographic images
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US6192149B1 (en) * 1998-04-08 2001-02-20 Xerox Corporation Method and apparatus for automatic detection of image target gamma
US6175427B1 (en) * 1998-04-20 2001-01-16 Xerox Corporation System and method of tonal correction of independent regions on a compound document
US6201613B1 (en) 1998-07-22 2001-03-13 Xerox Corporation Automatic image enhancement of halftone and continuous tone images
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US6421468B1 (en) 1999-01-06 2002-07-16 Seiko Epson Corporation Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
AUPQ289099A0 (en) * 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
DE19936615A1 (de) * 1999-08-04 2000-03-02 Werner Stein Verfahren zur Verbesserung der Kontrastwiedergabe bei digitalisierten Bildern
GB9925902D0 (en) * 1999-11-03 1999-12-29 Vlsi Vision Ltd Colour image restoration with anti-alias
US6760484B1 (en) * 2000-01-26 2004-07-06 Hewlett-Packard Development Company, L.P. Method for improved contrast mapping of digital images
US6621595B1 (en) 2000-11-01 2003-09-16 Hewlett-Packard Development Company, L.P. System and method for enhancing scanned document images for color printing
US6748119B1 (en) 2000-11-02 2004-06-08 Xerox Corporation Systems and methods for interactively using and training an automatic image processing technique
US6856702B2 (en) * 2001-06-28 2005-02-15 Andrew C. Gallagher System and method for selecting an image processing path using estimated appearance of noise
US6826310B2 (en) * 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
US7054484B2 (en) * 2001-07-14 2006-05-30 Lyford Kirk S Guided color correction system
US7006252B2 (en) * 2001-10-17 2006-02-28 Eastman Kodak Company Image processing system and method that maintains black level
US7002627B1 (en) 2002-06-19 2006-02-21 Neomagic Corp. Single-step conversion from RGB Bayer pattern to YUV 4:2:0 format
US7200263B2 (en) * 2002-07-01 2007-04-03 Xerox Corporation Background suppression and color adjustment method
US6983076B2 (en) * 2002-07-01 2006-01-03 Xerox Corporation Control system for digital de-screening of documents
JP2006522977A (ja) * 2003-04-10 2006-10-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間画像変換装置及び方法
JP2005141477A (ja) * 2003-11-06 2005-06-02 Noritsu Koki Co Ltd 画像鮮鋭化処理方法とこの方法を実施する画像処理装置
US7356195B2 (en) * 2004-04-29 2008-04-08 Hewlett-Packard Development Company, L.P. System and method for estimating image sharpness
US7570831B2 (en) * 2004-04-29 2009-08-04 Hewlett-Packard Development Company, L.P. System and method for estimating image noise
US7266246B2 (en) * 2004-04-29 2007-09-04 Hewlett-Packard Development Company, L.P. System and method for estimating compression noise in images
FR2869749B1 (fr) * 2004-04-30 2006-10-20 Sagem Procede et systeme de traitement d'image par filtrage de blocs de pixels de l'image
US20050244060A1 (en) * 2004-04-30 2005-11-03 Xerox Corporation Reformatting binary image data to generate smaller compressed image data size
US7420712B2 (en) * 2004-05-28 2008-09-02 Xerox Corporation Systems and methods that alter electronic data based on availability of time
WO2006046180A1 (en) * 2004-10-26 2006-05-04 Koninklijke Philips Electronics N.V. Disparity map
US20060104507A1 (en) * 2004-11-15 2006-05-18 Sozotek, Inc. Correction of image color levels
US7352912B2 (en) * 2004-12-10 2008-04-01 Xerox Corporation Method for automatically determining a region of interest for text and data overlay
US7742200B2 (en) * 2005-01-11 2010-06-22 Xerox Corporation Pre-press production image alert system and method
WO2006123290A2 (en) * 2005-05-18 2006-11-23 Koninklijke Philips Electronics N.V. Image processor comprising a contrast enhancer
US7711211B2 (en) * 2005-06-08 2010-05-04 Xerox Corporation Method for assembling a collection of digital images
KR100735551B1 (ko) * 2005-10-14 2007-07-04 삼성전자주식회사 칼라 영역별 적응적 필터링 방법 및 장치
JP2008009877A (ja) * 2006-06-30 2008-01-17 Brother Ind Ltd 画像処理装置,画像処理方法およびプログラム
US20080267524A1 (en) * 2007-04-30 2008-10-30 Doron Shaked Automatic image enhancement
US7933454B2 (en) * 2007-06-25 2011-04-26 Xerox Corporation Class-based image enhancement system
US8340452B2 (en) 2008-03-17 2012-12-25 Xerox Corporation Automatic generation of a photo guide
KR101060488B1 (ko) * 2008-04-21 2011-08-30 주식회사 코아로직 최적 영상 선택 방법 및 장치
EP2124190B1 (en) * 2008-05-19 2011-08-31 Mitsubishi Electric Information Technology Centre Europe B.V. Image processing to enhance image sharpness
EP2124189A1 (en) 2008-05-19 2009-11-25 Mitsubishi Electric Information Technology Centre Europe B.V. Image processing to enhance image sharpness
US8285059B2 (en) * 2008-05-20 2012-10-09 Xerox Corporation Method for automatic enhancement of images containing snow
US8194992B2 (en) * 2008-07-18 2012-06-05 Xerox Corporation System and method for automatic enhancement of seascape images
US8775424B2 (en) * 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US8655065B2 (en) * 2010-10-14 2014-02-18 Chimei Innolux Corporation Image processing device using adding module for adding error diffusion value or error diffusion seed
US8712157B2 (en) 2011-04-19 2014-04-29 Xerox Corporation Image quality assessment
US8594385B2 (en) 2011-04-19 2013-11-26 Xerox Corporation Predicting the aesthetic value of an image
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9082180B2 (en) * 2012-12-28 2015-07-14 Nvidia Corporation System, method, and computer program product for implementing a spatially varying unsharp mask noise reduction filter
US9116924B2 (en) 2013-01-14 2015-08-25 Xerox Corporation System and method for image selection using multivariate time series analysis
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
US9953591B1 (en) 2014-09-29 2018-04-24 Apple Inc. Managing two dimensional structured noise when driving a display with multiple display pipes
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9747514B2 (en) 2015-08-31 2017-08-29 Apple Inc. Noise filtering and image sharpening utilizing common spatial support
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614685B2 (ja) * 1984-03-29 1994-02-23 株式会社東芝 画像信号処理装置
US4745465A (en) * 1986-03-24 1988-05-17 Eastman Kodak Company Digital color image processing method employing histogram normalization for tone and color reproduction
JP2620368B2 (ja) * 1989-04-18 1997-06-11 富士写真フイルム株式会社 画像信号処理方法およびその装置
JPH0372778A (ja) * 1989-08-11 1991-03-27 Fuji Xerox Co Ltd 画像処理装置の領域識別方式
US5045952A (en) * 1989-08-21 1991-09-03 Xerox Corporation Method for edge enhanced error diffusion
US5285220A (en) * 1989-11-22 1994-02-08 Canon Kabushiki Kaisha Image recording apparatus with tone correction for individual recording heads
ATE131328T1 (de) * 1990-04-26 1995-12-15 Scitex Corp Ltd Gerät zur verbesserung der schärfe bei einem farbbild.
JP2740409B2 (ja) * 1992-04-21 1998-04-15 大日本スクリーン製造株式会社 シャープネス処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189938A (ja) * 1999-11-24 2001-07-10 Xerox Corp Jpeg圧縮画像データの処理方法

Also Published As

Publication number Publication date
DE69424920T2 (de) 2000-11-02
JP3759761B2 (ja) 2006-03-29
US5363209A (en) 1994-11-08
DE69424920D1 (de) 2000-07-20
EP0652672A2 (en) 1995-05-10
EP0652672B1 (en) 2000-06-14
EP0652672A3 (en) 1995-11-08

Similar Documents

Publication Publication Date Title
JP3759761B2 (ja) 鮮鋭度の変更方法及び装置
JP3723604B2 (ja) 電子文書中の自然シーン画像の画像依存カラー彩度補正方法及びその装置
US5414538A (en) Image-dependent exposure enhancement
JP4666274B2 (ja) カラー画像処理装置及びその方法
JP4424216B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
US5581370A (en) Image-dependent automatic area of interest enhancement
JP3676402B2 (ja) 自然シーン画像のカスケード処理方法及び装置
US7023580B2 (en) System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
US7932930B2 (en) Brightness correction for image
US8199227B2 (en) Image-signal processing apparatus for performing space-variant image-signal processing
JPH11331596A (ja) 画像処理方法及び装置
JPH06197216A (ja) 地肌除去方法
Bala et al. Gamut mapping to preserve spatial luminance variations
JPH09186881A (ja) 強調電子表現生成装置
JP4079814B2 (ja) 画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラム
US6870955B2 (en) Method for deciding semi-S curve for tone process of a digital color image
JPH1023279A (ja) 画像処理装置
JP4107812B2 (ja) 画像処理装置および画像処理方法および記録媒体
JP4112413B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4120928B2 (ja) 画像処理装置、画像処理方法、およびそのプログラム
JP2002218271A (ja) 画像処理装置、画像形成装置、並びに画像処理方法
JP2004112494A (ja) 画像処理装置、画像処理方法および記録媒体
JP2000032287A (ja) 画像処理装置及び画像処理方法
JP2020136928A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4024735B2 (ja) 画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040921

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20041217

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20041224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050318

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060105

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120113

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term