JP4237555B2 - Image correction method and image correction apparatus - Google Patents
Image correction method and image correction apparatus Download PDFInfo
- Publication number
- JP4237555B2 JP4237555B2 JP2003173708A JP2003173708A JP4237555B2 JP 4237555 B2 JP4237555 B2 JP 4237555B2 JP 2003173708 A JP2003173708 A JP 2003173708A JP 2003173708 A JP2003173708 A JP 2003173708A JP 4237555 B2 JP4237555 B2 JP 4237555B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- gradation value
- target
- gradation
- sigmoid function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003702 image correction Methods 0.000 title claims description 32
- 238000000034 method Methods 0.000 title claims description 17
- 230000006870 function Effects 0.000 description 55
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 229910052709 silver Inorganic materials 0.000 description 3
- 239000004332 silver Substances 0.000 description 3
- -1 silver halide Chemical class 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009931 harmful effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color, Gradation (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、デジタル画像の補正処理に関し、特にデジタル画像の輝度補正を行う画像補正方法および画像補正装置に関する。
【0002】
【従来の技術】
被写体をデジタルカメラで撮影することにより得るデジタル画像や、銀塩写真のフィルムをデジタルフィルムスキャナでデジタル化したデジタル画像などの入力画像の画質を向上する方法が特許文献1に開示されている。
該特許文献1によれば、入力画像の輝度ヒストグラムを作成し、該輝度ヒストグラムに基づいて、色かぶり、コントラストおよび彩度の補正処理に伴い、その後の濃度補正処理で用いるための新たな輝度ヒストグラムを作成することにより、色バランスに関する画像補正と、印刷画像の濃度補正とを一連の処理として行い、ヒストグラムの生成に関する処理を効率化することを開示している。
【0003】
【特許文献1】
特開2001−189861号公報
【0004】
【発明が解決しようとする課題】
ところが、従来の画像補正方法は、前記入力画像に対し被写体を考慮することなく補正を行うことから、前記入力画像に対し直線的に階調補正が施される。従って、輝度階調幅に広がりが無い補正処理が施されることから、被写体と背景とにメリハリの無い、つまり背景から被写体が引き立つように補正することができず、満足な補正結果を得ることができなかった。
従って、本発明の目的は、入力画像にメリハリがあるように補正処理を施す方法と、画像補正装置とを提供することにある。
【0005】
【課題を解決するための手段】
本発明は、以上の点を解決するために、次の構成を採用する。
入力画像の輝度の階調値をシグモイド関数を用いて変換する画像補正方法であって、前記入力画像を構成する各画素の輝度の階調値に対し、前記入力画像の所定位置からの距離に応じた重み付けを行い加重階調値を算出すること、前記加重階調値の頻度分布を示すヒストグラムを生成すること、前記ヒストグラムに基づいて前記シグモイド関数の係数パラメータとして複数の着目階調値を選定すること、前記シグモイド関数の係数パラメータとして前記各着目階調値にそれぞれ対応する実験的に得た各着目傾き値を取得すること、前記各着目階調値の差が所定値より大きいと前記各着目階調値間に分割階調値を設定し、各分割階調値と各着目階調値により画素の取り得る階調値領域を複数の分割領域に分割し、ある画素の階調値を変換する場合、該画素の階調値が含まれる分割領域に対応する着目階調値と分割階調値及び該着目階調値に対応する着目傾き値を選択して前記係数パラメータとして前記シグモイド関数に設定し、該シグモイド関数により前記画素の階調値を変換すること、前記各着目階調値の差が前記所定値以下であるといずれか1つの着目階調値と該着目階調値に対応する着目傾き値を前記シグモイド関数に設定し、前記各画素の階調値を該シグモイド関数を介して変換することを特徴とする。
【0006】
前記所定位置は、前記入力画像の中心であることを特徴とする。
【0007】
入力画像の輝度の階調値をシグモイド関数を用いて変換する画像補正装置であって、前記入力画像を構成する各画素の輝度の階調値に対し、前記入力画像の所定位置からの距離に応じた重み付けを行って加重階調値を算出し、算出した前記加重階調値の頻度分布を示すヒストグラムを生成するスキャニング処理部と、前記ヒストグラムに基づいて前記シグモイド関数の係数パラメータとして複数の着目階調値を選定する補正パラメータ取得部と、前記シグモイド関数の係数パラメータとして前記各着目階調値にそれぞれ対応する実験的に得た各着目傾き値を取得して前記各画素の階調値を該シグモイド関数を介して変換する補正処理部とを含み、該補正処理部は、前記各着目階調値の差が所定値より大きいと前記各着目階調値間に分割階調値を設定し、各分割階調値と各着目階調値により画素の取り得る階調値領域を複数の分割領域に分割し、ある画素の階調値を変換する場合、該画素の階調値が含まれる分割領域に対応する着目階調値と分割階調値及び該着目階調値に対応する着目傾き値を選択して前記係数パラメータとして前記シグモイド関数に設定し、該シグモイド関数により前記画素の階調値を変換し、前記各着目階調値の差が前記所定値以下であるといずれか1つの着目階調値と該着目階調値に対応する着目傾き値を前記シグモイド関数に設定し、前記各画素の階調値を該シグモイド関数を介して変換することを特徴とする。
【0008】
前記スキャニング処理部は、前記所定位置を前記入力画像の中心として、該中心からの距離に応じた重み付けを行うための加重階調値を算出することができる。
【0009】
【発明の実施の形態】
以下、本発明の実施形態を図を用いて詳細に説明する。
〈具体例1〉
本発明の画像補正装置10は、図1に示すように、RGBビットマップイメージポインタが示すアドレスのRGBビットマップデータを入力画像として受入れる入力部11と、該入力部11で入力したRGBビットマップデータをCIE(Commission Internationale d'Eclairage)のXYZ表色系の値に変換する色空間変換部12と、該色空間変換部12で変換したCIEのXYZ表色系の値を保持する色空間データ保持部13と、該色空間データ保持部13で保持するY値(輝度階調値)に対し、前記入力画像の所定位置からの距離に応じた重み付けを行い重み付け輝度ヒストグラムを生成し、該重み付け輝度ヒストグラムにおける輝度平均値を取得するスキャニング処理部14と、該スキャニング処理部14で取得した値を一時的に保持する処理データ保持部15と、該処理データ保持部15で一時的に保持しているデータに基づいて、シグモイド関数を用いた補正処理を行うための補正パラメータを取得し、取得した補正パラメータを処理データ保持部15で保持させる補正パラメータ取得部16と、処理データ保持部15で保持する補正パラメータを代入したシグモイド関数を用いて前記入力画像の前記Y値の補正を行い、その補正結果を色空間データ保持部13で保持させる補正処理部としてのシグモイド関数補正処理部17と、色空間データ保持部13で保持する補正色空間データをRGB値に変換するRGB変換部18と、該RGB変換部18で変換して得たRGBビットマップデータのアドレスを示すポインタを出力する出力部19とを備える。
【0010】
ここで、本発明の画像補正装置10を備えたシステム100を、図2および図3を参照しながら説明する。
前記システム100は、図2に示されているように、印刷装置としてのプリンタ101と、表示装置としてのモニタ102と、これらが接続するホストコンピュータ103とで構成されている。
ホストコンピュータ103は、各種情報を蓄積するためのHDD(Hard Disk Drive)104と、CPU(Central Processing Unit)105と、RAM(Random Access Memory)106と、ROM(Read Only Memory)107とを備えており、これら各構成の制御を行うためのOS(Operating System)108をソフトウェアとして保持している。前記ソフトウェアには、前記OS108以外に、アプリケーション109と、該アプリケーション109によりOS108に対し発行される表示命令群(イメージ描画命令、テキスト描画命令およびグラフィックス描画命令)を処理して前記モニタに表示を行うためのモニタドライバ111と、前記アプリケーション109が発行する各種描画命令群を処理して印刷データを生成するプリンタドライバ110などが含まれており、該ソフトウェアは、HDD104やRAM106などの記憶媒体に適宜保持されている。
【0011】
利用者は、ワープロソフトや、レタッチソフトおよびドローソフトと称される画像処理ソフトなどのアプリケーション109に基づいて動作するホストコンピュータ103を操作し、モニタ102に表示される表示画像に基づいて、文字などのテキストに分類されるテキストデータや、図形などのグラフィックスに分類されるグラフィックスデータや、自然画などのイメージ画像データなどを生成する。
前記イメージ画像データは、利用者がホストコンピュータ103を用いて任意に生成するよりも、デジタルカメラなどで取得したデジタル画像や、銀塩写真のフィルムをデジタルフィルムスキャナでデジタル化したデジタル画像などを、図示しないインタフェースを介してホストコンピュータ103に取り込まれ、適宜、利用者によりホストコンピュータ103で加工される。
【0012】
前記画像データをプリンタ101で印刷するとき、アプリケーション109からOS108に対し印刷出力要求が行われる。このとき、グラフィックスデータは、グラフィックス描画命令、イメージ画像データ(以降、単に画像データと称す)は、イメージ描画命令で構成される描画命令群がOSに発行される。アプリケーション109からの印刷要求を受けたOS108は、印刷要求および描画命令をプリンタドライバ110に発行し、該プリンタドライバ110はOS108からの印刷要求および描画命令群に基づいてプリンタ101に印刷させるための印刷データを生成し、該印刷データをプリンタ101へ出力する。
【0013】
前記プリンタ101が、例えばラスタープリンタ(Raster Printer)であるとき、プリンタドライバ110は、OS108からの描画命令に基づいて、入力画像としての画像データに対し順次画像補正処理を行う。プリンタドライバ110は、補正された画像データを順次RGB24ビットページメモリにラスタライズした後、該RGB24ビットページメモリの内容をプリンタ101で印刷可能な例えばYMCK形式のデータに変換し、該変換したデータを印刷データとしてプリンタ101へ出力する。前記した処理を行うプリンタドライバ110の機能ブロック図が図3に示されている。
【0014】
プリンタドライバ110は、本発明の画像補正装置10と、プリンタ用補正処理装置20とを備えている。
本発明の画像補正装置10は、OS108からの描画命令群に含まれる画像データとしての入力画像に対し、画像補正処理を行う。該画像補正処理は、RGB表色系の色情報をCIEのXYZ表色系に変換し、輝度信号Y(輝度階調値)に対してシグモイド関数を用いて輝度階調の補正処理を行った後、補正された輝度信号と元のXZ値とに基づいてRGB表色系の色情報に変換する。この変換結果が保持される記憶領域(図示せず)を示すポインタが描画命令と共にプリンタ用補正処理装置20へ出力される。
プリンタ用補正処理装置20は、ポインタで示される記憶領域の色情報を、RGB24ビットページメモリにラスタライズする。その後、ラスタライズされた各画素に対してプリンタの色再現性に依存したCMYK表色系の印刷データを生成し、生成した印刷データをプリンタ101へ出力する。
【0015】
ここで、再び図1の画像補正装置10のブロック図に戻って、該画像補正装置10の各部の動作を図4のフローチャートに沿って説明する。
入力部11は、RGBビットマップイメージポインタで示されるアドレスのRGB表色系のビットマップデータをコピーし、コピーした該RGB表色系のビットマップデータを入力画像として取得する(ステップS10)。
色空間変換部12は、入力部11で取得したRGB表色系のビットマップデータを、従来から知られた方法によりCIEのXYZ表色系に変換する(ステップS20)。
CIEのXYZ表色系に変換されたビットマップデータが、色空間データ保持部13で保持される。
【0016】
CIEのXYZ表色系のビットマップデータを保持する色空間データ保持部13から輝度信号Yに基づいて、スキャニング処理部14で重み付けされた輝度ヒストグラムを生成し、該重み付け輝度ヒストグラムに基づいて、該重み付け輝度平均値を算出する(ステップS30)。
ここで、スキャニング処理部14の動作を詳細に説明する。
スキャニング処理部14は、重み付け輝度ヒストグラム生成部と、重み付け輝度平均値算出部とで構成されている。
【0017】
重み付け輝度ヒストグラム生成部は、図5(a)に示されるように、入力画像の画像中心点で重み付けが最大になるように、例えば正規分布で重みの分布を設定する。これは、入力画像の中心に被写体がある確率が最も高く、中心から離れるに従ってその確率が低減することに基づいている。
入力画像の中心から最も離れた地点を最遠点と称すると、画像の中心から最遠点までの距離が1となるように、正規化を施す。これにより、輝度ヒストグラムが画像サイズに依存することを防ぐことができる。
【0018】
その後、図5(b)に示すような正規分布の横軸を正規化後の画像中心点からの距離、縦軸を重みとして各画素について重み値を加重階調値として算出する。図5(b)の正規分布における最大値および分散は所定の値であり、図示しない記憶部で予め保持している。
通常の輝度ヒストグラムを作成するときは、所定の輝度階調値の画素が何画素あるかカウントするが、重み付け輝度ヒストグラムを生成するときは、画素数のカウントに代えて、各画素に設定された重み値を加算する。
画像サイズに依存しないように輝度ヒストグラムを正規化するとき、各画素に設定された重み値の総和で輝度ヒストグラムの各度数を割ることにより、総和が1となる。
【0019】
その後、重み付け輝度平均値算出部は、前記重み付け輝度ヒストグラムに基づいて、特性値としての重み付け輝度平均値を算出する。通常の輝度平均値は、(式1)に示すように、輝度値の総和を全画素数で割ることで算出されるが、重み付け輝度平均値は、(式2)に示すように、各画素の輝度値とその画素に設定した重み値との積の総和を求め、該総和を重み値の総和で割ることで算出される。生成した重み付け輝度ヒストグラムと、算出した重み付け輝度平均値とが処理データ保持部15で保持される。
【0020】
【数1】
【0021】
処理データ保持部15で保持する重み付け輝度ヒストグラムおよび重み付け輝度平均値に基づいて、後述するシグモイド関数のための補正パラメータを補正パラメータ取得部16で取得する(ステップS40)。取得した補正パラメータは処理データ保持部15で保持される。
取得する補正パラメータは、シグモイド関数を用いて入力画像を補正するための補正係数であり、着目階調値aと、着目階調値におけるシグモイド関数の傾きの最大値γとである。本具体例では、着目階調値aを前記重み付け輝度ヒストグラムの最大値とし、着目傾き値γは全ての画像に対し固定で1.4を設定する。
【0022】
着目傾き値γは、実験的な値であり、どのような画像に対しても弊害無く輝度階調変換を成し得ると思われる値として1.4を設定したが、この数値に限定する必要はない。
また着目階調値aは、前記重み付け輝度ヒストグラムの最大値としたが、この値に限ることなく、例えば局所的な最大値を設定することの無いように、4次元関数などの連続関数で重み付け輝度ヒストグラムを近似し、その最大値を着目階調値aに設定したり、重み付け輝度平均値を着目階調値aに設定してもよい。
【0023】
補正パラメータが取得されると、シグモイド関数補正処理部17は、該補正パラメータをシグモイド関数の式に代入する。0〜255までの輝度階調値のシグモイド関数が、(式3)に示されている。
Y′=a1−γYγ
(0<=Y<=a)
Y′=255−(255−a)1−γ(255−Y)γ
(a<Y<=255)
Y :入力輝度階調値
Y′:出力輝度階調値
γ :着目傾き値(傾き最大値)
a :着目階調値(傾き最大値の階調値)
(式3)
【0024】
ここで、シグモイド関数を説明する。シグモイド関数は、図6のグラフで示されているように、S字状のカーブを描く関数であり、S字状カーブの特性は、銀塩写真における輝度階調値の入力および出力関係と同じである。ところで、デジタルカメラで取得した画像データは、一般的にダイナミックレンジが圧縮されていることから、銀塩写真と比べてメリハリが無い。このメリハリが無い画像データを、S字状カーブを描くシグモイド関数を用いて変換することにより、銀塩写真と同様な質感を得ることができる。
特に、シグモイド関数における傾き最大となるポイントで輝度階調値を変換前後で保持することにより、強調したい輝度階調値を変えることなく画像データを変換することができ、これにより良好な質感の画像データを得ることができる。
【0025】
シグモイド関数補正処理部17は、色空間データ保持部13で保持する各画素の輝度階調値Yを、補正パラメータを代入したシグモイド関数で、順次変換し変換結果Y′を色空間データ保持部13に保持させる(ステップS50)。
RGB変換部18は、シグモイド関数を用いて変換されたCIEのXYZ表色系のビットマップデータを、従来から知られた方法によりRGB表色系に変換し、RGB表色系のビットマップデータを生成する(ステップS60)。
出力部19は、変換後のRGBビットマップイメージのポインタを出力する。
【0026】
前記したように、具体例1の画像補正装置10によれば、入力画像の画像中心点からの距離に応じた重み付けをした重み付け輝度ヒストグラムを生成し、該重み付け輝度ヒストグラムに基づいて補正パラメータを算出し、該補正パラメータを代入したシグモイド関数で入力画像の輝度階調値を補正することにより、画像中心点付近の被写体の輝度階調幅を広げることができ、入力画像を良好に補正することができる。
更に、具体例1の画像補正装置10によれば、入力画像の被写体部分のみを輝度階調補正することなく、入力画像全体を輝度階調補正することから、補正後の入力画像の連続性を保つことができる。これにより、例えば被写体が画像中心点からずれても、不自然な輝度階調補正を行うことなく輝度階調を補正することができる。
【0027】
〈具体例2〉
前記した具体例1は着目階調値を一つ設定したが、具体例2では着目階調値を複数設定し、輝度階調の補正効果の向上を図る。
例えば被写体に高輝度部分と低輝度部分とを互いに含むとき、これらの部分を共に輝度階調が豊かになるように補正を施すことが望まれる。高輝度部分と低輝度部分との2点で注目階調値を設定したシグモイド関数を用いて輝度補正した場合の輝度特性グラフを図7に示す。該グラフでは、低輝度部分の0.2と、高輝度部分の0.6付近で変換後の輝度階調幅が広がっている。
【0028】
具体例2の画像補正装置10′の構成は、具体例1と同様に入力部11、色空間変換部12、色空間データ保持部13、スキャニング処理部14、処理データ保持部15、RGB変換部18および出力部19を備えており、更に具体例1の補正パラメータ取得部16に代わる補正パラメータ取得部16′と、具体例1のシグモイド関数補正処理部17に代わるシグモイド関数補正処理部17′と、を備えている。
具体例1と同じ構成の説明は割愛し、複数の着目階調値を設定する補正パラメータ取得部16′およびシグモイド関数補正処理部17′を図を用いて詳細に説明する。
【0029】
補正パラメータ取得部16′は、処理データ保持部15で保持する重み付け輝度ヒストグラムおよび重み付け輝度平均値に基づいて、シグモイド関数のための補正パラメータを取得し、取得した補正パラメータを処理データ保持部15で保持する。
取得する補正パラメータは、入力画像をシグモイド関数を用いて補正するための補正係数であり、2つの着目階調値aと、各着目階調値におけるシグモイド関数の傾きの最大値γ(着目傾き値)とである。本具体例では、重み付け輝度ヒストグラムにおいて、最大値と、次に大きい値とを小さいほうから順に、着目階調値a1と、着目階調値a2とする。
【0030】
着目傾き値γは全ての画像に対し固定で1.4と設定する。着目傾き値γは、実験的な値であり、どのような画像に対しても弊害無く輝度階調変換を成し得ると思われる値として1.4を設定したが、この数値に限定する必要はない。
着目階調値a1および着目階調値a2は、重み付け輝度ヒストグラムの最大値と次に大きい値を設定したが、これらの値に限ることなく、例えば局所的な最大値を設定することの無いように、4次元関数などの連続関数で重み付け輝度ヒストグラムを近似し、その最大値と次に大きい値とを着目階調値a1および着目階調値a2に設定したり、重み付け輝度平均値と、重み付け輝度ヒストグラムの最大値とを複数の着目階調値に設定してもよい。
【0031】
しかし、図8に示すグラフのように、着目階調値a1と着目階調値a2とが近いと、その継目が急カーブとなり、輝度階調が急激に変化することから、例えば、グラデーションのように、輝度階調が次第に変化する部位に適用されると、輝度階調の補正結果が不自然になる。
これを防ぐべく、輝度階調値a1と輝度階調値a2との間が所定の値以下、つまりa2−a1が所定値以下であるとき、a1=a2=重み付け輝度最大値、若しくはa1=a2=重み付け輝度平均値とする。
設定した着目階調値a1および着目階調値a2と、着目傾き値γとから成る補正パラメータは、処理データ保持部15で保持される。
【0032】
シグモイド関数補正処理部17′は、処理データ保持部15から補正パラメータを取得すると、該補正パラメータをシグモイド関数に代入する。
0〜255までの輝度階調値のシグモイド関数が、(式4)に示されている。Y′=a11−γ1Yγ1
(0<=Y<=a1)
Y′=b−(b−a1)1−γ1(b−Yγ1)
(a1<Y<b)
Y′=(a2−b)1−γ2(Y−b)γ2+b
(b<=Y<=a2)
Y′=255−(255−a2)1−γ2(255−Y)γ2
(a2<Y<=255)
但し、b=(a1+a2)/2
γ1=γ2
ここで、階調値は0〜255の値とする。
Y :入力輝度階調値
Y′:出力輝度階調値
γ1:低輝度部位における着目傾き値(傾き最大値)
γ2:高輝度部位における着目傾き値(傾き最大値)
a1:低輝度部位における着目階調値(傾き最大値の階調値)
a2:高輝度部位における着目階調値(傾き最大値の階調値)
b :低輝度部位および高輝度部位間における分割階調値(a1、a2の中点)
(式4)
【0033】
着目傾き値γ1および着目傾き値γ2は、互いに異なる値を設定してもよいが、高輝度部位と低輝度部位との境で、不連続となることから同じ値とすることが望ましい。
式4では、分割階調値としての分割階調点bが、図9の(a)に示すように、低輝度部位における着目階調値a1と高輝度部位における着目階調値a2との中点であったが、図9の(b)に示すように、0からa1と、a2から255までの比率(a1−0:255−a2)で分割し、その分割境界点を分割階調点としてもよい。このときの分割階調値bを式5に示す。
b=255a1/{255−(a2−a1)} (式5)
また、前記した着目階調値は、2点に限る必要はなく、例えば3点やそれ以上であってもよい。
【0034】
シグモイド関数補正処理部17は、補正パラメータをシグモイド関数に代入すると、該シグモイド関数を用いて色空間データ保持部13で保持する各画素の輝度階調値Yを順次変換し、変換結果Y′を色空間データ保持部13に保持させる。
【0035】
前記したように、具体例2の画像補正装置10′によれば、輝度階調補正の中心となる着目階調値を複数設定することにより、複数の輝度階調値幅を広げることができ、入力画像を良好に補正することができる。
【0036】
【発明の効果】
本発明の画像補正装置によれば、前記入力画像を構成する各画素の階調値に対し、前記入力画像の所定位置からの距離に応じた重み付けを行った頻度分布に基づいて着目階調値および着目傾き値を設定し、設定した前記着目階調値および前記着目傾き値から成る補正パラメータに基づいて、前記入力画像の階調値を変換することにより、輝度階調幅に広がりある補正処理が施されることから、被写体と背景とにメリハリがあり、良好な補正結果を得ることができる。
【図面の簡単な説明】
【図1】本発明の画像補正装置のブロック図である。
【図2】システム構成を示すブロック図である。
【図3】プリンタドライバのブロック図である。
【図4】本発明の画像補正装置の動作を示すフローチャートである。
【図5】(a)入力画像における画像中心点からの距離を示す模式図である。
(b)画像中心点からの距離に応じて重み付けしたグラフである。
【図6】シグモイド関数を示すグラフである。
【図7】着目階調点が2点のシグモイド関数を用いて輝度補正した場合の輝度特性グラフである。
【図8】着目階調点a1および着目階調点a2が近すぎて、階調変換が不自然なシグモイド関数を示すグラフである。
【図9】(a)分割階調値bを着目階調点a1および着目階調点a2の中点とすることを示す模式図である。
(b)分割階調値bを着目階調点a1および着目階調点a2の比で分割することを示す模式図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to digital image correction processing, and more particularly, to an image correction method and an image correction apparatus for correcting luminance of a digital image.
[0002]
[Prior art]
According to
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-189861
[Problems to be solved by the invention]
However, since the conventional image correction method corrects the input image without considering the subject, gradation correction is linearly performed on the input image. Therefore, since the correction process without spreading the luminance gradation width is performed, the subject and the background are not sharp, that is, the subject cannot be corrected so as to stand out from the background, and a satisfactory correction result can be obtained. could not.
Accordingly, an object of the present invention is to provide a method for performing a correction process so that an input image is sharp and an image correction apparatus.
[0005]
[Means for Solving the Problems]
The present invention adopts the following configuration in order to solve the above points.
An image correction method for converting a luminance gradation value of an input image using a sigmoid function, wherein the luminance gradation value of each pixel constituting the input image is a distance from a predetermined position of the input image. Calculating weighted gradation values according to weighting, generating a histogram showing the frequency distribution of the weighted gradation values, and selecting a plurality of target gradation values as coefficient parameters of the sigmoid function based on the histogram to that, the sigmoid function of coefficient parameters as the obtaining each focusing gradient values obtained experimentally for each focusing each gradation value corresponding, wherein the difference between the interest gradation value is greater than a predetermined value each A divided gradation value is set between the target gradation values, and the gradation value area that the pixel can take is divided into a plurality of divided areas by each divided gradation value and each target gradation value. When to convert The target gradation value corresponding to the divided region including the gradation value of the pixel, the divided gradation value, and the target inclination value corresponding to the target gradation value are selected and set as the coefficient parameter in the sigmoid function. The tone value of the pixel is converted by the sigmoid function, and when the difference between the target tone values is equal to or less than the predetermined value, any one target tone value and the target corresponding to the target tone value An inclination value is set in the sigmoid function, and a gradation value of each pixel is converted through the sigmoid function.
[0006]
The predetermined position is a center of the input image .
[0007]
An image correction apparatus for converting a luminance gradation value of an input image using a sigmoid function, wherein the luminance gradation value of each pixel constituting the input image is a distance from a predetermined position of the input image. A weighting gradation value is calculated by performing weighting according to the scanning processing unit that generates a histogram indicating a frequency distribution of the calculated weighted gradation value, and a plurality of attentions are given as coefficient parameters of the sigmoid function based on the histogram a correction parameter acquiring unit to select the tone values, the tone value of each pixel to obtain the respective interest gradient values respectively to the each focused tone value as a coefficient parameter to obtain the corresponding experimentally the sigmoid function and a correction processing unit for converting through the sigmoid function, the correction processing unit, the difference is larger than a predetermined value and the split tone values between the respective interest tone values of the focused tone values When the gradation value area that can be taken by the pixel is divided into a plurality of divided areas according to each divided gradation value and each target gradation value, and the gradation value of a certain pixel is converted, the gradation value of the pixel is The target gradation value corresponding to the included divided region, the divided gradation value, and the target inclination value corresponding to the target gradation value are selected and set as the coefficient parameter in the sigmoid function. When the gradation value is converted and the difference between the respective target gradation values is equal to or less than the predetermined value, any one target gradation value and the target inclination value corresponding to the target gradation value are set in the sigmoid function. The gradation value of each pixel is converted through the sigmoid function.
[0008]
The scanning processing unit can calculate a weighted gradation value for performing weighting according to a distance from the center with the predetermined position as the center of the input image .
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<Specific example 1>
As shown in FIG. 1, an
[0010]
Here, a
As shown in FIG. 2, the
The host computer 103 includes an HDD (Hard Disk Drive) 104, a CPU (Central Processing Unit) 105, a RAM (Random Access Memory) 106, and a ROM (Read Only Memory) 107 for storing various types of information. An OS (Operating System) 108 for controlling these components is held as software. In addition to the OS 108, the software processes the
[0011]
A user operates a host computer 103 that operates based on an
The image image data is a digital image obtained by a digital camera or the like, or a digital image obtained by digitizing a silver salt photographic film by a digital film scanner, rather than a user arbitrarily generating it using the host computer 103, The data is taken into the host computer 103 via an interface (not shown) and is appropriately processed by the user at the host computer 103.
[0012]
When the image data is printed by the
[0013]
When the
[0014]
The
The
The printer
[0015]
Here, returning to the block diagram of the
The input unit 11 copies the RGB color system bitmap data at the address indicated by the RGB bitmap image pointer, and acquires the copied RGB color system bitmap data as an input image (step S10).
The color
Bitmap data converted into the CIE XYZ color system is held in the color space data holding unit 13.
[0016]
Based on the luminance signal Y from the color space data holding unit 13 holding the bitmap data of the CIE XYZ color system, a luminance histogram weighted by the scanning processing unit 14 is generated, and based on the weighted luminance histogram, A weighted luminance average value is calculated (step S30).
Here, the operation of the scanning processing unit 14 will be described in detail.
The scanning processing unit 14 includes a weighted luminance histogram generating unit and a weighted luminance average value calculating unit.
[0017]
As shown in FIG. 5A, the weighted luminance histogram generation unit sets the weight distribution, for example, in a normal distribution so that the weight is maximized at the image center point of the input image. This is based on the fact that the probability that the subject is at the center of the input image is the highest, and that the probability decreases as the distance from the center increases.
If the point farthest from the center of the input image is called the farthest point, normalization is performed so that the distance from the center of the image to the farthest point is 1. This can prevent the luminance histogram from depending on the image size.
[0018]
Thereafter, the horizontal axis of the normal distribution as shown in FIG. 5B is the distance from the image center point after normalization, the vertical axis is the weight, and the weight value is calculated as a weighted gradation value for each pixel. The maximum value and variance in the normal distribution in FIG. 5B are predetermined values, and are held in advance in a storage unit (not shown).
When creating a normal luminance histogram, the number of pixels with a predetermined luminance gradation value is counted. When generating a weighted luminance histogram, each pixel is set instead of counting the number of pixels. Add weight values.
When normalizing the luminance histogram so as not to depend on the image size, the sum is set to 1 by dividing each frequency of the luminance histogram by the sum of the weight values set for each pixel.
[0019]
Thereafter, the weighted luminance average value calculation unit calculates a weighted luminance average value as a characteristic value based on the weighted luminance histogram. The normal luminance average value is calculated by dividing the total luminance value by the total number of pixels as shown in (Equation 1), but the weighted luminance average value is calculated for each pixel as shown in (Equation 2). Is calculated by obtaining the sum of products of the luminance value of the pixel and the weight value set for the pixel and dividing the sum by the sum of the weight values. The generated weighted luminance histogram and the calculated weighted luminance average value are held in the processing data holding unit 15.
[0020]
[Expression 1]
[0021]
Based on the weighted luminance histogram and weighted luminance average value held by the processing data holding unit 15, a correction parameter for a sigmoid function described later is acquired by the correction parameter acquiring unit 16 (step S40). The acquired correction parameter is held in the processing data holding unit 15.
The correction parameters to be acquired are correction coefficients for correcting the input image using the sigmoid function, and are the target gradation value a and the maximum value γ of the sigmoid function slope at the target gradation value. In this specific example, the target gradation value a is set to the maximum value of the weighted luminance histogram, and the target inclination value γ is fixed to 1.4 for all images.
[0022]
The target inclination value γ is an experimental value, and 1.4 is set as a value that is considered to be capable of performing luminance gradation conversion without any harmful effect on any image. However, it should be limited to this value. There is no.
The target gradation value a is the maximum value of the weighted luminance histogram, but is not limited to this value. For example, a continuous function such as a four-dimensional function is used so as not to set a local maximum value. The luminance histogram may be approximated, and the maximum value may be set as the target gradation value a, or the weighted luminance average value may be set as the target gradation value a.
[0023]
When the correction parameter is acquired, the sigmoid function
Y ′ = a 1−γ Y γ
(0 <= Y <= a)
Y ′ = 255− (255−a) 1−γ (255−Y) γ
(A <Y <= 255)
Y: input luminance gradation value Y ′: output luminance gradation value γ: focused inclination value (maximum inclination value)
a: The target gradation value (gradation value of the maximum inclination value)
(Formula 3)
[0024]
Here, the sigmoid function will be described. As shown in the graph of FIG. 6, the sigmoid function is a function that draws an S-shaped curve, and the characteristics of the S-shaped curve are the same as the luminance gradation value input and output relationship in a silver halide photograph. It is. By the way, image data acquired with a digital camera is generally not compressed as compared with a silver halide photograph because the dynamic range is generally compressed. By converting the image data without sharpness using a sigmoid function that draws an S-shaped curve, it is possible to obtain a texture similar to that of a silver halide photograph.
In particular, it is possible to convert image data without changing the luminance gradation value to be emphasized by holding the luminance gradation value before and after the conversion at the point where the gradient in the sigmoid function is the maximum, thereby enabling an image with a good texture. Data can be obtained.
[0025]
The sigmoid function
The
The output unit 19 outputs a pointer of the converted RGB bitmap image.
[0026]
As described above, according to the
Furthermore, according to the
[0027]
<Specific example 2>
In Specific Example 1 described above, one target gradation value is set. In Specific Example 2, a plurality of target gradation values are set to improve the correction effect of the luminance gradation.
For example, when a subject includes a high-luminance portion and a low-luminance portion, it is desirable to correct these portions so that the luminance gradation is rich. FIG. 7 shows a luminance characteristic graph when luminance correction is performed using a sigmoid function in which a target gradation value is set at two points of a high luminance portion and a low luminance portion. In the graph, the luminance gradation width after conversion is widened around 0.2 in the low luminance portion and 0.6 in the high luminance portion.
[0028]
The configuration of the
The description of the same configuration as in the specific example 1 is omitted, and the correction parameter acquisition unit 16 'and the sigmoid function correction processing unit 17' for setting a plurality of target gradation values will be described in detail with reference to the drawings.
[0029]
The correction parameter acquisition unit 16 ′ acquires a correction parameter for the sigmoid function based on the weighted luminance histogram and the weighted luminance average value held by the processing data holding unit 15, and the acquired correction parameter is obtained by the processing data holding unit 15. Hold.
The acquired correction parameter is a correction coefficient for correcting the input image using a sigmoid function, and includes two target gradation values a and a maximum value γ of the sigmoid function inclination at each target gradation value (target inclination value). ). In this specific example, in the weighted luminance histogram, the maximum value and the next largest value are set as the target gradation value a1 and the target gradation value a2 in order from the smallest value.
[0030]
The target inclination value γ is fixed to 1.4 for all images. The target inclination value γ is an experimental value, and 1.4 is set as a value that is considered to be capable of performing luminance gradation conversion without any harmful effect on any image. However, it should be limited to this value. There is no.
The target gradation value a1 and the target gradation value a2 are set to the next largest value and the maximum value of the weighted luminance histogram. However, it is not limited to these values, and for example, a local maximum value is not set. The weighted luminance histogram is approximated by a continuous function such as a four-dimensional function, and the maximum value and the next largest value are set as the target gradation value a1 and the target gradation value a2, or the weighted luminance average value and the weighting The maximum value of the luminance histogram may be set to a plurality of target gradation values.
[0031]
However, as shown in the graph of FIG. 8, when the target gradation value a1 and the target gradation value a2 are close, the joint becomes a sharp curve and the luminance gradation changes abruptly. In addition, when applied to a portion where the luminance gradation gradually changes, the luminance gradation correction result becomes unnatural.
In order to prevent this, when the luminance gradation value a1 and the luminance gradation value a2 are equal to or smaller than a predetermined value, that is, when a2-a1 is equal to or smaller than the predetermined value, a1 = a2 = weighted luminance maximum value or a1 = a2 = Weighted luminance average value.
The correction parameter composed of the set target gradation value a1 and target gradation value a2 and the target inclination value γ is held in the processing data holding unit 15.
[0032]
When the sigmoid function
A sigmoid function of luminance gradation values from 0 to 255 is shown in (Expression 4). Y ′ = a1 1−γ1 Y γ1
(0 <= Y <= a1)
Y ′ = b− (b−a1) 1−γ1 (b−Y γ1 )
(A1 <Y <b)
Y ′ = (a2−b) 1−γ2 ( Yb ) γ2 + b
(B <= Y <= a2)
Y ′ = 255− (255−a2) 1−γ2 (255−Y) γ2
(A2 <Y <= 255)
However, b = (a1 + a2) / 2
γ1 = γ2
Here, the gradation value is 0 to 255.
Y: input luminance gradation value Y ′: output luminance gradation value γ1: inclination value of interest (maximum inclination value) in a low luminance portion
γ2: Inclination value of interest (highest inclination value) in a high-luminance region
a1: The gradation value of interest in the low luminance part (gradation value of the maximum inclination value)
a2: The gradation value of interest in the high-luminance part (gradation value of the maximum inclination value)
b: Divided gradation value between the low-luminance part and the high-luminance part (middle point of a1 and a2)
(Formula 4)
[0033]
The target inclination value γ1 and the target inclination value γ2 may be different from each other, but are preferably the same value because they are discontinuous at the boundary between the high luminance part and the low luminance part.
In Expression 4, the divided gradation point b as the divided gradation value is, as shown in FIG. 9A, among the target gradation value a1 in the low luminance part and the target gradation value a2 in the high luminance part. However, as shown in FIG. 9B, it is divided at a ratio of 0 to a1 and a2 to 255 (a1-0: 255-a2), and the dividing boundary point is divided into gradation points. It is good. The divided gradation value b at this time is shown in Equation 5.
b = 255a1 / {255- (a2-a1)} (Formula 5)
Further, the target gradation value is not limited to two points, and may be, for example, three points or more.
[0034]
When the sigmoid function
[0035]
As described above, according to the
[0036]
【The invention's effect】
According to the image correction apparatus of the present invention, the gradation value of interest is based on a frequency distribution in which the gradation value of each pixel constituting the input image is weighted according to the distance from the predetermined position of the input image. And the target inclination value is set, and the gradation value of the input image is converted based on the correction parameter composed of the set target gradation value and the target inclination value. As a result, the subject and the background are sharp, and a good correction result can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image correction apparatus of the present invention.
FIG. 2 is a block diagram showing a system configuration.
FIG. 3 is a block diagram of a printer driver.
FIG. 4 is a flowchart showing the operation of the image correction apparatus of the present invention.
FIG. 5A is a schematic diagram showing a distance from an image center point in an input image.
(B) A graph weighted according to the distance from the image center point.
FIG. 6 is a graph showing a sigmoid function.
FIG. 7 is a luminance characteristic graph when luminance correction is performed using a sigmoid function having two gradation points of interest.
FIG. 8 is a graph showing a sigmoid function in which tone conversion is unnatural because the target tone point a1 and the target tone point a2 are too close.
9A is a schematic diagram showing that a divided gradation value b is a middle point of a target gradation point a1 and a target gradation point a2. FIG.
(B) is a schematic diagram showing that the divided gradation value b is divided by the ratio of the target gradation point a1 and the target gradation point a2.
Claims (4)
前記入力画像を構成する各画素の輝度の階調値に対し、前記入力画像の所定位置からの距離に応じた重み付けを行い加重階調値を算出すること、
前記加重階調値の頻度分布を示すヒストグラムを生成すること、
前記ヒストグラムに基づいて前記シグモイド関数の係数パラメータとして複数の着目階調値を選定すること、
前記シグモイド関数の係数パラメータとして前記各着目階調値にそれぞれ対応する実験的に得た各着目傾き値を取得すること、
前記各着目階調値の差が所定値より大きいと前記各着目階調値間に分割階調値を設定し、各分割階調値と各着目階調値により画素の取り得る階調値領域を複数の分割領域に分割し、ある画素の階調値を変換する場合、該画素の階調値が含まれる分割領域に対応する着目階調値と分割階調値及び該着目階調値に対応する着目傾き値を選択して前記係数パラメータとして前記シグモイド関数に設定し、該シグモイド関数により前記画素の階調値を変換すること、
前記各着目階調値の差が前記所定値以下であるといずれか1つの着目階調値と該着目階調値に対応する着目傾き値を前記シグモイド関数に設定し、前記各画素の階調値を該シグモイド関数を介して変換すること、
を特徴とする画像補正方法。An image correction method for converting a luminance gradation value of an input image using a sigmoid function,
Calculating a weighted gradation value by weighting the gradation value of the luminance of each pixel constituting the input image according to the distance from a predetermined position of the input image;
Generating a histogram showing the frequency distribution of the weighted tone values;
Selecting a plurality of target tone values as coefficient parameters of the sigmoid function based on the histogram;
Obtaining each experimentally obtained inclination value corresponding to each of the target gradation values as a coefficient parameter of the sigmoid function,
If the difference between the respective target gradation values is larger than a predetermined value , a divided gradation value is set between the respective target gradation values, and a gradation value area that can be taken by the pixel by each divided gradation value and each of the target gradation values Is divided into a plurality of divided regions, and the gradation value of a certain pixel is converted, the target gradation value corresponding to the divided region including the gradation value of the pixel, the divided gradation value, and the target gradation value Selecting a corresponding slope value of interest and setting it as the coefficient parameter in the sigmoid function, and converting the gradation value of the pixel by the sigmoid function;
If the difference between the target gradation values is equal to or less than the predetermined value, any one target gradation value and a target inclination value corresponding to the target gradation value are set in the sigmoid function, and the gradation of each pixel is set. Converting a value through the sigmoid function;
An image correction method characterized by the above.
前記入力画像を構成する各画素の輝度の階調値に対し、前記入力画像の所定位置からの距離に応じた重み付けを行って加重階調値を算出し、算出した前記加重階調値の頻度分布を示すヒストグラムを生成するスキャニング処理部と、
前記ヒストグラムに基づいて前記シグモイド関数の係数パラメータとして複数の着目階調値を選定する補正パラメータ取得部と、
前記シグモイド関数の係数パラメータとして前記各着目階調値にそれぞれ対応する実験的に得た各着目傾き値を取得して前記各画素の階調値を該シグモイド関数を介して変換する補正処理部とを含み、
該補正処理部は、前記各着目階調値の差が所定値より大きいと前記各着目階調値間に分割階調値を設定し、各分割階調値と各着目階調値により画素の取り得る階調値領域を複数の分割領域に分割し、ある画素の階調値を変換する場合、該画素の階調値が含まれる分割領域に対応する着目階調値と分割階調値及び該着目階調値に対応する着目傾き値を選択して前記係数パラメータとして前記シグモイド関数に設定し、該シグモイド関数により前記画素の階調値を変換し、前記各着目階調値の差が前記所定値以下であるといずれか1つの着目階調値と該着目階調値に対応する着目傾き値を前記シグモイド関数に設定し、前記各画素の階調値を該シグモイド関数を介して変換する、
ことを特徴とする画像補正装置。An image correction apparatus that converts a gradation value of luminance of an input image using a sigmoid function,
A weighted gradation value is calculated by weighting the luminance gradation value of each pixel constituting the input image according to a distance from a predetermined position of the input image, and the frequency of the calculated weighted gradation value is calculated. A scanning processing unit for generating a histogram showing the distribution;
A correction parameter acquisition unit that selects a plurality of target gradation values as coefficient parameters of the sigmoid function based on the histogram;
A correction processing unit that acquires each experimentally obtained inclination value corresponding to each of the target gradation values as a coefficient parameter of the sigmoid function and converts the gradation value of each pixel via the sigmoid function; Including
The correction processing unit sets a divided tone value between the target tone values when the difference between the target tone values is larger than a predetermined value, and the correction processing unit sets pixel values based on the divided tone values and the target tone values. When a possible gradation value area is divided into a plurality of divided areas and a gradation value of a pixel is converted, a target gradation value and a divided gradation value corresponding to the divided area including the gradation value of the pixel, and A target inclination value corresponding to the target gradation value is selected and set as the coefficient parameter in the sigmoid function, and the gradation value of the pixel is converted by the sigmoid function, and a difference between the target gradation values is If it is less than or equal to a predetermined value, any one target gradation value and a target inclination value corresponding to the target gradation value are set in the sigmoid function, and the gradation value of each pixel is converted via the sigmoid function. ,
An image correction apparatus characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003173708A JP4237555B2 (en) | 2003-06-18 | 2003-06-18 | Image correction method and image correction apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003173708A JP4237555B2 (en) | 2003-06-18 | 2003-06-18 | Image correction method and image correction apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005012450A JP2005012450A (en) | 2005-01-13 |
JP4237555B2 true JP4237555B2 (en) | 2009-03-11 |
Family
ID=34097460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003173708A Expired - Fee Related JP4237555B2 (en) | 2003-06-18 | 2003-06-18 | Image correction method and image correction apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4237555B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4327754B2 (en) | 2005-03-16 | 2009-09-09 | 富士フイルム株式会社 | Image list generation apparatus and method, and program |
JP4682820B2 (en) * | 2005-11-25 | 2011-05-11 | ソニー株式会社 | Object tracking device, object tracking method, and program |
JP2007329620A (en) * | 2006-06-07 | 2007-12-20 | Olympus Corp | Imaging device and video signal processing program |
JP4393491B2 (en) | 2006-09-12 | 2010-01-06 | キヤノン株式会社 | Image processing apparatus and control method thereof |
-
2003
- 2003-06-18 JP JP2003173708A patent/JP4237555B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005012450A (en) | 2005-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6608926B1 (en) | Image processing method, image processing apparatus and recording medium | |
JP4406195B2 (en) | Output image adjustment of image data | |
JP4725057B2 (en) | Generation of image quality adjustment information and image quality adjustment using image quality adjustment information | |
JP7104575B2 (en) | Image processing equipment, control methods, and programs | |
JP4262151B2 (en) | Image processing method, image processing apparatus, computer program, and storage medium | |
JP2010278708A (en) | Image processing apparatus and method, and computer program | |
JP2020074501A (en) | Image processing apparatus, image processing method, and program | |
JP2002300402A (en) | Image processor, processing method and recording medium | |
JP7073191B2 (en) | Image processing equipment, image processing methods and programs | |
JP4774757B2 (en) | Image processing apparatus, image processing program, electronic camera, and image processing method | |
JP3667181B2 (en) | Image processing method and image processing apparatus | |
JP4920814B2 (en) | Image processing method, apparatus, and recording medium | |
JP4237555B2 (en) | Image correction method and image correction apparatus | |
JP6031921B2 (en) | Image processing apparatus and program | |
JP4581999B2 (en) | Image processing apparatus and image processing method | |
JP4164215B2 (en) | Image processing method, apparatus, and recording medium | |
JP4018245B2 (en) | Image processing method, apparatus, and recording medium | |
JP4095234B2 (en) | Image processing method, apparatus, and recording medium | |
JP2000092337A (en) | Image processing method, its device and recording medium | |
JP4359730B2 (en) | Monotone conversion apparatus, monotone conversion method, and medium recording monotone conversion program | |
JP3990816B2 (en) | Image processing method, apparatus, and recording medium | |
JP3833170B2 (en) | Gray line setting method, image processing apparatus and image processing method | |
JP5949399B2 (en) | Image processing apparatus and program | |
JP3900871B2 (en) | Image file generation device and image data output device | |
JP4100848B2 (en) | Image processing method and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080404 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081218 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131226 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |