JP4207381B2 - Image processing apparatus, image processing method, and recording medium - Google Patents
Image processing apparatus, image processing method, and recording medium Download PDFInfo
- Publication number
- JP4207381B2 JP4207381B2 JP2000354097A JP2000354097A JP4207381B2 JP 4207381 B2 JP4207381 B2 JP 4207381B2 JP 2000354097 A JP2000354097 A JP 2000354097A JP 2000354097 A JP2000354097 A JP 2000354097A JP 4207381 B2 JP4207381 B2 JP 4207381B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- value
- signal value
- processing apparatus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 143
- 238000003672 processing method Methods 0.000 title claims description 23
- 238000012937 correction Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000002265 prevention Effects 0.000 description 7
- 238000012886 linear function Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Description
【0001】
【発明の属する技術分野】
本発明は、レンジが定められた信号値を有する複数の画素で構成される画像に対する画像処理技術に関する。
【0002】
【従来の技術】
シャープネス補正などの画像処理については、アンシャープマスクやラプラシアンのようなフィルタによって強調量を算出し、これを元画像の各画素の画素値に加算する処理が行われている。そして、処理後の画素値が、レンジを超過、すなわち白(8ビットの場合、255)を超過する場合には、白にしている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記のシャープネス補正では、強調量算出のためのゲインが大きい場合には白飛びする画素が多くなるが、画像における白の画素の割合が大きくなると目立つため、強調量のゲインを抑えるようにしている。この場合には、所望のゲインによる十分なシャープネス補正ができないこととなる。
【0004】
また、動画では、静止画が次々と表示されるため、白飛びが静止画のみの場合より目立ちやすく、白飛び防止の処理が重要である。
【0005】
本発明は、上記課題に鑑みてなされたものであり、所望の画像処理を確保しつつ、白飛びなどによる画像劣化を防止できる画像処理技術を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記の課題を解決するため、請求項1の発明は、レンジが定められた第1の信号値を有する複数の画素で構成される画像に関して画像処理を行う画像処理装置であって、(a)前記画像に係る所定の画素群に対して画像処理を行い、前記第1の信号値に基づき第2の信号値を生成する画像処理を行う処理手段と、(b)前記レンジのうち第1中間値から一方の限界値までの区間を端部領域として設定する設定手段と、(c)前記第1の信号値が前記端部領域に属するか否か、前記第2の信号値が前記端部領域に属するか否かを判定する判定手段と、(d)前記所定の画素群について、前記判定手段によって、前記第1の信号値が前記端部領域に属すると判定された場合には、前記第1の信号値を出力する第1出力制御手段と、 (e) 前記所定の画素群について、前記判定手段によって、前記第1の信号値が前記端部領域に属さず、且つ前記第2の信号値が前記端部領域に属すると判定された場合には、前記一方の限界値から離れて設定された第2中間値を越えない信号値を出力する第2出力制御手段と、 (f) 前記所定の画素群について、前記判定手段によって、前記第1の信号値および前記第2の信号値がともに前記端部領域に属さないと判定された場合には、前記第2の信号値を出力する第3出力制御手段とを備える。
【0007】
また、請求項2の発明は、請求項1の発明に係る画像処理装置において、前記第1中間値は、固定値に設定されている。
【0008】
また、請求項3の発明は、請求項1または請求項2の発明に係る画像処理装置において、(g)前記所定の画素群における前記第2の信号値に係る統計情報に基づき、前記第1中間値を決定する決定手段をさらに備える。
【0009】
また、請求項4の発明は、請求項3の発明に係る画像処理装置において、前記統計情報は、前記処理後の信号値が前記一方の限界値の近傍となる画素数と、前記所定の画素群における画素の総数との比率に基づいて得られる。
【0010】
また、請求項5の発明は、請求項1ないし請求項4のいずれかの発明に係る画像処理装置において、前記第1中間値と前記第2中間値とは等しい。
【0011】
また、請求項6の発明は、請求項1ないし請求項5のいずれかの発明に係る画像処理装置において、前記画像は動画の各フレームであり、前記レンジのうち、前記画像の再現時に高明度側となる端部に前記端部領域を設定する。
【0012】
また、請求項7の発明は、請求項1ないし請求項6のいずれかの発明に係る画像処理装置において、前記処理手段で行われる画像処理は、シャープネス補正に関する処理である。
また、請求項8の発明は、レンジが定められた第1の信号値を有する複数の画素で構成される画像に関して画像処理を行う画像処理方法であって、(a)前記画像に係る所定の画素群に対して画像処理を行い、前記第1の信号値に基づき第2の信号値を生成する画像処理を行う処理工程と、(b)前記レンジのうち第1の中間値から一方の限界値までの区間を端部領域として設定する設定工程と、(c)前記第1の信号値が前記端部領域に属するか否か、前記第2の信号値が前記端部領域に属するか否かを判定する判定工程と、(d) 前記所定の画素群について、前記判定工程において、前記第1の信号値が前記端部領域に属すると判定された場合には、前記第1の信号値を出力する第1出力制御工程と、 (e) 前記所定の画素群について、前記判定工程において、前記第1の信号値が前記端部領域に属さず、且つ前記第2の信号値が前記端部領域に属すると判定された場合には、前記一方の限界値から離れて設定された第2中間値を越えない信号値を出力する第2出力制御工程と、 (f) 前記所定の画素群について、前記判定工程において、前記第1の信号値および前記第2の信号値がともに前記端部領域に属さないと判定された場合には、前記第2の信号値を出力する第3出力制御工程とを備える。
また、請求項9の発明は、請求項8の発明に係る画像処理方法において、前記第1中間値は、固定値に設定されている。
また、請求項10の発明は、請求項8または請求項9の発明に係る画像処理方法において、 (g) 前記所定の画素群における前記第2の信号値に係る統計情報に基づき、前記第1中間値を決定する決定工程をさらに備える。
また、請求項11の発明は、請求項10の発明に係る画像処理方法において、前記統計情報は、前記第2の信号値が前記一方の限界値の近傍となる画素数と、前記所定の画素群における画素の総数との比率に基づいて得られる。
また、請求項12の発明は、請求項8ないし請求項11のいずれかの発明に係る画像処理方法において、前記第1中間値と前記第2中間値とは等しい。
また、請求項13の発明は、請求項8ないし請求項12のいずれかの発明に係る画像処理方法において、前記画像は動画の各フレームであり、前記レンジのうち、前記画像の再現時に高明度側となる端部に前記端部領域を設定する。
また、請求項14の発明は、請求項8ないし請求項13のいずれかの発明に係る画像処理方法において、前記処理工程において行われる画像処理は、シャープネス補正に関する処理である。
【0013】
また、請求項15の発明は、請求項8ないし請求項14のいずれかに記載の画像処理方法を前記画像処理装置に内蔵されたコンピュータに実行させるためのプログラムを記録した、コンピュータ読取り可能な記録媒体である。
【0014】
【発明の実施の形態】
<第1実施形態>
<画像処理装置の要部構成>
図1は、本発明の第1実施形態に係る画像処理装置1の要部構成を示す斜視図である。
【0015】
画像処理装置1は、パーソナルコンピュータとして構成されており、箱型の形状を有する処理部2と、操作部3と、モニタ4とを備えている。
【0016】
処理部2は、画像処理を行う部位であり、その前面に光ディスクなどの記録媒体9を挿入する挿入部21を有している。
【0017】
操作部3は、マウス31とキーボード32とから構成され、ユーザからの画像処理装置1に対する入力操作を受付ける。
【0018】
モニタ4は、処理部2からの指示に基づき表示が行われることとなる。
【0019】
図2は、画像処理装置1の機能ブロックを示す図である。
【0020】
画像処理装置1の処理部2は、上記のマウス31、キーボード32およびモニタ4に接続する入出力I/F22と、入出力I/F22に電気的に接続する制御部23とを備えている。また、処理部2は、制御部23に電気的に接続する記憶部24と、入出力I/F25とを備えている。
【0021】
入出力I/F22は、マウス31、キーボード32およびモニタ4と制御部23との間でデータの送受をコントロールするためのインターフェイスである。
【0022】
記憶部24は、ハードディスクとして構成されており、オペレーションシステム(OS)24aや、画像処理を行うための演算処理プログラム24bなどが記憶されている。
【0023】
入出力I/F25は、挿入部21を介して、記録媒体9に対するデータの入出力を行うためのインターフェイスである。
【0024】
制御部23は、CPU231およびメモリ232を有しており、上記の各部を有機的に制御して画像処理装置1の動作を統括制御する部位である。この制御部23のメモリ232には、記録媒体9に記録されているプログラムデータを入出力I/F25を介して格納することができる。これにより、この格納したプログラムを画像処理装置1の動作に反映することができる。
【0025】
<画像処理装置1の動作>
図3は、画像処理装置1における画像処理動作を示すフローチャートである。この動作は、画素配列で構成される画像に対して、アンシャープマスクによるシャープネス補正、すなわち強調処理を行うもので、制御部23のCPU231により自動的に実行される。
【0026】
この画像処理装置1は静止画および動画のいずれにも対応可能であるが、ここでは動画の各フレーム画像について処理を行う場合を考える。以下ではひとつのフレームについてのみ説明するが、各フレームの画像につき同様の処理がなされる。後述する他の実施形態においても同様である。
【0027】
また、本画像処理の対象となる各画素の画素値(信号値)は、8ビットすなわち下限値0から上限値(限界値)255までレンジ(ダイナミックレンジ)が定められている。なお、画素値とは、輝度値を示している。
【0028】
ステップS1では、各画素に関してRGB信号からHSL信号に色空間を変換する。
【0029】
ステップS2では、アンシャープマスクにより、画像を形成する各画素(画素群)を変換する。具体的には、画像を形成する画素配列のi行j列の画素における画素値をKij、Aijをこの画素に関する局所平均値、Cを強調量算出のためのゲイン係数、Hijを処理後の画素値とすると、次の数1に示す演算が行われる。
【0030】
[数1]
Hij=Kij+C(Kij−Aij)
ステップS3では、画素値Kijが閾値Th、例えば230以上となっているかを判定する。この閾値Th=230に対応する画素値は、90%程度のグレー値となっている。ここで、画素値Kijが閾値Th以上である場合には、ステップS4に進み、閾値Thより小さい場合には、ステップS5に進む。
【0031】
ステップS4では、画素値H'ijにKijを代入する。これは、処理前の元画像における閾値Th以上の高輝度の画素については、元画像の表現状態を尊重するため、シャープネス補正前の画素値Kijを画素値H'ijに代入することとなる。
【0032】
ステップS5では、画素値Hijが、レンジの中間値で固定値である閾値Th以上であるかを判定する。ここで、画素値Hijが閾値Th以上である場合には、ステップS6に進み、閾値Thより小さい場合には、ステップS7に進む。
【0033】
ステップS6では、画素値H'ijに、レンジの中間値である閾値Thを代入する。これは、白飛びを防止するための変換である。
【0034】
ステップS7では、画素値H'ijに画素値Hijを代入する。
【0035】
ステップS8では、画像における各画素の画素値を処理後の画素値H'ijで更新した後、色空間を元に戻す。すなわち、HSL信号からRGB信号に色空間を変換する。
【0036】
以上の動作を、図4を参照しつつ説明する。
【0037】
図4は、上記のステップS5〜S7の処理動作を説明するための図である。ここで、図4のグラフに関する横軸は、シャープネス補正後の画素値Hijを示しており、縦軸は、白飛び防止変換後の画素値H'ijを示している。
【0038】
変換関数Fnは、点P(230,230)で、一次関数F1とF2とが連結している。ここで、一次関数F1はH'ij=Hijの直線であり、一次関数F2はH'ij=230の直線である。すなわち、この閾値Thと、画像信号のレンジ(ダイナミックレンジ)の一方の限界値(255)とを両端点とする区間を、処理後の信号値を排除する端部領域(変換領域)TRとして設定されている。この端部TRは、画像信号のレンジのうちその画像の再現時に高明度側となる端部に設定されている。ここで考えている例はポジ画像であり、したがって、アンシャープマスクなどの画像補正処理後の画素値Hijがこの端部領域TRに入ることになる場合には、その画素値Hijは中間値であるH'ij=230において飽和させるようになっている。
【0039】
上記の変換関数Fnによる画素値の変換によって、処理後の画素値が閾値Thを超過せず、白色より輝度が低いグレーに抑えられるため、白飛びを防止できることとなる。
【0040】
以上の画像処理装置1の動作により、シャープネス補正と独立して白飛び防止処理を行うため、所望のシャープネス補正を確保しつつ、白飛びを防止できることとなる。
【0041】
<第2実施形態>
<画像処理装置の要部構成>
本発明の第2実施形態に係る画像処理装置1Aの構成は、上記の画像処理装置1の構成に類似しているが、後述の画像処理動作を行うためのプログラムが、図2に示す全体制御部23Aのメモリ232に記憶されている。
【0042】
<画像処理装置1Aの動作>
図5は、画像処理装置1Aにおける画像処理動作を示すフローチャートである。この動作は、画素配列で構成される画像に対して、ラプラシアンによるシャープネス補正を行うもので、制御部23AのCPU231により自動的に実行される。
【0043】
また、本画像処理が行われる各画素の画素値は、第1実施形態と同様に、8ビットすなわち下限値0から上限値255までのレンジが定められている。
【0044】
ステップS11では、図3のフローチャートに示すステップS1と同様の動作を行う。
【0045】
ステップS12では、ラプラシアン∇2により、画像を形成する各画素(画素群)を変換する。具体的には、画像を形成する画素配列のi行j列の画素における画素値をKij、Cを強調量算出のためのゲイン係数、Hijを処理後の画素値とすると、次の数2に示す演算が行われる。
【0046】
[数2]
Hij=Kij−C・∇2Kij
なお、上式のラプラシアン∇2は、2次微分、すなわち∂2/∂x2+∂2/∂y2で表される。
【0047】
ステップS13〜S18は、図3のフローチャートに示すステップS3〜S8と同様の動作を行う。
【0048】
以上の画像処理装置1Aの動作により、第1実施形態の画像処理装置1と同様に、シャープネス補正と独立して白飛び防止処理を行うため、所望のシャープネス補正を確保しつつ、白飛びを防止できる。
【0049】
<第3実施形態>
<画像処理装置の要部構成>
本発明の第3実施形態に係る画像処理装置1Bの構成は、上記の画像処理装置1の構成に類似しているが、後述の画像処理動作を行うためのプログラムが、図2に示す全体制御部23Bのメモリ232に記憶されている。
【0050】
<画像処理装置1Bの動作>
図6は、画像処理装置1Bにおける画像処理動作を示すフローチャートである。この動作は、画素配列で構成される画像に対して、所定の画素群に相当するエッジ領域を抽出し、そのエッジ領域にのみシャープネス補正を行うもので、制御部23BのCPU231により自動的に実行される。
【0051】
また、本画像処理が行われる各画素の画素値は、第1実施形態と同様に、8ビットすなわち下限値0から上限値255までのレンジが定められている。
【0052】
ステップS21では、図3のフローチャートに示すステップS1と同様の動作を行う。
【0053】
ステップS22では、一次微分により画像の全画素を変換する。具体的には、画像を形成する画素配列のi行j列の画素における画素値をKij、Eijを一次微分量とすると、次の数3に示す演算が行われる。
【0054】
[数3]
Eij=grad Kij
ここで、一次微分gradは、斜め45度方向への微分の場合は∂/∂x+∂/∂yで表される。
【0055】
ステップS23では、一次微分量Eijの絶対値が閾値Th1以上であるかを判定する。すなわち、処理対象の画像においてエッジ領域であるかを判定する。ここで、Eijが閾値Th1以上である場合には、ステップS24に進み、閾値Th1より小さい場合には、ステップS31に進む。
【0056】
ステップS24〜S30では、図3のフローチャートに示すステップS12〜S18と同様の動作を行う。
【0057】
以上の画像処理装置1Bの動作により、所望のシャープネス補正を確保しつつ、白飛びを防止できるとともに、特にエッジ領域のみを狙ったシャープネス補正が行えることとなる。
【0058】
また、エッジ抽出のための一次微分フィルタについては、上記gradを用いるのは必須でなく、図7に示すゾーベル(Sobel)や、図8に示すプレヴィットを用いても良い。なお、図7(a)および図8(a)については、水平方向に処理する場合のマトリクスを示しており、図7(b)および図8(b)については、垂直方向に処理する場合のマトリクスを示している。
【0059】
<第4実施形態>
<画像処理装置の要部構成>
本発明の第4実施形態に係る画像処理装置1Cの構成は、上記の画像処理装置1の構成に類似しているが、後述の画像処理動作を行うためのプログラムが、図2に示す全体制御部23Cのメモリ232に記憶されている。
【0060】
<画像処理装置1Cの動作>
図9は、画像処理装置1Cにおける画像処理動作を示すフローチャートである。この動作は、上記各実施形態の動作に対して画像全体の情報に基づき、閾値Thdを決定する動作を行う点が異なっている。また、画像処理装置1Cにおける画像処理動作は、制御部23CのCPU231により自動的に実行される。
【0061】
なお、本画像処理が行われる各画素の画素値は、第1実施形態と同様に、8ビットすなわち下限値0から上限値255までのレンジが定められている。
【0062】
ステップS41およびS42では、図5のフローチャートに示すステップS11およびS12と同様の動作を行う。
【0063】
ステップS43では、ステップS42で変換された処理後の画素値Hijに関して、図10に示すようにヒストグラムを作成する。なお、図10の横軸は、画素値Hijを示しており、縦軸は画素数nを示している。
【0064】
ステップS44では、図10に示すヒストグラムに基づき、レンジの上限値255近傍で閾値Thdを超過する区間HR内の画素の数(平行斜線部を参照)が、画像の全画素数に対して、例えば3%の割合となるような閾値Thdを求める。
【0065】
これにより、画像の統計情報に応じて閾値Thdを可変的に設定できるため、固定的な処理でなく、画像全体の情報を反映した白飛び防止の処理ができる。
【0066】
ステップS45〜S50では、図5のフローチャートに示すステップS13〜S18と同様の動作を行う。
【0067】
以上の画像処理装置1Cの動作により、画像全体の情報を考慮して閾値Thdを決定するため、より適切に白飛びを防止できることとなる。
【0068】
<変形例>
◎上記の各実施形態については、カラー画像に対する画像処理であるが、モノクロ画像に対する画像処理でも良い。具体的には、第1実施形態については、図3に示すフローチャートのステップS1の動作とステップS8の動作とを省略できることとなる。また、第2〜第4実施形態についても、同様となる。
【0069】
◎上記の各実施形態については、RGB信号をHSL信号に色空間を変換するのは必須でなく、RGB信号をLab信号や輝度もしくは明度情報をもったLuv信号等に変換しても良い。
【0070】
◎上記の各実施形態の白飛び防止変換については、図11に示す変換関数Gnによって画素値Hijに対する変換を行っても良い。この関数Gnは、点Q(205,205)で、一次関数G1とG2とが連結するものとなっている。そして、一次関数G2では、図4に示す関数F2のように横軸に平行な関数ではなく、またHij=255においてH'ij=Th(230)となるような傾きを有している。この場合、画像処理後の画素値がレンジの第1中間値205から上限値255までの端部領域に属するときには、関数G2に従って区間SR内の画素値に変換されることとなる。これにより、上記各実施形態と同様の効果を発揮できるとともに、連結点Q付近の画素値の変換特性の変化が比較的滑らかになる。
【0071】
また、白飛び防止変換に関する関数は、一次関数の結合であるのは必須でなく、2次関数などの非線形関数を含むものでも良い。
【0072】
◎上記の第1実施形態における閾値Thについては、図3のフローチャートに示すステップS5における閾値Thと、ステップS6における閾値Thとを異なる値としても良い。これにより、より自由度の高い白飛び防止の変換が行えることとなる。
【0073】
◎上記の各実施形態については、ポジ画像のみに限らず、ネガ画像に対しても適用が可能である。ここで、ネガ画像における「白飛び」とは、画素値がレンジの下限値0の付近となることとなる。
【0074】
◎本発明については、シャープネス補正に限らず、補正処理後の画素値が画素値のレンジの限界値にまで達するような画像処理全般に適用できる。
【0075】
【発明の効果】
以上説明したように、請求項1ないし請求項15の発明によれば、所望の画像処理を確保しつつ、白飛びなどの画質劣化を防止できる。
【0076】
特に、請求項2および請求項9の発明については、第1中間値が固定値に設定されているため、簡易に白飛びなどの画質劣化を防止できる。
【0077】
また、請求項3および請求項10の発明については、所定の画素群における第2の信号値に係る統計情報に基づき、第1中間値を決定するため、所定の画素群全体の情報を反映して、適切に白飛びなどの画質劣化を防止できる。
【0078】
また、請求項4および請求項11の発明については、統計情報が1の限界値近傍となる第2の信号値を有する画素の数と所定の画素群における画素の数との比率であるため、より適切に白飛びなどの画質劣化を防止できる。
【0079】
また、請求項6および請求項13の発明については、動画の各フレームである画像の再現時に高明度側となる端部に端部領域を設定するため、白飛びが目立つ動画に関して効果的に白飛び防止ができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る画像処理装置1の要部構成を示す斜視図である。
【図2】画像処理装置1の機能ブロックを示す図である。
【図3】画像処理装置1における画像処理動作を示すフローチャートである。
【図4】画像処理装置1における画像処理動作を説明するための図である。
【図5】動画処理装置1Aにおける画像処理動作を示すフローチャートである。
【図6】動画処理装置1Bにおける画像処理動作を示すフローチャートである。
【図7】エッジ抽出のための一次微分フィルタを説明する図である。
【図8】エッジ抽出のための一次微分フィルタを説明する図である。
【図9】動画処理装置1Cにおける画像処理動作を示すフローチャートである。
【図10】画像処理装置1Cにおける画像処理動作を説明するための図である。
【図11】変形例に係る画像処理動作を説明するための図である。
【符号の説明】
1、1A、1B、1C 画像処理装置
3 操作部
4 モニタ
9 記録媒体
23、23A、23B、23C 制御部
Fn、Gn 変換関数[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing technique for an image composed of a plurality of pixels having a signal value with a predetermined range.
[0002]
[Prior art]
For image processing such as sharpness correction, processing is performed in which the amount of enhancement is calculated by a filter such as an unsharp mask or Laplacian, and this is added to the pixel value of each pixel of the original image. When the pixel value after processing exceeds the range, that is, exceeds white (255 for 8 bits), the pixel value is set to white.
[0003]
[Problems to be solved by the invention]
However, in the above-described sharpness correction, when the gain for calculating the enhancement amount is large, the number of whiteout pixels increases. However, as the proportion of white pixels in the image increases, the enhancement amount gain is suppressed. ing. In this case, sufficient sharpness correction with a desired gain cannot be performed.
[0004]
In addition, since still images are displayed one after another in moving images, whiteout is more conspicuous than in the case of only a still image, and processing for preventing whiteout is important.
[0005]
The present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing technique capable of preventing image deterioration due to overexposure while ensuring desired image processing.
[0006]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the invention of
[0007]
According to a second aspect of the invention, in the image processing apparatus according to the first aspect of the invention, the first intermediate value is set to a fixed value.
[0008]
According to a third aspect of the present invention, in the image processing apparatus according to the first or second aspect of the present invention, (g) the first information is based on statistical information relating to the second signal value in the predetermined pixel group. Further provided is a determining means for determining the intermediate value.
[0009]
According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect of the present invention, the statistical information includes the number of pixels for which the processed signal value is close to the one limit value, and the predetermined pixel. Obtained based on the ratio to the total number of pixels in the group.
[0010]
According to a fifth aspect of the present invention, in the image processing device according to any one of the first to fourth aspects, the first intermediate value and the second intermediate value are equal.
[0011]
According to a sixth aspect of the present invention, in the image processing apparatus according to any one of the first to fifth aspects, the image is a frame of a moving image, and the brightness of the range is high when the image is reproduced. The said edge part area | region is set to the edge part used as the side.
[0012]
According to a seventh aspect of the present invention, in the image processing apparatus according to any one of the first to sixth aspects, the image processing performed by the processing means is processing relating to sharpness correction.
Further, the invention of
According to a ninth aspect of the invention, in the image processing method according to the eighth aspect of the invention, the first intermediate value is set to a fixed value.
The invention according to
The invention according to
According to a twelfth aspect of the present invention, in the image processing method according to any of the eighth to eleventh aspects, the first intermediate value and the second intermediate value are equal.
According to a thirteenth aspect of the present invention, in the image processing method according to any one of the eighth to twelfth aspects, the image is a frame of a moving image, and the brightness of the range is high when the image is reproduced. The said edge part area | region is set to the edge part used as the side.
According to a fourteenth aspect of the present invention, in the image processing method according to any one of the eighth to thirteenth aspects, the image processing performed in the processing step is processing relating to sharpness correction.
[0013]
According to a fifteenth aspect of the present invention, there is provided a computer-readable recording in which a program for causing a computer built in the image processing apparatus to execute the image processing method according to any of the eighth to fourteenth aspects is recorded. It is a medium .
[0014]
DETAILED DESCRIPTION OF THE INVENTION
<First Embodiment>
<Configuration of main part of image processing apparatus>
FIG. 1 is a perspective view showing a main configuration of an
[0015]
The
[0016]
The
[0017]
The
[0018]
The
[0019]
FIG. 2 is a diagram illustrating functional blocks of the
[0020]
The
[0021]
The input / output I /
[0022]
The
[0023]
The input / output I /
[0024]
The
[0025]
<Operation of
FIG. 3 is a flowchart showing an image processing operation in the
[0026]
The
[0027]
Further, the pixel value (signal value) of each pixel to be subjected to the main image processing has a range (dynamic range) of 8 bits, that is, a
[0028]
In step S1, the color space is converted from RGB signals to HSL signals for each pixel.
[0029]
In step S2, each pixel (pixel group) forming an image is converted by an unsharp mask. Specifically, the pixel value of the pixel in the i row and j column of the pixel array forming the image is Kij, Aij is the local average value for this pixel, C is the gain coefficient for calculating the enhancement amount, and Hij is the pixel after processing. If it is a value, the calculation shown in the
[0030]
[Equation 1]
Hij = Kij + C (Kij-Aij)
In step S3, it is determined whether the pixel value Kij is a threshold value Th, for example, 230 or more. The pixel value corresponding to this threshold Th = 230 is a gray value of about 90%. If the pixel value Kij is greater than or equal to the threshold value Th, the process proceeds to step S4. If the pixel value Kij is smaller than the threshold value Th, the process proceeds to step S5.
[0031]
In step S4, Kij is substituted for the pixel value H'ij. This means that for the high-brightness pixels in the original image before processing that are equal to or higher than the threshold Th, the pixel value Kij before sharpness correction is substituted for the pixel value H′ij in order to respect the expression state of the original image.
[0032]
In step S5, it is determined whether or not the pixel value Hij is equal to or greater than a threshold value Th that is an intermediate value of the range and a fixed value. If the pixel value Hij is greater than or equal to the threshold Th, the process proceeds to step S6. If the pixel value Hij is smaller than the threshold Th, the process proceeds to step S7.
[0033]
In step S6, a threshold value Th that is an intermediate value of the range is substituted into the pixel value H′ij. This is a conversion for preventing overexposure.
[0034]
In step S7, the pixel value Hij is substituted for the pixel value H'ij.
[0035]
In step S8, the pixel value of each pixel in the image is updated with the processed pixel value H′ij, and then the color space is restored. That is, the color space is converted from the HSL signal to the RGB signal.
[0036]
The above operation will be described with reference to FIG.
[0037]
FIG. 4 is a diagram for explaining the processing operation of steps S5 to S7. Here, the horizontal axis regarding the graph of FIG. 4 indicates the pixel value Hij after sharpness correction, and the vertical axis indicates the pixel value H′ij after the whiteout prevention conversion.
[0038]
In the conversion function Fn, the linear functions F1 and F2 are connected at a point P (230, 230). Here, the linear function F1 is a straight line with H′ij = Hij, and the linear function F2 is a straight line with H′ij = 230. That is, a section having both ends of the threshold Th and one limit value (255) of the range (dynamic range) of the image signal is set as an end region (transformation region) TR that excludes the processed signal value. Has been. This end TR is set to an end on the high brightness side during reproduction of the image in the range of the image signal. The example considered here is a positive image. Therefore, when the pixel value Hij after image correction processing such as an unsharp mask enters the end region TR, the pixel value Hij is an intermediate value. Saturation occurs at a certain H′ij = 230.
[0039]
By the pixel value conversion by the conversion function Fn, the pixel value after processing does not exceed the threshold Th and is suppressed to gray whose luminance is lower than that of white, so that whiteout can be prevented.
[0040]
By the operation of the
[0041]
Second Embodiment
<Configuration of main part of image processing apparatus>
The configuration of the
[0042]
<Operation of
FIG. 5 is a flowchart showing an image processing operation in the
[0043]
Further, the pixel value of each pixel on which the main image processing is performed has a range of 8 bits, that is, a range from the
[0044]
In step S11, the same operation as step S1 shown in the flowchart of FIG. 3 is performed.
[0045]
In step S12, each pixel (pixel group) forming the image is converted by Laplacian 2 . Specifically, if the pixel value in the pixel of the i-th row and j-th column of the pixel array forming the image is Kij, C is the gain coefficient for calculating the enhancement amount, and Hij is the processed pixel value, the following
[0046]
[Equation 2]
Hij = Kij-C · ∇ 2 Kij
Note that the Laplacian の2 in the above equation is expressed by a second order differential, that is, ∂ 2 / ∂x 2 + ∂ 2 / ∂y 2 .
[0047]
Steps S13 to S18 perform the same operations as steps S3 to S8 shown in the flowchart of FIG.
[0048]
By the above-described operation of the
[0049]
<Third Embodiment>
<Configuration of main part of image processing apparatus>
The configuration of the
[0050]
<Operation of
FIG. 6 is a flowchart showing an image processing operation in the
[0051]
Further, the pixel value of each pixel on which the main image processing is performed has a range of 8 bits, that is, a range from the
[0052]
In step S21, the same operation as step S1 shown in the flowchart of FIG. 3 is performed.
[0053]
In step S22, all the pixels of the image are converted by primary differentiation. Specifically, when the pixel value in the pixel in the i-th row and j-th column of the pixel array forming the image is Kij and Eij is the primary differential amount, the following calculation is performed.
[0054]
[Equation 3]
Eij = grad Kij
Here, the primary differential grad is expressed as ∂ / ∂x + ∂ / ∂y in the case of differentiation in a 45-degree oblique direction.
[0055]
In step S23, it is determined whether the absolute value of the primary differential amount Eij is greater than or equal to a threshold value Th1. In other words, it is determined whether the image is the edge region in the processing target image. If Eij is greater than or equal to the threshold value Th1, the process proceeds to step S24. If Eij is smaller than the threshold value Th1, the process proceeds to step S31.
[0056]
In steps S24 to S30, operations similar to those in steps S12 to S18 shown in the flowchart of FIG. 3 are performed.
[0057]
By the operation of the
[0058]
For the first-order differential filter for edge extraction, it is not essential to use the grad, and the Sobel shown in FIG. 7 or Previt shown in FIG. 8 may be used. 7 (a) and 8 (a) show a matrix in the case of processing in the horizontal direction, and FIGS. 7 (b) and 8 (b) show a case of processing in the vertical direction. A matrix is shown.
[0059]
<Fourth embodiment>
<Configuration of main part of image processing apparatus>
The configuration of the
[0060]
<Operation of
FIG. 9 is a flowchart showing an image processing operation in the
[0061]
It should be noted that the pixel value of each pixel on which the image processing is performed has a range of 8 bits, that is, a
[0062]
In steps S41 and S42, operations similar to those in steps S11 and S12 shown in the flowchart of FIG. 5 are performed.
[0063]
In step S43, a histogram is created as shown in FIG. 10 for the processed pixel value Hij converted in step S42. The horizontal axis in FIG. 10 indicates the pixel value Hij, and the vertical axis indicates the number of pixels n.
[0064]
In step S44, based on the histogram shown in FIG. 10, the number of pixels in the section HR exceeding the threshold value Thd in the vicinity of the
[0065]
As a result, the threshold value Thd can be variably set according to the statistical information of the image, so that it is possible not to perform a fixed process but to perform a whiteout prevention process reflecting the information of the entire image.
[0066]
In steps S45 to S50, operations similar to those in steps S13 to S18 shown in the flowchart of FIG. 5 are performed.
[0067]
By the operation of the
[0068]
<Modification>
In each of the above embodiments, image processing is performed on a color image, but image processing may be performed on a monochrome image. Specifically, in the first embodiment, the operation in step S1 and the operation in step S8 in the flowchart shown in FIG. 3 can be omitted. The same applies to the second to fourth embodiments.
[0069]
In each of the above embodiments, it is not essential to convert the RGB signal into an HSL signal, and the RGB signal may be converted into a Lab signal or a Luv signal having luminance or brightness information.
[0070]
For the whiteout prevention conversion in each of the above embodiments, the pixel value Hij may be converted by the conversion function Gn shown in FIG. This function Gn is a point Q (205, 205) where the linear functions G1 and G2 are connected. The linear function G2 is not a function parallel to the horizontal axis as in the function F2 shown in FIG. 4, and has a slope such that H′ij = Th (230) when Hij = 255. In this case, when the pixel value after image processing belongs to the end region from the first
[0071]
Further, the function related to the whiteout prevention conversion is not necessarily a combination of linear functions, and may include a nonlinear function such as a quadratic function.
[0072]
As for the threshold value Th in the first embodiment, the threshold value Th in step S5 and the threshold value Th in step S6 shown in the flowchart of FIG. 3 may be different values. As a result, conversion with a higher degree of freedom for preventing whiteout can be performed.
[0073]
Each of the above embodiments can be applied not only to a positive image but also to a negative image. Here, “out-of-white” in the negative image means that the pixel value is near the
[0074]
The present invention is not limited to sharpness correction, and can be applied to all image processing in which the pixel value after correction processing reaches the limit value of the range of pixel values.
[0075]
【The invention's effect】
As described above, according to
[0076]
Particularly, in the inventions of
[0077]
In the inventions of
[0078]
In the inventions of
[0079]
In the inventions according to
[Brief description of the drawings]
FIG. 1 is a perspective view showing a main configuration of an
FIG. 2 is a diagram showing functional blocks of the
FIG. 3 is a flowchart showing an image processing operation in the
4 is a diagram for explaining an image processing operation in the
FIG. 5 is a flowchart showing an image processing operation in the moving
FIG. 6 is a flowchart showing an image processing operation in the moving
FIG. 7 is a diagram illustrating a first-order differential filter for edge extraction.
FIG. 8 is a diagram illustrating a first-order differential filter for edge extraction.
FIG. 9 is a flowchart showing an image processing operation in the moving
FIG. 10 is a diagram for explaining an image processing operation in the
FIG. 11 is a diagram for explaining an image processing operation according to a modification.
[Explanation of symbols]
1, 1A, 1B, 1C
Claims (15)
(a)前記画像に係る所定の画素群に対して画像処理を行い、前記第1の信号値に基づき第2の信号値を生成する画像処理を行う処理手段と、
(b)前記レンジのうち第1中間値から一方の限界値までの区間を端部領域として設定する設定手段と、
(c)前記第1の信号値が前記端部領域に属するか否か、前記第2の信号値が前記端部領域に属するか否かを判定する判定手段と、
(d)前記所定の画素群について、前記判定手段によって、前記第1の信号値が前記端部領域に属すると判定された場合には、前記第1の信号値を出力する第1出力制御手段と、
(e) 前記所定の画素群について、前記判定手段によって、前記第1の信号値が前記端部領域に属さず、且つ前記第2の信号値が前記端部領域に属すると判定された場合には、前記一方の限界値から離れて設定された第2中間値を越えない信号値を出力する第2出力制御手段と、
(f) 前記所定の画素群について、前記判定手段によって、前記第1の信号値および前記第2の信号値がともに前記端部領域に属さないと判定された場合には、前記第2の信号値を出力する第3出力制御手段と、
を備えることを特徴とする画像処理装置。An image processing apparatus that performs image processing on an image composed of a plurality of pixels having a first signal value with a defined range,
(a) processing means for performing image processing for a given pixel group according to the image, performs image processing for generating the second signal value based on the first signal value,
(b) setting means for setting a section from the first intermediate value to one limit value in the range as an end region;
(c) determining means for determining whether or not the first signal value belongs to the end region, and whether or not the second signal value belongs to the end region;
(d) First output control means for outputting the first signal value when the determination means determines that the first signal value belongs to the end region for the predetermined pixel group. When,
(e) For the predetermined pixel group, when the determination unit determines that the first signal value does not belong to the end region and the second signal value belongs to the end region. includes a second output control means for outputting a signal value which does not exceed a second intermediate value which is set apart from the limit value of the one,
(f) For the predetermined pixel group, when the determination means determines that neither the first signal value nor the second signal value belongs to the end region, the second signal Third output control means for outputting a value;
An image processing apparatus comprising:
前記第1中間値は、固定値に設定されていることを特徴とする画像処理装置。The image processing apparatus according to claim 1.
The image processing apparatus according to claim 1, wherein the first intermediate value is set to a fixed value.
(g)前記所定の画素群における前記第2の信号値に係る統計情報に基づき、前記第1中間値を決定する決定手段、
をさらに備えることを特徴とする画像処理装置。The image processing apparatus according to claim 1 or 2,
(g) determining means for determining the first intermediate value based on statistical information relating to the second signal value in the predetermined pixel group;
An image processing apparatus further comprising:
前記統計情報は、前記第2の信号値が前記一方の限界値の近傍となる画素数と、前記所定の画素群における画素の総数との比率に基づいて得られることを特徴とする画像処理装置。The image processing apparatus according to claim 3.
The statistical information is obtained based on a ratio between the number of pixels in which the second signal value is in the vicinity of the one limit value and the total number of pixels in the predetermined pixel group. .
前記第1中間値と前記第2中間値とは等しいことを特徴とする画像処理装置。The image processing apparatus according to any one of claims 1 to 4,
The image processing apparatus, wherein the first intermediate value and the second intermediate value are equal.
前記画像は動画の各フレームであり、
前記レンジのうち、前記画像の再現時に高明度側となる端部に前記端部領域を設定することを特徴とする画像処理装置。The image processing apparatus according to any one of claims 1 to 5,
The image is each frame of the video,
The image processing apparatus according to claim 1, wherein the end region is set at an end portion on the high brightness side during reproduction of the image.
前記処理手段で行われる画像処理は、シャープネス補正に関する処理であることを特徴とする画像処理装置。The image processing apparatus characterized in that the image processing performed by the processing means is processing related to sharpness correction.
(a)(a) 前記画像に係る所定の画素群に対して画像処理を行い、前記第1の信号値に基づき第2の信号値を生成する画像処理を行う処理工程と、A processing step of performing image processing on a predetermined pixel group related to the image and performing image processing to generate a second signal value based on the first signal value;
(b)(b) 前記レンジのうち第1の中間値から一方の限界値までの区間を端部領域として設定する設定工程と、A setting step of setting a section from the first intermediate value to one limit value of the range as an end region;
(c)(c) 前記第1の信号値が前記端部領域に属するか否か、前記第2の信号値が前記端部領域に属するか否かを判定する判定工程と、A determination step of determining whether or not the first signal value belongs to the end region, and whether or not the second signal value belongs to the end region;
(d)(d) 前記所定の画素群について、前記判定工程において、前記第1の信号値が前記端部領域に属すると判定された場合には、前記第1の信号値を出力する第1出力制御工程と、A first output control step for outputting the first signal value when the determination step determines that the first signal value belongs to the end region for the predetermined pixel group;
(e)(e) 前記所定の画素群について、前記判定工程において、前記第1の信号値が前記端部領域に属さず、且つ前記第2の信号値が前記端部領域に属すると判定された場合には、前For the predetermined pixel group, in the determination step, when it is determined that the first signal value does not belong to the end region and the second signal value belongs to the end region, 記一方の限界値から離れて設定された第2中間値を越えない信号値を出力する第2出力制御工程と、A second output control step for outputting a signal value that does not exceed a second intermediate value set apart from the one limit value;
(f)(f) 前記所定の画素群について、前記判定工程において、前記第1の信号値および前記第2の信号値がともに前記端部領域に属さないと判定された場合には、前記第2の信号値を出力する第3出力制御工程と、For the predetermined pixel group, when it is determined in the determination step that the first signal value and the second signal value do not belong to the end region, the second signal value is output. A third output control step to
を備えることを特徴とする画像処理方法。An image processing method comprising:
前記第1中間値は、固定値に設定されていることを特徴とする画像処理方法。The image processing method according to claim 1, wherein the first intermediate value is set to a fixed value.
(g)(g) 前記所定の画素群における前記第2の信号値に係る統計情報に基づき、前記第1中間値を決定する決定工程、A determining step of determining the first intermediate value based on statistical information relating to the second signal value in the predetermined pixel group;
をさらに備えることを特徴とする画像処理方法。An image processing method further comprising:
前記統計情報は、前記第2の信号値が前記一方の限界値の近傍となる画素数と、前記所定の画素群における画素の総数との比率に基づいて得られることを特徴とする画像処理方法。The statistical information is obtained based on a ratio between the number of pixels in which the second signal value is close to the one limit value and the total number of pixels in the predetermined pixel group. .
前記第1中間値と前記第2中間値とは等しいことを特徴とする画像処理方法。The image processing method, wherein the first intermediate value and the second intermediate value are equal.
前記画像は動画の各フレームであり、The image is each frame of the video,
前記レンジのうち、前記画像の再現時に高明度側となる端部に前記端部領域を設定することを特徴とする画像処理方法。The image processing method according to claim 1, wherein the end region is set at an end portion on the high brightness side during reproduction of the image.
前記処理工程において行われる画像処理は、シャープネス補正に関する処理であることを特徴とする画像処理方法。An image processing method, wherein the image processing performed in the processing step is processing related to sharpness correction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000354097A JP4207381B2 (en) | 2000-11-21 | 2000-11-21 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000354097A JP4207381B2 (en) | 2000-11-21 | 2000-11-21 | Image processing apparatus, image processing method, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002158892A JP2002158892A (en) | 2002-05-31 |
JP4207381B2 true JP4207381B2 (en) | 2009-01-14 |
Family
ID=18826752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000354097A Expired - Fee Related JP4207381B2 (en) | 2000-11-21 | 2000-11-21 | Image processing apparatus, image processing method, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4207381B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004010693A1 (en) * | 2002-07-19 | 2004-01-29 | Seiko Epson Corporation | Image-quality adjustment of image data |
JP4139760B2 (en) | 2003-10-10 | 2008-08-27 | 富士フイルム株式会社 | Image processing method and apparatus, and image processing program |
JP5935196B1 (en) | 2015-07-08 | 2016-06-15 | Eizo株式会社 | Image processing apparatus, display apparatus, and program |
-
2000
- 2000-11-21 JP JP2000354097A patent/JP4207381B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002158892A (en) | 2002-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3862620B2 (en) | Image processing apparatus and image processing method | |
JP4641704B2 (en) | Noise reduction method, noise reduction device, recording medium, and program | |
JP4214457B2 (en) | Image processing apparatus and method, recording medium, and program | |
JP4847591B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP4952796B2 (en) | Image processing device | |
CN101505421A (en) | Method of high dynamic range compression with detail preservation and noise constraints | |
US20080137946A1 (en) | System, medium, and method with noise reducing adaptive saturation adjustment | |
US8280162B2 (en) | Image processing apparatus and recording medium recording image processing program | |
JP2010278708A (en) | Image processing apparatus and method, and computer program | |
JP2000050097A (en) | Image processing method and device and storage medium | |
JP7014158B2 (en) | Image processing equipment, image processing method, and program | |
JP2003281531A (en) | Image processing method, processor and program | |
US10387999B2 (en) | Image processing apparatus, non-transitory computer-readable medium storing computer program, and image processing method | |
US8189950B2 (en) | Image enhancement method using local gain correction | |
JP4207381B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP2000341520A (en) | Method and device for diffusing error while using adaptation of diffusion coefficient | |
JP4632100B2 (en) | Image processing apparatus, image processing method, recording medium, and program | |
JP4329391B2 (en) | Signal processing apparatus and method, recording medium, and program | |
JP2004289607A (en) | Signal processing apparatus and method, recording medium, and program | |
JP2008021219A (en) | Image processing apparatus and method | |
JP2007194683A (en) | Color adjustment method, color adjustment apparatus, and color adjustment program | |
US8625923B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP4992438B2 (en) | Image processing apparatus and image processing program | |
JP4505356B2 (en) | Image processing apparatus, image processing method and program thereof | |
JP2002197453A (en) | Image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081013 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |