JP3714491B2 - 輪郭強調方法 - Google Patents

輪郭強調方法 Download PDF

Info

Publication number
JP3714491B2
JP3714491B2 JP03823396A JP3823396A JP3714491B2 JP 3714491 B2 JP3714491 B2 JP 3714491B2 JP 03823396 A JP03823396 A JP 03823396A JP 3823396 A JP3823396 A JP 3823396A JP 3714491 B2 JP3714491 B2 JP 3714491B2
Authority
JP
Japan
Prior art keywords
gradation
value
image
signal
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03823396A
Other languages
English (en)
Other versions
JPH09233342A (ja
Inventor
泰子 園田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP03823396A priority Critical patent/JP3714491B2/ja
Publication of JPH09233342A publication Critical patent/JPH09233342A/ja
Application granted granted Critical
Publication of JP3714491B2 publication Critical patent/JP3714491B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は輪郭強調方法に係り、特に画像信号に輪郭強調信号を加算して被写体画像の輪郭強調を行う輪郭強調方法に関する。
【0002】
【従来の技術】
従来、フイルムの各駒に撮影されたフイルム画像をCCD等の撮像素子で撮像し、この撮像画像をTVモニタ等の表示装置に再生表示する画像再生装置が知られている。
このような画像再生装置において、特開平6−253147号公報には、撮影条件に応じて輪郭補正処理等を適応させ、好適な画質に補正する画像再生装置が提案されている。
【0003】
【発明が解決しようとする課題】
ところで、画像のシャープネス感はフイルムに記録されたフイルム画像の階調特性に最も影響を受ける。例えば、階調のダイナミックレンジが狭くコントラストの少ない(眠い)画像は、そうでないものに比べて、シャープネス不足に感じられる。逆に、フイルム画像のダイナミックレンジが広くコントラストの高い画像は、シャープネスが良く見える。
【0004】
このため、双方に同じ輪郭強調処理を行うと、最終的な画像の印象が全く異なったものになり、コントラストの少ない画像と同量の輪郭強調信号をコントラストの高い画像に加算すると、画質劣化が起こる。従って、輪郭補正処理を自動で適正に行うためには、画像の特徴を何らかの形で判断する必要があった。
本発明はこのような事情に鑑みてなされたもので、画像の特徴を自動で判断し、適正な輪郭強調処理を行う輪郭強調方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
記目的を達成するために、請求項1に記載の輪郭強調方法は、被写体を撮像して得られる画像信号に輪郭強調信号を加算するようにした輪郭強調方法において、前記画像信号から該画像信号の基準最大値及び基準最小値を検出するとともに、該基準最大値及び基準最小値との差又は比を算出し、前記差又は比が階調の豊富さを判断する基準値以下の場合には、前記輪郭強調信号を通常より強くして加算することを特徴としている。
請求項2に記載の輪郭強調方法は、請求項1に記載の発明において、前記差又は比が階調の豊富さを判断する基準値以下の場合であっても、前記基準最大値が露光アンダーを判断するための基準値以下の場合には、前記輪郭強調信号を通常より弱くして加算することを特徴としている。
請求項3に記載の輪郭強調方法は、請求項1又は2に記載の発明において、前記画像信号の各画素の階調の度数分布を示すヒストグラムを作成し、該ヒストグラムの階調の大きい方から度数を累積した累積度数が所定の閾値を超えたときの階調を前記基準最大値とし、階調の小さい方から度数を累積した累積度数が所定の閾値を超えたときの階調を前記基準最小値とすることを特徴としている。
【0006】
本発明によれば、例えば、画像信号から画像信号の基準最大値及び基準最小値を検出するとともに、基準最大値及び基準最小値との差又は比を算出する。そして、この差又は比が階調の豊富さを判断する基準値以下の場合には、前記輪郭強調信号を通常より強くして加算する。
これにより、画質劣化を引き起こすことなく、画像の特徴に応じて適正な輪郭強調処理を行うことができる。
【0007】
【発明の実施の形態】
以下添付図面に従って本発明に係る輪郭強調方法の好ましい実施の形態を詳説する。
図1は本発明が適用されるフイルムスキャナの一実施の形態を示す要部ブロック図である。このフイルムスキャナは、主として照明用の光源10、撮影レンズ12、CCDラインセンサ14、アナログアンプ16、A/Dコンバータ18、デジタル信号処理回路20、モータ31、キャプスタン32及びピンチローラ33を含むフイルム駆動装置、中央処理装置(CPU)40等を備えている。
【0008】
光源10は、フイルムカートリッジ50内から引き出される現像済みのネガフイルム52を図示しない赤外カットフィルタを介して照明し、フイルム52を透過した透過光は、撮影レンズ12を介してCCDラインセンサ14の受光面に結像される。
CCDラインセンサ14は、フイルム搬送方向と直交する方向に1024画素分の受光部が配設されており、CCDラインセンサ14の受光面に結像された画像光は、R、G、Bフィルタが設けられて各受光部で電荷蓄積され、光の強さに応じた量のR、G、Bの信号電荷に変換される。このようにして蓄積されたR、G、Bの電荷は、CCD駆動回路15から加えられる1ライン周期のリードゲートパルスが加えられると、シフトレジスタに転送されたのちレジスタ転送パルスによって順次電圧信号として出力される。また、このCCDラインセンサ14は、各受光部に隣接してシャッターゲート及びシャッタードレインが設けられており、このシャッターゲートをシャッターゲートパルスによって駆動することにより、受光部に蓄積された電荷をシャッタードレインに掃き出すことができる。即ち、このCCDラインセンサ14は、CCD駆動回路15から加えれるシャッターゲートパルスに応じて受光部に蓄積する電荷を制御することができる、いわゆる電子シャッター機能を有している。
【0009】
上記CCDラインセンサ14から読み出されたR、G、B電圧信号は、図示しないCDSクランプによってクランプされてアナログアンプ16に加えられ、ここで後述するようにゲインが制御される。アナログアンプ16から出力される1コマ分のR、G、B電圧信号はA/Dコンバータ18によって点順次のR、G、Bデジタル画像信号に変換されたのち、デジタル信号処理回路20によって白バランス、黒バランス、ネガポジ反転、ガンマ補正、輪郭補正等が行われ、YCC変換回路35によって輝度信号Yとクロマ信号Cr,b に変換される。そして、輝度信号Yとクロマ抑圧回路36を経由したクロマ信号Cr,b は、図示しない画像メモリに記憶される。
【0010】
尚、画像メモリに記憶された1コマ分の輝度信号Yとクロマ信号Cr,b は、繰り返し読み出され、D/Aコンバータによってアナログ信号に変換されたのち、エンコーダでNTSC方式の複合映像信号に変換されてモニタTVやプリンタ等の画像出力装置に出力される。これにより、モニタTVやプリンタによってフイルム画像を見ることができるようになる。
【0011】
フイルム駆動装置は、フイルムカートリッジ50のスプール50Aと係合し、そのスプール50Aを正転/逆転駆動するフイルム供給部と、このフイルム供給部から送出されるフイルム52を巻き取るフイルム巻取部と、フイルム搬送路に配設され、フイルム52をモータ31によって駆動されるキャプスタン32とピンチローラ33とで挟持してフイルム52を所望の速度で搬送する手段とから構成されている。尚、上記フイルム供給部は、フイルムカートリッジ50のスプール50Aを図1上で時計回り方向に駆動し、フイルム先端がフイルム巻取部によって巻き取られるまでフイルムカートリッジ50からフイルム52を送り出すようにしている。また、CPU40は、モータ回転数/方向制御回路34を通じてモータ31の正転/逆転、起動/停止、パルス幅変調によるフイルム搬送速度の制御を行うことができる。
【0012】
さて、フイルムカートリッジ50がカートリッジ収納部(図示せず)にセットされ、フイルムカートリッジ50からフイルム52が送り出されてフイルム先端がフイルム巻取部の巻取軸に巻き付けられると(フイルムローディングが完了すると)、フイルム52が一定速度で搬送される。これにより、フイルム画像のスキャンが行われ、CCDラインセンサ14、アナログアンプ16及びA/Dコンバータ18を介して積算ブロック41に点順次のR、G、Bデジタル画像信号が取り込まれる。
【0013】
積算ブロック41は、R、G、Bデジタル画像信号毎に所定の積算エリアのデジタル画像信号の階調(本実施例では、9ビット(0〜511)の階調)を積算し、その積算エリアの平均階調を求め、1画面に付き5000〜10000点数の積算エリアの各階調データを作成する。更に、積算ブロック41は、順次作成される階調データに基づいて各階調毎の度数をカウントし、この度数が階調データの総点数に対して設定された閾値TH(本実施例では総点数の1%)を越えた場合にはカウントを停止する。即ち、積算ブロック41は、図2に示すように0〜511までの全ての階調に対して最大閾値THまでカウントした簡易ヒストグラム(図2中の斜線で示すヒストグラム)を作成し、CPU40に出力する。尚、上記閾値THを越える度数をカウントしないことにより、カウンタのビット数を大幅に低減することができる。また、図2上で2点鎖線は、総点数をカウントした場合の本来のヒストグラムである。
【0014】
CPU40は、図2に示した簡易ヒストグラムの階調の小さい方から度数を順次累算し、その累算度数が前記閾値THと一致又は最初に越えたときの階調を基準最小値としてR、G、B毎に求めるとともに、簡易ヒストグラムの階調の大きい方から度数を順次累算し、その累算度数が前記閾値THと一致又は最初に越えたときの階調を基準最大値としてR、G、B毎に求める。尚、以下の説明において、基準最小値をDmin 、基準最大値をDmax とし、Dmin 、Dmax はR、G、Bのいずれかの基準最小値、基準最大値を示す。
【0015】
そして、このようにして求めたデジタル画像信号の基準最小値Dmin と基準最大値Dmax のデータをデジタル信号処理回路20に出力する。デジタル信号処理回路20は、これらのデータに基づいて白バランス、黒バランスの調整を行う。また、CPU40は基準最小値Dmin と基準最大値Dmax のデータに基づいて適正な輪郭強調処理を選択し(「通常」、「強」、「弱」の3通りの輪郭強調処理から適正な輪郭強調処理を選択する。尚、詳細は後述する。)、この選択した輪郭強調処理の種類を示す選択信号をデジタル信号処理回路20に出力する。デジタル信号処理回路20はこの選択信号の示す種類の輪郭強調処理を行う。以下、この輪郭強調処理について詳説する。
【0016】
上述したようにCPU40は基準最小値Dmin と基準最大値Dmax のデータに基づいて「通常」、「強」、「弱」の3通りの輪郭強調処理の内から適正な輪郭強調処理を選択する。
「強」の輪郭強調処理の場合、「通常」の場合より大きな輪郭強調信号が画像信号に加えられ、「弱」の輪郭強調処理の場合、「通常」の場合より小さな輪郭強調信号が画像信号に加えられるようになっている。
【0017】
具体的には、基準最大値Dmax と基準最小値Dmin の差(基準最大値Dmax −基準最小値Dmin (以下、ダイナミックレンジと称す))が階調の豊富さを判断する基準値より大きい場合、即ち、コントラストの高い画像の場合には、「通常」を選択する。即ち、ダイミックレンジが上記基準値より大きい場合には、シャープネスが良く見えるため「通常」の輪郭強調処理を行う。
【0018】
一方、ダイナミックレンジが上記基準値以下の場合、即ち、コントラストの低い画像の場合には、基準最大値Dmax によって「強」、「弱」のいずれかを選択する。
基準最大値Dmax が露光アンダーを判断するための基準値より大きい場合には、「強」を選択し、露光アンダーを判断するための基準値以下の場合には、「弱」を選択する。
【0019】
即ち、ダイナミックレンジが階調の豊富さを判断する基準値以下の場合には、コントラストの低い画像であるため、「通常」より大きな輪郭強調信号を加える。だだし、基準最大値Dmax が露光アンダーを判断するための基準値以下の場合には、露光アンダーのために粒状性の悪い部分を使うことになり、フイルムの粒状ノイズが多くなる。従って、あまり大きな輪郭強調信号を加えると画質劣化がひどくなり、却って、画像を悪くするため、「通常」より小さな輪郭強調信号を加えるようにする。
【0020】
尚、ダイナミックレンジが階調の豊富さを判断する基準値以下の場合に、基準最大値Dmax によって「強」と「弱」の2通りに分類していたが、「強」と「弱」の間に「通常」を選択する範囲を設定してもよい。
また、適正な輪郭強調処理を基準最大値Dmax と基準最小値Dmin の差によって判断していたが、これに限らず基準最大値Dmax と基準最小値Dmin の関数の値によって判断してもよい。例えば、基準最大値Dmax と基準最小値Dmin の比でもよい。
【0021】
以上のようにしてCPU40が「通常」、「強」、「弱」の3通りの輪郭強調処理からいずれかの輪郭強調処理を選択すると、その選択した「通常」、「強」、「弱」のいずれかを示す選択信号をデジタル信号処理回路20の輪郭補正処理を行う輪郭強調処理部62(図3参照)に出力する。
輪郭補正処理部62は、CPU40から選択信号を入力すると、この選択信号の示す「通常」、「強」、「弱」に応じた輪郭強調処理を行う。
【0022】
図3は輪郭強調処理部62の一実施の形態を示した構成図である。
同図に示すように、輪郭強調処理部62は、演算部64とメモリ66とから構成される。
演算部64は、CPU40から入力した選択信号の示す輪郭強調処理に対応したルックアップテーブルをメモリ66から読み出し、フィルタ処理及びコアリング処理による輪郭強調処理の演算を行う。
【0023】
演算部64の構成をブロック図で示すと、演算部64は同図に示すように、R、G、B毎の空間フィルタ68A、68B、68Cとコアリング処理部70A、70B、70Cとで示される。
空間フィルタ68A、68B、68Cは、5×5のフィルタ係数を有し、図4(A)に示すように5×5の画像データの空間的配置に対して、図4(B)に示すようにフィルタ係数が配置される。そして、図4(A)に示す注目画素aに隣接する5×5の画素のA11からA55まで(但し、A33は注目画素a)の画素値と、図4(B)に示す5×5のフィルタ係数(上下対称となっているためフィルタ係数はC1からC15まで15個)との畳み込み積分を行い、この演算結果値(フィルタ出力)a' をコアリング処理部70A、70B、70Cに出力する。
【0024】
コアリング処理部70A、70B、70Cは、注目画素aの画素値と空間フィルタのフィルタ出力a' を入力し、図5に示す関数fによってフィルタ出力a' を変換した値(輪郭強調信号の値)a''と注目画素aの画素値とを加算した値(出力画素値)Aを出力する。
即ち、a''=f(a' )として、
A=a+a''
を出力する。
【0025】
一方、「通常」、「強」、「弱」の輪郭強調処理に対する上記空間フィルタ68A、68B、68Cのフィルタ係数と上記コアリング処理部70A、70B、70Cの入力値に対する出力値はルックアップテーブルとしてメモリ66に記録されている。
図6は、メモリ66に記録されたルックアップテーブルのデータ配列パターンを示した図である。
【0026】
同図に示すように、メモリ66には、R、G、B毎の空間フィルタ68A、68B、68Cのフィルタ係数C1 からC15までのデータが順に記録されている。また、R、G、B毎のコアリング処理部70A、70B、70Cに関して、注目画素aの画素値と空間フィルタ68A、68B、68Cのフィルタ出力a' の値に対応した出力画素値Aが順に記録されている。
【0027】
演算部64はCPU40から入力した選択信号の示す輪郭強調処理に対応したルックアップテーブルをメモリ66から読み出し、フィルタ係数を空間フィルタ68A、68B、68Cにセットするとともに、コアリング処理部70A、70B、70C部に入力値に対する出力値のデータをセットし、上述したようなフィルタ処理とコアリング処理を行い、輪郭強調信号を加算した画像信号を出力する。
【0028】
尚、演算部64は、回路的に構成してもよいし、演算装置によってソフト的に上述した演算を行わせるようにしてもよい。
以上の説明において、上記実施の形態では簡易ヒストグラムからフイルム画像の濃度の基準最小値及び基準最大値を求めるようにしたが、これに限らず基準最小値及び基準最大値を他の方法で求めてもよい。
【0029】
また、上記実施の形態では、輪郭強調処理を「通常」、「強」、「弱」の3通りに分類したが、これに限らず更に細かく段階を設けてもよい。
また、本発明は上記実施の形態のフイルムスキャナに限らず、デジタルカメラ等の画像処理の場合も、光量が足りない暗い被写体には、ノイズが多いため、上記実施の形態と同様の処理が必要であり、このような装置にも適用できる。
【0030】
【発明の効果】
以上説明したように本発明に係る輪郭強調方法によれば、被写体画像の階調特性を検出し、この検出した階調特性に基づいて輪郭強調信号の大きさを変化させるようにしたため、画質劣化を引き起こすことなく、画像の特徴に応じて適正な輪郭強調処理を行うことができる。これにより、階調差の少ない眠い画像も、他の画像を犠牲にすることなく、シャープネスの良い画像に補正することができる。また、ノイズの多い画像である場合も、ノイズを増大しないように補正することができる。
【図面の簡単な説明】
【図1】図1は、本発明が適用されるフイルムスキャナの一実施の形態を示した構成図である。
【図2】図2は、基準最大値及び基準最小値の求め方を説明するために用いたヒストグラムである。
【図3】図3は、輪郭補正処理部の一実施の形態を示した構成図である。
【図4】図4は、空間フィルタのフイルタ係数と画像データの配列を示した図である。
【図5】図5は、コアリング処理に使用する関数を示した図である。
【図6】図6は、メモリ66に記録されたルックアップテーブルのデータ配列パターンを示した図である。
【符号の説明】
10…光源
12…撮影レンズ
14…CCDラインセンサ
15…CCD駆動回路
18…A/Dコンバータ
20…デジタル信号処理回路
21、22、24…加算器
23、26…乗算器
25…ベースLUT
31…モータ
40…中央処理装置(CPU)
41…積算ブロック
42…アドレスデコーダ
43R〜45B…レジスタ
46、47、48…マルチプレクサ
50…フイルムカートリッジ
52…ネガフイルム
62…輪郭強調処理部
64…演算部
66…メモリ
68A、68B、68C…空間フィルタ
70A、70B、70C…コアリング処理部

Claims (3)

  1. 被写体を撮像して得られる画像信号に輪郭強調信号を加算するようにした輪郭強調方法において、
    前記画像信号から該画像信号の基準最大値及び基準最小値を検出するとともに、該基準最大値及び基準最小値との差又は比を算出し、
    前記差又は比が階調の豊富さを判断する基準値以下の場合には、前記輪郭強調信号を通常より強くして加算することを特徴とする輪郭強調方法。
  2. 前記差又は比が階調の豊富さを判断する基準値以下の場合であっても、前記基準最大値が露光アンダーを判断するための基準値以下の場合には、前記輪郭強調信号を通常より弱くして加算することを特徴とする請求項の輪郭強調方法。
  3. 前記画像信号の各画素の階調の度数分布を示すヒストグラムを作成し、該ヒストグラムの階調の大きい方から度数を累積した累積度数が所定の閾値を超えたときの階調を前記基準最大値とし、前記ヒストグラムの階調の小さい方から度数を累積した累積度数が所定の閾値を超えたときの階調を前記基準最小値とすることを特徴とする請求項1又は2の輪郭強調方法。
JP03823396A 1996-02-26 1996-02-26 輪郭強調方法 Expired - Fee Related JP3714491B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03823396A JP3714491B2 (ja) 1996-02-26 1996-02-26 輪郭強調方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03823396A JP3714491B2 (ja) 1996-02-26 1996-02-26 輪郭強調方法

Publications (2)

Publication Number Publication Date
JPH09233342A JPH09233342A (ja) 1997-09-05
JP3714491B2 true JP3714491B2 (ja) 2005-11-09

Family

ID=12519590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03823396A Expired - Fee Related JP3714491B2 (ja) 1996-02-26 1996-02-26 輪郭強調方法

Country Status (1)

Country Link
JP (1) JP3714491B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4200890B2 (ja) 2003-12-10 2008-12-24 株式会社日立製作所 映像信号処理装置及びそれを用いたテレビジョン受信機並びに映像信号処理方法
CN1316429C (zh) * 2004-01-20 2007-05-16 原相科技股份有限公司 数字影像处理方法
JP4557090B2 (ja) * 2009-11-10 2010-10-06 セイコーエプソン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6389748B2 (ja) * 2014-12-01 2018-09-12 日本放送協会 画像処理装置、及びプログラム
CN117115002A (zh) * 2022-07-20 2023-11-24 深圳Tcl数字技术有限公司 画面显示方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
JPH09233342A (ja) 1997-09-05

Similar Documents

Publication Publication Date Title
US5926562A (en) Image processing method using reference values to determine exposure state
EP1998571A1 (en) Image signal processing device and image signal processing method
JP3456032B2 (ja) 画像処理方法
JP3487361B2 (ja) フイルムスキャナの露出制御装置並びに画像信号処理方法及びガンマ補正方法
US20090052801A1 (en) Image processing apparatus, camera, image processing program product and image processing method
US6181880B1 (en) Image data recording method and frame image regenerating method
JP3714491B2 (ja) 輪郭強調方法
JP3876932B2 (ja) 画像処理方法
JP4486762B2 (ja) 画像撮影方法及び装置
JP3534273B2 (ja) フイルムスキャナのプリスキャン方法
JP3575113B2 (ja) フイルム画像処理方法
JP3605856B2 (ja) 画像処理装置
JP3958708B2 (ja) ガンマ補正方法
JP4262363B2 (ja) 撮像装置
JP2003299107A (ja) 撮像装置
JP3618645B2 (ja) 撮像装置及びその劣化画素信号補正方法
JPH07322274A (ja) 画像処理方法
JP4414289B2 (ja) コントラスト強調撮像装置
JPH07322282A (ja) ガンマ補正方法
JPH1042191A (ja) 画像の逆光補正方法及び装置
JPH07336539A (ja) 画像処理方法
JP3446843B2 (ja) ガンマ補正方法
JP3605813B2 (ja) フイルムスキャナの露出制御装置及び方法
US6246433B1 (en) Film image capturing method
JP2005303481A (ja) 階調補正装置および階調補正方法、電子情報機器装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050818

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080902

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080902

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees