JP4147098B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4147098B2 JP4147098B2 JP2002355295A JP2002355295A JP4147098B2 JP 4147098 B2 JP4147098 B2 JP 4147098B2 JP 2002355295 A JP2002355295 A JP 2002355295A JP 2002355295 A JP2002355295 A JP 2002355295A JP 4147098 B2 JP4147098 B2 JP 4147098B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- noise
- noise removal
- addition method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 73
- 238000007792 addition Methods 0.000 claims 6
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 238000003384 imaging method Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号の雑音を除去する機能を有する撮像装置等の画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
近年、半導体技術の進歩により数百万画素を越える撮像素子が開発され、高解像度が要求されるデジタルスチルカメラやデジタルビデオカメラなどに使用されている。しかし、画素数が多くなれば、それに比例して撮像素子の画素を読み出すのに要する時間も増大する。
【０００３】
そのため、動画撮影を行う場合は実時間で信号処理を終えるべく画素を加算して読み出し、静止画撮影を行う場合には非加算で全画素を読み出すことが一般的に行われており、そのための加算方法が種々提案されている（例えば、特許文献１参照）。
【０００４】
その一方で、撮像素子の多画素化により単位受光画素面積が微細になるにしたがって、低照度時における撮像素子の感度特性が悪くなりＳ／Ｎ比が低下するため、雑音除去処理（ＮＲ処理）の必要性が増してきている。
【０００５】
【特許文献１】
特開２００１−３６９２０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、画像信号に対して雑音除去処理を強く施すとそれに比例してＳ／Ｎ比は向上する反面、画像上で動きのあった箇所に残像が残るなどの画質の劣化が起こってしまう。そのため、なるべく雑音除去処理を施す度合いを低く抑えることが理想的である。
【０００７】
一方、撮像素子の画素の加算方法として画素加算が行った場合は、画素を非加算で読み出すときに比べて見かけ上の単位受光画素面積が大きくなり、加算する画素の多さに比例してＳ／Ｎ比が向上するため雑音除去処理は少しで済む。よって画素の加算方式に依存してＳ／Ｎ比の良し悪しが変化するため、それに応じて雑音除去処理を施す度合いも変化させることが必要であった。
【０００８】
本発明は上記従来の問題点に鑑み、画質劣化を伴うことなく効率的に画像信号の雑音除去を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置では、撮影条件に基づいて画素の加算方式を変化させる画像入力手段と、前記画像入力手段からの信号に対して雑音除去を行う雑音除去手段と、前記画素の加算方式に応じて前記雑音除去手段による雑音除去の度合いを制御する制御手段とを備えたことを特徴とする。
また、本発明の画像処理方法では、撮影条件に基づいて画素の加算方式を変化させる画像入力ステップと、前記画像入力ステップにて得られた信号に対して雑音除去を行う雑音除去ステップと、前記画素の加算方式に応じて前記雑音除去手段による雑音除去の度合いを制御する制御ステップとを備えたことを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１１】
［第１実施形態］
＜撮像装置の構成及び動作＞
図１は、本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。
【００１２】
同図において、１０１は撮像素子であるＣＣＤ、１０２はＣＣＤ１０１から出力された信号のクロック成分を除去し連続した信号を生成するためのＣＤＳ回路、１０３は入力信号の利得を自動的に制御するＡＧＣ回路、１０４はアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ、１０５はＡ／Ｄコンバータ１０４からの信号を画像信号として処理するカメラ信号処理回路、１０６は雑音除去処理回路（ＮＲ処理回路）、１０７はＣＣＤ１０１を駆動するＣＣＤ駆動回路、１０８はＨＤ信号やＶＤ信号、クロック等の同期信号を発生する同期信号発生回路、１０９はＣＣＤ１０１の画素の加算方式を選択するためのモードセレクタ、１１０は選択された画素の加算方式に応じて雑音除去処理回路１０６の係数を制御する係数制御回路である。
【００１３】
次に、本実施形態の動作を説明する。
【００１４】
まず、図示されていない操作回路により使用者が静止画撮影や動画撮影など撮影方法を指定すると、その撮影方法に応じてモードセレクタ１０９において、ＣＣＤ１０１の画素の加算方式は加算・非加算のどちらなのか、さらに加算の場合は例えば上下の２列を加算するのか、３列を加算するのかといったような、どのような加算方式であるのかが選択され、同期信号発生回路１０８に画素の加算方式が入力される。
【００１５】
同期信号発生回路１０８はそれを受けて、加算方式に応じた同期信号をＣＣＤ駆動回路１０７へ入力する。ＣＣＤ１０１は、同期信号発生回路１０８より出力された同期信号、及びクロックに応じてＣＣＤ駆動回路１０７により制御されて画素信号を出力する。
【００１６】
これらの動作と同時に、モードセレクタ１０９は、係数制御回路１１０にもＣＣＤ１０１の加算方式を入力する。係数制御回路１１０は、入力されたＣＣＤの加算方式に応じて雑音除去処理の度合いを変えるべく、係数の値を調節して雑音除去処理回路１０６に入力する。例えば、非加算方式でＣＣＤ１０１が駆動されている時は単位受光画素面積が小さく、Ｓ／Ｎ比は悪いと考えられるので雑音除去処理の度合いを強くするような係数値を入力し、加算方式でＣＣＤ１０１が駆動されている場合には加算する画素が多い方式ほど雑音除去処理の度合いを弱くするような係数の値を入力する。
【００１７】
そして、ＣＣＤ１０１から出力された画素信号は、ＣＤＳ１０２とＡＧＣ１０３とＡ／Ｄコンバータ１０４で所定の処理を施され、カメラ信号処理回路１０５において画像信号処理され、さらに雑音除去処理回路１０６によって雑音除去処理を施されて画像信号として出力される。
【００１８】
＜雑音除去処理回路（ＮＲ処理回路）１０６の詳細＞
図２は、図１に示した構成において雑音除去処理回路（ＮＲ処理回路）１０６の一構成例を示すブロック図である。
【００１９】
この雑音除去処理回路１０６は、カメラ信号処理回路１０５より出力される画像信号から１フレームもしくは１フィールド遅延された画像信号を差し引く第一の減算器３０５と、この第一の減算器３０５から出力される画像信号を絶対値化する絶対値処理回路３０１と、絶対値処理回路３０１の出力の上限値を制限するリミッタ３０２と、リミッタ３０２の出力信号に定数を掛け合わせる定数乗算器３０３と、カメラ信号処理回路１０５より出力される画像信号から定数乗算器３０３により定数を乗ぜられた画像信号を差し引く第二の減算器３０６と、前記第二の減算器３０６の出力である１フレームもしくは１フィールドの画像信号を記憶するメモリ３０４とを備えている。
【００２０】
係数制御回路１１０は、入力されたＣＣＤの加算方式に応じて、リミッタ３０２のリミット値と乗算器３０３の乗算定数をそれぞれに対して設定する。ＣＣＤ１０１から出力された画素信号は、ＣＤＳ１０２とＡＧＣ１０３とＡ／Ｄコンバータ１０４で上述した各所定の処理が施され、カメラ信号処理回路１０５において画像信号処理が施される。
【００２１】
メモリ３０４には、１フレームもしくは１フィールド前の画像信号が記憶されている。カメラ信号処理回路１０５から出力された信号は、減算器３０５によって、メモリ３０４から出力された画像信号で減算された後、絶対値処理回路３０１において絶対値化される。そして、絶対値化された画像信号は、まずリミッタ３０２において、係数制御回路１１０が設定したリミット値以上の値はリミット値まで抑えられ、さらに定数乗算器３０３において、雑音除去処理の度合いを変えるべく係数制御回路１１０が設定する定数で乗算される。
【００２２】
そして、定数乗算器３０３からの出力信号は、減算器３０６において、カメラ信号処理回路１０５からの現信号から減算されてメモリ３０４に記憶されるとともに外部に出力される。
【００２３】
係数制御回路１１０がリミッタ３０２及び定数乗算器３０３に設定する値は、例えば非加算方式でＣＣＤ１０１が駆動されている時はＳ／Ｎ比は悪いと考えられるので、リミッタ定数及び乗算定数ともに高い値を設定して雑音除去処理の度合いを強くするようにし、加算方式でＣＣＤ１０１が駆動されている場合には加算する画素が多い方式ほどリミッタ及び乗算定数ともに低い値を設定して雑音除去処理の度合いを弱くするように設定することが好ましい。
【００２４】
図３は、図１に示した構成において雑音除去処理回路（ＮＲ処理回路）１０６の他の構成例を示すブロック図である。
【００２５】
この雑音除去処理回路１０６は、雑音を含んだ画素とその周辺の画素とから中央値を選び出すメディアンフィルタ４０６と、このメディアンフィルタ４０６で処理された信号と元の信号を合成する画像合成回路４０７とから構成されている。
【００２６】
カメラ信号処理回路１０５から出力された画素信号は、メディアンフィルタ４０６に入力される。そして、メディアンフィルタ４０６により注目画素とその周辺の画素との間で中央値が求められ、このメディアンフィルタ４０６の出力信号と現信号を画像合成回路４０７において画像合成することにより、雑音除去処理が行われる。この時、現信号とメディアンフィルタ４０６の出力信号との合成比率を変化させることにより、雑音除去を施す度合いを変化させることが可能である。
【００２７】
これらの動作と同時に、モードセレクタ１０９は、係数制御回路１１０にもＣＣＤ１０１の加算方式を入力する。係数制御回路１１０は、入力されたＣＣＤの加算方式に応じて雑音除去処理の度合いを変えるべく画像合成回路４０７の画像合成比を設定する。例えば、非加算方式でＣＣＤ１０１が駆動されている時は単位受光画素面積が小さく、Ｓ／Ｎ比が悪いと考えられるので、雑音除去処理の度合いを強くするようにメディアンフィルタ４０６の出力信号が高い割合で反映される画像合成比を入力し、加算方式でＣＣＤ１０１が駆動されている場合には加算する画素が多い方式ほど雑音除去処理の度合いを弱くするように現信号が高い合成割合を占める画像合成比を入力する。
【００２８】
本実施形態によれば、撮像素子の画素の加算方式に依存したＳ／Ｎ比の程度に応じて、雑音除去処理を施す度合いを任意に変化させるようにしたので、画質劣化を起こさずに効率的な雑音除去を可能にする。
【００２９】
［第２実施形態］
上記第１実施形態においては、雑音除去処理回路１０６をカメラ信号処理回路１０５の後段に配置した構成であったが、本実施形態では、図４の構成図に示すように、カメラ信号処理回路１０５の前段に雑音除去処理回路１０６を配置するようにしたものである。
【００３０】
すなわち、ＣＣＤ１０１から出力された画素信号はＣＤＳ１０２とＡＧＣ１０３とＡ／Ｄコンバータ１０４で所定の処理を施され、雑音除去処理回路２０６によって雑音除去処理を施された後に、カメラ信号処理回路１０５において画像信号処理を行って画像信号として出力される。
【００３１】
このような構成では、上記第１実施形態と同様の効果を得ることができる。
【００３２】
なお、本発明は撮像装置の形に限らず、上述した実施形態の説明に裏付けられて画像信号の雑音除去の形で同様に実施することができる。また、本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。
【００３３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３５】
［実施態様］
本発明の実施態様の例を以下に列挙する。
【００３６】
＜実施態様１＞ 所定の条件に応じて画素の加算方式を変化させることが可能な画像入力回路と、前記画像入力回路からの信号を画像信号として処理する画像信号処理回路と、前記画像信号処理回路により処理された信号に対して雑音除去を行う雑音除去回路と、前記画素の加算方式を選択する選択回路とを備えたことを特徴とする画像処理装置。
【００３７】
＜実施態様２＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像回路と、前記撮像回路からの信号を画像信号として処理する画像信号処理回路と、前記画像信号処理回路により処理された信号に対して雑音除去を行う雑音除去回路と、前記撮像回路の画素の加算方式を選択する選択回路とを備えたことを特徴とする撮像装置。
【００３８】
＜実施態様３＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像回路と、前記撮像回路から出力された信号に対して雑音除去を行う雑音除去回路と、前記雑音除去回路からの信号を画像信号として処理する画像信号処理回路と、前記撮像回路の画素の加算方式を選択する選択回路とを備えたことを特徴とする撮像装置。
【００３９】
＜実施態様４＞ 前記選択回路に連動して前記雑音除去回路の係数を制御する係数制御回路を備えたことを特徴とする実施態様２または３記載の撮像装置。
【００４０】
＜実施態様５＞ 前記雑音除去回路は、前記画像信号処理回路より出力される画像信号から１フレームもしくは１フィールド遅延された画像信号を差し引く第一の減算器と、前記第一の減算器から出力される画像信号を絶対値化する絶対値処理回路と、前記絶対値処理回路の出力の上限値を制限するリミッタと、前記リミッタの出力信号に定数を掛け合わせる乗算器と、前記画像信号処理回路より出力される画像信号から前記乗算器により定数を乗ぜられた画像信号を差し引く第二の減算器と、前記第二の減算器の出力である１フレームもしくは１フィールドの画像信号を記憶するメモリとを備えたことを特徴とする実施態様２乃至実施態様４記載の撮像装置。
【００４１】
＜実施態様５＞ 前記雑音除去回路は、雑音を含んだ画素とその周辺の画素とから中央値を選び出すメディアンフィルタと、前記メディアンフィルタで処理された信号と元の信号を合成する画像合成回路とから構成したことを特徴とする実施態様２乃至実施態様４記載の撮像装置。
【００４２】
＜実施態様６＞ 所定の条件に応じて画素の加算方式を変化させることが可能な画像入力工程と、前記画像入力工程からの信号を画像信号として処理する画像信号処理工程と、前記画像信号処理工程により処理された信号に対して雑音除去を行う雑音除去工程と、前記画素の加算方式を選択する選択工程とを有することを特徴とする画像処理方法。
【００４３】
＜実施態様７＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像工程と、前記撮像工程からの信号を画像信号として処理する画像信号処理工程と、前記画像信号処理工程により処理された信号に対して雑音除去を行う雑音除去工程と、前記撮像工程の画素の加算方式を選択する選択工程とを備えたことを特徴とする撮像装置の画像処理方法。
【００４４】
＜実施態様８＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像工程と、前記撮像工程から出力された信号に対して雑音除去を行う雑音除去工程と、前記雑音除去工程からの信号を画像信号として処理する画像信号処理工程と、前記撮像工程の画素の加算方式を選択する選択工程とを備えたことを特徴とする撮像装置の画像処理方法。
【００４５】
＜実施態様９＞ 所定の条件に応じて画素の加算方式を変化させることが可能な画像入力ステップと、前記画像入力ステップからの信号を画像信号として処理する画像信号処理ステップと、前記画像信号処理ステップにより処理された信号に対して雑音除去を行う雑音除去ステップと、前記画素の加算方式を選択する選択ステップとを含む制御プログラムを提供することを特徴とする媒体。
【００４６】
＜実施態様１０＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像ステップと、前記撮像ステップからの信号を画像信号として処理する画像信号処理ステップと、前記画像信号処理ステップにより処理された信号に対して雑音除去を行う雑音除去ステップと、前記撮像ステップの画素の加算方式を選択する選択ステップとを含む制御プログラムを提供することを特徴とする媒体。
【００４７】
＜実施態様１１＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像ステップと、前記撮像ステップから出力された信号に対して雑音除去を行う雑音除去ステップと、前記雑音除去ステップからの信号を画像信号として処理する画像信号処理ステップと、前記撮像ステップの画素の加算方式を選択する選択ステップとを含む制御プログラムを提供することを特徴とする媒体。
【００４８】
＜実施態様１２＞ 所定の条件に応じて画素の加算方式を変化させることが可能な画像入力ステップと、前記画像入力ステップからの信号を画像信号として処理する画像信号処理ステップと、前記画像信号処理ステップにより処理された信号に対して雑音除去を行う雑音除去ステップと、前記画素の加算方式を選択する選択ステップとを有することを特徴とする制御プログラム。
【００４９】
＜実施態様１３＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像ステップと、前記撮像ステップからの信号を画像信号として処理する画像信号処理ステップと、前記画像信号処理ステップにより処理された信号に対して雑音除去を行う雑音除去ステップと、前記撮像ステップの画素の加算方式を選択する選択ステップとを有することを特徴とする制御プログラム。
【００５０】
＜実施態様１４＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像ステップと、前記撮像ステップから出力された信号に対して雑音除去を行う雑音除去ステップと、前記雑音除去ステップからの信号を画像信号として処理する画像信号処理ステップと、前記撮像ステップの画素の加算方式を選択する選択ステップとを有することを特徴とする制御プログラム。
【００５１】
【発明の効果】
以上の説明したように本発明によれば、画質劣化を伴うことなく効率的に画像信号の雑音除去を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図１に示した構成において雑音除去処理回路（ＮＲ処理回路）１０６の詳細の一例を示すブロック図である。
【図３】図１に示した構成において雑音除去処理回路（ＮＲ処理回路）１０６の他の例を示すブロック図である。
【図４】本発明の第二実施形態に係る撮像装置の構成を示すブロック図である。
【符号の説明】
１０１ ＣＣＤ
１０２ ＣＤＳ
１０３ ＡＧＣ
１０４ Ａ／Ｄコンバータ
１０５ カメラ信号処理回路
１０６，２０６ 雑音除去処理回路
１０７ ＣＣＤ駆動回路
１０８ 同期信号発生回路
１０９ モードセレクタ
１１０ 係数制御回路
３０１ 絶対値処理回路
３０２ リミッタ
３０３ 乗算器
３０４ メモリ
３０５，３０６ 減算器
４０６ メディアンフィルタ
４０７ 画像合成回路
【発明の属する技術分野】
本発明は、画像信号の雑音を除去する機能を有する撮像装置等の画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
近年、半導体技術の進歩により数百万画素を越える撮像素子が開発され、高解像度が要求されるデジタルスチルカメラやデジタルビデオカメラなどに使用されている。しかし、画素数が多くなれば、それに比例して撮像素子の画素を読み出すのに要する時間も増大する。
【０００３】
そのため、動画撮影を行う場合は実時間で信号処理を終えるべく画素を加算して読み出し、静止画撮影を行う場合には非加算で全画素を読み出すことが一般的に行われており、そのための加算方法が種々提案されている（例えば、特許文献１参照）。
【０００４】
その一方で、撮像素子の多画素化により単位受光画素面積が微細になるにしたがって、低照度時における撮像素子の感度特性が悪くなりＳ／Ｎ比が低下するため、雑音除去処理（ＮＲ処理）の必要性が増してきている。
【０００５】
【特許文献１】
特開２００１−３６９２０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、画像信号に対して雑音除去処理を強く施すとそれに比例してＳ／Ｎ比は向上する反面、画像上で動きのあった箇所に残像が残るなどの画質の劣化が起こってしまう。そのため、なるべく雑音除去処理を施す度合いを低く抑えることが理想的である。
【０００７】
一方、撮像素子の画素の加算方法として画素加算が行った場合は、画素を非加算で読み出すときに比べて見かけ上の単位受光画素面積が大きくなり、加算する画素の多さに比例してＳ／Ｎ比が向上するため雑音除去処理は少しで済む。よって画素の加算方式に依存してＳ／Ｎ比の良し悪しが変化するため、それに応じて雑音除去処理を施す度合いも変化させることが必要であった。
【０００８】
本発明は上記従来の問題点に鑑み、画質劣化を伴うことなく効率的に画像信号の雑音除去を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置では、撮影条件に基づいて画素の加算方式を変化させる画像入力手段と、前記画像入力手段からの信号に対して雑音除去を行う雑音除去手段と、前記画素の加算方式に応じて前記雑音除去手段による雑音除去の度合いを制御する制御手段とを備えたことを特徴とする。
また、本発明の画像処理方法では、撮影条件に基づいて画素の加算方式を変化させる画像入力ステップと、前記画像入力ステップにて得られた信号に対して雑音除去を行う雑音除去ステップと、前記画素の加算方式に応じて前記雑音除去手段による雑音除去の度合いを制御する制御ステップとを備えたことを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１１】
［第１実施形態］
＜撮像装置の構成及び動作＞
図１は、本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。
【００１２】
同図において、１０１は撮像素子であるＣＣＤ、１０２はＣＣＤ１０１から出力された信号のクロック成分を除去し連続した信号を生成するためのＣＤＳ回路、１０３は入力信号の利得を自動的に制御するＡＧＣ回路、１０４はアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ、１０５はＡ／Ｄコンバータ１０４からの信号を画像信号として処理するカメラ信号処理回路、１０６は雑音除去処理回路（ＮＲ処理回路）、１０７はＣＣＤ１０１を駆動するＣＣＤ駆動回路、１０８はＨＤ信号やＶＤ信号、クロック等の同期信号を発生する同期信号発生回路、１０９はＣＣＤ１０１の画素の加算方式を選択するためのモードセレクタ、１１０は選択された画素の加算方式に応じて雑音除去処理回路１０６の係数を制御する係数制御回路である。
【００１３】
次に、本実施形態の動作を説明する。
【００１４】
まず、図示されていない操作回路により使用者が静止画撮影や動画撮影など撮影方法を指定すると、その撮影方法に応じてモードセレクタ１０９において、ＣＣＤ１０１の画素の加算方式は加算・非加算のどちらなのか、さらに加算の場合は例えば上下の２列を加算するのか、３列を加算するのかといったような、どのような加算方式であるのかが選択され、同期信号発生回路１０８に画素の加算方式が入力される。
【００１５】
同期信号発生回路１０８はそれを受けて、加算方式に応じた同期信号をＣＣＤ駆動回路１０７へ入力する。ＣＣＤ１０１は、同期信号発生回路１０８より出力された同期信号、及びクロックに応じてＣＣＤ駆動回路１０７により制御されて画素信号を出力する。
【００１６】
これらの動作と同時に、モードセレクタ１０９は、係数制御回路１１０にもＣＣＤ１０１の加算方式を入力する。係数制御回路１１０は、入力されたＣＣＤの加算方式に応じて雑音除去処理の度合いを変えるべく、係数の値を調節して雑音除去処理回路１０６に入力する。例えば、非加算方式でＣＣＤ１０１が駆動されている時は単位受光画素面積が小さく、Ｓ／Ｎ比は悪いと考えられるので雑音除去処理の度合いを強くするような係数値を入力し、加算方式でＣＣＤ１０１が駆動されている場合には加算する画素が多い方式ほど雑音除去処理の度合いを弱くするような係数の値を入力する。
【００１７】
そして、ＣＣＤ１０１から出力された画素信号は、ＣＤＳ１０２とＡＧＣ１０３とＡ／Ｄコンバータ１０４で所定の処理を施され、カメラ信号処理回路１０５において画像信号処理され、さらに雑音除去処理回路１０６によって雑音除去処理を施されて画像信号として出力される。
【００１８】
＜雑音除去処理回路（ＮＲ処理回路）１０６の詳細＞
図２は、図１に示した構成において雑音除去処理回路（ＮＲ処理回路）１０６の一構成例を示すブロック図である。
【００１９】
この雑音除去処理回路１０６は、カメラ信号処理回路１０５より出力される画像信号から１フレームもしくは１フィールド遅延された画像信号を差し引く第一の減算器３０５と、この第一の減算器３０５から出力される画像信号を絶対値化する絶対値処理回路３０１と、絶対値処理回路３０１の出力の上限値を制限するリミッタ３０２と、リミッタ３０２の出力信号に定数を掛け合わせる定数乗算器３０３と、カメラ信号処理回路１０５より出力される画像信号から定数乗算器３０３により定数を乗ぜられた画像信号を差し引く第二の減算器３０６と、前記第二の減算器３０６の出力である１フレームもしくは１フィールドの画像信号を記憶するメモリ３０４とを備えている。
【００２０】
係数制御回路１１０は、入力されたＣＣＤの加算方式に応じて、リミッタ３０２のリミット値と乗算器３０３の乗算定数をそれぞれに対して設定する。ＣＣＤ１０１から出力された画素信号は、ＣＤＳ１０２とＡＧＣ１０３とＡ／Ｄコンバータ１０４で上述した各所定の処理が施され、カメラ信号処理回路１０５において画像信号処理が施される。
【００２１】
メモリ３０４には、１フレームもしくは１フィールド前の画像信号が記憶されている。カメラ信号処理回路１０５から出力された信号は、減算器３０５によって、メモリ３０４から出力された画像信号で減算された後、絶対値処理回路３０１において絶対値化される。そして、絶対値化された画像信号は、まずリミッタ３０２において、係数制御回路１１０が設定したリミット値以上の値はリミット値まで抑えられ、さらに定数乗算器３０３において、雑音除去処理の度合いを変えるべく係数制御回路１１０が設定する定数で乗算される。
【００２２】
そして、定数乗算器３０３からの出力信号は、減算器３０６において、カメラ信号処理回路１０５からの現信号から減算されてメモリ３０４に記憶されるとともに外部に出力される。
【００２３】
係数制御回路１１０がリミッタ３０２及び定数乗算器３０３に設定する値は、例えば非加算方式でＣＣＤ１０１が駆動されている時はＳ／Ｎ比は悪いと考えられるので、リミッタ定数及び乗算定数ともに高い値を設定して雑音除去処理の度合いを強くするようにし、加算方式でＣＣＤ１０１が駆動されている場合には加算する画素が多い方式ほどリミッタ及び乗算定数ともに低い値を設定して雑音除去処理の度合いを弱くするように設定することが好ましい。
【００２４】
図３は、図１に示した構成において雑音除去処理回路（ＮＲ処理回路）１０６の他の構成例を示すブロック図である。
【００２５】
この雑音除去処理回路１０６は、雑音を含んだ画素とその周辺の画素とから中央値を選び出すメディアンフィルタ４０６と、このメディアンフィルタ４０６で処理された信号と元の信号を合成する画像合成回路４０７とから構成されている。
【００２６】
カメラ信号処理回路１０５から出力された画素信号は、メディアンフィルタ４０６に入力される。そして、メディアンフィルタ４０６により注目画素とその周辺の画素との間で中央値が求められ、このメディアンフィルタ４０６の出力信号と現信号を画像合成回路４０７において画像合成することにより、雑音除去処理が行われる。この時、現信号とメディアンフィルタ４０６の出力信号との合成比率を変化させることにより、雑音除去を施す度合いを変化させることが可能である。
【００２７】
これらの動作と同時に、モードセレクタ１０９は、係数制御回路１１０にもＣＣＤ１０１の加算方式を入力する。係数制御回路１１０は、入力されたＣＣＤの加算方式に応じて雑音除去処理の度合いを変えるべく画像合成回路４０７の画像合成比を設定する。例えば、非加算方式でＣＣＤ１０１が駆動されている時は単位受光画素面積が小さく、Ｓ／Ｎ比が悪いと考えられるので、雑音除去処理の度合いを強くするようにメディアンフィルタ４０６の出力信号が高い割合で反映される画像合成比を入力し、加算方式でＣＣＤ１０１が駆動されている場合には加算する画素が多い方式ほど雑音除去処理の度合いを弱くするように現信号が高い合成割合を占める画像合成比を入力する。
【００２８】
本実施形態によれば、撮像素子の画素の加算方式に依存したＳ／Ｎ比の程度に応じて、雑音除去処理を施す度合いを任意に変化させるようにしたので、画質劣化を起こさずに効率的な雑音除去を可能にする。
【００２９】
［第２実施形態］
上記第１実施形態においては、雑音除去処理回路１０６をカメラ信号処理回路１０５の後段に配置した構成であったが、本実施形態では、図４の構成図に示すように、カメラ信号処理回路１０５の前段に雑音除去処理回路１０６を配置するようにしたものである。
【００３０】
すなわち、ＣＣＤ１０１から出力された画素信号はＣＤＳ１０２とＡＧＣ１０３とＡ／Ｄコンバータ１０４で所定の処理を施され、雑音除去処理回路２０６によって雑音除去処理を施された後に、カメラ信号処理回路１０５において画像信号処理を行って画像信号として出力される。
【００３１】
このような構成では、上記第１実施形態と同様の効果を得ることができる。
【００３２】
なお、本発明は撮像装置の形に限らず、上述した実施形態の説明に裏付けられて画像信号の雑音除去の形で同様に実施することができる。また、本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。
【００３３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３５】
［実施態様］
本発明の実施態様の例を以下に列挙する。
【００３６】
＜実施態様１＞ 所定の条件に応じて画素の加算方式を変化させることが可能な画像入力回路と、前記画像入力回路からの信号を画像信号として処理する画像信号処理回路と、前記画像信号処理回路により処理された信号に対して雑音除去を行う雑音除去回路と、前記画素の加算方式を選択する選択回路とを備えたことを特徴とする画像処理装置。
【００３７】
＜実施態様２＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像回路と、前記撮像回路からの信号を画像信号として処理する画像信号処理回路と、前記画像信号処理回路により処理された信号に対して雑音除去を行う雑音除去回路と、前記撮像回路の画素の加算方式を選択する選択回路とを備えたことを特徴とする撮像装置。
【００３８】
＜実施態様３＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像回路と、前記撮像回路から出力された信号に対して雑音除去を行う雑音除去回路と、前記雑音除去回路からの信号を画像信号として処理する画像信号処理回路と、前記撮像回路の画素の加算方式を選択する選択回路とを備えたことを特徴とする撮像装置。
【００３９】
＜実施態様４＞ 前記選択回路に連動して前記雑音除去回路の係数を制御する係数制御回路を備えたことを特徴とする実施態様２または３記載の撮像装置。
【００４０】
＜実施態様５＞ 前記雑音除去回路は、前記画像信号処理回路より出力される画像信号から１フレームもしくは１フィールド遅延された画像信号を差し引く第一の減算器と、前記第一の減算器から出力される画像信号を絶対値化する絶対値処理回路と、前記絶対値処理回路の出力の上限値を制限するリミッタと、前記リミッタの出力信号に定数を掛け合わせる乗算器と、前記画像信号処理回路より出力される画像信号から前記乗算器により定数を乗ぜられた画像信号を差し引く第二の減算器と、前記第二の減算器の出力である１フレームもしくは１フィールドの画像信号を記憶するメモリとを備えたことを特徴とする実施態様２乃至実施態様４記載の撮像装置。
【００４１】
＜実施態様５＞ 前記雑音除去回路は、雑音を含んだ画素とその周辺の画素とから中央値を選び出すメディアンフィルタと、前記メディアンフィルタで処理された信号と元の信号を合成する画像合成回路とから構成したことを特徴とする実施態様２乃至実施態様４記載の撮像装置。
【００４２】
＜実施態様６＞ 所定の条件に応じて画素の加算方式を変化させることが可能な画像入力工程と、前記画像入力工程からの信号を画像信号として処理する画像信号処理工程と、前記画像信号処理工程により処理された信号に対して雑音除去を行う雑音除去工程と、前記画素の加算方式を選択する選択工程とを有することを特徴とする画像処理方法。
【００４３】
＜実施態様７＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像工程と、前記撮像工程からの信号を画像信号として処理する画像信号処理工程と、前記画像信号処理工程により処理された信号に対して雑音除去を行う雑音除去工程と、前記撮像工程の画素の加算方式を選択する選択工程とを備えたことを特徴とする撮像装置の画像処理方法。
【００４４】
＜実施態様８＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像工程と、前記撮像工程から出力された信号に対して雑音除去を行う雑音除去工程と、前記雑音除去工程からの信号を画像信号として処理する画像信号処理工程と、前記撮像工程の画素の加算方式を選択する選択工程とを備えたことを特徴とする撮像装置の画像処理方法。
【００４５】
＜実施態様９＞ 所定の条件に応じて画素の加算方式を変化させることが可能な画像入力ステップと、前記画像入力ステップからの信号を画像信号として処理する画像信号処理ステップと、前記画像信号処理ステップにより処理された信号に対して雑音除去を行う雑音除去ステップと、前記画素の加算方式を選択する選択ステップとを含む制御プログラムを提供することを特徴とする媒体。
【００４６】
＜実施態様１０＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像ステップと、前記撮像ステップからの信号を画像信号として処理する画像信号処理ステップと、前記画像信号処理ステップにより処理された信号に対して雑音除去を行う雑音除去ステップと、前記撮像ステップの画素の加算方式を選択する選択ステップとを含む制御プログラムを提供することを特徴とする媒体。
【００４７】
＜実施態様１１＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像ステップと、前記撮像ステップから出力された信号に対して雑音除去を行う雑音除去ステップと、前記雑音除去ステップからの信号を画像信号として処理する画像信号処理ステップと、前記撮像ステップの画素の加算方式を選択する選択ステップとを含む制御プログラムを提供することを特徴とする媒体。
【００４８】
＜実施態様１２＞ 所定の条件に応じて画素の加算方式を変化させることが可能な画像入力ステップと、前記画像入力ステップからの信号を画像信号として処理する画像信号処理ステップと、前記画像信号処理ステップにより処理された信号に対して雑音除去を行う雑音除去ステップと、前記画素の加算方式を選択する選択ステップとを有することを特徴とする制御プログラム。
【００４９】
＜実施態様１３＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像ステップと、前記撮像ステップからの信号を画像信号として処理する画像信号処理ステップと、前記画像信号処理ステップにより処理された信号に対して雑音除去を行う雑音除去ステップと、前記撮像ステップの画素の加算方式を選択する選択ステップとを有することを特徴とする制御プログラム。
【００５０】
＜実施態様１４＞ 撮像方法に応じて画素の加算方式を変化させることが可能な撮像ステップと、前記撮像ステップから出力された信号に対して雑音除去を行う雑音除去ステップと、前記雑音除去ステップからの信号を画像信号として処理する画像信号処理ステップと、前記撮像ステップの画素の加算方式を選択する選択ステップとを有することを特徴とする制御プログラム。
【００５１】
【発明の効果】
以上の説明したように本発明によれば、画質劣化を伴うことなく効率的に画像信号の雑音除去を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図１に示した構成において雑音除去処理回路（ＮＲ処理回路）１０６の詳細の一例を示すブロック図である。
【図３】図１に示した構成において雑音除去処理回路（ＮＲ処理回路）１０６の他の例を示すブロック図である。
【図４】本発明の第二実施形態に係る撮像装置の構成を示すブロック図である。
【符号の説明】
１０１ ＣＣＤ
１０２ ＣＤＳ
１０３ ＡＧＣ
１０４ Ａ／Ｄコンバータ
１０５ カメラ信号処理回路
１０６，２０６ 雑音除去処理回路
１０７ ＣＣＤ駆動回路
１０８ 同期信号発生回路
１０９ モードセレクタ
１１０ 係数制御回路
３０１ 絶対値処理回路
３０２ リミッタ
３０３ 乗算器
３０４ メモリ
３０５，３０６ 減算器
４０６ メディアンフィルタ
４０７ 画像合成回路
Claims (5)
- 撮影条件に基づいて画素の加算方式を変化させる画像入力手段と、
前記画像入力手段からの信号に対して雑音除去を行う雑音除去手段と、
前記画素の加算方式に応じて前記雑音除去手段による雑音除去の度合いを制御する制御手段とを備えたことを特徴とする画像処理装置。 - 前記制御手段は、前記画素の加算方式において加算数が多い方式ほど前記雑音除去の度合いを弱くすることを特徴とする請求項１に記載の画像処理装置。
- 前記雑音除去手段は、前記画像入力手段より出力される信号から１フレームもしくは１フィールド遅延された信号を差し引く第一の減算器と、前記第一の減算器から出力される信号を絶対値化する絶対値処理手段と、前記絶対値処理手段の出力の上限値を制限するリミッタと、前記リミッタの出力信号に定数を掛け合わせる乗算器と、前記画像入力手段より出力される信号から前記乗算器により定数を乗ぜられた信号を差し引く第二の減算器と、前記第二の減算器の出力である１フレームもしくは１フィールドの信号を記憶するメモリとを備えたことを特徴とする請求項１又は２に記載の画像処理装置。
- 前記雑音除去手段は、雑音を含んだ画素とその周辺の画素とから中央値を選び出すメディアンフィルタと、前記メディアンフィルタで処理された信号と元の信号を合成する画像合成手段とから構成されることを特徴とする請求項１又は２に記載の画像処理装置。
- 撮影条件に基づいて画素の加算方式を変化させる画像入力ステップと、
前記画像入力ステップにて得られた信号に対して雑音除去を行う雑音除去ステップと、
前記画素の加算方式に応じて前記雑音除去手段による雑音除去の度合いを制御する制御ステップとを備えたことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002355295A JP4147098B2 (ja) | 2002-12-06 | 2002-12-06 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002355295A JP4147098B2 (ja) | 2002-12-06 | 2002-12-06 | 画像処理装置及び画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004187240A JP2004187240A (ja) | 2004-07-02 |
| JP2004187240A5 JP2004187240A5 (ja) | 2007-11-15 |
| JP4147098B2 true JP4147098B2 (ja) | 2008-09-10 |
Family
ID=32756033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002355295A Expired - Fee Related JP4147098B2 (ja) | 2002-12-06 | 2002-12-06 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4147098B2 (ja) |
-
2002
- 2002-12-06 JP JP2002355295A patent/JP4147098B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004187240A (ja) | 2004-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5439197B2 (ja) | 撮像装置、撮像方法、および、撮像プログラム | |
| JP5092983B2 (ja) | 動画再生装置、撮像装置及びプログラム | |
| JPH10150668A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
| US8102434B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2007251860A (ja) | 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 | |
| JP6304293B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2008067315A (ja) | 撮像装置、画像処理装置、撮像システム及び画像処理プログラム | |
| US20120308156A1 (en) | Image processing apparatus, image processing method, and program | |
| JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
| JP7147199B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP2006345388A (ja) | 撮像装置 | |
| JP6032912B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| JP2006050042A (ja) | 画像処理装置 | |
| JP6278729B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| JP4147098B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2015033020A (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
| JP4175587B2 (ja) | 画像処理装置及びその方法、撮像装置、並びにメモリ媒体 | |
| CN115280760A (zh) | 固态成像装置 | |
| JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
| JP5012656B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
| JP4573080B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2007019593A (ja) | 輪郭強調信号生成回路、画像信号処理装置、撮像装置、輪郭強調信号生成方法、プログラム | |
| JP4546182B2 (ja) | 撮像装置、タイミング信号の制御方法 | |
| JP2006157143A (ja) | 画像撮影記録装置及び方法 | |
| JP2008071150A (ja) | 画像処理装置、画像処理プログラム及び撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051101 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060415 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080610 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4147098 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |