JP4045516B2 - シエーデイング補正回路 - Google Patents

シエーデイング補正回路 Download PDF

Info

Publication number
JP4045516B2
JP4045516B2 JP11023198A JP11023198A JP4045516B2 JP 4045516 B2 JP4045516 B2 JP 4045516B2 JP 11023198 A JP11023198 A JP 11023198A JP 11023198 A JP11023198 A JP 11023198A JP 4045516 B2 JP4045516 B2 JP 4045516B2
Authority
JP
Japan
Prior art keywords
shading correction
correction data
shading
circuit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP11023198A
Other languages
English (en)
Other versions
JPH11289494A (ja
Inventor
宏司 黒沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP11023198A priority Critical patent/JP4045516B2/ja
Publication of JPH11289494A publication Critical patent/JPH11289494A/ja
Application granted granted Critical
Publication of JP4045516B2 publication Critical patent/JP4045516B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

【0001】
【目次】
以下の順序で本発明を説明する。
【0002】
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
(1)第1の実施の形態(図1〜図12)
(2)第2の実施の形態(図9〜図13)
発明の効果
【0003】
【発明の属する技術分野】
本発明はシエーデイング補正回路に監視、例えばビデオカメラにおいて撮像素子が出力する映像信号のシエーデイング成分を除去するシエーデイング補正回路に適用して好適なものである。
【0004】
【従来の技術】
従来、ビデオカメラによつて被写体を撮像した際にCCD(Charge Coupled DevicE) 等の撮像素子から出力される撮像信号は、撮像素子の感度むらや水平転送レジスタに転送される時間に比例した暗電流等種々の原因により画面の比較的広い範囲にわたる明暗の歪み(シエーデイング)が発生することが知られている。
【0005】
シエーデイングには、画面周辺部において出力が小さくなる白(変調)シエーデイングと、黒レベルが画面全体にわたつて均一でない黒(重畳)シエーデイングとがある。白シエーデイングに対しては乗算器を用い、黒シエーデイングに対しては加算器を用いてシエーデイング補正信号を撮像信号に混合することにちより、シエーデイング補正処理が行われる。
【0006】
かかるシエーデイング補正処理では、水平、垂直両方向の鋸歯状波信号とパラボラ波信号を発生し、これらを合成することによりシエーデイング補正信号を生成する。この場合、鋸歯状波信号及びパラボラ波信号の各信号発生器においてボリユーム等のレベル調整器が設けられ、このレベル調整器を手作業で調整することにより鋸歯状波信号及びパラボラ波信号の各出力レベルを調整するようになされている。オペレータは波形モニタを見ながら各信号発生器の出力レベルを調整して、適正なシエーデイング補正が行われるような補正信号を生成する。
【0007】
また、被写体の色成分を、例えば赤色成分、緑色成分、青色成分に色分解して、各色成分の画素を3枚の撮像素子により個別に撮像する3板式のカラー撮像装置では、各撮像素子ごとにシエーデイング補正処理が行われる。
【0008】
【発明が解決しようとする課題】
ところで、従来のシエーデイング補正回路では、適正なシエーデイング補正処理が行われるように、波形モニタを見ながら鋸歯状波信号及びパラボラ波信号の各信号発生器の出力レベルを手動操作により調整することにより、その調整作業には熟練が必要であると共に多大な手間と時間が必要であつた。
【0009】
かかる問題点を解決するための一つの方法として、複数の画素がマトリクス状に配置された撮像素子の撮像出力信号のシエーデイング成分を除去するシエーデイング補正回路において、撮像素子により得られる撮像出力信号からシエーデイング補正に必要な水平方向及び垂直方向のシエーデイング補正データを形成してメモリ等の記憶手段に記憶し、実際の撮像時に記憶手段からシエーデイング補正データを読み出すと共に当該シエーデイング補正データを用いて、各撮像素子の撮像出力信号に黒シエーデイング補正や白シエーデイング補正を施すようにしたシエーデイング補正回路が提案されている(特開平3-262282号公報、特開平7-135600号公報) 。
【0010】
これらのシエーデイング補正回路では、画面中央部分のレベルと、水平方向及び垂直方向の画素の平均レベルとのレベル差を算出して、シエーデイング補正に必要な水平方向及び垂直方向のシエーデイング補正データを形成する処理を行うことにより、水平方向及び垂直方向に相関が高いシエーデイングに対して有効に補正処理が行われる。
【0011】
ところが、かかるシエーデイング補正回路では、水平方向及び垂直方向の補正データを用いてシエーデイング補正を行うことにより水平及び垂直方向に相関があるシエーデイングに対しては有効に補正し得るのに対して、点単位でのシエーデイング補正をおこなおうとすると、水平及び又は垂直方向に対して補正による変化が生じ、違和感のある画面となることを避け得ない。
【0012】
また、かかるシエーデイング補正回路においては、水平及び垂直方向の補正データをメモリ等の記憶手段に記憶する必要があり、記憶手段を設ける分、回路規模が大型化する問題があつた。
【0013】
本発明は以上の点を考慮してなされたもので、回路規模の大型化を伴うことなく水平方向及び垂直方向に相関のないシエーデイング補正を有効に行うことができるシエーデイング補正回路を提案しようとするものである。
【0014】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、複数の画素がマトリスク状に配置された撮像素子の撮像出力信号のシエーデイング成分を除去するシエーデイング補正回路において、撮像素子の各画素の撮像出力信号のシエーデイング成分に応じて撮像素子の撮像画面内での離散的な第1のシエーデイング補正データを生成する第1のシエーデイング補正データ生成手段と、撮像画面内での離散的な第1のシエーデイング補正データに基づいて、撮像画面外の架空の領域における離散的な第2のシエーデイング補正データを生成する第2のシエーデイング補正データ生成手段と、第1のシエーデイング補正データ及び第2のシエーデイング補正データからなる複数の離散的なシエーデイング補正データ間を補間することにより離散的な第1及び第2のシエーデイング補正データを連続的なシエーデイング補正データに変換するシエーデイング補正データ変換手段と、シエーデイング補正データ変換手段から出力される連続的なシエーデイング補正データに基づいて撮像素子の撮像出力信号を補正することにより、撮像画面内での複数の画素に対して相関のないシエーデイング成分を有効に除去することができる。
【0015】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
(1)第1の実施の形態
図1において100は全体としてシエーデイング補正部100Aを有する撮像装置を示し、光学系101に入射された被写体からの光は、光学系101に設けられたプリズムによる赤色成分光LAR、緑色成分光LAG及び青色成分光LABに色分解され、それぞれの原色成分光は赤色成分用の撮像素子(CCD)102R、緑色成分用の撮像素子(CCD)102G及び青色成分用の撮像素子(CCD)102Bの各撮像面に結像する。
【0016】
撮像素子102Rは赤色成分光LARを光電変換することにより赤色撮像信号S102Rを生成し、これをアナログ信号処理回路103Rに送出する。撮像素子102Gは緑成分光LAGを光電変換することにより緑色撮像信号S102Gを生成し、これをアナログ信号処理回路103Gに送出する。また、撮像素子102Bは青色成分光LABを光電変換することにより青色撮像信号S102Bを生成し、これをアナログ信号処理回路103Bに送出する。
【0017】
アナログ信号処理回路103Rは、赤色撮像信号S102Rに対して、CDS回路やトラツプフイルタ等でノイズ除去処理を施すと共に増幅回路等でレベル調整を行つた後、これを加算器104Rに送出し、黒シエーデイング補正信号発生回路112から供給されるシエーデイング補正信号S112Rと加算することにより黒シエーデイング補正が行われる。
【0018】
加算器104Rの加算器出力信号S104Rは、続く乗算器105Rにおいて白シエーデイング補正信号発生回路113から供給されるシエーデイング補正信号S113Rと乗算されることにより白シエーデイング補正が行われ、その結果が乗算器出力信号S105Rとしてローパスフイルタ(LPF)106Rに送出される。ローパスフイルタ106Rは、乗算器出力信号S105Rの不要な高域周波数成分を除去する。
【0019】
ローパスフイルタ106Rの出力信号は、アナログ/デイジタル変換回路107Rにおいてデイジタル信号(赤色デイジタル信号S107R)に変換され、デイジタル信号処理回路108Rに送出される。デイジタル信号処理回路108Rは、赤色デイジタル信号S107Rに対して輪郭強調、ガンマ補正、ニー補正、ホワイトバランス等の処理を行つた後、これをエンコーダ109に送出する。
【0020】
また、これと同様にして、アナログ信号処理回路103Gは、緑色撮像信号S102Gに対して、CDS回路やトラツプフイルタ等でノイズ除去処理を施すと共に増幅回路等でレベル調整を行つた後、これを加算器104Gに送出し、黒シエーデイング補正信号発生回路112から供給されるシエーデイング補正信号S112Gと加算することにより、黒シエーデイング補正が行われる。
【0021】
加算器104Gの加算器出力信号S104Gは、続く乗算器105Gにおいて白シエーデイング補正信号発生回路113から供給されるシエーデイング補正信号S113Gと乗算されることにより白シエーデイング補正が行われ、その結果が乗算器出力信号S105Gとしてローパスフイルタ(LPF)106Gに送出される。ローパスフイルタ106Gは、乗算器出力信号S105Gの不要な高域周波数成分を除去する。
【0022】
ローパスフイルタ106Gの出力信号は、アナログ/デイジタル変換回路107Gにおいてデイジタル信号(緑色デイジタル信号S107G)に変換され、デイジタル信号処理回路108Gに送出される。デイジタル信号処理回路108Gは、緑色デイジタル信号S107Gに対して輪郭強調、ガンマ補正、ニー補正、ホワイトバランス等の処理を行つた後、これをエンコーダ109に送出する。
【0023】
また、これと同様にして、アナログ信号処理回路103Bは、青色撮像信号S102Bに対して、CDS回路やトラツプフイルタ等でノイズ除去処理を施すと共に増幅回路等でレベル調整を行つた後、これを加算器104Bに送出し、黒シエーデイング補正信号発生回路112から供給されるシエーデイング補正信号S112Bと加算することにより黒シエーデイング補正が行われる。
【0024】
加算器104Bの加算器出力信号S104Bは、続く乗算器105Bにおいて白シエーデイング補正信号発生回路113から供給されるシエーデング補正信号S113Bと乗算されることにより白シエーデイング補正が行われ、その結果が乗算器出力信号S105Bとしてローパスフイルタ(LPF)106Bに送出される。ローパスフイルタ106Bは、乗算器出力信号S105Bの不要な高域周波数成分を除去する。
【0025】
ローパスフイルタ106Bの出力信号は、アナログ/デイジタル変換回路107Bにおいてデイジタル信号(青色デイジタル信号S107B)に変換され、デイジタル信号処理回路108Bに送出される。デイジタル信号処理回路108Bは、青色デイジタル信号S107Bに対して輪郭強調、ガンマ補正、ニー補正、ホワイトバランス等の処理を行つた後、これをエンコーダ109に送出する。
【0026】
エンコーダ109は、デイジタル信号処理回路108R、108G及び108Bから出力される赤色デイジタル信号S107R、緑色デイジタル信号S107G及び青色デイジタル信号S107BをNTSC方式のデイジタル映像信号S109に変換する。このデイジタル映像信号S109は、続くデイジタル/アナログ変換回路110においてアナログ信号S110に変換されると共に、続くローパスフイルタ111において、ビデオテープレコーダやモニタ等に出画させる際に不要となる高域周波数成分を除去され、出力映像信号S111として出力される。
【0027】
ここで、アナログ/デイジル変換回路107R、107G及び107Bから出力される赤色デイジタル信号S107R、緑色デイジタル信号S107G及び青色デイジタル信号S107Bは、シエーデイング検出回路115に供給される。シエーデイング検出回路115は、赤色デイジタル信号S107R、緑色デイジタル信号S107G及び青色デイジタル信号S107Bに基づいてこのとき撮像されている画面のシエーデイングレベルを各画素について検出し、これをシエーデイングレベル検出信号S115としてシステムコントローラ114に送出する。
【0028】
システムコントローラ114はシエーデイングレベル検出信号S115に基づいてシエーデイング補正データS114Aを算出し、これを黒シエーデイング補正信号発生回路112及び白シエーデイング補正信号発生回路113にそれぞれ送出する。
【0029】
また、これと共にシステムコントローラ114は光学系制御信号S114Bによつて光学系101のレンズ絞りを制御したり、シエーデイング検出の実行受付等の処理を含む撮像装置全体の制御を行う。
【0030】
黒シエーデイング補正信号発生回路112は、シエーデイング補正データS114Aから黒シエーデイング補正信号S112R、S112G及びS112Bを生成し、これらを加算器104R、104G及び104Bに送出することにより、アナログ信号処理回路103R、103G及び103Bから出力される赤色撮像信号S102R、緑色撮像信号S102G及び青色撮像信号S102Bに対して黒シエーデイング補正を行う。
【0031】
また、白シエーデイング補正信号発生回路113は、シエーデイング補正データS114Aから黒シエーデイング補正信号S113R、S113G及びS113Bを生成し、これらを乗算器105R、105G及び105Bに送出することにより、加算器出力信号S104R、S104G及びS104Bに対して白シエーデイング補正を行う。
【0032】
ここで、図2及び図3において、水平方向に25画素、垂直方向に15画素、全375画素の撮像素子について、撮像装置100の例えば使用前の調整処理において、黒シエーデイング補正を行う場合を説明する。黒シエーデイング補正では、レンズ絞りが完全に閉じていて、撮像素子には光が入射していない状態での各画素に対応する映像信号レベルをシエーデイング検出回路115において検出する。
【0033】
このとき検出された各画素の映像信号レベルは、図2において各画素に対応した「○」印内に付された数字である。この場合、多くの画素(特に中心付近)はレベル10であるので、シエーデイング検出回路115は、各画素とレベル10との差分をシエーデイングレベルとして検出する。例えば、画素(PH1、PV1)の映像信号レベルは16であるので、これから10を減算した+6がシエーデイングレベルとなる。
【0034】
シエーデイング検出回路115は、このようにして検出された各画素のシエーデイングレベルを、水平方向に5画素、垂直方向に3画素ごとに区切つた領域A〔x、y〕(図3)内で積分し、当該積分結果をその領域A〔x、y〕のシエーデイングレベルとして、システムコントローラ114に送出する。すなわち、図3に示すように、領域A〔1、1〕を画素(PH1〜PH5、PV1〜PV3)、領域A〔2、1〕を画素(PH6〜PH10、PV1〜PV3)、……、領域A〔1、2〕を画素(PH1〜PH5、PV4〜PV6)、……、領域A〔5、5〕を画素(PH21〜PH25、PV13〜PV15)に分割して、それぞれの領域の各画素に対応するシエーデイングレベルを積分する。従つて、例えば領域A〔1、1〕のシエーデイングレベルは+3.9となる。
【0035】
このようにしてシエーデイング検出回路115において得られた各領域のシエーデイングレベルは、システムコントローラ114において図4に示すように、各領域の中心画素のシエーデイングレベルとして扱われる。すなわち、システムコントローラ114は領域A〔1、1〕の中心画素(PH3、PV2)におけるシエーデイングレベルを+3.9として扱うことにより、当該中心画素(PH3、PV2)における補正データC〔3、2〕のシエーデイング補正データを−3.9とし、これを加算器104R、104G及び104Bにおいて赤色撮像信号S102R、緑色撮像信号S102G及び青色撮像信号S102Bにそれぞれ加算することにより、領域A〔1、1〕の中心画素におけるシエーデイング補正が行われ、多くの画素の映像レベル10にほぼ一致した映像信号レベルが得られる。
【0036】
このようにして、システムコントローラ114は、各領域A〔1、1〕〜A〔5、5〕の中心画素(合計25画素)におけるシエーデイング補正を行うことができるが、各領域A〔1、1〕〜A〔5、5〕の中心画素以外の画素については、黒シエーデイング補正信号発生回路112において、各領域A〔1、1〕〜A〔5、5〕の中心画素(合計25画素)である水平方向に5画素ごと、垂直方向に3画素ごとの離散的なシエーデイング補正データを補間することにより、連続的なすべての画素に対応するシエーデイング補正データを算出する。
【0037】
この場合、各領域A〔1、1〕〜A〔5、5〕の中心画素についてシエーデイング補正データが与えられていることにより、図4に示すように、撮像領域として与えられている全領域のうち、補正データC〔3、2〕、C〔23、2〕、C〔3、14〕及びC〔23、14〕で囲まれた領域の外側の画素のシエーデイング補正データを生成することが困難となる。従つて、システムコントローラ114は、全領域の外側に架空の領域を想定し、当該架空の外側領域の中心画素についてそのシエーデイング補正データC〔−2、−1〕、C〔3、−1〕、C〔8、−1〕、……、C〔−2、2〕、……、C〔28、17〕を算出する。
【0038】
この算出方法としては、システムコントローラ114は領域内のシエーデイング補正データC〔3、2〕〜C〔23、14〕から、その連続性を重視して、領域内のシエーデイング補正データ間の変化量を一定に保つような算出を行う。
【0039】
例えば、領域外のシエーデイング補正データC〔3−1〕を算出する場合、システムコントローラ114は、実在するシエーデイング補正データC〔3、2〕とC〔3、5〕との間の変化量と同じ変化量だけシエーデイング補正データC〔3、2〕及びC〔3、−1〕間の変化量を与えるように領域外のシエーデイング補正データC〔3、−1〕を算出すると、次式、
【0040】
【数1】
Figure 0004045516
【0041】
によつてシエーデイング補正データC〔3、−1〕が算出される。
【0042】
また、システムコントローラ114は水平方向も同様にして領域外の架空の領域の各中心画素のシエーデイング補正データを算出する。例えば、シエーデイング補正データC〔2、−2〕について、次式、
【0043】
【数2】
Figure 0004045516
【0044】
によつて算出が行われる。
【0045】
また領域外の架空の領域のうち、4つの角にある架空領域の中心画素のシエーデイング補正データC〔−2、−1〕、C〔28、−1〕、C〔−2、17〕、C〔28、17〕については、システムコントローラ114は、斜め方向に算出する。例えばシエーデイング補正データC〔−2、−1〕については、次式、
【0046】
【数3】
Figure 0004045516
【0047】
によつて算出が行われる。
【0048】
かくしてシステムコントローラ114は、このようにして算出した各領域の中心画素のシエーデイング補正データを、黒シエーデイング補正信号発生回路112に送出する。
【0049】
黒シエーデイング補正信号発生回路112は、同一構成の赤色用補正信号発生回路と緑色用補正信号発生回路と青色用補正信号発生回路とを有し、赤色用補正信号発生回路は、図5に示すように、システムコントローラ114から出力されるシエーデイング補正データS114Aを補正データ記憶用メモリ(RAM)201に記憶される。
【0050】
ここで、補正データ記憶用メモリ201に記憶されるシエーデイング補正データS114Aは、図4について上述したように、各領域の中心画素についての補正データである。従つて黒シエーデイング補正信号発生回路112の垂直補間回路202はローダ204によつてこれらのシエーデイング補正データS114Aから、水平垂直に隣接する4つの領域のシエーデイング補正データ(C0、C1、C2、C3)(図6)を補正データ記憶用メモリ201から読み出して、データホールド回路205、206、207及び208に送出する。
【0051】
ここで、図6は、図3及び図4について上述した全画素領域のうち、4つの領域を抽出した拡大図であり、ローダ204によつて補正データ記憶用メモリ201から読み出された4つのシエーデイング補正データC0〜C3は、図6に示すように、水平方向に4つの画素を挟み、垂直方向に2つの画素を挟んだ状態である。
【0052】
そして4つのシエーデイング補正データC0(C〔m、n〕)〜C3(C〔m+5、n+3〕)によつて囲まれた領域の各画素のシエーデイング補正データC〔m、n〕〜C〔m+5、n+3〕は、補正データ記憶用メモリ201から読み出された4つのシエーデイング補正データC0〜C3に基づいて補間される。
【0053】
この場合、映像信号は垂直方向には不連続な信号であるので、垂直方向に離散的なシエーデイング補正信号を発生するためには、同じ領域内の各ライン毎に同じシエーデイング補正データを読み出すことになる。すなわち、C〔m、n〕〜C〔m+4、n〕を出力する場合においても、C〔m、n+1〕〜C〔m+4、n+1〕を出力する場合においても、またC〔m、n+2〕を出力する場合においても、C〔m、n〕、C〔m+5、n〕、C〔m、n+3〕、C〔m+5、n+3〕を補正データ記憶用メモリ201から読み出すことになる。
【0054】
そして、これら4点のシエーデイング補正データから、先ず、垂直補間したシエーデイング補正データを算出する。例えば、C〔m、n+1〕〜C〔m+4、n〕を出力する場合には、C0(C〔m、n〕)とC1(C〔m、n+3〕)からV0(C〔m、n+1〕)を算出し、C2(C〔m+5、n〕)とC3(C〔m+5、n+3〕)からV1(C〔m+5、n+1〕)を算出する(図6)。
【0055】
この算出方法としては、直線補間が用いられ、次式、
【0056】
【数4】
Figure 0004045516
【0057】
及び、
【0058】
【数5】
Figure 0004045516
【0059】
となる。
【0060】
この(4)式の演算は、データホールド回路205及び206と、乗算器211及び212と、これら乗算器211及び212の出力を加算する加算器213と、当該加算器213の加算結果を除算する除算器217とによつて実行され、この結果(V0)はデータホールド回路219に保持される。
【0061】
また(5)式の演算は、データホールド回路207及び208と、乗算器214及び215と、これら乗算器214及び215の出力を加算する加算器216と、当該加算器216の加算結果を除算する除算器218とによつて実行され、この結果(V1)はデータホールド回路220に保持される。
【0062】
乗算器211、212、214及び215に対して入力される係数は、映像信号に同期してシステムコントローラ114から出力されるパラメータvipであり、これによりシエーデイング補正データ間の位置関係が規定される。
【0063】
このようにして垂直補間されたシエーデイング補正データV0及びV1は、水平補間回路203に出力される。水平補間回路203は、これら垂直補間されたシエーデイング補正信号に水平補間を行い、連続的に出力する。例えば、C〔m、n+〕(=V0)〜C〔m+5、n+1〕(=V1)を出力する場合には、次式、
【0064】
【数6】
Figure 0004045516
【0065】
【数7】
Figure 0004045516
【0066】
【数8】
Figure 0004045516
【0067】
【数9】
Figure 0004045516
【0068】
【数10】
Figure 0004045516
【0069】
となる。
【0070】
この(6)式〜(10)式の演算は、乗算器221及び222と、これら乗算器221及び222の出力を加算する加算器223と、当該加算器223の加算結果を除算する除算器224とによつて実行され、この結果(H0=C〔m、n+1〕、C〔m+1、n+1〕、C〔m+2、n+1〕、C〔m+3、n+1〕、C〔m+4、n+1〕)はフリツプフロツプ回路225に順次保持され、出力される。
【0071】
このようにして、垂直補間回路202において垂直方向の2つのシエーデイング補正データに基づいてその間の各画素のシエーデイング補正データが直線補間によつて算出され、当該算出されたシエーデイング補正データのうち、水平方向に隣合う補正データ間をさらに水平補間回路203において直線補間することにより、全ての画素についてシエーデイング補正データが求まる。
【0072】
このようにして求められたシエーデイング補正データS225(図5)は、フリツプフロツプ回路225からブランキング回路234に送出され、図4について上述した領域外に設けられた架空の領域のシエーデイング補正データが取り除かれ、デイジタル/アナログ変換回路235に送出される。
【0073】
デイジタル/アナログ変換回路235はシエーデイング補正データをアナログ信号に変換し、これをローパスフイルタ236に送出する。ローパスフイルタ236はアナログのシエーデイング補正信号の不要な高域周波数成分を除去し、これをシエーデイング補正信号S112Rとして図1の加算器104Rに送出し、赤色撮像信号S102Rに加算することにより、シエーデイング補正を行う。
【0074】
因みに、図7は黒シエーデイング補正信号発生回路112における全画素についてのシエーデイング補正データの算出例を示す。また図8は、シエーデイング補正信号発生回路112の垂直補間回路202及び水平補間回路203におけるタイミングチヤートを示し、クロツク信号CLKによつて各回路部が動作すると共に、垂直補間回路202のデータホールド回路205〜208に対して映像信号に同期したホールド制御信号v−hpがシステムコントローラ114から供給され、これにより各データホールド回路205〜208に補正データ記憶メモリ201からシエーデイング補正データ(C0〜C3)が保持される。
【0075】
また映像信号に同期してシステムコントローラ114から供給されるパラメータvipによつて乗算器211、212、214及び215の演算が行われ、垂直補間回路202の演算結果(V0、V1)がシステムコントローラ114から映像信号に同期して供給される制御信号h−hpによつてホールド回路219及び220に保持される。
【0076】
また水平補間回路203においては、システムコントローラ114から映像信号に同期して供給される制御信号hipによつて乗算器221及び222の演算が実行され、各画素についての演算結果(シエーデイング補正データ)H0が求まる。
【0077】
かくして、赤色撮像信号S102R(図1)に対するシエーデイング補正データS112Rが図5に示す黒シエーデイング補正信号発生回路112において生成される。また、黒シエーデイング補正データ発生回路112は、図5について上述した垂直補間回路202及び水平補間回路203と同様構成の緑色撮像信号S102Gに対するシエーデイング補正信号発生回路と青色撮像信号S102Bに対するシエーデイング補正信号発生回路と有し、各補間回路において生成されたシエーデイング補正信号S112R、S112G及びS112Bは、撮像装置100を用いた実際の撮影時において、それぞれ加算器104R、104G及び104B(図1)に供給され、シエーデイング補正が自動で行われる。
【0078】
また白シエーデイング補正信号発生回路113は、図5について上述した黒シエーデイング補正信号発生回路112と同様の構成を有し、白シエーデイング補正データ作成時において、撮像素子(CCD)102R、102G及び102Bに対して均一な光量の光を入射させ、この状態で、シエーデイングレベル検出回路115及びシステムコントローラ114において算出されたシエーデイング補正データS114Aに基づき、黒シエーデイングの場合と同様にして白シエーデイング補正データS113R、S113G及びS113Bが算出される。かくして実際の撮影時において、これらの白シエーデイング補正データS113R、S113G及びS113Bが乗算器115R、115G及び115Bに供給され白シエーデイング補正が行われる。
【0079】
以上の構成において、シエーデイングレベル検出回路115において所定画素数ごとの領域ごとにシエーデイングレベルを積分した値を当該領域のシエーデイングレベルとしてシステムコントローラ114に送出し、システムコントローラ114はこのシエーデングレベルを当該領域の中心画素のシエーデイングレベルとして、補正データを算出する。このときシステムコントローラ114は領域外の架空の領域の中心のシエーデイング補正データを算出して黒シエーデイング補正信号発生回路112及び白シエーデイング補正信号発生回路113にそれぞれ供給する。
【0080】
かくして黒シエーデイング補正信号発生回路112及び白シエーデイング補正信号発生回路113では、入力された所定画素おきの間欠位置ごとのシエデイング補正データに基づいて全ての画素のシエーデイング補正信号を補間演算によつて算出する。
【0081】
このとき、補正データ記憶メモリ201に記憶されたシエーデイング補正データは、各領域の中心画素に対応した数のデータであり、そのデータ量はすべての画素のデータを記憶する場合に比べて格段的に少なくなる。また、各領域の中心画素ごとに算出されたシエーデイング補正データを用いて垂直方向及び水平方向に補間演算することにより、水平方向及び垂直方向に相関のないシエーデイング波形を発生させることができ、この分、水平方向及び垂直方向に相関のないシエーデイングを有効に補正し得る。
【0082】
かくして以上の構成によれば、垂直及び水平方向に相関のないシエーデングを少ないシエーデング補正データ量で有効に補正できる。
【0083】
なお上述の第1の実施の形態においては、垂直方向に3画素、水平方向に5画素で1つの領域を形成する場合について述べたが、本発明はこれに限らず、他の種々の画素数による領域を設定することができる。
【0084】
また上述の第1の実施の形態においては、本発明を2板式の撮像装置100に用いられるシエーデイング補正回路に適用した場合に付いて述べたが、本発明はこれに限らず、単板式の撮像装置においても適用することができる。この場合、黒シエーデイング補正信号発生回路112及び白シエーデイング補正信号発生回路113における回路を一系統のみとすれば良い。
【0085】
(2)第2の実施の形態
図1について上述した撮像装置100では、黒シエーデイング補正回路112及び白シエーデイング補正回路113として、各色成分ごとに同一構成の垂直補間回路202及び水平補間回路203(図5)を用いる場合について述べたが、本発明はこれに限らず、各色成分ごとのシエーデイング補正信号を一つの回路で生成することができる。
【0086】
すなわち、図9は黒シエーデイング回路112(図1)の第2の実施の形態を示し、撮像装置100のシエーデイング補正データ生成処理時において、撮像素子に光を入射しない状態において、システムコントローラ114から供給されるシエーデイング補正データS114Aを補正データ記憶メモリ(RAM)701に入力する。この実施の形態の場合、システムコントローラ114はシエーデイング補正データS114Aとして、例えば図10に示すように、水平方向に32画素毎、垂直方向に8画素毎のデータC0、C1、C2及びC3とする。
【0087】
垂直補間回路702は、先ず、出力するラインの上下にあるシエーデイング補正データを入力する。図10において、例えばC〔m−32、n+3〕〜C〔m、n+3〕の画素のシエーデイング補正データを算出する場合、垂直補間回路702のローダ705は、補正データ記憶メモリ701から、C0(=C〔m−32、n〕)及びC1(=C〔m−32、n+8〕)を補正データ記憶メモリ701(図9)から読み出し、映像信号に同期してシステムコントローラ114から供給される制御信号v−hpによつてデータホールド回路706及び707に保持する。
【0088】
そして垂直補間回路702はこれらのシエーデイング補正データC0及びC1に基づいてシエーデイング補正データV0(=C〔m−32、n+3〕)を、次式、
【0089】
【数11】
Figure 0004045516
【0090】
の演算式によつて算出する。
【0091】
この(11)式の演算は、乗算器708及び709と、これら乗算器708及び709の出力を加算する加算器710と、当該加算器710の加算結果を除算する除算器711とによつて実行され、この演算結果(V0)は垂直補間出力信号S702としてPS変換回路703のデータホールド回路715に保持される。
【0092】
ここで、図1に示すシエーデイングレベル検出回路115は各画素について赤色、緑色及び青色ごとにシエーデイングレベルを検出しており、この結果得られる各色成分ごとのシエーデイングレベルを順次シエーデイングレベル検出信号S115としてシステムコントローラ114に送出するようになされている。またシステムコントローラ114は当該各色成分ごとのシエーデイングレベル検出信号S115に基づいて、各色成分ごとの離散的なシエーデイング補正データを算出し、これを各色成分(赤色、緑色、青色)ごとに黒シエーデイング補正回路にシエーデイング補正データS114Aとして供給するようになされている。
【0093】
従つて、黒シエーデイング補正回路112の垂直補間回路702は、各画素について各色成分ごとに補正データ記憶メモリ701に格納されたシエーデイング補正データを各画素について順次赤色成分、緑色成分及び青色成分の順に読み出して、垂直補間演算を実行する。
【0094】
従つて垂直補間回路702から垂直補間出力信号S702として出力される演算結果(V0)として、先ず赤色成分の演算結果が得られ、これに続いて緑色成分の演算結果が得られ、さらにこれに続いて青色成分の演算結果が得られる。
【0095】
従つて、これらを順次データホールド回路715に供給することにより、当該データホールド回路715は、映像信号に同期したシステムコントローラ114からの制御信号v−spによつて各色成分の演算結果(V0)を順次データホールド回路714及び713に転送する。
【0096】
かくしてデータホールド回路713に赤色用の垂直補間演算結果(V0)が保持され、データホールド回路714に緑色用の垂直補間演算結果(V0)が保持され、さらにデータホールド回路715に青色用の垂直補間演算結果(V0)が保持された状態を得る。
【0097】
そして、この状態において各データホールド回路713〜715に保持された各色成分ごとの垂直補間演算結果(V0)は、垂直補間データ用のデータホールド回路721、723及び725にそれぞれ転送される。垂直補間データ用のデータホールド回路721、723及び725は、それぞれ保持している各色成分ごとの垂直補間演算結果(VO)を、映像信号に同期してシステムコントローラ114から供給される制御信号h−hpに基づいて第2段目のデータホールド回路722、724及び726にそれぞれ転送する。
【0098】
このとき、第1段目のデータホールド回路721、723及び725には、各色成分ごとの第1の垂直補間演算結果(V0)に続く第2の垂直補間演算結果(図10に示すV1(C〔m、n+3〕))が保持される状態となる。
【0099】
そして、これら各色成分(赤色、緑色及び青色)ごとの各垂直補間演算結果(V0及びV1)は、続く切換回路SW1及びSW2によつて赤色、緑色、青色及びデータ「0」の順に制御信号selによつて切り換えられることにより、それぞれ4画素おきに水平補間回路704に供給される。
【0100】
水平補間回路704は、図5について上述した水平補間回路203の場合と同様にして、VO(C〔m−32、n+3〕)及びV1(C〔m、n+3〕)の間における水平方向の補間演算を行う。この場合、4画素おきの各シエーデイング補正データが算出される。この水平補間回路704においては、システムコントローラ114から映像信号に同期して供給される制御信号hip及び8−hipによつて乗算器731及び732の演算が実行され、当該乗算結果は、加算器733において加算される。そして当該加算結果は除算器734において除算された後、フリツプフロツプ735に保持される。
【0101】
かかる垂直補間回路702及びPS変換回路703における補間動作を図11に示す。図11において、垂直補間回路702及びPS変換回路703は、クロツク信号CLKによつて動作し、制御信号v−hpに基づいてデータホールド回路706及び707が垂直方向のシエーデイング補正データC0及びC1の保持を行う。
【0102】
そして制御信号vipによるパラメータに基づいて乗算器708及び709
での演算が行われる。垂直補間回路702における演算結果(V0)は、制御信号v−spに基づいてPS変換回路703のデータホールド回路715、714及び713に保持される。この状態を図11(G)、(H)及び(I)に示す。
【0103】
そして制御信号h−hpによつてデータホールド回路721〜726のデータ保持動作が制御され、図11(K)〜(P)に示すように、データホールド回路721〜726には水平方向に2つのシエーデイング補正データ(V0及びV1)が各色成分ごとに同時に存在することになる。そして、これらのシエーデイング補正データ(V0及びV1)を切換回路SW10及びSW11において制御信号selによつて順次切り換えることにより、4画素おきの補間データに振り分けられ、制御信号hipによつて与えられるパラメータによつて水平補間回路704の乗算を行うことにより、図11(S)に示すように、水平方向に4画素おきの各画素について各色成分のシエーデイング補正データH0(S735)が順次連続して水平補間回路704から図12に示す水平補間回路801に送出される。このように水平補間回路704においては、1つの画素について3つの色成分についてのシエーデイング補正データH0を順次出力する必要があることにより(実際にはデータ「0」を含めて4つのデータ)4画素おきの画素ごとのシエーデイング補正データH0が水平補間回路801に出力されることになる。
【0104】
図12に示すように、水平補間回路801は水平補間回路704(図9)から出力されるシエーデイング補正データS735(H0)を4画素おきから2画素おきのデータに補間しながら分離する回路であり、当該水平補間回路801に順次供給される赤色成分のシエーデイング補正データと、緑色成分のシエーデイング補正データと、青色成分のシエーデイング補正データと、データ「0」とがフリツプフロツプ811〜814において同時に存在する状態となる。この場合の水平補間回路801に入力されるシエーデイング補正データ(H0)と、フリツプフロツプ812及び814に格納されるデータとを図13(A)、(B)及び(C)に示す。
【0105】
そしてフリツプフロツプ813及び814に保持されているデータと、新たに水平補間回路801に入力されるデータとを加算器815で加算すると共に続く除算器816において除算することにより、水平補間演算を行う。
【0106】
除算器816の出力と、フリツプフロツプ812の出力は、それぞれ切換回路SW21及びSW22の切換入力端に送出され、映像信号に同期してシステムコントローラ114から供給される制御信号ip42p(図13(D))に基づいて切り換えられる。
【0107】
これによりフリツプフロツプ821には、図13(E)に示すように赤色成分のシエーデイング補正データ及び緑色成分のシエーデイング補正データが交互に保持される。また、フリツプフロツプ822には、図13(F)に示すように青色成分のシエーデイング補正データ及びデータ「0」が交互に保持される。
【0108】
そしてフリツプフロツプ821の出力データは、水平補間回路802のプリツプフロツプ823及び824に順次入力され、フリツプフロツプ824の出力と、新たにフリツプフロツプ823に入力されるデータとが加算器827において加算された後、さらに除算器829で除算されることにより、水平補間が行われる。
【0109】
そして、フリツプフロツプ823の出力データ及び除算器829の出力データは切換回路SW31及びSW32の各切換入力端に送出される。因みに、フリツプフロツプ823の保持データは、図13(G)に示すように赤色成分のシエーデイング補正データと緑色成分のシエーデイング補正データとが交互に入れ代わる。また、フリツプフロツプ824の保持データは、図13(H)に示すように赤色成分のシエーデイング補正データと緑色成分のシエーデイング補正データとがフリツプフロツプ823のデータに対して遅延した状態で保持される。
【0110】
これに対して、フリツプフロツプ822の出力データは、水平補間回路802のプリツプフロツプ825及び826に順次入力され、フリツプフロツプ826の出力と、新たにフリツプフロツプ825に入力されるデータとが加算器828において加算された後、さらに除算器830で除算されることにより、水平補間が行われる。
【0111】
そして、フリツプフロツプ825の出力データ及び除算器830の出力データは切換回路SW33の切換入力端に送出される。因みに、フリツプフロツプ825の保持データは、図13(I)に示すように青色成分のシエーデイング補正データとデータ「0」とが交互に入れ代わる。また、フリツプフロツプ826の保持データは、図13(J)に示すように青色成分のシエーデイング補正データとデータ「0」とがフリツプフロツプ825のデータに対して遅延した状態で保持される。
【0112】
切換回路SW31、SW32及びSW33は、映像信号に同期してシステムコントローラ114から供給される制御信号ip21p(図13(K))に基づいて切り換え制御され、切換回路SW31から出力される赤色成分のシエーデイング補正データは、3つのフリツプフロツプ831、832及び833を介して3画素分遅延され、また、切換回路SW32から出力される緑色成分のシエーデイング補正データは、2つのフリツプフロツプ834及び835を介して2画素分遅延され、さらに切換回路SW33から出力される青色成分のシエーデイング補正データは、1つのフリツプフロツプ836で保持される。かくして、各色成分(赤色、緑色及び青色)のシエーデイング補正データは、図13(L)、(M)及び(N)に示すように、各フリツプフロツプ831〜836において位相が合わせられ、それぞれブランキング回路803R、803G及び803Bにおいて必要領域外の不要部分が取り除かれ、デイジタル/アナログ変換回路804R、804G及び804Bにおいてアナログ信号に変換され、さらにローパスフイルタ805R、805G及び805Bにおいて不要な高域周波数成分が除去されることにより、赤色成分用のシエーデイング補正信号S112Rと緑色成分用のシエーデイング補正データS112Gと青色成分用のシエーデイング補正データS112Bとが得られ、撮像装置100を用いた実際に撮影時において、図1に示した加算器104R、104G及び104Bにおいて赤色撮像信号S102R、緑色撮像信号S102G及び青色撮像信号S102Bと加算されることにより、黒シエーデイング補正が自動で行われる。
【0113】
また、白シエーデイング補正信号発生回路113も、図9及び図12について上述した黒シエーデイング補正信号発生回路112と同様構成でなり、撮像素子に対して均一な光量の光を照射して白シエーデイング補正信号S113R、S113G及びS113Bを生成し、撮像装置100を用いた実際の撮影時において、図1について上述した乗算器105R、105G及び105Bで加算出力信号S104R、S104G及びS104Bと乗算することにより白シエーデイング補正を自動で行うことができる。
【0114】
以上の構成において、黒シエーデイング補正信号発生回路112及び白シエーデイング補正信号発生回路113は、それぞれ複数のフリツプフロツプを用いて赤色用のシエーデイング補正データ、緑色用のシエーデイング補正データ及び青色用のシエーデイング補正データを補間しながら分離し、位相を合わせた状態で出力することにより、1つの回路構成で各色成分ごとのシエーデイング補正信号を生成することができる。
【0115】
かくして以上の構成によれば、水平及び垂直方向に相関を持たないシエーデイング補正を小さな回路規模で実現することができる。
【0116】
なお上述の実施の形態においては、システムコントローラ114において垂直方向に8画素、水平方向に32画素おきにシエーデイング補正データを求めた場合について述べたが、本発明はこれに限らず、種々の画素間隔で求めたシエーデイング補正データを用いるようにしても良い。
【0117】
【発明の効果】
撮像画面内での離散的な第1のシエーデイング補正データに基づいて、撮像画面外の架空の領域における離散的な第2のシエーデイング補正データを生成する第2のシエーデイング補正データ生成手段と、第1のシエーデイング補正データ及び第2のシエーデイング補正データからなる複数の離散的なシエーデイング補正データ間を補間することにより、離散的な第1及び第2のシエーデイング補正データを連続的なシエーデイング補正データに変換し、連続的なシエーデイング補正データに基づいて撮像素子の撮像出力信号を補正することができるので、撮像画面内での複数の画素に対して相関のないシエーデイング成分を有効に除去することができ、かくして撮像画面内での複数の画素に対して相関のないシエーデイング成分を有効に除去することができるシエーデイング補正回路を実現し得る。
【図面の簡単な説明】
【図1】本発明によるシエーデイング補正回路を用いた撮像装置の一実施の形態を示すブロツク図である。
【図2】各画素の映像信号レベルを示す略線図である。
【図3】領域ごとのシエーデイングレベルの積分の説明に供する略線図である。
【図4】領域外の画素のシエーデイング補正データを示す略線図である。
【図5】第1の実施の形態による黒シエーデイング補正信号発生回路の構成を示すブロツク図である。
【図6】シエーデイング補正データの算出方法の説明に供する略線図である。
【図7】シエーデイング補正データの算出例を示す略線図である。
【図8】シエーデイング補正信号発生回路の動作を示すタイミングチヤートである。
【図9】第2の実施の形態による黒シエーデイング補正信号発生回路を示すブロツク図である。
【図10】シエーデイング補正信号の生成の説明に供する略線図である。
【図11】第2の実施の形態によるシエーデイング補正データの補間処理動作を示すタイミングチヤートである。
【図12】第2の実施の形態による黒シエーデイング補正信号発生回路の水平補間回路の構成を示すブロツク図である。
【図13】水平補間処理動作を示すタイミングチヤートである。
【符号の説明】
100……撮像装置、102R、102G、102B……撮像素子、104R、104G、104B……加算器、105R、105G、105B……乗算器、115……シエーデイング検出回路、114……システムコントローラ、112……黒シエーデイング補正信号発生回路、113……白シエーデイング補正信号発生回路、201、701……補正データ記憶メモリ、202、702……垂直補間回路、203、704、801、802……水平補間回路、703……PS変換回路。

Claims (1)

  1. 複数の画素がマトリスク状に配置された撮像素子の撮像出力信号のシエーデイング成分を除去するシエーデイング補正回路において、
    上記撮像素子の各画素の撮像出力信号のシエーデイング成分に応じて上記撮像素子の撮像画面内での離散的な第1のシエーデイング補正データを生成する第1のシエーデイング補正データ生成手段と、
    上記撮像画面内での離散的な第1のシエーデイング補正データに基づいて、上記撮像画面外の架空の領域における離散的な第2のシエーデイング補正データを生成する第2のシエーデイング補正データ生成手段と、
    上記第1のシエーデイング補正データ及び上記第2のシエーデイング補正データからなる複数の離散的なシエーデイング補正データ間を補間することにより上記離散的な第1及び第2のシエーデイング補正データを連続的なシエーデイング補正データに変換するシエーデイング補正データ変換手段と、
    上記シエーデイング補正データ変換手段から出力される上記連続的なシエーデイング補正データに基づいて上記撮像素子の撮像出力信号を補正する補正手段と
    を具えることを特徴とするシエーデイング補正回路。
JP11023198A 1998-04-05 1998-04-05 シエーデイング補正回路 Expired - Lifetime JP4045516B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11023198A JP4045516B2 (ja) 1998-04-05 1998-04-05 シエーデイング補正回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11023198A JP4045516B2 (ja) 1998-04-05 1998-04-05 シエーデイング補正回路

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007259107A Division JP4491748B2 (ja) 2007-10-02 2007-10-02 シエーデイング補正回路

Publications (2)

Publication Number Publication Date
JPH11289494A JPH11289494A (ja) 1999-10-19
JP4045516B2 true JP4045516B2 (ja) 2008-02-13

Family

ID=14530428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11023198A Expired - Lifetime JP4045516B2 (ja) 1998-04-05 1998-04-05 シエーデイング補正回路

Country Status (1)

Country Link
JP (1) JP4045516B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7443431B2 (en) * 2002-09-13 2008-10-28 Eastman Kodak Company Fixed pattern noise removal in CMOS imagers across various operational conditions
JP2006148213A (ja) * 2004-11-16 2006-06-08 Matsushita Electric Ind Co Ltd 映像処理装置
JP4715210B2 (ja) * 2005-01-19 2011-07-06 カシオ計算機株式会社 カメラ装置
JP5094252B2 (ja) * 2007-07-11 2012-12-12 キヤノン株式会社 撮像装置及びその制御方法
JP5219778B2 (ja) * 2008-12-18 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
JP5325246B2 (ja) * 2011-03-10 2013-10-23 株式会社メガチップス 画像処理装置
JP5698796B2 (ja) * 2013-06-21 2015-04-08 株式会社メガチップス 画像処理装置
JP2015100099A (ja) * 2013-11-20 2015-05-28 日本放送協会 撮像装置及び固定パターンノイズ除去方法

Also Published As

Publication number Publication date
JPH11289494A (ja) 1999-10-19

Similar Documents

Publication Publication Date Title
KR100745386B1 (ko) 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체
JP2000188717A (ja) 撮像方法及び撮像装置、画像処理方法及び画像処理装置
KR920001009B1 (ko) 촬상장치
JP4045516B2 (ja) シエーデイング補正回路
JP2006287914A (ja) 固体撮像装置および画像入力装置、ならびにその画像補正方法
US10871629B2 (en) Imaging apparatus and control method of imaging apparatus
JP4272443B2 (ja) 画像処理装置および画像処理方法
US6690418B1 (en) Image sensing apparatus image signal controller and method
JP2001086519A (ja) 固体撮像装置および信号読出し方法
KR910006858B1 (ko) 칼러 카메라의 영상신호처리회로
US4490738A (en) Digital color camera
JP4491748B2 (ja) シエーデイング補正回路
JP4547757B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4839543B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体
JP2009081526A (ja) 撮像装置
JP3112531B2 (ja) 撮像装置
JP3733182B2 (ja) 撮像装置および縦縞除去方法
JP4547758B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4240257B2 (ja) 電子カメラ
JP4433546B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP3658012B2 (ja) 撮像装置
JP3524118B2 (ja) 撮像装置
JP2698404B2 (ja) 輝度信号処理装置
JPH04313971A (ja) シェーディング補正装置
JP3733172B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term