JP4175842B2 - ディジタルカメラ - Google Patents
ディジタルカメラ Download PDFInfo
- Publication number
- JP4175842B2 JP4175842B2 JP2002222537A JP2002222537A JP4175842B2 JP 4175842 B2 JP4175842 B2 JP 4175842B2 JP 2002222537 A JP2002222537 A JP 2002222537A JP 2002222537 A JP2002222537 A JP 2002222537A JP 4175842 B2 JP4175842 B2 JP 4175842B2
- Authority
- JP
- Japan
- Prior art keywords
- charges
- transfer register
- image
- output
- gate electrodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012546 transfer Methods 0.000 claims description 113
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【発明の属する技術分野】
この発明は、ディジタルカメラおよびイメージセンサに関し、特にたとえば被写体の光学像に対応する電荷を生成する複数の受光素子を有するイメージセンサを備えたディジタルカメラ、および当該イメージセンサに関する。
【0002】
【従来技術】
従来のこの種のイメージセンサとして、たとえば図10に示すようなインタライン転送型のCCD(Charge Coupled Device)イメージセンサ1がある。このイメージセンサ1では、露光によって複数のフォトダイオード2,2,・・・に蓄積された電荷(信号電子)は、当該各フォトダイオード2,2,・・・の横方(図10では右側)に設けられた複数の垂直転送レジスタ3,3,・・・に入力される。各垂直転送レジスタ3,3,・・・に入力された電荷は、当該各垂直転送レジスタ3,3,・・・のゲート電極3a,3a,・・・に供給される垂直駆動パルスに従って、実線の矢印4,4,・・・で示すように一方方向(図10の下方)に順次転送され、水平転送レジスタ5に入力される。
【0003】
水平転送レジスタ5に入力された電荷、つまり1ライン分の電荷のうち、当該水平転送レジスタ5の中央よりも一方端側(図10の左側)の部分に入力された電荷は、点線の矢印6で示すように当該一方端側に向けて順次転送され、順次出力される。この水平転送レジスタ5の一方端から順次出力される電荷に基づく画像信号は、出力回路7によって増幅処理などの所定の処理を施された後、出力端子8を経て外部に出力される。一方、水平転送レジスタ5の中央よりも他方端側(図10の右側)の部分に入力された電荷は、一点鎖線の矢印6aで示すように当該他方端側に向けて順次転送され、当該他方端から順次出力される。そして、この水平転送レジスタ5の他方端から順次出力される電荷に基づく画像信号は、出力回路7aによって出力回路7と同様の処理を施された後、出力端子8aを経て外部に出力される。
【0004】
このように、図10のイメージセンサ1によれば、1画面分の画像信号のうち、当該画面の左半分を構成する画像信号と右半分を構成する画像信号とが、互いに別個の出力端子8および8aから同時に出力される。したがって、出力端子が1つだけの場合に比べて、画像信号を高速で、単純には2倍の速さで読み出すことができる。このことは、画像信号に基づいてフォーカスを調整するというコントラスト検出方式のオートフォーカス機能を備えたディジタルカメラにおいて、フォーカス調整に掛かる時間を短縮するのに極めて有効である。
【0005】
なお、水平転送レジスタ5は、2相駆動型のレジスタであり、具体的には各ゲート電極9,9,・・・に図11に示すような2相の水平駆動パルスφ1’およびφ2’が供給されることによって駆動される。ただし、かかる2相の水平駆動パルスφ1’およびφ2’の供給によって、上述の如く水平転送レジスタ5の一方端側の部分および他方端側の部分において互いに反対方向に電荷が転送されるようにするために、水平転送レジスタ5には次のような工夫が施されている。
【0006】
すなわち、水平転送レジスタ5の中央に位置するゲート電極9には水平駆動パルスφ1’およびφ2’は供給されず、代わりに当該ゲート電極9は接地電位(GND)に接続されている。これによって、水平転送レジスタ5の中央部分のポテンシャル(表面電位)が高くなり、水平転送レジスタ5の一方端側の部分と他方端側の部分との間で電荷が相互に移動できないようになっている。そして、中央のゲート電極9を境として、水平転送レジスタ5の一方端側に位置するゲート電極9,9,・・・および他方端側に位置するゲート電極9,9,・・・の各々に対し、水平駆動パルスφ1’およびφ2’が対称的に供給されている。さらに、図には示さないが、水平転送レジスタ5の一方端側の部分では矢印6で示す方向に電荷が移動し易くなるように、また他方端側の部分では矢印6aで示す方向に電荷が移動し易くなるように、それぞれ当該一方端側および他方端側におけるポテンシャルに予め勾配が設けられている。
【0007】
【発明が解決しようとする課題】
しかし、上述の従来のイメージセンサ1では、これをディジタルカメラに適用した場合に、2つの出力回路7および7aの特性の違いによって、図12に示すように、画面の左半分と右半分とで明るさやコントラストに差異が生じ、換言すれば画面の中央に縦の境界線、いわゆる不連続が生じるという問題がある。この問題を回避するには、水平転送レジスタ5の一方端のみまたは他方端のみから全ての電荷を読み出すようにすればよいが、上述したように、水平転送レジスタ5には矢印6および6aで示すように予め決められた方向に電荷が転送されるよう工夫が施されている。したがって、水平転送レジスタ5の一方端または他方端のみから全電荷を読み出すこと、つまり出力回路7および7aの特性の不平衡に起因する画質の劣化を回避することができない。
【0008】
それゆえに、この発明の主たる目的は、フォーカス調整に掛かる時間を短縮することができ、しかも高品質な画像信号を記録することができる、ディジタルカメラを提供することである。
【0009】
この発明の他の目的は、電荷を高速で読み出すための動作と、高品質な画像信号を得るための動作とを任意に選択できる、イメージセンサを提供することである。
【0010】
【課題を解決するための手段】
第1の発明は、フォーカスレンズ、フォーカスレンズを通して入射された被写体の光学像に対応する電荷を生成する複数の受光素子と当該電荷を出力するN個(N>1)の出力端子とを有するイメージセンサ、フォーカスレンズの位置を調整するときN個の出力端子から電荷を読み出す第1読み出し手段、および電荷に基づく画像信号を記録媒体に記録するとき当該電荷をN個の出力端子のいずれか1つから読み出す第2読み出し手段を備える、ディジタルカメラである。
【0011】
第2の発明は、複数の受光素子から読み出された電荷を第1方向に転送する複数の第1転送レジスタ、および複数の第1転送レジスタの終端に設けられるかつ電荷を第1方向に直交する第2方向に転送する3相駆動型の第2転送レジスタを備える、イメージセンサである。
【0012】
【作用】
第1の発明では、イメージセンサは、フォーカスレンズを通して入射された被写体の光学像に対応する電荷を生成する複数の受光素子、および当該複数の受光素子によって生成された複数の電荷を出力するN個(N>1)の出力端子を有する。そして、フォーカスレンズの位置を調整するとき、複数の電荷は、第1読み出し手段によってN個の出力端子から読み出される。一方、電荷に基づく画像信号を記録媒体に記録するとき、当該電荷は、第2読み出し手段によってN個の出力端子のいずれか1つから読み出される。
【0013】
この発明のある実施例では、複数の受光素子が形成された受光面は、N個の領域に区分されている。そして、第1読み出し手段は、当該N個の領域で生成された電荷をN個の出力端子からそれぞれ読み出す。
【0014】
この場合、第1読み出し手段によって読み出された電荷のうち、N個の領域の境界線を除く部分で生成された電荷に基づいて、フォーカスレンズの位置を調整する調整手段を設けるのが望ましい。すなわち、N個の領域の境界線を含む部分で生成された電荷に基づいてフォーカスレンズの位置調整が行われると、当該境界線の影響によって正確な位置調整ができない場合がある。そこで、かかる境界線を除く部分で生成された電荷に基づいてフォーカスレンズの位置調整を行うことによって、当該境界線による影響を回避する。
【0015】
なお、第1読み出し手段によって読み出された電荷に基づいて被写体のリアルタイム動画像を表示する表示手段をさらに備えてもよい。
【0016】
また、イメージセンサは、複数の受光素子から読み出された電荷を垂直方向に転送する複数の垂直転送レジスタ、および当該複数の垂直転送レジスタの終端に設けられるかつ電荷を水平方向に転送する水平転送レジスタを有し、2個の出力端子が水平転送レジスタの両端にそれぞれ割り当てられたものであってもよい。
【0017】
この場合、水平転送レジスタは、3相駆動型であるのが望ましい。
【0018】
第2の発明では、複数の受光素子から読み出された電荷は、第1転送レジスタによって第1方向に転送される。そして、この電荷は、第2転送レジスタによって、第1方向に直交する第2方向に転送される。なお、第2転送レジスタは、3相駆動型であるので、第2方向、つまり電荷の転送方向を任意に制御できる。
【0019】
【発明の効果】
第1の発明によれば、N個の出力端子から読み出された電荷に基づく画像信号に従ってフォーカスレンズの位置調整が行われるので、当該位置調整に掛かる時間を短縮できる。また、いずれか1つの出力端子から読み出された電荷に基づく画像信号が記録媒体に記録されるので、各出力端子の特性の不平衡の影響を受けない高品質な画像信号を記録することができる。
【0020】
第2の発明によれば、第2転送レジスタによる電荷の転送方向を任意に制御することができるので、第2転送レジスタの両端から電荷を読み出すこともできるし、一方端から全電荷を読み出すこともできる。つまり、第2転送レジスタの両端から電荷を読み出すことによって当該電荷を高速で読み出す動作と、第2転送レジスタの一方端から全電荷を読み出すことによって他方端との間での特性の不平衡の影響を受けない高品質な画像信号を得る動作とを任意に選択することができる。
【0021】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【0022】
【実施例】
図1を参照して、この実施例のイメージセンサ10は、マトリクス状に配置された複数のフォトダイオード12,12,・・・,各フォトダイオード12,12,・・・の縦の並びの横方(図1では右側)に配置された複数の細長い垂直転送レジスタ14,14,・・・,および各垂直転送レジスタ14,14,・・・の各一方端側(図1における下側)において当該各一方端の並びに沿って伸びるように配置された1本の細長い水平転送レジスタ16を含む、インタライン転送型のセンサである。
【0023】
なお、この図1では、説明の便宜上、フォトダイオード12,12,・・・の数が20個(縦4個×横5個)とされているが、実際のイメージセンサ10においては、数十万個〜数百万個のフォトダイオード12,12,・・・が設けられている。
【0024】
各垂直転送レジスタ14,14,・・・は、いずれも2相駆動型のレジスタであり、図示しない2相の垂直駆動パルスが供給される複数のゲート電極18,18,・・・を有している。これらのゲート電極18,18,・・・は、各垂直転送レジスタ14,14,・・・の長手方向に沿って1列に設けられている。
【0025】
一方、水平転送レジスタ16は、3相駆動型のレジスタであり、後述する水平駆動パルスφ1〜φ8が供給される複数のゲート電極20,20,・・・を有している。各ゲート電極20,20,・・・は、水平転送レジスタ16の長手方向、換言すれば垂直転送レジスタ14,14,・・・の並び方向に沿って、1列に設けられており、より詳しくは、当該垂直転送レジスタ14,14,・・・の並びの1ピッチにつき3つのゲート電極20,20,・・・が設けられている。
【0026】
各ゲート電極20,20,・・・のうち中央に位置するゲート電極20、厳密には各垂直転送レジスタ14,14,・・・のうち中央の垂直転送レジスタ14と対を成す(図1において左隣の)フォトダイオード12,12,・・・の並びの位置に設けられた“d”という符号が付されたゲート電極14に、水平駆動パルスφ4が供給される。そして、この“d”という符号が付されたゲート電極14に隣接し、かつ中央の垂直転送レジスタ14側に位置する(符号“d”のゲート電極20の右隣にある)“e”という符号が付されたゲート電極20に、水平駆動パルスφ5が供給される。
【0027】
さらに、図1においては、符号“d”のゲート電極20よりも左側に位置する各ゲート20,20,・・・に、それぞれ当該符号“d”のゲート電極20に近いものから順に、“c”,“b”および“a”という符号がこの順番で繰り返し付されているが、このうち“a”という符号が付されたゲート電極20,20,・・・に、垂直駆動パルスφ1が入力される。そして、“b”という符号が付されたゲート電極20,20,・・・に、垂直駆動パルスφ2が入力され、“c”という符号が付されたゲート電極20,20,・・・に、垂直駆動パルスφ3が入力される。
【0028】
一方、上述の“e”という符号が付されたゲート電極20よりも図1において右側に位置するゲート20,20,・・・には、それぞれ当該符号“e”のゲート電極20に近いものから順に、“f”,“g”および“h”という符号がこの順番で繰り返し付され、このうち“f”という符号が付されたゲート電極20,20、・・・に、垂直駆動パルスφ6が入力される。そして、“g”という符号が付されたゲート電極20,20,・・・に、垂直駆動パルスφ7が入力され、“h”という符号が付されたゲート電極20,20,・・・に、垂直駆動パルスφ8が入力される。
【0029】
水平転送レジスタ16の一方端(図1において左側の端部)は、図示しない増幅回路やフィルタ回路などが内蔵された出力回路22を介して出力端子24に接続されている。そして、水平転送レジスタ16の他方端は、当該出力回路22と同規格の出力回路26を介して別の出力端子28に接続されている。
【0030】
このような構成のイメージセンサ10では、露光によって各フォトダイオード12,12,・・・に蓄積された電荷は、それぞれと対を成す垂直転送レジスタ14,14・・・に入力される。各垂直転送レジスタ14,14,・・・に入力された電荷は、各ゲート電極18,18,・・・に供給される垂直駆動パルスに従って、実線の矢印30,30,・・・で示すように水平転送レジスタ16側の終端に向けて順次転送され、当該水平転送レジスタ16に順次入力される。なお、このようにして各垂直転送レジスタ14,14,・・・に入力された電荷が各ゲート電極18,18,・・・に供給される2相の垂直駆動パルスに従って矢印30,30,・・・で示す方向に転送されるようにするために、当該各垂直転送レジスタ14,14,・・・内のポテンシャルには予め勾配が設けられている。
【0031】
ここで、水平駆動パルスφ1〜φ8として、たとえば図2に示すようなパルスが、各ゲート電極20,20,・・・に供給されるとする。すなわち、水平駆動パルスφ1として、デューティ比が1:1で、かつ周期Tの矩形パルスが、符号“a”のゲート電極20,20,・・・に供給されるとする。そして、この水平駆動パルスφ1と同波形で、かつ当該水平駆動パルスφ1よりも位相が3分の1周期(T/3)だけ早いパルスφ2が、符号“b”のゲート電極20,20,・・・に供給されるとする。さらに、水平駆動パルスφ1およびφ2と同波形で、かつ水平駆動パルスφ2よりも位相が3分の1周期だけ早いパルスφ3が、符号“c”のゲート電極20,20,・・・に供給されるとする。
【0032】
一方、符号“f”のゲート電極20,20,・・・に供給される水平駆動パルスφ6は、波形および位相ともに水平駆動パルスφ3と同一のパルスであり、符号“g”のゲート電極20,20,・・・に供給される水平駆動パルスφ7は、波形および位相ともに水平駆動パルスφ2と同一のパルスである。そして、符号“h”のゲート電極20,20,・・・に供給される水平駆動パルスφ8は、波形および位相ともに水平駆動パルスφ1と同一のパルスである。なお、符号“d”および“e”の各ゲート電極20および20には、水平駆動パルスφ4およびφ5としてL(ロー)レベル(≒接地電位)の信号が供給される。
【0033】
このような水平駆動パルスφ1〜φ8が各ゲート電極20,20,・・・に供給された場合、水平転送レジスタ16内においては、図3に示すようなポテンシャル変動が生じる。すなわち、図2における或る時刻t1においては、水平駆動パルスφ1〜φ8のうちのパルスφ3およびφ6のみがH(ハイ)レベルとなり、それ以外はLレベルとなる。この場合、図3(a)に示すように、Hレベルとなる水平駆動パルスφ3およびφ6が供給される符号“c”および“f”の各ゲート電極20,20,・・・が位置する部分において、水平転送レジスタ16内(P基板)のポテンシャル32が低下し、それ以外の部分では、ポテンシャル32は高電位となる。したがって、水平転送レジスタ16内の電荷34,34,・・・は、このポテンシャル32が低下した(窪んだ)部分に収まる。
【0034】
次に、時刻t1よりも遅い時刻t2においては、水平駆動パルスφ3およびφ6に加え、水平駆動パルスφ2およびφ7もHレベルになる。すると、水平転送レジスタ16内のポテンシャル32は、図4(b)に示すような状態に遷移する。すなわち、符号“c”および“f”の各ゲート電極20,20,・・・が位置する部分に加え、水平駆動パルスφ2およびφ7が供給される符号“b”および“g”の各ゲート電極20,20,・・・が位置する部分においても、ポテンシャル32が低下する。これによって、図4(a)の時点では符号“c”のゲート電極20,20,・・・の下方に存在していた電荷34,34,・・・が、これと隣り合う符号“b”のゲート電極20,20,・・・の下方位置にまで移動可能となる。同様に、図4(a)の時点で符号“f”のゲート電極20,20,・・・の下方に存在していた電荷34,34,・・・は、これと隣り合う符号“g”のゲート電極20,20,・・・の下方位置にまで移動可能となる。
【0035】
さらに、図2における時刻t2よりも遅い時刻t3においては、水平駆動パルスφ3およびφ6がLレベルとなり、水平駆動パルスφ2およびφ7のみがHレベルを維持し、これによって、ポテンシャル32は、図4(c)に示すような状態に遷移する。すなわち、水平駆動パルスφ2およびφ7が供給される符号“b”および“g”の各ゲート電極20,20,・・・が位置する部分のみにおいて、ポテンシャル32が低下し、符号“c”および“f”のゲート電極20,20,・・・が位置する部分のポテンシャル32は高電位となる。したがって、各電荷34,34,・・・は、符号“b”または“g”の各ゲート電極20,20,・・・が位置する部分に収容される。
【0036】
この結果、時刻t1において、符号“c”のゲート電極20,20,・・・の下方に存在していた電荷34,34,・・・は、時刻t3において、符号“b”のゲート電極20,20,・・・の下方位置に移動することになる。同様に、時刻t1において、符号“f”のゲート電極20,20,・・・の下方に存在していた電荷34,34,・・・は、時刻t3において、符号“g”のゲート電極20,20,・・・の下方位置に移動することになる。
【0037】
そして、これ以降、符号“b”のゲート電極20,20,・・・の下方に移動した電荷34,34,・・・は、符号“a”→“c”→“b”→“a”・・・の順番で各ゲート電極20,20,・・・の下方位置に順次移動し、最終的に水平転送レジスタ16の左側端部から順次出力される。一方、符号“g”のゲート電極20,20,・・・の下方に移動した電荷34,34,・・・は、符号“h”→“f”→“g”→“h”・・・の順番で各ゲート電極20,20,・・・の下方位置に順次移動し、最終的に水平転送レジスタ16の右側端部から順次出力される。
【0038】
つまり、水平転送レジスタ16の各ゲート電極20,20,・・・に図2に示すような水平駆動パルスφ1〜φ8が供給された場合、各垂直転送レジスタ14,14,・・・から水平転送レジスタ16に入力された1ライン分の電荷34,34,・・・のうち、当該水平転送レジスタ16の中央よりも図3(または図1)において左側の部分に入力された電荷34,34,・・・は、点線の矢印36で示すように当該左側に向けて順次転送され、水平転送レジスタ16の左側端部から順次出力される。一方、水平転送レジスタ16の中央よりも右側の部分に入力された電荷34,34,・・・は、一点鎖線の矢印38で示すように当該右側に向けて順次転送され、水平転送レジスタ16の右側端部から順次出力される。
【0039】
そして、水平転送レジスタ16の左側端部から順次出力される電荷34,34,・・・に基づく画像信号は、出力回路22によって増幅処理やフィルタ処理などの所定の処理を施された後、出力端子24を介して外部に出力される。一方、水平転送レジスタ16の右側端部から順次出力される電荷34,34,・・・に基づく画像信号は、出力回路26によって出力回路22と同様の処理を施された後、出力端子28を介して外部に出力される。
【0040】
このように、水平転送レジスタ16の各ゲート電極20,20,・・・に図2に示すような水平駆動パルスφ1〜φ8が供給された場合、1画面分の画像信号のうち、当該画面の左半分を構成する画像信号と右半分を構成する画像信号とは、互いに別個の出力回路22および26を経て別個の出力端子24および28から同時に出力される。したがって、上述した従来技術と同様に、当該画像信号を高速で読み出すことができる。ただし、この2つの出力端子24および28から同時に読み出した画像信号に従って画面を構成した場合、従来技術と同様に、当該画面の左半分と右半分との間に各出力回路22および26の特性の不平衡に起因する不連続が生じる可能性がある。
【0041】
次に、水平駆動パルスφ1〜φ8として、図4に示すようなパルスが、各ゲート電極20,20,・・・に供給されるとする。すなわち、全ての水平駆動パルスφ1〜φ8が、デューティ比が1:1で、かつ周期Tの矩形パルスであるとする。そして、水平駆動パルスφ1,φ4およびφ7が、互いに同位相であり、水平駆動パルスφ2,φ5およびφ8が、互いに同位相である。さらに、水平駆動パルスφ3およびφ6もまた、互いに同位相である。そして、水平駆動パルスφ2,φ5およびφ8の位相は、水平駆動パルスφ1,φ4およびφ7の位相よりも3分の1周期(T/3)だけ進んでおり、水平駆動パルスφ3およびφ6の位相は、水平駆動パルスφ2,φ5およびφ8の位相よりも3分の1周期だけ進んでいる。
【0042】
このような水平駆動パルスφ1〜φ8が各ゲート電極20,20,・・・に供給された場合、水平転送レジスタ16内においては、図5に示すようなポテンシャル変動が生じる。すなわち、図4における或る時刻t4においては、水平駆動パルスφ1〜φ8のうちのパルスφ3およびφ6のみがHレベルとなる。この場合、図5(a)に示すように、当該パルスφ3およびφ6が供給される符号“c”および“f”の各ゲート電極20,20,・・・の下方において、ポテンシャル32が低下し、これらの位置に電荷34,34,・・・が収まる。
【0043】
そして、時刻t4よりも遅い時刻t5において、水平駆動パルスφ3およびφ6に加え、水平駆動パルスφ2,φ5およびφ8もHレベルになる。すると、水平転送レジスタ16内のポテンシャル32は、図5(b)に示すような状態に遷移する。すなわち、符号“b”,“e”および“h”の各ゲート電極20,20,・・・の下方においても、ポテンシャル32が低下する。これによって、図5(a)の時点で符号“c”のゲート電極20,20,・・・の下方に存在していた電荷34,34,・・・が、これと隣り合う符号“b”のゲート電極20,20,・・・の下方位置にまで移動可能となる。同様に、図5(a)の時点で符号“f”のゲート電極20,20,・・・の下方に電荷34,34,・・・は、これと隣り合う符号“e”または“h”のゲート電極20,20,・・・の下方位置にまで移動可能となる。
【0044】
さらに、図4における時刻t5よりも遅い時刻t6においては、水平駆動パルスφ3およびφ6がLレベルとなり、水平駆動パルスφ2,φ5およびφ8のみがHレベルを維持する。これによって、ポテンシャル32は、図5(c)に示すような状態に遷移する。すなわち、符号“b”,“e”および“h”の各ゲート電極20,20,・・・の下方のみにおいて、ポテンシャル32が低下し、それ以外の部分では、ポテンシャル32は高電位となる。したがって、各電荷34,34,・・・は、符号“b”,“e”および“h”の各ゲート電極20,20,・・・の下方に移動する。
【0045】
つまり、時刻t4において、符号“c”のゲート電極20,20,・・・の下方に存在していた電荷34,34,・・・は、時刻t6において、符号“b”のゲート電極20,20,・・・の下方位置に移動する。同様に、時刻t4において、符号“f”のゲート電極20,20,・・・の下方に存在していた電荷34,34,・・・は、時刻t6において、符号“e”または“h”のゲート電極20,20,・・・の下方位置に移動する。
【0046】
そして、これ以降、符号“b”のゲート電極20,20,・・・の下方に移動した電荷34,34,・・・は、符号“a”→“c”→“b”→“a”・・・の順番で各ゲート電極20,20,・・・の下方位置に順次移動し、最終的に水平転送レジスタ16の左側端部から順次出力される。一方、符号“e”のゲート電極20の下方に移動した電荷34は、符号“d”のゲート電極20の下方に移動した後、符号“c”→“b”→“a”→“c”・・・の順番で各ゲート電極20,20,・・・の下方位置に順次移動し、最終的に水平転送レジスタ16の左側端部から順次出力される。さらに、符号“h”のゲート電極20,20,・・・の下方に移動した電荷34,34,・・・は、符号“g”→“f”→“h”→“g”・・・の順番で各ゲート電極20,20,・・・の下方位置に順次移動した後、符号“e”および“d”の各ゲート電極20および20の下方を経て、符号“c”→“b”→“a”→“c”・・・の順番で各ゲート電極20,20,・・・の下方位置に順次移動し、最終的に水平転送レジスタ16の左側端部から順次出力される。
【0047】
すなわち、水平転送レジスタ16の各ゲート電極20,20,・・・に図4に示すような水平駆動パルスφ1〜φ8が供給された場合、各垂直転送レジスタ14,14,・・・から水平転送レジスタ16に入力された全ての電荷34,34,・・・は、全て二点鎖線の矢印40で示すように当該水平転送レジスタ16の左側端部に向けて順次転送され、当該左側端部から順次出力される。そして、この水平転送レジスタ16の左側端部から順次出力される電荷34,34,・・・に基づく画像信号は、出力回路22を経て、出力端子24から外部に出力される。
【0048】
このように、露光によって得られた全ての電荷34,34,・・・に基づく画像信号を1つの出力回路22を介して1つの出力端子24から読み出した場合、上述のような出力回路22および26の各特性の不平衡に起因する不連続は生じない。つまり、当該不連続のない高品質な画像信号を得ることができる。ただし、このように全ての画像信号を1つの出力端子24から読み出した場合、上述の如く画面の左半分の画像信号と右半分の画像信号とを互いに別個の出力端子24および28から同時に読み出す場合に比べて、1画面分の画像信号を読み出すのに要する時間は長くなる。
【0049】
かかるイメージセンサ10は、図6に示すようなディジタルカメラ50に適用されると、その特徴が活かされる。このディジタルカメラ50は、コントラスト検出方式のオートフォーカス機能を備えたもので、イメージセンサ10は、その受光面にフォーカスレンズ52を介して被写体の光学像が入射されるように配置される。
【0050】
モードキー54の操作によって、被写体を撮影するための撮影モードが選択されると、CPU56は、TG(Timing Generator)58に対して高速読み出しモードに従うプリ露光および電荷読み出しの繰り返しを命令する。TG58は、この命令に対応するタイミング信号をイメージセンサ10に供給し、イメージセンサ10は、供給されたタイミング信号に従って被写体の光学像を露光する。また、このタイミング信号の供給によって、イメージセンサ10の各垂直転送レジスタ14,14,・・・の各ゲート電極18,18,・・・には、上述した2相の垂直駆動パルスが供給され、水平転送レジスタ16の各ゲート電極20,20,・・・には、上述の図2に示す水平駆動パルスφ1〜φ8が供給される。
【0051】
露光によってイメージセンサ10の各フォトダイオード12,12,・・・に蓄積された電荷は、上述したように各垂直転送レジスタ14,14,・・・を介して水平転送レジスタ16に入力される。そして、この水平転送レジスタ16に入力された電荷のうち、当該水平転送レジスタ16の中央から一方端側に入力された電荷に従う被写界(画面)の左半分の画像信号は、1フレーム期間毎に出力端子24から出力される。一方、水平転送レジスタ16の中央から他方端側に入力された電荷に従う被写界の右半分の画像信号は、1フレーム期間毎に出力端子28から出力される。つまり、撮影モードが選択された当初は、生画像信号が2つの出力端子24および28から半分ずつ出力される。なお、この高速読み出しモードにおいては、各垂直転送レジスタ14,14,・・・から水平転送レジスタ16に入力された電荷のうちの一部が、当該水平転送レジスタ16の両端から有効に出力され、残りの電荷は廃棄される。
【0052】
イメージセンサ10の出力端子24から出力された左半分の生画像信号は、CDS(Correlated Double Sampling)/AGC(Automatic Gain Control)回路60に入力され、ここで相関二重サンプリング処理およびゲイン調整処理を施された後、A/D変換回路62に入力される。A/D変換回路62は、入力された生画像信号をディジタル信号である生画像データに変換し、変換後の生画像データを信号処理回路64に入力する。信号処理回路64は、入力された生画像データに対し色分離,白バランス調整,ガンマ補正,YUV変換などの処理を施す。
【0053】
一方、イメージセンサ10の出力端子28から出力された右半分の生画像信号は、CDS/AGC回路66に入力され、ここでCDS/AGC回路60と同様の相関二重サンプリング処理およびゲイン調整処理を施された後、A/D変換回路68に入力される。A/D変換回路68は、A/D変換回路62と同様、CDS/AGC回路66から入力された生画像信号を生画像データに変換し、変換後の生画像データを信号処理回路70に入力する。信号処理回路70は、入力された生画像データに対し信号処理回路64と同様の処理を施す。
【0054】
これら2つの信号処理回路64および70による処理後の画像データ(YUVデータ)は、メモリ制御回路72によって、一旦、メインメモリとしてのSDRAM(Synchronous Dynamic RAM)74の画像データ記憶領域74aに記憶され、ここで1画面分の画像データとして合成される。そして、この合成後の画像データは、メモリ制御回路72によってSDRAM74から読み出され、ビデオエンコーダ76に入力される。
【0055】
ビデオエンコーダ76は、入力された画像データをNTSC方式の複合画像信号に変換し、変換後の複合画像信号を液晶モニタ78に入力する。これによって、液晶モニタ78の画面に、被写体のリアルタイム動画像、つまりスルー画像が表示される。
【0056】
なお、この状況下では、イメージセンサ10の2つの出力回路22および26の特性の違いによって、図7に示すように、液晶モニタ78の画面に映し出されるスルー画像の左半分と右半分との間に明るさやコントラストなどの差異が生じ、これによって画面の中央に縦の境界線、つまり不連続80が生じる。しかし、スルー画像は、被写体像の一部が間引かれた低解像度の画像であるので、かかる低解像度の画像上では当該不連続80は視覚的に目立ち難い。よって、この不連続80が生じるという問題は、ディジタルカメラ50の実際の使用上では、あまり大きな問題にはならない。
【0057】
さらに、2つの信号処理回路64および70によって生成されたYUVデータのうちYデータは、AE(Automatic Exposure)/AF(Autofocus)評価回路82に入力される。AE/AF評価回路82は、入力されたYデータを1フレーム毎に積分して、被写体像の輝度の程度を表す輝度評価値を算出する。AE/AF評価回路82はまた、図7に示すように画面(被写界)の中央に形成された矩形のフォーカスエリア84内において、当該Yデータの高周波成分を1フレーム毎に積分して、被写体に対するフォーカスレンズ52の合焦の程度を表すフォーカス評価値を算出する。
【0058】
ただし、画面の中央に形成されたフォーカスエリア84内には、上述した不連続80が含まれ、この不連続80部分においては、Yデータの高周波成分は大きい値を示す。したがって、AE/AF評価回路82は、かかる不連続80部分によるフォーカス評価値への影響を排除するために、図8に格子状の模様で示すように不連続80部分の近傍を除く部分86および86のYデータの高周波成分に基づいてフォーカス評価値を算出する。
【0059】
ここで、シャッタボタン88が半押しされると、CPU56は、AE/AF評価回路82から上述の輝度評価値を取り込む。そして、CPU56は、取り込んだ輝度評価値に基づいて最適露光期間を算出し、算出した最適露光期間をTG58に設定する。CPU56はまた、AE/AF評価回路82からフォーカス評価値を取り込み、この取り込んだフォーカス評価値が最大となるようにフォーカスドライバ90を制御し、フォーカスレンズ52を合焦位置に設定する。つまり、このディジタルカメラ50では、イメージセンサ10から高速読み出しモードで読み出された画像信号に基づいて、フォーカス調整が行われる。
【0060】
そして、シャッタボタン88が全押しされると、CPU56は、記録処理に入る。すなわち、CPU56は、TG58に対して高画質読み出しモードに従う1フレーム分の本露光および電荷読み出しを命令する。TG58は、この命令に対応するタイミング信号をイメージセンサ10に供給し、イメージセンサ10は、供給されたタイミング信号に従って本露光を行う。また、このタイミング信号の供給によって、イメージセンサ10の各垂直転送レジスタ14,14,・・・の各ゲート電極18,18,・・・には、上述した2相の垂直駆動パルスが供給され、水平転送レジスタ16の各ゲート電極20,20,・・・には、上述の図4に示す水平駆動パルスφ1〜φ8が供給される。
【0061】
本露光によってイメージセンサ10の各フォトダイオード12,12,・・・に蓄積された電荷は、上述したように各垂直転送レジスタ14,14,・・・を介して水平転送レジスタ16に入力される。そして、この水平転送レジスタ16に入力された全電荷は、当該水平転送レジスタ16の一方端から順次出力され、この順次出力される電荷に基づく画像信号は、出力回路22を経て出力端子24から出力される。つまり、シャッタボタン88が全押しされることによって、イメージセンサ10の出力端子24から、全電荷に基づく生画像信号が出力される。
【0062】
このイメージセンサ10の出力端子24から出力された生画像信号は、CDS/AGC回路60による処理を経て、A/D変換回路62に入力され、ここで高解像度生画像データに変換される。そして、変換後の生画像データは、信号処理回路64に入力され、ここで上述した一連の処理を施された後、メモリ制御回路72によって、SDRAM74内の画像データ記憶領域74aに記憶される。
【0063】
メモリ制御回路72は、CPU56による制御に従って、画像データ記憶領域74aに記憶された高解像度の画像データを読み出し、読み出した画像データを圧縮伸長回路92に入力する。圧縮伸長回路92には、CPU56から圧縮命令が与えられており、圧縮伸長回路92は、この圧縮命令に応答して、入力された画像データにJPEG(Joint Photographic Expert Group)方式に従う圧縮処理を施す。この圧縮処理によって生成されたJPEG圧縮画像ファイルは、メモリ制御回路72によって、一旦、SDRAM74内の圧縮画像ファイル記憶領域74bに記憶された後、メモリインタフェース回路94を介してメモリカード96に入力され、記録される。
【0064】
これによって、メモリカード96には、高画質読み出しモードに従う高解像度の画像信号に基づくJPEG圧縮画像ファイルが記録される。そして、このJPEG圧縮画像ファイルの記録、つまり記録処理が完了すると、CPU56は、改めて高速読み出しモードに従ってイメージセンサ10から画像信号を読み出すようTG58を制御する。したがって、高画質読み出しモードによって高速読み出しモードに比べて長い時間を掛けてイメージセンサ10から1画面分の画像信号が読み出されるのは記録処理が実行されるときのみであり、それ以外のときは、高速読み出しモードによってイメージセンサ10から高速で画像信号が読み出される。
【0065】
このようにして高速読み出しモードと高画質読み出しモードとを切り換えるために、CPU56は、自身のプログラムメモリ98に記憶された制御プログラムに従って、図9のフロー図で示される各処理を実行する。なお、CPU56によってこの図9のフロー図で示される処理が実行される直前までは、高速読み出しモードに従ってイメージセンサ10から生画像信号が読み出されている。
【0066】
シャッタボタン88が半押しされると、CPU56は、ステップS1に進み、AE/AF評価回路82から取り込んだフォーカス評価値に基づいてフォーカス調整を行う。この時点では、上述のように高速読み出しモードに従ってイメージセンサ10から画像信号が読み出されているので、比較的に短時間で当該フォーカス調整が完了する。
【0067】
ステップS3において、フォーカス調整が完了したと判断すると、CPU56は、ステップS5に進み、シャッタボタン88の半押し状態が解除されたか否かを判断する。ここで、シャッタボタン88の半押し状態が解除されると、CPU56は、ステップS7に進み、当該半押し状態の解除がシャッタボタン88の全押しによるものであるか否かを判断する。
【0068】
このステップS7において、シャッタボタン88が全押しされると、CPU56は、ステップS9に進む。そして、このステップS9において、CPU56は、高画質読み出しモードに従ってイメージセンサ10から画像信号が読み出されるようTG58を制御する。これによって、イメージセンサ10から、上述した不連続80のない高品質な生画像信号が出力される。
【0069】
そして、CPU56は、ステップS11に進み、記録処理を実行する。これによって、上述の高品質な画像信号に基づくJPEG画像ファイルがメモリカード96に記録される。
【0070】
CPU56は、このステップS11の記録処理の実行後、ステップS13に進み、再度、高速読み出しモードに従ってイメージセンサ10から画像信号が読み出されるようTG58を制御する。このステップS13の処理を終了することで、CPU56は、図9のフロー図で示される一連の処理を終了する。なお、上述のステップS7において、シャッタボタン88が全押しされない場合、つまりオペレータによるシャッタボタン88の操作自体が解除された(オペレータの指がシャッタボタン88から離された)場合は、CPU56は、ステップS9〜ステップS13をスキップして、即この図9のフロー図で示される一連の処理を終了する。
【0071】
以上の説明から判るように、この実施例のイメージセンサ10が適用されたディジタルカメラ50によれば、フォーカス調整時には2つの出力端子24および28を用いることによってイメージセンサ10から高速で画像信号が読み出されるので、当該フォーカス調整に掛かる時間が短縮される。そして、記録時には、1つの出力端子24から記録対象となる画像信号が読み出されるので、記録画像の高画質化を実現できる。
【0072】
なお、この実施例では、高画質読み出しモードにおいて、水平転送レジスタ16のゲート電極20,20,・・・に対し図4に示すような水平駆動パルスφ1〜φ8を供給することによって、全電荷に基づく画像信号を出力端子24から読み出すようにしたが、これに限らない。たとえば、図4とは逆の位相関係にある水平駆動パルスφ1〜φ8を供給することによって、反対の出力端子28から全電荷に基づく画像信号を読み出すようにしてもよい。
【0073】
また、被写界内に形成されるフォーカスエリア84は、図7(または図8)に示すようなものに限定されない。たとえば、フォーカスエリア84の形状を矩形以外としてもよいし、当該フォーカスエリア84を複数形成してもよい。ただし、不連続80の近傍部分86については、必ずフォーカス評価値を算出する際の演算対象から除外するようにする。
【0074】
そして、この実施例のイメージセンサ10は、ディジタルカメラ50以外のカメラに適用することもできる。
【0075】
さらに、この実施例では、イメージセンサ10の受光面を左右2つの領域に分割したが、これに限らない。たとえば、当該受光面を上下2つの領域に分割してもよい。
【0076】
また、このイメージセンサの受光面の分割数Nは、N=2に限らない。たとえば、各垂直転送レジスタ14,14,・・・を3相駆動型とするとともに、当該各垂直転送レジスタ14,14,・・・の他方端側(図1における上方側)にも水平転送レジスタ16,出力回路22および26,および出力端子24および28と同様のものを設ければ、当該分割数NをN=3またはN=4とすることができる。勿論、これ以外の数の分割数N(N>1)としてもよい。
【図面の簡単な説明】
【図1】この発明の一実施例の概略構成を示す図である。
【図2】図1のイメージセンサを高速読み出しモードで動作させるときの水平駆動パルスのタイミングを示す図である。
【図3】図1のイメージセンサを高速読み出しモードで動作させたときの電荷の移動状態を示す図解図である。
【図4】図1のイメージセンサを高画質読み出しモードで動作させるときの水平駆動パルスのタイミングを示す図である。
【図5】図1のイメージセンサを高画質読み出しモードで動作させたときの電荷の移動状態を示す図解図である。
【図6】図1のイメージセンサを搭載したディジタルカメラの概略構成を示すブロック図である。
【図7】図6における液晶モニタの画面の表示状態を示す図である。
【図8】図7の画面内に形成されたフォーカスエリアの詳細を示す図解図である。
【図9】図6におけるCPUの動作を示すフロー図である。
【図10】従来のイメージセンサの概略構成を示す図である。
【図11】従来のイメージセンサの水平転送レジスタに供給される水平駆動パルスのタイミングを示す図である。
【図12】従来のイメージセンサによって得られた画像信号に従う画面の表示状態を示す図である。
【符号の説明】
10…イメージセンサ
12…フォトダイオード
14…垂直転送レジスタ
16…水平転送レジスタ
20…ゲート電極
22,26…出力回路
24,28…出力端子
50…ディジタルカメラ
56…CPU
58…TG
Claims (4)
- フォーカスレンズ、
前記フォーカスレンズを通して入射された被写体の光学像に対応する電荷を生成する複数の受光素子と前記電荷を出力するN個(N>1)の出力端子とを有するイメージセンサ、
前記フォーカスレンズの位置を調整するとき前記電荷を前記N個の出力端子から読み出す第1読み出し手段、および
前記電荷に基づく画像信号を記録媒体に記録するとき前記電荷を前記N個の出力端子のいずれか1つから読み出す第2読み出し手段を備え、
前記複数の受光素子が形成された受光面はN個の領域に区分され、
前記第1読み出し手段は前記N個の領域で生成された電荷を前記N個の出力端子からそれぞれ読み出し、
前記第1読み出し手段によって読み出された電荷のうち前記N個の領域の境界線を除く部分で生成された電荷に基づいて前記フォーカスレンズの位置を調整する調整手段をさらに備える、ディジタルカメラ。 - 前記第1読み出し手段によって読み出された電荷に基づいて前記被写体のリアルタイム動画像を表示する表示手段をさらに備える、請求項1記載のディジタルカメラ。
- 前記イメージセンサは、前記複数の受光素子から読み出された電荷を垂直方向に転送する複数の垂直転送レジスタ、および前記複数の垂直転送レジスタの終端に設けられるかつ前記電荷を水平方向に転送する水平転送レジスタをさらに有し、2個の出力端子が前記水平転送レジスタの両端にそれぞれ割り当てられる、請求項1または2に記載のディジタルカメラ。
- 前記水平転送レジスタは3相駆動型である、請求項3記載のディジタルカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002222537A JP4175842B2 (ja) | 2002-07-31 | 2002-07-31 | ディジタルカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002222537A JP4175842B2 (ja) | 2002-07-31 | 2002-07-31 | ディジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004064596A JP2004064596A (ja) | 2004-02-26 |
JP4175842B2 true JP4175842B2 (ja) | 2008-11-05 |
Family
ID=31942531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002222537A Expired - Fee Related JP4175842B2 (ja) | 2002-07-31 | 2002-07-31 | ディジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4175842B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007110443A (ja) * | 2005-10-13 | 2007-04-26 | Fujifilm Corp | 撮像装置およびその処理方法 |
JP5718029B2 (ja) * | 2010-11-22 | 2015-05-13 | オリンパス株式会社 | 撮像装置 |
JP2014023114A (ja) * | 2012-07-23 | 2014-02-03 | Nikon Corp | 撮像装置およびプログラム |
-
2002
- 2002-07-31 JP JP2002222537A patent/JP4175842B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004064596A (ja) | 2004-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI422219B (zh) | 攝影裝置及攝影方法以及電腦可讀取的記錄媒體 | |
JP4738907B2 (ja) | 固体撮像素子および固体撮像装置 | |
JP6802642B2 (ja) | 撮像装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP2010130343A (ja) | 撮像装置及びその駆動制御方法 | |
CN116055909A (zh) | 成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质 | |
JP2007274599A (ja) | 撮像装置 | |
JP4616429B2 (ja) | 画像処理装置 | |
JP3893424B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
JP2006129418A (ja) | 電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置 | |
JP4175842B2 (ja) | ディジタルカメラ | |
JP4458864B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP4464006B2 (ja) | 撮像装置および露光方法 | |
US20100165179A1 (en) | Imaging apparatus and imaging method | |
JP4094123B2 (ja) | 撮像装置 | |
JP3143245B2 (ja) | 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法 | |
JP2008187614A (ja) | 撮影装置 | |
JP2009302946A (ja) | 固体撮像素子,固体撮像素子の駆動方法及び撮像装置 | |
JP4200485B2 (ja) | 撮像装置 | |
JP2000324378A (ja) | 電子的撮像装置 | |
CN113228609B (zh) | 成像元件、摄像装置、摄像方法及计算机可读存储介质 | |
JP4015964B2 (ja) | デジタルカメラ | |
JP2005303653A (ja) | 撮像装置 | |
JP2005006047A (ja) | 電子カメラの露出制御装置 | |
JP2003153093A (ja) | 固体撮像装置、電子スチルカメラ、固体撮像素子の駆動方法及び固体撮像素子を駆動する制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080723 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |