JP4357691B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4357691B2 JP4357691B2 JP2000101046A JP2000101046A JP4357691B2 JP 4357691 B2 JP4357691 B2 JP 4357691B2 JP 2000101046 A JP2000101046 A JP 2000101046A JP 2000101046 A JP2000101046 A JP 2000101046A JP 4357691 B2 JP4357691 B2 JP 4357691B2
- Authority
- JP
- Japan
- Prior art keywords
- memory
- read
- processing
- signal
- writing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 60
- 238000000034 method Methods 0.000 claims description 115
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 6
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Color Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Memory System (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、CCD固体撮像素子の出力信号からJPEG符号化信号を生成する撮像装置に関するものである。
【0002】
【従来の技術】
近年、デジタルスチルカメラの業界では、CCD固体撮像素子の高画素化に伴う高画素画像の高速JPEG符号化処理と、デジタルスチルカメラについても銀塩カメラと同様の連写機能の需要が高まってきている。また、連写機能を連写枚数を増やしかつ高速に処理を行おうとすると、システム中の連写枚数に比例したメモリ領域が必要になるということが、課題となりつつある。
【0003】
以下、従来の撮像装置の構成について説明する。図15は従来の撮像装置におけるCCD固体撮像素子の出力信号からJPEG符号化信号を生成するための処理のブロック図を示すものである。図15において、101はタイミングジェネレータ、102はCCD固体撮像素子、103は相関二重サンプリング回路、104はA/D変換回路、200はメモリコントローラ、300はDRAM等のメモリ、400はY/C信号生成部(以下「Y/C処理部」という)、500はJPEG圧縮/伸張処理部(以下「JPEG処理部」という)、501はJPEGブロック読出し制御部である。また、メモリコントローラ200は、メモリ書込み用コントローラ201とメモリ読出し用コントローラ202とで構成されている。
【0004】
以上のように構成された従来の撮像装置において、CCD固体撮像素子102の出力信号からJPEG符号化信号を生成する動作を説明する。
【0005】
まず、CCD固体撮像素子102中の垂直転送CCD・水平転送CCDは、タイミングジェネレータ101の垂直転送パルス・水平転送パルスにより連続的に駆動している。タイミングジェネレータ101から出力される水平転送パルスはCCD固体撮像素子102に直接入力されるが、垂直転送パルスはVドライバ105でHighレベル変換が行われてCCD固体撮像素子102に入力される。また、タイミングジェネレータ101は、銀塩カメラでいうシャッターのような外部入力信号である「取込み命令信号」を受付けると、所定のシャッタースピードに相当する露光期間終了後にフォトダイオード読出しパルス(以下「PD読出しパルス」という)7をVドライバ105へ出力する。したがって、タイミングジェネレータ101は、取込み命令信号を受付けるとVドライバ105に対しPD読出しパルス7と垂直転送パルスを出力する。Vドライバ105では、垂直転送パルスとPD読出しパルス7とを合成してCCD固体撮像素子102へ出力する。
【0006】
CCD固体撮像素子102の構成を図16に示す。CCD固体撮像素子102は、Vドライバ105からPD読出しパルス7(垂直転送パルスに重畳されている)を受付けると、各フォトダイオード2から画素電荷を垂直転送CCD1に移動し、Vドライバ105からの垂直転送パルス6により、順次、最終行下にある水平転送CCD3に送られる。その後、水平転送CCD3に送られた水平1行分の電荷は、タイミングジェネレータ101からの水平転送パルス5により、順次、電荷検出回路4に送られ、一画素分の電荷が電位信号に変換され出力される。水平転送CCD3により水平1行分の電荷がすべて電荷検出回路4に送られ電位信号に変換されると、水平転送CCD3に隣接する垂直転送CCD1にある電荷が水平転送CCD3に送られる。この動作を繰り返し、一画面を構成する画素の電荷信号を電位信号に変換し出力する。
【0007】
CCD固体撮像素子102から出力された画素電位信号は相関二重サンプリング回路103に入力されノイズリダクションされて出力され、A/D変換回路104により量子化された画素信号となって出力される。その後、メモリコントローラ200内のメモリ書込み用コントローラ201に出力される。
【0008】
図17のメモリ300内の矢印で示すように、メモリ書込み用コントローラ201に出力された画素信号は、メモリ書込み開始アドレスから順に書き込まれる。画素データがメモリ300に書き込まれる位置は、CCD固体撮像素子102の画素の位置関係と同様に、水平一行分の書込みが終了すると、垂直位置を変え、再び水平位置を開始位置に戻し、水平一行分を書き込むという書込み順序に従う。この書込み処理を、一画面分の全画像データがメモリ300に展開し尽くすまで行う。
【0009】
なお、JPEG符号化を行う最小単位ブロックは、図19(B)のように、輝度信号Yが16〔画素〕×16〔画素〕、色差信号Cr・CbがM’〔画素〕×N’〔画素〕のブロックである。その最小単位ブロックの信号は、メモリ300中のベイヤ配列画素信号または補色配列画素信号をY/C処理部400に入力し生成するが、それを生成するのに必要な図19(A)で示されるメモリ300上のYC処理読出しブロックのサイズ(M〔画素〕×N〔画素〕)はY/C処理方式で用いるブロック空間フィルタにより異なる。
【0010】
メモリ300中に一画面分の全画像データがメモリ書込み処理により書きこまれると、メモリコントローラ200中のメモリ読出し用コントローラ202により、図18のメモリ300内の四角形(ブロック)で示すように、YC処理読出しブロック単位で読み出され、Y/C処理部400に出力し輝度信号Yと色差信号Cr・Cbを生成し、その信号をJPEG処理部500へ出力し、JPEG処理部500内にJPEG処理ブロック単位の輝度信号Y(16〔画素〕×16〔画素〕)と色差信号Cr・Cb(形式により異なる)が蓄積されると、JPEG処理部500は符号化処理を開始し、符号化信号を出力する。
【0011】
ただし、JPEG処理部500の符号化処理に要する時間はJPEG処理ブロック単位の輝度信号と色差信号の内容によって異なる。そのため、JPEG処理部500の符号化処理の負荷に応じてメモリ読出し用コントローラ202に対して読出し処理を停止するようにJPEGブロック読出し制御部501が停止信号を発生する。メモリ読出し用コントローラ202はその停止信号を受付けるとメモリ300からの読出し処理の一時停止を行う。しかし、メモリ300からの読出し処理のYC処理読出しブロックは、読み出したブロックに対するY/C処理が終了するたびに水平移動し、水平方向に処理対象のブロックがなくなるとYC処理読出しブロックの垂直サイズ分垂直方向に移動し、水平方向は元のアドレスに戻る。このようにYC処理読出しブロックは、一画面の処理が終わるまで、そのY/C処理が終了すると直ちに移動し続ける。このようにして、JPEG処理もブロック単位で連続して行われる。
【0012】
【発明が解決しようとする課題】
上記従来の構成によれば、メモリ300中に一画面分の全画像データの書込みが完了した後に、読出し処理が開始されるため、CCD固体撮像素子102の出力信号からJPEG符号化信号を生成するまでの処理時間が長くかかるという問題があった。
【0013】
ここで、メモリ300に対する書込み処理と読出し処理とを並列に行うと仮定する。図13の(A)の最初の「一画面の処理」のタイミングで示すように並列に行うとすると、図20のように、書込み処理が完了していない領域に対して読出し処理を行ってしまうという可能性があった。
【0014】
さらに、メモリ300において、画像展開用の領域を一画面未満のサイズにし、かつ、メモリ300に対する書込み処理と読出し処理とを並列に行うと仮定すると、以下の(1),(2)の点から読出し処理が完了していない領域に書込み処理のデータが上書きされてしまう可能性があった。
【0015】
(1)CCD固体撮像素子102は、タイミングジェネレータ101からVドライバ105を介してPD読出しパルス7を受けると、CCD水平転送パルス5およびCCD垂直転送パルス6が常に駆動しているため、一画面分の有効画素データの出力を終えるまでは、その出力途中で停止することはできない。
【0016】
(2)JPEG処理部500は入力されたYC処理読出しブロック中のデータの情報量によって処理時間が異なる。
【0017】
この場合、例えば、図21のように、メモリ300の全領域が一画面分に相当するものであれば、それよりも狭い領域を画像展開用の領域とし、書込み処理は、画像展開用の領域内で、書込み開始点から順次書き込まれ、書込み終点の書込み処理を終了すると書込み開始点に戻り、一画面分のデータが順次書き込まれる。また、読出し処理は、図22のように、YC処理読出しブロック単位で読み出され、画像展開用の領域内における読出し最終ブロックの読出し処理が終了すると、読出し開始ブロックに戻り、一画面分のデータを順次ブロックごとに読み出す。この図20と図21に示す処理を、図13の(A)の最初の「一画面の処理」のタイミングで示すように並列に行うとすると、図23のように、書込み処理のデータが読出し処理を行っているYC処理読出しブロック上に上書きされてしまう可能性があった。したがって、従来の構成では、メモリ300の画像展開用の領域を一画面未満のサイズにし、かつ、読み書き並列処理を行うことはできなかった。
【0018】
本発明の目的は、CCD固体撮像素子の出力信号から符号化信号を生成するまでの処理時間を短縮し高速処理が可能となる撮像装置を提供することである。
【0019】
さらに本発明の他の目的は、メモリの記憶領域を小さくできる撮像装置を提供することである。
【0020】
【課題を解決するための手段】
請求項1記載の撮像装置は、垂直転送パルスおよび水平転送パルスを出力するタイミングジェネレータと、フォトダイオード(光電変換素子)の露光期間に蓄積された電荷を垂直転送パルスおよび水平転送パルスに基づいて出力するCCD固体撮像素子と、行および列方向に記憶領域を配しCCD固体撮像素子の出力データが書き込まれるメモリと、メモリから読み出されたデータを入力し、符号化処理用の輝度信号および色差信号を生成するY/C処理手段と、Y/C処理手段で生成された輝度信号および色差信号に対し符号化処理を行い、符号化信号を出力する符号化手段と、記号化手段の符号化処理の負荷に応じて読出し停止信号を出力する読出し停止信号発生手段と、CCD固体撮像素子の出力データを行方向に順次メモリへ書込み、メモリから所定の複数行にまたがりかつ所定の列幅のブロック単位でデータを読出しY/C処理手段へ出力するとともに、読出し停止信号発生手段からの読出し停止信号に応答してメモリからの読出しを停止するメモリコントローラとを備えた撮像装置であって、メモリコントローラは、メモリの書込みと読出しの並列処理を行い、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止し、書込みが完了すると読出しを開始し、メモリへの書込みを行う際に記憶領域の最終行の次は開始行に戻って書込みを行い、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させ、読出しが完了すると垂直転送パルスの停止を解除させることを特徴とする。
【0021】
この構成によれば、メモリの書込みと読出しの並列処理を行うことにより、CCD固体撮像素子の出力データから符号化信号を生成するまでの処理時間を短縮できる。また、その場合に、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止することにより、メモリの書込み処理が完了していない領域に対して読出し処理を行うことを防止できる。
【0023】
また、CCD固体撮像素子の出力データを記憶するメモリの記憶領域を小さくすることができる。また、その場合に、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させることにより、実質的にCCD固体撮像素子の出力を停止し、メモリの読出し処理が完了していない領域への上書きを防止することができる。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。図1は本発明の実施の形態の撮像装置におけるCCD固体撮像素子の出力信号からJPEG符号化信号を生成するまでの構成を示すブロック図を示すものである。図1において、601は垂直転送パルス停止機能を内蔵したタイミングジェネレータ、602は被写体に対応したデータを画素の電位信号として出力するCCD固体撮像素子、603は二重相関サンプリング回路、604はA/D変換回路、700はメモリコントローラ、800はDRAM等のメモリ、900はY/C処理手段であるY/C信号生成部(以下「Y/C処理部」という)、1000は符号化手段であるJPEG圧縮/伸張処理部(以下「JPEG処理部」という)、1001は読出し停止信号発生手段であるJPEGブロック読出し制御部である。
【0025】
本実施の形態では、メモリコントローラ700に、メモリ書込み用コントローラ701およびメモリ読出し用コントローラ702に加え、停止制御コントローラ703を設けている。
【0026】
停止制御コントローラ703は、JPEGブロック読出し制御部1001からJPEG処理部1000の符号化処理の負荷に応じて出力される停止信号を入力し、その停止信号に応答してメモリ読出し用コントローラ702に読出し処理を停止させる。
【0027】
また、停止制御コントローラ703は、メモリ書込み用コントローラ701が書込み処理を行う実行アドレスと、メモリ読出し用コントローラ702が読出し処理を行うYC処理読出しブロック(M〔画素〕×N〔画素〕)の実行領域とを管理し、メモリ書込み用コントローラ701に書込み処理を行う実行アドレスと、メモリ読出し用コントローラ702に読出し処理を行う実行領域とを指示する。そして、JPEGブロック読出し制御部1001からの停止信号の有無にかかわらず、読み出す対象となるYC処理読出しブロックを含む読出しブロック最小行領域分のメモリ書込み処理が完了するまでは、メモリ読出し用コントローラ702に対して停止信号を発し、メモリ読出し処理を停止する。ここで、図2に示すような、メモリ800内において、縦がM画素で、横がCCD固体撮像素子602の生成する画像の水平有効画素サイズlの領域を、読出しブロック最小行領域と呼ぶことにする。▲1▼,▲2▼・・・はYC処理読出しブロックを示す。
【0028】
さらに、停止制御コントローラ703は、メモリ800に書込み処理が行われている場合に、次に書込み処理の対象となる行を含む書込み済のYC処理読出しブロックの読出し処理が完了していないとき、その読出し処理が完了するまでタイミングジェネレータ601へ垂直転送パルスを停止させる信号を発する。
【0029】
そして、タイミングジェネレータ601は、停止制御コントローラ703からの垂直転送パルス停止信号を入力する端子を設けてあり、停止制御コントローラ703からの信号に応答して垂直転送パルスを一時停止することができ、これにより、CCD固体撮像素子602の電荷の垂直転送を停止でき、水平転送CCDへの転送を一時停止する。一時停止直前の水平一行分の電位信号の出力が終了すると、垂直転送パルスは停止しているが、水平転送パルスは駆動し続けているためCCD固体撮像素子602の信号出力端子からは信号(無効なデータ)が出力され続ける。しかし、一時停止直前の水平一行分の電位信号の出力が終了すると無効なデータを出力し続けるため、実質的には一画面を構成する有効画素の電位信号の出力を1行単位で一時停止していることになる。このような機能により、一画面を構成する画素の電位信号の出力を、一画面の出力の途中の行単位で停止させることができることになる。
【0030】
この本実施の形態の撮像装置において、CCD固体撮像素子602の出力信号からJPEG符号化信号を生成するまでの動作を説明する。
【0031】
はじめに、第1の例として、CCD固体撮像素子602から出力されたデータを書込むために用いるメモリ800中の領域のサイズは、一画面分の有効画像サイズ(垂直方向はCCD固体撮像素子602の有効垂直画素数、水平方向はCCD固体撮像素子602の有効水平画素数)を記憶できるものとし、読み書き並列処理にて符号化処理を行う場合についての動作を説明する。この第1の例の場合、停止制御コントローラ703によるタイミングジェネレータ601の垂直転送パルスを一時停止させる制御および構成は不要であり、無いものとする。
【0032】
従来例同様、タイミングジェネレータ601から出力される水平転送パルスはCCD固体撮像素子602に直接入力されるが、垂直転送パルスはVドライバ605を介してCCD固体撮像素子602に入力される。また、タイミングジェネレータ601は外部入力信号である「取込み命令信号」を受付けると、Vドライバ605に対し垂直転送パルスとPD読出しパルスを出力し、Vドライバ605は垂直転送パルスとPD読出しパルスとを合成してCCD固体撮像素子602へ出力する。
【0033】
CCD固体撮像素子602は、Vドライバ605からのPD読出しパルス(垂直転送パルスに重畳されている)を受付けると、各フォトダイオードから画素電荷を垂直転送CCDに移動し、CCD固体撮像素子602中の垂直転送CCD・水平転送CCDは、垂直転送パルス・水平転送パルスにより従来例と同様に駆動して、一画面を構成する画素の電荷信号を電位信号に変換し出力する。
【0034】
CCD固体撮像素子602から出力された画素電位信号は、相関二重サンプリング回路603に入力されノイズリダクションされ、A/D変換回路604により量子化された画素信号となって出力される。その後、メモリコントローラ700内のメモリ書込み用コントローラ701に出力される。
【0035】
メモリ書込み用コントローラ701に出力された画素信号は、図3に示すように、停止制御コントローラ703から指定されたメモリ800のアドレスに順次書き込まれる。この図3のような最初のメモリ書込み処理の時点においては、最初の読出しブロック最小行領域分のメモリ書込み処理が完了するまでは、停止制御コントローラ703がメモリ読出し用コントローラ702に対して停止信号を発し、メモリ読出し処理を停止している。
【0036】
JPEG処理のためのメモリ読出し処理は、最小単位ブロックの信号生成に必要なメモリ800上のYC処理読出しブロック(M〔画素〕×N〔画素〕)を読出し、そのブロック単位で水平方向に読出し位置を変え、水平方向の処理が済むと、垂直位置を変え、再び水平方向に処理を進める。これを繰り返し符号化信号を生成する。
【0037】
そして、図4に示すように、メモリ800内の最初の読出しブロック最小行領域がメモリ書込み処理により画素データで埋まると、メモリコントローラ700中のメモリ読出し用コントローラ702により、YC処理読出しブロック単位で読み出され、Y/C処理部900に出力し輝度信号と色差信号を生成し、その信号をJPEG処理部1000へ出力し、JPEG処理部1000内に図19のようなJPEG処理ブロック単位の輝度信号Y(16〔画素〕×16〔画素〕)と色差信号Cr・Cb(M’〔画素〕×N’〔画素〕)が蓄積されると、JPEG処理部1000は符号化処理を開始し、符号化信号を出力する。
【0038】
ただし、JPEG処理部1000の符号化処理に要する時間は、JPEG処理ブロック単位の輝度信号と色差信号の内容によって異なる。そのため、JPEG処理部1000の符号化処理の負荷に応じて、JPEGブロック読出し制御部1001は、停止制御コントローラ703を介してメモリ読出し用コントローラ702に対し読出し処理を停止するよう停止信号を発生する。メモリ読出し用コントローラ702はその停止信号を受付けると、メモリ800からの読出し処理の一時停止を行う。
【0039】
なお、JPEGブロック読出し制御部1001は、図14に示すように、JPEG処理部1000の入力データ格納部に未処理のデータが残っているかどうかの状態を監視している。JPEG符号化処理の負荷が重い状態、つまり処理に対応する絵柄の情報量が多い(絵柄のYCに細かい変化が多い)場合、出力符号量が増大し、符号化処理により多くの時間が必要となる。したがって、所定の期間内に処理が終了しなければ、入力データ格納部に未処理のデータが残るという状態になり、この場合、JPEGブロック読出し制御部1001は停止信号を発生する。
【0040】
図4のように、読出し処理と書込み処理が並列に行われると、図5に示すように、読出し処理により読出しブロック最小行領域内の最後のYC処理読出しブロックを読出し、Y/C処理が終了した時点で、次の読出しブロック最小行領域分のメモリ書込み処理が完了していない場合に、書込み処理が完了していないYC処理読出しブロックを読出しそうになる。しかし、本実施の形態では、メモリ書込み処理が次の読出しブロック最小行領域の書込み処理を行っている途中の場合は、停止制御コントローラ703がメモリ読出し用コントローラ702に対して停止信号を発し、読出し処理が次の読出しブロック最小行領域に移行するのを停止する。そして、図6に示すように、次の読出しブロック最小行領域の書込み処理が終了すると、読出し処理の処理対象を次の読出しブロック最小行領域に移行し処理を続ける。以降同様にして1画面分の処理を行う。
【0041】
したがって、上記の第1の例によれば、メモリ800への書込み処理と読出し処理を並列に行うことにより処理時間を短縮し高速処理が可能となる。また、図20の場合のように、書込み処理が完了していない領域に対して読出し処理を行ってしまうこともない。特に、連写時には処理時間が短縮される効果が大きくなり、従来の処理に比べ高速な処理を実現できる。
【0042】
次に、第2の例として、CCD固体撮像素子602から出力されたデータを書込むために用いるメモリ800中の領域のサイズ(画像展開用の領域)は、図7のように、読出しブロック最小行領域2個分(垂直方向はYC処理読出しブロックサイズの垂直サイズの2倍、水平方向はCCD固体撮像素子602の有効水平画素数)とし、かつ、読み書き並列処理にて符号化処理を行う場合についての動作について説明する。ここで、CCD固体撮像素子602の垂直方向の有効画素数はYC処理読出しブロックサイズの垂直サイズよりはるかに大きいものとする。また、以下では、連写の場合について説明するが、一画面目(一枚目)の処理については一枚だけあるいは一枚ずつある時間をあけて撮影する場合も同様である。
【0043】
画素データがメモリ800に書き込まれる位置は、図21の場合と同様、CCD固体撮像素子602の画素の位置関係と同様に、水平一行分の書込みが終了すると、垂直位置を変え、再び水平一行分の書き込むという書込み順序に従う。そして、メモリ800中の画像処理に用いる領域に対して、メモリ書込み処理を完了すると、書込みを開始したアドレスにもどり、書込みを継続する。
【0044】
読出し処理についても、図22の場合と同様、読み出したブロックに対するY/C処理が終了するたびに(図14のY/C処理部900内の処理データ格納部にデータが無くなったとき)水平に移動し、水平方向に処理対象のブロックがなくなるとYC処理読出しブロックの垂直サイズ分垂直方向に移動し、水平方向は元のアドレスに戻る。読出しブロック最小行領域2個分に対し処理を終えると、再び読出し処理を開始した位置に戻り、読出し処理を再開する。
【0045】
CCD固体撮像素子602から出力され量子化された信号のメモリ800への書き込む順序は上記の通り、図7のように、水平一行単位での書込みを行い、一画面目の処理の最初の時点においては、最初の読出しブロック最小行領域分の書込み処理が完了するまでは、停止制御コントローラ703がメモリ読出し用コントローラ702に対して停止信号を発し、読出し処理を停止している。
【0046】
最初の読出しブロック最小行領域分の書込み処理が完了すると、図8のように、停止制御コントローラ703からメモリ読出し用コントローラ702への停止信号が解除され、メモリ800からの読出し処理が前述の要領で開始され、ここで、読出し処理と書込み処理が並列に行われる。
【0047】
この並列処理を続けて行うと、図9のように、読出し処理により読出しブロック最小行領域内の最後のYC処理読出しブロックを読出し、Y/C処理が終了した時点で、次の読出しブロック最小行領域分のメモリ書込み処理が完了していない場合に、書込み処理が完了していないYC処理読出しブロックを読出しそうになる。しかし、第1の例と同様に、メモリ書込み処理が次の読出しブロック最小行領域の書込み処理を行っている途中の場合は、停止制御コントローラ703がメモリ読出し用コントローラ702に対して停止信号を発し、読出し処理が次の読出しブロック最小行領域に移行するのを停止する。そして、図10に示すように、次の読出しブロック最小行領域の書込み処理が終了すると、読出し処理の処理対象を次の読出しブロック最小行領域に移行し処理を続ける。以降同様にして1画面分の処理を行う。
【0048】
ここで、この第2の例のように、メモリ800中の画像展開用の領域が1画面分のデータ展開に必要な領域より小さい場合には、JPEG処理は入力されるブロックデータの情報量によって処理の負荷(時間)が違うため、データによっては、書込み処理のデータが読出し処理を行っているYC処理読出しブロック上に上書きされそうになる場合がある。このような場合、例えば図11のように、書込み処理が次の読出しブロック最小行領域に達する手前の行の書込み処理を行っている時点で、停止制御コントローラ703がタイミングジェネレータ601に対して垂直転送パルス停止信号を発し、CCD固体撮像素子602の垂直CCD転送を停止し、書込み処理のデータで読出し処理を行っている読出しブロック最小行領域のデータを書き潰さないよう制御を行う(上書き防止機能)。
【0049】
書込み処理は、読出し処理を行っている読出しブロック最小行領域の処理が完了し次の行ブロックに処理が移行するまで停止し、処理が移行すると、停止制御コントローラ703の垂直転送パルス停止信号が解除され、処理が再開される。停止制御コントローラ703は、タイミングジェネレータ601に対し垂直転送パルス停止信号を発している間、メモリ書込み用コントローラ701に対して書込み停止信号を発し、書込みを禁止している。例えば、図12に示すタイミングで、垂直転送を停止した水平有効期間にCCD固体撮像素子602から出力される1H分全てのデータの書き込みを禁止する。
【0050】
以上のように、1画面分のすべての画像データの展開領域をメモリ800に必要とすることなく、読出しブロック最小行領域が最低2つあれば1画面分のY/C処理ないしJPEG処理を実現することができるため、メモリ消費領域を飛躍的に少なくすることができる。
【0051】
また、以上の処理は連写の場合も、一枚だけ撮影する場合も同様である。連写の場合は、一画面を書込み終えると、停止制御コントローラ703はメモリ書込み用コントローラ701に書込み停止信号を発し、書込み処理と読出し処理ともに終えた読出しブロック最小行領域ができるまではCCD出力信号を受付けず、書込み処理と読出し処理ともに終えた読出しブロック最小行領域ができ、次画面のデータの出力信号が出力されるまで一時停止する。そして、CCD固体撮像素子602から次の画面のデータの出力を開始すると、書込み処理と読出しともに終えた読出しブロック最小行領域に対して直ちに書込みを再開する。すなわち、前画面の符号化処理の完了するのを待たずに次の画面の書込み処理を行うことになる。連写の場合の書込み処理と読出し処理のタイミングは、図13の(B)に示すようになる。
【0052】
これに対し、第1の例において連写をした場合には、図13の(A)のタイミングで示され、処理中の画面の読出し処理が終了した後で、次の画面の書込み処理が行われる。これは、第1の例の場合、第2の例における上書き防止機能がないためであり、メモリ800に画像展開用の領域を1画面分必要とする。
【0053】
第2の例によれば、第1の例に比べ、画像展開用の領域に使用するメモリ800の記憶領域が大幅に少なくてすみ、かつ、連写の場合、より高速に行うことができる。
【0054】
【発明の効果】
以上のように本発明によれば、メモリコントローラにより、メモリの書込みと読出しの並列処理を行うことにより、CCD固体撮像素子の出力データから符号化信号を生成するまでの処理時間を短縮し、高速処理が可能となる。また、その場合に、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止することにより、メモリの書込み処理が完了していない領域に対して読出し処理を行うことを防止できる。
【0055】
さらに、メモリの記憶領域をCCD固体撮像素子の1画面未満の出力データに対応する領域として小さくすることができる。その場合に、メモリコントローラにより、メモリへの書込みを行う際に記憶領域の最終行の次は開始行に戻って書込みを行い、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させることにより、実質的にCCD固体撮像素子の出力を停止し、メモリの読出し処理が完了していない領域への上書きを防止することができる。
【0056】
特に、連写時にはCCD固体撮像素子のデータのメモリの書込み処理と読出し処理とが並列に行えるようになることで従来の処理に比べ高速な処理を実現し、また、飛躍的に少ないメモリ領域での高画素画像の符号化処理を実現することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の撮像装置の要部構成を示すブロック図。
【図2】本発明の実施の形態における読出しブロック最小行領域を示す図。
【図3】本発明の実施の形態における第1の例の動作を示す図。
【図4】本発明の実施の形態における第1の例の動作を示す図。
【図5】本発明の実施の形態における第1の例の動作を示す図。
【図6】本発明の実施の形態における第1の例の動作を示す図。
【図7】本発明の実施の形態における第2の例の動作を示す図。
【図8】本発明の実施の形態における第2の例の動作を示す図。
【図9】本発明の実施の形態における第2の例の動作を示す図。
【図10】本発明の実施の形態における第2の例の動作を示す図。
【図11】本発明の実施の形態における第2の例の動作を示す図。
【図12】本発明の実施の形態における第2の例の動作を示すタイミングチャート。
【図13】本発明の実施の形態における第1の例と第2の例の連写時の動作のタイミング図。
【図14】本発明の実施の形態の撮像装置の一部の内部構成を示すブロック図。
【図15】従来の撮像装置の要部構成を示すブロック図。
【図16】CCD固体撮像素子の構成を示す図。
【図17】従来の撮像装置の動作を示すブロック図。
【図18】従来の撮像装置の動作を示すブロック図。
【図19】読出し処理の最小単位ブロックとJPEG符号化を行う最小単位ブロックとを示す図。
【図20】従来の問題点を説明するための図。
【図21】従来の問題点を説明するための図。
【図22】従来の問題点を説明するための図。
【図23】従来の問題点を説明するための図。
【符号の説明】
601 タイミングジェネレータ
602 CCD固体撮像素子
700 メモリコントローラ
800 メモリ
900 Y/C信号生成部(Y/C処理部)
1000 JPEG圧縮/伸張処理部(JPEG処理部)
1001 JPEGブロック読出し制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus that generates a JPEG encoded signal from an output signal of a CCD solid-state imaging device.
[0002]
[Prior art]
In recent years, in the digital still camera industry, the demand for high-speed JPEG encoding processing of high-pixel images accompanying the increase in the number of pixels of a CCD solid-state imaging device and the continuous shooting function similar to that of a silver salt camera are increasing for digital still cameras. Yes. Further, if the continuous shooting function increases the number of continuous shots and performs processing at high speed, it is becoming a problem that a memory area proportional to the number of continuous shots in the system is required.
[0003]
Hereinafter, the configuration of a conventional imaging device will be described. FIG. 15 is a block diagram showing a process for generating a JPEG encoded signal from an output signal of a CCD solid-state imaging device in a conventional imaging apparatus. In FIG. 15, 101 is a timing generator, 102 is a CCD solid-state imaging device, 103 is a correlated double sampling circuit, 104 is an A / D conversion circuit, 200 is a memory controller, 300 is a memory such as a DRAM, 400 is a Y / C signal A generation unit (hereinafter referred to as “Y / C processing unit”), 500 is a JPEG compression / decompression processing unit (hereinafter referred to as “JPEG processing unit”), and 501 is a JPEG block read control unit. The
[0004]
The operation of generating a JPEG encoded signal from the output signal of the CCD solid-
[0005]
First, the vertical transfer CCD and horizontal transfer CCD in the CCD solid-
[0006]
The configuration of the CCD solid-
[0007]
The pixel potential signal output from the CCD solid-
[0008]
As indicated by arrows in the
[0009]
As shown in FIG. 19B, the minimum unit block for JPEG encoding has a luminance signal Y of 16 [pixels] × 16 [pixels] and a color difference signal Cr · Cb of M ′ [pixels] × N ′ [ Pixel] block. The signal of the minimum unit block is generated by inputting the Bayer array pixel signal or the complementary color array pixel signal in the
[0010]
When all image data for one screen is written in the
[0011]
However, the time required for the encoding process of the
[0012]
[Problems to be solved by the invention]
According to the above-described conventional configuration, since the reading process is started after the writing of all image data for one screen in the
[0013]
Here, it is assumed that the writing process and the reading process for the
[0014]
Further, assuming that the area for image development in the
[0015]
(1) When the CCD solid-
[0016]
(2) The
[0017]
In this case, for example, as shown in FIG. 21, if the entire area of the
[0018]
An object of the present invention is to provide an imaging apparatus capable of shortening the processing time required to generate an encoded signal from an output signal of a CCD solid-state imaging device and enabling high-speed processing.
[0019]
Still another object of the present invention is to provide an imaging apparatus that can reduce the storage area of a memory.
[0020]
[Means for Solving the Problems]
The imaging device according to
[0021]
According to this configuration, by performing parallel processing of memory writing and reading, it is possible to shorten the processing time until the encoded signal is generated from the output data of the CCD solid-state imaging device. In that case, if the writing of the row included in the block unit data to be read from the memory is not completed, the reading is stopped, so that the memory writing process is not completed. It is possible to prevent the reading process from being performed.
[0023]
Also,The storage area of the memory for storing the output data of the CCD solid-state imaging device can be reduced. In this case, when the reading of the written block unit data including the row to be written next in the memory is not completed, the vertical transfer pulse of the timing generator is stopped, thereby substantially reducing the CCD. It is possible to stop the output of the solid-state imaging device and prevent overwriting to an area where the memory reading process is not completed.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration from generation of a JPEG encoded signal from an output signal of a CCD solid-state imaging device in an imaging apparatus according to an embodiment of the present invention. In FIG. 1, 601 is a timing generator with a built-in vertical transfer pulse stop function, 602 is a CCD solid-state imaging device that outputs data corresponding to a subject as a pixel potential signal, 603 is a double correlation sampling circuit, and 604 is an A / D. Conversion circuit, 700 is a memory controller, 800 is a memory such as a DRAM, 900 is a Y / C signal generation unit (hereinafter referred to as “Y / C processing unit”) that is a Y / C processing unit, and 1000 is a JPEG that is an encoding unit A compression / expansion processing unit (hereinafter referred to as “JPEG processing unit”) 1001 is a JPEG block read control unit which is a read stop signal generating unit.
[0025]
In this embodiment, the
[0026]
The
[0027]
The
[0028]
Further, when the write process is being performed on the
[0029]
The
[0030]
In the imaging apparatus according to the present embodiment, an operation from generation of a JPEG encoded signal from an output signal of the CCD solid-
[0031]
First, as a first example, the size of the area in the
[0032]
As in the conventional example, the horizontal transfer pulse output from the
[0033]
When the CCD solid-
[0034]
The pixel potential signal output from the CCD solid-
[0035]
As shown in FIG. 3, the pixel signals output to the
[0036]
Memory reading processing for JPEG processing reads a YC processing reading block (M [pixel] × N [pixel]) on the
[0037]
Then, as shown in FIG. 4, when the first read block minimum row area in the
[0038]
However, the time required for the encoding process of the
[0039]
Note that the JPEG block read
[0040]
When the read process and the write process are performed in parallel as shown in FIG. 4, the last YC process read block in the read block minimum row area is read by the read process as shown in FIG. 5, and the Y / C process ends. At this point, if the memory write processing for the next read block minimum row area has not been completed, it is likely to read the YC process read block for which the write processing has not been completed. However, in the present embodiment, when the memory write process is in the middle of the next read block minimum row area write process, the
[0041]
Therefore, according to the first example described above, the processing time can be shortened and high-speed processing can be performed by performing the writing process to the
[0042]
Next, as a second example, the size of an area in the
[0043]
As in the case of FIG. 21, the position at which the pixel data is written in the
[0044]
Similarly to the case of FIG. 22, the read process is also performed horizontally each time the Y / C process for the read block is completed (when there is no data in the process data storage unit in the Y /
[0045]
As described above, the order in which the quantized signal output from the CCD solid-
[0046]
When the write processing for the first read block minimum row area is completed, the stop signal from the
[0047]
If this parallel processing is continued, as shown in FIG. 9, the last YC processing read block in the read block minimum row area is read by read processing, and when the Y / C processing is completed, the next read block minimum row is read. When the memory writing process for the area has not been completed, the YC process reading block in which the writing process has not been completed will be read. However, as in the first example, when the memory write process is in the process of writing the next read block minimum row area, the
[0048]
When the image development area in the
[0049]
The write process is stopped until the process of the minimum row area of the read block that is performing the read process is completed and the process moves to the next row block. When the process is shifted, the vertical transfer pulse stop signal of the
[0050]
As described above, Y / C processing or JPEG processing for one screen can be realized if there is at least two minimum read block row areas without requiring the
[0051]
The above processing is the same for both continuous shooting and single shooting. In the case of continuous shooting, when the writing of one screen is completed, the
[0052]
On the other hand, when continuous shooting is performed in the first example, it is shown at the timing of FIG. 13A, and after the reading process of the screen being processed is completed, the writing process of the next screen is performed. Is called. This is because, in the case of the first example, there is no overwriting prevention function in the second example, and an area for image development is required in the
[0053]
According to the second example, as compared with the first example, the storage area of the
[0054]
【The invention's effect】
As described above, according to the present invention, the parallel processing of memory writing and reading is performed by the memory controller, thereby shortening the processing time until the encoded signal is generated from the output data of the CCD solid-state imaging device, and high speed. Processing is possible. In that case, if the writing of the row included in the block unit data to be read from the memory is not completed, the reading is stopped, so that the memory writing process is not completed. It is possible to prevent the reading process from being performed.
[0055]
Furthermore, the storage area of the memory can be reduced as an area corresponding to output data of less than one screen of the CCD solid-state imaging device. In that case, when writing to the memory by the memory controller, after the last row of the storage area, writing is performed after returning to the start row, and then including the row to be written to the memory. When the data reading is not completed, the vertical transfer pulse of the timing generator is stopped to substantially stop the output of the CCD solid-state imaging device and overwrite the area where the memory reading process has not been completed. Can be prevented.
[0056]
In particular, during continuous shooting, the writing process and reading process of the data of the CCD solid-state imaging device data can be performed in parallel, thereby realizing a higher-speed process than the conventional process, and with a significantly smaller memory area. The high pixel image encoding process can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a main configuration of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a read block minimum row area according to the embodiment of the present invention.
FIG. 3 is a diagram showing an operation of a first example in the embodiment of the present invention.
FIG. 4 is a diagram showing an operation of the first example in the embodiment of the present invention.
FIG. 5 is a diagram showing an operation of the first example in the embodiment of the present invention.
FIG. 6 is a diagram showing an operation of the first example in the embodiment of the present invention.
FIG. 7 is a diagram showing an operation of a second example in the embodiment of the present invention.
FIG. 8 is a diagram showing an operation of a second example in the embodiment of the present invention.
FIG. 9 is a diagram showing the operation of the second example in the embodiment of the present invention.
FIG. 10 is a diagram showing an operation of the second example in the embodiment of the present invention.
FIG. 11 is a diagram showing the operation of the second example in the embodiment of the present invention.
FIG. 12 is a timing chart showing the operation of the second example in the embodiment of the present invention.
FIG. 13 is a timing chart of operations during continuous shooting in the first example and the second example in the embodiment of the present invention.
FIG. 14 is a block diagram showing an internal configuration of a part of the imaging apparatus according to the embodiment of the present invention.
FIG. 15 is a block diagram illustrating a main configuration of a conventional imaging apparatus.
FIG. 16 is a diagram showing a configuration of a CCD solid-state imaging device.
FIG. 17 is a block diagram showing the operation of a conventional imaging apparatus.
FIG. 18 is a block diagram showing the operation of a conventional imaging apparatus.
FIG. 19 is a diagram showing a minimum unit block for read processing and a minimum unit block for JPEG encoding.
FIG. 20 is a diagram for explaining a conventional problem.
FIG. 21 is a diagram for explaining a conventional problem.
FIG. 22 is a diagram for explaining a conventional problem.
FIG. 23 is a diagram for explaining a conventional problem.
[Explanation of symbols]
601 Timing generator
602 CCD solid-state imaging device
700 Memory controller
800 memory
900 Y / C signal generator (Y / C processor)
1000 JPEG compression / decompression processing unit (JPEG processing unit)
1001 JPEG block read control unit
Claims (1)
露光期間中に光電変換素子に蓄積された信号電荷を前記垂直転送パルスおよび水平転送パルスに基づいて出力するCCD固体撮像素子と、
行および列方向に記憶領域を配し前記CCD固体撮像素子の出力データが書き込まれるメモリと、
前記メモリから読み出されたデータを入力し、符号化処理用の輝度信号および色差信号を生成するY/C処理手段と、
前記Y/C処理手段で生成された輝度信号および色差信号に対し符号化処理を行い、符号化信号を出力する符号化手段と、
前記符号化手段の符号化処理の負荷に応じて読出し停止信号を出力する読出し停止信号発生手段と、
前記CCD固体撮像素子の出力データを行方向に順次前記メモリへ書込み、前記メモリから所定の複数行にまたがりかつ所定の列幅のブロック単位でデータを読出し前記Y/C処理手段へ出力するとともに、前記読出し停止信号発生手段からの読出し停止信号に応答して前記メモリからの読出しを停止するメモリコントローラとを備えた撮像装置であって、
前記メモリコントローラは、前記メモリの書込みと読出しの並列処理を行い、前記メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止し、前記書込みが完了すると読出しを開始し、前記メモリへの書込みを行う際に前記記憶領域の最終行の次は開始行に戻って書込みを行い、次に前記メモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させ、前記読出しが完了すると前記垂直転送パルスの停止を解除させることを特徴とする撮像装置。A timing generator that outputs vertical and horizontal transfer pulses;
A CCD solid-state imaging device that outputs signal charges accumulated in a photoelectric conversion element during an exposure period based on the vertical transfer pulse and the horizontal transfer pulse;
A memory in which storage areas are arranged in a row and column direction and output data of the CCD solid-state imaging device is written;
Y / C processing means for inputting data read from the memory and generating a luminance signal and a color difference signal for encoding processing;
Encoding means for performing an encoding process on the luminance signal and the color difference signal generated by the Y / C processing means and outputting an encoded signal;
A read stop signal generating means for outputting a read stop signal in accordance with the load of the encoding process of the encoding means;
The output data of the CCD solid-state imaging device is sequentially written to the memory in the row direction, the data is read out from the memory in units of blocks having a predetermined column width across a plurality of predetermined rows, and is output to the Y / C processing means. An imaging device comprising: a memory controller that stops reading from the memory in response to a read stop signal from the read stop signal generating means;
The memory controller performs parallel processing of writing to and reading from the memory. When writing of a row included in block unit data to be read from the memory is not completed, reading is stopped, and the writing is stopped. When reading is completed, when writing to the memory, writing is performed after returning to the starting row after the last row of the storage area, and then including the row to be written to the memory. An image pickup apparatus , wherein when the reading of data in block units is not completed, the vertical transfer pulse of the timing generator is stopped, and when the reading is completed, the stop of the vertical transfer pulse is released .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000101046A JP4357691B2 (en) | 2000-04-03 | 2000-04-03 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000101046A JP4357691B2 (en) | 2000-04-03 | 2000-04-03 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001285776A JP2001285776A (en) | 2001-10-12 |
JP4357691B2 true JP4357691B2 (en) | 2009-11-04 |
Family
ID=18615166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000101046A Expired - Fee Related JP4357691B2 (en) | 2000-04-03 | 2000-04-03 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4357691B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4598374B2 (en) * | 2003-06-12 | 2010-12-15 | パナソニック株式会社 | Image processing device |
JP2015177221A (en) * | 2014-03-13 | 2015-10-05 | オリンパス株式会社 | Imaging apparatus, imaging method, data recording device, and program |
-
2000
- 2000-04-03 JP JP2000101046A patent/JP4357691B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001285776A (en) | 2001-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8605177B2 (en) | Image sensor with wide dynamic range | |
JP2002111989A (en) | Image processing circuit | |
JP2015144435A (en) | Techniques to facilitate use of small line buffers for processing of small or large images | |
US20060044420A1 (en) | Image pickup apparatus | |
JP2015053644A (en) | Imaging device | |
US7038719B2 (en) | Image sensing apparatus, image processing method, recording medium, and program | |
JP4598374B2 (en) | Image processing device | |
JP4357691B2 (en) | Imaging device | |
KR20100061311A (en) | Photographing apparatus and controlling method thereof | |
JP2004180317A (en) | Method for capturing video image and still picture | |
JP2000023024A (en) | Image input device | |
JPH0564091A (en) | Video camera | |
JP7319873B2 (en) | Imaging device and its control method | |
JP2002010143A (en) | Image pickup device | |
JPH1175106A (en) | Still image camera | |
JP6280713B2 (en) | Imaging device | |
JP4310177B2 (en) | Imaging apparatus and imaging method | |
JP5030721B2 (en) | Data processing circuit | |
JP4229234B2 (en) | Digital camera | |
KR20090071321A (en) | Imaging apparatus, imaging method and storing medium having computer program to perform the same | |
JP2008078794A (en) | Image sensor driver | |
JP4105959B2 (en) | Digital camera | |
JP2002185860A (en) | Imaging device | |
JP3312381B2 (en) | Imaging device and imaging method | |
JP3338357B2 (en) | Digital camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090805 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |