JP4357691B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4357691B2
JP4357691B2 JP2000101046A JP2000101046A JP4357691B2 JP 4357691 B2 JP4357691 B2 JP 4357691B2 JP 2000101046 A JP2000101046 A JP 2000101046A JP 2000101046 A JP2000101046 A JP 2000101046A JP 4357691 B2 JP4357691 B2 JP 4357691B2
Authority
JP
Japan
Prior art keywords
memory
read
processing
signal
writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000101046A
Other languages
Japanese (ja)
Other versions
JP2001285776A (en
Inventor
高弘 山田
俊哉 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2000101046A priority Critical patent/JP4357691B2/en
Publication of JP2001285776A publication Critical patent/JP2001285776A/en
Application granted granted Critical
Publication of JP4357691B2 publication Critical patent/JP4357691B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Memory System (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、CCD固体撮像素子の出力信号からJPEG符号化信号を生成する撮像装置に関するものである。
【0002】
【従来の技術】
近年、デジタルスチルカメラの業界では、CCD固体撮像素子の高画素化に伴う高画素画像の高速JPEG符号化処理と、デジタルスチルカメラについても銀塩カメラと同様の連写機能の需要が高まってきている。また、連写機能を連写枚数を増やしかつ高速に処理を行おうとすると、システム中の連写枚数に比例したメモリ領域が必要になるということが、課題となりつつある。
【0003】
以下、従来の撮像装置の構成について説明する。図15は従来の撮像装置におけるCCD固体撮像素子の出力信号からJPEG符号化信号を生成するための処理のブロック図を示すものである。図15において、101はタイミングジェネレータ、102はCCD固体撮像素子、103は相関二重サンプリング回路、104はA/D変換回路、200はメモリコントローラ、300はDRAM等のメモリ、400はY/C信号生成部(以下「Y/C処理部」という)、500はJPEG圧縮/伸張処理部(以下「JPEG処理部」という)、501はJPEGブロック読出し制御部である。また、メモリコントローラ200は、メモリ書込み用コントローラ201とメモリ読出し用コントローラ202とで構成されている。
【0004】
以上のように構成された従来の撮像装置において、CCD固体撮像素子102の出力信号からJPEG符号化信号を生成する動作を説明する。
【0005】
まず、CCD固体撮像素子102中の垂直転送CCD・水平転送CCDは、タイミングジェネレータ101の垂直転送パルス・水平転送パルスにより連続的に駆動している。タイミングジェネレータ101から出力される水平転送パルスはCCD固体撮像素子102に直接入力されるが、垂直転送パルスはVドライバ105でHighレベル変換が行われてCCD固体撮像素子102に入力される。また、タイミングジェネレータ101は、銀塩カメラでいうシャッターのような外部入力信号である「取込み命令信号」を受付けると、所定のシャッタースピードに相当する露光期間終了後にフォトダイオード読出しパルス(以下「PD読出しパルス」という)7をVドライバ105へ出力する。したがって、タイミングジェネレータ101は、取込み命令信号を受付けるとVドライバ105に対しPD読出しパルス7と垂直転送パルスを出力する。Vドライバ105では、垂直転送パルスとPD読出しパルス7とを合成してCCD固体撮像素子102へ出力する。
【0006】
CCD固体撮像素子102の構成を図16に示す。CCD固体撮像素子102は、Vドライバ105からPD読出しパルス7(垂直転送パルスに重畳されている)を受付けると、各フォトダイオード2から画素電荷を垂直転送CCD1に移動し、Vドライバ105からの垂直転送パルス6により、順次、最終行下にある水平転送CCD3に送られる。その後、水平転送CCD3に送られた水平1行分の電荷は、タイミングジェネレータ101からの水平転送パルス5により、順次、電荷検出回路4に送られ、一画素分の電荷が電位信号に変換され出力される。水平転送CCD3により水平1行分の電荷がすべて電荷検出回路4に送られ電位信号に変換されると、水平転送CCD3に隣接する垂直転送CCD1にある電荷が水平転送CCD3に送られる。この動作を繰り返し、一画面を構成する画素の電荷信号を電位信号に変換し出力する。
【0007】
CCD固体撮像素子102から出力された画素電位信号は相関二重サンプリング回路103に入力されノイズリダクションされて出力され、A/D変換回路104により量子化された画素信号となって出力される。その後、メモリコントローラ200内のメモリ書込み用コントローラ201に出力される。
【0008】
図17のメモリ300内の矢印で示すように、メモリ書込み用コントローラ201に出力された画素信号は、メモリ書込み開始アドレスから順に書き込まれる。画素データがメモリ300に書き込まれる位置は、CCD固体撮像素子102の画素の位置関係と同様に、水平一行分の書込みが終了すると、垂直位置を変え、再び水平位置を開始位置に戻し、水平一行分を書き込むという書込み順序に従う。この書込み処理を、一画面分の全画像データがメモリ300に展開し尽くすまで行う。
【0009】
なお、JPEG符号化を行う最小単位ブロックは、図19(B)のように、輝度信号Yが16〔画素〕×16〔画素〕、色差信号Cr・CbがM’〔画素〕×N’〔画素〕のブロックである。その最小単位ブロックの信号は、メモリ300中のベイヤ配列画素信号または補色配列画素信号をY/C処理部400に入力し生成するが、それを生成するのに必要な図19(A)で示されるメモリ300上のYC処理読出しブロックのサイズ(M〔画素〕×N〔画素〕)はY/C処理方式で用いるブロック空間フィルタにより異なる。
【0010】
メモリ300中に一画面分の全画像データがメモリ書込み処理により書きこまれると、メモリコントローラ200中のメモリ読出し用コントローラ202により、図18のメモリ300内の四角形(ブロック)で示すように、YC処理読出しブロック単位で読み出され、Y/C処理部400に出力し輝度信号Yと色差信号Cr・Cbを生成し、その信号をJPEG処理部500へ出力し、JPEG処理部500内にJPEG処理ブロック単位の輝度信号Y(16〔画素〕×16〔画素〕)と色差信号Cr・Cb(形式により異なる)が蓄積されると、JPEG処理部500は符号化処理を開始し、符号化信号を出力する。
【0011】
ただし、JPEG処理部500の符号化処理に要する時間はJPEG処理ブロック単位の輝度信号と色差信号の内容によって異なる。そのため、JPEG処理部500の符号化処理の負荷に応じてメモリ読出し用コントローラ202に対して読出し処理を停止するようにJPEGブロック読出し制御部501が停止信号を発生する。メモリ読出し用コントローラ202はその停止信号を受付けるとメモリ300からの読出し処理の一時停止を行う。しかし、メモリ300からの読出し処理のYC処理読出しブロックは、読み出したブロックに対するY/C処理が終了するたびに水平移動し、水平方向に処理対象のブロックがなくなるとYC処理読出しブロックの垂直サイズ分垂直方向に移動し、水平方向は元のアドレスに戻る。このようにYC処理読出しブロックは、一画面の処理が終わるまで、そのY/C処理が終了すると直ちに移動し続ける。このようにして、JPEG処理もブロック単位で連続して行われる。
【0012】
【発明が解決しようとする課題】
上記従来の構成によれば、メモリ300中に一画面分の全画像データの書込みが完了した後に、読出し処理が開始されるため、CCD固体撮像素子102の出力信号からJPEG符号化信号を生成するまでの処理時間が長くかかるという問題があった。
【0013】
ここで、メモリ300に対する書込み処理と読出し処理とを並列に行うと仮定する。図13の(A)の最初の「一画面の処理」のタイミングで示すように並列に行うとすると、図20のように、書込み処理が完了していない領域に対して読出し処理を行ってしまうという可能性があった。
【0014】
さらに、メモリ300において、画像展開用の領域を一画面未満のサイズにし、かつ、メモリ300に対する書込み処理と読出し処理とを並列に行うと仮定すると、以下の(1),(2)の点から読出し処理が完了していない領域に書込み処理のデータが上書きされてしまう可能性があった。
【0015】
(1)CCD固体撮像素子102は、タイミングジェネレータ101からVドライバ105を介してPD読出しパルス7を受けると、CCD水平転送パルス5およびCCD垂直転送パルス6が常に駆動しているため、一画面分の有効画素データの出力を終えるまでは、その出力途中で停止することはできない。
【0016】
(2)JPEG処理部500は入力されたYC処理読出しブロック中のデータの情報量によって処理時間が異なる。
【0017】
この場合、例えば、図21のように、メモリ300の全領域が一画面分に相当するものであれば、それよりも狭い領域を画像展開用の領域とし、書込み処理は、画像展開用の領域内で、書込み開始点から順次書き込まれ、書込み終点の書込み処理を終了すると書込み開始点に戻り、一画面分のデータが順次書き込まれる。また、読出し処理は、図22のように、YC処理読出しブロック単位で読み出され、画像展開用の領域内における読出し最終ブロックの読出し処理が終了すると、読出し開始ブロックに戻り、一画面分のデータを順次ブロックごとに読み出す。この図20と図21に示す処理を、図13の(A)の最初の「一画面の処理」のタイミングで示すように並列に行うとすると、図23のように、書込み処理のデータが読出し処理を行っているYC処理読出しブロック上に上書きされてしまう可能性があった。したがって、従来の構成では、メモリ300の画像展開用の領域を一画面未満のサイズにし、かつ、読み書き並列処理を行うことはできなかった。
【0018】
本発明の目的は、CCD固体撮像素子の出力信号から符号化信号を生成するまでの処理時間を短縮し高速処理が可能となる撮像装置を提供することである。
【0019】
さらに本発明の他の目的は、メモリの記憶領域を小さくできる撮像装置を提供することである。
【0020】
【課題を解決するための手段】
請求項1記載の撮像装置は、垂直転送パルスおよび水平転送パルスを出力するタイミングジェネレータと、フォトダイオード(光電変換素子)の露光期間に蓄積された電荷を垂直転送パルスおよび水平転送パルスに基づいて出力するCCD固体撮像素子と、行および列方向に記憶領域を配しCCD固体撮像素子の出力データが書き込まれるメモリと、メモリから読み出されたデータを入力し、符号化処理用の輝度信号および色差信号を生成するY/C処理手段と、Y/C処理手段で生成された輝度信号および色差信号に対し符号化処理を行い、符号化信号を出力する符号化手段と、記号化手段の符号化処理の負荷に応じて読出し停止信号を出力する読出し停止信号発生手段と、CCD固体撮像素子の出力データを行方向に順次メモリへ書込み、メモリから所定の複数行にまたがりかつ所定の列幅のブロック単位でデータを読出しY/C処理手段へ出力するとともに、読出し停止信号発生手段からの読出し停止信号に応答してメモリからの読出しを停止するメモリコントローラとを備えた撮像装置であって、メモリコントローラは、メモリの書込みと読出しの並列処理を行い、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止し、書込みが完了すると読出しを開始し、メモリへの書込みを行う際に記憶領域の最終行の次は開始行に戻って書込みを行い、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させ、読出しが完了すると垂直転送パルスの停止を解除させることを特徴とする。
【0021】
この構成によれば、メモリの書込みと読出しの並列処理を行うことにより、CCD固体撮像素子の出力データから符号化信号を生成するまでの処理時間を短縮できる。また、その場合に、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止することにより、メモリの書込み処理が完了していない領域に対して読出し処理を行うことを防止できる。
【0023】
また、CCD固体撮像素子の出力データを記憶するメモリの記憶領域を小さくすることができる。また、その場合に、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させることにより、実質的にCCD固体撮像素子の出力を停止し、メモリの読出し処理が完了していない領域への上書きを防止することができる。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。図1は本発明の実施の形態の撮像装置におけるCCD固体撮像素子の出力信号からJPEG符号化信号を生成するまでの構成を示すブロック図を示すものである。図1において、601は垂直転送パルス停止機能を内蔵したタイミングジェネレータ、602は被写体に対応したデータを画素の電位信号として出力するCCD固体撮像素子、603は二重相関サンプリング回路、604はA/D変換回路、700はメモリコントローラ、800はDRAM等のメモリ、900はY/C処理手段であるY/C信号生成部(以下「Y/C処理部」という)、1000は符号化手段であるJPEG圧縮/伸張処理部(以下「JPEG処理部」という)、1001は読出し停止信号発生手段であるJPEGブロック読出し制御部である。
【0025】
本実施の形態では、メモリコントローラ700に、メモリ書込み用コントローラ701およびメモリ読出し用コントローラ702に加え、停止制御コントローラ703を設けている。
【0026】
停止制御コントローラ703は、JPEGブロック読出し制御部1001からJPEG処理部1000の符号化処理の負荷に応じて出力される停止信号を入力し、その停止信号に応答してメモリ読出し用コントローラ702に読出し処理を停止させる。
【0027】
また、停止制御コントローラ703は、メモリ書込み用コントローラ701が書込み処理を行う実行アドレスと、メモリ読出し用コントローラ702が読出し処理を行うYC処理読出しブロック(M〔画素〕×N〔画素〕)の実行領域とを管理し、メモリ書込み用コントローラ701に書込み処理を行う実行アドレスと、メモリ読出し用コントローラ702に読出し処理を行う実行領域とを指示する。そして、JPEGブロック読出し制御部1001からの停止信号の有無にかかわらず、読み出す対象となるYC処理読出しブロックを含む読出しブロック最小行領域分のメモリ書込み処理が完了するまでは、メモリ読出し用コントローラ702に対して停止信号を発し、メモリ読出し処理を停止する。ここで、図2に示すような、メモリ800内において、縦がM画素で、横がCCD固体撮像素子602の生成する画像の水平有効画素サイズlの領域を、読出しブロック最小行領域と呼ぶことにする。▲1▼,▲2▼・・・はYC処理読出しブロックを示す。
【0028】
さらに、停止制御コントローラ703は、メモリ800に書込み処理が行われている場合に、次に書込み処理の対象となる行を含む書込み済のYC処理読出しブロックの読出し処理が完了していないとき、その読出し処理が完了するまでタイミングジェネレータ601へ垂直転送パルスを停止させる信号を発する。
【0029】
そして、タイミングジェネレータ601は、停止制御コントローラ703からの垂直転送パルス停止信号を入力する端子を設けてあり、停止制御コントローラ703からの信号に応答して垂直転送パルスを一時停止することができ、これにより、CCD固体撮像素子602の電荷の垂直転送を停止でき、水平転送CCDへの転送を一時停止する。一時停止直前の水平一行分の電位信号の出力が終了すると、垂直転送パルスは停止しているが、水平転送パルスは駆動し続けているためCCD固体撮像素子602の信号出力端子からは信号(無効なデータ)が出力され続ける。しかし、一時停止直前の水平一行分の電位信号の出力が終了すると無効なデータを出力し続けるため、実質的には一画面を構成する有効画素の電位信号の出力を1行単位で一時停止していることになる。このような機能により、一画面を構成する画素の電位信号の出力を、一画面の出力の途中の行単位で停止させることができることになる。
【0030】
この本実施の形態の撮像装置において、CCD固体撮像素子602の出力信号からJPEG符号化信号を生成するまでの動作を説明する。
【0031】
はじめに、第1の例として、CCD固体撮像素子602から出力されたデータを書込むために用いるメモリ800中の領域のサイズは、一画面分の有効画像サイズ(垂直方向はCCD固体撮像素子602の有効垂直画素数、水平方向はCCD固体撮像素子602の有効水平画素数)を記憶できるものとし、読み書き並列処理にて符号化処理を行う場合についての動作を説明する。この第1の例の場合、停止制御コントローラ703によるタイミングジェネレータ601の垂直転送パルスを一時停止させる制御および構成は不要であり、無いものとする。
【0032】
従来例同様、タイミングジェネレータ601から出力される水平転送パルスはCCD固体撮像素子602に直接入力されるが、垂直転送パルスはVドライバ605を介してCCD固体撮像素子602に入力される。また、タイミングジェネレータ601は外部入力信号である「取込み命令信号」を受付けると、Vドライバ605に対し垂直転送パルスとPD読出しパルスを出力し、Vドライバ605は垂直転送パルスとPD読出しパルスとを合成してCCD固体撮像素子602へ出力する。
【0033】
CCD固体撮像素子602は、Vドライバ605からのPD読出しパルス(垂直転送パルスに重畳されている)を受付けると、各フォトダイオードから画素電荷を垂直転送CCDに移動し、CCD固体撮像素子602中の垂直転送CCD・水平転送CCDは、垂直転送パルス・水平転送パルスにより従来例と同様に駆動して、一画面を構成する画素の電荷信号を電位信号に変換し出力する。
【0034】
CCD固体撮像素子602から出力された画素電位信号は、相関二重サンプリング回路603に入力されノイズリダクションされ、A/D変換回路604により量子化された画素信号となって出力される。その後、メモリコントローラ700内のメモリ書込み用コントローラ701に出力される。
【0035】
メモリ書込み用コントローラ701に出力された画素信号は、図3に示すように、停止制御コントローラ703から指定されたメモリ800のアドレスに順次書き込まれる。この図3のような最初のメモリ書込み処理の時点においては、最初の読出しブロック最小行領域分のメモリ書込み処理が完了するまでは、停止制御コントローラ703がメモリ読出し用コントローラ702に対して停止信号を発し、メモリ読出し処理を停止している。
【0036】
JPEG処理のためのメモリ読出し処理は、最小単位ブロックの信号生成に必要なメモリ800上のYC処理読出しブロック(M〔画素〕×N〔画素〕)を読出し、そのブロック単位で水平方向に読出し位置を変え、水平方向の処理が済むと、垂直位置を変え、再び水平方向に処理を進める。これを繰り返し符号化信号を生成する。
【0037】
そして、図4に示すように、メモリ800内の最初の読出しブロック最小行領域がメモリ書込み処理により画素データで埋まると、メモリコントローラ700中のメモリ読出し用コントローラ702により、YC処理読出しブロック単位で読み出され、Y/C処理部900に出力し輝度信号と色差信号を生成し、その信号をJPEG処理部1000へ出力し、JPEG処理部1000内に図19のようなJPEG処理ブロック単位の輝度信号Y(16〔画素〕×16〔画素〕)と色差信号Cr・Cb(M’〔画素〕×N’〔画素〕)が蓄積されると、JPEG処理部1000は符号化処理を開始し、符号化信号を出力する。
【0038】
ただし、JPEG処理部1000の符号化処理に要する時間は、JPEG処理ブロック単位の輝度信号と色差信号の内容によって異なる。そのため、JPEG処理部1000の符号化処理の負荷に応じて、JPEGブロック読出し制御部1001は、停止制御コントローラ703を介してメモリ読出し用コントローラ702に対し読出し処理を停止するよう停止信号を発生する。メモリ読出し用コントローラ702はその停止信号を受付けると、メモリ800からの読出し処理の一時停止を行う。
【0039】
なお、JPEGブロック読出し制御部1001は、図14に示すように、JPEG処理部1000の入力データ格納部に未処理のデータが残っているかどうかの状態を監視している。JPEG符号化処理の負荷が重い状態、つまり処理に対応する絵柄の情報量が多い(絵柄のYCに細かい変化が多い)場合、出力符号量が増大し、符号化処理により多くの時間が必要となる。したがって、所定の期間内に処理が終了しなければ、入力データ格納部に未処理のデータが残るという状態になり、この場合、JPEGブロック読出し制御部1001は停止信号を発生する。
【0040】
図4のように、読出し処理と書込み処理が並列に行われると、図5に示すように、読出し処理により読出しブロック最小行領域内の最後のYC処理読出しブロックを読出し、Y/C処理が終了した時点で、次の読出しブロック最小行領域分のメモリ書込み処理が完了していない場合に、書込み処理が完了していないYC処理読出しブロックを読出しそうになる。しかし、本実施の形態では、メモリ書込み処理が次の読出しブロック最小行領域の書込み処理を行っている途中の場合は、停止制御コントローラ703がメモリ読出し用コントローラ702に対して停止信号を発し、読出し処理が次の読出しブロック最小行領域に移行するのを停止する。そして、図6に示すように、次の読出しブロック最小行領域の書込み処理が終了すると、読出し処理の処理対象を次の読出しブロック最小行領域に移行し処理を続ける。以降同様にして1画面分の処理を行う。
【0041】
したがって、上記の第1の例によれば、メモリ800への書込み処理と読出し処理を並列に行うことにより処理時間を短縮し高速処理が可能となる。また、図20の場合のように、書込み処理が完了していない領域に対して読出し処理を行ってしまうこともない。特に、連写時には処理時間が短縮される効果が大きくなり、従来の処理に比べ高速な処理を実現できる。
【0042】
次に、第2の例として、CCD固体撮像素子602から出力されたデータを書込むために用いるメモリ800中の領域のサイズ(画像展開用の領域)は、図7のように、読出しブロック最小行領域2個分(垂直方向はYC処理読出しブロックサイズの垂直サイズの2倍、水平方向はCCD固体撮像素子602の有効水平画素数)とし、かつ、読み書き並列処理にて符号化処理を行う場合についての動作について説明する。ここで、CCD固体撮像素子602の垂直方向の有効画素数はYC処理読出しブロックサイズの垂直サイズよりはるかに大きいものとする。また、以下では、連写の場合について説明するが、一画面目(一枚目)の処理については一枚だけあるいは一枚ずつある時間をあけて撮影する場合も同様である。
【0043】
画素データがメモリ800に書き込まれる位置は、図21の場合と同様、CCD固体撮像素子602の画素の位置関係と同様に、水平一行分の書込みが終了すると、垂直位置を変え、再び水平一行分の書き込むという書込み順序に従う。そして、メモリ800中の画像処理に用いる領域に対して、メモリ書込み処理を完了すると、書込みを開始したアドレスにもどり、書込みを継続する。
【0044】
読出し処理についても、図22の場合と同様、読み出したブロックに対するY/C処理が終了するたびに(図14のY/C処理部900内の処理データ格納部にデータが無くなったとき)水平に移動し、水平方向に処理対象のブロックがなくなるとYC処理読出しブロックの垂直サイズ分垂直方向に移動し、水平方向は元のアドレスに戻る。読出しブロック最小行領域2個分に対し処理を終えると、再び読出し処理を開始した位置に戻り、読出し処理を再開する。
【0045】
CCD固体撮像素子602から出力され量子化された信号のメモリ800への書き込む順序は上記の通り、図7のように、水平一行単位での書込みを行い、一画面目の処理の最初の時点においては、最初の読出しブロック最小行領域分の書込み処理が完了するまでは、停止制御コントローラ703がメモリ読出し用コントローラ702に対して停止信号を発し、読出し処理を停止している。
【0046】
最初の読出しブロック最小行領域分の書込み処理が完了すると、図8のように、停止制御コントローラ703からメモリ読出し用コントローラ702への停止信号が解除され、メモリ800からの読出し処理が前述の要領で開始され、ここで、読出し処理と書込み処理が並列に行われる。
【0047】
この並列処理を続けて行うと、図9のように、読出し処理により読出しブロック最小行領域内の最後のYC処理読出しブロックを読出し、Y/C処理が終了した時点で、次の読出しブロック最小行領域分のメモリ書込み処理が完了していない場合に、書込み処理が完了していないYC処理読出しブロックを読出しそうになる。しかし、第1の例と同様に、メモリ書込み処理が次の読出しブロック最小行領域の書込み処理を行っている途中の場合は、停止制御コントローラ703がメモリ読出し用コントローラ702に対して停止信号を発し、読出し処理が次の読出しブロック最小行領域に移行するのを停止する。そして、図10に示すように、次の読出しブロック最小行領域の書込み処理が終了すると、読出し処理の処理対象を次の読出しブロック最小行領域に移行し処理を続ける。以降同様にして1画面分の処理を行う。
【0048】
ここで、この第2の例のように、メモリ800中の画像展開用の領域が1画面分のデータ展開に必要な領域より小さい場合には、JPEG処理は入力されるブロックデータの情報量によって処理の負荷(時間)が違うため、データによっては、書込み処理のデータが読出し処理を行っているYC処理読出しブロック上に上書きされそうになる場合がある。このような場合、例えば図11のように、書込み処理が次の読出しブロック最小行領域に達する手前の行の書込み処理を行っている時点で、停止制御コントローラ703がタイミングジェネレータ601に対して垂直転送パルス停止信号を発し、CCD固体撮像素子602の垂直CCD転送を停止し、書込み処理のデータで読出し処理を行っている読出しブロック最小行領域のデータを書き潰さないよう制御を行う(上書き防止機能)。
【0049】
書込み処理は、読出し処理を行っている読出しブロック最小行領域の処理が完了し次の行ブロックに処理が移行するまで停止し、処理が移行すると、停止制御コントローラ703の垂直転送パルス停止信号が解除され、処理が再開される。停止制御コントローラ703は、タイミングジェネレータ601に対し垂直転送パルス停止信号を発している間、メモリ書込み用コントローラ701に対して書込み停止信号を発し、書込みを禁止している。例えば、図12に示すタイミングで、垂直転送を停止した水平有効期間にCCD固体撮像素子602から出力される1H分全てのデータの書き込みを禁止する。
【0050】
以上のように、1画面分のすべての画像データの展開領域をメモリ800に必要とすることなく、読出しブロック最小行領域が最低2つあれば1画面分のY/C処理ないしJPEG処理を実現することができるため、メモリ消費領域を飛躍的に少なくすることができる。
【0051】
また、以上の処理は連写の場合も、一枚だけ撮影する場合も同様である。連写の場合は、一画面を書込み終えると、停止制御コントローラ703はメモリ書込み用コントローラ701に書込み停止信号を発し、書込み処理と読出し処理ともに終えた読出しブロック最小行領域ができるまではCCD出力信号を受付けず、書込み処理と読出し処理ともに終えた読出しブロック最小行領域ができ、次画面のデータの出力信号が出力されるまで一時停止する。そして、CCD固体撮像素子602から次の画面のデータの出力を開始すると、書込み処理と読出しともに終えた読出しブロック最小行領域に対して直ちに書込みを再開する。すなわち、前画面の符号化処理の完了するのを待たずに次の画面の書込み処理を行うことになる。連写の場合の書込み処理と読出し処理のタイミングは、図13の(B)に示すようになる。
【0052】
これに対し、第1の例において連写をした場合には、図13の(A)のタイミングで示され、処理中の画面の読出し処理が終了した後で、次の画面の書込み処理が行われる。これは、第1の例の場合、第2の例における上書き防止機能がないためであり、メモリ800に画像展開用の領域を1画面分必要とする。
【0053】
第2の例によれば、第1の例に比べ、画像展開用の領域に使用するメモリ800の記憶領域が大幅に少なくてすみ、かつ、連写の場合、より高速に行うことができる。
【0054】
【発明の効果】
以上のように本発明によれば、メモリコントローラにより、メモリの書込みと読出しの並列処理を行うことにより、CCD固体撮像素子の出力データから符号化信号を生成するまでの処理時間を短縮し、高速処理が可能となる。また、その場合に、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止することにより、メモリの書込み処理が完了していない領域に対して読出し処理を行うことを防止できる。
【0055】
さらに、メモリの記憶領域をCCD固体撮像素子の1画面未満の出力データに対応する領域として小さくすることができる。その場合に、メモリコントローラにより、メモリへの書込みを行う際に記憶領域の最終行の次は開始行に戻って書込みを行い、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させることにより、実質的にCCD固体撮像素子の出力を停止し、メモリの読出し処理が完了していない領域への上書きを防止することができる。
【0056】
特に、連写時にはCCD固体撮像素子のデータのメモリの書込み処理と読出し処理とが並列に行えるようになることで従来の処理に比べ高速な処理を実現し、また、飛躍的に少ないメモリ領域での高画素画像の符号化処理を実現することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の撮像装置の要部構成を示すブロック図。
【図2】本発明の実施の形態における読出しブロック最小行領域を示す図。
【図3】本発明の実施の形態における第1の例の動作を示す図。
【図4】本発明の実施の形態における第1の例の動作を示す図。
【図5】本発明の実施の形態における第1の例の動作を示す図。
【図6】本発明の実施の形態における第1の例の動作を示す図。
【図7】本発明の実施の形態における第2の例の動作を示す図。
【図8】本発明の実施の形態における第2の例の動作を示す図。
【図9】本発明の実施の形態における第2の例の動作を示す図。
【図10】本発明の実施の形態における第2の例の動作を示す図。
【図11】本発明の実施の形態における第2の例の動作を示す図。
【図12】本発明の実施の形態における第2の例の動作を示すタイミングチャート。
【図13】本発明の実施の形態における第1の例と第2の例の連写時の動作のタイミング図。
【図14】本発明の実施の形態の撮像装置の一部の内部構成を示すブロック図。
【図15】従来の撮像装置の要部構成を示すブロック図。
【図16】CCD固体撮像素子の構成を示す図。
【図17】従来の撮像装置の動作を示すブロック図。
【図18】従来の撮像装置の動作を示すブロック図。
【図19】読出し処理の最小単位ブロックとJPEG符号化を行う最小単位ブロックとを示す図。
【図20】従来の問題点を説明するための図。
【図21】従来の問題点を説明するための図。
【図22】従来の問題点を説明するための図。
【図23】従来の問題点を説明するための図。
【符号の説明】
601 タイミングジェネレータ
602 CCD固体撮像素子
700 メモリコントローラ
800 メモリ
900 Y/C信号生成部(Y/C処理部)
1000 JPEG圧縮/伸張処理部(JPEG処理部)
1001 JPEGブロック読出し制御部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus that generates a JPEG encoded signal from an output signal of a CCD solid-state imaging device.
[0002]
[Prior art]
In recent years, in the digital still camera industry, the demand for high-speed JPEG encoding processing of high-pixel images accompanying the increase in the number of pixels of a CCD solid-state imaging device and the continuous shooting function similar to that of a silver salt camera are increasing for digital still cameras. Yes. Further, if the continuous shooting function increases the number of continuous shots and performs processing at high speed, it is becoming a problem that a memory area proportional to the number of continuous shots in the system is required.
[0003]
Hereinafter, the configuration of a conventional imaging device will be described. FIG. 15 is a block diagram showing a process for generating a JPEG encoded signal from an output signal of a CCD solid-state imaging device in a conventional imaging apparatus. In FIG. 15, 101 is a timing generator, 102 is a CCD solid-state imaging device, 103 is a correlated double sampling circuit, 104 is an A / D conversion circuit, 200 is a memory controller, 300 is a memory such as a DRAM, 400 is a Y / C signal A generation unit (hereinafter referred to as “Y / C processing unit”), 500 is a JPEG compression / decompression processing unit (hereinafter referred to as “JPEG processing unit”), and 501 is a JPEG block read control unit. The memory controller 200 includes a memory write controller 201 and a memory read controller 202.
[0004]
The operation of generating a JPEG encoded signal from the output signal of the CCD solid-state image sensor 102 in the conventional imaging apparatus configured as described above will be described.
[0005]
First, the vertical transfer CCD and horizontal transfer CCD in the CCD solid-state imaging device 102 are continuously driven by the vertical transfer pulse and horizontal transfer pulse of the timing generator 101. The horizontal transfer pulse output from the timing generator 101 is directly input to the CCD solid-state image sensor 102, but the vertical transfer pulse is subjected to high level conversion by the V driver 105 and input to the CCD solid-state image sensor 102. When the timing generator 101 receives an “acquisition command signal” which is an external input signal such as a shutter in a silver halide camera, a photodiode readout pulse (hereinafter referred to as “PD readout”) after an exposure period corresponding to a predetermined shutter speed. 7) is output to the V driver 105. Therefore, the timing generator 101 outputs the PD read pulse 7 and the vertical transfer pulse to the V driver 105 when receiving the fetch command signal. In the V driver 105, the vertical transfer pulse and the PD read pulse 7 are synthesized and output to the CCD solid-state imaging device 102.
[0006]
The configuration of the CCD solid-state imaging device 102 is shown in FIG. When the CCD solid-state imaging device 102 receives the PD readout pulse 7 (superimposed on the vertical transfer pulse) from the V driver 105, the CCD solid-state image sensor 102 moves the pixel charge from each photodiode 2 to the vertical transfer CCD 1. By the transfer pulse 6, it is sequentially sent to the horizontal transfer CCD 3 below the last row. Thereafter, the charges for one horizontal line sent to the horizontal transfer CCD 3 are sequentially sent to the charge detection circuit 4 by the horizontal transfer pulse 5 from the timing generator 101, and the charge for one pixel is converted into a potential signal and output. Is done. When all the charges for one horizontal row are sent to the charge detection circuit 4 and converted into potential signals by the horizontal transfer CCD 3, the charges in the vertical transfer CCD 1 adjacent to the horizontal transfer CCD 3 are sent to the horizontal transfer CCD 3. This operation is repeated to convert the charge signal of the pixels constituting one screen into a potential signal and output it.
[0007]
The pixel potential signal output from the CCD solid-state imaging device 102 is input to the correlated double sampling circuit 103, subjected to noise reduction, and output as a pixel signal quantized by the A / D conversion circuit 104. Thereafter, the data is output to the memory write controller 201 in the memory controller 200.
[0008]
As indicated by arrows in the memory 300 in FIG. 17, the pixel signals output to the memory writing controller 201 are written in order from the memory writing start address. The position where the pixel data is written in the memory 300 is similar to the positional relationship of the pixels of the CCD solid-state imaging device 102. When writing for one horizontal line is completed, the vertical position is changed, the horizontal position is returned to the start position, and the horizontal line is written. Follow the order of writing minutes. This writing process is performed until all image data for one screen is completely developed in the memory 300.
[0009]
As shown in FIG. 19B, the minimum unit block for JPEG encoding has a luminance signal Y of 16 [pixels] × 16 [pixels] and a color difference signal Cr · Cb of M ′ [pixels] × N ′ [ Pixel] block. The signal of the minimum unit block is generated by inputting the Bayer array pixel signal or the complementary color array pixel signal in the memory 300 to the Y / C processing unit 400, and is shown in FIG. 19A necessary for generating the signal. The size (M [pixels] × N [pixels]) of the YC processing read block on the memory 300 differs depending on the block spatial filter used in the Y / C processing method.
[0010]
When all image data for one screen is written in the memory 300 by the memory writing process, the memory reading controller 202 in the memory controller 200 performs YC as shown by a square (block) in the memory 300 in FIG. Read out in units of processing read blocks, output to Y / C processing unit 400 to generate luminance signal Y and color difference signals Cr and Cb, output the signals to JPEG processing unit 500, and perform JPEG processing in JPEG processing unit 500 When the luminance signal Y (16 [pixels] × 16 [pixels]) and the color difference signals Cr and Cb (which differ depending on the format) are accumulated in units of blocks, the JPEG processing unit 500 starts the encoding process and outputs the encoded signal. Output.
[0011]
However, the time required for the encoding process of the JPEG processing unit 500 varies depending on the contents of the luminance signal and the color difference signal for each JPEG processing block. Therefore, the JPEG block read control unit 501 generates a stop signal so as to stop the read process for the memory read controller 202 in accordance with the encoding process load of the JPEG processing unit 500. When the memory read controller 202 receives the stop signal, the memory read controller 202 temporarily stops the reading process from the memory 300. However, the YC process read block of the read process from the memory 300 moves horizontally each time the Y / C process for the read block is completed, and when there are no more blocks to be processed in the horizontal direction, the YC process read block is equal to the vertical size of the YC process read block. Move in the vertical direction and return to the original address in the horizontal direction. In this way, the YC processing read block continues to move as soon as the Y / C processing is completed until the processing of one screen is completed. In this way, JPEG processing is also continuously performed in units of blocks.
[0012]
[Problems to be solved by the invention]
According to the above-described conventional configuration, since the reading process is started after the writing of all image data for one screen in the memory 300 is completed, a JPEG encoded signal is generated from the output signal of the CCD solid-state imaging device 102. There was a problem that it took a long time to process.
[0013]
Here, it is assumed that the writing process and the reading process for the memory 300 are performed in parallel. If it is performed in parallel as shown in the timing of the first “one screen process” in FIG. 13A, a read process is performed on an area where the write process is not completed as shown in FIG. There was a possibility.
[0014]
Further, assuming that the area for image development in the memory 300 is smaller than one screen and that the writing process and the reading process for the memory 300 are performed in parallel, the following points (1) and (2) There is a possibility that the data of the writing process is overwritten in the area where the reading process is not completed.
[0015]
(1) When the CCD solid-state imaging device 102 receives the PD read pulse 7 from the timing generator 101 via the V driver 105, the CCD horizontal transfer pulse 5 and the CCD vertical transfer pulse 6 are always driven. Until the output of the effective pixel data is finished, it cannot be stopped during the output.
[0016]
(2) The JPEG processing unit 500 has a different processing time depending on the information amount of data in the input YC processing read block.
[0017]
In this case, for example, as shown in FIG. 21, if the entire area of the memory 300 corresponds to one screen, the area narrower than that is set as an image development area, and the writing process is performed as an image development area. Are written sequentially from the writing start point, and when the writing process at the writing end point is completed, the processing returns to the writing start point and data for one screen is written sequentially. Also, as shown in FIG. 22, the reading process is performed in units of YC processing reading blocks, and when the reading process of the last reading block in the image development area is completed, the process returns to the reading start block, and data for one screen is read. Are sequentially read for each block. If the processing shown in FIGS. 20 and 21 is performed in parallel as shown in the timing of the first “one-screen processing” in FIG. 13A, the data of the writing process is read out as shown in FIG. There is a possibility that the YC processing read block being processed is overwritten. Therefore, with the conventional configuration, the area for image development in the memory 300 cannot be made smaller than one screen and read / write parallel processing cannot be performed.
[0018]
An object of the present invention is to provide an imaging apparatus capable of shortening the processing time required to generate an encoded signal from an output signal of a CCD solid-state imaging device and enabling high-speed processing.
[0019]
Still another object of the present invention is to provide an imaging apparatus that can reduce the storage area of a memory.
[0020]
[Means for Solving the Problems]
  The imaging device according to claim 1 outputs a timing generator that outputs a vertical transfer pulse and a horizontal transfer pulse, and charges accumulated during an exposure period of a photodiode (photoelectric conversion element) based on the vertical transfer pulse and the horizontal transfer pulse. CCD solid-state imaging device, a memory in which storage areas are arranged in the row and column directions and output data of the CCD solid-state imaging device is written, and data read out from the memory are input, luminance signal and color difference for encoding processing Y / C processing means for generating a signal, encoding means for performing encoding processing on the luminance signal and the color difference signal generated by the Y / C processing means, and outputting an encoded signal, and encoding by the encoding means Read stop signal generation means for outputting a read stop signal according to the processing load, and the output data of the CCD solid-state imaging device are sequentially written to the memory in the row direction. Reads data from the memory in units of blocks having a predetermined column width and outputs data to the Y / C processing means, and stops reading from the memory in response to a read stop signal from the read stop signal generating means The memory controller performs parallel processing of memory writing and reading, and writing of a row included in block unit data to be read from the memory has not been completed. Sometimes stop reading and start reading when writing is completeThen, when writing to the memory, after the last line of the storage area, return to the start line and write, and then the reading of the written block unit data including the line to be written to the memory is completed. If not, the vertical transfer pulse of the timing generator is stopped, and when the reading is completed, the stop of the vertical transfer pulse is released.
[0021]
According to this configuration, by performing parallel processing of memory writing and reading, it is possible to shorten the processing time until the encoded signal is generated from the output data of the CCD solid-state imaging device. In that case, if the writing of the row included in the block unit data to be read from the memory is not completed, the reading is stopped, so that the memory writing process is not completed. It is possible to prevent the reading process from being performed.
[0023]
  Also,The storage area of the memory for storing the output data of the CCD solid-state imaging device can be reduced. In this case, when the reading of the written block unit data including the row to be written next in the memory is not completed, the vertical transfer pulse of the timing generator is stopped, thereby substantially reducing the CCD. It is possible to stop the output of the solid-state imaging device and prevent overwriting to an area where the memory reading process is not completed.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration from generation of a JPEG encoded signal from an output signal of a CCD solid-state imaging device in an imaging apparatus according to an embodiment of the present invention. In FIG. 1, 601 is a timing generator with a built-in vertical transfer pulse stop function, 602 is a CCD solid-state imaging device that outputs data corresponding to a subject as a pixel potential signal, 603 is a double correlation sampling circuit, and 604 is an A / D. Conversion circuit, 700 is a memory controller, 800 is a memory such as a DRAM, 900 is a Y / C signal generation unit (hereinafter referred to as “Y / C processing unit”) that is a Y / C processing unit, and 1000 is a JPEG that is an encoding unit A compression / expansion processing unit (hereinafter referred to as “JPEG processing unit”) 1001 is a JPEG block read control unit which is a read stop signal generating unit.
[0025]
In this embodiment, the memory controller 700 is provided with a stop controller 703 in addition to the memory write controller 701 and the memory read controller 702.
[0026]
The stop control controller 703 receives a stop signal output from the JPEG block read control unit 1001 according to the encoding processing load of the JPEG processing unit 1000, and performs read processing to the memory read controller 702 in response to the stop signal. Stop.
[0027]
The stop control controller 703 also executes an execution address where the memory write controller 701 performs a write process and an execution area of a YC process read block (M [pixel] × N [pixel]) where the memory read controller 702 performs a read process. And instructing the memory write controller 701 the execution address for performing the write process and the memory read controller 702 for the execution area for performing the read process. Regardless of the presence / absence of a stop signal from the JPEG block read control unit 1001, the memory read controller 702 is informed until the memory write processing for the read block minimum row area including the YC process read block to be read is completed. In response to this, a stop signal is issued to stop the memory reading process. Here, in the memory 800 as shown in FIG. 2, an area having a horizontal effective pixel size l of an image generated by the CCD solid-state imaging device 602 in the vertical direction is called a read block minimum row area. To. ... (1), (2)... Indicate YC processing read blocks.
[0028]
Further, when the write process is being performed on the memory 800, the stop controller 703, when the read process of the written YC process read block including the next row to be written is not completed, A signal for stopping the vertical transfer pulse is issued to the timing generator 601 until the reading process is completed.
[0029]
The timing generator 601 is provided with a terminal for inputting a vertical transfer pulse stop signal from the stop control controller 703, and can temporarily stop the vertical transfer pulse in response to a signal from the stop control controller 703. Thus, the vertical transfer of charges of the CCD solid-state imaging device 602 can be stopped, and the transfer to the horizontal transfer CCD is temporarily stopped. When the output of the potential signal for one horizontal line immediately before the pause is finished, the vertical transfer pulse is stopped, but the horizontal transfer pulse continues to be driven, so that a signal (invalid from the signal output terminal of the CCD solid-state imaging device 602). Data) continues to be output. However, since the output of invalid data continues when the output of the potential signal for one horizontal line immediately before the pause is finished, the output of the potential signal of the effective pixels constituting one screen is temporarily stopped in units of one line. Will be. With such a function, the output of the potential signal of the pixels constituting one screen can be stopped in units of rows in the middle of the output of one screen.
[0030]
In the imaging apparatus according to the present embodiment, an operation from generation of a JPEG encoded signal from an output signal of the CCD solid-state imaging device 602 will be described.
[0031]
First, as a first example, the size of the area in the memory 800 used for writing the data output from the CCD solid-state image sensor 602 is the effective image size for one screen (the vertical direction is that of the CCD solid-state image sensor 602). It is assumed that the number of effective vertical pixels and the horizontal direction can store the number of effective horizontal pixels of the CCD solid-state imaging device 602), and the operation in the case of performing the encoding process in the read / write parallel processing will be described. In the case of this first example, control and configuration for temporarily stopping the vertical transfer pulse of the timing generator 601 by the stop controller 703 are unnecessary and are not provided.
[0032]
As in the conventional example, the horizontal transfer pulse output from the timing generator 601 is directly input to the CCD solid-state image sensor 602, but the vertical transfer pulse is input to the CCD solid-state image sensor 602 via the V driver 605. When the timing generator 601 receives an “input command signal” which is an external input signal, it outputs a vertical transfer pulse and a PD read pulse to the V driver 605, and the V driver 605 combines the vertical transfer pulse and the PD read pulse. And output to the CCD solid-state imaging device 602.
[0033]
When the CCD solid-state image sensor 602 receives a PD read pulse (superimposed on the vertical transfer pulse) from the V driver 605, the CCD solid-state image sensor 602 moves the pixel charge from each photodiode to the vertical transfer CCD. The vertical transfer CCD / horizontal transfer CCD is driven in the same manner as the conventional example by vertical transfer pulses / horizontal transfer pulses, and converts the charge signals of the pixels constituting one screen into potential signals and outputs them.
[0034]
The pixel potential signal output from the CCD solid-state imaging device 602 is input to the correlated double sampling circuit 603, subjected to noise reduction, and output as a pixel signal quantized by the A / D conversion circuit 604. Thereafter, the data is output to the memory write controller 701 in the memory controller 700.
[0035]
As shown in FIG. 3, the pixel signals output to the memory writing controller 701 are sequentially written to the addresses of the memory 800 designated by the stop control controller 703. At the time of the first memory write processing as shown in FIG. 3, the stop control controller 703 sends a stop signal to the memory read controller 702 until the memory write processing for the first read block minimum row area is completed. The memory read processing is stopped.
[0036]
Memory reading processing for JPEG processing reads a YC processing reading block (M [pixel] × N [pixel]) on the memory 800 necessary for signal generation of the minimum unit block, and reads the reading position in the horizontal direction in units of the block. When the horizontal processing is completed, the vertical position is changed and the processing is advanced again in the horizontal direction. This is repeated to generate an encoded signal.
[0037]
Then, as shown in FIG. 4, when the first read block minimum row area in the memory 800 is filled with pixel data by the memory write process, the memory read controller 702 in the memory controller 700 reads the YC process read block unit. Is output to the Y / C processing unit 900 to generate a luminance signal and a color difference signal, output the signal to the JPEG processing unit 1000, and the luminance signal in units of JPEG processing blocks as shown in FIG. When Y (16 [pixel] × 16 [pixel]) and the color difference signal Cr · Cb (M ′ [pixel] × N ′ [pixel]) are accumulated, the JPEG processing unit 1000 starts the encoding process, Outputs the digitized signal.
[0038]
However, the time required for the encoding process of the JPEG processing unit 1000 varies depending on the contents of the luminance signal and the color difference signal in units of JPEG processing blocks. Therefore, according to the encoding processing load of the JPEG processing unit 1000, the JPEG block read control unit 1001 generates a stop signal to stop the read processing to the memory read controller 702 via the stop control controller 703. When the memory read controller 702 receives the stop signal, the read process from the memory 800 is temporarily stopped.
[0039]
Note that the JPEG block read control unit 1001 monitors the status of whether or not unprocessed data remains in the input data storage unit of the JPEG processing unit 1000, as shown in FIG. When the load on the JPEG encoding process is heavy, that is, when there is a large amount of picture information corresponding to the process (there is a lot of small changes in the YC of the picture), the output code quantity increases and more time is required for the coding process. Become. Therefore, if the processing is not completed within a predetermined period, unprocessed data remains in the input data storage unit. In this case, the JPEG block read control unit 1001 generates a stop signal.
[0040]
When the read process and the write process are performed in parallel as shown in FIG. 4, the last YC process read block in the read block minimum row area is read by the read process as shown in FIG. 5, and the Y / C process ends. At this point, if the memory write processing for the next read block minimum row area has not been completed, it is likely to read the YC process read block for which the write processing has not been completed. However, in the present embodiment, when the memory write process is in the middle of the next read block minimum row area write process, the stop control controller 703 issues a stop signal to the memory read controller 702 to read The processing stops moving to the next read block minimum row area. Then, as shown in FIG. 6, when the writing process of the next read block minimum row area is completed, the processing target of the read process is shifted to the next read block minimum row area and the process is continued. Thereafter, processing for one screen is performed in the same manner.
[0041]
Therefore, according to the first example described above, the processing time can be shortened and high-speed processing can be performed by performing the writing process to the memory 800 and the reading process in parallel. Further, unlike the case of FIG. 20, the read process is not performed on the area where the write process is not completed. In particular, the effect of shortening the processing time during continuous shooting is increased, and high-speed processing can be realized compared to conventional processing.
[0042]
Next, as a second example, the size of an area in the memory 800 used for writing data output from the CCD solid-state imaging device 602 (an area for image development) is the minimum of the read block as shown in FIG. When two rows are used (the vertical direction is twice the vertical size of the YC processing read block size, the horizontal direction is the number of effective horizontal pixels of the CCD solid-state image sensor 602), and the encoding processing is performed by read / write parallel processing. The operation of will be described. Here, it is assumed that the number of effective pixels in the vertical direction of the CCD solid-state imaging device 602 is much larger than the vertical size of the YC processing readout block size. In the following, the case of continuous shooting will be described, but the processing for the first screen (first image) is the same when only one image or one image is taken at a certain time.
[0043]
As in the case of FIG. 21, the position at which the pixel data is written in the memory 800 is changed in the vertical position after the writing for one horizontal line is completed, similarly to the positional relationship of the pixels of the CCD solid-state imaging device 602, and again for one horizontal line. Follow the order of writing. When the memory writing process is completed for the area used for image processing in the memory 800, the writing operation is returned to the address where the writing is started.
[0044]
Similarly to the case of FIG. 22, the read process is also performed horizontally each time the Y / C process for the read block is completed (when there is no data in the process data storage unit in the Y / C processing unit 900 of FIG. 14). When the block to be processed disappears in the horizontal direction, the block moves in the vertical direction by the vertical size of the YC processing read block, and the horizontal direction returns to the original address. When the processing is completed for two read block minimum row areas, the processing returns to the position where the read processing is started again, and the read processing is resumed.
[0045]
As described above, the order in which the quantized signal output from the CCD solid-state imaging device 602 is written to the memory 800 is written in units of horizontal lines as shown in FIG. 7, and at the first point of processing of the first screen. Until the write processing for the first read block minimum row area is completed, the stop control controller 703 issues a stop signal to the memory read controller 702 to stop the read processing.
[0046]
When the write processing for the first read block minimum row area is completed, the stop signal from the stop control controller 703 to the memory read controller 702 is canceled as shown in FIG. 8, and the read processing from the memory 800 is performed as described above. The reading process and the writing process are performed in parallel.
[0047]
If this parallel processing is continued, as shown in FIG. 9, the last YC processing read block in the read block minimum row area is read by read processing, and when the Y / C processing is completed, the next read block minimum row is read. When the memory writing process for the area has not been completed, the YC process reading block in which the writing process has not been completed will be read. However, as in the first example, when the memory write process is in the process of writing the next read block minimum row area, the stop control controller 703 issues a stop signal to the memory read controller 702. The reading process stops moving to the next read block minimum row area. Then, as shown in FIG. 10, when the writing process of the next read block minimum row area is completed, the processing target of the read process is shifted to the next read block minimum row area and the process is continued. Thereafter, processing for one screen is performed in the same manner.
[0048]
When the image development area in the memory 800 is smaller than the area necessary for data development for one screen as in the second example, JPEG processing depends on the information amount of the input block data. Since the processing load (time) is different, depending on the data, there is a possibility that the data of the writing process is likely to be overwritten on the YC processing reading block that is performing the reading process. In such a case, for example, as shown in FIG. 11, the stop control controller 703 performs vertical transfer to the timing generator 601 at the time when the write process is being performed on the line before the next read block reaches the minimum row area. A pulse stop signal is issued, the vertical CCD transfer of the CCD solid-state imaging device 602 is stopped, and control is performed so that the data in the read block minimum row area in which the read process is performed with the write process data is not overwritten (overwrite prevention function). .
[0049]
The write process is stopped until the process of the minimum row area of the read block that is performing the read process is completed and the process moves to the next row block. When the process is shifted, the vertical transfer pulse stop signal of the stop controller 703 is released. And processing is resumed. The stop control controller 703 issues a write stop signal to the memory write controller 701 and prohibits writing while issuing a vertical transfer pulse stop signal to the timing generator 601. For example, at the timing shown in FIG. 12, writing of all data for 1H output from the CCD solid-state imaging device 602 is prohibited during the horizontal effective period in which the vertical transfer is stopped.
[0050]
As described above, Y / C processing or JPEG processing for one screen can be realized if there is at least two minimum read block row areas without requiring the memory 800 to develop all image data for one screen. Therefore, the memory consumption area can be drastically reduced.
[0051]
The above processing is the same for both continuous shooting and single shooting. In the case of continuous shooting, when the writing of one screen is completed, the stop control controller 703 issues a write stop signal to the memory writing controller 701, and the CCD output signal is output until the minimum row area of the read block is completed for both the writing process and the reading process. The read block minimum row area where both the writing process and the reading process are completed is completed, and the process is paused until the data output signal of the next screen is output. Then, when the output of the next screen data is started from the CCD solid-state imaging device 602, the writing is immediately resumed with respect to the read block minimum row area where both the writing process and the reading are completed. That is, the next screen writing process is performed without waiting for the previous screen encoding process to be completed. The timing of the writing process and the reading process in the case of continuous shooting is as shown in FIG.
[0052]
On the other hand, when continuous shooting is performed in the first example, it is shown at the timing of FIG. 13A, and after the reading process of the screen being processed is completed, the writing process of the next screen is performed. Is called. This is because, in the case of the first example, there is no overwriting prevention function in the second example, and an area for image development is required in the memory 800 for one screen.
[0053]
According to the second example, as compared with the first example, the storage area of the memory 800 used for the image development area can be significantly reduced, and the continuous shooting can be performed at a higher speed.
[0054]
【The invention's effect】
As described above, according to the present invention, the parallel processing of memory writing and reading is performed by the memory controller, thereby shortening the processing time until the encoded signal is generated from the output data of the CCD solid-state imaging device, and high speed. Processing is possible. In that case, if the writing of the row included in the block unit data to be read from the memory is not completed, the reading is stopped, so that the memory writing process is not completed. It is possible to prevent the reading process from being performed.
[0055]
Furthermore, the storage area of the memory can be reduced as an area corresponding to output data of less than one screen of the CCD solid-state imaging device. In that case, when writing to the memory by the memory controller, after the last row of the storage area, writing is performed after returning to the start row, and then including the row to be written to the memory. When the data reading is not completed, the vertical transfer pulse of the timing generator is stopped to substantially stop the output of the CCD solid-state imaging device and overwrite the area where the memory reading process has not been completed. Can be prevented.
[0056]
In particular, during continuous shooting, the writing process and reading process of the data of the CCD solid-state imaging device data can be performed in parallel, thereby realizing a higher-speed process than the conventional process, and with a significantly smaller memory area. The high pixel image encoding process can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a main configuration of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a read block minimum row area according to the embodiment of the present invention.
FIG. 3 is a diagram showing an operation of a first example in the embodiment of the present invention.
FIG. 4 is a diagram showing an operation of the first example in the embodiment of the present invention.
FIG. 5 is a diagram showing an operation of the first example in the embodiment of the present invention.
FIG. 6 is a diagram showing an operation of the first example in the embodiment of the present invention.
FIG. 7 is a diagram showing an operation of a second example in the embodiment of the present invention.
FIG. 8 is a diagram showing an operation of a second example in the embodiment of the present invention.
FIG. 9 is a diagram showing the operation of the second example in the embodiment of the present invention.
FIG. 10 is a diagram showing an operation of the second example in the embodiment of the present invention.
FIG. 11 is a diagram showing the operation of the second example in the embodiment of the present invention.
FIG. 12 is a timing chart showing the operation of the second example in the embodiment of the present invention.
FIG. 13 is a timing chart of operations during continuous shooting in the first example and the second example in the embodiment of the present invention.
FIG. 14 is a block diagram showing an internal configuration of a part of the imaging apparatus according to the embodiment of the present invention.
FIG. 15 is a block diagram illustrating a main configuration of a conventional imaging apparatus.
FIG. 16 is a diagram showing a configuration of a CCD solid-state imaging device.
FIG. 17 is a block diagram showing the operation of a conventional imaging apparatus.
FIG. 18 is a block diagram showing the operation of a conventional imaging apparatus.
FIG. 19 is a diagram showing a minimum unit block for read processing and a minimum unit block for JPEG encoding.
FIG. 20 is a diagram for explaining a conventional problem.
FIG. 21 is a diagram for explaining a conventional problem.
FIG. 22 is a diagram for explaining a conventional problem.
FIG. 23 is a diagram for explaining a conventional problem.
[Explanation of symbols]
601 Timing generator
602 CCD solid-state imaging device
700 Memory controller
800 memory
900 Y / C signal generator (Y / C processor)
1000 JPEG compression / decompression processing unit (JPEG processing unit)
1001 JPEG block read control unit

Claims (1)

垂直転送パルスおよび水平転送パルスを出力するタイミングジェネレータと、
露光期間中に光電変換素子に蓄積された信号電荷を前記垂直転送パルスおよび水平転送パルスに基づいて出力するCCD固体撮像素子と、
行および列方向に記憶領域を配し前記CCD固体撮像素子の出力データが書き込まれるメモリと、
前記メモリから読み出されたデータを入力し、符号化処理用の輝度信号および色差信号を生成するY/C処理手段と、
前記Y/C処理手段で生成された輝度信号および色差信号に対し符号化処理を行い、符号化信号を出力する符号化手段と、
前記符号化手段の符号化処理の負荷に応じて読出し停止信号を出力する読出し停止信号発生手段と、
前記CCD固体撮像素子の出力データを行方向に順次前記メモリへ書込み、前記メモリから所定の複数行にまたがりかつ所定の列幅のブロック単位でデータを読出し前記Y/C処理手段へ出力するとともに、前記読出し停止信号発生手段からの読出し停止信号に応答して前記メモリからの読出しを停止するメモリコントローラとを備えた撮像装置であって、
前記メモリコントローラは、前記メモリの書込みと読出しの並列処理を行い、前記メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止し、前記書込みが完了すると読出しを開始し、前記メモリへの書込みを行う際に前記記憶領域の最終行の次は開始行に戻って書込みを行い、次に前記メモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させ、前記読出しが完了すると前記垂直転送パルスの停止を解除させることを特徴とする撮像装置。
A timing generator that outputs vertical and horizontal transfer pulses;
A CCD solid-state imaging device that outputs signal charges accumulated in a photoelectric conversion element during an exposure period based on the vertical transfer pulse and the horizontal transfer pulse;
A memory in which storage areas are arranged in a row and column direction and output data of the CCD solid-state imaging device is written;
Y / C processing means for inputting data read from the memory and generating a luminance signal and a color difference signal for encoding processing;
Encoding means for performing an encoding process on the luminance signal and the color difference signal generated by the Y / C processing means and outputting an encoded signal;
A read stop signal generating means for outputting a read stop signal in accordance with the load of the encoding process of the encoding means;
The output data of the CCD solid-state imaging device is sequentially written to the memory in the row direction, the data is read out from the memory in units of blocks having a predetermined column width across a plurality of predetermined rows, and is output to the Y / C processing means. An imaging device comprising: a memory controller that stops reading from the memory in response to a read stop signal from the read stop signal generating means;
The memory controller performs parallel processing of writing to and reading from the memory. When writing of a row included in block unit data to be read from the memory is not completed, reading is stopped, and the writing is stopped. When reading is completed, when writing to the memory, writing is performed after returning to the starting row after the last row of the storage area, and then including the row to be written to the memory. An image pickup apparatus , wherein when the reading of data in block units is not completed, the vertical transfer pulse of the timing generator is stopped, and when the reading is completed, the stop of the vertical transfer pulse is released .
JP2000101046A 2000-04-03 2000-04-03 Imaging device Expired - Fee Related JP4357691B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000101046A JP4357691B2 (en) 2000-04-03 2000-04-03 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000101046A JP4357691B2 (en) 2000-04-03 2000-04-03 Imaging device

Publications (2)

Publication Number Publication Date
JP2001285776A JP2001285776A (en) 2001-10-12
JP4357691B2 true JP4357691B2 (en) 2009-11-04

Family

ID=18615166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000101046A Expired - Fee Related JP4357691B2 (en) 2000-04-03 2000-04-03 Imaging device

Country Status (1)

Country Link
JP (1) JP4357691B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4598374B2 (en) * 2003-06-12 2010-12-15 パナソニック株式会社 Image processing device
JP2015177221A (en) * 2014-03-13 2015-10-05 オリンパス株式会社 Imaging apparatus, imaging method, data recording device, and program

Also Published As

Publication number Publication date
JP2001285776A (en) 2001-10-12

Similar Documents

Publication Publication Date Title
US8605177B2 (en) Image sensor with wide dynamic range
JP2002111989A (en) Image processing circuit
JP2015144435A (en) Techniques to facilitate use of small line buffers for processing of small or large images
US20060044420A1 (en) Image pickup apparatus
JP2015053644A (en) Imaging device
US7038719B2 (en) Image sensing apparatus, image processing method, recording medium, and program
JP4598374B2 (en) Image processing device
JP4357691B2 (en) Imaging device
KR20100061311A (en) Photographing apparatus and controlling method thereof
JP2004180317A (en) Method for capturing video image and still picture
JP2000023024A (en) Image input device
JPH0564091A (en) Video camera
JP7319873B2 (en) Imaging device and its control method
JP2002010143A (en) Image pickup device
JPH1175106A (en) Still image camera
JP6280713B2 (en) Imaging device
JP4310177B2 (en) Imaging apparatus and imaging method
JP5030721B2 (en) Data processing circuit
JP4229234B2 (en) Digital camera
KR20090071321A (en) Imaging apparatus, imaging method and storing medium having computer program to perform the same
JP2008078794A (en) Image sensor driver
JP4105959B2 (en) Digital camera
JP2002185860A (en) Imaging device
JP3312381B2 (en) Imaging device and imaging method
JP3338357B2 (en) Digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090805

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees