JP4428787B2 - Imaging apparatus, control method thereof, and storage medium - Google Patents

Imaging apparatus, control method thereof, and storage medium Download PDF

Info

Publication number
JP4428787B2
JP4428787B2 JP2000027875A JP2000027875A JP4428787B2 JP 4428787 B2 JP4428787 B2 JP 4428787B2 JP 2000027875 A JP2000027875 A JP 2000027875A JP 2000027875 A JP2000027875 A JP 2000027875A JP 4428787 B2 JP4428787 B2 JP 4428787B2
Authority
JP
Japan
Prior art keywords
pixel data
color
memory
temporary storage
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000027875A
Other languages
Japanese (ja)
Other versions
JP2001218218A (en
JP2001218218A5 (en
Inventor
健一 南平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000027875A priority Critical patent/JP4428787B2/en
Publication of JP2001218218A publication Critical patent/JP2001218218A/en
Publication of JP2001218218A5 publication Critical patent/JP2001218218A5/ja
Application granted granted Critical
Publication of JP4428787B2 publication Critical patent/JP4428787B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Storing Facsimile Image Data (AREA)
  • Image Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カラー対応のCCDやMOS型イメージセンサを用いたビデオカメラ、スキャナ、デジタルカメラなどの撮像装置に関し、特に、画像データを記憶するメモリに対するアクセス技術に関する。
【0002】
【従来の技術】
撮像装置において、撮像素子としてカラー対応の複数ライン構成のリニア型CCD等のイメージセシサを用いると、その構造上、R,G,B(Red,Green,Blue)の各色間でイメージセンサが読取るラインにオフセットが生じる。
【0003】
このような読取ラインのオフセットを解消するために、一般に、オフセット解消用のバッファメモリ(オフセットメモリ)を用いている。また、撮像装置においては、画像処理のために、撮像素子によって読取った数ライン前の同じ位置の画素データを同時に画像処理部に入力する必要がある。さらに、撮像素子によって読取られA/D変換手段によってデジタル変換された画素データをリアルタイムにホストコンピュータに送信するため、オフセットメモリに対するアクセスは、画素データの書込みと読出しが混在して繰り返し行われる。
【0004】
従って、オフセットメモリとしては、従来、ランダムアクセスを特徴とし、そのアクセス速度も高速なSRAM(Static Random AccessMemory)等が使用されることが多かった。
【0005】
【発明が解決しようとする課題】
ところで、撮像装置において、撮像素子及びA/D変換器の解像度が高くなるに従って、入力画像をA/D変換した後のデジタルの画素データの量は大きくなっている。
【0006】
しかし、従来のように、例えばランダムアクセスを特徴とするSRAM等をオフセットメモリとして使用した場合、個々のSRAMは容量が小さいため、複数個のSRAMを用いる必要があり、部品点数が増加していた。このような部品点数の増加は、消費電力の増加をも招き、非常に無駄であった。
【0007】
また、DRAM(Dynamic Random Access Memory)等の大容量のメモリをオフセットメモリとして使用した場合、一画素ごと(すなわち各データごと)にオフセットメモリに画素データを読み書きすると、DRAMはランダムアクセスによる応答速度が遅いため、効率よくデータを読み書きすることができなかった。逆に、効率よくデータを読み書きするためには、複数のDRAMを用いて並列に処理していた。これも部品点数の増加となり、消費電力の増加をも招き、非常に無駄であった。
【0008】
本発明は、このような背景の下になされたもので、その課題は、一時記憶手段に対するアクセスを効率よく行えるようにすることにある。
【0009】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る撮像装置は、複数ライン構成のカラー対応の撮像素子と、前記撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段と前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御手段と、前記転送制御手段によりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御手段とを備えている。
【0010】
また、本発明は、複数ライン構成のカラー対応の撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段を有する撮像装置の制御方法であって、前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御工程と、前記転送制御工程によりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御工程とを備えている。
【0011】
また、本発明は、複数ライン構成のカラー対応の撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段を有する撮像装置により実行されるプログラムを記憶する記憶媒体であって、前記プログラムは、前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御ルーチンと、前記転送制御ルーチンによりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御ルーチンとを含んでいる。
【0012】
また、本発明では、前記一時記憶手段は、EDO DRAM(Extended Data Output DRAM)、又はSDRAM(Synchronous DRAM)により構成されている。
【0013】
また、本発明では、前記撮像素子は、RGB3色の3ラインCCD撮像素子により構成されている
【0015】
また、本発明では、前記転送制御手段は、FIFO方式のバッファメモリを用いて前記色別に纏めて、バースト転送制御を行っている。
【0016】
また、本発明では、前記転送制御手段は、ランダムアクセス型のバッファメモリを用いて前記色別に纏めて、バースト転送制御を行っている。
【0018】
また、本発明では、前記アクセス制御手段は、同一の色に係る前後する2つのラインに対応する複数の前記画素データの2つの纏まりを連続的に読出している。
【0019】
また、本発明では、前記アクセス制御手段は、同一の色に係る前後する2つのラインに対応する複数の前記画素データの2つの纏まりを連続的に読出すためのアクセス制御と、複数の前記画素データを纏めて書込むためのアクセス制御とを混在させて行っている。
【0022】
また、本発明では、前記アクセス制御手段により色別に複数個ずつ纏めて読出された画素データを、A/D変換されて入力されてきた通りの色の配列順に配列し直す再配列手段を有している。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【0026】
[第1の実施形態]
図1は本発明の第1の実施形態を適用した撮像装置の概略構成を示すブロック図である。図1において、1は撮像素子、2はA/D変換部、3は画素データ書込用バッファメモリ(WRITE CASHとも言う)、4は画素データ読出用バッファメモリ(READ CASHとも言う)、5はオフセットメモリ、6はオフセットメモリ制御部、7は外部CPU、8は外部CPU7と装置内部のブロックとの切替部、9は画像処理部、10は撮像装置の他のブロックである。
【0027】
なお、本実施形態における後述する各種の動作は、ROM200にプリセットされたプログラムに基づいてCPU100により統御され、この際、RAM300はワークエリア等として利用される。
【0028】
図2は画素データ書込用バッファメモリ3と画素データ読出用バッファメモリ4の詳細な構成を示すブロック図である。図3は本実施形態の基本動作を示すタイミングチャートである。図4,5は、それぞれオフセットメモリ5に対して書込み、読出しのみを行なった場合のタイミングチャートである。
【0029】
撮像素子1としては、カラー対応の3ラインCCDを使用し、点順次方式で走査される。この際、撮像素子1からA/D変換部2を介して入力される画素データは、R1,G1,B1,R2,G2,B2,…のように、R,G,Bの各色の画素データがサイクリックに配列された状態となっている。また、撮像素子1はカラー対応の複数ライン構成のリニア型であるため、例えば画素データR1,G1,B1は、同一画素の色データではなく、ライン間オフセット値を持つ画素データである。
【0030】
画素データ書込用バッファメモリ3と画素データ読出用バッファメモリ4は、アクセスアドレスの管理が不要なFIFO(First In First Out)方式のメモリによって構成され、また、画素データをR,G,Bの各色別に纏めて記憶できるように3面(3つのメモリ)で構成され、各色の画素データは、対応する面に一色ずつ順番に入力されていく。さらに、上記R,G,B用の3面のメモリは、それぞれ16画素分の画素データを記憶できるメモリ容量となっている。
【0031】
換言すれば、R,G,B用の3面のメモリのデータ語数はそれぞれ16となっており、これを2等分して2ブロック構成とし、一方のブロックは書込み用、他方のブロックは当該メモリからの読出し用として、排他的に利用される。そして、R,G,Bの各色の画素データは、8画素単位でオフセットメモリ5にバースト転送される。
【0032】
すなわち、A/D変換部2を介して転送されてきた画素データは、初期状態では各色のメモリの第1ブロックが選択され、この第1ブロックに順に入力されて保持される。第1ブロックに各色の8画素分の画素データが溜まると、第2ブロックが選択され、転送されてきた画素データは第2ブロックに順に入力されて保持される。この第2ブロックに各色の8画素分の画素データが溜まると、第1ブロックが選択され、転送されてきた画素データは第1ブロックに順に入力されて保持される。
【0033】
以後、この動作を繰り返す。従って、画素データ書込用バッファメモリ3への画素データの書込みは、R,G,Bの各色ごとに、第1ブロック→第2ブロック→第1ブロック→第2ブロック…のように、8画素単位で2つのブロックが交互に使用されて行われる。この際、画素データは、A/D変換部2からR1,G1,B1,R2,G2,B2,…のような順で入力されてくるので、各色8画素ずつ纏めるべく、Rの第1ブロックへR1→Gの第1ブロックへG1→Bの第1ブロックへB1→Rの第1ブロックへR2→Gの第1ブロックへG2→Bの第1ブロックへB2,…,Rの第1ブロックへR8→Gの第1ブロックへG8→Bの第1ブロックへB8,…,Rの第2ブロックへR9→Gの第2ブロックへG9→Bの第2ブロックへB9,…のように、対応する色のメモリのブロックへ振り分けられる。
【0034】
一方、画素データ書込用バッファメモリ3からの画素データの読出しは、上記の書込みとは排他的にブロックが使用されて行われる。
【0035】
すなわち、画素データ書込用バッファメモリ3から画素データを読出す場合は、初期状態では各色のメモリの第2ブロックが選択され、この第2ブロックの各色の8画素分の連続する画素データが一括してR→G→Bの順で読出される。第2ブロックの各色の8画素分の画素データが読出されてしまうと、第1ブロックが選択され、この第1ブロックの各色の8画素分の連続する画素データが一括してR→G→Bの順で読出される。
【0036】
以後、この動作を繰り返す。従って、画素データ書込用バッファメモリ3からの画素データの出力は、R,G,Bの各色ごとに、第2ブロック→第1ブロック→第2ブロック→第1ブロック…のように、書込ブロックとは排他的に2つのブロックが交互に使用されて行われる。この際、画素データはA/D変換部2からは、R1,G1,B1,R2,G2,B2,…のような順で入力されてくるが、出力されるときは、Rの第2ブロックの先頭から順に8画素分→Gの2ブロックの先頭から順に8画素分→Bの第2ブロックの先頭から順に8画素分→Rの第1ブロックの先頭から順に8画素分,…のような順になる。すなわち、R1,R2,…,R8,G1,G2,…,G8,B1,B2,…,B8,R9,R10,…,R16,…のように、各色の画素データは、8画素分ずつ纏められて出力される。
【0037】
なお、画素データ書込用バッファメモリ3に対する上記のようなアクセス制御は、R,G,Bの各色に対応して3つ設けられた書込アクセス制御部3aの制御の下に行われる。
【0038】
上記のようにして、画素データ書込用バッファメモリ3から8画素分ずつ纏められて出力された画素データは、オフセットメモリ制御部6の制御の下に、切替部8を介してオフセットメモリ5にバースト転送される。
【0039】
本実施形態では、オフセットメモリ5として、ランダムアクセス時よりもシーケンシャルアクセス時の方がアクセス応答速度が速いEDO DRAMを使用し、オフセットメモリ制御部6は、オフセットメモリ5に対してEDOモードにて画素データのアクセスを行う。また、オフセットメモリ5の後段に画像処理部9を配置し、この画像処理部9により各色の同一ラインのデータと前ラインのデータを用いて画像処理を行なうために、オフセットメモリ5に対して、上記8画素分ずつの複数画素データの連続書込みと、8画素分ずつの各色同一ライン及び1ライン前の画素データの連続読出しを、混在して行なう。
【0040】
図3は、第1の実施形態における基本動作を示すタイミシグチャートである。
【0041】
図3において、CLKは、本撮像装置の動作制御用のクロック信号、DATAINは、A/D変換部2から入力された画素データ、WR CASH WEは、画素データ書込用バッファメモリ3に対する書込イネーブル信号、 WR CASH OEは、画素データ書込用バッファメモリ3からの出力イネーブル信号を示している。
【0042】
また、WR CASH DATA OUTは、画素データ書込用バッファメモリ3から出力された画素データ、RAM RASは、オフセットメモリ5の行アクセス用のRAS端子の信号、RAM CASは、オフセットメモリ5の列アクセス用のCAS端子の信号 RAM WEは、オフセットメモリ5に対する書込イネーブル信号、RAM OEは、オフセットメモリ5からの出力イネーブル信号、RAM DATAは、オフセットメモリ5に対するアクセスデータを示している。
【0043】
また、RD CASH DATA INは、画素データ読出用バッファメモリ4に対して出力された画素データ、RD CASH WEは、画素データ読出用バッファメモリ4に対する書込イネーブル信号、 RD CASH OEは、画素データ読出用バッファメモリ4からの出力イネーブル信号を示している。DATA OUTは、画素データ読出用バッファメモリ4からの出力データを示している。なお、上記のデータ以外の信号は、全て負論理である。
【0044】
図3のRAM DATAに示したように、オフセットメモリ5に対してR11〜R18の画素データが書込まれた後、このオフセットメモリ5からR01〜R08とR11〜R18というR色の前後する2つのラインの画素データが8画素単位で連続して読出される。また、図3では図示し切れなかったが、R01〜R08とR11〜R18の連続読出しの次にG11〜G18を書込み、その次に連続読出しを行う時には、オフセットを解消すべく、R01〜R08とR11〜R18の各画素に対応するGの色の2つのラインの画素データが、同様に8画素単位で連続して読出される。
【0045】
このようにして、オフセットメモリ制御部6の制御によりオフセットメモリ5から読出した8画素分ずつの各色同一ライン及び1ライン前の画素データは、画像処理部9に入力される。この画像処理部9では、例えば2ライン分の画素データの平均値を取って補間する等の画像処理を行ない、1ライン分のデータとして画素データ読出用バッファメモリ4に出力する(図3のRD CASH DATA INのR´01〜R´08参照)。
【0046】
画素データ読出用バッファメモリ4に対する画素データ入力は、初期状態ではR,G,B各色のメモリの第1ブロックが選択される。すなわち、オフセットメモリ5からオフセットメモリ制御部6及び画像処理部9を介して転送されてきた各色8画素分連続の画素データは、最初は、第1ブロックに入力されて保持される。第1ブロックに各色8画素分連続の画素データが入力されると、第2ブロックが選択され、次の各色8画素分連続の画素データは、第2ブロックに入力されて保持される。さらに、次の各色8画素分連続の画素データが転送されてくると、第1ブロックが選択される。
【0047】
以後、この動作を繰り返す。従って、画像処理部9から転送されてきた画素データは各色ごとに、第1ブロックの先頭から順に8画素分→第2ブロックの先頭から順に8画素分→第1ブロック先頭から順に8画素分の順で、かつR→G→Bの順(R´1,R´2,…,R´8,G´1,G´2,…,G´8,B´1,B´2,…,B´8,R´9,R´10,…,R´16,…)で、画素データ読出用バッファメモリ4に保持される。
【0048】
また、画素データ読出用バッファメモリ4から他ブロック10への画素データ出力は、上記の状態とは排他的に行われる。すなわち、他ブロック10への画素データ出力は、初期状態では、各色のメモリの第2ブロックが選択され、この第2ブロックから各色の画素データが出力される。第2ブロックの各色8画素分の画素データが出力されると、第1ブロックが選択され、次の各色8画素分の画素データは、第1ブロックから出力され、この各色8画素分の画素データが出力されると、第2ブロックが選択される。
【0049】
以後、この動作を繰り返す。ただし、画素データ読出用バッファメモリ4から出力される順番は、オフセットメモリ5から読出され、メモリ制御部6、及び画像処理部9を介して供給されてきた順番、すなわち同一色の画素データが8画素分連続するような順番ではなく、A/D変換部2を介して入力されてきた順(R´1,G´1,B´1,R´2,G´2,B´2)に出力する。
【0050】
すなわち、Rの第2ブロックの先頭→Gの第2ブロックの先頭→Bの第2ブロックの先頭→Rの第2ブロックの2番目→Gの第2ブロックへの2番目→Bの第2ブロックの2番目,…,Rの第2ブロックの8番目→Gの第2ブロックの8番目→Bの第2ブロックの8番目,…,Rの第1ブロックの先頭→Gの第1ブロックの先頭→Bの第1ブロックの先頭,…のような順で読出アクセスが行われて、R´1,G´1,B´1,R´2,G´2,B´2…の順に出力される。
【0051】
なお、画素データ読出用バッファメモリ4に対する上記のようなアクセス制御は、R,G,Bの各色に対応して3つ設けられた読出アクセス制御部4aの制御の下に行われる。
【0052】
このように、撮像素子1からA/D変換部2を介して入力されてきた画素データの順を崩すことなく、画素データ読出用バッファメモリ4内の画素データを他のブロック10に対して出力する。
【0053】
また、画像処理部9を画素データ読出用バッファメモリ4の前段に配置したことにより、画素データ読出用バッファメモリ4は、画素データ書込用バッファメモリ3と同様に8画素分の2倍の16画素分(2ブロック構成)のFIFO方式のメモリで実現できる。
【0054】
また、上記のように、オフセットメモリ5に対して書込みと読出しを混在して行うことなく、メモリ制御部6の動作を変化させることにより、オフセットメモリ5に対して、書込みだけ、或いは読出しだけを行なうことも可能である。
【0055】
オフセットメモリ5に対して書込みだけを行なうモードにすると、撮像素子1からA/D変換部2を介して入力される画素データをオフセットメモリ5の容量分だけ蓄えることができる。この画素データを、外部CPU7から切替部8を介して読出すことにより、画素データを外部CPU7で扱うことができる。また、オフセットメモリ5から読出しだけを行なうモードにすると、撮像素子1からA/D変換部2を介して入力される画素データが無くなった際、オフセットメモリ5内に残っている画素データを効率よく他のブロック10に出力することができる。
【0056】
図4、図5に、それぞれ書込みだけ、読出しだけを行う場合のタイミシグチャートを示す。
【0057】
このように、第1の実施形態では、オフセットメモリ5として、1データごとのランダムアクセス時よりもバースト転送等のシーケンシャルアクセス時の方がアクセス応答速度が速いEDO DRAM等の高速・大容量メモリを使用し、EDO(ファストページ)モードにより、連続する8画素の画素データの単位で高速にアクセスするようにしている。
【0058】
また、オフセットメモリ5において、連続する8画素の画素データの単位で高速にアクセスするための準備として、FIFO方式の画素データ書込用バッファメモリ3を使用して、撮像素子1からA/D変換部2を介してR,G,Bの順にサイクリックに入力されてくる画素データを、各色8画素分連続の複数画素データに纏めて、オフセットメモリ5に出力している。
【0059】
さらに、オフセットメモリ5から各色8画素分連続データで高速に読出し、その読出データをFIFO方式の画素データ読出用バッファメモリ4を使用して、撮像素子1からA/D変換部2を介して入力されたままの順に画素データを配列し直して他のブロック10に出力するようにしている。
【0060】
このような構成により、従来のように、オフセットメモリとしてのDRAMを並列に接続することなく、高速にオフセットメモリにアクセスすることができ、また、消費電力の増大を回避することもできる。従って、撮像素子1やA/D変換部2の動作速度を落とす必要もなくなり、効率よく画像データの処理を行うことが可能となる。
【0061】
さらに、A/D変換部12からの入力データを一時記憶するメモリとして、アドレス管理の不要なFIFO方式のメモリを用いたので、一時記憶メモリに対するアクセス制御が簡単になる。
【0062】
[第2の実施形態]
図6は本発明の第2の実施形態を適用した撮像装置の概略構成を示すブロック図である。図6において、11は撮像素子、12はA/D変換部、13は画素データ書込用バッファメモリ(WRITE CASHとも言う)、14は画素データ読出用バッファメモリ(READ CASHとも言う)、15はオフセットメモリ、16はオフセットメモリ制御部、17は外部CPU、18は外部CPU17と装置内部のブロックとの切替部、20は撮像装置の他のブロック、21は書込側アドレス制御部、22は読出側アドレス制御部である。
【0063】
なお、本実施形態における後述する各種の動作は、ROM500にプリセットされたプログラムに基づいてCPU400により統御され、この際、RAM600はワークエリア等として利用される。
【0064】
図7は画素データ書込用バッファメモリ13と画素データ読出用バッファメモリ14の詳細な構成を示すブロック図である。図8は本実施形態の動作を示すタイミングチャートである。
【0065】
撮像素子11としては、カラー対応の3ラインCCDを使用し、点順次方式で走査される。この際、撮像素子11からA/D変換部12を介して入力される画素データは、R1,G1,B1,R2,G2,B2,…のように、R,G,Bの各色の画素データがサイクリックに配列された状態となっている。また、撮像素子11はカラー対応の複数ライン構成のリニア型であるため、例えば画素データR1,G1,B1は、同一画素の色データではなく、ライン間オフセット値を持つ画素データである。
【0066】
画素データ書込用バッファメモリ13と画素データ読出用バッファメモリ14は、アクセスアドレスの管理が必要なRAM(Randam Access Memory)によって構成されている。このRAMのデータ語数は、各色の複数の画素データをそれぞれ一括して転送、アクセス等すべく指定された複数画素分以上となっている。この指定複数画素数は、本実施形態では、“4”となっている。
【0067】
書込側アドレス制御部21は、画素データ書込用バッファメモリ13に対するアクセス制御を行う。この際、書込側アドレス制御部21は、画素データ書込用バッファメモリ13に対する書込アドレスと、読出アドレスとが重複しないように排他的に書込/読出アドレスを制御する。
【0068】
また、書込側アドレス制御部21は、R1,G1,B1,R2,G2,B2,…のように、R,G,Bの各色の画素データがサイクリックに配列された状態でA/D変換部12から入力されてきた画素データが、図7に示したように、同一の色の画素データが指定複数画素数だけ纏まり、かつ、この纏まりの配列順がR→G→Bの順となって画素データ書込用バッファメモリ13に保持されるように書込アドレスを制御する。さらに、画素データ書込用バッファメモリ13に保持された画素データが、R→G→Bの順で指定複数画素数だけ纏まった形で出力されるように読出アドレスを制御する。すなわち、R,G,Bの各色の画素データは、4画素単位でオフセットメモリ15にバースト転送される。
【0069】
このようにして、画素データ書込用バッファメモリ13から4画素分ずつ纏められて出力された画素データは、オフセットメモリ制御部16の制御の下に、切替部18を介してオフセットメモリ15にバースト転送される。
【0070】
本実施形態では、オフセットメモリ15として、ランダムアクセス時よりもシーケンシャルアクセス時の方がアクセス応答速度が速いEDO DRAMを使用し、オフセットメモリ制御部16は、EDOモードにてオフセットメモリ15に対する画素データのアクセスを行う。また、他のブロック20等により各色の同一ラインのデータと前ラインのデータを用いて画像処理を行うために、オフセットメモリ15に対して、指定複数画素数(4画素分)ずつの複数画素データの書込みと、指定複数画素数(4画素分)ずつの複数画素データの連続読出しを、混在して行なう。
【0071】
図8は、第2の実施形態における動作を示すタイミシグチャートである。
【0072】
図8において、CLKは、本撮像装置の動作制御用のクロック信号、DATAINは、A/D変換部12から入力された画素データ、WR CASH WAは、画素データ書込用バッファメモリ13に対する書込アドレス、 WR CASH OAは、画素データ書込用バッファメモリ13からの出力アドレスを示している。
【0073】
また、WR CASH DATA OUTは、画素データ書込用バッファメモリ13から出力された画素データ、RAM RASは、オフセットメモリ15の行アクセス用のRAS端子の信号、RAM CASは、オフセットメモリ15の列アクセス用のCAS端子の信号 RAM WEは、オフセットメモリ15に対する書込イネーブル信号、RAM OEは、オフセットメモリ15からの出力イネーブル信号、RAM DATAは、オフセットメモリ15に対するアクセスデータを示している。
【0074】
また、RD CASH DATA INは、画素データ読出用バッファメモリ14に対して出力された画素データ、RD CASH WAは、画素データ読出用バッファメモリ14に対する書込アドレス、 RD CASH OAは、画素データ読出用バッファメモリ14からの出力アドレスを示している。DATA OUTは、画素データ読出用バッファメモリ14からの出力データを示している。なお、上記のデータ以外の信号は、全て負論理である。
【0075】
図8のRAM DATAに示したように、オフセットメモリ15に対してR11〜R14の画素データが書込まれた後、このオフセットメモリ15からR01〜R04とR11〜R14というR色の前後する2つのラインの画素データが4画素単位で連続して読出される。また、図8では図示し切れなかったが、R01〜R04とR11〜R14の連続読出しの次にG11〜G14が書込まれ、その次に連続読出しする時には、オフセットを解消すべく、R01〜R04とR11〜R14の各画素に対応するGの色の2つのラインの画素データが、同様に4画素単位で連続して読出される。
【0076】
このようにして、オフセットメモリ制御部16の制御によりオフセットメモリ15から読出した4画素分ずつの各色同一ライン及び1ライン前の画素データは、画素データ読出用バッファメモリ14に出力される(図8のRD CASH DATA INのR´01〜R´04参照)。
【0077】
画素データ読出用バッファメモリ14に対するアクセス制御は、読出側アドレス制御部22により行われる。この際、読出側アドレス制御部22は、画素データ読出用バッファメモリ14に対する書込アドレスと、読出アドレスとが重複しないように排他的に書込/読出アドレスを制御する。
【0078】
また、読出側アドレス制御部22は、図7に示したように、同一の色の画素データが指定複数画素数だけ纏まって画素データ読出用バッファメモリ14に保持されるように書込アドレスを制御する。ただし、画素データ読出用バッファメモリ4から出力される順番は、オフセットメモリ15から読出され、オフセットメモリ制御部16を介して供給されてきた順番、すなわち同一色の画素データが4画素分連続するような順番ではなく、A/D変換部2を介して入力されてきた順(R´1,G´1,B´1,R´2,G´2,B´2)に出力するように、読出アドレスを制御する。
【0079】
このように、撮像素子11からA/D変換部12を介して入力されてきた画素データの順を崩すことなく、画素データ読出用バッファメモリ14内の画素データを他のブロック20に対して出力する。
【0080】
このような構成により、第1の実施形態と同様に、従来のように、オフセットメモリとしてのDRAMを並列に接続することなく、高速にオフセットメモリにアクセスすることができ、また、消費電力の増大を回避することもできる。従って、撮像素子11やA/D変換部12の動作速度を落とす必要もなくなり、効率よく画像データの処理を行うことが可能となる。
【0081】
さらに、A/D変換部12からの入力データを一時記憶するメモリとして、RAMを用いたので、オフセットメモリ16に対してバースト転送する画素データの纏まりの個数を容易に変更することが可能となる。
【0082】
なお、本発明は、上記の実施形態に限定されることなく、例えば、オフセットメモリとして、EDO DRAMの代わりに、SDRAM(Synchronous DRAM)を用いることも可能である。また、第2の実施形態においても、第1の実施形態と同様に、オフセットメモリ15に対して書込みだけ、或いは読出しだけを行うモードを設けてもよい。
【0083】
【発明の効果】
以上説明したように、本発明によれば、複数の一時記憶手段を並列に接続することなしに、1つの一時記憶手段に対して高速で画素データをアクセスすることができる。従って、撮像素子やA/D変換部の動作速度を落とすことなく、一時記憶手段に対するアクセスを効率よく行うことが可能となり、さらに、消費電力の増大を回避することも可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態を適用した撮像装置の概略構成を示すブロック図である。
【図2】本発明の第1の実施形態における画素データ書込用バッファメモリの詳細な構成を示す図である。
【図3】本発明の第1の実施形態における基本動作を示すタイムチャートである。
【図4】本発明の第1の実施形態においてオフセットメモリに対して書込みだけを行う場合の動作を示すタイムチャートである。
【図5】本発明の第1の実施形態においてオフセットメモリに対して読出しだけを行う場合の動作を示すタイムチャートである。
【図6】本発明の第2の実施形態を適用した撮像装置の概略構成を示すブロック図である。
【図7】本発明の第2の実施形態における画素データ書込用バッファメモリの詳細な構成を示す図である。
【図8】本発明の第2の実施形態における基本動作を示すタイムチャートである。
【符号の説明】
1,11…撮像素子
2,12…A/D変換部
3,13…画素データ書込用バッファメモリ
3a…書込側アクセス制御部
4,14…は画素データ読出用バッファメモリ
4a…読出側アクセス制御部
5,15…オフセットメモリ
6,16…オフセットメモリ制御部
21…書込側アドレス制御部
22…読出側アドレス制御部
100,400…CPU
200,500…ROM
300,600…RAM
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging device such as a video camera, a scanner, or a digital camera using a color-compatible CCD or MOS image sensor, and more particularly to an access technology for a memory that stores image data.
[0002]
[Prior art]
When an image sensor such as a linear CCD having a color-corresponding multi-line configuration is used as an image pickup device in an image pickup device, the image sensor reads lines between colors of R, G, B (Red, Green, Blue) due to its structure. An offset occurs.
[0003]
In order to eliminate such a reading line offset, a buffer memory (offset memory) for offset cancellation is generally used. In the imaging device, an imaging element is used for image processing. For child Therefore, it is necessary to simultaneously input pixel data at the same position several lines before being read into the image processing unit. Further, since the pixel data read by the image sensor and digitally converted by the A / D conversion means is transmitted to the host computer in real time, the access to the offset memory is repeatedly performed while the writing and reading of the pixel data are mixed.
[0004]
Therefore, as the offset memory, an SRAM (Static Random Access Memory) or the like, which is conventionally characterized by random access and has a high access speed, is often used.
[0005]
[Problems to be solved by the invention]
By the way, in the imaging apparatus, as the resolution of the imaging device and the A / D converter increases, the amount of digital pixel data after A / D conversion of the input image increases.
[0006]
However, for example, when an SRAM or the like characterized by random access is used as an offset memory as in the prior art, each SRAM has a small capacity, so it is necessary to use a plurality of SRAMs, and the number of parts is increased. . Such an increase in the number of parts also leads to an increase in power consumption, which is very wasteful.
[0007]
In addition, when a large capacity memory such as DRAM (Dynamic Random Access Memory) is used as an offset memory, if the pixel data is read / written to / from the offset memory for each pixel (that is, for each data), the response speed of the DRAM is increased by random access. Because it was slow, it was not possible to read and write data efficiently. Conversely, in order to read and write data efficiently, a plurality of DRAMs are used for parallel processing. This also increases the number of parts and increases the power consumption, which is very wasteful.
[0008]
The present invention has been made under such a background, and an object thereof is to enable efficient access to temporary storage means.
[0009]
[Means for Solving the Problems]
In order to solve the above problems, the present invention Imaging apparatus according to Is A color-capable imaging device having a multi-line configuration; Temporary storage means for temporarily storing pixel data output from the image sensor and subjected to A / D conversion; , A plurality of the pixel data are stored in the temporary storage unit. For each color of the multi-line configuration color Transfer control means for performing burst transfer collectively, and reading and writing the plurality of pixel data burst-transferred by the transfer control means And offset between pixel data of each color corresponding to the multiple lines And an access control means for controlling access to the temporary storage means.
[0010]
The present invention also provides: Multi-line color support A method for controlling an imaging apparatus having temporary storage means for temporarily storing pixel data output from an image sensor and subjected to A / D conversion, wherein a plurality of the pixel data are stored in the temporary storage means. For each color of the multi-line configuration color A transfer control process for performing burst transfer collectively, and a plurality of pixel data burst-transferred by the transfer control process are collectively read and written And offset between pixel data of each color corresponding to the multiple lines And an access control step for controlling access to the temporary storage means.
[0011]
The present invention also provides: Multi-line color support A storage medium for storing a program executed by an imaging apparatus having temporary storage means for temporarily storing pixel data output from an image sensor and subjected to A / D conversion. The pixel data of For each color of the multi-line configuration color A transfer control routine for collectively transferring bursts, and reading and writing a plurality of the pixel data burst-transferred by the transfer control routines And offset between pixel data of each color corresponding to the multiple lines And an access control routine for controlling access to the temporary storage means.
[0012]
In the present invention, the temporary storage means is constituted by an EDO DRAM (Extended Data Output DRAM) or an SDRAM (Synchronous DRAM).
[0013]
In the present invention, the image sensor is Consists of RGB 3-color CCD image sensor .
[0015]
In the present invention, the transfer control means is a FIFO type. Buffer memory Using Summarize by the color, Burst transfer control is performed.
[0016]
In the present invention, the transfer control means is a random access type. Buffer memory Using Summarize by the color, Burst transfer control is performed.
[0018]
In the present invention, the access control means Stage The two groups of the plurality of pixel data corresponding to the two preceding and following lines relating to the same color are continuously read out.
[0019]
In the present invention, the access control means Stage Access control for continuously reading two groups of the plurality of pixel data corresponding to two preceding and following lines relating to the same color, and access control for collectively writing the plurality of pixel data Are mixed.
[0022]
In the present invention, the access control means In steps A rearrangement method for rearranging the pixel data read out in batches by color according to the color arrangement order as input after A / D conversion. Step Have.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0026]
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus to which the first embodiment of the present invention is applied. In FIG. 1, 1 is an image sensor, 2 is an A / D converter, 3 is a pixel data write buffer memory (also referred to as WRITE CASH), 4 is a pixel data read buffer memory (also referred to as READ CASH), and 5 is An offset memory, 6 is an offset memory control unit, 7 is an external CPU, 8 is a switching unit between the external CPU 7 and a block inside the apparatus, 9 is an image processing unit, and 10 is another block of the imaging apparatus.
[0027]
Various operations described later in the present embodiment are controlled by the CPU 100 based on a program preset in the ROM 200, and at this time, the RAM 300 is used as a work area or the like.
[0028]
FIG. 2 is a block diagram showing the detailed configuration of the pixel data writing buffer memory 3 and the pixel data reading buffer memory 4. FIG. 3 is a timing chart showing the basic operation of the present embodiment. 4 and 5 are timing charts when only writing and reading are performed to the offset memory 5, respectively.
[0029]
As the image sensor 1, a color-corresponding 3-line CCD is used and scanned in a dot sequential manner. At this time, the pixel data input from the image sensor 1 via the A / D conversion unit 2 is pixel data of R, G, B colors such as R1, G1, B1, R2, G2, B2,. Are arranged in a cyclic manner. In addition, since the imaging device 1 is a linear type with a plurality of lines corresponding to color, for example, the pixel data R1, G1, and B1 are not color data of the same pixel but pixel data having an interline offset value.
[0030]
The pixel data writing buffer memory 3 and the pixel data reading buffer memory 4 are constituted by a FIFO (First In First Out) type memory that does not require management of access addresses, and the pixel data is R, G, B. It is composed of three surfaces (three memories) so that each color can be stored together, and pixel data of each color is sequentially input to the corresponding surface one color at a time. Further, each of the three R, G, and B memories has a memory capacity capable of storing pixel data for 16 pixels.
[0031]
In other words, the number of data words in the three memory planes for R, G, and B is 16, respectively, and is divided into two blocks to form a two-block configuration, with one block for writing and the other block for Used exclusively for reading from memory. Then, R, G, and B pixel data are burst transferred to the offset memory 5 in units of 8 pixels.
[0032]
In other words, the pixel data transferred via the A / D converter 2 is selected and stored in the first block in the initial state in the first block of each color memory. When pixel data for eight pixels of each color is accumulated in the first block, the second block is selected, and the transferred pixel data is sequentially input and held in the second block. When pixel data for eight pixels of each color is accumulated in the second block, the first block is selected, and the transferred pixel data is sequentially input and held in the first block.
[0033]
Thereafter, this operation is repeated. Therefore, the pixel data is written into the pixel data writing buffer memory 3 for each color of R, G, and B in the form of the first block → second block → first block → second block... Two blocks are used alternately in units. At this time, since the pixel data is input from the A / D converter 2 in the order of R1, G1, B1, R2, G2, B2,..., The first block of R to collect 8 pixels of each color. R1 → G first block G1 → B first block B1 → R first block R2 → G first block G2 → B first block B2,..., R first block From R8 → G to the first block G8 → B to the first block B8,..., R to the second block R9 → G to the second block G9 → B to the second block B9,... It is distributed to the corresponding color memory block.
[0034]
On the other hand, the reading of the pixel data from the pixel data writing buffer memory 3 is performed using a block exclusively from the above writing.
[0035]
That is, when reading out pixel data from the pixel data writing buffer memory 3, in the initial state, the second block of the memory of each color is selected, and continuous pixel data of 8 pixels of each color of this second block is batched. The data is read in the order of R → G → B. When the pixel data for 8 pixels of each color of the second block is read out, the first block is selected, and the continuous pixel data of 8 pixels of each color in the first block are collectively R → G → B. Are read in this order.
[0036]
Thereafter, this operation is repeated. Accordingly, the pixel data output from the pixel data writing buffer memory 3 is written in the order of the second block → the first block → the second block → the first block, for each of R, G, and B colors. The block is exclusively used by alternately using two blocks. At this time, the pixel data is input from the A / D conversion unit 2 in the order of R1, G1, B1, R2, G2, B2,... 8 pixels in order from the top of the block → 8 pixels in order from the top of the two blocks of G → 8 pixels in order from the top of the second block of B → 8 pixels in order from the top of the first block of R, etc. In order. That is, R1, R2,..., R8, G1, G2,..., G8, B1, B2, ..., B8, R9, R10,. Output.
[0037]
The access control as described above for the pixel data writing buffer memory 3 is performed under the control of three write access control units 3a corresponding to the R, G, and B colors.
[0038]
As described above, the pixel data collected and output by 8 pixels from the pixel data writing buffer memory 3 is output to the offset memory 5 via the switching unit 8 under the control of the offset memory control unit 6. Burst transfer.
[0039]
In the present embodiment, an EDO DRAM having a faster access response speed in sequential access than in random access is used as the offset memory 5, and the offset memory control unit 6 performs pixel processing in the EDO mode with respect to the offset memory 5. Perform data access. In addition, an image processing unit 9 is arranged after the offset memory 5, and the image processing unit 9 performs image processing using the same line data and the previous line data of each color. The continuous writing of a plurality of pixel data for each of the 8 pixels and the continuous reading of the pixel data of the same color and the previous line for each of the 8 pixels are performed in a mixed manner.
[0040]
FIG. 3 is a timing chart showing the basic operation in the first embodiment.
[0041]
In FIG. 3, CLK is a clock signal for controlling the operation of the imaging apparatus, DATAIN is pixel data input from the A / D conversion unit 2, and WR CASH WE is writing to the pixel data writing buffer memory 3. An enable signal WR CASH OE indicates an output enable signal from the pixel data writing buffer memory 3.
[0042]
WR CASH DATA OUT is pixel data output from the pixel data writing buffer memory 3, RAM RAS is a signal of the RAS terminal for row access of the offset memory 5, and RAM CAS is column access of the offset memory 5. The CAS terminal signal RAM WE indicates a write enable signal for the offset memory 5, RAM OE indicates an output enable signal from the offset memory 5, and RAM DATA indicates access data for the offset memory 5.
[0043]
RD CASH DATA IN is pixel data output to the pixel data reading buffer memory 4, RD CASH WE is a write enable signal for the pixel data reading buffer memory 4, and RD CASH OE is pixel data reading. An output enable signal from the buffer memory 4 is shown. DATA OUT indicates output data from the pixel data reading buffer memory 4. All signals other than the above data are negative logic.
[0044]
As shown in the RAM DATA of FIG. 3, after the pixel data of R11 to R18 are written in the offset memory 5, two R01 to R08 and R11 to R18 of the R color before and after the R color are written from the offset memory 5. The pixel data of the line is continuously read out in units of 8 pixels. Further, although not shown in FIG. 3, when G11 to G18 are written next to the continuous reading of R01 to R08 and R11 to R18 and the subsequent continuous reading is performed, R01 to R08 are set to eliminate the offset. Similarly, pixel data of two lines of G color corresponding to each pixel of R11 to R18 are continuously read out in units of 8 pixels.
[0045]
In this way, the pixel data of the same line and the previous line for each color for 8 pixels read from the offset memory 5 under the control of the offset memory control unit 6 are input to the image processing unit 9. The image processing unit 9 performs image processing such as interpolation by taking an average value of pixel data for two lines, and outputs the data to the pixel data reading buffer memory 4 as data for one line (RD in FIG. 3). (See RSH01 to R'08 of CASH DATA IN).
[0046]
As the pixel data input to the pixel data reading buffer memory 4, the first block of the R, G, B color memory is selected in the initial state. That is, the continuous pixel data of 8 pixels for each color transferred from the offset memory 5 via the offset memory control unit 6 and the image processing unit 9 is first input and held in the first block. When continuous pixel data of 8 pixels for each color is input to the first block, the second block is selected, and continuous pixel data of 8 pixels for each color is input to the second block and held. Furthermore, when continuous pixel data for the next eight colors is transferred, the first block is selected.
[0047]
Thereafter, this operation is repeated. Accordingly, the pixel data transferred from the image processing unit 9 is, for each color, 8 pixels in order from the top of the first block → 8 pixels in order from the top of the second block → 8 pixels in order from the top of the first block. In order and R → G → B (R′1, R′2,..., R′8, G′1, G′2,..., G′8, B′1, B′2,. B′8, R′9, R′10,..., R′16, ...) are held in the pixel data reading buffer memory 4.
[0048]
The pixel data output from the pixel data reading buffer memory 4 to the other block 10 is performed exclusively from the above state. In other words, in the initial state, the pixel data output to the other block 10 is performed by selecting the second block of the memory of each color and outputting the pixel data of each color from the second block. When pixel data for 8 pixels of each color in the second block is output, the first block is selected, and pixel data for the next 8 pixels of each color is output from the 1st block, and the pixel data for 8 pixels of each color. Is output, the second block is selected.
[0049]
Thereafter, this operation is repeated. However, the order output from the pixel data reading buffer memory 4 is the order read from the offset memory 5 and supplied via the memory control unit 6 and the image processing unit 9, that is, the pixel data of the same color is 8 It is not the order in which the pixels are continuous, but in the order (R′1, G′1, B′1, R′2, G′2, B′2) input via the A / D converter 2. Output.
[0050]
That is, the head of the second block of R → the head of the second block of G → the head of the second block of B → the second of the second block of R → the second to the second block of G → the second block of B 8th of the second block of R, 8th of the second block of G, 8th of the second block of B,..., The beginning of the first block of R → the beginning of the first block of G → Read access is performed in the order of the top of the first block of B,... And output in the order of R′1, G′1, B′1, R′2, G′2, B′2. The
[0051]
Note that the access control as described above for the pixel data reading buffer memory 4 is performed under the control of the three read access control units 4a corresponding to the R, G, and B colors.
[0052]
In this way, the pixel data in the pixel data reading buffer memory 4 is output to the other blocks 10 without breaking the order of the pixel data input from the image sensor 1 via the A / D converter 2. To do.
[0053]
In addition, since the image processing unit 9 is arranged in the preceding stage of the pixel data reading buffer memory 4, the pixel data reading buffer memory 4 is 16 times as many as eight pixels, like the pixel data writing buffer memory 3. This can be realized with a FIFO memory for pixels (2-block configuration).
[0054]
In addition, as described above, only writing or reading is performed on the offset memory 5 by changing the operation of the memory control unit 6 without performing both writing and reading on the offset memory 5 in a mixed manner. It is also possible to do this.
[0055]
When the mode for performing only writing to the offset memory 5 is set, pixel data input from the image sensor 1 via the A / D conversion unit 2 can be stored by the capacity of the offset memory 5. By reading out the pixel data from the external CPU 7 through the switching unit 8, the pixel data can be handled by the external CPU 7. Further, when the mode in which only reading from the offset memory 5 is performed, when there is no pixel data input from the image sensor 1 via the A / D converter 2, the pixel data remaining in the offset memory 5 is efficiently stored. It can be output to another block 10.
[0056]
4 and 5 show timing charts when only writing and reading are performed, respectively.
[0057]
As described above, in the first embodiment, the offset memory 5 is a high-speed, large-capacity memory such as an EDO DRAM that has a faster access response speed in sequential access such as burst transfer than in random access for each data. In the EDO (fast page) mode, high-speed access is made in units of continuous 8-pixel pixel data.
[0058]
In addition, in the offset memory 5, as preparation for high-speed access in units of pixel data of 8 consecutive pixels, the FIFO memory pixel data writing buffer memory 3 is used to perform A / D conversion from the image sensor 1. Pixel data that is cyclically input in the order of R, G, and B via the unit 2 is collected into a plurality of pixel data that is continuous for 8 pixels of each color, and is output to the offset memory 5.
[0059]
Further, the data is read from the offset memory 5 at a high speed with continuous data for 8 pixels of each color, and the read data is input from the image sensor 1 through the A / D converter 2 using the FIFO-type pixel data reading buffer memory 4. The pixel data is rearranged in the order as it is, and output to another block 10.
[0060]
With such a configuration, it is possible to access the offset memory at high speed without connecting DRAMs as the offset memory in parallel as in the prior art, and to avoid an increase in power consumption. Therefore, it is not necessary to reduce the operation speed of the image sensor 1 and the A / D converter 2, and the image data can be processed efficiently.
[0061]
Furthermore, since a FIFO memory that does not require address management is used as a memory that temporarily stores input data from the A / D converter 12, access control to the temporary memory is simplified.
[0062]
[Second Embodiment]
FIG. 6 is a block diagram showing a schematic configuration of an imaging apparatus to which the second embodiment of the present invention is applied. In FIG. 6, 11 is an image sensor, 12 is an A / D converter, 13 is a pixel data write buffer memory (also referred to as WRITE CASH), 14 is a pixel data read buffer memory (also referred to as READ CASH), and 15 is Offset memory, 16 is an offset memory control unit, 17 is an external CPU, 18 is a switching unit between the external CPU 17 and a block inside the apparatus, 20 is another block of the imaging device, 21 is a write side address control unit, and 22 is a read This is a side address control unit.
[0063]
Various operations described later in the present embodiment are controlled by the CPU 400 based on a program preset in the ROM 500. At this time, the RAM 600 is used as a work area or the like.
[0064]
FIG. 7 is a block diagram showing detailed configurations of the pixel data writing buffer memory 13 and the pixel data reading buffer memory 14. FIG. 8 is a timing chart showing the operation of this embodiment.
[0065]
As the image pickup device 11, a color-corresponding three-line CCD is used, and scanning is performed in a dot sequential manner. At this time, pixel data input from the image sensor 11 via the A / D converter 12 is pixel data of each color of R, G, and B, such as R1, G1, B1, R2, G2, B2,. Are arranged in a cyclic manner. Further, since the image pickup device 11 is a linear type having a plurality of color-corresponding line configurations, for example, the pixel data R1, G1, and B1 are not the color data of the same pixel but pixel data having an interline offset value.
[0066]
The pixel data writing buffer memory 13 and the pixel data reading buffer memory 14 are configured by a RAM (Random Access Memory) that requires management of access addresses. The number of data words in the RAM is equal to or more than a plurality of pixels designated to collectively transfer and access a plurality of pixel data of each color. The designated number of pixels is “4” in the present embodiment.
[0067]
The writing side address control unit 21 performs access control to the pixel data writing buffer memory 13. At this time, the write side address control unit 21 exclusively controls the write / read address so that the write address for the pixel data write buffer memory 13 and the read address do not overlap.
[0068]
Further, the write side address control unit 21 performs A / D in a state where pixel data of each color of R, G, B is cyclically arranged as in R1, G1, B1, R2, G2, B2,. As shown in FIG. 7, the pixel data input from the conversion unit 12 is a group of pixel data of the same color for a specified number of pixels, and the arrangement order of the group is R → G → B. Thus, the write address is controlled so as to be held in the pixel data write buffer memory 13. Further, the read address is controlled so that the pixel data held in the pixel data writing buffer memory 13 is output in a form in which a specified number of pixels are collected in the order of R → G → B. That is, R, G, and B pixel data are burst transferred to the offset memory 15 in units of four pixels.
[0069]
In this way, the pixel data collected and output for each of the four pixels from the pixel data writing buffer memory 13 is burst to the offset memory 15 via the switching unit 18 under the control of the offset memory control unit 16. Transferred.
[0070]
In the present embodiment, an EDO DRAM having a faster access response speed during sequential access than during random access is used as the offset memory 15, and the offset memory control unit 16 uses pixel data for the offset memory 15 in EDO mode. Access. In addition, in order to perform image processing using the same line data of each color and the data of the previous line by the other block 20 or the like, a plurality of pixel data of a specified plurality of pixels (for four pixels) is provided to the offset memory 15 And continuous reading of a plurality of pixel data for each specified number of pixels (for four pixels) are performed in a mixed manner.
[0071]
FIG. 8 is a timing chart showing the operation in the second embodiment.
[0072]
In FIG. 8, CLK is a clock signal for controlling the operation of the imaging apparatus, DATAIN is pixel data input from the A / D converter 12, and WR CASH WA is writing to the pixel data writing buffer memory 13. An address WR CASH OA indicates an output address from the pixel data writing buffer memory 13.
[0073]
WR CASH DATA OUT is pixel data output from the pixel data writing buffer memory 13, RAM RAS is a signal of the RAS terminal for row access of the offset memory 15, and RAM CAS is column access of the offset memory 15. The CAS terminal signal RAM WE indicates a write enable signal for the offset memory 15, RAM OE indicates an output enable signal from the offset memory 15, and RAM DATA indicates access data for the offset memory 15.
[0074]
Further, RD CASH DATA IN is pixel data output to the pixel data reading buffer memory 14, RD CASH WA is a writing address to the pixel data reading buffer memory 14, and RD CASH OA is pixel data reading. An output address from the buffer memory 14 is shown. DATA OUT indicates output data from the pixel data reading buffer memory 14. All signals other than the above data are negative logic.
[0075]
As shown in the RAM DATA of FIG. 8, after the pixel data of R11 to R14 are written to the offset memory 15, two R01 to R04 and R11 to R14 of the R color before and after the R color are written from the offset memory 15. The pixel data of the line is continuously read out in units of 4 pixels. Although not shown in FIG. 8, G11 to G14 are written after the continuous reading of R01 to R04 and R11 to R14. Similarly, pixel data of two lines of G color corresponding to each pixel of R11 to R14 are continuously read out in units of four pixels.
[0076]
In this manner, the pixel data of the same color and the previous line for each of the four pixels read from the offset memory 15 under the control of the offset memory control unit 16 are output to the pixel data reading buffer memory 14 (FIG. 8). RD CASH DATA IN R'01 to R'04).
[0077]
Access control to the pixel data reading buffer memory 14 is performed by the reading-side address control unit 22. At this time, the read side address control unit 22 exclusively controls the write / read address so that the write address for the pixel data read buffer memory 14 and the read address do not overlap.
[0078]
Further, as shown in FIG. 7, the read-side address control unit 22 controls the write address so that pixel data of the same color is collected in a specified number of pixels and held in the pixel data read buffer memory 14. To do. However, the order output from the pixel data reading buffer memory 4 is the order read from the offset memory 15 and supplied via the offset memory control unit 16, that is, the pixel data of the same color is continuous for four pixels. Output in the order (R′1, G′1, B′1, R′2, G′2, B′2) input via the A / D conversion unit 2 instead of Control the read address.
[0079]
In this manner, the pixel data in the pixel data reading buffer memory 14 is output to the other block 20 without changing the order of the pixel data input from the image sensor 11 via the A / D converter 12. To do.
[0080]
With this configuration, as in the first embodiment, the offset memory can be accessed at high speed without connecting the DRAM as the offset memory in parallel as in the prior art, and the power consumption is increased. Can also be avoided. Therefore, it is not necessary to reduce the operation speed of the image sensor 11 and the A / D converter 12, and it is possible to efficiently process image data.
[0081]
Further, since the RAM is used as the memory for temporarily storing the input data from the A / D converter 12, the number of pixel data to be burst transferred to the offset memory 16 can be easily changed. .
[0082]
The present invention is not limited to the above-described embodiment. For example, an SDRAM (Synchronous DRAM) can be used as an offset memory instead of an EDO DRAM. Also in the second embodiment, a mode in which only writing or reading is performed with respect to the offset memory 15 may be provided as in the first embodiment.
[0083]
【The invention's effect】
As described above, according to the present invention, it is possible to access pixel data at a high speed to one temporary storage unit without connecting a plurality of temporary storage units in parallel. Therefore, it is possible to efficiently access the temporary storage means without reducing the operation speed of the image sensor and the A / D conversion unit, and it is also possible to avoid an increase in power consumption.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus to which a first embodiment of the present invention is applied.
FIG. 2 is a diagram showing a detailed configuration of a pixel data writing buffer memory according to the first embodiment of the present invention.
FIG. 3 is a time chart showing a basic operation in the first embodiment of the present invention.
FIG. 4 is a time chart showing an operation when only writing to the offset memory is performed in the first embodiment of the present invention;
FIG. 5 is a time chart showing an operation when only reading is performed with respect to the offset memory in the first embodiment of the present invention;
FIG. 6 is a block diagram showing a schematic configuration of an imaging apparatus to which a second embodiment of the present invention is applied.
FIG. 7 is a diagram showing a detailed configuration of a pixel data writing buffer memory according to a second embodiment of the present invention.
FIG. 8 is a time chart showing the basic operation in the second embodiment of the present invention.
[Explanation of symbols]
1, 11 ... Image sensor
2,12 ... A / D converter
3, 13 ... Buffer memory for writing pixel data
3a: Write side access control unit
4, 14... Are pixel data reading buffer memories.
4a: Read side access control unit
5, 15 ... Offset memory
6, 16 ... Offset memory control unit
21: Write side address control unit
22... Read side address control unit
100, 400 ... CPU
200,500 ... ROM
300,600 ... RAM

Claims (10)

複数ライン構成のカラー対応の撮像素子と、
前記撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段と
前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御手段と、
前記転送制御手段によりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御手段と、
を備えたことを特徴とする撮像装置。
A multi-line color image sensor;
A temporary storage means for temporarily storing the pixel data A / D-converted output from the imaging element,
A transfer control unit that burst-transfers the plurality of pixel data to the temporary storage unit in a collective manner according to colors of the plurality of lines ; and
Access control means for collectively reading and reading the plurality of pixel data burst-transferred by the transfer control means and performing access control to the temporary storage means so as to eliminate the offset between the pixel data of each color corresponding to the plurality of lines When,
An imaging apparatus comprising:
前記一時記憶手段は、EDO DRAM(Extended Data Output DRAM)、又はSDRAM(Synchronous DRAM)により構成されていることを特徴とする請求項1記載の撮像装置。  2. The imaging apparatus according to claim 1, wherein the temporary storage unit is configured by an EDO DRAM (Extended Data Output DRAM) or an SDRAM (Synchronous DRAM). 前記撮像素子は、RGB3色の3ラインCCD撮像素子であることを特徴とする請求項1記載の撮像装置。The image pickup apparatus according to claim 1, wherein the image pickup device is an RGB three-color three-line CCD image pickup device. 前記転送制御手段は、FIFO方式のバッファメモリを用いて前記色別に纏めて、バースト転送制御を行うことを特徴とする請求項に記載の撮像装置。The image pickup apparatus according to claim 1 , wherein the transfer control unit performs burst transfer control for each color using a FIFO buffer memory . 前記転送制御手段は、ランダムアクセス型のバッファメモリを用いて前記色別に纏めて、バースト転送制御を行うことを特徴とする請求項に記載の撮像装置。The imaging apparatus according to claim 1 , wherein the transfer control unit performs burst transfer control for each color using a random access buffer memory . 前記アクセス制御手段は、同一の色に係る前後する2つのラインに対応する複数の前記画素データの2つの纏まりを連続的に読出すことを特徴とする請求項に記載の撮像装置。The imaging apparatus according to claim 1 , wherein the access control unit continuously reads two groups of the plurality of pieces of pixel data corresponding to two preceding and following lines related to the same color. 前記アクセス制御手段は、同一の色に係る前後する2つのラインに対応する複数の前記画素データの2つの纏まりを連続的に読出すためのアクセス制御と、複数の前記画素データを纏めて書込むためのアクセス制御とを混在させて行うことを特徴とする請求項に記載の撮像装置。The access control means writes access control for continuously reading two groups of the plurality of pixel data corresponding to two lines preceding and following the same color, and collectively writing the plurality of pixel data. The image pickup apparatus according to claim 6 , wherein the access control is performed in a mixed manner. 前記アクセス制御手段により色別に複数個ずつ纏めて読出された画素データを、A/D変換されて入力されてきた通りの色の配列順に配列し直す再配列手段を有することを特徴とする特徴とする請求項に記載の撮像装置。Re-arrangement means for re-arranging pixel data collectively read by the access control means for each color according to the color arrangement order as input after A / D conversion; The imaging device according to claim 1 . 複数ライン構成のカラー対応の撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段を有する撮像装置の制御方法であって、
前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御工程と、
前記転送制御工程によりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御工程と、
を備えたことを特徴とする撮像装置の制御方法。
A method for controlling an imaging apparatus having temporary storage means for temporarily storing pixel data output from a color-capable color- capturing image sensor having a plurality of lines and subjected to A / D conversion,
A transfer control step of burst-transferring the plurality of pieces of pixel data to the temporary storage unit for each color of the plurality of line configurations ;
An access control step for performing access control on the temporary storage unit so as to collectively read / write the plurality of pixel data burst-transferred by the transfer control step and eliminate an offset between pixel data of each color corresponding to the plurality of lines When,
An image pickup apparatus control method comprising:
複数ライン構成のカラー対応の撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段を有する撮像装置により実行されるプログラムを記憶する記憶媒体であって、前記プログラムは、
前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御ルーチンと、
前記転送制御ルーチンによりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御ルーチンと、
を含むことを特徴とする記憶媒体。
A storage medium for storing a program executed by an imaging apparatus having temporary storage means for temporarily storing pixel data output from a color-compatible imaging device having a multi-line configuration and subjected to A / D conversion.
A transfer control routine for burst-transferring a plurality of the pixel data to the temporary storage unit for each color of the plurality of line configurations ;
An access control routine that collectively reads / writes the plurality of pixel data burst-transferred by the transfer control routine and performs access control to the temporary storage means so as to eliminate the offset between the pixel data of each color corresponding to the plurality of lines When,
A storage medium comprising:
JP2000027875A 2000-02-04 2000-02-04 Imaging apparatus, control method thereof, and storage medium Expired - Fee Related JP4428787B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000027875A JP4428787B2 (en) 2000-02-04 2000-02-04 Imaging apparatus, control method thereof, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000027875A JP4428787B2 (en) 2000-02-04 2000-02-04 Imaging apparatus, control method thereof, and storage medium

Publications (3)

Publication Number Publication Date
JP2001218218A JP2001218218A (en) 2001-08-10
JP2001218218A5 JP2001218218A5 (en) 2007-04-05
JP4428787B2 true JP4428787B2 (en) 2010-03-10

Family

ID=18553386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000027875A Expired - Fee Related JP4428787B2 (en) 2000-02-04 2000-02-04 Imaging apparatus, control method thereof, and storage medium

Country Status (1)

Country Link
JP (1) JP4428787B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924104B2 (en) * 2012-05-01 2016-05-25 コニカミノルタ株式会社 Image processing apparatus and image forming apparatus

Also Published As

Publication number Publication date
JP2001218218A (en) 2001-08-10

Similar Documents

Publication Publication Date Title
US5940087A (en) Graphic processing apparatus and method
US6593965B1 (en) CCD data pixel interpolation circuit and digital still camera equipped with it
JP3860808B2 (en) Color interpolation line buffer and line data providing apparatus and method
US7525577B2 (en) Image processing apparatus and image processing method
JP4428787B2 (en) Imaging apparatus, control method thereof, and storage medium
JP2000311241A (en) Image processor
JP2012146032A (en) Image memory control apparatus and image processing apparatus
JP3948152B2 (en) Image information rotation device
JPH11306343A (en) Rotational processing device for two-dimensional data
JP3094346B2 (en) Image memory device
JPH10262220A (en) Semiconductor integrated circuit
JP3458203B2 (en) Image processing device
JP2773686B2 (en) Printer device
JPH1027130A (en) Picture processor and its processing method
JP3114577B2 (en) Color image transfer device
JP4369137B2 (en) Image processing device for printing
JPH04288772A (en) Color image processor
JP2004120027A (en) Image processing apparatus
JP2004320314A (en) Image scanner
JPH02108169A (en) Frame memory device
JPH05260451A (en) Lsi for picture coding processing
JPS62256300A (en) Video storage device
JP2003092673A (en) Image data rotation processing apparatus
JPS61205071A (en) Color recorder
JPH11212860A (en) Picture storage device

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070201

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees