JP4428787B2 - Imaging apparatus, control method thereof, and storage medium - Google Patents
Imaging apparatus, control method thereof, and storage medium Download PDFInfo
- Publication number
- JP4428787B2 JP4428787B2 JP2000027875A JP2000027875A JP4428787B2 JP 4428787 B2 JP4428787 B2 JP 4428787B2 JP 2000027875 A JP2000027875 A JP 2000027875A JP 2000027875 A JP2000027875 A JP 2000027875A JP 4428787 B2 JP4428787 B2 JP 4428787B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- color
- memory
- temporary storage
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Storing Facsimile Image Data (AREA)
- Image Input (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、カラー対応のCCDやMOS型イメージセンサを用いたビデオカメラ、スキャナ、デジタルカメラなどの撮像装置に関し、特に、画像データを記憶するメモリに対するアクセス技術に関する。
【0002】
【従来の技術】
撮像装置において、撮像素子としてカラー対応の複数ライン構成のリニア型CCD等のイメージセシサを用いると、その構造上、R,G,B(Red,Green,Blue)の各色間でイメージセンサが読取るラインにオフセットが生じる。
【0003】
このような読取ラインのオフセットを解消するために、一般に、オフセット解消用のバッファメモリ(オフセットメモリ)を用いている。また、撮像装置においては、画像処理のために、撮像素子によって読取った数ライン前の同じ位置の画素データを同時に画像処理部に入力する必要がある。さらに、撮像素子によって読取られA/D変換手段によってデジタル変換された画素データをリアルタイムにホストコンピュータに送信するため、オフセットメモリに対するアクセスは、画素データの書込みと読出しが混在して繰り返し行われる。
【0004】
従って、オフセットメモリとしては、従来、ランダムアクセスを特徴とし、そのアクセス速度も高速なSRAM(Static Random AccessMemory)等が使用されることが多かった。
【0005】
【発明が解決しようとする課題】
ところで、撮像装置において、撮像素子及びA/D変換器の解像度が高くなるに従って、入力画像をA/D変換した後のデジタルの画素データの量は大きくなっている。
【0006】
しかし、従来のように、例えばランダムアクセスを特徴とするSRAM等をオフセットメモリとして使用した場合、個々のSRAMは容量が小さいため、複数個のSRAMを用いる必要があり、部品点数が増加していた。このような部品点数の増加は、消費電力の増加をも招き、非常に無駄であった。
【0007】
また、DRAM(Dynamic Random Access Memory)等の大容量のメモリをオフセットメモリとして使用した場合、一画素ごと(すなわち各データごと)にオフセットメモリに画素データを読み書きすると、DRAMはランダムアクセスによる応答速度が遅いため、効率よくデータを読み書きすることができなかった。逆に、効率よくデータを読み書きするためには、複数のDRAMを用いて並列に処理していた。これも部品点数の増加となり、消費電力の増加をも招き、非常に無駄であった。
【0008】
本発明は、このような背景の下になされたもので、その課題は、一時記憶手段に対するアクセスを効率よく行えるようにすることにある。
【0009】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る撮像装置は、複数ライン構成のカラー対応の撮像素子と、前記撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段と、前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御手段と、前記転送制御手段によりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御手段とを備えている。
【0010】
また、本発明は、複数ライン構成のカラー対応の撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段を有する撮像装置の制御方法であって、前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御工程と、前記転送制御工程によりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御工程とを備えている。
【0011】
また、本発明は、複数ライン構成のカラー対応の撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段を有する撮像装置により実行されるプログラムを記憶する記憶媒体であって、前記プログラムは、前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御ルーチンと、前記転送制御ルーチンによりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御ルーチンとを含んでいる。
【0012】
また、本発明では、前記一時記憶手段は、EDO DRAM(Extended Data Output DRAM)、又はSDRAM(Synchronous DRAM)により構成されている。
【0013】
また、本発明では、前記撮像素子は、RGB3色の3ラインCCD撮像素子により構成されている。
【0015】
また、本発明では、前記転送制御手段は、FIFO方式のバッファメモリを用いて前記色別に纏めて、バースト転送制御を行っている。
【0016】
また、本発明では、前記転送制御手段は、ランダムアクセス型のバッファメモリを用いて前記色別に纏めて、バースト転送制御を行っている。
【0018】
また、本発明では、前記アクセス制御手段は、同一の色に係る前後する2つのラインに対応する複数の前記画素データの2つの纏まりを連続的に読出している。
【0019】
また、本発明では、前記アクセス制御手段は、同一の色に係る前後する2つのラインに対応する複数の前記画素データの2つの纏まりを連続的に読出すためのアクセス制御と、複数の前記画素データを纏めて書込むためのアクセス制御とを混在させて行っている。
【0022】
また、本発明では、前記アクセス制御手段により色別に複数個ずつ纏めて読出された画素データを、A/D変換されて入力されてきた通りの色の配列順に配列し直す再配列手段を有している。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【0026】
[第1の実施形態]
図1は本発明の第1の実施形態を適用した撮像装置の概略構成を示すブロック図である。図1において、1は撮像素子、2はA/D変換部、3は画素データ書込用バッファメモリ(WRITE CASHとも言う)、4は画素データ読出用バッファメモリ(READ CASHとも言う)、5はオフセットメモリ、6はオフセットメモリ制御部、7は外部CPU、8は外部CPU7と装置内部のブロックとの切替部、9は画像処理部、10は撮像装置の他のブロックである。
【0027】
なお、本実施形態における後述する各種の動作は、ROM200にプリセットされたプログラムに基づいてCPU100により統御され、この際、RAM300はワークエリア等として利用される。
【0028】
図2は画素データ書込用バッファメモリ3と画素データ読出用バッファメモリ4の詳細な構成を示すブロック図である。図3は本実施形態の基本動作を示すタイミングチャートである。図4,5は、それぞれオフセットメモリ5に対して書込み、読出しのみを行なった場合のタイミングチャートである。
【0029】
撮像素子1としては、カラー対応の3ラインCCDを使用し、点順次方式で走査される。この際、撮像素子1からA/D変換部2を介して入力される画素データは、R1,G1,B1,R2,G2,B2,…のように、R,G,Bの各色の画素データがサイクリックに配列された状態となっている。また、撮像素子1はカラー対応の複数ライン構成のリニア型であるため、例えば画素データR1,G1,B1は、同一画素の色データではなく、ライン間オフセット値を持つ画素データである。
【0030】
画素データ書込用バッファメモリ3と画素データ読出用バッファメモリ4は、アクセスアドレスの管理が不要なFIFO(First In First Out)方式のメモリによって構成され、また、画素データをR,G,Bの各色別に纏めて記憶できるように3面(3つのメモリ)で構成され、各色の画素データは、対応する面に一色ずつ順番に入力されていく。さらに、上記R,G,B用の3面のメモリは、それぞれ16画素分の画素データを記憶できるメモリ容量となっている。
【0031】
換言すれば、R,G,B用の3面のメモリのデータ語数はそれぞれ16となっており、これを2等分して2ブロック構成とし、一方のブロックは書込み用、他方のブロックは当該メモリからの読出し用として、排他的に利用される。そして、R,G,Bの各色の画素データは、8画素単位でオフセットメモリ5にバースト転送される。
【0032】
すなわち、A/D変換部2を介して転送されてきた画素データは、初期状態では各色のメモリの第1ブロックが選択され、この第1ブロックに順に入力されて保持される。第1ブロックに各色の8画素分の画素データが溜まると、第2ブロックが選択され、転送されてきた画素データは第2ブロックに順に入力されて保持される。この第2ブロックに各色の8画素分の画素データが溜まると、第1ブロックが選択され、転送されてきた画素データは第1ブロックに順に入力されて保持される。
【0033】
以後、この動作を繰り返す。従って、画素データ書込用バッファメモリ3への画素データの書込みは、R,G,Bの各色ごとに、第1ブロック→第2ブロック→第1ブロック→第2ブロック…のように、8画素単位で2つのブロックが交互に使用されて行われる。この際、画素データは、A/D変換部2からR1,G1,B1,R2,G2,B2,…のような順で入力されてくるので、各色8画素ずつ纏めるべく、Rの第1ブロックへR1→Gの第1ブロックへG1→Bの第1ブロックへB1→Rの第1ブロックへR2→Gの第1ブロックへG2→Bの第1ブロックへB2,…,Rの第1ブロックへR8→Gの第1ブロックへG8→Bの第1ブロックへB8,…,Rの第2ブロックへR9→Gの第2ブロックへG9→Bの第2ブロックへB9,…のように、対応する色のメモリのブロックへ振り分けられる。
【0034】
一方、画素データ書込用バッファメモリ3からの画素データの読出しは、上記の書込みとは排他的にブロックが使用されて行われる。
【0035】
すなわち、画素データ書込用バッファメモリ3から画素データを読出す場合は、初期状態では各色のメモリの第2ブロックが選択され、この第2ブロックの各色の8画素分の連続する画素データが一括してR→G→Bの順で読出される。第2ブロックの各色の8画素分の画素データが読出されてしまうと、第1ブロックが選択され、この第1ブロックの各色の8画素分の連続する画素データが一括してR→G→Bの順で読出される。
【0036】
以後、この動作を繰り返す。従って、画素データ書込用バッファメモリ3からの画素データの出力は、R,G,Bの各色ごとに、第2ブロック→第1ブロック→第2ブロック→第1ブロック…のように、書込ブロックとは排他的に2つのブロックが交互に使用されて行われる。この際、画素データはA/D変換部2からは、R1,G1,B1,R2,G2,B2,…のような順で入力されてくるが、出力されるときは、Rの第2ブロックの先頭から順に8画素分→Gの2ブロックの先頭から順に8画素分→Bの第2ブロックの先頭から順に8画素分→Rの第1ブロックの先頭から順に8画素分,…のような順になる。すなわち、R1,R2,…,R8,G1,G2,…,G8,B1,B2,…,B8,R9,R10,…,R16,…のように、各色の画素データは、8画素分ずつ纏められて出力される。
【0037】
なお、画素データ書込用バッファメモリ3に対する上記のようなアクセス制御は、R,G,Bの各色に対応して3つ設けられた書込アクセス制御部3aの制御の下に行われる。
【0038】
上記のようにして、画素データ書込用バッファメモリ3から8画素分ずつ纏められて出力された画素データは、オフセットメモリ制御部6の制御の下に、切替部8を介してオフセットメモリ5にバースト転送される。
【0039】
本実施形態では、オフセットメモリ5として、ランダムアクセス時よりもシーケンシャルアクセス時の方がアクセス応答速度が速いEDO DRAMを使用し、オフセットメモリ制御部6は、オフセットメモリ5に対してEDOモードにて画素データのアクセスを行う。また、オフセットメモリ5の後段に画像処理部9を配置し、この画像処理部9により各色の同一ラインのデータと前ラインのデータを用いて画像処理を行なうために、オフセットメモリ5に対して、上記8画素分ずつの複数画素データの連続書込みと、8画素分ずつの各色同一ライン及び1ライン前の画素データの連続読出しを、混在して行なう。
【0040】
図3は、第1の実施形態における基本動作を示すタイミシグチャートである。
【0041】
図3において、CLKは、本撮像装置の動作制御用のクロック信号、DATAINは、A/D変換部2から入力された画素データ、WR CASH WEは、画素データ書込用バッファメモリ3に対する書込イネーブル信号、 WR CASH OEは、画素データ書込用バッファメモリ3からの出力イネーブル信号を示している。
【0042】
また、WR CASH DATA OUTは、画素データ書込用バッファメモリ3から出力された画素データ、RAM RASは、オフセットメモリ5の行アクセス用のRAS端子の信号、RAM CASは、オフセットメモリ5の列アクセス用のCAS端子の信号 RAM WEは、オフセットメモリ5に対する書込イネーブル信号、RAM OEは、オフセットメモリ5からの出力イネーブル信号、RAM DATAは、オフセットメモリ5に対するアクセスデータを示している。
【0043】
また、RD CASH DATA INは、画素データ読出用バッファメモリ4に対して出力された画素データ、RD CASH WEは、画素データ読出用バッファメモリ4に対する書込イネーブル信号、 RD CASH OEは、画素データ読出用バッファメモリ4からの出力イネーブル信号を示している。DATA OUTは、画素データ読出用バッファメモリ4からの出力データを示している。なお、上記のデータ以外の信号は、全て負論理である。
【0044】
図3のRAM DATAに示したように、オフセットメモリ5に対してR11〜R18の画素データが書込まれた後、このオフセットメモリ5からR01〜R08とR11〜R18というR色の前後する2つのラインの画素データが8画素単位で連続して読出される。また、図3では図示し切れなかったが、R01〜R08とR11〜R18の連続読出しの次にG11〜G18を書込み、その次に連続読出しを行う時には、オフセットを解消すべく、R01〜R08とR11〜R18の各画素に対応するGの色の2つのラインの画素データが、同様に8画素単位で連続して読出される。
【0045】
このようにして、オフセットメモリ制御部6の制御によりオフセットメモリ5から読出した8画素分ずつの各色同一ライン及び1ライン前の画素データは、画像処理部9に入力される。この画像処理部9では、例えば2ライン分の画素データの平均値を取って補間する等の画像処理を行ない、1ライン分のデータとして画素データ読出用バッファメモリ4に出力する(図3のRD CASH DATA INのR´01〜R´08参照)。
【0046】
画素データ読出用バッファメモリ4に対する画素データ入力は、初期状態ではR,G,B各色のメモリの第1ブロックが選択される。すなわち、オフセットメモリ5からオフセットメモリ制御部6及び画像処理部9を介して転送されてきた各色8画素分連続の画素データは、最初は、第1ブロックに入力されて保持される。第1ブロックに各色8画素分連続の画素データが入力されると、第2ブロックが選択され、次の各色8画素分連続の画素データは、第2ブロックに入力されて保持される。さらに、次の各色8画素分連続の画素データが転送されてくると、第1ブロックが選択される。
【0047】
以後、この動作を繰り返す。従って、画像処理部9から転送されてきた画素データは各色ごとに、第1ブロックの先頭から順に8画素分→第2ブロックの先頭から順に8画素分→第1ブロック先頭から順に8画素分の順で、かつR→G→Bの順(R´1,R´2,…,R´8,G´1,G´2,…,G´8,B´1,B´2,…,B´8,R´9,R´10,…,R´16,…)で、画素データ読出用バッファメモリ4に保持される。
【0048】
また、画素データ読出用バッファメモリ4から他ブロック10への画素データ出力は、上記の状態とは排他的に行われる。すなわち、他ブロック10への画素データ出力は、初期状態では、各色のメモリの第2ブロックが選択され、この第2ブロックから各色の画素データが出力される。第2ブロックの各色8画素分の画素データが出力されると、第1ブロックが選択され、次の各色8画素分の画素データは、第1ブロックから出力され、この各色8画素分の画素データが出力されると、第2ブロックが選択される。
【0049】
以後、この動作を繰り返す。ただし、画素データ読出用バッファメモリ4から出力される順番は、オフセットメモリ5から読出され、メモリ制御部6、及び画像処理部9を介して供給されてきた順番、すなわち同一色の画素データが8画素分連続するような順番ではなく、A/D変換部2を介して入力されてきた順(R´1,G´1,B´1,R´2,G´2,B´2)に出力する。
【0050】
すなわち、Rの第2ブロックの先頭→Gの第2ブロックの先頭→Bの第2ブロックの先頭→Rの第2ブロックの2番目→Gの第2ブロックへの2番目→Bの第2ブロックの2番目,…,Rの第2ブロックの8番目→Gの第2ブロックの8番目→Bの第2ブロックの8番目,…,Rの第1ブロックの先頭→Gの第1ブロックの先頭→Bの第1ブロックの先頭,…のような順で読出アクセスが行われて、R´1,G´1,B´1,R´2,G´2,B´2…の順に出力される。
【0051】
なお、画素データ読出用バッファメモリ4に対する上記のようなアクセス制御は、R,G,Bの各色に対応して3つ設けられた読出アクセス制御部4aの制御の下に行われる。
【0052】
このように、撮像素子1からA/D変換部2を介して入力されてきた画素データの順を崩すことなく、画素データ読出用バッファメモリ4内の画素データを他のブロック10に対して出力する。
【0053】
また、画像処理部9を画素データ読出用バッファメモリ4の前段に配置したことにより、画素データ読出用バッファメモリ4は、画素データ書込用バッファメモリ3と同様に8画素分の2倍の16画素分(2ブロック構成)のFIFO方式のメモリで実現できる。
【0054】
また、上記のように、オフセットメモリ5に対して書込みと読出しを混在して行うことなく、メモリ制御部6の動作を変化させることにより、オフセットメモリ5に対して、書込みだけ、或いは読出しだけを行なうことも可能である。
【0055】
オフセットメモリ5に対して書込みだけを行なうモードにすると、撮像素子1からA/D変換部2を介して入力される画素データをオフセットメモリ5の容量分だけ蓄えることができる。この画素データを、外部CPU7から切替部8を介して読出すことにより、画素データを外部CPU7で扱うことができる。また、オフセットメモリ5から読出しだけを行なうモードにすると、撮像素子1からA/D変換部2を介して入力される画素データが無くなった際、オフセットメモリ5内に残っている画素データを効率よく他のブロック10に出力することができる。
【0056】
図4、図5に、それぞれ書込みだけ、読出しだけを行う場合のタイミシグチャートを示す。
【0057】
このように、第1の実施形態では、オフセットメモリ5として、1データごとのランダムアクセス時よりもバースト転送等のシーケンシャルアクセス時の方がアクセス応答速度が速いEDO DRAM等の高速・大容量メモリを使用し、EDO(ファストページ)モードにより、連続する8画素の画素データの単位で高速にアクセスするようにしている。
【0058】
また、オフセットメモリ5において、連続する8画素の画素データの単位で高速にアクセスするための準備として、FIFO方式の画素データ書込用バッファメモリ3を使用して、撮像素子1からA/D変換部2を介してR,G,Bの順にサイクリックに入力されてくる画素データを、各色8画素分連続の複数画素データに纏めて、オフセットメモリ5に出力している。
【0059】
さらに、オフセットメモリ5から各色8画素分連続データで高速に読出し、その読出データをFIFO方式の画素データ読出用バッファメモリ4を使用して、撮像素子1からA/D変換部2を介して入力されたままの順に画素データを配列し直して他のブロック10に出力するようにしている。
【0060】
このような構成により、従来のように、オフセットメモリとしてのDRAMを並列に接続することなく、高速にオフセットメモリにアクセスすることができ、また、消費電力の増大を回避することもできる。従って、撮像素子1やA/D変換部2の動作速度を落とす必要もなくなり、効率よく画像データの処理を行うことが可能となる。
【0061】
さらに、A/D変換部12からの入力データを一時記憶するメモリとして、アドレス管理の不要なFIFO方式のメモリを用いたので、一時記憶メモリに対するアクセス制御が簡単になる。
【0062】
[第2の実施形態]
図6は本発明の第2の実施形態を適用した撮像装置の概略構成を示すブロック図である。図6において、11は撮像素子、12はA/D変換部、13は画素データ書込用バッファメモリ(WRITE CASHとも言う)、14は画素データ読出用バッファメモリ(READ CASHとも言う)、15はオフセットメモリ、16はオフセットメモリ制御部、17は外部CPU、18は外部CPU17と装置内部のブロックとの切替部、20は撮像装置の他のブロック、21は書込側アドレス制御部、22は読出側アドレス制御部である。
【0063】
なお、本実施形態における後述する各種の動作は、ROM500にプリセットされたプログラムに基づいてCPU400により統御され、この際、RAM600はワークエリア等として利用される。
【0064】
図7は画素データ書込用バッファメモリ13と画素データ読出用バッファメモリ14の詳細な構成を示すブロック図である。図8は本実施形態の動作を示すタイミングチャートである。
【0065】
撮像素子11としては、カラー対応の3ラインCCDを使用し、点順次方式で走査される。この際、撮像素子11からA/D変換部12を介して入力される画素データは、R1,G1,B1,R2,G2,B2,…のように、R,G,Bの各色の画素データがサイクリックに配列された状態となっている。また、撮像素子11はカラー対応の複数ライン構成のリニア型であるため、例えば画素データR1,G1,B1は、同一画素の色データではなく、ライン間オフセット値を持つ画素データである。
【0066】
画素データ書込用バッファメモリ13と画素データ読出用バッファメモリ14は、アクセスアドレスの管理が必要なRAM(Randam Access Memory)によって構成されている。このRAMのデータ語数は、各色の複数の画素データをそれぞれ一括して転送、アクセス等すべく指定された複数画素分以上となっている。この指定複数画素数は、本実施形態では、“4”となっている。
【0067】
書込側アドレス制御部21は、画素データ書込用バッファメモリ13に対するアクセス制御を行う。この際、書込側アドレス制御部21は、画素データ書込用バッファメモリ13に対する書込アドレスと、読出アドレスとが重複しないように排他的に書込/読出アドレスを制御する。
【0068】
また、書込側アドレス制御部21は、R1,G1,B1,R2,G2,B2,…のように、R,G,Bの各色の画素データがサイクリックに配列された状態でA/D変換部12から入力されてきた画素データが、図7に示したように、同一の色の画素データが指定複数画素数だけ纏まり、かつ、この纏まりの配列順がR→G→Bの順となって画素データ書込用バッファメモリ13に保持されるように書込アドレスを制御する。さらに、画素データ書込用バッファメモリ13に保持された画素データが、R→G→Bの順で指定複数画素数だけ纏まった形で出力されるように読出アドレスを制御する。すなわち、R,G,Bの各色の画素データは、4画素単位でオフセットメモリ15にバースト転送される。
【0069】
このようにして、画素データ書込用バッファメモリ13から4画素分ずつ纏められて出力された画素データは、オフセットメモリ制御部16の制御の下に、切替部18を介してオフセットメモリ15にバースト転送される。
【0070】
本実施形態では、オフセットメモリ15として、ランダムアクセス時よりもシーケンシャルアクセス時の方がアクセス応答速度が速いEDO DRAMを使用し、オフセットメモリ制御部16は、EDOモードにてオフセットメモリ15に対する画素データのアクセスを行う。また、他のブロック20等により各色の同一ラインのデータと前ラインのデータを用いて画像処理を行うために、オフセットメモリ15に対して、指定複数画素数(4画素分)ずつの複数画素データの書込みと、指定複数画素数(4画素分)ずつの複数画素データの連続読出しを、混在して行なう。
【0071】
図8は、第2の実施形態における動作を示すタイミシグチャートである。
【0072】
図8において、CLKは、本撮像装置の動作制御用のクロック信号、DATAINは、A/D変換部12から入力された画素データ、WR CASH WAは、画素データ書込用バッファメモリ13に対する書込アドレス、 WR CASH OAは、画素データ書込用バッファメモリ13からの出力アドレスを示している。
【0073】
また、WR CASH DATA OUTは、画素データ書込用バッファメモリ13から出力された画素データ、RAM RASは、オフセットメモリ15の行アクセス用のRAS端子の信号、RAM CASは、オフセットメモリ15の列アクセス用のCAS端子の信号 RAM WEは、オフセットメモリ15に対する書込イネーブル信号、RAM OEは、オフセットメモリ15からの出力イネーブル信号、RAM DATAは、オフセットメモリ15に対するアクセスデータを示している。
【0074】
また、RD CASH DATA INは、画素データ読出用バッファメモリ14に対して出力された画素データ、RD CASH WAは、画素データ読出用バッファメモリ14に対する書込アドレス、 RD CASH OAは、画素データ読出用バッファメモリ14からの出力アドレスを示している。DATA OUTは、画素データ読出用バッファメモリ14からの出力データを示している。なお、上記のデータ以外の信号は、全て負論理である。
【0075】
図8のRAM DATAに示したように、オフセットメモリ15に対してR11〜R14の画素データが書込まれた後、このオフセットメモリ15からR01〜R04とR11〜R14というR色の前後する2つのラインの画素データが4画素単位で連続して読出される。また、図8では図示し切れなかったが、R01〜R04とR11〜R14の連続読出しの次にG11〜G14が書込まれ、その次に連続読出しする時には、オフセットを解消すべく、R01〜R04とR11〜R14の各画素に対応するGの色の2つのラインの画素データが、同様に4画素単位で連続して読出される。
【0076】
このようにして、オフセットメモリ制御部16の制御によりオフセットメモリ15から読出した4画素分ずつの各色同一ライン及び1ライン前の画素データは、画素データ読出用バッファメモリ14に出力される(図8のRD CASH DATA INのR´01〜R´04参照)。
【0077】
画素データ読出用バッファメモリ14に対するアクセス制御は、読出側アドレス制御部22により行われる。この際、読出側アドレス制御部22は、画素データ読出用バッファメモリ14に対する書込アドレスと、読出アドレスとが重複しないように排他的に書込/読出アドレスを制御する。
【0078】
また、読出側アドレス制御部22は、図7に示したように、同一の色の画素データが指定複数画素数だけ纏まって画素データ読出用バッファメモリ14に保持されるように書込アドレスを制御する。ただし、画素データ読出用バッファメモリ4から出力される順番は、オフセットメモリ15から読出され、オフセットメモリ制御部16を介して供給されてきた順番、すなわち同一色の画素データが4画素分連続するような順番ではなく、A/D変換部2を介して入力されてきた順(R´1,G´1,B´1,R´2,G´2,B´2)に出力するように、読出アドレスを制御する。
【0079】
このように、撮像素子11からA/D変換部12を介して入力されてきた画素データの順を崩すことなく、画素データ読出用バッファメモリ14内の画素データを他のブロック20に対して出力する。
【0080】
このような構成により、第1の実施形態と同様に、従来のように、オフセットメモリとしてのDRAMを並列に接続することなく、高速にオフセットメモリにアクセスすることができ、また、消費電力の増大を回避することもできる。従って、撮像素子11やA/D変換部12の動作速度を落とす必要もなくなり、効率よく画像データの処理を行うことが可能となる。
【0081】
さらに、A/D変換部12からの入力データを一時記憶するメモリとして、RAMを用いたので、オフセットメモリ16に対してバースト転送する画素データの纏まりの個数を容易に変更することが可能となる。
【0082】
なお、本発明は、上記の実施形態に限定されることなく、例えば、オフセットメモリとして、EDO DRAMの代わりに、SDRAM(Synchronous DRAM)を用いることも可能である。また、第2の実施形態においても、第1の実施形態と同様に、オフセットメモリ15に対して書込みだけ、或いは読出しだけを行うモードを設けてもよい。
【0083】
【発明の効果】
以上説明したように、本発明によれば、複数の一時記憶手段を並列に接続することなしに、1つの一時記憶手段に対して高速で画素データをアクセスすることができる。従って、撮像素子やA/D変換部の動作速度を落とすことなく、一時記憶手段に対するアクセスを効率よく行うことが可能となり、さらに、消費電力の増大を回避することも可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態を適用した撮像装置の概略構成を示すブロック図である。
【図2】本発明の第1の実施形態における画素データ書込用バッファメモリの詳細な構成を示す図である。
【図3】本発明の第1の実施形態における基本動作を示すタイムチャートである。
【図4】本発明の第1の実施形態においてオフセットメモリに対して書込みだけを行う場合の動作を示すタイムチャートである。
【図5】本発明の第1の実施形態においてオフセットメモリに対して読出しだけを行う場合の動作を示すタイムチャートである。
【図6】本発明の第2の実施形態を適用した撮像装置の概略構成を示すブロック図である。
【図7】本発明の第2の実施形態における画素データ書込用バッファメモリの詳細な構成を示す図である。
【図8】本発明の第2の実施形態における基本動作を示すタイムチャートである。
【符号の説明】
1,11…撮像素子
2,12…A/D変換部
3,13…画素データ書込用バッファメモリ
3a…書込側アクセス制御部
4,14…は画素データ読出用バッファメモリ
4a…読出側アクセス制御部
5,15…オフセットメモリ
6,16…オフセットメモリ制御部
21…書込側アドレス制御部
22…読出側アドレス制御部
100,400…CPU
200,500…ROM
300,600…RAM[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging device such as a video camera, a scanner, or a digital camera using a color-compatible CCD or MOS image sensor, and more particularly to an access technology for a memory that stores image data.
[0002]
[Prior art]
When an image sensor such as a linear CCD having a color-corresponding multi-line configuration is used as an image pickup device in an image pickup device, the image sensor reads lines between colors of R, G, B (Red, Green, Blue) due to its structure. An offset occurs.
[0003]
In order to eliminate such a reading line offset, a buffer memory (offset memory) for offset cancellation is generally used. In the imaging device, an imaging element is used for image processing. For child Therefore, it is necessary to simultaneously input pixel data at the same position several lines before being read into the image processing unit. Further, since the pixel data read by the image sensor and digitally converted by the A / D conversion means is transmitted to the host computer in real time, the access to the offset memory is repeatedly performed while the writing and reading of the pixel data are mixed.
[0004]
Therefore, as the offset memory, an SRAM (Static Random Access Memory) or the like, which is conventionally characterized by random access and has a high access speed, is often used.
[0005]
[Problems to be solved by the invention]
By the way, in the imaging apparatus, as the resolution of the imaging device and the A / D converter increases, the amount of digital pixel data after A / D conversion of the input image increases.
[0006]
However, for example, when an SRAM or the like characterized by random access is used as an offset memory as in the prior art, each SRAM has a small capacity, so it is necessary to use a plurality of SRAMs, and the number of parts is increased. . Such an increase in the number of parts also leads to an increase in power consumption, which is very wasteful.
[0007]
In addition, when a large capacity memory such as DRAM (Dynamic Random Access Memory) is used as an offset memory, if the pixel data is read / written to / from the offset memory for each pixel (that is, for each data), the response speed of the DRAM is increased by random access. Because it was slow, it was not possible to read and write data efficiently. Conversely, in order to read and write data efficiently, a plurality of DRAMs are used for parallel processing. This also increases the number of parts and increases the power consumption, which is very wasteful.
[0008]
The present invention has been made under such a background, and an object thereof is to enable efficient access to temporary storage means.
[0009]
[Means for Solving the Problems]
In order to solve the above problems, the present invention Imaging apparatus according to Is A color-capable imaging device having a multi-line configuration; Temporary storage means for temporarily storing pixel data output from the image sensor and subjected to A / D conversion; , A plurality of the pixel data are stored in the temporary storage unit. For each color of the multi-line configuration color Transfer control means for performing burst transfer collectively, and reading and writing the plurality of pixel data burst-transferred by the transfer control means And offset between pixel data of each color corresponding to the multiple lines And an access control means for controlling access to the temporary storage means.
[0010]
The present invention also provides: Multi-line color support A method for controlling an imaging apparatus having temporary storage means for temporarily storing pixel data output from an image sensor and subjected to A / D conversion, wherein a plurality of the pixel data are stored in the temporary storage means. For each color of the multi-line configuration color A transfer control process for performing burst transfer collectively, and a plurality of pixel data burst-transferred by the transfer control process are collectively read and written And offset between pixel data of each color corresponding to the multiple lines And an access control step for controlling access to the temporary storage means.
[0011]
The present invention also provides: Multi-line color support A storage medium for storing a program executed by an imaging apparatus having temporary storage means for temporarily storing pixel data output from an image sensor and subjected to A / D conversion. The pixel data of For each color of the multi-line configuration color A transfer control routine for collectively transferring bursts, and reading and writing a plurality of the pixel data burst-transferred by the transfer control routines And offset between pixel data of each color corresponding to the multiple lines And an access control routine for controlling access to the temporary storage means.
[0012]
In the present invention, the temporary storage means is constituted by an EDO DRAM (Extended Data Output DRAM) or an SDRAM (Synchronous DRAM).
[0013]
In the present invention, the image sensor is Consists of RGB 3-color CCD image sensor .
[0015]
In the present invention, the transfer control means is a FIFO type. Buffer memory Using Summarize by the color, Burst transfer control is performed.
[0016]
In the present invention, the transfer control means is a random access type. Buffer memory Using Summarize by the color, Burst transfer control is performed.
[0018]
In the present invention, the access control means Stage The two groups of the plurality of pixel data corresponding to the two preceding and following lines relating to the same color are continuously read out.
[0019]
In the present invention, the access control means Stage Access control for continuously reading two groups of the plurality of pixel data corresponding to two preceding and following lines relating to the same color, and access control for collectively writing the plurality of pixel data Are mixed.
[0022]
In the present invention, the access control means In steps A rearrangement method for rearranging the pixel data read out in batches by color according to the color arrangement order as input after A / D conversion. Step Have.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0026]
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus to which the first embodiment of the present invention is applied. In FIG. 1, 1 is an image sensor, 2 is an A / D converter, 3 is a pixel data write buffer memory (also referred to as WRITE CASH), 4 is a pixel data read buffer memory (also referred to as READ CASH), and 5 is An offset memory, 6 is an offset memory control unit, 7 is an external CPU, 8 is a switching unit between the external CPU 7 and a block inside the apparatus, 9 is an image processing unit, and 10 is another block of the imaging apparatus.
[0027]
Various operations described later in the present embodiment are controlled by the
[0028]
FIG. 2 is a block diagram showing the detailed configuration of the pixel data
[0029]
As the image sensor 1, a color-corresponding 3-line CCD is used and scanned in a dot sequential manner. At this time, the pixel data input from the image sensor 1 via the A /
[0030]
The pixel data writing
[0031]
In other words, the number of data words in the three memory planes for R, G, and B is 16, respectively, and is divided into two blocks to form a two-block configuration, with one block for writing and the other block for Used exclusively for reading from memory. Then, R, G, and B pixel data are burst transferred to the offset memory 5 in units of 8 pixels.
[0032]
In other words, the pixel data transferred via the A /
[0033]
Thereafter, this operation is repeated. Therefore, the pixel data is written into the pixel data writing
[0034]
On the other hand, the reading of the pixel data from the pixel data writing
[0035]
That is, when reading out pixel data from the pixel data writing
[0036]
Thereafter, this operation is repeated. Accordingly, the pixel data output from the pixel data writing
[0037]
The access control as described above for the pixel data writing
[0038]
As described above, the pixel data collected and output by 8 pixels from the pixel data writing
[0039]
In the present embodiment, an EDO DRAM having a faster access response speed in sequential access than in random access is used as the offset memory 5, and the offset
[0040]
FIG. 3 is a timing chart showing the basic operation in the first embodiment.
[0041]
In FIG. 3, CLK is a clock signal for controlling the operation of the imaging apparatus, DATAIN is pixel data input from the A /
[0042]
WR CASH DATA OUT is pixel data output from the pixel data writing
[0043]
RD CASH DATA IN is pixel data output to the pixel data reading
[0044]
As shown in the RAM DATA of FIG. 3, after the pixel data of R11 to R18 are written in the offset memory 5, two R01 to R08 and R11 to R18 of the R color before and after the R color are written from the offset memory 5. The pixel data of the line is continuously read out in units of 8 pixels. Further, although not shown in FIG. 3, when G11 to G18 are written next to the continuous reading of R01 to R08 and R11 to R18 and the subsequent continuous reading is performed, R01 to R08 are set to eliminate the offset. Similarly, pixel data of two lines of G color corresponding to each pixel of R11 to R18 are continuously read out in units of 8 pixels.
[0045]
In this way, the pixel data of the same line and the previous line for each color for 8 pixels read from the offset memory 5 under the control of the offset
[0046]
As the pixel data input to the pixel data reading
[0047]
Thereafter, this operation is repeated. Accordingly, the pixel data transferred from the
[0048]
The pixel data output from the pixel data reading
[0049]
Thereafter, this operation is repeated. However, the order output from the pixel data reading
[0050]
That is, the head of the second block of R → the head of the second block of G → the head of the second block of B → the second of the second block of R → the second to the second block of G → the second block of B 8th of the second block of R, 8th of the second block of G, 8th of the second block of B,..., The beginning of the first block of R → the beginning of the first block of G → Read access is performed in the order of the top of the first block of B,... And output in the order of R′1, G′1, B′1, R′2, G′2, B′2. The
[0051]
Note that the access control as described above for the pixel data reading
[0052]
In this way, the pixel data in the pixel data reading
[0053]
In addition, since the
[0054]
In addition, as described above, only writing or reading is performed on the offset memory 5 by changing the operation of the
[0055]
When the mode for performing only writing to the offset memory 5 is set, pixel data input from the image sensor 1 via the A /
[0056]
4 and 5 show timing charts when only writing and reading are performed, respectively.
[0057]
As described above, in the first embodiment, the offset memory 5 is a high-speed, large-capacity memory such as an EDO DRAM that has a faster access response speed in sequential access such as burst transfer than in random access for each data. In the EDO (fast page) mode, high-speed access is made in units of continuous 8-pixel pixel data.
[0058]
In addition, in the offset memory 5, as preparation for high-speed access in units of pixel data of 8 consecutive pixels, the FIFO memory pixel data writing
[0059]
Further, the data is read from the offset memory 5 at a high speed with continuous data for 8 pixels of each color, and the read data is input from the image sensor 1 through the A /
[0060]
With such a configuration, it is possible to access the offset memory at high speed without connecting DRAMs as the offset memory in parallel as in the prior art, and to avoid an increase in power consumption. Therefore, it is not necessary to reduce the operation speed of the image sensor 1 and the A /
[0061]
Furthermore, since a FIFO memory that does not require address management is used as a memory that temporarily stores input data from the A /
[0062]
[Second Embodiment]
FIG. 6 is a block diagram showing a schematic configuration of an imaging apparatus to which the second embodiment of the present invention is applied. In FIG. 6, 11 is an image sensor, 12 is an A / D converter, 13 is a pixel data write buffer memory (also referred to as WRITE CASH), 14 is a pixel data read buffer memory (also referred to as READ CASH), and 15 is Offset memory, 16 is an offset memory control unit, 17 is an external CPU, 18 is a switching unit between the
[0063]
Various operations described later in the present embodiment are controlled by the
[0064]
FIG. 7 is a block diagram showing detailed configurations of the pixel data writing
[0065]
As the
[0066]
The pixel data writing
[0067]
The writing side
[0068]
Further, the write side
[0069]
In this way, the pixel data collected and output for each of the four pixels from the pixel data writing
[0070]
In the present embodiment, an EDO DRAM having a faster access response speed during sequential access than during random access is used as the offset
[0071]
FIG. 8 is a timing chart showing the operation in the second embodiment.
[0072]
In FIG. 8, CLK is a clock signal for controlling the operation of the imaging apparatus, DATAIN is pixel data input from the A /
[0073]
WR CASH DATA OUT is pixel data output from the pixel data writing
[0074]
Further, RD CASH DATA IN is pixel data output to the pixel data reading
[0075]
As shown in the RAM DATA of FIG. 8, after the pixel data of R11 to R14 are written to the offset
[0076]
In this manner, the pixel data of the same color and the previous line for each of the four pixels read from the offset
[0077]
Access control to the pixel data reading
[0078]
Further, as shown in FIG. 7, the read-side
[0079]
In this manner, the pixel data in the pixel data reading
[0080]
With this configuration, as in the first embodiment, the offset memory can be accessed at high speed without connecting the DRAM as the offset memory in parallel as in the prior art, and the power consumption is increased. Can also be avoided. Therefore, it is not necessary to reduce the operation speed of the
[0081]
Further, since the RAM is used as the memory for temporarily storing the input data from the A /
[0082]
The present invention is not limited to the above-described embodiment. For example, an SDRAM (Synchronous DRAM) can be used as an offset memory instead of an EDO DRAM. Also in the second embodiment, a mode in which only writing or reading is performed with respect to the offset
[0083]
【The invention's effect】
As described above, according to the present invention, it is possible to access pixel data at a high speed to one temporary storage unit without connecting a plurality of temporary storage units in parallel. Therefore, it is possible to efficiently access the temporary storage means without reducing the operation speed of the image sensor and the A / D conversion unit, and it is also possible to avoid an increase in power consumption.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus to which a first embodiment of the present invention is applied.
FIG. 2 is a diagram showing a detailed configuration of a pixel data writing buffer memory according to the first embodiment of the present invention.
FIG. 3 is a time chart showing a basic operation in the first embodiment of the present invention.
FIG. 4 is a time chart showing an operation when only writing to the offset memory is performed in the first embodiment of the present invention;
FIG. 5 is a time chart showing an operation when only reading is performed with respect to the offset memory in the first embodiment of the present invention;
FIG. 6 is a block diagram showing a schematic configuration of an imaging apparatus to which a second embodiment of the present invention is applied.
FIG. 7 is a diagram showing a detailed configuration of a pixel data writing buffer memory according to a second embodiment of the present invention.
FIG. 8 is a time chart showing the basic operation in the second embodiment of the present invention.
[Explanation of symbols]
1, 11 ... Image sensor
2,12 ... A / D converter
3, 13 ... Buffer memory for writing pixel data
3a: Write side access control unit
4, 14... Are pixel data reading buffer memories.
4a: Read side access control unit
5, 15 ... Offset memory
6, 16 ... Offset memory control unit
21: Write side address control unit
22... Read side address control unit
100, 400 ... CPU
200,500 ... ROM
300,600 ... RAM
Claims (10)
前記撮像素子から出力されA/D変換された画素データを一時記憶する一時記憶手段と、
前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御手段と、
前記転送制御手段によりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御手段と、
を備えたことを特徴とする撮像装置。 A multi-line color image sensor;
A temporary storage means for temporarily storing the pixel data A / D-converted output from the imaging element,
A transfer control unit that burst-transfers the plurality of pixel data to the temporary storage unit in a collective manner according to colors of the plurality of lines ; and
Access control means for collectively reading and reading the plurality of pixel data burst-transferred by the transfer control means and performing access control to the temporary storage means so as to eliminate the offset between the pixel data of each color corresponding to the plurality of lines When,
An imaging apparatus comprising:
前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御工程と、
前記転送制御工程によりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御工程と、
を備えたことを特徴とする撮像装置の制御方法。A method for controlling an imaging apparatus having temporary storage means for temporarily storing pixel data output from a color-capable color- capturing image sensor having a plurality of lines and subjected to A / D conversion,
A transfer control step of burst-transferring the plurality of pieces of pixel data to the temporary storage unit for each color of the plurality of line configurations ;
An access control step for performing access control on the temporary storage unit so as to collectively read / write the plurality of pixel data burst-transferred by the transfer control step and eliminate an offset between pixel data of each color corresponding to the plurality of lines When,
An image pickup apparatus control method comprising:
前記一時記憶手段に対して複数の前記画素データを前記複数ライン構成のカラーの色別に纏めてバースト転送する転送制御ルーチンと、
前記転送制御ルーチンによりバースト転送された複数の前記画素データを纏めて読み書きし、前記複数ラインに対応する各色の画素データ間のオフセットを解消するように前記一時記憶手段に対するアクセス制御を行うアクセス制御ルーチンと、
を含むことを特徴とする記憶媒体。A storage medium for storing a program executed by an imaging apparatus having temporary storage means for temporarily storing pixel data output from a color-compatible imaging device having a multi-line configuration and subjected to A / D conversion.
A transfer control routine for burst-transferring a plurality of the pixel data to the temporary storage unit for each color of the plurality of line configurations ;
An access control routine that collectively reads / writes the plurality of pixel data burst-transferred by the transfer control routine and performs access control to the temporary storage means so as to eliminate the offset between the pixel data of each color corresponding to the plurality of lines When,
A storage medium comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000027875A JP4428787B2 (en) | 2000-02-04 | 2000-02-04 | Imaging apparatus, control method thereof, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000027875A JP4428787B2 (en) | 2000-02-04 | 2000-02-04 | Imaging apparatus, control method thereof, and storage medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001218218A JP2001218218A (en) | 2001-08-10 |
JP2001218218A5 JP2001218218A5 (en) | 2007-04-05 |
JP4428787B2 true JP4428787B2 (en) | 2010-03-10 |
Family
ID=18553386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000027875A Expired - Fee Related JP4428787B2 (en) | 2000-02-04 | 2000-02-04 | Imaging apparatus, control method thereof, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4428787B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5924104B2 (en) * | 2012-05-01 | 2016-05-25 | コニカミノルタ株式会社 | Image processing apparatus and image forming apparatus |
-
2000
- 2000-02-04 JP JP2000027875A patent/JP4428787B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001218218A (en) | 2001-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5940087A (en) | Graphic processing apparatus and method | |
US6593965B1 (en) | CCD data pixel interpolation circuit and digital still camera equipped with it | |
JP3860808B2 (en) | Color interpolation line buffer and line data providing apparatus and method | |
US7525577B2 (en) | Image processing apparatus and image processing method | |
JP4428787B2 (en) | Imaging apparatus, control method thereof, and storage medium | |
JP2000311241A (en) | Image processor | |
JP2012146032A (en) | Image memory control apparatus and image processing apparatus | |
JP3948152B2 (en) | Image information rotation device | |
JPH11306343A (en) | Rotational processing device for two-dimensional data | |
JP3094346B2 (en) | Image memory device | |
JPH10262220A (en) | Semiconductor integrated circuit | |
JP3458203B2 (en) | Image processing device | |
JP2773686B2 (en) | Printer device | |
JPH1027130A (en) | Picture processor and its processing method | |
JP3114577B2 (en) | Color image transfer device | |
JP4369137B2 (en) | Image processing device for printing | |
JPH04288772A (en) | Color image processor | |
JP2004120027A (en) | Image processing apparatus | |
JP2004320314A (en) | Image scanner | |
JPH02108169A (en) | Frame memory device | |
JPH05260451A (en) | Lsi for picture coding processing | |
JPS62256300A (en) | Video storage device | |
JP2003092673A (en) | Image data rotation processing apparatus | |
JPS61205071A (en) | Color recorder | |
JPH11212860A (en) | Picture storage device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070201 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091215 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |