JP4409696B2 - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP4409696B2 JP4409696B2 JP2000024862A JP2000024862A JP4409696B2 JP 4409696 B2 JP4409696 B2 JP 4409696B2 JP 2000024862 A JP2000024862 A JP 2000024862A JP 2000024862 A JP2000024862 A JP 2000024862A JP 4409696 B2 JP4409696 B2 JP 4409696B2
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- signal
- digital
- image
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 116
- 238000012546 transfer Methods 0.000 claims description 68
- 239000000872 buffer Substances 0.000 claims description 51
- 238000003384 imaging method Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005375 photometry Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、固体撮像装置、およびカメラに関する。特に、本発明は、画像を撮像するための固体撮像装置、およびその固体撮像装置を利用可能なカメラに関する。
【0002】
【従来の技術】
一般に、デジタルカメラはCCDなどの固体撮像装置を用いて画像を撮像する。近年、より解像度の高い画像を得るために、固体撮像装置の高画素化が進んでいる。
【0003】
特開平6−205272号公報は、カメラの回転角度に応じて、画像を反転するカメラを開示する。特開平10−200842号公報は、LCD表示部を回転させたときに、画像を反転してLCD表示部に表示するカメラを開示する。特開平9−121300号公報は、液晶モニタの位置に応じて、画像を反転して表示させるカメラを開示する。特開平10−173984号公報は、撮影時に記録された天地情報を基に自動的に正立画像を再生できるカメラを開示する。
【0004】
【発明が解決しようとする課題】
固体撮像装置が高画素化するにつれて、固体撮像装置から信号を読み出す際に、信号が減衰したり、駆動周波数の増加に伴って消費電力が増加するなどの問題が生じるに至った。
【0005】
そこで本発明は、上記の課題を解決することのできる固体撮像装置およびデジタルカメラを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0006】
【課題を解決するための手段】
即ち、本発明の第1の形態における固体撮像装置は、固体撮像装置であって、入射した光を光電変換して信号電荷を生成する複数の受光素子からなる受光部と、受光素子に接して設けられ、受光素子が生成した信号電荷を固体撮像装置の長手方向に沿って転送する複数の第1の転送部と、複数の第1の転送部から伝達された信号電荷を固体撮像装置の短手方向に沿って転送する第2の転送部とを備える。
【0007】
受光部は、長手方向に沿って第1の間隔をおいて配置されてなる第1の受光素子列と、第1の受光素子列の受光素子の位置から長手方向に沿って第1の間隔の略半分だけずれた位置に受光素子が配置されてなる第2の受光素子列とが、短手方向に第2の間隔をおいて交互に配置されていても良い。主に赤成分の光を受光素子に入射させるRフィルタ、主に緑成分の光を受光素子に入射させるGフィルタ、および主に青成分の光を受光素子に入射させるBフィルタを更に有し、第1の受光素子列の受光素子上には、RフィルタおよびBフィルタが交互に設けられ、第2の受光素子列の受光素子上には、Gフィルタが設けられても良い。Rフィルタが設けられた第1の受光素子列と、Gフィルタが設けられた第2の受光素子列と、Bフィルタが設けられた第1の受光素子列と、Gフィルタが設けられた第2の受光素子列とが、短手方向に沿ってこれらの順に繰り返し設けられても良い。受光部における、短手方向に沿った第1の行上の受光素子が生成した第1の信号電荷と、第1の行に隣接した第2の行上の受光素子が生成した第2の信号電荷とが、第1の転送部から第2の転送部へ実質的に同時に転送されることにより、第2の転送部が、第1の信号電荷と第2の信号電荷とを、短手方向に沿って交互に出力しても良い。
【0008】
本発明の第1の形態におけるデジタルカメラは、被写体の画像を記録するためのデジタルカメラであって、被写体からの光を光電変換して信号電荷を生成する複数の受光素子からなる受光部と、受光素子に接して設けられ、受光素子が生成した信号電荷を固体撮像装置の長手方向に沿って転送する複数の第1の転送部と、複数の第1の転送部から伝達された信号電荷を固体撮像装置の短手方向に沿って転送する第2の転送部とを有し、短手方向がデジタルカメラの上下方向になるように配置された固体撮像装置と、信号電荷を処理してデジタル信号に変換し、デジタル画像を生成する撮像信号処理部と、デジタル画像を格納する、2次元的なアドレス指定が可能なメモリと、被写体の画像の向きとデジタル画像の向きとが一致するように、デジタル画像の水平方向と垂直方向とを交換してメモリに格納する回転処理制御部とを備える。
【0009】
受光部は、長手方向に沿って第1の間隔をおいて配置されてなる第1の受光素子列と、第1の受光素子列の受光素子の位置から長手方向に沿って第1の間隔の略半分だけずれた位置に受光素子が配置されてなる第2の受光素子列とが、短手方向に第2の間隔をおいて交互に配置されていても良い。デジタル信号の転送を制御するDMAコントローラを更に備え、回転処理制御部は、DMAコントローラがメモリに対して出力するアドレスの上位アドレスと下位アドレスとを交換することによって、デジタル画像の水平方向と垂直方向とを交換しても良い。固体撮像装置は、受光素子に入射する光の成分を制限する複数の種類のカラーフィルタを更に有し、DMAコントローラは、異なるカラーフィルタが設けられた受光素子から出力された複数の信号電荷に対応する複数のデジタル信号を同時に転送しても良い。デジタル信号を一時的に格納するためのバッファメモリを更に備え、バッファメモリは、第1の転送部の1回の転送動作に伴って第2の転送部から出力された信号電荷をデジタル信号に変換したデータ列の容量よりも少ない記憶容量を有する複数のデータバッファを含んでも良い。デジタル信号に対して信号処理を行う信号処理部を更に備え、回転処理は、信号処理に先だって行われても良い。回転処理制御部は、デジタル信号をバッファメモリからメモリへ転送する際に、メモリの上位アドレス方向へデジタル信号を格納することによって、デジタル画像の水平方向と垂直方向とを交換しても良い。
【0010】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【0011】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0012】
図1は、本発明の実施形態に係るデジタルカメラ10の全体の構成を示す。固体撮像装置については、図2以降で詳述する。本実施形態のデジタルカメラ10は、静止画の撮像の他に、動画の記録再生を行うことができる。デジタルカメラ10は、主に撮像ユニット20、音声取得ユニット130、制御ユニット40、処理ユニット60、表示ユニット100、および操作ユニット110を含む。
【0013】
撮像ユニット20は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット20はまず、映像を取り込んで処理を施す撮影レンズ22、絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、固体撮像装置の一例としてのCCD30、および撮像信号処理部32を含む。撮影レンズ22は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がCCD30の受光面上に結像する。結像した被写体像の光量に応じ、CCD30の各受光素子(図示せず)に電荷が蓄積される(以下その電荷を「信号電荷」という)。信号電荷は、リードゲートパルスによってシフトレジスタ(図示せず)に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。CCD30の動作については、図2以降で詳述する。
【0014】
デジタルカメラ10は一般に電子シャッタ機能を有するので、シャッタ26のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、CCD30にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると信号電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【0015】
CCD30から出力される電圧信号、すなわちアナログ信号は撮像信号処理部32でR、G、B成分に色分解され、ホワイトバランス調整処理、CDS(相関二重サンプリング)処理、AGC(自動ゲインコントロール)処理などの必要な処理を行い、所定のタイミングでR、G、B信号を順次A/D変換し、その結果得られたデジタルの画像データ(以下単に「デジタル画像データ」とよぶ)を処理ユニット60へ出力する。
【0016】
撮像ユニット20はさらに、ファインダ34とストロボ36を有する。ファインダ34には図示しないLCDを内装してもよく、その場合、後述のメインCPU62等からの各種情報をファインダ34内に表示できる。ストロボ36は、コンデンサ(図示せず)に蓄えられたエネルギが放電管36aに供給されたときそれが発光することで機能する。
【0017】
音声取得ユニット130は、外界の音声を取得するための機構部材および電気部材を含む。音声取得ユニット130は、音声を取り込んで処理を施すマイクロホン132および音声信号処理部134を含む。音声信号処理部134は、マイクロホン132が取り込んだ音声信号を必要なタイミングで順次A/D変換し、その結果得られた音声データ(以下単に「デジタル音声データ」とよぶ)を処理ユニット60へ出力する。音声信号処理部134は、ノイズを軽減するための処理や、音声レベルを調整する処理を行っても良い。
【0018】
制御ユニット40は、ズーム駆動部42、フォーカス駆動部44、絞り駆動部46、シャッタ駆動部48、それらを制御する制御系CPU50、測距センサ52、および測光センサ54をもつ。ズーム駆動部42などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。レリーズスイッチ114の押下に応じ、測距センサ52は被写体までの距離を測定し、測光センサ54は被写体輝度を測定する。測定された距離のデータ(以下単に「測距データ」という)および被写体輝度のデータ(以下単に「測光データ」という)は制御系CPU50へ送られる。制御系CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部42とフォーカス駆動部44を制御して撮影レンズ22のズーム倍率とピントの調整を行う。
【0019】
制御系CPU50は、1画像フレームのRGBのデジタル信号積算値、すなわちAE情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部46とシャッタ駆動部48がそれぞれ絞り量の調整とシャッタ26の開閉を行う。
【0020】
制御系CPU50はまた、測光データに基づいてストロボ36の発光を制御し、同時に絞り24の絞り量を調整する。ユーザが映像の取込を指示したとき、CCD30が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積された電荷が撮像信号処理部32へ出力される。
【0021】
処理ユニット60は、デジタルカメラ10全体、とくに処理ユニット60自身を制御するメインCPU62と、これによって制御されるメモリ制御部64、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、通信I/F部80、音声出力部94、VRAMコントローラ142、信号処理部144、バッファ制御部148、SDRAMコントローラ150、DMAコントローラ154、回転処理制御部156などを有する。メインCPU62は、シリアル通信などにより、制御系CPU50との間で必要な情報をやりとりする。メインCPU62の動作クロックは、クロック発生器88から与えられる。クロック発生器88は、制御系CPU50、表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。
【0022】
メインCPU62には、キャラクタ生成部84とタイマ86が併設されている。タイマ86は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインCPU62に与えられる。キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【0023】
メモリ制御部64は、不揮発性メモリ66とメインメモリ68を制御する。不揮発性メモリ66は、EEPROM(電気的消去およびプログラム可能なROM)やFLASHメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ10の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ66には、場合によりメインCPU62のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ68は一般にDRAMのように比較的安価で容量の大きなメモリで構成される。メインメモリ68は、撮像ユニット20および音声取得ユニット130から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ66とメインメモリ68は、処理ユニット60内外の各部とメインバス82を介してデータのやりとりを行う。
【0024】
YC処理部70は、デジタル画像データにYC変換を施し、輝度信号Yと色差(クロマ)信号B−Y、R−Yを生成する。輝度信号と色差信号はメモリ制御部64によってメインメモリ68に一旦格納される。圧縮伸張処理部78はメインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ(以下単に「圧縮データ」という)は、オプション装置制御部74を介してオプション装置76の一種であるメモリカードへ書き込まれる。YC処理部70は、後述の信号処理部144によって実現されても良い。
【0025】
信号処理部144は、デジタル画像データに各種処理を施すための回路を含む。具体的には、上記したYC変換処理、画素補間処理、ガンマ補正処理などの処理が行われる。カラー画像を得るための信号処理回路としては、GストライプR/B市松型や、ベイヤー型などの既知のカラーフィルタ配列を有するCCD30から出力されたデジタル画像データの処理に適した回路が開発されている。このような回路を信号処理部144に用いても良い。
【0026】
処理ユニット60はさらにエンコーダ72をもつ。エンコーダ72は輝度信号と色差信号を入力し、これらをビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。つづいて、圧縮伸張処理部78で必要な伸張処理が施されたデータはエンコーダ72によってビデオ信号へ変換される。エンコーダ72は、信号処理部144の内部に含まれていても良い。
【0027】
オプション装置制御部74は、オプション装置76に認められる信号仕様およびメインバス82のバス仕様にしたがい、メインバス82とオプション装置76の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ10は、オプション装置76として前述のメモリカードのほかに、例えばPCMCIA準拠の標準的なI/Oカードをサポートしてもよい。その場合、オプション装置制御部74は、PCMCIA用バス制御LSIなどで構成してもよい。
【0028】
通信I/F部80は、デジタルカメラ10がサポートする通信仕様、たとえばUSB、RS−232C、イーサネットなどの仕様に応じたプロトコル変換等の制御を行う。通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。
【0029】
音声出力部94は、メインメモリ68またはオプション装置76から読み出されたデジタル音声データを、スピーカー98またはヘッドホン接続端子96を介してヘッドホンなどの外部機器へ出力するための処理を行う。具体的には、D/A変換処理、伸張処理、増幅処理などが行われる。これらの処理の一部または全てがメインCPU62で行われても良い。
【0030】
VRAMコントローラ142は、VRAM140を制御する。VRAM140は、撮像された画像や、その他必要な情報をLCDモニタ102に表示させるためのメモリである。VRAM140に格納された表示データは、モニタドライバ106を介してLCDモニタ102へ伝達される。バッファ制御部148は、バッファメモリ146を制御する。バッファメモリ146は、デジタル画像データなどを転送する際に、データを一時的に格納しておくためのメモリである。例えば、撮像信号処理部32から出力されたデジタル画像データは、一旦バッファメモリ146に順次格納され、DMAコントローラ154によって順次SDRAM152へ転送される。SDRAMコントローラ150は、SDRAM152を制御する。SDRAM152は、2次元的なアドレス指定が可能であり、デジタル画像データなどを格納しておくためのメモリである。SDRAM152に代えて、DRAMなどの2次元的なアドレッシングが可能な他のメモリを用いても良い。SDRAM152は、メインメモリ68によって実現されても良い。このとき、メモリ制御部64がSDRAMコントローラ150の機能を有しても良い。
【0031】
DMAコントローラ154は、メインCPU62を介さずにデータを転送するための制御を行う。本実施形態のDMAコントローラ154は、1回に32ビットのデータを転送することができる。本実施形態では、1つの受光素子が出力した信号電荷に対応するデジタル信号、すなわち1画素のデータは12ビットで構成されている。したがって、DMAコントローラ154は、1回の転送動作によって、2画素分のデータを同時に転送することができる。1回に転送できるデータ量をさらに増やし、複数画素分のデータを同時に転送しても良い。1画素のデータ量は、16ビット、32ビット、64ビットなどであっても良い。
【0032】
回転処理制御部156は、デジタル画像の水平方向と垂直方向とを交換して、デジタル画像を回転するための処理を制御する。回転処理制御部156は、DMAコントローラ154がSDRAM152に対して出力するアドレスの上位アドレスと下位アドレスとを交換する処理を行っても良い。例えば、DMAコントローラ154の上位アドレス線をSDRAM152の上位アドレス線と接続し、DMAコントローラ154の下位アドレス線をSDRAM152の下位アドレス線と接続して通常のDMA転送を行う回路と、DMAコントローラ154の上位アドレス線をSDRAM152の下位アドレス線と接続し、DMAコントローラ154の下位アドレス線をSDRAM152の上位アドレス線と接続して回転処理を行う回路とを、スイッチで制御するような構成であっても良い。
【0033】
表示ユニット100は、LCDモニタ102とLCDパネル104を有する。それらはLCDドライバであるモニタドライバ106、パネルドライバ108によってそれぞれ制御される。LCDモニタ102は、例えば2インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。LCDパネル104は例えば小さな白黒LCDでカメラ上面に設けられ、画質(FINE/NORMAL/BASICなど)、ストロボ発光/発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【0034】
操作ユニット110は、ユーザがデジタルカメラ10の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。レリーズスイッチ114は、半押しと全押しの二段階押し込み構造になっている。例えば、デジタルカメラ10が静止画撮影モードにあるとき、レリーズスイッチ114の半押しでAFおよびAEがロックし、全押しで撮像画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。デジタルカメラ10が動画撮影モードにあるとき、レリーズスイッチ114の半押しでAFおよびAEがロックし、全押しで動画の記録が開始される。レリーズスイッチ114が押し続けられている間は動画の記録が行われ、レリーズスイッチ114がオフになると動画の記録が停止するような構成であっても良い。レリーズスイッチ114が一旦オフになっても動画の記録が引き続いて行われ、再度レリーズスイッチ114が押下されると動画の記録が停止するような構成であっても良い。操作ユニット110は、これらのスイッチの他に、回転式のダイヤル型スイッチや、十字キーなどによる入力を受け付けても良い。これらは図1において機能設定部116と総称されている。操作ユニット110で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定/保存」、「表示切換」等がある。ズームスイッチ118は、ズーム倍率を決定する。
【0035】
以上の構成による主な動作は以下のとおりである。
【0036】
まずデジタルカメラ10のパワースイッチ112がオンされ、カメラ各部に電力が供給される。メインCPU62は、機能設定部116の状態を読み込むことで、デジタルカメラ10が、静止画撮影モード、静止画再生モード、動画撮影モード、動画再生モード、機能設定モード、データ転送モードのいずれにあるかを判断する。
【0037】
デジタルカメラ10が静止画撮影モードであるとき、メインCPU62はレリーズスイッチ114の半押し状態を監視する。半押し状態が検出されたとき、メインCPU62は測光センサ54および測距センサ52からそれぞれ測光データと測距データを得る。得られたデータに基づいて制御ユニット40が動作し、撮影レンズ22のピント、絞りなどの調整が行われる。調整が完了すると、LCDモニタ102に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ114の全押し状態を監視する。レリーズスイッチ114が全押しされると、所定のシャッタ時間をおいてシャッタ26が閉じられ、CCD30の蓄積電荷が撮像信号処理部32へ掃き出される。撮像信号処理部32は、信号電荷に対してCDS処理、AGC処理などの必要な処理を行った後、アナログ信号をA/D変換してデジタル信号に変換し、デジタル画像を生成する。撮像信号処理部32による処理の結果生成されたデジタル画像データはメインバス82へ出力される。デジタル画像データは一旦バッファメモリ146へ格納され、この後DMAコントローラ154によってSDRAM152へ転送される。このとき、後述するように、回転して読み出されたデジタル画像データが、DMAコントローラ154のアドレッシングによって元の配置に戻される。SDRAM152に格納されたデジタル画像データは、DMAコントローラ154によって信号処理部144へ送られ、必要な信号処理を受ける。その後、圧縮伸張処理部78で圧縮処理を施され、オプション装置制御部74を経由してオプション装置76へ記録される。信号処理部144から出力されたデジタル画像データは、同時にVRAM140へ格納される。こうして、デジタル画像データがLCDモニタ102に表示される。記録された画像は、フリーズされた状態でしばらくLCDモニタ102に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【0038】
デジタルカメラ10が静止画再生モードであるとき、メインCPU62は、SDRAMコントローラ150を介してSDRAM152から最後に撮影した画像を読み出し、これを表示ユニット100のLCDモニタ102へ表示する。この状態でユーザーが入力ユニット200などによって「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、LCDモニタ102へ表示される。
【0039】
デジタルカメラ10が動画撮影モードであるとき、メインCPU62は、レリーズスイッチ114の中途押下状態を監視する。中途押下状態が検出されたとき、メインCPU62は前述の静止画撮影モードのときと同様に記録品質調整処理を行う。このとき、同時に音声レベル調整処理が行われる。続いて、メインCPU62はレリーズスイッチ114の最終押下状態を監視する。レリーズスイッチ114が全押しされると、所定の同期信号に基づいてCCD30の蓄積電荷が撮像信号処理部32へ掃き出される。その後、静止画撮影モードのときと同様な処理を経てデジタル画像データが順次オプション装置76へ記録される。このとき、同時に音声取得ユニット130が取得した音声データが順次オプション装置76へ記録される。動画を記録している間、メインCPU62は、レリーズスイッチ114の中途押下状態を監視する。中途押下状態が検出されると、メインCPU62は動画および音声の記録を停止する。
【0040】
デジタルカメラ10が動画再生モードであるとき、メインCPU62は、操作ユニット110から伝達されるユーザの指示に基づいて、オプション装置制御部74を介してオプション装置76から動画データを読み出す。動画データは、データフォーマットに応じて圧縮伸張処理部78、YC処理部70、および音声出力部94で必要な処理を施された後、画像がLCDモニタ102へ表示され、音声がヘッドホン接続端子96またはスピーカ98に出力される。ユーザーは、操作ユニット110を介して、「再生」、「停止」、「早送り」、「巻き戻し」、「反転」、「一時停止」などの指示を伝達し、所望の情報を再生することができる。
【0041】
デジタルカメラ10が機能設定モードにあるとき、ユーザは、LCDモニタ102の表示に従って機能設定部116を操作し、デジタルカメラ10の機能を設定することができる。デジタルカメラ10がデータ転送モードにあるとき、コネクタ92を介して外部機器へデータを転送することができる。
【0042】
図2は、固体撮像装置の一例としてのCCD30の構成を概略的に示す。本実施形態のCCD30は、入射した光を光電変換して信号電荷を生成する複数の受光素子202からなる受光部200と、受光素子202に接して設けられ受光素子202が生成した信号電荷をCCD30の長手方向に沿って転送する第1の転送部の一例としての水平転送路204と、水平転送路204から伝達された信号電荷をCCD30の短手方向に沿って転送する第2の転送部の一例としての垂直転送路206と、垂直転送路206によって転送された信号を出力するための出力アンプ208とを備える。これによれば、CCD30の短手方向に信号電荷を読み出すので、信号の減衰を抑えることができる。本実施形態の受光部200においては、CCD30の長手方向に沿って第1の間隔d1をおいて配置されてなる第1の受光素子列210と、第1の受光素子列210の受光素子202の位置から長手方向に沿って第1の間隔d1の略半分だけずれた位置に受光素子202が配置されてなる第2の受光素子列212とが、CCD30の短手方向に第2の間隔d2をおいて交互に配置されている。このような受光素子の配列は、一般にハニカム構造と呼ばれている。本実施形態においては、第2の間隔d2は受光素子202の開口径にほぼ等しく、第1の間隔d1は第2の間隔d2のほぼ2倍である。第1の間隔d1は、第2の間隔d2の2倍に等しくなくても良い。例えば、第1の間隔d1を短くし、水平方向により多くの受光素子202を配置することで、水平方向の解像度を高めることができる。本実施形態の受光素子202は8角形の開口形状を有していたが、他の形状であっても良い。受光素子202は、CCD30がデジタルカメラ10に配置されたときの垂直方向に1024行、水平方向に1536列配置されている。本実施形態の受光素子202の開口部は縦横比が1対1であるため、CCD30の長手方向は水平方向であり、短手方向は垂直方向である。受光素子202の開口部の縦横比は1対1でなくても良く、例えば、3対2であっても良い。
【0043】
撮像時には、蓄積電荷転送パルスによって各受光素子202の読み出しゲート(図示せず)がオンになり、受光素子202によって生成された信号電荷が水平転送路204へ転送される。次に、水平駆動パルスを水平転送路204に繰り返し与えることにより、信号電荷が順次垂直転送路206に転送される。各水平転送路204からの信号電荷が垂直転送路206に入力される毎に、垂直駆動パルスが垂直転送路206に繰り返し与えられ、信号電荷が順次出力アンプ208へ転送される。ここで、短手方向に沿った第1の行(例えば図2の1列)上の受光素子202が生成した信号電荷と、第1の行に隣接した第2の行(図2の2列)上の受光素子202が生成した信号電荷とが、1回の水平駆動パルスによって同時に水平転送路204から垂直転送路206へ転送される。したがって、垂直転送路206は、第1の行の信号電荷と第2の行の信号電荷を交互に出力することになる。図2に示した点線の矢印は、1列と2列の受光素子202が生成した信号電荷が、ジグザグ状に読み出されることを模式的に示したものである。これによれば、2列を同時に読み出すことができるので、読み出し時間を短縮することができる。
【0044】
図3(a)(b)(c)は、CCD30の信号電荷が読み出され、従来の方法でSDRAM152に格納される様子を示す図である。図3(a)は、CCD30から信号電荷が読み出される様子を示す。本実施形態のCCD30は、受光素子202に入射する光の成分を制限する複数の種類のカラーフィルタを有する。カラーフィルタは、主に赤成分の光を透過するRフィルタ、主に緑成分の光を透過するGフィルタ、および主に青成分の光を透過するBフィルタを含む。第1の受光素子列210の受光素子202上には、RフィルタおよびBフィルタが交互に設けられており、第2の受光素子列212の受光素子202上には、Gフィルタが設けられている。図2で説明した手順で信号電荷を読み出すと、まず1列と2列の信号電荷が交互に読み出される。参照番号214で示したものは、1列と2列の信号電荷が読み出される様子を仮想的に示したものである。このように、垂直転送路206には、水平転送路204から、1列と2列の信号電荷が同時に転送される。そして、垂直転送路206が順次出力アンプ208へ信号電荷を転送し、出力アンプ208が信号電荷を出力する。1列と2列の信号電荷は、R00、G11、B02、G13、R04、G15、B06、G17、・・・の順に出力される。
【0045】
図3(b)は、CCD30から出力された信号電荷が撮像信号処理部32によって処理され、得られたデジタル信号がバッファメモリ146に格納される様子を示す。バッファメモリ146には、CCD30が出力した信号電荷の順と同じ順番で、デジタル信号が一時的に格納される。すなわち、R00、G11、B02、G13、R04、G15、B06、G17、・・・の順にデジタル信号が格納される。
【0046】
図3(c)は、バッファメモリ146に格納されたデジタル信号をDMAコントローラ154によってSDRAM152へ転送した様子を示す。SDRAM152は、図中の水平方向を下位アドレスで、垂直方向を上位アドレスで指定することによって、2次元的なアドレス指定が可能なメモリである。従来のDMA転送によれば、下位アドレスをインクリメントしながら転送を行うので、バッファメモリ146に格納されたデジタル信号が水平方向に沿って順に格納されていく。しかしながら、CCD30は、信号電荷を垂直方向に読み出して出力しているので、これをそのままSDRAM152へ水平方向に沿って格納すると、CCD30が撮像した被写体の画像と、SDRAM152に格納されたデジタル画像の向きが一致しない。
【0047】
図4(a)(b)は、CCD30が撮像した被写体の画像と、図3の方法でSDRAM152に格納されたデジタル画像との関係を示す。図4(a)は、CCD30が撮像した被写体の画像を示す。図4(b)は、SDRAM152に格納されたデジタル画像をそのままLCDモニタ102へ表示した様子を示す。図3で説明したように、SDRAM152に格納されたデジタル画像は、垂直方向と水平方向が入れ替わっているので、被写体の画像と異なる向きに表示されてしまう。
【0048】
図5(a)(b)(c)は、CCD30の信号電荷が読み出され、本実施形態の方法でSDRAM152に格納される様子を示す図である。図5(a)は、CCD30から信号電荷が読み出される様子を示す。図3(a)に示した例と同様に、信号電荷が読み出される。図5(b)は、CCD30から出力された信号電荷が撮像信号処理部32によって処理され、得られたデジタル信号がバッファメモリ146に格納される様子を示す。図5(c)は、バッファメモリ146に格納されたデジタル信号をDMAコントローラ154によってSDRAM152へ転送した様子を示す。本実施形態では、回転処理制御部156は、DMAコントローラ154がSDRAM152に対して出力する書き込みアドレスの上位アドレスと下位アドレスとを交換する。したがって、DMAコントローラ154が下位アドレスをインクリメントしながらデジタル信号を転送したとき、図5(c)に示すようにSDRAM152上では上位アドレス方向へデジタル信号が格納される。これによれば、デジタル画像の水平方向と垂直方向とを交換することによって、被写体の画像とデジタル画像の向きを一致させることができる。本実施形態においては、CCD30は、第1の行の信号電荷と第2の行の信号電荷を交互に出力するが、DMAコントローラ154が2画素分のデータを同時に転送するので、SDRAM152上には、CCD30上と全く同じ画素配列が再現される。CCD30が信号電荷を1行ずつ出力するときは、DMAコントローラ154が1画素分のデータをSDRAM152の上位アドレス方向へ逐次転送すれば、同様にSDRAM152上に全く同じ画素配列が再現される。CCD30が2行の信号電荷を交互に出力し、DMAコントローラ152が1画素分のデータを逐次転送するときには、下位アドレスと上位アドレスを交互にインクリメントし、ジグザグ状にSDRAM152へ格納すれば良い。
【0049】
このようにしてSDRAM152へ格納されたデジタル信号は、さらに信号処理部144へ転送され、YC変換処理、アパーチャ処理、ガンマ補正処理などの必要な処理を受ける。このとき、デジタル信号は水平方向へ1ライン分読み出され、順次信号処理部144へ転送される。予めSDRAM152に転送する際に回転処理が行われているので、信号処理部144へ転送するときにはクロックに同期して1ライン分連続して読み出すことができる。このため、SDRAM152の特長を生かした高速な処理が可能となる。水平方向に読み出されたデジタル信号は、例えばR00、G11、B20、G31、R40、G51、B60、G71、・・・のカラー配列を有する。このカラー配列は、GストライプR/B市松型のカラー配列と同じである。これにより、信号処理部144として、既存のGストライプR/B市松型の信号処理回路を利用することができる。
【0050】
図6は、本実施形態のバッファメモリ146の構成を示す。バッファメモリ146は、6個のデータバッファA0〜A5を有する。データバッファは、水平転送路204の1回の転送動作に伴って垂直転送路206から出力された信号電荷をデジタル信号に変換したデータ列の容量よりも少ない記憶容量を有する。すなわち、データバッファは、CCD30の短手方向にジグザグ状に読み出される2列(以下、単に1ラインという)のデータ列の容量よりも少ない記憶容量を有する。本実施形態においては、垂直転送路206から出力される1ライン分の画素数は2048画素であるが、1つのデータバッファの容量は、320画素分しかない。このように、1ライン分の容量よりも少ない記憶容量を有するデータバッファが使用できる理由を、図7を用いて説明する。
【0051】
図7は、撮像信号処理部32から出力されたデジタル信号が、データバッファに一時的に格納され、さらにDMAコントローラ154によってSDRAM152へ転送される様子を示す。上段に示したCCD有効データは、撮像信号処理部32から出力されるデジタル信号のデータ列を示す。1個の横長の長方形が、1ライン分のデータ列を示す。中段に示したデータバッファ書き込みは、撮像信号処理部32から出力されたデジタル信号がデータバッファへ格納される様子を示す。下段のデータバッファDMA出力は、データバッファに格納されたデジタル信号がDMAコントローラ154によってSDRAM152へ転送される様子を示す。まず、撮像信号処理部32から出力されたデジタル信号は、データバッファA0へ格納される。データバッファA0の容量は1ライン分の容量よりも少ないので、格納しきれなかったデジタル信号は、続いてデータバッファA1へ格納される。このとき、データバッファA1への格納作業に並行して、データバッファA0からSDRAM152へデジタル信号がDMA転送される。本実施形態では、DMAコントローラ154は、2画素分のデータを同時に転送する。これにより、データバッファA0からSDRAM152への転送時間は、データバッファA1への格納作業に要する時間よりも短くすることができる。したがって、データバッファA1の容量がいっぱいになったとき、データバッファA0のデジタル信号は全てSDRAM152へ転送されているので、続いてデータバッファA0へデジタル信号を格納することができる。以上の構成により、バッファメモリ146の容量を少なくすることができるとともに、CCD30の画素数がさらに多くなった場合でも汎用的に同じ処理回路を用いることができる。本実施形態では、6個のデータバッファを設けていたが、データバッファの数はシステムの構成に合わせて変更しても良い。少なくとも2個のデータバッファが必要である。
【0052】
図8は、CCD30のカラーフィルタ配列の他の例を示す。このカラーフィルタ配列を有するCCD30が出力した信号電荷を、本実施形態と同様に処理すると、信号処理部144へ入力されるデータのカラー配列は、R、G、B、G、・・・となり、GストライプR/B市松型のカラー配列と同様になる。これにより、既存のGストライプR/B市松型の信号処理回路を利用することができる。
【0053】
図9は、CCD30のカラーフィルタ配列の他の例を示す。図9においては、Rフィルタが設けられた第1の受光素子列220と、Gフィルタが設けられた第2の受光素子列222と、Bフィルタが設けられた第1の受光素子列224と、Gフィルタが設けられた第2の受光素子列226とが、CCD30の短手方向に沿ってこれらの順に繰り返し設けられている。このカラーフィルタ配列を有するCCD30が出力した信号電荷を、本実施形態と同様に処理すると、信号処理部144へ入力されるデータのカラー配列は、220および222に関しては、R、G、R、G、・・・となり、224および226に関しては、B、G、B、G、・・・となる。これは、ベイヤー型のカラー配列と同様である。これにより、既存のベイヤー型の信号処理回路を利用することができる。
【0054】
図10は、CCD30のカラーフィルタ配列の他の例を示す。このカラーフィルタ配列を有するCCD30が出力した信号電荷を、本実施形態と同様に処理すると、信号処理部144へ入力されるデータのカラー配列は、220および222に関しては、R、G、R、G、・・・となり、224および226に関しては、B、G、B、G、・・・となる。これは、ベイヤー型のカラー配列と同様である。これにより、既存のベイヤー型の信号処理回路を利用することができる。
【0055】
回転処理制御部156の機能は、DMAコントローラ154自身が有していても良い。すなわち、DMAコントローラ154が、上位アドレスをインクリメントしながらデータを転送するモードを有していても良い。回転処理制御部156と、DMAコントローラ154の双方の機能をメインCPU62が有し、メインCPU62によってデータ転送が行われても良い。
【0056】
本実施形態では、撮像信号処理部32から出力されたデジタル信号をバッファメモリ146へ格納し、これをSDRAM152へ転送する際に回転処理を行ったが、回転処理のタイミングはこの限りではない。例えば、SDRAM152へ一旦格納したデジタル信号を、バッファメモリ146へ転送し、再度SDRAM152へ転送する際に回転処理を行っても良い。SDRAM152へ一旦格納したデジタル信号を、信号処理部144へ転送する際に、上位アドレス方向へデータを読み出していくことにより、回転処理を行っても良い。回転処理は、信号処理に先立って行われることが好ましい。これによれば、人間の目が水平方向に対して高い解像度を有していることに対応して、水平方向に高い解像度が得られるように設計された既存の信号処理回路を利用し、望みの通り水平方向に高い解像度を得ることができる。
【0057】
なお、デジタルカメラ10を90°回転させて画像を撮像する、いわゆる縦撮り時には、回転処理を行わずにそのまま信号処理を行い、画像を記録しても良い。このとき、記録されたデジタル画像は、被写体の画像と同じ向きになる。
【0058】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0059】
【発明の効果】
上記説明から明らかなように、本発明によれば信号処理に適したデータを出力することができる固体撮像装置、およびその固体撮像装置を利用できるデジタルカメラを提供することができる。
【図面の簡単な説明】
【図1】 図1は、本発明の実施形態に係るデジタルカメラの全体構成を示す図である。
【図2】 図2は、固体撮像装置の一例としてのCCDの構成を概略的に示した図である。
【図3】 図3(a)(b)(c)は、CCDの信号電荷が読み出され、従来の方法でSDRAMに格納される様子を示す図である。
【図4】 図4(a)(b)は、CCD30が撮像した被写体の画像と、図3の方法でSDRAM152に格納されたデジタル画像との関係を示す図である。
【図5】 図5(a)(b)(c)は、CCD30の信号電荷が読み出され、本実施形態の方法でSDRAM152に格納される様子を示す図である。
【図6】 図6は、本実施形態のバッファメモリ146の構成を示す図である。
【図7】 図7は、撮像信号処理部から出力されたデジタル信号が、データバッファに一時的に格納され、さらにDMAコントローラによってSDRAMへ転送される様子を示す図である。
【図8】 図8は、CCDのカラーフィルタ配列の他の例を示す図である。
【図9】 図9は、CCDのカラーフィルタ配列の他の例を示す図である。
【図10】 図10は、CCDのカラーフィルタ配列の他の例を示す図である。
【符号の説明】
10 デジタルカメラ
20 撮像ユニット
30 CCD
32 撮像信号処理部
40 制御ユニット
60 処理ユニット
100 表示ユニット
110 操作ユニット
130 音声取得ユニット
144 信号処理部
146 バッファメモリ
152 SDRAM
154 DMAコントローラ
156 回転処理制御部
200 受光部
202 受光素子
204 水平転送路
206 垂直転送路
208 出力アンプ
210 第1の受光素子列
212 第2の受光素子列
Claims (5)
- 被写体の画像を記録するためのデジタルカメラであって、
前記被写体からの光を光電変換して信号電荷を生成する複数の受光素子からなる受光部と、前記複数の受光素子に接して設けられ、前記複数の受光素子が生成した前記信号電荷を該固体撮像装置の長手方向に沿って転送する複数の第1の転送部と、前記複数の第1の転送部から伝達された前記信号電荷を該固体撮像装置の短手方向に沿って転送する第2の転送部と、前記複数の受光素子に入射する光の成分を制限する複数の種類のカラーフィルタとを有し、前記短手方向が当該デジタルカメラの上下方向になるように配置された固体撮像装置と、
前記信号電荷を処理してデジタル信号に変換し、デジタル画像を生成する撮像信号処理部と、
前記デジタル画像を格納する、2次元的なアドレス指定が可能なメモリと、
前記被写体の画像の向きと前記デジタル画像の向きとが一致するように、前記デジタル画像の水平方向と垂直方向とを交換して前記メモリに格納する回転処理制御部と、
前記デジタル信号の転送を制御するDMAコントローラと
を備え、
前記回転処理制御部は、前記DMAコントローラが前記メモリに対して出力するアドレスの上位アドレスと下位アドレスとを交換することによって、前記デジタル画像の水平方向と垂直方向とを交換し、
前記DMAコントローラは、異なる前記カラーフィルタが設けられた前記複数の受光素子から出力された複数の前記信号電荷に対応する複数の前記デジタル信号を同時に転送するデジタルカメラ。 - 前記受光部は、前記長手方向に沿って第1の間隔をおいて配置されてなる第1の受光素子列と、前記第1の受光素子列の受光素子の位置から前記長手方向に沿って第1の間隔の略半分だけずれた位置に受光素子が配置されてなる第2の受光素子列とが、前記短手方向に第2の間隔をおいて交互に配置されてなる請求項1に記載のデジタルカメラ。
- 前記デジタル信号を一時的に格納するためのバッファメモリを更に備え、前記バッファメモリは、前記複数の第1の転送部の1回の転送動作に伴って前記第2の転送部から出力された前記信号電荷を前記デジタル信号に変換したデータ列の容量よりも少ない記憶容量を有する複数のデータバッファを含む請求項1または請求項2に記載のデジタルカメラ。
- 前記回転処理制御部は、前記デジタル信号を前記バッファメモリから前記メモリへ転送する際、前記メモリの上位アドレス方向へ前記デジタル信号を格納することによって、前記デジタル画像の水平方向と垂直方向とを交換する請求項3に記載のデジタルカメラ。
- 前記デジタル信号に対して信号処理を行う信号処理部を更に備え、前記回転処理は、前記信号処理に先だって行われる請求項1から請求項4のいずれかに記載のデジタルカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000024862A JP4409696B2 (ja) | 2000-02-02 | 2000-02-02 | デジタルカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000024862A JP4409696B2 (ja) | 2000-02-02 | 2000-02-02 | デジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001218114A JP2001218114A (ja) | 2001-08-10 |
JP4409696B2 true JP4409696B2 (ja) | 2010-02-03 |
Family
ID=18550792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000024862A Expired - Fee Related JP4409696B2 (ja) | 2000-02-02 | 2000-02-02 | デジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4409696B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009188963A (ja) | 2008-02-09 | 2009-08-20 | Fujitsu Microelectronics Ltd | 画像処理回路、画像処理方法およびカメラ |
-
2000
- 2000-02-02 JP JP2000024862A patent/JP4409696B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001218114A (ja) | 2001-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4226188B2 (ja) | オーディオ機能搭載デジタルカメラ | |
US8436928B2 (en) | Image sensing apparatus and method with drive control variation of each of the plurality of output fields | |
US20030020814A1 (en) | Image capturing apparatus | |
JP3822380B2 (ja) | 画像信号処理装置 | |
JP2003018438A (ja) | 画像撮像装置 | |
JP4004346B2 (ja) | 撮像装置及びディストーション補正方法 | |
JP4616429B2 (ja) | 画像処理装置 | |
JP2006033123A (ja) | 撮像装置 | |
JP2003018445A (ja) | 画像撮像装置 | |
JP2001275028A (ja) | デジタルカメラ | |
JP2003018437A (ja) | 画像撮像装置 | |
US7433099B2 (en) | Image sensing apparatus, image sensing method, program, and storage medium | |
JP4034029B2 (ja) | デジタルカメラ | |
JP2004007133A (ja) | 撮像装置 | |
JP2003023555A (ja) | 画像撮像装置 | |
JP4409696B2 (ja) | デジタルカメラ | |
JP2000032332A (ja) | 電子カメラ | |
JP4986588B2 (ja) | 撮像装置及びその制御方法 | |
JP3949888B2 (ja) | 撮像装置 | |
JP2003008959A (ja) | 撮像装置、及びそのモード選択方法 | |
JP3943323B2 (ja) | 撮像装置、撮像方法、信号処理方法、及び画像をコンピュータに処理させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3999417B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4300043B2 (ja) | 撮像装置、撮像方法、撮像プログラム、及び記録媒体 | |
JP4054173B2 (ja) | カメラ | |
JPH07322114A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050901 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091112 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |