JP3905342B2 - 固体撮像装置 - Google Patents
固体撮像装置 Download PDFInfo
- Publication number
- JP3905342B2 JP3905342B2 JP2001311354A JP2001311354A JP3905342B2 JP 3905342 B2 JP3905342 B2 JP 3905342B2 JP 2001311354 A JP2001311354 A JP 2001311354A JP 2001311354 A JP2001311354 A JP 2001311354A JP 3905342 B2 JP3905342 B2 JP 3905342B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- square lattice
- unit
- color filters
- color filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、固体撮像装置にかかり、特に、デジタルカメラや動画撮影に用いられる固体撮像装置に関する。
【0002】
【従来の技術】
現在、固体撮像素子を適用したデジタルカメラが普及しつつある。この普及は、銀塩カメラの解像度に相当する画像が得られ、搭載した液晶表示モニタですぐに鑑賞できる点や撮影することによって得られる画像データをコンピュータに取り込んで活用できる点などが挙げられる。特に、画像の解像度を向上させると共に、コストダウンも鑑みて、撮像素子の画素サイズは小さくなる傾向にある。この場合、光源変換を行なう固体撮像素子(受光素子)は画素数の増加に伴って1個あたりの受光単位面積が小さくなるため感度を低下させてしまう。画像の高画質化には、解像度と感度の両方を高める必要があるが、解像度と感度は相反するものである。
【0003】
この問題に対して、CCDを3個設けると共に、各CCDにそれぞれ赤色、緑色及び青色を透過させるフィルタを設けた、所謂3板色撮像装置を採用して高解像度なRGB信号を得ることが可能である。しかしながら、原色フィルタを用いるため補色に比べて感度が低い。
【0004】
また、このような多板方式の撮像装置の例としては、例えば、特開平6−86301号公報や特開平7−288824号公報に記載の技術などが挙げられる。
【0005】
特開平6−86301号公報及び特開平7−288824号公報に記載の技術では、2つのCCD上にそれぞれ同じ配列の補色市松カラーフィルタを設け、それぞれのCCD上に設ける補色市松カラーフィルタの位置関係が水平方向に1画素ずれるように配置している。すなわち、第1のフィルタのマゼンタ(Mg)に第2のフィルタのグリーン(G)が対応し、第1のフィルタのイエロー(Ye)に第2のフィルタのシアン(Cy)が対応する、と言ったように配置し、垂直方向に並ぶ4画素の信号からR、G、Bを抽出するようにしている。このように配置することによって、水平方向の解像度を上げることができ、補色フィルタを用いることによる感度を向上させることができる。
【0006】
【発明が解決しようとする課題】
しかしながら、特開平6−86301号公報及び特開平7−288824号公報に記載の技術では、水平方向の解像度を向上することができるので、動画では解像度向上が見込めるが、静止画では垂直方向の解像度を向上できない、という問題がある。
【0007】
本発明は、上記事実を考慮して成されたもので、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる固体撮像装置の提供を目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために請求項1に記載の発明は、光電変換する複数の受光素子が2次元的に配列された受光部における単位受光部配列が非正方格子配列とされ、光入射側に補色の色フィルタが設けられた2つの撮像手段と、前記2つの撮像手段の各々に同一被写体像を結像するように入射光を案内する案内手段と、前記2つの撮像手段のそれぞれの光電変換により得られる非正方格子配列の画像データにおけるそれぞれの前記受光部中心位置を重ね合わせることにより、前記撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成する合成手段と、を含むことを特徴としている。
【0009】
請求項1に記載の発明によれば、2つの撮像手段は、光電変換する複数の受光素子が2次元的に配列された受光部における単位受光部配列が非正方格子配列とされている。例えば、非正方格子配列とされたそれぞれの撮像手段は、受光素子と該受光素子に隣接する受光素子とが水平及び垂直方向にそれぞれずらされて配置された、所謂ハニカム形状のCCDを用いることができる。また、それぞれの撮像手段の光入射側には、補色の色フィルタが設けられており、原色の色フィルタに比べて撮像手段の感度を高感度にすることができる。
【0010】
案内手段では、2つの撮像手段へ同一被写体像が結像するように入射光が案内されるので、2つの撮像手段には、同一被写体像が結像される。案内手段としては、例えば、ビームスプリッタやハーフミラー等を用いることが可能である。
【0011】
そして、合成手段では、2つの撮像手段より得られる非正方格子配列の画像データにおける受光部中心位置を重ね合わせることにより、撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成される。すなわち、非正方格子配列の2つの撮像手段それぞれより得られる画像データにおける仮想画素がそれぞれの撮像手段より得られる画像データにより補間され、静止画や動画に拘わらず虚画素補間処理を行うことなく高解像度な正方格子配列の画像データを得ることができる。
【0012】
従って、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる。
【0013】
なお、請求項2に記載の発明のように、合成後の正方格子配列の画像データにおける色配列が完全色差順次配列となるように2つの撮像手段の補色フィルタを配列することにより、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像が可能となる。
【0014】
完全色差順次配列となる2つの撮像手段の補色フィルタ配列としては、例えば、請求項3に記載の発明のように、一方の撮像手段に設けられた補色の色フィルタ配列を、シアンの色フィルタを4隅に配置する正方格子と、水平方向に隣接する色フィルタが同色でかつ対角の組がマゼンタ及びグリーンの色フィルタとなるように配置すると共に、4隅に配置されたシアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、他方の撮像手段に設けられた補色の色フィルタ配列を、イエローの色フィルタを4隅に配置する正方格子と、水平方向に隣接する色フィルタが同色かつ対角の組がグリーン及びマゼンタの色フィルタとなるように配置すると共に、4隅に配置されたイエローの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、それぞれの撮像手段より得られる画像データを合成することによって完全色差順次配列の画像データを得ることが可能である。
【0015】
さらに、請求項4に記載の発明のように、合成後の正方格子配列の画像データにおける色配列が色差順次配列となるように2つの撮像手段の補色フィルタを配列することにより、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像が可能となる。
【0016】
色差順次配列となる2つの撮像手段の補色フィルタ配列としては、例えば、請求項5に記載の発明のように、一方の撮像手段に設けられた補色の色フィルタ配列を、シアンの色フィルタを4隅に配置する正方格子と、マゼンタの色フィルタを4隅に配置すると共に、4隅に配置されたシアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、他方の撮像手段に設けられた補色の色フィルタ配列を、イエローの色フィルタを4隅に配置する正方格子と、グリーンの色フィルタを4隅に配置すると共に、4隅に配置されたイエローの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、それぞれの撮像手段より得られる画像データを合成することによって色差順次配列の画像データを得ることが可能である。
【0017】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【0018】
本発明の実施の形態に係るデジタルスチルカメラ10の構成を図1に示す。
【0019】
図1に示すように、本発明の実施の形態に係るデジタルスチルカメラ10は、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号発生部22、ドライバ部24、絞り調節機構26、光学ローパスフィルタ28、赤外光遮光フィルタ(IRカットフィルタ)IR、撮像部30、前処理部32、A/D変換部34、信号処理部(Digital Signal Processor:DSP)36、圧縮/伸張部38、記録再生部40、及びモニタ42が備えられている。これら各部を順次説明する。光学レンズ系12は、例えば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないこれら光学レンズを配置する位置を調節して画面の画角を操作部14からの操作信号14Aに応じて調節するズーム機構や被写体とデジタルスチルカメラ10との距離に応じてピント調節するAF(Automatic Focus:自動焦点)調節機構が含まれている。操作部14より出力される操作信号14Aは、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号発生部22、ドライバ部24を介してこれらの機構を動作させる駆動信号24Aが供給される。
【0020】
操作部14には、図示しないシャッタスイッチや例えばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでデジタルスチルカメラ10の操作を行なうようにシステムバス16を介して第1のモードと第2のモードの何れかが選択されたかを操作信号14Aによりシステム制御部18に出力して報知する。
【0021】
システム制御部18は、例えばCPU(Central Processing Unit:中央演算処理装置)を備えている。システム制御部18には、デジタルスチルカメラ10の動作手順が書き込まれたROM(Read Only Memory:読み出し専用メモリ)が含まれる。システム制御部18は、例えば、ユーザの操作に伴って操作部14から供給される操作信号14AとこのROMに記憶された情報を用いて各部の動作を制御する制御信号18Aを生成する。システム制御部18は、生成した制御信号18Aを信号発生部20、前処理部32、A/D変換部34の他に、システムバス16を介してDSP36、圧縮/伸張部38、記録再生部40、及びモニタ42にも供給する。
【0022】
信号発生部20はシステム制御部18からの制御に応じてシステムクロック20Aを図示しない発振器により発生する。信号発生部20は、このシステムクロック20Aをタイミング信号発生部22及びDSP36に供給する。また、システムクロック20Aは、例えば、システムバス16を介してシステム制御部18の動作タイミングとしても供給される。
【0023】
タイミング信号発生部22は、供給されるシステムクロック20Aを制御信号18Aに基づいて各部を動作させるタイミング信号22Aを生成する回路を含む。タイミング信号発生部22は、生成したタイミング信号22Aを図1に示すように各部に出力すると共に、ドライバ部24にも供給する。ドライバ部24は、上述した光学レンズ系12のズーム調節機構及びAF調節機構の他、絞り調節機構26及び撮像部30にも駆動信号24Aをそれぞれ供給する。
【0024】
絞り調節機構26は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積(すなわち、絞り開口面積)を調節する機構である。絞り調節機構26にもドライバ部24から駆動信号24Aが供給される。この駆動信号24Aは、上述したシステム制御部18からの制御に応じて行なう動作のための信号である。この場合、システム制御部18は、撮像部30で光電変換した信号電荷を基にAE(Automatic Exposure:自動露出)処理として絞り・露光時間を算出している。この算出した値に対応する制御信号24Aがタイミング信号発生部22に供給された後、絞り調節機構26には、このタイミング信号発生部22からのタイミング信号22Aに応じた駆動信号24Aがドライバ部24から供給される。
【0025】
撮像部30は、案内手段としてのハーフミラー30Z及び2つの撮像手段30X、30Yが設けられている。ハーフミラー30Zは、光学レンズ系12より入射される入射光を案内し、それぞれ2つの撮像手段30X、30Yに入射光を結像するようになっている。なお、案内手段としては、ハーフミラー30Zの他にビームスプリッタ等を用いることも可能である。
【0026】
それぞれの撮像手段30X、30Yでは光電変換する撮像素子(受光素子)を光学レンズ系12より入射される光の光軸と直交する平面(撮像面)が形成されるように配置されていると共に、それぞれの撮像手段30X、30Yの光入射側には、入射される光を色分解する色フィルタCF(図3参照)が設けられている。また、ハーフミラー30Zの入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ28と一体的に赤外光を遮光するIRカットフィルタIRが一体的に配設されている。撮像手段30X、30Yには、CCD(Charge Coupled Device:電荷結合素子)やMOS(Metal Oxide Semiconductor:金属酸化型半導体)タイプの固体撮像デバイスが適用される。撮像手段30X、30Yでは、供給される駆動信号24Aに応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読み出し期間における電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流/電圧変換によってアナログ電圧信号30Aにされ、前処理部32に出力される。撮像手段30X、30Yは、CCDタイプでは信号電荷の読み出しモードに応じてフィールド蓄積2行混合読み出しの色多重化方式や全画素読み出し方式を用いる。これらの信号読み出し方式については後述する。
【0027】
前処理部32には、図示しないCDS(Correlated Double Sampling:相関二重サンプリング:以下CDSという)部を含んで構成されている。CDS部は、例えば、CCD型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22からのタイミング信号22Aによりクランプするクランプ回路と、タイミング信号22Aによりアナログ電圧信号30Aをホールドするサンプルホールド回路を有する。CDS部は、ノイズ成分を除去してアナログ出力信号32AをA/D変換部34に送る。A/D変換部34は、供給されるアナログ出力信号32Aの信号レベルを所定の量子化レベルにより量子化してデジタル信号34Aに変換するA/D変換器を有する。A/D変換部34は、タイミング信号発生部22から供給される変換クロック等のタイミング信号22Aにより変換したデジタル信号34AをDSP36に出力する。
【0028】
DSP36は、撮像部30の読み出しモード(フィールド蓄積2行混合読み出し等の多重化方式や全画素読み出し方式)に応じて信号処理を行なうようになっている。
【0029】
DSP36は、全画素読み出し方式に対応して、図2に示すように、データ補正部44、Yh補間部46、及び加算器48を含んで構成されている。データ補正部44は、入力されるデジタルデータのゲインバランスを調整するゲイン補正、補色を原色に変換するマトリクス(3×3行の行列等を使用)、自動的にホワイトバランスの調整を行なうAWB(Automatic White Balance)や色の補正を行なうガンマ補正等を行なう。特にガンマ補正は、ROM(Read Only Memory)に供給されるデジタル信号とこのデジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部22からのタイミング信号22Aに応じて各補正を行なう。データ補正部44は、この処理した補正信号(補正データ)を補色から原色に色変換した色(R、G、B)毎に加算器48に出力する。
【0030】
また、Yh補間部46は、それぞれの撮像手段30X、30Yの撮像によってA/D変換部34を介して得られるデジタル信号(G、Cy、Ye色フィルタセグメントの3色の画素データ)を基に、それぞれの撮像手段30X、30Yの色セグメント配列が重複しない正方格子となるように合成、すなわち、一方の撮像手段30Xより得られるデジタル信号の仮想画素が他方の撮像手段30Yより得られるデジタル信号画素で補間されるように合成を行う。合成は、図7に示すように色フィルタセグメントの配置が完全色差順次配列となるように合成する。そして、合成されたデジタル信号から輝度データ(Yh信号)を生成する機能を有する。Yh補間部46は、Hpf(High Pass Filter)50を介して生成したYh信号を加算器48に出力する。なお、Hpf50は、供給されるプレーンなYh信号の高域成分だけを通過させるデジタルフィルタである。
【0031】
加算器48は、データ補正部44によって各補正が行なわれることによって得られるRGB画素データ(r、g、b)及びYh補間部46によって生成されたYh信号50Aを加算することにより、高域成分を有するプレーンな画素データを生成する。加算器48はプレーンな画素データを色差マトリクス52に出力する。
【0032】
色差マトリクス52は、供給されるプレーンな画素データ(R、G、B各色毎のデータ)に基づいて帯域の延びた輝度データY、色差データ(R−Y)、(B−Y)を生成する。これら3つの画素データは、各色に定めた混合割合で乗算演算することによって得られる。混合割合を決める係数は、従来からの値を用いる。色差マトリクス52は得られたデータを各成分毎にLpf(Low Pass Filter)54に出力する。
【0033】
Lpf54は、色差マトリクス52から供給される信号に周波数折り返し歪が生じないように緩やかな傾斜でレベルを低下させる周波数特性を持たせている。Lpf54は、輝度データY、色差データ(R−Y)、(B−Y)の各帯域をカバーする3つのローパスフィルタからなる。Lpf54を通過した輝度データYは、輝度データ補正部56へ出力され、色差データ(R−Y)、(B−Y)は、色差ゲイン調整部58、60に出力される。
【0034】
輝度データ補正部56は、供給される輝度データYに対して高域でのレスポンスの低下を補うように、例えばトランスバーサルフィルタ等によって構成されている。この処理を施すことにより、画像表示した際に画像の輪郭が強調される。また、色差ゲイン調整部58、60は、それぞれ色差データ(R−Y)、(B−Y)を表す色差データのゲインを調整する。このように、輝度データ補正部56、色差ゲイン調整部58、60によってデータが処理されて色信号のレベルが向上することにより、画像表示した際の映像を高品位な解像度及び彩度の高いものにすることができる。輝度データ補正部56、色差ゲイン調整部58、60はそれぞれ、輝度データY、色差データ(R−Y)、(B−Y)を図1に示す圧縮/伸張部38に出力する。
【0035】
圧縮/伸張部38は、例えば、直交変換を用いたJPEG(Joint Photographic Experts Group)規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮/伸張部38は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部40に供給する。また、圧縮/伸張部38は、図2に示す色差マトリクス52で得られるデータをシステム制御部18の制御によりスルーさせ、システムバス16を介してモニタ42に供給することもできる。圧縮/伸張部38が伸張処理を行なう場合、逆に記録再生部40から読み出したデータをシステムバス16を介して圧縮/伸張部38に取り込んで処理する。ここで、処理されたデータもモニタ42に供給して表示させる。
【0036】
また、DSP36は、上述の多重化方式に対応して、モニタ36に表示するために、撮像手段30X、30Yより得られた補色を含む画素データを、上述とは異なる方法で、輝度データY、色差データ(R−Y)、(B−Y)に変換する処理も行なうようになっている。例えば、周知の技術を用いて、撮像手段30X、30Yより得られる補色を含む画素データからフィールド蓄積2行混合の色多重方式に基づいてそれぞれを合成して3原色RGBの画素データを生成し、生成された3原色RGBの画素データを基に輝度データY、色差データ(R−Y)、(B−Y)をマトリクス演算等によって生成し、生成された輝度データY、色差データ(R−Y)、(B−Y)をモニタに供給することにより、ムービーモードやシャッターの半押しによるファインダモードの表示を行なうようになっている。なお、ムービーモードやファインダモード等で行なう上述の多重化方式の信号処理選択は、システム制御部18からの制御信号18Aに基づいて行なわれる。
【0037】
記録再生部40は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む。記録媒体には、例えば、所謂スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部と共に、この画像データを書き込むヘッドがある。
【0038】
モニタ42は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データ及び色差データ、又は3原色RGBのデータを、画面の大きさを考慮すると共に、タイミング調整して表示する機能を有する。
【0039】
本実施の形態に係るデジタルスチルカメラ10は、このように構成して補色を含んで得られたカラー撮像信号の広帯域化を図っている。このデジタルスチルカメラ10の動作を説明する前に色フィルタCFの色配置と撮像部30の撮像手段30X、30Yの関係について説明する。撮像手段30X、30Yは、図3に示すように、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向及び水平方向にずらされた2次元配置された受光部30Pと、この受光部30Pの前面に形成された開口部APを迂回するように配置され、かつ受光素子PDからの信号を取り出す電極ELと、この電極ELを介して供給される信号を受光部30Pの垂直方向に順次転送する垂直転送レジスタVR1〜VR4とを備えている。
【0040】
垂直転送レジスタVR1〜VR4は、供給される垂直転送駆動信号V1〜V4に応じて信号を転送している。すなわち、垂直転送レジスタは1受光部あたり4電極構造になっている。また、1受光部領域の水平隣接領域が2電極構造で上述した画素ずれしている。本実施の形態の撮像部30に形成された開口部APは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させると共に、素直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判る形状は、多角形でもよく、この他の例としては、正方格子45°回転させた開口形状として、例えば、菱形等があり、さらに八角形等にしてもよい。
【0041】
開口部APは、図3に示すように各開口部APを覆う色フィルタCFの直下にそれぞれ対応して配置される受光素子PDの間隔を各方向毎の画素ピッチPPとするとき、開口部APの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチPP分だけ移動させた2次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部APを隙間なく、隣接する開口部APが稠密な配置するようにしてもよい。図3のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチPPの半分だけずらした配置により形成できる。このように稠密な配置を得るには開口部APの形状に依存する。
【0042】
ここで、撮像手段30X、30Yが一般的に用いられる正方格子状の場合とハニカム形状の場合の配置関係を比較すると、ハニカム形状の配置は、画素ピッチPPをそれぞれN(μm)の正方格子状には位置した受光素子がそれぞれ45°回転させた場合の配置である。ハニカム形状の配置、すなわち画素の半ピッチずれを有する配置では、正方格子状の配置における水平/垂直方向の隣接画素間距離|PP|=N(μm)を基準に検討すると、輪説画素間距離がN×(2)-1/2と隣接画素間距離|PP|=Nより短くなる。従って、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を(2)1/2倍に向上させることができる。また、本実施の形態では、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、2つの撮像手段30X、30Yより得られる画素データにおける仮想画素をそれぞれの撮像手段30X、30Yより得られる画素データで補間し合うようにDSP36で合成処理が行われるようになっている。この合成処理を行うことにより、解像度は単に正方格子状に受光素子PDを配置したときより高くできる。
【0043】
本実施の形態では上述したように色フィルタCFに補色の色フィルタセグメントを用いている。この色フィルタを用いる特徴について簡単に説明する。現在、チップサイズの小型化を図っても撮像の感度特性を保つために入射光を有効に用いる必要が生じている。ここで、分光エネルギーが波長に関わらず一定な入射光30Iを入射させた際に、波長に応じた比視感度(比視感度曲線30C)とアンプゲインを掛けて波長に依存した測光量を求めると図4に示す測光の分光曲線30Mが得られる。さらに、原色フィルタR、G、Bで撮像した場合(A)と補色フィルタMg、Ye、G、Cyで撮影した場合(B)との分光感度の比較を相対感度表示(図5参照)及び最大感度によるRGB正規化表示(図6参照)で行なう。相対感度表示から補色フィルタで撮像した場合(B)の方が原色フィルタを用いた場合(A)より高い相対感度が得られることがわかる。この関係をRGB正規化表示で見ると、この表示でも補色フィルタで撮像した場合(B)の方が原色フィルタを用いた場合(A)より各曲線で作る面積が大きい。すなわち入射光を有効に信号電荷への変換にも寄与している。このような検討結果から補色フィルタが入射光量の有効な利用に効果的であることがわかる。
【0044】
この結果を受けてハニカム形状の配置と等価な補色系の色フィルタセグメントを用いた色フィルタCFの例を模式的に図8に示す。図8(A)(B)にはそれぞれ撮像手段30X、30Yに適用する補色系の色フィルタセグメントを用いた色フィルタ配列を示す。
【0045】
図8(A)に示す色フィルタ配置パターンは、G、Cy、Mgの補色系の3色を用いる。この配置パターンは、正方格子62の4隅にCyの色フィルタセグメントを配置し、正方格子62の何れかのCyの色フィルタセグメントを中心に配置すると共に、正方格子62に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子64の対角の組がMgとGとなるように色フィルタセグメントを配置し、それぞれ水平方向に隣接する色フィルタセグメントを同色に配置する。
【0046】
また、図8(B)に示す色フィルタ配置パターンは、Ye、G、Mgの補色系の3色を用いる。この配置パターンは、正方格子66の4隅にYeの色フィルタセグメントを配置し、正方格子66の何れかのYeの色フィルタセグメントを中心に配置すると共に、正方格子66に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子68の対角の組がGとMgとなるように色フィルタセグメントを配置し、それぞれ水平方向に隣接する色フィルタセグメントを同色に配置する。
【0047】
そして、それぞれの撮像手段30X、30Yに設けられた色フィルタセグメントは、撮像手段30X、30Yより得られる画素データを重ね合わせてそれぞれの撮像手段30X、30Yの画素が重複しない正方格子となるように合成すると、図7に示すように、完全色差順次の配列の画素データを得ることができる。
【0048】
次にデジタルスチルカメラ10の動作について説明する。デジタルスチルカメラ10は、図9に示すメインフローチャートに従って動作する。デジタルスチルカメラ10に電源を投入した後に、システム制御部18によって各種の初期設定が行われ、操作可能状態になる。このとき一般的にデジタルスチルカメラ10はモニタ42に撮像画像を表示させるモード(ムービーモードやファインダモード)にしてモニタ表示させたり、ユーザによるレリーズボタンの半押し操作が行われる。すなわち、ステップ100では、レリーズボタンが半押し又はムービーであるか否か判定される。該判定が肯定された場合にはステップ102へ移行して、否定すなわちレリーズボタンが全押し操作された場合には、ステップ116へ移行する。
【0049】
各撮像手段30X、30Yにおけるそれぞれの色フィルタCFの色フィルタセグメントの配置は、図8に示した色フィルタセグメントの配置を適用している。この色フィルタCFを用いて、ステップ102で混合読み出しする場合、供給される駆動信号に応じて撮像部30のそれぞれの撮像手段30X、30Yからの撮像信号の読出しが行われる。この読出しは、インターレース走査して得られた同一フィールドの信号電荷を混合して読み出すフィールド蓄積2ライン混合読出しである。
【0050】
次にステップ104では、このステップ102で読み出された信号に対して、前処理が行われる。前処理としては、前処理部32で例えば、CDS処理を行って撮像部30からの信号に含まれるノイズ成分を除去している。
【0051】
次にステップ106では、ノイズ除去当が施されたアナログ出力信号32AをA/D変換部34でデジタル信号34Aに変換する。この変換により各受光素子PDからの信号電荷が画素データに変換される。この変換により以後の信号処理をデジタル処理で行う。
【0052】
ステップ108では、画素データ変換処理が行われる。すなわち、上述したように、撮像手段30X、30Yより得られる補色を含む画素データからフィールド蓄積2ライン混合の色多重方式で信号電荷が読み出され、それぞれの撮像手段30X、30Yより得られる画素データが重複しない正方格子となるように合成される。すなわち、図7に示すように完全色差順次配列となるようにそれぞれの撮像手段30X、30Yより得られる画素データが合成される。従って、仮想画素(虚画素)を補間することなく良好な色解像度の画素データを得ることができる。
【0053】
そして、合成画素データに基づいて3原色の画素データが生成され、該生成された3原色の画素データがマトリクス演算当によって、輝度データY、色差データ(R−Y)、(B−Y)に変換されて、システムバス16を介してモニタ42に供給される。なお、上述の色多重方式に基づいて生成された3原色の画素データは、AE処理を行うためにシステムバス16を介してシステム制御部18に供給される。
【0054】
本実施の形態では、3原色の画素データの生成は、例えば、以下に示すような方法によって生成することができる。
【0055】
まず、3原色の画素データを生成する上で、原色系の色と補色系の色Mg、Cy、Yeとの間には以下のような関係がある。
【0056】
R+B=Mg
G+B=Cy
R+G=Ye
例えば、3原色の画素データは、混合画素の差分(C1、C2)を算出すると共に、混合画素データの総和Sを算出し、これらの得られたパラメータをデータに用いて3原色の画素データRGBを生成している。すなわち、以下のようにしてC1、C2、Sを求める。
【0057】
C1=(Cy+Mg)−(Ye+G)=2B−G
C2=(Cy+Mg)−(Cy+G)=2R−G
S=(Cy+Mg)+(Ye+G)=(Ye+Mg)+(Cy+G)
=Ye+Mg+Cy+G
これらC1、C2、Sを用いて3原色の画素データRGBを以下に示すように算出する。
【0058】
G=(4S−C1−C2)/5
B=(C1+G)/2
R=(C2+G)/2
このように、2つの撮像手段30X、30Yに設けられた色フィルタセグメントの配列それぞれを合成することによって完全色差順次配列となるように配置するので、従来の動画処理を活用して、3原色の画素データを得ることができる。また、2つの撮像手段30X、30Yより得られる画素データの合成は、2つの撮像手段30X、30Yより得られる画素データのそれぞれの仮想画素がそれぞれの撮像手段30X、30Yより得られる画素データによって補間し合うので、仮想画素(虚画素)の補間処理を行うことなく高解像度の画素データを得ることができる。
【0059】
ステップ110では、システム制御部18において、自動的に適正な露出制御を行わせるための自動制御演算処理が行われる。自動制御演算処理は、上述のようにしてえられる3原色の画素データRGBを用いて行われる。さらに、ここで得られた値に応じて制御信号18Aが上述した各部に供給され絞り調節機構26やAF(Automatic Focus:自動焦点)調節機構が調節される。
【0060】
ここで、自動制御演算処理について図10のフローチャートを参照して詳細に説明する。なお、本実施の形態における自動制御としては、AF、AE、AWB等がある。このうち、AF、AEについて説明する。
【0061】
システム制御部18では、ステップ150で、供給された画素データから被写体とデジタルスチルカメラ10との間の距離が測定される。ステップ152では、測距により得られたデータに基づいて、システム制御部18では制御信号が生成され、AF調節機構に供給される。この制御を受けてAF(Automatic Focus:自動焦点)調節機構が調節される。なお、このとき光学レンズの位置において第2の測光を行っている。
【0062】
ステップ154では、この光学レンズ系12における光学レンズの移動後の測光で得られた結果、光学レンズが撮像部30のCCD受光面に焦点の合った光学像を結ぶか否か判断される。該判断が肯定すなわち焦点が合った場合には、ステップ156へ移行し、判定が否定すなわち焦点が合わない場合には、上述のステップ150〜ステップ154が繰り返される。
【0063】
ステップ156では、ステップ150〜154のAF制御で得られている3原色の画素データを用いて最適な露出値、シャッタ速度が、システム制御部18で、例えばプログラム線図によって対応する値の組が抽出されることによって算出される。システム制御部18では算出した値に応じて制御信号が生成される。生成された制御信号はシステムバス16を介してドライバ部24に供給されてステップ158へ移行する。
【0064】
ステップ158では、ドライバ部24において供給された制御信号に応じた駆動信号が生成されて絞り調節機構26に供給される。これによって絞り調節機構26では、駆動信号24Aにより指示された調節が施され、ステップ160へ移行する。
【0065】
ステップ160では、ステップ158の調節が行われた結果、絞りが所定の値に対応した位置に設定されたか否か判定される。該判定が否定、すなわち、調節が不十分な場合や測光が継続中に非写界の明るさが変化した場合当に応じてそれぞれステップ156又はステップ158に戻る。なお、図10では、調節が不十分な場合を想定して処理を戻す場合を示す。この調節が良好に行われた場合、すなわち、ステップ160の判定が肯定された場合には、リターンに進んで自動制御処理が終了される。
【0066】
すなわち、従来から行われているAF、AE、AWB等の自動制御演算処理を、2つの撮像手段30X、30Yより得られる画素データに基づいて生成された3原色の画素データを用いて行うことができる。
【0067】
一方、上述のようにして図9に示すステップ110の自動制御演算処理が行われると、ステップ112へ移行する。ステップ112では、モニタ42にデータ(輝度データ、色差データ)が供給されると、画像がモニタ42に表示される。この後、デジタルスチルカメラ10の動作を停止させる。すなわち、ステップ114では、電源オフになったか否か判定される。電源がオフになっていない時、すなわち、ステップ114の判定が肯定された場合には、ステップ100に戻って上述の処理が繰り返される。電源がオフになっている時、すなわち、ステップ114の判定が肯定された場合には、全ての処理が終了される。
【0068】
また、上述のように、レリーズボタンが全押しされた場合、操作部14にはこのモードに応じた駆動信号24Aが供給される。この場合、操作部14では、全画素読出しが行われる(ステップ116)。これ以後、読み出された信号に対して順次前処理、A/D変換処理が行われる(ステップ118、ステップ120)。ここでの各処理は上述したステップ104及び106と同様に処理されるので、説明を省略する。
【0069】
それぞれの撮像手段30X、30Yより全画素読出しされた信号(補色の画素データ)は、DSP36に供給される。DSP36のデータ補正部44では、供給された画素データに対して各種補正が施され、Yh補間部46では、それぞれの撮像手段30X、30Yより得られる画素データが重複しない正方格子となるように合成されて輝度データ(Yh信号)が生成され、加算器48では、データ補正部44によって各種補正がなされることによって得られた3原色RGBの画素データr、g、bと、Yh補間部46で生成されたYh信号50Aと、が加算されて高解像度広帯域信号の3原色画素データが生成される(ステップ122)。
【0070】
なお、空間サンプル点の周辺に位置する4画素(それぞれ2つの撮像手段30X、30Yより得られる画素)の加算により生成することができる。すなわち、S=Ye+Mg+Cy+G=3G+2R+2BをHPF(高域通過)処理することによってYh信号を生成することが可能である。ここで、水平、垂直又は対角方向の相関を検出して相関のある方向の重み付け加算をするとさらによい。
【0071】
ステップ124では、ステップ122の高解像度広帯域信号生成処理によって得られた画像データに対して周波数領域で見た場合、信号処理を施すことによってより画素データの帯域を広帯域化している。広帯域化する方法も各種ある。
【0072】
この広帯域化画素データの各データから輝度データY、色差データ(R−Y)、(R−B)(又はCr、Cb)へと信号出力形式の変換がなされると共に、画像として表示した際の品質をより高くする信号処理がなされる。すなわち、静止画においても動画と同様に従来からの静止画処理を活用して、高品質の信号処理を行うことができる。
【0073】
次にステップ126では、これらの信号処理によって得られた輝度データY、色差データ(R−Y)、(R−B)が図1に示す圧縮/伸張部38、システムバス16を介して記録再生部40やモニタ42にそれぞれ供給される。この供給に際してシステム制御部18は、表示と記録の場合に応じて圧縮/伸張部38に異なる制御をするようにしてもよい。この制御としては、例えば、信号処理したこれらのデータを表示させる場合、圧縮/伸張部38はスルー処理し、すでに記録済みの圧縮データを再生する場合、圧縮/伸張部38は圧縮データに伸張処理を施してモニタ42に出力する手順とがある。
【0074】
また、撮像して信号処理されたこれらデータを記録する場合、圧縮/伸張部38は、例えば、JPEGといった圧縮処理を施し(ステップ126)、情報量を減少させて半導体メモリ、光記録媒体、磁気記録媒体、又は光磁気記録媒体等を含む記録再生部40に供給される。そして、ステップ128では、圧縮されたデータが記録再生部40の記録媒体に記録される。このとき、圧縮前の画像を間引いてモニタ42に表示させると、撮像タイミングでの取り込んだ画像の良否もチェックすることができる。この圧縮前の画像を外部の高品位なモニタに供給すると、従来の補間した画像に比べても一層高い画質の画像を表示することができることは言うまでもない。この記録処理の後、上述したステップ114へ移行する。
【0075】
ステップ114では、撮影を終了、電源オフか否か判定している。撮影を継続する場合には、判定が否定されたステップ100に戻って、上述の処理が繰り返される。また、判定が肯定されて撮影が終了された場合、一連の処理が終了される。
【0076】
なお、上記の実施の形態では、2つの撮像手段30X、30Yの色フィルタ配列を図8に示すように配置し、それぞれを合成して完全色差順次配列となるようにしたが、これに限るものではなく、例えば、2つの撮像手段30X、30Yの色フィルタ配列を図11(A)、(B)に示すように配置し、それぞれを合成して図12に示すように色差順次配列となるようにしてもよい。すなわち、図11(A)に示す色フィルタ配置パターンは、Cy、Mgの補色系の2色を用いる。この配置パターンは、正方格子70の4隅にCyの色フィルタセグメントを配置し、正方格子70の何れかのCyの色フィルタセグメントを中心に配置すると共に、正方格子70に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子72の4隅がMgとなるように色フィルタセグメントを配置する。また、図11(B)に示す色フィルタ配置パターンは、Ye、Gの補色系の2色を用いる。この配置パターンは、正方格子74の4隅にYeの色フィルタセグメントを配置し、正方格子74の何れかのYeの色フィルタセグメントを中心に配置すると共に、正方格子74に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子76の4隅がGとなるように色フィルタセグメントを配置する。
【0077】
このように、それぞれの撮像手段30X、30Yの色フィルタCFを配置して、それぞれの撮像手段30X、30Yより得られる画素データを合成することにより、図12に示すような色差順次配列の画素データを得ることができる。
【0078】
また、上記の実施の形態では、2つの撮像手段30X、30Yを用いてそれぞれの撮像手段30X、30Yより得られる画像データを合成するようにしたが、2つの撮像手段に限るものではなく、例えば、3つ以上の撮像手段を用いるようにしてもよい。例えば、3つ以上の撮像手段を用いて各色が重複しないように3つ以上の撮像手段より得られる画像データを合成することにより、完全色差順次配列または色差順次配列の画像データを得ることが可能である。
【0079】
【発明の効果】
以上説明したように本発明によれば、複数の受光素子が2次元的に配列された受光部における単位受光部中心が非正方格子配列とされ、光入射側に補色の色フィルタが設けられた2つの撮像手段に、同一被写体像を結像して、それぞれの撮像手段より得られる非正方格子配列の画像データにおけるそれぞれの受光部中心位置を重ね合わせることにより、撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成するので、非正方格子配列の2つの撮像手段それぞれより得られる画素データにおける仮想画素がそれぞれの撮像手段より得られる画像データにより補間されて、静止画や動画に拘わらず虚画素補間処理を行うことなく高解像度な正方格子配列の画像データを得ることができ、補色の色フィルタにより撮像手段の感度を高感度化できるので、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる、という効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るデジタルスチルカメラの概略的な構成を示すブロック図である。
【図2】本発明の実施の形態に係るデジタルスチルカメラにおけるDSPの概略的な構成を示すブロック図である。
【図3】本発明の実施の形態に係るデジタルスチルカメラにおける撮像手段の受光部を入射光の入射側から見た色フィルタ、受光素子の開口部、及び転送路の関係を示す模式図である。
【図4】撮像手段の入射光の分光エネルギー、比視感度特性及び測定した際の波長依存の分光エネルギーの関係を表すグラフである。
【図5】入射光を(A)原色撮像と、(B)補色撮像した際の波長に対する相対感度を表すグラフである。
【図6】入射光を(A)原色撮像と、(B)補色撮像した際における最大感度で正規化した波長に対する相対感度を表すグラフである。
【図7】完全色差順次配列を示す色配列を示す図である。
【図8】本発明の実施の形態に係るデジタルスチルカメラにおける2つの撮像手段に適用する色フィルタ配列を示す図である。
【図9】本発明の実施の形態に係るデジタルスチルカメラの動作の一例を示すメインフローチャートである。
【図10】メインフローチャートにおける自動制御演算処理を表すフローチャートである。
【図11】本発明の実施の形態に係るデジタルスチルカメラにおける2つの撮像手段に適用する色フィルタ配列の他の例を示す図である。
【図12】色差順次配列を示す色配列を示す図である。
【符号の説明】
30 撮像部
30X、30Y 撮像手段
30Z ハーフミラー
36 DSP
62、64、66、68、70、72、74、76 正方格子
CF 色フィルタ
PD 受光素子
Claims (5)
- 光電変換する複数の受光素子が2次元的に配列された受光部における単位受光部配列が非正方格子配列とされ、光入射側に補色の色フィルタが設けられた2つの撮像手段と、
前記2つの撮像手段の各々に同一被写体像を結像するように入射光を案内する案内手段と、
前記2つの撮像手段のそれぞれの光電変換により得られる非正方格子配列の画像データにおけるそれぞれの前記受光部中心位置を重ね合わせることにより、前記撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成する合成手段と、
を含む固体撮像装置。 - 前記合成後の正方格子配列の画像データにおける色配列が完全色差順次配列となるように前記2つの撮像手段の補色フィルタを配列することを特徴とする請求項1に記載の固体撮像装置。
- 一方の前記撮像手段に設けられた補色の色フィルタ配列は、シアンの色フィルタを4隅に配置する正方格子と、水平方向に隣接する色フィルタが同色でかつ対角の組がマゼンタ及びグリーンの色フィルタとなるように配置すると共に、前記シアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、
他方の前記撮像手段に設けられた補色の色フィルタ配列は、イエローの色フィルタを4隅に配置する正方格子と、水平方向に隣接する色フィルタが同色かつ対角の組がグリーン及びマゼンタの色フィルタとなるように配置すると共に、前記イエローの色フィルタの何れかが中心となるように水平及び垂直にずらした正方格子と、を含む配列とすることを特徴とする請求項2に記載の固体撮像装置。 - 前記合成後の正方格子配列の画像データにおける色配列が色差順次配列となるように前記2つの撮像手段の補色フィルタを配列することを特徴とする請求項1に記載の固体撮像装置。
- 一方の前記撮像手段に設けられた補色の色フィルタ配列は、シアンの色フィルタを4隅に配置する正方格子と、マゼンタの色フィルタを4隅に配置すると共に、前記シアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、
他方の前記撮像手段に設けられた補色の色フィルタ配列は、イエローの色フィルタを4隅に配置する正方格子と、グリーンの色フィルタを4隅に配置すると共に、前記イエローの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とすることを特徴とする請求項4に記載の固体撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001311354A JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001311354A JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003116147A JP2003116147A (ja) | 2003-04-18 |
JP3905342B2 true JP3905342B2 (ja) | 2007-04-18 |
Family
ID=19130198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001311354A Expired - Fee Related JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3905342B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4495949B2 (ja) * | 2003-11-14 | 2010-07-07 | 富士フイルム株式会社 | 2板式カラー固体撮像装置及びデジタルカメラ |
JP4471166B2 (ja) | 2005-02-28 | 2010-06-02 | パナソニック株式会社 | デジタルカメラ |
JP2006352466A (ja) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | 撮像装置 |
-
2001
- 2001-10-09 JP JP2001311354A patent/JP3905342B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003116147A (ja) | 2003-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
JP4421793B2 (ja) | ディジタルカメラ | |
US6847397B1 (en) | Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor | |
JP4372955B2 (ja) | 固体撮像装置および信号処理方法 | |
JP4738907B2 (ja) | 固体撮像素子および固体撮像装置 | |
JP2006165975A (ja) | 撮像素子、撮像装置、画像処理方法 | |
JPH10150668A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
JP5501448B2 (ja) | 撮像装置及び固体撮像素子の駆動方法 | |
US8111298B2 (en) | Imaging circuit and image pickup device | |
JP2006270364A (ja) | 固体撮像素子および固体撮像装置、ならびにその駆動方法 | |
JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP2001148805A (ja) | 固体撮像装置 | |
JP3905342B2 (ja) | 固体撮像装置 | |
JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
JP2004357335A (ja) | 固体撮像装置 | |
WO2011162041A1 (ja) | 撮像装置及び撮像方法 | |
JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4278893B2 (ja) | 固体撮像装置 | |
JP2006340100A (ja) | 撮影装置 | |
JP4133179B2 (ja) | 画像信号処理装置 | |
JP2004194248A (ja) | 撮像素子及び撮像装置 | |
JP2002209100A (ja) | 画像処理装置および画像処理方法 | |
JP3733182B2 (ja) | 撮像装置および縦縞除去方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070111 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |