JP3905342B2 - 固体撮像装置 - Google Patents
固体撮像装置 Download PDFInfo
- Publication number
- JP3905342B2 JP3905342B2 JP2001311354A JP2001311354A JP3905342B2 JP 3905342 B2 JP3905342 B2 JP 3905342B2 JP 2001311354 A JP2001311354 A JP 2001311354A JP 2001311354 A JP2001311354 A JP 2001311354A JP 3905342 B2 JP3905342 B2 JP 3905342B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- square lattice
- unit
- color filters
- color filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置にかかり、特に、デジタルカメラや動画撮影に用いられる固体撮像装置に関する。
【０００２】
【従来の技術】
現在、固体撮像素子を適用したデジタルカメラが普及しつつある。この普及は、銀塩カメラの解像度に相当する画像が得られ、搭載した液晶表示モニタですぐに鑑賞できる点や撮影することによって得られる画像データをコンピュータに取り込んで活用できる点などが挙げられる。特に、画像の解像度を向上させると共に、コストダウンも鑑みて、撮像素子の画素サイズは小さくなる傾向にある。この場合、光源変換を行なう固体撮像素子（受光素子）は画素数の増加に伴って１個あたりの受光単位面積が小さくなるため感度を低下させてしまう。画像の高画質化には、解像度と感度の両方を高める必要があるが、解像度と感度は相反するものである。
【０００３】
この問題に対して、ＣＣＤを３個設けると共に、各ＣＣＤにそれぞれ赤色、緑色及び青色を透過させるフィルタを設けた、所謂３板色撮像装置を採用して高解像度なＲＧＢ信号を得ることが可能である。しかしながら、原色フィルタを用いるため補色に比べて感度が低い。
【０００４】
また、このような多板方式の撮像装置の例としては、例えば、特開平６−８６３０１号公報や特開平７−２８８８２４号公報に記載の技術などが挙げられる。
【０００５】
特開平６−８６３０１号公報及び特開平７−２８８８２４号公報に記載の技術では、２つのＣＣＤ上にそれぞれ同じ配列の補色市松カラーフィルタを設け、それぞれのＣＣＤ上に設ける補色市松カラーフィルタの位置関係が水平方向に１画素ずれるように配置している。すなわち、第１のフィルタのマゼンタ（Ｍｇ）に第２のフィルタのグリーン（Ｇ）が対応し、第１のフィルタのイエロー（Ｙｅ）に第２のフィルタのシアン（Ｃｙ）が対応する、と言ったように配置し、垂直方向に並ぶ４画素の信号からＲ、Ｇ、Ｂを抽出するようにしている。このように配置することによって、水平方向の解像度を上げることができ、補色フィルタを用いることによる感度を向上させることができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平６−８６３０１号公報及び特開平７−２８８８２４号公報に記載の技術では、水平方向の解像度を向上することができるので、動画では解像度向上が見込めるが、静止画では垂直方向の解像度を向上できない、という問題がある。
【０００７】
本発明は、上記事実を考慮して成されたもので、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる固体撮像装置の提供を目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、光電変換する複数の受光素子が２次元的に配列された受光部における単位受光部配列が非正方格子配列とされ、光入射側に補色の色フィルタが設けられた２つの撮像手段と、前記２つの撮像手段の各々に同一被写体像を結像するように入射光を案内する案内手段と、前記２つの撮像手段のそれぞれの光電変換により得られる非正方格子配列の画像データにおけるそれぞれの前記受光部中心位置を重ね合わせることにより、前記撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成する合成手段と、を含むことを特徴としている。
【０００９】
請求項１に記載の発明によれば、２つの撮像手段は、光電変換する複数の受光素子が２次元的に配列された受光部における単位受光部配列が非正方格子配列とされている。例えば、非正方格子配列とされたそれぞれの撮像手段は、受光素子と該受光素子に隣接する受光素子とが水平及び垂直方向にそれぞれずらされて配置された、所謂ハニカム形状のＣＣＤを用いることができる。また、それぞれの撮像手段の光入射側には、補色の色フィルタが設けられており、原色の色フィルタに比べて撮像手段の感度を高感度にすることができる。
【００１０】
案内手段では、２つの撮像手段へ同一被写体像が結像するように入射光が案内されるので、２つの撮像手段には、同一被写体像が結像される。案内手段としては、例えば、ビームスプリッタやハーフミラー等を用いることが可能である。
【００１１】
そして、合成手段では、２つの撮像手段より得られる非正方格子配列の画像データにおける受光部中心位置を重ね合わせることにより、撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成される。すなわち、非正方格子配列の２つの撮像手段それぞれより得られる画像データにおける仮想画素がそれぞれの撮像手段より得られる画像データにより補間され、静止画や動画に拘わらず虚画素補間処理を行うことなく高解像度な正方格子配列の画像データを得ることができる。
【００１２】
従って、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる。
【００１３】
なお、請求項２に記載の発明のように、合成後の正方格子配列の画像データにおける色配列が完全色差順次配列となるように２つの撮像手段の補色フィルタを配列することにより、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像が可能となる。
【００１４】
完全色差順次配列となる２つの撮像手段の補色フィルタ配列としては、例えば、請求項３に記載の発明のように、一方の撮像手段に設けられた補色の色フィルタ配列を、シアンの色フィルタを４隅に配置する正方格子と、水平方向に隣接する色フィルタが同色でかつ対角の組がマゼンタ及びグリーンの色フィルタとなるように配置すると共に、４隅に配置されたシアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、他方の撮像手段に設けられた補色の色フィルタ配列を、イエローの色フィルタを４隅に配置する正方格子と、水平方向に隣接する色フィルタが同色かつ対角の組がグリーン及びマゼンタの色フィルタとなるように配置すると共に、４隅に配置されたイエローの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、それぞれの撮像手段より得られる画像データを合成することによって完全色差順次配列の画像データを得ることが可能である。
【００１５】
さらに、請求項４に記載の発明のように、合成後の正方格子配列の画像データにおける色配列が色差順次配列となるように２つの撮像手段の補色フィルタを配列することにより、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像が可能となる。
【００１６】
色差順次配列となる２つの撮像手段の補色フィルタ配列としては、例えば、請求項５に記載の発明のように、一方の撮像手段に設けられた補色の色フィルタ配列を、シアンの色フィルタを４隅に配置する正方格子と、マゼンタの色フィルタを４隅に配置すると共に、４隅に配置されたシアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、他方の撮像手段に設けられた補色の色フィルタ配列を、イエローの色フィルタを４隅に配置する正方格子と、グリーンの色フィルタを４隅に配置すると共に、４隅に配置されたイエローの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、それぞれの撮像手段より得られる画像データを合成することによって色差順次配列の画像データを得ることが可能である。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【００１８】
本発明の実施の形態に係るデジタルスチルカメラ１０の構成を図１に示す。
【００１９】
図１に示すように、本発明の実施の形態に係るデジタルスチルカメラ１０は、光学レンズ系１２、操作部１４、システム制御部１８、信号発生部２０、タイミング信号発生部２２、ドライバ部２４、絞り調節機構２６、光学ローパスフィルタ２８、赤外光遮光フィルタ（ＩＲカットフィルタ）ＩＲ、撮像部３０、前処理部３２、Ａ／Ｄ変換部３４、信号処理部（Digital Signal Processor：ＤＳＰ）３６、圧縮／伸張部３８、記録再生部４０、及びモニタ４２が備えられている。これら各部を順次説明する。光学レンズ系１２は、例えば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系１２には、図示しないこれら光学レンズを配置する位置を調節して画面の画角を操作部１４からの操作信号１４Ａに応じて調節するズーム機構や被写体とデジタルスチルカメラ１０との距離に応じてピント調節するＡＦ（Automatic Focus：自動焦点）調節機構が含まれている。操作部１４より出力される操作信号１４Ａは、システムバス１６を介してシステム制御部１８に供給される。光学レンズ系１２には、後述する信号発生部２０、タイミング信号発生部２２、ドライバ部２４を介してこれらの機構を動作させる駆動信号２４Ａが供給される。
【００２０】
操作部１４には、図示しないシャッタスイッチや例えばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでデジタルスチルカメラ１０の操作を行なうようにシステムバス１６を介して第１のモードと第２のモードの何れかが選択されたかを操作信号１４Ａによりシステム制御部１８に出力して報知する。
【００２１】
システム制御部１８は、例えばＣＰＵ（Central Processing Unit：中央演算処理装置）を備えている。システム制御部１８には、デジタルスチルカメラ１０の動作手順が書き込まれたＲＯＭ（Read Only Memory：読み出し専用メモリ）が含まれる。システム制御部１８は、例えば、ユーザの操作に伴って操作部１４から供給される操作信号１４ＡとこのＲＯＭに記憶された情報を用いて各部の動作を制御する制御信号１８Ａを生成する。システム制御部１８は、生成した制御信号１８Ａを信号発生部２０、前処理部３２、Ａ／Ｄ変換部３４の他に、システムバス１６を介してＤＳＰ３６、圧縮／伸張部３８、記録再生部４０、及びモニタ４２にも供給する。
【００２２】
信号発生部２０はシステム制御部１８からの制御に応じてシステムクロック２０Ａを図示しない発振器により発生する。信号発生部２０は、このシステムクロック２０Ａをタイミング信号発生部２２及びＤＳＰ３６に供給する。また、システムクロック２０Ａは、例えば、システムバス１６を介してシステム制御部１８の動作タイミングとしても供給される。
【００２３】
タイミング信号発生部２２は、供給されるシステムクロック２０Ａを制御信号１８Ａに基づいて各部を動作させるタイミング信号２２Ａを生成する回路を含む。タイミング信号発生部２２は、生成したタイミング信号２２Ａを図１に示すように各部に出力すると共に、ドライバ部２４にも供給する。ドライバ部２４は、上述した光学レンズ系１２のズーム調節機構及びＡＦ調節機構の他、絞り調節機構２６及び撮像部３０にも駆動信号２４Ａをそれぞれ供給する。
【００２４】
絞り調節機構２６は、被写体の撮影において最適な入射光の光束を撮像部３０に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構２６にもドライバ部２４から駆動信号２４Ａが供給される。この駆動信号２４Ａは、上述したシステム制御部１８からの制御に応じて行なう動作のための信号である。この場合、システム制御部１８は、撮像部３０で光電変換した信号電荷を基にＡＥ（Automatic Exposure：自動露出）処理として絞り・露光時間を算出している。この算出した値に対応する制御信号２４Ａがタイミング信号発生部２２に供給された後、絞り調節機構２６には、このタイミング信号発生部２２からのタイミング信号２２Ａに応じた駆動信号２４Ａがドライバ部２４から供給される。
【００２５】
撮像部３０は、案内手段としてのハーフミラー３０Ｚ及び２つの撮像手段３０Ｘ、３０Ｙが設けられている。ハーフミラー３０Ｚは、光学レンズ系１２より入射される入射光を案内し、それぞれ２つの撮像手段３０Ｘ、３０Ｙに入射光を結像するようになっている。なお、案内手段としては、ハーフミラー３０Ｚの他にビームスプリッタ等を用いることも可能である。
【００２６】
それぞれの撮像手段３０Ｘ、３０Ｙでは光電変換する撮像素子（受光素子）を光学レンズ系１２より入射される光の光軸と直交する平面（撮像面）が形成されるように配置されていると共に、それぞれの撮像手段３０Ｘ、３０Ｙの光入射側には、入射される光を色分解する色フィルタＣＦ（図３参照）が設けられている。また、ハーフミラー３０Ｚの入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ２８と一体的に赤外光を遮光するＩＲカットフィルタＩＲが一体的に配設されている。撮像手段３０Ｘ、３０Ｙには、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＭＯＳ（Metal Oxide Semiconductor：金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像手段３０Ｘ、３０Ｙでは、供給される駆動信号２４Ａに応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読み出し期間における電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号３０Ａにされ、前処理部３２に出力される。撮像手段３０Ｘ、３０Ｙは、ＣＣＤタイプでは信号電荷の読み出しモードに応じてフィールド蓄積２行混合読み出しの色多重化方式や全画素読み出し方式を用いる。これらの信号読み出し方式については後述する。
【００２７】
前処理部３２には、図示しないＣＤＳ（Correlated Double Sampling：相関二重サンプリング：以下ＣＤＳという）部を含んで構成されている。ＣＤＳ部は、例えば、ＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部２２からのタイミング信号２２Ａによりクランプするクランプ回路と、タイミング信号２２Ａによりアナログ電圧信号３０Ａをホールドするサンプルホールド回路を有する。ＣＤＳ部は、ノイズ成分を除去してアナログ出力信号３２ＡをＡ／Ｄ変換部３４に送る。Ａ／Ｄ変換部３４は、供給されるアナログ出力信号３２Ａの信号レベルを所定の量子化レベルにより量子化してデジタル信号３４Ａに変換するＡ／Ｄ変換器を有する。Ａ／Ｄ変換部３４は、タイミング信号発生部２２から供給される変換クロック等のタイミング信号２２Ａにより変換したデジタル信号３４ＡをＤＳＰ３６に出力する。
【００２８】
ＤＳＰ３６は、撮像部３０の読み出しモード（フィールド蓄積２行混合読み出し等の多重化方式や全画素読み出し方式）に応じて信号処理を行なうようになっている。
【００２９】
ＤＳＰ３６は、全画素読み出し方式に対応して、図２に示すように、データ補正部４４、Ｙｈ補間部４６、及び加算器４８を含んで構成されている。データ補正部４４は、入力されるデジタルデータのゲインバランスを調整するゲイン補正、補色を原色に変換するマトリクス（３×３行の行列等を使用）、自動的にホワイトバランスの調整を行なうＡＷＢ（Automatic White Balance）や色の補正を行なうガンマ補正等を行なう。特にガンマ補正は、ＲＯＭ（Read Only Memory）に供給されるデジタル信号とこのデジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部２２からのタイミング信号２２Ａに応じて各補正を行なう。データ補正部４４は、この処理した補正信号（補正データ）を補色から原色に色変換した色（Ｒ、Ｇ、Ｂ）毎に加算器４８に出力する。
【００３０】
また、Ｙｈ補間部４６は、それぞれの撮像手段３０Ｘ、３０Ｙの撮像によってＡ／Ｄ変換部３４を介して得られるデジタル信号（Ｇ、Ｃｙ、Ｙｅ色フィルタセグメントの３色の画素データ）を基に、それぞれの撮像手段３０Ｘ、３０Ｙの色セグメント配列が重複しない正方格子となるように合成、すなわち、一方の撮像手段３０Ｘより得られるデジタル信号の仮想画素が他方の撮像手段３０Ｙより得られるデジタル信号画素で補間されるように合成を行う。合成は、図７に示すように色フィルタセグメントの配置が完全色差順次配列となるように合成する。そして、合成されたデジタル信号から輝度データ（Ｙｈ信号）を生成する機能を有する。Ｙｈ補間部４６は、Ｈｐｆ（High Pass Filter）５０を介して生成したＹｈ信号を加算器４８に出力する。なお、Ｈｐｆ５０は、供給されるプレーンなＹｈ信号の高域成分だけを通過させるデジタルフィルタである。
【００３１】
加算器４８は、データ補正部４４によって各補正が行なわれることによって得られるＲＧＢ画素データ（ｒ、ｇ、ｂ）及びＹｈ補間部４６によって生成されたＹｈ信号５０Ａを加算することにより、高域成分を有するプレーンな画素データを生成する。加算器４８はプレーンな画素データを色差マトリクス５２に出力する。
【００３２】
色差マトリクス５２は、供給されるプレーンな画素データ（Ｒ、Ｇ、Ｂ各色毎のデータ）に基づいて帯域の延びた輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を生成する。これら３つの画素データは、各色に定めた混合割合で乗算演算することによって得られる。混合割合を決める係数は、従来からの値を用いる。色差マトリクス５２は得られたデータを各成分毎にＬｐｆ（Low Pass Filter）５４に出力する。
【００３３】
Ｌｐｆ５４は、色差マトリクス５２から供給される信号に周波数折り返し歪が生じないように緩やかな傾斜でレベルを低下させる周波数特性を持たせている。Ｌｐｆ５４は、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）の各帯域をカバーする３つのローパスフィルタからなる。Ｌｐｆ５４を通過した輝度データＹは、輝度データ補正部５６へ出力され、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）は、色差ゲイン調整部５８、６０に出力される。
【００３４】
輝度データ補正部５６は、供給される輝度データＹに対して高域でのレスポンスの低下を補うように、例えばトランスバーサルフィルタ等によって構成されている。この処理を施すことにより、画像表示した際に画像の輪郭が強調される。また、色差ゲイン調整部５８、６０は、それぞれ色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を表す色差データのゲインを調整する。このように、輝度データ補正部５６、色差ゲイン調整部５８、６０によってデータが処理されて色信号のレベルが向上することにより、画像表示した際の映像を高品位な解像度及び彩度の高いものにすることができる。輝度データ補正部５６、色差ゲイン調整部５８、６０はそれぞれ、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を図１に示す圧縮／伸張部３８に出力する。
【００３５】
圧縮／伸張部３８は、例えば、直交変換を用いたＪＰＥＧ（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部３８は、システム制御部１８の制御により記録時には圧縮したデータをシステムバス１６を介して記録再生部４０に供給する。また、圧縮／伸張部３８は、図２に示す色差マトリクス５２で得られるデータをシステム制御部１８の制御によりスルーさせ、システムバス１６を介してモニタ４２に供給することもできる。圧縮／伸張部３８が伸張処理を行なう場合、逆に記録再生部４０から読み出したデータをシステムバス１６を介して圧縮／伸張部３８に取り込んで処理する。ここで、処理されたデータもモニタ４２に供給して表示させる。
【００３６】
また、ＤＳＰ３６は、上述の多重化方式に対応して、モニタ３６に表示するために、撮像手段３０Ｘ、３０Ｙより得られた補色を含む画素データを、上述とは異なる方法で、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）に変換する処理も行なうようになっている。例えば、周知の技術を用いて、撮像手段３０Ｘ、３０Ｙより得られる補色を含む画素データからフィールド蓄積２行混合の色多重方式に基づいてそれぞれを合成して３原色ＲＧＢの画素データを生成し、生成された３原色ＲＧＢの画素データを基に輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）をマトリクス演算等によって生成し、生成された輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）をモニタに供給することにより、ムービーモードやシャッターの半押しによるファインダモードの表示を行なうようになっている。なお、ムービーモードやファインダモード等で行なう上述の多重化方式の信号処理選択は、システム制御部１８からの制御信号１８Ａに基づいて行なわれる。
【００３７】
記録再生部４０は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む。記録媒体には、例えば、所謂スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部と共に、この画像データを書き込むヘッドがある。
【００３８】
モニタ４２は、システム制御部１８の制御に応じてシステムバス１６を介して供給される輝度データ及び色差データ、又は３原色ＲＧＢのデータを、画面の大きさを考慮すると共に、タイミング調整して表示する機能を有する。
【００３９】
本実施の形態に係るデジタルスチルカメラ１０は、このように構成して補色を含んで得られたカラー撮像信号の広帯域化を図っている。このデジタルスチルカメラ１０の動作を説明する前に色フィルタＣＦの色配置と撮像部３０の撮像手段３０Ｘ、３０Ｙの関係について説明する。撮像手段３０Ｘ、３０Ｙは、図３に示すように、入射する光を光電変換する受光素子ＰＤに隣接した受光素子ＰＤが垂直方向及び水平方向にずらされた２次元配置された受光部３０Ｐと、この受光部３０Ｐの前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤからの信号を取り出す電極ＥＬと、この電極ＥＬを介して供給される信号を受光部３０Ｐの垂直方向に順次転送する垂直転送レジスタＶＲ１〜ＶＲ４とを備えている。
【００４０】
垂直転送レジスタＶＲ１〜ＶＲ４は、供給される垂直転送駆動信号Ｖ１〜Ｖ４に応じて信号を転送している。すなわち、垂直転送レジスタは１受光部あたり４電極構造になっている。また、１受光部領域の水平隣接領域が２電極構造で上述した画素ずれしている。本実施の形態の撮像部３０に形成された開口部ＡＰは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させると共に、素直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判る形状は、多角形でもよく、この他の例としては、正方格子４５°回転させた開口形状として、例えば、菱形等があり、さらに八角形等にしてもよい。
【００４１】
開口部ＡＰは、図３に示すように各開口部ＡＰを覆う色フィルタＣＦの直下にそれぞれ対応して配置される受光素子ＰＤの間隔を各方向毎の画素ピッチＰＰとするとき、開口部ＡＰの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチＰＰ分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部ＡＰを隙間なく、隣接する開口部ＡＰが稠密な配置するようにしてもよい。図３のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチＰＰの半分だけずらした配置により形成できる。このように稠密な配置を得るには開口部ＡＰの形状に依存する。
【００４２】
ここで、撮像手段３０Ｘ、３０Ｙが一般的に用いられる正方格子状の場合とハニカム形状の場合の配置関係を比較すると、ハニカム形状の配置は、画素ピッチＰＰをそれぞれＮ（μｍ）の正方格子状には位置した受光素子がそれぞれ４５°回転させた場合の配置である。ハニカム形状の配置、すなわち画素の半ピッチずれを有する配置では、正方格子状の配置における水平／垂直方向の隣接画素間距離｜ＰＰ｜＝Ｎ（μｍ）を基準に検討すると、輪説画素間距離がＮ×（２）-1/2と隣接画素間距離｜ＰＰ｜＝Ｎより短くなる。従って、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を（２）1/2倍に向上させることができる。また、本実施の形態では、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、２つの撮像手段３０Ｘ、３０Ｙより得られる画素データにおける仮想画素をそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データで補間し合うようにＤＳＰ３６で合成処理が行われるようになっている。この合成処理を行うことにより、解像度は単に正方格子状に受光素子ＰＤを配置したときより高くできる。
【００４３】
本実施の形態では上述したように色フィルタＣＦに補色の色フィルタセグメントを用いている。この色フィルタを用いる特徴について簡単に説明する。現在、チップサイズの小型化を図っても撮像の感度特性を保つために入射光を有効に用いる必要が生じている。ここで、分光エネルギーが波長に関わらず一定な入射光３０Ｉを入射させた際に、波長に応じた比視感度（比視感度曲線３０Ｃ）とアンプゲインを掛けて波長に依存した測光量を求めると図４に示す測光の分光曲線３０Ｍが得られる。さらに、原色フィルタＲ、Ｇ、Ｂで撮像した場合（Ａ）と補色フィルタＭｇ、Ｙｅ、Ｇ、Ｃｙで撮影した場合（Ｂ）との分光感度の比較を相対感度表示（図５参照）及び最大感度によるＲＧＢ正規化表示（図６参照）で行なう。相対感度表示から補色フィルタで撮像した場合（Ｂ）の方が原色フィルタを用いた場合（Ａ）より高い相対感度が得られることがわかる。この関係をＲＧＢ正規化表示で見ると、この表示でも補色フィルタで撮像した場合（Ｂ）の方が原色フィルタを用いた場合（Ａ）より各曲線で作る面積が大きい。すなわち入射光を有効に信号電荷への変換にも寄与している。このような検討結果から補色フィルタが入射光量の有効な利用に効果的であることがわかる。
【００４４】
この結果を受けてハニカム形状の配置と等価な補色系の色フィルタセグメントを用いた色フィルタＣＦの例を模式的に図８に示す。図８（Ａ）（Ｂ）にはそれぞれ撮像手段３０Ｘ、３０Ｙに適用する補色系の色フィルタセグメントを用いた色フィルタ配列を示す。
【００４５】
図８（Ａ）に示す色フィルタ配置パターンは、Ｇ、Ｃｙ、Ｍｇの補色系の３色を用いる。この配置パターンは、正方格子６２の４隅にＣｙの色フィルタセグメントを配置し、正方格子６２の何れかのＣｙの色フィルタセグメントを中心に配置すると共に、正方格子６２に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子６４の対角の組がＭｇとＧとなるように色フィルタセグメントを配置し、それぞれ水平方向に隣接する色フィルタセグメントを同色に配置する。
【００４６】
また、図８（Ｂ）に示す色フィルタ配置パターンは、Ｙｅ、Ｇ、Ｍｇの補色系の３色を用いる。この配置パターンは、正方格子６６の４隅にＹｅの色フィルタセグメントを配置し、正方格子６６の何れかのＹｅの色フィルタセグメントを中心に配置すると共に、正方格子６６に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子６８の対角の組がＧとＭｇとなるように色フィルタセグメントを配置し、それぞれ水平方向に隣接する色フィルタセグメントを同色に配置する。
【００４７】
そして、それぞれの撮像手段３０Ｘ、３０Ｙに設けられた色フィルタセグメントは、撮像手段３０Ｘ、３０Ｙより得られる画素データを重ね合わせてそれぞれの撮像手段３０Ｘ、３０Ｙの画素が重複しない正方格子となるように合成すると、図７に示すように、完全色差順次の配列の画素データを得ることができる。
【００４８】
次にデジタルスチルカメラ１０の動作について説明する。デジタルスチルカメラ１０は、図９に示すメインフローチャートに従って動作する。デジタルスチルカメラ１０に電源を投入した後に、システム制御部１８によって各種の初期設定が行われ、操作可能状態になる。このとき一般的にデジタルスチルカメラ１０はモニタ４２に撮像画像を表示させるモード（ムービーモードやファインダモード）にしてモニタ表示させたり、ユーザによるレリーズボタンの半押し操作が行われる。すなわち、ステップ１００では、レリーズボタンが半押し又はムービーであるか否か判定される。該判定が肯定された場合にはステップ１０２へ移行して、否定すなわちレリーズボタンが全押し操作された場合には、ステップ１１６へ移行する。
【００４９】
各撮像手段３０Ｘ、３０Ｙにおけるそれぞれの色フィルタＣＦの色フィルタセグメントの配置は、図８に示した色フィルタセグメントの配置を適用している。この色フィルタＣＦを用いて、ステップ１０２で混合読み出しする場合、供給される駆動信号に応じて撮像部３０のそれぞれの撮像手段３０Ｘ、３０Ｙからの撮像信号の読出しが行われる。この読出しは、インターレース走査して得られた同一フィールドの信号電荷を混合して読み出すフィールド蓄積２ライン混合読出しである。
【００５０】
次にステップ１０４では、このステップ１０２で読み出された信号に対して、前処理が行われる。前処理としては、前処理部３２で例えば、ＣＤＳ処理を行って撮像部３０からの信号に含まれるノイズ成分を除去している。
【００５１】
次にステップ１０６では、ノイズ除去当が施されたアナログ出力信号３２ＡをＡ／Ｄ変換部３４でデジタル信号３４Ａに変換する。この変換により各受光素子ＰＤからの信号電荷が画素データに変換される。この変換により以後の信号処理をデジタル処理で行う。
【００５２】
ステップ１０８では、画素データ変換処理が行われる。すなわち、上述したように、撮像手段３０Ｘ、３０Ｙより得られる補色を含む画素データからフィールド蓄積２ライン混合の色多重方式で信号電荷が読み出され、それぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データが重複しない正方格子となるように合成される。すなわち、図７に示すように完全色差順次配列となるようにそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データが合成される。従って、仮想画素（虚画素）を補間することなく良好な色解像度の画素データを得ることができる。
【００５３】
そして、合成画素データに基づいて３原色の画素データが生成され、該生成された３原色の画素データがマトリクス演算当によって、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）に変換されて、システムバス１６を介してモニタ４２に供給される。なお、上述の色多重方式に基づいて生成された３原色の画素データは、ＡＥ処理を行うためにシステムバス１６を介してシステム制御部１８に供給される。
【００５４】
本実施の形態では、３原色の画素データの生成は、例えば、以下に示すような方法によって生成することができる。
【００５５】
まず、３原色の画素データを生成する上で、原色系の色と補色系の色Ｍｇ、Ｃｙ、Ｙｅとの間には以下のような関係がある。
【００５６】
Ｒ＋Ｂ＝Ｍｇ
Ｇ＋Ｂ＝Ｃｙ
Ｒ＋Ｇ＝Ｙｅ
例えば、３原色の画素データは、混合画素の差分（Ｃ１、Ｃ２）を算出すると共に、混合画素データの総和Ｓを算出し、これらの得られたパラメータをデータに用いて３原色の画素データＲＧＢを生成している。すなわち、以下のようにしてＣ１、Ｃ２、Ｓを求める。
【００５７】
Ｃ１＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）＝２Ｂ−Ｇ
Ｃ２＝（Ｃｙ＋Ｍｇ）−（Ｃｙ＋Ｇ）＝２Ｒ−Ｇ
Ｓ＝（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）＝（Ｙｅ＋Ｍｇ）＋（Ｃｙ＋Ｇ）
＝Ｙｅ＋Ｍｇ＋Ｃｙ＋Ｇ
これらＣ１、Ｃ２、Ｓを用いて３原色の画素データＲＧＢを以下に示すように算出する。
【００５８】
Ｇ＝（４Ｓ−Ｃ１−Ｃ２）／５
Ｂ＝（Ｃ１＋Ｇ）／２
Ｒ＝（Ｃ２＋Ｇ）／２
このように、２つの撮像手段３０Ｘ、３０Ｙに設けられた色フィルタセグメントの配列それぞれを合成することによって完全色差順次配列となるように配置するので、従来の動画処理を活用して、３原色の画素データを得ることができる。また、２つの撮像手段３０Ｘ、３０Ｙより得られる画素データの合成は、２つの撮像手段３０Ｘ、３０Ｙより得られる画素データのそれぞれの仮想画素がそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データによって補間し合うので、仮想画素（虚画素）の補間処理を行うことなく高解像度の画素データを得ることができる。
【００５９】
ステップ１１０では、システム制御部１８において、自動的に適正な露出制御を行わせるための自動制御演算処理が行われる。自動制御演算処理は、上述のようにしてえられる３原色の画素データＲＧＢを用いて行われる。さらに、ここで得られた値に応じて制御信号１８Ａが上述した各部に供給され絞り調節機構２６やＡＦ（Automatic Focus：自動焦点）調節機構が調節される。
【００６０】
ここで、自動制御演算処理について図１０のフローチャートを参照して詳細に説明する。なお、本実施の形態における自動制御としては、ＡＦ、ＡＥ、ＡＷＢ等がある。このうち、ＡＦ、ＡＥについて説明する。
【００６１】
システム制御部１８では、ステップ１５０で、供給された画素データから被写体とデジタルスチルカメラ１０との間の距離が測定される。ステップ１５２では、測距により得られたデータに基づいて、システム制御部１８では制御信号が生成され、ＡＦ調節機構に供給される。この制御を受けてＡＦ（Automatic Focus：自動焦点）調節機構が調節される。なお、このとき光学レンズの位置において第２の測光を行っている。
【００６２】
ステップ１５４では、この光学レンズ系１２における光学レンズの移動後の測光で得られた結果、光学レンズが撮像部３０のＣＣＤ受光面に焦点の合った光学像を結ぶか否か判断される。該判断が肯定すなわち焦点が合った場合には、ステップ１５６へ移行し、判定が否定すなわち焦点が合わない場合には、上述のステップ１５０〜ステップ１５４が繰り返される。
【００６３】
ステップ１５６では、ステップ１５０〜１５４のＡＦ制御で得られている３原色の画素データを用いて最適な露出値、シャッタ速度が、システム制御部１８で、例えばプログラム線図によって対応する値の組が抽出されることによって算出される。システム制御部１８では算出した値に応じて制御信号が生成される。生成された制御信号はシステムバス１６を介してドライバ部２４に供給されてステップ１５８へ移行する。
【００６４】
ステップ１５８では、ドライバ部２４において供給された制御信号に応じた駆動信号が生成されて絞り調節機構２６に供給される。これによって絞り調節機構２６では、駆動信号２４Ａにより指示された調節が施され、ステップ１６０へ移行する。
【００６５】
ステップ１６０では、ステップ１５８の調節が行われた結果、絞りが所定の値に対応した位置に設定されたか否か判定される。該判定が否定、すなわち、調節が不十分な場合や測光が継続中に非写界の明るさが変化した場合当に応じてそれぞれステップ１５６又はステップ１５８に戻る。なお、図１０では、調節が不十分な場合を想定して処理を戻す場合を示す。この調節が良好に行われた場合、すなわち、ステップ１６０の判定が肯定された場合には、リターンに進んで自動制御処理が終了される。
【００６６】
すなわち、従来から行われているＡＦ、ＡＥ、ＡＷＢ等の自動制御演算処理を、２つの撮像手段３０Ｘ、３０Ｙより得られる画素データに基づいて生成された３原色の画素データを用いて行うことができる。
【００６７】
一方、上述のようにして図９に示すステップ１１０の自動制御演算処理が行われると、ステップ１１２へ移行する。ステップ１１２では、モニタ４２にデータ（輝度データ、色差データ）が供給されると、画像がモニタ４２に表示される。この後、デジタルスチルカメラ１０の動作を停止させる。すなわち、ステップ１１４では、電源オフになったか否か判定される。電源がオフになっていない時、すなわち、ステップ１１４の判定が肯定された場合には、ステップ１００に戻って上述の処理が繰り返される。電源がオフになっている時、すなわち、ステップ１１４の判定が肯定された場合には、全ての処理が終了される。
【００６８】
また、上述のように、レリーズボタンが全押しされた場合、操作部１４にはこのモードに応じた駆動信号２４Ａが供給される。この場合、操作部１４では、全画素読出しが行われる（ステップ１１６）。これ以後、読み出された信号に対して順次前処理、Ａ／Ｄ変換処理が行われる（ステップ１１８、ステップ１２０）。ここでの各処理は上述したステップ１０４及び１０６と同様に処理されるので、説明を省略する。
【００６９】
それぞれの撮像手段３０Ｘ、３０Ｙより全画素読出しされた信号（補色の画素データ）は、ＤＳＰ３６に供給される。ＤＳＰ３６のデータ補正部４４では、供給された画素データに対して各種補正が施され、Ｙｈ補間部４６では、それぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データが重複しない正方格子となるように合成されて輝度データ（Ｙｈ信号）が生成され、加算器４８では、データ補正部４４によって各種補正がなされることによって得られた３原色ＲＧＢの画素データｒ、ｇ、ｂと、Ｙｈ補間部４６で生成されたＹｈ信号５０Ａと、が加算されて高解像度広帯域信号の３原色画素データが生成される（ステップ１２２）。
【００７０】
なお、空間サンプル点の周辺に位置する４画素（それぞれ２つの撮像手段３０Ｘ、３０Ｙより得られる画素）の加算により生成することができる。すなわち、Ｓ＝Ｙｅ＋Ｍｇ＋Ｃｙ＋Ｇ＝３Ｇ＋２Ｒ＋２ＢをＨＰＦ（高域通過）処理することによってＹｈ信号を生成することが可能である。ここで、水平、垂直又は対角方向の相関を検出して相関のある方向の重み付け加算をするとさらによい。
【００７１】
ステップ１２４では、ステップ１２２の高解像度広帯域信号生成処理によって得られた画像データに対して周波数領域で見た場合、信号処理を施すことによってより画素データの帯域を広帯域化している。広帯域化する方法も各種ある。
【００７２】
この広帯域化画素データの各データから輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｒ−Ｂ）（又はＣｒ、Ｃｂ）へと信号出力形式の変換がなされると共に、画像として表示した際の品質をより高くする信号処理がなされる。すなわち、静止画においても動画と同様に従来からの静止画処理を活用して、高品質の信号処理を行うことができる。
【００７３】
次にステップ１２６では、これらの信号処理によって得られた輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｒ−Ｂ）が図１に示す圧縮／伸張部３８、システムバス１６を介して記録再生部４０やモニタ４２にそれぞれ供給される。この供給に際してシステム制御部１８は、表示と記録の場合に応じて圧縮／伸張部３８に異なる制御をするようにしてもよい。この制御としては、例えば、信号処理したこれらのデータを表示させる場合、圧縮／伸張部３８はスルー処理し、すでに記録済みの圧縮データを再生する場合、圧縮／伸張部３８は圧縮データに伸張処理を施してモニタ４２に出力する手順とがある。
【００７４】
また、撮像して信号処理されたこれらデータを記録する場合、圧縮／伸張部３８は、例えば、ＪＰＥＧといった圧縮処理を施し（ステップ１２６）、情報量を減少させて半導体メモリ、光記録媒体、磁気記録媒体、又は光磁気記録媒体等を含む記録再生部４０に供給される。そして、ステップ１２８では、圧縮されたデータが記録再生部４０の記録媒体に記録される。このとき、圧縮前の画像を間引いてモニタ４２に表示させると、撮像タイミングでの取り込んだ画像の良否もチェックすることができる。この圧縮前の画像を外部の高品位なモニタに供給すると、従来の補間した画像に比べても一層高い画質の画像を表示することができることは言うまでもない。この記録処理の後、上述したステップ１１４へ移行する。
【００７５】
ステップ１１４では、撮影を終了、電源オフか否か判定している。撮影を継続する場合には、判定が否定されたステップ１００に戻って、上述の処理が繰り返される。また、判定が肯定されて撮影が終了された場合、一連の処理が終了される。
【００７６】
なお、上記の実施の形態では、２つの撮像手段３０Ｘ、３０Ｙの色フィルタ配列を図８に示すように配置し、それぞれを合成して完全色差順次配列となるようにしたが、これに限るものではなく、例えば、２つの撮像手段３０Ｘ、３０Ｙの色フィルタ配列を図１１（Ａ）、（Ｂ）に示すように配置し、それぞれを合成して図１２に示すように色差順次配列となるようにしてもよい。すなわち、図１１（Ａ）に示す色フィルタ配置パターンは、Ｃｙ、Ｍｇの補色系の２色を用いる。この配置パターンは、正方格子７０の４隅にＣｙの色フィルタセグメントを配置し、正方格子７０の何れかのＣｙの色フィルタセグメントを中心に配置すると共に、正方格子７０に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子７２の４隅がＭｇとなるように色フィルタセグメントを配置する。また、図１１（Ｂ）に示す色フィルタ配置パターンは、Ｙｅ、Ｇの補色系の２色を用いる。この配置パターンは、正方格子７４の４隅にＹｅの色フィルタセグメントを配置し、正方格子７４の何れかのＹｅの色フィルタセグメントを中心に配置すると共に、正方格子７４に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子７６の４隅がＧとなるように色フィルタセグメントを配置する。
【００７７】
このように、それぞれの撮像手段３０Ｘ、３０Ｙの色フィルタＣＦを配置して、それぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データを合成することにより、図１２に示すような色差順次配列の画素データを得ることができる。
【００７８】
また、上記の実施の形態では、２つの撮像手段３０Ｘ、３０Ｙを用いてそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画像データを合成するようにしたが、２つの撮像手段に限るものではなく、例えば、３つ以上の撮像手段を用いるようにしてもよい。例えば、３つ以上の撮像手段を用いて各色が重複しないように３つ以上の撮像手段より得られる画像データを合成することにより、完全色差順次配列または色差順次配列の画像データを得ることが可能である。
【００７９】
【発明の効果】
以上説明したように本発明によれば、複数の受光素子が２次元的に配列された受光部における単位受光部中心が非正方格子配列とされ、光入射側に補色の色フィルタが設けられた２つの撮像手段に、同一被写体像を結像して、それぞれの撮像手段より得られる非正方格子配列の画像データにおけるそれぞれの受光部中心位置を重ね合わせることにより、撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成するので、非正方格子配列の２つの撮像手段それぞれより得られる画素データにおける仮想画素がそれぞれの撮像手段より得られる画像データにより補間されて、静止画や動画に拘わらず虚画素補間処理を行うことなく高解像度な正方格子配列の画像データを得ることができ、補色の色フィルタにより撮像手段の感度を高感度化できるので、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るデジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】本発明の実施の形態に係るデジタルスチルカメラにおけるＤＳＰの概略的な構成を示すブロック図である。
【図３】本発明の実施の形態に係るデジタルスチルカメラにおける撮像手段の受光部を入射光の入射側から見た色フィルタ、受光素子の開口部、及び転送路の関係を示す模式図である。
【図４】撮像手段の入射光の分光エネルギー、比視感度特性及び測定した際の波長依存の分光エネルギーの関係を表すグラフである。
【図５】入射光を（Ａ）原色撮像と、（Ｂ）補色撮像した際の波長に対する相対感度を表すグラフである。
【図６】入射光を（Ａ）原色撮像と、（Ｂ）補色撮像した際における最大感度で正規化した波長に対する相対感度を表すグラフである。
【図７】完全色差順次配列を示す色配列を示す図である。
【図８】本発明の実施の形態に係るデジタルスチルカメラにおける２つの撮像手段に適用する色フィルタ配列を示す図である。
【図９】本発明の実施の形態に係るデジタルスチルカメラの動作の一例を示すメインフローチャートである。
【図１０】メインフローチャートにおける自動制御演算処理を表すフローチャートである。
【図１１】本発明の実施の形態に係るデジタルスチルカメラにおける２つの撮像手段に適用する色フィルタ配列の他の例を示す図である。
【図１２】色差順次配列を示す色配列を示す図である。
【符号の説明】
３０ 撮像部
３０Ｘ、３０Ｙ 撮像手段
３０Ｚ ハーフミラー
３６ ＤＳＰ
６２、６４、６６、６８、７０、７２、７４、７６ 正方格子
ＣＦ 色フィルタ
ＰＤ 受光素子
【発明の属する技術分野】
本発明は、固体撮像装置にかかり、特に、デジタルカメラや動画撮影に用いられる固体撮像装置に関する。
【０００２】
【従来の技術】
現在、固体撮像素子を適用したデジタルカメラが普及しつつある。この普及は、銀塩カメラの解像度に相当する画像が得られ、搭載した液晶表示モニタですぐに鑑賞できる点や撮影することによって得られる画像データをコンピュータに取り込んで活用できる点などが挙げられる。特に、画像の解像度を向上させると共に、コストダウンも鑑みて、撮像素子の画素サイズは小さくなる傾向にある。この場合、光源変換を行なう固体撮像素子（受光素子）は画素数の増加に伴って１個あたりの受光単位面積が小さくなるため感度を低下させてしまう。画像の高画質化には、解像度と感度の両方を高める必要があるが、解像度と感度は相反するものである。
【０００３】
この問題に対して、ＣＣＤを３個設けると共に、各ＣＣＤにそれぞれ赤色、緑色及び青色を透過させるフィルタを設けた、所謂３板色撮像装置を採用して高解像度なＲＧＢ信号を得ることが可能である。しかしながら、原色フィルタを用いるため補色に比べて感度が低い。
【０００４】
また、このような多板方式の撮像装置の例としては、例えば、特開平６−８６３０１号公報や特開平７−２８８８２４号公報に記載の技術などが挙げられる。
【０００５】
特開平６−８６３０１号公報及び特開平７−２８８８２４号公報に記載の技術では、２つのＣＣＤ上にそれぞれ同じ配列の補色市松カラーフィルタを設け、それぞれのＣＣＤ上に設ける補色市松カラーフィルタの位置関係が水平方向に１画素ずれるように配置している。すなわち、第１のフィルタのマゼンタ（Ｍｇ）に第２のフィルタのグリーン（Ｇ）が対応し、第１のフィルタのイエロー（Ｙｅ）に第２のフィルタのシアン（Ｃｙ）が対応する、と言ったように配置し、垂直方向に並ぶ４画素の信号からＲ、Ｇ、Ｂを抽出するようにしている。このように配置することによって、水平方向の解像度を上げることができ、補色フィルタを用いることによる感度を向上させることができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平６−８６３０１号公報及び特開平７−２８８８２４号公報に記載の技術では、水平方向の解像度を向上することができるので、動画では解像度向上が見込めるが、静止画では垂直方向の解像度を向上できない、という問題がある。
【０００７】
本発明は、上記事実を考慮して成されたもので、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる固体撮像装置の提供を目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、光電変換する複数の受光素子が２次元的に配列された受光部における単位受光部配列が非正方格子配列とされ、光入射側に補色の色フィルタが設けられた２つの撮像手段と、前記２つの撮像手段の各々に同一被写体像を結像するように入射光を案内する案内手段と、前記２つの撮像手段のそれぞれの光電変換により得られる非正方格子配列の画像データにおけるそれぞれの前記受光部中心位置を重ね合わせることにより、前記撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成する合成手段と、を含むことを特徴としている。
【０００９】
請求項１に記載の発明によれば、２つの撮像手段は、光電変換する複数の受光素子が２次元的に配列された受光部における単位受光部配列が非正方格子配列とされている。例えば、非正方格子配列とされたそれぞれの撮像手段は、受光素子と該受光素子に隣接する受光素子とが水平及び垂直方向にそれぞれずらされて配置された、所謂ハニカム形状のＣＣＤを用いることができる。また、それぞれの撮像手段の光入射側には、補色の色フィルタが設けられており、原色の色フィルタに比べて撮像手段の感度を高感度にすることができる。
【００１０】
案内手段では、２つの撮像手段へ同一被写体像が結像するように入射光が案内されるので、２つの撮像手段には、同一被写体像が結像される。案内手段としては、例えば、ビームスプリッタやハーフミラー等を用いることが可能である。
【００１１】
そして、合成手段では、２つの撮像手段より得られる非正方格子配列の画像データにおける受光部中心位置を重ね合わせることにより、撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成される。すなわち、非正方格子配列の２つの撮像手段それぞれより得られる画像データにおける仮想画素がそれぞれの撮像手段より得られる画像データにより補間され、静止画や動画に拘わらず虚画素補間処理を行うことなく高解像度な正方格子配列の画像データを得ることができる。
【００１２】
従って、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる。
【００１３】
なお、請求項２に記載の発明のように、合成後の正方格子配列の画像データにおける色配列が完全色差順次配列となるように２つの撮像手段の補色フィルタを配列することにより、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像が可能となる。
【００１４】
完全色差順次配列となる２つの撮像手段の補色フィルタ配列としては、例えば、請求項３に記載の発明のように、一方の撮像手段に設けられた補色の色フィルタ配列を、シアンの色フィルタを４隅に配置する正方格子と、水平方向に隣接する色フィルタが同色でかつ対角の組がマゼンタ及びグリーンの色フィルタとなるように配置すると共に、４隅に配置されたシアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、他方の撮像手段に設けられた補色の色フィルタ配列を、イエローの色フィルタを４隅に配置する正方格子と、水平方向に隣接する色フィルタが同色かつ対角の組がグリーン及びマゼンタの色フィルタとなるように配置すると共に、４隅に配置されたイエローの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、それぞれの撮像手段より得られる画像データを合成することによって完全色差順次配列の画像データを得ることが可能である。
【００１５】
さらに、請求項４に記載の発明のように、合成後の正方格子配列の画像データにおける色配列が色差順次配列となるように２つの撮像手段の補色フィルタを配列することにより、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像が可能となる。
【００１６】
色差順次配列となる２つの撮像手段の補色フィルタ配列としては、例えば、請求項５に記載の発明のように、一方の撮像手段に設けられた補色の色フィルタ配列を、シアンの色フィルタを４隅に配置する正方格子と、マゼンタの色フィルタを４隅に配置すると共に、４隅に配置されたシアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、他方の撮像手段に設けられた補色の色フィルタ配列を、イエローの色フィルタを４隅に配置する正方格子と、グリーンの色フィルタを４隅に配置すると共に、４隅に配置されたイエローの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、それぞれの撮像手段より得られる画像データを合成することによって色差順次配列の画像データを得ることが可能である。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【００１８】
本発明の実施の形態に係るデジタルスチルカメラ１０の構成を図１に示す。
【００１９】
図１に示すように、本発明の実施の形態に係るデジタルスチルカメラ１０は、光学レンズ系１２、操作部１４、システム制御部１８、信号発生部２０、タイミング信号発生部２２、ドライバ部２４、絞り調節機構２６、光学ローパスフィルタ２８、赤外光遮光フィルタ（ＩＲカットフィルタ）ＩＲ、撮像部３０、前処理部３２、Ａ／Ｄ変換部３４、信号処理部（Digital Signal Processor：ＤＳＰ）３６、圧縮／伸張部３８、記録再生部４０、及びモニタ４２が備えられている。これら各部を順次説明する。光学レンズ系１２は、例えば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系１２には、図示しないこれら光学レンズを配置する位置を調節して画面の画角を操作部１４からの操作信号１４Ａに応じて調節するズーム機構や被写体とデジタルスチルカメラ１０との距離に応じてピント調節するＡＦ（Automatic Focus：自動焦点）調節機構が含まれている。操作部１４より出力される操作信号１４Ａは、システムバス１６を介してシステム制御部１８に供給される。光学レンズ系１２には、後述する信号発生部２０、タイミング信号発生部２２、ドライバ部２４を介してこれらの機構を動作させる駆動信号２４Ａが供給される。
【００２０】
操作部１４には、図示しないシャッタスイッチや例えばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでデジタルスチルカメラ１０の操作を行なうようにシステムバス１６を介して第１のモードと第２のモードの何れかが選択されたかを操作信号１４Ａによりシステム制御部１８に出力して報知する。
【００２１】
システム制御部１８は、例えばＣＰＵ（Central Processing Unit：中央演算処理装置）を備えている。システム制御部１８には、デジタルスチルカメラ１０の動作手順が書き込まれたＲＯＭ（Read Only Memory：読み出し専用メモリ）が含まれる。システム制御部１８は、例えば、ユーザの操作に伴って操作部１４から供給される操作信号１４ＡとこのＲＯＭに記憶された情報を用いて各部の動作を制御する制御信号１８Ａを生成する。システム制御部１８は、生成した制御信号１８Ａを信号発生部２０、前処理部３２、Ａ／Ｄ変換部３４の他に、システムバス１６を介してＤＳＰ３６、圧縮／伸張部３８、記録再生部４０、及びモニタ４２にも供給する。
【００２２】
信号発生部２０はシステム制御部１８からの制御に応じてシステムクロック２０Ａを図示しない発振器により発生する。信号発生部２０は、このシステムクロック２０Ａをタイミング信号発生部２２及びＤＳＰ３６に供給する。また、システムクロック２０Ａは、例えば、システムバス１６を介してシステム制御部１８の動作タイミングとしても供給される。
【００２３】
タイミング信号発生部２２は、供給されるシステムクロック２０Ａを制御信号１８Ａに基づいて各部を動作させるタイミング信号２２Ａを生成する回路を含む。タイミング信号発生部２２は、生成したタイミング信号２２Ａを図１に示すように各部に出力すると共に、ドライバ部２４にも供給する。ドライバ部２４は、上述した光学レンズ系１２のズーム調節機構及びＡＦ調節機構の他、絞り調節機構２６及び撮像部３０にも駆動信号２４Ａをそれぞれ供給する。
【００２４】
絞り調節機構２６は、被写体の撮影において最適な入射光の光束を撮像部３０に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構２６にもドライバ部２４から駆動信号２４Ａが供給される。この駆動信号２４Ａは、上述したシステム制御部１８からの制御に応じて行なう動作のための信号である。この場合、システム制御部１８は、撮像部３０で光電変換した信号電荷を基にＡＥ（Automatic Exposure：自動露出）処理として絞り・露光時間を算出している。この算出した値に対応する制御信号２４Ａがタイミング信号発生部２２に供給された後、絞り調節機構２６には、このタイミング信号発生部２２からのタイミング信号２２Ａに応じた駆動信号２４Ａがドライバ部２４から供給される。
【００２５】
撮像部３０は、案内手段としてのハーフミラー３０Ｚ及び２つの撮像手段３０Ｘ、３０Ｙが設けられている。ハーフミラー３０Ｚは、光学レンズ系１２より入射される入射光を案内し、それぞれ２つの撮像手段３０Ｘ、３０Ｙに入射光を結像するようになっている。なお、案内手段としては、ハーフミラー３０Ｚの他にビームスプリッタ等を用いることも可能である。
【００２６】
それぞれの撮像手段３０Ｘ、３０Ｙでは光電変換する撮像素子（受光素子）を光学レンズ系１２より入射される光の光軸と直交する平面（撮像面）が形成されるように配置されていると共に、それぞれの撮像手段３０Ｘ、３０Ｙの光入射側には、入射される光を色分解する色フィルタＣＦ（図３参照）が設けられている。また、ハーフミラー３０Ｚの入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ２８と一体的に赤外光を遮光するＩＲカットフィルタＩＲが一体的に配設されている。撮像手段３０Ｘ、３０Ｙには、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＭＯＳ（Metal Oxide Semiconductor：金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像手段３０Ｘ、３０Ｙでは、供給される駆動信号２４Ａに応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読み出し期間における電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号３０Ａにされ、前処理部３２に出力される。撮像手段３０Ｘ、３０Ｙは、ＣＣＤタイプでは信号電荷の読み出しモードに応じてフィールド蓄積２行混合読み出しの色多重化方式や全画素読み出し方式を用いる。これらの信号読み出し方式については後述する。
【００２７】
前処理部３２には、図示しないＣＤＳ（Correlated Double Sampling：相関二重サンプリング：以下ＣＤＳという）部を含んで構成されている。ＣＤＳ部は、例えば、ＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部２２からのタイミング信号２２Ａによりクランプするクランプ回路と、タイミング信号２２Ａによりアナログ電圧信号３０Ａをホールドするサンプルホールド回路を有する。ＣＤＳ部は、ノイズ成分を除去してアナログ出力信号３２ＡをＡ／Ｄ変換部３４に送る。Ａ／Ｄ変換部３４は、供給されるアナログ出力信号３２Ａの信号レベルを所定の量子化レベルにより量子化してデジタル信号３４Ａに変換するＡ／Ｄ変換器を有する。Ａ／Ｄ変換部３４は、タイミング信号発生部２２から供給される変換クロック等のタイミング信号２２Ａにより変換したデジタル信号３４ＡをＤＳＰ３６に出力する。
【００２８】
ＤＳＰ３６は、撮像部３０の読み出しモード（フィールド蓄積２行混合読み出し等の多重化方式や全画素読み出し方式）に応じて信号処理を行なうようになっている。
【００２９】
ＤＳＰ３６は、全画素読み出し方式に対応して、図２に示すように、データ補正部４４、Ｙｈ補間部４６、及び加算器４８を含んで構成されている。データ補正部４４は、入力されるデジタルデータのゲインバランスを調整するゲイン補正、補色を原色に変換するマトリクス（３×３行の行列等を使用）、自動的にホワイトバランスの調整を行なうＡＷＢ（Automatic White Balance）や色の補正を行なうガンマ補正等を行なう。特にガンマ補正は、ＲＯＭ（Read Only Memory）に供給されるデジタル信号とこのデジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部２２からのタイミング信号２２Ａに応じて各補正を行なう。データ補正部４４は、この処理した補正信号（補正データ）を補色から原色に色変換した色（Ｒ、Ｇ、Ｂ）毎に加算器４８に出力する。
【００３０】
また、Ｙｈ補間部４６は、それぞれの撮像手段３０Ｘ、３０Ｙの撮像によってＡ／Ｄ変換部３４を介して得られるデジタル信号（Ｇ、Ｃｙ、Ｙｅ色フィルタセグメントの３色の画素データ）を基に、それぞれの撮像手段３０Ｘ、３０Ｙの色セグメント配列が重複しない正方格子となるように合成、すなわち、一方の撮像手段３０Ｘより得られるデジタル信号の仮想画素が他方の撮像手段３０Ｙより得られるデジタル信号画素で補間されるように合成を行う。合成は、図７に示すように色フィルタセグメントの配置が完全色差順次配列となるように合成する。そして、合成されたデジタル信号から輝度データ（Ｙｈ信号）を生成する機能を有する。Ｙｈ補間部４６は、Ｈｐｆ（High Pass Filter）５０を介して生成したＹｈ信号を加算器４８に出力する。なお、Ｈｐｆ５０は、供給されるプレーンなＹｈ信号の高域成分だけを通過させるデジタルフィルタである。
【００３１】
加算器４８は、データ補正部４４によって各補正が行なわれることによって得られるＲＧＢ画素データ（ｒ、ｇ、ｂ）及びＹｈ補間部４６によって生成されたＹｈ信号５０Ａを加算することにより、高域成分を有するプレーンな画素データを生成する。加算器４８はプレーンな画素データを色差マトリクス５２に出力する。
【００３２】
色差マトリクス５２は、供給されるプレーンな画素データ（Ｒ、Ｇ、Ｂ各色毎のデータ）に基づいて帯域の延びた輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を生成する。これら３つの画素データは、各色に定めた混合割合で乗算演算することによって得られる。混合割合を決める係数は、従来からの値を用いる。色差マトリクス５２は得られたデータを各成分毎にＬｐｆ（Low Pass Filter）５４に出力する。
【００３３】
Ｌｐｆ５４は、色差マトリクス５２から供給される信号に周波数折り返し歪が生じないように緩やかな傾斜でレベルを低下させる周波数特性を持たせている。Ｌｐｆ５４は、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）の各帯域をカバーする３つのローパスフィルタからなる。Ｌｐｆ５４を通過した輝度データＹは、輝度データ補正部５６へ出力され、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）は、色差ゲイン調整部５８、６０に出力される。
【００３４】
輝度データ補正部５６は、供給される輝度データＹに対して高域でのレスポンスの低下を補うように、例えばトランスバーサルフィルタ等によって構成されている。この処理を施すことにより、画像表示した際に画像の輪郭が強調される。また、色差ゲイン調整部５８、６０は、それぞれ色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を表す色差データのゲインを調整する。このように、輝度データ補正部５６、色差ゲイン調整部５８、６０によってデータが処理されて色信号のレベルが向上することにより、画像表示した際の映像を高品位な解像度及び彩度の高いものにすることができる。輝度データ補正部５６、色差ゲイン調整部５８、６０はそれぞれ、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を図１に示す圧縮／伸張部３８に出力する。
【００３５】
圧縮／伸張部３８は、例えば、直交変換を用いたＪＰＥＧ（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部３８は、システム制御部１８の制御により記録時には圧縮したデータをシステムバス１６を介して記録再生部４０に供給する。また、圧縮／伸張部３８は、図２に示す色差マトリクス５２で得られるデータをシステム制御部１８の制御によりスルーさせ、システムバス１６を介してモニタ４２に供給することもできる。圧縮／伸張部３８が伸張処理を行なう場合、逆に記録再生部４０から読み出したデータをシステムバス１６を介して圧縮／伸張部３８に取り込んで処理する。ここで、処理されたデータもモニタ４２に供給して表示させる。
【００３６】
また、ＤＳＰ３６は、上述の多重化方式に対応して、モニタ３６に表示するために、撮像手段３０Ｘ、３０Ｙより得られた補色を含む画素データを、上述とは異なる方法で、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）に変換する処理も行なうようになっている。例えば、周知の技術を用いて、撮像手段３０Ｘ、３０Ｙより得られる補色を含む画素データからフィールド蓄積２行混合の色多重方式に基づいてそれぞれを合成して３原色ＲＧＢの画素データを生成し、生成された３原色ＲＧＢの画素データを基に輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）をマトリクス演算等によって生成し、生成された輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）をモニタに供給することにより、ムービーモードやシャッターの半押しによるファインダモードの表示を行なうようになっている。なお、ムービーモードやファインダモード等で行なう上述の多重化方式の信号処理選択は、システム制御部１８からの制御信号１８Ａに基づいて行なわれる。
【００３７】
記録再生部４０は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む。記録媒体には、例えば、所謂スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部と共に、この画像データを書き込むヘッドがある。
【００３８】
モニタ４２は、システム制御部１８の制御に応じてシステムバス１６を介して供給される輝度データ及び色差データ、又は３原色ＲＧＢのデータを、画面の大きさを考慮すると共に、タイミング調整して表示する機能を有する。
【００３９】
本実施の形態に係るデジタルスチルカメラ１０は、このように構成して補色を含んで得られたカラー撮像信号の広帯域化を図っている。このデジタルスチルカメラ１０の動作を説明する前に色フィルタＣＦの色配置と撮像部３０の撮像手段３０Ｘ、３０Ｙの関係について説明する。撮像手段３０Ｘ、３０Ｙは、図３に示すように、入射する光を光電変換する受光素子ＰＤに隣接した受光素子ＰＤが垂直方向及び水平方向にずらされた２次元配置された受光部３０Ｐと、この受光部３０Ｐの前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤからの信号を取り出す電極ＥＬと、この電極ＥＬを介して供給される信号を受光部３０Ｐの垂直方向に順次転送する垂直転送レジスタＶＲ１〜ＶＲ４とを備えている。
【００４０】
垂直転送レジスタＶＲ１〜ＶＲ４は、供給される垂直転送駆動信号Ｖ１〜Ｖ４に応じて信号を転送している。すなわち、垂直転送レジスタは１受光部あたり４電極構造になっている。また、１受光部領域の水平隣接領域が２電極構造で上述した画素ずれしている。本実施の形態の撮像部３０に形成された開口部ＡＰは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させると共に、素直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判る形状は、多角形でもよく、この他の例としては、正方格子４５°回転させた開口形状として、例えば、菱形等があり、さらに八角形等にしてもよい。
【００４１】
開口部ＡＰは、図３に示すように各開口部ＡＰを覆う色フィルタＣＦの直下にそれぞれ対応して配置される受光素子ＰＤの間隔を各方向毎の画素ピッチＰＰとするとき、開口部ＡＰの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチＰＰ分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部ＡＰを隙間なく、隣接する開口部ＡＰが稠密な配置するようにしてもよい。図３のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチＰＰの半分だけずらした配置により形成できる。このように稠密な配置を得るには開口部ＡＰの形状に依存する。
【００４２】
ここで、撮像手段３０Ｘ、３０Ｙが一般的に用いられる正方格子状の場合とハニカム形状の場合の配置関係を比較すると、ハニカム形状の配置は、画素ピッチＰＰをそれぞれＮ（μｍ）の正方格子状には位置した受光素子がそれぞれ４５°回転させた場合の配置である。ハニカム形状の配置、すなわち画素の半ピッチずれを有する配置では、正方格子状の配置における水平／垂直方向の隣接画素間距離｜ＰＰ｜＝Ｎ（μｍ）を基準に検討すると、輪説画素間距離がＮ×（２）-1/2と隣接画素間距離｜ＰＰ｜＝Ｎより短くなる。従って、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を（２）1/2倍に向上させることができる。また、本実施の形態では、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、２つの撮像手段３０Ｘ、３０Ｙより得られる画素データにおける仮想画素をそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データで補間し合うようにＤＳＰ３６で合成処理が行われるようになっている。この合成処理を行うことにより、解像度は単に正方格子状に受光素子ＰＤを配置したときより高くできる。
【００４３】
本実施の形態では上述したように色フィルタＣＦに補色の色フィルタセグメントを用いている。この色フィルタを用いる特徴について簡単に説明する。現在、チップサイズの小型化を図っても撮像の感度特性を保つために入射光を有効に用いる必要が生じている。ここで、分光エネルギーが波長に関わらず一定な入射光３０Ｉを入射させた際に、波長に応じた比視感度（比視感度曲線３０Ｃ）とアンプゲインを掛けて波長に依存した測光量を求めると図４に示す測光の分光曲線３０Ｍが得られる。さらに、原色フィルタＲ、Ｇ、Ｂで撮像した場合（Ａ）と補色フィルタＭｇ、Ｙｅ、Ｇ、Ｃｙで撮影した場合（Ｂ）との分光感度の比較を相対感度表示（図５参照）及び最大感度によるＲＧＢ正規化表示（図６参照）で行なう。相対感度表示から補色フィルタで撮像した場合（Ｂ）の方が原色フィルタを用いた場合（Ａ）より高い相対感度が得られることがわかる。この関係をＲＧＢ正規化表示で見ると、この表示でも補色フィルタで撮像した場合（Ｂ）の方が原色フィルタを用いた場合（Ａ）より各曲線で作る面積が大きい。すなわち入射光を有効に信号電荷への変換にも寄与している。このような検討結果から補色フィルタが入射光量の有効な利用に効果的であることがわかる。
【００４４】
この結果を受けてハニカム形状の配置と等価な補色系の色フィルタセグメントを用いた色フィルタＣＦの例を模式的に図８に示す。図８（Ａ）（Ｂ）にはそれぞれ撮像手段３０Ｘ、３０Ｙに適用する補色系の色フィルタセグメントを用いた色フィルタ配列を示す。
【００４５】
図８（Ａ）に示す色フィルタ配置パターンは、Ｇ、Ｃｙ、Ｍｇの補色系の３色を用いる。この配置パターンは、正方格子６２の４隅にＣｙの色フィルタセグメントを配置し、正方格子６２の何れかのＣｙの色フィルタセグメントを中心に配置すると共に、正方格子６２に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子６４の対角の組がＭｇとＧとなるように色フィルタセグメントを配置し、それぞれ水平方向に隣接する色フィルタセグメントを同色に配置する。
【００４６】
また、図８（Ｂ）に示す色フィルタ配置パターンは、Ｙｅ、Ｇ、Ｍｇの補色系の３色を用いる。この配置パターンは、正方格子６６の４隅にＹｅの色フィルタセグメントを配置し、正方格子６６の何れかのＹｅの色フィルタセグメントを中心に配置すると共に、正方格子６６に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子６８の対角の組がＧとＭｇとなるように色フィルタセグメントを配置し、それぞれ水平方向に隣接する色フィルタセグメントを同色に配置する。
【００４７】
そして、それぞれの撮像手段３０Ｘ、３０Ｙに設けられた色フィルタセグメントは、撮像手段３０Ｘ、３０Ｙより得られる画素データを重ね合わせてそれぞれの撮像手段３０Ｘ、３０Ｙの画素が重複しない正方格子となるように合成すると、図７に示すように、完全色差順次の配列の画素データを得ることができる。
【００４８】
次にデジタルスチルカメラ１０の動作について説明する。デジタルスチルカメラ１０は、図９に示すメインフローチャートに従って動作する。デジタルスチルカメラ１０に電源を投入した後に、システム制御部１８によって各種の初期設定が行われ、操作可能状態になる。このとき一般的にデジタルスチルカメラ１０はモニタ４２に撮像画像を表示させるモード（ムービーモードやファインダモード）にしてモニタ表示させたり、ユーザによるレリーズボタンの半押し操作が行われる。すなわち、ステップ１００では、レリーズボタンが半押し又はムービーであるか否か判定される。該判定が肯定された場合にはステップ１０２へ移行して、否定すなわちレリーズボタンが全押し操作された場合には、ステップ１１６へ移行する。
【００４９】
各撮像手段３０Ｘ、３０Ｙにおけるそれぞれの色フィルタＣＦの色フィルタセグメントの配置は、図８に示した色フィルタセグメントの配置を適用している。この色フィルタＣＦを用いて、ステップ１０２で混合読み出しする場合、供給される駆動信号に応じて撮像部３０のそれぞれの撮像手段３０Ｘ、３０Ｙからの撮像信号の読出しが行われる。この読出しは、インターレース走査して得られた同一フィールドの信号電荷を混合して読み出すフィールド蓄積２ライン混合読出しである。
【００５０】
次にステップ１０４では、このステップ１０２で読み出された信号に対して、前処理が行われる。前処理としては、前処理部３２で例えば、ＣＤＳ処理を行って撮像部３０からの信号に含まれるノイズ成分を除去している。
【００５１】
次にステップ１０６では、ノイズ除去当が施されたアナログ出力信号３２ＡをＡ／Ｄ変換部３４でデジタル信号３４Ａに変換する。この変換により各受光素子ＰＤからの信号電荷が画素データに変換される。この変換により以後の信号処理をデジタル処理で行う。
【００５２】
ステップ１０８では、画素データ変換処理が行われる。すなわち、上述したように、撮像手段３０Ｘ、３０Ｙより得られる補色を含む画素データからフィールド蓄積２ライン混合の色多重方式で信号電荷が読み出され、それぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データが重複しない正方格子となるように合成される。すなわち、図７に示すように完全色差順次配列となるようにそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データが合成される。従って、仮想画素（虚画素）を補間することなく良好な色解像度の画素データを得ることができる。
【００５３】
そして、合成画素データに基づいて３原色の画素データが生成され、該生成された３原色の画素データがマトリクス演算当によって、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）に変換されて、システムバス１６を介してモニタ４２に供給される。なお、上述の色多重方式に基づいて生成された３原色の画素データは、ＡＥ処理を行うためにシステムバス１６を介してシステム制御部１８に供給される。
【００５４】
本実施の形態では、３原色の画素データの生成は、例えば、以下に示すような方法によって生成することができる。
【００５５】
まず、３原色の画素データを生成する上で、原色系の色と補色系の色Ｍｇ、Ｃｙ、Ｙｅとの間には以下のような関係がある。
【００５６】
Ｒ＋Ｂ＝Ｍｇ
Ｇ＋Ｂ＝Ｃｙ
Ｒ＋Ｇ＝Ｙｅ
例えば、３原色の画素データは、混合画素の差分（Ｃ１、Ｃ２）を算出すると共に、混合画素データの総和Ｓを算出し、これらの得られたパラメータをデータに用いて３原色の画素データＲＧＢを生成している。すなわち、以下のようにしてＣ１、Ｃ２、Ｓを求める。
【００５７】
Ｃ１＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）＝２Ｂ−Ｇ
Ｃ２＝（Ｃｙ＋Ｍｇ）−（Ｃｙ＋Ｇ）＝２Ｒ−Ｇ
Ｓ＝（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）＝（Ｙｅ＋Ｍｇ）＋（Ｃｙ＋Ｇ）
＝Ｙｅ＋Ｍｇ＋Ｃｙ＋Ｇ
これらＣ１、Ｃ２、Ｓを用いて３原色の画素データＲＧＢを以下に示すように算出する。
【００５８】
Ｇ＝（４Ｓ−Ｃ１−Ｃ２）／５
Ｂ＝（Ｃ１＋Ｇ）／２
Ｒ＝（Ｃ２＋Ｇ）／２
このように、２つの撮像手段３０Ｘ、３０Ｙに設けられた色フィルタセグメントの配列それぞれを合成することによって完全色差順次配列となるように配置するので、従来の動画処理を活用して、３原色の画素データを得ることができる。また、２つの撮像手段３０Ｘ、３０Ｙより得られる画素データの合成は、２つの撮像手段３０Ｘ、３０Ｙより得られる画素データのそれぞれの仮想画素がそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データによって補間し合うので、仮想画素（虚画素）の補間処理を行うことなく高解像度の画素データを得ることができる。
【００５９】
ステップ１１０では、システム制御部１８において、自動的に適正な露出制御を行わせるための自動制御演算処理が行われる。自動制御演算処理は、上述のようにしてえられる３原色の画素データＲＧＢを用いて行われる。さらに、ここで得られた値に応じて制御信号１８Ａが上述した各部に供給され絞り調節機構２６やＡＦ（Automatic Focus：自動焦点）調節機構が調節される。
【００６０】
ここで、自動制御演算処理について図１０のフローチャートを参照して詳細に説明する。なお、本実施の形態における自動制御としては、ＡＦ、ＡＥ、ＡＷＢ等がある。このうち、ＡＦ、ＡＥについて説明する。
【００６１】
システム制御部１８では、ステップ１５０で、供給された画素データから被写体とデジタルスチルカメラ１０との間の距離が測定される。ステップ１５２では、測距により得られたデータに基づいて、システム制御部１８では制御信号が生成され、ＡＦ調節機構に供給される。この制御を受けてＡＦ（Automatic Focus：自動焦点）調節機構が調節される。なお、このとき光学レンズの位置において第２の測光を行っている。
【００６２】
ステップ１５４では、この光学レンズ系１２における光学レンズの移動後の測光で得られた結果、光学レンズが撮像部３０のＣＣＤ受光面に焦点の合った光学像を結ぶか否か判断される。該判断が肯定すなわち焦点が合った場合には、ステップ１５６へ移行し、判定が否定すなわち焦点が合わない場合には、上述のステップ１５０〜ステップ１５４が繰り返される。
【００６３】
ステップ１５６では、ステップ１５０〜１５４のＡＦ制御で得られている３原色の画素データを用いて最適な露出値、シャッタ速度が、システム制御部１８で、例えばプログラム線図によって対応する値の組が抽出されることによって算出される。システム制御部１８では算出した値に応じて制御信号が生成される。生成された制御信号はシステムバス１６を介してドライバ部２４に供給されてステップ１５８へ移行する。
【００６４】
ステップ１５８では、ドライバ部２４において供給された制御信号に応じた駆動信号が生成されて絞り調節機構２６に供給される。これによって絞り調節機構２６では、駆動信号２４Ａにより指示された調節が施され、ステップ１６０へ移行する。
【００６５】
ステップ１６０では、ステップ１５８の調節が行われた結果、絞りが所定の値に対応した位置に設定されたか否か判定される。該判定が否定、すなわち、調節が不十分な場合や測光が継続中に非写界の明るさが変化した場合当に応じてそれぞれステップ１５６又はステップ１５８に戻る。なお、図１０では、調節が不十分な場合を想定して処理を戻す場合を示す。この調節が良好に行われた場合、すなわち、ステップ１６０の判定が肯定された場合には、リターンに進んで自動制御処理が終了される。
【００６６】
すなわち、従来から行われているＡＦ、ＡＥ、ＡＷＢ等の自動制御演算処理を、２つの撮像手段３０Ｘ、３０Ｙより得られる画素データに基づいて生成された３原色の画素データを用いて行うことができる。
【００６７】
一方、上述のようにして図９に示すステップ１１０の自動制御演算処理が行われると、ステップ１１２へ移行する。ステップ１１２では、モニタ４２にデータ（輝度データ、色差データ）が供給されると、画像がモニタ４２に表示される。この後、デジタルスチルカメラ１０の動作を停止させる。すなわち、ステップ１１４では、電源オフになったか否か判定される。電源がオフになっていない時、すなわち、ステップ１１４の判定が肯定された場合には、ステップ１００に戻って上述の処理が繰り返される。電源がオフになっている時、すなわち、ステップ１１４の判定が肯定された場合には、全ての処理が終了される。
【００６８】
また、上述のように、レリーズボタンが全押しされた場合、操作部１４にはこのモードに応じた駆動信号２４Ａが供給される。この場合、操作部１４では、全画素読出しが行われる（ステップ１１６）。これ以後、読み出された信号に対して順次前処理、Ａ／Ｄ変換処理が行われる（ステップ１１８、ステップ１２０）。ここでの各処理は上述したステップ１０４及び１０６と同様に処理されるので、説明を省略する。
【００６９】
それぞれの撮像手段３０Ｘ、３０Ｙより全画素読出しされた信号（補色の画素データ）は、ＤＳＰ３６に供給される。ＤＳＰ３６のデータ補正部４４では、供給された画素データに対して各種補正が施され、Ｙｈ補間部４６では、それぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データが重複しない正方格子となるように合成されて輝度データ（Ｙｈ信号）が生成され、加算器４８では、データ補正部４４によって各種補正がなされることによって得られた３原色ＲＧＢの画素データｒ、ｇ、ｂと、Ｙｈ補間部４６で生成されたＹｈ信号５０Ａと、が加算されて高解像度広帯域信号の３原色画素データが生成される（ステップ１２２）。
【００７０】
なお、空間サンプル点の周辺に位置する４画素（それぞれ２つの撮像手段３０Ｘ、３０Ｙより得られる画素）の加算により生成することができる。すなわち、Ｓ＝Ｙｅ＋Ｍｇ＋Ｃｙ＋Ｇ＝３Ｇ＋２Ｒ＋２ＢをＨＰＦ（高域通過）処理することによってＹｈ信号を生成することが可能である。ここで、水平、垂直又は対角方向の相関を検出して相関のある方向の重み付け加算をするとさらによい。
【００７１】
ステップ１２４では、ステップ１２２の高解像度広帯域信号生成処理によって得られた画像データに対して周波数領域で見た場合、信号処理を施すことによってより画素データの帯域を広帯域化している。広帯域化する方法も各種ある。
【００７２】
この広帯域化画素データの各データから輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｒ−Ｂ）（又はＣｒ、Ｃｂ）へと信号出力形式の変換がなされると共に、画像として表示した際の品質をより高くする信号処理がなされる。すなわち、静止画においても動画と同様に従来からの静止画処理を活用して、高品質の信号処理を行うことができる。
【００７３】
次にステップ１２６では、これらの信号処理によって得られた輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｒ−Ｂ）が図１に示す圧縮／伸張部３８、システムバス１６を介して記録再生部４０やモニタ４２にそれぞれ供給される。この供給に際してシステム制御部１８は、表示と記録の場合に応じて圧縮／伸張部３８に異なる制御をするようにしてもよい。この制御としては、例えば、信号処理したこれらのデータを表示させる場合、圧縮／伸張部３８はスルー処理し、すでに記録済みの圧縮データを再生する場合、圧縮／伸張部３８は圧縮データに伸張処理を施してモニタ４２に出力する手順とがある。
【００７４】
また、撮像して信号処理されたこれらデータを記録する場合、圧縮／伸張部３８は、例えば、ＪＰＥＧといった圧縮処理を施し（ステップ１２６）、情報量を減少させて半導体メモリ、光記録媒体、磁気記録媒体、又は光磁気記録媒体等を含む記録再生部４０に供給される。そして、ステップ１２８では、圧縮されたデータが記録再生部４０の記録媒体に記録される。このとき、圧縮前の画像を間引いてモニタ４２に表示させると、撮像タイミングでの取り込んだ画像の良否もチェックすることができる。この圧縮前の画像を外部の高品位なモニタに供給すると、従来の補間した画像に比べても一層高い画質の画像を表示することができることは言うまでもない。この記録処理の後、上述したステップ１１４へ移行する。
【００７５】
ステップ１１４では、撮影を終了、電源オフか否か判定している。撮影を継続する場合には、判定が否定されたステップ１００に戻って、上述の処理が繰り返される。また、判定が肯定されて撮影が終了された場合、一連の処理が終了される。
【００７６】
なお、上記の実施の形態では、２つの撮像手段３０Ｘ、３０Ｙの色フィルタ配列を図８に示すように配置し、それぞれを合成して完全色差順次配列となるようにしたが、これに限るものではなく、例えば、２つの撮像手段３０Ｘ、３０Ｙの色フィルタ配列を図１１（Ａ）、（Ｂ）に示すように配置し、それぞれを合成して図１２に示すように色差順次配列となるようにしてもよい。すなわち、図１１（Ａ）に示す色フィルタ配置パターンは、Ｃｙ、Ｍｇの補色系の２色を用いる。この配置パターンは、正方格子７０の４隅にＣｙの色フィルタセグメントを配置し、正方格子７０の何れかのＣｙの色フィルタセグメントを中心に配置すると共に、正方格子７０に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子７２の４隅がＭｇとなるように色フィルタセグメントを配置する。また、図１１（Ｂ）に示す色フィルタ配置パターンは、Ｙｅ、Ｇの補色系の２色を用いる。この配置パターンは、正方格子７４の４隅にＹｅの色フィルタセグメントを配置し、正方格子７４の何れかのＹｅの色フィルタセグメントを中心に配置すると共に、正方格子７４に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子７６の４隅がＧとなるように色フィルタセグメントを配置する。
【００７７】
このように、それぞれの撮像手段３０Ｘ、３０Ｙの色フィルタＣＦを配置して、それぞれの撮像手段３０Ｘ、３０Ｙより得られる画素データを合成することにより、図１２に示すような色差順次配列の画素データを得ることができる。
【００７８】
また、上記の実施の形態では、２つの撮像手段３０Ｘ、３０Ｙを用いてそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画像データを合成するようにしたが、２つの撮像手段に限るものではなく、例えば、３つ以上の撮像手段を用いるようにしてもよい。例えば、３つ以上の撮像手段を用いて各色が重複しないように３つ以上の撮像手段より得られる画像データを合成することにより、完全色差順次配列または色差順次配列の画像データを得ることが可能である。
【００７９】
【発明の効果】
以上説明したように本発明によれば、複数の受光素子が２次元的に配列された受光部における単位受光部中心が非正方格子配列とされ、光入射側に補色の色フィルタが設けられた２つの撮像手段に、同一被写体像を結像して、それぞれの撮像手段より得られる非正方格子配列の画像データにおけるそれぞれの受光部中心位置を重ね合わせることにより、撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成するので、非正方格子配列の２つの撮像手段それぞれより得られる画素データにおける仮想画素がそれぞれの撮像手段より得られる画像データにより補間されて、静止画や動画に拘わらず虚画素補間処理を行うことなく高解像度な正方格子配列の画像データを得ることができ、補色の色フィルタにより撮像手段の感度を高感度化できるので、静止画、動画共に汎用性のある高解像度な画像データを得ることができると共に、高感度な撮像ができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るデジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】本発明の実施の形態に係るデジタルスチルカメラにおけるＤＳＰの概略的な構成を示すブロック図である。
【図３】本発明の実施の形態に係るデジタルスチルカメラにおける撮像手段の受光部を入射光の入射側から見た色フィルタ、受光素子の開口部、及び転送路の関係を示す模式図である。
【図４】撮像手段の入射光の分光エネルギー、比視感度特性及び測定した際の波長依存の分光エネルギーの関係を表すグラフである。
【図５】入射光を（Ａ）原色撮像と、（Ｂ）補色撮像した際の波長に対する相対感度を表すグラフである。
【図６】入射光を（Ａ）原色撮像と、（Ｂ）補色撮像した際における最大感度で正規化した波長に対する相対感度を表すグラフである。
【図７】完全色差順次配列を示す色配列を示す図である。
【図８】本発明の実施の形態に係るデジタルスチルカメラにおける２つの撮像手段に適用する色フィルタ配列を示す図である。
【図９】本発明の実施の形態に係るデジタルスチルカメラの動作の一例を示すメインフローチャートである。
【図１０】メインフローチャートにおける自動制御演算処理を表すフローチャートである。
【図１１】本発明の実施の形態に係るデジタルスチルカメラにおける２つの撮像手段に適用する色フィルタ配列の他の例を示す図である。
【図１２】色差順次配列を示す色配列を示す図である。
【符号の説明】
３０ 撮像部
３０Ｘ、３０Ｙ 撮像手段
３０Ｚ ハーフミラー
３６ ＤＳＰ
６２、６４、６６、６８、７０、７２、７４、７６ 正方格子
ＣＦ 色フィルタ
ＰＤ 受光素子
Claims (5)
- 光電変換する複数の受光素子が２次元的に配列された受光部における単位受光部配列が非正方格子配列とされ、光入射側に補色の色フィルタが設けられた２つの撮像手段と、
前記２つの撮像手段の各々に同一被写体像を結像するように入射光を案内する案内手段と、
前記２つの撮像手段のそれぞれの光電変換により得られる非正方格子配列の画像データにおけるそれぞれの前記受光部中心位置を重ね合わせることにより、前記撮像手段の各々の受光素子の各々の位置が重複しない正方格子配列の画像データとなるように合成する合成手段と、
を含む固体撮像装置。 - 前記合成後の正方格子配列の画像データにおける色配列が完全色差順次配列となるように前記２つの撮像手段の補色フィルタを配列することを特徴とする請求項１に記載の固体撮像装置。
- 一方の前記撮像手段に設けられた補色の色フィルタ配列は、シアンの色フィルタを４隅に配置する正方格子と、水平方向に隣接する色フィルタが同色でかつ対角の組がマゼンタ及びグリーンの色フィルタとなるように配置すると共に、前記シアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、
他方の前記撮像手段に設けられた補色の色フィルタ配列は、イエローの色フィルタを４隅に配置する正方格子と、水平方向に隣接する色フィルタが同色かつ対角の組がグリーン及びマゼンタの色フィルタとなるように配置すると共に、前記イエローの色フィルタの何れかが中心となるように水平及び垂直にずらした正方格子と、を含む配列とすることを特徴とする請求項２に記載の固体撮像装置。 - 前記合成後の正方格子配列の画像データにおける色配列が色差順次配列となるように前記２つの撮像手段の補色フィルタを配列することを特徴とする請求項１に記載の固体撮像装置。
- 一方の前記撮像手段に設けられた補色の色フィルタ配列は、シアンの色フィルタを４隅に配置する正方格子と、マゼンタの色フィルタを４隅に配置すると共に、前記シアンの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とし、
他方の前記撮像手段に設けられた補色の色フィルタ配列は、イエローの色フィルタを４隅に配置する正方格子と、グリーンの色フィルタを４隅に配置すると共に、前記イエローの色フィルタの何れかが中心となるように水平及び垂直方向にそれぞれずらした正方格子と、を含む配列とすることを特徴とする請求項４に記載の固体撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001311354A JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001311354A JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003116147A JP2003116147A (ja) | 2003-04-18 |
| JP3905342B2 true JP3905342B2 (ja) | 2007-04-18 |
Family
ID=19130198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001311354A Expired - Fee Related JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3905342B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4495949B2 (ja) * | 2003-11-14 | 2010-07-07 | 富士フイルム株式会社 | ２板式カラー固体撮像装置及びデジタルカメラ |
| JP4471166B2 (ja) | 2005-02-28 | 2010-06-02 | パナソニック株式会社 | デジタルカメラ |
| JP2006352466A (ja) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | 撮像装置 |
-
2001
- 2001-10-09 JP JP2001311354A patent/JP3905342B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003116147A (ja) | 2003-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP4421793B2 (ja) | ディジタルカメラ | |
| US6847397B1 (en) | Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor | |
| JP4372955B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP4738907B2 (ja) | 固体撮像素子および固体撮像装置 | |
| JP2006165975A (ja) | 撮像素子、撮像装置、画像処理方法 | |
| JPH10150668A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
| JP5501448B2 (ja) | 撮像装置及び固体撮像素子の駆動方法 | |
| US8111298B2 (en) | Imaging circuit and image pickup device | |
| JP2006270364A (ja) | 固体撮像素子および固体撮像装置、ならびにその駆動方法 | |
| JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP2001148805A (ja) | 固体撮像装置 | |
| JP3905342B2 (ja) | 固体撮像装置 | |
| JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
| JP2004357335A (ja) | 固体撮像装置 | |
| WO2011162041A1 (ja) | 撮像装置及び撮像方法 | |
| JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP4278893B2 (ja) | 固体撮像装置 | |
| JP2006340100A (ja) | 撮影装置 | |
| JP4133179B2 (ja) | 画像信号処理装置 | |
| JP2004194248A (ja) | 撮像素子及び撮像装置 | |
| JP2002209100A (ja) | 画像処理装置および画像処理方法 | |
| JP3733182B2 (ja) | 撮像装置および縦縞除去方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |