JP4460751B2 - Imaging device and imaging apparatus - Google Patents

Imaging device and imaging apparatus Download PDF

Info

Publication number
JP4460751B2
JP4460751B2 JP2000358150A JP2000358150A JP4460751B2 JP 4460751 B2 JP4460751 B2 JP 4460751B2 JP 2000358150 A JP2000358150 A JP 2000358150A JP 2000358150 A JP2000358150 A JP 2000358150A JP 4460751 B2 JP4460751 B2 JP 4460751B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
sensitivity
low
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000358150A
Other languages
Japanese (ja)
Other versions
JP2002165226A (en
Inventor
圭一 森
英明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2000358150A priority Critical patent/JP4460751B2/en
Publication of JP2002165226A publication Critical patent/JP2002165226A/en
Application granted granted Critical
Publication of JP4460751B2 publication Critical patent/JP4460751B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Image Input (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はCCD等の撮像素子およびそれを用いて被写体像の撮像を行なう撮像装置に関する。
【0002】
【従来の技術】
単板カラー撮像素子を用いた撮像装置は広く普及して各方面で用いられている。一方で、ダイナミックレンジの不足も指摘されており、さまざまな解決策が提案されている。
【0003】
同色で感度絶対値(フィルタ濃度)が異なる画素情報からダイナミックレンジの拡大した画像を得る技術は公知であり、特に複ベイヤ配列の同色ブロック内の画素に適用したものが特開2000−069491号に記載されている。これは縦横各2画素からなる4画素ブロックを単位画素と見做し(このような見做し単位画素を、本明細書では複画素と称し、複画素によって構成される行や列を複行、複列と称する)、この複画素がRGBベイヤ配列を構成した撮像素子において、複画素を構成する4画素の同色フィルタを全て異なる濃度にしたり、あるいは縦または横2列ずつに高低2つの濃度の同色フィルタを配置して、複画素内に異なる感度の画素を設けることでダイナミックレンジの広い画素情報を得るものである。
【0004】
【発明が解決しようとする課題】
しかし、上記したような従来の構成はその効果はあるものの、以下に述べるような不具合を有する。すなわち濃度の異なる画素は、同色とはいえその有意に機能する露光量レンジが異なっているから、結局は画素情報サンプリング点としては異なるものである。従って、そのサンプリング周波数に対して高周波な画像情報が入力された場合にはエリアシング(モアレ)による偽信号を生じる。
【0005】
原理的な難点を見出しやすくするために議論を単純化して、縦2列ずつに露光量レンジがオーバーラップしない高低2つの感度の画素が配されている場合を取り上げ、被写体入力として黒(0レベル)と露光量レンジのクロスオーバーポイントに相当するグレイレベル(COGレベル)とが原画素の画素ピッチpで並んでいる縦縞を考える。これは周期2pすなわち周波数1/2pの1次元波である。この様子を図6に示す。
【0006】
図6(a)はフィルタ配列を示しており、Lはフィルタ濃度の低い高感度(light)の画素、またdはフィルタ濃度の高い低感度d(dark)の画素を示している。縦横各2画素からなるどの複画素についても高感度Lの画素と低感度dの画素の並びは同じである。前述のように高感度Lの画素と低感度dの画素の露光量レンジがオーバーラップしない場合を想定すると、それら高低2つの感度の画素それぞれの光電変換特性は図6(c)のようになる。
【0007】
この場合、被写体輝度に対応する露光量が0レベルである場合は高感度L,低感度dのいずれの画素でも有意な出力を生じない(ノイズレベル以下となる。以下においては簡単のためこれを0レベル出力と称する)が、COGレベルの場合は高感度L側では飽和レベル出力を生じるが、低感度d側の出力レベルは0レベルとなることによって、COGレベルであることが検出される。従ってこの場合、サンプリング位相のずれによって各複画素の出力は0レベルからCOGレベルまで異なることになり偽信号(モアレ)となる。例えば、図6(b)に示すように、高感度L側に黒、低感度d側にグレイが重なる場合はL,dいずれの画素でも有意な出力を生じないため複画素の出力は0レベルであるので黒ベタ出力となってしまい、逆に黒とグレイの位相が反転している場合はL画素で飽和レベルを生じることから、複画素の出力はCOGレベルと検出されてしまいグレイベタ出力となってしまう。
【0008】
なお、上記では露光量レンジにオーバーラップが無いと単純化したが、オーバーラップがあっても2つの画素のダイナミックレンジが同一でない限り(この技術の目的から同一では有り得ないことは自明)、一方のレンジを逸脱した領域での上記高周波入力に対しては同様の偽信号が発生することは明らかである。また横2列の場合は横縞を考えれば同じであり、また4画素とも異なる濃度の場合はサンプリング点がさらに減少することになる(同一特性画素は複画素あたり1画素のみ)から縦縞、横縞のいずれに対しても同様の現象を生じることになる。
【0009】
また、複ベイヤ配列を使用している関係から、別途色コーディングに基づくサンプリングモアレが発生し、これを防止するため水晶などの光学LPFが使用されることは前提であるが、このトラップ周波数は色サンプリング周波数に対応して設計されるものであるから、光線分離幅(ずらし量)は縦横とも2p(トラップ周波数1/4p)であり、上記問題となる入力周波数近傍には無効である。
【0010】
本発明は上述の事情を考慮してなされたみのであり、その目的とするところは、偽信号の発生を招くことなくダイナミックレンジを拡大できるようにし、十分な画質向上を図ることが可能な撮像素子および撮像装置を提供することにある。
【0011】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、隣接する複数の画素からなる単位画素ブロックたる複画素に対して同色の相対分光感度を付与するとともに、前記各複画素に対しては所定数の異色の相対分光感度を付与することによって色コーディングを成した単板カラー撮像素子であって、前記各複画素内の複数の同色画素に対しては高低2種類の感度を付与しこれらを市松配置させ、前記撮像素子の色配列は、前記複画素が縦2×横2の正方4画素ブロックであり且つ前記色コーディング配列がベイヤ配列である複ベイヤ配列であって、前記複画素内における前記高低2感度の市松配置たる対角配置の交差パターンを各複画素毎に変化させたことを特徴とする。
【0012】
このように複画素内に高低2種類の感度の画素を市松配置することにより、縦および横のどちらの方向についても感度の異なる同色画素が隣接して配置されることになる。このため、上述したような高周波の縦縞や横縞が入力された場合でも高低2種類の画素出力を平均化して得ることができるので、偽信号(モアレ)は生じない。また斜め方向については同感度の画素が並んで配置されることになるものの、正方画素であれば斜め方向から見た高低2種類の画素間の画素ピッチは縦または横方向から見た高低2種類の画素間の画素ピッチよりも狭くなるため、斜め方向に入力される縞に対してもある程度の周波数までは偽信号の発生を抑制することができる。よって、モアレ等の偽信号の発生を招くことなく、高低2種類の感度の画素を利用して複画素のダイナミックレンジ拡大を図ることが可能となる。
【0013】
また、前記複画素が縦2×横2の正方4画素ブロックであり且つ前記色コーディング配列がベイヤ配列である複ベイヤ配列を使用する場合は、前記複画素内における前記高低2感度の市松配置たる対角配置の交差パターンを各複画素毎に変化させることが好ましい。この場合、交差パターンは同一の複行に関しては同一で、隣接する複行毎に変化するように構成したり、あるいは同一の複列に関しては同一であり、隣接する複列毎に変化するように構成することができる。これら構成により、斜め方向から見た場合でも複画素毎に高低2種類の感度の並びを交互に変えることができ同感度の画素が連続するのを1複画素内に留めることが可能となるので、縦縞、横縞の場合と同じく、斜め方向に入力される縞に対しても複画素間のサンプリング位相のずれによる偽信号の発生を十分に抑制することができる。
【0014】
また、複ベイヤ配列としては、前記色コーディング配列がRGBベイヤ配列であるところのRGB複ベイヤ配列を用いることができる。
【0015】
また、本発明は、請求項1乃至のいずれか1項記載の撮像素子と、前記撮像素子を駆動して撮像信号を読み出す駆動手段と、前記撮像信号に基づいて所定フォーマットの画像信号を生成可能な画像信号生成手段であって、前記複画素内の高低2種類の感度の画素情報に基づいて、当該複画素に関する広ダイナミックレンジ情報を生成するように構成された画像信号生成手段とを具備することを特徴とする。この撮像装置によれば、高低2種類の感度の画素情報を用いることにより各複画素の情報のダイナミックレンジを拡大でき、高画質の画像を得ることができる。この場合、画像信号生成に際しては、複画素内の高低2種類の感度の画素情報の加算結果を利用することができる。
【0016】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図1には、本発明の一実施形態に係わる撮像装置の構成が示されている。ここでは、デジタルカメラとして実現した場合を例示して説明することにする。
【0017】
図中101は各種レンズからなる撮像レンズ系、102はレンズ系101を駆動するためのレンズ駆動機構、103はレンズ系101の絞りを制御するための露出制御機構、104はローパスおよび赤外カット用の光学フィルタ、105は色フィルタを内蔵したCCDカラー撮像素子、106は撮像素子105を駆動するためのCCDドライバ、107はA/D変換器等を含むプリプロセス回路、108は色信号生成処理,マトリックス変換処理,その他各種のデジタル処理を行なうためのデジタルプロセス回路、109はカードインターフェース、110は撮影画像を記録するためのメモリカード、111はLCD画像表示系を示している。
【0018】
また、図中の112は各部を統括的に制御するためのシステムコントローラ(CPU)、113は各種SWからなる操作スイッチ系、114は操作状態及びモード状態等を表示するための操作表示系、115はレンズ駆動機構102を制御するためのレンズドライバ、116は発光手段としてのストロボ、117は露出制御機構103およびストロボ116を制御するための露出制御ドライバ、118は各種設定情報等を記憶するための不揮発性メモリ(EEPROM)を示している。
【0019】
CCD撮像素子105としては、プログレッシブスキャン(順次走査)型でインターライン構造のものが使用される。このCCD撮像素子105においては、フォトダイオードからなる光電変換領域(画素部)が行及び列のマトリクス状に配置されており、かつ垂直方向の1列分の画素部毎に垂直転送路が設けられ、また垂直転送路それぞれに共通の水平転送路が設けられている。各画素部からの信号はまず垂直転送路に移送された後、垂直転送路を介して水平転送路に転送され、そして出力アンプ(フローティングディフュージョンアンプFDA:Floating
Diffusion Amplifier)を通して読み出される。
【0020】
CCD撮像素子105の色フィルタの構造は図2以降で詳述するが、2×2の4画素ブロックが同色で、ブロックを単位とした場合の配列がベイヤ配列であるような複ベイヤ配列が用いられている。この場合、本実施形態では、偽信号(モアレ)の発生を招くことなくダイナミックレンジ(Dレンジ)の拡大を図るために、4画素ブロックからなる各複画素内に高低2つの濃度の同色フィルタを市松状に、すなわち対角配置している。
【0021】
本実施形態のデジタルカメラにおいては、システムコントローラ112が全ての制御を統括的に行っており、CCDドライバ106によりCCD撮像素子105の駆動を制御して露光(電荷蓄積)及び信号の読み出しを行い、それをプリプロセス回路107を介してディジタルプロセス回路108に取込んで所定フォーマットの記録用の画像信号を生成した後にカードインターフェース109を介してメモリカード110に記録するようになっている。
【0022】
システムコントローラ112には、画素加算駆動制御部112aと広Dレンジ情報生成制御部112bが設けられている。画素加算駆動制御部112aはCCDドライバ106を用いてCCD撮像素子105の駆動を制御して同色加算読み出しを実行するためのものであり、この同色加算読み出しにより複画素内の高低2種類の感度の画素情報を加算してCCD撮像素子105から読み出すことができる。広Dレンジ情報生成制御部112bは、同色加算読み出しで得られた加算信号、または非加算読み出しにより各複画素から個別に読み出された高低2種類の感度の画素情報を用いて、各複画素に関する広ダイナミックレンジ情報を生成する。
【0023】
次に、図2を参照して、CCD撮像素子105のフィルタ配列について説明する。
【0024】
図2(a)は本実施形態で用いられるフィルタ配列の第1の例を示している。このフィルタ配列は2×2の4画素ブロックから成る複画素を単位としたRGB複ベイヤ配列であり、各複画素(同色単位画素ブロック)内に高低2感度を市松(図示のように4画素の場合は対角)配置した構成となっている。
【0025】
Rの複画素はRの分光感度特性を持つ2×2の4画素から構成されるが、このうちの対角配置された2画素はフィルタ濃度の低い高感度画素(LR)であり、別の対角配置された2画素はフィルタ濃度の高い低感度画素(dR)である。同様に、Gの複画素についても同じGの分光感度特性を持つ2×2の4画素から構成され、このうちの対角配置された2画素はフィルタ濃度の低い高感度画素(LG)であり、別の対角配置された2画素はフィルタ濃度の高い低感度画素(dG)である。さらに、Bの複画素についても同様であり、対角配置された2つの高感度画素(LB)と別の対角配置された2つの低感度画素(dB)とから構成されている。複画素を単位とした場合の配列はRGBのベイヤ配列であるので、複画素の色の違いを無視して考えれば、画素配列全体にわたって高低2種類の感度の画素(L,d)が市松配置された形式となっている。
【0026】
図2(a)では2感度対角配置の交差パターンは全ての複画素で共通となっており、低感度の2画素(d)は左下および右上に配置され、高感度の2画素(L)は左上および右下に配置されている。
【0027】
このように高低2種類の感度の画素(L,d)を市松配置することにより、縦および横のどちらの方向についても各画素内では感度の異なる同色画素(L,d)が隣接して配置されることになる。このため、図6で説明したような高周波の縦縞や横縞が入力された場合でもサンプリング位相のずれによらずに高低2種類の画素出力を各複画素毎に平均化して得ることができるので、偽信号(モアレ)は生じない。また斜め方向については同感度の画素が並んで配置されることになるものの、図2(a)に示すように斜め方向から見た高低2種類の画素間の画素ピッチP’は縦または横方向から見た高低2種類の画素間の画素ピッチPよりも狭くなる(P’=P/ 21/2)ため、斜め方向に入力される縞に対してもある程度の周波数までは偽信号の発生を抑制することができる。よって、モアレ等の偽信号の発生を招くことなく、高低2種類の感度の画素を利用して複画素のダイナミックレンジ拡大を図ることが可能となる。
【0028】
図2(b)〜(d)はそれぞれ本実施形態で用いられるフィルタ配列の別の例を示している。これら配列は斜め方向に入力される縞に対しても複画素間のサンプリング位相のずれによる偽信号の発生を十分に抑制できるように2感度対角配置の交差パターンを複画素によって変化させた場合の例である。
【0029】
すなわち、図2(b)は、2感度対角配置の交差パターンを同一の複行に関しては同一で、隣接する複行単位で変化させた場合を示している。この図2(b)では、奇数番目の複行(1,3,5,…)では2感度対角配置の交差パターンは図2(a)と同じであるが(左下および右上が低感度dで、左上および右下が高感度L)、偶数番目の複行(2,4,6,…)では2感度対角配置の交差パターンは図2(a)とは逆のパターン(左下および右上が高感度Lで、左上および右下が低感度d)になっている。図2(c)も2感度対角配置の交差パターンを複行単位で変化させた例であり、ここでは図2(b)とは逆に、偶数番目の複行では2感度対角配置の交差パターンを図2(a)と同じにし、奇数番目の複行では2感度対角配置の交差パターンを図2(a)とは逆のパターンにしている。
【0030】
図2(d)は2感度対角配置の交差パターンを同一の複列に関しては同一で、隣接する複列単位で変化させた場合を示している。この図2(d)では、奇数番目の複列(1,3,5,…)では2感度対角配置の交差パターンは図2(a)と同じであるが(左下および右上が低感度dで、左上および右下が高感度L)、偶数番目の複列(2,4,6,…)では2感度対角配置の交差パターンは図2(a)とは逆のパターン(左下および右上が高感度Lで、左上および右下が低感度d)になっている。図2(e)も2感度対角配置の交差パターンを複列単位で変化させた例であり、ここでは図2(d)とは逆に、偶数番目の複列では2感度対角配置の交差パターンを図2(a)と同じにし、奇数番目の複列では2感度対角配置の交差パターンを図2(a)とは逆のパターンにしている。
【0031】
次に、図2のようなフィルタ配列を有する撮像素子105で得られる撮像信号に対する信号処理について説明する。
【0032】
ここでは説明を簡単にするために、高感度Lの画素と低感度dの画素の露光量レンジがオーバーラップしない場合を想定する。この場合、高低2つの感度の画素L,dのそれぞれの光電変換特性は図3のようになる。これら高低2つの感度の画素L,dからの信号を用いることにより、例えば図3に点線で示すように、撮像可能な被写体の輝度レベル(露光量)のレンジが広がり、各複画素に関して広ダイナミックレンジの画素情報を生成することができる。広ダイナミックレンジ情報の生成は、大別して、同色加算読み出しを利用する場合と、非加算読み出しにより各複画素から個別に読み出された高低2種類の感度の画素情報を利用する場合の2通りがある。
【0033】
まず、図4を参照して、同色加算読み出しを利用する場合の信号処理動作を説明する。
まず、画素加算駆動制御部112aがCCDドライバ106を用いてCCD撮像素子105の駆動を制御して同色加算読み出しを実行することにより、各複画素毎にそれを構成する垂直・水平各2画素の計4画素の加算読み出しが行われる(ステップS101)。この加算読み出しでは、通常の2倍の速度で垂直転送路を駆動することにより、1水平ブランキング期間に2ライン分の垂直転送が行われる。これにより、各複画素における縦2画素が水平転送路上で加算される。垂直加算後の画素情報(加算平均情報)は水平転送路を介して出力アンプ(FDA)に送られる。そして、通常はFDAには1画素当たり1パルスの割合でリセットパルスが供給されるが、1リセットパルスに対して2画素分の水平転送が行われるように水平転送駆動またはリセットパルスの供給タイミングを制御することにより、水平方向に隣接する垂直加算後の2画素同士がFDAにて加算されて読み出される。このようにして、各複画素毎に2×2の4画素の加算結果(加算平均)がCCD撮像素子105から撮像信号として読み出される。
【0034】
この加算後の撮像信号はA/D変換された後にデジタルプロセス回路108に送られる。加算後の撮像信号に対して直接的に例えば階調処理(γ、ニー、セットアップ)や色バランス処理など従来公知の任意の信号処理を適用して記録用の画像を生成してもよいが、本例では、通常のγ補正処理(ステップS103)に先だって、階調適正化のための処理(ステップS102)が広Dレンジ情報生成制御部112bの制御の下にデジタルプロセス回路108内で行われる。階調適正化処理(ステップS102)は、加算信号を通常のγ補正処理に入力する前に行なわれる前処理であり、ここでは加算信号のレベルから元の入力露光量レベル(被写体輝度)が推定され、それに基づいて加算信号の階調補正が行われる。
【0035】
すなわち、高低2感度の画素情報を加算しているため、高感度のL画素が飽和する領域とそうでない領域では光電変換特性が異なり、全体としては折れ線状の非線型特性となってしまうため、出力信号レベルの大きさによる場合分け処理を行なうことで入力露光量に比例した信号(線形信号)を算出するものである。処理の一例を挙げれば、撮像素子出力をS(ただし飽和レベル=最大値をSMAXとする)、補正後の線形信号をS、L画素に対するd画素の感度比をr(<1)としたとき例えば、
S=S/(1+r) :ただしS≦(1+r)・SMAX/2のとき
=(S−SMAX/2)/r:ただしS≧(1+r)・SMAX/2のとき
とすれば良い。
【0036】
なお、通常、感度の異なる高低2つの画素の露光量レンジは一部オーバーラップさせるのが望ましいが、上述の階調適正化処理(ステップS102)を行うことにより、露光量レンジをオーバーラップさせた場合でも入力露光量に比例した線形信号を正しく求め、それをγ補正処理(ステップS103)のγ補正テーブルにかけることが可能となる。
【0037】
次に、図5を参照して、非加算読み出しを利用する場合の信号処理動作を説明する。
まず、画素加算駆動制御部112aがCCDドライバ106を用いてCCD撮像素子105の駆動を制御して各画素それぞれを個別に読み出すための通常の非加算読み出しが行われる(ステップS111)。CCD撮像素子105から読み出された撮像信号はA/D変換された後にデジタルプロセス回路108に送られ、そこで複画素毎に広Dレンジ情報を得るための演算処理が広Dレンジ情報生成制御部112bの制御の下に実行される。
【0038】
すなわち、各複画素毎に、対角配置された同感度の2画素からの信号同士をデジタル加算する処理が行われ(ステップS112)、これにより低感度画素d同士の加算信号と、高感度画素L同士の加算信号とが得られる。次いで、複画素毎に低感度画素d同士の加算信号と高感度画素L同士の加算信号を合成する処理が行われる(ステップS113)。この合成処理では、例えば高感度画素L同士の加算信号である高感度出力側を主として用い、その飽和レベル近傍以上の高輝度領域の信号については低感度画素d同士の加算信号である低感度出力側を用いて補完するという処理が行われる。またこの合成処理では、前述したステップS102と同様に線形信号を得る目的で、ゲイン補正処理が必要に応じて高感度出力および低感度出力に対してそれぞれ行われる。すなわち、L、dの感度比rを考慮して低感度出力に対しては高感度出力よりも高いゲイン(相対的に1/r倍)を与えるようになっている。そして、合成後の信号に対して通常のγ補正処理(ステップS114)が実行され、さらにニー、セットアップや色バランス処理などの必要な各信号処理を経て記録画像が生成される。
【0039】
なお、この他にも次のような様々な実施形態が考えられる。
【0040】
撮像素子の色配列は、複ベイヤに限らず任意の複カラー配列で良い。また複画素の構成画素数は4画素に限らずそのカラー配列と生成目的の画像の画素密度が許す限りにおいて、任意数を用いることが可能である。
【0041】
また、高低2種類の感度の画素情報の加算に際しては、例えば垂直方向の2画素の加算のみを素子内で行い、水平加算は素子外でデジタル演算によって行うようにしてもよい。
【0042】
また、本発明のフィルタ配列および広Dレンジ情報生成のための信号処理はデジタルスチルカメラに限らず、デジタルムービーにも適用することが可能である。
【0043】
また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0044】
【発明の効果】
以上説明したように、本発明によれば、偽信号の発生を招くことなくダイナミックレンジを拡大することができ、十分な画質向上を図ることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る撮像装置の構成を示すブロック図。
【図2】同実施形態で使用される固体撮像素子のフィルタ構造を示す図。
【図3】同実施形態で使用される高濃度フィルタと低濃度フィルタの輝度レンジ特性の一例を示す図。
【図4】同実施形態に適用される広Dレンジ情報生成のための信号処理の例を説明するための図。
【図5】同実施形態に適用される広Dレンジ情報生成のための信号処理の他の例を説明するための図。
【図6】従来のフィルタ配置とその問題点を説明するための図。
【符号の説明】
101…レンズ系
102…レンズ駆動機構
103…露出制御機構
104…フィルタ
105…CCDカラー撮像素子
106…CCDドライバ
107…プリプロセス部
108…デジタルプロセス部
109…カードインターフェース
110…メモリカード
111…LCD画像表示系
112…システムコントローラ(CPU)
112a…画素加算駆動制御部
112b…広Dレンジ情報生成制御部
118…不揮発性メモリ(EEPROM)
LR,LG,LB…低濃度フィルタ(高感度画素)
dR,dG,dB…高濃度フィルタ(低感度画素)
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image pickup device such as a CCD and an image pickup apparatus for picking up a subject image using the image pickup device.
[0002]
[Prior art]
Imaging devices using a single-plate color imaging device are widely spread and used in various fields. On the other hand, lack of dynamic range has been pointed out, and various solutions have been proposed.
[0003]
A technique for obtaining an image with an expanded dynamic range from pixel information having the same color but different sensitivity absolute values (filter density) is known. In particular, Japanese Patent Application Laid-Open No. 2000-066941 applies to pixels in the same color block of a multi-bayer array. Are listed. This means that a four-pixel block consisting of two pixels in the vertical and horizontal directions is regarded as a unit pixel (such a unit pixel is referred to as a multiple pixel in this specification, and a row or column composed of multiple pixels is defined as a multiple row. In the image pickup device in which the double pixels constitute an RGB Bayer array, the same color filters of the four pixels constituting the double pixels are all set to different densities, or two levels of high and low in two vertical or horizontal lines. The same color filter is arranged, and pixels having different sensitivities are provided in a plurality of pixels to obtain pixel information having a wide dynamic range.
[0004]
[Problems to be solved by the invention]
However, although the conventional configuration as described above is effective, it has the following problems. In other words, pixels having different densities are different in pixel information sampling points because they have the same range of exposure amounts but have different functions. Accordingly, when image information having a high frequency with respect to the sampling frequency is input, a false signal due to aliasing (moire) is generated.
[0005]
In order to make it easier to find the fundamental difficulties, the discussion is simplified, and the case where pixels with two high and low sensitivity levels that do not overlap the exposure range are arranged in two vertical columns is taken as black (0 level) as the subject input. ) And a gray stripe (COG level) corresponding to the crossover point of the exposure amount range is arranged at the pixel pitch p of the original pixel. This is a one-dimensional wave having a period of 2p, that is, a frequency of 1 / 2p. This is shown in FIG.
[0006]
FIG. 6A shows a filter arrangement, L is a high-sensitivity (light) pixel with a low filter density, and d is a low-sensitivity d (dark) pixel with a high filter density. The arrangement of the high-sensitivity L pixels and the low-sensitivity d pixels is the same for any multiple pixel composed of two pixels in the vertical and horizontal directions. Assuming that the exposure amount ranges of the high sensitivity L pixel and the low sensitivity d pixel do not overlap as described above, the photoelectric conversion characteristics of the two high and low sensitivity pixels are as shown in FIG. .
[0007]
In this case, when the exposure amount corresponding to the subject brightness is 0 level, no significant output is produced in either the high sensitivity L pixel or the low sensitivity d pixel (below the noise level. In the case of the COG level, a saturation level output occurs on the high sensitivity L side, but the low sensitivity d side output level becomes 0 level, so that the COG level is detected. Accordingly, in this case, the output of each of the multiple pixels differs from the 0 level to the COG level due to the sampling phase shift, resulting in a false signal (moire). For example, as shown in FIG. 6B, when black is superimposed on the high sensitivity L side and gray is superimposed on the low sensitivity d side, no significant output is produced in either the L or d pixels, so the output of the multiple pixels is 0 level. Therefore, when the black and gray phases are inverted, a saturation level is generated at the L pixel. Therefore, the output of the double pixel is detected as the COG level, and the gray solid output turn into.
[0008]
In the above, the exposure range is simplified if there is no overlap. However, even if there is an overlap, the dynamic range of the two pixels is not the same (obviously, it cannot be the same for the purpose of this technique). It is clear that the same false signal is generated for the high-frequency input in the region deviating from the above range. In the case of two horizontal rows, the horizontal stripes are the same considering the horizontal stripes, and when the density is different for all four pixels, the sampling points are further reduced (the same characteristic pixel is only one pixel per multiple pixels). In both cases, the same phenomenon occurs.
[0009]
In addition, because of the use of a multiple Bayer array, sampling moire based on color coding is separately generated, and it is assumed that an optical LPF such as crystal is used to prevent this. Since it is designed corresponding to the sampling frequency, the light beam separation width (shift amount) is 2p in both the vertical and horizontal directions (trap frequency ¼p), and is invalid in the vicinity of the input frequency in question.
[0010]
The present invention has been made in consideration of the above-described circumstances, and an object of the present invention is to make it possible to expand a dynamic range without causing generation of a false signal and to achieve sufficient image quality improvement. An object is to provide an element and an imaging device.
[0011]
[Means for Solving the Problems]
In order to solve the above-described problem, the present invention provides a relative spectral sensitivity of the same color to a plurality of pixels as a unit pixel block composed of a plurality of adjacent pixels, and a predetermined number of different colors for each of the plurality of pixels. A single-plate color image pickup device that is color-coded by giving the relative spectral sensitivity of the above, and gives two types of high and low sensitivities to the plurality of the same color pixels in each of the multiple pixels, and these are arranged in a checkered pattern. The color arrangement of the imaging device is a multi-Bayer arrangement in which the multi-pixel is a square 4 pixel block of 2 × 2 horizontal and the color coding arrangement is a Bayer arrangement, and the height 2 in the multi-pixel is 2 The crossing pattern of the diagonal arrangement which is the checkered arrangement of the sensitivity is changed for each of the multiple pixels .
[0012]
In this way, by arranging the two types of high and low sensitivity pixels in a double pixel, the same color pixels having different sensitivities in both the vertical and horizontal directions are arranged adjacent to each other. For this reason, even when high-frequency vertical stripes and horizontal stripes as described above are input, two types of high and low pixel outputs can be averaged to obtain a false signal (moire). In addition, although pixels with the same sensitivity are arranged side by side in the diagonal direction, the pixel pitch between the two types of pixels viewed from the diagonal direction is two types of height viewed from the vertical or horizontal direction if the pixel is a square pixel. Therefore, the generation of a false signal can be suppressed up to a certain frequency even for a fringe input in an oblique direction. Therefore, it is possible to expand the dynamic range of multiple pixels by using pixels of two types of high and low sensitivity without causing generation of false signals such as moire.
[0013]
Further, when the double pixel is a square 4 pixel block of 2 × 2 in the vertical direction and the color coding arrangement is a Bayer arrangement, the high and low 2 sensitivity checkered arrangement in the multiple pixels is used. It is preferable to change the diagonally intersecting pattern for each of the multiple pixels. In this case, the intersection pattern is the same for the same double row, and is configured to change for every adjacent double row, or the same for the same double row, so that it changes for every adjacent double row. Can be configured. With these configurations, even when viewed from an oblique direction, the arrangement of two types of sensitivity can be alternately changed for each of the plurality of pixels, and it is possible to keep the pixels having the same sensitivity in a single pixel. As in the case of vertical stripes and horizontal stripes, the generation of false signals due to the deviation of the sampling phase between multiple pixels can be sufficiently suppressed for stripes input in an oblique direction.
[0014]
Further, as the multiple Bayer array, an RGB multiple Bayer array in which the color coding array is an RGB Bayer array can be used.
[0015]
According to another aspect of the present invention, an image pickup device according to any one of claims 1 to 4 , drive means for reading the image pickup signal by driving the image pickup device, and an image signal having a predetermined format based on the image pickup signal are generated. Image signal generating means capable of generating wide dynamic range information relating to the multi-pixel based on pixel information of two types of high and low sensitivities in the multi-pixel. It is characterized by doing. According to this imaging apparatus, by using pixel information of two types of high and low sensitivities, the dynamic range of information of each multi-pixel can be expanded, and a high-quality image can be obtained. In this case, when the image signal is generated, the addition result of pixel information of two types of high and low sensitivities in the multiple pixels can be used.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows the configuration of an imaging apparatus according to an embodiment of the present invention. Here, the case where it implement | achieves as a digital camera is illustrated and demonstrated.
[0017]
In the figure, 101 is an imaging lens system composed of various lenses, 102 is a lens driving mechanism for driving the lens system 101, 103 is an exposure control mechanism for controlling the diaphragm of the lens system 101, and 104 is for low-pass and infrared cut. 105, a CCD color image pickup device with a built-in color filter, 106 a CCD driver for driving the image pickup device 105, 107 a preprocess circuit including an A / D converter, and 108 a color signal generation process, A digital process circuit for performing matrix conversion processing and other various digital processes, 109 is a card interface, 110 is a memory card for recording captured images, and 111 is an LCD image display system.
[0018]
Also, 112 in the figure is a system controller (CPU) 112 for overall control of each part, 113 is an operation switch system composed of various SWs, 114 is an operation display system for displaying operation states and mode states, 115 Is a lens driver for controlling the lens driving mechanism 102, 116 is a strobe as a light emitting means, 117 is an exposure control driver for controlling the exposure control mechanism 103 and the strobe 116, and 118 is for storing various setting information and the like. A non-volatile memory (EEPROM) is shown.
[0019]
As the CCD image pickup element 105, a progressive scan (sequential scan) type and an interline structure is used. In the CCD image pickup device 105, photoelectric conversion regions (pixel portions) composed of photodiodes are arranged in a matrix of rows and columns, and a vertical transfer path is provided for each pixel portion of one column in the vertical direction. A common horizontal transfer path is provided for each of the vertical transfer paths. A signal from each pixel unit is first transferred to the vertical transfer path, then transferred to the horizontal transfer path via the vertical transfer path, and then output amplifier (floating diffusion amplifier FDA: Floating).
Diffusion Amplifier).
[0020]
The structure of the color filter of the CCD image pickup device 105 will be described in detail later with reference to FIG. 2 and later, but a multiple Bayer array is used in which 2 × 2 four-pixel blocks have the same color and the array in units of blocks is a Bayer array. It has been. In this case, in the present embodiment, in order to expand the dynamic range (D range) without causing the generation of a false signal (moire), the same color filters of high and low densities are provided in each multi-pixel composed of four pixel blocks. In a checkered pattern, that is, diagonally arranged.
[0021]
In the digital camera of the present embodiment, the system controller 112 performs all the control, and the CCD driver 106 controls the drive of the CCD image sensor 105 to perform exposure (charge accumulation) and signal readout. This is taken into the digital process circuit 108 via the preprocess circuit 107 to generate an image signal for recording in a predetermined format, and then recorded on the memory card 110 via the card interface 109.
[0022]
The system controller 112 includes a pixel addition drive control unit 112a and a wide D range information generation control unit 112b. The pixel addition drive control unit 112a is for controlling the driving of the CCD image sensor 105 using the CCD driver 106 to execute the same color addition reading. Pixel information can be added and read out from the CCD image sensor 105. The wide D range information generation control unit 112b uses the addition signal obtained by the same color addition reading or the pixel information of the two types of high and low sensitivity individually read from each of the plurality of pixels by the non-addition reading. Generate wide dynamic range information about.
[0023]
Next, the filter arrangement of the CCD image sensor 105 will be described with reference to FIG.
[0024]
FIG. 2A shows a first example of a filter array used in this embodiment. This filter array is an RGB double Bayer array with multiple pixels composed of 2 × 2 4 pixel blocks as a unit, and high and low 2 sensitivities in each double pixel (same color unit pixel block) are checked (4 pixels as shown). In this case, the configuration is diagonal).
[0025]
The R double pixel is composed of 2 × 2 4 pixels having R spectral sensitivity characteristics. Of these, 2 pixels arranged diagonally are high sensitivity pixels (LR) having a low filter density. The two diagonally arranged pixels are low sensitivity pixels (dR) having a high filter density. Similarly, the G multiple pixels are also composed of 2 × 2 4 pixels having the same G spectral sensitivity characteristic, and 2 of these diagonally arranged pixels are high sensitivity pixels (LG) having a low filter density. The two diagonally arranged pixels are low-sensitivity pixels (dG) having a high filter density. Further, the same applies to the B multiple pixels, which are composed of two high-sensitivity pixels (LB) arranged diagonally and two low-sensitivity pixels (dB) arranged diagonally. Since the array in the case of multiple pixels is an RGB Bayer array, two types of high and low sensitivity pixels (L, d) are arranged in a checkered pattern over the entire pixel array if the difference in color of the multiple pixels is ignored. It has become a format.
[0026]
In FIG. 2A, the intersection pattern of the two-sensitivity diagonal arrangement is common to all the multiple pixels, and the two low-sensitivity pixels (d) are arranged at the lower left and upper right, and the two high-sensitivity pixels (L). Are arranged in the upper left and lower right.
[0027]
By arranging the pixels (L, d) having two types of high and low sensitivity in this manner, the same color pixels (L, d) having different sensitivities are arranged adjacent to each other in both the vertical and horizontal directions. Will be. For this reason, even when high-frequency vertical stripes and horizontal stripes as described in FIG. 6 are input, two types of high and low pixel outputs can be averaged for each multiple pixel without depending on the sampling phase shift. No false signal (moire) occurs. In addition, although pixels having the same sensitivity are arranged side by side in the diagonal direction, the pixel pitch P ′ between the two types of high and low pixels viewed from the diagonal direction is vertical or horizontal as shown in FIG. Since it is narrower than the pixel pitch P between the two types of high and low pixels as seen from (P ′ = P / 2 1/2 ), false signals are generated up to a certain frequency even for fringes input in an oblique direction. Can be suppressed. Therefore, it is possible to expand the dynamic range of multiple pixels by using pixels of two types of high and low sensitivity without causing generation of false signals such as moire.
[0028]
FIGS. 2B to 2D show other examples of filter arrays used in this embodiment. In these arrays, even if the fringes are input in an oblique direction, the cross pattern of the two-sensitive diagonal arrangement is changed by the multiple pixels so as to sufficiently suppress the generation of false signals due to the sampling phase shift between the multiple pixels. It is an example.
[0029]
That is, FIG. 2B shows a case where the intersection pattern of the two-sensitive diagonal arrangement is the same for the same double row and is changed in units of adjacent double rows. In FIG. 2B, in the odd-numbered double row (1, 3, 5,...), The intersection pattern of the two-sensitivity diagonal arrangement is the same as in FIG. The upper left and lower right are high sensitivity L), and in the even-numbered double row (2, 4, 6,...), The cross pattern of the two sensitivity diagonal arrangement is the reverse pattern (lower left and upper right) of FIG. Is the high sensitivity L, and the upper left and lower right are the low sensitivity d). FIG. 2C is also an example in which the cross pattern of the two-sensitivity diagonal arrangement is changed in units of double lines. Here, contrary to FIG. 2B, in the even-numbered double lines, the two-sensitivity diagonal arrangement is shown. The crossing pattern is the same as in FIG. 2A, and the crossing pattern of the two-sensitivity diagonal arrangement is the reverse of that in FIG.
[0030]
FIG. 2D shows a case where the intersection pattern of the two-sensitivity diagonal arrangement is the same for the same double row and is changed in units of adjacent double rows. In FIG. 2D, in the odd-numbered double row (1, 3, 5,...), The cross pattern of the two-sensitivity diagonal arrangement is the same as in FIG. The upper left and lower right are high sensitivity L), and in the even-numbered double rows (2, 4, 6,...), The cross pattern of the two sensitivity diagonal arrangement is the reverse pattern (lower left and upper right) of FIG. Is the high sensitivity L, and the upper left and lower right are the low sensitivity d). FIG. 2E is also an example in which the cross pattern of the two-sensitivity diagonal arrangement is changed in units of double rows. Here, contrary to FIG. 2D, the even-numbered double rows have a two-sensitivity diagonal arrangement. The crossing pattern is the same as in FIG. 2A, and in the odd-numbered double columns, the crossing pattern of the two-sensitivity diagonal arrangement is the reverse of FIG. 2A.
[0031]
Next, signal processing for an image signal obtained by the image sensor 105 having the filter array as shown in FIG. 2 will be described.
[0032]
Here, in order to simplify the description, it is assumed that the exposure amount ranges of the high sensitivity L pixel and the low sensitivity d pixel do not overlap. In this case, the photoelectric conversion characteristics of the high and low sensitivity pixels L and d are as shown in FIG. By using signals from these two high and low sensitivity pixels L and d, for example, as shown by a dotted line in FIG. 3, the range of the luminance level (exposure amount) of the object that can be imaged is widened, and a wide dynamic is obtained for each of the multiple pixels. Range pixel information can be generated. The generation of wide dynamic range information can be broadly divided into two cases: using the same color addition readout and using high and low sensitivity pixel information individually read from each of the multiple pixels by non-addition readout. is there.
[0033]
First, with reference to FIG. 4, a signal processing operation when using the same color addition reading will be described.
First, the pixel addition drive control unit 112a uses the CCD driver 106 to control the drive of the CCD image pickup element 105 and execute the same color addition reading, so that each vertical pixel and horizontal pixel constituting each of the multiple pixels are read. A total of four pixels are read out (step S101). In this addition reading, vertical transfer for two lines is performed in one horizontal blanking period by driving the vertical transfer path at twice the normal speed. Thereby, two vertical pixels in each of the multiple pixels are added on the horizontal transfer path. The pixel information after vertical addition (addition average information) is sent to the output amplifier (FDA) through the horizontal transfer path. Normally, a reset pulse is supplied to the FDA at a rate of one pulse per pixel, but horizontal transfer driving or reset pulse supply timing is set so that horizontal transfer for two pixels is performed for one reset pulse. By controlling, two pixels after vertical addition adjacent in the horizontal direction are added by FDA and read out. In this manner, the addition result (addition average) of 2 × 2 4 pixels is read out from the CCD image sensor 105 as an imaging signal for each of the multiple pixels.
[0034]
The added image signal is A / D converted and sent to the digital process circuit 108. A recording image may be generated by directly applying arbitrary known signal processing such as gradation processing (γ, knee, setup) or color balance processing directly to the added image signal, In this example, prior to normal γ correction processing (step S103), processing for gradation optimization (step S102) is performed in the digital process circuit 108 under the control of the wide D range information generation control unit 112b. . The tone optimization processing (step S102) is preprocessing performed before the addition signal is input to the normal γ correction processing, and here, the original input exposure level (subject luminance) is estimated from the level of the addition signal. Based on this, the gradation correction of the added signal is performed.
[0035]
That is, since pixel information of high and low 2 sensitivity is added, the photoelectric conversion characteristics are different between the area where the high sensitivity L pixel is saturated and the area where it is not saturated, and the whole becomes a non-linear characteristic of a polygonal line. A signal (linear signal) proportional to the input exposure amount is calculated by performing a case-by-case process according to the magnitude of the output signal level. As an example of processing, the image sensor output is S 0 (where saturation level = maximum value is S MAX ), the corrected linear signal is S, and the sensitivity ratio of d pixel to L pixel is r (<1). For example, when
S = S 0 / (1 + r): However, when S 0 ≦ (1 + r) · S MAX / 2 = (S 0 −S MAX / 2) / r: However, when S 0 ≧ (1 + r) · S MAX / 2 What should I do?
[0036]
In general, it is desirable to partially overlap the exposure amount ranges of the two pixels with different sensitivities, but the exposure amount ranges are overlapped by performing the above-described gradation optimization processing (step S102). Even in this case, it is possible to correctly obtain a linear signal proportional to the input exposure amount and apply it to the γ correction table of the γ correction process (step S103).
[0037]
Next, with reference to FIG. 5, a signal processing operation when non-additive reading is used will be described.
First, the pixel addition drive control unit 112a controls the driving of the CCD image sensor 105 using the CCD driver 106, and normal non-addition readout is performed for reading out each pixel individually (step S111). The image pickup signal read from the CCD image pickup element 105 is A / D converted and then sent to the digital process circuit 108, where an arithmetic process for obtaining wide D range information for each of the multiple pixels is performed. It is executed under the control of 112b.
[0038]
That is, processing for digitally adding signals from two pixels having the same sensitivity arranged diagonally is performed for each of the multiple pixels (step S112), whereby the addition signal between the low sensitivity pixels d and the high sensitivity pixel are processed. An addition signal between L is obtained. Next, a process of synthesizing the addition signal between the low-sensitivity pixels d and the addition signal between the high-sensitivity pixels L is performed for each multiple pixel (step S113). In this synthesis processing, for example, the high-sensitivity output side, which is an addition signal between high-sensitivity pixels L, is mainly used. The process of complementing using the side is performed. Further, in this synthesis process, gain correction processing is performed on the high-sensitivity output and the low-sensitivity output, respectively, as necessary for the purpose of obtaining a linear signal as in step S102. That is, in consideration of the sensitivity ratio r between L and d, a higher gain (relatively 1 / r times) than a high sensitivity output is given to a low sensitivity output. Then, a normal γ correction process (step S114) is performed on the combined signal, and a recorded image is generated through necessary signal processes such as knee, setup, and color balance processing.
[0039]
In addition, the following various embodiments are conceivable.
[0040]
The color arrangement of the image sensor is not limited to a multi-bayer, and any multi-color arrangement may be used. The number of constituent pixels of the multiple pixels is not limited to four, and any number can be used as long as the color arrangement and the pixel density of the image to be generated allow.
[0041]
In addition, when adding pixel information of two types of high and low sensitivities, for example, only addition of two pixels in the vertical direction may be performed inside the element, and horizontal addition may be performed by digital calculation outside the element.
[0042]
The signal processing for generating the filter array and wide D range information according to the present invention can be applied not only to a digital still camera but also to a digital movie.
[0043]
Further, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention in the implementation stage. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be obtained as an invention.
[0044]
【The invention's effect】
As described above, according to the present invention, the dynamic range can be expanded without causing the generation of a false signal, and the image quality can be sufficiently improved.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is a view showing a filter structure of a solid-state imaging device used in the embodiment.
FIG. 3 is a diagram showing an example of luminance range characteristics of a high density filter and a low density filter used in the embodiment.
FIG. 4 is a view for explaining an example of signal processing for generating wide D range information applied to the embodiment;
FIG. 5 is a view for explaining another example of signal processing for wide D range information generation applied to the embodiment;
FIG. 6 is a diagram for explaining a conventional filter arrangement and its problems.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 ... Lens system 102 ... Lens drive mechanism 103 ... Exposure control mechanism 104 ... Filter 105 ... CCD color image sensor 106 ... CCD driver 107 ... Pre-process part 108 ... Digital process part 109 ... Card interface 110 ... Memory card 111 ... LCD image display System 112 ... System controller (CPU)
112a ... Pixel addition drive control unit 112b ... Wide D range information generation control unit 118 ... Non-volatile memory (EEPROM)
LR, LG, LB: Low density filter (high sensitivity pixel)
dR, dG, dB ... high density filter (low sensitivity pixel)

Claims (6)

隣接する複数の画素からなる単位画素ブロックたる複画素に対して同色の相対分光感度を付与するとともに、前記各複画素に対しては所定数の異色の相対分光感度を付与することによって色コーディングを成した単板カラー撮像素子であって、前記各複画素内の複数の同色画素に対しては高低2種類の感度を付与しこれらを市松配置させ、前記撮像素子の色配列は、前記複画素が縦2×横2の正方4画素ブロックであり且つ前記色コーディング配列がベイヤ配列である複ベイヤ配列であって、前記複画素内における前記高低2感度の市松配置たる対角配置の交差パターンを各複画素毎に変化させたことを特徴とする撮像素子。Color coding is performed by giving a relative spectral sensitivity of the same color to a plurality of pixels which are unit pixel blocks composed of a plurality of adjacent pixels, and giving a predetermined number of different relative spectral sensitivities to each of the plurality of pixels. a single-plate color image pickup device forms, said they were checkered arranged to impart high and low two kinds of sensitivity for a plurality of same color pixels in each multi-pixel, the color array of the imaging device, the multi-pixel Is a double Bayer array in which the pixel block is a 2 × 2 square square block and the color coding array is a Bayer array, and the cross pattern of the diagonal arrangement of the high and low 2 sensitivity checkered arrangement in the multiple pixels is An image sensor that is changed for each multiple pixel . 前記交差パターンは同一の複行に関しては同一であり、隣接する複行毎に変化するように構成されたものであることを特徴とする請求項記載の撮像素子。The cross pattern is identical for the same double row, the imaging device according to claim 1, characterized in that configured to vary multiple adjacent rows. 前記交差パターンは同一の複列に関しては同一であり、隣接する複列毎に変化するように構成されたものであることを特徴とする請求項記載の撮像素子。The cross pattern is identical for the same double row, the imaging device according to claim 1, characterized in that configured to vary the adjacent double row. 前記複ベイヤ配列は、前記色コーディング配列がRGBベイヤ配列であるところのRGB複ベイヤ配列であることを特徴とする請求項乃至のいずれか1項記載の撮像素子。The double Bayer array, according to claim 1 to 3 of any one imaging device, wherein said color coding sequence is RGB multi Bayer array where an RGB Bayer array. 請求項1乃至のいずれか1項記載の撮像素子と、前記撮像素子を駆動して撮像信号を読み出す駆動手段と、前記撮像信号に基づいて所定フォーマットの画像信号を生成可能な画像信号生成手段であって、前記複画素内の高低2種類の感度の画素情報に基づいて、当該複画素に関する広ダイナミックレンジ情報を生成するように構成された画像信号生成手段とを具備することを特徴とする撮像装置。An imaging element according to any one of claims 1 to 4, a driving means for reading an image signal by driving the imaging device, capable of generating image signal generating means an image signal of a predetermined format based on the imaging signal And image signal generating means configured to generate wide dynamic range information relating to the multiple pixels based on pixel information of two types of high and low sensitivity in the multiple pixels. Imaging device. 前記複画素内の高低2種類の感度の画素情報を加算する画素加算手段をさらに具備し、前記画像信号生成手段は、前記画素加算手段によって加算された画素情報に基づいて前記広ダイナミックレンジ情報を生成するように構成されたものであることを特徴とする請求項記載の撮像装置。Pixel addition means for adding pixel information of two types of high and low sensitivities in the multiple pixels is further provided, and the image signal generation means outputs the wide dynamic range information based on the pixel information added by the pixel addition means. The imaging apparatus according to claim 5 , wherein the imaging apparatus is configured to generate the imaging apparatus.
JP2000358150A 2000-11-24 2000-11-24 Imaging device and imaging apparatus Expired - Fee Related JP4460751B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000358150A JP4460751B2 (en) 2000-11-24 2000-11-24 Imaging device and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000358150A JP4460751B2 (en) 2000-11-24 2000-11-24 Imaging device and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2002165226A JP2002165226A (en) 2002-06-07
JP4460751B2 true JP4460751B2 (en) 2010-05-12

Family

ID=18830102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000358150A Expired - Fee Related JP4460751B2 (en) 2000-11-24 2000-11-24 Imaging device and imaging apparatus

Country Status (1)

Country Link
JP (1) JP4460751B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4019417B2 (en) 2003-01-14 2007-12-12 ソニー株式会社 Image processing apparatus and method, recording medium, and program
JP2006311240A (en) 2005-04-28 2006-11-09 Olympus Corp Imaging apparatus
JP5011519B2 (en) * 2005-07-05 2012-08-29 国立大学法人東京工業大学 Signal reading method and image signal processing method of solid-state imaging device
JP2007281816A (en) * 2006-04-05 2007-10-25 Shimadzu Corp Camera apparatus
JP4241754B2 (en) * 2006-04-14 2009-03-18 ソニー株式会社 Imaging device
JP4645607B2 (en) * 2007-03-12 2011-03-09 ソニー株式会社 Image processing apparatus and method, program, and recording medium
US7777804B2 (en) 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
JP4848349B2 (en) * 2007-11-22 2011-12-28 富士フイルム株式会社 Imaging apparatus and solid-state imaging device driving method
JP4769851B2 (en) * 2008-09-11 2011-09-07 富士フイルム株式会社 Imaging device
JP5664141B2 (en) * 2010-11-08 2015-02-04 ソニー株式会社 Solid-state imaging device and camera system

Also Published As

Publication number Publication date
JP2002165226A (en) 2002-06-07

Similar Documents

Publication Publication Date Title
JP4195169B2 (en) Solid-state imaging device and signal processing method
US6803955B1 (en) Imaging device and imaging apparatus
KR20100066396A (en) Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
JP2002010276A (en) Imaging apparatus
JP3970185B2 (en) Solid-state image sensor and digital camera
JP3704238B2 (en) Imaging device
JP4460751B2 (en) Imaging device and imaging apparatus
JP2006270364A (en) Solid-state image pickup element and solid-state image pickup device, and driving method thereof
JP5621057B2 (en) Color image sensor
JP4034614B2 (en) Solid-state imaging device
JPH09238355A (en) Method for eliminating line noise of image pickup device and line noise elimination device using it
WO2013100093A1 (en) Imaging device, method for controlling imaging device, and control program
JP2006129418A (en) Method for driving charge-transfer type solid-state image pick-up device and image pick-up method and apparatus
JP3902525B2 (en) Image signal processing device
JPH11355790A (en) Two-dimensional color image pickup element
JP5411390B2 (en) Color image sensor
JP4083437B2 (en) Imaging device
US20060016961A1 (en) Imaging apparatus and solid-state imaging device
JP2000358250A (en) Color image pickup device and image pickup system using it
JP2002084548A (en) Color image pickup element and image pickup device
JP2007088732A (en) Solid-state imaging element
JP2007235888A (en) Single-ccd color solid-state imaging element and imaging apparatus
TWI837660B (en) Image sensor
JP3674277B2 (en) Luminance signal pixel level saturation detection circuit
JP2006303407A (en) Solid-state imaging element and its driving method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140219

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees