JP5686726B2 - 画像センサの同心露光シーケンス - Google Patents

Description

本発明は、電子的画像取り込みシステムに関し、より詳細には、個別にアドレス指定可能な、画素の部分集合を有する画像センサの読み出し方法に関する。

電荷結合素子（ＣＣＤ）画像センサおよび能動画素センサ（ＡＰＳ）素子などの電子的画像センサは、視覚画像の電子的表現を生成する電子的画像生成システムに用いられている。ＡＰＳ素子は、相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）工程で製造されることが多いため、ＣＭＯＳセンサとも呼ばれる。一般に、これらの画像センサは、規則正しい２次元パターンまたは行と列の配列に並べられた多数の感光性画素（すなわち、画像素子）を含み、個々の画素が、それぞれ、その画素上にレンズによって投影された場面画像部分の光レベルに応じた信号を提供する。

小型性およびコストを考慮して、これらの画像センサは、通常、前述の信号をデジタル化するための画素をアナログ−デジタル変換器（ＡＤＣ）よりも遥かに多く備える。センサチップ上の空間を節約するために、単一行の画素を同時に読み出すのに足りるだけの記憶装置を設けることが一般的である。このため、２次元センサ全体の画素信号の測定または読み出しを同時に行うことはできない。代わりに、画素センサ信号は、逐次方式で読み出される。例えば、単一のＡＤＣを有するＣＣＤにおいて、画素信号は、ラスタ式に、一つの行内で画素ごとに読み出され、次いで、画素の配列内で行ごとに読み出される。

画像センサの読み出しにおける逐次的な特性は、読み出し機構の帯域幅によって制限されるため、センサ全体を読み出せる速度を直接的に規制する。例えば、画像センサの読み出し機構が、毎秒５千万画素を測定できる場合、５百万画素の画像センサの読み出しに、約１０分の１秒かかることになる。画像センサ全体の読み出しに必要な時間を低減するためには、通常、より高速の読み出しのために電力消費量を増やすか、または画像センサのサイズを大きくして、追加の読み出しチャンネルを提供する必要がある。ただし、電力消費量の増大やサイズの拡大はいずれも望ましいのもではない。

機械構成要素を排除して、コストおよび空間要件を低減するため、遮光シャッタを持たない画像取り込みシステムを設計することが一般的である。このようなシステムは、代わりに、電子シャッタを効果的に提供するセンサタイミングに依拠している。このタイミング機構は、各光検出器をリセットして、光電子（または、これに代わるホール）を集積し、その後、規則正しいシーケンスで光検出器信号を読み出すことによって動作する。リセットステップは、フォトダイオードから対応する浮動拡散回路に残留電荷を移し、その残留電荷を廃棄することによって実現できる。露光中、光電子は、所定の集積時間の間フォトダイオード内に累積し、この時点で電荷信号が浮動拡散部に送られる。電荷信号は、ＣＭＯＳ素子内で電圧に変換される。この後、対応する電圧が、キャパシタなどのメモリ素子に格納される。

センサが、十分に低い暗電流と、浮動拡散部に対する十分に優れた遮光性とを有する場合は、移動した電荷を直ちに読み出す必要はない。この状態において、それぞれの浮動拡散部内に、全画素から一度に電荷を移動し、その後、逐次読み出しシーケンスが、行ごとに漸進的に信号を処理しているときに、少しの間、待機することができる。もちろん、このような一括移動が機能するためには、各画素がそれぞれ固有の遮光された浮動拡散部を備える必要もある。

特に、ＡＰＳ画像センサによって提供される代替の画像センサ読み出し機構は、画像センサの行全体に亘って、行ごとに画像センサの露光および読み出しを斬新的に行うことができる。この「ローリングシャッタ式」シーケンスは、ＣＣＤのインターレースフィールド内に顕現する露光差の問題を回避して、各行の露光が、同じ時間長さだけ続くようにする。他の利点として、ローリングシャッタ式シーケンスでは、画素ごとの遮蔽記憶装置を必要としないため、センサ構成要素の設計が簡単になる。ただし、各行に対する露光は、他の行に対する露光とは独立しており、他の行の露光に連続した（すなわち、ローリング）方式で生じるため、連続した各行は、前の行から僅かに遅れた時点で場面画像の一部を取り込む。その結果、場面（または場面の構成要素）と画像センサとの間の相対移動によって、画像センサによって取り込まれた画像内で、場面内の物体が変形したように見える。画像「ずれ」と呼ばれるこの作用は、ローリングシャッタ機構の特徴である。例えば、このようないわゆるローリングシャッタ式、または電子フォーカルプレーンシャッタ式画像センサを用いて、水平方向に移動している自動車の画像を取り込む場合、自動車は、取り込まれた画像の各行が露光されて読み出されるごとに、画像センタに対して移動するため、取り込まれた画像の各行が、異なる位置にある車両を表すことになる。このため、車の丸いタイヤがやや楕円形に見え、車の四角いウィンドウが歪んで平行四辺形に見えるようになる。移動によって生じるこの歪みは、画像センサの全ての行を読み出すために必要な時間の長さと直接的な因果関係を有する。これらの行をより高速に読み出せる場合には、歪みを低減できる。ただし、既に言及したように、読み出し速度を上げることには、通常、画像センサのコストと消費電力の好ましくない増加が伴う。

シリコンベースの画像センサでは、画素構成要素自体が可視光に広く感応するため、白黒画像の取り込みに適した、フィルタなしの画素を実現できる。カラー画像の取り込みでは、通常、画素配列の上にフィルタの２次元パターンが作製されるが、この作製の際に、異なるフィルタ材料を用いて、個々の画素を可視光スペクトルの一部のみに感応させる。このようなフィルタパターンの例は、米国特許第３，９７１，０６５号に記載されるような、よく知られているベイヤー（Ｂａｙｅｒ）カラーフィルタアレイ（ＣＦＡ）パターンである。ただし、ベイヤーＣＦＡは、標準的な条件下でのフルカラー画像の取り込みには有利であるが、この解決策には欠点があることが判明している。狭帯域のスペクトル応答を提供するためにはフィルタが必要であるが、入射光に対する何らかのフィルタ処理は、各画素に到達する光量を低下させる傾向があるため、各画素の有効な光感受性を低下させて、画素の応答速度を低下させる。

各種の光条件における画像の取り込みを改良して、撮像センサ全体の感度を向上させる解決策として、周知のベイヤーパターンを改造することが開示されている。例えば、本願と共に譲渡された、ハミルトン（Ｈａｍｉｌｔｏｎ）他による「Ｃａｐｔｕｒｉｎｇ Ｉｍａｇｅｓ Ｕｎｄｅｒ Ｖａｒｙｉｎｇ Ｌｉｇｈｔｉｎｇ Ｃｏｎｄｉｔｉｏｎｓ（各種の照明条件での画像の取り込み）」という名称の米国特許出願公開第２００７／００４６８０７号、およびコンプトン（Ｃｏｍｐｔｏｎ）他による「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ Ｉｍｐｒｏｖｅｄ Ｌｉｇｈｔ Ｓｅｎｓｉｔｉｖｉｔｙ（光感受性が向上した画像センサ）」という名称の米国特許出願公開第２００７／００２４９３１号には、いずれも、カラーフィルタに、いずれかの方式で空間的に交互配置されるパンクロマティックフィルタ素子を組み合わせた代替のセンサアレイが記載されている。このタイプの解決策では、画像センサの一部が色を検出する一方で、残りのパンクロマティック部分は、ダイナミックレンジおよび感度を改善するために、可視帯域に広がる光を検出するように最適化される。したがって、これらの解決策は、一部の画素がカラーフィルタを備え（狭帯域のスペクトル応答を提供し）、一部がカラーフィルタを持たない（フィルタのない「パンクロマティック」画素、または広帯域のスペクトル応答を提供するようにフィルタ処理される画素）という画素パターンを提供する。

スペクトル帯域の狭い画素応答とスペクトル帯域の広い画素応答の両方を組み合わせたものを用いることで、より低い光レベルで画像センサを利用することや、より短い露光時間を提供することが可能になる。たとえば、サトウ他の米国特許第４，３９０，８９５号、ヤマガミ他の米国特許第５，３２３，２３３号、およびジンデール（Ｇｉｎｄｅｌｅ）他の米国特許第６，４７６，８６５号を参照されたい。

カラー画素とパンクロマティック画素の両方を備える構成は、カラーフィルタによって生じるいくつかの問題、特に、光感受性の低下および動作のぶれに関する問題に対処することに役立ち得る。ただし、従来の画素の読み出しタイミングシーケンスを利用すると、画像センサの同一部分におけるパンクロマティック取り込みの露光区間とカラー取り込みの露光区間の間の時間遅延によって生じる動作問題の補正に、動作の推測や他の補償技法を実施しなければならない。したがって、カラー画素とパンクロマティック画素の両方の利用を実施する利点を最大限活用するためには、洗練されたソフトウェアが必要になり、撮像素子の設計に関わるコストおよび複雑さが増大する。

米国特許第３，９７１，０６５号明細書 米国特許出願公開第２００７／００４６８０７号明細書 米国特許出願公開第２００７／００２４９３１号明細書 米国特許第４，３９０，８９５号明細書 米国特許第５，３２３，２３３号明細書 米国特許第６，４７６，８６５号明細書

ここで、デジタル撮像センサアレイを利用する際の動作の推測および補償に関する要件を緩和または排除する、向上した読み出し方法についての要望が存在する。

本発明は、
（ａ）ローリングシャッタおよび少なくとも一つの分割された画素行を有する画像センサであって、前記少なくとも一つの分割された行は、第１および第２の互いに素である画素行部分集合を少なくとも含み、各行部分集合な、個別に読出しおよびリセットを行うことができる、画像センサを設け、
（ｂ）前記少なくとも一つの画素行内の画素の露光において、
（ｉ）前記第１の行部分集合をリセットして、第１の露光を開始し、第１の区間の後で、前記第２の行部分集合をリセットして、第２の露光を開始し、
（ｉｉ）前記第２の行部分集合を読み出して、前記第２の露光を終了すると共に第２の露光信号値を取得し、第２の区間の後で、前記第１の行部分集合を読み出して、前記第１の露光を終了すると共に第１の露光信号値を取得することによって、前記画素の露光を行い、
この露光の際に、前記第１の区間および前記第２の区間の長さが、前記第１の露光の長さの２０％内で等しくなるようにし、
（ｃ）前記第１の露光信号値および前記第２の露光信号値から得られた画像データを組み合わせて、画素値の行を形成することを含み、
前記画像データを組み合わせることは、異なる行内の画素から得られた画像データを組み合わせることを更に含む、画像取り込み方法である。

本発明に係る画像の取り込みは、静止画像およびビデオ画像を取り込む、画像取り込み装置に特に適する。本発明は、幅広い用途を有し、多くのタイプの画像取り込み装置は、前記画像取り込み方法を効果的に利用することができる。

前述したもの、ならびに他の本発明の態様、目的、特徴、および利点は、好ましい実施形態の下記の詳細な説明および付属の請求項を検討し、付属の図面を参照することによってより明瞭に把握および理解されるであろう。

従来のセンサおよび処理方法、または前記センサおよび本発明の処理方法を利用できる従来のデジタルスチルカメラシステムを示すブロック図である。 従来のベイヤーカラーフィルタアレイのパターンに、最小繰り返し単位および非最小繰り返し単位を示した図である。 各種の光条件におけるローリングシャッタ動作についての従来のタイミング図である。 各種の光条件におけるローリングシャッタ動作についての従来のタイミング図である。 赤、緑、および青の画素の代表的なスペクトルの量子収率曲線、ならびにスペクトルのより広いパンクロマティックの量子収率について、それぞれ赤外線カットフィルタの透過特性を乗じたものを示す図である。 一つの行を互いに素な行部分集合に分割することを表した、従来のベイヤーカラーフィルタアレイパターンの一部を示す図である。 ２つの互いに素な行部分集合を利用するときの、露光および読み出しのローリングシャッタ式タイミング設定についての従来の手法を示すタイミング図である。 一実施形態における、分割された画素行のローリングシャッタ式タイミングを示すタイミング図である。 カラー画素とパンクロマティック画素の両方を用いる画素配列のいくつかのパターンを示す平面図である。 画素配列の類を形成する要素の例を示す平面図である。 画素配列の類を形成する要素の他の例を示す平面図である。 隣接する行部分集合の実現可能な構成を示す模式図である。 隣接する列の画素を互いにビン化（binned）して、浮動拡散部品を共有できるようにする方式を示す模式図である。 一つがカラー画素で、一つがパンクロマティック画素である、２つの互いに素な行部分集合を利用するときの、露光および読み出しのローリングシャッタ式タイミング設定についての従来の手法を示すタイミング図である。 一実施形態におけるカラー部分集合とパンクロマティック部分集合の両方を有する、分割された画素行についてのローリングシャッタ式タイミングを示すタイミング図である。 一実施形態における、本発明の方法の読み出しシーケンスの一部を示すタイミング図である。 読み出しシーケンスと、センサアレイ内の画素の空間的位置との関係性を示す模式図である。 一実施形態に従って、異なるパンクロマティック要素とカラー要素に対する組み合わせ露光を示すタイミング図である。 パンクロマティック画素とカラー画素に対する同心露光を示すタイミング図である。 本発明の同心読み出しタイミングと、ローリング式読み出しタイミングの関係性を示すタイミング図である。 より複雑な構成の行部分集合について、本発明の同心読み出しタイミングと、ローリング式読み出しタイミングの関係性を示すタイミング図である。

撮像素子を利用し、かつ、信号の取り込みと補正、および露光制御を行う関連回路を利用するデジタルカメラはよく知られているため、本明細書では、特に、本発明の方法および装置の一部を構成する要素、または本発明の方法および装置と、より直接的に協働する要素について説明する。本明細書に具体的に図示または記載されていない要素は、当該技術分野で知られているものから選択される。記載する実施形態の特定の側面は、ソフトウェアで提供される。下記の項目において本発明に従って図示および説明するシステムを考える際に、本明細書内に具体的に図示、説明、または提案されていない、本発明の実施に有用なソフトウェアは、従来のものであり、このような技術の当業者の能力の範囲内のものである。

本開示の文脈において、「類」という用語は、数学の集合理論において用いられる意味を有する。集合Ｓの類は、結合されたときに完全な集合Ｓとなる、互いに素な真かつ非空の部分集合の集まりである。より正式な類のこの定義は、この用語の日常的用途の意味とは若干異なることは確認できるであろう。ただし、数学の集合理論によって指定される正式な定義は、後で詳細に説明するように、本発明の方法および装置を用いて、アレイ内の画素を構成する方式を定義することに特に適している。

「部分集合」の用語は、特に明示的な言及がない限り、本明細書では、非空の部分集合を表すために用いられる。集合Ｓについて、部分集合は、集合Ｓ全体を含んでもよい。ただし、集合Ｓの「真部分集合」は、完全に集合Ｓ内に含まれ、かつ、集合Ｓの少なくとも一つの要素を除いたものである。２つの部分集合は、その共通集合が空集合である場合、すなわち、２つの部分集合が共通の要素を持たない場合に互いに素である。

次に、図１に参照すると、本発明を具現化するデジタルカメラとして表された画像取り込み装置のブロック図が示されている。ここではデジタルカメラについて説明するが、本発明は、カメラ以外の装置、例えば、携帯電話および自動車などに組み込まれる画像生成補助システムなど、他のタイプの画像取り込み装置にも明らかに適用可能である。被写体場面からの光１０は、画像形成段１１に入力され、ここで、前記光が、レンズ１２によって集束されて、固体画像センサ２０上に画像を形成する。画像センサ２０は、各画像素子（画素）に対応する電気信号に、入射光を変換する。好ましい実施形態の画像センサ２０は、電荷結合素子（ＣＣＤ）タイプ、または能動画素センサ（ＡＰＳ）タイプである（ＡＰＳ素子は、相補型金属酸化膜半導体プロセスで製造できることから、ＣＭＯＳセンサと呼ばれることも多い）。カラー画像形成に関して、画像センサ２０は、後でより詳細に説明するようなカラーフィルタの配列を含む。

絞りブロック１４は、アパーチャを変化させる。中性（ＮＤ）フィルタブロック１３は、光路に挿入される一つ以上のＮＤフィルタを含む。これらのブロックは、画像センサ２０に到達する光の量を調整する。また、シャッタ１８が開いている時間も、全体の光レベルを調整する。露光制御装置４０は、輝度センサ１６によって測定される、場面で利用可能な光の量に反応して、前述した３つの調整機能の全てを制御する。

画像センサ２０からのアナログ信号は、アナログ信号処理装置２２によって処理されて、アナログ／デジタル（Ａ／Ｄ）変換器２４に適用される。タイミング発生器２６は、行および画素を選択する各種のクロック信号を生成して、アナログ信号処理装置２２およびＡ／Ｄ変換器２４の動作を同期させる。画像センサ段２８は、画像センサ２０、アナログ信号処理装置２２、Ａ／Ｄ変換器２４、およびタイミング発生器２６を含む。画像センサ段２８の機能要素は、それぞれ個別に作製される集積回路であっても、またはＣＯＭＳ画像センサで一般的に行われているように、単一の集積回路として作製されてもよい。Ａ／Ｄ変換器２４から結果的に得られるデジタル画素値のストリームは、デジタル信号処理装置（ＤＳＰ）３６に対応付けられたメモリ３２に格納される。

システム制御装置５０および露光制御装置４０に加え、ＤＳＰ３６も、本実施形態の３つの処理装置または制御装置のうちの一つである。複数の制御装置および処理装置の中にこのようにカメラ機能の制御を分散することは一般的であるが、これらの制御装置や処理装置は、カメラの機能的動作および本発明の適用内容に影響を与えることなく、各種の方式で組み合わされる。これらの制御装置または処理装置は、デジタル信号プロセッサ素子、マイクロコントローラ、プログラム可能論理回路、または他のデジタル論理回路を一つ以上含むことができる。このような制御装置または処理装置の組み合わせを記載したが、必要な全ての機能を実行することを、一つの制御装置または処理装置に割り当てられることも明らかであろう。このような全ての変形例は、同一の機能を実行することができ、本発明の範囲内に入る。また、「処理段」という用語は、例えば、図１の処理段３８のように、一つの段階に前記機能の全てを包含する必要がある場合に使用される。

図示した実施形態において、ＤＳＰ３６は、プログラムメモリ５４に恒久的に格納され、画像取り込み中にメモリ３２にコピーされて実行されるソフトウェアプログラムに従って、メモリ３２内のデジタル画像データを操作する。ＤＳＰ３６は、画像処理を行うために必要なソフトウェアを実行する。メモリ３２は、ＳＤＲＡＭなど、各種のランダムアクセスメモリを含む。アドレスおよびデータ信号の経路を含むバス３０は、ＤＳＰ３６を、その関連メモリ３２と、Ａ／Ｄ変換器２４と、関連する他のデバイスとに接続する。

システム制御装置５０は、フラッシュＥＥＰＲＯＭや他の不揮発性メモリを含むことができるプログラムメモリ５４に格納されたソフトウェアプログラムに基づいて、カメラの全体動作を制御する。このメモリは、画像センサ較正データ、ユーザ設定の選択内容、および、カメラの電源がオフになったときに保存しておかなければならない他のデータを格納することにも利用できる。システム制御装置５０は、露光制御装置４０に命令して、既に説明したレンズ１２、ＮＤフィルタ１３、絞り１４、およびシャッタ１８を動作させると共に、タイミング発生器２６に命令して、画像センサ２０および対応する構成要素を動作させ、更に、ＤＳＰ３６に命令して、取り込まれた画像データを処理させることによって、画像の取り込みシーケンスを制御する。画像が取り込まれて処理された後、メモリ３２に格納された最終画像ファイルは、インターフェイス５７を介してホストコンピュータに送られて、着脱式メモリカード６４または他の記憶装置に保存され、ユーザのために画像ディスプレイ８８に表示される。

バス５２は、アドレス信号、データ信号、および制御信号の経路を含み、ＤＳＰ３６と、プログラムメモリ５４と、システムメモリ５６と、ホストインターフェイス５７と、メモリカードインターフェイス６０と、他の関連素子とに、システム制御装置５０を接続する。ホストインターフェイス５７は、表示、保存、操作、または印刷を行う画像データを転送するための、パーソナルコンピュータ（ＰＣ）または他のホストコンピュータへの高速接続を提供する。このインターフェイスは、ＩＥＥＥ１３９４もしくはＵＳＢ２．０のシリアルインターフェイス、または他の適切なデジタルインターフェイスである。メモリカード６４は、通常、コンパクトフラッシュ（登録商標）（ＣＦ）カードであり、このＣＦカードは、ソケット６２に挿入されて、メモリカードインターフェイス６０を介してシステム制御装置５０に接続される。利用される他のタイプの記憶装置は、限定するものではないが、ＰＣカード、マルチメディアカード（ＭＭＣ）、またはセキュアデジタル（ＳＤ）カードを含む。

処理された画像は、システムメモリ５６内のディスプレイバッファにコピーされ、ビデオエンコーダ８０を介して連続的に読み出されて、ビデオ信号を生成する。この信号は、カメラから直接出力されて外部モニタに表示されるか、またはディスプレイ制御装置８２によって処理されて、画像ディスプレイ８８に提示される。このディスプレイは、通常、アクティブマトリクス型カラー液晶ディスプレイ（ＬＣＤ）であるが、他のタイプのディスプレイも同様に利用される。

ビューファインダディスプレイ７０、露出ディスプレイ７２、状態ディスプレイ７６、および画像ディスプレイ８８の全て、またはその任意の組み合わせと、ユーザ入力部７４とを含むユーザインターフェイスは、露光制御装置４０およびシステム制御装置５０において実行されるソフトウェアの組み合わせによって制御される。ユーザ入力部７４は、通常、ボタン、ロッカスイッチ、ジョイスティック、回転ダイヤル、またはタッチスクリーンのうちのいくつかの組み合わせを含む。ビューファインダディスプレイ７０、露出ディスプレイ７２、状態ディスプレイ７６、およびユーザ入力部７４は、集合的にユーザインターフェイス６８と呼ばれる。画像ディスプレイ８８も、ユーザインターフェイス６８の一部であると見なすことができる。露光制御装置４０は、測光、露光モード、自動焦点、および他の露光機能を操作する。システム制御装置５０は、一つ以上のディスプレイ、例えば、画像ディスプレイ８８上に表示されるグラフィカルユーザインターフェイス（ＧＵＩ）を管理する。このＧＵＩは、通常、各種のオプション選択、および取り込まれた画像を検査するレビューモードを実施するメニューを含む。

露光制御装置４０は、露光モード、レンズアパーチャ、露光時間（シャッタ速度）、および露光指数すなわちＩＳＯ感度定格を選択するユーザ入力を受け入れ、その入力に応じて、後の取り込み用にレンズおよびシャッタを調整する。輝度センサ１６は、場面の輝度を測定して、ＩＳＯ感度定格、アパーチャ、およびシャッタ速度をマニュアルで設定するときにユーザが参照する露出計機能を提供するために利用される。この場合、ユーザが一つ以上の設定を変更すると、ビューファインダディスプレイ７０に表示される露出指示器は、画像が露光オーバーまたは露光不足になる程度をユーザに提示する。自動露光モードでは、ユーザが一つの設定を変更すると、露光制御装置４０が、自動的に他の設定を修正して、適正露出を維持する。例えば、所定のＩＳＯ感度定格について、ユーザがレンズアパーチャを小さくすると、露光制御装置４０は、自動的に露光時間を長くして、同一の全体露出を維持する。

ＩＳＯ感度定格は、デジタルスチルカメラの重要な属性である。露光時間、レンズアパーチャ、レンズ透過率、場面照明のレベルおよびスペクトル分布、ならびに、場面反射率が、デジタルスチルカメラの露光レベルを決定する。デジタルスチルカメラからの画像が、不十分な露光を用いて取得されたときには、一般に、電子ゲインまたはデジタルゲインを上げることによって、適正な諧調再現性を維持できるが、画像は、望ましくない量のノイズを含むことになる。露出を増やすと、ゲインが減少するため、通常は、画像ノイズを許容可能なレベルまで低減することができる。露出を過度に高くすると、画像の明るい領域で得られる信号が、画像センサまたはカメラ信号処理の最大信号レベル限度を超えてしまう。これにより、画像の高輝度部がクリップされて、不均一に明るい領域を形成することや、画像の周囲領域内へのブルーミングが生じ得る。適切な露出を設定するようにユーザを導くことは重要である。ＩＳＯ感度定格は、このような指針の役割を果たすことを目的としたものである。写真撮影者に容易に理解されるように、デジタルスチルカメラのＩＳＯ感度定格は、写真フィルムカメラのＩＳＯ感度定格と直接対応していなければならない。例えば、デジタルスチルカメラがＩＳＯ２００のＩＳＯ感度定格を有する場合は、同一の露光時間およびアパーチャが、定格ＩＳＯ２００のフィルム／処理システムに適合しなければならない。

ＩＳＯ感度定格は、フィルムのＩＳＯ感度定格と一致するように意図される。ただし、電子的画像生成システムとフィルムベースの画像生成システムの間には、正確な等価性を妨げる違いが存在する。デジタルスチルカメラは、可変利得を含むことができ、画像データが取り込まれた後で、カメラの露光範囲全体で諧調を再現できるデジタル処理を提供することができる。デジタルスチルカメラは、一定範囲の感度定格を含むことができる。この範囲は、ＩＳＯ感度ラチチュードとして定義される。混乱を避けるため、単一の値は、固有ＩＳＯ感度定格と呼ばれ、ＩＳＯ感度ラチチュードの上限および下限が、感度範囲、すなわち、固有ＩＳＯ感度定格とは異なる複数の有効な感度定格を含む範囲を示す。この点を考慮に入れると、固有ＩＳＯ感度は、デジタルスチルカメラの焦点面に提供されて、指定のカメラ出力信号特性を生成する露出から計算される数値である。この固有感度は、通常、既定の場面について、所定のカメラシステムの最高画像品質を生じる露光指数であり、露光指数は、画像センサに提供される露出に反比例する数値である。

デジタルカメラの上記の説明は当業者には周知であろう。本実施形態には、コストを抑制する、機能を追加する、またはカメラの性能を向上させるために選択できる、多数の変形例が存在することは明らかであろう。例えば、自動焦点システムを追加したり、または、レンズを取り外し可能かつ交換可能にしたりである。本発明は、あらゆるタイプのデジタルカメラ、より一般的に述べると、代替のモジュールが同様の機能を提供するデジタル画像取り込み装置に適用されることは理解されるであろう。

本発明の方法では、部分画像センサ２０内のいくつかの画素行を分割して、行が、画素の部分集合を２つ以上含むようにし、各部分集合について、タイミング発生器２６によって制御されるとおりに、露光を開始するリセット動作と、露光を終了する読み出し動作とを独立して制御可能にする必要がある。これは、多くの従来型画像センサ素子では提供されない機能である。ただし、この機能を有する画像センサ２０のハードウェア設計は、画像センサの設計および製造技術を実践する当業者の能力の範囲内である。この機能を備えるセンサは、分割された画素行を有するセンサである。

図１の図示例を前提として、下記の説明では、本発明に従って画像を取り込む前記カメラの動作を詳細に記述する。下記の説明において、画像センサについて一般的に言及するときには、図１の画像センサ２０を代表例とすることを理解されたい。図１に示した画像センサ２０は、通常、シリコン基板上に作製される感光性画素の２次元配列を含み、この配列が、各画素における入射光を、測定対象である電気信号に変換する。画像センサの文脈において、画素（「画像素子」の短縮形）は、離散的光検知領域、およびこの光検知領域に対応付けられた電荷シフト回路または電荷測定回路を表す。デジタルカラー画像の文脈において、画素の用語は、通例、一つの原色（フィルタを利用）に限定されるか、または概して全色性であるかのいずれかである、対応する色値を有する画像内の特定の位置を表す。カラー画素の用語は、比較的狭いスペクトル帯に亘るカラー光応答を有する画素を表すものとする。

画像センサ２０が光に曝されると、各画素において、自由電子が生成されて電子構造内に取り込まれる。この自由電子を一定の期間に亘って取り込み、取り込まれた電子の数を測定するか、または自由電子の生成速度を測定することで、各画素における光のレベルを測定することができる。前者の場合、累積された電荷は、画素の配列から取り出されて、電荷結合素子（ＣＣＤ）の場合には電荷−電圧測定回路に送られる。または、能動画素センサ（ＡＰＳまたはＣＭＯＳセンサ）の場合には、各画素に近接した領域が、電荷−電圧測定回路を含むことができる。

光電子を取り込んで利用するタイプ、または光生成されるホールを取り込んで利用するタイプのどちらの基本センサタイプでも同一の原理が働くことは認められよう。

カラー画像を生成するために、画像センサ内の画素の配列は、通常、画素の上に配置されるカラーフィルタの重畳パターンを有する。図２に、一般的に利用される、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のカラーフィルタのパターンを示す。この特定のパターンは、米国特許第３，９７１，０６５号に開示されており、発明者であるブライス・ベイヤー（Ｂｒｙｃｅ Ｂａｙｅｒ）の名をとったベイヤーカラーフィルタアレイとして広く知られている。このパターンは、カラー画素の２次元配列を有する画像センサにおいて効果的に利用される。このため、各画素は、特定のカラー光応答を有し、このカラー光応答は、この場合、赤色光、緑色光、または青色光に対して最も優勢な感度である。他の有用なタイプのカラー光応答は、マゼンタ光、黄色光、またはシアン光に対して最も優勢な感度である。各例において、特定のカラー光応答は、可視スペクトルの特定の部分に対する高い感度を有すると同時に、可視スペクトルの他の部分に対しては低い感度を有する。

最小繰り返し単位は、これより少ない画素を有する繰り返し単位が存在しない繰り返し単位である。例えば、図２のＣＦＡは、図２の画素ブロック１００に示されるように、２画素×２画素の最小繰り返し単位を含む。この最小繰り返し単位の複数のコピーが、画像センサ内の画素の配列全体を覆うようにタイル状に並べられる。この最小繰り返し単位は、右上角部に緑色画素を有する状態で図示されているが、太線で囲った領域を１画素右へ、１画素下へ、または１画素斜め右下へ動かすことによって、３つの代替の最小繰り返し単位を容易に認識することができる。画素ブロック１０２は繰り返し単位であるが、繰り返し単位である画素ブロック１００が、画素ブロック１０２よりも少ない画素を有することから、画素ブロック１０２は最小繰り返し単位ではない。

図２のＣＦＡを備える２次元配列を有する画像センサを用いて取り込まれた画像は、各画素に１つの色値しか持たない。フルカラー画像を生成するために、各画素に欠けた色を推測または補間する多数の技法がある。これらのＣＦＡ補間技法は、この分野ではよく知られているので、次の特許、米国特許第５，５０６，６１９号、第５，６２９，７３４号、および第５，６５２，６２１号を参照されたい。

画像センサ２０の各画素は、画素信号を読み出すために、光検出器と能動トランジスタ回路の両方を備える。画像センサアレイ内の各画素の光検出器は、画素に衝突する光子を光電効果によって電荷に変換する。この電荷は、一定の期間に亘って集積され、この期間は、検出可能な量の電荷を収集する十分な長さであるが、記憶素子の飽和を回避できるくらい短い。この集積期間は、フィルムの露光時間（すなわち、シャッタ速度）と同じである。

画像取り込みのタイミングは、２つの基本パターンの一つを踏襲できる。一括取り込みシーケンスでは、全ての画像画素の露光信号値が、単純に、同時に読み出される。ただし、このタイプのシーケンスは、装置がかなり複雑になることを強いると共に、光を受容するセンサチップ上の空間の大きさに制約を加えるため、不利なものになり得る。代わりに、行単位の読み出し方法が採用されており、この方法は、ＣＭＯＳ ＡＰＳ画素にとって好ましい読み出しモードであることが多い。

ＣＭＯＳ ＡＰＳ素子の画像センサアレイにおいて、露光時間とも呼ばれる集積時間は、露光を開始する、所定の行の画素のリセットから、この後で露光を終了する、前記所定の行の読み取り、または読み出しまでの間隔である。一度に一つの行しか選択できないため、リセット／読み出しルーティンは逐次的（すなわち、行単位）である。この読み出し技法は、「ローリング電子シャッタ」、または、より簡単に「ローリングシャッタ」モードと呼ばれ、画像生成技術においてよく知られている。ローリングシャッタ式時間順序設定のいくつかの変形例は、イェディッド−ペック（Ｙａｄｉｄ−Ｐｅｃｈｔ）他に付与された、「Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｐｒｏｄｕｃｉｎｇ ａｔ Ｌｅａｓｔ Ｔｗｏ Ｉｎｔｅｇｒａｔｉｏｎ Ｔｉｍｅｓ ｆｒｏｍ Ｅａｃｈ Ｓｅｎｓｉｎｇ Ｐｉｘｅｌ（各検知画素から少なくとも２つの集積時間を生成する画像センサ）」という名称の米国特許第６，１１５，０６５号、およびクリムスキー（Ｋｒｙｍｓｋｉ）他に付与された、「Ｌｏｏｋ−Ａｈｅａｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｓｙｓｔｅｍ ｉｎ ＣＭＯＳ Ｓｅｎｓｏｒｓ（ＣＭＯＳセンサ内の先読みローリングシャッタシステム）」という名称の米国特許第６，８０９，７６６号に提示されている。読み出しシーケンスの有効なシャッタ幅は、集積の実施から読み出しまでの時間と関連がある。この幅は、同じ集積時間を有する隣接画素の数に左右される可変サイズであってよい。一度に読み取られる一つ以上の行を有するシャッタ幅は、センサアレイの露光領域のゲインを制御する固定値で調整されてもよい。ローリングシャッタ式シーケンスを設定する一つの方法として、リセットポインタが、読み取りポインタから、シャッタ幅に等しい量だけ前に索引付けされる。２つのポインタ間の時間差は、画素集積時間に対応する。

本例における比較的良好な照明条件での、従来どおりのローリングシャッタモードのタイミングシーケンスを図３Ａに示す。横軸（ｘ軸）は時間を表す。各傾斜線は、一つのシャッタ幅（例えば、一つ以上の行）の読み取り処理を表す。リセット３００は、行ごとに順次実行される。太い矢印は、画素集積時間３２０を示す。適切な集積時間の後、一つ以上の行に対して読み取り３０２が実行される。

図３Ａのタイミング図から判るように、この従来のローリングシャッタ式シーケンスでは、特に、読み取り３０２とその次のリセット３００の間に、光子が取得されない期間が生じる。太い矢印は、画素集積区間３２０を示している。この状態は良好な照明下では許容可能であり得るが、この構成は、低輝度条件では十分に機能しない。これは、光強度が低下するにつれて、より長い画素集積時間が必要になり得るためである。図３Ｂのタイミング図に、低輝度条件でのタイミングを示す。ここでは、リセット３００が、読み取り３０２に続いて直ちに実行され、入射する光子が無駄にならないように、画素集積時間を最大化している。

ローリングシャッタ技法では、複数の画素行が、同一のデータ変換要素に画像信号を供給することができる。ただし、ローリングシャッタ技法を採用したとしても、画像センサを効率的に読み取るという課題は依然として達成されない。既に述べたように、ずれ動作のアーティファクトは、問題の一つのタイプである。低輝度での性能は、依然として改善の余地がある。また、画像のダイナミックレンジも、まだ、求められているものよりも低い。

この問題に対処する解決策の一つのタイプは、センサアレイの画素の一部をパンクロマティック画素として用いることである。例えば、本願と共に譲渡された、コンプトン（Ｃｏｍｐｔｏｎ）他による「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ Ｉｍｐｒｏｖｅｄ Ｌｉｇｈｔ Ｓｅｎｓｉｔｉｖｉｔｙ（光感受性が向上した画像センサ）」という名称の米国特許出願公開第２００７／００２４９３１号は、カラー画素とパンクロマティック画素の両方を有する画像センサを開示している。本開示の関連において、パンクロマティック画素の用語は、概してパンクロマティックな光応答を有し、カラー光応答の指定の集合に顕現する狭いスペクトル感度よりも広いスペクトル感度を持つ画素を表す。すなわち、パンクロマティック画素は、可視スペクトル全体に亘って、光に対する高い感受性を持つことができる。パンクロマティック画素は、一般に、カラー光応答の集合よりも広いスペクトル感度を有するが、各パンクロマティック画素は、対応するフィルタを備えることもできる。このようなフィルタは、中性フィルタ、カラーフィルタ、または帯域幅フィルタのいずれかであってよい。

図４のグラフを参照すると、一般的なカメラの用途における、赤、緑、および青のカラーフィルタを備える画素の相対スペクトル感度が示されている。図４のＸ軸は、ほぼ近紫外線から近赤外線に広がる光の波長をナノメートルで表し、Ｙ軸は、効率（正規化されたもの）を表す。図４において、曲線１１０は、赤外線光および紫外線光が画像センサに到達することを阻止するために用いられる、標準的な帯域幅フィルタのスペクトル透過特性を表す。このようなフィルタが必要であるのは、画像センサに用いられるカラーフィルタは、通常、赤外線光を遮断せず、その結果、画素が、赤外線光と、その画素に対応するカラーフィルタの通過帯域内の光とを区別できない可能性があるためである。したがって、曲線１１０によって示される赤外線遮断特性が、赤外線が可視光信号を汚染することを防いでいる。赤、緑、および青のフィルタが適用される一般的なシリコンセンサでのスペクトルの量子収率、すなわち、取り込まれて、測定可能な電気信号に変換される入射光子の割合に、曲線１１０によって表される赤外線遮断フィルタのスペクトル透過特性を乗じて、赤色については曲線１１４によって表され、緑色については曲線１１６によって表され、青色については曲線１１８によって表される、複合系の量子収率を得る。これらの曲線から、各カラー光応答は、可視スペクトルの一部のみに対する感度であることが判る。一方、カラーフィルタが適用されていない（ただし、赤外線遮断フィルタ特性は含む）同一のシリコンセンサの光応答は、曲線１１２によって示されている。この曲線１１２が、パンクロマティック光応答の一例である。カラー光応答曲線１１４，１１６，１１８と、パンクロマティック光応答曲線１１２とを比較すると、パンクロマティック光応答は、広いスペクトルの光に対して、どのカラー光応答よりも２〜４倍大きく感応することは明らかである。

本発明の方法は、画素の２つ以上の部分集合が画素の行の類を形成できる、各種のセンサ構成に用いることができる。ここでも、既に説明した正式な定義で前述の類を使用している。本方法は、行内の部分集合ごとに異なる露光期間を提供し、単一行内の異なる露光期間は全て、時間的にほぼ同心、すなわち、同一の瞬間を中心として等しく振り分けられる。この後の説明は、カラーＲＧＢ画素のパターン化構造を有するセンサアレイから始める。その後、部分集合に編成されたＲＧＢ画素とパンクロマティック画素の両方を有するアレイで用いられるときに、本発明の方法が、どのように具体的な利点を提供するのかについて説明する。

図２を参照しながら上記で説明したベイヤーパターンは、４画素の最小繰り返し単位であるブロック１００内に２つの緑色画素センサ（Ｇ）を提供する。画像内の輝度を得るための緑色（Ｇ）の色チャンネルの高い感度および重要性を利用して、画像取り込み素子の拡張されたダイナミックレンジを提供することができる。

本発明の方法は、いくつかの基本的処理を伴い、この基本的処理は、下記のとおり、
（ｉ）各行が、異なる時間に読み取りおよびリセットを行える、重複しない、または互いに素である一つ以上の行部分集合を提供するように、画像センサの行を分割し、
（ｉｉ）同一行内に存在する互いに素である行部分集合が時間的にほぼ同心になるように、前記行部分集合の対応する露光期間のタイミング設定を行い、
（ｉｉｉ）２つ以上の互いに素である行部分集合が存在する場所で、各行部分集合から取得した画像データを結合することを含む。

図５Ａに、ベイヤーフィルタパターンを用いて配列されたセンサアレイを分割（ｉ）した状態を示す。図５Ａは、よい大きいアレイの一部を示したもので、行１０３７から行１０４６のみが記載されている。画素ブロック１００の４画素の各最小繰り返し単位内には、２つの緑色Ｇ画素が存在する。４個組の各画素ブロック１００内のＧ画素の一方、図５Ａに網掛けして示したものは、網掛けされてない他方のＧ画素よりも長い区間に亘って露光されるように設計される。

「行部分集合」の用語は、全てが同一行内に存在する画素から成る部分集合を表す。この定義によれば、どの画素行も、少なくとも一つの（画素行そのものである）行部分集合を有するか、または２つ以上の行部分集合を含むことができる。１行内に２つ以上の行部分集合が存在する場合、各行部分集合に対するリセットおよび読み出しの動作は、他の（一つ以上の）行部分集合に対するリセットおよび読み出しの動作から独立して制御可能である。

図５Ａのセンサ構成の例について、２つの互いに素である、または重複しない行部分集合は、画素行番号１０３８に存在し、１０３８ａおよび１０３８ｂの符号が付けられている。行部分集合１０３８ａは、青色（Ｂ）画素のみを有する。その隣の部分集合１０３８ｂは、Ｇ画素のみを有し、ここでも、網掛けは、そのＧ画素全てがより長く露光されるように意図されること示している。この同じ基本パターンは、偶数番の行１０４０，１０４２，１０４４などにも適用される。すなわち、偶数番の各行は、一方が緑色Ｇ画素（１０３８ｂと同様）で、他方が青色Ｂ画素（１０３８ａと同様）である２つの行部分集合を有する。

この例における奇数番の画素行は、行部分集合に分割されていないと考えることができる。ただし、前述した部分集合の正式な数学的定義を適用すると、これらの各行は、その行の全ての画素を含む、単一の行部分集合に分割されていると見なすことができる。これは、数学の正式な定義における真部分集合ではないが、有効な部分集合を構成する。

図５Ｂの部分的なローシング式読み出しタイミング図は、同一の行に由来する行部分集合１０３８ａおよび１０３８ｂの露光および読み取り動作に利用できる、従来のタイミング構成を示したものである。露光曲線ＥＣ_{１０３８ａ}およびＥＣ_{１０３８ｂ}（点線で図示）が示すように、両方の部分集合は、同時に読み取られるが、リセットは、Ｒｅｓｅｔ_{１０３８ａ}およびＲｅｓｅｔ_{１０３８ｂ}に示されるように、異なる時間に行われる。このためには、行内の全ての部分集合を含め、画素の全ての行を同時に読み取る必要がある。図３と同様に、ローシング式読み出しタイミングでは、センサの読み出し中に時間が経過するにつれて、各行部分集合が順次に読み出されなければならない。このことは、傾斜したリセット線３００ａ，３００ｂ、および傾斜した読み出し線３０２によって示されている。

ここで説明したように、読み取りシーケンス内の次の画素行、第１０３９行は、（１）分割されていない、または、（２）単一の部分集合に分割されているという２つの観点で見ることができる。したがって、その従来の露光曲線ＥＣ_１０３９は、単一のリセットおよび単一の読み取り動作のみを有する。ただし、代替の実施形態において、これらの奇数番号の行は、偶数番号の行列に適用されるものと同様の行部分集合構造で分割されることに留意されたい。

図５Ａおよび図５Ｂに示した構造およびタイミングの解決策は、センサによって取得される画像のダイナミックレンジが拡張するという利点を提供する。この読み出しタイミングは、カメラと被写体の間に相対移動が存在しない限り、十分適切に機能する。カラー画素の２つの部分集合の露光／集積と読み出しの間のタイミング差は、相対移動が存在しない場合には、基本的に無視することができる。

ただし、実際には、特に、一般消費者向けデジタルカメラの用途、および一般向けの他の画像形成用途において、カメラと被写体の間には、通常、少なくとも何らかの相対移動が存在する。この移動は、取り込まれる被写体場面内の動きに由来し得ると同様に、カメラジッタによる不慮の移動に起因し得る。異なる部分集合に対する露光／集積時間は、図５Ｂに示すように、長さが異なると共に、異なる期間に亘るため、この従来のローリングシャッタ式タイミングシーケンスを利用する場合には、同一行内の異なる部分集合から得られる画像内容間に、少なくとも何らかの僅かな空間変位が存在し得る。すなわち、Ｒｅｓｅｔ_{１０３８ａ}とＲｅｓｅｔ_{１０３８ｂ}の間の区間ｉ内の移動は、行部分集合１０３８ａの青色（Ｂ）画素によってのみ取り込まれる。ある種の動作補償／補正を利用しない限り、ボケなどの移動誤差が生じることになる。

図６に、本発明の露光期間のタイミング設定方法（上記で列挙した処理（ｉｉ））が、異なる露光時間を有する行部分集合の動作補償の問題を回避する方式を示す。ここで、２つの行部分集合を有する行１０３８には、それぞれの露光が開始する２つの個別のリセット動作Ｒｅｓｅｔ_{１０３８ａ}およびＲｅｓｅｔ_{１０３８ｂ}と、それぞれの露光が終了する２つの読み取り動作Ｒｅａｄ_{１０３８ａ}およびＲｅａｄ_{１０３８ｂ}が存在する。露光曲線ＥＣ_{１０３８ａ}およびＥＣ_{１０３８ｂ}は、いずれも同心であり、同一時間Ｃを中心にほぼ中央振り分けされている。このことは、前記画素行に対する各リセット動作と読み取り動作の間の区間ｉ１およびｉ２は、測定可能な許容範囲内でほぼ等しいことを意味する。図３および図５Ｂと同様に、ローシング式読み出しタイミングでは、センサの読み出し中に時間が経過するにつれて、各行部分集合が順次に読み出されなければならない。このことは、傾斜したリセット線３００ａ，３００ｂ、および傾斜した読み出し線３０２ａ，３０２ｂによって表されている。

図６の同心のタイミング関係を有する露光は、「写真的に中央振り分け」されている。厳密には、長い露光期間（Ｅ１）および短い露光期間（Ｅ２）は、次の両方である場合に写真的に中央振り分けされる。
（ａ）短い区間（Ｅ２）が、長い期間（Ｅ１）の開始後に始まり（リセット）、かつ、長い期間の終了前に終了する（読み取り）。
（ｂ）それぞれのリセットの間の区間（ｉ１）が、それぞれの読み出し動作の間の区間（ｉ２）と実質的に等しく、次式を満たす。

これは、第１の区間の長さと第２の区間の長さは、少なくとも第１の露光の長さの２０％未満で等しいと述べることと同じであることは次のとおりである。
｜ｉ１−ｉ２｜＜（０．２）Ｅ１
正確な動作補償は、ｉ１とｉ２が等しい場合に最も容易に達成される。

ベイヤーＣＦＡ構成と共に機能することに加え、図６に基づいて説明した実施形態は、多くの他のカラーフィルタ構造のいずれかを有する色配列を用いた画像センサでも利用することができる。この方式では、カラー画素の異なる部分集合を有利に利用して、ダイナミックレンジを広げ、異なるフィルタ効率を補償し、かつ、画像取り込み中の動作を補償することができる。

特に図６を参照して説明した方法は、カラー画素とパンクロマティック画素の両方を有するセンサに利用するように更に拡張することができる。下記の説明で、行部分集合の露光タイミングが、複合カラー−パンクロマティック画素構造に極めて類似している点を示す。

カラー画素とパンクロマティック画素の両方を利用することは、多くの利点を提供する。図４の感度グラフに戻って参照すると、画像センサの全体感度は、カラーフィルタを含む画素と、カラーフィルタを含まない画素とを混在させることによって改善できることが判る。この場合、図４から判るように、カラーフィルタ画素は、パンクロマティック画素よりもかなり感度が低い。この解決策において、パンクロマティック画素が、適切に光に曝されて、場面からの光強度の範囲が、パンクロマティック画素の全測定範囲を網羅する場合、カラー画素は大幅に露光不足になる。このため、カラーフィルタ画素が、パンクロマティック画素とほぼ同じ感度を有するように、カラーフィルタ画素の感度を調整すると有利である。カラー画素の感度は、例えば、パンクロマティック画素よりもカラー画素のサイズを大きくし、これに応じて空間画素を削減することによって上昇する。後述するように、カラー信号とパンクロマティック信号のタイミングも、調整することができる。

後続の図７、図８Ａ、および図８Ｂに、パンクロマティック（ＰａｎまたはＰ）画素、赤色（Ｒ）画素、緑色（Ｇ）画素、および青色（Ｂ）画素を使用する撮像センサに利用できる各種の画素配置またはパターンを示す。当然ながら、これらの図で、アレイ全体およびそのいくつかの部分集合について図示したパターンは、単一のセンサアレイ内で数百回繰り返すことができる画素配置、パターンを表していることに留意されたい。

図７に、図示したアレイパターンにＰとして示すパンクロマティック画素と、Ｒ、Ｇ、Ｂの画素との組み合わせの利用形態を、３１０，３１１，３１２，３１３の符号を付けた各種のパターンで示す。容易に理解できるであろうが、図２を参照して既に説明したような繰り返し単位を用いるものを含め、多数のパターンを利用することができる。パターン３１０は、例えば、ベイヤーパターンの拡張形において、カラーＲＧＢ画素の行と、その間に挿入されるパンクロマティックＰ画素の行とを交番させることを利用する。

図８Ａに、パターン２１０を、どのように非空の要素部分集合２１１ａおよび２１１ｂに編成できるのかを示す。図８Ｂに、４つの非空の要素部分集合２１３ａと、２１３ｂと、２１３ｃと、２１３ｄとから、どのように代替パターン２１２を形成できるのかについて示す。本開示で用いられる場合、「要素部分集合」は、複数の画素行にまたがる、非空の真部分集合である。画像センサアレイの要素部分集合は互いに素である。すなわち、撮像アレイの要素部分集合の共通集合は空集合である。要素部分集合は、より小さい部分集合に更に分割することができる。本発明の目的のために最も有用であるのは、図５Ａに基づいて検討したような、行部分集合の構成を考えることである。各行部分集合は、一つの画素行内に完全に包含される。図８Ａの例において、要素部分集合２１１ａは、２１１ａ１，２１１ａ２，２１１ａ３，２１１ａ４として示した多数の行部分集合を有する。同様に、カラー要素部分集合２１１ｂは、多数の行部分集合２１１ｂ１，２１１ｂ２，２１１ｂ３，２１１ｂ４を有する。

特に図８Ａを参照して説明すると、要素部分集合２１１ａは、パンクロマティック画素のみを含み、要素部分集合２１１ｂは、カラー（ベイヤーパターン）画素のみを含む。また、要素部分集合２１１ａおよび２１１ｂの和集合は、パターン２１０によって表される完全な画素集合を形成する。数学の集合理論に精通した者が周知の表現で述べると、要素部分集合２１１ａおよび２１１ｂは、パターン２１０によって表される集合の類を形成すると言うことができる。画像処理の当業者にとってより普通の表現で述べると、要素へのこの分離は、画像センサの画素の行および列のスパースサンプリングを効果的に提供する。各要素部分集合は、その各要素部分集合が、場面の異なる部分を取り込むように、少なくとも一次元の水平方向または垂直方向に粗くサンプリングされる。

図８Ｂは、この同じ原理を２つより多くの要素に拡張したものを示している。重要な点として、図８Ｂに示すように、同一の画素行は、パンクロマティックＰ画素とカラーＲＧＢ画素の両方を含むことができる。各要素部分集合の更に小さい行部分集合は、図８Ｂの例では、要素部分集合２１３ｃについてのみ詳細に図示（すなわち、行部分集合２１３ｃ１，２１３ｃ２，２１３ｃ３，２１３ｃ４として図示）されているが、これらの行部分集合は同様に編成される。

本発明の文脈において、「要素部分集合」の用語は、便利なように、また、複数の行にまたがる要素と、該当する行内に各行部分集合が完全に包含される行部分集合とを区別し易くするために、単純に「要素」と省略される場合がある。したがって、図８Ａについて、要素部分集合２１１ａおよび２１１ｂは、パターン２１０によって表される配列の要素であると表現される。行部分集合は、２１１ａ１と、２１１ａ２と、２１１ａ３と、２１１ａ４と、２１１ｂ１と、２１１ｂ２と、２１１ｂ３と、２１１ｂ４である。もちろん、図８Ａおよび図８Ｂには、説明のために、画像配列全体のうちの僅か８×８の部分のみが示されているが、この画像配列は、実際には、通常、各方向に何百という画素を展開する。図８Ａに関して、例えば、要素２１１ａおよび２１１ｂは、複数の行に同様に広がって、センサ画素の全領域に延びることになる。

本発明の文脈において、任意の２つの行部分集合は、一方の行部分集合内の画素の少なくとも一部が他方の行部分集合内の画素に接しているときに、「隣接する行部分集合」であると見なすことができる。隣接する行部分集合は、同一行内にある必要はない。図９Ａを参照すると、図８Ｂのパターン２１２が、パンクロマティック行部分集合２１３ａ１に隣接すると考えられる行部分集合の他の構成を示すための例示的構成として用いられている。行部分集合へのこの分割により、行部分集合２１３ａ１（各図に網掛けして図示）には、５つの隣接する行部分集合が存在する。この５つの隣接する行部分集合は次のとおりである。
隣接する行部分集合２１３ｂ１は、行部分集合２１３ａ１のパンクロマティックＰ画素の真上にカラー画素を含む。
隣接する行部分集合２１３ｃ１は、行部分集合２１３ａ１のパンクロマティックＰ画素の第１の対角方向にパンクロマティック画素を含む。
隣接する行部分集合２１３ｄ１は、行部分集合２１３ａ１のパンクロマティックＰ画素と同じ画素行にカラー画素を含む。
隣接する行部分集合２１３ｅ１は、行部分集合２１３ａ１のパンクロマティックＰ画素の第２の対角方向（第１対角方向と直交する方向）にパンクロマティック画素を含む。
隣接する行部分集合２１３ｆ１は、行部分集合２１３ａ１のパンクロマティックＰ画素の真下である次の行にカラー画素を含む。

図９Ｂの模式図に、一実施形態において、本発明の読み出しタイミング設定方式に、隣接する行部分集合をどのように利用できるのかを示す。この説明のため、図９Ａの行２２０および２２１を、その対応する行部分集合２１３ａ１、２１３ｄ１、２１３ｅ１、および２１３ｆ１と共に、再び図９Ｂに示す。本実施形態において、センサアレイの基礎を成す読み出し回路は、一つ以上の周囲画素に切り替え可能に同時に接続される浮動拡散部２２２を利用する。浮動拡散部の実装および利用については、デジタル画像取得技術の当業者にはよく知られている。図９Ｂに、各浮動拡散部２２２が、一例において、４つ組２２８として記載される４つの周囲画素に作用する従来の構成を示す。

画素信号は、各種多数の組み合わせで、浮動拡散部２２２に切り替えることができる。読み出し組み合わせ２３０において、４つ組２２８内の各画素が有する電荷は、個別に浮動拡散部２２２に送られるため、個別に読み出される。読み出し組み合わせ２３２において、パンクロマティックＰ画素は、それぞれが格納している電荷を同時に浮動拡散部２２２に渡して空にすることによってビン化される、すなわち、浮動拡散部２２２を共有する。同様に、４つ組内の両方のカラー（Ｇ）画素がビン化されて、それぞれの信号を同時に浮動拡散部２２２に切り替える。他の読み出し組み合わせ２３４において、パンクロマティックＰ画素は、ビン化されないが個別に読み出され、ここでは、カラー（Ｇ）画素がビン化される。

更に図９Ｂを参照すると、４つの画素を全て同時に読み出すことを含め、４つ組２２８内の画素の読み出しに浮動拡散部２２２を利用するための多数の他のビン化組み合わせが存在することを把握することができる。ただし、図示した３つの組み合わせ２３０、２３２、および２３４は、図示した画素パターンを利用するときに、画像形成状況のほとんどで利用されることになる最も有望なビン化構成である。同一行内の行部分集合について既に説明したように、本発明の写真的に中央振り分けされる露光方法は、隣り合う画素がビン化される、隣接する行部分集合の各種の組み合わせ（図９Ｂに記載されていない他の組み合わせも含む）で同様に利用できる。また、有用であるので注記しておくと、同一の浮動拡散部を共有する画素が垂直方向または水平方向に配列される配置を含め、浮動拡散要素を共有する他の配置を利用することもできる。また、ビン化組み合わせは、前述した従来のベイヤーパターンでカラー画素が配列されるものなど、カラー画素のみを利用するセンサアレイにも利用することができる。２つ以上の行部分集合を有する任意の画素行において、各行部分集合に対するリセットおよび読み出しの動作は、他の行部分集合のリセットおよび読み出しの動作とは独立して制御できることを確認されたい。この独立して制御可能な構成は、図９Ｂに示すように、画素が、隣接行内の画素とビン化される場合であっても適用される。

一つ以上のビン化された画素グループから、写真的に中央振り分けされた画像データが取得されると、このデータは、他の画像データと組み合わされて、これまでのタイミング設定方式よりも動作誤差の影響を受け難い画像を生成することができる。

図７〜９Ｂに示したような画素配列パターンが与えられ、かつ、図４のグラフに示したように画素タイプの間で感度が異なる場合は、一般に、２つのタイプの画素の個別読み出しを行って、画像品質に適したタイミングを得ると有利であることが判る。このためには、パンクロマティックＰ要素と、カラーＲＧＢ要素とを別々に読み出す必要がある。一実施形態において、ローリングシャッタ式シーケンスは、要素に分けられた２種類の画素をそれぞれ読み出す。この従来のシーケンスを図８Ａの構成で用いると、カラー要素２１１ｂの各行が順次に読み出され、その後、パンクロマティック要素２１１ａの各行が読み出される。

図１０に、カラー画素とパンクロマティック画素の両方で構成される画素行に対するローリングシャッタ式読み出しタイミングを設定する従来的な手法を示す。図５Ｂについて既に説明したように、第１０３８画素行を例として用いる。ＥＣ_{１０３８ａ}は、行１０３８のカラー行部分集合内の画素についての露光区間タイミングを表す。この行内のカラー画素の露光区間は、Ｒｅｓｅｔ_{ｃｏｌｏｒ}によって示される時間に始まる。ＥＰ_{１０３８ｂ}は、行１０３８のパンクロマティック行部分集合内の画素の露光区間を表す。パンクロマティック画素の露光区間は、Ｒｅｓｅｔ_ｐａｎｓによって示される時間に始まる。カラー画素とパンクロマティック画素は、その両方が同時に読み出される。ここで、画像センサアレイの行は、標準的なローリングシャッタ式シーケンスを用いて連続して読み出される。時間間隔ｉｌは、画像センサの各行のＲｅｓｅｔ_{ｃｏｌｏｒ}からＲｅｓｅｔ_ｐａｎｓまでの時間である。

図５Ｂを参照して説明したように、露光と読み出しについてのこのタイミングシーケンスは、カメラと被写体の間に相対移動が存在しない限り十分に機能する。カラー画素の２つの部分集合の露光／集積から読み出しまでの時間差は、相対移動が存在しなければ基本的に無視することができる。ただし、実際には、なんらかの移動を予測することができる。したがって、図１０に示した従来のタイミング構成は、ぶれ、および他の望ましくない動作偏差の影響を受け易くなる。

図１０に示したタイミングとは異なり、図１１は、本発明の実施形態に用いられる写真的に中央振り分けされたタイミングを表す。ここで、カラー画素部分集合およびパンクロマティック画素部分集合を有する行１０３８について、それぞれの露光区間の始まりである２つの個別のリセット動作Ｒｅｓｅｔ_{ｃｏｌｏｒ}およびＲｅｓｅｔ_ｐａｎｓと、それぞれの露光区間の最後である２つの個別の読み出し動作Ｒｅａｄ_{ｃｏｌｏｒ}およびＲｅａｄ_ｐａｎｓとが存在する。両方の露光曲線ＥＣ_{１０３８ａ}およびＥＰ_{１０３８ｂ}は、同心であり、同一時刻ｔ_ｃを中心として振り分けられている。このことは、図６を参照しながら２つのカラー行部分集合について説明したように、この画素行内の異なる行部分集合それぞれのリセット動作と読み出し動作の間の区間ｉ１とｉ２が実質的に等しいことを意味する。

カラー画素のみを使用する行部分集合について図６に示したタイミングシーケンス、およびカラー画素とパンクロマティック画素とを有する行部分集合の組み合わせについて図１１に示したタイミングシーケンスは、標準的なローリングシャッタ動作に用いられる従来の行ごとのタイミング（図３Ａおよび図３Ｂ）と大きく異なる。隣接する行を連続して読み出す代わりに、本発明の方法は、画像センサの隣接しない行を連続して読み出す。

このタイミングの一例示的実施形態における動作方式を図１２Ａ〜１２Ｄに示す。図１２Ａにおいて、時間は、左から右に向かって進むように表され、読み出しタイミングの斬新なシーケンスは、斜めの読み出し線３０３に沿って示されている。ここで、画像センサの読み出しシーケンスは、図にＰａｎ_１として示される第１のパンクロマティック行部分集合を読み出すことによって開始する。次に読み出される行部分集合は、パンクロマティック行であってもよい。ただし、読み出しシーケンスが進むにつれて、連続した読み出し動作は、近いうちに、パンクロマティック画素の行部分集合と、カラー画素の行部分集合との間で交番する。別の言い方をすると、読み出し動作は、カラー要素の行部分集合の読み出しと、パンクロマティック要素の行部分集合の読み出しとを交互に行う。また、行部分集合Ｐａｎ_１〜Ｐａｎ_ｎに対する読み出し動作は、サイクルの一部で、行部分集合Ｃｏｌｏｒ_１〜Ｃｏｌｏｒ_ｎに対する読み出し動作の間に挿入される。これは、画像センサの上から下に向かって、連続した行内のカラー画素またはパンクロマティック要素の全てを同時に読み出す既存の方法とは対照的である。

図１２Ａに示すように、これらのパンクロマティック読み出しとカラー読み出しは、読み出しサイクル（線３０３）の少なくとも一部において交番する。このことは、Ｐａｎ_２００と、Ｃｏｌｏｒ_１７と、Ｐａｎ_２０１と、Ｃｏｌｏｒ_１８とを時間的にずらして交互配置することによって表されている。この例において、Ｐａｎ_１からＰａｎ_１８４は、カラー行部分集合が間に挿入されることなく読み出される。この後、カラー行部分集合は、Ｐａｎ_１８４とＰａｎ_１８５の間のＣｏｌｏｒ_１から始まって、パンクロマティック行部分集合の間に挿入されることになる。パンクロマティック行部分集合とカラー行部分集合に対する、この読み出し動作の交番は、従来の読み出し方法、または全カラー要素を読み出してから全パンクロマティック要素を読み出す方法から本発明の読み出しシーケンスを区別するものである。また、線３０３に沿って示されるように、読み出しサイクルの開始部と終了部が、従来の読み出しと異なる。図１２Ａ〜１２Ｄに示す例では、撮像アレイの画素の全パンクロマティック行部分集合の全面的な読み出しは、読み出しサイクルの第１の部分（すなわち、線３０３の上方部分）にのみ存在する。同様に、画素のカラー行部分集合の全面的な読み出しは、読み出しサイクルの第２の部分（すなわち、線３０３の下方部分）にのみ存在する。これらの第１および第２の部分は、少なくとも部分的に重畳する。

図１２Ｂの模式図は、本発明の読み出しタイミング方法が、パンクロマティック画素とカラー画素の隣接する行部分集合の読み出しを交番させる方式、および、センサアレイ１８０に関して、空間的にオフセットされた行部分集合に順次読み出しを行う方式を示したものである。読み出し動作のシーケンスは、図示するように、この図の上から下の順である。この例について、センサアレイ１８０は、８画素幅で図示されており、パンクロマティック画素およびカラー画素の連続した行を備える。この例を簡単にするため、パンクロマティック画素の完全な行は、それぞれ、図５Ａを参照して説明したように、行部分集合である。したがって、図１２Ｂに関して、要素部分集合２１１ａおよび５１１ｂは、アレイ１８０の要素と表現される。当然ながら、図１２Ｂには、説明のために、全画像配列のうちの僅か８×８の部分のみが示されているが、実際には、何百という画素が各方向に延びる。１２Ｂに関して、例えば、要素２１１ａおよび５１１ｂは、同様に複数の行に亘り、センサ画素の領域全体に延びる。同様に、カラー画素の各行は、行部分集合である。空間的には、図１２Ｂにセンサアレイ１８０のサムネイルに部分的に記載されるように、要素２１１ａに属するパンクロマティック行部分集合２１１ａ１，２１１ａ２，２１１ａ３，２１１ａ４は、要素５１１ｂに属するカラー行部分集合５１１ｂ１，５１１ｂ２，５１１ｂ３，５１１ｂ４に隣接してはいない。ただし、図１２Ｂの読み出しシーケンスによって示されるように、また、図１２Ａを参照して前述したように、これらの隣接しない行部分集合は連続して読み出される。したがって、カラーの読み出し動作は、パンクロマティックの読み出し動作の間に挿入される。

行部分集合が完全な画素行である図１２Ａおよび１２Ｂに記載した読み出しタイミングは、行が２つ以上の行部分集合に分割される、図８Ｂに示したような配列構造にも同様に利用できる。このような分割が存在する場合、行内の異なる行部分集合は、それぞれ異なる時点でリセットされて読み出される。

図１２Ｃの代替のタイミング図は、本発明のタイミング方法が、前述したような従来のローリングシャッタ式タイミングとどのように異なるのかを、別の観点で表したものである。図１２Ｃにおいて、パンクロマティック画素の行部分集合の露光区間ＥＰ_２００，ＥＰ_２０１，ＥＰ_２０２は、ここでも、同一行または隣接行のカラー行部分集合の対応する露光区間ＥＣ_２００，ＥＣ_２０１，ＥＣ_２０２と重複すると共に、写真的に中央振り分けされている。図１２Ａおよび図１２Ｂに示したように、パンクロマティック画素（例えば、Ｐａｎ_２００）の行を読み取った後、撮像装置の回路は、次にカラー画素（図１２Ａの例を引き続き用いるとＣｏｌｏｒ_１７）の行を読み出す。この空間的にオフセットされた交番読み出しシーケンスは、図１２Ｃの２か所に点線で記載した斜め線３０３によって表されている。

図１２Ｄは、この写真的に中央振り分けされたタイミングオフセットを利用すると、何が実現するのかを示す図である。時刻ｔ_ｃの仮想線によって表される瞬間を中心に示されるように、本例において、同一の行部分集合または隣接する行部分集合内のパンクロマティック画素とカラー画素の露光区間ＥＰ_２００およびＥＣ_２００は、時間的にほぼ同心である。すなわち、これらの露光期間は、時刻ｔ_ｃとして示される同一の瞬間を中心に等しく振り分けられている。特に、図１２Ａおよび図１２Ｂから結論付けることができるように、画素データが結合されることになる同一の行において、パンクロマティック画素の行部分集合の読み出しとカラー画素の隣接する行部分集合の読み出しの間にタイミング遅延が存在する。

２つの露光期間が、実質的に、写真的に中央振り分けされる（時間的に同心である）ためには、短い方の露光期間が、長い方の露光期間の開始に続いて、第１の時間間隔ｉ１の後で始まり、長い方の露光期間が終了する前に、第２の時間間隔ｉ２をもって終了し、かつ、第１および第２の時間間隔ｉ１およびｉ２が、長い方の露光期間の長さの約２０％未満で互いに異なることを強調しておく。

同一行内または隣接行内のパンクロマティック画素とカラー画素の行部分集合に、写真的に中央振り分けされた露光期間を用いることはいくつかの利点をもたらす。この利点の中でも、前述の構成は、延長された露光期間を用いるときに得られるものと同じ利益を提供しながら、これ以外の場合にこのような延長露光に付随することになる動作のぶれの副次的悪影響を抑制する。カラー信号自体は、低下したノイズを有する。動作の予測や補償の必要性が低減または排除されるため、カラー情報を、より容易にパンクロマティック画素データと組み合わせることができる。

本発明の他の実施形態では、写真的に中央振り分けされた露光のこの同じ原理が、複数の要素を有する構成に拡張され、露光時間は、行内で同心である一方で、異なる方式で変化する。特に、パンクロマティック画素の異なる行部分集合に、各種の理由により、より長い露光時間とより短い露光時間とを提供することができる。

図１２Ａ〜１２Ｄのタイミング図が示すように、本発明のタイミングシーケンスは、カラー画素の第１の行部分集合の露光期間が、画像センサにおいて、そのカラー画素の第１の部分集合と同じ行内に存在するパンクロマティック画素の第２の行部分集合の露光期間と写真的に中央振り分けされるように、前記第１の行部分集合の露光期間を設定する。

図１３のタイミング図に、集積期間の相対的タイミングと、本発明の同心露光方法を用いるローリング式読み出しタイミングの関係性を示す。同一行内のパンクロマティック行部分集合およびカラー行部分集合の露光区間１８２ｐおよび１８２ｃのタイミングがそれぞれ図示されている。カラー行部分集合の露光を開始するリセット１８４は、時刻ｔ_１に行われる。このカラー行部分集合の露光を終了して、その露光信号値を取得する読み出し１８８は、時刻ｔ_４に行われる。パンクロマティック行部分集合の露光を開始するリセット１８４は、時刻ｔ_２に行われる。露光を終了してパンクロマティック画素の露光信号値を取得する読み出し１８８は、時刻ｔ_３に行われる。図１３のタイミング図が示すように、画素の集積／露光時間が写真的に中央振り分けされる、すなわち、時間的に同心であるとき、リセット動作と読み出し動作の間に（ｔ_２−ｔ_１）と（ｔ_４−ｔ_３）のほぼ等しい遅延が存在する。

図１２Ａおよび図１２Ｂには、各行部分集合２１１ａ１，２１１ａ２，２１１ａ３，２１１ａ４，５１１ｂ１，５１１ｂ２，５１１ｂ３，５１１ｂ４が画素行全体を含んでいる単純な例を用いた。ただし、既に注記したように、画素の行が３つ以上の行部分集合に構成される、より複雑なパターンの行部分集合も利用することができる。同一行内にいくつかの行部分集合を有するこの複雑な構成は、同心で、写真的に中央振り分けされた露光を使用するときに、より複雑なタイミング構成を可能にする。図９Ｂを参照しながら上記で説明したように、画素をビン化して、隣接する行内の複数の行部分集合が同一の浮動拡散部品を共有するときには、他の構成を利用することができる。

図１４のタイミング図に、２つのカラー行部分集合、および一つのパンクロマティック行部分集合を有する実施形態について、露光区間の写真的に中央振り分けされた相対タイミングを示す。２つのカラー行部分集合の露光タイミングは、開始時が時刻ｔ_２で終了時が時刻ｔ_５である曲線ＥＣ_２００ａ、および、開始時がｔ_１で終了時がｔ_６であるＥＣ_２００ｂによって示されると共に、１８２ｃ１および１８２ｃ２の符号が付けられた露光区間によって示されている。パンクロマティック行部分集合の露光タイミングは、曲線ＥＰ_２００および露光区間１８２ｐによって示されており、時刻ｔ_３において開始して時刻ｔ_４において終了する。図１３の例と同様に、同一行内に存在するこれらの行部分集合の各露光区間は、時刻ｔ_ｃを中心として時間的に同心である。この図１４の例について、次の等式がほぼ成り立ち、その全てが、最も長い露光区間、ここではＥＣ_２００ｂの少なくとも２０％内に入る。
区間（ｔ_３−ｔ_１）＝区間（ｔ_６−ｔ_４）
区間（ｔ_２−ｔ_１）＝区間（ｔ_６−ｔ_５）
区間（ｔ_３−ｔ_２）＝区間（ｔ_５−ｔ_４）

図６〜１４が示すように、本発明の方法は、デジタルセンサアレイから画像データを取得するために用いられる従来のローリングシャッタ式タイミングシーケンスに変わるものである。本発明の方法は、計算を伴う動作推測を必要とせずに、パンクロマティック画素データと、カラー画素データとを組み合わせることを可能にする。したがって、隣接する行部分集合に対して、同一時刻ｔ_ｃを中心に時間的に中央振り分けされた露光時間を使用することで、本発明の方法は、パンクロマティックデータとカラーデータを組み合わせる作業を簡略化する。同一場面内容から異なる光レベルを取得する画素からの画素データを組み合わせる技法は、当業者にはよく知られている。本発明のタイミング設定方法は、画像データ組み合わせる多数の方式、および動作の影響を補償する多数の方式を可能にする。

画素データの組み合わせについての利点に加え、本発明の方法では、隣接する行部分集合内の画素からのデータをまとめてポーリングまたはビン化することもできる。２つのパンクロマティック画素、または２つのカラー画素について、その２つが異なる行内に存在することを条件として、図９Ｂを参照して上記で説明したように、これらの画素の蓄積された電荷は、より多くの画像データを収集するために、ビン化して互いに加算することができる。画素電荷のこのポーリングまたはビン化は、画像解像度を低下させ得るが、コントラストなど、画像品質の他の側面を改善することができる。

したがって、提供するのは、カラー画素、またはカラー画素とパンクロマティック画素の両方を有する画像センサの、写真的に中央振り分けられた読み出しを行う同心の露光タイミング方式である。

１０ 光
１１ 画像形成段
１２ レンズ
１３ 中性（ＮＤ）フィルタ
１４ 絞り
１６ 輝度センサ
１８ シャッタ
２０ 画像センサ
２２ アナログ信号処理装置
２４ Ａ／Ｄ変換器
２６ タイミング発生器
２８ 画像センサ段
３０ バス
３２ メモリ
３６ デジタル信号処理装置（ＤＳＰ）
３８ 処理段
４０ 露光制御装置
５０ システム制御装置
５２ バス
５４ プログラムメモリ
５６ システムメモリ
５７ ホストインターフェイス
６０ メモリカードインターフェイス
６２ ソケット
６４ メモリカード
６８ ユーザインターフェイス
７０ ビューファインダディスプレイ
７４ ユーザ入力部
７２ 露出ディスプレイ
７６ 状態ディスプレイ
８０ ビデオエンコーダ
８２ ディスプレイ制御装置
８８ 画像ディスプレイ
１００ 画素ブロック
１０２ 画素ブロック
１１０ 曲線
１１２ 曲線
１１４ 曲線
１１６ 曲線
１１８ 曲線
１８０ センサアレイ
１８２ｐ 露光区間
１８２ｃ 露光区間
１８２ｃ１ 露光区間
１８２ｃ２ 露光区間
１８４ リセット
１８８ 読み出し
２１０ パターン
２１２ パターン
２１１ａ 要素部分集合
２１１ｂ 要素部分集合
２１３ａ 要素部分集合
２１３ｂ 要素部分集合
２１３ｃ 要素部分集合
２１３ｄ 要素部分集合
２１１ａ１ 行部分集合
２１１ａ２ 行部分集合
２１１ａ３ 行部分集合
２１１ａ４ 行部分集合
２１１ｂ１ 行部分集合
２１１ｂ２ 行部分集合
２１１ｂ３ 行部分集合
２１１ｂ４ 行部分集合
２１３ａ１ 行部分集合
２１３ｂ１ 行部分集合
２１３ｃ１ 行部分集合
２１３ｃ２ 行部分集合
２１３ｃ３ 行部分集合
２１３ｃ４ 行部分集合
２１３ｄ１ 行部分集合
２１３ｅ１ 行部分集合
２１３ｆ１ 行部分集合
２２０ 行
２２１ 行
２２２ 浮動拡散部
２２８ ４つ組
２３０ 組み合わせ
２３２ 組み合わせ
２３４ 組み合わせ
３００ リセット
３００ａ リセット
３００ｂ リセット
３０２ 読み取り
３０２ａ 読み出し
３０２ｂ 読み出し
３０３ 読み出し線
３１０ パターン
３１１ パターン
３１２ パターン
３１３ パターン
３２０ 画素集積時間
５１１ｂ 要素部分集合
５１１ｂ１ 行部分集合
５１１ｂ２ 行部分集合
５１１ｂ３ 行部分集合
５１１ｂ４ 行部分集合
１０３７ 画素行
１０３８ 画素行
１０３８ａ 行部分集合
１０３８ｂ 行部分集合
１０３９ 画素行
１０４０ 画素行
１０４１ 画素行
１０４２ 画素行
１０４３ 画素行
１０４４ 画素行
１０４５ 画素行
１０４６ 画素行
ｉ１ 区間
ｉ２ 区間
ｔ_１ 時刻
ｔ_２ 時刻
ｔ_３ 時刻
ｔ_４ 時刻
ｔ_５ 時刻
ｔ_６ 時刻
ｔ_ｃ 時刻
ＥＣ_２００ 露光曲線
ＥＣ_２００ａ 露光曲線
ＥＣ_２００ｂ 露光曲線
ＥＣ_２０１ 露光曲線
ＥＣ_２０２ 露光曲線
ＥＣ_{１０３８ａ} 露光曲線
ＥＣ_{１０３８ｂ} 露光曲線
ＥＣ_１０３９ 露光曲線
ＥＰ_２００ 露光曲線
ＥＰ_２０１ 露光曲線
ＥＰ_２０２ 露光曲線
ＥＰ_{１０３８ｂ} 露光曲線
Ｃｏｌｏｒ_１ 読み出し
Ｃｏｌｏｒ_１７ 読み出し
Ｃｏｌｏｒ_１８ 読み出し
Ｃｏｌｏｒ_ｎ 読み出し
Ｐａｎ_１ 読み出し
Ｐａｎ_２００ 読み出し
Ｐａｎ_２０１ 読み出し
Ｐａｎ_ｎ 読み出し
Ｒｅａｄ_{１０３８ａ} 読み出し信号
Ｒｅａｄ_{１０３８ｂ} 読み出し信号
Ｒｅａｄ_{ｃｏｌｏｒ} 読み出し信号
Ｒｅａｄ_ｐａｎｓ 読み出し信号
Ｒｅｓｅｔ_{１０３８ａ} リセット信号
Ｒｅｓｅｔ_{１０３８ｂ} リセット信号
Ｒｅｓｅｔ_{ｃｏｌｏｒ} リセット信号
Ｒｅｓｅｔ_ｐａｎｓ リセット信号

Claims (1)

1. （ａ）ローリングシャッタおよび少なくとも一つの分割された画素行を有する画像センサであって、前記少なくとも一つの分割された行は、第１および第２の互いに素である画素行部分集合を少なくとも含み、各行部分集合な、個別に読出しおよびリセットを行うことができる、画像センサを設け、
   （ｂ）前記少なくとも一つの画素行内の画素の露光において、
   （ｉ）前記第１の行部分集合をリセットして、第１の露光を開始し、第１の区間の後で、前記第２の行部分集合をリセットして、第２の露光を開始し、
   （ｉｉ）前記第２の行部分集合を読み出して、前記第２の露光を終了すると共に第２の露光信号値を取得し、第２の区間の後で、前記第１の行部分集合を読み出して、前記第１の露光を終了すると共に第１の露光信号値を取得することによって、前記画素の露光を行い、
   この露光の際に、前記第１の区間および前記第２の区間の長さが、前記第１の露光の長さの２０％内で等しくなるようにし、
   （ｃ）前記第１の露光信号値および前記第２の露光信号値から得られた画像データを組み合わせて、画素値の行を形成することを含み、
   前記画像データを組み合わせることは、異なる行内の画素から得られた画像データを組み合わせることを更に含む、画像取り込み方法。

Images