JP4486874B2 - 多分割読出ccdの補正近似直線群情報生成方法及び多分割読出ccdの補正処理装置製造方法 - Google Patents
多分割読出ccdの補正近似直線群情報生成方法及び多分割読出ccdの補正処理装置製造方法 Download PDFInfo
- Publication number
- JP4486874B2 JP4486874B2 JP2004355278A JP2004355278A JP4486874B2 JP 4486874 B2 JP4486874 B2 JP 4486874B2 JP 2004355278 A JP2004355278 A JP 2004355278A JP 2004355278 A JP2004355278 A JP 2004355278A JP 4486874 B2 JP4486874 B2 JP 4486874B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- group information
- line group
- straight line
- ccd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
Description
第一の発明は、CCDの画素の種類に応じた出力に基づいて得られる画素用出力値を補正するための多分割読出CCDの補正近似直線群情報生成方法であって、前記CCDの画素の種類に応じて複数の補正用光源色を選択する補正用光源色選択ステップと、前記補正用光源色選択ステップにて選択された補正用光源色を前記CCDに照射する補正用光源色照射ステップと、前記補正用光源色照射ステップにて照射された補正用光源色に基づいて、第一次補正近似直線群情報を生成する第一次補正近似直線群情報生成ステップと、前記第一次補正近似直線群情報生成ステップにて生成された複数の第一次補正近似直線群情報に基づいて前記画素の種類ごとに一の本番用補正近似直線群情報を生成する本番用補正近似直線群情報生成ステップと、を有する多分割読出CCDの補正近似直線群情報生成方法に関する。
第二の発明は、CCDの画素の種類に応じた出力に基づいて得られる画素用出力値を補正するための多分割読出CCDの補正処理装置製造方法であって、補正処理装置が補正すべきCCDを準備するCCD準備ステップと、前記CCDの画素の種類に応じて複数の補正用光源色を選択する補正用光源色選択ステップと、前記補正用光源色選択ステップにて選択された補正用光源色を前記CCDに照射する補正用光源色照射ステップと、前記補正用光源色照射ステップにて照射された補正用光源色に基づいて、第一次補正近似直線群情報を生成する第一次補正近似直線群情報生成ステップと、前記第一次補正近似直線群情報生成ステップにて生成された複数の第一次補正近似直線群情報に基づいて前記画素の種類ごとに一の本番用補正近似直線群情報を生成する本番用補正近似直線群情報生成ステップと、前記本番用補正近似直線群情報生成ステップにて得られた本番用補正近似直線群情報を前記CCDと関連付けて補正処理装置を構成すべき記憶部に保存する保存ステップと、を有する多分割読出CCDの補正処理装置製造方法に関する。
実施形態1は、主に、請求項1、請求項3などについて説明している。
実施形態2は、主に、請求項2、請求項4などについて説明している。
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
以下に、実施形態1について説明する。
<実施形態1の概念>
以下に本実施形態の概念について説明する。CCDの分割ブロック間の画素用出力値(後述する)の補正を行う場合には、基本的には、調整段階において、工場で装置一台一台に適切な補正近似直線群情報を埋め込む必要がある。本実施形態は、上記適切な補正近似直線群情報の生成方法・装置に関する。
図15は、本実施形態の概念の一例を示す図である。工場出荷前の調整段階において、多分割読出CCDの補正近似直線群情報生成装置1501は、デジタルカメラなどの多分割CCD1502に対して補正用光源色(例えば赤、緑、青など)を照射し、画素用出力値(後述する)をCCDから取得する。次に取得した分割ブロック間の画素用出力値の出力差に基づいて、複数(例えば赤、緑、青など)の第一次補正近似直線群情報を生成する。次に、複数(例えば赤、緑、青など)の第一次補正近似直線群情報から最適な一の本番用補正近似直線群情報を生成する。ここで複数の第一次直線群情報から一の本番用補正近似直線群情報を生成する目的は、画素用出力値(色成分、キャリア成分ともいう)の比によって、どの色の第一次補正近似直線群情報に近いかが異なるためである。例えば、後述する補色フィルタに関して画素の種類C1の本番用補正近似直線群情報を生成する場合に、赤と緑の第一次補正近似直線群情報から生成するとよい。なぜならば、画素の種類C1とC2の画素用出力値の比によって、赤らしい色に補正するのがよいのか、緑らしい色に補正するのがよいのか異なるためである。すなわち赤らしい色に補正したい場合には、赤の第一次補正近似直線群情報に近い方に本番用補正近似直線群情報を生成し、緑らしい色に補正したい場合には、緑の第一次補正近似直線群情報に近い方に本番用補正近似直線群情報を生成するとよい。
以下に、本件発明で利用する補正近似直線群情報の概念の一例について説明する。
図1、図2、図3は、補正近似直線群情報の概念の一例を説明するための図であり、左右にCCDを2分割する場合について説明している。
図1は、補正近似直線群情報を利用すべき画素であり、かつ補正近似直線群情報の生成に利用する画素について説明するための一例を示す図である。2分割CCD(0100)は、左ブロックのL−CCD(0101)と、右ブロックのR−CCD(0102)と、からなる。L−CCDは画素A(0103)を有し、R−CCDは画素B(0104)を有している。ここで画素A(0103)と画素B(0104)が同じ種類の画素(例えば、補色フィルタのC1:Mg+Ye)とする。また画素Aの画素用出力値をa、画素Bの画素用出力値をbとする。このCCDの特性上、画素用出力値aとbには、ゲイン差があるので、このゲイン差を解消するために、aにKを加算すれば良いことがわかっている。つまり、補正後の画素Aの画素用出力値d=a+Kと表され、このKを画素Aの受光量に応じてプロットしたものが補正近似直線群情報である。
図2は、上記作成された補正近似直線群情報の概念の一例を示すための図である。入力値に基づいて左ブロックの画素Aの画素用出力値a1を補正する場合には、図2より、KはK1となるので、画素用出力値a1にK1を加算すれば(補正後の画素Aの画素用出力値d1=a1+K1)、右ブロックの画素Bの画素用出力値b1と同等のディスプレイからの出力となる。
図3は、補正近似直線群情報を用いて補正を行う場合のCCD画素と補正後の値との対応関係の一例を示す図である。CCD画素番号、画素の種類、画素用出力値、利用する補正近似直線群情報、補正用の値、補正後の値で一組になっている。例えば、CCD画素番号10000の画素は、画素の種類がC1のときの画素用出力値がa1であり、画素の種類に応じて定められる一の補正近似直線群情報がf1であることを示している。そして一の補正近似直線群情報を利用して求められた補正用の値が+K1、画素用出力値の補正後の値がa1+K1であることを示している。
以下に、本実施形態の構成要件について説明をする。
図16は、本実施形態の多分割読出CCDの補正近似直線群情報生成装置の機能ブロック図の一例を示す図である。本実施形態の多分割読出CCDの補正近似直線群情報生成装置1600は、補正用光源色選択部1601と、補正用光源色照射部1602と、出力差算出部1603と、第一次補正近似直線群情報生成部1604と、本番用補正近似直線群情報生成1605と、からなる。
構成要件の説明に入る前に、CCD(Charge Coupled Devices)の概略について説明する。
(CCD)
「CCD」とは、光を光電効果によって電荷に変換する撮像素子のことをいう。
図5は、一般的なCCDの概念を示すための図である。CCD0500は、一般的に、受光部0501と、垂直転送部0502と、水平転送部0503と、を有している。CCDの構造は、輝度(光の信号強度)を認識するフォトダイオード(受光素子)が縦横に規則的に配列されており、電荷方式および転送方式の違いにより、フレームトランスファ型やインターライントランスファ型、フルフレームトランスファ型、フレームインターライントランスファ型などに分類される。複数の受光素子からなる受光部は、被写体からの光を受光し、受光した光を光電効果によって電荷に変換する。変換された電荷は、垂直転送部に転送される。垂直転送部に転送された電荷は、最初の1ライン0504(図5の点線で囲んだ部分で、行ともいう)分が水平転送部へ転送される。水平転送部は、転送された1ライン分の電荷を、一走査線に相当する電荷として、信号増幅回路などに出力する。水平転送部から信号増幅回路などに電荷が転送されると、次の1ライン分の電荷が垂直転送部から水平転送部に転送される。これらの動作が、垂直転送部の全ラインについて行われるまで順次繰り返される。このようにしてCCDは、所定の時間内にすべての電荷の転送を終了し、1フレーム分(あるいは1フィールド分)の電荷を出力する。例えば、CCDがビデオカメラなど動画を記録する記録装置の撮像部分に使用される場合には、1フレーム分の電荷の転送は、1/30秒以下の時間内に終了する。そしてCCDから出力された電荷は、信号増幅回路にて所定の画素用出力値まで増幅され、必要な画像処理が諸回路にて行われる。
(補正用光源色選択部)
「補正用光源色選択部」は、CCDの画素の種類に応じて複数の補正用光源色を選択するように構成されている。ここで「補正用光源色」とは、第一次補正近似直線群情報(後述する)を生成するために利用される光源の色のことをいう。補正用光源色には、一例として、白、赤、緑、青、黄などが挙げられる。また「画素の種類」とは、CCDの画素の色情報に対応した色フィルタの種類のことをいう。画素の種類には、一例として、原色フィルタを使用する場合には、赤、緑、青の色フィルタの種類が、補色フィルタを使用する場合には、シアン、マゼンタ、黄、緑の色フィルタの種類が挙げられる。画素の種類(例えば、シアン、マゼンタ、黄、緑の色フィルタ)ごとに、複数の補正光源色(例えば、白、赤、緑、青など)が選択される。選択された複数の補正用光源色は、補正用光源色照射部にて利用される。
「補正用光源色照射部」は、補正用光源色選択部にて選択された補正用光源色をCCDに照射するように構成されている。また照射される補正用光源色の光強度は、自由に設定できるように構成されている。照射された補正用光源色は、出力差算出部にて利用される。
「出力差算出部」は、補正用光源色照射部にて照射された補正用光源色に基づいて、分割読出ブロック間での出力差を補正用光源色ごとに算出するように構成されている。画素用出力値の出力差は、第一次補正近似直線群情報生成部にて利用される。
ここで「分割読出」とは、CCDの受光部を複数のブロックに分割し、これに対応して垂直転送部、水平転送部も複数のブロックに分割して画素用出力値(後述する)を出力することをいう。なお縦方向のみの分割の場合には、垂直転送部は分割される必要はなく、また横方向のみの分割の場合には、水平転送部は分割される必要はない。分割には、一例として、2分割、3分割、4分割、・・・などが挙げられる。ここで分割にする目的の一つは、CCDの画素数が多い場合にも、1フレーム分(あるいは1フィールド分)の画素用出力値を所定の時間内に転送できるようにするためである。例えば2分割のCCDの場合を考えてみる。受光部を左右の2ブロックに分割し、これに対応して水平転送部も左右の2ブロックに分割することによって、1ラインの画素用出力値を左ブロックの画素用出力値と右ブロックの画素用出力値とに分割して出力することができる。この水平転送部が2ブロックのCCDは、画素数が同数で水平転送部が1ブロックのCCD(受光部および水平転送部が2分割されていないCCD)に較べて、略半分の時間で転送を終了することができる。
「第一次補正近似直線群情報生成部」は、第一次補正近似直線群情報を生成するように構成されている。ここで「第一次補正近似直線群情報」とは、一の本番用補正近似直線群情報を生成するために利用される直線群に関する情報のことをいう。第一次補正近似直線群情報は、出力差算出部で算出された出力差に基づいて生成され、補正用光源色ごとに複数生成される。例えば、原色フィルタを使用する場合には、全画素はR(Red:赤)、G(Green:緑)、B(Blue:青)の3種類の繰り返しで構成されているので、RGBの3種類あるいはRGBの組み合わせについて複数の第一次補正近似直線群情報が生成される。また、補色フィルタを使用する場合には、全画素はCy(Cyan:シアン、Green+Blue)、Mg(Magenta:マゼンタ、Blue+Red)、Ye(Yellow:黄、Green+Red)、G(Green:)の4種類の繰り返しで構成されているので、CyMgYeGの4種類あるいはCyMgYeGの組み合わせについて複数の第一次補正近似直線群情報が生成される。なお、第一次補正近似直線群情報は、まず分割された基準となるブロックの中央画素領域の画素用出力値の平均値と、他のブロックの中央画素領域の画素用出力値の平均値の出力差を画素の種別ごとに算出し、補正用光源色の照射強度を変化させることにより生成される。第一次補正近似直線群情報は、本番用補正近似直線群情報生成部にて利用される。
以下に、第一次補正近似直線群情報を生成する方法について説明する。以下簡単のために、多分割読出CCDの全画素を左右に2分割する場合の第一次補正近似直線群情報について説明する。なお、本明細書においては、特に断らない限り、特定の画素を表現する場合には大文字の英数字を、その画素に対応する画素用出力値を表現する場合には、その画素に対応する小文字の英数字を用いるものとする。また本明細書においては、画素の種類は、カッコで括って表記するものとする。例えば、画素Aなどの表記は、画素位置を特定するための画素がAであることを示し、aなどの表記は、画素Aの画素用出力値あるいは画素の種類がAの画素用出力値がaであることを示している。また、画素(A1)などの表記は、画素の種類がA1であることを示しているものとする。さらに画素A(A1)など表記は、画素Aの種類がA1であることを示しているものとする。
図6は、2分割CCDの概念の一例を説明するための図である。2分割CCD(0600)は、左のL−CCD(0601)と右のR−CCD(0602)とに左右2分割されている。また2分割CCDの全画素は、一例として、(A1)、(A2)、(A3)、(A4)の4種類の画素によって構成されているものとする。つまり4種類の画素(A1)、(A2)、(A3)、(A4)で一つの色を表現するものとする。ここで2分割CCDの中央部分の画素領域は、左中央画素領域0603と右中央画素領域0604に分割される。左中央画素領域と右中央画素領域は、それぞれ4種類の画素(A1)、(A2)、(A3)、(A4)を有している。第一次補正近似直線群情報の生成にあたっては、まず左中央画素領域と右中央画素領域の画素用出力値を画素の種別ごとに測定する。例えば、左中央画素領域と右中央画素領域の画素(A1)の画素用出力値の平均値を計算し、両者の差分を算出する。そして画素(A1)に照射する補正用光源色の照射強度を変化させることで、横軸に画素用出力値の平均値、縦軸に左右ブロック間の画素用出力値のゲイン差をプロットしていくことにより、画素(A1)の第一次補正近似直線群情報が生成される。上記の動作が、補正に使用される複数の色(補正用光源色)の被写体分繰り返されることにより、画素(A1)の複数の第一次補正近似直線群情報が生成される。さらに以上の動作を他の種類の画素(A2)、(A3)、(A4)ごとに行うことにより、4種類の画素(A1)、(A2)、(A3)、(A4)についての複数の第一次補正近似直線群情報が生成される。
図7は、第一次補正近似直線群情報の生成方法の一例を説明するための図である(2分割CCDの場合)。横軸を画素用出力値、縦軸を左右画素間の画素用出力値のゲイン差としている。まず補正に使用する特定色(補正用光源色)の被写体からの画素用出力値をL1からはじめてL2、L3、L4と大きくしていく。画素用出力値を変化させていくにつれて左右ゲイン差がG1、G2、G3、G4と変化していく。そしてL1とG1が交わる点をP1とする(P2、P3、P4についても同様)。点P1、P2、P3、P4を直線で結べば第一次補正近似直線群情報が生成される。第一次補正近似直線群情報はメモリに格納される。その他の補正に使用する色(補正用光源色)についても同様に第一次補正近似直線群情報が生成される。
図8は、例えば、画素(A1)についての第一次補正近似直線群情報の一例を示しており、補正に使用する複数の色(補正用光源色:白、赤、緑、青)の第一次補正近似直線群情報が含まれている。他の種類の画素(A2)、(A3)、(A4)についても同様に複数の第一次補正近似直線群情報が生成される。
なお、本件発明においては、左中央画素領域と右中央画素領域の大きさは自由に設定することができる。また、本件発明においては、第一次補正近似直線群情報の生成に利用される画素の領域は、中央部分に限定されるものではない。つまり、左右で分離された配置であってもよい。また、第一次補正近似直線群情報の生成に利用される画素の領域は、第一次補正近似直線群情報を生成するのに最低限の画素の領域(例えば、4種類の画素(A1)、(A2)、(A3)、(A4)を使用する場合には、左右4画素ずつ)であってもよいが、複数の画素を使用することにより、ある程度ならして平均値をとったほうが好ましい。
「本番用補正近似直線群情報生成部」は、第一次補正近似直線群情報生成部にて生成された複数の第一次補正近似直線群情報に基づいて画素の種類ごとに一の本番用補正近似直線群情報を生成する。ここで「本番用補正近似直線群情報」とは、被写体撮影本番用に利用される補正近似直線群情報のことをいう。以下に、複数の第一次補正近似直線群情報に基づいて画素の種類ごとに一の本番用補正近似直線群情報を生成する方法について述べる。一の本番用補正近似直線群情報の生成には、一例として、色成分(キャリア成分)の比が用いられる。例えば4種類の画素(A1)、(A2)、(A3)、(A4)を使用する場合には、上述の比a1/a2、a3/a4が利用される。これはCCDの特性および、アナログ回路のばらつきによるブロック間の差がキャリア成分の比に近似的に比例しているという実験結果から決定されたものである。以下、図を用いて、本番用補正近似直線群情報の生成方法を説明する。
図9は、本番用補正近似直線群情報の概念の一例を説明するための図である。簡単のため、画素の種類A1の場合について、赤と緑の第一次補正近似直線群情報から一の本番用補正近似直線群情報を生成する場合を考える。図9において、画素用出力値a1における赤と緑の第一次補正近似直線群情報の画素用出力値の左右ゲイン差がそれぞれG1、G2であることが読み取れる。このときの本番用補正近似直線群情報の画素用出力値の左右ゲイン差G3は、一例として、(G1+G2)/2と求められる。この操作を画素用出力値a1を変化させながら、プロットしていくことにより、図9に示すような、画素(A1)の一の本番用補正近似直線群情報が生成される。他の種類の画素(A2)、(A3)、(A4)についても同様に本番用補正近似直線群情報が生成される。なお、上記G3の算出にあたっては、画素用出力値に基づいて複数の第一次補正近似直線群情報を利用して計算することもできる。ここで「画素用出力値に基づいて」とは、第一次補正近似直線群情報の生成に使用した画素において、自身(着目する画素のことをいう)の画素のみに限定されず、自身と自身に近接する近接画素の画素用出力値に所定の演算処理を行った結果の値を含んでもよいという趣旨である。また、ある画素Aに着目した場合の「近接画素」とは、Aの隣接または、数画素左右、数画素上下、数画素斜め方向に離れた画素のことをいう。そして「所定の演算処理」には、自身と近接画素の画素用出力値の比、自身と近接画素の画素用出力値の和・差の比などが挙げられる。例えば、自身の画素をA(画素用出力値をa)とし、その近接画素をB(画素用出力値をb)とすると、所定の演算処理には、一例として、a/b、b/a、(a+b)/(a−b)、(a−b)/(a+b)などが挙げられる。
図10は、近接画素の概念の一例を説明するための図である。CCD(1000)の画素は、4種類の画素(A1)、(A2)、(A3)、(A4)で構成されているものとする。4種類の画素(A1)、(A2)、(A3)、(A4)が色表現の単位1001になっており、この4種類の画素が繰り返し配列されて全画素を構成している。今、所定の演算処理として画素用出力値a1とa2の比a1/a2を使用するものとする。着目する画素を着目画素1002(A1)とすると、近接画素は、一例として、図10の丸で囲んだ画素(A2)となる。近接画素1003(A2)は、着目画素1002(A1)に隣接する画素である。それ以外の近接画素、例えば、近接画素1004(A2)などは、着目画素1002(A1)に隣接しない画素である。所定の演算処理として画素用出力値a3とa4の比a3/a4を使用する場合にも、近接画素の考え方は同様である。
実際の補正は、画素の種類ごとに生成された画素の種類ごとに共通の一の本番用補正近似直線群情報を利用して、全画素の画素用出力値から補正値を算出することにより、行われる。
以下に、本実施形態の処理の流れについて説明する。なお、以下に示す処理の流れは、方法、計算機に実行させるためのプログラム、またはそのプログラムが記録された読み取り可能な記録媒体として実施されうる(これは、本明細書のその他の処理の流れについても同様である)。
図4は、本実施形態の処理の流れの一例である。
まず、多分割読出CCDの補正近似直線群情報生成方法において、補正用光源色選択ステップは、CCDの画素の種類に応じて複数の補正用光源色を選択する(ステップS0401)。次に、補正用光源色照射ステップは、補正用光源色選択ステップにて選択された補正用光源色をCCDに照射する(ステップS0402)。次に、第一次補正近似直線群情報生成ステップは、補正用光源色照射ステップにて照射された補正用光源色に基づいて、分割読出ブロック間での出力差を画素の種類ごとに補正するための第一次補正近似直線群情報を生成する(ステップS0403)。次に、本番用補正近似直線群情報生成ステップは、第一次補正近似直線群情報生成ステップにて生成された複数の第一次補正近似直線群情報に基づいて画素の種類ごとに一の本番用補正近似直線群情報を生成する(ステップS0404)。
本実施形態の多分割読出CCDの補正近似直線群情報生成方法・装置によれば、装置ごとに複数の第一次補正近似直線群情報を生成することができる。そして生成された複数の第一次補正近似直線群情報から、最適な一の本番用補正近似直線群情報が生成される。したがって、撮影時に、デジタルカメラなどのCCD全画素について、一の本番用補正近似直線群情報を利用して、画素の種類ごとに補正を行うことができる。
以下に、実施形態2について説明する。
<実施形態2の概念>
以下に本実施形態の概念について説明する。
図17は、本実施形態の概念の一例を示す図である。工場出荷前の調整段階において、多分割読出CCDの補正処理装置製造装置1701は、デジタルカメラなどの多分割CCD1702に対して補正用光源色(例えば赤、緑、青など)を照射し、画素用出力値をCCDから取得する。次に取得した分割ブロック間の画素用出力値の出力差に基づいて、複数(例えば赤、緑、青など)の第一次補正近似直線群情報を生成する。次に、複数(例えば赤、緑、青など)の第一次補正近似直線群情報から最適な一の本番用補正近似直線群情報を生成し、多分割読出CCDの補正処理装置の記憶部に保存する。なお、複数の第一次直線群情報から一の本番用補正近似直線群情報を生成する目的は、実施形態1と同様であるので説明を省略する。
以下に、本実施形態の構成要件について説明をする。
図18は、本実施形態の機能ブロック図の一例を示す図である。本実施形態の多分割読出CCDの補正処理装置製造装置1800は、CCD準備部1801と、補正用光源色選択部1802と、補正用光源色照射部1803と、第一次補正近似直線群情報生成部1804と、本番用補正近似直線群情報生成部1805と、保存部1806)と、からなる。
以下に、本実施形態の構成要件について説明する。
「補正用光源色選択部」、「補正用光源色照射部」、「第一次補正近似直線群情報生成部」、「本番用補正近似直線群情報生成部」については、実施形態1と同様なので説明を省略する。
「CCD準備部」は、補正処理装置が補正すべきCCDを準備する。準備されたCCDは、補正用光源色照射部に出力されるなどして利用される。ここで「CCD」については、実施形態1と同様なので説明を省略する。
「保存部」は、本番用補正近似直線群情報生成部にて得られた本番用補正近似直線群情報をCCDと関連付けて補正処理装置を構成すべき記憶部に保存する。ここで「記憶部」には、EEPROMなどの不揮発性メモリなどが該当する。また「CCDと関連付けて」とは、CCDの各画素が補正に利用する本番用補正近似直線群情報を、各画素と関連付けて、という趣旨である。
以下に本実施形態の実施例1について説明する。なお、実施例1においては、本実施形態の製造方法によって製造される2分割読出CCD補正処理装置について説明している。
図12は本実施例の2分割読出CCD補正処理装置の全体ブロック図の一例を示す図である。本実施例の2分割読出CCD補正処理装置は、2分割読み出し方式CCD1201と、2ブロックCDS(Correlated Double Sampling:相関二重サンプル)/ADC(Analog Digital Conversion:AD変換)回路1205と、ゲイン検出回路1206と、不揮発性メモリ(EEPROM等)1207と、制御用マイコン1808と、ゲイン補正回路1209と、画素並替回路1810と、CCD信号処理回路1811と、を有する。
また、2分割読み出し方式CCD1201は、受光素子(フォトダイオード)、垂直転送CCD1202、水平転送CCD1203、1204により構成されている。被写体の撮像光は、受光素子1202により光電変換され電荷として蓄積される。この電荷はあるタイミングで垂直転送CCD1202に移される。垂直転送CCD1202は左右二つに分割されており左半分の垂直転送CCDは左半分の水平転送CCD1203へ、右半分の垂直転送CCDは右半分の水平転送CCD1204へ、一ラインごとのタイミングで送られる。水平転送CCD1203、1204は転送された電荷をそれぞれ左右へ転送をおこない、左右のアンプを介して電圧信号として出力される。出力された信号は2ブロックCDS/ADC回路1205に送られデジタル化される。ここで、A/D変換され、2ブロック別々に読み出された信号はレベル差を生じる。このレベル差はCCDの内部およびA/D変換回路により生じ、受光素子の出力レベルに依存することが知られている(特開2002−320412)。また、色成分(キャリア成分、ある種類の画素の画素用出力値)によってもその差が変化することが実験により確認された。また基板の特性によっても変わることも確認されている。ここまでは本番用補正近似直線群情報作成時、および通常撮影時において動作は同じである。
次に、本番用補正近似直線群情報作成時について説明する。本番用補正近似直線群情報作成時には、まず複数の第一次補正近似直線群情報を作成するために、できるだけキャリア成分の大きい(例えば、赤、緑、青など)一様な被写体(例えばスクリーンなど)を撮影する。ここでは3色(例えば、赤、緑、青など)を撮影してそこから、画素(C1:Mg+Ye)、(C2:G+Cy)、(C3:Mg+Cy)、(C4:G+Ye)それぞれの第一次補正近似直線群情報を作成する。今回の例では赤、青、緑を撮影し、画素(C1)、(C2)は赤と緑の第一次補正近似直線群情報から、画素(C3)、(C4)は青と緑の第一次補正近似直線群情報から、画素の種類ごとに一の本番用補正近似直線群情報を作成する。キャリア成分(後述する)の比を用いて本番用補正近似直線群情報が求められる。この本番用補正近似直線群情報を不揮発性メモリに記録しておき、通常撮影時においては、制御用マイコン1208は撮影前にゲイン補正回路に対して不揮発性メモリに記録してある本番用補正近似直線群情報をゲイン補正回路に設定する。
(第一次補正近似直線群情報について)
次にキャリア成分について説明する。ここでは例として補色のフィルタを用いたCCDについて説明する。
図13、14は、補色フィルタの配列の一例を示す図である。通常、補色フィルタは図13のような配列で並べられており、動画撮影時には垂直方向の画素用出力値が加算され図14の配列のような形で出力される。つまりあるラインについては画素(C1:Mg+Ye)の画素用出力値c1と画素(C2:G+Cy)の画素用出力値c2が交互に出力され、次のラインでは画素(C4:G+Ye)の画素用出力値c4、画素(C3:Mg+Cy)の画素用出力値c3が交互に出力される。静止画撮影時にはあるフィールドでは(Mg)の画素用出力値d1、(G)の画素用出力値d2が交互に、次のフィールドでは(Ye)の画素用出力値d4、(Cy)の画素用出力値d3が交互に出力される。キャリア成分が少ない(例えば、白など)被写体を撮影した場合、これらの水平方向の比が1に近くなる。たとえば動画撮影時ではc1/c2=1、c3/c4=1というようになる。(これは原色のCCDにおいても同様で原色の場合はあるラインが(R)の画素用出力値e1、(G)の画素用出力値e2が交互に、次のラインは(G)の画素用出力値e4、(B)の画素用出力値e3が交互に出力される。キャリア成分が少ない被写体ではe1/e2=1、e3/e4=1となる。)このとき図12のCCD中央領域1213の左右データ平均値(例えば、画素(C1)の画素用出力値c1、(C2)の画素用出力値c2、(C3)の画素用出力値c3、(C4)の画素用出力値c4のそれぞれについての平均値)から、左右のゲイン差(例えば、CCD中央領域の左右の画素(C1)、(C2)、(C3)、(C4)のそれぞれの画素用出力値c1、c2、c3、c4)についての平均値のゲイン差)を求め、これから補正用の第一次補正近似直線群情報を作成する(例えば、画素(C1)、(C2)、(C3)、(C4)のそれぞれについて第一次補正近似直線群情報を作成)。また、このときの水平方向キャリア成分の比についても記録する。すなわちキャリア成分が大きい被写体を撮影した場合について、撮影光量を変化させながら測定し、それぞれのラインの画素用出力値の比c1/c2、c3/c4を算出する。なお、ラインの比c1/c2、c3/c4を算出するのに使用するc1、c2、c3、c4の値は、CCD中央領域の左右どちらか基準とするc1、c2、c3、c4の値の平均値を使用する。
次に、本番用補正近似直線群情報の計算について説明する。本実施例では、被写体として、複数の色で検出した結果を用いて、補正用の本番用補正近似直線群情報を求める。ここで複数色の被写体から画素用出力値を取得する場合を考えてみる。図12のゲイン検出回路(1206)で検出される画素用出力値が同一であるときには、画素(C1)を例にとると、CCD信号処理(1211)から出力されるYCrCbの左右ゲイン差は、被写体として他の色に比べ赤が一番大きい。つまり、画素(C1)については、赤が左右ゲイン差に一番影響を与える。この一番影響のある色について、本番用補正近似直線群情報を求める際に、比率を大きく取る。図9で示すように、キャリア成分の大きい色として、被写体が赤の場合の第一次補正近似直線群情報と、被写体が緑の第一次補正近似直線群情報を求めておき、この場合、左右ゲイン差に一番影響のある赤に近くなるように、本番用補正近似直線群情報を求める。このようにして、画素(C1)から(C4)まで、それぞれの画素の種類について、最終出力段のYCrCbのレベルで左右ゲイン差を小さくするように本番用補正近似直線群情報を求める。厳密には、いくつかの色で本番用補正近似直線群情報から離れてしまうが、影響の小さい色であるため、総合的には左右ゲイン差レベルは小さくすることが可能である。こうすると、今までのように白色等単色で検出を行ってきた方法に比べて、左右ゲイン差の誤差を低減する事が可能である。
また、図12のゲイン検出回路(1206)にて、左右のノイズ振幅を検出し、左右ブロックのノイズ振幅に違いがある場合、ゲイン補正回路(1209)において、ノイズを加算して、左右ブロックの入力信号の振幅を揃えるように調整することにより、左右ゲイン差の補正を行うことも可能である。
以下に、本実施形態の処理の流れについて説明する。
図11は、本実施形態の処理の流れの一例である。
まず、多分割読出CCDの補正処理装置製造方法において、CCD準備ステップは、補正処理装置が補正すべきCCDを準備する(ステップS1101)。次に、補正用光源色選択ステップは、CCDの画素の種類に応じて複数の補正用光源色を選択する(ステップS1102)。次に、補正用光源色照射ステップは、補正用光源色選択ステップにて選択された補正用光源色をCCDに照射する(ステップS1103)。次に、第一次補正近似直線群情報生成ステップは、補正用光源色照射ステップにて照射された補正用光源色に基づいて、分割読出ブロック間での出力差を画素の種類ごとに補正するための第一次補正近似直線群情報を生成する(ステップS1104)。次に、本番用補正近似直線群情報生成ステップは、第一次補正近似直線群情報生成ステップにて生成された複数の第一次補正近似直線群情報に基づいて画素の種類ごとに一の本番用補正近似直線群情報を生成する(ステップS1105)。次に、保存ステップは、本番用補正近似直線群情報生成ステップにて得られた本番用補正近似直線群情報をCCDと関連付けて補正処理装置を構成すべき記憶部に保存する(ステップS1106)。
本実施形態の多分割読出CCDの補正処理装置製造方法・装置によれば、装置ごとに複数の第一次補正近似直線群情報を生成することができる。そして生成された複数の第一次補正近似直線群情報から、最適な一の本番用補正近似直線群情報が生成される。したがって、撮影時に、デジタルカメラなどのCCD全画素について、一の本番用補正近似直線群情報を利用して、画素の種類ごとに補正を行うことができる。
1602 補正用光源色照射部
1603 出力差算出部
1604 第一次補正近似直線群情報生成部
1605 本番用補正近似直線群情報生成部
Claims (4)
- CCDの画素の種類に応じた出力に基づいて得られる画素用出力値を補正するための多分割読出CCDの補正近似直線群情報生成方法であって、
前記CCDの画素の種類に応じて複数の補正用光源色を選択する補正用光源色選択ステップと、
前記補正用光源色選択ステップにて選択された補正用光源色を前記CCDに照射する補正用光源色照射ステップと、
前記補正用光源色照射ステップにて照射された補正用光源色に基づいて、第一次補正近似直線群情報を生成する第一次補正近似直線群情報生成ステップと、
前記第一次補正近似直線群情報生成ステップにて生成された複数の第一次補正近似直線群情報に基づいて前記画素の種類ごとに一の本番用補正近似直線群情報を生成する本番用補正近似直線群情報生成ステップと、
を有する多分割読出CCDの補正近似直線群情報生成方法。 - CCDの画素の種類に応じた出力に基づいて得られる画素用出力値を補正するための多分割読出CCDの補正処理装置製造方法であって、
補正処理装置が補正すべきCCDを準備するCCD準備ステップと、
前記CCDの画素の種類に応じて複数の補正用光源色を選択する補正用光源色選択ステップと、
前記補正用光源色選択ステップにて選択された補正用光源色を前記CCDに照射する補正用光源色照射ステップと、
前記補正用光源色照射ステップにて照射された補正用光源色に基づいて、第一次補正近似直線群情報を生成する第一次補正近似直線群情報生成ステップと、
前記第一次補正近似直線群情報生成ステップにて生成された複数の第一次補正近似直線群情報に基づいて前記画素の種類ごとに一の本番用補正近似直線群情報を生成する本番用補正近似直線群情報生成ステップと、
前記本番用補正近似直線群情報生成ステップにて得られた本番用補正近似直線群情報を前記CCDと関連付けて補正処理装置を構成すべき記憶部に保存する保存ステップと、
を有する多分割読出CCDの補正処理装置製造方法。 - CCDの画素の種類に応じた出力に基づいて得られる画素用出力値を補正するための多分割読出CCDの補正近似直線群情報生成装置であって、
CCDの画素の種類に応じて複数の補正用光源色を選択する補正用光源色選択部と、
前記補正用光源色選択部にて選択された補正用光源色を前記CCDに照射する補正用光源色照射部と、
前記補正用光源色照射部にて照射された補正用光源色に基づいて、前記分割読出ブロック間での出力差を補正用光源色ごとに算出する出力差算出部と、
前記出力差算出部で算出された出力差に基づいて補正用光源色ごとの第一次補正近似直線群情報を生成する第一次補正近似直線群情報生成部と、
前記第一次補正近似直線群情報生成部にて生成された複数の第一次補正近似直線群情報に基づいて前記画素の種類ごとに一の本番用補正近似直線群情報を生成する本番用補正近似直線群情報生成部と、
を有する多分割読出CCDの補正近似直線群情報生成装置。 - CCDの画素の種類に応じた出力に基づいて得られる画素用出力値を補正するための多分割読出CCDの補正処理装置製造装置であって、
補正処理装置が補正すべきCCDを準備するCCD準備部と、
前記CCDの画素の種類に応じて複数の補正用光源色を選択する補正用光源色選択部と、
前記補正用光源色選択部にて選択された補正用光源色を前記CCDに照射する補正用光源色照射部と、
前記補正用光源色照射部にて照射された補正用光源色に基づいて、第一次補正近似直線群情報を生成する第一次補正近似直線群情報生成部と、
前記第一次補正近似直線群情報生成部にて生成された複数の第一次補正近似直線群情報に基づいて前記画素の種類ごとに一の本番用補正近似直線群情報を生成する本番用補正近似直線群情報生成部と、
前記本番用補正近似直線群情報生成部にて得られた本番用補正近似直線群情報を前記CCDと関連付けて補正処理装置に保存する保存部と、
を有する多分割読出CCDの補正処理装置製造装置。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004355278A JP4486874B2 (ja) | 2004-12-08 | 2004-12-08 | 多分割読出ccdの補正近似直線群情報生成方法及び多分割読出ccdの補正処理装置製造方法 |
ES05766296T ES2374281T3 (es) | 2004-12-08 | 2005-07-15 | Método y aparato para generar información de corrección para ccd multi-dividido. |
CNB2005800199315A CN100563346C (zh) | 2004-12-08 | 2005-07-15 | 多区段读出ccd的校正近似直线群信息产生方法及多区段读出ccd的校正处理装置制造方法 |
US11/721,328 US7916188B2 (en) | 2004-12-08 | 2005-07-15 | Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD |
KR1020067026933A KR100853083B1 (ko) | 2004-12-08 | 2005-07-15 | 다분할 읽어내기 ccd의 보정 근사 직선군 정보 생성 방법 및 생성 장치, 다분할 읽어내기 ccd의 보정 처리 장치 제조 방법 및 제조 장치 |
EP05766296A EP1833263B1 (en) | 2004-12-08 | 2005-07-15 | Method and apparatus for generating correction information for multi-divided CCD |
PCT/JP2005/013132 WO2006061923A1 (ja) | 2004-12-08 | 2005-07-15 | 多分割読出ccdの補正近似直線群情報生成方法及び多分割読出ccdの補正処理装置製造方法 |
TW094130733A TW200623851A (en) | 2004-12-08 | 2005-09-07 | Correction approximation straight line group information generating method of multi-divided read-out CCD and correction processing device manufacturing method of multi-divided read-out CCD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004355278A JP4486874B2 (ja) | 2004-12-08 | 2004-12-08 | 多分割読出ccdの補正近似直線群情報生成方法及び多分割読出ccdの補正処理装置製造方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006166080A JP2006166080A (ja) | 2006-06-22 |
JP4486874B2 true JP4486874B2 (ja) | 2010-06-23 |
Family
ID=36577753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004355278A Expired - Fee Related JP4486874B2 (ja) | 2004-12-08 | 2004-12-08 | 多分割読出ccdの補正近似直線群情報生成方法及び多分割読出ccdの補正処理装置製造方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7916188B2 (ja) |
EP (1) | EP1833263B1 (ja) |
JP (1) | JP4486874B2 (ja) |
KR (1) | KR100853083B1 (ja) |
CN (1) | CN100563346C (ja) |
ES (1) | ES2374281T3 (ja) |
TW (1) | TW200623851A (ja) |
WO (1) | WO2006061923A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8233069B2 (en) * | 2008-12-12 | 2012-07-31 | Analog Devices, Inc. | Dithering techniques to reduce mismatch in multi-channel imaging systems |
US9300937B2 (en) * | 2014-06-26 | 2016-03-29 | Pixart Imaging (Penang) Sdn, Bhd. | Color image sensor and operating method thereof |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2785782B2 (ja) * | 1995-12-27 | 1998-08-13 | 日本電気株式会社 | 固体撮像装置 |
JP2951909B2 (ja) * | 1997-03-17 | 1999-09-20 | 松下電器産業株式会社 | 撮像装置の階調補正装置及び階調補正方法 |
KR100586363B1 (ko) * | 1999-11-22 | 2006-06-08 | 마쯔시다덴기산교 가부시키가이샤 | 고체촬상소자 및 그것을 이용한 촬상 시스템 |
JP2002185971A (ja) * | 2000-12-11 | 2002-06-28 | Nikon Corp | 色むら補正装置及び電子カメラ |
US20020154813A1 (en) * | 2001-04-19 | 2002-10-24 | Stevenson George E. | Digital image sensor compensation |
JP3948218B2 (ja) * | 2001-04-19 | 2007-07-25 | ソニー株式会社 | 固体撮像装置およびその駆動方法 |
US7050099B2 (en) * | 2001-04-19 | 2006-05-23 | Matsushita Electric Industrial Co., Ltd. | Solid-state image pickup apparatus |
JP4418130B2 (ja) * | 2001-06-22 | 2010-02-17 | 日本放送協会 | 撮像装置 |
JP2003101851A (ja) * | 2001-09-21 | 2003-04-04 | Canon Inc | 撮像装置、撮像方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム |
US7379104B2 (en) * | 2003-05-02 | 2008-05-27 | Canon Kabushiki Kaisha | Correction apparatus |
JP2004350202A (ja) * | 2003-05-26 | 2004-12-09 | Canon Inc | 撮像装置及び補正方法 |
JP4439841B2 (ja) * | 2003-05-30 | 2010-03-24 | キヤノン株式会社 | 撮像装置及びその画像処理方法 |
-
2004
- 2004-12-08 JP JP2004355278A patent/JP4486874B2/ja not_active Expired - Fee Related
-
2005
- 2005-07-15 KR KR1020067026933A patent/KR100853083B1/ko not_active IP Right Cessation
- 2005-07-15 WO PCT/JP2005/013132 patent/WO2006061923A1/ja active Application Filing
- 2005-07-15 CN CNB2005800199315A patent/CN100563346C/zh not_active Expired - Fee Related
- 2005-07-15 ES ES05766296T patent/ES2374281T3/es active Active
- 2005-07-15 EP EP05766296A patent/EP1833263B1/en not_active Expired - Fee Related
- 2005-07-15 US US11/721,328 patent/US7916188B2/en not_active Expired - Fee Related
- 2005-09-07 TW TW094130733A patent/TW200623851A/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP1833263A1 (en) | 2007-09-12 |
WO2006061923A1 (ja) | 2006-06-15 |
CN1969565A (zh) | 2007-05-23 |
EP1833263B1 (en) | 2011-10-12 |
TW200623851A (en) | 2006-07-01 |
KR100853083B1 (ko) | 2008-08-19 |
CN100563346C (zh) | 2009-11-25 |
JP2006166080A (ja) | 2006-06-22 |
TWI329454B (ja) | 2010-08-21 |
EP1833263A4 (en) | 2010-04-14 |
KR20070057088A (ko) | 2007-06-04 |
ES2374281T3 (es) | 2012-02-15 |
US7916188B2 (en) | 2011-03-29 |
US20090231471A1 (en) | 2009-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6239975B2 (ja) | 固体撮像装置及びそれを用いた撮像システム | |
JP6584131B2 (ja) | 撮像装置、撮像システム、および信号処理方法 | |
JP6758859B2 (ja) | 撮像装置、撮像システム、および画像処理方法 | |
JP4930109B2 (ja) | 固体撮像装置、撮像装置 | |
US8023018B2 (en) | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus | |
JP4284628B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
JP5049155B2 (ja) | プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置 | |
JP4600315B2 (ja) | カメラ装置の制御方法及びこれを用いたカメラ装置 | |
JP2009194604A (ja) | 撮像装置及び撮像装置の駆動方法 | |
JPWO2014007282A1 (ja) | カラー撮像素子及び撮像装置 | |
US20100245628A1 (en) | Imaging apparatus and imaging system | |
JP3489118B2 (ja) | 単板カラーカメラ及びその色信号処理回路 | |
JPWO2013100037A1 (ja) | カラー撮像素子 | |
US6900838B1 (en) | Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method | |
JP5242180B2 (ja) | 画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置 | |
JP4486874B2 (ja) | 多分割読出ccdの補正近似直線群情報生成方法及び多分割読出ccdの補正処理装置製造方法 | |
JPWO2013100093A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2001218073A (ja) | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 | |
JP5087474B2 (ja) | 撮像装置 | |
US20090244321A1 (en) | Multi-segment reading ccd correcting apparatus and method | |
JP5033700B2 (ja) | 撮像装置 | |
JP5896603B2 (ja) | 撮像装置及び画像処理装置 | |
JP2004350319A (ja) | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 | |
JP5066476B2 (ja) | 撮像装置 | |
JP4334484B2 (ja) | 画素信号処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100329 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |