WO2007029550A1

WO2007029550A1 - 撮像装置

Info

Publication number: WO2007029550A1
Application number: PCT/JP2006/316906
Authority: WO
Inventors: Kazuko Nakagawa
Original assignee: Konica Minolta Holdings, Inc.
Priority date: 2005-09-09
Filing date: 2006-08-29
Publication date: 2007-03-15
Also published as: JP4853734B2; JPWO2007029550A1

Abstract

　撮像装置１に、入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを入射光量に基づいて切り換える複数の画素を有する撮像素子４と、撮像素子４又はその近傍の温度を検出する温度検出器１２と、撮像素子４が出力する電気信号に対して信号処理を行う信号処理部１３とを備え、信号処理部１３は、前記温度の変化に起因して撮像素子４の入出力特性が変動する場合に、撮像素子４から出力される電気信号の変動補正を行う変動補正部１４と、対数変換動作又は線形変換動作の一方の変換動作に由来の電気信号を、他方の変換動作に由来の状態にする線形化部１５とを設ける。

Description

明細書

撮像装置

技術分野

[0001] 本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。

背景技術

[0002] 従来、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また近年では、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換える撮像素子 (リニアログ変換型センサ）が提案されてヽる。このリニアログ変換型センサによれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミツクレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも度情報を電気信号で表現することができる。

[0003] しかし、リニアログ変換型センサの出力には対数変換動作由来の電気信号と線形変換動作由来の電気信号が含まれるため、演算処理が複雑になるという問題があつた。そこで、対数変換動作由来の電気信号を線形変換動作由来の状態に変換するカゝ、或いは線形変換動作由来の電気信号を対数変換動作由来の状態に変換する特性変換を行う信号処理部を設けて、電気信号全体を線形変換動作由来又は対数変換動作由来の状態に統一して電気信号の処理を容易化する撮像装置が提案されている。

[0004] また、リニアログ変換型センサの入出力特性は、撮像素子又はその近傍の温度変化に起因して変動するという特性を有する。そこで、このような温度変化が撮像素子の入出力特性に影響しないように、対数変換動作由来の電気信号を線形変換動作由来の電気信号に変換する特性変換を演算によって実現し、雰囲気温度の変化に応じて演算内容を変化させることによって、電気信号の入出力特性のばらつきを補正することで、撮像素子の入出力特性の変動補正を行う撮像装置が開示されている (例えば、特許文献 1参照)。

特許文献 1：特開 2004 - 356866号公報発明の開示

発明が解決しょうとする課題

[0005] しかしながら、特許文献 1に記載の撮像装置における変動補正は、指数演算を含む複雑な演算処理のみによって実現されていたため、ハードウェアによる回路化は困難であった。

[0006] また、特許文献 1に記載の撮像装置では、撮像素子の画素間で電気信号の入出力特性にばらつきがあった場合、画素ごとに入出力特性のばらつきを補正することができなかった。

[0007] 本発明の課題は、撮像素子の入出力特性に対する撮像素子の温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することができる撮像装置を提供することである。

課題を解決するための手段

[0008] 本発明は、撮像装置であって、入射光を電気信号に線形変換する線形変換動作と入射光を対数変換する対数変換動作とを入射光量に基づいて切り換える画素を複数個有する撮像素子と、前記撮像素子又はその近傍の温度を検出する温度検出器と、検出された温度に基づいて、前記撮像素子から対数変換されて出力される電気信号を基準電気信号に補正する補正部と、補正部で補正された電気信号を、対数変換する前の電気信号を線形変換して得られる電気信号に変換して出力する変換部と、を有する。

発明の効果

[0009] 本発明によれば、撮像素子又はその近傍の温度変化に起因して撮像素子の入出力特性が変動する場合に、撮像素子が出力する電気信号の変動補正を行うので、電気信号から温度変化に影響される成分を除去することができる。したがって、特性変換によって電気信号を正確に線形変換動作由来の状態に統一することが可能となることである。

[0010] さらに、本発明によれば、撮像素子又はその近傍の温度変化があった場合でも、特性の変換により電気信号を正確に線形変換動作由来の状態に統一することが可能となることである。

[0011] 本発明の他の効果は、ルックアップテーブルにより変換を実現するので、演算によつて変換を行う場合と比較して、変換部の構成を簡素化するとともに、変換の処理を高速ィ匕することができることである。

[0012] 本発明の他の効果は、演算によって補正係数を導出するので、ルックアップテープルで導出する場合と比較して係数導出部の回路規模を縮小化することが可能となることである。

[0013] 本発明の他の効果は、温度の入力により演算に用いる係数をルックアップテーブルで導出するため、温度ごとに係数が異なる場合でも正確かつ高速に係数を導出することが可會となることである。

[0014] 本発明の他の効果は、変換部を各画素に対応づけて設けることから、画素ごとに入出力特性のばらつきがある場合でも、電気信号全体を正確に線形変換動作由来の状態に統一することが可能となることである。

[0015] 本発明の他の効果は、補正部を各画素に対応づけて設けることから、画素ごとに変動量のばらつきがある場合でも、電気信号全体を正確に線形変換動作由来の状態に同一することが可能となることである。

[0016] 本発明の他の効果は、撮像素子が出力する電気信号が対数変換動作由来の場合のみ信号処理を行うので、電気信号が線形変換動作由来の状態で変換を行う必要がなヽ場合に信号処理が行われることが回避され、無駄な信号処理を省略して全体の処理を高速ィ匕することが可能となることである。

[0017] 本発明の他の効果は、温度検出器で検出された温度に基づく演算を行うため、ルックアップテーブルを用いる場合と比較して回路規模を縮小化することが可能となることである。

[0018] 本発明の他の効果は、ルックアップテーブルを用いるため、変曲出力信号値を正確かつ高速に導出することが可能となることである。

図面の簡単な説明

[0019] [図 1]本実施形態に係る撮像装置の概略構成を示すブロック図である。

[図 2]本実施形態に係る撮像素子の構成を示すブロック図である。 [図 3]本実施形態に係る画素の構成を示す回路図である。

[図 4]本実施形態に係る撮像素子の出力信号を示すグラフである。

[図 5]本実施形態に係る撮像素子又はその近傍の各温度における出力信号を示すグラフである。

[図 6]本実施形態に係る信号処理部の構成を示すブロック図である。

[図 7]撮像素子の対数出力信号の傾きと温度との関係を示すグラフである。

[図 8]撮像素子の対数出力信号の切片と撮像素子の温度との関係を示すグラフである。

[図 9]本実施形態に係る信号処理部の他の構成を示すブロック図である。

符号の説明

1 撮像装置

2 レンズ系

3 絞り

4 撮像素子

9 アンプ

10 コンバータ

11 黒基準設定部

12 温度検出器

13 信号処理部

14 変動補正部

15 線形化部

16 係数導出部

17 演算処理部

18 セレクタ

19 基準変換テーブル

20 出力部

21 変曲信号導出部

22 画像処理部 23 AWB処理部

24 色補間部

25 色補正部

26 階調変換部

27 色空間変換部

28 評価値算出部

29 制御装置

30 露光制御処理部

31 信号生成部

発明を実施するための最良の形態

[0021] 以下、図面を参照しつつ、本発明の実施の形態について説明する。

[0022] 図 1は、本発明に係る撮像装置 1の概略構成を示すブロック図である。

[0023] この図に示すように、撮像装置 1は、レンズ系 2及び絞り 3を介して入射光を受光する撮像素子 4を備えている。これらレンズ系 2及び絞り 3としては、従来より公知のものが用いられている。

[0024] 撮像素子 4は、図 2に示すように、行列配置 (マトリクス配置）された複数の画素 G

11

〜G (但し、 n, mは 1以上の整数）を有している。

mn

[0025] 各画素 G 〜G は、入射光を光電変換して電気信号を出力するものである。これら

11 mn

画素 G 〜G は、入射光量に基づいて電気信号への変換動作を切り換えるようにな

11 mn

つており、後述のように、所定入射光量未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになって!/ヽる。

[0026] これら画素 G 〜G のレンズ系 2側には、それぞれレッド（Red)、グリーン（Green)

11 mn

及びブルー（Blue)のうち何れ力 1色のフィルタ（図示せず）が配設されている。また、画素 G 〜G には、図 2に示すように、電源ライン 20や信号印加ライン L 〜L , L

11 mn Al An Bl

〜L , L 〜L 、信号読出ライン L 〜L が接続されている。なお、画素 G 〜G

Bn CI Cn Dl Dm 11 mn にはクロックラインやバイアス供給ラインなどのラインも接続されている力図 2ではこれらの図示を省略して！/、る。 [0027] 信号印加ライン L 〜L , L 〜L , L 〜L は、画素 G 〜G に対して信号 φ ,

Al An Bl Bn CI Cn 11 mn v φ (図 3参照）を与えるようになつている。これら信号印加ライン L 〜L , L 〜L

Bn

, L 〜L には、垂直走査回路 21が接続されている。この垂直走査回路 21は、後述

CI Cn

の信号生成部 31 (図 1参照)からの信号に基づいて信号印カロライン L 〜L , L 〜

Al An Bl

L , L 〜L に信号を印加するものであり、信号を印加する対象の信号印加ライン L

Bn CI Cn

〜L , L 〜L , L 〜L を X方向に順次切り換えるようになっている。

Al An Bl Bn CI Cn

[0028] 信号読出ライン L 〜L には、各画素 G 〜G で生成された電気信号が導出され

Dl Dm 11 mn

るようになっている。これら信号読出ライン L 〜L には定電流源 D〜D及び選択

Dl Dm 1 m 回路 S〜Sが接続されている。

1 m

[0029] 定電流源 D〜Dの一端（図中下側の端部）には、直流電圧 V が印加されるように

1 m PS

なっている。

[0030] 選択回路 S〜Sは、各信号読出ライン L 〜L を介して画素 G 〜G 力与えら

1 m Dl Dm 11 mn れるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路 S〜Sには水平走査回路 22及び補正回路 23が接続されている。水平走査回

1 m

路 22は、電気信号をサンプルホールドして補正回路 23に送信する選択回路 S〜S

1 m を、 Y方向に順次切り換えるものである。また、補正回路 23は、選択回路 S〜S

1 m力も送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。

[0031] なお、選択回路 S〜S及び補正回路 23としては、特開平 2001— 223948号公報

1 m

に開示のものを用いることができる。また、本実施形態においては、選択回路 S〜S

1 m の全体に対して補正回路 23を 1つのみ設けることとして説明するが、選択回路 S〜S

1 のそれぞれに対して補正回路 23を 1つずつ設けることとしてもよい。

m

[0032] 続いて、本実施形態における画素 G 〜G について説明する。

11 mn

[0033] 各画素 G 〜G は、図 3に示すように、フォトダイオード P及びトランジスタ T〜Tを

11 mn 1 3 備えている。なお、トランジスタ T〜Tは、バックゲートの接地された Νチャネルの Μ

1 3

OSトランジスタである。

[0034] フォトダイオード Pには、レンズ系 2及び絞り 3を通過した光が当たるようになつている。このフォトダイオード Pの力ソード Pには直流電圧 V が印加されており、アノード P にはトランジスタ Tのドレイン Τ 及びゲート Τ と、トランジスタ Τのゲート Τ とが接続

1 ID 1G 2 2G されている。

[0035] トランジスタ Τのソース Τ には信号印加ライン L (図 2の L 〜L に相当）が接続さ

1 IS C CI Cn

れており、この信号印加ライン L力信号 φ が入力されるようになっている。ここで

C VPS

、信号 φ は 2値の電圧信号であり、より詳細には、入射光量が所定値を超えたとき

VPS

にトランジスタ Tをサブスレツショルド領域で動作させるための電圧値 VHと、トランジ

1

スタ Tを導通状態にする電圧値 VLとの 2つの値をとるようになって、る。

1

[0036] 本実施形態の撮像素子 4は、入射光量が所定の閾値を超えたときは各画素 G 〜 ml

G のトランジスタ Tをサブスレツショルド領域で動作させることによって、入射光を自 mn 1

然対数で対数変換した電圧として読み出すことができるようになつている。これにより、撮像素子 4の出力信号は、図 4に示すように、入射光量に応じて線形領域及び対数領域が連続的に変化するようになって、る。

[0037] また、図 3に示すように、トランジスタ Tのドレイン T には直流電圧 V が印加されて

2 2D PD

おり、トランジスタ Tのソース T は行選択用のトランジスタ Tのドレイン T に接続され

2 2S 3 3D

ている。

[0038] 更に、トランジスタ Tのゲート T には信号印加ライン L (図 2の L 〜L に相当）が

3 3G A Al An

接続されており、信号印加ライン L力も信号 φ が入力されるようになっている。また、

A V

トランジスタ Tのソース T は信号読出ライン L (図 2の L 〜L に相当）に接続され

3 3S D Dl Dm ている。

[0039] なお、以上のような画素 G 〜G としては、特開 2002— 77733号公報に開示のも

11 mn

のを用いることができる。

[0040] ここで、本実施形態の撮像素子 4の電気信号の入出力特性は、撮像素子 4又はその近傍の温度変化に起因して変化する。具体的には、図 5に示すように、撮像素子 4 又はその近傍の温度力 ¾〜tの順で小さくなるほど、曲線（1)〜（3)の順で線形変換

1 3

動作と対数変換動作とが切り換えられる境界、いわゆる変曲点における出力信号値（変曲出力信号値 H)は大きくなり、対数領域の傾きは小さくなる。

[0041] これは、撮像素子 4又はその近傍の温度が低くなるほどトランジスタ Tのゲート T と

1 1G ソース T とのポテンシャルの差が大きくなり、トランジスタ Tがカットオフ状態で動作する被写体輝度の割合、すなわち線形変換する被写体輝度の割合が大きくなるためである。

[0042] したがって、撮像素子 4又はその近傍の温度を変化させることにより、画像信号のダイナミックレンジや変曲点での所定入射光量、変曲出力信号値 H (図 4参照）を制御することができる。具体的には、例えば、被写体の輝度範囲が狭い場合は前記温度を低くして線形変換する輝度範囲を広くし、被写体の輝度範囲が広い場合には前記温度を高くして対数変換する輝度範囲を広くして、画素 G 〜G の光電変換特性を

11 mn

被写体の特性に合わせることができる。また、常に画素 G 〜G

11 mnが線形変換動作を行う状態又は常に画素 G 〜G が対数変換動作を行う状態とすることも可能である。

11 mn

[0043] なお、露光時間が短くなる場合や、信号 φ の電圧値 VL, VHの差が大きくなる場

VPS

合にも、線形変換する被写体輝度の割合は大きくなるため、制御電圧や露光時間を変化させることによって画素 G 〜G の光電変換特性を変更することも可能である。

11 mn

[0044] 図 5において、撮像素子 4又はその近傍の温度 t〜tにおける撮像素子 4の対数出

1 3

力信号 y〜yは、それぞれ下記式（1)〜（3)によって表される。

1 3

[0045] [数 1]

y i = c j L n + d !-- ( 1 )

[0046] [数 2]

y₂ = c ₂し _nx + d₂'-' { 2 }

[0047] [数 3]

y ₃— c ₃L_nx + d ₃"- 3 )

[0048] 上記式（1)〜（3)において、 c〜cは対数出力信号の傾き、 d〜dは対数出力信

1 3 1 3

号の切片であり、それぞれ温度 t〜tに対応する定数である。なお、上記式（1)〜（3

1 3

)の傾き c〜c又は切片 d〜dの値は、画素 G 〜G の特性により、画素 G 〜G

1 3 1 3 11 mn 11 mn ごとに異なる場合がある。

[0049] 以下、線形変換動作の行われる割合が最も小さぐ対数変換動作の行われる割合が最も大きいときの温度 tを基準温度とする。

[0050] 次に、図 1に示すように、撮像素子 4にはアンプ 9及び ADコンバータ (ADC) 10を介して黒基準設定部 11が接続されて!、る。 [0051] 黒基準設定部 11は、デジタル信号の最低レベルを設定するものである。

[0052] また、図 1に示すように、撮像装置 1は温度検出器 12を備えている。温度検出器 12 は、温度の変化に応じて抵抗値が変化する特性を有するサーミスタなどの温度センサを備えており、撮像素子 4又はその近傍の温度を検出するようになっている。

[0053] 次に、黒基準設定部 11には信号処理部 13が接続されている。信号処理部 13は、対数変換動作によって撮像素子 4から出力される電気信号に対して信号処理を行うものであり、図 1及び図 6に示すように、変動補正部 14及び線形ィ匕部 15を備えている。また、変動補正部 14及び線形ィ匕部 15は、それぞれ撮像素子 4が備える複数の画素に対応づけて設けられており、複数の画素ごとに異なる信号処理を行うことも可能となっている。

[0054] 変動補正部 14は、撮像素子 4の前記駆動条件、本実施形態においては撮像素子 4又はその近傍の温度変化に起因して撮像素子 4の入出力特性が変動する場合に、この撮像素子 4から出力される電気信号の変動補正を行うものである。

[0055] この変動補正部 14は、図 6に示すように、係数導出部 16と演算処理部 17とを備えている。

[0056] 係数導出部 16は、撮像素子 4の入出力特性の変動を補正するための補正係数を導出するものであり、補正係数を演算する演算処理部 16aを備えている。

[0057] 演算処理部 16aは、温度検出器 12で検出された温度に基づき、補正係数として、基準温度及び検出された温度における、上記式（1)〜（3)の対数出力信号の傾き c 〜c及び対数出力信号の切片 d〜dを演算により導出するようになっている。なお、

3 1 3

補正係数としては、変曲出力信号値 Hを用いることなども可能である。

[0058] これらの補正係数は前記温度に応じて変化するものであり、例えば、撮像時における撮像素子 4又はその近傍の温度が温度 t (図 5参照)であった場合は、演算処理部

2

16aは、基準温度 tにおける対数出力信号の係数 c及び dのほか、温度 tにおける

1 1 1 2 対数出力信号の係数 c及び dを演算により導出するようになっている。

2 2

[0059] ここで、補正係数としての対数出力信号の傾き c〜c及び対数出力信号の切片 d

1 3 1

〜dは、温度 t〜tとの関係式で表すことができる。したがって、演算処理部 16aは、

3 1 3

この関係式により温度 t〜tに対応する対数出力信号の傾き c〜c及び対数出力信号の切片 d〜dを演算することが可能となっている。

1 3

[0060] 例えば、下記式 (4)は、撮像時の温度 tと対数出力信号の傾き cとが、図 7に示す関係にある場合の関係式である。図 7に示されるように、対数出力信号の傾き cは、温度 tが小さくなるほど小さくなつている。

[0061] [数 4]

c = i t ₂ ²+ j t +k- (4)

[0062] また、下記式（5)は、撮像時の温度 tと対数出力信号の切片 dとが、図 8に示す関係にある場合の関係式である。図 8に示されるように、対数出力信号の切片 dは、温度 t 力、さくなるほど大きくなつている。

[0063] [数 5]

d— m t + n… ( 5 )

[0064] 次に、演算処理部 17は、係数導出部 16で導出された補正係数に基づいて、画素 G 〜G

11 mnごとに電気信号の入出力特性の変動補正を行うものである。本実施形態では、変曲出力信号値 Hより大きい電気信号、すなわち対数変換動作によって各画素 G 〜G

11 mn力出力される電気信号に、所定の変動方程式を用いた演算を行うようになっている。これにより、変動補正された対数変換動作由来の電気信号は、正確に線形変換動作由来の電気信号に特性変換することが可能な状態となる。

[0065] 例えば、撮像時の温度が温度 t (図 5参照）であった場合は、係数導出部 16で導出

2

された対数出力信号の傾き C , C及び対数出力信号の係数 d , dを用いて、対数出

1 2 1 2

力信号 yに下記の変動方程式 (6)を用いた演算を行うことにより、変動補正後の対

2

数出力信号 y 'を求めるようになつている。

2

[0066] [数 6]

y ₂ _ = ( cノ c ₂) (y ₂ - d ₂) + d ₃ -- ( 6 )

[0067] なお、上述のように上記式（1)〜（3)の傾き c〜c又は切片 d〜dの値は、画素 G

1 3 1 3 1

〜G の特性により画素 G 〜G ごとに異なる場合があることから、その場合は、画

1 mn 11 mn

素 G 〜G ごとに異なる係数によって変動補正を行うことも可能である。

11 mn

[0068] 一方、信号処理部 13が備える線形化部 15は、本発明における特性変換部であり、撮像素子 4の出力信号を線形変換動作由来の状態に統一するようになっている。この線形ィ匕部 15は、図 6に示すように、セレクタ 18、基準変換テーブル 19及び出力部 20を備えている。なお、図 6では、 ADコンバータ 10や制御装置 29 (図 1参照）などの図示を省略している。

[0069] セレクタ 18は、撮像素子 4が出力した電気信号と変曲出力信号値 Hとの大小を判別して、撮像素子 4が出力した電気信号が変曲出力信号値 Hより大きい場合、つまり対数変換動作由来の電気信号が撮像素子 4から出力される場合には、撮像素子 4からの出力信号を基準変換テーブル 19に出力し、変曲出力信号値 H以下の場合には出力部 20に出力するようになって、る。

[0070] 基準変換テーブル 19は、図 4に矢印 Zで示すように、撮像素子 4から出力される電気信号のうち、対数変換動作由来の電気信号を、入射光から線形変換された状態、つまり線形変換動作由来の状態に特性変換するものである。図 4では、 12ビットの電気信号の対数出力信号を線形変換して、全体として 24ビットの電気信号を得る例を示している。

[0071] この基準変換テーブル 19の変換特性は、撮像素子 4の駆動条件が所定の基準条件である場合、本実施形態においては撮像素子 4の温度が基準温度 tである場合に

1

、撮像素子 4から対数変換動作で出力される電気信号が正確に線形変換動作由来の状態となるように設定されて、る。

[0072] 出力部 20は、セレクタ 18又は基準変換テーブル 19から入力される電気信号を出力するものである。

[0073] このように信号処理部 13では、変動補正部 14で撮像素子 4から出力された電気信号の変動補正を行った上で、線形化部 15で対数変換動作由来の電気信号を線形変換動作由来の状態に特性変換することにより、撮像素子 4の入出力特性に対する温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することが可能となって、る。

[0074] また、画素 G 〜G 力の出力信号が対数変換動作由来の電気信号である場合

11 mn

にのみ変動補正を行うので、出力信号が線形変換動作由来の電気信号である場合、つまり、対数変換動作に由来の電気信号を他方の変換動作に由来の状態に変換する必要のない場合には無駄に変動補正が行われないこととなり、その結果、信号処理が高速化される。

[0075] 以上の信号処理部 13には、図 1に示すように、変曲信号導出部 21及び画像処理部 22が接続されると共に、評価値算出部 28及び制御装置 29がこの順に接続されている。

[0076] 変曲信号導出部 21は、温度に応じた変曲出力信号値 Hを導出して、変動補正部 1 4の演算処理部 17及び線形化部 15のセレクタ 18に送信するようになって!/、る。本実施形態においては、図 6に示すように、温度検出器 12の検出結果に基づいて変曲出力信号値 Hを演算する演算器 21aが備えられている。なお、温度検出器 12の検出結果の入力により変曲出力信号値 Hを導出するルックアップテーブルを備える構成としてちよい。

[0077] 画像処理部 22は、画素 G 〜G からの電気信号全体によつて構成される画像デ

11 mn

ータに対して画像処理を行うものであり、 AWB処理部 23、色補間部 24、色補正部 2 5、階調変換部 26及び色空間変換部 27を備えている。これら AWB処理部 23、色補間部 24、色補正部 25、階調変換部 26及び色空間変換部 27は、信号処理部 13に対してこの順に接続されて!、る。

[0078] AWB処理部 23は画像データに対してホワイトバランス処理を行うものであり、色補間部 24は同色の前記フィルタが設けられた複数の近接画素力もの電気信号に基づいて、これら近接画素間に位置する画素についてこの色の電気信号を補間演算するものである。色補正部 25は画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素 G 〜G ごとに補正するもので

ll mn

ある。階調変換部 26は画像データの階調変換を行うものであり、色空間変換部 27は

RGB信号を YCbCr信号に変換するものである。

[0079] 評価値算出部 28は、 AWB処理部 23でのホワイトバランス処理 (AWB処理）に用いられる AWB評価値や、露光制御処理部 30での露出制御処理 (AE処理）に用いられる AE評価値を算出するものである。

[0080] 制御装置 29は、撮像装置 1の各部を制御するものであって、図 1に示すように、上述のアンプ 9、黒基準設定部 11、信号処理部 13、変曲信号導出部 21、 AWB処理部 23、色補間部 24、色補正部 25、階調変換部 26及び色空間変換部 27と接続されている。

[0081] また、制御装置 29は、露光制御処理部 30を介して絞り 3と接続され、信号生成部 3 1を介して撮像素子 4及び ADコンバータ 10と接続されている。

[0082] 露光制御処理部 30は、レンズ系 2より集光される光の量を調整する絞り 3を駆動制御するようになっている。

[0083] 信号生成部 31は、撮像素子 4の撮影動作を制御するようになっている。すなわち、制御装置 29からの撮影制御信号に基づ、て所定のタイミングパルス (画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子 4に出力するようになっている。また、信号生成部 31は AD 変換用のタイミング信号も生成するようになっている。

[0084] 続いて、撮像装置 1の撮像動作について説明する。

[0085] まず、撮像素子 4が各画素 G 〜G への入射光を光電変換し、線形変換動作又は

ll mn

対数変換動作由来の電気信号をアナログ信号として出力する。具体的には、上述のように各画素 G 〜G が信号読出ライン Lに電気信号を出力すると、この電気信号

11 mn D

を定電流源 Dが増幅し、選択回路 Sが順にサンプルホールドする。そして、サンプルホールドされた電気信号が選択回路 Sから補正回路 23に送出されると、補正回路 23 がノイズを除去して電気信号を出力する。

[0086] 次に、撮像素子 4から出力されたアナログ信号をアンプ 9が増幅し、 ADコンバータ 10がデジタル信号に変換する。次に、黒基準設定部 11がデジタル信号の最低レべルを設定した後、そのデジタル信号を信号処理部 13の変動補正部 14及び線形ィ匕部 15に送信する。

[0087] 一方、温度検出器 12は、撮像素子 4又はその近傍の温度を検出して変曲信号導出部 21に送信すると共に、信号処理部の変動補正部 14及び線形ィ匕部 15に送信する。

[0088] 続いて、変曲信号導出部 21が前記温度を受信すると、その温度に基づく演算により変曲出力信号値 Hを導出して変動補正部 14の演算処理部 17及び線形ィ匕部 15のセレクタ 18に送信する。なお、変曲出力信号値 Hはルックアップテーブルによって導出してもよい。このようにルックアップテーブルを用いる場合は、変曲出力信号値 Hを正確に導出できると共に、導出処理が高速化される。

[0089] 次に、信号処理部 13の変動補正部 14が、撮像素子 4又はその近傍の温度を受信すると、係数導出部 16は撮像素子 4の入出力特性の変動を補正するための補正係数を導出する。すなわち、係数導出部 16の演算処理部 16aは、温度検出器 12で検出された温度に基づき、補正係数として、上記式（1)〜（3)の対数出力信号の傾き c 〜c及び対数出力信号の切片 d〜dを演算により導出する。

3 1 3

[0090] 例えば、撮像時の温度が温度 t (図 5参照）であった場合は、演算処理部 16aは、

2

基準温度 tにおける対数出力信号の係数 C及び dのほか、温度 tにおける対数出

1 1 1 2 力信号の係数 c及び dを演算により導出する。これらの補正係数は、上記式 (4)又

2 2

は（5)などを用いた演算により導出することが可能である。

[0091] 続いて、演算処理部 17は、係数導出部 16で導出された補正係数に基づいて、画素 G 〜G

11 mnごとに電気信号の入出力特性の変動補正を行う。本実施形態では、変曲出力信号値 Hより大きい電気信号、すなわち対数変換動作によって各画素 G 〜

11

G

mnから出力される電気信号に、所定の変動方程式を用いた演算を行う。これにより、変動補正された対数変換動作由来の電気信号は、正確に線形変換動作由来の電気信号に特性変換することが可能な状態となる。

[0092] 例えば、撮像時の温度が温度 t (図 5参照）であった場合は、上記式 (6)を用いた

2

演算を行うことにより、変動補正後の対数出力信号 y

2 'を求めることができる。

[0093] 次に、信号処理部 13の線形ィ匕部 15は、撮像素子 4からの出力信号を線形変換動作由来の状態に統一する。すなわち、まずセレクタ 18が撮像素子 4が出力した電気信号と変曲出力信号値 Hとの大小を判別して、撮像素子 4が出力した電気信号が変曲出力信号値 Hより大きい場合、つまり対数変換動作由来の電気信号が撮像素子 4 カゝら出力される場合には、撮像素子 4からの出力信号を基準変換テーブル 19に出力し、変曲出力信号値 H以下の場合には出力部 20に出力する。

[0094] 続いて、基準変換テーブル 19は、図 4に矢印 Zで示すように、撮像素子 4から出力される電気信号のうち、対数変換動作由来の電気信号を、入射光から線形変換された状態、つまり線形変換動作由来の状態に特性変換する。

[0095] そして、出力部 20は、セレクタ 18又は基準変換テーブル 19から入力される電気信号を出力する。

[0096] このように、信号処理部 13の変動補正部 14が撮像素子 4から出力された電気信号の変動補正を行った上で、線形化部 15が対数変換動作由来の電気信号を線形変換動作由来の状態に特性変換することにより、撮像素子 4の入出力特性に対する温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することができる。

[0097] また、画素 G 〜G 力の出力信号が対数変換動作由来の電気信号である場合

11 mn

[0098] 次に、信号処理部 13の線形化部 15から出力される電気信号に基づいて評価値算出部 28が前記 AWB評価値， AE評価値を算出する。

[0099] 次に、算出された AE評価値に基づいて制御装置 29が露光制御処理部 30を制御し、撮像素子 4に対する露光量を調節させる。

[0100] また、 AWB評価値や、黒基準設定部 11で設定された最低レベルなどに基づいて制御装置 29が AWB処理部 23を制御し、信号処理部 13から出力される画像データに対してホワイトバランス処理を行わせる。

[0101] そして、 AWB処理部 23から出力される画像データに基づいて色補間部 24、色補正部 25、階調変換部 26及び色空間変換部 27がそれぞれ画像処理を行った後、画像データを出力する。

[0102] 以上のように本実施形態の撮像装置 1によれば、撮像素子又はその近傍の温度変化に起因して撮像素子の入出力特性が変動する場合に、撮像素子が出力する電気信号の変動補正を行うので、電気信号から温度変化に影響される成分を除去することができる。したがって、特性変換によって電気信号を正確に線形変換動作由来の状態に統一することが可能となる。

[0103] また、ルックアップテーブルにより特性変換を実現するので、演算によって補正係数を導出する場合と比較して、係数導出部の構成を簡素化するとともに、導出処理を高速ィ匕することができる。

[0104] また、演算により補正係数を導出すれば、ルックアップテーブルで導出する場合と比較して回路規模を縮小化することが可能となる。

[0105] また、温度の入力により演算に用いる係数をルックアップテーブルで導出すれば、温度ごとに係数が異なる場合でも正確かつ高速に係数を導出することが可能となる。

[0106] また、特性変換部を各画素に対応づけて設けることから、画素ごとに入出力特性のばらつきがある場合でも、電気信号全体を正確に線形変換動作由来の状態に統一することが可能となる。

[0107] また、変動補正部を各画素に対応づけて設けることから、画素ごとに変動量のばらつきがある場合でも、電気信号全体を正確に線形変換動作由来の状態に同一することが可能となる。

[0108] また、撮像素子が出力する電気信号が対数変換動作由来の場合のみ信号処理を行うことから、電気信号が線形変換動作由来の状態で特性変換を行う必要がない場合に信号処理が行われることが回避され、無駄な信号処理を省略して全体の処理を高速ィ匕することが可能となる。

[0109] また、変曲信号導出部は温度検出器で検出された温度に基づく演算を行うことにより、ルックアップテーブルを用いる場合と比較して回路規模を縮小化することが可能となる。

[0110] また、変曲信号導出部はルックアップテーブルを用いることにより、変曲出力信号値を正確かつ高速に導出することが可能となる。

[0111] なお、本実施形態においては、変動補正部 14は線形ィ匕部 15の前段に配設されることとして説明したが、後段に配設されることとしてもよいし、係数導出部 16を線形ィ匕部 15の前段に、演算処理部 17を後段に設けることとしてもよい。

[0112] また、変動補正部 14は、変動補正後の電気信号を導出する演算処理部 17を備えることとして説明したが、駆動条件や画素情報、撮像素子 4から出力される電気信号などの入力によって変動補正後の電気信号を導出するルックアップテーブルを備えることとしてもよい。この場合には、上記実施の形態と同様の効果を得ることができ、また、演算によって変動補正後の電気信号を導出する場合と比較して変動補正部 14 の構成を簡素化することができる。

[0113] また、係数導出部 16は、補正係数を導出する基準変換テーブル 19を備えることとして説明したが、駆動条件などの入力によって補正係数を導出する演算器を備えることとしてちよい。

[0114] また、本発明における特性変換部を、対数変換動作由来の電気信号を線形変換によって生成された状態に特性変換する線形ィ匕部 15として説明したが、線形変換動作由来の電気信号を対数変換動作由来の状態に特性変換するものとしてもよい。

[0115] また変曲信号導出部 21は変曲出力信号値 Hを導出する演算器を備えることとして説明したが、変曲出力信号値 Hを導出するルックアップテーブルを備えることとしてもよい。

[0116] また、線形ィ匕部 15は基準変換テーブル 19によって特性変換を行うこととして説明したが、指数変換するなどの演算によって行うこととしてもよい。

[0117] また、画素 G 〜G は図 3のような構成を有することとして説明したが、線形変換動

11 mn

作と対数変換動作とを切り換え可能であれば、例えば上述の特許文献 1に示されるような構成を有することとしてもよ、。

[0118] 更に、各画素 G 〜G に RGBフィルタを設けることとして説明した力シアン（Cyan

11 mn

)、マゼンタ（Magenta)及びイェロー (Yellow)などの他の色フィルタを設けることとしてちょい。

[0119] 次に、上記実施形態の変形例について図 9を参照して説明する。なお、上記実施の形態と同様の構成要素には同一の符号を付し、その説明を省略する。

[0120] 図 9に示すように、本変形例の変動補正部 14は、演算係数導出テーブル 16b及び演算処理部 16cを備えている。

[0121] 演算係数導出テーブル 16bは、温度検出器 12で検出された温度が入力されると、その温度に対応するものとして予め記憶された対数出力信号の近似式の係数を導出するようになっている。

[0122] ここで、対数出力信号の近似式とは、例えば、上記式 (4)で示される図 7の曲線 (4) において、温度範囲（a)の出力信号を直線（7)に近似した場合の下記式（7)及び温度範囲 (b)の出力信号を直線 (8)に近似した場合の下記式 (8)をいう。そして、演算係数導出テーブル 16bには、これらの近似式の係数 a j8 _nが予め各温度範囲と対応付けて記憶されており、撮像素子 4又はその近傍の温度を入力することにより、係数 α , j8 を導出するようになっている。

[0123] [数 7]

c = a！ t + β！■■■ ( 7 )

[0124] [数 8]

[0125] また、演算処理部 16cは、演算係数導出テーブル 16bで導出された係数 a , β を用いて、上記式（7)又は（8)により、温度検出器 12から入力された温度に対応する対数出力信号の傾き cを演算により導出するようになっている。

[0126] このように、対数出力信号を折れ線近似して一次関数で表現することにより、係数の導出に関わる演算処理部の構成を一つにまとめることが可能となり、第 1の実施形態と比較して回路構成を簡単ィ匕することが可能となる。

[0127] 次に、本実施形態の撮像装置 1の動作について説明する。

[0128] 本実施形態では、信号処理部 13の変動補正部 14が撮像素子 4又はその近傍の温度を受信すると、係数導出部 16の演算係数導出テーブル 16bが、その温度に対応するものとして予め記憶された対数出力信号の上記近似式（7)又は（8)の係数 oc , β を導出する。続いて、係数導出部 16の演算処理部 16cは、上記式（7)又は（8) によって、温度検出器 12から入力された温度に対応する対数出力信号の傾き cを演算により導出する。続いて、演算処理部 17は、係数導出部 16で導出された補正係数に基づいて、上記式 (6)により、画素 G 〜G ごとに電気信号の入出力特性の変

11 mn

動補正を行う。

[0129] 以上詳細に説明したように、本発明に係る撮像装置によれば、撮像素子又はその近傍の温度変化があった場合でも、特性変換により電気信号を正確に線形変換動作由来の状態に統一することが可能となる。

[0130] また、特性変換部の構成を簡素化するとともに、特性変換の処理を高速化することができる。

[0131] また、ルックアップテーブルで係数導出部の回路規模を縮小化することが可能となる。

[0132] また、正確かつ高速に演算に用いる係数を導出することが可能となる。

[0133] また、電気信号全体を正確に線形変換動作由来の状態に統一することが可能となる。

[0134] また、無駄な信号処理を省略して全体の処理を高速化することが可能となる。

[0135] また、変曲信号導出部の回路規模を縮小化することが可能となる。

[0136] また、ルックアップテーブルで変曲出力信号値を正確かつ高速に導出することが可能となる。

Claims

請求の範囲

[1] 入射光を電気信号に線形変換する線形変換動作と、入射光を対数変換する対数変換動作とを入射光量に基づいて切り換える画素を複数個有する撮像素子と、前記撮像素子又はその近傍の温度を検出する温度検出器と、

検出された温度に基づいて、前記撮像素子から対数変換されて出力される電気信号を基準電気信号に補正する補正部と、

補正部で補正された電気信号を、対数変換する前の電気信号を線形変換して得られる電気信号に変換して出力する変換部と、

を有することを特徴とする撮像装置。

[2] 前記基準電気信号は、所定温度において前記撮像素子から対数変換されて出力される電気信号であることを特徴とする請求の範囲第 1項記載の撮像装置。

[3] 前記変換部は、補正部で補正された電気信号を、対数変換する前の電気信号を線形変換して得られる電気信号に変換するルックアップテーブルを備えることを特徴とする請求の範囲第 1項記載の撮像装置。

[4] 前記補正部は、前記温度検出器で検出された温度に基づ!、て補正係数を導出する係数導出部と、前記電気信号に前記補正係数を用いた演算をすることにより補正を行う演算処理部とを備えることを特徴とする請求の範囲第 1項記載の撮像装置。

[5] 前記係数導出部は前記温度検出器で検出された温度に基づいて補正係数を演算して求めることを特徴とする請求の範囲第 4項記載の撮像装置。

[6] 前記係数導出部は前記温度検出器で検出された温度の入力により補正係数を導出するルックアップテーブルを備えることを特徴とする請求の範囲第 4項記載の撮像装置。

[7] 前記変換部は前記複数の画素に対応づけて設けられていることを特徴とする請求の範囲第 1項記載の撮像装置。

[8] 前記補正部は前記複数の画素に対応づけて設けられていることを特徴とする請求の範囲第 1項記載の撮像装置。

[9] 前記撮像素子において線形変換動作と対数変換動作とが切り換えられる変曲点における出力信号値を導出する変曲信号導出部を備え、前記変換部は、前記撮像素子の出力信号値が前記変曲点における出力信号値よりも大きい場合にのみ変換を行うことを特徴とする請求の範囲第 1項記載の撮像装置。

[10] 前記変曲信号導出部は、前記温度検出器で検出された温度に基づいて変曲点における出力信号値を導出する演算器を備えることを特徴とする請求の範囲第 9項記載の撮像装置。

[11] 前記変曲信号導出部は、前記温度検出器で検出された温度の入力により変曲点における出力信号値を導出するルックアップテーブルを備えることを特徴とする請求の範囲第 9項記載の撮像装置。