JP4853734B2

JP4853734B2 - 撮像装置

Info

Publication number: JP4853734B2
Application number: JP2007534343A
Authority: JP
Inventors: 和子中川
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2005-09-09
Filing date: 2006-08-29
Publication date: 2012-01-11
Anticipated expiration: 2026-08-29
Also published as: WO2007029550A1; JPWO2007029550A1

Description

本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。

従来、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また近年では、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換える撮像素子（リニアログ変換型センサ）が提案されている。このリニアログ変換型センサによれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも全輝度情報を電気信号で表現することができる。

しかし、リニアログ変換型センサの出力には対数変換動作由来の電気信号と線形変換動作由来の電気信号が含まれるため、演算処理が複雑になるという問題があった。そこで、対数変換動作由来の電気信号を線形変換動作由来の状態に変換するか、或いは線形変換動作由来の電気信号を対数変換動作由来の状態に変換する特性変換を行う信号処理部を設けて、電気信号全体を線形変換動作由来又は対数変換動作由来の状態に統一して電気信号の処理を容易化する撮像装置が提案されている。

また、リニアログ変換型センサの入出力特性は、撮像素子又はその近傍の温度変化に起因して変動するという特性を有する。そこで、このような温度変化が撮像素子の入出力特性に影響しないように、対数変換動作由来の電気信号を線形変換動作由来の電気信号に変換する特性変換を演算によって実現し、雰囲気温度の変化に応じて演算内容を変化させることによって、電気信号の入出力特性のばらつきを補正することで、撮像素子の入出力特性の変動補正を行う撮像装置が開示されている（例えば、特許文献１参照）。
特開２００４−３５６８６６号公報

しかしながら、特許文献１に記載の撮像装置における変動補正は、指数演算を含む複雑な演算処理のみによって実現されていたため、ハードウェアによる回路化は困難であった。

また、特許文献１に記載の撮像装置では、撮像素子の画素間で電気信号の入出力特性にばらつきがあった場合、画素ごとに入出力特性のばらつきを補正することができなかった。

本発明の課題は、撮像素子の入出力特性に対する撮像素子の温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することができる撮像装置を提供することである。

本発明の撮像装置は、入射光を電気信号に線形変換する線形変換動作と、入射光を対数変換する対数変換動作とを入射光量に基づいて切り換える画素を複数個有する撮像素子と、前記撮像素子又はその近傍の温度を検出する温度検出器と、前記検出された温度に基づいて、前記撮像素子から対数変換されて出力される電気信号を基準電気信号に補正する補正部と、前記補正部で補正された電気信号を、対数変換する前の電気信号を線形変換して得られる電気信号に変換して出力する変換部と、を有し、前記撮像素子において線形変換動作と対数変換動作とが切り換えられる変曲点における出力信号値を導出する変曲信号導出部を備え、前記変換部は、前記撮像素子の出力信号値が前記変曲点における出力信号値よりも大きい場合にのみ変換を行うことを特徴とする。

本発明によれば、撮像素子又はその近傍の温度変化に起因して撮像素子の入出力特性が変動する場合に、撮像素子が出力する電気信号の変動補正を行うので、電気信号から温度変化に影響される成分を除去することができる。したがって、特性変換によって電気信号を正確に線形変換動作由来の状態に統一することが可能となることである。

さらに、本発明によれば、撮像素子又はその近傍の温度変化があった場合でも、特性の変換により電気信号を正確に線形変換動作由来の状態に統一することが可能となることである。

本発明の他の効果は、ルックアップテーブルにより変換を実現するので、演算によって変換を行う場合と比較して、変換部の構成を簡素化するとともに、変換の処理を高速化することができることである。

本発明の他の効果は、演算によって補正係数を導出するので、ルックアップテーブルで導出する場合と比較して係数導出部の回路規模を縮小化することが可能となることである。

本発明の他の効果は、温度の入力により演算に用いる係数をルックアップテーブルで導出するため、温度ごとに係数が異なる場合でも正確かつ高速に係数を導出することが可能となることである。

本発明の他の効果は、変換部を各画素に対応づけて設けることから、画素ごとに入出力特性のばらつきがある場合でも、電気信号全体を正確に線形変換動作由来の状態に統一することが可能となることである。

本発明の他の効果は、補正部を各画素に対応づけて設けることから、画素ごとに変動量のばらつきがある場合でも、電気信号全体を正確に線形変換動作由来の状態に同一することが可能となることである。

本発明の他の効果は、撮像素子が出力する電気信号が対数変換動作由来の場合のみ信号処理を行うので、電気信号が線形変換動作由来の状態で変換を行う必要がない場合に信号処理が行われることが回避され、無駄な信号処理を省略して全体の処理を高速化することが可能となることである。

本発明の他の効果は、温度検出器で検出された温度に基づく演算を行うため、ルックアップテーブルを用いる場合と比較して回路規模を縮小化することが可能となることである。

本発明の他の効果は、ルックアップテーブルを用いるため、変曲出力信号値を正確かつ高速に導出することが可能となることである。

本実施形態に係る撮像装置の概略構成を示すブロック図である。本実施形態に係る撮像素子の構成を示すブロック図である。本実施形態に係る画素の構成を示す回路図である。本実施形態に係る撮像素子の出力信号を示すグラフである。本実施形態に係る撮像素子又はその近傍の各温度における出力信号を示すグラフである。本実施形態に係る信号処理部の構成を示すブロック図である。撮像素子の対数出力信号の傾きと温度との関係を示すグラフである。撮像素子の対数出力信号の切片と撮像素子の温度との関係を示すグラフである。本実施形態に係る信号処理部の他の構成を示すブロック図である。

符号の説明

１撮像装置
２レンズ系
３絞り
４撮像素子
９アンプ
１０コンバータ
１１黒基準設定部
１２温度検出器
１３信号処理部
１４変動補正部
１５線形化部
１６係数導出部
１７演算処理部
１８セレクタ
１９基準変換テーブル
２０出力部
２１変曲信号導出部
２２画像処理部
２３ＡＷＢ処理部
２４色補間部
２５色補正部
２６階調変換部
２７色空間変換部
２８評価値算出部
２９制御装置
３０露光制御処理部
３１信号生成部

以下、図面を参照しつつ、本発明の実施の形態について説明する。

図１は、本発明に係る撮像装置１の概略構成を示すブロック図である。

この図に示すように、撮像装置１は、レンズ系２及び絞り３を介して入射光を受光する撮像素子４を備えている。これらレンズ系２及び絞り３としては、従来より公知のものが用いられている。

撮像素子４は、図２に示すように、行列配置（マトリクス配置）された複数の画素Ｇ₁₁〜Ｇ_mn（但し、ｎ，ｍは１以上の整数）を有している。

各画素Ｇ₁₁〜Ｇ_mnは、入射光を光電変換して電気信号を出力するものである。これら画素Ｇ₁₁〜Ｇ_mnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、後述のように、所定入射光量未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。

これら画素Ｇ₁₁〜Ｇ_mnのレンズ系２側には、それぞれレッド（Red）、グリーン（Green）及びブルー（Blue）のうち何れか１色のフィルタ（図示せず）が配設されている。また、画素Ｇ₁₁〜Ｇ_mnには、図２に示すように、電源ライン２０や信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cn、信号読出ラインＬ_D1〜Ｌ_Dmが接続されている。なお、画素Ｇ₁₁〜Ｇ_mnにはクロックラインやバイアス供給ラインなどのラインも接続されているが、図２ではこれらの図示を省略している。

信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnは、画素Ｇ₁₁〜Ｇ_mnに対して信号φ_v，φ_VPS（図３参照）を与えるようになっている。これら信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnには、垂直走査回路２１が接続されている。この垂直走査回路２１は、後述の信号生成部３１（図１参照）からの信号に基づいて信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnに信号を印加するものであり、信号を印加する対象の信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_CnをＸ方向に順次切り換えるようになっている。

信号読出ラインＬ_D1〜Ｌ_Dmには、各画素Ｇ₁₁〜Ｇ_mnで生成された電気信号が導出されるようになっている。これら信号読出ラインＬ_D1〜Ｌ_Dmには定電流源Ｄ₁〜Ｄ_m及び選択回路Ｓ₁〜Ｓ_mが接続されている。

定電流源Ｄ₁〜Ｄ_mの一端（図中下側の端部）には、直流電圧Ｖ_PSが印加されるようになっている。

選択回路Ｓ₁〜Ｓ_mは、各信号読出ラインＬ_D1〜Ｌ_Dmを介して画素Ｇ₁₁〜Ｇ_mnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路Ｓ₁〜Ｓ_mには水平走査回路２２及び補正回路２３が接続されている。水平走査回路２２は、電気信号をサンプルホールドして補正回路２３に送信する選択回路Ｓ₁〜Ｓ_mを、Ｙ方向に順次切り換えるものである。また、補正回路２３は、選択回路Ｓ₁〜Ｓ_mから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。

なお、選択回路Ｓ₁〜Ｓ_m及び補正回路２３としては、特開平２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施形態においては、選択回路Ｓ₁〜Ｓ_mの全体に対して補正回路２３を１つのみ設けることとして説明するが、選択回路Ｓ₁〜Ｓ_mのそれぞれに対して補正回路２３を１つずつ設けることとしてもよい。

続いて、本実施形態における画素Ｇ₁₁〜Ｇ_mnについて説明する。

各画素Ｇ₁₁〜Ｇ_mnは、図３に示すように、フォトダイオードＰ及びトランジスタＴ₁〜Ｔ₃を備えている。なお、トランジスタＴ₁〜Ｔ₃は、バックゲートの接地されたＮチャネルのＭＯＳトランジスタである。

フォトダイオードＰには、レンズ系２及び絞り３を通過した光が当たるようになっている。このフォトダイオードＰのカソードＰ_kには直流電圧Ｖ_PDが印加されており、アノードＰ_AにはトランジスタＴ₁のドレインＴ_1D及びゲートＴ_1Gと、トランジスタＴ₂のゲートＴ_2Gとが接続されている。

トランジスタＴ₁のソースＴ_1Sには信号印加ラインＬ_C（図２のＬ_C1〜Ｌ_Cnに相当）が接続されており、この信号印加ラインＬ_Cから信号φ_VPSが入力されるようになっている。ここで、信号φ_VPSは２値の電圧信号であり、より詳細には、入射光量が所定値を超えたときにトランジスタＴ₁をサブスレッショルド領域で動作させるための電圧値ＶＨと、トランジスタＴ₁を導通状態にする電圧値ＶＬとの２つの値をとるようになっている。

本実施形態の撮像素子４は、入射光量が所定の閾値を超えたときは各画素Ｇ_ｍ１〜Ｇ_mnのトランジスタＴ₁をサブスレッショルド領域で動作させることによって、入射光を自然対数で対数変換した電圧として読み出すことができるようになっている。これにより、撮像素子４の出力信号は、図４に示すように、入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。

また、図３に示すように、トランジスタＴ₂のドレインＴ_2Dには直流電圧Ｖ_PDが印加されており、トランジスタＴ₂のソースＴ_2Sは行選択用のトランジスタＴ₃のドレインＴ_3Dに接続されている。

更に、トランジスタＴ₃のゲートＴ_3Gには信号印加ラインＬ_A（図２のＬ_A1〜Ｌ_Anに相当）が接続されており、信号印加ラインＬ_Aから信号φ_Vが入力されるようになっている。また、トランジスタＴ₃のソースＴ_3Sは信号読出ラインＬ_D（図２のＬ_D1〜Ｌ_Dmに相当）に接続されている。

なお、以上のような画素Ｇ₁₁〜Ｇ_mnとしては、特開２００２−７７７３３号公報に開示のものを用いることができる。

ここで、本実施形態の撮像素子４の電気信号の入出力特性は、撮像素子４又はその近傍の温度変化に起因して変化する。具体的には、図５に示すように、撮像素子４又はその近傍の温度がｔ_１〜ｔ_３の順で小さくなるほど、曲線（１）〜（３）の順で線形変換動作と対数変換動作とが切り換えられる境界、いわゆる変曲点における出力信号値（変曲出力信号値Ｈ）は大きくなり、対数領域の傾きは小さくなる。

これは、撮像素子４又はその近傍の温度が低くなるほどトランジスタＴ_１のゲートＴ_1GとソースＴ_1Sとのポテンシャルの差が大きくなり、トランジスタＴ_１がカットオフ状態で動作する被写体輝度の割合、すなわち線形変換する被写体輝度の割合が大きくなるためである。

したがって、撮像素子４又はその近傍の温度を変化させることにより、画像信号のダイナミックレンジや変曲点での所定入射光量、変曲出力信号値Ｈ（図４参照）を制御することができる。具体的には、例えば、被写体の輝度範囲が狭い場合は前記温度を低くして線形変換する輝度範囲を広くし、被写体の輝度範囲が広い場合には前記温度を高くして対数変換する輝度範囲を広くして、画素Ｇ₁₁〜Ｇ_mnの光電変換特性を被写体の特性に合わせることができる。また、常に画素Ｇ₁₁〜Ｇ_mnが線形変換動作を行う状態又は常に画素Ｇ₁₁〜Ｇ_mnが対数変換動作を行う状態とすることも可能である。

なお、露光時間が短くなる場合や、信号φ_VPSの電圧値ＶＬ，ＶＨの差が大きくなる場合にも、線形変換する被写体輝度の割合は大きくなるため、制御電圧や露光時間を変化させることによって画素Ｇ₁₁〜Ｇ_mnの光電変換特性を変更することも可能である。

図５において、撮像素子４又はその近傍の温度ｔ_１〜ｔ_３における撮像素子４の対数出力信号ｙ_１〜ｙ_３は、それぞれ下記式（１）〜（３）によって表される。

上記式（１）〜（３）において、ｃ_１〜ｃ_３は対数出力信号の傾き、ｄ_１〜ｄ_３は対数出力信号の切片であり、それぞれ温度ｔ_１〜ｔ_３に対応する定数である。なお、上記式（１）〜（３）の傾きｃ_１〜ｃ_３又は切片ｄ_１〜ｄ_３の値は、画素Ｇ₁₁〜Ｇ_mnの特性により、画素Ｇ₁₁〜Ｇ_mnごとに異なる場合がある。

以下、線形変換動作の行われる割合が最も小さく、対数変換動作の行われる割合が最も大きいときの温度ｔ_１を基準温度とする。

次に、図１に示すように、撮像素子４にはアンプ９及びＡＤコンバータ（ＡＤＣ）１０を介して黒基準設定部１１が接続されている。

黒基準設定部１１は、デジタル信号の最低レベルを設定するものである。

また、図１に示すように、撮像装置１は温度検出器１２を備えている。温度検出器１２は、温度の変化に応じて抵抗値が変化する特性を有するサーミスタなどの温度センサを備えており、撮像素子４又はその近傍の温度を検出するようになっている。

次に、黒基準設定部１１には信号処理部１３が接続されている。信号処理部１３は、対数変換動作によって撮像素子４から出力される電気信号に対して信号処理を行うものであり、図１及び図６に示すように、変動補正部１４及び線形化部１５を備えている。また、変動補正部１４及び線形化部１５は、それぞれ撮像素子４が備える複数の画素に対応づけて設けられており、複数の画素ごとに異なる信号処理を行うことも可能となっている。

変動補正部１４は、撮像素子４の前記駆動条件、本実施形態においては撮像素子４又はその近傍の温度変化に起因して撮像素子４の入出力特性が変動する場合に、この撮像素子４から出力される電気信号の変動補正を行うものである。

この変動補正部１４は、図６に示すように、係数導出部１６と演算処理部１７とを備えている。

係数導出部１６は、撮像素子４の入出力特性の変動を補正するための補正係数を導出するものであり、補正係数を演算する演算処理部１６ａを備えている。

演算処理部１６ａは、温度検出器１２で検出された温度に基づき、補正係数として、基準温度及び検出された温度における、上記式（１）〜（３）の対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算により導出するようになっている。なお、補正係数としては、変曲出力信号値Ｈを用いることなども可能である。

これらの補正係数は前記温度に応じて変化するものであり、例えば、撮像時における撮像素子４又はその近傍の温度が温度ｔ_２（図５参照）であった場合は、演算処理部１６ａは、基準温度ｔ_１における対数出力信号の係数ｃ_１及びｄ_１のほか、温度ｔ_２における対数出力信号の係数ｃ_２及びｄ_２を演算により導出するようになっている。

ここで、補正係数としての対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３は、温度ｔ_１〜ｔ_３との関係式で表すことができる。したがって、演算処理部１６ａは、この関係式により温度ｔ_１〜ｔ_３に対応する対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算することが可能となっている。

例えば、下記式（４）は、撮像時の温度ｔと対数出力信号の傾きｃとが、図７に示す関係にある場合の関係式である。図７に示されるように、対数出力信号の傾きｃは、温度ｔが小さくなるほど小さくなっている。

また、下記式（５）は、撮像時の温度ｔと対数出力信号の切片ｄとが、図８に示す関係にある場合の関係式である。図８に示されるように、対数出力信号の切片ｄは、温度ｔが小さくなるほど大きくなっている。

次に、演算処理部１７は、係数導出部１６で導出された補正係数に基づいて、画素Ｇ₁₁〜Ｇ_mnごとに電気信号の入出力特性の変動補正を行うものである。本実施形態では、変曲出力信号値Ｈより大きい電気信号、すなわち対数変換動作によって各画素Ｇ₁₁〜Ｇ_mnから出力される電気信号に、所定の変動方程式を用いた演算を行うようになっている。これにより、変動補正された対数変換動作由来の電気信号は、正確に線形変換動作由来の電気信号に特性変換することが可能な状態となる。

例えば、撮像時の温度が温度ｔ_２（図５参照）であった場合は、係数導出部１６で導出された対数出力信号の傾きｃ_１，ｃ_２及び対数出力信号の係数ｄ_１，ｄ_２を用いて、対数出力信号ｙ_２に下記の変動方程式（６）を用いた演算を行うことにより、変動補正後の対数出力信号ｙ_２´を求めるようになっている。

なお、上述のように上記式（１）〜（３）の傾きｃ_１〜ｃ_３又は切片ｄ_１〜ｄ_３の値は、画素Ｇ₁₁〜Ｇ_mnの特性により画素Ｇ₁₁〜Ｇ_mnごとに異なる場合があることから、その場合は、画素Ｇ₁₁〜Ｇ_mnごとに異なる係数によって変動補正を行うことも可能である。

一方、信号処理部１３が備える線形化部１５は、本発明における特性変換部であり、撮像素子４の出力信号を線形変換動作由来の状態に統一するようになっている。この線形化部１５は、図６に示すように、セレクタ１８、基準変換テーブル１９及び出力部２０を備えている。なお、図６では、ＡＤコンバータ１０や制御装置２９（図１参照）などの図示を省略している。

セレクタ１８は、撮像素子４が出力した電気信号と変曲出力信号値Ｈとの大小を判別して、撮像素子４が出力した電気信号が変曲出力信号値Ｈより大きい場合、つまり対数変換動作由来の電気信号が撮像素子４から出力される場合には、撮像素子４からの出力信号を基準変換テーブル１９に出力し、変曲出力信号値Ｈ以下の場合には出力部２０に出力するようになっている。

基準変換テーブル１９は、図４に矢印Ｚで示すように、撮像素子４から出力される電気信号のうち、対数変換動作由来の電気信号を、入射光から線形変換された状態、つまり線形変換動作由来の状態に特性変換するものである。図４では、１２ビットの電気信号の対数出力信号を線形変換して、全体として２４ビットの電気信号を得る例を示している。

この基準変換テーブル１９の変換特性は、撮像素子４の駆動条件が所定の基準条件である場合、本実施形態においては撮像素子４の温度が基準温度ｔ₁である場合に、撮像素子４から対数変換動作で出力される電気信号が正確に線形変換動作由来の状態となるように設定されている。

出力部２０は、セレクタ１８又は基準変換テーブル１９から入力される電気信号を出力するものである。

このように信号処理部１３では、変動補正部１４で撮像素子４から出力された電気信号の変動補正を行った上で、線形化部１５で対数変換動作由来の電気信号を線形変換動作由来の状態に特性変換することにより、撮像素子４の入出力特性に対する温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することが可能となっている。

また、画素Ｇ₁₁〜Ｇ_mnからの出力信号が対数変換動作由来の電気信号である場合にのみ変動補正を行うので、出力信号が線形変換動作由来の電気信号である場合、つまり、対数変換動作に由来の電気信号を他方の変換動作に由来の状態に変換する必要のない場合には無駄に変動補正が行われないこととなり、その結果、信号処理が高速化される。

以上の信号処理部１３には、図１に示すように、変曲信号導出部２１及び画像処理部２２が接続されると共に、評価値算出部２８及び制御装置２９がこの順に接続されている。

変曲信号導出部２１は、温度に応じた変曲出力信号値Ｈを導出して、変動補正部１４の演算処理部１７及び線形化部１５のセレクタ１８に送信するようになっている。本実施形態においては、図６に示すように、温度検出器１２の検出結果に基づいて変曲出力信号値Ｈを演算する演算器２１ａが備えられている。なお、温度検出器１２の検出結果の入力により変曲出力信号値Ｈを導出するルックアップテーブルを備える構成としてもよい。

画像処理部２２は、画素Ｇ₁₁〜Ｇ_mnからの電気信号全体によって構成される画像データに対して画像処理を行うものであり、ＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７を備えている。これらＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７は、信号処理部１３に対してこの順に接続されている。

ＡＷＢ処理部２３は画像データに対してホワイトバランス処理を行うものであり、色補間部２４は同色の前記フィルタが設けられた複数の近接画素からの電気信号に基づいて、これら近接画素間に位置する画素についてこの色の電気信号を補間演算するものである。色補正部２５は画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素Ｇ₁₁〜Ｇ_mnごとに補正するものである。階調変換部２６は画像データの階調変換を行うものであり、色空間変換部２７はＲＧＢ信号をＹＣｂＣｒ信号に変換するものである。

評価値算出部２８は、ＡＷＢ処理部２３でのホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、露光制御処理部３０での露出制御処理（ＡＥ処理）に用いられるＡＥ評価値を算出するものである。

制御装置２９は、撮像装置１の各部を制御するものであって、図１に示すように、上述のアンプ９、黒基準設定部１１、信号処理部１３、変曲信号導出部２１、ＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７と接続されている。

また、制御装置２９は、露光制御処理部３０を介して絞り３と接続され、信号生成部３１を介して撮像素子４及びＡＤコンバータ１０と接続されている。

露光制御処理部３０は、レンズ系２より集光される光の量を調整する絞り３を駆動制御するようになっている。

信号生成部３１は、撮像素子４の撮影動作を制御するようになっている。すなわち、制御装置２９からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子４に出力するようになっている。また、信号生成部３１はＡＤ変換用のタイミング信号も生成するようになっている。

続いて、撮像装置１の撮像動作について説明する。

まず、撮像素子４が各画素Ｇ₁₁〜Ｇ_mnへの入射光を光電変換し、線形変換動作又は対数変換動作由来の電気信号をアナログ信号として出力する。具体的には、上述のように各画素Ｇ₁₁〜Ｇ_mnが信号読出ラインＬ_Dに電気信号を出力すると、この電気信号を定電流源Ｄが増幅し、選択回路Ｓが順にサンプルホールドする。そして、サンプルホールドされた電気信号が選択回路Ｓから補正回路２３に送出されると、補正回路２３がノイズを除去して電気信号を出力する。

次に、撮像素子４から出力されたアナログ信号をアンプ９が増幅し、ＡＤコンバータ１０がデジタル信号に変換する。次に、黒基準設定部１１がデジタル信号の最低レベルを設定した後、そのデジタル信号を信号処理部１３の変動補正部１４及び線形化部１５に送信する。

一方、温度検出器１２は、撮像素子４又はその近傍の温度を検出して変曲信号導出部２１に送信すると共に、信号処理部の変動補正部１４及び線形化部１５に送信する。

続いて、変曲信号導出部２１が前記温度を受信すると、その温度に基づく演算により変曲出力信号値Ｈを導出して変動補正部１４の演算処理部１７及び線形化部１５のセレクタ１８に送信する。なお、変曲出力信号値Ｈはルックアップテーブルによって導出してもよい。このようにルックアップテーブルを用いる場合は、変曲出力信号値Ｈを正確に導出できると共に、導出処理が高速化される。

次に、信号処理部１３の変動補正部１４が、撮像素子４又はその近傍の温度を受信すると、係数導出部１６は撮像素子４の入出力特性の変動を補正するための補正係数を導出する。すなわち、係数導出部１６の演算処理部１６ａは、温度検出器１２で検出された温度に基づき、補正係数として、上記式（１）〜（３）の対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算により導出する。

例えば、撮像時の温度が温度ｔ_２（図５参照）であった場合は、演算処理部１６ａは、基準温度ｔ_１における対数出力信号の係数ｃ_１及びｄ_１のほか、温度ｔ_２における対数出力信号の係数ｃ_２及びｄ_２を演算により導出する。これらの補正係数は、上記式（４）又は（５）などを用いた演算により導出することが可能である。

続いて、演算処理部１７は、係数導出部１６で導出された補正係数に基づいて、画素Ｇ₁₁〜Ｇ_mnごとに電気信号の入出力特性の変動補正を行う。本実施形態では、変曲出力信号値Ｈより大きい電気信号、すなわち対数変換動作によって各画素Ｇ₁₁〜Ｇ_mnから出力される電気信号に、所定の変動方程式を用いた演算を行う。これにより、変動補正された対数変換動作由来の電気信号は、正確に線形変換動作由来の電気信号に特性変換することが可能な状態となる。

例えば、撮像時の温度が温度ｔ_２（図５参照）であった場合は、上記式（６）を用いた演算を行うことにより、変動補正後の対数出力信号ｙ_２´を求めることができる。

次に、信号処理部１３の線形化部１５は、撮像素子４からの出力信号を線形変換動作由来の状態に統一する。すなわち、まずセレクタ１８が撮像素子４が出力した電気信号と変曲出力信号値Ｈとの大小を判別して、撮像素子４が出力した電気信号が変曲出力信号値Ｈより大きい場合、つまり対数変換動作由来の電気信号が撮像素子４から出力される場合には、撮像素子４からの出力信号を基準変換テーブル１９に出力し、変曲出力信号値Ｈ以下の場合には出力部２０に出力する。

続いて、基準変換テーブル１９は、図４に矢印Ｚで示すように、撮像素子４から出力される電気信号のうち、対数変換動作由来の電気信号を、入射光から線形変換された状態、つまり線形変換動作由来の状態に特性変換する。

そして、出力部２０は、セレクタ１８又は基準変換テーブル１９から入力される電気信号を出力する。

このように、信号処理部１３の変動補正部１４が撮像素子４から出力された電気信号の変動補正を行った上で、線形化部１５が対数変換動作由来の電気信号を線形変換動作由来の状態に特性変換することにより、撮像素子４の入出力特性に対する温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することができる。

次に、信号処理部１３の線形化部１５から出力される電気信号に基づいて評価値算出部２８が前記ＡＷＢ評価値，ＡＥ評価値を算出する。

次に、算出されたＡＥ評価値に基づいて制御装置２９が露光制御処理部３０を制御し、撮像素子４に対する露光量を調節させる。

また、ＡＷＢ評価値や、黒基準設定部１１で設定された最低レベルなどに基づいて制御装置２９がＡＷＢ処理部２３を制御し、信号処理部１３から出力される画像データに対してホワイトバランス処理を行わせる。

そして、ＡＷＢ処理部２３から出力される画像データに基づいて色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７がそれぞれ画像処理を行った後、画像データを出力する。

以上のように本実施形態の撮像装置１によれば、撮像素子又はその近傍の温度変化に起因して撮像素子の入出力特性が変動する場合に、撮像素子が出力する電気信号の変動補正を行うので、電気信号から温度変化に影響される成分を除去することができる。したがって、特性変換によって電気信号を正確に線形変換動作由来の状態に統一することが可能となる。

また、ルックアップテーブルにより特性変換を実現するので、演算によって補正係数を導出する場合と比較して、係数導出部の構成を簡素化するとともに、導出処理を高速化することができる。

また、演算により補正係数を導出すれば、ルックアップテーブルで導出する場合と比較して回路規模を縮小化することが可能となる。

また、温度の入力により演算に用いる係数をルックアップテーブルで導出すれば、温度ごとに係数が異なる場合でも正確かつ高速に係数を導出することが可能となる。

また、特性変換部を各画素に対応づけて設けることから、画素ごとに入出力特性のばらつきがある場合でも、電気信号全体を正確に線形変換動作由来の状態に統一することが可能となる。

また、変動補正部を各画素に対応づけて設けることから、画素ごとに変動量のばらつきがある場合でも、電気信号全体を正確に線形変換動作由来の状態に同一することが可能となる。

また、撮像素子が出力する電気信号が対数変換動作由来の場合のみ信号処理を行うことから、電気信号が線形変換動作由来の状態で特性変換を行う必要がない場合に信号処理が行われることが回避され、無駄な信号処理を省略して全体の処理を高速化することが可能となる。

また、変曲信号導出部は温度検出器で検出された温度に基づく演算を行うことにより、ルックアップテーブルを用いる場合と比較して回路規模を縮小化することが可能となる。

また、変曲信号導出部はルックアップテーブルを用いることにより、変曲出力信号値を正確かつ高速に導出することが可能となる。

なお、本実施形態においては、変動補正部１４は線形化部１５の前段に配設されることとして説明したが、後段に配設されることとしてもよいし、係数導出部１６を線形化部１５の前段に、演算処理部１７を後段に設けることとしてもよい。

また、変動補正部１４は、変動補正後の電気信号を導出する演算処理部１７を備えることとして説明したが、駆動条件や画素情報、撮像素子４から出力される電気信号などの入力によって変動補正後の電気信号を導出するルックアップテーブルを備えることとしてもよい。この場合には、上記実施の形態と同様の効果を得ることができ、また、演算によって変動補正後の電気信号を導出する場合と比較して変動補正部１４の構成を簡素化することができる。

また、係数導出部１６は、補正係数を導出する基準変換テーブル１９を備えることとして説明したが、駆動条件などの入力によって補正係数を導出する演算器を備えることとしてもよい。

また、本発明における特性変換部を、対数変換動作由来の電気信号を線形変換によって生成された状態に特性変換する線形化部１５として説明したが、線形変換動作由来の電気信号を対数変換動作由来の状態に特性変換するものとしてもよい。

また変曲信号導出部２１は変曲出力信号値Ｈを導出する演算器を備えることとして説明したが、変曲出力信号値Ｈを導出するルックアップテーブルを備えることとしてもよい。

また、線形化部１５は基準変換テーブル１９によって特性変換を行うこととして説明したが、指数変換するなどの演算によって行うこととしてもよい。

また、画素Ｇ₁₁〜Ｇ_mnは図３のような構成を有することとして説明したが、線形変換動作と対数変換動作とを切り換え可能であれば、例えば上述の特許文献１に示されるような構成を有することとしてもよい。

更に、各画素Ｇ₁₁〜Ｇ_mnにＲＧＢフィルタを設けることとして説明したが、シアン（Cyan）、マゼンタ（Magenta）及びイエロー（Yellow）などの他の色フィルタを設けることとしてもよい。

次に、上記実施形態の変形例について図９を参照して説明する。なお、上記実施の形態と同様の構成要素には同一の符号を付し、その説明を省略する。

図９に示すように、本変形例の変動補正部１４は、演算係数導出テーブル１６ｂ及び演算処理部１６ｃを備えている。

演算係数導出テーブル１６ｂは、温度検出器１２で検出された温度が入力されると、その温度に対応するものとして予め記憶された対数出力信号の近似式の係数を導出するようになっている。

ここで、対数出力信号の近似式とは、例えば、上記式（４）で示される図７の曲線（４）において、温度範囲（ａ）の出力信号を直線（７）に近似した場合の下記式（７）及び温度範囲（ｂ）の出力信号を直線（８）に近似した場合の下記式（８）をいう。そして、演算係数導出テーブル１６ｂには、これらの近似式の係数α_ｎ，β_ｎが予め各温度範囲と対応付けて記憶されており、撮像素子４又はその近傍の温度を入力することにより、係数α_ｎ，β_ｎを導出するようになっている。

また、演算処理部１６ｃは、演算係数導出テーブル１６ｂで導出された係数α_ｎ，β_ｎを用いて、上記式（７）又は（８）により、温度検出器１２から入力された温度に対応する対数出力信号の傾きｃを演算により導出するようになっている。

このように、対数出力信号を折れ線近似して一次関数で表現することにより、係数の導出に関わる演算処理部の構成を一つにまとめることが可能となり、第１の実施形態と比較して回路構成を簡単化することが可能となる。

次に、本実施形態の撮像装置１の動作について説明する。

本実施形態では、信号処理部１３の変動補正部１４が撮像素子４又はその近傍の温度を受信すると、係数導出部１６の演算係数導出テーブル１６ｂが、その温度に対応するものとして予め記憶された対数出力信号の上記近似式（７）又は（８）の係数α_ｎ，β_ｎを導出する。続いて、係数導出部１６の演算処理部１６ｃは、上記式（７）又は（８）によって、温度検出器１２から入力された温度に対応する対数出力信号の傾きｃを演算により導出する。続いて、演算処理部１７は、係数導出部１６で導出された補正係数に基づいて、上記式（６）により、画素Ｇ₁₁〜Ｇ_mnごとに電気信号の入出力特性の変動補正を行う。

以上詳細に説明したように、本発明に係る撮像装置によれば、撮像素子又はその近傍の温度変化があった場合でも、特性変換により電気信号を正確に線形変換動作由来の状態に統一することが可能となる。

また、特性変換部の構成を簡素化するとともに、特性変換の処理を高速化することができる。

また、ルックアップテーブルで係数導出部の回路規模を縮小化することが可能となる。

また、正確かつ高速に演算に用いる係数を導出することが可能となる。

また、電気信号全体を正確に線形変換動作由来の状態に統一することが可能となる。

また、無駄な信号処理を省略して全体の処理を高速化することが可能となる。

また、変曲信号導出部の回路規模を縮小化することが可能となる。

また、ルックアップテーブルで変曲出力信号値を正確かつ高速に導出することが可能となる。

Claims

入射光を電気信号に線形変換する線形変換動作と、入射光を対数変換する対数変換動作とを入射光量に基づいて切り換える画素を複数個有する撮像素子と、
前記撮像素子又はその近傍の温度を検出する温度検出器と、
前記検出された温度に基づいて、前記撮像素子から対数変換されて出力される電気信号を基準電気信号に補正する補正部と、
前記補正部で補正された電気信号を、対数変換する前の電気信号を線形変換して得られる電気信号に変換して出力する変換部と、を有し、
前記撮像素子において線形変換動作と対数変換動作とが切り換えられる変曲点における出力信号値を導出する変曲信号導出部を備え、
前記変換部は、前記撮像素子の出力信号値が前記変曲点における出力信号値よりも大きい場合にのみ変換を行うことを特徴とする撮像装置。
前記基準電気信号は、所定温度において前記撮像素子から対数変換されて出力される電気信号であることを特徴とする請求項１に記載の撮像装置。
前記変換部は、前記補正部で補正された電気信号を、対数変換する前の電気信号を線形変換して得られる電気信号に変換するルックアップテーブルを備えることを特徴とする請求項１に記載の撮像装置。
前記補正部は、前記温度検出器で検出された温度に基づいて補正係数を導出する係数導出部と、前記電気信号に前記補正係数を用いた演算をすることにより補正を行う演算処理部とを備えることを特徴とする請求項１に記載の撮像装置。
前記係数導出部は前記温度検出器で検出された温度に基づいて補正係数を演算して求めることを特徴とする請求項４に記載の撮像装置。
前記係数導出部は前記温度検出器で検出された温度の入力により補正係数を導出するルックアップテーブルを備えることを特徴とする請求項４に記載の撮像装置。
前記変換部は前記複数の画素に対応づけて設けられていることを特徴とする請求項１に記載の撮像装置。
前記補正部は前記複数の画素に対応づけて設けられていることを特徴とする請求項１に記載の撮像装置。
前記変曲信号導出部は、前記温度検出器で検出された温度に基づいて変曲点における出力信号値を導出する演算器を備えることを特徴とする請求項１に記載の撮像装置。
前記変曲信号導出部は、前記温度検出器で検出された温度の入力により変曲点における出力信号値を導出するルックアップテーブルを備えることを特徴とする請求項１に記載の撮像装置。