JP4792943B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に係り、特に、複数種類の光電変換特性を有する撮像素子を用いた撮像装置に関する。

従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。

このように複数種類の光電変換特性を有する撮像素子を使用すると、複数の特性によって変化する出力信号が得られるため、信号処理の演算が複雑になるという問題があった。そこで、撮像素子の出力信号を一つの変換特性により変換された状態に統一する特性変換処理が行われている。

しかし、出力信号の特性変換をするにあたり、撮像素子の各画素間で製造工程に由来する入出力特性のばらつきがあると、変換誤差が生じるという問題があった。そこで、各画素間の入出力特性のばらつきを補正する機能を備えた撮像装置が提案されている。

例えば、特許文献１には、補正手段として、複数の画素に共通した基準変曲点データを設定する基準変曲点設定手段と、各画素の変曲点データを記憶する変曲点データ記憶手段と、変曲点補正演算手段とを備え、基準変曲点データに基づいて各画素の変曲点データを補正する撮像装置が記載されている。

また、特許文献２には、各画素の出力信号の変曲点における出力値がばらついている場合に、対数領域の始点（変曲点）が揃うように補正することにより、対数特性を一致させる撮像装置が記載されている。
特開平１１−２９８７９９号公報 特開２０００−１７５１０８号公報

しかしながら、上記の撮像装置はいずれも各画素の出力信号が一定の入射光量で変曲することを前提としており、各画素間で変曲点における入射光量が異なる場合は光電変換特性を統一することはできなかった。このため、上記の撮像装置では、撮像素子の出力信号を一つの変換特性により変換された状態に統一する特性変換処理を行うと、各画素間で特性変換後の出力信号にばらつきが生じ、正確な特性変換を行うことができないという問題があった。

本発明の課題は、複数種類の光電変換特性を有する撮像素子において、各画素間の変曲出力信号値又は変曲点における入射光量が異なる場合でも、各画素の出力信号にばらつきがないよう、正確な特性変換を行うことを可能とする撮像装置を提供することである。

請求項１記載の発明は、撮像装置であって、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、前記画素の各々の出力信号の変換特性の切換点における出力信号値を記憶する記憶部と、前記撮像素子の出力信号に対して信号処理を行う信号処理部と、を備え、前記信号処理部は、前記撮像素子の複数画素各々からの出力信号の内、一つの特定画素からの出力信号である基準信号を一つの特性変換によって変換された状態に統一する、単一の特性変換部と、 前記記憶部から前記画素の各々の変換特性の切換点における出力信号値の内、前記特定画素からの出力信号である基準信号の変換特性の切換点における出力信号値を読み出し、前記特性変換部による特性変換前に前記基準信号の変換特性の切換点における出力信号値と前記特定画素以外の各画素の変換特性の切換点における出力信号値とを用いた演算をそれぞれ行う事により、前記特定画素以外の画素の各々の出力信号について前記基準信号に一致させるための補正を行うばらつき補正部と、を備える事ことを特徴とする。

請求項１記載の発明によれば、撮像素子の複数の画素間で光電変換特性がばらつく場合に、各画素間のばらつき補正及び特性変換を行うことから、撮像素子の出力信号を一つの特性に正確に統一することが可能となる。

請求項２記載の発明は、請求項１記載の撮像装置であって、前記ばらつき補正部は前記
画素の各々の変換特性の切換点における出力信号値と基準信号の変換特性の切換点におけ
る出力信号値との差を補正値として算出する補正値導出部を有する第１のばらつき補正部
を備えることを特徴とする。

請求項２記載の発明によれば、ばらつき補正データに基づき、各画素間の出力信号のば
らつきを補正するための補正値を算出することが可能となる。

請求項３記載の発明は、請求項２記載の撮像装置であって、前記第１のばらつき補正部
は、前記特性変換部による特性変換前に、前記画素の各々の出力信号と基準信号との大き
さの比較結果に応じて、前記画素の各々の出力信号に前記補正値を加算する加算器及び前
記補正値を減算する減算器の双方又はいずれか一方を備えた演算部を有することを特徴と
する。

請求項３記載の発明によれば、各画素の出力信号と基準信号との比較結果に応じて補正
値を加算又は減算することにより、各画素の切換点における出力信号値を基準信号の切換
点における出力信号値と一致させることが可能となる。また、演算により補正を行うこと
から、ルックアップテーブルにより補正を行う場合と比較して回路規模を縮小することが
可能となる。

請求項４記載の発明は、請求項３記載の撮像装置であって、前記ばらつき補正部は、前
記特性変換部による特性変換後の出力信号に対し、前記画素の各々の変換特性の切換点に
おける出力信号値を用いて乗算を行う乗算器及び基準信号の変換特性の切換点における出
力信号値を用いて除算を行う除算器を備え、前記画素の各々の出力信号を基準信号と同様
の傾き及び切片とする演算を行う演算部を有する第２のばらつき補正部を備えることを特
徴とする。

請求項４記載の発明によれば、特性変換後の出力信号に対して基準信号と同様の傾き及
び切片を有するように演算を行うことにより、各画素の変換特性の切換点における入射光
量が異なる場合でも、その変換特性を基準信号と一致させることが可能となる。また、演
算により補正を行うことから、ルックアップテーブルにより補正を行う場合と比較して回
路規模を縮小することが可能となる。

請求項５記載の発明は、請求項１記載の撮像装置であって、前記ばらつき補正データは
前記画素の各々の出力信号のオフセット値であることを特徴とする。

請求項５記載の発明によれば、各画素の変換特性の切換点における出力信号値に加えて
各画素の出力信号のオフセット値をばらつき補正データとして記憶しておくことにより、
オフセット値を用いた演算によって、撮像素子の出力信号を一つの特性に正確に統一する
ことが可能となる。

請求項６記載の発明は、請求項５記載の撮像装置であって、前記ばらつき補正部は前記
画素の各々の出力信号のオフセット値と基準信号のオフセット値との差を補正値として算
出する補正値導出部を備えることを特徴とする。

請求項６記載の発明によれば、ばらつき補正データに基づき、各画素間の出力信号のば
らつきを補正するための補正値を算出することが可能となる。

請求項７記載の発明は、請求項６記載の撮像装置であって、前記ばらつき補正部は、前
記特性変換部による特性変換前に、前記画素の各々の出力信号と基準信号との大きさの比
較結果に応じて、前記画素の各々の出力信号に前記補正値を加算する加算器及び前記補正
値を減算する減算器の双方又はいずれか一方を備えた演算部を有することを特徴とする。

請求項７記載の発明によれば、各画素の出力信号と基準信号との比較結果に応じて補正
値を加算又は減算することにより、各画素の変換特性の切換点における出力信号値及び入
射光量の双方又はいずれか一方が異なる場合でも、その変換特性を基準信号と一致させる
ことが可能となる。また、演算により補正を行うことから、ルックアップテーブルにより
補正を行う場合と比較して回路規模を縮小することが可能となる。

請求項８記載の発明は、請求項１〜請求項７いずれか一項に記載の撮像装置であって、
前記信号処理部は、前記撮像素子の出力信号と前記画素の各々の変換特性の切換点におけ
る出力信号値とを比較して、前記撮像素子の出力信号が大きい場合は前記信号処理を行う
ことを特徴とする。

請求項８記載の発明によれば、撮像素子の出力信号が所定の出力信号値より大きい場合
にのみ信号処理を行うことから、入射光に応じて変換特性が変化する撮像素子であれば、
高輝度側の特性により変換された出力信号についてのみ信号処理が行われるので、低輝度
側の特性変換を行う必要のない出力信号についてはばらつき補正や特性変換が行われるこ
とがなく、無駄な信号処理を省いて信号処理を高速化することが可能となる。

請求項９記載の発明は、請求項１〜請求項８いずれか一項に記載の撮像装置であって
、前記特性変換部はルックアップテーブルにより特性変換を行うことを特徴とする。

請求項９記載の発明によれば、ルックアップテーブルにより特性変換を行うので、演
算によって特性変換を行う場合と比較して、特性変換部の構成を簡素化すると共に信号処
理を高速化することが可能となる。

請求項１０記載の発明は、請求項１〜請求項９いずれか一項に記載の撮像装置であっ
て、前記画素は入射光に応じて変化する２つの異なる光電変換特性を有することを特徴と
する。

請求項１０記載の発明によれば、入射光に応じて変化する２つの異なる光電変換特性を
有する複数の画素を有する撮像素子を備えた撮像装置において、請求項１〜請求項９と
同様の作用を得ることができる。

請求項１１記載の発明は、請求項１〜請求項９いずれか一項に記載の撮像装置であっ
て、前記複数種類の変換特性は対数変換特性及び線形変換特性であり、前記特性変換部は
対数変換された出力信号を線形変換することを特徴とする。

請求項１１記載の発明によれば、対数変換された出力信号を線形変換することにより、
撮像素子の出力信号を全体として線形変換された状態に統一することが可能となる。

請求項１２記載の発明は、請求項１〜請求項９いずれか一項に記載の撮像装置であっ
て、前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であり、前記特性変
換部は互いに傾きの異なる複数の線形変換された出力信号を一つの傾きを有する出力信号
に特性変換することを特徴とする。

請求項１２記載の発明によれば、互いに傾きの異なる複数の線形変換された出力信号を
特性変換することにより、撮像素子の出力信号を全体として一つの傾きを有する出力信号
に統一することが可能となる。

請求項１記載の発明によれば、各画素間のばらつき補正及び特性変換により撮像素子の出力信号を一つの特性に正確に統一することが可能となる。

請求項２記載の発明によれば、各画素間の出力信号のばらつきを補正するための補正値
を算出することが可能となる。

請求項３記載の発明によれば、各画素の切換点における出力信号値を基準信号の切換点
における出力信号値と一致させることが可能となる。また、ルックアップテーブルを使用
せず回路規模を縮小することが可能となる。

請求項４記載の発明によれば、各画素の変換特性の切換点における入射光量が異なる場
合でも、その変換特性を基準信号と一致させることが可能となる。また、ルックアップテ
ーブルを使用せず回路規模を縮小することが可能となる。

請求項５記載の発明によれば、オフセット値を用いた演算によって、撮像素子の出力信
号を一つの特性に正確に統一することが可能となる。

請求項６記載の発明によれば、各画素間の出力信号のばらつきを補正するための補正値
を算出することが可能となる。

請求項７記載の発明によれば、各画素の変換特性の切換点における出力信号値及び入射
光量の双方又はいずれか一方が異なる場合でも、その変換特性を基準信号と一致させるこ
とが可能となる。また、ルックアップテーブルを使用せず回路規模を縮小することが可能
となる。

請求項８記載の発明によれば、特性変換を行う必要のない出力信号についてはばらつき
補正や特性変換が行われることがなく、無駄な信号処理を省いて信号処理を高速化するこ
とが可能となる。

請求項９記載の発明によれば、特性変換部の構成を簡素化すると共に信号処理を高速
化することが可能となる。

請求項１０記載の発明によれば、入射光に応じて変化する２つの異なる光電変換特性を
有する複数の画素を有する撮像素子を備えた撮像装置において、請求項１〜請求項１０と
同様の効果を得ることができる。

請求項１１記載の発明によれば、撮像素子の出力信号を全体として線形変換された状態
に統一することが可能となる。

請求項１２記載の発明によれば、撮像素子の出力信号を全体として一つの傾きを有する
出力信号に統一することが可能となる。

［実施の形態］
以下、図面を参照しつつ、本発明の実施の形態について説明する。

図１は、本発明に係る撮像装置１の概略構成を示すブロック図である。

図１に示すように、撮像装置１は、システム制御部２、レンズ系３、絞り４、絞り制御部５、撮像素子６、アンプ７、ＡＤコンバータ（ＡＤＣ）８、信号生成部９、黒基準設定部１０、信号処理部１１、ばらつき補正データ記憶部１２、評価値検出部１３及び画像処理部１４を備えて構成されている。

システム制御部２はＣＰＵ（Central Processing Unit）、書き換え可能な半導体素子で構成されるＲＡＭ（Random Access Memory）及び不揮発性の半導体メモリで構成されるＲＯＭ（Read Only Memory）から構成されている。

システム制御部２には絞り制御部５を介して絞り４が接続されており、また、信号生成部９を介して撮像素子６及びＡＤコンバータ８が接続されている。また、システム制御部２には信号生成部９、ばらつき補正データ記憶部１２、評価値検出部１３及び画像処理部１４がそれぞれ接続されている。そして、システム制御部２はＲＯＭに記録された処理プログラムをＲＡＭに展開してＣＰＵによりこの処理プログラムを実行することにより、これらの各構成部分を駆動制御するようになっている。

レンズ系３及び絞り４としては、従来から公知のものが用いられている。

絞り制御部５は、レンズ系３により集光される光の量を調整する絞り４を駆動制御するようになっている。すなわち、絞り制御部５は、システム制御部２から入力される制御値に基づき、撮像素子６の撮像動作開始直前に絞り４を開口させてから所定の露光時間の経過後に絞り４を閉塞させ、また、非撮像時は撮像素子６への入射光を遮断することによって、入射光量を制御するようになっている。

撮像素子６は、レンズ系３を透過した入射光を電気信号に光電変換して取り込むようになっている。

ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が特性切換点を介して連続的に変化するようになっている。

本実施形態の撮像素子６は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されている。すなわち、撮像素子６の出力信号は変曲点を介してリニア領域からログ領域に連続的に変化するようになっている。ここで、「変曲点」とは線形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像素子の出力信号の「特性切換点」の下位概念となる語である。

撮像素子６は、図２に示すように、行列配置（マトリクス配置）された複数の画素Ｇ₁₁〜Ｇ_mn（但し、ｎ，ｍは１以上の整数）を有している。

各画素Ｇ₁₁〜Ｇ_mnは、入射光を光電変換して電気信号を出力するものである。これら画素Ｇ₁₁〜Ｇ_mnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、後述のように、所定入射光量未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。

これら画素Ｇ₁₁〜Ｇ_mnのレンズ系３側には、それぞれレッド（Red）、グリーン（Green）及びブルー（Blue）のうち何れか１色のフィルタ（図示せず）が配設されている。なお、色フィルタはシアン（Cyan）、マゼンタ（Magenta）及びイエロー（Yellow）などの他の色フィルタであってもよい。

また、画素Ｇ₁₁〜Ｇ_mnには、図２に示すように、電源ライン２０や信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cn、信号読出ラインＬ_D1〜Ｌ_Dmが接続されている。なお、画素Ｇ₁₁〜Ｇ_mnにはクロックラインやバイアス供給ラインなどのラインも接続されているが、図２ではこれらの図示を省略している。

信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnは、画素Ｇ₁₁〜Ｇ_mnに対して信号φ_v，φ_VPS（図３参照）を与えるようになっている。これら信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnには、垂直走査回路２１が接続されている。この垂直走査回路２１は、信号生成部９（図１参照）からの信号に基づいて信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnに信号を印加するものであり、信号を印加する対象の信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_CnをＸ方向に順次切り換えるようになっている。

信号読出ラインＬ_D1〜Ｌ_Dmには、各画素Ｇ₁₁〜Ｇ_mnで生成された電気信号が導出されるようになっている。これら信号読出ラインＬ_D1〜Ｌ_Dmには定電流源Ｄ₁〜Ｄ_m及び選択回路Ｓ₁〜Ｓ_mが接続されている。

定電流源Ｄ₁〜Ｄ_mの一端（図中下側の端部）には、直流電圧Ｖ_PSが印加されるようになっている。

選択回路Ｓ₁〜Ｓ_mは、各信号読出ラインＬ_D1〜Ｌ_Dmを介して画素Ｇ₁₁〜Ｇ_mnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路Ｓ₁〜Ｓ_mには水平走査回路２２及び補正回路２３が接続されている。水平走査回路２２は、電気信号をサンプルホールドして補正回路２３に送信する選択回路Ｓ₁〜Ｓ_mを、Ｙ方向に順次切り換えるものである。また、補正回路２３は、選択回路Ｓ₁〜Ｓ_mから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。

なお、選択回路Ｓ₁〜Ｓ_m及び補正回路２３としては、特開平２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施形態においては、選択回路Ｓ₁〜Ｓ_mの全体に対して補正回路２３を１つのみ設けることとして説明するが、選択回路Ｓ₁〜Ｓ_mのそれぞれに対して補正回路２３を１つずつ設けることとしてもよい。

続いて、本実施形態における画素Ｇ₁₁〜Ｇ_mnについて説明する。

各画素Ｇ₁₁〜Ｇ_mnは、図３に示すように、フォトダイオードＰ及びトランジスタＴ₁〜Ｔ₃を備えている。なお、トランジスタＴ₁〜Ｔ₃は、バックゲートの接地されたＮチャネルのＭＯＳトランジスタである。

フォトダイオードＰには、レンズ系３及び絞り４を通過した光が当たるようになっている。このフォトダイオードＰのカソードＰ_kには直流電圧Ｖ_PDが印加されており、アノードＰ_AにはトランジスタＴ₁のドレインＴ_1D及びゲートＴ_1Gと、トランジスタＴ₂のゲートＴ_2Gとが接続されている。

トランジスタＴ₁のソースＴ_1Sには信号印加ラインＬ_C（図２のＬ_C1〜Ｌ_Cnに相当）が接続されており、この信号印加ラインＬ_Cから信号φ_VPSが入力されるようになっている。ここで、信号φ_VPSは２値の電圧信号であり、より詳細には、入射光量が所定値を超えたときにトランジスタＴ₁をサブスレッショルド領域で動作させるための電圧値ＶＨと、トランジスタＴ₁を導通状態にする電圧値ＶＬとの２つの値をとるようになっている。

本実施形態の撮像素子６は、入射光量が所定の閾値を超えたときは各画素Ｇ_ｍ１〜Ｇ_mnのトランジスタＴ₁をサブスレッショルド領域で動作させることによって、入射光を自然対数で対数変換した電圧として読み出すことができるようになっている。これにより、撮像素子６の出力信号は、図４に実線で示すように、入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。

また、図３に示すように、トランジスタＴ₂のドレインＴ_2Dには直流電圧Ｖ_PDが印加されており、トランジスタＴ₂のソースＴ_2Sは行選択用のトランジスタＴ₃のドレインＴ_3Dに接続されている。

更に、トランジスタＴ₃のゲートＴ_3Gには信号印加ラインＬ_A（図２のＬ_A1〜Ｌ_Anに相当）が接続されており、信号印加ラインＬ_Aから信号φ_Vが入力されるようになっている。また、トランジスタＴ₃のソースＴ_3Sは信号読出ラインＬ_D（図２のＬ_D1〜Ｌ_Dmに相当）に接続されている。

なお、以上のような画素Ｇ₁₁〜Ｇ_mnとしては、特開２００２−７７７３３号公報に開示のものを用いることができる。

ここで、撮像素子６の各画素間で入出力特性がばらついた場合における各画素の出力信号について説明する。

図５は、画素Ｇ_１〜Ｇ_３の間で入出力特性がばらついた場合の出力信号の例を示すグラフである。図５に示すように、各画素Ｇ_１〜Ｇ_３の出力信号では線形領域及び対数領域の傾きは一致しているが、線形領域と対数領域との境界である変曲点における入射光量及び変曲点における出力信号値（変曲出力信号値）は相違している。

ここで、信号（１）〜（３）はそれぞれ画素Ｇ_１〜Ｇ_３の出力信号を示しており、信号（１）〜（３）の対数領域はそれぞれ下記式（１）〜（３）によって表され、線形領域は下記式（４）によって表される。なお、式中のａ、ｂ、ｃ_１〜ｃ_３及びｄ_１〜ｄ_３は定数である。

図５からわかるように、画素Ｇ_１〜Ｇ_３間で上記式（１）〜（３）のオフセット値ｄ_１〜ｄ_３にはばらつきがある。

以下の説明では、図５における信号（１）を基準信号とするが、基準信号は全画素の平均特性、最大特性、最小特性又はそれ以外の特性であってもよい。

図１に戻り、撮像素子６にはアンプ７及びＡＤコンバータ８が接続されている。また、撮像素子６及びＡＤコンバータ８には信号生成部９が接続されており、ＡＤコンバータ８には黒基準設定部１０及び信号処理部１１がこの順に接続されている。

アンプ７は、撮像素子６から出力された電気信号を所定の規定レベルに増幅して撮影画像のレベル不足を補償するようになっている。

ＡＤコンバータ８は、アンプ７において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。

信号生成部９は、撮像素子６の撮影動作を制御するようになっている。すなわち、システム制御部２からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子６に出力するようになっている。また、信号生成部９はＡＤ変換用のタイミング信号も生成するようになっている。

黒基準設定部１０は、デジタル信号の最低レベルを設定するものである。

信号処理部１１は、図６に示すように、セレクタ２４、ばらつき補正部２５、特性変換部２６、ばらつき補正部２７及び出力部２８を備えて構成されており、セレクタ２４には撮像素子６及び撮像素子６の各画素Ｇ₁₁〜Ｇ_mnに対応して設けられたばらつき補正データ記憶部１２が接続されている。

ばらつき補正データ記憶部１２は変曲出力信号値記憶部２９を備えて構成されており、変曲出力信号値記憶部２９は、撮像素子６の各画素Ｇ₁₁〜Ｇ_mnの変曲出力信号値を予め記憶するようになっている。

セレクタ２４は、撮像素子６から入力された各画素Ｇ₁₁〜Ｇ_mnの出力信号と、変曲出力信号値記憶部２９に記憶された各画素Ｇ₁₁〜Ｇ_mnの変曲出力信号値とを比較するようになっている。そして、撮像素子６から入力された各画素Ｇ₁₁〜Ｇ_mnの出力信号がそれぞれの変曲出力信号値より大きい場合、すなわち対数変換された出力信号である場合は、その出力信号をばらつき補正部２５に出力し、撮像素子６の出力信号が変曲出力信号値より小さい場合、すなわち線形変換された出力信号である場合は、その出力信号を出力部２８に出力するようになっている。

ばらつき補正部２５は、図６に示すように、補正値導出部３０及び演算部３１を備えて構成されている。

補正値導出部３０は、基準信号の変曲出力信号値と、各画素Ｇ₁₁〜Ｇ_mnの変曲出力信号値との差を算出するようになっている。例えば、本実施形態では基準信号を図５の信号（１）とするので、図５の信号（２）を補正する場合は、信号（１）の変曲出力信号値Ｐ_１と、信号（２）の変曲出力信号値Ｐ_２との差｜Ｐ_１−Ｐ_２｜を算出する。また、図５の信号（３）を補正する場合は、｜Ｐ_１−Ｐ_３｜を算出する。

演算部３１は、比較部３２、加算器３３及び減算器３４を備えて構成されている。比較部３２は、基準信号の変曲出力信号値Ｐ_１と各画素の変曲出力信号値とを比較して大小を判断するようになっている。そして、その比較結果に応じ、基準信号の変曲出力信号値Ｐ_１≧各画素の変曲出力信号値である場合は加算器３３を、基準信号の変曲出力信号値Ｐ_１＜各画素の変曲出力信号値である場合は減算器３４を使用して、各画素の変曲出力信号値に基準信号の変曲出力信号値Ｐ_１との差を加算又は減算することにより、各画素間のばらつきを補正して補正後の電気信号を出力するようになっている。

例えば、図５の信号（２）を補正する場合は、基準信号の変曲出力信号値Ｐ_１≧画素Ｇ_２の変曲出力信号値Ｐ_２なので、下記式（５）による演算を行う。また、図５の信号（３）を補正する場合は、基準信号の変曲出力信号値Ｐ_１＜画素Ｇ_３の変曲出力信号値Ｐ_３なので、下記式（６）による演算を行う。なお、下記式（５）及び（６）においてｙ_２及びｙ_３は補正前の信号（２）及び（３）を示し、ｙ_２´及びｙ_３´は補正後の信号を示す。

ばらつき補正部２５が以上の補正を行うと、図７に信号（２Ａ）として示すように、信号（２）の変曲出力信号値Ｐ_２は、基準信号の変曲出力信号値Ｐ_１と一致する。

次に、特性変換部２６は、基準変換テーブル３５を備えて構成されている。基準変換テーブル３５は、図４に矢印Ｚで示すように、対数変換された出力信号を線形化することにより、撮像素子６の出力信号を線形変換動作由来の状態に統一するようになっている。なお、本実施形態では、１２ビットの電気信号の対数出力信号を線形変換して、全体として２４ビットの電気信号を得るものとしている。

この基準変換テーブル３５は、各画素Ｇ₁₁〜Ｇ_mnの出力信号の基準信号に対して正確な線形化処理を行うように設定されている。すなわち、本実施形態では、基準信号である図５の信号（１）に対して正確な線形化処理を行うようになっている。

ここで、対数変換された出力信号の線形化処理は、下記式（７）によって示され、基準変換テーブル３５はこれを満たすものとなっている。なお、下記式（７）において、ｙ_２´は特性変換部２６への入力信号を示し、Ｙ_２は信号（２）の線形化処理後の出力信号を示す。

以上の補正により、図７の信号（２Ａ）を線形化すると、図８に示す信号（２Ｂ）となる。

次に、ばらつき補正部２７は演算部３６を備えて構成されている。演算部３６は各画素によってばらついている特性変換後の線形特性に対して、基準信号の変曲出力信号値Ｐ_１及び各画素の変曲出力信号値に基づき、下記式（８）の演算を行うことにより基準信号と一致させるようになっている。すなわち、図８の信号（２Ｂ）に下記式（８）の演算を行うことにより、図８に点線で示す基準信号の信号（１）と一致させるようになっている。なお、下記式（８）において、Ｙ_２はばらつき補正部２７への入力信号を示し、Ｙ_２´はばらつき補正部２７における補正後の出力信号を示す。

出力部２８は、セレクタ２４又はばらつき補正部２７から入力される電気信号を出力するものである。

以上の信号処理部１１には、図１に示すように、評価値検出部１３及びシステム制御部２がこの順に接続されると共に、画像処理部１４が接続されている。

評価値検出部１３は、ホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、露出制御処理（ＡＥ処理）に用いられるＡＥ評価値を算出するものである。

画像処理部１４は、画素Ｇ₁₁〜Ｇ_mnからの電気信号全体によって構成される画像データに対して画像処理を行うものであり、ＡＷＢ処理部１５、色補間部１６、色補正部１７、階調変換部１８及び色空間変換部１９を備えている。これらＡＷＢ処理部１５、色補間部１６、色補正部１７、階調変換部１８及び色空間変換部１９は、信号処理部１１に対してこの順に接続されている。

ＡＷＢ処理部１５は、画像データに対してホワイトバランス処理を行うものである。

色補間部１６は、同色の前記フィルタが設けられた複数の近接画素からの電気信号に基づき、これら近接画素間に位置する画素についてこの色の電気信号を補間演算するものである。

色補正部１７は、画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素Ｇ₁₁〜Ｇ_mnごとに補正するものである。

階調変換部１８は、画像データの階調変換を行うものである。

色空間変換部１９は、ＲＧＢ信号をＹＣｂＣｒ信号に変換するものである。

続いて、撮像装置１の撮像動作について説明する。なお、以下は図５の信号（１）を基準信号として、信号（２）を補正する場合について説明する。

まず、撮像素子６の各画素Ｇ₁₁〜Ｇ_mnは、信号生成部９からの制御信号により、レンズ系３を透過した入射光を電気信号に光電変換し、線形変換又は対数変換された電気信号をアナログ信号として出力する。具体的には、上述のように各画素Ｇ₁₁〜Ｇ_mnが信号読出ラインＬ_Dに電気信号を出力すると、この電気信号を定電流源Ｄが増幅し、選択回路Ｓが順にサンプルホールドする。そして、サンプルホールドされた電気信号が選択回路Ｓから補正回路２３に送出されると、補正回路２３がノイズを除去して電気信号を出力する。

次に、撮像素子６から出力されたアナログ信号をアンプ７が増幅し、ＡＤコンバータ８がデジタル信号に変換する。次に、黒基準設定部１０がデジタル信号の最低レベルを設定した後、そのデジタル信号を信号処理部１１のセレクタ２４に送信する。

次に、セレクタ２４は、撮像素子６から入力された各画素Ｇ₁₁〜Ｇ_mnの出力信号と、変曲出力信号値記憶部２９に記憶された各画素Ｇ₁₁〜Ｇ_mnの変曲出力信号値とを比較する。

そして、撮像素子６から入力された各画素Ｇ₁₁〜Ｇ_mnの出力信号がそれぞれの変曲出力信号値より大きい場合、すなわち対数変換された出力信号である場合は、その出力信号をばらつき補正部２５に出力する。

一方、撮像素子６の出力信号が変曲出力信号値より小さい場合、すなわち線形変換された出力信号である場合は、その出力信号は出力部２８に出力され、出力部２８は各画素Ｇ₁₁〜Ｇ_mnの出力信号をそのまま信号処理部１１の出力とする。

続いて、セレクタ２４が出力信号をばらつき補正部２５に出力すると、補正値導出部３０は、信号（１）の変曲出力信号値Ｐ_１と、信号（２）の変曲出力信号値Ｐ_２との差｜Ｐ_１−Ｐ_２｜を算出する。

続いて、演算部３１が備える比較部３２は、基準信号の変曲出力信号値Ｐ_１と信号（２）の変曲出力信号値Ｐ_２とを比較する。そして、図５に示すように基準信号の変曲出力信号値Ｐ_１≧各画素の変曲出力信号値であることから、加算器３３を使用して上記式（５）による演算を行う。これにより、図７に信号（２Ａ）として示すように、図５の信号（２）の変曲出力信号値Ｐ_２は、基準信号の変曲出力信号値Ｐ_１と一致する。

次に、特性変換部２６は、基準変換テーブル３５により、上記式（７）による演算を実現し、図４に矢印Ｚで示すように、対数変換された出力信号を線形化して、撮像素子６の出力信号を線形変換動作由来の状態に統一する。これにより、図７の信号（２Ａ）は線形化されて図８に示す信号（２Ｂ）となる。

次に、ばらつき補正部２７の演算部３６は、特性変換後の出力信号に対して、上記式（８）の演算を行うことにより基準信号と一致させる。これにより、図８の信号（２Ｂ）は基準信号の信号（１）と一致する。

次に、出力部２８は、ばらつき補正部２７から入力された電気信号を出力する。

このようにして信号処理部１１から信号処理後の電気信号が出力されると、評価値検出部１３は、ホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、露出制御処理（ＡＥ処理）に用いられるＡＥ評価値を算出する。

また、画像処理部１４は、画素Ｇ₁₁〜Ｇ_mnからの電気信号全体によって構成される画像データに対して画像処理を行う。すなわち、ＡＷＢ処理部１５はホワイトバランス処理を行い、色補間部１６は近接画素間に位置する画素について電気信号を補間演算することにより補間処理を行い、色補正部１７は画像データの色合いを補正する。また、階調変換部１８は画像データの階調変換を行い、色空間変換部１９は、ＲＧＢ信号をＹＣｂＣｒ信号に変換する。

以上のように本実施形態の撮像装置１によれば、撮像素子６の画素Ｇ₁₁〜Ｇ_mn間で光電変換特性がばらつく場合に、各画素間のばらつき補正及び特性変換を行うことから、撮像素子６の出力信号を一つの特性に正確に統一することが可能となる。

また、ばらつき補正データとして画素の各々の変換特性の切換点における出力信号値を使用することから、各画素間で変換特性の切換点がばらついている場合に、これらを統一する補正を行うことが可能となる。また、ばらつき補正データとしてオフセット値を記憶しておく必要がないため、回路規模を縮小することができる。

また、ばらつき補正データに基づき、各画素間の出力信号のばらつきを補正するための補正値を算出することが可能となる。

また、各画素の出力信号と基準信号との比較結果に応じて補正値を加算又は減算することにより、各画素の変曲出力信号値を基準信号の変曲出力信号値と一致させることが可能となる。また、演算により補正を行うことから、ルックアップテーブルにより補正を行う場合と比較して回路規模を縮小することが可能となる。

また、特性変換後の出力信号に対して基準信号と同様の傾き及び切片を有するように演算を行うことにより、各画素の変曲点における入射光量が異なる場合でも、その変換特性を基準信号と一致させることが可能となる。また、演算によって補正を行うことから、ルックアップテーブルにより補正を行う場合と比較して回路規模を縮小することが可能となる。

また、撮像素子６の出力信号が変曲出力信号値より大きい場合にのみ信号処理を行うことから、高輝度側の出力信号についてのみ信号処理が行われるので、低輝度側の出力信号についてはばらつき補正や特性変換が行われることがなく、無駄な信号処理を省いて信号処理を高速化することが可能となる。

また、ルックアップテーブルにより特性変換を行うので、演算によって特性変換を行う場合と比較して、特性変換部２６の構成を簡素化すると共に信号処理を高速化することが可能となる。

また、対数変換された出力信号を線形変換することにより、撮像素子６の出力信号を全体として線形変換された状態に統一することが可能となる。

なお、本実施形態では、撮像素子６としてリニアログ変換型センサを使用し、特性変換部２６において対数変換された出力信号を線形化する場合について説明したが、本発明の撮像素子は、複数種類の変換特性のうち少なくとも一つが対数変換特性又は線形変換特性である撮像素子や、変換係数が異なる複数の線形変換特性を有する撮像素子であってもよい。

したがって、例えば、変換係数が異なる２種類の線形変換特性を有し、図９に実線で示すような出力信号となる撮像素子を使用して、特性変換部２６において、図９に点線で示すように一つの変換特性により変換された状態の出力信号に統一する場合についても、本発明を適用することが可能である。すなわち、画素Ｇ_１〜Ｇ_３の出力信号が図１０に信号（i）〜（iii）として示すように各画素Ｇ_１〜Ｇ_３間でばらつく場合は、上記式（１）〜（３）を下記式（９）〜（１１）として、上記と同様の補正を行うことにより、各画素Ｇ_１〜Ｇ_３間の変換特性のばらつきを補正することができる。

また、ばらつき補正部２５は演算部３１を備え、ばらつき補正部２７は演算部３６を備える構成としたが、ルックアップテーブルを備える構成としてもよい。

また、特性変換部２６は基準変換テーブル３５を備える構成としたが、基準変換の演算を行う演算器を備える構成としてもよい。

［実施形態の変形例］
次に、上記実施形態の変形例について図１１及び図１２を参照して説明する。

本変形例においては、上記実施形態と異なる信号処理部１１及びばらつき補正データ記憶部１２について説明する。なお、同様の構成要素には同一の符号を付し、その説明を省略する。

本変形例の信号処理部１１は、図１１に示すように、セレクタ２４、ばらつき補正部２５、特性変換部２６及び出力部２８を備えて構成されている。

また、本変形例のばらつき補正データ記憶部１２は、変曲出力信号値記憶部２９に加えて、オフセット値記憶部３７を備えて構成されている。

オフセット値記憶部３７は、各画素Ｇ₁₁〜Ｇ_mnに対応して設けられており、各画素Ｇ₁₁〜Ｇ_mnのオフセット値、すなわち、図５の信号（１）〜（３）を例にすると、上記式（１）〜（３）のｄ_１〜ｄ_３を予め記憶するようになっている。

また、本変形例のばらつき補正部２５が備える補正値導出部３０は、基準信号のオフセット値と各画素Ｇ₁₁〜Ｇ_mnのオフセット値との差を算出するようになっている。例えば、基準信号を図５の信号（１）とし、図５の信号（２）を補正する場合であれば、｜ｄ_１−ｄ_２｜を算出する。また、図５の信号（３）を補正する場合は、｜ｄ_１−ｄ_３｜を算出する。

演算部３１の構成は上記実施形態と同様であり、本変形例の比較部３２は、基準信号のオフセット値と各画素のオフセット値とを比較して大小を判断するようになっている。そして、その比較結果に応じて加算器３３又は減算器３４を使用し、各画素間のばらつきを補正する演算を行うようになっている。

例えば、図５の信号（２）を補正する場合は、基準信号のオフセット値ｄ_１≧画素Ｇ_２のオフセット値ｄ_２なので、加算器３３を使用して、下記式（１２）による演算を行う。また、図５の信号（３）を補正する場合は、基準信号のオフセット値ｄ_１＜画素Ｇ_３のオフセット値ｄ_３なので、減算器３４を使用して、下記式（１３）による演算を行う。

以上の補正をばらつき補正部２５が行うと、図５の信号（２）は、図１２に示す信号（２Ｃ）の状態となる。更に、特性変換部２６が特性変換を行うと、図８に点線で示すように、信号（２）の特性変換後の線形特性は、信号（１）の特性変換後の線形特性と一致する。

なお、セレクタ２４、特性変換部２６及び出力部２８の構成は上記実施形態と同様である。

次に、本実施形態の撮像装置１の動作について説明する。なお、以下は図５の信号（１）を基準信号として、信号（２）を補正する場合について説明する。

信号処理部１１において、セレクタ２４からばらつき補正部２５に出力信号が入力されると、補正値導出部３０は、基準信号のオフセット値と画素Ｇ_２のオフセット値ｄ_２との差｜ｄ_１−ｄ_２｜を算出して、演算部３１に出力する。

次に、演算部３１の比較部３２は、基準信号のオフセット値と画素Ｇ_２のオフセット値ｄ_２とを比較して大小を判断する。そして、図５に示すように、基準信号のオフセット値ｄ_１≧画素Ｇ_２のオフセット値ｄ_２であることから、加算器３３を使用して、上記式（１２）による演算を行う。これにより、図５の信号（２）は、図１２に示す信号（２Ｃ）の状態となる。

続いて、特性変換部２６が特性変換を行うと、図８に点線で示すように、信号（２）の特性変換後の線形特性は、信号（１）の特性変換後の線形特性と一致する。

以上のように本実施形態の撮像装置１によれば、各画素の変曲出力信号値に加えて各画素の出力信号のオフセット値をばらつき補正データとして記憶しておくことにより、オフセット値を用いた演算によって、撮像素子の出力信号を一つの特性に正確に統一することが可能となる。

また、ばらつき補正データに基づき、各画素間の出力信号のばらつきを補正するための補正値を算出することが可能となる。

また、各画素の出力信号と基準信号との比較結果に応じて補正値を加算又は減算することにより、各画素の変曲出力信号値及び変曲点における入射光量の双方又はいずれか一方が異なる場合でも、その変換特性を基準信号と一致させることが可能となる。また、演算により補正を行うことから、ルックアップテーブルにより補正を行う場合と比較して回路規模を縮小することが可能となる。

以上詳細に説明したように、本発明に係る撮像装置によれば、複数種類の光電変換特性を有する撮像素子において、各画素間の変曲出力信号値又は変曲点における入射光量が異なる場合でも、各画素の出力信号にばらつきがないよう、正確な特性変換を行うことが可能となる。

本実施形態に係る撮像装置の概略構成を示すブロック図である。 本実施形態に係る撮像素子の構成を示すブロック図である。 本実施形態に係る画素の構成を示す回路図である。 本実施形態に係る撮像素子の出力信号を示すグラフである。 本実施形態に係る撮像素子の各画素の出力信号を示すグラフである。 本実施形態に係る信号処理部の構成を示すブロック図である。 本実施形態に係る信号処理部による補正後の出力信号を示すグラフである。 本実施形態に係る信号処理部による特性変換後の出力信号を示すグラフである。 本実施形態に係る他の撮像素子の出力信号を示すグラフである。 本実施形態に係る他の撮像素子の各画素の出力信号を示すグラフである。 本実施形態の変形例に係る信号処理部の構成を示すブロック図である。 本実施形態変形例に係る信号処理部による特性変換後の出力信号を示すグラフである。

符号の説明

１ 撮像装置
２ システム制御部
３ レンズ系
４ 絞り
５ 絞り制御部
６ 撮像素子
７ アンプ
８ ＡＤコンバータ
９ 信号生成部
１０ 黒基準設定部
１１ 信号処理部
１２ ばらつき補正データ記憶部
１３ 評価値検出部
１４ 画像処理部
１５ ＡＷＢ処理部
１６ 色補間部
１７ 色補正部
１８ 階調変換部
１９ 色空間変換部
２４ セレクタ
２５ ばらつき補正部
２６ 特性変換部
２７ ばらつき補正部
２８ 出力部
２９ 変曲出力信号値記憶部
３０ 補正値導出部
３１ 演算部
３２ 比較部
３３ 加算器
３４ 減算器
３５ 基準変換テーブル
３６ 演算部
３７ オフセット値記憶部

Claims (12)

1. 複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、
   前記画素の各々の出力信号の変換特性の切換点における出力信号値を記憶する記憶部と、
   前記撮像素子の出力信号に対して信号処理を行う信号処理部と、を備え、前記信号処理部は、
   前記撮像素子の複数画素各々からの出力信号の内、一つの特定画素からの出力信号である基準信号を一つの特性変換によって変換された状態に統一する、単一の特性変換部と、
   前記記憶部から前記画素の各々の変換特性の切換点における出力信号値の内、前記特定画素からの出力信号である基準信号の変換特性の切換点における出力信号値を読み出し、前記特性変換部による特性変換前に前記基準信号の変換特性の切換点における出力信号値と前記特定画素以外の各画素の変換特性の切換点における出力信号値とを用いた演算をそれぞれ行う事により、前記特定画素以外の画素の各々の出力信号について前記基準信号に一致させるための補正を行うばらつき補正部と、
   を備える事を特徴とする撮像装置。
2. 前記ばらつき補正部は前記画素の各々の変換特性の切換点における出力信号値と基準信号
   の変換特性の切換点における出力信号値との差を補正値として算出する補正値導出部を有
   する第１のばらつき補正部を備えることを特徴とする請求項１記載の撮像装置。
3. 前記第１のばらつき補正部は、前記画素の各々の出力信号と前記基準信号との大きさの比較結果に応じて、前記画素の各々の出力信号に前記補正値を加算する加算器及び前記補正値を減算する減算器の双方又はいずれか一方を備えた演算部を有することを特徴とする請求項２記載の撮像装置。
4. 前記ばらつき補正部は、前記特性変換部による特性変換後の出力信号に対し、前記画素
   の各々の変換特性の切換点における出力信号値を用いて乗算を行う乗算器及び基準信号の
   変換特性の切換点における出力信号値を用いて除算を行う除算器を備え、前記画素の各々
   の出力信号を前記基準信号と同様の傾き及び切片とする演算を行う演算部を有する第２のばらつき補正部を備えることを特徴とする請求項３記載の撮像装置。
5. 前記ばらつき補正データは前記画素の各々の出力信号のオフセット値であることを特徴
   とする請求項１記載の撮像装置。
6. 前記ばらつき補正部は前記画素の各々の出力信号のオフセット値と基準信号のオフセッ
   ト値との差を補正値として算出する補正値導出部を備えることを特徴とする請求項５記載
   の撮像装置。
7. 前記ばらつき補正部は、前記特性変換部による特性変換前に、前記画素の各々の出力信
   号と基準信号との大きさの比較結果に応じて、前記画素の各々の出力信号に前記補正値を
   加算する加算器及び前記補正値を減算する減算器の双方又はいずれか一方を備えた演算部
   を有することを特徴とする請求項６記載の撮像装置。
8. 前記信号処理部は、前記撮像素子の出力信号と前記画素の各々の変換特性の切換点にお
   ける出力信号値とを比較して、前記撮像素子の出力信号が大きい場合は前記信号処理を行
   うことを特徴とする請求項１〜請求項７いずれか一項に記載の撮像装置。
9. 前記特性変換部はルックアップテーブルにより特性変換を行うことを特徴とする請求項
   １〜請求項８いずれか一項に記載の撮像装置。
10. 前記画素は入射光に応じて変化する２つの異なる光電変換特性を有することを特徴とす
    る請求項１〜請求項９いずれか一項に記載の撮像装置。
11. 前記複数種類の変換特性は対数変換特性及び線形変換特性であり、前記特性変換部は対
    数変換された出力信号を線形変換することを特徴とする請求項１〜請求項１０いずれか一
    項に記載の撮像装置。
12. 前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であり、前記特性変換
    部は互いに傾きの異なる複数の線形変換された出力信号を一つの傾きを有する出力信号に
    特性変換することを特徴とする請求項１〜請求項１１いずれか一項に記載の撮像装置。

Images