WO2006064629A1

WO2006064629A1 - 撮像装置及び撮像方法

Info

Publication number: WO2006064629A1
Application number: PCT/JP2005/021224
Authority: WO
Inventors: Kiyoshi Takagi
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2004-12-17
Filing date: 2005-11-18
Publication date: 2006-06-22
Anticipated expiration: 2007-06-17

Abstract

　本発明は、対数変換動作及び線形変換動作の切り換えが可能な撮像素子を有する撮像装置において画像処理の演算を簡単化することを可能とする撮像装置及び撮像方法を提供する。この撮像装置１において、入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子６と、前記画素に与える信号の電圧値を切り換えることにより、線形変換動作から対数変換動作に切り換わる変極点を設定することが可能なシステム制御部２と、システム制御部２より入力される前記変極点における撮像素子６の出力値に基づき、撮像素子６の出力信号を線形領域及び対数領域に分別した上で、対数領域の画像信号を用いて画像処理を行う画像処理部と、を設けることを特徴とする。

Description

明細書

撮像装置及び撮像方法

技術分野

[0001] 本発明は撮像装置及び撮像方法に係り、特に、対数変換動作及び線形変換動作の切り換えが可能な撮像素子を有する撮像装置及び撮像方法に関する。

背景技術

[0002] 従来、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する撮像素子が設けられている。この撮像素子は、電気信号への変換動作を切り換えるようになつており、より詳細には、入射光量に基づき入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるようになって!ヽる（特許文献 1 参照)。

[0003] このような撮像素子によれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広ヽ被写体を撮影した場合でも ^度情報を電気信号で表現することができる。

[0004] また、対数変換動作のみを行う撮像素子と比較して、撮像可能領域のうち高輝度領域 ·低輝度領域で輝度データのな、領域が発生する、う問題も少なくなり、高輝度領域'低輝度領域の輝度データを抽出して被写体のコントラストを十分に得ることができる。

特許文献 1：特開平 9 55948号公報

発明の開示

発明が解決しょうとする課題

[0005] しかし、撮像素子の出力が線形領域及び対数領域の双方を有すると、線形領域と対数領域では画像信号の物理的意味が異なることから、別々に演算処理を行う必要力 S生じる。したがって、演算処理部を回路で実装する場合は回路規模が大きくなり、また、演算処理をソフトウエアによって行う場合はコード規模が大きくなるという問題があった。また、線形領域及び対数領域において別々に演算処理を行うことから、演算処理自体の遅延につながってヽた。 [0006] 本発明の課題は、対数変換動作及び線形変換動作の切り換えが可能な撮像素子を有する撮像装置において、画像処理の演算を簡単ィ匕することを可能とする撮像装置及び撮像方法を提供することにある。

課題を解決するための手段

[0007] 上記課題を解決するため、請求の範囲第 1項に記載の発明は、撮像装置であって、入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子と、前記画素に与える信号の電圧値を切り換えることにより、線形変換動作力対数変換動作に切り換わる変極点を設定することが可能な制御部と、前記制御部より入力される前記変極点における撮像素子の出力値に基づき、前記撮像素子の出力信号を線形領域及び対数領域に分別した上で、対数領域の画像信号を用いて画像処理を行う画像処理部と、を備えることを特徴とする。

[0008] 請求の範囲第 1項に記載の発明によれば、制御部にぉ、て認識されて!、る変極点での撮像素子の出力値に基づいて画像信号を線形領域と対数領域とに分別し、そのうち対数領域のみを用いて画像処理を行うため、線形領域及び対数領域の双方を含めた領域で別々に画像処理を行う必要がなくなる。

[0009] 請求の範囲第 2項に記載の発明は、請求の範囲第 1項に記載の撮像装置であって、前記画像処理部は、線形領域及び対数領域に分別した画像信号のうち対数領域の画像信号を用いて補正係数を算出して WB調整を行う WB調整部であることを特徴とする。

[0010] 請求の範囲第 2項に記載の発明によれば、請求の範囲第 1項と同様の作用が得られるほか、対数領域は高輝度領域と対応しており、また、高輝度領域においても飽和することがないことから、線形領域よりも光源に近いデータが得られる。したがって、 W B調整のための補正係数をより正確に算出することができる。

[0011] 請求の範囲第 3項に記載の発明は、請求の範囲第 1項に記載の撮像装置であって、前記画像処理部は、線形領域及び対数領域に分別した画像信号のうち対数領域の画像信号を用いて被写体の輝度値を算出して AE調整を行う AE調整部であることを特徴とする。

[0012] 請求の範囲第 3項に記載の発明によれば、請求の範囲第 1項と同様の作用が得られるほか、対数領域の画像信号は高輝度領域にぉヽても飽和することがなヽことから、従来のログセンサの出力信号では飽和して調整することができな力つた高輝度部を理想輝度値とした AE調整を行うことが可能となる。

[0013] 請求の範囲第 4項に記載の発明は、請求の範囲第 1項〜第 3項のいずれか一項に記載の撮像装置であって、前記画像処理部は、線形領域及び対数領域に分別した後、対数領域の画像信号を線形化する処理を行った上で対数領域の画像信号を用 V、て画像処理を行うことを特徴とする。

[0014] 請求の範囲第 4項に記載の発明によれば、対数領域の画像信号を線形化する処理を行った上で対数領域の画像信号を用いて画像処理を行うことから、その画像処理部における演算処理を容易化及び迅速化することができる。また、線形領域として扱うことのできるデータ範囲が広がることから、正確な演算処理を行うことが可能となる。

[0015] 請求の範囲第 5項に記載の発明は、撮像方法であって、入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子の出力信号を、前記画素に与える信号の電圧値の切り換えにより線形変換動作力対数変換動作に切り換わる変極点の設定が可能な制御部から入力される前記変極点での前記撮像素子の出力値に基づき、画像処理部において線形領域及び対数領域に分別する分別工程と、前記画像処理部において、前記分別工程において分別した画像信号のうち対数領域の画像信号を用いて画像処理を行う画像処理工程と、を備えることを特徴とする。

[0016] 請求の範囲第 5項に記載の発明によれば、制御部にぉ、て認識されて、る変極点での撮像素子の出力値に基づいて画像信号を線形領域と対数領域とに分別し、そのうち対数領域のみを用いて画像処理を行うため、線形領域及び対数領域の双方を含めた領域で別々に画像処理を行う必要がなくなる。

[0017] 請求の範囲第 6項に記載の発明は、請求の範囲第 5項に記載の撮像方法であって、前記画像処理工程において、前記画像処理部としての WB調整部が線形領域及び対数領域に分別した画像信号のうち対数領域の画像信号を用いて補正係数を算出して WB調整を行うことを特徴とする。 [0018] 請求の範囲第 6項に記載の発明によれば、請求の範囲第 5項と同様の作用が得られるほか、対数領域は高輝度領域と対応しており、また、高輝度領域においても飽和することがないことから、線形領域よりも光源に近いデータが得られる。したがって、 W B調整のための補正係数をより正確に算出することができる。

[0019] 請求の範囲第 7項に記載の発明は、請求の範囲第 5項に記載の撮像方法であって、前記画像処理工程において、前記画像処理部としての AE調整部が線形領域及び対数領域に分別した画像信号のうち対数領域の画像信号を用いて被写体の輝度値を算出して AE調整を行うことを特徴とする。

[0020] 請求の範囲第 7項に記載の発明によれば、請求の範囲第 5項と同様の作用が得られるほか、対数領域の画像信号は高輝度領域にぉヽても飽和することがなヽことから、従来のログセンサの出力信号では飽和して調整することができな力つた高輝度部を理想輝度値とした AE調整を行うことが可能となる。

[0021] 請求の範囲第 8項に記載の発明は、請求の範囲第 5項〜第 7項のいずれか一項に記載の撮像方法であって、前記画像処理工程において、前記画像処理部は線形領域及び対数領域に分別した後、対数領域の画像信号を線形化する処理を行った上で、対数領域の画像信号を用いて画像処理を行うことを特徴とする。

[0022] 請求の範囲第 8項に記載の発明によれば、対数領域の画像信号を線形化する処理を行った上で対数領域の画像信号を用いて画像処理を行うことから、その画像処理部における演算処理を容易化及び迅速化することができる。また、線形領域として扱うことのできるデータ範囲が広がることから、正確な演算処理を行うことが可能となる。

発明の効果

[0023] 請求の範囲第 1項に記載の発明によれば、線形領域及び対数領域の双方を含めた領域で別々に画像処理を行う必要がないことから、回路規模の縮小、消費電力の低減、画像処理の迅速ィ匕及びメモリ容量の低減を図ることが可能となる。

[0024] 請求の範囲第 2項に記載の発明によれば、光源に近いデータが得られることから、 WB調整のための補正係数をより正確に算出することができる。

[0025] 請求の範囲第 3項に記載の発明によれば、高輝度部を理想輝度値とした AE調整を行うことが可能となる。

[0026] 請求の範囲第 4項に記載の発明によれば、対数領域の画像信号を線形化する処理を行った上で対数領域の画像信号を用いて画像処理を行うことから、画像処理部において対数領域における複雑な演算処理を行う必要はなぐまた、対数動作用画像処理回路を備える必要もないため、回路規模の縮小、消費電力の低減、画像処理の迅速ィ匕及びメモリ容量の低減を図ることが可能となる。また、線形領域として扱うことのできるデータ範囲が広がって正確な演算処理を行うことが可能となる。

[0027] 請求の範囲第 5項に記載の発明によれば、線形領域及び対数領域の双方を含めた領域で別々に画像処理を行う必要がないことから、回路規模の縮小、消費電力の低減、画像処理の迅速ィ匕及びメモリ容量の低減を図ることが可能となる。

[0028] 請求の範囲第 6項に記載の発明によれば、光源に近いデータが得られることから、 WB調整のための補正係数をより正確に算出することができる。

[0029] 請求の範囲第 7項に記載の発明によれば、高輝度部を理想輝度値とした AE調整を行うことが可能となる。

[0030] 請求の範囲第 8項に記載の発明によれば、対数領域の画像信号を線形化する処理を行った上で対数領域の画像信号を用いて画像処理を行うことから、画像処理部において対数領域における複雑な演算処理を行う必要はなぐまた、対数動作用画像処理回路を備える必要もないため、回路規模の縮小、消費電力の低減、画像処理の迅速ィ匕及びメモリ容量の低減を図ることが可能となる。また、線形領域として扱うことのできるデータ範囲が広がって正確な演算処理を行うことが可能となる。

図面の簡単な説明

[0031] [図 1]第 1の実施形態に係る撮像装置の全体構成を示すブロック図である。

[図 2]第 1の実施形態に係る撮像素子の構成を示すブロック図である。

[図 3]第 1の実施形態に係る撮像素子が備える画素を示す回路図である。

[図 4]第 1の実施形態に係る撮像素子が備える画素の動作を表すタイムチャートである。

[図 5]第 1の実施形態に係る撮像素子の入射光量に対する出力を示すグラフである。

[図 6]第 1の実施形態に係る WB制御部の構成を示すブロック図である。 [図 7]第 1の実施形態に係る撮像素子の出力信号の線形領域及び対数領域を示すグラフである。

[図 8]第 1の実施形態に係る撮像方法のうち WB制御の流れを示すフローチャートである。

[図 9]第 2の実施形態に係る WB制御部の構成を示すブロック図である。

[図 10]第 2の実施形態に係る Log— Lin変換部において対数領域が線形化された出力信号を示すグラフである。

[図 11]第 2の実施形態に係る撮像方法のうち WB制御の流れを示すフローチャートである。

[図 12]第 3の実施形態に係る AE評価値算出部の構成を示すブロック図である。

[図 13]第 3の実施形態に係る撮像方法のうち AE制御の流れを示すフローチャートである。

符号の説明

1 撮像装置

2 システム制御部

6 撮像素子

17 アンプ

18 AZD変換部

19 タイミング生成部

20 黒基準補正部

21 AE評価値算出部

22 WB制御部

23 Lin— Log分別部

24 平均値演算部

30 色補間部

31 色補正部

32 階調変換部

33 色空間変換部 35 Lin— Log分別部

36 平均値演算部

発明を実施するための最良の形態

[0033] (第 1の実施形態）

本発明の第 1の実施形態について、図 1〜図 8を参照して説明する。

[0034] 図 1に示すように撮像装置 1はシステム制御部 2を備えている。システム制御部 2は、 CPU (Central Processing Unit)、書き換え可能な半導体素子で構成される RAM ( Random Access Memory)及び不揮発性の半導体メモリで構成される ROM (Read On ly Memory)カゝら構成されている。また、システム制御部 2には撮像装置 1の各構成部分が接続されており、システム制御部 2は、 ROMに記録された処理プログラムを RA Mに展開して CPUによりこの処理プログラムを実行することにより、これらの各構成部分を駆動制御するようになって!/、る。

[0035] 撮像装置 1には、被写体からの反射光 (被写体光像)を撮像装置 1に導く光学系が備えられている。光学系は、被写体光像を撮像系の撮像面に結像する複数のレンズ 3、レンズ 3により集光される光の量を調整する絞り部 4及びこの絞り部 4の駆動を制御する絞り制御部 5から構成されている。絞り制御部 5は、システム制御部 2から入力される制御値に基づき、撮像素子 6の撮像動作開始直前に絞り部 4を開口させて力所定の露光時間の経過後に絞り部 4を閉塞させ、また、非撮像時は撮像素子 6への入射光を遮断することにより入射光量を制御するようになって！/、る。

[0036] また、撮像装置 1は、被写体光像である R, G, Bの各色成分の入射光を電気信号に光電変換して取り込む撮像素子 6を備えている。なお、本実施形態において、入射光を電気信号に変換するとは、光量の時間積分値を電気信号に変換することである。

[0037] 図 2は、本実施形態の撮像素子 6の構成を示すブロック図である。

[0038] 図 2に示すように、撮像素子 6は行列配置（マトリクス配置）された画素 Gab (a: l≤a ≤ mの自然数、 b： 1≤ b≤ nの自然数)を有してヽる。垂直走査回路 7は、各画素に信号 Φ を与える行 (ライン) 8—1、8— 2、 · · ·、 8— nを順次走査すると共に、ライン 9

V

—1、 9— 2、 · · ·、 9— nを介して各画素に信号 φ を、ライン 10— 1、 10— 2、 · · ·、 1 0— nを介して各画素に信号 φ を、それぞれ与えるようになつている。一方、水平走

VPS

查回路 11は、画素から出力信号線 12— 1、 12— 2、 · · ·、 12— mに導出された光電変換信号を、画素ごとに水平方向に順次読み出すようになつている。各画素には、電源ライン 13の他、クロックラインやバイアス供給ライン (いずれも図示せず)が接続されている。

[0039] さらに、出力信号線 12— 1〜12— mのそれぞれには、画素 Gabからの出力となる画像信号及びノイズ信号を直流電圧 VPSの印加により増幅する定電流源 14— 1〜 14— mが接続されている。さらに、出力信号線 12— 1〜12— mのそれぞれには画像信号及びノイズ信号をサンプルホールドする選択回路 15— 1〜 15— mが接続されている。選択回路 15— 1〜 15— mには画像信号の補正処理を行う補正回路 16が接続されており、選択回路 15— aより与えられた画像信号を、同じく選択回路 15— aより与えられたノイズ信号に基づヽて補正処理して、ノイズ除去された画像信号をアンプ 17 に出力するようになっている。

[0040] 図 3は、画素 Gl l〜Gmnの構成の一例である。図 3の画素において、 MOSトランジスタ T1〜T6は、 Ρチャネル形の MOSトランジスタである。力ソードに直流電圧 V

PD

が印加されたフォトダイオード PDのアノードに MOSトランジスタ T1のドレインが接続され、 MOSトランジスタ T1のソースに MOSトランジスタ Τ2のゲート及びドレインと Μ OSトランジスタ Τ3のゲートが接続されて!、る。

[0041] また、 MOSトランジスタ T3のソースに MOSトランジスタ T4のゲート及び MOSトランジスタ T5のドレインが接続され、 MOSトランジスタ T4のソースに MOSトランジスタ T6 のドレインが接続されている。そして、 MOSトランジスタ T6のソースが出力信号線 10 (図 2の出力信号線 10— 1〜： LO—mに相当する）に接続されている。

[0042] MOSトランジスタ T2のソースには、ライン 8 (図 2のライン 8—1〜8—nに相当する）を介して信号 φ が入力され、 MOSトランジスタ T3, T4のドレインに直流電圧 V

VPS PD

が印加されるようになっている。また、 MOSトランジスタ T3のソースには、その一端にライン 7 (図 2のライン 7— 1〜7— nに相当する）を介して信号 φ が与えられるキャパ

VD

シタ Cの他端が接続されている。また、 MOSトランジスタ Τ5のソースには直流電圧 V

R

が入力され、そのゲートに信号 φ が入力されるようになっている。更に、 MOSトランジスタ Tl, T6のゲートにはそれぞれ、信号 φ , φ が入力されるようになっている。

S V

[0043] なお、信号 φ は 2値の電圧信号で、入射光量が所定値を超えたときに MOSトラ

VPS

ンジスタ T2をサブスレツショルド領域で動作させるための電圧を VLとし、又、この電圧よりも高く MOSトランジスタ T2を導通状態にする電圧を VHとする。又、信号 φ

VD

は、 3値の電圧信号であり、キャパシタ Cを積分動作させる際の電圧値を最も高い Vh とし、画像信号読み出し時の電圧値を Vhよりも低い Vmとし、ノイズ信号読み出し時の電圧値を Vmよりも低!、V1とする。

[0044] 撮像素子 6における画素 Gl l〜Gmnは、図 4のタイムチャートに示すような動作を行うように構成されている。すなわち、電圧値 Vmのパルス信号 φ とパルス信号 φ

VD V

が与えられて画像信号が出力されると、信号 φ を Vhとした後、信号 φ をハイにして

VD S

MOSトランジスタ T1を OFFにして、リセット動作が始まるようになつている。また、 M OSトランジスタ T2のソースに与える信号 φ を VHにして、 MOSトランジスタ T2のソ

VPS

ース電圧を高くすると MOSトランジスタ T2のソース側力流入する正の電荷の量が増加し、 MOSトランジスタ T2のゲート及びドレイン、そして MOSトランジスタ T3のゲートに蓄積された負の電荷が速やかに再結合されるようになっている。このとき、信号 φ をローとして、 MOSトランジスタ T5を ONとすることにより、キャパシタ Cと MOSト

RS

ランジスタ T4のゲートとの接続ノードの電圧を初期化するようになって、る。

[0045] そして、 MOSトランジスタ T2のソースに与える信号 φ を VLにして、 MOSトランジ

VPS

スタ T2のポテンシャル状態を基の状態に戻した後、信号 φ をノヽィにして、 MOSトラ

RS

ンジスタ T5を OFFにするようになって!/、る。

[0046] その後、キャパシタ Cが積分動作を行うと、キャパシタ Cと MOSトランジスタ T4のゲートとの接続ノードの電圧はリセットされた MOSトランジスタ T2のゲート電圧に応じたものとなり、また、パルス信号 φ を MOSトランジスタ T6のゲートに与えて MOSトラン

V

ジスタ T6を ONにすると共に信号 φ の電圧値を VI〖こすると、 MOSトランジスタ T4

VD

力 Sソースフォロワ型の MOSトランジスタとして動作するため、出力信号線 6にはノイズ信号が電圧信号として現れるようになって！/ヽる。また、再びパルス信号 φ を MOSト

RS

ランジスタ T5に与えて、キャパシタ Cと MOSトランジスタ T4のゲートとの接続ノードの電圧をリセットした後、信号 φ をローにして MOSトランジスタ T1を導通すると、撮像動作を行うことができる状態となるように構成されて、る。

[0047] また、各画素は次のような動作で撮像を行うように構成されて、る。 MOSトランジスタ T1を ONとすると撮像動作が開始される。このとき、信号 φ をハイとして MOSトラ

RS

ンジスタ T5を OFFとし、 MOSトランジスタ T2のソースに与える信号 φ を VLとする

VPS

と共に、キャパシタ cに与える信号 φ の電圧値を Vhとして積分動作を行うようにす

VD

ると、フォトダイオード PDより入射光量に応じた光電荷が MOSトランジスタ T2に流れ込み、 MOSトランジスタ T2はカットオフ状態なので、光電荷が MOSトランジスタ T2 のゲートに蓄積されるようになって!/、る。

[0048] よって、撮像する被写体の輝度が低くフォトダイオード PDに入射される入射光量が少ない場合は、 MOSトランジスタ T2のゲートに蓄積された光電荷量に応じた電圧が MOSトランジスタ T2のゲートに現れるため、入射光量の積分値に対して線形的に変化する電圧が MOSトランジスタ T3のゲートに現れるようになって!/、る。

[0049] また、撮像する被写体の輝度が高くフォトダイオード PDに入射される入射光量が多い場合は、 MOSトランジスタ T2のゲートに蓄積された光電荷量に応じた電圧が高くなると、 MOSトランジスタ T2がサブスレツショルド領域で動作を行うため、入射光量の積分値に対して自然対数的に変化する電圧が MOSトランジスタ T3のゲートに現れるようになっている。

[0050] この入射光量に対して線形的に又は自然対数的に変化する電圧が MOSトランジスタ T3で電流増幅されたドレイン電流がキャパシタ Cから流れるため、 MOSトランジスタ T4のゲート電圧が、入射光量の積分値に対して線形的又は自然対数的に変化する電圧となる。そして、信号 φ の電圧値を Vmとすると共に、 MOSトランジスタ T6

VD

にパルス信号 φ を与えることで、 MOSトランジスタ T4のゲート電圧に応じたソース

V

電流が、 MOSトランジスタ T6を介して出力信号線 6へ流れるようになつている。このとき、 MOSトランジスタ T4がソースフォロワ型の MOSトランジスタとして動作するため、出力信号線 6には画像信号が電圧信号として現れるようになつている。その後、信号 φ をハイにして MOSトランジスタ T6を OFFにすると共に、信号 φ の電圧値を Vh

V VD

とするようになつている。

[0051] このように動作するとき、撮像時の信号 φ の電圧値 VLが低くなり、リセット時の信号 φ の電圧値 VHとの差を大きくするほど、 MOSトランジスタ T2のゲート'ソース間

VPS

におけるポテンシャル差が大きくなり、 MOSトランジスタ T2がカットオフ状態で動作する被写体輝度の割合が大きくなる。よって、図 5に示すように、電圧値 VLが低いほど、線形変換する被写体輝度の割合が大きくなる。そこで、例えば、被写体の輝度範囲を検出し、被写体の輝度範囲が狭いと電圧値 VLを低くして、線形変換する輝度範囲を広くし、また、被写体の輝度範囲が広いと電圧値 VLを高くして、対数変換する輝度範囲を広くすることで、被写体の特性に合った光電変換特性とすることができる。なお、電圧値 VLを最小とするとき、常に線形変換する状態とし、また、電圧値 VLを最大とするとき、常に対数変換する状態とすることもできる。

[0052] このように動作する撮像素子 6の画素 Gl l〜Gmnに与える信号 φ の電圧値 VL

VPS

の値をシステム制御部 2が切り換えることによって、被写体の輝度範囲などに応じてダイナミックレンジを切り換えることが可能となっている。すなわち、システム制御部 2 が信号 φ の電圧値 VLの値を切り換えることによって、撮像素子 6の画素 G11〜G

VPS

mnにおける線形変換動作力対数変換動作に切り換わる変極点を設定することができるようになつている。なお、撮像時に対数変換動作に切り換わるときの MOSトランジスタ T2のゲート電圧に至るまでに MOSトランジスタ T2に流れ込む光電荷量は、全ての画素にぉ、て等しくなつて、る。

[0053] なお、本発明に係る撮像素子 6は線形変換動作と対数変換動作とを各画素において自動的に切り換えることができるものであればよぐ本実施形態のような構成の画素を備えた撮像素子 6のみならず他の構成の画素を備えた撮像素子 6であってもよい。

[0054] また、本実施形態においては撮像時の信号 φ の電圧値 VLを変更することで線

VPS

形変換動作と対数変換動作とを切り換えることとしたが、リセット時の信号 φ VPSの電圧値 VHを変更することで線形変換動作と対数変換動作との変極点を変更してもよい。さらに、リセット時間を変更することで線形変換動作と対数変換動作との変極点を変更してちよい。

[0055] また、本実施形態の撮像素子 6は各画素に RGBフィルタを備えるものとした力シアン（Cyan)、マゼンタ（Magenta)、イェロー（Yellow)など他の色フィルタを備えるものとしてちよい。 [0056] 図 1に戻り、アンプ 17は、撮像素子 6から出力された画像信号を所定の規定レベルに増幅するようになって、る。

[0057] AZD変換部 (ADC) 18は、アンプ 17にお、て増幅された画像信号をアナログ信号力デジタル信号に変換するようになって!/、る。

[0058] タイミング生成部 19は、撮像素子 6及び AZD変換部 18の駆動を制御するクロックパルスを生成するようになっている。また、本実施形態の撮像素子 6は所定の電荷が蓄積されるとコンデンサに電荷の移し替えを行い、このタイミングを擬似的にシャツタ一制御とする電子シャッター機能を備えており、タイミング生成部 19はこの電子シャツター機能を制御するようになって、る。

[0059] 黒基準補正部 20は、最低輝度値となる黒レベルを、基準値に補正するようになつている。すなわち、撮像素子 6のダイナミックレンジにより黒レベルが異なるため、 AD 変換回路から出力される RGB各信号の信号レベルに対して、黒レベルとなる信号レベルが減算されることで黒基準補正が行われるようになって!/、る。

[0060] AE評価値算出部 21は、黒基準補正後の電気信号力も AE (自動露出）のために必要な評価値を検出してシステム制御部 2に出力するようになっている。

[0061] WB制御部 22は、対数領域の画像信号のみを用いて補正係数を算出することにより、撮像画像の R, G, Bの各色成分のレベル比 (RZG, BZG)を調整して白色を正しく表示するようになって、る。

[0062] すなわち、図 6に示すように、 WB制御部 22において、 Lin— Log分別部 23は画像信号を線形領域と対数領域に分別し、対数領域の画像信号のみを出力するようになつている。ここで、「分別」とは、システム制御部 2において認識されているデータ切り換え値 Thに基づき、 Lin— Log分別部 23にお、て画像信号の線形領域と対数領域との区別をつける処理をいう。

[0063] ここで、「データ切り換え値 Th」とは、画像信号が線形領域から対数領域に切り換わる変極点における撮像素子 6の各画素 Gl l〜Gmnの出力値をいう。図 7に示すように、撮像素子 6の出力は線形領域及び対数領域を有している。また、上述したように線形領域力対数領域に切り換わる変極点は、システム制御部 2が撮像素子 6の画素 Gl l〜Gmnに印加する信号 φ の電圧値を変えることによって変更することが可能となっている。また、線形領域及び対数領域の変極点が可変であることに伴ってデータ切り換え値 Thも可変となっており、このデータ切り換え値 Thはシステム制御部 2にお、て予め変極点と対応づけて認識されて、るものである。本実施形態にお!ヽては、撮像素子 6の出力は 12ビット (4096)であり、データ切り換え値 Thは 2000とされている。すなわち、撮像素子 6の出力値が 2000以下である場合は出力信号が線形変換され、また、出力値が 2000以上である場合は対数変換されるようになっている。

[0064] 平均値演算部 24は、 Lin— Log分別部 23から出力された対数領域の画像信号から、 1フレーム中における R、 G、 B信号の平均値を算出するようになっている。

[0065] 色度図座標推定部 25は、 1フレームの RGB各信号の平均値 R , G , B に基づい

av av av て下記式（1)により色度座標 (X, Y)を算出し、色度図座標の推定を行うようになっている。

[0066] [数 1]

X = R_a (R_av + G_ar + B_m ) ... ）

[0067] 光源推定部 26は、上記式（1)により求めた色度座標 (X, Y)が、事前に測定した光源の座標に近ヽか否かを判定して光源の種類を推定するようになってヽる。

[0068] 重み付け部 27は、色度図座標上で光源の座標に近いフレームは多く重み付けを、光源の座標力も遠、フレームは少なく重み付けを行うようになって!/、る。

[0069] 補正係数算出部 28は、下記式（2)により、 RGB各信号の平均値の総和の比が R:

G : B= 1 : 1 : 1となるような補正係数 R , B を算出して、下記式 (3)により WB調整さ

cor cor

れた画像信号 R , B を出力するようになっている。なお、光源の座標から遠く重み

out out

付けの少ないフレームについては補正係数 R , B は 1となる。また、 G について

cor cor out

は前段のブロック力も入力された画像信号の G がそのまま出力される。

sig

[0070] [数 2]

… ）

B = G IB

[0071] [数 3] B。", = B B_c。_r ... ( 3 )

G。„, = G_slg

[0072] 遅延回路 29は、 G信号の出力タイミングを遅らせることにより、補正係数 R , B に

cor cor よる補正が行われた R , B と、補正が行われない G とを同じタイミングで出力させ

out out out

るようになっている。

[0073] 図 1に戻り、色補間部 30は、撮像素子 6の画素から出てくる信号が原色のうち一つあるいは二つだけである場合に、各画素について R, G, Bの各色成分値を求めることができるように、欠落する色成分を画素ごとに補間する色補間処理を行うようになつている。

[0074] 色補正部 31は、色補間部 25から入力する画像データの画素ごとの色成分値を補正して、各画素の色合!、を強調した画像を生成するようになって!/、る。

[0075] 階調変換部 32は、画像を忠実に再現すベぐ画像の入力から最終出力までにお V、てガンマを 1として理想階調再現特性を実現するために、画像の階調の応答特性を撮像装置 1のガンマ値に応じた最適のカーブに補正するガンマ補正処理を行うようになっている。

[0076] 色空間変換部 33は、色空間を RGB力も YUVに変換するようになっている。 YUV は、輝度 (Y)信号と青の色差 (U、 Cb)と赤の色差 (V、 Cr)の 2つの色度で色を表現する色空間の管理方法であり、色空間を YUVに変換することにより、色差信号のみのデータ圧縮が行!、やすくなる。

[0077] 次に、上述の撮像装置 1を用いた本発明の撮像方法について説明する。

[0078] 撮像素子 6がリセット動作を行った後、撮像動作を開始すると、画素 Gl l〜Gmnにお!、て光電変換された電荷がタイミング生成部 19から与えられるノルスのタイミングに従って走査され、入射光量が少ない場合は線形的に、入射光量が多い場合は自然対数的に変換された画像信号がアンプ 17に出力される。

[0079] そして、アンプ 17が撮像素子 6から出力された画像信号を所定の規定レベルに増幅すると、 AZD変換部 18がアンプ 17から出力された画像信号をアナログ信号からデジタル信号に変換する。 [0080] その後、黒基準補正部 20が黒基準の補正を行うと、 AE評価値算出部 21は、黒基準補正後の電気信号から AE調整のために必要な評価値を検出してシステム制御部 2に出力する。

[0081] また、 WB調整部 22は、黒基準補正後の電気信号において R, G, Bの各色成分のレベル比 (RZG, B/G)を調整することにより白色を正しく表示する処理を行う。

[0082] すなわち、図 8のフローチャートに示すように、黒基準補正部 20から画像信号が入力されると、まず WB調整部 22は画像信号が送られてくる順番により、 R信号， G信号 , B信号を判定する (ステップ Sl)。その後、 WB調整部 22は線形領域と対数領域の分別工程に移行する。すなわち、 Lin— Log分別部 23がシステム制御部 2から入力されるデータ切り換え値 Thに基づき画像信号を線形領域と対数領域に分別して、対数領域の画像信号のみを出力する (ステップ S2)。なお、本実施形態において撮像素子 6の出力は 12ビット（4096)であり、データ切り換え値 Thは 2000とされている。

[0083] 次に、画像信号が線形領域と対数領域に分別されると、画像処理工程に移行する。すなわち、平均値演算部 24は、 Lin— Log分別部 23から出力された対数領域の画像信号について、 1フレームの R, G, B各信号の平均値 R , G , B を算出する（ス av av av

テツプ S3)。

[0084] 次に、色度図座標推定部 25は、 RGB各信号の平均値 R , G , B に基づいて上 av av av

記式（1)により色度座標 (X, Y)を算出し、色度図座標の推定を行う（ステップ S4)。

[0085] そして、光源推定部 26が上記式（1)により求めた色度座標 (X, Y)により光源の推定を行い、重み付け部 27が、色度図座標上で光源の座標に近いフレームは多ぐ光源の座標力も遠、フレームは少なく重み付けを行う（ステップ S5)。

[0086] その後、補正係数算出部 28が、上記式（2)により RGB各信号の平均値の総和の比が1^: 0 ^= 1 : 1 : 1となるょぅな補正係数1^ , B を算出し (ステップ S6)、上記式（ cor cor

3)により WB調整された画像信号 R , B を出力する (ステップ S 7)。なお、光源の座 out out

標から遠く重み付けの少ないフレームについては補正係数 R , Β

cor corは 1となる。また

、G については前段のブロック力も入力された画像信号の G がそのまま出力される out Slg

[0087] そして、遅延回路 29は、 G信号の出力タイミングを遅らせることにより、補正係数 R , B による補正が行われた R , B と、補正が行われない G とを同じタイミングで cor out out out

出力させる。

[0088] 次に、色補間部 30は各画素について R, G, Bの各色成分値を求めることができるように欠落する色成分を画素ごとに補間する色補間処理を行う。そして、色補正部 31 は、色補間部 30から入力する画像データの画素ごとの色成分値を補正して、各画素の色合いを強調した画像を生成する。また、階調変換部 32は、画像の階調の応答特性を撮像装置 1のガンマ値に応じた最適のカーブに補正するガンマ補正処理を行い、色空間変換部 33は、色空間を RGBから YUVに変換する。

[0089] 以上より本実施形態によれば、 WB制御に際して画像信号を線形領域及び対数領域に分別し、そのうち対数領域の画像信号のみから RGB各信号の平均値を算出し、補正係数を算出することから、画像信号の物理的意味の異なる線形領域及び対数領域の双方において別々に補正係数の算出を行う必要はない。したがって、回路規模を縮小することができると共に、演算処理の迅速化が図られる。

[0090] また、 WB制御に際して、高輝度領域と対応し、なおかつ高輝度領域にお!、ても飽和することのない対数領域の画像信号を用いて補正係数を算出することから、線形領域よりも光源に近いデータが得られる。したがって、 WB調整のための補正係数をより正確に算出することができる。

(第 2の実施形態）

次に、本発明の第 2の実施形態について、図 9〜図 11を参照して説明する。なお、第 1の実施形態と同一部分には同一符号を付してその説明を省略し、第 1の実施形態と異なる構成部分である WB調整部 22について説明する。

[0091] 図 9に示すように、本実施形態の WB調整部 22においては、 Lin— Log分別部 23 の後に Log— Lin変換部 34が揷入されている。

[0092] Log— Lin変換部 34には、対数領域の画像信号に逆関数となる指数関数を乗じて線形化した画像信号が、予め Log— Lin変換 LUTとして格納されている。そして、対数領域カゝら抽出したデータをアドレスとして対数領域が線形化された画像信号を LU Tにより選択して変換することができるようになつている。このように、 Log— Lin変換部 34において Log— Lin変換 LUTを用いた変換を行うことにより、図 10に示すように対数領域が線形化された画像信号が平均値演算部 24に出力されるようになっている。

[0093] そして、平均値演算部 24は線形化された対数領域における画像信号に基づヽて補正係数の算出に用いる RGB各信号の平均値 R , G , B を算出するようになって av av av

いる。

[0094] なお、 Lin— Log分別部 23、平均値演算部 24、色度図座標推定部 25、光源推定部 26、重み付け部 27、補正係数算出部 28及び遅延回路 29の構成は第 1の実施形態と同様である。

[0095] 次に、上述の撮像装置 1を用いた本発明の撮像方法について図 11のフローチヤ一トを参照して説明する。

[0096] ステップ S11及びステップ S12は第 1の実施形態におけるステップ S1及びステップ S 2と同様である。

[0097] 次に、 Lin— Log分別部 23から Log— Lin変換部 34に対数領域における画像信号のみが出力されると、 Log— Lin変換部 34は対数領域における画像データをアドレスとして、 Log— Lin変換 LUTから対数領域が線形化された画像信号を選択する。そして、入力された対数領域における画像信号を選択した画像信号に変換した上で平均値演算部 24に出力する (ステップ S 13)。

[0098] そして、平均値演算部 24は線形化された対数領域における画像信号に基づヽて補正係数の算出に用いる RGB各信号の平均値 R , G , B を算出する (ステップ S1 av av av

4) ₀

[0099] ステップ S 15〜S18は第 1の実施形態におけるステップ S4〜S 7と同様である。

[0100] このように、平均値演算部 24において対数領域の画像信号を用いて演算することにより光源に近、データを得た後、 Log— Lin変換部 34で対数領域を線形化することから、色度図座標推定部 25以降の画像処理回路では線形領域のみにおいて画像処理を行うことができる。

[0101] 以上より本実施形態によれば、対数領域の画像信号を線形化する処理を行った上で RGB各信号の平均値 R , G , B を算出することから、 WB制御部 22の平均値演 av av av

算部 24における演算処理を容易化及び迅速化することができる。また、線形領域として扱うことのできるデータ範囲が広がることから、平均値演算部 24においてより正確な演算処理を行うことが可能となる。

(第 3の実施形態）

次に、本発明の第 3の実施形態について、図 12及び図 13を参照して説明する。なお、第 1の実施形態と同一部分には同一符号を付してその説明を省略し、本実施形態に係る撮像装置 1の構成部分のうち、第 1の実施形態と異なる構成を有する AE評価値算出部 21について説明すると共に、本実施形態に係る撮像装置 1を用いた撮像方法について説明する。

[0102] 本実施形態において、 AE評価値算出部 21は対数領域の画像信号のみを用いて被写体の輝度値を算出した上で AE評価値を算出する AE調整部としての機能を果たしている。

[0103] 図 12に示すように、本実施形態の AE評価値算出部 21において、 Lin— Log分別部 35は、システム制御部 2より入力される「データ切り換え値 Th」に基づいて画像信号を線形領域と対数領域に分別し、対数領域の画像信号のみを出力するようになつている。なお、「分別」及び「データ切り換え値 Th」の意味は第 1の実施形態における WB制御部 22が備える Lin— Log分別部 23の説明と同様である。

[0104] 平均値演算部 36は、 Lin— Log分別部 23から出力された対数領域の画像信号から、 1フレーム中における R, G, B各信号の平均値 R , G , B を算出するようになつ

av av av

ている。

[0105] 輝度値算出部 37は、 R, G, B各信号の平均値 R , G , B を用いて、下記式 (4)

av av av

により被写体の輝度値 Yを算出するようになって、る。

[0106] [数 4]

K = 0.299 ί?_ον + 0.587G„_V + 0Λ ΠΒ_α, … { 4 )

[0107] 目標輝度値との差分算出部 38は、下記式（5)により、システム制御部 2から入力される目標輝度値 Υ と輝度値算出部 37において算出した輝度値 Υの差分 Υ を算

goal dif 出するようになっている。

[0108] [数 5] i = -y … ）

[0109] シャッター速度決定部 39は、目標輝度値との差分算出部 38において算出した差分 Y

diffに応じてシャッター速度を決定するようになっている。この際、差分 Y

diffが正であれば目標輝度値 γ に達して、な、のでシャッター速度を遅くし、また、差分 γ が

goal dift 負であれば目標輝度値 Y

goalより明る、のでシャッター速度を早くする。なお、シャツタ一速度は差分 Y 及びシャッター速度を予め対応付けた LUTを参照して選択するこ

diff

とにより決定してもよ、。

[0110] 次に、上述の撮像装置 1を用いた本発明の撮像方法について図 13のフローチヤ一トを参照して説明する。

[0111] 黒基準補正部 20から AE評価値算出部 21に画像信号が入力されると、 AE評価値算出部 21は、画像信号が送られてくる順番により R信号， G信号， B信号を判定する (ステップ S21)。その後、 AE評価値算出部 21は線形領域と対数領域の分別工程に移行する。すなわち、 Lin— Log分別部 35は、システム制御部 2より入力される「データ切り換え値 Th」に基づいて画像信号を線形領域と対数領域に分別し、対数領域の画像信号のみを出力する (ステップ S22)。

[0112] 次に、平均値演算部 36は、 Lin— Log分別部 23から出力された対数領域の画像信号について、そして、 1フレームの R, G, B各信号の平均値 R , G , B を算出す

av av av

る（ステップ S 23)。

[0113] そして、輝度値算出部 37は、 R, G, B各信号の平均値 R , G , B を用いて、上記

av av av

式 (4)により被写体の輝度値 Yを算出する (ステップ S24)。

[0114] そして、目標輝度値との差分算出部 38は、上記式（5)によりシステム制御部 2から入力される目標輝度値 Y と算出した輝度値 Yの差分 Y を算出する (ステップ S25)

[0115] その後、シャッター速度決定部 39は、目標輝度値 Y と輝度値 Yの差分 Y に応じ

goal diff てシャッター速度を決定し、システム制御部 2に出力する (ステップ S26)。この際、差分 Y が正であれば目標輝度値 Y に達していないのでシャッター速度を遅くし、ま diff goal

た、差分 Y

diffが負であれば目標輝度値 Υ

goalより明るいのでシャッター速度を早くする。なお、シャッター速度は差分 Y 及びシャッター速度を予め対応付けた LUTを参照 dif

して選択することにより決定してちょ、。

[0116] そして、システム制御部 2はシャッター速度決定部 39において決定されたシャツタ一速度をタイミング生成部 19に出力し、タイミング生成部 19はそのシャッター速度に従って撮像素子 6における電気シャッター機能の制御を行う。

[0117] 以上より本実施形態によれば、 AE制御に際して、高輝度領域と対応し、なおかつ高輝度領域にぉ、ても飽和することのな、対数領域の画像信号を用いて補正係数を算出することから、従来のログセンサの出力信号では飽和して調整することができなカゝつた高輝度部を理想輝度値とした AE調整を行うことが可能となる。

[0118] 以上述べたように本発明の撮像装置及び撮像方法によれば、線形領域及び対数領域の双方を含めた領域で別々に画像処理を行う必要がないことから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。

[0119] また、 WB調整においては、光源に近いデータが得られることから、 WB調整のための補正係数をより正確に算出することができる。

[0120] また、 AE調整にぉヽては、高輝度部を理想輝度値とした AE調整を行うことが可能となる。

[0121] さらに、対数領域の画像信号を線形化する処理を行った上で対数領域の画像信号を用いて画像処理を行うことにより、画像処理部において対数領域における複雑な演算処理を行う必要がなくなり、また、対数動作用画像処理回路を備える必要もなくなるため、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。また、線形領域として扱うことのできるデータ範囲が広力て正確な演算処理を行うことが可能となる。

Claims

請求の範囲

[1] 入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子と、

前記画素に与える信号の電圧値を切り換えることにより、線形変換動作力対数変換動作に切り換わる変極点を設定することが可能な制御部と、

前記制御部より入力される前記変極点における撮像素子の出力値に基づき、前記撮像素子の出力信号を線形領域及び対数領域に分別した上で、対数領域の画像信号を用いて画像処理を行う画像処理部と、を備えることを特徴とする撮像装置。

[2] 前記画像処理部は、線形領域及び対数領域に分別した画像信号のうち対数領域の画像信号を用いて補正係数を算出して WB調整を行う WB調整部であることを特徴とする請求の範囲第 1項に記載の撮像装置。

[3] 前記画像処理部は、線形領域及び対数領域に分別した画像信号のうち対数領域の画像信号を用いて被写体の輝度値を算出して AE調整を行う AE調整部であることを特徴とする請求の範囲第 1項に記載の撮像装置。

[4] 前記画像処理部は、線形領域及び対数領域に分別した後、対数領域の画像信号を線形化する処理を行った上で対数領域の画像信号を用いて画像処理を行うことを特徴とする請求の範囲第 1項〜第 3項のいずれか一項に記載の撮像装置。

[5] 入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子の出力信号を、前記画素に与える信号の電圧値の切り換えにより線形変換動作力対数変換動作に切り換わる変極点の設定が可能な制御部力入力される前記変極点での前記撮像素子の出力値に基づき、画像処理部にお!、て線形領域及び対数領域に分別する分別工程と、

前記画像処理部において、前記分別工程において分別した画像信号のうち対数領域の画像信号を用いて画像処理を行う画像処理工程と、を備えることを特徴とする撮像方法。

[6] 前記画像処理工程において、前記画像処理部としての WB調整部が線形領域及び対数領域に分別した画像信号のうち対数領域の画像信号を用いて補正係数を算出して WB調整を行うことを特徴とする請求の範囲第 5項に記載の撮像方法。

[7] 前記画像処理工程において、前記画像処理部としての AE調整部が線形領域及び対数領域に分別した画像信号のうち対数領域の画像信号を用いて被写体の輝度値を算出して AE調整を行うことを特徴とする請求の範囲第 5項に記載の撮像方法。

[8] 前記画像処理工程において、前記画像処理部は線形領域及び対数領域に分別した後、対数領域の画像信号を線形化する処理を行った上で、対数領域の画像信号を用いて画像処理を行うことを特徴とする請求の範囲第 5項〜第 7項のいずれか一項に記載の撮像方法。