JP4271011B2 - 撮像処理装置 - Google Patents

Description

この発明は、撮像素子から出力される映像信号に対して信号処理を行う撮像処理装置に関し、特に自動露出調整及びホワイトバランス調整等の撮像調整を行なう撮像処理装置に関するものである。

一般に、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いて得られた撮像信号を、ディジタル信号に変換して信号処理を行うディジタルカメラなどの撮像装置では、得られた撮像信号に対して自動露出制御（以下ＡＥ）、自動焦点制御（以下ＡＦ）、自動ホワイトバランス調整（以下ＡＷＢ）等の処理を行う機能を備え、撮影者が最適な条件で撮影することができる。

撮像装置における上記処理は、撮像画面の所定の領域をそれぞれ測光エリア及びフォーカスエリアとして設定し、その領域内の撮像信号を検出して、撮影時に最適な条件に撮像装置を調整するものである。例えばＡＥは、撮像素子の出力色信号成分を積算した評価値をもとに、絞りなどを設定し最適な露出量を得るものであり、ＡＷＢは上記評価値より、それぞれの色の相関をとり、色のバランスを補正するものである。

上記制御を実現する手法として、例えば特開平１１−２３９２９１号公報には次に示すような構成の撮像処理装置が提案されている。図８は、この撮像処理装置を構成を示すブロック図である。図８において、101 は撮像部で、レンズや固体撮像素子などにて構成される光学ユニット、固体撮像素子を駆動する駆動回路、及びレンズや絞りを所定の位置に搬送する駆動機構からなる。102 は駆動部で、絞りの大きさや固体撮像素子を駆動する駆動信号などを生成する手段である。103 はアナログ信号処理部で、撮像部101 から出力された画像データをクランプして増幅し画像信号を出力する手段である。104 はアナログ信号からなる画像データをディジタル変換するＡ／Ｄ変換処理部、105 はγ処理などを施すディジタル信号処理部である。106 はメモリカード等に信号を記録し、また再生するための記録再生処理部である。107 はＤ／Ａ変換処理部で、表示部108 のモニタ109 に可視表示するためにディジタル信号をアナログ信号に変換する手段である。111 はＣＰＵ等の制御部、112 は操作スイッチである。113 はＡＦ積算ブロックでＡＦ評価値を算出する手段である。114 は共通積算ブロックで、ＡＥ／ＡＷＢ及びモードによってはＡＦを行うための評価値を算出する手段であり、内部に画像を複数ブロックに分割し評価値を積算する積算部、積算結果を保持するメモリを含む。

次に、このように構成されている撮像処理装置の動作について説明する。撮像部101 から得られた撮像データは、アナログ信号処理部103 を通り、Ａ／Ｄ変換処理部104 によりディジタル信号に変換されてディジタル信号処理部105 に入力される。ディジタル信号処理部105 からの信号は、操作スイッチ112 から与えられる指令により、記録再生処理部106 を介してメモリカードに記録されるか、表示部108 のモニタ109 に表示される。またＡ／Ｄ変換部104 からの信号は、ＡＦ積算ブロック113 及び共通積算ブロック114 にも入力される。共通積算ブロック114 においては入力画像を複数ブロックに分割し、各ブロック毎に積算され評価値が生成される。生成された評価値は内部バス等を通じ制御部111 に送られ、駆動部102 への制御信号が生成される。

図９は、共通積算ブロック114 の構成を示すブロック図である。また図10は、共通積算ブロック114 の動作を説明するためのタイミングチャートである。図９において、201 は高輝度抑圧処理部であり、図８のＡ／Ｄ変換処理部104 の出力に対し、例えばニー処理を行う回路である。入力データ切り替え部202 の入力には、高輝度抑圧処理部201 において処理された結果、並びに図８のＡＦ積算ブロック113 の積算結果ＡＦa ，ＡＦb が入力される。入力データ切り替え部202 においては図10に示すように、例えば、１フィールド目にＡＥ／ＡＷＢ積算、２フィールド目にＡＦ積算というように各評価値の演算をフィールド毎に切り替えて所望の演算を行う。レジスタ設定部203 において積算するエリアの設定を行い、評価値演算部204 において積算処理を行い、積算途中の値、並びに積算結果を積算メモリ205 に保持する。また演算結果は、各フィールドの演算が終了した時点で制御部111 に読み出され、演算で得られた評価値をもとにＡＥ／ＡＷＢ処理用の制御信号が生成される。
特開平１１−２３９２９１号公報

以上説明した従来例は、評価値を各フィールドの終了時に読み出し、ＣＰＵ等の制御部111 においてＡＥ／ＡＷＢ用の制御信号の生成を行う手法であり、この手法においては分割ブロックの数が多くなる場合、評価値を読み出す際に内部バスの状態により制御部111 への読み出し、並びに制御部111 から駆動部102 に対する制御信号の生成に時間を要し、シャッタ間隔が長くなる。またフィールドの終了時に評価値を読み出すため、評価値を保持するために大きなサイズのメモリを必要とする。またＡＷＢ用の演算にＣＰＵ等の制御部を用いているために制御部などに負荷が掛かる、という問題を有する。

本発明は、上記事情に鑑みてなされたものであり、ＡＥ，ＡＷＢ等の評価値の累積処理に用いるメモリを少なくするようにした撮像処理装置を提供することを目的とする。また、制御部が１フィールド画の入力が終了すると共にＡＷＢ評価値を得ることができるようにした撮像処理装置を提供することを目的とする。

上記課題を解決するため、請求項１に係る発明は、複数の画素が平面上に配列された撮像面にカラーフィルタが貼付された撮像素子から入力される撮像信号に対して、画像処理を行う画像処理装置において、撮像信号に対して、撮影条件を決定する評価値を生成するための領域を決定し、決定した領域を複数の領域に分割する領域決定手段と、奇数番目の水平ラインにおいて入力された撮像信号を色毎に累積した結果を、各分割領域毎に保持する第１の保持手段と、偶数番目の水平ラインにおいて入力された撮像信号を色毎に累積した結果を、各分割領域毎に保持する第２の保持手段と、水平同期期間毎に、外部接続端と前記第１の保持手段、あるいは第２の保持手段との接続を交互に切り替える切り替え手段と、該切り替え手段の外部接続端に出力端が接続され、或る水平ラインにおいて入力された撮像信号を各分割領域毎で且つ色毎に累積し、更に、その累積結果と、前記切り替え手段を介して接続されている前記第１又は第２の保持手段から読み出された対応する分割領域の各色毎の累積結果とを加算して出力する累積手段とを備えたことを特徴とするものである。

このように構成された撮像処理装置においては、画像信号は、複数の領域に分割され、各分割領域毎に各色毎の累積値が求められ、その際奇数番目の水平ラインの累積値は第１の保持手段に、偶数番目の水平ラインの累積値は第２の保持手段に、水平同期期間毎に切り替えて保持させる。これにより、累積値を保持するメモリを小さくすることができる。

請求項２に係る発明は、請求項１に係る撮像処理装置において、前記累積手段は、前記分割領域の水平方向に１ライン分の累積加算が終了する毎に、累積の対象となっていた前記第１あるいは第２の保持手段の一方とは異なる保持手段から累積結果を読み出すことを特徴とするものである。

このように構成した撮像処理装置においては、第１の保持手段に保持されている奇数番目の水平ラインの累積値は、分割領域の奇数番目の水平ラインの累積演算が終了したときに、読み出し手段より読み出され、第２の保持手段に保持されている偶数番目の水平ラインの累積値は、分割領域の偶数番目の水平ラインの累積演算が終了したときに読み出し手段より読み出される。これにより、読み出しに掛かる時間を短縮することができる。

請求項３に係る発明は、請求項１又は２に係る撮像処理装置において、ホワイトバランス処理を行うための評価値を生成する演算手段を更に備え、該演算手段は、前記分割領域の偶数番目の水平ラインにおいて入力される撮像信号の色毎の累積結果が決定したとき、該累積加算結果と、前記第１の保持手段に保持されている累積結果を用いて演算することを特徴とするものである。

このように構成した撮像処理装置においては、ホワイトバランス処理を行うための評価値を生成する演算手段を更に備え、各分割領域の偶数番目の水平ラインの累積結果と、第１の保持手段に保持されている奇数番目の水平ラインの累積結果を用いて、ホワイトバランス処理を行うための評価値が演算生成される。これにより、ＣＰＵの処理を軽減することができる。

請求項４に係る発明は、請求項３に係る撮像処理装置において、前記第１の保持手段と同様の内容を保持する第３の保持手段を更に備え、前記演算手段は、前記分割領域の偶数番目の水平ラインにおいて入力される撮像信号の色毎の累積結果が決定したとき、該累積結果と、前記第３の保持手段に保持されている累積結果を用いて演算することを特徴とするものである。

このように構成した撮像処理装置においては、前記第１の保持手段と同様の値を保持する第３の保持手段を更に備え、前記演算手段は、各分割領域の偶数番目の水平ラインの累積結果と、第３の保持手段に保持されている奇数番目の水平ラインの累積結果を用いて、ホワイトバランス処理を行うための評価値が演算生成される。これにより、前記読み出し手段が第１の保持手段より累積値を読み出すタイミングと、前記演算手段が第３の保持手段より累積値を読み出すタイミングが重なっても、双方の処理が並行して行うことが可能となる。

本発明によれば、分割領域の水平方向に１ライン分の累積処理が終了する毎に累積値の書き込み保持を行うようにしているので、累積処理に用いるメモリを少なくした撮像処理装置を実現することができ、またＡＷＢ用の演算手段を持たせ、１フィールド画の入力が終了すると共にＡＷＢ評価値を得るようにしているので、ＣＰＵの負荷を軽減することが可能となる。

次に、発明を実施するための最良の形態について説明する。

（実施例１）
まず、本発明に係る撮像処理装置の実施例１の構成を図１に基づいて説明する。図１において、１は撮像部で、レンズや固体撮像素子などにて構成される光学ユニット、固体撮像素子を駆動する駆動回路、及びレンズや絞りを所定の位置に搬送する駆動機構からなる。撮像素子は例えばＣＣＤ撮像素子であり、その撮像面には各画素毎に、Ｒ，Ｇ，Ｂの原色フィルタが図２に示すような配列で配置されている。２はＣＰＵ等からなる制御部で各部の動作を制御する。３は領域決定手段であり、ＡＥ処理を行うために１画面の撮像信号を複数の領域に分割する。４は累積手段であり、撮像部１より入力される撮像信号を、領域決定手段３により決定された領域において色毎に累積処理を行う。５は第１の保持手段であり、奇数番目のラインの累積結果を保持する。６は第２の保持手段であり、偶数番目のラインの累積結果を保持する。７は切り替え手段であり、累積した結果を第１の保持手段５，第２の保持手段６の何れに保持するかを切り替える。８はホワイトバランス演算手段である。ホワイトバランス演算手段８は、各分割領域において、色毎の累積結果の比率がある一定の範囲内に収まっているか否かを判定し、一定の範囲内に収まっている分割領域のみを抽出し、ホワイトバランス制御を行うための評価値の生成を行う。９は累積手段４により累積された結果を、第１及び第２の保持手段５，６から転送するバス、10は転送されてきた累積結果を保持するＳＤＲＡＭである。

図２は、本実施例における１画面の撮像信号の分割例を示す図である。図２に示す分割例においては、１画面が３×３の領域に分割され、各分割領域は６ラインからなる。また各分割領域より構成される水平方向の分割領域の１ライン分を、ここでは分割ラインと定義する。

次に、本実施例の動作を図３の動作タイミングチャートを参照しながら説明する。撮像部１から得られた撮像信号は、累積手段４において、領域決定手段３により例えば図２に示すような領域に分割され、各領域において色毎に累積される。撮像部１から出力される撮像信号は、図２に示すようにライン毎に入力される色が、Ｒ−Ｇr とＧb −Ｂのように交互に入れ代わるように累積手段４に入力される。

分割領域のライン１においては、ＲとＧr が入力される。累積手段４では撮像部１より入力された信号を、各分割領域においてライン１の色毎に累積処理を行い、ライン１の累積値を第１の保持手段５に書き込み格納する。ライン２においてはＧb とＢが入力される。累積手段４では撮像部１より入力された信号を、各分割領域においてライン２の色毎に累積処理を行い、その累積値を第２の保持手段６に書き込み格納する。ライン３においてはＲとＧr が入力され、第１の保持手段５よりライン１の累積値を読み出し、ライン３の入力信号と累積処理する。したがって、第１の保持手段５にはライン１＋ライン３の累積値が格納される。ライン４においてはＧb とＢが入力され、第２の保持手段６よりライン２の累積値を読み出し、ライン４の入力信号と累積処理する。したがって、第２の保持手段６にはライン２＋ライン４の累積値が格納される。ライン５においても同様に、第１の保持手段５よりライン１＋ライン３の累積値を読み出し、ライン１＋ライン３＋ライン５の累積値を第１の保持手段５に保持する。またライン５は分割領域においてＲとＧr が入力される最後の水平ラインのため、各分割領域のＲとＧr の累積結果が決定する。この累積結果は、ライン５の累積処理終了後、バス９を通じてＳＤＲＡＭ10に転送される。この転送された結果は、ＡＥ処理を行う評価値として用いられる。

ライン６においても同様に、第２の保持手段６よりライン２＋ライン４の累積値を読み出し、ライン２＋ライン４＋ライン６の累積値を第２の保持手段６に保持する。またライン６は分割領域においてＧb とＢが入力される最後の水平ラインのため、各分割領域のＧb とＢの累積結果が決定する。この累積結果は、ライン６の累積処理終了後、バス９を通じてＳＤＲＡＭ10に転送される。この転送された結果は、ＡＥ処理を行う評価値として用いられる。

また、ホワイトバランス演算手段８によるＡＷＢ処理の評価値生成は、図３中のライン６の累積処理時に第１の保持手段に保持されている累積値を読み出して行われる。すなわち、ライン６の累積処理により各分割領域のＧb とＢの累積結果（ライン２＋ライン４＋ライン６）が決定されると同時に、第１の保持手段５より対応する分割領域のＲとＧr の累積値を読み出し、これによりＲ，Ｇr ，Ｇb ，Ｂの累積結果をもとに、各分割領域毎にＡＷＢ処理用の評価値を生成する。また、次の分割領域であるライン７からライン12間での撮像信号の累積処理や、それ以降の分割領域においても同様の処理がなされる。

本実施例によると、分割ライン毎に内部バスを通じて第１及び第２の保持手段５，６より奇数ラインと偶数ラインの累積値を読み出すようにしているので、１フィールド分の累積値を保持させる場合に比べメモリ容量を低減でき、１ライン分のメモリを２個で累積値を保持させることができる。またホワイトバランス演算手段８において評価値の生成を行っているため、制御部の負荷を軽減することができる。またホワイトバランス演算手段８で、累積処理が完了した分割ブロックの累積値からＡＷＢ処理を行うための評価値を演算するため、１フィールド画の入力が終了すると共に、評価値を得ることができる。

図４は、図１に示した実施例１の変形例を示すブロック図である。この変形例は、ホワイトバランス演算手段８におけるホワイトバランス演算用の評価値の生成を、第１の保持手段５並びに第２の保持手段６に保持している累積値を用いて行うようにしたものである。ホワイトバランス演算手段８によるＡＷＢ処理時に第１の保持手段５に保持されている累積結果を用いた場合、ライン５の累積処理の終了時に、第１の保持手段５から内部バス９を通じてＳＤＲＡＭ10へ累積値を読み出すタイミングと、ＡＷＢ処理用の評価値生成のためにホワイトバランス演算手段８が第１の保持手段５から評価値生成用用の累積値を読み出すタイミングが重なり、正常な読み出しが行えない場合がある。本変形例のように第２の保持手段６に保持している累積値を用いることにより、前記タイミングにおいてはＳＤＲＡＭへの読み出しを優先させ、ホワイトバランス演算手段８による評価値生成を、別のタイミングでも処理を行うことができる。

（実施例２）
次に、本発明の実施例２について説明する。図５は、本発明の実施例２に係る撮像処理装置の構成を示すブロック図である。図５において、21は撮像部で、レンズや固体撮像素子などにて構成される光学ユニット、固体撮像素子を駆動する駆動回路、及びレンズや絞りを所定の位置に搬送する駆動機構からなる。22はＣＰＵ等からなる制御部で各部の動作を制御する。23は領域決定手段であり、ＡＥ処理を行うために１画面を複数の領域に分割する。24は累積手段であり、撮像部21より入力される撮像信号を、領域決定手段23により決定された領域において色毎に累積処理を行う。25は第１の保持手段であり、奇数番目のラインの累積結果を保持する。26は第２の保持手段であり、偶数番目のラインの累積結果を保持する。27は切り替え手段であり、累積した結果を第１の保持手段25，第２の保持手段26の何れに保持するかを切り替える。28は第３の保持手段であり、上記第１の保持手段25と同様の累積結果が保持される。29はホワイトバランス演算手段である。ホワイトバランス演算手段29は、各分割領域において、色毎の累積結果の比率がある一定の範囲内に収まっているか否かを判定し、一定の範囲内に収まっている分割領域のみを抽出し、ホワイトバランス制御を行うための評価値の生成演算処理を行う。30は累積手段24により累積された結果を、第１及び第２の保持手段25，26から転送するバス、31は転送されてきた累積結果を保持するＳＤＲＡＭである。

次に、本実施例の動作例を図２及び図６のタイミングチャートを参照しながら説明する。図２のライン１乃至ライン４における色毎の累積処理、並びに第１及び第２の保持手段25，26への格納動作は、図１に示した実施例１と同じである。ライン５においては、ライン１＋ライン３＋ライン５の累積値を第１の保持手段25に保持する。またライン５は分割領域においてＲとＧr が入力される最後の水平ラインのため、各分割領域毎のＲとＧr の累積結果が決定する。この奇数ラインの累積結果は、ライン５の累積処理終了後、内部バス30を通じてＳＤＲＡＭ31に転送される。この転送された結果は、ＡＥ処理を行う評価値として用いられる。また、この際、第１の累積手段25に保持されている内容と同じ内容（ライン１＋ライン３＋ライン５の累積値）を第３の保持手段28にも保持する。

ライン６においても同様に、第２の保持手段26よりライン２＋ライン４の累積値を読み出し、ライン２＋ライン４＋ライン６の累積値を第２の保持手段26に保持する。またライン６は分割領域においてＧb とＢが入力される最後の水平ラインのため、各分割領域のＧb とＢの累積結果が決定する。この累積結果は、ライン６の累積処理終了後、バス30を通じてＳＤＲＡＭ31に転送される。この転送された結果は、ＡＥ処理を行う評価値として用いられる。

ホワイトバランス演算手段29によるＡＷＢ処理の評価値生成は、図６中のライン６の累積処理時に第３の保持手段28に保持されている累積値を読み出して行われる。すなわち、ライン６の累積処理により各分割領域のＧb とＢの累積結果（ライン２＋ライン４＋ライン６の累積値）が決定されると同時に、第３の保持手段28より対応する分割領域のＲとＧr の累積値を読み出し、これによりＲ，Ｇr ，Ｇb ，Ｂの累積結果をもとに、各分割領域毎にＡＷＢ処理用の評価値を生成する。

ホワイトバランス演算手段29によるＡＷＢ処理時に第１の保持手段25に保持されている累積結果を用いた場合、ライン５の累積処理の終了時に、第１の保持手段25からバス30を通じてＳＤＲＡＭ31へ累積値を読み出すタイミングと、ＡＷＢ演算用の評価値生成のためにホワイトバランス演算手段29が第１の保持手段25から評価値生成用の累積値を読み出すタイミングが重なり、正常な読み出しが行えない場合がある。本実施例のようにホワイトバランス演算手段29用に第３の保持手段28を設けることで、上記タイミングにおいても正常な動作を行うことができる。

上記各実施例における説明においては、奇数ラインにＲ，Ｇが入力され、偶数ラインにＧb ，Ｂが入力された例について示したが、奇数ラインにＧb ，Ｂが入力され、偶数ラインにＲ，Ｇr が入力されてもよく、撮像素子の各画素に対する色フィルタ配列によって動作が限定されるものではない。

また上記各実施例においては撮像素子に原色フィルタを配置した例について示したが、図７に示すように、緑（Ｇ）、黄（Ｙ）、青緑（Ｃ）、紫（Ｍ）の補色系のフィルタを配置しても、同様の処理を行わせることができる。また１画面の撮像信号の分割方法は、図２，図７に示すように全領域を均等の大きさで分割する方法、各領域を不均一の大きさで分割する方法などがあるが、特に限定されるものではない。

本発明に係る撮像装置の実施例１の構成を示すブロック図である。 図１に示した実施例１における領域決定手段で分割される１画面の原色フィルタにおける撮像信号の分割例を示す図である。 図１に示した実施例１の動作を説明するためのタイミングチャートである。 図１に示した実施例１の変形例を示すブロック構成図である。 本発明の実施例２の構成を示すブロック図である。 図５に示した実施例２の動作を説明するためのタイミングチャートである。 補色フィルタにおける撮像信号の１画面の分割例を示す図である。 従来の撮像処理装置の構成例を示すブロック図である。 図８に示した従来例における共通演算ブロックの構成を示す図である。 図８に示した従来例の動作を説明するためのタイミングチャートである。

符号の説明

１，21 撮像部
２，22 制御部
３，23 領域決定手段
４，24 累積手段
５，25 第１の保持手段
６，26 第２の保持手段
７，27 切り替え手段
８，29 ホワイトバランス演算手段
９，30 バス
10，31 ＳＤＲＡＭ
28 第３の保持手段

Claims (4)

1. 複数の画素が平面上に配列された撮像面にカラーフィルタが貼付された撮像素子から入力される撮像信号に対して、画像処理を行う画像処理装置において、撮像信号に対して、撮影条件を決定する評価値を生成するための領域を決定し、決定した領域を複数の領域に分割する領域決定手段と、奇数番目の水平ラインにおいて入力された撮像信号を色毎に累積した結果を、各分割領域毎に保持する第１の保持手段と、偶数番目の水平ラインにおいて入力された撮像信号を色毎に累積した結果を、各分割領域毎に保持する第２の保持手段と、水平同期期間毎に、外部接続端と前記第１の保持手段、あるいは第２の保持手段との接続を交互に切り替える切り替え手段と、該切り替え手段の外部接続端に出力端が接続され、或る水平ラインにおいて入力された撮像信号を各分割領域毎で且つ色毎に累積し、更に、その累積結果と、前記切り替え手段を介して接続されている前記第１又は第２の保持手段から読み出された対応する分割領域の各色毎の累積結果とを加算して出力する累積手段とを備えたことを特徴とする撮像処理装置。
2. 前記累積手段は、前記分割領域の水平方向に１ライン分の累積加算が終了する毎に、累積の対象となっていた前記第１あるいは第２の保持手段の一方とは異なる保持手段から累積結果を読み出すことを特徴とする請求項１に係る撮像処理装置。
3. ホワイトバランス処理を行うための評価値を生成する演算手段を更に備え、該演算手段は、前記分割領域の偶数番目の水平ラインにおいて入力される撮像信号の色毎の累積結果が決定したとき、該累積加算結果と、前記第１の保持手段に保持されている累積結果を用いて演算することを特徴とする請求項１又は２に係る撮像処理装置。
4. 前記第１の保持手段と同様の内容を保持する第３の保持手段を更に備え、前記演算手段は、前記分割領域の偶数番目の水平ラインにおいて入力される撮像信号の色毎の累積結果が決定したとき、該累積結果と、前記第３の保持手段に保持されている累積結果を用いて演算することを特徴とする請求項３に係る撮像処理装置。

Images