JP5116700B2

JP5116700B2 - 撮像装置

Info

Publication number: JP5116700B2
Application number: JP2009004999A
Authority: JP
Inventors: 勝金澤; 直人大坪; 裕一日下部
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2009-01-13
Filing date: 2009-01-13
Publication date: 2013-01-09
Anticipated expiration: 2029-01-13
Also published as: JP2010166156A

Description

本発明は、ダイナミックレンジ（撮像装置が撮影できる暗部と明部の明るさの比）の広い撮像技術に係り、例えば通常のダイナミックレンジの撮像素子を使用しながら、広ダイナミックレンジの撮像を可能にする撮像装置に関する。

現在のＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）を使用した撮像装置では、ダイナミックレンジが１０００：１程度と言われている（例えば非特許文献１参照）。現実の風景では、日向だけ、または日陰だけを撮影するときは、撮像装置のレンズの絞りを調整することで対応できるが、日陰と日向を同時に撮影する場合などでは、その数十倍以上、さらに極端な夜景などでは数百倍以上のダイナミックレンジでの撮像が望まれている。このため、いくつかの方法が提案されている。

まず、撮像素子そのもののダイナミックレンジを拡大する方法が研究されている。この手段としては、素子を冷却することでノイズの発生を抑圧しダイナミックレンジを増やすものがある（例えば非特許文献２参照）。

もう一つの方法は、高輝度用と低輝度用の素子を用いる、または撮影するタイミングを調整して高輝度用と低輝度用の撮像を行い、高輝度と低輝度の画像を作り、これらを組み合わせることにより広ダイナミックレンジの画像を出力するものである（特許文献１参照）。特許文献１に記載されている撮像装置では、信号発生器で高輝度用と低輝度用のタイミングを作り出して露光量制御手段（レンズの絞りなど）を制御する。そして、撮像素子で高輝度と低輝度の２つの画像を作成し、それに対応して画像処理部でのゲインを制御して２つの画像を映像出力回路で合成する（特許文献１の図１参照）。

特開平１１−１５５８０８号公報

山田他、「広ダイナミックレンジ視覚センサ」、１９９５年６月、豊田中央研究所Ｒ＆Ｄレビュー、Ｖｏｌ．３０、Ｎｏ．２、ｐｐ．３５−４４、［ｏｎｌｉｎｅ］、［平成２０年１２月１８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｔｙｔｌａｂｓ．ｃｏ．ｊｐ／ｊａｐａｎｅｓｅ／ｒｅｖｉｅｗ／ｒｅｖ３０２ｐｄｆ／３０２＿０３５ｙａｍａｄａ．ｐｄｆ＞「オルカ（登録商標）−アール２・技術資料（２００８年５月版）」、浜松ホトニクス株式会社、２００８年６月、［ｏｎｌｉｎｅ］、［平成２０年１２月１８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｊｐ．ｈａｍａｍａｔｓｕ．ｃｏｍ／ｓｐ／ｓｙｓ／ｏｒｃａｒ２／ｏｒｃａｒ２ｔｅｃ．ｐｄｆ＞

非特許文献２に記載されているような撮像素子そのもののダイナミックレンジを拡大するものでは、装置が複雑になる上に、改善したダイナミックレンジは数千：１程度で、不十分である。

特許文献１に記載されている方式の場合も、改善したダイナミックレンジは１００００:１程度でまだ十分ではないのと、２つの画像の合成の処理が困難であるとの課題がある。

また、特許文献１に記載されている構成では、全画面で一様に撮像素子への入射光量を制御しており、実際の画面に明るい部分と暗い部分とが存在することから、ダイナミックレンジの改善が小さい。

本発明は、上記の事情を考慮してなされたものであり、従来よりもダイナミックレンジを容易に拡大することができる撮像装置を提供することを目的とする。

［１］上記課題を解決するため、本発明の態様は、受光面に入射された入射光に基づき画像を撮像する撮像手段と、前記撮像手段の受光面を分割してなる分割領域毎に前記入射光の光量を制御する光量制御手段と、前記撮像手段が撮像した画像を表す撮像出力と前記光量制御手段を制御する制御信号とに基づいて画像信号を算出して出力するとともに、前記撮像出力に応じて前記制御信号を出力する信号処理手段とを備え、前記光量制御手段が、入射光に含まれる所定の偏光方向の光を透過させ他の偏光方向の光を反射する偏光ビームスプリッターと、その偏光ビームスプリッターを透過した光を入射して偏光方向を制御して偏光ビームスプリッターへ向け反射する反射型液晶パネルとを備えることを特徴とする。これによれば受光面の全面一様にだけではなく、撮像手段の受光面を複数領域に分割した分割領域毎に入射光量を変化させることができる。また、この構成によれば、反射型液晶パネルが偏光ビームスプリッターを透過した光を入射してその偏光方向を制御して偏光ビームスプリッターへ向け反射させるが、偏光ビームスプリッターは、その反射されてきた光のうち所定の偏光方向の光を透過させ他の偏光方向の光を反射する。したがって、反射型液晶パネルによる偏光方向の制御によって、偏光ビームスプリッターで反射される光の光量を制御することが可能となる。よって、反射型液晶パネルで反射され、さらに偏光ビームスプリッターで反射された光を、撮像手段へと入射することで、撮像手段へ入射される光の光量を反射型液晶パネルによって制御するこができる。この構成によれば、液晶パネルでそれを透過する光を制御する場合に比べて、容易に光量の減衰を抑えることができる。
［２］

［３］本発明の他の態様は、前記撮像手段に入射する光を２方向に分岐して分岐した１方向の光を前記撮像手段へと入射する分岐手段と、前記分岐手段によって分岐された他の１方向の光を入射光としてそれに基づくカラー画像を撮像するカラー撮像手段とを備え、前記信号処理手段が、前記撮像手段が撮像した画像を表す撮像出力と前記カラー撮像手段が撮像したカラー画像を表すカラー撮像出力と前記光量制御手段を制御する制御信号とに基づいて前記画像信号を算出して出力することを特徴とする。この構成よれば、カラー画像の撮像ができるようになる。

［４］本発明の他の態様は、前記信号処理手段が、前記光量制御手段を制御する制御信号と前記撮像手段が出力した撮像出力との前記分割領域毎の比の値に対応させて前記画像信号を算出することを特徴とする。この構成によれば、信号処理手段の入力信号や光量制御手段を制御するために信号処理手段内で生成した制御信号を用いて容易に画像信号を算出することができる。

［５］本発明の他の態様は、前記撮像手段が、受光面に入射された入射光に基づきカラー画像を撮像するものであり、前記信号処理手段が、前記撮像手段が撮像したカラー画像を表すカラー撮像出力と前記光量制御手段を制御する制御信号とに基づいて前記画像信号を算出して出力することを特徴とする。この構成によれば、撮像手段と光量制御手段とを用いて、他の撮像手段を追加することなどせずに、カラー画像の撮像ができるようになる。

［６］本発明の他の態様は、前記信号処理手段が、前記光量制御手段を制御する制御信号と前記撮像手段が出力したカラー撮像出力との前記分割領域毎の比の値に対応させて前記画像信号を算出することを特徴とする。この構成によれば、信号処理手段の入力信号や光量制御手段を制御するために信号処理手段内で生成した制御信号を用いて容易にカラーの画像信号を算出することができる。

上記構成によれば、撮像素子の受光面を複数領域に分割した分割領域毎に撮像手段への入射光量が制御されることになり、撮像に関係し、通常のダイナミックレンジの撮像素子を使用しながら、広ダイナミックレンジの撮像を可能にすることができる。

本発明の第１の実施形態の構成を示すブロック図である。本発明の第１の実施形態の信号処理回路１８での処理の流れを示すフローチャートである。本発明の第２の実施形態の構成を示すブロック図である。本発明の第３の実施形態の構成を示すブロック図である。

以下、図面を参照して本発明による撮像装置の実施の形態について説明する。

（第１の実施の形態）
図１は、本発明による撮像装置の第１の実施形態の構成を示すブロック図である。第１の実施形態の撮像装置１００は、モノクロ撮像装置として動作する。図１の撮像装置１００は、第１の撮影レンズ１２、ＰＢＳ（Polarizing Beam Splitter:偏光ビームスプリッター）１３、反射型の液晶パネル１４、液晶パネル駆動回路１５、第２の撮影レンズ１６、撮像素子４、撮像素子用アンプ１７、信号処理回路１８及び画像表示装置１１を備えて構成されている。これのうちで本装置の主な構成要素となるものは、液晶パネル１４、撮像素子４と信号処理回路１８である。図１では、説明の都合上、液晶パネル１４は反射型の液晶素子としているが、透過型でも原理は同じである。

なお、図１の構成において、撮像素子４が、受光面に入射された入射光に基づき画像を撮像する撮像手段に対応する。液晶パネル１４又は液晶パネル１４とＰＢＳ１３とを組み合わせたもの（あるいはさらに液晶パネル駆動回路１５を含ませたもの）が、撮像素子４（撮像手段）の受光面を分割してなる分割領域毎に撮像素子４（撮像手段）へ入射される入射光の光量を制御する光量制御手段に対応する。信号処理回路１８が、撮像素子４（撮像手段）が撮像した画像を表す撮像素子出力Ｃ（撮像出力）と液晶パネル１４（光量制御手段）を制御する液晶パネル駆動信号Ｌ（制御信号）とに基づいて出力映像信号Ｍ（画像信号）を算出して出力するとともに、撮像素子出力Ｃ（撮像出力）に応じて液晶パネル駆動信号Ｌ（制御信号）を出力する信号処理手段に対応する。

ここで、第１の撮影レンズ１２は、被写体１からの被写体光Ｐを集光して第１の撮像レンズ１２に対してほぼ４５°で傾斜して対向するＰＢＳ１３に出射する。ＰＢＳ１３は、入射光のうち第１の偏光方向の光を透過するとともに、第１の偏光方向と異なる偏光方向（第２の偏光方向とする）の光を反射する（図の上向きに反射する）。すなわちＰＢＳ１３は、入射光に含まれる所定の偏光方向の光を透過させ他の偏光方向の光を反射する。ＰＢＳ１３を透過した第１の偏光方向の光は、第１の撮影レンズ１２とその液晶面を対向するように設けられた液晶パネル１４に入射する。液晶パネル１４は、液晶パネル駆動回路１５によって駆動され、撮像素子４を複数領域に分割した分割領域毎に入射光の偏光方向を変化させて反射する。すなわち、液晶パネル１４は、ＰＢＳ１３を透過した光を入射して偏光方向を制御してＰＢＳ１３へ向け反射する。ここで、液晶パネル１４によって、液晶パネル駆動回路１５に入力された液晶パネル駆動信号Ｌに基づき、入射した第１の偏光方向の一部（または全部）が第２の偏光方向の光と変えられ、かつ第２の偏光方向の光として反射する反射光の光量が制御されることになる。そして、液晶パネル１４で反射された反射光のうち、第２の偏光方向を有する光がＰＢＳ１３で反射されて（図の下向きに反射されて）、第１の撮像レンズ１２に対して９０°向きを異ならせて設けられた第２の撮影レンズ１６を介して、第２の撮影レンズ１６と受光面が対向するように設けられた撮像素子４へ結像する。この撮像素子４は、例えばＣＣＤやＣＭＯＳを用いて構成されたイメージセンサであり、フォトダイオードなどの複数の受光素子をマトリクス状に配列して受光面を構成し、受光面への入射光に基づき複数画素からなる画像を撮像し、電気的信号に変換して、撮像素子用アンプ１７へ出力する。この撮像素子用アンプ１７で撮像素子４の各受光素子の出力信号が増幅され、撮像素子出力Ｃとして出力される。

まず、図１を参照して本実施の形態の動作原理について説明する。図１の構成において、被写体１で反射された被写体光Ｐは、第１の撮影レンズ１２を通して液晶パネル１４上に撮像されて結像する。この途中でＰＢＳ１３を通るので、光の偏光方向の片側だけ（第１の偏光方向の光だけ）が液晶パネル１４に到達する。液晶パネル１４には液晶パネル駆動回路１５を介して液晶パネル駆動信号Ｌが伝えられ、その信号Ｌに応じて液晶パネル１４に入射した光の偏光方向が変えられて反射される。この反射光が再度ＰＢＳ１３に到達する。ここでは液晶パネル１４で偏光方向が変えられた光（第２の偏光方向の光）のみが反射して第２の撮影レンズ１６を通って撮像素子４に到達し結像する。撮像素子４に入射した光の大きさに応じて撮像素子用アンプ１７から撮像素子出力Ｃが出力され、信号処理回路１８に送られる。信号処理回路１８は、撮像素子出力Ｃと液晶パネル駆動信号Ｌから出力映像信号Ｍを作り出す。

以下に図１の撮像装置１００における詳細な処理を述べる。液晶パネル１４と撮像素子４はともにＩ×Ｊ画素で、液晶パネル１４と撮像素子４の画素どうしは１対１に対応している。また、撮像素子４への入射光の光量の制御を画素単位で行うこととする。これは、撮像素子４への入射光の制御を行う単位となる受光面を複数領域へ分割した各分割領域が、各画素対応するものであるとしたことと同じである。すなわち入射光の光量制御の単位となる各分割領域が各画素に対応するものであるとしていることになる。簡単のため入力の画像（被写体光Ｐ）もＩ×Ｊ画素とし、これをＰ（ｉ，ｊ）で表現する（ｉ＝１〜Ｉ，ｊ＝１〜Ｊ）。同様に撮像素子出力ＣはＣ（ｉ，ｊ）で、液晶パネル駆動信号ＬはＬ（ｉ，ｊ）で表現する。この液晶パネル駆動信号Ｌ（＝Ｌ（ｉ，ｊ））は、液晶パネル１４への入力光（第１の偏光方向の光）に対して偏光を変化させる割合を示す値である。これらの信号は、以下のような範囲の値を持つとする。

ここで、被写体１の明るさを表す被写体光Ｐ（ｉ，ｊ）は最大値がＰ_max、最小値はＰ_min、液晶パネル１４からの反射を表す液晶パネル駆動信号Ｌ（ｉ，ｊ）は最大が１．０、最小がＬ_min、撮像素子出力Ｃ（ｉ，ｊ）において撮像素子４が撮影できる最大輝度がＤ・Ｃ_min、最小輝度がＣ_minである。

（３）式に関し補足する。最小輝度Ｃ_minは、撮像のノイズのため、輝度Ｃ_minとそれ以下が識別できないことを示す。最大輝度Ｄ・Ｃ_minは、素子の飽和のため、輝度Ｄ・Ｃ_minとそれ以上が識別できないことを示す。係数Ｄは、この素子が撮影可能な輝度の範囲を示すもので、表示でのダイナミックレンジに対応する値である。説明が戻るが、被写体光Ｐ（ｉ，ｊ）がとり得る最大値Ｐ_maxと最小値Ｐ_minは、この係数Ｄと液晶パネル１４の反射量で決まる。この値は、以下で導出する。

各段での光の量を考える。液晶パネル１４の各画素に入ってくるのは、被写体光Ｐ（ｉ，ｊ）である（実際には、ＰＢＳ１３によって半分になるなど、これより小さくなるが、画素間の偏りはなく、画面全体で定数倍の係数が掛かるだけなので、ここでは式に入れない）。このあと液晶パネル駆動信号Ｌ（ｉ，ｊ）による制御を受けて画素単位で偏光方向が変えられ、最終的に撮像素子４に入射する。この大きさが撮像素子出力Ｃ（ｉ，ｊ）なので、（４）式が成立する。

ここで信号処理回路１８には撮像素子出力Ｃ（ｉ，ｊ）が入力されるとともに、信号処理回路１８が後述するようにして液晶パネル駆動信号Ｌ（ｉ，ｊ）を作り出しているので、信号処理回路１８において、これらから入力の被写体光Ｐ（ｉ，ｊ）を（５）式で計算できる。なお、信号処理回路１８から出力される出力映像信号Ｍは、この画像被写体光Ｐ（ｉ，ｊ）に対応して生成される信号である。したがって、出力映像信号Ｍ（画像信号）は液晶パネル１４を制御する液晶パネル駆動信号Ｌ（ｉ，ｊ）と撮像素子出力Ｃ（ｉ，ｊ）との画素毎の比の値に対応させて算出されることになる。

ここで、撮像素子出力Ｃ（ｉ，ｊ）と液晶パネル駆動信号Ｌ（ｉ，ｊ）はそれぞれ（２）式と（３）式の範囲である必要がある。これから、（１）式の被写体１の明るさ（＝被写体光Ｐ（ｉ，ｊ））の最大値Ｐ_maxと最小値Ｐ_minは（６）式で与えられる。

このように、撮像素子４では撮影できる輝度範囲が係数Ｄで示される値となるのに対し、信号処理回路１８で求められる入力画像を表す被写体光Ｐ（ｉ，ｊ）の範囲は最大値Ｐ_maxと最小値Ｐ_minの比からＤ／Ｌ_minとなる。つまり、撮像装置１００が撮影できる暗部と明部の明るさの比が、撮像素子４で撮影できる輝度範囲の値Ｄに対して、１／Ｌ_min倍（ここでＬ_minは「１」より小さい値である）改善されていることがわかる。信号処理回路１８では、（５）式で求めた被写体光Ｐ（ｉ，ｊ）に対応させて出力映像信号Ｍを出力することで、画像表示装置１１に被写体光Ｐ（ｉ，ｊ）を表す画像を表示することができる。

実際に出力映像信号Ｍとして被写体光Ｐ（ｉ，ｊ）に対応する値を出力するには、撮像素子出力Ｃ（ｉ，ｊ）が出力される周期である１フレーム毎に画素（すなわちあるｉとあるｊの画素）毎に呼び出されるサブルーチンとして示す図２のフローで、撮像素子出力Ｃ（ｉ，ｊ）と液晶パネル駆動信号Ｌ（ｉ，ｊ）とに基づいて被写体光Ｐ（ｉ，ｊ）を計算すればよい。また、図２のフローでは、撮像素子出力Ｃ（ｉ，ｊ）の値に応じて、液晶パネル駆動信号Ｌ（ｉ，ｊ）の値を調整するとともに、被写体光Ｐ（ｉ，ｊ）の値が（６）式の範囲外となった場合にそれをクリップするための処理を行っている。なお、図２のフローで用いている記号△は、液晶パネル駆動信号Ｌ（ｉ，ｊ）を調整する際の最小の変化分を表す定数である。この定数△の値としては、後述する処理のループの回数が大きくならないようにするため、あらかじめ決めた微小な値（例えばＬ（ｉ，ｊ）の最大値「１」の１００分の１程度（０．０１程度の値））に設定することができる。また、Ｌ_iniは、計算を開始するための液晶パネル駆動信号Ｌ（ｉ，ｊ）の初期値である。このＬ_iniとしては、例えばＬ_ini=（Ｌ_min）^1/2との値を用いることができる。

図２では、撮像素子出力Ｃ（ｉ，ｊ）と液晶パネル駆動信号Ｌ（ｉ，ｊ）がそれぞれ（２）式と（３）式の範囲に収まるように液晶パネル駆動信号Ｌ（ｉ，ｊ）の値を調整し、それができないときは入力が範囲外であるとする所定の処理を行っている。ここで、図２に示すフローは、図１の信号処理回路１８において、撮像素子出力Ｃ（ｉ，ｊ）が入力される周期に対応して、１フレームに１回実行されるサブルーチンであるとする。すなわち、図２に示すフローは、Ｉ×Ｊ個の画素のうちのある１個（すなわちあるｉとあるｊ）の画素について、入力された撮像素子出力Ｃ（ｉ，ｊ）に基づき、被写体光Ｐ（ｉ，ｊ）を求めるとともに、撮像素子出力Ｃ（ｉ，ｊ）が（３）式の範囲外となった場合に液晶パネル駆動信号Ｌ（ｉ，ｊ）を増加あるいは減少させる処理を行うものである。したがって、これらの処理をＩ×Ｊ回分行うことで全画素分の処理を行うことができる。この場合、図２のフローは、撮像素子出力Ｃ（ｉ，ｊ）が入力される周期に対応して各画素に対して１フレーム（すなわち撮像素子出力Ｃ（ｉ，ｊ）の全画素分の１回分の読み出しに対応する時間）に１回呼び出される。

また、各画素について算出した被写体光Ｐ（ｉ，ｊ）と液晶パネル駆動信号Ｌ（ｉ，ｊ）は、例えば、全画素分の算出が終了した後、必要に応じて所定の信号形式への変換処理などを行った後、被写体光Ｐ（ｉ，ｊ）が出力映像信号Ｍとして画像表示装置１１に出力され、液晶パネル駆動信号Ｌ（ｉ，ｊ）が液晶パネル駆動回路１５へと出力される。このようにして、信号処理回路１８は、全画素分すなわち１フレーム分の撮像素子出力Ｃが入力される周期で、入力された撮像素子出力Ｃ（ｉ，ｊ）に基づいて画素毎に被写体光Ｐ（ｉ，ｊ）と液晶パネル駆動信号Ｌ（ｉ，ｊ）を算出し、算出した全画素分の被写体光Ｐ（ｉ，ｊ）と液晶パネル駆動信号Ｌ（ｉ，ｊ）に基づいて出力映像信号Ｍと液晶パネル駆動信号Ｌを生成して、算出に用いた撮像素子出力Ｃ（ｉ，ｊ）が入力されたのと同一の周期中に出力する。そして、液晶パネル駆動信号Ｌを出力した後、次の周期で新たな撮像素子出力Ｃが入力されると、入力された新たな撮像素子出力Ｃ（ｉ，ｊ）に基づいて画素毎に被写体光Ｐ（ｉ，ｊ）と液晶パネル駆動信号Ｌ（ｉ，ｊ）を算出し、再び同一周期中にそれらに基づいて出力映像信号Ｍと液晶パネル駆動信号Ｌを出力する。信号処理回路１８は、この処理を繰り返して行うことで、入力された撮像素子出力Ｃに基づいて液晶パネル駆動信号Ｌを繰り返し制御しながら、撮像素子出力Ｃと液晶パネル駆動信号Ｌに基づいて算出した出力映像信号Ｍを繰り返し出力する。

図２のフローでは、まず、液晶パネル駆動信号Ｌ（ｉ，ｊ）が初期化済みか否かを判定し（ステップＳ１）、初期化されていなかった場合には、液晶パネル駆動信号Ｌ（ｉ，ｊ）がＬ_iniを用いて初期化される（ステップＳ１０）。次に、撮像素子出力Ｃ（ｉ，ｊ）が、（６）式で示す最小輝度Ｃ_minと最大輝度Ｄ・Ｃ_minの範囲内にあるか（すなわち最小輝度Ｃ_minより大きく最大輝度Ｄ・Ｃ_minより小さいか）否かが判定される（ステップＳ１１）。範囲内にある場合には（ステップＳ１１で「Ｙｅｓ」）、（５）式で被写体光Ｐ（ｉ，ｊ）が算出される（ステップＳ１２）。この場合、このステップＳ１２の処理で、このフレームにおける当該画素に関する処理が終了する。

一方、撮像素子出力Ｃ（ｉ，ｊ）が範囲外の場合には（ステップＳ１１で「Ｎｏ」）、撮像素子出力Ｃ（ｉ，ｊ）が最大値（Ｄ・Ｃ_min）なのか否かを判定する（ステップＳ１３）。最大値の場合は（ステップＳ１３で「Ｙｅｓ」）、液晶パネル駆動信号Ｌ（ｉ，ｊ）を、計算式（Ｌ_min・Ｌ（ｉ，ｊ））^1/2−Δを用いて更新する（ステップＳ１４）。次に、更新後の液晶パネル駆動信号Ｌ（ｉ，ｊ）が、最小値Ｌ_min未満であるか否かを判定する（ステップＳ１５）。最小値未満の場合は（ステップＳ１５で「Ｙｅｓ」）、液晶パネル駆動信号Ｌ（ｉ，ｊ）を最小値Ｌ_minに更新するとともに、被写体光Ｐ（ｉ，ｊ）を最大値Ｐ_maxとする（ステップＳ１６）。この場合、このステップＳ１６の処理で、このフレームにおける当該画素に関する処理が終了する。他方、最小値未満でない場合は（ステップＳ１５で「Ｎｏ」）、ステップＳ１１からの処理に戻る。

他方、ステップＳ１３で撮像素子出力Ｃ（ｉ，ｊ）が最大値でないと判定された場合は（ステップＳ１３で「Ｎｏ」）、液晶パネル駆動信号Ｌ（ｉ，ｊ）が、計算式（Ｌ（ｉ，ｊ））^1/2＋Δを用いて更新される（ステップＳ１７）。なお、ステップＳ１３で撮像素子出力Ｃ（ｉ，ｊ）が最大値ではないと判定された場合は、ステップＳ１１で範囲外と判定されて、かつステップＳ１３で最大値ではないと判定された場合なので、撮像素子出力Ｃ（ｉ，ｊ）は最小値Ｃ_minとなっていることになる。次に、計算式（Ｌ（ｉ，ｊ））^1/2＋Δを用いて液晶パネル駆動信号Ｌ（ｉ，ｊ）を更新した値が、最大値「１」より大きいか否かを判定する（ステップＳ１８）。最大値より大きい場合は（ステップＳ１８で「Ｙｅｓ」）、液晶パネル駆動信号Ｌ（ｉ，ｊ）を最大値「１」に更新するとともに、被写体光Ｐ（ｉ，ｊ）を最小値Ｐ_minとする（ステップＳ１９）。この場合、ステップＳ１９の処理で、このフレームにおける当該画素に関する処理が終了する。他方、最大値より大きくない場合は（ステップＳ１８で「Ｎｏ」）、ステップＳ１１からの処理に戻る。

以上のように、本実施形態では、撮像装置１００における撮像のダイナミックレンジを、撮像素子４の撮像ダイナミックレンジに液晶パネル１４の液晶パネル駆動信号Ｌ（ｉ，ｊ）の最小値の逆数（１／Ｌ_min）を掛けた値とすることができる。よって、本実施の形態では、撮像素子４の撮像のダイナミックレンジがそれほど大きくない場合でも、撮像装置１００全体でのモノクロでの広ダイナミックレンジ撮像を実現できる。また、ＰＢＳ１３と反射型の液晶パネル１４を用いて反射光すなわち撮像素子４へ入射光の光量を制御するようにしているので、開口率が課題となる透過型の液晶パネルを利用する場合と比べ、撮像素子４へ入射される光の光量を容易に大きくすることができる。

（第２の実施形態）
図３に本発明の第２の実施形態の撮像装置１００ａの構成を示す。図３は、本発明による撮像装置の第２の実施形態の構成を示すブロック図である。第２の実施形態の撮像装置１００ａは、カラー撮像装置として動作する。図２の撮像装置１００ａは、第１の撮影レンズ１２、ＰＢＳ１３、反射型の液晶パネル１４、液晶パネル駆動回路１５、第２の撮影レンズ１６、ハーフミラー１９、カラー撮像素子２０、カラー撮像素子用アンプ２１、撮像素子４、撮像素子用アンプ１７、信号処理回路１８ａ及び画像表示装置１１を備えて構成されている。なお、図１と同一の構成には同一の符号を用いている。また、信号名や変数名についても第１の実施形態と同一の符号を用いており、上記と同様に各画素を変数ｉおよびｊを用いて表している。

図３に示す撮像装置１００ａでは、液晶パネル１４で入力光（被写体光Ｐ）を変化させた後に、ハーフミラー１９で光を２方向に分け、片方は第１の実施形態と同様に撮像素子４へ、もう片方はカラー撮像素子２０へ送り、カラー撮像素子用アンプ２１の出力であるカラー撮像素子出力Ｒ₁，Ｇ₁，Ｂ₁を信号処理回路１８ａへ送る。信号処理回路１８ａはこれらの信号をもとにカラーの出力映像信号Ｒ，Ｇ，Ｂを計算することで、カラーでの広ダイナミックレンジ撮像を実現する。このカラーの出力映像信号Ｒ，Ｇ，Ｂは、画像表示装置１１へ出力される。すなわち、撮像装置１００ａは、撮像素子４（撮像手段）に入射する光を２方向に分岐して分岐した１方向の光を撮像素子４へと入射するハーフミラー１９（分岐手段）と、ハーフミラー１９によって分岐された他の１方向の光を入射光としてそれに基づくカラー画像を撮像するカラー撮像素子２０（カラー撮像手段）とを備え、信号処理回路１８ａによって、撮像素子４が撮像した画像を表す撮像素子出力Ｃとカラー撮像素子２０が撮像したカラー画像を表すカラー撮像素子出力Ｒ₁，Ｇ₁，Ｂ₁（カラー撮像出力）と液晶パネル１４（光量制御手段）を制御する液晶パネル駆動信号Ｌとに基づいて出力映像信号Ｒ，Ｇ，Ｂ（画像信号）が算出されて出力される。

信号の作成方法を述べる。カラー撮像素子出力Ｒ₁，Ｇ₁，Ｂ₁をＲ₁（ｉ，ｊ），Ｇ₁（ｉ，ｊ），Ｂ₁（ｉ，ｊ）、ＲＧＢ（Red-Green-Blue）から輝度信号への寄与をそれぞれＣ_R，Ｃ_G，Ｃ_B、カラーの出力映像信号Ｒ，Ｇ，ＢをＲ（ｉ，ｊ），Ｇ（ｉ，ｊ），Ｂ（ｉ，ｊ）とする。撮像素子出力Ｃ（ｉ，ｊ）と液晶パネル駆動信号Ｌ（ｉ，ｊ）の導出は第１の実施形態と同一である。これを用いると、（７）式でカラーの出力映像信号Ｒ（ｉ，ｊ），Ｇ（ｉ，ｊ），Ｂ（ｉ，ｊ）が求まる。

（７）式で、右辺のＣ（ｉ，ｊ）／Ｌ（ｉ，ｊ）が被写体光Ｐ（ｉ，ｊ）に対応する変数である。この被写体光Ｐ（ｉ，ｊ）の範囲が、第１の実施形態と同様に、撮像素子４の輝度範囲Ｄを１／Ｌ_min倍した値となっている。したがって、本実施の形態においても、撮像素子４の撮像のダイナミックレンジがそれほど大きくない場合でも、撮像装置１００ａ全体でのカラーでの広ダイナミックレンジ撮像を実現できる。

（第３の実施形態）
図４に本発明の第３の実施形態の撮像装置１００ｂを示す。図４は、本発明による撮像装置の第３の実施形態の構成を示すブロック図である。第３の実施形態の撮像装置１００ｂは、カラー撮像装置として動作する。図４の撮像装置１００ｂは、第１の撮影レンズ１２、ＰＢＳ１３、反射型の液晶パネル１４、液晶パネル駆動回路１５、第２の撮影レンズ１６、カラー撮像素子２０、カラー撮像素子用アンプ２１、信号処理回路１８ｂ及び画像表示装置１１を備えて構成されている。なお、図１または図３と同一の構成には同一の符号を用いている。また、信号名や変数名についても第１または第２の実施形態と同一の符号を用いており、上記と同様に各画素を変数ｉおよびｊを用いて表している。

図４に示す撮像装置１００ｂでは、第１の実施形態の撮像装置１００の撮像素子４および撮像素子用アンプ１７のかわりにカラー撮像素子２０およびカラー撮像素子用アンプ２１を用いることで、カラーでの広ダイナミックレンジ撮像を実現する。

信号処理回路１８ｂによる計算処理では、カラー撮像素子用アンプ２１から出力されるカラー撮像素子出力Ｒ₁，Ｇ₁，Ｂ₁を表す変数Ｒ₁（ｉ，ｊ），Ｇ₁（ｉ，ｊ），Ｂ₁（ｉ，ｊ）を用いて（８）式で撮像素子出力Ｃ（ｉ，ｊ）を定義し、第１の実施形態と同様に図２のフローで液晶パネル駆動信号Ｌ（ｉ，ｊ）を導出する。すなわち、撮像素子出力Ｃ（ｉ，ｊ）をカラー撮像素子出力Ｒ₁（ｉ，ｊ）、Ｇ₁（ｉ，ｊ）、Ｂ₁（ｉ，ｊ）のうちの最大値で定義し、図２と同様のフローで液晶パネル駆動信号Ｌ（ｉ，ｊ）を導出する。

また、画像表示装置１１へ入力されるカラーの出力映像信号Ｒ，Ｇ，Ｂは、各色の成分をＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）で表し、（９）式で求めることができる。

本実施の形態では、（９）式における、Ｒ（ｉ，ｊ）／Ｌ（ｉ，ｊ）、Ｇ（ｉ，ｊ）／Ｌ（ｉ，ｊ）、Ｂ（ｉ，ｊ）／Ｌ（ｉ，ｊ）が、第１の実施形態におけるＣ（ｉ，ｊ）／Ｌ（ｉ，ｊ）すなわち被写体光Ｐ（ｉ，ｊ）に対応する変数であり、この被写体光Ｐ（ｉ，ｊ）の範囲が、第１の実施形態と同様にカラー撮像素子２０の輝度範囲を１／Ｌ_min倍した値として得られる。すなわち、カラーの出力映像信号Ｒ，Ｇ，Ｂ（画像信号）は、液晶パネル駆動信号Ｌ（ｉ，ｊ）とカラー撮像素子２０が出力したカラー撮像素子出力Ｒ₁，Ｇ₁，Ｂ₁との画素毎の比の値に対応させて算出されることになる。したがって、本実施の形態においても、カラー撮像素子２０の撮像のダイナミックレンジがそれほど大きくない場合でも、撮像装置１００ｂ全体でのカラーでの広ダイナミックレンジ撮像を実現できる。

なお、本発明の実施の形態は上記のものに限られず、適宜変更することが可能である。例えば、反射型の液晶パネル１４に代えて、撮像素子４あるいはカラー撮像素子２０への入射光が透過するようにして透過型の液晶パネルを設けて、透過型の液晶パネルの液晶パネル駆動信号を制御することで撮像素子４あるいはカラー撮像素子２０への入射光を調整するようにすることも可能である。また、上記各実施形態の説明では、撮像素子４の受光面を複数領域に分割する場合の各分割領域を各画素に対応するものとしているが、撮像素子４（カラー撮像素子２０）への光量制御を、１画素毎ではなく、複数画素毎とすることも可能である。例えば、撮像素子４の画素数が、液晶パネル１４の画素数に比べて多い場合には、撮像素子４の所定の複数個の画素に対応するように、液晶パネル１４の各画素を制御することができる。すなわち、画素単位の制御に代えて、複数画素を１ブロックとした、ブロック毎の制御としたり、あるいは液晶パネル１４の画素数を撮像素子４あるいはカラー撮像素子２０と異ならせて、より多いあるいはより少ない画素の液晶パネル１４の制御を行うようにしたりすることが可能である。また、透過型の液晶パネルと反射型の液晶パネルの両方を用いて撮像素子への入射光を制御したり、透過型の液晶パネルを複数段設けて撮像素子への入射光を制御したりすることも可能である。

以上のように、本発明によれば、液晶素子と撮像素子を組み合わせ、画素単位あるいは画素単位に近い領域で撮像素子への入射光量を制御することによって、撮像に関係し、通常のダイナミックレンジの撮像素子を使用しながら、広ダイナミックレンジの撮像を可能にすることができる。具体的に説明すると、画像の中に明るい部分と暗い部分の両方がある場合に、本発明では、撮像素子の受光面を複数領域に分割した分割領域毎に入射光量を制御して、例えば明るい分割領域は入射光量を減らし、暗い分割領域は入射光量を増やすことで、撮像のダイナミックレンジを改善することができる。このように本発明の撮像装置は、複雑な合成の処理を必要としないので、実現が容易である。

４…撮像素子、１１…画像表示装置、１２…第１の撮影レンズ、１３…ＰＢＳ、１４…液晶パネル、１５…液晶パネル駆動回路、１６…第２の撮影レンズ、１７…撮像素子用アンプ、１８、１８ａ、１８ｂ…信号処理回路、２０…カラー撮像素子、２１…カラー撮像素子用アンプ、１００、１００ａ、１００ｂ…撮像装置。

Claims

受光面に入射された入射光に基づき画像を撮像する撮像手段と、
前記撮像手段の受光面を分割してなる分割領域毎に前記入射光の光量を制御する光量制御手段と、
前記撮像手段が撮像した画像を表す撮像出力と前記光量制御手段を制御する制御信号とに基づいて画像信号を算出して出力するとともに、前記撮像出力に応じて前記制御信号を出力する信号処理手段と、を備え
前記光量制御手段は、入射光に含まれる所定の偏光方向の光を透過させ他の偏光方向の光を反射する偏光ビームスプリッターと、その偏光ビームスプリッターを透過した光を入射して偏光方向を制御して偏光ビームスプリッターへ向け反射する反射型液晶パネルとを備える
ことを特徴とする撮像装置。
前記撮像手段に入射する光を２方向に分岐して分岐した１方向の光を前記撮像手段へと入射する分岐手段と、
前記分岐手段によって分岐された他の１方向の光を入射光としてそれに基づくカラー画像を撮像するカラー撮像手段とを備え、
前記信号処理手段が、前記撮像手段が撮像した画像を表す撮像出力と前記カラー撮像手段が撮像したカラー画像を表すカラー撮像出力と前記光量制御手段を制御する制御信号とに基づいて前記画像信号を算出して出力する
ことを特徴とする請求項１に記載の撮像装置。
前記信号処理手段が、前記光量制御手段を制御する制御信号と前記撮像手段が出力した撮像出力との前記分割領域毎の比の値に対応させて前記画像信号を算出する
ことを特徴とする請求項１または２に記載の撮像装置。
前記撮像手段が、受光面に入射された入射光に基づきカラー画像を撮像するものであり、
前記信号処理手段が、前記撮像手段が撮像したカラー画像を表すカラー撮像出力と前記光量制御手段を制御する制御信号とに基づいて前記画像信号を算出して出力する
ことを特徴とする請求項１に記載の撮像装置。
前記信号処理手段が、前記光量制御手段を制御する制御信号と前記撮像手段が出力したカラー撮像出力との前記分割領域毎の比の値に対応させて前記画像信号を算出する
ことを特徴とする請求項４に記載の撮像装置。