JP4024581B2

JP4024581B2 - 撮像装置

Info

Publication number: JP4024581B2
Application number: JP2002116559A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-04-18
Filing date: 2002-04-18
Publication date: 2007-12-19
Anticipated expiration: 2022-04-18
Also published as: JP2003319240A; CN1452386A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置に関し、特に露出の異なる複数の撮像原画像から１枚の画像を合成するダイナミックレンジ拡大撮像を行う撮像装置に関する。
【０００２】
【従来の技術】
ダイナミックレンジ拡大撮像の試みは多数提案されており、例えば露出の異なる撮像により得た２枚（以上）の原画像を合成処理するものが公知である。このような方式を採用した場合、撮影時に手ぶれが生じると、２回の原画像撮像タイミングの間に像がぶれてしまうから、各画素が被写体の同じ点に対応しなくなるため合成した画像に画質の破綻（許容できない極端な画質劣化）を生じてしまうという問題があった。
【０００３】
この問題に対して、本出願人が先に出願した特願２０００−３５８１４４号には、特に２画像の撮影タイミングが連続するような撮像シーケンスを採用すると共に、所定の手ぶれ限界シャッタ速より短時間のシャッタ速が使用可能な場合に限りダイナミックレンジ拡大撮像を使用可能とすることで、画質破綻の回避をはかった技術が記載されている。
【０００４】
【発明が解決しようとする課題】
本出願人が特願２０００−３５８１４４号において記載した技術は画質破綻の回避には極めて有効であるが、そのため、ダイナミックレンジ拡大撮像の適用は高速シャッタの使用が可能な高輝度の被写体に限られ、比較的低輝度の被写体に対してはダイナミックレンジ拡大撮像を行なうことができないという問題を有していた。
【０００５】
本発明は前記のような事情を考慮してなされたもので、比較的低輝度の被写体に対してもダイナミックレンジ拡大撮像を使用した広ダイナミックレンジ画像を得ることが可能な撮像装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、被写体を所定の露光により撮像して画像信号を出力する撮像手段と、前記撮像手段に対して露光量を制御する露出制御手段と、前記露出制御手段により前記撮像手段に対して異なる露光量を与えてそれぞれ得られる複数の原画像信号を、前記露光量の異なる複数の原画像信号間の位置ずれの補正をしつつ合成して合成画像信号を生成する画像信号生成処理制御手段とを具備したことを特徴とする
【０００７】
この撮像装置においては、ダイナミックレンジ拡大撮像時に、低輝度域側のダイナミックレンジの拡大を図るために露光量を大きく（例えば露光時間を長く）することに伴って露光量の異なる複数枚の画像に手ぶれなどにより位置ずれが生じたとしても、画像間の位置ずれを補正しつつ最終的な画像を合成するため画質の劣化を招かないで済む。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本実施形態に係る撮像装置の構成が示されている。ここでは、ディジタルカメラとして実現した場合を例示して説明する。
【０００９】
図中１０１は各種レンズ（撮影レンズ）から構成される撮影レンズ系、１０２はレンズ系１０１の伸縮駆動やレンズ系１０１内のズームレンズ及びフォーカスレンズの駆動を行うためのレンズ駆動機構、１０３はレンズ系１０１の絞り及びメカニカルシャッタを制御するための露出制御機構、１０４はメカシャッタ、１０５は色フィルタを内蔵した被写体像を光電変換するためのＣＣＤ撮像素子（撮像手段）、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はアナログアンプ及びＡ／Ｄ変換器等を含むプリプロセス回路、１０８は記録画像の生成のための色信号生成処理、マトリックス変換処理、圧縮伸張処理、その他各種のディジタル処理を行なうためのディジタルプロセス回路、１０９はカードインターフェース、１１０はメモリカード、１１１はＬＣＤ画像表示系を示している。
【００１０】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３はレリーズスイッチ、設定ボタンなど各種スイッチからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構１０３及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００１１】
本実施形態の撮像装置においては、システムコントローラ１１２が全ての制御を統括的に行っており、露出制御機構１０３及びメカシャッタ１０４と、ＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行ない、それをプリプロセス回路１０７を介してＡ／Ｄ変換した後にディジタルプロセス回路１０８に取込み、ディジタルプロセス回路１０８内で各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。露出制御機構１０３及びメカシャッタ１０４とこれらの制御部（システムコントローラ１１２、露出制御ドライバ１１７を含む）から露出制御手段が構成されるものとする。
【００１２】
なお、ＣＣＤ撮像素子１０５としては、例えば縦型オーバーフロードレイン構造のインターライン型でプログレッシブ（順次）走査型のものが用いられるものとする。
【００１３】
ＣＣＤ撮像素子１０５の駆動制御は、ＣＣＤドライバ１０６から出力される各種駆動信号（電荷移送パルスＴＧ、垂直／水平転送用パルス、基板印加高電圧パルスＶＳＵＢ等）を用いて行われる。ＣＣＤ撮像素子１０５は、マトリクス配置された電荷蓄積部と、水平及び垂直にそれぞれ配置された電荷転送部（垂直電荷転送路、水平電荷転送路）とからなる通常のインターライン型の構成であり、電荷移送パルスＴＧが出力されると、各電荷蓄積部と垂直電荷転送部との間に設けられた転送ゲートが開き、各電荷蓄積部から対応する垂直電荷転送路に電荷が移送される。電荷移送パルスＴＧの出力タイミングにより、実質的な露光時間の制御が行われる。また、基板印加高電圧パルスＶＳＵＢは電荷蓄積部の電荷を半導体基板（サブストレート＝縦型オーバーフロードレインＶＯＦＤ）に強制排出するために用いられる。
【００１４】
本実施形態における撮像装置（ディジタルカメラ）においては、以下に詳述する撮像画像のぶれ補正ダイナミックレンジ拡大のための画像信号処理制御を除けば、通常のディジタルカメラと同様の動作及び制御が行われるものであって、そのような公知の部分については説明を省略する。
【００１５】
システムコントローラ１１２には、図示のように、本実施形態の特徴とする、ぶれ補正ダイナミックレンジ拡大のための機能として、２画像連続撮像制御部１１２ａと画像信号生成処理制御部１１２ｂが設けられている。２画像連続撮像制御部１１２ａは、最終的な１つの静止画像を得るため長短２つの露光時間による露光を連続的に行うことによって露光量の異なる２画像（原画像信号）をタイミングずれなく得る撮像シーケンスの実行を制御する。画像信号生成処理制御部１１２ｂは、２画像連続撮像制御部１１２ａの制御によって得られた２画像（原画像信号）に対して、原画像信号間の位置ずれの補正をしつつ合成して１つの静止画像（合成画像信号）を生成する画像信号生成処理を制御する。
【００１６】
次に、本実施形態における撮像装置の動作について説明する。
撮像レンジは単純に撮像素子だけでは決まらず、それを使用した撮像装置の信号処理も含めた全体で決まるが、少なくとも高輝度側は撮像素子の飽和レベルが限界になり、低輝度側は撮像装置に組み込まれた状態での撮像素子出力のノイズレベルが限界になるから、少なくともそれを超えた撮像レンジを得ることはできない。
【００１７】
一般的な撮像素子を用いた撮像装置を構成した場合の撮像素子の光電変換特性は、例えば図２で模式的に示されるようなものになる。図２において、横軸は入射光量を、縦軸は信号レベルをそれぞれ対数的に示すものである。図２中、ＵＬは高輝度側限界レベルを、ＬＬは低輝度側限界レベルをそれぞれ示すものである。ＵＬは撮像素子の飽和レベルにほぼ対応するレベルであり、一方ＬＬについてはノイズレベルＮＬそのものではなく、ノイズと共存しても鑑賞に堪える所定の限界Ｓ／Ｎ比を有する信号レベルとして定まる。あるいは、「これ以下のレベルは黒つぶれ」という判定基準で視覚評価を行ない、その限界レベルとしてＬＬを決定しても良い。そしてＵＬとＬＬの間が有効輝度域となり、これらの（対数軸上での）差ＤＲ＝ＵＬ−ＬＬが撮像レンジとなる。
【００１８】
このＤＲは撮像装置の設計製造によって異なるが、多くの場合５〜６ＥＶ（３０〜３６ｄＢ）程度であり、本実施形態の撮像装置もそのような構成を有するものとする。また、以下の説明では、説明を簡単にするためにモノクロ画像の撮像を行う場合を例にする。
【００１９】
まず、２画像連続撮像制御部１１２ａの制御による長短２つの露光時間を用いた２画像連続撮像のための撮像シーケンスについて、図３に示すタイミングチャートを参照しながら説明する。図３に示す撮像シーケンスは、本出願人が先に出願した特願２０００−３５８１４４号に記載した、プログレッシブ走査（フルフレーム読出し）対応型ＣＣＤとメカニカルシャッタを組み合わせてタイムラグの無い２画像の撮像を行なうための駆動方法である。この駆動シーケンスにより２つの原画像を撮像する時間差を極力少なくし得るので、長短２つの露光時間を用いた２画像の位置ずれを小さくすることができ（補正の必要性が小さくでき）有利である。
【００２０】
図３において、ＶＤは垂直同期信号（ただし必要に応じてリセットがかけられるから、その意味では１フレーム動作の開始基準信号と言うこともできる）、ＴＧは電荷蓄積部から垂直電荷転送路（ＶＣＣＤ）に信号電荷を移送するための電荷移送パルス、Ｖ転送は垂直電荷転送路内で電荷を転送するための電荷転送パルス、ＶＳＵＢは電荷蓄積部の蓄積電荷を基板側に排出するための基板印加高電圧パルス、メカシャッタはメカシャッタ１０４の開閉状態を表している。
【００２１】
まず、メカシャッタ１０４は、当初は開放であり後に閉じられる。メカシャッタ１０４が開放している状態で、Ｖ転送パルスにより、「本露光１」に先だってＶＣＣＤの高速電荷排出駆動を行う。また、露光前は、ＶＳＵＢパルスにより電荷蓄積部内の電荷は基板側に排出される。
【００２２】
最小のＶＳＵＢパルスにより「本露光１」を開始し、第１の電荷移送パルスＴＧ１で電荷蓄積部の信号電荷をＶＣＣＤに移送すると共に、「本露光１」を終了し、同時に「本露光」を開始する。
【００２３】
そして、メカシャッタ１０４の遮光により「本露光２」を終了した後、「本露光１」による第１原画像を読み出すためのＶ転送を実行する。さらに、第１原画像の読み出しが終了した後、第２の電荷移送パルスＴＧ２で「本露光２」による第２原画像の読み出しを開始する。
【００２４】
「本露光１」で得られた第１原画像と「本露光２」で得られた第２原画像は、システムコントローラ１１２（画像信号生成処理制御部１１２ｂ）の制御のもとで、ディジタルプロセス回路１０８によるディジタル演算処理によって合成処理され、これにより最終的に１つの静止画像が生成される。
【００２５】
なお、以下に詳述する本実施形態におけるずれ補正を適用すれば、２つの原画像の撮像タイミングが多少異なっていても、位置ずれを補正しつつ画像合成を行なうことによって画質劣化は生じない。従って、前述した図３に示す撮像シーケンスによらず、一般の撮像装置で用いられている撮像シーケンスを用いることも可能である。
【００２６】
こうして、２つの原画像の撮像がされると、システムコントローラ１１２（画像信号生成処理制御部１１２ｂ）の制御のもとで、以下に説明するようにして、ディジタルプロセス回路１０８により２原画像を合成して１つの画像を生成する画像信号処理を実行する。
【００２７】
ＣＣＤ撮像素子１０５から読み出される原画像の画素情報信号の光電変換特性は、第１、第２の各原画像について、図４に示すようなものとなっている。すなわち、第１原画像（図中Ｔ１）よりも第２原画像（図中Ｔ２）の方が長い露光時間で露光が行なわれ、その露光時間の違いに相当する分だけ左右に平行移動させたものになっている。なお、この際の長短は逆であっても良い。
【００２８】
次に、本実施形態における画像信号生成処理について、図５に示すフローチャートを参照しながら説明する。画像信号生成処理は、画像信号生成処理制御部１１２ｂの制御によって実現される。
ここでは、第１原画像の画像信号をＳ１、第２原画像の画像信号をＳ２として説明する。
【００２９】
（１）まず、この２画像の相対的な位置ずれを示す動きベクトル情報、すなわち動きベクトル（Ｖ＝（x,y））を相関演算によって求める（ステップＡ１）。具体的には撮影画枠に対して所定の部分エリアを検出エリアとして設けておき、この検出エリアに関してある仮定された動きベクトルＶに基づいて２画像の相関評価値を算出する。そして、動きベクトルＶ＝（x、y）の仮定を変更する毎に得られた各相関評価値を比較して最小値（相関度最大に対応、完全一致の場合０となる）を与えるＶをもって、求める動きベクトルとする。
【００３０】
ただし、２画像は露光量が異なるため、特に次の２点の処理が必要となる。第１に、動きベクトルの検出エリアとして使用する領域は２画像の共通領域の中に設定される。すなわち信号Ｓ１、信号Ｓ２の各画像の中から図４に示す共通輝度域に対応する領域をそれぞれ抜き出し、その抜き出された領域の中に含まれるように検出エリアを設定する（ステップＡ１１）。
【００３１】
第２に、２画像の露出レベルの違いを補正して相関演算を行なう。ここでは低露光の撮像で取得された信号Ｓ１に露光時間比ｇを補正係数として乗じることでこれを処理する（ステップＡ１２）。
【００３２】
以下に相関評価値の一例を示す。
Σ｜ｇ・Ｓ１（i,j）−Ｓ２（i+x,j+y）｜ …（１）
（Σはｉ，ｊに関する総和記号）
こうして、この相関評価値の与最小値として動きベクトルＶ＝（x,y）を求める。
【００３３】
（２）次に、ステップＡ１で検出した動きベクトル情報に基づいて、第２原画像の撮影画枠をシフトさせつつ第１原画像に対して画像合成することで最終的な撮像画像Ｓout（i,j）を生成する（ステップＡ２）。ここでは、画像合成の方法として、２画像の加算平均によって画像を生成するものとする。
【００３４】
この撮影画像Ｓout（i,j）は、図６（ｂ）に示すような、生成画像サイズの領域に対応した所定の画素数ｐ×ｑ（１≦ｉ≦ｐ，１≦ｊ≦ｑ）を有したものである。なお、生成画像サイズは、図６（ａ）に示すように、ぶれによる移動分を見込んで撮像素子の全画枠よりも少し小さいサイズに設定している。また、初回の露光（第１原画像）の撮影画枠中心は有効撮像エリアの中央に設定されているが、説明を簡略化するため有効撮像エリアの座標はこの状態において生成画像の座標（i,j）と同数値となるように設定されているものとする（従って、この状態における生成画像枠外には負値座標も存在する。）
生成演算式は次の式（２）で表される。
Ｓout（i,j）＝｛Ｓ１（i,j）＋Ｓ２（i+x,j+y）｝／２ …（２）
なお、前述した説明では、第１原画像と第２原画像の２画像の合成を、加算平均値を算出することによって行っているが、それ以外の任意の方法を適用することが可能である。
【００３５】
こうして、画像信号生成処理によって２画像が合成されることで得られた画像信号は、後段の回路で処理され、最終的にメモリカード１１０に記録され、あるいはＬＣＤ画像表示系１１１において表示される。
【００３６】
このようにして、画像信号生成処理によって、露光が異なる２原画像間の位置ずれを補正しつつ合成処理を行なうことによって、ダイナミックレンジ拡大撮像を適用しても手ぶれによる画質劣化を回避することができる。従って、比較的低輝度の被写体に対してもダイナミックレンジ拡大撮像を適用することが可能となる。
【００３７】
なお、前述した説明では、モノクロ画像を撮像するものとして説明しているが、カラー画像を撮像する場合にも適用することが可能である。例えば、単板素子であっても、同時化後すなわち各画素がＲＧＢ情報を全て有しているものとすると、前述した画像信号生成処理のステップＡ１の動きベクトル（位置ずれ）検出において、信号Ｓ１、Ｓ２として、例えば輝度マトリクスＹ＝0.299Ｒ＋0.587Ｇ＋0.114Ｂによって算出した輝度信号Ｙ（Ｇ信号で代用しても良い）を用いる。そして、ステップＡ２の画像生成演算においては、輝度信号Ｙ（あるいはＧ信号）をもとに検出した動きベクトル情報に基づいて、ＲＧＢそれぞれの情報に対して、前述と同様にして画像合成のための演算を行なう。
【００３８】
また、動きベクトル情報の検出は、実際に撮影された画像を用いる点で優れているが、反面、検出エリアが共通輝度域内に限られる。この場合、被写体の輝度分布によっては、共通輝度域に属する部分が無く適用不可能な場合もあり得る。この点に関して、次のような変形例１，２の構成とすることで対応が可能である。
【００３９】
（変形例１）本撮影に先立ち、モニタモード（ダイナミックレンジ拡大を適用しない通常の動画出力モード）において取得される複数の静止画像に対応する画像信号をもとに、上記と同様の公知の相関演算手法により動きベクトル情報（位置ずれ）を求めておき、その最終の動きベクトル情報（本撮影の直前の情報）を画像信号生成処理（ステップＡ１１の処理に代えて）において適用する。これにより、被写体の輝度分布に関係なく動きベクトル情報を取得することができる。また、本撮影に先立ち事前に動きベクトル情報を求めるだけでなく、本撮影の事後にも同様にして動きベクトル情報を求め、直前と直後の動きベクトルの平均値を算出して、これを動きベクトル情報として適用することも可能である。さらに、本撮影の事後に求めた動きベクトル情報のみを適用することも可能である。
【００４０】
（変形例２）加速度センサや角速度センサなどのぶれ検出センサ１１９（図１参照）を設け、システムコントローラ１１２は、本撮影時に、ぶれ検出センサ１１９によって検出されたぶれ量の情報を取得する。画像信号生成処理制御部１１２ｂは、ぶれ検出センサ１１９から取得されたぶれ量に基づいて動きベクトル情報を求め、この動きベクトル情報に基づいて前述と同様にして画像合成を行う。
【００４１】
また、本実施形態の撮像装置では、次のような変形も可能である。
前述した説明では、２画像の合成処理としては最も単純な加算平均を用いた例を示したが、他の任意の合成処理方法を用いることも可能である。例えば、はめ込み合成法を用いることが可能である。はめ込み合成法では、例えば一方の原画像の輝度レンジを逸脱した領域に対して他の原画像をはめ込むことによって、あるいは画素の色情報や局所コントラスト情報などの画質（情報）比較により、画素ごとにより好ましい方の原画像を採用することによって合成する。
【００４２】
また、２画像連続撮像の撮像シーケンスにおいて、露光時間のずらし量は任意である。さらに、露光量は、露光時間以外のパラメータ（例えば絞り量）によって変化させても良い。
【００４３】
また、説明を簡単にするために、露光量の異なる２つの画像を合成する場合を例にしているが、露光量の異なる３つ以上の画像を合成する構成とすることも可能である。例えば、露光量が大中小の３つの画像ＡＢＣに対して、上記と同様の処理を行なうようにすれば良い。
【００４４】
また、本願発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００４５】
【発明の効果】
以上詳述したように本発明によれば、露出の異なる複数の撮像原画像から１枚の画像を合成するダイナミックレンジ拡大撮像において、各原画像間の位置ずれを補正しつつ合成処理を行なうようにしたので、ダイナミックレンジ拡大撮像を適用しても手ぶれによる画質劣化を回避することができ、比較的低輝度の被写体に対しても広ダイナミックレンジ画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本実施形態に係る撮像装置の構成が示すブロック図。
【図２】一般的な撮像素子を用いた撮像装置を構成した場合の撮像素子の光電変換特性を示す図。
【図３】長短２つの露光時間を用いた２画像連続撮像のための撮像シーケンスを示すタイミングチャート。
【図４】本実施形態におけるＣＣＤ撮像素子１０５から読み出される第１、第２の各原画像の画素情報信号の光電変換特性を示す図。
【図５】本実施形態における画像信号生成処理について説明するためのフローチャート。
【図６】第１、第２の各原画像と生成画像との関係を示す図。
【符号の説明】
１０１…レンズ
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…メカシャッタ
１０５…ＣＣＤ撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス回路
１０８…ディジタルプロセス回路
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１２ａ…２画像連続撮像制御部
１１２ｂ…画像信号生成処理制御部
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）

Claims

被写体を所定の露光により撮像して画像信号を出力する撮像手段と、
前記撮像手段に対して露光量を制御する露出制御手段と、
前記露出制御手段により前記撮像手段に対して異なる露光量を与えてそれぞれ得られる複数の原画像信号を、前記露光量の異なる複数の原画像信号間の位置ずれの補正をしつつ合成して合成画像信号を生成する画像信号生成処理制御手段とを具備したことを特徴とする撮像装置。
前記画像信号生成処理制御手段は、前記露光量の異なる複数の原画像信号に共通する輝度域の情報に基づいて当該露光量の異なる複数の原画像信号間の位置ずれを検出し、この検出した位置ずれに対して前記位置ずれの補正をすることを特徴とする請求項１記載の撮像装置。
前記合成画像信号に合成される前記露光量の異なる複数の原画像信号を得るための前記撮像手段による撮像の事前あるいは事後の少なくとも一方で得られる複数の静止画像に対応する画像信号をもとに位置ずれを検出し、
前記画像信号生成処理制御手段は、この検出した位置ずれをもとに、前記露光量の異なる複数の原画像信号間の位置ずれの補正をしつつ合成して合成画像信号を生成することを特徴とする請求項１記載の撮像装置。
前記撮像手段による撮像時のぶれを検出するぶれ検出手段を具備し、
前記画像信号生成処理制御手段は、前記ぶれ検出手段によって検出されたぶれ量に基づいて、前記露光量の異なる複数の原画像信号間の位置ずれを検出し、この検出した位置ずれに対して前記位置ずれの補正をすることを特徴とする請求項１記載の撮像装置。