JP5040314B2

JP5040314B2 - デジタルカメラ

Info

Publication number: JP5040314B2
Application number: JP2007001206A
Authority: JP
Inventors: 壮一上田; 克征鈴木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-01-09
Filing date: 2007-01-09
Publication date: 2012-10-03
Anticipated expiration: 2027-01-09
Also published as: JP2008172313A

Description

本発明は、プレビュー表示を行うデジタルカメラに関する。

従来、３段以上の多段絞りを有するデジタルカメラにおいては、撮像素子の飽和が発生する前に所定のダイナミックレンジを超えた場合に、絞りによって入射光の制御を行っている。さらに、最小絞りでも防ぐことができない場合は、撮像素子の露光時間の制御を併用している。ところが、露光時間が短くなるとＳＮ比が劣化して画質が悪くなるという問題があり、光源（被写体）の照明レベルに応じて、撮影する画像のフレームレートを可変する技術が考えられている（例えば、特許文献１参照）。
特開平７−２４０９３１号公報

デジタルカメラのコストダウンのために、絞り段数を開放と小絞りの２段に簡易化したものが多く、このようなデジタルカメラは測光開始時に絞り開放状態で制御を行うため、突然の高輝度入射があった場合に撮像素子の動作領域を超えてしまう可能性があり、スミアや画像異常が発生するという問題があった。また、露光時間を短くした場合には画質が悪くなったり、露光時間を長くした場合にはフレームレートが遅くなってしまうという問題があった。

本発明の目的は、スミアや画像異常を防止し、画質やフレームレートの劣化が少ないプレビュー画像を表示できるデジタルカメラを提供することである。

本発明に係るデジタルカメラは、被写体画像を撮像する撮像手段を有し、前記撮像手段により撮像される被写体画像をモニタ画面にプレビュー表示するデジタルカメラにおいて、前記プレビュー表示を行うために前記撮像手段により時間的に連続して撮影される画像のうち、時間的に先に撮影されてプレビュー表示されている画像Ａと、前記画像Ａよりも時間的に後で撮影された画像Ｂとの差分を求める差分抽出処理と、前記差分と予め設定された所定値とを比較する比較処理と、前記差分が前記所定値以上の場合は前記画像Ｂを破棄して前記画像Ａのプレビュー表示を維持し、前記差分が前記所定値未満の場合は前記画像Ｂを前記画像Ａに置き換えてプレビュー表示する表示処理と、前記差分が所定値以上の場合に前記画像Ｂの次に新たな画像Ｂとして撮影される画像の露出設定を暗い方にシフトする露出制御処理と、を繰り返し実行する制御手段を有することを特徴とする。
さらに、時間的に連続する所定枚数のプレビュー画像を記憶する記憶手段と、前記記憶手段に記憶された所定枚数の画像を所定係数で加算する画像多重手段とを設けたことを特徴とする。
特に、前記記憶手段に記憶するプレビュー画像のノイズを除去するフィルタ手段を設けたことを特徴とする。

さらに、前記記憶手段は、時間的に連続して撮影されるプレビュー画像の全てに対して、１枚ずつシフトしながら常に所定枚数を記憶するようにし、前記画像多重手段は、時間的に連続するプレビュー画像の全てに対して、１枚ずつシフトしながら常に所定枚数ずつ多重することを特徴とする。
また、時間的に連続する前後の画像の単位画素の値または所定エリア内の複数画素の加算値の差分を求める差分抽出手段と、前記差分抽出手段が求めた差分と所定値とを比較する比較手段と、前記差分が所定値以上の場合は、時間的に後の方の画像を破棄すると共に、露出設定を暗い方にシフトする露出制御手段とを設けたことを特徴とする。

さらに、撮像手段の画素信号をオフして空読みした１画面分の信号を記憶する第１の記憶手段と、前記第１の記憶手段に記憶された１画面分の信号から面内傾向を抽出する面内傾向抽出手段と、前記面内傾向抽出手段が抽出した連続する複数画面の面内傾向を平均化する平均化手段と、前記平均化手段が平均化した面内傾向をプレビュー画像から減算する減算手段とを設けたことを特徴とする。

特に、時間的に連続する所定枚数のプレビュー画像を前記記憶手段に記憶する際に画像圧縮を行う画像圧縮手段を設けたことを特徴とする。

本発明によれば、画像異常を検出して異常のある画像を破棄することにより、スミアや画像異常のないプレビュー画像を表示できる。同時に、露出設定を暗い方にシフトすると共に、連続する過去の複数枚の画像を任意サイズのエリア内でフィルタリングして重ね合わせることによって、ランダム性のノイズを抑えつつ感度を上げることができる。また、空読みしてスミアの面内傾向を抽出してプレビュー画像から減算するので、スミアや画像異常のないプレビュー画像を表示できる。

以下、図面を参照して本発明の各実施形態について詳しく説明する。
（第１の実施形態）
図１は第１の実施形態に係るデジタルカメラ１０１のブロック図である。デジタルカメラ１０１は、レンズ１０２と、絞り１０３と、メカニカルシャッタ１０４と、撮像素子１０５と、アナログフロントエンド（ＡＦＥ）１０６と、エンジン１０７と、メモリ１０８と、液晶画面１０９と、オートフォーカス（ＡＦ）制御部１１０と、自動露出（ＡＥ）制御部１１１とで構成される。

レンズ１０２から入射した被写体からの光は、絞り１０３およびメカニカルシャッタ１０４を通って撮像素子１０５の受光面に結像される。撮像素子１０５は結像した光を電気信号に変換し、ＡＦＥ１０６に出力する。
ＡＦＥ１０６は、ＣＤＳ（相関二重サンプリング）回路１１２と、アナログゲイン１１３とＡ／Ｄ１１４とタイミング回路１１５とで構成される。ＣＤＳ回路１１２は、撮像素子１０５で光電変換されたアナログの電気信号のノイズ除去を行い、アナログゲイン１１３でレベル調整を行ってＡ／Ｄ１１４でデジタルの画像データに変換する。タイミング回路１１５は、撮像素子１０５の光電変換部から電気信号を読み出すタイミングなどを与えると共に、ＣＤＳ回路１１２やアナログゲイン１１３にも動作タイミングを与え、Ａ／Ｄ１１４にはＡ／Ｄ変換するタイミングを与える。

エンジン１０７は、画像処理部１１６と、制御部１１７と、液晶表示回路１１８とで構成される。画像処理部１１６はＡＦＥ１０６が出力する画像データをメモリ１０８に記憶し、メモリ１０８から読み出した画像データを液晶表示回路１１８を介して液晶画面１０９に表示する。尚、メモリ容量を少なくするために、ＡＦＥ１０６から入力する画像データを圧縮してメモリ１０８に記憶し、読み出す際に非圧縮処理を行って元の画像データに戻すようにしても構わない。また、画像処理部１１６は、ＡＦＥ１０６から入力する画像やメモリに記憶された画像の任意エリア毎にフィルタ処理を行ったり、加算してデジタルゲイン調整するなどの画像処理を行う。制御部１１７は、ＡＦＥ１０６から入力する画像データに基づいて、ＡＦ制御部１１０にレンズ１０２のフォーカスを合わせるよう指示したり、ＡＥ制御部１１１に絞り１０３やメカニカルシャッタ１０４の制御を行うよう指示する。尚、制御部１１７は、図１では省略してあるが、操作ボタンや設定に基づいてデジタルカメラ１０１全体の動作も制御する。

ここで、スミアの発生について、図２を用いて説明する。図２において、撮像素子１０５に被写体からの光が入力される際に、一部分に高輝度の光１５１が入ると、既に光電変換が終わって転送している信号に光が混入し、画像の上下方向に白い帯１５２が発生する。これがスミアである。また、高輝度の光が入射されると、図３に示すように、ＣＣＤイメージセンサなどで構成される撮像素子１０５の出力が飽和する。尚、３段以上の多段絞りを有する従来のデジタルカメラは、ＣＣＤイメージセンサの飽和が発生する前にデジタルカメラ内で規定した所定のダイナミックレンジを越えた場合、絞りによって入射光の制御を行っていた。さらに、最小絞りでも防ぐことができない場合は、ＣＣＤイメージセンサの露光時間を短くして所定値内になるようにしていた。

ところが、露光時間を短くすると、画像信号の出力レベルが低下し、ＳＮ比が劣化して画質が悪くなるという問題がある。これを図４（ａ）を用いて説明する。同図において、横軸は撮像素子１０５の水平ライン方向を示し、縦軸は水平に並んだ各画素の出力レベルを示す。また、実線の４５１はノイズレベル、実線の４５２は露光時間を短くした時の出力レベル、点線の４５３は露光時間を長くした時の出力レベルをそれぞれ示す。例えば、図１において、デジタルカメラ１０１の撮像素子１０５から液晶画面１０９にスルー画像を３０フレーム／秒（ｆｐｓ）のフレームレートでプレビュー表示しているとする。理想的な明るさのシーンを撮影している状態では、撮像素子１０５の出力レベルは、図４（ａ）の出力レベル４５３のように高レベルになり、ノイズレベル４５１との差ｈ２は大きくなって高いＳＮ比が得られるが、暗いシーンを撮影している状態では、出力レベル４５２のように低レベルになり、ノイズレベル４５１との差ｈ１は小さくなってＳＮ比が劣化する。このような場合、ＳＮ比を向上するために、従来技術ではフレームレートを３０ｆｐｓから例えば１０ｆｐｓに落として露出時間を長くし、出力レベル４５２が出力レベル４５３になるように制御されていた。ところが、フレームレートを落とすと、プレビュー画像のレスポンスが遅くなり、操作性が悪くなってしまうという問題があった。

本実施形態では、画像処理部１１６は図５のように動作する。同図において、画像５０１，画像５０２および画像５０３はメモリ１０８に記憶されている時間的に連続した３枚の画像を示している。それぞれの画像は、ローパスフィルタを構成するフィルタ５０５，５０６および５０７でノイズ成分が除去される。尚、ローパスフィルタの特性は、例えば（式１）に示すマトリクスで表すことができる。（式１）において、ｈ（ｎ１，ｎ２）は二次元デジタルフィルタの単位インパルス応答を示し、ｎ１およびｎ２は二次元状に配列された画素の１つを示す。

今、３×３画素のフィルタ前の信号をｘ（ｎ１，ｎ２）、フィルタ後の信号をｙ（ｎ１，ｎ２）とすると、ローパスフィルタ処理は（式２）に示すような畳み込み演算を行うことで実現できる。

図５において、ローパスフィルタでノイズ除去された画像５０１，画像５０２および画像５０３の３枚の画像は、加算部５０８で各画素毎に加算される。例えば、画像５０１，画像５０２および画像５０３のそれぞれの出力レベルが、図４（ａ）の出力レベル４５２のように低いレベルであったとしても、加算することによって大きくすることができる。加算された出力は、デジタルゲイン５０９で出力レベルが適切になるように調整する。例えば、図４（ａ）の出力レベル４５３になるように調整する。レベル調整された画像５１０は、液晶表示回路１１８を介して液晶画面１０９にプレビュー表示される。尚、図５の処理において、時間的に連続した３枚の画像５０１，画像５０２および画像５０３は、フレームレートに合わせてシフトする。例えば、画像５１０として１フレーム出力すると、２枚目の画像５０２はその１フレーム前の１枚目の画像５０１にシフトし、３枚目の画像５０３はその１フレーム前の２枚目の画像５０２にシフトし、３枚目には次の最新のフレームの画像が取り込まれる。従って、出力画像５１０はフレームレートに合わせて１フレーム毎に更新されるので、本実施形態の画像処理を行う前のフレームレートと変わらず、しかもローパスフィルタでノイズが除去され、出力レベルも適正に調整されるので、暗いシーンの画像でもノイズの少ないプレビュー画像を液晶画面１０９に表示することができる。

ところが、図４の出力レベル４５２のように低いレベルの信号をローパスフィルタ処理なしで単純に加算すると、ノイズレベル４５１を加算されて大きくなるため、画面を明るくすることはできるがＳＮ比は変わらないという問題がある。また、先に図２で説明したようなスミアが発生した場合も、異常画像が液晶画面１０９に表示されてしまうという問題がある。

次に、暗電流によるノイズレベル４５１やスミアを除去するように処理について説明する。図６は、画像処理部１１６の処理を示したもので、時間的に連続する３枚の画像４０１，４０２および４０３は、撮像素子１０５から画像信号のない状態で空読み出し（空転送）したものである。尚、空読み出しとは、撮像素子１０５の画素の信号を読み出すのではなく、読み出す際の転送路の暗電流を読み出すものである。

図７は空転送の様子を時間軸で描いた図で、１フレーム毎のタイミングＶＤと、画像信号の読み出しタイミングＰＤと、画像転送信号との時間的な関係を示している。先ず、１フレーム目のタイミングＶＤ１で露光期間（Ｔ１）のフレームの空転送（ＴＳ１）を行って、次の露光期間が始まるタイミングＰＤ１で画像信号（ＴＲ１）を読み出す。同様に、タイミングＶＤ２で露光期間（Ｔ２）のフレームの空転送（ＴＳ２）を行って、次の露光期間が始まるタイミングＰＤ２で画像信号（ＴＲ２）を読み出す。以降、同様に、時間的に連続する各フレーム毎に空転送と画像信号の読み出しを行っていく。

このようにして読み出された時間的に連続する３枚の画像の空転送された画像はメモリ１０８に記憶される。今、図６の画像４０１は図７の空転送（ＴＳ１）で読み出された画像、画像４０２は図７の空転送（ＴＳ２）で読み出された画像、画像４０３は図７の空転送（ＴＳ３）で読み出された画像をそれぞれ示す。これらの画像４０１，４０２および４０３は、加算部４０４で各画素毎に加算される。加算された出力は、ゲイン調整部４０５で１／３が掛けられて平均される。平均化された空転送の画像は、例えば図４（ｂ）のようになり、暗電流やスミアなどの面内傾向が抽出される。抽出された面内傾向を示す画像４０６は、図６において、画像信号（ＴＲ３）で読み出した最新のフレームの画像４０７から減算部４０８で引き算される。つまり、画像４０７から暗電流によるノイズやスミア成分が除去され、暗電流によるノイズやスミアの少ないプレビュー画像を液晶画面１０９に表示することができる。

ところが、撮像素子１０５に突然の高輝度入射があった場合、除去しきれないという問題がある。本実施形態の画像処理部１１６は、突然の高輝度入射があった場合でも異常画像をプレビュー表示しないように処理する。図８は、この処理の概要を説明した図で、同図（ａ）のように時間的に連続する画像６５１と６５２とを比較して異常画像を判別する。画像６５２が異常画像であった場合はこれを破棄し、同図（ｂ）のように過去の画像６５１と新しい画像６５３と比較して異常画像を判別する。さらに、画像６５３が異常画像であった場合はこれを破棄し、同図（ｃ）のように過去の画像６５１と新しい画像６５４と比較して異常画像を判別する。これを所定回数繰り返しても、異常画像があった場合は、新たな画像６５５を元にして画像６５５の次の画像と比較して異常画像を判別する。

ここで、比較方法について説明する。図９に示すようなｍ×ｎ画素からなる過去の画像Ａと新しい画像Ｂとを比較する場合、例えば５×５画素のエリアに分け、それぞれのエリアの加算値を画像Ａと画像Ｂとそれぞれ求める。１画面の同じエリアで加算値の差分を計算する。その差分値が所定値を超えるか否かで異常画像を判別する。尚、比較するエリアは５×５画素である必要はなく、３×３画素でも１０×１０画素でも構わないし、１画素毎に比較するようにしても構わない。また、画面全体を複数のエリアに分けて比較しても構わないし、画面の一部のみで比較して判別するようにしても構わない。或いは、１画面の画素数を間引いて比較するようにしても構わない。

次に、画像処理部１１６の処理について、図１０のフローチャートを用いて詳しく説明する。尚、図１０の画像Ａおよび画像Ｂは、図８および図９の画像Ａおよび画像Ｂに対応する。
（ステップＳ２０１）異常画像処理を開始する。
（ステップＳ２０２）カウンタｉ，比較回数上限ｊ，撮影パラメータＥｖをそれぞれ０に初期化する。尚、撮像パラメータは、例えばカメラのシャッター速度や絞りなど露出に関係するパラメータで、絞りの増減やシャッタースピードの可変によって、露出設定を可変する。
（ステップＳ２０３）比較回数上限ｊを入力する。尚、比較回数上限ｊは予め標準値を設定しておいても構わないし、その都度、使用者が入力するようにしても構わない。
（ステップＳ２０４）ＡＦＥ１０６から新しい画像入力されたか否かを判別する。新しい画像がある場合はステップＳ２０８に進み、ない場合はステップＳ２０５に進む。
（ステップＳ２０５）過去の画像Ａを読み込む。
（ステップＳ２０６）画像Ａの内容に基づいて、撮影パラメータＥｖをＥｖ＝ｎに設定する。尚、ここでは分かり易いように、ｎは自然数として説明する。
（ステップＳ２０７）メモリ１０８に画像Ａを記憶する。これは、図８（ａ）の画像６５１に相当する。
（ステップＳ２０８）メモリ１０８に記憶された画像Ａをプレビュー画像として液晶画面１０９に表示する。
（ステップＳ２０９）新しい画像Ｂを読み込む。
（ステップＳ２１０）メモリ１０８に画像Ｂを記憶する。これは、図８（ａ）の画像６５２に相当する。
（ステップＳ２１１）画像Ａと画像Ｂとの差分を取り、差分値が所定値α以上か否かを比較する。所定値以上の場合はステップＳ２１２に進み、所定値未満の場合はステップＳ２１５に進む。
（ステップＳ２１２）所定値以上の場合は異常画像があったと判断し、撮像パラメータＥｖを暗い方にシフトする。つまり、Ｅｖ＝ｎ−１に設定する。尚、ここでは、Ｅｖを小さくすると暗い方に、大きくすると明るい方にシフトするものとする。例えば、カメラのシャッター速度を速くしたり絞りを小さくすると撮像パラメータＥｖは暗い方にシフトし、逆にカメラのシャッター速度を遅くしたり絞りを大きくすると撮像パラメータＥｖは明るい方にシフトする。
（ステップＳ２１３）異常画像があった回数を表すカウンタｉをｉ＝ｉ＋１としてインクリメントする。
（ステップＳ２１４）カウンタｉが比較回数上限ｊを超えたか否かを判別する。超えている場合はステップＳ２０５に戻り、超えていない場合はステップＳ２０９に戻る。
（ステップＳ２１５）異常画像がなかった場合は、メモリ１０８の画像Ｂを新たに画像Ａとして上書きする。
（ステップＳ２１６）新たな画像Ａをプレビュー画像として液晶画面１０９に表示する。
（ステップＳ２１７）ＡＦＥ１０６から次に読み込む画像が来ているか否かを判別する。新たな画像がある場合はステップＳ２１８に進み、ない場合はステップＳ２１９に進み。
（ステップＳ２１８）カウンタｉを初期化して０にし、ステップＳ２０９に戻る。
（ステップＳ２１９）異常画像の検出処理を終了する。

このように、本実施形態に係るデジタルカメラ１０１は、高輝度入射などの画像異常を検出すると露出設定を暗い方にシフトし、それでも画像異常を検出した場合は、異常のある画像を破棄するので、液晶画面１０９に異常画像がプレビュー表示されるのを防止することができる。また、露出設定を暗い側にシフトしたことによるノイズは、プレビュモード時に連続する過去の複数枚の画像における任意サイズのエリア内においてフィルタリング後に重ね合わせることで、ランダム性のノイズを抑えつつ感度を上げることができる。さらに、面内傾向を抽出して、画像から引き算するので、暗電流によるノイズやスミア成分が除去され、暗電流によるノイズやスミアの少ないプレビュー画像を液晶画面１０９に表示することができる。

第１の実施形態に係るデジタルカメラ１０１の構成を示すブロック図である。スミア発生の様子を説明するための補助図である。ＣＣＤセンサの出力レベルを説明するための補助図である。出力レベルと面内傾向を説明するための補助図である。フィルタ処理の構成を示すブロック図である。面内傾向抽出処理の構成を示すブロック図である。空転送のタイミングを説明するための補助図である。異常画像の検出処理を説明するための補助図である。画像の比較方法を説明するための補助図である。画像処理部１１６の処理の流れを示すフローチャートである。

符号の説明

１０１・・・デジタルカメラ１０２・・・レンズ
１０３・・・絞り１０４・・・メカニカルシャッタ
１０５・・・撮像素子１０６・・・ＡＦＥ
１０８・・・メモリ１０９・・・液晶画面
１１１・・・ＡＥ制御部１１２・・・ＣＤＳ回路
１１６・・・画像処理回路１１７・・・制御部

Claims

被写体画像を撮像する撮像手段を有し、前記撮像手段により撮像される被写体画像をモニタ画面にプレビュー表示するデジタルカメラにおいて、
前記プレビュー表示を行うために前記撮像手段により時間的に連続して撮影される画像のうち、時間的に先に撮影されてプレビュー表示されている画像Ａと、前記画像Ａよりも時間的に後で撮影された画像Ｂとの差分を求める差分抽出処理と、
前記差分と予め設定された所定値とを比較する比較処理と、
前記差分が前記所定値以上の場合は前記画像Ｂを破棄して前記画像Ａのプレビュー表示を維持し、前記差分が前記所定値未満の場合は前記画像Ｂを前記画像Ａに置き換えてプレビュー表示する表示処理と、
前記差分が所定値以上の場合に前記画像Ｂの次に新たな画像Ｂとして撮影される画像の露出設定を暗い方にシフトする露出制御処理と、
を繰り返し実行する制御手段を有することを特徴とするデジタルカメラ。
請求項１に記載のデジタルカメラにおいて、
時間的に連続する所定枚数のプレビュー画像を記憶する記憶手段と、
前記記憶手段に記憶された所定枚数の画像を所定係数で加算する画像多重手段とを設けたこと
を特徴とするデジタルカメラ。
請求項１または２に記載のデジタルカメラにおいて、
前記記憶手段は、時間的に連続して撮影されるプレビュー画像の全てに対して、１枚ずつシフトしながら常に所定枚数を記憶するようにし、
前記画像多重手段は、時間的に連続するプレビュー画像の全てに対して、１枚ずつシフトしながら常に所定枚数ずつ多重すること
を特徴とするデジタルカメラ。
請求項１から３に記載のデジタルカメラにおいて、
前記記憶手段に記憶するプレビュー画像のノイズを除去するフィルタ手段を設けたこと
を特徴とするデジタルカメラ。
請求項１から４のいずれか一項に記載のデジタルカメラにおいて、
撮像手段の画素信号をオフして空読みした１画面分の信号を記憶する第１の記憶手段と、
前記第１の記憶手段に記憶された１画面分の信号から面内傾向を抽出する面内傾向抽出手段と、
前記面内傾向抽出手段が抽出した連続する複数画面の面内傾向を平均化する平均化手段と、
前記平均化手段が平均化した面内傾向をプレビュー画像から減算する減算手段と
を設けたことを特徴とするデジタルカメラ。
請求項１から５のいずれか一項に記載のデジタルカメラにおいて、
時間的に連続する所定枚数のプレビュー画像を前記記憶手段に記憶する際に画像圧縮を行う画像圧縮手段を設けたことを特徴とするデジタルカメラ。