JP6420620B2 - 画像処理装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に階調補正を行う画像処理装置及び方法、及び撮像装置に関する。

従来、同一の画角内に極めて明るい被写体と暗い被写体とが同時に存在する場合に、両者を明瞭に撮影することができるダイナミックレンジの広いカメラ、いわゆるワイドダイナミックレンジカメラがある。ダイナミックレンジの広い撮影を可能にするための方法としては、様々な階調補正方法が検討されている。その一つとして、例えば、銀塩写真においては暗室内で行われる覆い焼き処理というものがあるが、この覆い焼き処理をデジタル画像処理によって実現し、明暗差のある被写体、特に逆光の被写体を補正する技術（デジタル覆い焼き処理）がある。

デジタル覆い焼き処理では、動画撮影時に強度の調整を行うために入力輝度値を出力輝度値に変換するためのゲインの変更も行っている。ゲイン（強度）を変更する際には、映像の変化を滑らかに見せるために、一般的に、ゲインも滑らかに変移させる。

特許文献１では、スローシャッターで撮影中に過大輝度を検出した場合に、再露光に時間がかかって監視不能期間が発生してしまうのを防ぐため、予め記憶されている所定の絞り、シャッター、ゲインに設定することが開示されている。

特開２０１１−１９３０７６号公報

しかしながら、特許文献１に開示されたように、スローシャッターで撮影中に過大輝度を検出した場合に予め登録した露出に設定する方法では、急激に輝度が切り替わり、画像が不自然に見えることがある。

本発明は上記問題点を鑑みてなされたものであり、予め決められたフレームレートで撮影した画像に階調補正処理を行う場合に、露光時間に関わらず、滑らかに画像が変化するようにしながら、目標の補正強度へ収束する時間を短縮することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、電荷蓄積時間の長さに応じて１フレームの期間が長くなるフレームレートで読み出された画像信号に階調補正処理を行う画像処理手段と、各フレームの前記画像信号の輝度分布に基づいて、前記階調補正処理の目標の強度を算出する強度算出手段と、前記目標の強度と、前記各フレームの画像信号の電荷蓄積時間とに基づいて、前記階調補正処理の強度の変移量を算出する変移量算出手段と、前記変移量と、１フレーム前の前記画像信号に適用した階調補正処理の強度とに基づいて、前記各フレームの画像信号に適用する階調補正処理の強度を、前記画像処理手段に設定する設定手段とを有し、前記変移量算出手段は、前記電荷蓄積時間が予め決められた時間よりも長い場合に、短い場合よりも、前記変移量を大きくし、前記画像処理手段は、前記設定された強度で階調補正処理を行う。

本発明によれば、予め決められたフレームレートで撮影した画像に覆い焼き処理を行う場合に、露光時間に関わらず、滑らかに画像が変化するようにしながら、目標の覆い焼き強度へ収束する時間を短縮することができる。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図。 覆い焼き強度テーブルの一例を示す図。 第１の実施形態における覆い焼きの強度設定処理を示すフローチャート。 被写体の明るさに応じた画像信号の読み出しタイミングと、覆い焼き強度の設定タイミングとを示す図。 変移量が固定である場合の通常読み出し時とスローシャッタ時における目標となる覆い焼き強度までの遷移の一例を示す図。 第１の実施形態における蓄積フレーム数と変移量の増加率との対応を示す図。 第２の実施形態に係る撮像装置の概略構成を示すブロック図。 第２の実施形態に係る露出ずれ量と覆い焼き強度補正量との対応を示す図。 第２の実施形態における覆い焼きの強度設定処理を示すフローチャート。 第３の実施形態に係る撮像装置の概略構成を示すブロック図。 第３の実施形態における覆い焼きの強度設定処理を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。なお、図１では、階調補正処理の１つである覆い焼き処理に関わる構成を主に示しており、覆い焼き処理に関係しない構成については適宜省略している。

不図示の被写体像は、撮像光学系１０１を介して、ＣＣＤまたはＣＭＯＳセンサなどにより構成される撮像素子１０２に入射する。なお、図１では、撮像光学系１０１を１枚のレンズにより表しているが、通常、ズームレンズやフォーカスレンズ等の複数枚のレンズ、絞りなどを含み、ズーミング、フォーカシング、入射光量などを制御することができる。

撮像素子１０２に入射した被写体像は電気信号（画像信号）に光電変換され、覆い焼き強度算出部１０４及び画像処理部１０５に入力される。蓄積時間制御部１０３は、タイミングジェネレータ（ＴＧ）などから構成され、公知の方法により求められた測光値に基づいて、撮像素子１０２における電荷蓄積時間を制御する。電荷蓄積時間は、絞り値が同じ場合、被写体が明るいほど短くなり、暗いほど長くなるように制御される。

覆い焼き強度算出部１０４は、撮像素子１０２から入力された画像信号の画像情報に基づいて、その画像の輝度分布が人の目で見るのに適した画像となるような、目標の覆い焼き強度を算出する。画像情報としては、例えば、画像信号の輝度分布を示す輝度ヒストグラムが挙げられ、覆い焼き強度算出部１０４において生成される。

覆い焼き強度変移量算出部１０８には、蓄積時間制御部１０３から電荷蓄積時間が、また、覆い焼き強度算出部１０４から目標の覆い焼き強度が入力され、これらの値に応じて覆い焼き強度の変移量を算出する。そして、算出した変移量と、現在設定されている（即ち、１フレーム前の画像信号の処理に用いられた）覆い焼き強度とに基づいて、次に設定すべき覆い焼き強度を覆い焼き強度設定部１０７に出力する。

覆い焼き強度記憶部１０６は、図２で示すような覆い焼き強度テーブルを保存している。図２において、横軸は入力輝度値、縦軸は出力輝度値を表している。入力輝度値と出力輝度値の関係を示すそれぞれの線が覆い焼きの強度を示しており、入力輝度値に対して大きい出力輝度値をとる方が、補正強度が強いことを表している。なお、図２では、入力輝度値に対する出力輝度値の関係を表しているが、入力輝度値を出力輝度値に変換するためのゲインを保持したテーブルであっても良い。

覆い焼き強度設定部１０７は、覆い焼き強度変移量算出部１０８により指示された覆い焼き強度に基づいて、覆い焼き強度記憶部１０６から覆い焼き強度テーブルの中の一つを読み込み、画像処理部１０５に出力する。

画像処理部１０５は、撮像素子１０２から入力された画像信号に対し、種々の画像処理を行うと共に、覆い焼き強度設定部１０７から出力された覆い焼き強度テーブルに基づいて覆い焼き処理を施す。そして、画像処理部１０５で処理された画像は、ディスプレイなどで構成された表示部１０９に表示されたり、記録部１１０で記録に適したフォーマットに変換されて不図示の記憶媒体に記録される。

図３は、第１の実施形態における覆い焼きの強度設定処理を示すフローチャートである。なお、第１の実施の形態では予め決められたフレームレートで撮像素子１０２から画像信号を読み出して処理を行い、図３に示す処理は、各フレームの画像信号を読み出す毎に行われる。

まず、Ｓ３０１において撮像素子１０２から画像信号を読み出し、覆い焼き強度算出部１０４と、画像処理部１０５へそれぞれ入力する。Ｓ３０２において、覆い焼き強度算出部１０４は、入力された画像信号から輝度ヒストグラムなどの画像情報を取得し、その画像情報に基づいて、その画像の輝度分布が人の目で見るのに適した画像となるように、目標となる覆い焼き強度を算出する。

Ｓ３０３では、覆い焼き強度変移量算出部１０８において、覆い焼き強度算出部１０４により算出された覆い焼き強度と、蓄積時間制御部１０３で設定された電荷蓄積時間に基づいて、フレーム毎に変移させる覆い焼きの強度の変移量を決定する。この変移量は、基本的には人の目で見たときに滑らかに輝度値が遷移するような量にする。ここで、電荷蓄積時間と変移量との関係について説明する。

図４（ａ）は、被写体が十分に明るい場合に、画像信号を読み出すタイミングと覆い焼き強度を設定するタイミングを示す図である。また、図４（ｂ）は、被写体が暗い場合に、所謂スローシャッターで画像信号を読み出すタイミングと覆い焼き強度を設定するタイミングを示す図である。図４（ｂ）に示す例では、図４（ａ）に示す読み出しを基準フレームレートで行っているとした場合に、５フレームを１フレーム期間としたフレームレートで読み出している。

図５は、変移量が固定である場合の、通常読み出し時（５０１）とスローシャッター時（５０２）における目標の覆い焼き強度までの遷移の一例について示す図であり、横軸は時間、縦軸は覆い焼きの強度を示している。図５中の破線は、覆い焼き強度算出部１０４により算出された目標の覆い焼き強度を示している。従来、通常読み出し時に比べて、スローシャッター時の方が、目標の覆い焼き強度に収束するまでの時間が長くかかる。これは、図４（ａ）に示す通常の読み出しと比較して、スローシャッターでは図４（ｂ）に示すように１フレーム期間が長いためで、フレーム毎に同じ変移量で覆い焼き強度を制御した場合、その分だけ通常の読み出し時よりも収束時間が長くかかる。

このように、１フレーム期間が長くなるにつれて目標の覆い焼き強度に到達するまでに、より長い時間がかかってしまうため、本第１の実施形態では、図６（ａ）に示すように、フレーム毎の変移量を電荷蓄積時間に比例して大きくする。すなわち、スローシャッターのように電荷蓄積時間が長いほど変移量を大きくして、素早く目標の覆い焼き強度まで到達させる。なお、変移量は必ずしも電荷蓄積時間に比例させなくてもよい。例えば、図６（ｂ）に示すように、電荷蓄積時間を基準フレームレートでのフレーム数に換算した蓄積フレーム数と、基準フレームレートの場合に用いる基準変移量に対する変移量増幅率との関係を覆い焼き強度変移量算出部１０８に予め記憶しておく。そして、蓄積フレーム数に対応する変移量増幅率を基準変移量にかけることにより、変移量を求めてもよい。このように、電荷蓄積時間ではなく、蓄積フレーム数によって覆い焼き強度を変えてもよい。

次にＳ３０４において、覆い焼き強度設定部１０７は、Ｓ３０３で算出した覆い焼き強度の変移量を現在の覆い焼き強度に加算して、設定すべき覆い焼き強度を算出する。そして算出した覆い焼き強度を、画像処理部１０５の覆い焼き処理に設定する。その後、撮像素子１０２より入力された画像は、画像処理部１０５で覆い焼き処理を施され、適正な輝度分布になってから出力される。

上記の通り第１の実施形態によれば、電荷蓄積時間が長いほど変移量を大きくすることで、目標の覆い焼き強度への収束時間を短くすることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。覆い焼き制御では、画像の輝度分布に応じて覆い焼き強度を変更していくため、最終的には、露出収束後の画像に対して、最適になるように覆い焼き補正をかける。従って、露出の収束が遅いと、覆い焼き強度補正も遅くなる。そのため、第２の実施形態では、得られた画像が適正露出かどうか判定し、適正露出でなければ適正露出との差分を算出し、その差分に応じて覆い焼き強度を補正することで、応答性の向上を図る。

図７は、第２の実施形態における撮像装置の概略構成を示すブロック図である。なお、図７において、図１と同様の構成には同じ参照番号を付し、ここでは説明を省略する。適正露出差分算出部６０１は、撮像素子１０２から得られた画像信号の輝度レベルを参照し、適正露出とみなす予め決められた輝度レベルからどれだけ乖離をしているかを示す、露出ずれ量を算出する。

覆い焼き強度補正量記憶部６０２は、露出ずれ量に応じた補正量を保存している。図８は、露出ずれ量と覆い焼き強度の補正量の関係の一例を示す表であり、１列目に露出ずれ量をＥＶ値で示している。また２列目に露出ずれ量に対応する覆い焼き強度の補正値を示している。なお、適正露出との差分値であれば、露出ずれ量はＥＶ値である必要はない。

覆い焼き強度補正部６０３では、適正露出差分算出部６０１により算出された露出ずれ量を入力する。そして、覆い焼き強度補正量記憶部６０２から露出ずれ量に対応する覆い焼き強度の補正量を取り出し、覆い焼き強度算出部１０４より入力された目標の覆い焼き強度を補正して、覆い焼き強度変移量算出部１０８へと出力する。

図９は、第２の実施形態における覆い焼きの強度設定処理を示すフローチャートである。なお、図９において、図３に示す処理と同様の処理には同じステップ番号を付し、適宜説明を省略する。

Ｓ８０１では、撮像素子１０２から出力された画像信号が適正露出差分算出部６０１に入力され、入力された画像信号の輝度レベルが適正露出からどの程度ずれているかを示す露出ずれ量を算出する。

Ｓ８０２では、適正露出差分算出部６０１により、Ｓ８０１で算出された適正露出からの差分値を基に、適正露出かどうかを判定する。判定は、露出ずれ量が０の時のみ、適正露出と判定しても構わないし、±０．２段くらいは適正露出とみなすというような、範囲を持たせても構わない。Ｓ８０２において適正露出と判定されると、Ｓ３０３において、上述したようにして覆い焼き強度の変移量を決定する。

一方、Ｓ８０２において適正露出ではないと判定されると、Ｓ８０３において、覆い焼き強度補正部６０３は、覆い焼き強度補正量記憶部６０２に記憶されている補正量テーブルから、露出ずれ量に応じた覆い焼き強度の補正量を取得する。更にＳ８０４において、Ｓ８０３で取得した補正量により、覆い焼き強度算出部１０４から取得した目標の覆い焼き強度を補正する。

この後、第１の実施形態と同様に、Ｓ３０３で覆い焼き強度変移量算出部１０８に補正した目標の覆い焼き強度を入力し、覆い焼き強度と電荷蓄積時間から、変移量を決定する。

上記の通り本第２の実施形態によれば、露出の収束前から露出の収束後の予測値に基づいて目標となる覆い焼き強度を算出することで、目標の覆い焼き強度への収束時間を短縮することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態では、第２の実施形態における処理に加えて、露出可動域内に位置しているか、露出可動域外に位置しているかを判定し、判定結果に応じて覆い焼きの強度設定処理を変える。

図１０は、第３の実施形態における撮像装置の概略構成を示すブロック図である。図１０において、図１及び図７を参照して第１及び第２の実施形態で説明したものと同様の構成には同じ参照番号を付し、ここでは説明を省略する。

第３の実施形態の撮像装置は、図７に示す構成に露出可動域判定部９０１を追加したものである。露出可動域判定部９０１は、撮像系の露出制御部、一般的には、絞り、シャッター、ゲインがどのような状態にあるかを取得し、適正露出に近づくようにさらに露出を変更する余裕があれば、露出変更可能（露出可動域内）と判断する。一方、露出を変更する余裕が無ければ、露出変更不可能（露出可動域外）と判断する。

図１１は、第３の実施形態における覆い焼きの強度設定処理を示すフローチャートである。なお、図１１において、図３及び図９に示す処理と同様の処理には同じステップ番号を付し、適宜説明を省略する。

Ｓ１００１において、露出可動域判定部９０１により、撮像系の露出制御部が露出可動域内・域外の判定を行う。露出可動域内・域外の判定としては、例えば、撮像素子１０２により取得した画像が、適正露出よりも暗い時に、ゲインを上げたり、絞りをさらに開放できるような状態であれば、露出可動域内と判定する。一方で、絞りが開放、シャッタースピード及びゲインも限界という状態であれば、露出可動域外と判定する。

露出可動域内であればＳ８０１に進み、適正露出からの差分値を求める。その後の処理は、第２の実施形態と同様である。一方で、露出可動域外であればＳ３０３に進み、覆い焼き強度の変移量を決定する。その後、第１の実施形態と同様の動作を行う。

上記の通り本第３の実施形態によれば、覆い焼きをかける画像の露出を、適正露出に近づけるような変更が可能かを更に判断することによって、目標の覆い焼き強度への収束時間を更に短縮することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記の３つの実施形態では、階調補正処理の１つである覆い焼き処理に適用した例を説明したが、トーンカーブ補正処理のような覆い焼き処理以外の公知の階調補正処理に適用してもよい。覆い焼き処理以外の公知の階調補正処理に適用する場合には、上記の３つの実施形態における覆い焼きの強度をそれぞれの階調補正処理における補正強度に置き換えればよい。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２：撮像素子、１０３：蓄積時間制御部、１０４：覆い焼き強度算出部、１０５：画像処理部、１０６：覆い焼き強度記憶部、１０７：覆い焼き強度設定部、１０８：覆い焼き強度変移量算出部、６０１：適正露出差分算出部、６０２：覆い焼き強度補正量記憶部、６０３：覆い焼き強度補正部、９０１：露出可動域判定部

Claims (9)

1. 電荷蓄積時間の長さに応じて１フレームの期間が長くなるフレームレートで読み出された画像信号に階調補正処理を行う画像処理手段と、
   各フレームの前記画像信号の輝度分布に基づいて、前記階調補正処理の目標の強度を算出する強度算出手段と、
   前記目標の強度と、前記各フレームの画像信号の電荷蓄積時間とに基づいて、前記階調補正処理の強度の変移量を算出する変移量算出手段と、
   前記変移量と、１フレーム前の前記画像信号に適用した階調補正処理の強度とに基づいて、前記各フレームの画像信号に適用する階調補正処理の強度を、前記画像処理手段に設定する設定手段とを有し、
   前記変移量算出手段は、前記電荷蓄積時間が予め決められた時間よりも長い場合に、短い場合よりも、前記変移量を大きくし、前記画像処理手段は、前記設定された強度で階調補正処理を行うことを特徴とする画像処理装置。
2. 前記変移量算出手段は、前記電荷蓄積時間の長さに比例して、前記変移量を大きくすることを特徴とする請求項１に記載の画像処理装置。
3. 前記電荷蓄積時間は、前記フレームレートにおける１フレーム期間に対応し、
   前記変移量算出手段は、該１フレーム期間を、予め決められた基準フレームレートでのフレーム数に換算した値に対応する増幅率で、前記基準フレームレートに対応する予め決められた基準変移量を増幅することにより、前記変移量を算出することを特徴とする請求項１に記載の画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置と、
   前記予め決められたフレームレートで被写体からの光を光電変換して画像信号を出力する撮像手段と、
   前記撮像手段における電荷蓄積時間を制御する蓄積時間制御手段と
   を有することを特徴とする撮像装置。
5. 前記撮像手段から出力された各フレームの画像信号の輝度レベルと、予め決められた輝度レベルとの差に基づいて、前記目標の強度を補正する補正手段とを更に有し、
   前記変移量算出手段は、前記補正手段により補正された場合に、前記補正された目標の強度を用いて、前記変移量を算出することを特徴とする請求項４に記載の撮像装置。
6. 露出を制御する制御手段と、
   各フレームの画像信号を取得したときの露出から、前記画像信号の輝度レベルを前記予め決められた輝度レベルに近づけることのできる露出に変更可能か否かを判定する判定手段を更に有し、
   前記露出が変更可能でない場合に、前記補正手段による補正を行わないことを特徴とする請求項５に記載の撮像装置。
7. 強度算出手段が、電荷蓄積時間の長さに応じて１フレームの期間が長くなるフレームレートで読み出された、各フレームの画像信号の輝度分布に基づいて、階調補正処理の目標の強度を算出する強度算出工程と、
   変移量算出手段が、前記目標の強度と、前記各フレームの画像信号の電荷蓄積時間とに基づいて、前記階調補正処理の強度の変移量を算出する変移量算出工程と、
   設定手段が、前記変移量と、１フレーム前の前記画像信号に適用した階調補正処理の強度とに基づいて、前記各フレームの画像信号に適用する階調補正処理の強度を設定する設定工程と、
   画像処理手段が、前記各フレームの画像信号に、前記設定された強度で階調補正処理を行う画像処理工程とを有し、
   前記変移量算出工程では、前記電荷蓄積時間が予め決められた時間よりも長い場合に、短い場合よりも、前記変移量を大きくすることを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
9. 請求項８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images