JP6809032B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、カメラなどの撮像装置に関し、特に、レンズ特性などによって生じる画像周辺の光量低下を補正する処理に関する。

デジタルカメラなどでは、撮影レンズの特性によって撮影画像の周辺部で光量が低下する。そのため、得られる画像信号に対してシェーディング補正（以下では、周辺光量低下補正ともいう）を施し、光量低下部分の画素に対してゲイン補正する。

周辺光量の低下具合は、使用する撮影レンズの光学特性だけでなく、撮影条件によっても相違する。そこで、画像を複数のブロックに分割して絞り値、ズーム倍率によって異なる一連の補正係数をブロック毎にメモリに格納し、撮影時の絞り値、ズーム倍率等に応じた補正係数を選択してシェーディング補正を行う（特許文献１参照）。また、撮像素子の異なる色フィルタに対して同じ補正係数を乗じると、色変調によって擬色が発生する場合がある。これを抑えるために各色フィルタに応じた補正係数によってシェーディング補正を行う（特許文献２参照）。

さらに、撮影シーンによっては、シェーディング補正を行うことで輝度レベルが必要以上に上がってノイズが増加する場合がある。これを防ぐため、周辺光量の低下が目立たない撮影シーンであるか否かを判断し、目立たない場合にはゲインを抑える。例えば、撮影画像を複数のブロックに分割して輝度値、色情報をブロック毎に検出し、周辺光量低下が目立つ空に応じた青色領域に対してシェーディング補正を行う一方、周辺光量低下が目立たない木々など緑色の領域を検出すると、シェーディング補正を行わない（特許文献３参照）。

特開２００３−１１０９３６号公報 特開２０００−４１１７９号公報 特開２００６−１４８７９１号公報

撮影時の被写体構図は様々であり、カメラの特性、露出条件あるいは色情報に基づいて撮影シーンを判断しても、その撮影シーンを適切に判断できない場合があり、そのシーンに不適切な周辺光量低下補正を行うと、ノイズ増加、飽和など撮影画像周辺部の画質低下が生じ、ユーザの好む画像を得ることができない。

したがって、様々な撮影シーンに対して適切な明るさ／光量に関する補正（周辺光量低下補正など）を行うことが可能で、ユーザの好む画像を得ることが求められる。

本発明の画像処理装置は、コンピュータ、あるいは撮像装置に組み込むことが可能であり、例えばユーザの選択操作に応じて、撮影画像を分割することで定められる複数の画像領域の中から、あるいは任意の領域の中から特定の画像領域を選択する選択手段と、選択手段によって選択された画像領域に従って定められる補正対象画素に対し、明るさに関する補正を行う。

明るさに関する補正としては、撮影画像の補正対象画素の明るさを、撮像装置の特性あるいはユーザの指定内容などに応じて、補正させればよい。例えば補正手段は、撮影光学系の特性あるいはユーザの指示に従って定められる補正係数に基づいて、光量低下に対する補正を行うことが可能である。ただし補正には、相対的に輝度の低い画像領域内の画素輝度を上げる補正も、相対的に輝度の高い画像領域の画素輝度を下げる補正も含まれる。

例えば補正手段は、前記選択手段によって選択された画像領域に従って定められる補正対象画素に対し、ゲイン、オフセット、およびゲインとオフセットの組み合わせのうちいずれかの処理を実行する。

なお、ここでの「複数の画像領域」は、ユーザがその領域もしくはそれを中心として周辺光量低下補正を行いたい画像部分を表す。例えば、撮影画像の左上隅部分を含む第１領域、右上隅部分を含む第２領域、右下隅部分を含む第３領域、左下隅部分を含む第４領域で構成することが可能である。あるいは、その他任意の場所も可能である。

画像領域の選択に関しては、例えばタッチパネルを使ったモニタを利用した場合には画像を表示した任意の領域をタッチ操作によりポイントの選択および範囲指定をすることもできる。さらに、コンピュータ上であれば、マウスなどのポインティングデバイスによるポイントの指定および範囲の指定を行ってもよい。

所定の画像領域が選択されると、その領域に応じて補正対象画素が定められる。選択された画像領域内の画素とその周辺画素を補正対象画素としてもよく、選択された画像領域内の画素を補正対象画素と定めてもよい。補正対象画素は選択された画像領域に応じてあらかじめ決められた複数の画素であり、指定される領域毎に定められる。また、あらかじめ指定された画像領域でない選択方式、例えばタッチパネルなどによる任意の指定領域の場合にはそれに応じて設定される。

選択された画像領域内に定められる調整対象画素の補正係数を、ユーザの調整操作に応じて調整可能な調整部を設けることも可能である。例えば、調整手段は、撮影画像の画像中心や撮影画像の光学的中心（光軸位置）からのラインに沿って定められる調整対象画素の補正係数を、ユーザの調整操作に応じて調整可能とすることができる。あるいは領域毎に補正係数を調整してもよい。

なお、画像中心は、例えば撮像素子の有効画素の中心である。光学中心は画像中心と一致する場合もあるが、センサシフト型手振れ補正機構やレンズ駆動型手振れ補正機構などを使用する場合、光学中心は画像中心からずれる。

例えば、調整部は、調整対象画素以外の補正対象画素の補正係数を、該補正対象画素と画像中心から等距離にある同心円上にある調整対象画素の補正係数を用いた補間によって、補正することが可能である。

本発明の他の態様における画像処理方法は、ユーザの選択操作に応じて、撮影画像において定められた複数の画像領域あるいは任意の領域の中から特定の画像領域を選択し、選択された画像領域に従って定められる補正対象画素に対し、明るさに関する補正を行う。例えば、撮影光学系の特性またはユーザの指示に従って定められる補正係数に基づいて光量低下に対する補正を行う。

本発明によれば、撮影シーンに適した明るさに関する補正を行うことができる。

本実施形態であるデジタルカメラのブロック図である。 シェーディング補正処理のフローチャートである。 補正対象領域の選択画面を示した図である。 撮影画像における補正係数の補間を示した図である。 画像中心が光学中心と一致していない場合における補正係数の補間を示した図である。

以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。

図１は、本実施形態であるデジタルカメラのブロック図である。

デジタルカメラ１００は、ここではミラーレス型のデジタルカメラとして構成されており、モードダイヤル、レリーズボタン、十字ボタン、実行ボタンなどを含めた操作部材１０４に対するユーザの入力操作に従い、撮影、記録画像の再生、モード設定などが行われる。カメラ正面側には撮影レンズ１０７を収納する鏡筒１０２が着脱自在に取り付けられており、カメラ背面には、ＬＣＤ１０６が設けられている。

ＣＰＵ、ＲＡＭなどを含む信号処理部１０１は、レリーズボタンなどの操作部材１０４に対するボタン操作に応じて、露出制御、記録動作、再生表示動作などカメラ全体の動作制御を行う。また、画像信号処理などを実行する画像処理部１３２および補正部１３４を備える。カメラ動作制御のプログラムは、図示しないＲＯＭなどの記録媒体に記憶されている。

撮影レンズ１０７は、被写体からの光が入射するとＣＣＤ、ＣＭＯＳセンサなどのイメージセンサ１１１に光を結像し、これによって被写体像がイメージセンサ１１１に形成される。イメージセンサ１１１の受光面上には、Ｒ，Ｇ，Ｂなどのカラーフィルタアレイ（図示せず）が配置されている。

スルー画像表示の場合、タイミングジェネレータ（ＴＧ）１２０からの駆動信号に従い、１フィールド又は１フレーム分の画素信号が所定の時間間隔（例えば、１／６０秒あるいは１／３０秒）でイメージセンサ１１１から読み出される。読み出された画素信号は、ＡＦＥ回路１３０において増幅処理、デジタル化など施された後、信号処理部１０１の画像処理部１３２に送られる。

画像信号処理部１３２では、色補間処理、色変換処理、ホワイトバランス調整処理などが画素信号に対して施される。これにより、Ｒ，Ｇ，Ｂの画素値が画素毎に求められ、カラー画像信号が生成される。生成されたカラー画像信号は、画像メモリ１０３に一時的に格納される。信号処理部１０１は、カラー画像信号に基づいてＬＣＤ１０６を駆動し、これによってリアルタイムの動画像が表示される。

レリーズボタンが半押しされると、イメージセンサ１１１から読み出される画素信号に基づいて、コントラスト式ＡＦ処理が実行される。信号処理部１０１は、レンズ駆動部１３６を制御して撮影レンズ１０７を駆動し、コントラスト値がピークとなる合焦位置を検出する。また、コントラスト式ＡＦ処理とともに、イメージセンサ１１１から読み出される画素信号に基づいて被写体像の明るさが検出され、露出値が演算される。

さらにレリーズボタンが全押しされると、露出制御部１３８は、露出値に基づいて図示しないシャッタ、絞り等を駆動し、露出制御する。これにより、１フレーム分の画素信号がイメージセンサ１１１から読み出される。

画像信号処理部１３２では、読み出された１フレーム分の画素信号に基づいて静止画像データを生成する。静止画像データは、圧縮状態、あるいは非圧縮のままでメモリカードなどの記録媒体１０５に記録する。再生モードが設定されると、選択された記録画像がＬＣＤ１０６に表示される。

補正部１３４は、生成されたＲ，Ｇ，Ｂカラー画像信号に対してシェーディング補正処理を実行する。すなわち、装着された撮影レンズ１０７のレンズ特性等に起因する撮影画像の周辺部光量低下を補償するように、ゲイン補正する。ただし、シェーディング補正した後にＲ，Ｇ，Ｂカラー画像信号を生成してもよい。鏡筒１０２のレンズメモリ１０８または信号処理部に付属の不揮発性メモリ（図示せず）には、レンズ設計値（あるいは測定値、調整値などでもよい）に関するデータが格納されている。

本実施形態では、ユーザによる入力操作によって、ユーザの所望する画像部分をターゲットにしたシェーディング補正を行うことが可能であり、また、ユーザによってシェーディング補正の程度を調整することが可能である。以下、図２〜４を用いて詳述する。

図２は、シェーディング補正処理のフローチャートである。図３は、補正対象領域の選択画面を示した図である。図４は、撮影画像における補正係数の補間を示した図である。

ユーザが再生モードを選択して所定の記録画像を再生させた後、シェーディング補正マニュアル設定モードを選択すると、図３に示す選択画面が表示される（Ｓ１０１）。図３では、山を写している撮影画像ＲＩを再生表示したときの画面を示している。画面左上隅、右上隅、右下隅、左下隅には、それぞれ「左上」、「右上」、「右下」、［左下］の文字情報Ｒ１〜Ｒ４が表示されており、ユーザは、十字ボタンを操作することによって反転エリアＲＦをそれら文字情報Ｒ１〜Ｒ４の間で移動させ、画面隅部分を選択することができる。

レンズ特性に起因する画像周辺領域、特に画像４隅付近における光量低下は、撮影シーンによって目立つ場合と目立たない場合がある。例えば、人物や建造物などの被写体が視野（フレーム）周辺に存在する場合、光量低下は目立たない。一方、青空などを撮影する場合、画像周辺の光量低下が目立つ。したがって、撮影画像下半分がビルなどの建物である一方、上半分が青空のような構図の場合、左上、右上の周辺光量低下は顕著になるが、左下、右下の周辺光量低下はそれほど目立たない。

このような撮影画像に対して一律に周辺光量低下に対する補正を行うと、画像左下隅部分、右下隅部分においてはそれほど印象は変わらず、ノイズだけが増加してしまう。また、室内照明による撮影画像の場合、画像四隅部分のいずれかに照明が入り込むと、その部分が光量低下補正によって白飛びになり、画質が低下して印象が悪くなってしまう。

本実施形態では、ユーザが実際に撮影画像を見ながら、画像左上、右上、左下、右下隅部分を個別に選び、選択された隅部分に基づいた周辺光量低下補正を行う。具体的には、ユーザが撮影画像の中で光量低下が目立っていると判断できる部分についてはシェーディング補正を行い、目立っていないと判断できる部分についてはシェーディング補正を行わないように、撮影画像隅部分を選択する。例えば、図３に示すような撮影画像ＲＩの場合、ユーザは画面右上隅部分だけを補正対象として選択することができる。

ユーザが十字ボタンの操作によって画面隅部分を選択し、実行ボタンを操作すると、その反転領域ＲＦの画面隅部分が補正対象領域として選択、設定される（Ｓ１０２、Ｓ１０３）。ユーザは、１つあるいは複数の画面隅部分を選択することが可能である。ただし、ここでの画面隅部分の選択は、あくまでもシェーディング補正を行う対象エリアを概略的に定めるものであり、実際に補正対象となる画素領域をユーザに決定させるものではなく、また、後述するように画面隅部分だけにシェーディング補正を行うものでもない。

ユーザによって画面隅部分が選択されると、ユーザにより補正係数の調整操作が行われたか否かが判断される（Ｓ１０４）。ユーザは、十字ボタンなどを操作することによって、選択した画面隅部分に対し、補正係数の値を調整することが可能である。

記憶されるレンズデータのデータ容量の制限などから、離散的な像高に対する補正係数が所定の画素に対してあらかじめ記憶されており、それを補間して各画素に対して補正係数を算出する。補正係数を調整可能な画素は、ここでは図４に示す対角線Ｓ１、Ｓ２上にある画素に定められており、光軸と一致する画像中心Ｃから対角線Ｓ１、Ｓ２に沿って左上隅、右上隅、左下隅、右下隅方向に向くラインＴ１〜Ｔ４に対し、補正係数の値を別々に調整（変更）することが可能である。ユーザは、補正係数を任意に設定することが可能である。図示していないが、補正係数は像高に対するデータなので対角に限定されず、光軸中心を通る線上であれば任意の点を取る事ができる。すなわち、画面内のあらゆる点を指定する事が可能である。

ユーザの調整操作によって補正係数が調整されると（Ｓ１０５）、シェーディング補正を実行させる操作（ここでは実行ボタンの押下）が行われたか否かが判断される（Ｓ１０６）。シェーディング補正実行の操作が行われたと判断されると、シェーディング補正対象となる画素に対し、シェーディング補正が行われる（Ｓ１０７）。他のモードへ移行する操作などが行われると、処理は終了する（Ｓ１０８）。

対角線Ｓ１、Ｓ２上にある画素については、調整された補正係数に基づいて周辺光量低下補正が行われる。対角線Ｓ１、Ｓ２上にない画素については、対角線Ｓ１、Ｓ２上にある画素に対して画像中心（光軸）Ｃからの距離が等しい同心円上にある画素の補正係数を、その対角線Ｓ１、Ｓ２上にあって同心円上にある画素の補正係数を用いた線形補間を行うことで求める。

例えば、ユーザが撮影画像ＲＩの左上隅部分、右上隅部分を補正対象として選択し、ラインＴ１、Ｔ２に対して補正係数を調整すると、画像中心Ｃから同じ像高である画素ＰＫ１、ＰＫ２と同心円に沿った同じ像高にある画素ＰＪの補正係数は、画素ＰＫ１、ＰＫ２の補正係数を用いて線形補間により求める。他の対角線Ｓ１、Ｓ２上にない画素についても同様の線形補間によって補正係数が求められる。ただし、線形補間以外の補間演算などによって求めてもよい。

補間に基づく周辺光量低下補正を行うと、ユーザが選択した画面隅部分以外の画素に対してもゲイン補正を行うことになるが、これによって撮影画像の中で不自然な光量の違いが生じない。すなわち、ユーザの選択した画面隅部分を中心とした周辺光量低下補正を行うことができる。例えば、撮影画像ＲＩの左上隅部分、右上隅部分のみをユーザが選択した場合、図４に示す領域Ａ１、Ａ２、Ａ４内の画素が周辺光量低下補正対象の画素となり、左上隅部分Ｒ１、右上隅部分Ｒ２でラインＴ１、Ｔ２上（特に隅部分）の画素に対して比較的大きなゲイン補正がかかる。

このように本実施形態によれば、補正係数に基づいて周辺光量低下補正を行う場合、ユーザが補正を行う画面隅部分を選択可能とし、また、その選択した画面隅部分に応じた対角線上のラインに位置する画素の補正係数を調整可能とする。画面隅部分が選択され、補正係数が調整されると、選択された領域の補正係数に基づいて周辺光量低下補正が行われる。

ユーザが実際に撮影画像を見て周辺光量低下補正を行う画面隅部分を決定するので、撮影シーンにとって補正が必要な個所を適切に見分けて補正することができ、また、選択した領域に対して補正係数を調整することができるので、補正の程度もユーザの好みに合わせることができる。

補正係数の値を直接調整するのではなく、補正割合を調整してもよい。ただし、補正割合とは、補正係数を画素値に反映さる程度を調整する値であり、補正割合１００％のときには補正係数値をそのまま使用し、補正割合の値が小さくなるほど補正係数の値が減少する。なお、上限を設定すれば、例えば１２０％などの補正割合を設定するように構成してもよい。

本実施形態では、画像中心が光学中心、すなわち光軸と一致しているとみなしているが、手振れ機構などによって画像中心と光学中心が一致しない撮影画像の場合、光学中心を通る線上の画素を補正係数調整可能な画素とする。

図５は、画像中心が光学中心と一致していない場合における補正係数の補間を示した図である。光学中心Ｃを通り、先の対角線Ｓ１、Ｓ２と平行な斜め方向の２つの線Ｓ’１、Ｓ’２上の画素に対して補正係数を調整可能であり、線Ｓ’１、Ｓ’２上にない画素ＰＪ’については、上述した補間処理によって補正係数が求められる。また、図示していないが、線分は画面の四隅の何れかと光軸を結ぶ線分であることも可能でその線分上の画素について補正係数を調整可能であるとすることもできる。さらに、線分は光軸を通る線であれば任意の線分を設定してもよい。

本実施形態では、光学中心を通るラインに沿った画素の補正係数に基づいて他の画素の補正係数を補間により求めているが、ユーザが選択した画像領域に位置する画素を補正対象の画素と定め、その画素に対して周辺光量低下補正を行ってもよい。また、撮影光学系の特性に従ってあらかじめ定められた補正係数を調整、修正するのではなく、ユーザの入力操作などによって補正係数あるいは補正割合の値をそのまま設定するようにしてもよい。

ユーザの選択する画像部分は、画面４隅部分に限定されず、画面内の任意の領域であってもよい。さらには、画面内の任意領域の中から特定の領域をユーザが選択するようにしてもよい。この場合、調整可能な補正係数は、撮影条件における光学中心からその領域へのライン上にある画素が補正係数となる。画面周辺部分に限定されない光量低下に対する補正を行うことができる。

さらに、ユーザによる補正係数の調整は行わず、ユーザが補正対象領域のみ選択するように構成してもよい。この場合でも、ユーザが希望する画像部分を中心とした光量低下に対する補正が行われ、ユーザ好みの適切な補正を行うことができる。光量低下に対する補正としは、ゲイン処理以外のオフセット処理も可能であり、ゲイン処理とオフセット処理を組み合わせてもよい。

本実施形態では、デジタルカメラにおいて周辺光量低下補正を行う構成にしているが、ＰＣなどのコンピュータにおいて、画像編集ソフトウェアに組み込んで光量低下に対する補正を行うようにしてもよい。

１００ デジタルカメラ（撮影装置）
１０１ 信号処理部（選択部、調整部）
１３２ 画像信号処理部
１３４ 補正部

Claims (7)

1. 被写体の写った記録画像である撮影画像に定められた、それぞれ異なる撮影画像周辺部分を含む複数の画像領域の中から、あるいは撮影画像内の任意の領域の中から、特定の画像領域を、撮影画像が再生表示されているときのユーザの選択操作に応じて選択する選択手段と、
   前記選択手段によって選択された画像領域に従って定められる補正対象画素に対し、周辺光量低下補正を行う補正手段と
   を備えたことを特徴とする画像処理装置。
2. 選択された画像領域内に定められる調整対象画素の補正係数を、調整可能な調整手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記調整手段が、撮影画像の画像中心または光学中心からのラインに沿って定められる調整対象画素の補正係数を調整可能であり、
   前記調整手段が、調整対象画素以外の補正対象画素の補正係数を、該補正対象画素と画像中心または光学中心から等距離の同心円上にある調整対象画素の補正係数を用いた補間により求めることを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の画像領域が、撮影画像の左上隅部分を含む第１領域、右上隅部分を含む第２領域、右下隅部分を含む第３領域、左下隅部分を含む第４領域とを有することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記補正手段が、前記選択手段によって選択された画像領域に従って定められる補正対象画素に対し、ゲイン、オフセット、およびゲインとオフセットの組み合わせのうちいずれかの処理を実行することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 請求項１乃至５のいずれかに記載の画像処理装置を備えた撮像装置。
7. 被写体の写った記録画像である撮影画像に定められた、それぞれ異なる撮影画像周辺部分を含む複数の画像領域の中から、あるいは撮影画像内任意の領域の中から、特定の画像領域を、撮影画像が再生表示されているときのユーザの選択操作に応じて選択し、
   選択された画像領域に従って定められる補正対象画素に対し、周辺光量低下補正を行うことを特徴とする画像処理方法。
   
   

Images