JP5649409B2 - 画像処理装置 - Google Patents

Description

本発明の実施形態は、画像処理装置に関する。

近年の携帯電話機に搭載されているカメラモジュールは、本来の光学性能を充実させること以上に、低コスト化、小型化、薄型化の促進を重視する傾向が見られる。レンズの光学性能に応じて生じる、例えば画像の周辺部分の光量減少や、部分的な色付き等に対しては、例えば、画像処理におけるシェーディング補正や色付き補正等の措置が取られている。また、画素の微細化による感度低下に伴い、低照度下でのセンサ出力に対してゲインを大きくすることが多くなっている。従来の画像処理では、所定の輝度や色温度を想定して、周辺部分の光量減少や色付きに対応する調整を実施している。調整の手法としては、画面の複数のポイントについて決定したデジタルゲイン、ポイント間の位置についてはその線形補間により決定したデジタルゲインを用いる方法、所望のｎ次関数を用いる方法等が知られている。

所定の輝度を想定したシェーディング補正や色付き補正を実施する場合、低照度環境下においてゲインを高くする場合に、ゲインに応じて調整誤差が増大され、補正の精度が低下することとなる。低照度に照準を置いたシェーディング補正とする場合は、量子化誤差等が補正に影響することで、明るい場合にて調整誤差が増大することとなる。センサ面における結像特性は光の波長によって変化するため、色温度が変動した場合には、色付き補正に誤差が生じる場合がある。

特開２００２−２３７９９８号公報

本発明の一つの実施形態は、ゲインの変動による調整誤差が低減されたシェーディング補正によって、高い品質の画像を得ることを可能とする画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、シェーディング補正部を有する。前記シェーディング補正部は、被写体像をシェーディング補正する。前記シェーディング補正部は、前記被写体像の撮像のための露出情報に応じて算出されたシェーディング補正用パラメータを用いて前記シェーディング補正を実施する。

第１の実施形態の画像処理装置を適用したカメラモジュールのブロック図。 シェーディング補正部によるシェーディング補正の手法について説明する図。 シェーディング補正のための補正量の誤差とゲインとの関係を表した図。 シェーディング補正部の詳細を示すブロック図。 画像における部分的な色付きの発生について説明する図。 第２の実施形態の画像処理装置に適用されるシェーディング補正部のブロック図。 シェーディング補正の基準位置とゲインとの関係を表した図。 第３の実施形態の画像処理装置に適用されるシェーディング補正部のブロック図。

以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態の画像処理装置を適用したカメラモジュールのブロック図である。カメラモジュールは、画像処理装置１、撮像レンズ２、センサ部３及びＡＤ変換部４を備える。撮像レンズ２は、被写体からの光を取り込み、センサ部３に被写体像を結像させる。

センサ部３は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する。センサ部３は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の信号値をベイヤー配列に対応する順序で取り込み、アナログ信号を生成する。ＡＤ変換部４は、センサ部３からのアナログ信号をデジタル信号に変換する（ＡＤ変換）。

画像処理装置１は、ＡＤ変換部４からのデジタル画像信号に対して、以下に説明する種々の画像処理を施す。
ラインメモリ１０は、ＡＤ変換部４からのデジタル画像信号を一時的に貯える。キズ補正部１１及びノイズキャンセル部１２は、ラインメモリ１０を共用する。キズ補正部１１は、センサ部３において正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を補正するためのキズ補正を、ラインメモリ１０からのデジタル画像信号に対して実施する。ノイズキャンセル部１２は、ノイズを低減させるためのノイズキャンセル処理を実施する。

デジタルアンプ（ＡＭＰ）係数回路１４は、後述するＡＷＢ／ＡＥ演算部１８で算出された係数と、シェーディング補正部１３で算出された補正量とを基にしてデジタルＡＭＰ係数を算出し、キズ補正部１１及びノイズキャンセル部１２での処理を経たデジタル画像信号にデジタルＡＭＰ係数を乗算する。

ラインメモリ１５は、デジタルＡＭＰ係数回路１４からのデジタル画像信号を一時的に貯える。画素補間部１６は、ラインメモリ１５からベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、補間処理（デモザイク処理）を実施し、不足色成分の信号レベルを生成する。カラーマトリクス部１７は、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実施する。

ガンマ補正部２０は、画像の階調を補正するためのガンマ補正を実施する。ＹＵＶ変換部２１は、Ｒ、Ｇ、Ｂの感度信号から輝度（Ｙ）信号及び色差（ＵＶ）信号を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。ラインメモリ２２は、ＹＵＶ変換部２１からのＹ信号及びＵＶ信号を一時的に貯える。輪郭強調部２３は、センサ部３による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、ラインメモリ２２からのＹ信号を対象とする輪郭強調処理を実施する。

ＡＷＢ／ＡＥ演算部１８は、自動ホワイトバランス（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ；ＡＷＢ）調整、自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ；ＡＥ）調整のための各係数を算出する。シェーディング補正部１３は、被写体像をシェーディング補正するための補正量を算出する。

図２は、シェーディング補正部によるシェーディング補正の手法について説明する図である。シェーディング補正部１３は、二次関数を使用してシェーディング補正を実施する。ここでは、シェーディング補正部１３により補正量を算出するための計算式を、１＋Ａｘ^２＋Ｂｙ^２とする。この式は、放物線の回転により得られる放物面を表している。ｘは水平（Ｈ）方向の位置、ｙは垂直（Ｖ）方向の位置をそれぞれ表すものとする。

シェーディング補正用パラメータであるパラメータＡ、Ｂは、ｘ軸及びｙ軸で分けられた象限ごとに設定されるものとする。パラメータＡ、Ｂは、例えば、第１象限では（Ａ，Ｂ）＝（ｄ，ｂ）、第２象限では（Ａ，Ｂ）＝（ａ，ｂ）、第３象限では（Ａ，Ｂ）＝（ａ，ｃ）、第４象限では（Ａ，Ｂ）＝（ｄ，ｃ）と設定されている。

図３は、シェーディング補正のための補正量の誤差とゲインとの関係を表した図である。ここでは、計算によって求められた補正量を実線の曲線、レンズ系の光学特性を破線の曲線でそれぞれ表している。図２を参照して説明する計算式による補正量とレンズ系の光学特性との乖離量は、ゲインの倍率を上げるとともに倍増することとなる。輝度によらず一定のパラメータを使用するシェーディング補正の場合、例えば図３（ａ）に示す通常の照度環境下を標準とすると、例えば図３（ｂ）に示すように低照度環境下においてゲインを高くする場合に、ゲインに応じて調整誤差の増大を招くこととなる。低照度に照準を置いたシェーディング補正とする場合は、量子化誤差等が補正に影響することで、照準より明るい環境下にて調整誤差が増大することとなる。

図４は、シェーディング補正部の詳細を示すブロック図である。シェーディング補正部１３には、Ｖ同期信号、Ｈ同期信号、ＡＥ情報が入力される。ＡＥ情報は、被写体像の撮像のための露出情報であって、ＡＷＢ／ＡＥ演算部１８で算出される。輝度情報判定部３１は、ＡＥ情報から被写体像の輝度情報を判定する。

シェーディング補正部１３は、象限ごとのシェーディング補正用パラメータの設定値を保持する。例えば、パラメータａについては、３段階の輝度レベル１、２、３に対応して、設定値ａ１、ａ２、ａ３が設定されている。パラメータｂについては、３段階の輝度レベル１、２、３に対応して、設定値ｂ１、ｂ２、ｂ３が設定されている。パラメータｃについては、３段階の輝度レベル１、２、３に対応して、設定値ｃ１、ｃ２、ｃ３が設定されている。パラメータｄについては、３段階の輝度レベル１、２、３に対応して、設定値ｄ１、ｄ２、ｄ３が設定されている。なお、各パラメータの設定値は３段階の輝度レベルに対応して設定されたものである場合に限られず、複数の輝度レベルに対応して設定されたものであれば良いものとする。

シェーディング補正部１３は、Ｈ同期信号を基にして、Ｈ方向についての象限を識別する。Ｈ同期信号が入力される３つのセレクタは、Ｈ同期信号に応じて、パラメータａについての設定値（ａ１、ａ２、ａ３）と、パラメータｄについての設定値（ｄ１、ｄ２、ｄ３）とのいずれかを選択する。線形補間部３２は、輝度情報判定部３１からの輝度情報に応じて、セレクタからの出力を適宜選択して線形補間処理を実施する。

例えば、３つのセレクタにてパラメータａについての設定値が選択された場合において、輝度情報判定部３１で判定された輝度レベルＹ’が輝度レベル１及び２の間であったとする。輝度レベルＹ’を０〜２５６の数値で正規化した場合、線形補間式は、輝度レベル１に対応する設定値ａ１と輝度レベル２に対応する設定値ａ２とを用いて、｛（２５６−Ｙ’）×ａ１＋Ｙ’×ａ２｝／２５６と求められる。線形補間部３２で算出された値Ａは、ｘ^２の係数とされる。

シェーディング補正部１３は、Ｖ同期信号を基にして、Ｖ方向についての象限を識別する。Ｖ同期信号が入力される３つのセレクタは、Ｖ同期信号に応じて、パラメータｂについての設定値（ｂ１、ｂ２、ｂ３）と、パラメータｃについての設定値（ｃ１、ｃ２、ｃ３）とのいずれかを選択する。線形補間部３３は、輝度情報判定部３１からの輝度情報に応じて、セレクタからの出力を適宜選択して、線形補間部３２と同様にして線形補間処理を実施する。線形補間部３３で算出された値Ｂは、ｙ^２の係数とされる。

このように、シェーディング補正部１３は、予め保持する設定値を輝度情報に応じて補間処理することによってシェーディング補正用パラメータを算出する。シェーディング補正部１３は、Ａｘ^２及びＢｙ^２の加算を経て補正量を算出する。シェーディング補正部１３で算出された補正量は、ＲＡＷ画像の信号レベルに乗算される。その乗算値は、ＲＡＷ画像の信号レベルに加算される。以上により、シェーディング補正部１３は、ＡＥ情報に応じて算出されたシェーディング補正用パラメータを用いてシェーディング補正を実施する。

画像処理装置１は、ＡＥ情報に応じたシェーディング補正により、輝度によって異なるシェーディング特性の影響を低減させ、ゲインの高低に関わらず調整誤差の増大を抑制する。これにより、ゲインの変動による調整誤差が低減されたシェーディング補正によって、高い品質の画像を得ることができる。

ここで、第１の実施形態の変形例として、シェーディング補正部１３は、被写体像の色温度情報を判定し、色温度情報に応じてシェーディング補正用パラメータを調整することとしても良い。この場合、シェーディング補正部１３は、複数の色温度レベルに応じて設定された設定値を予め保持し、色温度情報に応じて設定値を補間処理することによってシェーディング補正量を算出することとしてもよい。

図５は、画像における部分的な色付きの発生について説明する図である。部分的な色付きは、Ｒ光、Ｇ光、Ｂ光でレンズ系の光学特性が異なることから生じる。センサ面におけるレンズ系の結像特性は、光の波長によって変化することとなる。所定の色温度を想定した色付き補正を実施する場合に、色温度の変動による光学特性の部分的なずれが、調整誤差となって生じることがある。

画像処理装置１は、ＡＥ情報に応じた色付き補正により、色温度によって異なる光学特性の影響を低減させ、色温度の高低に関わらず調整誤差の増大を抑制する。これにより、色温度の変動による調整誤差が低減された色付き補正によって、高い品質の画像を得ることができる。

（第２の実施形態）
図６は、第２の実施形態の画像処理装置に適用されるシェーディング補正部のブロック図である。シェーディング補正部４０は、被写体像の撮像のための露出情報に応じて、二次元方向におけるシェーディング補正の基準とする中心位置（以下、適宜「基準位置」と称する）を調整する。第１の実施形態と重複する説明は適宜省略する。

図７は、シェーディング補正の基準位置とゲインとの関係を表した図である。図７（ａ）に示すように、補正量の曲線がある程度の曲率を持つような場合は、基準位置とする中心を比較的容易に把握することができる。一方、ゲインを変化させ、図７（ｂ）に示すように補正量の曲線の曲率を小さくするに従って、基準位置とする中心を把握することが困難となり、レンズ系の光学特性とのずれが生じ易くなる。

輝度情報判定部４１は、露出情報であるＡＥ情報から、被写体像の輝度情報を判定する。シェーディング補正部４０は、基準位置とするｘ座標及びｙ座標の設定値を保持する。例えば、ｘ座標については、３段階の輝度レベル１、２、３に対応して、設定値ｘ１、ｘ２、ｘ３が設定されている。ｙ座標については、３段階の輝度レベル１、２、３に対応して、設定値ｙ１、ｙ２、ｙ３が設定されている。なお、各座標の設定値は３段階の輝度レベルに対応して設定されたものである場合に限られず、複数の輝度レベルに対応して設定されたものであれば良いものとする。

線形補間部４２は、輝度情報判定部４１からの輝度情報に応じて、設定値ｙ１、ｙ２、ｙ３を適宜選択して線形補間処理を実施する。線形補間部４２は、補間処理により、輝度情報に応じた基準位置のｙ座標を算出する。線形補間部４３は、輝度情報判定部４１からの輝度情報に応じて、設定値ｘ１、ｘ２、ｘ３を適宜選択して線形補間処理を実施する。線形補間部４３は、補間処理により、輝度情報に応じた基準位置のｘ座標を算出する。

カウンタ調整部４４は、Ｖ方向における有効画素数の中心値と、線形補間部４２で算出されたｙ座標とが一致するように、Ｖ同期信号を調整する。カウンタ調整部４５は、Ｈ方向における有効画素数の中心値と、線形補間部４３で算出されたｘ座標とが一致するように、Ｈ同期信号を調整する。

パラメータ設定部４６は、カウンタ調整部４５で調整されたＨ同期信号を基にして、Ｈ方向についての象限を識別する。パラメータ設定部４６は、識別した象限に応じて、パラメータａとパラメータｄとのいずれかを選択する。パラメータ設定部４６で設定されたパラメータは、値Ａとして出力され、ｘ^２の係数とされる。

パラメータ設定部４７は、カウンタ調整部４４で調整されたＶ同期信号を基にして、Ｖ方向についての象限を識別する。パラメータ設定部４７は、識別した象限に応じて、パラメータｂとパラメータｃとのいずれかを選択する。パラメータ設定部４７で設定されたパラメータは、値Ｂとして出力され、ｙ^２の係数とされる。

このように、シェーディング補正部４０は、予め保持する設定値を輝度情報に応じて補間処理することによって基準位置を決定する。シェーディング補正部４０は、Ａｘ^２及びＢｙ^２の加算を経て補正量を算出する。シェーディング補正部４０で算出された補正量は、ＲＡＷ画像の信号レベルに乗算される。その乗算値は、ＲＡＷ画像の信号レベルに加算される。以上により、シェーディング補正部４０は、ＡＥ情報に応じて基準位置を調整し、シェーディング補正を実施する。

画像処理装置１は、ＡＥ情報に応じた基準位置の調整により、ゲインの高低に関わらず調整誤差を抑制する。これにより、ゲインの変動による調整誤差が低減されたシェーディング補正によって、高い品質の画像を得ることができる。シェーディング補正部４０は、複数の色温度レベルに応じて設定された設定値を予め保持し、色温度情報に応じて設定値を補間処理することによって基準位置を決定することとしてもよい。

（第３の実施形態）
図８は、第３の実施形態の画像処理装置に適用されるシェーディング補正部のブロック図である。本実施形態のシェーディング補正部５０は、第１の実施形態のシェーディング補正部１３の構成要素と、第２の実施形態のシェーディング補正部４０の構成要素とを併せ持つ。上記の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。

シェーディング補正部５０は、基準位置とするｘ座標及びｙ座標の設定値、象限ごとのシェーディング補正用パラメータの設定値を保持する。輝度情報判定部５１は、露出情報であるＡＥ情報から、被写体像の輝度情報を判定する。線形補間部４２は、輝度情報判定部５１からの輝度情報に応じた補間処理により、基準位置のｙ座標を算出する。線形補間部４３は、輝度情報判定部５１からの輝度情報に応じた補間処理により、基準位置のｘ座標を算出する。

カウンタ調整部４５での調整を経たＨ同期信号が入力される３つのセレクタは、カウンタ調整部４５からのＨ同期信号に応じてＨ方向についての象限を識別し、パラメータａについての設定値（ａ１、ａ２、ａ３）と、パラメータｄについての設定値（ｄ１、ｄ２、ｄ３）とのいずれかを選択する。線形補間部３２は、輝度情報判定部５１からの輝度情報に応じて、セレクタからの出力を適宜選択して線形補間処理を実施する。

カウンタ調整部４４での調整を経たＶ同期信号が入力される３つのセレクタは、カウンタ調整部４４からのＶ同期信号に応じてＶ方向についての象限を識別し、パラメータｂについての設定値（ｂ１、ｂ２、ｂ３）と、パラメータｃについての設定値（ｃ１、ｃ２、ｃ３）とのいずれかを選択する。線形補間部３３は、輝度情報判定部５１からの輝度情報に応じて、セレクタからの出力を適宜選択して線形補間処理を実施する。

画像処理装置１は、ＡＥ情報に応じたシェーディング補正、基準位置の調整により、輝度によって異なるシェーディング特性の影響を低減させ、ゲインの高低に関わらず調整誤差の増大を抑制する。これにより、ゲインの変動による調整誤差が低減されたシェーディング補正によって、高い品質の画像を得ることができる。

シェーディング補正部５０は、被写体像の色温度情報を判定し、色温度情報に応じてシェーディング補正用パラメータを調整することとしても良い。画像処理装置１は、ＡＥ情報に応じた色付き補正により、色温度によって異なる光学特性の影響を低減させ、色温度の高低に関わらず調整誤差の増大を抑制する。これにより、色温度の変動による調整誤差が低減された色付き補正によって、高い品質の画像を得ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 画像処理装置、１３、４０、５０ シェーディング補正部、３１、４１、５１ 輝度情報判定部。

Claims (4)

1. 被写体像のシェーディング補正のための補正量を算出するシェーディング補正部と、
   自動ホワイトバランス調整のための係数と、自動露出調整のための係数とを算出する自動ホワイトバランス／自動露出演算部と、
   前記自動ホワイトバランス／自動露出演算部で算出された前記係数と、前記シェーディング補正部で算出された前記補正量とを基にしてデジタルアンプ係数を算出し、前記被写体像の撮像により得られた画像信号に前記デジタルアンプ係数を乗算するデジタルアンプ係数回路と、を有し、
   前記シェーディング補正部は、二次元方向において前記シェーディング補正の基準とする中心位置を、前記自動露出調整のための前記係数である露出情報に応じて調整することを特徴とする画像処理装置。
2. 前記シェーディング補正部は、前記露出情報から前記被写体像の輝度情報を判定する輝度情報判定部を有し、前記輝度情報に応じて前記中心位置の座標を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記シェーディング補正部は、予め保持する設定値を前記輝度情報に応じて補間処理することによって前記中心位置の座標を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記シェーディング補正部は、前記被写体像の色温度情報を判定し、前記色温度情報に応じて前記中心位置を調整することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。

Images