WO2006054607A1

WO2006054607A1 - 映像処理装置

Info

Publication number: WO2006054607A1
Application number: PCT/JP2005/021050
Authority: WO
Inventors: Hirokazu Muramatsu; Keiji Toyoda; Kenji Tamura
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-11-16
Filing date: 2005-11-16
Publication date: 2006-05-26
Also published as: JP2006148213A; US20090147110A1

Abstract

　周辺光量落ちシェーディングとダークシェーディングとを独立に補正することができ、より少ないブロックから各ブロックの補正値を精度良く補間することができる映像信号処理装置を提供すること。　被写体を撮像する撮像素子２と、撮像素子２から生成された画像を構成する複数のブロックと対応した補正値を記憶するブロック補正値記憶部５ｃと、画像に含まれる対象画素の周辺に存在するブロックと対応した補正値を補間して補正ゲインを算出する補正ゲイン補間部５ｄと、補正ゲイン補間部５ｄによって算出された補正ゲインに基づいて画像に対するダークシェーディングの補正を行うダークシェーディング補正部５ｅと、補正ゲイン補間部５ｄによって算出された補正ゲインに基づいて画像に対する周辺光量落ちシェーディングの補正を行う周辺光量落ちシェーディング補正部５ｆとを備えて構成する。

Description

明細書

映像処理装置

技術分野

[0001] 本発明は、映像信号に対してシヱーデイング補正を行う映像処理装置に関する。

背景技術

[0002] 従来の映像信号処理装置におけるシヱーデイング補正に関する技術としては、図 1 4および図 15に示すように被写体を撮像する撮像素子によって撮像された画像をブロック Bkに分割し、分割されたブロック Bk毎に 1つずつ設定された光量補正データ P cを補正値テーブル部 21 lgから読み出すとともに、補正値生成部 21 lhが各対象画素の位置に応じて光量補正データ Pcを重み付け演算して対象画素毎の補正値を生成し、周辺光量落ち補正部 21 leが、生成された補正値に基づいて各画素毎に周辺光量落ち補正するものが知られている（例えば、特許文献 1参照。 ) o

[0003] また、従来の映像信号処理装置は、ブロック Bk毎の光量補正データ Pcから各画素の補正ゲインを算出するが、この補正ゲインの算出方法として、図 16に示すように対象画素 Pxの属するブロック Bkと、当該対象画素 Pxの近傍で横方向、縦方向及び斜め方向に隣接する 3つのブロック Bkとの 4つのブロック F1〜F4の基準光量補正データ Pc 1〜Pc4を距離で重み付けをする 4点線形補間法を用、る。

特許文献 1：特開 2001— 275029号公報 (第 11— 14頁、第 5 · 9 · 10図）

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、上述の従来の映像信号処理装置は、周辺光量落ちシェーディングに対する補正のみを対象としているが、撮像素子からの映像信号には、周辺光量落ちシェーディングに加えて撮像素子の特性により生じる光量に依存しないダークシエーデイングが存在するため、ダークシェーディングに対する補正を行ってヽなヽと、う問題がある。

[0005] また、上述の従来の映像信号処理装置が使用する 4点線形補間法は、画像処理における補間方法の中では一般的に補間の精度が悪ぐ従来の映像信号処理装置を実用化する際には、一画面のブロックを細力べ分割して補間によるブロック境界を目立たなくして、るが、ブロック数とブロックに対応する補正値とを記憶するメモリ量を多くする必要があり、少ない記憶データ量力も補正ができるというブロック分割によるシエーデイング補正の利点が損なわれる問題がある。

[0006] 本発明は、従来の問題を解決するためになされたもので、周辺光量落ちシエーディングとダークシェーディングとを独立に補正することができる映像信号処理装置を提供することを目的とする。また、より少ないブロック力も各ブロックの補正値を精度良く補間し、補間した値力各画素に対する補正ゲインを算出する 2段階の補間を行うことができ、複数のシェーディングの補正を行うことによる回路の規模を抑えながら、複数のシェーディング補正を共用することができる映像信号処理装置を提供することも目的とする。

課題を解決するための手段

[0007] 本発明の映像信号処理装置は、被写体を撮像する撮像素子と、前記撮像素子から生成された画像を構成する複数のブロックと対応した補正値を記憶するブロック補正値記憶部と、前記画像に含まれる対象画素の周辺に存在する前記ブロックと対応した補正値を補間して補正ゲインを算出する補正ゲイン補間部と、前記補正ゲイン補間部によって算出された補正ゲインに基づいて前記画像に対するダークシエーディングの補正を行うダークシェーディング補正部と、前記補正ゲイン補間部によって算出された補正ゲインに基づいて前記画像に対する周辺光量落ちシェーディングの補正を行う周辺光量落ちシェーディング補正部とを備えた構成を有している。

[0008] この構成により、 1ブロック毎に記憶する補正値力各画素の補正ゲインを補間して算出するため、記憶する補正値のデータ量を削減でき、また、周辺光量落ちシエーデイングとダークシェーディングの補正部を独立に持っため、 2種類のシェーディングを独立に補正することができる。

[0009] 本発明の映像信号処理装置の前記補正ゲイン補間部は、前記対象画素を含む隣り合う 4つの前記ブロックと対応する補正値に基づいて 4点線形補間を行って補正ゲインを算出する第 1の補正ゲイン算出機能と、前記第 1の補正ゲイン算出部が算出した補正ゲインとなる補間値に基づいて再補間を行い補正ゲインを算出する第 2の補正ゲイン算出機能の 2つの補正ゲイン算出機能を備えた構成を有している。

[0010] この構成により、 4点線形補間を行って補間値を算出し、算出した補間値に基づいて補正ゲインを算出する 2段階の補間を行うため、従来用いられている 4点線形補間だけによる補正値の補間に比べ補間の精度が向上し、ブロック境界を目立たなくすることができることにより、従来に比べブロック数を削減し記憶データ量を少なくすることができる。

[0011] 本発明の映像信号処理装置の前記ブロック補正値記憶部は、前記ダークシエーデイングおよび前記周辺光量落ちシェーディングの各補正と対応した補正値を前記ブロック毎に記憶する構成を有して、る。

[0012] この構成により、ダークシェーディングおよび周辺光量落ちシェーディングの各補正と対応した補正値を前記ブロック毎に記憶するため、各種のシェーディングの特性に応じて、各シェーディング毎に異なる補正値を独立して記憶できる。

[0013] 本発明の映像信号処理装置の前記補正ゲイン補間部は、前記ブロック補正値記憶部が記憶した前記各補正と対応した補正値に基づいて前記各補正と対応した補正ゲインを算出する構成を有している。

[0014] この構成により、各シェーディングの補正と対応した補正値に基づいて各補正と対応した補正ゲインを算出するため、それぞれのシェーディング補正値の補間に個別の補正ゲイン補間部を設けることなぐそれぞれのシェーディングと独立して補正ゲインを補間でき、それぞれのシェーディングの補正を 1つの回路で共用して実現できることから、複数のシェーディング補正に対応することに伴う回路規模の増加を抑えることがでさる。

[0015] 本発明の映像信号処理装置の前記撮像素子は、画素毎に異なる色フィルタを有し

、前記色フィルタが規則性をもった順番で配置されて、る構成を有して、る。

[0016] この構成により、前記撮像素子からは、画像毎に異なる色フィルタを通った信号が規則性をもった順番で順次に出力されるため、それぞれが互いに異なるタイミングで出力された画素の特性に応じた補正ができる。

[0017] 本発明の映像信号処理装置の前記ブロック補正値記憶部は、前記色フィルタと対応した補正値を前記ブロック毎に記憶する構成を有して、る。 [0018] この構成により、色フィルタと対応した補正値を前記ブロック毎に記憶するため、各色フィルタのシェーディング特性に応じて、各色フィルタ毎に異なる補正値を独立して記憶できる。

[0019] 本発明の映像信号処理装置の前記補正ゲイン補間部は、前記ブロック補正値記憶部が記憶した前記色フィルタと対応した補正値に基づいて補正ゲインを算出する構成を有している。

[0020] この構成により、色フィルタと対応した補正値に基づいて補正ゲインを算出するため、色フィルタと対応した補正値の補間に個別の補正ゲイン補間部を設けることなぐそれぞれの色フィルタと対応した補正ゲインを独立して補間できる。

[0021] 本発明の映像信号処理装置の前記ダークシェーディング補正部および前記周辺光量落ちシェーディング補正部は、前記補正ゲイン補間部によって算出された前記色フィルタに対応した補正ゲインに基づいて色シェーディングを補正する構成を有している。

[0022] この構成により、色フィルタで独立した補正ゲインを用いて対応する画素のシエーデイング補正ができるため、色シェーディングの補正ができる。

[0023] 本発明の映像信号処理装置の前記ブロック補正値記憶部は、前記補正値を受信し、記憶して、る補正値から受信された補正値に書き換える通信手段を有する構成を有している。

[0024] この構成により、補正値を受信し、記憶している補正値力受信された補正値に書き換えるため、補正できるシェーディング特性が一意に決定されず、シェーディング特性に応じて、最も適切な補正値を各ブロック毎に記憶して補正を行うことができる。

[0025] 本発明の映像信号処理装置の前記補正ゲイン補間部は、前記撮像素子が生成する画像のサイズに応じて前記ブロックのサイズを調整し、調整したサイズに応じて前記補正ゲインを算出する構成を有している。

[0026] この構成により、画像のサイズに応じてブロックのサイズを調整するため、一画面の大きさによらず補正を行うことができ、また、一画面の大きさの変更により記憶する補正値を更新することなく補正を行うことができる。

[0027] 本発明の映像信号処理装置の前記補正ゲイン補間部は、任意に設定した領域に応じて補間方法を切替えて前記補正ゲインを算出する構成を有している。

[0028] この構成により、一画面中の各領域において複数の補間方法の中から対象の領域に適した補間をした補間ゲインを算出することができる。

[0029] 本発明の映像信号処理装置の前記ブロック補正値記憶部は、ブロック補正値を記憶して!/、な、ブロックに対し、前記ブロックの周辺に存在するブロックと対応した補正値に基づ、て、記憶して、な、ブロックのブロック補正値を算出する構成を有して!/ヽる。

[0030] この構成により、ブロック補正値記憶部が記憶する補正値の数を減らすことによるデータ量の削減や、ブロック補正値記憶部が記憶する補正値を書き換えるときにデータ転送量を削減することができる。

[0031] 本発明の映像信号処理装置の前記補正ゲイン補間部は、前記撮像素子が画素の間弓 Iきを行って画像を生成するのに応じて、前記ブロックと対応した補正値を補間して補正ゲインを算出する構成を有している。

[0032] この構成により、前記撮像素子が画素の間引きを行っているときのブロックと対応した補正値を補間して補正ゲインを算出するため、前記撮像素子の前記間引きの有無に依らず同一の補正値を用いることでデータ量の削減ができる。

[0033] 本発明の映像信号処理装置の前記補正ゲイン補間部は、前記撮像素子の光軸ずれに対して、補間するための各画素の水平垂直位置を調整し、調整した水平垂直位置に基づいて前記ブロック補正値記憶装置が記憶した補正値を補間する構成を有している。

[0034] この構成により、撮像素子の光軸ずれに対して、撮像素子固有のブロック補正値を記憶する必要がなくなり、水平垂直位置だけを調整することで光軸ずれに対応することがでさる。

発明の効果

[0035] 本発明は、周辺光量落ちシェーディングとダークシェーディングとを含む複数のシエーデイング補正を独立に行うことができ、また、より少ないブロック力も各ブロックの補正値を精度良く補間し、補間した値力各画素に対する補正ゲインを算出する 2段階の補間を行うことができ、複数のシェーディングの補正を行うことによる回路の規模を抑えながら、複数のシェーディング補正を共用することができる映像信号処理装置を提供するものである。

図面の簡単な説明

[図 1]本発明の実施の形態に係る映像信号処理装置の装置構成図

[図 2]撮像素子が規則性をもった順番で順次に信号を出力する様子の一例を示す図 [図 3]本発明の実施の形態における画像をブロックに分割した状態の一例について説明するための図

[図 4]本発明の実施の形態における補間に用いるためのブロックに対応する補正値を選択する処理を示した図

[図 5]本発明の実施の形態におけるブロック補正値を用いた第 1段階の補間について説明するための図

[図 6]本発明の実施の形態における第 1段階の補間において 4点線形補間によって補間できな!、画像の端部周辺の領域の存在を示す図

[図 7]本発明の実施の形態における第 1段階の補間における画像の端部周辺の領域の補間処理について説明するための図

[図 8]—般的な 4点線形の補間の方法について説明するための図

[図 9]本発明の実施の形態における差分値を用いた 4点線形補間法について説明するための図

[図 10]本発明の実施の形態における第 2段階の補間方法について説明するための図

[図 11]本発明の実施の形態における第 2段階の補間ができない画像の端部周辺の領域の存在を示す図

[図 12]本発明の実施の形態における補正ゲインを用いたシェーディング補正に係る構成図

[図 13]光軸ずれについて説明するための図

[図 14]従来の映像信号処理装置のブロック図

[図 15]従来の映像信号処理装置の画像を複数のブロックに分割した状態の説明図 [図 16]従来の映像信号処理装置のブロック補正値補間方法の説明図符号の説明

[0037] 1 レンズ

2 撮像素子

3 アナログ前処理部

4 AZD変

5 シェーディング補正回路

5a HVカウンタ

5b 色フィルタ選択部

5c ブロック補正値記憶部

5d 補正ゲイン補間部

5e ダークシェーディング補正部

5f 周辺光量落ちシェーディング補正部

6 WB回路

7 γ補正回路

8 YZC処理回路

50 ダークシェーディング用ブロック補正値

51 周辺光量落ちシェーディング用ブロック補正値

211e 周辺光量落ち補正部

211g 補正値テーブル部

211h 補正値生成部

500 加算 Z減算器

501 乗算器

502 ビットシフト器

503 加算器

発明を実施するための最良の形態

[0038] 以下、本発明の実施の形態に係る映像信号処理装置について、図面を用いて説明する。

[0039] 本発明の実施の形態に係る映像信号処理装置の装置構成図を図 1に示す。図 1に示した映像信号処理装置は、光を集光してフォーカス調整を行、被写体を結像するためのレンズ 1と、レンズ 1から集光された光を電気信号に変換する撮像素子 2と、撮像素子 2によって変換された電気信号に対してノイズ除去およびゲイン調整を行うァナログ前処理部 3と、アナログ前処理部 3によって処理された信号をデジタル信号に変換する AZD変換器 4と、 AZD変換器 4によって変換されたデジタル信号に対してシェーディング補正を行うシェーディング補正回路 5と、シェーディング補正回路 5 によって補正された信号に対してホワイトバランス制御を行う WB回路 6と、 WB回路 6 によってホワイトバランス制御された信号に対してガンマ補正を行う γ補正回路 7と、 γ補正回路 7によってガンマ補正された信号に対して輝度信号処理と色差信号処理を行う YZC処理回路 8とによって構成される。

[0040] なお、撮像素子 2は、画素毎に異なる色フィルタを有する。ここで、撮像素子 2が規則性をもった順番で順次に信号を出力する様子の一例を図 2を参照して説明する。図 2 (A)は、撮像素子 2の色フィルタの配列を示したものであり、 Rは Red、 Gは Gree n、 Bは Blueの色フィルタが配置されたものである。このような色フィルタ配列を持つ全画素読出し方式の撮像素子の場合、撮像素子 2から出力される信号は、図 2 (B) に示すように、緑 (G)、青 (B)、緑 (G)、青 (B)の順で繰り返して読み出すラインと、赤 (R)、緑 (G)、赤 (R)、緑 (G)の順で繰り返して読み出すラインとが交互に出力される。

[0041] また、撮像素子 2は、画像力も全ての画素の信号を読み出すようにしてもよいが、全ての画素の信号を読み出さなくてもよい。撮像素子 2が画素の間引きを行って画像を生成する間引き駆動モードで駆動しているときには、例えば、図 2 (C)に示すように、撮像素子 2が、数ラインおきにラインを読み出すなどして画素の間引きを行う。

[0042] また、図 1に示したように、シェーディング補正回路 5は、デジタル信号で表される画像を構成する画素のうち補正の対象となる対象画素の座標位置を表す HVカウンタ 5 aと、対象画素がどの色フィルタに該当するかを選択する色フィルタ選択部 5bと、画像を構成する複数のブロックと対応した補正値を記憶するブロック補正値記憶部 5cと、画像に含まれる対象画素の周辺に存在するブロックと対応した補正値を補間して補正ゲインを算出する補正ゲイン補間部 5dと、補正ゲイン補間部 5dによって算出された補正ゲインに基づいて画像に対するダークシェーディングの補正を行うダークシエーデイング補正部 5eと、補正ゲイン補間部 5dによって算出された補正ゲインに基づいて画像に対する周辺光量落ちシェーディングの補正を行う周辺光量落ちシエーデイング補正部 5fとによって構成される。

[0043] 以上のように構成された映像信号処理装置について、その動作を図面を参照して説明する。図 3は、本発明の実施の形態における画像をブロックに分割した状態の一例について説明するための図である。

[0044] まず、図 3に示すように、 1画面に表示される画像を水平方向に 8ブロック、垂直方向に 6ブロック、合計 48個のブロックに分割している。ブロック補正値記憶部 5cは、分割したブロックの 1つずつに補正値を記憶している。例えば、 1つのブロック当たりダ一クシエーデイングと周辺光量落ちシェーディングとの 2種類のシェーディングについて各色フィルタ毎に補正値を 1つずつ必要とし、色フィルタの種類を R、 Gr、 B、 Gbの 4種類とすれば、ブロック補正値記憶部 5cは、合計で 48 X 4 X 2 = 384個の補正値を記憶することになる。図 3に示した例では、各ブロック Bijの中央を補正の基準点 Cij とし、ブロック補正値記憶部 5cが記憶する補正値 Cijは、予め実測に基づいて決められた値である。

[0045] なお、ブロック補正値記憶部 5cは、撮像条件の違いによりシェーディング特性が変ィ匕した場合、利用者が入力した補正値を受信し、記憶している補正値力も受信された補正値に書き換える通信手段（図示していない）を有するため、補正値は、一意に固定されずシェーディング特性に応じて任意にブロック補正値記憶部 5cに記憶させることができる。また、撮像素子 2が間引き駆動モードで駆動しているときには、補正ゲイン補間部 5dが間引き駆動に合わせて補正値の補間を行い補正ゲインを求めるため、ブロック補正値記憶部 5cは、撮像素子 2の間引き駆動に合わせた補正値を記憶する必要はない。

[0046] 図 4は、本発明の実施の形態における補間に用いるためのブロックに対応する補正値を選択する処理を示した図である。上述したように、ブロック補正値記憶部 5cは、ダークシェーディング用ブロック補正値 50と周辺光量落ちシェーディング用ブロック補正値 51に対応させて各色フィルタ毎に 48個ずつの補正値を記憶して、る。 HV力ゥンタ 5aは、 AZD変 4によって順次出力される画素データをカウントすることにより、現在処理している対象画素の位置を保持し、色フィルタ選択部 5bは、 AZD変 4によって出力される現時点の画素データに対応する色フィルタ力少なくとも 1 つの種類を選択する。

[0047] ブロック補正値記憶部 5cは、 HVカウンタ 5aが保持している対象画素の周辺に存在する 4つのブロックを決定し、決定した 4つのブロックと対応した補正値を 384個の補正値の中力選択し、選択した補正値の中力ダークシェーディング用ブロック補正値 50または周辺光量落ちシェーディング用ブロック補正値 51のうち何れかと対応する補正値をさらに選択し、選択した何れかと対応する補正値の中から色フィルタ選択部 5bが選択した色フィルタと対応する補正値をさらに選択する。なお、ダークシェーデイング用ブロック補正値 50または周辺光量落ちシェーディング用ブロック補正値 51のうち何れかと対応する補正値は、異なるタイミングで選択され切替えられる。ここで、ブロック補正値記憶部 5cが選択した補正値を、 4つのブロックと対応したブロック補正値 A、 B、 C、 Dとし、ブロック補正値記憶部 5cは、選択したブロック補正値 A、 B、 C、 Dを補正ゲイン補間部 5dに出力する。

[0048] 次に、補正ゲイン補間部 5dは、ブロック補正値 A、 B、 C、 Dを用いて 2段階の補間を行う。図 5は、本発明の実施の形態におけるブロック補正値を用いた第 1段階の補間について説明するための図である。まず、第 1段階の補間としては、補正ゲイン補間部 5dは、補正値 A、 B、 C、 Dと対応するブロック、例えば、対象画素となる点 Hxy が属するブロック Bijと隣接する上下左右斜めのうち対象画素に距離が近い 3つのブロックとの合計 4ブロックを特定する。ここで、補正ゲイン補間部 5dは、ブロック Bij内の任意の点 Hxyにつ、て、特定した 4ブロックに対応する各補正値を 4点線形補間することにより補正ゲイン Hxyを算出する。

[0049] ところで、図 6に示すように、第 1段階の補間において 4点線形補間によって補間できない画像の端部周辺の領域が存在する。図 7は、第 1段階の補間における画像の端部周辺の領域の補間処理について説明するための図である。図 7に示したように、補正ゲイン補間部 5dは、画像の端部周辺の領域に対する補正ゲインの算出において 2点の線形補間を行って補正ゲイン Hxyを算出するカゝ、または、ブロック補正値をそのまま補正ゲイン Hxyとする。

[0050] 引き続き、一般的な 4点線形の補間の方法について図 8を参照して説明する。図 8 に示すように、 4つのブロック補正値 A、 B、 C、 Dと対応する画像内の点で囲まれた領域の一辺の長さを長さ Rangeとし、囲まれた四角形領域の中にある任意の点 H (p, q )を補正ゲインとなる補間値 Hとすれば、補間値 Hは（1)式で求まる。

[0051] [数 1]

P P

H

Range \ Range ) Range J ^ Range) Range J Range

( 1 )

[0052] しかし、（1)式で補間値 Hを求める方法を用いて、周辺光量落ちシェーディングとダ一クシエーデイングの両方の補正ゲインを同時に求めるには、補間値 Hを算出するための補間回路が、周辺光量落ちシェーディング用の補間回路およびダークシエーデイング用の補間回路の 2つ必要となる。

[0053] そこで、本発明の実施の形態では、差分値を用いた 4点線形補間法を行う。図 9は、差分値を用いた 4点線形補間法について説明するための図である。まず、補正ゲイン補間部 5dは、図 9に示すブロック補正値 A、 Cと対応する画像内の点を結ぶ線上にある任意の点 HO (0, q)の補間値 HOを（2)式で求める。

[0054] [数 2]

H₍₎ = A + -^ (C - A) · · · ( 2

Range

[0055] また、任意の点 Hp (p, q)の補間値と点 Hp + 1 (p + 1, q)の補間値との差分値を HS とすれば、補正ゲイン補間部 5dは、差分値 HSを（3)式で求める。

[0056] [数 3]

[0057] (3)式で求めた差分値 HSを用いて、補正ゲイン補間部 5dは、任意の点 Hp (p, q)の補間値 Hpを (4)式で求める。

[0058] 画

H_p = Y_j H_t__l + HS · · · ( 4 )

I

[0059] ここで、任意の点 Hpの補間値を求めるために必要な補間値 HOおよび差分値 HS は、ブロック補正値 A, B, C, Dに関わる領域において、各水平ラインで一度だけ算出すればょ、ため、周辺光量落ちシェーディングとダークシェーディングの両方の補正ゲインを求めるための数式となる（2)式および (3)式を計算する回路が共用できる。また、（2)式、（3)式、および (4)式で 4点線形補間を実現した場合、（1)式で実現した場合と比べ、乗算器、除算器が少なくできるため、回路規模の削減ができる。

[0060] 次に、補正ゲイン補間部 5dは、第 1段階の補間で求めた補間値 Hを用いて第 2段階の補間を行う。図 10は、第 2段階の補間方法について説明するための図である。図 10に示したように、補正ゲイン補間部 5dは、任意の点 (X, y)に対する補正ゲイン Gxyを算出するため、第 1段階の補間で求めた補間値 Hpの中から、任意の点 (X, y) の周囲の 16点の補間値を抽出する。なお、図 10に示した Rangeは 1ブロックの一辺の長さである。補正ゲイン補間部 5dは、抽出した 16点の補間値を平均した平均値を任意の点 (X, y)に対する補正ゲイン Gxyとして算出する。以上のように、補正ゲイン補間部 5dは、第 2段階の補間で補正ゲイン Gxyを各画素 (X, y)に対する補正ゲインとして決定する。

[0061] ところで、図 11に示すように、第 2段階の補間ができない画像の端部周辺の領域が存在する。補正ゲイン補間部 5dは、図 11に示したように、画像の端部周辺の領域に対する補正ゲインの算出において、第 1段階の補間で得られた補正ゲイン Hxyを補正ゲイン Gxyとして決定する。

[0062] なお、撮像素子 2が間引き駆動モードで駆動しているときには、補正ゲイン補間部 5 dは、ブロック補正値記憶部 5cが記憶して、る間弓 |き駆動に合わせた補正値を補間して画面に表示される画像に対する補正ゲインを算出する。また、補正ゲイン補間部 5dは、撮像素子 2が生成する画像のサイズに応じてブロックのサイズを調整し、調整したサイズに応じて補正ゲインを算出する。

[0063] 図 12は、補正ゲインを用いたシェーディング補正に係る構成図である。補正ゲイン補間部 5dによって算出されたダークシェーディング補正ゲインは、ダークシエーディング補正部 5eにおける補正処理に用いられ、補正ゲイン補間部 5dによって算出された周辺光量落ちシェーディング補正ゲインは、周辺光量落ちシェーディング補正部 5 fにおける補正処理に用いられる。なお、ダークシェーディング補正部 5eは、加算 Z 減算器 500を有し、周辺光量落ちシェーディング補正部 5fは、乗算器 501、ビットシフト器 502、および加算器 503を有している。

[0064] まず、加算 Z減算器 500は、補正ゲイン補間部 5dによって算出されたダークシエーデイング補正ゲインと、 AZD変 4によって出力された画素データとを加算または減算することにより、ダークシェーディングの補正を行う。

[0065] 次に、乗算器 501は、ダークシェーディング補正部 5eによって補正された画素データと、補正ゲイン補間部 5dによって算出された周辺光量落ちシェーディング補正ゲインとを乗算し、ビットシフト器 502は、乗算器 501によって乗算された画素データのビットシフトを行う。さらに、加算器 503は、ダークシェーディング補正部 5eによって補正された画素データと、ビットシフト器 502によってビットシフトされた画素データとをカロ算することにより、周辺光量落ちシェーディングの補正を行う。

[0066] ところで、本発明の実施の形態に係る映像信号処理装置においては、撮像素子 2 の光軸ずれが生ずることがある。ここでの光軸ずれとは、シェーディングの位置であり、レンズ 1の位置ずれによって、図 13に示すように、シェーディングの形自体は変わらずに位置だけがずれることがある。補正ゲイン補間部 5dは、このような光軸ずれに対して画素の水平垂直位置を調整した補正ゲインを算出することができる。例えば、補正ゲイン補間部 5dは、図 5に示したように、ブロック Bの位置を固定とし、補正値 Cを適用する範囲の実線で示したブロックの位置を調整することにより、水平垂直位置を調整する。これにより、画像全体のブロック位置が調整され、補正値を変えることなく光軸ずれに対応できる。

[0067] 以上説明したように、本発明の実施の形態に係る映像信号処理装置は、 1ブロック毎に記憶する補正値力各画素の補正ゲインを補間して算出するため、記憶する補正値のデータ量を削減でき、また、周辺光量落ちシェーディングとダークシエーディングの補正部を独立に持っため、 2種類のシェーディングを独立に補正することができる。

[0068] また、本発明の実施の形態に係る映像信号処理装置は、 4点線形補間を行って補間値を算出し、算出した補間値に基づいて補正ゲインを算出する 2段階の補間を行うため、従来用いられている 4点線形補間だけによる補正値の補間に比べ補間の精度が向上し、ブロック境界を目立たなくすることができることにより、従来に比べブロック数を削減し記憶データ量を少なくすることができる。

[0069] また、本発明の実施の形態に係る映像信号処理装置は、各シェーディングの補正と対応した補正値に基づいて各補正と対応した補正ゲインを算出するため、それぞれのシェーディング補正値の補間に個別の補正ゲイン補間部を設けることなく、それぞれのシェーディングが独立して補正ゲインを補間でき、それぞれのシェーディングの補正を 1つの回路で共用して実現できることから、複数のシェーディング補正に対応することに伴う回路の規模を抑えることができる。

[0070] なお、本発明の実施の形態では、 1画面に表示される画像を 48個のブロックに分割する例について説明した力本発明では、その他のブロック分割数についても同様に実施可能である。また、撮像素子 2を 4種類の色フィルタで構成する例について説明したが、本発明では、その他の色フィルタで構成された場合についても同様に実施可能である。

産業上の利用可能性

[0071] 以上のように、本発明に係る映像信号処理装置は、周辺光量落ちシェーディングとダークシェーディングとを独立に補正することができ、また、各画素に対する補正ゲインの算出に 2段階の補間を行うことで、より少ないブロック力各ブロックの補正値を精度良く補間して補正ゲインを求めることができ、複数のシェーディングの補正を行うことによる回路の規模を抑えながら、複数のシェーディング補正を共用することができることにより、映像信号に対してシェーディング補正を行う映像処理装置等として有用である。

Claims

請求の範囲

[1] 被写体を撮像する撮像素子と、

前記撮像素子から生成された画像を構成する複数のブロックと対応した補正値を記憶するブロック補正値記憶部と、

前記画像に含まれる対象画素の周辺に存在する前記ブロックと対応した補正値を補間して補正ゲインを算出する補正ゲイン補間部と、

前記補正ゲイン補間部によって算出された補正ゲインに基づいて前記画像に対するダークシェーディングの補正を行うダークシェーディング補正部と、

前記補正ゲイン補間部によって算出された補正ゲインに基づいて前記画像に対する周辺光量落ちシェーディングの補正を行う周辺光量落ちシェーディング補正部とを備えたことを特徴とする映像信号処理装置。

[2] 前記補正ゲイン補間部は、前記対象画素を含む隣り合う 4つの前記ブロックと対応する補正値に基づいて 4点線形補間を行って補正ゲインを算出する第 1の補正ゲイン算出機能と、前記第 1の補正ゲイン算出機能で算出した補正ゲインとなる補間値に基づいて再補間を行い補正ゲインを算出する第 2の補正ゲイン算出機能の 2つの補正ゲイン算出機能を有することを特徴とする請求項 1に記載の映像信号処理装置。

[3] 前記ブロック補正値記憶部は、前記ダークシェーディングおよび前記周辺光量落ちシェーディングの各補正と対応した補正値を前記ブロック毎に記憶することを特徴とする請求項 1に記載の映像信号処理装置。

[4] 前記補正ゲイン補間部は、前記ブロック補正値記憶部が記憶した前記各補正と対応した補正値に基づいて前記各補正と対応した補正ゲインを算出することを特徴とする請求項 1に記載の映像信号処理装置。

[5] 前記撮像素子は、画素毎に異なる色フィルタを有し、前記色フィルタが規則性をもつた順番で配置されて、ることを特徴とする請求項 1に記載の映像信号処理装置。

[6] 前記ブロック補正値記憶部は、前記色フィルタと対応した補正値を前記ブロック毎に記憶することを特徴とする請求項 5に記載の映像信号処理装置。

[7] 前記補正ゲイン補間部は、前記ブロック補正値記憶部が記憶した前記色フィルタと対応した補正値に基づいて補正ゲインを算出することを特徴とする請求項 6に記載の映像信号処理装置。

[8] 前記ダークシェーディング補正部および前記周辺光量落ちシェーディング補正部は、前記補正ゲイン補間部によって算出された前記色フィルタに対応した補正ゲインに基づ、て色シェーディングを補正することを特徴とする請求項 1に記載の映像信号処理装置。

[9] 前記ブロック補正値記憶部は、前記補正値を受信し、記憶して!/、る補正値から受信された補正値に書き換える通信手段を有することを特徴とする請求項 1に記載の映像信号処理装置。

[10] 前記補正ゲイン補間部は、前記撮像素子が生成する画像のサイズに応じて前記プロックのサイズを調整し、調整したサイズに応じて前記補正ゲインを算出することを特徴とする請求項 1に記載の映像信号処理装置。

[11] 前記補正ゲイン補間部は、任意に設定した領域に応じて補間方法を切替えて前記補正ゲインを算出することを特徴とする請求項 1に記載の映像信号処理装置。

[12] 前記ブロック補正値記憶部は、ブロック補正値を記憶して、な、ブロックに対し、前記ブロックの周辺に存在するブロックと対応した補正値に基づ、て、記憶して、なヽブロックのブロック補正値を算出することを特徴とする請求項 1に記載の映像信号処理装置。

[13] 前記補正ゲイン補間部は、前記撮像素子が画素の間引きを行って画像を生成するのに応じて、前記ブロックと対応した補正値を補間して補正ゲインを算出することを特徴とする請求項 1に記載の映像信号処理装置。

[14] 前記補正ゲイン補間部は、前記撮像素子の光軸ずれに対して、補間するための各画素の水平垂直位置を調整し、調整した水平垂直位置に基づ!ヽて前記ブロック補正値記憶装置が記憶した補正値を補間することを特徴とする請求項 1に記載の映像信号処理装置。