JP4703529B2

JP4703529B2 - シェーディング補正方法および撮像装置

Info

Publication number: JP4703529B2
Application number: JP2006262929A
Authority: JP
Inventors: 秀弥関
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2006-09-27
Filing date: 2006-09-27
Publication date: 2011-06-15
Anticipated expiration: 2026-09-27
Also published as: JP2008085623A

Description

本発明は、シェーディング補正方法および撮像装置に関する。

近年、複数の撮像素子にて被写体を撮像する撮像手段と、被写体からの光を前記撮像手段に結像させる撮像光学系と、を具備する、例えば、Ｘ線ＣＴや、複写機、ファクシミリ、スキャナ、さらにデジタルカメラや監視カメラ、車載カメラ等のカメラモジュールのような撮像装置が広く開発されている。

このような撮像装置では、撮像素子にて被写体からの光の強さを検知することによって画像を読み取っているが、レンズの周辺光量低下や撮像素子の感度ばらつきによって各撮像素子の受光量が実際の信号からずれてしまい、出力される画像に画像ムラができてしまうことが知られている。そこで、この画像ムラをなくすためにシェーディング補正が行なわれる。

例えば、特許文献１や特許文献２では、予め決められた光軸位置（光軸に相当する画像の補正中心）からの距離に基づくシェーディング係数によってシェーディング補正を行うことによって、シェーディング補正にかかるデータ処理を簡単にできることが開示されている。

また、特許文献３では、マイクロレンズが形成されたＣＣＤのシェーディング補正について、各マイクロレンズの形状誤差や位置ずれを補正するための補正情報と、撮像光学系（レンズ）の状態の影響を補正するための基準位置への光束の入射方向と、を用いてシェーディング補正を行うことが開示されている。
特開２００４−２６６７５０号公報特開２００５−２７７６１８号公報特開２０００−２３６４８０号公報

しかしながら、特許文献１や特許文献２に開示されたような従来の撮像装置においては、光軸位置（光軸に相当する画像の補正中心）は撮像光学系の形状や組込み位置等の設計データを基に決められるものであったが、実際には製造ばらつきによって各撮像装置に光軸ずれが存在してしまい、設計データを基準にシェーディング補正を行うと最適なシェーディング補正ができないという問題があった。

また、特許文献３のように、各マイクロレンズの形状誤差や位置ずれを補正するための補正情報と、レンズの状態の影響を補正するための基準位置への光束の入射方向と、を用いてシェーディング補正を行う方法では、データ処理量が多くなってシェーディング補正のために大きなメモリ容量が必要となったり、シェーディング補正に時間がかかるという問題があった。

本発明は上記問題点を解消するためになされたもので、製造バラツキによっても精度のよいシェーディング補正を行うことができるシェーディング補正方法及び撮像装置を提供することを目的とする。

本発明のシェーディング補正方法は、レンズを介して被写体からの光を撮像素子で受光することにより画像データを取得し、該画像データについてシェーディング補正をする方法であって、前記レンズの形状に基づくシェーディング基準補正データを予め算出するとともに、前記レンズと前記撮像素子とを組み込んだ後に前記レンズと前記撮像素子との組込み位置ずれ補正データを測定し、前記画像データに対して前記シェーディング基準補正データと前記組込み位置ずれ補正データとを用いてシェーディング補正を行うことを特徴とする。

ここで、上記構成において、前記被写体からの光を複数の前記撮像素子で同時に受光した後、前記複数の撮像素子に対して第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶した後、前記各撮像素子による前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子の読取データとすることを特徴とする。

また、本発明の撮像装置は、レンズと、該レンズを介して被写体からの光を受光する撮像素子とを具備して画像データを取得する撮像装置であって、予め算出した前記レンズの形状に基づくシェーディング基準補正データと、前記レンズと前記撮像素子とを組み込んだ後に測定した前記レンズと前記撮像素子との組込み位置ずれ補正データとを有して、前記画像データに対して前記シェーディング基準補正データと前記組込み位置ずれ補正データとを用いてシェーディング補正を行う演算手段を具備することを特徴とする。

本発明のシェーディング補正方法によれば、前記レンズと前記撮像素子とを組み込んだ後に前記レンズと前記撮像素子との組込み位置ずれ補正データを測定して、各撮像装置のシェーディング補正に反映させることによって、製造バラツキも考慮した精度のよいシェーディング補正を行うことができる。

また、前記被写体からの光を複数の前記撮像素子で同時に受光した後、前記複数の撮像素子に対して第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶した後、前記各撮像素子による前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子の読取データとすることによって、ＣＭＯＳセンサを用いたグローバルシャッタ方式のように複数の撮像素子にて１画面分の画像を同時に読み込む撮像装置においても画像ムラがなく精度のよい画像を記憶することができ、この記憶された画像を再生した場合には画像ムラのない精度のよい画像となる。

図１は、本発明のシェーディング補正方法が適用された撮像装置の第一の実施形態であるカメラモジュールのブロック図が示されている。

図１によれば、本実施形態に係るカメラモジュール１は、複数枚のレンズ２と、レンズ２の光軸上に配置された撮像素子３とを備えている。

撮像素子３は、図２に示すようなＲ，Ｇ，Ｂの色配列のベイヤー配列を有する原色フィルタが設けられたフォトダイオード等の感光部４を有して、この感光部に蓄積された電荷をピクセルメモリ５に転送して、ＴＧ（Timing Generator）６が発する所定周波数のタイミング信号によって走査駆動され、ピクセルメモリ５に蓄積される被写体像（光像）の明るさに応じた撮像信号を出力する。なお、撮像素子３は、例えばプログレッシブ（全画素読み出し）方式により駆動される。

撮像素子３から出力された撮像信号はゲイン調整用の増幅器７により増幅され、Ａ／Ｄコンバータ８へ出力される。Ａ／Ｄコンバータ８は撮像信号におけるノイズ除去を行うとともにデジタル信号への変換を行う。なお、図１の構成によれば、複数の撮像素子３および各撮像素子３に併設されるＴＧ６と増幅器７、並びにこれらから出力される信号を変換するＡ／Ｄコンバータ８がイメージャ９内に具備されている。

上記デジタル信号に変換された撮像信号、すなわち前記フィルタの色配列に対応するＲ，Ｇ，Ｂのいずれかの色情報を有する画素データからなるベイヤーデータはＤＲＡＭ１０にいったん送られ、そこで前記フィルタの色配列に対応するＲ，Ｇ，Ｂの色配列の画像（以下、ベイヤー画像という。）を構成する画素データとして順次記憶される。

ここで、本発明によれば、ＤＲＡＭ１０に、レンズ２の形状に基づいて予め算出したシェーディング基準補正データ１１と、レンズ２と撮像素子３とを組み込んだ後に測定しレンズ２と撮像素子３との組込み位置ずれ補正データ１２とを格納し、前記画像データに対してシェーディング基準補正データ１１と組込み位置ずれ補正データ１２とを用いてシェーディング補正を行うことが大きな特徴である。つまり、レンズ２の光軸中心の位置ずれ分を各カメラモジュール１に対して正確に決めて補正することによって精度のよいシェーディング補正が可能となる。

なお、ＤＲＡＭ１０に記憶されたデータは、逐次読み出されてデジタル信号処理回路１３へ送られる。デジタル信号処理回路１３は、入力した画像信号に基づいて画素毎のＲ，Ｇ，Ｂの色成分データを生成する画素補間処理、生成したＲ，Ｇ，Ｂの色成分データから画素毎の輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを生成する輝度・色差信号変換処理等を行う。なお、デジタル信号処理回路１３では、オートホワイトバランス、輪郭強調などの画品質向上のための処理も行われる。デジタル信号処理回路１３で変換されたＹＵＶデータは順次ＤＲＡＭ１０に格納され、１フレーム分のＹＵＶデータがＤＲＡＭ１０に格納される。

そして、撮影待機状態では、ＤＲＡＭ１０に格納された１フレーム分のＹＵＶデータ、すなわち撮像素子３からプログレッシブ方式で読み出された撮像信号に基づくＹＵＶデータはＣＰＵ１５によって読み出されて画像表示部１７に送られる。

このとき、被写体からの光を複数の撮像素子３で同時に受光した後、複数の撮像素子３に対して第１の順番で各撮像素子３の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶した後、前記各撮像素子による前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子の読取データとすることが望ましいものである。これによって、ＣＭＯＳセンサを用いたグローバルシャッタ方式のように複数の撮像素子にて１画面分の画像を同時に読み込む撮像装置においても、撮像素子３の一部であるフォトダイオードに蓄積される電荷の経時変化に対して、経時的な電荷の変動量が相殺することができ、かつ各撮像素子３の受光強度に応じた変動量に調整することができることから、各撮像素子３の漏れ込み電荷量を各撮像素子３の読み込み順に関係なく、かつ受信した受光量に比例した電荷蓄積量に調整できて、精度のよいシェーディング補正ができる。

なお、各ピクセルメモリ５からメインメモリ１０に読取データが記憶される順番は、第１の順番、例えば図３に示す撮像素子３のｍ行×ｎ列の配列に対して、ａ_１、ａ_２、ａ_３．．．ａ_ｎ、ｂ_１、ｂ_２、ｂ_３．．．ｍ−１_１、ｍ−１_２．．．ｍ−１_ｎ、ｍ_１、ｍ_２、ｍ_３．．．ｍ_ｎの順番でそれぞれのピクセルメモリ５から読み込んで第１の読取データとして記憶される。

続いて、各ピクセルメモリ５の読取データを、Ａ／Ｄコンバータ８でデジタル信号に変換しながら、前記第１の順番とは逆の第２の順番で再度読み込んでＣＰＵ１５に記憶する。なお、前記第１の順番とは逆の第２の順番とは、図３に示す撮像素子３に対して、上記第１の順番に対しては、ｍ_ｎ、ｍ_ｎ−１．．．ｍ_２、ｍ_１、ｍ−１_ｎ、．．．ｍ−１_２、ｍ−１_１．．．ｂ_ｎ、ｂ_ｎ−１．．．ｂ_２、ｂ_１、ａ_ｎ、ａ_ｎ−１．．．、ａ_２、ａ_１の順番である。この時点でＣＰＵ１５には各撮像素子３、すなわち各ピクセルメモリ５について、第１の読取データと第２の読取データの２つのデータが記憶され、蓄積されることになる。なお、本発明によれば、各ピクセルメモリ５の読取データの読取順番は上記順番に限定されるものではなく、列方向から読み取るものであってもよく、他の順番であってもよい。

それから、各撮像素子３（ａ_１，ａ_２．．．ｍ_ｎ）のピクセルメモリ５に記憶されＣＰＵ１５に送られた前記第１の読取データと前記第２の読取データとに対して、デジタル信号処理回路１３にて前記第１の読取データと前記第２の読取データとの平均値を算出する演算を行って各撮像素子３（ａ_１，ａ_２．．．ｍ_ｎ）の読取データとする。

なお、撮像素子３からの電荷の読み出しは垂直間引き読み出し方式であってもよいが、これ以外にも、例えば撮像素子３から水平／垂直の両方向の画素を間引く駆動方式で撮像信号が読み出される方法であっても良い。

また、上記実施態様においては、撮像素子３がベイヤー配列の原色フィルタを設けられて各画素がＲ，Ｇ，Ｂのいずれかの色情報を有するものについて説明したが、撮像素子３が補色系の色フィルタを有する構成であってもよい。

さらに、上記実施態様においては、車載用の周辺状況確認カメラ等のカメラモジュールについて記載したが、本発明はこれに限定されるものではなく、監視カメラや、デジタルカメラやデジタルビデオカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きパソコン等の種々の電子カメラ装置にも採用することができる。

本発明のシェーディング補正方法を適用した一実施態様を示すカメラモジュールのブロック図である。図１のカメラモジュールの撮像素子に配置される色フィルタ配列を示す図である。図１のカメラモジュールの撮像素子に蓄積されたデータを読み出し順序の一例を説明するための模式図である。

符号の説明

１カメラモジュール
２レンズ
３撮像素子
４感光部
５ピクセルメモリ
６ＴＧ（Timing Generator）
７増幅器
８Ａ／Ｄコンバータ
９イメージャ
１０ＤＲＡＭ
１１シェーディング基準補正データ
１２組込み位置ずれ補正データ
１３デジタル信号処理回路
１５ＣＰＵ
１７画像表示部

Claims

レンズを介して被写体からの光を撮像素子で受光することにより取得した画像データについてシェーディング補正をする方法であって、前記レンズの形状に基づくシェーディング基準補正データと、前記レンズと前記撮像素子とを撮像装置に組み込んだ後に測定した前記レンズと前記撮像素子との組込み位置ずれ補正データとを用いてシェーディング補正を行うことを特徴とするシェーディング補正方法。
前記被写体からの光を複数の前記撮像素子で同時に受光した後、前記複数の撮像素子に対して第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶した後、前記各撮像素子による前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子の読取データとすることを特徴とする請求項１記載のシェーディング補正方法。
レンズと、該レンズを介して被写体からの光を受光する撮像素子とを具備して画像データを取得する撮像装置であって、前記レンズの形状に基づくシェーディング基準補正データと、前記レンズと前記撮像素子とを前記撮像装置に組み込んだ後に測定した前記レンズと前記撮像素子との組込み位置ずれ補正データと、前記画像データに対して前記シェーディング基準補正データと前記組込み位置ずれ補正データとを用いてシェーディング補正を行う演算手段を具備することを特徴とする撮像装置。