JP4659641B2

JP4659641B2 - 感度補正方法および撮像装置

Info

Publication number: JP4659641B2
Application number: JP2006048425A
Authority: JP
Inventors: 英敏梅田; 賢次小田切
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2006-02-24
Filing date: 2006-02-24
Publication date: 2011-03-30
Anticipated expiration: 2026-02-24
Also published as: JP2007228367A

Description

本発明は、感度補正方法および撮像装置に関し、特に被写体からの信号を複数のフォトダイオードで同時に受光して前記被写体の画像を読み取る際に、読取画像からシェーディングの影響を除去する感度補正方法および撮像装置に関する。

近年、複数のフォトダイオードにて被写体を撮像する撮像手段と、被写体からの光を前記撮像手段に結像させる撮像光学系と、を具備する、例えば、Ｘ線ＣＴや、複写機、ファクシミリ、スキャナ、さらにデジタルカメラや監視カメラ、車載カメラ等のカメラモジュールのような撮像装置が広く開発されている。

このような撮像装置では、撮像手段にて被写体からの光の強さを検知することによって画像を読み取っているが、レンズの周辺光量低下やフォトダイオードの感度ばらつきによって各フォトダイオードの受光量が実際の信号からずれてしまい、出力される画像に画像ムラができてしまうことが知られている。そこで、この画像ムラをなくすためにシェーディング補正が行なわれる。

例えば、特許文献１では、予め白基準板を撮像して得られる白基準影像信号と黒基準板を撮像して得られる黒基準影像信号とに基づくシェーディング補正データを作成しておき、この補正データに基づいて被写体を撮像したときのデータ補正を行う方法が開示されている。また、特許文献２では、各フォトダイオードごとにヒストグラム最頻度計算処理を行ってこのヒストグラム最頻度値を用いてシェーディング補正する補正方法が開示されている。さらに、特許文献３では、被写体に光源からの光を照射すると同時に、この光源からの光から補正部材を介して得たデータをシェーディングデータとして使用する補正方法が開示されている。また、特許文献４では、第１の方向（図３のＸ方向）におけるシェーディング補正係数と第１の方向とは垂直な第２の方向（図３のＹ方向）におけるシェーディング補正係数とを乗算してシェーディング補正を行うデジタルカメラについて開示されている。
特開平１０−９７６１７号公報特開平１１−６９１５４号公報特開２０００−３５８１４２号公報特開２００５−８００６２号公報

しかしながら、上述したようにシェーディングデータを別途準備してシェーディング補正を行う補正方法では、被写体からの信号を複数のフォトダイオードで同時に受光した後で各フォトダイオードの受光信号を順に読み込む読取方式に対して、シェーディング補正が完全に行えないという問題があった。

すなわち、画像ムラの要因として、上記レンズの周辺光量低下やフォトダイオードの感度ばらつき以外にもフォトダイオードに信号を読み込む際の電荷量の変動がある。例えば、ＣＭＯＳセンサ（相補型金属酸化物半導体センサ；Complementary Metal Oxide Semiconductor image sensor）を用いたグローバルシャッタ方式のように１画面分の画像を同時に読み込む方法では、フォトダイオード全体に対して同時に露光を行い、その後同時に露光を終了し、終了と同時に各フォトダイオードに蓄積された電荷を読出す方式であり、全撮像を同時に露光するので対象物の動きが早い場合でも、像は歪まないという特徴を有している。かかる方法では、フォトダイオードに蓄積された電荷量が読み出されるまでの間に高くなってしまい画像ムラが発生するという問題である。

これは、各フォトダイオードに蓄積された電荷量が読み出されるまでの間に、撮像手段
を構成するフォトダイオードの下部に蓄えられた電荷が各フォトダイオードに併設されるピクセルメモリ内に漏れ込んでしまうことに起因する。さらに、この漏れ込む電荷量は各フォトダイオードに蓄積された電荷の強さに応じて変動するために、従来のような別途シェーディングデータを準備する方法では画像ムラを完全に補正することができないものであった。

なお、このフォトダイオードに蓄積された電荷量に応じて補正すべき電荷量が変動することは、ＣＭＯＳセンサを用いたグローバルシャッタ方式に限らず、複数のフォトダイオードにて１画面分の画像を同時に読み込む撮像装置において一般的に発生する現象であった。そして、いずれの場合にも精度のよいシェーディング補正方法が求められていた。

本発明は上記問題点を解消するためになされたもので、簡単な構成で精度のよいシェーディング補正を行うことができる感度補正方法及び撮像装置を提供することを目的とする。

本発明の感度補正方法は、被写体からの光を複数のフォトダイオードで受光することにより前記被写体の画像を読み取る際に発生するシェーディングを除去するための感度補正方法であって、前記被写体からの光を前記複数のフォトダイオードで同時に受光を開始して同時に受光を終了した後、前記複数のフォトダイオードに対して第１の順番で各フォトダイオードの受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各フォトダイオードの受光信号を再度読み込んで第２の読取データとして記憶した後、前記各フォトダイオードによる前記第１の読取データと前記第２の読取データとの平均値を算出して各フォトダイオードの読取データとすることを特徴とする方法である。

また、本発明の撮像装置は、複数のフォトダイオードにて被写体を撮像する撮像手段と、前記被写体の像を前記撮像手段に結像させる光学系とを具備し、前記光学系を通して前記被写体からの光を前記複数のフォトダイオードで同時に受光を開始させて同時に受光を終了させる撮像装置であって、前記被写体からの光を受光して該受光を終了した前記複数のフォトダイオードから第１の順番で各フォトダイオードの受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各フォトダイオードの受光信号を再度読み込んで第２の読取データとして記憶する記憶手段と、前記第１の読取データと前記第２の読取データとの平均値を求めて各フォトダイオードの読取データとする演算手段とを具備することを特徴とするものである。

さらに、前記撮像手段が相補型金属酸化物半導体（ＣＭＯＳ）センサである場合に特に有効である。

本発明の感度補正方法によれば、前記被写体からの光を前記複数のフォトダイオードで同時に受光を開始して同時に受光を終了した後、前記複数のフォトダイオードに対して第１の順番で各フォトダイオードの受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で各フォトダイオードの受光信号を再度読み込んで第２の読取データとして記憶した後、前記各フォトダイオードにおける前記第１の読取データと前記第２の読取データとの平均値を算出して各フォトダイオードの読取データとすることによって、フォトダイオードに蓄積された電荷量が読み出されるまでに漏れ込む電荷量のばらつき等を容易かつ正確に相殺することができて、簡単な構成で精度のよいシェーディング補正を行うことができる。

また、本発明の撮像装置によれば、前記被写体からの光を受光して該受光を終了した前記複数のフォトダイオードから第１の順番で各フォトダイオードの受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各フォトダイオードの受光信号を再度読み込んで第２の読取データとして記憶する記憶手段と、前記第１の読取データと前記第２の読取データとの平均値を求めて各フォトダイオードの読取データとする演算手段とを具備して、前記簡単な構成で精度のよいシェーディング補正を行うことができることから、画像ムラがなく精度のよい画像を記憶することができ、この記憶された画像を再生した場合には画像ムラのない精度のよい画像となる。

さらに、前記撮像手段が相補型金属酸化物半導体（ＣＭＯＳ）センサである場合には、素子内に電荷が漏れ込みやすいので本発明の効果が顕著であり、かつ各素子への信号の読み込み順番を変更することができるので容易に適応することができる。

図１には、本発明の感度補正方法が適用された撮像装置の第一の実施形態である車載用のカメラモジュールの概略構成が示されている。

図１によれば、本実施形態に係るカメラモジュール１は、被写体からの光を結像させるためのレンズを含んで構成された光学ユニット２と、光学ユニット２の光軸後方に配設された撮像手段８の内部に収納されたフォトダイオード３と、撮像手段８内部に収納されフォトダイオード３から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ４と、撮像手段８の内部にそれぞれに設けられフォトダイオード３で読み込んだアナログ読取データを一時的に記憶するピクセルメモリ５と、フォトダイオード３を駆動するセンサ駆動部７と、メインメモリ１０と、主制御部１２と、出力端子１４とを備えている。なお、図１のカメラモジュール１では、複数のフォトダイオード３と、各フォトダイオード３に併設されたピクセルメモリ５と、ピクセルメモリ５のアナログ読取データをデジタル読取データに変換するＡ／Ｄコンバータ４とはＣＭＯＳセンサ８の内部に具備されている。

なお、図１のカメラモジュール１によれば、Ａ／Ｄコンバータ４が変換したデジタル読取データはメインメモリ１０に記憶され、主制御部１２によってシェーディング補正、および所望によりγ補正やホワイトバランス補正等のデータ処理を行った後、出力端子１４に画像データとして出力される。そして、出力端子１４から車内に設置された読込画像を表示する表示部（図示せず。）にデータが送信されて画像を表示する。

本発明によれば、まず、光学ユニット２を通した被写体からの光を１画面分の全フォトダイオード３に同時に露光を開始して同時に露光を終了する。そして、第１の順番で各フォトダイオード３に被写体からの受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で各フォトダイオード３に前記被写体からの受光信号を再度読み込んで第２の読取データとして記憶する。その後、各フォトダイオード３における前記第１の読取データと前記第２の読取データとの平均値を算出して各フォトダイオード３の読取データとすることが大きな特徴である。

すなわち、一画面分の全フォトダイオード３に同時に露光し、フォトダイオード３に露光を行って蓄積された電荷量が、露光終了後に順次読み出されるような撮像装置において、図２に概念図で示すように、撮像手段８の一部であるフォトダイオード３の下部から電荷の拡散（図２中のＭ_１：経時的かつ光の受光強度に応じて変化する。）が発生したり、遮光アルミニウム板１７によって反射した光（図２中のＭ_２：受光する光の強さに応じて変化する。）が漏れ込む等の要因によって漏れ込み電荷量（図中のＭ）が発生し、本来各フォトダイオード３が受信した被写体からの受光信号からそれぞれが規則性なくばらつい
た電荷蓄積量となって画像ムラを引き起こす。

しかしながら、本発明の感度補正方法によれば、図２に示すようなフォトダイオード１６の下部からの電荷の拡散（図２中のＭ_１）および遮光アルミニウム板１７からの反射（図２中のＭ_２）の要因に対して、経時的な電荷の変動量が相殺され、かつ各フォトダイオード３の受光強度に応じた変動量に調整することができることから、各フォトダイオード３の漏れ込み電荷量を各フォトダイオード３の読み込み順に関係なく、かつ受信した受光量に比例した電荷蓄積量に調整できる。

したがって、漏れ込む電荷量のばらつきを容易かつ正確に相殺することができて、前記被写体の画像を複数のフォトダイオードで同時に受光して読み取る際に発生するシェーディングを簡単な構成で精度よく補正を行うことができる。

ここで、本実施形態におけるデータ処理方法についてより具体的に説明する。まず、図３に撮像手段８の詳細構成を模式図で示すように、複数のフォトダイオード３はｍ行×ｎ列に整列した状態で配置されている。そして、これら一画面分の全フォトダイオード３に対して同時に露光を開始しかつ同時に露光を終了して被写体からの光を各フォトダイオード３で受光して、各フォトダイオード３がそれぞれの信号として感知する。

次に、この各フォトダイオード３が感知した信号はそれぞれのピクセルメモリ５にアナログ信号として取得され、Ａ／Ｄコンバータ４でデジタル信号に変換しながら記憶手段としてのメインメモリ１０に記憶される。このとき、本発明によれば、各ピクセルメモリ５からメインメモリ１０に読取データが記憶される順番は、第１の順番、例えば図３に示すフォトダイオード３のｍ行×ｎ列の配列に対して、ａ_１、ａ_２、ａ_３．．．ａ_ｎ、ｂ_１、ｂ_２、ｂ_３．．．ｍ−１_１、ｍ−１_２．．．ｍ−１_ｎ、ｍ_１、ｍ_２、ｍ_３．．．ｍ_ｎの順番でそれぞれのピクセルメモリ５から読み込んで第１の読取データとして記憶される。

続いて、各ピクセルメモリ５の読取データを、Ａ／Ｄコンバータ４でデジタル信号に変換しながら、前記第１の順番とは逆の第２の順番で再度読み込んでメインメモリ１０に記憶する。なお、前記第１の順番とは逆の第２の順番とは、図３に示すフォトダイオード３に対して、上記第１の順番に対しては、ｍ_ｎ、ｍ_ｎ−１．．．ｍ_２、ｍ_１、ｍ−１_ｎ、．．．ｍ−１_２、ｍ−１_１．．．ｂ_ｎ、ｂ_ｎ−１．．．ｂ_２、ｂ_１、ａ_ｎ、ａ_ｎ−１．．．、ａ_２、ａ_１の順番である。この時点でメインメモリ１０には各フォトダイオード３、すなわち各ピクセルメモリ５について、第１の読取データと第２の読取データの２つのデータが記憶され、蓄積されることになる。なお、本発明によれば、各ピクセルメモリ５の読取データの読取順番は上記順番に限定されるものではなく、列方向から読み取るものであってもよく、他の順番であってもよい。

それから、各フォトダイオード３（ａ_１，ａ_２．．．ｍ_ｎ）のピクセルメモリ５に記憶されメインメモリ１０に送られた前記第１の読取データと前記第２の読取データとに対して、演算手段としての主制御部１２を用いて前記第１の読取データと前記第２の読取データとの平均値を算出する演算を行って各フォトダイオード３（ａ_１，ａ_２．．．ｍ_ｎ）の読取データとする。

なお、本発明の感度補正方法は上記データ処理のみに限定されるものではなく、例えば図１の場合には、メインメモリ１０の読取データに対して、必要に応じて、主制御部１２にて従来から公知の白基準補正等の他の感度補正方法を組み合わせて補正するものであってもよい。

さらに、フォトダイオード３として経時的な電荷の漏れ込みが発生するような素子を具
備するＣＭＯＳセンサ８を用いた撮像装置に対して、上記感度補正方法は特に有効である。

また、本発明の撮像装置は、上述したカメラモジュールに限定されるものではなく、例えば、プロジェクタに接続されるスキャナについても好適に応用することができる。

そこで、図４に、本発明の感度補正方法が適用された撮像装置の第２の実施形態の例であるスキャナの概略構成を示す。

図４によれば、本実施形態のスキャナ２１は、原稿を載置する透明ガラス板製の原稿載置台２２と、原稿載置台２２の上部表面を覆うため開閉可能に設けられた原稿カバー２３と、原稿載置台２２に載置固定された原稿を照らすための照明ランプ２４と、レンズ３３を具備するレンズユニット３４と、照明ランプ２４を原稿に照射し原稿から反射した光を受光する、撮像手段２８の内部に収納された複数のフォトダイオード２５と、撮像手段２８の内部にそれぞれ設けられフォトダイオード２５で読み込んだアナログ読取データを一時的に記憶するピクセルメモリ２６と、フォトダイオード２５から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ２９と、Ａ／Ｄコンバータ２９で変換したデジタル読取データを保存するための記憶手段としてのメインメモリ３０と、メインメモリ３０のデジタル読取データの読み込み順序やデータ処理を行うプログラムやパラメータなどを格納する演算手段としての主制御部３１と、フォトダイオード２５を駆動するセンサ駆動部２７と、ピクセルメモリ２６で記憶した読込画像をプロジェクタ等の外部装置（図示せず）に出力するための出力端子３２とを備えている。

そして、原稿載置台２２に載置固定された原稿に照明ランプ２４を照射し、原稿から反射した光は、複数の光学部材を介して、結像光学系からなるレンズ３３（図４では２枚のレンズ）で構成されるレンズユニット３４に案内される。このレンズユニット３４によって、原稿からの反射光が撮像手段２８上に結像される。また、レンズユニット３４は入射する光の光軸に沿って移動可能となっており、所望の倍率で撮像手段２８上に結像することができるようになっている。これにより、撮像手段２８によって、原稿載置台２２に載置された原稿に記録されている画像が読み取られる。撮像手段２８による読み取り結果から読取データが生成され、出力端子３２からプロジェクタ等の外部装置（図示せず）に出力される。

本実施形態においても、原稿からの光を１画面分の全フォトダイオード２５に同時に露光を開始して同時に露光を終了する。そして、第１の順番で各フォトダイオード２５の被写体からの受光信号を読み込んで第１の読取データとしてメインメモリ３０に記憶し、次に、前記第１の順番とは逆の第２の順番で各フォトダイオード２５の前記被写体からの受光信号を再度読み込んで第２の読取データとしてメインメモリ３０に記憶する。その後、主制御部３１によって各フォトダイオード２５からの前記第１の読取データと前記第２の読取データとの平均値を求めて、これを各フォトダイオード２５の読取データとする。

これによって、各フォトダイオード２５に漏れ込む電荷量のばらつきを容易かつ正確に相殺することができて、前記被写体の画像を複数のフォトダイオード２５で同時に受光して読み取る際に発生するシェーディングを簡単な構成で精度よく補正を行うことができる。

本発明の感度補正方法が適用された撮像装置の第１の実施形態の例である車載用のカメラモジュールの概略構成を示す概略構成図である。シェーディング発生の一要因についての原理を説明するための概念図である。撮像手段の詳細構成を示す模式図である。本発明の感度補正方法が適用された撮像装置の第２の実施形態の例であるプロジェクタ接続用のスキャナの概略構成を示す概略構成図である。

１カメラモジュール
２光学ユニット
３フォトダイオード
４Ａ／Ｄコンバータ
５ピクセルメモリ
７センサ駆動部
８撮像手段（ＣＭＯＳセンサ）
１０メインメモリ
１２主制御部
１４出力端子
１７遮光アルミニウム板
２１スキャナ
２２原稿載置台
２３原稿カバー
２４照明ランプ
２５フォトダイオード
２６ピクセルメモリ
２７センサ駆動部
２８撮像手段
２９Ａ／Ｄコンバータ
３０メインメモリ
３１主制御部
３２出力端子
３３レンズ
３４レンズユニット

Claims

被写体からの光を複数のフォトダイオードで受光することにより前記被写体の画像を読み取る際に発生するシェーディングを除去するための感度補正方法であって、
前記被写体からの光を前記複数のフォトダイオードで同時に受光を開始して同時に受光を終了した後、前記複数のフォトダイオードに対して第１の順番で各フォトダイオードの受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各フォトダイオードの受光信号を再度読み込んで第２の読取データとして記憶した後、前記各フォトダイオードによる前記第１の読取データと前記第２の読取データとの平均値を算出して各フォトダイオードの読取データとすることを特徴とする感度補正方法。
複数のフォトダイオードにて被写体を撮像する撮像手段と、前記被写体の像を前記撮像手段に結像させる光学系とを具備し、前記光学系を通して前記被写体からの光を前記複数のフォトダイオードで同時に受光を開始させて同時に受光を終了させる撮像装置であって、
前記被写体からの光を受光して該受光を終了した前記複数のフォトダイオードから第１の順番で各フォトダイオードの受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各フォトダイオードの受光信号を再度読み込んで第２の読取データとして記憶する記憶手段と、
前記第１の読取データと前記第２の読取データとの平均値を求めて各フォトダイオードの読取データとする演算手段とを具備することを特徴とする撮像装置。
前記撮像手段が相補型金属酸化物半導体（ＣＭＯＳ）センサであることを特徴とする請求項２記載の撮像装置。