JP5332540B2 - 撮像装置及び画像補正プログラム - Google Patents

Description

本発明は、撮像素子を用いて画像データを取得する撮像装置及び該画像データを補正する画像補正プログラムに関する。

デジタルカメラには、素子サイズの大きな撮像素子が搭載される。この種の撮像素子は、半導体の製造設備（ステッパーなど）の関係から、一度に可能なフォトリソ工程のサイズが制限される。そのため、撮像素子の製造工程では、必要に応じて露光領域をずらしながら、複数回に分けて分割露光が実施される。この複数回の分割露光を施した撮像素子は、分割露光の領域ごとに特性がばらつく可能性がある。この特性のバラツキによって、隣り合う領域の境界領域に信号レベルの段差が発生することから、境界領域において、該信号レベルの段差をスロープ化するよう境界領域の信号を修正するものがある。
特開２００８−１６０７３０号公報

例えば、高感度撮影を行う場合には、画像信号に対して乗算される信号利得値（ゲイン値）は高く設定されるのが一般的である。つまり、分割露光における各境界領域においてスロープ化処理を施したとしても、高感度撮影時には、上述した信号利得値によって各領域毎の特性のばらつきが大きくなることから、修正しきれず結果的に、信号ムラの生じた画像が得られてしまう。

本発明は、信号ムラの発生に起因する画質の低下を抑止することができるようにした撮像装置及び画像補正プログラムを提供することを目的とする。

上述した課題を解決するために、第１の発明の撮像装置は、撮像時に被写体光が照射される有効画素領域と該被写体光が遮光される遮光画素領域とを有し、複数回の露光時に生じる境界が前記有効画素領域に含まれる撮像素子と、前記有効画素領域を前記境界によって区画される複数の領域のうち、少なくとも１つの領域を除いた領域を対象領域として、該対象領域を前記境界が伸びる方向と直交する方向に複数分割する領域分割部と、前記撮像素子を遮光した状態での撮像が行われたときに、前記少なくとも１つの領域のうち前記境界に隣接する範囲に含まれる画素の平均画素値と前記領域分割部により分割されることで形成される分割領域に含まれる画素の平均画素値との差を、前記分割領域毎に算出する第１の演算部と、前記遮光画素領域に含まれる画素の平均画素値を算出する第２の演算部と、前記第１の演算部により算出された平均画素値の差、及び前記第２の演算部により算出された前記遮光画素領域における画素の平均画素値をそれぞれ記憶する記憶部と、を備えたことを特徴とする。

第２の発明は、第１の発明において、前記領域分割部は、前記対象領域を前記境界が伸びる方向と直交する方向に複数分割する他に、前記遮光画素領域、前記対象領域及び前記境界に隣接する範囲を前記境界が伸びる方向に複数分割し、前記第１の演算部は、前記境界に隣接する範囲を分割した分割範囲のそれぞれに含まれる画素の平均画素値、及び前記対象領域を分割した分割領域のそれぞれに含まれる画素の平均画素値をそれぞれ算出した後、前記境界の伸びる方向において同一位置となる、前記分割範囲に含まれる画素の平均画素値と前記分割領域に含まれる画素の平均画素値の差を算出し、前記第２の演算部は、分割された遮光画素領域のそれぞれに含まれる画素の平均画素値を算出することを特徴とする。

第３の発明は、第１又は第２の発明において、前記対象領域を分割する際の分割数を調整する分割設定部を、さらに備えていることを特徴とする。

第４の発明は、第１又は第２の発明において、前記対象領域を分割する際に、前記分割される分割領域における画素数を調整する分割設定部を、さらに備えていることを特徴とする。

第５の発明は、第１〜第４の発明のいずれかにおいて、前記被写体光を用いた撮像が行われたときに、前記遮光画素領域又は前記遮光画素領域を分割した各領域に含まれる画素の平均画素値を求める第３の演算部と、前記第３の演算部により算出された前記遮光画素領域又は前記遮光画素領域を分割した各領域に含まれる画素の平均値と、前記記憶部に記憶された前記第２の演算部により求めた画素の平均値との変化率を求める変化率算出部と、前記記憶部に記憶された前記第１の演算部により算出された平均画素値の差と前記変化率とから、前記分割領域に対する補正値を求める補正値算出部と、前記補正値算出部により算出された補正値を用いて、前記分割領域に含まれる画素の画素値に対するオフセット補正を行う補正部と、を、備えていることを特徴とする。

第６の発明の画像補正プログラムは、撮像時に被写体光が照射される有効画素領域と該被写体光が遮光される遮光画素領域とを有し、複数回の露光時に生じる境界が前記有効画素領域に含まれる撮像素子に対して、前記有効画素領域を前記境界によって区画される複数の領域のうち、少なくとも１つの領域を除いた領域を対象領域として、該対象領域を前記境界が伸びる方向と直交する方向に複数分割する領域分割工程と、前記撮像素子を遮光した状態での撮像が行われたときに、前記少なくとも１つの領域のうち前記境界に隣接する範囲に含まれる画素の平均画素値と前記領域分割工程により分割されることで形成される分割領域に含まれる画素の平均画素値との差を、前記分割領域毎に算出する第１の演算工程と、前記遮光画素領域に含まれる画素の平均画素値を算出する第２の演算工程と、前記第１の演算工程により算出された平均画素値の差、及び前記第２の演算工程により算出された前記遮光画素領域における画素の平均画素値をそれぞれ記憶する記憶工程と、をコンピュータにて機能させることが可能なものである。

第７の発明は、第６の発明において、前記被写体光を用いた撮像が行われたときに、前記遮光画素領域又は前記遮光画素領域を分割した各領域に含まれる画素の平均画素値を求める第３の演算工程と、前記第３の演算工程により算出された前記遮光画素領域又は前記遮光画素領域を分割した各領域に含まれる画素の平均値と、前記記憶工程により記憶された前記第２の演算工程により求めた画素の平均値との変化率を求める変化率算出工程と、前記第１の演算工程により算出された平均画素値の差と前記変化率とから、前記分割領域に対する補正値を求める補正値算出工程と、前記補正値算出工程により算出された補正値を用いて、前記分割領域に含まれる画素の画素値に対するオフセット補正を行う補正工程と、を備えたことを特徴とする。

本発明によれば、遮光した状態での撮像において得られる各領域の画素値や、これら画素値の差などを予め記憶しておくことで、実際に撮像ときに得られる画像に対するオフセット補正を容易に行うことができる。このオフセット補正を行うことで、撮像時に得られる画像における信号ムラの発生を抑止することができ、画質の低下を抑止した画像を取得することができる。

図１は、本発明を用いたデジタルカメラの一例を示す。デジタルカメラ１０は、周知のように、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号（画像信号）から画像データを取得する。撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。

撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。撮像素子１６は、撮像光学系１５によって取り込まれる被写体光を受光し、受光した光量を信号電荷に変換（光電変換）して、変換した信号電荷を蓄積する。その後、撮像素子１６にて蓄積された信号電荷は、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路２０に出力される。なお、この撮像素子１６は、ステッパーなど半導体の製造設備において、露光領域をずらしながら複数回の露光を行う分割露光が行われた基板に、トランジスタやフォトダイオード等の回路素子が組み付けられることで生成される。

撮像素子１６の受光面１６ａには、フォトダイオード等からなる画素が２次元マトリクス状に配列されている。図２（ａ）に示すように、撮像素子１６の受光面１６ａは、それぞれ有効画素領域２１と、オプティカルブラック（ＯＢ）領域と呼ばれる遮光画素領域２２とに区画される。以下、遮光画素領域をＯＢ領域２２と称して説明する。有効画素領域２１は、撮像光学系１５を介して取り込まれる被写体光を受光する画素の領域であり、この有効画素領域２１の各画素から出力される画像信号をまとめることで画像データが取得される。一方、ＯＢ領域２２は、撮像光学系１５を介して取り込まれる被写体光を受光しない画素の領域である。この有効画素領域２１とＯＢ領域２２とは、水平方向（図２中Ｘ方向）に並列された状態で設けられる。なお、撮像時においては、上述した有効画素領域２１及びＯＢ領域２２のそれぞれに含まれる画素のそれぞれにおいて蓄積された電気信号が画像信号として出力される。なお、図２中符号２３で示す点線は、分割露光において生じる露光領域の境界を示している。

図１に戻って、ドライバ２５は、撮像素子１６の駆動を制御する。なお、撮像素子１６の駆動を制御するとは、撮像素子１６の各画素における信号電荷の蓄積、及び蓄積された信号電荷の出力を制御することが挙げられる。以下、撮像素子１６から出力される信号電荷を画像信号と称して説明する。また、この他に、ドライバ２５は、撮像素子１６の全画素を駆動するか、一部の画素を駆動するかを制御する。つまり、撮影時には撮像素子１６の全画素を駆動させることにより画像信号を取得し、非撮影時には撮像素子１６の一部の画素を選択的に用いる、所謂間引き制御により画像信号を取得する。

ＡＦＥ回路２６は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。ＡＦＥ回路２６は、入力された画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。このアナログ処理が施された画像信号は、ＤＦＥ回路２７に出力される。

ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）回路２７は、ＡＦＥ回路２６によってアナログ処理が施された画像信号をデジタル信号に変換する。デジタル信号に変換された画像信号は１コマ毎にまとめられ、画像データとしてバッファメモリ２８に記録される。符号２９は、タイミングジェネレータ（ＴＧ）であり、このＴＧ２９により、ドライバ２５、ＡＦＥ回路２６及びＤＦＥ回路２７の駆動タイミングが制御される。

画像処理回路３０は、画像データに対して、ホワイトバランス処理（以下、ＷＢ処理）、輪郭補償処理、ガンマ処理などの画像処理を施す。なお、撮影により得られた画像データがバッファメモリ２８に記憶される場合には、画像処理部３０は、上述した画像処理の前に、後述する画像補正を行う。これら処理の後、画像処理回路３０は、上述した画像処理後の画像データに対して、例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理（画像後処理）を施す。この処理の後、画像処理回路３０は、サムネイル画像データや、予め設定された圧縮率を用いて圧縮されたＪＰＥＧ方式の圧縮画像データを生成する。これら画像データは、一旦内蔵メモリ３５に記憶される他に、デジタルカメラ１０の機種情報や、撮影時の撮影情報などを付帯情報とした画像ファイルとして、メモリーカード、磁気ディスク及び光学ディスクなどの記憶媒体３６に書き込まれる。なお、符号３７はメディアスロットである。

一方、デジタルカメラ１０により撮影を行えるが、レリーズボタンが操作されない、所謂撮影待機状態のときには、バッファメモリ２８に記憶される画像データは、撮像素子１６が間引き制御されることで得られる画像データ（以下、スルー画像データ）となる。このスルー画像データがバッファメモリ２８に記憶される場合には、上述した画像処理の後、後述するＣＰＵを介して表示制御回路３８に出力される。なお、非撮影時には、上述した撮像素子１６は所定間隔で画像信号を出力することから、表示制御回路３８には所定間隔毎に入力されるスルー画像データが入力される。表示制御回路３８は、入力されるスルー画像データを用いてＬＣＤ３９の駆動制御を行う。これにより、ライブビュー表示がＬＣＤ３９にて実行される。

この画像処理部３０は、補正値算出部４１、画像補正部４２の機能を有している。補正値算出部４１は、撮像時に得られる画像データに対してオフセット補正を行う際に用いる補正値β_nを算出する。この補正値β_nの算出は、以下の手順で実行される。

補正値算出部４１は、ＯＢ領域２２に含まれる画素の平均画素値（以下、撮像時におけるＯＢ領域２２の平均画素値）ＰＶ_OB’を求める。バッファメモリ２８には、有効画素領域２１に含まれる画素及びＯＢ領域２２に含まれる画素における画素値がそれぞれ記録されることから、補正値算出部４１はＯＢ領域２２に含まれる画素の画素値を読み出して、撮像時のＯＢ領域２２の平均画素値ＰＶ_OB’を算出する。

撮像時のＯＢ領域２２の平均画素値ＰＶ_OB’を算出した後、補正値算出部４１は、初期設定時におけるＯＢ領域２２の平均画素値ＰＶ_OBを内蔵メモリ３５から読み出し、初期設定時のＯＢ領域２２の平均画素値ＰＶ_OBと撮像時のＯＢ領域２２の平均画素値ＰＶ_OB’との変化率αを求める。なお、この変化率αは、例えばα＝１−（ＰＶ_OB’／ＰＶ_OB）で求められる。変化率αを求めた後、補正値算出部４１は、内蔵メモリ３５に記憶された分割領域Ｂ_nの平均画素値ＰＶ_nと隣接画素の平均画素値ＰＶ₀との差ΔＰＶ_n（ｎ：分割領域の数）を読み出して、分割領域毎の補正値β_nを求める。なお、この補正値β_nは、β_n＝ΔＰＶ_n×（１−α）で求められる。

画像補正部４２は、撮像時に得られる画像データに対するオフセット補正を行う。画像補正部４２は、分割領域に含まれる画素の画素値のそれぞれに対して該分割領域における補正値β_nを減算することで、各分割領域Ｂ_nに含まれる画素の画素値をオフセット補正する。

ＣＰＵ５０は、デジタルカメラ１０の各部を統括的に制御する。例えば設定操作部５５が操作されると、ＣＰＵ５０は例えば表示制御回路３８を介してＬＣＤ３９にデジタルカメラ１０の基本設定や撮影モードなどの撮影条件の設定を促す表示を行わせる。なお、この設定操作部５５としては、例えばメニューボタンや、十字キーなどが挙げられる。また、レリーズボタン５６が操作されると、ＣＰＵ５０は自動焦点調節（ＡＦ）制御、自動露出（ＡＥ）制御及びオートホワイトバランス（ＡＷＢ）制御などを行う。なお、これら制御は周知であることから、ここでは、その詳細を省略する。

ＣＰＵ５０は、デジタルカメラ１０の初期設定を行う際には、領域分割部５１、演算部５２の機能を実行する。領域分割部５１は、撮像素子１６の受光面１６ａに設けられる有効画素領域２１を複数の領域（以下、つなぎ領域と称す）Ａ_m（ｍ＝１，２，・・・）に分割する。なお、以下では、有効画素領域２１に分割露光を行ったときに各露光における露光範囲の境界が１カ所発生する場合について説明する。図２（ａ）に示すように、有効画素領域２１は、境界２３を有している。領域分割部５１は、境界２３を利用して有効画素領域２１をつなぎ領域Ａ₁，Ａ₂に区画する（図２（ｂ）参照）。なお、上述した境界２３が発生する位置は分割露光時にわかっていることから、この境界２３の位置を示す位置情報を内蔵メモリ３５に予め記憶させておけばよい。なお、領域分割部５１によって有効画素領域２１を複数のつなぎ領域Ａ_mに区画することで、画像データに対してつなぎ領域Ａ_m毎のアドレスが設定される。

また、領域分割部４６は、有効画素領域２１を上述した境界２３で区画される複数のつなぎ領域Ａ_mのうち、つなぎ領域Ａ₁を除く残りのつなぎ領域Ａ₂〜Ａ_mを、上述した境界２３の伸びる方向（ｙ方向）と直交する方向（ｘ方向）にて分割する。以下、つなぎ領域Ａ_mを分割した領域を分割領域Ｂ_n（ｎ：分割数）として説明する。なお、図２（ｂ）においては、境界２３により有効画素領域２１が、つなぎ領域Ａ₁とつなぎ領域Ａ₂との２つの領域に分割されることから、この場合は、つなぎ領域Ａ₂が複数の分割領域Ｂ_nに分割される（図３参照）。なお、つなぎ領域Ａ_mの分割数ｎとしては、例えば１６が挙げられるが、この分割数は適宜設定されるものである。

演算部５２は、領域分割部５１によって分割されないつなぎ領域Ａ₁に含まれる画素のうち、境界２３に隣接する画素（以下、隣接画素）の平均画素値ＰＶ_apを求める。なお、図３においては、隣接画素は、境界に隣接する領域（ハッチングで示される領域４７）に含まれる画素である。また、演算部５２は、分割領域Ｂ_nの各領域に含まれる平均画素値ＰＶ_nを求める。これら平均画素値を求めた後、演算部５２は、分割領域Ｂ_nの平均画素値ＰＶ_nと隣接画素の平均画素値ＰＶ_apとの差ΔＰＶ_nを算出する。この分割領域Ｂ_nの平均画素値ＰＶ_nと隣接画素の平均画素値ＰＶ_apとの差ΔＰＶ_nは、それぞれ内蔵メモリ３５に記録される。また、この演算部５２は、ＯＢ領域２２に含まれる画素の平均画素値（以下、ＯＢ領域の平均画素値と称する）ＰＶ_OBを算出する。このＯＢ領域２２の平均画素値ＰＶ_OBも、内蔵メモリ３５に記録される。

次に、初期設定時に行われる処理の流れについて図４のフローチャートに基づいて説明する。なお、初期設定時とは、例えば製品製造時に行われるものである。

ステップＳ１０１は、遮光画像を取得する処理である。この遮光画像は、例えば被写体光を所定時間遮光したときに撮像素子１６を介して得られる画像が挙げられる。つまり、このステップＳ１０１においては、例えば３０秒間の遮光撮影が実行される。なお、遮光撮影については、その詳細は省略する。この遮光撮影が実行されることで、有効画素領域２１に含まれる画素及びＯＢ領域２２に含まれる画素のそれぞれによって蓄積された信号電荷が撮像素子１６から画像信号として出力される。また、バッファメモリ２８においては、有効画素領域２１及びＯＢ領域２２のそれぞれに含まれる画素の画素値が該画素のアドレスに対応付けられて記録される。

ステップＳ１０２は、つなぎ領域を設定する処理である。ＣＰＵ５０は、内蔵メモリ３５に記憶された分割露光時の露光範囲の境界の位置を示す位置情報を読み出す。ステップＳ１０１の処理を行うことで、バッファメモリ３５には有効画素領域２１及びＯＢ領域２２のそれぞれに含まれる画素の画素値が該画素のアドレスに対応付けられて記憶されている。ＣＰＵ５０は、露光範囲の境界２３の位置を示す位置情報に基づいて、有効画素領域２１を複数のつなぎ領域Ａ_mに区画する。この際に、ＣＰＵ５０は、各つなぎ領域Ａ_mの範囲を示すアドレスをそれぞれ設定する。これにより、つなぎ領域Ａ_mが設定される。

ステップＳ１０３は、分割領域を設定する処理である。ステップＳ１０２の処理により、つなぎ領域Ａ_mが設定されている。ＣＰＵ５０は、設定されたつなぎ領域Ａ_mのうち、つなぎ領域Ａ₁を除いた残りのつなぎ領域Ａ₂〜Ａ_mを分割する。なお、図２（ｂ）においては、つなぎ領域として領域Ａ₁、Ａ₂が設定されることから、このような場合には、つなぎ領域Ａ₂をｘ方向にて分割する。この際、ＣＰＵ５０は、つなぎ領域Ａ₂を分割することで得られる分割領域Ｂ₁〜Ｂ_nの範囲を示すアドレスをそれぞれ設定する。

ステップＳ１０４は、つなぎ領域Ａ₁に含まれる画素のうち、境界２３に隣接する画素の平均画素値ＰＶ_apを算出する処理である。ステップＳ１０２において、各つなぎ領域のアドレスが設定されている。ＣＰＵ５０は、つなぎ領域Ｃに含まれる画素のうち、境界２３に隣接する隣接画素の画素値をバッファメモリ２８から読み出す。そしてＣＰＵ５０は、読み出した画素の画素値から、隣接画素の平均画素値ＰＶ_apを求める。

ステップＳ１０５は、分割領域Ｂ_nに含まれる画素の平均画素値ＰＶ_nを算出する処置である。ＣＰＵ５０は、分割領域Ｂ_nの範囲を示すアドレスを参照して、対応する画素の画素値をバッファメモリ２８から読み出す。

ステップＳ１０６は、分割領域Ｂ_nに含まれる画素の平均画素値ＰＶ_nと隣接画素の平均画素値ＰＶ_apとの差ΔＰＶ_nを算出する処理である。ステップＳ１０４と、ステップＳ１０５の処理を行うことで、分割領域Ｂ_nに含まれる画素の平均画素値ＰＶ_nと隣接画素の平均画素値ＰＶ_apとが算出されることから、ＣＰＵ５０はこれら値を用いて、分割領域Ｂ_nに含まれる画素の平均画素値ＰＶ_nと隣接画素の平均画素値ＰＶ_apとの差ΔＰＶ_nを算出する。なお、算出された差ΔＰＶ_nは、内蔵メモリ３５に記録される。

ステップＳ１０７は、初期設定時のＯＢ領域に含まれる画素の平均画素値ＰＶ_OBを算出する処理である。ＣＰＵ５０は、バッファメモリ２８から、ＯＢ領域２２に含まれる画素の画素値を読み出し、読み出した値から、ＯＢ領域に含まれる画素の平均画素値ＰＶ_OBを算出する。そして、ＣＰＵ５０は、算出されたＯＢ領域２２に含まれる画素の平均画素値ＰＶ_OBを内蔵メモリ３５に記録する。これにより、初期設定時における処理が終了する。

次に、撮像時の画像補正処理の流れについて、図５のフローチャートを用いて説明する。

ステップＳ２０１は、撮像する処理である。撮像に関する処理は周知であることから、ここでは、その詳細を省略する。このステップＳ２０１の処理が実行されることで、バッファメモリ２８には、有効画素領域２１及びＯＢ領域２２のそれぞれに含まれる画素の画素値が記録される。

ステップＳ２０２は、撮像時のＯＢ領域２２に含まれる画素の平均画素値ＰＶ_OB’を算出する処理である。画像処理回路３０は、バッファメモリ２８に記憶されたＯＢ領域２２に含まれる画素の画素値を読み出し、読み出した画素値から、撮像時におけるＯＢ領域２２の平均画素値ＰＶ_OB’を算出する。

ステップＳ２０３は、撮像時のＯＢ領域の平均画素値ＰＶ_OB’と初期設定時のＯＢ領域２２の平均画素値ＰＶ_OBとの変化率αを算出する処理である。画像処理回路は、内蔵メモリ３５から初期設定時のＯＢ領域２２の平均画素値ＰＶ_OBを読み出す。初期設定時のＯＢ領域２２の平均画素値ＰＶ_OBを読み出した後、画像処理回路４０は、撮像時のＯＢ領域の平均画素値ＰＶ_OB’と初期設定時のＯＢ領域２２の平均画素値ＰＶ_OBとの変化率αを算出する。なお、変化率αは、例えばα＝１−（ＰＶ_OB’／ＰＶ_OB）で求められる。

ステップＳ２０４は、分割領域Ｂ_n毎の補正値β_nを算出する処理である。画像処理回路４０は、内蔵メモリ３５に記憶された分割領域Ｂ_nの平均画素値ＰＶ_nと隣接画素の平均画素値ＰＶ₀との差ΔＰＶ_n（ｎ：分割領域の数）を読み出して、分割領域毎の補正値β_nを求める。なお、この補正値β_nは、β_n＝ΔＰＶ_n×（１−α）で求められる。

ステップS２０５は、オフセット補正を行う処理である。ステップＳ２０４の処理を実行することで、分割領域Ｂ_nの補正値β_nが算出される。画像処理部３０は、分割領域Ｂ_nに含まれる画素の画素値から、対応する補正値β_nを減算処理することでオフセット補正する。そして、各分割領域Ｂ_nに含まれる画素の画素値を、それぞれ補正値β_nを用いて補正することで、オフセット補正済みの画像データが生成される。

図６（ａ）に示すように、境界２３に隣接する画素の画素値の差が大きい画像の場合が得られたとしても、上述したオフセット補正を行うことで、図６（ｂ）に示すように、境界２３に隣接する画素の画素値の差が小さくなり、信号ムラの発生に起因する画質の低下を抑止することができる。なお、オフセット補正が行われた画像データは、画像処理が施された後、記憶媒体３６に記録される。

本実施形態では、初期設定時に得られる係数算出用画像において、隣接画素における平均画素値ＰＶ_apが、隣接画素に隣り合う画素における平均画素値に比べて非常に大きくなる場合や、非常に低くなる場合がある。このような場合、まず隣接画素の平均画素値ＰＶ_apを補正した後、各分割領域Ｂ_nの平均画素値ＰＶ_ｎとの差ΔＰＶ_ｎを求めればよい。なお、隣接画素の平均画素値ＰＶ_apを補正する方法としては、例えば、図６中ｘ方向において隣接画素に隣り合う画素の平均画素値（図６中符号６５及び符号６６に示す値）をそれぞれ求め、隣接画素の平均画素値ＰＶ_apがこれら平均画素値の平均値となるように各隣接画素の画素値を補正する方法や、隣接画素が含まれるつなぎ領域に含まれる画素のうち、隣接画素に隣り合う画素の平均画素値（図６中６５に示す値）と同一の値となるように、隣接画素の画素値を補正する方法が挙げられる。

本実施形態では、変化率αをα＝１−（ＰＶ_OB’／ＰＶ_OB）から、補正値β_nをβ_n＝ΔＰＶ_n×（１−α）からそれぞれ求めているが、これに限定する必要はなく、変化率αをα＝ＰＶ_OB’／ＰＶ_OBから、補正値β_nをβ_n＝ΔＰＶ_n×αからそれぞれ求めることも可能である。この場合、画像データによっては、分割領域Ｂ_nの平均画素値ＰＶ_ｎが隣接画素の平均画素値ＰＶ_apより高くなる場合だけでなく、隣接画素の平均画素値ＰＶ_apより低くなる場合もあることから、このような場合には、分割領域Ｂ_nの平均画素値ＰＶ_ｎと、隣接画素の平均画素値ＰＶ_apとを比較した結果に応じて、比較した分割領域Ｂ_nに含まれる画素の画素値に対して補正値β_nを減算又は加算すればよい。

本実施形態では、つなぎ領域Ａ_mを分割する際の分割数（分割領域の数）については述べていないが、つなぎ領域Ａ_mを分割する際の分割数は一定値に固定されていても良いし、撮像に得られる画像毎に異なる分割数を用いることも可能である。この場合、隣接画素の平均画素値ＰＶ_apと、隣接画素と隣り合うつなぎ領域（例えばつなぎ領域Ａ₂）のうち、該隣接画素に隣り合う画素の平均画素値（図６（ａ）中符号６６の値）との差に応じて、分割数を設定することも可能である。さらに、予め閾値を設け、隣接画素の平均画素値ＰＶ_apと、隣接画素が含まれるつなぎ領域と隣り合うつなぎ領域のうち、該隣接画素に隣り合う画素の平均画素値との差が閾値を超過するか否かによって、分割数を変更することも可能である。

また、つなぎ領域Ａ_mを分割する際の分割数（分割領域の数）が一定である場合には、分割領域Ｂ_nの幅（ｘ方向の画素数）を分割領域毎に異なるように設定することも可能である。つまり、隣接画素に近ければ、分割領域Ｂ_nの幅を狭く（言い換えればｘ方向の画素数を少なく）し、隣接画素から離れるに従い、分割領域Ｂ_nの幅を広く（言い換えればｘ方向の画素数を多く）するように設定する。また、分割数を変更する場合と同様に、隣接画素の平均画素値ＰＶ_apと、隣接画素と隣り合う画素の平均画素値との差に応じて、分割領域の幅を分割領域毎に異なるように設定することも可能である。つまり上述した差が閾値よりも低い場合には、信号ムラが抑えられることになるので、このような場合には、つなぎ領域を等分割する。一方、上述した差が閾値を超過する場合には、信号ムラが出やすいことから、この場合には、隣接画素に近い分割領域であればあるほど、分割領域の幅を狭くする。

本実施形態においては、有効画素領域に１つの境界が含まれる場合について説明しているが、これに限定するものではなく、分割露光における１回の露光範囲の設定次第では、有効画素領域２１には、複数の境界が含まれる場合がある。このような場合には、まず、つなぎ領域Ａ_mを設定した後、つなぎ領域Ａ₁とつなぎ領域Ａ₂とを用いて分割領域Ｂ_nの平均画素値ＰＶ_ｎ、隣接画素の平均画素値ＰＶ_ap、及び分割領域Ｂ_nの平均画素値ＰＶ_ｎと隣接画素の平均画素値ＰＶ_apとの差ΔＰＶ_ｎを求め、算出された差ΔＰＶ_ｎを内蔵メモリ３５に記憶する。次に、つなぎ領域Ａ₂とつなぎ領域Ａ₃を用いて分割領域の平均画素値、隣接画素の平均画素値、及び分割領域の平均画素値と隣接画素の平均画素値との差を求めていけばよい。

本実施形態では、つなぎ領域Ａ_mを、有効画素領域２１に発生する分割露光時の境界が伸びる方向と直交する方向に関して分割しているが、このような分割を行う場合、境界が伸びる方向と直交する方向に関してはオフセット補正を有効に行うことができるが、境界が伸びる方向に関しては、オフセット補正を有効に行えない場合がある。図７に示すように、例えばＤ−Ｄ’上における画素の画素値と、Ｅ−Ｅ’上における画素の画素値とを考えた場合、必ずしも画素値が近似しておらず、場所によっては画素値の大小が反転している箇所もある。つまり、つなぎ領域を境界に伸びる方向に直交する方向に分割した分割領域毎の補正値を求めただけでは、完全なオフセット補正を実行することができない。このため、分割露光時の境界が伸びる方向と直交する方向だけでなく、該境界が伸びる方向に対しても分割することも可能である。この場合、デジタルカメラの構成は、本実施形態と同様であることから、デジタルカメラの構成については、その詳細を省略し、同一の構成については、同一の符号を付して説明する。なお、以下では、分割露光により有効画素領域に１つの境界が含まれる場合について説明する。

ＣＰＵ５０における領域分割部５１及び演算部５２は、以下のように機能する。

領域分割部５１は、本実施形態と同様に、分割露光により発生する境界２３を用いて有効画素領域２１を区画することで、つなぎ領域Ａ₁，Ａ₂を設定する（図２（ａ）参照）。このつなぎ領域Ａ₁，Ａ₂の設定の後、領域分割部５１は、つなぎ領域Ａ₁を除いたつなぎ領域Ａ₂を境界２３が伸びる方向と直交する方向（ｘ方向）にて分割する。このつなぎ領域Ａ₂の分割の後、有効画素領域２１とＯＢ領域２２とを境界２３が伸びる方向（ｙ方向）に関して分割する。なお、このときの分割数は、適宜設定してよいものとする。

図８に示すように、これら領域の分割により、つなぎ領域Ａ₂に含まれる画素のうち、境界２３に隣接する隣接画素の範囲が複数の範囲に分割され、それぞれの範囲が、隣接画素領域ＡＰ_s（Ｓ：１〜ｙ方向の分割数）として設定される。同様にして、ＯＢ領域２２が複数の領域に分割され、それぞれの領域が、分割ＯＢ領域ＯＢ_sとして設定される。また、つなぎ領域Ａ₂がｘ方向及びｙ方向にそれぞれ分割されることで、マトリクス状の分割領域Ｂ_st（ｔ：１〜ｘ方向の分割数）が設定される。

演算部５２は、各隣接画素領域に含まれる画素の画素値を利用して、隣接画素領域ＡＰ₁の平均画素値Ｔ_sを領域毎に算出する。また、演算部５２は、各分割領域Ｂ_stに含まれる画素の画素値を利用して、分割領域Ｂ_stの平均画素値ＰＶ_stを領域毎に算出する。さらに、演算部５２は、分割ＯＢ領域ＯＢ_sに含まれる画素の画素値を利用して分割ＯＢ領域ＯＢ_sの平均画素値Ｕ_sを領域毎に算出する。なお、分割ＯＢ領域ＯＢ_sの平均画素値Ｕ_sは内蔵メモリ３５に記憶される。隣接画素領域ＡＰ_sの平均画素値Ｔ_sや分割領域Ｂ_stの平均画素値ＰＶ_stを算出した後、演算部５２は、ｙ方向において同一位置となる隣接画素領域ＡＰ_sの平均画素値Ｔ_s及び分割領域Ｂ_stの平均画素値ＰＶ_stを読み出し、分割領域Ｂ_stの平均画素値ＰＶstと隣接画素領域ＡＰ_sの平均画素値Ｔ_sとの差ΔＰＶ_stを分割領域毎に算出する。なお、分割領域Ｂ_stの平均画素値ＰＶ_stと隣接画素領域ＡＰ_sの平均画素値Ｔ_sとの差差ΔＰＶ_stは、内蔵メモリ３５に記録される。

また、画像処理回路４０に設けられる補正値算出部４１や画像補正部４２は、以下のように機能する。補正値算出部４１は、まず撮像時にバッファメモリ２８に記録される各分割ＯＢ領域ＯＢ_Sに含まれる画素の画素値を読み出し、撮像時の各分割ＯＢ領域ＯＢ_sの平均画素値Ｕs’を領域毎に算出する。この算出の後、補正値算出部４１は、同一の分割ＯＢ領域ＯＢにおける初期設定時の平均画素値Ｕ_sと撮像時の平均画素値Ｕ_s’との変化率α_sを求める。この変化率α_sは、α_s＝１−（Ｕ_s’／Ｕ_s）にて求められる。この変化率α_sの算出の後、各分割領域Ａ_stにおける補正値β_stを算出する。この補正値β_stは、β_st＝ΔＰＶ_st×（１−α_s）にて求められる。なお、画像補正部４２は、各分割領域Ｂ_stに含まれる画素の画素値を、対応する補正値β_stを用いて減算することでオフセット補正を実行する。なお、オフセット補正を行った画像データに対して画像処理が施される。

この場合の初期設定時における処理の流れについて、図９のフローチャートを用いて説明する。ステップＳ３０１は、遮光画像を取得する処理である。なお、このステップＳ３０１の処理は、ステップＳ１０１と同一の処理であることから、ここでは、その詳細を省略する。

ステップＳ３０２は、つなぎ領域Ａ_mを設定する処理である。この処理もステップＳ１０２と同一の処理であることから、ここでは、その詳細を省略する。

ステップＳ３０３は、領域を分割する処理である。ＣＰＵ５０は、つなぎ領域Ａ₁のうち、境界２３に隣接する画素の領域をｙ方向に分割する。これにより、例えばｓ個の隣接画素領域ＡＰ₁〜ＡＰ_sが設定される。また、ＯＢ領域２２をｙ方向に、隣接画像領域と同一数となるように分割し、ｓ個の分割ＯＢ領域ＯＢ₁〜ＯＢ_sが設定される。さらに、つなぎ領域Ａ₂をｘ方向及びy方向に分割する。これにより、例えばｓ×ｔ個の分割領域Ｂ_stが設定される。

ステップＳ３０４は、隣接画素領域ＡＰ_sの平均画素値Ｔ_sを算出する処理である。ステップＳ３０３により、隣接画素領域ＡＰ₁〜ＡＰ_sが設定されることより、ＣＰＵ５０は、バッファメモリ２８に記憶された画素の画素値から、隣接画素領域ＡＰ_sに含まれる画素の画素値を読み出し、隣接画素領域ＡＰ_s毎の平均画素値Ｔ_sを隣接画素領域毎に算出する。

ステップＳ３０５は、分割領域Ｂ_stの平均画素値ＰＶ_stを算出する処理である。ステップＳ３０３により、分割領域Ｂ₁₁〜Ｂ_stが設定されることにより、ＣＰＵ５０は、バッファメモリ２８に記憶された画素の画素値から、分割領域Ｂ_stに含まれる画素の画素値を読み出し、分割領域Ｂ_stの平均画素値ＰＶ_stを分割領域毎に算出する。

ステップＳ３０６は、平均画素値ＰＶ_stと平均画素値Ｔ_sとの差ΔＰＶ_stを算出する処理である。ステップＳ３０４により隣接画素領域ＡＰ_s毎の平均画素値Ｔ_sが算出され、ステップＳ３０５により分割領域Ｂ_stの平均画素値ＰＶ_stが算出されることから、ＣＰＵ５０は、それら値を用いて、平均画素値ＰＶ_stと平均画素値Ｔ_sとの差ΔＰＶ_stを分割領域毎に算出する。なお、ＣＰＵ５０は、分割領域毎に算出される平均画素値ＰＶ_stと平均画素値Ｔ_sとの差ΔＰＶ_stを内蔵メモリ３５に記録する。

ステップＳ３０７は、分割ＯＢ領域ＯＢ_sの平均画素値Ｕ_sを算出する処理である。ステップＳ３０３により分割ＯＢ領域ＯＢ_sが設定されることから、ＣＰＵ５０は、バッファメモリ２８に記憶された画素の画素値から、分割ＯＢ領域ＯＢ_sに含まれる画素の画素値を読み出し、分割ＯＢ領域ＯＢ_sの平均画素値ＰＶ_stを分割ＯＢ領域毎に算出する。なお、ＣＰＵ５０は、分割ＯＢ領域毎に算出される分割ＯＢ領域ＯＢ_sの平均画素値ＰＶ_stを内蔵メモリ３５に記録する。

次に、撮像時のオフセット補正の処理の流れについて、図１０のフローチャートを用いて説明する。ステップＳ４０１は、撮像を行う処理である。このステップＳ４０１を行うことで、撮影画像が取得され、有効画素領域２１及びＯＢ領域２２のそれぞれに含まれる画素の画素値がバッファメモリ２８に記録される。

ステップＳ４０２は、分割ＯＢ領域ＯＢ_sに含まれる画素の平均画素値を算出する処理である。初期設定時のステップＳ３０３の処理を実行することで、分割ＯＢ領域ＯＢ_sが設定されていることから、ＣＰＵ５０は、バッファメモリ２８から分割ＯＢ領域ＯＢ_sに含まれる画素の画素値を読み出し、分割ＯＢ領域ＯＢ_sの平均画素値Ｕ_s’を分割ＯＢ領域毎に算出する。

ステップＳ４０３は、分割ＯＢ領域における初期設定時の平均画素値Ｕ_sと、撮像時の平均画素値Ｕ_s’との変化量α_sを算出する処理である。ＣＰＵ５０は、内蔵メモリ３５に記憶された初期設定時の分割ＯＢ領域ＯＢ_sの平均画素値Ｕ_sを読み出す。ステップＳ４０２において撮像時の分割ＯＢ領域ＯＢ_sの平均画素値Ｕ_s’が求められていることから、ＣＰＵは、同一の分割ＯＢ領域毎に、分割ＯＢ領域における初期設定時の平均画素値Ｕ_sと、撮像時の平均画素値Ｕ_s’との変化量α_sを算出する。この変化率α_sは、α_s＝１−（Ｕ_s’／Ｕ_s）にて求められる。

ステップＳ４０４は、分割領域Ｂ_stにおける補正値β_stを算出する処理である。ステップＳ４０３において分割ＯＢ領域Ｂ_stにおける初期設定時の平均画素値Ｕ_sと撮像時の平均画素値Ｕ_s’との変化量α_sが領域毎に算出されている。ＣＰＵ５０は、算出された変化量α_sを用いて、対応する分割領域Ｂ_stにおける補正値β_stを算出する。なお、この補正値β_stは、β_st＝ΔＰＶ_st×（１−α_s）にて求められる。

ステップＳ４０５は、オフセット補正を行うステップである。ＣＰＵ５０は、ステップＳ４０４により求めた補正値β_stを対応する分割領域Ｂ_stに含まれる画素の画素値から減算することでオフセット補正を行う。なお、分割領域Ｂ_stは、画像データの基になる有効画素領域２２に含まれる領域であることから、このステップＳ４０５の処理を実行することで、撮影時に得られる画像データがオフセット補正される。なお、このオフセットされた画像データは、画像処理が施された後、記憶媒体３６に書き込まれる。この場合には、つなぎ領域をｘ方向だけでなく、ｙ方向にも分割することで得られる分割領域毎に補正値を求め、求めた補正値を撮影時に得られる画素値に対して減算処理を施すから、画像内の信号ムラの発生を抑止することができる。

上述した実施形態においては、撮像された全ての画像データに対して、オフセット処理を施す実施形態としているが、これに限定する必要はなく、撮影条件に応じてオフセット処理を行うか否かを判定し、オフセット処理を行う場合に、例えば図に示す処理を行うことも可能である。なお、撮影条件としては、撮影感度やシャッター速度などが挙げられる。
例えば、撮影条件が撮影感度（ＩＳＯ感度）からなる場合には、例えばＩＳＯ８００など所定値を超える場合にのみ、オフセット補正を行うようにする。また、撮影条件がシャッター速度となる場合には、撮像時のシャッター速度が所定値を超える速さとなる（ＴＶ値が所定値を超える）場合に、上述したオフセット処理を実行する。さらに、撮影感度とシャッター速度とを組み合わせてオフセット処理を行うか否かを判定するようにしてもよい。

本実施形態では、デジタルカメラを例に取り上げているが、これに限定される必要はなく、カメラ機能付きの携帯型端末機に本発明を適用できる。また、図１に示す領域分割部、演算部、補正値算出部及び画像補正部の機能や、図４及び図５のフローチャートを実行させる画像補正プログラムであってもよい。この場合画像補正プログラムは、例えばメモリーカード、光ディスクや磁気ディスクなどのコンピュータにて読み取ることができる記憶媒体に記憶されていてもよい。

本発明のデジタルカメラの構成を示す図である。 （ａ）は撮像素子の受光面の構成を示す図、（ｂ）は区画されるつなぎ領域の配列状態を示す図である。 つなぎ領域Ａ₂複数の分割領域Ｂ_nに分割した場合について示す図である。 初期設定時の処理の流れを示すフォローチャートである。 撮像時の画像補正の流れを示すフローチャートである。 （ａ）は画像補正前の各領域における平均画素値との関係を示す図、（ｂ）は、画像処理後の各領域における平均画素値との関係を示す図である。 （ａ）は受光面の構成図、（ｂ）は、Ｄ−Ｄ’上の画素の画素値及びＥ−Ｅ’上の画素の画素値を示す図である。 つなぎ領域Ａ₂をｘ方向及びｙ方向にそれぞれ分割することで、各分割領域に対する補正値を算出する場合を示す図である。 初期設定時の処理の流れを示すフォローチャートである。 撮像時の画像補正の流れを示すフローチャートである。

符号の説明

１０…デジタルカメラ、２８…バッファメモリ、３０…画像処理部、３５…内蔵メモリ、４１…補正値算出部、４２…画像補正部、５０…ＣＰＵ、５１…領域分割部、５２…演算部

Claims (7)

1. 撮像時に被写体光が照射される有効画素領域と該被写体光が遮光される遮光画素領域とを有し、複数回の露光時に生じる境界が前記有効画素領域に含まれる撮像素子と、
   前記有効画素領域を前記境界によって区画される複数の領域のうち、少なくとも１つの領域を除いた領域を対象領域として、該対象領域を前記境界が伸びる方向と直交する方向に複数分割する領域分割部と、
   前記撮像素子を遮光した状態での撮像が行われたときに、前記少なくとも１つの領域のうち前記境界に隣接する範囲に含まれる画素の平均画素値と前記領域分割部により分割されることで形成される分割領域に含まれる画素の平均画素値との差を、前記分割領域毎に算出する第１の演算部と、
   前記遮光画素領域に含まれる画素の平均画素値を算出する第２の演算部と、
   前記第１の演算部により算出された平均画素値の差、及び前記第２の演算部により算出された前記遮光画素領域における画素の平均画素値をそれぞれ記憶する記憶部と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記領域分割部は、前記対象領域を前記境界が伸びる方向と直交する方向に複数分割する他に、前記遮光画素領域、前記対象領域及び前記境界に隣接する範囲を前記境界が伸びる方向に複数分割し、
   前記第１の演算部は、前記境界に隣接する範囲を分割した分割範囲のそれぞれに含まれる画素の平均画素値、及び前記対象領域を分割した分割領域のそれぞれに含まれる画素の平均画素値をそれぞれ算出した後、前記境界の伸びる方向において同一位置となる、前記分割範囲に含まれる画素の平均画素値と前記分割領域に含まれる画素の平均画素値の差を算出し、
   前記第２の演算部は、分割された遮光画素領域のそれぞれに含まれる画素の平均画素値を算出することを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記対象領域を分割する際の分割数を調整する分割設定部を、さらに備えていることを特徴とする撮像装置。
4. 請求項１又は２に記載の撮像装置において、
   前記対象領域を分割する際に、前記分割される分割領域における画素数を調整する分割設定部を、さらに備えていることを特徴とする撮像装置。
5. 請求項１〜４のいずれか１項に記載の撮像装置において、
   前記被写体光を用いた撮像が行われたときに、前記遮光画素領域又は前記遮光画素領域を分割した各領域に含まれる画素の平均画素値を求める第３の演算部と、
   前記第３の演算部により算出された前記遮光画素領域又は前記遮光画素領域を分割した各領域に含まれる画素の平均値と、前記記憶部に記憶された前記第２の演算部により求めた画素の平均値との変化率を求める変化率算出部と、
   前記記憶部に記憶された前記第１の演算部により算出された平均画素値の差と前記変化率とから、前記分割領域に対する補正値を求める補正値算出部と、
   前記補正値算出部により算出された補正値を用いて、前記分割領域に含まれる画素の画素値に対するオフセット補正を行う補正部と、
   を、備えていることを特徴とする撮像装置。
6. 撮像時に被写体光が照射される有効画素領域と該被写体光が遮光される遮光画素領域とを有し、複数回の露光時に生じる境界が前記有効画素領域に含まれる撮像素子に対して、前記有効画素領域を前記境界によって区画される複数の領域のうち、少なくとも１つの領域を除いた領域を対象領域として、該対象領域を前記境界が伸びる方向と直交する方向に複数分割する領域分割工程と、
   前記撮像素子を遮光した状態での撮像が行われたときに、前記少なくとも１つの領域のうち前記境界に隣接する範囲に含まれる画素の平均画素値と前記領域分割工程により分割されることで形成される分割領域に含まれる画素の平均画素値との差を、前記分割領域毎に算出する第１の演算工程と、
   前記遮光画素領域に含まれる画素の平均画素値を算出する第２の演算工程と、
   前記第１の演算工程により算出された平均画素値の差、及び前記第２の演算工程により算出された前記遮光画素領域における画素の平均画素値をそれぞれ記憶する記憶工程と、
   をコンピュータにて機能させることが可能な画像補正プログラム。
7. 請求項６に記載の画像補正プログラムにおいて、
   前記被写体光を用いた撮像が行われたときに、前記遮光画素領域又は前記遮光画素領域を分割した各領域に含まれる画素の平均画素値を求める第３の演算工程と、
   前記第３の演算工程により算出された前記遮光画素領域又は前記遮光画素領域を分割した各領域に含まれる画素の平均値と、前記記憶工程により記憶された前記第２の演算工程により求めた画素の平均値との変化率を求める変化率算出工程と、
   前記第１の演算工程により算出された平均画素値の差と前記変化率とから、前記分割領域に対する補正値を求める補正値算出工程と、
   前記補正値算出工程により算出された補正値を用いて、前記分割領域に含まれる画素の画素値に対するオフセット補正を行う補正工程と、
   を備えたことを特徴とする画像補正プログラム。

Images