JP7065417B2 - 画像生成方法、撮像装置、及び、プログラム - Google Patents

Description

本開示は、画像生成方法、撮像装置、及び、プログラムに関する。

従来、イメージセンサを用いて画像を撮像する撮像装置が知られている。このような撮像装置においては、イメージセンサの物理特性により、取得される画像にノイズが含まれることがある。そこで、撮像動作が行われた後に、シャッタを動作させてイメージセンサの受光面を遮光した状態でダミー撮像動作を行い、このダミー撮像動作により取得されたダミー撮像データを用いて撮像画像データを補正する電子カメラが開示されている（特許文献１参照）。

特開２０００－１２５２０４号公報

しかしながら、特許文献１の方法では、ノイズの種類によっては、ノイズを適切に取得することができない場合がある。

そこで、本開示は、従来よりもノイズを適切に取得することができる画像生成方法、撮像装置、及び、プログラムに関する。

上記目的を達成するために、本開示の一態様に係る画像生成方法は、複数の画素を備える撮像装置における画像生成方法であって、前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う第１撮像ステップと、前記第１撮像動作により取得された第１画素信号に基づいて第１画像データを生成する第１生成ステップとを含み、前記第１オフセット値は、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い。

また、上記目的を達成するために、本開示の一態様に係る撮像装置は、複数の画素と、前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部と、前記第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部とを備え、前記制御部は、前記第１オフセット値を、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する。

また、上記目的を達成するために、本開示の一態様に係るプログラムは、上記の画像生成方法をコンピュータに実行させるためのプログラムである。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

本開示の一態様に係る画像生成方法等によれば、従来よりもノイズを適切に取得することができる。

図１は、実施の形態に係る撮像装置が内蔵されたカメラの構成を示すブロック図である。 図２は、実施の形態に係る撮像装置の構成を示すブロック図である。 図３は、実施の形態に係る画素の回路構成の一例を示す図である。 図４は、実施の形態に係る撮像装置において補正を行うときの動作を示すフローチャートである。 図５は、実施の形態に係る撮像装置において補正を行うときの動作を説明するための模式図である。 図６は、実施の形態に係る撮像装置において第１画像データを取得するときの動作を示すフローチャートである。 図７は、実施の形態に係る撮像装置において第３画像データを生成するときの動作を示すフローチャートである。 図８Ａは、黒つぶれしている画像データの一例を示す図である。 図８Ｂは、白飛びしている画像データの一例を示す図である。 図９は、実施の形態に係る撮像装置において欠陥画素の位置情報を取得するときの動作を示すフローチャートである。 図１０は、実施の形態に係る撮像装置におけるシェーディング特性の一例を示す図である。 図１１は、実施の形態に係る撮像装置におけるシェーディング補正処理を説明するための図である。 図１２は、実施の形態に係る撮像装置におけるシェーディング補正処理後の第１画像データを示す図である。 図１３は、実施の形態に係る撮像装置が内蔵されたカメラの外観図である。 図１４は、比較例に係る撮像装置において補正を行うときの動作を説明するための第１模式図である。 図１５は、比較例に係る撮像装置において補正を行うときの動作を説明するための第２模式図である。

（本開示の基礎となった知見）
比較例に係る撮像装置において補正を行うときの動作について、図１４及び図１５を参照しながら説明する。図１４は、比較例に係る撮像装置において補正を行うときの動作を説明するための第１模式図である。図１４は、長秒露光による撮像において、白キズ及び黒キズのうち白キズのみが発生する場合を示している。

なお、本明細書において、白キズとは、画素欠陥により本来より明るい信号レベルが検出され、かつ、露光時間とともに成長する（増加する）ノイズである。言い換えると、白キズは、露光時間が長くなるほど、本来より明るい信号レベルが検出されるような正の値のノイズである。また、黒キズとは、画素欠陥により本来より暗い信号レベルが検出され、かつ、露光時間とともに成長する（増加する）ノイズである。言い換えると、黒キズは、露光時間が長くなるほど、本来より暗い信号レベルが検出されるような負の値のノイズである。

また、比較例に係る撮像装置は、シャッタを閉じた状態で撮像する第１撮像動作と、シャッタを開いた状態で撮像する第２撮像動作とを実行可能である。第１撮像動作は、例えば、第２撮像動作により生成された画像データに含まれるノイズを除去するための遮光データを生成するために行われる撮像動作である。第１撮像動作は、例えば、第２撮像動作の後に続けて行われる。第１撮像動作は、第２撮像動作と同じ露光条件（例えば、露光時間）で行われる。なお、第１撮像動作においては、遮光した状態で露光する（露光動作する）遮光露光を行う。第１撮像動作では、撮像装置１０のノイズだけを含む画像データ（遮光データ）を取得する。

第２撮像動作は、被写体を撮影して画像データを生成するために行われる撮像動作である。第２撮像動作は、例えば、所定時間より長い時間露光する長秒露光により行われ、例えば、３０秒以上シャッタを開いて行われる。なお、比較例に係る撮像装置は、上記に加えて、シャッタを開いた状態で所定時間露光する通常露光を行ってもよい。通常露光は、被写体を撮影して画像データを生成するための露光であり、例えば、３０秒より短い期間シャッタを開いて行う露光である。第２撮像動作は、通常露光により行われてもよい。

図１４の縦軸は、信号レベル（画素値）を示し、横軸は、画素位置を示す。図１４は、例えば、１ライン上に配置された複数の画素のそれぞれにおける信号レベルを示す。また、図１４に示す信号は、複数の画素からのアナログ信号がＡＤ変換された画像データであるとする。

図１４の（ａ）は、第２撮像動作（例えば、長秒露光）により取得された画像データ（長秒露光静止画データ）である。図１４の（ａ）に示すように、長秒露光により取得された画像データには、被写体の明るさに応じた信号成分と露光時間に応じた白キズによるノイズ成分とが含まれる。長秒露光では、当該白キズが顕著に現れる。なお、画像は、例えば、静止画であるが動画であってもよい。

図１４の（ｂ）は、第１撮像動作により取得された画像データ（長秒遮光露光データ）である。図１４の（ｂ）に示すように、第１撮像動作により取得された画像データには、露光時間に応じた白キズが含まれる。

図１４の（ｃ）は、図１４の（ａ）からノイズを除去する処理を行った画像データ（ノイズ減算後静止画データ）を示す。具体的には、図１４の（ｃ）に示す画像データは、図１４の（ａ）に示す画像データから図１４の（ｂ）に示す画像データを減算し、さらにオフセット値を加算した画像データを示す。図１４の（ｃ）に示すように、上記の処理により白キズが除去されていることがわかる。なお、オフセット値は、例えば、ダークノイズ（例えば、熱ノイズ）等によるノイズを除去するために設定される。オフセット値は、例えば、第２撮像動作において基準となる信号レベルである。オフセット値は、例えば、デジタル変換後の画像データに対して一定のオフセット信号成分を減算するときの値（信号レベル）を示す。

ここで、撮像装置が備える光電変換素子の物理的特性等によっては、白キズ及び黒キズの双方が発生することがある。このような光電変換素子を備える撮像装置において、上記と同様のノイズ除去を行う場合について、図１５を参照しながら説明する。図１５は、比較例に係る撮像装置において補正を行うときの動作を説明するための第２模式図である。図１５の縦軸は、信号レベルを示し、横軸は、画素位置を示す。

図１５の（ａ）は、第２撮像動作により取得された画像データである。図１５の（ａ）に示すように、第２撮像動作により取得された画像データには、被写体の明るさに応じた信号成分と露光時間に応じた白キズ及び黒キズによるノイズ成分とが含まれる。

図１５の（ｂ）は、第１撮像動作により取得された画像データである。図１５の（ｂ）に示すように、第１撮像動作により取得された画像データには、露光時間に応じた白キズ及び黒キズが含まれる。しかしながら、黒キズには、未検出となる成分が存在する。つまり、比較例に係る撮像装置は、ノイズ（図１５の（ｂ）の例では黒キズ）を適切に取得することができない。オフセット値の信号レベルが黒キズの信号レベル（黒キズの絶対値）より小さいため、このような現象が発生する。なお、図１５では、第１撮像動作及び第２撮像動作により取得された画像データのうち、第１撮像動作により取得された画像データにおいて未検出成分が存在する例について説明したが、未検出成分は第２撮像動作により取得された画像データにおいても存在する場合がある。

図１５の（ｃ）は、図１５の（ａ）からノイズを除去する処理を行った画像データを示す。具体的には、図１５の（ｃ）に示す画像データは、図１５の（ａ）に示す画像データから図１５の（ｂ）に示す画像データを減算し、さらにオフセット値を加算した画像データを示す。図１５の（ｃ）に示すように、白キズは除去できているが、黒キズは一部が除去できていないことがわかる。

このように、比較例に係るノイズ除去方法では、白キズに加えて黒キズが発生する場合に、黒キズを適切に除去することができない場合があった。そこで、本願発明者らは、白キズ及び黒キズの双方が発生する場合において、白キズ及び黒キズの双方を適切に取得することについて、鋭意検討を行った。そして、本願発明者らは、第１撮像動作のときのオフセット値を調整することで、上記の課題を解決することを見出した。以下、詳細に説明する。

以下では、本開示の画像生成方法、撮像装置、及び、プログラムについて、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。

なお、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

また、本明細書において、等しいなどの要素間の関係性を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。

（実施の形態）
以下、本実施の形態について、図１～図１３を参照しながら説明する。

［１．カメラの全体構成］
まず、本実施の形態に係る撮像装置１０及び当該撮像装置１０を備えるカメラ１の構成について、図１及び図２を参照しながら説明する。図１は、本実施の形態に係る撮像装置１０が内蔵されたカメラ１の構成を示すブロック図である。図２は、本実施の形態に係る撮像装置１０の構成を示すブロック図である。図２は、固体撮像装置１００の構成を詳細に示すブロック図である。なお、図２では、シャッタ４００の図示を省略している。

図１に示すように、本実施の形態に係るカメラ１は、撮像装置１０と、レンズ６００と、表示部７００と、操作部８００とを備える。

撮像装置１０は、ユーザからの操作（入力）に応じて、被写体を撮影し、撮影した画像データに所定の信号処理を施す。撮像装置１０は、長秒露光、遮光露光、及び、通常露光を行う。長秒露光及び通常露光は、レンズ６００等によって被写体像が撮像素子（本実施の形態では、後述する有機光電変換素子）上に結像した状態で行われる露光である。長秒露光及び通常露光は、被写体を撮影した画像データを取得するために行われる。長秒露光は、通常露光より露光時間が長く、例えば、夜景又は夜空などを撮影するときに行われる。通常露光は、長秒露光より露光時間が短い、つまり通常露光時間であり、例えば、通常の撮影を行うときに行われる。長秒露光及び通常露光では、撮像における基準となる信号レベルは、後述する第２オフセット値に設定される。

一方、遮光露光は、シャッタ４００等によって被写体像の結像が遮断された状態で行われる露光である。遮光露光は、長秒露光などにより取得された画像データからノイズ（白キズ及び黒キズを含むノイズ）を除去するため、又は、欠陥画素を特定するための画像データを取得するために行われる。遮光露光は、例えば、長秒露光により取得された画像データからノイズを除去する場合、当該長秒露光と同じ露光時間行われる。遮光露光では、撮像における基準となる信号レベルは、後述する第１オフセット値に設定される。

遮光露光は、長秒露光及び通常露光のうち、長秒露光が行われた場合のみ実行されてもよい。長秒露光を行う長秒露光モードと通常露光を行う通常露光モードとは、操作部８００により切り替え可能である。なお、長秒露光及び通常露光は、透過露光の一例である。以下では、透過露光が長秒露光である例について説明する。

撮像装置１０は、固体撮像装置１００と、信号処理部３００と、シャッタ４００と、制御部５００とを有する。図２に示すように、さらに、固体撮像装置１００は、画素アレイ部１１０と、列ＡＤ変換部１２０と、行走査部１３０と、列走査部１４０と、駆動制御部１５０とを有する。また、画素アレイ部１１０及びその周辺領域には、画素列ごとに列信号線１６０が配置され、画素行ごとに走査線１７０が配置されている。

画素アレイ部１１０は、複数の画素２１０が行列状に配置された撮像部である。

列ＡＤ変換（アナログ／デジタルコンバータ）部１２０は、各列信号線１６０から入力された信号（アナログの画素信号）をデジタル変換することで、画素２１０の受光量に対応するデジタル値（デジタルの画素信号）を取得、保持及び出力する変換部である。

行走査部１３０は、行単位で画素２１０のリセット動作、電荷の蓄積動作、及び、読み出し動作を制御する。

列走査部１４０は、列ＡＤ変換部１２０に保持された一行分のデジタル値を行信号線１８０へ順次出力させることで、信号処理部３００にデジタル値を出力する。

駆動制御部１５０は、行走査部１３０及び列走査部１４０に対して各種制御信号を供給することにより、各部を制御する。駆動制御部１５０は、例えば、制御部５００からの制御信号に基づいて、行走査部１３０及び列走査部１４０に対して各種制御信号を供給する。

本実施の形態に係る撮像装置１０は、例えば、静止画を撮像するための撮像装置であるが、動画を撮影するための撮像装置であってもよい。

なお、撮像装置１０は、外部の回路と、固体撮像装置１００、信号処理部３００、及び、制御部５００の少なくとも１つとの間で通信を行うためのインターフェース（図示しない）を備えていてもよい。インターフェースは、一例として、半導体集積回路からなる通信ポートなどである。

図１を再び参照して、レンズ６００は、光軸方向に沿って駆動可能なレンズ系が含まれており、当該レンズ系を光軸方向に駆動することにより、撮像装置１０の外部からの光を画素アレイ部１１０に集光するように構成されている。

表示部７００は、信号処理部３００で生成した画像を表示可能な表示デバイスであり、例えば、液晶モニタなどである。また、表示部７００は、カメラにおける各種の設定情報が表示可能である。例えば、表示部７００は、撮像時の撮像条件（絞りやＩＳＯ感度など）を表示可能である。

操作部８００は、ユーザからの入力を受け付ける入力部であり、例えば、レリーズボタン又はタッチパネルなどである。例えば、タッチパネルは液晶モニタに接着されている。操作部８００は、ユーザからの撮像の指示や撮像条件の変更などを受け付ける。なお、操作部８００は、ユーザからの入力を音声又はジェスチャなどにより取得してもよい。

［２．固体撮像装置の構成］
続いて、固体撮像装置１００の構成について、さらに図３を参照しながら詳細に説明する。図３は、本実施の形態に係る画素２１０の回路構成の一例を示す図である。

［２－１．画素］
図３に示すように、画素２１０は、光電変換素子２１１と、リセットトランジスタ２１２と、増幅トランジスタ２１３と、選択トランジスタ２１４と、電荷蓄積部２１５とを有する。

光電変換素子２１１は、受光した光を信号電荷（画素電荷）に光電変換する光電変換部である。具体的には、光電変換素子２１１は、上部電極２１１ａと、下部電極２１１ｂと、両電極に挟まれた光電変換膜２１１ｃとで構成されている。光電変換膜２１１ｃは、受光した光に応じて電荷を発生する光電変換材料で構成された膜であり、本実施の形態では、高い光吸収機能を有する有機分子を含む有機光電変換膜で構成されている。言い換えると、本実施の形態に係る光電変換素子２１１は有機光電変換膜を有する有機光電変換素子であり、固体撮像装置１００は有機光電変換素子を用いた有機センサである。なお、有機光電変換膜は、複数の画素２１０に跨って形成されている。複数の画素２１０のそれぞれは、有機光電変換膜を有する。

有機光電変換膜は、有機光電変換膜に印加する電圧を可変することで、光の透過率が変化する。つまり、有機光電変換膜に印加する電圧を調整することでシャッタ機能が実現できる。これにより、有機光電変換膜を有する複数の画素２１０の全てを実質的に同時に遮光状態とすることができるので、メモリなどの素子を追加することなく、グローバルシャッタを実現することができる。よって、ローリングシャッタによる読み出しにより生じていた歪み（ローリング歪み）を低減することができる。

光電変換膜２１１ｃの厚さは、例えば、約５００ｎｍである。また、光電変換膜２１１ｃは、例えば、真空蒸着法を用いて形成される。上記有機分子は、波長約４００ｎｍから約７００ｎｍの可視光全域にわたって高い光吸収機能を有する。

なお、本実施の形態に係る画素２１０が有する光電変換素子２１１は、上述した有機光電変換膜で構成されていることに限定されず、例えば、無機材料で構成されたフォトダイオードなどであってもよい。

上部電極２１１ａは、下部電極２１１ｂと対向する電極であり、光電変換膜２１１ｃ上に光電変換膜２１１ｃを覆うように形成されている。つまり、上部電極２１１ａは、複数の画素２１０に跨がって形成されている。上部電極２１１ａは、光電変換膜２１１ｃに光を入射させるため、透明な導電性材料（例えば、ＩＴＯ：酸化インジウムスズ）で構成されている。

下部電極２１１ｂは、対向する上部電極２１１ａとの間にある光電変換膜２１１ｃで発生した電子又は正孔を取り出すための電極である。下部電極２１１ｂは、画素２１０ごとに形成されている。下部電極２１１ｂは、例えば、Ｔｉ、ＴｉＮ、Ｔａ、Ｍｏなどで構成されている。

電荷蓄積部２１５は、光電変換素子２１１に接続され、下部電極２１１ｂを介して取り出された信号電荷を蓄積する。

リセットトランジスタ２１２は、ドレインにリセット電圧Ｖ_ＲＳＴが供給され、ソースが電荷蓄積部２１５に接続され、電荷蓄積部２１５の電位をリセット（初期化）する。具体的には、リセットトランジスタ２１２のゲートに、リセット用走査線１７０Ａを介して行走査部１３０から所定の電圧が供給される（オンされる）ことで、リセットトランジスタ２１２は電荷蓄積部２１５の電位をリセットする。また、所定の電圧の供給を停止することで、電荷蓄積部２１５に信号電荷が蓄積される（露光が開始される）。

なお、本実施の形態において、長秒露光の開始前にリセットトランジスタ２１２のドレインに供給される第２リセット電圧Ｖ_ＲＳＴ２と、遮光露光の開始前にリセットトランジスタ２１２のドレインに供給される第１リセット電圧Ｖ_ＲＳＴ１とは、異なる電圧である。

増幅トランジスタ２１３は、ゲートが電荷蓄積部２１５に接続され、ドレインに電源電圧Ｖ_ＤＤが供給され、電荷蓄積部２１５に蓄積された信号電荷の電荷量に応じたアナログの画素信号を出力する。

選択トランジスタ２１４は、ドレインが増幅トランジスタ２１３のソースに接続され、ソースが列信号線１６０に接続され、増幅トランジスタ２１３からのアナログの画素信号を出力するタイミングを決定する。具体的には、選択トランジスタ２１４のゲートに、選択用走査線１７０Ｂを介して行走査部１３０から所定の電圧が供給されることで、増幅トランジスタ２１３からアナログの画素信号が出力される。

上記の構成を有する画素２１０は、非破壊読み出しが可能である。ここで、非破壊読み出しとは、露光中に、電荷蓄積部２１５に蓄積した電荷（信号電荷）を破壊せずに、その電荷量に応じたアナログの画素信号を読み出すことを意味する。なお、露光中とは、露光期間内の任意のタイミングを意味するものとして使用する。

［２－２．その他の構成］
列ＡＤ変換部１２０は、列信号線１６０ごとに設けられたＡＤ変換器１２１で構成されている。ＡＤ変換器１２１は、例えば、１４ｂｉｔのＡＤ変換器である。ＡＤ変換器１２１は、例えば、画素２１０から出力されたアナログの画素信号をランプ方式でデジタル変換することで、画素２１０での受光量に対応するデジタル値を出力する。ＡＤ変換器１２１は、コンパレータ及びアップダウンカウンタ（図示しない）を有する。

ここで、ランプ方式によるＡＤ変換とは、ランプ波を用いたＡＤ変換であり、アナログの画素信号（入力信号）が入力されると、一定の傾斜で電圧が上昇するランプ波を立ち上げ、その立ち上げ時点から、両信号（入力信号とランプ波）の電圧が一致するまでの時間を計測し、その計測時間をデジタル値で出力する方式である。コンパレータは、アナログの画素信号（入力信号）の電圧と、ランプ波として入力される参照信号の電圧とを比較し、参照信号の電圧が列信号の電圧と一致するタイミングを示す信号を出力する。

アップダウンカウンタは、コンパレータに参照信号が入力されてからその参照信号が基準成分を示すアナログの画素信号の電圧に達するまでの期間においてダウンカウント（あるいは、アップカウント）し、続いて、コンパレータに参照電圧が入力されてからその参照信号が信号成分を示すアナログの画素信号の電圧に達するまでの期間においてアップカウント（あるいは、ダウンカウント）することで、アナログの画素信号の信号成分から基準成分を差し引いた差分に相当するデジタルの画素信号を最終的に保持する。基準成分を示すアナログの画素信号は、リセットレベル（例えば、第２オフセット値）のときに画素２１０からＡＤ変換器１２１に出力される画素信号である。また、信号成分を示すアナログの画素信号は、露光動作により電荷が蓄積されたときに画素２１０からＡＤ変換器１２１に出力される画素信号である。

各アップダウンカウンタに保持されたデジタル値は、順次、行信号線１８０に出力され、出力回路（図示しないが、出力バッファなど）を介して、信号処理部３００に出力される。

駆動制御部１５０は、行走査部１３０及び列走査部１４０を制御することにより、画素２１０におけるリセット動作、電荷の蓄積動作、及び読み出し動作、又はＡＤ変換器１２１から信号処理部３００へのデジタルの画素信号の出力動作を制御する。

駆動制御部１５０は、例えば、制御部５００から読み出しの指示を受け付けると、行走査部１３０を制御し、順次選択用走査線１７０Ｂに所定の電圧を印加させ、アナログの画素信号をＡＤ変換部１２０へ出力させる。また、駆動制御部１５０は、列走査部１４０を制御し、ＡＤ変換器１２１に保持されているデジタルの画素信号を順次信号処理部３００へ出力させる。

［３．信号処理部の構成］
続いて、信号処理部３００について、図１を参照しながら説明する。

信号処理部３００は、固体撮像装置１００から取得したデジタルの画素信号に所定の信号処理を行い、画像データを生成し、生成した画像データを格納及び出力する処理を行う。信号処理部３００は、例えば、生成した画像データを表示部７００に出力する。また、信号処理部３００は、例えば、記憶部３６０又は外部の記憶装置（例えば、ＵＳＢメモリなど）に画像データを格納する。

図１に示すように、信号処理部３００は、生成部３１０と、第１判定部３２０と、第１補正部３３０と、第２補正部３４０と、第２判定部３５０と、記憶部３６０とを有する。第１判定部３２０及び第１補正部３３０は、第２撮像動作により取得した画像データから白キズ及び黒キズを除去する処理を実行するために設けられる。また、第２補正部３４０及び第２判定部３５０は、欠陥画素を検出する処理（ピクセルリフレッシュ）を実行するために設けられる。欠陥画素は、例えば、上記の白キズ又は黒キズが発生する画素を意味する。

生成部３１０は、固体撮像装置１００から取得したデジタルの画素信号に所定の信号処理を行い、画像データを生成する処理部である。生成部３１０は、例えば、第１撮像動作により取得されたデジタルの画素信号（第１画素信号の一例）に基づいて画像データ（第１画像データの一例）を生成し、第２撮像動作により取得されたデジタルの画素信号（第２画素信号の一例）に基づいて画像データ（第２画像データの一例）を生成する。

第１判定部３２０は、生成部３１０が生成した第２画像データに黒つぶれ又は白飛びした画素が含まれているか否かを判定する処理部である。本実施の形態では、第１判定部３２０は、欠陥画素及び欠陥画素ではない画素２１０のうち、欠陥画素のみについて、上記の判定を行う。

第１補正部３３０は、第２画像データを補正することで白キズ及び黒キズを除去するためのノイズ除去処理を行う処理部である。第１補正部３３０は、第２画像データと第１画像データとに基づいて、白キズ及び黒キズが除去された第３画像データを生成する。具体的には、第１補正部３３０は、生成部３１０から取得した第１画像データ及び第２画像データと、第１判定部３２０から取得した判定結果とに基づいて、第２画像データから第１画像データを減算することで、第３画像データを生成する。

第２補正部３４０は、生成部３１０から取得した第１画像データに対して、複数の画素２１０それぞれのシェーディング特性に応じた補正処理を行う処理部である。第２補正部３４０は、例えば、１以上のフィルタを有する。本実施の形態では、第２補正部３４０は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ３４１を有する。ＩＩＲフィルタ３４１は、例えば、複数の画素２１０のそれぞれがシェーディング特性を有する場合、複数の画素２１０のそれぞれのシェーディング量（例えば、局所シェーディング量）を求めるために用いられる。

なお、第２補正部３４０は、ＩＩＲフィルタ３４１以外のフィルタを有していてもよいが、より正確な局所シェーディング量を求める観点からＩＩＲフィルタ３４１を有していることが好ましい。詳細は後述するが、ＩＩＲフィルタ３４１は、白キズ及び黒キズの成分を有する第１画像データから当該白キズ及び黒キズの成分を除去することができるので、より正確な局所シェーディング量を求めることができる（図１１を参照）。

第２判定部３５０は、第２補正部３４０から取得した補正処理された第１画像データに基づいて、複数の画素２１０の中から、欠陥画素を特定するための処理を行う処理部である。第２判定部３５０は、例えば、第１画像データにおいて、複数の画素２１０のそれぞれにおける当該画素２１０の画素値が所定範囲外であるか否かの判定を行うことで、欠陥画素を特定する。第２判定部３５０は、欠陥画素である画素２１０の位置を示す位置情報を記憶部３６０に格納する。

記憶部３６０は、信号処理部３００の各処理部が実行するプログラム及び当該プログラムの実行に必要な情報などを格納する記憶装置である。記憶部３６０は、半導体メモリなどが例示される。記憶部３６０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、又は、強誘電体メモリなどで実現されてもよい。なお、記憶部３６０は、撮像装置１０が有していればよく、信号処理部３００が有していなくてもよい。また、記憶部３６０は、信号処理部３００の各処理部のワークメモリとしても機能する。

シャッタ４００は、レンズ６００からの光束が画素アレイ部１１０へ到達する時間を制御するものであり、例えばフォーカルプレーンシャッタなどの、シャッタ幕を走行させる構成のメカニカルシャッタである。このシャッタ４００の開閉動作は、制御部５００により制御される。

制御部５００は、撮像装置１０の各種構成要素を制御する。制御部５００は、操作部８００からの入力に基づいて、固体撮像装置１００、信号処理部３００、及び、シャッタ４００を制御する。制御部５００は、例えば、固体撮像装置１００を駆動し、固体撮像装置１００からのデジタルの画素信号を信号処理部３００に出力させる。また、制御部５００は、有機光電変換膜に印加する電圧を調整することで、露光の開始と露光の終了とを制御してもよい。制御部５００は、例えば、有機光電変換膜に所定の電圧を印加することで透過状態とし、有機光電変換膜への電圧の印加を停止することで遮光状態とする。

また、制御部５００は、信号処理部３００を制御することで、所定の信号処理を実行させる。また、制御部５００は、固体撮像装置１００とシャッタ４００の開閉とを制御することで、第１撮像動作と第２撮像動作とを切り替える。

本実施の形態では、制御部５００は、さらに、リセットトランジスタ２１２のドレインに供給されるリセット電圧Ｖ_ＲＳＴを第１撮像動作時と第２撮像動作時とで異ならせるように固体撮像装置１００を制御する。具体的には、制御部５００は、第１撮像動作時のオフセット値（第１オフセット値の一例）が第２撮像動作時のオフセット値（第２オフセット値の一例）より高くなるように、リセット電圧Ｖ_ＲＳＴを供給するための電源（図示しない）を制御する。

なお、制御部５００は、操作部８００がユーザから撮像の指示を受け付けると、レンズ６００（具体的には、レンズ６００の位置を制御するモータ）を制御し、外部からの光の集光度合などを調整してもよい。

制御部５００は、例えば、メモリ（図示しない）からプログラムを読み出し、読み出しプログラムを実行することで上記の処理を実行する。

［４．撮像装置の処理］
次に、撮像装置１０が実行する処理について図４～図１２を参照しながら説明する。まず、撮像して取得した画像データに含まれる白キズ及び黒キズを除去する処理について、図４～図８Ｂを参照しながら説明する。図４は、本実施の形態に係る撮像装置１０において補正を行うときの動作を示すフローチャートである。図５は、本実施の形態に係る撮像装置１０において補正を行うときの動作を説明するための模式図である。なお、図５の（ａ）～図５の（ｆ）のそれぞれにおいて、縦軸は信号レベルを示しており、横軸は画素位置を示している。

図４に示すように、撮像装置１０は、第２撮像動作により画像データ（第２画像データの一例）を取得する（Ｓ１０）。第２撮像動作は、例えば、長秒露光により行われ、シャッタ４００が開いた状態（透過状態）、かつ、電荷蓄積部２１５に電荷が蓄積される状態で、第１期間（例えば、３０秒～６０秒程度）の露光を行う。言い換えると、ステップＳ１０において、第１期間の電荷の蓄積が実行される。

具体的には、ステップＳ１０において、制御部５００は、シャッタ４００を閉じた状態（遮光状態）で、リセットトランジスタ２１２をオンすることで、電荷蓄積部２１５の電位をリセットする。このときの第２リセット電圧Ｖ_ＲＳＴ２は、第２オフセット値に対応した電圧値（第２リセット電圧）である。そして、制御部５００は、シャッタ４００を制御することでシャッタ４００を開いて光電変換素子２１１が受光可能な状態とし、かつ、リセットトランジスタ２１２をオフする。これにより、電荷蓄積部２１５に光電変換素子２１１の受光量に応じた電荷が蓄積される。

そして、制御部５００は、第１期間の露光が終了すると、駆動制御部１５０を制御し、蓄積された電荷に応じたデジタルの画素信号を順次信号処理部３００へ出力させる。

これにより、信号処理部３００は、例えば、図５の（ａ）に示すように、白キズ及び黒キズを含む画像データを取得する。生成部３１０は、取得した画像データに所定の処理を施す。生成部３１０は、例えば、取得した画像データに対してオフセット減算を実行する（具体的には、画像データから第２オフセット値を減算する）ことで、例えば、図５の（ｂ）に示すようなオフセット減算した画像データ（第２画像データの一例）を生成する。オフセット減算は、画像データから一定のオフセット信号成分を減算するための処理である。本実施の形態では、オフセット減算では、画像データから第２オフセット値が減算される。第２オフセット値は、第２撮像動作において基準となる信号レベルである。

生成部３１０は、生成した第２画像データを第１判定部３２０及び第１補正部３３０に出力する。ステップＳ１０は、第２撮像ステップ及び第２生成ステップの一例である。

次に、撮像装置１０は、第１撮像動作により画像データ（第１画像データの一例）を取得する（Ｓ２０）。第１撮像動作は、シャッタ４００が閉じた状態（遮光状態）、かつ、電荷蓄積部２１５に電荷が蓄積される状態で、第１期間行われる露光である。ステップＳ１０及びＳ２０の露光時間は、例えば、同じ時間である。なお、ステップＳ２０における露光時間は、遮光状態で電荷を蓄積する期間である。

ここで、第１撮像動作により画像データを取得する処理について、図６を参照しながら説明する。図６は、本実施の形態に係る撮像装置１０において第１画像データを取得するときの動作を示すフローチャートである。

図６に示すように、制御部５００は、第１撮像動作において基準となる信号レベルである第１オフセット値を第２オフセット値より高い値に設定する（Ｓ２１）。具体的には、制御部５００は、第１リセット電圧Ｖ_ＲＳＴ１の電圧値を制御することで、第１オフセット値を第２オフセット値より高い値とする。言い換えると、制御部５００は、第１撮像動作における信号レベルの基準値が第１オフセット値に対応する信号レベルとなるように第１リセット電圧Ｖ_ＲＳＴ１の電圧値を制御する。なお、第２オフセット値は、第１オフセット値より前に設定される。第２オフセット値は、露光時間などに応じて予め設定されており、記憶部３６０に記憶されていてもよい。

このように、制御部５００は、遮光して電荷を蓄積する（遮光データを取得する）ときのオフセット値を、遮光せずに電荷を蓄積する（画像データを取得する）ときのオフセット値より高い値に設定する。

制御部５００は、白キズ及び黒キズの両方において、未検出となる成分が存在しないように、第１オフセット値を設定するとよい。制御部５００は、デジタル変換後の信号レベル（画素値）の最大値の１０％～９０％の間の信号レベルに第１オフセット値を設定するとよい。制御部５００は、より好ましくは信号レベル（画素値）の最大値の２０％～８０％の間、さらに好ましくは信号レベル（画素値）の最大値の３０％～７０％の間に第１オフセット値を設定するとよい。また、制御部５００は、白キズ及び黒キズの信号レベルが同程度である場合、信号レベル（画素値）の最大値のおよそ５０％に第２オフセット値を設定してもよい。制御部５００は、デジタル変換後の信号レベル（画素値）が１４ｂｉｔ（０～１６３８３）で示される場合、第１オフセット値を画素値８０００程度に設定してもよい。

制御部５００は、ステップＳ２１において、まずシャッタ４００を閉じた状態（遮光状態）で、リセットトランジスタ２１２をオンすることで、電荷蓄積部２１５の電位をリセットする。このときの第１リセット電圧Ｖ_ＲＳＴ１は、第１オフセット値に対応した電圧値である。第１リセット電圧は、第２リセット電圧とは異なる電圧である。第１リセット電圧は、例えば、第２リセット電圧より高い電圧である。

次に、制御部５００は、第１撮像動作を実行するように制御する（Ｓ２２）。制御部５００は、オフセット値を第１オフセット値とし、遮光状態で電荷の蓄積を行わせる。具体的には、制御部５００は、シャッタ４００を閉じた状態（遮光状態）のまま、リセットトランジスタ２１２をオフすることで、第２期間の電荷の蓄積を行わせる。これにより、電荷蓄積部２１５に画素欠陥に応じた電荷が蓄積される。このとき、欠陥のない画素２１０の電荷蓄積部２１５には、実質的に電荷は蓄積されない。欠陥のない画素２１０の電荷蓄積部２１５は、第２リセット電圧に応じた電荷が蓄積されたままである。ステップＳ２２は、第１撮像ステップの一例である。

なお、第１期間の長さと第２期間の長さとは、例えば、等しい。これにより、生成される第１画像データに含まれる白キズ及び黒キズの信号強度は、第２画像データに含まれる白キズ及び黒キズの信号強度と等しくなるので、後述する処理により効果的に白キズ及び黒キズを除去することができる。第１画像データに含まれる白キズの信号強度は、白キズが発生している画素２１０の信号レベルと、当該画素２１０において白キズが発生していなかった場合の信号レベルとの差分を意味する。また、第１画像データに含まれる黒キズの信号強度は、黒キズが発生している画素２１０の信号レベルと、当該画素２１０において黒キズが発生していなかった場合の信号レベルとの差分を意味する。なお、また、第１期間と第２期間とは、等しいことに限定されない。

次に、生成部３１０は、第１期間の電荷の蓄積が終了すると、固体撮像装置１００から画素信号（第１画素信号）を取得する（Ｓ２３）。具体的には、制御部５００が駆動制御部１５０を制御し、蓄積された電荷に応じたデジタルの画素信号を順次信号処理部３００（例えば、生成部３１０）へ出力させる。これにより、信号処理部３００は、例えば、図５の（ｃ）に示すように、白キズ及び黒キズを含む画像データを取得する。

次に、生成部３１０は、取得した画像データに所定の処理を施すことで第１画像データを生成する（Ｓ２４）。生成部３１０は、例えば、取得した画像データに対してオフセット減算を実施する（具体的には、画像データから第１オフセット値を減算する）ことで、例えば、図５の（ｄ）に示すようなオフセット減算した画像データ（第１画像データの一例）を取得する。ステップＳ２４は、第１生成ステップの一例である。

生成部３１０は、生成した第１画像データを第１補正部３３０に出力する。また、このとき生成部３１０は、さらに、生成した第１画像データを第２補正部３４０に出力してもよい。これにより、被写体を撮像する処理において生成された第１画像データを用いて、後述する欠陥画素を特定する処理を実行することができる。

図４を再び参照して、次に、信号処理部３００は、第２画像データから第１画像データの減算を行うことで、第３画像データを生成する（Ｓ３０）。信号処理部３００は、例えば、図５の（ｂ）に示す画像データ（第２画像データの一例）から図５の（ｄ）に示す画像データ（第１画像データの一例）を減算することで、図５の（ｅ）に示す画像データ（ダーク減算後静止画データ）を生成し、当該画像データに第２オフセット値を加算することで図５の（ｆ）に示す画像データ（オフセット加算後静止画データ）を生成する。図５の（ｆ）に示す画像データは、第３画像データの一例である。また、ステップＳ３０は、第３生成ステップの一例である。

ここで、第３画像データを生成する処理について、図７を参照しながら説明する。図７は、本実施の形態に係る撮像装置１０において第３画像データを生成するときの動作を示すフローチャートである。

図７に示すように、まず第１判定部３２０は、欠陥画素の位置を示す位置情報を取得する（Ｓ３１）。第１判定部３２０は、例えば、記憶部３６０に格納されている欠陥画素の位置情報を読み出す。

次に、第１判定部３２０は、画素ごとに、当該画素（判定を行う対象である対象画素）が欠陥画素であるか否かを判定する（Ｓ３２）。第１判定部３２０は、例えば、欠陥画素の位置情報に基づいて、上記の判定を行う。

次に、第１判定部３２０は、対象画素が欠陥画素である場合（Ｓ３２でＹｅｓ）、画像データ（例えば、画像データで示される画像）が黒つぶれしているか否かを判定する（Ｓ３３）。第１判定部３２０は、当該欠陥画素における画素値に基づいて、黒つぶれしているか否かの判定を行う。黒つぶれとは、例えば、当該結果画素における画素値が第２オフセット値以下であることを意味する。

具体的には、第１判定部３２０は、取得した位置情報により特定される欠陥画素における画素値が第１閾値以下であるか否かを判定する。そして、第１判定部３２０は、欠陥画素の画素値が第１閾値以下である場合に、当該欠陥画素が黒つぶれしていると判定する。なお、第１閾値は、例えば、黒つぶれしているか否かを判定可能な値に設定される。第１閾値は、例えば、第２オフセット値と信号レベル（画素値）が等しい、又は、第２オフセット値より信号レベル（画素値）が若干高い値（例えば、第２オフセット値の信号レベルに対して、１．１倍程度の値）である。

図８Ａは、黒つぶれしている画像データの一例を示す。図８Ａに示すように欠陥画素の画素値が第１閾値以下である場合、第１判定部３２０は、当該欠陥画素が黒つぶれしていると判定する。

第１判定部３２０は、ステップＳ３３において、さらに、黒つぶれしている当該欠陥画素の周囲の画素２１０が黒つぶれしているか否かを判定してもよい。第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０（正常画素）の画素値と、第１閾値とに基づいて、欠陥画素の周囲に配置された画素２１０が黒つぶれしているか否かを判定してもよい。

第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０のうち少なくとも１つの画素２１０の画素値が第１閾値以下である場合、当該欠陥画素の周囲の画素２１０は黒つぶれしていると判定する。例えば、図８Ａは、欠陥画素の周囲の画素２１０が黒つぶれしていない場合を示している。

第１判定部３２０は、欠陥画素が黒つぶれしていると判定する（Ｓ３３でＹｅｓ）と、当該判定結果を第１補正部３３０に出力する（Ｓ３４）。第１判定部３２０は、例えば、黒つぶれしている欠陥画素を特定するための情報を第１補正部３３０に出力する。そして、ステップＳ３５に進む。

第１判定部３２０は、画像データ（例えば、画像データで示される画像）が黒つぶれしていないと判定する（Ｓ３３でＮｏ）と、さらに、画像データ（例えば、画像データで示される画像）が白飛びしているか否かを判定する（Ｓ３６）。白飛びとは、例えば、当該欠陥画素における画素値（信号レベル）が飽和していることを意味する。

具体的には、第１判定部３２０は、例えば、ステップＳ３３でＮｏと判定された欠陥画素における画素値が第２閾値以上であるか否かを判定する。そして、第１判定部３２０は、欠陥画素の画素値が第２閾値以上である場合に、画像データ（例えば、画像データで示される画像）が白飛びしていると判定する。なお、第２閾値は、例えば、白飛びしているか否かを判定可能な値に設定される。第２閾値は、例えば、第１オフセット値より信号レベル（画素値）が大きな値である。第２閾値は、例えば、撮像装置１０が取る得る画素値の最大値に設定されてもよい。

図８Ｂは、白飛びしている画像データの一例を示す。図８Ｂに示すように欠陥画素の画素値が第２閾値以上である場合、第１判定部３２０は、当該欠陥画素が白飛びしていると判定する。

第１判定部３２０は、ステップＳ３６において、さらに、白飛びしている当該欠陥画素の周囲の画素２１０が白飛びしているか否かを判定してもよい。第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０（正常画素）の画素値と、第２閾値とに基づいて、欠陥画素の周囲に配置された画素２１０が白飛びしているか否かを判定してもよい。

第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０のうち少なくとも１つの画素２１０の画素値が第２閾値以上である場合、当該欠陥画素の周囲の画素２１０は白飛びしていると判定する。例えば、図８Ｂは、欠陥画素の周囲の画素２１０が白飛びしている場合（言い換えると、飽和している場合）を示している。

第１判定部３２０は、画像データ（例えば、画像データで示される画像）が白飛びしていると判定する（Ｓ３６でＹｅｓ）と、当該判定結果を第１補正部３３０に出力する（Ｓ３７）。第１判定部３２０は、例えば、白飛びしている欠陥画素を特定するための情報を第１補正部３３０に出力する。そして、ステップＳ３５に進む。

なお、第１閾値及び第２閾値は、例えば、予め記憶部３６０に格納されている。

黒つぶれ又は白飛びしている場合、長秒露光において、黒キズ又は白キズの未検出成分が存在する。図８Ａの例では、第１閾値以下の黒キズの成分が未検出成分である。また、図８Ｂの例では、第２閾値以上の白キズの成分が未検出成分である。このように黒キズ又は白キズの未検出成分が存在する場合に減算処理を行うと、第２画像データを適切に補正する（ノイズ除去する）ことができない。よって、第１補正部３３０は、そのような欠陥画素に対する減算処理を行わない。

次に、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素（当該画素）の画素値を、当該欠陥画素の周囲の画素２１０（正常画素）の画素値に基づいて決定する（Ｓ３５）。第１補正部３３０は、例えば、周囲の画素２１０それぞれの画素値の平均値を、当該欠陥画素の画素値に決定する。例えば、第１補正部３３０が有するメディアンフィルタ（図示しない）等のフィルタにより、上記の処理が実行される。なお、第１補正部３３０は、周囲の画素２１０それぞれの画素値の平均値を当該欠陥画素の画素値に決定することに限定されず、周囲の画素２１０それぞれの画素値の最大値、最小値、中央値、最頻値等を当該欠陥画素の画素値に決定してもよい。

このように、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素（当該画素）における減算処理を行わない。

なお、第１補正部３３０は、欠陥画素の周囲の画素２１０が黒つぶれしている、又は、欠陥画素の周囲の画素２１０が白飛びしている場合、当該欠陥画素におけるステップＳ３５の処理を実行しなくてもよい。これは、欠陥画素の画素値を補完するための当該欠陥画素の周囲の画素２１０の画素値が、正確な値ではないためである。

また、第１補正部３３０は、第１判定部３２０により欠陥画素が黒つぶれ及び白飛びしていないと判定される（Ｓ３３及びＳ３６でＮｏ）と、欠陥画素（当該画素）における減算処理を実行する（Ｓ３８）。

また、第１補正部３３０は、第１判定部３２０により対象画素が欠陥画素ではないと判定される（Ｓ３２でＮｏ）と、当該画素（正常画素）における減算処理を実行する（Ｓ３８）。

第１補正部３３０は、ステップＳ３５又はＳ３８の処理が終了すると、全ての画素において、ステップＳ３２の判定をしたか否かの判定を行う（Ｓ３９）。全ての画素２１０においてステップＳ３２の判定が終了している場合（Ｓ３９でＹｅｓ）、ステップＳ３０の処理を終了する。また、全ての欠陥画素においてステップＳ３２の判定が終了していない場合（Ｓ３９でＮｏ）、ステップＳ３２に戻り残りの画素２１０に対して処理が継続される。

なお、図７では、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素においては、減算処理を実行しない例について説明したが、これに限定されない。第１補正部３３０は、欠陥画素のそれぞれにおいて減算処理を実行し、減算処理を実行した後に、黒つぶれ又は白飛びしている欠陥画素において、ステップＳ３５の処理を実行してもよい。

なお、図７では、第１判定部３２０は、欠陥画素について、黒つぶれ及び白飛びしているか否かを判定したが、当該判定を行わなくてもよい。第１補正部３３０は、記憶部３６０から欠陥画素の位置情報を取得し、取得した位置情報により特定される欠陥画素のそれぞれにおいて、ステップＳ３５の処理を実行してもよい。このように、欠陥画素が特定できる場合には、当該欠陥画素の画素値を、メディアンフィルタ等により当該欠陥画素の周囲の画素２１０の画素値の平均値に置き換えてもよい。また、この場合、第２画像データから第１画像データを減算する処理は、行われなくてもよい。

図４を再び参照して、次に、第１補正部３３０は、第３画像データを出力する（Ｓ４０）。第１補正部３３０は、第３画像データを表示部７００に出力することで当該第３画像データに対応する画像を表示部７００に表示させてもよいし、第３画像データを記憶部３６０に出力することで当該第３画像データを格納してもよい。また、第１補正部３３０は、撮像装置１０が無線通信モジュールを備える場合、当該無線通信モジュールを介して第３画像データを送信してもよい。

なお、図４に示す処理は、長秒露光における撮像が実施されるたびに実行されてもよいし、所定の期間ごとに実行されてもよい。また、ステップＳ２０における第１画像データの取得は、ステップＳ１０を実行する前に撮像装置１０が撮像動作を行ったときに取得した第１画像データを取得することで行われてもよい。言い換えると、ステップＳ２０では、第１撮像動作を行わなくてもよい。生成部３１０は、例えば、第１画像データを記憶部３６０に格納する。第１判定部３２０は、ステップＳ２０において、現在の撮像よりも以前に取得され、かつ、記憶部３６０に格納されている第１画像データを記憶部３６０から読み出すことで第１画像データを取得してもよい。このとき、第１判定部３２０は、記憶部３６０に複数の第１画像データが格納されている場合、最も直近に記憶部３６０に格納された第１画像データを読み出してもよいし、第１期間が現在のステップＳ２０における第２期間と近い第１画像データを読み出してもよい。

具体的には、第１判定部３２０は、ステップＳ１０の第２撮像動作における露出条件と同じ露出条件で撮像された第１画像データが記憶部３６０に記憶されている場合に、当該第１画像データを読み出す読出判定を行ってもよい。また、第１判定部３２０は、前回の第２撮像動作における露出条件と現在の第２撮像動作における露出条件とに変更がない場合に、上記の読出判定を行ってもよい。また、第１判定部３２０は、前回の第２撮像動作における露出条件と現在の第２撮像動作における露出条件とに変更がなく、かつ、前回からの経過時間が所定時間内（例えば、１分以内など）である場合に、上記の読出判定を行ってもよい。なお、前回からの経過時間とは、例えば、前回における第２撮像動作により画像データを取得してから、今回における第２撮像動作により画像データを取得するまでの時間である。

また、第１判定部３２０は、前回の第２撮像動作における露出条件と今回の第２撮像動作における露出条件とに変更がなく、かつ、当該２回の第２撮像動作における固体撮像装置１００の温度（例えば、光電変換素子２１１の温度）が同じ場合に、上記の読出判定を行ってもよい。例えば、第１判定部３２０は、当該２回の第２撮像動作における固体撮像装置１００又は撮像装置１０内の温度の差が所定範囲内（例えば、±１度以内）である場合に、上記の読出判定を行ってもよい。なお、この場合、撮像装置１０は、固体撮像装置１００等の温度を計測する温度センサを備える。温度センサは、例えば、撮像装置１０内の温度を計測する。なお、露出条件は、絞り、シャッタースピード、及び、ＩＳＯ感度の少なくとも１つを含む。

そして、ステップＳ２０において、第１判定部３２０は、読出判定を行った場合、第１画像データを記憶部３６０から読み出すことで、第１画像データを取得してもよい。第１判定部３２０は、記憶部３６０に複数の第１画像データが格納されている場合、上記の読出判定を行い得る第１画像データが少なくとも１つあれば、上記の読出判定を行ってもよい。

続いて、白キズ又は黒キズが発生する画素２１０（欠陥画素）を特定する処理について、図９～図１２を参照しながら説明する。図９は、本実施の形態に係る撮像装置１０において欠陥画素の位置情報を取得するときの動作を示すフローチャートである。図９に示す処理は、カメラ１が出荷されるとき、又は、ユーザによりピクセルリフレッシュが行われたときに実行される。

図９に示すように、まず、第２撮像動作により画像データ（第２画像データの一例）を取得する（Ｓ１１０）。ステップＳ１１０の処理は、ステップＳ１０と同様であり、説明を省略する。なお、欠陥画素を検出する検出動作を行うときには、第２画像データと第１画像データとの差分を算出しないので、ステップＳ１１０は、行われなくてもよい。

次に、撮像装置１０は、第１撮像動作により画像データ（第１画像データの一例）を取得する（Ｓ１２０）。ステップＳ１２０の処理は、ステップＳ２０と同様であり、説明を省略する。

次に、撮像装置１０は、第１画像データに対して、シェーディング補正処理を実行する（Ｓ１３０）。具体的には、第２補正部３４０は、ＩＩＲフィルタ３４１を用いてシェーディング補正処理を実行する。ステップＳ１３０は、補正ステップの一例である。

図１０は、本実施の形態に係る撮像装置１０におけるシェーディング特性の一例を示す図である。図１０に縦軸は信号レベルを示し、横軸は画素位置を示す。また、上限閾値及び下限閾値は、欠陥画素であるか否かを判定するための閾値である。具体的には、上限閾値は、白キズが発生しているか否かを判定するための画素値である。下限閾値は、黒キズが発生しているか否かを判定するための画素値である。また、一点鎖線は、シェーディングがないときの黒レベル（基準となる信号レベルであり、例えば、第１オフセット値に基づく信号レベル）を示す。なお、シェーディング特性は、複数の画素２１０のそれぞれで、ばらつく傾向がある。また、シェーディングがないときの黒レベルの情報は、例えば、記憶部３６０に記憶されている。

図１０では、白キズｗ１及びｗ２と、黒キズｂ１～ｂ３とが発生している。シェーディングがないときであれば、白キズｗ１及びｗ２は上限閾値以上であり、当該画素２１０は欠陥画素と判定される。また、シェーディングがないときであれば、黒キズｂ１～ｂ３のそれぞれは、下限閾値以下であり、当該画素２１０は欠陥画素と判定される。しかしながら、図１０に示すように、シェーディングがあることで、白キズｗ１が発生している画素２１０の画素値及び黒キズｂ３が発生している画素２１０の画素値はそれぞれ、上限閾値及び下限閾値の間に位置している。このため、第２判定部３５０は、シェーディングが発生している場合、白キズｗ１が発生している画素２１０及び黒キズｂ３が発生している画素２１０を欠陥画素であると判定することができない。そこで、第２補正部３４０は、上記のように、シェーディング特性を補正するシェーディング補正処理を実行する。

図１１は、本実施の形態に係る撮像装置１０におけるシェーディング補正処理を説明するための図である。具体的には、図１１は、シェーディング補正処理において、局所シェーディング量を算出する処理を説明するための図である。図１１の（ａ）は、図１０に示す破線領域Ｒに対応しており、破線領域Ｒを拡大して示す図である。図１１の（ａ）では、白キズｗ１が発生している画素２１０を画素ｐ６として図示しており、その周辺の画素２１０を画素ｐ１～ｐ５、及び、ｐ７～ｐ１１として図示している。また、図１１の（ｂ）は、図１１の（ｃ）に示す破線領域Ｒの画素における局所シェーディング量を示す。

また、図１１の（ａ）は、ＩＩＲフィルタ３４１に入力される画像データであり、例えば、生成部３１０から出力された第１画像データ（長秒露光遮光データ）である。図１１の（ｂ）は、ＩＩＲフィルタ３４１から出力されるデータであり、シェーディング量（局所シェーディング量）を示す。なお、局所シェーディング量は、例えば、画素２１０のそれぞれに対するシェーディング量を意味する。

図１１の（ａ）に示すように、画素ごとのシェーディング特性による信号レベル（画素値）のバラツキが生じている。第２補正部３４０は、例えば、画素ｐ１～ｐ１１の並び方向の一方から他方に向けて局所シェーディング量算出処理を実行する。本実施の形態では、第２補正部３４０は、画素ｐ１から画素ｐ１１に向けて順次局所シェーディング量算出処理を実行する。

図１１の（ａ）及び（ｂ）に示すように、第２補正部３４０は、画素ｐ１の出力の画素値（以降において、出力画素値とも記載する）を画素ｐ１の入力の画素値（入力画素値とも記載する）とする。そして、第２補正部３４０は、画素ｐ２の出力画素値を、画素ｐ２の入力画素値と画素ｐ１の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）以下である場合、例えば、当該差分の絶対値が予め定められた閾値以下である場合、画素ｐ２に白キズ又は黒キズが発生していないと判定する。これは、画素ｐ３が正常画素であることを意味する。そして、第２補正部３４０は、画素ｐ２の出力画素値を画素ｐ２の入力画素値と画素ｐ１の出力画素値（第１平均値の一例）とに基づく平均値（第２平均値の一例）とする。第２補正部３４０は、当該平均値を等価平均により算出してもよいし、重みづけ平均により算出してもよい。

次に、第２補正部３４０は、画素ｐ３の出力画素値を、画素ｐ３の入力画素値と画素ｐ２の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）以下である場合、画素ｐ３に白キズ又は黒キズが発生していないと判定する。これは、画素ｐ３が正常画素であることを意味する。そして、第２補正部３４０は、画素ｐ３の出力画素値を画素ｐ３の入力画素値と画素ｐ２の出力画素値（第１平均値の一例）とに基づく平均値（第２平均値の一例）とする。このように、第２補正部３４０は、白キズ又は黒キズが発生していない画素２１０の画素値を平均化する処理を行う。

第２補正部３４０は、このように順次局所シェーディング量算出処理を実行する。

次に、白キズ又は黒キズが発生している欠陥画素における局所シェーディング量算出処理について説明する。第２補正部３４０は、画素ｐ６の出力画素値を、画素ｐ６の入力画素値と画素ｐ５の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）より大きい場合、例えば、当該差分の絶対値が予め定められた閾値より大きい場合、画素ｐ６に白キズ又は黒キズが発生していると判定する。これは、画素ｐ６が欠陥画素であることを意味する。そして、第２補正部３４０は、画素ｐ６の出力画素値を画素ｐ５の出力画素値（第１平均値の一例）とする。

これにより、白キズ又は黒キズが発生している画素であっても、当該画素の出力画素値を、当該白キズ又は黒キズの影響を排除した平均値（局所シェーディング量）とすることができる。このように、第２補正部３４０は、白キズ又は黒キズが発生している画素２１０の画素値を当該画素２１０に対して一方向（図１１の例では、左側方向）に位置する１以上の画素２１０のそれぞれの画素値の平均値に置き換える処理を行う。

第２補正部３４０は、上記の処理を複数の画素２１０のそれぞれで実行する。第２補正部３４０は、例えば、ＩＩＲフィルタ３４１を用いて上記の処理を実行する。これにより、白キズ又は黒キズの影響を抑制しつつ、複数の画素２１０のそれぞれにおける局所シェーディング量を算出することができる。つまり、ＩＩＲフィルタ３４１によれば、白キズ及び黒キズの成分を有する第１画像データから当該白キズ及び黒キズの成分を除去することができるので、より正確な局所シェーディング量を求めることができる。

第２補正部３４０は、複数の画素２１０のそれぞれで上記の処理を実行した後、複数の画素２１０のそれぞれにおいて、入力である第１画像データから当該局所シェーディング量に基づく補正値を減算する。第２補正部３４０は、例えば、図１１の（ｃ）に示す複数の画素２１０それぞれの補正値を第１画像データから減算する。第２補正部３４０は、シェーディングがないときの黒レベル（信号レベル）と図１１の（ｂ）に示す局所シェーディング量とに基づいて、図１１の（ｃ）に示す補正値を算出する。第２補正部３４０は、例えば、複数の画素２１０のそれぞれにおける、シェーディングがないときの黒レベル（信号レベル）と図１１の（ｂ）に示す局所シェーディング量との差分を補正値として算出する。

図１１の（ｃ）は、図１０に示した画素２１０と対応する画素２１０の補正値を示している。図１１の（ｃ）の破線領域Ｒにおける補正値は、図１１の（ｂ）に示す画素ｐ１～ｐ１１における局所シェーディング量に基づく補正値を示している。また、図１１の（ｃ）の５つの破線丸は、図１０に示す黒キズ又は白キズが発生している。欠陥画素及び当該欠陥画素の周辺の画素に対応する補正値を示している。具体的には、破線丸は、紙面上における左側から、白キズｗ１、黒キズｂ１、黒キズｂ２、黒キズｂ３、及び、白キズｗ２が発生している欠陥画素を含む補正値を示す。

白キズ又は黒キズが発生している欠陥画素の補正値は、当該欠陥画素のとなりの画素の補正値と等しくなる。白キズｗ１が発生している欠陥画素を例に説明すると、破線領域Ｒに含まれる白キズｗ１が発生している画素ｐ６の補正値は、当該画素ｐ６のとなりの画素２１０（図１１の（ｃ）では、左側に隣接する画素２１０）の補正値と等しくなる。なお、黒キズｂ１、黒キズｂ２、黒キズｂ３、及び、白キズｗ２が発生している欠陥画素の補正値（図１１の（ｃ）における、他の破線丸内の補正値）も同様である。

これにより、第２補正部３４０は、シェーディング特性の影響が除去された第１画像データを生成することができる。第２補正部３４０は、シェーディング補正処理した第１画像データを第２判定部３５０に出力する。なお、局所シェーディング量に基づく補正値は、局所シェーディング量に上記以外の所定の演算を行うことで算出されてもよいし、局所シェーディング量そのものであってもよい。

図１２は、本実施の形態に係る撮像装置１０におけるシェーディング補正処理された第１画像データを示す図である。具体的には、図１０に示す第１画像データにシェーディング補正処理を施した第１画像データを示す。

図９を再び参照して、第２判定部３５０は、複数の画素２１０のそれぞれの、シェーディング補正処理された第１画像データにおける画素値が所定範囲外であるか否かを判定する（Ｓ１４０）。言い換えると、第２判定部３５０は、複数の画素２１０のそれぞれにおいて、第１画像データに基づいて、白キズ又は黒キズが発生しているか否かを判定する。

ここで、図１２に示すように、第２判定部３５０は、シェーディングの影響が除去された第１画像データを用いることで、上記の判定をより精度よく行うことができる。第２判定部３５０は、例えば、上限閾値及び下限閾値などの一定の値により規定される閾値を用いて、上記の判定を行うことができる。ステップＳ１４０は、判定ステップの一例である。

第２判定部３５０は、画素値が所定範囲外であると判定する（Ｓ１４０でＹｅｓ）と、当該画素２１０の位置情報を記憶部３６０に格納する（Ｓ１５０）。位置情報は、当該画素２１０の位置を示す情報である。ステップＳ１５０は、格納ステップの一例である。

また、第２判定部３５０は、画素値が所定範囲外ではないと判定する（Ｓ１４０でＮｏ）と、ステップＳ１６０に進む。つまり、第２判定部３５０は、画素値が所定範囲外ではない場合、当該画素２１０の位置情報を記憶部３６０に格納しない。

次に、第２判定部３５０は、複数の画素２１０の全ての画素２１０において上記の判定をしたか否かを判定する（Ｓ１６０）。第２判定部３５０は、全ての画素２１０においてステップＳ１４０の判定をした場合（Ｓ１６０でＹｅｓ）、処理を終了する。また、第２判定部３５０は、全ての画素２１０においてステップＳ１４０の判定をしていない場合（Ｓ１６０でＮｏ）、ステップＳ１４０に戻り残りの画素２１０に対して処理を継続する。

［５．適用例］
上記の撮像装置１０が内蔵されたカメラ１の例として、例えば、図１３の（ａ）に示されるデジタルスチルカメラ１Ａや図１３の（ｂ）に示されるデジタルビデオカメラ１Ｂなどが挙げられる。例えば、図１３の（ａ）又は図１３の（ｂ）などのカメラに本実施の形態に係る撮像装置１０が内蔵されることで、上記に説明したように、黒キズ及び白キズが発生した場合であっても、黒キズ及び白キズの双方を適切に検出することができ、かつ当該黒キズ及び白キズを適切に除去することができる。

なお、カメラ１は、スマートフォン又はタブレット端末等の携帯端末、ゲーム機等に内蔵されてもよい。

［６．効果など］
以上のように、本実施の形態に係る画像生成方法は、複数の画素２１０を備える撮像装置１０における画像生成方法であって、複数の画素２１０のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で第１撮像動作を行う第１撮像ステップ（Ｓ２２）と、第１撮像動作により取得された画素信号（第１画素信号の一例）に基づいて第１画像データを生成する第１生成ステップ（Ｓ２４）とを含む。そして、第１オフセット値は、複数の画素２１０のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い。

これにより、黒キズが発生している場合に、第１撮像動作におけるオフセット値が第２オフセット値である場合に比べて、当該黒キズによる黒つぶれが発生することを抑制することができるので、当該黒キズを精度よく検出することができる。よって、本実施の形態に係る画像生成方法によれば、従来よりもノイズを適切に取得することができる。すなわち、本実施の形態に係る画像生成方法によれば、従来よりも正確にノイズを取得することができる。

また、例えば、撮像装置が上記の方法で取得された第１画像データを用いてノイズ（白キズ及び黒キズ）補正を行う場合、従来よりも精度よく補正を行うことができる。特に黒キズにおいて、従来よりも精度よく補正を行うことができる。

また、画像生成方法は、さらに、第２撮像動作を行う第２撮像ステップ（Ｓ１０）と、第２撮像動作により取得された画素信号（第２画素信号の一例）に基づいて第２画像データを生成する第２生成ステップ（Ｓ１０）と、第２画像データから第１画像データの減算を行うことで、第３画像データを生成する第３生成ステップ（Ｓ３０）とを含む。

これにより、第３画像データは、従来よりもノイズが除去された画像データとなる。つまり、従来よりもノイズが除去された、特に黒キズが除去された画像データを取得することができる。

また、画像生成方法は、さらに、第１画像データに基づいて、複数の画素２１０のそれぞれにおいて第１画像データにおける当該画素２１０の画素値が所定範囲外であるか否かの判定を行う判定ステップ（Ｓ１４０）と、判定ステップにおいて、画素値が所定範囲外であると判定された欠陥画素の位置を示す位置情報を格納する格納ステップ（Ｓ１５０）とを含む。

これにより、判定ステップにおいて、欠陥画素の判定をより精度よく行うことができる。例えば、従来に比べて黒キズが発生する欠陥画素をより精度よく検出することができる。

また、画像生成方法は、さらに、第１生成ステップで生成された第１画像データに対して、複数の画素２１０のそれぞれのシェーディング特性に応じて、第１画像データにおける画素値を補正する補正ステップを含む（Ｓ１３０）。そして、判定ステップでは、補正ステップで補正された第１画像データに対して判定を行う。

これにより、シェーディング特性の影響を受けずに欠陥画素であるか否かの判定を行うことができるので、判定ステップにおける判定精度がさらに向上する。

また、補正ステップでは、複数の画素２１０のうちの当該画素２１０における画素値と、当該画素２１０に対して一方向に位置する１以上の画素２１０それぞれの画素値の第１平均値との差分が第３閾値以下である場合、当該画素２１０の画素値と第１平均値との平均値である第２平均値を当該画素２１０の画素値とし、当該差分が第３閾値より大きい場合、当該画素２１０の画素値を第１平均値とすることでシェーディング特性を取得する。

これにより、白キズ及び黒キズの影響を受けずにシェーディング特性（例えば、局所シェーディング量）を取得することができる。よって、白キズ及び黒キズが発生している場合であっても、シェーディング特性に応じた補正をより精度よく行うことができる。

また、第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した位置情報に基づく欠陥画素の第２画像データにおける画素値が第２オフセット値より低い信号レベルである第１閾値以下である場合、当該欠陥画素における減算を停止する。

これにより、黒つぶれしている欠陥画素、つまり黒キズにおいて未検出となるノイズ成分が存在する欠陥画素に対しては、減算処理が行われない。つまり、黒キズの補正が適切に行えない欠陥画素に対して減算処理を行わないことで、不適切な補正（例えば、減算しすぎるなど）が行われることを抑制することができる。

また、第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した位置情報に基づく欠陥画素の第２画像データにおける画素値が第２オフセット値より高い信号レベルである第２閾値以上である場合、当該欠陥画素における減算を停止する。

これにより、白飛びしている欠陥画素、つまり白キズにおいて未検出となるノイズ成分が存在する欠陥画素に対しては、減算処理が行われない。つまり、白キズの補正が適切に行えない欠陥画素に対して減算処理を行わないことで、不適切な補正（例えば、減算しすぎるなど）が行われることを抑制することができる。

また、第３生成ステップでは、減算を停止した欠陥画素の画素値を、当該欠陥画素の周囲に配置された画素２１０の画素値に基づいて決定する。

これにより、黒つぶれ又は白飛びしている欠陥画素の画素値を、周囲の画素２１０の画素値に基づいて補完することができる。よって、白キズ又は黒キズに対して適切な補正が行えない場合であっても、欠陥画素の画素値を適切に決定することができる。

また、第２撮像動作における露光時間と、前記第１撮像動作における露光時間とは、等しい。

これにより、欠陥画素のそれぞれにおいて、第１画像データ及び第２画像データに含まれる白キズ及び黒キズの信号レベルが等しくなる。よって、第２画像データから白キズ及び黒キズを効果的に除去することができる。

また、撮像装置１０は、所定時間の露光を行う通常露光と、所定時間よりも長い露光を行う長秒露光とを実行可能である。そして、第２撮像動作は、長秒露光により行われ、第２オフセット値は、通常露光において基準となる信号レベルである第３オフセット値と同じ値である。

これにより、白キズ及び黒キズが顕著に発生しやすい長秒露光において、当該白キズ及び黒キズを適切に除去することができる。

また、以上のように、本実施の形態に係る撮像装置１０は、複数の画素２１０と、複数の画素２１０のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部５００と、第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部３１０とを備える。そして、制御部５００は、第１オフセット値を、複数の画素２１０のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する。また、以上のように、本実施の形態に係るプログラムは、上記の画像生成方法をコンピュータに実行させるためのプログラムである。

これにより、上記の画像生成方法と同様の効果を奏する。

（他の実施の形態）
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

例えば、上記実施の形態では、画像生成方法等は、画像データに白キズ及び黒キズの両方が含まれている場合に実行される例について説明したが、これに限定されない。画像生成方法等は、画像データに白キズ及び黒キズのうち黒キズのみが含まれている場合に実行されてもよい。これにより、黒キズを適切に取得することができる。

また、上記実施の形態では、第１判定部３２０は、ステップＳ３２及びＳ３３において、欠陥画素について、黒つぶれ及び白飛びしているか否かを判定したがこれに限定されない。第１判定部３２０は、正常画素においても黒つぶれ及び白飛びしているか否かを判定してもよい。

また、上記実施の形態における第２補正部３４０は、ＩＩＲフィルタ３４１に替えて、又は、ＩＩＲフィルタ３４１とともに、ローパスフィルタ又は最小値フィルタ等を有していてもよい。

また、上記実施の形態において、第１補正部３３０は、さらに、シェーディング補正処理を行ってもよい。第１補正部３３０は、例えば、ＩＩＲフィルタを有し、第１画像データ及び第２画像データの少なくとも一方、又は、第３画像データに対して、シェーディング補正処理を行ってもよい。

また、上記実施の形態では、第２補正部３４０は、算出した局所シェーディング量を用いて第１画像データを補正する例について説明したが、これに限定されない。第２補正部３４０は、例えば、算出した局所シェーディング量を用いて、予め定められた第３閾値及び第４閾値を補正してもよい。第２補正部３４０は、シェーディング量に応じた補正が行われた第３閾値及び第４閾値を第２判定部３５０に出力する。そして、第２判定部３５０は、シェーディングがある第１画像データと、シェーディング量に応じた補正が行われた第３閾値及び第４閾値とに基づいて、ステップＳ１４０の判定を行ってもよい。このように、第２補正部３４０は、各画素位置において、局所シェーディング量に応じた閾値（例えば、第３閾値及び第４閾値）を設定してもよい。

また、撮像装置１０における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、撮像装置１０に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。

また、上記のような制御部５００、生成部３１０、第１判定部３２０、第１補正部３３０、第２補正部３４０及び第２判定部３５０等の処理部を構成する各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。例えば、図４に示すステップＳ１０とステップＳ２０とは、順序が逆であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。

本開示は、画像を撮像する撮像装置に広く利用可能である。

１ カメラ
１Ａ デジタルスチルカメラ
１Ｂ デジタルビデオカメラ
１０ 撮像装置
１００ 固体撮像装置
１１０ 画素アレイ部
１２０ 列ＡＤ変換部
１２１ ＡＤ変換器
１３０ 行走査部
１４０ 列走査部
１５０ 駆動制御部
１６０ 列信号線
１７０ 走査線
１７０Ａ リセット用走査線
１７０Ｂ 選択用走査線
１８０ 行信号線
２１０、ｐ１～ｐ１１ 画素
２１１ 光電変換素子
２１１ａ 上部電極
２１１ｂ 下部電極
２１１ｃ 光電変換膜
２１２ リセットトランジスタ
２１３ 増幅トランジスタ
２１４ 選択トランジスタ
２１５ 電荷蓄積部
３００ 信号処理部
３１０ 生成部
３２０ 第１判定部
３３０ 第１補正部
３４０ 第２補正部
３４１ ＩＩＲフィルタ
３５０ 第２判定部
３６０ 記憶部
４００ シャッタ
５００ 制御部
６００ レンズ
７００ 表示部
８００ 操作部
ｗ１、ｗ２ 白キズ
ｂ１～ｂ３ 黒キズ
Ｒ 破線領域

Claims (12)

1. 複数の画素を備える撮像装置における画像生成方法であって、
   前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う第１撮像ステップと、
   前記第１撮像動作により取得された第１画素信号に基づいて第１画像データを生成する第１生成ステップとを含み、
   前記第１オフセット値は、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い
   画像生成方法。
2. さらに、
   前記第２撮像動作を行う第２撮像ステップと、
   前記第２撮像動作により取得された第２画素信号に基づいて第２画像データを生成する第２生成ステップと、
   前記第２画像データから前記第１画像データの減算を行うことで、第３画像データを生成する第３生成ステップとを含む
   請求項１に記載の画像生成方法。
3. さらに、
   前記第１画像データに基づいて、前記複数の画素のそれぞれにおいて前記第１画像データにおける当該画素の画素値が所定範囲外であるか否かの判定を行う判定ステップと、
   前記判定ステップにおいて、前記画素値が前記所定範囲外であると判定された欠陥画素の位置を示す位置情報を格納する格納ステップとを含む
   請求項１又は２に記載の画像生成方法。
4. さらに、前記第１生成ステップで生成された前記第１画像データに対して、前記複数の画素のそれぞれのシェーディング特性に応じて、前記第１画像データにおける前記画素値を補正する補正ステップを含み、
   前記判定ステップでは、前記補正ステップで補正された前記第１画像データに対して前記判定を行う
   請求項３に記載の画像生成方法。
5. 前記補正ステップでは、前記複数の画素のうちの当該画素における前記画素値と、当該画素に対して一方向に位置する１以上の画素それぞれの前記画素値の第１平均値との差分が第３閾値以下である場合、当該画素の前記画素値と前記第１平均値との平均値である第２平均値を当該画素の前記画素値とし、前記差分が前記第３閾値より大きい場合、当該画素の前記画素値を前記第１平均値とすることで前記シェーディング特性を取得する
   請求項４に記載の画像生成方法。
6. 前記第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した前記位置情報に基づく前記欠陥画素の前記第２画像データにおける画素値が前記第２オフセット値より低い信号レベルである第１閾値以下である場合、当該欠陥画素における前記減算を停止する
   請求項２に記載の画像生成方法。
7. 前記第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した前記位置情報に基づく前記欠陥画素の前記第２画像データにおける画素値が前記第２オフセット値より高い信号レベルである第２閾値以上である場合、当該欠陥画素における前記減算を停止する
   請求項２に記載の画像生成方法。
8. 前記第３生成ステップでは、前記減算を停止した前記欠陥画素の画素値を、当該欠陥画素の周囲に配置された画素の画素値に基づいて決定する
   請求項６又は７に記載の画像生成方法。
9. 前記第２撮像動作における露光時間と、前記第１撮像動作における露光時間とは、等しい
   請求項１～８のいずれか１項に記載の画像生成方法。
10. 前記撮像装置は、所定時間の露光を行う通常露光と、前記所定時間よりも長い露光を行う長秒露光とを実行可能であり、
    前記第２撮像動作は、前記長秒露光により行われ、
    前記第２オフセット値は、前記通常露光において基準となる信号レベルである第３オフセット値と同じ値である
    請求項１～９のいずれか１項に記載の画像生成方法。
11. 複数の画素と、
    前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部と、
    前記第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部とを備え、
    前記制御部は、前記第１オフセット値を、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する
    撮像装置。
12. 請求項１に記載の画像生成方法をコンピュータに実行させるためのプログラム。

Images