WO2016113936A1

WO2016113936A1 - 画像補正装置、撮像装置、及び、補正テーブル作成方法

Info

Publication number: WO2016113936A1
Application number: PCT/JP2015/071525
Authority: WO
Inventors: 大志関口; 前田　利久
Original assignee: Rohm Co Ltd
Current assignee: Rohm Co Ltd
Priority date: 2015-01-16
Filing date: 2015-07-29
Publication date: 2016-07-21
Anticipated expiration: 2017-07-16
Also published as: JP2016134688A

Abstract

　画像補正装置２０は、イメージセンサ１１を形成している複数の受光素子Ｐ（ｘ，ｙ）で得られる複数の第１画素データＤ１（ｘ，ｙ）から画素毎のダークノイズ補正データＡｄ（ｘ，ｙ）を減算することにより複数の第２画素データＤ２（ｘ，ｙ）を生成するダークノイズ補正部２１と、複数の第２画素データＤ２（ｘ，ｙ）に画素毎のセンサ感度補正データＡｓ（ｘ，ｙ）を乗算することにより複数の第３画素データＤ３（ｘ，ｙ）を生成するセンサ感度補正部２２と、を有する。

Description

画像補正装置、撮像装置、及び、補正テーブル作成方法

　本発明は、画像補正装置、撮像装置、及び、補正テーブル作成方法に関する。

　本願出願人による特許文献１では、均一な光電変換領域にＡｌグリッドパターンを形成することにより、ＳＮＲ［signal-to-noise ratio］を改善する技術が提案されている。

特開２０１４－６０３８０号公報

　しかしながら、特許文献１の従来技術では、Ａｌグリッドパターンにより光電変換領域の開口率が低下するという課題があった。

　本明細書中に開示されている発明は、本願の発明者らにより見出された上記の課題に鑑み、光電変換領域の開口率を下げずにＳＮＲを改善することのできる画像補正装置、撮像装置、及び、補正テーブル作成方法を提供することを目的とする。

　本明細書中に開示されている画像補正装置は、イメージセンサを形成する複数の受光素子で得られる複数の第１画素データから画素毎のダークノイズ補正データを減算することにより複数の第２画素データを生成するダークノイズ補正部と、前記複数の第２画素データに画素毎のセンサ感度補正データを乗算することにより複数の第３画素データを生成するセンサ感度補正部と、を有する構成（第１の構成）とされている。

　なお、上記第１の構成から成る画像補正装置は、欠陥のある第３画素データを隣接画素データで補間することにより第４画素データを生成する欠陥画素補正部をさらに有する構成（第２の構成）にするとよい。

　また、本明細書中に開示されている撮像装置は、イメージセンサを用いて入力撮像データを生成する撮像部と、前記入力撮像データを補正して出力撮像データを生成する上記第１または第２の構成から成る画像補正装置とを有する構成（第３の構成）とされている。

　なお、上記第３の構成から成る撮像装置において、前記イメージセンサは、ＣＩＧＳイメージセンサである構成（第４の構成）にするとよい。

　また、上記第３または第４の構成から成る撮像装置は、前記ダークノイズ補正データ及び前記センサ感度補正データを格納する記憶部をさらに有する構成（第５の構成）にするとよい。

　また、上記第５の構成から成る撮像装置において、前記記憶部は、前記ダークノイズ補正データ及び前記センサ感度補正データを不揮発的に格納する不揮発性メモリと、前記不揮発性メモリよりもアクセス速度の速い揮発性メモリと、を含み、前記画像補正装置は、前記撮像装置の起動時に前記不揮発性メモリから前記揮発性メモリにロードされるダークノイズ補正データ及びセンサ感度補正データを用いて前記入力撮像データを補正する構成（第６の構成）にするとよい。

　また、上記第３～第６いずれかの構成から成る撮像装置は、前記イメージセンサの温度を目標値に調整する温度制御部をさらに有する構成（第７の構成）にするとよい。

　また、上記第７の構成から成る撮像装置において、前記温度制御部は、前記イメージセンサに取り付けられるペルチェ素子と、前記イメージセンサに含まれる遮光画素の出力値と所定の閾値との比較結果に応じて前記ペルチェ素子を駆動する駆動回路と、を含む構成（第８の構成）にするとよい。

　また、本明細書中に開示されている補正テーブル作成方法は、暗室でイメージセンサの連続画像取得を行うステップと、前記暗室で連続取得された複数枚分の撮像データを画素毎に平均化して画素毎のダークノイズ補正データを算出するステップと、画素の座標とダークノイズ補正データとを関連付けることによりダークノイズ補正テーブルを作成するステップとを有する構成（第９の構成）とされている。

　また、本明細書中に開示されている補正テーブル作成方法は、第１輝度でイメージセンサの連続画像取得を行うステップと、前記第１輝度で連続取得された複数枚分の撮像データを画素毎に平均化して画素毎の第１出力平均値を算出するステップと、前記第１輝度とは異なる第２輝度でイメージセンサの連続画像取得を行うステップと、前記第２輝度で連続取得された複数枚分の撮像データを画素毎に平均化して画素毎の第２出力平均値を算出するステップと、画素毎の前記第１出力平均値と前記第２出力平均値から画素毎のセンサ感度補正データを算出するステップと、画素の座標とセンサ感度補正データとを関連付けることによりセンサ感度補正テーブルを作成するステップと、を有する構成（第１０の構成）とされている。

　本明細書中に開示されている発明によれば、光電変換領域の開口率を下げずにＳＮＲを改善することのできる画像補正装置、撮像装置、及び、補正テーブル作成方法を提供することが可能となる。

撮像システムＸの一構成例を示すブロック図ＣＩＧＳイメージセンサの量子効率と生体情報イメージング領域を示す図入力撮像データＤｉｎのばらつき要因を示す模式図ロジック部２０の一構成例を示すブロック図ダークノイズ補正テーブルの作成動作を示すフローチャートダークノイズ補正データＡｄ（ｘ，ｙ）のレジスタマップセンサ感度補正テーブルの作成動作を示すフローチャート連続画像取得時の輝度設定例を示す出力特性図センサ感度補正データＡｓ（ｘ，ｙ）のレジスタマップダークノイズ補正部２１の演算内容を示す模式図センサ感度補正部２２の演算内容を示す模式図欠陥画素補正部２３の演算内容を示す模式図温度制御部４０の一構成例を示す回路図補正前後の出力比較図

＜撮像システム＞
　図１は、撮像システムＸの一構成例を示すブロック図である。本構成例の撮像システムＸは、撮像装置１とパソコン２を有する。なお、詳細については後述するが、本構成例の撮像システムＸは、例えば、ＣＩＧＳイメージセンサ１１を活用して生体を非侵襲的に観察する光学的イメージング医療システムとして利用することができる。

　撮像装置１は、被写体像を撮影してデジタル撮像データを生成するカメラモジュールである。例えば、撮像システムＸを光学的イメージング医療システムとして利用する場合、撮像装置１では、生体に光源光（可視光や近赤外光など）を照射して生体から戻ってくる反射光を受光することにより生体像の撮影が行われる。

　撮像装置１とパソコン２との間は、ＵＳＢ［universal serial bus］ケーブルを用いて有線接続されており、当該ＵＳＢケーブルを介して相互間の信号伝達やパソコン２から撮像装置１への電力供給が行われる。ただし、撮像装置１への電力供給については、別途のＡＣアダプタを用いて行うことも可能である。また、撮像装置１にリチウムイオン二次電池などを搭載すれば、撮像装置１をバッテリ駆動とすることも可能である。

　パソコン２は、撮像システムＸを統括的に制御する主体であり、撮像装置１の動作制御や各種設定を行ったり、撮像装置１で得られたデジタル撮像データに基づいて被写体像の作成、表示、解析、ないしは、記録を行ったりする。なお、パソコン２としては、汎用的なノートＰＣやデスクトップＰＣを採用してもよいし、撮像システムＸに最適化された専用端末を採用してもよい。或いは、広く一般に普及している携帯情報端末（タブレット端末やスマートフォンなど）を用いても構わない。

＜撮像装置＞
　引き続き、図１を参照しながら撮像装置１の構成及び動作について説明する。本構成例の撮像装置１は、撮像部１０と、ロジック部２０と、インタフェイス部３０と、温度制御部４０と、記憶部５０と、発振部６０と、電源部７０と、を含む。

　撮像部１０は、ＣＩＧＳイメージセンサ１１を用いて被写体像を撮影することにより、入力撮像データＤｉｎを生成してロジック部２０に出力する。例えば、撮像システムＸを光学的イメージング医療システムとして利用する場合、撮像部１０には、ＣＩＧＳイメージセンサ１１のほか、生体に可視光や近赤外光を照射するためのＬＥＤ［light emitting diode］光源や、生体から戻ってくる反射光をＣＩＧＳイメージセンサ１１に結像させるための光学部材（Ｃ／ＣＳマウントレンズなど）を含めるとよい。

　なお、ＣＩＧＳイメージセンサ１１は、入射光を電気信号に変換する電子デバイス（光電変換デバイス）の一種である。ＣＩＧＳは、銅（Ｃｕ）、インジウム（Ｉｎ）、ガリウム（Ｇａ）、及び、セレン（Ｓｅ）から成る化合物半導体であり、一般的なシリコン（Ｓｉ）よりも幅広い波長の光を電気に光電変換することが可能である（詳細は後述）。

　ロジック部２０は、入力撮像データＤｉｎをリアルタイムに補正して出力撮像データＤｏｕｔを生成する画像補正装置として機能する。また、ロジック部２０は、種々の制御コマンドを用いて撮像部１０の動作制御を行う機能も備えている。なお、ロジック部２０としては、ＦＰＧＡ［field-programmable gate array］などを用いることが望ましい。

　インタフェイス部３０は、撮像装置１（ロジック部２０）とパソコン２との相互間で出力撮像データＤｏｕｔや制御コマンドを受け渡すためのフロントエンドである。なお、インタフェイス部３０としては、例えば、ＵＳＢ［universal serial bus］規格に準拠した汎用のシリアルインタフェイスを採用することが望ましい。

　温度制御部４０は、ＣＩＧＳイメージセンサ１１の温度を目標値に調整するための手段であり、ペルチェ素子４１と駆動回路４２を含む。

　ペルチェ素子４１は、ＣＩＧＳイメージセンサ１１に取り付けられた板状の半導体素子であり、ペルチェ効果を利用してＣＩＧＳイメージセンサ１１を冷却する。なお、ペルチェ素子４１を複数重ねることにより、熱の移動量を増やすことが可能である。

　駆動回路４２は、ロジック部２０からの制御信号に応じてペルチェ素子４１を駆動する電流ドライバである。なお、ＣＩＧＳイメージセンサ１１に含まれる遮光画素（いわゆるＯＰＢ［optical black］画素）の出力値は、ＣＩＧＳイメージセンサ１１の温度に依存して指数関数的に変動することが知られている。そこで、駆動回路４２は、遮光画素の出力値と所定の閾値との比較結果に応じた制御信号（ＰＷＭ［pulse width modulation］信号など）を受け取り、ペルチェ素子４１の駆動電流量を調整する構成とされている。

　このような温度制御部４０を設けることにより、熱の影響を比較的受けやすいＣＩＧＳイメージセンサ１１を一定の温度（例えば２５℃）に保つことができるので、ＳＮＲを改善することが可能となる。なお、温度制御部４０には、ペルチェ素子４１や駆動回路４２のほかに、ペルチェ素子１１４の発熱面から放熱を行うためのヒートシンクや、ＣＩＧＳイメージセンサ１１を空冷するための冷却ファンなどを含めてもよい。

　記憶部５０は、ロジック部２０で用いられる種々の補正データ（後述のダークノイズ補正データＡｄ（ｘ，ｙ）やセンサ感度補正データＡｓ（ｘ，ｙ）など）を格納する手段であり、不揮発性メモリ５１と揮発性メモリ５２を含む。

　不揮発性メモリ５１は、ロジック部２０で用いられる種々の補正データを不揮発的に格納するための半導体メモリである。不揮発性メモリ５１としては、フラッシュメモリ、ＥＥＰＲＯＭ［electrically erasable programmable read-only memory］、または、ＯＴＰＲＯＭ［one-time PROM］などを用いることが望ましい。

　揮発性メモリ５２は、主にロジック部２０の作業領域として用いられる半導体メモリである。揮発性メモリ５２としては、不揮発性メモリ５１よりもアクセス速度の速いＳＤＲＡＭ［synchronous dynamic random access memory］などを用いることが望ましい。

　ロジック部２０は、撮像装置１の起動時（電源投入時）に不揮発性メモリ５１から揮発性メモリ５２にロードされる種々の補正データを用いて入力撮像データＤｉｎをリアルタイムに補正することにより出力撮像データＤｏｕｔを生成する。なお、ロジック部２０が十分なレジスタ容量を持っている場合には、揮発性メモリ５２を省略してもよい。

　発振部６０は、ロジック部２０の駆動に必要なクロック信号（例えば１６２ＭＨｚ）を生成する手段（水晶発振器など）である。

　電源部７０は、撮像装置１の各部に電力供給を行うための手段（ＤＣ／ＤＣコンバータなど）である。

＜ＣＩＧＳイメージセンサ＞
　図２は、ＣＩＧＳイメージセンサ１１の量子効率と生体情報イメージング領域を示す図である。本図の横軸は光の波長を示している。また、本図の縦軸（左）は撮像素子（ＣＩＧＳイメージセンサ、及び、Ｓｉ－ＣＣＤイメージセンサ）の量子効率を示しており、縦軸（右）はヘモグロビンと水の吸収係数を示している。なお、撮像素子（受光素子）の量子効率ηは、入射光子量に対して発生するキャリア数（出力電流）の比（η＝（ｈｃ／ｑλ）×（Ｉ／ｐ）、ただし、ｈ：プランク定数、ｃ：真空中の光速度、ｑ：電子電荷、λ：波長、Ｉ：出力電流、ｐ：入射光子量）として定義される。

　一般的な固体撮像素子としては、Ｓｉ－ＣＣＤ（ＳｉベースのＣＣＤ［charge coupled device］素子）が広く利用されている。しかし、Ｓｉ－ＣＣＤは、可視光領域にピーク感度を持ち、近赤外領域の量子効率はさほど高くない。一方、ＣＩＧＳイメージセンサ１１は、可視光領域から近赤外領域（１１００ｎｍ付近）までの幅広い波長領域を高い量子効率でカバーしている。

　このように、ＣＩＧＳイメージセンサ１１は、Ｓｉ－ＣＣＤと比較して幅広い波長領域において量子効率が高いので、光を電気に変換する光電変換効率が高い。また、生体透過性が高いので、生体イメージングに適するとされる７００ｎｍ～１１００ｎｍ前後の波長領域で高い量子効率を示す。従って、ＣＩＧＳイメージセンサ１１は、生体イメージングに適していると言える。

＜ばらつき要因＞
　図３は、画素毎における入力撮像データＤｉｎのばらつき要因（ＳＮＲの悪化要因）を示す模式図である。先に述べたように、ＣＩＧＳイメージセンサ１１は、幅広い波長領域で高い感度を持っており、生体イメージングに適している。ただし、ＣＩＧＳイメージセンサ１１は、Ｓｉ－ＣＣＤイメージセンサと比べて、（１）ダークノイズ（暗電流）が大きい、（２）画素毎のセンサ感度がばらつく、（３）欠陥画素が多い、（４）温度変化の影響を受けやすい、といった欠点を持つ。

　そこで、上記の欠点（１）～（３）を解消すべく、ロジック部２０には、入力撮像データＤｉｎに種々の補正処理（ダークノイズ補正処理、センサ感度補正処理、及び、欠陥画素補正処理など）を施して出力撮像データＤｏｕｔを生成する画像補正機能が具備されている。また、上記の欠点（４）については、温度制御部４０を用いてＣＩＧＳイメージセンサ１１の温度を一定に保つことにより改善が図られている。

＜ロジック部＞
　図４は、ロジック部２０の一構成例を示すブロック図である。本構成例のロジック部２０は、ダークノイズ補正部２１と、センサ感度補正部２２と、欠陥画素補正部２３とを含む。なお、各補正部２１～２３については、ハードウェア的に実装してもよいし、ソフトウェア的に実装してもよい。また、ロジック部２０には、上記した各補正部２１～２３のほか、シャッター段差補正部、デジタルゲイン調整部、及び、ＬＵＴ［look up table］補正部（ガンマ補正部）などを含めてもよい。

　ダークノイズ補正部２１は、ＣＩＧＳイメージセンサ１１を形成する複数の受光素子Ｐ（ｘ，ｙ）で各々得られる複数の第１画素データＤ１（ｘ，ｙ）（＝先述の入力撮像データＤｉｎに相当、例えば１２ビット）から、画素毎のダークノイズ補正データＡｄ（ｘ，ｙ）を各々減算することにより、複数の第２画素データＤ２（ｘ，ｙ）を生成する。ダークノイズ補正データＡｄ（ｘ，ｙ）は、記憶部５０（揮発性メモリ５２）からロジック部２０に読み出されてダークノイズ補正部２１での補正演算処理に供される。ここでのダークノイズ補正処理により、第１画素データＤ１（ｘ，ｙ）に含まれる画素毎のダークノイズをキャンセルすることができる。なお、第２画素データＤ２（ｘ，ｙ）は、次段のセンサ感度補正部２２に出力される一方、ＣＩＧＳイメージセンサ１１の温度制御に必要となるＰＷＭ信号生成処理（＝遮光画素の出力値と所定の閾値との比較処理）にも供される。

　センサ感度補正部２２は、複数の第２画素データＤ２（ｘ，ｙ）に画素毎のセンサ感度補正データＡｓ（ｘ，ｙ）を各々乗算することにより、複数の第３画素データＤ３（ｘ，ｙ）を生成する。センサ感度補正データＡｓ（ｘ，ｙ）は、記憶部５０（揮発性メモリ５２）からロジック部２０に読み出されてセンサ感度補正部２２での補正演算処理に供される。ここでのセンサ感度補正処理により、画素毎のセンサ感度（＝光強度に対するセンサ出力値の傾き）を均一に揃えることができる。なお、第３画素データＤ３（ｘ，ｙ）は、次段の欠陥画素補正部２３に出力される。

　欠陥画素補正部２３は、複数の第３画素データＤ３（ｘ，ｙ）のうち、欠陥のある第３画素データＤ３（ａ，ｂ）をその隣接画素データ（例えば左右または上下の画素データ）で補間することにより、第４画素データＤ４（ａ，ｂ）を生成する。一方、欠陥のない第３画素データＤ３（ｃ，ｄ）については、そのまま第４画素データＤ４（ｃ，ｄ）としてスルー出力される。第３画素データＤ３（ｘ，ｙ）に欠陥があるか否かについては、記憶部５０（揮発性メモリ５２）からロジック部２０に読み出される欠陥画素フラグを参照して判断される。ここでの欠陥画素補正処理により、ＣＩＧＳイメージセンサ１１の欠陥画素を目立たなくすることができる。なお、第４画素データＤ４（ｘ、ｙ）は、先述の出力撮像データＤｏｕｔとしてインターフェイス部３０に出力される。

　上記一連の補正処理による画像表示遅延は、１フレーム以内であることが望ましい。このような高速演算システムによるリアルタイム補正を実現することにより、動画／静止画の両方に対応することが可能となる。

　なお、ロジック部２０で参照されるダークノイズ補正データＡｄ（ｘ，ｙ）とセンサ感度補正データＡｓ（ｘ，ｙ）は、それぞれ、画素毎の座標と補正データ値とを関連付けた補正テーブル（例えばｃｓｖ［comma-separated values］ファイル）として、記憶部５０に格納されている。以下、補正テーブルの作成方法について詳述する。

＜ダークノイズ補正テーブル作成＞
　図５は、ダークノイズ補正テーブルの作成動作を示すフローチャートである。本フローは、撮像装置１の出荷前に実施される。本フローが開始されると、まず、ステップＳ１０では、暗室でＣＩＧＳイメージセンサ１１の連続画像取得（例えば６０枚）が行われる。本ステップで取得される撮像データは、正にダークノイズ成分そのものである。

　次に、ステップＳ１１では、暗室で連続取得された複数枚分の撮像データが画素毎に平均化されて画素毎のダークノイズ補正データＡｄ（ｘ，ｙ）が算出される。このように、画素毎のダークノイズ成分を平均化することにより、より正しいダークノイズ補正データＡｄ（ｘ，ｙ）を取得することが可能となる。

　次に、ステップＳ１２では、画素毎の座標Ｐ（ｘ，ｙ）と、ダークノイズ補正データＡｄ（ｘ，ｙ）とを関連付けることにより、ダークノイズ補正テーブルが作成される。

　最後に、ステップＳ１３では、ダークノイズ補正テーブルが記憶部５０（不揮発性メモリ５１）に格納されて、一連のフローが終了される。

　図６は、ダークノイズ補正データＡｄ（ｘ，ｙ）のレジスタマップである。本図の例では、１６ビットのダークノイズ補正データＡｄ（ｘ，ｙ）のうち、下位１２ビットが整数部として割り当てられており、最上位１ビットが欠陥画素フラグとして流用されている。

＜センサ感度補正テーブル作成＞
　図７は、センサ感度補正テーブルの作成動作を示すフローチャートである。先の図５と同様、本フローも、撮像装置１の出荷前に実施される。本フローが開始されると、まず、ステップＳ２０では、第１輝度ＬＩ１を持つ均一な光の下でＣＩＧＳイメージセンサ１１の連続画像取得（例えば６０枚）が行われる。

　次に、ステップＳ２１では、第１輝度ＬＩ１で連続取得された複数枚分の撮像データが画素毎に平均化されて画素毎の第１出力平均値ａｖｅ１（ｘ，ｙ）が算出される。

　次に、ステップＳ２２では、第１輝度ＬＩ１とは異なる第２輝度ＬＩ２を持つ均一な光の下でＣＩＧＳイメージセンサ１１の連続画像取得（例えば６０枚）が行われる。

　次に、ステップＳ２３では、第２輝度ＬＩ２で連続取得された複数枚分の撮像データが画素毎に平均化されて画素毎の第２出力平均値ａｖｅ２（ｘ，ｙ）が算出される。

　次に、ステップＳ２４では、画素毎の第１出力平均値ａｖｅ１（ｘ，ｙ）と第２出力平均値ａｖｅ２（ｘ，ｙ）との差分から画素毎のセンサ感度Ａ’（ｘ，ｙ）（＝｛ａｖｅ２（ｘ，ｙ）－ａｖｅ１（ｘ，ｙ）｝／（ＬＩ２－ＬＩ１））が算出され、さらに、その算出結果から画素毎のセンサ感度補正データＡｓ（ｘ，ｙ）（＝ＥＶ／Ａ’（ｘ，ｙ）、ただし、ＥＶは所定の期待値）が算出される。

　次に、ステップＳ２５では、画素毎の座標Ｐ（ｘ，ｙ）と、センサ感度補正データＡｓ（ｘ，ｙ）とを関連付けることにより、センサ感度補正テーブルが作成される。

　最後に、ステップＳ２６では、センサ感度補正テーブルが記憶部５０（不揮発性メモリ５１）に格納されて、一連のフローが終了される。

　図８は、連続画像取得時における第１輝度ＬＩ１と第２輝度ＬＩ２の設定例を示す出力特性図である。輝度が低過ぎる領域ではダークノイズの影響を受けるおそれがあり、輝度が高過ぎる領域ではセンサ出力が飽和してしまうおそれがある。また、第１輝度ＬＩ１と第２輝度ＬＩ２が近過ぎると、正しいセンサ感度（傾き）を得られないおそれがある。これらを鑑みると、例えば、第１輝度ＬＩ１と第２輝度ＬＩ２は、本図で示すように、入力ダイナミックレンジの１／３と２／３の輝度レベルに設定することが望ましい。

　図９は、センサ感度補正データＡｓ（ｘ，ｙ）のレジスタマップである。本図の例では１６ビットのセンサ感度補正データＡｓ（ｘ，ｙ）のうち、上位２ビットが整数部として割り当てられており、下位１４ビットが小数部として割り当てられている。

＜ダークノイズ補正部＞
　図１０は、ダークノイズ補正部２１の演算内容を示す模式図である。先出の図４でも概略的に説明したが、ダークノイズ補正部２１は、第１画素データＤ１（ｘ，ｙ）から、画素毎のダークノイズ補正データＡｄ（ｘ，ｙ）を減算することにより、第２画素データＤ２（ｘ，ｙ）を生成する。なお、ダークノイズ補正部２１での減算処理により、第２画素データＤ２（ｘ，ｙ）が０ＬＳＢ以下となる場合には、０ＬＳＢでクリップすればよい。

　ところで、画素毎のセンサ感度をＡ（ｘ，ｙ）、画素毎のダークノイズ成分をＢ（ｘ，ｙ）、ＣＩＧＳイメージセンサ１１に入射される光の輝度をＬＩとした場合、第１画素データＤ１（ｘ，ｙ）は、次の（１）式で表すことができる。

　Ｄ１（ｘ，ｙ）＝Ａ（ｘ，ｙ）×ＬＩ＋Ｂ（ｘ，ｙ）　…　（１）

　一方、第１画素データＤ１（ｘ，ｙ）から画素毎のダークノイズ補正データＡｄ（ｘ，ｙ）を減算することにより得られる第２画素データＤ２（ｘ，ｙ）は、次の（２）式で表すことができる。

　Ｄ２（ｘ，ｙ）＝Ｄ１（ｘ，ｙ）－Ａｄ（ｘ，ｙ）
　　　　　　　　＝Ａ（ｘ，ｙ）×ＬＩ＋Ｂ（ｘ，ｙ）－Ａｄ（ｘ，ｙ）
　　　　　　　　≒Ａ（ｘ，ｙ）×ＬＩ　…　（２）

　このように、画素毎のダークノイズ成分Ｂ（ｘ，ｙ）に相当するダークノイズ補正データＡｄ（ｘ，ｙ）を設定しておけば、画素毎のダークノイズ成分Ｂ（ｘ，ｙ）がキャンセルされた第２画素データＤ２（ｘ，ｙ）を得ることができる。

＜センサ感度補正部＞
　図１１は、センサ感度補正部２２の演算内容を示す模式図である。先出の図４でも概略的に説明したが、センサ感度補正部２２は、第２画素データＤ２（ｘ，ｙ）にセンサ感度補正データＡｓ（ｘ，ｙ）を乗算することにより、第３画素データＤ３（ｘ，ｙ）を生成する。なお、センサ感度補正部２２での乗算処理により、第３画素データＤ３（ｘ，ｙ）が４０９５ＬＳＢ以上となる場合には、４０９５ＬＳＢでクリップすればよい。

　ところで、第２画素データＤ２（ｘ，ｙ）に画素毎のセンサ感度補正データＡｓ（ｘ，ｙ）を乗算することにより得られる第３画素データＤ３（ｘ，ｙ）は、次の（３）式で表すことができる。

　Ｄ３（ｘ，ｙ）＝Ｄ２（ｘ，ｙ）×Ａｓ（ｘ，ｙ）
　　　　　　　　＝Ａ（ｘ，ｙ）×ＬＩ×ＥＶ／Ａ’（ｘ，ｙ）
　　　　　　　　≒ＥＶ×ＬＩ　…　（３）

　このように、画素毎のセンサ感度Ａ（ｘ，ｙ）の逆数に相当するセンサ感度補正データＡｓ（ｘ，ｙ）を設定しておけば、画素毎のセンサ感度Ａ（ｘ，ｙ）を均一に揃えた第３画素データＤ３（ｘ，ｙ）を得ることができる。

＜欠陥画素補正部＞
　図１２は、欠陥画素補正部２３の演算内容を示す模式図である。先出の図４でも概略的に説明したが、欠陥画素補正部２３は、複数の第３画素データＤ３（ｘ，ｙ）のうち、欠陥のある第３画素データＤ３（ａ，ｂ）をその隣接画素データ（例えば左右または上下の画素データ）で補間することにより、第４画素データＤ４（ａ，ｂ）を生成する。

　本図の例では、次の（４）式で表されるように、欠陥のある第３画素データＤ３（ａ，ｂ）の左右に位置する隣接画素データＤ３（ａ－１，ｂ）及びＤ３（ａ＋１，ｂ）の平均値を求めることにより、補間用の第４画素データＤ４（ａ，ｂ）が算出されている。

　Ｄ４（ａ，ｂ）＝｛Ｄ３（ａ－１，ｂ）＋Ｄ３（ａ＋１，ｂ）｝／２　…　（４）

　このような欠陥画素補正によれば、ＣＩＧＳイメージセンサ１１の欠陥画素を目立たなくすることができる。なお、欠陥画素の判定（欠陥画素フラグの設定）は、先出の図５で説明したダークノイズ補正テーブル作成時に行っておけばよい。具体的に述べると、画素毎のダークノイズ補正データＡｄ（ｘ，ｙ）を算出した際、その算出値が上限値よりも高い画素と下限値よりも低い画素については、これを欠陥画素であると判定し、欠陥画素フラグに「１」を立てておけばよい。

＜温度制御部＞
　図１３は、温度制御部４０の一構成例を示す回路図である。本構成例の温度制御部４０において、駆動回路４２は、ｎｐｎ型バイポーラトランジスタ４２１と、オペアンプ４２２と、抵抗４２３及び４２４と、を含む。

　トランジスタ４２１のコレクタは、駆動電流Ｉｄｒｖの出力端としてペルチェ素子４１に接続されている。トランジスタ４２１のベースは、抵抗４２３の第１端に接続されている。抵抗４２３の第２端は、オペアンプ４２２の出力端に接続されている。トランジスタ４２１のエミッタは、オペアンプ４２２の反転入力端（－）と抵抗４２４の第１端に各々接続されている。抵抗４２４の第２端は、基準電位端（接地端）に接続されている。オペアンプ４２２の非反転入力端（＋）は、ＰＷＭ信号の入力端に接続されている。

　上記構成から成る駆動回路４２において、オペアンプ４２２は、非反転入力端（＋）と反転入力端（－）との間がイマジナリーショートするように、トランジスタ４２１のベース電圧を帰還制御する。その結果、ペルチェ素子４１には、ＰＷＭ信号のデューティに応じて駆動電流Ｉｄｒｖ（例えば２００ｍＡ）がオン／オフされる。

　なお、上記のＰＷＭ信号は、ロジック部２０において生成される。より具体的に述べると、ロジック部２０は、ＣＩＧＳイメージセンサ１１に含まれる遮光画素（ＯＰＢ画素）の出力平均値ＡＶＥをフレーム毎に順次算出し、１フレーム前の出力平均値ＡＶＥが閾値以上であるか否かに応じてＰＷＭ信号の論理レベル（ハイ／ロー）を切り替える。

　例えば、ＣＩＧＳイメージセンサ１１の温度が高いほど、遮光画素の出力平均値ＡＶＥが上昇してＰＷＭ信号のハイレベル期間が長くなる。その結果、ペルチェ素子４１に駆動電流Ｉｄｒｖを流す期間が延びるので、ＣＩＧＳイメージセンサ１１の温度がより引き下げられる。このような駆動電流ＩｄｒｖのＰＷＭ制御により、ＣＩＧＳイメージセンサ１１の温度を目標値に維持することが可能となる。

＜補正効果＞
　図１４は、補正前後の出力比較図である。なお、（ａ）欄には補正前のキャプチャー画像が示されており、（ｂ）欄には補正後のキャプチャー画像が示されている。出力画像の品質（ＳＮＲ＝２０×ｌｏｇ（Ａｖｅ／σ）、ただしＡｖｅは出力平均、σは標準偏差）は、ロジック部２０での各種補正により、大幅に改善されていることが分かる（ＳＮＲ＝２１ｄＢ→３４ｄＢ）。

＜その他の変形例＞
　なお、本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

　本明細書中に開示されている発明は、例えば、生体を非侵襲的に観察するための光学的イメージング医療システムに利用することが可能である。

　　　Ｘ　　撮像システム
　　　１　　撮像装置
　　　２　　パソコン
　　　１０　　撮像部
　　　１１　　ＣＩＧＳイメージセンサ
　　　２０　　ロジック部（画像補正装置）
　　　２１　　ダークノイズ補正部
　　　２２　　センサ感度補正部
　　　２３　　欠陥画素補正部
　　　３０　　インタフェイス部
　　　４０　　温度制御部
　　　４１　　ペルチェ素子
　　　４２　　駆動回路
　　　４２１　　ｎｐｎ型バイポーラトランジスタ
　　　４２２　　オペアンプ
　　　４２３、４２４　　抵抗
　　　５０　　記憶部
　　　５１　　不揮発性メモリ
　　　５２　　揮発性メモリ
　　　６０　　発振部
　　　７０　　電源部

Claims

　イメージセンサを形成する複数の受光素子で得られる複数の第１画素データから画素毎のダークノイズ補正データを減算することにより複数の第２画素データを生成するダークノイズ補正部と、
　前記複数の第２画素データに画素毎のセンサ感度補正データを乗算することにより複数の第３画素データを生成するセンサ感度補正部と、
　を有することを特徴とする画像補正装置。
　欠陥のある第３画素データを隣接画素データで補間することにより第４画素データを生成する欠陥画素補正部をさらに有することを特徴とする請求項１に記載の画像補正装置。
　イメージセンサを用いて入力撮像データを生成する撮像部と、
　前記入力撮像データを補正して出力撮像データを生成する請求項１または請求項２に記載の画像補正装置と、
　を有することを特徴とする撮像装置。
　前記イメージセンサは、ＣＩＧＳイメージセンサであることを特徴とする請求項３に記載の撮像装置。
　前記ダークノイズ補正データ及び前記センサ感度補正データを格納する記憶部をさらに有することを特徴とする請求項３または請求項４に記載の撮像装置。
　前記記憶部は、前記ダークノイズ補正データ及び前記センサ感度補正データを不揮発的に格納する不揮発性メモリと、前記不揮発性メモリよりもアクセス速度の速い揮発性メモリと、を含み、
　前記画像補正装置は、前記撮像装置の起動時に前記不揮発性メモリから前記揮発性メモリにロードされるダークノイズ補正データ及びセンサ感度補正データを用いて前記入力撮像データを補正することを特徴とする請求項５に記載の撮像装置。
　前記イメージセンサの温度を目標値に調整する温度制御部をさらに有することを特徴とする請求項３～請求項６のいずれか一項に記載の撮像装置。
　前記温度制御部は、前記イメージセンサに取り付けられるペルチェ素子と、前記イメージセンサに含まれる遮光画素の出力値と所定の閾値との比較結果に応じて前記ペルチェ素子を駆動する駆動回路と、を含むことを特徴とする請求項７に記載の撮像装置。
　暗室でイメージセンサの連続画像取得を行うステップと、
　前記暗室で連続取得された複数枚分の撮像データを画素毎に平均化して画素毎のダークノイズ補正データを算出するステップと、
　画素の座標とダークノイズ補正データとを関連付けることによりダークノイズ補正テーブルを作成するステップと、
　を有することを特徴とする補正テーブル作成方法。
　第１輝度でイメージセンサの連続画像取得を行うステップと、
　前記第１輝度で連続取得された複数枚分の撮像データを画素毎に平均化して画素毎の第１出力平均値を算出するステップと、
　前記第１輝度とは異なる第２輝度でイメージセンサの連続画像取得を行うステップと、
　前記第２輝度で連続取得された複数枚分の撮像データを画素毎に平均化して画素毎の第２出力平均値を算出するステップと、
　画素毎の前記第１出力平均値と前記第２出力平均値から画素毎のセンサ感度補正データを算出するステップと、
　画素の座標とセンサ感度補正データとを関連付けることによりセンサ感度補正テーブルを作成するステップと、
　を有することを特徴とする補正テーブル作成方法。