JP5687676B2 - 撮像装置及び画像生成方法 - Google Patents

撮像装置及び画像生成方法 Download PDF

Info

Publication number
JP5687676B2
JP5687676B2 JP2012234002A JP2012234002A JP5687676B2 JP 5687676 B2 JP5687676 B2 JP 5687676B2 JP 2012234002 A JP2012234002 A JP 2012234002A JP 2012234002 A JP2012234002 A JP 2012234002A JP 5687676 B2 JP5687676 B2 JP 5687676B2
Authority
JP
Japan
Prior art keywords
normal image
correction information
color filter
spectrum
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012234002A
Other languages
English (en)
Other versions
JP2014086862A (ja
JP2014086862A5 (ja
Inventor
直 菊地
直 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012234002A priority Critical patent/JP5687676B2/ja
Priority to PCT/JP2013/075622 priority patent/WO2014065053A1/ja
Publication of JP2014086862A publication Critical patent/JP2014086862A/ja
Publication of JP2014086862A5 publication Critical patent/JP2014086862A5/ja
Priority to US14/540,837 priority patent/US9282305B2/en
Application granted granted Critical
Publication of JP5687676B2 publication Critical patent/JP5687676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Description

本発明は、撮像装置及び画像生成方法等に関係する。
フルカラー画像を撮像するために、Ｒ（赤：Ｒｅｄ）、Ｇ（緑：Ｇｒｅｅｎ）、Ｂ（青：Ｂｌｕｅ）の３種類のカラーフィルタを撮像素子に設けた撮像装置が知られている。従来の撮像装置では、カラーフィルタのバンド数が少ないため、各バンドに対応した画素のサンプル密度は比較的高く、高精度な通常画像の生成が可能であった。
近年、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。マルチバンド撮像装置としては、例えば特許文献１や特許文献２に示されるように、４種類以上のカラーフィルタを撮像素子に設けた単板のマルチバンド撮像素子を用いて被写体のスペクトル情報（分光情報）を取得する装置が提案されている。
また、特許文献３では、撮像素子とは別にスペクトル計測用のセンサを設置した撮像装置を用いて、スペクトル計測用のセンサから得られる情報により色再現性を向上させる補正情報を生成し、撮像素子から得られた通常画像（ＲＧＢ画像）を補正する方法も提案されている。
特開２００３−８７８０６号公報 特開２００８−１３６２５１号公報 特開２０１１−２１１３１７号公報 特開平８−２９８６６９号公報 特開２００９−２３７８１７号公報
しかし、３種類のカラーフィルタから取得した撮像情報だけでは、被写体の詳細なスペクトル情報を推定する際に、十分な推定精度が得られないという問題がある。
また、特許文献１や特許文献２に示されているような、４種類以上の情報を取得するマルチバンド撮像素子を用いて全画素位置で高精度なスペクトル情報を得る手法では、処理が複雑になってしまうことに加えて、各バンドのサンプル密度が下がってしまうため、原理的に解像度の低下は避けられない。そして、各バンドのサンプル密度の低下は通常画像の精度の低下に繋がり、結果として、偽色の発生等により画質が劣化してしまうという問題点がある。
一方で、特許文献３に示されているようなスペクトル計測用のセンサを撮像素子と別に用意する手法では、装置の大型化やコストについての問題がある。
本発明の幾つかの態様によれば、画質の劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることができる撮像装置及び画像生成方法等を提供することができる。
本発明の一態様は、３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、前記スペクトル推定部により得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、を含む撮像装置に関係する。
本発明の一態様では、通常画像生成部が、通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行い、欠落画素の画素値が補間された通常画像を生成する。
次に、スペクトル推定部が、通常画像生成用カラーフィルタと補正情報生成用カラーフィルタのうち、少なくとも補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行う。
そして、補正情報生成部が、スペクトル推定値に基づいて、通常画像の画素値を補正する補正情報を生成する。さらに、補正画像生成部が、補正情報に基づいて通常画像の補正処理を行って、補正画像を生成する。
これにより、画質の劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることが可能となる。
また、本発明の一態様では、前記補正情報生成部は、前記スペクトル推定処理において、一つの画素値から得られる一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値に対する前記補正情報を生成してもよい。
これにより、通常画像の一つの画素に対して補正情報を生成する処理を行わなくて済み、処理量を軽減すること等が可能になる。
また、本発明の一態様では、特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出する注目領域検出部と、検出した前記注目領域に対して表示態様設定処理を行う表示態様設定部と、を含んでもよい。
これにより、医療用画像などにおいて、病変検出、血管検出などの視認性を高めること等が可能となる。
また、本発明の一態様では、前記通常画像生成用カラーフィルタは、Ｒ用のカラーフィルタと、Ｇ用のカラーフィルタと、Ｂ用のカラーフィルタを有し、前記補正情報生成用カラーフィルタは、前記Ｒ用カラーフィルタと前記Ｇ用のカラーフィルタと前記Ｂ用のカラーフィルタのいずれのカラーフィルタよりも低いサンプル密度で、前記カラーフィルタアレイに配置されてもよい。
これにより、ＲＧＢの通常画像の精度の低下を最小限に抑えること等が可能となる。
また、本発明の一態様では、前記カラーフィルタは、前記通常画像生成用カラーフィルタのうちの前記Ｇ用のカラーフィルタが、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されてもよい。
これにより、高精度なＧの通常画像が生成可能であり、Ｇの通常画像の高周波成分を用いてＲ、Ｂの補間を行えば、Ｒ、Ｂの通常画像の精度低下も抑えること等が可能となる。
また、本発明の一態様では、前記補正情報生成用カラーフィルタを用いて得られる画素値に基づいて、前記補正情報を生成するために用いる特殊波長補間画像の生成処理を行う特殊波長補間画像生成部を含み、前記特殊波長補間画像生成部は、前記補正情報生成用カラーフィルタを用いて得られた画素値の補間処理を前記生成処理として行って、欠落画素の画素値が補間された前記特殊波長補間画像を生成し、前記スペクトル推定部は、前記特殊波長補間画像に基づいて前記スペクトル推定処理を行ってもよい。
これにより、特殊波長補間画像を利用する様々なスペクトル推定手法を適用すること等が可能となる。
また、本発明の一態様では、前記特殊波長補間画像生成部は、前記通常画像生成部により生成される前記通常画像よりも解像度が低い前記特殊波長補間画像を生成し、前記スペクトル推定部は、少なくとも前記特殊波長補間画像の画素値に基づいて、前記特殊波長補間画像の解像度で前記スペクトル推定処理を行い、前記補正情報生成部は、前記スペクトル推定処理の結果得られた一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値に対する前記補正情報を生成し、前記補正画像生成部は、生成された前記補正情報を用いて、前記通常画像の解像度で前記補正処理を行ってもよい。
これにより、解像度が特殊波長補間画像を用いて補正情報の生成処理を行うこと等が可能となるため、処理量を軽減すること等が可能になる。
また、本発明の一態様では、前記スペクトル推定部は、前記通常画像から光源の色を表す光源色画素を抽出し、抽出した前記光源色画素の光源スペクトルを推定して、光源スペクトル推定値を求め、前記補正情報生成部は、前記光源スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定してもよい。
これにより、ＲＧＢの画素値の情報だけでは光源の判別が難しいシーンであっても、高精度な光源推定を行うこと等が可能となる。
また、本発明の一態様では、前記補正画像生成部は、前記通常画像に対して、推定された光源に基づいてホワイトバランスを補正する前記補正処理を行ってもよい。
これにより、ＲＧＢの画素値の情報だけでは光源の判別が難しいシーンであっても、高精度なホワイトバランス補正を行うこと等が可能となる。
また、本発明の一態様では、前記補正情報生成部は、前記通常画像内に設定された複数の領域の領域毎に前記補正情報を生成し、前記補正画像生成部は、前記補正情報生成部により生成された前記通常画像内の領域毎の前記補正情報を用いて前記通常画像に対する前記補正処理を行ってもよい。
これにより、画像に設定した複数の領域の領域毎に、より高精度な補正処理を行うこと等が可能になる。
また、本発明の一態様では、前記補正情報生成部は、前記スペクトル推定部により推定された前記スペクトル推定値のデータと、予め記憶されている検出対象のスペクトルデータとの比較処理を行い、前記比較処理の結果に基づいて、特定のスペクトルを有する特定スペクトル領域を検出し、検出した前記特定スペクトル領域の検出結果に基づいて、前記補正情報を生成してもよい。
これにより、ＲＧＢの情報だけではその領域の検出が難しいシーンであっても、高精度な領域検出を行うこと等が可能になる。
また、本発明の一態様では、前記スペクトル推定部は、前記特殊波長補間画像から光源の色を表す光源スペクトルデータ測定画素を抽出し、抽出された前記光源スペクトルデータ測定画素の光源スペクトルを推定して、光源スペクトル推定値を求め、前記補正画像生成部は、前記通常画像に対して、前記光源スペクトル推定値に基づきホワイトバランスを補正する処理を行ってもよい。
これにより、特殊波長補間画像から得られた情報から光源色の画素を推定し、直接光源スペクトルを推定することにより、より少ない処理量で光源推定を行うこと等が可能になる。
また、本発明の一態様では、前記スペクトル推定部は、白色光の光源スペクトルデータに基づいて、前記特殊波長補間画像に対してスペクトル推定を行い、前記補正情報生成部は、特定波長領域において、前記スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定してもよい。
これにより、輝線を持った特徴的なスペクトルの光源推定を簡易的に行うこと等が可能となる。
また、本発明の一態様では、前記スペクトル推定部は、前記撮像素子から画素値を読み出す際に、前記通常画像生成用カラーフィルタを用いて得られる画素値を読み出さず、前記補正情報生成用カラーフィルタを用いて得られる画素値を読み出す間引き読み出しを行い、間引き読み出しした画素値を用いて前記スペクトル推定処理を行ってもよい。
これにより、処理の高速化を図ること等が可能になる。
また、本発明の一態様では、前記撮像素子は、前記通常画像生成用カラーフィルタ及び前記補正情報生成用カラーフィルタは、赤外光の波長領域にピーク波長を有する赤外フィルタであってもよい。
これにより、例えば医療用画像など、赤外領域のスペクトルに特徴がある場合に、より精度の高い補正画像を生成すること等が可能になる。
また、本発明の一態様では、前記赤外光の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であってもよい。
これにより、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域にピーク波長を有する赤外フィルタを用いること等が可能になる。
また、本発明の他の態様では、３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、前記スペクトル推定部から得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出する注目領域検出部と、検出した前記注目領域に対して表示態様設定処理を行う表示態様設定部と、を含む撮像装置に関係する。
また、本発明の他の態様では、３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、前記スペクトル推定処理の結果として得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成し、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する画像生成方法に関係する。
また、本発明の他の態様では、３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出し、検出した前記注目領域に対して表示態様設定処理を行う画像生成方法に関係する。
第１の実施形態の撮像装置に含まれるデジタルプロセス回路の構成例。 第１の実施形態の撮像装置全体の構成例。 ２バンドの補正情報生成用カラーフィルタを用いた場合のＣＦＡの例。 カラーフィルタの分光感度特性の一例。 第１の実施形態において用いるカラーフィルタの分光感度特性の一例。 第１の実施形態の処理の流れを説明するフローチャート。 ８バンドの補正情報生成用カラーフィルタを用いた場合のＣＦＡの例。 一つの補正情報に対応する通常画像内の領域の説明図。 第１の実施形態の変形例において用いられるデジタルプロセス回路の構成例。 第１の実施形態の変形例における処理の流れを説明するフローチャート。 スペクトル推定値のデータと検出対象のスペクトルデータの比較例。 ２次元評価値マップの例。 １６バンドの補正情報生成用カラーフィルタを用いた場合のＣＦＡの例。 １６バンドの補正情報生成用カラーフィルタの分光感度特性の一例。 第２の実施形態の処理の流れを説明するフローチャート。 間引き読み出しの説明図。 光源色判定処理の説明図。 １６バンドの補正情報生成用カラーフィルタを用い、光源推定精度を重視した場合のＣＦＡの例。 第２の実施形態の変形例の処理の流れを説明するフローチャート。 光源スペクトルデータの一例。
以下、第１の実施形態及び第２の実施形態について説明する。まず、各実施形態の背景と手法の概要をまとめて説明する。次に、実施形態毎にシステム構成例と処理の詳細を説明する。そして、第１の実施形態及び第２の実施形態の手法についてまとめて説明する。なお、以下に説明する各実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また各実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．概要
フルカラー画像を撮像するために、Ｒ（赤：Ｒｅｄ）、Ｇ（緑：Ｇｒｅｅｎ）、Ｂ（青：Ｂｌｕｅ）の３種類のカラーフィルタを撮像素子に設けた撮像装置が知られている。このような撮像装置では、カラーフィルタのバンド数が少ないため、各バンドに対応した画素のサンプル密度は比較的高く、高精度な通常画像の生成が可能であった。
しかし、３種類のカラーフィルタから取得した撮像情報だけでは、被写体の詳細なスペクトル情報を推定する際に、十分な推定精度が得られないという問題がある。
これに対して、近年、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。マルチバンド撮像装置としては、例えば前述した特許文献１や特許文献２に示されるように、４種類以上のカラーフィルタを撮像素子に設けた単板のマルチバンド撮像素子を用いて被写体のスペクトル情報（分光情報）を取得する装置が提案されている。
しかし、特許文献１や特許文献２の手法では、処理が複雑になってしまうことに加えて、各バンドのサンプル密度が下がってしまうため、原理的に解像度の低下は避けられない。そして、各バンドのサンプル密度の低下は通常画像の精度の低下に繋がり、結果として、偽色の発生等により画質が劣化してしまうという問題点がある。
一方、前述した特許文献３では、撮像素子とは別にスペクトル計測用のセンサを設置した撮像装置を用いて、スペクトル計測用のセンサから得られる情報により色再現性を向上させる補正情報を生成し、撮像素子から得られた通常画像（ＲＧＢ画像）を補正する方法も提案されている。
しかし、特許文献３に示されているような手法では、装置の大型化やコストについての問題がある。
そこで、以下で説明する第１の実施形態及び第２の実施形態の撮像装置等によれば、４種類以上の異なる分光感度特性を有する単板マルチバンド撮像素子を用いて、画質の劣化を最小限に抑えながら、推定されたスペクトル情報を用いた通常画像の補正をすることが可能となる。
以下の第１の実施形態及び第２の実施形態の撮像装置は、通常画像の色補正、被写体の光源検出、被写体検出等に対して効果的に使用することができる。この際には、被写体のスペクトル情報を推定し、それらスペクトル情報に基づいた処理の結果を通常画像の補正に使用する。
２．第１の実施形態
第１の実施形態では、既知の光源下で画素毎にスペクトル推定を行い、色再現性を向上した補正画像を生成する例について説明する。
２．１ システム構成例
図１は第１の実施形態のシステム構成図である。
撮像装置１０１は、被写体像を光電変換するための４種類以上の異なる分光感度特性を有するカラーフィルタを内蔵したマルチバンド撮像素子１０７と、各種のデジタル処理を行うためのデジタルプロセス回路１１０を備えている。そして、デジタルプロセス回路１１０には、図１のように本実施形態の特徴であるスペクトル推定結果に基づき補正画像を生成するための機能部として、通常画像生成部１１８と、特殊波長補間画像生成部１３０と、スペクトル推定部１１９と、補正情報生成部１２０と、補正画像生成部１２１とが設けられている。また、マルチバンド撮像素子１０７は、通常画像生成用カラーフィルタ１０７１と、補正情報生成用カラーフィルタ１０７２とを有している。なお、撮像装置１０１は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
次に各部の接続について説明する。マルチバンド撮像素子１０７は、通常画像生成部１１８と、特殊波長補間画像生成部１３０に接続されている。そして、通常画像生成部１１８は、補正画像生成部１２１に接続されており、特殊波長補間画像生成部１３０は、スペクトル推定部１１９に接続されている。また、スペクトル推定部１１９は、補正情報生成部１２０に接続されており、補正情報生成部１２０は、補正画像生成部１２１に接続されている。
また、図１の構成を備えた撮像装置の全体像の例を図２に示す。
撮像装置１０１は、各種レンズ（撮像レンズ）から構成される撮像レンズ系１０２と、レンズ系１０２の伸縮駆動やレンズ系内のズームレンズ及びフォーカスレンズの駆動を行うためのレンズ駆動機構１０３と、レンズ駆動機構１０３を制御するためのレンズドライバ１０４と、レンズ系１０２の絞り及びシャッタ内を制御するための露出制御機構１０５と、露出制御機構１０５を制御するための露出制御ドライバ１０６と、被写体像を光電変換するための４種類以上の異なる分光感度特性を有するカラーフィルタを内蔵したマルチバンド撮像素子１０７と、撮像素子を駆動するための撮像素子ドライバ１０８と、アナログアンプ及びＡ／Ｄ変換器等を含むプリプロセス回路１０９と、記録画像生成のための色信号処理や圧縮伸張処理、その他各種のデジタル処理を行うためのデジタルプロセス回路１１０と、外部の記録媒体であるメモリカードとのインタフェースであるカードインタフェース１１１と、ＬＣＤ（Liquid Crystal Display）画像表示系１１２と、レリーズスイッチや設定ボタンなど各種スイッチからなる操作スイッチ系１１３と、操作状態及びモード状態等を表示するための操作表示系１１４と、各種設定情報等を設定するための不揮発性メモリ１１５と、各部を統括的に制御するためのシステムコントローラ１１６と、を備えている。
次にデジタルプロセス回路１１０で行われる処理について説明する。
通常画像生成部１１８では、マルチバンド撮像素子１０７の通常画像生成用カラーフィルタ１０７１を用いて得られたＲＡＷデータの各画素に対してデモザイキング処理を行うことで通常画像を生成する。
特殊波長補間画像生成部１３０では、マルチバンド撮像素子１０７の補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づいて、特殊波長補間画像を生成する。
スペクトル推定部１１９では、特殊波長補間画像生成部１３０で生成された特殊波長補間画像と、予めスペクトル推定部１１９内に保持している光源情報と、を用いてスペクトル推定を行う。
補正情報生成部１２０では、スペクトル推定部１１９から得られたスペクトル情報を用いて、ＲＧＢ画像（通常画像）に対する補正情報を生成する。
補正画像生成部１２１では、通常画像生成部１１８で生成されたＲＧＢの通常画像と、補正情報生成部１２０で得られた補正情報を用いて、補正画像を生成する。
そして、信号処理部１２３において、色信号生成処理等の各種デジタル処理を行った後、最終的な処理結果画像を生成する。
なお、通常画像生成部１１８と、特殊波長補間画像生成部１３０と、スペクトル推定部１１９と、補正情報生成部１２０と、補正画像生成部１２１の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
また、撮像装置１０１においては、システムコントローラ１１６が全ての制御を統括的に行っており、レンズドライバ１０４、露出制御ドライバ１０６及び撮像素子ドライバ１０８によるマルチバンド撮像素子１０７の駆動を制御して露光（電化蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０９を介してＡ／Ｄ変換した後にデジタルプロセス回路１１０に取り込み、デジタルプロセス回路１１０内で各種信号処理を施した後にカードインタフェース１１１を介してメモリカード１１７に記録するようになっている。
そして、マルチバンド撮像素子を構成する各画素上に配置される４種類以上の異なる分光感度特性を有するカラーフィルタの配置例として、５種類の分光感度特性を有するカラーフィルタアレイ（以下ＣＦＡ：Color Filter Array）を図３に示している。ここでは通常画像生成用のＲＧＢのサンプル密度を重視し、ＲＧＢの画素が特殊波長Ｃ１及びＣ２の画素に比べて多く配置されている。
さらに、通常３種類のカラーフィルタのベイヤー配列のＣＦＡにおいて、最も密度の高いＧの画素の情報を用いてデモザイキング処理をする手法が一般的である。そこで図３に示すＣＦＡにおいても、Ｇの画素はベイヤー配列と同じサンプル密度を有するように、ベイヤー配列におけるＲ画素、Ｂ画素の位置に特殊波長Ｃ１及びＣ２の画素を配置している。また、実際の撮像素子は、図３のＣＦＡが繰り返し配置されることにより構成される。
さらに、前述した特許文献２等において用いられるカラーフィルタは、例えば図４のグラフのような分光感度特性を有するカラーフィルタである。特許文献２等では、Ｃ１及びＣ２を用いて得られる画素値も通常画像を生成するために用いる。そのため、Ｂ及びＧの相対感度が低くなる範囲をＣ１及びＣ２で補うために、特殊波長用のＣ１及びＣ２のバンドがＢ及びＧのバンドと重複している。
一方、本実施形態において用いられるカラーフィルタは、例えば図５のグラフのような分光感度特性を有するカラーフィルタである。本実施形態では、特許文献２等と異なり、補正情報を生成するためにＣ１及びＣ２から得られる画素値を使用する。そのため、特殊波長用のＣ１及びＣ２のバンドは、Ｒ、Ｇ、Ｂのいずれとも区別しやすいバンドであることが望ましく、図５の例でもＣ１及びＣ２は、Ｒ、Ｇ、Ｂのいずれのバンドとも重複していない。
２．２ 処理の詳細
次に、補正画像生成処理の流れについて図６を用いて説明する。ここでは、先に処理全体の流れを簡単に説明し、その後に、各ステップの詳細について説明する。
まず、マルチバンド撮像素子１０７から得られたＲＡＷデータ（入力データ）の読み込みを行い（Ｓ４０１）、ＲＧＢ画素のデータに対してデモザイキング処理を行い、通常画像（ＲＧＢ画像）を生成する（Ｓ４０２）。
さらに、特殊波長画素のデータに対してもデモザイキング処理を行い、特殊波長補間画像を生成する（Ｓ４０３）。
そして、予めスペクトル推定部１１９に記憶されている光源情報の読み込みを行い（Ｓ４０４）、ステップＳ４０３で生成された特殊波長補間画像と、ステップＳ４０４で読み出された光源情報を用いてスペクトル推定処理を行う（Ｓ４０５）。
次に、ステップＳ４０５で推定されたスペクトル情報を用いて通常画像に対する補正情報を生成する（Ｓ４０６）。最後に、ステップＳ４０２で生成された通常画像をステップＳ４０６で生成された補正情報に対応させるために領域分割処理を行った後（Ｓ４０７）、通常画像に補正処理を行うことで補正画像を生成する（Ｓ４０８）。
ここで、ステップＳ４０２及びステップＳ４０３の通常画像生成処理について説明する。
通常、３種類のカラーフィルタのベイヤー配列のＣＦＡにおいて、最も密度の高いＧの画素の情報を用いてデモザイキング処理をする手法が一般的である。図３に示すようなマルチバンド撮像素子でもＧの画素をデモザイキング処理し、Ｇの通常画像の高周波成分を利用してＲおよびＢのデモザイキング処理を行うことが可能である。特許文献４には、補間を行う注目画素に対して、周辺の画素情報やエッジの方向を考慮して補間を行う技術が公開されている。
特殊波長画素のデモザイキングについても種々のデモザイキング手法で通常画像を生成することが可能である。ただし、図３のマルチバンド撮像素子では、ＲＧＢの画素と比べて特殊波長Ｃ１及びＣ２の画素のサンプル密度は低い。このため、高周波成分の情報を復元出来ずに全体的にボケた画像となってしまう。
このステップＳ４０２およびステップＳ４０３での通常画像生成処理において、ＲＧＢの通常画像を生成する際にはＲＧＢ画素だけの情報を使用し、特殊波長の補間画像を生成する際には特殊波長画素の情報だけを使用して補間処理を行う。ＲＧＢと特殊波長の分光感度特性に相関が無い場合には、ＲＧＢと特殊波長を独立してデモザイキング処理することで、特殊波長画素のみで撮像された構造（エッジ情報）を保持することが可能である。
ただし、ＲＧＢと特殊波長の分光感度特性に相関がある場合には、全てのバンドの情報を使用してデモザイキング処理することで、高周波成分を保持した通常画像の生成が可能である。通常画像を生成する際にどのバンドの情報を使用するかは、ＲＧＢと特殊波長の分光感度特性に相関があるかどうかにより判断する。また、通常画像と特殊波長補間画像は同じ解像度である必要はない。
次に、ステップＳ４０５のスペクトル推定処理について説明する。
マルチバンド撮像された画像から被写体の分光反射率を推定する手法として、画素毎に分光反射率を推定する手法が知られている。
撮像された画像の位置（ｘ、ｙ）、バンドｂにおける画素値ｇ（ｘ、ｙ、ｂ）と、対応する被写体の分光反射率ｔ（ｘ、ｙ、λ）の間には、次式（１）の関係が成り立つ。
ここで、λは波長、ｆ（ｂ、λ）はバンドｂのカラーフィルタの分光感度特性、ｓ(λ)はカメラの分光感度特性、ｅ(λ)は光源の分光放射特性、ｎ(ｂ)はバンドｂにおける撮像ノイズを表す。なお、ｂはバンドを識別する通し番号であり、図２のＣＦＡにおいては１≦ｂ≦５を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
ここで、波長方向のサンプル点数をＤ、バンド数をＢとすれば、Ｇ（ｘ、ｙ）は位置（ｘ、ｙ）における画素値ｇ（ｘ、ｙ、ｂ）に対応するＢ行１列の行列である。同様にＴ（ｘ、ｙ）はｔ（ｘ、ｙ、λ）に対応するＤ行１列の行列、Ｆはｆ（ｂ、λ）に対応するＢ行Ｄ列の行列である。ＳはＤ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。Ｅも同様にＤ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。
また、Ｎはｎ(ｂ)に対応するＢ行１列の行列である。式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンド数を表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
次に被写体の分光反射率を推定する手法として、Ｗｉｅｎｅｒ推定を用いる。Ｗｉｅｎｅｒ推定は、ノイズが重畳された信号から原信号を推定する手法であり、分光反射率の推定値（式（３）の左辺）は次式（３）で求めることができる。
ここで、ＲｓｓはＤ行Ｄ列の行列であり、対象とする被写体の分光反射率の共分散行列を表す。ＲｎｎはＢ行Ｂ列の行列であり、撮像に使用するカメラのノイズの共分散行列を表す。また（）ｔは転置行列を、（）-１は逆行列をそれぞれ表す。
なお、上記では、通常画像に対して画素毎にスペクトル推定を行う手法について説明を行ったが、スペクトル推定手法はこれに限られるものではない。例えば、マルチバンド撮像素子１０７から得られたＲＡＷデータの状態で画素領域毎にスペクトル推定を行うものでもよい。ＲＡＷデータから直接スペクトル推定を行う手法として、学習用データに対する主成分分析により予め求められた領域毎の基底データを使用して、基底データの線形結合によりスペクトル推定を行う手法を適用することが可能である。ＲＡＷデータから直接スペクトル推定を行うことで、デモザイキング処理の精度がスペクトル推定に影響するのを避けることが可能である。ただし、スペクトル推定手法はデモザイキング済みのデータに対して処理する手法が多く、特殊波長の補間画像を生成しておくことで、様々なスペクトル推定手法を適用することが可能となる。
また、スペクトル推定に使用するバンドは全バンドである必要はない。例えば図７に示すＣＦＡのように特殊波長の画素の種類が多い場合には、特殊バンドの情報のみからスペクトルを推定してもかまわない。４種類以上の情報を用いてスペクトル推定を行うことで、３種類の情報を用いるよりも高精度なスペクトル推定が可能である。ただし、図３に示すＣＦＡのように特殊波長の画素の種類が３種類以下の場合には、ＲＧＢの通常画像も使用してスペクトル推定を行う。
また、スペクトル推定に使用する光源情報は、予めスペクトル推定部１１９に保持されている光源情報を使用したが、図２に示す光源検出センサ１２４から得られた情報を使用することも可能である。光源検出センサからの情報を用いることで、予め情報を保持していない光源にも対応することが可能となる。
次に、ステップＳ４０６の補正情報生成処理について説明する。
ここでは、色再現性の向上を目的として、スペクトルデータの画素毎に補正情報を生成する例について説明する。スペクトルデータの画素毎に補正情報を生成する手法は特許文献５に公開されている。
すなわち、ステップＳ４０５で推定されたスペクトルデータを用いて、推定されたスペクトルデータの画素（ｐ、ｑ）毎に対応付けられるマトリクスを生成し、この画素（ｐ、ｑ）毎のマトリクスのデータと、画素（ｐ、ｑ）に関する画素位置データとの組を出力する。
具体的には、図８に示すような縦方向にＭ１個、横方向にＭ２個、波長方向にＤ個の要素を有するスペクトルデータを受け取り、受け取ったスペクトルデータから式（４）によって、スペクトルデータの画素（ｐ、ｑ）毎のマトリクスを全画素位置に関して生成し、生成した画素毎のマトリクスのデータと、画素（ｐ、ｑ）に関する画素位置データとの組を出力する。ここで、スペクトルデータの画素の数は、スペクトルデータの要素の数と同一である。つまり、ｐは０＜ｐ≦Ｍ１を満たす自然数であり、ｑは０＜ｑ≦Ｍ２を満たす自然数である。
ここで、Ａ（ｐ、ｑ）はスペクトルデータの画素（ｐ、ｑ）毎に定められたマトリクスを意味する。また、ＫはＭ個のスペクトルデータを列ベクトルとして配列したＤ行Ｍ列の行列を意味する。さらにＨはオリジナルのスペクトル情報Ｔ（ｘ、ｙ）とそれに対応する画像データＧ（ｘ、ｙ）と、画像データに含まれるノイズを示す３次元列ベクトルＮとの間の式（５）で示す入出力関係を規定する３行Ｄ列の行列を意味し、具体的には式（６）で表される。また、Ｃはノイズの共分散行列を意味する。
なお、本実施形態では、領域毎に補正情報を生成したが、当然画像全体に対して１つの補正情報を生成しても構わない。画像全体に対して１つの補正情報を生成することにより、簡便な処理が可能となる。画像全体に対して１つの補正情報を生成する場合には、例えば次式（７）で表すことが可能である。ここで、Ａｗは画像全体に対する補正マトリクスを、Ｍはスペクトルデータの数、つまりＭ１×Ｍ２を意味する。
次に、ステップＳ４０７の領域分割処理について説明する。
ここでは、ステップＳ４０２で生成された通常画像に対して、ステップＳ４０６で生成された補正マトリクスとの対応をとるための領域分割処理を行い、通常画像の１つの領域が１つの補正マトリクスに対応するようにする。
図８に示す通り、通常画像が縦方向にＮ１個、横方向にＮ２個の要素を有し、スペクトルデータが縦方向にＭ１個、横方向にＭ２個の要素を有する際に、通常画像の領域は縦方向にＮ１／Ｍ１、横方向にＮ２／Ｍ２のサイズの領域に分割される。
ただし、ステップＳ４０３での特殊波長補間画像を縦方向にＮ１個、横方向にＮ２個のサイズで生成、もしくはステップＳ４０６の補正情報生成処理時にスペクトルデータをＮ１、Ｎ２のサイズにアップサンプリングする処理を行う場合には、このステップＳ４０７の領域分割処理は不要である。また、当然、ステップ４０６で画像全体に対して１つの補正情報を生成した場合もステップＳ４０７の領域分割処理は不要である。
次に、ステップＳ４０８の補正画像生成処理について説明する。
ステップＳ４０８では、ステップＳ４０７で領域分割された通常画像に対して、ステップＳ４０６で生成された補正マトリクスを使用して補正画像を生成する。補正画像を生成するために、まずは通常画像と補正マトリクスを使用して、画素毎のスペクトルを推定し、推定されたスペクトルデータをＲＧＢデータに変換することで、補正画像が生成される。
画素毎のスペクトルは式（８）で求められる。
そして、スペクトル推定手段によりＲＧＢへと変換するマトリクスを作成し、通常画像を生成することが出来る。ここで、スペクトルデータをＲＧＢへと変換するには、式（９）〜式（１１）の３刺激値ＸＹＺを経由するのが一般的である。（１）式において、ｆ（ｂ、λ）には等色関数で規定されているｘｔ、ｙｔ、ｖｔをそれぞれ使用する。ここで、式（１２）は式（８）の左辺を波長方向に連続的な形式に変換したものである。
３刺激値ＸＹＺからＲＧＢへの変換は３×３のマトリクスを用いて式（１３）により求める。
これらの処理により、高精度に推定されたスペクトル情報を用いた通常画像の補正が可能となる。本実施形態では、４種類以上のデータから推定されたスペクトルデータを用いて、通常画像の各画素位置における色を補正することで、色再現性の向上が可能となる例について説明した。ＲＧＢのサンプル密度は極力減らさないようにしながら、ＲＧＢ以外の波長情報を取得可能な画素を配置したＣＦＡを使用し、エッジ等の画質に関わる情報は通常画像を、色再現性に関わるスペクトル情報は４種類以上から推定されたスペクトルをそれぞれ使用することで、３種類のカラーフィルタの撮像装置で撮像した画像に比べて、画質劣化を最小限に抑えながらも色再現性を向上した画像が生成可能である。
２．３ 変形例
本変形例では、推定されたスペクトルデータを用いて特定領域（被写体）を検出し、検出された領域を強調処理した画像を通常画像に重畳させた補正画像を生成する例について説明する。
本変形例のシステム構成例を図９に示す。本変形例のシステム構成は、第１の実施形態の構成を基本とするが、デジタルプロセス回路１１０内で行う処理の内容が異なる。具体的には、図９に示すように、デジタルプロセス回路１１０は、注目領域検出部１４０と、表示態様設定部１５０とをさらに含む。
ここで、注目領域検出部１４０は、補正画像内で強調して表示したい注目領域を検出する。
これに対して、表示態様設定部１５０は、注目領域検出部１４０が検出した注目領域に対して表示態様の変更処理を行う。
なお、注目領域検出部１４０と、表示態様設定部１５０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
次に、本変形例での補正画像生成の処理の流れについて図１０を用いて説明する。なお、ステップＳ７０１からＳ７０５までは第１の実施形態と同様なので説明を省略する。
まず、検出したい対象物のスペクトル情報（検出対象スペクトル情報）を読み込み（Ｓ７０６）、ステップＳ７０５で推定されたスペクトルデータと、読み込んだ検出対象スペクトル情報との比較を行い、特定のスペクトルを有する領域を検出する（Ｓ７０７）。
推定されたスペクトル値のデータと、検出対象スペクトルデータとの比較方法としては、例えば波長毎の差を用いて評価する。図１１に示すような２つのスペクトルデータＲ１（実線）とＲ２（破線）の比較を行う場合には、次式（１４）により求められるＥの値を画素毎の評価値とすることが可能である。もしくは簡便な処理のために、予め設定された閾値以下であれば、２つのスペクトルデータＲ１とＲ２は一致していると判定することも可能である。式（１４）では波長の範囲を３８０-７８０ｎｍとして記載しているが、任意の範囲で計算可能である。
ここで、λは波長を、ｎは波長方向のサンプル点数を表す。
そして、求められたＥの値に基づき、図１２のような２次元の評価値マップを作成する。Ｅの値は低い程検出したいスペクトルに近いことを意味するが、図１２ではわかりやすさのために輝度値が明るい程、検出したいスペクトルに近い領域であることを示している。
そして、ステップＳ７０２で生成された通常画像と、ステップＳ７０７で生成された評価値マップを用いて、検出したいスペクトルデータを持つ領域だけを強調して表示する（Ｓ７０８）。特定領域を強調して表示する方法としては、例えば、評価値マップで検出したいスペクトルに近いと判定されている領域のみコントラストを上げた画像を生成する方法などがある。
本変形例では、４種類以上のデータから領域毎に推定されたスペクトルデータを、検出したい特定被写体のスペクトルデータと比較することで特定領域の検出を行い、検出された領域のみを強調表示した通常画像を生成する例について説明した。本発明のように撮像素子が１つである撮像装置では、動画像として特定領域を検出して視認性を高めた画像を表示することが可能であり、医療用画像において、血管や病変部の検出を目的とした撮影に効果的である。医療用画像においては、７８０ｎｍよりも長波長側の近赤外と呼ばれる波長帯域の情報が有効な場合があるが、本発明は近赤外領域においても同様の効果を得ることが可能である。
また、本変形例ではスペクトルデータに基づき検出された領域情報は、通常画像の強調表示のみに使用したが、その他の処理に使用することも可能である。例えば、動画像においてスペクトルデータに基づき検出された領域情報を使用して、特定の被写体を追跡するトラッキング処理を行うことが可能である。
３．第２の実施形態
本実施形態では、未知の光源下での撮像時に、特殊波長画素の情報により光源推定を行い、推定された光源情報を用いて画像の色味を補正するホワイトバランス補正を行う例について説明する。
３．１ システム構成例
本実施形態では、図１に示す第１の実施形態の構成を基本とするが、デジタルプロセス回路１１０内で行う処理の内容が異なる。具体的には、スペクトル推定部１１９と、補正情報生成部１２０と、補正画像生成部１２１の処理が異なる。詳しくは後述する。
図１３は本実施形態におけるマルチバンド撮像素子の例として、ＲＧＢの画素に加えて１６種類の特殊波長画素Ｃ１〜Ｃ１６が配置されたＣＦＡを示している。１６種類程度の情報が得られれば十分な精度で光源推定を行えるという知見が経験的に得られている。そこで、本実施形態ではこの１６種類の画素の情報を用いて光源を推定する。本実施形態において用いられるカラーフィルタは、例えば図１４のグラフのような分光感度特性を有するカラーフィルタである。
３．２ 処理の詳細
次に、ホワイトバランス補正画像生成処理の流れについて図１５のフローチャートを用いて説明する。
まず、マルチバンド撮像素子から得られたＲＡＷデータ（入力データ）の読み込みを行い（Ｓ１１０１）、ＲＧＢ画素のデータに対してデモザイキング処理を行い、通常画像を生成する（Ｓ１１０２）。
さらに、特殊波長画素のデータに対してもデモザイキング処理を行い特殊波長補間画像を生成する（Ｓ１１０３）。ただし、本実施形態においては、その後のステップの処理を簡便化するためにデータ数が少ないことが望ましい。そのため、特殊波長の補間処理を行わずに、ステップＳ１１０１の入力データの読み込みの際に、特殊波長画素だけを読み込む間引き読み出しを行うように撮像素子ドライバ１０８を設定しておいてもよい。全画素数が４０００×３０００画素の撮像素子において、図１３のＣＦＡを使用した場合、特殊波長画素だけ間引き読み出しを行い、図１６に示す赤枠内を同一の画素として扱うと２５０×３７５画素のデータとなる。各赤枠内にはＣ１〜Ｃ１６の全ての画素の情報が含まれているためにデモザイキング処理を行う必要が無く、このデータをそのまま使用することが可能である。
次に、通常画像内で光源色画素を抽出する（Ｓ１１０４）。光源色画素の抽出方法としては、例えば色温度（Ｒ／Ｇ、Ｂ／Ｇ）を算出し、図１７に示すように黒体放射軌跡の周辺領域内に含まれていれば光源色と判定することが可能である。ここで、処理の簡易化のためにデータ数は少ない方が望ましいため、例えばステップＳ１１０３で算出される２５０×３７５画素のサイズに通常画像を縮小したデータを使用しても構わない。
そして、光源色として推定された画素の光源スペクトルデータを算出する（Ｓ１１０５）。光源色と推定された画素は被写体の分光反射率が波長によらず一定（白色被写体）であることが想定されるので、光源のスペクトルを推定することが可能である。つまり、第１の実施形態では、（１）式において被写体の分光反射率ｔ（ｘ、ｙ、λ）を推定する処理を行ったが、本実施形態では、ｅ(λ)の推定を行うこととなる。
しかし、ステップＳ１１０４で抽出された画素は色温度の評価では光源色と判定されていても、有彩色の被写体を光源色と誤認識している可能性がある。
そこで、予め補正情報生成部１２０に記憶されている光源スペクトルデータを読み込み（Ｓ１０６）、推定された光源スペクトルデータとの比較を行い、光源色であるか改めて判定を行う（Ｓ１１０７）。色温度では光源色なのか被写体色なのか区別不可能な色であっても、スペクトルで比較することで区別可能である。
そして、通常画像を領域分割し（Ｓ１１０８）、ステップＳ１１０７での判定結果に基づき、通常画像に対するホワイトバランス補正係数に基づいて、補正画像を生成する（Ｓ１１０９）。光源の推定、補正係数の作成は画像全体に対して１つでも構わないし、任意の画素領域毎に行っても構わない。画像全体に対して１つの補正係数を使用する場合は、ステップＳ１１０８の領域分割処理は必要無い。
これらの処理により、光源色の抽出精度が向上し、正しいホワイトバランス処理を行うことが可能となる。なお、本実施形態では、ステップＳ１１０４の光源色画素の抽出処理は通常画像を用いて行ったが、当然特殊波長画素の情報を用いて判定しても構わない。すなわち、特殊波長画素から色温度を算出してもよい。色温度の算出方法としては、特殊波長画素の情報を色温度空間に射影する方法、もしくは特出波長画素がＲＧＢのいずれかに属すると仮定し、ＲＧＢの情報として（Ｒ／Ｇ、Ｂ／Ｇ）を算出することが可能である。ただし、ＲＧＢ画素に比べて特殊波長画素は離れて配置されているために、異なる被写体の情報を１つの情報として扱ってしまう可能性がある。光源推定精度を重視する場合には、通常画像生成が難しくなるが、図１８に示すような特殊波長画素がまとまって配置されているＣＦＡを用いることが可能である。この場合にはステップＳ１１０４での光源色画素抽出処理を高精度に行うことが可能であり、ステップＳ１１０６で読み込む光源スペクトルとの比較を行わずに、ステップＳ１１０５で推定される光源スペクトルをそのまま、光源推定の結果としてステップＳ１１０９での補正画像生成処理に用いてもよい。
３．３ 変形例
本変形例では、光源色画素を推定することなく、直接スペクトルデータの比較により光源推定を行い、ホワイトバランスを補正した画像を生成する例について説明する。
本変形例では、第２の実施形態の構成を基本としてデジタルプロセス回路１１０内での処理が異なる。具体的には、スペクトル推定部１１９が行う処理の内容が異なる。
次に、本変形例の処理の流れについて図１９のフローチャートを用いて説明する。
第２の実施形態では、画像内の光源色画素を抽出してから光源スペクトル推定を行ったが、本変形例では特殊波長画素の全画素に対してスペクトルを算出する（Ｓ１５０４）。しかし、光源の情報、被写体の分光反射率が未知の状態であるため、このままではスペクトル推定処理は行えない。そこで、本例では、光源は波長によらず一定な光源（白色光源）であると仮定し、スペクトル推定を行う。
次に、光源スペクトル情報を読み込む（Ｓ１５０５）。例えば、図２０に示す三波長型昼白蛍光灯のように特定の波長領域に輝線が立ったスペクトルを持った光源情報を読み込む。そして、ステップＳ１５０４で推定されたスペクトルデータと、ステップＳ１５０４で読み込まれた光源スペクトルデータを比較し、特定の波長領域の輝線のような特徴が一致するか判定を行い、光源推定を行う（Ｓ１５０６）。被写体を照射する光源が輝線のような特徴を持ったスペクトルである場合、推定されたスペクトルデータにもその特徴が反映されていることが予想される。
本変形例では、太陽灯のような広い波長領域に対してブロードなスペクトルを持つ光源の検出には不向きであるが、一般的にホワイトバランス補正が難しいとされている蛍光灯のような輝線を持った光源に対して効果的である。
４．手法のまとめ
次に、第１の実施形態及び第２の実施形態の手法についてまとめて説明する。
以上の実施形態の撮像装置１０１では、３バンド以上の通常画像生成用カラーフィルタ１０７１と、通常画像生成用カラーフィルタ１０７１とは分光感度特性が異なる補正情報生成用カラーフィルタ１０７２とがアレイ状に配置されたカラーフィルタアレイを有する撮像素子１０７と、通常画像生成用カラーフィルタ１０７１を用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部１１８と、少なくとも補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部１１９と、スペクトル推定部１１９により得られるスペクトル推定値に基づいて、通常画像の画素値を補正する補正情報を生成する補正情報生成部１２０と、補正情報に基づいて通常画像の補正処理を行って、補正画像を生成する補正画像生成部１２１と、を含む。
本実施形態では、例えば前述した図３のように、各画素に対して、１つのバンドに対応するカラーフィルタが割り当てられている。さらに、通常画像生成用カラーフィルタ１０７１としては、Ｒ用、Ｇ用、Ｂ用のカラーフィルタを用い、補正情報生成用カラーフィルタ１０７２としては、Ｃ１用、Ｃ２用のカラーフィルタを用いる。
そして、通常画像生成部１１８が、通常画像生成用カラーフィルタ１０７１を用いて得られた画素値の補間処理を行い、欠落画素の画素値が補間された通常画像を生成する。
ここで、前述したように、本例では、各画素に対して１つのバンドに対応するカラーフィルタが割り当てられているため、Ｇ用のカラーフィルタが割り当てられている画素については、Ｇの画素値のみが得られ、その他のＲ、Ｂ、Ｃ１、Ｃ２の画素値が得られない。このように、この画素については、Ｒ、Ｂ、Ｃ１、Ｃ２に対しての画素値が欠落しているため、Ｒ、Ｂ、Ｃ１、Ｃ２についての欠落画素と呼ぶ。
したがって、例えばＲの欠落画素に対しては、その欠落画素の周囲の画素において得られたＲの画素値を用いて補間処理を行い、その画素におけるＲの画素値を推定する。
ここでは、通常画像生成用カラーフィルタ１０７１を用いて得られた画素値、すなわち、Ｒ用、Ｇ用、Ｂ用のカラーフィルタを用いて得られた画素値を用いて、補間処理を行う。その結果として、全ての画素についてＲ、Ｇ、Ｂの画素値が求められた通常画像が得られる。
次に、スペクトル推定部１１９が、通常画像生成用カラーフィルタ１０７１と補正情報生成用カラーフィルタ１０７２のうち、少なくとも補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づいて、スペクトル推定処理を行う。スペクトル推定処理の具体例については、前述した通りである。
そして、補正情報生成部１２０が、スペクトル推定値に基づいて、通常画像の画素値を補正する補正情報を生成する。
さらに、補正画像生成部１２１が、補正情報に基づいて通常画像の補正処理を行って、補正画像を生成する。
これにより、画質の劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることができる。
また、単板マルチバンド撮像素子１０７を使用することでコスト、装置の肥大化を抑えることも可能となる。
ここで、通常画像の精度を低下させないためには、ベイヤー配列に比べて、通常画像生成用カラーフィルタのサンプル密度をできる限り減らさずに補正情報生成用カラーフィルタを配置することが望ましい。
すなわち、通常画像生成用カラーフィルタ１０７１は、Ｒ用のカラーフィルタと、Ｇ用のカラーフィルタと、Ｂ用のカラーフィルタを有していてもよい。そして、補正情報生成用カラーフィルタ１０７２は、Ｒ用カラーフィルタとＧ用のカラーフィルタとＢ用のカラーフィルタのいずれのカラーフィルタよりも低いサンプル密度で、カラーフィルタアレイに配置されてもよい。
これにより、ＲＧＢの通常画像の精度の低下を最小限に抑えること等が可能となる。なお、補正情報生成用カラーフィルタから得られる画素値は通常画像の補正に使用するのみであるため、補正情報生成用カラーフィルタを高い密度で配置する必要がない。
また、カラーフィルタは、通常画像生成用カラーフィルタ１０７１のうちのＧ用のカラーフィルタが、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されてもよい。
すなわち、ベイヤー配列と同様にＧ用のカラーフィルタが市松模様上に配置されていてもよい。
これにより、高精度なＧの通常画像が生成可能であり、Ｇの通常画像の高周波成分を用いてＲ、Ｂの補間を行えば、Ｒ、Ｂの通常画像の精度低下も抑えること等が可能となる。
ここで、前述したように、補正情報生成用カラーフィルタ１０７２は、通常画像生成用カラーフィルタ１０７１よりも低い密度で配置されている。そのため、図８を用いて説明したように、補正情報生成用カラーフィルタ１０７２を用いて得られる画素値の数は、通常画像全体の画素数よりも小さい。
そこで、補正情報生成部１２０は、スペクトル推定処理において、一つの画素値から得られる一つのスペクトル推定値のデータに基づいて、通常画像の複数の画素値に対する補正情報を生成してもよい。
これにより、通常画像の一つの画素に対して補正情報を生成する処理を行わなくて済み、処理量を軽減すること等が可能になる。
また、第１の実施形態及び第２の実施形態の撮像装置１０１は、特定の波長帯域における情報を有する被写体像を含む通常画像において、注目すべき領域である注目領域を、スペクトル推定値のデータに基づいて検出する注目領域検出部１４０と、検出した注目領域に対して表示態様設定処理を行う表示態様設定部１５０と、を含んでもよい。
表示態様設定処理では、例えば、注目領域を明るく表示し、一方で注目領域の外を暗く表示したり、注目領域を赤線で囲む等の視認性を高めるような画像処理を行う。
これにより、医療用画像などにおいて、病変検出、血管検出などの視認性を高めること等が可能となる。特に前述した第１の実施形態及び第２の実施形態では、単板の撮像素子１０７を用いているために、リアルタイムでの動画像表示を行うこと等が可能である。
また、第１の実施形態及び第２の実施形態の撮像装置１０１は、補正情報生成用カラーフィルタ１０７２を用いて得られる画素値に基づいて、補正情報を生成するために用いる特殊波長補間画像の生成処理を行う特殊波長補間画像生成部１３０を含んでもよい。そして、特殊波長補間画像生成部１３０は、補正情報生成用カラーフィルタを用いて得られた画素値の補間処理を生成処理として行って、欠落画素の画素値が補間された特殊波長補間画像を生成してもよい。さらに、スペクトル推定部１１９は、特殊波長補間画像に基づいてスペクトル推定処理を行ってもよい。
これにより、特殊波長補間画像を利用する様々なスペクトル推定手法を適用すること等が可能となる。
また、特殊波長補間画像生成部１３０は、通常画像生成部１１８により生成される通常画像よりも解像度が低い特殊波長補間画像を生成してもよい。そして、スペクトル推定部１１９は、少なくとも特殊波長補間画像の画素値に基づいて、特殊波長補間画像の解像度でスペクトル推定処理を行ってもよい。さらに、補正情報生成部１２０は、スペクトル推定処理の結果得られた一つのスペクトル推定値のデータに基づいて、通常画像の複数の画素値に対する補正情報を生成してもよい。そして、補正画像生成部１２１は、生成された補正情報を用いて、通常画像の解像度で補正処理を行ってもよい。
なお、通常画像の解像度で補正処理を行うとは、図８を用いて前述したように、一つの補正情報を通常画像の複数の画素値に対する補正処理に用いるという意味である。
これにより、解像度が特殊波長補間画像を用いて補正情報の生成処理を行うこと等が可能となるため、処理量を軽減すること等が可能になる。
また、スペクトル推定部１１９は、通常画像から光源の色を表す光源色画素を抽出し、抽出した光源色画素の光源スペクトルを推定して、光源スペクトル推定値を求めてもよい。そして、補正情報生成部１２０は、光源スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定してもよい。
これにより、ＲＧＢの画素値の情報だけでは光源の判別が難しいシーンであっても、高精度な光源推定を行うこと等が可能となる。
また、補正画像生成部１２１は、通常画像に対して、推定された光源に基づいてホワイトバランスを補正する補正処理を行ってもよい。
これにより、ＲＧＢの画素値の情報だけでは光源の判別が難しいシーンであっても、高精度なホワイトバランス補正を行うこと等が可能となる。
また、補正情報生成部１２０は、通常画像内に設定された複数の領域の領域毎に補正情報を生成してもよい。そして、補正画像生成部１２１は、補正情報生成部１２０により生成された通常画像内の領域毎の補正情報を用いて通常画像に対する補正処理を行ってもよい。
これにより、画像に設定した複数の領域の領域毎に、より高精度な補正処理を行うこと等が可能になる。具体的には、前述した注目領域や後述する特定スペクトル領域の判定精度向上や、画像内で異なる光源が存在する場合のホワイトバランスの補正に効果的である。
また、補正情報生成部１２０は、スペクトル推定部１１９により推定されたスペクトル推定値のデータと、予め記憶されている検出対象のスペクトルデータとの比較処理を行い、比較処理の結果に基づいて、特定のスペクトルを有する特定スペクトル領域を検出し、検出した特定スペクトル領域の検出結果に基づいて、補正情報を生成してもよい。
これにより、特定のスペクトルデータを有する特定スペクトル領域の検出を行うこと等が可能となり、ＲＧＢの情報だけではその領域の検出が難しいシーンであっても、高精度な領域検出を行うこと等が可能になる。
また、スペクトル推定部１１９は、特殊波長補間画像から光源の色を表す光源スペクトルデータ測定画素を抽出し、抽出された光源スペクトルデータ測定画素の光源スペクトルを推定して、光源スペクトル推定値を求めてもよい。そして、補正画像生成部１２１は、通常画像に対して、光源スペクトル推定値に基づきホワイトバランスを補正する処理を行ってもよい。
これにより、特殊波長補間画像から得られた情報から光源色の画素を推定し、直接光源スペクトルを推定することにより、より少ない処理量で光源推定を行うこと等が可能になる。
また、スペクトル推定部１１９は、白色光の光源スペクトルデータに基づいて、特殊波長補間画像に対してスペクトル推定を行ってもよい。そして、補正情報生成部１２０は、特定波長領域において、スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定してもよい。
これにより、輝線を持った特徴的なスペクトルの光源推定を簡易的に行うこと等が可能となる。
また、スペクトル推定部１１９は、撮像素子１０７から画素値を読み出す際に、通常画像生成用カラーフィルタ１０７１を用いて得られる画素値を読み出さず、補正情報生成用カラーフィルタ１０７２を用いて得られる画素値を読み出す間引き読み出しを行い、間引き読み出しした画素値を用いてスペクトル推定処理を行ってもよい。
これにより、処理の高速化を図ること等が可能になる。
また、撮像素子１０７は、通常画像生成用カラーフィルタ１０７１及び補正情報生成用カラーフィルタ１０７２は、赤外光の波長領域にピーク波長を有する赤外フィルタであってもよい。
これにより、例えば医療用画像など、赤外領域のスペクトルに特徴がある場合に、より精度の高い補正画像を生成すること等が可能になる。
また、赤外光の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であってもよい。
これにより、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域にピーク波長を有する赤外フィルタを用いること等が可能になる。
また、変形例として、撮像装置１０１は、３バンド以上の通常画像生成用カラーフィルタ１０７１と、通常画像生成用カラーフィルタ１０７１とは分光感度特性が異なる補正情報生成用カラーフィルタ１０７２がアレイ状に配置されたカラーフィルタアレイを有する撮像素子１０７と、通常画像生成用カラーフィルタ１０７１を用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部１１８と、少なくとも補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部１１９と、特定の波長帯域における情報を有する被写体像を含む通常画像において、注目すべき領域である注目領域を、スペクトル推定値のデータに基づいて検出する注目領域検出部１４０と、検出した注目領域に対して表示態様設定処理を行う表示態様設定部１５０と、を含んでもよい。
以上のように第１の実施形態及び第２の実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、撮像装置及び画像生成方法の構成、動作も第１の実施形態及び第２の実施形態で説明したものに限定されず、種々の変形実施が可能である。
１０１ 撮像装置、１０２ 撮像レンズ系、１０３ レンズ駆動機構、
１０４ レンズドライバ、１０５ 露出制御機構、１０６ 露出制御ドライバ、
１０７ 撮像素子（マルチバンド撮像素子、単板マルチバンド撮像素子）、
１０８ 撮像素子ドライバ、１０９ プリプロセス回路、
１１０ デジタルプロセス回路、１１１ カードインタフェース（カードＩ／Ｆ）、
１１２ 画像表示系（ＬＣＤ）、１１３ 操作スイッチ系（操作ＳＷ）、
１１４ 操作表示系、１１５ 不揮発性メモリ（ＥＥＰＲＯＭ）、
１１６ システムコントローラ（ＣＰＵ）、１１７ メモリカード、
１１８ 通常画像生成部、１１９ スペクトル推定部、１２０ 補正情報生成部、
１２３ 信号処理部、１２４ 光源検出センサ、１３０ 特殊波長補間画像生成部、
１４０ 注目領域検出部、１５０ 表示態様設定部

Claims (20)

  1. ３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、
    前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、
    少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、
    前記スペクトル推定部により得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、
    前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、
    を含み、
    前記補正情報生成部は、
    前記スペクトル推定処理において、一つの画素値から得られる一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値に対する前記補正情報を生成することを特徴とする撮像装置。
  2. ３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、
    前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、
    少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、
    前記スペクトル推定部により得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、
    前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、
    特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出する注目領域検出部と、
    検出した前記注目領域に対して表示態様設定処理を行う表示態様設定部と、
    を含むことを特徴とする撮像装置。
  3. 請求項２において、
    前記補正情報生成部は、
    前記スペクトル推定処理において、一つの画素値から得られる一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値に対する前記補正情報を生成することを特徴とする撮像装置。
  4. 請求項１乃至３のいずれかにおいて、
    前記通常画像生成用カラーフィルタは、
    Ｒ用のカラーフィルタと、Ｇ用のカラーフィルタと、Ｂ用のカラーフィルタを有し、
    前記補正情報生成用カラーフィルタは、
    前記Ｒ用のカラーフィルタと前記Ｇ用のカラーフィルタと前記Ｂ用のカラーフィルタのいずれのカラーフィルタよりも低いサンプル密度で、前記カラーフィルタアレイに配置されることを特徴とする撮像装置。
  5. 請求項４において、
    前記通常画像生成用カラーフィルタのうちの前記Ｇ用のカラーフィルタは、
    前記カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されることを特徴とする撮像装置。
  6. 請求項１乃至５のいずれかにおいて、
    前記補正情報生成用カラーフィルタを用いて得られる画素値に基づいて、前記補正情報を生成するために用いる特殊波長補間画像の生成処理を行う特殊波長補間画像生成部を含み、
    前記特殊波長補間画像生成部は、
    前記補正情報生成用カラーフィルタを用いて得られた画素値の補間処理を前記生成処理として行って、欠落画素の画素値が補間された前記特殊波長補間画像を生成し、
    前記スペクトル推定部は、
    前記特殊波長補間画像に基づいて前記スペクトル推定処理を行うことを特徴とする撮像装置。
  7. 請求項６において、
    前記特殊波長補間画像生成部は、
    前記通常画像生成部により生成される前記通常画像よりも解像度が低い前記特殊波長補間画像を生成し、
    前記スペクトル推定部は、
    少なくとも前記特殊波長補間画像の画素値に基づいて、前記特殊波長補間画像の解像度で前記スペクトル推定処理を行い、
    前記補正情報生成部は、
    前記スペクトル推定処理の結果得られた一つのスペクトル推定値のデータに基づいて、
    前記通常画像の複数の画素値に対する前記補正情報を生成し、
    前記補正画像生成部は、
    生成された前記補正情報を用いて、前記通常画像の解像度で前記補正処理を行うことを特徴とする撮像装置。
  8. 請求項１乃至７のいずれかにおいて、
    前記スペクトル推定部は、
    前記通常画像から光源の色を表す光源色画素を抽出し、抽出した前記光源色画素の光源スペクトルを推定して、光源スペクトル推定値を求め、
    前記補正情報生成部は、
    前記光源スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定することを特徴とする撮像装置。
  9. 請求項８において、
    前記補正画像生成部は、
    前記通常画像に対して、推定された光源に基づいてホワイトバランスを補正する前記補正処理を行うことを特徴とする撮像装置。
  10. 請求項１乃至９のいずれかにおいて、
    前記補正情報生成部は、
    前記通常画像内に設定された複数の領域の領域毎に前記補正情報を生成し、
    前記補正画像生成部は、
    前記補正情報生成部により生成された前記通常画像内の領域毎の前記補正情報を用いて前記通常画像に対する前記補正処理を行うことを特徴とする撮像装置。
  11. 請求項１乃至１０のいずれかにおいて、
    前記補正情報生成部は、
    前記スペクトル推定部により推定された前記スペクトル推定値のデータと、予め記憶されている検出対象のスペクトルデータとの比較処理を行い、前記比較処理の結果に基づいて、特定のスペクトルを有する特定スペクトル領域を検出し、検出した前記特定スペクトル領域の検出結果に基づいて、前記補正情報を生成することを特徴とする撮像装置。
  12. 請求項６において、
    前記スペクトル推定部は、
    前記特殊波長補間画像から光源の色を表す光源スペクトルデータ測定画素を抽出し、抽出された前記光源スペクトルデータ測定画素の光源スペクトルを推定して、光源スペクトル推定値を求め、
    前記補正画像生成部は、
    前記通常画像に対して、前記光源スペクトル推定値に基づきホワイトバランスを補正する処理を行うことを特徴とする撮像装置。
  13. 請求項６において、
    前記スペクトル推定部は、
    白色光の光源スペクトルデータに基づいて、前記特殊波長補間画像に対してスペクトル推定を行い、
    前記補正情報生成部は、
    特定波長領域において、前記スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定することを特徴とする撮像装置。
  14. 請求項１乃至１３のいずれかにおいて、
    前記スペクトル推定部は、
    前記撮像素子から画素値を読み出す際に、前記通常画像生成用カラーフィルタを用いて得られる画素値を読み出さず、前記補正情報生成用カラーフィルタを用いて得られる画素値を読み出す間引き読み出しを行い、間引き読み出しした画素値を用いて前記スペクトル推定処理を行うことを特徴とする撮像装置。
  15. 請求項１乃至１４のいずれかにおいて、
    前記撮像素子の前記通常画像生成用カラーフィルタ及び前記補正情報生成用カラーフィルタは、
    赤外光の波長領域にピーク波長を有する赤外フィルタであることを特徴とする撮像装置。
  16. 請求項１５において、
    前記赤外光の波長帯域は、
    ７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする撮像装置。
  17. ３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、
    前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、
    少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、
    特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定部により得られるスペクトル推定値のデータに基づいて検出する注目領域検出部と、
    検出した前記注目領域に対して表示態様設定処理を行う表示態様設定部と、
    を含むことを特徴とする撮像装置。
  18. ３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、
    少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、
    前記スペクトル推定処理において、一つの画素値から得られる一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値を補正する補正情報を生成し、
    前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成することを特徴とする画像生成方法。
  19. ３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、
    少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、
    前記スペクトル推定処理の結果として得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成し、
    前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成し、
    特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出し、
    検出した前記注目領域に対して表示態様設定処理を行うことを特徴とする画像生成方法。
  20. ３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、
    少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、
    特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定処理の結果として得られるスペクトル推定値のデータに基づいて検出し、
    検出した前記注目領域に対して表示態様設定処理を行うことを特徴とする画像生成方法。
JP2012234002A 2012-10-23 2012-10-23 撮像装置及び画像生成方法 Expired - Fee Related JP5687676B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012234002A JP5687676B2 (ja) 2012-10-23 2012-10-23 撮像装置及び画像生成方法
PCT/JP2013/075622 WO2014065053A1 (ja) 2012-10-23 2013-09-24 撮像装置及び画像生成方法
US14/540,837 US9282305B2 (en) 2012-10-23 2014-11-13 Imaging device and image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012234002A JP5687676B2 (ja) 2012-10-23 2012-10-23 撮像装置及び画像生成方法

Publications (3)

Publication Number Publication Date
JP2014086862A JP2014086862A (ja) 2014-05-12
JP2014086862A5 JP2014086862A5 (ja) 2014-10-23
JP5687676B2 true JP5687676B2 (ja) 2015-03-18

Family

ID=50544433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012234002A Expired - Fee Related JP5687676B2 (ja) 2012-10-23 2012-10-23 撮像装置及び画像生成方法

Country Status (3)

Country Link
US (1) US9282305B2 (ja)
JP (1) JP5687676B2 (ja)
WO (1) WO2014065053A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
BRPI0906187A2 (pt) 2008-03-18 2020-07-14 Novadaq Technologies Inc. método e sistema de representação de imagens para aquisição de imagens nir e imagens em cor total
CN104429061B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
GB201221124D0 (en) * 2012-11-23 2013-01-09 Kromek Ltd Method of spectral data detection and manipulation
US9372292B2 (en) * 2013-12-13 2016-06-21 Canon Kabushiki Kaisha Imaging apparatus having light source identification and image quality correction functions and method for controlling imaging apparatus
WO2015170515A1 (ja) * 2014-05-09 2015-11-12 オリンパス株式会社 固体撮像素子、内視鏡および内視鏡システム
US9696470B2 (en) * 2015-03-04 2017-07-04 Microsoft Technology Licensing, Llc Sensing images and light sources via visible light filters
CN107405093A (zh) * 2015-04-08 2017-11-28 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法和程序
CA2998920A1 (en) 2015-11-13 2017-05-18 Novadaq Technologies ULC Systems and methods for illumination and imaging of a target
US10980420B2 (en) 2016-01-26 2021-04-20 Stryker European Operations Limited Configurable platform
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
US11708390B2 (en) 2016-05-11 2023-07-25 Cytiva Bioprocess R&D Ab Method of storing a separation matrix
CA3027592A1 (en) 2016-06-14 2017-12-21 John Josef Paul FENGLER Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
JP6931705B2 (ja) 2017-02-10 2021-09-08 ノバダック テクノロジーズ ユーエルシー オープンフィールドハンドヘルド蛍光イメージングシステムおよび方法
JP2019057797A (ja) * 2017-09-20 2019-04-11 パナソニックＩｐマネジメント株式会社 暗視撮像装置
JPWO2019069414A1 (ja) * 2017-10-04 2020-11-05 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
CN111567038B (zh) 2017-12-05 2022-04-08 株式会社尼康 摄像装置、电子设备以及记录介质
WO2019181125A1 (ja) * 2018-03-22 2019-09-26 ソニー株式会社 画像処理装置及び画像処理方法
US10931902B2 (en) * 2018-05-08 2021-02-23 Semiconductor Components Industries, Llc Image sensors with non-rectilinear image pixel arrays
KR20210069632A (ko) * 2018-10-04 2021-06-11 소니그룹주식회사 화상 처리 장치와 화상 처리 방법 및 프로그램
US11696043B2 (en) * 2020-07-01 2023-07-04 Spectricity White balance compensation using a spectral sensor system
CN112153356A (zh) * 2020-09-16 2020-12-29 Oppo广东移动通信有限公司 图像参数的确定方法、图像传感器、装置、电子设备及存储介质
WO2022070227A1 (ja) * 2020-09-29 2022-04-07 日本電気株式会社 設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体
EP4300936A4 (en) * 2021-03-23 2024-01-24 Huawei Tech Co Ltd IMAGE SENSOR, IMAGE DATA COLLECTION METHOD AND IMAGING DEVICE
KR20220159829A (ko) * 2021-05-26 2022-12-05 삼성전자주식회사 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치
KR20230031580A (ko) * 2021-08-27 2023-03-07 삼성전자주식회사 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP2003087806A (ja) 2001-09-12 2003-03-20 Fuji Photo Film Co Ltd マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体
JP2005033609A (ja) * 2003-07-08 2005-02-03 Fuji Film Microdevices Co Ltd 固体撮像装置及びデジタルカメラ
JP4633129B2 (ja) 2003-11-11 2011-02-16 オリンパス株式会社 マルチスペクトル画像撮影装置
JP4586431B2 (ja) * 2004-06-16 2010-11-24 カシオ計算機株式会社 撮像装置及び撮像方法
JP2006165975A (ja) * 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
JP5120936B2 (ja) * 2008-01-31 2013-01-16 シャープ株式会社 画像処理装置および画像処理方法
JP4981730B2 (ja) 2008-03-26 2012-07-25 国立大学法人東京工業大学 分光画像生成装置及び分光画像生成方法
JP2009290694A (ja) * 2008-05-30 2009-12-10 Fujifilm Corp 撮像装置
US8546737B2 (en) * 2009-10-30 2013-10-01 Invisage Technologies, Inc. Systems and methods for color binning
JP5464982B2 (ja) * 2009-11-20 2014-04-09 キヤノン株式会社 撮像装置および画像処理方法
JP2011211317A (ja) 2010-03-29 2011-10-20 Olympus Corp 光源検出装置
JP2012014668A (ja) * 2010-06-04 2012-01-19 Sony Corp 画像処理装置、画像処理方法、プログラム、および電子装置

Also Published As

Publication number Publication date
WO2014065053A1 (ja) 2014-05-01
JP2014086862A (ja) 2014-05-12
US9282305B2 (en) 2016-03-08
US20150070528A1 (en) 2015-03-12

Similar Documents

Publication Publication Date Title
JP5687676B2 (ja) 撮像装置及び画像生成方法
US9179113B2 (en) Image processing device, and image processing method, and program
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
JP5904213B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9338364B2 (en) Imaging device and image generation method
JP2013219705A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
US8525920B2 (en) Imaging apparatus and signal processing method for checking a photographed image in a multi-band camera immediately
US9843782B2 (en) Interpolation device, storage medium, and method with multi-band color filter and noise reduced reference image
JP5943393B2 (ja) 撮像装置
JPWO2016143139A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP5718138B2 (ja) 画像信号処理装置及びプログラム
US8237829B2 (en) Image processing device, image processing method, and imaging apparatus
US20110149126A1 (en) Multiband image pickup method and device
JP5738904B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5464982B2 (ja) 撮像装置および画像処理方法
KR20150123738A (ko) 화상처리장치 및 화상처리방법
US10531029B2 (en) Image processing apparatus, image processing method, and computer readable recording medium for correcting pixel value of pixel-of-interest based on correction amount calculated
US9838659B2 (en) Image processing device and image processing method
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2020150411A (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140908

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140908

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150122

R151 Written notification of patent or utility model registration

Ref document number: 5687676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees