図1は、本発明における実施の形態の一例を表す図である。
本実施例における撮像装置は、被写体からの可視光・非可視光を所定の焦点距離に結像させるレンズ101と、レンズ101によって結像された可視光・非可視光を各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する撮像素子102と、撮像素子102からの画素信号に対してデモザイク処理を行うデモザイク処理部103と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより可視光成分に対する画素信号(可視光信号)を抽出する可視光信号生成部104と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより非可視光成分に対する画素信号(非可視光信号)を抽出する非可視光信号生成部105と、可視光信号生成部104からの画素信号から光源色を推定する光源色推定部106と、光源色推定部106の結果に基づいて可視光信号生成部104の出力である可視光信号に対してホワイトバランス補正を行うための利得を算出する白調整用ゲイン算出部107と、白調整用ゲイン算出部107からの利得情報に基づいて可視光信号生成部104から出力された可視光信号に対してホワイトバランス補正を行う白調整部108と、白調整部108にてホワイトバランス補正が施された可視光信号と、非可視光信号生成部から出力された非可視光信号とを合成する画像合成部111と、画像合成部111から出力された合成後の画素信号を用いて輝度信号を生成する輝度信号生成部109と、画像合成部111から出力された合成後の画素信号を用いて色差信号を生成する色差信号生成部110と、を有する。
まず、可視光成分R,G,Bと非可視光成分IRの各々の信号を同時に取得する方法について説明する。図8は本実施例における撮像素子102の色フィルタ配列の一例である。R+IR(RIR)、G+IR(GIR)、B+IR(BIR)、IR(NIR)は、それぞれ異なる4種類の色フィルタが配列された画素を示す。また、図10は、これら4種類の色フィルタが配置された画素の分光感度特性の一例を表したものである。例えばRIRの色フィルタが配置された画素は可視光の赤(R)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、GIRの色フィルタが配置された画素は可視光の緑(G)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、BIRの色フィルタが配置された画素は可視光の青(B)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、NIRの色フィルタが配置された画素は近赤外光(IR)の波長付近に感度を持つものとする。
デモザイク処理部103は、異なる色フィルタで配列された撮像素子102の出力画像信号に対して,補間処理などによってデモザイク処理を行う。補間処理とは、例えば、あるRIR画素の画素位置にはGIR,BIR,NIR画素が存在しないため、各々近隣周囲の同色画素から補間処理によって補間信号を生成し出力するものである。
可視光信号生成部104は、デモザイク処理部103から出力された画素信号に対してマトリクス演算等により可視光信号を生成して出力する。また、非可視光信号生成部105は、デモザイク処理部103から出力された画素信号に対してマトリクス演算等により非可視光信号を生成し出力する。例えば可視光信号生成部104は、非可視光を含まないまたは所定量に減衰させた可視光信号としてR、G、Bの各信号を下記式(1)〜(3)の演算処理にて生成し、非可視光信号生成部105は、可視光成分を含まないまたは所定量に減衰させた非可視光信号としてIR信号を下記式(4)の演算処理にて生成する。
R=αrr×RIR+αrg×GIR+αrb×BIR+αri×NIR・・・(1)
G=αgr×RIR+αgg×GIR+αgb×BIR+αgi×NIR・・・(2)
B=αbr×RIR+αbg×GIR+αbb×BIR+αbi×NIR・・・(3)
IR=αir×RIR+αig×GIR+αib×BIR+αii×NIR・・・(4)
この時の各々のαは各信号に対する係数であり、例えばαの係数として、
を与えた場合、式(1)〜(4)は以下(6)〜(9)のようになる。
R=RIR−NIR・・・(6)
G=GIR−NIR・・・(7)
B=BIR−NIR・・・(8)
IR=NIR・・・(9)
図10に示すように、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に同等レベルであれば、非可視光成分を含まない可視光信号R、G,Bのそれぞれと、可視光成分を含まない非可視光信号IRとに分離することができる。ここでRIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に一致しない場合に関しては、式(5)の値を適宜変更することで、非可視光成分の量を所定量減衰させた可視光成分R,G,Bの各信号と、可視光成分を所定量減衰させた非可視光成分IRとに分離することができる。
以上の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを、1フレーム分の撮影手順のみで同時に取得することができる。尚、本実施例では非可視光として近赤外光を例に示したが、紫外光などの場合でも同様であり、特定の波長に対して制約がかかるものではない。また、本実施例では可視光としてR,G,Bを例に示したが、補色信号など可視成分を含む信号であっても同様に処理することができ、その効果も同一であり、特定の波長に対して制約がかかるものではない。
次に、可視光信号R,G,Bに対してホワイトバランス補正を行う方法について説明する。本実施例における光源色推定部106は、可視光信号生成部104から出力された可視光信号R、G,Bの各々の信号レベルの比に基づいて、被写体に照射されている照明の色温度を推定し、その推定結果を出力する。例えば、可視光信号生成部104から出力された可視光信号R、G,Bの信号量をそれぞれを画像1画面分積算したΣR、ΣG、ΣBを算出し、このΣR、ΣG、ΣBを照明の色温度を表す色分布推定情報として出力する方法がある。または、算出したΣR、ΣG、ΣBの相対比を照明の色分布推定情報として出力する方法がある。
白調整用ゲイン算出部107は、光源色推定部106から出力されたΣR、ΣG、ΣBの各々の値を等しくする、あるいは各々の値を近づけるための利得値を算出し出力するものであり、例えば以下(10)〜(12)のように値を等しくする利得値としてRgain、Ggain、Bgainを各々算出し出力する。
Rgain=ΣG/ΣR・・・(10)
Ggain=ΣG/ΣG・・・(11)
Bgain=ΣG/ΣB・・・(12)
白調整部108は、可視光信号生成部104から出力されたR,G,B信号に対して、白調整用ゲイン算出部107から出力された利得値Rgain、Ggain、Bgainを用いて次式(13)〜(15)にて利得調整を行うことでホワイトバランス補正を行ったR2、G2、B2を算出し出力する。
R2=Rgain×R・・・(13)
G2=Ggain×G・・・(14)
B2=Bgain×B・・・(15)
以上の構成によれば、可視光信号生成部104から出力されたR,G,B信号から照明の色温度を推定し、その推定結果に基づいて可視光信号生成部104から出力されたR,G,B信号に対してホワイトバランス補正を行うことができる。
尚、白調整用ゲイン算出部107はΣR、ΣG、ΣBの比率により利得値を算出し出力するものとしたが、予めΣRとΣGとΣBの分布に対応する色温度情報をテーブルとして保持しておき、算出したΣR、ΣG、ΣBの情報を基に色温度情報をテーブルから取得し、この色温度情報を出力するものであってもよい。
また、光源色推定部106は、可視光信号生成部104から出力された可視光成分R、G,Bのそれぞれの信号について積算したΣR、ΣG、ΣBを算出し出力するものとしたが、可視光信号生成部104から出力された可視光成分R、G,Bのそれぞれの信号を用いて照明の色温度を推定しその推定結果を出力するものであればよく、例えばR,G,Bから色差情報を生成し、色差空間の分布情報に基づいて照明の色温度を推定するものでもよく、またR,G,Bから輝度情報を生成し、輝度のレベルに応じて照明を推定しその色温度を算出するものでもよく、あるいは色差と輝度の各々から照明の色温度を推定するものであってもよい。
以上の構成であれば、撮像素子から出力された画素信号において、可視光と非可視光が混合されている状態であっても、非可視光を除くまたは重みを低くした可視光信号で色温度を推定することができ、可視光成分の色温度をより正確に推定することができる。
次に、画像合成部111にて行う、ホワイトバランス補正を行った後の可視光信号と、非可視光信号との合成方法について説明する。本実施例では、白調整部108から出力されたホワイトバランス補正後の可視光信号R2、G2、B2と、非可視光信号生成部105から出力された非可視光信号IRとを下記式(16)〜(18)にて合成する。
Rout=R2+IR・・・(16)
Gout=G2+IR・・・(17)
Bout=B2+IR・・・(18)
輝度信号生成部109は、上記Rout、Gout、Boutと所定の係数βyr、βyg、βybを用いて輝度信号Yを次式で算出し出力するものである。
Y=βyr×Rout+βyg×Gout+βyb×Bout・・・(19)
また色差信号生成部110は、上記Rout、Gout、Boutと所定の係数βur、βug、βub、βvr、βvg、βvbを用いて色差信号U、Vを次式で算出し出力する。
U=βur×Rout+βug×Gout+βub×Bout・・・(20)
V=βvr×Rout+βvg×Gout+βvb×Bout・・・(21)
以上の構成とすることで、ホワイトバランス補正を行った可視光成分R,G,Bと非可視光成分IRを合成し、1枚の画像として輝度信号及び色差信号を生成することができる。
RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とNIRに含まれる非可視光成分の量の各々が共に一致しない場合において、例えば式(1)〜(4)を演算した際にR,G,Bの各々の信号が負の値を含むなどエラー信号が個別に重畳される場合がある。このケースにおいて、エラー信号レベルが各々異なっている場合、出力される色差信号の色相(UとVの比)が変化するため色合いが変化し疑似カラーとなりうる。しかしながら本実施例のように、ホワイトバランス補正後のR,G,B信号に対して再び非可視光信号IRを加算することで、非可視光信号IRを減算することにより発生していたエラー信号レベルをキャンセルまたは減衰することができ、出力される色差信号の色相(UとVの比)の変化を抑制することができ、疑似カラーを抑制することができる。
以上本実施例の構成によれば、等しい露光時間にて撮影された可視光信号と非可視光信号とを、1フレーム分の撮影手順のみで同時に取得することができる。即ち、可視光信号と非可視光信号とを個別に取得する必要がなく、撮影手順を単純化できる。
また、本実施例によると可視光信号と非可視光信号とを個別に取得する手順であれば、露光時間に時間差が生じ、蛍光灯やLEDなど高速に点滅(フリッカ)する光源下において画像間の照明光量に差が出る問題が発生するが、本実施例で説明した構成とすることで、等しい露光時間にて撮影された可視光信号と非可視光信号とを、1フレーム分の撮影手順のみで同時に取得できるため、この課題を解決することができる。したがって、フリッカのありなしに関わらず、可視光信号のみを正確に抽出して照明の色温度推定とホワイトバランス補正を行うことができる。
また、本実施例によると人間が色として認識できない非可視光信号に対してホワイトバランス補正を行わず、人間が色として認識する可視光信号に対してのみホワイトバランス補正を行うことで、疑似カラーなどを発生させない良好なホワイトバランス補正が可能となる。
また、本実施例によるとホワイトバランス補正後の可視光信号とホワイトバランス補正を行わない非可視光信号とを合成した画像を生成することができ、その出力フレームレートを、撮像素子102にて撮影するフレームレートと同一とすることができる。
また、本実施例によると照明光に含まれる可視光成分光と非可視成分光の比率によらず、可視光信号に対してホワイトバランス補正を行い良好な色再現とし、さらにホワイトバランス補正後の可視光信号と非可視光信号を合成した画像を取得することができる。即ち本実施例によれば、照明環境を規定する必要がなく、所定の照明を設置する必要がなく、フィールド上に存在する太陽光や蛍光灯やハロゲン光などその照明の違いにとらわれず、多くの環境下において良好なホワイトバランス補正を行いかつ非可視光の情報を重畳した画像を得ることができる。
尚、本実施例においては、最終出力信号として輝度信号と色差信号を出力するものとしたが、色情報を含んだ画像情報の形式であればよく、例えば輝度信号生成部109と色差信号生成部110に代えてRGB画像を生成し出力するRGB信号生成部を有する構成であってもよく、また輝度・彩度・色相の情報を生成し出力するHSV信号生成部を有する構成であってもよい。
図2は、本発明における撮像方法をプログラムによって実施する場合の一例を表すフローチャートである。
本プログラムは、撮像装置または画像を取得可能な情報処理装置が備える記憶媒体に記憶され、CPU等の制御部がプログラムに従って演算を行うことで実施例1の撮像装置と同等の機能をソフトウェアで実現することができる。
撮影ステップ201では、被写体から照射された光を所定の波長成分に分光して撮影することのできる撮像素子を用いて1フレーム分の画像を取得する。
可視光信号・非可視光信号分離ステップ202では、撮影ステップ201にて撮影された画像から信号処理を施すことにより可視光成分に対応した画像信号(可視光信号)と非可視光成分に対応した画像信号(非可視光信号)に各々分離する。
光源色推定ステップ203では、可視光信号・非可視光信号分離ステップ202から出力された信号のうち可視光信号のみあるいは両方の信号分布を解析することによって被写体に照射されている照明光の色温度を推定する。
可視光信号白調整ステップ204では、光源色推定ステップ203から得られた色温度情報に基づいて可視光信号・非可視光信号分離ステップ202にて分離された信号のうち可視光信号に対してホワイトバランス補正を行う。
可視光信号・非可視光信号合成ステップ205では、可視光信号白調整ステップ204にてホワイトバランス補正がなされた可視光信号と可視光信号・非可視光信号分離ステップ202にて分離された非可視光信号との各々を合成する。
画像データ生成ステップ206では、可視光信号・非可視光信号合成ステップ205にて合成された画像からRGB画像やYUV画像などのカラー情報を有する画像データを生成する。
本実施例における撮影ステップ201にて撮影する1フレーム分の画像は、例えば図8に示すような配列の画像を取得するものであればよい。また、可視光・非可視光信号分離ステップ202は、実施例1におけるデモザイク処理部103及び可視光生成部104及び非可視光生成部105にて行われていた処理と同様の処理を行うことで、可視光信号と非可視光信号とを生成するものでよい。また、光源色推定ステップ203は、実施例1における光源色推定部106と同様の処理を行うことで、被写体に照射される照明の色温度を推定する方法でよい。また、可視光白調整ステップ204は、実施例1における白調整用ゲイン算出部107及び白調整部108において処理されるものと同様の処理を行うことで、可視光・非可視光信号分離ステップ202にて分離された信号のうち可視光信号に対してホワイトバランス補正を行うものであればよい。また、可視光信号・非可視光信号合成ステップ205は、実施例1における式(16)〜(18)と同様の演算処理を施すことにより信号を合成し1フレーム分の画像を得るものであればよい。また、画像データ生成ステップは、例えば実施例1における式(19)〜(21)と同様の演算処理を施すことによりYUVデータを生成するものであればよく、またRGB信号を各々マトリクス演算処理により取得する方法であればよく、さらには各々の画像信号を生成する過程において、トーンカーブ補正等の所定の信号処理を行うものであってもよい。
以上の構成によれば、例えば図12に示すように、被写体から照射された可視光及び非可視光の各々を含んだ可視光+非可視光画像1301を撮影手順1回で同時に取得し、可視光画像1302と非可視光画像1303の各々に演算処理にて分離した後、可視光画像に対してのみホワイトバランス補正を行うことで適正な色再現となるホワイトバランス後可視光画像1304を取得でき、さらにはホワイトバランス補正後可視光画像1304と非可視光画像1303とを合成することで、合成後画像1305を取得することができる。この時の合成後画像1305は、可視光のみに対してホワイトバランス補正処理を行うことで良好な色再現とすることができ、合成することによって出力の画像を1枚とすることができ出力のファイルサイズを削減することができる。また、可視光と非可視光を同時撮影することから、可視光画像と非可視光画像に時間ずれが生じず、被写体の動きや照明の変化などに左右されず良好な画像を取得することができる。
上記以外の構成および方法および効果に関しては、実施例1と同様である。
図3は、本発明における実施の形態の一例を表す図である。本実施例3における撮像装置は、実施例1の構成に対して、さらに、可視光信号生成部104から出力された可視光信号と非可視光信号生成部105から出力された非可視光信号の各々の比率を算出しその比率情報を出力する比率算出部301と、比率算出部301から出力された比率情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号及び非可視光信号生成部105から出力された非可視光信号及び色差信号生成部110から出力された色差信号の各々に対して利得調整を行うためのゲイン情報を算出し出力する画質調整パラメータ算出部302と、画質調整パラメータ算出部302から出力されたゲイン情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行う利得調整部(1)303と、画質調整パラメータ算出部302から出力されたゲイン情報を基に非可視光信号生成部105から出力された非可視光信号に対して利得調整を行う利得調整部(2)304と、画質調整パラメータ算出部302から出力されたゲイン情報を基に色差信号生成部110から出力された色差信号に対して利得調整を行う彩度変更部305と、を有する。
尚図3では、画質調整パラメータ算出部302から出力されたゲイン情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行うとしたが、可視光信号生成部104から出力された可視光信号に対して利得調整を行うものであってもよい。
本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、可視光信号を増幅させるための利得を算出して利得調整部(1)303へ出力し、非可視光信号を減衰させるための利得を算出して利得調整部(2)304へ出力する。また例えば可視光信号が非可視光信号に対して多い場合、可視光信号を減衰させるための利得を算出して利得調整部(1)303へ出力し、非可視光を増幅させるための利得を算出して利得調整部(2)304へ出力してもよい。
利得情報を基に利得調整部(1)303と利得調整部(2)304が各々利得調整を行うことで、可視光信号と非可視光信号が所定の比率となるよう信号レベルを各々変更して画像合成部111にて合成することができる。即ち、可視光信号が十分に得られなかった被写体に対しては可視光による画像信号を増幅することで十分に感度を持たせ、非可視光信号が十分に得られなかった被写体に対しては非可視光による画像信号を増幅することで十分に感度を持たせることができる。
また、本実施例における画質調整パラメータ算出部302は、例えば非可視光信号が可視光信号に対して極めて少ない場合、可視光信号レベルを保持するための利得を算出して利得調整部(1)303へ出力し、非可視光信号レベルを減衰させるための利得を算出して利得調整部(2)304へ出力することも可能である。この利得情報を基に利得調整部(1)303と利得調整部(2)304が各々利得調整を行うことで、非可視光信号レベルを減衰または削除して可視光信号と合成することができる。即ち、信号量が小さい非可視光信号はノイズ成分が支配的となっており、このノイズ成分の重畳を抑制することで、ノイズが少なく視認性の高い画像を合成することができる。
尚、比率算出部301は、画素単位で可視光信号と非可視光信号の比率を算出して出力する構成とすれば、簡素な処理で上記効果を得ることができる。また比率算出部301は、ガウシアンフィルタなどの帯域制限フィルタを可視光信号及び非可視光信号に対して画素単位で施した後比率を算出して出力する構成とすれば、細かいドット絵やノイズに影響されることなく、画面内に存在する被写体毎に、それぞれの被写体特有の波長ごとの反射率に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。また比率算出部301は、画面全体もしくは画面の全体の領域毎に重みづけを行った後、全体の比率を算出して出力する構成とすれば、取得した1フレームの画像内に写された被写体に対して照射されている照明の波長特性に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。また、画素単位の比率あるいは帯域制限フィルタを適用したあとの比率あるいは画面全体の比率を用いた利得調整方法のそれぞれについては、組み合わせて用いた場合であってもその各々の効果を同時に得ることができる。
また、本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、彩度を強く(色を濃く)するための利得を算出して彩度変更部305へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が少ない場合において、彩度を強くすることにより、出力画像の色が薄くなってしまうという課題を解決することができる。
また、本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、例えば可視光信号が極めて信号量が小さい場合、彩度を弱く(色を薄く)するための利得を算出して彩度変更部305へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が極端に小さい場合、即ち有効な被写体の信号が得られずノイズ信号のみである場合に、カラーノイズを抑制することができる。
上記以外の構成および方法および効果に関しては、実施例1または2と同様である。
図4は、本発明における撮像方法をプログラムによって実施する場合の一例を表すフローチャートである。
本プログラムは、撮像装置または画像を取得可能な情報処理装置が備える記憶媒体に記憶され、CPU等の制御部がプログラムに従って演算を行うことで実施例1の撮像装置と同等の機能をソフトウェアで実現することができる。
撮影ステップ401では、被写体から照射された光を所定の波長成分に分光して撮影することのできる撮像素子を用いて1フレーム分の画像を取得する。
可視光信号・非可視光信号分離ステップ402では、撮影ステップ401にて撮影された画像から信号処理を施すことにより可視光成分に対応した画像(可視光信号)と非可視光成分に対応した画像(非可視光信号)に各々分離する。
光源色推定ステップ403では、可視光信号・非可視光信号分離ステップ402から出力された信号のうち可視光信号のみあるいは両方の信号分布を解析することによって被写体に照射されている照明光の色温度を推定する。
可視光信号白調整ステップ404では、光源色推定ステップ403から得られた色温度情報に基づいて可視光信号・非可視光信号分離ステップ402にて分離された信号のうち可視光信号に対してホワイトバランス補正を行う。
可視光・非可視光比率算出ステップ405では、可視光信号・非可視光信号分離ステップ402で分離された可視光信号または可視光信号白調整ステップ404でホワイトバランス補正された可視光信号と可視光信号・非可視光信号分離ステップ402で分離された非可視光信号との比率を算出する。
可視光信号利得調整ステップ406では、可視光・非可視光比率算出ステップ405で算出された比率に基づいて可視光信号白調整ステップ404でホワイトバランス補正を行った後の可視光信号に対して利得調整を行う。
非可視光信号利得調整ステップ407では、同じく可視光・非可視光比率算出ステップ405で算出された比率に基づいて可視光信号・非可視光信号分離ステップ402で算出された非可視光信号に対して利得調整を行う。
可視光信号・非可視光信号合成ステップ408では、可視光信号利得調整ステップ406にて利得調整された後の可視光信号と可視光信号利得調整ステップ407にて利得調整された後の非可視光信号とを所定の比率で合成した信号を生成する。
画像データ生成ステップ409では、可視光信号・非可視光信号合成ステップ408にて合成された画像からRGB画像やYUV画像などのカラー情報を有する画像データを生成する。
本実施例における撮影ステップ401及び可視光信号・非可視光信号分離ステップ402及び光源色推定ステップ403及び可視光信号白調整ステップ404は、実施例2に記載のものと同様の処理であればよい。
以上の構成によれば、被写体から照射された可視光及び非可視光を撮影手順1回で同時に取得し、可視光成分と非可視光成分の各々に対応した信号に分離した後、可視光成分に対応した信号にのみホワイトバランス補正を行うことで適正な色再現となる可視光成分に対する画像信号を取得でき、さらにはホワイトバランス補正後の可視光成分に対する画像信号と非可視光成分に対する画像信号とを所定の比率に信号調整を行った合成画像を取得することができ、合成することにより1枚の画像とできることから出力のファイルサイズを削減することができる。
尚、可視光・非可視光比率算出ステップ405は、例えば画素単位で比率を算出し、可視光信号利得調整ステップ406及び非可視光信号利得調整ステップ407は画素単位の比率に基づいて同じく画素単位で利得調整を行うことで、簡素な処理で上記効果を得ることができる。また可視光・非可視光比率算出ステップ405は、例えばガウシアンフィルタなどの帯域制限フィルタを可視光信号及び非可視光信号に対して画素単位で施した後比率を算出し、可視光信号利得調整ステップ406及び非可視光信号利得調整ステップ407は画素単位の比率に基づいて同じく画素単位で利得調整を行うことで、細かいドット絵やノイズに影響されることなく、画面内に存在する被写体毎に、それぞれの被写体特有の波長ごとの反射率に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。
また可視光・非可視光比率算出ステップ405は、例えば画面全体もしくは画面の全体の領域毎に重みづけを行った後全体の比率を算出し、可視光信号利得調整ステップ406及び非可視光信号利得調整ステップ407は画素単位の比率に基づいて利得調整を行うことで、取得した1フレームの画像内に写された被写体に対して照射されている照明の波長特性に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。
尚、図4に記載はしていないが、可視光・非可視光比率算出ステップ405で算出された比率を基に、画像データ生成ステップ409で生成されたカラー画像の彩度を変更する彩度変更ステップを新たに設けることもできる。例えば可視光・非可視光比率算出ステップ405で算出された比率において、可視光信号が非可視光信号に対して少ない場合、彩度が強く(色を濃く)なるよう彩度変更する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が少ない場合において、彩度を強くすることができ、出力画像の色が薄くなってしまうという課題を解決することができる。
また例えば、可視光・非可視光比率算出ステップ405で算出された比率において、可視光信号が極めて信号量が小さい場合、彩度が弱く(色を薄く)なるよう彩度変更する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が極端に小さい場合、即ち有効な被写体の信号が得られずノイズ信号のみである場合に、カラーノイズを抑制することができる。
上記以外の構成および方法および効果に関しては、実施例1または2または3と同様である。
図5は、本発明における実施の形態の一例を表す図である。本実施例5における撮像装置は、実施例3の構成に対して、さらに光学フィルタ部501と、フィルタ駆動部502と、露光制御部503と、画質調整パラメータ算出部504と、を有する。
本実施例における光学フィルタ部501は、レンズ101を介して入射された被写体からの光に対して、所定の波長帯を遮断または減衰させる光学フィルタである。
フィルタ駆動部502は、レンズ101及び撮像素子102間の光路上に光学フィルタ部501を出し入れさせる機構である。
露光制御部503は、撮像素子102に設定されている露光時間や信号増幅ゲイン値と撮像素子102から出力された画像信号の信号レベルを基に、最適な露光状態とするための撮像素子102における露光時間や信号増幅ゲイン値などを算出して撮像素子102に対して設定を行う。また、露光制御部503は、撮像素子102に設定されている露光時間や信号増幅ゲイン値と撮像素子102から出力された画像信号の信号レベルを基に、フィルタ駆動部を制御することで光学フィルタ部501を出し入れし、光学フィルタ部501の出し入れ情報を画質調整パラメータ算出部504に対して出力する。
画質調整パラメータ算出部504は、露光制御部503から出力された光学フィルタ部501の出し入れ情報を基に、可視光信号の利得を制御するための利得情報を算出して利得調整部(1)303へ出力し、非可視光の信号の利得を制御するための利得情報を算出して利得調整部(2)304へ出力する。
上記構成において、光学フィルタ部501を、例えば可視光を透過し非可視光を遮断する光学フィルタとし、露光制御部503を、撮像素子102から得られた画像信号の信号レベルと撮像素子102へ設定している露光時間や信号増幅ゲイン値の情報を基に、撮像素子へ入射されている光量が十分か否かを判定し、光量が十分でない場合は光学フィルタ部501をレンズ101及び撮像素子102間の光路上から外し、光量が十分である場合には光学フィルタ部501をレンズ101及び撮像素子102間の光路上に挿入するものとした場合について説明する。
上記構成によれば、被写体からの光量が十分にあり感度が良好な撮影条件においてはレンズ101及び撮像素子102間の光路上に光学フィルタ部501を入れて可視光のみの画像を取得することができ、被写体からの光量が十分ではなく感度が不足している撮影条件においてはレンズ101及び撮像素子102間の光路上から光学フィルタ部501を出して非可視光を可視光と同時に取得することで感度を向上させることが可能となり、さらには各々すべての撮影条件において良好なカラー画像を得ることができる。
さらに上記構成に加えて、光量が多い場合には光学フィルタ部501をレンズ101及び撮像素子102間の光路上に挿入する撮影条件の際に、画質調整パラメータ算出部504は、非可視光信号生成部から出力される非可視光信号を0もしくは減衰させるための利得情報を算出し利得調整部(2)304に対して出力してもよい。光学フィルタ部501にて非可視光成分がカットされるため、非可視光信号生成部105の出力はノイズ信号のみであるため、これによりノイズ信号を0もしくは減衰させることができ、最終的な可視光・非可視光合成後の画像に重畳されるノイズをさらに抑制することができる。
上記以外の構成および方法および効果に関しては、実施例1または2または3または4と同様である。
図6は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、被写体からの可視光・非可視光を所定の焦点距離に結像させるレンズ101と、レンズ101によって結像された可視光・非可視光を各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する撮像素子601と、撮像素子601からの画素信号に対してデモザイク処理を行うデモザイク処理部103と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより可視光成分に対する画素信号(可視光信号)を抽出する可視光信号生成部104と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより非可視光成分に対する画素信号(非可視光信号)を抽出する非可視光信号生成部105と、デモザイク処理部103からの複数の画素信号のうち最も感度の高い画素信号(図9に記載の撮像素子であればWIR画素信号)を抽出して出力する高感度画素信号抽出部602と、高感度画素信号抽出部602からの画素信号に対して飽和レベルを算出し飽和レベルと可視光信号生成部104からの画素信号に基づいて光源色を推定する飽和解析及び光源色推定部603と、飽和解析及び光源色推定部603の色温度推定結果に基づいて可視光信号生成部104の出力画素信号に対してホワイトバランス補正を行うための利得を算出する白調整用ゲイン算出部と、白調整用ゲイン算出部107からの利得情報に基づいて可視光信号生成部104から出力された画素信号に対してホワイトバランス補正を行う白調整部108と、白調整部108にてホワイトバランス補正が施された可視光信号と、非可視光信号生成部から出力された非可視光信号とを画像合成部111にて合成し、画像合成部111から出力された合成後の画素信号を用いて輝度信号を生成する輝度信号生成部109と、画像合成部111から出力された合成後の画素信号を用いて色差信号を生成する色差信号生成部110と、を有する。
図9は、本実施例における撮像素子601の画素配列である。また、図11は、撮像素子601に配置されるR+IR(RIR)、G+IR(GIR)、B+IR(BIR)、R+G+B+IR(WIR)の4種類の色フィルタの分光感度特性の一例である。
RIRの色フィルタが配置された画素は可視光の赤(R)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、GIRの色フィルタが配置された画素は可視光の緑(G)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、BIRの色フィルタが配置された画素は可視光の青(B)の波長付近と近赤外光(IR)の波長付近の各々に感度を持ち、WIRの色フィルタが配置された画素は可視光の赤(R)と緑(G)と青(B)と近赤外光(IR)の波長付近に感度を持つ。
可視光信号生成部104及び非可視光信号生成部105は、実施例1に記載のものと同等であるが、本実施例において用いた撮像素子601の画素配列に合わせ、下記マトリクス演算により可視光信号R,G,B及び非可視光信号IRを生成し出力する。
R=αrr×RIR+αrg×GIR+αrb×BIR+αrw×WIR・・・(22)
G=αgr×RIR+αgg×GIR+αgb×BIR+αgw×WIR・・・(23)
B=αbr×RIR+αbg×GIR+αbb×BIR+αbw×WIR・・・(24)
IR=αir×RIR+αig×GIR+αib×BIR+αiw×WIR・・・(25)
この時の各々のαは各信号に対する係数であり、例えばαの係数として、
を与えた場合、式(22)〜(25)は以下(27)〜(30)のようになる。
R=(RIR-GIR-BIR+WIR)/2・・・(27)
G=(-RIR+GIR-BIR+WIR)/2・・・(28)
B=(-RIR-GIR+BIR+WIR)/2・・・(29)
IR=(RIR+GIR+BIR-WIR)/2・・・(30)
図11に示すように、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とWIRに含まれる非可視光成分の量の各々が共に同等レベルであれば、式(27)から(30)に従い非可視光成分を含まない可視光成分R、G,Bのそれぞれの信号と、可視光成分を含まない非可視光成分IRの信号とに分離することができる。一方、RIR信号に含まれる非可視光成分の量とGIR信号に含まれる非可視光成分の量とBIRに含まれる非可視光成分の量とWIRに含まれる非可視光成分の量の各々が共に一致しない場合に関しては、式(26)のαの係数を適宜変更することで、非可視光成分の量を所定量減衰させた可視光成分R,G,Bの各信号と、可視光成分を所定量減衰させた非可視光成分IRとに分離することができる。
以上の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを、1フレーム分の撮影手順のみで同時に取得することができる。さらには、撮像素子601の4つの色フィルタ配列のうち1つをWIRとしたことで、RGBベイヤ配列や図8で示した画素配列の撮像素子に対して、より多くの可視光成分の光を光電変換することが可能となり、感度向上が実現できる。
本実施例における高感度画素信号抽出部602は、デモザイク処理部103からのWIR画素を抽出して飽和解析及び光源色推定部603へ出力する。このとき、デモザイク処理部103からの信号のうちWIRに相当する画素信号を適宜選択しながら出力する構成であってもよい。飽和解析及び光源色推定部603は、まず初めに高感度画素信号抽出部602から得られたWIR画素信号の信号レベルを判定することで、画素が飽和しているか否かを判定する。判定結果が飽和している場合には、可視光信号を0ないしは重みを低くし、飽和していない場合は重みを1あるいは高くした後に、重み変更後の可視光信号に対して実施例1における光源色推定部106に記載のように光源色を推定する。
ここで、撮像素子601からの4つの色フィルタ配列毎の信号RIR,GIR,BIR,WIRについて、その感度特性が
RIR≦WIR ∧ GIR≦WIR ∧ BIR≦WIR・・・(31)
が成り立つとすれば、WIRの画素はほかの3つの画素に対して飽和しやすいと定義できる。
式(22)〜(25)において用いる画素信号が一つでも飽和信号となっていた場合、即ち少なくともWIRが飽和状態にある場合、R,G,B,IRの各信号を正確に抽出することができず、最終的な画像に偽色が発生すると推定できる。本実施例においては、この疑似カラーが発生するか否かの判定を、WIRを抽出し飽和判定を行い、飽和と判定された場合には偽色が発生するとして光源色推定に用いる可視光信号の重みづけを下げることができる。
即ち、本実施例の構成によれば、等しい露光時間にて撮影された可視光成分に対応する画像信号と非可視光成分に対応する画像信号とを1フレーム分の撮影手順のみで同時に取得し、は画素が飽和した際に発生する疑似カラーに影響されることなく光源色を正確に推定でき、取得した可視光信号に対して良好なホワイトバランス補正を適用することが可能となる。
尚上記高感度画素信号抽出部602は、WIRを抽出するものとして説明したが、例えば撮像素子の配列を図8としたときに、GIRを抽出するものであってもよく、またRIRとGIRとBIRとNIRの画素信号のうち最も信号レベルが高いものを選択して出力するものであってもよい。以上の構成によれば、撮像素子の配列によらず、同等の効果を得ることができる。
上記以外の構成および方法および効果に関しては、実施例1または2または3または4または5と同様である。
図7は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例1にて示した構成のうち、光源色推定部106を波長解析及び光源色推定部701としたものである。
波長解析及び光源色推定部701は、可視光信号生成部104からの可視光信号と、非可視光信号生成部105からの非可視光信号とを入力し、可視光信号の各々の信号と非可視光信号との波長分布を解析し、光源色を推定する。
以上の構成によれば、例えば非可視光信号をほとんど含まない蛍光灯やLEDの照明と、可視光成分の分布が似ているが近赤外光を含むハロゲン光やキセノン光などとの違いについて、より高精度に照明の違いを判定できる。また、可視光信号と非可視光信号を同一露光時間で取得し判定に用いているため、蛍光灯やLEDのフリッカ成分(時間の違いにより発生する輝度変化)に影響されることなく、正確な光源色の判定が可能となる。
また波長解析及び光源色推定部701は、可視光信号生成部からの可視光信号と非可視光信号生成部からの非可視光信号の各々を分析し、非可視光が存在ないもしくは所定のレベル以下である画素群1と、非可視光が存在するもしくは所定のレベル以上である画素群2とに分割し、画素群1及び画素群2の各々について個別に色温度を推定するものとしてもよい。
この場合、白調整用ゲイン算出部107は、波長解析及び光源色推定部701から得られた画素群1及び画素群2の2つの色温度推定結果のうち一つを選択(プリセットまたはユーザ選択)し、白調整を行うための利得を算出し出力する。以上の構成によれば、例えば蛍光灯と太陽光が混在しているシーンにおいて、蛍光灯が照射されている画像領域のみから色温度を推定し、蛍光灯に合わせてホワイトバランス処理を行うことができる。したがって、例えば非可視光信号をほとんど含まない蛍光灯やLEDの照明と、可視光成分の分布が似ているが近赤外光を含む光源とをより高精度に個別判定でき、いずれか片方の光源に合わせてより正確にホワイトバランス補正を行うことができる。
上記以外の構成および方法および効果に関しては、実施例1または2または3または4または5または6と同様である。
図13は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例1にて説明した構成に加え、実施例5で説明した光学フィルタ部501とフィルタ駆動部502と露光制御部503を有し、新たに可視光・非可視光信号比率算出部1310と制御部1311を有する。
可視光・非可視光信号比率算出部1310は、可視光信号生成部104から出力された可視光信号と、非可視光信号生成部105から出力された非可視光信号とを入力し、可視光信号と非可視光信号の比率を算出し出力するものである。可視光・非可視光信号比率算出部1310にて算出し出力する可視光信号と非可視光信号の比率は、画像の画面全体あるいは一部分に対応する比率を表すものとし、例えば可視光信号と非可視光信号の各々を所定期間にわたり積算し、該積算した可視光信号と同じく積算した非可視光信号との比率を算出する方法などがある。
制御部1311は、露光制御部503から得られる露光条件と可視光・非可視光信号比率算出部1310から入力した可視光信号と非可視光信号との比率を基に被写体撮影環境下にて照射される照明の種類を推定し、照明の種類の推定結果に応じてフィルタ駆動部502を介して光学フィルタ部501の入出力を制御し、また照明の種類の推定結果に応じて彩度変更部305を制御することで出力画像の色の濃さあるいは白黒画像出力とカラー画像出力との切り替えを行い、また照明の種類の推定結果に応じて露光制御部503を介して撮像素子102における撮影条件を制御するものである。
制御部1311における照明の種類の推定方法は例えば、撮像素子102のシャッタ時間と信号ゲイン情報及び可視光・非可視光信号比率算出部1310から出力される可視光信号と非可視光信号との比率に対応する照明の種類をあらかじめテーブルとして保持し、露光制御部503から撮像素子102に設定されているシャッタ時間情報と信号増幅ゲイン情報を基に、前記あらかじめ保持しておいたテーブルを用いて照明の照度情報に変換し、また可視光・非可視光信号比率算出部1310から入力した可視光信号と非可視光信号との比率を基に、前記あらかじめ保持しておいたテーブルを用いて照明の波長分布情報に変換し、照明の照度情報及び照明の波長分布情報を基に照明の種類を推定する方法であればよい。これにより例えば、非可視光信号の信号比率が所定レベルより高く且つ所定レベルより高速シャッタで且つ所定レベルより低ゲインで撮影されている場合、照度が高く且つ非可視光の信号が多く含まれる太陽光であるなど、被写体に照射されている照明の種類を高精度に推定することができる。尚、テーブルを用いて照明の波長分布情報や照度情報に変換するとしたが、所定の関数式を用いて変換する方式でも良い。
上記構成において、光学フィルタ部501を例えば可視光を透過し非可視光を減衰または遮断する光学フィルタとし、制御部1311における照明の種類の推定が可視光信号の比率が非可視光信号の比率に対して高い照明であると推定された場合に、光学フィルタ部501をレンズ101及び撮像素子102間の光路上から外すものとし、制御部1311における照明の種類の推定が可視光信号の比率が非可視光信号の比率に対して低い照明であると推定された場合に、光学フィルタ部501をレンズ101及び撮像素子102間の光路上に挿入するものとする。この構成によれば、撮像素子102から得られる画像信号における可視光信号の比率が高く、カラー情報のダイナミックレンジが十分に取れる場合には、光学フィルタ部501による非可視光を減衰または遮断せず、可視光によるカラー情報と非可視光の情報が重畳された画像を取得することができる。また、撮像素子102から得られる画像信号における可視光信号の比率が低く、カラー情報のダイナミックレンジが十分に取れない場合には、光学フィルタ部501により非可視光の波長を減衰または遮断することで撮像素子102から出力される画像信号に重畳される可視光信号成分のダイナミックレンジを広くし、良好なカラー情報を有する画像を取得することができる。つまり、この構成によれば、照明の種類によらず撮像素子102から出力される画像信号に重畳される可視光と非可視光成分の各々のダイナミックレンジを適正に保つことが可能となる。
この構成においてさらに、制御部1311は、照明の照度が低く且つ可視光信号の比率が非可視光信号に対して低い場合に、カラー情報が十分得られない条件であるとして彩度変更部305における色の濃さを薄くするあるいは白黒画像化する制御を行うものとする。この構成によれば、撮像素子102から得られる画像信号における可視光信号が少ない場合に、色情報を少なくするあるいは白黒画像化することで、色ノイズの少ない画像を出力することができる。
以上の本実施例の構成では、被写体へ照射される照明の種類をより高精度に推定することができ、さらには通常の可視光画像に対して非可視光画像を合成するか否かを照明の種類の推定結果に基づいて変更することができる。
尚、上記構成において可視光・非可視光信号比率算出部1310にて所定期間信号を積算するものとしたが、可視光信号と非可視光信号の比率を画素単位で個別に算出し、所定期間の積算は制御部1311にて行う方法であってもよい。
また、上記構成において、可視光・非可視光信号比率算出部1310により可視光信号と非可視光信号の比率を算出するとしたが、撮像素子102から出力される画像信号から照明の波長分布を推定できる情報を取得できる構成であればよい。
また、上記構成において光学フィルタ部501をレンズ101と撮像素子102の光路上に出し入れするとしたが、挿入する距離をリニアに制御する方法であってもよい。この構成であれば、照明の種類によらず撮像素子102から出力される画像信号に重畳される可視光と非可視光成分の各々のダイナミックレンジを常に一定に保つことが可能となる。
また、上記構成において可視光・非可視光信号比率算出部1310により可視光信号と非可視光信号の比率を算出するとしたが、例えば可視光・非可視光信号比率算出部1310を可視光信号算出部1310と置き換えて、可視光信号算出部1310が非可視光信号の信号量を積算せず、可視光信号のみを所定期間積算し、該可視光信号の積算結果の大小に応じて制御部1311はフィルタ駆動部502を介して光学フィルタ部501の入出力を制御する構成であってもよい。この構成によれば、撮像素子102から出力される画像信号に重畳される非可視光成分の比率によらず可視光信号のみを用いて制御部1311にて光学フィルタ部501を制御することができる。即ち、光学フィルタ部501の入出力に伴う非可視光信号の信号成分の増減の影響を受けることがなく、制御部1311による処理量を低減することができる。
また、上記構成において可視光・非可視光信号比率算出部1310により可視光信号と非可視光信号の比率を算出するとしたが、例えば図14に示すように、可視光に対応する波長の光に反応し、その光量を信号に変換して出力する可視光量計測センサ部1401と、非可視光に対応する波長の光に反応し、その光量を信号に変換して出力する非可視光量計測センサ部1402を新たに有し、可視光・非可視光信号比率算出部1310は、可視光量計測センサ部1401からの信号と非可視光量計測センサ部1402からの信号との比率を算出するものとし、その比率情報を制御部1311へ出力する構成としてもよい。この構成であれば、光学フィルタ部501の入出力による信号量変化の影響を受けることなく、制御部1311による処理量を低減することができる。
また、上記構成において光学フィルタ部501及びフィルタ駆動部502をひとつずつ設けたが、複数のペアで構成し、制御する方法であっても良い。例えば図15に示すように、波長透過特性の異なる光学フィルタ部1501及び光学フィルタ部1502と、各々の光学フィルタを駆動するためのフィルタ駆動部1504とフィルタ駆動部1505を新たに有し、制御部1311は、可視光・非可視光信号比率算出部1310及び露光制御部1503からの情報を基に被写体へ照射される照明の種類を推定し、その結果に基づいて光学フィルタ部1501と光学フィルタ部1502のいずれかまたは両方について入出力を制御する方法であればよい。この構成であれば、被写体に照射される照明の種類に応じて所定の波長帯を減衰あるいは遮断した後の可視光及び非可視光の合成画像を取得することができ、良好なカラー情報を持つ画像に対して所定の非可視光の情報が重畳された画像を取得することが可能となる。
また、上記構成において、出力する可視光と非可視光合成画像における可視光成分と非可視光成分の比率情報または非可視光が含まれるか否かまたは可視光が含まれるか否かの情報を、画像のメタデータあるいは並列して出力する信号線を有する構成(図示せず)であってもよい。この構成であれば、画像に重畳される可視光と非可視光の比率に応じて人物認識や顔認識などの画像認識のアルゴリズムまたは閾値等の検出パラメータを切り替えることができ、前記光学フィルタの出し入れ状況によらず高精度に画像認識ができるシステムを提供することができる。
上記以外の構成および方法および効果に関しては、実施例1〜7と同様である。
図16は、本発明における実施の形態の一例を表す図である。本実施例9における撮像装置は、被写体からの可視光・非可視光を所定の焦点距離に結像させるレンズ101と、レンズ101によって結像された可視光・非可視光を各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する撮像素子102と、撮像素子102からの画素信号に対してデモザイク処理を行うデモザイク処理部103と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより可視光成分に対する画素信号(可視光信号)を抽出する可視光信号生成部104と、デモザイク処理部103から出力された画素信号に対して演算処理を施すことにより非可視光成分に対する画素信号(非可視光信号)を抽出する非可視光信号生成部105と、可視光信号生成部104からの画素信号から光源色を推定する光源色推定部106と、光源色推定部106の結果に基づいて可視光信号生成部104の出力である可視光信号に対してホワイトバランス補正を行うための利得を算出する白調整用ゲイン算出部107と、白調整用ゲイン算出部107からの利得情報に基づいて可視光信号生成部104から出力された可視光信号に対してホワイトバランス補正を行う白調整部108と、デモザイク処理部103から出力された画素信号と所定の信号範囲とを比較してその結果を信号範囲評価結果として出力する信号範囲評価部1601と,信号範囲評価部1601から出力された信号範囲評価結果を参照して,可視光信号生成部104から出力された可視光信号と非可視光信号生成部105から出力された非可視光信号の各々の比率を算出しその比率情報を出力する比率算出部301と、比率算出部301から出力された比率情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号及び非可視光信号生成部105から出力された非可視光信号及び色差信号生成部110から出力された色差信号の各々に対して利得調整を行うためのゲイン情報を算出し出力する画質調整パラメータ算出部302と、画質調整パラメータ算出部302から出力されたゲイン情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行う利得調整部(1)303と、画質調整パラメータ算出部302から出力されたゲイン情報を基に非可視光信号生成部105から出力された非可視光信号に対して利得調整を行う利得調整部(2)304と、画質調整パラメータ算出部302から出力されたゲイン情報を基に色差信号生成部110から出力された色差信号に対して利得調整を行う彩度変更部305と、利得調整部(1)303により利得調整が行われた可視光信号と、利得調整部(2)304により利得調整が行われた非可視光信号とを合成する画像合成部111と、画像合成部111から出力された合成後の画素信号を用いて輝度信号を生成する輝度信号生成部109と、画像合成部111から出力された合成後の画素信号を用いて色差信号を生成する色差信号生成部110と、を有する。
尚図16では、画質調整パラメータ算出部302から出力されたゲイン情報を基に白調整部108から出力されたホワイトバランス補正後の可視光信号に対して利得調整を行うとしたが、可視光信号生成部104から出力された可視光信号に対して利得調整を行うものであってもよい。
また、比率算出部301は不図示である外部の映像信号処理装置や画像認識処理装置に可視光信号と非可視光信号の比率情報をメタデータとして出力しても良い。これにより、外部の映像信号処理装置や画像認識処理装置が撮影時の可視光信号と非可視光信号の比率情報を参照して信号処理や画像認識処理を行うことが可能となり、画質や画像認識の性能向上を図れる。
本実施例における信号範囲評価部1601の信号範囲評価処理の一例を図17に示す。図17は撮像素子102が図11に示すようなR+IR(RIR)、G+IR(GIR)、B+IR(BIR)、R+G+B+IR(WIR)の4種類の分光感度特性を持つ色フィルタを有する場合の信号範囲評価処理を示す図である。図11のように撮像素子102が異なる複数の分光感度特性を持つ色フィルタを有する場合,入力する光量に対して大きく異なる感度で信号が出力される。例えば,広い波長域に感度を有するWIRは他の色フィルタに比べ飽和しやすい。この場合,飽和した信号WIRは光量に対して出力信号が非線形となるため,式(27)から(30)に基づき可視光信号と非可視光信号の比率を算出すると算出誤差が大きくなる。また,RIR,GIR,BIRは他の色フィルタに比べ黒つぶれしやすい。
この場合,黒つぶれした信号RIR,GIR,BIRは相対的にノイズの影響を大きく受けるため,式(27)から(30)に基づき可視光信号と非可視光信号の比率を算出すると算出誤差が大きくなる。そこで,信号範囲評価部1601は例えばRIR,GIR,BIR,WIRの色フィルタを介して出力された信号値に対し,それぞれ所定の下限閾値th_lと所定の上限閾値th_hとの比較を行う。その結果,RIR,GIR,BIR,WIRの色フィルタを介して出力された全ての信号値がth_lとth_hの間の信号値である場合に,その画素について可視光信号と非可視光信号の比率の算出結果が信頼できると評価し,その評価結果を出力する。
比率算出部301は信号範囲評価部1601が出力した評価結果を参照し,可視光信号と非可視光信号の比率の算出結果が信頼できる画素について可視光信号と非可視光信号の比率を算出することで,高精度な比率情報の算出が可能となる。ここで,th_lは一例として撮像素子102のノイズレベル近辺に設定すればよい。例えば黒近傍でのノイズレベルが飽和レベルの1%程度であれば,th_lも1%程度に設定すればよい。また,th_hは一例として撮像素子102の飽和レベル近辺に設定すればよい。
本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、可視光信号を増幅させるための利得を算出して利得調整部(1)303へ出力し、非可視光信号を減衰させるための利得を算出して利得調整部(2)304へ出力する。また例えば可視光信号が非可視光信号に対して多い場合、可視光信号を減衰させるための利得を算出して利得調整部(1)303へ出力し、非可視光を増幅させるための利得を算出して利得調整部(2)304へ出力してもよい。
利得情報を基に利得調整部(1)303と利得調整部(2)304が各々利得調整を行うことで、可視光信号と非可視光信号が所定の比率となるよう信号レベルを各々変更して画像合成部111にて合成することができる。即ち、可視光信号が十分に得られなかった被写体に対しては可視光による画像m信号を増幅することで十分に感度を持たせ、非可視光信号が十分に得られなかった被写体に対しては非可視光による画像信号を増幅することで十分に感度を持たせることができる。
また、本実施例における画質調整パラメータ算出部302は、例えば非可視光信号が可視光信号に対して極めて少ない場合、可視光信号レベルを保持するための利得を算出して利得調整部(1)303へ出力し、非可視光信号レベルを減衰させるための利得を算出して利得調整部(2)304へ出力することも可能である。この利得情報を基に利得調整部(1)303と利得調整部(2)304が各々利得調整を行うことで、非可視光信号レベルを減衰または削除して可視光信号と合成することができる。即ち、信号量が小さい非可視光信号はノイズ成分が支配的となっており、このノイズ成分の重畳を抑制することで、ノイズが少なく視認性の高い画像を合成することができる。
尚、比率算出部301は、画素単位で可視光信号と非可視光信号の比率を算出して出力する構成とすれば、簡素な処理で上記効果を得ることができる。このとき,ある画素において,信号範囲評価部1601の出力する評価結果を参照した結果,その画素が可視光信号と非可視光信号の比率の算出結果が信頼できる画素でないと判断した場合には,周辺の可視光信号と非可視光信号の比率の算出結果が信頼できる画素の比率の算出結果を補間ないし置換して用いれば良い。また,RIR,GIR,BIR,WIRがいずれもth_lを下回る場合には非可視光が含まれる可能性が低いと判断して,非可視光信号の比率を0にする,といったように固定値で代用しても良い。
また比率算出部301は、ガウシアンフィルタなどの帯域制限フィルタを可視光信号及び非可視光信号に対して画素単位で施した後、比率を算出して出力する構成とすれば、細かいドット絵やノイズに影響されることなく、画面内に存在する被写体毎に、それぞれの被写体特有の波長ごとの反射率に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。また比率算出部301は、画面全体もしくは画面の任意の領域毎に重みづけを行った後、全体の比率を算出して出力する構成とすれば、取得した1フレームの画像内に写された被写体に対して照射されている照明の波長特性に応じて可視光信号と非可視光信号の各々の信号量を調整することができる。
このとき,信号範囲評価部1601の出力する評価結果を参照し,可視光信号と非可視光信号の比率の算出結果が信頼できると評価された画素を全体の比率を算出する際の対象画素とする,あるいは可視光信号と非可視光信号の比率の算出結果が信頼できると評価されない画素を全体の比率を算出する際に除外することを行えば,画面の一部が飽和したり黒つぶれした場合でも被写体に対して照射されている照明の可視光信号と非可視光信号の比率を高精度に推定することが可能であり,より撮影シーンに対して高画質な画像を生成することが可能である。また、画素単位の比率あるいは帯域制限フィルタを適用したあとの比率あるいは画面全体の比率を用いた利得調整方法のそれぞれについては、組み合わせて用いた場合であってもその各々の効果を同時に得ることができる。
また、本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、可視光信号が非可視光信号に対して少ない場合、彩度を強く(色を濃く)するための利得を算出して彩度変更部305へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が少ない場合において、彩度を強くすることにより、出力画像の色が薄くなってしまうという課題を解決することができる。
また、本実施例における画質調整パラメータ算出部302は、例えば比率算出部301から出力された可視光信号と非可視光信号との比率情報を入力し、例えば可視光信号の信号量が極めて小さい場合、彩度を弱く(色を薄く)するための利得を算出して彩度変更部305へ出力する。この構成とすることで、カラー情報として扱われる可視光信号の信号量が極端に小さい場合、即ち有効な被写体の信号が得られずノイズ信号のみである場合に、カラーノイズを抑制することができる。
本実施例における比率算出部301の比率算出処理および画質調整パラメータ算出部302の画質調整処理の異なる一例を図18に示す。1801は異なる複数の光源Aおよび光源Bがそれぞれ異なる被写体に照射された際の入力画像,1802は出力画像である。比率算出部301は画面を任意の領域毎に分割し,それぞれの領域において可視光信号と非可視光信号の全体の比率を算出して出力する構成としている。これにより比率算出部301は光源Aが照射された領域と光源Bが照射された領域でそれぞれの光源に応じた可視光信号と非可視光信号の比率を算出することが可能である。
このとき,信号範囲評価部1601の出力する評価結果を参照し,可視光信号と非可視光信号の比率の算出結果が信頼できると評価された画素を任意の領域毎の比率を算出する際の対象画素とする,あるいは可視光信号と非可視光信号の比率の算出結果が信頼できると評価されない画素を全体の比率を算出する際に除外することを行えば,画面の一部が飽和したり黒つぶれした場合でも被写体に対して照射されている照明の可視光信号と非可視光信号の比率を高精度に推定することが可能である。
画質調整パラメータ算出部302はそれぞれの任意の領域に対応した画質調整パラメータを決定することで,複数の光源が混在する場合の画質を向上することが可能である。また,任意の領域間のパラメータはそれぞれの領域で決定したパラメータを位置に応じて補間して用いることで,繋ぎ目の画質を自然にすることが可能である。
また,光源色推定部106は、可視光信号生成部104から出力された可視光信号R、G,Bの各々の信号レベルの比に基づいて、被写体に照射されている照明の色温度を推定し、その推定結果を出力する。例えば、可視光信号生成部104から出力された可視光信号R、G,Bの信号量をそれぞれを画像1画面分積算したΣR、ΣG、ΣBを算出し、このΣR、ΣG、ΣBを照明の色温度を表す色分布推定情報として出力する方法がある。または、算出したΣR、ΣG、ΣBの相対比を照明の色分布推定情報として出力する方法がある。
このとき,信号範囲評価部1601の出力した評価結果を参照し,可視光信号と非可視光信号の比率の算出結果が信頼できると評価された画素をΣR、ΣG、ΣBの算出対象としても良い。該画素は飽和ないし黒つぶれの影響のない画素であるため,これにより色温度を精度よく推定可能となり,画面の一部が飽和や黒潰れをしている場合でも高精度なホワイトバランス調整が行える。
また,比率算出部301は可視光信号と非可視光信号の比率の算出結果をメタデータとして不図示の外部装置に出力しても良い。例えば,外部の画像認識装置や映像圧縮装置が出力された可視光信号と非可視光信号の比率情報を参照することで,撮影シーンの光源環境を考慮した画像認識処理や映像圧縮処理を行うことが可能となる。
上記以外の構成および方法および効果に関しては、実施例1〜8と同様である。
図19は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例9にて示した構成に,露光制御部1901と評価選択部1902を加えたものである。
露光制御部1901は信号範囲評価部1601が出力した評価結果を参照し,画面内に占める可視光信号と非可視光信号の比率の算出結果が信頼できる画素数が少ない場合に撮像素子102の露光を制御する。評価選択部1902は複数のフレームの画像に対し,可視光信号と非可視光信号の比率の算出結果が推定可能なフレームを選択し,比率算出部301に選択結果を出力する。比率算出部301は評価選択部1902の選択したフレームにおいて可視光信号と非可視光信号の比率を算出する。これにより,露光制御の過程で飽和や黒つぶれが少ないタイミングの映像を用いて可視光信号と非可視光信号の比率を算出することが可能である。あるいは,飽和や黒つぶれが激しくて可視光信号と非可視光信号の比率が精度良く算出できない場合に,飽和や黒つぶれを低減して高精度な可視光信号と非可視光信号の比率を算出することが可能となる。
例えば信号範囲評価部1601は注目画素が可視光信号と非可視光信号の比率の算出結果が信頼できるか否かの評価結果に加え,図17に示した例でRIR,GIR,BIR,WIRの色フィルタを介して出力されたいずれかの信号値がth_lを下回っているか否か,すなわち黒つぶれの評価結果と,いずれかの信号値がth_hを上回っているか否か,すなわち飽和の評価結果の情報を同時に出力する。
露光制御部1901は黒つぶれしている画素と飽和している画素をそれぞれカウントし,黒つぶれしている画素が飽和している画素より多く,かつ所定の閾値より大きい場合には露光をオーバ側に,飽和している画素が黒つぶれしている画素より多く,かつ所定の閾値より大きい場合には露光をアンダ側に制御する。これにより,可視光信号と非可視光信号の比率の算出結果が信頼できる画素数を十分に確保した上で比率を算出することが可能となる。所定の閾値は画面内に存在するノイズや微小被写体の影響を除外できる程度の画素数を設定すればよい。これにより,ノイズや微小被写体の影響,および飽和や黒潰れの影響を受けずに光源の可視光信号と非可視光信号の比率を高精度に推定し,より撮影シーンに対して高画質な画像を生成することが可能である。
尚,比率算出部301は,評価選択部1902の選択していないフレームにおいては,過去のフレームで算出した比率情報を保持し,該比率情報を画質調整パラメータ算出部302や光源色推定部106に出力して画質調整やホワイトバランスに用いればよい。
また,評価選択部1902は,撮像素子102が複数の異なる露光時間で複数フレームの撮像を行った場合に,最も可視光信号と非可視光信号の比率の算出結果が信頼できる画素数が多いフレームを選択しても良い。例えば,輝度信号生成部109の出力する輝度信号や彩度変更部305の出力する色差信号を用いて不図示の信号処理部で複数の異なる露光時間で撮影した画像を合成することによりダイナミックレンジの拡大を図るハイダイナミックレンジ処理を行う場合に,最も飽和や黒つぶれの少ないフレームの映像を用いて可視光信号と非可視光信号の比率を高精度に算出することが可能となる。ハイダイナミックレンジ処理については公知の技術であるため詳細は省略する。
上記以外の構成および方法および効果に関しては、実施例1〜9と同様である。
図20は、本発明における実施の形態の一例を表す図である。本実施例における撮像装置は、実施例9にて示した構成に,信号量検出部2001を加えたものである。
信号量検出部2001はデモザイク処理部103の出力する画素ごとの信号量または所定の領域内の画素の信号量の積分値または平均値といった統計量を検出する。比率算出部301は可視光信号生成部104からの可視光信号と、非可視光信号生成部105からの非可視光信号の替わりに,信号量検出部2001の出力する画素ごとの信号量または所定の領域内の信号量の統計量を用いて可視光信号と非可視光信号との比率を算出する。算出方法については可視光信号生成部104や非可視光信号生成部105を介して行った各種の算出処理と同様にすればよいため省略する。ただし,他の実施例では比率算出部301が信号範囲評価部1601の評価結果を参照して可視光信号と非可視光信号との比率を算出するか否かを決定していたのに対し,本実施例では信号量検出部2001が信号範囲評価部1601の評価結果を参照して信号量検出の対象とするか否かを決定し,比率算出部301は信号範囲評価部1601の評価結果を反映した信号量検出を用いて可視光信号と非可視光信号との比率を算出することで同様の効果を得ている。
画質調整パラメータ算出部302は比率算出部301より取得した比率情報を用いて可視光信号生成部104における可視光信号の生成方法,例えばマトリクス演算の演算係数や,非可視光信号生成部105における非可視光信号の生成方法,例えばマトリクス演算の演算係数を制御する。
以上の構成によれば,比率算出部301が推定した可視光信号と非可視光信号との比率に応じて可視光信号生成部104や非可視光信号生成部105のパラメータそのものを制御することが可能であり,例えば非可視光信号をほとんど含まない蛍光灯やLEDの照明では可視光信号生成部104のマトリクス演算の演算係数として非可視光信号を考慮しない演算係数を設定し,近赤外光を含むハロゲン光やキセノン光では可視光信号生成部104のマトリクス演算の演算係数として非可視光信号を考慮した演算係数を設定することができる。すなわち,例えば図11に示すようなR+IR(RIR)、G+IR(GIR)、B+IR(BIR)、R+G+B+IR(WIR)の4種類の分光感度特性を持つ色フィルタを有する撮像素子を用いた場合に,非可視光信号をほとんど含まない照明では可視光信号を下記式(32)から式(34)のように算出し,
R=RIR・・・(32)
G=GIR・・・(33)
B=BIR・・・(34)
近赤外光を含む照明では可視光信号を前述の式(27)から式(29)のように算出する。これにより,ノイズの影響でマトリクス演算誤差が発生した場合の画質の低下を抑制することが可能である。また,フィードフォワードの制御構成とすることでハンチング等のリスクを回避することが可能である。
尚,比率算出部301が算出する比率情報は可視光信号と非可視光信号との比率に限らず,全ての波長帯の信号に占める可視光信号の比率や全ての波長体の信号に占める非可視光信号の比率でももちろん構わない。
上記以外の構成および方法および効果に関しては、実施例1から9と同様である。
尚本発明においては、上記実施例における構成要素の各々について、その一部またはすべてをハードウェア化した撮像装置として提供することができ、またその一部またはすべてをソフトウェアプログラムにより構成した撮像方法を提供することができる。
また,本発明は上記した実施例に限定されるものではなく,様々な変形例が含まれる。例えば上記した実施例に限らず多様な波長感度特性の色フィルタの組合せを有する撮像素子に対しても使用できる。
また,上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり,必ずしも説明した全ての構成を備えるものに限定されるものではない。
また,ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり,また,ある実施例の構成に他の実施例の構成を加えることも可能である。