JP4999494B2 - 撮像装置 - Google Patents

Description

本発明は、可視光および赤外線領域に感度を有する撮像素子を備えた撮像装置に関する。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）センサといった撮像素子は、一般的に可視光だけでなく赤外線にも感度を持つ。このような撮像素子は、赤外線カットフィルタを用いない場合、可視光と赤外線が混ざった信号を出力する。このような信号は、色が薄くなり、色再現性が低いものになる。

これに対し、特許文献１は、可視光と赤外線に感度がある画素と、赤外線だけに感度がある画素を設け、可視光と赤外線が混ざった信号から赤外線成分だけを減算することにより、可視光成分だけを取り出す手法を開示する。
特開平６−１０５３１９号公報

しかしながら、撮像素子の特性やアナログ／デジタル変換時の処理によって、ある程度以上明るい場所では、画素値が飽和値に達してしまい、実際の明るさを十分に表せない事態が生じうる。このような飽和画素値に対して赤外線成分の減算を実行すると、減算後の画素値が必要以上に暗く沈み込んでしまい、その部分がノイズとなって現れてしまう。

本発明はこうした状況に鑑みてなされたものであり、その目的は、赤外線成分を必要以上に減算することにより発生するノイズを低減することが可能な撮像装置を提供することにある。

上記課題を解決するために、本発明のある態様の撮像装置は、可視光と赤外線の両方を受光する複数の第１画素と、複数の第１画素にそれぞれ対応づけられた、赤外線を受光する複数の第２画素と、複数の第１画素のうち、受光によって飽和している第１画素とは別の第１画素の出力信号と、その別の第１画素に対応する第２画素の出力信号との関係を利用して、前記飽和している第１画素に入射した可視光成分を求める処理部と、を備える。「別の画素」は、非飽和画素であってもよい。

この態様によると、飽和している第１画素に入射した本来の可視光成分を他の画素から推測することにより、白とびがなく、ノイズの少ない画像を得ることができる。

処理部は、別の第１画素の出力信号とその別の第１画素に対応する第２画素の出力信号との比率を算出する比率算出部と、比率算出部により算出された比率を、飽和している第１画素に対応する第２画素の出力信号に乗算する信号推測部と、信号推測部により乗算された信号から、飽和している第１画素に対応する第２画素の出力信号を減算する減算部を含んでもよい。これによると、飽和しない理想的な特性を第１画素が備えていたならば、第１画素から出力されるべき可視光成分および赤外線成分を含む信号を推測し、赤外線成分を減算することにより、可視光成分を得ることができる。

処理部は、第１画素の出力信号が飽和しているか否かを判定する飽和判定部をさらに含んでもよい。信号推測部は、飽和判定部により飽和していると判定された第１画素の出力信号を推測した結果、推測した信号が第１画素の飽和値より小さい場合、その飽和値以上の値を有する信号を出力してもよい。これによると、推測の基礎とした画素と対象画素との間における被写体の違いや、ノイズ、または平均化処理などの影響により、推測した信号が誤っていると判断される場合、推測結果を補正することにより、推測精度を高めることができる。

比率算出部は、飽和している第１画素と被写体および光源の少なくとも一方が共通すると推測される別の第１画素の出力信号と、その別の第１画素に対応する第２画素の出力信号との比率を算出してもよい。これによると、推測精度を高めることができる。飽和している第１画素に隣接する第１画素と、その第１画素に対応する第２画素との比率を算出してもよい。

第１画素と第２画素は、同一の撮像素子に形成されていてもよい。これにより、撮像素子を１つ備えればよく、また赤外線成分を取り出すための光学素子も不要になることから、撮像装置の小型化をはかることができる。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、赤外線成分を必要以上に減算することにより発生するノイズを低減することができる。

以下、本発明を実施するための最良の形態について説明する。
図１は、本発明の実施の形態に係る撮像装置１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像装置１００は、撮像素子１０、アナログ／デジタル変換部１２および処理部５０を備える。処理部５０は、飽和判定部１４、信号推測部１５、波長比率算出部１６、減算部１８および信号処理部１９を含む。被写体からの光は撮像素子１０に入射される。

撮像素子１０は、例えばＣＣＤやＣＭＯＳセンサなどによって構成されたもので、マトリクス状に配置されたフォトダイオードを備えており、各々のフォトダイオードによって画素が構成される。

また、撮像素子１０は画素ごと異なる色のフィルタを備えており、この色フィルタによって色分解を行う。撮像素子１０に備えられた色フィルタは可視光および赤外線を透過する可視光フィルタと、主として赤外線を透過する赤外線フィルタとを含む。さらに、可視光フィルタは、透過する色に対応して、赤色フィルタ、緑色フィルタおよび青色フィルタに分類される。

図２は、撮像素子１０が備えた色フィルタの配列を示した図である。撮像素子１０は、緑用画素２０、赤用画素２２、青用画素２４および赤外線用画素２６の４種類の画素の組み合わせで構成される。緑用画素２０には緑色光を透過する緑色フィルタが、赤用画素２２には赤色光を透過する赤色フィルタが、青用画素２４には青色光を透過する青色フィルタがそれぞれ配置される。これら緑色フィルタ、赤色フィルタおよび青色フィルタは、赤外線も透過する特性を持つ。また、赤外線用画素２６には、主に赤外線を透過する赤外線フィルタが配置される。これら緑色フィルタ、赤色フィルタ、青色フィルタおよび赤外線フィルタは、縦２画素、横２画素単位で繰り返し配列される。

撮像素子１０は、画素ごとに対応した色フィルタを透過した光を、その強度に応じた電気信号に変換する。この変換した信号を画像信号として１画素ずつ順番に出力する。すなわち、緑用画素２０から出力される画像信号は緑色光および赤外線の成分を合わせた大きさとなる。同様に、赤用画素２２から出力された画像信号は赤色光および赤外線の成分を合わせた大きさとなる。同様に、青用画素２４から出力された画像信号は青色光および赤外線の成分を合わせた大きさとなる。一方、赤外線用画素２６から出力された画像信号は、赤外線の成分に応じた大きさとなる。この赤外線用画素２６から出力された画像信号は、主に、対応する緑用画素２０、赤用画素２２および青用画素２４から出力された画像信号を補正するために利用される。

図１に戻り、アナログ／デジタル変換部１２は、撮像素子１０から出力された画像信号を、例えば１０ビットのデジタル信号に変換する。アナログ／デジタル変換部１２は、緑用画素２０、赤用画素２２および青用画素２４から出力された画像信号をデジタル信号に変換した信号を飽和判定部１４および波長比率算出部１６に出力する。赤外線用画素２６から出力された画像信号をデジタル信号に変換した信号を減算部１８および波長比率算出部１６に出力する。

飽和判定部１４は、緑用画素２０、赤用画素２２および青用画素２４より出力された画像信号、すなわち緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）および青色光成分＋赤外線成分（Ｂ_＋ＩＲ）（以下、これらを総称して可視光成分＋赤外線成分信号と適宜、表記する）が飽和値に達しているか否かを判定する。この飽和値は、撮像素子１０に用いられるフォトダイオードの飽和特性や、アナログ／デジタル変換時の変換ロスや信号経路伝搬時の減衰などを考慮して設定される。飽和判定部１４は、上記判定の結果、飽和していない画像信号を減算部１８に出力し、飽和している画像信号を信号推測部１５に出力する。

信号推測部１５は、撮像素子１０が飽和しない理想的な素子と仮定した場合に、緑用画素２０、赤用画素２２および青用画素２４から本来得られるであろう画像信号を推測する。具体的な推測手法は後述する。

波長比率算出部１６は、緑用画素２０、赤用画素２２および青用画素２４から出力された可視光成分＋赤外線成分信号と、赤外線用画素２６から出力された赤外線信号との比率を算出する。算出した比率を信号推測部１５に設定する。なお、具体的な算出手法は後述する。

減算部１８は、信号推測部１５から入力された推測信号から、対応する赤外線用画素２６から出力された赤外線信号を減算する。これにより、赤外線成分が除去され、可視光成分だけが残った画像信号を生成することができる。また、飽和判定部１４から入力された飽和していない画像信号から、対応する赤外線用画素２６から出力された赤外線信号を減算する。

信号処理部１９は、飽和判定部１４および減算部１８から出力された信号に対して、輝度信号および色信号の抽出や、様々な画像処理を施す。信号処理部１９は、画像処理を施した信号を、図示しない表示装置や画像圧縮装置などに伝送する。

以下、信号推測部１５における推測手法および波長比率算出部１６における比率算出手法を合わせて説明する。
信号推測部１５は、下記式１により、緑用画素２０、赤用画素２２および青用画素２４から本来得られたであろうと推測される推測信号を生成する。
（対象画素の推測信号）＝（対象画素に対応する赤外線用画素の赤外線信号）×｛（比率算出用画素の可視光成分＋赤外線成分信号）／（比率算出用画素に対応する赤外線用画素の赤外線信号）｝・・・（式１）

波長比率算出部１６は、緑用画素２０、赤用画素２２および青用画素２４から得られた可視光成分＋赤外線成分信号と、対応する赤外線用画素２６から得られた赤外線信号との比率を算出し、信号推測部１５に設定する。信号推測部１５は、この比率を、対象画素に対応する赤外線用画素２６から出力された赤外線信号に掛けて、上記推測信号を生成する。

波長比率算出部１６は、上記比率を、画像全体や対象画素の近傍に存在する画素を基に算出する。使用する画像は、現在処理しているフレームやその前のフレームを用いることができる。また、前の数フレームを平均したフレームを用いてもよい。各波長の光反射率は物体や材質に依存するため、上記比率算出の基礎とすべき画素領域は、物体検出処理や材質検出処理により、対象画素と同じ物体や材質が写っている範囲内の領域とすることが望ましい。例えば、本撮像装置１００にオートフォーカス機能が搭載されており、被写体との距離を算出することができる場合や、エッジ検出機能が搭載されている場合、それらの機能を利用して、対象画素と同じ物体や材質が写っている範囲を特定することができる。また、設計を簡単にするために、対象画素から一定の距離内に収まる画素を用いてもよい。

上記比率算出の基礎として現在のフレームを使用する場合、同一フレームに対して上記比率の算出処理と上記推測信号の生成処理を行う必要がある。この場合、波長比率算出部１６は、上記比率の算出の際に、図示しないメモリに対象フレームを保存し、信号推測部１５は、当該メモリから対象フレームを読み出して、上記推測信号を生成するための演算を行う。

図３は、実施の形態に係る撮像装置１００内における画像信号の遷移例１を示す。図３の縦軸は光電変換されて得られた信号量を示し、横軸は画素の空間位置を示す。図３（ａ）は、撮像素子１０から得られた可視光成分＋赤外線成分信号Ｓ１と、赤外線信号Ｓ２を示す。可視光成分＋赤外線成分信号Ｓ１は、飽和値ｔｈに達している領域がある。このような画素は、可視光成分＋赤外線成分信号Ｓ１が本来の値より小さくなっているため、単純に赤外線信号Ｓ２を減算すると、減算しすぎになり、その画素が沈み込んでしまう。これに対し、減算しないと赤外線成分が残ってしまい、その画素が輝点になってしまう。また、飽和した領域は減算せず、飽和していない領域に対してだけ減算を行うことも考えられるが、減算後の信号に大きな段差が発生してしまう。

図３（ｂ）は、信号推測部１５により推測された可視光成分＋赤外線成分信号Ｓ３と、赤外線用画素２６から得られた赤外線信号Ｓ２を示す。可視光成分＋赤外線成分信号Ｓ３は、飽和領域における本来の値が推測された信号であり、可視光成分＋赤外線成分信号Ｓ１より大きな信号となる。図３（ｃ）は、減算後の信号Ｓ４を示す。このように、推測された可視光成分＋赤外線成分信号Ｓ３から赤外線信号Ｓ２を減算すると、連続的で自然な信号Ｓ４を得ることができる。

波長比率算出部１６が算出する比率は、算出に使用した領域の平均的な比率である。したがって、上記比率を用いて推測した値と、実際の値にはズレが発生しうる。
図４は、実施の形態に係る撮像装置１００内における画像信号の遷移例２を示す。この遷移例は、推測した値と実際の値とのズレを補正する処理が施される例である。

図４（ａ）は、撮像素子１０から得られた可視光成分＋赤外線成分信号Ｓ５と、赤外線信号Ｓ６を示す。可視光成分＋赤外線成分信号Ｓ５は、飽和値ｔｈに達している領域がある。

図４（ｂ）は、信号推測部１５により推測された可視光成分＋赤外線成分信号Ｓ７と、赤外線用画素２６から得られた赤外線信号Ｓ６を示す。推測された可視光成分＋赤外線成分信号Ｓ７には、飽和しているはずの領域にも関わらず、飽和していない領域ａ、ｂが存在する。

図４（ｃ）は、補正後の可視光成分＋赤外線成分信号Ｓ８と、赤外線用画素２６から得られた赤外線信号Ｓ６を示す。上記領域ａ、ｂは少なくとも飽和している領域であるため、信号推測部１５は、その領域ａ、ｂの値を飽和値ｔｈ以上の値に補正する。図４（ｃ）では、領域ｃ、ｄに示すように飽和値ｔｈに補正している。

以上説明したように、本実施の形態によれば、赤外線成分を必要以上に減算することにより発生するノイズを低減することができる。すなわち、飽和により白とびしている信号から、赤外線信号を減算した場合のように、必要以上の信号量の低下を防止することができる。また、飽和していない領域だけから赤外線成分を減算する場合のように、白とびしている領域の周囲に大きな段差が発生することを防止することができる。また、赤外線カットフィルタを使用しないため、赤外線カットフィルタにより、必要な可視光成分が減衰することがなく、感度の低下を防止することができる。本実施の形態では、飽和した画素における可視光成分＋赤外線成分信号を精度よく推測することができ、可視光成分＋赤外線成分信号から赤外線信号を減算する処理を精度よく実行することができる。よって、滑らかで自然な可視光成分信号を得ることができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

信号推測部１５による算出処理において、ノイズが大きい画素では、上記比率を赤外線信号に乗算することにより、ノイズも増大してしまう。信号推測部１５は、そのような画素から得られる可視光成分＋赤外線成分信号を、その隣接画素から得られる可視光成分＋赤外線成分信号や、複数の隣接画素から得られる可視光成分＋赤外線成分信号の平均値で代替してもよい。また、可視光成分＋赤外線成分信号ではなく、赤外線信号を隣接画素を利用して算出し、その値から可視光成分＋赤外線成分信号を算出してもよい。

信号推測部１５は、ノイズが大きい画素であるか否かを、例えば、下記式２によって判定する。
（判定値）＝（対象画素と隣接画素との差分）−Ａ×Σ（対象画素の隣接画素とその隣接画素との差分）・・・（式２）
係数Ａは、判定の厳しさを決定する係数であり、係数Ａを小さく設定すればノイズが大きい画素と判定されやすくなり、係数Ａを大きく設定すればノイズが大きい画素と判定されにくくなる。信号推測部１５は、上記式２の判定値が正であればノイズが大きいと判定し、負であればノイズが小さいと判定する。これらの処理により、ノイズが大きいと判定された画素に対しては、隣接画素から生成した代替信号を利用することにより、画像全体のノイズを減少させることができる。

また、上述した実施の形態では、可視光成分＋赤外線成分信号と赤外線信号との比率を算出した。信号推測部１５で乗算されるべき比率はこれに限るものではなく、撮像素子１０の一部の領域にだけ赤外線カットフィルタを設ける構成では、赤外線カットフィルタが設けられた画素から得られる可視光成分信号と、赤外線信号との比率を算出することができる。この場合、当該比率を赤外線信号に乗算することにより、可視光成分信号を直接推測することができ、赤外線信号を減算する処理は不要である。また、撮像素子１０の外部に波長別光センサを設け、その出力結果を利用して信号推測部１５で乗算されるべき比率を算出してもよい。

また、上述した実施の形態では、赤外線成分と可視光成分とが同じ割合で変化すると仮定し、赤外線信号に上記比率を乗算した。この点、赤外線成分と可視光成分とが同じ差分で変化すると仮定し、可視光成分＋赤外線成分信号と赤外線信号との差分を、赤外線信号に対して加減算してもよい。また、比率と差分を組み合わせて、本来の信号を推測してもよい。比率と差分を組み合わせる際、明るさや光源、対象物の違いによって、重み付けを変化させてもよい。また、比率と差分を適宜、切り替えて使用してもよい。

例えば、監視カメラなどにおいて、カメラ側から赤外線を照射して、撮像した画像内の一部の領域にその赤外線の反射光が戻ってくるようなシステムでは、その領域の赤外線信号は、照射した赤外線に対応した分、他の領域より加算されていることになる。このように、画像の一部に含まれる赤外線成分は差分により推測し、画像全体に含まれる赤外線成分は比率により推測すると、可視光成分＋赤外線成分信号に含まれる赤外線成分を精度よく推測することができる。また、デジタルスチルカメラやデジタルビデオカメラなどにおいて、風景モードやポートレードモードなど、選択されているモードに応じて、赤外線信号に施される演算方法が最適化されてもよい。この演算方法は設計者が実験やシミュレーションにより決定することが可能である。

また、上述した実施の形態では、３原色フィルタと赤外線フィルタを用いた撮像素子１０について説明した。この点、本実施の形態は、補色フィルタと赤外線フィルタを用いた撮像素子１０にも適用可能である。補色フィルタは、イエローＹｅ、シアンＣｙおよびマゼンダＭｇに色分解する。または、イエローＹｅ、シアンＣｙおよびグリーンＧｒに、もしくはイエローＹｅ、シアンＣｙ、マゼンダＭｇおよびグリーンＧｒに色分解する。それぞれの色成分を透過するフィルタは、上述した３原色フィルタと同様に、赤外線成分も透過する。

本発明の実施の形態に係る撮像装置の構成を示した図である。 撮像素子が備えた色フィルタの配列を示した図である。 実施の形態に係る撮像装置内における画像信号の遷移例１を示す図である。図３（ａ）は、撮像素子から得られた可視光成分＋赤外線成分信号と赤外線信号を示す。図３（ｂ）は、信号推測部により推測された可視光成分＋赤外線成分信号と、赤外線用画素から得られた赤外線信号を示す。図３（ｃ）は、減算後の信号を示す。 実施の形態に係る撮像装置内における画像信号の遷移例２を示す図である。図４（ａ）は、撮像素子から得られた可視光成分＋赤外線成分信号と赤外線信号を示す。図４（ｂ）は、信号推測部により推測された可視光成分＋赤外線成分信号と、赤外線用画素から得られた赤外線信号を示す。図４（ｃ）は、補正後の可視光成分＋赤外線成分信号と、赤外線用画素から得られた赤外線信号を示す。

符号の説明

１０ 撮像素子、 １２ アナログ／デジタル変換部、 １４ 飽和判定部、 １５ 信号推測部、 １６ 波長比率算出部、 １８ 減算部、 １９ 信号処理部、 ２０ 緑用画素、 ２２ 赤用画素、 ２４ 青用画素、 ２６ 赤外線用画素、 ５０ 処理部、 １００ 撮像装置。

Claims (3)

1. 可視光と赤外線の両方を受光する複数の第１画素と、
   前記複数の第１画素にそれぞれ対応づけられた、赤外線を受光する複数の第２画素と、
   前記複数の第１画素のうち、受光によって飽和している第１画素とは別の第１画素の出力信号と、その別の第１画素に対応する第２画素の出力信号との関係を利用して、前記飽和している第１画素に入射した可視光成分を求める処理部と、
   を備え、
   前記処理部は、
   前記別の第１画素の出力信号とその別の第１画素に対応する第２画素の出力信号との比率を算出する比率算出部と、
   前記比率算出部により算出された比率を、前記飽和している第１画素に対応する第２画素の出力信号に乗算する信号推測部と、
   前記信号推測部により乗算された信号から、前記飽和している第１画素に対応する第２画素の出力信号を減算する減算部と、
   前記第１画素の出力信号が飽和しているか否かを判定する飽和判定部と、
   を含み、
   前記信号推測部は、前記飽和判定部により飽和していると判定された第１画素の出力信号を推測した結果、推測した信号が前記第１画素の飽和値より小さい場合、その飽和値以上の値を有した信号を出力することを特徴とする撮像装置。
2. 前記比率算出部は、前記飽和している第１画素と被写体および光源の少なくとも一方が共通すると推測される別の第１画素の出力信号と、その別の第１画素に対応する第２画素の出力信号との比率を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記第１画素と前記第２画素は、同一の撮像素子に形成されていることを特徴とする請求項１または２に記載の撮像装置。

Images