WO2016051927A1 - 信号処理装置、撮像装置および信号処理方法 - Google Patents

Abstract

　撮像素子の分光特性のばらつきが大きい場合であっても、可視光信号と赤外光信号とからなる画像信号から可視光信号と赤外光信号とを適正に分離する。　分離マトリクス生成部は、可視光および非可視光を含む画像信号である混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する。分離マトリクス保持部は、生成された分離マトリクスを保持する。分離部は、保持された分離マトリクスに基づいて混成画像信号から可視光信号を分離する。検出部は、分離された可視光信号の信号レベルが所定の閾値より低いことを検出した場合に分離マトリクス生成部に分離マトリクスを新たに生成させて更新させる。

Description

信号処理装置、撮像装置および信号処理方法

　本技術は、信号処理装置、撮像装置および信号処理方法に関する。詳しくは、カメラ等に使用される撮像装置、撮像装置における信号処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

　従来、監視用カメラにおいて、夜間などの低照度環境下における視認性を高めるため、可視光から赤外光に亘る広い範囲の波長の光に対して感度を有する撮像素子を使用した撮像装置が使用されている。このような撮像素子を使用するとともに被写体に赤外光を照射することにより、低照度環境下においても鮮明な画像を得ることができる。しかし、この場合、得られる画像はモノクロまたはこれに近い画像となる。そのため、昼間における撮影等、視認性よりも色再現性を重視する撮影の場合、撮像素子から出力された画像信号から、可視光からなる可視光信号と赤外光からなる赤外光信号とを分離する信号処理が行われている。例えば、撮像素子から出力された画像信号に対して演算を行い、可視光信号と赤外光信号とを分離するシステムが提案されている（例えば、特許文献１参照。）。

特開２００８－２８９０００号公報

　上述の従来技術は、所定の演算式に基づいて演算を行うものである。すなわち、撮像素子が出力した画像信号から赤外光信号の信号成分を減算して可視光信号を得るものである。しかし、撮像素子の分光特性のばらつきにより、画像信号に含まれる可視光成分と赤外光成分との比率が想定範囲を超えて変化した場合、可視光信号と赤外光信号とを適正に分離できないという問題がある。

　本技術はこのような状況に鑑みて生み出されたものであり、撮像素子の分光特性のばらつきが大きい場合であっても、可視光信号と赤外光信号とを適正に分離することを目的とする。

　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、可視光および非可視光を含む画像信号である混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する分離マトリクス生成部と、上記生成された上記分離マトリクスを保持する分離マトリクス保持部と、上記保持された上記分離マトリクスに基づいて上記混成画像信号から上記可視光信号を分離する分離部と、上記分離された上記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に上記分離マトリクス生成部に上記分離マトリクスを新たに生成させて更新させる検出部とを具備する信号処理装置である。これにより、可視光信号の信号レベルが所定の閾値より低い場合に分離マトリクスが更新されるという作用をもたらす。

　また、この第１の側面において、上記保持された上記分離マトリクスに基づいて上記混成画像信号から上記可視光信号を分離する予備分離部をさらに具備し、上記検出部は、上記予備分離部が分離した上記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に上記分離マトリクス生成部に上記更新をさせてもよい。これにより、予備分離部により分離された可視光信号の信号レベルが所定の閾値より低いか否かを判断されるという作用をもたらす。

　また、この第１の側面において、上記分離マトリクス生成部は、上記分離された上記可視光信号の信号レベルを高める分離マトリクスにより上記更新を行ってもよい。これにより、可視光信号の信号レベルを高める分離マトリクスにより更新が行われるという作用をもたらす。

　また、この第１の側面において、上記分離マトリクス生成部は、上記保持された上記分離マトリクスの要素の値を所定の変換係数に基づいて変換して上記更新を行ってもよい。これにより、分離マトリクスの要素の値が所定の変換係数に基づいて変換されて分離マトリクスが更新されるという作用をもたらす。

　また、この第１の側面において、上記分離マトリクス生成部は、予め用意された複数の上記分離マトリクスから１つを選択して上記分離マトリクス保持部に生成された分離マトリクスとして保持させて上記更新の際には上記選択された上記分離マトリクスよりも上記分離の際の上記分離された上記可視光信号の信号レベルを高める分離マトリクスを選択して上記更新を行ってもよい。これにより、可視光信号の信号レベルを高める分離マトリクスが選択されて更新されるという作用をもたらす。

　また、この第１の側面において、上記分離マトリクス生成部は、予め用意された２つの上記分離マトリクスを所定の混合比率に基づいて混合することにより上記分離マトリクスを生成して上記更新の際には上記混合比率を変更して上記更新を行ってもよい。これにより、混合比率が変更されて分離マトリクスが更新されるという作用をもたらす。

　また、この第１の側面において、上記検出部は、上記混成画像信号における所定の選択領域に含まれる上記混成画像信号と上記選択領域に含まれない上記混成画像信号とに対して異なる閾値に基づいて上記検出を行ってもよい。これにより、所定の選択領域に含まれる混成画像信号は、異なる閾値に基づいて検出が行われるという作用をもたらす。

　また、この第１の側面において、上記分離マトリクスは、上記混成画像信号からさらに上記非可視光からなる非可視光信号を分離し、上記分離部は、上記保持された上記分離マトリクスに基づいて上記混成画像信号からさらに上記非可視光信号を分離してもよい。これにより、混成画像信号から可視光信号と非可視光信号とを分離するという作用をもたらす。

　また、この第１の側面において、上記分離された上記可視光信号に上記分離された上記非可視光信号を加算して調整する調整部をさらに具備してもよい。これにより、可視光信号が調整されるという作用をもたらす。

　また、この第１の側面において、上記非可視光は、赤外光であってもよい。これにより、赤外光からなる非可視光信号に対して処理が行われるという作用をもたらす。

　また、本技術の第２の側面は、可視光および非可視光を含む画像信号である混成画像信号を出力する撮像素子と、上記出力された上記混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する分離マトリクス生成部と、上記生成された上記分離マトリクスを保持する分離マトリクス保持部と、上記保持された上記分離マトリクスに基づいて上記混成画像信号から上記可視光信号を分離する分離部と、上記分離された上記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に上記分離マトリクス生成部に上記分離マトリクスを新たに生成させて更新させる検出部とを具備する撮像装置である。これにより、可視光信号の信号レベルが所定の閾値より低い場合に分離マトリクスが更新されるという作用をもたらす。

　また、本技術の第３の側面は、可視光および非可視光を含む画像信号である混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する生成手順と、上記分離マトリクスに基づいて上記混成画像信号から上記可視光信号を分離する分離手順と、上記分離された上記可視光信号の信号レベルが所定の閾値より低いことを検出する検出手順と、上記検出がされた場合には上記分離マトリクスを新たに生成して更新する分離マトリクス更新手順とを具備する信号処理方法である。これにより、可視光信号の信号レベルが所定の閾値より低い場合に分離マトリクスが更新されるという作用をもたらす。

　本技術によれば、撮像素子の分光特性が大きくばらついた場合であっても、可視光信号と赤外光信号とを適正に分離することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態における撮像装置１０の構成例を示す図である。 本技術の実施の形態における撮像素子２００の構成例を示す図である。 本技術の実施の形態における信号処理装置３００の構成例を示す図である。 本技術の第１の実施の形態における赤外光分離部３２０の構成例を示す図である。 本技術の第１の実施の形態における信号処理手順の一例を示す図である。 本技術の第１の実施の形態における赤外光分離処理手順（ステップＳ９１０）の一例を示す図である。 本技術の第２の実施の形態における赤外光分離部３２０の構成例を示す図である。 本技術の第２の実施の形態における赤外光分離処理を示す図である。 本技術の第２の実施の形態における赤外光分離処理手順（ステップＳ９１０）の一例を示す図である。 本技術の第３の実施の形態における選択領域が設定された画面の一例を示す図である。

　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（分離部のみを使用する例）
　２．第２の実施の形態（分離部および予備分離部を使用する例）
　３．第３の実施の形態（設定された画面領域ごとに分離マトリクスを変更する例）
　４．第４の実施の形態（混成画像信号から可視光のみを分離する例）

　＜１．第１の実施の形態＞
　［撮像装置の構成］
　図１は、本技術の実施の形態における撮像装置１０の構成例を示す図である。この撮像装置１０は、レンズ１００と、撮像素子２００と、信号処理装置３００と、制御装置４００とを備える。

　レンズ１００は、撮像素子２００に対して光学的に被写体を結像するものである。撮像素子２００は、レンズ１００によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子２００は、光学画像が結像される面に、画像信号を生成する画素が２次元格子状に配置されて構成されている。この画素は、光電変換を行う光電変換素子を備えており、画素に入射する光の輝度に応じた電気信号を出力する。また、画素には、カラーフィルタが備えられており、このカラーフィルタの分光特性を変えることにより、所望の光（赤色光、緑色光、青色光および赤外光）に対応する画素を構成することができる。このような撮像素子２００の例として、赤色光と赤外光とに対応する画素、緑色光と赤外光に対応する画素、青色光と赤外光に対応する画素および赤外光に対応する画素の４種の画素を備える撮像素子を挙げることができる。このような撮像素子２００から出力される画像信号は、可視光および赤外光を含む画像信号となる（以下、混成画像信号と称する。）。

　信号処理装置３００は、撮像素子２００から出力された混成画像信号の処理を行うものである。この信号処理装置３００は、混成画像信号から可視光からなる可視光信号および赤外光からなる赤外光信号を分離する。次に、信号処理装置３００は、分離後の画像信号を輝度信号および色差信号に変換して出力する。処理の詳細については後述する。

　制御装置４００は、撮像装置１０の全体を制御するものである。また、制御装置４００は、信号処理装置３００が出力した輝度信号および色差信号を撮像装置１０の外部に出力する機能も有する。

　［撮像素子の構成］
　図２は、本技術の実施の形態における撮像素子２００の構成例を示す図である。同図は、撮像素子２００の画素２０１が２次元格子状に配置された面である画素面の構成を表したものである。同図におけるａは、画素面が赤色光と赤外光とに対応する画素（Ｒ＋ＩＲ画素）、緑色光と赤外光とに対応する画素（Ｇ＋ＩＲ画素）、青色光と赤外光とに対応する画素（Ｂ＋ＩＲ画素）および赤外光に対応する画素（ＩＲ画素）により構成された撮像素子の例である。なお、同図における画素２０１に配置された文字は、この画素の種類を表したものである。

　同図におけるｂは、画素面がＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素および白色光と赤外光とに対応する画素（Ｗ＋ＩＲ画素）により構成された撮像素子の例である。同図におけるｃは、同図におけるｂと同様に、画素面がＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素およびＷ＋ＩＲ画素により構成された撮像素子の例である。ただし、Ｗ＋ＩＲ画素の割合が多い点で同図におけるｂと異なる。

　［信号処理装置の構成］
　図３は、本技術の実施の形態における信号処理装置３００の構成例を示す図である。この信号処理装置３００は、デモザイク処理部３１０と、赤外光分離部３２０と、ホワイトバランス調整部３３０と、ＹＣ変換部３４０と、調整部３５０とを備える。なお、同図の信号処理装置３００は、撮像素子２００として図２におけるａに表した画素面を有する撮像素子を想定したものである。すなわち、信号処理装置３００の入力信号は、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素およびＩＲ画素が出力した画素信号（混成画像信号）となる。ここで、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素およびＢ＋ＩＲ画素が出力した画像信号をそれぞれＲ＋ＩＲ信号、Ｇ＋ＩＲ信号およびＢ＋ＩＲ信号と称する。これらは、それぞれ、赤色光および赤外光を含む画像信号、緑色光および赤外光を含む画像信号ならびに青色光および赤外光を含む画像信号である。また、ＩＲ画素が出力した画像信号をＩＲ信号と称する。このＩＲ信号は、前述した赤外光信号に該当する。これらＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号が、前述した混成画像信号に該当する。

　デモザイク処理部３１０は、入力された混成画像信号に対してデモザイク処理を行うものである。ここで、デモザイク処理とは、撮像素子２００の各画素に対してそれぞれの画素が有していない他の色についての画像信号を生成する処理である。このデモザイク処理としては公知の方法を使用することができる。例えば、対象とする画素において不足する色の画像信号を、周囲に存在する当該色に対応した画素の画像信号の平均値から算出する方法を使用することができる。

　赤外光分離部３２０は、デモザイク処理された混成画像信号から可視光信号および赤外光信号であるＩＲ信号を分離するものである。ここで、可視光信号は、赤色光に対応する画像信号（Ｒ信号）、緑色光に対応する画像信号（Ｇ信号）および青色光に対応する画像信号（Ｂ信号）が該当する。赤外光分離部３２０の動作の詳細については後述する。

　ホワイトバランス調整部３３０は、Ｒ、ＧおよびＢ信号に対してホワイトバランス調整を行うものである。これは、白い被写体に対するＲ、ＧおよびＢ信号が同じ信号レベルになるように調整する処理である。

　ＹＣ変換部３４０は、Ｒ、ＧおよびＢ信号を輝度信号（Ｙ信号）および色差信号（ＣｂおよびＣｒ信号）に変換するものである。ここで、色差信号ＣｂはＢ信号と輝度信号との差分に基づく信号であり、色差信号ＣｒはＲ信号と輝度信号との差分に基づく信号である。この変換は、例えば、次式に基づいて行うことができる。
　　Ｙ　＝　０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
　　Ｃｂ＝－０．１６９×Ｒ－０．３３１×Ｇ＋０．５００×Ｂ
　　Ｃｒ＝　０．５００×Ｒ－０．４１９×Ｇ－０．０８１×Ｂ
但し、Ｒ、ＧおよびＢは、それぞれＲ信号、Ｇ信号およびＢ信号を表す。

　調整部３５０は、輝度信号を調整して新たな輝度信号を生成するものである。この調整部３５０は、輝度信号であるＹ信号にＩＲ信号を加算することによりＹ信号を調整し、新たな輝度信号であるＹ'信号を生成する。これにより、信号処理装置３００が出力する輝度信号の信号レベルを高めて、視認性を向上させることができる。これは、低照度環境下における撮影等を想定したものである。

　この加算は、例えば、次式に基づいて行うことができる。
　　Ｙ'＝α×Ｙ＋（１－α）×ＩＲ
但し、αは比率を表し、ＩＲはＩＲ信号を表す。αを変更することにより、加算されるＩＲ信号の比率を変更することができる。αの値を小さくすることによりＩＲ信号の比率が増大し、視認性を向上した画像にすることができる。しかし、ＩＲ信号の比率が高まるほど色再現性は低下し、αを値「０」とした場合には、Ｙ'信号はＩＲ信号と等しくなる。これにより得られる画像はモノクロ画像に近い画像となる。このようにαを変更することにより、画像の用途に合わせて視認性または色再現性の何れかを重視した画像を得ることができる。

　［赤外光分離部の構成］
　図４は、本技術の第１の実施の形態における赤外光分離部３２０の構成例を示す図である。この赤外光分離部３２０は、検出部３２４と、分離マトリクス生成部３２３と、分離マトリクス保持部３２２と、分離部３２１とを備える。

　分離マトリクス保持部３２２は、分離マトリクス生成部３２３が生成した分離マトリクスを保持するものである。この分離マトリクスは、混成画像信号から可視光信号と赤外光信号とを分離するものである。

　分離部３２１は、分離マトリクス保持部３２２が保持する分離マトリクスに基づいて混成画像信号から可視光信号と赤外光信号とを分離するものである。具体的には、次式で示されるように分離マトリクスを使用して混成画像信号から可視光信号および赤外光信号を算出する。

但し、Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲは、それぞれＲ＋ＩＲ信号、Ｇ＋ＩＲ信号およびＢ＋ＩＲ信号を表す。また、Ｋ１１乃至Ｋ４４は、分離マトリクスのマトリクス係数である。このように、本技術の第１の実施の形態においては、分離マトリクスは、４行×４列のマトリクス係数を有するマトリクスである。なお、マトリクス係数Ｋ１４、Ｋ２４およびＫ３４は、負の符号を持った係数とする。これにより、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号およびＢ＋ＩＲ信号からＩＲ信号が減算されて、Ｒ、ＧおよびＢ信号が算出される。

　なお、図２において説明したように、撮像素子２００がＩＲ画素の代わりにＷ＋ＩＲ画素を備え、混成画像信号がＩＲ信号の代わりにＷ＋ＩＲ画素の出力信号であるＷ＋ＩＲ信号を含む場合には、式１の右辺のＩＲの代わりにＷ＋ＩＲとすることができる。但し、Ｗ＋ＩＲはＷ＋ＩＲ信号を表す。

　検出部３２４は、分離部３２１により分離された可視光信号の信号レベルが所定の閾値より低いか否かを判断するものである。また、この検出部３２４は、可視光信号の信号レベルが所定の閾値より低い場合には、分離マトリクス生成部３２３に対して新たな分離マトリクスを生成させる機能も有する。閾値の値としては、例えば、値「０」にすることができる。この場合、検出部３２４は、可視光信号が負の値となったか否かを検出することとなる。また、この閾値の値として、正の小さな値にすることもできる。可視光信号が負の値になると後段の信号処理装置において正常な画像処理ができなくなり、画像処理が破綻する。また、可視光信号が正の値であったとしても、その信号レベルが極端に低い場合には、画像処理の過程において符号が反転し、画像処理に支障をきたす可能性が高い。通常、分離マトリクスは、撮像素子２００の分光特性に合わせて可視光信号および赤外光信号を正常に分離できるように設定され、信号処理装置３００において使用される。しかし、撮像素子２００の分光特性のばらつきが大きい場合や、低照度環境において赤外光を照射しながら撮影を行う場合のように想定の範囲外の状態において撮影を行った場合に、上述のように正常な画像処理ができない状態となる。

　このような画像処理の破綻を防ぐため、可視光信号の符号の反転を防止する必要がある。可視光信号が負の値または極端に低い値となる場合は、式１から明らかなように、Ｒ＋ＩＲ信号等から減算するＩＲ信号分が大きいためである。すなわち、分離マトリクスの係数（Ｋ１１乃至Ｋ４４）の値が適当でないためであり、可視光信号の信号レベルを高める分離マトリクスを生成して分離マトリクスを更新する必要がある。この分離マトリクスの生成は、次に説明する分離マトリクス生成部３２３により行われる。

　分離マトリクス生成部３２３は、分離マトリクスを生成するものである。また、分離マトリクス生成部３２３は、上述したように検出部３２４の判断に基づいて新たに分離マトリクスを生成して更新する機能も有する。具体的には、分離マトリクス生成部３２３は、撮像装置１０に電源が投入されて信号処理装置３００が動作を開始した際に、初期状態の分離マトリクスを生成する。このときのマトリクス係数には初期値が設定される。そして、この分離マトリクスは、分離マトリクス保持部３２２に保持される。その後、検出部３２４により可視光信号の信号レベルが所定の閾値より低いことが検出されると、分離マトリクス生成部３２３は、新たな分離マトリクスを生成して分離マトリクス保持部３２２に保持させて、分離マトリクスを更新する。

　新たな分離マトリクスの生成方法として、式１のマトリクス係数のうち、ＩＲ信号に係る係数であるＫ１４、Ｋ２４およびＫ３４に所定の変換係数を乗算して新たな係数を生成し、これにより新たな分離マトリクスを生成する方式を用いることができる。これは、次式のように行う。
　　Ｋ１４'＝β×Ｋ１４
　　Ｋ２４'＝β×Ｋ２４
　　Ｋ３４'＝β×Ｋ３４
但し、Ｋ１４'、Ｋ２４' およびＫ３４'は、それぞれＫ１４、Ｋ２４およびＫ３４に対応する新たな係数である。βは、変換係数であり、例えば、０．９の値とすることができる。このようにして生成した分離マトリクスにより更新が行われる。

　［信号処理手順］
　図５は、本技術の第１の実施の形態における信号処理手順の一例を示す図である。信号処理装置３００は、入力された混成画像信号に対してデモザイク処理を行う（ステップＳ９０１）。次に、信号処理装置３００は、デモザイク処理が行われた混成画像信号をＩＲ信号とＲ、ＧおよびＢ信号とに分離する（ステップＳ９１０）。次に、信号処理装置３００は、分離された信号のうちＲ、ＧおよびＢ信号に対しホワイトバランス調整を行う（ステップＳ９０３）。その後、信号処理装置３００は、ＹＣ変換を行い（ステップＳ９０４）、ホワイトバランス調整後のＲ、ＧおよびＢ信号をＹ信号とＣｂおよびＣｒ信号とに変換する。最後に、信号処理装置３００は、Ｙ信号にＩＲ信号を加算して輝度信号の調整を行い（ステップＳ９０５）、調整された輝度信号であるＹ'信号を生成し、信号処理を終了する。

　［赤外光分離処理手順］
　図６は、本技術の第１の実施の形態における赤外光分離処理手順（ステップＳ９１０）の一例を示す図である。まず、信号処理装置３００は、分離マトリクスが生成済みか否かを判断し（ステップＳ９１１）、分離マトリクスが生成済みでない場合は（ステップＳ９１１：Ｎｏ）、初期状態の分離マトリクスを生成する（ステップＳ９１２）。分離マトリクスが生成済みの場合は（ステップＳ９１１：Ｙｅｓ）、信号処理装置３００は、ステップＳ９１２の処理をスキップする。次に、信号処理装置３００は、混成画像信号から可視光信号（Ｒ、ＧおよびＢ信号）と赤外光信号（ＩＲ信号）とを分離する（ステップＳ９１３）。次に、信号処理装置３００は、分離した可視光信号が閾値未満か否かを判断し（ステップＳ９１４）、可視光信号が閾値未満の場合には（ステップＳ９１４：Ｙｅｓ）、分離マトリクスを更新する（ステップＳ９１５）。一方、可視光信号が閾値以上の場合には（ステップＳ９１４：Ｎｏ）、信号処理装置３００は、ステップＳ９１５の処理をスキップする。その後、信号処理装置３００は、赤外光分離処理を終了する。

　このように、第１の実施の形態によれば、混成画像信号に含まれる可視光信号と赤外光信号との比率が想定範囲を超えて変化した場合であっても、分離マトリクスを更新することにより、可視光信号と赤外光信号とを適正に分離することができる。

　［第１の変形例］
　上述の第１の実施の形態では、分離マトリクスを更新する際、マトリクス係数に所定の変換係数を乗じて新たな分離マトリクスを生成していた。これに対し、予め用意された複数の分離マトリクスの中から新たに分離マトリクスを選択することにより更新してもよい。分離マトリクスを選択する方が、変換係数を乗じて分離マトリクスを生成するよりも、適正な分離マトリクスへの収束を早めることができる。そこで、第１の実施の形態の第１の変形例では、分離マトリクス生成部３２３は、複数の分離マトリクスを保有する形態を採る。そして、分離マトリクスを生成する際には、保有する分離マトリクスの中から１つを選択して、生成した分離マトリクスとして分離マトリクス保持部３２２に保持させる。保有する分離マトリクスとしては、撮像素子２００の分光特性がばらついた場合等に対処可能とするため、このばらつきの上限に対処可能な分離マトリクスと下限に対処可能な分離マトリクスとを少なくとも備える必要がある。

　このように、第１の実施の形態の第１の変形例によれば、予め用意された複数の分離マトリクスの中から新たに分離マトリクスを選択して分離マトリクスを更新することにより、適正な分離マトリクスへの収束を早めることができる。

　［第２の変形例］
　上述の第１の実施の形態では、分離マトリクスを更新する際、マトリクス係数に所定の変換係数を乗じて新たな分離マトリクスを生成していた。これに対し、予め用意された２つの分離マトリクスを所定の混合比率に基づいて混合することにより分離マトリクスを生成して更新してもよい。上述の第１の実施の形態の第１の変形例と同様に、適正な分離マトリクスへの収束を早められるためである。そこで、第１の実施の形態の第２の変形例では、分離マトリクス生成部３２３は、２つの分離マトリクスを保有し、これらを混合することにより新たな分離マトリクスを生成して更新する。

　分離マトリクスの混合は、次式のように行うことができる。
　　Ｋｎｅｗ＝γ×Ｋａ＋（１－γ）×Ｋｂ　　・・・式２
但し、Ｋｎｅｗは、生成された分離マトリクスを表す。ＫａおよびＫｂは、予め用意された分離マトリクスを表す。γは、混合比率を表す。なお、ＫａおよびＫｂは、撮像素子２００の分光特性がばらついた場合等を考慮して、設定する必要がある。例えば、Ｋａをこのばらつきの上限に対処可能な分離マトリクスとし、Ｋｂをこのばらつきの下限に対処可能な分離マトリクスとする。そして、γを０乃至１の範囲で変更することにより、任意の分光特性を有する撮像素子２００に対処可能な分離マトリクスを生成することができる。

　なお、Ｋｂのマトリクス係数Ｋ１４、Ｋ２４およびＫ３４の値をゼロとした場合には、赤外光信号の分離量がゼロの分離マトリクスとなる。この分離マトリクスは、低照度環境下における視認性を向上させる撮影に使用することができる。この際、Ｋａを赤外光信号の減算量が最大となる係数にした場合には、γの値により赤外光信号の減算量をゼロから最大値まで可変とすることができる。

　このように、第１の実施の形態の第２の変形例によれば、予め用意された２つの分離マトリクスを所定の混合比率に基づいて混合して分離マトリクスを更新することにより、適正な分離マトリクスへの収束を早めることができる。

　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、１つの分離部を使用して信号処理を行っていた。これに対し、第２の実施の形態では、さらに予備分離部を備えて予備的に分離処理を行う。この結果に基づいて、検出および分離マトリクスの生成の処理を行う。これにより、信号処理を高速化することができる。

　［赤外光分離部の構成］
　図７は、本技術の第２の実施の形態における赤外光分離部３２０の構成例を示す図である。この赤外光分離部３２０は、予備分離部３２５を備える点で図４において説明した赤外光分離部３２０と異なっている。

　予備分離部３２５は、分離マトリクス保持部３２２に保持された分離マトリクスに基づいて、予備的に混成画像信号から可視光信号を分離するものである。この予備分離部３２５は、分離部３２６と時間的に並列して混成画像信号から可視光信号を分離する。予備分離部３２５により分離された可視光信号は、検出部３２４を経て、分離マトリクス生成部３２３において分離マトリクスの更新のために使用される。その後、この更新されたマトリクスに基づいて、分離部３２６により混成画像信号から可視光信号および赤外光信号が分離されて赤外光分離部３２０の出力信号として出力される。すなわち、予備分離部３２５による分離処理は、分離部３２６による分離処理に先立って行われる予備的な分離処理である。

　本技術の第２の実施の形態における信号処理は、以下のように行う。検出部３２４は、予備分離部３２５により分離された可視光信号に対して信号レベルが所定の閾値より低いか否かの検出を行う。そして、可視光信号の信号レベルが所定の閾値より低い場合には、検出部３２４は、分離マトリクス生成部３２３に対して分離マトリクスを新たに生成させて更新させる。この新たに生成された分離マトリクスは、分離マトリクス保持部３２２に保持されるとともに、分離部３２６に供給される。分離部３２６は、この新たな分離マトリクスに基づいて混成画像信号から可視光信号および赤外光信号を分離する。

　これ以外の信号処理装置３００の構成は、図３において説明した信号処理装置３００と同様であるため、説明を省略する。

　［赤外光分離処理］
　図８は、本技術の第２の実施の形態における赤外光分離処理を示す図である。同図は、赤外光分離部３２０の処理をマシンサイクルごとに表したものであり、同図におけるａは、本技術の第２の実施の形態における赤外光分離部３２０の処理を表したものである。マシンサイクル１において赤外光分離部３２０に混成画像信号Ａが入力される。この際、予備分離部３２５にもマシンサイクル１において混成画像信号Ａが入力される。また、分離マトリクス生成部３２３は、分離マトリクスＭを出力している。分離部３２６は、出力部にラッチ回路を有するものと想定すると、マシンサイクルの切り替わりの際に分離部３２６における演算結果がラッチ回路に保持される。このため、次のマシンサイクル２において、この混成画像信号Ａに対する出力である可視光信号Ａ'が分離部３２６から出力される。同時に、マシンサイクル２において、混成画像信号Ｂが分離部３２６に入力される。一方、予備分離部３２５は、出力部にラッチ回路を有しておらず、入力された信号に対する処理結果が直ちに出力されるものと想定すると、混成画像信号Ａに対する出力である可視光信号Ａ'がマシンサイクル１において出力される。なお、同図におけるａの予備分離部３２５出力に記載された（正）の文字は、予備分離部３２５の出力である可視光信号の符号を表したものである。同様に、分離部３２６出力に記載された（正）の文字は、上述のラッチ回路に保持された分離部３２６の出力である可視光信号の符号を表したものである。

　ここで、混成画像信号Ｂを分離マトリクスＭにより分離した際の可視光信号が負の値となる場合を想定する。すると、マシンサイクル２において分離部３２６の内部の演算結果が負の値になり、予備分離部３２５の出力である可視光信号Ｂ'の符号も負になる。この可視光信号Ｂ'は検出部３２４に入力される。この入力を受け、検出部３２４は、可視光信号Ｂ'の信号レベルが閾値より低いことを検出して出力する。同図において、検出部３２４は、可視光信号Ｂ'の信号レベルが閾値より低いことを検出すると出力信号をハイレベルにする。分離マトリクス生成部３２３は、検出部３２４の出力に基づいて新たな分離マトリクスＭ'を生成し、分離マトリクス保持部３２２に保持された分離マトリクスを更新する。同時にこの新たな分離マトリクスＭ'は、分離部３２６に供給され、新たな分離マトリクスＭ'に基づく演算が行われる。すなわち、マシンサイクル２において可視光信号Ｂ'が再計算され、出力部のラッチ回路に保持されて出力される。なお、同図におけるａでは、混成画像信号Ｂを新たな分離マトリクスＭ'により分離した際の可視光信号Ｂ'が負の値でない場合を想定している。

　このように、本技術の第２の実施の形態では、負の値の可視光信号が分離部３２６から出力される前に、分離マトリクスを更新し、新たな分離マトリクスに基づく可視光信号を出力することができる。

　同図におけるｂは、比較のため本技術の第１の実施の形態における赤外光分離部３２０の処理を表したものである。同図におけるａと同様に、マシンサイクル２において分離部３２６の出力である可視光信号Ｂ'が負の値になる場合を想定している。この可視光信号Ｂ'は分離部３２１のラッチ回路に保持されて出力され、この出力に基づいて検出部３２４が検出を行う。すなわち、負の値の可視光信号が分離部３２６から出力されることとなる。

　［赤外光分離処理手順］
　図９は、本技術の第２の実施の形態における赤外光分離処理手順（ステップＳ９１０）の一例を示す図である。なお、本技術の第２の実施の形態における信号処理装置３００の信号処理の手順は、図５において説明した処理の手順と同様であるため説明を省略する。まず、信号処理装置３００は、分離マトリクスが生成済みか否かを判断し（ステップＳ９１１）、分離マトリクスが生成済みでない場合は（ステップＳ９１１：Ｎｏ）、初期状態の分離マトリクスを生成する（ステップＳ９１２）。分離マトリクスが生成済みの場合は（ステップＳ９１１：Ｙｅｓ）、信号処理装置３００は、ステップＳ９１２の処理をスキップする。次に、信号処理装置３００は、予備分離を行う（ステップＳ９１３）。すなわち、混成画像信号から可視光信号を分離する。

　次に、信号処理装置３００は、分離した可視光信号が閾値未満か否かを判断し（ステップＳ９１４）、可視光信号が閾値未満の場合には（ステップＳ９１４：Ｙｅｓ）、分離マトリクスを更新する（ステップＳ９１５）。一方、可視光信号が閾値以上の場合には（ステップＳ９１４：Ｎｏ）、信号処理装置３００は、ステップＳ９１５の処理をスキップする。次に、信号処理装置３００は、更新した分離マトリクスに基づいて混成画像信号から可視光信号と赤外光信号とを分離する（ステップＳ９１６）。その後、信号処理装置３００は、赤外光分離処理を終了する。

　このように、本技術の第２の実施の形態によれば、予備分離部３２５を備えて、１つのマシンサイクル内で新たな分離マトリクスを生成することにより、分離マトリクスの更新を高速化できる。そのため、負の値の可視光信号の出力が抑制されて、出力する可視光信号の品質を向上させることができる。

　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、全ての可視光信号に対して同じ閾値を適用して信号レベルの判断を行っていた。これに対し、本技術の第３の実施の形態では、画面に所定の選択領域を設定し、この領域に含まれる可視光信号には、異なる閾値を適用する。これにより、被写体に合わせて信号の処理を変更することができる。

　図１０は、本技術の第３の実施の形態における選択領域が設定された画面の一例を示す図である。同図における画面２０２には、選択領域２０３が設定されている。この選択領域２０３は、例えば、被写体である人物の顔を含む領域に設定することができる。この選択領域２０３に含まれる混成画像信号から可視光信号と赤外光信号とが分離され、図４において前述した検出部３２４に入力される。検出部３２４の検出が行われる際に、選択領域２０３の範囲外の混成画像信号に基づく可視光信号とは異なる閾値を使用する。例えば、選択領域２０３に含まれる可視光信号に対しては符号が正で比較的大きな値を閾値として設定する。一方、選択領域２０３に含まれない可視光信号に対しては値「０」を閾値として設定する。これにより、選択領域２０３に含まれる人物の顔に対する可視光信号には、赤外光信号が比較的多く含まれることとなり、視認性を向上させることができる。これに対し、選択領域２０３に含まれない領域の被写体に対する可視光信号は、信号レベルが低いものの赤外光信号分が少ない信号となり、色再現性を向上させることができる。

　本技術の第３の実施の形態に使用する赤外光分離部３２０の検出部３２４は、入力された可視光信号が選択領域２０３の範囲に含まれる信号であるか否かを判断し、上述のように閾値を変更する。これ以外の信号処理装置３００の構成は、図３において説明した信号処理装置３００と同様であるため、説明を省略する。

　このように、本技術の第３の実施の形態によれば、画面に選択領域を設定して検出部における閾値を変更することにより、選択領域に含まれる画像の特性を他の領域とは異なる特性にすることができる。画像の使用目的に応じて、色再現性または視認性の何れかを高めた画像に変更できるため、利便性を向上させることができる。

　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、混成画像信号から可視光信号および赤外光信号を分離していた。これに対し、本技術の第４の実施の形態では、混成画像信号から可視光信号のみを分離する。これにより、信号処理を簡素化することができる。

　本技術の第４の実施の形態における信号処理装置３００は、図３において説明した調整部３５０を備える必要はない。また、赤外光分離部３２０は可視光信号（Ｒ信号、Ｇ信号およびＢ信号）のみを出力し、ＹＣ変換部３４０が出力した輝度信号（Ｙ信号）が信号処理装置３００の出力信号となる。

　本技術の第４の実施の形態における分離部３２１は、分離マトリクス保持部３２２が保持する分離マトリクスに基づいて混成画像信号から可視光信号を分離する。具体的には、次式で示されるように混成画像信号から可視光信号を算出する。

このように、本技術の第４の実施の形態における分離マトリクスは、３行×４列のマトリクス係数を有するマトリクスであり、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号からなる混成画像信号からＲ信号、Ｇ信号およびＢ信号を分離する。

　これ以外の信号処理装置３００の構成は、図３において説明した信号処理装置３００と同様であるため、説明を省略する。

　このように、本技術の第４の実施の形態によれば、混成画像信号から可視光信号のみを分離するため、信号処理装置３００における信号処理を簡素化することができる。

　上述のように、本技術[0]の実施の形態によれば、混成画像信号に含まれる可視光信号と赤外光信号との比率が想定範囲を超えて変化した場合であっても、分離マトリクスの更新を行うことにより、可視光信号を適正に分離することができる。

　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

　なお、本技術は以下のような構成もとることができる。
（１）可視光および非可視光を含む画像信号である混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する分離マトリクス生成部と、
　前記生成された前記分離マトリクスを保持する分離マトリクス保持部と、
　前記保持された前記分離マトリクスに基づいて前記混成画像信号から前記可視光信号を分離する分離部と、
　前記分離された前記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に前記分離マトリクス生成部に前記分離マトリクスを新たに生成させて更新させる検出部と
を具備する信号処理装置。
（２）前記保持された前記分離マトリクスに基づいて前記混成画像信号から前記可視光信号を分離する予備分離部をさらに具備し、
　前記検出部は、前記予備分離部が分離した前記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に前記分離マトリクス生成部に前記更新をさせる
前記（１）に記載の信号処理装置。
（３）前記分離マトリクス生成部は、前記分離された前記可視光信号の信号レベルを高める分離マトリクスにより前記更新を行う前記（１）または（２）に記載の信号処理装置。
（４）前記分離マトリクス生成部は、前記保持された前記分離マトリクスの要素の値を所定の変換係数に基づいて変換して前記更新を行う前記（３）に記載の信号処理装置。
（５）前記分離マトリクス生成部は、予め用意された複数の前記分離マトリクスから１つを選択して前記分離マトリクス保持部に生成された分離マトリクスとして保持させて前記更新の際には前記選択された前記分離マトリクスよりも前記分離の際の前記分離された前記可視光信号の信号レベルを高める分離マトリクスを選択して前記更新を行う前記（３）に記載の信号処理装置。
（６）前記分離マトリクス生成部は、予め用意された２つの前記分離マトリクスを所定の混合比率に基づいて混合することにより前記分離マトリクスを生成して前記更新の際には前記混合比率を変更して前記更新を行う前記（３）に記載の信号処理装置。
（７）前記検出部は、前記混成画像信号における所定の選択領域に含まれる前記混成画像信号と前記選択領域に含まれない前記混成画像信号とに対して異なる閾値に基づいて前記検出を行う前記（１）から（６）のいずれかに記載の信号処理装置。
（８）前記分離マトリクスは、前記混成画像信号からさらに前記非可視光からなる非可視光信号を分離し、
　前記分離部は、前記保持された前記分離マトリクスに基づいて前記混成画像信号からさらに前記非可視光信号を分離する
前記（１）から（７）のいずれかに記載の信号処理装置。
（９）前記分離された前記可視光信号に前記分離された前記非可視光信号を加算して調整する調整部をさらに具備する前記（８）に記載の信号処理装置。
（１０）前記非可視光は、赤外光である前記（１）から（９）のいずれかに記載の信号処理装置。
（１１）可視光および非可視光を含む画像信号である混成画像信号を出力する撮像素子と、
　前記出力された前記混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する分離マトリクス生成部と、
　前記生成された前記分離マトリクスを保持する分離マトリクス保持部と、
　前記保持された前記分離マトリクスに基づいて前記混成画像信号から前記可視光信号を分離する分離部と、
　前記分離された前記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に前記分離マトリクス生成部に前記分離マトリクスを新たに生成させて更新させる検出部と
を具備する撮像装置。
（１２）可視光および非可視光を含む画像信号である混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する生成手順と、
　前記分離マトリクスに基づいて前記混成画像信号から前記可視光信号を分離する分離手順と、
　前記分離された前記可視光信号の信号レベルが所定の閾値より低いことを検出する検出手順と、
　前記検出がされた場合には前記分離マトリクスを新たに生成して更新する分離マトリクス更新手順と
を具備する信号処理方法。

　１０　撮像装置
　１００　レンズ
　２００　撮像素子
　２０１　画素
　２０２　画面
　２０３　選択領域
　３００　信号処理装置
　３１０　デモザイク処理部
　３２０　赤外光分離部
　３２１　分離部
　３２２　分離マトリクス保持部
　３２３　分離マトリクス生成部
　３２４　検出部
　３２５　予備分離部
　３２６　分離部
　３３０　ホワイトバランス調整部
　３４０　ＹＣ変換部
　３５０　調整部
　４００　制御装置

Claims (12)

1. 　可視光および非可視光を含む画像信号である混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する分離マトリクス生成部と、
   　前記生成された前記分離マトリクスを保持する分離マトリクス保持部と、
   　前記保持された前記分離マトリクスに基づいて前記混成画像信号から前記可視光信号を分離する分離部と、
   　前記分離された前記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に前記分離マトリクス生成部に前記分離マトリクスを新たに生成させて更新させる検出部と
   を具備する信号処理装置。
2. 　前記保持された前記分離マトリクスに基づいて前記混成画像信号から前記可視光信号を分離する予備分離部をさらに具備し、
   　前記検出部は、前記予備分離部が分離した前記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に前記分離マトリクス生成部に前記更新をさせる
   請求項１記載の信号処理装置。
3. 　前記分離マトリクス生成部は、前記分離された前記可視光信号の信号レベルを高める分離マトリクスにより前記更新を行う請求項１記載の信号処理装置。
4. 　前記分離マトリクス生成部は、前記保持された前記分離マトリクスの要素の値を所定の変換係数に基づいて変換して前記更新を行う請求項３記載の信号処理装置。
5. 　前記分離マトリクス生成部は、予め用意された複数の前記分離マトリクスから１つを選択して前記分離マトリクス保持部に生成された分離マトリクスとして保持させて前記更新の際には前記選択された前記分離マトリクスよりも前記分離の際の前記分離された前記可視光信号の信号レベルを高める分離マトリクスを選択して前記更新を行う請求項３記載の信号処理装置。
6. 　前記分離マトリクス生成部は、予め用意された２つの前記分離マトリクスを所定の混合比率に基づいて混合することにより前記分離マトリクスを生成して前記更新の際には前記混合比率を変更して前記更新を行う請求項３記載の信号処理装置。
7. 　前記検出部は、前記混成画像信号における所定の選択領域に含まれる前記混成画像信号と前記選択領域に含まれない前記混成画像信号とに対して異なる閾値に基づいて前記検出を行う請求項１記載の信号処理装置。
8. 　前記分離マトリクスは、前記混成画像信号からさらに前記非可視光からなる非可視光信号を分離し、
   　前記分離部は、前記保持された前記分離マトリクスに基づいて前記混成画像信号からさらに前記非可視光信号を分離する
   請求項１記載の信号処理装置。
9. 　前記分離された前記可視光信号に前記分離された前記非可視光信号を加算して調整する調整部をさらに具備する請求項８記載の信号処理装置。
10. 　前記非可視光は、赤外光である請求項１記載の信号処理装置。
11. 　可視光および非可視光を含む画像信号である混成画像信号を出力する撮像素子と、
    　前記出力された前記混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する分離マトリクス生成部と、
    　前記生成された前記分離マトリクスを保持する分離マトリクス保持部と、
    　前記保持された前記分離マトリクスに基づいて前記混成画像信号から前記可視光信号を分離する分離部と、
    　前記分離された前記可視光信号の信号レベルが所定の閾値より低いことを検出した場合に前記分離マトリクス生成部に前記分離マトリクスを新たに生成させて更新させる検出部と
    を具備する撮像装置。
12. 　可視光および非可視光を含む画像信号である混成画像信号から可視光からなる可視光信号を分離するための分離マトリクスを生成する生成手順と、
    　前記分離マトリクスに基づいて前記混成画像信号から前記可視光信号を分離する分離手順と、
    　前記分離された前記可視光信号の信号レベルが所定の閾値より低いことを検出する検出手順と、
    　前記検出がされた場合には前記分離マトリクスを新たに生成して更新する分離マトリクス更新手順と
    を具備する信号処理方法。

Images