WO2016136501A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

　本開示は、不可視光成分を遮断するフィルタを挿抜する機構を有さずに、撮像画像の不可視光成分を制御することができるようにする撮像装置、撮像方法、およびプログラムに関する。 輝度合成部は、不可視光成分と可視光成分を含む撮像画像の画素信号の可視光成分の輝度信号と、画素信号を合成する。クロマゲインアンプは、可視光成分の色差信号を減衰させる。本開示は、例えば、可視光と赤外光を透過させる光学フィルタ、および、RGBW配列の画素を有し、撮像画像のベイヤ化処理を行う撮像装置等に適用することができる。

Description

撮像装置、撮像方法、およびプログラム

　本開示は、撮像装置、撮像方法、およびプログラムに関し、特に、不可視光成分を遮断するフィルタを挿抜する機構を有さずに、撮像画像の不可視光成分を制御することができるようにした撮像装置、撮像方法、およびプログラムに関する。

　イメージセンサは、可視光だけでなく、赤外光に対しても感度を有する。従って、イメージセンサを有するカメラを用いて赤外光が多い光源下で撮影が行われる場合、赤外光の影響により色再現が損なわれる。よって、赤外光を遮断するIR(infrared)カットフィルタ（IRCF）をカメラに設けることで、良好な色再現を実現することが考案されている。

　しかしながら、監視カメラ等では、夜間の感度を向上させ、視認性を確保することが重要である。従って、IRカットフィルタを挿抜する機構を有し、夜間等にIRカットフィルタを抜くカメラが存在する(例えば、特許文献１参照)。

　IRカットフィルタを挿抜する機構を有するカメラでは、IRカットフィルタの有無で赤外光成分の透過量が大きく変化する。従って、特に赤外光の投光時、IRカットフィルタが抜かれた瞬間に白とびが発生し、撮像画像の視認性が低下する。

　また、イメージセンサの露出情報に基づいてIRカットフィルタの挿抜制御を行う場合、IRカットフィルタを抜くときの照度と挿入するときの照度を異なる照度にし、挿抜のハンチングを防止する必要がある。その結果、照度が十分に高くなった場合であっても、IRカットフィルタが挿入されず、白黒画像が撮像画像として出力されたままになることがある。

特許第5100615号公報

　以上のように、IRカットフィルタなどの不可視光成分を遮断するフィルタを挿抜する機構を有するカメラでは、挿抜時の撮像画像の画質が劣化する。

　本開示は、このような状況に鑑みてなされたものであり、不可視光成分を遮断するフィルタを挿抜する機構を有さずに、撮像画像の不可視光成分を制御することができるようにするものである。

　本開示の一側面の撮像装置は、不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、前記可視光成分の色差信号を減衰させる減衰部とを備える撮像装置である。

　本開示の一側面の撮像方法およびプログラムは、本開示の一側面の撮像装置に対応する。

　本開示の一側面においては、不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号が合成され、前記可視光成分の色差信号が減衰させられる。

　本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、不可視光成分を遮断するフィルタを挿抜する機構を有さずに、撮像画像の不可視光成分を制御することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。 図１の光学フィルタの各波長の光の透過率の例を示す図である。 ベイヤ化処理の前後の画像の画素配列を説明する図である。 図１のベイヤ化処理部の構成例を示すブロック図である。 指標とノイズ量の関係の例を示す図である。 指標と目標値Ｍｉｘ_{ｔａｒｇｅｔ}の関係の例を示す図である。 指標と目標値Ａｔｔ_{ｔａｒｇｅｔ}の関係の例を示す図である。 指標と混合割合の関係の例を示す図である。 図１の撮像装置のベイヤ化処理を説明するフローチャートである。 撮像装置のICチップの第１の構成例を示す図である。 撮像装置のICチップの第２の構成例を示す図である。 撮像装置のICチップの第３の構成例を示す図である。 撮像装置のICチップの第４の構成例を示す図である。 RGBW画素配列以外の非ベイヤ配列の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：撮像システム（図１乃至図１３）
　２．非ベイヤ配列の他の例（図１４）
　３．第２実施の形態：コンピュータ（図１５）

　＜第１実施の形態＞
　（撮像装置の第１実施の形態の構成例）
　図１は、本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。

　図１の撮像システム１０は、撮像装置１１とＩＲ投光装置１２により構成される。撮像システム１０では、被写体によって反射された赤外光と可視光に対応する画像が撮像される。

　具体的には、撮像装置１１は、レンズ２１、光学フィルタ２２、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５により構成される。

　撮像装置１１のレンズ２１には、被写体からの光が入射される。レンズ２１は、入射された光を、光学フィルタ２２を介してイメージセンサ２３に集光させる。光学フィルタ２２は、入射された光のうちの赤外光と可視光を透過させる。なお、光学フィルタ２２は設けられなくてもよい。

　イメージセンサ２３は、CMOS（Complementary Metal-Oxide Semiconductor）イメージセンサまたはCCD(Charge Coupled Device)イメージセンサであり、RGBW画素配列の画素を有する。イメージセンサ２３は、画素ごとに、入射された赤外光と、可視光のうちの、その画素に対応する色（赤色（R）、緑色（G）、青色（B）、白色（W））の光とを受光し、受光量に応じた電気信号を画素信号として生成することにより、フレーム単位で撮像を行う。従って、撮像の結果得られる各画素の画素信号には、不可視光成分としての赤外光成分と可視光成分とが含まれる。イメージセンサ２３は、撮像の結果得られる各画素の画素信号を、撮像画像としてベイヤ化処理部２４に供給する。

　ベイヤ化処理部２４は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理（リモザイク処理）を行い、ベイヤ配列(RGB画素配列)のRGB画像を生成する。ベイヤ化処理部２４は、生成されたベイヤ配列のRGB画像を信号処理部２５に供給する。

　信号処理部２５は、ベイヤ化処理部２４から供給されるRGB画像を用いて、緑色の画素の画素信号に基づく露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を現像処理として行う。信号処理部２５は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ２３に供給し、撮像画像の露光量を制御する。また、信号処理部２５は、RGB画像に対してホワイトバランス制御処理およびYCbCr変換処理を行った結果得られるYCbCr画像を出力する。

　ＩＲ投光装置１２は、例えば、可視光が少ない夜間に、被写体に向けて赤外光を出射する。

　（光学フィルタの各波長の光の透過率の例）
　図２は、図１の光学フィルタ２２の各波長の光の透過率の例を示す図である。

　図２のグラフにおいて、横軸は、光学フィルタ２２を通過する光の波長（nm）を表し、縦軸は、その光の透過率（％）を表す。

　図２に示すように、光学フィルタ２２では、波長が約390nm～660nmである可視光の透過率と、波長が約820nm～910nmである赤外光の透過率が０％より大きい。従って、光学フィルタ２２では、波長が約390nm～660nmである可視光と波長が約820nm～910nmである赤外光が通過する。

　（ベイヤ化処理の前後の画像の画素配列の説明）
　図３は、図１のベイヤ化処理部２４によるベイヤ化処理の前後の画像の画素配列を説明する図である。

　図３のＡに示すように、ベイヤ化処理前の画像、即ちイメージセンサ２３から出力される撮像画像の画素配列は、RGBW画素配列である。また、各画素の画素信号には赤外光（IR）成分が含まれる。

　ベイヤ化処理部２４は、このようなベイヤ化処理前の画像に対して、ベイヤ化処理を行うことにより、図３のＢに示すRGB画素配列の画像を、ベイヤ化処理後の画像として生成する。

　（ベイヤ化処理部の構成例）
　図４は、図１のベイヤ化処理部２４の構成例を示すブロック図である。

　ベイヤ化処理部２４は、同時化部４０、分離部４１、ホワイトバランス部４２、レベル補正部４３、ＹＣ変換部４４、輝度合成部４５、クロマゲインアンプ４６、RGB変換部４７、逆ホワイトバランス部４８、ベイヤ化部４９、および割合決定部５０から構成される。ベイヤ化処理部２４は、図１のイメージセンサ２３から供給される撮像画像から赤外光成分を除去し、ベイヤ化処理を行う。

　具体的には、ベイヤ化処理部２４の同時化部４０は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対して補完処理を行う。同時化部４０は、その結果生成される赤外光成分を含む全画素の各色の同時刻の画素信号Ｗ_+ＩＲ，Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲを分離部４１と割合決定部５０に供給する。また、同時化部４０は、画素信号Ｗ_＋ＩＲをレベル補正部４３と輝度合成部４５に供給する。

　分離部４１は、同時化部４０から供給される画素信号Ｗ_+ＩＲ，Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲに基づいて、以下の式（１）により、画素信号Ｗ_+ＩＲ，Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲのそれぞれに含まれる赤外光成分と可視光成分を分離する。

　なお、ＩＲは、画素信号Ｗ_+ＩＲ，Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲのそれぞれに含まれる赤外光成分である。また、Ｒ，Ｇ，Ｂは、画素信号Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲの可視光成分である。

　分離部４１は、分離の結果得られる可視光成分Ｒ，Ｇ、およびＢをホワイトバランス部４２に供給し、赤外光成分ＩＲを割合決定部５０に供給する。

　ホワイトバランス部４２は、分離部４１から供給される可視光成分Ｒ，Ｇ、およびＢのそれぞれに対して、ホワイトバランスゲインを乗算する。これにより、可視光成分Ｒ，Ｇ、およびＢの比率（ホワイトバランス）が補正される。ホワイトバランス部４２は、補正後の可視光成分Ｒ，Ｇ、およびＢをレベル補正部４３に供給する。

　レベル補正部４３は、ホワイトバランス部４２から供給される可視光成分Ｇと、同時化部４０から供給される画素信号Ｗ_＋ＩＲとに基づいて、以下の式（２）により、補正ゲインＣ_Ｅを算出する。

　なお、Ａｖｅ（Ｗ_＋ＩＲ）は、１フレーム分の画素信号Ｗ_＋ＩＲの平均値であり、ＡｖｅＧは、１フレーム分の可視光成分Ｇの平均値である。式（２）によれば、可視光成分Ｇを画素信号Ｗ_＋ＩＲにするための補正ゲインＣ_Ｅが算出される。

　レベル補正部４３は、以上のようにして算出された補正ゲインＣ_Ｅと、ホワイトバランス部４２からの可視光成分Ｒ，Ｇ、およびＢのそれぞれとを乗算することにより、可視光成分Ｒ，Ｇ、およびＢを補正する。これにより、補正後の可視光成分Ｇは、画素信号Ｗ_＋ＩＲと同一になる。その結果、図１の信号処理部２５は、ベイヤ化処理部２４から供給されるRGB画像の緑色の画素の画素信号に基づいて、画素信号Ｗ_＋ＩＲが飽和しないように露光制御を行うことができる。レベル補正部４３は、補正後の可視光成分Ｒ，Ｇ、およびＢをＹＣ変換部４４に供給する。

　ＹＣ変換部４４は、以下の式（３）により、レベル補正部４３から供給される可視光成分Ｒ，Ｇ、およびＢを、輝度信号Ｙと色差信号ＣｂおよびＣｒとに変換する。ＹＣ変換部４４は、輝度信号Ｙを輝度合成部４５に供給し、色差信号ＣｂおよびＣｒをクロマゲインアンプ４６に供給する。

　輝度合成部４５は、割合決定部５０から、画素信号Ｗ_＋ＩＲを合成した後の輝度信号Ｙ´に対する画素信号Ｗ_＋ＩＲの割合である混合割合Ｍｉｘ（０≦Ｍｉｘ≦１）を取得する。輝度合成部４５は、混合割合Ｍｉｘに基づいて、以下の式（４）により、ＹＣ変換部４４から供給される輝度信号Ｙと同時化部４０から供給される画素信号Ｗ_＋ＩＲを合成する。輝度合成部４５は、合成後の輝度信号Ｙ´をRGB変換部４７に供給する。

　クロマゲインアンプ４６（減衰部）は、割合決定部５０から供給される減衰割合Ａｔｔ（０≦Ａｔｔ≦１）に基づいて、ＹＣ変換部４４から供給される色差信号ＣｂおよびＣｒのそれぞれを減衰させる。即ち、クロマゲインアンプ４６は、色差信号ＣｂおよびＣｒのそれぞれに減衰割合Ａｔｔを乗算する。クロマゲインアンプ４６は、減衰された色差信号ＣｂおよびＣｒをRGB変換部４７に供給する。

　RGB変換部４７は、以下の式（５）により、輝度合成部４５から供給される輝度信号Ｙ´並びにクロマゲインアンプ４６から供給される色差信号ＣｂおよびＣｒを、赤色、緑色、青色の画素信号Ｒ´，Ｇ´，Ｂ´に変換し、逆ホワイトバランス部４８に供給する。

　逆ホワイトバランス部４８は、RGB変換部４７から供給される画素信号Ｒ´，Ｇ´，Ｂ´に対して、ホワイトバランス部４２において乗算されたホワイトバランスゲインの逆数を乗算する。これにより、イメージセンサ２３から出力されたベイヤ化処理前の撮像画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部２４から出力されるベイヤ化処理後のRGB画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号Ｒ´，Ｇ´，Ｂ´のホワイトバランスが制御される。逆ホワイトバランス部４８は、ホワイトバランスが制御された画素信号Ｒ´，Ｇ´，Ｂ´をベイヤ化部４９に供給する。

　ベイヤ化部４９は、画素ごとに、逆ホワイトバランス部４８から供給される画素信号Ｒ´，Ｇ´、およびＢ´から、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部４９は、抽出された各画素の画素信号を、ベイヤ配列のRGB画像として、図１の信号処理部２５に供給する。

　割合決定部５０は、以下の式（６）により、各フレームの画素ごとに、全ての色の可視光成分Ｗ，Ｒ，Ｇ、およびＢに対する画素信号Ｗ_+ＩＲ，Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲの割合の積算値ｆ（ＩＲ）を算出する。

　そして、割合決定部５０は、フレーム内の全ての画素の積算値ｆ（ＩＲ）の平均値、イメージセンサ２３のアナログゲインとデジタルゲインの和ＡＧＣ、および補正ゲインＣ_Ｅを加算し、赤外光成分ＩＲの量をノイズ量として表す指標Ｎとする。なお、指標Ｎの計算方法は、上述した方法に限定されない。

　割合決定部５０は、指標Ｎに基づいて、指標Ｎが多くなるほど大きくなるように、混合割合Ｍｉｘの目標値Ｍｉｘ_{ｔａｒｇｅｔ}を決定する。また、割合決定部５０は、指標Ｎに基づいて、ノイズ量が多くなるほど大きくなるように、減衰割合Ａｔｔの目標値Ａｔｔ_{ｔａｒｇｅｔ}を決定する。

　割合決定部５０は、以下の式（７）により、目標値Ｍｉｘ_{ｔａｒｇｅｔ}と現在のフレームより１つ前のフレームの混合割合Ｍｉｘ_{ｂｅｆｏｒｅ}の差分を所定値1/Fで除算した分だけ、混合割合Ｍｉｘ_{ｂｅｆｏｒｅ}から増加させた値を、現在のフレームの混合割合Ｍｉｘに決定する。そして、割合決定部５０は、混合割合Ｍｉｘを輝度合成部４５に供給する。

　なお、Ｆは、ユーザ等により設定される帰還率であり、０より大きく１以下の値である。

　また、割合決定部５０は、以下の式（８）により、目標値Ａｔｔ_{ｔａｒｇｅｔ}と現在のフレームより１つ前のフレームの減衰割合Ａｔｔ_{ｂｅｆｏｒｅ}の差分を所定値1/Fで除算した分だけ、減衰割合Ａｔｔ_{ｂｅｆｏｒｅ}から増加させた値を、現在のフレームの減衰割合Ａｔｔに決定する。そして、割合決定部５０は、減衰割合Ａｔｔをクロマゲインアンプ４６に供給する。

　なお、式（７）と式（８）の帰還率Ｆは同一であっても、異なる値であってもよい。また、目標値Ｍｉｘ_{ｔａｒｇｅｔ}と目標値Ａｔｔ_{ｔａｒｇｅｔ}の決定に用いられる情報は、画質を表す指標であれば、指標Ｎに限定されない。

　（指標Ｎとノイズ量の関係）
　図５は、指標Ｎとノイズ量の関係の例を示す図である。

　図５に示すように、指標Ｎは、ノイズ量が多いほど大きくなる。

　（指標Ｎと目標値Ｍｉｘ_{ｔａｒｇｅｔ}の関係）
　図６は、指標Ｎと目標値Ｍｉｘ_{ｔａｒｇｅｔ}の関係の例を示す図である。

　なお、図６のグラフにおいて、横軸は指標Ｎを表し、縦軸は目標値Ｍｉｘ_{ｔａｒｇｅｔ}を表す。

　図６に示すように、目標値Ｍｉｘ_{ｔａｒｇｅｔ}は、指標Ｎが大きいほど、即ちノイズ量が多いほど増加する。具体的には、図６の例では、指標Ｎが所定値Ａより小さい場合、目標値Ｍｉｘ_{ｔａｒｇｅｔ}は、所定値ＭｉｘＡになる。指標Ｎが所定値Ａ以上Ｂ以下である場合、目標値Ｍｉｘ_{ｔａｒｇｅｔ}は、所定値ＭｉｘＡから所定値ＭｉｘＢまで指標Ｎに比例して増加する。

　また、指標Ｎが所定値Ｂ以上Ｃ以下である場合、目標値Ｍｉｘ_{ｔａｒｇｅｔ}は、所定値ＭｉｘＢから所定値ＭｉｘＣまで指標Ｎに比例して増加し、指標Ｎが所定値Ｃ以上Ｄ以下である場合、目標値Ｍｉｘ_{ｔａｒｇｅｔ}は、所定値ＭｉｘＣから所定値ＭｉｘＤまで指標Ｎに比例して増加する。さらに、指標Ｎが所定値Ｄより大きい場合、目標値Ｍｉｘ_{ｔａｒｇｅｔ}は、所定値ＭｉｘＤになる。

　（指標Ｎと目標値Ａｔｔ_{ｔａｒｇｅｔ}の関係）
　図７は、指標Ｎと目標値Ａｔｔ_{ｔａｒｇｅｔ}の関係の例を示す図である。

　なお、図７のグラフにおいて、横軸は指標Ｎを表し、縦軸は目標値Ａｔｔ_{ｔａｒｇｅｔ}を表す。

　図７に示すように、目標値Ａｔｔ_{ｔａｒｇｅｔ}は、指標Ｎが大きいほど、即ちノイズ量が多いほど増加する。具体的には、図７の例では、指標Ｎが所定値Ａより小さい場合、目標値Ａｔｔ_{ｔａｒｇｅｔ}は、所定値ＡｔｔＡになる。指標Ｎが所定値Ａ以上Ｂ以下である場合、目標値Ａｔｔ_{ｔａｒｇｅｔ}は、所定値ＡｔｔＡから所定値ＡｔｔＢまで指標Ｎに比例して増加する。

　また、指標Ｎが所定値Ｂ以上Ｃ以下である場合、目標値Ａｔｔ_{ｔａｒｇｅｔ}は、所定値ＡｔｔＢから所定値ＡｔｔＣまで指標Ｎに比例して増加し、指標Ｎが所定値Ｃ以上Ｄ以下である場合、目標値Ａｔｔ_{ｔａｒｇｅｔ}は、所定値ＡｔｔＣから所定値ＡｔｔＤまで指標Ｎに比例して増加する。さらに、指標Ｎが所定値Ｄより大きい場合、目標値Ａｔｔ_{ｔａｒｇｅｔ}は、所定値ＡｔｔＤになる。

　（指標Ｎと混合割合Ｍｉｘの関係）
　図８は、指標Ｎと混合割合Ｍｉｘの関係の例を示す図である。

　なお、図８のグラフにおいて、横軸は指標Ｎを表し、縦軸は混合割合を表す。また、図８における指標Ｎと目標値Ｍｉｘ_{ｔａｒｇｅｔ}の関係は、所定値ＭｉｘＣが、所定値ＭｉｘＣより大きく所定値ＭｉｘＤより小さいＭｉｘＣ´である点を除いて、図６の関係と同一である。

　さらに、図８の例では、現在より１つ前のフレームの混合割合Ｍｉｘ_{ｂｅｆｏｒｅ}が、所定値ＭｉｘＢであり、現在のフレームの指標Ｎが所定値Ｄであり、帰還率が1/4である。この場合、目標値Ｍｉｘ_{ｔａｒｇｅｔ}は、所定値ＭｉｘＤになるが、現在の混合割合Ｍｉｘは、所定値ＭｉｘＢと所定値ＭｉｘＤの差分を４で除算した値ΔＭｉｘだけ所定値ＭｉｘＢから増加させた値になる。

　即ち、混合割合Ｍｉｘは、所定値ＭｉｘＢから所定値ＭｉｘＤに急激に変化せず、４フレームかけて所定値ＭｉｘＢから所定値ＭｉｘＤにゆっくり移動するように変化する。

　（撮像装置の処理の説明）
　図９は、図１の撮像装置１１のベイヤ化処理部２４のベイヤ化処理を説明するフローチャートである。このベイヤ化処理は、例えば、フレーム単位で行われる。

　図９のステップＳ１０において、ベイヤ化処理部２４の同時化部４０（図４）は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対して補完処理を行う。同時化部４０は、その結果生成される画素信号Ｗ_+ＩＲ，Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲを分離部４１と割合決定部５０に供給する。また、同時化部４０は、画素信号Ｗ_＋ＩＲをレベル補正部４３と輝度合成部４５に供給する。

　ステップＳ１１において、分離部４１は、同時化部４０から供給される画素信号Ｗ_+ＩＲ，Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲに基づいて、上述した式（１）により、画素信号Ｗ_+ＩＲ，Ｒ_+ＩＲ，Ｇ_+ＩＲ、およびＢ_+ＩＲのそれぞれに含まれる赤外光成分と可視光成分を分離する。分離部４１は、分離の結果得られる可視光成分Ｒ，Ｇ、およびＢをホワイトバランス部４２に供給し、赤外光成分ＩＲを割合決定部５０に供給する。

　ステップＳ１２において、ホワイトバランス部４２は、分離部４１から供給される可視光成分Ｒ，Ｇ、およびＢのそれぞれに対して、ホワイトバランスゲインを乗算し、レベル補正部４３に供給する。

　ステップＳ１３において、レベル補正部４３は、ホワイトバランス部４２から供給される可視光成分Ｇと、同時化部４０から供給される画素信号Ｗ_＋ＩＲとに基づいて、上述した式（２）により、補正ゲインＣ_Ｅを算出する。

　ステップＳ１４において、レベル補正部４３は、補正ゲインＣ_Ｅと、ホワイトバランス部４２からの可視光成分Ｒ，Ｇ、およびＢのそれぞれとを乗算することにより、可視光成分Ｒ，Ｇ、およびＢを補正する。レベル補正部４３は、補正後の可視光成分Ｒ，Ｇ、およびＢをＹＣ変換部４４に供給する。

　ステップＳ１５において、ＹＣ変換部４４は、上述した式（３）により、レベル補正部４３から供給される可視光成分Ｒ，Ｇ、およびＢを、輝度信号Ｙと色差信号ＣｂおよびＣｒとに変換する。ＹＣ変換部４４は、輝度信号Ｙを輝度合成部４５に供給し、色差信号ＣｂおよびＣｒをクロマゲインアンプ４６に供給する。

　ステップＳ１６において、割合決定部５０は、現在の混合割合Ｍｉｘと減衰割合Ａｔｔを、現在のフレームより１つ前のフレームの混合割合Ｍｉｘ_{ｂｅｆｏｒｅ}と減衰割合Ａｔｔ_{ｂｅｆｏｒｅ}に設定する。

　ステップＳ１７において、割合決定部５０は、指標Ｎと目標値Ｍｉｘ_{ｔａｒｇｅｔ}の関係を表す混合割合グラフ（図６）と、指標Ｎと目標値Ａｔｔ_{ｔａｒｇｅｔ}の関係を表す減衰割合グラフ（図７）を設定する。

　ステップＳ１８において、割合決定部５０は、上述した式（６）により、処理対象のフレームの画素ごとに、積算値ｆ（ＩＲ）を算出する。

　ステップＳ１９において、割合決定部５０は、フレーム内の全ての画素の積算値ｆ（ＩＲ）の平均値、イメージセンサ２３のアナログゲインとデジタルゲインの和ＡＧＣ、および補正ゲインＣ_Ｅを加算し、指標Ｎとする。

　ステップＳ２０において、割合決定部５０は、指標割合グラフと減衰割合グラフを参照して、指標Ｎに基づいて、混合割合Ｍｉｘの目標値Ｍｉｘ_{ｔａｒｇｅｔ}と減衰割合Ａｔｔの目標値Ａｔｔ_{ｔａｒｇｅｔ}を決定する。

　ステップＳ２１において、割合決定部５０は、上述した式（７）により、混合割合Ｍｉｘの目標値Ｍｉｘ_{ｔａｒｇｅｔ}と処理対象のフレームより１つ前のフレームの混合割合Ｍｉｘ_{ｂｅｆｏｒｅ}とに基づいて、処理対象のフレームの混合割合Ｍｉｘを決定する。そして、割合決定部５０は、混合割合Ｍｉｘを輝度合成部４５に供給する。

　ステップＳ２２において、割合決定部５０は、上述した式（８）により、減衰割合の目標値Ａｔｔ_{ｔａｒｇｅｔ}と処理対象のフレームより１つ前のフレームの減衰割合Ａｔｔ_{ｂｅｆｏｒｅ}とに基づいて、処理対象のフレームの減衰割合Ａｔｔを決定する。そして、割合決定部５０は、減衰割合Ａｔｔをクロマゲインアンプ４６に供給する。

　ステップＳ２３において、輝度合成部４５は、割合決定部５０から供給される混合割合Ｍｉｘに基づいて、上述した式（４）により、ＹＣ変換部４４から供給される輝度信号Ｙと同時化部４０から供給される画素信号Ｗ_＋ＩＲを合成する。

　ステップＳ２４において、クロマゲインアンプ４６は、割合決定部５０から供給される減衰割合Ａｔｔに基づいて、ＹＣ変換部４４から供給される色差信号ＣｂおよびＣｒのそれぞれを減衰させる。クロマゲインアンプ４６は、減衰された色差信号ＣｂおよびＣｒをRGB変換部４７に供給する。

　ステップＳ２５において、RGB変換部４７は、上述した式（５）により、輝度合成部４５から供給される輝度信号Ｙ´並びにクロマゲインアンプ４６から供給される色差信号ＣｂおよびＣｒを、赤色、緑色、青色の画素信号Ｒ´，Ｇ´，Ｂ´に変換する。RGB変換部４７は、画素信号Ｒ´，Ｇ´，Ｂ´を逆ホワイトバランス部４８に供給する。

　ステップＳ２６において、逆ホワイトバランス部４８は、RGB変換部４７から供給される画素信号Ｒ´，Ｇ´，Ｂ´に対して、ホワイトバランス部４２において乗算されたホワイトバランスゲインの逆数を乗算し、ベイヤ化部４９に供給する。

　ステップＳ２７において、ベイヤ化部４９は、画素ごとに、逆ホワイトバランス部４８から供給される画素信号Ｒ´，Ｇ´、およびＢ´から、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出し、ベイヤ配列のRGB画像を生成する。そして、ベイヤ化部４９は、ベイヤ配列のRGB画像を、図１の信号処理部２５に供給する。

　以上のように、撮像装置１１は、輝度信号Ｙと画素信号Ｗ_＋ＩＲを合成し、色差信号ＣｂおよびＣｒを減衰させる。従って、撮像装置１１は、ＩＲカットフィルタを挿抜する機構を有さずに、RGB画像の不可視光成分を制御することができる。その結果、ＩＲカットフィルタを挿抜する機構を有する撮像装置でＩＲカットフィルタを抜いた際に発生する白とびが発生せず、RGB画像の視認性を向上させることができる。

　また、撮像装置１１は、積算値ｆ（ＩＲ）に基づく指標Ｎを基に、混合割合Ｍｉｘと減衰割合Ａｔｔを決定する。従って、赤外光成分ＩＲの量に応じて、ベイヤ化処理後のRGB画像に含まれる不可視光成分の割合を変更することができる。即ち、赤外光成分ＩＲの量に応じて、ベイヤ化処理後のRGB画像を、不可視光成分を含まないRGB画像と不可視光成分を含むRGB画像の一方から他方に段階的に変化させることができる。

　さらに、指標Ｎは、画質を表す指標である。従って、撮像装置１１は、指標Ｎに基づいて混合割合Ｍｉｘと減衰割合Ａｔｔを決定することにより、被写体や照度によらず、ベイヤ化処理後のRGB画像の画質を一定にすることができる。その結果、ＩＲカットフィルタを挿抜する機構を有する撮像装置のように、照度が十分に高くなった場合であっても白黒画像がRGB画像として出力されることを防止することができる。

　また、赤外光成分ＩＲは、イメージセンサ２３により撮像された撮像画像から分離されたものである。従って、撮像システム１０内のＩＲ投光装置１２により照射される赤外光の量だけでなく、撮像システム１０外のＩＲ投光装置により照射される赤外光の量によっても、ベイヤ化処理後のRGB画像に含まれる不可視光成分の割合を変更することができる。

　さらに、撮像装置１１は、目標値Ｍｉｘ_{ｔａｒｇｅｔ}をそのまま混合割合Ｍｉｘに決定するのではなく、帰還率Ｆの逆数である1/Fフレームで目標値Ｍｉｘ_{ｔａｒｇｅｔ}に達成するように混合割合Ｍｉｘを決定する。従って、指標Ｎが急激に変化した場合であっても、混合割合Ｍｉｘはゆっくりと変化する。よって、指標Ｎが急激に変化した場合に、ベイヤ化処理後のRGB画像に含まれる不可視光成分の割合が急激に変化することを防止することができる。

　同様に、撮像装置１１は、1/Fフレームで目標値Ａｔｔ_{ｔａｒｇｅｔ}に達成するように減衰割合Ａｔｔを決定するので、指標Ｎが急激に変化した場合に、ベイヤ化処理後のRGB画像に含まれる不可視光成分の割合が急激に変化することを防止することができる。

　（撮像装置のICチップの構成例）
　図１０乃至図１３は、撮像装置１１がIC（Integrated Circuit）チップに形成される場合のICチップの構成例を示す図である。

　撮像装置１１がICチップに形成される場合、例えば、図１０に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５は、それぞれ異なるICチップ７１，７２，７３に形成されるようにすることができる。

　また、図１１に示すように、イメージセンサ２３とベイヤ化処理部２４が同一のICチップ８１に形成され、信号処理部２５が、ICチップ８１とは異なるICチップ８２に形成されるようにすることもできる。

　さらに、図１２に示すように、イメージセンサ２３が１つのICチップ９１に形成され、ベイヤ化処理部２４と信号処理部２５が、ICチップ９１とは異なるICチップ９２に形成されるようにすることもできる。また、図１３に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５の全てが同一のICチップ１０１に形成されるようにすることもできる。

　なお、レンズ２１と光学フィルタ２２は、イメージセンサ２３が形成されるICチップ７１（８１，９１，１０１）のイメージセンサ２３上に形成される。

　＜非ベイヤ配列の他の例＞
　本技術は、赤外光成分を含むRGBW画素配列の撮像画像以外の非ベイヤ配列の撮像画像に対してベイヤ化処理を行う画像処理装置にも適用することができる。

　図１４は、RGBW画素配列以外の非ベイヤ配列の例を示す図である。

　図１４のＡの画素配列は、RGB+IR画素配列であり、各画素が、赤色（Ｒ）の光、緑色（Ｇ）の光、青色（Ｂ）の光、および赤外光（ＩＲ）のいずれかに対応する画像を撮像する。図１４のＢの画素配列は、補色W画素配列であり、各画素が、白色（Ｗ）、黄色（Ｙｅ）、シアン（Ｃｙ）、および緑色（Ｇ）の光のいずれかと赤外光（ＩＲ）に対応する画像を撮像する。

　＜第２実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。

　撮像部２０６は、レンズ２１、光学フィルタ２２、イメージセンサ２３などにより構成され、撮像を行う。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。

　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータ２００では、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。

　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　なお、本開示は、以下のような構成もとることができる。

　（１）
　不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、
　前記可視光成分の色差信号を減衰させる減衰部と
　を備える撮像装置。
　（２）
　前記輝度合成部により前記画像信号が合成された前記輝度信号に対する前記画像信号の割合である混合割合を決定する割合決定部
　をさらに備え、
　前記輝度合成部は、前記割合決定部により決定された前記混合割合に基づいて、前記輝度信号と前記画像信号を合成する
　ように構成された
　前記（１）に記載の撮像装置。
　（３）
　前記割合決定部は、前記画像信号と前記可視光成分に基づいて、前記混合割合を決定する
　ように構成された
　前記（２）に記載の撮像装置。
　（４）
　前記割合決定部は、前記画像信号と前記可視光成分に基づいて前記混合割合の目標値を決定し、前記混合割合の目標値と過去の混合割合の差分を所定値で除算した分だけ、前記過去の混合割合から増加させた値を、前記混合割合に決定する
　ように構成された
　前記（３）に記載の撮像装置。
　（５）
　前記割合決定部は、前記可視光成分に対する前記画像信号の割合に基づいて、前記混合割合を決定する
　ように構成された
　前記（３）または（４）に記載の撮像装置。
　（６）
　前記割合決定部は、全ての色の前記可視光成分に対する前記画像信号の割合の積算値に基づいて、前記混合割合を決定する
　ように構成された
　前記（５）に記載の撮像装置。
　（７）
　前記色差信号の減衰割合を決定する割合決定部
　をさらに備え、
　前記減衰部は、前記割合決定部により決定された前記減衰割合に基づいて、前記色差信号を減衰させる
　ように構成された
　前記（１）に記載の撮像装置。
　（８）
　前記割合決定部は、前記画像信号と前記可視光成分に基づいて、前記減衰割合を決定する
　ように構成された
　前記（７）に記載の撮像装置。
　（９）
　前記割合決定部は、前記画像信号と前記可視光成分に基づいて前記減衰割合の目標値を決定し、前記減衰割合の目標値と過去の減衰割合の差分を所定値で除算した分だけ、前記過去の減衰割合から増加させた値を、前記減衰割合に決定する
　ように構成された
　前記（８）に記載の撮像装置。
　（１０）
　前記割合決定部は、前記可視光成分に対する前記画像信号の割合に基づいて、前記混合割合を決定する
　ように構成された
　前記（８）または（９）に記載の撮像装置。
　（１１）
　前記割合決定部は、全ての色の前記可視光成分に対する前記画像信号の割合の積算値に基づいて、前記混合割合を決定する
　ように構成された
　前記（１０）に記載の撮像装置。
　（１２）
　撮像装置が、
　不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成ステップと、
　前記可視光成分の色差信号を減衰させる減衰ステップと
　を含む撮像方法。
　（１３）
　コンピュータを、
　不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、
　前記可視光成分の色差信号を減衰させる減衰部と
　として機能させるためのプログラム。

　１１　撮像装置,　４５　輝度合成部,　４６　クロマゲインアンプ,　５０　割合決定部

Claims (13)

1. 　不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、
   　前記可視光成分の色差信号を減衰させる減衰部と
   　を備える撮像装置。
2. 　前記輝度合成部により前記画像信号が合成された前記輝度信号に対する前記画像信号の割合である混合割合を決定する割合決定部
   　をさらに備え、
   　前記輝度合成部は、前記割合決定部により決定された前記混合割合に基づいて、前記輝度信号と前記画像信号を合成する
   　ように構成された
   　請求項１に記載の撮像装置。
3. 　前記割合決定部は、前記画像信号と前記可視光成分に基づいて、前記混合割合を決定する
   　ように構成された
   　請求項２に記載の撮像装置。
4. 　前記割合決定部は、前記画像信号と前記可視光成分に基づいて前記混合割合の目標値を決定し、前記混合割合の目標値と過去の混合割合の差分を所定値で除算した分だけ、前記過去の混合割合から増加させた値を、前記混合割合に決定する
   　ように構成された
   　請求項３に記載の撮像装置。
5. 　前記割合決定部は、前記可視光成分に対する前記画像信号の割合に基づいて、前記混合割合を決定する
   　ように構成された
   　請求項３に記載の撮像装置。
6. 　前記割合決定部は、全ての色の前記可視光成分に対する前記画像信号の割合の積算値に基づいて、前記混合割合を決定する
   　ように構成された
   　請求項５に記載の撮像装置。
7. 　前記色差信号の減衰割合を決定する割合決定部
   　をさらに備え、
   　前記減衰部は、前記割合決定部により決定された前記減衰割合に基づいて、前記色差信号を減衰させる
   　ように構成された
   　請求項１に記載の撮像装置。
8. 　前記割合決定部は、前記画像信号と前記可視光成分に基づいて、前記減衰割合を決定する
   　ように構成された
   　請求項７に記載の撮像装置。
9. 　前記割合決定部は、前記画像信号と前記可視光成分に基づいて前記減衰割合の目標値を決定し、前記減衰割合の目標値と過去の減衰割合の差分を所定値で除算した分だけ、前記過去の減衰割合から増加させた値を、前記減衰割合に決定する
   　ように構成された
   　請求項８に記載の撮像装置。
10. 　前記割合決定部は、前記可視光成分に対する前記画像信号の割合に基づいて、前記混合割合を決定する
    　ように構成された
    　請求項８に記載の撮像装置。
11. 　前記割合決定部は、全ての色の前記可視光成分に対する前記画像信号の割合の積算値に基づいて、前記混合割合を決定する
    　ように構成された
    　請求項１０に記載の撮像装置。
12. 　撮像装置が、
    　不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成ステップと、
    　前記可視光成分の色差信号を減衰させる減衰ステップと
    　を含む撮像方法。
13. 　コンピュータを、
    　不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、
    　前記可視光成分の色差信号を減衰させる減衰部と
    　として機能させるためのプログラム。

Images