JPWO2016098641A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
JPWO2016098641A1
JPWO2016098641A1 JP2016564799A JP2016564799A JPWO2016098641A1 JP WO2016098641 A1 JPWO2016098641 A1 JP WO2016098641A1 JP 2016564799 A JP2016564799 A JP 2016564799A JP 2016564799 A JP2016564799 A JP 2016564799A JP WO2016098641 A1 JPWO2016098641 A1 JP WO2016098641A1
Authority
JP
Japan
Prior art keywords
captured image
unit
level
white balance
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016564799A
Other languages
English (en)
Other versions
JP6643250B2 (ja
Inventor
康司 倉田
康司 倉田
泰史 佐藤
泰史 佐藤
誠治 茅島
誠治 茅島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2016098641A1 publication Critical patent/JPWO2016098641A1/ja
Application granted granted Critical
Publication of JP6643250B2 publication Critical patent/JP6643250B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本開示は、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにする撮像装置、撮像方法、およびプログラムに関する。レベル補正部は、RGBW画素配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の最も感度の高い白色の画素の信号レベルである前レベルと、ベイヤ化処理後のRGB画像の、ベイヤ配列の画像の露光制御に用いられる緑色の画素の信号レベルである後レベルが同一になるように、撮像画像の信号レベルを補正する。本開示は、例えば、撮像装置等に適用することができる。

Description

本開示は、撮像装置、撮像方法、およびプログラムに関し、特に、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにした撮像装置、撮像方法、およびプログラムに関する。
RGBW画素配列のイメージセンサにおいて、不可視光である近赤外光と可視光の両方を透過させる光学帯域分離フィルタを介して入力された光に対応する画像を撮像し、撮像画像から不可視光成分と可視光成分を分離することが考案されている（例えば、特許文献１参照）。このようなイメージセンサにおいて、不可視光成分と可視光成分の分離を高精度で行うためには、適切な露光制御を行うことが必要である。
そこで、分離の前後に積分器を設け、不可視光成分の量に応じて一方からの出力を選択して用いることにより、露光制御（ＡＥ（Automatic Exposure）制御）やホワイトバランス制御（ＡＷＢ（Automatic White-Balance）制御）を行うことが考えられている（例えば、特許文献２参照）。
特開2008-289000号公報 特開2008-289001号公報
しかしながら、特許文献２に記載の露光制御方法のように、ベイヤ配列の撮像画像の露光制御方法とは大きく異なる方法を用いて露光制御を行う場合、既存のベイヤ配列の撮像画像の露光制御部では、露光制御を行うことができない。従って、新たな露光制御部を開発し、設置する必要があり、製造コストが増加する。
よって、ベイヤ配列の撮像画像の露光制御方法で、不可視光成分と可視光成分を含むRGBW画素配列の撮像画像などの非ベイヤ配列の撮像画像の露光制御を行うことが望まれている。
本開示は、このような状況に鑑みてなされたものであり、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにするものである。
本開示の一側面の撮像装置は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部を備える撮像装置である。
本開示の一側面の撮像方法およびプログラムは、本開示の一側面の撮像装置に対応する。
本開示の一側面においては、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルが補正される。
本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。 図１の光学フィルタの各波長の光の透過率の例を示す図である。 ベイヤ化処理の前後の画像の画素配列を説明する図である。 図１のベイヤ化処理部の構成例を示すブロック図である。 出力信号の信号レベルを説明する概念図である。 露光制御が行われない場合の分離部からの出力信号を表す図である。 露光制御が行われた場合の分離部からの出力信号を表す図である。 図１の撮像装置の撮像処理を説明するフローチャートである。 図１の撮像装置の撮像処理を説明するフローチャートである。 撮像装置のICチップの第１の構成例を示す図である。 撮像装置のICチップの第２の構成例を示す図である。 撮像装置のICチップの第３の構成例を示す図である。 撮像装置のICチップの第４の構成例を示す図である。 本開示を適用した撮像装置を含む撮像システムの第２実施の形態の構成例を示すブロック図である。 図１４のベイヤ化処理部の構成例を示すブロック図である。 図１４の撮像装置の撮像処理を説明するフローチャートである。 図１４の撮像装置の撮像処理を説明するフローチャートである。 RGBW画素配列以外の非ベイヤ配列の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：撮像システム（図１乃至図１３）
２．第２実施の形態：撮像システム（図１４乃至図１７）
３．非ベイヤ配列の他の例（図１８）
４．第３実施の形態：コンピュータ（図１９）
＜第１実施の形態＞
（撮像装置の第１実施の形態の構成例）
図１は、本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。
図１の撮像システム１０は、撮像装置１１とＩＲ（赤外光）投光装置１２により構成される。撮像システム１０では、被写体によって反射された赤外光と可視光に対応する画像が撮像される。
具体的には、撮像装置１１は、レンズ２１、光学フィルタ２２、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５により構成される。
撮像装置１１のレンズ２１には、被写体からの光が入射される。レンズ２１は、入射された光を、光学フィルタ２２を介してイメージセンサ２３に集光させる。光学フィルタ２２は、入射された光のうちの赤外光と可視光を透過させる。なお、光学フィルタ２２は設けられなくてもよい。
イメージセンサ２３は、CMOS（Complementary Metal-Oxide Semiconductor）イメージセンサまたはCCD(Charge Coupled Device)イメージセンサであり、RGBW画素配列の画素を有する。イメージセンサ２３は、画素ごとに、入射された赤外光と、可視光のうちの、その画素に対応する色（赤色（R）、緑色（G）、青色（B）、白色（W））の光とを受光し、受光量に応じた電気信号を画素信号として生成することにより、撮像を行う。従って、撮像の結果得られる各画素の画素信号には、不可視光成分としての赤外光成分と可視光成分とが含まれる。イメージセンサ２３は、撮像の結果得られる各画素の画素信号を、撮像画像としてベイヤ化処理部２４に供給する。
ベイヤ化処理部２４は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理（リモザイク処理）を行い、ベイヤ配列(RGB画素配列)のRGB画像を生成する。ベイヤ化処理部２４は、生成されたベイヤ配列のRGB画像を信号処理部２５に供給する。
信号処理部２５は、既存のベイヤ配列の撮像画像用の信号処理部である。信号処理部２５は、ベイヤ化処理部２４から供給されるRGB画像を用いて、ベイヤ配列の撮像画像に対する方法と同一の方法で、露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を行う。信号処理部２５は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ２３に供給し、撮像画像の露光量を制御する。また、信号処理部２５は、RGB画像に対してホワイトバランス制御処理およびYCbCr変換処理を行った結果得られるYCbCr画像を出力する。
ＩＲ投光装置１２は、例えば、可視光が少ない夜間に、被写体に向けて赤外光を出射する。
（光学フィルタの各波長の光の透過率の例）
図２は、図１の光学フィルタ２２の各波長の光の透過率の例を示す図である。
図２のグラフにおいて、横軸は、光学フィルタ２２を通過する光の波長（nm）を表し、縦軸は、その光の透過率（％）を表す。
図２に示すように、光学フィルタ２２では、波長が約390nm〜660nmである可視光の透過率と、波長が約820nm〜910nmである赤外光の透過率が０％より大きい。従って、光学フィルタ２２では、波長が約390nm〜660nmである可視光と波長が約820nm〜910nmである赤外光が通過する。
（ベイヤ化処理の前後の画像の画素配列の説明）
図３は、図１のベイヤ化処理部２４によるベイヤ化処理の前後の画像の画素配列を説明する図である。
図３のＡに示すように、ベイヤ化処理前の画像、即ちイメージセンサ２３から出力される撮像画像の画素配列は、RGBW画素配列である。また、各画素の画素信号には赤外光（IR）成分が含まれる。
ベイヤ化処理部２４は、このようなベイヤ化処理前の画像に対して、ベイヤ化処理を行うことにより、図３のＢに示すRGB画素配列の画像を、ベイヤ化処理後の画像として生成する。
（ベイヤ化処理部の構成例）
図４は、図１のベイヤ化処理部２４の構成例を示すブロック図である。
ベイヤ化処理部２４は、低周波処理部４１、分離部４２、ゲイン算出部４３、ホワイトバランス部４４、レベル補正部４５、ＹＣ変換部４６、輝度合成部４７、飽和色消し部４８、クロマゲインアンプ４９、RGB変換部５０、高周波補完部５１、高周波抽出部５２、高周波復元処理部５３、逆ホワイトバランス部５４、およびベイヤ化部５５から構成される。ベイヤ化処理部２４は、図１のイメージセンサ２３から供給される撮像画像を高周波成分と低周波成分に分離して、ベイヤ化処理を行う。
具体的には、ベイヤ化処理部２４の低周波処理部４１は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対してLPF(Low Pass Filter)処理および補完処理を行う。低周波処理部４１は、その結果生成される赤外光成分を含む全画素の各色の同時刻の画素信号の低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lを分離部４２に供給し、低周波成分（W+IR）Lをゲイン算出部４３、輝度合成部４７、高周波抽出部５２、および高周波復元処理部５３に供給する。
分離部４２は、低周波処理部４１から供給される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lに基づいて、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lのそれぞれに含まれる赤外光成分と可視光成分を、以下の式（１）により分離する。
Figure 2016098641
なお、ＩＲLは、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lのそれぞれに含まれる赤外光成分である。また、ＲL，ＧL，ＢLは、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lの可視光成分である。
分離部４２は、分離の結果得られる赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとをゲイン算出部４３に供給し、可視光成分ＲL，ＧL、およびＢLをホワイトバランス部４４に供給する。
ゲイン算出部４３（ホワイトバランスゲイン算出部）は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLに基づいて、以下の式（２）により、可視光成分ＲL，ＧL、およびＢLのホワイトバランスゲインＣWR，ＣWG，ＣWBを算出し、ホワイトバランス部４４に供給する。
Figure 2016098641
なお、ＡｖｅＲL，ＡｖｅＧL，ＡｖｅＢLは、それぞれ、１画面内の可視光成分ＲL，ＧL，ＢLの平均値である。また、ゲイン算出部４３は、ホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を算出し、逆ホワイトバランス部５４に供給する。
さらに、ゲイン算出部４３（補正ゲイン算出部）は、ベイヤ配列の撮像画像の露光制御に用いられる画素である緑色の画素の可視光成分（の信号レベル）ＧL（後レベル）と、低周波処理部４１から供給される、撮像画像のうちの最も感度の高い白色の画素の低周波成分（の信号レベル）（W+IR）L（前レベル）とに基づいて、以下の式（３）により、補正ゲインＣEを算出する。
Figure 2016098641
なお、Ａｖｅ（W+IR）Lは、１画面内の低周波成分（W+IR）Lの平均値である。式（３）によれば、可視光成分ＧL（の平均値）を低周波成分（W+IR）L（の平均値）にするための補正ゲインＣEが算出される。従って、可視光成分ＧLと補正ゲインＣEを乗算することにより、乗算後の可視光成分ＧLは、低周波成分（W+IR）Lと同一になる。ゲイン算出部４３は、補正ゲインＣEをレベル補正部４５に供給する。
ホワイトバランス部４４は、以下の式（４）に示すように、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBを乗算する。これにより、可視光成分ＲL，ＧL、およびＢLの比率（ホワイトバランス）が補正される。
Figure 2016098641
なお、ＲWL，ＧWL、およびＢWLは、それぞれ、補正後の可視光成分ＲL，ＧL、およびＢLである。ホワイトバランス部４４は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
レベル補正部４５は、ベイヤ化処理後のRGB画像の緑色の画素の画素信号と低周波成分（W+IR）Lが同一になるように、ゲイン算出部４３からの補正ゲインＣEと、ホワイトバランス部４４からの可視光成分ＲWL，ＧWL、およびＢWLのそれぞれとを乗算することにより、可視光成分ＲWL，ＧWL、およびＢWLを補正する。レベル補正部４５は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをＹＣ変換部４６に供給する。
ＹＣ変換部４６は、以下の式（５）により、レベル補正部４５から供給される可視光成分ＲWL，ＧWL、およびＢWLを、輝度信号ＹLと色差信号ＣｂLおよびＣｒLとに変換する。ＹＣ変換部４６は、輝度信号ＹLを輝度合成部４７に供給し、色差信号ＣｂLおよびＣｒLを飽和色消し部４８に供給する。
Figure 2016098641
輝度合成部４７は、低周波処理部４１から供給される低周波成分（W+IR）Lに基づいて、ＹＣ変換部４６から供給される輝度信号ＹLを、以下の式（６）により補正する。
Figure 2016098641
なお、ａは、輝度信号ＹLや赤外光成分ＩＲLに基づいて決定される係数である。例えば、１画面内の輝度信号ＹLの平均値が所定値より大きい場合や、１画面内の赤外光成分ＩＲLの平均値が所定値より小さい場合、係数ａは比較的大きい値にされる。一方、１画面内の輝度信号ＹLの平均値が所定値以下である場合や、１画面内の赤外光成分ＩＲLの平均値が所定値以上である場合、係数ａは比較的小さい値になる。
また、ＹL´は、補正後の輝度信号である。輝度合成部４７は、補正後の輝度信号ＹL´をRGB変換部５０に供給する。
飽和色消し部４８は、低周波成分（Ｗ+IR）Lが、画素に蓄積可能な電荷に対応する画素信号の最大レベルである飽和レベルを超えたかどうかを判定する。飽和色消し部４８は、低周波成分（Ｗ+IR）Lが飽和レベルを超えた場合、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLに対して１未満のゲインを乗算し、色消しを行う。
即ち、低周波成分（Ｗ+IR）L，（Ｒ+IR）L，（Ｇ+IR）L，（Ｂ+IR）Lのいずれかが飽和レベルを超えると、分離部４２による分離の精度が低下し、色差信号ＣｂLおよびＣｒLの精度が低下する。従って、飽和色消し部４８は、最も感度の高い白色の画素の低周波成分（Ｗ+IR）Lが飽和レベルを超えた場合、低周波成分（Ｗ+IR）L，（Ｒ+IR）L，（Ｇ+IR）L，（Ｂ+IR）Lのいずれかが飽和レベルを超えたと判断し、色差信号ＣｂLおよびＣｒLを低減させる。飽和色消し部４８は、色消し後の色差信号ＣｂLおよびＣｒLをクロマゲインアンプ４９に供給する。
一方、低周波成分（Ｗ+IR）Lが飽和レベルを超えていない場合、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLを、そのままクロマゲインアンプ４９に供給する。
クロマゲインアンプ４９は、飽和色消し部４８から供給される色差信号ＣｂLおよびＣｒLのそれぞれに対して、クロマゲインを乗算する。クロマゲインは、１画面内の輝度信号ＹLの平均値が所定値より大きい場合や、１画面内の赤外光成分ＩＲLの平均値が所定値より小さい場合、１とされるが、１画面内の輝度信号ＹLの平均値が所定値以下である場合や、１画面内の赤外光成分ＩＲLの平均値が所定値以上である場合、０に近い値にされる。
これにより、被写体からの光の量が多いか、または、赤外光が少なく、色差信号ＣｂLおよびＣｒLの精度が良い場合、色差信号ＣｂLおよびＣｒLは補正されない。一方、被写体からの光の量が少ないか、または、赤外光が多く、色差信号ＣｂLおよびＣｒLの精度が悪い場合、色差信号ＣｂLおよびＣｒLは低減され、低周波成分が白黒化される。その結果、ベイヤ化処理後の画像のS/N（Signal/Noise）比を向上させることができる。クロマゲインアンプ４９は、クロマゲインが乗算された色差信号ＣｂLおよびＣｒLをRGB変換部５０に供給する。
RGB変換部５０は、以下の式（７）により、輝度合成部４７から供給される輝度信号ＹL´と色差信号色差信号ＣｂLおよびＣｒLを、赤色、緑色、青色の画素信号RL´，GL´，BL´に変換し、高周波復元処理部５３に供給する。
Figure 2016098641
高周波補完部５１は、イメージセンサ２３から供給される撮像画像に基づいて、全画素の白色の可視光成分と赤外光成分を含む画素信号（W+IR）H+Lを補完する。具体的には、高周波補完部５１は、撮像画像のうちの白色の画素の画素信号を、そのまま、白色の画素の補完後の画素信号とする。また、高周波補完部５１は、白色の画素以外の画素を順に注目画素とし、注目画素の周辺の白色の画素の画素信号の平均値を、注目画素の補完後の画素信号として生成する。高周波補完部５１は、補完後の画素信号（W+IR）H+Lを高周波抽出部５２に供給する。
高周波抽出部５２は、高周波補完部５１から供給される画素信号（W+IR）H+Lから、低周波処理部４１から供給される低周波成分（W+IR）Lを減算し、その結果得られる全画素の白色の同時刻の画素信号の高周波成分（W+IR）Hを高周波復元処理部５３に供給する。
高周波復元処理部５３は、低周波処理部４１から供給される低周波成分（W+IR）L、RGB変換部５０から供給される画素信号RL´，GL´，BL´、および高周波抽出部５２から供給される高周波成分（W+IR）Hに基づいて、以下の式（８）により、全帯域の赤色、緑色、青色の画素信号R,G,Bを生成する。高周波復元処理部５３は、画素信号R,G,Bを逆ホワイトバランス部５４に供給する。
Figure 2016098641
逆ホワイトバランス部５４（ホワイトバランス制御部）は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算する。これにより、イメージセンサ２３から出力されたベイヤ化処理前の撮像画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部２４から出力されるベイヤ化処理後のRGB画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号R,G,Bのホワイトバランスが制御される。逆ホワイトバランス部５４は、ホワイトバランスが制御された画素信号R,G,Bをベイヤ化部５５に供給する。
ベイヤ化部５５は、画素ごとに、逆ホワイトバランス部５４から供給される画素信号R,G,Bから、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部５５は、抽出された各画素の画素信号を、ベイヤ配列のRGB画像として、図１の信号処理部２５に供給する。
（出力信号の信号レベルの説明）
図５は、低周波処理部４１、分離部４２、ホワイトバランス部４４、レベル補正部４５、および逆ホワイトバランス部５４から出力される信号の信号レベルを説明する概念図である。
図５に示すように、低周波処理部４１から出力される低周波成分（W+IR）Lは、白色の成分（Ｗ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分であり、低周波成分（R+IR）Lは、赤色の成分（Ｒ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分である。また、低周波成分（G+IR）Lは、緑色の成分（Ｇ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分であり、低周波成分（B+IR）Lは、青色の成分（Ｂ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分である。
イメージセンサ２３が有する画素のうち、白色の画素の感度が最も高いため、低周波成分（W+IR）Lの信号レベルは、低周波成分（R+IR）L，（G+IR）L、および（B+IR）Lの信号レベルに比べて高い。
この低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lは、分離部４２において、図５に示すように、赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとに分離され、出力される。ホワイトバランス部４４は、可視光成分ＲL，ＧL、およびＢLに対して、それぞれ、ホワイトバランスゲインＣWR，ＣWGとしての１，ＣWBを乗算し、出力する。これにより、図５に示すように、ホワイトバランス部４４から出力される可視光成分ＲWL，ＧWL、およびＢWLは略同一となる。
レベル補正部４５は、ホワイトバランス部４４から出力される可視光成分ＲWL，ＧWL、およびＢWLのそれぞれに対して、補正ゲインＣEを乗算し、出力する。これにより、図５に示すように、レベル補正部４５から出力される可視光成分ＲWL，ＧWL、およびＢWLは、低周波成分（W+IR）Lと同一になる。
逆ホワイトバランス部５４は、レベル補正部４５から出力される可視光成分ＲWL，ＧWL、およびＢWLに対応する画素信号Ｒ,Ｇ,Ｂに対して、それぞれ、ホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算し、出力する。これにより、分離部４２から出力される可視光成分ＲL，ＧL、およびＢLのホワイトバランスと、逆ホワイトバランス部５４から出力される画素信号Ｒ,Ｇ、およびＢのホワイトバランスが等しくなる。即ち、ホワイトバランス部４４において変化した可視光成分ＲL，ＧL、およびＢLの比率が元に戻される。
従って、信号処理部２５は、画素信号Ｒ,Ｇ、およびＢに対応するベイヤ配列のＲＧＢ画像に基づいて、ベイヤ配列の撮像画像のホワイトバランス制御方法にしたがってホワイトバランス制御を行うことにより、イメージセンサ２３の撮像画像のホワイトバランス制御を行うことができる。
また、レベル補正部４５において、可視光成分ＲWL，ＧWL、およびＢWLが低周波成分（W+IR）Lと同一にされており、ホワイトバランスゲインＣWGの逆数は１である。従って、低周波処理部４１から出力される低周波成分（W+IR）Lと、逆ホワイトバランス部５４から出力される画素信号Ｇとは等しくなる。即ち、ベイヤ配列の撮像画像の露光制御方法において露光制御に用いられる緑色の画素の画素信号Ｇが、イメージセンサ２３が有する画素のうちの最も感度の高い白色の画素の低周波成分（W+IR）Lと等しくされる。
従って、信号処理部２５は、画素信号Ｒ,Ｇ、およびＢに対応するベイヤ配列のＲＧＢ画像のうちの緑色の画素の画素信号に基づいて、ベイヤ配列の撮像画像の露光制御方法にしたがって露光制御を行うことにより、イメージセンサ２３の撮像画像の露光制御を行うことができる。
以上のように、撮像装置１１では、ベイヤ配列の撮像画像の露光制御方法とホワイトバランス制御方法を用いて、イメージセンサ２３の撮像画像の露光制御とホワイトバランス制御を行うことができる。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を設けるだけで、新たな露光制御部やホワイトバランス制御部を開発せずに、イメージセンサ２３の撮像画像の露光制御とホワイトバランス制御を行うことができる。その結果、撮像装置１１の製造コストを削減することができる。
（露光制御による効果）
図６は、イメージセンサ２３の撮像画像の露光制御が行われない場合の分離部４２からの出力信号を表す図であり、図７は、露光制御が行われた場合の分離部４２からの出力信号を表す図である。
図６に示すように、イメージセンサ２３の撮像画像の露光制御が行われないと、低周波成分（W+IR）Lが飽和レベルを超える場合がある。この場合、低周波成分（W+IR）Lは、白色の画素で感知されるべき光の光量に対応する画素信号の低周波成分よりも小さくなるため、上述した式（１）が成立せず、分離後の可視光成分ＲL，ＧL、およびＢLには、赤外光成分ＩＲLが残る。
これに対して、イメージセンサ２３の撮像画像の露光制御が行われる場合、低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）の全てが飽和レベルを超えず、上述した式（１）が成立する。従って、分離後の可視光成分ＲL，ＧL、およびＢLには、赤外光成分ＩＲLが含まれない。その結果、露光制御が行われない場合に比べて、ベイヤ化処理後のRGB画像の画質が向上する。
撮像装置１１では、イメージセンサ２３の撮像画像の露光制御が行われるので、露光制御が行われない場合に比べて、ベイヤ化処理後のRGB画像の画質が向上する。
（撮像装置の処理の説明）
図８および図９は、図１の撮像装置１１の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ２３の撮像画像単位で行われる。
図８のステップＳ１１において、イメージセンサ２３は、前の撮像画像に対する撮像処理で、信号処理部２５から供給されたシャッタゲインを、現在のシャッタゲインとして設定する。なお、先頭の撮像画像に対する撮像処理では、まだシャッタゲインが決定されていないため、ステップＳ１１において、例えば、予め決められたシャッタゲインのデフォルト値が、現在のシャッタゲインとして設定される。
ステップＳ１２において、イメージセンサ２３は、現在のシャッタゲインに基づいて撮像を行い、その結果得られる非ベイヤ配列の撮像画像をベイヤ化処理部２４に供給する。
ステップＳ１３において、ベイヤ化処理部２４の低周波処理部４１（図４）は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対してLPF処理および補完処理を行う。低周波処理部４１は、その結果生成される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lを分離部４２に供給し、低周波成分（W+IR）Lをゲイン算出部４３、輝度合成部４７、高周波抽出部５２、および高周波復元処理部５３に供給する。
ステップＳ１４において、分離部４２は、低周波処理部４１から供給される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lに基づいて、上述した式（１）により、低周波成分（R+IR）L，（G+IR）L、および（B+IR）Lに含まれる赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとを分離する。分離部４２は、赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとをゲイン算出部４３に供給し、可視光成分ＲL，ＧL、およびＢLをホワイトバランス部４４に供給する。
ステップＳ１５において、ゲイン算出部４３は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLに基づいて、上述した式（２）により、ホワイトバランスゲインＣWR，ＣWG、およびＣWBを算出し、ホワイトバランス部４４に供給する。
ステップＳ１６において、ゲイン算出部４３は、ホワイトバランスゲインＣWR，ＣWG、およびＣWBのそれぞれの逆数を算出し、逆ホワイトバランス部５４に供給する。ステップＳ１７において、ゲイン算出部４３は、可視光成分ＧLと、低周波処理部４１から供給される低周波成分（W+IR）Lとに基づいて、上述した式（３）により、補正ゲインＣEを算出する。ゲイン算出部４３は、補正ゲインＣEをレベル補正部４５に供給する。
ステップＳ１８において、ホワイトバランス部４４は、上述した式（４）に示すように、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBを乗算する。ホワイトバランス部４４は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
ステップＳ１９において、レベル補正部４５は、ゲイン算出部４３から供給される補正ゲインＣEと、可視光成分ＲWL，ＧWL、およびＢWLのそれぞれとを乗算する。レベル補正部４５は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをＹＣ変換部４６に供給する。
ステップＳ２０において、ＹＣ変換部４６は、上述した式（５）により、レベル補正部４５から供給される可視光成分ＲWL，ＧWL、およびＢWLを、輝度信号ＹLと色差信号ＣｂLおよびＣｒLとに変換する。ＹＣ変換部４６は、輝度信号ＹLを輝度合成部４７に供給し、色差信号ＣｂLおよびＣｒLを飽和色消し部４８に供給する。
ステップＳ２１において、輝度合成部４７は、低周波処理部４１から供給される低周波成分（W+IR）Lに基づいて、上述した式（６）により、ＹＣ変換部４６から供給される輝度信号ＹLを補正し、その結果得られる輝度信号ＹL´をRGB変換部５０に供給する。
ステップＳ２２において、飽和色消し部４８は、低周波成分（Ｗ+IR）Lが飽和レベルを超えたかどうかを判定する。ステップＳ２２で低周波成分（Ｗ+IR）Lが飽和レベルを超えたと判定された場合、ステップＳ２３において、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLに対して１未満のゲインを乗算し、色消しを行う。飽和色消し部４８は、色消し後の色差信号ＣｂLおよびＣｒLをクロマゲインアンプ４９に供給し、処理をステップＳ２４に進める。
一方、ステップＳ２２で低周波成分（Ｗ+IR）Lが飽和レベルを超えていないと判定された場合、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLを、そのままクロマゲインアンプ４９に供給し、処理をステップＳ２４に進める。
ステップＳ２４において、クロマゲインアンプ４９は、飽和色消し部４８から供給される色差信号ＣｂLおよびＣｒLのそれぞれに対して、クロマゲインを乗算し、RGB変換部５０に供給する。
ステップＳ２５において、RGB変換部５０は、上述した式（７）により、輝度合成部４７から供給される輝度信号ＹL´と色差信号ＣｂLおよびＣｒLを、赤色、緑色、青色の画素信号RL´，GL´，BL´に変換し、高周波復元処理部５３に供給する。
ステップＳ２６において、高周波補完部５１は、イメージセンサ２３から供給される撮像画像に基づいて、全画素の白色の可視光成分と赤外光成分を含む画素信号（W+IR）H+Lを補完し、高周波抽出部５２に供給する。
図９のステップＳ２７において、高周波抽出部５２は、高周波補完部５１から供給される画素信号（W+IR）H+Lから、低周波処理部４１から供給される低周波成分（W+IR）Lを減算して、高周波成分（W+IR）Hを生成する。高周波抽出部５２は、高周波成分（W+IR）Hを高周波復元処理部５３に供給する。
ステップＳ２８において、高周波復元処理部５３は、低周波処理部４１からの低周波成分（W+IR）L、RGB変換部５０からの画素信号RL´，GL´，BL´、および高周波抽出部５２からの高周波成分（W+IR）Hに基づいて、上述した式（８）により、全帯域の赤色、緑色、青色の画素信号R,G,Bを生成する。高周波復元処理部５３は、画素信号R,G,Bを逆ホワイトバランス部５４に供給する。
ステップＳ２９において、逆ホワイトバランス部５４は、高周波復元処理部５３から供給される画素信号R,G,Bのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算し、ベイヤ化部５５に供給する。
ステップＳ３０において、ベイヤ化部５５は、画素ごとに、逆ホワイトバランス部５４から供給される画素信号R,G,Bから、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部５５は、抽出された各画素の画素信号を、ベイヤ化処理後のベイヤ配列のRGB画像として、図１の信号処理部２５に供給する。
ステップＳ３１において、信号処理部２５は、ベイヤ化部５５から供給されるベイヤ配列のRGB画像の緑色の画素信号の総和(積分値)に基づいて、そのRGB画像の緑色の画素信号の１画面内の平均値が飽和レベルを越さないようにシャッタゲインを決定する露光制御処理を行う。信号処理部２５は、決定されたシャッタゲインをイメージセンサ２３に供給する。このシャッタゲインは、次の撮像画像に対する撮像処理のステップＳ１１の処理で、現在のシャッタゲインとして設定される。
ステップＳ３２において、信号処理部２５は、ベイヤ配列のRGB画像の各色の画素信号の総和（積分値）に基づいて各色のホワイトバランスゲインを算出し、色ごとに画素信号にホワイトバランスゲインを乗算するホワイトバランス制御処理を行う。
ステップＳ３３において、信号処理部２５は、ホワイトバランス制御処理後のRGB画像に対してYCbCr変換処理を行い、その結果得られるYCbCr画像を出力する。そして、処理は終了する。
（撮像装置のICチップの構成例）
図１０乃至図１３は、撮像装置１１がIC（Integrated Circuit）チップに形成される場合のICチップの構成例を示す図である。
撮像装置１１がICチップに形成される場合、例えば、図１０に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５は、それぞれ異なるICチップ７１，７２，７３に形成されるようにすることができる。
また、図１１に示すように、イメージセンサ２３とベイヤ化処理部２４が同一のICチップ８１に形成され、信号処理部２５が、ICチップ８１とは異なるICチップ８２に形成されるようにすることもできる。
さらに、図１２に示すように、イメージセンサ２３が１つのICチップ９１に形成され、ベイヤ化処理部２４と信号処理部２５が、ICチップ９１とは異なるICチップ９２に形成されるようにすることもできる。また、図１３に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５の全てが同一のICチップ１０１に形成されるようにすることもできる。
なお、レンズ２１と光学フィルタ２２は、イメージセンサ２３が形成されるICチップ７１（８１，９１，１０１）のイメージセンサ２３上に形成される。
以上のように、撮像装置１１は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の低周波成分（W+IR）Lの信号レベルと、ベイヤ化処理後のRGB画像の緑色の画素の画素信号の信号レベルが同一になるように、可視光成分ＧWLの信号レベルを補正する。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、ベイヤ化処理後のRGB画像に基づいて露光制御を行うことにより、非ベイヤ配列の撮像画像の露光制御を適切に行うことができる。
また、撮像装置１１は、イメージセンサ２３により撮像された赤外光成分を含む非ベイヤ配列の撮像画像から赤外光成分を分離し、ベイヤ化処理を行う。従って、非ベイヤ配列の撮像画像が赤外光成分を含む場合であっても、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、非ベイヤ配列の撮像画像の露光制御を適切に行うことができる。
さらに、撮像装置１１は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の可視光成分ＲL，ＧL，ＢLの信号レベルの比と、ベイヤ化処理後のRGB画像の各色の画素信号の信号レベルの比が同一になるように、画素信号Ｒ，Ｇ，Ｂのホワイトバランスを制御する。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、ベイヤ化処理後のRGB画像に基づいてホワイトバランス制御を行うことにより、非ベイヤ配列の撮像画像のホワイトバランス制御を適切に行うことができる。
＜第２実施の形態＞
（撮像装置の第２実施の形態の構成例）
図１４は、本開示を適用した撮像装置を含む撮像システムの第２実施の形態の構成例を示すブロック図である。
図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１４の撮像システム１２０の構成は、撮像装置１１の代わりに撮像装置１２１が設けられる点が、図１の撮像システム１０の構成と異なる。また、撮像装置１２１の構成は、ベイヤ化処理部２４の代わりにベイヤ化処理部１４１が設けられる点、信号処理部２５の代わりに信号処理部１４２が設けられる点が、図１の撮像装置１１の構成と異なる。撮像装置１２１は、ベイヤ化処理部１４１において、信号処理部１４２のホワイトバランス制御処理で算出されたホワイトバランスゲインを用いる。
具体的には、撮像装置１２１のベイヤ化処理部１４１は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理を行い、ベイヤ配列のRGB画像を生成する。このとき、ベイヤ化処理部１４１は、信号処理部１４２から供給されるホワイトバランスゲインを用いてホワイトバランスを補正し、元に戻す。ベイヤ化処理部１４１は、生成されたベイヤ配列のRGB画像を信号処理部１４２に供給する。
信号処理部１４２は、既存のベイヤ配列の撮像画像用の信号処理部である。信号処理部１４２は、ベイヤ化処理部１４１から供給されるRGB画像を用いて、ベイヤ配列の撮像画像に対する方法と同一の方法で、露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を行う。信号処理部１４２は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ２３に供給し、撮像画像の露光量を制御する。
また、信号処理部１４２は、ホワイトバランス制御処理において算出されたホワイトバランスゲインをベイヤ化処理部１４１に供給する。さらに、信号処理部１４２は、ホワイトバランス制御処理およびYCbCr変換処理の結果得られるYCbCr画像を出力する。
（ベイヤ化処理部の構成例）
図１５は、図１４のベイヤ化処理部１４１の構成例を示すブロック図である。
図１５に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１５のベイヤ化処理部１４１の構成は、ゲイン算出部４３、ホワイトバランス部４４、逆ホワイトバランス部５４の代わりに、ゲイン算出部１６１、ホワイトバランス部１６２、逆ホワイトバランス部１６３が設けられる点が、図４のベイヤ化処理部２４の構成と異なる。
ベイヤ化処理部１４１のゲイン算出部１６１は、図４のゲイン算出部４３と同様に、分離部４２から供給される可視光成分ＧLと、低周波処理部４１から供給される低周波成分（W+IR）Lとに基づいて、上述した式（３）により、補正ゲインＣEを算出する。ゲイン算出部１６１は、補正ゲインＣEをレベル補正部４５に供給する。しかしながら、ゲイン算出部１６１は、ゲイン算出部４３のように、ホワイトバランスゲインＣWR，ＣWG，ＣWBや、その逆数を算出しない。
ホワイトバランス部１６２は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、図４のホワイトバランス部４４と同様に、図１４の信号処理部１４２から供給されるホワイトバランスゲインを乗算し、可視光成分ＲL，ＧL、およびＢLの比率を補正する。ホワイトバランス部１６２は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
逆ホワイトバランス部１６３（ホワイトバランス制御部）は、図１の信号処理部１４２から供給されるホワイトバランスゲインの逆数を算出する。逆ホワイトバランス部１６３は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、算出されたホワイトバランスゲインの逆数をそれぞれ乗算する。これにより、イメージセンサ２３から出力されたベイヤ化処理前の撮像画像の１画面内の赤色、緑色、および青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部１４１から出力されるベイヤ化処理後のRGB画像の１画面内の赤色、緑色、および青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号R,G,Bのホワイトバランスが制御される。逆ホワイトバランス部１６３は、ホワイトバランスが制御された画素信号R,G,Bをベイヤ化部５５に供給する。
（撮像装置の処理の説明）
図１６および図１７は、図１４の撮像装置１２１の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ２３の撮像画像単位で行われる。
図１６のステップＳ５１乃至Ｓ５４の処理は、図８のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
ステップＳ５５において、ベイヤ化処理部１４１のホワイトバランス部１６２（図１５）は、信号処理部１４２から供給されるホワイトバランスゲインを取得する。なお、先頭の撮像画像に対する撮像処理では、まだホワイトバランスゲインが算出されていないため、ステップＳ５５において、例えば、予め決められたホワイトバランスゲインのデフォルト値が、取得されたホワイトバランスゲインとされる。
ステップＳ５６の処理は、図８のステップＳ１７の処理と同様であるので、説明は省略する。ステップＳ５７において、ホワイトバランス部１６２は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、取得されたホワイトバランスゲインを乗算する。ホワイトバランス部４４は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
ステップＳ５８乃至Ｓ６７の処理は、図８および図９のステップＳ１９乃至Ｓ２８の処理と同様であるので、説明は省略する。
ステップＳ６８において、逆ホワイトバランス部１６３は、信号処理部１４２から供給されるホワイトバランスゲインを取得し、その逆数を算出する。なお、先頭の撮像画像に対する撮像処理では、まだホワイトバランスゲインが算出されていないため、ステップＳ６８において、例えば、予め決められたホワイトバランスゲインのデフォルト値が、取得されたホワイトバランスゲインとされ、その逆数が算出される。
ステップＳ６９において、逆ホワイトバランス部１６３は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、算出されたホワイトバランスゲインの逆数を乗算し、ベイヤ化部５５に供給する。
ステップＳ７０およびＳ７１の処理は、図９のステップＳ３０およびＳ３１の処理と同様であるので、説明は省略する。
ステップＳ７２において、信号処理部１４２は、ベイヤ配列のRGB画像に基づいてホワイトバランス制御処理を行う。また、信号処理部１４２は、ホワイトバランス制御処理により算出されたホワイトバランスゲインを、ホワイトバランス部１６２と逆ホワイトバランス部１６３に供給する。
ステップＳ７３の処理は、図９のステップＳ３３の処理と同様であるので、説明は省略する。
なお、第２実施の形態においても、第１実施の形態と同様に、撮像装置１２１をICチップに形成することができる。
＜非ベイヤ配列の他の例＞
本技術は、赤外光成分を含むRGBW画素配列の撮像画像以外の非ベイヤ配列の撮像画像に対してベイヤ化処理を行う画像処理装置にも適用することができる。ベイヤ化処理の対象となる撮像画像には、赤外光成分が含まれていてもよいし、含まれていなくてもよい。
図１８は、RGBW画素配列以外の非ベイヤ配列の例を示す図である。
図１８のＡの画素配列は、RGB+IR画素配列であり、各画素が、赤色（Ｒ）の光、緑色（Ｇ）の光、青色（Ｂ）の光、および赤外光（ＩＲ）のいずれかに対応する画像を撮像する。図１８のＢの画素配列は、補色W画素配列であり、各画素が、白色（Ｗ）、黄色（Ｙｅ）、シアン（Ｃｙ）、および緑色（Ｇ）の光のいずれかに対応する画像を撮像する。
ベイヤ化処理の内容は、非ベイヤ配列の種類、非ベイヤ配列の撮像画像に赤外光成分が含まれているかどうか等によって異なる。従って、例えば、ベイヤ化処理において、RGB信号をYCbCr信号に変換する処理や赤外光成分を分離する処理が行われない場合がある。また、ベイヤ化処理部は、ホワイトバランス部４４と逆ホワイトバランス部５４を備えない場合もある。
しかしながら、ベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の最も感度の高い画素の信号レベルと、ベイヤ化処理後の画像の露光制御に用いられる画素の信号レベルが同一になるように、撮像画像の信号レベルが補正される。従って、信号処理部２５（１４２）は、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができる。
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。
撮像部２０６は、レンズ２１、光学フィルタ２２、イメージセンサ２３などにより構成され、撮像を行う。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ２００では、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、信号処理部２５は、ベイヤ配列の撮像画像の露光制御方法にしたがう露光制御として、輝度信号に基づく露光制御を行うようにしてもよい。この場合、ゲイン算出部４３は、可視光成分ＲL，ＧL、およびＢLから輝度信号の１画面内の平均値を生成し、平均値Ａｖｅ（W+IR）Lを輝度信号の平均値で除算することにより、補正ゲインＣEを算出する。
なお、本開示は、以下のような構成もとることができる。
（１）
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
を備える撮像装置。
（２）
前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
をさらに備え、
前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
ように構成された
前記（１）に記載の撮像装置。
（３）
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
をさらに備える
前記（１）または（２）に記載の撮像装置。
（４）
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
をさらに備え、
前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
ように構成された
前記（３）に記載の撮像装置。
（５）
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
をさらに備える
前記（４）に記載の撮像装置。
（６）
前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
ように構成された
前記（４）に記載の撮像装置。
（７）
前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
ように構成された
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
をさらに備え、
前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
ように構成された
前記（７）に記載の撮像装置。
（９）
撮像装置が、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
を含む撮像方法。
（１０）
コンピュータを、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
として機能させるためのプログラム。
１１ 撮像装置, ４２ 分離部, ４３ ゲイン算出部, ４４ ホワイトバランス部, ４５ レベル補正部， ５４ 逆ホワイトバランス部, １２１ 撮像装置, １６２ ホワイトバランス部

Claims (10)

  1. 非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
    を備える撮像装置。
  2. 前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
    をさらに備え、
    前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
    ように構成された
    請求項１に記載の撮像装置。
  3. 前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
    をさらに備える
    請求項１に記載の撮像装置。
  4. 前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
    をさらに備え、
    前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
    ように構成された
    請求項３に記載の撮像装置。
  5. 前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
    をさらに備える
    請求項４に記載の撮像装置。
  6. 前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
    ように構成された
    請求項４に記載の撮像装置。
  7. 前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
    ように構成された
    請求項１に記載の撮像装置。
  8. 前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
    をさらに備え、
    前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
    ように構成された
    請求項７に記載の撮像装置。
  9. 撮像装置が、
    非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
    を含む撮像方法。
  10. コンピュータを、
    非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
    として機能させるためのプログラム。
JP2016564799A 2014-12-18 2015-12-08 撮像装置、撮像方法、およびプログラム Active JP6643250B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014256045 2014-12-18
JP2014256045 2014-12-18
PCT/JP2015/084390 WO2016098641A1 (ja) 2014-12-18 2015-12-08 撮像装置、撮像方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016098641A1 true JPWO2016098641A1 (ja) 2017-09-28
JP6643250B2 JP6643250B2 (ja) 2020-02-12

Family

ID=56126533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016564799A Active JP6643250B2 (ja) 2014-12-18 2015-12-08 撮像装置、撮像方法、およびプログラム

Country Status (3)

Country Link
US (1) US10110825B2 (ja)
JP (1) JP6643250B2 (ja)
WO (1) WO2016098641A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781303A (zh) * 2021-09-01 2021-12-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
JP6732726B2 (ja) 2015-02-26 2020-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
CN106507080B (zh) * 2016-11-29 2018-07-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
JP7150514B2 (ja) * 2018-08-09 2022-10-11 キヤノン株式会社 撮像装置及び撮像方法
JP7253129B2 (ja) * 2019-01-07 2023-04-06 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置及び観察システム
TWI715142B (zh) * 2019-08-07 2021-01-01 瑞昱半導體股份有限公司 影像感測裝置以及自動白平衡方法
KR20210104462A (ko) 2020-02-17 2021-08-25 삼성전자주식회사 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치
KR20220036014A (ko) * 2020-09-15 2022-03-22 삼성전자주식회사 이미지 센싱 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4386096B2 (ja) 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
JP2008289000A (ja) 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN104170376B (zh) * 2012-03-27 2016-10-19 索尼公司 图像处理设备、成像装置及图像处理方法
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2016048815A (ja) * 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781303A (zh) * 2021-09-01 2021-12-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备
CN113781303B (zh) * 2021-09-01 2024-05-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备

Also Published As

Publication number Publication date
US10110825B2 (en) 2018-10-23
JP6643250B2 (ja) 2020-02-12
US20170366723A1 (en) 2017-12-21
WO2016098641A1 (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
JP6643250B2 (ja) 撮像装置、撮像方法、およびプログラム
US10070104B2 (en) Imaging systems with clear filter pixels
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
US10560670B2 (en) Imaging apparatus and imaging control method
US8467088B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
CN107534761B (zh) 成像装置、成像方法、图像处理装置
JP6732726B2 (ja) 撮像装置、撮像方法、およびプログラム
US10699393B2 (en) Image processing apparatus and image processing method
US10560642B2 (en) Image processing device, image processing method and imaging device
US10594996B2 (en) Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
JP5223742B2 (ja) エッジ強調画像処理装置
JP2013093914A (ja) 画像入力装置
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
WO2014038685A1 (en) Image processor, imaging apparatus equipped with the same, and image processing method
JP2011113182A (ja) 画像処理装置
JP2010068020A (ja) 画像入力装置
JP4720130B2 (ja) 撮像装置
TWI617198B (zh) 具有透明濾波器像素之成像系統
JP2006324789A (ja) 映像信号処理方法および映像信号処理装置
JP2011023943A (ja) オートホワイトバランスシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R150 Certificate of patent or registration of utility model

Ref document number: 6643250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150