JP6437450B2 - 画像処理装置、画像処理方法、電子機器、並びにプログラム - Google Patents

画像処理装置、画像処理方法、電子機器、並びにプログラム Download PDF

Info

Publication number
JP6437450B2
JP6437450B2 JP2015551464A JP2015551464A JP6437450B2 JP 6437450 B2 JP6437450 B2 JP 6437450B2 JP 2015551464 A JP2015551464 A JP 2015551464A JP 2015551464 A JP2015551464 A JP 2015551464A JP 6437450 B2 JP6437450 B2 JP 6437450B2
Authority
JP
Japan
Prior art keywords
image
pixel
exposure
flicker
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015551464A
Other languages
English (en)
Other versions
JPWO2015083562A1 (ja
Inventor
智経 増野
智経 増野
堅誠 城
堅誠 城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2015083562A1 publication Critical patent/JPWO2015083562A1/ja
Application granted granted Critical
Publication of JP6437450B2 publication Critical patent/JP6437450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本技術は、画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。詳しくは、画像に発生するフリッカの補正を行う画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。
蛍光灯の照明の下で、CMOS（Complementary Metal Oxides Semiconductor）撮像素子などＸＹアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、映像信号に縞状の輝度ムラや色ムラが発生する。この現象はフリッカと呼ばれる。これは、商用電源（交流）に接続された蛍光灯が基本的に電源周波数の２倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。
フリッカの発生した画像には水平方向に延びる縞模様の輝度変化パターンが出現する。例えば動画を観察した場合、上下に流れる縞模様が観察されてしまう。このようなフリッカを抑制する技術を開示した従来技術として、例えば特許文献１がある。特許文献１は、画像からフリッカ成分を抽出し、その逆相パターンからなるフリッカ補正係数を算出して、画像の画素値に乗じて補正することで画像に含まれるフリッカ成分を除去する手法を開示している。
特開２０１１−１６００９０号公報
ところで、例えば広ダイナミックレンジ画像を生成するために、異なる露光時間に設定した複数の画像を撮影し、これらの異なる露光時間の画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成する撮像装置が提案されている。
このように、複数の異なる露光時間の画像を撮影する撮像装置に、上記の特許文献１に記載の処理を適用しようとすると、異なる露光時間に撮影された複数の画像の各々に対して、フリッカ成分の抽出処理、フリッカ成分の逆相パターンの補正係数の算出処理、補正係数に基づく補正処理などの処理を個別に実行することが必要となる。
このように、異なる露光時間の画像の各々に対して、上記の処理を実行させるためには、ハードウエア構成の増加や、処理時間の増大が発生する可能性があった。
本技術は、このような状況に鑑みてなされたものであり、フリッカなどの周期的なノイズの低減処理を簡易な構成で効率的に実行可能とすることができるようにするものである。
本技術の一側面の画像処理装置は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する。
前記周期的なノイズとは、フリッカであるようにすることができる。
前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表されるようにすることができる。
前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定するようにすることができる。
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行うようにすることができる。
前記推定部は、光源の揺らぎ成分をＦとしたとき、ＱＦ＝０となる行列Ｑを求め、前記成分Ｆを求めることで、周波数空間での前記ノイズの成分を求め、前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定するようにすることができる。
前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表されるようにすることができる。
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行うようにすることができる。
前記推定部は、前記比をフーリエ級数展開した行列をＲ、前記露光条件から求まる行列をＴとしたとき、行列ＲＴの固有値１の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とするようにすることができる。
前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出するようにすることができる。
前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出するようにすることができる。
前記推定部は、前記比をＲ、前記露光条件から求まる係数をＴ、前記画像のノイズの成分をＧとしたとき、以下の式における行列ＲＴを生成し、前記画像のノイズの成分を求めるようにすることができる。
Figure 0006437450
前記推定部は、前記比を行列ｒ、前記露光条件から求められる行列を行列ｔとしたとき、行列ｒｔの固有値１の固有ベクトルを求め、前記固有ベクトルを、前記画像のノイズの成分であると推定するようにすることができる。
前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出するようにすることができる。
前記推定部は、前記比をｒ、前記露光条件から求められる値をｔ、前記画像の画素値をＩ、および前記ノイズの成分をｇとしたとき、以下の式を満たすｇ１，ｇ２を最小二乗推定で求めることで、前記画像毎のノイズの成分を求めるようにすることができる。
Figure 0006437450
本技術の一側面の画像処理方法は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む。
本技術の一側面のプログラムは、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む処理をコンピュータに実行させる。
本技術の一側面の電子機器は、撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、前記信号処理部は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部とを備え、前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する。
本技術の一側面の画像処理装置、画像処理方法、およびプログラムにおいては、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分が、画像毎に推定される。その推定は、露光条件のノイズの成分の相互関係を利用した演算から、画像毎の周期的なノイズの成分を推定することで行われる。
本技術の一側面の電子機器においては、撮像素子から出力される画素信号に対して信号処理が行われ、その信号処理の１つの処理として、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分が、画像毎に推定され、推定されたノイズの成分が用いられて、画像からノイズを除去する補正が行われる。その推定は、露光条件のノイズの成分の相互関係を利用した演算から、画像毎の周期的なノイズの成分を推定することで行われる。
本技術の一側面によれば、フリッカなどの周期的なノイズの低減処理を簡易な構成で効率的に実行可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
フリッカの発生原理と補正について説明する図である。 フリッカの発生原理と補正について説明する図である。 フリッカの発生原理と補正について説明する図である。 本技術が適用される撮像装置の一実施の形態の構成を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間について説明するための図である。 画像処理部の構成について説明するための図である。 感度別補間部の構成について説明するための図である。 ＨＤＲ合成部の構成について説明するための図である。 フリッカ補正部の構成について説明するための図である。 フリッカ推定部の構成について説明するための図である。 フリッカ比について説明するための図である。 推定演算部の構成について説明するための図である。 推定演算部の他の構成について説明するための図である。 シャッター関数について説明するための図である。 フリッカ推定部の他の構成について説明するための図である。 周波数空間でのフリッカ成分の算出について説明するための図である。 記録媒体について説明するための図である。
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．フリッカ発生原理と補正原理について
２．撮像装置の構成
３．画像処理部の構成について
４．フリッカ補正部の構成について
５．フリッカ比の算出について
６．フリッカ抑制の第１の実施の形態
７．フリッカ抑制の第２の実施の形態
８．フリッカ抑制の第３の実施の形態
９．記録媒体について
＜フリッカ発生原理と補正原理について＞
まず、図１以下を参照してフリッカ発生原理と補正原理について説明する。図１のＡは、カメラで画像撮影を行う環境下の照明輝度の時間変化を表す。一般に商用電源は５０Ｈｚ、あるいは６０Ｈｚの交流電源であるため、蛍光灯の光などの照明光は、１００Ｈｚ、あるいは１２０Ｈｚの周波数で揺らぎやすい。
なお、ここでは、フリッカを例に挙げて説明するが、フリッカのように、所定の周波数で発生するノイズなどに対しても、以下に説明する本技術を適用することはできる。
図１のＡに示したグラフは、横軸が時間ｔ、縦軸が、各時間ｔにおける照明の輝度ｆ（ｔ）である。時間ｔの照明光輝度ｆ（ｔ）は、照明光輝度の平均値ｆＤと、照明光輝度平均値からの変動ｆＡ（ｔ）に分解すると、以下のように表記できる。
ｆ（ｔ）＝ｆＤ＋ｆＡ（ｔ） ・・・（１）
照明光輝度の平均値ｆＤは時間ｔによらず一定の値であり、平均値からの変動ｆＡ（ｔ）は照明の周波数に応じて、周期に変動する値となる。さらに、照明光の輝度をｆ（ｔ）の周期をＴとおくと以下の関係が成り立つ。
Figure 0006437450
フリッカ補正処理は、観測画像、すなわちカメラによって撮影された画像から、照明光輝度平均値からの変動ｆＡ（ｔ）の影響を取り除く処理である。
図１のＢは、ＣＭＯＳイメージセンサのように行ごとに撮像タイミングが異なる撮像素子の露光タイミングの模式図を表す。横軸が時間ｔ、縦軸が撮像素子の行ｙ、である。図に示す例は、一定間隔Ｓで、連続する画像フレームを撮影する場合の例であり、フレーム１と、フレーム２の２つの画像撮影時の露光タイミングを示している。各フレーム画像の撮影は、撮像素子の上位行から下位行に順次、露光が実行される。
各フレーム画像の撮影時の露光タイミングは、撮像素子の行毎に異なるため、蓄積する照明光の影響も行毎に異なる。例えば、露光時間Ｅの撮像素子の所定の画素の露光終了時間をｔとする。フリッカの影響がある条件下での、その画素が露光する間の照明光の総和を、ＦＡ（ｔ，Ｅ）と置くと、ＦＡ（ｔ，Ｅ）は以下のように記述できる。
Figure 0006437450
フリッカのない理想的な条件下での、照明光の総和を、ＦＤ（ｔ，Ｅ）とする。ＦＤ（ｔ，Ｅ）は、フリッカの影響がないので、照明光輝度平均値からの変動ｆＡ（ｔ）＝０となり、以下のように記述できる。
ＦＤ（ｔ，Ｅ）＝ｆＤ×Ｅ ・・・（４）
ここで「フリッカ成分」を、フリッカのない理想的な画像と、フリッカの影響を受けた画像との比と定義する。フリッカ成分は、画素が蓄積する間の照明光の総量の比に等しい。従って、露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）は以下の式（５）に示すように定式化できる。
Figure 0006437450
図１のＣは、横軸が、画像の各画素の露光終了タイミングｔ、縦軸が、フリッカ成分ｇ（ｔ，Ｅ）、これらの関係を模式的に表した図である。なお前述のとおり照明光は周期的に揺らぐためフリッカ成分も周期性をもっている。そのため一度、フリッカ成分ｇ（ｔ，Ｅ）を求めることが出来れば、基本的にはあらゆる露光終了タイミングｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を推定することが出来る。
なお、図１のＢに示すように露光終了タイミングは、撮像素子の行単位で変化する。従って、図１のＣに示すように、フリッカ成分ｇ（ｔ，Ｅ）は、各行の露光終了タイミングＴに応じて異なる値となる。
図２のＡは、フリッカの影響を受けた撮像素子の出力画像に発生するフリッカの影響の模式図である。行ごとに露光終了タイミングが異なるため、出力画像には行単位の明暗の縞模様が表れる。
図２のＢは、出力画像の各行のフリッカ成分のグラフｇ（ｔ０，ｙ，Ｅ）を表している。ｔ０は、１行目の露光を終える時刻を表し、ｙは注目する行を表す。撮像装置（カメラ）のデータ処理部は、画像撮影時の露光時間Ｅと、各行ｙの露光終了タイミングｔに基づいて、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。
具体的には、所定の行の露光を終えてから、次の１つ下の行の露光を終えるまでの時間の単位を１[line]と定義する。このように定義した場合、ｇ（ｔ０，ｙ，Ｅ）とｇ（ｔ，Ｅ）は以下のように変換できる。
ｇｙ（ｔ，ｙ，Ｅ）＝ｇｔ（ｔ＋ｙ，Ｅ） ・・・（６）
撮像装置（カメラ）のデータ処理部は、画像撮影時の露光時間Ｅと、各行ｙの露光終了タイミングｔに基づいて、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。例えば図２に示す第ａ行目の露光終了時間をｔとすると、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）がわかれば、撮像素子の各行のフリッカ成分ｇ（ｙ）を推定することが出来る。
図３は、フリッカの補正の原理を表している。図３には以下の各図を示している。
図３のＡ：フリッカ成分の含まれる画像（＝図２のＡ）
図３のＢ：フリッカ補正係数（＝図２のＢの逆数）
図３のＣ：フリッカ補正画像（＝図３のＡ×図３のＢ）
例えば前述した方法で、各行のフリッカ成分ｇ（ｙ）を計測し、図３のＡに示す観測画像、すなわちカメラの撮影画像の各画素値に、図３のＢに示すフリッカ成分ｇ（ｙ）の逆数を乗算することで、図３のＣに示すフリッカの影響のない理想的な画像を求めることが出来る。
＜撮像装置の構成＞
本技術が適用される画像処理装置は、例えば広ダイナミックレンジ画像を生成するために、異なる露光時間に設定した複数の撮影画像を入力して、フリッカ成分を除去または低減した補正画像を生成して出力する。本技術が適用される画像処理装置は、例えば、異なる露光時間に設定した複数の撮影画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成して出力する。
本技術が適用される画像処理装置では、異なる露光時間に設定された複数の画像毎にフリッカ成分を算出する処理を実行しない。１つの露光時間の撮影画像に対してのみ、フリッカ成分の算出処理を実行し、この１つの露光時間の撮影画像に基づいて算出したフリッカ成分を利用して、その他の異なる露光時間に設定された撮影画像に含まれるフリッカ成分を推定する処理を実行する。そのような画像処理装置について説明する。
図４は、本技術が適用される画像処理装置の一実施の形態の構成を示す図である。ここでは、画像処理装置が含まれる撮像装置を例に挙げて説明する。
図４に示した撮像装置１００は、光学レンズ１０１、撮像素子１０２、画像処理部１０３、信号処理部１０４、制御部１０５を含む構成とされている。図４に示した撮像装置１００は、光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。
撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。画像処理部１０３は、上述したフリッカ補正処理、さらに、長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ（HDR:High Dynamic Range）画像の生成処理などを行う。
この画像処理部１０３の出力は、信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
なおここでは、撮像素子１０２、画像処理部１０３、信号処理部１０４、および制御部１０５を、それぞれ別のブロックとして図示し、説明を続けるが、これらの各部の全てまたは一部が一体化に構成されていても良い。
例えば、撮像素子１０２、画像処理部１０３、信号処理部１０４、および制御部１０５が積層構造とされ、一体化に構成されていても良い。また撮像素子１０２、画像処理部１０３、および信号処理部１０４が積層構造とされ、一体化に構成されていても良い。撮像素子１０２と画像処理部１０３が積層構造とされ、一体化に構成されていても良い。
また、図４に示した撮像装置１００の構成に限らず、他の構成であっても良い。例えば、画像処理部１０３を複数の画像処理部に分割し、その一部が、撮像素子１０２と積層構造にされ一体化構成とされていても良い。
次に、撮像素子１０２の露光制御構成例について図５を参照して説明する。撮像装置１００では、１枚の撮影画像に含まれる画素単位で、長時間露光画素と短時間露光画素を設定して、これらの画素間の合成処理（αブレンド）により、広ダイナミックレンジ画像を生成する。この露光時間制御は制御部１０５の制御によって行われる。
図５は、撮像素子１０２の露光時間設定例を示す図である。図５に示すように、撮像素子の構成画素は、第１の露光条件（短時間露光）に設定された画素、第２の露光条件（長時間露光）に設定された画素の２つの種類の画素に区分される。
図５において、斜線を付して記載した画素は、第１の露光条件で露光される画像であり、斜線を付さずに記載した画素は、第２の露光条件で露光される画素である。図５のように一つの撮像素子内に短時間露光画素と長時間露光画素のように異なる露光時間の画素を有する画素配列をSVE（Spatially Varying Exposure）配列と呼ぶ。
図５に示した画素配置は、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素の配置である。図５に示したのは、イメージセンサの一部分であり、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素以外の他の行、他の列に配列されたＲ画素、Ｇ画素、Ｂ画素についての構成も同様である。
以下の説明において、例えば、画素１０（ｍ，ｎ）との記載を行うが、ｍは行を表し、ｎは列を表すとする。また行とは、水平信号線（不図示）が配置される水平方向とし、列とは、垂直信号線（不図示）が配置される垂直方向とする。例えば、画素２００（２，１）とは、２行目の１列目に位置する画素であることを表す。また、ここで、左上の画素を、画素２００（１，１）とし、この画素２００（１，１）を基準として、各画素の位置を表す。他の図面においても、同様の記載を行う。
イメージセンサの水平方向（図５の左右方向であり、行方向）の構成を説明する。１行目には、第１の露光条件で露光されるＲ画素２００（１，１）、Ｇ画素２００（１，２）、Ｇ画素２００（１，４）、Ｒ画素２００（１，５）、Ｇ画素２００（１，６）、Ｇ画素２００（１，８）と、第２の露光条件で露光されるＲ画素２００（１，３）、Ｒ画素２００（１，７）が配置されている。
この場合、１行目には、Ｒ画素とＧ画素が、交互に配置されている。また１行目のＲ画素２００は、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。また１行目のＧ画素２００は、全て第１の露光条件で露光される画素とされている。
２行目には、第１の露光条件で露光されるＢ画素２００（２，２）、Ｂ画素２００（２，６）と、第２の露光条件で露光されるＧ画素２００（２，１）、Ｇ画素２００（２，３）、Ｂ画素２００（２，４）、Ｇ画素２００（２，５）、Ｇ画素２００（２，７）、Ｂ画素２００（２，８）が配置されている。
この場合、２行目には、Ｇ画素とＢ画素が、交互に配置されている。また２行目のＢ画素２００は、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。また２行目のＧ画素２００は、全て第２の露光条件で露光される画素とされている。
３行目は、第２の露光条件で露光されるＲ画素（３，１）から配置されている点が１行目と異なるが、１行目と同じくＲ画素とＧ画素が、交互に配置され、配置されているＲ画素２００は、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置され、配置されているＧ画素２００は、全て第１の露光条件で露光される画素とされている。
４行目は、第２の露光条件で露光されるＧ画素（４，１）、Ｂ画素２００（４，２）から配置されている点が２行目と異なるが、２行目と同じくＧ画素とＢ画素が、交互に配置され、配置されているＢ画素２００は、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置され、配置されているＧ画素２００は、全て第２の露光条件で露光される画素とされている。
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。
以下の説明においては、図５に示した画素配置を例に挙げて説明するが、本技術は、図５に示した画素配置に適用が限定されるのでなく、他の画素配置に対しても適用することができる。他の画素配置の例として、図６乃至図１２を参照して説明する。
図６は、画素配置の他の例を示す図である。図６に示した画素配置のうちの１行目には、第１の露光条件で露光されるＲ画素２１０（１，１）、Ｇ画素２１０（１，２）、Ｒ画素２１０（１，３）、Ｇ画素２１０（１，４）、Ｒ画素２１０（１，５）、Ｇ画素２１０（１，６）、Ｒ画素２１０（１，７）Ｇ画素２１０（１，８）が配置されている。
この場合、１行目には、Ｒ画素とＧ画素が、交互に配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
２行目には、第１の露光条件で露光されるＧ画素２１０（２，１）、Ｂ画素２１０（２，２）、Ｇ画素２１０（２，３）、Ｂ画素２１０（２，４）、Ｇ画素２１０（２，５）、Ｂ画素２１０（２，６）、Ｇ画素２１０（２，７）、Ｂ画素２１０（２，８）が配置されている。
この場合、２行目には、Ｇ画素とＢ画素が、交互に配置され、全ての画素が第１の露光条件（短時間露光）で露光される画素とされている。
３行目には、第２の露光条件で露光されるＲ画素２１０（３，１）、Ｇ画素２１０（３，２）、Ｒ画素２１０（３，３）、Ｇ画素２１０（３，４）、Ｒ画素２１０（３，５）、Ｇ画素２１０（３，６）、Ｒ画素２１０（３，７）Ｇ画素２１０（３，８）が配置されている。
この場合、３行目には、Ｒ画素とＧ画素が、交互に配置され、全ての画素が、第２の露光条件（長時間露光）で露光される画素とされている。
４行目には、第２の露光条件で露光されるＧ画素２１０（４，１）、Ｂ画素２１０（４，２）、Ｇ画素２１０（４，３）、Ｂ画素２１０（４，４）、Ｇ画素２１０（４，５）、Ｂ画素２１０（４，６）、Ｇ画素２１０（４，７）、Ｂ画素２１０（４，８）が配置されている。
この場合、４行目には、Ｇ画素とＢ画素が、交互に配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。
このような画素配置に対しても、本技術を適用できる。
図７は、画素配置の他の例を示す図である。図７に示した画素配置のうちの１行目には、第１の露光条件で露光されるＲ画素２２０（１，１）、Ｇ画素２２０（１，２）、Ｒ画素２２０（１，５）、Ｇ画素２２０（１，６）と、第２の露光条件で露光されるＲ画素２２０（１，３）、Ｇ画素２２０（１，４）、Ｒ画素２２０（１，７）Ｇ画素２２０（１，８）が配置されている。
この場合、１行目には、Ｒ画素とＧ画素が、交互に配置され、Ｒ画素とＧ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。
２行目には、第１の露光条件で露光されるＧ画素２２０（２，１）、Ｂ画素２２０（２，２）、Ｇ画素２２０（２，５）、Ｂ画素２２０（２，６）と、第２の露光条件で露光されるＧ画素２２０（２，３）、Ｂ画素２２０（２，４）、Ｇ画素２２０（２，７）Ｂ画素２２０（２，８）が配置されている。
この場合、２行目には、Ｇ画素とＢ画素が、交互に配置され、Ｇ画素とＢ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。
３行目は、第２の露光条件で露光されるＲ画素２２０（３，１）、Ｇ画素２２０（３，２）から配置されている点が１行目と異なるが、１行目と同じくＲ画素とＧ画素は、交互に配置され、配置されているＲ画素とＧ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。
４行目は、第２の露光条件で露光されるＧ画素２２０（４，１）、Ｂ画素２２０（４，２）から配置されている点が２行目と異なるが、２行目と同じく配置されているＧ画素とＢ画素は、交互に配置され、Ｇ画素とＢ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。
このような画素配置に対しても、本技術を適用できる。
図８は、画素配置の他の例を示す図である。図８に示した画素配置は、縦×横の２×２の４画素が、それぞれ同一の色とされ、市松配列で第１の露光条件の画素と第２の露光条件の画素が配置されている。
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２３０（１，１）、Ｒ画素２３０（１，２）、Ｒ画素２３０（２，１）、Ｒ画素２３０（２，２）の４画素は、Ｒ（赤）画素であり、Ｒ画素２３０（１，１）とＲ画素２３０（２，２）は、第２の露光条件で露光される画素とされ、Ｒ画素２３０（１，２）とＲ画素２３０（２，１）は、第１の露光条件で露光される画素とされている。このような配置を有する赤色の４画素をＲ画素ブロックと記述する。
このようなＲ画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２３０（１，３）、Ｇ画素２３０（１，４）、Ｇ画素２３０（２，３）、Ｇ画素２３０（２，４）の４画素は、Ｇ（緑）画素であり、Ｇ画素２３０（１，３）とＧ画素２３０（２，４）は、第２の露光条件で露光される画素とされ、Ｇ画素２３０（１，４）とＧ画素２３０（２，３）は、第１の露光条件で露光される画素とされている。このような配置を有する緑色の４画素をＧ画素ブロックと記述する。
１行目と２行目には、Ｒ画素ブロックとＧ画素ブロックが交互に配置されている。
３行目と４行目には、Ｇ画素２３０（３，１）、Ｇ画素２３０（３，２）、Ｇ画素２３０（４，１）、Ｇ画素２３０（４，２）で構成されるＧ画素ブロックが配置されている。
Ｇ画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２３０（３，３）、Ｂ画素２３０（３，４）、Ｂ画素２３０（４，３）、Ｂ画素２３０（４，４）の４画素は、Ｂ（緑）画素であり、Ｂ画素２３０（３，３）とＢ画素２３０（４，４）は、第２の露光条件で露光される画素とされ、Ｂ画素２３０（３，４）とＢ画素２３０（４，３）は、第１の露光条件で露光される画素とされている。このような配置を有する青色の４画素をＢ画素ブロックと記述する。
３行目と４行目は、Ｇ画素ブロックとＢ画素ブロックが交互に配置されている。
５行目と６行目は、１行目と２行目と同じく、Ｒ画素ブロックとＧ画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ画素ブロックとＢ画素ブロックが交互に配置されている。
このような画素配置に対しても、本技術を適用できる。
図９は、画素配置の他の例を示す図である。図９に示した画素配置は、図８に示した画素配置と同じ色配置であるが、異なる露光条件を有する画素の配置が図８に示した画素配置と異なる。
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２４０（１，１）、Ｒ画素２４０（１，２）、Ｒ画素２４０（２，１）、Ｒ画素２４０（２，２）で構成されるＲ’画素ブロックの４画素は、Ｒ画素２４０（１，１）とＲ画素２４０（１，２）が、第１の露光条件で露光される画素とされ、Ｒ画素２４０（２，１）とＲ画素２４０（２，２）が、第２の露光条件で露光される画素とされている。
このようなＲ’画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２４０（１，３）、Ｇ画素２４０（１，４）、Ｇ画素２４０（２，３）、Ｇ画素２４０（２，４）で構成されるＧ’画素ブロックの４画素は、Ｇ画素２４０（１，３）とＧ画素２４０（１，４）が、第１の露光条件で露光される画素とされ、Ｇ画素２４０（２，３）とＧ画素２４０（２，４）が、第２の露光条件で露光される画素とされている。
３行目と４行目には、Ｇ画素２４０（３，１）、Ｇ画素２４０（３，２）、Ｇ画素２４０（４，１）、Ｇ画素２４０（４，２）で構成されるＧ’画素ブロックが配置されている。
Ｇ’画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２４０（３，３）、Ｂ画素２４０（３，４）、Ｂ画素２４０（４，３）、Ｂ画素２４０（４，４）で構成されるＢ’画素ブロックの４画素は、Ｂ画素２４０（３，３）とＢ画素２４０（３，４）が、第１の露光条件で露光される画素とされ、Ｂ画素２４０（４，３）とＢ画素２４０（４，４）が、第２の露光条件で露光される画素とされている。
５行目と６行目は、１行目と２行目と同じく、Ｒ’画素ブロックとＧ’画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ’画素ブロックとＢ’画素ブロックが交互に配置されている。
図９に示した画素配置は、奇数行には第１の露光条件で露光する画素が配置され、偶数行には第２の露光条件で露光される画素が配置されている。
このような画素配置に対しても、本技術を適用できる。
図１０は、画素配置の他の例を示す図である。図１０に示した画素配置は、図８に示した画素配置と同じ色配置であるが、異なる露光条件を有する画素の配置が図８に示した画素配置と異なる。
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２５０（１，１）、Ｒ画素２５０（１，２）、Ｒ画素２５０（２，１）、Ｒ画素２５０（２，２）で構成されるＲ”画素ブロックの４画素は、Ｒ画素２５０（１，１）とＲ画素２５０（２，１）が、第１の露光条件で露光される画素とされ、Ｒ画素２５０（１，２）とＲ画素２５０（２，２）が、第２の露光条件で露光される画素とされている。
このようなＲ”画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２５０（１，３）、Ｇ画素２５０（１，４）、Ｇ画素２５０（２，３）、Ｇ画素２５０（２，４）で構成されるＧ”画素ブロックの４画素は、Ｇ画素２５０（１，３）とＧ画素２５０（２，３）が、第１の露光条件で露光される画素とされ、Ｇ画素２５０（１，４）とＧ画素２５０（２，４）が、第２の露光条件で露光される画素とされている。
３行目と４行目には、Ｇ画素２５０（３，１）、Ｇ画素２５０（３，２）、Ｇ画素２５０（４，１）、Ｇ画素２５０（４，２）で構成されるＧ”画素ブロックが配置されている。
Ｇ”画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２５０（３，３）、Ｂ画素２５０（３，４）、Ｂ画素２５０（４，３）、Ｂ画素２５０（４，４）で構成されるＢ”画素ブロックの４画素は、Ｂ画素２５０（３，３）とＢ画素２５０（４，３）が、第１の露光条件で露光される画素とされ、Ｂ画素２５０（３，４）とＢ画素２５０（４，４）が、第２の露光条件で露光される画素とされている。
５行目と６行目は、１行目と２行目と同じく、Ｒ”画素ブロックとＧ”画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ”画素ブロックとＢ”画素ブロックが交互に配置されている。
図１０に示した画素配置は、奇数列には第１の露光条件で露光する画素が配置され、偶数列には第２の露光条件で露光される画素が配置されている。
このような画素配置に対しても、本技術を適用できる。
図１１は、画素配置の他の例を示す図である。図１１に示した画素配置のうちの１行目には、第１の露光条件で露光されるＧ画素２６０（１，１）、Ｒ画素２６０（１，２）、Ｇ画素２６０（１，３）、Ｂ画素２６０（１，４）、Ｇ画素２６０（１，５）、Ｒ画素２６０（１，６）、Ｇ画素２６０（１，７）Ｂ画素２６０（１，８）が配置されている。
この場合、１行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
２行目には、第２の露光条件で露光されるＢ画素２６０（２，１）、Ｇ画素２６０（２，２）、Ｒ画素２６０（２，３）、Ｇ画素２６０（２，４）、Ｂ画素２６０（２，５）、Ｇ画素２６０（２，６）、Ｒ画素２６０（２，７）、Ｇ画素２６０（２，８）が配置されている。
この場合、２行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
３行目には、第１の露光条件で露光されるＧ画素２６０（３，１）、Ｂ画素２６０（３，２）、Ｇ画素２６０（３，３）、Ｒ画素２６０（３，４）、Ｇ画素２６０（３，５）、Ｂ画素２６０（３，６）、Ｇ画素２６０（３，７）Ｒ画素２６０（３，８）が配置されている。
この場合、３行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
４行目には、第２の露光条件で露光されるＲ画素２６０（４，１）、Ｇ画素２６０（４，２）、Ｂ画素２６０（４，３）、Ｇ画素２６０（４，４）、Ｒ画素２６０（４，５）、Ｇ画素２６０（４，６）、Ｂ画素２６０（４，７）、Ｇ画素２６０（４，８）が配置されている。
この場合、４行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。
このような画素配置に対しても、本技術を適用できる。
上記したように、本技術は、撮像装置に適用でき、撮像装置に含まれる撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを含む撮像装置に適用できる。そして、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色光を出力する３個の画素が配列されているイメージセンサに適用できる。さらに、図１２に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素が配列されているイメージセンサにも適用できる。
Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素は、例えば、図１２に示すように、表示領域にマトリクス状に配置される。Ｗ画素は、全整色性である分光感度の画素として機能し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。
図１２は、画素配置の他の例を示す図であり、Ｗ画素を含む画素配置の例である。図１２に示した画素配置のうちの１行目には、第１の露光条件で露光されるＧ画素２７０（１，１）、Ｒ画素２７０（１，２）、Ｗ画素２７０（１，３）、Ｂ画素２７０（１，４）、Ｇ画素２７０（１，５）、Ｒ画素２７０（１，６）、Ｗ画素２７０（１，７）Ｂ画素２７０（１，８）が配置されている。
この場合、１行目には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
２行目には、第２の露光条件で露光されるＲ画素２７０（２，１）、Ｗ画素２７０（２，２）、Ｂ画素２７０（２，３）、Ｇ画素２７０（２，４）、Ｒ画素２７０（２，５）、Ｗ画素２７０（２，６）、Ｂ画素２７０（２，７）、Ｇ画素２７０（２，８）が配置されている。
この場合、２行目には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
３行目には、第１の露光条件で露光されるＷ画素２７０（３，１）、Ｂ画素２７０（３，２）、Ｇ画素２７０（３，３）、Ｒ画素２７０（３，４）、Ｗ画素２７０（３，５）、Ｂ画素２７０（３，６）、Ｇ画素２７０（３，７）Ｒ画素２７０（３，８）が配置されている。
この場合、３行目には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
４行目には、第２の露光条件で露光されるＢ画素２７０（４，１）、Ｇ画素２７０（４，２）、Ｒ画素２７０（４，３）、Ｗ画素２７０（４，４）、Ｂ画素２７０（４，５）、Ｇ画素２７０（４，６）、Ｒ画素２７０（４，７）、Ｗ画素２７０（４，８）が配置されている。
この場合、４行目には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が、それぞれ配置されている。
このような画素配置に対しても、本技術を適用できる。
図５乃至図１２を参照して説明した画素配置は、一例であり、説明していない画素配置に対しても本技術を適用することはできる。
また、１枚の画像を撮像するとき、上記したように、短時間露光（第１の露光条件）と、長時間露光（第２の露光条件）を同時に撮影する場合を例に挙げて説明を続けるが、短時間露光用の画素と、長時間露光用の画素を分けずに、通常の画素で短時間露光の画像と長時間露光の画像を交互に撮影し、短時間露光時の画像と長時間露光時の画像を取得するようにした場合にも本技術を適用できる。
この場合、撮影のタイミングが異なるため、以下に説明するフリッカ補正時の演算に用いられる行列は、この撮影のタイミングを考慮した行列とすることで、本技術を適用することができる。
また、上記した例では、短時間露光と長時間露光の２種類の露光時間で撮影を行う撮影装置を例に挙げて説明したが、３種類以上の露光時間の撮影画像が組み合わされる撮影装置に対しても本技術を適用することはできる。
３種類以上の露光時間の撮影画像が組み合わせる場合、第１の露光画像と第２の露光画像から第１のフリッカ成分を推定し、第１のフリッカ成分から第３のフリッカ成分を変換して推定してもよい。また第１の露光画像、第２の露光画像、第３の露光画像すべて合わせて行列を生成して解くこともできる。フリッカ成分の求め方については、後述する。
また上記した実施の形態においては、撮像素子の画素の分光感度をＲＧＢまたはＲＧＢ＋Ｗとする場合における例について説明したが、その分光感度がどうであるかは本技術を用いるうえでの制約とはならない。すなわち、ＲＧＢやＲＧＢ＋Ｗ以外の分光感度を有する画素を用いるようにしてもよい。例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の補色系にＧを加えた４行の組み合わせでもよい。
以下の説明では、図５に示した画素配置を例に挙げて説明する。
図１３に各画素の露光時間の設定例を示す。第１の露光条件（短時間露光）の設定された画素は短時間の露光処理がなされる。第２の露光条件（長時間露光）の設定された画素は長時間の露光処理がなされる。なお、この画素単位の露光制御は、例えば図４に示す撮像装置１００の制御部１０５が、制御信号を撮像素子１０２に出力することで行われる。
＜画像処理部の構成について＞
次に、図４に示した撮像装置１００の画像処理部１０３の詳細について説明する。まず、図１４を参照して画像処理部１０３の実行する処理について説明する。画像処理部１０３は、図１４に示すように、感度別補間部３１１、フリッカ補正部３１２、ＨＤＲ合成部（広ダイナミックレンジ画像合成部）３１３を有する。
感度別補間部３１１では、図５に示したような１つの撮像素子内に短時間露光画素と長時間露光画素を有するSVE配列の画像を入力し、画面全体が短時間露光の第１露光画像１４１と、画面全体が長時間露光の第２露光画像１４２を生成して出力する。出力する画像の色配列は、入力する画像の色配列と同等（本例ではベイヤ配列）でもよいし、１画素位置にＲＧＢそろったデモザイク後の画像でもよい。ここでは、出力画像の色配列は入力画像の色配列と同等（本例ではベイヤ配列）とした例を説明する。
図１５に、感度別補間部３１１の詳細構成例を示す。感度別補間部３１１は、図１１に示すように、短時間露光画素または長時間露光画素、いずれかの感度の画素のみを抽出する抽出部３３１，３３２、各感度の画素を利用して、他感度の画素部分の画素値を設定して、低感度画素（短時間露光画素）のみからなる第１露光画像１４１と、高感度画素（長時間露光画素）のみからなる第２露光画像１４２を生成する補間処理部３３３，３３４を有する。
抽出部３３１，３３２で周辺画素から、補間したい感度・色の画素を抽出し、補間処理部３３３，３３４で補間処理を行う。なお、補間は、生成する画像に応じた感度の画素値に対して単純なＬＰＦを用いる手法や、周囲の画素から画像のエッジ方向を推定しエッジに沿った方向の画素値を参照画素値として補間する手法等が利用可能である。
感度別補間部３１１では、図１５の構成を適用して、図４に示すような撮像素子内に長時間露光画素と短時間露光画素を有するSVE配列の画像を入力し、画面全体が短時間露光の第１露光画像１４１と、画面全体が長時間露光の第２露光画像１４２を生成して出力する。
図１４に示した画像処理部１０３の説明に戻る。感度別補間部３１１から出力された第１露光画像１４１と第２露光画像１４２は、フリッカ補正部３１２に供給される。フリッカ補正部３１２は、フリッカの成分を抑制したフリッカ補正第１露光画像１４３とフリッカ補正第２露光画像１４４を生成し、ＨＤＲ合成部３１３に供給する。
フリッカ補正部３１２の構成や動作については、第１乃至第３の実施の形態として詳細は後述し、先に、図１４に示した画像処理部１０３の構成、動作についての説明を続ける。
ＨＤＲ合成部（広ダイナミックレンジ画像合成部）３１３は、図１６に示すような構成を有し、ＨＤＲ合成を行う。図１６に示したＨＤＲ合成部３１３は、露出補正部３５１，３５２、ブレンド係数算出部３５３、ブレンド処理部３５４を有する。
露出補正部３５１，３５２は、露光時間に応じた定数を乗じることでフリッカ補正第１露光画像１４３と、フリッカ補正第２露光画像１４４の対応画素の明るさを合わせる。例えば、露光比が１：２の場合、短時間露光画像であるフリッカ補正第１露光画像１４３の画素値に２を乗じ、長時間露光画像であるフリッカ補正第２露光画像１４４の画素値に１を乗じる。
ブレンド係数算出部３５３は、短時間露光画像であるフリッカ補正第１露光画像１４３の露出補正後の画素値と長時間露光画像であるフリッカ補正第２露光画像１４４の露出補正後の画素値を、各対応画素単位でどの程度の割合でブレンドすればよいかを示すブレンド係数を算出する。
このブレンド係数算出においては、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きく設定するブレンド係数を設定する。このような係数設定処理により、低輝度領域から高輝度領域に至る画素値をより高精度に表現することが可能となる。
ブレンド処理部３５４は、ブレンド係数算出部３５３の算出したブレンド係数に応じて、露出補正されたフリッカ補正第１露光画像１４３と、露出補正されたフリッカ補正第２露光画像１４４の対応画素値とのブレンド処理を実行してフリッカ補正ＨＤＲ画像１４５の各画素値を設定する。
なお、露出補正されたフリッカ補正第１露光画像１４３の画素値をＳ、露出補正されたフリッカ補正第２露光画像１４４の画素値をＬ、ブレンド係数をα、ただし、０≦α≦１、としたとき、フリッカ補正ＨＤＲ画像２３１の画素値Ｈは以下の式によって算出される。
Ｈ＝（１−α）×Ｓ＋α×Ｌ
ＨＤＲ合成部（広ダイナミックレンジ画像合成部）３１３は、これらの処理によって、低輝度領域から高輝度領域に至る画素値をより高精度に表現したフリッカ補正ＨＤＲ画像１４５を生成して出力する。
このＨＤＲ合成部（広ダイナミックレンジ画像合成部）３１３における異なる露光時間の画像の合成処理によるＨＤＲ画像が生成される。すなわち、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きく設定したブレンド処理が実行され、低輝度領域から高輝度領域に至る画素値をより高精度に表現したＨＤＲ（広ダイナミックレンジ）画像が生成されて出力される。
後述するように、本開示の画像処理装置においては、複数の異なる露光時間の画像を入力して広ダイナミックレンジ（ＨＤＲ）画像を生成する構成において、１つの基準露光画像に対応するフリッカ成分のみを算出して、その基準露光画像のフリッカ成分に応じて他の露光時間の画像のフリッカ成分を推定算出する構成としたので、各露光時間に応じた各画像個別にフリッカ成分の算出処理を行う必要がなくなり、効率的な処理が実現される。
なお、図１５に示した感度別補間部３１１や、図１６に示したＨＤＲ合成部３１３は、一例であり、第１の露光条件の画素と、第２の露光条件の画素の配置、例えば、図５に示したような画素の配置に依存して、他の構成を有するようにすることも可能である。また、以下に説明するフリッカ補正部３１２における処理に依存して、フリッカ補正部３１２における処理の前後で処理を行う感度別補間部３１１やＨＤＲ合成部３１３の構成が、他の構成とされるようにしても、本技術を適用できる。
＜フリッカ補正部の構成について＞
図１７は、フリッカ補正部３１２の内部構成例を示す図である。フリッカ補正部３１２は、補正に係わる演算により、複数の実施の形態があり、以下に第１乃至第３の実施の形態を例に挙げて説明するが、第１乃至第３の実施の形態において共通する構成について、図１７を参照して説明する。
また第１と第２の実施の形態においては、フリッカ比という比を用いた演算を行い、第３の実施の形態に置いては、比を用いない演算を行うことで、画像毎のフリッカ成分を推定する。また、第１乃至第３の実施の形態においては、異なる露光条件において撮影された画像に含まれるフリッカなどの周期性を有するノイズの相互関係を利用した演算を行うことで、画像毎のノイズの成分を推定する点は共通している。
図１７に示したフリッカ補正部３１２は、フリッカ推定部３７１、第１露光画像フリッカ補正部３７２、および第２露光画像フリッカ補正部３７３を含む構成とされている。フリッカ推定部３７１は、図１８に示すような構成を有し、入力される第１露光画像１４１と第２露光画像１４２から、第１フリッカ成分３８１と第２フリッカ成分３８２を生成する。
フリッカ推定部３７１により生成された第１フリッカ成分３８１は、第１露光画像フリッカ補正部３７２に供給される。第１露光画像フリッカ補正部３７２には、第１露光画像１４１も供給される。第１露光画像フリッカ補正部３７２は、第１露光画像１４１に対して、行毎に、推定された第１フリッカ成分３８１の逆数を乗算することで、フリッカ補正を行い、フリッカ補正第１露光画像１４３を出力する。
同様に、フリッカ推定部３７１により生成された第２フリッカ成分３８２は、第２露光画像フリッカ補正部３７３に供給される。第２露光画像フリッカ補正部３７３には、第２露光画像１４２も供給される。第２露光画像フリッカ補正部３７３は、第２露光画像１４２に対して、行毎に、推定された第２フリッカ成分３８２の逆数を乗算することで、フリッカ補正を行い、フリッカ補正第２露光画像１４４を出力する。
このようにして補正されたフリッカ補正第１露光画像１４３とフリッカ補正第２露光画像１４４は、ＨＤＲ合成部３１３（図１４）に出力される。
図１８は、図１７に示したフリッカ推定部３７１の内部構成例を示す図である。図１８に示したフリッカ推定部３７１は、積分値算出部４０１、積分値算出部４０２、除算部４０３、および推定演算部４０４を備える構成とされている。
積分値算出部４０１には、第１露光画像１４１が供給され、積分値算出部４０２には、第２露光画像１４２が供給される。積分値算出部４０１は、第１露光画像１４１を水平方向に積分し、その積分値を除算部４０３に出力する。同様に積分値算出部４０２は、第２露光画像１４２を水平方向に積分し、その積分値を除算部４０３に出力する。
積分値算出部４０１と積分値算出部４０２は、それぞれ第１露光画像１４１と第２露光画像の積分値を算出するが、全画素を対象として処理を行っても良いし、所定の領域内の画素を対象として処理を行っても良い。
また、第１露光画像１４１と第２露光画像１４２のいずれかの画素が飽和している位置の画素は、積分演算に用いないようにしても良い。例えば、積分を行うときに用いられる部分は、白飛び、黒つぶれ、被写体部分などを含まない部分とすることができる。
除算部４０３には、第１露光画像１４１から算出された積分値（第１積分値とする）が、積分値算出部４０１から供給され、第２露光画像１４２から算出された積分値（第２積分値とする）が、積分値算出部４０２から供給される。除算部４０３は、供給された第１積分値を第２積分値で除算することで、フリッカ比を求める。求められたフリッカ比４１１は、推定演算部４０４に供給される。
推定演算部４０４は、フリッカ比４１１から、第１フリッカ成分３８１と第２フリッカ成分３８２を、それぞれ算出する。ここで、フリッカ比４１１の算出について説明する。
なおフリッカ比は、それぞれの画像のフリッカ成分の比であり、ここでは、第１のフリッカ成分３８１と第２のフリッカ成分の３８２の比であるとして説明を続ける。また、フリッカのように、所定の周期を有するノイズの除去を目的とした場合、画像毎のノイズの成分の比が、以下に説明するフリッカ比に相当し、以下に説明するフリッカ比と同様にして、ノイズの成分の比を算出することができる。
＜フリッカ比の算出について＞
ここで、図１９を参照し、フリッカ比について説明する。図１９のＡは、第１露光画像１４１と第２露光画像１４２を表し、フリッカの影響で、画像上に縞模様が載っている画像となっている例を示している。
第１露光画像１４１の有効な部分について水平方向に積分を行った場合の結果の一例を、図１９のＢの上側に示す。また、第２露光画像１４２の有効な部分について水平方向に積分を行った場合の結果の一例を、図１９のＢの下側に示す。積分を行うときの有効な部分とは、白飛び、黒つぶれ、被写体部分などを含まない部分である。
積分した水平方向の同位置毎に比を取ると、図１９のＣに示したようにフリッカ比が求められる。
露光レベルが揃うように、片方の積分値に対してゲインを掛けることにより、フリッカ成分以外の被写体成分が２つの画像で揃うことになりキャンセルされる。これにより、純粋に２つの画像中のフリッカ成分だけを考慮すれば良くなるので、その後のフリッカ成分の推定の精度を向上させることが可能となる。
なお、図１９では、一例として画像の縦座標毎にフリッカ比を算出しているが、例えば、フリッカの周期が既知である場合、フリッカの周期分だけ座標を設け、同一位相の積分値は同じ座標に積分する構成とすることもできる。
このようなフリッカ比の算出について、さらに説明を加える。露光画像の一番上の行の露光終了時刻をｔとし、露光時間Ｅとしたときのフリッカの影響を受けた観測画像は以下のように表される。
Ｉ（ｘ，ｙ，ｔ，Ｅ）＝Ｉ０（ｘ，ｙ）×Ｅ×ｇｔ（ｔ＋ｙ，Ｅ）
・・・（７）
式（７）において、Ｉ０（ｘ，ｙ）は、単位露光時間でのフリッカの影響のない真の画像の値である。
上記してきたように、短時間露光を第１の露光条件とし、長時間露光を第２の露光条件としたとき、露光時間と露光終了時刻は、以下のように定義する。
第１の露光条件：露光時間がＥ１、一番上の行の露光終了時刻をｔ１
第２の露光条件：露光時間がＥ２、一番上の行の露光終了時刻をｔ２
とする。またＥ１≦Ｅ２である。
また、第１の露光条件で撮影された画像と第２の露光条件で撮影された画像を、それぞれ上記した式（７）を用いて簡便に表すと、次式(８)のように表記できる。
Ｉ１（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ１，Ｅ１）
Ｉ２（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ２，Ｅ２） ・・・（８）
このようにした定義した場合、フリッカ比は、以下のように求めることができる。
フリッカ比は、第１の露光条件のフリッカ成分と第２の露光条件のフリッカ成分の比であると定義する。フリッカ比は、次式（９）で、２つの露光画像から求めることが出来る。
Figure 0006437450
ただし、飽和画素の影響を避けるため、積分する領域は、第１の露光条件の第１露光画像１４１と第２露光条件の第２露光画像１４２のいずれも飽和していない領域（Ω）とし、積分が実行される。
図１８に示したフリッカ推定部３７１の積分値算出部４０１、積分値算出部４０２、および除算部４０３の各部における演算は、式（９）における演算に基づいて行われる。このようにしてフリッカ比４１１が算出される。
式（９）より、次式（１０）の関係式が定められる。
ｒ１２（ｙ）×ｇｔ（ｙ＋ｔ２，Ｅ２）＝ｇ１（ｙ＋ｔ１，Ｅ１）
・・・（１０）
式（１０）より、式(９)に基づきフリッカ比が求められれば、一方のフリッカ成分（例えば、第２フリッカ成分３８２）から、他方のフリッカ成分（例えば、第２フリッカ成分３８１）を求めることができることがわかる。
＜フリッカ抑制の第１の実施の形態＞
第１の実施の形態として、実空間での解法で、フリッカ成分を求める場合について説明する。図２０は、第１の実施の形態におけるフリッカ補正部３１２内のフリッカ推定部３７１の推定演算部４０４の内部構成例を示す図である。
図２０に示した推定演算部４０４は、行列生成部４３１、行列演算部４３２、およびフリッカ成分変換部４３３を含む構成とされている。行列生成部４３１は、入力されるフリッカ比４１１から、以下に説明する行列を生成し、行列演算部４３２は、その行列を演算する。行列を演算することで、第１フリッカ成分３８１が生成される。
行列演算部４３２からの第１フリッカ成分３８１は、フリッカ成分変換部４３３にも供給される。フリッカ成分変換部４３３は、供給される第１フリッカ成分３８１から、第２フリッカ成分３８２を生成する。
この実施の形態においては、一方のフリッカ成分から他方のフリッカ成分が生成される。ここでは、短時間露光（第１の露光条件）時に得られる第１露光画像１４１から求められる第１フリッカ成分３８１から、長時間露光（第２の露光条件）時に得られる第２露光画像１４２に含まれる第２フリッカ成分３８２が生成されるとして説明を続けるが、第２フリッカ成分３８２から、第１フリッカ成分３８１が生成されるように構成することも可能である。
このように、一方のフリッカ成分から他方のフリッカ成分を求めるための演算などは、本出願人が先に出願した特願2012-90897号に記載されている演算などを適用することができる。特願2012-90897号には、長時間露光（第２の露光条件）時のフリッカ成分ｇｔ（ｙ＋ｔ２，Ｅ２）は、短時間露光（第１の露光条件）時のフリッカ成分ｇｔ（ｙ＋ｔ２，Ｅ２）の線形和で表記できることが記載されている。
すなわち、フリッカ成分をベクトル表記すると次式（１１）に示すようになる。
Figure 0006437450
式（１１）において、行列ｔは、特願2012-90897号で表した演算を行列表記したものである。簡単のために以下のように表記する。式（１２）において、ｇ１は、第１フリッカ成分３８１を表し、ｇ２は、第２フリッカ成分３８２を表す。
ｇ２＝ｔｇ１ ・・・（１２）
上記した式（１０）を、式（１１）、式（１２）を用いて表すと、以下のようになる。
Figure 0006437450
式（１３）において行列ｒは、画像から測定でき、行列tは、第１の露光条件と第２の露光条件の相互関係から求めることができる。そこで以下の２式から第１フリッカ成分３８１と第２フリッカ成分３８２を求める。次式（１４）の上に示した式は、式（１２）であり、下に示した式は、式（１３）である。
ｇ２＝ｔｇ１
ｒｇ２＝ｇ１ ・・・（１４）
解法１として、式（１４）から、次式（１５）が導き出されることを利用してフリッカ成分ｇ１，ｇ２を求める。
ｒｔｇ１＝ｇ１ ・・・（１５）
式（１５）より、行列rtの固有値１の固有ベクトルが求まれば、第１の露光条件（短時間露光）のフリッカ成分ｇ１(第１フリッカ成分３８１)を求めることができる。一般に固有ベクトルは、定数倍の任意性があるが、フリッカ成分は、平均値が約１となるため第１フリッカ成分３８１は一意に求めることができる。第１フリッカ成分３８１が求められれば、その第１フリッカ成分３８１から第２フリッカ成分３８２を求めることができる（例えば、特願2012-90897号に開示されている技術を適用できる）。
解法２として、式（１４）を、次式（１６）のように１つの行列として表記する。
Figure 0006437450
式（１６）を満たす第１フリッカ成分３８１と第２フリッカ成分３８２を最小二乗推定で求めれば良い。式（１６）において、ｔは短時間露光時のフリッカ成分を長時間露光時のフリッカ成分に変換する際の係数であり、ｒは、式（９）で示したフリッカ比であり、画像から求めることができる値である。
Ｉは、画素値であり、画像から求めることができる値である。よって、式（１６）における第１項内の数値は、画像などから求めることができる値である。このことから式（１６）の式から、第１フリッカ成分３８１と第２フリッカ成分３８２を最小二乗推定で求めることができることがわかる。
解法１、解法２のどちらかを適用すれば、第１フリッカ成分３８１と第２フリッカ成分３８２をそれぞれ求めることができる。
解法１を適用した場合、図２０に示した推定演算部４０４の行列生成部４３１は、式（１５）で示した行列ｒｔを生成し、行列演算部４３２は、生成された行列ｒｔを用いた行列演算を行い、フリッカ成分ｇ１（第１フリッカ成分３８１）を生成する。
具体的には、行列演算部４３２は、行列ｒｔの固有値１の固有ベクトルを求める。この求められた固有ベクトルは、第１フリッカ成分３８１となる。なお、固有ベクトルの平均値は、１となるように制約が付けられる。フリッカ成分変換部４３３は、式（１４）に示したｇ２＝ｔｇ１という関係式に基づき、第１フリッカ成分３８１から第２フリッカ成分３８２を生成する。
解法２を適用した場合、行列生成部４３１において、式（１６）に示した行列が生成され、その行列が、行列演算部４３２により演算される。行列演算部４３２による演算で、第１フリッカ成分３８１が生成され、フリッカ成分変換部４３３により第２フリッカ成分３８２が生成される。例えば、行列演算部４３２は、最小二乗法により所定の関数を求め、第１フリッカ成分３８１を算出し、フリッカ成分変換部４３３は、所定の関数と第１フリッカ成分３８１から、第２フリッカ成分３８２を算出するようにすることができる。
なお、図２０では、行列演算部４３２とフリッカ成分変換部４３３を異なるブロックで示したが、同一のブロックとしても良い。換言すれば、一方が算出された後、他方が算出されることを明確に示すために、行列演算部４３２とフリッカ成分変換部４３３を分けて図示、説明した。
しかしながら、演算の仕方などにより、行列演算部４３２とフリッカ成分変換部４３３を１つのブロックとし、そのブロック内で、一方のフリッカ成分が生成され、そのフリッカ成分から他方のフリッカ成分が生成され、最終的にそのブロックから第１フリッカ成分３８１と第２フリッカ成分３８２が出力されるような構成とすることも可能である。
このように、実空間での解法を適用し、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された２枚の画像から、高ダイナミックレンジの１枚の画像を生成することが可能となる。
＜フリッカ抑制の第２の実施の形態＞
次に第２の実施の形態として、複素空間での解法で、フリッカ成分を求める場合について説明する。図２１は、第２の実施の形態におけるフリッカ補正部３１２内のフリッカ推定部３７１の推定演算部４０４’の内部構成例を示す図である。なおここでは、図２０に示した第１の実施の形態における推定演算部４０４と区別を付けるために、第２の実施の形態における推定演算部４０４’には、ダッシュを付して説明する。
図２１に示した推定演算部４０４’は、フーリエ級数変換部４６１、行列生成部４６２、行列演算部４６３、フーリエ級数逆変換部４６４、フリッカ成分変換部４６５、フーリエ級数逆変換部４６６を備える構成とされている。
推定演算部４０４’のフーリエ級数変換部４６１には、フリッカ比４１１が供給される。フーリエ級数変換部４６１は、供給されたフリッカ比４１１をフーリエ級数展開する。フーリエ級数変換部４６１のフーリエ級数の基準周波数は、フリッカの周波数と同じ値とすることができる。
例えば、蛍光灯などが原因とされるフリッカの場合、フーリエ級数変換部４６１のフーリエ級数の基準周波数は、100Hzあるいは120Hzとされる。また、周期的なノイズの除去を目的とした場合、そのノイズの周期に適した周波数が、フーリエ級数の基準周波数とされる。
行列生成部４６２は、後述する行列ＲＴを求める。行列演算部４６３は、行列生成部４６２で生成された行列ＲＴの固有値１の固有ベクトルを、Ｇ１（０）＝１とし、かつ、
Figure 0006437450
 が複素共役となる条件下で求める。
行列演算部４６３で算出された値は、第１フリッカ成分３８１をフーリエ級数展開した値となっている。この値を、フーリエ級数逆変換部４６４でフーリエ級数逆変換を行うことで、第１フリッカ成分３８１が求められる。
行列演算部４６３からの、第１フリッカ成分３８１をフーリエ級数展開した値は、フリッカ成分変換部４６５にも供給される。フリッカ成分変換部４６５は、第１のフリッカ成分をフーリエ級数展開した値に、変換係数Ｔ１２（ω）を乗算することにより、第２フリッカ成分３８２をフーリエ級数した値を生成する。
フリッカ成分変換部４６５で変換された値は、フーリエ級数逆変換部４６６に供給され、フーリエ級数逆変換が行われ、第２フリッカ成分３８２とされる。
このように、周波数空間（複素空間）で解くことで、より少ない演算でフリッカ成分を求めることができる。この演算に関し、説明を加える。
フリッカ比とフリッカ成分には、以下の関係式（１０）が成り立つことは上記した。
ｒ１２（ｙ）×ｇｔ（ｙ＋ｔ２，Ｅ２）＝ｇ１（ｙ＋ｔ１，Ｅ１）
・・・（１０）
この式（１０）の両辺をフーリエ変換すると、乗算が畳み込み演算となるため、次式（１７）となる。なおここでは基本的に、実空間での表記は小文字を用いて行い、周波数空間での表記は、大文字を用いて行う。
Figure 0006437450
式（１７）において、Ｇ１（ω）は、第１フリッカ成分３８１をフーリエ変換した値を示し、Ｇ２（ω）は、第２フリッカ成分３８２をフーリエ変換した値を示す。また、後述するように、Ｇ１（ω）とＧ２（ω）は、次式（１８）のように、第１の露光条件と第２の露光条件から求められる値Ｔ１２（ω）を用いて表される。
Figure 0006437450
式（１７）と式（１８）から、次式（１９）が求められる。
Figure 0006437450
さらに、式（１９）を行列で表記すると、畳み込み演算が巡回行列となるため、次式（２０）で表すことができる。
Figure 0006437450
式（１２）においては、Ｒ１２（ω）＝Ｒω、Ｔ１２（ω）＝Ｔωと略記してある。また負の周波数の値は、正の周波数の値の複素共役となるため、
Figure 0006437450
 と表記してある。
式（１９）または式（２０）を、次式（２１）のように表記する。
ＲＴＧ１＝Ｇ１ ・・・（２１）
式（２１）から、行列ＲＴの固有値１の固有ベクトルは、
Figure 0006437450
 が複素共役となる条件下で求めれば良い。
ただし、一般に固有ベクトルは、任意の定数倍しでも同じく固有ベクトルとなりうる。しかしながら、フリッカ成分は、平均値が１となるため、
Ｇ１（０）＝１
となり、既知となるため、一意に解を求めることができる。
さらに、複素空間において第１フリッカ成分３８１から第２フリッカ成分３８２を推定する手法について説明を加える。
フリッカ成分は、次式（２２）のように表記できる。
Figure 0006437450
式（２２）は、光源の揺らぎとシャッター関数との畳み込み演算を用いて、次式（２３）のように表記することができる。
Figure 0006437450
式（２３）において、ｆ’（ｔ）は、図２２のＡに示すように、光源の揺らぎｆ（ｔ）を平均値が１となるように正規化したものである。また、式（２３）において、シャッター関数ｓ（ｔ，Ｅ）は、図２２のＢに示すような関数とする。図２２のＢに示した関数は、時刻が０からＥまでの間は、１／Ｅの値を有し、その他の時刻では、０の値を有する関数である。
フリッカ成分を周波数空間に変換して演算する。ｇｔ（ｔ，Ｅ）を周波数空間で表現すると、畳み込み演算が乗算になるため、次式（２４）のようになる。
Figure 0006437450
さらに第１の露光条件のフリッカ成分と第２の露光条件のフリッカ成分を周波数空間で表現したものを、それぞれ、Ｇ１（ω）、Ｇ２（ω）と定義すると、Ｇ１（ω）とＧ２（ω）は、それぞれ次式（２５）のようになる。
Figure 0006437450
式（２５）から、Ｇ２（ω）は、Ｇ１（ω）を用いて、次式（２６）のように表すことができる。
Figure 0006437450
式（２６）において、ｓ（ω，Ｅ）は、シャッター関数ｓ（ｔ，Ｅ）の周波数空間上での表記であり、次式（２７）のようになる。
Figure 0006437450
式（２６）からわかるように、第２フリッカ成分３８２のフーリエ級数展開した値（Ｇ２（ω））は、第１フリッカ成分３８１のフーリエ級数展開した値（Ｇ１（ω））から算出することができる。フリッカ成分変換部４６５（図２１）においては、式（２６）に基づく演算が行われることで、第２フリッカ成分３８２のフーリエ級数展開した値が算出される。
また行列生成部４６２は、式（２０）、式（２１）における行列ＲＴを生成し、行列演算部４６２は、行列ＲＴの固有値１の固有ベクトルを算出する。この算出される固有ベクトルは、第１フリッカ成分３８１をフーリエ級数展開した値であるので、フーリエ級数逆変換部４６４にて、フーリエ級数逆変換が行われることで、第１フリッカ成分３８１が算出される。
一方で、上記したように、フリッカ成分変換部４６５は、式（２６）に基づく演算を行うことで、第１フリッカ成分３８１を第２フリッカ成分３８２に変換する。この変換された値は、第２フリッカ成分３８２をフーリエ級数展開した値であるので、フーリエ級数逆変換部４６６にて、フーリエ級数逆変換が行われることで、第２フリッカ成分３８２が算出される。
このように、複素空間での解法を適用し、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された２枚の画像から、高ダイナミックレンジの１枚の画像を生成することが可能となる。
＜フリッカ抑制の第３の実施の形態＞
第１の実施の形態と第２の実施の形態においては、第１の露光条件で露光されて撮影された画像のフリッカ成分と、第２の露光条件で露光されて撮影された画像のフリッカ成分とのフリッカ比を用いて、第１フリッカ成分３８１と第２フリッカ成分３８２を算出し、フリッカ成分を抑制する場合を例に挙げて説明した。
次に、第３の実施の形態とし、フリッカ比を用いずに、第１フリッカ成分３８１と第２フリッカ成分３８２を算出する場合を例に挙げて説明する。
図２３は、フリッカ推定部３７１’の構成を示す図である。図２３に示したフリッカ推定部３７１’と、図１８に示したフリッカ推定部３７１を区別するために、図２３に示したフリッカ推定部３７１’にはダッシュを付して記載する。また図２３に示したフリッカ推定部３７１’は、図１７に示したフリッカ補正部３１２を構成するフリッカ推定部３７１である。
図２３に示したフリッカ推定部３７１’は、積分値算出部５０１、積分値算出部５０２、フーリエ級数変換部５０３、フーリエ級数変換部５０４、推定演算部５０５、フーリエ級数逆変換部５０６、およびフーリエ級数逆変換部５０７から構成されている。
積分値算出部５０１には、第１露光画像１４１が供給され、積分値算出部５０２には、第２露光画像１４２が供給される。積分値算出部５０１は、第１露光画像１４１を水平方向に積分し、その積分値をフーリエ級数変換部５０３に出力する。同様に積分値算出部５０２は、第２露光画像１４２を水平方向に積分し、その積分値をフーリエ級数変換部５０４に出力する。
積分値算出部５０１と積分値算出部５０２は、それぞれ第１露光画像１４１と第２露光画像の積分値を算出するが、全画素を対象として処理を行っても良いし、所定の領域内の画素を対象として処理を行っても良い。
また、第１露光画像１４１と第２露光画像１４２のいずれかの画素が飽和している位置の画素は、積分演算に用いないようにしても良い。例えば、積分を行うときに用いられる部分は、白飛び、黒つぶれ、被写体部分などを含まない部分とすることができる。
フーリエ級数変換部５０３は、第１露光画像１４１の積分値に、適切な窓関数をかけてフーリエ級数展開し、第１露光画像１４１の周波数表記J 1(ω)（詳細は後述）を求める。同様にフーリエ級数変換部５０４は、第２露光画像１４２の積分値に、適切な窓関数をかけてフーリエ級数展開し、第２露光画像１４２の周波数表記J ２(ω)を求める。なお窓関数は、フーリエ変換等で一般に用いられるもので、例えば、ハン窓などを使用することができる。
推定演算部５０５には、フーリエ級数変換部５０３から、第１露光画像１４１の周波数表記J 1(ω)が供給され、フーリエ級数変換部５０４から、第２露光画像１４２の周波数表記J ２(ω)が供給される。推定演算部５０５は、行列Ｑを生成し、光源の揺らぎ成分Ｆ’を求める。さらに推定演算部５０５は、第１フリッカ成分３８１のフーリエ級数展開した値と、第２フリッカ成分３８２をフーリエ級数展開した値を求める。
推定演算部５０５で求められた第１フリッカ成分３８１のフーリエ級数展開した値は、フーリエ級数逆変換部５０６に供給され、フーリエ級数逆変換が行われ、第１フリッカ成分３８１とされる。同様に、推定演算部５０５で求められた第２フリッカ成分３８２のフーリエ級数展開した値は、フーリエ級数逆変換部５０７に供給され、フーリエ級数逆変換が行われ、第２フリッカ成分３８２とされる。
第３の実施の形態においても、第２の実施の形態と同じく、周波数空間（複素空間）で解くことで、より少ない演算でフリッカ成分を求めることができる。この演算に関し、説明を加える。
図２４は、積分値算出部５０１，５０２、フーリエ級数変換部５０３，５０４の処理内容を表し、各露光条件の画像の周波数空間での表記、J １(ω) ，J２(ω)を求める過程を表す。図２４のＡは、第１露光画像１４１と第２露光画像１４２を表し、フリッカの影響で、画像上に縞模様が載っている画像となっている例を示している。
第１露光画像１４１の有効性な部分について水平方向に積分を行った場合の結果の一例を、図２４のＢの上側に示す。また、第２露光画像１４２の有効性な部分について水平方向に積分を行った場合の結果の一例を、図２４のＢの下側に示す。積分を行うときの有効な部分とは、白飛び、黒つぶれ、被写体部分などを含まない部分である。
算出された積分値に対して、適切な窓関数をかけて、フーリエ級数展開が行われる。フーリエ級数は、0 ×ωk、…、2M ×ωk、までの周波数の値が算出される。その結果、第１露光画像１４１の周波数表記J １(ω)と、第２露光画像１４２の周波数表記J ２(ω)が、それぞれ得られる(図２４のＣ)。
このような演算について、さらに説明を加える。第１の露光条件で撮影された第１露光画像１４１と、第２の露光条件で撮影された第２露光画像１４２は、それぞれ以下のように表される。
Ｉ１（ｘ，ｙ）＝Ｉ０（ｘ，ｙ）×Ｅ１×ｇｔ（ｔ１＋ｙ，Ｅ１）
Ｉ２（ｘ，ｙ）＝Ｉ０（ｘ，ｙ）×Ｅ２×ｇｔ（ｔ２＋ｙ，Ｅ２）
・・・（２８）
式（２８）より、次式（２９）が成り立つ。
Ｉ１（ｘ，ｙ）×Ｅ２×ｇｔ（ｔ２＋ｙ，Ｅ２）
―Ｉ２（ｘ，ｙ）×Ｅ１×ｇｔ（ｔ１＋ｙ，Ｅ１）＝０
・・・（２９）
式（２９）を周波数空間で表記すると、次式（３０）となる。
Figure 0006437450
式（３０）において、Ｊ１（ω）は、Ｉ１（ｘ，ｙ）を水平方向に積分した値、すなわち、第１露光画像１４１を水平方向に積分した値を、周波数空間で表記したものである。同様に、Ｊ２（ω）は、Ｉ２（ｘ，ｙ）を水平方向に積分した値、すなわち、第２露光画像１４２を水平方向に積分した値を、周波数空間で表記したものである。
フリッカ成分Ｇ１（ω）と、フリッカ成分Ｇ２（ω）を、式（３０）に代入すると、次式（３１）となる。
Figure 0006437450
式（３１）は、線形な式であり、行列として、次式（３２）のように表記することができる。
Ｅ２Ｊ１Ｓ２Ｐ２Ｆ’−Ｅ１Ｊ２Ｓ１Ｐ１Ｆ’＝０
（Ｅ２Ｊ１Ｓ２Ｐ２−Ｅ１Ｊ２Ｓ１Ｐ１）Ｆ’＝０ ・・・（３２）
式（３２）におけるＪ１、Ｓ１、Ｐ１、Ｆ’は、それぞれ次式（３３）乃至（３６）で表される行列である。なお、Ｊ２、Ｓ２、Ｐ２も同様に表記できるため、ここではその表記を省略する。
Figure 0006437450
Figure 0006437450
Figure 0006437450
Figure 0006437450
式（３３）乃至（３６）において、ωｆは、フリッカの基本周波数であり、通常は、100Hzや120Hzに相当する値となる。所定の周期のノイズを除去する場合には、その周期に相当する周波数とされる。また、光源の波形は、基本周波数ωfのＭ倍までの周波数を含むと想定している。一般的な光源であればＭは１である。また光源によっては高周波の時間変化の成分も持つためＭが１より大きくなることもある。
ここで式（３２）を、次式（３３）のように表記する。
ＱＦ’＝０
Ｑ＝Ｅ２Ｊ１Ｓ２Ｐ２−Ｅ１Ｊ２Ｓ１Ｐ１ ・・・（３７）
式（３７）のＱのうち、Ｅは、露光時間を表し、Ｊは、露光画像を水平方向に積分したものを周波数空間で表記したものを表している。またＳは、シャッター関数の周波数空間上での表記であり、図２２を参照して説明したシャッター関数の周波数空間上での表記である。またＰは、ｅｘｐ（２πωｔ）である。これらの値は、露光画像や露光時間から求められる値であるため、Ｑは既知となる。
Ｑは既知となるため、式（３７）においてＦ’が求められる。Ｆ’が求まると、次式（３８）にて、フリッカ成分を求めることができる。
Figure 0006437450
式（３８）におけるＧ１（ω）は、第１の露光条件で撮影された第１露光画像１４１の第１フリッカ成分３８１の周波数空間での表記であり、Ｇ２（ω）は、第２の露光条件で撮影された第２露光画像１４２の第２フリッカ成分３８２の周波数空間での表記である。
式（３８）で求められる周波数空間での第１フリッカ成分３８１と第２フリッカ成分３８２のそれぞれを、実空間でのフリッカ成分に変換することで、第１フリッカ成分３８１と第２フリッカ成分３８２をそれぞれ求めることができる。
フリッカ推定部３７１’の推定演算部５０５(図２３)は、式（３７）における行列Ｑを生成し、光源の揺らぎ成分Ｆ’を求める。そして、式（３８）に基づく演算を行い、周波数空間でのフリッカ成分を生成する。
このように、フリッカ比を用いずに、複素空間での解法を適用し、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された２枚の画像から、高ダイナミックレンジの１枚の画像を生成することが可能となる。
上記した実施の形態においては、１枚の画像を撮像するとき、上記したように、短時間露光（第１の露光条件）と、長時間露光（第２の露光条件）を同時に撮影する場合を例に挙げて説明したが、短時間露光用の画素と、長時間露光用の画素を分けずに、通常の画素で短時間露光の画像と長時間露光の画像を交互に撮影し、短時間露光時の画像と長時間露光時の画像を取得するようにした場合にも本技術を適用できる。
この場合、撮影のタイミングが異なるため、上記したフリッカ補正時の演算に用いられる行列は、この撮影のタイミングを考慮した行列とすることで、本技術を適用することができる。
また、上記した例では、短時間露光と長時間露光の２種類の露光時間で撮影を行う撮影装置を例に挙げて説明したが、３種類以上の露光時間の撮影画像が組み合わされる撮影装置に対しても本技術を適用することはできる。
３種類以上の露光時間の撮影画像が組み合わせる場合、例えば、第１の露光画像と第２の露光画像から第１のフリッカ成分を推定し、第１のフリッカ成分から第３のフリッカ成分を変換して推定してもよい。また第１の露光画像、第２の露光画像、第３の露光画像すべて合わせた行列を生成して解くこともできる。
また上記した実施の形態においては、２種類の異なる露光時間でそれぞれ撮影された露光画像を用いてフリッカ成分を求める場合を例に挙げて説明したが、１種類の露光時間で撮影された露光画像を用いてフリッカ成分を求める場合にも、本技術は適用できる。
１種類の露光時間で撮影された露光画像を用いてフリッカ成分を求める場合、第１フレーム目の画像を、上記した実施の形態における第１の露光条件で撮影された露光画像とし、第２フレーム目の画像を、上記した実施の形態における第２の露光条件で撮影された露光画像として扱う。
なおこの場合は、撮影の速度間隔がフリッカの周期の整数倍となる条件では、フリッカ成分を求めることができない可能性があるため、例えば、３フレーム撮影し、１フレーム目と２フレームの撮影間隔と、２フレーム目と３フレーム目との撮影間隔を異なる間隔とし、３フレームを用いてフリッカ成分を求めるようにしても良い。
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１１０１、ＲＯＭ（Read Only Memory）１１０２、ＲＡＭ（Random Access Memory）１１０３は、バス１１０４により相互に接続されている。バス１１０４には、さらに、入出力インタフェース１１０５が接続されている。入出力インタフェース１１０５には、入力部１１０６、出力部１１０７、記憶部１１０８、通信部１１０９、及びドライブ１１１０が接続されている。
入力部１１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１１０７は、ディスプレイ、スピーカなどよりなる。記憶部１１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１１０９は、ネットワークインタフェースなどよりなる。ドライブ１１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ１１０１が、例えば、記憶部１１０８に記憶されているプログラムを、入出力インタフェース１１０５及びバス１１０４を介して、ＲＡＭ１１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ１１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１１１１をドライブ１１１０に装着することにより、入出力インタフェース１１０５を介して、記憶部１１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１１０９で受信し、記憶部１１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１１０２や記憶部１１０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
（１）
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、
前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
画像処理装置。
（２）
前記周期的なノイズとは、フリッカである
前記（１)に記載の画像処理装置。
（３）
前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表される
前記（１）または前記（２)に記載の画像処理装置。
（４）
前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定する
前記（１)乃至（３）のいずれかに記載の画像処理装置。
（５）
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
前記（４)に記載の画像処理装置。
（６）
前記推定部は、光源の揺らぎ成分をＦとしたとき、ＱＦ＝０となる行列Ｑを求め、前記成分Ｆを求めることで、周波数空間での前記ノイズの成分を求め、
前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定する
前記（１)乃至（５）のいずれかに記載の画像処理装置。
（７）
前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表される
前記（１)に記載の画像処理装置。
（８）
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
前記（７)に記載の画像処理装置。
（９）
前記推定部は、前記比をフーリエ級数展開した行列をＲ、前記露光条件から求まる行列をＴとしたとき、行列ＲＴの固有値１の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とする
前記（７)に記載の画像処理装置。
（１０）
前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
前記（９)に記載の画像処理装置。
（１１）
前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、
前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
前記（１０)に記載の画像処理装置。
（１２）
前記推定部は、前記比をＲ、前記露光条件から求まる係数をＴ、前記画像のノイズの成分をＧとしたとき、以下の式における行列ＲＴを生成し、前記画像のノイズの成分を求める
Figure 0006437450
 前記（７)に記載の画像処理装置。
（１３）
前記推定部は、前記比を行列ｒ、前記露光条件から求められる行列を行列ｔとしたとき、行列ｒｔの固有値１の固有ベクトルを求め、前記固有値ベクトルを、前記画像のノイズの成分であると推定する
前記（７)に記載の画像処理装置。
（１４）
前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出する
前記（１３)に記載の画像処理装置。
（１５）
前記推定部は、前記比をｒ、前記露光条件から求められる値をｔ、前記画像の画素値をＩ、および前記ノイズの成分をｇとしたとき、以下の式を満たすｇ１，ｇ２を最小二乗推定で求めることで、前記画像毎のノイズの成分を求める
Figure 0006437450
 前記（７)に記載の画像処理装置。
（１６）
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
画像処理方法。
（１７）
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
処理をコンピュータに実行させるためのプログラム。
（１８）
撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、
前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部と
を備え、
前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
電子機器。
１００ 撮像装置， １０１ 光学レンズ， １０２ 撮像素子， １０３ 画像処理部， １０４ 信号処理部， １０５ 制御部， ３１１ 感度別補間部， ３１２ フリッカ補正部， ３１３ ＨＤＲ合成部， ３３１，３３２ 抽出部， ３３３，３３４ 補間処理部， ３５１，３５２ 露出補正部， ３５３ ブレンド係数算出部， ３５４ ブレンド処理部， ３７１ フリッカ推定部， ３７２ 第１露光画像フリッカ補正部， ３７３ 第２露光画像フリッカ補正部， ４０１，４０２ 積分値算出部， ４０３ 除算部， ４０４ 推定演算部， ４３１ 行列生成部， ４３２ 行列演算部， ４３３ フリッカ成分変換部， ４６１ フーリエ級数変換部， ４６２ 行列生成部， ４６３ 行列演算部， ４６４ フーリエ級数逆変換部， ４６５ フリッカ成分変換部， ４６６ フーリエ級数逆変換部， ５０１，５０２ 積分値算出部， ５０３，５０４ フーリエ級数変換部， ５０５ 推定演算部， ５０６，５０７ フーリエ級数逆変換部

Claims (18)

  1. 異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、
    前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
    画像処理装置。
  2. 前記周期的なノイズとは、フリッカである
    請求項１に記載の画像処理装置。
  3. 前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表される
    請求項１に記載の画像処理装置。
  4. 前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定する
    請求項１に記載の画像処理装置。
  5. 前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
    請求項４に記載の画像処理装置。
  6. 前記推定部は、光源の揺らぎ成分をＦとしたとき、ＱＦ＝０となる行列Ｑを求め、前記成分Ｆを求めることで、周波数空間での前記ノイズの成分を求め、
    前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定する
    請求項１に記載の画像処理装置。
  7. 前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表される
    請求項１に記載の画像処理装置。
  8. 前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
    請求項７に記載の画像処理装置。
  9. 前記推定部は、前記比をフーリエ級数展開した行列をＲ、前記露光条件から求まる行列をＴとしたとき、行列ＲＴの固有値１の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とする
    請求項７に記載の画像処理装置。
  10. 前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
    請求項９に記載の画像処理装置。
  11. 前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、
    前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
    請求項１０に記載の画像処理装置。
  12. 前記推定部は、前記比をＲ、前記露光条件から求まる係数をＴ、前記画像のノイズの成分をＧとしたとき、以下の式における行列ＲＴを生成し、前記画像のノイズの成分を求める
    Figure 0006437450
     請求項７に記載の画像処理装置。
  13. 前記推定部は、前記比を行列ｒ、前記露光条件から求められる行列を行列ｔとしたとき、行列ｒｔの固有値１の固有ベクトルを求め、前記固有ベクトルを、前記画像のノイズの成分であると推定する
    請求項７に記載の画像処理装置。
  14. 前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出する
    請求項１３に記載の画像処理装置。
  15. 前記推定部は、前記比をｒ、前記露光条件から求められる値をｔ、前記画像の画素値をＩ、および前記ノイズの成分をｇとしたとき、以下の式を満たすｇ１，ｇ２を最小二乗推定で求めることで、前記画像毎のノイズの成分を求める
    Figure 0006437450
     請求項７に記載の画像処理装置。
  16. 異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
    前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
    画像処理方法。
  17. 異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
    前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
    処理をコンピュータに実行させるためのプログラム。
  18. 撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、
    前記信号処理部は、
    異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、
    前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部と
    を備え、
    前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
    電子機器。
JP2015551464A 2013-12-04 2014-11-21 画像処理装置、画像処理方法、電子機器、並びにプログラム Active JP6437450B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013251164 2013-12-04
JP2013251164 2013-12-04
PCT/JP2014/080866 WO2015083562A1 (ja) 2013-12-04 2014-11-21 画像処理装置、画像処理方法、電子機器、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2015083562A1 JPWO2015083562A1 (ja) 2017-03-16
JP6437450B2 true JP6437450B2 (ja) 2018-12-12

Family

ID=53273329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015551464A Active JP6437450B2 (ja) 2013-12-04 2014-11-21 画像処理装置、画像処理方法、電子機器、並びにプログラム

Country Status (6)

Country Link
US (1) US9979896B2 (ja)
EP (1) EP3079353B1 (ja)
JP (1) JP6437450B2 (ja)
KR (1) KR102254994B1 (ja)
CN (1) CN105659583B (ja)
WO (1) WO2015083562A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109177A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
EP3265994B1 (en) 2015-03-06 2020-01-15 Flir Systems, Inc. Anomalous pixel detection
US9521351B1 (en) 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
CN108353130A (zh) * 2015-11-24 2018-07-31 索尼公司 图像处理器、图像处理方法和程序
JP2017112409A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
US20170264831A1 (en) 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
US10244182B2 (en) * 2016-06-23 2019-03-26 Semiconductor Components Industries, Llc Methods and apparatus for reducing spatial flicker artifacts
WO2018105475A1 (ja) * 2016-12-08 2018-06-14 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを用いる撮像装置
JP7157529B2 (ja) * 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
CN109218621B (zh) * 2018-10-23 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
JP2020076619A (ja) * 2018-11-07 2020-05-21 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
CN111131718B (zh) * 2019-07-16 2021-05-14 深圳市艾为智能有限公司 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
CN111491111B (zh) * 2020-04-20 2021-03-26 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3989615B2 (ja) * 1997-06-27 2007-10-10 松下電器産業株式会社 固体撮像装置
JP3808248B2 (ja) * 1999-08-20 2006-08-09 松下電器産業株式会社 撮像装置
CN100473119C (zh) * 2006-11-07 2009-03-25 北京中星微电子有限公司 消除曝光闪烁的方法及装置
CN101567977B (zh) * 2009-06-09 2013-09-18 北京中星微电子有限公司 一种闪烁检测方法及其装置
JP5625371B2 (ja) * 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
JP2012010105A (ja) 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2012090897A (ja) 2010-10-28 2012-05-17 Sophia Co Ltd 遊技機
JP2012098097A (ja) 2010-10-29 2012-05-24 L Haf Co Ltd 蛍光ｘ線分析による生体内金属元素検査方法
JP2013219708A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6045896B2 (ja) * 2012-12-04 2016-12-14 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 評価値算出装置および評価値算出方法
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value
JP6116299B2 (ja) * 2013-03-15 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
FR3005543A1 (fr) * 2013-10-14 2014-11-14 St Microelectronics Grenoble 2 Procede de compensation de scintillement utilisant deux images

Also Published As

Publication number Publication date
WO2015083562A1 (ja) 2015-06-11
US20170013183A1 (en) 2017-01-12
US9979896B2 (en) 2018-05-22
JPWO2015083562A1 (ja) 2017-03-16
KR102254994B1 (ko) 2021-05-24
KR20160093004A (ko) 2016-08-05
EP3079353B1 (en) 2021-03-03
CN105659583A (zh) 2016-06-08
EP3079353A4 (en) 2017-08-16
CN105659583B (zh) 2019-11-19
EP3079353A1 (en) 2016-10-12

Similar Documents

Publication Publication Date Title
JP6437450B2 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
JP6434963B2 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
US9036050B2 (en) Image processing device, image processing method, and program
US9560290B2 (en) Image processing including image correction
JP5625371B2 (ja) 画像処理装置、および信号処理方法、並びにプログラム
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
JP2013121099A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2014020970A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP2016034094A (ja) 画像処理装置、画像処理方法、プログラム、およびイメージセンサ
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2011113182A (ja) 画像処理装置
JP2014086889A (ja) 固体撮像装置
JP2015142342A (ja) 撮像装置、画像生成方法及び画像生成プログラム
US10091442B2 (en) Image processing apparatus and image processing method
US10104305B2 (en) Imaging device which generates a high-dynamic-range image using an imaging element in which pixel groups are controlled to have different exposure periods
JP5980618B2 (ja) 画像処理装置及び画像処理方法
JP2013223211A (ja) 撮像処理装置、撮像処理方法、およびプログラム
JP2015027038A (ja) 色情報補完装置およびそのプログラム
JPWO2017026449A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181114

R150 Certificate of patent or registration of utility model

Ref document number: 6437450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150