JPWO2015083562A1 - 画像処理装置、画像処理方法、電子機器、並びにプログラム - Google Patents

画像処理装置、画像処理方法、電子機器、並びにプログラム Download PDF

Info

Publication number
JPWO2015083562A1
JPWO2015083562A1 JP2015551464A JP2015551464A JPWO2015083562A1 JP WO2015083562 A1 JPWO2015083562 A1 JP WO2015083562A1 JP 2015551464 A JP2015551464 A JP 2015551464A JP 2015551464 A JP2015551464 A JP 2015551464A JP WO2015083562 A1 JPWO2015083562 A1 JP WO2015083562A1
Authority
JP
Japan
Prior art keywords
image
pixel
exposure
flicker
noise component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015551464A
Other languages
English (en)
Other versions
JP6437450B2 (ja
Inventor
智経 増野
智経 増野
堅誠 城
堅誠 城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2015083562A1 publication Critical patent/JPWO2015083562A1/ja
Application granted granted Critical
Publication of JP6437450B2 publication Critical patent/JP6437450B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/628Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for reducing horizontal stripes caused by saturated regions of CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本技術は、周期的なノイズがのった画像から、そのノイズを除去することができるようにする画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する。周期的なノイズとは、例えば、フリッカである。また、ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表すことができる。本技術は、撮影装置に適用できる。

Description

本技術は、画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。詳しくは、画像に発生するフリッカの補正を行う画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。
蛍光灯の照明の下で、CMOS(Complementary Metal Oxides Semiconductor)撮像素子などXYアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、映像信号に縞状の輝度ムラや色ムラが発生する。この現象はフリッカと呼ばれる。これは、商用電源(交流)に接続された蛍光灯が基本的に電源周波数の2倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。
フリッカの発生した画像には水平方向に延びる縞模様の輝度変化パターンが出現する。例えば動画を観察した場合、上下に流れる縞模様が観察されてしまう。このようなフリッカを抑制する技術を開示した従来技術として、例えば特許文献1がある。特許文献1は、画像からフリッカ成分を抽出し、その逆相パターンからなるフリッカ補正係数を算出して、画像の画素値に乗じて補正することで画像に含まれるフリッカ成分を除去する手法を開示している。
特開2011−160090号公報
ところで、例えば広ダイナミックレンジ画像を生成するために、異なる露光時間に設定した複数の画像を撮影し、これらの異なる露光時間の画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成する撮像装置が提案されている。
このように、複数の異なる露光時間の画像を撮影する撮像装置に、上記の特許文献1に記載の処理を適用しようとすると、異なる露光時間に撮影された複数の画像の各々に対して、フリッカ成分の抽出処理、フリッカ成分の逆相パターンの補正係数の算出処理、補正係数に基づく補正処理などの処理を個別に実行することが必要となる。
このように、異なる露光時間の画像の各々に対して、上記の処理を実行させるためには、ハードウエア構成の増加や、処理時間の増大が発生する可能性があった。
本技術は、このような状況に鑑みてなされたものであり、フリッカなどの周期的なノイズの低減処理を簡易な構成で効率的に実行可能とすることができるようにするものである。
本技術の一側面の画像処理装置は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する。
前記周期的なノイズとは、フリッカであるようにすることができる。
前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表されるようにすることができる。
前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定するようにすることができる。
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行うようにすることができる。
前記推定部は、光源の揺らぎ成分をFとしたとき、QF=0となる行列Qを求め、前記成分Fを求めることで、周波数空間での前記ノイズの成分を求め、前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定するようにすることができる。
前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表されるようにすることができる。
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行うようにすることができる。
前記推定部は、前記比をフーリエ級数展開した行列をR、前記露光条件から求まる行列をTとしたとき、行列RTの固有値1の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とするようにすることができる。
前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出するようにすることができる。
前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出するようにすることができる。
前記推定部は、前記比をR、前記露光条件から求まる係数をT、前記画像のノイズの成分をGとしたとき、以下の式における行列RTを生成し、前記画像のノイズの成分を求めるようにすることができる。
Figure 2015083562
前記推定部は、前記比を行列r、前記露光条件から求められる行列を行列tとしたとき、行列rtの固有値1の固有ベクトルを求め、前記固有値ベクトルを、前記画像のノイズの成分であると推定するようにすることができる。
前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出するようにすることができる。
前記推定部は、前記比をr、前記露光条件から求められる値をt、前記画像の画素値をI、および前記ノイズの成分をgとしたとき、以下の式を満たすg,gを最小二乗推定で求めることで、前記画像毎のノイズの成分を求めるようにすることができる。
Figure 2015083562
本技術の一側面の画像処理方法は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む。
本技術の一側面のプログラムは、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む処理をコンピュータに実行させる。
本技術の一側面の電子機器は、撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、前記信号処理部は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部とを備え、前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する。
本技術の一側面の画像処理装置、画像処理方法、およびプログラムにおいては、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分が、画像毎に推定される。その推定は、露光条件のノイズの成分の相互関係を利用した演算から、画像毎の周期的なノイズの成分を推定することで行われる。
本技術の一側面の電子機器においては、撮像素子から出力される画素信号に対して信号処理が行われ、その信号処理の1つの処理として、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分が、画像毎に推定され、推定されたノイズの成分が用いられて、画像からノイズを除去する補正が行われる。その推定は、露光条件のノイズの成分の相互関係を利用した演算から、画像毎の周期的なノイズの成分を推定することで行われる。
本技術の一側面によれば、フリッカなどの周期的なノイズの低減処理を簡易な構成で効率的に実行可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
フリッカの発生原理と補正について説明する図である。 フリッカの発生原理と補正について説明する図である。 フリッカの発生原理と補正について説明する図である。 本技術が適用される撮像装置の一実施の形態の構成を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間の画素の配置例を示す図である。 異なる露光時間について説明するための図である。 画像処理部の構成について説明するための図である。 感度別補間部の構成について説明するための図である。 HDR合成部の構成について説明するための図である。 フリッカ補正部の構成について説明するための図である。 フリッカ推定部の構成について説明するための図である。 フリッカ比について説明するための図である。 推定演算部の構成について説明するための図である。 推定演算部の他の構成について説明するための図である。 シャッター関数について説明するための図である。 フリッカ推定部の他の構成について説明するための図である。 周波数空間でのフリッカ成分の算出について説明するための図である。 記録媒体について説明するための図である。
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は、以下の順序で行う。
1.フリッカ発生原理と補正原理について
2.撮像装置の構成
3.画像処理部の構成について
4.フリッカ補正部の構成について
5.フリッカ比の算出について
6.フリッカ抑制の第1の実施の形態
7.フリッカ抑制の第2の実施の形態
8.フリッカ抑制の第3の実施の形態
9.記録媒体について
<フリッカ発生原理と補正原理について>
まず、図1以下を参照してフリッカ発生原理と補正原理について説明する。図1のAは、カメラで画像撮影を行う環境下の照明輝度の時間変化を表す。一般に商用電源は50Hz、あるいは60Hzの交流電源であるため、蛍光灯の光などの照明光は、100Hz、あるいは120Hzの周波数で揺らぎやすい。
なお、ここでは、フリッカを例に挙げて説明するが、フリッカのように、所定の周波数で発生するノイズなどに対しても、以下に説明する本技術を適用することはできる。
図1のAに示したグラフは、横軸が時間t、縦軸が、各時間tにおける照明の輝度f(t)である。時間tの照明光輝度f(t)は、照明光輝度の平均値fと、照明光輝度平均値からの変動f(t)に分解すると、以下のように表記できる。
f(t)=f+f(t) ・・・(1)
照明光輝度の平均値fは時間tによらず一定の値であり、平均値からの変動f(t)は照明の周波数に応じて、周期に変動する値となる。さらに、照明光の輝度をf(t)の周期をTとおくと以下の関係が成り立つ。
Figure 2015083562
フリッカ補正処理は、観測画像、すなわちカメラによって撮影された画像から、照明光輝度平均値からの変動f(t)の影響を取り除く処理である。
図1のBは、CMOSイメージセンサのように行ごとに撮像タイミングが異なる撮像素子の露光タイミングの模式図を表す。横軸が時間t、縦軸が撮像素子の行y、である。図に示す例は、一定間隔Sで、連続する画像フレームを撮影する場合の例であり、フレーム1と、フレーム2の2つの画像撮影時の露光タイミングを示している。各フレーム画像の撮影は、撮像素子の上位行から下位行に順次、露光が実行される。
各フレーム画像の撮影時の露光タイミングは、撮像素子の行毎に異なるため、蓄積する照明光の影響も行毎に異なる。例えば、露光時間Eの撮像素子の所定の画素の露光終了時間をtとする。フリッカの影響がある条件下での、その画素が露光する間の照明光の総和を、F(t,E)と置くと、F(t,E)は以下のように記述できる。
Figure 2015083562
フリッカのない理想的な条件下での、照明光の総和を、F(t,E)とする。F(t,E)は、フリッカの影響がないので、照明光輝度平均値からの変動f(t)=0となり、以下のように記述できる。
(t,E)=f×E ・・・(4)
ここで「フリッカ成分」を、フリッカのない理想的な画像と、フリッカの影響を受けた画像との比と定義する。フリッカ成分は、画素が蓄積する間の照明光の総量の比に等しい。従って、露光時間Eの撮像素子における露光終了時間tの画素のフリッカ成分g(t,E)は以下の式(5)に示すように定式化できる。
Figure 2015083562
図1のCは、横軸が、画像の各画素の露光終了タイミングt、縦軸が、フリッカ成分g(t,E)、これらの関係を模式的に表した図である。なお前述のとおり照明光は周期的に揺らぐためフリッカ成分も周期性をもっている。そのため一度、フリッカ成分g(t,E)を求めることが出来れば、基本的にはあらゆる露光終了タイミングtに対応するフリッカ成分g(t,E)を推定することが出来る。
なお、図1のBに示すように露光終了タイミングは、撮像素子の行単位で変化する。従って、図1のCに示すように、フリッカ成分g(t,E)は、各行の露光終了タイミングTに応じて異なる値となる。
図2のAは、フリッカの影響を受けた撮像素子の出力画像に発生するフリッカの影響の模式図である。行ごとに露光終了タイミングが異なるため、出力画像には行単位の明暗の縞模様が表れる。
図2のBは、出力画像の各行のフリッカ成分のグラフg(t0,y,E)を表している。t0は、1行目の露光を終える時刻を表し、yは注目する行を表す。撮像装置(カメラ)のデータ処理部は、画像撮影時の露光時間Eと、各行yの露光終了タイミングtに基づいて、図1のCのグラフからtに対応するフリッカ成分g(t,E)を算出することができる。
具体的には、所定の行の露光を終えてから、次の1つ下の行の露光を終えるまでの時間の単位を1[line]と定義する。このように定義した場合、g(t0,y,E)とg(t,E)は以下のように変換できる。
(t,y,E)=gt(t+y,E) ・・・(6)
撮像装置(カメラ)のデータ処理部は、画像撮影時の露光時間Eと、各行yの露光終了タイミングtに基づいて、図1のCのグラフからtに対応するフリッカ成分g(t,E)を算出することができる。例えば図2に示す第a行目の露光終了時間をtとすると、図1のCのグラフからtに対応するフリッカ成分g(t,E)を算出することができる。露光時間Eの撮像素子における露光終了時間tの画素のフリッカ成分g(t,E)がわかれば、撮像素子の各行のフリッカ成分g(y)を推定することが出来る。
図3は、フリッカの補正の原理を表している。図3には以下の各図を示している。
図3のA:フリッカ成分の含まれる画像(=図2のA)
図3のB:フリッカ補正係数(=図2のBの逆数)
図3のC:フリッカ補正画像(=図3のA×図3のB)
例えば前述した方法で、各行のフリッカ成分g(y)を計測し、図3のAに示す観測画像、すなわちカメラの撮影画像の各画素値に、図3のBに示すフリッカ成分g(y)の逆数を乗算することで、図3のCに示すフリッカの影響のない理想的な画像を求めることが出来る。
<撮像装置の構成>
本技術が適用される画像処理装置は、例えば広ダイナミックレンジ画像を生成するために、異なる露光時間に設定した複数の撮影画像を入力して、フリッカ成分を除去または低減した補正画像を生成して出力する。本技術が適用される画像処理装置は、例えば、異なる露光時間に設定した複数の撮影画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成して出力する。
本技術が適用される画像処理装置では、異なる露光時間に設定された複数の画像毎にフリッカ成分を算出する処理を実行しない。1つの露光時間の撮影画像に対してのみ、フリッカ成分の算出処理を実行し、この1つの露光時間の撮影画像に基づいて算出したフリッカ成分を利用して、その他の異なる露光時間に設定された撮影画像に含まれるフリッカ成分を推定する処理を実行する。そのような画像処理装置について説明する。
図4は、本技術が適用される画像処理装置の一実施の形態の構成を示す図である。ここでは、画像処理装置が含まれる撮像装置を例に挙げて説明する。
図4に示した撮像装置100は、光学レンズ101、撮像素子102、画像処理部103、信号処理部104、制御部105を含む構成とされている。図4に示した撮像装置100は、光学レンズ101を介して入射される光は撮像部、例えばCMOSイメージセンサなどによって構成される撮像素子102に入射し、光電変換による画像データを出力する。出力画像データは画像処理部103に入力される。
撮像素子102の出力画像は、各画素にRGBのいずれかの画素値が設定されたいわゆるモザイク画像である。画像処理部103は、上述したフリッカ補正処理、さらに、長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ(HDR:High Dynamic Range)画像の生成処理などを行う。
この画像処理部103の出力は、信号処理部104に入力される。信号処理部104は、例えばホワイトバランス(WB)調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像120を生成する。出力画像120は図示しない記憶部に格納される。あるいは表示部に出力される。
制御部105は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
なおここでは、撮像素子102、画像処理部103、信号処理部104、および制御部105を、それぞれ別のブロックとして図示し、説明を続けるが、これらの各部の全てまたは一部が一体化に構成されていても良い。
例えば、撮像素子102、画像処理部103、信号処理部104、および制御部105が積層構造とされ、一体化に構成されていても良い。また撮像素子102、画像処理部103、および信号処理部104が積層構造とされ、一体化に構成されていても良い。撮像素子102と画像処理部103が積層構造とされ、一体化に構成されていても良い。
また、図4に示した撮像装置100の構成に限らず、他の構成であっても良い。例えば、画像処理部103を複数の画像処理部に分割し、その一部が、撮像素子102と積層構造にされ一体化構成とされていても良い。
次に、撮像素子102の露光制御構成例について図5を参照して説明する。撮像装置100では、1枚の撮影画像に含まれる画素単位で、長時間露光画素と短時間露光画素を設定して、これらの画素間の合成処理(αブレンド)により、広ダイナミックレンジ画像を生成する。この露光時間制御は制御部105の制御によって行われる。
図5は、撮像素子102の露光時間設定例を示す図である。図5に示すように、撮像素子の構成画素は、第1の露光条件(短時間露光)に設定された画素、第2の露光条件(長時間露光)に設定された画素の2つの種類の画素に区分される。
図5において、斜線を付して記載した画素は、第1の露光条件で露光される画像であり、斜線を付さずに記載した画素は、第2の露光条件で露光される画素である。図5のように一つの撮像素子内に短時間露光画素と長時間露光画素のように異なる露光時間の画素を有する画素配列をSVE(Spatially Varying Exposure)配列と呼ぶ。
図5に示した画素配置は、1乃至8行、1乃至8列に配列されたR画素、G画素、B画素の配置である。図5に示したのは、イメージセンサの一部分であり、1乃至8行、1乃至8列に配列されたR画素、G画素、B画素以外の他の行、他の列に配列されたR画素、G画素、B画素についての構成も同様である。
以下の説明において、例えば、画素10(m,n)との記載を行うが、mは行を表し、nは列を表すとする。また行とは、水平信号線(不図示)が配置される水平方向とし、列とは、垂直信号線(不図示)が配置される垂直方向とする。例えば、画素200(2,1)とは、2行目の1列目に位置する画素であることを表す。また、ここで、左上の画素を、画素200(1,1)とし、この画素200(1,1)を基準として、各画素の位置を表す。他の図面においても、同様の記載を行う。
イメージセンサの水平方向(図5の左右方向であり、行方向)の構成を説明する。1行目には、第1の露光条件で露光されるR画素200(1,1)、G画素200(1,2)、G画素200(1,4)、R画素200(1,5)、G画素200(1,6)、G画素200(1,8)と、第2の露光条件で露光されるR画素200(1,3)、R画素200(1,7)が配置されている。
この場合、1行目には、R画素とG画素が、交互に配置されている。また1行目のR画素200は、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。また1行目のG画素200は、全て第1の露光条件で露光される画素とされている。
2行目には、第1の露光条件で露光されるB画素200(2,2)、B画素200(2,6)と、第2の露光条件で露光されるG画素200(2,1)、G画素200(2,3)、B画素200(2,4)、G画素200(2,5)、G画素200(2,7)、B画素200(2,8)が配置されている。
この場合、2行目には、G画素とB画素が、交互に配置されている。また2行目のB画素200は、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。また2行目のG画素200は、全て第2の露光条件で露光される画素とされている。
3行目は、第2の露光条件で露光されるR画素(3,1)から配置されている点が1行目と異なるが、1行目と同じくR画素とG画素が、交互に配置され、配置されているR画素200は、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置され、配置されているG画素200は、全て第1の露光条件で露光される画素とされている。
4行目は、第2の露光条件で露光されるG画素(4,1)、B画素200(4,2)から配置されている点が2行目と異なるが、2行目と同じくG画素とB画素が、交互に配置され、配置されているB画素200は、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置され、配置されているG画素200は、全て第2の露光条件で露光される画素とされている。
5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素が、それぞれ配置されている。
以下の説明においては、図5に示した画素配置を例に挙げて説明するが、本技術は、図5に示した画素配置に適用が限定されるのでなく、他の画素配置に対しても適用することができる。他の画素配置の例として、図6乃至図12を参照して説明する。
図6は、画素配置の他の例を示す図である。図6に示した画素配置のうちの1行目には、第1の露光条件で露光されるR画素210(1,1)、G画素210(1,2)、R画素210(1,3)、G画素210(1,4)、R画素210(1,5)、G画素210(1,6)、R画素210(1,7)G画素210(1,8)が配置されている。
この場合、1行目には、R画素とG画素が、交互に配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。
2行目には、第1の露光条件で露光されるG画素210(2,1)、B画素210(2,2)、G画素210(2,3)、B画素210(2,4)、G画素210(2,5)、B画素210(2,6)、G画素210(2,7)、B画素210(2,8)が配置されている。
この場合、2行目には、G画素とB画素が、交互に配置され、全ての画素が第1の露光条件(短時間露光)で露光される画素とされている。
3行目には、第2の露光条件で露光されるR画素210(3,1)、G画素210(3,2)、R画素210(3,3)、G画素210(3,4)、R画素210(3,5)、G画素210(3,6)、R画素210(3,7)G画素210(3,8)が配置されている。
この場合、3行目には、R画素とG画素が、交互に配置され、全ての画素が、第2の露光条件(長時間露光)で露光される画素とされている。
4行目には、第2の露光条件で露光されるG画素210(4,1)、B画素210(4,2)、G画素210(4,3)、B画素210(4,4)、G画素210(4,5)、B画素210(4,6)、G画素210(4,7)、B画素210(4,8)が配置されている。
この場合、4行目には、G画素とB画素が、交互に配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。
5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素が、それぞれ配置されている。
このような画素配置に対しても、本技術を適用できる。
図7は、画素配置の他の例を示す図である。図7に示した画素配置のうちの1行目には、第1の露光条件で露光されるR画素220(1,1)、G画素220(1,2)、R画素220(1,5)、G画素220(1,6)と、第2の露光条件で露光されるR画素220(1,3)、G画素220(1,4)、R画素220(1,7)G画素220(1,8)が配置されている。
この場合、1行目には、R画素とG画素が、交互に配置され、R画素とG画素のそれぞれは、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。
2行目には、第1の露光条件で露光されるG画素220(2,1)、B画素220(2,2)、G画素220(2,5)、B画素220(2,6)と、第2の露光条件で露光されるG画素220(2,3)、B画素220(2,4)、G画素220(2,7)B画素220(2,8)が配置されている。
この場合、2行目には、G画素とB画素が、交互に配置され、G画素とB画素のそれぞれは、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。
3行目は、第2の露光条件で露光されるR画素220(3,1)、G画素220(3,2)から配置されている点が1行目と異なるが、1行目と同じくR画素とG画素は、交互に配置され、配置されているR画素とG画素のそれぞれは、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。
4行目は、第2の露光条件で露光されるG画素220(4,1)、B画素220(4,2)から配置されている点が2行目と異なるが、2行目と同じく配置されているG画素とB画素は、交互に配置され、G画素とB画素のそれぞれは、第1の露光条件で露光される画素と第2の露光条件で露光される画素が交互に配置されている。
5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素が、それぞれ配置されている。
このような画素配置に対しても、本技術を適用できる。
図8は、画素配置の他の例を示す図である。図8に示した画素配置は、縦×横の2×2の4画素が、それぞれ同一の色とされ、市松配列で第1の露光条件の画素と第2の露光条件の画素が配置されている。
1行目と2行目に配置されている2×2の4画素のうち、R画素230(1,1)、R画素230(1,2)、R画素230(2,1)、R画素230(2,2)の4画素は、R(赤)画素であり、R画素230(1,1)とR画素230(2,2)は、第2の露光条件で露光される画素とされ、R画素230(1,2)とR画素230(2,1)は、第1の露光条件で露光される画素とされている。このような配置を有する赤色の4画素をR画素ブロックと記述する。
このようなR画素ブロックに隣接し、1行目と2行目に配置されている2×2の4画素のうち、G画素230(1,3)、G画素230(1,4)、G画素230(2,3)、G画素230(2,4)の4画素は、G(緑)画素であり、G画素230(1,3)とG画素230(2,4)は、第2の露光条件で露光される画素とされ、G画素230(1,4)とG画素230(2,3)は、第1の露光条件で露光される画素とされている。このような配置を有する緑色の4画素をG画素ブロックと記述する。
1行目と2行目には、R画素ブロックとG画素ブロックが交互に配置されている。
3行目と4行目には、G画素230(3,1)、G画素230(3,2)、G画素230(4,1)、G画素230(4,2)で構成されるG画素ブロックが配置されている。
G画素ブロックに隣接し、3行目と4行目に配置されている2×2の4画素のうち、B画素230(3,3)、B画素230(3,4)、B画素230(4,3)、B画素230(4,4)の4画素は、B(緑)画素であり、B画素230(3,3)とB画素230(4,4)は、第2の露光条件で露光される画素とされ、B画素230(3,4)とB画素230(4,3)は、第1の露光条件で露光される画素とされている。このような配置を有する青色の4画素をB画素ブロックと記述する。
3行目と4行目は、G画素ブロックとB画素ブロックが交互に配置されている。
5行目と6行目は、1行目と2行目と同じく、R画素ブロックとG画素ブロックが交互に配置されている。7行目と8行目は、3行目と4行目と同じく、G画素ブロックとB画素ブロックが交互に配置されている。
このような画素配置に対しても、本技術を適用できる。
図9は、画素配置の他の例を示す図である。図9に示した画素配置は、図8に示した画素配置と同じ色配置であるが、異なる露光条件を有する画素の配置が図8に示した画素配置と異なる。
1行目と2行目に配置されている2×2の4画素のうち、R画素240(1,1)、R画素240(1,2)、R画素240(2,1)、R画素240(2,2)で構成されるR’画素ブロックの4画素は、R画素240(1,1)とR画素240(1,2)が、第1の露光条件で露光される画素とされ、R画素240(2,1)とR画素240(2,2)が、第2の露光条件で露光される画素とされている。
このようなR’画素ブロックに隣接し、1行目と2行目に配置されている2×2の4画素のうち、G画素240(1,3)、G画素240(1,4)、G画素240(2,3)、G画素240(2,4)で構成されるG’画素ブロックの4画素は、G画素240(1,3)とG画素240(1,4)が、第1の露光条件で露光される画素とされ、G画素240(2,3)とG画素240(2,4)が、第2の露光条件で露光される画素とされている。
3行目と4行目には、G画素240(3,1)、G画素240(3,2)、G画素240(4,1)、G画素240(4,2)で構成されるG’画素ブロックが配置されている。
G’画素ブロックに隣接し、3行目と4行目に配置されている2×2の4画素のうち、B画素240(3,3)、B画素240(3,4)、B画素240(4,3)、B画素240(4,4)で構成されるB’画素ブロックの4画素は、B画素240(3,3)とB画素240(3,4)が、第1の露光条件で露光される画素とされ、B画素240(4,3)とB画素240(4,4)が、第2の露光条件で露光される画素とされている。
5行目と6行目は、1行目と2行目と同じく、R’画素ブロックとG’画素ブロックが交互に配置されている。7行目と8行目は、3行目と4行目と同じく、G’画素ブロックとB’画素ブロックが交互に配置されている。
図9に示した画素配置は、奇数行には第1の露光条件で露光する画素が配置され、偶数行には第2の露光条件で露光される画素が配置されている。
このような画素配置に対しても、本技術を適用できる。
図10は、画素配置の他の例を示す図である。図10に示した画素配置は、図8に示した画素配置と同じ色配置であるが、異なる露光条件を有する画素の配置が図8に示した画素配置と異なる。
1行目と2行目に配置されている2×2の4画素のうち、R画素250(1,1)、R画素250(1,2)、R画素250(2,1)、R画素250(2,2)で構成されるR”画素ブロックの4画素は、R画素250(1,1)とR画素250(2,1)が、第1の露光条件で露光される画素とされ、R画素250(1,2)とR画素250(2,2)が、第2の露光条件で露光される画素とされている。
このようなR”画素ブロックに隣接し、1行目と2行目に配置されている2×2の4画素のうち、G画素250(1,3)、G画素250(1,4)、G画素250(2,3)、G画素250(2,4)で構成されるG”画素ブロックの4画素は、G画素250(1,3)とG画素250(2,3)が、第1の露光条件で露光される画素とされ、G画素250(1,4)とG画素250(2,4)が、第2の露光条件で露光される画素とされている。
3行目と4行目には、G画素250(3,1)、G画素250(3,2)、G画素250(4,1)、G画素250(4,2)で構成されるG”画素ブロックが配置されている。
G”画素ブロックに隣接し、3行目と4行目に配置されている2×2の4画素のうち、B画素250(3,3)、B画素250(3,4)、B画素250(4,3)、B画素250(4,4)で構成されるB”画素ブロックの4画素は、B画素250(3,3)とB画素250(4,3)が、第1の露光条件で露光される画素とされ、B画素250(3,4)とB画素250(4,4)が、第2の露光条件で露光される画素とされている。
5行目と6行目は、1行目と2行目と同じく、R”画素ブロックとG”画素ブロックが交互に配置されている。7行目と8行目は、3行目と4行目と同じく、G”画素ブロックとB”画素ブロックが交互に配置されている。
図10に示した画素配置は、奇数列には第1の露光条件で露光する画素が配置され、偶数列には第2の露光条件で露光される画素が配置されている。
このような画素配置に対しても、本技術を適用できる。
図11は、画素配置の他の例を示す図である。図11に示した画素配置のうちの1行目には、第1の露光条件で露光されるG画素260(1,1)、R画素260(1,2)、G画素260(1,3)、B画素260(1,4)、G画素260(1,5)、R画素260(1,6)、G画素260(1,7)B画素260(1,8)が配置されている。
この場合、1行目には、R画素、G画素、B画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。
2行目には、第2の露光条件で露光されるB画素260(2,1)、G画素260(2,2)、R画素260(2,3)、G画素260(2,4)、B画素260(2,5)、G画素260(2,6)、R画素260(2,7)、G画素260(2,8)が配置されている。
この場合、2行目には、R画素、G画素、B画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。
3行目には、第1の露光条件で露光されるG画素260(3,1)、B画素260(3,2)、G画素260(3,3)、R画素260(3,4)、G画素260(3,5)、B画素260(3,6)、G画素260(3,7)R画素260(3,8)が配置されている。
この場合、3行目には、R画素、G画素、B画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。
4行目には、第2の露光条件で露光されるR画素260(4,1)、G画素260(4,2)、B画素260(4,3)、G画素260(4,4)、R画素260(4,5)、G画素260(4,6)、B画素260(4,7)、G画素260(4,8)が配置されている。
この場合、4行目には、R画素、G画素、B画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。
5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素が、それぞれ配置されている。
このような画素配置に対しても、本技術を適用できる。
上記したように、本技術は、撮像装置に適用でき、撮像装置に含まれる撮像素子として、例えば、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサなどを含む撮像装置に適用できる。そして、R(赤)、G(緑)、B(青)の各色光を出力する3個の画素が配列されているイメージセンサに適用できる。さらに、図12に示すように、R(赤)、G(緑)、B(青)、W(白)の各色光を出力する4個の画素が配列されているイメージセンサにも適用できる。
R(赤)、G(緑)、B(青)、W(白)の各色光を出力する4個の画素は、例えば、図12に示すように、表示領域にマトリクス状に配置される。W画素は、全整色性である分光感度の画素として機能し、R画素、G画素、B画素は、それぞれの色に特性のある分光感度の画素として機能する。
図12は、画素配置の他の例を示す図であり、W画素を含む画素配置の例である。図12に示した画素配置のうちの1行目には、第1の露光条件で露光されるG画素270(1,1)、R画素270(1,2)、W画素270(1,3)、B画素270(1,4)、G画素270(1,5)、R画素270(1,6)、W画素270(1,7)B画素270(1,8)が配置されている。
この場合、1行目には、R画素、G画素、B画素、W画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。
2行目には、第2の露光条件で露光されるR画素270(2,1)、W画素270(2,2)、B画素270(2,3)、G画素270(2,4)、R画素270(2,5)、W画素270(2,6)、B画素270(2,7)、G画素270(2,8)が配置されている。
この場合、2行目には、R画素、G画素、B画素、W画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。
3行目には、第1の露光条件で露光されるW画素270(3,1)、B画素270(3,2)、G画素270(3,3)、R画素270(3,4)、W画素270(3,5)、B画素270(3,6)、G画素270(3,7)R画素270(3,8)が配置されている。
この場合、3行目には、R画素、G画素、B画素、W画素が配置され、全ての画素が、第1の露光条件(短時間露光)で露光される画素とされている。
4行目には、第2の露光条件で露光されるB画素270(4,1)、G画素270(4,2)、R画素270(4,3)、W画素270(4,4)、B画素270(4,5)、G画素270(4,6)、R画素270(4,7)、W画素270(4,8)が配置されている。
この場合、4行目には、R画素、G画素、B画素、W画素が配置され、全ての画素が第2の露光条件(長時間露光)で露光される画素とされている。
5行目は、1行目と同じく、6行目は、2行目と同じく、7行目は、3行目と同じく、8行目は4行目と同じく、R画素、G画素、B画素、W画素が、それぞれ配置されている。
このような画素配置に対しても、本技術を適用できる。
図5乃至図12を参照して説明した画素配置は、一例であり、説明していない画素配置に対しても本技術を適用することはできる。
また、1枚の画像を撮像するとき、上記したように、短時間露光(第1の露光条件)と、長時間露光(第2の露光条件)を同時に撮影する場合を例に挙げて説明を続けるが、短時間露光用の画素と、長時間露光用の画素を分けずに、通常の画素で短時間露光の画像と長時間露光の画像を交互に撮影し、短時間露光時の画像と長時間露光時の画像を取得するようにした場合にも本技術を適用できる。
この場合、撮影のタイミングが異なるため、以下に説明するフリッカ補正時の演算に用いられる行列は、この撮影のタイミングを考慮した行列とすることで、本技術を適用することができる。
また、上記した例では、短時間露光と長時間露光の2種類の露光時間で撮影を行う撮影装置を例に挙げて説明したが、3種類以上の露光時間の撮影画像が組み合わされる撮影装置に対しても本技術を適用することはできる。
3種類以上の露光時間の撮影画像が組み合わせる場合、第1の露光画像と第2の露光画像から第1のフリッカ成分を推定し、第1のフリッカ成分から第3のフリッカ成分を変換して推定してもよい。また第1の露光画像、第2の露光画像、第3の露光画像すべて合わせて行列を生成して解くこともできる。フリッカ成分の求め方については、後述する。
また上記した実施の形態においては、撮像素子の画素の分光感度をRGBまたはRGB+Wとする場合における例について説明したが、その分光感度がどうであるかは本技術を用いるうえでの制約とはならない。すなわち、RGBやRGB+W以外の分光感度を有する画素を用いるようにしてもよい。例えば、Y(イエロー)、C(シアン)、M(マゼンタ)等の補色系にGを加えた4行の組み合わせでもよい。
以下の説明では、図5に示した画素配置を例に挙げて説明する。
図13に各画素の露光時間の設定例を示す。第1の露光条件(短時間露光)の設定された画素は短時間の露光処理がなされる。第2の露光条件(長時間露光)の設定された画素は長時間の露光処理がなされる。なお、この画素単位の露光制御は、例えば図4に示す撮像装置100の制御部105が、制御信号を撮像素子102に出力することで行われる。
<画像処理部の構成について>
次に、図4に示した撮像装置100の画像処理部103の詳細について説明する。まず、図14を参照して画像処理部103の実行する処理について説明する。画像処理部103は、図14に示すように、感度別補間部311、フリッカ補正部312、HDR合成部(広ダイナミックレンジ画像合成部)313を有する。
感度別補間部311では、図5に示したような1つの撮像素子内に短時間露光画素と長時間露光画素を有するSVE配列の画像を入力し、画面全体が短時間露光の第1露光画像141と、画面全体が長時間露光の第2露光画像142を生成して出力する。出力する画像の色配列は、入力する画像の色配列と同等(本例ではベイヤ配列)でもよいし、1画素位置にRGBそろったデモザイク後の画像でもよい。ここでは、出力画像の色配列は入力画像の色配列と同等(本例ではベイヤ配列)とした例を説明する。
図15に、感度別補間部311の詳細構成例を示す。感度別補間部311は、図11に示すように、短時間露光画素または長時間露光画素、いずれかの感度の画素のみを抽出する抽出部331,332、各感度の画素を利用して、他感度の画素部分の画素値を設定して、低感度画素(短時間露光画素)のみからなる第1露光画像141と、高感度画素(長時間露光画素)のみからなる第2露光画像142を生成する補間処理部333,334を有する。
抽出部331,332で周辺画素から、補間したい感度・色の画素を抽出し、補間処理部333,334で補間処理を行う。なお、補間は、生成する画像に応じた感度の画素値に対して単純なLPFを用いる手法や、周囲の画素から画像のエッジ方向を推定しエッジに沿った方向の画素値を参照画素値として補間する手法等が利用可能である。
感度別補間部311では、図15の構成を適用して、図4に示すような撮像素子内に長時間露光画素と短時間露光画素を有するSVE配列の画像を入力し、画面全体が短時間露光の第1露光画像141と、画面全体が長時間露光の第2露光画像142を生成して出力する。
図14に示した画像処理部103の説明に戻る。感度別補間部311から出力された第1露光画像141と第2露光画像142は、フリッカ補正部312に供給される。フリッカ補正部312は、フリッカの成分を抑制したフリッカ補正第1露光画像143とフリッカ補正第2露光画像144を生成し、HDR合成部313に供給する。
フリッカ補正部312の構成や動作については、第1乃至第3の実施の形態として詳細は後述し、先に、図14に示した画像処理部103の構成、動作についての説明を続ける。
HDR合成部(広ダイナミックレンジ画像合成部)313は、図16に示すような構成を有し、HDR合成を行う。図16に示したHDR合成部313は、露出補正部351,352、ブレンド係数算出部353、ブレンド処理部354を有する。
露出補正部351,352は、露光時間に応じた定数を乗じることでフリッカ補正第1露光画像143と、フリッカ補正第2露光画像144の対応画素の明るさを合わせる。例えば、露光比が1:2の場合、短時間露光画像であるフリッカ補正第1露光画像143の画素値に2を乗じ、長時間露光画像であるフリッカ補正第2露光画像144の画素値に1を乗じる。
ブレンド係数算出部353は、短時間露光画像であるフリッカ補正第1露光画像143の露出補正後の画素値と長時間露光画像であるフリッカ補正第2露光画像144の露出補正後の画素値を、各対応画素単位でどの程度の割合でブレンドすればよいかを示すブレンド係数を算出する。
このブレンド係数算出においては、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きく設定するブレンド係数を設定する。このような係数設定処理により、低輝度領域から高輝度領域に至る画素値をより高精度に表現することが可能となる。
ブレンド処理部354は、ブレンド係数算出部353の算出したブレンド係数に応じて、露出補正されたフリッカ補正第1露光画像143と、露出補正されたフリッカ補正第2露光画像144の対応画素値とのブレンド処理を実行してフリッカ補正HDR画像145の各画素値を設定する。
なお、露出補正されたフリッカ補正第1露光画像143の画素値をS、露出補正されたフリッカ補正第2露光画像144の画素値をL、ブレンド係数をα、ただし、0≦α≦1、としたとき、フリッカ補正HDR画像231の画素値Hは以下の式によって算出される。
H=(1−α)×S+α×L
HDR合成部(広ダイナミックレンジ画像合成部)313は、これらの処理によって、低輝度領域から高輝度領域に至る画素値をより高精度に表現したフリッカ補正HDR画像145を生成して出力する。
このHDR合成部(広ダイナミックレンジ画像合成部)313における異なる露光時間の画像の合成処理によるHDR画像が生成される。すなわち、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きく設定したブレンド処理が実行され、低輝度領域から高輝度領域に至る画素値をより高精度に表現したHDR(広ダイナミックレンジ)画像が生成されて出力される。
後述するように、本開示の画像処理装置においては、複数の異なる露光時間の画像を入力して広ダイナミックレンジ(HDR)画像を生成する構成において、1つの基準露光画像に対応するフリッカ成分のみを算出して、その基準露光画像のフリッカ成分に応じて他の露光時間の画像のフリッカ成分を推定算出する構成としたので、各露光時間に応じた各画像個別にフリッカ成分の算出処理を行う必要がなくなり、効率的な処理が実現される。
なお、図15に示した感度別補間部311や、図16に示したHDR合成部313は、一例であり、第1の露光条件の画素と、第2の露光条件の画素の配置、例えば、図5に示したような画素の配置に依存して、他の構成を有するようにすることも可能である。また、以下に説明するフリッカ補正部312における処理に依存して、フリッカ補正部312における処理の前後で処理を行う感度別補間部311やHDR合成部313の構成が、他の構成とされるようにしても、本技術を適用できる。
<フリッカ補正部の構成について>
図17は、フリッカ補正部312の内部構成例を示す図である。フリッカ補正部312は、補正に係わる演算により、複数の実施の形態があり、以下に第1乃至第3の実施の形態を例に挙げて説明するが、第1乃至第3の実施の形態において共通する構成について、図17を参照して説明する。
また第1と第2の実施の形態においては、フリッカ比という比を用いた演算を行い、第3の実施の形態に置いては、比を用いない演算を行うことで、画像毎のフリッカ成分を推定する。また、第1乃至第3の実施の形態においては、異なる露光条件において撮影された画像に含まれるフリッカなどの周期性を有するノイズの相互関係を利用した演算を行うことで、画像毎のノイズの成分を推定する点は共通している。
図17に示したフリッカ補正部312は、フリッカ推定部371、第1露光画像フリッカ補正部372、および第2露光画像フリッカ補正部373を含む構成とされている。フリッカ推定部371は、図18に示すような構成を有し、入力される第1露光画像141と第2露光画像142から、第1フリッカ成分381と第2フリッカ成分382を生成する。
フリッカ推定部371により生成された第1フリッカ成分381は、第1露光画像フリッカ補正部372に供給される。第1露光画像フリッカ補正部372には、第1露光画像141も供給される。第1露光画像フリッカ補正部372は、第1露光画像141に対して、行毎に、推定された第1フリッカ成分381の逆数を乗算することで、フリッカ補正を行い、フリッカ補正第1露光画像143を出力する。
同様に、フリッカ推定部371により生成された第2フリッカ成分382は、第2露光画像フリッカ補正部373に供給される。第2露光画像フリッカ補正部373には、第2露光画像142も供給される。第2露光画像フリッカ補正部373は、第2露光画像142に対して、行毎に、推定された第2フリッカ成分382の逆数を乗算することで、フリッカ補正を行い、フリッカ補正第2露光画像144を出力する。
このようにして補正されたフリッカ補正第1露光画像143とフリッカ補正第2露光画像144は、HDR合成部313(図14)に出力される。
図18は、図17に示したフリッカ推定部371の内部構成例を示す図である。図18に示したフリッカ推定部371は、積分値算出部401、積分値算出部402、除算部403、および推定演算部404を備える構成とされている。
積分値算出部401には、第1露光画像141が供給され、積分値算出部402には、第2露光画像142が供給される。積分値算出部401は、第1露光画像141を水平方向に積分し、その積分値を除算部403に出力する。同様に積分値算出部402は、第2露光画像142を水平方向に積分し、その積分値を除算部403に出力する。
積分値算出部401と積分値算出部402は、それぞれ第1露光画像141と第2露光画像の積分値を算出するが、全画素を対象として処理を行っても良いし、所定の領域内の画素を対象として処理を行っても良い。
また、第1露光画像141と第2露光画像142のいずれかの画素が飽和している位置の画素は、積分演算に用いないようにしても良い。例えば、積分を行うときに用いられる部分は、白飛び、黒つぶれ、被写体部分などを含まない部分とすることができる。
除算部403には、第1露光画像141から算出された積分値(第1積分値とする)が、積分値算出部401から供給され、第2露光画像142から算出された積分値(第2積分値とする)が、積分値算出部402から供給される。除算部403は、供給された第1積分値を第2積分値で除算することで、フリッカ比を求める。求められたフリッカ比411は、推定演算部404に供給される。
推定演算部404は、フリッカ比411から、第1フリッカ成分381と第2フリッカ成分382を、それぞれ算出する。ここで、フリッカ比411の算出について説明する。
なおフリッカ比は、それぞれの画像のフリッカ成分の比であり、ここでは、第1のフリッカ成分381と第2のフリッカ成分の382の比であるとして説明を続ける。また、フリッカのように、所定の周期を有するノイズの除去を目的とした場合、画像毎のノイズの成分の比が、以下に説明するフリッカ比に相当し、以下に説明するフリッカ比と同様にして、ノイズの成分の比を算出することができる。
<フリッカ比の算出について>
ここで、図19を参照し、フリッカ比について説明する。図19のAは、第1露光画像141と第2露光画像142を表し、フリッカの影響で、画像上に縞模様が載っている画像となっている例を示している。
第1露光画像141の有効な部分について水平方向に積分を行った場合の結果の一例を、図19のBの上側に示す。また、第2露光画像142の有効な部分について水平方向に積分を行った場合の結果の一例を、図19のBの下側に示す。積分を行うときの有効な部分とは、白飛び、黒つぶれ、被写体部分などを含まない部分である。
積分した水平方向の同位置毎に比を取ると、図19のCに示したようにフリッカ比が求められる。
露光レベルが揃うように、片方の積分値に対してゲインを掛けることにより、フリッカ成分以外の被写体成分が2つの画像で揃うことになりキャンセルされる。これにより、純粋に2つの画像中のフリッカ成分だけを考慮すれば良くなるので、その後のフリッカ成分の推定の精度を向上させることが可能となる。
なお、図19では、一例として画像の縦座標毎にフリッカ比を算出しているが、例えば、フリッカの周期が既知である場合、フリッカの周期分だけ座標を設け、同一位相の積分値は同じ座標に積分する構成とすることもできる。
このようなフリッカ比の算出について、さらに説明を加える。露光画像の一番上の行の露光終了時刻をtとし、露光時間Eとしたときのフリッカの影響を受けた観測画像は以下のように表される。
I(x,y,t,E)=I(x,y)×E×g(t+y,E)
・・・(7)
式(7)において、I(x,y)は、単位露光時間でのフリッカの影響のない真の画像の値である。
上記してきたように、短時間露光を第1の露光条件とし、長時間露光を第2の露光条件としたとき、露光時間と露光終了時刻は、以下のように定義する。
第1の露光条件:露光時間がE、一番上の行の露光終了時刻をt
第2の露光条件:露光時間がE、一番上の行の露光終了時刻をt
とする。またE≦Eである。
また、第1の露光条件で撮影された画像と第2の露光条件で撮影された画像を、それぞれ上記した式(7)を用いて簡便に表すと、次式(8)のように表記できる。
(x,y)=I(x,y,t,E
(x,y)=I(x,y,t,E) ・・・(8)
このようにした定義した場合、フリッカ比は、以下のように求めることができる。
フリッカ比は、第1の露光条件のフリッカ成分と第2の露光条件のフリッカ成分の比であると定義する。フリッカ比は、次式(9)で、2つの露光画像から求めることが出来る。
Figure 2015083562
ただし、飽和画素の影響を避けるため、積分する領域は、第1の露光条件の第1露光画像141と第2露光条件の第2露光画像142のいずれも飽和していない領域(Ω)とし、積分が実行される。
図18に示したフリッカ推定部371の積分値算出部401、積分値算出部402、および除算部403の各部における演算は、式(9)における演算に基づいて行われる。このようにしてフリッカ比411が算出される。
式(9)より、次式(10)の関係式が定められる。
12(y)×g(y+t,E)=g(y+t,E
・・・(10)
式(10)より、式(9)に基づきフリッカ比が求められれば、一方のフリッカ成分(例えば、第2フリッカ成分382)から、他方のフリッカ成分(例えば、第2フリッカ成分381)を求めることができることがわかる。
<フリッカ抑制の第1の実施の形態>
第1の実施の形態として、実空間での解法で、フリッカ成分を求める場合について説明する。図20は、第1の実施の形態におけるフリッカ補正部312内のフリッカ推定部371の推定演算部404の内部構成例を示す図である。
図20に示した推定演算部404は、行列生成部431、行列演算部432、およびフリッカ成分変換部433を含む構成とされている。行列生成部431は、入力されるフリッカ比411から、以下に説明する行列を生成し、行列演算部432は、その行列を演算する。行列を演算することで、第1フリッカ成分381が生成される。
行列演算部432からの第1フリッカ成分381は、フリッカ成分変換部433にも供給される。フリッカ成分変換部433は、供給される第1フリッカ成分381から、第2フリッカ成分382を生成する。
この実施の形態においては、一方のフリッカ成分から他方のフリッカ成分が生成される。ここでは、短時間露光(第1の露光条件)時に得られる第1露光画像141から求められる第1フリッカ成分381から、長時間露光(第2の露光条件)時に得られる第2露光画像142に含まれる第2フリッカ成分382が生成されるとして説明を続けるが、第2フリッカ成分382から、第1フリッカ成分381が生成されるように構成することも可能である。
このように、一方のフリッカ成分から他方のフリッカ成分を求めるための演算などは、本出願人が先に出願した特願2012-90897号に記載されている演算などを適用することができる。特願2012-90897号には、長時間露光(第2の露光条件)時のフリッカ成分g(y+t,E)は、短時間露光(第1の露光条件)時のフリッカ成分g(y+t,E)の線形和で表記できることが記載されている。
すなわち、フリッカ成分をベクトル表記すると次式(11)に示すようになる。
Figure 2015083562
式(11)において、行列tは、特願2012-90897号で表した演算を行列表記したものである。簡単のために以下のように表記する。式(12)において、gは、第1フリッカ成分381を表し、gは、第2フリッカ成分382を表す。
=tg ・・・(12)
上記した式(10)を、式(11)、式(12)を用いて表すと、以下のようになる。
Figure 2015083562
式(13)において行列rは、画像から測定でき、行列tは、第1の露光条件と第2の露光条件の相互関係から求めることができる。そこで以下の2式から第1フリッカ成分381と第2フリッカ成分382を求める。次式(14)の上に示した式は、式(12)であり、下に示した式は、式(13)である。
=tg
rg=g ・・・(14)
解法1として、式(14)から、次式(15)が導き出されることを利用してフリッカ成分g,gを求める。
rtg=g ・・・(15)
式(15)より、行列rtの固有値1の固有ベクトルが求まれば、第1の露光条件(短時間露光)のフリッカ成分g(第1フリッカ成分381)を求めることができる。一般に固有ベクトルは、定数倍の任意性があるが、フリッカ成分は、平均値が約1となるため第1フリッカ成分381は一意に求めることができる。第1フリッカ成分381が求められれば、その第1フリッカ成分381から第2フリッカ成分382を求めることができる(例えば、特願2012-90897号に開示されている技術を適用できる)。
解法2として、式(14)を、次式(16)のように1つの行列として表記する。
Figure 2015083562
式(16)を満たす第1フリッカ成分381と第2フリッカ成分382を最小二乗推定で求めれば良い。式(16)において、tは短時間露光時のフリッカ成分を長時間露光時のフリッカ成分に変換する際の係数であり、rは、式(9)で示したフリッカ比であり、画像から求めることができる値である。
Iは、画素値であり、画像から求めることができる値である。よって、式(16)における第1項内の数値は、画像などから求めることができる値である。このことから式(16)の式から、第1フリッカ成分381と第2フリッカ成分382を最小二乗推定で求めることができることがわかる。
解法1、解法2のどちらかを適用すれば、第1フリッカ成分381と第2フリッカ成分382をそれぞれ求めることができる。
解法1を適用した場合、図20に示した推定演算部404の行列生成部431は、式(15)で示した行列rtを生成し、行列演算部432は、生成された行列rtを用いた行列演算を行い、フリッカ成分g(第1フリッカ成分381)を生成する。
具体的には、行列演算部432は、行列rtの固有値1の固有ベクトルを求める。この求められた固有ベクトルは、第1フリッカ成分381となる。なお、固有ベクトルの平均値は、1となるように制約が付けられる。フリッカ成分変換部433は、式(14)に示したg=tgという関係式に基づき、第1フリッカ成分381から第2フリッカ成分382を生成する。
解法2を適用した場合、行列生成部431において、式(16)に示した行列が生成され、その行列が、行列演算部432により演算される。行列演算部432による演算で、第1フリッカ成分381が生成され、フリッカ成分変換部433により第2フリッカ成分382が生成される。例えば、行列演算部432は、最小二乗法により所定の関数を求め、第1フリッカ成分381を算出し、フリッカ成分変換部433は、所定の関数と第1フリッカ成分381から、第2フリッカ成分382を算出するようにすることができる。
なお、図20では、行列演算部432とフリッカ成分変換部433を異なるブロックで示したが、同一のブロックとしても良い。換言すれば、一方が算出された後、他方が算出されることを明確に示すために、行列演算部432とフリッカ成分変換部433を分けて図示、説明した。
しかしながら、演算の仕方などにより、行列演算部432とフリッカ成分変換部433を1つのブロックとし、そのブロック内で、一方のフリッカ成分が生成され、そのフリッカ成分から他方のフリッカ成分が生成され、最終的にそのブロックから第1フリッカ成分381と第2フリッカ成分382が出力されるような構成とすることも可能である。
このように、実空間での解法を適用し、露光条件の異なる2枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる2枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された2枚の画像から、高ダイナミックレンジの1枚の画像を生成することが可能となる。
<フリッカ抑制の第2の実施の形態>
次に第2の実施の形態として、複素空間での解法で、フリッカ成分を求める場合について説明する。図21は、第2の実施の形態におけるフリッカ補正部312内のフリッカ推定部371の推定演算部404’の内部構成例を示す図である。なおここでは、図20に示した第1の実施の形態における推定演算部404と区別を付けるために、第2の実施の形態における推定演算部404’には、ダッシュを付して説明する。
図21に示した推定演算部404’は、フーリエ級数変換部461、行列生成部462、行列演算部463、フーリエ級数逆変換部464、フリッカ成分変換部465、フーリエ級数逆変換部466を備える構成とされている。
推定演算部404’のフーリエ級数変換部461には、フリッカ比411が供給される。フーリエ級数変換部461は、供給されたフリッカ比411をフーリエ級数展開する。フーリエ級数変換部461のフーリエ級数の基準周波数は、フリッカの周波数と同じ値とすることができる。
例えば、蛍光灯などが原因とされるフリッカの場合、フーリエ級数変換部461のフーリエ級数の基準周波数は、100Hzあるいは120Hzとされる。また、周期的なノイズの除去を目的とした場合、そのノイズの周期に適した周波数が、フーリエ級数の基準周波数とされる。
行列生成部462は、後述する行列RTを求める。行列演算部463は、行列生成部462で生成された行列RTの固有値1の固有ベクトルを、G(0)=1とし、かつ、
Figure 2015083562
が複素共役となる条件下で求める。
行列演算部463で算出された値は、第1フリッカ成分381をフーリエ級数展開した値となっている。この値を、フーリエ級数逆変換部464でフーリエ級数逆変換を行うことで、第1フリッカ成分381が求められる。
行列演算部463からの、第1フリッカ成分381をフーリエ級数展開した値は、フリッカ成分変換部465にも供給される。フリッカ成分変換部465は、第1のフリッカ成分をフーリエ級数展開した値に、変換係数T12(ω)を乗算することにより、第2フリッカ成分382をフーリエ級数した値を生成する。
フリッカ成分変換部465で変換された値は、フーリエ級数逆変換部466に供給され、フーリエ級数逆変換が行われ、第2フリッカ成分382とされる。
このように、周波数空間(複素空間)で解くことで、より少ない演算でフリッカ成分を求めることができる。この演算に関し、説明を加える。
フリッカ比とフリッカ成分には、以下の関係式(10)が成り立つことは上記した。
12(y)×g(y+t,E)=g(y+t,E
・・・(10)
この式(10)の両辺をフーリエ変換すると、乗算が畳み込み演算となるため、次式(17)となる。なおここでは基本的に、実空間での表記は小文字を用いて行い、周波数空間での表記は、大文字を用いて行う。
Figure 2015083562
式(17)において、G(ω)は、第1フリッカ成分381をフーリエ変換した値を示し、G(ω)は、第2フリッカ成分382をフーリエ変換した値を示す。また、後述するように、G(ω)とG(ω)は、次式(18)のように、第1の露光条件と第2の露光条件から求められる値T12(ω)を用いて表される。
Figure 2015083562
式(17)と式(18)から、次式(19)が求められる。
Figure 2015083562
さらに、式(19)を行列で表記すると、畳み込み演算が巡回行列となるため、次式(20)で表すことができる。
Figure 2015083562
式(12)においては、R12(ω)=Rω、T12(ω)=Tωと略記してある。また負の周波数の値は、正の周波数の値の複素共役となるため、
Figure 2015083562
と表記してある。
式(19)または式(20)を、次式(21)のように表記する。
RTG=G ・・・(21)
式(21)から、行列RTの固有値1の固有ベクトルは、
Figure 2015083562
が複素共役となる条件下で求めれば良い。
ただし、一般に固有ベクトルは、任意の定数倍しでも同じく固有ベクトルとなりうる。しかしながら、フリッカ成分は、平均値が1となるため、
(0)=1
となり、既知となるため、一意に解を求めることができる。
さらに、複素空間において第1フリッカ成分381から第2フリッカ成分382を推定する手法について説明を加える。
フリッカ成分は、次式(22)のように表記できる。
Figure 2015083562
式(22)は、光源の揺らぎとシャッター関数との畳み込み演算を用いて、次式(23)のように表記することができる。
Figure 2015083562
式(23)において、f’(t)は、図22のAに示すように、光源の揺らぎf(t)を平均値が1となるように正規化したものである。また、式(23)において、シャッター関数s(t,E)は、図22のBに示すような関数とする。図22のBに示した関数は、時刻が0からEまでの間は、1/Eの値を有し、その他の時刻では、0の値を有する関数である。
フリッカ成分を周波数空間に変換して演算する。gt(t,E)を周波数空間で表現すると、畳み込み演算が乗算になるため、次式(24)のようになる。
Figure 2015083562
さらに第1の露光条件のフリッカ成分と第2の露光条件のフリッカ成分を周波数空間で表現したものを、それぞれ、G(ω)、G(ω)と定義すると、G(ω)とG(ω)は、それぞれ次式(25)のようになる。
Figure 2015083562
式(25)から、G(ω)は、G(ω)を用いて、次式(26)のように表すことができる。
Figure 2015083562
式(26)において、s(ω,E)は、シャッター関数s(t,E)の周波数空間上での表記であり、次式(27)のようになる。
Figure 2015083562
式(26)からわかるように、第2フリッカ成分382のフーリエ級数展開した値(G(ω))は、第1フリッカ成分381のフーリエ級数展開した値(G(ω))から算出することができる。フリッカ成分変換部465(図21)においては、式(26)に基づく演算が行われることで、第2フリッカ成分382のフーリエ級数展開した値が算出される。
また行列生成部462は、式(20)、式(21)における行列RTを生成し、行列演算部462は、行列RTの固有値1の固有ベクトルを算出する。この算出される固有ベクトルは、第1フリッカ成分381をフーリエ級数展開した値であるので、フーリエ級数逆変換部464にて、フーリエ級数逆変換が行われることで、第1フリッカ成分381が算出される。
一方で、上記したように、フリッカ成分変換部465は、式(26)に基づく演算を行うことで、第1フリッカ成分381を第2フリッカ成分382に変換する。この変換された値は、第2フリッカ成分382をフーリエ級数展開した値であるので、フーリエ級数逆変換部466にて、フーリエ級数逆変換が行われることで、第2フリッカ成分382が算出される。
このように、複素空間での解法を適用し、露光条件の異なる2枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる2枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された2枚の画像から、高ダイナミックレンジの1枚の画像を生成することが可能となる。
<フリッカ抑制の第3の実施の形態>
第1の実施の形態と第2の実施の形態においては、第1の露光条件で露光されて撮影された画像のフリッカ成分と、第2の露光条件で露光されて撮影された画像のフリッカ成分とのフリッカ比を用いて、第1フリッカ成分381と第2フリッカ成分382を算出し、フリッカ成分を抑制する場合を例に挙げて説明した。
次に、第3の実施の形態とし、フリッカ比を用いずに、第1フリッカ成分381と第2フリッカ成分382を算出する場合を例に挙げて説明する。
図23は、フリッカ推定部371’の構成を示す図である。図23に示したフリッカ推定部371’と、図18に示したフリッカ推定部371を区別するために、図23に示したフリッカ推定部371’にはダッシュを付して記載する。また図23に示したフリッカ推定部371’は、図17に示したフリッカ補正部312を構成するフリッカ推定部371である。
図23に示したフリッカ推定部371’は、積分値算出部501、積分値算出部502、フーリエ級数変換部503、フーリエ級数変換部504、推定演算部505、フーリエ級数逆変換部506、およびフーリエ級数逆変換部507から構成されている。
積分値算出部501には、第1露光画像141が供給され、積分値算出部502には、第2露光画像142が供給される。積分値算出部501は、第1露光画像141を水平方向に積分し、その積分値をフーリエ級数変換部503に出力する。同様に積分値算出部502は、第2露光画像142を水平方向に積分し、その積分値をフーリエ級数変換部504に出力する。
積分値算出部501と積分値算出部502は、それぞれ第1露光画像141と第2露光画像の積分値を算出するが、全画素を対象として処理を行っても良いし、所定の領域内の画素を対象として処理を行っても良い。
また、第1露光画像141と第2露光画像142のいずれかの画素が飽和している位置の画素は、積分演算に用いないようにしても良い。例えば、積分を行うときに用いられる部分は、白飛び、黒つぶれ、被写体部分などを含まない部分とすることができる。
フーリエ級数変換部503は、第1露光画像141の積分値に、適切な窓関数をかけてフーリエ級数展開し、第1露光画像141の周波数表記J 1(ω)(詳細は後述)を求める。同様にフーリエ級数変換部504は、第2露光画像142の積分値に、適切な窓関数をかけてフーリエ級数展開し、第2露光画像142の周波数表記J (ω)を求める。なお窓関数は、フーリエ変換等で一般に用いられるもので、例えば、ハン窓などを使用することができる。
推定演算部505には、フーリエ級数変換部503から、第1露光画像141の周波数表記J 1(ω)が供給され、フーリエ級数変換部504から、第2露光画像142の周波数表記J (ω)が供給される。推定演算部505は、行列Qを生成し、光源の揺らぎ成分F’を求める。さらに推定演算部505は、第1フリッカ成分381のフーリエ級数展開した値と、第2フリッカ成分382をフーリエ級数展開した値を求める。
推定演算部505で求められた第1フリッカ成分381のフーリエ級数展開した値は、フーリエ級数逆変換部506に供給され、フーリエ級数逆変換が行われ、第1フリッカ成分381とされる。同様に、推定演算部505で求められた第2フリッカ成分382のフーリエ級数展開した値は、フーリエ級数逆変換部507に供給され、フーリエ級数逆変換が行われ、第2フリッカ成分382とされる。
第3の実施の形態においても、第2の実施の形態と同じく、周波数空間(複素空間)で解くことで、より少ない演算でフリッカ成分を求めることができる。この演算に関し、説明を加える。
図24は、積分値算出部501,502、フーリエ級数変換部503,504の処理内容を表し、各露光条件の画像の周波数空間での表記、J (ω) ,J(ω)を求める過程を表す。図24のAは、第1露光画像141と第2露光画像142を表し、フリッカの影響で、画像上に縞模様が載っている画像となっている例を示している。
第1露光画像141の有効性な部分について水平方向に積分を行った場合の結果の一例を、図24のBの上側に示す。また、第2露光画像142の有効性な部分について水平方向に積分を行った場合の結果の一例を、図24のBの下側に示す。積分を行うときの有効な部分とは、白飛び、黒つぶれ、被写体部分などを含まない部分である。
算出された積分値に対して、適切な窓関数をかけて、フーリエ級数展開が行われる。フーリエ級数は、0 ×ωk、…、2M ×ωk、までの周波数の値が算出される。その結果、第1露光画像141の周波数表記J (ω)と、第2露光画像142の周波数表記J (ω)が、それぞれ得られる(図24のC)。
このような演算について、さらに説明を加える。第1の露光条件で撮影された第1露光画像141と、第2の露光条件で撮影された第2露光画像142は、それぞれ以下のように表される。
(x,y)=I(x,y)×E×g(t+y,E
(x,y)=I(x,y)×E×g(t+y,E
・・・(28)
式(28)より、次式(29)が成り立つ。
(x,y)×E×g(t+y,E
―I(x,y)×E×g(t+y,E)=0
・・・(29)
式(29)を周波数空間で表記すると、次式(30)となる。
Figure 2015083562
式(30)において、J(ω)は、I(x,y)を水平方向に積分した値、すなわち、第1露光画像141を水平方向に積分した値を、周波数空間で表記したものである。同様に、J(ω)は、I(x,y)を水平方向に積分した値、すなわち、第2露光画像142を水平方向に積分した値を、周波数空間で表記したものである。
フリッカ成分G(ω)と、フリッカ成分G(ω)を、式(30)に代入すると、次式(31)となる。
Figure 2015083562
式(31)は、線形な式であり、行列として、次式(32)のように表記することができる。
F’−EF’=0
(E−E)F’=0 ・・・(32)
式(32)におけるJ、S、P、F’は、それぞれ次式(33)乃至(36)で表される行列である。なお、J、S、Pも同様に表記できるため、ここではその表記を省略する。
Figure 2015083562
Figure 2015083562
Figure 2015083562
Figure 2015083562
式(33)乃至(36)において、ωは、フリッカの基本周波数であり、通常は、100Hzや120Hzに相当する値となる。所定の周期のノイズを除去する場合には、その周期に相当する周波数とされる。また、光源の波形は、基本周波数ωfのM倍までの周波数を含むと想定している。一般的な光源であればMは1である。また光源によっては高周波の時間変化の成分も持つためMが1より大きくなることもある。
ここで式(32)を、次式(33)のように表記する。
QF’=0
Q=E−E ・・・(37)
式(37)のQのうち、Eは、露光時間を表し、Jは、露光画像を水平方向に積分したものを周波数空間で表記したものを表している。またSは、シャッター関数の周波数空間上での表記であり、図22を参照して説明したシャッター関数の周波数空間上での表記である。またPは、exp(2πωt)である。これらの値は、露光画像や露光時間から求められる値であるため、Qは既知となる。
Qは既知となるため、式(37)においてF’が求められる。F’が求まると、次式(38)にて、フリッカ成分を求めることができる。
Figure 2015083562
式(38)におけるG(ω)は、第1の露光条件で撮影された第1露光画像141の第1フリッカ成分381の周波数空間での表記であり、G(ω)は、第2の露光条件で撮影された第2露光画像142の第2フリッカ成分382の周波数空間での表記である。
式(38)で求められる周波数空間での第1フリッカ成分381と第2フリッカ成分382のそれぞれを、実空間でのフリッカ成分に変換することで、第1フリッカ成分381と第2フリッカ成分382をそれぞれ求めることができる。
フリッカ推定部371’の推定演算部505(図23)は、式(37)における行列Qを生成し、光源の揺らぎ成分F’を求める。そして、式(38)に基づく演算を行い、周波数空間でのフリッカ成分を生成する。
このように、フリッカ比を用いずに、複素空間での解法を適用し、露光条件の異なる2枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる2枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された2枚の画像から、高ダイナミックレンジの1枚の画像を生成することが可能となる。
上記した実施の形態においては、1枚の画像を撮像するとき、上記したように、短時間露光(第1の露光条件)と、長時間露光(第2の露光条件)を同時に撮影する場合を例に挙げて説明したが、短時間露光用の画素と、長時間露光用の画素を分けずに、通常の画素で短時間露光の画像と長時間露光の画像を交互に撮影し、短時間露光時の画像と長時間露光時の画像を取得するようにした場合にも本技術を適用できる。
この場合、撮影のタイミングが異なるため、上記したフリッカ補正時の演算に用いられる行列は、この撮影のタイミングを考慮した行列とすることで、本技術を適用することができる。
また、上記した例では、短時間露光と長時間露光の2種類の露光時間で撮影を行う撮影装置を例に挙げて説明したが、3種類以上の露光時間の撮影画像が組み合わされる撮影装置に対しても本技術を適用することはできる。
3種類以上の露光時間の撮影画像が組み合わせる場合、例えば、第1の露光画像と第2の露光画像から第1のフリッカ成分を推定し、第1のフリッカ成分から第3のフリッカ成分を変換して推定してもよい。また第1の露光画像、第2の露光画像、第3の露光画像すべて合わせた行列を生成して解くこともできる。
また上記した実施の形態においては、2種類の異なる露光時間でそれぞれ撮影された露光画像を用いてフリッカ成分を求める場合を例に挙げて説明したが、1種類の露光時間で撮影された露光画像を用いてフリッカ成分を求める場合にも、本技術は適用できる。
1種類の露光時間で撮影された露光画像を用いてフリッカ成分を求める場合、第1フレーム目の画像を、上記した実施の形態における第1の露光条件で撮影された露光画像とし、第2フレーム目の画像を、上記した実施の形態における第2の露光条件で撮影された露光画像として扱う。
なおこの場合は、撮影の速度間隔がフリッカの周期の整数倍となる条件では、フリッカ成分を求めることができない可能性があるため、例えば、3フレーム撮影し、1フレーム目と2フレームの撮影間隔と、2フレーム目と3フレーム目との撮影間隔を異なる間隔とし、3フレームを用いてフリッカ成分を求めるようにしても良い。
<記録媒体について>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図25は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、CPU(Central Processing Unit)1101、ROM(Read Only Memory)1102、RAM(Random Access Memory)1103は、バス1104により相互に接続されている。バス1104には、さらに、入出力インタフェース1105が接続されている。入出力インタフェース1105には、入力部1106、出力部1107、記憶部1108、通信部1109、及びドライブ1110が接続されている。
入力部1106は、キーボード、マウス、マイクロフォンなどよりなる。出力部1107は、ディスプレイ、スピーカなどよりなる。記憶部1108は、ハードディスクや不揮発性のメモリなどよりなる。通信部1109は、ネットワークインタフェースなどよりなる。ドライブ1110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1111を駆動する。
以上のように構成されるコンピュータでは、CPU1101が、例えば、記憶部1108に記憶されているプログラムを、入出力インタフェース1105及びバス1104を介して、RAM1103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア1111をドライブ1110に装着することにより、入出力インタフェース1105を介して、記憶部1108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1109で受信し、記憶部1108にインストールすることができる。その他、プログラムは、ROM1102や記憶部1108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、
前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
画像処理装置。
(2)
前記周期的なノイズとは、フリッカである
前記(1)に記載の画像処理装置。
(3)
前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表される
前記(1)または前記(2)に記載の画像処理装置。
(4)
前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定する
前記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
前記(4)に記載の画像処理装置。
(6)
前記推定部は、光源の揺らぎ成分をFとしたとき、QF=0となる行列Qを求め、前記成分Fを求めることで、周波数空間での前記ノイズの成分を求め、
前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定する
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表される
前記(1)に記載の画像処理装置。
(8)
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
前記(7)に記載の画像処理装置。
(9)
前記推定部は、前記比をフーリエ級数展開した行列をR、前記露光条件から求まる行列をTとしたとき、行列RTの固有値1の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とする
前記(7)に記載の画像処理装置。
(10)
前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
前記(9)に記載の画像処理装置。
(11)
前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、
前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
前記(10)に記載の画像処理装置。
(12)
前記推定部は、前記比をR、前記露光条件から求まる係数をT、前記画像のノイズの成分をGとしたとき、以下の式における行列RTを生成し、前記画像のノイズの成分を求める
Figure 2015083562
前記(7)に記載の画像処理装置。
(13)
前記推定部は、前記比を行列r、前記露光条件から求められる行列を行列tとしたとき、行列rtの固有値1の固有ベクトルを求め、前記固有値ベクトルを、前記画像のノイズの成分であると推定する
前記(7)に記載の画像処理装置。
(14)
前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出する
前記(13)に記載の画像処理装置。
(15)
前記推定部は、前記比をr、前記露光条件から求められる値をt、前記画像の画素値をI、および前記ノイズの成分をgとしたとき、以下の式を満たすg,gを最小二乗推定で求めることで、前記画像毎のノイズの成分を求める
Figure 2015083562
前記(7)に記載の画像処理装置。
(16)
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
画像処理方法。
(17)
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
処理をコンピュータに実行させるためのプログラム。
(18)
撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、
前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部と
を備え、
前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
電子機器。
100 撮像装置, 101 光学レンズ, 102 撮像素子, 103 画像処理部, 104 信号処理部, 105 制御部, 311 感度別補間部, 312 フリッカ補正部, 313 HDR合成部, 331,332 抽出部, 333,334 補間処理部, 351,352 露出補正部, 353 ブレンド係数算出部, 354 ブレンド処理部, 371 フリッカ推定部, 372 第1露光画像フリッカ補正部, 373 第2露光画像フリッカ補正部, 401,402 積分値算出部, 403 除算部, 404 推定演算部, 431 行列生成部, 432 行列演算部, 433 フリッカ成分変換部, 461 フーリエ級数変換部, 462 行列生成部, 463 行列演算部, 464 フーリエ級数逆変換部, 465 フリッカ成分変換部, 466 フーリエ級数逆変換部, 501,502 積分値算出部, 503,504 フーリエ級数変換部, 505 推定演算部, 506,507 フーリエ級数逆変換部

Claims (18)

  1. 異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、
    前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
    画像処理装置。
  2. 前記周期的なノイズとは、フリッカである
    請求項1に記載の画像処理装置。
  3. 前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表される
    請求項1に記載の画像処理装置。
  4. 前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定する
    請求項1に記載の画像処理装置。
  5. 前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
    請求項4に記載の画像処理装置。
  6. 前記推定部は、光源の揺らぎ成分をFとしたとき、QF=0となる行列Qを求め、前記成分Fを求めることで、周波数空間での前記ノイズの成分を求め、
    前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定する
    請求項1に記載の画像処理装置。
  7. 前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表される
    請求項1に記載の画像処理装置。
  8. 前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
    請求項7に記載の画像処理装置。
  9. 前記推定部は、前記比をフーリエ級数展開した行列をR、前記露光条件から求まる行列をTとしたとき、行列RTの固有値1の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とする
    請求項7に記載の画像処理装置。
  10. 前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
    請求項9に記載の画像処理装置。
  11. 前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、
    前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
    請求項10に記載の画像処理装置。
  12. 前記推定部は、前記比をR、前記露光条件から求まる係数をT、前記画像のノイズの成分をGとしたとき、以下の式における行列RTを生成し、前記画像のノイズの成分を求める
    Figure 2015083562
    請求項7に記載の画像処理装置。
  13. 前記推定部は、前記比を行列r、前記露光条件から求められる行列を行列tとしたとき、行列rtの固有値1の固有ベクトルを求め、前記固有値ベクトルを、前記画像のノイズの成分であると推定する
    請求項7に記載の画像処理装置。
  14. 前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出する
    請求項13に記載の画像処理装置。
  15. 前記推定部は、前記比をr、前記露光条件から求められる値をt、前記画像の画素値をI、および前記ノイズの成分をgとしたとき、以下の式を満たすg,gを最小二乗推定で求めることで、前記画像毎のノイズの成分を求める
    Figure 2015083562
    請求項7に記載の画像処理装置。
  16. 異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
    前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
    画像処理方法。
  17. 異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
    前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
    処理をコンピュータに実行させるためのプログラム。
  18. 撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、
    前記信号処理部は、
    異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、
    前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部と
    を備え、
    前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
    電子機器。
JP2015551464A 2013-12-04 2014-11-21 画像処理装置、画像処理方法、電子機器、並びにプログラム Expired - Fee Related JP6437450B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013251164 2013-12-04
JP2013251164 2013-12-04
PCT/JP2014/080866 WO2015083562A1 (ja) 2013-12-04 2014-11-21 画像処理装置、画像処理方法、電子機器、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2015083562A1 true JPWO2015083562A1 (ja) 2017-03-16
JP6437450B2 JP6437450B2 (ja) 2018-12-12

Family

ID=53273329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015551464A Expired - Fee Related JP6437450B2 (ja) 2013-12-04 2014-11-21 画像処理装置、画像処理方法、電子機器、並びにプログラム

Country Status (6)

Country Link
US (1) US9979896B2 (ja)
EP (1) EP3079353B1 (ja)
JP (1) JP6437450B2 (ja)
KR (1) KR102254994B1 (ja)
CN (1) CN105659583B (ja)
WO (1) WO2015083562A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109177A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
CN107431771B (zh) 2015-03-06 2020-12-04 菲力尔系统公司 用于异常像素检测的系统和方法
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
WO2017090300A1 (ja) * 2015-11-24 2017-06-01 ソニー株式会社 画像処理装置、および画像処理方法、ならびにプログラム
JP2017112409A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
US10244182B2 (en) * 2016-06-23 2019-03-26 Semiconductor Components Industries, Llc Methods and apparatus for reducing spatial flicker artifacts
JP7064444B2 (ja) * 2016-12-08 2022-05-10 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置、及びそれを用いる撮像装置
JP7157529B2 (ja) * 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
CN109218621B (zh) * 2018-10-23 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
JP2020076619A (ja) * 2018-11-07 2020-05-21 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
CN111131718B (zh) * 2019-07-16 2021-05-14 深圳市艾为智能有限公司 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
CN111491111B (zh) * 2020-04-20 2021-03-26 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175109A (ja) * 1997-06-27 1999-03-16 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2001061105A (ja) * 1999-08-20 2001-03-06 Matsushita Electric Ind Co Ltd 撮像装置
JP2013219708A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2014110621A (ja) * 2012-12-04 2014-06-12 Samsung Techwin Co Ltd 評価値算出装置および評価値算出方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100473119C (zh) * 2006-11-07 2009-03-25 北京中星微电子有限公司 消除曝光闪烁的方法及装置
CN101567977B (zh) * 2009-06-09 2013-09-18 北京中星微电子有限公司 一种闪烁检测方法及其装置
JP5625371B2 (ja) * 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
JP2012010105A (ja) 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2012090897A (ja) 2010-10-28 2012-05-17 Sophia Co Ltd 遊技機
JP2012098097A (ja) 2010-10-29 2012-05-24 L Haf Co Ltd 蛍光x線分析による生体内金属元素検査方法
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value
JP6116299B2 (ja) * 2013-03-15 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
FR3005543A1 (fr) * 2013-10-14 2014-11-14 St Microelectronics Grenoble 2 Procede de compensation de scintillement utilisant deux images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175109A (ja) * 1997-06-27 1999-03-16 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2001061105A (ja) * 1999-08-20 2001-03-06 Matsushita Electric Ind Co Ltd 撮像装置
JP2013219708A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2014110621A (ja) * 2012-12-04 2014-06-12 Samsung Techwin Co Ltd 評価値算出装置および評価値算出方法

Also Published As

Publication number Publication date
CN105659583B (zh) 2019-11-19
EP3079353B1 (en) 2021-03-03
CN105659583A (zh) 2016-06-08
KR20160093004A (ko) 2016-08-05
WO2015083562A1 (ja) 2015-06-11
KR102254994B1 (ko) 2021-05-24
US20170013183A1 (en) 2017-01-12
JP6437450B2 (ja) 2018-12-12
EP3079353A1 (en) 2016-10-12
US9979896B2 (en) 2018-05-22
EP3079353A4 (en) 2017-08-16

Similar Documents

Publication Publication Date Title
JP6437450B2 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
JP6434963B2 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
US9036050B2 (en) Image processing device, image processing method, and program
US9560290B2 (en) Image processing including image correction
JP5625371B2 (ja) 画像処理装置、および信号処理方法、並びにプログラム
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
WO2016017450A1 (ja) 画像処理装置、画像処理方法、プログラム、およびイメージセンサ
JP2013121099A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
WO2014020970A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2011113182A (ja) 画像処理装置
JP2015142342A (ja) 撮像装置、画像生成方法及び画像生成プログラム
JP5980618B2 (ja) 画像処理装置及び画像処理方法
WO2016009837A1 (ja) 画像処理装置および画像処理方法
US10104305B2 (en) Imaging device which generates a high-dynamic-range image using an imaging element in which pixel groups are controlled to have different exposure periods
KR101301069B1 (ko) Hdr 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법
JP6497822B2 (ja) 撮像装置
JP2013223211A (ja) 撮像処理装置、撮像処理方法、およびプログラム
JP2015027038A (ja) 色情報補完装置およびそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181114

R150 Certificate of patent or registration of utility model

Ref document number: 6437450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees