JP6611509B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

画像処理装置、撮像装置および画像処理プログラム Download PDF

Info

Publication number
JP6611509B2
JP6611509B2 JP2015155150A JP2015155150A JP6611509B2 JP 6611509 B2 JP6611509 B2 JP 6611509B2 JP 2015155150 A JP2015155150 A JP 2015155150A JP 2015155150 A JP2015155150 A JP 2015155150A JP 6611509 B2 JP6611509 B2 JP 6611509B2
Authority
JP
Japan
Prior art keywords
image
exposures
exposure
transmittance
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015155150A
Other languages
English (en)
Other versions
JP2017034595A (ja
Inventor
法人 日浅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015155150A priority Critical patent/JP6611509B2/ja
Priority to PCT/JP2016/003460 priority patent/WO2017022208A1/en
Priority to US15/557,293 priority patent/US10382710B2/en
Publication of JP2017034595A publication Critical patent/JP2017034595A/ja
Application granted granted Critical
Publication of JP6611509B2 publication Critical patent/JP6611509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、異なる露出の画像を複数得るための画像処理技術に関する。
撮像装置の高画素化に伴ってＣＭＯＳセンサ等の撮像素子の画素が微細化すると、ダイナミックレンジが狭くなる。ダイナミックレンジが狭まると、撮影画像のシャドー部とハイライト部のそれぞれで、黒潰れや輝度飽和が発生しやすくなり、画質の劣化に繋がる。
また、ダイナミックレンジが狭い撮影画像に対して、Ｗｉｅｎｅｒフィルタ等の補正フィルタを用いて画像処理を行う場合、輝度飽和部では情報が正しく取得されていないため、リンギング等の弊害が発生しやすい。
このため、特許文献１および特許文献２では、異なる露出の画像を複数取得し、それらを合成することで、ダイナミックレンジの拡大されたハイダイナミックレンジ（ＨＤＲ）画像を得る手法が開示されている。
特開２０１４−２２０７１７号公報 特開２０１４−１６８１１２号公報
しかしながら、特許文献１，２に開示された異なる露出の画像を複数取得してこれらを合成する手法では、画像データ量の増大や解像度の低下が問題となる。
特許文献１では、撮像装置の露出を変えて複数回撮像を行うことで、異なる露出の複数の画像を取得するため、撮像回数分だけ画像のデータ容量が増大する。また、非常に明暗の差が大きいシーンを撮像する場合には、そのダイナミックレンジをカバーするために撮像回数を増やす必要がある。しかし、この場合には被写体の時間変化を十分小さくするためには、撮像素子から信号を高速に読み出す必要があり、被写体の時間変化の抑制と画像の解像度の確保とを両立することが困難である。
一方、特許文献２では、異なる露出となる小画素を複数備えた画素を配列した撮像素子を用いることで、異なる露出の画像を複数取得する。このため、総画素数（小画素を１画素として数える）に対して、各露出における画像の解像度が低下する。
本発明は、データ量の増大と解像度の低下とを抑えて、異なる露出に対応する画像を複数生成することができるようにした画像処理装置および撮像装置等を提供する。
本発明の一側面としての画像処理装置は、撮像により得られる画像であって、互いに異なる透過率分布が与えられた複数の異なる露出によって得られる光強度分布の情報を含む第１の画像を取得する画像取得手段と、透過率分布に関する情報を取得する情報取得手段と、透過率分布に関する情報を用いた推定により、第１の画像の同一の画素から、複数の露出のうち２以上の露出のそれぞれに対応する画像信号を互いに分離し、該分離した画像信号を用いて２以上の第２の画像を生成する画像推定手段とを有することを特徴とする。
また、本発明の他の一側面としての撮像装置は、撮像素子に対する互いに異なる透過率分布が与えられた複数の異なる露出によって得られる光強度分布の情報を含む撮影画像を生成する撮像手段と、撮影画像を第１の画像として取得する上記画像処理装置とを有することを特徴とする。
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに画像処理を実行させるコンピュータプログラムである。画像処理は、撮像により得られる画像であって、互いに異なる透過率分布が与えられた複数の異なる露出によって得られる光強度分布の情報を含む第１の画像を取得し、透過率分布に関する情報を取得し、透過率分布に関する情報を用いた推定により、第１の画像の同一の画素から、複数の露出のうち２以上の露出のそれぞれに対応する画像信号を互いに分離し、該分離した画像信号を用いて２以上の第２の画像を生成することを特徴とする。
本発明によれば、データ量の増大と解像度の低下とを抑えつつ、２以上の異なる露出に対応する画像（第２の画像）を生成することができる。
本発明の実施例１から実施例４における画像処理を示すフローチャート。 実施例１の撮像装置の構成を示すブロック図および外観図。 実施例１における透過率分布付与部の説明図。 実施例１におけるｋ＝１およびｋ＝２の露出に対する透過率分布の説明図。 実施例１におけるｋ＝３およびｋ＝４の露出に対する透過率分布の説明図。 実施例１における被写体空間の光量分布と透過率分布の関係を示す図。 実施例２のる画像処理システムの構成を示すブロック図および外観図。 実施例２における露光中における透過率分布の切り替えを示す図。 実施例２における撮影方法の例を示す図。 実施例２における複数の露出の画像と対応する透過率分布に関する考え方の例を示す図。 実施例３の画像処理システムの構成を示すブロック図および外観図。 実施例３における撮像素子の構成を示すブロック図。 実施例３における撮像素子の動作の流れを示す図。 実施例４の撮像装置における撮像部の構成を示す断面図。 実施例４における光減衰フィルタの説明図。 実施例４における透過率分布付与部の説明図。 実施例４における入力画像（撮影画像）の説明図。 実施例４における撮像部の他の構成例を示す図。
以下、本発明の実施例について図面を参照しながら説明する。
まず具体的な実施例の説明に先だって、各実施例に共通する事項について説明する。特許文献１，２にて開示されたような従来の手法では、取得する画像の解像度と露出の数との積でデータ量が決定される。これに対して、各実施例では、複数の露出の光強度分布を重ね合わせた状態、つまり１画素内に異なる露出の画像信号が足し合わされた（合成された）状態で取得する。そして、後から画像処理による推定を用いて、該１画素内に足し合わされた各露出の画像信号を分離することで、異なる露出の画像（以下、推定画像という）を生成する。これにより、画像データの増大と解像度の低下を抑制しつつ複数の露出に対応した推定画像を得ることができる。
以下の説明において、上記複数の異なる露出によって得られる光強度分布の情報を含む入力画像を、「複数の露出が合成された入力画像」とか「複数の光強度分布が重ね合わせられた入力画像」等ともいう。
各実施例では、合成された複数の露出（光強度分布）に対応する推定画像を撮像後の画像信号の分離によって生成するため、撮像時には、複数の異なる露出において互いに異なる透過率分布を付与する。そして、これら透過率分布に関する情報を用いて上記推定を行うことで、撮像時に一旦合成された複数の露出に対応する画像信号を後から分離することができる。
なお、透過率分布は、撮像される前の光学像（被写体空間像）に対して付与してもよいし、撮像により得られた信号に対して付与してもよい。また、入力画像において合成される露出の数に対して、生成される推定画像に対応する露出の数は一致していなくてよい。例えば、４つの露出が合成された入力画像から２つの露出に対応する２つの推定画像を生成してもよい。つまり、合成される露出数にかかわらず、推定により生成される推定画像の数は２以上であればよい。
各実施例では、簡単のため、モノクロ画像に対する処理について説明するが、各実施例の処理はカラー画像に対しても同様に行うことができる。
図２（Ａ），（Ｂ）にはそれぞれ、実施例１の画像処理装置を備えた撮像装置１００の構成および外観を示している。本実施例は、複数の露出の光強度分布に対する異なる透過率分布の付与を空間分割によって行うことを特徴とする。
被写体空間からの光は、撮像部１０１に入射する。撮像部１０１は、被写体空間からの光を集光して光学像（被写体空間像）を形成させる結像光学系１０２と、透過率分布付与部１０３と、複数の画素が配列された撮像素子１０４とを有する。撮像素子１０４は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子である。透過率分布付与部１０３の詳細については後述する。
撮像前に結像光学系１０２を通過した光（被写体空間像）は撮像素子１０４により受光され、該撮像素子１０４で被写体空間の光量分布を測定する測光が行われる。測光結果を受けた制御部１１１は、撮像部１０１の露出を調整し、撮像を行う。露出の調整は、結像光学系１０２のＦ値（絞り値）、シャッタースピードまたは撮像素子１０４のＩＳＯ感度のうち少なくとも１つを調整することで行われる。
被写体像の撮像により撮像素子１０４で得られたアナログ画像信号は、Ａ／Ｄコンバータ１０５によりデジタル画像信号に変換されて画像処理部１０６に入力される。画像処理部１０６は、デジタル画像信号に対してノイズリダクション等の所定の処理を行って撮影画像を生成し、該撮影画像を半導体メモリ等の画像記録媒体１０８に所定のフォーマットで保存する。この際、状態検知部１０９から得られた撮像条件の情報も併せて保存する。撮像条件とは、撮像時の撮影距離および露出、結像光学系１０２がズームレンズである場合におけるその焦点距離等である。状態検知部１０９は、システムコントローラ１１０から撮像条件の情報を得てもよいし、撮像部１０１に関する情報については制御部１１１から得てもよい。
画像記録媒体１０８に保存される撮影画像（入力画像）は、透過率分布付与部１０３により互いに異なる透過率分布が与えられた複数の露出が合成された（つまりは複数の光強度分布が合成された情報を含む）画像である。表示部１１２に画像を表示する際は、画像処理部１０６は、入力画像に対して後述する画像処理を行って互いに異なる露出に対応する画像である推定画像を分離生成する。そして、それら推定画像を用いてダイナミックレンジが拡大されたハイダイナミックレンジ画像（以下、ＨＤＲ画像という）を生成し、該ＨＤＲ画像を表示部１１２に表示する。
画像処理部１０６は、画像取得部１０６ａと、情報取得部１０６ｂと、パラメタ設定部１０６ｃと、画像推定部１０６ｄと、推定完了判定部１０６ｅと、ＨＤＲ画像生成部１０６ｆとを有する。画像処理部１０６で行われる画像処理の詳細は後述する。なお、画像処理においては、記憶部１０７に記憶されている透過率分布付与部１０３で与えた透過率分布の情報が読み出されて使用される。表示部１１２で表示された画像は、画像記録媒体１０８に保存してもよい。また、画像表示までを高速化するため、撮像素子１０４により取得された入力画像を画像記録媒体１０８に保存せず、入力画像にそのまま画像処理を実行してもよい。
以上の一連の動作および処理は、システムコントローラ１１０により制御される。撮像部１０１の機械的な駆動は、システムコントローラ１１０からの指示に応じて制御部１１１が制御する。
次に、図３を用いて、本実施例における透過率分布付与部１０３について説明する。透過率分布付与部１０３は、撮像素子１０４上に設けられた光減衰フィルタである。透過率分布付与部１０３は、図３に示すように、４種類の透過率を撮像素子１０４の画素１０３ａ〜１０３ｄに対して与える。図中の濃淡が透過率の大きさを表す。透過率分布付与部１０３が画素１０３ａに対して与える透過率はｔ１０３ａ＝１．００００であり、画素１０３ｂに対して与える透過率はｔ１０３ｂ＝０．１２４８である。また、画素１０３ｃに対して与える透過率はｔ１０３ｃ＝０．０１５４であり、画素１０３ｄに対して与える透過率はｔ１０３ｄ＝０．００１７である。
透過率分布付与部１０３において透過率が同一の領域（例えば画素１０３ａに対応する領域）が撮像素子１０４の１画素に対応しており、透過率分布付与部１０３には上記４種類の透過率を有する領域が周期的に配列されている。なお、図４に示した透過率の値、種類および配列は例であり、他の透過率の値、種類および配列であってもよい。
次に、撮像素子１０４を用いて得られる撮影画像としての入力画像について説明する。入力画像ｓ（ｘ，ｙ）を数式で表すと、以下の式（１）のようになる。
ｘとｙはそれぞれ横方向と縦方向での座標であり、η（ｘ，ｙ）はノイズを表す。また、Ｋは合成される複数の露出の総数であり、本実施例ではＫ＝４である。また、Ｉｋ（ｘ，ｙ）は複数の露出のうちｋ番目の露出において透過率分布が付与されていない被写体空間像の光強度分布を表す。さらに、ｔｋ（ｘ，ｙ）は、Ｉｋ（ｘ，ｙ）に作用する透過率分布であり、ｔｋ（ｘ，ｙ）Ｉｋ（ｘ，ｙ）はｋ番目の露出において透過率分布が付与された被写体空間像の光強度分布を表す。ここでは、露出が小さい（暗い）ものから順にｋ＝１，２，３，４とする。本実施例において、ｋ＝１の最小露出に対する他の露出の光量比ｒｋは、ｒ１＝１として、ｒ２＝８、ｒ３＝６４、ｒ４＝５１２となっている。例えばｒ２＝８は、ｋ＝２の露出の光量がｋ＝１に対して８倍という意味である。
透過率分布付与部１０３によってｋ＝１〜４のそれぞれの露出に与えられる透過率分布ｔｋを、図４（Ａ），（Ｂ）および図５（Ａ），（Ｂ）に示す。最も大きい（明るい）ｋ＝４の露出によって得られる光強度分布は透過率ｔ１０３ａを持つ画素のみで撮像されるが、最も小さいｋ＝１の露出によって得られる光強度分布は全ての画素により撮像されることとなる。つまり、例えば画素１０３ａでは、４つの露出のそれぞれによって得られる光強度分布が合成されて（重ね合わされて）取得される。
各画素の透過率分布ｔｋ（ｘ，ｙ）は、ｋについて総和をとると、全ての（ｘ，ｙ）に対して１となる。ここで、透過率分布付与部１０３が各画素に与える透過率は、各露出に与える透過率分布ｔｋと、ｋ＝１〜４のそれぞれの露出を制御するための透過率（光量比ｒｋで決まる）の２つによって決定される。例えば、図３における画素１０３ｄでは、最も暗いｋ＝１の露出に関する情報だけが取得される。このため、画素１０３ｄにおける透過率分布付与部１０３の透過率は、
ｔ１０３ｄ＝ｔ１（ｘ１０３ｄ，ｙ１０３ｄ）×ｒ１／（ｒ１＋ｒ２＋ｒ３＋ｒ４）
のように表される。ただし、（ｘ１０３ｄ，ｙ１０３ｄ）は画素１０３ｄの座標を表す。
この式に、ｔ１（ｘ１０３ｄ，ｙ１０３ｄ）＝１．００００、ｒ１＝１、ｒ２＝８、ｒ３＝６４、ｒ４＝５１２を代入すると、
ｔ１０３ｄ＝１．００００×１／（１＋８＋６４＋５１２）
＝０．００１７
となり、前述した画素１０３ｄの透過率の値と一致する。
画素１０３ｃでは、ｋ＝１の露出とｋ＝２の露出とが合成されている。このため、
ｔ１０３ｃ＝｛ｔ１（ｘ１０３ｃ，ｙ１０３ｃ）＋ｔ２（ｘ１０３ｃ，ｙ１０３ｃ）｝
×（ｒ１＋ｒ２）／（ｒ１＋ｒ２＋ｒ３＋ｒ４）
＝０．０１５４
となり、前述した画素１０３ｃの透過率と一致する。画素１０３ａおよび画素１０３ｂでも同様である。
式（１）は、行列表記によって以下の式（２）のように書き換えることもできる。
ｓはベクトル化された撮像素子１０４で取得される画像（以下、入力画像ベクトルという）を示し、ｉはベクトル化された各露出によって得られる光強度分布（以下、光強度分布ベクトルという）を示す。ηはベクトル化されたノイズ（以下、ノイズベクトルという）を示す。Ｈは複数の露出における光強度分布に対する透過率分布の付与とそれらの重ね合わせを表す行列である。
光強度分布ベクトルｉは、例えば以下の式（３）のように、ｋ番目の露出によって得られる光強度分布ベクトルｉｋを成分とする列ベクトルである。
ｋ番目の露出によって得られる光強度分布Ｉｋ（ｘ，ｙ）がＭ×Ｎの成分からなる場合は、ｉｋは以下の式（４）で表されるＭＮ×１の成分を持つ列ベクトルである。
入力画像ベクトルｓとノイズベクトルηも、それぞれ同様にＭＮ×１の成分を持つ列ベクトルで、以下の式（５）及び式（６）で表される。
行列Ｈは、以下のような式（７）で与えられるＭＮ×ＫＭＮの成分を持つ行列である。
Ｇｋは以下の式（８）で表されるＭＮ×ＭＮ成分を持つ行列である。
本実施例において、複数の露出によって得られる複数の光強度分布は互いに位置ずれがないように重ね合わされるため、行列Ｇｋは全て式（８）のように対角成分のみを有する。しかし、これらの複数の光強度分布が互いにずれて重ね合わされている場合には、式（８）はその位置ずれの量に応じた非対角成分に有限な値を持つ。
次に、画像処理部１０６で行われる画像処理について、図１のフローチャートを用いて説明する。画像処理用コンピュータとして画像処理部１０６は、コンピュータプログラムである画像処理プログラムに従って画像処理を実行する。画像処理部１０６は、この画像処理を行うことで、互いに異なる透過率分布が与えられた複数の露出が合成された入力画像（第１の画像）から、２以上の露出のそれぞれに対応する画像信号を互いに分離する。画像信号の分離には、透過率分布に関する情報を用いた推定を行う。そして、これら分離した画像信号を用いて、該２以上の露出のそれぞれに対応する２以上の推定画像（第２の画像）を生成する。
ステップＳ１０１において、第１の取得部１０６ａは入力画像を取得する。入力画像は、撮像素子１０４を用いて取得された撮影画像であり、式（１）に示されたｓ（ｘ，ｙ）である。本実施例では、４つの異なる透過率分布が与えられた４つの露出（光強度分布）が入力画像にて合成されている。
次にステップＳ１０２において、第２の取得部１０６ｂは、透過率分布付与部１０３で付与された４つの透過率分布に関する情報を取得する。透過率分布に関する情報とは、式（１）に示したｔｋ（ｘ，ｙ）でもよいし、該ｔｋが算出可能な透過率分布付与部１０３の透過率（ｔ１０３ａ〜ｔ１０３ｄ）と各露出間の光量比ｒ-ｋの情報でもよい。
次にステップＳ１０３において、パラメタ設定部１０６ｃは、推定に用いるパラメタを設定する。パラメタは、次ステップの説明で述べる正則化項の決定やその重み、繰り返し演算の回数、ステップＳ１０５で用いる収束条件等を含む。また、推定によって生成する推定画像の数や条件等の指定をパラメタに含めてもよい。推定によって生成する推定画像の数は、入力画像において合成された露出数に対応する４つでもよいしその一部であってもよい。また、４つの露出のうち少なくとも２つ以上の露出が合成された推定画像を生成してもよい。この場合、対応する透過率分布は、合成される２つの露出に与えられた透過率分布の加重平均となる。本実施例では、４つの露出に対応する４つの推定画像の全てを生成する。
次にステップＳ１０４において、画像推定部１０６ｄは、推定画像を生成する。推定画像は、４つの露出のそれぞれで被写体空間を観察（撮像）した画像に相当する。推定画像を得るためには、式（２）において入力画像ベクトルｓと行列Ｈとから、各露出によって得られる光強度分布ベクトルｉを求めることに相当する。このことは、式（１）または式（２）から分かるように、連立一次方程式の解を得ることに相当する。ただし、未知数（光強度分布ベクトルｉの行数）がＫＭＮ個あるにもかかわらず、連立方程式の数（行列Ｈの行数）はＭＮ個に過ぎない。さらに、未知のノイズをあわせると、未知数は（Ｋ＋１）ＭＮ個である。このため、解が一意的に求まることはなく、光強度分布ベクトルｉを得るには必然的に推定処理が必要となる。
もし推定処理を用いない場合には、画像の解像度（光強度分布ベクトルｉの行数）を落とすことで、光強度分布ベクトルｉを求めることができる。つまり、連立方程式の数（行列Ｈの行数ＭＮ）に、未知数（光強度分布ベクトルｉの行数）の数を合わせればよい。この場合、各露出の画像の解像度を、Ｍ×Ｎから（Ｍ／Ｋ０．５）×（Ｎ／Ｋ０．５）に落とすこととなる。これは、本実施例では、図３において破線で囲んだ４画素内のＩｋ（ｘ，ｙ）の値を全て同一の値とすることに相当する。破線で囲んだ４画素には、それぞれ異なる透過率（係数）で４つの光強度（未知数）Ｉｋ（ｘ，ｙ）が足し合わされているため、４つの連立一次方程式が得られる。各一次方程式が独立であれば（つまり独立となるように透過率分布を付与すれば）、方程式の数と未知数の数が一致するため、解である光強度分布ベクトルｉが求まる。しかし、この方法では特許文献２と同程度の解像度の低下が発生する。このため、本実施例では推定処理を行うことで、解像度の低下を抑制しつつ、複数の露出に対応する推定画像を得る。
各露出で被写体空間を撮像した画像に相当する推定画像は、以下の式（９）で表される最適化問題の解を求めることで生成される。
ｖはベクトル化された推定画像（以下、推定画像ベクトルという）であり、Ｌは損失関数であり、Φは推定画像ベクトルｖに対する正則化項である。それぞれの具体的な例については後述する。
損失関数Ｌは、解をモデル（ここでは式（２）の連立方程式）にフィッティングさせる効果を持つ。ただし、先にも述べたように、式（２）の連立方程式は未知数の数よりも方程式の数が小さいため、解が一意的に求まらない。このため、解を尤もらしい値に収束させる効果を持つ正則化項Φを利用する。正則化項には、事前知識と呼ばれる解（光強度分布ベクトルｉ）が持つべき性質を用いる。また、正則化項は損失関数のみを考えた際に起こる過剰なフィッティング（ノイズベクトルηの影響を推定画像ベクトルｖに反映させること）を防ぐ役割も有する。
推定画像ベクトルｖは、以下の式（１０）のように、ｋ番目の露出の推定画像ベクトルｖｋを成分とする列ベクトルである。
ｋ番目の露出に対する推定画像をＶｋ（ｘ，ｙ）とするとき、推定画像ベクトルｖｋは、式（４）と同様に、以下の式（１１）で表されるＭＮ×１の成分を持つ列ベクトルとなる。
式（９）中の損失関数と正則化項の具体例を示す。損失関数としては、以下の式（１２）で示される関数が考えられる。
以下の式（１３）で表される記号は、ｐ次平均ノルムを表し、ｐ＝２のときはユークリッドノルムを指す。
正則化項の例としては、以下の式（１４）で示される１次平均ノルムがある。
λは正則化項の重みを表すパラメタである。Ψは画像に対する基底変換を表す行列であり、その例としてはウェーブレット変換や離散コサイン変換等がある。式（１４）の正則化項は、画像に対してウェーブレット変換や離散コサイン変換等の基底変換が行われることで、信号成分がスパース（疎）になる、つまり、より少ない数の信号で表せるという性質に基づく。これに関しては、例えば以下の参考文献１に詳細が説明されている。
参考文献１：Richard G.Baraniuk, “Compressive Sensing”, IEEE SIGNAL PROCESSING MAGAZINE [118] JULY 2007
式（１４）では各露出に対して同一の重みλを用いているが、ｋに応じて異なる重みを用いてもよい。
また、以下の式（１５）および式（１６）のそれぞれで示されるTikhonov正則化項やＴＶ（Total Variation）ノルム正則化項を用いてもよい。
∂ｘＶｋおよび∂ｙＶｋはそれぞれ、推定画像Ｖｋのｘ方向およびｙ方向に対する１次微分を表す。
最適化問題である推定式（９）を解くには、繰り返し演算を用いた手法を利用する。例えば、正則化項として式（１５）を採用した場合は、共役勾配法等を用いる。また、式（１４）または式（１６）を正則化項とした場合は、ＴｗＩＳＴ（Two-step Iterative Shrinkage/Thresholding）等を用いるとよい。ＴｗＩＳＴに関しては、以下の参考文献２に詳細が説明されている。
参考文献２：J.M.Bioucas-Dias, et al., “A new TwIST:two-step iterative shrinkage/thresholding algorithms for image restoration”, IEEE Trans. on Image Processing, vol.16, Dec.2007
また望ましくは、複数の露出のうち第１の露出および第２の露出に対応する第１の推定画像および第２の推定画像間の差分を評価値に含む正則化項を用いるとよい。これは、各露出（撮像）では、同じ被写体空間を撮像しているため、２つの推定画像のうち一方のみ情報が失われているシャドー部やハイライト部を除いて、全く同じ形状を取得していることに着目している。つまり、第１および第２の推定画像間で明るさを合わせて差分を取ると、上記シャドー部やハイライト部以外では、値が非常に小さくなる。このため、該差分が小さくなるように推定画像を推定することで、より高い精度で複数の露出に対応する推定画像を生成することができる。
さらに望ましくは、上記差分を取る第１および第２の推定画像は、互いに最も露出が近い第１および第２の露出に対応する推定画像であるとよい。上述したように明るさを合わせた２つの推定画像で差分が非常に小さくなるのは、互いに被写体空間の情報が正しく取得されている領域である。つまり、黒潰れや輝度飽和によって２つの推定画像のうち一方でしか情報が含まれていないシャドー部やハイライト部では、上記差分が大きくなる。しかし、第１および第２の推定画像として、互いに最も近い露出に対応する推定画像を選択することで、この問題を抑制することができる。
第１および第２の推定画像の差分に着目した正則化項の具体例としては、以下の式（１７）等がある。
∂ｊは微分演算子を表す。∂０（ｊ＝０）は恒等演算子であり、∂ｘ，∂ｙがそれぞれ画像の横方向と縦方向の微分を示す。さらに高次の微分は、例えば∂ｘｘや∂ｘｙｙのように表されるが、本実施例ではｊ＝ｘ，ｙのみを考える。
また、式（１７）の代わりに、以下の式（１８）を用いてもよい。
式（１８）では、第１および第２の推定画像Ｖｋ，Ｖｋ＋１の一方を微分し、互いの積を取っているため、明るさを調整する係数（式（１７）のｒｋ＋１／ｒｋ）が不要となる。
式（１７）または式（１８）を用いて推定式（９）を解く場合には、例えば以下の参考文献３に記載されている手法を用いるとよい。
参考文献３：F.Heide,et al.,“High-Quality Computational Imaging Through Simple Lenses”,ACM Trans.Graph.(Proc.SIGGRAPH 2013)32(5),2013
ここでは幾つかの正則化項を挙げたが、複数の正則化項を組み合わせて使用してもよい。また、繰り返し演算を用いて式（９）を最適化する際に、繰り返し毎に正則化の重みλ等のパラメタを更新してもよい。
上記のような最適化問題の解法を利用することで、複数の露出における被写体空間の光強度分布を表す複数の推定画像が得られる。
次にステップＳ１０５において、推定完了判定部１０６ｅは、ステップＳ１０４で生成された推定画像が既定の条件を満足するか否かを判定する。既定の条件としては、例えば、ステップＳ１０４で行われた繰り返し演算が所定回数以上となっていることや、繰り返し演算によって更新される推定画像の変化が所定値以下となっていることが挙げられる。条件を満足している場合はステップＳ１０６に進む。一方、条件を満足していない場合はステップＳ１０４に戻り、さらに繰り返し計算の回数を増やして推定画像を生成する。
ステップＳ１０６において、ＨＤＲ画像生成部１０６ｆは、複数（４つ）の推定画像を用いて、ＨＤＲ画像を生成する。なお、ＨＤＲ画像の生成に用いるのは４つの推定画像でなくてもよく、２以上の推定画像であればよい。
以上のような画像処理により、撮像素子１０４で取得された入力画像から、データ量の増大と解像度の低下を抑えつつ、複数の異なる露出に対応する複数の推定画像を生成することができる。
次に、上述した画像処理において満足することが望ましい条件について説明する。入力画像に合成された複数の露出のうち最大（最も明るい）の露出によって得られる光強度分布は、最小（最も暗い）の露出によって得られる光強度分布よりも、平均値が小さい透過率分布を用いて得られることが望ましい。最大露出での光強度分布は、他の露出での光強度分布に比べて全体的に光強度が高く、輝度飽和を起こしやすい。本実施例では、１画素内に合成された複数の露出に対応する画像信号を推定によって分離するが、輝度飽和によって露出に対応する画像信号の情報が正しく得られていない場合には、該画像信号の推定精度が大きく低下する。逆に、最小露出での光強度分布は黒潰れを起こしやすいが、黒潰れが起きた画素に他の露出の光強度分布が合成されても、画像信号の値がダイナミックレンジ内に収まるため、輝度飽和のような問題は生じない。このため、最大露出に対しては、輝度飽和が起きやすい領域を減らすように透過率分布を設定するとよい。具体的には、最大露出での光強度分布を与える透過率分布の平均値ｔａｖｅ（ｋ＝Ｋ）を、最小露出における光強度分布を与える透過率分布の平均値ｔａｖｅ（ｋ＝１）より小さくするとよい。
また、複数の露出によって得られる光強度分布を与える透過率分布のそれぞれの平均値ｔａｖｅ（ｋ）が、露出の増加に伴って単調減少することが望ましい。前述したように、露出が大きい光強度分布ほど輝度飽和を起こしやすく、推定画像の推定精度低下を招きやすい。このため、大きい露出ほど、与えられる透過率分布の平均値が小さくなるように設定するとよい。具体的には、以下の式（１９）の条件を満足することが望ましい。
式（１９）の上限値は、露出が増加するにつれて与えられる透過率分布の平均値ｔａｖｅ（ｋ）が単調減少するための条件である。下限値は、分子の平均値ｔａｖｅ（ｋ＋１）が０とならない限り超えることができず、０の場合はその露出の情報を得ていないことになるため、条件から除外される。
また、最大露出によって得られる光強度分布は、最小露出によって得られる光強度分布よりも、透過率が０．１以下である領域の面積が大きい透過率分布を用いて得られることが望ましい。これにより、前述した輝度飽和による推定精度の低下を抑制することができる。本実施例において、最大露出に与えられた透過率分布（図５（Ｂ））において透過率が０．１以下となる領域は、撮像素子１０４の３／４である。これに対して、最小露出に与えられた透過率分布（図４（Ａ））では撮像素子１０４の１／２であり、最大露出の方が大面積である。
さらに、最大露出によって得られる光強度分布は、最小露出によって得られる光強度分布よりも、透過率が０．０１以下である領域の面積が大きい透過率分布を用いて得られることが望ましい。これにより、より輝度飽和による推定精度の低下を抑制することができる。
また、ｋ番目の露出に与えられた透過率分布の平均値ｔａｖｅ（ｋ）が、以下の式（２０）に示す条件を満足することが望ましい。
前述したように、輝度飽和による推定画像の推定精度の低下を抑制するためには、大きい露出に与えられる透過率分布の平均値を小さくするとよい。しかし、この際に、露出間で透過率分布の平均値の差が大きすぎると、推定画像の解像度の差も大きくなってしまう。これは、透過率分布の平均値が小さいということは、その露出に関する情報が少ないことを意味し、情報が少ないとその分、推定画像の解像度が低下するからである。このため、推定画像Ｖｋ間の解像度の差が大きくならないように、透過率分布の平均値が式（２０）の条件を満足することが望ましい。式（２０）の上下限値を超えると、解像度の差が大きくなり過ぎて、好ましくない。
式（２０）の条件の上下限値を以下の式（２０ａ）に示す値とすることで、より推定画像間の解像度差を抑えることができる。
また、式（２０）の条件の上下限値を以下の式（２０ｂ）に示す値とすることで、さらに推定画像間の解像度差を抑えることができる。
また、前述したステップＳ１０４では、解像度を低下させて連立方程式を解く手法（同ステップ内で図３を用いて説明した手法）に、式（９）で表される推定を加えることで、高解像度な推定画像を生成する。これは逆に言うと、解像度を低下させて連立方程式を解く手法で高精度に解が求められる条件下では、式（９）による推定を加えた処理でも推定精度が向上することを意味する。その条件とは、先にも説明した通り、連立一次方程式が互いに独立であることである。このため、ある画素（ｘｍ，ｙｎ）（ｍ＝１，…，Ｍ、ｎ＝１，…，Ｎ）を含む周辺領域の画素のそれぞれにおいて、各ｋについての透過率を成分とするベクトルができる限り一次独立となっていることが望ましい。透過率は連立一次方程式の係数を表すため、該ベクトルを係数ベクトルと称し、該係数ベクトル（行ベクトル）を配列した行列をＥとする。この際、推定画像の推定精度を向上させるためには、行列Ｅは以下の式（２１）に示す条件を満足することが望ましい。
ただし、以下の式（２２）でａを定義したとき、行列Ｅは本実施例において以下の式（２３）で与えられる。
式（２２）中のｃｅｉｌは天井関数を表す。行列Ｅは、図３を用いて説明した解像度を低下させて連立方程式を解く手法における各方程式の係数からなる行列である（本実施例ではＥが９×４行列となる）。つまり、行列Ｅの階数が、１画素あたりの未知数の数であるＫに近いほど、推定精度が向上する。このため、透過率分布は全ての画素（ｘｍ，ｙｎ）に対して、式（２１）の条件を満足するような分布となっていることが望ましい。
実施例１では、複数の露出によって得られる複数の光強度分布が互いにずれることなく重ね合わされているため、行列Ｅにおける行ベクトル（係数ベクトル）の各成分は同一の座標となっている。しかし、複数の光強度分布がずれている場合には、それに合わせて座標もずれることとなる。
式（２１）の条件の上下限値を以下の式（２１ａ）に示す値とするとよい。
また、式（２１）の条件の上下限値を以下の式（２１ｂ）に示す値とするとさらによい。
また、撮像素子１０４上で重ね合わされる複数の光強度分布を与える透過率分布の和としての分布を総和透過率分布とするとき、総和透過率分布の最小値が０よりも大きいことが望ましい。総和透過率分布ｔｓｕｍは、式（１）の記法を用いると、以下の式（２４）で表される。
総和透過率分布ｔｓｕｍの値が０となる画素（ｘｍ，ｙｎ）が存在する場合には、該画素には光が一切入射しないことを意味する。推定画像ベクトルｖを得ることは、先にも述べたように連立一次方程式の解を推定することに相当する。光が入射しない画素が存在すると、該画素では一次方程式の係数（透過率ｔｋ）が全て０となるため、連立一次方程式の数が減ることになる。このため、一次方程式の数が減らないように、総和透過率分布の最小値は０よりも大きいことが望ましい。
また、ｋ番目の露出に対してｋ＋１番目の露出は２倍以上大きいことが望ましい。これは、近い露出で被写体空間の光強度分布を取得しても、ダイナミックレンジ外の情報がさほど取得できず、情報取得の効率が良くないためである。ここで、露出の値ζ（ｋ）は、例えば以下の式（２５）を用いて算出するとよい。
Ｆ（ｋ）はｋ番目の露出におけるＦ値であり、Ｔ（ｋ）はｋ番目の露出におけるシャッタースピード（露光時間）である。Ｓ（ｋ）はｋ番目の露出におけるＩＳＯ感度である。さらに、ｔｍａｘ（ｋ）はｋ番目の露出に与えられた透過率分布の最大値である。
また、ある露出に与えられた透過率分布を、入力画像における領域ごとに、撮像前の測光により取得した被写体空間の光量分布の情報を用いて変化させてもよい。図６を用いて、その効果について説明する。撮像される被写体空間２０１にシャドー（暗い）領域２０３とその他の領域２０２があるものとする。該その他の領域２０２には、図４（Ａ），（Ｂ）および図５（Ａ），（Ｂ）にて示した透過率分布が４つの露出に与えられていると考えて推定の式（９）を解く。
しかし、シャドー領域２０３では光量が少ないので、最小露出（ｋ＝１）では殆ど情報を取ることができない。このため、シャドー領域２０３では、図６に示すように、小さい露出に対する透過率分布の値を下げ、その分、高い露出の透過率分布の値を上げる。これにより、被写体領域のうちシャドー領域２０３をより高解像度を実現できるように推定することができる。このことは、被写体空間２０１のうち明るいハイライト領域に対しても同様に成り立つ。
なお、ここで変化させているのは、複数の露出における光強度分布に与えた透過率分布であり、それぞれの露出ではない。つまり、同一の画素に合成されている互いに異なる露出のそれぞれの割合をどのように考えるかを、被写体空間の光量分布に応じて変化させる。シャドー領域では大きい露出を優先し、ハイライト領域では小さい露出を優先するように透過率分布ｔｋを設定するとよい。
本実施例では、空間分割によって複数の露出に対して互いに異なる透過率分布を与えている。このため、全ての露出において、時間的なずれのない、同一時刻の情報を取得することができる。
以上説明したように、本実施例によれば、データ量の増大と解像度の低下とを抑えつつ、複数の露出に対応する複数（２以上）の推定画像を生成することが可能な撮像装置を実現することができる。
本発明の実施例２である画像処理システムについて説明する。本実施例では、時間分割によって複数の露出に与える透過率分布を異ならせる。また、本実施例では、撮像装置と画像処理装置とが別々の装置としての構成されている。
図７（Ａ）には本実施例の画像処理システムの構成を示し、図７（Ｂ）にはその外観を示す。撮像装置３０１は、被写体空間からの光を集光し、光学像（被写体空間像）を形成させる結像光学系３０２と、透過率分布付与部３０３と、複数の画素が配列された撮像素子３０４とを有する。撮像素子３０４は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子である。撮像装置３０１による撮影画像（入力画像）の取得方法については後述する。
入力画像は、通信部３０６を介して画像処理装置３０５に送られる。入力画像は、異なる透過率分布が与えられた複数の露出（光強度分布）が合成された画像である。また、入力画像とともに、透過率分布に関する情報が画像処理装置３０５内の記憶部３０７に記憶される。画像処理装置３０５は、パーソナルコンピュータにより構成され、入力画像に対して画像処理を行うことで、該入力画像から互いに異なる露出に対応する画像である推定画像を分離生成する。この際、記憶部３０７に記憶された透過率分布の情報が使用される。
画像処理装置３０５は、画像取得部３０５ａと、情報取得部３０５ｂと、パラメタ設定部３０５ｃと、画像推定部３０５ｄと、推定完了判定部３０５ｅとを有する。
画像処理により生成された複数の推定画像は、通信部３０６を介して表示装置３０８、記録媒体３０９および出力装置３１０のうち少なくとも１つに出力される。表示装置３０８は、液晶ディスプレイやプロジェクタ等である。ユーザは表示装置３０８を介して画像処理途中の画像を確認しながら作業を行うことができる。記録媒体３０９は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置３１０は、プリンタ等である。画像処理装置３０５は、必要に応じて現像処理その他の処理を行う機能を有していてよい。ユーザは、複数の推定画像を用いて、ＨＤＲ画像の合成や、輝度飽和部の近傍でのリンギング等が抑制された高解像化処理（例えば、WienerフィルタやRichardson-Lucy法等を用いた処理）を行うことができる。
撮像装置３０１の透過率分布付与部３０３は、撮像素子３０４の近傍に配置されており、露光時間中に透過率分布のパターンを切り替えることで、複数の露出に互いに異なる透過率分布を与える。透過率分布付与部３０３によって複数の露出に互いに異なる透過率分布を与える撮像方法について、図８を用いて説明する。
本実施例では、入力画像を得る総露光時間Ｔｅｘを５つに分割し、それぞれで異なる透過率分布ｔｋ（ｘ，ｙ）を与える。図８は、横軸を露光時間ｔｅｘの対数で表記している。なお、総露光時間の分割数は５つに限らない。また、それぞれの露出における露光時間は対数時間に対して等ピッチであってもよいし、そうでなくてもよい。また、本実施例で与える透過率分布は、０および１の二値であるが、それ以外の中間値を与えてもよい。
透過率分布ｔｋを時間によって変化させるには、例えば、透過率分布付与部３０３に透過型ＬＣＯＳ（Liquid Crystal on Silicon）素子を用いればよい。
また、図９に示すように、透過率パターンが固定されたマスクを露光時間中にメカニカルに移動させる方法を用いてもよい。撮像素子３０４に対してマスク（透過率分布付与部３０３）が時間的に移動することで、ｋ（＝１〜５）に応じて異なる透過率分布を与えることができる。
また、ここではｋごとに露光時間を変化させることで異なる露出を実現するが、その他の方法で露出を変化させてもよい。例えば、露光時間中に結像光学系３０２の絞りを絞ったり、撮像素子３０４のＩＳＯ感度を変化させたり、時間的に透過率が変化する光減衰フィルタを用いたりしてもよい。さらに、これらの方法を組み合わせて用いてもよい。
画像取得部３０５ａ、情報取得部３０５ｂ、パラメタ設定部３０５ｃ、画像推定部３０５ｄおよび推定完了判定部３０５ｅが行う処理は、図１に示したステップＳ１０１〜Ｓ１０５の処理と同様であるので、ここでの説明は省略する。
また、図８で示した撮像方法の使用に代えて、図１０に示すように考えて、異なる露出に対応する推定画像を生成（推定）することもできる。図１０では、大きい露出が小さい露出の露光時間を含んでいると考えて各露出を定義している。ある露出に与えた透過率分布ｔｋは、例えばｋ＝２の場合には、図１０に示すように、図８で与えた透過率分布の時間重み付き平均となる。
本実施例では、時間分割によって複数の露出（光強度分布）に与える透過率分布を異ならせるため、露出間で時間的にずれが生じる。このため、本実施例は、静止している被写体を撮像するのに有効である。一方、移動する被写体に対しては前述した実施例１を用いる方が望ましい。
本実施例によれば、データ量の増大と解像度の低下とを抑えつつ、複数の露出に対応する複数（２以上）の推定画像を生成することが可能な画像処理システムを実現することができる。
本発明の実施例３である画像処理システムについて説明する。本実施例は、実施例２と同様に時間分割によって複数の露出に与える透過率分布を異ならせるが、各露出に与える透過率分布を、各露出の光強度分布が撮像素子で取得された後に与える点が異なっている。
図１１（Ａ）には本実施例の画像処理システムの構成を示し、図１１（Ｂ）にはその外観を示す。画像処理装置としてのサーバー４０６は通信部４０７を有し、ネットワーク４０５を介して撮像装置４０１と接続されている。この接続は、有線および無線のいずれを用いてもよい。
撮像装置４０１は、被写体空間からの光を集光し、光学像（被写体空間像）を形成させる結像光学系４０２と、複数の画素が配列され、かつ信号選択部４０３を備えた撮像素子４０４とを有する。撮像素子４０４の信号選択部４０３は、複数の露出によって得られる複数の光強度分布（被写体空間像）が画素において光電変換されることでそれぞれ生成される画像信号に対して互いに異なる透過率分布を付与する。撮像素子４０４の詳しい構成に関しては後述する。
撮像装置４０１で取得された撮影画像は、自動または手動でサーバー４０６の通信部４０７に送信され、入力画像としてサーバー４０６内の記憶部４０８および画像処理部４０９に送られる。記憶部４０８には、入力画像とともに、信号選択部４０３で与えた透過率分布に関する情報も記憶される。画像処理部４０９は、入力画像と透過率分布に関する情報とを用いて画像処理を行うことで、複数の露出に対応する複数の推定画像を生成し、さらに該複数の推定画像を用いてＨＤＲ画像を生成する。生成されたＨＤＲ画像は、記憶部４０８に記憶されるか、通信部４０７を介して撮像装置４０１に送信される。
次に、本実施例における撮像素子４０４について詳しく説明する。撮像素子４０４は、図１２に示すＣＭＯＳセンサとしての構成を有し、画素配列部４２１と、垂直走査回路部４２２と、水平走査回路部４２３と、Ａ／Ｄ変換部４２４と、信号選択部４０３と、記憶部４２５と、出力部４２６とを有する。また、本実施例の撮像素子４０４は、図１３に示すタイムチャートに従って動作する。
図１２に示す画素配列部４２１には複数の画素が配列されている。露光時間中に画素に入射した光は、各画素でアナログ画像信号に変換される。ここで、複数の画素はそれぞれグローバル電子シャッタを備えており、該複数の画素に対する同時刻の露出が可能となっている。
複数の画素からのアナログ画像信号の読み出しは、垂直走査回路部４２２と水平走査回路部４２３によって行われ、該読み出し中にＡ／Ｄ変換部４２４においてアナログ画像信号がデジタル画像信号に変換される。デジタル画像信号は信号選択部４０３に入力される。
信号選択部４０３は、画像信号が読み出された画素の位置に応じてパタニング（信号の取捨選択）を行う。このパタニングを行うことは、画像信号に対して０または１の透過率分布ｔｋ＝１（ｘ，ｙ）を付与することと等価である。なお、信号選択部４０３は、画像信号の取捨（０か１か）だけではなく、画像信号を比例倍する等の演算を行ってもよく、これにより０および１以外の透過率を画像信号に付与することもできる。パタニングされた画像信号（画像データ）は、記憶部４２５に一時的に記憶される。
次に、異なる露出（図１３では露出間で露光時間が異なる場合を示している）に対しても同様の処理が行われる。この際、信号選択部４０３は、前の露光とは異なる透過率分布を付与するパタニングを行う。パタニング後の画像信号は、記憶部４２５に既に記憶されている画像信号に加算（合成）される。このため、露出が増えても画像データ量は増えない。
こうして合成する露出の数（本実施例では３）だけ前述の処理を繰り返した後、該露出の情報が重ね合わされた画像を出力部４２６が撮像素子４０４の外部へ出力する。
サーバー４０６が画像信号に対して画像処理部４０９で行う画像処理は、実施例１で図１を用いて説明した画像処理と同様である。
本実施例においても、データ量の増大と解像度の低下とを抑えつつ、複数の露出に対応する複数（２以上）の推定画像を生成することが可能な画像処理システムを実現することができる。
本発明の実施例４である撮像装置について説明する。本実施例の撮像装置は、視差分割によって複数の露出に互いに異なる透過率分布を与える。
本実施例の撮像装置の構成と外観は、図２（Ａ），（Ｂ）に示したものと同様である。ただし、本実施例では、図２（Ａ）に示した撮像部１０１が、図１４に示した構成に置き換わっている。
撮像素子５０４は、複数の画素と、各画素に１つずつ設けられた小レンズからなるマイクロレンズアレイ５０７とにより構成されている。複数の画素には、フォトダイオード等の光電変換部５０６ａ，５０６ｂ，５０６ｃ，…（以下の説明ではまとめて５０６と記す）が１つずつ設けられている。マイクロレンズアレイ５０７と被写体面５１１は、結像光学系５０２を介して共役な関係にある。さらに、結像光学系５０２の瞳と光電変換部５０６は、マイクロレンズアレイ５０７を介して共役な関係にある。ただし、ここにいう共役な関係とは、マイクロレンズアレイ５０７の焦点距離に対して結像光学系５０２の瞳とマイクロレンズアレイ５０７の間隔が非常に大きいため、結像光学系５０２の瞳と光電変換部５０６とが完全な共役な関係からある程度ずれた関係も含む。結像光学系５０２の絞り位置には、図１５に示す光減衰フィルタ５０５が配置されている。このため、結像光学系５０２の瞳には、光減衰フィルタ５０５の透過率分布（図中の濃淡が透過率の大きさを表す）に対応する透過率分布が付与される。これによって瞳位置（視点）に応じて、異なる露出の像（光強度分布）が結像されることが分かる。
撮像素子５０４の各画素には、前述した光電変換部５０６と透過率分布付与部５０３（５０３ａ，５０３ｂ，５０３ｃ，…）が設けられている。以下の説明において、１つの画素に設けられた透過率分布付与部を示す場合は「５０３ａ」のように符号を付し、透過率分布付与部の全体を示す場合は「５０３」を付す。
図１６には、透過率分布付与部５０３の構成を示す。透過率分布付与部５０３は、図中に白く示した透明部と黒く示した遮光部とを有する。透過率分布付与部５０３は、撮像素子５０４の各画素で異なる領域を遮光している。図１６中の破線で描かれた円は、各光電変換部５０６に結像される結像光学系５０２の瞳の像を表している。図１６から分かるように、各画素では瞳の位置に応じて異なる透過率が与えられている。
次に、撮像素子５０４で得られる撮影画像（入力画像）について説明する。瞳のうちある部分領域（以下、部分瞳という）を通して被写体空間を観察する（つまりは撮像素子に対する露出を与える）場合について説明する。ここでは、図１５における右下の部分瞳５１２を通して観察する場合を例として説明するが、以下の説明は他の部分瞳を通して観察する場合でも同様に成り立つ。
部分瞳５１２を通して観察したときの被写体空間像は、該部分瞳５１２を通過した光（瞳は光電変換部に反転した像を形成するので、図１５においては各画素の左上の領域に入射する光となる）のみを集めることで再現することができる。その被写体空間像が、図１７に示す上段（ｋ＝１）に示す光強度分布Ｉ１（ｘ，ｙ）であるとする。この光強度分布に対して、透過率分布付与部５０３で付与される透過率分布ｔ１（ｘ，ｙ）は、図１６における各画素の左上の領域の透過率成分を並べることで得られ、それが図１７の上段に示す透過率分布である。
他の部分瞳を通した観察においても同様であり、図１７の中段ｋ＝２は、図１５の左下の部分瞳を通して被写体空間を観察したときの光強度分布とそれに与えられた透過率分布とを示している。また、図１７の下段ｋ＝３は、図１５の右上の部分瞳を通して被写体空間を観察したときの光強度分布とそれに与えられる透過率分布とを示している。図１７から分かるように、撮像素子５０４では、複数の部分瞳が複数の露出に対応し、さらに該露出のそれぞれに異なる透過率分布が与えられた光強度分布が合成されて取得されている。こうして光強度分布が合成されることで、図１７に示す撮影画像ｓ（ｘ，ｙ）が得られる。なお、撮影画像ｓ（ｘ，ｙ）内の光強度分布は図示を省略している。
また、本実施例では、絞り位置に、異なる透過率を有する複数の領域を含む光減衰フィルタを配置することで互いに異なる複数の露出を可能とする場合について説明したが、透過率分布付与部５０３に光減衰フィルタの機能を持たせてもよい。図１６に描かれた破線の円のそれぞれに、図１５に示した透過率を反転させて積を取れば、透過率分布の付与と光減衰フィルタを兼ねた透過率分布付与部５０３を実現することができる。
本実施例において、異なる露出に対応する推定画像を生成する画像処理は、実施例１と同様であるので、説明を省略する。
本実施例では、視差分割を利用するため、各露出において同時刻の光強度分布を取得することができるが、互いに視差が発生する。図１４に示す構成を採る場合、合焦位置では視差はないが、デフォーカス位置では有限の視差が存在するため、複数の露出の光強度分布に物体距離に応じた位置ずれが生じる。このため、本実施例は、結像光学系５０２の被写界深度に対して被写体空間に存在する物体の距離分布が狭い場合に有効である。一方、物体の距離分布が広い場合には、実施例１の構成を用いることが望ましい。
また、視差分割を利用する他の撮像部として、図１８に示す多眼の撮像部を用いてもよい。図１８において、複数の正の屈折力を有する結像光学系６０２ａ〜６０２ｃが配列されている。この場合、結像光学系６０２ａ〜６０２ｃの各瞳が部分瞳となり、それらを足し合わせたものが図１４の結像光学系５０２の瞳に対応する。結像光学系６０２ａ〜６０２ｃはそれぞれ露出が異なり、かつ各像面に透過率分布付与部６０３ａ〜６０３ｃが配置されている。これにより、露出ごとに異なる透過率分布を与えられた被写体空間像が形成される。
結像光学系６０２ａ〜６０２ｃはそれぞれ光軸がずれているが、反射部６０７ａ〜６０７ｄと光軸連結部６０４ａ，６０４ｂとによって、これらの光軸を互いに一致させる。反射部６０７ａ〜６０７ｄはミラー等により構成され、光軸連結部６０４ａ，６０４ｂはハーフミラー等により構成される。
また、図１８では、結像光学系６０２ａ〜６０２ｃからリレー光学系６０５までの光路長が等しくなるように構成されている。結像光学系６０２ａ〜６０２ｃで結像された被写体空間像はリレー光学系６０５で再結像され、複数の画素を有する撮像素子６０６で受光される。異なる露出を与える結像光学系６０２ａ〜６０２ｃの光軸と光路長とがそれぞれ一致しているため、撮像素子６０６では、露出ごとに異なる透過率分布を与えられた被写体空間像が互いに重ね合わされて撮像されて撮影画像が取得される。この撮影画像を入力画像として、実施例１にて説明した画像処理を行う。
また、図１８に示す構成では、結像光学系６０２ａを通過した光は、ハーフミラーを経る回数が他の結像光学系６０２ｂ，６０２ｃを通過した光に比べて少ないため、結像光学系６０２ｂ，６０２ｃを通過した光よりも光量が大きくなる。これを考慮して、結像光学系６０２ａ〜６０２ｃの露出を決定するとよい。
以上説明した本実施例の構成によっても、データ量の増大と解像度の低下とを抑えつつ、複数の露出に対応する複数（２以上）の推定画像を生成することが可能な撮像装置を実現することができる。
（その他の実施例
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
１０３，３０３，５０３ 透過率分布付与部
１０６ 画像処理部
１０６ａ，３０５ａ 画像取得部
１０６ｂ，３０５ｂ 情報取得部
１０６ｄ，３０５ｄ 画像推定部
３０５ 画像処理装置
４０３ 信号選択部

Claims (11)

  1. 撮像により生成される画像であって、互いに異なる透過率分布が与えられた複数の異なる露出により得られる光強度分布の情報を含む第１の画像を取得する画像取得手段と、
    前記透過率分布に関する情報を取得する情報取得手段と、
    前記透過率分布に関する情報を用いた推定により、前記第１の画像の同一の画素から、前記複数の露出のうち２以上の露出のそれぞれに対応する画像信号を分離し、該分離した画像信号を用いて２以上の第２の画像を生成する画像推定手段とを有することを特徴とする画像処理装置。
  2. 前記画像推定手段は、前記推定を、前記複数の露出のうち第１の露出および第２の露出のそれぞれに対応する前記第２の画像の差分を評価値に含めて行うことを特徴とする請求項１に記載の画像処理装置。
  3. 前記画像推定手段は、前記推定を、互いに明るさを合わせた前記第２の画像の差分が小さくなるように行うことを特徴とする請求項２に記載の画像処理装置。
  4. 前記第１および第２の露出は、前記複数の露出のうち明るさが互いに最も近い露出であることを特徴とする請求項２または３に記載の画像処理装置。
  5. 前記複数の露出のうち最も明るい露出での前記光強度分布を、最も暗い露出での前記光強度分布よりも、平均値が小さい前記透過率分布を用いて得ることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
  6. 前記複数の露出に与えられる前記透過率分布のそれぞれの平均値は、該露出の増加に伴って単調減少することを特徴とする請求項５に記載の画像処理装置。
  7. 前記複数の露出のうち最も明るい露出での前記光強度分布を、最も暗い露出での前記光強度分布よりも、透過率が０．１以下である領域の面積が大きい前記透過率分布を用いて得ることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
  8. 前記複数の露出の総数をＫとし、前記複数の露出のうちｋ番目に暗い露出に与えられた前記透過率分布の平均値をｔａｖｅ（ｋ）とするとき、
    なる条件を満足することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
  9. 前記２以上の第２の画像を用いて、前記第２の画像それぞれよりもダイナミックレンジが拡大されたハイダイナミックレンジ画像を生成する画像生成手段を有することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
  10. 互いに異なる透過率分布が与えられた複数の異なる露出により得られる光強度分布の情報を含む撮影画像を生成する撮像手段と、
    前記撮影画像を前記第１の画像として取得する請求項１から９のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
  11. コンピュータに画像処理を実行させるコンピュータプログラムであって、
    前記画像処理は、
    撮像により生成される画像であって、互いに異なる透過率分布が与えられた複数の異なる露出により得られる光強度分布の情報を含む第１の画像を取得し、
    前記透過率分布に関する情報を取得し、
    前記透過率分布に関する情報を用いた推定により、前記第１の画像の同一の画素から、前記複数の露出のうち２以上の露出のそれぞれに対応する画像信号を互いに分離し、該分離した画像信号を用いて２以上の第２の画像を生成することを特徴とする画像処理プログラム。
JP2015155150A 2015-08-05 2015-08-05 画像処理装置、撮像装置および画像処理プログラム Active JP6611509B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015155150A JP6611509B2 (ja) 2015-08-05 2015-08-05 画像処理装置、撮像装置および画像処理プログラム
PCT/JP2016/003460 WO2017022208A1 (en) 2015-08-05 2016-07-27 Image processing apparatus, image capturing apparatus, and image processing program
US15/557,293 US10382710B2 (en) 2015-08-05 2016-07-27 Image processing apparatus, image capturing apparatus, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015155150A JP6611509B2 (ja) 2015-08-05 2015-08-05 画像処理装置、撮像装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017034595A JP2017034595A (ja) 2017-02-09
JP6611509B2 true JP6611509B2 (ja) 2019-11-27

Family

ID=57942704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015155150A Active JP6611509B2 (ja) 2015-08-05 2015-08-05 画像処理装置、撮像装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US10382710B2 (ja)
JP (1) JP6611509B2 (ja)
WO (1) WO2017022208A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308592B2 (en) * 2018-10-04 2022-04-19 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100565A1 (en) 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
JP5091781B2 (ja) * 2007-09-14 2012-12-05 株式会社リコー 撮像装置および撮像方法
EP2186345B1 (en) 2007-09-14 2019-04-17 Ricoh Company, Ltd. Imaging apparatus and imaging method
US8248481B2 (en) * 2009-04-08 2012-08-21 Aptina Imaging Corporation Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
JP5855035B2 (ja) 2013-02-28 2016-02-09 株式会社東芝 固体撮像装置
JP2014220717A (ja) 2013-05-09 2014-11-20 キヤノン株式会社 画像処理装置及び方法
JP2015087401A (ja) * 2013-10-28 2015-05-07 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
JP2017034595A (ja) 2017-02-09
US20180063453A1 (en) 2018-03-01
US10382710B2 (en) 2019-08-13
WO2017022208A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
JP7242185B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体
JP6957197B2 (ja) 画像処理装置および画像処理方法
KR101233013B1 (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
JP6672070B2 (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
KR101345012B1 (ko) 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체
RU2431889C1 (ru) Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
US9305375B2 (en) High-quality post-rendering depth blur
JP5470959B2 (ja) マルチフレーム再構築を行う方法、システム及びソフトウエア
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP7234057B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JP2014138290A (ja) 撮像装置及び撮像方法
JP2019168862A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
JP2021140663A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2012256118A (ja) 画像復元装置およびその方法
JP2017138199A (ja) 画像処理装置、撮像装置、および画像処理方法
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2016162833A (ja) 撮像素子、撮像装置および画像処理装置
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP7191588B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
JP2018088587A (ja) 画像処理方法および画像処理装置
JP6818461B2 (ja) 撮像装置、画像処理装置、画像処理方法および画像処理プログラム
JP2021140758A (ja) 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム
JP7009219B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP2015119428A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191029

R151 Written notification of patent or utility model registration

Ref document number: 6611509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151