JP6449320B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6449320B2
JP6449320B2 JP2016557427A JP2016557427A JP6449320B2 JP 6449320 B2 JP6449320 B2 JP 6449320B2 JP 2016557427 A JP2016557427 A JP 2016557427A JP 2016557427 A JP2016557427 A JP 2016557427A JP 6449320 B2 JP6449320 B2 JP 6449320B2
Authority
JP
Japan
Prior art keywords
pixel
exposure
image
value
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016557427A
Other languages
English (en)
Other versions
JPWO2016072018A1 (ja
Inventor
和人 根本
和人 根本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016072018A1 publication Critical patent/JPWO2016072018A1/ja
Application granted granted Critical
Publication of JP6449320B2 publication Critical patent/JP6449320B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮像装置に関するものである。
露光量を異ならせて取得された複数画像から高ダイナミックレンジ画像(以下、HDR画像という。)を生成する技術が知られている(例えば、特許文献1参照。)。露光量を異ならせる方法として露光時間を変えることが一般的に行われるが、露光時間を長くすると手ぶれや被写体の動きによるぶれが発生する。この問題を解決する技術として、同一撮像素子上に異なる時間で露光させる画素を配置して撮影した1枚の画像データからHDR画像を生成する技術がある(例えば、特許文献2参照。)。
特許第3110797号公報 特許第4645607号公報
特許文献2においては、特定の露光時間が割り当てられた画素以外の画素値は、露光時間が割り当てられた画素の画素値に基づく空間的補間によって算出した後に、各露光時間の画素値を合成するため、撮像素子の画素ピッチに対応した解像度が得られない場合がある。
本発明は、異なる露光時間で露光させる画素を配置した撮像素子により取得された信号から、簡易に、撮像素子の画素ピッチに対応した解像度を有するHDR画像を得ることができる撮像装置を提供することを目的としている。
本発明の一態様は、露光時間の異なる画素が混在する原画像を取得する画像取得部と、前記原画像の画素を前記露光時間によって分類した複数の画素群ごとに、画素値が補間されかつ露出補正された補正画像を生成する補正画像生成部と、該補正画像生成部により生成された複数の前記画素群の前記補正画像を合成するHDR合成部とを備え、該HDR合成部は、一の前記画素群に属する前記補正画像の露光により取得された画素の画素値と、該画素と同一位置に補間により生成され他の前記画素群に属する前記補正画像の画素の画素値との差が所定の閾値以上である場合に、一の前記画素群に属する前記補正画像の画素の合成比率を大きくする撮像装置である。
本態様によれば、画像取得部により露光時間の異なる画素が混在する原画像が取得されると、補正画像生成部により、原画像の画素を露光時間によって分類した複数の画素群ごとに、画素値が補間されかつ露出補正された補正画像が生成される。そして、複数の補正画像がHDR合成部によって合成されることにより、ダイナミックレンジが拡張された合成画像が生成される。
この場合において、各画素群の補正画像においては、露光により取得された画素の間に補間により画素が生成されるので、一の画素群の補正画像の補間により生成された画素に対応する位置には、他の画素群の補正画像の露光により取得された画素が存在する。そして、これらの画素の画素値の差が所定の閾値以上である場合には、補間により生成された画素の画素値の合成比率をより小さくし、露光により取得された画素の合成比率をより大きくして合成することにより、被写体の輝度分布を精度よく反映した高ダイナミックレンジ画像を生成することができる。
上記態様においては、前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を補間して補間画像を生成する補間画像生成部と、該補間画像生成部により生成された補間画像の各画素値を前記露光時間の比率に応じて露出補正して前記補正画像を生成する露出補正部とを備えてもよい。
また、上記態様においては、前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を前記露光時間の比率に応じて露出補正する露出補正部と、該露出補正部により露出補正された画素値を補間して前記補正画像を生成する補間画像生成部とを備えていてもよい。
また、上記態様においては、前記HDR合成部が、注目画素の画素値またはその周辺領域での局所平均画素値から算出したノイズレベルに応じて前記閾値を設定してもよい。
このようにすることで、ノイズレベルに応じて設定された閾値により、補間ミスにより生じた画素値の差に加えノイズによって生じた画素値の差も修正して被写体の輝度分布を精度よく反映した高ダイナミックレンジ画像を生成することができる。
また、上記態様においては、前記HDR合成部が、注目画素の周辺の局所領域のコントラスト値に応じて前記閾値を設定してもよい。
このようにすることで、コントラストが低い領域でノイズによる画素値の置き換えが発生しにくくなり、ノイズが気になりやすい低コントラスト領域でのノイズを抑制することができる。
本発明によれば、異なる露光時間で露光させる画素を配置した撮像素子により取得された信号から、簡易に、撮像素子の画素ピッチに対応した解像度を有するHDR画像を得ることができるという効果を奏する。
本発明の第1の実施形態に係る撮像装置を示すブロック図である。 図1の撮像装置の撮像素子における画素群L,Sの配列を示す図である。 図2の撮像素子の各画素群の露光タイミングの一例を示す図である。 図1の撮像素子の各画素群の露光量とダイナミックレンジとの関係を示す図である。 図1の露出別補間部による長時間露光の画素群とその補間画像を示す図である。 図1の露出別補間部による短時間露光の画素群とその補間画像を示す図である。 HDR画像の生成方法のフローチャートを示す図である。 長時間露光の露光画素値と補間画素値および被写体の輝度分布を示す図である。 短時間露光の露光画素値と補間画素値および被写体の輝度分布を示す図である。 図1の撮像装置による補正前の合成画素値および被写体の輝度分布を示す図である。 露光画素値と補間画素値との差分値を示す図である。 図1の撮像装置による補正後の合成画素値および被写体の輝度分布を示す図である。 図7Aにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。 図7Bにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。 図7Cにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。 図7Dにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。 図7Eにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。 比較例としての長時間露光の露光画素値とその補間画素値および被写体の輝度分布を示す図である。 比較例としての短時間露光の露光画素値とその補間画素値および被写体の輝度分布を示す図である。 比較例としての補正前の合成画素値および被写体の輝度分布を示す図である。 比較例としての補正後の合成画素値および被写体の輝度分布を示す図である。 図9Aにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。 図9Bにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。 図9Cにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わった場合を示す図である。 図9Dにおいて長時間露光の画素群と短時間露光の画素群との画素値が入れ替わり、合成画素値が被写体の輝度分布を反映しない場合を示す図である。 本発明の第2の実施形態に係る撮像装置における長時間露光の画素値と短時間露光の画素値との合成比率のグラフを示す図である。 被写体の輝度分布および局所平均値のグラフの一例を示す図である。 図11の撮像装置に係るノイズモデルの一例を示す図である。
以下、本発明の第1の実施形態に係る撮像装置1について、図面を参照して以下に説明する。
本実施形態に係る撮像装置1は、図1に示されるように、画像信号を取得する撮像部(画像取得部)2と、該撮像部2により取得された画像信号を処理する画像処理部3とを備えている。
撮像部2は、被写体からの光を集光する撮像レンズ4と、該撮像レンズ4により集光された光を撮影する撮像素子5と、該撮像素子5の各画素の露光時間を制御する露光制御部6とを備えている。
撮像素子5は、例えば、複数の光電変換素子を2次元配列してなるCMOSイメージセンサであり、集光レンズによって被写体の光学像が結像されるようになっている。
露光制御部6は、画素ごとに露光時間を設定している。撮像素子5の各画素においては、露光制御部6によって設定された露光時間中の光量が光電変換素子ごとに電荷量に変換されるようになっている。そして、撮像素子5においては、オプティカルブラック処理等の処理が行われた後にデジタル値に変換された2次元の画像データ(原画像)が出力されるようになっている。
撮像素子5の光電変換素子の配列例を図2に示す。各光電変換素子は、2つの画素群(L,S)のいずれかにグループ分けされており、少なくとも画素群ごとに露光時間を制御することができるように配線されている。2つの画素群の画素数はほぼ等しく、各画素群単独で構成される画像が被写体全体を正しく表すことができるように、各画素群を構成する画素は規則的かつ均等に配列されている。
本実施形態では、説明を簡単にするために、撮像素子5はグレースケール光または単色光の光電変換素子を有するものとする。
露光制御部6は、図示しない制御部から適正露光時間TPと撮影指示とを受けて、光電変換素子の露光タイミングを設定し、取得された画素値(以下、露光画素値という。)を画像処理部3に出力するようになっている。
各光電変換素子に設定する露光タイミングは、例えば、ダイナミックレンジ(DR)を8倍拡大する場合には、図3に示されるように、8倍の露光時間差を設定する。ここでは、低輝度側の拡張量を大きくし、適正露光時間TPに対して、長時間露光である画素群Lの露光時間TLをTP×4、短時間露光である画素群Sの露光時間TSをTP×0.5と設定するようになっている。
図3に示す例では、露光タイミングは、TS期間がTL期間に内包されるように設定されており、これによって、画素群Lおよび画素群Sの画素間において、被写体等の動きによる位置ずれを抑えている。
露光時間の異なる2つの画素群の画素値を合成することにより、図4に示されるように、ダイナミックレンジを適正露光の場合よりも拡大することができるようになっている。
画像処理部3は、補正画像生成部7と、HDR合成部8とを備えている。
補正画像生成部7は、露出別補間部(補間画像生成部)9と、露出補正部10とを備えている。
露出別補間部9は、図5A,図5Bに示されるように、画素群L,Sごとに露光画素値が得られていない画素L′,S′を補間して露出別に補間画像を生成するようになっている。
露出補正部10は、各画素群L,Sの補間画像に対し、露光時間に応じたレベル補正(露出補正)を行い、両画素群間の露出レベルを一致させて補正画像を生成するようになっている。
上の例では、画素群L,Sの露光時間の比率Rは、R=TL/TS=8である。画素群Sの補間画像の各画素値VSをR倍することにより両者の露出レベルを一致させることができる。すなわち、同一被写体はほぼ同じ値を示すことになる。なお、画素値がデジタル整数データである場合には、露出補正後の画素値は補正前の画素値より上位に3ビット拡張されていなければならない。
HDR合成部8は、以下の手順に従って、各画素群L,Sの補正画像の対応する位置の画素どうしを合成し、1枚のHDR画像を生成するようになっている。
すなわち、図6に示されるように、最初に、通常のHDR合成と同様にして合成画素値の算出を行う(ステップS1)ようになっている。
ステップS1においては、まず、VL<SAか否かが判定され(ステップS11)、VL<SAの場合には、VC=VLに設定され(ステップS12)、そうでない場合、すなわち、VL=SAの場合には、VC=VSに設定される(ステップS13)。
ここで、VLは、画素群Lの注目画素の露出補正された画素値、VSは、画素群Sの注目画素の露出補正された画素値、SAは、光電変換素子の許容最大値からオプティカルブラック値を減算した画素値(以下、画素飽和値という。)、VCは、合成画素値である。
ステップS1においては、長時間露光の画素値VLが飽和している明るい領域では短時間露光の画素値VSを選択することで、高輝度側のダイナミックレンジが拡張される。また、画素値VLが飽和しない暗い領域では、原則として画素値VLを選択することで、ノイズフロアを下げて低輝度側のダイナミックレンジが拡張される。
次に、HDR合成部8は、ステップS1において、VL<SAとなってVC=VLが選択された場合には、ステップS2に進行する。
ステップS2においては、短時間露光の画素値VSが露光画素値であるか否かが判定され(ステップS21)、露光画素値である場合に、画素値VLと画素値VSとの差分の絶対値が所定の閾値THより大きいか否かが判定される(ステップS22)。
|VL−VS|>THの場合には、合成画素値VCとして短時間露光の画素値VSが選択される(ステップS23)ようになっている。
画素値VSが露光画素値ではない場合、および、|VL−VS|≦THの場合にはVC=VLが維持される。
このように構成された本実施形態に係る撮像装置1の作用について以下に説明する。
本実施形態に係る撮像装置1を用いて、被写体の撮影を行うには、撮像レンズ4を被写体に向けて、被写体からの光を撮像レンズ4により集光し、集光された光を撮像素子5により撮影する。
撮像素子5においては、露光制御部6により各画素の露光時間が制御されることにより、設定された露光時間中の光量が光電変換素子ごとに電荷量に変換され、オプティカルブラック処理等の処理が行われた後にデジタル値に変換された2次元の画像データが出力される。
画像データとしては、各画素が2つの画素群L,Sのいずれかにグループ分けされており、2つの画素群によって被写体全体を正しく表すことができるものとなっている。
出力された画像データは、画像処理部3に送られて、補正画像生成部7において補正画像が生成される。具体的には、露出別補間部9において、画素群L,Sごとに露光画素値が得られていない画素L′,S′が補間されて補間画像が生成される。次いで、各画素群L,Sの補間画像は、露出補正部10に送られて、露光時間に応じたレベル補正が行われ、両画素群間の露出レベルが一致させられた補正画像が生成される。
生成された画素群ごとの補正画像は、HDR合成部8に送られて、ステップS1において長時間露光の画素群Lの画素値VLと画素飽和値SAとが比較され、VL=SAであれば合成画素値VCとして画素値VSが選択され、VL<SAであれば、原則として合成画素値VCとして画素値VLが選択されるとともに、ステップS2において、(補間)画素値VLと(露光)画素値VSとの差分の絶対値が所定の閾値THより大きいか否かが判定される。判定の結果、|VL−VS|>THの場合には、その画素については合成画素値VC=VSとなる。
ここで、撮像素子5上での被写体の輝度分布の周波数が画素ピッチによるナイキスト周波数に近い場合を例に挙げて説明する。
変動する輝度分布が画素飽和値SAより小さい場合に、長時間露光の画素値VLは図7A、短時間露光の画素値VSは図7Bにそれぞれ示されるように補間される。図中、実線が被写体の輝度分布、破線が閾値SA、黒塗りのプロットが露光画素値であり、白抜きのプロットが補間された画素値である。
この状態では、いずれの場合も補間された画素値は被写体の輝度分布を反映していない。また、これらの画素群L,Sに対し、まず、ステップS1が実施され、VL<SAであるためVC=VLとなった場合を図7Cに示す。この状態でも、合成画素値VCは被写体の輝度分布を反映していない。本実施形態は、さらに、ステップS2を実施し、短時間露光の(露光)画素値VSにおいて、|VL−VS|>THか否かが判定される。
図7Dに|VL−VS|を示す。これによれば、いずれの画素においても|VL−VS|>THとなっているため、画素L′においてはVC=VSが選択される。これにより、図7Eに示されるように、合成画素値VCは被写体の輝度分布を精度よく反映するようになる。
図8Aから図8Eには、図7Aから図7Eとは画素群L,Sの輝度値が入れ替わった場合を例示する。この場合においても、ステップS2を行わない状態の図8Aから図8Cでは画素値は被写体の輝度分布を反映していないが、ステップS2を実施することにより、図8Eに示されるように、合成画素値VCが被写体の輝度分布を精度よく反映するようになる。
このように、本実施形態に係る撮像装置1によれば、異なる露光時間で露光させる画素を配置した撮像素子5により取得された信号から、簡易に、撮像素子5の画素ピッチに対応した解像度を有するHDR画像を得ることができるという利点がある。
なお、画像処理部3においては、HDR合成部8においてダイナミックレンジが拡張された合成画素値VCに適した階調変換等の処理を行って、表示あるいは保存等の処理が行われる。
ここで、比較例として、2つの閾値を利用して合成画素値VCを決定する方法を説明する。
ここでは、ステップ2′として、画素群Sの画素値VSと閾値THBとを比較し、VS>THBの場合には、VC=VLに代えてVC=VSを採用することとしている。
図9から図9Dに示される例では、図9BのようにVS>THBであるために、VC=VSが選択され、被写体の輝度分布が反映されることとなる。しかしながら、図10Aから図10Dに示される例では、図10BのようにVS≦THBであるために、VC=VLが選択され、被写体の輝度分布が反映されない状態となる。
すなわち、画素値を閾値と比較する比較例の方法では、画素値の大小に応じて、被写体の輝度分が反映されない合成画像が生成されてしまう場合がある。
これに対して、本発明によれば、このような不都合はなく、画素値の大小に関わらず、全ての場合において、被写体の輝度分布を反映するように合成画像を生成することができるという利点がある。
なお、本実施形態においては、露光レベルを2段階として説明したが3段階以上の露光レベルにおいても同様の処理を行うことができる。
すなわち、露光レベルがN段階あり、露出補正された画素値を最短時間露光側から順にVi(露光レベル番号i=1,2,…,N)、露光レベル番号iの画素飽和値をSAiとし、露出補正はいずれか1つの露光レベルを基準として実施する。
注目画素の露光レベル番号をjとした場合、注目画素の合成画素値VCは、
VC=Vk
となる。
ここでkは、k≧j、かつ、Vk<SAk、かつ、|Vk−Vj|>THを満たす最大の露光レベル番号(ただし、Vj=SAjの場合、kはVk<SAkとなる最大の露光レベル番号)である。
N=2の場合、本実施形態における画素値VSを画素値V1、画素値VLを画素値V2とした場合に等しくなる。
また、本実施形態においては、撮像素子5はグレースケール光または単色光の光電変換素子を有するものとして説明したが、これに代えて、RGB3原色の画素をベイヤ配列してなる撮像素子5の場合には、「2つのG画素(Gr,Gb)と各1つのR画素およびB画素」の単位ごとに上記画素群に割り当てればよく、RGB各色について同様の処理をすればよい。
また、RGB3原色の画素を、縦横画素数を半減させたYC(輝度と色相)画素に変換し、そのY値を画素値としてもよい。さらに、Gb画素とGr画素の露光レベルを異ならせて、高露光側のG画素が飽和した場合に、低露光側のG画素で補正することにしてもよい。
また、本実施形態においては、補間処理の後にレベル補正処理を行うこととしたが、画像処理部3における露出別補間部9における補間処理と、露出補正部10におけるレベル補正処理の順序は逆でもよい。
次に、本発明の第2の実施形態に係る撮像装置について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第1の実施形態に係る撮像装置1と構成を共通とする箇所に同一符号を付して説明を省略する。
本実施形態に係る撮像装置においては、合成画素値VCとして長時間露光の画素値VLか短時間露光の画素値VSかを択一的に採用するのではなく、両方の画素値を、合成比率αによって合成することとしている。
すなわち、合成画素値VCは、合成比率αを用いて、
VC=VL×α+VS×(1−α)
である。
ここで、図11に示されるように、合成比率αは以下の通りに設定する。
|VL−VS|≦THN×1の場合には、α=1、THN×1<|VL−VS|≦THN×3の場合には、α=|VL−VS|/(THN×2)、THN×3≦|VL−VS|の場合およびVL=SAの場合には、α=0である。
ここで、図12に示されるように、THNは注目画素値またはその周辺領域での局所平均値(コントラスト値)から算出したノイズレベルNLのK倍の値である。Kは係数である。ショットノイズがノイズレベルを標準偏差とするガウス分布に従うことを想定すると、ノイズレベルNLは光量測定で観測されるショットノイズの分布式や、撮像素子5により実際に得られる画素値データを用いて設定することができる。図13に示されるように、露光画素値がどちらの画素群に属するかによってもノイズレベルNLは変化する。
係数Kを調整することで、合成画像の解像感とノイズ感を調整することができる。
係数Kを小さくするほど、コントラスト(近傍領域の画素間の輝度値差レベル)が低い領域の本来の解像度を反映しやすくなるが、ノイズによる画素値の差でもVLからVSへの置き換えが起きるのでノイズも増えやすいことが分かる。
逆に、係数Kを大きくするほど、低コントラスト領域の本来の解像度を反映しづらくなるが、ノイズの小さいVLが残るので、ノイズの少ない結果を得ることができる。
さらに、局所領域のコントラストの大小に応じて閾値を制御してもよい。すなわち、上記において局所平均値を算出するときに同時に分散値を求め、分散値が小さいほど、つまり、画像が平坦な領域ほど閾値THNを大きくするように制御することで、コントラストが低い領域(分散が小さい領域)でノイズによる画素値の置き換えが起こりづらくなり、ノイズが気になりやすい低コントラスト領域でのノイズの増加を抑制することができる。
このように、本実施形態に係る撮像装置によれば、注目領域での補間画素値と露光画素値との差が、補間ミスのみならずノイズによっても生ずるため、これを修正して、被写体の輝度分布を精度よく反映したHDR画像を生成することができる。
1 撮像装置
2 撮像部(画像取得部)
7 補正画像生成部
8 HDR合成部

Claims (5)

  1. 露光時間の異なる画素が混在する原画像を取得する画像取得部と、
    前記原画像の画素を前記露光時間によって分類した複数の画素群ごとに、画素値が補間されかつ露出補正された補正画像を生成する補正画像生成部と、
    該補正画像生成部により生成された複数の前記画素群の前記補正画像を合成するHDR合成部とを備え、
    該HDR合成部は、一の前記画素群に属する前記補正画像の露光により取得された画素の画素値と、該画素と同一位置に補間により生成され他の前記画素群に属する前記補正画像の画素の画素値との差が所定の閾値以上である場合に、一の前記画素群に属する前記補正画像の画素の合成比率を大きくする撮像装置。
  2. 前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を補間して補間画像を生成する補間画像生成部と、該補間画像生成部により生成された補間画像の各画素値を前記露光時間の比率に応じて露出補正して前記補正画像を生成する露出補正部とを備える請求項1に記載の撮像装置。
  3. 前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を前記露光時間の比率に応じて露出補正する露出補正部と、該露出補正部により露出補正された画素値を補間して前記補正画像を生成する補間画像生成部とを備える請求項1に記載の撮像装置。
  4. 前記HDR合成部が、注目画素の画素値またはその周辺領域での局所平均画素値から算出したノイズレベルに応じて前記閾値を設定する請求項1から請求項3のいずれかに記載の撮像装置。
  5. 前記HDR合成部が、注目画素の周辺の局所領域のコントラスト値に応じて前記閾値を設定する請求項1から請求項4のいずれかに記載の撮像装置。
JP2016557427A 2014-11-07 2014-11-07 撮像装置 Active JP6449320B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/079594 WO2016072018A1 (ja) 2014-11-07 2014-11-07 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2016072018A1 JPWO2016072018A1 (ja) 2017-08-10
JP6449320B2 true JP6449320B2 (ja) 2019-01-09

Family

ID=55908770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016557427A Active JP6449320B2 (ja) 2014-11-07 2014-11-07 撮像装置

Country Status (3)

Country Link
US (1) US10104305B2 (ja)
JP (1) JP6449320B2 (ja)
WO (1) WO2016072018A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208438A (ja) * 2015-04-28 2016-12-08 ソニー株式会社 画像処理装置及び画像処理方法
US10708524B2 (en) * 2017-09-01 2020-07-07 Semiconductor Components Industries, Llc Methods and apparatus for high dynamic range imaging

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3110797B2 (ja) 1991-06-21 2000-11-20 キヤノン株式会社 撮像方法及び撮像画面合成装置
JP2004336469A (ja) * 2003-05-08 2004-11-25 Fuji Film Microdevices Co Ltd 固体撮像素子、撮像装置、及び画像処理方法
US20070285547A1 (en) * 2006-05-30 2007-12-13 Milligan Edward S CMOS image sensor array optimization for both bright and low light conditions
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP4645607B2 (ja) 2007-03-12 2011-03-09 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
WO2009120928A2 (en) * 2008-03-28 2009-10-01 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101225482B1 (ko) * 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
JP6029430B2 (ja) * 2012-11-20 2016-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
KR101992933B1 (ko) * 2013-03-14 2019-06-25 삼성전자주식회사 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서
JP2014158267A (ja) * 2014-03-17 2014-08-28 Sony Corp カラーフィルタ、撮像素子、画像処理装置および画像処理方法
US9894304B1 (en) * 2014-08-18 2018-02-13 Rambus Inc. Line-interleaved image sensors

Also Published As

Publication number Publication date
US10104305B2 (en) 2018-10-16
WO2016072018A1 (ja) 2016-05-12
US20170230560A1 (en) 2017-08-10
JPWO2016072018A1 (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
US8848063B2 (en) Image processing including image correction
JP5589446B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5935876B2 (ja) 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US9288399B2 (en) Image processing apparatus, image processing method, and program
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP6437450B2 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
JP2013066142A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR101352440B1 (ko) 화상처리장치, 화상처리방법, 및 기록매체
WO2015163145A1 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
US20180146144A1 (en) Image processing device, image processing method, program, and imaging device
JP6587380B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
WO2019225071A1 (ja) 信号処理装置及び信号処理方法、並びに撮像装置
JP2008271123A (ja) 撮像装置
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP2015142342A (ja) 撮像装置、画像生成方法及び画像生成プログラム
JP5159715B2 (ja) 画像処理装置
JP6449320B2 (ja) 撮像装置
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
JP5612001B2 (ja) 画像処理装置及び固体撮像装置
JP6240813B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5631769B2 (ja) 画像処理装置
JP2015231052A (ja) 撮像装置および方法、並びにプログラム
JP5721552B2 (ja) 撮像装置および画像合成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181205

R151 Written notification of patent or utility model registration

Ref document number: 6449320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250