JP6449320B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP6449320B2 JP6449320B2 JP2016557427A JP2016557427A JP6449320B2 JP 6449320 B2 JP6449320 B2 JP 6449320B2 JP 2016557427 A JP2016557427 A JP 2016557427A JP 2016557427 A JP2016557427 A JP 2016557427A JP 6449320 B2 JP6449320 B2 JP 6449320B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- exposure
- image
- value
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 39
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 26
- 239000002131 composite material Substances 0.000 description 14
- 238000000034 method Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000000052 comparative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 239000003086 colorant Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、異なる露光時間で露光させる画素を配置した撮像素子により取得された信号から、簡易に、撮像素子の画素ピッチに対応した解像度を有するHDR画像を得ることができる撮像装置を提供することを目的としている。
このようにすることで、ノイズレベルに応じて設定された閾値により、補間ミスにより生じた画素値の差に加えノイズによって生じた画素値の差も修正して被写体の輝度分布を精度よく反映した高ダイナミックレンジ画像を生成することができる。
このようにすることで、コントラストが低い領域でノイズによる画素値の置き換えが発生しにくくなり、ノイズが気になりやすい低コントラスト領域でのノイズを抑制することができる。
本実施形態に係る撮像装置1は、図1に示されるように、画像信号を取得する撮像部(画像取得部)2と、該撮像部2により取得された画像信号を処理する画像処理部3とを備えている。
撮像素子5は、例えば、複数の光電変換素子を2次元配列してなるCMOSイメージセンサであり、集光レンズによって被写体の光学像が結像されるようになっている。
露光制御部6は、図示しない制御部から適正露光時間TPと撮影指示とを受けて、光電変換素子の露光タイミングを設定し、取得された画素値(以下、露光画素値という。)を画像処理部3に出力するようになっている。
露光時間の異なる2つの画素群の画素値を合成することにより、図4に示されるように、ダイナミックレンジを適正露光の場合よりも拡大することができるようになっている。
補正画像生成部7は、露出別補間部(補間画像生成部)9と、露出補正部10とを備えている。
露出別補間部9は、図5A,図5Bに示されるように、画素群L,Sごとに露光画素値が得られていない画素L′,S′を補間して露出別に補間画像を生成するようになっている。
上の例では、画素群L,Sの露光時間の比率Rは、R=TL/TS=8である。画素群Sの補間画像の各画素値VSをR倍することにより両者の露出レベルを一致させることができる。すなわち、同一被写体はほぼ同じ値を示すことになる。なお、画素値がデジタル整数データである場合には、露出補正後の画素値は補正前の画素値より上位に3ビット拡張されていなければならない。
すなわち、図6に示されるように、最初に、通常のHDR合成と同様にして合成画素値の算出を行う(ステップS1)ようになっている。
ここで、VLは、画素群Lの注目画素の露出補正された画素値、VSは、画素群Sの注目画素の露出補正された画素値、SAは、光電変換素子の許容最大値からオプティカルブラック値を減算した画素値(以下、画素飽和値という。)、VCは、合成画素値である。
ステップS2においては、短時間露光の画素値VSが露光画素値であるか否かが判定され(ステップS21)、露光画素値である場合に、画素値VLと画素値VSとの差分の絶対値が所定の閾値THより大きいか否かが判定される(ステップS22)。
画素値VSが露光画素値ではない場合、および、|VL−VS|≦THの場合にはVC=VLが維持される。
本実施形態に係る撮像装置1を用いて、被写体の撮影を行うには、撮像レンズ4を被写体に向けて、被写体からの光を撮像レンズ4により集光し、集光された光を撮像素子5により撮影する。
画像データとしては、各画素が2つの画素群L,Sのいずれかにグループ分けされており、2つの画素群によって被写体全体を正しく表すことができるものとなっている。
変動する輝度分布が画素飽和値SAより小さい場合に、長時間露光の画素値VLは図7A、短時間露光の画素値VSは図7Bにそれぞれ示されるように補間される。図中、実線が被写体の輝度分布、破線が閾値SA、黒塗りのプロットが露光画素値であり、白抜きのプロットが補間された画素値である。
なお、画像処理部3においては、HDR合成部8においてダイナミックレンジが拡張された合成画素値VCに適した階調変換等の処理を行って、表示あるいは保存等の処理が行われる。
ここでは、ステップ2′として、画素群Sの画素値VSと閾値THBとを比較し、VS>THBの場合には、VC=VLに代えてVC=VSを採用することとしている。
これに対して、本発明によれば、このような不都合はなく、画素値の大小に関わらず、全ての場合において、被写体の輝度分布を反映するように合成画像を生成することができるという利点がある。
すなわち、露光レベルがN段階あり、露出補正された画素値を最短時間露光側から順にVi(露光レベル番号i=1,2,…,N)、露光レベル番号iの画素飽和値をSAiとし、露出補正はいずれか1つの露光レベルを基準として実施する。
VC=Vk
となる。
ここでkは、k≧j、かつ、Vk<SAk、かつ、|Vk−Vj|>THを満たす最大の露光レベル番号(ただし、Vj=SAjの場合、kはVk<SAkとなる最大の露光レベル番号)である。
N=2の場合、本実施形態における画素値VSを画素値V1、画素値VLを画素値V2とした場合に等しくなる。
また、本実施形態においては、補間処理の後にレベル補正処理を行うこととしたが、画像処理部3における露出別補間部9における補間処理と、露出補正部10におけるレベル補正処理の順序は逆でもよい。
本実施形態の説明において、上述した第1の実施形態に係る撮像装置1と構成を共通とする箇所に同一符号を付して説明を省略する。
すなわち、合成画素値VCは、合成比率αを用いて、
VC=VL×α+VS×(1−α)
である。
|VL−VS|≦THN×1の場合には、α=1、THN×1<|VL−VS|≦THN×3の場合には、α=|VL−VS|/(THN×2)、THN×3≦|VL−VS|の場合およびVL=SAの場合には、α=0である。
係数Kを小さくするほど、コントラスト(近傍領域の画素間の輝度値差レベル)が低い領域の本来の解像度を反映しやすくなるが、ノイズによる画素値の差でもVLからVSへの置き換えが起きるのでノイズも増えやすいことが分かる。
さらに、局所領域のコントラストの大小に応じて閾値を制御してもよい。すなわち、上記において局所平均値を算出するときに同時に分散値を求め、分散値が小さいほど、つまり、画像が平坦な領域ほど閾値THNを大きくするように制御することで、コントラストが低い領域(分散が小さい領域)でノイズによる画素値の置き換えが起こりづらくなり、ノイズが気になりやすい低コントラスト領域でのノイズの増加を抑制することができる。
2 撮像部(画像取得部)
7 補正画像生成部
8 HDR合成部
Claims (5)
- 露光時間の異なる画素が混在する原画像を取得する画像取得部と、
前記原画像の画素を前記露光時間によって分類した複数の画素群ごとに、画素値が補間されかつ露出補正された補正画像を生成する補正画像生成部と、
該補正画像生成部により生成された複数の前記画素群の前記補正画像を合成するHDR合成部とを備え、
該HDR合成部は、一の前記画素群に属する前記補正画像の露光により取得された画素の画素値と、該画素と同一位置に補間により生成され他の前記画素群に属する前記補正画像の画素の画素値との差が所定の閾値以上である場合に、一の前記画素群に属する前記補正画像の画素の合成比率を大きくする撮像装置。 - 前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を補間して補間画像を生成する補間画像生成部と、該補間画像生成部により生成された補間画像の各画素値を前記露光時間の比率に応じて露出補正して前記補正画像を生成する露出補正部とを備える請求項1に記載の撮像装置。
- 前記補正画像生成部が、複数の前記画素群ごとに露光により取得された画素の画素値を前記露光時間の比率に応じて露出補正する露出補正部と、該露出補正部により露出補正された画素値を補間して前記補正画像を生成する補間画像生成部とを備える請求項1に記載の撮像装置。
- 前記HDR合成部が、注目画素の画素値またはその周辺領域での局所平均画素値から算出したノイズレベルに応じて前記閾値を設定する請求項1から請求項3のいずれかに記載の撮像装置。
- 前記HDR合成部が、注目画素の周辺の局所領域のコントラスト値に応じて前記閾値を設定する請求項1から請求項4のいずれかに記載の撮像装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/079594 WO2016072018A1 (ja) | 2014-11-07 | 2014-11-07 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016072018A1 JPWO2016072018A1 (ja) | 2017-08-10 |
JP6449320B2 true JP6449320B2 (ja) | 2019-01-09 |
Family
ID=55908770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016557427A Active JP6449320B2 (ja) | 2014-11-07 | 2014-11-07 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10104305B2 (ja) |
JP (1) | JP6449320B2 (ja) |
WO (1) | WO2016072018A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208438A (ja) * | 2015-04-28 | 2016-12-08 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US10708524B2 (en) * | 2017-09-01 | 2020-07-07 | Semiconductor Components Industries, Llc | Methods and apparatus for high dynamic range imaging |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3110797B2 (ja) | 1991-06-21 | 2000-11-20 | キヤノン株式会社 | 撮像方法及び撮像画面合成装置 |
JP2004336469A (ja) * | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | 固体撮像素子、撮像装置、及び画像処理方法 |
US20070285547A1 (en) * | 2006-05-30 | 2007-12-13 | Milligan Edward S | CMOS image sensor array optimization for both bright and low light conditions |
US7825969B2 (en) * | 2006-12-15 | 2010-11-02 | Nokia Corporation | Image stabilization using multi-exposure pattern |
JP4645607B2 (ja) | 2007-03-12 | 2011-03-09 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
US7940311B2 (en) | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
WO2009120928A2 (en) * | 2008-03-28 | 2009-10-01 | The Trustees Of Columbia University In The City Of New York | Generalized assorted pixel camera systems and methods |
JP4661922B2 (ja) | 2008-09-03 | 2011-03-30 | ソニー株式会社 | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム |
JP5655626B2 (ja) * | 2011-02-24 | 2015-01-21 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012257193A (ja) | 2011-05-13 | 2012-12-27 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP2013066142A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
KR101225482B1 (ko) * | 2012-02-15 | 2013-01-23 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
JP6029430B2 (ja) * | 2012-11-20 | 2016-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
KR101992933B1 (ko) * | 2013-03-14 | 2019-06-25 | 삼성전자주식회사 | 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서 |
JP2014158267A (ja) * | 2014-03-17 | 2014-08-28 | Sony Corp | カラーフィルタ、撮像素子、画像処理装置および画像処理方法 |
US9894304B1 (en) * | 2014-08-18 | 2018-02-13 | Rambus Inc. | Line-interleaved image sensors |
-
2014
- 2014-11-07 WO PCT/JP2014/079594 patent/WO2016072018A1/ja active Application Filing
- 2014-11-07 JP JP2016557427A patent/JP6449320B2/ja active Active
-
2017
- 2017-04-24 US US15/495,342 patent/US10104305B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10104305B2 (en) | 2018-10-16 |
WO2016072018A1 (ja) | 2016-05-12 |
US20170230560A1 (en) | 2017-08-10 |
JPWO2016072018A1 (ja) | 2017-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8848063B2 (en) | Image processing including image correction | |
JP5589446B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP5935876B2 (ja) | 画像処理装置、撮像素子、および画像処理方法、並びにプログラム | |
US9288399B2 (en) | Image processing apparatus, image processing method, and program | |
US8547451B2 (en) | Apparatus and method for obtaining high dynamic range image | |
JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP6437450B2 (ja) | 画像処理装置、画像処理方法、電子機器、並びにプログラム | |
JP2013066142A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
KR101352440B1 (ko) | 화상처리장치, 화상처리방법, 및 기록매체 | |
WO2015163145A1 (ja) | 画像処理装置、画像処理方法、電子機器、並びにプログラム | |
JP2012235332A (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
US20180146144A1 (en) | Image processing device, image processing method, program, and imaging device | |
JP6587380B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
WO2019225071A1 (ja) | 信号処理装置及び信号処理方法、並びに撮像装置 | |
JP2008271123A (ja) | 撮像装置 | |
JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
JP2015142342A (ja) | 撮像装置、画像生成方法及び画像生成プログラム | |
JP5159715B2 (ja) | 画像処理装置 | |
JP6449320B2 (ja) | 撮像装置 | |
JP2011171842A (ja) | 画像処理装置及び画像処理プログラム | |
JP5612001B2 (ja) | 画像処理装置及び固体撮像装置 | |
JP6240813B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5631769B2 (ja) | 画像処理装置 | |
JP2015231052A (ja) | 撮像装置および方法、並びにプログラム | |
JP5721552B2 (ja) | 撮像装置および画像合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6449320 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |