JP5746296B2 - ハイダイナミックレンジ動画撮影方法 - Google Patents
ハイダイナミックレンジ動画撮影方法 Download PDFInfo
- Publication number
- JP5746296B2 JP5746296B2 JP2013198324A JP2013198324A JP5746296B2 JP 5746296 B2 JP5746296 B2 JP 5746296B2 JP 2013198324 A JP2013198324 A JP 2013198324A JP 2013198324 A JP2013198324 A JP 2013198324A JP 5746296 B2 JP5746296 B2 JP 5746296B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- long exposure
- short exposure
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 235000019557 luminance Nutrition 0.000 claims description 25
- 238000004904 shortening Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 239000013589 supplement Substances 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Description
図2は、本発明の第1実施例に係るハイダイナミックレンジ動画撮影方法のフローチャートである。図2に示すステップS51〜S56の詳細について、以下に説明する。
本発明の第2実施例は、図4を参照して説明する。第2実施例と第1実施例との相異点は、長露光フィールド105及び短露光フィールド106が形成された後の再構築と結合工程であり、それらを以下のように述べる。図4に示すように、画素c,d,e,f,g,hの画素値は、それぞれPV(c),PV(d),PV(e),PV(f),PV(g),PV(h)で表される。長露光フィールドにおける欠落した画素gを再構築しようとする時、まず画素eの画素値PV(e)の判断を行い、PV(e)が第3既定値10より小さい場合、画素eに何らの情報もないことを示し、(PV(c)+PV(d))/2を画素gの画素値PV(g)とする。PV(e)が第3既定値10と第4既定値250との間にある場合、PV(e)×Rを画素gの画素値PV(g)とする。短露光フィールドにおける欠落した画素hを再構築しようとする時、まず画素dの画素値PV(d)の判断を行い、PV(d)が第4既定値250より大きい場合、画素dに何らの情報もないことを示し、(PV(e)+PV(f))/2を画素hの画素値PV(h)とする。PV(e)が第3既定値10と第4既定値250との間にある場合、PV(d)/2Rを画素hの画素値PV(h)とする。上記の方法によれば、長露光フィールド105及び短露光フィールド106の全ての画素が補足完了した後、再構築工程が完了される。
101 第1長露光領域、
102 第1短露光領域、
103 第2長露光領域、
104 第2短露光領域、
105 長露光フィールド、
106 短露光フィールド、
107 再構築した長露光フィールド、
108 再構築した短露光フィールド。
Claims (9)
- 画像センサを備える電気製品に適用されるハイダイナミックレンジ動画撮影方法であって、
前記画像センサを用いて交互に配列された複数の長露光領域及び複数の短露光領域からなる複数の画素を含む本来映像を撮影するステップと、
前記複数の長露光領域が長露光フィールドに形成され、前記複数の短露光領域が短露光フィールドに形成されるステップと、
前記長露光フィールド及び前記短露光フィールドの各々の画素の画素値に基づいて、再構築工程を経て前記本来映像と同じ解像度の再構築した長露光フィールド及び再構築した短露光フィールドを形成するステップと、
結合工程を経て前記再構築した長露光フィールド及び前記再構築した短露光フィールドの各々の画素の画素値に基づいて、ハイダイナミックレンジ映像を形成するステップと、を含み、
前記画素値は、0から2x−1までの整数値であり、xは、前記画像センサのバイト数であり、異なる画素値は異なる輝度に対応し、前記複数の長露光領域の長露光時間と前記複数の短露光領域の短露光時間との比を、露光時間比(R)とすると共に、
前記再構築工程は、
前記複数の短露光領域の欠落部分が対応して補足されるように、前記複数の長露光領域の各画素の画素値を前記露光時間比(R)で割るとともに、前記複数の短露光領域と組み合わせることによって前記再構築した短露光フィールドを形成するステップと、
前記複数の長露光領域の欠落部分が対応して補足されるように、前記複数の短露光領域の各画素の画素値に前記露光時間比(R)を掛けるとともに、前記複数の長露光領域と組み合わせることによって前記再構築した長露光フィールドを形成するステップと、
を含むことを特徴とする、ハイダイナミックレンジ動画撮影方法。 - 前記各長露光領域は、少なくとも1列の画素を含み、前記各短露光領域は、少なくとも1列の画素を含むことを特徴とする、請求項1に記載のハイダイナミックレンジ動画撮影方法。
- 前記画像センサの第1列及び第2列の露光時間は、前記長露光時間とし、第3列及び第4列の露光時間は、前記短露光時間とすることを特徴とする、請求項2に記載のハイダイナミックレンジ動画撮影方法。
- 前記結合工程は、前記再構築した長露光フィールドの各画素及び前記再構築した短露光フィールドに対応する各画素の画素値を逐次比較し、比較結果に基づいて、
前記再構築した長露光フィールドの画素値が第1既定値より大きい場合、前記再構築した長露光フィールドの画素値に代えて、前記再構築した短露光フィールドの画素値掛けるRの値を前記ハイダイナミックレンジ映像の画素値とするステップと、
前記再構築した短露光フィールドの画素値が第2既定値より小さい場合、前記再構築した短露光フィールドの画素値に代えて、前記再構築した長露光フィールドの画素値割るRの値を前記ハイダイナミックレンジ映像の画素値とするステップと、
を行うことを特徴とする、請求項1に記載のハイダイナミックレンジ動画撮影方法。 - 前記結合工程は、さらに、
前記再構築した長露光フィールドの画素値が前記第2既定値より小さい場合、前記複数の長露光領域の前記長露光時間を延長するステップと、
前記再構築した短露光フィールドの画素値が前記第1既定値より大きい場合、前記複数の短露光領域の前記短露光時間を短縮するステップと、
前記再構築した長露光フィールド及び前記再構築した短露光フィールドの画素値のいずれも前記第1既定値と前記第2既定値との間にある場合、前記再構築した長露光フィールドの画素値を前記ハイダイナミックレンジ映像の画素値とするステップと、
を含むことを特徴とする、請求項4に記載のハイダイナミックレンジ動画撮影方法。 - 前記第1既定値が250であり、前記第2既定値が10であることを特徴とする、請求項4または請求項5に記載のハイダイナミックレンジ動画撮影方法。
- 前記再構築工程及び前記結合工程は、前記複数の長露光領域の欠落部分の各画素に対し、
前記複数の長露光領域の欠落部分の画素に対応する短露光領域の画素の画素値が第3既定値より小さい場合、前記複数の長露光領域の欠落部分の前記画素に対応する上下長露光領域の2つの画素の画素値の平均値を前記画素の画素値とするステップと、
前記複数の長露光領域の欠落部分の画素に対応する短露光領域の画素の画素値が前記第3既定値と第4既定値との間にある場合、前記複数の長露光領域の欠落部分の前記画素に対応する短露光領域の画素の画素値掛けるRの値が前記画素の画素値となるステップと、
を行うことを特徴とする、請求項1に記載のハイダイナミックレンジ動画撮影方法。 - 前記再構築工程は、さらに、前記複数の短露光領域の欠落部分の各画素に対し、
前記複数の短露光領域の欠落部分の画素に対応する長露光領域の画素の画素値が前記第4既定値より大きい場合、前記複数の短露光領域の欠落部分の前記画素に対応する上下短露光領域の2つの画素の画素値の平均値を前記画素の画素値とするステップと、
前記複数の短露光領域の欠落部分の画素に対応する長露光領域の画素の画素値が前記第3既定値と第4既定値との間にある場合、前記複数の短露光領域の欠落部分の前記画素に対応する短露光領域の画素の画素値割るRの値が前記画素の画素値となるステップと、
を行うことを特徴とする、請求項7に記載のハイダイナミックレンジ動画撮影方法。 - 前記第3既定値が10であり、前記第4既定値が250であることを特徴とする、請求項7または請求項8に記載のハイダイナミックレンジ動画撮影方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102127216 | 2013-07-29 | ||
TW102127216A TWI501639B (zh) | 2013-07-29 | 2013-07-29 | 拍攝高動態範圍影片之方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015027067A JP2015027067A (ja) | 2015-02-05 |
JP5746296B2 true JP5746296B2 (ja) | 2015-07-08 |
Family
ID=52390187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013198324A Active JP5746296B2 (ja) | 2013-07-29 | 2013-09-25 | ハイダイナミックレンジ動画撮影方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9137454B2 (ja) |
JP (1) | JP5746296B2 (ja) |
CN (1) | CN104349069B (ja) |
TW (1) | TWI501639B (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9633426B2 (en) | 2014-05-30 | 2017-04-25 | General Electric Company | Remote visual inspection image capture system and method |
US9307207B2 (en) * | 2013-01-07 | 2016-04-05 | GM Global Technology Operations LLC | Glaring reduction for dynamic rearview mirror |
TWI464526B (zh) * | 2013-08-08 | 2014-12-11 | Quanta Comp Inc | 高動態範圍影像曝光時間控制方法 |
JP6282303B2 (ja) | 2015-05-29 | 2018-02-21 | キヤノン株式会社 | 撮像素子および撮像装置 |
TWI576653B (zh) * | 2015-07-31 | 2017-04-01 | 廣達電腦股份有限公司 | 曝光控制系統及其方法 |
US10440288B2 (en) * | 2015-09-02 | 2019-10-08 | Microsoft Technology Licensing, Llc | Methods and apparatuses for capturing image frames with interlaced exposure |
CN105120131A (zh) * | 2015-09-14 | 2015-12-02 | 北京中科慧眼科技有限公司 | 基于相机传感器的补偿失真和补偿模糊的方法 |
CN105516700B (zh) * | 2015-12-18 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
CN106961557B (zh) * | 2016-01-08 | 2020-01-31 | 中强光电股份有限公司 | 光场相机及其影像处理方法 |
CN106161997A (zh) * | 2016-06-30 | 2016-11-23 | 上海华力微电子有限公司 | 提高cmos图像传感器像素的方法及系统 |
KR102684223B1 (ko) | 2016-12-12 | 2024-07-11 | 삼성전자주식회사 | 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템 |
CN110418081B (zh) * | 2018-04-27 | 2021-12-24 | 北京紫光展锐通信技术有限公司 | 高动态范围图像全分辨率重建方法、装置及电子设备 |
CN109040524B (zh) * | 2018-08-16 | 2021-06-29 | Oppo广东移动通信有限公司 | 伪影消除方法、装置、存储介质及终端 |
CN110661982B (zh) * | 2019-09-27 | 2021-08-10 | 思特威(上海)电子科技股份有限公司 | 图像传感器成像中led频闪抑制的方法 |
CN111462021B (zh) * | 2020-04-27 | 2023-08-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN111953893B (zh) * | 2020-06-30 | 2022-04-01 | 普联技术有限公司 | 一种高动态范围图像生成方法、终端设备及存储介质 |
CN112672070B (zh) * | 2020-12-30 | 2022-07-26 | 惠州华阳通用电子有限公司 | 一种摄像头拍摄参数调节方法 |
CN113905194B (zh) * | 2021-08-31 | 2024-05-10 | 浙江大华技术股份有限公司 | 一种曝光比处理方法、终端设备及计算机存储介质 |
CN115118974A (zh) * | 2022-06-22 | 2022-09-27 | 清华大学 | 视频生成方法、装置、系统、电子设备以及可读存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007251905A (ja) * | 2006-03-20 | 2007-09-27 | Toshiba Corp | 撮像装置 |
JP5100066B2 (ja) * | 2006-09-06 | 2012-12-19 | パナソニック株式会社 | 撮像装置および撮像方法 |
JP4306750B2 (ja) * | 2007-03-14 | 2009-08-05 | ソニー株式会社 | 撮像装置、撮像方法、露光制御方法、プログラム |
US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
JP4661922B2 (ja) * | 2008-09-03 | 2011-03-30 | ソニー株式会社 | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム |
US8405750B2 (en) * | 2009-06-08 | 2013-03-26 | Aptina Imaging Corporation | Image sensors and image reconstruction methods for capturing high dynamic range images |
US8947555B2 (en) * | 2011-04-18 | 2015-02-03 | Qualcomm Incorporated | White balance optimization with high dynamic range images |
JP2012234393A (ja) * | 2011-05-02 | 2012-11-29 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013066142A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US9071765B2 (en) * | 2012-12-28 | 2015-06-30 | Nvidia Corporation | System, method, and computer program product implementing an image processing pipeline for high-dynamic range images |
-
2013
- 2013-07-29 TW TW102127216A patent/TWI501639B/zh not_active IP Right Cessation
- 2013-08-23 CN CN201310373742.4A patent/CN104349069B/zh not_active Expired - Fee Related
- 2013-09-25 JP JP2013198324A patent/JP5746296B2/ja active Active
- 2013-11-11 US US14/076,440 patent/US9137454B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
TW201505439A (zh) | 2015-02-01 |
TWI501639B (zh) | 2015-09-21 |
CN104349069B (zh) | 2017-08-11 |
JP2015027067A (ja) | 2015-02-05 |
US9137454B2 (en) | 2015-09-15 |
CN104349069A (zh) | 2015-02-11 |
US20150029354A1 (en) | 2015-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5746296B2 (ja) | ハイダイナミックレンジ動画撮影方法 | |
EP3694203B1 (en) | Method and device for obtaining exposure compensation value of high-dynamic-range image | |
JP5935876B2 (ja) | 画像処理装置、撮像素子、および画像処理方法、並びにプログラム | |
KR100843087B1 (ko) | 영상 생성 장치 및 방법 | |
JP6420540B2 (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
WO2016011877A1 (zh) | 拍摄光绘视频的方法和移动终端、存储介质 | |
JP2013066145A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2011004353A (ja) | 画像処理装置、画像処理方法 | |
US10122943B1 (en) | High dynamic range sensor resolution using multiple image sensors | |
JP6087612B2 (ja) | 画像処理装置および画像処理方法 | |
JP2011166728A (ja) | 画像処理装置、画像処理方法 | |
CN105205787A (zh) | 用于对ldr视频序列进行动态范围扩展的方法和设备 | |
JPWO2012081175A1 (ja) | 画像生成装置、画像生成システム、方法、およびプログラム | |
JP2019530322A (ja) | イメージセンサのピクセルアレイの明度補正 | |
JP2007323635A (ja) | ビデオ・イメージの再帰的フィルタリング | |
JP2019003443A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JPWO2013118364A1 (ja) | 画像処理装置および画像処理方法 | |
JP6603557B2 (ja) | 画像処理装置および画像処理方法 | |
JP2014147047A (ja) | 画像処理装置、方法、及びプログラム、並びに撮像装置 | |
JP4614925B2 (ja) | 画素情報読出方法および撮像装置 | |
US8855444B2 (en) | Method for partitioning and processing a digital image | |
Gil Rodríguez et al. | High quality video in high dynamic range scenes from interlaced dual-iso footage | |
Kartalov et al. | Fully automated exposure fusion algorithm for mobile platforms | |
JP2014220759A (ja) | 画像処理装置および画像処理方法 | |
Lin et al. | Extended Dynamic Range imaging: A spatial down-sampling approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5746296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |