TWI393992B - High dynamic range image synthesis method - Google Patents

High dynamic range image synthesis method Download PDF

Info

Publication number
TWI393992B
TWI393992B TW098103756A TW98103756A TWI393992B TW I393992 B TWI393992 B TW I393992B TW 098103756 A TW098103756 A TW 098103756A TW 98103756 A TW98103756 A TW 98103756A TW I393992 B TWI393992 B TW I393992B
Authority
TW
Taiwan
Prior art keywords
images
dynamic range
high dynamic
camera
range image
Prior art date
Application number
TW098103756A
Other languages
English (en)
Other versions
TW201030448A (en
Original Assignee
Nat Univ Chung Cheng
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Chung Cheng filed Critical Nat Univ Chung Cheng
Priority to TW098103756A priority Critical patent/TWI393992B/zh
Priority to US12/453,410 priority patent/US8208048B2/en
Publication of TW201030448A publication Critical patent/TW201030448A/zh
Application granted granted Critical
Publication of TWI393992B publication Critical patent/TWI393992B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Description

高動態範圍影像合成方法
本發明係與影像處理的技術有關，特別是指一種高動態範圍影像合成方法。
按，美國專利第6,864,916號專利案，提出一種高動態範圍影像的合成技術，其主要以一架影像感測器連續擷取曝光度不同的影像，再將這些影像合成為高動態範圍影像。
我國公告第I246031號專利案「合成多次曝光影像之系統及方法」，即是根據上述案件的技術所發展出的後續技術。I246031號專利之技術主要具有一影像偵測單元，用以偵測至少一低動態範圍影像，其中低動態範圍影像係同一場景經過不同曝光時間的影像；以及具有一影像合成單元，其耦接於上述影像偵測單元，設定低動態範圍影像之曝光歷史資料，並參考曝光歷史資料，將低動態範圍影像進行影像合成，以形成一高動態範圍影像。然而此種方法擷取的各個低動態範圍影像，並非擷取於同一個時間點，在擷取動態場景的影像時，會因各低動態範圍影像不一致，而使得合成的時候產生鬼影的現象。
本發明之主要目的在於提供一種高動態範圍影像合成方法，其以多架相機在同一時間點分別擷取不同曝光度的 影像，進而可合成高動態範圍影像。
為了達成前述目的，依據本發明所提供之一種高動態範圍影像合成方法，包含有下列步驟：a)將二架以上的相機於一水平面上平行架設，並同時對一景物擷取曝光度不同的影像，其中各該相機具有對應的相機反應函數；b)藉由各該相機的相機反應函數，將各該相機取得的影像調整至相同的曝光度，並且定義出各該影像中的複數特徵點；c)依據各該影像的該等特徵點，進行對應的特徵點結合，藉以取得各該影像中對應的特徵點的位移量，進而得到視差所產生的位移量；以及d)套用各該影像中對應的特徵點之間的位移量，結合該等影像來成為一個合成影像。藉此，即可藉由多個相機來同時擷取不同曝光度的影像，並合成為高動態範圍影像。
為了詳細說明本發明之構造及特點所在，茲舉以下之一較佳實施例並配合圖式說明如后，其中：如第一圖所示，本發明一較佳實施例所提供之一種高動態範圍影像合成方法，主要具有下列步驟：
a)如第一圖所示，將二架相機11於一水平面上平行架設在同一高度，並同時對一景物擷取曝光度不同的影像，取得的不同曝光度的二影像如第二圖(A)(B)所示，其中，在第二圖(A)係以線條構成的圖表示，第二圖(B)則以實際影像為例。其中各該相機11具有對應的相機反應函數。其 中，在擷取曝光度不同的影像時，係以曝光時間的不同(即快門時間)來取像。另外，藉由控制光圈的不同亦可以取得不同曝光度的影像，不過在本實施例中係以曝光時間不同為例。又，各該相機11的相機反應函數，是可由相機廠所提供的函數取得；或是藉由對同一景物的同一點在不同曝光度下取像後，觀察不同影像上的該同一點的變化來推算。
b)藉由各該相機11的相機反應函數，將各該相機11取得的影像調整至相同的曝光度，並且定義出各該影像中的複數特徵點13，如第三圖(A)(B)所示，其中，在第三圖(A)係以線條構成的圖表示，第三圖(B)則以實際影像為例。
c)依據各該影像的該等特徵點13，進對應的特徵點13結合，藉以取得各該影像中對應的該二特徵點13之間的位移量，進而得到視差所產生的位移量。由於該二相機11的高度相同，因此所取得的位移量即為水平方向的位移量。
d)套用各該影像中對應的特徵點13的位移量，結合該等影像來成為一個合成影像，合成影像係如第四圖所示。此外，又修正因錯誤的特徵點13的結合所產生的殘影。合成後的影像即為高動態範圍影像，並可儲存成高動態範圍影像的檔案格式。
藉由上述步驟，可利用二個以上的相機來取得多張不同曝光度的影像，進而合成單一高動態範圍的影像。
由上可知，本發明所可達成之功效在於：
一、可以二架以上的相機在同一時間點分別擷取不同曝光度的影像，進而可即時的合成高動態範圍影像。
二、藉由修正因錯誤的特徵點的結合所產生的殘影，可使得合成的影像不會有鬼影產生。
11‧‧‧相機
13‧‧‧特徵點
第一圖係本發明一較佳實施例之相機架設示意圖。
第二圖(A)(B)係本發明一較佳實施例之影像示意圖，顯示不同曝光度的圖形及對應的影像。
第三圖(A)(B)係本發明一較佳實施例之影像示意圖，顯示圖形及對應的影像上定義特徵點的狀態。
第四圖係本發明一較佳實施例之影像示意圖，顯示合成後的影像。
11‧‧‧相機

Claims (4)

  1. 一種高動態範圍影像合成方法，包含有下列步驟：a)將二架以上的相機於一水平面上平行架設，並同時對一景物擷取曝光度不同的影像，其中各該相機具有對應的相機反應函數；b)藉由各該相機的相機反應函數，將各該相機取得的影像調整至相同的曝光度，並且定義出各該影像中的複數特徵點；c)依據各該影像的該等特徵點，進行對應的特徵點結合，藉以取得各該影像中對應的特徵點的位移量，進而得到視差所產生的位移量；以及d)套用各該影像中對應的特徵點之間的位移量，結合該等影像來成為一個合成影像。
  2. 依據申請專利範圍第1項所述之高動態範圍影像合成方法，其中，在步驟a)中：在擷取曝光度不同的影像時，係以曝光時間的不同來取像。
  3. 依據申請專利範圍第1項所述之高動態範圍影像合成方法，其中，在步驟a)中：在擷取曝光度不同的影像時，係以光圈的不同來取像。
  4. 依據申請專利範圍第1項所述之高動態範圍影像合成方法，其中，在步驟a)中：該等相機係架設在同一高度。
TW098103756A 2009-02-05 2009-02-05 High dynamic range image synthesis method TWI393992B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098103756A TWI393992B (zh) 2009-02-05 2009-02-05 High dynamic range image synthesis method
US12/453,410 US8208048B2 (en) 2009-02-05 2009-05-11 Method for high dynamic range imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098103756A TWI393992B (zh) 2009-02-05 2009-02-05 High dynamic range image synthesis method

Publications (2)

Publication Number Publication Date
TW201030448A TW201030448A (en) 2010-08-16
TWI393992B true TWI393992B (zh) 2013-04-21

Family

ID=42397361

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098103756A TWI393992B (zh) 2009-02-05 2009-02-05 High dynamic range image synthesis method

Country Status (2)

Country Link
US (1) US8208048B2 (zh)
TW (1) TWI393992B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997981B (zh) * 2010-11-01 2013-08-14 惠州Tcl移动通信有限公司 一种基于手机摄像头的宽容度实现方法及手机
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5860663B2 (ja) 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
TWI493478B (zh) * 2012-03-21 2015-07-21 Altek Corp 車牌攝像裝置及其影像曝光調整方法
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US8811811B1 (en) 2013-07-18 2014-08-19 Fraunhofer-Gesellscahft zur Foerderung der angewandten Forschung e.V. Camera system and method for generating high-quality HDR images or videos
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
CN104159046A (zh) * 2014-09-04 2014-11-19 上海航天电子通讯设备研究所 一种探月工程用自适应宽动态成像方法及装置
CN106846383B (zh) * 2017-01-23 2020-04-17 宁波诺丁汉大学 基于3d数字显微成像系统的高动态范围图像成像方法
US10630888B2 (en) 2017-02-09 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for selecting capture configuration based on scene analysis
WO2019104622A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 差异校准方法、双目视觉系统和计算机可读存储介质
CN110381262B (zh) * 2019-07-03 2021-12-28 深圳华萤光电技术有限公司 快速成像式亮度测量方法、装置和可编程成像亮度计
CN114827487B (zh) * 2020-04-28 2024-04-12 荣耀终端有限公司 一种高动态范围图像合成方法和电子设备
CN117837160A (zh) * 2021-11-05 2024-04-05 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置、可移动平台及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200509687A (en) * 2003-04-29 2005-03-01 Microsoft Corp A system and process for generating high dynamic range video
JP2005181639A (ja) * 2003-12-18 2005-07-07 Seiko Epson Corp 光伝搬特性制御装置、光学表示装置、光伝搬特性制御プログラムおよび光学表示装置制御プログラム、並びに光伝搬特性制御方法および光学表示装置制御方法
JP2005250235A (ja) * 2004-03-05 2005-09-15 Seiko Epson Corp 光変調装置、光学表示装置、光変調制御プログラム及び光学表示装置制御プログラム、並びに光変調制御方法及び光学表示装置制御方法
TW200611206A (en) * 2004-09-17 2006-04-01 Ulead Systems Inc System and method for synthesizing multi-exposed image
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7683950B2 (en) * 2005-04-26 2010-03-23 Eastman Kodak Company Method and apparatus for correcting a channel dependent color aberration in a digital image
US7599616B2 (en) * 2005-09-30 2009-10-06 Sharp Kabushiki Kaisha Image shooting apparatus, display apparatus and image shooting and display apparatus
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US8368720B2 (en) * 2006-12-13 2013-02-05 Adobe Systems Incorporated Method and apparatus for layer-based panorama adjustment and editing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200509687A (en) * 2003-04-29 2005-03-01 Microsoft Corp A system and process for generating high dynamic range video
JP2005181639A (ja) * 2003-12-18 2005-07-07 Seiko Epson Corp 光伝搬特性制御装置、光学表示装置、光伝搬特性制御プログラムおよび光学表示装置制御プログラム、並びに光伝搬特性制御方法および光学表示装置制御方法
JP2005250235A (ja) * 2004-03-05 2005-09-15 Seiko Epson Corp 光変調装置、光学表示装置、光変調制御プログラム及び光学表示装置制御プログラム、並びに光変調制御方法及び光学表示装置制御方法
TW200611206A (en) * 2004-09-17 2006-04-01 Ulead Systems Inc System and method for synthesizing multi-exposed image
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion

Also Published As

Publication number Publication date
US8208048B2 (en) 2012-06-26
TW201030448A (en) 2010-08-16
US20100194902A1 (en) 2010-08-05

Similar Documents

Publication Publication Date Title
TWI393992B (zh) High dynamic range image synthesis method
JP4869795B2 (ja) 撮像制御装置、撮像システム、および撮像制御方法
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
JP2017175616A (ja) 撮像装置、画像処理装置および方法
TW201205308A (en) Combining data from multiple image sensors
JP2009177251A (ja) オルソフォト画像の生成方法、および撮影装置
JP5284306B2 (ja) 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
JP6594180B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP6537231B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN105931210B (zh) 一种高分辨率图像重建方法
TW201204025A (en) Image processing method and device
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
US20170358115A1 (en) Image processing apparatus performing alignment process about plurality of images, control method therefor, and storage medium storing control program therefor
TWI538476B (zh) 立體攝影系統及其方法
JP2009134357A (ja) 画像処理装置、撮像装置、画像処理プログラム及び画像処理方法
JP2018038087A5 (zh)
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP2010263269A (ja) 撮像装置
JP2017207651A (ja) 画像取得装置
JP2013255121A5 (zh)
TWI637352B (zh) 影像處理裝置和方法
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置
JP6433154B2 (ja) 画像処理装置および撮像装置
JP4727610B2 (ja) 表示装置