TWI416944B - Photometric correction method for light field camera - Google Patents
Photometric correction method for light field camera Download PDFInfo
- Publication number
- TWI416944B TWI416944B TW98104266A TW98104266A TWI416944B TW I416944 B TWI416944 B TW I416944B TW 98104266 A TW98104266 A TW 98104266A TW 98104266 A TW98104266 A TW 98104266A TW I416944 B TWI416944 B TW I416944B
- Authority
- TW
- Taiwan
- Prior art keywords
- photo
- luminosity
- point
- target
- comparison
- Prior art date
Links
Landscapes
- Studio Devices (AREA)
Description
本發明係關於一種光場相機之光度校正方法，特別係指一種不需要設定比對物即可進行光度校正的光場相機光度校正方法。
相機是人們普遍用來記錄生活中特殊事件的工具，不管是特殊節日或是各地旅遊，都可以藉由相機來記錄下每一吋美景及每一幕令人難忘的場景。
隨著科學的進步，傳統上需要更換底片的光學相機早已被數位相機所取代，但是不論是光學相機或是數位相機，都是將三維空間的立體場景以二維景象的方式呈現，在整體景觀的呈現上，難免有立體感、真實感不足的缺憾。
光場相機(light field camera)是一種擷取場景中四維光場資訊的裝置，一個完整的四維光場可以提供觀賞者對於景觀所有視覺上的資訊，亦即對於同一場景進行拍攝時，在同一光場的不同角度下所呈現的相片效果也會有所不同，本案發明人所提出之中華民國第200823595公開號專利，專利名稱係「利用可程式化光圈之影像擷取裝置」即在光學鏡頭與感應器間設置一可程式化光學透鏡，來將由被拍攝物體射入至光學鏡頭後由感應器所接收到的光線進行適當開放或遮蔽，以得到光學鏡頭上不同位置的入射光線記錄，並進而可還原成被拍攝物體的完整光場資料，以利後續進行任意焦距影像處理。
然而利用光場相機進行拍攝動作後，相片上有可能會因為不同的視角不同視角下，相片上各部位區塊光線的明亮度不同而引發整張相片的光度分佈不均，或是造成局部區塊景象模糊的現象，進而在觀賞相片時影響視覺的舒適度。
既有光場相機為了避免上述之問題，必須先在場景中設立一校正物，進行相片拍攝後，將所得的相片做為參考相片，之後再針對同一場景進行拍攝，將所得的相片做為標的相片，並利用該校正相片中的校正物進行標的相片的光度校正，在執行過程中十分不便。
本發明之主要目的為提供一種可以針對光場相機顯像結果進行光度校正的方法，係藉由演算方法，在不需使用一校正物體的狀態下，對於光度失真的相片進行光度校正。
本發明光場相機之光度校正方法係包括下列步驟：
(1)拍攝相片：利用一光場相機攝取同一個光場下不同視角的複數張相片；
(2)特徵點擷取：對該複數張相片中至少兩張相片進行相片上複數個特徵點擷取，其中一張相片為參考相片，其餘張則為需要進行光度校正之標的相片；
(3)三角分割(delaunay triangulation)：分別選取參考相片及標的相片上的三個特徵點形成複數個三角平面；
(4)變形化處理(deformation)：將參考相片及標的相片重疊進行位置比對，將位置偏移量過大之三角平面剔除；
(5)光度誤差計算：在標的相片和參考相片設定相對應的N個比較點，利用該參考相片為基準取得另一相片上各點的光度誤差；及
(6)光度校正：依照步驟(5)所得之光度誤差還原相片之光度。
本發明係關於一種光場相機之光度校正方法，包括下列步驟：
(1)拍攝相片：利用一光場相機攝取同一個光場下不同視角的複數張相片；
(2)特徵點擷取：對該複數張相片中至少兩張相片進行相片上複數個特徵點擷取，其係選定一張相片為校正基準之參考相片，其餘張則為需要進行光度校正之標的相片；
(3)三角分割(delaunay triangulation)：分別選取參考相片及標的相片上的三個特徵點形成複數個三角平面；
(4)變形化處理(deformation)：將參考相片及標的相片重疊進行位置比對；
(5)光度誤差計算：在標的相片和參考相片設定相對應的N個比較點，每一個點的位置係以x
表示，將該標的相片和該參考相片每一個對應點的光度值相除，即可獲得標的相片光度誤差值f u
(x
)，將該標的相片上光度最高的一點之位置設定為c u
，在已知該N個比較點於該標的相片和該參考相片上之光度分別為和I u
(x
)及每一個比較點的位置為x
下，可藉由方程式11)計算出每一個比較點之x
位置所對應的a ui
值，選取每一個比較點中最小的a ui
值，再帶回每一個x
位置中計算每一個x
比較點的c u
值，如此重複運算至a ui
和c u
為最小收斂值，將該a ui
和c u
之最小收斂值帶回方程式(1)中，即可獲得標的相片上每一比較點光度誤差值f u
(x
)；
其中x
為標的相片或參考相片上的一定點u
為相片編號為標的相片中定點x
之光度d
為標的相片I u
(x
)為參考相片中定點x
之光度f u
(x
)為標的相片光度誤差值a ui
為光度誤差係數c u
為標的相片中最亮點之位置 ∥x
-c u
∥2
為歐幾里得距離(Euclidean distance)
(6)光度校正：利用步驟(5)所計算之光度誤差值f u
(x
)調整、校正該標的相片之光度。
請參考附件中的相片，以明瞭本發明的光場相機之光度校正方法實施狀態，利用光場相機進行拍攝時，可以依照相機的設定擷取n2
張相片(n≧2)，在本實施例中係以經由光場相機所擷取同一個實景下於9個不同光場的影像相片來進行說明，該9張影像相片分別標號為0-8。
本方法係利用下述步驟：
(1)拍攝相片：利用光場相機拍攝9個不同光場的影像相片，選取一右側光度較高、左側光度較低之相片並將其標號為2來做為光度校正用之標的相片(附件一，後簡稱為標的相片)，另外選取一中央區塊光度較高並以輻射狀向外降低光度、失真度較小之相片做為校正標準用之參考相片並標號為0(附件二，後簡稱為參考相片)；
(2)特徵點擷取：對於標的相片和參考相片進行特徵點擷取(如附件一和附件二中綠色標點)，該特徵點可為相片中不同色塊之分界點，或相片中某項物體形狀或顏色較為突出之點；
(3)三角分割：將擷取出的特徵點相互連結形成複數個三角平面(如附件三所示)；
(4)變形化處理：將標的相片和參考相片重疊進行標的相片和參考相片上三角平面之比對，剔除拍攝時，光場角度不同所導致物品在相片上的位置造成偏移量過大之三角平面，或是剔除標的相片上，和參考相片之三角平面位置無法對應之三角平面(如附件四所示之黑色區域)；
(5)光度比對：在標的相片和參考相片設定相對應且平均分佈的500個比較點，每一個點的位置係以x
表示，將該標的相片和該參考相片每一個對應點的光度值相除，即可獲得標的相片光度誤差值f u
(x
)，該標的相片因光度誤差變化所導致之光度變化如附件五所示，將該標的相片上光度最高的一點之位置設定為c u
，在已知該500個比較點於該標的相片和該參考相片上之光度分別為和I 0
(x
)及每一個比較點的位置為x
下，可藉由方程式(1)計算出500個比較點之x
位置所對應的a ui
值，選取500個比較點中最小的a ui
值，再帶回每一個x
位置中計算每一個x
比較點的c u
值，如此重複運算至a ui
和c u
為最小收斂值，將該a ui
和c u
之最小收斂值帶回方程式(1)中，即可獲得標的相片上每一比較點光度誤差值f u
(x
)；
其中x
為標的相片或參考相片上的一定點u
為相片編號為標的相片中定點x
之光度d
為標的相片I u
(x
)為參考相片中定點x
之光度f u
(x
)為標的相片光度誤差值a ui
為光度誤差係數c u
為標的相片中最亮點之位置 ∥x
-c u
∥2
為歐幾里得距離(Euclidean distance)
(6)光度校正：利用步驟(5)所計算之光度誤差值f u
(x
)調整、校正該標的相片之光度，經由校正後該標的相片之顯像如附件六所示。
該標的相片在校正前、後，經由標的相片截取任意水平切線上不同位置之光度如第一圖所示，其中縱軸為光度，橫軸為對應於該標的相片水平切線上的不同位置，符號A為校正前相片水平切面上不同位置的光度變化線，符號B為校正後相片水平切面上不同位置的光度變化線，由圖中可以看出，經過校正後，該標的相片水平切線上的不同位置之光度趨近於一致，因此能使得相片整體不再有左側光度較暗之情況發生。
A．．．校正前相片水平切面上不同位置的光度變化線
B．．．校正後相片水平切面上不同位置的光度變化線
第一圖為利用本發明之光度校正方法針對相片進行校正前後，相片水平切面的光度變化情形。
附件一為標的相片。
附件二為參考相片。
附件三為標的相片之三角分割結果。
附件四為標的相片之變形化處理結果。
附件五為標的相片之光度誤差變化。
附件六為經校正後的標的相片。
A．．．校正前相片水平切面上不同位置的光度變化線
B．．．校正後相片水平切面上不同位置的光度變化線
Claims (6)
- 一種光場相機之光度校正方法，係利用一光場相機攝取同一個光場下不同視角的複數張相片，選取一標的相片及一參考相片利用一演算法進行該標的相片之光度誤差計算，並依該光度誤差計算結果校正該標的相片之光度，對每一該相片修正色彩與亮度的誤差，其中該光度誤差計算是計算該標的相片及該參考相片的色彩或亮度的誤差，且該參考相片之光度係由相片中心向外遞減。
- 如申請專利範圍第2項所述的光度校正方法，其中在進行光度誤差計算前，更包括下列步驟：特徵點擷取步驟，即擷取相片中不同色塊之數個分界點，或相片中某項物體形狀或顏色較為突出之數個點做為特徵點；三角分割步驟，將擷取出的該些特徵點相互連結形成複數個三角平面；以及變形化處理步驟，係將參考相片及標的相片重疊進行位置比對，並剔除拍攝時，光場角度不同所導致物品在相片上的位置造成偏移量過大之三角平面，或是剔除標的相片上，和參考相片之三角平面位置無法對應之三角平面。
- 一種光場相機之光度校正方法，係利用一光場相機攝取同一個光場下不同視角的複數張相片，選取一標的相片及一參考相片利用一演算法進行該標的相片之光度誤差計算以校正該標的相片之光度；該演算法係在標的相片和參考相片設定相對應的N個比較點，每一個點的位置係以x表示，將該標的相片和該參考相片每一個對應點的光度值 相除，以獲得標的相片光度誤差值fu (x)，將該標的相片上光度最高的一點之位置設定為cu ，在已知該N個比較點於該標的相片和該參考相片上之光度分別為和Iu (x)及每一個比較點的位置為x下，藉由方程式(1)計算出每一個比較點之x位置所對應的aui 值，選取每一個比較點中最小的aui 值，再帶回每一個x位置中計算每一個x比較點的cu 值，如此重複運算至aui 和cu 為最小收斂值，將該aui 和cu 之最小收斂值帶回方程式(1)中，以獲得標的相片上每一比較點光度誤差值fu (x)；
- 如申請專利範圍第5項所述之光度校正方法，其中在進行光度誤差計算前，更包括一特徵點擷取步驟及一三角分割步驟，即擷取相片中不同色塊之分界點，或相片中某項物體形狀或顏色較為突出之點做為特徵點，並將擷取出的特徵點相互連結形成複數個三角平面。
- 如申請專利範圍第6項所述之光度校正方法，其中在三角分割步驟後係進行一變形化處理步驟，係將參考相片及標的相片重疊進行位置比對，並剔除拍攝時，光場角度不同所導致物品在相片上的位置造成偏移量過大之三角平面，或是剔除標的相片上，和參考相片之三角平面位置無法對應之三角平面。
- 一種光場相機之光度校正方法，包括下列步驟： (1)拍攝相片：利用一光場相機攝取同一個光場下不同視角的複數張相片；(2)特徵點擷取：對該複數張相片中至少兩張相片進行相片上複數個特徵點擷取，其中選定一張相片為校正基準之參考相片，其餘張則為需要進行光度校正之標的相片；(3)三角分割：分別選取參考相片及標的相片上的三個特徵點形成複數個三角平面；(4)變形化處理：將參考相片及標的相片重疊進行位置比對；(5)光度誤差計算：在標的相片和參考相片設定相對應的N個比較點，每一個點的位置係以x表示，將該標的相片和該參考相片每一個對應點的光度值相除，以獲得標的相片光度誤差值fu (x)，將該標的相片上光度最高的一點之位置設定為cu ，在已知該N個比較點於該標的相片和該參考相片上之光度分別為和Iu (x)及每一個比較點的位置為x下，藉由方程式(1)計算出每一個比較點之x位置所對應的aui 值，選取每一個比較點中最小的aui 值，再帶回每一個x位置中計算每一個x比較點的cu 值，如此重複運算至aui 和cu 為最小收斂值，將該aui 和cu 之最小收斂值帶回方程式(1)中，以獲得標的相片上每一比較點光度誤差值fu (x)；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW98104266A TWI416944B (zh) | 2009-02-10 | 2009-02-10 | Photometric correction method for light field camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW98104266A TWI416944B (zh) | 2009-02-10 | 2009-02-10 | Photometric correction method for light field camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201031193A TW201031193A (en) | 2010-08-16 |
| TWI416944B true TWI416944B (zh) | 2013-11-21 |
Family
ID=44854430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW98104266A TWI416944B (zh) | 2009-02-10 | 2009-02-10 | Photometric correction method for light field camera |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI416944B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9179126B2 (en) | 2012-06-01 | 2015-11-03 | Ostendo Technologies, Inc. | Spatio-temporal light field cameras |
| CN104089628B (zh) * | 2014-06-30 | 2017-02-08 | 中国科学院光电研究院 | 光场相机的自适应几何定标方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1063614A2 (en) * | 1999-06-22 | 2000-12-27 | The One Infinite Inc. | Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium |
-
2009
- 2009-02-10 TW TW98104266A patent/TWI416944B/zh not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1063614A2 (en) * | 1999-06-22 | 2000-12-27 | The One Infinite Inc. | Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201031193A (en) | 2010-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
| US10897609B2 (en) | Systems and methods for multiscopic noise reduction and high-dynamic range | |
| US7259784B2 (en) | System and method for camera color calibration and image stitching | |
| US9854188B2 (en) | Calibration of defective image sensor elements | |
| CN111583116A (zh) | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 | |
| JP6513234B2 (ja) | Ｌｅｄディスプレイに用いられる画像処理方法及び装置 | |
| US20170134634A1 (en) | Photographing apparatus, method of controlling the same, and computer-readable recording medium | |
| CN106600644B (zh) | 全景摄像机的参数矫正方法及装置 | |
| CN101872491A (zh) | 基于光度立体的自由视角重光照方法和系统 | |
| CN108600723A (zh) | 一种全景相机的颜色校正方法及评价方法 | |
| CN103780840A (zh) | 一种高品质成像的双摄像成像装置及其方法 | |
| CN107358577B (zh) | 一种立方体全景图的快速拼接方法 | |
| CN111461963B (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN109166076B (zh) | 多相机拼接的亮度调整方法、装置及便携式终端 | |
| WO2020134123A1 (zh) | 全景拍摄方法及装置、相机、移动终端 | |
| CN114697623A (zh) | 投影面选取和投影图像校正方法、装置、投影仪及介质 | |
| CN109785225B (zh) | 一种用于图像矫正的方法和装置 | |
| TWI416944B (zh) | Photometric correction method for light field camera | |
| TWI524760B (zh) | 照相機陣列校正方法 | |
| TWI545964B (zh) | 影像白平衡方法及攝像裝置 | |
| CN112738425A (zh) | 一种多摄像头采集的视频实时拼接系统 | |
| JP2015095681A (ja) | マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 | |
| WO2019244667A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| TW201513042A (zh) | 影像強化方法及其系統 | |
| TWI382267B (zh) | 自動景深捕捉系統及自動景深捕捉方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |