TWI510086B - 數位重對焦方法 - Google Patents

數位重對焦方法 Download PDF

Info

Publication number
TWI510086B
TWI510086B TW103142032A TW103142032A TWI510086B TW I510086 B TWI510086 B TW I510086B TW 103142032 A TW103142032 A TW 103142032A TW 103142032 A TW103142032 A TW 103142032A TW I510086 B TWI510086 B TW I510086B
Authority
TW
Taiwan
Prior art keywords
viewpoint
image
new
linear path
pixel
Prior art date
Application number
TW103142032A
Other languages
English (en)
Other versions
TW201622403A (zh
Inventor
Chaotsung Huang
Jui Chin
Original Assignee
Nat Univ Tsing Hua
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Tsing Hua filed Critical Nat Univ Tsing Hua
Priority to TW103142032A priority Critical patent/TWI510086B/zh
Priority to US14/684,456 priority patent/US9497437B2/en
Application granted granted Critical
Publication of TWI510086B publication Critical patent/TWI510086B/zh
Publication of TW201622403A publication Critical patent/TW201622403A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

數位重對焦方法
一種數位重對焦方法，特別是關於一種透過特定線性路徑進行一維線掃描及以中心視點為基礎進行視點內插取點而重構成由新視點的重對焦圖像的數位重對焦方法。
數位重對焦(Digital Refocus)為照相領域中新興且頗具潛力的一種拍照方式。利用數位重對焦方法，可達到先拍照、後對焦的效果。使用者可全心專注於取景及構圖，完全不需要傳統複雜之對焦動作，因此得以瞬間捕捉畫面，避免快門延遲的問題。並且，拍照後可透過數位重對焦的演算法，而得到不同景深之圖像。
實施數位重對焦其中一種方式，可透過將光場圖像(Light Field Image)中之子圖像重構而得之。光場圖像的形成通過取得被攝體的多個視點對應的多個圖像來取得從被攝體進入照相機的鏡頭的全部光線的方向、光強度、位置等訊息，並將多個視點得到的多個圖像的集合稱作光場圖像，而構成光場圖像的各個圖像稱作子圖像。
習知光場重對焦運算，係利用子圖像依目標視差進 行平均而得到重對焦圖像。然而，若子圖像取樣不夠，重對焦圖像會產生嚴重的鋸齒化現象。為降低此種鋸齒化現象，習知多利用軟體演算法，透過視點內插(View Interpolation)方式，產生足夠多之子圖像再進行數位重對焦。
然而，上述利用光場圖像方式雖可透過視點內插而獲得具不同景深之去鋸齒合成圖像；然而，其所使用之視點內插演算法相當複雜，且需使用數量龐大的子圖像以避免合成圖像的失真。因此，其演算效率較低且所需相關設備成本較高。
為解決上述利用光場圖像方式進行數位重對焦的問題，本發明提供一種基於線掃描的數位重對焦方法。透過結合線掃描取點以及中央視點為基礎的視點內插方式，本發明的數位重對焦方法得以在維持圖像高品質下，提供更高的演算效率。
本發明之一目的在提供一種數位重對焦方法，包含：取得同一場景之不同視點對應之多個圖像，其中多個圖像中包含一中心視點圖像及除中心視點外的其餘視點圖像。取得中心視點圖像之一視差圖。對除中心視點圖像外之其餘視點圖像進行一像素索引位移或像素位移。對中心視點圖像及其餘視點圖像進行一線掃描步驟，取得沿一特定線性路徑上之中心視點圖像之多個對應像素及其餘視點 圖像之多個對應像素。以視差圖所定義之視差為基礎執行一視點內插步驟，以便從中心視點圖像之對應像素及其餘視點圖像之對應像素依據一給定之目標視差值取得多個對應一新視點之目標像素。以及由此些目標像素平均而合成由新視點之一重對焦圖像。
上述數位重對焦方法中，取得同一場景之不同視點對應之多個圖像可透過一光場(light field)取像裝置取得。此外，特定線性路徑可為一水平線性路徑、垂直線性路徑或斜向線性路徑。若為斜向線性路徑，則其與水平夾45度角。
上述數位重對焦方法中，視點內插步驟包含：對中心視點圖像之各對應像素，依據一給定之目標視差(disparity)投射至新視點上而得到相對應之一暫存像素；若新視點之目標像素距離其最近之左右兩邊之各暫存像素皆小於一個像素，則目標像素由其左右兩邊之各暫存像素進行線性內插得出；若新視點之目標像素距離最近之左右兩邊之各暫存像素大於一個像素，則目標像素被判定為在中心視點被遮擋，則目標像素由其餘視點圖像之對應像素經由線性內插得出。
本發明之另一目的在提供一種數位重對焦方法，包含：沿一第一線性路徑對同一場景之一中心視點圖像及其餘視點圖像進行一第一線掃描步驟，以便取得由中心視點圖像之多個對應像素及其餘視點圖像之多個對應像素經一第一視點內插步驟而得到之多個對應一第一新視點之第一 新視點像素，並由第一新視點像素構成一第一新視點圖像；沿一第二線性路徑對中心視點圖像及其餘視點圖像進行一第二線掃描步驟，以便取得由中心視點圖像之多個對應像素及其餘視點圖像之多個對應像素經一第二視點內插步驟而得到之多個對應一第二新視點之第二新視點像素，並由第二新視點像素構成一第二新視點圖像；沿一第三線性路徑對第一新視點圖像及第二新視點圖像進行一第三線掃描步驟，以便取得由第一新視點像素及第二新視點像素經一第三視點內插步驟而得到之多個對應一第三新視點之第三新視點像素，並由第三新視點像素構成一第三新視點圖像；其中，由第一新視點圖像、第二新視點圖像及第三新視點圖像構成一三角形視點分布，並以三角形視點分布展開而成多個涵蓋整個光場範圍之二維新視點圖像。
上述數位重對焦方法中，第一線性路徑可為一水平線性路徑，第二線性路徑可為一斜向線性路徑，且第一線性路徑與第二線性路徑間形成一夾角，其可為45度。此外，第三線性路徑垂直於第一線性路徑。
(x,y)‧‧‧投影平面
(s,t)‧‧‧相機(或透鏡)陣列上之一點
(x’,y’)‧‧‧當透鏡聚焦在無限遠處 時的影像感測器(sensor)位置
d‧‧‧視差
dt‧‧‧目標視差值
v‧‧‧新視點
f‧‧‧相機陣列中各相機之焦距
F‧‧‧全光相機之焦距
101‧‧‧中心視點圖像
102‧‧‧右側視點圖像
201‧‧‧第一新視點圖像
202‧‧‧第二新視點圖像
203‧‧‧第三新視點圖像
204‧‧‧既有視點
301‧‧‧暫存像素
302‧‧‧目標像素(來自右側視點)
303‧‧‧目標像素(來自中心視點)
v0 ‧‧‧中心視點
vj ‧‧‧右側視點
i0 ~i8 ‧‧‧像素索引
L1‧‧‧第一線性路徑
L2‧‧‧第二線性路徑
L3‧‧‧第三線性路徑
S101~S106‧‧‧步驟
第1圖繪示本發明應用之4-D光場示意圖。
第2A至第2E圖繪示依據本發明之數位重對焦方法之各種情況示意圖。
第3圖繪示依據本發明一實施例之數位重對焦方法流程圖。
第4圖繪示依據第3圖之數位重對焦方法中，進行視點內插步驟取點之示意圖。
第5圖繪示依據第3圖之數位重對焦方法中，選取同一場景之不同視點所對應之多個圖像之示意圖。
第6A圖繪示依據本發明另一實施例之數位重對焦方法示意圖。
第6B圖繪示依據第6A圖之數位重對焦方法中，三角形視點之展開圖。
請參照第1圖，第1圖繪示本發明應用之4-D光場示意圖。光場相機(Light Field Camera)，或稱全光相機(Plenoptic Camera)，其所應用之基本原理，係認為空間中之任意光線可以由光線與任意兩個平面的交點表示之。依據此概念，在第1圖中，於多視點模型(Multi-view model)下，投影平面(x,y)與相機(或透鏡)陣列上之一點(s,t)的光場L可以一4-D函數L(s,t,x,y)表示之。另外，若於全光相機模型下，(s,t)則可視為一光圈位置，而(x’,y’)為當透鏡聚焦在無限遠處時的影像感測器(sensor)位置。此時，光場L’可以表示為L’(s,t,x’,y’)。
上述兩光場L及L’之間存在有一相等關係，而可以下列等式(1)表示之：
上述等式(1)中，f為相機陣列中各相機之焦距，F 為全光相機之焦距。
在以下實施例中，將藉由視差(disparity)來討論本發明之數位重對焦方法。視差可由下列式(2)定義：
上述式(2)中，△s為視點基線，△x為像素尺寸，f 為焦距，而z為場景深度。於式(2)中，可視為每個視 點的最大可能圖像解析度，可視為重構比例。亦即，當解析度或影像感測器越大，則視差越大。
數位重對焦的目的，在於如何將原始圖像的連續光場，透過擷取後的數位子圖像(例如透過影像感測器擷取之圖像)，再透過演算法進行視點內插，使重對焦後之圖像可同步化於任意聚焦平面。
請參照第2A至第2E圖，第2A至第2E圖繪示依據本發明之數位重對焦方法之各種情況示意圖。第2A圖中，係在一極性平面圖像(EPI，Epipolar Plane Images)上，由中心視點方向的一直線上的像素重對焦方式。此時，原始圖像之視差d=1，若重對焦圖像之目標視差值dt=1，在兩者相等之狀況下，為準焦(in-focused)狀況，如第2B圖所示。若重對焦圖像之目標視差值dt=2，則離焦(de-focused)狀況已產生，如第2C圖所示。至重對焦圖像之目標視差值dt=3時，重對焦圖像已產生缺陷，此時，可能會產生圖像鋸齒化現象，進而影響圖像品質，如第2D圖所示。為消除如第2D圖中所產生的圖像鋸齒化現象，各式視點內插方法 已被提出。例如第2E圖所繪示，在目標視差值dt=3的狀況下，進行視點內插，使由新視點方向所看到之重對焦後之圖像減輕圖像鋸齒化現象。
習知為解決此種圖像鋸齒化現象，需取得數量龐大的多個視點的圖像，此導致演算複雜度增加，大幅降低演算效率。本發明提供之數位重對焦方法，可在確保圖像品質下，大幅增加演算效率。此係基於下列特點：(a)以中心視點為基礎之線掃描視點內插方法；以及(b)利用線掃描取點完成二維重對焦圖像之方法。本說明書中，基本將著重於以線掃描視點內插為基礎的數位重對焦方法，此亦為本案與習知技術差異較大之處。
第3圖繪示依據本發明一實施例之數位重對焦方法流程圖。在第3圖中，本發明一實施例之數位重對焦方法包含下列步驟。
步驟S101，取得同一場景之不同視點對應之多個圖像。多個圖像中包含一中心視點圖像及除中心視點外的其餘視點圖像。
步驟S102，取得中心視點圖像之一視差圖(disparity map)。
步驟S103，對除中心視點圖像外之其餘視點圖像進行像素索引位移或像素位移。
步驟S104，對中心視點圖像及其餘視點圖像進行一線掃描步驟，取得沿一特定線性路徑上之中心視點圖像之多個對應像素及其餘視點圖像之多個對應像素。
步驟S105，依據上述視差圖定義之視差執行一視點內插步驟，以便從中心視點圖像之對應像素或其餘視點圖像之對應像素依據給定目標視差取得多個對應一新視點之目標像素。
步驟S106，由此等目標像素平均而合成由新視點之一重對焦圖像。
步驟S101中，取得同一場景之不同視點對應之多個圖像係透過一光場(light field)取像裝置取得。一般光場取像裝置包含一透鏡陣列以取得一場景的光場資訊，並透過一影像感測器擷取光場資訊後，形成數位化的光場子圖像。
步驟S102，揭示本發明之數位重對焦方法之一重要技術特徵，亦即只需取得中心視點圖像之一視差圖(disparity map)，即可依此視差圖定義之視差進行後續之步驟，而得到基於新視點之重對焦圖像所需之像素。
步驟S103至步驟S105係本發明之數位重對焦方法中，與習知類似方法不同之處。習知數位重對焦方法中，其用來進行視點內插之像素之點係依據視差值(disparity)隨機選取的，亦即其取點之掃描路徑為不固定的。且習知數位重對焦方法為先進行視點內插步驟，再進行像素位移。此種方法易產生重對焦後之圖像模糊化(blur)的現象。本發明之數位重對焦方法，採用先像素位移或像素索引位移，再進行視點內插的方式，可避免圖像模糊化(blur)的現象，維持重對焦圖像的品質。再者，本發明之數位重對焦 方法於進行視點內插時，其取點之掃描路徑係為一特定線性路徑；相較於習知數位重對焦方法之隨機取點，透過特定線性路徑的取點方式可簡化演算點數，進而增加演算效率。
步驟S105之視點內插步驟係本發明之數位重對焦方法與習知類似方法另一不同之處。視點內插步驟包含：對中心視點圖像之各對應像素，依據一給定之目標視差值投射至新視點上而得到相對應之一暫存像素；若新視點之目標像素距離其最近之左右兩邊之各暫存像素皆小於一個像素，則目標像素由其左右兩邊之各暫存像素進行線性內插得出；若新視點之目標像素距離最近之左右兩邊之各暫存像素大於一個像素，則目標像素被判定為在中心視點被遮擋，則目標像素由其餘視點圖像之對應像素經由線性內插得出。
上述視點內插步驟中，皆以中心視點圖像為取點的基礎。為維持重對焦圖像品質，若重對焦圖像上之取點位置不被佔據，則構成重對焦圖像之像素皆取自於中心視點圖像所相對應位置之像素。藉此，可減少取點數量，增加演算效率。
為能更詳細說明，請同時參照第4圖及第5圖。
第4圖繪示依據第3圖之數位重對焦方法中，進行視點內插步驟取點之示意圖。第5圖繪示依據第3圖之數位重對焦方法中，選取同一場景之不同視點所對應之多個圖像之示意圖。
第4圖中，假設欲形成一對應新視點v之圖像時。此時，如同前述步驟S101及S102，先取得中心視點v0 之圖像及除中心視點外之其餘視點所對應之圖像，以及中心視點v0 圖像之視差圖。於此實施例中，由於此多個圖像為上下左右對稱，為簡化起見，選取右側視點vj 之圖像為說明示例。請配合參照第5圖，若以選取5x5視點之圖像為例，則為選取中心視點圖像101及右側視點圖像102。於第4圖中，係以選取像素索引i0 ~i8 為例。於初始狀態(第4圖之左半部分)時，可以看到與新視點v之取點位置分別有視差d=1，d=3及d=0之狀況，且由於圖像疊合的關係，若干於中心視點v0 圖像或右側視點vj 圖像的像素分別彼此被遮擋，如第4圖中實線斷線部份。
接著，進行如上述步驟S103至步驟S104。先對除中心視點圖像外之其餘視點圖像進行像素位移或像素索引位移，再沿一特定線性路徑進行線掃描取點的步驟。如第4圖之右半部分所示，先將右側視點圖像102像素位移或像素索引位移，再沿一水平線性路徑由右至左掃描取點。在一例中，線性路徑亦可為一垂直線性路徑，或斜性線性路徑。當選取斜向線性路徑時，其與水平夾一45度角。
此時，進行視點內插步驟取點以產生目標像素303。先對中心視點圖像上每一對應像素，依其不同視差投射至新視點上得到暫存像素301，若目標像素303距離最近之左右兩邊之暫存像素301都小於一個像素，則目標像素303由其左右兩邊之暫存像素301經線性內插步驟得出；若 否，則目標像素303被判定為在中心視點被遮擋，於是改由右側視點圖像102之對應像素線性內插得出，如目標像素302。
從上述，可得知本發明之數位重對焦方法中，新視點之目標像素可以由其它視點之像素直接平均得到最終重對焦圖像，不需再經過任何平移和內插步驟，且合焦處之像素等同於中心視點之原像素，相較習知方法先進行視點內插，再進行平移內插，本發明可得到較清晰之圖像。此外目標像素302可能的失真會在最後的視點加總時被淡化，因此對最後視覺效果影響不大。本發明之數位重對焦方法不僅可維持重對焦圖像之品質，更利用簡易的取點及內插步驟，大幅增加演算效率。
請參照第6A圖及第6B圖。第6A圖繪示依據本發明另一實施例之數位重對焦方法示意圖。第6B圖繪示依據第6A圖之數位重對焦方法中，三角形視點之展開圖。
本發明之數位重對焦方法中，不僅可以如第4圖以一維線性掃描取點的方式形成新視點圖像，更可如第6A及第6B圖所示的取點方式而形成涵蓋整個光場範圍之二維新視點圖像。
本發明另提供的數位重對焦方法，係將前述一維取點的方式擴展為二維取點的方式，其步驟如下：沿一第一線性路徑對同一場景之一中心視點圖像及其餘視點圖像進行一第一線掃描步驟，以便取得由中心視點圖像之多個對應像素及其餘視點圖像之多對應像素經一第一視點內插步 驟而得到之多個對應一第一新視點之第一新視點像素，並由第一新視點像素構成一第一新視點圖像；沿一第二線性路徑對中心視點圖像及其餘視點圖像進行一第二線掃描步驟，以便取得由中心視點圖像之多個對應像素及其餘視點圖像之多個對應像素經一第二視點內插步驟而得到之多個對應一第二新視點之第二新視點像素，並由第二新視點像素構成一第二新視點圖像；沿一第三線性路徑對第一新視點圖像及第二新視點圖像進行一第三線掃描步驟，以便取得由第一新視點像素及第二新視點像素經一第三視點內插步驟而得到之多個對應一第三新視點之第三新視點像素，並由第三新視點像素構成一第三新視點圖像；其中，由第一新視點圖像、第二新視點圖像及第三新視點圖像構成一三角形視點分布，並以三角形視點分布展開而成多個涵蓋整個光場範圍之二維新視點圖像。
在第6A圖及第6B圖中，更詳細地說明了如上述步驟的二維取點的方式，其中方框204為既有視點。首先，第一新視點圖像201係以前述第4圖中之數位重對焦方法沿一第一線性路徑L1進行一第一線掃描步驟及一第一視點內插步驟而得到。第一線性路徑L1可為一水平線性路徑。相似地，第二新視點圖像202則以前述第4圖中之數位重對焦方法沿一第二線性路徑L2進行一第二線掃描步驟及一第二視點內插步驟而得到。第二線性路徑則為一斜向線性路徑，其與第一線性路徑夾45度角。然後，再藉由第一新視點圖像201及第二新視點圖像202沿一第三線性 路徑L3進行一第三線掃描步驟及一第三視點內插步驟取得一第三新視點圖像203。此時，第三線性路徑L3垂直於第一線性路徑L1。第一新視點圖像201、第二新視點圖像202及第三新視點圖像203形成一三角形之視點分佈。再以類似此三角形視點分佈展開而成如第6B圖所示的涵蓋整個光場範圍裡的二維新視點圖像。藉由上述以特定路徑進行線掃描取點方式，得以簡化習知數位重對焦方法中，因隨機取點的方式造成演算過於龐大且複雜的問題，提高演算效率。
綜合以上，本發明提供了一種數位重對焦方法。具有下列特點：(a)以中心視點為基礎之一維線掃描及視點內插方法；以及(b)利用一維線掃描取點完成二維重對焦圖像之方法。藉由上述特點，本發明的數位重對焦方法可在確保重對焦圖像的品質下，大幅增加演算效率。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S101~S106‧‧‧步驟

Claims (10)

  1. 一種數位重對焦方法，包含：取得同一場景之不同視點對應之多個圖像，其中該多個圖像包含一中心視點圖像及除該中心視點圖像外之至少一其餘視點圖像；取得該中心視點圖像之一視差圖；對除該中心視點圖像外之該其餘視點圖像進行一像素索引位移或一像素位移；對該中心視點圖像及該其餘視點圖像進行一線掃描步驟，取得沿一特定線性路徑上之該中心視點圖像之多個對應像素及其餘視點圖像之多個對應像素；以該視差圖所定義之視差為基礎執行一視點內插步驟，以便從該中心視點圖像之該對應像素及該其餘視點圖像之該對應像素依據一給定之目標視差值取得多個對應一新視點之目標像素；以及由該些目標像素平均而合成由該新視點之一重對焦圖像。
  2. 如請求項1所述的數位重對焦方法，其中該視點內插步驟包含：對該中心視點圖像之各該對應像素，依據該給定之目標視差(disparity)投射至該新視點上而得到相對應之一暫存像素；若該新視點之該目標像素距離最近之左右兩邊之各該暫存像素皆小於一個像素，則該目標像素由其左右兩邊之各該暫存像素進行線性內插得出；以及 若該新視點之該目標像素距離最近之左右兩邊之各該暫存像素大於一個像素，則該目標像素被判定為在該中心視點被遮擋，則該目標像素由該其餘視點圖像之該對應像素經由線性內插得出。
  3. 如請求項1所述的數位重對焦方法，其中該同一場景之不同視點對應之多個圖像係透過一光場取像裝置取得。
  4. 如請求項1所述的數位重對焦方法，其中該線掃描步驟中，該特定線性路徑為一水平線性路徑或垂直線性路徑。
  5. 如請求項1所述的數位重對焦方法，其中該線掃描步驟中，該特定線性路徑為一斜向線性路徑。
  6. 如請求項5所述的數位重對焦方法，其中該斜向線性路徑與水平夾45度角。
  7. 一種數位重對焦方法，包含：沿一第一線性路徑對同一場景之一中心視點圖像及其餘視點圖像進行一第一線掃描步驟，以便取得由該中心視點圖像之多個對應像素及該其餘視點圖像之多個對應像素經一第一視點內插步驟而得到之多個對應一第一新視點之第一新視點像素，並由該第一新視點像素構成一第一新視點圖像；沿一第二線性路徑對該中心視點圖像及該其餘視點圖像進行 一第二線掃描步驟，以便取得由該中心視點圖像之多個對應像素及該其餘視點圖像之多個對應像素經一第二視點內插步驟而得到之多個對應一第二新視點之第二新視點像素，並由該第二新視點像素構成一第二新視點圖像；以及沿一第三線性路徑對該第一新視點圖像及該第二新視點圖像進行一第三線掃描步驟，以便取得由該第一新視點像素及該第二新視點像素經一第三視點內插步驟而得到之多個對應一第三新視點之第三新視點像素，並由該第三新視點像素構成一第三新視點圖像；其中，由該第一新視點圖像、該第二新視點圖像及該第三新視點圖像構成一三角形視點分布，並以該三角形視點分布展開而成多個涵蓋整個光場範圍之二維新視點圖像。
  8. 如請求項7所述之數位重對焦方法，其中該第一線性路徑為一水平線性路徑，該第二線性路徑為一斜向線性路徑，且該第一線性路徑與該第二線性路徑間形成一夾角。
  9. 如請求項8所述之數位重對焦方法，其中該夾角為45度。
  10. 如請求項7所述之數位重對焦方法，其中該第三線性路徑垂直該第一線性路徑。
TW103142032A 2014-12-03 2014-12-03 數位重對焦方法 TWI510086B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103142032A TWI510086B (zh) 2014-12-03 2014-12-03 數位重對焦方法
US14/684,456 US9497437B2 (en) 2014-12-03 2015-04-13 Digital refocusing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103142032A TWI510086B (zh) 2014-12-03 2014-12-03 數位重對焦方法

Publications (2)

Publication Number Publication Date
TWI510086B true TWI510086B (zh) 2015-11-21
TW201622403A TW201622403A (zh) 2016-06-16

Family

ID=55220185

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103142032A TWI510086B (zh) 2014-12-03 2014-12-03 數位重對焦方法

Country Status (2)

Country Link
US (1) US9497437B2 (zh)
TW (1) TWI510086B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) * 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
EP3931795A1 (en) 2019-03-21 2022-01-05 Huawei Technologies Co., Ltd. Depth of field image refocusing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060157640A1 (en) * 2005-01-18 2006-07-20 Perlman Stephen G Apparatus and method for capturing still images and video using coded aperture techniques
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
TW201104299A (en) * 2009-07-28 2011-02-01 Hon Hai Prec Ind Co Ltd Computational photography digital camera
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
EP2710804A1 (en) * 2011-05-19 2014-03-26 Thomson Licensing Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
JP5677366B2 (ja) * 2012-05-21 2015-02-25 キヤノン株式会社 撮像装置
US10257506B2 (en) * 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060157640A1 (en) * 2005-01-18 2006-07-20 Perlman Stephen G Apparatus and method for capturing still images and video using coded aperture techniques
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
TW201104299A (en) * 2009-07-28 2011-02-01 Hon Hai Prec Ind Co Ltd Computational photography digital camera
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chih-Chieh Chen, Yi-Chang Lu, and Ming-Shing Su, "Light field based digital refocusing using a DSLR camera with a pinhole array mask," IEEE International Conference on Acoustics Speech and Signal Processing, pp. 754-757, 14-19 March 2010. *

Also Published As

Publication number Publication date
TW201622403A (zh) 2016-06-16
US9497437B2 (en) 2016-11-15
US20160165206A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
TWI510086B (zh) 數位重對焦方法
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
JP5795324B2 (ja) 光フィールドデータを利用した映像処理装置及び方法
EP3057317B1 (en) Light-field camera
US9412151B2 (en) Image processing apparatus and image processing method
CN104365092A (zh) 用于图像融合的方法和设备
JP6257285B2 (ja) 複眼撮像装置
JP2008241355A (ja) 物体の距離導出装置
JP2008294741A (ja) 撮像システム
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
JP6003578B2 (ja) 画像生成方法及び装置
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
JP6544978B2 (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
JP2014010783A (ja) 画像処理装置、画像処理方法およびプログラム
JP6418770B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP6234401B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN104735351A (zh) 一种高分辨率光场图片重建方法与成像装置
Goldlücke et al. Plenoptic Cameras.
JP4729011B2 (ja) 要素画像群変換装置、立体像表示装置及び要素画像群変換プログラム
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
JP7014175B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6330955B2 (ja) 撮像装置及び撮像方法
KR101613682B1 (ko) 광 필드 데이터를 이용한 영상 처리 장치 및 방법
JP2015211372A (ja) 画像生成装置及び画像生成プログラム