TWI595443B - 影像處理方法、電子裝置以及非暫態電腦可讀取媒體 - Google Patents
影像處理方法、電子裝置以及非暫態電腦可讀取媒體 Download PDFInfo
- Publication number
- TWI595443B TWI595443B TW103142617A TW103142617A TWI595443B TW I595443 B TWI595443 B TW I595443B TW 103142617 A TW103142617 A TW 103142617A TW 103142617 A TW103142617 A TW 103142617A TW I595443 B TWI595443 B TW I595443B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- virtual
- node
- dimensional scene
- scene
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Computer Graphics (AREA)
Description
本發明係有關影像處理方法,特別是一種將視差效果套用至靜態相片上的影像處理方法。
近年來,使用者逐漸習慣以攝影方式來記錄日常生活,且可以方便地透過裝置上的數位相簿來回顧先前拍攝的相片。在相片拍攝後,部分使用者會對相片進行一些後製處理,例如濾鏡、變形或是各種影像參數轉換。然而,上述後製處理效果均受限於原始相片的內容。使用者只能在相片原始拍攝的角度下觀察相片中前景物件與背景場景。
一般來說,相較於靜態相片,動畫或影片對使用者來說更具吸引力,因為使用者可以在動畫或影片中觀察到物件在場景中移動的情況。動畫或影片通常會佔用較大的儲存空間,因此部分使用者偏好拍攝相片而非錄製影片。一般來說,由影片中透過截圖來產生靜態相片較為容易,
但是若要基於靜態相片來建立動畫或影片則較為困難。
本發明之目的是提供一種方法及系統,用以基於一張靜態相片建立一段視差影片。視差影片讓使用者有機會由多個不同的虛擬視角來觀視靜態相片,藉此,在靜態相片上套用2.5D或是類3D的效果。
本發明內容之一態樣係關於一種影像處理方法,用以由靜態相片產生視差影片,該影像處理方法包含:進行影像分割,藉此將靜態相片中的至少一前景物件由靜態相片之影像背景中分離;填補影像背景之空白區域,空白區域對應被分離之前景物件於靜態相片中所在位置;創建虛擬三維場景,虛擬三維場景由前景物件以及影像背景所組成;分析虛擬三維場景以決定攝影機路徑;以及,藉由虛擬攝影機沿著攝影機路徑觀察虛擬三維場景,以產生視差影片。
本發明內容之另一態樣係關於一種電子裝置,包含資料儲存模組以及控制模組。資料儲存模組用以儲存靜態相片。控制模組與資料儲存模組耦接,控制模組包含分割單元、影像修補單元、場景模擬單元、場景分析單元以及影片產生單元。控制模組與該資料儲存模組耦接。分割單元用以將靜態相片中的至少一前景物件由靜態相片之影像背景中分離。影像修補單元用以填補影像背景之空白區域,空白區域對應被分離之前景物件於靜態相片中所在位
置。場景模擬單元用以創建虛擬三維場景,虛擬三維場景由前景物件以及影像背景所組成。場景分析單元用以分析虛擬三維場景以決定攝影機路徑。影片產生單元用以產生視差影片,視差影片係藉由虛擬攝影機沿著攝影機路徑觀視虛擬三維場景而產生。
本發明內容之另一態樣係關於一種非暫態電腦可讀取媒體,其包含至少一程式指令用以執行一方法,方法包含下列步驟:進行影像分割,藉此將靜態相片中的至少一前景物件由靜態相片之影像背景中分離;填補影像背景之空白區域,空白區域對應被分離之前景物件於靜態相片中所在位置;創建虛擬三維場景,虛擬三維場景由前景物件以及影像背景所組成;分析虛擬三維場景以決定攝影機路徑;以及,藉由虛擬攝影機沿著攝影機路徑觀察虛擬三維場景,以產生視差影片。
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附符號之說明如下:
100‧‧‧電子裝置
120‧‧‧控制模組
140‧‧‧資料儲存模組
121‧‧‧分割單元
122‧‧‧影像修補單元
123‧‧‧場景模擬單元
124‧‧‧場景分析單元
125‧‧‧影片產生單元
160‧‧‧相機模組
180‧‧‧顯示面板
200‧‧‧影像處理方法
S210~S250‧‧‧步驟
S221~S222‧‧‧步驟
S241~S243‧‧‧步驟
S243a~S243i‧‧‧步驟
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1圖繪示根據本揭示文件之一實施例中一種電子裝置的示意圖;第2圖繪示根據本揭示文件之一實施例中用以由靜態相片產生視差影片的一種影像處理方法的方法流程圖;第3A圖繪根據本揭示文件之一實施例中第2圖中的影像處理方法所包含的進一步步驟的方法流程圖;
第3B圖繪示根據本揭示文件之一實施例中第2圖的影像處理方法所包含的進一步步驟的方法流程圖;第3C圖繪示根據本揭示文件之一實施例中第2圖的影像處理方法所包含的進一步步驟的方法流程圖;第4A圖繪示根據本揭示文件之一操作範例中靜態相片的例示圖;第4B圖繪示第4A圖中靜態相片經過影像分割之分割結果的例示圖;第4C圖繪示操作範例中影像背景的例示圖;第4D圖繪示上述操作範例中虛擬三維場景的例示圖;第4E圖以及第4F圖繪示操作範例中虛擬攝影機在虛擬三維場景內相對移動的例示圖;第4G圖以及第4H圖繪示操作範例中影像修補區域之不同露出比例的例示圖;以及第5A圖至第5D圖繪示攝影機路徑的示意圖。
下文係舉實施例配合所附圖式作詳細說明,但所提供之實施例並非用以限制本發明所涵蓋的範圍,而結構運作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本發明所涵蓋的範圍。此外,圖式僅以說明為目的,並未依照原尺寸作圖。
關於本文中所使用之『第一』、『第二』、...等,並
非特別指稱次序或順位的意思,亦非用以限定本發明,其僅僅是為了區別以相同技術用語描述的元件或操作而已。
其次,在本文中所使用的用詞「包含」、「包括」、「具有、「含有」等等,均為開放性的用語,即意指包含但不限於此。
請參閱第1圖,其繪示根據本揭示文件之一實施例中一種電子裝置100的示意圖。如第1圖所示,電子裝置100包含控制模組120以及資料儲存模組140。於部分實施例中,資料儲存模組140內儲存有數張靜態相片。資料儲存模組140可為記憶卡、硬碟或是連接到線上伺服器的通訊單元。電子裝置100的控制模組120能夠由靜態相片產生視差影片(或是視差動畫)。控制模組120用以由靜態相片以模擬方式建立一個虛擬三維場景。在視差影片播放過程中,使用者可從不同視角觀視上述虛擬三維場景(即靜態相片),如此一來,基於原靜態相片可以提供使用者不同的視野以及類3D的效果。關於如何由靜態相片產生視差影片的細部作法將在下列段落中詳細說明。
於部分實施例中,電子裝置100更包含相機模組160以及顯示面板180。於部分實施例中,上述靜態相片為透過電子裝置100之相機模組160所拍攝的相片,但本揭示文件並不以此為限。靜態相片亦可為由其他裝置(例如數位相機、智慧型手機、或其他電子裝置100以外的影像擷取裝置)輸入的相片或是由網際網路所下載的圖片。於部分實施例中,基於靜態相片所產生的視差影片顯示於顯示面
板180(例如平面顯示面板)上。
電子裝置100的控制模組120包含分割單元121、影像修補單元122、場景模擬單元123、場景分析單元124以及影片產生單元125。於一實施例中,控制模組120為中央處理單元(central processor unit,CPU)、影像處理單元(graphic processing unit,GPU)、圖片處理電路或其他具相等性的計算電路。分割單元121、影像修補單元122、場景模擬單元123、場景分析單元124以及影片產生單元125可透過控制模組120所執行的軟體指令/程式、韌體指令/程式方式或用以執行特定功能的可編程應用電路而實現。
請一併參閱第2圖,第2圖繪示根據本揭示文件之一實施例中用以由靜態相片產生視差影片的一種影像處理方法200的方法流程圖。於部分實施例中,影像處理方法200由第1圖所繪示的電子裝置100所執行。如第2圖所示,在提供靜態影像(例如已存在於資料儲存模組140中的靜態影像或是利用相機模組160拍攝之靜態影像)之後,影像處理方法200執行步驟S210由分割單元121對靜態影像進行影像分割,影像分割用以將靜態相片中的至少一前景物件由靜態相片之影像背景中分離。請一併參閱第4A圖以及第4B圖,第4A圖繪示根據本揭示文件之一操作範例中靜態相片IMG的例示圖,第4B圖繪示第4A圖中靜態相片IMG經過影像分割之分割結果的例示圖。
如第4A圖以及第4B圖所示,原始的靜態相片IMG包含前景物件OBJ(例如於此操作範例中為一人物)以及影
像背景BG。於部分應用中,分割單元121係分析靜態相片IMG的深度分佈(例如產生靜態相片IMG的深度直方圖),並藉由深度分佈辨識在靜態相片IMG中的物件,藉此由分辨前景物件OBJ與影像背景BG。在辨識出前景物件OBJ物件之後,分割單元121將前景物件OBJ的像素與影像背景BG分離(如第4B圖所示)。將上述前景物件OBJ之像素的原始資料由靜態相片IMG中移除而形成影像背景BG,如此一來,在影像背景BG中將留下一塊空白區域BR(如第4B圖所示)。換言之,空白區域BR對應被分離之前景物件OBJ於靜態相片IMG中所在位置。
於其他例子中,原始的靜態相片IMG包含不只一個前景物件。前景物件亦不限於人物,也可以是車輛、寵物、店面、物品、標示或位於特定深度可由影像背景BG中分離出來的各種物件。
影像處理方法200執行步驟S220,利用影像修補單元122填補影像背景BG之空白區域BR。請一併參閱第3A圖以及第4C圖。第3A圖繪根據本揭示文件之一實施例中第2圖中的步驟S220所包含的進一步步驟S221~S222的方法流程圖。第4C圖繪示操作範例中影像背景BG的例示圖。於此實施例中,執行步驟S221以分析影像背景中接近空白區域的複數個鄰近像素NB。執行步驟S222利用由鄰近像素NB分析得到之適當樣式將空白區域BR(參見第4B圖)填補為影像修補區域IPR(參見第4C圖)。
於一實施例中,影像修補單元122分析鄰近像素
NB的顏色、找出紅/綠/藍色階資料的平均值(或眾數值亦或是中位值)、以及依照鄰近像素NB的平均值顏色色階(或眾數值顏色色階亦或是中位數顏色色階)塗繪於空白區域BR形成影像修補區域IPR。於另一實施例中,影像修補單元122進一步分析鄰近像素NB中的條紋、形狀、邊緣、規律圖樣,並且根據分析鄰近像素NB得到的樣式來填補空白區域BR。影像修補單元122用以模擬或是預測空白區域BR(即影像修補區域IPR)中的背景內容,即使空白區域BR的背景內容實際上並未記載於原始的靜態相片IMG當中,藉此盡可能地使影像修補區域IPR更為自然,不容易被使用者所察覺。
影像處理方法200執行步驟S230利用場景模擬單元123建立虛擬三維場景(至少由前景物件OBJ以及影像背景BG所組成)。請一併參閱第4D圖,其繪示上述操作範例中虛擬三維場景TDS的例示圖。如第4D圖所示,虛擬三維場景TDS由前景物件OBJ以及影像背景BG所組成,且前景物件OBJ被設定位於影像背景BG之前方,彼此間隔一個深度差值DP的距離。於一實施例中,根據靜態相片IMG的深度直方圖,進行深度差值DP的計算或判斷。如第4D圖所示,前景物件OBJ與影像背景BG現在分別位於虛擬三維場景TDS中不同深度的位置。隨著觀測點移動時(例如垂直或水平移動),所觀視到虛擬三維場景TDS中的前景物件OBJ將相對影像背景BG位於不同位置。於部分實施例中,虛擬三維場景TDS是由三維模擬器、虛擬實境
場景產生器、三維模型化程序或任何具相等性的模擬器根據前景物件OBJ、影像背景BG及兩者之深度分佈所建立的。其他有關如何建立虛擬三維場景的技術細節為習知技藝之人所熟知,在此不進一步討論。
隨後,影像處理方法200執行步驟S240,利用場景分析單元124分析虛擬三維場景TDS以決定攝影機路徑。接著,影像處理方法200執行步驟S250,利用影片產生單元125以虛擬攝影機沿著攝影機路徑觀視虛擬三維場景TDS,進而產生視差影片。請一併參閱第4E圖以及第4F圖,第4E圖以及第4F圖繪示操作範例中虛擬攝影機VC在虛擬三維場景TDS內相對移動的例示圖。如第4E圖所示,影片產生單元125模擬虛擬攝影機VC沿著攝影機路徑PATH由節點ND1經過節點ND2移動至節點ND3的情況。位於節點ND1、節點ND2以及節點ND3的虛擬攝影機VC將由不同的視角以及不同的距離觀視虛擬三維場景TDS。此外,在不同的節點ND1、節點ND2以及節點ND3上,虛擬攝影機VC所觀視到前景物件OBJ與影像修補區域IPR之間的關係也會有所不同。藉此,產生出來的視差影片可以用較為生動的方式顯示原本的靜態相片。
然而,上述虛擬攝影機VC的攝影機路徑PATH並非隨機的任意路徑。舉例來說,當虛擬攝影機VC移動到一特定節點(參照第4F圖中的節點ND4)其距離前景物件OBJ與影像背景BG太遠時,虛擬攝影機VC由節點ND4所能觀視到的可見視窗並未被虛擬三維場景TDS完整涵蓋,也
就是可見視窗超出了影像背景BG的邊界。原始的靜態相片IMG並未包含影像背景BG其邊界之外的像素資料。因此,若可見視窗超出影像背景BG的邊界,虛擬攝影機VC所觀視到的可見視窗將有一部分像素為無效(缺乏有效的像素資料)。另一方面,由影像修補單元122所填補的影像修補區域IPR本身並非真實存在於原始的靜態相片IMG。若將高比例的影像修補區域IPR同時對使用者展示,使用者便有可能注意到影像修補區域IPR中存在的缺陷或不自然的錯誤等。因此,為了達到視差影片的最佳化效果,攝影機路徑PATH必須要經過仔細規劃。
於此實施例中,步驟S240中決定攝影機路徑PATH的步驟是根據虛擬三維場景TDS的分析。請一併參閱第3B圖,其繪示根據本揭示文件之一實施例中第2圖之步驟S240進一步包含之步驟S241至S243的方法流程圖。如第3B圖所示,執行步驟S241以判斷影像背景BG之空白區域BR(參照第4B圖)是否填補為影像修補區域IPR(參照第4C圖)。於部分實施例中,空白區域BR是依適當的樣式完全填滿形成影像修補區域IPR。然而,本揭示文件並不以此為限。於其他實施例中,至少一部分的空白區域BR(例如靠近空白區域BR邊緣處的部分)是依適當的樣式填滿形成影像修補區域IPR,而另一部分的空白區域BR(例如靠近空白區域BR中央處的部分)維持空白無顯示資料,於此例子中,步驟S241則是執行用來判斷影像背景BG中是否至少有部分空白區域BR(參照第4B圖)填補為影像修補區域
IPR(參照第4C圖)。
於此實施例中,步驟S241是可選擇性(optional)步驟用來重複確認空白區域BR是否被填補為影像修補區域IPR。若空白區域BR未填補,則影像處理方法200將回到步驟S220。
若空白區域BR被填補為影像修補區域IPR,則執行步驟S242以估算影像修補區域在多個不同節點各自的露出比例。接著,執行步驟S243根據上述估算結果來決定攝影機路徑PATH。上述各露出比例分別對應虛擬攝影機VC在虛擬三維場景TDS中由複數個相異的候選節點所能觀視影像修補區域IPR的大小。請一併參閱第4G圖以及第4H圖,第4G圖以及第4H圖繪示操作範例中影像修補區域IPR之不同露出比例的例示圖。
如第4G圖所示,虛擬攝影機VC大致上位於影像背景BG中心點的前方。前景物件OBJ對應在影像背景BG上形成投射區域(也就是虛擬攝影機VC所觀視到前景物件OBJ的相對位置)。於第4G圖中,前景物件OBJ在影像背景BG上的投射區域與75%的影像修補區域IPR重疊。於此例子中,虛擬攝影機VC所能觀視到的是影像修補區域IPR中的露出區塊LK。根據第4G圖之例子,所計算到的露出比例約為25%(即虛擬攝影機VC所能觀視到的露出區塊LK之面積與影像修補區域IPR整體面積的百分比)。
如第4H圖所示,虛擬攝影機VC移動至影像背景BG前方的右側位置。前景物件OBJ對應在影像背景BG上
形成另一個投射區域(也就是虛擬攝影機VC所觀視到前景物件OBJ的相對位置)。於第4H圖中,前景物件OBJ在影像背景BG上的投射區域與55%的影像修補區域IPR重疊。於此例子中,虛擬攝影機VC所能觀視到的是影像修補區域IPR中的另一個露出區塊LK。根據第4H圖之例子,所計算到的露出比例約為45%。根據實際應用上的經驗,一般來說當影像修補區域IPR的露出比例高於50%的時候,影像修補區域IPR的缺陷與錯誤將容易被察覺。於部分實施例中,場景分析單元124根據攝影機路徑PATH上各節點的露出比例,來決定攝影機路徑PATH的計算結果,藉此來確保沿著攝影機路徑PATH上各節點的露出比例均低於50%。此外,在空白區域BR僅有部份填補為影像修補區域IPR的實施例中,不存在顯示資料的剩餘空白區域BR禁止出現在虛擬攝影機VC所能觀視到範圍內,也就是說,攝影機路徑PATH的決定過程必須避免露出不存在顯示資料的剩餘空白區域BR。
請參閱一併第3C圖、第5A圖至第5D圖,第3C圖繪示第3B圖中步驟S243的細部步驟S243a至S243i以例示性說明攝影機路徑PATH如何決定的方法流程圖。第5A圖至第5D圖繪示攝影機路徑PATH的示意圖。
如第5C圖所示,攝影機路徑PATH包含起始節點NDi、終端節點NDt以及至少一中間節點(於第5C圖的實施例中存在兩個中間節點NDm1及NDm2)其位於起始節點NDi與終端節點NDt之間。
如第3C圖所示,執行步驟S243a以設定起始節點NDi。於部分實施例中,可將起始節點設定為靜態相片IMG之原始視點(即使用者當初在拍攝靜態相片IMG時採用的視點)。舉例來說,靜態相片IMG採用的對焦距離為已知且一併紀錄在靜態相片IMG的相關資訊當中。因此,原始視點位於由靜態相片IMG中心點所延伸的垂直軸上,並可從對焦距離推知原始視點的位置。執行步驟S243b根據靜態相片IMG中前景物件OBJ之位置及尺寸設定終端節點NDt。
於部分實施例中,當前景物件OBJ之位置位於靜態相片IMG之右半部時,終端節點NDt係設置於初始節點NDi之右側。另一方面,當前景物件OBJ之位置位於靜態相片IMG之左半部時,終端節點NDt係設置於初始節點NDi之左側。如此一來,虛擬攝影機VC可由相對前景物件OBJ的其中一側移動至相對前景物件OBJ的另外一側,於此方式產生的視差影片將具有相對前景物件OBJ兩側的觀察視野。
如第3C圖以及第5A圖所示,執行步驟S243c以找出由起始節點NDi朝向終端節點NDt之目標向量Vt。執行步驟S243d以環繞目標向量Vt建立複數個屈折向量Vr。執行步驟S243e以指定該些屈折向量Vr以及該目標向量Vt的終點為候選節點NDc1~NDc5。上述多個屈折向量Vr是沿著目標向量Vt的軸向而建立,並且該些屈折向量Vr分別依複數個相異角度偏離目標向量Vt。
如第3C圖以及第5A圖所示,執行步驟S243f以驗證虛擬三維場景TDS是否完全涵蓋虛擬攝影機VC在該些候選節點NDc1~NDc5上各自的可見視窗(參照第4E圖及第4F圖)。假設,其中若任一可見視窗超出虛擬三維場景TDS,則相對應的候選節點判為失格(舉例來說,第4F圖中的節點ND4將被判為失格)。若候選節點的可見視窗完全涵蓋虛擬攝影機VC的範圍內時,相對應的候選節點則判定為合格(舉例來說,第4E圖中的節點ND1,ND2,ND3將被判為合格)。在此例子中,假設候選節點NDc4與NDc5在步驟S243f中被判定為失格。
如第3C圖以及第5A圖所示,執行步驟S243g以根據露出比例在合格的候選節點(NDc1、NDc2、NDc3)中挑選一個最佳節點。攝影機路徑PATH上最佳節點的露出比例須小於標準上限(criteria upper bound)。於部分實施例中,標準上限是指利用虛擬攝影機VC由該些候選節點NDc1、NDc2、NDc3其中一者能觀視到影像修補區域IPR整體的50%。最佳節點是由前述合格的候選節點當中露出比例低於50%者進行挑選。於部分實施例中,最佳節點更進一步由前述合格的候選節點當中露出比例超過20%且低於50%者進行挑選,如此一來,前景物件OBJ與影像背景BG的視差效果對使用者來說較容易發現。於此例子中,假設合格的候選節點NDc3被選定為最佳節點,則對應候選節點NDc3的屈折向量Vr則被選為最佳向量。
如第3C圖及第5A圖所示,執行步驟S243h指定
最佳向量的終點(也就是候選節點NDc3)為接續中間節點NDm1。
執行步驟S243i以判斷攝影機路徑PATH是否完成,若攝影機路徑PATH尚未完成則重複步驟S243c至S243h。
如第5B圖所示,中間節點NDm1即為當前中間節點NDm1。執行步驟S243c以找出由當前中間節點NDm1朝向終端節點NDt之目標向量Vt。進一步執行步驟S243d至S243h以指定接續中間節點NDm2。如此一來,即可重複步驟S243c至S243h直到完成攝影機路徑PATH。中間節點NDm1與NDm2是由起始節點NDi起始分別逐一決定而連至終端節點NDt。
於第5A圖至第5C圖之實施例中,僅有兩個中間節點NDm1與NDm2,但本揭示文件並不以此為限。根據另一實施例的第5D圖所示,攝影機路徑PATH包含更多中間節點,如第5D圖中的中間節點NDm1至NDm5。中間節點NDm1至NDm5是由起始節點NDi起始分別逐一決定(依照第3C圖之步驟S243c至S243h)而連至終端節點NDt。
本揭示文件的另一態樣是一種非暫態電腦可讀取媒體,此非暫態電腦可讀取媒體包含程式指令以進行上述實施例所揭露的影像處理方法200(如第2圖、第3A圖至第3C圖所示)。
基於上述實施例,本揭示文件提供一種方法及系統,用以基於一張靜態相片建立一段視差影片。視差影片
讓使用者有機會由多個不同的虛擬視角來觀視靜態相片,藉此,在靜態相片上套用2.5D或是類3D的效果。當虛擬攝影機產生視差影像時,本揭示文件之方法會自動判斷最佳的攝影機路徑,藉此在視差影像可以呈現靜態相片中物件在各種各樣不同視角下的樣貌,並可避免使用者看到過高露出比例的影像修補區域。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何本領域具通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S210~S250‧‧‧步驟
Claims (17)
- 一種影像處理方法,用以由一靜態相片產生一視差影片,該影像處理方法包含:進行一影像分割,藉此將該靜態相片中的至少一前景物件由該靜態相片之一影像背景中分離;填補該影像背景之一空白區域為一影像修補區域,該空白區域對應被分離之該前景物件於該靜態相片中所在位置;創建一虛擬三維場景,該虛擬三維場景由該前景物件以及該影像背景所組成;分析該虛擬三維場景以決定一攝影機路徑,其中該虛擬三維場景之分析包含估算該影像修補區域在複數個相異節點各自的露出比例,根據估算結果以決定該攝影機路徑;以及藉由一虛擬攝影機沿著該攝影機路徑觀視該虛擬三維場景,以產生該視差影片。
- 如請求項1所述之影像處理方法,其中於該虛擬三維場景中,該前景物件經設定位於該影像背景前方且相距一深度差值。
- 如請求項1所述之影像處理方法,其中填補該空白區域之步驟包含:分析該影像背景中接近該空白區域之複數個鄰近像 素;以及利用由該些鄰近像素分析得到之一適當樣式填補該空白區域。
- 如請求項1所述之影像處理方法,其中分析該虛擬三維場景以決定該攝影機路徑之步驟更包含:判斷該影像背景之該空白區域是否至少部分填補為該影像修補區域。
- 如請求項4所述之影像處理方法,其中該攝影機路徑包含一起始節點、一終端節點以及至少一中間節點,決定該攝影機路徑之步驟更包含:將該起始節點設定為該靜態相片之一原始視點;根據該靜態相片中該前景物件之一位置及一尺寸,設定該終端節點;以及決定該起始節點與該終端節點之間的該至少一中間節點。
- 如請求項5所述之影像處理方法,其中該至少一中間節點是由該起始節點起始分別逐一決定而連至該終端節點,決定該至少一中間節點每一者之步驟包含:找出由該起始節點或一當前中間節點朝向該終端節點之一目標向量;環繞該目標向量建立複數個屈折向量;以及 由該些屈折向量以及該目標向量中找出一最佳向量,以及指定該最佳向量的終點為一接續中間節點。
- 如請求項6所述之影像處理方法,其中由該些屈折向量以及該目標向量中找出該最佳向量之步驟更包含:指定該些屈折向量以及該目標向量的終點為複數個候選節點;驗證該虛擬三維場景是否涵蓋該虛擬攝影機在該些候選節點上各自的可見視窗,其中若任一可見視窗超出該虛擬三維場景則該相對應的候選節點判為失格;對應合格的該些候選節點,根據該虛擬攝影機在該虛擬三維場景中由相異的該些候選節點所能觀視該影像修補區域的大小,分別估算該影像修補區域對應該些候選節點的相異的複數個露出比例;以及根據該些露出比例由合格的該些候選節點中挑選出一最佳節點以找出該最佳向量,藉此使該攝影機路徑上該最佳節點的該露出比例低於一標準上限。
- 如請求項7所述之影像處理方法,其中該標準上限是指利用該虛擬攝影機由該些候選節點其中一者能觀視到該影像修補區域整體的50%。
- 如請求項6所述之影像處理方法,其中該些屈折向量是沿著該目標向量的一軸向而建立,並且該些屈折向量 分別依複數個相異角度偏離該目標向量。
- 如請求項5所述之影像處理方法,其中當該前景物件之該位置位於該靜態相片之右半部時,該終端節點係設置於該初始節點之右側,當該前景物件之該位置位於該靜態相片之左半部時,該終端節點係設置於該初始節點之左側。
- 一種電子裝置,包含:一資料儲存模組,用以儲存一靜態相片;以及一控制模組,與該資料儲存模組耦接,該控制模組包含:一分割單元,用以將該靜態相片中的至少一前景物件由該靜態相片之一影像背景中分離;一影像修補單元,用以填補該影像背景之一空白區域為一影像修補區域,該空白區域對應被分離之該前景物件於該靜態相片中所在位置;一場景模擬單元,用以創建一虛擬三維場景,該虛擬三維場景由該前景物件以及該影像背景所組成;一場景分析單元,用以分析該虛擬三維場景以決定一攝影機路徑,其中該虛擬三維場景之分析包含估算該影像修補區域在複數個相異節點各自的露出比例,根據估算結果以決定該攝影機路徑;以及一影片產生單元,用以產生一視差影片,該視差 影片係藉由一虛擬攝影機沿著該攝影機路徑觀視該虛擬三維場景而產生。
- 如請求項11所述之電子裝置,其中於該虛擬三維場景中,該場景模擬單元將該前景物件設定位於該影像背景前方且相距一深度差值。
- 如請求項11所述之電子裝置,其中該影像修補單元分析該影像背景中接近該空白區域之複數個鄰近像素,且該影像修補單元利用由該些鄰近像素分析得到之一適當樣式填補該空白區域。
- 如請求項11所述之電子裝置,其中該場景分析單元判斷該影像背景之該空白區域是否至少部分填補為該影像修補區域。
- 如請求項14所述之電子裝置,其中該攝影機路徑包含一起始節點、一終端節點以及至少一中間節點,該場景分析單元將該起始節點設定為該靜態相片之一原始視點,該場景分析單元根據該靜態相片中該前景物件之一位置及一尺寸設定該終端節點。
- 如請求項15所述之電子裝置,其中該至少一中間節點是由該起始節點起始分別逐一決定而連至該終端節 點,該場景分析單元決定該至少一中間節點每一者是透過找出由該起始節點或一當前中間節點朝向該終端節點之一目標向量、環繞該目標向量建立複數個屈折向量、由該些屈折向量以及該目標向量中找出一最佳向量、以及指定該最佳向量的終點為一接續中間節點,其中該場景分析單元指定該些屈折向量以及該目標向量的終點為複數個候選節點並估算該影像修補區域的複數個相異的露出比例,該些露出比例分別對應該虛擬攝影機在該虛擬三維場景中由相異的該些候選節點所能觀視該影像修補區域的大小,該場景分析單元根據該些露出比例決定該攝影機路徑。
- 一種非暫態電腦可讀取媒體,其包含至少一程式指令用以執行一方法,該方法包含下列步驟:進行一影像分割,藉此將一靜態相片中的至少一前景物件由該靜態相片之一影像背景中分離;填補該影像背景之一空白區域為一影像修補區域,該空白區域對應被分離之該前景物件於該靜態相片中所在位置;創建一虛擬三維場景,該虛擬三維場景由該前景物件以及該影像背景所組成,其中該虛擬三維場景之分析包含估算該影像修補區域在複數個相異節點各自的露出比例,根據估算結果以決定該攝影機路徑;分析該虛擬三維場景以決定一攝影機路徑;以及藉由一虛擬攝影機沿著該攝影機路徑觀視該虛擬三維 場景,以產生一視差影片。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361915530P | 2013-12-13 | 2013-12-13 | |
US14/321,829 US9979952B2 (en) | 2013-12-13 | 2014-07-02 | Method of creating a parallax video from a still image |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201528207A TW201528207A (zh) | 2015-07-16 |
TWI595443B true TWI595443B (zh) | 2017-08-11 |
Family
ID=53370056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103142617A TWI595443B (zh) | 2013-12-13 | 2014-12-08 | 影像處理方法、電子裝置以及非暫態電腦可讀取媒體 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9979952B2 (zh) |
CN (1) | CN104735435B (zh) |
TW (1) | TWI595443B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI781357B (zh) * | 2018-12-06 | 2022-10-21 | 宏達國際電子股份有限公司 | 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102551239B1 (ko) * | 2015-09-02 | 2023-07-05 | 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 | 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템 |
US10419788B2 (en) * | 2015-09-30 | 2019-09-17 | Nathan Dhilan Arimilli | Creation of virtual cameras for viewing real-time events |
US20180136814A1 (en) * | 2016-07-22 | 2018-05-17 | Zyndo, LLC | Systems and methods for multi-dimensional augmented and virtual reality digital media integration |
KR102309722B1 (ko) * | 2017-01-13 | 2021-10-07 | 워너 브로스. 엔터테인먼트 인크. | 디지털 스틸 이미지에 모션 효과의 부가 |
US10602117B1 (en) * | 2017-09-11 | 2020-03-24 | Bentley Systems, Incorporated | Tool for onsite augmentation of past events |
CN110555351B (zh) * | 2018-06-04 | 2022-02-08 | 瑞昱半导体股份有限公司 | 前景影像的提取方法与电子装置 |
TWI689909B (zh) * | 2018-11-22 | 2020-04-01 | 財團法人工業技術研究院 | 透明顯示系統及其操作方法 |
CN110675420B (zh) * | 2019-08-22 | 2023-03-24 | 华为技术有限公司 | 一种图像处理方法和电子设备 |
DE102019124386A1 (de) * | 2019-09-11 | 2021-03-11 | Audi Ag | Verfahren zum Betreiben einer Virtual-Reality-Brille in einem Fahrzeug sowie Virtual-Reality-System mit einer Virtual-Reality-Brille und einem Fahrzeug |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030202120A1 (en) * | 2002-04-05 | 2003-10-30 | Mack Newton Eliot | Virtual lighting system |
US20080246759A1 (en) * | 2005-02-23 | 2008-10-09 | Craig Summers | Automatic Scene Modeling for the 3D Camera and 3D Video |
TW201142757A (en) * | 2004-12-23 | 2011-12-01 | Seereal Technologies Gmbh | A method of computing a hologram |
TW201239809A (en) * | 2011-03-25 | 2012-10-01 | Univ Chung Hua | Apparatus for generating a real-time stereoscopic image and method thereof |
US20130050185A1 (en) * | 2011-08-28 | 2013-02-28 | YanTao Xie | 3D Image Generating Method, 3D Animation Generating Method, and both 3D Image Generating Module and 3D Animation Generating Module thereof |
TW201342308A (zh) * | 2012-01-25 | 2013-10-16 | Audience Inc | 基於結合來自多個照相機之影像之影像增強 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
US20070248283A1 (en) * | 2006-04-21 | 2007-10-25 | Mack Newton E | Method and apparatus for a wide area virtual scene preview system |
CA2884702C (en) * | 2006-06-23 | 2018-06-05 | Samuel Zhou | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
US8274530B2 (en) * | 2007-03-12 | 2012-09-25 | Conversion Works, Inc. | Systems and methods for filling occluded information for 2-D to 3-D conversion |
US8089479B2 (en) * | 2008-04-11 | 2012-01-03 | Apple Inc. | Directing camera behavior in 3-D imaging system |
CN101600123B (zh) | 2009-07-06 | 2010-08-25 | 四川大学 | 获取视差图像的平行摄像机阵列移位法 |
WO2011033668A1 (ja) * | 2009-09-18 | 2011-03-24 | 株式会社 東芝 | 視差画像生成装置 |
US20120206567A1 (en) | 2010-09-13 | 2012-08-16 | Trident Microsystems (Far East) Ltd. | Subtitle detection system and method to television video |
KR20120067879A (ko) | 2010-12-16 | 2012-06-26 | 한국전자통신연구원 | 삼차원 영상 표시 장치 및 그 표시 방법 |
GB2489674A (en) | 2011-03-29 | 2012-10-10 | Sony Corp | 3D image generation |
EP2525581A3 (en) * | 2011-05-17 | 2013-10-23 | Samsung Electronics Co., Ltd. | Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof |
US8611642B2 (en) * | 2011-11-17 | 2013-12-17 | Apple Inc. | Forming a steroscopic image using range map |
US9237330B2 (en) * | 2012-02-21 | 2016-01-12 | Intellectual Ventures Fund 83 Llc | Forming a stereoscopic video |
US20140063193A1 (en) * | 2012-08-31 | 2014-03-06 | Wayne Martin Williams | Natural 3D Motion For Film And Video |
CN103440660B (zh) | 2013-09-03 | 2016-03-30 | 四川大学 | 一种基于gpu的集成成像微图像阵列快速生成方法 |
TWI534755B (zh) * | 2013-11-20 | 2016-05-21 | 財團法人資訊工業策進會 | 三維立體模型之建立方法和裝置 |
-
2014
- 2014-07-02 US US14/321,829 patent/US9979952B2/en active Active
- 2014-12-04 CN CN201410733501.0A patent/CN104735435B/zh active Active
- 2014-12-08 TW TW103142617A patent/TWI595443B/zh active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030202120A1 (en) * | 2002-04-05 | 2003-10-30 | Mack Newton Eliot | Virtual lighting system |
TW201142757A (en) * | 2004-12-23 | 2011-12-01 | Seereal Technologies Gmbh | A method of computing a hologram |
US20080246759A1 (en) * | 2005-02-23 | 2008-10-09 | Craig Summers | Automatic Scene Modeling for the 3D Camera and 3D Video |
TW201239809A (en) * | 2011-03-25 | 2012-10-01 | Univ Chung Hua | Apparatus for generating a real-time stereoscopic image and method thereof |
US20130050185A1 (en) * | 2011-08-28 | 2013-02-28 | YanTao Xie | 3D Image Generating Method, 3D Animation Generating Method, and both 3D Image Generating Module and 3D Animation Generating Module thereof |
TW201342308A (zh) * | 2012-01-25 | 2013-10-16 | Audience Inc | 基於結合來自多個照相機之影像之影像增強 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI781357B (zh) * | 2018-12-06 | 2022-10-21 | 宏達國際電子股份有限公司 | 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體 |
Also Published As
Publication number | Publication date |
---|---|
US9979952B2 (en) | 2018-05-22 |
US20150172627A1 (en) | 2015-06-18 |
CN104735435B (zh) | 2017-04-12 |
CN104735435A (zh) | 2015-06-24 |
TW201528207A (zh) | 2015-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI595443B (zh) | 影像處理方法、電子裝置以及非暫態電腦可讀取媒體 | |
JP6655737B2 (ja) | マルチビューシーンのセグメンテーションおよび伝播 | |
US6124864A (en) | Adaptive modeling and segmentation of visual image streams | |
US20140240311A1 (en) | Method and device for performing transition between street view images | |
US20150341616A1 (en) | Parallax based monoscopic rendering | |
US11514654B1 (en) | Calibrating focus/defocus operations of a virtual display based on camera settings | |
RU2735382C2 (ru) | Устройство обработки изображений, способ управления устройства обработки изображений и компьютерно-читаемый носитель хранения данных | |
CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
CN109660783A (zh) | 虚拟现实视差校正 | |
CN105069827A (zh) | 一种采用三维模型处理视频转场的方法 | |
EP3533218B1 (en) | Simulating depth of field | |
EP3599587A2 (en) | A parallel method of flood filling, and apparatus | |
US11097486B2 (en) | System and method of 3D print modeling utilizing a point cloud representation and generating a voxel representation of the point cloud | |
CN113144613B (zh) | 基于模型的体积云生成的方法 | |
KR102091860B1 (ko) | 영상 부호화 방법 및 장치 | |
JP5422538B2 (ja) | 画像処理装置、表示装置、方法およびそのプログラム | |
CN117218266A (zh) | 3d白模的纹理贴图生成方法、装置、设备及介质 | |
JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像3d写真技術 | |
CN116468736A (zh) | 基于空间结构的前景图像分割方法、装置、设备、介质 | |
Liu et al. | Fog effect for photography using stereo vision | |
US11417043B2 (en) | Method for generating simulations of thin film interfaces for improved animation | |
CN114219888A (zh) | 三维角色动态剪影效果生成方法及装置、存储介质 | |
Nonaka et al. | Billboard deformation via 3d voxel by using optimization for free-viewpoint system | |
AU2012203857B2 (en) | Automatic repositioning of video elements | |
CN117765210A (zh) | 在xr虚实合成中实现led区域外画面补偿的方法、装置 |