TW201333621A - 多視角影像產生方法與裝置 - Google Patents

多視角影像產生方法與裝置 Download PDF

Info

Publication number
TW201333621A
TW201333621A TW101109340A TW101109340A TW201333621A TW 201333621 A TW201333621 A TW 201333621A TW 101109340 A TW101109340 A TW 101109340A TW 101109340 A TW101109340 A TW 101109340A TW 201333621 A TW201333621 A TW 201333621A
Authority
TW
Taiwan
Prior art keywords
image
view image
generating
images
disparity map
Prior art date
Application number
TW101109340A
Other languages
English (en)
Inventor
Tzung-Ren Wang
Original Assignee
Himax Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Tech Ltd filed Critical Himax Tech Ltd
Publication of TW201333621A publication Critical patent/TW201333621A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種多視角影像產生方法,適用於一二維至三維轉換裝置。多視角影像產生方法包括下列步驟。接收利用一單一影像擷取裝置轉動其旋轉角而從不同角度所擷取的一對影像。根據這對影像其中之一影像,產生一視差圖。根據視差圖利用一非常數函數來產生一重映射視差圖。根據重映射視差圖以產生一深度圖。根據這其中之一影像與深度圖,產生一多視角影像。此外,本發明亦提供一多視角影像產生裝置,適用於二維至三維轉換裝置。

Description

多視角影像產生方法與裝置
本發明是有關於一種影像產生方法與裝置,且特別是有關於一種多視角影像產生方法與裝置。
近年來,一般是利用具有兩個鏡頭之一立體相機來擷取三維影像。立體相機具有相同規格之兩鏡頭,且兩鏡頭之間距約為7.7公分以模擬人眼之間距。兩鏡頭之參數,例如焦距、光圈與快門是由立體相機之處理器所控制,經由一快門釋放而驅動,以擷取相同區域但不同視角(perspectives)的影像以模擬人眼的左右眼影像。
具體而言,左眼影像與右眼影像分別被立體相機之兩個鏡頭所擷取。由於被立體相機擷取的左右眼影像可能在角度上具有些微差異,三維立體顯示器可根據左右眼影像之差異並結合左右眼影像以顯示一三維影像而產生景深。只要兩鏡頭之擷取參數被調整為一致,即可獲得具有良好影像效果的三維影像。然而,在此類立體相機的結構中需要兩組鏡頭及感測器,因此成本昂貴。另一擷取三維影像之方法是利用轉動一單鏡頭相機以擷取影像。然而,在此方式中最主要的問題是兩影像中近物與遠物的視差而導致與真實三維影像之間存在差異。
因此,需要一種影像處理方法,以補償由單鏡頭相機所擷取而用來產生多視角影像之這些影像的視差或深度。
本發明提供一種多視角影像產生方法及裝置,能夠提供多視角影像以形成與真實世界之影像較為一致的三維影像。
本發明提出一種多視角影像產生方法,適用於一二維至三維轉換裝置。多視角影像產生方法包括下列步驟。接收利用一單一影像擷取裝置轉動其旋轉角而從不同角度所擷取的一對影像。根據這對影像其中之一影像,產生一視差圖。根據視差圖,利用一非常數函數來產生一重映射視差圖。根據重映射視差圖以產生一深度圖。根據這其中之一影像與深度圖,產生一多視角影像。
在本發明之一實施例中,上述根據其中之一影像以產生視差圖的步驟中,視差圖是以立體匹配的方式產生。
在本發明之一實施例中,上述之根據其中之一影像與深度圖產生多視角影像的步驟中,多視角影像是以深度影像繪圖法(depth image based rendering,DIBR)的方式產生。
本發明提出一多視角影像產生裝置,適用於一二維至三維轉換裝置。多視角影像產生裝置包括一深度產生單元、一重映射單元及一多視角影像產生單元。深度產生單元接收利用一單一影像擷取裝置轉動其旋轉角而從不同角度所擷取的一對影像,並根據這對影像其中之一影像產生一視差圖。重映射單元根據視差圖利用一非常數函數來產生一重映射視差圖。多視角影像產生單元根據重映射視差圖產生一深度圖並根據這其中之一影像與深度圖產生一多視角影像。
在本發明之一實施例中,上述之深度產生單元以立體匹配的方式產生視差圖。
在本發明之一實施例中,上述之多視角影像產生單元以深度影像繪圖法的方式產生多視角影像。
在本發明之一實施例中,上述之單一影像擷取裝置包括具有一單一互補式金氧半場效電晶體(Complementary Metal Oxide Semiconductor image sensor,CMOS image sensor)影像感測器之一單鏡頭相機,或是具有一單一互補式金氧半場效電晶體影像感測器之一雙鏡頭相機。
在本發明之一實施例中,上述之非常數函數係根據一瞳孔間距以及該旋轉角而預先設定。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1繪示具有雙鏡頭之立體相機所拍攝之一左眼影像與一右眼影像。請參閱圖1,左眼影像100L與右眼影像100R是二維影像,且分別被立體相機10的兩個鏡頭10L、10R從不同視點所拍攝。根據物體的分布,左眼影像100L與右眼影像100R會有些微差異。比較左眼影像100L與右眼影像100R,如圖1(c)所示,在水平上,遠物具有一視差D1近物具有一視差D2。在此狀況下,近物的視差D2大於遠物的視差D1,換言之,D2>D1。
圖2是依照本發明之一實施例之一單鏡頭相機擷取一左眼影像與一右眼影像的示意圖。請參閱圖2,左眼影像200L與右眼影像200R被單鏡頭相機200以不同角度(在本實施例中是旋轉一旋轉角θ)而擷取。左眼影像200L與右眼影像200R中的物體分布決定於旋轉角θ。當θ等於θ1時,圖2(c)中遠物的視差D1’等於圖1(c)中遠物的視差D1,此時,圖2(c)中近物的視差D2’小於圖1(c)中近物的視差D2,也就是說,如圖2(c)所示,D2’<D2。然而,對於一真實的三維影像來說,圖2(c)中近物的視差D2’應該要等於圖1(c)中近物視差D2。在另一情況中,當θ等於θ2,且θ2大於θ1時,近物的視差D2’等於近物的視差D2,此時,遠物的視差D1’大於遠物的視差D1,也就是說,D1’大於D1。然而,對於一真實的三維影像來說,遠物的視差D1’應該要等於遠物視差D1。
換言之,單鏡頭相機200以θ2與θ1之間的旋轉範圍(θ2>θ>θ1)所擷取到的兩個影像中物體的視差相反於立體相機10所擷取到的兩影像中物體的視差。因此,為了顯示與真實世界影像更一致的一三維影像,需要有一種影像處理方法,補償單鏡頭相機所拍攝的影像之視差或深度以產生多視角影像。
值得注意的是,在本實施例中,單鏡頭相機200只裝配有一單一互補式金氧半場效電晶體(CMOS)以降低成本。此外,本發明之單一影像擷取裝置可包括具有一單一互補式金氧半場效電晶體影像感測器之一雙鏡頭相機。此雙鏡頭相機亦存在先前所述之與真實三維影像不一致的問題。
圖3是依照本發明之一實施例之一種多視角影像產生裝置的示意圖。圖4是依照本發明之一實施例之一種多視角影像產生方法的流程示意圖。本實施例之多視角影像產生方法可應用於多視角影像產生裝置300。本實施例中的多視角影像產生裝置300適用於一二維至三維轉換裝置(未繪示)。藉由使用多視角影像產生方法,多視角影像產生裝置300所產生的多視角影像中物體的視差與深度可被補償,以使二維至三維轉換裝置能夠將二維多視角影像轉換為更接近真實世界影像的一真實三維影像。
請參閱圖3及圖4,本實施例之多視角影像產生裝置300包括一深度產生單元310、一重映射單元320及一多視角影像產生單元330。在步驟S400中,深度產生單元310接收利用一單一影像擷取裝置轉動其旋轉角θ而從不同角度所擷取的一對影像。在本實施例中,單一影像擷取裝置可包括具有一單一互補式金氧半場效電晶體影像感測器之一單鏡頭相機(例如單鏡頭相機200),或是具有一單一互補式金氧半場效電晶體影像感測器之一雙鏡頭相機。藉由單一影像擷取裝置轉動旋轉角θ,此對影像(例如是左眼影像與右眼影像)被單一影像擷取裝置擷取且傳輸至深度產生單元310。
接著,在步驟S402中,深度產生單元310根據其中之一影像,產生一視差圖。在本實施例中,以左眼影像為例,深度產生單元310根據左眼影像200L以立體匹配的方式來產生視差圖。
再來,在步驟S404中,重映射單元320根據視差圖D利用一非常數函數以產生一重映射視差圖D’。具體而言,圖5A至圖5C是依照本發明之一實施例分別繪示不同之非常數函數的示意圖。請參閱圖5A,圖5A之函數說明了重映射視差圖D’與視差圖D成反比。當單鏡頭相機200的旋轉角在θ2至θ1的範圍中時(θ2>θ>θ1),單鏡頭相機200所拍攝的兩影像中物體之間的視差相反於立體相機10所拍攝的影像中物體之間的視差。在圖5A中,成反比的函數f(D)被用來補償單鏡頭相機200所拍攝的兩個影像中物體的視差。重映射單元320根據成反比的函數f(D)重新將視差圖D映射以產生一重映射視差圖D’。此處需注意的是,非常數函數並未限制於如圖5A所示的成反比的函數f(D)。在其他實施例中,只要非常數函數即足以補償物體的視差即可。在本實施例中,非常數函數可反映出瞳孔的距離及旋轉角。根據實驗結果,依照瞳孔間距以不同旋轉角用一對一的方式來決定出非常數函數。每一旋轉角具有其對應的非常數函數來補償每一旋轉角所擷取之影像中物體之間的視差。
值得注意的是,本實施例中的多視角影像產生裝置亦可適用於單鏡頭相機200在θ≦θ1或θ≧θ2之旋轉角的範圍中所拍攝之影像。對θ≦θ1的旋轉角範圍來說,視差圖D必須增加,以設定非常數函數f1(D)或f2(D)來進行映射操作(mapping operation)。在圖5B中,非常數函數f1(D)具有不變的斜率,且非常數函數f2(D)具有可變的斜率。相反地,對θ≧θ2的旋轉角範圍來說,視差圖D必須減少,以設定非常數函數f3(D)或f4(D)來進行映射操作。在圖5C中,非常數函數f3(D)具有不變的斜率,且非常數函數f4(D)具有可變的斜率。因此,非常數函數可選擇地被改變為一適當的函數,且其可經實驗來決定。
接著,在步驟S406中,多視角影像產生單元330根據重映射視差圖D’產生一深度圖。然後,在步驟S408中,多視角影像產生單元330根據左眼影像與步驟S406中所產生的深度圖以產生一多視角影像。在步驟S408中,多視角影像產生單元330可藉由深度影像繪圖法(DIBR)的方式產生多視角影像。在本實施例中,雖然多視角影像是根據左眼影像所產生的,但並不以此為限制。在其他實施例中,多視角影像亦可根據右眼影像而產生。
綜上所述,在本發明之一實施例中,多視角影像產生裝置藉由利用一非常數函數來補償單鏡頭相機或是配置一單一互補式金氧半場效電晶體影像感測器之雙鏡頭相機所拍攝之影像中物體之間的視差。因此,所產生的多視角影像得以被轉換為與真實世界影像更為一致且具有良好影像品質的三維影像。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10...立體相機
10L、10R...鏡頭
100L...左眼影像
100R...右眼影像
200...單鏡頭相機
200L...左眼影像
200R...右眼影像
300...多視角影像產生裝置
310...深度產生單元
320...重映射單元
330...多視角影像產生單元
S400~S408...步驟
圖1繪示具有雙鏡頭之立體相機所拍攝之一左眼影像與一右眼影像。
圖2是依照本發明之一實施例之一單鏡頭相機擷取一左眼影像與一右眼影像的示意圖。
圖3是依照本發明之一實施例之一種多視角影像產生裝置的示意圖。
圖4是依照本發明之一實施例之一種多視角影像產生方法的流程示意圖。
圖5A至圖5C是依照本發明之一實施例分別繪示不同之非常數函數的示意圖。
S400~S408...步驟

Claims (10)

  1. 一種多視角影像產生方法,適用於一二維至三維轉換裝置,該多視角影像產生方法包括:接收利用一單一影像擷取裝置轉動其旋轉角而從不同角度所擷取的一對影像;根據該對影像其中之一影像,產生一視差圖;根據該視差圖,利用一非常數函數來產生一重映射視差圖;根據該重映射視差圖以產生一深度圖;以及根據該其中之一影像與該深度圖,產生一多視角影像。
  2. 如申請專利範圍第1項所述之多視角影像產生方法,其中該單一影像擷取裝置包括具有一單一互補式金氧半場效電晶體影像感測器之一單鏡頭相機,或是具有一單一互補式金氧半場效電晶體影像感測器之一雙鏡頭相機。
  3. 如申請專利範圍第1項所述之多視角影像產生方法,其中在根據該其中之一影像產生該視差圖的步驟中,該視差圖是以立體匹配(stereo matching)的方式所產生。
  4. 如申請專利範圍第1項所述之多視角影像產生方法,其中在根據該其中之一影像與該深度圖產生該多視角影像的步驟中,該多視角影像是以深度影像繪圖法(depth image based rendering,DIBR)的方式所產生。
  5. 如申請專利範圍第1項所述之多視角影像產生方法,其中該非常數函數係根據一瞳孔間距以及該旋轉角而預先設定。
  6. 一種多視角影像產生裝置,適用於一二維至三維轉換裝置,該多視角影像產生裝置包括:一深度產生單元,接收利用一單一影像擷取裝置轉動其旋轉角而從不同角度所擷取的一對影像,並根據該對影像其中之一影像產生一視差圖;一重映射單元,根據該視差圖利用一非常數函數來產生一重映射視差圖;一多視角影像產生單元,根據該重映射視差圖產生一深度圖,並根據該其中之一影像與該深度圖產生一多視角影像。
  7. 如申請專利範圍第6項所述之多視角影像產生裝置,其中該單一影像擷取裝置包括具有一單一互補式金氧半場效電晶體影像感測器之一單鏡頭相機,或是具有一單一互補式金氧半場效電晶體影像感測器之一雙鏡頭相機。
  8. 如申請專利範圍第6項所述之多視角影像產生裝置,其中該深度產生單元以立體匹配的方式產生該視差圖。
  9. 如申請專利範圍第6項所述之多視角影像產生裝置,其中該多視角影像產生單元以深度影像繪圖法的方式產生該多視角影像。
  10. 如申請專利範圍第6項所述之多視角影像產生裝置,其中該非常數函數係根據一瞳孔間距以及該旋轉角而預先設定。
TW101109340A 2012-02-02 2012-03-19 多視角影像產生方法與裝置 TW201333621A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/365,032 US20130202191A1 (en) 2012-02-02 2012-02-02 Multi-view image generating method and apparatus using the same

Publications (1)

Publication Number Publication Date
TW201333621A true TW201333621A (zh) 2013-08-16

Family

ID=48902933

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101109340A TW201333621A (zh) 2012-02-02 2012-03-19 多視角影像產生方法與裝置

Country Status (2)

Country Link
US (1) US20130202191A1 (zh)
TW (1) TW201333621A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI595444B (zh) * 2015-11-30 2017-08-11 聚晶半導體股份有限公司 影像擷取裝置及其產生深度資訊的方法與自動校正的方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
JP5889719B2 (ja) * 2012-05-31 2016-03-22 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US9578224B2 (en) 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
US9667948B2 (en) 2013-10-28 2017-05-30 Ray Wang Method and system for providing three-dimensional (3D) display of two-dimensional (2D) information
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
CA2848794C (en) * 2014-04-11 2016-05-24 Blackberry Limited Building a depth map using movement of one camera
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
CN106507019B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置
CN106507069B (zh) * 2016-11-29 2018-06-05 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US20220272320A1 (en) * 2021-02-23 2022-08-25 Innolux Corporation Display Device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
TWI314832B (en) * 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
DE102007021518B4 (de) * 2007-05-04 2009-01-29 Technische Universität Berlin Verfahren zum Verarbeiten eines Videodatensatzes
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
US8897482B2 (en) * 2008-02-29 2014-11-25 Trimble Ab Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US8472746B2 (en) * 2010-02-04 2013-06-25 Sony Corporation Fast depth map generation for 2D to 3D conversion
JP5556394B2 (ja) * 2010-06-07 2014-07-23 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US9414048B2 (en) * 2011-12-09 2016-08-09 Microsoft Technology Licensing, Llc Automatic 2D-to-stereoscopic video conversion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI595444B (zh) * 2015-11-30 2017-08-11 聚晶半導體股份有限公司 影像擷取裝置及其產生深度資訊的方法與自動校正的方法

Also Published As

Publication number Publication date
US20130202191A1 (en) 2013-08-08

Similar Documents

Publication Publication Date Title
TW201333621A (zh) 多視角影像產生方法與裝置
TWI567693B (zh) 產生深度資訊的方法及其系統
US9877016B2 (en) Omnistereo capture and render of panoramic virtual reality content
CN104010178B (zh) 双目图像视差调节方法及装置和双目相机
US8897502B2 (en) Calibration for stereoscopic capture system
JP7112128B2 (ja) 2次元画像を3次元画像に変換する方法、装置、画像処理機器、記憶媒体及び3次元イメージングシステム
CN103686107B (zh) 一种基于投影图像的处理方法及装置
KR20170123328A (ko) 파노라마 가상 현실 콘텐츠의 옴니스테레오 캡쳐 및 렌더링
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
CN106228530B (zh) 一种立体摄影方法、装置及立体摄影设备
TWI529661B (zh) 快速建立景深圖的方法及影像處理裝置
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
US20170035268A1 (en) Stereo display system and method for endoscope using shape-from-shading algorithm
TW201919404A (zh) 自我調整三維立體成像系統
CN103269430A (zh) 基于bim的三维场景生成方法
EP2471583A3 (en) Display control program, display control method, and display control system
KR101322187B1 (ko) 입체 동영상 촬영용 장치 및 카메라
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
TWI536832B (zh) 用於嵌入立體影像的系統、方法及其軟體產品
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
WO2011132949A3 (ko) 단안식 3d영상촬영장치 및 3d카메라
WO2020244273A1 (zh) 双摄像机三维立体成像系统和处理方法
TW201327470A (zh) 調整立體影像之景深的方法以及顯示立體影像的方法與相關裝置
US9615074B2 (en) Method for generating translation image and portable electronic apparatus thereof
JP2016099638A5 (zh)