TWI524735B - 三維影像產生方法及裝置 - Google Patents
三維影像產生方法及裝置 Download PDFInfo
- Publication number
- TWI524735B TWI524735B TW101111399A TW101111399A TWI524735B TW I524735 B TWI524735 B TW I524735B TW 101111399 A TW101111399 A TW 101111399A TW 101111399 A TW101111399 A TW 101111399A TW I524735 B TWI524735 B TW I524735B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- nth
- control unit
- eye image
- dimensional
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
Description
本發明是有關於一種影像處理技術,且特別是有關於一種三維影像產生方法及裝置。
隨著科技以及影像擷取技術的日益發展,諸多廠商積極研發立體影像擷取技術。近來除了以三維(three dimensional,3D)影像接收裝置(例如3D眼鏡)觀看各種三維影像之外,更發展出裸眼式的立體顯示技術,因而適於消費者使用的三維影像擷取裝置及顯示裝置也相繼推出。
當人類雙眼以微小相異之角度,觀看同一個物體時,雙眼會看到微小相異的兩張影像,雙眼所看到的些微差異,稱之為雙眼像差(Binocular disparity)或視網膜像差(Retinal disparity)。大腦會把這兩張些微差異的影像融合成具有層次和景深的單一物像,進而令人類產生三維空間的立體感。
因此,三維影像擷取裝置必須擷取分別提供給人類左眼及右眼觀賞的影像。現有做法大多是利用不同的擷取裝置以不同的角度拍攝多張影像,再進行後製合成。或是在擷取裝置本體上配置兩個獨立的鏡頭,藉此模擬人類的左右眼進行拍攝。習知具有單一處理器的三維影像擷取裝置在同一時序僅能處理左/右眼的二維影像其中之一,再依照三維影像格式來整合左/右眼的二維影像以產生三維影像,耗費過多處理與等待的時間。因此,實有必要提出一種更有效率的流程來產生三維影像,藉以在三維影像擷取裝置上提供即時取景(Live view)之功能。
有鑑於此,本發明提供一種三維影像產生方法及裝置,可確保雙感測器之曝光控制的同步並可產生三維格式的即時取景影像。
本發明提出一種三維影像產生方法,適用於三維影像產生裝置,其包括第一記憶體單元、第一控制單元、第二記憶體單元以及第二控制單元。此三維影像產生方法包括下列步驟。在第N時序時,透過第一控制單元接收第N個左眼影像並儲存於第一記憶體單元的下載緩衝器(Download buffer)中;並且透過第二控制單元接收第N個右眼影像並儲存於第二記憶體單元的下載緩衝器中。其中N為1至M的正整數,M為正整數。接著,在第(N+1)時序時,透過資料傳輸介面自第二控制單元接收第N個右眼影像並儲存於第一記憶體單元的接收緩衝器(Receive buffer)中。然後,在第(N+2)時序時,合併第N個左眼影像與第N個右眼影像以產生第N個三維影像,並儲存於第一記憶體單元的播放緩衝器(Display buffer)中,以供三維顯示裝置進行播放。
在本發明之一實施例中,上述在第N時序時,接收第N個左眼影像與第N個右眼影像的步驟包括藉由第一影像感測器擷取第N個左眼影像並傳送給第一控制單元;藉由第二影像感測器擷取第N個右眼影像並傳送給第二控制單元。
在本發明之一實施例中,上述自第二控制單元接收並儲存第N個右眼影像所需的時間小於自第一影像感測器接收並儲存第N個左眼影像所需的時間。
在本發明之一實施例中,上述藉由第一影像感測器與第二影像感測器擷取影像的步驟包括依據資料傳輸介面的頻寬以及三維顯示裝置的畫面更新率(Frame per second)來決定第一影像感測器與第二影像感測器所擷取影像之尺寸。
在本發明之一實施例中,上述合併第N個左眼影像與第N個右眼影像以產生第N個三維影像包括下列步驟。先依據三維影像格式合併第N個左眼影像與第N個右眼影像並且進行視差調整,藉以產生第N個合併後影像。接著,再將第N個合併後影像放大p倍,以產生適於三維顯示裝置播放的第N個三維影像,其中p為正整數。
在本發明之一實施例中,上述之第N個左眼影像與第N個右眼影像之尺寸為6x*9x;第N個合併後影像之尺寸為16x*9x;第N個三維影像之尺寸為16px*9px,其中x為正整數。
在本發明之一實施例中,上述之三維影像產生方法更包括控制第一影像感測器與第二影像感測器同步擷取第N個左眼影像與第N個右眼影像。
在本發明之一實施例中,上述之三維影像產生方法更包括下列步驟。在第N時序時,偵測並計算一曝光參數。在第(N+1)時序開始且在一延遲時間後設定此曝光參數。在第(N+2)時序時,依據此曝光參數擷取第(N+2)個左眼影像與第(N+2)個右眼影像。
在本發明之一實施例中,上述之三維影像產生方法更包括提供具有三個下載緩衝器、二個接收緩衝器以及二個播放緩衝器的第一記憶體單元。
在本發明之一實施例中,上述之三維影像產生方法更包括提供具有二個下載緩衝器的第二記憶體單元。
本發明另提出一種三維影像產生裝置,其包括第一記憶體單元、第一控制單元、第二記憶體單元以及第二控制單元。其中,第一記憶體單元包括下載緩衝器、接收緩衝器以及播放緩衝器。第一控制單元耦接第一記憶體單元,用以在第N時序時接收第N個左眼影像,並儲存於第一記憶體單元的下載緩衝器中。第二記憶體單元包括下載緩衝器。第二控制單元耦接第二記憶體單元,用以在第N時序時接收第N個右眼影像,並儲存於第二記憶體單元的下載緩衝器中。N為1至M的正整數,M為正整數。其中,第一控制單元於第(N+1)時序時透過資料傳輸介面自第二控制單元接收第N個右眼影像並儲存於第一記憶體單元的接收緩衝器中。第一控制單元於第(N+2)時序時,將第N個左眼影像與第N個右眼影像進行合併以產生第N個三維影像,並儲存於第一記憶體單元的播放緩衝器中,以供三維顯示裝置進行播放。
在本發明之一實施例中,上述之第一控制單元更包括影像處理單元,依據三維影像格式合併第N個左眼影像與第N個右眼影像並且進行視差調整,以產生第N個合併後影像。影像處理單元再將第N個合併後影像放大p倍,以產生適於三維顯示裝置播放的第N個三維影像,其中p為正整數。
在本發明之一實施例中,上述之第一控制單元更包括感測器控制單元,係用以控制第一影像感測器與第二影像感測器同步擷取第N個左眼影像與第N個右眼影像。
基於上述,本發明所提供之三維影像產生方法及裝置,藉由將記憶體單元區分為多種不同功能的緩衝器區塊而可達到平行運作之目的,大幅減少影像處理所需的時間,如此一來,便能提供三維格式的即時取景影像。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明係描述兩組具有不同視角之影像感測器與控制單元,如何同步擷取左/右眼影像,並透過記憶體配置之運用而可同時下載、接收、合併左/右眼影像,並且統一由其中一組控制單元將兩張影像依三維影像格式之規定進行合併,藉以產生三維格式的即時取景影像。為了使本發明之內容更為明瞭,以下列舉實施例作為本發明確實能夠據以實施的範例。
圖1是依照本發明一實施例所繪示之三維影像產生裝置的方塊圖。請參照圖1,本實施例的三維影像產生裝置100例如是數位相機、數位攝影機或是其他具有影像處理功能的智慧型手機、平板電腦等等,不限於上述。三維影像產生裝置100包括第一影像感測器110、第二影像感測器120、第一記憶體單元130、第二記憶體單元140、主控制單元150(即,第一控制單元)以及從控制單元160(即,第二控制單元)。其功能分述如下:
第一影像感測器110與第二影像感測器120包括鏡頭、感光元件等,感光元件例如是電荷耦合元件(Charge Coupled Device,CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)元件。為方便本發明之說明,本實施例之第一影像感測器110係用以接收左眼影像,第二影像感測器120用以接收右眼影像。然而,在另一實施例中,第一影像感測器110可用以接收右眼影像,第二影像感測器120可用以接收左眼影像。
第一記憶體單元130與第二記憶體單元140例如是以動態隨機存取記憶體(Dynamic Random Access Memory,DRAM)來實現。其中,第一記憶體單元130包括下載緩衝器(本實施例包括三個下載緩衝器132a、132b、132c)、接收緩衝器(本實施例包括二個接收緩衝器134a、134b)以及播放緩衝器(本實施例包括二個播放緩衝器136a、136b)。第二記憶體單元140包括下載緩衝器(本實施例包括二個下載緩衝器142a、142b)。
主控制單元(Master control unit)150例如是用於影像處理的特定應用積體電路(Application-specific integrated circuit,ASIC),或是利用場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)加以實現。主控制單元150負責用以接收第一影像感測器110所擷取的左眼影像,並將左眼影像儲存於第一記憶體單元130中的下載緩衝器中。
從控制單元(Slave control unit)160例如是用於影像處理的特定應用積體電路,或是利用場可程式邏輯閘陣列加以實現。從控制單元160負責用以接收第二影像感測器120所擷取的右眼影像,並將右眼影像儲存於第二記憶體單元140中的下載緩衝器中。
需說明的是,主控制單元150可透過資料傳輸介面170自從控制單元160接收右眼影像並且儲存於第一記憶體單元130的接收緩衝器中。主控制單元150再將左眼影像與右眼影像進行合併後儲存於第一記憶體單元130的播放緩衝器中。如此一來,主控制單元150便可即時(real time)提供三維影像至三維顯示裝置20中進行播放。其中,資料傳輸介面170例如是通用序列匯流排(Universal Serial Bus,USB)介面或安全數位輸入輸出(Secure Digital Input/Output,SDIO)介面。另外,主控制單元150亦可透過指令傳輸介面180來傳送控制指令至從控制單元160。指令傳輸介面180例如是安全數位輸入輸出介面或內部整合電路(Inter-Integrated Circuit,I2C)介面,不限於上述。
圖2是依照本發明一實施例所繪示之一種三維影像產生方法的流程圖。本實施例的方法適用於圖1的三維影像產生裝置100,以下即搭配三維影像產生裝置100中的各構件說明本實施例方法的詳細步驟。
首先,於步驟S210中,主控制單元150在第N時序時接收第N個左眼影像,並儲存於第一記憶體單元130的下載緩衝器中。同時,從控制單元160同步於第N時序時接收第N個右眼影像,並儲存於第二記憶體單元140的下載緩衝器中。其中,N為1至M的正整數。M為三維影像產生裝置100開始擷取影像至停止擷取影像所能擷取的影像個數。
以圖3作為輔助說明,圖3是依照本發明一實施例所繪示之一種三維影像產生時序示意圖。如圖3所示,主控制單元150在第1時序T[1]期間接收第一影像感測器110所擷取的左眼影像ImgL[1],並將左眼影像ImgL[1]儲存於下載緩衝器132a中。同時,從控制單元160在第1時序T[1]期間接收第二影像感測器120所擷取的右眼影像ImgR[1],並將右眼影像ImgR[1]儲存於下載緩衝器142a中。
在此須說明的是,假設三維顯示裝置20的畫面更新率(frame per second,fps)為每秒30幀(frame)畫面,代表主控制單元150接收並儲存左眼影像ImgL[1]的時間約33毫秒(ms);同理,從控制單元160接收並儲存右眼影像ImgR[1]的時間約33毫秒(ms)。
值得一提的是,主控制單元150以及從控制單元160會在第1時序T[1]結束前檢查左眼影像ImgL[1]與右眼影像ImgR[1]是否正確接收以及儲存完畢。若是,則在第2時序T[2]開始時,主控制單元150啟動左眼影像ImgL[2]的擷取與下載,並且儲存於另一下載緩衝器132b中。若右眼影像ImgR[1]正確接收並儲存完畢,則從控制單元160於第2時序T[2]開始時啟動右眼影像ImgR[2]的擷取與下載,並且儲存於另一下載緩衝器142b中。依此類推,直至第一影像感測器110、第二影像感測器120停止擷取影像。在本實施例中,影像個數M為7。
接下來於步驟S220中,在第(N+1)時序期間,主控制單元150透過資料傳輸介面170自從控制單元160接收第N個右眼影像並儲存於第一記憶體單元130的接收緩衝器中。請繼續參照圖3,主控制單元150透過資料傳輸介面170接收右眼影像ImgR[1]並儲存於接收緩衝器134a中。需特別注意的是,主控制單元150儲存右眼影像ImgR[1]於接收緩衝器134a的時間必須小於33毫秒,藉此符合三維顯示裝置20的即時播放。同樣地,主控制單元150會在第2時序T[2]結束前檢查右眼影像ImgR[1]是否正確接收以及儲存完畢。若是,則於第3時序T[3]時,主控制單元150繼續自從控制單元160接收右眼影像ImgR[2],並且儲存於另一接收緩衝器134b中。
於步驟S230中,在第(N+2)時序期間,主控制單元150將第N個左眼影像與第N個右眼影像進行合併以產生第N個三維影像,並儲存於第一記憶體單元130的播放緩衝器中,以供三維顯示裝置20進行播放。請繼續參照圖3,主控制單元150在左眼影像ImgL[1]與右眼影像ImgR[1]都接收完畢後,便可在第3時序T[3]期間合併左眼影像ImgL[1]與右眼影像ImgR[1],藉以產生三維影像ImgD[1]。主控制單元150並將三維影像ImgD[1]儲存於播放緩衝器136a之中。需注意的是,時間點t1至時間點t2係為左眼影像ImgL[1]與右眼影像ImgR[1]合併所需的時間。而在三維影像ImgD[1]進行播放的同時,主控制單元仍可對左眼影像ImgL[2]與右眼影像ImgR[2]進行合併,進而於三維影像ImgD[1]播放完畢之前產生三維影像ImgD[2]。
從圖3的第三時序T[3]可知:三維影像產生裝置100可同時執行下列動作:分別擷取左/右眼影像、主控制單元150接收來自從控制單元160的影像、進行左眼影像與右眼影像的合併以及播放三維影像。由於本實施例之三維影像產生裝置100之各構件是由硬體來實現,並且藉由記憶體單元中不同功能的緩衝器之配置與運用,以使本實施例之三維影像產生裝置100可達到平行運作之目的,大為減少三維影像產生的時間,因而可於三維顯示裝置20上提供即時取景之功能。
以下另舉一實施例作為本發明確實能夠據以實施的範例。圖4是依照本發明另一實施例所繪示之三維影像產生裝置的方塊圖。須說明的是,圖4是圖1之三維影像產生裝置100的一種詳細實施方式。故以下僅就圖4與圖1兩者不同之處進行說明。
三維影像產生裝置400的主控制單元150包括影像處理單元152、資料存取單元154、播放控制單元156以及感測器控制單元158。三維影像產生裝置400的從控制單元160包括影像處理單元162以及資料存取單元164。
影像處理單元152、162分別用以接收第一、第二影像感測器110、120所擷取的影像並儲存於第一、第二記憶體單元130、140中。影像處理單元152更包括依據三維影像格式來合併左眼影像與右眼影像,並且進行視差調整(Parallax adjustment),以產生合併後影像。影像處理單元152再將合併後影像放大p倍,以產生適於三維顯示裝置20播放的三維影像,其中p為正整數。
主控制單元150更包括感測器控制單元158,係用以控制影像感測器110、120同步擷取左眼影像與右眼影像。換句話說,三維影像產生裝置400是由主控制單元150來主導控制雙影像感測器的啟動動作,而在啟動之前,主控制單元150與從控制單元160需分別設定完成各種硬體設定參數。除此之外,感測器控制單元158還可控制第一、第二影像感測器110、120之曝光參數設定,以使在同一時序當中,第一、第二影像感測器110、120之曝光時間皆相同。
資料存取單元154係透過資料傳輸介面170從資料存取單元164中接收影像等資料。並且,資料存取單元154可對第一記憶體單元130進行讀取或寫入等資料存取動作;同理,資料存取單元164可對第二記憶體單元140進行讀取或寫入等資料存取動作。
播放控制單元156用以將播放緩衝器136中的三維影像傳送至三維顯示裝置20進行播放。在一實施例中,三維顯示裝置20例如是三維影像產生裝置400上可用以播放三維影像的一顯示螢幕。在另一實施例中,三維顯示裝置20例如是具有高解析度多媒體介面(High Definition Multimedia Interface,HDMI)的三維電視(3D TV),播放控制單元156亦具有高解析度多媒體介面來傳送三維影像至三維電視。
圖4所示之三維影像產生裝置400用以產生三維影像的控制流程係與前述實施例大致相同,故在此不贅述。然而必須說明的是,為了提供三維格式的即時取景影像,必須節省影像擷取與存取的速度。因此以下另舉一應用實施例來說明本發明之三維影像在產生過程中的尺寸變化。
圖5是依照本發明另一實施例所繪示之三維影像尺寸變化的示意圖。請配合參照圖4與圖5,下載緩衝器DB例如是第一記憶體單元130中的下載緩衝器132a、132b、132c的其中之一。接收緩衝器RB例如是第一記憶體單元130中的接收緩衝器134a、134b的其中之一。播放緩衝器PB例如是第一記憶體單元130中的播放緩衝器136a、136b的其中之一。
步驟S1係位於第0時序T[0],第一、第二影像感測器110、120尚未開始擷取影像,故下載緩衝器DB與接收緩衝器RB中尚無任何影像資料。
步驟S2係位於第1時序T[1],此時第一、第二影像感測器110、120皆開始擷取並儲存影像,然而,第二影像感測器120所擷取之影像係存於第二記憶體單元140中。故,第一記憶體單元130的下載緩衝器DB已存有左眼影像L,然而,接收緩衝器RB中尚無任何影像資料。
步驟S3係位於第2時序T[2],此時主控制單元150透過資料存取單元154自從控制單元160中接收並儲存右眼影像R。此時,第一記憶體單元130的下載緩衝器DB與接收緩衝器RB中具有同步擷取的影像資料,準備於下一時序進行合併。須說明的是,左眼影像L與右眼影像R之尺寸例如為6x*9x,其中x為正整數。在本實施例中,左眼影像L與右眼影像R之尺寸例如為360*540(像素),x等於60。
步驟S4係位於第3時序T[3],此時主控制單元150之影像處理單元152依據三維影像格式合併左眼影像L與右眼影像R並且進行視差調整。在此所指的三維影像格式例如是並行排列(side-by-side horizontal)格式。詳細地說,具有HDMI的三維電視其顯示規格通常為16:9。然而,影像感測器的感光元件多設定為擷取4:3比例之影像,其僅能放大至12:9之比例。為了使合併後影像不會產生失真的問題,影像處理單元152用以在左眼影像L與右眼影像R的兩側分別補上黑邊,使合併後影像之尺寸仍符合三維電視顯示規格之比例。在本實施例中,合併後影像之尺寸例如為960*540(像素)。
需注意的是,由於左眼影像L與右眼影像R係由不同影像感測器所擷取的影像,其拍攝角度並不相同。因此在步驟S4中,影像處理單元152更包括進行視差調整,藉由判斷左眼影像L與右眼影像R之場景重疊區域,來調整左眼影像L與右眼影像R的合併方式與擺放位置。
接著,在步驟S5中,影像處理單元152再將合併後影像放大p倍,以產生適於三維顯示裝置20播放的三維影像,其中p為正整數。假設三維顯示裝置20播放的三維影像尺寸為1920*1080(像素),則本實施例之合併後影像必須放大2倍(即,p=2)。最後,在步驟S6中,播放控制單元156便將三維影像傳送至三維顯示裝置20進行播放。
基於上述,為了讓三維顯示裝置20能即時播放三維影像,必須確保主控制單元150透過資料傳輸介面170自從控制單元160接收右眼影像R的時間小於三維顯示裝置20的畫面更新率。由於擷取影像尺寸愈小,接收處理的時間愈快。故,影像尺寸之設定係由資料傳輸介面170所能提供的頻寬以及三維顯示裝置20的畫面更新率來決定。在擷取影像尺寸確定之後,即可定義出影像放大比率p。
本發明除了可即時提供三維影像之外,三維影像產生裝置400還可控制第一、第二影像感測器110、120的曝光時間保持同步狀態。圖6是依照本發明另一實施例所繪示之曝光參數設定的示意圖。
請參照圖4與圖6,感測器控制單元158例如可透過I2C介面490來控制第一、第二影像感測器110、120同步擷取影像。主控制單元150之影像處理單元152更包括在第N時序時,偵測並計算一曝光參數。
在第(N+1)時序開始後,主控制單元150與從控制單元160分別設定此曝光參數。詳細地說,主控制單元150與從控制單元160會在一延遲時間d之後才開始設定曝光參數,以避免產生主控制單元150或從控制單元160只有其中之一設定完成並直接執行曝光參數的情況。換句話說,藉由延遲時間d的延遲,使得主控制單元150與從控制單元160具有完整的一個時序的時間來傳送控制指令並設定曝光參數。
在第(N+2)時序時,感測器控制單元158控制第一、第二影像感測器110、120依據已設定的曝光參數擷取第(N+2)個左眼影像與第(N+2)個右眼影像。如此一來,在同一時序中所擷取的左眼影像與右眼影像便會具有相同的曝光時間設定。
綜上所述,本發明之三維影像產生方法及裝置,藉由將記憶體單元區分為多種不同功能的緩衝器區塊而可達到平行運作的目的,大幅減少影像處理所需的時間,據此,便能提供三維格式的即時取景影像。除此之外,本發明還可控制雙影像感測器的曝光參數保持在同步狀態,使得在播放三維影像的同時,仍可依據環境亮度變化適當並同步調整雙影像感測器的曝光時間,提升三維影像的品質。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100、400...三維影像產生裝置
110、120...影像感測器
130、140...記憶體單元
132a、132b、132c、142a、142b...下載緩衝器
134a、134b...接收緩衝器
136a、136b...播放緩衝器
150、160...控制單元
152、162...影像處理單元
154、164...資料存取單元
156...播放控制單元
158...感測器控制單元
170...資料傳輸介面
180...指令傳輸介面
20...三維顯示裝置
490...I2C介面
DB...下載緩衝器
RB...接收緩衝器
PB...播放緩衝器
ImgL、ImgR、ImgD...影像
T[1]~T[7]...時序
d...延遲時間
t1、t2...時間點
S1~S6...步驟
S210~S230...三維影像產生方法之各步驟
圖1是依照本發明一實施例所繪示之三維影像產生裝置的方塊圖。
圖2是依照本發明一實施例所繪示之一種三維影像產生方法的流程圖。
圖3是依照本發明一實施例所繪示之一種三維影像產生時序示意圖。
圖4是依照本發明另一實施例所繪示之三維影像產生裝置的方塊圖。
圖5是依照本發明另一實施例所繪示之三維影像尺寸變化的示意圖。
圖6是依照本發明另一實施例所繪示之曝光參數設定的示意圖。
S210~S230...三維影像產生方法之各步驟
Claims (20)
- 一種三維影像產生方法,適用於一三維影像產生裝置,其包括一第一記憶體單元、一第一控制單元、一第二記憶體單元以及一第二控制單元,該三維影像產生方法包括:在第N時序時,透過該第一控制單元接收第N個左眼影像並儲存於該第一記憶體單元的一下載緩衝器中,並且透過該第二控制單元接收第N個右眼影像並儲存於該第二記憶體單元的一下載緩衝器中,N為1至M的正整數;在第(N+1)時序時,透過一資料傳輸介面自該第二控制單元接收第N個右眼影像並儲存於該第一記憶體單元的一接收緩衝器中;以及在第(N+2)時序時,合併第N個左眼影像與第N個右眼影像以產生第N個三維影像,並儲存於該第一記憶體單元的一播放緩衝器中,以供一三維顯示裝置進行播放。
- 如申請專利範圍第1項所述之三維影像產生方法,其中在第N時序時,接收第N個左眼影像與第N個右眼影像的步驟包括:藉由一第一影像感測器擷取第N個左眼影像並傳送給該第一控制單元,並藉由一第二影像感測器擷取第N個右眼影像並傳送給該第二控制單元。
- 如申請專利範圍第2項所述之三維影像產生方法,其中自該第二控制單元接收並儲存第N個右眼影像所需的時間小於自該第一影像感測器接收並儲存第N個左眼影像所需的時間。
- 如申請專利範圍第2項所述之三維影像產生方法,其中藉由該第一影像感測器與該第二影像感測器擷取影像的步驟包括:依據該資料傳輸介面的頻寬以及該三維顯示裝置的一畫面更新率來決定該第一影像感測器與該第二影像感測器所擷取影像之尺寸。
- 如申請專利範圍第1項所述之三維影像產生方法,其中合併第N個左眼影像與第N個右眼影像以產生第N個三維影像的步驟包括:依據一三維影像格式合併第N個左眼影像與第N個右眼影像並且進行視差調整,以產生第N個合併後影像;以及將第N個合併後影像放大p倍,以產生適於該三維顯示裝置播放的第N個三維影像,其中p為正整數。
- 如申請專利範圍第5項所述之三維影像產生方法,其中第N個左眼影像與第N個右眼影像之尺寸為6x*9x,第N個合併後影像之尺寸為16x*9x,第N個三維影像之尺寸為16px*9px,其中x為正整數。
- 如申請專利範圍第2項所述之三維影像產生方法,更包括:控制該第一影像感測器與該第二影像感測器同步擷取第N個左眼影像與第N個右眼影像。
- 如申請專利範圍第1項所述之三維影像產生方法,更包括:在第N時序時,偵測並計算一曝光參數;在第(N+1)時序開始且在一延遲時間後,設定該曝光參數;以及在第(N+2)時序時,依據該曝光參數擷取第(N+2)個左眼影像與第(N+2)個右眼影像。
- 如申請專利範圍第1項所述之三維影像產生方法,更包括:提供具有三個下載緩衝器、二個接收緩衝器以及二個播放緩衝器的該第一記憶體單元。
- 如申請專利範圍第1項所述之三維影像產生方法,更包括:提供具有二個下載緩衝器的該第二記憶體單元。
- 一種三維影像產生裝置,包括:一第一記憶體單元,具有下載緩衝器、接收緩衝器以及播放緩衝器;一第一控制單元,耦接該第一記憶體單元,用以在第N時序時接收第N個左眼影像,並儲存於該第一記憶體單元的下載緩衝器中;一第二記憶體單元,具有下載緩衝器;以及一第二控制單元,耦接該第二記憶體單元,用以在第N時序時接收第N個右眼影像,並儲存於該第二記憶體單元的下載緩衝器中,N為1至M的正整數,其中,該第一控制單元於第(N+1)時序時透過一資料傳輸介面自該第二控制單元接收第N個右眼影像並儲存於該第一記憶體單元的接收緩衝器中,其中,該第一控制單元於第(N+2)時序時,將第N個左眼影像與第N個右眼影像進行合併以產生第N個三維影像,並儲存於該第一記憶體單元的播放緩衝器中,以供一三維顯示裝置進行播放。
- 如申請專利範圍第11項所述之三維影像產生裝置,更包括:一第一影像感測器,耦接該第一控制單元,用以在第N時序時擷取第N個左眼影像並傳送給該第一控制單元;以及一第二影像感測器,耦接該第二控制單元,用以在第N時序時擷取第N個右眼影像並傳送給該第二控制單元。
- 如申請專利範圍第12項所述之三維影像產生裝置,其中:該第一控制單元透過該資料傳輸介面自該第二控制單元接收並儲存第N個右眼影像所需的時間小於該第一控制單元自該第一影像感測器接收並儲存第N個左眼影像所需的時間。
- 如申請專利範圍第12項所述之三維影像產生裝置,其中:第一控制單元依據該資料傳輸介面的頻寬以及該三維顯示裝置的一畫面更新率來決定該第一影像感測器與該第二影像感測器所擷取影像之尺寸。
- 如申請專利範圍第11項所述之三維影像產生裝置,其中該第一控制單元更包括:一影像處理單元,依據一三維影像格式合併第N個左眼影像與第N個右眼影像並且進行視差調整,以產生第N個合併後影像,再將第N個合併後影像放大p倍,以產生適於該三維顯示裝置播放的第N個三維影像,其中p為正整數。
- 如申請專利範圍第15項所述之三維影像產生裝置,其中:第N個左眼影像與第N個右眼影像之尺寸為6x*9x,第N個合併後影像之尺寸為16x*9x,第N個三維影像之尺寸為16px*9px,其中x為正整數。
- 如申請專利範圍第12項所述之三維影像產生裝置,其中該第一控制單元更包括:一感測器控制單元,用以控制該第一影像感測器與該第二影像感測器同步擷取第N個左眼影像與第N個右眼影像。
- 如申請專利範圍第17項所述之三維影像產生裝置,其中:該第一控制單元更包括於第N時序時偵測並計算一曝光參數,並且於第(N+1)時序開始且在一延遲時間後設定該曝光參數,該感測器控制單元於第(N+2)時序時控制該第一影像感測器與該第二影像感測器依據該曝光參數擷取影像。
- 如申請專利範圍第11項所述之三維影像產生裝置,其中該第一記憶體單元包括三個下載緩衝器、二個接收緩衝器以及二個播放緩衝器。
- 如申請專利範圍第11項所述之三維影像產生裝置,其中該第二記憶體單元包括二個播放緩衝器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101111399A TWI524735B (zh) | 2012-03-30 | 2012-03-30 | 三維影像產生方法及裝置 |
US13/489,464 US9258543B2 (en) | 2012-03-30 | 2012-06-06 | Method and device for generating three-dimensional image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101111399A TWI524735B (zh) | 2012-03-30 | 2012-03-30 | 三維影像產生方法及裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201340686A TW201340686A (zh) | 2013-10-01 |
TWI524735B true TWI524735B (zh) | 2016-03-01 |
Family
ID=49234440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101111399A TWI524735B (zh) | 2012-03-30 | 2012-03-30 | 三維影像產生方法及裝置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9258543B2 (zh) |
TW (1) | TWI524735B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015008587A1 (ja) * | 2013-07-16 | 2015-01-22 | 富士フイルム株式会社 | 撮影装置及び3次元計測装置 |
US10157588B2 (en) * | 2014-09-19 | 2018-12-18 | Excalibur Ip, Llc | Systems and methods for image optimization |
US10032299B2 (en) * | 2016-04-04 | 2018-07-24 | Samsung Electronics Co., Ltd. | Portable image device for generating application images |
CN110166704B (zh) * | 2019-05-30 | 2021-07-13 | 深圳市道创智能创新科技有限公司 | 多光谱相机的校准方法及装置 |
CN114268779B (zh) * | 2021-12-08 | 2023-09-08 | 北京字跳网络技术有限公司 | 图像数据处理方法、装置、设备及计算机可读存储介质 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5510832A (en) * | 1993-12-01 | 1996-04-23 | Medi-Vision Technologies, Inc. | Synthesized stereoscopic imaging system and method |
JPH0847000A (ja) * | 1994-08-02 | 1996-02-16 | Canon Inc | 複眼撮像装置、画像信号変換装置、表示装置及び複眼撮像画像記録再生装置 |
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
WO2002065761A2 (en) * | 2001-02-12 | 2002-08-22 | Carnegie Mellon University | System and method for stabilizing rotational images |
CN101025475A (zh) * | 2005-10-17 | 2007-08-29 | 威盛电子股份有限公司 | 立体三维影像显示系统与方法 |
US7525548B2 (en) * | 2005-11-04 | 2009-04-28 | Nvidia Corporation | Video processing with multiple graphical processing units |
TW200802124A (en) * | 2006-06-02 | 2008-01-01 | Stone Technology Internat Co Ltd | Memory card integrated with communication serial interface |
JP4689639B2 (ja) * | 2007-04-25 | 2011-05-25 | キヤノン株式会社 | 画像処理システム |
JP4897593B2 (ja) * | 2007-07-09 | 2012-03-14 | 富士フイルム株式会社 | 複眼撮影装置及びその調節方法 |
JP5230376B2 (ja) * | 2008-11-28 | 2013-07-10 | 三星電子株式会社 | 撮像装置及び撮像方法 |
US8754940B2 (en) * | 2009-01-30 | 2014-06-17 | Robert Bosch Gmbh | Method and apparatus for monitoring using a movable video device |
JP2013080987A (ja) * | 2010-02-15 | 2013-05-02 | Panasonic Corp | 立体映像表示装置 |
KR101329057B1 (ko) * | 2010-03-29 | 2013-11-14 | 한국전자통신연구원 | 다시점 입체 동영상 송신 장치 및 방법 |
US9256116B2 (en) * | 2010-03-29 | 2016-02-09 | Fujifilm Corporation | Stereoscopic imaging device, image reproducing device, and editing software |
WO2011155212A1 (ja) * | 2010-06-11 | 2011-12-15 | 富士フイルム株式会社 | 立体画像表示装置、立体撮像装置、及び方法 |
JP4806090B1 (ja) * | 2010-06-30 | 2011-11-02 | 株式会社東芝 | 映像信号処理装置及び方法 |
JP5739624B2 (ja) * | 2010-07-01 | 2015-06-24 | キヤノン株式会社 | 光学機器、撮像装置、及び制御方法 |
TW201216204A (en) * | 2010-10-13 | 2012-04-16 | Altek Corp | Method for combining dual-lens images into mono-lens image |
JP5614268B2 (ja) * | 2010-12-09 | 2014-10-29 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
TWI435593B (zh) * | 2010-12-30 | 2014-04-21 | Altek Corp | 立體影像拍攝方法 |
TW201233156A (en) * | 2011-01-26 | 2012-08-01 | Altek Corp | Method and system for controlling external lens |
JP5927795B2 (ja) * | 2011-07-22 | 2016-06-01 | ソニー株式会社 | 立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法 |
TWI475875B (zh) * | 2011-12-28 | 2015-03-01 | Altek Corp | 三維影像產生裝置 |
-
2012
- 2012-03-30 TW TW101111399A patent/TWI524735B/zh not_active IP Right Cessation
- 2012-06-06 US US13/489,464 patent/US9258543B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
TW201340686A (zh) | 2013-10-01 |
US9258543B2 (en) | 2016-02-09 |
US20130258055A1 (en) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20110096155A1 (en) | Display apparatus and image display method therein | |
CN102135722B (zh) | 摄像机结构、摄像机系统和方法 | |
TWI524735B (zh) | 三維影像產生方法及裝置 | |
JP6667981B2 (ja) | 不均衡設定方法及び対応する装置 | |
JP2011525075A (ja) | 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法 | |
WO2012171440A1 (zh) | 一种数码体视显微镜的成像系统 | |
TW201351959A (zh) | 立體全景影像合成方法及其相關之立體攝影機 | |
JP2014501086A (ja) | 立体画像取得システム及び方法 | |
JP2010268037A (ja) | 映像変換方法および映像変換装置 | |
CN113219668B (zh) | 用于刷新头戴式显示设备的屏幕的方法、装置及电子设备 | |
JP2005020606A (ja) | デジタルカメラ | |
TW201328323A (zh) | 快門眼鏡、立體影像系統及快門眼鏡控制方法 | |
US20120163700A1 (en) | Image processing device and image processing method | |
WO2013069296A1 (ja) | 撮像装置、撮像システムおよびプログラム | |
JP5863356B2 (ja) | ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム | |
JPH11187425A (ja) | 立体映像装置及び方法 | |
US20130076867A1 (en) | Imaging apparatus | |
CN103369343B (zh) | 三维图像产生方法及装置 | |
CN102655597A (zh) | 可实时动态调节立体视频视差曲线的播放系统 | |
KR101222101B1 (ko) | 스테레오스코픽 영상의 생성 장치 | |
CN106681674A (zh) | 一种虚拟现实显示器的显示控制方法及系统 | |
JP2014057219A (ja) | 表示制御装置、撮像装置、制御方法、プログラム、及び記録媒体 | |
KR100868244B1 (ko) | 이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩 | |
US20110199456A1 (en) | Apparatus for image reproduction and method therefor | |
KR101830768B1 (ko) | 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |