TWI536802B - 電子裝置及其影像處理方法 - Google Patents
電子裝置及其影像處理方法 Download PDFInfo
- Publication number
- TWI536802B TWI536802B TW104107029A TW104107029A TWI536802B TW I536802 B TWI536802 B TW I536802B TW 104107029 A TW104107029 A TW 104107029A TW 104107029 A TW104107029 A TW 104107029A TW I536802 B TWI536802 B TW I536802B
- Authority
- TW
- Taiwan
- Prior art keywords
- camera
- picture
- image
- queue
- pictures
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
- H04N1/2116—Picture signal recording combined with imagewise recording, e.g. photographic recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
- H04N1/2129—Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
- H04N1/2179—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
- H04N1/2191—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries for simultaneous, independent access by a plurality of different users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Studio Devices (AREA)
Description
本揭示內容是有關於一種攝影方法/裝置,且特別是有關於一種將不同相機所擷取的影像同步之方法。
一直以來攝影都是一項專業的技術,因其需要相當多的知識來決定適合的設定(例如控制曝光時間、白平衡及焦距)以拍攝照片。當攝影的手動設定日趨複雜,使用者也需要更多的操作以及背景知識。
立體影像技術是基於人類的兩眼視覺原理。建立立體影像的其中一種方式是設置兩相機間隔一特定間距由些微不同的位置/角度來拍攝場景中的同一物體以取得兩張影像。場景中物體的X維度(X-dimensional)資訊以及Y維度(Y-dimensional)資訊可由一張影像獲得。場景中物體的Z維度(Z-dimensional)資訊(亦即深度資訊)則須將兩張影像交由處理器(processor)計算後獲得。在一些應用中例如:3D視覺、物件辨識、影像處理以及影像移動偵測,深度資訊是相當重要且必要的。
為了進一步處理影像(例如計算深度或其他3D
應用),需要由兩相機擷取成對的影像。除此之外,成對的影像必須由兩相機同時擷取,否則兩張影像中任何的不匹配將會在處理影像時造成錯誤(例如鬼影)。
本揭示內容之一態樣是在提供一種方法,適用於電子裝置包含第一相機以及第二相機。方法包含:儲存第一相機所產生的複數個第一畫面至第一佇列以及儲存第二相機所產生的複數個第二畫面至第二佇列。當第一相機觸發擷取第一影像,從第一畫面之中取出具有第一時間戳記的第一畫面為第一影像。從第二佇列之中搜尋具有對應第一時間戳記之第二時間戳記的第二畫面。從第二畫面之中取出對應的第二畫面為第二影像。
在一實施例中,其中每一個第一畫面以及每一個第二畫面分別具有各自的時間戳記,時間戳記記錄著第一畫面以及第二畫面產生的時間點。
在次一實施例中,其中取出第一影像更包含:從第一佇列之中取出具有最新的時間戳記之第一畫面為第一影像。
在另一實施例中,其中搜尋第二影像更包含:從第二佇列之中搜尋具有與第一時間戳記最靠近的第二時間戳記之第二畫面。
在又一實施例中,其中第二相機所擷取的第二影像與第一相機所擷取的第一影像彼此時間同步。
在再一實施例中,其中第一佇列與第二佇列皆為環形緩衝區(ring buffer),環形緩衝區各自包含複數個儲存槽(slot),且每一個儲存槽用以儲存第一畫面之中一個第一畫面或儲存第二畫面之中一個第二畫面。
在一實施例中,其中在雙重相機架構中,第一相機為主相機及第二相機為從屬相機。
在次一實施例中,其中第一相機與第二相機分別利用非同步的畫面速率來感測第一畫面及第二畫面。
本揭示內容之次一態樣是在提供一種電子裝置,包含處理模組、第一相機、第二相機以及非暫態電腦可讀取儲存媒體。第一相機,用以依序產生複數個第一畫面,第一畫面暫時地儲存至第一佇列。第二相機,用以依序產生複數個第二畫面,第二畫面暫時地儲存至第二佇列。其中非暫態電腦可讀取儲存媒體包含一或複數個指令可供處理模組執行方法。方法包含:當第一相機觸發擷取第一影像,從第一畫面之中取出具有第一時間戳記的第一畫面為第一影像。從第二佇列之中搜尋具有對應第一時間戳記之第二時間戳記的第二畫面。從第二畫面之中取出對應的第二畫面為第二影像。
在一實施例中,其中每一個第一畫面以及每一個第二畫面分別具有各自的時間戳記,時間戳記記錄著第一畫面以及第二畫面產生的時間點。
在次一實施例中,其中當第一相機觸發擷取第一影像,從第一佇列之中取出具有最新的時間戳記之第一畫
面為第一影像。
在另一實施例中,其中對應的該第二畫面具有與該第一時間戳記最靠近的該第二時間戳記。
在又一實施例中,其中第二相機所擷取的第二影像與第一相機所擷取的第一影像彼此時間同步。
在再一實施例中,其中第一佇列與第二佇列皆為環形緩衝區(ring buffer),環形緩衝區各自包含複數個儲存槽(slot),且每一個儲存槽用以儲存第一畫面之中一個第一畫面或儲存第二畫面之中一個第二畫面。
在一實施例中,其中在雙重相機架構中,第一相機為主相機及第二相機為從屬相機。
在次一實施例中,其中第一相機與第二相機分別利用非同步的畫面速率來感測第一畫面及第二畫面。
100‧‧‧電子裝置
110‧‧‧第一相機
120‧‧‧第二相機
130‧‧‧處理器
140‧‧‧儲存單元
150‧‧‧記憶體
160‧‧‧功能鍵
300‧‧‧方法
F1a~F1h‧‧‧第一畫面
F2a~F2h‧‧‧第二畫面
IMG1‧‧‧第一影像
IMG2‧‧‧第二影像
Q1‧‧‧第一佇列
Q2‧‧‧第二佇列
QS10~QS17,QS20~QS27‧‧‧儲存槽
S302~S310‧‧‧步驟
T1004~T1032‧‧‧時間戳記
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下。然而,應瞭解到,為符合在產業中實務利用的情況,許多的特徵並未符合比例繪示。實際上,為了闡述以下的討論,許多特徵的尺寸可能被任意地增加或縮減。
〔第1圖〕繪示根據本揭示之一實施例中一種電子裝置之示意圖;〔第2圖〕繪示關於第1圖中的電子裝置之功能區塊圖;〔第3圖〕繪示一種方法用以確保由兩相機所擷取的影像之
間的時間同步之流程圖;〔第4A圖〕繪示根據本揭示之一實施例中第一佇列及第二佇列之內容之示意圖;〔第4B圖〕繪示根據本揭示之次一實施例中第一佇列及第二佇列之內容之示意圖;〔第5圖〕繪示根據本揭示之另一實施例中第一佇列及第二佇列之內容之示意圖;〔第6圖〕繪示根據本揭示之又一實施例中第一佇列及第二佇列之內容之示意圖;以及〔第7圖〕繪示根據本揭示之再一實施例中第一佇列及第二佇列之內容之示意圖。
以下揭示提供許多不同實施例或例證用以實施本發明的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途,並不會以任何方式限制本發明或其例證之範圍和意義。此外,本揭示在不同例證中可能重複引用數字符號且/或字母,這些重複皆為了簡化及闡述,其本身並未指定以下討論中不同實施例且/或配置之間的關係。
關於本文中所使用之『耦接』或『連接』,均可指二或多個元件相互直接作實體或電性接觸,或是相互間接作實體或電性接觸,而『耦接』或『連接』還可指二或多個元件元件相互操作或動作。在本文中,使用第一、第二與
第三等等之詞彙,是用於描述各種元件、組件、區域、層與/或區塊是可以被理解的。但是這些元件、組件、區域、層與/或區塊不應該被這些術語所限制。這些詞彙只限於用來辨別單一元件、組件、區域、層與/或區塊。因此,在下文中的一第一元件、組件、區域、層與/或區塊也可被稱為第二元件、組件、區域、層與/或區塊,而不脫離本發明的本意。如本文所用,詞彙『與/或』包含了列出的關聯項目中的一個或多個的任何組合。
請參閱第1圖及第2圖,第1圖繪示根據本揭示
之一實施例中一種電子裝置100之示意圖,第2圖繪示關於第1圖中的電子裝置100之功能區塊圖。如圖所示,電子裝置100包含第一相機110、第二相機120、處理器130、儲存單元140以及記憶體150。本揭示提供一種方法用以確保由兩個別的相機(亦即第一相機110及第二相機120)所擷取的成對的影像之間的時間同步(例如在相同或大約相同的時間擷取影像)。
在此實施例中,電子裝置100的外殼上設置有
功能鍵160。使用者可藉由按壓功能鍵160來啟動第一相機110以及第二相機120之影像擷取功能。在其他實施例中,使用者可藉由在觸控面板上的操作、聲音指令、以特定方式移動電子裝置100或任何等效的觸發方式來啟動影像擷取功能。
在第1圖所示的實施例中,在雙相機架構中,第一相機110是主相機以及第二相機120是從屬相機(子相
機)。如第1圖所示,在此實施例的雙相機架構中,第一相機110以及第二相機120皆設置於電子裝置100的同一面(例如背面),且彼此之間間隔一軸間距離。第一相機110用以朝一方向感測場景所對應的第一影像,第二相機120朝同一方向感測與第一相機110大致相同的場景所對應的第二影像。也就是說,第一相機110以及第二相機120得以從些微不同的觀看位置(軸間距離所造成)擷取相同的場景得到成對的影像,藉此成對的影像可供深度資訊的計算、3D視覺的模擬或回復、視差(2.5D)影像處理、物件辨識、動作偵測或任何其他的應用。
在一些實施例中,第一相機110以及第二相機
120採用相同機型的相機。在第1圖所示的實施例中,在雙相機架構中,第一相機110以及第二相機120採用不同機型的相機。一般來說,作為主相機的第一相機110可能具有較佳的光學性能,且由第一相機110所感測的第一影像通常記錄為擷取影像。另一方面,作為從屬相機的第二相機120可能具有相同或相對較差的光學性能,且由第二相機120所感測的第二影像通常用為輔助資料或補充資料。
然而,第一相機110以及第二相機120在本揭示
第一圖所示的雙相機架構中並不限制為主相機以及從屬相機。本揭示適用於任何具有兩相機之電子裝置100用以同時擷取成對的影像。
請參閱第3圖,第3圖繪示一種方法300之流程圖。適用於包含第一相機110以及第二相機120的電子裝置
100,用以確保由兩相機所擷取的影像之間的時間同步。如第3圖所示,方法300執行步驟S302以儲存第一相機110所產生的複數個第一畫面至第一佇列Q1以及儲存第二相機120所產生的複數個第二畫面至第二佇列Q2。
第1圖以及第2圖中的電子裝置100更包含非暫
態電腦可讀取儲存媒體。其中非暫態電腦可讀取儲存媒體包含一或複數個指令可供處理器130執行方法300,如後續說明。
在傳統相機中,在使用者按壓下觸發鍵後(例如
快門鍵或觸控面板上的拍攝功能鍵),傳統相機中的影像感測器啟動並擷取影像。快門反應時間包含設定影像感測器、影像感測器收集資料、取出資料作為新擷取的影像,拍攝一張影像大約占用1~3秒。因此,對於傳統相機而言,在短期間內拍攝複數個影像(例如提升拍攝模式中)是不可能的。
為了提升快門反應速率(亦即減少快門反應時
間),當相片相關的功能開啟,第一相機110連續且週期性地產生複數個第一畫面,以及第二相機120連續且週期性地產生複數個第二畫面。舉例來說,第一相機110每秒產生30個畫面(例如30fps)。第一畫面以及第二畫面分別依序儲存至第一佇列Q1以及第二佇列Q2。
在第2圖所示的實施例中,第一佇列Q1以及第
二佇列Q2位於電子裝置100的記憶體150中。在一些實施例中,第一佇列Q1與第二佇列Q2皆為環形緩衝區(ring buffer)亦稱為圓形緩衝區(circular buffer)。環型緩衝區
為一種利用單一且固定大小的緩衝區之資料結構,且連接的方式猶如頭尾相連。此環型結構適用於緩衝資料流。第一佇列Q1以及第二佇列Q2各自包含複數個儲存槽(slot)。為了便於說明,第2圖所繪示的第一佇列Q1包含8個儲存槽QS10~QS17,以及第二佇列Q2包含8個儲存槽QS20~QS27,但本揭示並不以儲存槽的特定數目為限。
第一佇列Q1中的每一個儲存槽QS10~QS17用
以儲存第一相機110所產生的複數個第一畫面之中一個第一畫面。當相片相關的功能開啟,在步驟S302期間,第一相機110持續在不同的時間點個別產生第一畫面並依序儲存至第一佇列Q1。每一個第一畫面具有各自的時間戳記,時間戳記記錄著第一畫面產生的時間點。
第二佇列Q2中的每一個儲存槽QS20~QS27用
以儲存第二相機120所產生的複數個第二畫面之中一個第二畫面。當相片相關的功能開啟,在步驟S302期間,第二相機120持續在不同的時間點個別產生第二畫面並依序儲存至第二佇列Q2。每一個第二畫面具有各自的時間戳記,時間戳記記錄著第二畫面產生的時間點。
此外,在相片相關的功能開啟期間,第一佇列
Q1以及第二佇列Q2為動態更新/刷新的,當第一佇列Q1已經額滿且即將傳進新的第一畫面,則新進來的第一畫面會複寫第一佇列Q1的儲存槽中最舊的第一畫面。因此,第一佇列Q1以及第二佇列Q2得以動態保持最新的畫面。
請一並參閱第4A圖以及第4B圖,第4A圖以及
第4B圖繪示本揭示之一實施例中第一佇列Q1及第二佇列Q2之內容之示意圖。
如第4A圖所示,第一畫面F1a~F1h依序儲存在
第一佇列Q1中。第一畫面F1a記錄著時間戳記T1004,亦即第一畫面F1a根據系統時脈在第1004微秒時產生。第一畫面F1b記錄著另一時間戳記T1008,亦即第一畫面F1b根據系統時脈在第1008微秒時產生。第一畫面F1c記錄著另一時間戳記T1012,亦即第一畫面F1c根據系統時脈在第1012微秒時產生,依此類推。
在此例中,如第4A圖所示,第一畫面彼此之間
間隔4微秒。也就是說,第一相機110每4微秒產生一個新的畫面(亦即每秒15個畫面,15fps),第二相機120也每秒產生15個畫面。
另一方面,第二畫面F2a~F2h依序儲存在第二
佇列Q2中。第二畫面F2a記錄著時間戳記T1004,亦即第二畫面F2a根據系統時脈在第1004微秒時產生。第二畫面F2b記錄著另一時間戳記T1008,亦即第二畫面F2b根據系統時脈在第1008微秒時產生。第二畫面F2c記錄著另一時間戳記T1012,亦即第二畫面F2c根據系統時脈在第1012微秒時產生,依此類推。
方法300執行步驟S304用以判定影像擷取功能
是否觸發。當影像擷取功能觸發時(例如使用者按壓下功能鍵160或藉由任何等效的觸發方式),觸發第一相機110擷取第一影像IMG1,且觸發第二相機120擷取第二影像
IMG2(如第4B圖所示),其中第二影像IMG2與第一影像IMG1彼此時間同步。
在本揭示中,當影像擷取功能開啟時,第一相
機110以及第二相機120無須設定、拍攝、收集資料、輸出資料作為輸出影像。一併參閱第3圖以及第4A圖,當第一相機110觸發擷取第一影像IMG1(亦即影像擷取功能觸發時),方法300執行步驟S306用以從第一畫面F1a~F1h之中取出具有第一時間戳記的第一畫面為第一影像IMG1。如第4A圖所示,8個第一畫面F1a~F1h分別記錄著時間戳記T1004、T1008、T1012、T1016、T1020、T1024、T1028、T1032。在此實施例的步驟S306期間,取出最新的第一畫面F1h作為第一影像IMG1,其中第一畫面F1h記錄著最新的時間戳記T1032(亦即此例中所述的第一時間戳記為T1032)。因此,儲存在儲存槽QS13的第一畫面F1h被取出作為第一影像IMG1。在一些實施例中,第一影像IMG1藉由處理器130儲存至儲存單元140。
接著,方法300執行步驟S308用以從第二佇列
Q2之第二畫面F2a~F2h中搜尋具有對應第一時間戳記(T1032)之第二時間戳記的第二畫面。在此實施例中,步驟308用以從第二畫面F2a~F2h中搜尋具有與第一時間戳記(T1032)最靠近的第二時間戳記的第二畫面。第二畫面F2h的第二時間戳記(T1032)與第一畫面F1h的第一時間戳記(T1032)最靠近。
因此,方法300執行步驟S310用以取出記錄著
第二時間戳記(T1032)對應的第二畫面F2h為第二影像IMG2。在一些實施例中,第二影像IMG2藉由處理器130儲存於儲存單元140。
當影像擷取功能觸發時,第一影像IMG1以及
第二影像IMG2已經以畫面形式儲存於第一佇列Q1以及第二佇列Q2中,故可以較快產生第一影像IMG1以及第二影像IMG2。因此,使用者可以即時地體驗到對於拍攝照片指令(例如按壓下功能鍵160)快速的反應。
如第4A圖所示,第一畫面F1h以及第二畫面
F2h分別儲存於第一佇列Q1的第4儲存槽QS13中以及第二佇列Q2的第6儲存槽QS25中。僅管當第一佇列Q1以及第二佇列Q2並無將儲存槽中的畫面依相同次序排列以達到時間同步,方法300仍然可依據每個畫面中所記錄的時間戳記來將第一佇列Q1以及第二佇列Q2中的畫面配對。
如第4A圖所示的實施例,在步驟S306~S310
的過程中,第一佇列Q1與第二佇列Q2之內容保持一致為理想的情況。然而,電子裝置100在實際的應用中可能無法在第一佇列Q1以及第二佇列Q2之內容變動之前將步驟S306~S310執行完畢。由於第一佇列Q1以及第二佇列Q2之內容可在短期間內動態更新/刷新(例如在此實施例中每4微秒更新/刷新)。
請參閱第4B圖,第4B圖繪示根據本揭示之次一
實施例中第一佇列Q1及第二佇列Q2之內容之示意圖。如第4A圖以及上述實施例所示,從第一佇列Q1之中取出具有第
一時間戳記(T1032)的第一畫面F1h為第一影像IMG1。當處理器130執行運算時(例如執行步驟S306,儲存第一影像IMG1以及記錄第一時間戳記等),第一相機110以及第二相機120持續產生新的畫面儲存至第一佇列Q1以及第二佇列Q2中,因此使得第一佇列Q1以及第二佇列Q2的內容在8微秒後如第4B圖所繪示。
對應第4A圖的步驟S306,記錄著第一時間戳
記(T1032)的最新的第一畫面F1h被取出作為第一影像IMG1。步驟S308得以利用第一時間戳記(T1032)來搜尋第二佇列Q2。對應第4B圖的步驟S308(例如第4A圖經過8微秒後),記錄著第二時間戳記(T1032)的第二畫面F2h已經不是最新的畫面。已有新進來的畫面F2i以及畫面F2j儲存至第二佇列Q2。根據步驟S308來搜尋對應第一時間戳記(T1032)的時間戳記,第二畫面F2h記錄著與第一時間戳記(T1032)最靠近的第二時間戳記(T1032)。因此,步驟310取出第二畫面F2h作為第二影像IMG2。
也就是說,根據時間戳記的資訊從第二佇列Q2
中挑選出相對於第一影像IMG1最為同步的畫面作為第二影像IMG2,而非挑選第二佇列Q2中最新的畫面。由第二相機120所擷取的第二影像IMG2以及由第一相機110所擷取的第一影像IMG1彼此時間同步。藉由方法300可以減少由於擷取時間間隔造成的影像間的不匹配。
在上述的實施例中,第一佇列Q1以及第二佇列Q2具有相同數量的儲存槽以儲存第一/第二畫面,但本揭示
不以此為限。
請參閱第5圖,第5圖繪示根據本揭示之另一實
施例中第一佇列Q1及第二佇列Q2之內容之示意圖。如第5圖所示,第一佇列Q1具有8個儲存槽及第二佇列Q2具有6個儲存槽,故第一佇列Q1與第二佇列Q2的儲存槽數量彼此不匹配。根據上述的方法300,步驟S306將記錄著第一戳記(T1032)最新的第一畫面F1h取出作為第一影像IMG1。接著,根據對應第一時間戳記(T1032)的搜尋結果,步驟S310將記錄著第二時間戳記(T1032)的第二畫面F2f取出作為第二影像IMG2。因此僅管第一佇列Q1與第二佇列Q2的儲存槽數量彼此不匹配,方法300仍然可將兩相機的影像時間同步。此實施例中的其餘相關細節如同上述實施例,在此不再贅述。
在上述的實施例中,在步驟S302中第一相機110以及第二相機120利用相同的畫面頻率來更新第一佇列Q1以及第二佇列Q2,但本揭示不以此為限。
請參閱第6圖,第6圖繪示根據本揭示之又一實施例中第一佇列Q1及第二佇列Q2之內容之示意圖。如第6圖所示,第一相機110每4微秒更新1次第一佇列Q1(15fps),第二相機120每2微秒更新1次第二佇列Q2(30fps)。在此例中,記錄著第一時間戳記(T1032)的第一畫面F1h被取出作為第一影像IMG1,因此記錄著第二時間戳記(T1032)的第二畫面F2h則被取出作為第二影像IMG2。故僅管第一佇列Q1與第二佇列Q2的畫面更新頻率彼此不匹
配,方法300仍然可將兩相機的影像時間同步。此實施例中的其餘相關細節如同上述實施例,在此不再贅述。
請參閱第7圖,第7圖繪示根據本揭示之再一實
施例中第一佇列Q1及第二佇列Q2之內容之示意圖。如第7圖所示,第一相機110每1微秒更新1次第一佇列Q1(60fps),第二相機120每2微秒更新1次第二佇列Q2(30fps)。
在此例中,因為第一時間戳記(T1031)為最新
的時間戳記,記錄著第一時間戳記(T1031)的第一畫面F1h被取出作為第一影像IMG1。另一方面,由於與第一時間戳記(T1031)最靠近的時間戳記為第二時間戳記(T1030)的,記錄著第二時間戳記(T1030)的第二畫面F2h則被取出作為第二影像IMG2。在此例中,由於第一時間戳記(T1031)與第二時間戳記(T1030)之間的不匹配,第一畫面F1h與第二畫面F2h無法完美地同步。然而方法300可取得記錄著最靠近第一畫面F1h的第二時間戳記(T1030)的第二畫面F2h。因此成對的第一影像IMG1與第二影像IMG2能使第一佇列Q1與第二佇列Q2之間達到最佳的時間同步。此實施例中的其餘相關細節如同上述實施例,在此不再贅述。
雖然本揭示內容已以實施方式揭露如上,然其並非用以限定本揭示內容,任何熟習此技藝者,在不脫離本揭示內容之精神和範圍內,當可作各種之更動與潤飾,因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
110‧‧‧第一相機
120‧‧‧第二相機
F1a~F1h‧‧‧第一畫面
F2a~F2h‧‧‧第二畫面
IMG1‧‧‧第一影像
1MG2‧‧‧第二影像
Q1‧‧‧第一佇列
Q2‧‧‧第二佇列
QS10~QS17,QS20~QS27‧‧‧儲存槽
T1004~T1032‧‧‧時間戳記
Claims (10)
- 一種影像處理方法,適用於一電子裝置包含一第一相機以及一第二相機,該影像處理方法包含:儲存該第一相機所產生的複數個第一畫面至一第一佇列以及儲存該第二相機所產生的複數個第二畫面至一第二佇列;當該第一相機觸發擷取一第一影像,從該些第一畫面之中取出具有一第一時間戳記的一第一畫面為該第一影像;從該第二佇列之中搜尋具有對應該第一時間戳記之一第二時間戳記的一第二畫面;以及從該些第二畫面之中取出對應的該第二畫面為一第二影像。
- 如申請專利範圍第1項所述之影像處理方法,其中每一個第一畫面以及每一個第二畫面分別具有各自的時間戳記,該些時間戳記記錄著該些第一畫面以及該些第二畫面產生的時間點。
- 如申請專利範圍第2項所述之影像處理方法,其中取出該第一影像更包含:從該第一佇列之中取出具有最新的時間戳記之該第一畫面為該第一影像。
- 如申請專利範圍第2項所述之影像處理方法,其中搜尋該第二影像更包含: 從該第二佇列之中搜尋具有與該第一時間戳記最靠近的該第二時間戳記之該第二畫面。
- 如申請專利範圍第1項所述之影像處理方法,其中該第二相機所擷取的該第二影像與該第一相機所擷取的該第一影像彼此時間同步。
- 如申請專利範圍第1項所述之影像處理方法,其中該第一佇列與該第二佇列皆為環形緩衝區(ring buffer),該些環形緩衝區各自包含複數個儲存槽(slot),且每一個儲存槽用以儲存該些第一畫面之中一個第一畫面或儲存該些第二畫面之中一個第二畫面。
- 如申請專利範圍第1項所述之影像處理方法,其中在一雙重相機架構中,該第一相機為一主相機及該第二相機為一從屬相機。
- 如申請專利範圍第7項所述之影像處理方法,其中該第一相機與該第二相機分別利用非同步的畫面速率來感測該些第一畫面及該些第二畫面。
- 一種電子裝置,包含:一處理模組;一第一相機,用以依序產生複數個第一畫面,該些第一 畫面暫時地儲存至一第一佇列;一第二相機,用以依序產生複數個第二畫面,該些第二畫面暫時地儲存至一第二佇列;以及一非暫態電腦可讀取儲存媒體包含一或複數個指令可供該處理模組執行一影像處理方法,其中該影像處理方法包含:當該第一相機觸發擷取一第一影像,從該些第一畫面之中取出具有一第一時間戳記的一第一畫面為該第一影像;從該第二佇列之中搜尋具有對應該第一時間戳記之一第二時間戳記的一第二畫面;以及從該些第二畫面之中取出對應的該第二畫面為一第二影像。
- 如申請專利範圍第9項所述之電子裝置,其中每一個第一畫面以及每一個第二畫面分別具有各自的時間戳記,該些時間戳記記錄著該些第一畫面以及該些第二畫面產生的時間點。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461955219P | 2014-03-19 | 2014-03-19 | |
US14/615,432 US20150271469A1 (en) | 2014-03-19 | 2015-02-06 | Image synchronization method for cameras and electronic apparatus with cameras |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201537951A TW201537951A (zh) | 2015-10-01 |
TWI536802B true TWI536802B (zh) | 2016-06-01 |
Family
ID=54143307
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104105633A TWI543608B (zh) | 2014-03-19 | 2015-02-17 | 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置 |
TW104107029A TWI536802B (zh) | 2014-03-19 | 2015-03-05 | 電子裝置及其影像處理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104105633A TWI543608B (zh) | 2014-03-19 | 2015-02-17 | 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US20150271471A1 (zh) |
CN (1) | CN104980646B (zh) |
TW (2) | TWI543608B (zh) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105556944B (zh) | 2012-11-28 | 2019-03-08 | 核心光电有限公司 | 多孔径成像系统和方法 |
JP6139713B2 (ja) | 2013-06-13 | 2017-05-31 | コアフォトニクス リミテッド | デュアルアパーチャズームデジタルカメラ |
CN108519655A (zh) | 2013-07-04 | 2018-09-11 | 核心光电有限公司 | 小型长焦透镜套件 |
CN108989649B (zh) | 2013-08-01 | 2021-03-19 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
WO2016108093A1 (en) | 2015-01-03 | 2016-07-07 | Corephotonics Ltd. | Miniature telephoto lens module and a camera utilizing such a lens module |
EP3492958B1 (en) | 2015-04-02 | 2022-03-30 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
US9927600B2 (en) | 2015-04-16 | 2018-03-27 | Corephotonics Ltd | Method and system for providing auto focus and optical image stabilization in a compact folded camera |
US10036895B2 (en) | 2015-05-28 | 2018-07-31 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization in a dual-aperture digital camera |
EP3787281B1 (en) | 2015-08-13 | 2024-08-21 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
KR101993077B1 (ko) | 2015-09-06 | 2019-06-25 | 코어포토닉스 리미티드 | 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지 |
US20170104733A1 (en) * | 2015-10-09 | 2017-04-13 | Intel Corporation | Device, system and method for low speed communication of sensor information |
CN109889708B (zh) | 2015-12-29 | 2021-07-06 | 核心光电有限公司 | 具有自动可调节长焦视场的双孔径变焦数字摄影机 |
US10488631B2 (en) | 2016-05-30 | 2019-11-26 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
CN107465912A (zh) * | 2016-06-03 | 2017-12-12 | 中兴通讯股份有限公司 | 一种成像差异检测方法和装置 |
WO2017221106A1 (en) | 2016-06-19 | 2017-12-28 | Corephotonics Ltd. | Frame synchronization in a dual-aperture camera system |
US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
KR102390572B1 (ko) | 2016-07-07 | 2022-04-25 | 코어포토닉스 리미티드 | 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터 |
CN106210701A (zh) * | 2016-07-25 | 2016-12-07 | 深圳市同盛绿色科技有限公司 | 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统 |
CN106101687B (zh) * | 2016-07-25 | 2018-05-15 | 深圳市同盛绿色科技有限公司 | Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统 |
KR102269547B1 (ko) | 2016-12-28 | 2021-06-25 | 코어포토닉스 리미티드 | 확장된 광-폴딩-요소 스캐닝 범위를 갖는 폴디드 카메라 구조 |
CN113791484A (zh) | 2017-01-12 | 2021-12-14 | 核心光电有限公司 | 紧凑型折叠式摄影机及其组装方法 |
IL302577A (en) | 2017-02-23 | 2023-07-01 | Corephotonics Ltd | Lens designs for a folded camera |
CN110582724B (zh) | 2017-03-15 | 2022-01-04 | 核心光电有限公司 | 具有全景扫描范围的照相装置 |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
KR102424791B1 (ko) | 2017-11-23 | 2022-07-22 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
CN114609746A (zh) | 2018-02-05 | 2022-06-10 | 核心光电有限公司 | 折叠摄像装置 |
EP4191315B1 (en) | 2018-02-12 | 2024-09-25 | Corephotonics Ltd. | Folded camera with optical image stabilization |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
CN111936908B (zh) | 2018-04-23 | 2021-12-21 | 核心光电有限公司 | 具有扩展的两个自由度旋转范围的光路折叠元件 |
WO2020031005A1 (en) | 2018-08-04 | 2020-02-13 | Corephotonics Ltd. | Switchable continuous display information system above camera |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
US10891757B2 (en) | 2018-11-16 | 2021-01-12 | Waymo Llc | Low-light camera occlusion detection |
US11287081B2 (en) | 2019-01-07 | 2022-03-29 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
KR102648912B1 (ko) | 2019-01-23 | 2024-03-19 | 삼성전자주식회사 | 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서 |
JP7276677B2 (ja) * | 2019-02-18 | 2023-05-18 | カシオ計算機株式会社 | データ取得装置、その制御方法及び制御プログラム、並びに制御機器、データ取得機器 |
US10750077B1 (en) | 2019-02-20 | 2020-08-18 | Himax Imaging Limited | Camera system with multiple camera |
EP4224841A1 (en) | 2019-03-09 | 2023-08-09 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
TWI702566B (zh) * | 2019-03-20 | 2020-08-21 | 恆景科技股份有限公司 | 相機系統 |
CN111787184B (zh) * | 2019-04-03 | 2023-02-28 | 恒景科技股份有限公司 | 相机系统 |
KR102365748B1 (ko) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
EP3832538B1 (en) | 2019-12-05 | 2022-05-11 | Axis AB | Automatic malfunction detection in a thermal camera |
EP3832537A1 (en) | 2019-12-05 | 2021-06-09 | Axis AB | Thermal camera health monitoring |
CN114641983A (zh) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | 用于获得智能全景图像的系统及方法 |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
CN114641805A (zh) | 2020-02-22 | 2022-06-17 | 核心光电有限公司 | 用于微距摄影的分屏特征 |
WO2021220080A1 (en) | 2020-04-26 | 2021-11-04 | Corephotonics Ltd. | Temperature control for hall bar sensor correction |
KR102495627B1 (ko) | 2020-05-17 | 2023-02-06 | 코어포토닉스 리미티드 | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 |
EP3966631B1 (en) | 2020-05-30 | 2023-01-25 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
KR20230004887A (ko) | 2020-07-15 | 2023-01-06 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라에서의 시점 수차-보정 |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
EP4065934A4 (en) | 2020-07-31 | 2023-07-26 | Corephotonics Ltd. | LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY |
KR102480820B1 (ko) | 2020-08-12 | 2022-12-22 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라의 광학 이미지 안정화 |
US11610457B2 (en) | 2020-11-03 | 2023-03-21 | Bank Of America Corporation | Detecting unauthorized activity related to a computer peripheral device by monitoring voltage of the peripheral device |
KR102629883B1 (ko) | 2020-12-26 | 2024-01-25 | 코어포토닉스 리미티드 | 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원 |
CN115868168A (zh) | 2021-03-11 | 2023-03-28 | 核心光电有限公司 | 用于弹出式相机的系统 |
WO2022259154A2 (en) | 2021-06-08 | 2022-12-15 | Corephotonics Ltd. | Systems and cameras for tilting a focal plane of a super-macro image |
CN116701675B (zh) * | 2022-02-25 | 2024-09-24 | 荣耀终端有限公司 | 图像数据的处理方法和电子设备 |
CN115002295A (zh) * | 2022-04-25 | 2022-09-02 | 北京鉴智科技有限公司 | 图像数据同步方法、装置、终端设备及存储介质 |
CN115484407B (zh) * | 2022-08-25 | 2023-07-04 | 奥比中光科技集团股份有限公司 | 一种多路采集数据的同步输出方法、系统及rgbd相机 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004040712A (ja) * | 2002-07-08 | 2004-02-05 | Minolta Co Ltd | 撮像装置 |
US7983345B2 (en) * | 2003-09-02 | 2011-07-19 | Sony Corporation | Content receiving apparatus, video/audio output timing control method, and content provision system |
CN100505033C (zh) * | 2006-04-03 | 2009-06-24 | 联詠科技股份有限公司 | 处理图像亮度的方法及相关装置 |
US7420477B2 (en) * | 2006-08-02 | 2008-09-02 | John P Taylor | Method for an enhanced absolute position sensor system |
KR100991804B1 (ko) * | 2008-06-10 | 2010-11-04 | 유한회사 마스터이미지쓰리디아시아 | 이동 기기용 입체영상생성칩 및 이를 이용한입체영상표시방법 |
US8711207B2 (en) * | 2009-12-28 | 2014-04-29 | A&B Software Llc | Method and system for presenting live video from video capture devices on a computer monitor |
CN201726494U (zh) * | 2009-12-31 | 2011-01-26 | 新谊整合科技股份有限公司 | 利用图像色彩信息执行图像比对的装置与系统 |
JP2012023546A (ja) * | 2010-07-14 | 2012-02-02 | Jvc Kenwood Corp | 制御装置、立体映像撮像装置、および制御方法 |
JP5433610B2 (ja) * | 2011-03-04 | 2014-03-05 | 日立オートモティブシステムズ株式会社 | 車載カメラ装置 |
EP2549759B1 (en) * | 2011-07-19 | 2016-01-13 | Axis AB | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras |
US10027952B2 (en) * | 2011-08-04 | 2018-07-17 | Trx Systems, Inc. | Mapping and tracking system with features in three-dimensional space |
US9479762B2 (en) * | 2011-12-05 | 2016-10-25 | Tektronix, Inc. | Stereoscopic video temporal frame offset measurement |
WO2013108310A1 (ja) * | 2012-01-18 | 2013-07-25 | パナソニック株式会社 | 立体画像検査装置、立体画像処理装置、および立体画像検査方法 |
KR101893406B1 (ko) * | 2012-03-28 | 2018-08-30 | 삼성전자 주식회사 | 카메라의 이미지처리 장치 및 방법 |
TWI517669B (zh) * | 2012-06-05 | 2016-01-11 | 晨星半導體股份有限公司 | 影像的同步方法及其裝置 |
US9204041B1 (en) * | 2012-07-03 | 2015-12-01 | Gopro, Inc. | Rolling shutter synchronization |
US9565414B2 (en) * | 2013-05-24 | 2017-02-07 | Disney Enterprises, Inc. | Efficient stereo to multiview rendering using interleaved rendering |
US9154697B2 (en) * | 2013-12-06 | 2015-10-06 | Google Inc. | Camera selection based on occlusion of field of view |
-
2014
- 2014-06-03 US US14/294,175 patent/US20150271471A1/en not_active Abandoned
-
2015
- 2015-02-06 US US14/615,432 patent/US20150271469A1/en not_active Abandoned
- 2015-02-17 TW TW104105633A patent/TWI543608B/zh active
- 2015-03-02 CN CN201510092503.0A patent/CN104980646B/zh active Active
- 2015-03-05 TW TW104107029A patent/TWI536802B/zh active
Also Published As
Publication number | Publication date |
---|---|
CN104980646A (zh) | 2015-10-14 |
CN104980646B (zh) | 2018-05-29 |
TWI543608B (zh) | 2016-07-21 |
US20150271471A1 (en) | 2015-09-24 |
US20150271469A1 (en) | 2015-09-24 |
TW201541958A (zh) | 2015-11-01 |
TW201537951A (zh) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI536802B (zh) | 電子裝置及其影像處理方法 | |
JP2021060590A (ja) | 取込まれた像のパススルー表示 | |
CN106576160A (zh) | 用于具有模式切换的深度相机模式的成像架构 | |
US20160301840A1 (en) | Photographing Method for Dual-Lens Device and Dual-Lens Device | |
WO2015081563A1 (zh) | 一种生成图片的方法及一种双镜头设备 | |
JP2012239006A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
TW201044858A (en) | Imaging apparatus, imaging control method, and recording medium | |
WO2018040510A1 (zh) | 一种图像生成方法、装置及终端设备 | |
KR20120119794A (ko) | 특수 효과들을 사용한 촬영 방법 및 장치 | |
CN102810048A (zh) | 显示设备和方法 | |
WO2023169283A1 (zh) | 双目立体全景图像的生成方法、装置、设备、存储介质和产品 | |
CN105791390A (zh) | 数据传输方法、装置及系统 | |
WO2016041188A1 (zh) | 确定拍照延迟时间的方法、装置及拍照设备 | |
TWI554105B (zh) | 電子裝置與影像處理方法 | |
CN104813230A (zh) | 使用单个相机捕捉三维图像的方法和系统 | |
CN103856715A (zh) | 成像装置和方法 | |
JP6616843B2 (ja) | 動画撮影指示端末、動画撮影システム、動画撮影指示方法、およびプログラム | |
US20150022559A1 (en) | Method and apparatus for displaying images in portable terminal | |
CN106713893B (zh) | 手机3d立体拍照方法 | |
CN104935914B (zh) | 电子装置及其摄影方法 | |
JP2016036081A (ja) | 画像処理装置、方法及びプログラム並びに記録媒体 | |
TWI520577B (zh) | 立體影像輸出裝置與相關的立體影像輸出方法 | |
JP2015019215A (ja) | 撮像装置及び撮像方法 | |
US20230049084A1 (en) | System and method for calibrating a time difference between an image processor and an intertial measurement unit based on inter-frame point correspondence | |
US20230046465A1 (en) | Holistic camera calibration system from sparse optical flow |