TWI536802B - 電子裝置及其影像處理方法 - Google Patents

電子裝置及其影像處理方法 Download PDF

Info

Publication number
TWI536802B
TWI536802B TW104107029A TW104107029A TWI536802B TW I536802 B TWI536802 B TW I536802B TW 104107029 A TW104107029 A TW 104107029A TW 104107029 A TW104107029 A TW 104107029A TW I536802 B TWI536802 B TW I536802B
Authority
TW
Taiwan
Prior art keywords
camera
picture
image
queue
pictures
Prior art date
Application number
TW104107029A
Other languages
English (en)
Other versions
TW201537951A (zh
Inventor
謝宗賢
康明哲
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201537951A publication Critical patent/TW201537951A/zh
Application granted granted Critical
Publication of TWI536802B publication Critical patent/TWI536802B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2116Picture signal recording combined with imagewise recording, e.g. photographic recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/2179Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
    • H04N1/2191Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries for simultaneous, independent access by a plurality of different users
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)

Description

電子裝置及其影像處理方法
本揭示內容是有關於一種攝影方法/裝置,且特別是有關於一種將不同相機所擷取的影像同步之方法。
一直以來攝影都是一項專業的技術,因其需要相當多的知識來決定適合的設定(例如控制曝光時間、白平衡及焦距)以拍攝照片。當攝影的手動設定日趨複雜,使用者也需要更多的操作以及背景知識。
立體影像技術是基於人類的兩眼視覺原理。建立立體影像的其中一種方式是設置兩相機間隔一特定間距由些微不同的位置/角度來拍攝場景中的同一物體以取得兩張影像。場景中物體的X維度(X-dimensional)資訊以及Y維度(Y-dimensional)資訊可由一張影像獲得。場景中物體的Z維度(Z-dimensional)資訊(亦即深度資訊)則須將兩張影像交由處理器(processor)計算後獲得。在一些應用中例如:3D視覺、物件辨識、影像處理以及影像移動偵測,深度資訊是相當重要且必要的。
為了進一步處理影像(例如計算深度或其他3D 應用),需要由兩相機擷取成對的影像。除此之外,成對的影像必須由兩相機同時擷取,否則兩張影像中任何的不匹配將會在處理影像時造成錯誤(例如鬼影)。
本揭示內容之一態樣是在提供一種方法,適用於電子裝置包含第一相機以及第二相機。方法包含:儲存第一相機所產生的複數個第一畫面至第一佇列以及儲存第二相機所產生的複數個第二畫面至第二佇列。當第一相機觸發擷取第一影像,從第一畫面之中取出具有第一時間戳記的第一畫面為第一影像。從第二佇列之中搜尋具有對應第一時間戳記之第二時間戳記的第二畫面。從第二畫面之中取出對應的第二畫面為第二影像。
在一實施例中,其中每一個第一畫面以及每一個第二畫面分別具有各自的時間戳記,時間戳記記錄著第一畫面以及第二畫面產生的時間點。
在次一實施例中,其中取出第一影像更包含:從第一佇列之中取出具有最新的時間戳記之第一畫面為第一影像。
在另一實施例中,其中搜尋第二影像更包含:從第二佇列之中搜尋具有與第一時間戳記最靠近的第二時間戳記之第二畫面。
在又一實施例中,其中第二相機所擷取的第二影像與第一相機所擷取的第一影像彼此時間同步。
在再一實施例中,其中第一佇列與第二佇列皆為環形緩衝區(ring buffer),環形緩衝區各自包含複數個儲存槽(slot),且每一個儲存槽用以儲存第一畫面之中一個第一畫面或儲存第二畫面之中一個第二畫面。
在一實施例中,其中在雙重相機架構中,第一相機為主相機及第二相機為從屬相機。
在次一實施例中,其中第一相機與第二相機分別利用非同步的畫面速率來感測第一畫面及第二畫面。
本揭示內容之次一態樣是在提供一種電子裝置,包含處理模組、第一相機、第二相機以及非暫態電腦可讀取儲存媒體。第一相機,用以依序產生複數個第一畫面,第一畫面暫時地儲存至第一佇列。第二相機,用以依序產生複數個第二畫面,第二畫面暫時地儲存至第二佇列。其中非暫態電腦可讀取儲存媒體包含一或複數個指令可供處理模組執行方法。方法包含:當第一相機觸發擷取第一影像,從第一畫面之中取出具有第一時間戳記的第一畫面為第一影像。從第二佇列之中搜尋具有對應第一時間戳記之第二時間戳記的第二畫面。從第二畫面之中取出對應的第二畫面為第二影像。
在一實施例中,其中每一個第一畫面以及每一個第二畫面分別具有各自的時間戳記,時間戳記記錄著第一畫面以及第二畫面產生的時間點。
在次一實施例中,其中當第一相機觸發擷取第一影像,從第一佇列之中取出具有最新的時間戳記之第一畫 面為第一影像。
在另一實施例中,其中對應的該第二畫面具有與該第一時間戳記最靠近的該第二時間戳記。
在又一實施例中,其中第二相機所擷取的第二影像與第一相機所擷取的第一影像彼此時間同步。
在再一實施例中,其中第一佇列與第二佇列皆為環形緩衝區(ring buffer),環形緩衝區各自包含複數個儲存槽(slot),且每一個儲存槽用以儲存第一畫面之中一個第一畫面或儲存第二畫面之中一個第二畫面。
在一實施例中,其中在雙重相機架構中,第一相機為主相機及第二相機為從屬相機。
在次一實施例中,其中第一相機與第二相機分別利用非同步的畫面速率來感測第一畫面及第二畫面。
100‧‧‧電子裝置
110‧‧‧第一相機
120‧‧‧第二相機
130‧‧‧處理器
140‧‧‧儲存單元
150‧‧‧記憶體
160‧‧‧功能鍵
300‧‧‧方法
F1a~F1h‧‧‧第一畫面
F2a~F2h‧‧‧第二畫面
IMG1‧‧‧第一影像
IMG2‧‧‧第二影像
Q1‧‧‧第一佇列
Q2‧‧‧第二佇列
QS10~QS17,QS20~QS27‧‧‧儲存槽
S302~S310‧‧‧步驟
T1004~T1032‧‧‧時間戳記
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下。然而,應瞭解到,為符合在產業中實務利用的情況,許多的特徵並未符合比例繪示。實際上,為了闡述以下的討論,許多特徵的尺寸可能被任意地增加或縮減。
〔第1圖〕繪示根據本揭示之一實施例中一種電子裝置之示意圖;〔第2圖〕繪示關於第1圖中的電子裝置之功能區塊圖;〔第3圖〕繪示一種方法用以確保由兩相機所擷取的影像之 間的時間同步之流程圖;〔第4A圖〕繪示根據本揭示之一實施例中第一佇列及第二佇列之內容之示意圖;〔第4B圖〕繪示根據本揭示之次一實施例中第一佇列及第二佇列之內容之示意圖;〔第5圖〕繪示根據本揭示之另一實施例中第一佇列及第二佇列之內容之示意圖;〔第6圖〕繪示根據本揭示之又一實施例中第一佇列及第二佇列之內容之示意圖;以及〔第7圖〕繪示根據本揭示之再一實施例中第一佇列及第二佇列之內容之示意圖。
以下揭示提供許多不同實施例或例證用以實施本發明的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途,並不會以任何方式限制本發明或其例證之範圍和意義。此外,本揭示在不同例證中可能重複引用數字符號且/或字母,這些重複皆為了簡化及闡述,其本身並未指定以下討論中不同實施例且/或配置之間的關係。
關於本文中所使用之『耦接』或『連接』,均可指二或多個元件相互直接作實體或電性接觸,或是相互間接作實體或電性接觸,而『耦接』或『連接』還可指二或多個元件元件相互操作或動作。在本文中,使用第一、第二與 第三等等之詞彙,是用於描述各種元件、組件、區域、層與/或區塊是可以被理解的。但是這些元件、組件、區域、層與/或區塊不應該被這些術語所限制。這些詞彙只限於用來辨別單一元件、組件、區域、層與/或區塊。因此,在下文中的一第一元件、組件、區域、層與/或區塊也可被稱為第二元件、組件、區域、層與/或區塊,而不脫離本發明的本意。如本文所用,詞彙『與/或』包含了列出的關聯項目中的一個或多個的任何組合。
請參閱第1圖及第2圖,第1圖繪示根據本揭示 之一實施例中一種電子裝置100之示意圖,第2圖繪示關於第1圖中的電子裝置100之功能區塊圖。如圖所示,電子裝置100包含第一相機110、第二相機120、處理器130、儲存單元140以及記憶體150。本揭示提供一種方法用以確保由兩個別的相機(亦即第一相機110及第二相機120)所擷取的成對的影像之間的時間同步(例如在相同或大約相同的時間擷取影像)。
在此實施例中,電子裝置100的外殼上設置有 功能鍵160。使用者可藉由按壓功能鍵160來啟動第一相機110以及第二相機120之影像擷取功能。在其他實施例中,使用者可藉由在觸控面板上的操作、聲音指令、以特定方式移動電子裝置100或任何等效的觸發方式來啟動影像擷取功能。
在第1圖所示的實施例中,在雙相機架構中,第一相機110是主相機以及第二相機120是從屬相機(子相 機)。如第1圖所示,在此實施例的雙相機架構中,第一相機110以及第二相機120皆設置於電子裝置100的同一面(例如背面),且彼此之間間隔一軸間距離。第一相機110用以朝一方向感測場景所對應的第一影像,第二相機120朝同一方向感測與第一相機110大致相同的場景所對應的第二影像。也就是說,第一相機110以及第二相機120得以從些微不同的觀看位置(軸間距離所造成)擷取相同的場景得到成對的影像,藉此成對的影像可供深度資訊的計算、3D視覺的模擬或回復、視差(2.5D)影像處理、物件辨識、動作偵測或任何其他的應用。
在一些實施例中,第一相機110以及第二相機 120採用相同機型的相機。在第1圖所示的實施例中,在雙相機架構中,第一相機110以及第二相機120採用不同機型的相機。一般來說,作為主相機的第一相機110可能具有較佳的光學性能,且由第一相機110所感測的第一影像通常記錄為擷取影像。另一方面,作為從屬相機的第二相機120可能具有相同或相對較差的光學性能,且由第二相機120所感測的第二影像通常用為輔助資料或補充資料。
然而,第一相機110以及第二相機120在本揭示 第一圖所示的雙相機架構中並不限制為主相機以及從屬相機。本揭示適用於任何具有兩相機之電子裝置100用以同時擷取成對的影像。
請參閱第3圖,第3圖繪示一種方法300之流程圖。適用於包含第一相機110以及第二相機120的電子裝置 100,用以確保由兩相機所擷取的影像之間的時間同步。如第3圖所示,方法300執行步驟S302以儲存第一相機110所產生的複數個第一畫面至第一佇列Q1以及儲存第二相機120所產生的複數個第二畫面至第二佇列Q2。
第1圖以及第2圖中的電子裝置100更包含非暫 態電腦可讀取儲存媒體。其中非暫態電腦可讀取儲存媒體包含一或複數個指令可供處理器130執行方法300,如後續說明。
在傳統相機中,在使用者按壓下觸發鍵後(例如 快門鍵或觸控面板上的拍攝功能鍵),傳統相機中的影像感測器啟動並擷取影像。快門反應時間包含設定影像感測器、影像感測器收集資料、取出資料作為新擷取的影像,拍攝一張影像大約占用1~3秒。因此,對於傳統相機而言,在短期間內拍攝複數個影像(例如提升拍攝模式中)是不可能的。
為了提升快門反應速率(亦即減少快門反應時 間),當相片相關的功能開啟,第一相機110連續且週期性地產生複數個第一畫面,以及第二相機120連續且週期性地產生複數個第二畫面。舉例來說,第一相機110每秒產生30個畫面(例如30fps)。第一畫面以及第二畫面分別依序儲存至第一佇列Q1以及第二佇列Q2。
在第2圖所示的實施例中,第一佇列Q1以及第 二佇列Q2位於電子裝置100的記憶體150中。在一些實施例中,第一佇列Q1與第二佇列Q2皆為環形緩衝區(ring buffer)亦稱為圓形緩衝區(circular buffer)。環型緩衝區 為一種利用單一且固定大小的緩衝區之資料結構,且連接的方式猶如頭尾相連。此環型結構適用於緩衝資料流。第一佇列Q1以及第二佇列Q2各自包含複數個儲存槽(slot)。為了便於說明,第2圖所繪示的第一佇列Q1包含8個儲存槽QS10~QS17,以及第二佇列Q2包含8個儲存槽QS20~QS27,但本揭示並不以儲存槽的特定數目為限。
第一佇列Q1中的每一個儲存槽QS10~QS17用 以儲存第一相機110所產生的複數個第一畫面之中一個第一畫面。當相片相關的功能開啟,在步驟S302期間,第一相機110持續在不同的時間點個別產生第一畫面並依序儲存至第一佇列Q1。每一個第一畫面具有各自的時間戳記,時間戳記記錄著第一畫面產生的時間點。
第二佇列Q2中的每一個儲存槽QS20~QS27用 以儲存第二相機120所產生的複數個第二畫面之中一個第二畫面。當相片相關的功能開啟,在步驟S302期間,第二相機120持續在不同的時間點個別產生第二畫面並依序儲存至第二佇列Q2。每一個第二畫面具有各自的時間戳記,時間戳記記錄著第二畫面產生的時間點。
此外,在相片相關的功能開啟期間,第一佇列 Q1以及第二佇列Q2為動態更新/刷新的,當第一佇列Q1已經額滿且即將傳進新的第一畫面,則新進來的第一畫面會複寫第一佇列Q1的儲存槽中最舊的第一畫面。因此,第一佇列Q1以及第二佇列Q2得以動態保持最新的畫面。
請一並參閱第4A圖以及第4B圖,第4A圖以及 第4B圖繪示本揭示之一實施例中第一佇列Q1及第二佇列Q2之內容之示意圖。
如第4A圖所示,第一畫面F1a~F1h依序儲存在 第一佇列Q1中。第一畫面F1a記錄著時間戳記T1004,亦即第一畫面F1a根據系統時脈在第1004微秒時產生。第一畫面F1b記錄著另一時間戳記T1008,亦即第一畫面F1b根據系統時脈在第1008微秒時產生。第一畫面F1c記錄著另一時間戳記T1012,亦即第一畫面F1c根據系統時脈在第1012微秒時產生,依此類推。
在此例中,如第4A圖所示,第一畫面彼此之間 間隔4微秒。也就是說,第一相機110每4微秒產生一個新的畫面(亦即每秒15個畫面,15fps),第二相機120也每秒產生15個畫面。
另一方面,第二畫面F2a~F2h依序儲存在第二 佇列Q2中。第二畫面F2a記錄著時間戳記T1004,亦即第二畫面F2a根據系統時脈在第1004微秒時產生。第二畫面F2b記錄著另一時間戳記T1008,亦即第二畫面F2b根據系統時脈在第1008微秒時產生。第二畫面F2c記錄著另一時間戳記T1012,亦即第二畫面F2c根據系統時脈在第1012微秒時產生,依此類推。
方法300執行步驟S304用以判定影像擷取功能 是否觸發。當影像擷取功能觸發時(例如使用者按壓下功能鍵160或藉由任何等效的觸發方式),觸發第一相機110擷取第一影像IMG1,且觸發第二相機120擷取第二影像 IMG2(如第4B圖所示),其中第二影像IMG2與第一影像IMG1彼此時間同步。
在本揭示中,當影像擷取功能開啟時,第一相 機110以及第二相機120無須設定、拍攝、收集資料、輸出資料作為輸出影像。一併參閱第3圖以及第4A圖,當第一相機110觸發擷取第一影像IMG1(亦即影像擷取功能觸發時),方法300執行步驟S306用以從第一畫面F1a~F1h之中取出具有第一時間戳記的第一畫面為第一影像IMG1。如第4A圖所示,8個第一畫面F1a~F1h分別記錄著時間戳記T1004、T1008、T1012、T1016、T1020、T1024、T1028、T1032。在此實施例的步驟S306期間,取出最新的第一畫面F1h作為第一影像IMG1,其中第一畫面F1h記錄著最新的時間戳記T1032(亦即此例中所述的第一時間戳記為T1032)。因此,儲存在儲存槽QS13的第一畫面F1h被取出作為第一影像IMG1。在一些實施例中,第一影像IMG1藉由處理器130儲存至儲存單元140。
接著,方法300執行步驟S308用以從第二佇列 Q2之第二畫面F2a~F2h中搜尋具有對應第一時間戳記(T1032)之第二時間戳記的第二畫面。在此實施例中,步驟308用以從第二畫面F2a~F2h中搜尋具有與第一時間戳記(T1032)最靠近的第二時間戳記的第二畫面。第二畫面F2h的第二時間戳記(T1032)與第一畫面F1h的第一時間戳記(T1032)最靠近。
因此,方法300執行步驟S310用以取出記錄著 第二時間戳記(T1032)對應的第二畫面F2h為第二影像IMG2。在一些實施例中,第二影像IMG2藉由處理器130儲存於儲存單元140。
當影像擷取功能觸發時,第一影像IMG1以及 第二影像IMG2已經以畫面形式儲存於第一佇列Q1以及第二佇列Q2中,故可以較快產生第一影像IMG1以及第二影像IMG2。因此,使用者可以即時地體驗到對於拍攝照片指令(例如按壓下功能鍵160)快速的反應。
如第4A圖所示,第一畫面F1h以及第二畫面 F2h分別儲存於第一佇列Q1的第4儲存槽QS13中以及第二佇列Q2的第6儲存槽QS25中。僅管當第一佇列Q1以及第二佇列Q2並無將儲存槽中的畫面依相同次序排列以達到時間同步,方法300仍然可依據每個畫面中所記錄的時間戳記來將第一佇列Q1以及第二佇列Q2中的畫面配對。
如第4A圖所示的實施例,在步驟S306~S310 的過程中,第一佇列Q1與第二佇列Q2之內容保持一致為理想的情況。然而,電子裝置100在實際的應用中可能無法在第一佇列Q1以及第二佇列Q2之內容變動之前將步驟S306~S310執行完畢。由於第一佇列Q1以及第二佇列Q2之內容可在短期間內動態更新/刷新(例如在此實施例中每4微秒更新/刷新)。
請參閱第4B圖,第4B圖繪示根據本揭示之次一 實施例中第一佇列Q1及第二佇列Q2之內容之示意圖。如第4A圖以及上述實施例所示,從第一佇列Q1之中取出具有第 一時間戳記(T1032)的第一畫面F1h為第一影像IMG1。當處理器130執行運算時(例如執行步驟S306,儲存第一影像IMG1以及記錄第一時間戳記等),第一相機110以及第二相機120持續產生新的畫面儲存至第一佇列Q1以及第二佇列Q2中,因此使得第一佇列Q1以及第二佇列Q2的內容在8微秒後如第4B圖所繪示。
對應第4A圖的步驟S306,記錄著第一時間戳 記(T1032)的最新的第一畫面F1h被取出作為第一影像IMG1。步驟S308得以利用第一時間戳記(T1032)來搜尋第二佇列Q2。對應第4B圖的步驟S308(例如第4A圖經過8微秒後),記錄著第二時間戳記(T1032)的第二畫面F2h已經不是最新的畫面。已有新進來的畫面F2i以及畫面F2j儲存至第二佇列Q2。根據步驟S308來搜尋對應第一時間戳記(T1032)的時間戳記,第二畫面F2h記錄著與第一時間戳記(T1032)最靠近的第二時間戳記(T1032)。因此,步驟310取出第二畫面F2h作為第二影像IMG2。
也就是說,根據時間戳記的資訊從第二佇列Q2 中挑選出相對於第一影像IMG1最為同步的畫面作為第二影像IMG2,而非挑選第二佇列Q2中最新的畫面。由第二相機120所擷取的第二影像IMG2以及由第一相機110所擷取的第一影像IMG1彼此時間同步。藉由方法300可以減少由於擷取時間間隔造成的影像間的不匹配。
在上述的實施例中,第一佇列Q1以及第二佇列Q2具有相同數量的儲存槽以儲存第一/第二畫面,但本揭示 不以此為限。
請參閱第5圖,第5圖繪示根據本揭示之另一實 施例中第一佇列Q1及第二佇列Q2之內容之示意圖。如第5圖所示,第一佇列Q1具有8個儲存槽及第二佇列Q2具有6個儲存槽,故第一佇列Q1與第二佇列Q2的儲存槽數量彼此不匹配。根據上述的方法300,步驟S306將記錄著第一戳記(T1032)最新的第一畫面F1h取出作為第一影像IMG1。接著,根據對應第一時間戳記(T1032)的搜尋結果,步驟S310將記錄著第二時間戳記(T1032)的第二畫面F2f取出作為第二影像IMG2。因此僅管第一佇列Q1與第二佇列Q2的儲存槽數量彼此不匹配,方法300仍然可將兩相機的影像時間同步。此實施例中的其餘相關細節如同上述實施例,在此不再贅述。
在上述的實施例中,在步驟S302中第一相機110以及第二相機120利用相同的畫面頻率來更新第一佇列Q1以及第二佇列Q2,但本揭示不以此為限。
請參閱第6圖,第6圖繪示根據本揭示之又一實施例中第一佇列Q1及第二佇列Q2之內容之示意圖。如第6圖所示,第一相機110每4微秒更新1次第一佇列Q1(15fps),第二相機120每2微秒更新1次第二佇列Q2(30fps)。在此例中,記錄著第一時間戳記(T1032)的第一畫面F1h被取出作為第一影像IMG1,因此記錄著第二時間戳記(T1032)的第二畫面F2h則被取出作為第二影像IMG2。故僅管第一佇列Q1與第二佇列Q2的畫面更新頻率彼此不匹 配,方法300仍然可將兩相機的影像時間同步。此實施例中的其餘相關細節如同上述實施例,在此不再贅述。
請參閱第7圖,第7圖繪示根據本揭示之再一實 施例中第一佇列Q1及第二佇列Q2之內容之示意圖。如第7圖所示,第一相機110每1微秒更新1次第一佇列Q1(60fps),第二相機120每2微秒更新1次第二佇列Q2(30fps)。
在此例中,因為第一時間戳記(T1031)為最新 的時間戳記,記錄著第一時間戳記(T1031)的第一畫面F1h被取出作為第一影像IMG1。另一方面,由於與第一時間戳記(T1031)最靠近的時間戳記為第二時間戳記(T1030)的,記錄著第二時間戳記(T1030)的第二畫面F2h則被取出作為第二影像IMG2。在此例中,由於第一時間戳記(T1031)與第二時間戳記(T1030)之間的不匹配,第一畫面F1h與第二畫面F2h無法完美地同步。然而方法300可取得記錄著最靠近第一畫面F1h的第二時間戳記(T1030)的第二畫面F2h。因此成對的第一影像IMG1與第二影像IMG2能使第一佇列Q1與第二佇列Q2之間達到最佳的時間同步。此實施例中的其餘相關細節如同上述實施例,在此不再贅述。
雖然本揭示內容已以實施方式揭露如上,然其並非用以限定本揭示內容,任何熟習此技藝者,在不脫離本揭示內容之精神和範圍內,當可作各種之更動與潤飾,因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
110‧‧‧第一相機
120‧‧‧第二相機
F1a~F1h‧‧‧第一畫面
F2a~F2h‧‧‧第二畫面
IMG1‧‧‧第一影像
1MG2‧‧‧第二影像
Q1‧‧‧第一佇列
Q2‧‧‧第二佇列
QS10~QS17,QS20~QS27‧‧‧儲存槽
T1004~T1032‧‧‧時間戳記

Claims (10)

  1. 一種影像處理方法,適用於一電子裝置包含一第一相機以及一第二相機,該影像處理方法包含:儲存該第一相機所產生的複數個第一畫面至一第一佇列以及儲存該第二相機所產生的複數個第二畫面至一第二佇列;當該第一相機觸發擷取一第一影像,從該些第一畫面之中取出具有一第一時間戳記的一第一畫面為該第一影像;從該第二佇列之中搜尋具有對應該第一時間戳記之一第二時間戳記的一第二畫面;以及從該些第二畫面之中取出對應的該第二畫面為一第二影像。
  2. 如申請專利範圍第1項所述之影像處理方法,其中每一個第一畫面以及每一個第二畫面分別具有各自的時間戳記,該些時間戳記記錄著該些第一畫面以及該些第二畫面產生的時間點。
  3. 如申請專利範圍第2項所述之影像處理方法,其中取出該第一影像更包含:從該第一佇列之中取出具有最新的時間戳記之該第一畫面為該第一影像。
  4. 如申請專利範圍第2項所述之影像處理方法,其中搜尋該第二影像更包含: 從該第二佇列之中搜尋具有與該第一時間戳記最靠近的該第二時間戳記之該第二畫面。
  5. 如申請專利範圍第1項所述之影像處理方法,其中該第二相機所擷取的該第二影像與該第一相機所擷取的該第一影像彼此時間同步。
  6. 如申請專利範圍第1項所述之影像處理方法,其中該第一佇列與該第二佇列皆為環形緩衝區(ring buffer),該些環形緩衝區各自包含複數個儲存槽(slot),且每一個儲存槽用以儲存該些第一畫面之中一個第一畫面或儲存該些第二畫面之中一個第二畫面。
  7. 如申請專利範圍第1項所述之影像處理方法,其中在一雙重相機架構中,該第一相機為一主相機及該第二相機為一從屬相機。
  8. 如申請專利範圍第7項所述之影像處理方法,其中該第一相機與該第二相機分別利用非同步的畫面速率來感測該些第一畫面及該些第二畫面。
  9. 一種電子裝置,包含:一處理模組;一第一相機,用以依序產生複數個第一畫面,該些第一 畫面暫時地儲存至一第一佇列;一第二相機,用以依序產生複數個第二畫面,該些第二畫面暫時地儲存至一第二佇列;以及一非暫態電腦可讀取儲存媒體包含一或複數個指令可供該處理模組執行一影像處理方法,其中該影像處理方法包含:當該第一相機觸發擷取一第一影像,從該些第一畫面之中取出具有一第一時間戳記的一第一畫面為該第一影像;從該第二佇列之中搜尋具有對應該第一時間戳記之一第二時間戳記的一第二畫面;以及從該些第二畫面之中取出對應的該第二畫面為一第二影像。
  10. 如申請專利範圍第9項所述之電子裝置,其中每一個第一畫面以及每一個第二畫面分別具有各自的時間戳記,該些時間戳記記錄著該些第一畫面以及該些第二畫面產生的時間點。
TW104107029A 2014-03-19 2015-03-05 電子裝置及其影像處理方法 TWI536802B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461955219P 2014-03-19 2014-03-19
US14/615,432 US20150271469A1 (en) 2014-03-19 2015-02-06 Image synchronization method for cameras and electronic apparatus with cameras

Publications (2)

Publication Number Publication Date
TW201537951A TW201537951A (zh) 2015-10-01
TWI536802B true TWI536802B (zh) 2016-06-01

Family

ID=54143307

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104105633A TWI543608B (zh) 2014-03-19 2015-02-17 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置
TW104107029A TWI536802B (zh) 2014-03-19 2015-03-05 電子裝置及其影像處理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW104105633A TWI543608B (zh) 2014-03-19 2015-02-17 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置

Country Status (3)

Country Link
US (2) US20150271471A1 (zh)
CN (1) CN104980646B (zh)
TW (2) TWI543608B (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
JP6139713B2 (ja) 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
CN108519655A (zh) 2013-07-04 2018-09-11 核心光电有限公司 小型长焦透镜套件
CN108989649B (zh) 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
EP3492958B1 (en) 2015-04-02 2022-03-30 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
US9927600B2 (en) 2015-04-16 2018-03-27 Corephotonics Ltd Method and system for providing auto focus and optical image stabilization in a compact folded camera
US10036895B2 (en) 2015-05-28 2018-07-31 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization in a dual-aperture digital camera
EP3787281B1 (en) 2015-08-13 2024-08-21 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
KR101993077B1 (ko) 2015-09-06 2019-06-25 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
US20170104733A1 (en) * 2015-10-09 2017-04-13 Intel Corporation Device, system and method for low speed communication of sensor information
CN109889708B (zh) 2015-12-29 2021-07-06 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
US10488631B2 (en) 2016-05-30 2019-11-26 Corephotonics Ltd. Rotational ball-guided voice coil motor
CN107465912A (zh) * 2016-06-03 2017-12-12 中兴通讯股份有限公司 一种成像差异检测方法和装置
WO2017221106A1 (en) 2016-06-19 2017-12-28 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
KR102390572B1 (ko) 2016-07-07 2022-04-25 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
CN106210701A (zh) * 2016-07-25 2016-12-07 深圳市同盛绿色科技有限公司 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统
CN106101687B (zh) * 2016-07-25 2018-05-15 深圳市同盛绿色科技有限公司 Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
KR102269547B1 (ko) 2016-12-28 2021-06-25 코어포토닉스 리미티드 확장된 광-폴딩-요소 스캐닝 범위를 갖는 폴디드 카메라 구조
CN113791484A (zh) 2017-01-12 2021-12-14 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
IL302577A (en) 2017-02-23 2023-07-01 Corephotonics Ltd Lens designs for a folded camera
CN110582724B (zh) 2017-03-15 2022-01-04 核心光电有限公司 具有全景扫描范围的照相装置
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102424791B1 (ko) 2017-11-23 2022-07-22 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
CN114609746A (zh) 2018-02-05 2022-06-10 核心光电有限公司 折叠摄像装置
EP4191315B1 (en) 2018-02-12 2024-09-25 Corephotonics Ltd. Folded camera with optical image stabilization
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN111936908B (zh) 2018-04-23 2021-12-21 核心光电有限公司 具有扩展的两个自由度旋转范围的光路折叠元件
WO2020031005A1 (en) 2018-08-04 2020-02-13 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US10891757B2 (en) 2018-11-16 2021-01-12 Waymo Llc Low-light camera occlusion detection
US11287081B2 (en) 2019-01-07 2022-03-29 Corephotonics Ltd. Rotation mechanism with sliding joint
KR102648912B1 (ko) 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
JP7276677B2 (ja) * 2019-02-18 2023-05-18 カシオ計算機株式会社 データ取得装置、その制御方法及び制御プログラム、並びに制御機器、データ取得機器
US10750077B1 (en) 2019-02-20 2020-08-18 Himax Imaging Limited Camera system with multiple camera
EP4224841A1 (en) 2019-03-09 2023-08-09 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
TWI702566B (zh) * 2019-03-20 2020-08-21 恆景科技股份有限公司 相機系統
CN111787184B (zh) * 2019-04-03 2023-02-28 恒景科技股份有限公司 相机系统
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
EP3832538B1 (en) 2019-12-05 2022-05-11 Axis AB Automatic malfunction detection in a thermal camera
EP3832537A1 (en) 2019-12-05 2021-06-09 Axis AB Thermal camera health monitoring
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114641805A (zh) 2020-02-22 2022-06-17 核心光电有限公司 用于微距摄影的分屏特征
WO2021220080A1 (en) 2020-04-26 2021-11-04 Corephotonics Ltd. Temperature control for hall bar sensor correction
KR102495627B1 (ko) 2020-05-17 2023-02-06 코어포토닉스 리미티드 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
EP3966631B1 (en) 2020-05-30 2023-01-25 Corephotonics Ltd. Systems and methods for obtaining a super macro image
KR20230004887A (ko) 2020-07-15 2023-01-06 코어포토닉스 리미티드 스캐닝 폴디드 카메라에서의 시점 수차-보정
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
EP4065934A4 (en) 2020-07-31 2023-07-26 Corephotonics Ltd. LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY
KR102480820B1 (ko) 2020-08-12 2022-12-22 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
US11610457B2 (en) 2020-11-03 2023-03-21 Bank Of America Corporation Detecting unauthorized activity related to a computer peripheral device by monitoring voltage of the peripheral device
KR102629883B1 (ko) 2020-12-26 2024-01-25 코어포토닉스 리미티드 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원
CN115868168A (zh) 2021-03-11 2023-03-28 核心光电有限公司 用于弹出式相机的系统
WO2022259154A2 (en) 2021-06-08 2022-12-15 Corephotonics Ltd. Systems and cameras for tilting a focal plane of a super-macro image
CN116701675B (zh) * 2022-02-25 2024-09-24 荣耀终端有限公司 图像数据的处理方法和电子设备
CN115002295A (zh) * 2022-04-25 2022-09-02 北京鉴智科技有限公司 图像数据同步方法、装置、终端设备及存储介质
CN115484407B (zh) * 2022-08-25 2023-07-04 奥比中光科技集团股份有限公司 一种多路采集数据的同步输出方法、系统及rgbd相机

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040712A (ja) * 2002-07-08 2004-02-05 Minolta Co Ltd 撮像装置
US7983345B2 (en) * 2003-09-02 2011-07-19 Sony Corporation Content receiving apparatus, video/audio output timing control method, and content provision system
CN100505033C (zh) * 2006-04-03 2009-06-24 联詠科技股份有限公司 处理图像亮度的方法及相关装置
US7420477B2 (en) * 2006-08-02 2008-09-02 John P Taylor Method for an enhanced absolute position sensor system
KR100991804B1 (ko) * 2008-06-10 2010-11-04 유한회사 마스터이미지쓰리디아시아 이동 기기용 입체영상생성칩 및 이를 이용한입체영상표시방법
US8711207B2 (en) * 2009-12-28 2014-04-29 A&B Software Llc Method and system for presenting live video from video capture devices on a computer monitor
CN201726494U (zh) * 2009-12-31 2011-01-26 新谊整合科技股份有限公司 利用图像色彩信息执行图像比对的装置与系统
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
JP5433610B2 (ja) * 2011-03-04 2014-03-05 日立オートモティブシステムズ株式会社 車載カメラ装置
EP2549759B1 (en) * 2011-07-19 2016-01-13 Axis AB Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US9479762B2 (en) * 2011-12-05 2016-10-25 Tektronix, Inc. Stereoscopic video temporal frame offset measurement
WO2013108310A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 立体画像検査装置、立体画像処理装置、および立体画像検査方法
KR101893406B1 (ko) * 2012-03-28 2018-08-30 삼성전자 주식회사 카메라의 이미지처리 장치 및 방법
TWI517669B (zh) * 2012-06-05 2016-01-11 晨星半導體股份有限公司 影像的同步方法及其裝置
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US9565414B2 (en) * 2013-05-24 2017-02-07 Disney Enterprises, Inc. Efficient stereo to multiview rendering using interleaved rendering
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view

Also Published As

Publication number Publication date
CN104980646A (zh) 2015-10-14
CN104980646B (zh) 2018-05-29
TWI543608B (zh) 2016-07-21
US20150271471A1 (en) 2015-09-24
US20150271469A1 (en) 2015-09-24
TW201541958A (zh) 2015-11-01
TW201537951A (zh) 2015-10-01

Similar Documents

Publication Publication Date Title
TWI536802B (zh) 電子裝置及其影像處理方法
JP2021060590A (ja) 取込まれた像のパススルー表示
CN106576160A (zh) 用于具有模式切换的深度相机模式的成像架构
US20160301840A1 (en) Photographing Method for Dual-Lens Device and Dual-Lens Device
WO2015081563A1 (zh) 一种生成图片的方法及一种双镜头设备
JP2012239006A (ja) 画像処理装置及びその制御方法、並びにプログラム
TW201044858A (en) Imaging apparatus, imaging control method, and recording medium
WO2018040510A1 (zh) 一种图像生成方法、装置及终端设备
KR20120119794A (ko) 특수 효과들을 사용한 촬영 방법 및 장치
CN102810048A (zh) 显示设备和方法
WO2023169283A1 (zh) 双目立体全景图像的生成方法、装置、设备、存储介质和产品
CN105791390A (zh) 数据传输方法、装置及系统
WO2016041188A1 (zh) 确定拍照延迟时间的方法、装置及拍照设备
TWI554105B (zh) 電子裝置與影像處理方法
CN104813230A (zh) 使用单个相机捕捉三维图像的方法和系统
CN103856715A (zh) 成像装置和方法
JP6616843B2 (ja) 動画撮影指示端末、動画撮影システム、動画撮影指示方法、およびプログラム
US20150022559A1 (en) Method and apparatus for displaying images in portable terminal
CN106713893B (zh) 手机3d立体拍照方法
CN104935914B (zh) 电子装置及其摄影方法
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
TWI520577B (zh) 立體影像輸出裝置與相關的立體影像輸出方法
JP2015019215A (ja) 撮像装置及び撮像方法
US20230049084A1 (en) System and method for calibrating a time difference between an image processor and an intertial measurement unit based on inter-frame point correspondence
US20230046465A1 (en) Holistic camera calibration system from sparse optical flow