TWI519154B - 影像擷取方法與相關影像擷取系統 - Google Patents

影像擷取方法與相關影像擷取系統 Download PDF

Info

Publication number
TWI519154B
TWI519154B TW102104627A TW102104627A TWI519154B TW I519154 B TWI519154 B TW I519154B TW 102104627 A TW102104627 A TW 102104627A TW 102104627 A TW102104627 A TW 102104627A TW I519154 B TWI519154 B TW I519154B
Authority
TW
Taiwan
Prior art keywords
image
frames
video
frame
data path
Prior art date
Application number
TW102104627A
Other languages
English (en)
Other versions
TW201334522A (zh
Inventor
周永明
卓 班佛
王景弘
豪爾赫 凡里雅
大衛 布琳達
吳祥寧
林嵩皓
王世揚
黃勝鑫
許麗君
黃佩恩
蔣孟儒
曾富昌
戴辰熹
闕鑫地
愛雪莉 姚思伶
米卡 蕭太爾
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201334522A publication Critical patent/TW201334522A/zh
Application granted granted Critical
Publication of TWI519154B publication Critical patent/TWI519154B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212Motion video recording combined with still video recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Description

影像擷取方法與相關影像擷取系統
本發明揭露一種影像擷取方法與相關之影像擷取設備,尤指一種無快門延遲(Zero Shutter Lag Effect)的影像擷取方法與相關之影像擷取設備。
大部分的行動電子裝置都具有錄影操作與攝影操作,該類行動電子裝置包含智慧型手機或平板電腦。然而,由於上述之錄影操作與攝影操作會執行於一般行動電子裝置所安裝之不同應用程式中,因此錄影操作與攝影操作無法同時在一般行動電子裝置上啟動或使用。如此一來,若使用者想要同時使用錄影操作與攝影操作,則使用者會被迫在錄影操作與攝影操作所屬之不同應用程式間進行繁複的切換。
舉例來說,若使用者想要在所參加之婚禮上使用一般之行動電子裝置來錄製一段影片並同時拍攝照片,使用者必須持續頻繁在一般行動電子裝置上進行錄影操作與攝影操作所屬之不同應用程式的切換,因而感到不便,甚至在切換時造成一般行動電子裝置在處理上的嚴重延遲。甚者,這樣的嚴重延遲最後會因為頻繁切換應用程式所產生的過重處理器負擔,而導致一般行動電子裝置的故障。
除此以外,一般行動電子裝置亦可提供預覽操作。然而,在影像被編碼及儲存在記憶體以前,使用者所發出的任何用來啟動快門之攝影事件指令都無法被啟動;也就是說,在一般行動電子裝置中,必須先行等待先前擷取的影像被編碼完成,才能夠繼續擷取新的影像。很明顯的,一般行動電子裝置為了要先行對已擷取的影像進行編碼,會造成在處理影像擷取上會相當耗時的缺點。
本發明揭露一種影像擷取設備,其包含影像感測模組、影像訊號處理器、後端處理單元。影像感測模組用以連續擷取複數個原始影像。影像訊號處理器用來根據複數個原始影像,以平行方式同時產生複數個預覽影像與第一複數個攝影像框(Camera Frame)。後端處理單元包含預覽模組、視訊處理單元、攝影暫存緩衝器、影像編碼單元、及記憶體。預覽模組用來提供複數個用於顯示之預覽像框。視訊處理單元用來對應於錄影指令,根據複數個預覽像框來編碼出複數個視訊像框。攝影暫存緩衝器用來暫存第一複數個攝影像框。影像編碼單元用來對應於影像擷取指令,根據第一複數個攝影像框來編碼出第二複數個攝影像框。記憶體用來儲存複數個視訊像框與第二複數個攝影像框。影像擷取指令是在執行錄影指令時被接收,且視訊處理單元編碼複數個視訊像框與影像編碼單元編碼第二複數個攝影像框兩者之間是平行執行的。
本發明揭露一種影像擷取方法,用於可攜式電子裝置。該影像擷取方法包含在可攜式電子裝置上啟動(Launch)一影像擷取應用程式;由可攜式電子裝置之影像感測模組接收複數個原始像框;於第一資料路徑(Data Path)提供複數個原始像框以產生複數個第一像框,該複數個第一像框具有第一解析度;於第二資料路徑提供複數個原始像框以產生複數個第二像框,該複數個第二像框具有第二解析度,且第一像框與第二像框係同時(Concurrently)產生;接收第一影像擷取指令;對應該第一影像擷取指令,擷取複數個第一像框之至少一部分第一像框,並將所擷取之部分第一像框在第一資料路徑上以第一格式儲存;在擷取該部分第一像框時,接收第二影像擷取指令,第二影像擷取指令具有與第一影像擷取指令不同的種類(Type);及對應第二影像擷取指令,擷取該複數個第二像框之至少一部分,並將所擷取之該部分第二像框在第二資料路徑上以第二格式儲存。第一資料路徑與第二資料路徑係同時(Concurrently)且彼此獨立運作。
本發明另揭露一種影像擷取方法,可用於影像擷取設備。該影像擷取方法包含接收錄影指令以啟動錄影操作(Operation);對應於錄影指令,藉由擷取複數個視訊像框執行錄影操作,該複數個視訊像框具有第一解析度;在執行錄影操作時,接收一攝影指令;及對應於攝影指令,執行攝影操作以擷取至少一攝影像框(Camera Frame),該攝影像框具有第二解析度。
100‧‧‧影像擷取設備
110‧‧‧影像感測模組
120‧‧‧影像訊號處理器
130‧‧‧後端處理單元
140‧‧‧預覽模組
150‧‧‧視訊處理單元
160‧‧‧攝影暫存緩衝器
170‧‧‧影像編碼單元
180‧‧‧記憶體
200‧‧‧使用者介面
210‧‧‧攝影快門圖像
220‧‧‧錄影快門圖像
230‧‧‧相簿捷徑圖像
240‧‧‧景像放大/縮小圖像
250‧‧‧景像設定圖像
260‧‧‧設定圖像
270‧‧‧閃光燈圖像
280‧‧‧警示區域圖像
290‧‧‧效果選擇圖像
255、265、295‧‧‧操作選單
802、804、806、808、810、812、814、816、902、904、906、908、910、912、914、916、918‧‧‧步驟
第1圖為本發明一實施例之一影像擷取設備。
第2圖為第1圖所示之影像擷取設備所實施之像框擷取機制的概略示意圖。
第3圖至第6圖為第1圖所示之預覽模組藉由一觸控螢幕所顯示之一使用者介面及進行選單操作的示意圖。
第7圖繪示相簿介面包含之複數個像框。
第8圖與第9圖為本發明實施例之影像擷取方法的流程圖。
請參閱第1圖,其繪示本發明一實施例之影像擷取設備100。如第1圖所示,影像擷取設備100至少包含影像感測模組110、影像訊號處理器120、與後端處理單元130。後端處理單元130包含預覽模組140、視訊處理單元150、攝影暫存緩衝器160、影像編碼單元170、以及記憶體180。
影像感測模組110用以連續擷取複數個原始像框(Original Frame)I1。在本發明之一實施例中,原始像框I1的解析度為全解析度(Full Resolution)。
影像訊號處理器120用來根據複數個原始像框I1,產生複數個預覽像框(Preview Frame)I2以及複數個輸入攝影像框I3。在本發明之一實施例中,影像訊號處理器120藉由將原始像框I1之解析度由一第一解析度降低(downscale)至一第二解析度來產生預覽像框I2,使得預覽像框I2相較於原始像框I1具有較小的影像大小及/或較低的解析度。預覽像框I2可用來提供給 顯示單元(未圖示)以供顯示或用來產生縮圖(Thumbnail)。在本發明之一實施例中,影像訊號處理器120藉由將複數個第一原始像框I1由第一解析度調整至一第三解析度來產生複數個輸入攝影像框I3,其中第三解析度可由使用者指定、或可小於或等於第一解析度。
在本發明之部分實施例中,影像訊號處理器120用來提供複數個預覽像框I2至預覽模組140,並用來提供複數個輸入攝影像框I3至攝影暫存緩衝器160,其中影像訊號處理器120提供預覽像框I2與輸入攝影像框I3的運作是分別以相等或不等之像框率經由相異之資料路徑進行。
預覽模組140用來提供複數個預覽像框I2以供使用者瀏覽。在本發明之一實施例中,預覽模組140可連接於一觸控螢幕(未圖示),以在預覽像框I2或輸入攝影像框I3上執行各種操作。
視訊處理單元150用來對應於錄影指令,對預覽像框I2進行編碼以產生視訊像框I4,其中錄影指令可由使用者經由觸控螢幕及/或其他的觸發機制來發出。在本發明之一實施例中,視訊像框I4之資料格式可藉由使用者發出之一使用者輸入指令來指定。舉例來說,視訊處理單元150可以MPEG-4格式編碼視訊像框I4。
攝影暫存緩衝器160用來持續地暫存輸入攝影像框I3。除此之外,對應於影像擷取指令,例如一攝影指令,攝影暫存緩衝器160用來輸出由複數個輸入攝影像框I3中選出之至少一個輸出攝影像框I5。任何對攝影暫存緩衝器160的存取指令都可以經由讀取指標與寫入指標來控制,其中讀取指標用來指出攝影暫存緩衝器160中將要輸出攝影像框的位置,且寫入指標用來指出攝影暫存緩衝器160中將要寫入攝影像框的位置。在本發明之一實施例中,攝影暫存緩衝器160可實現為環狀暫存緩衝器(Ring Buffer),其中一覆寫指標(Overwrite Pointer)用來指出環狀暫存緩衝器中可被覆寫之位置。攝影暫存緩衝器160可根據像框接收的時間順序,持續以新接收之輸入攝影像框I3來更新其暫存之內容,或是持續將舊的輸入攝影像框I3刪除或覆寫。
影像編碼單元170用來對應於攝影指令,接收輸出攝影像框I5並將輸出攝影像框I5加以編碼以產生已編碼攝影像框I6。在本發明之一實施例中,已編碼攝影像框I6之資料格式可由使用者所指定或是可預先定義。舉例來說,影像編碼單元170可使用JPEG格式來產生已編碼像框I6。
記憶體180用來儲存由視訊處理單元150所接收之視訊像框I4及/或由影像編碼單元170所接收之已編碼攝影像框I6。在本發明之一實施例中,記憶體180中用來儲存視訊像框I4及/或已編碼攝影像框I6之位置是由使用者所指定或可事先定義。記憶體180可為一內置儲存單元或一外接儲存單元。在本發明之一實施例中,記憶體180可為嵌入式多媒體記憶卡(Embedded Multimedia Memory Card,eMMC)、安全數位記憶卡(Secure Digital Memory Card)、微安全數位記憶卡(Micro Secure Digital Memory Card)、泛用序列匯流排(Universal Serial Bus,USB)儲存裝置、及/或其他適合的儲存裝置。
在本發明之各實施例中,已編碼攝影像框I6與視訊像框I4可具有相異的設定值,例如相異的解析度、像框率、操作模式等。在本發明之一實施例中,一整合(Integrated)影像擷取應用程式可對應使用者輸入指令而被即時啟動於影像擷取設備100上以執行錄影操作及/或攝影操作,其中該使用者輸入指令係對應於該整合影像擷取應用程式。
以資料路徑的觀點來說,第1圖所示之第一資料路徑DP1、第二資料路徑DP2、以及第三資料路徑DP3是為了處理預覽像框、視訊像框、與攝影像框所分別設置的。第一資料路徑DP1用來處理預覽像框,且經過影像感測模組110、影像訊號處理器120、以及預覽模組140。第二資料路徑DP2用來處理視訊像框,且經過影像感測模組110、影像訊號處理器120、視訊處理單元150、以及記憶體180。第三資料路徑DP3用來處理攝影像框,且經過影像感測模組110、影像訊號處理器120、攝影暫存緩衝器160、影像編碼單元170、以及記憶體180。對應於發出之錄影指令,視訊像框I4會於第二資料路徑DP2上產生,其中錄影指令可轉換為視訊事件VE並傳輸至後端處 理單元130。對應於發出之攝影指令,已編碼攝影像框I6會於第三資料路徑DP3上產生,其中攝影指令可轉換為攝影事件CE並傳輸至後端處理單元130。一般來說,影像感測模組110會輸出複數個原始像框I1至影像訊號處理器120,影像訊號處理器120可根據同一批複數個原始像框I1同時產生出至少二個具有不同解析度及/或不同像框率的像框提供給不同的操作,例如上述之預覽像框I2與輸入攝影像框I3。也就是說,影像訊號處理器120可藉由各自分開的複數個資料路徑同時輸出像框至不同的處理單元。在第1圖所示之實施例中,影像訊號處理器120可同時且平行地使用資料路徑DP1提供預覽像框I2至預覽模組140、使用資料路徑DP2提供預覽像框I2至視訊處理單元150、以及使用資料路徑DP3提供輸入攝影像框I3至攝影暫存緩衝器160。在先前技術之一般行動電子裝置中,由於只能使用單一路徑來處理單一種類之影像操作,因此先前技術之一般行動電子裝置不可能同時執行二種以上之影像處理操作。而在本發明之各實施例中,第一資料路徑DP1、第二資料路徑DP2、第三資料路徑DP3可在影像擷取設備100中平行運作,且視訊處理單元150與影像編碼單元170可各自獨立且同時地對應視訊事件VE與攝影事件CE來運作。本發明之各實施例並不限於上述之三種資料路徑,也就是說,各種數量之資料路徑可根據系統的需求來實施於本發明之各實施例。
另外,在本發明之各實施例中,將輸出攝影像框I5傳輸至影像編碼單元170與將先前影像編碼單元170接收之輸出攝影像框I5編碼為已編碼攝影像框I6之運作也可以同時且平行地運行。舉例來說,在影像編碼單元170具有自己的暫存緩衝器或攝影暫存緩衝器160可用來暫存複數個輸出攝影像框I5的情況下,暫存緩衝器便可以藉由限制影像編碼單元170之運算負擔的方式來送出輸出攝影像框I5。
除此以外,預覽模組140可用來持續提供預覽像框I2作為顯示之用,且不會遭受到第二資料路徑DP2與第三資料路徑DP3的干擾,此係因第一資料路徑DP1、第二資料路徑DP2、第三資料路徑DP3之間的獨立性。
藉由影像擷取設備100中彼此互相獨立且同時運行之資料路徑,可解決一般行動電子裝置在擷取影像時不能同時執行其他操作的缺點,此係因第三資料路徑DP3上執行的攝影操作或第二資料路徑DP2上執行的錄影操作已經不需要互相等待完成後才能執行或是已經不需要等待第一資料路徑DP1執行完畢後才能運作。如此一來,在影像擷取設備100上可以啟動上述之整合影像擷取應用程式,且該整合影像擷取應用程式可同時執行錄影操作與影像擷取操作而不需要同時中止顯示預覽影像。
在本發明之一實施例中,當視訊事件VE被觸發且尚未中止時,亦即當執行錄影操作時,預覽模組140可持續地提供預覽影像I2以作顯示之用。預覽模組140除了可提供預覽影像I2至觸控螢幕以外,亦可在觸控螢幕上顯示一快門圖像用以接收攝影指令。如此一來,由於後端處理單元130的預覽操作與影像擷取操作可以同時執行,影像擷取設備100的使用者可以按壓該快門圖像以啟動影像擷取設備100之連續攝影操作,且不須中止預覽操作與錄影操作。
在本發明之一實施例中,當預覽模組140持續顯示預覽像框I2時,影像訊號處理器120可根據預覽像框I2來執行自動對焦並產生焦距控制訊號FC以調整影像感測模組110之焦距,其中焦距控制訊號FC用來指出調整焦距之策略,該策略可包含移動或旋轉影像感測模組110之鏡頭單元(未圖示)的方式。藉由自動對焦操作,在接收到錄影指令或攝影指令時,影像感測模組110可免於調整焦距產生的處理延遲,此係因影像感測模組110的焦距可被事先適當地調整。另外,當一般行動電子裝置之前景應用程式(Foreground Application)由錄影應用程式切換至攝影應用程式時,影像感測模組會需要改變其焦距,此係因錄影操作所需要的焦距相較於攝影操作所需要的焦距比較小(近);然而,藉由影像擷取設備100所提供之自動對焦操作,在影像擷取設備100由錄影操作切換至攝影操作時,影像感測模組110的焦距(亦即影像感測模組110的視角(field of view))可免於被更動。
零快門延遲(Zero Shutter Lag)可藉由於影像擷取設備100實施第2圖所示之像框擷取機制來實現,此像框擷取機制主要適用於第1圖所示之第二資料路徑DP2及/或第三資料路徑DP3。此像框擷取機制包含實施於後端處理單元130之應用程式層與驅動程式層。在第2圖中,以(t-4)、(t-3)、(t-2)、(t-1)、t、(t+1)、(t+2)、(t+3)所標示之各像框係代表在時間點(t-4)、(t-3)、(t-2)、(t-1)、t、(t+1)、(t+2)、(t+3)出現之像框,其中標示為(t-4)的像框代表其出現在早於時間點t四個時間單位的時間點,且標示為(t+3)的像框代表其出現在晚於時間點t三個時間單位的時間點。在本發明之部分實施例中,上述之時間單位可為一微秒(Micro-second)。
在詳細解說第2圖所示之像框擷取機制以前,需要先行解說一般行動電子裝置視如何擷取攝影像框的。當一般行動電子裝置的使用者壓觸一攝影快門以在時間點t擷取攝影像框時,一般行動電子裝置上所產生的快門延遲會使得其實際上是在時間點t之後數個時間單位才開始擷取攝影像框,例如在時間點(t+3)才開始進行攝影像框的擷取。該快門延遲可能會為所擷取的攝影像框帶來非預期的瑕疵,例如影像失真。
在第2圖所示之像框擷取機制中,在時間點(t-4)、(t-3)、(t-2)、(t-1)、t、(t+1)、(t+2)、(t+3)出現之攝影像框會持續地暫存於暫存緩衝器160。當攝影事件CE在時間點t被觸發並在應用程式層被接收時,影像處理單元170開始在單發攝影模式(Single Shot Mode)下擷取對應於時間點t的攝影像框或是在自動連拍模式(Auto Burst Mode)下連續擷取對應於時間點t、(t+1)、(t+2)、(t+3)的攝影像框,在此假設自動連拍模式是預設一次觸發會連續拍攝四個攝影像框。在本發明一實施例中,連續快拍(Continuous Burst Mode)模式亦可用來在影像擷取設備100的使用者持續觸發攝影事件CE的情況下,對應地持續擷取位於時間點t、(t+1)、(t+2)、(t+3)、(t+4)、...的攝影像框,上述持續觸發攝影事件CE的例子可包含使用者持續按壓影像擷取設備100上所顯示的攝影快門圖像或是硬體的攝影快門按鈕。請注意,上述的自動連拍模式可由 使用者設定其他數量的連拍攝影像框數目或是採用預設之連拍攝影像框數目,而不限於上述之四個連拍攝影像框。藉由第2圖所示之像框擷取機制可實現零快門延遲的效果,此係因對應於被觸發的攝影事件CE,此像框擷取機制可以擷取至少一個攝影像框而無須延遲一定時間單位。在本發明之各實施例中,當攝影暫存緩衝器160的儲存容量越大時,影像擷取設備100在第三資料路徑DP3上所帶來零快門延遲的效果將會更好也更明顯。除此以外,攝影暫存緩衝器160的可用儲存容量也可以經由使用者指定。
在本發明之部分實施例中,若第2圖的攝影像框替換為視訊像框,則零快門延遲亦可藉由第2圖所示之像框擷取機制來實現於影像擷取設備100的第二資料路徑DP2。
在本發明之部分實施例中,預覽模組140耦接於觸控螢幕,該觸控螢幕可因應影像擷取設備100之不同前景應用程式來顯示使用者介面,並可對應影像擷取設備100目前所啟動之前景應用程式來接收觸控指令,其中該觸控指令可為一使用者輸入指令,且該觸控指令可以手指觸壓、觸控筆、一般的筆、及/或其他適當的觸發機制來觸發。在本發明之部分實施例中,該觸控螢幕可一次同時接收複數個使用者輸入指令。
請參閱第3圖,其繪示本發明一實施例之預覽模組140提供給觸控螢幕顯示之使用者介面200的示意圖。如第3圖所示,使用者介面200用來顯示包含攝影快門圖像210、錄影快門圖像220、相簿捷徑圖像230、景像放大/縮小圖像240、景像設定圖像250、設定圖像260、閃光燈圖像270、提示區域圖像280、以及效果選擇圖像290等圖像按鈕,上述各圖像皆可藉由使用者輸入指令所觸發。請注意,在本發明之其他實施例中,使用者介面200可顯示較第3圖更多或更少的圖像,且圖像可以持續顯示,或是也可以顯示一段時間後便消失直到再次被觸發後才顯示。
對應於攝影快門圖像210上的觸發,亦即對應於攝影事件CE的觸發,影像擷取設備100會執行攝影操作。對應於視訊快門圖像220上的觸 發,亦即對應於視訊事件VE的觸發,影像擷取設備100會執行錄影操作。當攝影快門圖像210在錄影操作被觸發且正執行時被觸發的話,攝影操作仍可被啟動,而不須中斷錄影操作的執行。
複數個預覽像框I2其中之一會被顯示於相簿捷徑圖像230上作為縮圖,且該縮圖會被其後接收的其他預覽像框I2所更新,其中顯示於相簿捷徑圖像230上的預覽像框I2會對應於最新一個被擷取的預覽像框I2,也就是最新的已編碼攝影像框I6。顯示於相簿捷徑圖像230上的預覽像框I2也會在新的攝影操作執行完畢後被更新。對應於相簿捷徑圖像230上的觸發,影像擷取設備100上目前執行的前景應用程式會被切換至相簿應用程式以顯示記憶體180所儲存之所有先前已擷取之已編碼攝影像框I6以及視訊像框I4。可用來播放已擷取或已儲存之像框或影像的多媒體播放應用程式亦可提供一攝影圖像按鈕,當在播放視訊像框I4之串流時收到攝影圖像按鈕的觸發,至少一個視訊像框I4可被選取以進行擷取與編碼為已編碼攝影像框I6。
當景像放大/縮小圖像240被觸發時,至少一個原始像框I1可被對應地放大或縮小,其中該觸發可藉由在景像放大/縮小圖像240上往左滑動或往右滑動來實現。如此一來,影像感測模組110可對應並自動調整其包含之鏡頭單元來調整其焦距,以放大或縮小景像。
對應於景像設定圖像250上的觸發,預覽模組140目前顯示之景像可以被切換。對應於設定圖像260上的觸發,影像擷取設備100所採用的設定可藉由使用者輸入指令來更新。對應於閃光燈圖像270的觸發,影像擷取設備100所配備之閃光燈產生器可被啟動來發出閃光,以增進低亮度環境下的影像擷取效果。
在本發明之部分實施例中,上述所有使用者介面200包含之圖像可永久地顯示。在本發明之部分實施例中,只有被觸發的圖像才會被顯示在使用者介面200上,而其他未被觸發之圖像將不會被顯示(Shadowed),亦即消失;被觸發的圖像被顯示一段時間以後也會在其他使用者介面200上的圖 像被另一使用者輸入指令觸發的情況下消失於使用者介面200。舉例來說,在本發明之部分實施例中,若攝影快門圖像210被觸發,使用者介面200上的其他區域將會消失數秒後才會再出現,或是將會消失至影像擷取設備100的使用者觸發攝影快門圖像210以外的其他按鈕為止。
在本發明之一實施例中,若使用者介面200之一圖像被使用者輸入指令所觸發,預覽模組140可用來提供並彈出(pop-up)對應操作選單,讓使用者可在對應的指令選單上選取一選項。錄影操作與攝影操作的選項可置放於使用者介面200之同一層以便利使用者的操作。使用者可在使用者介面200上往上或往下滑圖像按鈕以選擇一選項。請參閱第4圖,其繪示本發明一實施例於第3圖之景像設定圖像250被觸發時對應在使用者介面200上彈出之操作選單255的示意圖。如第4圖所示,操作選單255會對應於景像設定圖像250的觸發而在使用者介面200上被彈出。操作選單255包含的目前顯示選項有「慢動作」、「正常」、「背光高動態範圍成像(High Dynamic Range Imaging,HDR Imaging)」、「全景(Panorama)」、「群組」、及「關閉」等,其中「慢動作」選項屬於錄影操作,「正常」選項屬於錄影操作與攝影操作,「背光高動態範圍成像」選項與「全景」選項屬於攝影操作。請參閱第5圖,其根據本發明之一實施例圖示對應第3圖之設定圖像260在使用者介面200上被彈出之操作選單265。如第5圖所示,操作選單265包含具有「正常」狀態之「攝影選擇」選項、具有「關閉」狀態之「本體計時器」選項、具有「8M(3264 x 1840)」解析度狀態之「影像解析度」物件、具有「全高畫質(Full HD)」狀態之「視訊品質」選項、具有「不重新播放(Review)」狀態之「重新播放時間長度」選項、具有「自訂(Custom)」狀態之「影像調整設定」選項、以及「影像ISO設定」選項。每一個選項的狀態可對應於其對應之選項的觸發而更新。請參閱第6圖,其繪示本發明一實施例對應於第3圖之效果選擇圖像按鈕290而在使用者介面200上被彈出之操作選單295的示意圖。如第6圖所示,操作選單295包含「無特效」、「失真(Distortion)」、「對齊(Align)」等選 項。在第4圖至第6圖所示之狀況中,被彈出的操作選單將會在使用者於使用者介面200上觸發其他未觸發之區域後消失,或是在一預定時間後消失。
下列所述為第1圖之影像擷取設備100可執行的數種操作模式之實施例。這些操作模式包含:
視訊模式:
如以上所述,錄影操作會在對應於錄影快門圖像220被觸發時而啟動,其中第二資料路徑DP2用來支援錄影操作。在本發明之實施例中,錄影快門圖像220會在被使用者輸入指令觸發時改變其顏色。舉例來說,當錄影快門圖像220被使用者輸入指令所致能或觸發時,會將其顏色更新為不透明。在本發明之一實施例中,景像設定圖像250會經由一使用者輸入指令而被觸發,以開啟操作選單255,而讓使用者可選擇以正常速度或慢動作方式來錄製視訊。在本發明之一實施例中,使用者可觸發設定圖像260以在使用者介面200上彈出操作選單265,進而選擇想要的視訊品質。
在慢動作錄影操作中,該視訊在視訊品質上需要相較正常速度更高的像框率,例如正常速度的二倍像框率。也就是說,在相等的錄影時間中,慢動作錄影操作需要擷取相較於正常速度錄影為多的像框。為了以更高的像框率來擷取視訊像框,影像感測模組110可減少其影像擷取的解析度,而使得原始像框I1的解析度被降低,且視訊像框I4的時間標記也會對應擴展至更長的時間區間。舉例來說,若正常錄影的像框率是每秒30個像框(Frame per sec,FPS),則慢動作錄影的像框率可提高至每秒60個像框,且視訊像框I4的時間標記也會被擴展至原先之二倍的時間區間。如此一來,視訊像框I4的播放時間長度也會變成正常速度的兩倍,換言之,相較於正常速度,根據視訊像框I4所產生之景像移動速度也會變得緩慢。在慢動作錄影操作下所產生之視訊像框I4同樣地也可以在正常速度下回放以回復正常動作速度,在播放的過程中需要捨棄部分的視訊像框來達成正常動作速度,且捨棄的視訊像框率可與慢動作錄影操作之像框率以及正常速度的像框率比率有關或無關。舉 例來說,在慢動作錄影操作之像框率相較正常速度的像框率為二倍時,每二個視訊像框I4便可捨棄一個,以在正常速度下播放視訊像框I4。
攝影模式:
如以上所述,攝影操作可對應於攝影快門圖像210之觸發而被啟動,其中第三資料路徑DP3用來支援攝影操作。除此以外,本發明揭露之影像擷取機制帶來的零快門延遲效果也可便利影像擷取設備100以第三資料路徑DP3來執行攝影操作。在本發明之一實施例中,影像擷取設備100的使用者不需要特地點選觸控螢幕上顯示之預覽像框I2以選取一物體來對焦,此係因預覽模組140會自動實施上述之自動對焦機制以決定預覽像框I2上的焦距,並會根據所決定預覽像框I2上的焦距來調整影像感測模組110所使用之焦距。然而,在本發明之另一實施例中,使用者仍可透過發出使用者指令來選取一物體進行對焦;舉例來說,使用者可點選觸控螢幕上所顯示之預覽像框I2之景像中所出現之臉部圖像來對焦。另外,在本發明之一實施例中,也可以透過影像訊號處理器130來進行物體追蹤操作,使得影像訊號處理器130可透過分析預覽影像I2來追蹤並鎖定景像中出現的任何物體,例如臉部圖像。縮圖亦可對應於相簿捷徑圖樣230上的觸發而根據預覽像框I2來產生,並顯示於使用者介面200。在本發明之一實施例中,當影像擷取設備100之攝影操作啟動自動連拍模式,以持續或在一限定時間內擷取複數個攝影像框時,顯示於使用者介面200的縮圖會根據最新被擷取的輸出攝影像框I5而持續地更新。在本發明之一實施例中,對應於攝影快門圖像220之觸發(亦即一次攝影事件CE的觸發)所一次連續擷取的輸出攝影像框I5數量可為五個或其他數量。在本發明之一實施例中,對應於攝影快門圖像220的觸發,影像擷取設備100亦可產生攝影快門的觸發音效。另外,影像擷取設備100可另外藉由調整上述攝影快門之觸發音效的發聲時間來平衡其音量,其中影像擷取設備100之使用者可自行設定該發聲時間之長度。舉例來說,攝影快門之觸發音效在上述之自動連拍模式下的發聲時間長度可較正常情況為短。
錄影中攝影模式(In-Video Camera Mode)
在本發明之一實施例中,當錄影操作在影像擷取設備100上被啟動時,使用者仍可觸發攝影快門圖像210來在不妨礙錄影操作之執行的情況下來實施影像擷取(亦即攝影)操作,此係因第1圖所示第二資料路徑DP2與第三資料路徑DP3兩者之間在運作上的各自獨立性。也就是說,錄影操作與攝影操作兩者可在影像擷取設備100上被同時執行而互不干擾。
當視訊中攝影模式在影像擷取設備100上被啟動時,影像訊號處理器120用來提供複數個預覽像框I2至影像處理單元150,並用來同時提供複數個輸入攝影像框I3至攝影暫存緩衝器160,以使得影像處理系統150產生複數個視訊像框I4的動作可與影像編碼單元170產生複數個已編碼攝影像框I6的動作同時被執行。再者,複數個視訊像框I4與複數個已編碼攝影像框I6可同時被儲存於記憶體180中。
在本發明之一實施例中,在視訊中攝影模式下,攝影操作可以全解析度(Full Resolution)來執行,且錄影操作將以非全解析度(non-Full Resolution)被實施,此係為第二資料路徑DP2與第三資料路徑DP3執行的相互獨立性所致。在本發明之一實施例中,在錄影中攝影模式下,對應於持續被觸發之攝影快門圖像210而啟動的自動連拍模式在連續擷取複數個連續之攝影像框時,將不會干擾錄影操作的執行,其原因與上述攝影操作與錄影操作之間的獨立性相同(亦即上述第二資料路徑DP2與第三資料路徑DP3在執行時的彼此獨立性)。
攝影播放模式(Playback Camera Mode)
當影像擷取設備100實施錄影操作中的視訊播放操作來播放已錄製之視訊流時(其包含複數個視訊像框I4),預覽模組140可顯示每一視訊像框I4以使得使用者可選擇複數個視訊像框I4其中之一來擷取或瀏覽。在本發明之一實施例中,視訊流其中一個視訊像框I4會根據其在視訊流中最接近之時間標記或根據快拍景像(Screen Shot)被自動擷取。如此一來,在攝影播放模 式下被擷取之視訊像框I4之影像品質會受限於視訊來源的影像品質,亦即原始像框I1。
檔案存取模式
在影像擷取設備100的檔案存取模式下,相簿介面700會顯示於使用者介面200的最上層。請參閱第7圖,其繪示相簿介面700包含之複數個像框,例如已編碼像框P、P1、P2、P3、及P4與複數個視訊像框V、V1。如第7圖所示,相簿介面700中像框的瀏覽順序是根據像框被擷取的順序所決定,或是根據使用者所指定之瀏覽順序所決定。在本發明之一實施例中,對於錄影中攝影模式下擷取的視訊像框而言,已編碼攝影像框可被放置於視訊像框相鄰的之前或之後,使得使用者可以連續方式來瀏覽彼此之間有對應關係的攝影像框與視訊像框。舉例來說,如第7圖所示,以高畫質解析度(HD Resolution)且在2012年七月一日擷取的視訊像框V1在相簿介面700中被設置於鄰近已加密攝影像框P1與P2的位置,其中已加密攝影像框P1與P2是以每像框8MBytes的大小及(3264 x 1840)的解析度在錄製影像像框V1時被擷取。
在本發明之一實施例中,在攝影播放模式下擷取的已編碼攝影像框會被自動置放於相鄰視訊像框之後,其中相鄰視訊像框對應於已編碼攝影像框之原始像框。舉例來說,在第7圖中,在播放視訊像框時,已編碼攝影像框P3與P4會被置放於與視訊像框V1之後,其中已編碼攝影像框P3與P4是以每像框1MByte的大小及(1280 x 720)的解析度在2012年二月八日被擷取(亦即與視訊像框V1在不同的日期被擷取)。如此一來,可發現視訊像框V1與已編碼攝影像框P3、P4的解析度相同,亦即(1280 x 720)的解析度。
在本發明之一實施例中,如第7圖所示P1、P2、V1、P3、P4之像框排序組合,已編碼攝影像框P1、P2會在錄影中攝影模式下首先被置放,接著與已編碼攝影像框P1、P2同時被擷取的視訊像框V1會被置放於已編碼攝影像框P1、P2之後,而已編碼攝影像框P3、P4會被置放於最後。藉由上 述之像框置放順序,使用者可以循序方式瀏覽所有的已編碼像框與視訊像框。在本發明之一實施例中,當儲存已編碼視訊像框於記憶體180中,標籤、標記、或其他類型等適當資訊會與上述已編碼視訊像框一起被儲存在記憶體中,以指出已編碼視訊像框之間的關聯性,其中該些適當資訊可以元資料(Metadata)或標頭(Header)等方式被儲存在記憶體180中。在本發明之另一實施例中,攝影像框與視訊像框被置放以作瀏覽之用的順序可由使用者來安排或改變。
請參閱第8圖,其為本發明一實施例之影像擷取方法的流程圖,其中該影像擷取方法可應用於一可攜式電子裝置,例如第1圖所示之影像擷取設備100。另外,有關可攜式電子裝置的細節以如以上敘述所說明,特別是有關執行攝影操作的部分。如第8圖所示,該影像擷取方法包含如下步驟:
步驟802:在可攜式電子裝置上開啟影像擷取應用程式。
步驟804:由可攜式電子裝置之影像感測模組接收複數個原始像框。
步驟806:沿著第一資料路徑提供該複數個原始像框,以產生複數個具有第一解析度之第一像框。
步驟808:沿著第二資料路徑提供該複數個原始像框,以產生具有第二解析度之複數個第二像框,其中產生第二像框的過程係與產生第一像框的過程同時進行。
步驟810:接收第一影像擷取指令。
步驟812:對應於第一影像擷取指令,於第一資料路徑上擷取該複數個第一像框之至少一部份,並將所擷取之至少一部份第一像框以第一格式儲存。
步驟814:在擷取該至少一部份第一像框時,同時接收第二影像擷取指令。
步驟816:對應第二影像擷取指令,在該第二資料路徑擷取至少 一個第二像框,並將所擷取之至少一個第二像框以第二格式儲存。
在第8圖所示之實施例中,如步驟802所示,首先在可攜式電子裝置上啟動一影像擷取應用程式,可攜式電子裝置包含影像擷取設備,且可為一行動電話或一平板電腦。影像擷取應用程式可執行錄影操作與影像擷取操作二者,與先前技術中的可攜式電子裝置只能分開安裝與啟動上述二者應用程式的狀況不同。另外,在本發明之實施例中,影像擷取應用程式可同時且平行地安裝與執行錄影操作與攝影操作。在步驟804中,可攜式電子裝置之影像感測模組可接收複數個原始像框。原始像框接著會被傳輸至影像訊號處理器以作後續處理,可包含RGB影像格式轉檔、比例調整(Scaling)、去除雜訊(De-noise)等。為了支援錄影操作與攝影操作的同時和平行執行,影像訊號處理器可用不同的解析度及/或不同的像框率,在不同的資料路徑上同時輸出像框。
如步驟806所示,第一資料路徑會接收原始像框並產生複數個第一像框。在本發明之一實施例中,第一像框會以預覽像框的形式來提供,以顯示給使用者瀏覽。同時在步驟808中,第二資料路徑會接收原始像框並產生複數個第二像框。第一像框與第二像框會具有不同的設定,例如解析度或像框率上的不同設定。在本發明之一實施例中,第二資料路徑用來產生攝影像框以執行攝影操作。第二像框可暫存於一暫存緩衝器以作後續其他處理之用。
接著在步驟810中,接收第一影像擷取指令,第一影像擷取指令可對應於第一型態的影像擷取,例如錄影操作,且可經由使用者介面來接收,該使用者介面可為觸控螢幕。請注意,為了支援二個以上影像擷取指令的同時執行,使用者介面亦可同時提供用於二個以上影像擷取操作的控制介面。舉例來說,使用者介面可在同一介面上同時提供視訊快門圖像與攝影快門圖像,且二圖像按鈕可各自獨立且同時地被觸發。
如步驟812所示,對應於第一影像擷取指令,至少一部份的第一 像框會被擷取,並以第一格式儲存。在此實施例中,第一影像擷取指令可為一錄影指令,該至少一部份第一像框會在第一影像擷取指令被接收的當下就立即開始被處理並編碼為一視訊格式,例如MPEG-4視訊格式。已編碼的第一像框會被儲存至可攜式電子裝置包含之記憶體,記憶體可為嵌入式多媒體記憶卡或安全數位記憶卡。
在步驟814中,在執行第一影像擷取指令時,亦即當至少一部份第一像框仍被擷取與儲存時,可透過上述之使用者介面接收一第二影像擷取指令,第二影像擷取指令之型態可不同於第一影像擷取指令。在本發明之一實施例中,第二影像擷取指令為一攝影操作指令,且攝影操作指令可為單發攝影(Single Shot)或連拍攝影(Burst Shot)。在本發明之另一實施例中,第一影像擷取指令與第二影像擷取指令可從不同的使用者介面接收,例如硬體錄影快門按鈕及/或硬體攝影快門按鈕。
在步驟816中,對應於第二影像擷取指令,擷取第二像框並以第二格式被儲存。如此一來,至少一個第二像框會在接收到第二影像擷取指令的同時開始由暫存緩衝器中取出並編碼為靜態影像格式,例如JPEG影像格式。如以上所述,第二影像擷取指令可為單發攝影指令、多發攝影指令(Multiple Shot)、或連拍攝影指令。舉例來說,若第二影像擷取指令對應於攝影快門圖像上以一定時間區間觸發的長按壓動作(亦即當使用者對攝影快門圖像進行較長時間的按壓動作時),暫存緩衝器會輸出對應於該一定時間區間的複數個第二像框來進行編碼,直到攝影快門圖像被放開為止。在本發明之各實施例中,步驟812與步驟816是同時執行的。同樣地,已編碼之第二像框會儲存於記憶體中。
總結來說,第8圖所示之第一資料路徑與第二資料路徑是用於不同種類的影像擷取指令,這些不同種類的影像擷取指令通常也會對應於不同的解析度與影像格式。原始像框會輸入至不同的資料路徑,同時並平行地產生不同種類的輸出像框。該些資料路徑可共享部分的共用處理單元,並各自 包含獨有的其他處理單元。如第1圖所示,所有的資料路徑都會經過影像感測模組110與影像訊號處理器120,也就是上述的共用處理單元;而在資料路徑各自獨立對應的操作中,例如在攝影操作中,攝影暫存緩衝器160與影像編碼單元170可用來在第三資料路徑DP3上暫存攝影像框與對攝影像框進行編碼。
接著在第9圖中將會描述本發明另一實施例之可用於影像擷取設備的影像擷取方法。影像擷取設備可為行動電話、平板電腦、遊戲機、可攜式多媒體播放器、數位相機、數位影音錄放器、及/或其他可攜式電子裝置。本發明之影像擷取方法可同時執行至少兩種不同的影像擷取操作,例如錄影操作與攝影操作。該方法包含如下步驟:
步驟902:接收錄影指令以開始錄影操作。
步驟904:由影像擷取設備擷取複數個像框。
步驟906:提供像框之預覽像框於影像擷取設備之顯示單元,其中預覽像框具有第一解析度。
步驟908:以第一解析度處理像框以提供影像擷取設備之控制資訊。
步驟910:將至少一部份之像框以第二解析度暫存於暫存緩衝器。
步驟912:對應於錄影指令執行錄影操作,以第一解析度從像框中擷取複數個視訊像框。
步驟914:在執行錄影操作時,接收攝影指令。
步驟916:對應於攝影指令,執行攝影操作從像框中以第二解析度擷取至少一個像框。
步驟918:接收用來停止錄影操作之另一錄影指令以停止錄影操作。
首先在步驟902中,影像擷取設備之使用者介面會接收錄影指 令,使用者介面可以是觸控面板、硬體快門按鈕、及/或其他的輸入/輸出介面。接著在步驟904中,影像擷取設備會擷取對應於一景像的複數個像框,其中該景像涵蓋至少一個物體。被擷取之像框被提供給顯示單元以在步驟906中供使用者預覽。擷取之像框可被縮小(Scale-down)轉換為預覽像框以便於後續處理,預覽像框之第一解析度係低於像框之原始解析度。在步驟908中,被縮小之預覽像框可經過不同的操作處理以提供控制資訊。舉例來說,該些操作可包含自動對焦操作、物體偵測操作、及/或其他與預覽像框相關之操作。預覽像框亦可對應於使用者輸入指令而受處理;舉例來說,若使用者欲對一特定物體進行對焦,並藉由影像擷取設備之觸控螢幕來按壓該特定物體,影像擷取設備可根按壓位置來實施物體辨識操作,並接著根據物體辨識操作所辨識的物體來調整焦距。在本發明之另一實施例中,影像擷取設備可執行其他像是自動曝光、自動白平衡等操作。然而,為了減少計算量,上述該些操作會執行於具有較低解析度的預覽像框。步驟906可被選擇性地執行。對應於第1圖所示之實施例,步驟906包含自動對焦操作與物體辨識操作,其中執行自動對焦操作所得到之資訊會被傳輸至影像感測模組110以產生焦距控制訊號INFO1,且物體辨識操作所得到之資訊會被傳輸至影像訊號處理器120以產生物體追蹤訊號INFO2。
在步驟910中,暫存像框至一暫存緩衝器。在本發明之一實施例中,像框會被縮放至第二解析度,第二解析度為使用者指定攝影操作使用的解析度,並可等於或小於像框的原始解析度,也就是影像感測模組110所輸出之解析度。暫存緩衝器用來暫存像框以供續攝影操作之用。暫存緩衝器之容量大小可預先決定以在一段時間區間內儲存複數個像框,也可動態地根據暫存緩衝器之用途而改變。
步驟902接收到錄影指令時,步驟912會執行錄影操作由像框中以第一解析度擷取複數個視訊像框。這些視訊像框包含由接收到錄影指令開始直到使用者停止錄影操作為止的所有像框。視訊像框之視訊格式可由使用 者所預先決定或指定。已編碼之視訊像框會被儲存於影像擷取設備之儲存單元中,亦即第1圖所示之記憶體180。請注意,步驟906、908、910、912可同時且平行地以指定順序或無指定順序的方式來執行;一般來說,上述步驟可由可攜式電子裝置所使用之不同資料路徑來分開地執行,也就是同時且平行地執行。
在步驟914中執行錄影操作時,攝影指令也會透過使用者介面來接收。也就是說,錄影操作與攝影操作可在不干擾彼此的情況下同時被執行。攝影指令可與錄影指令由同一使用者介面所接收,例如觸控面板,或是經由專屬攝影操作的另一使用者介面所接收,例如硬體攝影快門按鈕。在步驟916中,對應於攝影指令,執行攝影操作以第二解析度從暫存緩衝器擷取暫存之複數個像框中至少一攝影像框;所擷取之攝影像框的數目是根據使用者觸發之攝影指令所決定。在使用者觸發單發攝影指令的情況下,在接收到單發攝影指令的時候就會立即擷取單一攝影像框並以影像格式編碼,例如JPEG影像格式。在使用者觸發連拍攝影指令的情況下,會擷取複數個攝影像框,其中該連拍攝影指令可包含複數個單發攝影指令的集合或是已事先指定連拍攝影像框之數目的單一自動連拍指令。請注意,在步驟912執行錄影操作時,攝影指令可被接收並執行複數次。接著影像擷取設備會儲存已編碼攝影像框至其包含之儲存單元。影像擷取設備會為視訊像框與攝影像框指定不同的記憶體空間來進行儲存,也可以將二者以混合方式儲存。同時被擷取之視訊像框與攝影像框可以相似或相同的標頭或元資料來儲存。
最後在步驟918中,使用者可藉由觸發另一錄影指令來停止執行該錄影操作。對應於該錄影指令,錄影操作會在接收到該錄影指令後立即被停止。接著使用者可以在上述之相簿應用程式中瀏覽儲存之視訊像框與攝影像框。由於視訊像框與攝影像框儲存的順序與兩者之間的關聯性有關,兩者在相簿應用程式中的瀏覽順序也可相關,且可以滑動瀏覽(Slide Show)、自動循序播放(Auto Serial Playback)等方式被瀏覽。
綜上所述,本發明揭露一種可同時且平行地執行二種以上影像擷取操作的影像擷取方法與影像擷取設備。在本發明之一實施例中,影像擷取設備可同時執行錄影操作與攝影操作。視訊像框與攝影像框會經由彼此獨立的不同資料路徑來處理以實現平行處理。每一資料路徑可使用不同的解析度及/或不同的影像格式、大小來處理像框。如此一來,可以在影像擷取設備上安裝並開啟整合式影像應用程式,以同時執行二種以上影像擷取操作而不致使該些影像擷取操作彼此干擾或需要進行切換。
100‧‧‧影像擷取設備
110‧‧‧影像感測模組
120‧‧‧影像訊號處理器
130‧‧‧後端處理單元
140‧‧‧預覽模組
150‧‧‧視訊處理單元
160‧‧‧攝影暫存緩衝器
170‧‧‧影像編碼單元
180‧‧‧記憶體

Claims (20)

  1. 一影像擷取設備,包含:一影像感測模組,用以連續擷取複數個原始影像;一影像訊號處理器,用以根據該複數個原始影像同時產生複數個預覽像框與第一複數個攝影像框(Camera Frame);及一後端處理單元,包含:一預覽模組,用以透過一第一資料路徑接收用於顯示之複數個預覽像框;一視訊處理單元,用以對應於一錄影指令,根據透過一第二資料路徑所接收的該複數個預覽像框編碼出複數個視訊像框;一攝影暫存緩衝器,用以暫存透過一第三資料路徑所接收的該第一複數個攝影像框;一影像編碼單元,用以對應於一影像擷取指令,根據該第一複數個攝影像框來編碼出第二複數個攝影像框;及一記憶體,用來儲存該複數個視訊像框與該第二複數個攝影像框;其中該影像擷取指令是在執行該錄影指令時被接收,且該視訊處理單元編碼該複數個視訊像框與該影像編碼單元編碼該第二複數個攝影像框兩者之間是同時執行的;及其中該第一資料路徑、第二資料路徑及該第三資料路徑於該影像擷取設備係為平行操作。
  2. 如請求項1所述之影像擷取設備,其中該複數個預覽像框是由該影像訊號處理器將該複數個原始影像縮小(Down-scale)所產生,且該複數個預覽像框被該預覽模組提供為縮圖(Thumbnail)。
  3. 如請求項1所述之影像擷取設備,其中該第二複數個攝影像框與該複數個視訊像框具有不同的解析度與像框率(Frame Rate)設定。
  4. 如請求項1所述之影像擷取設備,其中該預覽模組更用以提供一使用者介面以接收該錄影指令與該影像擷取指令。
  5. 如請求項4所述之影像擷取設備,其中該使用者介面用以顯示一縮圖圖像(Thumbnail Icon),該縮圖圖像對應於該第二複數個攝影像框其中之一。
  6. 如請求項1所述之影像擷取設備,其中該攝影暫存緩衝器係實現為一環狀暫存緩衝器(Ring Buffer)。
  7. 如請求項1所述之影像擷取設備,其中該影像訊號處理器更用以分析該複數個預覽像框以決定該影像感測模組之一控制資訊,且該影像感測模組更用以根據該控制資訊控制其本身之操作。
  8. 如請求項7所述之影像擷取設備,其中該控制資訊包含焦距資訊。
  9. 如請求項1所述之影像擷取設備,其中該視訊處理單元更用以對應於一慢動作(Slow Motion)指令編輯該複數個預覽像框之一時間標誌(Time Mark)以編碼出該複數個視訊像框。
  10. 一影像擷取方法,用於一可攜式電子裝置,該影像擷取方法包含:在該可攜式電子裝置上啟動(Launch)一影像擷取應用程式;由該可攜式電子裝置之一影像感測模組接收複數個原始像框;同時透過一第一資料路徑(Data Path)、一第二資料路徑、及一第三資料路徑提供該複數個原始像框,其中該第一資料路徑及該第二資料路徑用以產生複數個第一像框,該複數個第一像框具有一第一解析度,該第三資料路徑用以產生複數個第二像框,該複數個第二像框具有一第二解析度;沿著該第一資料路徑連續地提供該複數個第一像框的縮圖至一顯示單元;接收一第一影像擷取指令;擷取該複數個第一像框之至少一部分第一像框,並對應於該第一影像擷 取指令,將所擷取之該部分第一像框在該第二資料路徑上以一第一格式儲存;在擷取該部分第一像框時,接收一第二影像擷取指令,該第二影像擷取指令具有與該第一影像擷取指令不同的種類(Type);及擷取該複數個第二像框之至少一部分,並對應該第二影像擷取指令,將所擷取之該部分第二像框在該第三資料路徑上以一第二格式儲存;其中該第一資料路徑、該第二資料路徑及該第三資料路徑係同時(Concurrently)且獨立運作,且該第一解析度及該第二解析度的影像處理係為相異程序而同時進行。
  11. 如請求項10所述之方法,其中該第一影像擷取指令為一錄影指令,該第二影像擷取指令為一攝影(Camera Shooting)指令,且該第一解析度等於或小於該第二解析度。
  12. 如請求項10所述之方法,其中擷取該複數個第一像框之至少一部分第一像框更包含:將該部分第一像框以該第一格式編碼;及其中擷取該複數個第二像框之至少一部分更包含:將該部分第二像框以該第二格式編碼。
  13. 如請求項12所述之方法,其中編碼該複數個第二像框更包含:暫存該複數個第二像框於一暫存緩衝器。
  14. 如請求項13所述之方法,其中擷取該複數個第二像框之至少一部分包含:對應該第二影像擷取指令,從該暫存緩衝器擷取該部分第二像框。
  15. 如請求項10所述之方法,其中該第一資料路徑由至少一視訊處理單元形成,且該第二資料路徑由至少一暫存緩衝器與一影像編碼單元形成;及其中該第一資料路徑係以一第一像框率運行,且該第二資料路徑係以一第二像框率運行,該第一像框率相異於該第二像框率。
  16. 一種影像擷取方法,用於一影像擷取設備,該影像擷取方法包含:接收一錄影指令,以啟動一錄影操作(Operation); 對應該錄影指令,執行該錄影操作擷取複數個視訊像框,該複數個視訊像框具有一第一解析度;在執行該錄影指令時,接收一攝影指令;及對應於該攝影指令,執行一攝影操作擷取至少一攝影像框(Camera Frame),該至少一攝影像框具有一第二解析度;其中在該錄影操作被執行的時間內,該攝影指令會被接收,及該複數個視訊像框與該至少一攝影像框會被同時進行影像處理。
  17. 如請求項16所述之方法,另包含:擷取複數個影像像框(Image Frame);及提供該複數個影像像框之預覽影像於該影像擷取設備之一顯示單元上;其中該複數個視訊像框與該至少一攝影像框係根據該複數個影像像框所產生。
  18. 如請求項17所述之方法,另包含:將該複數個影像像框之至少一部分以該第二解析度暫存於一暫存緩衝器。
  19. 如請求項16所述之方法,另包含:提供一使用者介面以接收該錄影指令與該攝影指令。
  20. 如請求項16所述之方法,其中該錄影操作與該攝影操作係透過彼此獨立之資料路徑平行且同時地運作。
TW102104627A 2012-02-13 2013-02-06 影像擷取方法與相關影像擷取系統 TWI519154B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261597849P 2012-02-13 2012-02-13

Publications (2)

Publication Number Publication Date
TW201334522A TW201334522A (zh) 2013-08-16
TWI519154B true TWI519154B (zh) 2016-01-21

Family

ID=47900401

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102104627A TWI519154B (zh) 2012-02-13 2013-02-06 影像擷取方法與相關影像擷取系統

Country Status (4)

Country Link
US (1) US9225904B2 (zh)
EP (1) EP2627074A1 (zh)
CN (1) CN103248818B (zh)
TW (1) TWI519154B (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
KR101899851B1 (ko) * 2012-05-03 2018-09-18 삼성전자 주식회사 이미지 처리 장치 및 방법
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
KR101917650B1 (ko) * 2012-08-03 2019-01-29 삼성전자 주식회사 이미지 처리 방법 및 장치
KR20150030082A (ko) * 2013-09-11 2015-03-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20150109473A1 (en) * 2013-10-23 2015-04-23 Nvidia Corporation Programming a camera sensor
GB2520319A (en) * 2013-11-18 2015-05-20 Nokia Corp Method, apparatus and computer program product for capturing images
KR102114617B1 (ko) * 2014-01-08 2020-05-25 엘지전자 주식회사 이동단말기 및 그 제어방법
TWI573458B (zh) * 2014-01-17 2017-03-01 宏達國際電子股份有限公司 具有一開關按鈕之電子裝置及其控制方法
US9413960B2 (en) * 2014-03-07 2016-08-09 Here Global B.V Method and apparatus for capturing video images including a start frame
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US9774779B2 (en) 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US9628702B2 (en) 2014-05-21 2017-04-18 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
US9813611B2 (en) 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US9143693B1 (en) 2014-06-10 2015-09-22 Google Inc. Systems and methods for push-button slow motion
US9715903B2 (en) 2014-06-16 2017-07-25 Qualcomm Incorporated Detection of action frames of a video stream
CN104020629B (zh) * 2014-06-23 2017-12-01 乐清市创意影视器材有限公司 闪光灯
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
CN106575359B (zh) * 2014-08-14 2020-05-19 高通股份有限公司 视频流的动作帧的检测
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
US9570106B2 (en) * 2014-12-02 2017-02-14 Sony Corporation Sensor configuration switching for adaptation of video capturing frame rate
CN104618656A (zh) * 2015-02-15 2015-05-13 联想(北京)有限公司 一种信息处理的方法及电子设备
US10142533B2 (en) * 2015-03-27 2018-11-27 Intel Corporation Technologies for controlling user access to image sensors of a camera device
KR20160133781A (ko) * 2015-05-13 2016-11-23 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6604782B2 (ja) * 2015-09-08 2019-11-13 キヤノン株式会社 画像処理装置
US9659355B1 (en) * 2015-12-03 2017-05-23 Motorola Mobility Llc Applying corrections to regions of interest in image data
JP6652300B2 (ja) * 2016-01-14 2020-02-19 キヤノン株式会社 画像処理装置、撮像装置および制御方法
KR101926018B1 (ko) * 2016-08-12 2018-12-06 라인 가부시키가이샤 동영상 녹화 방법 및 시스템
US10303333B2 (en) * 2016-09-21 2019-05-28 Htc Corporation Mobile device, method for camera user interface, and non-transitory computer readable storage medium
US10547776B2 (en) * 2016-09-23 2020-01-28 Apple Inc. Devices, methods, and graphical user interfaces for capturing and recording media in multiple modes
US10313594B2 (en) 2017-01-05 2019-06-04 Qualcomm Incorporated Dynamically configuring memory bandwidth for image generation
US20180343414A1 (en) * 2017-05-23 2018-11-29 Qualcomm Incorporated Frame buffering technology for camera-inclusive devices
CN107396019B (zh) * 2017-08-11 2019-05-17 维沃移动通信有限公司 一种慢动作视频录制方法及移动终端
CN107592450B (zh) * 2017-08-30 2021-07-20 珠海豹趣科技有限公司 一种媒体数据处理方法及装置
CN108566527A (zh) * 2018-03-30 2018-09-21 青岛海信移动通信技术股份有限公司 一种录像方法及装置
CN109618225B (zh) * 2018-12-25 2022-04-15 百度在线网络技术(北京)有限公司 视频抽帧方法、装置、设备和介质
CN109714531B (zh) * 2018-12-26 2021-06-01 深圳市道通智能航空技术股份有限公司 一种图像处理方法、装置和无人机
CN110049254B (zh) * 2019-04-09 2021-04-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11223762B2 (en) 2019-12-06 2022-01-11 Samsung Electronics Co., Ltd. Device and method for processing high-resolution image
US11006044B1 (en) * 2020-03-03 2021-05-11 Qualcomm Incorporated Power-efficient dynamic electronic image stabilization
CN113824893B (zh) * 2020-06-19 2023-11-14 苹果公司 用于获得图像的设备、方法及程序存储设备
CN112312023B (zh) * 2020-10-30 2022-04-08 北京小米移动软件有限公司 一种相机的缓存队列分配方法、装置、电子设备和存储介质
CN112291475B (zh) * 2020-10-30 2022-04-12 维沃移动通信(杭州)有限公司 拍照方法、装置及电子设备
CN112843692B (zh) * 2020-12-31 2023-04-18 上海米哈游天命科技有限公司 拍摄图像的方法、装置、电子设备及存储介质
CN115776532B (zh) * 2021-09-07 2023-10-20 荣耀终端有限公司 一种录像中抓拍图像的方法及电子设备
CN115802146B (zh) * 2021-09-07 2024-04-02 荣耀终端有限公司 一种录像中抓拍图像的方法及电子设备
CN116055857B (zh) * 2022-08-24 2023-11-24 荣耀终端有限公司 拍照方法及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10108121A (ja) * 1996-09-25 1998-04-24 Nikon Corp 電子カメラ
JP4122693B2 (ja) 2000-08-09 2008-07-23 株式会社ニコン 電子カメラ
JP2002290908A (ja) * 2001-03-28 2002-10-04 Minolta Co Ltd 撮影装置、動画および静止画の記録制御方法、画像編集装置
US7450157B2 (en) * 2001-12-21 2008-11-11 Hewlett-Packard Development Company, L.P. Remote high resolution photography and video recording using a streaming video as a view-finder
US6961083B2 (en) 2001-12-21 2005-11-01 Hewlett-Packard Development Company, L.P. Concurrent dual pipeline for acquisition, processing and transmission of digital video and high resolution digital still photographs
JP2003219341A (ja) 2002-01-25 2003-07-31 Fuji Photo Film Co Ltd ムービ・スチル・カメラおよびその動作制御方法
US6992707B2 (en) 2002-03-06 2006-01-31 Hewlett-Packard Development Company, L.P. Delayed encoding based joint video and still image pipeline with still burst mode
US7388605B2 (en) * 2002-11-12 2008-06-17 Hewlett-Packard Development Company, L.P. Still image capturing of user-selected portions of image frames
US7787026B1 (en) 2004-04-28 2010-08-31 Media Tek Singapore Pte Ltd. Continuous burst mode digital camera
JP4798055B2 (ja) * 2007-04-25 2011-10-19 ソニー株式会社 画像処理装置およびカメラシステム
US20100231735A1 (en) * 2009-03-13 2010-09-16 Nokia Corporation Methods, Apparatuses, and Computer Program Products for Facilitating Concurrent Video Recording and Still Image Capture
US20100295966A1 (en) 2009-05-19 2010-11-25 John Furlan Digital video camera with high resolution imaging system

Also Published As

Publication number Publication date
TW201334522A (zh) 2013-08-16
EP2627074A1 (en) 2013-08-14
US9225904B2 (en) 2015-12-29
US20130208143A1 (en) 2013-08-15
CN103248818A (zh) 2013-08-14
CN103248818B (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
TWI519154B (zh) 影像擷取方法與相關影像擷取系統
US20230362482A1 (en) Assist for orienting a camera at different zoom levels
US7417667B2 (en) Imaging device with function to image still picture during moving picture imaging
US7573504B2 (en) Image recording apparatus, image recording method, and image compressing apparatus processing moving or still images
EP1667418B1 (en) Digital camera having video file creating function
CN102088559B (zh) 数字拍摄设备及其控制方法
JP5404023B2 (ja) 動画・静止画再生装置、その制御方法、プログラム及び記憶媒体
JP2010122856A (ja) 画像処理装置、画像表示方法および画像表示プログラム
USRE49212E1 (en) Method and apparatus for displaying first content alone or first and second content simultaneously based on movement
KR20110055244A (ko) 디지털 촬영 장치 및 그 제어 방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
JP2009147824A (ja) 撮像装置及び撮像方法
JP2023551037A (ja) 画像撮影方法、装置、電子機器と可読記憶媒体
WO2023134583A1 (zh) 视频录制方法、装置及电子设备
US8947558B2 (en) Digital photographing apparatus for multi-photography data and control method thereof
US8120691B2 (en) Image capturing appatatus and method for use in a mobile terminal
KR101469544B1 (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP6312426B2 (ja) 撮像装置およびその制御方法
US9137446B2 (en) Imaging device, method of capturing image, and program product for capturing image
WO2011048742A1 (ja) 半導体集積回路及びそれを備える撮像装置
JP2001028699A (ja) 電子カメラ
JP2009290318A (ja) 撮像装置およびズーム調整方法
JP2001094919A (ja) 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2000041170A (ja) 画像撮像装置及び方法
JP2001313895A (ja) 電子カメラ
JP2011135495A (ja) 撮影画像へのメモ書きシステムおよび撮影装置