TWI392344B - 攝像電子裝置 - Google Patents

攝像電子裝置 Download PDF

Info

Publication number
TWI392344B
TWI392344B TW98115823A TW98115823A TWI392344B TW I392344 B TWI392344 B TW I392344B TW 98115823 A TW98115823 A TW 98115823A TW 98115823 A TW98115823 A TW 98115823A TW I392344 B TWI392344 B TW I392344B
Authority
TW
Taiwan
Prior art keywords
module
data
video
electronic device
image
Prior art date
Application number
TW98115823A
Other languages
English (en)
Other versions
TW201041375A (en
Inventor
Yu-Bing Chen
Original Assignee
Arcsoft Hangzhou Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arcsoft Hangzhou Multimedia Technology Co Ltd filed Critical Arcsoft Hangzhou Multimedia Technology Co Ltd
Priority to TW98115823A priority Critical patent/TWI392344B/zh
Publication of TW201041375A publication Critical patent/TW201041375A/zh
Application granted granted Critical
Publication of TWI392344B publication Critical patent/TWI392344B/zh

Links

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

攝像電子裝置
本發明係關於一種具有預覽模式之攝像電子裝置，特別是一種即時切換預覽及錄製模式之攝像電子裝置。
請參考第1圖所示，為先前技術之攝像電子裝置100在預覽模式下之過濾器示意圖(Filter Graph)。在預覽模式下，攝像電子裝置100包含一視訊擷取(Capture)模組110、一分流(Smart Tee)模組111、一時間印記(Timestamp)模組112、一快照(Snapshot)模組113、一零值渲染(Null Render)模組114、一視訊解壓縮(AVI Decompressor)模組115、以及一視訊播放(Video Mixing Renderer,VMR)模組116。其中，視訊擷取模組110用來擷取一影像以產生一視訊資料D。分流模組111將視訊資料D分流為視訊資料D1 及D2 。視訊資料D1 、D2 與視訊資料D之內容相同。分流模組111將視訊資料D1 及D2 分別傳送至時間印記模組112以及視訊解壓縮模組115。時間印記模組112將視訊資料D1 經由快照模組113傳送至零值渲染模組114。在預覽模式下，零值渲染模組114將視訊資料D1 丟棄。視訊解壓縮模組115用來將視訊資料D2 之格式轉換為視訊播放模組116可播放之顯示資料DD 。因此，在預覽模式下，攝像電子裝置100只會播放視訊資料D，並不會保存視訊資料D。
請參考第2圖所示，為先前技術之攝像電子裝置100切換至錄製模式之示意圖。此時攝像電子裝置100包含一視訊擷取模組110、二分流模組111及121、一快照模組113、一視訊解壓縮模組115、一視訊播放(Video Mixing Renderer,VMR)模組116、一音訊擷取模組120、一音訊壓縮模組122以及一編碼器130。視訊擷取模組110用來擷取一影像以產生一視訊資料D。分流模組111將視訊資料D分流為視訊資料D1 及D2 。視訊資料D1 、D2 與視訊資料D之內容相同。分流模組111將視訊資料D1 及D2 分別傳送至快照模組113以及視訊解壓縮模組115。快照模組113將視訊資料D1 傳送至編碼器130。視訊解壓縮模組115用來將視訊資料D2 之格式轉換為視訊播放模組116可播放之顯示資料DD 。音訊擷取模組120用來擷取和該影像對應之一聲音，以產生一聲波資料S。分流模組121接收聲波資料S，並將其傳輸至音訊壓縮模組122。音訊壓縮模組122用來對聲波資料S編碼並轉換成一音訊資料SC 。編碼器130對視訊資料D1 及音訊資料SC 進行編碼並產生一媒體檔案，例如WMV(Windows Media Video)檔案。因此，在錄製模式下，攝像電子裝置100顯示視訊資料D，同時將視訊資料及聲波資料進行編碼，以錄製該影像及聲音於一檔案中。
請同時參考第1圖及第2圖。從預覽模式切換至錄製模式時，攝像電子裝置100將錄製模式不需要的模組移除，例如零值渲染模組114，同時加入錄製模式需要的模組，例如音訊擷取模組120、音訊壓縮模組122以及編碼器130。然而，在切換模式時會重新初始化視訊擷取模組120之一攝影鏡頭。在初始化攝影鏡頭時，攝影鏡頭需要進行調整動作，例如自動對焦以及調節攝像亮度。也就是說，攝影鏡頭在初始化的過程中會降低攝像電子裝置100所錄製的視訊品質。一般而言，採用延遲攝像電子裝置100開始錄製的時間，以改善此問題；意即丟棄初始化階段的視訊資料。然而，延遲錄製仍有兩個缺點：
1.攝影鏡頭具有許多種類，而各攝影鏡頭所需之初始化時間不一，也就是說延遲錄製的長度並無標準。
2.延遲錄製所丟棄的視訊資料可能含有重要的內容。
因此，當攝像電子裝置100從預覽模式切換至錄製模式時，攝影鏡頭的初始化會影響攝像電子裝置100所錄製的視訊資料品質，造成使用者的不便。再者，當攝像電子裝置100開始錄製時，視訊資料D1 及音訊資料SC 藉由各自的時間印記進行同步，而視訊資料D1 的時間印記由攝像頭輸出視訊時記錄上去，但是攝像電子裝置100長時間操作在預覽模式之下時，視訊資料D1 的時間印記常常會發生錯誤，會造成影像滯後的問題。
因此，本發明之一目的在於提供一即時切換預覽模式及錄製模式之攝像電子裝置，以改善預覽模式及錄製模式切換過程中攝像電子裝置之錄製品質。
本發明提供一種攝像電子裝置。該攝像電子裝置包含一編碼器、一視訊擷取模組、一快照模組、一音訊擷取模組、一媒體傳送模組以及一音訊壓縮模組。該編碼器用來將一視訊資料及一音訊資料進行編碼以產生一媒體檔案。該視訊擷取模組用來擷取一影像，以產生該視訊資料。該快照模組用來控制是否輸出該視訊資料至該編碼器。該音訊擷取模組用來擷取一聲音，以產生一聲波資料。該媒體傳送模組用來控制是否輸出該聲波資料。該音訊壓縮模組用來將該聲波資料轉換為該音訊資料，並將該音訊資料輸出至該編碼器。
本發明另提供一種處理音訊及視訊之方法。該處理音訊及視訊之方法包含利用一視訊擷取模組來擷取一影像，以產生一視訊資料；利用一快照模組來控制是否輸出該視訊資料至一編碼器；利用一音訊擷取模組來擷取一聲音，以產生一聲波資料；利用一媒體傳送模組來控制是否輸出該聲波資料至一音訊壓縮模組；以及利用該音訊壓縮模組將該聲波資料轉換為一音訊資料，並將該音訊資料輸出至該編碼器。
請參考第3圖所示，為本發明之攝像電子裝置300在預覽模式及錄製模式下之示意圖。攝像電子裝置300包含一視訊擷取(Capture)模組310、一影像效果模組340、二分流(Smart Tee)模組311及321、一時間印記(Timestamp)模組312、一快照(Snapshot)模組313、一視訊解壓縮(AVI Decompressor)模組315、一視訊播放(Video Mixing Renderer,VMR)模組316、一音訊擷取模組320、一音訊壓縮模組322、一媒體傳送(Media Pipe)模組323以及一編碼器330。
其中，攝像電子裝置300之運作方式說明如下：首先，視訊擷取模組310用來擷取一影像以產生一視訊資料D。影像效果模組340用來對視訊資料D增加一影像效果，並輸出具有影像效果之視訊資料DE 至分流模組311。分流模組311用來將視訊資料DE 分流為視訊資料D1 及D2 。視訊資料D1 、D2 與視訊資料DE 之內容相同。分流模組311將視訊資料D1 及D2 分別傳送至時間印記模組312以及視訊解壓縮模組315。時間印記模組312用來調整視訊資料D1 之時間印記，並將校正時間印記後之視訊資料DS 輸出至快照模組313。本實施例中，時間印記模組312會先計算上一幀影像的時長，以作為當前幀影像的時長，以調整當前幀影像的顯示時間，即可使影像與聲音同步。快照模組313用來控制是否輸出視訊資料DS 至編碼器330。視訊解壓縮模組315用來將視訊資料D2 之格式轉換為視訊播放模組316可播放之顯示資料DD 。音訊擷取模組320用來擷取和該影像對應之一聲音，以產生一聲波資料S。分流模組321接收聲波資料S，並將聲波資料S傳輸至媒體傳送模組323。媒體傳送模組323用來控制是否輸出聲波資料S至音訊壓縮模組322。音訊壓縮模組322對聲波資料S進行編碼以將聲波資料S轉換成一音訊資料SC 。編碼器330對視訊資料DS 及音訊資料SC 進行編碼並產生一媒體檔案。舉例來說，媒體檔案可為WMV(Windows Media Video)格式。
相較於攝像電子裝置100，攝像電子裝置300利用快照模組313以及媒體傳送模組323來作為控制視訊資料DS 及音訊資料SC 進入編碼器330的開關。更進一步地說，當攝像電子裝置300運作於預覽模式時，快照模組313停止輸出視訊資料DS 至該編碼器330並將視訊資料DS 丟棄，而媒體傳送模組323停止輸出音訊資料SC 至音訊壓縮模組322。當攝像電子裝置300運作於錄製模式時，快照模組313將視訊資料DS 輸出至編碼器330，而媒體傳送模組323將音訊資料SC 輸出至音訊壓縮模組322。換言之，本發明之攝像電子裝置300利用快照模組313以及媒體傳送模組323來切換於預覽模式及錄製模式。如此一來，攝像電子裝置300在切換運作模式時並不需要更新模組，也就是在切換模組時不需要初始化視訊擷取模組310之攝影鏡頭。因此，本發明之攝像電子裝置300可即時從預覽模式切換至錄製模式，並且不會影響到錄製的品質。
請參考第4圖。第4圖為第3圖之影像效果模組340之示意圖。影像效果模組340用來對視訊資料增加一影像效果。影像效果包含減少雜訊(denoise)、水平翻轉(horizontal flip)、垂直翻轉(vertical flip)以及圖片疊加(image superposition)之影像效果之動態連結資料庫(Dynamic Linked Library,DLL)。影像效果為一預定顏色空間格式，例如YUY2。由於每一影像效果為獨立之動態連結資料庫，所以影像效果模組340可根據不同的需求將對應之動態連結資料庫載入。
需注意的是，第3圖所示之攝像電子裝置300為本發明之一實施例之示意圖，本領域具通常知識者當可據以做不同之修飾或變化。舉例來說，視訊擷取模組310可另包含一合成模組，用來將視訊擷取模組310所擷取之視訊資料與一預設圖片結合，以產生一合成圖片。請同時參考第4圖及第5圖。第5圖為說明本發明之合成模組500之示意圖。如第5圖所示，合成模組500利用攝像電子裝置300之視訊擷取模組310、視訊解壓縮模組315、快照模組313以及視訊播放模組316，並另包含一媒體流(media stream)模組510、一分流模組511、一色空間轉換(color space converter)模組512以及一零值渲染(null render)模組514。視訊擷取模組擷取一影像後產生視訊資料D。視訊解壓縮模組將視訊資料D轉換為顯示資料DD 。媒體流模組510從顯示資料DD 擷取一圖片資料，並將該圖片資料與一預設圖片結合，以產生一合成資料PC 。舉例來說，該圖片資料為一人臉資料，而該預設圖片為一預設人臉資料。分流模組511將合成資料分流為合成資料P1 及P2 。合成資料P1 及P2 與合成資料PC 之內容相同。分流模組511將合成資料P1 及P2 分別傳送至快照模組313以及色空間轉換模組512。快照模組313用來於錄製模式時將合成資料P1 傳輸至零值渲染模組514。零值渲染模組514用來將合成資料P1 丟棄。色空間轉換模組512可將合成資料P2 之色空間進行轉換，以輸出一轉換後之合成資料PD 至視訊播放模組316。視訊播放模組316用來播放轉換後之合成資料PD 。
請參考第6圖。第6圖為媒體流模組510合成圖片之示意圖。以下將詳細說明媒體流模組510之操作流程，步驟說明如下：
步驟61：追蹤一人臉資料F上之複數個特徵點C1 ~Cn ；
步驟62：剪裁該人臉資料之一區域A；
步驟63：根據特徵點C1 ~Cn ，調整剪裁之區域A；
步驟64：根據剪裁之區域A，計算一預設人臉資料FD 之一對應區域AD ；
步驟65：遮罩(mask)對應區域AD ；
步驟66：將剪裁之區域A和預設人臉資料FD 結合。
於步驟61中，特徵點C1 ~Cn 可從人臉資料F上取得。舉例來說，特徵點C1 ~Cn 可以為左右眼角以及左右嘴角四個點。特徵點C1 ~Cn 大約描繪出人臉資料F之形狀資訊，例如人臉資料F之人臉傾斜角度以及人臉體態。特徵點C1 ~Cn 的數目可由使用者決定。於步驟62中，區域A係根據一合成參數從人臉資料F回饋而得。如果剪裁的區域A過小，可能會造成之後的合成圖片看起來不自然。如果剪裁的區域A過大會造成系統多餘的運算負擔。因此，媒體流模組510根據前一幀之人臉資料之合成參數來決定目前人臉資料F之合成參數，以最佳化區域A。於步驟63中，根據追蹤到之特徵點C1 ~Cn 所描繪出之人臉資料F形狀資訊來調整區域之形狀。於步驟64中，根據剪裁之區域A，媒體流模組510計算一預設人臉資料FD 上所對應之一區域AD ，並於步驟65中遮罩人臉資料FD 上之區域AD 。最後，再將區域A和遮罩後之預設人臉資料FD 於步驟66結合。
綜上所述，本發明係提供一種即時切換預覽及錄製模式之攝像電子裝置，用來改善切換過程中初始化攝影鏡頭對錄製的視訊資料品質的影響。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、300．．．攝像電子裝置
110、310．．．視訊擷取模組
111、121、311、321、511．．．分流模組
112、312．．．時間印記模組
113、313．．．快照模組
114、514．．．零值渲染模組
115、315．．．視訊解壓縮模組
116、316．．．視訊播放模組
120、320．．．音訊擷取模組
122、322．．．音訊壓縮模組
130、330．．．編碼器
323．．．媒體傳送模組
340．．．影像效果模組
500．．．合成模組
510．．．媒體流模組
512．．．色空間轉換模組
61~66．．．步驟
D、DE 、D1 、D2 、DS ．．．視訊資料
DD ．．．顯示資料
S．．．聲波資料
SC ．．．音訊資料
P．．．圖片資料
P1 、P2 、PC 、PD ．．．合成資料
C1 ~C4 ．．．特徵點
A、AD ．．．區域
F．．．人臉資料
FD ．．．預設人臉資料
第1圖為先前技術之攝像電子裝置在預覽模式下之過濾器圖。
第2圖為先前技術之攝像電子裝置在錄製模式下之過濾器圖。
第3圖為本發明之攝像電子裝置在預覽模式及錄製模式下之過濾器圖。
第4圖為第3圖之影像效果模組之示意圖。
第5圖為說明本發明之合成模組之示意圖。
第6圖為媒體流模組合成圖片之示意圖。
300．．．攝像電子裝置
310．．．視訊擷取模組
311、321．．．分流模組
312．．．時間印記模組
313．．．快照模組
315．．．視訊解壓縮模組
316．．．視訊播放模組
320．．．音訊擷取模組
322．．．音訊壓縮模組
323．．．媒體傳送模組
330．．．編碼器
D、DE 、D1 、D2 、DS ．．．視訊資料
DD ．．．顯示資料
S．．．聲波資料
SC ．．．音訊資料

Claims (8)

  1. 一種具有預覽功能之攝像電子裝置，可用以錄製一具有一視訊資料與一音訊資料之影像，該攝像電子裝置包含：一視訊擷取模組，用來產生該視訊資料，該視訊擷取模組包含一攝影鏡頭；一快照模組，用以接收該視訊資料；一視訊播放模組，用以播放該視訊資料；一音訊擷取(capture)模組，當在錄製該影像時，用來擷取對應該影像之聲音，以產生一聲波資料；一媒體傳送(media pipe)模組，接收該聲波資料；一音訊壓縮(ACM wrapper)模組，用來將該聲波資料轉換為該音訊資料；以及一編碼器，用以將該視訊資料及該音訊資料進行編碼以產生一媒體檔案；其中，在預覽模式下，該快照模組不輸出該視訊資料至該編碼器，且該媒體傳送模組不輸出該聲波資料至該編碼器，使用者經由視訊播放模組，預覽該視訊資料；當在錄製模式之下，該快照模組輸出該視訊資料至該編碼器，且該媒體傳送模組輸出該聲波資料至該編碼器，以產生該媒體檔案；以及其中，該攝像電子裝置利用該快照模組及該媒體傳送模組切換該預覽模式及該錄製模式，因此當該攝像電子裝置由該預 覽模式切換至該錄製模式時，該視訊擷取模組的攝影鏡頭不被初始化。
  2. 如請求項1所述之攝像電子裝置，另包含：一視訊解壓縮模組(AVI decompressor)，用來將該視訊資料進行轉換；一時間印記模組，藉由上一幀影像之時長，以校正該視訊資料之時間印記，並將該校正後之視訊資料輸出至該快照模組；一第一分流模組，用來接收該視訊擷取模組所產生之該視訊資料，並將該視訊資料分別輸出至該時間印記模組及該視訊解壓縮模組；以及一第二分流模組，用來接收該音訊擷取模組產生之該聲波資料，並將該聲波資料輸出至該媒體傳送模組。
  3. 如請求項2所述之攝像電子裝置，另包含：一影像效果模組，用來對該視訊擷取模組所產生之該視訊資料增加一影像效果，並輸出具有該影像效果之視訊資料至該第一分流模組。
  4. 如請求項3所述之攝像電子裝置，其中該影像效果包含減少雜訊、水平翻轉、垂直翻轉以及圖片疊加。
  5. 如請求項4所述之攝像電子裝置，其中該影像效果模組包含減少雜訊、水平翻轉、垂直翻轉以及圖片疊加之影像效果之動態連結資料庫(Dynamic Linked Library)。
  6. 如請求項2所述之攝像電子裝置，另包含：一媒體流模組，用來從該視訊資料中擷取一圖片資料，並將該圖片資料與一預設圖像互相結合，以產生一合成資料；一色空間轉換模組，用來轉換該合成資料之色空間，並將轉換後之合成資料輸出至該視訊播放模組；以及一第三分流模組，用來接收該合成資料，並將該合成資料分別輸出至該色空間轉換模組及該快照模組。
  7. 如請求項6所述之該攝像電子裝置，其中該圖片資料為一人臉(human face)資料，而該預設圖像為一預設人臉資料。
  8. 如請求項1所述之攝像電子裝置，其中當該攝像電子裝置於預覽操作時，該快照模組將該視訊資料丟棄。
TW98115823A 2009-05-13 2009-05-13 攝像電子裝置 TWI392344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW98115823A TWI392344B (zh) 2009-05-13 2009-05-13 攝像電子裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW98115823A TWI392344B (zh) 2009-05-13 2009-05-13 攝像電子裝置

Publications (2)

Publication Number Publication Date
TW201041375A TW201041375A (en) 2010-11-16
TWI392344B true TWI392344B (zh) 2013-04-01

Family

ID=44996291

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98115823A TWI392344B (zh) 2009-05-13 2009-05-13 攝像電子裝置

Country Status (1)

Country Link
TW (1) TWI392344B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140830A1 (en) * 2001-03-29 2002-10-03 Yusuke Shirakawa Signal processing apparatus and method, and image sensing apparatus
US20060110055A1 (en) * 2004-11-24 2006-05-25 Sony Corporation Recorder and method therefor, player and therefor, program, and recording medium
US7260266B2 (en) * 2002-10-04 2007-08-21 Konica Corporation Image processing method, image processing apparatus, image processing program and image recording apparatus
US20080219644A1 (en) * 2000-09-18 2008-09-11 Matsushita Electric Industrial Co., Ltd. Audio/video information recording/reproducing device and method therefor
US7499108B2 (en) * 2004-10-01 2009-03-03 Sharp Kabushiki Kaisha Image synthesis apparatus, electrical apparatus, image synthesis method, control program and computer-readable recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080219644A1 (en) * 2000-09-18 2008-09-11 Matsushita Electric Industrial Co., Ltd. Audio/video information recording/reproducing device and method therefor
US20020140830A1 (en) * 2001-03-29 2002-10-03 Yusuke Shirakawa Signal processing apparatus and method, and image sensing apparatus
US7260266B2 (en) * 2002-10-04 2007-08-21 Konica Corporation Image processing method, image processing apparatus, image processing program and image recording apparatus
US7499108B2 (en) * 2004-10-01 2009-03-03 Sharp Kabushiki Kaisha Image synthesis apparatus, electrical apparatus, image synthesis method, control program and computer-readable recording medium
US20060110055A1 (en) * 2004-11-24 2006-05-25 Sony Corporation Recorder and method therefor, player and therefor, program, and recording medium

Also Published As

Publication number Publication date
TW201041375A (en) 2010-11-16

Similar Documents

Publication Publication Date Title
KR101905648B1 (ko) 카메라 장치의 동영상 촬영방법 및 장치
JP4724577B2 (ja) 撮像装置及びその制御方法
US20070296826A1 (en) Picture processing apparatus, imaging apparatus and method of the same
JPH10187929A (ja) 画像処理装置
JP2007336515A (ja) カメラ、画像出力装置、画像出力方法、画像記録方法、プログラム及び記録媒体
JP2008301286A (ja) 撮像装置及びその制御方法
WO2003085969A1 (fr) Systeme d'enregistrement d'image captee, dispositif d'enregistrement de signal et procede d'enregistrement de signal
JP2006295851A (ja) 画像処理システム，撮像装置，撮像方法，画像再生装置および画像再生方法
JP2007124397A (ja) 画像処理装置および画像処理方法
JP2003219341A (ja) ムービ・スチル・カメラおよびその動作制御方法
TWI392344B (zh) 攝像電子裝置
US20100289927A1 (en) Image capturing electronic device
JP4973497B2 (ja) 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム
JP4239997B2 (ja) 撮像装置、動画撮影中の静止画撮影方法、及びプログラム
JP2013118518A (ja) 撮像装置
JP2002262250A (ja) テレビ会議装置
JP2001309212A (ja) デジタルカメラ
JP2005260962A (ja) 複合撮影装置及びそれを利用した音響記録方法
JP3957168B2 (ja) モーション・コントロール・カメラ
US20150139627A1 (en) Motion picture playback apparatus and method for playing back motion picture
Wimmer Stereoscopic player and stereoscopic multiplexer: a computer-based system for stereoscopic video playback and recording
JP2004048563A (ja) 撮像装置および画像処理方法
JP2015029211A (ja) 撮像装置
JP4974841B2 (ja) 映像データ記録装置
JP2004120279A (ja) 動画・テキスト編集装置、編集方法及び編集プログラム