TWI579838B - 編譯視訊的自動產生 - Google Patents

編譯視訊的自動產生 Download PDF

Info

Publication number
TWI579838B
TWI579838B TW104105883A TW104105883A TWI579838B TW I579838 B TWI579838 B TW I579838B TW 104105883 A TW104105883 A TW 104105883A TW 104105883 A TW104105883 A TW 104105883A TW I579838 B TWI579838 B TW I579838B
Authority
TW
Taiwan
Prior art keywords
video
data
original
compiled
frames
Prior art date
Application number
TW104105883A
Other languages
English (en)
Other versions
TW201545160A (zh
Inventor
帕庫拉留米哈尼亞卡林
馮錫尼迪倫安德烈
阿諾凱文
Original Assignee
萊芙麥斯公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 萊芙麥斯公司 filed Critical 萊芙麥斯公司
Publication of TW201545160A publication Critical patent/TW201545160A/zh
Application granted granted Critical
Publication of TWI579838B publication Critical patent/TWI579838B/zh

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

編譯視訊的自動產生
本揭露大致上係關於自動產生編譯視訊。
數位視訊已逐漸與照片一樣無所不在。由於視訊感測器尺寸縮小及品質提升,使得視訊攝影機更加能運用於各種應用中。配備視訊攝影機的行動電話即是視訊攝影機更容易取得且更加可用的實例之一。經常為可穿戴的小型可攜式視訊攝影機則是另一實例。YouTube、Instagram及其他社群網站的出現,讓使用者更容易與他人分享視訊。
本文所提及之闡釋性實施例並非限制或定義本發明,而是提供實例以輔助瞭解本發明。其他實施例會於【實施方式】中論述,也會於其中提供更進一步說明。可藉由檢視本說明書,或實作所提供的一或多項實施例,進一步瞭解各項實施例之一或多者提供之優點。
本文所描述的實施例包括基於與原始視訊相關聯的中繼資料而從該原始視訊自動建立編譯視訊的系統及方法。例如,一種用於建立編譯視訊之方法可包括:判定原始視訊中視訊圖框之相關性評 分;基於該相關性評分,從該原始視訊中選取複數個相關視訊圖框;基於該等視訊圖框的該等相關性評分,從該原始視訊中選取複數個視訊剪輯片段;及從該複數個視訊剪輯片段建立編譯視訊。例如,該複數個視訊剪輯片段之各者可包括來自該複數個相關視訊圖框之至少一相關視訊圖框。
在某些實施例中,該原始視訊可包括兩個或更多個原始視訊。該複數個相關視訊圖框之各者可選自該兩個或更多個原始視訊中之一者,及/或該視訊剪輯片段之各者可選自該兩個或更多個原始視訊剪輯片段中之一者。在某些實施例中,該方法可包括從視訊攝影機輸出該編譯視訊。在某些實施例中,該複數個視訊剪輯片段之各者可包括經定位在相對應之該等相關視訊圖框之前或之後抑或之前及之後的視訊圖框。在某些實施例中,該方法亦可包括:接收該原始視訊;及接收與該原始視訊相關聯的視訊中繼資料,其中基於該視訊中繼資料來判定該相關性評分。在某些實施例中,可基於一或多個資料項來判定該相關性評分,該一或多個資料項係選自由地理位置資料、動作資料、人物標籤資料、語音標籤資料、動作標籤資料、時間資料及音訊資料所組成的清單。
在某些實施例中,該方法亦可包括接收包含歌曲之數位音訊檔案,其中所建立的該編譯視訊之長度相同於該歌曲之長度。在某些實施例中,該相關性評分係基於與該等視訊圖框相關聯之語音標籤與該歌曲中之歌詞的相似性。
在某些實施例中,該方法亦可包括:判定編譯視訊長度;及基於該編譯視訊長度來調整該複數個視訊剪輯片段之該長度。
亦提供一種根據本文所描述之某些實施例之攝影機。該攝影機可包括:影像感測器;記憶體;以及處理單元,其與該影像感測器及該記憶體電性耦合。該處理單元可經組態以:使用該影像感測器來錄製原始視訊,其中該原始視訊可包括複數個視訊圖框;將該原始視訊儲存在該記憶體中;判定該原始視訊中之該等視訊圖框的相關性評分;基於該相關性評分,從該原始視訊中選取複數個該等視訊圖框;基於該複數個視訊圖框,從該原始視訊中選取複數個視訊剪輯片段,其中該複數個視訊剪輯片段之各者可包括來自該複數個視訊圖框之至少一視訊圖框;及從該複數個視訊剪輯片段建立編譯視訊。
在某些實施例中,該攝影機可包含動作感測器。例如,該相關性評分可基於從該動作感測器所接收的動作資料。在某些實施例中,該攝影機可包含GPS感測器。例如,該相關性評分可基於從該GPS感測器所接收的GPS資料。
在某些實施例中,該處理單元可進一步經組態以錄製與該原始視訊相關聯的視訊中繼資料,其中基於該視訊中繼資料來判定該相關性評分。在某些實施例中,可基於一或多個資料項來判定該相關性評分,該一或多個資料項係選自由地理位置資料、動作資料、人物標籤資料、語音標籤資料、動作標籤資料、時間資料及音訊資料所組成的清單。
在某些實施例中,該處理單元可進一步經組態以接收包含歌曲之數位音訊檔案,其中所建立的該編譯視訊之長度相同於該歌曲之長度。在某些實施例中,該相關性評分係基於與視訊圖框相關聯之語音標籤與該歌曲中之歌詞的相似性。
本發明之實施例亦包括一種用於建立編譯視訊之方法。該方法包括:判定原始視訊中之第一視訊圖框的第一相關性評分;判定該原始視訊中之第二視訊圖框的第二相關性評分;選取第一視訊剪輯片段,該第一視訊剪輯片段可包含該原始視訊之複數個連續視訊圖框,其中該第一視訊剪輯片段包括該第一視訊圖框;選取第二視訊剪輯片段,該第二視訊剪輯片段可包含該原始視訊之複數個連續視訊圖框,其中該第二視訊剪輯片段包括該第二視訊圖框;及建立包含該第一視訊剪輯片段與該第二視訊剪輯片段的編譯視訊。
在某些實施例中,可基於一或多個資料項來判定該相關性評分,該一或多個資料項係選自由地理位置資料、動作資料、人物標籤資料、語音標籤資料、動作標籤資料、時間資料及音訊資料所組成的清單。在某些實施例中,該方法亦可包括:判定該原始視訊之複數個視訊圖框之各者的相關性評分,使得該第一相關性評分及該第二相關性評分大於大多數的該複數個視訊圖框之該等相關性評分。
在某些實施例中,該方法亦可包括:判定編譯視訊長度;及基於該編譯視訊長度來調整該第一視訊剪輯片段及該第二視訊剪輯片段之一者或兩者的長度。在某些實施例中,該第一視訊剪輯片段可包括經定位在該第一視訊圖框之前或之後抑或之前及之後的複數 個視訊圖框;以及該第二視訊剪輯片段可包括經定位在該第二視訊圖框之前或之後抑或之前及之後的複數個視訊圖框。
在某些實施例中,該原始視訊可包括中繼資料。自該中繼資料判定該第一相關性評分,且自第二中繼資料判定該第二相關性評分。在某些實施例中,該原始視訊可包括第一原始視訊及第二原始視訊。該第一視訊剪輯片段可包括該第一原始視訊的複數個連續視訊圖框,且該第二視訊剪輯片段可包括該第二原始視訊的複數個連續視訊圖框。
100‧‧‧攝影機系統
110‧‧‧攝影機
115‧‧‧麥克風
120‧‧‧控制器
125‧‧‧記憶體
130‧‧‧GPS感測器
135‧‧‧動作感測器
140‧‧‧感測器
145‧‧‧使用者介面
200‧‧‧資料結構
205‧‧‧視訊圖框
210‧‧‧音訊軌道
211‧‧‧音訊軌道
212‧‧‧音訊軌道
213‧‧‧音訊軌道
215‧‧‧開放軌道
220‧‧‧動作軌道
225‧‧‧地理位置軌道
230‧‧‧其他感測器軌道
235‧‧‧開放離散軌道
240‧‧‧語音標籤軌道
245‧‧‧動作標籤軌道
250‧‧‧人物標籤軌道
300‧‧‧資料結構
400‧‧‧封包化視訊資料結構
401‧‧‧視訊軌道
402‧‧‧視訊軌道
403‧‧‧視訊軌道
404‧‧‧視訊軌道
410‧‧‧音訊軌道
411‧‧‧音訊軌道
420‧‧‧中繼資料軌道
421‧‧‧地理位置子軌道
422‧‧‧動作子軌道
423‧‧‧語音標籤子軌道
424‧‧‧動作標籤子軌道
425‧‧‧人物標籤子軌道
500‧‧‧程序
505‧‧‧程序區塊
510‧‧‧程序區塊
515‧‧‧程序區塊
520‧‧‧程序區塊
600‧‧‧程序
606‧‧‧程序區塊
610‧‧‧程序區塊
615‧‧‧程序區塊
620‧‧‧程序區塊
625‧‧‧程序區塊
700‧‧‧程序
705‧‧‧程序區塊
710‧‧‧程序區塊
715‧‧‧程序區塊
720‧‧‧程序區塊
725‧‧‧程序區塊
730‧‧‧程序區塊
735‧‧‧程序區塊
740‧‧‧程序區塊
800‧‧‧程序
805‧‧‧程序區塊
810‧‧‧程序區塊
815‧‧‧程序區塊
820‧‧‧程序區塊
825‧‧‧程序區塊
900‧‧‧程序
905‧‧‧程序區塊
910‧‧‧程序區塊
915‧‧‧程序區塊
920‧‧‧程序區塊
925‧‧‧程序區塊
930‧‧‧程序區塊
935‧‧‧程序區塊
940‧‧‧程序區塊
945‧‧‧程序區塊
1000‧‧‧運算系統
1005‧‧‧匯流排
1010‧‧‧處理器
1015‧‧‧輸入裝置
1020‧‧‧輸出裝置
1025‧‧‧儲存裝置
1030‧‧‧通訊子系統
1035‧‧‧工作記憶體
1040‧‧‧作業系統
1045‧‧‧應用程式
可藉由閱讀下文【實施方式】並參考所附圖式而更佳瞭解本揭露之各項特徵、特點及優點。
圖1繪示根據本文所描述之某些實施例之例示攝影機系統。
圖2繪示根據本文所描述之某些實施例之例示資料結構。
圖3繪示根據本文所描述之某些實施例之例示資料結構。
圖4繪示根據本文所描述之某些實施例之包含中繼資料之封包化視訊資料結構的實例。
圖5繪示根據本文所描述之某些實施例之用於建立編譯視訊之程序的例示流程圖。
圖6繪示根據本文所描述之某些實施例之用於建立編譯視訊之程序的例示流程圖。
圖7繪示根據本文所描述之某些實施例之用於建立編譯視訊之程序的例示流程圖。
圖8繪示根據本文所描述之某些實施例之用於使用音樂建立編譯視訊之程序的例示流程圖。
圖9繪示根據本文所描述之某些實施例之用於使用音樂從原始視訊建立編譯視訊之程序的例示流程圖。
圖10展示運算系統1000,用於執行功能以促進本文所描述實施例之實施。
本文所描述的實施例包括用於從一或多個原始視訊建立編譯視訊的方法及/或系統。編譯視訊為包括選自一或多個原始視訊之部分的一或多個視訊剪輯片段並將這些剪輯片段組合成單一視訊的視訊。亦可基於與原始視訊相關聯之中繼資料的相關性來建立編譯視訊。例如,相關性可指示發生於原始視訊中由動作資料所代表的興奮程度(level of excitement)、錄製原始視訊的位置、錄製原始視訊的時間與日期、原始視訊中所使用的字詞、原始視訊中的語音音調、及/或原始視訊中個人的臉部,以及其他。
原始視訊是由一攝影機或多個攝影機所錄製之視訊集合的視訊。原始視訊可包括一或多個視訊圖框(單一視訊圖框可為一相片),及/或可包括中繼資料,例如圖2及圖3所示之資料結構中的中繼資料。中繼資料亦可包括其他資料,例如相關性評分。
視訊剪輯片段為原始視訊中之一或多個連續或相鄰的視訊圖框之集合。視訊剪輯片段可包括單一視訊圖框,且可視為一相片 或一影像。編譯視訊為可組合成單一視訊之一或多個視訊剪輯片段的集合。
在某些實施例中,可基於與一或多個視訊內視訊圖框相關聯的相關性評分從該一或多個原始視訊來自動建立編譯視訊。例如,可從具有最高或高相關性評分的視訊剪輯片段來建立編譯視訊。原始視訊之各視訊圖框或原始視訊之選取部分可基於任何類型資料而被給定相關性評分。此資料可為在錄製視訊時所收集的中繼資料、或後製處理期間從視訊(或音訊)所建立的中繼資料。接著可基於這些相關性評分將視訊剪輯片段組織成一編譯視訊。
在某些實施例中,可針對攝影機所錄製的每一原始視訊建立編譯視訊。例如,這些編譯視訊可用作為預覽用途,諸如影像縮圖,及/或編譯視訊之各者的長度可短於原始視訊之各者的長度。
圖1繪示根據本文所描述之某些實施例之攝影機系統100之例示方塊圖,攝影機系統100可用於錄製原始視訊,及/或基於原始視訊來建立編譯視訊。攝影機系統100包括攝影機110、麥克風115、控制器120、記憶體125、GPS感測器130、動作感測器135、(多個)感測器140及/或使用者介面145。控制器120可包括任何類型的控制器、處理器或邏輯。例如,控制器120可包括圖10所示之運算系統1000的全部或任何組件。攝影機系統100可為智慧手機或平板電腦。
攝影機110可包括此項領域已知之可錄製任何長寬比、大小及/或圖框速率之數位視訊的攝影機。攝影機110可包括採樣及錄 製視野的影像感測器。例如,影像感測器可包括CCD或CMOS感測器。例如,攝影機110所錄製的數位視訊之長寬比可為1:1、4:3、5:4、3:2、16:9、10:7、9:5、9:4、17:6等或任何其他長寬比。舉另一實例,攝影機影像感測器的大小可為900萬像素、1500萬像素、2000萬像素、5000萬像素、1億像素、2億像素、5億像素、1兆像素等或任何其他像素大小。舉另一實例,圖框速率可為24每秒圖框數(fps)、25fps、30fps、48fps、50fps、72fps、120fps、300fps等或任何其他圖框速率。圖框速率可為交錯(interlaced)或逐行(progressive)格式。另外,攝影機110亦可錄製3D視訊。攝影機110可提供原始或經過壓縮的視訊資料。攝影機110所提供的視訊資料可包括依時間連結在一起的一連串視訊圖框。視訊資料可直接或間接儲存於記憶體125中。
麥克風115可包括用於收錄音訊的一或多個麥克風。音訊可以錄製成單音、立體音、環繞音效(任意數量軌道)、杜比等,或任何其他音訊格式。另外,音訊可被壓縮、編碼、過濾、壓縮等。音訊資料可以直接或間接儲存於記憶體125中。例如,音訊資料亦可包括任意數量軌道。例如,立體音訊可使用兩個軌道。且,例如,環繞音效5.1音訊可包括六個軌道。
控制器120可以與攝影機110及麥克風115通訊耦合,及/或可控制攝影機110與麥克風115的運作。控制器120亦可用於同步音訊資料及視訊資料。控制器120亦可先執行視訊資料及/或音訊資 料的各種類型處理、過濾、壓縮等,之後再將視訊資料及/或音訊資料儲存於記憶體125中。
GPS感測器130可以與控制器120及/或記憶體125通訊耦合(無線或有線方式)。GPS感測器130可包括可收集GPS資料的感測器。在某些實施例中,可以對GPS資料進行採樣,並依與儲存視訊圖框相同的速率將資料儲存於記憶體125中。可使用任何類型GPS感測器。例如,GPS資料可包括緯度、經度、海拔高度、與衛星進行定位的時間、代表使用多少衛星來確定GPS資料的數目、方位及速度。GPS感測器130可將GPS資料記錄至記憶體125中。例如,GPS感測器130可依與攝影機錄製視訊圖框相同的圖框速率來對GPS資料進行採樣,並依相同速率將GPS資料儲存於記憶體125中。例如,若依24fps來錄製視訊資料,則GPS感測器130可每秒採樣及儲存24次。可使用各種其他各種的採樣次數。另外,不同感測器可依不同的採樣速率來採樣及/或儲存資料。
動作感測器135可以與控制器120及/或記憶體125通訊耦合(無線或有線方式)。動作感測器135可將動作資料記錄至記憶體125中。動作資料可依與將視訊資料儲存於記憶體125中相同速率來進行採樣,並其儲存於記憶體125中。例如,若依24fps來錄製視訊資料,則動作感測器可每秒採樣及儲存24次。
例如,動作感測器135可包括加速度計、陀螺儀及/或磁力計。例如,動作感測器135可包括九軸感測器,此感測器可以輸出各個別感測器的三軸原始資料:加速度計、陀螺儀及磁力計,或九 軸感測器也能輸出描述感測器繞笛卡兒三軸旋轉的旋轉矩陣。另外,動作感測器135亦可提供加速度資料。動作感測器135可被採樣並將動作資料儲存於記憶體125中。
替代地,動作感測器135亦可包括個別的感測器,諸如個別的1軸、2軸或3軸加速度計、陀螺儀及/或磁力計。來自這些感測器的原始或經處理資料可儲存於記憶體125中以作為動作資料。
(多個)感測器140可包括與控制器120通訊耦合(無線或有線方式)的任意數量額外感測器,例如,諸如周圍光感測器、溫度計、大氣壓、心律、脈搏等。感測器140可以與控制器120及/或記憶體125通訊耦合。例如,(多個)感測器的資料可依與儲存視訊圖框相同的速率來進行採樣與儲存,或降低至如所選取之感測器資料串流的實際速率。例如,若視訊資料係以24fps錄製,則(多個)感測器的資料可以每秒採樣及儲存24次,而GPS可以按1fps來採樣。
使用者介面145可以與任何類型輸入/輸出裝置通訊耦合(無線或有線方式),並且可包括任何類型輸入/輸出裝置,包括按鈕及/或觸控螢幕。使用者介面145可經由有線或無線介面而與控制器120及/或記憶體125通訊耦合。使用者介面可以由使用者提供指令及/或輸出資料給使用者。各種使用者輸入可儲存於記憶體125中。例如,使用者可以輸入錄製中之原始視訊的標題、位置名稱、個人名稱等等。從各種其他裝置或從其他輸入裝置所採樣的資料可以儲存於記憶體125中。使用者介面145亦可包括可輸出一或多個編譯視訊的顯示器。
圖2為根據本文所描述之某些實施例之視訊資料之資料結構200的實例圖,資料結構200包括可用於來建立編譯視訊的視訊中繼資料。資料結構200展示如何在資料結構200內包含或包裝各種組件。在圖2,時間沿著水平軸延行,而視訊、音訊及中繼資料則沿著垂直軸延伸。在此實例中,五個視訊圖框205表示為「圖框X」、「圖框X+1」、「圖框X+2」、「圖框X+3」、「圖框X+4」。這些視訊圖框205可為更長視訊剪輯片段之小子集。每個視訊圖框205可為一影像,當該視訊圖框與其他的視訊圖框205一起擷取且依序播放時,構成一視訊剪輯片段。
資料結構200亦可包括四個音訊軌道210、211、212及213。來自麥克風115或其他來源的音訊可以儲存於記憶體125中,以作為一或多個音訊軌道。雖然圖中繪示四個音訊軌道,但可使用任意數量音訊軌道。在某些實施例中,這些音訊軌道之各者可包括環繞音效之一不同軌道,用於配音等,或用於其他用途。在某些實施例中,一音訊軌道可包括從麥克風115收錄的音訊。若使用一個以上麥克風115,則各麥克風可使用一軌道。在某些實施例中,一個音訊軌道可包括在進行後製處理期間或視訊擷取期間從一數位音訊檔案所接收的音訊。
根據本文所描述之某些實施例,音訊軌道210、211、212及213可為連續的資料軌道。例如,視訊圖框205為離散,且具有取決於攝影機圖框速率的固定時間位置。如圖所示,音訊軌道210、211、212及213在時間軸上可為非離散且可在時間上連續延 伸。一些音訊軌道可具有未與視訊圖框205對齊的開始與停止時期間,但在開始與停止時間之間是為連續的。
根據本文所描述之某些實施例,一開放軌道215可為保留給特定使用者應用的軌道。開放軌道215更可為一連續的軌道。資料結構200可包括任意數量的開放軌道。
根據本文所描述之某些實施例,動作軌道220可包括從動作感測器135所採樣的動作資料。動作軌道220可為離散軌道,其包括相對應於各視訊圖框205的離散資料值。例如,動作資料可由動作感測器135依與攝影機圖框速率相同的速率來進行採樣,並連同在採樣動作資料時所擷取的視訊圖框205一起儲存。例如,動作資料可先經過處理,之後儲存於動作軌道220中。例如,原始加速度資料可經過過濾及/或轉換成其他資料格式。
例如,根據本文所描述之某些實施例,動作軌道220可包括九個子軌道,而每個子軌道可包括來自九軸加速度計陀螺儀感測器的資料。舉另一實例,動作軌道220可包括含有旋轉矩陣的單一軌道。可使用各種其他資料格式。
根據本文所描述之某些實施例,地理位置軌道225可包括從GPS感測器130所採樣的位置、速度及/或GPS資料。地理位置軌道225可為離散軌道,其包括相對應於各視訊圖框205的離散資料值。例如,動作資料可由GPS感測器130依與攝影機圖框速率相同的速率來進行採樣,並連同在採樣動作資料時所擷取的視訊圖框205一起儲存。
例如,地理位置軌道225可包括三個子軌道,各子軌道代表從GPS感測器130所接收的緯度、經度及海拔高度資料。舉另一實例,地理位置軌道225可包括六個子軌道,各子軌道包括速度與位置的三維資料。舉另一實例,地理位置軌道225可包括單一軌道,該軌道包括表示速率與位置的矩陣。另一子軌道可表示與衛星進行定位的時間及/或代表使用多少衛星來確定GPS資料的數目。可使用各種其他資料格式。
根據本文所描述之某些實施例,另一感測器軌道230可包括從感測器240所採樣的資料。可使用任意數量的其他感測器軌道。其他感測器軌道230可為離散軌道,其包括相對應於各視訊圖框205的離散資料值。其他感測器軌道可包括任意數量的子軌道。
根據本文所描述之某些實施例,開放離散軌道235為保留給特定使用者或第三方應用的開放軌道。開放離散軌道235尤其可為一離散軌道。資料結構200可包括任意數量的開放離散軌道。
根據本文所描述之某些實施例,語音標籤軌道240可包括以語音起始的標籤。語音標籤軌道240可包括任意數量的子軌道;例如,子軌道可包括來自不同個人的語音標籤及/或用於覆疊語音標籤。可立即或在後製處理期間進行加語音標籤。在某些實施例中,語音標籤可識別透過麥克風115所說出且經錄製的選取字詞,並儲存用以識別如在相關聯圖框期間所說出之此等字詞的文字。例如,語音標籤可將所說出之字詞「開始!」識別為與將被錄製到將要播放的視訊圖框中的動作之開始(例如,比賽開始)相關聯。舉另一實例,語音 標籤可將所說出之字詞「哇!」識別為正錄製到視訊圖框或多個視訊圖框中的一有趣事件。在語音標籤軌道240中可加標籤於任意數量的字詞。在某些實施例中,語音標籤可以將所有的所說出之字詞轉譯成文字,並將文字儲存至語音標籤軌道240中。
動作標籤軌道245可包括指示各種動作相關資料的資料,諸如加速度資料、速率資料、速度資料、鏡頭拉遠資料、鏡頭拉近資料等等。例如,某些動作資料可導出自從動作感測器135或GPS感測器130所採樣的資料,及/或導出自動作軌道220及/或地理位置軌道225中的資料。發生於一視訊圖框或一連串視訊圖框之特定加速度或加速度改變(例如,動作資料的改變高於指定臨限值),可導致視訊圖框、複數個視訊圖框或特定時間被加標籤,以指示攝影機之特定事件發生,例如,旋轉、掉落、停止、開始、開始動作、碰撞、猛拉等等。可立即或在後製處理期間進行加動作標籤。
人物標籤軌道250可包括指示人物在視訊圖框內的名稱資料,以及在視訊圖框內,代表人物約略位置的矩形資訊。人物標籤軌道250可包括複數個子軌道。例如,各子軌道可包括作為資料元素的個人名稱,以及個人的矩形資訊。在某些實施例中,個人名稱可以置放至複數個視訊圖框之一者,以節省資料。
例如,可由四個以逗號分隔的十進位小數來表示矩形資訊,諸如「0.25,0.25,0.25,0.25」。前兩個值可指定左上角的座標;後兩個值指定矩形的高度與寬度。為定義人物矩形,影像的維度正規化至1,意指在「0.25,0.25,0.25,0.25」」實例中,矩形從距影像上方 的1/4處及距影像左邊的1/4處開始。矩形的高度與寬度皆為其個別影像維度大小的1/4。
可在錄製原始視訊時立即、或在後製處理期間進行加人物標籤。亦可結合識別影像中人物的社群網路應用程式來進行加人物標籤,並使用此資訊標註視訊圖框內的人物,並將人物名稱及矩形資訊新增至人物標籤軌道250。可使用任何的標籤演算法或常式對人物進行標註。
包括動作標籤、人物標籤及/或語音標籤的資料皆可被視為經處理之中繼資料。其他標籤或資料亦可為經處理之中繼資料。可從一些輸入(例如從感測器、視訊及/或音訊)來建立經處理之中繼資料。
在某些實施例中,離散軌道(例如動作軌道220、地理位置軌道225、其他感測器軌道230、開放離散軌道235、語音標籤軌道240、動作標籤軌道245及/或人物標籤軌道250)可跨一個以上視訊圖框。例如,可由跨五個視訊圖框的地理位置軌道225製成單一GPS資料項,以降低資料結構220的資料量。離散軌道中的資料所跨及的視訊圖框數目係基於標準而變化,或針對各視訊分段予以設定,並可在例如標題的中繼資料中指示。
可在資料結構220內使用及/或保留各種其他軌道。例如,其他離散或連續軌道可包括指定使用者資訊、硬體資料、照明資料、時間資訊、溫度資料、大氣壓力、羅盤資料、時鐘、時機、時間戳記等的資料。
儘管未繪示,但音訊軌道210、211、212及213可基於各視訊圖框的時序而為離散軌道。例如,可依逐圖框為基礎來封裝音訊資料。
圖3繪示根據本文所描述之某些實施例之資料結構300,資料結構300稍微類似於資料結構200,惟全部軌道為連續軌道除外。資料結構300展示如何在資料結構300內包含或包裝各種組件。資料結構300包含相同軌道。各軌道可包括加上時間戳記的資料,時間戳記係基於資料採樣時間或資料儲存為中繼資料之時間。各軌道可具有不同或相同的採樣速率。例如,動作資料可依一採樣速率儲存至動作軌道220中,而地理位置資料可依另一採樣速率儲存至地理位置軌道225中。各種採樣速率可取決於採樣的資料類型,或基於所選取的速率來設定。
圖4展示根據本文所描述之某些實施例之包括中繼資料之封包化視訊資料結構400的實例。資料結構400展示如何在資料結構400內包含或包裝各種組件。資料結構400展示在資料結構內包含視訊、音訊及中繼資料軌道。例如,資料結構400可為各種類型壓縮格式的延伸及/或包括各種類型壓縮格式的部分,諸如MPEG-4 part 14及/或Quicktime格式。資料結構400亦可相相容於各種其他MPEG-4類型及/或其他格式。
資料結構400包括四個視訊軌道401、402、403、404及兩個音訊軌道410、411。資料結構400亦包括一中繼資料軌道420,中繼資料軌道420可包括任何類型中繼資料。中繼資料軌道420 可具有靈活性,以在中繼資料軌道容納不同類型或數量的中繼資料。如圖所示,中繼資料軌道420可包括諸如地理位置子軌道421、動作子軌道422、語音標籤子軌道423、動作標籤子軌道424及/或人物標籤子軌道425。可包括各種其他子軌道。
中繼資料軌道420可包括標題,標題指定包含在中繼資料軌道420內之子軌道的類型,及/或包含在中繼資料軌道420內的資料量。替代地及/或此外,可在資料結構的開始找到標頭,或標頭為第一中繼資料之一部分。
圖5繪示根據本文所描述之某些實施例之用於一或多個原始視訊建立編譯視訊之程序500的例示流程圖。可由攝影機110之控制器120來執行程序500、及/或由任何運算裝置(諸如智慧手機及/或平板電腦)來執行程序500。程序500從程序區塊505開始。
在程序區塊505,可識別一組原始視訊。例如,可由使用者透過使用者介面來識別該組原始視訊。複數個原始視訊或原始視訊之縮圖可提供給使用者,然後使用者可識別哪些原始視訊要用於編譯視訊。在某些實施例中,使用者可以選取視訊的資料夾或播放清單。舉另一實例,原始視訊可經組織並提供給使用者、及/或基於與各種原始視訊相關聯的中繼資料予以識別,例如,諸如原始視訊之各者的錄製時間及/或日期、原始視訊之各者的錄製地理區域、原始視訊中所辨識出的特定字詞及/或特定臉部、一或多個原始視訊中的視訊剪輯片段是否有接受使用者動作(例如,經裁剪、經播放、經傳送電子郵件、經傳送訊息、經上傳至社群網路等等)、原始視訊的品質(例如, 原始視訊的一或多個視訊圖框是否曝光過度或不足、失焦、視訊有紅眼問題、照明問題等等)等等。例如,可使用本文所描述的任何中繼資料。另外,可使用一或多個中繼資料來識別視訊。舉另一實例,可使用下文結合圖6之程序600的程序區塊610論述的參數。
在程序區塊510,可以從音樂庫中選取音樂檔案。例如,程序區塊505中的原始視訊可以從位於桌上型電腦、筆記型電腦、平板電腦或智慧手機上的視訊(或相片)庫中來識別,且程序區塊510中的音樂檔案亦可從位於桌上型電腦、筆記型電腦、平板電腦或智慧手機上的音樂庫中來識別。可基於任意數量的因素來選取音樂檔案,例如:使用者所提供的音樂評等或評分;音樂已播放次數;音樂已跳過次數;音樂播放日期;音樂是否與一或多個原始視訊在同一天播放;音樂風格;與原始視訊有關之音樂風格;距上次播放音樂的時間有多久;音樂長度;使用者透過使用者介面所輸入的指示等等。可使用各種其他的因素來自動選取音樂。
在程序區塊515,可基於所選取與原始視訊相關聯的音樂及/或中繼資料,將來自原始視訊的視訊剪輯片段組織成編譯視訊。例如,在一組原始視訊中,可以從原始視訊之一或多者複製一或多個視訊剪輯片段,並用作為編譯視訊的一部分。可基於中繼資料從原始視訊之一或多者選取一或多個視訊剪輯片段。來自一或多個原始視訊的一或多個視訊剪輯片段的長度亦可基於中繼資料。替代地或此外,亦可基於所選取的時間週期來判定來自原始視訊之一或多者的一或多個視訊剪輯片段的長度。舉另一實例,可大致基於原始視訊或視訊剪 輯片段錄製的時間順序、及/或基於音樂的節奏或拍子,來依序新增一或多個視訊剪輯片段。再舉另一實例,原始視訊之各者或視訊剪輯片段之各者的相關性評分可用於組織構成編譯視訊的視訊剪輯片段。舉另一實例,可將一相片新增至編譯視訊以執行一設定時間週期或一設定圖框數目。再舉另一實例,可依一設定時間週期的時間進度將一連串相片新增至編譯視訊中。再舉另一實例,可將動作特效新增至相片中,例如Ken Burns特效、畫面移動(panning)及/或縮放。可使用各種其他的技術將視訊剪輯片段(及/或相片)組織成一編譯視訊。作為組織編譯視訊之部分,可使用音樂檔案作為編譯視訊的一或多個配樂的一部分或全部。
在程序區塊520,可從(例如)電腦裝置(例如視訊攝影機)輸出編譯視訊到視訊儲存中心(video storage hub)、電腦、筆記型電腦、平板電腦、手機、伺服器等等。例如,編譯視訊亦可上傳或傳送至社群媒體伺服器。編譯視訊亦可用作為透過使用者介面145呈現在攝影機或智慧手機之螢幕的預覽,展示包括或表示一或多個視訊之精華片段的一或多個視訊。亦可使用各種其他輸出裝置。
在某些實施例中,可在使用者透過使用者介面145提供一些動作後,輸出編譯視訊。例如,可回應於使用者按下觸控螢幕上之一按鈕來指示希望觀看編譯視訊,而播放編譯視訊。或舉另一實例,使用者可透過使用者介面145來指示希望將編譯視訊傳送到另一裝置。
在某些實施例中,可透過使用者介面145將編譯視訊連同用於建立編譯視訊的一或多個原始視訊(例如,各種視訊剪輯片段、視訊圖框及/或相片)之清單或圖例(例如,透過縮圖或描述符號)一起輸出給使用者。使用者可透過使用者介面,藉由透過使用者介面145進行選取,來指示應從編譯視訊移除一或多個原始視訊的視訊剪輯片段。在自編譯視訊刪除或移除視訊剪輯片段之一者後,接著可基於視訊剪輯片段的相關性評分自一或多個原始視訊自動選取另一視訊剪輯片段,並且用於取代編譯視訊中的經刪除視訊剪輯片段。
在某些實施例中,在程序區塊520中,可藉由將編譯視訊的一版本儲存至硬碟、記憶體125或網路型儲存位置,來輸出視訊剪輯片段(或在本文各種其它程序中所描述的任何其它程序區塊中輸出)。
圖6繪示根據本文所描述之某些實施例之用於從一或多個原始視訊建立編譯視訊之程序600的例示流程圖。可由攝影機110之控制器120或任何運算裝置來執行程序600。程序600從程序區塊605開始。
在程序區塊605,可以判定編譯視訊的長度。可用數種不同方式來判定長度。例如,代表編譯視訊長度的預設值可以儲存於記憶體中。舉另一實例,使用者可透過使用者介面145輸入代表編譯視訊長度的值,並將編譯視訊長度儲存於記憶體125中。再舉另一實例,可基於使用者所選取或輸入之歌曲的長度來判定編譯視訊的長度。
在程序區塊610,可判定指定可包含在編譯視訊中之一或多個原始視訊內之視訊剪輯片段(或視訊圖框或相片)類型的參數。在程序區塊615,可基於在程序區塊610所判定的(多個)參數,給定原始視訊內之視訊剪輯片段之相關性評分。可使用任意數量及/或任意類型的參數。例如,可經由使用者介面145來選取及/或輸入這些參數。
在某些實施例中,這些參數可包括時間或日期型參數。例如,在程序區塊610,可將視訊剪輯片段的錄製日期或日期範圍識別為參數。在程序區塊615,可基於錄製時間來給定一或多個原始視訊之視訊圖框及視訊剪輯片段的相關性評分。例如,相關性評分可為二進位值,其指示在由時間週期參數所提供的時間週期內所錄製的一或多個原始視訊內之視訊剪輯片段。
在某些實施例中,視訊剪輯片段的錄製地理位置可為在程序區塊610所識別的參數,且可用於在程序區塊615中給定原始視訊之一或多個視訊剪輯片段的相關性評分。例如,可基於複數個視訊剪輯片段的平均地理位置、及/或基於使用者所輸入的地理位置來判定地理位置參數。在所指定地理區域所錄製的一或多個原始視訊內之視訊剪輯片段可被給定較高相關性評分。舉另一實例,若使用者在渡假期間錄製原始視訊,則在渡假位置周圍或附近的地理區域所錄製的原始視訊可被給定較高相關性評分。例如,可基於地理位置軌道225中的原始視訊地理位置資料來判定地理位置。再舉另一實例,可基於地理位置及時間週期來選取原始視訊內的視訊剪輯片段。
舉另一實例,可基於地理位置中繼資料及程序區塊610所提供的地理位置參數之間的相似性來給定一或多個原始視訊內的視訊剪輯片段之相關性評分。例如,相關性評分可為二進位值,其指示在由地理位置參數所提供的地理位置中所錄製的一或多個原始視訊中的視訊剪輯片段。
在某些實施例中,動作可為在程序區塊610所識別的參數,且可用於在程序區塊615中評定一或多個原始視訊之視訊剪輯片段的評分。動作參數可指示發生在某一視訊剪輯片段中高度興奮的動作。例如,相關性評分可為與視訊剪輯片段相關聯之動作量成比例的值。動作可包括動作中繼資料,而動作中繼資料可包括任何類型動作資料。在某些實施例中,一或多個原始視訊內之與較高動作中繼資料相關聯的視訊剪輯片段可被給定較高相關性評分;以及一或多個原始視訊內之與較低動作中繼資料相關聯的視訊剪輯片段可被給定較低相關性評分。在某些實施例中,動作參數可指示高於或低於臨限值的特定類型動作。
在某些實施例中,語音標籤、人物標籤及/或動作標籤可為在程序區塊610所識別的參數,且可用於在程序區塊615中評定一或多個原始視訊內之視訊剪輯片段的評分。亦可基於任何類型中繼資料來判定一或多個原始視訊內之視訊剪輯片段,例如,諸如基於語音標籤軌道240內之語音標籤資料、動作標籤軌道245內之動作資料、及/或人物標籤軌道250內之人物標籤資料。在某些實施例中,相關性評分可為二進位值,其指示一或多個原始視訊內之與特定語音標 籤參數相關聯、與特定動作相關聯及/或包括特定人物的視訊剪輯片段。在某些實施例中,相關性評分可係有關於一或多個原始視訊內之視訊剪輯片段相關聯之語音標籤與語音標籤參數的相對相似性。例如,與語音標籤參數相同的語音標籤可被給定一相關性評分,而與語音標籤參數同義的語音標籤可被給定另一較低相關性評分。可判定動作標籤及/或人物標籤的相似相關性評分。
在某些實施例中,語音標籤參數可用於使一或多個原始視訊內之視訊剪輯片段與驚嘆語相關聯,諸如「好耶」、「太棒了」、「酷」、「哇」、「天哪」、「不會吧」等等。可使用任意數量的字詞作為相關性評分的參數。語音標籤參數可指示可基於原始視訊中的一音訊軌道所錄製的字詞來選取一或多個原始視訊內之視訊剪輯片段。使用者可透過使用者介面145來輸入新的或額外字詞。另外,新的或額外字詞可藉由WiFi或藍牙等無線方式傳達給攝影機(或另一系統)。
在某些實施例中,語音音調參數也可用於指示一或多個音訊軌道中的語音音調。語音音調參數可指示可基於原始視訊中音訊軌道的語音音調相較於所用字詞的興奮程度,來選取一或多個原始視訊內之視訊剪輯片段。舉另一實例,可以同時使用音調與字詞。
在某些實施例中,人物標籤參數可以在程序區塊610中予以指示,且可用於在程序區塊615中以評定一或多個原始視訊內之視訊剪輯片段的評分。人物標籤參數可用視訊剪輯片段中之特定人物來識別一或多個原始視訊內之視訊剪輯片段。
在某些實施例中,視訊圖框品質可為在程序區塊610中所判定的參數,且可供程序區塊615中的相關性評分來使用。例如,在程序區塊615中,一或多個原始視訊內之曝光不足、曝光過度、失焦、有照明問題及/或有紅眼問題的視訊剪輯片段可被給定較低評分。
在某些實施例中,在一或多個原始視訊內之視訊剪輯片段中所執行的使用者動作可為在程序區塊610中所識別的參數。例如,在程序區塊615中,使用者對一或多個原始視訊內之視訊剪輯片段所執行的動作可被給定高於其他視訊剪輯片段的評分,例如,諸如一或多個原始視訊內之視訊剪輯片段已經過編輯、修正、剪裁、改善、觀看或多次觀看、上傳至社群網路、電子郵件傳送、訊息傳送等等。另外,各種使用者動作可導致不同相關性評分。
在某些實施例中,來自社群網路的資料可作為程序區塊中610中的參數。在程序區塊615中所判定的一或多個原始視訊內之視訊剪輯片段之相關性評分可取決於觀看次數、「喜歡次數」及/或與視訊剪輯片段有關的評論。舉另一實例,若視訊剪輯片段曾上傳或分享至社群網路,則視訊剪輯片段的相關性評分會增加。
在某些實施例中,可使用離線處理及/或機器學習演算法來判定相關性評分。例如,機器學習演算法可學習資料結構200或300內之哪些參數與在觀看視訊的使用者或一群組使用者最為相關。例如,此可藉由註記視訊剪輯片段被觀看的次數、視訊剪輯片段被觀看的時間長度或視訊剪輯片段是否曾與他人分享而發生。這些學習參數可用於判定與一或多個原始視訊內之視訊剪輯片段相關聯的中繼資 料之相關程度。在某些實施例中,可使用另一處理系統或伺服器來判定這些學習參數,同時也可透過Wi-Fi或其他連線方式來傳達至攝影機110。
在某些實施例中,可使用一個以上參數來評定一或多個原始視訊內之視訊剪輯片段的評分。例如,可基於在特定地理位置錄製及特定時間週期錄製的人物來製作編譯視訊。
在程序區塊620,可從含有具有最高相關性評分的中繼資料來建立編譯視訊。可藉由數位拼接視訊剪輯片段之複本來建立編譯視訊。視訊剪輯片段彼此之間可使用各種轉變。在某些實施例中,可基於在程序區塊615中所找到的最高相關性評分來依序排列視訊剪輯片段。在某些實施例中,可依隨機順序將視訊剪輯片段置入編譯視訊內。在某些實施例中,可依一時間序列順序將視訊剪輯片段置入編譯視訊內。
在某些實施例中,可將中繼資料作為文字新增至編譯視訊之部分。例如,可基於人物標籤軌道250中的資訊及地理位置軌道225中的資訊,將任意數量的文字新增至編譯視訊的任何數目之圖框,來陳述視訊剪輯片段中的人物。在某些實施例中,可在開頭或結尾處新增文字。亦可呈現各種其他中繼資料作為文字。
在某些實施例中,可基於指定的開頭視訊剪輯片段長度及/或結尾視訊剪輯片段長度來擴展各視訊剪輯片段,以包括開頭及/或結尾視訊圖框。例如,開頭視訊剪輯片段長度及/或結尾視訊剪段長度可指示在可被包括作為視訊剪輯片段之部分的一或多個所選取視訊圖 框之前及/或之後的視訊圖框數量。例如,若開頭視訊剪輯片段長度及結尾視訊剪段長度為96個視訊圖框(以每秒24個圖框錄製4秒的視訊),以及若參數指示視訊圖框1004至1287具有高相關性評分,則視訊剪輯片段可包括視訊圖框908至1383。在此情況下,例如,編譯視訊可包括在所欲動作之前及之後的一些視訊圖框。開頭視訊剪輯片段長度與結尾視訊剪輯片段長度亦可指示為以秒為單位的值。另外,在某些實施例中,可使用分開的開頭視訊剪輯片段長度及分開的結尾視訊剪輯片段長度。可經由使用者介面145將開頭視訊剪輯片段長度及/或結尾視訊剪輯片段長度輸入到記憶體125中。另外,預設的開頭及/或結尾視訊剪輯片段的長度可以儲存於記憶體中。
替代地或此外,可使用單一開頭視訊剪輯片段長度及/或單一結尾視訊剪輯片段長度。例如,若參數指示單一視訊圖框1010具有高相關性評分,則需要較長的開頭及/或結尾以建立視訊剪輯片段。若單一開頭視訊剪輯片段長度及單一結尾視訊剪輯片段長度兩者皆為60個圖框,則可使用圖框960至1060作為視訊剪輯片段。針對單一結尾視訊剪輯片段長度及/或單一開頭視訊剪輯片段長度可使用任意值。
替代地或此外,可使用最小視訊剪輯片段長度。例如,若參數指示原始視訊剪輯片段的小於最小視訊剪輯片段長度,則可在原始視訊剪輯片段長度之前或之後新增額外視訊圖框。在某些實施例中,原始視訊剪輯片段可位於視訊剪輯片段的中間。例如,若參數指示視訊圖框1020至1080具有高相關性評分,且需要的最小視訊剪輯 片段長度為100個視訊圖框,則可使用原始視訊中的視訊圖框1000至1100來建立視訊剪輯片段。
在某些實施例中,用於建立編譯視訊的各視訊剪輯片段亦可被加長,以確保視訊剪輯片段的長度大於所選取的及/或預定的最小視訊剪輯片段長度。在某些實施例中,可針對最小視訊剪輯片段長度或其他值,將相片輸入至編譯視訊中。
在程序區塊625,可如上文結合圖5所示之程序500中的程序區塊520所描述輸出編譯視訊。
在某些實施例中,在單一原始視訊中,用於建立編譯視訊的至少一視訊剪輯片段子集可能相對於彼此不連續。例如,第一視訊剪輯片段與第二視訊剪輯片段可具有不同視訊圖框。舉另一實例,第一視訊剪輯片段與第二視訊剪輯片段可位於原始視訊中的不同位置。
圖7繪示根據本文所描述之某些實施例之用於從一或多個原始視訊建立編譯視訊之程序700的例示流程圖。可由攝影機110之控制器120或任何運算裝置來執行程序700。在某些實施例中,圖6之程序600中的程序區塊620可包括程序700中的全部或多個程序區塊。程序700從程序區塊705開始。
在程序區塊705,可選取與最高相關性評分相關聯的視訊圖框。所選取的(多個)圖框可為單一圖框或一連串的圖框。若多個圖框有同的相關性評分,且未依時間序列連結在一起(例如,多個 視訊圖框未包括一個連續或大多數連續的視訊剪輯片段),則可隨機或基於先到先選(first in time)來選取這些最高評分圖框之一者。
在程序區塊710,可判定視訊剪輯片段的長度。例如,可基於在依時間序列中被選為一群組的視訊圖框數量、或具有類似相關性評分的視訊圖框數量、或具有在臨限值內之相關性評分的視訊圖框數量,來判定視訊剪輯片段的長度。例如,長度亦可包括屬於開頭視訊圖框或結尾視訊圖框之部分的視訊圖框。視訊剪輯片段的長度可至少部分基於中繼資料。可藉由參照儲存在記憶體之預設視訊剪輯片段長度來判定視訊剪輯片段的長度。
在程序區塊715,可判定所有視訊剪輯片段長度的總和是否大於編譯視訊長度。例如,在程序區塊715,可判定編譯視訊中是否存在用於所選取視訊剪輯片段的空間。若有空間,則在程序區塊720將視訊剪輯片段新增至編譯視訊。例如,視訊剪輯片段可新增至編譯視訊的開頭、結尾或編譯視訊之其他視訊剪輯片段之間的某個位置。在程序區塊725,選取具有下一最高評分的視訊圖框,且程序700搭配新選取的視訊剪輯片段進行至程序區塊710。
然而,在程序區塊715,若判定編譯視訊中沒有用於視訊剪輯片段的空間,則程序700進行至程序區塊730,在此程序區塊中視訊剪輯片段不會輸入到編譯視訊。在程序區塊735,編譯視訊中的一或多個視訊剪輯片段的長度可以擴展,以確保編譯視訊的長度相同於所欲編譯視訊長度。例如,若編譯視訊長度與所欲編譯視訊長度相差5秒(依每秒24個圖框之速率,相當於120個圖框),且若編譯 視訊包括10個視訊剪輯片段,則此10個視訊剪輯片段之各者皆能以12個圖框來擴展。原始視訊中在前面的6個圖框可新增至編譯視訊中之各視訊剪輯片段的前端,且來自原始視訊之6個後續圖框可新增至編譯視訊中之各視訊剪輯片段的後端。替代地或此外,圖框可僅新增至視訊剪輯片段的前端或後端。
在某些實施例中,可略過程序區塊735,且編譯視訊長度可不等於所欲編譯視訊長度。在其他實施例中,程序700會搜尋(多個)原始視訊內長度小於或等於編譯視訊長度與所欲編譯視訊長度之間差異的高評分視訊剪輯片段,而不是擴展各種視訊剪輯片段的長度。在其他實施例中,所選取的視訊剪輯片段會被縮短以合適於編譯視訊內。
在程序區塊740,可如上文結合圖5所示之程序500中的程序區塊520所描述輸出編譯視訊。
圖8繪示根據本文所描述之某些實施例之用於使用音樂從原始視訊建立編譯視訊之程序800的例示流程圖。可由攝影機110之控制器120或任何運算裝置來執行程序800。程序800從程序區塊805開始。
在程序區塊805,可接收用於編譯視訊的音樂選擇。例如,可透過使用者介面145接收來自使用者之音樂選擇。音樂選擇可包括由音樂選擇所指示的音樂之數位音訊檔案。可經由任何無線或有線之方法來上傳或傳送數位音訊檔案,例如使用Wi-Fi收發器。
在程序區塊810,可判定及/或接收所選取之音樂的歌詞。例如,可透過電腦網路接收來自歌詞資料庫的歌詞。亦可使用語音辨識軟體來判定歌詞。在某些實施例中,可接收音樂的全部歌詞。在其他實施例中,可僅接收音樂的歌詞之一部分。且在另外其他實施例中,可判定及/或接收與音樂相關聯的關鍵字,而不是接收歌詞。
在程序區塊815,程序800會搜尋中繼資料中與音樂歌詞有關的文字標籤。例如,可在語音標籤軌道240找到文字標籤作為中繼資料。替代地及/或此外,一或多個音訊軌道可經語音轉錄,且可搜尋語音轉錄中是否有字詞相關聯於歌詞中的一或多個字詞與歌詞相關聯的關鍵字。替代地及/或此外,與音樂歌詞標題內之歌曲或字詞有關的關鍵字可用於尋找中繼資料中的歌詞文字標籤。
在程序區塊820,使用具有與音樂歌詞有關之字詞標籤的一或多個視訊剪輯片段可用來建立編譯視訊。程序600之全部或部分可用於建立編譯視訊。可使用各種其他技術。在程序區塊825,可如上文結合圖5所示之程序500中的程序區塊520所描述輸出編譯視訊。
在某些實施例中,於程序500、600、700及/或800所論述的原始視訊可包括視訊剪輯片段、全長度視訊、視訊圖框、縮圖、影像、相片、繪圖等等。
在程序500、600、700及/或800中,可使用數個參數來選取原始視訊、影像、相片及/或音樂。例如,可基於相片的有趣程度(或是相關性或相關性評分)來選取相片(影像或視訊圖框)。可使 用一些因素來判定相片的有趣程度,例如,使用者與相片互動(例如,使用者在相片上進行剪裁、旋轉、過濾、執行紅眼消除等)、使用者對相片的評等(例如,IPTC評等、星號評等、或讚/遜評等)、臉部辨識、相片品質、焦點、曝光、飽和度等。
舉另一實例,可基於視訊的有趣程度(或相關性或相關性評分)來選取視訊(或是視訊剪輯片段)。可使用一些因素來判定視訊的有趣程度,例如視訊遙測的改變(例如,加速度、跳躍、撞擊、旋轉等)、使用者標籤(例如,使用者可按下視訊錄影機的某個按鍵將一視訊圖框或一組視訊圖框加標籤為有趣)、動作偵測、臉部辨識、使用者對視訊的評等(例如,IPTC評等、星號評等、或讚/遜評等)等。
舉另一實例,可基於音樂曲目的有趣程度(或相關性或相關性評分)來選取音樂曲目。可使用一些因素來判定音樂曲目的有趣程度,例如,音樂是否被本端儲存或可從伺服器串流傳輸、音樂曲目的持續時間、已播放音樂的次數、先前是否已選取音樂曲目、使用者評等、跳過次數、音樂曲目自發表以來的播放次數、播放音樂的最近時間、是否在或接近錄製原始視訊時播放音樂等。
圖9繪示根據本文所描述之某些實施例之用於使用音樂從原始視訊建立編譯視訊之程序900的例示流程圖。可由攝影機110之控制器120或任何運算裝置來執行程序900。程序900從程序區塊905開始。
在程序區塊905,可選取用於編譯視訊的音樂曲目。例如,可依類似於在程序800之程序區塊805或程序500之程序區塊510所描述之方法來選取音樂曲目。可基於如上述之音樂有趣程度來選取音樂。例如,可基於音樂曲目的相關性評分來選取音樂曲目。
在程序區塊910,可以選取用於編譯視訊的第一相片。例如,可基於相片的相關性評分自一組相片中選取第一相片。
在程序區塊915,可以判定第一相片的持續時間。持續時間會影響Ken Burns特效的畫面移動大小或長度。較短持續時間可加速Ken Burns特效,而較長持續時間可減慢Ken Burns特效。可基於從中選取第一相片之相片數量、第一相片的相關性評分、音樂曲目長度、或從記憶體提取出之一數目來選取持續時間。
在程序區塊920,可使用臉部偵測技術來找到相片中的臉部。可在相片中所找到的任一或全部臉部周圍產生一圖框。此圖框用於保持在編譯視訊播放期間顯示臉部。
在程序區塊925,可自在臉部周圍所產生的圖框來判定播放螢幕大小。亦可基於裝置的螢幕大小及/或裝置的螢幕定向等功能來判定播放螢幕大小。
在程序區塊930,可使用Ken Burns特效來將相片動畫化,且可搭配音樂曲目顯示給使用者。每一相片之Ken Burns特效可因各種因素而不同,例如隨機數、相片的相關性評分、播放螢幕大小、持續期間、設定數等。相片可被動畫化且可搭配音樂曲目一起顯示。
在動畫化及顯示相片之同時,程序900進行至程序區塊935,在此程序區塊判定相片顯示之時是否將會到達音樂結尾。若是,程序900在音樂曲目結束時在程序區塊940結束。替代地及/或此外,程序900會返回程序區塊905,在此程序區塊選取另一音樂曲目並重複程序900,而不是在程序區塊940結束。
然而,若相片顯示之時將不會到達音樂曲目結尾,則程序900進行至程序區塊945,在此程序區塊選取用於編譯視訊的下一相片。
在某些實施例中,可基於相片之相關性評分來排序及/或排名相片。例如,在程序區塊945可選取下一張相關的相片。在某些實施例中,當資訊變更及/或當相片新增至相片之相片集合時,例如從遠端的伺服器下載相片或從遠端的伺服器傳送相片等,則可動態地更新相關性評分。
然後程序900以下一相片進行至程序區塊915。接著程序區塊920、925與930處理下一相片,如上文所述。在某些實施例中,程序區塊935、945、915、920與925可處理一相片,同時在程序區塊930動畫化且顯示另一相片。例如,在此情況下,可即時動畫化且顯示編譯視訊。另外,在某些實施例中,程序區塊910、920與925可同時或依任意順序發生。
在某些實施例中,使用者可以要求用另一音樂曲目取代在程序區塊905中所選取的音樂,例如,下一最相關的音樂曲目。使用者可與使用者介面145互動(例如,藉由按下按鍵或滑動觸控螢 幕),且回應地選取另一音樂曲目,並在程序區塊930播放。另外,在某些實施例中,使用者可與使用者介面145互動(例如,藉由按下按鍵或滑動觸控螢幕),要求不再於程序區塊930動畫化且顯示相片。
可使用圖10中繪示之運算系統1000(或處理單元)以執行本發明實施例之任一者。例如,運算系統1000可以單獨或搭配其他組件一起使用,以執行程序500、600、700、800及/或900之全部或一部。舉另一實例,可使用運算系統1000以執行本文中所述之任何計算、求解任何方程式、執行任何識別,及/或作出任何判定。運算(computational)系統1000包括硬體元件,其等可經由匯流排1005電性耦合(或可視情況以其他方式通訊)。硬體元件可包括:一或多個處理器1010,包括(但不限於)一或多個一般用途處理器及/或一或多個特殊用途處理器(諸如數位信號處理晶片、圖形加速晶片及/或類似物);一或多個輸入裝置1015,其可包括(但不限於)滑鼠、鍵盤及/或類似物;及一或多個輸出裝置1020,其可包括(但不限於)顯示器裝置、印表機及/或類似物。
運算系統1000可進一步包含一或多個儲存裝置1025(及/或與其通訊),其可包含(但不限於)本機及/或網路可存取之儲存器及/或可包含(但不限於)磁碟機、驅動器陣列、光學儲存裝置、固態儲存裝置,諸如隨機存取記憶體(「RAM」)及/或唯讀記憶體(「ROM」),其等可為可程式化、可快閃更新及/或類似者。運算系統1000亦可包括通訊子系統1030,其可包括(但不限於)數據機、網路卡(無線或有線)、紅外線通訊裝置、無線通訊裝置及/或晶片組 (諸如藍牙裝置、1002.6裝置、Wi-Fi裝置、WiMAX裝置、蜂巢式通訊設施等)及/或類似物。通訊子系統1030可准許與網路(舉一實例來說,諸如下文描述之網路)及/或本文中所述之任何其他裝置交換資料。在許多實施例中,運算系統1000將進一步包括工作記憶體1035,其可包括RAM或ROM裝置,如上文所描述者。圖1所示的記憶體125可包括工作記憶體1035及/或(多個)儲存裝置1025的全部或部分。
運算系統1000亦可包括軟體元件,顯示為目前位於工作記憶體1035內,軟體元件包括作業系統1040及/或其他程式碼,諸如一或多個應用程式1045,其可包括本發明之電腦程式,及/或可經設計以實施本發明之方法及/或組態本發明之系統,如本文中所述。舉例而言,關於上文所述之方法描述之一或多個程序可實施為可藉由電腦(及/或電腦內之處理器)執行之程式碼及/或指令。一組這些指令及/或程式碼可儲存在電腦可讀儲存媒體上,諸如上文描述之儲存裝置1025。
在一些情況中,儲存媒體可併入於運算系統1000內或與運算系統1000通訊。在其他實施例中,儲存媒體可與運算系統1000分開(例如,可抽換式媒體,諸如光碟等),及/或提供於安裝套件中,以使儲存媒體可使用其上儲存之指令/程式碼來程式化一般用途電腦。這些指令可採取可藉由運算系統1000執行之可執行程式碼形式及/或可採取原始程式碼及/或可安裝程式碼之形式,其經編譯及/或安裝在運算系統1000上後(例如,使用各種一般可取得之編譯器、安裝 程式、壓縮/解壓縮公用程式等之任一者),接著可採取可執行程式碼之形式。
本文中提及許多特定細節係為提供對所主張申請標的之澈底瞭解。但是,所屬技術領域中具有通常知識者將瞭解無需這些特定細節即可實踐所主張之申請標的。在其他例項中,未詳細描述所屬技術領域中具有通常知識者已知之方法、設備或系統以便不混淆所主張之申請標的。
就對儲存於運算系統記憶體(諸如電腦記憶體)內之資料位元或二進位數位信號操作之演算法或符號表示方面呈現一些部分。這些演算法描述或表示係資料處理領域中具有通常知識者所用來將其工作物傳達給所屬技術領域中具有通常知識者之技術的實例。演算法係導致所要結果的自我一致性操作序列或類似處理。在此內容背景中,操作或處理涉及實體操縱物理量。一般來說,但非必然,此等量可採取電性或磁性信號之形式,其能夠被儲存、傳送、組合、比較或以其他方式操縱。已證實有時將此等信號指稱為位元、資料、值、元素、符號、字元、項、數字、數值或類似物較為方便,主要係因為常見的用法。但是應明白,所有這些及相似術語係與適當物理量相關聯並且僅僅是便利的標記。除非具體指明,否則應理解,整份說明書論述利用諸如「處理」、「運算」、「計算」、「判定」及「識別」或類似物等術語來指稱運算裝置(諸如一或多個電腦或相似電子運算裝置或裝置)之動作或處理,其操縱或變換運算平台之記憶體、暫存器或其 他資訊儲存裝置、傳輸裝置或顯示器裝置內表示為物理、電子或磁性量之資料。
本文論述之系統(或多個系統)不限於任何具體硬體架構或組態。一運算裝置可包括任何適合之組件配置,其提供對一或多個輸入協調之結果。適合之運算裝置包括存取儲存之軟體的多用途微處理器式電腦系統,其將運算系統自一般用途運算設備程式化或組態成實施本發明標的物之一或多項實施例之特殊運算設備。任何適合之程式設計、指令碼或其他類型語言或語言組合可用於以軟體來實施本文中所含有之技術,以在程式化或組態運算裝置時使用。
可在此等運算裝置之操作中執行本文論述之方法之實施例。可改變上文實施例中所呈現之組塊順序,舉例而言,組塊可被重新排序、組合及/或分解成子組塊。可並行執行一些組塊或處理。
本文中使用之「經調適以」或「經組態以」係意指開放且含括性語言,並不排除裝置經調適或經組態以執行額外任務或步驟。另外,所使用之「基於」係意指為開放且含括性,因為「基於」一或多個所述之條件或值的處理、步驟、計算或其他動作實際上可基於除所述者外之額外條件或值。本文中包括之標題、清單及編號僅是為了易於解說且非意指限制。
雖然本發明申請標的已就其特定實施例予以詳細描述,但是將理解的是,所屬技術領域中具有通常知識者在瞭解前述內容後即可易於製作此等實施例之改變、變化及均等物。據此,應明白的是,本揭露之提出係為例示之目的(而非限制),並且不排除包括對本 發明申請標的之此等修改、變化及/或附加,如所屬技術領域中具有通常知識者將容易明白者。
100‧‧‧攝影機系統
110‧‧‧攝影機
115‧‧‧麥克風
120‧‧‧控制器
125‧‧‧記憶體
130‧‧‧GPS感測器
135‧‧‧動作感測器
140‧‧‧感測器
145‧‧‧使用者介面

Claims (24)

  1. 一種用於建立一編譯視訊之方法,該方法包含以下步驟:判定一個或更多個原始視訊中之視訊圖框的一相關性評分;基於該相關性評分,從該一個或更多個原始視訊中選取複數個相關視訊圖框;基於該等視訊圖框的該等相關性評分且基於所選取的該複數個相關視訊圖框,從該原始視訊中選取複數個視訊剪輯片段,其中該複數個視訊剪輯片段之各者包含來自該複數個相關視訊圖框之至少一個相關視訊圖框,且其中該複數個視訊剪輯片段之各者包括經定位在相對應之該相關視訊圖框之前與之後任一處的視訊圖框,抑或經定位在相對應之該相關視訊圖框之前與之後兩處的視訊圖框;及使用該複數個視訊剪輯片段建立編譯視訊。
  2. 如申請專利範圍第1項之方法,其進一步包含以下步驟:判定複數個影像的一相關性評分;基於該等影像之該等相關性評分,從該複數個影像中選取一個或更多個相關影像;及使用該一個或更多個相關影像建立該編譯視訊。
  3. 如申請專利範圍第2項之方法,其中該一個或更多個相關影像之至少一者搭配一Ken Burns特效新增至該編譯視訊中。
  4. 如申請專利範圍第1項之方法,進一步包含以下步驟:從視訊攝影機輸出該編譯視訊。
  5. 如申請專利範圍第1項之方法,進一步包含以下步驟:接收該一個或更多個原始視訊;以及接收與該一個或更多個原始視訊相關聯之視訊中繼資料,其中該視訊中繼資料包括地理位置資料、動作資料、人物標籤資料、及語音標籤資料,使得該相關性評分係基於該視訊中繼資料來判定。
  6. 如申請專利範圍第1項之方法,其中基於一個或更多個資料項來判定該相關性評分,該一個或更多個資料項係選自由地理位置資料、動作資料、人物標籤資料、語音標籤資料、動作標籤資料、時間資料及音訊資料所組成的清單。
  7. 如申請專利範圍第1項之方法,進一步包含以下步驟:接收包含一歌曲之一數位音訊檔案,其中建立該編譯視訊以包括該歌曲且其中該編譯視訊之一長度係基於該歌曲的一長度來判定,使得該編譯視訊之該長度與該歌曲之該長度相同。
  8. 如申請專利範圍第1項之方法,進一步包含以下步驟:判定一編譯視訊長度;及基於該編譯視訊長度來調整該複數個視訊剪輯片段之該長度。
  9. 一種電子裝置,包含:記憶體;及處理單元,該處理單元與該記憶體電性耦合,其中該處理單元經組態以:將一原始視訊儲存於該記憶體中,其中該原始視訊包含複數個視訊圖框; 判定該原始視訊中之該等視訊圖框的一相關性評分;基於該相關性評分,從該原始視訊中選取複數個該等視訊圖框,其中該相關性評分係基於以下之一者或更多者來判定:相關聯於該等視訊圖框之一者或更多者的動作資料,該動作資料係在對應的一個或更多個視訊圖框被電子裝置擷取期間自該電子裝置的一個或更多個加速度計取得、相關聯於該等視訊圖框之一者或更多者的人物標籤資料,該人物標籤資料指示在對應的一個或更多個視訊圖框中的一個或更多個人物的一個或更多個名字、及相關聯於該等視訊圖框之一者或更多者的語音標籤資料,該語音標籤資料指示在對應的一個或更多個視訊圖框擷取期間說出的一個或更多個驚嘆語;基於該複數個視訊圖框,從該原始視訊中選取複數個視訊剪輯片段,其中該複數個視訊剪輯片段中的各者包含來自該複數個視訊圖框之至少一個視訊圖框;及從該複數個視訊剪輯片段建立一編譯視訊。
  10. 如申請專利範圍第9項之電子裝置,其中該電子裝置為包含一影像感測器之一行動裝置,且其中該處理單元進一步經組態以使用該影像感測器來錄製該原始視訊。
  11. 如申請專利範圍第9項之電子裝置,其中該處理單元進一步經組態以:判定複數個影像的一相關性評分; 基於該等影像之該等相關性評分,從該複數個影像中選取一個或更多個相關影像;及使用該一個或更多個相關影像建立該編譯視訊。
  12. 如申請專利範圍第11項之電子裝置,其中該一個或更多個相關影像之至少一者搭配一Ken Burns特效新增至該編譯視訊中。
  13. 如申請專利範圍第9項之電子裝置,進一步包含一GPS感測器,且其中該相關性評分係基於從該GPS感測器所接收的GPS資料。
  14. 如申請專利範圍第9項之電子裝置,其中該處理單元進一步經組態以錄製與該原始視訊相關聯的視訊中繼資料,其中該視訊中繼資料包括以下一者或更多者:該動作資料、該人物標籤資料、及該語音標籤資料,使得該相關性評分係基於該視訊中繼資料來判定。
  15. 如申請專利範圍第9項之電子裝置,其中該處理單元進一步經組態以接收包含一歌曲之一數位音訊檔案,其中建立該編譯視訊以包括該歌曲且其中基於該歌曲的一長度建立該編譯視訊之一長度,使得該編譯視訊的該長度與該歌曲之該長度相同。
  16. 一種用於建立一編譯視訊之方法,該方法包含以下步驟:判定一原始視訊中之一第一視訊圖框的一第一相關性評分;判定該原始視訊中之一第二視訊圖框的一第二相關性評分;選取一第一視訊剪輯片段,該第一視訊剪輯片段包含該原始視訊之複數個連續視訊圖框,其中該第一視訊剪輯片段包括該第一視訊圖框; 選取一第二視訊剪輯片段,該第二視訊剪輯片段包含該原始視訊之複數個連續視訊圖框,其中該第二視訊剪輯片段包括該第二視訊圖框;接收一數位音訊檔案,該數位音訊檔案包含具有一長度的一歌曲;及建立包含該歌曲、該第一視訊剪輯片段與該第二視訊剪輯片段的一編譯視訊,其中基於該歌曲的一長度建立該編譯視訊,使得該編譯視訊的一編譯視訊長度與該歌曲之該長度相同。
  17. 如申請專利範圍第16項之方法,其中該第一視訊圖框包含一影像,且其中該第一視訊剪輯片段包含搭配一Ken Burns特效的該影像。
  18. 如申請專利範圍第16項之方法,其中基於一個或更多個資料項來判定該相關性評分,該一個或更多個資料項係選自由地理位置資料、動作資料、人物標籤資料、語音標籤資料、動作標籤資料、時間資料及音訊資料所組成的清單。
  19. 如申請專利範圍第16項之方法,進一步包含以下步驟:判定該原始視訊之複數個視訊圖框之各者的一相關性評分,其中該第一相關性評分及該第二相關性評分大於大多數的該複數個視訊圖框之該等相關性評分。
  20. 如申請專利範圍第16項之方法,進一步包含以下步驟:基於該編譯視訊長度來調整該第一視訊剪輯片段及該第二視訊剪輯片段之一者或二者的長度。
  21. 如申請專利範圍第16項之方法,進一步包含以下步驟:其中該第一視訊剪輯片段包含經定位在該第一視訊圖框之前或之後抑或之前及之後的複數個視訊圖框;及其中該第二視訊剪輯片段包含經定位在該第二視訊圖框之前或之後抑或之前及之後的複數個視訊圖框。
  22. 如申請專利範圍第16項之方法,其中該原始視訊包括相關聯於該第一視訊圖框的第一中繼資料及相關聯於該第二視訊圖框的第二中繼資料,其中自該第一中繼資料判定該第一相關性評分,且自該第二中繼資料判定該第二相關性評分。
  23. 如申請專利範圍第16項之方法,其中該原始視訊包括一原始第一視訊及一原始第二視訊,其中該第一視訊剪輯片段包含該第一原始視訊的複數個連續視訊圖框,且其中該第二視訊剪輯片段包含該第二原始視訊的複數個連續視訊圖框。
  24. 一種非暫存電腦可讀取媒體,其中編碼有程式碼,該程式碼可由一處理器執行以執行包含下列之操作:判定一原始視訊中之一第一視訊圖框的一第一相關性評分,其中判定該第一相關性評分係基於:相關聯於該第一視訊圖框之第一地理位置資料,該第一地理位置資料指示擷取該第一視訊圖框處的一第一地理位置;相關聯於該第一視訊圖框之第一動作資料,該第一動作資料在被一視訊攝影機擷取期間自該視訊攝影機的一個或更多個加速度計取得;相關聯於該第一視訊圖框之第一人物標籤資料,該第一人物標籤資料指示在該第一視訊圖框中的一個或更多個 人物的一個或更多個名字、及相關聯於該第一視訊圖框之第一語音標籤資料,該第一語音標籤資料指示在該第一視訊圖框擷取期間說出的一個或更多個驚嘆語;判定該原始視訊中之一第二視訊圖框的一第二相關性評分,其中判定該第二相關性評分係基於:相關聯於該第二視訊圖框之第二地理位置資料,該第二地理位置資料指示擷取該第二視訊圖框處的一第二地理位置;相關聯於該第二視訊圖框之第二動作資料,該第二動作資料在被該視訊攝影機擷取期間自該視訊攝影機的該一個或更多個加速度計取得;相關聯於該第二視訊圖框之第二人物標籤資料,該第二人物標籤資料指示在該第二視訊圖框中的一個或更多個人物的一個或更多個名字、及相關聯於該第二視訊圖框之第二語音標籤資料,該第二語音標籤資料指示在該第二視訊圖框擷取期間說出的一個或更多個驚嘆語;選取一第一視訊剪輯片段,該第一視訊剪輯片段包含該原始視訊之複數個連續視訊圖框,其中該第一視訊剪輯片段包括該第一視訊圖框且基於包括該第一視訊圖框的該第一視訊剪輯片段來選取該第一視訊剪輯片段;選取一第二視訊剪輯片段,該第二視訊剪輯片段包含該原始視訊之複數個連續視訊圖框,其中該第二視訊剪輯片段包括該第二視訊圖框且基於包括該第二視訊圖框的該第二視訊剪輯片段來選取該第二視訊剪輯片段;及 建立包含該第一視訊剪輯片段與該第二視訊剪輯片段的一編譯視訊。
TW104105883A 2014-02-24 2015-02-24 編譯視訊的自動產生 TWI579838B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/188,427 US20150243325A1 (en) 2014-02-24 2014-02-24 Automatic generation of compilation videos

Publications (2)

Publication Number Publication Date
TW201545160A TW201545160A (zh) 2015-12-01
TWI579838B true TWI579838B (zh) 2017-04-21

Family

ID=53882840

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104105883A TWI579838B (zh) 2014-02-24 2015-02-24 編譯視訊的自動產生

Country Status (2)

Country Link
US (2) US20150243325A1 (zh)
TW (1) TWI579838B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105814634B (zh) * 2013-12-10 2019-06-14 谷歌有限责任公司 提供节拍匹配
WO2015120333A1 (en) 2014-02-10 2015-08-13 Google Inc. Method and system for providing a transition between video clips that are combined with a sound track
US11184580B2 (en) * 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US20160189712A1 (en) * 2014-10-16 2016-06-30 Veritone, Inc. Engine, system and method of providing audio transcriptions for use in content resources
US11449542B2 (en) * 2015-02-11 2022-09-20 AVAST Software s.r.o. Systems and methods for identifying unwanted photos stored on a device
US10291849B1 (en) 2015-10-16 2019-05-14 Tribune Broadcasting Company, Llc Methods and systems for determining that a video-capturing device is unsteady
US9805269B2 (en) * 2015-11-20 2017-10-31 Adobe Systems Incorporated Techniques for enhancing content memorability of user generated video content
US10223358B2 (en) 2016-03-07 2019-03-05 Gracenote, Inc. Selecting balanced clusters of descriptive vectors
US10529379B2 (en) * 2016-09-09 2020-01-07 Sony Corporation System and method for processing video content based on emotional state detection
US10349196B2 (en) 2016-10-03 2019-07-09 Nokia Technologies Oy Method of editing audio signals using separated objects and associated apparatus
US11915722B2 (en) * 2017-03-30 2024-02-27 Gracenote, Inc. Generating a video presentation to accompany audio
US11509944B2 (en) * 2017-05-18 2022-11-22 Nbcuniversal Media, Llc System and method for presenting contextual clips for distributed content
US10628486B2 (en) * 2017-11-15 2020-04-21 Google Llc Partitioning videos
US10311913B1 (en) 2018-02-22 2019-06-04 Adobe Inc. Summarizing video content based on memorability of the video content
US11942117B2 (en) 2019-04-01 2024-03-26 Blackmagic Design Pty Ltd Media management system
US10909999B2 (en) * 2019-05-31 2021-02-02 Apple Inc. Music selections for personal media compositions
CN114342357B (zh) * 2019-09-06 2023-12-08 谷歌有限责任公司 基于事件的记录
CN113795882B (zh) * 2019-09-27 2022-11-25 华为技术有限公司 基于情绪的多媒体内容概括
CN111277899B (zh) * 2020-02-18 2021-06-22 福州大学 基于短期记忆和用户期望的视频质量评价方法
CN111738107A (zh) * 2020-06-08 2020-10-02 Oppo(重庆)智能科技有限公司 视频生成方法、视频生成装置、存储介质与电子设备
US11721365B2 (en) * 2020-11-09 2023-08-08 Blackmagic Design Pty Ltd Video editing or media management system
CN113709384A (zh) * 2021-03-04 2021-11-26 腾讯科技(深圳)有限公司 基于深度学习的视频剪辑方法、相关设备及存储介质
CN113099299A (zh) * 2021-03-10 2021-07-09 北京蜂巢世纪科技有限公司 视频剪辑方法及装置
US11144767B1 (en) * 2021-03-17 2021-10-12 Gopro, Inc. Media summary generation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611803B1 (en) * 1998-12-17 2003-08-26 Matsushita Electric Industrial Co., Ltd. Method and apparatus for retrieving a video and audio scene using an index generated by speech recognition
US20070016864A1 (en) * 2005-03-10 2007-01-18 Kummerli Bernard C System and method for enriching memories and enhancing emotions around specific personal events in the form of images, illustrations, audio, video and/or data
US20080019661A1 (en) * 2006-07-18 2008-01-24 Pere Obrador Producing output video from multiple media sources including multiple video sources
US20080101762A1 (en) * 2004-12-13 2008-05-01 Peter Rowan Kellock Method of Automatically Editing Media Recordings
CN101971609A (zh) * 2008-03-03 2011-02-09 视频监控公司 视讯数据的内容知觉储存
US20120059826A1 (en) * 2010-09-08 2012-03-08 Nokia Corporation Method and apparatus for video synthesis

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319490B2 (en) * 2000-01-21 2008-01-15 Fujifilm Corporation Input switch with display and image capturing apparatus using the same
US7027124B2 (en) * 2002-02-28 2006-04-11 Fuji Xerox Co., Ltd. Method for automatically producing music videos
US9502073B2 (en) * 2010-03-08 2016-11-22 Magisto Ltd. System and method for semi-automatic video editing
US8442265B1 (en) * 2011-10-19 2013-05-14 Facebook Inc. Image selection from captured video sequence based on social components
US20130177296A1 (en) * 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
US20150009363A1 (en) * 2013-07-08 2015-01-08 Htc Corporation Video tagging method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611803B1 (en) * 1998-12-17 2003-08-26 Matsushita Electric Industrial Co., Ltd. Method and apparatus for retrieving a video and audio scene using an index generated by speech recognition
US20080101762A1 (en) * 2004-12-13 2008-05-01 Peter Rowan Kellock Method of Automatically Editing Media Recordings
US20070016864A1 (en) * 2005-03-10 2007-01-18 Kummerli Bernard C System and method for enriching memories and enhancing emotions around specific personal events in the form of images, illustrations, audio, video and/or data
US20080019661A1 (en) * 2006-07-18 2008-01-24 Pere Obrador Producing output video from multiple media sources including multiple video sources
CN101971609A (zh) * 2008-03-03 2011-02-09 视频监控公司 视讯数据的内容知觉储存
US20120059826A1 (en) * 2010-09-08 2012-03-08 Nokia Corporation Method and apparatus for video synthesis

Also Published As

Publication number Publication date
TW201545160A (zh) 2015-12-01
US20150243325A1 (en) 2015-08-27
US20160099023A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
TWI579838B (zh) 編譯視訊的自動產生
TW201545120A (zh) 自動產生編譯視訊
US9570107B2 (en) System and method for semi-automatic video editing
US20160080835A1 (en) Synopsis video creation based on video metadata
US9554111B2 (en) System and method for semi-automatic video editing
US20160071549A1 (en) Synopsis video creation based on relevance score
JP2011170690A (ja) 情報処理装置、情報処理方法、およびプログラム。
US10645468B1 (en) Systems and methods for providing video segments
KR20160087222A (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
TW201606538A (zh) 依日期組織影像
JP2010191934A (ja) 情報処理装置、情報処理方法およびプログラム
KR20160120722A (ko) 비디오 메타데이터
JP2016119600A (ja) 編集装置及び編集方法
US10685680B2 (en) Generating videos of media items associated with a user
US20120159326A1 (en) Rich interactive saga creation
US9449646B2 (en) Methods and systems for media file management
JP2014006912A (ja) 情報処理装置、情報処理方法およびプログラム
US20140226955A1 (en) Generating a sequence of video clips based on meta data
EP2711853B1 (en) Methods and systems for media file management
JP6166070B2 (ja) 再生装置および再生方法
WO2015127385A1 (en) Automatic generation of compilation videos
JP2017211995A (ja) 再生装置、再生方法、再生プログラム、音声要約装置、音声要約方法および音声要約プログラム
JP2009027334A (ja) 再生装置、再生方法およびプログラム
JP2005039685A (ja) 撮影データ編集装置
JP2013055668A (ja) 画像再生装置および画像再生方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees