TW201724864A - 彙總及瀏覽視訊內容之方法、裝置及安排 - Google Patents

彙總及瀏覽視訊內容之方法、裝置及安排 Download PDF

Info

Publication number
TW201724864A
TW201724864A TW105140733A TW105140733A TW201724864A TW 201724864 A TW201724864 A TW 201724864A TW 105140733 A TW105140733 A TW 105140733A TW 105140733 A TW105140733 A TW 105140733A TW 201724864 A TW201724864 A TW 201724864A
Authority
TW
Taiwan
Prior art keywords
video
arrangement
key
horizontal
vertical
Prior art date
Application number
TW105140733A
Other languages
English (en)
Inventor
馬修 法拉德
關納里 馬昆
克萊赫蘭 迪馬堤
臣希 赫
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201724864A publication Critical patent/TW201724864A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content

Abstract

本發明係為一種用以彙總及瀏覽視訊序列之方法、裝置及安排，及包括至少一橫向條及至少一垂直條，該至少一橫向條具有依時間順序之視訊框，屬於單一視訊序列，及該至少一垂直條具有複數個視訊框，屬於不同視訊序列，該至少一垂直條之複數個視訊框中之每一者具有至少一共同特徵。在一實例中，至少一橫向條與至少一垂直條係排列成相交在至少一橫向視訊條中之一視訊框，其與該至少一垂直條中之視訊框具有至少一共同特徵。

Description

彙總及瀏覽視訊內容之方法、裝置及安排
本發明一般相關視訊內容的呈現，尤其相關視訊內容的彙總及瀏覽。
許多作品企圖將整個視訊序列表現成單一靜態影像或動畫影像，設輸出影像的期望尺寸，概念在於將儘可能多的”有趣影像區域”併入此等固定尺寸之內。在此類解決方法中，”有趣影像區域"通常係關鍵畫面，關鍵畫面應互有區別，以便不選到近處複製品。此類關鍵畫面通常係手動地選擇或及時藉由均勻次取樣來選擇，或自動地選擇，例如藉由使用鏡頭檢測器或子鏡頭檢測器。在後者的情形中，用於各子鏡頭，選擇具有最佳品質及最大顯著性的畫面，或者使物鏡功能減到最小，以便選出的關鍵畫面(假設其數目係固定的)係最佳的，其中該等關鍵畫面係所有輸入框當中能以最小成本做到完整序列重建的輸入框。
一旦已選擇用於彙總的代表畫面或區域，下一個問題在於將其安排以使輸出表示法仍然緊密且連貫並允許有效率瀏覽。先前解決方法中述及瀏覽問題的實在不多。
本發明的實施例係提供一種用以彙總視訊內容及在視訊內及視訊間瀏覽視訊內容的方法、裝置及安排，目標為至少部分解決先前技術的缺點。本發明的各種實施例提供輸入視訊集的新緊密表示法，以便能在單一輸入視訊內部做到有效率時間瀏覽，而且能基於視訊間的關係從一視訊瀏覽到另一視訊。
在本發明的一實施例中，揭示一種安排用以呈現複數個視訊序列用於觀察，包括至少一橫向條及至少一垂直條，該至少一橫向條具有依時間順序的視訊框，屬於單一視訊序列，及該至少一垂直條具有複數 個視訊框，屬於不同視訊序列，該至少一垂直條之複數個視訊框中的每一者具有至少一共同特徵。在此一實施例中，至少一橫向條及至少一垂直條係配置用以相交在該至少一橫向條中的一視訊框，其與該至少一垂直條中的視訊框具有至少一共同特徵。
在本發明的一替代實施例中，揭示一種用以安排視訊序列用於彙總及瀏覽的方法，包括：將單一視訊序列的視訊框排列成具有第一方向的至少一視訊條，排列在第一方向的至少一視訊條具有依時間順序的視訊框；將不同視訊序列的視訊排列成具有第二方向的至少一視訊條，排列在第二方向的至少一視訊條的視訊框具有至少一共同特徵；及配置第二方向中排列的至少一視訊條的視訊框相交第一方向中排列的至少一視訊條，相交在第一方向中排列的至少一視訊條的一視訊框，其與排列在第二方向的至少一視訊條的視訊框具有至少一共同特徵。
在本發明的一替代實施例中，揭示一種用以安排視訊序列用於彙總及瀏覽的裝置，包括一記憶體，用以至少儲存控制程式、指令、軟體、視訊內容、視訊序列及資料，及包括一處理器，用以執行控制程式及指令。在此一實施例中，在執行控制程式時，處理器將該裝置配置用以：將單一視訊序列的視訊框排列成具有第一方向的至少一視訊條，排列在第一方向的至少一視訊條具有依時間順序的視訊框；將不同視訊序列的視訊框排列成具有第二方向的至少一視訊條，排列在第二方向的至少一視訊條的訊框具有至少一共同特徵；及配置第二方向中排列的至少一視訊條的視訊框相交第一方向中排列的至少一視訊條，相交在第一方向中排列的至少一視訊條的一視訊框，其與第二方向中排列的至少一視訊條的視訊框具有至少一共同特徵。
在本發明的一替代實施例中，揭示一種機器可讀取媒體，其上儲存有一或多個可執行指令，其由一數位處理系統執行時令數位處理系統執行一方法，用以安排視訊序列用於彙總及瀏覽，該方法包括：將單一視訊序列的視訊框排列成具有第一方向的至少一視訊條，排列在第一方向的至少一視訊條具有依時間順序的視訊框；將不同視訊序列的視訊框排列成具有第二方向的至少一視訊條，排列在第二方向的至少一視訊條的訊框具有至少一共同特徵；及配置第二方向中排列的至少一視訊條的視訊框 相交第一方向中排列的至少一視訊條，相交在第一方向中排列的至少一視訊條的一視訊框，其與第二方向中排列的至少一視訊條的視訊框具有至少一共同特徵。
100‧‧‧輸入視訊序列安排
102‧‧‧橫向條
104‧‧‧垂直條
106,108‧‧‧視訊框
502‧‧‧邊框
600‧‧‧使用者介面
602‧‧‧使用者介面的左上分區
604‧‧‧使用者介面的右上分區
606‧‧‧使用者介面的下分區
700‧‧‧視訊內容彙總及瀏覽方法
702‧‧‧第一方向視訊條排列步驟
704‧‧‧第二方向視訊條排列步驟
706‧‧‧相交步驟
800‧‧‧裝置
810‧‧‧處理器
820‧‧‧記憶體
830‧‧‧支援電路
840‧‧‧輸入/輸出電路
,‧‧‧絕對開始時間
v i1 ,v i2‧‧‧輸入視訊
δ i1,i2‧‧‧時間偏移
以下藉由配合附圖以詳細說明本發明，將可容易理解本發明的教示，圖中：圖1係根據本發明的一實施例以一示範表示法描繪一輸入視訊序列集合排列在交叉的橫向條與垂直條；圖2係根據本發明的一實施例以一範例描繪圖1的二輸入視訊之間的時間關係；圖3a係根據本發明的一實施例以描繪二橫向條及一垂直條的顯示範例用以彙總及瀏覽視訊內容；圖3b係根據本發明的一替代實施例以描繪二垂直條及一橫向條的顯示範例用以彙總及瀏覽視訊內容；圖4a描繪本發明的一實施例，其中用以彙總及瀏覽內容的配置包括單一橫向條及三垂直條；圖4b描繪本發明的一實施例，其中用以彙總及瀏覽內容的配置包括單一垂直條及三橫向條；圖5描繪本發明的一實施例，其中用以彙總及瀏覽內容的配置包括單一垂直條及二橫向條；圖6係根據本發明的一實施例以描繪一使用者介面範例；圖7係根據本發明的一實施例以流程圖描繪用以彙總及瀏覽內容的方法；及圖8係根據本發明的一實施例以高階方塊圖描繪用以實施本發明特徵的裝置。
用以促進理解，只要可能，已使用相同參考數字符號以指明附圖中共用的相同元件。附圖並非按比例繪製，為求清晰，會放大或縮小一或多個特徵。
本發明的實施例有利地提供一種用以彙總及瀏覽視訊內 容的方法、裝置及安排，雖然將主要在橫向條及垂直條的相關情況中說明本發明，但不應將本發明的特定實施例視為限制本發明的範圍。熟諳此藝者應了解且藉由本發明的教示告知，本發明的概念係可有利地應用到視訊框，包括有定向在大體上任何方向的視訊條。
本發明的實施例使一呈現空間/顯示螢幕的專用空間的寬度及高度兩者起制衡作用，互動表示法能做到視訊內及視訊間的有效率瀏覽，同時避免呈現空間/顯示螢幕上的視覺過載，例如與現存視訊編輯器的多軌表示法相反。
較明確地，本發明的各種實施例係基於交叉的橫向條及垂直條以提供一輸入視訊序列集合的緊密表示法。在一實施例中，橫向條對應到幻燈捲片或視訊序列的關鍵畫面，及垂直條係由至少一不同視訊來的關鍵畫面所組成，與該(等)橫向條的一關鍵畫面具有一共同特徵。垂直關鍵畫面係基於一共同特徵以連接起來，例如在一實施例中，可將關鍵畫面連接係因為其全包含檢測及辨識出的相同人臉，或其全對應到大略同時但從不同視點所擷取的相同場景。
因此，在此類實施例中，單一橫向條彙總單一輸入視訊，同時能做到有效率視訊內瀏覽，如藉由在x軸的一連續時間線所提供，及單一垂直條係能藉由提供給使用者來自不同視訊的關鍵畫面以做到有效率視訊間瀏覽，同時描繪特定相似性。
本發明的實施例使一呈現空間如顯示螢幕的專用空間的寬度及高度兩者起制衡作用，本發明的互動表示法能做到有效率視訊內及視訊間瀏覽，同時避免視覺過載。
圖1係根據本發明的一實施例以一示範表示法描繪輸入視訊序列排列在交叉的橫向條及垂直條的安排100，在圖1的實施例中，橫向條102對應到單一視訊序列的關鍵畫面所組成的視訊序列，圖1的垂直條104係由各種不同輸入視訊來的關鍵畫面所組成。根據本發明的各種實施例，使橫向條及垂直條的關鍵畫面連接起來/相關係基於一些共同特徵，例如橫向條及垂直條可全包含檢測及辨識出的相同人臉，或者橫向條及垂直條的關鍵畫面可全對應到大略同時間但從不同視點所擷取的相同場景等。在本發明的一實施例中，判定共同特徵係藉由處理程式，產生含 有關鍵畫面的交換檔案及判定關鍵畫面連接資訊，接著使用此類檔案以判定共同特徵，使本發明的橫向條及垂直條相互關連。
在本發明的一實施例中，視訊間關鍵畫面連接係基於人臉的檢測/辨識，概念在於若在兩視訊中檢測到一共同人臉且兩張人臉匹配，則連接與。
在本發明的一替代實施例中，視訊間關鍵畫面連接係基於影像相似性，概念在於使用內容為本的影像擷取演算法以連接與(定義如下)，不需組成場景的物件的有關假設。應注意，任何類型的元資料係可使用以建立視訊間關鍵畫面連接，及同樣用以處理任何視訊集合(如相同演員、相同動作(抽煙、游泳、情侶接吻...)、相同地點等)。
因此，在本發明的實施例中，如在圖1的實施例中，單一橫向條102能沿著一連續時間線(例如在x軸)以做到單一輸入視訊的有效率視訊內瀏覽，同時單一垂直條104能藉由呈現給使用者存在不同視訊中但由至少一共同特徵連結的關鍵畫面，以做到有效率視訊間瀏覽(如以上說明)。意即，在本發明的各種實施例中，本發明揭示的一種安排包括至少一橫向條及至少一垂直條，該至少一橫向條具有依時間順序的視訊框，屬於單一視訊序列，及該至少一垂直條具有複數個視訊框，屬於不同視訊序列，至少一垂直條的複數個視訊框中的每一者具有至少一共同特徵。在此類實施例中，至少一垂直條係排列成相交在至少一橫向視訊框中的一視訊框，其與至少一垂直條中的視訊框具有至少一共同特徵(進一步詳細說明如下)。例如，在圖1中，垂直條係在第一畫面106與橫向條102中的一者相交，及接下來在最後框108與橫向條102中的第二者相交。
在一實施例，其中N個輸入視訊構成一輸入視訊集v={v i } i=1...N ，及其中利用相同均勻時間性次取樣以選擇關鍵畫面用於每一輸入視訊，其中視訊條係簡單的關鍵畫面條及其中不同輸入視訊來的關鍵畫面之間的連接係基於時間同步，用於各輸入視訊，設一時間性次取樣步驟s>0，選擇M i 個關鍵畫面作為，其中M i 係直接取決於v i 的畫面數。意即，採用一個關鍵畫面用於每”s”個畫面，同樣用於任一視訊，第j個關鍵畫面係第(j*s)個視訊框。
在一實施例中，用以建構N個橫向條，假設所有輸入視訊 具有相同的畫面寬度及高度，若非如此，則執行一通用格式的轉換。用於各i，設關鍵畫面集，橫向條影像H i 係定義為一簡單橫向影像堆疊，在一實施例中，根據以下方程式(1)： 其中(x1,y1)及(x2,y2)對應到像素位置，分別在橫向條影像H i (其寬度可變動以用於各i，係由於M i 可變動)的定域及影像定域[0,畫面_寬度[×[0,畫面_高度[中。
圖2係根據本發明的一實施例以一範例描繪二輸入視訊之間的時間關係，在圖2的實施例中，各輸入視訊{v i }具有其自己的持續時間，以及其自己的絕對開始時間及結束時間。用於一給定視訊配對(v i1 ,v i2)，具有個別絕對開始時間及及一時間重疊，根據以下方程式(2)，二輸入視訊之間的時間偏移δ i1,i2係相關絕對開始時間：
在二輸入視訊之間提供適當時間同步，必須判定時間偏移。在本發明的各種實施例中，若先前已使不同視訊的擷取裝置同步，則可使用與輸入視訊的視訊檔案關聯的元資料來判定此類同步資訊。或者，亦可使用二輸入視訊之間的聲頻或影像特徵匹配來判定此類資訊，如Bagri等人在"多相機視訊接合叢集及同步之可縮放架構(A Scalable Framework for Joint Clustering and Synchronizing Multi-Camera Videos)"(歐洲訊號處理會議(European Signal Processing Conference(EUSIPCO))，2013年)所論及；及Elhayek等人在"具有子畫面準確度之特徵為基多視訊同步(Feature-Based Multi-video Synchronization with Subframe Accuracy)"(DAGM 2012(Deutsche Arbeitsgemeinschaft für Mustererkennung DAGM e.V.-德國圖形辨識協會(German Association for Pattern Recognition))所論及。
在本發明的一實施例中，定義一時間臨界值u，以便0<u<s/2，及考慮不同輸入視訊v i1及v i2來的二關鍵畫面及，若|j1＊s+δ i1,i2-j2＊s|<u，則將二畫面及視為”已連接”，意即， 在小於u的分割時間，擷取到v i1的第j1個關鍵畫面及v i2的第j2個關鍵畫面。請注意，利用u<s/2，視訊v i1的一關鍵畫面係無法與視訊v i2中超過一個關鍵畫面連接。
根據本發明的一實施例，用於垂直條的構造以用於各關鍵 畫面，考慮以下關鍵畫面集，含有本身及與 連接的個關鍵畫面。為簡化記數法，考慮，因此，在一實施例中，根據以下方程式(3)，垂直條影像係定義為一簡單垂直影像堆疊： 其中(x1,y1)及(x2,y2)對應到像素位置，分別在垂直條影像(其高度可變動以用於各(i,j)，係由於可變動)的定域及影像定域[0,畫面_寬度[×[0,畫面_高度[中。
方程式(3)描述一橫向條從下到上的構造，在最低列具有選出的一關鍵畫面，當然，以同樣方式直接從上到下構成最高列具有選出關鍵畫面的一垂直條，以及構成一垂直條在一中間列具有選出關鍵畫面。 此表示用於關鍵畫面的垂直安排(其組成一垂直條)有數個選項，當中可找出以下二解決方法：(1)藉由增加視訊索引(v 1的關鍵畫面(若有的話)係顯示在選出關鍵畫面正上方或正下方)，及(2)藉由減少相似性(對選出關鍵畫面有最高相似性，最靠近選出關鍵畫面)。應注意，將對應用以將v i 的關鍵畫面顯示在第i列的選項無論如何都將導致垂直條中的一些空洞，其不包含v i 的任何關鍵畫面。
在本發明的一實施例中，垂直安排係從實際顯示在螢幕者自動地及即時地推演，將相同視訊來的關鍵畫面維持在相同列上，意即，根據本發明的一實施例，若已顯示的一垂直條包含視訊v i 的一關鍵畫面在一特定列及使用者要求另一垂直條的顯示亦含有視訊v i 的一關鍵畫面，則完成安排以便視訊v i 的兩關鍵畫面出現在相同列。若如此做難免在要求的 垂直條中引進空洞，則執行最佳化以滿足要求的規定，維持垂直位置用於本發明的一實施例的最大可能關鍵畫面數。例如，在本發明的一實施例中，測試所有配置係可藉由考慮第二垂直條中關鍵畫面數的長度的垂直段，沿著y軸滑動此段，及保持位置使此段的列數最大化，此段含有第一垂直條的一關鍵畫面，對應到一視訊，用於該視訊必須在第二垂直條顯示另一關鍵畫面。
根據本發明的實施例，當同時顯示具有一共同關鍵畫面的一垂直條影像及一橫向條影像時，該等影像係交叉在其共同關鍵畫面。用於一給定配對(i,j)及用於p，以便， x [0,畫面_寬度[,y [0,畫面_高度[。意即，在一相交，由於橫向條影像及垂直條影像相交在一共用關鍵畫面，因此其像素具有共同色彩值。
在本發明的一實施例中，用以避免顯示期間的視覺過載及視訊條之間的碰撞或不一致情形，要防止二(或多個)橫向條及二(或多個)垂直條的同時顯示。例如，假設在初始階段只顯示一第一橫向條，接著使用者要求顯示一第一垂直條，接著再次要求顯示一第二橫向條。若在顯示第二橫向條期間，使用者再次要求顯示一第二垂直條，則在顯示第二橫向條前，將去除/隱藏第一橫向條的顯示。例如，圖3a係根據本發明的一實施例以一範例描繪二橫向條102及一垂直條104的顯示用以彙總及瀏覽視訊內容。同樣地，圖3b係根據本發明的一替代實施例以一範例描繪二垂直條(104)及一橫向條(102)的顯示用以彙總及瀏覽視訊內容。如上述，在本發明的一實施例中，用以避免顯示期間的視覺過載及視訊條之間的碰撞或不一致情形，要防止二(或多個)橫向條及二(或多個)垂直條的同時顯示。雖然在圖3a及3b的實施例中防止二(或多個)橫向條及二(或多個)垂直條的同時顯示，但在本發明的替代實施例，其中顯示/呈現空間不是問題及因此將不發生顯示期間視覺過載及視訊條之間碰撞或不一致情形，能用以顯示二(或多個)橫向條及二(或多個)垂直條。
在本發明的各種實施例中，若在橫向或垂直方向存在單一 視訊條，則在另一方向顯示多個視訊條係可能的。例如，圖4a描繪本發明的一實施例，其中彙總及瀏覽內容的配置包括單一橫向條102及三垂直條104。同樣地，圖4b描繪本發明的一實施例，其中彙總及瀏覽內容的配置包括單一垂直條104及三橫向條102。
在一實施例，其中在一垂直條選擇關鍵畫面，在橫向條可存在畫面係不具任何共同特徵，例如，圖5描繪本發明的一實施例，其中彙總及瀏覽內容的配置包括單一垂直條及二橫向條。在圖5的實施例中，在選擇關鍵畫面用於垂直條後，使用呈現在垂直條的二相異視訊的關鍵畫面以產生二橫向條。如在圖5所繪示，橫向條係正好在另一者上方，其間並無空間隔開。若二橫向條的關鍵畫面不具有任何共同特徵，則此一安排可導致混淆呈現，因此，根據本發明的一實施例，如在圖5所繪示，在不具有任何共同特徵的橫向條的毗鄰關鍵畫面之間顯示邊框502(如在圖5所繪示的粗邊框)。
在本發明的至少一實施例中，關鍵畫面選擇係基於顯著性、活動及/或美感估計，考慮畫面具有顯著性或美感得分的局部最大值或活動的局部最小值，或者，可由使用者手動地執行關鍵畫面選擇。
然而，當關鍵畫面選擇並非基於均勻時間性次取樣時，視訊間關鍵畫面連接若仍基於同步則必須加以調適。意即，在此類實施例中，一關鍵畫面係連接到各其他視訊的最靠近關鍵畫面(若其時間距離不超過一給定臨界值)。
在本發明的至少一實施例中，上述關鍵畫面可包括視訊以及靜態圖像，因此，垂直條影像可包含靜態圖像，其已連接到一橫向條中已考慮的(一或多個)視訊關鍵畫面，反之亦然。
此外，根據本發明的各種實施例，可將視訊索引及關鍵畫面索引或先前用過關鍵畫面的其他此類參照儲存在一記憶體/佇列中，使用者能用以快速召回先前觀看過的感興趣畫面。在此類實施例中，可將對應縮圖顯示在一專用顯示空間，因此，當選擇一縮圖時就顯示相關橫向條及垂直條。
在本發明的各種實施例中，揭示一種電腦可讀取媒體(如記憶體、儲存元件、可卸除媒體等)，具備有儲存的程式指令，當一處理 器執行該等指令時將實施一方法，如以上根據本發明的一或多個實施例所說明的方法。
圖6係根據本發明的一實施例以描繪一使用者介面600的範例，意即，本發明的一實施例包括一使用者介面600，包括有各種命令用以選擇視訊框用於瀏覽。圖6的使用者介面600舉例地包括二上分區(602、604)及單一下分區(606)，在圖6的實施例中，左上分區(602)以條形圖表示所繪示的數個輸入視訊，輸入到一裝置如本發明的視訊編輯器。條數對應到視訊數，條長度描繪對應視訊的持續時間，及橫向對準描繪對應視訊的絕對開始時間。左上分區(602)亦提供一雙態觸變鈕，使用者能用以選擇至少一輸入視訊(如橫向條所繪示)，及在下分區(606)中顯示至少一相關橫向條。在圖6中，將選出的輸入視訊繪示為左上分區(602)中的醒目橫向條。亦如圖6的實施例所繪示，使用者介面600的左上分區(602)包括一時間線垂直條，使用者例如可藉由觸動、點選、滑動，使用該時間線垂直條以選擇一橫向條的一區域(例如選出的橫向條)，用以選擇考慮的已彙總視訊的一對應關鍵畫面，及在下分區(606)中顯示相關垂直條，其係基於上述特定已建立關係以顯示全來自不同視訊但全連接到選出關鍵畫面的其他關鍵畫面。
圖6的使用者介面600的右上分區(604)舉例地描繪選出輸入視訊的選出關鍵畫面的表示法。
在圖6的使用者介面600的單一下分區(606)中，根據本發明的一實施例，描繪選出橫向視訊的關鍵畫面的橫向表示及其他視訊的對應關鍵畫面的垂直表示。
在圖6實施例的使用者介面600的下分區(606)中，使用者可用一指頭在一垂直條(未顯示)的任何區域橫向地觸動/點選/滑動以選擇對應關鍵畫面，及顯示橫向條，其彙總選出關鍵畫面所屬的視訊。此外，若一視訊條係比螢幕長，則使用者可將橫向條向左或向右拖曳以顯示先前或未來瞬間或畫面，同樣地，若一視訊條係比螢幕高，則將一垂直條向上或向下拖曳以顯示其他關鍵畫面。同樣地，使用者可用一指頭在一橫向條(未顯示)的任何區域上垂直地觸動/點選/滑動以選擇對應關鍵畫面，及顯示垂直條，其係基於上述特定已建立關係以顯示全來自不同視訊但全連接 到選出關鍵畫面的其他關鍵畫面。
本發明的使用者介面600尚能令使用者在下分區(606)所顯示的一橫向(或垂直)條的任何區域上快觸或快按兩次，將對應瞬時來的對應視訊在右上分區(604)中或一分開視窗或第二螢幕中播放。
圖7係根據本發明的一實施例以流程圖描繪用以彙總及瀏覽內容的方法700，方法700係在步驟702開始，在該步驟期間，將單一視訊序列的視訊框排列成具有第一方向(如橫向)的至少一視訊條，該視訊條包括有依時間順序的視訊框。方法700接著可繼續進行到步驟704。
在步驟704，將不同視訊序列的視訊框排列成具有第二方向(如垂直方向)的一視訊條，排列在第二方向的至少一視訊條的畫面具有至少一共同特徵。方法700接著可繼續進行到步驟706。
在步驟706，排列在第二方向的至少一視訊條的視訊框係配置用以相交第一方向中排列的至少一視訊條，相交在第一方向中排列的至少一視訊條的一視訊框，其與排列在第二方向的至少一視訊條的視訊框具有至少一共同特徵。接著可退出方法700。
視需要，在本發明的一實施例中，若在第二方向排列有超過一視訊條，則在第一方向只排列一視訊條，若在第一方向排列有超過一視訊條，則在第二方向只排列有一視訊條。本發明的安排係可如此限制，用以在顯示本發明的安排時防止視覺混淆。
圖8係根據本發明的一實施例以高階方塊圖描繪用以實施本發明特徵的裝置800。在本發明的各種實施例中，圖8的裝置800可包括一元件如視訊編輯器。圖8的裝置800包括一處理器810，以及一記憶體820用以儲存控制程式、指令、軟體、視訊內容、視訊序列、資料及類似物。處理器810係與傳統支援電路830合作，如電源、時鐘電路、快取記憶體及類似物，以及協助執行記憶體820所儲存軟體常式的電路。因此，預期在本文討論為軟體處理的一些處理步驟係可實施在硬體內，例如實施為電路系統，其係與處理器810合作以執行各種步驟。而且，圖8的裝置800包括輸入輸出電路840，其形成各種個別功能元件之間的介面來與呈現器溝通。
雖然圖8的裝置800係描繪為通用電腦，其係程式化以執 行根據本發明的各種控制功能，但本發明係可實現在硬體中，例如，實現為特定應用積體電路(ASIC)，因此，希望在本文描述的處理步驟係廣義地解釋為等效地由軟體、硬體或其組合來執行。
雖然前述內容針對本發明的各種實施例，但不背離本發明的基本範圍，可擬出本發明的其他實施例，例如，可將以上範例中描述的一或多個特徵修改、省略及/或使用在不同組合中。因此，本發明的適當範圍應根據後附申請專利範圍來判定。
100‧‧‧輸入視訊序列安排
102‧‧‧橫向條
104‧‧‧垂直條
106,108‧‧‧視訊框

Claims (14)

  1. 一種視訊內及視訊間瀏覽方法(700)，該方法包括有：- 得到一視訊序列集合之資料表示，該資料係根據至少一特徵以連接該等視訊序列之關鍵畫面；- 根據該資料中之連接，將該等關鍵畫面之子集之第一安排顯示為關鍵畫面之交叉橫向條及垂直條；- 根據該第一安排、第一安排之關鍵畫面選擇及該資料中之連接，計算該等關鍵畫面之該子集之第二安排，作為關鍵畫面之交叉橫向條及垂直條，- 顯示第二安排。
  2. 如申請專利範圍第1項之方法，其中該等安排中之一視訊條聚集該視訊序列集合中之一視訊序列依時間順序之關鍵畫面。
  3. 如申請專利範圍第1項之方法，其中該等安排中之一垂直條聚集該視訊序列集合中之至少一視訊序列之關鍵畫面，係根據至少一視覺或聲頻特徵所連接。
  4. 如申請專利範圍第1或2項之方法，其中在只具有一橫向條之第一安排之橫向條中選擇一關鍵畫面，展開第二安排中之一垂直條。
  5. 如申請專利範圍第1或2項之方法，其中在只具有一垂直條之第一安排之垂直條中選擇一關鍵畫面，展開第二安排中之一橫向條。
  6. 如申請專利範圍第1或2項之方法，其中在具有二或多個橫向條之第一安排之第一橫向條中選擇一關鍵畫面，使第一橫向條以外之橫向條從第一安排中去除，及添加一垂直條至第一安排用以計算第二安排。
  7. 如申請專利範圍第1或2項之方法，其中在具有二或多個垂直條之第一安排之第一垂直條中選擇一關鍵畫面，使第一垂直條以外之垂直條從第一安排中去除，及添加一橫向條至第一安排用以計算第二安排。
  8. 如申請專利範圍第1項之方法，其中在該資料中連接關鍵畫面之至少一特徵包括以下至少一者：一共同人臉，影像相似性，及一視訊框擷取時間。
  9. 如申請專利範圍第1項之方法，包括將關鍵畫面轉換至一通用格 式，俾所有關鍵畫面具有相同寬度及高度。
  10. 如申請專利範圍第1項之方法，包括使所有視訊序列在時間上同步。
  11. 如申請專利範圍第10項之方法，其中使用視訊序列相關聯之至少一元資料及至少一聲頻及視訊影像特徵匹配，使視訊序列在時間上同步。
  12. 一種裝置(800)，包括有：- 一記憶體(820)，用以至少儲存控制程式、指令、軟體、視訊內容、視訊序列，及資料；及- 一處理器(810)，用以執行控制程式及指令，該處理器在執行該等控制程式時將該裝置(800)配置用以：˙得到一視訊序列集合之資料表示，該資料係根據至少一特徵以連接該等視訊序列之關鍵畫面；˙根據該資料中之連接，將該等關鍵畫面之子集之第一安排顯示為關鍵畫面之交叉橫向條及垂直條；˙根據該第一安排、第一安排之關鍵畫面選擇及該資料中之連接，計算該等關鍵畫面之該子集之第二安排，作為關鍵畫面之交叉橫向條及垂直條；及˙顯示第二安排。
  13. 如申請專利範圍第12項之裝置，其中該裝置(800)包括一視訊編輯器。
  14. 一種機器可讀取媒體，其上儲存有一或多個可執行指令，其由一數位處理系統執行時令數位處理系統執行一視訊內及視訊間瀏覽方法(700)，該方法包括有：- 得到一視訊序列集合之資料表示，該資料係根據至少一特徵以連接該等視訊序列之關鍵畫面；- 根據該資料中之連接，將該等關鍵畫面之子集之第一安排顯示為關鍵畫面之交叉橫向條及垂直條；- 根據該第一安排、第一安排之關鍵畫面選擇及該資料中之連接，計算該等關鍵畫面之該子集之第二安排，作為關鍵畫面之交叉橫向條及垂直條；及- 顯示第二安排。
TW105140733A 2015-12-21 2016-12-09 彙總及瀏覽視訊內容之方法、裝置及安排 TW201724864A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP15307079.2A EP3185137A1 (en) 2015-12-21 2015-12-21 Method, apparatus and arrangement for summarizing and browsing video content

Publications (1)

Publication Number Publication Date
TW201724864A true TW201724864A (zh) 2017-07-01

Family

ID=55221234

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105140733A TW201724864A (zh) 2015-12-21 2016-12-09 彙總及瀏覽視訊內容之方法、裝置及安排

Country Status (4)

Country Link
US (1) US20190005133A1 (zh)
EP (1) EP3185137A1 (zh)
TW (1) TW201724864A (zh)
WO (1) WO2017108426A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388358A (zh) * 2017-08-03 2019-02-26 富泰华工业（深圳）有限公司 电子设备及视讯框排列方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795549B2 (en) 2018-03-12 2020-10-06 International Business Machines Corporation Generating a graphical user interface to navigate video content
CN112153462B (zh) * 2019-06-26 2023-02-14 腾讯科技（深圳）有限公司 视频处理方法、装置、终端及存储介质
CN110381367B (zh) * 2019-07-10 2022-01-25 咪咕文化科技有限公司 一种视频处理方法、设备及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4587416B2 (ja) * 2000-04-25 2010-11-24 富士通株式会社 デジタル映像コンテンツ閲覧装置及び方法
JP5678576B2 (ja) * 2010-10-27 2015-03-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および監視システム
US8643746B2 (en) * 2011-05-18 2014-02-04 Intellectual Ventures Fund 83 Llc Video summary including a particular person

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388358A (zh) * 2017-08-03 2019-02-26 富泰华工业（深圳）有限公司 电子设备及视讯框排列方法

Also Published As

Publication number Publication date
EP3185137A1 (en) 2017-06-28
WO2017108426A1 (en) 2017-06-29
US20190005133A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
AU2022204875B2 (en) Multi-view audio and video interactive playback
US11317139B2 (en) Control method and apparatus
KR20110043612A (ko) 이미지 처리
US20180182114A1 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
Chen et al. Visual storylines: Semantic visualization of movie sequence
CN103838808A (zh) 信息处理装置、信息处理方法和程序
TW201724864A (zh) 彙總及瀏覽視訊內容之方法、裝置及安排
CN104822077B (zh) 客户端的运行方法及客户端
JP2011217125A (ja) 画像処理装置、画像処理方法およびプログラム
JP4791565B2 (ja) 評価システム、マーカー表示の制御方法およびプログラム
WO2022199441A1 (zh) 全景视频的播放方法、装置、计算机设备和存储介质
WO2017113713A1 (zh) 显示界面调整方法及装置
EP3151243B1 (en) Accessing a video segment
TW201707466A (zh) 視訊回放裝置及方法（二）
US20200092444A1 (en) Playback method, playback device and computer-readable storage medium
TWI628952B (zh) 視訊回放裝置及方法（三）
Shah et al. Trajectory based video object manipulation
US11557065B2 (en) Automatic segmentation for screen-based tutorials using AR image anchors
TWI571804B (zh) 可預覽畫面之視訊檔案回放系統及其方法與電腦程式產品
JP6576704B2 (ja) 動画再生装置及び動画再生方法
CN102984601A (zh) 摄像头视频摘要生成系统
CN103226452B (zh) 一种多媒体文件的展示方法及装置
JP2012109696A (ja) 画像処理装置
RU2706576C1 (ru) Система и способ объединения нескольких видеоизображений в одно панорамное видеоизображение
JP5089648B2 (ja) 映像比較装置，映像比較方法，映像比較プログラムおよび映像比較プログラムの記録媒体