TW201506651A - 視頻分析系統及方法 - Google Patents

視頻分析系統及方法 Download PDF

Info

Publication number
TW201506651A
TW201506651A TW102122440A TW102122440A TW201506651A TW 201506651 A TW201506651 A TW 201506651A TW 102122440 A TW102122440 A TW 102122440A TW 102122440 A TW102122440 A TW 102122440A TW 201506651 A TW201506651 A TW 201506651A
Authority
TW
Taiwan
Prior art keywords
video
frame
frames
representative
similarity
Prior art date
Application number
TW102122440A
Other languages
English (en)
Other versions
TWI591497B (zh
Inventor
Yu-Kai Xiong
Xin Lu
Shih-Fang Wong
Dong-Sheng Lv
Xin-Hua Li
yu-yong Zhang
Jian-Jian Zhu
Original Assignee
Hon Hai Prec Ind Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hon Hai Prec Ind Co Ltd filed Critical Hon Hai Prec Ind Co Ltd
Publication of TW201506651A publication Critical patent/TW201506651A/zh
Application granted granted Critical
Publication of TWI591497B publication Critical patent/TWI591497B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本發明提供一種視頻分析系統及方法。該方法包括：將一視頻檔切分為多段視頻；選取每段視頻中的一幀作為代表幀，計算所有代表幀中每兩個代表幀之間的相似度係數；確定每兩個不同的代表幀之間的相似度係數中最大的一個相似度係數，並將得到所述最大的相似度係數的兩個不同代表幀所在的兩段視頻合併為一段視頻；分析所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數是否為零；以及在所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數都為零時，確定每段視頻中的起始幀對應的時間和結束幀對應的時間。

Description

視頻分析系統及方法
本發明涉及視頻分析技術，特別涉及一種視頻分析系統及方法。
在生產階段，需要對電子產品例如平板電腦等切換圖片的速度進行分析，即測試電子產品的反應速度。現有的一種測試方法為電子產品自動播放一系列相似度較低的圖片，再將電子產品自動播放圖片的動作錄製為一段視頻。在圖片播放完畢後，採用視頻分析方法對錄製的視頻進行分析，以得到圖片切換速度。目前，在視頻分析學上，通常的做法是逐幀兩兩比較兩幀圖像的異同來確定視頻變化中的關鍵幀，確定關鍵幀對應的時間，從而根據關鍵幀對應的時間來確定圖片切換速度。習知的這種視頻分析方法需要花費大量的時間。
有鑒於此，本發明提供一種視頻分析系統及方法，以解決上述技術問題。
一種視頻分析系統，應用於一計算裝置，所述系統包括：切割模組，用於將一視頻檔切分為多段視頻，每段視頻中的第一幀與最後一幀的相似度係數大於零；計算模組，用於選取每段視頻中的一幀作為代表幀，計算所有代表幀中每兩個代表幀之間的相似度係數；合併模組，用於確定每兩個不同的代表幀之間的相似度係數中最大的一個相似度係數，並將得到所述最大的相似度係數的兩個不同代表幀所在的兩段視頻合併為一段視頻；以及確定模組；所述計算模組還用於分析所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數是否為零，所述確定模組用於在所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數都為零時，確定每段視頻中的起始幀對應的時間和結束幀對應的時間。
一種視頻分析方法，應用於計算裝置，其特徵在於，所述方法包括：將一視頻檔切分為多段視頻，每段視頻中的第一幀與最後一幀的相似度係數大於零；選取每段視頻中的一幀作為代表幀，計算所有代表幀中每兩個代表幀之間的相似度係數；確定每兩個不同的代表幀之間的相似度係數中最大的一個相似度係數，並將得到所述最大的相似度係數的兩個不同代表幀所在的兩段視頻合併為一段視頻；分析所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數是否為零；以及在所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數都為零時，確定每段視頻中的起始幀對應的時間和結束幀對應的時間。
在本發明中，將一視頻檔分割為多段視頻，且每段視頻都僅包含一次變化過程，則可快速地判斷每段視頻中的起始幀和結束幀為所述視頻檔中視頻變化的關鍵幀。採用本發明的視頻分析系統及方法，無需對視頻檔中的每相鄰幀都進行比較，提高了視頻分析的速度。
100‧‧‧視頻分析系統
10‧‧‧切割模組
20‧‧‧計算模組
30‧‧‧合併模組
40‧‧‧確定模組
圖1為本發明一種實施方式中視頻分析系統的功能模組圖。
圖2為本發明一種實施方式中視頻分析方法的流程圖。
請參考圖1，本實施方式中的視頻分析系統100應用於一計算裝置（未示意），用於對一視頻檔進行分析，以快速找到該視頻檔中視頻變化的關鍵幀，根據關鍵幀對應的時間確定計算裝置圖片切換的速度。在本實施方式中，計算裝置可為智慧手機、平板電腦等，視頻檔記錄計算裝置自動播放多張相似度較低的圖片的播放過程。視頻分析系統100包括執行於計算裝置的切割模組10、計算模組20、合併模組30及確定模組40。各個模組的具體功能結合圖2的視頻分析方法進行說明。
步驟S201中，切割模組10將一視頻檔切分為多段視頻，每段視頻中的第一幀與最後一幀的相似度係數大於零。在本實施方式中，計算兩幀圖像的相似度係數具體為：在兩幀圖像處於同一坐標系的同一位置的兩個圖元點的圖元值的差值小於一預設值時，將所述兩個圖元點定義為相等圖元點，以及將所述兩幀圖像中所有相等圖元點的個數定義為所述兩幀圖像的相似度係數。切割模組10將視頻檔切分為多段視頻具體為：假設視頻檔的視頻長度為T，切割模組10設定一時間間隔t1，按照時間間隔t1將視頻檔切分為第一段視頻及第二段視頻，第一段視頻的視頻長度為t1，第二段視頻的視頻長度為T-t1。如果第一段視頻的第一幀與最後一幀的相似度係數大於零，則按照時間間隔t1繼續對第二段視頻進行切割。如果第一段視頻的第一幀與最後一幀的相似度係數為零，則減小時間間隔t1，直至按照時間間隔t1得到的第一段視頻的第一幀與最後一幀的相似度係數不為零。以此類推，直至將視頻檔切分為多段視頻，且多段視頻中的第一幀與最後一幀的相似度係數都大於零。在本實施方式中，若多段視頻中的第一幀與最後一幀的相似度係數都大於零，則代表每段視頻記錄的都是同一張圖片的播放過程。
步驟S202中，計算模組20選取每段視頻中的一幀，例如中間幀，作為代表幀，計算所有代表幀中每兩個代表幀之間的相似度係數。
步驟S203中，合併模組30確定每兩個不同的代表幀之間的相似度係數中最大的一個相似度係數，並將得到所述最大的相似度係數的兩個代表幀所在的兩段視頻合併為一段視頻。在本實施方式中，合併模組30先得到所有代表幀中每兩個代表幀之間的相似度係數的倒數的矩陣，其中，所述矩陣中對角線上的元素為一段視頻的代表幀與自身的相似度係數的倒數，所述矩陣中每一行中除對角線上的元素外的其他元素為其中一段視頻的代表幀與其他段視頻的代表幀的相似度係數的倒數。合併模組30找出矩陣中非對角線上的最小值，確定得到所述最小值的兩個代表幀之間的相似度係數為最大。在本實施方式中，兩個不同代表幀越相似，兩個不同代表幀之間的相似度係數越大，則可確定得到最大的相似度係數的兩個不同代表幀非常相似，兩個不同代表幀所在的兩段視頻非常相似，可將兩段視頻進行合併。因為一視頻檔在時間上是連續的，非常相似的兩段視頻一般來說在時間上也是連續的。
步驟S204中，計算模組20計算所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數是否為零。如果是，執行步驟S205，如果否，返回執行步驟S202。在本實施方式中，如果所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數都為零，則代表每段視頻僅包含一次變化過程，即記錄一事件的開始與結束。在本實施方式中，如果所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數都為零，則代表每段視頻僅記錄一張圖片的播放。
步驟S205中，確定模組40確定每段視頻中的起始幀對應的時間和結束幀對應的時間。在本實施方式中，因每段視頻僅包含一次變化過程，則每段視頻的起始幀和結束幀為視頻檔中視頻變化的關鍵幀。
步驟S206中，確定模組40還根據每相鄰兩段視頻中前一段視頻的結束幀對應的時間和後一段視頻的起始幀對應的時間，確定後一段視頻在前一段視頻播放結束後延遲多長時間開始播放，並將多個確定的延遲時間的平均值輸出。在本實施方式中，輸出的平均值則為計算裝置100圖片切換的速度。
在本實施方式中，將一視頻檔分割為多段視頻，且每段視頻都僅包含一次變化過程，則可快速地判斷每段視頻中的起始幀和結束幀為所述視頻檔中視頻變化的關鍵幀。採用本實施方式的視頻分析系統及方法，無需對視頻檔中的每相鄰幀都進行比較，提高了視頻分析的速度，從而可快速得到計算裝置切換圖片的速度。
無
100‧‧‧視頻分析系統
10‧‧‧切割模組
20‧‧‧計算模組
30‧‧‧合併模組
40‧‧‧確定模組

Claims (10)

  1. 一種視頻分析系統，應用於一計算裝置，其中，所述系統包括：
    切割模組，用於將一視頻檔切分為多段視頻，每段視頻中的第一幀與最後一幀的相似度係數大於零；
    計算模組，用於選取每段視頻中的一幀作為代表幀，計算所有代表幀中每兩個代表幀之間的相似度係數；
    合併模組，用於確定每兩個不同的代表幀之間的相似度係數中最大的一個相似度係數，並將得到所述最大的相似度係數的兩個不同代表幀所在的兩段視頻合併為一段視頻；以及
    確定模組；
    所述計算模組還用於分析所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數是否為零，所述確定模組用於在所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數都為零時，確定每段視頻中的起始幀對應的時間和結束幀對應的時間。
  2. 如申請專利範圍第1項所述的視頻分析系統，其中，計算兩幀圖像的相似度係數具體為：在兩幀圖像處於同一坐標系的同一位置的兩個圖元點的圖元值的差值小於一預設值時，將所述兩個圖元點定義為相等圖元點，以及將所述兩幀圖像中所有相等圖元點的個數定義為所述兩幀圖像的相似度係數。
  3. 如申請專利範圍第1項所述的視頻分析系統，其中，每段視頻的中間幀為該段視頻的代表幀。
  4. 如申請專利範圍第1項所述的視頻分析系統，其中，所述合併模組還用於得到所有代表幀中每兩個代表幀之間的相似度係數的倒數的矩陣，其中，所述矩陣中對角線上的元素為一段視頻的代表幀與自身的相似度係數的倒數，所述矩陣中每一行中除對角線上的元素外的其他元素為其中一段視頻的代表幀與其他段視頻的代表幀的相似度係數的倒數，所述合併模組找出所述矩陣中非對角線上的最小值，確定得到所述最小值的兩個代表幀的相似度係數為最大。
  5. 如如申請專利範圍第1項所述的視頻分析系統，其中，所述確定模組還根據每相鄰兩段視頻中前一段視頻的結束幀對應的時間和後一段視頻的起始幀對應的時間，確定後一段視頻在前一段視頻播放結束後延遲多長時間開始播放，並輸出多個確定的延遲時間的平均值。
  6. 一種視頻分析方法，應用於計算裝置，其中，所述方法包括：
    將一視頻檔切分為多段視頻，每段視頻中的第一幀與最後一幀的相似度係數大於零；
    選取每段視頻中的一幀作為代表幀，計算所有代表幀中每兩個代表幀之間的相似度係數；
    確定每兩個不同的代表幀之間的相似度係數中最大的一個相似度係數，並將得到所述最大的相似度係數的兩個不同代表幀所在的兩段視頻合併為一段視頻
    分析所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數是否為零；以及
    在所有視頻段中每相鄰兩段視頻中的相鄰兩幀的相似度係數都為零時，確定每段視頻中的起始幀對應的時間和結束幀對應的時間。
  7. 如申請專利範圍第6項所述的視頻分析方法，其中，計算兩幀圖像的相似度係數具體為：在兩幀圖像處於同一坐標系的同一位置的兩個圖元點的圖元值的差值小於一預設值時，將所述兩個圖元點定義為相等圖元點，以及將所述兩幀圖像中所有相等圖元點的個數定義為兩幀圖像的相似度係數。
  8. 如申請專利範圍第6項所述的視頻分析方法，其中，每段視頻的中間幀為該段視頻的代表幀。
  9. 如申請專利範圍第6項所述的視頻分析方法，其中，確定每兩個不同的代表幀之間的相似度係數中最大的一個相似度係數具體為：得到所有代表幀中每兩個代表幀之間的相似度係數的倒數的矩陣，其中，所述矩陣中對角線上的元素為一段視頻的代表幀與自身的相似度係數的倒數，所述矩陣中每一行中除對角線上的元素外的其他元素為其中一段視頻的代表幀與其他段視頻的代表幀的相似度係數的倒數，以及找出所述矩陣中非對角線上的最小值，確定得到所述最小值的兩個代表幀的相似度係數為最大。
  10. 如申請專利範圍第6項所述的視頻分析方法，其中，所述方法還包括：
    根據每相鄰兩段視頻中前一段視頻的結束幀對應的時間和後一段視頻的起始幀對應的時間，確定後一段視頻在前一段視頻播放結束後延遲多長時間開始播放，並輸出多個確定的延遲時間的平均值。
TW102122440A 2013-06-20 2013-06-24 視頻分析系統及方法 TWI591497B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310244595.0A CN104240224B (zh) 2013-06-20 2013-06-20 视频分析系统及方法

Publications (2)

Publication Number Publication Date
TW201506651A true TW201506651A (zh) 2015-02-16
TWI591497B TWI591497B (zh) 2017-07-11

Family

ID=52111001

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102122440A TWI591497B (zh) 2013-06-20 2013-06-24 視頻分析系統及方法

Country Status (3)

Country Link
US (1) US9131227B2 (zh)
CN (1) CN104240224B (zh)
TW (1) TWI591497B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744355A (zh) * 2016-01-28 2016-07-06 宇龙计算机通信科技(深圳)有限公司 一种视频预提醒处理的方法、装置以及终端
CN106027893A (zh) * 2016-05-30 2016-10-12 广东欧珀移动通信有限公司 控制Live Photo生成的方法、装置及电子设备
CN106454509B (zh) * 2016-09-27 2019-09-27 深圳市茁壮网络股份有限公司 一种广告图像的检测方法及装置
CN106603886B (zh) * 2016-12-13 2020-08-18 Tcl科技集团股份有限公司 一种视频场景区分方法及系统
CN107071559A (zh) * 2017-05-11 2017-08-18 大连动感智慧科技有限公司 基于关键帧同步的多视频对比系统
CN108307248B (zh) * 2018-02-01 2019-10-29 腾讯科技（深圳）有限公司 视频播放方法、装置、计算设备及存储介质
CN108966004B (zh) * 2018-06-27 2022-06-17 维沃移动通信有限公司 一种视频处理方法及终端
CN111294644B (zh) * 2018-12-07 2021-06-25 腾讯科技（深圳）有限公司 视频拼接方法、装置、电子设备及计算机可读存储介质
CN109862390B (zh) * 2019-02-26 2021-06-01 北京融链科技有限公司 媒体流的优化方法和装置、存储介质、处理器
CN111526424B (zh) * 2020-04-30 2022-06-03 北京奇艺世纪科技有限公司 一种精彩视频段提取方法、装置、电子设备及存储介质
CN111901600B (zh) * 2020-08-06 2021-06-11 中标慧安信息技术股份有限公司 一种损失较低的视频压缩方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3320197B2 (ja) * 1994-05-09 2002-09-03 キヤノン株式会社 画像編集装置及びその方法
JPH11146325A (ja) * 1997-11-10 1999-05-28 Hitachi Ltd 映像検索方法および装置並びに映像情報作成方法およびその処理プログラムを格納した記憶媒体
KR100305591B1 (ko) * 1998-07-22 2001-11-30 오길록 관절점기반동작정보를사용한동영상검색방법
JP3897476B2 (ja) * 1999-02-15 2007-03-22 キヤノン株式会社 画像処理装置及びその方法、コンピュータ可読メモリ
US7075683B1 (en) * 1999-02-15 2006-07-11 Canon Kabushiki Kaisha Dynamic image digest automatic editing system and dynamic image digest automatic editing method
US7224892B2 (en) * 2001-06-26 2007-05-29 Canon Kabushiki Kaisha Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media
JP2004056397A (ja) * 2002-07-18 2004-02-19 Canon Inc 画像処理装置および方法
US7382417B2 (en) * 2004-12-23 2008-06-03 Intel Corporation Method and algorithm for detection of scene cuts or similar images in video images
CN101072342B (zh) * 2006-07-01 2010-08-11 腾讯科技（深圳）有限公司 一种场景切换的检测方法及其检测系统
JP5463739B2 (ja) * 2009-06-03 2014-04-09 ソニー株式会社 撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
CN104240224A (zh) 2014-12-24
TWI591497B (zh) 2017-07-11
US9131227B2 (en) 2015-09-08
CN104240224B (zh) 2018-04-27
US20140376882A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
TWI591497B (zh) 視頻分析系統及方法
Almeida et al. Online video summarization on compressed domain
WO2017067489A1 (zh) 机顶盒音视频同步的方法及装置、存储介质
JP2013533668A5 (zh)
TWI502963B (zh) 電子產品測試裝置及方法
US8233769B2 (en) Content data processing device, content data processing method, program, and recording/ playing device
US9392144B2 (en) Video synchronization based on an audio cue
JP2013243702A5 (ja) プログラム、記録媒体及び符号化方式決定方法
US8731335B2 (en) Method and apparatus for correcting rotation of video frames
WO2022188510A1 (zh) 审核视频的方法、装置及计算机可读存储介质
CN111095939A (zh) 识别媒体项目的先前流传输部分以避免重复重放
US9549162B2 (en) Image processing apparatus, image processing method, and program
JP2013532323A5 (zh)
CN113347489B (zh) 视频片段检测方法、装置、设备及存储介质
RU2015137687A (ru) Система формирования изображений промежуточного вида
JP2017103542A (ja) 同期装置、同期方法及び同期プログラム
JP4702577B2 (ja) コンテンツ再生順序決定システムと、その方法及びプログラム
US20170040040A1 (en) Video information processing system
WO2017113735A1 (zh) 一种视频格式区分方法及系统
JP2011221806A5 (zh)
US11399052B2 (en) Timestamp processing methods for streaming media
KR20200013145A (ko) 하이라이트 추출 방법 및 하이라이트 추출 장치
TWI546779B (zh) 串流資料的編碼排程方法、裝置與電腦可讀取媒體
JP7042736B2 (ja) 前景抽出装置、前景抽出方法、及び、前景抽出プログラム
CN112447185B (zh) 音频同步误差测试方法、装置、服务器及可读存储介质