TW200833116A - Extracting features of video and audio signal content to provide a reliable identification of the signals - Google Patents
Extracting features of video and audio signal content to provide a reliable identification of the signals Download PDFInfo
- Publication number
- TW200833116A TW200833116A TW096145374A TW96145374A TW200833116A TW 200833116 A TW200833116 A TW 200833116A TW 096145374 A TW096145374 A TW 096145374A TW 96145374 A TW96145374 A TW 96145374A TW 200833116 A TW200833116 A TW 200833116A
- Authority
- TW
- Taiwan
- Prior art keywords
- value
- vector
- values
- signature
- random
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims description 28
- 230000003595 spectral effect Effects 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims 78
- 238000005266 casting Methods 0.000 claims 1
- 230000010485 coping Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000012986 modification Methods 0.000 abstract description 16
- 230000004048 modification Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 37
- 238000012545 processing Methods 0.000 description 18
- 238000012360 testing method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000000750 progressive effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000031968 Cadaver Diseases 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 238000001467 acupuncture Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
200833116 * 九、發明說明: 【發明所屬之技術領域】 發明領域 本發明一般係有關視訊和音訊信號之處理,以及更明 5確地係有關自視訊信號和音訊信號抽取特徵以資識別該等 #號之程序。遍及此揭示内容,術語“視訊信號,,,係論及 一些傳達視覺所望之内容,以及術語“音訊信號”,係論及 ^ 一些傳達聽覺所望之内容。 10 發明背景 些4員似Μ试侦測視訊和音訊信號所傳達之非法内容 或嘗試重新同步化分離之視訊和音訊信號等應用,經常要 仰仗於一些可檢驗信號内容來識別該等信號之程序。就許 多此等應用而言,即使是在該等信號之内容已或無意或有 — 15意地被修飾過,重要的是要取得一個信號之可靠識別,而 0 使該修飾過之内容,仍能被一個觀察員辨認出,如同大體 上與4原始内谷一般無二。若一個原始信號内容與一個修 飾過的信號之間的感知差異很小,則該識別程序較佳的是 能自該等彼此酷似之原始信號與修飾過的信號抽取出識別 20 特徵。 一些對h號内容之無意修飾的範例,係包括在傳輸頻 道中及儲存媒體上面之信號插入或加入雜訊。一些有意修 飾視訊信號内容之範例,係包括輝度和色彩修飾,諸如對 比/亮度調整、灰階校正、輝度柱狀圖等化、色彩飽和度調 5 200833116 整、和白平衡有關之色彩校正· ,係包括幾何性修飾,諸如 衫像男接和尺寸還原、影像旋 疋锝和反轉、伸展、斑點移除、 模糊化、銳化和勾邊;以及车 久1糸包括編碼技術,諸如有損性 壓縮。一些有意修飾音訊信號之_,係包括放大、等化、 ㈣範圍修飾 '頻道上_、時標修飾、頻譜整形、和有 損性資料壓縮。 t發明内容】
發明概要 本發明之-目的,旨在提供識別程序,其可被用來取 10得視訊和音訊信號的-個可靠識別符,縱使該等信號之内 容已被一些類似上文所提及之機構修飾過。 此目的係由本發明如下文所描述地加以達成。 本發明之各種特徵和其較佳實施例,可能藉由下文之 討論和所附諸圖而有更佳之理解,其中,相似之參考數字, 15在各圖中係論及相似之元件。下文之討論和繪圖的内容, 係僅列舉為一些範例,以及不應被理解為表示本發明之界 定範圍的限制。 圖式簡單說明 第1圖係一個可被用來取得視訊和音訊信號之可靠識 20 別符的系統之示意方塊圖; 第2圖係一個可被用來取得視訊信號之可靠識別符的 系統之示意方塊圖; 第3圖係一個可被用來取得音訊信號之可靠識別符的 系統之示意方塊圖; 6 200833116 第4圖係一個可被用來產生一組可表示視訊内容的兩 個圖框之間的差異之差分元件的程序之示意方塊圖; 第5圖係一個低解析度差分影像中之一組中間值的示 意方塊圖; 5 第6圖係一個可被用來產生一段音訊内容之時間頻率 信號表示的程序之示意方塊圖; 第7圖係一個低解析度時間頻率信號表示中之一組中 間值的示意方塊圖; 第8圖係一個可接取同步化視訊/音訊串流有關之參考 10 簽章和排齊資訊的裝置之示意方塊圖; 第9圖係一個可回復對視訊/音訊串流之同步化的裝置 之示意方塊圖; 第10圖係一個可例示視訊/音訊串流中之時序延遲的示 意方塊圖; 15 第11圖係一個可管理一個用以偵測視訊或音訊内容之 副本的簽章資料庫之裝置的不意方塊圖;而 第12圖則係一個可能被用來實現本發明之各種特徵的 裝置之不意方塊圖。 【實施方式3 20 較佳實施例之詳細說明 A.導言 第1圖係一個範例性系統300之示意方塊圖,其可檢驗 一個視訊/音訊信號3之節段3a至3d的内容,藉以取得該信號 的一個可靠識別符。該視訊簽章抽取器100,可取得一組可 7 200833116 章(SV)199b至199d,以及該音訊信 一組可識別音訊内容之音訊簽章 圖内所顯示之範例中,視訊和音訊 應於該視訊/音訊信號之節段。此〜 識別視訊内容之視訊4 號抽取器200,可取得 (SA)299a至299d。在此 内容之個別簽章,係對 特定範例係在以下幾餘+t t 气郎中進一步加以討論,其中,每一節 段之視訊/音訊信號,π# & 丁傳達一個圖框之視訊内容和一個節 段之音訊内容。此種為#饥 卜之 々里在即段、圖框、節段和簽章之間的特
定之對應關係,係、僅呈現作為一個範例。其他之安排係屬 可能,以及㈣如下文所討論係屬較佳。 10帛2圖係上述視§Tl茶章抽取器100的-個示意方塊圖。 邊差分貧讯產生$110,可檢驗兩個視㈣框以、ib之内 容,以及可產生-些可表示該兩圖框的全部或一部分之間 的差異之差分兀素。若每個視訊圖框之内容,係由一個表 達分立圖像兀素或像素之強度的值陣列來表示,舉例而 15言,該等差分元素,可能是一個對應像素的強度之間的差 異之值陣列。該中間值產生器15〇,可檢驗差分元素之群 組,以及可自每個群組中之差分元素的強度,導出一個中 間值。該視訊簽章產生器170,可對該等中間值,應用一個 散列函數,藉以產生一個可識別該等視訊圖框之内容的視 20 訊簽章(SV)199b。 第3圖係一個音訊簽章抽取器200之示意方塊圖。該時 間頻率信號表示式產生器210,可檢驗一個音訊節段2b之内 谷,以及可產生一些可表示該節段中之音訊内容的頻譜成 分之全部或一部分的頻譜值。若該節段之音訊内容,係由 8 200833116 一些表達分立樣本之幅度的值來表示,舉例而言,該等頻 譜值可能是一個區段時域對頻域變換所產生的一組係數。 該中間值產生器250,可檢驗該等頻譜值群組,以及可自每 • 個群組中之頻譜值的強度’導出一個中間值。該音訊簽章 5產生器270 ’可將一個散列函數,應用至該等中間值,藉以 產生一個可識別該音訊節段之内容的音訊簽章(sA)299b。 Β·視訊簽章抽取器 # 該視訊簽章抽取器1〇〇之組件,可能以多種方式來實 現。一些較佳之實現體,可抽取一個對視訊内容具有少許 或無感知效果之修飾相對不靈敏的簽章。若對視訊内容之 修飾在被感知之影像方面係不具顯著的效果,則較佳的是 此等修飾對上述抽取出之簽章,亦不具有顯著之效果。兩 個視訊簽章之間的某些差異量度,係與該等簽章抽取所出 的兩個内容之間的差異量度相稱。少數範例性實現體係討 - 15 論如下。 ® 下文所討論之實現體,可計算視訊圖框間之差異,因 為使用-個差異,可增加上述抽取出之簽章原始内容中之 移動和其他改變的靈敏度,但可消除或減輕對來自在不同 色彩空間之間會轉變或會應用色彩校正的類似改變亮度或 20對比等後繼程序之修飾的靈敏度。 I差分資訊產生器 〜魏朗容之圖框以—個分立像素陣列來表示的一個 範例性實現體中,該差㈣訊產生器11(),可藉由計算被連 視訊圖框内的對應像素之間的絕對差異,來取得—個差分 9 200833116
之間的絕對差異計算出。 另關的紅色、綠色、和藍色值之間 <土的疋,該等差分元素,係自一些 和藍色值之對應像素的輝度或亮度 。若每個視訊圖框傳達一個單色影 X等差77元素可錢自料對應像素的強度 對差異計算出。 、右有而要,差分元素可能被限制至僅為總影像的一部 10刀,使避免對該影像之邊緣或角落加進字框㈣erb〇x)或圖 瓜之任何程序所建立的改變。此可能藉由在計算該等差分 2素之WW接郷像,或者可料在彼等已被計算出之後 剪接該差分元素㈣,來加以達成。 就些類似電視等視訊應用而言,一個適當之剪接, I5可選擇該影像之中央部分,以致任何插進該影像之邊緣附 近的視讯内容之内的標語或其他圖形物件,便不會影響到 該抽取之g早。與接亦可能消除對該影像因漸進式掃描與 交錯式掃描袼式之間和高畫質(HD)與標準畫質(HD)袼式之 間的轉換所致之修飾。一個特定之HD對SD格式的轉換,係 2〇在接下來之諸節中加以討論。, 舉例而言’若有一個具有1080x1920之解析度的HD-格 式之原始視訊内容,被轉換成一個具有480x640之解析度的 SD-格式,該原始影像可被剪接而選擇該原始影像仍被保留 在被轉換之影像中的中央部分。一個適當之剪接,係自該 10 200833116 原始HD影像之左侧邊緣移除240個像素,以及自其右側邊 緣移除240個像素,藉以得到一個與該SD影像相同之寬高比 的1080x1440之解析度。該被剪接之區域,可能會被調整使 消除該影像如上文所提及可能以標語或圖形物件修飾過之 5 額外區域。 該差分元素陣列,亦可能被下取樣(down-sampled),藉 以降低對視訊圖框在不同格式間轉換時會發生之修飾的靈 敏度。在電視應用中,舉例而言,該等影像可能被下取樣 至120x160之解析度,其就HD和SD格式而言,以及就漸進 10 式掃描和交錯式掃描格式而言,是一種方便之選擇。 舉例而言,假定一個原始視訊信號之内容,係在一個 具有1080x1920之解析度的HD格式中。此内容如上文所 述,可被剪接成一個具有1080x1440之解析度的影像,以及 接著被下取樣至120x160之解析度。一個視訊簽章,係可自 15此低解析度影像中抽取出。進一步假定該原始視訊信號, 被轉換成具有480x640之解·柝度的8£)格式。此被轉換之影 像,亦可能被下取樣至一個120x160之解析度,使基本上容 許自該轉換之信號,抽取出如原始信號所完成者相同之視 訊簽旱。此相同之下取樣,可被用來適應自SDiHD格式及 20渐進式掃描和交錯式掃描格式之間的轉換。若所使用者係 通當之下取樣,該簽章抽取程序對袼式間之轉換所發生的 修飾便不敏感。 若一個視訊信號傳達的内容,係在一種交錯式掃描格 武中’其中’ -個視訊圖框係被安排在兩個圖場中,其在 11 2〇〇833116 叶算該差分元素之前,可能會被轉換成一個漸進式掃描之 袼式。或者,掃描袼式之選擇的更大獨立性,可藉由僅— 個乂錯式掃描圖框中的一個圖場取得差分元素來加以達 成。舉例而言,差分元素可僅在一個圖框之第一圖場之間 取得,或者可僅在該圖框之第二圖場之間取得。另一個圖 %内之視訊内容或將被忽略。此程序可避免在計算該差分 衫像之前轉換成一個漸進式掃描之格式的需要。或者,一 個交錯式掃描袼式,可在取得該等差分元素之前,被轉換 成一個漸進式掃描之格式。 、上文所討論之差分資訊產生器110的實現體所執行之 運作三係示意例示在第4财。在此—實現㈣,有_個減 4運异114’可計算—個視訊圖框la與-個視訊圖框lb中之 子應像素的值之間的差異,以及有一個絕對值運算US,可 自、-等像素差異之絕對值取得_組差分元素△。有一個剪 接運作122,可藉由清除該差分影像之頂部、底部、和右側 止立左側緣附相差分疋素,使僅保留該差分影像之中 二分。有_個取樣運作126,可下取樣上述被剪接之差分 20 順異、下取樣、和剪接之運作,可以不同之 順序來執行。舉例而t,今箄#八_ 4差分兀素在計算上,可首先 像,,訊圖框之内容,其次剪接該兩下取樣之影 2中2接著計算該兩被剪接的影像之間的差異。 ζ· T間值產生器 在一個範例性竇骑由分咕泣 、見體中,該專差分元素△,係被群分 12 200833116 成-個差分影像之區域,其中,每個區域係狀元素寬和^^ 元素高。藉由計算每個區域内之元素的平均強度,可自該 等差分兀素之強度’導出-些中間值ρ。此等中間值構成了 該差分景^像之低解析度表示,其係具有一個尤中間值之解 5析度。此係示意例示在第5圖中。該等中間值可能得自下列 之表示式: I (k+\)-GX~\(l+\)GY-\ Q(k,1)— gx gy ⑴ 其中,0(^0=該低解析度影像中之中間值; 元素數目中所表達之差分元素群組的寬度; 10 元素數目中所表達之差分元素群組的高度、; i(=該低解析度影像之水平解析度; 1=該低解析度影像之垂直解析度;以及 △ 乂/戶差分元素。 該等群組之垂直尺寸GF,係選擇使足兄if,以及該 15等群組之水平尺寸’係選擇使Z· F,其中,兄和 及F分別係該差分影像之水平和垂直解析度。就上文所討論 之範例性實現體而言,可產生一個具有120x160之解析度的 下取樣之差分影像,該等群組有關之適當尺寸為8x8,其可 提供一個具有120/8x160/8=15x20之解析度的低解析度影 20像。藉由使用該低解析度中間值0而非該高解析度差分元素 來抽取該視訊簽章,該抽取出之視訊簽章,對一些改變視 訊信號内容之細節但保留平均強度之程序係較不敏感。 3.視訊簽章產生器 13 200833116 該視訊簽章產生器170,可對一個中間值2之^^陣 列,應用一個散列函數,來產生一組#個散列位元。此等散 列位元,構成了上述可識別該等視訊圖框之内容的視訊簽 章(SV)。較佳的是,該散列函數對該等中間值中之改變係 5相對不靈敏,但可能對任何可能被使用之散列關鍵字中之 改變靈敏。不同於一個典型之編密散列函數,彼等之輸出 會隨著其輸入的即使一個單一位元之改變而有顯著的改 變,此應用有關的一個較佳之散列函數,可提供一個就該 輸入中間值中之小改變僅會歷經小改變的輸出。此可容許 10該抽取出之視訊簽章,僅會隨著視訊信號内容之小改變而 略有少許改變。 一個適當之散列函數,係使用一組#個基矩陣(base matrices),來產生一組at個散列位元。該等基矩陣^至^, 係一個ΧχΖ隨機值矩陣元素之陣列。每個基矩陣p〃之矩陣元 15素,可能係產生自下列之表示式: 戶 RGN-L 就 尤,〇<£ 而言 ⑺ 其中,Λ/以戶基矩陣Pn之矩陣元素; RNG=—個隨機數產生器之輸出;而 瓦二每個中間矩陣有關之RNG所產生的平均值之數目。 20 該產生器Rng,可產生一些均勻分配在範圍[ο,η内之 隨機或虛擬隨機值。該產生器之初始狀態,可由一個散列 關鍵字來設定初值,藉以容許該散列函數和該抽取出之視 訊簽章,在編密上能更穩固。 該組固散列位元在取得上,首先係藉由將該等中間值 14 200833116 2投射至每個#個基矩陣,彼等可能係表示為: K-1 L-1 凡=Σ g阶,/>户/灸,/娘…^而言 其中,私:該等中間值至該基矩陣匕上面之投射值。 忒等散列位元,接著係藉由比較每個至所有投射值之 5中位值的投射值,以及若該投射值等於或超過該臨界值, 便設定該散列位元為-個第一值,而若該投射值小於該臨
界值,便設定該散列位元為一個第二值,來加以取得。此 可能被表示為: 10 其中 sgn(x)=
Bn =sgn(i/M-^) 〇就χ < 〇而言、 1獻< 〇而言以及
沒=所有投射值私之中位值。 C.音訊簽章抽取器
邊音訊簽章抽取器2〇〇之組件,可能係以多種方式來實 現 些杈佳之實現體,係抽取一個對略具或不具感知效 15果之音訊内容的修飾相對不靈敏之簽章。若一些針對音訊 内谷之修飾在感知聲音方面無顯著之效應,則較佳的是, 2等修飾對抽取出之簽章,亦不具顯著之效應。兩個音訊 簽早之間的差異之某些量度,係與該等簽章抽取所由的兩 個内各之間的差異之量度相稱。幾個適當之實現體係討論 20 如下。 1.時間頻率信號表示式產生器 在—個音訊信號之節段係由一些表達分立樣本之幅度 15 200833116 的值來表示之範例性實現體中,該時間頻率信號表示式產 生器210,係自一些藉由應用時域對頻域變換來覆蓋每一節 段内之音訊樣本的區塊所產生之變換係數,取得_組頻譜 值。若有需要,該等頻譜值可能被限制至僅該音訊内容之 5總頻寬的一部分,藉以避免任何改變該音訊内容的頻譜形 狀之程序所造成的變化。舉例而言,一個有限度之表示, 可能藉由排除上述表示最低頻率和最高頻率之頻譜成份的 變換所產生之變換係數,或者藉由在應用該變換之前通帶 濾波掉該音訊内容,來加以取得。 10 上述差分資訊產生器210之範例性實現體所執行的運 作,係不意例示在第6圖中。在此一實現體中,一個音訊内 容節段2a,係被分割成了個交疊之區塊BLOCK-1至 BLOCK-T之序列。每個節段之長度為π個樣本,以及每個 區塊之長度為個樣本。毗連區塊的開端之間的差距值, 15係-㈣稱作區塊步階尺寸之樣本數烈。針對每個樣本區 塊,係應用一個區塊變換,藉以產生一組頻譜值。第6圖例 示了一個變換20使一個區塊成為一組頻譜值25之變換。在 該節段2a⑽所訂個區塊均已被轉換成對應組的頻譜值 之後,程序便會繼續處理次一節段_之區塊。彼等田比連 ⑽之節段的開端之間的差距值,係一個被稱作節段步階尺寸 之樣本數ZS。 該時間頻率信號表示之時間解析度,係該等節段長 度、區塊長度、和區塊步驟尺寸的—個函數,直可被表示 如下: 〃 16 200833116 TJLS - LB) ZB (4) 其中,每個節段内之區塊數目或時間解析度; • 樣本内之每個節段之長度; 樣本内之每個區塊之長度;以及 5 區塊步階尺寸。 該頻率解析度,通常係由該區塊之長度或上述被用來 • 產生頻譜值之變換的長度來加以決定。 在下文所討論使視訊和音訊内容同步化的一個應用 中,音訊内容係被分割成一些等於三個視訊圖框之長度的 10節段。就某些電視應用而言,三個視訊圖框所跨越之時間 間隔大約為100毫秒。若該音訊樣本率為48仟赫,則該音訊 節段長度便為4,800個樣本。該區塊長度係被選定為256個樣 本,以及該區塊步階尺寸係被選定為32個樣本。就此一 ^ _ 現體而言,每個音訊節段係具有P142個區塊·,所以,該時 隹 15間頻率信號表示之時間解析度係等於142。針對每個樣本區 塊,係應用一個256-點快速傅立葉變換(FFT),藉以產生j29 個頻譜值;所以,時間頻率信號表示之頻率解析度係等於 129。該節段步階尺寸,係被選定為512個樣本,或者大約 10.7毫秒。 20 2.中間值產生器 該中間值產生器250,可檢驗該等群組之頻譜值,以及 可自每個群組内之頻譜值的強度,導出一個中間值。 在一個範例性實現體中,該等頻譜值s,係被群分成一 17 200833116 些時間頻率區域,其中,每個區域係GF個頻譜值寬和固 頻譜值長。一些中間值ρ,係藉由計算每個區域内之頻譜值 的平均強度,而導自該等頻譜值之強度。此等中間值,構 成了一個低解析度時間頻率信號表示,其係具有尺XI中間值 5 之解析度。此係示意例示在第7圖中。該等中間值可能得自 下列之表示式: I (k+l)GF-l(M)GT~l Q(k,l)= rF γτ Σ W就Μ灸<[;仏/〈而言(5)
Lrr .Lri i=hGF j=l GT v 其中,該低解析度表示中之中間值; GF=以值數量表達之頻譜值群組的寬度; 10 Gr=以區塊數量表達之頻譜值群組的長度; 尤 =低解析度表示之頻率解析度; 1=低解析度表示之時間解析度;以及 坏^刀=頻譜值。 該等群組之尺寸G7,係選擇使尤·GjP=jRT,以及該等群 15組之尺+ GF,係選擇使及Γ,其中,和及:τ分別為該 低解析度表示之頻率和時間解析度。就上文和下文所討論 之範例性實現體,該等群組有關的適當尺寸為Gp==6和 G7M4,其可提供一個i29/6x142/14%2〇x1〇中間值之低解 析度表示。藉由使用該低解析度中間值0而非該高解析度時 20間頻率#號表示,來抽取該音訊簽章,該抽取出之音訊簽 章,對一些改變頻譜内容之細節但保留平均頻譜位準之程 序係較不靈敏。 該等計算時間頻率信號表示和中間值之運作,可能以 18 200833116 5
:=執行。舉例而言,一組具有-個低頻率解析度 之I曰值’可能藉由縮短該區塊長度和該變換長度及辦加 該等賴值群組之長度卿取得,藉以取得相同之時間解 析^。右有需要’該等群組之寬度GF,可橫跨該頻譜而被 改k。若高頻之頻譜成份就該抽取出之簽章而言,被認為 比低頻成份較不_,此相對明顯性,可藉由增加較高頻 率有關之群組的寬度來加以實現。 3.音訊簽章產生器 該音訊簽章產生器270,可對一個中間值^之尺乂么陣 1〇列’應用—個散列函數,來產生一組7V個散列位元。此等散 列位元,構成了上述可識別該等音訊節段之内容的音訊簽 章(SA)。此可能以上文有關視訊簽章之說明者相同的方式 來完成。 D.應用
上文所討論之視訊和音訊簽章抽取器,可能被用在多 種應用中,其中係包括一種可回復在視訊和音訊内容的串 流之間失去的同步之應用和一種可偵測視訊和音訊内容的 副本之應用。此等應用之範例性實現體係如下。 1·視訊/音訊之同步化 視訊和音訊内容之串流,在彼等被記錄或被建立時, 經常係彼此同步,但同步化可能會在後繼之處理程序期間 失去。在一個電視廣播系統中,舉例而言,一些同步化之 視訊和音訊串流,在彼等被匯整在一起以供傳輸之前,經 常係被分開成兩條不同路徑以供信號處理。該兩條路徑中 19 200833116 不同之處理延遲,會引起同步的喪失。該等串流可手動使 重新同步化,但此係既繁瑣又易生人為錯誤。上文所說明 之簽章抽取器,可被使用在一個可自動回復同步之系統 中。在一個廣播系統中,舉例而言,同步化可在該系統之 5 任何點處被回復.,其中包括恰在廣播之前的發射器處或在 收聽之前的一個接收器處。 一些類似上文所說明者之技術,係在該等視訊/音訊串 流已知要被同步化時,被用來自視訊和音訊内容之串流抽 取出簽章。一個可指明此等簽章下層的視訊和音訊内容之 1〇間的排齊之排齊資訊亦會被接取。此等視訊和音訊簽章和 該排齊資訊,係提供給一個負責回復該兩串流之間的同步 之“重新同步化裝置”。此重新同步化裝置,可在該等視訊 和音訊内容之串流已經被處理過且已彼此失去同步之後, 接收該等串流,可連同當前之排齊資訊,抽取新的簽章, 15可使該新近抽取之簽章和當前之排齊資訊,與該等原始之 簽章和排齊資訊相互關聯。以及可調整該當前之排齊,直 至適當之同步被達成為止。此可被完成的一種方式,係更 詳細地說明如下。 a)範例性實現體概觀 20 第8圖係—個接取裝置350之示意方塊圖,其可自一些 同步化之視訊和音訊串流,抽取視訊和音訊簽章和排齊資 訊。該等同步化之視訊和音訊内容和串流,本說明書係稱 作參考内容和參考串流。上述自該等參考串流抽取出之簽 早和排背資Λ,本說明書係分別稱作參考簽章和參考排齊 20 ^00833116 貝戒。該視訊簽章係由該視訊簽章抽取器1〇〇取得,以及係 沿該路徑190傳遞,以供一個重新同步化裝置後繼使用。該 音訊簽章係由該音訊簽章抽取器200取得,以及係沿該路徑 290傳遞,以供一個重新同步化裝置後繼使用。一些可被用 來抽取視訊和音訊簽章之技術,係說明在上文中。 該接取裝置350,亦可接取可能以多種方式表示之排齊 貪訊。舉例而言,該排齊資訊,可由聯結一個特定之視訊 簽章與一個音訊簽章而使暗指,其中,該兩簽章係抽取自 體门 ¥刻下開始視訊内容之圖框和音訊内容的節段。 在此背景環境中,該等視訊和音訊内容起始時間,係被視 為大體上相同,倘若一個觀察員難以指出何者内容領先另 =個。就另一個範例而言,該排齊資訊可能係由一些與該 等現訊和音訊簽章相聯結及指明下層視訊内容和音訊内容 U =時間印記或時間差距值來表示。若所提供係明指性排齊 5賁訊,其便沿著該路徑390傳遞,以供一個重新同步化裝置 後繼使用。無特定類型之排齊資訊是重要的。下文所討論 之範例,係符合該排齊資訊為暗指之假定。此等範例可輕 易被改變,來考量任何可能伴隨該等簽章之明指性時間印 記或時間差距值。 、 2〇 冲 弟9圖係一個可能被用來回復視訊和音訊内容的串流 之間的同步之重新同步化裝置4〇〇的示意方塊圖。此重新同 步化裝置400,係包含有一個視訊簽章抽取器⑽和一個音 =簽章抽取器200,彼等可自經由該路徑33接收到之視訊和 音訊内容的串流,抽取出視訊和音訊簽章。該等串流之内 21 200833116 容,可能已有意地及無意地被多種程序修飾過’以及可能 彼此未被適當同步化。該等視訊和音訊内容和串流,本說 明書係稱作當前之内容和當前之串流。該等自當前之串流 抽取出的簽章,本說明書係稱作當前之簽章。 5 該内容延遲計算器410,可相對該等參考視訊簽章,來
比較該等當前之視訊簽章,以及可評估該等參考視訊内容 和當前之視訊内容被認為屬對應圖框的下層圖框之間的相 對性時序差異。該内容延遲計算器420,可相對該等參考音 訊簽章,來比較該等當前之音訊簽章,以及可評估該等參 10 考音訊内容和當前之音訊内容被認為屬對應節段的下層節 段之間的相對性時序差異。就類似廣播等應用而言,該等 參考簽章和排齊資訊,應在該等當前的串流到達之前,遞 送給該等内容延遲計算器,以便有充份之資訊可供實時回 復同步化利用。 15 20 該相對性延遲計算器430,可使用該等相對性時序差 異,來計算為調整該料前之串㈣任何__個或兩者以達 成適當之同步化所需的延遲量。—個表示此延遲之資訊, 係沿該路徑490傳遞,以供其他設備用來實現上述之延遲。 係表明該參考視訊 以及該相對音訊時 舉例而言,假定該相對視訊時序差異, 圖框領前該對應之當前視訊圖框四秒, -係表月该苓考音訊節段領前兮斜 段五秒。W對應之當前音訊節 忒相對性延遲計算器43〇 ,便 、 之同步化,兮告二+、日. 计异出為達成適當 該田則之視訊串流,有等於一 b)内容延遲計算哭 、私之延遲量。 22 200833116 上面所論及的兩個内容延遲計算器,可比較該等參考 双早和當前之簽章的序列,以及可評估該等下層的視訊/ “fl内容之_娜性時序差異。此等計算器可能以多種 方式來貝現。一個使用漢明距離函數之實現體, 5係說明在以下之段落中。 假定該當前之視訊串流,係透過-條強加有以符號 表明之處理延遲的信號處理路徑,*得自該參考視訊串 ,。進一步假定該當前之音訊串流,係透過一條強加有以 付就(5 a表明之延遲的信號處理路徑,而得自該參考音訊串 1〇流。该内容延遲計算器41〇,可比較該等參考視訊簽章 孝田Θ之w像簽早sveURR,以及可產生上述視訊處理延遲 的一個評估值ε V。該等參考視訊串流和t前的視訊串流之 間的相對性時序差異,可得自於上述估計之延遲£v。該内 15容^遲=器420,可比較該等參考音訊簽章从㈣和當前 曰汛双早SACURR,以及可產生上述音訊處理延遲之評估 值“。該等參考串流和當前的音訊串流之間的相對性時序 差異,可得自於上述評估之延遲ε A。 i可被用來評估該處理延遲之技術,係說明在以下 之段落中。視訊和音訊之間並無區別,因為該等視訊處理 2〇延遲:估值“和音訊處理延遲估值“,可以相同之方式 來计鼻。 該内容延遲計算器,可接收兩組簽章。第一組係—個 以{W⑼指明之參考簽章序列,以及第二組係一個以 { c猶咖日明之當别的簽章序列。該可搜尋過該兩 23 200833116 序列之範圍,藉以找出該等簽章組在其中具有最高程度之 關聯性的一個窗口。此可藉由首先計算下列之點數來完成: W-1 + j),Sc職(m + — U (m《i+ U而言..(6) j=〇 其中,串流之間的一個特定之排齊有關的計得之點數; 5 HD[r,c]=簽章r與c之間的漢明距離; 該組參考簽章{S^F(〇}中之簽章數目; t/=該關聯器有關之搜尋範圍;以及 以簽章數目來表達之關聯性窗口的長度。 該漢明距離係等於兩個簽章在其中不同之位元位置的 10 數目。 上述評估之處理延遲,可能導自m之值,其中,上述關 聯性窗口内之參考簽章和當前的簽章之間的最接近之匹配 會被找出。此可被表示成: ^=arg min [乃(仍,〇]就^"^^+以而言 (7) m 15 若其中無處理延遲,則6,·=/。若上述評估之延遲,係 三個圖框或三個節段,則5尸/+3。該等對應於上述簽章 之圖框或節段有關的相對性時序差異’係心與^之間 的差距值。視訊圖框/有關之相對性時序差異,本說明書係 以办㈨來指明,以及音訊節段/相對性時序差異,本說明書 20 係以而(%)來指明。 在一個電視有關之實現體中,該等值^10和t/=45,係 就視訊圖框供該内容延遲計算器410使用,以及該等值 24 200833116 w 23和047 ’係就音訊節段供該内容延遲計算器42〇使用 該等視訊和音訊延遲計算器中所使用之^值有關的值,在該 等苓考串流中,分別係視訊圖框和音訊節段之數目。 該相對性延遲計算器430,係使用該等視訊和音訊串流 , 5有關之相對性時序差異,來計算當前之串流中的任何一個 或兩者有關之延遲量,ϋ以達錢當之同步化。此係示意 例不在第10圖中。一個參考視訊串流〗中之參考視訊圖框 # lb,和一個參考音訊串流2中之參考音訊節段2b,係顯示屬 同步。该視訊串流1有關之信號處理81和該音訊串流2有關 1〇之“旎處理82,會在該兩串流中導入不同之延遲。結果, 口亥虽刖之視訊串流31中的當前之視訊圖框lb,和該當前之 音訊串流32中的當前之音訊節段2b,係不再同步。該當前 之視Λ圖框1b,I已延遲了办,以及該當前之音訊節段2b, 業^延遲了而。上述回復同步需要對延遲所做之調整值β办 _ 15 ^於如而)。若办如該圖中所顯示係大於而,則同步可 藉由使,亥音訊節段延遲該項調整值邮來回復。若办小於 則同步可犯藉由使該視訊圖框延遲該項調整值來回 復。該等串流基本上可以任何可能想要之方式中被延遲, 有種方法疋使串流内容儲存進及取回自一個有充份容 里來提供相對该延遲之調整值的先進先出_〇)緩衝器内。 2·副本之偵測 ▲ 轉自視師音助容抽取丨之簽耗可被用來識別 該内容,縱使該内容已被多種類似上文所提及之程序修飾 ^此種可罪地決定出特定之視訊内容或音訊内容是否為 25 200833116 視訊内容或音訊内容的副本 用中。少數範例係簡要說明 一個即使在被修飾過時之參考 之能力,係可被使用在多種應 在以下之列表中: •偵測未經授權之副本··一此 可促成内容之分配,彼等二=服器之網路’ 之未經授權或非法副本°因2屬性内容
10 15
備可藉由自該網路可司服器之間。一個設 立…批 供利用之所有内容抽取出簽 二=Γ個參考簽章資料庫,來核對該等 欢早’而自動決定出是否有 於該網路中。 1版翁,存在 •廣播之確認:-絲包分配蚊W音訊内容 的廣播網路之企業,可藉由自—個廣播接收器所接 收之信號抽取出簽章,以及使此等簽章與該特定之 内容有_參考簽章減較,來確賴合約有效期 是否滿足。 •接收之識別··一些提供廣播網路之收視率的企業, 可藉由抽取来自被接收之信號的簽章,以及使此等 簽早與一些參考簽章相比較,來識別一個接收器所 20 接收到之内容。 第U圖係一個可被用來實現多種類似先前之列表中所 提及的應用例的系統之示意方塊圖。該等視訊簽章抽取器 100和音訊簽章抽取器200,可由接收自該路徑31之内容的 荼考視訊/音訊串流,抽取出參考視訊簽章和參考音訊簽 26 200833116 章。該等抽取出之參考視訊 簽章,係使儲存進該視訊資 10 15 20 庫⑽内,Μ該鋒出之參考、=师進該視訊資料 訊資料庫280内。該等參 早,係使儲存進該音 應用例之實_次 Π犯係與其他可能促成該 可能係與其本身之下Μ ;,該等參考簽章 有關該内容類似内容;有:一::存’或者與-個可識別 題、或内容本文t 證有效期、内容標 童,可At& 4貝狀資料儲存。每個參考簽 夫考欠固資料庫搜尋和取回關鍵字相聯結,或者該 欢早本身,可能充作該搜尋和取回關鍵字。 任何特定之視訊内容或音訊内容的識別碼,可能係相 對於該等視訊和音訊資料庫中所儲存之資訊所代示的參考 内容而被核對。其識別碼要被核對之内容,本說明書係稱 作測試内容。該測試視訊内容之識別碼,可藉由令視訊簽 章抽取器101,自接收自該路徑33之測試視訊内容,抽取出 一些測試視訊簽章,以及將該等測試視訊簽章,傳遞至該 視訊搜尋引擎170,來加以核對。該視訊搜、尋引擎17〇,可 嘗試找出該視訊資料庫180内與該等測試視訊簽章精確或 岔切匹配之參考視訊簽章。該測試音訊内容之識別碼,可 藉由令音訊簽章抽取器201,自接收自該路徑33之測試音訊 内容,抽取出一些測試音訊簽章,以及將該等測試音訊簽 章,傳遞至該音訊搜尋引擎270,來加以核對。該音訊搜尋 引擎270,可嘗試找出該音訊資料庫280内與該等測試音訊 簽章精確或密切匹配之參考音訊簽章。 在一個實現體中,該搜尋引擎,可計算該等測試簽章 27 200833116 與SHI所储存的參考簽章之間的漢明距離,以及 可哥取“剛試視訊簽章之序列# ==,中的計算或彼等之 用來引導峨和若兩«章序狀_距離㈣某此臨 Γ:ίΓ測,序列相聯結之測試内容,係被認為 配之參考簽章序列相聯結的參考内容之正本或 修飾過之財。1經驗結果間接表明,彳Μ表示大約兩
秒之内谷的簽章序列,多種視訊和音訊之内容,可得到良 好之結果。 10 Ε.實現體 -些合併了本發,之各種特徵的裝置,可在多種方式 中被實現,其中包括可供一個電腦或某些其他包含有則以 與-些類似於通用型電腦中可見者之組件相麵合的數位信 號處理器(DSP)電路等更專屬性之組件的裝置執行的軟 15體。第12圖係-個可被用來實現本發明之特徵的裝置觀 示意方塊圖。有一個處理器72,可提供電腦計算資源。有 個RAMQ返機存取記憶體)73,係一個供該處理器72處理 用之系統隨機存取記憶體(rAM)。]^0]^74係代表某些形式 之持續性儲存器,諸如唯讀記憶體(R0M),其可用以儲存 20該裝置70運作所需之程式,以及可能用以實行本發明之各 種特徵。輸入/輸出(I/O)控制器75,係代表用以經由該等通 説通道76、77來接收及傳輸信號之介面電路。在此顯示之 實施例中,所有之主要系統組件,係鏈結至一個匯流排71, 其可能代表超過一條之實體或邏輯匯流排;然而,一條匯 28 200833116 流排架構非為實現本發明所必備。 在一個通用型電腦系統所實現之實施例中,玎能包括 有二附加、、且件,藉以介接至一些類似鍵盤或滑鼠和顯示 裔等裝置’以及控制一個具有類似磁帶或磁碟片、或光學 5媒體等儲存媒體之儲存裝置π。該儲存媒體可能被用來記 錄作業系統、公用程式、和應用程式有關之指令程式,以 及可能係包含有—射實現本發明之各種特徵的程式。 該等實行本發明之各種特徵所必需之功能,可由一些 以包括分立式邏輯組件、積體電路、一個或多個ASIC、和/ 10或程式控制式處理器等各種方式中所實現之組件來執行。 此等組件在其中被實現之方式,對本發明而言並不重要。 本發明之軟體實現體,可藉由多種機器可讀取式媒 體,諸如橫跨超音波至紫外線頻率之頻譜的基帶或調變式 通訊路徑,或者藉由基本上可使用任何記錄技術來傳達資 I5机之儲存媒體,其中包括磁帶、插卡或碟片、光學卡或私; 和紙帶等媒體上面之可偵測性標記,來加以輸送。 【圖式簡單說明】 第1圖係一個可被用來取得視訊和音訊信號之可靠識 別符的系統之示意方塊圖; 20 第2圖係一個可被用來取得視訊信號之可靠識別符的 系統之示意方塊圖; 第3圖係一個可被用來取得音訊信號之可靠識別符的 系統之示意方塊圖; 第4圖係一個可被用來產生一組可表示視訊内容的兩 29 200833116 個圖框之間的差異之差分元件的程序之示意方塊圖; 第5圖係一個低解析度差分影像中之一組中間值的示 意方塊圖; 第6圖係一個可被用來產生一段音訊内容之時間頻率 5 信號表示的程序之示意方塊圖; 第7圖係一個低解析度時間頻率信號表示中之一組中 間值的示意方塊圖; 第8圖係一個可接取同步化視訊/音訊串流有關之參考 簽章和排齊資訊的裝置之示意方塊圖; 10 第9圖係一個可回復對視訊/音訊串流之同步化的裝置 之不意方塊圖, 第10圖係一個可例示視訊/音訊串流中之時序延遲的示 意方塊圖; 第11圖係一個可管理一個用以偵測視訊或音訊内容之 15 副本的簽章資料庫之裝置的示意方塊圖;而 第12圖則係一個可能被用來實現本發明之各種特徵的 裝置之示意方塊圖。 【主要元件符號說明】 1…視訊串流 la,lb...視訊圖框 2b...音訊節段 2...參考音訊串流 3…訊/音訊信號 3a»3d···節段 2a···音訊内容節段 20...變換 25a,25b...頻譜值 31…視訊串流 32…當前之音訊串流 33,190,290,390,490…路徑 30 200833116 70…裝置 71…匯流排 72.. .處理器 . 73…RAM(隨機存取記憶體) ^ 74..讀記憶體(ROM) 75…輸入/輸出(I/O)控制器 76,77…通訊通道 # 78...儲存裝置 81,82...信號處理 100,101...視訊簽章抽取器 110.. .差分資訊產生器 114.. .減法運算 118…絕對值運算 122…剪接運作 ' 126···取樣運作 • 151中間值產生器 170…視訊簽章產生器 170…視訊搜尋引擎 180…視訊資料庫 199b-199d“ 視訊簽章(SV) 200,201...音訊簽章抽取器 210…時間頻率信號表示式產生器 250.. .中間值產生器 270…音訊簽章產生器 27.. .音訊搜尋引擎 280…音訊資料庫 299a-299d...音訊簽章(SA) 300…系統 350…接取裝置 400.. .重新同步化裝置 410,420…内容延遲計算器 430.. .相對性延遲計算器 31
Claims (1)
- 200833116 十、申請專利範圍: h 一種方法,其包含之步驟有: 、 產生些表示被安排成一個或多個元素之群組的 、、元素之中間值,其中,每個群組内之差分元素,係 代表些用以表示_個才見訊信號之圖框序列中的兩個 圖框之-部分的資訊之間的差異;以及 產生一個簽章,其可藉由對該等中間值應用一個散 列函數’來識別該視訊信號之内容。 如申明專利feu幻項之方法,其中,該差分資訊在產 10 生上係藉由: 取知^亥兩圖框中之影像内容的對應部分之強度間 的絕對差異,以及 勇接及下取樣該等絕對差異,藉以取得該等差分元 素;以及 15 ψ /、甲’個對應之中間值,係藉由計算對應於該兩 圖框所表示之影像的對應部分之對應差分元素群組中 的一個或多個差分元素之平均強度而被導出。 3·如申請專利範圍第2項之方法,其中包含之步驟有··產 生該圖框序列中之每個多數成對的圖框有關之簽章。 0 4·如申請專利範圍第1項之方法,其中包含之步驟右· 为·產 生該圖框序列中之每個多數成對的圖框有關之簽章。 5·如申請專利範圍第丨至4項任一項之方法,其中, 中間值應用該散列函數,係包括將該等中間值投射至— 組隨機向量上面,以及其中,該簽章之每一成分, 1糸導 32 200833116 自該等中間值至一個對應隨機向量上面之投射值。 6. 如申請專利範圍第5項之方法,其中: 該組隨機向量中的每個對應向量所具有之向量元 素的值,係得自一個在零至一之範圍内的均勻分佈式隨 5 機變數之間的差異,和該對應向量之所有向量元素有關 的均勻分佈式隨機變數之平均值; 該等中間值在一個對應的隨機向量上面之投射 值,係得自該等中間值與該對應的向量之向量元素的内 積;以及 10 若該等中間值在一個對應之隨機向量上面的投射 值大於一個臨界值,該等簽章之每一成分,便具有一個 第一值,或者若該等中間值在該對應之隨機向量上面的 投射值小於一個臨界值,該等簽章之每一成分,便具有 一個第二值,其中,該臨界值係等於中間值在該組隨機 15 向量上面之投射值的中位值。 7. —種方法,其包含之步驟有: 取得一個音訊信號之區段序列内的一組區段之時 間頻率表示式,其中,該時間頻率信號表示式,係包含 有一些頻譜值組,每組頻譜值係代表該組區段中之對應 20 區段内的音訊信號之頻譜成分的至少一部分; 自該等安排在一個對應之頻譜值組内的一個或多 個頻譜值之群組中的頻譜值之強度,導出一些中間值; 以及 產生一個簽章,其可藉由對該等中間值應用一個散 33 200833116 列函數,來識別該音訊信號之内容。 8. 如申請專利範圍第7項之方法,其中: 該時間頻率表示式在取得上,係藉由對該組區段内 之音訊信號的每個區段,應用一個時間頻率變換,藉以 5 取得一個對應組之頻譜值;以及 一個對應之中間值,係藉由計算該對應組之頻譜值 内的群組中的一個或多個頻譜值之平均強度而取得。 9. 如申請專利範圍第8項之方法,其中包含之步驟有:產 生該圖框序列中之多數區段組内的每一組有關之簽章。 10 10.如申請專利範圍第7項之方法,其中包含之步驟有:產 生該圖框序列中之多數區段組内的每一組有關之簽章。 11. 如申請專利範圍第7至10項任一項之方法,其中,對該 等中間值應用該散列函數,係包括將該等中間值投射至 一組隨機向量,以及其中,該簽章之每一成分,係導自 15 該等中間值至一個對應隨機向量上面之投射值。 12. 如申請專利範圍第11項之方法,其中·· 該組隨機向量中的每個對應向量所具有之向量元 素的值,係得自一個在零至一之範圍内的均勻分佈式隨 機變數之間的差異,和該對應向量之所有向量元素有關 20 的均勻分佈式隨機變數之平均值; 該等中間值在一個對應隨機向量上面之投射值,係 得自該等中間值與該對應向量之向量元素的内積;以及 若該等中間值在一個對應之隨機向量上面的投射 值大於一個臨界值,該等簽章之每一成分,便具有一個 34 200833116 第一值,若該等中間值在該對應之隨機向量上面的投射 值小於一個臨界值,該等簽章之每一成分,便具有一個 第二值,其中,該臨界值係等於中間值在該組隨機向量 上面之投射值的中位值。 5 13. —種裝置,其係包含有: 一個用以產生一些表示一些安排在一個或多個元 素之群組中的差分元素之中間值的裝置,其中,每一群 組内之差分元素,係代表一個表示一個視訊信號之圖框 序列中的兩個圖框之一部分的資訊之間的差異;以及 10 一個用以產生一個可識別該視訊信號之内容的簽 章之裝置,其係藉由對該等中間值應用一個散列函數。 14. 如申請專利範圍第13項之裝置,其中,該用以產生中間 值之裝置: 可取得該兩圖框中之影像内容的對應部分之強度 15 間的絕對差異, 可剪接及下取樣該等絕對差異,藉以取得該等差分 /G素,以及 可計算對應於該兩圖框所表示之影像的對應部分 之對應差分元素群組中的一個或多個差分元素之平均 20 強度。 15. 如申請專利範圍第14項之裝置,其中係包含有一個用以 產生該圖框序列中之每個多數成對的圖框有關之簽章 的裝置。 16·如申請專利範圍第13項之裝置,其中係包含有一個用以 35 200833116 產生該圖框序列中之每個多數成對的圖框有關之簽章 的裝置。 17. 如申請專利範圍第13至16項任一項之裝置,其中,該用 以產生該簽章之裝置,係藉由將該等中間值投射至一組 5 隨機向量上面,而對該等中間值應用該散列函數,其 中,該簽章之每一成分,係導自該等中間值至一個對應 隨機向量上面之投射值。 18. 如申請專利範圍第17項之裝置,其中: 該組隨機向量中的每個對應向量所具有之向量元 10 素的值,係得自一個在零至一之範圍内的均勻分佈式隨 機變數之間的差異,和該對應向量之所有向量元素有關 的均勻分佈式隨機變數之平均值; 該等中間值在一個對應隨機向量上面之投射值,係 得自該等中間值與該對應向量之向量元素的内積;以及 15 若該等中間值在一個對應之隨機向量上面的投射 值大於一個臨界值,該等簽章之每一成分,便具有一個 第一值,或者若該等中間值在該對應之隨機向量上面的 投射值小於一個臨界值,該等簽章之每一成分,便具有 一個第二值,其中,該臨界值係等於中間值在該組隨機 20 向量上面之投射值的中位值。 19. 一種裝置,其係包含有: 一個用以取得一個音訊信號之區段序列内的一組 區段之時間頻率表示式的裝置,其中,該時間頻率信號 表示式,係包含有一些頻譜值組,每組頻譜值係代表該 36 200833116 組區段中之對應區段内的音訊信號之頻譜成分的至少 一部分; 一個用以自該等安排在一個對應頻譜值組内的一 個或多個頻譜值之群組中的頻譜值之強度導出一些中 5 間值的裝置;和 一個用以產生一個可藉由對該等中間值應用一個 散列函數來識別該音訊信號之内容的簽章之裝置。 20.如申請專利範圍第19項之裝置,其中: 該用以取得上述時間頻率表示式之裝置,係對該組 10 區段内之音訊信號的每個區段,應用一個時間頻率變 換,藉以取得一個對應組之頻譜值;以及 該用以導出中間值之裝置,係計算該對應組之頻譜 值内的群組中的一個或多個頻譜值之平均強度,藉以導 出一個對應之中間值。 15 21.如申請專利範圍第20項之裝置,其中係包含有一個用以 產生該圖框序列中之多數區段組内的每一組有關之簽 章的裝置。 22. 如申請專利範圍第19項之裝置,其中係包含有一個用以 產生該圖框序列中之多數區段組内的每一組有關之簽 20 章的裝置。 23. 如申請專利範圍第19至22項任一項之裝置,其中,該用 以產生該中間值之裝置,係藉由將該等中間值投射至一 組隨機向量,來對該等中間值應用該散列函數,以及其 中,該簽章之每一成分,係導自該等中間值至一個對應 37 200833116 隨機向量上面之投射值。 24.如申請專利範圍第23項之裝置,其中: 該組隨機向量中的每個對應向量所具有之向量元 素的值,係得自一個在零至一之範圍内的均勻分佈式隨 5 機變數之間的差異,和該對應向量之所有向量元素有關 的均勻分佈式隨機變數之平均值; 該等中間值在一個對應隨機向量上面之投射值,係 得自該等中間值與該對應向量之向量元素的内積;以及 若該等中間值在一個對應之隨機向量上面的投射 10 值大於一個臨界值,該等簽章之每一成分,便具有一個 第一值,若該等中間值在該對應之隨機向量上面的投射 值小於一個臨界值,該等簽章之每一成分,便具有一個 第二值,其中,該臨界值係等於中間值在該組隨機向量 上面之投射值的中位值。 15 25. —種其上儲存有指令之電腦可讀取式媒體,其在被一部 電腦執行時,可使該電腦執行一種方法,此種方法包含 之步驟有: 產生一些表示被安排成一個或多個元素之群組的 差分元素之中間值,其中,每個群組内之差分元素,係 20 表示一些用以表示一個視訊信號之圖框序列中的兩個 圖框之一部分的資訊之間的差異;以及 產生一個簽章,其可藉由對該等中間值應用一個散 列函數,來識別該視訊信號之内容。 26.如申請專利範圍第25項之媒體,其中,該差分資訊在產 38 200833116 生上係藉由: 取得該兩圖框中之影像内容的對應部分之強度間 的絕對差異,以及 剪接及下取樣該等絕對差異,藉以取得該等差分元 5 素;以及 其中,一個對應之中間值,係藉由計算對應於該兩 圖框所表示之影像的對應部分之對應差分元素群組中 的一個或多個差分元素之平均強度而被導出。 27. 如申請專利範圍第26項之媒體,其中,該方法包含之步 10 驟有:產生該圖框序列中之每個多數成對的圖框有關之 簽章。 28. 如申請專利範圍第25項之媒體,其中,該方法包含之步 驟有:產生該圖框序列中之每個多數成對的圖框有關之 簽章。 15 29.如申請專利範圍第25至28項任一項之媒體,其中,對該 等中間值應用該散列函數,係包括將該等中間值投射至 一組隨機向量上面,以及其中,該簽章之每一成分,係 導自該等中間值至一個對應隨機向量上面之投射值。 30.如申請專利範圍第29項之媒體,其中: 20 該組隨機向量中的每個對應向量所具有之向量元 素的值,係得自一個在零至一之範圍内的均勻分佈式隨 機變數之間的差異,和該對應向量之所有向量元素有關 的均勻分佈式隨機變數之平均值; 該等中間值在一個對應隨機向量上面之投射值,係 39 200833116 得自該等中間值與該對應向量之向量元素的内積;以及 若該等中間值在一個對應之隨機向量上面的投射 值大於一個臨界值,該等簽章之每一成分,便具有一個 第一值,或者若該等中間值在該對應之隨機向量上面的 5 投射值小於一個臨界值,該等簽章之每一成分,便具有 一個第二值,其中,該臨界值係等於中間值在該組隨機 向量上面之投射值的中位值。 31. —種其上儲存有指令之電腦可讀取式媒體,其在被一部 電腦執行時,可使該電腦執行一種方法,此種方法包含 10 之步驟有: 取得一個音訊信號之區段序列内的一組區段之時 間頻率表示式,其中,該時間頻率信號表示式,係包含 有一些頻譜值組,每組頻譜值係代表該組區段中之對應 區段内的音訊信號之頻譜成分的至少一部分; 15 自該等安排在一個對應頻譜值組内的一個或多個 頻譜值之群組中的頻譜值之強度,導出一些中間值;以及 產生一個簽章,其可藉由對該等中間值應用一個散 列函數,來識別該音訊信號之内容。 32. 如申請專利範圍第31項之媒體,其中: 20 該時間頻率表示式在取得上,係藉由對該組區段内 之音訊信號的每個區段,應用一個時間頻率變換,藉以 取得一個對應組之頻譜值;以及 一個對應之中間值,係藉由計算該對應組之頻譜值 内的群組中的一個或多個頻譜值之平均強度而取得。 40 200833116 33. 如申請專利範圍第32項之媒體,其中,該方法包含之步 驟有:產生該圖框序列中之多數區段組内的每一組有關 之簽章。 34. 如申請專利範圍第31項之媒體,其中,該方法包含之步 5 驟有:產生該圖框序列中之多數區段組内的每一組有關 之簽章。 35. 如申請專利範圍第31至34項任一項之媒體,其中,對該 等中間值應用該散列函數,係包括將該等中間值投射至 一組隨機向量,以及其中,該簽章之每一成分,係導自 10 該等中間值至一個對應隨機向量上面之投射值。 36. 如申請專利範圍第35項之媒體,其中: 該組隨機向量中的每個對應向量所具有之向量元 素的值,係得自一個在零至一之範圍内的均勻分佈式隨 機變數之間的差異,和該對應向量之所有向量元素有關 15 的均勻分佈式隨機變數之平均值; 該等中間值在一個對應隨機向量上面之投射值,係 得自該等中間值與該對應向量之向量元素的内積;以及 若該等中間值在一個對應之隨機向量上面的投射 值大於一個臨界值,該等簽章之每一成分,便具有一個 20 第一值,若該等中間值在該對應之隨機向量上面的投射 值小於一個臨界值,該等簽章之每一成分,便具有一個 第二值,其中,該臨界值係等於中間值在該組隨機向量 上面之投射值的中位值。 41
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US87209006P | 2006-11-30 | 2006-11-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200833116A true TW200833116A (en) | 2008-08-01 |
TWI442773B TWI442773B (zh) | 2014-06-21 |
Family
ID=39325541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW096145374A TWI442773B (zh) | 2006-11-30 | 2007-11-29 | 抽取視訊與音訊信號內容之特徵以提供此等信號之可靠識別的技術 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8259806B2 (zh) |
EP (2) | EP2126833A2 (zh) |
JP (1) | JP5060565B2 (zh) |
CN (1) | CN101548294B (zh) |
TW (1) | TWI442773B (zh) |
WO (1) | WO2008066930A2 (zh) |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2457694B (en) * | 2008-02-21 | 2012-09-26 | Snell Ltd | Method of Deriving an Audio-Visual Signature |
RU2565008C2 (ru) * | 2008-03-10 | 2015-10-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство и метод для обработки аудио сигнала, содержащего переходный сигнал |
WO2009140818A1 (en) * | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A system for facilitating the archiving of video content |
WO2009140816A1 (en) * | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A method for facilitating the archiving of video content |
US8195689B2 (en) | 2009-06-10 | 2012-06-05 | Zeitera, Llc | Media fingerprinting and identification system |
US8335786B2 (en) * | 2009-05-28 | 2012-12-18 | Zeitera, Llc | Multi-media content identification using multi-level content signature correlation and fast similarity search |
US8793498B2 (en) * | 2008-08-11 | 2014-07-29 | Nbcuniversal Media, Llc | System and method for forensic analysis of media works |
US8406462B2 (en) * | 2008-08-17 | 2013-03-26 | Dolby Laboratories Licensing Corporation | Signature derivation for images |
US8400566B2 (en) | 2008-08-21 | 2013-03-19 | Dolby Laboratories Licensing Corporation | Feature optimization and reliability for audio and video signature generation and detection |
JP4966285B2 (ja) * | 2008-10-30 | 2012-07-04 | 株式会社東芝 | 情報処理装置、エフェクトプログラムおよびコンテンツ補正処理方法 |
EP2366170B1 (en) * | 2008-11-17 | 2013-01-02 | Dolby Laboratories Licensing Corporation | Media fingerprints that reliably correspond to media content with projection of moment invariants |
WO2010080857A2 (en) | 2009-01-07 | 2010-07-15 | Dolby Laboratories Licensing Corporation | Scalable media fingerprint extraction |
KR101289928B1 (ko) * | 2009-01-23 | 2013-07-25 | 닛본 덴끼 가부시끼가이샤 | 비디오 디스크립터 생성 디바이스 |
US9075897B2 (en) | 2009-05-08 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Storing and searching fingerprints derived from media content based on a classification of the media content |
GB2470201A (en) * | 2009-05-12 | 2010-11-17 | Nokia Corp | Synchronising audio and image data |
US8687839B2 (en) * | 2009-05-21 | 2014-04-01 | Digimarc Corporation | Robust signatures derived from local nonlinear filters |
US8635211B2 (en) | 2009-06-11 | 2014-01-21 | Dolby Laboratories Licensing Corporation | Trend analysis in content identification based on fingerprinting |
US8436939B2 (en) * | 2009-10-25 | 2013-05-07 | Tektronix, Inc. | AV delay measurement and correction via signature curves |
US8860883B2 (en) * | 2009-11-30 | 2014-10-14 | Miranda Technologies Partnership | Method and apparatus for providing signatures of audio/video signals and for making use thereof |
GB2489133B (en) * | 2009-11-30 | 2014-05-07 | Miranda Technologies Inc | Method and apparatus for providing signatures of audio/video signals and for making use thereof |
US8542869B2 (en) * | 2010-06-02 | 2013-09-24 | Dolby Laboratories Licensing Corporation | Projection based hashing that balances robustness and sensitivity of media fingerprints |
US8928809B2 (en) * | 2010-09-15 | 2015-01-06 | Verizon Patent And Licensing Inc. | Synchronizing videos |
EP2659480B1 (en) * | 2010-12-30 | 2016-07-27 | Dolby Laboratories Licensing Corporation | Repetition detection in media data |
CN103339921B (zh) * | 2011-01-31 | 2015-11-25 | 杜比实验室特许公司 | 恢复图像的颜色和非颜色相关的完整性的系统和方法 |
US8786785B2 (en) * | 2011-04-05 | 2014-07-22 | Microsoft Corporation | Video signature |
CN102222222A (zh) * | 2011-05-27 | 2011-10-19 | 汉王科技股份有限公司 | 跳帧扫描识别装置和方法 |
KR101778530B1 (ko) * | 2011-06-14 | 2017-09-15 | 삼성전자 주식회사 | 영상 처리 방법 및 장치 |
CN102393903B (zh) * | 2011-07-15 | 2013-10-30 | 汉王科技股份有限公司 | 基于三轴加速计的扫描识别装置和方法 |
JP5896661B2 (ja) * | 2011-09-14 | 2016-03-30 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
EP2783286B1 (en) * | 2011-11-24 | 2018-04-04 | NXP USA, Inc. | Data processing system and method of controlling access to a shared memory unit |
US8572092B2 (en) * | 2011-12-16 | 2013-10-29 | Palo Alto Research Center Incorporated | Generating sketches sensitive to high-overlap estimation |
US9386069B2 (en) | 2011-12-28 | 2016-07-05 | The Nielsen Company (Us), Llc | Media exposure data collection and security |
ITMI20121210A1 (it) * | 2012-07-11 | 2014-01-12 | Rai Radiotelevisione Italiana | A method and an apparatus for the extraction of descriptors from video content, preferably for search and retrieval purpose |
US10158927B1 (en) * | 2012-09-05 | 2018-12-18 | Google Llc | Systems and methods for detecting audio-video synchronization using timestamps |
US9602858B1 (en) | 2013-01-28 | 2017-03-21 | Agile Sports Technologies, Inc. | Method and system for synchronizing multiple data feeds associated with a sporting event |
US10133636B2 (en) | 2013-03-12 | 2018-11-20 | Formulus Black Corporation | Data storage and retrieval mediation system and methods for using same |
US9304703B1 (en) * | 2015-04-15 | 2016-04-05 | Symbolic Io Corporation | Method and apparatus for dense hyper IO digital retention |
US9817728B2 (en) | 2013-02-01 | 2017-11-14 | Symbolic Io Corporation | Fast system state cloning |
EP3011691B1 (en) * | 2013-06-20 | 2022-11-30 | InterDigital CE Patent Holdings | System and method to assist synchronization of distributed play out of control |
US9542976B2 (en) | 2013-09-13 | 2017-01-10 | Google Inc. | Synchronizing videos with frame-based metadata using video content |
MX2016005070A (es) | 2013-10-21 | 2016-07-19 | Microsoft Technology Licensing Llc | Busqueda de video movil. |
TWI527025B (zh) * | 2013-11-11 | 2016-03-21 | 財團法人資訊工業策進會 | 電腦系統、音訊比對方法及其電腦可讀取記錄媒體 |
EP2876890A1 (en) * | 2013-11-21 | 2015-05-27 | Thomson Licensing | Method and apparatus for frame accurate synchronization of video streams |
US9336567B2 (en) | 2013-12-16 | 2016-05-10 | Telefonaktiebolaget L M Ericsson (Publ) | Content-aware weighted image manipulations |
US11023737B2 (en) | 2014-06-11 | 2021-06-01 | Arris Enterprises Llc | Detection of demarcating segments in video |
US9930375B2 (en) * | 2014-06-16 | 2018-03-27 | Nexidia Inc. | Media asset management |
JP6728154B2 (ja) * | 2014-10-24 | 2020-07-22 | ドルビー・インターナショナル・アーベー | オーディオ信号のエンコードおよびデコード |
US10061514B2 (en) | 2015-04-15 | 2018-08-28 | Formulus Black Corporation | Method and apparatus for dense hyper IO digital retention |
US9996769B2 (en) * | 2016-06-08 | 2018-06-12 | International Business Machines Corporation | Detecting usage of copyrighted video content using object recognition |
KR20180068121A (ko) * | 2016-12-13 | 2018-06-21 | 삼성전자주식회사 | 컨텐트를 인식하는 방법 및 디바이스 |
WO2018185743A1 (en) * | 2017-04-02 | 2018-10-11 | SafeDK Mobile Ltd. | Monitoring of media displayed by third-party components |
US10313710B1 (en) * | 2017-07-31 | 2019-06-04 | Amazon Technologies, Inc. | Synchronizing encoding between encoders |
WO2019126072A1 (en) | 2017-12-18 | 2019-06-27 | Formulus Black Corporation | Random access memory (ram)-based computer systems, devices, and methods |
US10997427B1 (en) * | 2018-04-25 | 2021-05-04 | Zorroa Corporation | Using motion-based features to match video sequences |
US20200196011A1 (en) * | 2018-12-15 | 2020-06-18 | Activision Publishing, Inc. | Systems and Methods for Receiving Digital Media and Classifying, Labeling and Searching Offensive Content Within Digital Media |
US10725853B2 (en) | 2019-01-02 | 2020-07-28 | Formulus Black Corporation | Systems and methods for memory failure prevention, management, and mitigation |
EP4336399A3 (en) * | 2019-03-26 | 2024-05-22 | Rovi Guides, Inc. | System and method for identifying altered content |
US11228799B2 (en) * | 2019-04-17 | 2022-01-18 | Comcast Cable Communications, Llc | Methods and systems for content synchronization |
US11281929B2 (en) * | 2019-05-06 | 2022-03-22 | Rovi Guides, Inc. | Systems and methods for determining whether to modify content |
US11120273B2 (en) * | 2019-06-21 | 2021-09-14 | Gfycat, Inc. | Adaptive content classification of a video content item |
US10929677B1 (en) | 2019-08-07 | 2021-02-23 | Zerofox, Inc. | Methods and systems for detecting deepfakes |
US11302095B2 (en) | 2020-01-09 | 2022-04-12 | International Business Machines Corporation | Cognitive motion picture analysis |
US20210352341A1 (en) * | 2020-05-06 | 2021-11-11 | At&T Intellectual Property I, L.P. | Scene cut-based time alignment of video streams |
US11417099B1 (en) * | 2021-11-08 | 2022-08-16 | 9219-1568 Quebec Inc. | System and method for digital fingerprinting of media content |
TWI806577B (zh) * | 2022-04-28 | 2023-06-21 | 瑞昱半導體股份有限公司 | 數位簽章方法及數位簽章的驗證方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5436653A (en) | 1992-04-30 | 1995-07-25 | The Arbitron Company | Method and system for recognition of broadcast segments |
US6469741B2 (en) | 1993-07-26 | 2002-10-22 | Pixel Instruments Corp. | Apparatus and method for processing television signals |
US5946049A (en) | 1993-07-26 | 1999-08-31 | Pixel Instruments Corp. | Apparatus and method for synchronizing multiple asynchronous signals |
US5550594A (en) | 1993-07-26 | 1996-08-27 | Pixel Instruments Corp. | Apparatus and method for synchronizing asynchronous signals |
US5530483A (en) | 1994-10-11 | 1996-06-25 | Pixel Instruments Corp. | Delay detector apparatus and method for plural image sequences |
US5920842A (en) | 1994-10-12 | 1999-07-06 | Pixel Instruments | Signal synchronization |
JPH11261961A (ja) * | 1998-03-10 | 1999-09-24 | Toshiba Corp | 動画像処理装置 |
AU2002232817A1 (en) * | 2000-12-21 | 2002-07-01 | Digimarc Corporation | Methods, apparatus and programs for generating and utilizing content signatures |
WO2002065782A1 (en) | 2001-02-12 | 2002-08-22 | Koninklijke Philips Electronics N.V. | Generating and matching hashes of multimedia content |
KR20040086350A (ko) | 2002-02-05 | 2004-10-08 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 핑거프린트의 효율적 저장 |
EP1518410A1 (en) | 2002-06-24 | 2005-03-30 | Koninklijke Philips Electronics N.V. | Robust signature for signal authentication |
US7212651B2 (en) * | 2003-06-17 | 2007-05-01 | Mitsubishi Electric Research Laboratories, Inc. | Detecting pedestrians using patterns of motion and appearance in videos |
AU2003272483A1 (en) * | 2003-09-12 | 2005-04-27 | Nielsen Media Research, Inc. | Digital video signature apparatus and methods for use with video program identification systems |
US7987369B2 (en) | 2005-03-03 | 2011-07-26 | Interdigital Technology Corporation | Using watermarking to reduce communication overhead |
US7684587B2 (en) * | 2005-04-04 | 2010-03-23 | Spirent Communications Of Rockville, Inc. | Reduced-reference visual communication quality assessment using data hiding |
US20070104943A1 (en) | 2005-11-10 | 2007-05-10 | 3M Innovative Properties Company | Filled polymer composites |
US20070250311A1 (en) * | 2006-04-25 | 2007-10-25 | Glen Shires | Method and apparatus for automatic adjustment of play speed of audio data |
US8126280B2 (en) * | 2007-09-21 | 2012-02-28 | Adobe Systems Incorporated | Enhanced decompression of compressed data |
US8400566B2 (en) | 2008-08-21 | 2013-03-19 | Dolby Laboratories Licensing Corporation | Feature optimization and reliability for audio and video signature generation and detection |
EP2366170B1 (en) | 2008-11-17 | 2013-01-02 | Dolby Laboratories Licensing Corporation | Media fingerprints that reliably correspond to media content with projection of moment invariants |
WO2010080857A2 (en) | 2009-01-07 | 2010-07-15 | Dolby Laboratories Licensing Corporation | Scalable media fingerprint extraction |
US9075897B2 (en) | 2009-05-08 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Storing and searching fingerprints derived from media content based on a classification of the media content |
US8635211B2 (en) | 2009-06-11 | 2014-01-21 | Dolby Laboratories Licensing Corporation | Trend analysis in content identification based on fingerprinting |
CN103339921B (zh) | 2011-01-31 | 2015-11-25 | 杜比实验室特许公司 | 恢复图像的颜色和非颜色相关的完整性的系统和方法 |
-
2007
- 2007-11-29 CN CN2007800440832A patent/CN101548294B/zh not_active Expired - Fee Related
- 2007-11-29 TW TW096145374A patent/TWI442773B/zh not_active IP Right Cessation
- 2007-11-29 WO PCT/US2007/024744 patent/WO2008066930A2/en active Application Filing
- 2007-11-29 US US12/312,840 patent/US8259806B2/en not_active Expired - Fee Related
- 2007-11-29 JP JP2009539366A patent/JP5060565B2/ja not_active Expired - Fee Related
- 2007-11-29 EP EP07867605A patent/EP2126833A2/en not_active Withdrawn
- 2007-11-29 EP EP13171236.6A patent/EP2642483B1/en not_active Not-in-force
-
2012
- 2012-08-30 US US13/599,992 patent/US8626504B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP2126833A2 (en) | 2009-12-02 |
CN101548294A (zh) | 2009-09-30 |
US20090304082A1 (en) | 2009-12-10 |
JP5060565B2 (ja) | 2012-10-31 |
EP2642483A3 (en) | 2013-10-30 |
EP2642483B1 (en) | 2015-01-07 |
JP2010512057A (ja) | 2010-04-15 |
CN101548294B (zh) | 2012-06-27 |
WO2008066930A2 (en) | 2008-06-05 |
US20130064416A1 (en) | 2013-03-14 |
TWI442773B (zh) | 2014-06-21 |
WO2008066930A3 (en) | 2008-10-09 |
EP2642483A2 (en) | 2013-09-25 |
US8626504B2 (en) | 2014-01-07 |
US8259806B2 (en) | 2012-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW200833116A (en) | Extracting features of video and audio signal content to provide a reliable identification of the signals | |
JP5698318B2 (ja) | オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測 | |
US8351643B2 (en) | Media fingerprints that reliably correspond to media content | |
US8406462B2 (en) | Signature derivation for images | |
JP2021530928A (ja) | フレーム精度のコンテンツ修正の円滑化を支援する、低レートフィンガープリンティングを用いた補間に基づく時間マッピングの確立及び使用 | |
KR102168387B1 (ko) | 콘텐츠를 워터마킹하기 위한 방법 | |
KR20040103351A (ko) | 콘텐츠 기반 비디오 타임라인을 사용한 비디오 위치 식별방법 및 시스템 | |
US11792254B2 (en) | Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action | |
CN104853244A (zh) | 用于管理音视频、音频或视频内容的方法和装置 | |
EP2080385A1 (en) | Video depth map alignment | |
KR102248352B1 (ko) | 영상에서의 객체 제거 방법 및 그 장치 | |
CN102905054B (zh) | 一种基于图像多维特征值比对的视频同步方法 | |
Radhakrishnan et al. | Audio and video signatures for synchronization | |
CN110619362B (zh) | 一种基于感知与像差的视频内容比对方法及装置 | |
Stojancic et al. | Interoperable AV sync systems in the SMPTE 22TV Lip Sync AHG: content-fingerprinting-based audio-video synchronization | |
Terry et al. | Detection and correction of lip-sync errors using audio and video fingerprints | |
CN103369364B (zh) | 使用多类型签名进行媒体监控 | |
Stojancic et al. | Interoperable AV SYNC Systems in SMPTE 22TV LIP SYNC AHG (Content-Fingerprinting Based Audio-Video Synchronization) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |