TWI535296B - 信號處理方法及系統 - Google Patents

信號處理方法及系統 Download PDF

Info

Publication number
TWI535296B
TWI535296B TW099112456A TW99112456A TWI535296B TW I535296 B TWI535296 B TW I535296B TW 099112456 A TW099112456 A TW 099112456A TW 99112456 A TW99112456 A TW 99112456A TW I535296 B TWI535296 B TW I535296B
Authority
TW
Taiwan
Prior art keywords
video
motion vector
encoded information
compressed
high definition
Prior art date
Application number
TW099112456A
Other languages
English (en)
Other versions
TW201132124A (en
Inventor
陳雪敏
馬庫斯 凱勒曼
Original Assignee
美國博通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美國博通公司 filed Critical 美國博通公司
Publication of TW201132124A publication Critical patent/TW201132124A/zh
Application granted granted Critical
Publication of TWI535296B publication Critical patent/TWI535296B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

信號處理方法及系統
本發明涉及數位視頻處理，具體而言，本發明的特定實施例涉及一種對壓縮和未壓縮視頻流進行運動補償幀率上變換的方法和系統。
視頻顯示技術中的主要進步包括基於液晶顯示(LCD)或等離子顯示板(PDP)技術的平板顯示幕，這種平板顯示幕快速的替代了陰極射線管(CRT)技術，後者在近半個世紀中用作主要的顯示設備。新視頻顯示技術的一個顯著成果是，圖像現在可以採用更高的圖片率在平板顯示幕上通過逐行掃描的方式進行顯示。新的視頻顯示技術還促進了從標清(SD)電視(TV)到高清(HD)電視的快速轉換。
具有較低圖片率的格式可用於老式的視頻壓縮系統，用於在新式的顯示幕上顯示老式視頻。通道容量上可能會存在限制，影響低圖片率圖像的顯示。例如，設想一個30Hz視頻序列，通過移動網路和終端(例如可從伺服器接收編碼的視頻序列的移動電話)進行廣播。然而，由於帶寬限制，僅僅低比特率的視頻序列被傳送。結果是，編碼器將每三張將被傳送的圖片中的兩張去掉，得到例如圖片率為10Hz的序列。不同視頻服務中的可用通道容量可以是不同的。老式系統在世界上的不同區域內也是不同的，例如NTSC、SECAM或PAL。
比較本發明後續將要結合附圖介紹的系統，現有技術的其他局限性和弊端對於本領域的普通技術人員來說是顯而易見的。
本發明提供了一種對壓縮和未壓縮視頻流進行運動補償幀率上變換的方法和/或系統，結合至少一幅附圖進行了充分的展現和描述，並在權利要求中得到了更完整的闡述。
根據一方面，本發明提供一種信號處理方法，包括：在視頻接收器內：接收包括多個視頻幀和對應的編碼資訊的三維視頻流；從所接收的三維視頻流中提取出所述編碼資訊；以及使用提取出的編碼資訊對所述接收的多個視頻幀進行執行幀率上變換。
作為優選，所述提取出的編碼資訊包括塊運動向量、塊編碼模式、量化級、和/或量化殘留資料中的一個或多個。
作為優選，所述編碼資訊由視頻發射器通過對來自視頻源的壓縮三維視頻進行熵解碼(entropy decoding)而生成，其中所述視頻源來自有線電視網路、IP電視網路、衛星廣播網路、移動通信網路、視頻攝像機、和/或照相機其中之一。
作為優選，所述接收的多個視頻幀包括多個解碼視頻幀，其是在所述視頻發射器處通過解壓縮來自視頻源的所述壓縮三維視頻構建出的。
作為優選，所述方法進一步包括：基於所述提取出的編碼資訊，為所述接收的多個解碼視頻幀中的每一個生成圖元運動向量；為對應的所述生成的圖元運動向量計算運動向量可信度(confidence)和/或運動向量一致度(consistence)。
作為優選，所述方法進一步包括：基於所述生成的圖元運動向量和所計算出的運動向量可信度和/或運動向量一致度，從所述 接收的多個解碼視頻幀中生成多個插補(interpolated)視頻幀。
作為優選，所述接收的三維視頻流包括壓縮三維視頻。
作為優選，所述方法進一步包括將所述接收的壓縮三維視頻解壓縮成多個解碼視頻幀。
作為優選，所述方法進一步包括：基於所述提取出的編碼資訊，為所述多個解碼視頻幀中的每一個生成圖元運動向量；以及為對應的所述生成的圖元運動向量計算運動向量可信度和/或運動向量一致度。
作為優選，所述方法進一步包括：基於所述生成的圖元運動向量和所計算出的運動向量可信度和/或運動向量一致度，從所述多個解碼視頻幀中生成多個插補視頻幀。
根據一方面，本發明提供一種信號處理系統，包括：用於視頻接收器內的一個或多個電路，其中所述一個或多個電路用於接收包括多個視頻幀和對應的編碼資訊的三維視頻流；所述一個或多個電路從所接收的三維視頻流中提取出所述編碼資訊；以及所述一個或多個電路使用提取出的編碼資訊對所述接收的多個視頻幀進行執行幀率上變換。
作為優選，所述提取出的編碼資訊包括塊運動向量、塊編碼模式、量化級、和/或量化殘留資料中的一個或多個。
作為優選，所述編碼資訊由視頻發射器通過對來自視頻源的壓縮三維視頻進行熵解碼而生成，其中所述視頻源來自有線電視網路、IP電視網路、衛星廣播網路、移動通信網路、視頻攝像機、和/或照相機其中之一。
作為優選，所述接收的多個視頻幀包括多個解碼視頻幀，其是在所述視頻發射器處通過解壓縮來自視頻源的所述壓縮三維視頻構建出的。
作為優選，所述一個或多個電路基於所述提取出的編碼資訊，為所述接收的多個解碼視頻幀中的每一個生成圖元運動向量；以及所述一個或多個電路為對應的所述生成的圖元運動向量計算運動向量可信度和/或運動向量一致度。
作為優選，所述一個或多個電路基於所述生成的圖元運動向量和所計算出的運動向量可信度和/或運動向量一致度，從所述接收的多個解碼視頻幀中生成多個插補視頻幀。
作為優選，所述接收的三維視頻流包括壓縮三維視頻。
作為優選，所述一個或多個電路將所述接收的壓縮三維視頻解壓縮成多個解碼視頻幀。
作為優選，所述一個或多個電路基於所述提取出的編碼資訊，為所述多個解碼視頻幀中的每一個生成圖元運動向量；以及所述一個或多個電路為對應的所述生成的圖元運動向量計算運動向量可信度和/或運動向量一致度。
作為優選，所述一個或多個電路基於所述生成的圖元運動向量和所計算出的運動向量可信度和/或運動向量一致度，從所述多個解碼視頻幀中生成多個插補視頻幀。
本發明的各種優點、各個方面和創新特徵，以及其中所示例的實施例的細節，將在以下的描述和附圖中進行詳細介紹。
100‧‧‧無線高清系統
110‧‧‧視頻源
111‧‧‧有線電視網路
112‧‧‧IP電視網路
113‧‧‧衛星廣播網路
114‧‧‧移動通信網路
115‧‧‧照相機
116‧‧‧視頻攝像機
120‧‧‧無線高清發射器
122‧‧‧天線
130‧‧‧無線高清傳輸鏈路
140‧‧‧無線高清接收器
142‧‧‧天線
150‧‧‧顯示設備
200‧‧‧無線高清發射器
210‧‧‧解壓縮引擎
220‧‧‧處理器
230‧‧‧記憶體
300‧‧‧解壓縮引擎
310‧‧‧熵解碼單元
320‧‧‧逆量化單元
330‧‧‧逆變換單元
340‧‧‧合併器
350‧‧‧運動補償預測單元
400‧‧‧無線高清接收器
410‧‧‧幀率上變換引擎
420‧‧‧處理器
430‧‧‧記憶體
510‧‧‧數位降噪濾波器
520‧‧‧圖元運動向量生成器
530‧‧‧圖元運動向量估算器
540‧‧‧幀率上變換器
550‧‧‧場景變化檢測器
602‧‧‧解碼視頻幀P1
604‧‧‧解碼視頻幀P2
606‧‧‧插補視頻幀
702‧‧‧解碼視頻幀P1
704‧‧‧解碼視頻幀P2
706‧‧‧插補視頻幀
708‧‧‧運動向量
709‧‧‧運動向量
800‧‧‧無線高清發射器
810‧‧‧熵解碼單元
820‧‧‧處理器
830‧‧‧記憶體
900‧‧‧無線高清接收器
910‧‧‧解壓縮引擎
920‧‧‧幀率上變換引擎
930‧‧‧處理器
940‧‧‧記憶體
圖1是根據本發明實施例的典型無線高清系統的框圖，其用於通過無線高清傳輸鏈路將視頻流從無線高清發射器發送到無線高清接收器；圖2是根據本發明實施例的典型無線高清發射器的示意圖，其用於通過無線高清傳輸鏈路發送未壓縮(decompressed)視頻流；圖3是根據本發明實施例的典型解壓縮引擎的示意圖，其被用於無線發射器的視頻解壓縮處理； 圖4是根據本發明實施例的典型無線高清接收器的示意圖，其用於通過無線高清傳輸鏈路接收未壓縮視頻流；圖5是根據本發明實施例的典型幀率上變換引擎的示意圖，其由無線高清接收器用於運動補償插補；圖6是根據本發明實施例在兩個參考視頻幀之間插入示範性的插補視頻幀的示意圖；圖7是根據本發明實施例的插補視頻幀的示範性運動向量的示意圖；圖8是根據本發明實施例的典型無線高清發射器的示意圖，其用於通過無線高清傳輸鏈路發送壓縮視頻流；圖9是根據本發明實施例的典型無線高清接收器的示意圖，其用於通過無線高清傳輸鏈路接收壓縮視頻流；圖10是根據本發明實施例對壓縮和未壓縮視頻流使用無線高清進行運動補償幀率上變換的步驟的流程圖；圖11是根據本發明實施例用於視頻解壓縮的步驟的流程圖；圖12是根據本發明實施例由無線高清接收器對壓縮和未壓縮視頻流所執行的運動補償幀率上變換的步驟的流程圖。
本發明的某些實施例涉及一種對壓縮和未壓縮視頻流進行運動補償幀率上變換的方法和/或系統。本發明的各種實施例可包括視頻接收器，例如無線高清接收器，其用於從視頻發射器(例如無線高清發射器)接收視頻流(例如三維視頻流)。接收的三維視頻流可包括有編碼資訊以及用於顯示的多個視頻幀。該編碼資訊可被提取出來，並被用於對接收的多個視頻幀執行幀率上變換以進行顯示。所述編碼資訊，例如塊運動向量、塊編碼模式、量化級、和/或量化殘留資料，可由無線高清發射器通過對來自視頻源的壓縮三維視頻進行熵解碼而生成，其中所述視頻源來自例如IP電視網路和衛星廣播網路。接收的三維視頻流可以是未壓縮的， 或者壓縮的。在接收到多個解碼視頻幀的情況下，無線高清接收器可使用提取出的對應編碼資訊和相關的測量值例如運動向量可信度和/或運動向量一致度，為接收的解碼視頻幀生成多個插補視頻幀。
在接收到經壓縮的視頻例如MPEG-2或MPEG-4的情況下，無線高清接收器解壓縮接收的壓縮三維視頻，得到多個解碼視頻幀。解壓縮操作可以在幀率上變換之前進行。無線高清接收器可對生成的多個解碼視頻幀執行前面所述的幀率上變換。
圖1是根據本發明實施例的典型無線高清系統的框圖，其用於通過無線高清傳輸鏈路將視頻流從無線高清發射器發送到無線高清接收器。參見圖1，示出了無線高清系統100。
無線高清系統100包括視頻源110、無線高清發射器120、天線122、無線高清傳輸鏈路130、無線高清接收器140、天線142、和顯示設備150。視頻源110分別包括有線電視網路111、IP電視網路112、衛星廣播網路113、移動通信網路114、照相機115、和/或視頻攝像機116。無線高清系統100能夠通過無線鏈路例如無線高清傳輸鏈路130傳送高清音頻和視頻。無線高清系統100可支援各種行業標準，例如無線高清介面(WirelessHD)標準和/或無線高清介面(WHDI)標準。無線高清系統100可支援各種三維業務，例如立體畫面的3D程式和立體畫面的3D可視物件。
視頻源110包括合適的邏輯、電路和/或代碼，用於提供具有較低幀率的壓縮視頻流給無線高清發射器120。該壓縮視頻流包括二維視頻流和/或三維視頻流。該壓縮視頻流可通過使用各種視頻壓縮演算法生成，例如MPEG-2、MPEG-4、MPEG-4/AVC、VC1、VP6和/或其他可正向、反向、雙向預測編碼的視頻格式中所規定的壓縮演算法。接收的壓縮視頻流可由直接視頻源來提供，例如照相機115和/或視頻攝像機116。接收的壓縮視頻流可由各種不同的間接視頻源來提供，例如有線電視網路111、IP電視網路112、 衛星廣播網路113、和/或移動通信網路114。
天線122包括合適的邏輯、電路和/或代碼，用於在射頻頻帶內發射信號。就此而言，發射的信號包括給無線高清接收器140的未壓縮視頻資料和/或壓縮視頻資料。儘管圖1中示出了單個天線122，本發明並不僅限於此。因此，可使用一個或多個天線在射頻頻帶內從無線高清發射器120發射信號給無線高清接收器140，而不脫離本發明的精神實質和保護範圍。
無線高清發射器120包括合適的邏輯、電路和/或代碼，可用于與無線高清接收器140通過無線高清傳輸鏈路130交流各種資料例如壓縮視頻資料和/或未壓縮視頻資料。就此而言，無線高清發射器120可通過無線高清傳輸鏈路130與無線高清接收器140交流壓縮和/或未壓縮的二維視頻流和/或三維視頻流。無線高清發射器120可從視頻源110接收具有較低幀率的壓縮視頻流。接收的具有較低幀率的壓縮視頻流可通過無線高清傳輸鏈路130傳送給無線高清接收器140。一個實施例中，無線高清發射器120可與無線高清接收器140通信以確定無線高清接收器140可支援的視頻格式。所確定的視頻格式包括例如未壓縮的、MPEG-2、MPEG-4、VC1、和/或VP6。就此而言，無線高清發射器120以確定的視頻格式發射接收的壓縮視頻流，不管是未壓縮的還是壓縮的。
在無線高清發射器120發射未壓縮的視頻流給無線高清接收器140的情況下，無線高清發射器120首先解壓縮從視頻源110接收到的壓縮視頻流，然後，通過無線高清傳輸鏈路130發射解壓縮的視頻流給無線高清接收器140。另一實施例中，無線高清發射器120通過熵解碼，從來自視頻源110的接收到的壓縮視頻流中提取出編碼資訊。所提取出的編碼資訊可包括與接收的壓縮視頻流相關的塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。提取出的編碼資訊可使用所確定的視頻格式進行格式化或再 格式化，並可與接收的壓縮視頻流或未壓縮視頻流一起通過無線高清傳輸鏈路130發送給無線高清接收器140。
無線高清傳輸鏈路130包括合適的邏輯、電路和/或代碼，用於支援無線高清信號傳輸。無線高清傳輸鏈路130可依據WirelessHD標準傳送高清信號。WirelessHD標準是基於60GHz射頻周圍的7GHz連續帶寬進行規定的。WirelessHD可用于全高清視頻以及音頻和資料信號的結合的未壓縮數位傳輸。WirelessHD在理論上基本等同于高清多媒體介面(HDMI)。HDMI是用於傳輸未壓縮數位資料的緊湊型音頻/視頻界面。就此而言，無線高清傳輸鏈路130可在無線高清發射器120和無線高清接收器140之間傳送未壓縮視頻流和壓縮視頻流兩者。無線高清傳輸鏈路130可處理高達例如25Gbit/s的傳輸資料率，從而能夠將期望的視頻流調整到較高的解析度、色彩深度和/或範圍。就此而言，無線高清傳輸鏈路130能夠依據例如3DTV技術來傳送3D信號，以支援各種3D資料業務，例如基於大比例調整的3D節目。
天線142包括合適的邏輯、電路和/或代碼，用於在射頻頻帶內接收信號。就此而言，天線142可接收的視頻信號包括來自無線高清發射器140的未壓縮和/或壓縮視頻流。儘管圖1中示出了單個天線142，本發明並不僅限於此。因此，無線高清接收器140可使用一個或多個天線在射頻頻帶內從無線高清發射器120接收信號，而不脫離本發明的精神實質和保護範圍。
無線高清接收器140包括合適的邏輯、電路和/或代碼，用於通過天線142從無線高清發射器120經由無線高清傳輸鏈路130接收各種資料，例如壓縮視頻流和/或未壓縮視頻流。就此而言，無線高清接收器140可從無線高清發射器120接收壓縮和/或未壓縮二維視頻流和/或三維視頻流。本發明的一個實施例中，無線高清接收器140可與無線高清發射器120通信以提供支援的視頻格式。該視頻格式包括例如未壓縮的、MPEG-2、MPEG-4、VC1、 和/或VP6。就此而言，無線高清接收器140可根據無線高清發射器120所確定的視頻格式，接收未壓縮視頻流或壓縮視頻流。在從無線高清發射器120接收到未壓縮視頻流的情況下，無線高清接收器140可從接收的未壓縮視頻流中提取出編碼資訊。所提取出的編碼資訊可包括與接收的未壓縮視頻流的原始壓縮視頻流相關的塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。提取出的編碼信號可用于在無線高清接收器140處執行幀率上變換。無線高清接收器140在幀率上變換過程中為接收的未壓縮視頻流中的每一個未壓縮視頻幀插入一個或多個中間(插補)視頻幀。
無線高清接收器140可通過例如HDMI介面和/或顯示埠(DP)介面與顯示設備150傳送該插補視頻幀，以將該插補視頻幀顯示給用戶。在從無線高清發射器120接收到壓縮視頻流的情況下，無線高清接收器140通過對接收的壓縮視頻流進行熵解碼來提取出編碼資訊。無線高清接收器140可將接收的壓縮視頻流解壓縮成一個解碼視頻幀序列。無線高清接收器140可將該解碼視頻幀序列用作參考幀，結合考慮提取出的編碼資訊例如塊運動適量，來執行幀率上變換。在幀率上變換處理過程中，無線高清接收器140可為每個解碼視頻幀插入一個或多個中間(插補)視頻幀。該插補視頻幀可通過例如HDMI和/或DP傳送給顯示設備150，以將插補視頻幀顯示給用戶。
顯示設備150包括合適的邏輯、電路和/或代碼，用於將從無線高清接收器140接收的視頻幀顯示給用戶。就此而言，顯示設備150可將三維圖像呈現給觀看者。顯示設備150可使用各種介面例如HDMI、乙太網和/或DP與無線高清接收器140通信。
儘管圖1中示出了無線高清系統100，本發明並不僅限於此。就此而言，無線高清發射器120和無線高清接收器140可支援3DTV技術而不脫離本發明的精神實質和範圍。無線高清發射器 120和無線高清接收器140可支援無線或有線通信而不脫離本發明的精神實質和範圍。所支援的無線或有線通信可以是高清或標清的，用於2D和/或3D業務。
操作中，無線高清發射器120可通過天線122從視頻源110接收壓縮視頻流。無線高清發射器120可從接收的視頻流中提取出編碼資訊。所提取出的編碼資訊可包括例如與接收的壓縮視頻流相關的塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。無線高清發射器120可通過無線高清傳輸鏈路130與目標接收器例如無線高清接收器140通信以確定用於傳輸視頻給無線高清接收器140所用的視頻格式，例如未壓縮的、MPEG-2、和/或MPEG-4。提取出的編碼資訊以及所接收的視頻流可使用所確定的視頻格式進行格式化或再格式化，以一起發送給無線高清接收器140。無線高清接收器140可從接收的視頻流中提取出編碼資訊而不管是未壓縮的還是壓縮的，以用於執行幀率上變換。在接收的視頻流是經過壓縮的情況下，無線高清接收器140執行視頻解壓縮以在幀率上變換之前構建出一個解碼視頻幀序列。無線高清接收器140可在幀率上變換過程中為每個未壓縮視頻幀或構建的解碼視頻幀插入一個或多個插補視頻幀。該插補視頻幀可通過例如HDMI、乙太網和/或DP傳送給顯示設備150以顯示給用戶。
圖2是根據本發明實施例的典型無線高清發射器的示意圖，其用於通過無線高清傳輸鏈路發送未壓縮視頻流。無線高清發射器200包括解壓縮引擎210、處理器220和記憶體230。
解壓縮引擎210包括合適的邏輯、電路和/或代碼，用於對從視頻源110接收的壓縮視頻流進行解壓縮，生成/構建出解碼視頻幀。解壓縮引擎210可執行各種視頻解壓縮技術，例如熵解碼、逆量化、逆變換、和運動補償預測。解壓縮引擎210可提供編碼資訊，例如塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。解壓縮引擎210提供的編碼資訊可由目標接收器例如無線高 清接收器140用於執行幀率上變換。
處理器220包括合適的邏輯、電路和/或代碼，用於從視頻源110接收壓縮視頻流。接收的壓縮視頻流可包括壓縮二維視頻流和/或壓縮三維視頻流。處理器220可傳送接收的壓縮視頻流給解壓縮引擎210，以進行各種視頻解碼和/或解壓縮操作，例如熵解碼、逆量化、逆變換、和運動補償預測。解壓縮引擎210所提供的解碼視頻幀與提取出的編碼資訊一起被傳送給目標接收器例如無線高清接收器140。處理器220可與記憶體230通信以提供各種視頻解碼演算法給解壓縮引擎210進行各種解碼操作。處理器220可與無線高清接收器140通信以確定對應的視頻傳輸所支援的視頻格式。所確定的視頻格式被處理器220用於格式化將給傳送給無線高清接收器140的解碼視頻幀以及提取出的編碼資訊。
記憶體230包括合適的邏輯、電路和/或代碼，用於存儲資訊，例如處理器220和解壓縮引擎210所使用的可執行指令和資料。該可執行指令可包括由解壓縮引擎210用於各種解碼操作的解碼演算法。該資料可包括解碼視頻幀和提取出的編碼資訊，例如塊運動向量、塊編碼模式、量化級、和量化殘留資料。記憶體230可包括RAM、ROM、低延時非易失性記憶體例如快閃記憶體和/或其他合適的電子資料記憶體。
圖3是根據本發明實施例的典型解壓縮引擎的示意圖，其被用於無線發射器的視頻解壓縮處理。參見圖3，示出瞭解壓縮引擎300。該解壓縮引擎300包括熵解碼單元310、逆量化單元320、逆變換單元330、合併器340、和運動補償預測單元350。
熵解碼單元310包括合適的邏輯、電路和/或代碼，用於解碼經熵編碼的資料。熵解碼單元310可將熵編碼資料的二進位比特轉換成符號(量化殘留資料)，其將會提供或傳送給隨後的解碼模組，例如逆量化單元320和逆變換單元330，以得到解碼視頻幀。二進位比特到符號的變換可通過各種方式來執行。例如，在MPEG 中，可使用變長解碼(VLD)跟著使用行程長度解碼(RLD)來實現熵解碼。熵編碼資料可以是從視頻源110接收的壓縮視頻流，包括壓縮二維視頻流和/或壓縮三維視頻流。就此而言，熵解單元310可從接收的壓縮視頻流中提取編碼資訊，例如塊運動向量。提取出的編碼資訊可包括例如與接收的壓縮視頻流相關的塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。
逆量化單元320可包括合適的邏輯、電路和/或代碼，用於對來自熵解碼單元310的解碼視頻幀的量化殘留資料進行縮放和/或再縮放調整，以重構出具有有限組顏色的視頻幀，將每種顏色與其最接近的代表形式相關聯。逆量化單元320可用於例如降低重構的圖像中的可感知的失真。
逆變換單元330可包括合適的邏輯、電路、介面和/或代碼，用於針對來自逆量化單元320的每個經逆量化的視頻幀，將標準的基本圖案(basis pattern)合併以形成殘留宏塊。
運動補償預測(MCP)單元350可包括合適的邏輯、電路和/或代碼，用於將針對未壓縮視頻幀內的巨集塊的預測提供給視頻編碼器，例如提供給二維視頻編碼器用於壓縮二維視頻流，或提供給三維視頻編碼器用於壓縮三維視頻流。當前幀內的巨集塊的圖元強度(pixel intensity)，可基於運動模型和之前/之後參考幀內的巨集塊的圖元密度進行預測。預測的圖元強度與實際當前圖元強度之間的差值，可被認為是預測誤差。該預測誤差可傳送給合併器340用於重構當前幀內的相應未壓縮宏塊。
合併器340可包括合適的邏輯、電路和/或代碼，用於將來自逆變換單元330的殘留巨集塊與來自運動補償預測單元350的相應預測誤差資訊合併，得到重構的未壓縮宏塊。
操作中，熵解碼單元310可從視頻源110接收壓縮視頻流。熵解碼器310將接收的壓縮視頻流的二進位比特轉換成視頻量化殘留資料。該量化殘留資料可提供給逆量化單元320。逆量化單元 320對該量化殘留資料進行再縮放，重構出具有有限組顏色的視頻幀。重構的視頻幀被傳送給逆變換單元330。逆變換單元330對重構的視頻幀進行逆變換，得到包括有多個殘留巨集塊的殘留視頻幀。殘留圖像中的殘留巨集塊可通過將重構視頻幀內的巨集塊與一個或多個標準基本圖案進行比較來得到。殘留視頻幀在合併器340中與來自運動補償預測單元350的預測誤差合併，得到重構的解碼/未壓縮視頻幀。
圖4是根據本發明實施例的典型無線高清接收器的示意圖，其用於通過無線高清傳輸鏈路接收未壓縮視頻流。參見圖4，示出了無線高清接收器400。無線高清接收器400包括幀率上變換引擎410、處理器420和記憶體430。
幀率上變換引擎410包括合適的邏輯、電路、介面和/或代碼，用於上變換幀率以提供因高品質視頻源而得到的高圖像品質，該高品質視頻源包括例如數位攝像機、照相機視頻、和/或電視電影轉換的影像。就此而言，幀率上變換引擎410通過使用從未壓縮視頻流提取出的編碼資訊來執行幀率上變換，而不管無線高清接收器400接收的是未壓縮二維視頻流還是未壓縮三維視頻流。提取出的編碼資訊包括例如與接收的未壓縮視頻流的原始壓縮視頻流相關的塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。幀率上變換引擎410可以使用各種幀率上變換演算法(例如幀重複和通過時間濾波的線性插補)來構建具有較高幀率的插補視頻幀，以便在新式顯示幕例如顯示設備150上顯示。
處理器420包括合適的邏輯、電路、介面和/或代碼，用於處理從無線高清發射器120接收的解碼視頻幀。處理器420可將接收的解碼或未壓縮視頻幀傳送給幀率上變換引擎410，以對接收的解碼視頻幀的幀率進行上變換。處理器420通過幀率上變換引擎410執行視頻幀插補，得到的插補視頻幀可顯示在顯示設備150上。
記憶體430包括合適的邏輯、電路和/或代碼，用於存儲資訊，例如處理器420以及幀率上變換引擎410所使用的可執行指令和資料。該可執行指令包括幀率上變換演算法，其可由幀率上變換引擎410使用。該資料包括解碼視頻幀和提取出的編碼資訊，例如塊運動向量、塊編碼模式、量化級、和量化殘留資料。該資料包括由幀率上變換引擎410構建的插補視頻幀，用於在顯示設備150上顯示。記憶體430可包括RAM、ROM、低延時非易失性記憶體例如快閃記憶體和/或其他合適的電子資料記憶體。
操作中，處理器420通過無線高清傳輸鏈路130從無線高清發射器110接收具有較低幀率的解碼或未壓縮視頻流。接收的解碼視頻流可包括解碼二維視頻流和/或解碼三維視頻流。處理器420將接收的解碼視頻幀傳送給幀率上變換引擎410，以對接收的解碼視頻幀的幀率進行上變換。處理器420和幀率上變換引擎410使用記憶體430進行幀率上變換。幀率上變換引擎410執行幀率上變換，得到插補視頻幀。處理器420與顯示設備150通信以將得到的插補視頻幀顯示給用戶。
圖5是根據本發明實施例的典型幀率上變換引擎的示意圖，其由無線高清接收器用於運動補償插補。參見圖5，示出了數字降噪濾波器510、圖元運動向量生成器52.、圖元運動向量估算器530、幀率上變換器540、和場景變化檢測器550。
數位降噪濾波器510包括合適的邏輯、電路和/或代碼，用於對從無線高清發射器110接收的解碼視頻幀進行降噪。在進行其他處理之前先進行降噪是必要的，可以得到更好的圖像品質。數位降噪濾波器510可使用各種降噪技術(例如去塊、去環或其他降噪濾波)在執行幀率上變換之前對接收的解碼視頻幀(參考圖像)進行降噪。
圖元運動向量生成器520包括合適的邏輯、電路和/或代碼，用於生成圖元運動向量。該圖元運動向量可以從塊運動向量中生 成，該塊運動向量從接收自無線高清發射器110的解碼視頻幀中提取出。圖元運動向量生成器520精煉提取出的塊運動向量，並將精煉後的塊運動向量分解成圖元運動向量。圖元運動向量可進一步縮放或再縮放以用於構建插補(或插入)的視頻幀。圖元運動向量生成器520可傳送圖元運動向量給運動向量估算器530和幀率上變換器540。
運動向量估算器530可包括合適的邏輯、電路、介面和/或代碼，用於對圖元運動向量生成器520生成的圖元運動向量相關的運動向量可信度和/或運動向量一致度進行估計。生成的圖元運動向量的運動向量可信度可通過各種方法來計算，包括使用從無線高清發射器110接收到的解碼視頻幀的量化殘留資料和相關的量化級。量化殘留資料和相關的量化級可以從接收的解碼視頻幀中提取得到。具有較少殘留資料的較小量化級會導致較高的運動向量可信度，而具有較多殘留資料的較高量化級會產生較低的運動向量可信度。運動向量一致度可以通過比較相鄰塊運動向量和運動補償塊邊界圖元差來得到。運動向量可信度和/或運動向量一致度可用于生成可信度-一致度測量值，以用於例如運動抖動濾波。
幀率上變換器540包括合適的邏輯、電路、介面和/或代碼，用於對從無線高清發射器110接收的解碼視頻幀的幀率進行上變換。幀率上變換器540可使用無線高清發射器110提供的編碼資訊執行運動補償幀率上變換。接收的解碼視頻幀的圖元運動向量和/或相關聯的運動向量可信度-一致度可用於運動補償幀率上變換。幀率上變換器540使用圖元運動向量以及相關聯的運動向量可信度-一致度測量值來對接收的解碼視頻幀進行插補。例如，在運動向量可信度低的情況下，幀率上變換器540可使用靜態圖片插補參考幀，例如通過幀重複來插補。較高的運動向量可信度會導致完全依賴運動向量的插補。插補的視頻幀可傳送給場景變化檢測器550。
場景變化檢測器550包括合適的邏輯、電路和/或代碼，用於檢測接收的插補視頻幀內的場景變化。場景變化檢測器550可通過例如非線性濾波來處理接收的插補視頻幀，以降低最後插補的視頻幀內的偽像(artifact)。場景變換檢測器550會考慮可信度-一致度測量值來確定是否以及何時運動補償插補可能會失敗。場景變化檢測器550可識別出插補視頻幀內的問題區域，並通過各種方法例如對最終的插補視頻幀進行非線性濾波來隱藏識別出的問題區域。
操作中，無線高清接收器140從無線高清發射器120接收解碼視頻幀。接收的解碼視頻幀可在進行其他處理之前傳送給數位降噪濾波器510。數位降噪濾波器510可使用各種降噪技術(例如去塊、去環或其他降噪濾波)對接收的解碼視頻幀進行降噪。經濾波的解碼視頻幀被分別傳送給圖元運動向量生成器520、運動向量估算器530、幀率上變換器540和場景變化檢測器550，進行進一步處理。圖元運動向量生成器520自濾波後的解碼視頻幀中提取的編碼資訊例如塊運動向量中生成圖元運動向量。生成的圖元運動向量被分別提供給運動向量估算器530和幀率上變換器540。
運動向量估算器530對生成的圖元運動向量的運動向量可信度和/或運動向量一致度進行估計，提供運動向量可信度-一致度的測量值給場景變化檢測器550。幀率上變換器540使用來自圖元運動向量生成器520生成的圖元運動向量對濾波後的解碼視頻幀進行幀率上變換。從幀率上變換器540得到的插補視頻幀可傳送給場景變化檢測器550。場景變化檢測器550檢測接收的插補視頻幀內的場景變化。場景變化檢測器550處理接收的插補視頻幀以降低最終插補視頻幀內的偽像。與運動向量可信度和/或運動向量一致度相關的測量值被考慮，以用於識別出接收的插補視頻幀內的問題區域。該問題區域可通過各種方式來隱藏，例如非線性濾波。最終的插補視頻幀被傳送給顯示設備150。
圖6是根據本發明實施例在兩個參考視頻幀之間插入示範性的插補視頻幀的示意圖。參見圖6，示出了多個解碼視頻幀(參考視頻幀)，例如P1 602和P2 604，以及插補視頻幀606的位置。例如，插補視頻幀606可插補在解碼視頻幀P1 602後k個時間單位處。
圖7是根據本發明實施例的插補視頻幀的示範性運動向量的示意圖。參見圖7，示出了多個解碼視頻幀，例如P1 702和P2 704，以及插補視頻幀706。例如，插補視頻幀706可插補在解碼視頻幀P1 702後k個時間單位處。
運動向量708從前一視頻幀P1 702內的區域指向下一視頻幀P2 704內的區域，通過這樣的方式，運動向量708能夠捕捉兩個原始視頻幀P1 702和P2 704之間發生的運動。運動向量709是運動向量708的偏移版本。運動向量709可偏移到與插補視頻幀706對齊。
運動向量709可分成兩個運動向量，例如運動向量MV1 709a和MV2 709b。運動向量MV1 709a與MV2 709b可針對運動補償插補進行縮放調整。兩個調整後的運動向量的方向可彼此相對。每個調整後的運動向量的長度可與插補視頻幀706和相應原始視頻幀例如視頻幀P1 702之間的時間差成正比。
圖8是根據本發明實施例的典型無線高清發射器的示意圖，其用於通過無線高清傳輸鏈路發送壓縮視頻流。參見圖8，示出了無線高清發射器800。無線高清發射器800包括熵解碼單元810、處理器820和記憶體830。
熵解碼單元810包括合適的邏輯、電路、介面和/或代碼，用於解碼經熵編碼的資料。熵解碼單元可以按照與結合圖3描述的熵解碼單元310相同的方式執行。熵解碼單元810從接收自視頻源110的壓縮視頻流中提供編碼資訊。接收的視頻流包括壓縮二維視頻流和/或壓縮三維視頻流。提取出的編碼資訊包括例如塊運 動向量、塊編碼模式、量化級、和/或量化殘留資料。編碼模式包括的資訊有例如基於塊間的編碼、或基於塊內的編碼、以及塊大小。提取出的編碼資訊被傳送給處理器820。
處理器820包括合適的邏輯、電路、介面和/或代碼，用於處理從視頻源110接收的壓縮視頻流。處理器820將提取出的編碼資訊(例如塊運動向量、塊編碼模式、量化級、和/或量化殘留資料)插入到接收的壓縮視頻流內，通過無線高清傳輸鏈路130傳送給目標視頻接收器例如無線高清接收器140。處理器820可與記憶體830通信以提供熵解碼單元810所使用的各種視頻解碼演算法。處理器820可與無線高清接收器140通信以確定對應的視頻傳輸所支援的視頻格式。所確定的視頻格式被處理器820用於將壓縮視頻流以及插入的編碼資訊一起傳送給無線高清接收器140。
記憶體830包括合適的邏輯、電路、介面和/或代碼，用於存儲資訊，例如處理器820和熵解碼單元810所使用的可執行指令和資料。該可執行指令可包括由熵解碼單元810用於各種解碼操作的視頻解碼演算法。該資料可包括接收的壓縮視頻流和提取出的編碼資訊。記憶體830可包括RAM、ROM、低延時非易失性記憶體例如快閃記憶體和/或其他合適的電子資料記憶體。
操作中，處理器820從視頻源例如IP電視網路112接收具有較低幀率的壓縮視頻流。處理器820可將接收的壓縮視頻流傳送給熵解碼單元810進行熵解碼。熵解碼單元810可將編碼資訊(例如塊運動向量、塊編碼模式、量化級、和量化殘留資料)提供給處理器820。處理器820將提取出的編碼資訊插入到接收的壓縮視頻流內，以支援的格式傳送給無線高清接收器140。
圖9是根據本發明實施例的典型無線高清接收器的示意圖，其用於通過無線高清傳輸鏈路接收壓縮視頻流。參見圖9，示出了無線高清接收器900。無線高清接收器900包括解壓縮引擎910、幀率上變換引擎920、處理器930和記憶體940。
解壓縮引擎910包括合適的邏輯、電路、介面和/或代碼，用於對從無線高清發射器120接收的壓縮視頻流(不管是壓縮二維視頻流還是壓縮三維視頻流)進行解壓縮，生成解碼視頻幀。解壓縮引擎910可執行各種視頻解碼/解壓縮操作，例如熵解碼、逆量化、逆變換、和運動補償預測。解壓縮引擎910可提供解碼視頻幀給幀率上變換引擎920用於進一步視頻解碼處理。
幀率上變換引擎920包括合適的邏輯、電路和/或代碼，用於上變換幀率以提供因高品質視頻源而得到的高圖像品質，該高品質視頻源包括例如數位攝像機、照相機視頻、和/或電視電影轉換的影像。就此而言，幀率上變換引擎920從接收自無線高清發射器120的壓縮視頻流中提取出編碼資訊，例如塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。提取出的編碼資訊可用於對接收的壓縮視頻流執行幀率上變換。幀率上變換引擎920可以使用各種幀率上變換演算法(例如幀重複和通過時間濾波的線性插補)來構建具有較高幀率的插補視頻幀，以便在顯示設備150上顯示。
處理器930包括合適的邏輯、電路、介面和/或代碼，用於處理從無線高清發射器120接收的解碼視頻流。處理器930可將接收的壓縮視頻流傳送給解壓縮引擎910以得到接收的壓縮視頻流的對應解碼視頻幀。該解碼視頻幀可用作最終插補視頻幀的幀率上變換中的參考視頻幀。處理器930傳送最終的插補視頻幀給顯示設備150進行顯示。
記憶體940包括合適的邏輯、電路、介面和/或代碼，用於存儲資訊，例如處理器930以及幀率上變換引擎920和/或解壓縮引擎910所使用的可執行指令和資料。該可執行指令包括各種視頻處理演算法，例如由解壓縮引擎910和幀率上變換引擎920所分別使用的視頻解壓縮演算法和幀率上變換演算法。該資料包括接收自無線高清發射器120的壓縮視頻流、從接收的壓縮視頻流中 提取出的編碼資訊、解碼視頻幀、和/或插補視頻幀。提取出的編碼資訊包括例如塊運動向量、塊編碼模式、量化級、和量化殘留資料，將由幀率上變換引擎920所使用。記憶體940可包括RAM、ROM、低延時非易失性記憶體例如快閃記憶體和/或其他合適的電子資料記憶體。
操作中，處理器930從無線高清發射器120接收壓縮視頻流。處理器930將接收的壓縮視頻流傳送給解壓縮引擎910，得到相應的解碼視頻幀。該解碼視頻幀由幀率上變換引擎920進行插補，得到插補視頻幀。就此而言，幀率上變換引擎920利用從接收的壓縮視頻流中提取出的編碼資訊進行幀率上變換。得到的由幀率上變換引擎920構建的插補視頻幀被傳送給處理器930以便在顯示設備150上顯示。
圖10是根據本發明實施例對壓縮和未壓縮視頻流使用無線高清進行運動補償幀率上變換的方法的流程圖。示範性的方法開始於步驟1002，無線高清發射器120從視頻源110接收/接受壓縮視頻流。接收的壓縮視頻流可以是壓縮二維視頻流和/或壓縮三維視頻流。步驟1004中，無線高清發射器120通過執行熵解碼從接收的壓縮視頻流中提取出編碼資訊。該編碼資訊包括例如塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。步驟1006中，無線高清發射器120獲取資訊，例如目標接收器例如無線高清接收器140能夠支援的視頻格式。
步驟1008中，無線高清接收器140提供視頻格式資訊給無線高清發射器120以用於視頻傳輸。步驟1010中，無線高清發射器120確定或選擇一種將用於與無線高清接收器140通信的視頻格式。步驟1012中，無線高清發射器120使用確定或選擇的視頻格式格式化或再格式化提取出的編碼資訊。步驟1014中，可確定是否無線高清發射器120將發射未壓縮視頻流給無線高清接收器140。在無線高清發射器120發射未壓縮視頻流給無線高清接收器 140的情況下，則在步驟1016中，無線高清發射器120通過解壓縮引擎210對接收的壓縮視頻流進行解碼/解壓縮，生成相應的解碼視頻幀。
步驟1018中，無線高清發射器120發射包含有解碼視頻幀和格式化或再格式化後的編碼資訊的未壓縮視頻流給無線高清接收器140。步驟1020中，無線高清接收器140接收發射的未壓縮視頻流。無線高清接收器140從接收的未壓縮視頻流中提取出編碼資訊。步驟1022中，無線高清接收器140使用提取出的編碼資訊對接收的解碼視頻幀執行幀率上變換，構建出最終的插補視頻幀。步驟1024中，無線高清接收器140傳送構建的最終插補視頻幀給顯示設備150進行顯示。然後該示範性方法回到步驟1002。
步驟1014中，在無線高清發射器120發射壓縮視頻流給無線高清接收器140的情況下，則步驟1026中，無線高清發射器120發射接收的壓縮視頻流以及格式化或再格式化後的編碼資訊給無線高清接收器140。步驟1028中，無線高清接收器140從接收自無線高清發射器120的壓縮視頻流中提取出編碼資訊。步驟1030中，無線高清接收器140對從無線高清發射器120接收的壓縮視頻流進行解壓縮，生成相應的解碼視頻幀。該示範性方法繼續至步驟1022。
圖11是根據本發明實施例用於視頻解壓縮的步驟的流程圖。參見圖11，該示範性方法開始於步驟1110，解壓縮引擎，例如無線高清發射器200上的解壓縮引擎210和/或無線高清接收器900上的解壓縮引擎910，接收壓縮視頻流。接收的壓縮視頻流可以是壓縮二維視頻流和/或壓縮三維視頻流。解壓縮引擎210接收的壓縮視頻流可直接接收自視頻源110。然而，解壓縮引擎910接收的壓縮視頻流是由無線高清發射器120通過無線高清傳輸鏈路130傳送來的。步驟1120中，解壓縮引擎210或910對接收的壓縮視頻流中的當前壓縮視頻幀執行熵解碼，生成當前壓縮視頻幀的量 化殘留資料。
步驟1122中，確定解壓縮引擎是否位於無線高清發射器120上。在解壓縮引擎例如解壓縮引擎210位於無線高清發射器120上的情況下，則步驟1130中，解壓縮引擎210通過熵解碼生成當前壓縮視頻幀的編碼資訊。步驟1140中，由解壓縮引擎210或910通過運動補償技術，使用生成的當前壓縮視頻幀的量化殘留資料以及接收的壓縮視頻流內的一個或多個之前的解碼視頻幀，預測出當前未壓縮視頻幀。
步驟1150中，解壓縮引擎210或910逆量化當前壓縮視頻幀。步驟1160中，解壓縮引擎210或910通過將當前逆量化後的壓縮視頻幀與當前預測出的未壓縮視頻幀進行合併，生成當前解碼視頻幀。步驟1170中，確定接收的壓縮視頻流中的壓縮視頻幀是否已經被解碼。在未被解碼的情況下，則該示範性方法針對接收的壓縮視頻流中的下一可用壓縮視頻幀繼續解壓處理，回到步驟1120。
步驟1122中，在解壓縮引擎例如解壓縮引擎910位於無線高清接收器140上的情況下，則該方法繼續至步驟1140。步驟1170中，在接收的壓縮視頻流中的壓縮視頻幀已經被解碼的情況下，則該方法在步驟1190中結束。
圖12是根據本發明實施例由無線高清接收器對壓縮和未壓縮視頻流所執行的運動補償幀率上變換的步驟的流程圖。參見圖12，該方法步驟開始於步驟1210，無線高清接收器140處的幀率上變換引擎例如410和/或920接收解碼視頻幀和相關的編碼資訊，包括例如塊運動向量、塊編碼模式、量化級、和/或量化殘留資料。接收的解碼視頻幀可包括解碼二維視頻幀和/或解碼三維視頻幀。步驟1220中，幀率上變換引擎例如410和/或920對每個接收的解碼視頻幀執行數位降噪濾波。
步驟1230中，幀率上變換引擎例如410和/或920使用相應的 經濾波的解碼視頻幀和/或相關聯的一個或多個正向和/或反向濾波後的解碼視頻幀對每個塊運動向量進行精煉。步驟1240中，為每個精煉後的塊運動向量確定運動向量可信度-一致度測量值。步驟1250中，通過分解相應的精煉後的塊運動向量來為每個濾波後的解碼視頻幀生成圖元運動向量。步驟1260中，幀率上變換引擎例如410和/或920使用相應生成的圖元運動向量對每個濾波後的解碼視頻幀執行運動補償插補。步驟1270中，通過考慮相應確定的運動向量可信度-一致度測量值，針對每個濾波後解碼視頻幀的插補解碼視頻幀進行濾波和/或防護。經過濾波的插補視頻幀可被傳送給顯示設備150進行顯示。該示範性方法返回步驟1210。
本發明提供一種對壓縮和未壓縮視頻流進行運動補償幀率上變換的方法和系統。根據本發明的各種實施例，視頻接收器，例如無線高清接收器140，用於通過例如無線高清傳輸鏈路130從視頻發射器(例如無線高清發射器120)接收三維視頻流。接收的三維視頻流可包括有編碼資訊以及用於在顯示設備150上顯示的多個視頻幀。無線高清接收器140從接收的三維視頻流中提取出編碼資訊。無線高清接收器140可通過幀率上變換引擎410和/或920使用提取出的編碼資訊對接收的多個視頻幀執行幀率上變換。該編碼資訊可由無線高清發射器120通過對來自視頻源110的壓縮視頻執行熵解碼來生成，其中該視頻源可以分別是例如有線電視網路111、IP電視網路112、衛星廣播網路113、移動通信網路114、視頻攝像機115和/或照相機116。該提取出的編碼資訊包括塊運動向量、塊編碼模式、量化級、和/或量化殘留資料中的一個或多個。
接收的三維視頻流可包括未壓縮的三維視頻或經壓縮的三維視頻。在接收的三維視頻流中用於顯示的多個視頻幀包括結合圖2到圖8所描述的多個解碼視頻幀的情況下，接收的多個解碼視頻幀可由無線高清發射器120生成，其利用解壓縮引擎210對來自 視頻源110的壓縮三維視頻進行解壓縮。解壓縮引擎210可執行各種解碼操作，例如熵解碼、逆量化、逆變換和/或運動補償預測。無線高清接收器140內的數位雜訊濾波器510對每個接收的解碼視頻幀執行數位降噪濾波。
提取出的編碼資訊例如塊運動向量和濾波後的解碼視頻幀被圖元運動向量生成器520用於為每個接收的解碼視頻幀生成圖元運動向量。在運動向量估算器530中計算出針對生成的圖元運動向量的相關的運動向量可信度和/或運動向量一致度，以提供生成的圖元運動向量的測量值。多個插補視頻幀由幀率上變換器540基於生成的圖元運動向量和在運動向量估算器530處所計算出的運動向量可信度和/或運動向量一致度從接收的多個編碼視頻幀中生成。生成的多個插補視頻幀可例如通過場景變化檢測器550進行處理。通過執行降噪濾波，使用計算出的運動向量可信度和/或運動向量一致度資訊，可以隱藏偽像例如運動抖動。
在視頻接收器例如無線高清接收器900接收的三維視頻流包括壓縮三維視頻例如MPEG-2、MPEG-4、AVC、VC1、和/或VP1的情況下，無線高清接收器900通過解壓縮引擎910對接收的壓縮三維視頻執行視頻解碼。解壓縮引擎910可執行各種視頻解碼操作，例如熵解碼、逆量化、逆變換、和運動補償預測。通過解壓縮引擎910構建得到的多個解碼視頻幀可被傳送給數位降噪濾波器510，對得到的多個解碼視頻幀執行降噪處理。圖元運動向量生成器520使用提取出的編碼資訊例如塊運動向量和濾波後得到的多個解碼視頻幀，生成針對每個解碼視頻幀的圖元運動向量。在運動向量估算器530中計算出針對生成的圖元運動向量的相關的運動向量可信度和/或運動向量一致度，以提供生成的圖元運動向量的測量值。多個插補視頻幀由幀率上變換器540基於生成的圖元運動向量和在運送向量估算器530處所計算出的運動向量可信度和/或運動向量一致度從接收的多個編碼視頻幀中生成。生成 的多個插補視頻幀可例如通過場景變化檢測器550進行處理。通過執行降噪濾波，使用計算出的運動向量可信度和/或運動向量一致度資訊，可以隱藏偽像例如運動抖動。
本發明的一個實施例提供了一種可機讀記憶體，其上存儲的電腦代碼和/或電腦程式包括至少一個代碼段，該至少一個代碼段可由機器和/或電腦執行，使得該機器和/或電腦執行本申請介紹的對壓縮和未壓縮視頻流進行運動補償幀率上變換的步驟。
因此，本發明可以通過硬體、軟體，或者軟、硬體結合來實現。本發明可以在至少一個電腦系統中以集中方式實現，或者由分佈在幾個互連的電腦系統中的不同部分以分散方式實現。任何可以實現所述方法的電腦系統或其他設備都是可適用的。常用軟硬體的結合可以是安裝有電腦程式的通用電腦系統，通過安裝和執行所述程式控制電腦系統，使其按所述方法運行。在電腦系統中，利用處理器和存儲單元來實現所述方法。
本發明還可以嵌入電腦程式產品，所述套裝程式含能夠實現本發明方法的全部特徵，當其安裝到電腦系統中時，通過運行，可以實現本發明的方法。本文中的電腦程式所指的是：可以採用任何程式語言、代碼或符號編寫的一組指令的任何運算式，該指令組使系統具有資訊處理能力，以直接實現特定功能，或在進行下述一個或兩個步驟之後，a)轉換成其他語言、編碼或符號；b)以不同材料形式再現，實現特定功能。
本發明是通過幾個具體實施例進行說明的，本領域技術人員應當明白，在不脫離本發明範圍的情況下，還可以對本發明進行各種變換及等同替代。另外，針對特定情形或具體情況，可以對本發明做各種修改，而不脫離本發明的範圍。因此，本發明不局限於所公開的具體實施例，而應當包括落入本發明權利要求範圍內的全部實施方式。

Claims (9)

  1. 一種信號處理方法，其特徵在於，包括：在視頻發射器內：接收包括多個視頻幀的壓縮視頻流；從所述壓縮視頻流中產生編碼資訊，其中所述編碼資訊包括塊運動向量，用於視頻接收器對所述多個視頻幀執行幀率上變換；以及經由無線傳輸鏈路傳輸所述多個視頻幀與對應的所述編碼資訊至所述視頻接收器，以使所述視頻接收器使用所述編碼資訊以對所述多個視頻幀進行幀率上變換；其中在使所述視頻接收器使用所述編碼資訊以對所述多個視頻幀進行幀率上變換的過程中包括：精煉所述塊運動向量，並將精煉後的所述塊運動向量分解成圖元運動向量；縮放或再縮放所述圖元運動向量以用於構建插補的視頻幀；及考慮相應確定的所述運動向量的一致度測量值，以針對所述插補的視頻幀進行濾波和/或防護。
  2. 如申請專利範圍第1項所述的方法，其中，所述提取出的編碼資訊包括塊編碼模式、量化級、和/或量化殘留資料中的一個或多個。
  3. 如申請專利範圍第1項所述的方法，其中，所述編碼資訊由所述視頻發射器通過對來自視頻源的所述壓縮視頻流進行熵解碼而生成，其中所述視頻源來自有線電視網路、IP電視網路、衛星廣播網路、移動通信網路、視頻攝像機、和/或照相機其中之一。
  4. 如申請專利範圍第3項所述的方法，其中，所述接收的多個視頻幀包括多個解碼視頻幀，其是在所述視頻發射器處通過解壓縮來自視頻源的所述壓縮視頻流構建出的。
  5. 如申請專利範圍第4項所述的方法，其中，所述方法進一步包括：基於所述生成的圖元運動向量和所計算出的運動向量可信度和/或運動向量一致度，從所述接收的多個解碼視頻幀中生成多個插補視頻幀。
  6. 一種信號處理系統，其特徵在於，包括：用於視頻發射器內的一個或多個電路，其中所述一個或多個電路用於接收包括多個視頻幀的視頻流；所述一個或多個電路從所述壓縮視頻流中產生編碼資訊，其中所述編碼資訊包括塊運動向量，用於視頻接收器對所述多個視頻幀執行幀率上變換；以及所述一個或多個電路經由無線傳輸鏈路傳輸所述多個視頻幀與對應的所述編碼資訊至所述視頻接收器，以使所述視頻接收器使用所述編碼資訊以對所述多個視頻幀進行幀率上變換；其中在所述一個或多個電路使所述視頻接收器在使用所述編碼資訊以對所述多個視頻幀進行幀率上變換的過程中包括：精煉所述塊運動向量，並將精煉後的所述塊運動向量分解成圖元運動向量；縮放或再縮放所述圖元運動向量以用於構建插補的視頻幀；及透過考慮相應確定的所述運動向量的一致度測量值，以針對所述插補的視頻幀進行濾波和/或防護。
  7. 如申請專利範圍第6項所述的系統，其中，所述提取出的編碼資訊包括塊編碼模式、量化級、和/或量化殘留資料中的一個或多個。
  8. 如申請專利範圍第6項所述的系統，其中，所述編碼資訊由所述視頻發射器通過對來自視頻源的所述壓縮視頻流進行熵解碼而生成，其中所述視頻源來自有線電視網路、IP電視網路、衛星廣播網路、移動通信網路、視頻攝像機、和/或照相機其中之一。
  9. 如申請專利範圍第8項所述的系統，其中，所述接收的多個視頻幀包括多個解碼視頻幀，其是在所述視頻發射器處通過解壓縮來自視頻源的所述壓縮視頻流構建出的。
TW099112456A 2009-04-21 2010-04-21 信號處理方法及系統 TWI535296B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/427,440 US9185426B2 (en) 2008-08-19 2009-04-21 Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams

Publications (2)

Publication Number Publication Date
TW201132124A TW201132124A (en) 2011-09-16
TWI535296B true TWI535296B (zh) 2016-05-21

Family

ID=42320901

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099112456A TWI535296B (zh) 2009-04-21 2010-04-21 信號處理方法及系統

Country Status (4)

Country Link
US (2) US9185426B2 (zh)
EP (1) EP2244485A3 (zh)
CN (1) CN101873489A (zh)
TW (1) TWI535296B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205523A (zh) * 2016-07-13 2016-12-07 深圳市华星光电技术有限公司 液晶显示装置残像的改善方法及装置
US12010456B2 (en) 2022-04-06 2024-06-11 Mediatek Inc. Method for performing frame interpolation based on single-directional motion and associated non-transitory machine-readable medium

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046623A1 (en) * 2008-08-19 2010-02-25 Chen Xuemin Sherman Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
US20110141230A1 (en) * 2009-12-16 2011-06-16 Samsung Electronics Co., Ltd. 3d display device and method for correcting image thereof
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
US10448083B2 (en) * 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
FR2958824A1 (fr) 2010-04-09 2011-10-14 Thomson Licensing Procede de traitement d'images stereoscopiques et dispositif correspondant
JP5532232B2 (ja) * 2010-05-18 2014-06-25 ソニー株式会社 映像信号処理装置、映像表示装置および映像表示システム
KR101685981B1 (ko) * 2010-07-29 2016-12-13 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
KR101940738B1 (ko) 2010-08-10 2019-01-22 닛산 가가쿠 가부시키가이샤 탄소와 탄소의 다중 결합을 갖는 수지를 포함하는 접착제 조성물
CN102665027B (zh) * 2012-04-20 2014-05-14 西北大学 一种矢量几何模型压缩方法
GB2518603B (en) 2013-09-18 2015-08-19 Imagination Tech Ltd Generating an output frame for inclusion in a video sequence
US10531127B2 (en) * 2015-06-19 2020-01-07 Serious Simulations, Llc Processes systems and methods for improving virtual and augmented reality applications
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
CN112672132B (zh) 2018-09-30 2023-12-26 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
EP4014497A4 (en) * 2019-09-14 2022-11-30 ByteDance Inc. QUANTIZE PARAMETER FOR CHROMINANCE UNBLOCKING FILTERING
US11450030B2 (en) * 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder
WO2021072177A1 (en) 2019-10-09 2021-04-15 Bytedance Inc. Cross-component adaptive loop filtering in video coding
CN114586370B (zh) 2019-10-14 2024-01-23 字节跳动有限公司 在视频编解码中使用色度量化参数的方法、装置及介质
WO2021118977A1 (en) 2019-12-09 2021-06-17 Bytedance Inc. Using quantization groups in video coding
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0982726A4 (en) * 1998-01-19 2003-06-04 Sony Corp CUTTING SYSTEM, CUTTING CONTROL DEVICE AND CUTTING METHOD
WO2001008365A1 (en) * 1999-07-08 2001-02-01 Koninklijke Philips Electronics N.V. Receiver with optimal quantization and soft viterbi decoding
JP2003116104A (ja) * 2001-10-02 2003-04-18 Sony Corp 情報処理装置及び情報処理方法
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
KR100550567B1 (ko) * 2004-03-22 2006-02-10 엘지전자 주식회사 무선 네트워크망을 통해 통신하는 서버 시스템 및 그동작방법
CA2565670A1 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
AU2005267169A1 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
US20110037561A1 (en) * 2007-08-13 2011-02-17 Linx Technologies, Inc. Transcoder apparatus and methods
US8243823B2 (en) * 2007-08-29 2012-08-14 Samsung Electronics Co., Ltd. Method and system for wireless communication of uncompressed video information
US8605786B2 (en) 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8121197B2 (en) * 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205523A (zh) * 2016-07-13 2016-12-07 深圳市华星光电技术有限公司 液晶显示装置残像的改善方法及装置
CN106205523B (zh) * 2016-07-13 2018-09-04 深圳市华星光电技术有限公司 液晶显示装置残像的改善方法及装置
US12010456B2 (en) 2022-04-06 2024-06-11 Mediatek Inc. Method for performing frame interpolation based on single-directional motion and associated non-transitory machine-readable medium

Also Published As

Publication number Publication date
US9185426B2 (en) 2015-11-10
US20160065991A1 (en) 2016-03-03
CN101873489A (zh) 2010-10-27
TW201132124A (en) 2011-09-16
US9462296B2 (en) 2016-10-04
US20100046615A1 (en) 2010-02-25
EP2244485A3 (en) 2013-08-21
EP2244485A2 (en) 2010-10-27

Similar Documents

Publication Publication Date Title
TWI535296B (zh) 信號處理方法及系統
KR101056096B1 (ko) 압축 및 압축복원 비디오 비트스트림 모두에 대한 움직임 보상 프레임 레이트 상향 변환을 위한 방법 및 시스템
US9154807B2 (en) Inclusion of switched interpolation filter coefficients in a compressed bit-stream
JP2010166133A (ja) 動画像符号化装置
KR20120030581A (ko) 효율적인 2ｄ-3ｄ 렌더링을 위한 비디오 디코더에서의 텍스쳐 압축
US8704932B2 (en) Method and system for noise reduction for 3D video content
US10225561B2 (en) Method and apparatus for syntax signaling in image and video compression
CN115668947A (zh) 用信号通知hls的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
US9521392B2 (en) Method and system for frame rate conversion of 3D frames
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US9258517B2 (en) Methods and apparatuses for adaptively filtering video signals
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
EP1982428A2 (en) Macroblock neighborhood address calculation
US9432614B2 (en) Integrated downscale in video core
JP2012142844A (ja) カラー動画像符号化方法及びカラー動画像符号化装置
WO2024049627A1 (en) Video compression for both machine and human consumption using a hybrid framework
Luengo et al. HEVC Mezzanine Compression for UHD Transport over SDI and IP Infrastructures
Makris et al. Digital Video Coding Principles from H. 261 to H. 265/HEVC
CN108574842A (zh) 一种视频信息处理方法和处理系统
KR20140092189A (ko) 고화질 영상 방송

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees