TWI573443B - 使用顯著圖之視訊編碼技術 - Google Patents

使用顯著圖之視訊編碼技術 Download PDF

Info

Publication number
TWI573443B
TWI573443B TW104131433A TW104131433A TWI573443B TW I573443 B TWI573443 B TW I573443B TW 104131433 A TW104131433 A TW 104131433A TW 104131433 A TW104131433 A TW 104131433A TW I573443 B TWI573443 B TW I573443B
Authority
TW
Taiwan
Prior art keywords
tone mapping
pixel
frame
color difference
saliency map
Prior art date
Application number
TW104131433A
Other languages
English (en)
Other versions
TW201626801A (zh
Inventor
馬克Ｑ 夏屋
真Ｐ 艾倫貝區
戴德華Ｊ 戴爾普
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201626801A publication Critical patent/TW201626801A/zh
Application granted granted Critical
Publication of TWI573443B publication Critical patent/TWI573443B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

使用顯著圖之視訊編碼技術 發明領域
本發明係有關於使用顯著圖之視訊編碼技術。
發明背景
視訊資料之壓縮在當今的資訊時代成為日漸盛行。視訊流內容，例如，由於視訊壓縮技術已成為可能。但是，視訊內容正以高速度增長，且支援此等視訊內容之帶寬需求是令人吃驚的。
發明概要
依據本發明之一實施例，係特地提出一種視訊編碼器，其包括：一處理資源；以及一非暫態儲存裝置，其包含可藉由該處理資源而執行以基於一顯著圖和一△像框而計算一壓縮像框的指令，該顯著圖用以基於與一目前像框中之各像素相關聯之一知覺重要性以表明該各像素的相對重要性，並且該△像框用以包含在該目前像框和一移動預測像框中對應像素之間的差異。
100‧‧‧視訊流源
110‧‧‧視訊編碼器
112‧‧‧處理資源
114‧‧‧非暫態儲存裝置
116‧‧‧視訊編碼機器指令
302-308‧‧‧色調映射函數
380-390‧‧‧壓縮視訊源模組
400‧‧‧參考像框(xk)
405‧‧‧目前像框(xk+1)
410‧‧‧移動預估及預測
415‧‧‧移動預測像框
420‧‧‧差異函數
425‧‧‧△像框
430‧‧‧YUV對CIE Lab
435‧‧‧計算色差
436‧‧‧顯著圖
438‧‧‧色調映射函數選擇
440‧‧‧動態色調映射色差影像
445‧‧‧流程方塊
450‧‧‧加權△像框
455‧‧‧流程方塊
457‧‧‧△損失
460‧‧‧方差圖
465‧‧‧流程方塊
470‧‧‧△保存圖
475‧‧‧流程方塊
480‧‧‧修改△像框
485‧‧‧色調映射函數選擇
490‧‧‧編碼器
495‧‧‧編碼壓縮像框
504-514‧‧‧編碼步驟
對於各種範例之詳細說明，接著將參考附圖，於其中：圖1展示依據各種範例之一視訊編碼器；圖2展示依據各種範例之各種色調映射函數；圖3展示圖1之視訊編碼器範例；圖4展示依據各種範例之編碼處理程序範例的流程圖；以及圖5展示依據各種範例之方法。
較佳實施例之詳細說明
本揭示是基於在各像框內的個別像素之可能重要性的一個判定而用以選擇地修改一視訊流之技術。比較於較重要像素，較不重要像素是較不容易為一觀看者所注意，並且是不同於較重要像素般地被編碼。較不重要像素以增加壓縮增益的方式被編碼。較不重要像素可能以導致較高壓縮增益，但卻是較低影像品質之方式被壓縮。但是，因為較不重要像素是較不可能被注意到，由於所揭示的技術使得對於較不重要像素之任何影像品質之降低，當觀看視訊流時，是不太可能被注意到。對於一些或所有的視訊像框之一顯著圖被判定。該顯著圖是基於其之知覺顯著性而表明對應像框中的各像素之相對的重要性。
一視訊流可以具特徵於一像框序列，其當連續地呈現時將提供一移動方位至像框影像。一色彩對比敏感性模式之實行例可以辨識具有像框-至-像框差異之高方差 區域，其是具有正常色彩視覺的一個人類觀察者於視覺上察覺不出的。所揭示之壓縮技術是基於色彩科學之知覺原理，並且進一步地採用區塊為基礎之先進視訊編碼技術本質的優點。
此處所述之範例可以選擇地放棄像框間差異，例如，基於關於對於一視訊壓縮器/解壓縮器(CODEC)，例如，一MPEG-2 CODEC之人類視覺系統之假設下，雖然除了MPEG-2外之視訊編碼技術也是可行的。MPEG-2是對於移動圖像(例如，一視訊流)以及相關音訊資訊之通用編碼的一標準。MPEG-2說明有損視訊壓縮和有損音訊資料壓縮方法之一組合，其使用儲存媒體和傳輸帶寬而允許視訊流之儲存和傳輸。
一人類觀察者對於色差之敏感性作為色調、色度和亮度之一函數而變化。進一步地，一視訊序列的各像框之一些部份比較於其他部份，是較不可能為一觀察者所注意到。由於考慮到這些因素，此處所述之實行例基於一方差加權色度活性圖而選擇地衰減一視訊流之像框間差異。於一MPEG2工作流程之情況中，該衰減之差異接著可以使用，例如，一離散餘弦轉換(DCT)被轉換，並且被量化。一離散餘弦轉換(DCT)藉由在不同頻率振盪之餘弦函數的總和，而表示一序列之有限許多資料點。DCT是有助於包含小量高頻成分可以被忽略的音訊和影像之有損壓縮之許多應用。
轉換、量化視訊像框資料接著可以被編碼，例 如，使用一霍夫曼(Huffman)編碼演算法。霍夫曼編碼是一編碼演算法，其可以被使用於無損資料壓縮。霍夫曼編碼包含用以編碼一源符號的一可變長度編碼表之使用，其中一可變長度編碼表已基於對於源符號的各個可能數值發生之估計概率而以一特定方式被導出。
一序列之視訊像框可以是具特徵於自一像框至下一者之相對地小差異。例如，在每秒30個像框之一重播速度，在一像框及時間中一第1/30秒後的下一像框之間可能沒有很大的差異。代表一像框之多數資訊將是相同如下一像框中被使用之資訊。
此處所述之視訊壓縮採取預測或估計移動向量之優點。一像框可以包括一些區塊。一區塊匹配移動估計(ME)演算法可以被使用以從像框至像框去判定移動向量而產生一移動預測像框。在一個像框內之各區塊可以自參考像框之一個相等大小區塊被預測出。除了移位至預測區塊之位置外該等區塊可能不被轉換。這移位是藉由一移動向量表示。許多移動補償機構允許一些不同的先前或隨後的像框被使用於移動預測並且不必定是剛好一相鄰像框。
使用移動補償，一視訊流可以包含一些完整(參考)像框。其他像框可以包含轉換先前的像框成為下一個像框所需要的差異資訊。為了削減在鄰近區塊向量之間的冗餘，所揭示壓縮技術編碼在目前及先前移動預測像框之間的差異。進一步地沿編碼管線向下，一熵編碼器(例如，一霍夫曼(Huffman)編碼器)可以採取圍繞零-向量之移 動向量所產生統計分配之優點以降低輸出大小。
像框間視訊編碼採取在一視訊流之內並非每一像素從一個像框至下一個像框可能改變之事實的優點。藉由移除未改變像素之冗餘量，該視訊流可以有利地僅編碼那些從像框至像框改變的像素。這導致位元率(例如，編碼視訊流像框所需要的資料數量)之一個主要的改進且因此增加壓縮增益。
一些視訊編碼技術之假設可以是從像框至像框被編碼的所有像素差異是知覺上主要的。但是，不是所有的色差相等地可能被感知，因為人類視覺系統於色彩變化之敏感性是依光亮度、色度及色調之函數而改變。進一步地，基於像框本身內容，一個像框中之一些像素很可能不被一觀察者注意到。例如，如果該觀察者正觀看一個說話人員之一視訊，該觀察者之注意力是最很可能在該人員之面部而非背景，其可能甚至不在焦點上或可能相對地暗。
色彩科學之發展已導致色差方程式之標準化，習知為，例如，CIE△Eab、△E94和△E2000方程式。為了使用此一色差模式，將比較之色彩從源色彩空間被轉換進入一知覺色彩空間，例如，CIE Lab。
該CIE Lab色彩空間是一個知覺色彩空間，具有光亮度之尺度L和色彩-互補之尺度a及b。該CIE Lab色彩空間是從一個“主”CIE 1931 XYZ色彩空間導出。該CIE 1931 XYZ色彩空間預測哪些頻譜功率分配將被感知如相同色彩，但不是感知地均勻。該CIE Lab產生一個空間，其 可以從該XYZ空間被計算出且是更感知地均勻。感知地均勻意謂著一色彩數值中相同數量之一個改變應該產生大約相同視覺重要性之一個改變。當儲存色彩於有限精確數值時，這可以改進色調之再生。該CIE Lab空間是相對至Lab數值自其被轉換之XYZ資料之一個參考白點被界定。
人類眼睛具有對於中度及高度的亮度色彩視覺之光接收器，其敏感性峰值為短波波長(S，420-440nm)，中波波長(M，530-540nm)，和長波波長(L，560-580nm)(同時也有低亮度，單色度“夜視”接收器，稱為桿狀晶胞，其具有在約490-495nm之峰值敏感性)。因此，理論上，被稱為三刺激數值之三組參數可以說明一色彩感覺。一色彩之這些三刺激數值可以概念上當作一個三色度相加性色彩模式中三組主要色彩的數量。關聯色彩之三刺激數值是一色彩空間之工作。CIE XYZ，許多此等空間之一者，可以當作其他色彩空間被界定之基礎。一色彩匹配函數關聯特定三刺激數值與特定色彩。
所揭示範例可以模式化一個人類觀察者之知覺，其使用，例如，從下面方程式1-3中所展示之CIE Lab方程式之簡化形式的正常二度色彩視覺，其中X、Y、Z是在觀看下之色彩的三個刺激數值，且Xn、Yn、Zn是參考白點之三個刺激數值。L*、a*、b*座標分別地對應至亮度、紅色-綠色互補頻道、和藍色-黃色互補頻道。
對於視訊流中之一個像素，一旦CIE Lab座標(L*、a*、b*)對於二組不同的差異取樣被計算出，一色差可以使用色差方程式被計算出。例如，△E94和△E2000方程式可以被使用，因為它們試圖與該等取樣上色調和色度之非線性的相依性相關。△E94色差方程式，例如，可以在下面使用方程式4而計算出。
其中：
且進一步地，其中加權係數(K L 、K 1 、K 2 )取決於應用(亦即，一視訊流之本質及內容)。
圖1展示依據各種範例之一視訊編碼器110範例。視訊編碼器110接收一輸入視訊流源100並且壓縮它，如此處所述地。該視訊編碼器110進行各種操作以壓縮該視訊流源100。該視訊編碼器110產生一編碼壓縮像框495。該編碼壓縮像框495可以傳輸至一接收/播放裝置或被儲存以供用於隨後的播放。一個播放裝置可以解碼該壓縮像框以供透過一視訊螢幕(例如，一電視、電腦顯示器等等)而播放。
展示於圖1中之視訊編碼器110包含耦合至一非暫態儲存裝置114之一處理資源112，其包含顯著圖為基礎之視訊編碼機器指令116。該等顯著圖為基礎之視訊編碼機器指令116是藉由處理資源112而可存取並且可執行。該處理資源112可以是一單一處理器、一多核心處理器、一單一電腦、一電腦網路。該非暫態儲存裝置112可以包括依電性儲存器(例如，隨機存取記憶體)、非依電性儲存器(例如，磁式儲存器、光學儲存器、固態儲存器、等等)或其組合。
當顯著圖為基礎之視訊編碼機器指令116之執行時，處理資源112實行此處所述之一些或所有的功能以壓縮視訊流源100。例如，顯著圖為基礎之視訊編碼機器指 令116導致處理資源112，至少部份地基於所判定其之像框內的各像素之重要性，以壓縮視訊流源100。顯著圖為基礎之視訊編碼機器指令116導致處理資源112，至少部份地基於一顯著圖和一△像框，以計算編碼壓縮像框495。顯著圖基於其之知覺顯著性而表明一目前像框中之各像素的相對重要性，並且該△像框包含在一目前像框和一移動預測像框中的對應像素之間的差異。
任何用以產生一顯著圖之多種技術可以被採用。該顯著圖產生技術可以藉由視訊編碼器110而實行(例如，藉由視訊編碼器之顯著圖模組380，如下面關於圖3的討論)。在產生一顯著圖之一範例中，該技術可以包含一影像序列之一像框中的讀取。該技術進一步地可以包含計算對於像框中之各像素的一特點。對於任何所給予的像素之計算特點可以是任何數值，至少一些程度地，其表明整體像框中之像素的可能重要性。例如，該計算特點可以是在其特點被計算的像素以及該像框中心之間的距離(例如，以像素單位量測)。較接近至該像框中心之像素可能是比更遠離像框中心之像素更重要。其他顯著圖產生技術可以計算其他型式之特點。例如，一像框中之臉部可能是比該像框的其他區域更重要，並且因此該特點計算操作可以包含一個臉部辨識演算法。同時對比也可以被使用於一顯著技術之特點計算中。
顯著圖產生技術同時也可以基於所計算之特點而包含對於各像素之一顯著加權的產生。顯著加權產生之 性質取決於所計算之特點型式。例如，如果該特點是至像框中心之像素距離，相對於其他像素-至-中心距離，對於一所給予的像素之加權可以反映該像素是多麼地接近該中心。藉由一另外的範例，如果臉部辨識被包含，在一檢測內之像素的顯著加權可以比非臉部像素被較高地加權。
圖2例示四個色調映射函數302、304、306、和308，雖然其他範例也可以使用不同數目的色調映射函數。大體上，任何數目(例如，2或更多)的色調映射函數可以被使用。各色調映射函數具體指明在該目前像框和該移動預測像框中對應像素之間的一色差和一色差加權之間的一關係。
對於一人類觀察者之一正好是可注意差異(JND)之理論視覺容差被考慮是等效於對於大區域純色補丁的一個△E94。於本範例中，小的(像素大小)色彩可以作為一時間函數而改變。出於這個理由，一誤差可變邊限可以被允許。複數個色調映射函數302-308是可使用以映射對於各像素之色差值至在零(0)和一(1)之間的一正規化輸出。
在圖2範例中，色差加權自0變化至1。一加權0意謂著色差不被保存而導致該色差有效地被降低至零。一加權1意謂著該色差是完全地被保存。在0和1之間的中間值因此加權該色差。
在圖2範例中，各色調映射函數包含三個線性部份。例如，色調映射函數302包含一第一線性部份302a，其指定對於較小色差的一個0加權，例如，在一第一臨界 值之下的色差(在這範例中是一個色差1)。色調映射函數302包含一第二線性部份302b，其在該第一臨界值和一較高臨界值的色差(在這範例中是一個色差5)之間單調地增加。在這範例中，對於色調映射函數302之一第三線性部份302c也被提供，該第三線性部份302c指定用於較大色差的一加權1，例如，在較高臨界值之上的色差。儘管有不同的較低及/或較高臨界值，其他的三個色調映射函數304-308是相似的。其他的色調映射函數同樣也是適用的。例如，實行非線性函數的色調映射函數，例如，一累積高斯(Gaussian)函數，為這目的同樣地也是可接受的。
色調映射函數302表明，較小色差比較於與色調映射函數304-306相關聯之色差，可以被保存更多。色調映射函數304比函數306和308保存更多之較小色差，但是卻比函數302保存較少。同樣地，色調映射函數306比函數308保存更多之較小色差，但是比函數302和304卻保存較少。
依據揭示之範例，將編碼之任何所給予的像素是基於可用色調映射函數302-308之一者而編碼，該色調映射函數302-308之一者它本身是基於對於該特定像素的一顯著圖數值而被選擇。在一些範例中以及依一像素接著像素為基礎地，視訊編碼器110判定對於各個像素選擇哪一色調映射函數。所選擇之色調映射函數接著應用至一色差影像之色差以產生一色差影像。
色調映射函數選擇是基於對於該特定像框的顯著圖。如上所述地，該顯著圖基於其之知覺顯著性而表明 在目前像框中之各像素的相對重要性。對於藉由該顯著圖所指定在該目前像框中比另一個像素具有一較高相對重要性之一所給予的像素，視訊編碼器110選擇一色調映射函數給前者像素，其比選擇給後者像素的一色調映射函數保存較小的色差，因而對於被判定為較高重要性之像素可較佳地保存視訊品質。
在一些範例中，視訊編碼器110選擇至少四個色調函數(例如，色調映射函數302-308)中之一色調映射函數，其可以被儲存於非暫態儲存裝置114中。在其他範例中，僅二個色調映射函數可以被提供並且因此視訊編碼器110將在二個色調映射函數之間選擇。大體上，任何數目之色調映射函數(二個或更多個)被提供並且該視訊編碼器110自許多可用於供選擇的色調映射函數而選擇用於各像素之一色調映射函數。
圖3例示基於一顯著圖而壓縮一視訊源之視訊編碼器110的範例。圖3展示一視訊編碼器110，其包含耦合至非暫態儲存裝置114之處理裝置112。展示於圖1中之機器指令116係作為可執行的模組380、382、384、386、388、和390而例示於圖3中。不同的模組可以依需要被提供，並且二個或更多個模組可以實行作為單一模組。歸屬於下面之各個可執行模組的函數被實行作為執行對應模組之處理資源112。因此，所有此處提及藉由一模組進行的操作包含模組執行時進行該操作之處理資源112。
顯著圖模組380判定對於一目前像框之一顯著 圖。如先前地說明，該顯著圖基於其之知覺顯著性而表明目前像框中之各像素的相對重要性。基於該顯著圖對於目前像框之判定，色調映射選擇模組382選擇複數個色調映射函數之一者。各色調映射函數界定在目前像框和一移動預測像框之間的一色差以及一正規化輸出加權之間的一關係。
色差模組384判定在目前像框和移動預測像框中的對應像素之間的色差值，以產生一色差影像。所選擇的色調映射函數藉由動態色調映射色差影像產生模組386應用至色差影像，以產生一動態色調映射色差影像。該動態色調映射色差影像包含來自對於各像素之色差所選擇的色調映射函數之色差加權。
△像框產生模組388藉由相乘動態色調映射色差影像和一△像框而判定一加權△像框。該△像框包含在目前像框和移動預測像框中的對應像素之間的差異。位元視流編碼模組390基於該加權△像框而編碼一位元流。該編碼位元視訊流(亦即，壓縮視訊序列)可以傳輸至一播放裝置以供解碼和播放或被儲存以供用於隨後的解碼和播放。
在一些實行例中，用於一視訊序列之多數個像框的一顯著圖被判定。對於一視訊序列之各個以及每一個像框之一各別的顯著圖可以被判定。在其他實行例中，顯著圖不對於每一個像框被判定。例如，對於每一個n像框(其中n=1、2、3、4、等等)的一顯著圖可以被判定。藉由一進一步的範例，對於每第30個像框(n=30)之一顯著圖可以被判定。當一重要改變發生於視訊流中時(例如，在一 移動預測像框中的目前像素和對應像素之間多於一臨界數目值的色彩差異數值超過一臨界值時)，例如，可能發生於一場景改變，等等，一顯著圖可以被計算。因此，對於一顯著圖不特定地被計算之其他像框可以可使用一先前所計算之顯著圖。
圖4例示依據一範例對於視訊編碼器110之工作流程圖範例。如所展示地，該工作流程可以包括一移動估計函數、一色調映射函數、一方差映射函數、以及倍數和、差、以及乘法函數。該工作流程可以接收一目前像框(xk+1)405和一參考像框(xk)400作為輸入並且判定將編碼之一修改△像框480。用以得到該修改△像框480之工作流程範例將在下面被說明。應注意到，該參考像框可以是一前面像框或關於該目前像框之其他已知像框。
啟始地，在方塊410，工作流程可以使用目前像框405和其之參考像框400作為輸入而進行一移動估計和預測步驟，以產生一移動預測像框415。方塊410之移動估計和預測可以使用，例如，一移動估計(ME)演算法以判定自像框至像框之移動向量，以產生移動預測像框415。移動估計演算法可以是區塊為基礎，以至於在像框內之區塊被估計直至一像框的所有區塊已被估計為止。多種移動估計演算法的任何一者可以被實行。
移動預測像框415接著可以被使用以經由差異函數420藉由目前像框405而判定差異。來自差異函數420之結果是一△像框425。該△像框425因此包含在目前像框和移 動預測像框中的對應像素之間的差異。
移動預測像框415也可以為色調映射函數所使用以判定一動態色調映射色差影像440。在方塊430，例如，移動預測像框415和目前像框405可以自一源色彩空間(例如，YUV)轉換至，例如，一知覺色彩空間(例如，CIE Lab)，該轉換是使用ITU-R建議BT.601(或REC 601)主要數值和各別的白點，於其中該YUV參考[1,0,0]，例如，可以假定為場景之白點或用於該視訊編碼標準之各別的色彩空間。
YUV模式藉由一亮度(Y)成分與二色彩(UV)成分而界定一色彩空間。YUV是一色彩空間，其考慮人類知覺能力而編碼一色彩影像或視訊。YUV允許對於色彩成分之降低帶寬。YUV也被使用以說明使用YCbCr而編碼之檔案格式。YCbCr可以被使用於適用於視訊壓縮和傳輸之色彩資訊的數位編碼，例如，MPEG。
ITU-R建議BT.601是國際電信聯盟(ITU)-無線電-通訊部門用於以數位視訊形式而編碼交錯類比視訊信號之一標準。其包含編碼525-線60Hz和625-線50Hz信號之方法，其兩者之每線皆具有720個亮度取樣和360個色彩取樣。該色彩編碼系統是習知如YCbCr 4：2：2。對於一對像素，資料以順序Y1：Cb：Y2：Cr而儲存，其色彩取樣與第一亮度取樣共址。
在方塊430b，一旦對於目前像框405之色彩資料已經，例如，藉由YUV-至-CIE Lab色彩轉換步驟而轉換至知覺色彩空間，則一顯著圖基於對於該目前像框之色彩資 料而計算出。用以表明在目前像框中之像素的相對重要性之一顯著圖的計算範例在上面被提供。在438，來自方塊436之顯著圖接著被使用至對於目前像框中之各像素的一選擇色調映射函數(例如，依一像素接著像素為基礎)。亦即，不同的像素可以被判定以具有不同的色調映射函數。
於一色調映射函數之選擇範例中，一色調映射函數基於下面方程式被選擇：1-0.25kS(x,y)1-0.25(k-1)
其中k是確認各色調映射函數之指數。具有四個色調映射函數302-208，各別地是k=1，2，3，4。亦即，k=1是指色調映射函數302，k=2是指色調映射函數304，k=3是指色調映射函數306，以及k=4是指色調映射函數308。S(x，y)是指在像素座標x，y來自顯著圖(S)之顯著數值。各個顯著數值是在自0至1之範圍中。將選擇之色調映射函數是一函數，其導致在上面所給予的顯著數值之方程式的一真實評估。例如，如果顯著數值S(x，y)是0.6，則在上面導致方程式之一真實評估的唯一數值k是k=2，並且因此對應k=2的色調映射函數(色調映射函數306)對於該特定像素被選擇。
除了在436判定顯著圖以及在438基於顯著圖而選擇一色調映射函數之外，在方塊435，在移動預測像框415和目前像框405的各像素之間的色差可以被計算，例如，使用先前所述的△E94色差方程式。所選擇之色調映射函數被應用至色差方程式之輸出以產生像素加權之動態色 調映射色差影像440。
在方塊445，色調映射色差影像440和△像框425接著可以被像素接像素相乘以得到加權△像框450。接著，在方塊455，在△像框425和色調映射色差影像440之間的差異可以被計算並且其結果稱為△損失457。
在方塊430，一空間方差圖460(C map )可以藉由色彩轉換移動預測像框415而得到。方差圖460接著可以在方塊465與△損失457相乘。產生的影像，稱為△保存圖470，代表加權差圖中已移除之像素，但在方塊490被認為是足夠重要而被添加回去。
像框的平順區域中之色差保存可以藉由在方塊475應用加權△像框450和△保存圖470之一個像素接著像素總和而獲得，而產生一修改△像框480。這是可能的，因為視訊流之細節和紋理結構可以遮罩色差中改變之知覺可視性。因此，這工作流程基於具有小像框間色差和中等至高度方差之區域而致能視訊內容之選擇壓縮。
在方塊485，修改△像框480像素接著可以被轉換以及被量化，例如，使用一MPEG-2 DCT轉換和量化機構，並且在方塊490被編碼，例如，使用霍夫曼(Huffman)編碼。最終的結果是一編碼壓縮像框495。
圖5例示依據各種範例之一方法。展示於圖5中之操作可以所展示之順序，或以一不同順序而進行。進一步地，二個或更多個操作可以平行地而非順序地進行。
在504，方法包含判定(例如，使用顯著圖模組 380)對於目前像框之一顯著圖。如上所述地，該顯著圖基於其之知覺顯著性而表明目前像框中之各像素的相對重要性。這操作可以藉由該顯著圖模組380而進行。基於所判定之顯著圖，在506，該方法進一步地包含選擇(例如，使用色調映射選擇模組382)複數個色調映射函數之一者。各色調映射函數包括其中色差映射至一正規化輸出之一函數。
在508，該方法可以包含應用所選擇的色調映射函數至一色差影像(其包含在一目前像框中的各像素以及一移動預測像框中的一對應像素之間的色差值)以產生一動態色調映射色差影像440，其包含用於該等像素之正規化數值。這操作可以藉由動態色調映射色差影像產生模組386而進行。在510，該方法進一步地可以包含藉由相乘該動態色調映射色差影像和一△像框而判定一加權△像框。該△像框包含在目前和移動預測像框中的對應像素之間的差異。在512，該方法繼續藉由相乘移動預測像框之一方差圖與利用在加權△像框和△像框之間的差異(該差異係展示如損失圖457)而判定一△保存圖。在514，該方法可以包含相加加權△像框和△保存圖以得到一修改的△像框。△像框和修改△像框、以及加權△像框之產生，可以藉由△像框產生模組388而進行。
上面之討論是欲為上述之原理和各種實行例的例示。一旦完全地了解上面之揭示，那些熟習本技術者將明白本發明可有許多變化和修改。下面的申請專利範圍是意欲詮釋為包含所有的此等變化和修改。
明白本發明可有許多變化和修改。下面的申請專利範圍是意欲詮釋為包含所有的此等變化和修改。
400‧‧‧參考像框(xk)
405‧‧‧目前像框(xk+1)
410‧‧‧流程方塊
415‧‧‧移動預測像框
420‧‧‧差異函數
425‧‧‧△像框
430‧‧‧流程方塊
435‧‧‧流程方塊
436‧‧‧流程方塊
438‧‧‧流程方塊
440‧‧‧動態色調映射色差影像
445‧‧‧流程方塊
450‧‧‧加權△像框
455‧‧‧流程方塊
457‧‧‧△損失
460‧‧‧方差圖
465‧‧‧流程方塊
470‧‧‧△保存圖
475‧‧‧流程方塊
480‧‧‧修改△像框
485‧‧‧色調映射函數選擇
490‧‧‧編碼器
495‧‧‧編碼壓縮像框

Claims (15)

  1. 一種視訊編碼器，其包括：一處理資源；以及一非暫態儲存裝置，其包含可藉由該處理資源執行以基於一顯著圖和一△像框而計算一壓縮像框的指令，該顯著圖用以表明在一目前像框中基於與各像素相關聯之一知覺顯著性的各個像素的相對重要性，並且該△像框用以包含在該目前像框和一移動預測像框中對應像素之間的差異，且該非暫態儲存裝置包含可藉由該處理資源執行以進行以下之指令：對於藉由該顯著圖被表明為具有不同程度的重要性的至少二像素，選擇一不同的壓縮方式。
  2. 依據請求項1之視訊編碼器，其中對於藉由該顯著圖所指定在該目前像框中比一第二像素具有一較高相對重要性之一第一像素而言，該非暫態儲存裝置包含可藉由該處理資源而執行以下的指令：選擇用於該第一像素之一色調映射函數的指令，該色調映射函數比對於選擇來用於該第二像素的一色調映射函數，保存較小之色差。
  3. 依據請求項2之視訊編碼器，其中該非暫態儲存裝置包含可藉由該處理資源而執行以執行以下的指令：應用該所選擇的色調映射函數至一色差影像中之一色差以產生一動態色調映射色差影像。
  4. 依據請求項1之視訊編碼器，其中該非暫態儲存裝置包含可藉由該處理資源而執行以下的指令：基於該顯著圖而自儲存於該非暫態儲存裝置上的至少四個色調映射函數中選擇出一色調映射函數。
  5. 依據請求項4之視訊編碼器，其中該等至少四個色調映射函數之各者具體指明在該目前像框和該移動預測像框中對應像素之間的一色差加權和一色差之間的關係。
  6. 一種非暫態儲存裝置，其包含機器指令，當該等指令藉由一處理資源而執行時，導致該處理資源進行下列動作：判定在一目前像框和一移動預測像框中對應像素之間的色差值以產生一色差影像；判定對於該目前像框之該等像素的一顯著圖，該顯著圖表明在該目前像框中基於各像素知覺顯著性的各像素的相對重要性；基於該顯著圖，對於在該目前像框中之各像素選擇複數個色調映射函數之一者，其中各該色調映射函數界定在該目前像框和一移動預測像框之間的一正規化輸出加權和一色差之間的關係，且其中對於藉由該顯著圖被表明為具有不同程度的重要性的至少二像素，選擇出一不同的色調映射函數；依一像素接著像素之基礎，應用所選擇之色調映射函數至該色差影像以產生一動態色調映射色差影像；藉由像素接著像素的該動態色調映射色差影像和 一△像框之乘積來判定一加權△像框，該△像框包含在該等目前像框和移動預測像框中對應像素之間的差異；以及基於該加權△像框而編碼一位元流。
  7. 依據請求項6之非暫態儲存裝置，其中該等機器指令導致該處理資源對於一影像序列的複數個像框判定一分別的顯著圖。
  8. 依據請求項6之非暫態儲存裝置，其中藉由各色調映射函數所界定的該關係包含對於較小色差的一個0加權以及對於較大色差之一個1加權。
  9. 依據請求項6之非暫態儲存裝置，其中，對於較重要像素所選擇的色調映射函數，比對於選擇來用於較不重要像素的色調映射函數，保存較小之色差。
  10. 依據請求項6之非暫態儲存裝置，其中該等機器指令導致該處理資源，依一像素接著像素為基礎，判定對於各像素應選擇哪個色調映射函數。
  11. 一種視訊編碼方法，其包括下列步驟：判定對於一目前像框之一顯著圖，該顯著圖基於其知覺顯著性而表明在該目前像框中各像素的相對重要性；基於該顯著圖，選擇複數個色調映射函數之一者，各色調映射函數包括其中色差映射至一正規化輸出之一函數，其中選擇複數個色調映射函數之一者之步驟包括，對於藉由該顯著圖被表明為具有不同程度的重要性的至少二像素，選擇一不同的色調映射函數； 應用所選擇之色調映射至一色差影像以產生包含對於該等像素之正規化數值的一動態色調映射色差影像；藉由相乘該動態色調映射色差影像和一△像框而判定一加權△像框，該△像框包含在該目前像框和一移動預測像框中對應像素之間的差異；藉由相乘該移動預測像框之一方差圖與在該加權△像框和該△像框之間的差異而判定一△保存圖；以及相加該加權△像框和該△保存圖。
  12. 依據請求項11之方法，其中選擇該等複數個色調映射函數之一者的步驟依一像素接著像素之基礎而進行。
  13. 依據請求項11之方法，其中該等複數個色調映射函數之各者使色差映射至自0至1的一正規化輸出。
  14. 依據請求項11之方法，其中對於藉由該顯著圖所指定以比一第二像素具有一較高的相對重要性之一第一像素而言，選擇用於該第一像素之一色調映射函數包含選擇一色調映射函數，該色調映射函數比對於選擇來用於該第二像素的一色調映射函數，保存較小的色差。
  15. 依據請求項11之方法，其中該等複數個色調映射函數包含至少四個色調映射函數。
TW104131433A 2014-10-16 2015-09-23 使用顯著圖之視訊編碼技術 TWI573443B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/060933 WO2016060672A1 (en) 2014-10-16 2014-10-16 Video coding using a saliency map

Publications (2)

Publication Number Publication Date
TW201626801A TW201626801A (zh) 2016-07-16
TWI573443B true TWI573443B (zh) 2017-03-01

Family

ID=55747058

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104131433A TWI573443B (zh) 2014-10-16 2015-09-23 使用顯著圖之視訊編碼技術

Country Status (3)

Country Link
US (2) US10531103B2 (zh)
TW (1) TWI573443B (zh)
WO (1) WO2016060672A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10986363B2 (en) 2016-09-14 2021-04-20 Beamr Imaging Ltd. Method of pre-processing of video information for optimized video encoding
CN108134937B (zh) * 2017-12-21 2021-07-13 西北工业大学 一种基于hevc的压缩域显著性检测方法
CN110096951B (zh) * 2019-03-20 2023-03-24 中国地质大学（武汉） 基于布尔图理论的视频显著性检测方法、设备及存储设备
TWI784349B (zh) * 2020-11-16 2022-11-21 國立政治大學 顯著圖產生方法及使用該方法的影像處理系統
CN112765018B (zh) * 2021-01-12 2022-09-13 武汉光庭信息技术股份有限公司 一种仪器仪表调试系统及方法
CN113891153B (zh) * 2021-09-30 2024-07-19 杭州雾联科技有限公司 一种云游戏串流处理方法、装置及介质
US12199642B2 (en) * 2022-06-27 2025-01-14 Ati Technologies Ulc Huffman packing for delta compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200828979A (en) * 2006-08-31 2008-07-01 Sony Corp Image processing device and image processing method
TW201233158A (en) * 2010-09-30 2012-08-01 Apple Inc System and method for processing image data using an image signal processor having back-end processing logic
US20120256941A1 (en) * 2011-04-08 2012-10-11 Dolby Laboratories Licensing Corporation Local Definition of Global Image Transformations
WO2014018050A1 (en) * 2012-07-27 2014-01-30 Hewlett-Packard Development Company, L.P. Techniques for Video Compression

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5686961A (en) 1992-01-27 1997-11-11 Harris Corporation Automatic video image data reduction and prioritization system and method
US6490319B1 (en) 1999-06-22 2002-12-03 Intel Corporation Region of interest video coding
US7912497B2 (en) * 2005-03-25 2011-03-22 Isidore Eustace P Single wireless communication device with multiple, concurrent subscriber number capability
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
JP4181598B2 (ja) * 2006-12-22 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
CN201811064U (zh) * 2010-07-27 2011-04-27 张冰 一种圣诞灯
CN102779338B (zh) 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
US8891009B2 (en) * 2011-08-29 2014-11-18 Futurewei Technologies, Inc. System and method for retargeting video sequences
CN104488255A (zh) * 2012-06-18 2015-04-01 汤姆逊许可公司 用于图像的色彩调和的装置和方法
EP2920965A1 (en) 2012-11-16 2015-09-23 VID SCALE, Inc. Perceptual preprocessing filter for viewing-conditions-aware video coding
US20140269901A1 (en) * 2013-03-13 2014-09-18 Magnum Semiconductor, Inc. Method and apparatus for perceptual macroblock quantization parameter decision to improve subjective visual quality of a video signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200828979A (en) * 2006-08-31 2008-07-01 Sony Corp Image processing device and image processing method
TW201233158A (en) * 2010-09-30 2012-08-01 Apple Inc System and method for processing image data using an image signal processor having back-end processing logic
US20120256941A1 (en) * 2011-04-08 2012-10-11 Dolby Laboratories Licensing Corporation Local Definition of Global Image Transformations
WO2014018050A1 (en) * 2012-07-27 2014-01-30 Hewlett-Packard Development Company, L.P. Techniques for Video Compression

Also Published As

Publication number Publication date
WO2016060672A1 (en) 2016-04-21
US10531103B2 (en) 2020-01-07
US20170310979A1 (en) 2017-10-26
US20200077104A1 (en) 2020-03-05
US11336904B2 (en) 2022-05-17
TW201626801A (zh) 2016-07-16

Similar Documents

Publication Publication Date Title
TWI573443B (zh) 使用顯著圖之視訊編碼技術
JP6182644B2 (ja) 階層的ｖｄｒ符号化における層分解
KR101346008B1 (ko) 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
JP2020171022A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
US11582489B2 (en) Techniques for video compression
CN108476325B (zh) 用于高动态范围颜色转换校正的介质、方法和设备
JP7508621B2 (ja) イントラ予測のためのクロスコンポーネント線形モデリングの方法、装置、デコーダ、エンコーダおよびプログラム
JP2024020330A (ja) エンコードされた画像データ
US20180048892A1 (en) High dynamic range color conversion correction
EP3119088A1 (en) Method and device for encoding an image, method and device for decoding an image
US20190089955A1 (en) Image encoding method, and image encoder and image decoder using same
US10715772B2 (en) High dynamic range color conversion correction
KR20160102640A (ko) HEVC RExt에 기반한 인코딩 방법 및 디코딩 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees