TWI535267B - 影像序列的圖像之圖像部位寫碼方法及所用寫碼器和解碼器 - Google Patents

影像序列的圖像之圖像部位寫碼方法及所用寫碼器和解碼器 Download PDF

Info

Publication number
TWI535267B
TWI535267B TW098110024A TW98110024A TWI535267B TW I535267 B TWI535267 B TW I535267B TW 098110024 A TW098110024 A TW 098110024A TW 98110024 A TW98110024 A TW 98110024A TW I535267 B TWI535267 B TW I535267B
Authority
TW
Taiwan
Prior art keywords
image
level
code
writing
key
Prior art date
Application number
TW098110024A
Other languages
English (en)
Other versions
TW200945900A (en
Inventor
艾杜華德 法蘭柯依斯
奧利維爾 拉墨耳
傑若米 維耶隆
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW200945900A publication Critical patent/TW200945900A/zh
Application granted granted Critical
Publication of TWI535267B publication Critical patent/TWI535267B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

影像序列的圖像之圖像部位寫碼方法及所用寫碼器和解碼器
本發明係關於一種寫碼方法、解碼方法、寫碼器和解碼器。
MPEG(活動圖像專家集群)和ITU(國際通訊聯盟)標準化體已界定多種影像壓縮標準，諸如MPEG1、MPEG2、MPEG4和H.264。此等不同標準之壓縮效率得以出現多種影像應用。
然而，儘管績效見改善，影像壓縮問題依然存在，仍亟需以一定品質提高壓縮率，以便開發新出現的服務，諸如高品質影像分佈於網際網路，或行動電話上的影像。
本發明之目的，在於擬議一種寫碼和解碼方法，得以提高資料壓縮率，同時保存重構圖像之視覺良產率。
為此，本發明目的是一種影像序列的圖像之圖像部位寫碼方法，影像序列有至少一圖像是關鍵圖像，其特徵為，包括如下步驟：
(a)計算關鍵圖像或各關鍵圖像之突顯映圖；
(b)為欲寫碼之圖像部位，估計至少一運動向量(V1,V2)，指向關鍵圖像或各關鍵圖像之一部份；
(c)運動補正使用所估計運動向量(V1,V2)的突顯映圖至少一部位為該圖像部位，獲得所預測突顯映圖之至少一部位；和
(d)按照所預測突顯映圖之部位或各部位的突顯位階，把圖像部位寫碼。
按照特殊實施模態，寫碼程序包括一或以上之下列特徵，分開或組合：
-步驟(d)包括如下步驟：
-測定所預測突顯映圖的部位之突顯位階；
-比較預測突顯位階(S1)和所預測突顯映圖的部位之突顯位階(S)；和
-使用按照該比較結果選擇之方法，把圖像部位寫碼，該方法係選自至少第一和第二方法；
-第一寫碼方法是以標準H.264界定，第二寫碼方法是基於H.264標準之方法，其中各運動向量(V1,V2)組份之幅度，大於1/4圖元；
-第二寫碼方法包括運動插置，基於第一方法內所用濾波器以外之插置濾波器，以及近親參數界定的運動資訊寫碼和傳輸步驟；
-影像序列的圖像之圖像部位，是利用可標度層方法按照壓縮寫碼，關鍵圖像注定要寫碼於基層，圖像部位係寫碼於高層；
-寫碼方法亦包括如下步驟：
-由第二中間圖像之一部位，估計運動向量(V5)，指向第一中間圖像二部份之至少一部份；
-計數第一中間圖像部位該部份之圖元數。
若計算之圖元數大於預定數(Nmin)，寫碼方法包括如下步驟：
-使用第一中間圖像部位，對第二中間圖像部位寫碼，並利用選定方法，寫碼第一中間圖像部位；
-從第一關鍵圖像之一部位和第二關鍵圖像之一部位，對中間圖像之一部位双向寫碼之際，與預定突顯位階(S1)相比並之突顯位階(S)，係由第一運動向量(V1)所預測突顯映圖第一部位的突顯位階(S12)，和由第二運動向量(V2)所預測此突顯映圖第二部位的突顯位階(S14)之函數，中間圖像之該部位係由第一關鍵圖像部位和第二關鍵圖像部位之預測機構寫碼，該機構係以所預測突顯映圖的第一和第二部位之該突顯位階(S12,S14)加權；
-步驟(a)包括關鍵圖像或各關鍵圖像之寫碼步驟，該步驟發生重構關鍵圖像，突顯映圖係由重構關鍵圖像計算。
本發明方法又包括二進連流之解碼方法，二進連流包括代表影像序列的圖像和關鍵圖像之運動向量(V1,V2)的壓縮資料，以期重構圖像有待重構之一部份。按照特殊具體例，包括如下步驟：
(a)從壓縮資料重構關鍵圖像或各關鍵圖像；
(b)計算重構關鍵圖像或各重構關鍵圖像之突顯映圖；
(c)為待重構指向關鍵圖像一部份的圖像部位，把至少一運動向量(V1,V2)解碼；
(d)使用解碼之運動向量(V1,V2)，運動補正突顯映圖之至少一部位，為欲重構之該圖像部位，獲得所預測突顯映圖之一部份；和
(e)按照所預測突顯映圖之突顯位階，重構欲加以重構之圖像部位：
-測定所預測突顯映圖的部位或各部位之突顯位階；
-比較預定突顯位階(S1)和預定突顯映圖的部位之突顯位階(S)；和
-使用按照該項比較結果選擇之方法，重構欲加以重構之圖像部位，該方法係選自至少第一和第二方法；
-影像序列的圖像之圖像部位，按照可分層標度之壓縮方法解碼，基層的壓縮資料之重構，發生關鍵圖像，高階壓縮資料之重構，發生有待重構之圖像部位；
-此方法亦可包括下列步驟：
-從第二中間圖像部位，並指向第一解碼中間圖像部位之至少一部份，解碼至少一運動向量(V1,V2)，此方法亦包括如下步驟：
-計數第一解碼中間圖像部位之部份圖元數。
若所計數圖元數大於預定數(Mmin)，此方法包括如下步驟：
-使用第一中間圖像部份，重構第二中間圖像部位，並利用選定之方法，以重構第一中間圖像部位；
-從第一關鍵圖像部位和第二關鍵圖像部位，按照双向預測寫碼的中間圖像部位重構之際，與預定突顯位階(S1)比並之突顯位階(S)，是從第一運動向量(V1)所預測突顯映圖第一部份的突顯位階(S12)和從第二運動向量(V2)所預測突顯映圖第二部份的突顯位階(S14)之函數，該中間圖像部位係由第一關鍵圖像部位和第二關鍵圖像部位的預測機構所重構，該機構是以所預測突顯映圖的第一和第二部位之該突顯位階(S12,S14)加權。
此外，本發明亦關係到一種寫碼器，能夠把影像序列之圖像(至少一圖像為關鍵圖像)寫碼，其特徵為，寫碼器包括：
-計算單位，計算關鍵圖像或各關鍵圖像之突顯映圖；
-估計單位，能夠為欲加以寫碼的圖像部位，估計至少一運動向量(V1,V2)，指向關鍵圖像或各關鍵圖像之一部位；
-補正單位，能夠運動補正使用所估計運動向量(V1,V2)的突顯映圖部位，為該圖像部位，獲得突顯映圖之至少一部位；和
-寫碼單位，能夠按照所預估突顯映圖部位之突顯位階，把圖像部位寫碼。
最後，本發明關係到一種二進連流之解碼器，包括壓縮資料，表示影像序列的圖像和關鍵序列之運動向量(V1,V2)，以求重構欲加以重構的圖像部位，解碼器包括：
-重構單位，從壓縮資料重構關鍵圖像；
-計算單位，計算所重構關鍵圖像之突顯映圖；
-解碼單位，能夠為欲加以重構的圖像部位，解碼至少一運動向量(V1,V2)，指向關鍵圖像之一部位；
-運動補正單位，能夠運動補正使用所解碼運動向量(V1,V2)之至少一部位，為欲加以重構之該圖像部位，獲得所估計突顯映圖之一部位；和
-重構單位，能力按照所估計突顯映圖部位之突顯位階，重構欲加以重構之圖像部位。
本發明參照附圖詳述實施例，即可更為明白。
參見第1圖，寫碼器2包括能夠接受有待寫碼的影像序列6之輸入4，和能夠傳輸二進連流10之輸出8。
影像序列6包括一或以上之GOP(圖像群組)，由至少二關鍵圖像12,14組成，成幅一系列圖像，一般稱為中間圖像16,18(至少一關鍵圖像前導於中間圖像，和至少一關鍵圖像後續於中間圖像)。
關鍵圖像12,14和中間圖像16,18，分隔成巨段、段、副段或區域。
巨段、段和副段之名目，類似例如MPEG-4內所用「巨段」、「分區」和「副分區」之名目，在文件JVT-M050d4所界定，即H.264/AVC(ITU-T Recommendation H.264和ISO/IEC 14496-10(MPEG-4第10部份)高級影像寫碼)第4版草案(Palma de Mallorca,ES 200年10月18-22日)。
巨段是一組16×16圖元。此等巨段可分隔為16×8、8×16和8×8段。各段則可分隔為4×8、8×4和4×4圖元之副段。區域無預定尺寸，相當於圖像區。在其餘說明中，巨段、副段和區域，均稱為圖像部位。
寫碼器2含有連接至輸入4的運動向量估計單位19、連接至估計單位19之寫碼決定單位20、連接至決定單位20之寫碼單位22，以及連接至寫碼單位22之突顯映圖計算單位24。
運動向量估計單位19能夠為各中間圖像16,18的各部位，測定中間圖像此部位、一或以上中間圖像之一部位、一或以上關鍵圖像12,14之一部位間的運動向量，以及為各關鍵圖像12,14之各部位，測定此關鍵圖像部位和另一關鍵圖像部位間之運動向量。
運動向量估計單位19必須能夠估計接近真實的實體場之運動向量，使得在運動向量插入的中間圖像突顯映圖，在其本身之間並且與關鍵圖像突顯映圖暫時性凝聚。此等估計單位例如載於文件Tourapis,Au,Liou撰〈使用巡迴區域性搜尋之快速運動估計〉，1999年視覺通訊和形象處理研討會記錄(VCIP'99)。
可使用層系空間/時間型估計單位19，做為變化例。
決定單位20能夠為關鍵圖像12,14之各巨段，測試其寫碼模態(例如文件JVT-M050d4第7.4.5節內特定者)，其分隔成圖像部位，即分隔成區域、巨段、段等，運動或空間預計資訊(參考圖像、關聯運動向量)，轉型和量化之預計餘數。
寫碼單位22是為關鍵圖像，把單位20採取之寫碼決定和關聯資料(寫碼模態、圖像部位、運動向量和圖像資料之分隔，轉型和量化之預計餘數等)加以寫碼。
計算單位24從局部解碼的關鍵圖像及相關之寫碼運動資料，計算關鍵圖像12,14之突顯映圖。
為此，計算單位24使用例如文件上呈現方法之實例，見O. Le Meur,P. Le Callet和D. Barba撰〈根據低階視覺特點預計視覺固定於影像〉，刊於《影像研究》47/19卷，2483-2498頁，2007年9月。
寫碼器2亦包括連接於輸入4和估計單位19之寫碼模態決定單位25、連接於單位25和輸入8的寫碼決定之寫碼單位26，以及連接於寫碼單位26和計算單位24之運動補正單位28。
寫碼決定單位25能夠在標準H.264所界定的內型、間型單向或間型双向、圖像部位的分隔資訊以及參考圖像指數當中，決定中間圖像的各圖像部位之寫碼模態。此單位25在輸入使用來自估計單位19之資料。
寫碼單位26把寫碼決定單位25採取的全部寫碼決定，加以寫碼。
補正單位28能夠把使用估計單位19所估計的運動向量之關鍵圖像突顯映圖部位，加以運動補正，以便在中間圖像的圖像部位，測定從關鍵圖像突顯映圖推衍的突顯位階。
寫碼器2亦包括連接於補正單位28和估計單位19之選擇單位30，以及連接於輸入4、選擇單位30和輸出8之寫碼單位32。
選擇單位30能夠分析運動補正過突顯映圖的部位之突顯位階S，按照此突顯位階選擇中間圖像16,18的圖像部位之寫碼方法，詳後。
寫碼單位32能夠把使用選擇單位30所選擇寫碼方法的中間圖像16,18之圖像部位加以寫碼。
按照所述具體例，單位30可選擇第一和第二寫碼方法。
對於具有加高突顯位階的圖像部位，選擇第一寫碼方法，該部位視為在寫碼之階需要保存者。因此，第一方法旨在把圖像部位寫碼，其方式對來源訊號為真，利用可能有預估錯誤的餘數加以寫碼而改正。
第一方法可例如使用H.264標準之全部寫碼模態。
第二寫碼方法係關於具有低突顯位階的圖像部位，此等部位視為能夠不需真實存真回到來源訊號。餘數即不寫碼在此等圖像兔位，只能由時間性預計產生。故預計是對把餘數寫碼的圖像部位有同等品質，第二方法包括更精確的運動補正步驟。尤其是第二寫碼方法是根據比第一方法所用更精細的運動補正(例如其中運動向量組份之幅度等於1/16圖元，而非H.264中之1/4圖元，有親近運動模式，而不像H.264之轉譯式等等)。
精細運動插置可例如對內型層際組織插置，由MPEG-4 SVC內特定之濾波器實施，正如文件JVT-X201〈聯合方案ITU-T Rec. H.264/ISO/IEC 14496-10/Amd.3可標度影像寫碼〉第G.8.6.2.3節表G8所載，瑞士日內瓦，2007年6月29日至7月5日。亦可使用較長的支援濾波器(大於4係數)，例如取自Lanczos濾波器模式或双立體濾波器。
第二方法包括根據近親參數之運動補正和寫碼步驟。
按照定義，當某區經歷到此等運動，即有6個近親參數θ=(a,b,α,β,γ,δ)之向量，使該區任何點(x,y)之運動向量(dx,dy)可寫成：
做為變化例，關鍵圖像和中間圖像不分隔。
按照本發明具體例，影像序列之圖像是按照可利用多層標度的寫碼方法加以寫碼，如SVC(可標度影像寫碼)標準所界定。
按照可標度寫碼方法，各層相當於影像內容之不同空間性解像度，從基層內寫碼之最低解像度，到頂層內解析之最高解像度。一層之寫碼資訊係例如使用層間預計方法，服務於高階寫碼。
在此情況下，第一寫碼方法係基於SVC標準，具有層間預估，使用插置有四個係數之濾波器，並將全部餘數係數寫碼。
第二寫碼方法是基於SVC標準，具有層間預估，使用更精緻插置，例如利用較長濾波器實施，不需餘數寫碼。
在變化例中，第二寫碼方法亦包括圖像器輪廓增進步驟。
在此增進中，突顯映圖係由整體重構的基層圖像測定。在較佳具體例中，基層之全部關鍵圖像係完全重構。對來自基層的此等重構圖像，計算突顯映圖。從基本圖像完全重構的頂層圖像之圖像部位寫碼當中，突顯位階係由來自基本位階的圖像中相對應之圖像部位突顯來計算。若頂層圖像無基層之重構圖像，則突顯位階係利用頂層關鍵圖像的突顯映圖之運動補正測定，一如前述。
另外，可用其他寫碼方法。
寫碼方法得以按照一或以上關鍵圖像12,14或其他中間圖像之單向或双向預估，將中間圖像16,18之圖像部位寫碼。茲就此等情況，各就本發明寫碼和解碼方法說明如下。
參見第3和4圖，按照單向預估，中間圖像16的圖像部位54之寫碼方法，開始是由單位19進行關鍵圖像之運動估計步驟43，由單位20進行寫碼決定步驟45，由單位22進行關鍵圖像寫碼，以及由單位24進行關鍵圖像之突顯映圖計算步驟47。
圖像部位54之寫碼方法，接著是估計步驟50，將中間圖像16以及在此中間圖像16和參考關鍵圖像12間存在的運動向量，加以分隔。
此步驟是以估計單位19進行，計算中間圖像16各圖像部位之分隔和運動資訊。
例如參見第4圖，估計單位19估計在中間圖像16的部位54和關鍵圖像12的部位52之間，有運動向量V1。尤其是，運動向量V1從圖像部位54出，指向圖像部位52。
於步驟55之際，決定步驟25測定中間圖像的圖像部位54之寫碼模態。
在步驟56之際，寫碼單位26把關於寫碼模態(包含區分和運動向量)之決定，加以寫碼。
若單位26所寫碼之寫碼模態為內型，此過程利用剩餘資訊之寫碼步驟74直接繼續。
於步驟64之際，補正單位28之步驟50所得運動資料，進行突顯映圖60之補正。此包含測定突顯映圖60之一部位66，使其和關鍵圖像12之部位52，位於突顯映圖60之同樣位置，然後，考慮運動向量之副圖元位階準確性，由此部位66插置一部位72。
步驟68測定經運動補正過突顯映圖的部位72之突顯位階S。突顯資訊構成非二進資訊，典型上在0和255之間不等，在各圖元內計算。
測得突顯位階是圖像部位72的平均突顯位階。在變化例中，測定突顯映圖部位72之中等突顯位階或最大突顯位階。
於步驟70之際，選擇單位30把預定突顯位階S1，與經運動補正過突顯映圖部位72之突顯位階S，進行比較。
若部位72之突顯位階S大於預定突顯位階S1，圖像部位54在步驟74當中，利用第一寫碼方法加以寫碼。只有在先前寫碼步驟56中尚未寫碼的資訊(諸如預計餘數)，才加以寫碼。反之，例如在步驟50中未測定之運動向量，即不予寫碼。
若經運動補正過的部位72之突顯位階S，小於預定突顯位階S1，則寫碼方法以步驟76接續，此時估計單位19計算更準確的運動向量，例如組份幅度的準確程度大於1/4圖元，等於例如1/16圖元之運動向量。
然後，在步驟78之際，圖像部位54是利用寫碼單位32，以第二寫碼單位寫碼。
若突顯映圖72的部位具有高階突顯，第一寫碼方法按照步驟74寫碼，可最佳複製來源訊號。惟若突顯映圖72之部位提供低階突顯，第二寫碼方法可得具有視覺良產率之圖像，雖然不能正確複製所寫碼圖像。
參見第3和6圖，以中間圖像16的圖像部位双向預估寫碼情況，說明本發明寫碼方法。
在步驟43至47實施後，估計單位19於步驟50之際，估計第一運動向量V1，從中間圖像16之圖像部位54起，指向關鍵圖像12之圖像部位52，以及第二運動向量V2，從圖像部位54起，指向關鍵圖像14之圖像部位98。
於步驟55之際，決定單位25測定中間圖像的圖像部位54之寫碼模態。
於步驟56之際，寫碼單位26把關於寫碼模態之寫碼決定，包含區分和運動向量，加以寫碼。
於步驟64之際，補正單位28測定突顯映圖66位於和圖像部位52同樣位置的第一部位，以及突顯映圖100位於和圖像部位98同樣位置的第二部位。
部位66包含在關鍵圖像12的突顯映圖60內，而部位100是包含在關鍵圖像14的突顯映圖101內。
於步驟64之際，圖像部位66使用第一運動向量V1進行運動補正，得運動補正過突顯映圖的部位72。同理，突顯映圖100的部位使用第二運動向量V2進行運動補正，得運動補正過突顯映圖的第二部位102。
在步驟68內，補正單位28測定運動補正過突顯映圖部位72之突顯位階S12，以及運動補正過突顯映圖部位102之位階S14。
然後，單位28搜尋突顯映圖部位的突顯位階和突顯映圖102部位的突顯位階S14間之最大突顯位階。此最大突顯位階在步驟70之際，與預定突顯位階S1比較，以選擇寫碼方法。
在變化例中，於比較步驟考慮位階S12,S14之平均突顯位階。
中間圖像16之圖像部位再於步驟74和78內，從第一12和第二14關鍵圖像，以圖像部位52和98的加權合計加以寫碼，該加權係按照突顯映圖的部位66和100之突顯位階S12,S14。
例如，可應用下式：若S12≠0或S14≠0則pred[x,y]=pred0[x,y]*S12/(S12+S14)+pred1[x,y]*S14/(S12+S14)否則pred[x,y]=pred0[x,y]/2+pred1[x,y]/2其中(x,y)指圖元在預估圖像部位(即中間圖像16內)之座標，構成部位52和98之預計部位，S12和S14代表部位52和98之突顯位階。
在變化例中，額外加權W0應用於部位52之預估部位，而額外加權W1應用於部位98之預估部位，W0+W1=A1。此等加權W0,W1例如為關鍵圖像12和中間圖像16間距離，亦即中間圖像16和關鍵圖像14間距離之函數。此距離代表此等圖像間分佈之圖像數。
在此情況下，前式變成：若S12≠0或S14≠0 pred[x,y]=pred0[x,y]*S12*W0/(S12*W0+S14*W1)+pred1[x,y]*S14*W1/(S12*W0+S14*W1)否則pred[x,y]=pred0[x,y]*W0+pred1[x,y]*W1
突顯位階S12和S14係為各圖像部位而界定。在變化例中，各圖像部位的各圖元之突顯位階，可考慮來對各中間圖像之圖像部位寫碼和解碼。
按照本發明另一要旨，中間圖像可某些情況下，可用做其他中間圖像寫碼的參考。
在此情況下，參見第7和8圖，考慮中間圖像18的圖像部位116之寫碼方法。
在第一步驟106中，估計單位19估計運動向量V5，從第二中間圖像18之圖像部位116出，指向第一中間圖像16的圖像部位118。
於步驟108之際，按照第一方法寫碼的圖元數N1，於第一中間圖像16的圖像部位118列舉。
於步驟110之際，按照第一方法寫碼的圖元數N1，與臨限Nmin比較。若N1大於Nmin，選用第一寫碼方法，供圖像部位116寫碼。否則，運動向量不視為有效，不用於中間圖像16的圖像部位116之預估和寫碼。
寫碼器(以及解碼器)不能使用對中間圖像之預估，除非運動向量所指的中間圖像之圖像部位，含有按照第一方法寫碼之充分圖元數。在此情況下，第一寫碼方法可應用於單向模態或双向模態(來自另一關鍵或中間圖像之另一預估器即必須使用)。
參見第2圖，本發明解碼器34包括輸入36，能夠接收例如寫碼器2所寫碼之二進連流10，以及輸出38，能夠發生一集群圖像，例如包括二關鍵圖像12,14和中間圖像16,18。
解碼器34包括代表關鍵圖像12,14壓縮資料之解碼單位40，和代表中間圖像的運動資料(區分、向量、參考圖像)之壓縮資料解碼單位42。解碼單位40連接輸入36和輸出38。解碼單位42則連接輸入36和解碼單位40。
解碼器34亦包括代表中間圖像運動資料(區分、向量、參考圖像)的壓縮資料之解碼單位40。
計算單位40連接至輸入36和輸出38，解碼單位42連接輸入36和解碼單位40。
解碼器34亦包括所解碼關鍵圖像12,14的突顯映圖之計算單位44，以及關鍵圖像的突顯映圖部位之運動補正單位46，以測定中間圖像的圖像部位之突顯位階。
計算單位44連接至解碼單位40。補正單位46連接至計算單位44和解碼單位42。
解碼器34在選擇單位48和輸出38處，亦包括補正單位46所連接中間圖像的圖像部份解碼方法之選擇單位48，和連接於輸入36的中間圖像之重構單位46。
選擇單位48能夠為中間圖像的圖像部位，分析經運動補正過突顯映圖部位之突顯位階S，按照突顯位階，為中間圖像之此等圖像部位，選擇解碼方法。
重構單位49能夠按照從至少第一和第二解碼方法當中選出之方法，把中間圖像16,18解碼。
此等解碼方法當然相當於解碼器2內所用寫碼方法之反逆過程，不論是基於H.264標準之解碼方法，或是基於SVC標準之解碼方法。
另外，可用其他解碼方法。
參見第5圖，中間圖像16的圖像部位54利用單向預估之解碼方法，開始是關鍵圖像之重構步驟82，和關鍵圖像突顯映圖之計算步驟83。
圖像部位54之解碼方法接著的步驟84中，解碼單位42把圖像部位的寫碼模態和分隔資訊，以及中間圖像16,18和關鍵圖像12,14中間所界定運動向量，加以解碼。
於步驟88之際，補正單位46測定位於指向運動向量V1的關鍵圖像部位52同樣位置之突顯映圖66部位，參見第4圖，並考慮運動向量的副圖元準確位階，由此部份66插置一部位72。
步驟90測定運動補正過突顯映圖部位72之突顯位階S。
於步驟92之際，選擇單位48把預定突顯位階S1，與運動補正過突顯映圖部位72之突顯位階S，加以比較。
若部位72之突顯位階S大於預定突顯位階S1，選擇單位48即選擇第一解碼方法，重構圖像部位54。
此第一解碼方法相當於步驟74內所用第一寫碼方法。
圖像部位54是在步驟94之際，使用第一解碼方法重構。
若部位72之突顯位階S小於預定突顯位階S1，圖像部位54即在步驟96之際，按照第二解碼方法(相當於步驟78內所用第二寫碼方法)解碼。
參見第5圖，於按照双向預估計劃寫碼的中間圖像之圖像部位重構之際，步驟82至88是為第一V1和第二V2運動向量而實施。
然後，在步驟90之際，補正單位28測定使用第一運動向量V1的運動補正過突顯映圖部位72之突顯位階S12和使用第二運動向量V2的運動補正過突顯映圖部位102之突顯位階S14。
然後，於突顯位階S12和突顯位階S14之間，搜尋最大突顯位階。此突顯位階在步驟92之際，與預定突顯位階S1比較，選擇中間圖像16之解碼方法。
重構預估圖像之第一部位54和預估圖像之第二部位54'，再使用突顯位階和/或距離，從第一54和第二54'預估圖像部位之加權平均，計算圖像部位。
同時，在如此寫碼的中間圖像重構之際，解碼方法包括如下步驟：
-把來自第二中間圖像18的部位116，指向第一解碼中間圖像16的部位118至少一部份，加以解碼；
-使用第一中間圖像之部位，利用第一寫碼方法，把第二中間圖像18之部位116重構。
在變化例中，寫碼和解碼方法包括若干預定突顯位階S1,S2,S3，和若干寫碼方法，例如展示不同之運動向量解像度。
4,36．．．輸入
6．．．影像序列
8,38．．．輸出
10．．．二進連流
12,14．．．關鍵圖像
16,18．．．中間圖像
19．．．運動向量估計單位
20．．．寫碼決定單位
22．．．寫碼單位
24．．．突顯映圖計算單位
25．．．寫碼模態決定單位
26．．．寫碼單位
28．．．運動補正單位
30．．．選擇單位
32．．．寫碼單位
40．．．解碼單位
42．．．解碼單位
43．．．運動估計步驟
44．．．計算單位
45．．．寫碼決定步驟
46．．．補正單位
47．．．突顯映圖計算步驟
48．．．選擇單位
49．．．重構單位
50．．．估計步驟
56．．．寫碼步驟
52,98．．．關鍵圖像的圖像部位
54,54',116,118．．．中間圖像的圖像部位
55．．．測定寫碼模態步驟
60,101．．．突顯映圖
64,88．．．補正步驟
66,72,100,102．．．突顯映圖部位
68,90．．．突顯位階測定步驟
70,92．．．比較步驟
74．．．第一寫碼方法寫碼步驟
76．．．計算更準確運動向量之步驟
78．．．第二寫碼方法寫碼步驟
82．．．關鍵圖像之重構步驟
83．．．突顯映圖之計算步驟
84．．．解碼步驟
94．．．第一解碼方法重構步驟
96．．．第二解碼方法解碼步驟
106．．．估計運動向量之步驟
108．．．第一寫碼方法列舉之步驟
110．．．第一寫碼方法比較之步驟
V1,V2,V5．．．運動向量
S,S1,S13,S14．．．突顯位階
第1圖係本發明寫碼器示意圖；
第2圖係本發明解碼器示意圖；
第3圖為本發明寫碼方法流程圖；
第4圖是計劃圖，表示對按照單向預估寫碼的圖像部位，在本發明寫碼和解碼之際實施的運動補正方法；
第5圖為本發明解碼方法流程圖；
第6圖是計劃圖，表示對按照双向預估寫碼的圖像部位，在本發明寫碼和解碼之際實施的運動補正方法；
第7圖是計劃圖，表示基於至少第一中間圖像之第二中間圖像寫碼；
第8圖是計劃圖，表示基於至少第一中間圖像之第二中間圖像寫碼方法的一部份。
43．．．運動估計步驟
45．．．寫碼決定步驟
47．．．突顯映圖計算步驟
50．．．估計步驟
55．．．測定寫碼模態步驟
56．．．寫碼步驟
64．．．補正步驟
68．．．突顯位階測定步驟
70．．．比較步驟
74．．．第一寫碼方法寫碼步驟
76．．．計算更準確運動向量
78．．．第二寫碼方法寫碼步驟之步驟

Claims (13)

  1. 一種影像序列之寫碼方法，影像序列包括至少一關鍵圖像和至少一中間圖像，此方法包括如下步驟：(a)計算至少一關鍵圖像之突顯映圖；(b)為待寫碼的中間圖像之圖像部位，估計至少一運動向量，指向關鍵圖像之一部位；(c)運動補正使用一或各所估計運動向量的突顯映圖之至少一部位，為該圖像部位，獲得預估突顯映圖之至少一部位；和(d)按照所預估突顯映圖部位之突顯位階，把圖像部位加以寫碼；其中步驟(d)包括如下步驟：-測定所預估突顯映圖之各部位突顯位階；-就預定突顯位階和所預估突顯映圖部位之突顯位階，進行比較；和-寫碼圖像部位，當部位之突顯位階高於預定突顯位階，使用第一寫碼方法，當部位之突顯位階低於預定突顯位階，使用第二寫碼方法，該第一寫碼方法係運動補正和餘數寫碼之寫碼方法，而該第二寫碼方法是比第一寫碼方法的運動補正更精確之運動補正，但無餘數寫碼之寫碼方法者。
  2. 如申請專利範圍第1項之寫碼方法，其中第一寫碼方法係由H.264標準界定，第二寫碼方法係基於H.264標準之方法，其中各運動向量之組份幅度係大於1/4圖元者。
  3. 如申請專利範圍第1項之寫碼方法，其中第二寫碼方法包括近親參數所界定運動資訊之寫碼和傳輸者。
  4. 如申請專利範圍第1項之寫碼方法，其中影像序列的中間圖像之圖像部位，係按照可分層標度的壓縮方法加以寫碼，關鍵圖像注定寫碼於基層，圖像部位則寫碼於高層者。
  5. 如申請專利範圍第1項之寫碼方法，包括如下步驟： -估計運動向量，從第二中間圖像之一部位，指向第一中間圖像的一部位之至少一部份；-計數第一中間圖像部位之部份圖元數，若所計數圖元數大於預定數；-使用第一中間圖像部位計數第二中間圖像部位，並利用所選擇方法，把第一中間圖像部位加以寫碼者。
  6. 如申請專利範圍第1項之寫碼方法，其中在從第一關鍵圖像的一部位和第二關鍵圖像的一部位，就中間圖像雙向寫碼之際，與預定突顯位階比較之突顯位階，係由第一運動向量所預估突顯映圖的第一部位之突顯位階，和由第二運動向量所預估突顯映圖的第二部位之突顯位階之函數；該中間圖像部位係由第一關鍵圖像部位和第二關鍵圖像部位之預估平均值寫碼，該平均值係以所預估突顯映圖的第一和第二部位之該突顯位階加權者。
  7. 如申請專利範圍第1項之寫碼方法，其中步驟(a)包括關鍵圖像之寫碼步驟，該步驟產生重構關鍵圖像，突顯映圖係由重構關鍵圖像計算者。
  8. 一種二進連流之解碼方法，該二進連流包括代表影像序列的運動向量、中間圖像和關鍵圖像之壓縮資料，以便對欲重構的中間圖像之圖像部位進行重構，其特徵為，此方法包括如下步驟：(a)由壓縮資料重構關鍵圖像；(b)計算至少一所重構關鍵圖像之突顯映圖；(c)為待重構之圖像部位，把指向關鍵圖像部位之至少一運動向量加以解碼；(d)對使用所解碼運動向量的突顯映圖至少一部位，進行運動補正，為該待補正之圖像部位，獲得所預估突顯映圖之一部位；以及(e)按照所預估突顯映圖部位之突顯位階，把待重構的圖像部位加以重構； 其中步驟(e)包括如下步驟：-測定所預估突顯映圖的各部位之突顯位階；-對預定突顯位階和所預估突顯映圖突顯位階，進行比較；和-重構欲加以重構的圖像部位，當部位之突顯位階高於預定突顯位階，使用第一解碼方法，當部位之突顯位階低於預定突顯位階，使用第二解碼方法，該第一解碼方法係運動補正和餘數解碼之解碼方法，而該第二解碼方法是比第一解碼方法的運動補正更精確之運動補正，但無餘數解碼之解碼方法者。
  9. 如申請專利範圍第8項之解碼方法，其中影像序列的中間圖像之圖像部位，係按照可分層標度之壓縮方法加以解碼，基層的壓縮資料重構發生關鍵圖像，高層的壓縮資料重構發生待重構之圖像部位者。
  10. 如申請專利範圍第8項之解碼方法，包括如下步驟：-解碼至少一運動向量，從第二中間圖像的一部位，指向第一解碼過中間圖像的一部位至少一部份；此方法亦包括如下步驟：-計數第一解碼過中間圖像的部位在此部份之圖元數；若所計數圖元數大於預定數；-使用第一中間圖像的部位，把第二中間圖像的部位重構，並利用所選擇方法，把第一中間圖像之部位加以重構者。
  11. 如申請專利範圍第8項之解碼方法，其中於按照從第一關鍵圖像部位和第二關鍵圖像部位，進行双向預估加以寫碼的中間圖像部位重構之際，與預定突顯位階比較的突顯位階，係由第一運動向量所預估突顯映圖的第一部位突顯位階，和由第二運動向量所預估突顯映圖的第二部位突顯位階之函數，該中 間圖像部位係由第一關鍵圖像部位和第二關鍵圖像部位之預估平均值重構，該平均值係以所預估突顯映圖的第一和第二部位之該突顯位階加權者。
  12. 一種寫碼器，構成把影像序列之圖像寫碼，影像序列包括至少一關鍵圖像，和至少一中間圖像，寫碼器包括：-計算單位，構成計算至少一關鍵圖像之突顯映圖；-估計單位，構成為待寫碼之中間圖像之圖像部位，估計至少一運動向量，指向關鍵圖像之一部位；-補正單位，構成使用一或各所估計運動向量，運動補正突顯映圖之至少一部位，為該圖像部位獲得所預估突顯映圖之至少一部位；和-寫碼單位，構成按照所預估突顯映圖部位之一突顯位階，將圖像部位寫碼，該寫碼單位包括：-構成決定所預估突顯映圖各部位突顯位階之單位；-構成就預定突顯位階與所預估突顯映圖部位的突顯位階加以比較之單位；-構成對圖像部位寫碼之單位，當部位之突顯位階高於預定突顯位階時，使用第一寫碼方法，而當部位之突顯位階低於預定突顯位階時，則使用第二寫碼方法，該第一寫碼方法係運動補正和餘數寫碼之寫碼方法，而該第二寫碼方法是比第一寫碼方法的運動補正更精確之運動補正，但無餘數寫碼之寫碼方法者。
  13. 一種二進連流之解碼器，二進連流包括壓縮資料，代表影像序列之運動向量，中間圖像和關鍵圖像，以對欲重構的中間圖像之圖像部位加以重構，解碼器包括：-重構單位，構成壓縮資料重構關鍵圖像；-計算單位，構成就至少一重構關鍵圖像之突顯映圖進行重構；-解碼單位，構成為欲重構的該圖像部位，指向關鍵 圖像部位之至少一運動向量加以解碼；-運動補正單位，構成使用解碼之運動向量，運動補正突顯映圖之至少一部位，為待重構之該圖像部位，獲得所預估突顯映圖之部位；-重構單位，構成按照所預估突顯映圖部位之突顯位階，把待重構之圖像部位加以重構，該重構單位包括：-構成決定所預估突顯映圖各部位突顯位階之單位；-構成就預定突顯位階與所預估突顯映圖部位的突顯位階加以比較之單位；-構成對欲重構圖像部位加以重構之單位，當部位之突顯位階高於預定突顯位階時，使用第一解碼方法，而當部位之突顯位階低於預定突顯位階時，則使用第二解碼方法，該第一解碼方法係運動補正和餘數解寫碼之解碼方法，而該第二解碼方法是比第一解碼方法的運動補正更精確之運動補正，但無餘數解碼之解碼方法者。
TW098110024A 2008-04-25 2009-03-27 影像序列的圖像之圖像部位寫碼方法及所用寫碼器和解碼器 TWI535267B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0852792 2008-04-25

Publications (2)

Publication Number Publication Date
TW200945900A TW200945900A (en) 2009-11-01
TWI535267B true TWI535267B (zh) 2016-05-21

Family

ID=40329290

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098110024A TWI535267B (zh) 2008-04-25 2009-03-27 影像序列的圖像之圖像部位寫碼方法及所用寫碼器和解碼器

Country Status (6)

Country Link
US (1) US8755436B2 (zh)
EP (1) EP2279621B1 (zh)
JP (1) JP5230798B2 (zh)
CN (1) CN102017626B (zh)
TW (1) TWI535267B (zh)
WO (1) WO2009138666A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US20120162528A1 (en) * 2010-01-13 2012-06-28 Shinya Kiuchi Video processing device and video display device
EP2582134A1 (en) * 2011-10-12 2013-04-17 Thomson Licensing Saliency value determination of predictively encoded video streams
US20140269901A1 (en) * 2013-03-13 2014-09-18 Magnum Semiconductor, Inc. Method and apparatus for perceptual macroblock quantization parameter decision to improve subjective visual quality of a video signal
US9148672B2 (en) * 2013-05-08 2015-09-29 Mediatek Inc. Method and apparatus for residue transform
EP3270786B1 (en) * 2015-03-16 2018-12-19 Koninklijke Philips N.V. Automatic movement detection
CN113411581B (zh) * 2021-06-28 2022-08-05 展讯通信（上海）有限公司 视频序列的运动补偿方法、系统、存储介质及终端
CN116668702B (zh) * 2023-07-31 2023-10-24 国网浙江省电力有限公司 一种视频编码方法、装置、终端设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182043A (ja) 1995-12-25 1997-07-11 Matsushita Electric Ind Co Ltd 動き追跡機能付きテレビ電話
EP1544792A1 (en) * 2003-12-18 2005-06-22 Thomson Licensing S.A. Device and method for creating a saliency map of an image

Also Published As

Publication number Publication date
CN102017626B (zh) 2013-05-08
WO2009138666A2 (fr) 2009-11-19
US8755436B2 (en) 2014-06-17
CN102017626A (zh) 2011-04-13
EP2279621B1 (fr) 2013-02-13
US20110170599A1 (en) 2011-07-14
WO2009138666A3 (fr) 2010-02-25
JP2011519220A (ja) 2011-06-30
TW200945900A (en) 2009-11-01
EP2279621A2 (fr) 2011-02-02
JP5230798B2 (ja) 2013-07-10

Similar Documents

Publication Publication Date Title
TWI535267B (zh) 影像序列的圖像之圖像部位寫碼方法及所用寫碼器和解碼器
JP5580453B2 (ja) 直接モード符号化及び復号化装置
RU2381630C2 (ru) Способ и устройство для определения качества соответствия блока
US8050331B2 (en) Method and apparatus for noise filtering in video coding
US8121194B2 (en) Fast macroblock encoding with the early qualification of skip prediction mode using its temporal coherence
US7856053B2 (en) Image coding control method and device
KR101396365B1 (ko) 영상의 시공간적 움직임 추정/보상 방법 및 장치
US8964843B2 (en) Image processing method, image processing apparatus and computer readable storage medium
JPH118855A (ja) デジタル・ビデオ信号エンコーダ及び符号化方法
JP2009509403A (ja) 統合時空間予測法
JP2006254349A (ja) 動きベクトル検出方法、動きベクトル検出装置およびコンピュータ上で動きベクトル検出処理を実行するコンピュータプログラム
KR20140008508A (ko) 패킷 손실 가시도의 연속 추정에 기반한 객관적인 비디오 품질 평가 방법 및 장치
JP2006511113A (ja) 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング
US7433407B2 (en) Method for hierarchical motion estimation
JP5100658B2 (ja) ビデオ画像符号化方法及び装置
JP4197695B2 (ja) 動画像符号化方法、装置及びプログラム
KR100694050B1 (ko) 움직임 예측 방법 및 그 장치
US20110206114A1 (en) Motion picture encoding/decoding apparatus, and apparatus and method for adaptive overlapped block motion compensation by variable unit for same
JP2005524353A (ja) 小さいレートのアプリケーションのためにデジタル画像を処理する方法
US20110274163A1 (en) Video coding apparatus and video coding method
JP4887009B2 (ja) ブロックセットの符号化のために動きベクトルを選択する方法及び装置
CN103718560B (zh) 用于对图像进行编码和解码的方法和装置
US9615091B2 (en) Motion picture encoding/decoding apparatus, and method and apparatus for hybrid block motion compensation/overlapped block motion compensation for same
Sugimoto et al. A No Reference Metric of Video Coding Quality Based on Parametric Analysis of Video Bitstream
US9549205B2 (en) Method and device for encoding video