TWI499310B - 視訊影像修剪之方法及裝置 - Google Patents

視訊影像修剪之方法及裝置 Download PDF

Info

Publication number
TWI499310B
TWI499310B TW098130960A TW98130960A TWI499310B TW I499310 B TWI499310 B TW I499310B TW 098130960 A TW098130960 A TW 098130960A TW 98130960 A TW98130960 A TW 98130960A TW I499310 B TWI499310 B TW I499310B
Authority
TW
Taiwan
Prior art keywords
image
region
data
decoder
line
Prior art date
Application number
TW098130960A
Other languages
English (en)
Other versions
TW201031215A (en
Inventor
Dung Trung Vo
Joel Sole
Peng Yin
Yunfei Zheng
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201031215A publication Critical patent/TW201031215A/zh
Application granted granted Critical
Publication of TWI499310B publication Critical patent/TWI499310B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視訊影像修剪之方法及裝置
本發明大致上係關於視訊編碼及解碼，且更特定而言之，係關於用於視訊影像修剪之方法及裝置。
本申請案主張2008年9月18日申請之美國臨時專利申請案第61/098,125號之權利，該案之全文以引用的方式併入本文中。
目前，對於更高品質視訊之要求正不斷增長。視訊內容之需要趨於轉向更高之解析度、更高之圖框速率及更高之位元深度。為對抗對應於高清晰度(HD)視訊之位元率的增長及其他位元率之密集的發展，尤其為應付網路及通訊技術之傳輸約束，強烈需要用於進一步減少位元率之新技術。
有至少兩種基本方法用於減少壓縮位元率。第一種做法涉及改良壓縮技術，而第二種做法涉及在壓縮之前執行某種預處理。
關於第一種做法(即改良壓縮技術)，可在多種運動圖像專家群組(Moving Picture Experts Group)視訊寫碼標準中易於看到相同之進展，舉例而言，諸如國際標準化組織/國際電工委員會(ISO/IEC)MPEG-1標準、ISO/IEC MPEG-2標準、ISO/IEC MPEG-4標準及ISO/IEC MPEG-4第10部分進階視訊寫碼(AVC)標準/國際電信聯盟電信部(ITU-T)H.264建議(在下文中為「MPEG-4 AVC標準」)。
對於大部分視訊寫碼標準，增加量化步階之大小係用於減少位元率之一手段。然而，此技術可能導致嚴重的塊狀假影及歸因於損失高頻率細節引起的其他寫碼假影。
關於第二種做法(即在壓縮之前執行某種預處理)，此類預處理之目標係移除在視覺感知方面最不重要的資訊或可在解碼處理後恢復而不需對內容作重大改變之資訊。此位元率之減少亦被通稱為資料修剪。某些透過資料修剪以執行此位元率之減少的共通技術係使用低通濾波器及使用減少取樣(可被視為一濾波處理)，隨後在解碼器進行增加取樣。由於此等技術係設計用於在視訊中消除高頻資訊以使減少位元率，所以該等方案之一影響係經解碼及重新建構之視訊看起來稍為模糊。
關於內插(例如可用於先前描述的增加取樣、已作討論並經開發的廣範圍內插方法及方案)，其係以習知的雙線性及雙立體內插開始並持續複雜的迭代內插方法(諸如凸集投影(POCS)及非凸非線性偏微分方程式)。
為避免沿邊緣出現急衝，已提議邊緣導向式內插方法，該方法使用低解析度影像之馬可夫(Markov)隨機場(random field)及協方差。
一種先前技術之做法利用方向性濾波與資料融合之組合，藉由一線性最小均方誤差(LMMSE)以估計缺失的高解析度(HR)像素。另一群組內插演算法使用各種變換(諸如小波變換或輪廓變換)從與HR影像對應的低解析度(LR)影像中預測HR影像之細緻結構。
以上方法之各者在水平方向及垂直方向上皆適合用於增加取樣相同之比率；即在一固定且規則的資料網格(data grid)之中適合用於增加取樣相同之比率(即全部資料點在一正方形網格中找到)。然而當內插連同資料修剪一起使用時，使得調適於丟棄之資料且調整至各個像素之變化環境以達到最佳效能的靈活性為吾人所欲。
本發明解決先前技術之此等及其他缺點及弊端，該等原理指向用於視訊影像資料修剪之方法及裝置。
根據本發明之一項態樣提供一種裝置。該裝置包含一資料修剪器，該資料修剪器係用於在藉由編碼而進行壓縮之前對一圖像進行預處理並為壓縮作準備。資料修剪器在空間域內選擇性地移除圖像中之至少一區域。
根據本發明之另一態樣提供一種方法。該方法包含在藉由編碼而進行壓縮之前對一圖像進行預處理並為壓縮作準備。預處理步驟包含使用具有一處理器的一資料修剪器在空間域內選擇性地移除圖像中之至少一區域。
根據本發明之又一態樣提供一種裝置。該裝置包含一資料恢復器，該資料恢復器係用於繼藉由解碼而進行解壓縮之後接收經解壓縮之一圖像，並藉由基於指示在先前執行的編碼處理之前移除至少一區域的資訊，在空間域內選擇性地恢復經解壓縮之圖像中之至少一區域，而對經解壓縮之圖像進行後處理。
根據本發明之一進一步態樣提供一種方法。該方法包含繼藉由解碼而進行解壓縮之後接收經解壓縮之一圖像。該方法進一步包含使用具有一處理器之一資料恢復器，藉由基於指示在先前執行的編碼處理之前移除至少一區域的資訊，在空間域內選擇性地恢復經解壓縮之圖像之至少一區域，而對經解壓縮之圖像進行後處理。
本發明之此等及其他態樣、特徵及優點將從以下連同所伴隨之圖式進行閱讀的例示性實施例之細節描述中變得明顯。
本發明係針對用於視訊影像資料修剪之方法及裝置。
本說明書闡釋本發明。因此應瞭解熟悉此項技術者將可設計出體現本發明且包含於本發明之精神及範圍之中的多種配置(雖在本文中未明確描述或繪示)。
本文中所有實例及條件性語言欲用於教學用途以幫助讀者理解本發明及概念，並將作為對此等明確描述之實例及條件的非限制性解釋，該等概念係由促進此項技術之(諸)發明者所貢獻。
此外，本文中所有描述本發明之原理、態樣及實施例的敘述及本發明的特殊實例欲用於涵蓋本發明的結構性及功能性等價物兩者。此外，希望此類等價物同時包含當前已知之等價物及在將來發展之等價物兩者(即所發展之執行相同功能而無關於結構的任何元件)。
因此，舉例而言，熟悉此項技術者應瞭解本文中出現的方塊圖表示體現本發明之說明性電路的概念性觀點。同樣地，應瞭解任何流程圖表、流程圖、狀態轉換圖、偽碼等等表示可實質上由電腦可讀媒體表示且因此由一電腦或處理器執行的多種程序，無論此電腦或處理器是否明確繪示。
圖式中所繪示之多種元件的功能可透過使用專屬硬體及與適當軟體關聯可執行軟體的硬體來提供。當由一處理器提供時，可由一單獨專屬的處理器、由一單獨共用的處理器或由複數個個別處理器(其等之某些可共用)提供功能。此外，明確使用術語「處理器」或「控制器」不應被解釋為排他地指稱可執行軟體之硬體，且可明確包含(而非限制於)數位信號處理(「DSP」)硬體、用於儲存軟體之唯讀記憶體(「ROM」)、隨機存取記憶體(「RAM」)及非揮發性儲存器。
亦可包含習知的及/或定製的其他硬體。同樣地，任何繪示於圖式中的改變僅為概念。當從背景內容中更為明確地理解時，可由執行者透過程式邏輯之操作、透過專屬邏輯、透過程式控制與專屬邏輯之互動，或甚至手動地透過可選擇之特定技術來實現硬體之功能。
在本文之申請專利範圍中，吾人希望所表示之任何元件作為執行一特定功能之一構件涵蓋執行此功能的任何方法，該元件(例如)包含：a)執行此功能之電路元件之一組合，或b)任何形式之軟體，因此包含與用於執行此等軟體之適當電路組合以執行該功能的韌體、微碼或類似物。如此類申請專利範圍所定義之原理存在於此事實中：多種所述之構件所提供的功能以申請專利範圍需要之方式組合及聯合。吾人因此認為可提供此等功能之任何構件等價於本文中所繪示之構件。
在說明書中對本發明之「一項實施例」或「一實施例」的引用及本發明之其他變動，連同實施例一起描述的一特定特徵、結構、特性等等構件係包含於本發明之至少一項實施例中。因此所出現的片語「在實施例之一者中」或「在一實施例中」及遍及說明書在多處出現的任何其他變動不需全部參照相同之實施例。
應瞭解吾人希望在「A/B」、「A及/或B」及「A及B之至少一者」之情形中使用例如以下之「/」、「及/或」及「至少一者」以涵蓋：僅選擇第一個所列之項(A)，或僅選擇第二個所列之項(B)或選擇(A及B)項兩者。作為一進一步之實例，在「A、B及/或C」及「A、B及C之至少一者」之情形中吾人希望此類片語涵蓋：僅選擇第一個所列之項(A)，或僅選擇第二個所列之項(B)，或僅選擇第一個及第二個所列之項(A及B)，或僅選擇第一個及第三個所列之項(A及C)，或僅選擇第二個及第三個所列之項(B及C)，或選擇(A、B及C)項三者。熟悉此技術及相關技術之一者顯然可容易地將此延伸用於所列之多種項目。
如本文中所使用之術語影像及圖像可互換使用，且可指稱視訊圖像及/或靜止影像之任何一者，該等視訊圖像為一視訊序列之部分。
如以上所提及，本發明係針對用於視訊影像資料修剪之方法及裝置。
此外，應瞭解當在本文中關於MPEG-4 AVC標準描述本發明之一或多項實施例時，本發明並非限於單純此標準且在維持本發明之精神的同時，可關於其他視訊寫碼標準、建議及此等視訊寫碼標準之延伸(包含MPEG-4 AVC標準之延伸)利用本發明。
轉至圖1，用於資料修剪及恢復之一例示性系統一般由元件符號100指示。系統100包含一資料修剪器110、一編碼器(或壓縮器)120、一解碼器(或解壓縮器)130及一資料恢復器140。資料修剪器110執行預處理以在藉由編碼而進行壓縮之前在空間域內移除來自一圖像之至少一區域(例如一直線、曲線、區域等等)。接著編碼器120對經移除至少一區域之圖像進行寫碼。解碼器130對經寫碼之經移除至少一區域之圖像進行解碼。資料恢復器140執行後處理以在空間域內將至少一區域恢復至經解碼之圖像。資料修剪器110、編碼器120、解碼器130及資料恢復器140之任何一者可包含例如一個或多個處理器、記憶體等等以執行其等之對應功能。舉例而言，資料修剪器110中之至少一或多個處理器可執行本文中所描述之預處理，而資料恢復器140中之一個或多個處理器可執行本文中所描述之後處理。應瞭解資料修剪器110可包含其他元件，該等元件在某些實施例中可從資料修剪器中分離出來，而在其他實施例中可能與資料修剪器整合。例如，在一實施例中，資料修剪器110(或一資料修剪階段)可包含一整數倍降低取樣器及一內插器(例如見圖11)。在另一實施例中，資料修剪器110(或一資料修剪階段)可包含一資料修剪器(作為執行實際移除至少一區域的一子元件)、一儲存器或壓縮器及一內插器(例如見圖10)。在維持本發明之精神的同時，熟悉此項及相關技術之一者可容易地考慮圖1之元件的此等及其他變動。
轉至圖2，用於資料修剪及恢復之一例示性方法一般而言由元件符號200指示。方法200包含傳遞控制至一功能方塊210的一開始方塊205。功能方塊210接收一圖像且傳遞控制至一功能方塊215。功能方塊215執行圖像之預處理以在空間域內移除來自圖像之至少一區域(例如一直線、曲線、區域等等)，且傳遞控制至一功能方塊220。功能方塊220對經移除至少一區域之圖像進行寫碼，且傳遞控制至一功能方塊225。功能方塊225提供(例如傳輸)經寫碼之圖像至一解碼器(或具有一解碼器之一器件)，且傳遞控制至一功能方塊230。功能方塊230對經寫碼之經移除至少一區域之圖像進行解碼，且傳遞控制至一功能方塊235。功能方塊235接收經解碼之經移除至少一區域之圖像，執行後處理以在空間域內將至少一區域恢復至經解碼之圖像，且傳遞控制至一結束方塊299。
轉至圖3，本發明可能應用的一例示性視訊編碼器一般而言由元件符號300指示。
視訊解碼器300包含具有一輸出端的一圖框排序緩衝器310，該圖框排序緩衝器310與一組合器385之一非反轉輸入端進行信號通信。組合器385之一輸出端係以信號通訊之方式連接於一變換器與量化器325之一第一輸入端。變換器與量化器325之一輸出端係以信號通訊之方式連接於一熵寫碼器345之一第一輸入端及一反向變換器與反向量化器350之一第一輸入端。熵寫碼器345之一輸出端係以信號通訊之方式連接於一組合器390之一第一非反轉輸入端。組合器390之一輸出端係以信號通訊之方式連接於一輸出緩衝器335之一第一輸入端。
一編碼器控制器305之一第一輸出端係以信號通訊之方式連接於圖框排序緩衝器310之一第二輸入端、反向變換器與反向量化器350之一第二輸入端、一圖像類型決策模組315之一輸入端、一巨集區塊類型(MB類型)決策模組320之一輸入端、一框內預測模組360之一第二輸入端、一解區塊濾波器365之一第二輸入端、一運動補償器370之一第一輸入端、一運動估計器375之一第一輸入端及一參考圖像緩衝器380之一第二輸入端。
編碼器控制器305之一第二輸出端係以信號通訊之方式連接於一補充增強資訊(SEI)插入器330之一第一輸入端、變換器與量化器325之一第二輸入端、熵寫碼器345之一第二輸入端、輸出緩衝器335之一第二輸入端及序列參數集(SPS)及圖像參數集(PPS)插入器340之一輸入端。
圖像類型決策模組315之一第一輸出端係以信號通訊之方式連接於一圖框排序緩衝器310之一第三輸入端。圖像類型決策模組315係之一第二輸出端係以信號通訊之方式連接於一巨集區塊類型決策模組320之一第二輸入端。
序列參數集(SPS)及圖像參數集(PPS)插入器340之一輸出端係以信號通訊之方式連接於組合器390之一第三非反轉輸入端。
反向量化器與反向變換器350之一輸出端係以信號通訊之方式連接於一組合器319之一第一非反轉輸入端。組合器319之一輸出端係以信號通訊之方式連接於框內預測模組360之一第一輸入端及解區塊濾波器365之一第一輸入端。解區塊濾波器365之一輸出端係以信號通訊之方式連接於一參考圖像緩衝器380之一第一輸入端。參考圖像緩衝器380之一輸出端係以信號通訊之方式連接於運動估計器375之一第二輸入端。運動估計器375之一第一輸出端係以信號通訊之方式連接於運動補償器370之一第二輸入端。運動估計器375之一第二輸出端係以信號通訊之方式連接於熵寫碼器345之一第三輸入端。
運動補償器370之一輸出端係以信號通訊之方式連接於一開關397之一第二輸入端。巨集區塊類型決策模組320之一輸出端係以信號通訊之方式連接於開關397之一第三輸入端。開關397之一第三輸入端判定開關(與控制輸入端比較即為第三輸入端)之「資料」輸入端是否由運動補償器370或框內預測模組360提供。開關397之輸出端係以信號通訊之方式連接於組合器319之一第二非反轉輸入端及與組合器385之一反向輸入端。
圖框排序緩衝器310及編碼器控制器305之輸入端可作為編碼器300之輸入端使用，以用於接收一輸入圖像301。此外，補充增強資訊(SEI)插入器330之一輸入端可作為編碼器300之一輸入端使用，以用於接收元資料。輸出緩衝器335之一輸出端可作為編碼器300之一輸出端使用，以用於輸出一位元流。
轉至圖4，本發明可能應用到的一例示性視訊解碼器一般而言由元件符號400指示。
視訊解碼器400包含一輸入緩衝器410，輸入緩衝器410之一輸出端以信號通訊之方式連接於熵解碼器445之一第一輸入端。熵解碼器445之一第一輸出端係以信號通訊之方式連接於反向變換器與反向量化器450之一第一輸入端。反向變換器與反向量化器450之一輸出端係以信號通訊之方式連接於一組合器425之一第二非反轉輸入端。組合器425之一輸出端係以信號通訊之方式連接於解區塊濾波器465之一第二輸入端及一框內預測模組460之一第一輸入端。解區塊濾波器465之一第二輸出端係以信號通訊之方式連接於一參考圖像緩衝器480之一第一輸入端。參考圖像緩衝器480之一輸出端係以信號通訊之方式連接於一運動補償器470之一第二輸入端。
熵解碼器445之一第二輸出端係以信號通訊之方式連接於運動補償器470之一第三輸入端及解區塊濾波器465之一第一輸入端。熵解碼器445之一第三輸出端係以信號通訊之方式連接於一解碼器控制器405之一輸入端。解碼器控制器405之一第一輸出端係以信號通訊之方式連接於熵解碼器445之一第二輸入端。解碼器控制器405之一第二輸出端係以信號通訊之方式連接於反向變換器與反向量化器450之一第二輸入端。解碼器控制器405之一第三輸出端係以信號通訊之方式連接於解區塊濾波器465之一第三輸入端。解碼器控制器405之一第四輸出端係以信號通訊之方式連接於框內預測模組460之一第二輸入端、運動補償器470之一第一輸入端及參考圖像緩衝器480之一第二輸入端。
運動補償器470之一輸出端係以信號通訊之方式連接於一開關497之一第一輸入端。框內預測器460之一輸出端係以信號通訊之方式連接於開關497之一第二輸入端。開關497之一輸出端係以信號通訊之方式連接於組合器425之一第一非反轉輸入端。
輸入緩衝器410之一輸入端可作為解碼器400之一輸入端使用，以用於接收一輸入位元流。解區塊濾波器465之一第一輸出端可作為解碼器400之一輸出端使用，以用於輸出一輸出圖像。
根據本發明，吾人提議用於資料修剪之一新方案以減少經壓縮之視訊位元率，而與此同時，在解碼器端保留經解碼及經重新建構之圖像的更高品質。在關於一實施例之進一步細節中，原始影像/圖像在壓縮之前被修剪成較小之尺寸且接著在解碼之後被內插成其等之原始尺寸。此內插使用關於在資料修剪步驟期間經修剪之線、片段或區域的資訊以將視訊影像/圖像返回至其等之原始尺寸。藉由捨棄線、片段及/或區域而執行之修剪係在編碼之前，在空間域內根據幾個可能的評估方案之一者執行且接著在將位元流解壓回至空間域內之後恢復此等線、片段及/或區域。在一實施例中，利用邊緣導向內插以將經解碼之圖像重新建構至其原始尺寸。由於吾人避免過濾在影像/視訊圖像中之殘留像素，經重新建構之圖像可從一較低位元率中達到較高之品質。
在一項實施例中，資料修剪係以僅捨棄列或行之方式執行，因此需要在此等區域中僅在一個方向上進行增加取樣。雖然係以此類背景內容描述，顯然對於熟悉此項及相關技術者而言在維持本發明之精神的同時，用於在空間域內捨棄區段之其他方法亦可在編碼之前使用。因此經捨棄之線可為列或行，但不僅限於前述之線。舉例而言，經捨棄之線可代替線及/或除線之外可為對角線或可為非線性之曲線。進一步而言，由於將被修剪之必需的單元並非一空間域之線或曲線而是一區段或區域，因此在可本發明之範圍之內應用相同之原理且該等原理在本發明之範圍之內。因此，本文中以線為背景內容所提供之本發明的描述不應因此將本發明之範圍僅限制於線，而是限於空間域內之將在編碼之前捨棄(且在解碼之後隨即恢復)的線、曲線、區段及/或區域之任何選擇。因此，給定本文中所提供之本發明的教示，在維持本發明之精神的同時，熟悉此項及相關技術之一者藉此可考慮本發明之此等及其他變動且可容易地進行補充。應瞭解如本文中所使用，術語「區域」可表示一線、曲線、區段及/或區域之一者或多者。
出於例示性目的，吾人聚焦於如何調整新邊緣導向內插(NEDI，明確而言為NEDI-4)以用於內插。轉至圖5A，關於NEDI-4及NEDI-8之高階邊緣導向內插的模型參數一般而言由元件符號500指示。如此處所繪示，使用梅花陣式子網格執行兩次傳遞。在第一次傳遞中，在任何四個最近的低解析度像素之交叉處的高解析度像素係從其等最近之四個像素中藉由使用適應性四階內插器內插而來。剩餘的高解析度像係使用低解析度像素及在第一次傳遞中經內插的像素，用同樣的演算法在第二次傳遞中內插而來。內插器之高解析度模型參數係自較低解析度之模型參數中估計而來。
資料修剪
資料修剪係藉由捨棄在圖像中的線而實施。一特定情況是線為一直線。在此情形中，一線可為一列或者一行，或具有方向的任何直線(如圖6中所見)。轉至圖6，藉由捨棄任意線而進行資料修剪之一實例一般而言由元件符號600指示。資料修剪600涉及一圖框610、一經修剪之線620及一經修剪之曲線630。
轉至圖7，藉由捨棄在一個圖框中之行及列而進行資料修剪之一實例一般而言由元件符號700指示。資料修剪700涉及一圖框710、一經捨棄之行720及一經捨棄之列730。
轉至圖8，藉由捨棄對於一完整的圖像群組(GOP)及/或場景而言相同的行及列而進行資料修剪之一實例一般而言由元件符號800指示。資料修剪800涉及一第一圖框810、若干中間圖框820及一最後圖框830、若干經捨棄之列840及若干經捨棄之行850。
轉至圖9A，在熟知之Akiyo序列之第一圖框中用於指示若干經捨棄之行及列的若干線一般而言係由元件符號900指示。轉至圖9B，對應於圖9A之實例之經修剪的圖框一般而言係由元件符號950指示。
因為解碼器需要內插缺失的像素，所以需要知道經捨棄之線在解碼器處的位置。在用信號發送經捨棄之線的像素與用於保持追蹤此經捨棄之線的附加項之間有一個權衡。在一項實施例中，吾人僅捨棄行及列以供在相當大的程度上減少用於指示線的附加項。在此情形中，每列/每行僅使用1位元以保持追蹤，因此指示線是否捨棄(如圖7中用於捨棄一圖框中的行及列，圖8中用於捨棄一個GOP/場景中的行及列，圖9A中具有指示經捨棄之行及列的白線，圖9B中用於經修剪的圖框)。在另一實施例中，吾人僅捨棄奇數線且使偶數線保持原樣。在一項實施例中，GOP/場景中的全部圖片具有相同的捨棄型樣，以供進一步減少附加項。為決定首先捨棄何種線，吾人假定不涉及壓縮，且吾人使用一失真準則。吾人首先設立一個最終目標。該目標可為失真、經捨棄之像素的百分比及/或任何複雜度約束。當然，給定本文中所提供之本發明的教示，目標不限於前述項且因此亦可根據本發明使用其他目標。在一項實施例中，假定捨棄一線，吾人內插經捨棄之線而不考慮壓縮。接著，吾人比較經內插之線與在原始圖像中之相同線的MSE(均方誤差)。選擇具有最小MSE之線首先進行捨棄。在另一實施例中，吾人將線之失真與位元率皆納入考慮。在一項實施例中，可利用線之位元率的變異數來大致估計線之位元率。
最佳資料修剪實施例
轉至圖10，用於基於資料修剪之壓縮之一例示性系統一般而言係由元件符號1000指示。系統1000包含一資料修剪器1010、一資料儲存器或壓縮器1020及一內插器1030。雖然繪示為分離元件，然而資料修剪器1010、資料儲存器或壓縮器1020或內插器1030之一者或多者可組合為一整合元件。例如，在一實施例中，資料修剪器1010可包含於資料儲存器或壓縮器1020之中。可考慮資料儲存器或壓縮器1020作為用於本發明原理之用途之一編碼器。尺寸為M×N的原始圖框I經修剪成為較小尺寸(M-Mp )×(N-Np )的圖框P，其中Mp 及Np 分別為經捨棄之列及行的數目。資料修剪之目的係減少表示經儲存或經壓縮之圖框P'之位元的數目。P'於是內插至I'以重新建構成原始圖框尺寸。此處所考慮之壓縮階為具有如圖3所繪示之編碼器及如圖4所繪示之解碼器的MPEG-4 AVC標準編碼解碼器。然而，如以上所注意到，在維持本發明之精神的同時，本發明並不單純限於MPEG-4 AVC標準，且因此可應用至其他視訊寫碼標準、建議及其等之延伸之中。
當保持奇數列及行用於隨後之內插時，僅考慮捨棄偶數列及行。轉至圖11，用於一資料修剪階段之一例示性系統一般而言係由元件符號1100指示。系統1100包含一整數倍降低取樣器1110及一內插器1120。在資料修剪階段，對於僅捨棄行、僅捨棄列以及捨棄行及列兩者之各別情形，原始圖像I由整數倍降低取樣器1110以比率1×2、2×1及2×2之整數倍降低取樣成低解析度(LR)圖框I1 接著，圖框I1 係由內插器1120內插成高解析度(HR)圖框Ih 。經重新建構之圖框因內插而異於其原始圖框。選擇在Ih 中待捨棄之列及行，在Ih 中之該等待捨棄之列及行相較於其等在I中所對應之列及行具有最小誤差。定義均方誤差(MSE)為介於Ih 與I之間的均方誤差。
給定目標MSEmax ，資料修剪係經最佳化以捨棄最多的像素，同時仍保持全部MSE小於MSEmax 。經捨棄之列及行之位置各別由αm 及αn 指示。若αi 之值為1，則捨棄第i條偶數線(列或行)，否則將其保留。此等指示項作為在經寫碼之位元流中的旁資訊而儲存。定義一經捨棄之線的均方線誤差(MSLE)為介於僅用於該線上的像素之Ih 及I之間的均方誤差。具有較小MSLE之線比具有較高MSLE之線擁有更高的捨棄優先權。假定捨棄具有最小MSLE之Mp 列及Np 行且此等線之最大MSLE為MSLEmax 。全部MSE變為所有經捨棄之像素的平均MSE。MSE之一上限係基於(例如)經捨棄之列Mp 、經捨棄之行Np 及MSLEmax 之數目而達到。此上限應小於MSEmax ，作為尋找最佳資料修剪方案之條件。
轉至圖12，用於最佳資料修剪之一例示性方法一般而言由元件符號1200指示。方法1200包含傳遞控制至一功能方塊1203之一開始方塊1201。功能方塊1203輸入一圖框或GOP，且傳遞控制至一功能方塊1206、一功能方塊1209及一功能方塊1212。功能方塊1206移除偶數列且傳遞控制至一功能方塊1215。功能方塊1215基於(例如)NEDI-6執行內插，且傳遞控制至一功能方塊1224。功能方塊1224尋找介於在原始列與經重新建構之列之間的誤差(1)，且傳遞控制至一功能方塊1233。
功能方塊1209移除偶數列，且傳遞控制至一功能方塊1218。功能方塊1218基於(例如)NEDI-6執行內插，且傳遞控制至一功能方塊1227。功能方塊1227尋找介於原始行與經重新建構之行之間的誤差(2)，且傳遞控制至一功能方塊1233。
功能方塊1212移除偶數列及行，且傳遞控制至一功能方塊1221。功能方塊1221基於(例如)NEDI-8執行內插，且傳遞控制至一功能方塊1230。功能方塊1230尋找介於原始列/行與經重新建構之列/行之間的誤差(3)，且傳遞控制至功能方塊1233。
功能方塊1233設定經捨棄之列的數目M_d=0，設定經捨棄之行的數目N_d=0，設定最大經捨棄之像素Pel=0，且傳遞控制至一決策方塊1236。決策方塊1236判定是否M_d=0。若M_d=0，則傳遞控制至一功能方塊1242。否則，傳遞控制至一決策方塊1239。
功能方塊1242選擇捨棄在(1)(即每個功能方塊1224所計算之誤差)中具有最小誤差之N_d=0行，且傳遞控制至一功能方塊1246。功能方塊1246計算誤差MSE及經捨棄之像素的數目Pel，且傳遞控制至一決策方塊1252。決策方塊1252判定是否MSE<MSE_max且Pel>Pel_max。若MSE<MSE_max且Pel>Pel_max，傳遞控制至一功能方塊1255。否則，傳遞控制至一功能方塊1270。
功能方塊1255設定Pel_max=Pel，設定M_d_opt=M_d，設定N_d_opt=N_d，且傳遞控制至一功能方塊1258。功能方塊1258判定是否N_d<N。若N_d<N，則傳遞控制至一功能方塊1264。否則，傳遞控制至一功能方塊1261。
功能方塊1264設定N_d=N_d+16，且返回控制至決策方塊1236。
功能方塊1261判定是否M_d<M。若M_d<M，則傳遞控制至一功能方塊1267。否則，傳遞控制至一功能方塊1270。
決策方塊1239判定是否N_d=0。若N_d=0，則傳遞控制至一功能方塊1245。否則，傳遞控制至一功能方塊1249。
功能方塊1245選擇捨棄在(2)(即每個功能方塊1227所計算之誤差)中具有最小誤差之M_d行，且傳遞控制至功能方塊1246。
功能方塊1249選擇捨棄在(3)(即每個功能方塊1230所計算之誤差)中具有最小誤差之M_d行及N_d列，且傳遞控制至功能方塊1046。
功能方塊1270輸出M_d_opt及N_d_opt，且傳遞控制至一結束方塊1299。
轉至圖13，用於最佳資料恢復之一例示性方法一般由元件符號1300指示。方法1300包含傳遞控制至一功能方塊1310之一開始方塊1305。功能方塊1310輸入一經修剪之圖框及/或圖像之群組(GOP)以及經修剪之圖框的一清單，且傳遞控制至一功能方塊1315。功能方塊1315調整圖框之尺寸至其等之原始尺寸，且傳遞控制至一迴圈限制方塊1320。迴圈限制方塊1320遍及經修剪之資料進行迴圈，且傳遞控制至一決策方塊1325。決策方塊1325判定是否已移除一偶數列及行。若已移除一偶數列及行，則傳遞控制至一功能方塊1330。否則，傳遞控制至一決策方塊1340。
功能方塊1330用NEDI-8內插列及行，且傳遞控制至一迴圈限制方塊1335。
迴圈限制方塊1335結束迴圈，且傳遞控制至一功能方塊1380。功能方塊1380輸出一經重新建構之圖框/GOP，且傳遞控制至一結束方塊1399。
決策方塊1340判定是否已移除一偶數列。若已移除一偶數列，則傳遞控制至一功能方塊1345。否則，傳遞控制至一決策方塊1350。
功能方塊1345用NEDI-6內插列，且傳遞控制至迴圈限制方塊1335。
決策方塊1350判定是否已移除一偶數行。若已移除一偶數行，則傳遞控制至一功能方塊1355。否則，傳遞控制至迴圈限制方塊1335。
功能方塊1355用NEDI-6內插行，且傳遞控制至迴圈限制方塊1335。
高階邊緣導向內插
關於內插，意指可估計/填充從相同的或暫時相關的圖框之周圍像素中缺失的像素之任何方法。此類方法可為典型內插(如雙立方法)、較新之方法(如NEDI)或其他種類之方法(如補繪法(inpainting)，其填滿從像素周圍中缺失的像素之孔)。當然，在保持本發明之精神的同時，根據本發明之內插並非僅限於前面所描述之內插技術且因此亦可使用其他內插技術。
對於在一解碼器處的內插，吾人建議應用一高階邊緣導向內插以使可調適更多方向。吾人之方法異於在與低解析度之協方差相關的先前技術方法中所描述之方法(其僅使用4個鄰近像素且僅可應用於2×2之擴升比率(upsizing ratio))。吾人調適其以使其用於所提議之資料修剪方案中。在一實施例中，使用六階及八階邊緣導向內插以用於僅在一個維度上捨棄線(僅為列或僅為行)及兩個維度上捨棄線(列及行兩者)之情形。
實施例：NEDI-6
由於相同之演算法可應用於僅捨棄行及僅捨棄列之情形，因此討論用於僅捨棄行之演算法。首先，擷取對應於在原始圖框I中之奇數行的P'之行以形成尺寸為之圖框P'1 。將P'1 之行映射至大小為M×N的HR圖框P'h 之行。P'h 之偶數行係藉由本文中所解釋之六階內插而從奇數行中內插而來。
如圖5B中所繪示，經內插之像素為加權六相鄰周圍像素之總和。轉至圖5B，關於NEDI-6之高階邊緣導向內插的模型參數一般而言係由元件符號500指示。此等權重係高解析度圖框之模型參數。最佳模型參數係藉由最小化介於經內插之像素與原始像素(假設模型參數在本端視窗中為常數)之間的MSE而獲得。應用幾何學二元性假設，認為用於不同標度之模型參數為常數且可從低解析度之像素中估計而來。如圖5B中所繪示，可使用原始像素及經內插之像素的低解析度圖框之模型參數可藉由最小化介於原始像素與經內插之像素之間的誤差而獲得。接著使用此等低解析度模型參數作為高解析度模型參數以內插缺失的高解析度像素。最後，使用行指示項以選擇來自經壓縮修剪之圖框或經內插之圖框的像素，用於形成最終的重新建構圖框。若行指示項值為1，則經重新建構之行取自經內插之圖框。否則，若行指示項值為0，則經重新建構之行取自經壓縮修剪之圖框。
實施例：NEDI-8
類似於NEDI-6，擷取對應於在原始圖框I中減少取樣比率為2×2之低解析度像素的P'中之像素，以形成大小為的LR圖框P'1 。對於第一輪使用NEDI-4且對於第二輪使用NEDI-8以執行內插。由於在第二輪中可使用所有8個相鄰的像素，實施NEDI-8以從四個方向中得到額外的資訊。此輪之優點在於從模型參數之高解析度像素中可直接估計模型參數，因此減少NEDI-4過度擬合之問題。將NEDI-8應用至所有缺失的高解析度像素以保持一致。用於HR標度之四階模型參數h4 及八階模型參數h8 繪示於圖3A之中。最佳h8 係藉由類似於利用NEDI-6之實施例的一演算法計算而來。
現在將對本發明所伴隨的諸多優點及特徵中之某些給出描述，該等優點及特徵在以上已提及。例如，其中一項優點/特徵為一種具有一資料修剪器的裝置，該裝置用於在藉由編碼進行壓縮之前對一圖像進行預處理並為壓縮作準備。該資料修剪器在空間域內選擇性地移除在圖像中之至少一區域。
另一優點/特徵為具有如上所述之資料修剪器的裝置，其中資料修剪器包含於一編碼器中。
又另一優點/特徵為具有如上所述之資料修剪器的裝置，其進一步包括耦接至資料修剪器之一編碼器以用於對該經移除至少一區域之圖像進行編碼。
亦有另一優點/特徵為具有如上所述之資料修剪器的裝置，其中指示該至少一區域在該圖像中之位置之旁資訊為以下之一者：明確地傳輸至一解碼器或其他器件；或隱含地傳輸至一解碼器或其他器件。
再另一優點/特徵為具有如上所述之資料修剪器的裝置，其中至少一區域包括一直線、一非線性曲線及一區域之至少一者。
此外，另一優點/特徵為具有如上所述之資料修剪器的裝置，其中僅偶數線或奇數線係由資料修剪器移除。
進一步之另一優點/特徵為具有如上所述之資料修剪器的裝置，其中圖像係包括於一群組圖像之中，且為該群組圖像之中的所有圖像指派一相同的移除型樣。
亦有另一優點/特徵為具有如上所述之資料修剪器的裝置，其中回應於一影像失真度量、一速率失真度量、一捨棄像素度量及一複雜度度量之至少一者的一評估而決定選擇性移除之至少一區域。
此外之另一優點/特徵為具有如上所述之資料修剪器的裝置，其中6階內插係用於在一個維度上移除至少一區域，且8階內插係用於在兩個維度上移除至少一區域。
本發明之此等及其他特徵及優點可由熟悉相關技術者基於本文之教示容易地確定。應瞭解本發明之教示可以硬體、軟體、韌體、特殊應用之處理器或其等之組合的多種形式實施。
最佳而言，將本發明之教示作為硬體與軟體之組合而實施。此外，可將軟體實施為有形地體現在一程式儲存單元上的一應用程式。應用程式可上載至包括任何適合架構之一機器且由該機器執行。較佳而言，該機器係實施在具有硬體(諸如一個或多個中央處理單元(CPU)、一隨機存取記憶體(RAM)及輸入/輸出(I/O)介面)之一電腦平台上。電腦平台亦可包含一作業系統及微指令碼。本文中所描述之多種程序及函數可為微指令碼之部分或應用程式之部分，或其等之組合，該等方法及功能可由一CPU執行。此外，多種其他周邊設備單元(諸如一額外的資料儲存單元及一列印單元)可連接至電腦平台。
應進一步瞭解，由於某些在所伴隨之圖式中所描述的構成系統組件及方法較佳而言以軟體實現，因此在系統組件或處理程序功能方塊之間的實際連接可能因本發明之程式化方式而異。給定本文之教示，熟悉相關技術之一者將可考慮本發明之此等及類似之實施項或組態。
雖然本文參考所伴隨之圖式已描述說明性實施例，應瞭解本發明不限於此等精確的實施例，且可由在相關技術中之一般技術之一者實現多種更改及變動而不背離本發明之範圍或精神。所有此類更改及變動將包含於如所附隨之請求項所陳述的本發明之範圍中。
100．．．用於資料修剪及恢復之系統
110．．．資料修剪器
120．．．編碼器(或壓縮器)
130．．．解碼器(或解壓縮器)
140．．．資料恢復器
300．．．視訊編碼器
305．．．編碼器控制器
310．．．圖框排序緩衝器
315．．．圖像類型決策模組
319．．．組合器
320．．．巨集區塊類型決策模組
325．．．變換器與量化器
330．．．補充增強資訊插入器
335．．．輸出緩衝器
340．．．SPS及PPS插入器
345．．．熵寫碼器
350．．．反向變換器與反向量化器
360．．．框內預測模組
365．．．解區塊濾波器
370．．．運動補償器
375．．．運動估計器
380．．．參考圖像緩衝器
385．．．組合器
390．．．組合器
397．．．開關
400．．．視訊解碼器
405．．．解碼器控制器
410．．．輸入緩衝器
425．．．組合器
445．．．熵解碼器
450．．．反向變換器與反向量化器
460．．．框內預測模組
465．．．解區塊濾波器
470．．．運動補償器
480．．．參考圖像緩衝器
497．．．開關
1000．．．資料修剪之系統
1010．．．資料修剪器
1020．．．資料儲存器或壓縮器
1030．．．內插器
1100．．．用於資料修剪階段的系統
1110．．．整數倍降低取樣器
1120．．．內插器
圖1係根據本發明之一實施例的一方塊圖，其繪示用於資料修剪及恢復之一例示性系統；
圖2係根據本發明之一實施例的一流程圖，其繪示用於資料修剪及恢復之一例示性方法；
圖3係根據本發明之一實施例的一方塊圖，其繪示本發明可能應用到的一例示性視訊編碼器；
圖4係根據本發明之一實施例的一方塊圖，其繪示本發明可能應用到的一例示性視訊解碼器；
圖5A係根據本發明之一實施例的一圖，其繪示關於NEDI-4及NEDI-8之高階邊緣導向的模型參數；
圖5B係根據本發明之一實施例的一圖，其繪示關於NEDI-6之高階邊緣導向的模型參數；
圖6係根據本發明之一實施例的一圖，其繪示藉由捨棄任意線進行資料修剪之一實例；
圖7係根據本發明之一實施例的一圖，其繪示藉由在一圖框中捨棄行及列而進行資料修剪之一實例；
圖8係根據本發明之一實施例的一圖，其繪示藉由捨棄對於一完整的圖像群組(GOP)及/或場景而言相同的行及列進行資料修剪之一實例；
圖9A係根據本發明之一實施例的一圖，其繪示用於指示若干經捨棄的行及列之若干線，該等經捨棄的行及列在吾人所熟知的Akiyo序列之第一圖框中；
圖9B係根據本發明之一實施例的一圖，其繪示對應於圖7A之實例的經修剪之圖框；
圖10係根據本發明之一實施例的方塊圖，其繪示用於基於資料修剪之壓縮的一例示性系統；
圖11係根據本發明之一實施例的一方塊圖，其繪示用於一資料修剪階段的一例示性系統；
圖12(包含圖12A及圖12B)係根據本發明之一實施例的一流程簡圖，其繪示用於最佳資料修剪的一例示性方法；及
圖13係根據本發明之一實施例的一流程圖，其繪示用於最佳資料恢復之一例示性方法。
100．．．用於資料修剪及恢復之系統
110．．．資料修剪器
120．．．編碼器(或壓縮器)
130．．．解碼器(或解壓縮器)
140．．．資料恢復器

Claims (36)

  1. 一種圖像處理裝置，其包括：一資料修剪器(110、1010)，用於在藉由編碼而進行壓縮之前對一圖像進行預處理，且該預處理係為該壓縮作準備，其中該資料修剪器在空間域內選擇性地移除該圖像中之至少一包含一非均勻型樣(pattern)之任意線之區域。
  2. 如請求項1之裝置，其中該資料修剪器(110、1010)係包括於一編碼器(120、300)中。
  3. 如請求項1之裝置，進一步包括耦接至該資料修剪器之一編碼器(120、300)，該編碼器用於對經移除該至少一個區域之該圖像進行編碼。
  4. 如請求項1之裝置，其中指示該至少一區域在該圖像中之一位置之由該資料修剪器產生的旁資訊係傳輸至一解碼器。
  5. 如請求項1之裝置，其中該至少一區域包括下列至少一者：一線、一曲線、一區段及一區域。
  6. 如請求項1之裝置，其中僅該圖像之偶數線或奇數線係由該資料修剪器(110、1010)移除。
  7. 如請求項1之裝置，其中該圖像係包括於一群組圖像之中，且為該群組圖像中的所有圖像指派一相同的移除型樣。
  8. 如請求項1之裝置，其中回應於一影像失真度量、一速率失真度量、一捨棄像素度量及一複雜度度量中之至少 一者之一評估而決定選擇性移除之該至少一區域。
  9. 如請求項1之裝置，其中使用6階內插以在一個維度上移除該至少一區域，且使用8階內插以在兩個維度上移除該至少一區域。
  10. 一種圖像處理方法，其包括：在藉由編碼而進行壓縮之前對一圖像進行預處理(215)，且該預處理係為該壓縮作準備，其中該預處理包括使用具有一處理器(1200)之一資料修剪器在空間域內選擇性地移除該圖像中之至少一包含一非均勻型樣之任意線之區域。
  11. 如請求項10之方法，其中該方法係於一編碼器中執行。
  12. 如請求項10之方法，進一步包括對經移除該至少一區域之該圖像進行編碼(220)。
  13. 如請求項10之方法，其中指示該至少一區域在該圖像中之一位置的旁資訊係傳輸至一解碼器。
  14. 如請求項10之方法，其中該至少一區域包括下列至少一者：一線、一曲線、一區段及一區域。
  15. 如請求項10之方法，其中僅有該圖像之偶數線或奇數線係由該預處理步驟(1206、1209、1212)移除。
  16. 如請求項10之方法，其中該圖像係包括於一群組圖像之中，且為該群組圖像之中的所有圖像指派一相同的移除型樣(1203)。
  17. 如請求項10之方法，其中回應於一影像失真度量、一速率失真度量、一捨棄像素度量及一複雜度度量中之至少 一者之一評估而決定選擇性移除之該至少一區域(1246、1252)。
  18. 如請求項10之方法，其中使用6階內插以在一個維度上移除該至少一區域，且使用8階內插以在兩個維度上移除該至少一區域(1215、1221)。
  19. 一種圖像處理裝置，其包括：一資料恢復器(140)，用於繼藉由解碼而進行解壓縮之後接收一經解壓縮之圖像，並基於指示在先前執行之編碼處理之前移除至少一包含一非均勻型樣之任意線之區域的資訊，藉由於空間域內選擇性地恢復該經解壓縮之圖像中之該至少一區域，而對該經解壓縮之圖像進行後處理。
  20. 如請求項19之裝置，其中該資料恢復器(140)係包括於一解碼器(130、400)中。
  21. 如請求項19之裝置，進一步包括耦接至該資料恢復器(140)之一解碼器(130、400)，該解碼器用於對經移除該至少一個區域之該圖像進行解碼。
  22. 如請求項19之裝置，其中該資料恢復器接收指示該至少一區域在該圖像中之一位置的旁資訊，該旁資訊係自一解碼器接收。
  23. 如請求項19之裝置，其中該至少一區域包括下列至少一者：一線、一曲線、一區段及一區域。
  24. 如請求項19之裝置，其中僅該圖像之偶數線或奇數線係由該資料恢復器恢復。
  25. 如請求項19之裝置，其中該圖像係包括於一群組圖像之中，且為該群組圖像之中的所有圖像指派一相同的移除型樣。
  26. 如請求項19之裝置，其中使用6階內插以在一個維度上恢復該至少一區域，且使用8階內插以在兩個維度上恢復該至少一區域。
  27. 一種圖像處理方法，其包括：繼藉由解碼而進行解壓縮之後接收(235)一經解壓縮之圖像；及使用具有一處理器之一資料恢復器，基於指示在先前執行之編碼處理(1300)之前移除至少一包含一非均勻型樣之任意線之區域的資訊，藉由於空間域內選擇性地恢復該經解壓縮之圖像中之該至少一區域，而對該經解壓縮之圖像進行後處理(235)。
  28. 如請求項27之方法，其中該方法係於一解碼器中執行。
  29. 如請求項27之方法，進一步包括在接收步驟之前對經移除該至少一區域之該圖像進行解碼(230、1300)。
  30. 如請求項27之方法，其中該資料恢復器接收指示該至少一區域在該圖像中之一位置的旁資訊，該旁資訊係自一解碼器接收。
  31. 如請求項27之方法，其中該至少一區域包括下列至少一者：一線、一曲線、一區段及一區域(1300)。
  32. 如請求項27之方法，其中僅該圖像之偶數線或奇數線係由該後處理步驟(1325、1340、1350)恢復。
  33. 如請求項27之方法，其中該圖像係包括於一群組圖像之中，且為該群組圖像之中的所有圖像指派一相同的移除型樣(1310)。
  34. 如請求項27之方法，其中使用6階內插以在一個維度上恢復該至少一區域，且使用8階內插以在兩個維度上恢復該至少一區域(1345、1330)。
  35. 一種用於視訊編碼之視訊信號資料結構，其包括：一經編碼圖像，該經編碼圖像在藉由編碼而進行壓縮之前經預處理，其中該圖像經預處理以在空間域內選擇性地移除該圖像中之至少一包含一非均勻型樣之任意線之區域。
  36. 一種其上具有經編碼之視訊信號資料的電腦可讀取儲存媒體，其包括：一經編碼圖像，該經編碼圖像在藉由編碼而進行壓縮之前經預處理，其中該圖像經預處理以在空間域內選擇性地移除該圖像中之至少一包含一非均勻型樣之任意線之區域。
TW098130960A 2008-09-18 2009-09-14 視訊影像修剪之方法及裝置 TWI499310B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US9812508P 2008-09-18 2008-09-18

Publications (2)

Publication Number Publication Date
TW201031215A TW201031215A (en) 2010-08-16
TWI499310B true TWI499310B (zh) 2015-09-01

Family

ID=41582015

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098130960A TWI499310B (zh) 2008-09-18 2009-09-14 視訊影像修剪之方法及裝置

Country Status (8)

Country Link
US (1) US9571857B2 (zh)
EP (1) EP2335419B1 (zh)
JP (2) JP2012503416A (zh)
KR (3) KR20160114186A (zh)
CN (1) CN102217314B (zh)
BR (1) BRPI0918044A2 (zh)
TW (1) TWI499310B (zh)
WO (1) WO2010033151A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011361A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 샘플링을 이용한 영상 데이터 인코딩／디코딩 장치 및 인코딩／디코딩 방법
US9602814B2 (en) 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
CN102726044B (zh) 2010-01-22 2016-08-10 汤姆逊许可证公司 使用基于示例的超分辨率的用于视频压缩的数据剪切
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
CN103210648B (zh) * 2010-09-10 2017-06-09 汤姆逊许可公司 使用基于块的混合分辨率数据修剪的视频解码
CN103202017B (zh) * 2010-09-10 2017-02-22 汤姆逊许可公司 使用基于样本的数据修剪的视频解码的方法和装置
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
US20120275511A1 (en) * 2011-04-29 2012-11-01 Google Inc. System and method for providing content aware video adaptation
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9197888B2 (en) 2012-03-13 2015-11-24 Dolby Laboratories Licensing Corporation Overlapped rate control for video splicing applications
CN103379348B (zh) * 2012-04-20 2016-11-16 乐金电子(中国)研究开发中心有限公司 一种编码深度信息时的视点合成方法、装置及编码器
US20140072048A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
WO2017199149A1 (en) * 2016-05-16 2017-11-23 Numeri Ltd. A new pyramid algorithm for video compression and video analysis
KR102010479B1 (ko) * 2018-01-15 2019-08-13 옵티시스 주식회사 비디오 월 시스템
JP6985609B2 (ja) * 2018-05-21 2021-12-22 日本電信電話株式会社 符号化装置、画像補間システム及び符号化プログラム
WO2020037566A1 (zh) * 2018-08-22 2020-02-27 深圳配天智能技术研究院有限公司 一种图像处理、匹配方法、装置及存储介质
US11432009B2 (en) * 2019-07-02 2022-08-30 Intel Corporation Techniques for encoding and decoding immersive video
US11477429B2 (en) 2019-07-05 2022-10-18 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
EP3968635A1 (en) 2020-09-11 2022-03-16 Axis AB A method for providing prunable video
EP3968636A1 (en) * 2020-09-11 2022-03-16 Axis AB A method for providing prunable video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
EP1401211A2 (en) * 2002-09-04 2004-03-24 Microsoft Corporation Multi-resolution video coding and decoding

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2537269B2 (ja) 1988-07-28 1996-09-25 株式会社竹中工務店 危険薬品使用工場等用クリ―ンル―ム
JP2856219B2 (ja) 1990-12-28 1999-02-10 ソニー株式会社 画像データの符号化装置及び符号化方法
US5293434A (en) * 1991-04-10 1994-03-08 International Business Machines Corporation Technique for use in a transform coder for imparting robustness to compressed image data through use of global block transformations
JPH07177507A (ja) * 1993-12-17 1995-07-14 Victor Co Of Japan Ltd 画像データ圧縮装置
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
US5966465A (en) * 1994-09-21 1999-10-12 Ricoh Corporation Compression/decompression using reversible embedded wavelets
US6195465B1 (en) * 1994-09-21 2001-02-27 Ricoh Company, Ltd. Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US5867602A (en) * 1994-09-21 1999-02-02 Ricoh Corporation Reversible wavelet transform and embedded codestream manipulation
US6873734B1 (en) * 1994-09-21 2005-03-29 Ricoh Company Ltd Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US6181825B1 (en) * 1994-12-02 2001-01-30 Comsat Corporation Methods for performing 2-dimensional maximum differences coding and decoding during real-time facsimile image compression and apparatus therefor
JPH08331498A (ja) * 1995-06-01 1996-12-13 Asahi Optical Co Ltd 画像データ再圧縮装置
JP3540447B2 (ja) * 1995-07-20 2004-07-07 三洋電機株式会社 動画像符号化装置及び復号装置
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
TW364107B (en) * 1996-03-25 1999-07-11 Trw Inc Method and system for three-dimensional compression of digital video signals
JP3747970B2 (ja) 1996-12-24 2006-02-22 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
US5928313A (en) * 1997-05-05 1999-07-27 Apple Computer, Inc. Method and apparatus for sample rate conversion
US5995923A (en) * 1997-06-26 1999-11-30 Nortel Networks Corporation Method and apparatus for improving the voice quality of tandemed vocoders
GB2333656B (en) * 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
US6195394B1 (en) * 1998-11-30 2001-02-27 North Shore Laboratories, Inc. Processing apparatus for use in reducing visible artifacts in the display of statistically compressed and then decompressed digital motion pictures
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
JP2001359096A (ja) 1999-06-08 2001-12-26 Matsushita Electric Ind Co Ltd 画像符号化装置
KR20010094694A (ko) * 2000-04-06 2001-11-01 윤종용 티시엠 복호장치 및 방법
DE10048735A1 (de) * 2000-09-29 2002-04-11 Bosch Gmbh Robert Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu
AU2002255237A1 (en) * 2001-03-30 2003-07-24 Yissum Research Development Company Of The Hebrew University Of Jerusalem Discriminative feature selection for data sequences
US7046854B2 (en) * 2001-05-07 2006-05-16 Hrl Laboratories, Llc Signal processing subband coder architecture
EP1452039B1 (en) * 2001-11-29 2008-12-31 Panasonic Corporation Coding distortion removal method and video encoding and decoding methods
JP3797209B2 (ja) * 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
US6829579B2 (en) * 2002-01-08 2004-12-07 Dilithium Networks, Inc. Transcoding method and system between CELP-based speech codes
US7133368B2 (en) 2002-02-01 2006-11-07 Microsoft Corporation Peer-to-peer method of quality of service (QoS) probing and analysis and infrastructure employing same
AU2003209553A1 (en) * 2002-03-13 2003-09-22 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
JP4762486B2 (ja) 2002-09-04 2011-08-31 マイクロソフト コーポレーション マルチ・リゾルーション・ビデオ符号化および復号化
JP3946177B2 (ja) * 2003-08-29 2007-07-18 三洋電機株式会社 動画像符号化装置及び復号装置
KR20060135667A (ko) 2003-12-17 2006-12-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 포맷 변환
US8130825B2 (en) * 2004-05-10 2012-03-06 Nvidia Corporation Processor for video data encoding/decoding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR100648308B1 (ko) * 2004-08-12 2006-11-23 삼성전자주식회사 해상도 변환방법 및 장치
US8112399B2 (en) * 2005-11-07 2012-02-07 International Business Machines Corporation Method and apparatus for configurable data aggregation in a data warehouse
US8738565B2 (en) * 2005-11-07 2014-05-27 International Business Machines Corporation Collecting data from data sources
US20070112876A1 (en) * 2005-11-07 2007-05-17 Blaisdell Russell C Method and apparatus for pruning data in a data warehouse
US20070127824A1 (en) * 2005-12-07 2007-06-07 Trw Automotive U.S. Llc Method and apparatus for classifying a vehicle occupant via a non-parametric learning algorithm
GB2435140B (en) * 2006-02-13 2011-04-06 Snell & Wilcox Ltd Sport action coding
EP1837826A1 (en) * 2006-03-20 2007-09-26 Matsushita Electric Industrial Co., Ltd. Image acquisition considering super-resolution post-interpolation
US20070258012A1 (en) * 2006-05-04 2007-11-08 Syntax Brillian Corp. Method for scaling and cropping images for television display
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US7903894B2 (en) * 2006-10-05 2011-03-08 Microsoft Corporation Color image coding using inter-color correlation
JP2008123086A (ja) 2006-11-09 2008-05-29 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
US20080120676A1 (en) * 2006-11-22 2008-05-22 Horizon Semiconductors Ltd. Integrated circuit, an encoder/decoder architecture, and a method for processing a media stream
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
KR20080071452A (ko) * 2007-01-30 2008-08-04 삼성전자주식회사 리스트 생성용 ｇｕｉ 제공방법 및 이를 적용한 영상기기
US20090299990A1 (en) * 2008-05-30 2009-12-03 Vidya Setlur Method, apparatus and computer program product for providing correlations between information from heterogenous sources
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
US8543884B2 (en) * 2009-06-16 2013-09-24 Qualcomm Incorporated Communications channel parallel interleaver and de-interleaver

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
EP1401211A2 (en) * 2002-09-04 2004-03-24 Microsoft Corporation Multi-resolution video coding and decoding

Also Published As

Publication number Publication date
EP2335419A1 (en) 2011-06-22
CN102217314A (zh) 2011-10-12
KR20110059766A (ko) 2011-06-03
EP2335419B1 (en) 2020-11-04
BRPI0918044A2 (pt) 2015-12-01
KR20170102033A (ko) 2017-09-06
KR101915425B1 (ko) 2018-11-05
US20110170615A1 (en) 2011-07-14
US9571857B2 (en) 2017-02-14
TW201031215A (en) 2010-08-16
JP2014060805A (ja) 2014-04-03
WO2010033151A1 (en) 2010-03-25
KR20160114186A (ko) 2016-10-04
JP2012503416A (ja) 2012-02-02
CN102217314B (zh) 2017-07-28
JP5907941B2 (ja) 2016-04-26

Similar Documents

Publication Publication Date Title
TWI499310B (zh) 視訊影像修剪之方法及裝置
US11323704B2 (en) Apparatus for encoding and decoding image by skip encoding and method for same
US9253504B2 (en) Methods and apparatus for adaptive reference filtering
CN112997500B (zh) 对基于区域的自适应环路滤波器的改进
KR20110015625A (ko) 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치
KR20200055139A (ko) 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
US11202082B2 (en) Image processing apparatus and method
CN115643406A (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
US11087500B2 (en) Image encoding/decoding method and apparatus
KR102668077B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
WO2024078635A1 (en) Down-sampling methods and ratios for super-resolution based video coding
KR20240073227A (ko) 영상 부호화 및 복호화 장치 및 그 방법