TWI650000B - 對視訊進行解碼的裝置 - Google Patents

對視訊進行解碼的裝置 Download PDF

Info

Publication number
TWI650000B
TWI650000B TW106128503A TW106128503A TWI650000B TW I650000 B TWI650000 B TW I650000B TW 106128503 A TW106128503 A TW 106128503A TW 106128503 A TW106128503 A TW 106128503A TW I650000 B TWI650000 B TW I650000B
Authority
TW
Taiwan
Prior art keywords
neighboring
unit
pixel
neighboring pixel
depth
Prior art date
Application number
TW106128503A
Other languages
English (en)
Other versions
TW201740729A (zh
Inventor
李泰美
陳建樂
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201740729A publication Critical patent/TW201740729A/zh
Application granted granted Critical
Publication of TWI650000B publication Critical patent/TWI650000B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

用於對視訊進行畫面內預測的方法與裝置。所述方法包含：判定用於當前區塊的畫面內預測的預定數目的鄰近像素的可用性；若第一鄰近像素不可用，則藉由基於所述第一鄰近像素在預定方向上搜尋所述預定數目的鄰近像素來搜尋可用的第二鄰近像素；以及將所述第一鄰近像素的像素值替換為所發現的第二鄰近像素的像素值。藉由使用預定方向上的緊鄰像素來依序替換並不可用且排除處於預定位置的第一鄰近像素的處於另一位置的至少一個第三鄰近像素。

Description

對視訊進行解碼的裝置
本發明是關於視訊的畫面內預測，且更特定言之，是關於用於視訊的畫面內預測的方法與裝置，其涉及對在限制鄰近像素的使用的受限制畫面內預測模式中不可用的鄰近像素進行替換，以及將所替換的鄰近像素用作參考像素。
在諸如動態圖像專家群（Moving Picture Experts Group；MPEG）-1、MPEG-2, MPEG-4或H.264/MPEG-4進階視訊寫碼（Advanced Video Coding；AVC）的影像壓縮方法中，將圖像劃分為巨集區塊以便對影像做編碼。在可用於畫面間預測或畫面內預測的所有編碼模式中對巨集區塊中的每一者做編碼，且接著在根據用於對巨集區塊做編碼的位元率以及經解碼的巨集區塊與原始巨集區塊之間的失真度而選擇的編碼模式中對巨集區塊中的每一者做編碼。
隨著用於再生以及儲存高解析度或高品質視訊內容的硬體正被開發以及供應，對用於有效地對高解析度或高品質視訊內容做編碼或解碼的視訊編解碼器的需要增加。在習知視訊編解碼器中，視訊是以各自具有預定大小的巨集區塊為單位而編碼。
本發明提供對在限制用於畫面內預測的鄰近像素的使用的受限制畫面內預測模式中不可用的鄰近像素進行替換的方法。
根據本發明的一態樣，提供一種對視訊進行畫面內預測的方法，所述方法包括：判定用於藉由根據階層式結構來分割形成所述視訊的圖像而獲得的區塊中的當前區塊的畫面內預測的預定數目的鄰近像素的可用性；若所述預定數目的鄰近像素中，第一鄰近像素不可用，則藉由基於所述第一鄰近像素在預定方向上搜尋所述預定數目的鄰近像素來搜尋可用的第二鄰近像素；將所述第一鄰近像素的像素值替換為所發現的第二鄰近像素的像素值；以及藉由使用包括所述所替換的第一鄰近像素的所述預定數目的鄰近像素來對所述當前區塊執行畫面內預測。
所述可用性的所述判定包括：將包含於經畫面間預測或屬於與所述當前區塊所屬的片段不同的片段的鄰近區塊中的鄰近像素判定為不可用。
所述第一鄰近像素可為所述預定數目的鄰近像素中處於預定位置的像素，且所述搜尋所述第二鄰近像素可包括將藉由基於所述第一鄰近像素在所述預定方向上搜尋所述預定數目的鄰近像素而最初發現的可用鄰近像素判定為所述第二鄰近像素。
所述第一鄰近像素可為位於所述當前區塊的左上角的鄰近像素，且所述搜尋所述第二鄰近像素可包括藉由基於所述第一鄰近像素自左至右搜尋所述當前區塊的頂部鄰近像素以及右上鄰近像素而搜尋所述第二鄰近像素，且若在所述當前區塊的所述頂部鄰近像素以及所述右上鄰近像素中，第二鄰近像素不可用，則基於所述第一鄰近像素自上至下搜尋所述當前區塊的左側鄰近像素以及左下鄰近像素。
所述第一鄰近像素可為位於所述當前區塊的左上角的鄰近像素，且所述搜尋所述第二鄰近像素可包括藉由基於所述第一鄰近像素自上至下搜尋所述當前區塊的左側鄰近像素以及左下鄰近像素而搜尋所述第二鄰近像素，且若在所述當前區塊的所述左側鄰近像素以及所述左下鄰近像素中，第二鄰近像素不可用，則基於所述第一鄰近像素自左至右搜尋所述當前區塊的頂部鄰近像素以及右上鄰近像素。
所述第一鄰近像素可為位於所述當前區塊的左上角的鄰近像素，且所述搜尋所述第二鄰近像素可包括藉由基於所述第一鄰近像素自上至下搜尋所述當前區塊的左側鄰近像素以及左下鄰近像素而判定可用左側鄰近像素，且藉由基於所述第一鄰近像素自左至右搜尋所述當前區塊的頂部鄰近像素以及右上鄰近像素而判定可用頂部鄰近像素；以及藉由使用所述可用左側鄰近像素以及所述可用頂部鄰近像素的平均值來替換所述第一鄰近像素的所述像素值。
所述第一鄰近像素可為位於所述當前區塊的左上角的鄰近像素，且所述搜尋所述第二鄰近像素可包括藉由基於所述第一鄰近像素自上至下搜尋所述當前區塊的左側鄰近像素以及左下鄰近像素而判定可用左側鄰近像素，藉由基於所述第一鄰近像素自左至右搜尋所述當前區塊的頂部鄰近像素以及右上鄰近像素而判定可用頂部鄰近像素，且將所搜尋的所述左側鄰近像素以及所述頂部鄰近像素中較靠近所述第一鄰近像素的鄰近像素判定為所述第二鄰近像素。
所述第一鄰近像素可為所述當前區塊的左側鄰近像素以及左下鄰近像素中的最下方左側鄰近像素，且所述搜尋所述第二鄰近像素可包括藉由基於所述第一鄰近像素自下至上搜尋所述當前區塊的左側鄰近像素以及左下鄰近像素而搜尋所述第二鄰近像素，且若在所述當前區塊的所述左側鄰近像素以及所述左下鄰近像素中，第二鄰近像素不可用，則自左至右搜尋所述當前區塊的頂部鄰近像素以及右上鄰近像素。
所述第一鄰近像素可為所述當前區塊的頂部鄰近像素以及右上鄰近像素中的上方最右側鄰近像素，且所述搜尋所述第二鄰近像素可包括藉由基於所述第一鄰近像素自右至左搜尋所述當前區塊的頂部鄰近像素以及右上鄰近像素而搜尋所述第二鄰近像素，且若在所述當前區塊的所述頂部鄰近像素以及所述右上鄰近像素中，第二鄰近像素不可用，則自上至下搜尋所述當前區塊的左側鄰近像素以及左下鄰近像素。
所述方法可更包括：若至少一個第三鄰近像素不可用，則將所述至少一個第三鄰近像素的像素值替換為先前基於所述預定方向而搜尋的鄰近像素的像素值。
所述第一鄰近像素可為位於所述當前區塊的左上角的鄰近像素，且若所述至少一個第三鄰近像素位於所述當前區塊的頂部，則所述方法可更包括自最左側第三鄰近像素開始依序將所述至少一個第三鄰近像素替換為所述至少一個第三鄰近像素左側的鄰近像素，且若所述至少一個第三鄰近像素位於所述當前區塊的左側，則所述方法可更包括自最頂部第三鄰近像素開始依序將所述至少一個第三鄰近像素替換為所述至少一個第三鄰近像素上方的鄰近像素。
所述第一鄰近像素可為位於所述當前區塊的最下方左側角落的鄰近像素，且若所述至少一個第三鄰近像素位於所述當前區塊的左側，則所述方法可更包括自最底部第三鄰近像素開始依序將所述至少一個第三鄰近像素替換為所述至少一個第三鄰近像素下方的鄰近像素，且若所述至少一個第三鄰近像素位於所述當前區塊的頂部，則所述方法可更包括自最左側第三鄰近像素開始依序將所述至少一個第三鄰近像素替換為所述至少一個第三鄰近像素左側的鄰近像素。
所述第一鄰近像素可為位於所述當前區塊的上方最右側角落的鄰近像素，且若所述至少一個第三鄰近像素位於所述當前區塊的頂部，則所述方法可更包括自最右側第三鄰近像素開始依序將所述至少一個第三鄰近像素替換為所述至少一個第三鄰近像素右側的鄰近像素，且若所述至少一個第三鄰近像素位於所述當前區塊的左側，則所述方法可更包括自最頂部第三鄰近像素開始依序將所述至少一個第三鄰近像素替換為所述至少一個第三鄰近像素上方的鄰近像素。
所述方法可更包括：若所述第二鄰近像素不存在於所述預定數目的鄰近像素中，則將所述第一鄰近像素的所述像素值替換為預定值。
所述預定值可基於像素的位元深度來判定。
根據本發明的另一態樣，提供一種用於對視訊進行畫面內預測的裝置，所述裝置包括：可用性判定器，用於判定用於藉由根據階層式結構來分割形成所述視訊的圖像而獲得的區塊中的當前區塊的畫面內預測的預定數目的鄰近像素的可用性；替換器，用於若所述預定數目的鄰近像素中，第一鄰近像素不可用，則藉由基於所述第一鄰近像素在預定方向上搜尋所述預定數目的鄰近像素來搜尋可用的第二鄰近像素，且將所述第一鄰近像素的像素值替換為所發現的第二鄰近像素的像素值；以及畫面內預測執行器，用於藉由使用包括所述所替換的第一鄰近像素的所述預定數目的鄰近像素來對所述當前區塊執行畫面內預測。
下文中，將參看附圖來更全面描述本發明，附圖中展示了本發明的例示性實施例。
圖1為根據本發明的實施例的視訊編碼裝置100的方塊圖。
視訊編碼裝置100包含最大寫碼單元分割器110、寫碼單元判定器120以及輸出單元130。
最大寫碼單元分割器110可基於影像的當前圖像的最大寫碼單元來分割當前圖像。若當前圖像大於最大寫碼單元，則當前圖像的影像資料可分割為至少一個最大寫碼單元。根據本發明的實施例的最大寫碼單元可為大小為32×32、64×64、128×128、256×256等的資料單元，其中資料單元的形狀是寬度以及長度為2的平方的正方形。影像資料可根據至少一個最大寫碼單元而輸出至寫碼單元判定器120。
根據本發明的實施例的寫碼單元可藉由最大大小以及深度來表徵。深度表示寫碼單元自最大寫碼單元在空間上分割的次數，且隨著深度加深，根據深度的較深編碼單元可自最大寫碼單元分割為最小寫碼單元。最大寫碼單元的深度為最上層深度，且最小寫碼單元的深度為最下層深度。由於對應於每一深度的寫碼單元的大小隨著最大寫碼單元的深度加深而減小，因此對應於較上層深度的寫碼單元可包含對應於較下層深度的多個寫碼單元。
如上所述，當前圖像的影像資料根據寫碼單元的最大大小而分割為最大寫碼單元，且最大寫碼單元中的每一者可包含根據深度而分割的較深寫碼單元。由於根據本發明的實施例的最大寫碼單元是根據深度來分割，因此包含於最大寫碼單元中的空間域的影像資料可根據深度而階層式分類。
限制最大寫碼單元的高度以及寬度階層式分割的總次數的寫碼單元的最大深度以及最大大小可為預定的。
寫碼單元判定器120對藉由根據深度來分割最大寫碼單元的區域而獲得的至少一個分割區域做編碼，且判定深度以根據所述至少一個分割區域來輸出最終編碼的影像資料。換言之，寫碼單元判定器120藉由根據當前圖像的最大寫碼單元來對根據深度的較深寫碼單元中的影像資料做編碼以及選擇具有最小編碼誤差的深度來判定經寫碼的深度。所判定的經寫碼的深度以及根據所判定的經寫碼的深度的經編碼的影像資料輸出至輸出單元130。
基於對應於等於或低於最大深度的至少一個深度的較深寫碼單元而對最大寫碼單元中的影像資料做編碼，且基於較深寫碼單元中的每一者而比較對影像資料做編碼的結果。可在比較較深寫碼單元的編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一最大寫碼單元選擇至少一個經寫碼的深度。
隨著寫碼單元根據深度而階層式分割，且隨著寫碼單元的數目增大，最大寫碼單元的大小被分割。且，即使寫碼單元對應於一個最大寫碼單元中的同一深度，仍藉由單獨量測每一寫碼單元的影像資料的編碼誤差而判定是否將對應於同一深度的寫碼單元中的每一者分割為較下層深度。因此，即使當影像資料包含於一個最大寫碼單元中時，編碼誤差仍可根據所述一個最大寫碼單元中的區域而不同，且因此經寫碼的深度可根據影像資料中的區域而不同。因此，可在一個最大寫碼單元中判定一或多個經寫碼的深度，且可根據至少一個經寫碼的深度的寫碼單元而劃分最大寫碼單元的影像資料。
因此，寫碼單元判定器120可判定包含於最大寫碼單元中的具有樹狀結構的寫碼單元。根據本發明的實施例的「具有樹狀結構的寫碼單元」包含最大寫碼單元中所包含的所有較深寫碼單元中的對應於判定為經寫碼的深度的深度的寫碼單元。可根據最大寫碼單元的同一區域中的深度而階層式判定經寫碼的深度的寫碼單元，且可在不同區域中獨立地進行判定。類似地，可獨立於另一區域中的經寫碼的深度而判定當前區域中的經寫碼的深度。
根據本發明的實施例的最大深度為與自最大寫碼單元至最小寫碼單元的分割次數相關的索引。根據本發明的實施例的第一最大深度可表示自最大寫碼單元至最小寫碼單元的總分割次數。根據本發明的實施例的第二最大深度可表示自最大寫碼單元至最小寫碼單元的總深度層級數。舉例而言，當最大寫碼單元的深度為0時，最大寫碼單元被分割一次的寫碼單元的深度可設定為1，且最大寫碼單元被分割兩次的寫碼單元的深度可設定為2。此處，若最小寫碼單元為最大寫碼單元被分割四次的寫碼單元，則存在深度0、1、2、3以及4的5個深度層級，且因此第一最大深度可設定為4，且第二最大深度可設定為5。
可根據最大寫碼單元執行預測編碼以及變換。根據最大寫碼單元，亦基於根據等於最大深度的深度或小於最大深度的深度的較深寫碼單元來執行預測編碼以及變換。
由於每當根據深度來分割最大寫碼單元，較深寫碼單元的數目便增大，因此對隨著深度加深而產生的所有較深寫碼單元執行包含預測編碼以及變換的編碼。為便於描述，在最大寫碼單元中，現將基於當前深度的寫碼單元來描述預測編碼以及變換。
視訊編碼裝置100可按各種方式選擇用於對影像資料做編碼的資料單元的大小或形狀。為了對影像資料做編碼，執行諸如預測編碼、變換以及熵編碼的操作，且此時，同一資料單元可用於所有操作或不同資料單元可用於每一操作。
舉例而言，視訊編碼裝置100可不僅選擇用於對影像資料做編碼的寫碼單元，而且選擇不同於寫碼單元的資料單元，以便對寫碼單元中的影像資料執行預測編碼。
為了在最大寫碼單元中執行預測編碼，可基於對應於經寫碼的深度的寫碼單元（亦即，基於不再分割為對應於較下層深度的寫碼單元的寫碼單元）來執行預測編碼。下文中，不再分割且變為用於預測編碼的基礎單元的寫碼單元現將被稱為「預測單元」。藉由分割預測單元而獲得的分區可包含藉由分割預測單元的高度以及寬度中的至少一者而獲得的預測單元或資料單元。
舉例而言，當2N×2N（其中N為正整數）的寫碼單元不再分割且變為2N×2N的預測單元，且分區的大小可為2N×2N、2N×N、N×2N或N×N。分區類型的實例包含藉由對稱地分割預測單元的高度或寬度而獲得的對稱分區、藉由非對稱地分割預測單元的高度或寬度（諸如，1:n或n:1）而獲得的分區、藉由用幾何方式分割預測單元而獲得的分區，以及具有任意形狀的分區。
預測單元的預測模式可為畫面內模式、畫面間模式以及跳過模式中的至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N的分區執行畫面內模式或畫面間模式。且，可僅對2N×2N的分區執行跳過模式。在寫碼單元中對一個預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於對影像資料做編碼的寫碼單元而且基於不同於寫碼單元的資料單元而對寫碼單元中的影像資料執行變換。
為了在寫碼單元中執行變換，可基於具有小於或等於寫碼單元的大小的資料單元來執行變換。舉例而言，用於變換的資料單元可包含用於畫面內模式的資料單元以及用於畫面間模式的資料單元。
用作變換的基礎的資料單元現將稱為「變換單元」。類似於寫碼單元，寫碼單元中的變換單元可按遞迴方式分割為較小大小的區域，以使得可單獨以區域為單位來判定變換單元。因此，可根據具有根據變換深度的樹狀結構的變換單元而劃分寫碼單元中的殘餘資料。
亦可在變換單元中設定指示藉由分割寫碼單元的高度以及寬度而達到變換單元的分割次數的變換深度。舉例而言，在2N×2N的當前寫碼單元中，當變換單元的大小亦為2N×2N時，變換深度可為0，當變換單元的大小為N×N時，變換深度可為1，且當變換單元的大小為N/2×N/2時，變換深度可為2。換言之，可根據變換深度而設定具有樹狀結構的變換單元。
根據對應於經寫碼的深度的寫碼單元的編碼資訊不僅需要關於經寫碼的深度的資訊，而且需要與預測編碼以及變換相關的資訊。因此，寫碼單元判定器120不僅判定具有最小編碼誤差的經寫碼的深度，而且判定預測單元中的分區類型、根據預測單元的預測模式，以及用於變換的變換單元的大小。
稍後將參看圖3至圖12詳細描述根據本發明的實施例的最大寫碼單元中的根據樹狀結構的寫碼單元以及判定分區的方法。
寫碼單元判定器120可藉由基於拉格朗日乘數（Lagrangian multiplier）使用位元率-失真最佳化（Rate-Distortion Optimization）來量測根據深度的較深寫碼單元的編碼誤差。
輸出單元130按照位元串流的形式輸出基於由寫碼單元判定器120判定的至少一個經寫碼的深度而編碼的最大寫碼單元的影像資料，以及根據經寫碼的深度關於編碼模式的資訊。
可藉由對影像的殘餘資料做編碼來獲得經編碼的影像資料。
根據經寫碼的深度關於編碼模式的資訊可包含關於經寫碼的深度、關於預測單元中的分區類型、預測模式以及變換單元的大小的資訊。
可藉由使用根據深度的分割資訊來定義關於經寫碼的深度的資訊，根據深度的分割資訊指示是否對較下層深度而非當前深度的寫碼單元執行編碼。若當前寫碼單元的當前深度為經寫碼的深度，則對當前寫碼單元中的影像資料做編碼且輸出，且因此，分割資訊可定義為不將當前寫碼單元分割為較下層深度。或者，若當前寫碼單元的當前深度並非經寫碼的深度，則對較下層深度的寫碼單元執行編碼，且因此分割資訊可定義為分割當前寫碼單元以獲得較下層深度的寫碼單元。
若當前深度並非經寫碼的深度，則對分割為較下層深度的寫碼單元的寫碼單元執行編碼。由於較下層深度的至少一個寫碼單元存在於當前深度的一個寫碼單元中，因此對較下層深度的每一寫碼單元重複地執行編碼，且因此可對具有同一深度的寫碼單元按遞迴方式執行編碼。
由於針對一個最大寫碼單元而判定具有樹狀結構的寫碼單元，且針對經寫碼的深度的寫碼單元而判定關於至少一個編碼模式的資訊，因此可針對一個最大寫碼單元而判定關於至少一個編碼模式的資訊。且，最大寫碼單元的影像資料的經寫碼的深度可根據位置而不同，此是因為根據深度而階層式分割影像資料，且因此可針對影像資料而設定關於經寫碼的深度以及編碼模式的資訊。
因此，輸出單元130可將關於相應經寫碼的深度以及編碼模式的編碼資訊指派給包含於最大寫碼單元中的寫碼單元、預測單元以及最小單元中的至少一者。
根據本發明的實施例的最小單元為藉由將構成最下層深度的最小寫碼單元分割為4份而獲得的正方形資料單元。或者，最小單元可為可包含於最大寫碼單元中所包含的所有寫碼單元、預測單元、分區單元以及變換單元中的最大正方形資料單元。
舉例而言，經由輸出單元130而輸出的編碼資訊可分類為根據寫碼單元的編碼資訊，以及根據預測單元的編碼資訊。根據寫碼單元的編碼資訊可包含關於預測模式以及關於分區的大小的資訊。根據預測單元的編碼資訊可包含關於畫面間模式的估計方向、關於畫面間模式的參考影像索引、關於運動向量、關於畫面內模式的色度分量以及關於畫面內模式的內插方法的資訊。且，關於根據圖像、片段或GOP而定義的寫碼單元的最大大小的資訊，以及關於最大深度的資訊可插入至位元串流的標頭中。
在視訊編碼裝置100中，較深寫碼單元可為藉由將較上層深度的寫碼單元（其為上一層）的高度或寬度劃分為2份而獲得的寫碼單元。換言之，在當前深度的寫碼單元的大小為2N×2N時，較下層深度的寫碼單元的大小為N×N。且，大小為2N×2N的當前深度的寫碼單元可包含較下層深度的最大4個寫碼單元。
因此，視訊編碼裝置100可藉由基於考慮當前圖像的特性而判定的最大寫碼單元的大小以及最大深度，藉由針對每一最大寫碼單元判定具有最佳形狀以及最佳大小的寫碼單元而形成具有樹狀結構的寫碼單元。且，由於藉由使用各種預測模式以及變換中的任一者對每一最大寫碼單元執行編碼，因此可考慮各種影像大小的寫碼單元的特性來判定最佳編碼模式。
因此，若在習知巨集區塊中對具有高解析度或大資料量的影像做編碼，則每圖像的巨集區塊的數目過度地增大。因此，針對每一巨集區塊產生的壓縮資訊的段數增大，且因此難以傳輸壓縮資訊，且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，因為在考慮影像的大小的而增大寫碼單元的最大大小的同時考慮影像的特性而調整寫碼單元，所以影像壓縮效率可提高。
圖2為根據本發明的實施例的視訊解碼裝置200的方塊圖。
視訊解碼裝置200包含接收器210、影像資料以及編碼資訊提取器220以及影像資料解碼器230。用於視訊解碼裝置200的各種操作的各種術語（諸如，寫碼單元、深度、預測單元、變換單元以及關於各種編碼模式的資訊）的定義與參看圖1且參考視訊編碼裝置100所述的術語相同。
接收器210接收且剖析經編碼的視訊的位元串流。影像資料以及編碼資訊提取器220自所剖析的位元串流提取每一寫碼單元的經編碼的影像資料，其中寫碼單元具有根據每一最大寫碼單元的樹狀結構，且將所提取的影像資料輸出至影像資料解碼器230。影像資料以及編碼資訊提取器220可自關於當前圖像的標頭提取關於當前圖像的寫碼單元的最大大小的資訊。
且，影像資料以及編碼資訊提取器220自所剖析的位元串流針對具有根據每一最大寫碼單元的樹狀結構的寫碼單元提取關於經寫碼的深度以及編碼模式的資訊。關於經寫碼的深度以及編碼模式的所提取的資訊輸出至影像資料解碼器230。換言之，位元串流中的影像資料分割為最大寫碼單元，使得影像資料解碼器230對每一最大寫碼單元的影像資料做解碼。
可針對關於對應於經寫碼的深度的至少一個寫碼單元的資訊而設定根據最大寫碼單元關於經寫碼的深度以及編碼模式的資訊，且關於編碼模式的資訊可包含關於對應於經寫碼的深度的相應寫碼單元的分區類型、關於預測模式以及變換單元的大小的資訊。且，可將根據深度的分割資訊作為關於經寫碼的深度的資訊來提取。
由影像資料以及編碼資訊提取器220提取的根據每一最大寫碼單元關於經寫碼的深度以及編碼模式的資訊為關於經判定以在諸如視訊編碼裝置100的編碼器根據每一最大寫碼單元對根據深度的每一較深寫碼單元重複地執行編碼時產生最小編碼誤差的經寫碼的深度以及編碼模式的資訊。因此，視訊解碼裝置200可藉由根據產生最小編碼誤差的經寫碼的深度以及編碼模式來對影像資料做解碼而復原影像。
由於關於經寫碼的深度以及編碼模式的編碼資訊可指派給相應寫碼單元、預測單元以及最小單元中的預定資料單元，因此影像資料以及編碼資訊提取器220可提取根據預定資料單元關於經寫碼的深度以及編碼模式的資訊。若根據預定資料單元而記錄關於相應最大寫碼單元的經寫碼的深度以及編碼模式的資訊，則被指派關於經寫碼的深度以及編碼模式的相同資訊的預定資料單元可推斷為包含於同一最大寫碼單元中的資料單元。
影像資料解碼器230可藉由基於根據最大寫碼單元關於經寫碼的深度以及編碼模式的資訊對每一最大寫碼單元中的影像資料做解碼來復原當前圖像。換言之，影像資料解碼器230可基於關於每一最大寫碼單元中所包含的具有樹狀結構的寫碼單元中的每一寫碼單元的分區類型、預測模式以及變換單元的所提取的資訊而對經編碼的影像資料做解碼。解碼程序可包含：包含畫面內預測以及運動補償的預測；以及逆變換。
影像資料解碼器230可基於根據經寫碼的深度關於每一寫碼單元的預測單元的分區類型以及預測模式的資訊根據所述寫碼單元的分區以及預測模式來執行畫面內預測或運動補償。
且，影像資料解碼器230可基於根據經寫碼的深度關於寫碼單元的變換單元的大小的資訊根據寫碼單元中的每一變換單元來執行逆變換，以便根據最大寫碼單元來執行逆變換。
影像資料解碼器230可藉由使用根據深度的分割資訊而判定當前最大寫碼單元的至少一個經寫碼的深度。若分割資訊指示影像資料在當前深度中不再分割，則當前深度為經寫碼的深度。因此，影像資料解碼器230可藉由使用關於對應於經寫碼的深度的每一寫碼單元的預測單元的分區類型、預測模式以及變換單元的大小的資訊來對對應於當前最大寫碼單元中的每一經寫碼的深度的至少一個寫碼單元的經編碼的資料做解碼。
換言之，可藉由觀測針對寫碼單元、預測單元以及最小單元中的預定資料單元而指派的編碼資訊集合來收集含有包含相同分割資訊的編碼資訊的資料單元，且可將所收集的資料單元視為待由影像資料解碼器230在同一編碼模式中解碼的一個資料單元。
視訊解碼裝置200可獲得關於在對每一最大寫碼單元按遞迴方式執行編碼時產生最小編碼誤差的至少一個寫碼單元的資訊，且可使用所述資訊來對當前圖像做解碼。換言之，可對判定為每一最大寫碼單元中的最佳寫碼單元的具有樹狀結構的寫碼單元做解碼。
因此，即使影像資料具有高解析度以及大量資料，仍可藉由使用自編碼器接收的關於最佳編碼模式的資訊藉由使用根據影像資料的特性而適應性地判定的寫碼單元的大小以及編碼模式來有效地對影像資料做解碼以及復原。
現將參看圖3至圖13來描述根據本發明的實施例的判定具有樹狀結構的寫碼單元、預測單元以及變換單元的方法。
圖3為用於描述根據本發明的實施例的寫碼單元的概念的圖式。
寫碼單元的大小可用寬度×高度來表達，且可包含64×64、32×32、16×16以及8×8。64×64的寫碼單元可分割為64×64、64×32、32×64或32×32的分區，且32×32的寫碼單元可分割為32×32、32×16、16×32或16×16的分區，16×16的寫碼單元可分割為16×16、16×8、8×16或8×8的分區，且8×8的寫碼單元可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中，解析度為1920×1080，寫碼單元的最大大小為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，寫碼單元的最大大小為64，且最大深度為3。在視訊資料330中，解析度為352×288，寫碼單元的最大大小為16，且最大深度為1。圖3所示的最大深度表示自最大寫碼單元至最小解碼單元的總分割次數。
若解析度高或資料量大，則寫碼單元的最大大小可為大的，以便不僅提高編碼效率而且準確地反映影像的特性。因此，具有高於視訊資料330的解析度的視訊資料310以及320的寫碼單元的最大大小可為64。
由於視訊資料310的最大深度為2，因此視訊資料310的寫碼單元315可包含長軸大小為64的最大寫碼單元，以及長軸大小為32以及16的寫碼單元，此是因為深度藉由分割最大寫碼單元兩次而加深為兩層。同時，由於視訊資料330的最大深度為1，因此視訊資料330的寫碼單元335可包含長軸大小為16的最大寫碼單元，以及長軸大小為8的寫碼單元，此是因為深度藉由分割最大寫碼單元一次而加深為一層。
由於視訊資料320的最大深度為3，因此視訊資料320的寫碼單元325可包含長軸大小為64的最大寫碼單元，以及長軸大小為32、16以及8的寫碼單元，此是因為深度藉由分割最大寫碼單元三次而加深為三層。隨著深度加深，可精確地表達詳細資訊。
圖4為根據本發明的實施例的基於寫碼單元的影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100的寫碼單元判定器120的操作以對影像資料做編碼。換言之，畫面內預測器410對當前畫面405中的處於畫面內模式中的寫碼單元執行畫面內預測，且運動估計器420以及運動補償器425藉由使用當前畫面405以及參考畫面495而對當前畫面405中的處於畫面間模式中的寫碼單元執行畫面間估計以及運動補償。
自畫面內預測器410、運動估計器420以及運動補償器425輸出的資料經由變換器430以及量化器440作為經量化的變換係數而輸出。經量化的變換係數經由逆量化器460以及逆變換器470復原為空間域中的資料，且空間域中的所復原的資料在經由解區塊單元480以及迴路濾波單元490後處理之後作為參考畫面495輸出。經量化的變換係數可經由熵編碼器450作為位元串流455輸出。
為了使影像編碼器400應用於視訊編碼裝置100中，影像編碼器400的所有部件（亦即，畫面內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、逆量化器460、逆變換器470、解區塊單元480以及迴路濾波單元490）在考慮每一最大寫碼單元的最大深度的同時基於具有樹狀結構的寫碼單元中的每一寫碼單元來執行操作。
具體言之，畫面內預測器410、運動估計器420以及運動補償器425在考慮當前最大寫碼單元的最大大小以及最大深度的同時判定具有樹狀結構的寫碼單元中的每一寫碼單元的分區以及預測模式，且變換器430判定具有樹狀結構的寫碼單元中的每一寫碼單元中的變換單元的大小。
圖5為根據本發明的實施例的基於寫碼單元的影像解碼器500的方塊圖。
剖析器510自位元串流505剖析待解碼的經編碼的影像資料以及解碼所需的關於編碼的資訊。經編碼的影像資料經由熵解碼器520以及逆量化器530作為經逆量化的資料而輸出，且經逆量化的資料經由逆變換器540而復原為空間域中的影像資料。
畫面內預測器550關於空間域中的影像資料對處於畫面內模式中的寫碼單元執行畫面內預測，且運動補償器560藉由使用參考畫面585對處於畫面間模式中的寫碼單元執行運動補償。
通過畫面內預測器550以及運動補償器560的空間域中的影像資料可在經由解區塊單元570以及迴路濾波單元580後處理之後作為所復原的畫面595輸出。且，經由解區塊單元570以及迴路濾波單元580後處理的影像資料可作為參考畫面585輸出。
為了在視訊解碼裝置200的影像資料解碼器230中對影像資料做解碼，影像解碼器500可執行在剖析器510之後執行的操作。
為了使影像解碼器500應用於視訊解碼裝置200中，影像解碼器500的所有部件（亦即，剖析器510、熵解碼器520、逆量化器530、逆變換器540、畫面內預測器550、運動補償器560、解區塊單元570以及迴路濾波單元580）針對每一最大寫碼單元基於具有樹狀結構的寫碼單元來執行操作。
具體言之，畫面內預測器550以及運動補償器560針對具有樹狀結構的寫碼單元中的每一者基於分區以及預測模式而執行操作，且逆變換器540針對每一寫碼單元基於變換單元的大小而執行操作。
圖6為說明根據本發明的實施例的根據深度的較深寫碼單元以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式寫碼單元以便考慮影像的特性。可根據影像的特性來適應性地判定寫碼單元的最大高度、最大寬度以及最大深度，或可由使用者不同地進行設定。可根據寫碼單元的預定最大大小判定根據深度的較深寫碼單元的大小。
在根據本發明的實施例的寫碼單元的階層式結構600中，寫碼單元的最大高度以及最大寬度各為64，且最大深度為4。由於深度沿著階層式結構600的垂直軸加深，因此將較深寫碼單元的高度以及寬度各自分割。且，沿著階層式結構600的水平軸展示作為用於每一較深寫碼單元的預測編碼的基礎的預測單元以及分區。
換言之，寫碼單元610為階層式結構600中的最大寫碼單元，其中深度為0且大小（亦即，高度乘寬度）為64×64。深度沿著垂直軸而加深，且存在大小為32×32且深度為1的寫碼單元620、大小為16×16且深度為2的寫碼單元630、大小為8×8且深度為3的寫碼單元640，以及大小為4×4且深度為4的寫碼單元646。大小為4×4且深度為4的寫碼單元646為最小寫碼單元。
寫碼單元的預測單元以及分區根據每一深度沿著水平軸而配置。換言之，若大小為64×64且深度為0的寫碼單元610為預測單元，則預測單元可分割為包含於編碼單元610中的分區，亦即，大小為64×64的分區610、大小為64×32的分區612、大小為32×64的分區614或大小為32×32的分區616。
類似地，大小為32×32且深度為1的寫碼單元620的預測單元可分割為包含於寫碼單元620中的分區，亦即，大小為32×32的分區620、大小為32×16的分區622、大小為16×32的分區624以及大小為16×16的分區626。
類似地，大小為16×16且深度為2的寫碼單元630的預測單元可分割為包含於寫碼單元630中的分區，亦即，包含於寫碼單元中的大小為16×16的分區630、大小為16×8的分區632、大小為8×16的分區634以及大小為8×8的分區636。
類似地，大小為8×8且深度為3的寫碼單元640的預測單元可分割為包含於寫碼單元640中的分區，亦即，包含於寫碼單元中的大小為8×8的分區640、大小為8×4的分區642、大小為4×8的分區644以及大小為4×4的分區646。
大小為4×4且深度為4的寫碼單元646為最小寫碼單元以及最下層深度的寫碼單元。寫碼單元646的預測單元僅指派給大小為4×4的分區。
為了判定構成最大寫碼單元610的寫碼單元的至少一個經寫碼的深度，視訊編碼裝置100的寫碼單元判定器120對包含於最大寫碼單元610中的對應於每一深度的寫碼單元執行編碼。
隨著深度加深，包含相同範圍中的資料以及相同大小的根據深度的較深寫碼單元的數目增大。舉例而言，需要對應於深度2的四個寫碼單元來涵蓋包含於對應於深度1的一個寫碼單元中的資料。因此，為了比較根據深度的相同資料的編碼結果，將對應於深度1的寫碼單元以及對應於深度2的四個寫碼單元各自編碼。
為了針對深度中的當前深度執行編碼，沿著階層式結構600的水平軸，可藉由針對對應於當前深度的寫碼單元中的每一預測單元執行編碼而針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度的最小編碼誤差、藉由隨著深度沿著階層式結構600的垂直軸加深而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇寫碼單元610中具有最小編碼誤差的深度以及分區作為寫碼單元610的經寫碼的深度以及分區類型。
圖7為用於描述根據本發明的實施例的寫碼單元710與變換單元720之間的關係的圖式。
視訊編碼裝置100或視訊解碼裝置200針對每一最大寫碼單元根據具有小於或等於最大寫碼單元的大小的寫碼單元來對影像做編碼或解碼。可基於不大於相應寫碼單元的資料單元而選擇在編碼期間用於變換的變換單元的大小。
舉例而言，在視訊編碼裝置100或視訊解碼裝置200中，若寫碼單元710的大小為64×64，則可藉由使用大小為32×32的變換單元720來執行變換。
且，可藉由對大小為小於64×64的32×32、16×16、8×8以及4×4的變換單元中的每一者執行變換而對大小為64×64的寫碼單元710的資料做編碼，且接著可選擇具有最小寫碼誤差的變換單元。
圖8為用於描述根據本發明的實施例的對應於經寫碼的深度的寫碼單元的編碼資訊的圖式。
視訊編碼裝置100的輸出單元130可對關於分區類型的資訊800、關於預測模式的資訊810，以及關於對應於經寫碼的深度的每一寫碼單元的變換單元的大小的資訊820做編碼且作為關於編碼模式的資訊而傳輸。
資訊800指示關於藉由分割當前寫碼單元的預測單元而獲得的分區的形狀的資訊，其中分區為用於當前寫碼單元的預測編碼的資料單元。舉例而言，大小為2N×2N的當前寫碼單元CU_0可分割為大小為2N×2N的分區802、大小為2N×N的分區804、大小為N×2N的分區806以及大小為N×N的分區808中的任一者。此處，關於分區類型的資訊800設定為指示大小為2N×N的分區804、大小為N×2N的分區806以及大小為N×N的分區808中的一者。
資訊810指示每一分區的預測模式。舉例而言，資訊810可指示對由資訊800指示的分區執行的預測編碼的模式，亦即，畫面內模式812、畫面間模式814或跳過模式816。
資訊820指示待基於何時對當前寫碼單元執行變換的變換單元。舉例而言，變換單元可為第一畫面內變換單元822、第二畫面內變換單元824、第一畫面間變換單元826或第二畫面間變換單元828。
根據每一較深寫碼單元，視訊解碼裝置200的影像資料以及編碼資訊提取器220可提取且使用資訊800、810以及820以用於解碼。
圖9為根據本發明的實施例的根據深度的較深寫碼單元的圖式。
分割資訊可用以指示深度的改變。分割資訊指示當前深度的寫碼單元是否分割為較下層深度的寫碼單元。
用於深度為0且大小為2N_0×2N_0的寫碼單元900的預測編碼的預測單元910可包含大小為2N_0×2N_0的分區類型912、大小為2N_0×N_0的分區類型914、大小為N_0×2N_0的分區類型916以及大小為N_0×N_0的分區類型918的分區。圖9僅說明藉由對稱地分割預測單元910而獲得的分區類型912至918，但分區類型不限於此，且預測單元910的分區可包含非對稱分區、具有預定形狀的分區以及具有幾何形狀的分區。
根據每一分區類型，對大小為2N_0×2N_0的一個分區、大小為2N_0×N_0的兩個分區、大小為N_0×2N_0的兩個分區以及大小為N_0×N_0的四個分區重複地執行預測編碼。可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0的分區執行在畫面內模式以及畫面間模式中的預測編碼。僅對大小為2N_0×2N_0的分區執行在跳過模式中的預測編碼。
若編碼誤差在分區類型912至916中的一者中最小，則預測單元910可能不分割為較下層深度。
若編碼誤差在分區類型918中最小，則深度自0改變為1以在操作920中分割分區類型918，且對深度為2且大小為N_0×N_0的寫碼單元930重複地執行編碼以搜尋最小編碼誤差。
用於深度為1且大小為2N_1×2N_1（=N_0×N_0）的寫碼單元930的預測編碼的預測單元940可包含大小為2N_1×2N_1的分區類型942、大小為2N_1×N_1的分區類型944、大小為N_1×2N_1的分區類型946以及大小為N_1×N_1的分區類型948的分區。
若編碼誤差在分區類型948中最小，則深度自1改變為2以在操作950中分割分區類型948，且對深度為2且大小為N_2×N_2的寫碼單元960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時，可執行根據每一深度的分割操作直至深度變為d-1時，且可對分割資訊做編碼直至深度為0至d-2中的一者時。換言之，當執行編碼直至在對應於深度d-2的寫碼單元在操作970中分割之後深度為d-1時，用於深度為d-1且大小為2N_(d-1)×2N_(d-1)的寫碼單元980的預測編碼的預測單元990可包含大小為2N_(d-1)×2N_(d-1)的分區類型992、大小為2N_(d-1)×N_(d-1)的分區類型994、大小為N_(d-1)×2N_(d-1)的分區類型996以及大小為N_(d-1)×N_(d-1)的分區類型998的分區。
可對分區類型992至998中的大小為2N_(d-1)×2N_(d-1)的一個分區、大小為2N_(d-1)×N_(d-1)的兩個分區、大小為N_(d-1)×2N_(d-1)的兩個分區、大小為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區類型。
即使當分區類型998具有最小編碼誤差時，由於最大深度為d，因此不再將深度為d-1的寫碼單元CU_(d-1)分割為較下層深度，且將構成當前最大寫碼單元900的寫碼單元的經寫碼的深度判定為d-1，且可將當前最大寫碼單元900的分區類型判定為N_(d-1)×N_(d-1)。且，由於最大深度為d且具有最下層深度d-1的最小寫碼單元980不再分割為較下層深度，因此不設定用於最小寫碼單元980的分割資訊。
資料單元999可為當前最大寫碼單元的「最小單元」。根據本發明的實施例的最小單元可為藉由將最小寫碼單元980分割為4份而獲得的正方形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由根據寫碼單元900的深度比較編碼誤差而選擇具有最小編碼誤差的深度以判定經寫碼的深度，且將相應分區類型以及預測模式設定為經寫碼的深度的編碼模式。
因而，在所有深度1至d中比較根據深度的最小編碼誤差，且可將具有最小編碼誤差的深度判定為經寫碼的深度。可對經寫碼的深度、預測單元的分區類型以及預測模式做編碼且作為關於編碼模式的資訊而傳輸。且，由於寫碼單元自深度0分割為經寫碼的深度，因此僅經寫碼的深度的分割資訊設定為0，且排除經寫碼的深度的深度的分割資訊設定為1。
視訊解碼裝置200的影像資料以及編碼資訊提取器220可提取且使用關於寫碼單元900的經寫碼的深度以及預測單元的資訊以對分區912做解碼。視訊解碼裝置200可藉由使用根據深度的分割資訊而將分割資訊為0的深度判定為經寫碼的深度，且使用關於相應深度的編碼模式的資訊以用於解碼。
圖10至圖12為用於描述根據本發明的實施例的寫碼單元1010、預測單元1060與變換單元1070之間的關係的圖式。
寫碼單元1010為在最大寫碼單元中對應於由視訊編碼裝置100判定的經寫碼的深度的具有樹狀結構的寫碼單元。預測單元1060為寫碼單元1010中的每一者的預測單元的分區，且變換單元1070為寫碼單元1010中的每一者的變換單元。
當最大寫碼單元的深度在寫碼單元1010中為0時，寫碼單元1012以及1054的深度為1，寫碼單元1014、1016、1018、1028、1050以及1052的深度為2，寫碼單元1020、1022、1024、1026、1030、1032以及1048的深度為3，且寫碼單元1040、1042、1044以及1046的深度為4。
在預測單元1060中，藉由在編碼單元1010中分割寫碼單元而獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之，寫碼單元1014、1022、1050以及1054中的分區類型的大小為2N×N，寫碼單元1016、1048以及1052中的分區類型的大小為N×2N，且寫碼單元1032的分區類型的大小為N×N。寫碼單元1010的預測單元以及分區小於或等於每一寫碼單元。
對小於寫碼單元1052的資料單元中的變換單元1070中的寫碼單元1052的影像資料執行變換或逆變換。且，變換單元1070中的寫碼單元1014、1016、1022、1032、1048、1050以及1052的大小以及形狀不同於預測單元1060中的寫碼單元。換言之，視訊編碼裝置100以及視訊解碼裝置200可對同一寫碼單元中的資料單元個別地執行畫面內預測、運動估計、運動補償、變換以及逆變換。
因此，對在最大寫碼單元的每一區域中具有階層式結構的寫碼單元中的每一者以遞迴方式執行編碼以判定最佳寫碼單元，且因此可獲得具有遞迴樹狀結構的寫碼單元。編碼資訊可包含關於寫碼單元的分割資訊、關於分區類型的資訊、關於預測模式的資訊，以及關於變換單元的大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定的編碼資訊。 表1
視訊編碼裝置100的輸出單元130可輸出關於具有樹狀結構的寫碼單元的編碼資訊，且視訊解碼裝置200的影像資料以及編碼資訊提取器220可自所接收的位元串流提取關於具有樹狀結構的寫碼單元的編碼資訊。
分割資訊指示當前寫碼單元是否分割為較下層深度的寫碼單元。若當前深度d的分割資訊為0，則當前寫碼單元不再分割為較下層深度的深度為經寫碼的深度，且因此可針對經寫碼的深度而定義關於分區類型、預測模式以及變換單元的大小的資訊。若根據分割資訊進一步分割當前寫碼單元，則對較下層深度的四個分割寫碼單元獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式中的一者。可在所有分區類型中定義畫面內模式以及畫面間模式，且僅在大小為2N×2N的分區類型中定義跳過模式。
關於分區類型的資訊可指示：大小為2N×2N、2N×N、N×2N以及N×N的對稱分區類型，其是藉由對稱地分割預測單元的高度或寬度而獲得；以及大小為2N×nU、2N×nD、nL×2N以及nR×2N的非對稱分區類型，其是藉由非對稱地分割預測單元的高度或寬度而獲得。可藉由以1:3以及3:1分割預測單元的高度而分別獲得大小為2N×nU以及2N×nD的非對稱分區類型，且可藉由以1:3以及3:1分割預測單元的寬度而分別獲得大小為nL×2N以及nR×2N的非對稱分區類型。
變換單元的大小可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之，若變換單元的分割資訊為0，則變換單元的大小可為2N×2N，此為當前寫碼單元的大小。若變換單元的分割資訊為1，則可藉由分割當前寫碼單元而獲得變換單元。且，若大小為2N×2N的當前寫碼單元的分區類型為對稱分區類型，則變換單元的大小可為N×N，且若當前寫碼單元的分區類型為非對稱分區類型，則變換單元的大小可為N/2×N/2。
關於具有樹狀結構的寫碼單元的編碼資訊可包含對應於經寫碼的深度的寫碼單元、預測單元以及最小單元中的至少一者。對應於經寫碼的深度的寫碼單元可包含含有相同編碼資訊的預測單元以及最小單元中的至少一者。
因此，藉由比較鄰近資料單元的編碼資訊而判定鄰近資料單元是否包含於對應於經寫碼的深度的同一寫碼單元中。且，藉由使用資料單元的編碼資訊而判定對應於經寫碼的深度的相應寫碼單元，且因此可判定最大寫碼單元中的經寫碼的深度的分佈。
因此，若基於鄰近資料單元的編碼資訊而預測當前寫碼單元，則可直接參考且使用鄰近於當前寫碼單元的較深寫碼單元中的資料單元的編碼資訊。
或者，若基於鄰近資料單元的編碼資訊而預測當前寫碼單元，則使用資料單元的經編碼的資訊而搜尋鄰近於當前寫碼單元的資料單元，且可參考所搜尋的鄰近寫碼單元以用於預測當前寫碼單元。
圖13為用於描述根據表1的編碼模式資訊的寫碼單元、預測單元或分區與變換單元之間的關係的圖式。
最大寫碼單元1300包含經寫碼的深度的寫碼單元1302、1304、1306、1312、1314、1316以及1318。此處，由於寫碼單元1318為經寫碼的深度的寫碼單元，因此分割資訊可設定為0。關於大小為2N×2N的寫碼單元1318的分區類型的資訊可設定為大小為2N×2N的分區類型1322、大小為2N×N的分區類型1324、大小為N×2N的分區類型1326、大小為N×N的分區類型1328、大小為2N×nU的分區類型1332、大小為2N×nD的分區類型1334、大小為nL×2N的分區類型1336以及大小為nR×2N的分區類型1338中的一者。
當分區類型設定為對稱（亦即，分區類型1322、1324、1326或1328）時，若變換單元的分割資訊（TU大小旗標）為0，則設定大小為2N×2N的變換單元1342，且若TU大小旗標為1，則設定大小為N×N的變換單元1344。
當分區類型設定為非對稱（亦即，分區類型1332、1334、1336或1338）時，若TU大小旗標為0，則設定大小為2N×2N的變換單元1352，且若TU大小旗標為1，則設定大小為N/2×N/2的變換單元1354。
下文中，將詳細描述由圖4的視訊編碼裝置100的畫面內預測器410以及圖5的視訊解碼裝置200的畫面內預測器550對預測單元執行的畫面內預測。
畫面內預測器410以及550執行畫面內預測，以藉由使用當前預測單元的鄰近像素而獲得當前預測單元的預測值。考慮預測單元具有等於或大於16×16的大小，畫面內預測器410以及550另外執行使用(dx, dy)參數具有各種方向性的畫面內預測模式以及根據先前技術具有有限方向性的畫面內預測模式。稍後將詳細描述根據本發明的實施例具有各種方向性的畫面內預測模式。
圖14為繪示根據本發明的實施例的根據預測單元的大小的畫面內預測模式的數目的表格。
畫面內預測器410以及550可按各種方式設定根據預測單元的大小應用於預測單元的畫面內預測模式的數目。舉例而言，參看圖14，在待畫面內預測的預測單元的大小為N×N時，實際上對大小為2×2、4×4、8×8、16×16、32×32、64×64以及128×128的預測單元執行的畫面內預測模式的數目可在實例2中分別設定為5、9、9、17、33、5以及5。實際上執行的畫面內預測模式的數目根據預測單元的大小而不同，此是因為用於對預測模式資訊做編碼的額外負擔根據預測單元的大小而不同。換言之，即使佔據整個影像的預測單元的部分小，用於傳輸額外資訊（諸如，此小的預測單元的預測模式）的額外負擔可為大的。因此，當在許多預測模式中對具有小大小的預測單元做編碼時，會提高位元量，且因此會降低壓縮效率。因此，由於具有大大小的預測單元（例如，大小等於或大於64×64的預測單元）大體上主要作為影像的平坦區域的預測單元來選擇，因此，就壓縮效率而言，在許多預測模式中對具有大大小的預測單元（其主要被選擇為對平坦區域做編碼）做編碼可能不充分。因此，在預測單元的大小相比預定大小過大或過小時，可應用相對小的數目的畫面內預測模式。然而，根據預測單元的大小而應用的畫面內預測模式的數目不限於圖14，且可變化。如圖14所示的根據預測單元的大小而應用的畫面內預測模式的數目僅為實例且可變化。或者，應用於預測單元的畫面內預測模式的數目可始終為均勻的，而無關於預測單元的大小。
作為應用於預測單元的畫面內預測模式，畫面內預測器410以及550可包含藉由使用基於預測單元中的像素而具有預定角度的線來判定鄰近參考像素且將所判定的鄰近參考像素用作所述像素的預測子的畫面內預測模式。可藉由使用參數(dx, dy)來設定此線的角度，其中dx以及dy各自為整數。舉例而言，在33種預測模式分別定義為模式N（其中N為0至32的整數）時，模式0設定為垂直模式，模式1設定為水平模式，模式2設定為DC模式，模式3設定為平面模式（plane mode），且模式32設定為平坦模式（planar mode）。且，模式4至31可定義為藉由使用根據分別表達為表1的(1,-1)、(1,1)、(1,2)、(2,1)、(1,-2)、(2,1)、(1,-2)、(2,-1)、(2,-11)、(5,-7)、(10,-7)、(11,3)、(4,3)、(1,11)、(1,-1)、(12,-3)、(1,-11)、(1,-7)、(3,-10)、(5,-6)、(7,-6)、(7,-4)、(11,1)、(6,1)、(8,3)、(5,3)、(5,7)、(2,7)、(5,-7)以及(4,-3)的(dx, dy)具有方向性tan-1 (dy/dx)的線來判定鄰近參考像素且將所判定的鄰近參考像素用於畫面內預測的畫面內預測模式。 表2
可由畫面內預測器410以及550使用的畫面內預測模式的數目不限於表2，且可基於當前預測單元是色度分量還是明度分量或基於當前預測單元的大小而變化。且，每一模式N可表示與上述模式不同的畫面內預測模式。舉例而言，畫面內預測模式的數目可為36，其中，模式0為稍後描述的平坦模式，模式1為DC模式，模式2至34為如稍後描述的具有33種方向性的畫面內預測模式，且模式35為使用對應於色度分量中的預測單元的明度分量中的預測單元的畫面內預測模式Intra_FromLuma。模式35（亦即，使用對應於色度分量中的預測單元的明度分量中的預測單元的畫面內預測模式Intra_FromLuma）僅應用於色度分量中的預測單元且不用於對明度分量中的預測單元做畫面內預測。
圖15為用於描述根據本發明的實施例的具有各種方向性的畫面內預測模式的參考圖。
如上所述，畫面內預測器410以及550可藉由使用具有由多個(dx, dy)參數判定的角tan-1 (dy/dx)的線來判定鄰近參考像素，且藉由使用所判定的鄰近參考像素來執行畫面內預測。
參看圖15，基於待在當前預測單元中預測的當前像素P，根據表2的畫面內預測模式，位於具有根據值(dx, dy)而判定的角tan-1 (dy/dx)的延長線150上的鄰近像素A以及B可用作當前像素P的預測子。此處，用作預測子的鄰近像素可為預先編碼且預先復原並位於當前預測單元的上方、左側、右上方或左下方的先前預測單元的像素。因此，藉由根據具有各種方向性的畫面內預測模式執行預測編碼，可根據影像的特性來有效地執行壓縮。
在圖15中，當藉由使用位於延長線150上或靠近延長線150的鄰近像素而產生當前像素P的預測子時，延長線150實際上具有方向性tan-1 (dy/dx)且除法運算(dy/dx)為使用延長線150來判定鄰近像素所需，且因此硬體或軟體可包含十進制運算，藉此提高了通量（throughput）。因此，當藉由使用(dx, dy)參數來設定用於選擇參考像素的預測方向時，可設定dx以及dy以降低通量。
圖16為用於描述根據本發明的實施例的安置於具有方向性(dx, dy)的延長線上的當前像素與鄰近像素之間的關係的圖式。
參看圖16，P 1610表示位於(j, i)處的當前像素，且A 1611以及B 1612分別表示鄰近上方像素以及鄰近左側像素，而鄰近上方像素以及鄰近左側像素位於通過當前像素P 1610具有方向性（亦即，tan-1 (dy/dx)的角度）的延長線上。假設包含當前像素P 1610的預測單元的大小為nS×nS，其中nS為正整數，預測單元的像素的位置為(0, 0)至(nS-1, nS-1)中的一者，且位於x軸上的鄰近上方像素A 1611的位置為(m, -1)，其中m為整數，且位於y軸上的鄰近左側像素B 1612的位置為(-1, n)，其中n為整數。與通過當前像素P 1610的延長線相交的鄰近上方像素A 1611的位置為(j+i*dx/dy, -1)，且鄰近左側像素B 1612的位置為(-1, i+j*dy/dx)。因此，為了判定鄰近上方像素A 1611或鄰近左側像素B 1612以預測當前像素P 1610，需要除法運算，諸如，dx/dy或dy/dx。如上所述，因為除法運算的運算複雜性高，所以軟體或硬體的運算速度可能低。因此，指示用於判定鄰近像素的預測模式的方向性的dx以及dy中的至少一者可為2的冪。換言之，當n以及m各自為整數時，dx以及dy可分別為2^n以及2^m。
當鄰近左側像素B 1612用作當前像素P 1610的預測子且dx具有值2^n時，判定(-1, i+j*dy/dx)（亦即，鄰近左側像素B 1612的位置）所需的j*dy/dx運算可為(i*dy)/(2^n)，且使用2的冪的除法運算可經由移位運算（諸如，(i*dy)＞＞n）來實現，且因此降低了通量。
類似地，當鄰近上方像素A 1611用作當前像素P 1610的預測子且dy具有值2^m時，判定(j+i*dx/dy,-1)（亦即，鄰近上方像素A 1611的位置）所需的i*dx/dy運算可為(i*dx)/(2^m)，且使用2的冪的除法運算可經由移位運算（諸如，(i*dx)＞＞m）來實現。
圖17以及圖18為展示根據本發明的實施例的畫面內預測模式的方向的圖式。
大體而言，影像或視訊信號中所示的直線圖案主要為垂直或水平的。因此，當藉由使用(dx, dy)參數來定義具有各種方向性的畫面內預測模式時，可如下定義值dx以及dy以提高影像的編碼效率。
詳言之，當dy具有固定值2^m時，dx的絕對值可經設定以使得靠近垂直方向的預測方向之間的間隔窄且預測模式之間的間隔朝向靠近水平方向的預測方向而增大。舉例而言，參看圖17，當dy為2^5（亦即，32）時，dx可設定為2、5、9、13、17、21、26、32、-2、-5、-9、-13、-17、-21、-26以及-32等，以使得靠近垂直方向的預測方向之間的間隔相對窄且預測模式之間的間隔朝向靠近水平方向的預測方向而增大。
類似地，當dx具有固定值2^n時，dy的絕對值可經設定以使得靠近水平方向的預測方向之間的間隔窄且預測模式之間的間隔朝向靠近水平方向的預測方向而增大。舉例而言，參看圖18，當dx為2^5（亦即，32）時，dy可設定為2、5、9、13、17、21、26、32、-2、-5、-9、-13、-17、-21、-26以及-32等，以使得靠近水平方向的預測方向之間的間隔相對窄且預測模式之間的間隔朝向靠近垂直方向的預測方向而增大。
且，當值dx以及dy中的一者固定時，另一值可經設定以便根據預測模式而提高。舉例而言，當值dy固定時，值dx之間的間隔可經設定以按預定值提高。此增量可根據水平方向與垂直方向之間劃分的角而設定。舉例而言，當dy固定時，dx可在相對於垂直軸的角小於15˚的區段中具有增量a，在角介於15˚與30˚之間的區段中具有增量b，且在角高於30˚的區段中具有增量c。
舉例而言，可藉由表3至5中所示的(dx, dy)參數來定義使用(dx, dy)具有方向性tan-1 (dy/dx)的預測模式。 表3 表4 表5
如上所述，使用(dx, dy)參數的畫面內預測模式使用鄰近左側像素(-1, i+j*dy/dx)或鄰近上方像素(j+i*dx/dy,-1)作為位於(j,i)處的像素的預測子。當dx以及dy中的至少一者如表2所示具有2的冪時，可僅經由乘法運算與移位運算而無需除法運算來獲得鄰近左側像素(-1, i+j*dy/dx)與鄰近上方像素(j+i*dx/dy,-1)的位置。當dx如表2所示在(dx, dy)中為2^n（亦即，32）時，可藉由向右移位運算來替換使用dx的除法運算，且因此可基於(i*dy)＞＞n在無需除法運算的情況下獲得鄰近左側像素的位置。類似地，當dy如表2所示在(dx, dy)中為2^m（亦即，32）時，可藉由向右移位運算來替換使用dx的除法運算，且因此可基於(i*dx)＞＞m在無需除法運算的情況下獲得鄰近上方像素的位置。
圖19為展示根據本發明的實施例的具有33種方向性的畫面內預測模式的方向的圖式。
畫面內預測器410以及550可根據圖19所示的具有33種方向性的畫面內預測模式而判定待用作當前像素的預測子的鄰近像素。如上所述，畫面內預測模式的方向可經設定以使得預測模式之間的間隔朝向水平或垂直方向減小且遠離垂直或水平方向增大。
同時，根據如參看圖19所述的具有各種方向性的畫面內預測模式，可限制用作當前區塊的參考像素的鄰近像素的使用。舉例而言，在當前區塊的畫面內預測期間，可限制經由畫面間預測而預測的畫面間區塊中所包含的鄰近像素的使用。因而，限制了畫面間區塊中所包含的鄰近像素的使用，以便防止畫面間區塊中所包含的錯誤的傳播。因此，在當前區塊的畫面內預測期間，可限制與畫面內預測的當前區塊的片段不同的片段中所包含的鄰近區塊的使用。因為可由於根據一般影像程序以片段為單位來封裝且獨立處理影像資料而將不同片段中所包含的鄰近區塊的資料的使用限制為當前區塊的參考資料，所以限制了不同片段中所包含的鄰近區塊的使用。因此，畫面內預測器410以及550可基於包含鄰近像素的鄰近區塊的預測模式或基於包含鄰近區塊的片段是否與包含當前區塊的片段相同，而判定是否將鄰近像素用於當前區塊的畫面內預測。影像編碼器400的畫面內預測器410可設定指示是否將畫面間區塊中所包含的鄰近像素用於當前區塊的畫面內預測的旗標（constrained_intra_pred_flag）的值，且接著將constrained_intra_pred_flag添加至經編碼的位元串流，以便通知畫面間區塊中所包含的鄰近像素的使用的限制。舉例而言，在constrained_intra_pred_flag的值為0時，鄰近像素用於當前區塊的畫面內預測，而無關於鄰近區塊的預測模式。在constrained_intra_pred_flag的值為1時，在當前區塊的畫面內預測期間，可限制畫面間區塊中所包含的鄰近像素的使用。或者，畫面內預測器410以及550可將與當前區塊的片段不同的片段中所包含的鄰近區塊的像素限制為決不用於當前區塊的畫面內預測。
下文中，假設constrained_intra_pred_flag的值為1，亦即，假設在當前區塊的畫面內預測期間，限制了畫面間區塊中所包含的鄰近區塊作為參考像素的使用，參看圖20至圖26詳細描述畫面內預測器410以及550將具有作為參考像素的受限制使用的鄰近像素替換為另一鄰近像素的程序。且，假設在當前區塊的畫面內預測期間，始終限制與當前區塊的片段不同的片段中所包含的鄰近區塊的像素的使用。
圖24為說明根據本發明的實施例的畫面內預測裝置2400的方塊圖。圖24的畫面內預測裝置2400對應於圖4及圖5的畫面內預測器410以及550。
參看圖24，畫面內預測裝置2400包含可用性判定器2410、替換器2420以及畫面內預測執行器2430。
可用性判定器2410判定用於當前區塊的畫面內預測的預定數目的鄰近像素的可用性。此處，可用性指示鄰近像素是否可作為當前區塊的參考像素用於畫面內預測。如上所述，因為將constrained_intra_pred_flag的值假設為1，所以判定與包含當前區塊或經畫面間預測的鄰近區塊的片段不同的片段中所包含的鄰近區塊中所包含的鄰近像素不可用。因此，可用性判定器2410判定當前區塊的預定數目的鄰近像素是否包含與包含當前區塊的片段不同的片段中所包含的鄰近區塊中所包含的鄰近像素，或當前區塊的預定數目的鄰近像素是否包含經畫面間預測的鄰近區塊中所包含的鄰近像素。可根據任何標準來設定鄰近像素的預定數目。舉例而言，在當前區塊的大小為nT×nT（其中nT為整數）時，可判定總計4nT+1個鄰近像素的可用性，所述4nT+1個鄰近像素包含位於當前區塊的頂部以及右上方的2nT個上方鄰近像素、位於當前區塊的左側以及左下方的2nT個左側鄰近像素以及位於當前區塊的左上角的一個鄰近像素。然而，被判定可用性的鄰近像素的數目以及位置可變化。
若鄰近像素全部判定為可用，則編碼器的畫面內預測執行器2430將鄰近像素用作參考像素，以便藉由根據如圖19所示的具有各種方向性的畫面內預測模式來執行畫面內預測，而產生當前區塊的預測區塊。解碼器的畫面內預測執行器2430藉由使用基於自位元串流提取的當前區塊的畫面內預測模式而使用鄰近像素來對當前區塊執行畫面內預測，而產生當前區塊的預測區塊。
若鄰近像素全部判定為不可用，則替換器2420可將不可用鄰近像素的像素值替換為預定值。此處，所述預定值可為基於像素的位元深度而判定的值。像素的位元深度為用於表達一個像素的像素值的位元數目，且可為8至14個位元。因而，可變位元深度BitDepth可經由基礎位元深度BaseBitDepth以及位元深度的可變增量increased_bit_depth而由方程式BitDepth=BaseBitDepth+Increased_bit_depth表示。若位元深度如上所述在8至14個位元的範圍內，則基礎位元深度BaseBitDepth具有值8，且位元深度的增量increased_bit_depth具有值0至6。若鄰近像素全部為不可用，則替換器2420可將鄰近像素的全部值替換為值1＜＜((BitDepth)-1)。舉例而言，在位元深度BitDepth為8時，若鄰近像素全部為不可用，則替換器2420可將鄰近像素的全部值替換為具有像素值1＜＜(8-1)，亦即128（即，1×2^7）。
若可用性判定器2410判定並非預定數目的鄰近像素全部不可用，而是至少一個鄰近像素不可用，則替換器2420藉由基於不可用鄰近像素在預定方向上搜尋預定數目的鄰近像素而搜尋可用鄰近像素，且將不可用鄰近像素的像素值替換為所發現的可用鄰近像素的像素值。下文將參看圖20至圖23描述替換不可用鄰近像素的程序。
在不可用鄰近像素替換為可用鄰近像素時，畫面內預測執行器2430藉由使用所替換的鄰近像素以及可用鄰近像素而對當前區塊執行畫面內預測，且產生當前區塊的預測區塊。
下文中，將參看圖20至圖23詳細描述在當前區塊的畫面內預測期間替換不可用鄰近像素的程序。
圖20為根據本發明的實施例的根據鄰近區塊的類型在當前區塊2000的畫面內預測期間不可用的鄰近像素的圖式。
參看圖20，在當前區塊2000的大小為nT×nT時，可用性判定器2410判定包含位於當前區塊2000的頂部以及右上方的2nT個頂部鄰近像素的鄰近區塊A、B、C、D以及E是否為畫面間區塊或與包含當前區塊2000的片段不同的片段中所包含的區塊。且，可用性判定器2410判定包含位於當前區塊2000的左側以及左下方的2nT個左側鄰近像素的鄰近區塊G、H、I、J以及K以及包含位於當前區塊2000的左上角的一個鄰近像素的鄰近區塊F是否為畫面間區塊或與包含當前區塊2000的片段不同的片段中所包含的區塊。
可用性判定器2410將鄰近區塊A至K中的畫面間區塊或不同片段中所包含的區塊中所包含的鄰近像素判定為不可用鄰近像素。在圖20中，由於鄰近區塊A、B、D、E、F、H以及I為經畫面間預測的畫面間區塊，因此，可用性判定器2410將鄰近區塊A、B、D、E、F、H以及I中所包含的鄰近像素2011、2012以及2013判定為不可用鄰近像素。如上所述，替換器2420基於不可用鄰近像素在預定方向上搜尋可用鄰近像素，且將可用鄰近像素的像素值替換為所發現的可用鄰近像素的像素值。
詳言之，根據實施例的可用性判定器2410首先判定鄰近像素中處於預定位置的鄰近像素（下文中，稱為第一鄰近像素）的可用性。若第一鄰近像素不可用，則替換器2420藉由在預定方向上搜尋鄰近像素而搜尋可用的第二鄰近像素。且，替換器2420將第一鄰近像素替換為所發現的第二鄰近像素。
排除第一鄰近像素的剩餘不可用鄰近像素（下文中，稱為第三鄰近像素）基於預定方向預先處理且替換，或替換為原始可用鄰近像素。根據用於搜尋第二鄰近像素的搜尋次序而依序替換不可用第三鄰近像素。在第一鄰近像素可用時，跳過替換第一鄰近像素的程序，而僅執行替換第三鄰近像素的程序。
下文中，假設圖21至圖23的當前區塊2100、2200以及2300的大小為nT×nT，且P(x,y)為針對當前區塊2100、2200以及2300的畫面內預測而被判定可用性的鄰近像素，其中x=-1，y=-1, ..., 2nT-1且x=0, ..., 2nT-1，y=1。
圖21為用於描述根據本發明的實施例的替換不可用鄰近像素的程序的圖式。
參看圖21，假設鄰近像素中首先被判定可用性的第一鄰近像素為位於當前區塊2100的左上角的鄰近像素P(-1,-1) 2110。可用性判定器2410首先判定第一鄰近像素P(-1,-1) 2110的可用性。若判定第一鄰近像素P(-1,-1) 2110不可用，則替換器2420基於第一鄰近像素P(-1,-1) 2110根據預定方向依序搜尋鄰近像素中的可用鄰近像素，且將第一鄰近像素P(-1,-1) 2110替換為最初發現的可用鄰近像素（下文中，稱為第二鄰近像素）。舉例而言，替換器2420基於第一鄰近像素P(-1,-1) 2110根據自左至右的第一搜尋方向搜尋當前區塊2100的頂部鄰近像素以及右上鄰近像素，且若第二鄰近像素不存在於當前區塊2100的頂部鄰近像素以及右上鄰近像素中，則藉由基於第一鄰近像素P(-1,-1) 2110自上至下搜尋當前區塊2100的左側鄰近像素以及左下鄰近像素而搜尋第二鄰近像素。替換器2420將第一鄰近像素P(-1,-1) 2110替換為根據此搜尋方向以及次序在最初發現的第二鄰近像素。舉例而言，若鄰近像素P(nT-2,-1) 2120為在頂部鄰近像素以及右上鄰近像素中最初發現的第二鄰近像素，則替換器2420將第一鄰近像素P(-1,-1) 2110的像素值替換為第二鄰近像素P(nT-2,-1) 2120的像素值。
排除第一鄰近像素P(-1,-1) 2110，替換器2420將剩餘不可用第三鄰近像素替換為基於預定搜尋方向預先處理且替換的鄰近像素或原始可用鄰近像素。舉例而言，替換器2420將第一鄰近像素P(-1,-1) 2110替換為第二鄰近像素P(nT-2,-1) 2120，且接著將後續不可用鄰近像素P(0,-1)替換為第一鄰近像素P(-1,-1) 2110。由於第一鄰近像素P(-1,-1) 2110替換為第二鄰近像素P(nT-2,-1) 2120，因此鄰近像素P(0,-1)具有與第二鄰近像素P(nT-2,-1) 2120相同的值。若第一鄰近像素P(-1,-1) 2110為原始可用的，則跳過替換第一鄰近像素P(-1,-1) 2110的程序，且因此，替換器2420將鄰近像素P(0,-1)的像素值替換為第一鄰近像素P(-1,-1) 2110的像素值。鄰近像素P(1,-1)的像素值替換為鄰近像素P(0,-1)的預先處理的像素值。
對所有不可用第三鄰近像素重複此替換程序。在圖21中，頂部鄰近像素中可用的第二鄰近像素P(nT-2,-1) 2120未被替換，且維持其原始像素值。因而，替換器2420將不可用頂部鄰近像素替換為根據預定搜尋方向預先替換的鄰近像素或原始可用鄰近像素。換言之，排除第一鄰近像素P(-1,-1) 2110以及原始可用鄰近像素，若搜尋方向為自左至右，則替換器2420將第三鄰近像素替換為左側緊鄰像素。因而，在當前區塊2100的頂部存在多個第三鄰近像素時，替換器2420自左至右依序將第三鄰近像素替換為個別左側鄰近像素。此處，用於替換第三鄰近像素的左側鄰近像素可為預先替換或原始可用的鄰近像素。類似地，替換器2420將當前區塊2100的左側鄰近像素以及左下鄰近像素中不可用的第三鄰近像素替換為上方緊鄰像素。舉例而言，替換器2420將不可用鄰近像素P(-1,0)替換為第一鄰近像素P(-1,-1) 2110。如上所述，若第一鄰近像素P(-1,-1) 2110為原始可用的，則跳過替換第一鄰近像素P(-1,-1) 2110的程序，且因此，替換器2420將鄰近像素P(-1,0)替換為第一鄰近像素P(-1,-1) 2110。鄰近像素P(-1,1)的像素值替換為鄰近像素P(-1,0)的預先處理的像素值。類似於上述替換頂部第三鄰近像素的程序，若在當前區塊2100的左側存在多個第三鄰近像素，則替換器2420自上至下依序將第三鄰近像素替換為個別頂部鄰近像素。此處，用於替換第三鄰近像素的頂部鄰近像素可為預先替換或原始可用的鄰近像素。
對不可用的所有左側第三鄰近像素以及左下第三鄰近像素重複此替換程序。左側鄰近像素中可用的鄰近像素P(-1,nT+1) 2130未被替換，且維持其原始像素值。因而，替換器2420將不可用的左側鄰近像素替換為根據預定搜尋方向預先替換的鄰近像素或原始可用鄰近像素。換言之，若搜尋方向為自上至下，則替換器2420將第三鄰近像素替換為上方緊鄰像素。或者，若搜尋了當前區塊2100的頂部以及左側的所有可用鄰近像素，則替換器2420可將第一鄰近像素P(-1,-1)替換為所發現的鄰近像素的平均值。舉例而言，在圖21中，第一鄰近像素P(-1,-1)的像素值可替換為頂部鄰近像素中最初發現可用的第二鄰近像素P(nT-2,-1) 2120與左側鄰近像素中最初發現可用的鄰近像素P(-1,nT+1) 2130的平均值。換言之，在PRA表示第二鄰近像素P(nT-2, -1) 2120的像素值且PLB表示鄰近像素P(-1,nT+1) 2130的像素值時，經由方程式PT=(PRA + PLB +1)＞＞1而獲得的平均值PT可替換為第一鄰近像素P(-1, -1) 2110的像素值。
或者，若搜尋了當前區塊2100的頂部以及左側的所有可用鄰近像素，則替換器2420可藉由基於與第一鄰近像素P(-1,-1) 2110相距的距離將較靠近第一鄰近像素P(-1,-1) 2110的可用鄰近像素判定為第二鄰近像素而替換第一鄰近像素P(-1,-1) 2110，而不是僅使用根據預定搜尋方向最初發現的鄰近像素。在圖21中，由於第一鄰近像素P(-1,-1) 2110與在當前區塊2100的頂部最初發現可用的第二鄰近像素P(nT-2,-1) 2120之間的距離為(nT-2)-(-1)，即，nT-1，且第一鄰近像素P(-1,-1) 2110與在當前區塊2100的左側最初發現可用的鄰近像素P(-1,nT+1) 2130之間的距離為(nT+1)-(-1)，即，nT+2，因此替換器2420可將第一鄰近像素P(-1,-1) 2110替換為第二鄰近像素P(nT-2,-1) 2120。
或者，為了降低搜尋用於替換第一鄰近像素P(-1,-1) 2110的第二鄰近像素的程序的複雜性，替換器2420可僅搜尋緊鄰於第一鄰近像素P(-1,-1) 2110的像素P(-1,0)以及P(0,-1)，而不是搜尋在當前區塊2100的頂部以及左側的所有鄰近像素，且可將第一鄰近像素P(-1,-1) 2110替換為像素P(-1,0)以及P(0,-1)中的可用鄰近像素。或者，替換器2420可按照像素P(-1,0)以及P(0,-1)或P(0,-1)以及P(-1,0)的次序搜尋鄰近像素，且將第一鄰近像素P(-1,-1) 2110替換為首先發現的可用鄰近像素的像素值。若在像素P(-1,0)以及P(0,-1)中未發現可用鄰近像素，則替換器2420可如上所述基於位元深度而將第一鄰近像素P(-1,-1) 2110替換為預定值。若像素P(-1,0)與P(0,-1)兩者可用，則替換器2420可將第一鄰近像素P(-1,-1) 2110替換為P(-1,0)與P(0,-1)的平均值。
同時，可改變頂部鄰近像素以及左側鄰近像素的搜尋次序以及搜尋方向。換言之，替換器2420可首先搜尋當前區塊2100的左側鄰近像素以及左下鄰近像素，且若未發現可用鄰近像素，則可接著搜尋頂部鄰近像素以及右上鄰近像素。且，替換器2420可自下至上搜尋左側鄰近像素以及左下鄰近像素，而不是藉由自上至下搜尋左側鄰近像素以及左下鄰近像素來搜尋可用鄰近像素。且，替換器2420可自右至左搜尋頂部鄰近像素以及右上鄰近像素，而不是藉由自左至右搜尋頂部鄰近像素以及右上鄰近像素來搜尋可用鄰近像素。
或者，替換器2420可將第一鄰近像素P(-1,-1) 2110的像素值替換為當前區塊2100的頂部、右上、左側以及左上鄰近像素中的所有可用鄰近像素的平均值，而不是使用頂部鄰近像素或左側鄰近像素中最初發現可用的鄰近像素，來替換第一鄰近像素P(-1,-1) 2110。
圖22為用於描述根據本發明的另一實施例的替換不可用鄰近像素的程序的圖式。
參看圖22，假設鄰近像素中首先被判定可用性的第一鄰近像素為位於當前區塊2200的最下方左側的鄰近像素P(-1,2nT-1) 2210。換言之，可用性判定器2410首先判定第一鄰近像素P(-1,2nT-1) 2210的可用性。若判定第一鄰近像素P(-1,2nT-1) 2210不可用，則替換器2420基於第一鄰近像素P(-1,2nT-1) 2210根據預定次序依序搜尋鄰近像素中的可用鄰近像素，且將第一鄰近像素P(-1,2nT-1) 2210替換為最初發現的可用第二鄰近像素。舉例而言，替換器2420基於第一鄰近像素P(-1,2nT-1) 2210根據自下至上的第一搜尋方向搜尋當前區塊2200的左側鄰近像素以及左下鄰近像素，且若未在左側鄰近像素以及左下鄰近像素中發現可用第二鄰近像素，則替換器2420藉由根據自左至右的第二搜尋方向搜尋當前區塊2200的頂部鄰近像素以及右上鄰近像素而搜尋可用第二鄰近像素。替換器2420將第一鄰近像素P(-1,2nT-1) 2210替換為根據此搜尋方向以及搜尋次序最初發現的可用第二鄰近像素。舉例而言，若左側鄰近像素中的鄰近像素P(-1, nT-2) 2220為根據搜尋次序最初發現的可用第二鄰近像素，則替換器2420將第一鄰近像素P(-1,2nT-1) 2210的像素值替換為第二鄰近像素P(-1, nT-2) 2220的像素值。
類似於上述實施例，排除第一鄰近像素P(-1,2nT-1) 2210，替換器2420將剩餘不可用第三鄰近像素替換為基於預定搜尋方向預先處理且替換的鄰近像素或原始可用鄰近像素。舉例而言，替換器2420將第一鄰近像素P(-1,2nT-1) 2210替換為第二鄰近像素P(-1, nT-2) 2220，且接著將後續不可用鄰近像素P(-1, 2nT-2)替換為第一鄰近像素P(-1,2nT-1) 2210。若第一鄰近像素P(-1, 2nT-1) 2210為原始可用的，則跳過替換第一鄰近像素P(-1, 2nT-1) 2210的程序，且因此，替換器2420將鄰近像素P(-1, 2nT-2)的像素值替換為第一鄰近像素P(-1, 2nT-1) 2210的像素值。
對所有不可用第三鄰近像素重複此替換程序。在圖22中，左側鄰近像素以及頂部鄰近像素中可用的第二鄰近像素P(-1, nT-2) 2220以及鄰近像素P(nT+1, -1) 2230未被替換，且維持其原始像素值。因而，替換器2420分別基於第一鄰近像素P(-1, 2nT-1) 2210自上至下以及自左至右搜尋當前區塊2200的左側鄰近像素以及頂部鄰近像素，且將第三鄰近像素替換為下方或左側緊鄰像素。換言之，排除第一鄰近像素P(-1, 2nT-1) 2210以及原始可用鄰近像素，替換器2420將位於當前區塊2200的左側以及左下方的不可用第三鄰近像素替換為各別的下方緊鄰像素，且將位於當前區塊2200的頂部以及右上方的不可用第三鄰近像素替換為各別的左側緊鄰像素。因而，替換器2420分別自下至上將位於當前區塊2200的左側的多個第三鄰近像素替換為各別的下方鄰近像素，且分別自左至右將位於當前區塊2200的頂部的多個第三鄰近像素替換為各別的左側鄰近像素。如上所述，用於替換的各別的底部或左側鄰近像素可為預先替換或原始可用的鄰近像素。
如上所述，可改變頂部鄰近像素以及左側鄰近像素的搜尋次序或搜尋方向。換言之，替換器2420可首先自右至左搜尋當前區塊2200的頂部鄰近像素以及右上鄰近像素，且若鄰近像素不可用，則可自上至下搜尋當前區塊2200的左側鄰近像素以及左下鄰近像素以搜尋用於替換第一鄰近像素P(-1,2nT-1) 2210的第二鄰近像素。
圖23為用於描述根據本發明的另一實施例的替換不可用鄰近像素的程序的圖式。
參看圖23，假設鄰近像素中最初被判定可用性的第一鄰近像素為位於當前區塊2300的上方最右側的鄰近像素P(2nT-1,-1) 2310。換言之，可用性判定器2410首先判定第一鄰近像素P(2nT-1,-1) 2310的可用性。若判定第一鄰近像素P(2nT-1,-1) 2310不可用，則替換器2420藉由基於第一鄰近像素P(2nT-1,-1) 2310根據預定方向依序搜尋鄰近像素來搜尋可用鄰近像素，且將第一鄰近像素P(2nT-1,-1) 2310替換為最初發現的可用第二鄰近像素。舉例而言，替換器2420基於第一鄰近像素P(2nT-1,-1) 2310根據自右至左的第一搜尋方向搜尋當前區塊2300的頂部鄰近像素以及右上鄰近像素，且若在頂部鄰近像素以及右上鄰近像素中，第二鄰近像素不可用，則藉由自上至下搜尋當前區塊2300的左側鄰近像素以及左下鄰近像素而搜尋可用第二鄰近像素。替換器2420將第一鄰近像素P(2nT-1,-1) 2310替換為根據此搜尋方向以及搜尋次序在最初發現的可用第二鄰近像素。舉例而言，若頂部鄰近像素中的鄰近像素P(nT+1,-1) 2320為根據搜尋次序最初發現的可用第二鄰近像素，則替換器2420將第一鄰近像素P(2nT-1, -1) 2310的像素值替換為第二鄰近像素P(nT+1, -1) 2320的像素值。
且，排除第一鄰近像素P(2nT-1,-1) 2310，替換器2420將剩餘不可用第三鄰近像素替換為基於預定搜尋方向預先處理且替換的鄰近像素或原始可用鄰近像素。舉例而言，替換器2420將第一鄰近像素P(2nT-1,-1) 2310替換為第二鄰近像素P(nT+1,-1)，且接著將後續不可用鄰近像素P(2nT-2,-1)替換為第一鄰近像素P(2nT-1,-1) 2310。
若第一鄰近像素P(2nT-1,-1) 2310為原始可用的，則跳過替換第一鄰近像素P(2nT-1,-1) 2310的程序，且因此，替換器2420將鄰近像素P(2nT-2,-1)的像素值替換為第一鄰近像素P(2nT-1,-1) 2310的原始像素值。
對所有不可用第三鄰近像素重複此替換程序。在圖23中，左側鄰近像素以及頂部鄰近像素中的可用第二鄰近像素P(nT+1,-1) 2320以及可用鄰近像素P(-1,nT-1) 2330未被替換，且維持其原始像素值。因而，替換器2420分別基於第一鄰近像素P(2nT-1,-1) 2310自右至左以及自上至下搜尋當前區塊2300的頂部鄰近像素以及左側鄰近像素，且將不可用第三鄰近像素依序替換為各別的左側或頂部鄰近像素。換言之，排除第一鄰近像素P(2nT-1,-1) 2310以及原始可用鄰近像素，替換器2420將位於當前區塊2300的頂部以及右上方的不可用第三鄰近像素替換為各別的左側緊鄰像素，且將位於當前區塊2300的左側以及左下方的不可用第三鄰近像素替換為各別的上方緊鄰像素。
如上所述，可改變頂部鄰近像素以及左側鄰近像素的搜尋次序以及搜尋方向。換言之，替換器2420可首先自下至上搜尋當前區塊2300的左側鄰近像素以及左下鄰近像素，且若鄰近像素不可用，則自左至右搜尋當前區塊2310的頂部鄰近像素以及右上鄰近像素以搜尋用於替換第一鄰近像素P(2nT-1,-1) 2310的第二鄰近像素。
同時，若完成替換鄰近像素中的不可用鄰近像素的程序，則可執行對鄰近像素進行濾波的程序。可基於當前區塊的大小來判定是否使用經濾波的鄰近像素。舉例而言，可僅在當前區塊的大小為16×16時使用經濾波的鄰近像素。
圖25A為當前區塊2500的經濾波的鄰近像素2510以及2520的圖式。
參看圖25A，位於當前區塊2500的頂部的X鄰近像素2510以及位於當前區塊2500的左側的Y鄰近像素2520可被濾波至少一次，且經濾波的鄰近像素可用於當前區塊2500的畫面內預測。此處，在當前區塊2500的大小為nT×nT時，X可為2nT且Y可為2nT。
當ContextOrg[n]表示大小為nT×nT的當前區塊2500的頂部以及左側的X+Y個原始鄰近像素（其中n為0至X+Y-1的整數）時，n在左側鄰近像素中的鄰近最下方像素中為0（亦即，ContextOrg[0]），且n在頂部鄰近像素中的最右側鄰近像素中為X+Y-1（亦即，ContextOrg[X+Y-1]）。
圖25B為用於描述當前區塊的鄰近像素的濾波程序的參考圖。
參看圖25B，在ContextOrg[n]表示位於當前區塊的頂部以及左側的鄰近像素（其中n為0至4nT-1的整數）時，可經由鄰近像素之間的加權平均值來對鄰近像素進行濾波。當ContextFiltered1[n]表示單次濾波的鄰近像素時，可根據方程式ContextFiltered1[n]=(ContextOrg[n-1]+2*ContextOrg[n]+ContextOrg[n+1])/4來獲得藉由將3分接頭濾波器應用於鄰近像素ContextOrg[n]而濾波的鄰近像素。類似地，可藉由再次計算單次濾波的鄰近像素ContextFiltered1[n]之間的加權平均值來產生兩次濾波的鄰近像素ContextFiltered2[n]。舉例而言，可根據方程式ContextFiltered2[n]=(ContextFiltered1[n-1]+2*ContextFiltered1[n]+ ContextFiltered1[n+1])/4而產生藉由將3分接頭濾波器應用於經濾波的鄰近像素ContextFiltered1[n]而濾波的鄰近像素。用於濾波的濾波器以及執行濾波的次數可變化。
圖26為說明根據本發明的實施例的對視訊進行畫面內預測的方法的流程圖。
在操作2610中，可用性判定器2410判定用於在階層式結構中分割形成視訊的圖像而獲得的區塊中的當前區塊的畫面內預測的預定數目的鄰近像素的可用性。如上所述，若預定數目的鄰近像素中存在與包含經畫面間預測的鄰近區塊或當前區塊的片段不同的片段中所包含的鄰近像素，則可用性判定器2410將對應鄰近像素判定為不可用鄰近像素。
在操作2620中，若預定數目的鄰近像素中，第一鄰近像素不可用，則替換器2420藉由基於第一鄰近像素在預定方向上搜尋預定數目的鄰近像素來搜尋可用第二鄰近像素。在操作2630中，替換器2420將第一鄰近像素的像素值替換為第二鄰近像素的像素值。若處於預定位置的第一鄰近像素可用，則第一鄰近像素用作當前區塊的畫面內預測的參考像素，且替換第一鄰近像素的程序被跳過。因而，在第一鄰近像素不可用且因此替換為第二鄰近像素或可用且因此替換程序被跳過時，執行替換鄰近像素中的不可用第三鄰近像素的程序。
如上所述，根據實施例的替換器2420判定位於當前區塊的最上方左側角落的第一鄰近像素的可用性，若第一鄰近像素不可用，則藉由基於第一鄰近像素自左至右搜尋頂部鄰近像素以及右上鄰近像素來搜尋可用第二鄰近像素，且若在頂部鄰近像素以及右上鄰近像素中，第二鄰近像素不可用，則藉由基於第一鄰近像素自上至下搜尋左側鄰近像素以及左下鄰近像素來搜尋可用第二鄰近像素。替換器2420將根據此搜尋方向以及搜尋次序最初發現的可用鄰近像素判定為第二鄰近像素。接著，替換器2420將第一鄰近像素的像素值替換為第二鄰近像素的像素值。且，排除第一鄰近像素以及原始可用鄰近像素，替換器2420將位於當前區塊的左側以及左下方的不可用的至少一個第三鄰近像素替換為上方緊鄰像素，且將位於當前區塊的頂部以及右上方的不可用的至少一個第三鄰近像素替換為左側緊鄰像素。換言之，藉由使用預定方向上的緊鄰像素，替換器2420執行排除處於預定位置的第一鄰近像素而替換處於其他位置的不可用第三鄰近像素的程序。
根據另一實施例的替換器2420判定位於當前區塊的最下方左側的第一鄰近像素的可用性，且若第一鄰近像素不可用，則藉由基於第一鄰近像素自下至上搜尋左側鄰近像素以及左下鄰近像素，而將最初發現的可用鄰近像素判定為第二鄰近像素。若在左側鄰近像素以及左下鄰近像素中，第二鄰近像素不可用，則替換器2420藉由自左至右搜尋頂部鄰近像素以及右上鄰近像素而將最初發現的可用鄰近像素判定為第二鄰近像素。且，替換器2420將第一鄰近像素的像素值替換為第二鄰近像素的像素值。且，排除第一鄰近像素以及原始可用鄰近像素，替換器2420依序將位於左側以及左下方的不可用第三鄰近像素替換為各別的下方緊鄰像素，且將位於頂部以及右上方的不可用第三鄰近像素替換為各別的左側緊鄰像素。換言之，替換器2420執行排除處於預定位置的第一鄰近像素而將處於其他位置的不可用第三鄰近像素替換為預定方向上的緊鄰像素的程序。
根據另一實施例的替換器2420判定位於當前區塊的上方最右側的第一鄰近像素的可用性，且若第一鄰近像素不可用，則藉由基於第一鄰近像素自右至左搜尋頂部鄰近像素以及右上鄰近像素，而將最初發現的可用鄰近像素判定為第二鄰近像素。若在頂部鄰近像素以及右上鄰近像素中，第二鄰近像素不可用，則替換器2420藉由自上至下搜尋左側鄰近像素以及左下鄰近像素而將最初發現的可用鄰近像素判定為第二鄰近像素。接著，替換器2420將第一鄰近像素的像素值替換為第二鄰近像素的像素值。且，排除第一鄰近像素以及原始可用鄰近像素，替換器2420將位於當前區塊的頂部以及右上方的不可用的至少一個第三鄰近像素替換為右側緊鄰像素，且將位於當前區塊的左側以及左下方的不可用的至少一個第三鄰近像素替換為上方緊鄰像素。換言之，替換器2420執行排除處於預定位置的第一鄰近像素而將處於其他位置的不可用第三鄰近像素替換為預定方向上的緊鄰像素的程序。在操作2640中，畫面內預測執行器2430藉由使用原始鄰近像素以及根據可用性而替換的鄰近像素，而對當前區塊執行畫面內預測。
如上所述，可藉由基於預定搜尋方向搜尋可用鄰近像素並將可用鄰近像素替換為不可用鄰近像素來降低判定用於畫面內預測的參考像素的程序的複雜性。
因為用於實現參看圖1至圖26而描述的畫面內預測方法的程式儲存於電腦可讀記錄媒體中，所以獨立電腦系統可容易根據儲存於電腦可讀記錄媒體中的程式而執行操作。
現將詳細描述根據本發明的實施例的儲存程式的電腦可讀記錄媒體（例如，光碟26000）。
圖27A為根據本發明的實施例的儲存程式的光碟26000的實體結構的圖式。光碟26000（其為儲存媒體）可為硬碟機（hard drive）、緊密光碟-唯讀記憶體（compact disc-read only memory；CD-ROM）光碟、藍光光碟（Blu-ray disc）或數位多功能光碟（digital versatile disc；DVD）。光碟26000包含多個同心磁軌Tr，其各自劃分為在光碟26000的圓周方向上的具體數目的磁區Se。在光碟26000的具體區域中，可指派且儲存執行上述畫面內預測方法的程式。
現將參看圖27B描述電腦系統，所述電腦系統是使用儲存媒體來體現的，所述儲存媒體儲存用於執行如上所述的畫面內預測方法的程式。
圖27B為藉由使用光碟26000而記錄以及讀取程式的光碟機26800的圖式。電腦系統26700可經由光碟機26800而將執行根據本發明的實施例的畫面內預測方法的程式儲存於光碟26000中。為了在電腦系統26700中執行儲存於光碟26000中的程式，可藉由使用光碟機26800而自光碟26000讀取程式，並將其傳輸至電腦系統26700。
執行根據本發明的實施例的畫面內預測方法的程式可不僅儲存於圖27A或圖27B所說明的光碟26000中，而且儲存於記憶卡、ROM卡匣（ROM cassette）或固態磁碟（solid state drive；SSD）中。
下文將描述應用了上述畫面內預測方法的系統。
圖28為提供內容散佈服務的內容供應系統11000的整體結構的圖式。通信系統的服務區域劃分為預定大小的小區，且無線基地台11700、11800、11900以及12000分別安裝於此等小區中。
內容供應系統11000包含多個獨立元件。舉例而言，諸如電腦12100、個人數位助理（personal digital assistant；PDA）12200、視訊攝影機12300以及行動電話12500的所述多個獨立元件經由網際網路服務提供商11200、通信網路11400以及無線基地台11700、11800、11900以及12000而連接至網際網路11100。
然而，內容供應系統11000不限於如圖28所說明的內容供應系統，且多個元件可選擇性連接至所述內容供應系統。多個獨立元件可直接連接至通信網路11400，而不是經由無線基地台11700、11800、11900以及12000來連接。
視訊攝影機12300為能夠攝取視訊影像的成像元件，例如，數位視訊攝影機。行動電話12500可使用各種協定中的至少一種通信方法，例如，個人數位通信（Personal Digital Communications；PDC）、分碼多重存取（Code Division Multiple Access；CDMA）、寬頻分碼多重存取（Wideband-Code Division Multiple Access；W-CDMA）、全球行動通信系統（Global System for Mobile Communications；GSM）以及個人手持電話系統（Personal Handyphone System；PHS）。
視訊攝影機12300可經由無線基地台11900以及通信網路11400而連接至串流伺服器11300。串流伺服器11300允許經由視訊攝影機12300自使用者接收的內容經由即時廣播（real-time broadcast）而串流傳輸。可使用視訊攝影機12300或串流伺服器11300來對自視訊攝影機12300接收的內容做編碼。可將由視訊攝影機12300攝取的視訊資料經由電腦12100傳輸至串流伺服器11300。
亦可將由相機12600攝取的視訊資料經由電腦12100傳輸至串流伺服器11300。相機12600為類似於數位相機能夠攝取靜態影像與視訊影像兩者的成像元件。可使用相機12600或電腦12100來對由相機12600攝取的視訊資料做編碼。執行視訊編碼以及解碼的軟體可儲存於可由電腦12100存取的電腦可讀記錄媒體中，電腦可讀記錄媒體例如為CD-ROM光碟、軟碟（floppy disc）、硬碟機、SSD或記憶卡。
若視訊資料是由內建於行動電話12500中的相機攝取，則可自行動電話12500接收視訊資料。
視訊資料亦可由安裝於視訊攝影機12300、行動電話12500或相機12600中的大型積體電路（large scale integrated circuit；LSI）系統編碼。
內容供應系統11000可對由使用者使用視訊攝影機12300、相機12600、行動電話12500或另一成像元件記錄的內容資料（例如，在音樂會期間記錄的內容）做編碼，且將經編碼的內容資料傳輸至串流伺服器11300。串流伺服器11300可將經編碼的內容資料以串流內容的類型傳輸至請求內容資料的其他用戶端。
用戶端為能夠對經編碼的內容資料做解碼的元件，例如，電腦12100、PDA 12200、視訊攝影機12300或行動電話12500。因此，內容供應系統11000允許用戶端接收並再生經編碼的內容資料。且，內容供應系統11000允許用戶端接收經編碼的內容資料並即時地對經編碼的內容資料做解碼以及再生，藉此實現個人廣播。
內容供應系統11000中所包含的多個獨立元件的編碼以及解碼操作可類似於根據本發明的實施例的畫面內預測方法。
現將參看圖29及圖30更詳細地描述根據本發明的實施例的內容供應系統11000中所包含的行動電話12500。
圖29說明根據本發明的實施例的應用了畫面內預測方法的行動電話12500的外部結構。行動電話12500可為智慧型電話，其功能不受限制，且其大量功能可被改變或擴展。
行動電話12500包含內部天線12510，可經由內部天線12520而與圖21的無線基地台12000交換射頻（radio-frequency；RF）信號，且行動電話12500包含用於顯示由相機12530攝取的影像或經由天線12510而接收並被解碼的影像的顯示螢幕12520，例如，液晶顯示器（liquid crystal display；LCD）或有機發光二極體（organic light-emitting diode；OLED）螢幕。行動電話12500包含操作面板12540，其包含控制按鈕以及觸控面板。若顯示螢幕12520為觸控螢幕，則操作面板12540更包含顯示螢幕12520的觸摸感測面板。行動電話12500包含用於輸出語音以及聲音的揚聲器12580或另一類型的聲音輸出單元，以及用於輸入語音以及聲音的麥克風12550或另一類型的聲音輸入單元。行動電話12500更包含相機12530（諸如，電荷耦合元件（charge-coupled device；CCD）相機）以攝取視訊以及靜態影像。行動電話12500可更包含：儲存媒體12570，其用於儲存經編碼/經解碼的資料，例如，由相機12530攝取、經由電子郵件而接收或根據各種方式而獲得的視訊或靜態影像；以及插槽12560，儲存媒體12570經由插槽12560而裝載至行動電話12500中。儲存媒體12570可為快閃記憶體，例如，安全數位（secure digital；SD）卡或包含於塑膠外殼中的電可抹除可程式化唯讀記憶體（electrically erasable and programmable read only memory；EEPROM）。
圖30說明根據本發明的實施例的行動電話12500的內部結構。為了系統地控制包含顯示螢幕12520以及操作面板12540的行動電話12500的多個部分，電力供應電路12700、操作輸入控制器12640、影像編碼單元12720、相機介面12630、LCD控制器12620、影像解碼單元12690、多工器/解多工器12680、記錄/讀取單元12670、調變/解調變單元12660以及聲音處理器12650經由同步匯流排12730而連接至中央控制器12710。
若使用者操作電源按鈕且自「電源關閉」狀態設定至「電源開啟」狀態，則電力供應電路12700將電力自電池組（battery pack）供應至行動電話12500的所有部分，藉此將行動電話12500設定於操作模式。
中央控制器12710包含中央處理單元（central processing unit；CPU）、ROM以及RAM。
雖然行動電話12500將通信資料傳輸至外部，但數位資料在中央控制器12710的控制下由行動電話12500產生。舉例而言，聲音處理器12650可產生數位聲音信號，影像編碼單元12720可產生數位影像信號，且訊息的文字資料可經由操作面板12540以及操作輸入控制器12640而產生。在數位信號在中央控制器12710的控制下傳輸至調變/解調變單元12660時，調變/解調變單元12660調變數位信號的頻帶，且通信電路12610對經頻帶調變的數位聲音信號執行數位至類比轉換（DAC）以及頻率轉換。自通信電路12610輸出的傳輸信號可經由天線12510而傳輸至語音通信基地台或無線基地台12000。
舉例而言，在行動電話12500處於交談模式時，經由麥克風12550而獲得的聲音信號在中央控制器12710的控制下由聲音處理器12650變換為數位聲音信號。數位聲音信號可經由調變/解調變單元12660以及通信電路12610而變換為變換信號，且可經由天線12510而傳輸。
當在資料通信模式中傳輸文字訊息（例如，電子郵件）時，文字訊息的文字資料經由操作面板12540而輸入，且經由操作輸入控制器12640而傳輸至中央控制器12710。在中央控制器12710的控制下，文字資料經由調變/解調變單元12660以及通信電路12610變換為傳輸信號，且經由天線12510而傳輸至無線基地台12000。
為了在資料通信模式中傳輸影像資料，由相機12530攝取的影像資料經由相機介面12630而提供至影像編碼單元12720。所攝取的影像資料可經由相機介面12630以及LCD控制器12620直接顯示在顯示螢幕12520上。
影像編碼單元12720的結構可對應於上述影像編碼裝置100的結構。影像編碼單元12720可根據由上述視訊編碼裝置100或影像編碼器400使用的視訊編碼方法而將自相機12530接收的影像資料變換為經壓縮且編碼的影像資料，且接著將經編碼的影像資料輸出至多工器/解多工器12680。在相機12530的記錄操作期間，由行動電話12500的麥克風12550獲得的聲音信號可經由聲音處理器12650而變換為數位聲音資料，且所述數位聲音資料可傳輸至多工器/解多工器12680。
多工器/解多工器12680將自影像編碼單元12720接收的經編碼的影像資料以及自聲音處理器12650接收的聲音資料一起多工。對資料進行多工的結果可經由調變/解調變單元12660以及通信電路12610而變換為變換信號，且可接著經由天線12510而傳輸。
雖然行動電話12500自外部接收通信信號，但對經由天線12510而接收的信號執行頻率恢復以及ADC，以將信號變換為數位信號。調變/解調變單元12660調變數位信號的頻帶。經頻帶調變的數位信號根據數位信號的類型而傳輸至視訊解碼單元12690、聲音處理器12650或LCD控制器12620。
在交談模式中，行動電話12500放大經由天線12510而接收的信號，且藉由對經放大的信號執行頻率轉換以及ADC而獲得數位聲音信號。在中央控制器12710的控制下，所接收的數位聲音信號經由調變/解調變單元12660以及聲音處理器12650而變換為類比聲音信號，且所述類比聲音信號經由揚聲器12580而輸出。
在處於資料通信模式時，接收在網際網路網站處存取的視訊檔案的資料，且將經由天線12510而自無線基地台12000接收的信號經由調變/解調變單元12660作為經多工的資料而輸出，且將經多工的資料傳輸至多工器/解多工器12680。
為了對經由天線12510而接收的經多工的資料做解碼，多工器/解多工器12680將經多工的資料解多工為經編碼的視訊資料串流以及經編碼的音訊資料串流。經由同步匯流排12730而分別將經編碼的視訊資料串流以及經編碼的音訊資料串流提供至視訊解碼單元12690以及聲音處理器12650。
影像解碼單元12690的結構可對應於上述影像解碼裝置200的結構。根據由上述視訊解碼裝置200或影像解碼器500使用的視訊解碼方法，影像解碼單元12690可對經編碼的視訊資料做解碼以獲得所復原的視訊資料且經由LCD控制器12620而將所復原的視訊資料提供至顯示螢幕12520。
因此，在網際網路網站處存取的視訊檔案的資料可顯示於顯示螢幕12520上。同時，聲音處理器12650可將音訊資料變換為類比聲音信號，且將類比聲音信號提供至揚聲器12580。因此，在網際網路網站處存取的視訊檔案中所含有的音訊資料亦可經由揚聲器12580而再生。
行動電話12500或另一類型的通信終端機可為包含根據本發明的實施例的視訊編碼裝置與視訊解碼裝置兩者的收發終端機，可為僅包含視訊編碼裝置的收發終端機，或可為僅包含視訊解碼裝置收發終端機。
根據本發明的通信系統不限於上文參看圖28所描述的通信系統。舉例而言，圖31說明根據本發明的實施例的使用通信系統的數位廣播系統。圖31的數位廣播系統可藉由使用根據本發明的實施例的視訊編碼裝置以及視訊解碼裝置而接收經由衛星或地面網路傳輸的數位廣播。
具體言之，廣播站12890藉由使用無線電波而將視訊資料串流傳輸至通信衛星或廣播衛星12900。廣播衛星12900傳輸廣播信號，且廣播信號經由家用天線12860而傳輸至衛星廣播接收器。在每個家庭中，經編碼的視訊串流可由TV接收器12810、機上盒（set-top box）12870或另一元件解碼並再生。
在根據本發明的實施例的視訊解碼裝置實施於再生裝置12830中時，再生裝置12830可對記錄於儲存媒體12820（諸如，光碟或記憶卡）上的經編碼的視訊串流進行剖析以及解碼以復原數位信號。因此，所復原的視訊信號可再生於（例如）監視器12840上。
在連接至用於衛星/地面廣播的天線12860或用於接收有線電視（TV）廣播的電纜天線12850的機上盒12870中，可安裝有根據本發明的實施例的視訊解碼裝置。自機上盒12870輸出的資料亦可再生於TV監視器12880上。
作為另一實例，根據本發明的實施例的視訊解碼裝置可安裝於TV接收器12810而非機上盒12870上。
具有合適天線12910的汽車12920可接收自衛星12900或圖21的無線基地台11700傳輸的信號。經解碼的視訊可再生於安裝於汽車12920中的汽車導航系統12930的顯示螢幕上。
視訊信號可由根據本發明的實施例的視訊編碼裝置編碼且可接著儲存於儲存媒體中。具體言之，影像信號可由DVD記錄器儲存於DVD光碟12960中或可由硬碟記錄器12950儲存於硬碟中。作為另一實例，視訊信號可儲存於SD卡12970中。若硬碟記錄器12950包含根據本發明的實施例的視訊解碼裝置，則DVD光碟12960、SD卡12970或另一儲存媒體上所記錄的視訊信號可再生於TV監視器12880上。
汽車導航系統12930可能不包含圖30的相機12530、相機介面12630以及影像編碼單元12720。舉例而言，電腦12100以及TV接收器12810可能不包含於圖30的相機12530、相機介面12630以及影像編碼單元12720中。
圖32為說明根據本發明的實施例的使用視訊編碼裝置以及視訊解碼裝置的雲端計算系統的網路結構的圖式。
雲端計算系統可包含雲端計算伺服器14000、使用者資料庫（DB）14100、多個計算資源14200以及使用者終端機。
雲端計算系統回應於來自使用者終端機的請求而經由資料通信網路（例如，網際網路）提供多個計算資源14200的應需委外服務（on-demand outsourcing service）。在雲端計算環境下，服務提供商藉由使用虛擬化技術來組合位於實體上不同位置處的資料中心的計算資源而向使用者提供所要服務。服務使用者並不需要將計算資源（例如，應用程式、儲存器、作業系統（OS）或安全機制）安裝於其自身的終端機上以便進行使用，而是可在所要時間點自經由虛擬化技術而產生的虛擬空間中的服務選擇所要服務並進行使用。
指定服務使用者的使用者終端機經由資料通信網路（包含網際網路以及行動電信網路）而連接至雲端計算伺服器14000。可自雲端計算伺服器14000對使用者終端機提供雲端計算服務且特定言的視訊再生服務。使用者終端機可為能夠連接至網際網路的各種類型的電子元件，例如，桌上型PC 14300、智慧型TV 14400、智慧型電話14500、筆記型電腦14600、攜帶型多媒體播放器（PMP）14700、平板型PC 14800及其類似者。
雲端計算伺服器14000可組合雲端網路中所分散的多個計算資源14200且向使用者終端機提供組合的結果。多個計算資源14200可包含各種資料服務，且可包含自使用者終端機上傳的資料。如上所述，雲端計算伺服器14000可藉由根據虛擬化技術來組合不同區域中所分散的視訊資料庫而向使用者終端機提供所要服務。
關於已預訂雲端計算服務的使用者的使用者資訊儲存於使用者DB 14100中。使用者資訊可包含使用者的登錄資訊、地址、姓名以及個人信用資訊。使用者資訊可更包含視訊的索引。此處，索引可包含已再生的視訊的清單、正再生的視訊的清單、再生的視訊的暫停點（pausing point）以及其類似者。
關於儲存於使用者DB 14100中的視訊的資訊可在使用者元件之間共用。舉例而言，在視訊服務回應於來自筆記型電腦14600的請求而提供至筆記型電腦14600時，視訊服務的再生歷史儲存於使用者DB 14100中。在自智慧型電話14500接收到對再生此視訊服務的請求時，雲端計算伺服器14000基於使用者DB 14100而搜尋並再生此視訊服務。在智慧型電話14500自雲端計算伺服器14000接收視訊資料串流時，藉由對視訊資料串流做解碼而再生視訊的程序類似於上文參看圖30所描述的行動電話12500的操作。
雲端計算伺服器14000可參考儲存於使用者DB 14100中的所要視訊服務的再生歷史。舉例而言，雲端計算伺服器14000自使用者終端機接收對再生儲存於使用者DB 14100中的視訊的請求。若正再生此視訊，則由雲端計算伺服器14000執行的串流傳輸此視訊的方法可根據來自使用者終端機的請求（亦即，根據將始於視訊的開始還是其暫停點而再生視訊）而變化。舉例而言，若使用者終端機請求始於視訊的開始而再生視訊，則雲端計算伺服器14000始於視訊的第一畫面而將視訊的資料串流傳輸至使用者終端機。舉例而言，若使用者終端機請求始於視訊的暫停點而再生視訊，則雲端計算伺服器14000始於對應於暫停點的畫面而將視訊的資料串流傳輸至使用者終端機。
在此狀況下，使用者終端機可包含如上所述的視訊解碼裝置。作為另一實例，使用者終端機可包含如上所述的視訊編碼裝置。或者，使用者終端機可包含如上所述的視訊解碼裝置與視訊編碼裝置兩者。
上文已參看圖27A至圖32而描述上述的根據本發明的實施例的視訊編碼方法、視訊解碼方法、視訊編碼裝置以及視訊解碼裝置的各種應用。然而，根據本發明的各種實施例的將視訊編碼方法以及視訊解碼方法儲存於儲存媒體中的方法或將視訊編碼裝置以及視訊解碼裝置實施在元件中的方法不限於上文參看圖27A至圖32而描述的實施例。
根據本發明的一或多個實施例，可藉由基於預定搜尋方向搜尋可用鄰近像素並將可用鄰近像素替換為不可用鄰近像素來降低判定用於畫面內預測的參考像素的程序的複雜性。
儘管已參考本發明的例示性實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專利範圍界定的本發明的精神以及範疇的情況下，可對本發明進行形式以及細節上的各種改變。
100‧‧‧視訊編碼裝置
110‧‧‧最大寫碼單元分割器
120‧‧‧寫碼單元判定器
130‧‧‧輸出單元
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料以及編碼資訊提取器
230‧‧‧影像資料解碼器
310‧‧‧視訊資料
315‧‧‧寫碼單元
320‧‧‧視訊資料
325‧‧‧寫碼單元
330‧‧‧視訊資料
335‧‧‧寫碼單元
400‧‧‧影像編碼器
405‧‧‧當前畫面
410‧‧‧畫面內預測器
420‧‧‧運動估計器
425‧‧‧運動補償器
430‧‧‧變換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆變換器
480‧‧‧解區塊單元
490‧‧‧迴路濾波單元
495‧‧‧參考畫面
500‧‧‧影像解碼器
505‧‧‧位元串流
510‧‧‧剖析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆變換器
550‧‧‧畫面內預測器
560‧‧‧運動補償器
570‧‧‧解區塊單元
580‧‧‧迴路濾波單元
585‧‧‧參考畫面
595‧‧‧所復原的畫面
600‧‧‧階層式結構
610‧‧‧寫碼單元/分區/最大寫碼單元/編碼單元
612‧‧‧分區
614‧‧‧分區
616‧‧‧分區
620‧‧‧寫碼單元/分區
622‧‧‧分區
624‧‧‧分區
626‧‧‧分區
630‧‧‧寫碼單元/分區
632‧‧‧分區
634‧‧‧分區
636‧‧‧分區
640‧‧‧寫碼單元/分區
642‧‧‧分區
644‧‧‧分區
646‧‧‧寫碼單元/分區
710‧‧‧寫碼單元
720‧‧‧變換單元
800‧‧‧資訊
802‧‧‧分區
804‧‧‧分區
806‧‧‧分區
808‧‧‧分區
810‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
820‧‧‧資訊
822‧‧‧第一畫面內變換單元
824‧‧‧第二畫面內變換單元
826‧‧‧第一畫面間變換單元
828‧‧‧第二畫面內變換單元
900‧‧‧寫碼單元/當前最大寫碼單元
910‧‧‧預測單元
912‧‧‧分區類型/寫碼單元/分區
914‧‧‧分區類型
916‧‧‧分區類型
918‧‧‧分區類型
920‧‧‧操作
930‧‧‧寫碼單元
940‧‧‧預測單元
942‧‧‧分區類型
944‧‧‧分區類型
946‧‧‧分區類型
948‧‧‧分區類型
950‧‧‧操作
960‧‧‧寫碼單元
970‧‧‧操作
980‧‧‧寫碼單元
990‧‧‧預測單元
992‧‧‧分區類型
994‧‧‧分區類型
996‧‧‧分區類型
998‧‧‧分區類型
999‧‧‧資料單元
1010‧‧‧寫碼單元/編碼單元
1012‧‧‧寫碼單元
1014‧‧‧寫碼單元/編碼單元
1016‧‧‧寫碼單元/編碼單元
1018‧‧‧寫碼單元
1020‧‧‧寫碼單元
1022‧‧‧寫碼單元/編碼單元
1024‧‧‧寫碼單元
1026‧‧‧寫碼單元
1028‧‧‧寫碼單元
1030‧‧‧寫碼單元
1032‧‧‧寫碼單元/編碼單元
1040‧‧‧寫碼單元
1042‧‧‧寫碼單元
1044‧‧‧寫碼單元
1046‧‧‧寫碼單元
1048‧‧‧寫碼單元/編碼單元
1050‧‧‧寫碼單元/編碼單元
1052‧‧‧寫碼單元/編碼單元
1054‧‧‧寫碼單元/編碼單元
1060‧‧‧預測單元
1070‧‧‧變換單元
1300‧‧‧最大寫碼單元
1302‧‧‧寫碼單元
1304‧‧‧寫碼單元
1306‧‧‧寫碼單元
1312‧‧‧寫碼單元
1314‧‧‧寫碼單元
1316‧‧‧寫碼單元
1318‧‧‧寫碼單元
1322‧‧‧分區類型
1324‧‧‧分區類型
1326‧‧‧分區類型
1328‧‧‧分區類型
1332‧‧‧分區類型
1334‧‧‧分區類型
1336‧‧‧分區類型
1338‧‧‧分區類型
1342‧‧‧變換單元
1344‧‧‧變換單元
1352‧‧‧變換單元
1354‧‧‧變換單元
1610‧‧‧當前像素
1611‧‧‧鄰近上方像素
1612‧‧‧鄰近左側像素
2000‧‧‧當前區塊
2011‧‧‧鄰近像素
2012‧‧‧鄰近像素
2013‧‧‧鄰近像素
2100‧‧‧當前區塊
2110‧‧‧第一鄰近像素
2120‧‧‧第二鄰近像素
2130‧‧‧鄰近像素
2200‧‧‧當前區塊
2210‧‧‧第一鄰近像素
2220‧‧‧第二鄰近像素
2230‧‧‧鄰近像素
2300‧‧‧當前區塊
2310‧‧‧第一鄰近像素
2320‧‧‧第二鄰近像素
2330‧‧‧鄰近像素
2400‧‧‧畫面內預測裝置
2410‧‧‧可用性判定器
2420‧‧‧替換器
2430‧‧‧畫面內預測執行器
2500‧‧‧當前區塊
2510‧‧‧鄰近像素
2520‧‧‧鄰近像素
2610‧‧‧操作
2620‧‧‧操作
2630‧‧‧操作
2640‧‧‧操作
11000‧‧‧內容供應系統
11100‧‧‧網際網路
11200‧‧‧網際網路服務提供商
11300‧‧‧串流伺服器
11400‧‧‧通信網路
11700‧‧‧無線基地台
11800‧‧‧無線基地台
11900‧‧‧無線基地台
12000‧‧‧無線基地台
12100‧‧‧電腦
12200‧‧‧個人數位助理
12300‧‧‧視訊攝影機
12500‧‧‧行動電話
12510‧‧‧內部天線
12520‧‧‧顯示螢幕
12530‧‧‧相機
12540‧‧‧操作面板
12550‧‧‧麥克風
12560‧‧‧插槽
12570‧‧‧儲存媒體
12580‧‧‧揚聲器
12600‧‧‧相機
12610‧‧‧通信電路
12620‧‧‧LCD控制器
12630‧‧‧相機介面
12640‧‧‧操作輸入控制器
12650‧‧‧聲音處理器
12660‧‧‧調變/解調變單元
12670‧‧‧記錄/讀取單元
12680‧‧‧多工器/解多工器
12690‧‧‧影像解碼單元
12700‧‧‧電力供應電路
12710‧‧‧中央控制器
12720‧‧‧影像編碼單元
12730‧‧‧同步匯流排
12810‧‧‧TV接收器
12820‧‧‧儲存媒體
12830‧‧‧再生裝置
12840‧‧‧監視器
12850‧‧‧電纜天線
12860‧‧‧天線
12870‧‧‧機上盒
12880‧‧‧TV監視器
12890‧‧‧廣播站
12900‧‧‧廣播衛星
12910‧‧‧天線
12920‧‧‧汽車
12930‧‧‧汽車導航系統
12950‧‧‧硬碟記錄器
12960‧‧‧DVD光碟
12970‧‧‧SD卡
14000‧‧‧雲端計算伺服器
14100‧‧‧使用者資料庫
14200‧‧‧計算資源
14300‧‧‧桌上型PC
14400‧‧‧智慧型TV
14500‧‧‧智慧型電話
14600‧‧‧筆記型電腦
14700‧‧‧攜帶型多媒體播放器
14800‧‧‧平板型PC
26000‧‧‧光碟
26700‧‧‧電腦系統
26800‧‧‧光碟機
A‧‧‧鄰近像素/鄰近區塊
B‧‧‧鄰近像素/鄰近區塊
C‧‧‧鄰近區塊
CU‧‧‧寫碼單元
CU_0‧‧‧當前寫碼單元
CU_1‧‧‧寫碼單元
CU_(d-1)‧‧‧寫碼單元
D‧‧‧鄰近區塊
E‧‧‧鄰近區塊
F‧‧‧鄰近區塊
G‧‧‧鄰近區塊
H‧‧‧鄰近區塊
I‧‧‧鄰近區塊
J‧‧‧鄰近區塊
K‧‧‧鄰近區塊
P‧‧‧當前像素
PU‧‧‧預測單元
Se‧‧‧磁區
Tb‧‧‧距離
Td‧‧‧距離
Tr‧‧‧磁軌
TU‧‧‧變換單元
圖1為根據本發明的實施例的用於對視訊做編碼的裝置的方塊圖。 圖2為根據本發明的實施例的用於對視訊做解碼的裝置的方塊圖。 圖3為用於描述根據本發明的實施例的寫碼單元的概念的圖式。 圖4為根據本發明的實施例的基於寫碼單元的影像編碼器的方塊圖。 圖5為根據本發明的實施例的基於寫碼單元的影像解碼器的方塊圖。 圖6為說明根據本發明的實施例的根據深度的較深寫碼單元以及分區的圖式。 圖7為用於描述根據本發明的實施例的寫碼單元與變換單元之間的關係的圖式。 圖8為用於描述根據本發明的實施例的對應於經寫碼的深度的寫碼單元的編碼資訊的圖式。 圖9為根據本發明的實施例的根據深度的較深寫碼單元的圖式。 圖10至圖12為用於描述根據本發明的實施例的寫碼單元、預測單元與變換單元之間的關係的圖式。 圖13為用於描述根據表1的編碼模式資訊的寫碼單元、預測單元或分區與變換單元之間的關係的圖式。 圖14為繪示根據本發明的實施例的根據預測單元的大小的畫面內預測模式的數目的表格。 圖15為用於描述根據本發明的實施例的具有各種方向性的畫面內預測模式的參考圖。 圖16為用於描述根據本發明的實施例的安置於具有方向性(dx, dy)的延長線上的當前像素與鄰近像素之間的關係的圖式。 圖17以及圖18為繪示根據本發明的實施例的畫面內預測模式的方向的圖式。 圖19為展示根據本發明的實施例的具有33種方向性的畫面內預測模式的方向的圖式。 圖20為根據本發明的實施例的根據鄰近區塊的類型在當前區塊的畫面內預測期間不可用的鄰近像素的圖式。 圖21為用於描述根據本發明的實施例的替換不可用鄰近像素的程序的圖式。 圖22為用於描述根據本發明的另一實施例的替換不可用鄰近像素的程序的圖式。 圖23為用於描述根據本發明的另一實施例的替換不可用鄰近像素的程序的圖式。 圖24為說明根據本發明的實施例的畫面內預測裝置的方塊圖。 圖25A為當前區塊的經濾波的鄰近像素的圖式。 圖25B為用於描述當前區塊的鄰近像素的濾波程序的參考圖。 圖26為說明根據本發明的實施例的對視訊進行畫面內預測的方法的流程圖。 圖27A說明根據本發明的實施例的儲存程式的光碟的實體結構。 圖27B說明藉由使用光碟而記錄以及讀取程式的光碟機。 圖28說明提供內容散佈服務的內容供應系統的整體結構。 圖29以及圖30說明根據本發明的實施例的應用了視訊編碼方法以及視訊解碼方法的行動電話的外部結構以及內部結構。 圖31說明根據本發明的實施例的使用通信系統的數位廣播系統。 圖32說明根據本發明的實施例的使用視訊編碼裝置以及視訊解碼裝置的雲端計算系統的網路結構。

Claims (1)

  1. 一種對視訊進行解碼的裝置，所述裝置包括： 可用性判定器，用於判定用於當前區塊的畫面內預測的預定數目的鄰近像素的可用性； 替換器，用於若所述預定數目的鄰近像素中第一鄰近像素不可用，則藉由基於所述第一鄰近像素在預定方向上搜尋所述預定數目的鄰近像素來獲得可用的第二鄰近像素，且將所述第一鄰近像素的像素值替換為所述第二鄰近像素的像素值； 畫面內預測執行器，用於藉由使用包括所替換的所述第一鄰近像素的所述預定數目的鄰近像素來對所述當前區塊執行畫面內預測， 其中，所述替換器藉由基於所述第一鄰近像素在所述預定方向上搜尋所述預定數目的鄰近像素來判定被初發現的可用的鄰近像素為所述第二鄰近像素，基於所述第一鄰近像素自下至上搜尋所述當前區塊的左側鄰近像素以及左下鄰近像素來搜尋所述第二鄰近像素，並且當所述當前區塊的所述左側鄰近像素以及所述左下鄰近像素未發現所述第二鄰近像素時，自左至右搜尋所述當前區塊的頂部鄰近像素以及右上鄰近像素，以及 所述第一鄰近像素是所述當前區塊的所述左側鄰近像素以及所述左下鄰近像素中的最下方左側鄰近像素。
TW106128503A 2011-10-28 2012-10-29 對視訊進行解碼的裝置 TWI650000B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161552692P 2011-10-28 2011-10-28
US61/552,692 2011-10-28

Publications (2)

Publication Number Publication Date
TW201740729A TW201740729A (zh) 2017-11-16
TWI650000B true TWI650000B (zh) 2019-02-01

Family

ID=48168118

Family Applications (3)

Application Number Title Priority Date Filing Date
TW101139954A TWI572194B (zh) 2011-10-28 2012-10-29 視訊用之畫面內預測的方法與裝置
TW106128503A TWI650000B (zh) 2011-10-28 2012-10-29 對視訊進行解碼的裝置
TW105143745A TWI601414B (zh) 2011-10-28 2012-10-29 對視訊進行畫面內預測的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW101139954A TWI572194B (zh) 2011-10-28 2012-10-29 視訊用之畫面內預測的方法與裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105143745A TWI601414B (zh) 2011-10-28 2012-10-29 對視訊進行畫面內預測的方法

Country Status (19)

Country Link
US (5) US9621918B2 (zh)
EP (5) EP3780601B1 (zh)
JP (3) JP2014531177A (zh)
KR (5) KR101743245B1 (zh)
CN (5) CN107147908B (zh)
AU (1) AU2012329676B2 (zh)
BR (1) BR112014010189B1 (zh)
DK (1) DK3322183T3 (zh)
ES (3) ES2842027T3 (zh)
HU (3) HUE048628T2 (zh)
IN (1) IN2014MN00940A (zh)
MX (2) MX2014005114A (zh)
MY (3) MY170951A (zh)
PH (4) PH12016502376B1 (zh)
PL (3) PL3588949T3 (zh)
RU (4) RU2619267C1 (zh)
TW (3) TWI572194B (zh)
WO (1) WO2013062389A1 (zh)
ZA (1) ZA201403876B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
US10313682B2 (en) * 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
US10003818B2 (en) * 2013-10-11 2018-06-19 Sony Corporation Video coding system with intra prediction mechanism and method of operation thereof
US10009629B2 (en) 2013-10-11 2018-06-26 Sony Corporation Video coding system with search range and method of operation thereof
WO2015056941A1 (ko) * 2013-10-14 2015-04-23 한국전자통신연구원 다계층 기반의 영상 부호화/복호화 방법 및 장치
WO2015056945A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 깊이 인트라 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN105723712B (zh) 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
JP2017523682A (ja) * 2014-06-20 2017-08-17 サムスン エレクトロニクス カンパニー リミテッド インターレイヤビデオ符号化／復号のためのデプス映像の予測モード伝送方法及びその装置
US10645416B2 (en) 2015-05-12 2020-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding an image using a modified distribution of neighboring reference pixels
WO2017014412A1 (ko) * 2015-07-20 2017-01-26 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
KR20180075660A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
WO2018216479A1 (ja) * 2017-05-24 2018-11-29 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法、並びにプログラム
US11631199B2 (en) * 2017-08-10 2023-04-18 Sharp Kabushiki Kaisha Image filtering apparatus, image decoding apparatus, and image coding apparatus
CN108171663B (zh) * 2017-12-22 2021-05-25 哈尔滨工业大学 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN110650337B (zh) * 2018-06-26 2022-04-01 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
US11159789B2 (en) 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
EP3989547A4 (en) * 2019-06-21 2023-04-19 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE
KR102602007B1 (ko) 2020-12-07 2023-11-15 건국대학교 글로컬산학협력단 연료전지 전해질용 폴리(이사틴-페닐렌)계 고분자, 이를 포함하는 연료전지용 고분자 전해질 및 연료전지
WO2023055220A1 (ko) * 2021-10-01 2023-04-06 주식회사 윌러스표준기술연구소 참조 픽쳐를 기초로 인트라 예측 모드를 결정하는 비디오 신호 처리 방법 및 이를 위한 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200740246A (en) * 2006-02-17 2007-10-16 Via Tech Inc Intra-frame prediction processing
US20090089549A1 (en) * 2007-09-27 2009-04-02 Qualcomm Incorporated H.264 Video Decoder CABAC Core Optimization Techniques
US20090116549A1 (en) * 2007-11-07 2009-05-07 Industrial Technology Research Institute Methods for selecting a prediction mode
US20090274211A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for high quality intra mode prediction in a video coder
US20100027615A1 (en) * 2006-10-24 2010-02-04 Purvin Bibhas Pandit Picture identification for multi-view video coding
WO2011079671A1 (zh) * 2009-12-31 2011-07-07 华为技术有限公司 视频解码和编码方法及装置、和直流系数预测方法和装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3539415A1 (de) * 1985-11-07 1987-05-14 Bosch Gmbh Robert Verfahren und schaltungsanordnung zum erkennen und verdecken von fehlern in einem digitalen videosignal
DE10158658A1 (de) 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
EP1411714B1 (en) * 2002-10-17 2008-11-05 Noritsu Koki Co., Ltd. Conversion correcting method of color image data and photographic processing apparatus implementing the method
KR100679031B1 (ko) 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US9154808B2 (en) * 2005-01-14 2015-10-06 Thomson Licensing Method and apparatus for INTRA prediction for RRU
WO2006106935A1 (ja) 2005-04-01 2006-10-12 Matsushita Electric Industrial Co., Ltd. 画像復号化装置及び画像復号化方法
EP1985124B1 (en) * 2006-02-17 2010-09-01 Thomson Licensing Process for coding images using intra prediction mode
KR101311403B1 (ko) 2006-07-04 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JPWO2008044658A1 (ja) * 2006-10-10 2010-02-12 日本電信電話株式会社 イントラ予測符号化制御方法および装置、そのプログラム並びにプログラムを記録した記憶媒体
US8233537B2 (en) * 2007-03-19 2012-07-31 Texas Instruments Incorporated Efficient implementation of H.264 4 by 4 intra prediction on a VLIW processor
US7953284B2 (en) * 2007-03-29 2011-05-31 James Au Selective information handling for video processing
KR20090132629A (ko) * 2007-04-09 2009-12-30 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
KR20090095316A (ko) 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
US9338475B2 (en) * 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
CN101365136B (zh) 2008-09-09 2011-01-26 深圳市同洲电子股份有限公司 帧内预测的方法及装置
TWI386068B (zh) 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
KR101601840B1 (ko) * 2009-02-23 2016-03-22 에스케이 텔레콤주식회사 채널 상관 관계를 이용한 영상 부호화/복호화 장치 및 방법과 그를 위한 컴퓨터로 읽을 수 있는 기록매체
CN101854540B (zh) 2009-04-01 2014-07-02 辉达公司 用于应用h.264视频编码标准的帧内预测方法及装置
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101700358B1 (ko) 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2011126344A2 (en) * 2010-04-09 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for generating video packets, method and apparatus for restoring video
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
US9420294B2 (en) * 2011-02-23 2016-08-16 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US20120314767A1 (en) * 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
CN102186086B (zh) * 2011-06-22 2013-06-19 武汉大学 一种基于avs的帧内预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200740246A (en) * 2006-02-17 2007-10-16 Via Tech Inc Intra-frame prediction processing
US20100027615A1 (en) * 2006-10-24 2010-02-04 Purvin Bibhas Pandit Picture identification for multi-view video coding
US20090089549A1 (en) * 2007-09-27 2009-04-02 Qualcomm Incorporated H.264 Video Decoder CABAC Core Optimization Techniques
US20090116549A1 (en) * 2007-11-07 2009-05-07 Industrial Technology Research Institute Methods for selecting a prediction mode
US20090274211A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for high quality intra mode prediction in a video coder
WO2011079671A1 (zh) * 2009-12-31 2011-07-07 华为技术有限公司 视频解码和编码方法及装置、和直流系数预测方法和装置

Also Published As

Publication number Publication date
KR101743245B1 (ko) 2017-06-02
BR112014010189A2 (pt) 2017-04-18
EP4231639A2 (en) 2023-08-23
EP3322183B1 (en) 2019-09-11
MY198281A (en) 2023-08-21
EP3780601A1 (en) 2021-02-17
ES2842027T3 (es) 2021-07-12
PH12016502375A1 (en) 2017-01-23
US10893277B2 (en) 2021-01-12
KR102082303B1 (ko) 2020-02-27
HUE052957T2 (hu) 2021-05-28
JP2019057954A (ja) 2019-04-11
CN107147908B (zh) 2020-02-07
KR20190034172A (ko) 2019-04-01
TWI572194B (zh) 2017-02-21
JP2014531177A (ja) 2014-11-20
KR101844517B1 (ko) 2018-04-02
PH12016502376A1 (en) 2017-01-23
RU2654503C1 (ru) 2018-05-21
DK3322183T3 (da) 2019-09-23
WO2013062389A1 (ko) 2013-05-02
TW201740729A (zh) 2017-11-16
HUE063723T2 (hu) 2024-01-28
PH12016502376B1 (en) 2017-01-23
US10291919B2 (en) 2019-05-14
US20170070736A1 (en) 2017-03-09
CN107222744A (zh) 2017-09-29
EP3780601C0 (en) 2023-08-16
MX354500B (es) 2018-03-08
PH12016502374A1 (en) 2017-01-23
PL3322183T3 (pl) 2019-12-31
JP7103961B2 (ja) 2022-07-20
EP3588949A1 (en) 2020-01-01
PL3780601T3 (pl) 2023-10-02
KR20130047650A (ko) 2013-05-08
CN107404649B (zh) 2020-04-10
PH12016502374B1 (en) 2017-01-23
TW201711476A (zh) 2017-03-16
BR112014010189B1 (pt) 2022-09-20
EP3780601B1 (en) 2023-08-16
US9621918B2 (en) 2017-04-11
US10506239B2 (en) 2019-12-10
KR20150009498A (ko) 2015-01-26
KR20180036667A (ko) 2018-04-09
ES2748604T3 (es) 2020-03-17
TW201332368A (zh) 2013-08-01
PH12016502377B1 (en) 2017-01-23
ES2961199T3 (es) 2024-03-08
US20190222850A1 (en) 2019-07-18
CN104025588B (zh) 2017-08-15
EP3588949B1 (en) 2020-12-02
US20180139454A1 (en) 2018-05-17
EP2773116A4 (en) 2015-08-12
KR101743246B1 (ko) 2017-06-02
PL3588949T3 (pl) 2021-03-08
RU2681956C1 (ru) 2019-03-14
IN2014MN00940A (zh) 2015-04-24
AU2012329676A1 (en) 2014-06-12
PH12016502375B1 (en) 2017-01-23
US20200084456A1 (en) 2020-03-12
HUE048628T2 (hu) 2020-08-28
MX2014005114A (es) 2014-08-27
KR101962829B1 (ko) 2019-03-27
CN104025588A (zh) 2014-09-03
RU2014121400A (ru) 2015-12-10
CN107222744B (zh) 2020-10-27
KR20170063494A (ko) 2017-06-08
US9883191B2 (en) 2018-01-30
EP3322183A1 (en) 2018-05-16
US20140334542A1 (en) 2014-11-13
ZA201403876B (en) 2021-05-26
RU2619267C1 (ru) 2017-05-15
PH12016502377A1 (en) 2017-01-23
CN107404649A (zh) 2017-11-28
EP2773116A1 (en) 2014-09-03
AU2012329676B2 (en) 2015-02-12
MY170951A (en) 2019-09-20
TWI601414B (zh) 2017-10-01
CN107147908A (zh) 2017-09-08
CN107197250A (zh) 2017-09-22
RU2588990C2 (ru) 2016-07-10
JP2017055434A (ja) 2017-03-16
EP4231639A3 (en) 2023-08-30
MY198290A (en) 2023-08-21
CN107197250B (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
TWI650000B (zh) 對視訊進行解碼的裝置
TWI615018B (zh) 視訊解碼方法
TWI574553B (zh) 畫面間預測的運動向量預測方法與裝置
TWI661711B (zh) 視訊解碼方法、視訊編碼方法、裝置及非暫態電腦可讀儲存媒體