TW201309036A - 使用亮度成分影像的預測色度成分影像用的裝置與方法 - Google Patents

使用亮度成分影像的預測色度成分影像用的裝置與方法 Download PDF

Info

Publication number
TW201309036A
TW201309036A TW101123373A TW101123373A TW201309036A TW 201309036 A TW201309036 A TW 201309036A TW 101123373 A TW101123373 A TW 101123373A TW 101123373 A TW101123373 A TW 101123373A TW 201309036 A TW201309036 A TW 201309036A
Authority
TW
Taiwan
Prior art keywords
pixel
prediction unit
recl
unit
luminance
Prior art date
Application number
TW101123373A
Other languages
English (en)
Inventor
Tammy Lee
jian-le Chen
Vadim Seregin
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of TW201309036A publication Critical patent/TW201309036A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

一種藉由使用在亮度信號與色度信號之間的相關性由亮度信號來預測色度信號的方法與裝置。一種預測色度成分影像之方法在根據色彩格式考慮彼此對應之亮度預測單元預測單位的尺寸以及色度預測單元預測單位的尺寸的同時，藉由根據亮度信號之位置獨立地應用各種降取樣方法而產生匹配色度信號的經降取樣之亮度信號，且自經降取樣之亮度信號來預測色度信號。

Description

使用亮度成分影像的預測色度成分影像用的裝置與方法
本發明是有關於一種畫面內預測影像，且特別是有關於一種用於藉由使用在亮度信號與色度信號之間的相關性，而自先前還原之亮度信號來預測色度信號的方法與裝置。
在諸如動態影像壓縮標準(Moving Picture Experts Group；MPEG)-1,MPEG-2、MPEG-4或H.264/MPEG-4先進視訊編碼(Advanced Video Coding；AVC)之影像壓縮方法中，影像劃分為具有預定尺寸的區塊以編碼影像。接著，每一區塊藉由使用畫面間預測(inter prediction)或畫面內預測(intra prediction)而預測編碼。
殘餘區塊藉由自原始區塊減去經由畫面間預測或畫面內預測所產生之預測區塊而產生，且所產生的殘餘區塊經離散餘弦變換、量化以及熵(entropy)編碼以產生位元串流。
或者，一像素以亮度成分以及色度成分來表達，且接著亮度成分以及色度成分各自經編碼以及解碼。
本發明提供一種方法與裝置，其用於藉由根據色彩格式考慮亮度區塊以及色度區塊的尺寸差異，降取樣(down-sampling)亮度區塊並藉由使用經降取樣之亮度區塊預測對應於亮度區塊的色度區塊。
本發明亦提供一種方法與一種裝置，其用於降取樣亮度信號、藉由使用經降取樣之亮度信號而獲得在亮度信號與色度信號之間的相關性，以及自預先編碼且預先還原之亮度信號來預測色度信號。
根據本發明之態樣，提供一種藉由使用亮度成分影像來預測色度成分影像之方法，所述方法包括：根據色彩格式考慮彼此對應之亮度預測單位的尺寸以及色度預測單位的尺寸，降取樣已預先編碼且預先還原之亮度預測單位的內像素以及所述亮度預測單位之鄰近像素；基於所述亮度預測單位的所述經降取樣之鄰近像素以及經預測之色度預測單位的經還原之鄰近像素而獲得參數，所述參數指示在所述亮度預測單位與所述經預測之色度預測單位之間的相關性；以及藉由使用所述所獲得之參數自所述經降取樣之亮度預測單位獲得對應於所述經降取樣之亮度預測單位的色度預測單位之預測值，其中所述降取樣包括：選擇待選自預定亮度像素群組之亮度像素的第一位置或亮度像素之第一濾波方法，以降取樣關於所述亮度預測單位之所述內像素；選擇待選自所述預定亮度像素群組之亮度像素的第二位置或亮度像素之第二濾波方法，以降取樣用於關於所述亮度預測單位之鄰近上部像素；以及選擇待選自所述預定亮度像素群組之亮度像素的第三位置或亮度像素之第三濾波方法，以降取樣用於關於所述亮度預測單位之鄰近左側像素。
根據本發明之另一態樣，提供一種用於藉由使用亮度 成分影像預測色度成分影像之裝置，所述裝置包括：取樣單元，其用於根據色彩格式考慮彼此對應之亮度預測單位的尺寸以及色度預測單位的尺寸，降取樣已預先編碼且預先還原之亮度預測單位的內像素以及所述亮度預測單位之鄰近像素；參數獲得單元，其用於基於所述亮度預測單位的所述經降取樣之鄰近像素以及經預測之色度預測單位的經還原之鄰近像素而獲得參數，所述參數指示在所述亮度預測單位與所述經預測之色度預測單位之間的相關性；以及預測執行單元，其用於藉由使用所述所獲得之參數自所述經降取樣之亮度預測單位獲得對應於所述經降取樣之亮度預測單位的色度預測單位之預測值；其中所述取樣單元選擇待選自預定亮度像素群組之亮度像素的第一位置或亮度像素之第一濾波方法，以降取樣關於所述亮度預測單位之所述內像素進行降取樣；所述取樣單元選擇待選自所述預定亮度像素群組之亮度像素的第二位置或亮度像素之第二濾波方法，以降取樣關於所述亮度預測單位之鄰近上部像素；以及所述取樣單元選擇待選自所述預定亮度像素群組之亮度像素的第三位置或亮度像素之第三濾波方法，以降取樣關於所述亮度預測單位之鄰近左側像素。
藉由參看附圖詳細描述本發明之例示性實施例，本發明之以上以及其他特徵與優點將變得更加顯而易見。
下文中，將參照隨附圖式更全面地描述本發明，在隨附圖式中展示了本發明之例示性實施例。
圖1為根據本發明之實施例之視訊編碼裝置100的方塊圖。
視訊編碼裝置100包含最大寫碼單位分割器110、寫碼單位判定器120以及輸出單元130。
最大寫碼單位分割器110可基於用於影像之當前圖像的最大寫碼單位而分割當前圖像。若當前圖像大於最大寫碼單位，則當前圖像之影像資料可分割為至少一最大寫碼單位。根據本發明之實施例的最大寫碼單位可為具有32×32、64×64、128×128、256×256等尺寸之資料單位，其中資料單位之形狀為正方形，而此正方形具有為2的平方之寬度以及長度。影像資料可根據至少一最大寫碼單位被輸出至寫碼單位判定器120。
根據本發明之實施例的寫碼單位可藉由最大尺寸以及深度來表徵。上述深度表示寫碼單位自最大寫碼單位在空間上分割之次數，且隨著深度變深，根據深度之較深編碼單位可自最大寫碼單位分割為最小寫碼單位。最大寫碼單位之深度為最上層深度，且最小寫碼單位之深度為最下層深度。由於對應於每一深度之寫碼單位的尺寸隨著最大寫碼單位之深度變深而減小，因此對應於較上層深度之寫碼單位可包含對應於較下層深度的多個寫碼單位。
如上文所述，根據寫碼單位之最大尺寸，而將當前圖像之影像資料分割為最大寫碼單位，且最大寫碼單位中的每一者可包含根據深度所分割的較深寫碼單位。由於根據本發明之實施例的最大寫碼單位是根據深度分割，因此包 含於最大寫碼單位中之空間域的影像資料可根據深度而在階層上分類。
寫碼單位之最大深度以及最大尺寸可為預定的，上述寫碼單位之最大深度以及最大尺寸為限制最大寫碼單位之高度以及寬度在階層上分割之總次數。
寫碼單位判定器120編碼至少一分割區域，上述至少一分割區域是藉由根據深度分割最大寫碼單位之區域所獲得，且寫碼單位判定器120判定一深度以根據此至少一分割區域輸出最終經編碼影像資料。換言之，寫碼單位判定器120藉由根據當前圖像之最大寫碼單位按照深度來編碼在較深寫碼單位中之影像資料，以及選擇具有最小編碼誤差的深度，來判定一經寫碼深度。將所判定之經寫碼深度以及經編碼影像資料至輸出單元130，上述經編碼影像資料是基於所判定之經寫碼深度。
基於對應於等於或低於最大深度之至少一深度的較深寫碼單位，對最大寫碼單位中之影像資料進行編碼，且基於較深寫碼單位中的每一者對編碼影像資料之結果進行比較。可在對較深寫碼單位之編碼誤差進行比較之後，選擇具有最小編碼誤差的深度。可針對每一最大寫碼單位選擇至少一個經寫碼深度。
隨著寫碼單位根據深度在階層上分割，且隨著寫碼單位之數量增大，對最大寫碼單位的尺寸進行分割。又，即使寫碼單位對應於一最大寫碼單位中之同一深度，仍藉由分別量測每一寫碼單位之影像資料的編碼誤差，而判斷是 否將對應於同一深度之寫碼單位中的每一者分割為較下層深度。因此，即使當影像資料包含於一個最大寫碼單位中時，編碼誤差仍可根據此一最大寫碼單位中之區域而有所不同，且由此經寫碼深度可根據影像資料中的區域而有所不同。因此，一或多個經寫碼深度可在一個最大寫碼單位中進行判定，且最大寫碼單位之影像資料可根據至少一經寫碼深度的寫碼單位而進行劃分。
因此，寫碼單位判定器120可判定包含於最大寫碼單位中之具有樹狀結構的寫碼單位。根據本發明之實施例的‘具有樹狀結構之寫碼單位’包括來自包含於最大寫碼單位中之所有較深寫碼單位當中的對應於判定為經寫碼深度之深度的寫碼單位。可根據最大寫碼單位之同一區域中的深度而在階層上判定經寫碼深度之寫碼單位，且可在不同的區域中獨立地判定經寫碼深度之寫碼單位。類似地，可獨立於另一區域中之經寫碼深度而判定當前區域中之經寫碼深度。
根據本發明之實施例的最大深度為一索引，此索引與自最大寫碼單位至最小寫碼單位的分割次數相關。根據本發明之實施例的第一最大深度可表示自最大寫碼單位至最小寫碼單位之總分割次數。根據本發明之實施例的第二最大深度可表示自最大寫碼單位至最小寫碼單位之深度層級總數目。舉例而言，當最大寫碼單位之深度為0時，最大寫碼單位經分割一次之寫碼單位的深度可設定為1，且最大寫碼單位經分割兩次之寫碼單位的深度可設定為2。此 處，若最小寫碼單位為最大寫碼單位經分割四次之寫碼單位，則深度存在有5個深度層級0、1、2、3以及4，且由此第一最大深度可設定為4，且第二最大深度可設定為5。
可根據最大寫碼單位執行預測編碼以及變換。根據最大寫碼單位，亦基於根據等於最大深度之深度或小於最大深度之深度的較深寫碼單位，執行預測編碼以及變換。
由於在每當最大寫碼單位根據深度被分割時較深寫碼單位之數量增大，因此對隨著深度變深所產生的所有較深寫碼單位，執行包含預測編碼以及變換的編碼。為便於描述，在最大寫碼單位中，將基於當前深度之寫碼單位描述預測編碼以及變換。
視訊編碼裝置100可按各種方式選擇用於編碼影像資料之資料單位的尺寸(size)或形狀。為了編碼影像資料，執行了諸如預測編碼、變換以及熵編碼之操作，且此時，同一資料單位可用於所有操作或不同的資料單位可用於每一操作。
舉例而言，視訊編碼裝置100可不僅選擇用於編碼影像資料之寫碼單位，而且選擇不同於寫碼單位之資料單位，以便對寫碼單位中之影像資料執行預測編碼。
為了在最大寫碼單位中執行預測編碼，可基於對應於經寫碼深度之寫碼單位(亦即，基於不再分割為對應於較下層深度之寫碼單位的寫碼單位)執行預測編碼。下文中，不再對寫碼單位進行分割，且寫碼單位成為用於預測編碼之基礎單位，寫碼單位將被稱為‘預測單位’。藉由分割預 測單位所獲得之分區可包含藉由分割預測單位之高度以及寬度中的至少一者所獲得的預測單位或資料單位。
舉例而言，當2N×2N(其中N為正整數)之寫碼單位不再分割且變為2N×2N之預測單位時，分區之尺寸可為2N×2N、2N×N、N×2N或N×N。分區類型之實例包含藉由對稱地分割預測單位之高度或寬度所獲得的對稱分區、藉由非對稱地分割預測單位之高度或寬度(諸如，1：n或n：1)所獲得的分區、藉由用幾何方式分割預測單位所獲得之分區，以及具有任意形狀的分區。
預測單位之預測模式可為畫面內模式(intra mode)、畫面間模式(inter mode)以及跳過模式(skip mode)中之至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N之分區執行畫面內模式或畫面間模式。又，可僅對2N×2N之分區執行跳過模式。在寫碼單位中對一預測單位獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於編碼影像資料之寫碼單位而且基於不同於寫碼單位之資料單位，而對寫碼單位中的影像資料執行變換。
為了在寫碼單位中執行變換，可基於具有小於或等於寫碼單位之尺寸的資料單位來執行變換。舉例而言，用於變換之資料單位可包含用於畫面內模式之資料單位以及用於畫面間模式之資料單位。
用作變換之基礎的資料單位現將被稱為‘變換單位’。類似於寫碼單位，寫碼單位中之變換單位可按遞回方式分 割為較小尺寸的區域，使得變換單位可以區域為單位獨立地判定。因此，寫碼單位中之殘餘資料可根據變換單位而劃分，上述變換單元具有根據變換深度之樹狀結構。
亦可在變換單位中設定變換深度，此變換深度指示藉由分割寫碼單位之高度以及寬度而達到變換單位的分割次數。舉例而言，在2N×2N之當前寫碼單位中，當變換單位之尺寸為2N×2N時，變換深度可為0，當變換單位之尺寸例如為N×N時，變換深度可為1，且當變換單位之尺寸例如為N/2×N/2時，變換深度可為2。換言之，可根據變換深度來設定具有樹狀結構之變換單位。
根據對應於經寫碼深度之寫碼單位的編碼資訊不僅需要關於經寫碼深度的資訊，而且需要關於與預測編碼以及變換相關的資訊。因此，寫碼單位判定器120不僅判定具有最小編碼誤差之經寫碼深度，而且判定預測單位中之分區類型、根據預測單位之預測模式，以及用於變換之變換單位的尺寸。
稍後將參看圖3至圖12詳細描述根據本發明之實施例的根據最大寫碼單位中之樹狀結構的寫碼單位以及判定分區的方法。
寫碼單位判定器120可藉由基於拉格朗日乘數(Lagrangian multiplier)使用位元率-失真最佳化(Rate-Distortion Optimization)根據深度而量測較深寫碼單位之編碼誤差。
輸出單元130在位元串流中輸出最大寫碼單位之影像 資料，所述最大寫碼單位之影像資料是基於藉由寫碼單位判定器120所判定之至少一經寫碼深度所編碼，以及在位元串流中輸出根據經寫碼深度關於編碼模式的資訊。
可藉由對影像之殘餘資料進行編碼來獲得經編碼影像資料。
根據經寫碼深度關於編碼模式的資訊可包括關於經寫碼深度的資訊、關於預測單位中之分區類型的資訊、預測模式以及變換單位之尺寸。
可藉由使用根據深度之分割資訊來定義關於經寫碼深度的資訊，關於經寫碼深度的資訊指示是否對較下層深度而非當前深度之寫碼單位執行編碼。若當前寫碼單位之當前深度為經寫碼深度，則當前寫碼單位中之影像資料經編碼且輸出，且由此，分割資訊可定義為不將當前寫碼單位分割為較下層深度。或者，若當前寫碼單位之當前深度並非經寫碼深度，則對較下層深度之寫碼單位執行編碼，且由此，分割資訊可定義為分割當前寫碼單位以獲得較下層深度的寫碼單位。
若當前深度並非經寫碼深度，則對分割為較下層深度之寫碼單位的寫碼單位執行編碼。由於較下層深度之至少一寫碼單位存在於當前深度之一寫碼單位中，因此對較下層深度之每一寫碼單位重複地執行編碼，且由此可針對具有同一深度之寫碼單位按遞回方式執行編碼。
由於具有樹狀結構之寫碼單位是針對一最大寫碼單位而判定，且關於至少一編碼模式的資訊是針對經寫碼深 度之寫碼單位而判定，因此關於至少一編碼模式的資訊可針對一最大寫碼單位而判定。又，最大寫碼單位之影像資料的經寫碼深度可根據位置而有所不同，因為影像資料根據深度在階層上分割，且由此關於經寫碼深度以及編碼模式的資訊可針對影像資料而進行設定。
因此，輸出單元130可將關於相應經寫碼深度以及編碼模式之編碼資訊指派給寫碼單位、預測單位以及包含於最大寫碼單位中之最小單位中的至少一者。
根據本發明之實施例的最小單位為正方形資料單位，所述正方形資料單位是藉由將構成最下層深度之最小寫碼單位分割為4個而獲得。或者，最小單位可為最大正方形資料單位，所述最大正方形資料單位可包含於所有寫碼單位、預測單位、分區單位以及包含於最大寫碼單位中之變換單位中。
舉例而言，經由輸出單元130所輸出之編碼資訊可分類為根據寫碼單位之編碼資訊，以及根據預測單位的編碼資訊。根據寫碼單位之編碼資訊可包含關於預測模式的資訊以及關於分區之尺寸的資訊。根據預測單位之編碼資訊可包含關於畫面間模式之估計方向的資訊、關於畫面間模式之參考影像索引的資訊、關於運動向量的資訊、關於畫面內模式之色度成分的資訊以及關於畫面內模式之內插方法的資訊。又，關於根據圖像、片段(slics)或GOP所定義的寫碼單位之最大尺寸的資訊以及關於最大深度的資訊可嵌入至位元串流的標頭中。
在視訊編碼裝置100中，較深寫碼單位可為藉由將較上層深度之寫碼單位(其為在上方的一層)的高度或寬度劃分為2個所獲得的寫碼單位。換言之，在當前深度之寫碼單位的尺寸為2N×2N時，較下層深度之寫碼單位的尺寸為N×N。又，具有尺寸2N×2N之當前深度的寫碼單位可包含較下層深度之寫碼單位的最大值4。
因此，視訊編碼裝置100可基於最大寫碼單位之尺寸以及考慮當前圖像之特性所判定的最大深度，針對每一最大寫碼單位而判定具有最佳形狀以及最佳尺寸的寫碼單位，藉此而形成具有樹狀結構之寫碼單位。又，由於藉由使用各種預測模式以及變換中之任一者對每一最大寫碼單位執行編碼，因此可考慮各種影像尺寸之寫碼單位的特性判定最佳編碼模式。
因此，若具有高解析度或大資料量之影像在傳統巨集區塊中編進行碼，則每個圖像之巨集區塊的數目過度地增大。因此，針對每一巨集區塊所產生之壓縮資訊之片的數目增大，且由此難以傳輸壓縮資訊且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，由於在考慮影像之特性的同時調整寫碼單位，同時在考慮影像之尺寸的同時增大寫碼單位的最大尺寸，因此影像壓縮效率可增大。
圖2為根據本發明之實施例之視訊解碼裝置200的方塊圖。
視訊解碼裝置200包含接收器210、影像資料以及編碼資訊擷取器220，以及影像資料解碼器230。諸如寫碼單 位、深度、預測單位、變換單位之各種術語的定義，以及關於各種編碼模式、用於視訊解碼裝置200之各種操作的資訊與參看圖1以及參考視訊編碼裝置100所述的彼等相同。
接收器210接收且剖析經編碼視訊之位元串流。影像資料以及編碼資訊擷取器220自經剖析位元串流擷取針對每一寫碼單位的經編碼影像資料，其中寫碼單位具有根據每一最大寫碼單位之樹狀結構，且將經擷取影像資料輸出至影像資料解碼器230。影像資料以及編碼資訊擷取器220可自關於當前圖像之標頭擷取關於當前圖像之寫碼單位之最大尺寸的資訊。
又，影像資料以及編碼資訊擷取器220自經剖析位元串流擷取針對寫碼單位的關於經寫碼深度以及編碼模式的資訊，所述寫碼單位具有根據每一最大寫碼單位的樹狀結構。關於經寫碼深度以及編碼模式之所擷取資訊被輸出至影像資料解碼器230。換言之，將位元串流中之影像資料分割為最大寫碼單位，使得影像資料解碼器230針對每一最大寫碼單位解碼影像資料。
根據最大寫碼單位之關於經寫碼深度以及編碼模式的資訊，可針對關於對應於經寫碼深度之至少一寫碼單位的資訊而設定，且關於編碼模式之資訊可包含關於對應於經寫碼深度之相應寫碼單位的分區類型的資訊、關於預測模式的資訊以及變換單位之尺寸。又，根據深度之分割資訊可被擷取而作為關於經寫碼深度之資訊。
藉由影像資料以及編碼資訊擷取器220所擷取的根據每一最大寫碼單位關於經寫碼深度以及編碼模式的資訊，為關於如下經寫碼深度以及編碼模式的資訊：經判定以在諸如視訊編碼裝置100之編碼器根據每一最大寫碼單位按照深度針對每一較深寫碼單位，重複地執行編碼時產生最小編碼誤差。因此，視訊解碼裝置200可根據產生最小編碼誤差之經寫碼深度以及編碼模式來解碼影像資料，藉此來還原影像。
由於關於經寫碼深度以及編碼模式之編碼資訊可指派給來自相應寫碼單位、預測單位以及最小單位當中的預定資料單位，因此影像資料以及編碼資訊擷取器220可根據預定資料單位擷取關於經寫碼深度以及編碼模式的資訊。若關於相應最大寫碼單位之經寫碼深度以及編碼模式的資訊根據預定資料單位而記錄，則關於經寫碼深度以及編碼模式之相同資訊所指派給的預定資料單位可被推斷為包含於同一最大寫碼單位中的資料單位。
影像資料解碼器230基於根據最大寫碼單位關於經寫碼深度以及編碼模式的資訊，而解碼每一最大寫碼單位中之影像資料，藉此來還原當前圖像。換言之，影像資料解碼器230可基於關於分區類型、預測模式，以及來自包含於每一最大寫碼單位中之具有樹狀結構的寫碼單位當中之每一寫碼單位之變換單位的所擷取資訊，而解碼經編碼影像資料。解碼處理程序可包含包括畫面內預測以及運動補償之預測，以及逆變換(inverse transformation)。
影像資料解碼器230可基於關於根據經寫碼深度之寫碼單位之預測單位的分區類型以及預測模式的資訊，根據每一寫碼單位之分區以及預測模式，執行畫面內預測或運動補償。
又，影像資料解碼器230可基於關於根據經寫碼深度之寫碼單位的變換單位之尺寸的資訊，根據寫碼單位中之每一變換單位而執行逆變換，以便根據最大寫碼單位執行逆變換。
影像資料解碼器230可根據深度使用分割資訊，藉此判定當前最大寫碼單位之至少一經寫碼深度。若分割資訊指示影像資料在當前深度上不再分割，則當前深度為經寫碼深度。因此，影像資料解碼器230可使用關於預測單位之分區類型、預測模式，以及用於對應於經寫碼深度之每一寫碼單位之變換單位的尺寸之資訊，藉由上述來解碼下述資料，即，對應於當前最大寫碼單位中之每一經寫碼深度的至少一寫碼單位之經編碼資料。
換言之，可藉由觀測針對來自寫碼單位、預測單位以及最小單位當中之預定資料單位所指派的編碼資訊集合，聚集含有包含相同分割資訊之編碼資訊的資料單位，且所聚集資料單位可視為藉由影像資料解碼器230在同一編碼模式中待解碼的一資料單位。
視訊解碼裝置200可獲得底下資訊，即關於在針對每一最大寫碼單位按遞回方式執行編碼時產生最小編碼誤差之至少一寫碼單位的資訊，且視訊解碼裝置200可使用此 資訊來解碼當前圖像。換言之，寫碼單位可被解碼，所述寫碼單位具有一樹狀結構，該樹狀結構被判定為每一最大寫碼單位中之最佳寫碼單位。
因此，即使影像資料具有高解析度以及大量資料，仍可藉由使用自編碼器所接收之關於最佳編碼模式的資訊，藉由使用寫碼單位之尺寸以及編碼模式(其是根據影像資料之特性適應性地判定)，有效地解碼以及還原影像資料。
現將參看圖3至圖13描述根據本發明之實施例的判定具有樹狀結構之寫碼單位、預測單位以及變換單位的方法。
圖3為用於描述根據本發明之實施例的寫碼單位之概念的圖式。
寫碼單位之尺寸可用寬度×高度來表達，且可為64×64、32×32、16×l6以及8×8。64×64之寫碼單位可分割為64×64、64×32、32×64或32×32之分區，且32×32之寫碼單位可分割為32×32、32×16、16×32或16×16的分區，16×16之寫碼單位可分割為16×16、16×8、8×16或8×8之分區，且8×8之寫碼單位可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中，解析度為1920×1080，寫碼單位之最大尺寸為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，寫碼單位之最大尺寸為64，且最大深度為3。在視訊資料330中，解析度為352×288，寫碼單位之最大尺寸為16，且最大深度為1。圖3中所示之最 大深度表示自最大寫碼單位至最小解碼單位之總分割次數。
若解析度為高的或資料量為大的，則寫碼單位之最大尺寸可為大的，以便不僅增大編碼效率而且準確地反映影像之特性。因此，具有高於視訊資料330之解析度的視訊資料310以及視訊資料320之寫碼單位的最大尺寸可為64。
由於視訊資料310之最大深度為2，因此視訊資料310之寫碼單位315可包含具有長軸尺寸64的最大寫碼單位，以及具有長軸尺寸32以及16的寫碼單位，此是因為深度藉由將最大寫碼單位分割兩次而變深為兩層。同時，由於視訊資料330之最大深度為1，因此視訊資料330之寫碼單位335可包含具有長軸尺寸16的最大寫碼單位，以及具有長軸尺寸8之寫碼單位，此是因為深度藉由將最大寫碼單位分割一次而變深為一層。
由於視訊資料320之最大深度為3，因此視訊資料320之寫碼單位325可包含具有長軸尺寸64的最大寫碼單位，以及具有長軸尺寸32、16以及8的寫碼單位，此是因為深度藉由將最大寫碼單位分割三次而變深為三層。隨著深度變深，可精確地表達詳細資訊。
圖4為根據本發明之實施例的基於寫碼單位之影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100之寫碼單位判定器120的操作以編碼影像資料。換言之，畫面內預測器 410對來自當前圖框405當中的處於畫面內模式中之寫碼單位執行畫面內預測，且運動估計器420以及運動補償器425藉由使用當前圖框405以及參考圖框495對來自當前圖框405當中之處於畫面間模式中的寫碼單位執行畫面間估計以及運動補償。
自畫面內預測器410、運動估計器420以及運動補償器425所輸出之資料經由變換器430以及量化器440作為經量化變換係數而輸出。經量化變換係數經由逆量化器460以及逆變換器470還原為空間域中之資料，且空間域中之經還原資料在經由解區塊單元480以及迴路濾波單元490後處理(post-process)之後作為參考圖框495輸出。經量化變換係數可經由熵編碼器450而被輸出作為位元串流455。
為了使影像編碼器400應用於視訊編碼裝置100中，影像編碼器400之所有元件(亦即，畫面內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、逆量化器460、逆變換器470、解區塊單元480以及迴路濾波單元490)在考慮每一最大寫碼單位之最大深度的同時，基於來自具有樹狀結構之寫碼單位當中的每一寫碼單位而執行操作。
具體而言，畫面內預測器410、運動估計器420以及運動補償器425在考慮當前最大寫碼單位之最大尺寸以及最大深度的同時，判定來自具有樹狀結構之寫碼單位當中的每一寫碼單位之分區以及預測模式，且變換器430判定 來自具有樹狀結構之寫碼單位當中的每一寫碼單位中之變換單位的尺寸。
圖5為根據本發明之實施例的基於寫碼單位之影像解碼器500的方塊圖。
剖析器510剖析待解碼之經編碼影像資料以及來自位元串流505的針對解碼所需之關於編碼的資訊。經編碼影像資料經由熵解碼器520以及逆量化器530作為經逆量化資料輸出，且經逆量化資料經由逆變換器540還原為空間域中的影像資料。
關於空間域中之影像資料，畫面內預測器550對處於畫面內模式中之寫碼單位執行畫面內預測，且運動補償器560藉由使用參考圖框585對處於畫面間模式中的寫碼單位執行運動補償。
通過畫面內預測器550以及運動補償器560所傳遞之空間域中的影像資料可在經由解區塊單元570以及迴路濾波單元580後處理之後作為經還原圖框595輸出。又，經由解區塊單元570以及迴路濾波單元580後處理之影像資料可作為參考圖框585輸出。
為了在視訊解碼裝置200之影像資料解碼器230中解碼影像資料，影像解碼器500可執行在剖析器510之後所執行的操作。
為了使影像解碼器500應用於視訊解碼裝置200中，影像解碼器500之所有元件(亦即，剖析器510、熵解碼器520、逆量化器530、逆變換器540、畫面內預測器550、 運動補償器560、解區塊單元570以及迴路濾波單元580)針對每一最大寫碼單位基於具有樹狀結構之寫碼單位執行操作。
具體而言，畫面內預測550以及運動補償器560針對具有樹狀結構之寫碼單位中之每一者基於分區以及預測模式執行操作，且逆變換器540針對每一寫碼單位基於變換單位的尺寸執行操作。
圖6為說明根據本發明之實施例的根據深度之較深寫碼單位以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式寫碼單位以便考慮影像之特性。寫碼單位之最大高度、最大寬度以及最大深度可根據影像之特性適應性地判定，或可藉由使用者不同地設定。可根據寫碼單位之預定最大尺寸判定根據深度之較深寫碼單位的尺寸。
在寫碼單位之階層結構600中，根據本發明之實施例，寫碼單位之最大高度以及最大寬度各為64，且最大深度為4。由於深度沿著階層結構600之垂直軸變深，因此較深寫碼單位之高度以及寬度各自經分割。又，為用於每一較深寫碼單位之預測編碼之基礎的預測單位以及分區，沿著階層結構600之水平軸而展示。
換言之，寫碼單位610為階層結構600中之最大寫碼單位，其中深度為0且尺寸(亦即，高度乘寬度)為64×64。深度沿著垂直軸而變深，且存在有具有尺寸32×32以及深度1之寫碼單位620、具有尺寸16×16以及深度2之寫碼 單位630、具有尺寸8×8以及深度3之寫碼單位640，以及具有尺寸4×4以及深度4的寫碼單位650。具有尺寸4×4以及深度4之寫碼單位650為最小寫碼單位。
寫碼單位之預測單位以及分區根據每一深度沿著水平軸而配置。換言之，若具有尺寸64×64以及深度0之寫碼單位610為預測單位，則預測單位可分割為包含於編碼單位610中的分區，亦即，具有尺寸64×64之分區610、具有尺寸64×32之分區612、具有尺寸32×64之分區614或具有尺寸32×32的分區616。
類似地，具有尺寸32×32以及深度1之寫碼單位620的預測單位可分割為包含於寫碼單位620中的分區，亦即，具有尺寸32×32之分區620、具有尺寸32×16之分區622、具有尺寸16×32之分區624以及具有尺寸16×16的分區626。
類似地，具有尺寸16×16以及深度2之寫碼單位630的預測單位可分割為包含於寫碼單位630中的分區，亦即，包含於寫碼單位630中的具有尺寸16×16之分區、具有尺寸16×8之分區632、具有尺寸8×16之分區634以及具有尺寸8×8的分區636。
類似地，具有尺寸8×8以及深度3之寫碼單位640的預測單位可分割為包含於寫碼單位640中的分區，亦即，包含於寫碼單位640中的具有尺寸8×8之分區、具有尺寸8×4之分區642、具有尺寸4×8之分區644以及具有尺寸4×4的分區646。
具有尺寸4×4以及深度4之寫碼單位650為最小寫碼單位以及最下層深度之寫碼單位。寫碼單位650之預測單位僅指派給具有尺寸4×4之分區。
為了判定構成最大寫碼單位610之寫碼單位的至少一經寫碼深度，視訊編碼裝置100之寫碼單位判定器120針對對應於包含於最大寫碼單位610中之每一深度的寫碼單位執行編碼。
隨著深度變深，包含相同範圍中之資料以及相同尺寸的根據深度之較深寫碼單位的數目增大。舉例而言，需要對應於深度2之四個寫碼單位來涵蓋包含於對應於深度1之一寫碼單位中的資料。因此，為了比較根據深度之相同資料的編碼結果，對應於深度1之寫碼單位以及對應於深度2之四個寫碼單位各自經編碼。
為了針對來自深度當中之當前深度執行編碼，沿著階層結構600之水平軸，可藉由針對對應於當前深度之寫碼單位中的每一預測單位執行編碼，而針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度之最小編碼誤差、藉由隨著深度沿著階層結構600之垂直軸變深而針對每一深度執行編碼，來搜尋最小編碼誤差。寫碼單位610中具有最小編碼誤差之深度以及分區可被選擇作為寫碼單位610之經寫碼深度以及分區類型。
圖7為用於描述根據本發明之實施例的在寫碼單位710與變換單位720之間的關係的圖式。
視訊編碼裝置100或視訊解碼裝置200針對每一最大 寫碼單位根據具有小於或等於最大寫碼單位之尺寸的寫碼單位編碼或解碼影像。在編碼期間用於變換之變換單位的尺寸可基於不大於相應寫碼單位之資料單位而選擇。
舉例而言，在視訊編碼裝置100或視訊解碼裝置200中，若寫碼單位710之尺寸為64×64，則可藉由使用具有尺寸32×32之變換單位720來執行變換。
又，可藉由對具有尺寸32×32、16×16、8×8以及4×4(其小於64×64)之變換單位中的每一者執行變換而編碼具有尺寸64×64之寫碼單位710的資料，且接著具有最小寫碼誤差的變換單位可經選擇。
圖8為用於描述根據本發明之實施例的對應於經寫碼深度之寫碼單位之編碼資訊的圖式。
視訊編碼裝置100之輸出單元130可編碼且傳輸關於分區類型之資訊800、關於預測模式之資訊810，以及關於對應於經寫碼深度之每一寫碼單位的變換單位之尺寸的資訊820，作為關於編碼模式之資訊。
資訊800指示關於藉由分割當前寫碼單位之預測單位所獲得的分區之形狀的資訊，其中分區為用於預測編碼當前寫碼單位的資料單位。舉例而言，具有尺寸2N×2N之當前寫碼單位CU_0可分割為具有尺寸2N×2N之分區802、具有尺寸2N×N之分區804、具有尺寸N×2N之分區806以及具有尺寸N×N的分區808中之任一者。此處，關於分區類型之資訊800設定為指示具有尺寸2N×N之分區804、具有尺寸N×2N之分區806以及具有尺寸N×N之分 區808中的一者。
資訊810指示每一分區之預測模式。舉例而言，資訊810可指示對藉由資訊800所指示之分區所執行的預測編碼之模式，亦即，畫面內模式812、畫面間模式814或跳過模式816。
資訊820指示待基於何時對當前寫碼單位執行變換之變換單位。舉例而言，變換單位可為第一畫面內變換單位822、第二畫面內變換單位824、第一畫面間變換單位826或第二畫面內變換單位828。
根據每一較深寫碼單位，視訊解碼裝置200之影像資料以及編碼資訊擷取器220可擷取且使用資訊800、810以及820以用於解碼。
圖9為根據本發明之實施例的根據深度之較深寫碼單位的圖式。
分割資訊可用以指示深度之改變。分割資訊指示當前深度之寫碼單位是否分割為較下層深度之寫碼單位。
用於預測編碼具有深度0以及尺寸2N_0×2N_0之寫碼單位900的預測單位910可包含具有尺寸2N_0×2N_0之分區類型912、具有尺寸2N_0×N_0之分區類型914、具有尺寸N_0×2N_0之分區類型916以及具有尺寸N_0×N_0的分區類型918之分區。圖9僅說明藉由對稱地分割預測單位910所獲得之分區類型912至分區類型918，但分區類型不限於此，且預測單位910之分區可包含非對稱分區、具有預定形狀之分區以及具有幾何形狀的分區。
根據每一分區類型，對具有尺寸2N_0×2N_0之一個分區、具有尺寸2N_0×N_0之兩個分區、具有尺寸N_0×2N_0之兩個分區以及具有尺寸N_0×N_0的四個分區重複地執行預測編碼。在畫面內模式以及畫面間模式中之預測編碼可對具有尺寸2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0之分區執行。在跳過模式中之預測編碼僅對具有尺寸2N_0×2N_0之分區執行。
若編碼誤差在分區類型912至分區類型916中之一者中最小，則預測單位910可不被分割為較下層深度。
若編碼誤差在分區類型918中最小，則深度自0改變為1以在操作920中分割分區類型918，且對具有深度2以及尺寸N_0×N_0之寫碼單位930重複地執行編碼以搜尋最小編碼誤差。
用於預測編碼具有深度1以及尺寸2N_1×2N_1(=N_0×N_0)之寫碼單位930的預測單位940可包含具有尺寸2N_1×2N_1之分區類型942、具有尺寸2N_1×N_1之分區類型944、具有尺寸N_1×2N_1之分區類型946以及具有尺寸N_1×N_1的分區類型948之分區。
若編碼誤差在分區類型948中最小，則深度自1改變為2以在操作950中分割分區類型948，且對具有深度2以及尺寸N_2×N_2之寫碼單位960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時，根據每一深度之分割操作可經執行直至深度變為d-1時，且分割資訊可編碼為直至深度為 0至d-2中之一者時。換言之，當在對應於深度d-2之寫碼單位在操作970中分割之後，執行編碼直至深度為d-1時，用於預測編碼具有深度d-1以及尺寸2N_(d-1)×2N_(d-1)之寫碼單位980的預測單位990可包含具有尺寸2N_(d-1)×2N_(d-1)之分區類型992、具有尺寸2N_(d-1)×N_(d-1)之分區類型994、具有尺寸N_(d-1)×2N_(d-1)之分區類型996以及具有尺寸N_(d-1)×N_(d-1)的分區類型998之分區。
可對來自分區類型992至分區類型998當中的具有尺寸2N_(d-1)×2N_(d-1)之一個分區、具有尺寸2N_(d-1)×N_(d-1)之兩個分區、具有尺寸N_(d-1)×2N_(d-1)之兩個分區，具有尺寸N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼，以搜尋具有最小編碼誤差的分區類型。
即使當分區類型998具有最小編碼誤差時，由於最大深度為d，具有深度d-1之寫碼單位CU_(d-1)不再分割為較下層深度，且構成當前最大寫碼單位900之寫碼單位的經寫碼深度判定為d-1，且當前最大寫碼單位900的分區類型可判定為N_(d-1)×N_(d-1)。又，由於最大深度為d且具有最下層深度d-1之最小寫碼單位980不再分割為較下層深度，因此不設定用於最小寫碼單位980之分割資訊。
資料單位999可為當前最大寫碼單位之‘最小單位’。根據本發明之實施例的最小單位可為藉由將最小寫碼單位980分割為4個所獲得的正方形資料單位。藉由重複地執行編碼，視訊編碼裝置100可藉由根據寫碼單位900之深 度比較編碼誤差而選擇具有最小編碼誤差的深度，以判定經寫碼深度，且將相應分區類型以及預測模式設定為經寫碼深度的編碼模式。
因而，根據深度之最小編碼誤差在所有深度1至深度d中進行比較，且具有最小編碼誤差之深度可判定為經寫碼深度。經寫碼深度、預測單位之分區類型，以及預測模式可經編碼作為關於編碼模式之資訊且作為此資訊而進行傳輸。又，由於寫碼單位自深度0分割為經寫碼深度，因此僅經寫碼深度之分割資訊設定為0，且排除經寫碼深度之深度的分割資訊設定為1。
視訊解碼裝置200之影像資料以及編碼資訊擷取器220可擷取且使用關於經寫碼深度以及寫碼單位900之預測單位的資訊，以解碼分區912。視訊解碼裝置200可藉由使用根據深度之分割資訊來判定深度(其中分割資訊為0)而作為經寫碼深度，且使用關於相應深度之編碼模式的資訊以用於解碼。
圖10至圖12為用於描述根據本發明之實施例的在寫碼單位1010、預測單位1060與變換單位1070之間的關係的圖式。
寫碼單位1010為在最大寫碼單位中具有樹狀結構之寫碼單位，其對應於藉由視訊編碼裝置100所判定之經寫碼深度。預測單位1060為寫碼單位1010中之每一者之預測單位的分區，且變換單位1070為寫碼單位1010中之每一者的變換單位。
當最大寫碼單位之深度在寫碼單位1010中為0時，寫碼單位1012以及1054之深度為1，寫碼單位1014、1016、1018、1028、1050以及1052之深度為2，寫碼單位1020、1022、1024、1026、1030、1032以及1048之深度為3，且寫碼單位1040、1042、1044以及1046的深度為4。
在預測單位1060中，藉由在編碼單位1010中分割寫碼單位而獲得一些編碼單位1014、1016、1022、1032、1048、1050、1052以及1054。換言之，寫碼單位1014、1022、1050以及1054中之分區類型具有尺寸2N×N，寫碼單位1016、1048以及1052中之分區類型具有尺寸N×2N，且寫碼單位1032之分區類型具有尺寸N×N。預測單位以及寫碼單位1010之分區小於或等於每一寫碼單位。
變換或逆變換在小於寫碼單位1052之資料單位中對變換單位1070中的寫碼單位1052之影像資料執行。又，變換單位1070中之寫碼單位1014、1016、1022、1032、1048、1050以及1052在尺寸以及形狀方面不同於預測單位1060中的寫碼單位。換言之，視訊編碼裝置100以及視訊解碼裝置200可對同一寫碼單位中之資料單位個別地執行畫面內預測、運動估計、運動補償、變換以及逆變換。
因此，對在最大寫碼單位之每一區域中具有階層結構之寫碼單位中的每一者以遞回方式執行編碼，以判定最佳寫碼單位，且由此可獲得具有遞回樹狀結構之寫碼單位。編碼資訊可包含關於寫碼單位之分割資訊、關於分區類型之資訊、關於預測模式之資訊，以及關於變換單位之尺寸 的資訊。表1表示可藉由視訊編碼裝置100以及視訊解碼裝置200設定之編碼資訊。
視訊編碼裝置100之輸出單元130可輸出關於具有樹狀結構之寫碼單位的編碼資訊，且視訊解碼裝置200之影像資料以及編碼資訊擷取器220可自所接收位元串流擷取關於具有樹狀結構之寫碼單位的編碼資訊。
分割資訊指示當前寫碼單位是否分割為較下層深度之寫碼單位。若當前深度d之分割資訊為0，則當前寫碼單位不再分割為較下層深度之深度為經寫碼深度，且由此關於分區類型、預測模式以及變換單位之尺寸的資訊可針對經寫碼深度而定義。若當前寫碼單位根據分割資訊進一步分割，則對較下層深度之四個分割寫碼單位獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式 中之一者。畫面內模式以及畫面間模式可在所有分區類型中定義，而跳過模式僅在具有尺寸2N×2N之分區類型中定義。
關於分區類型之資訊可指示：具有尺寸2N×2N、2N×N、N×2N以及N×N之對稱分區類型，其是藉由對稱地分割預測單位之高度或寬度而獲得；以及具有尺寸2N×nU、2N×nD、nL×2N以及nR×2N之非對稱分區類型，其是藉由非對稱地分割預測單位之高度或寬度而獲得。具有尺寸2N×nU以及2N×nD之非對稱分區類型可藉由以1：3以及3：1對預測單位之高度進行分割而分別獲得，且具有尺寸nL×2N以及nR×2N之非對稱分區類型可藉由以1：3以及3：1對預測單位的寬度進行分割而分別獲得。
變換單位之尺寸可設定為畫面內模式中之兩種類型以及畫面間模式中的兩種類型。換言之，若變換單位之分割資訊為0，則變換單位之尺寸可為是2N×2N即當前寫碼單位之尺寸。若變換單位之分割資訊為1，則變換單位可藉由對當前寫碼單位進行分割而獲得。又，若具有尺寸2N×2N之當前寫碼單位的分區類型為對稱分區類型，則變換單位之尺寸可為N×N，且若當前寫碼單位之分區類型為非對稱分區類型，則變換單位的尺寸可為N/2×N/2。
關於具有樹狀結構之寫碼單位的編碼資訊可包含對應於經寫碼深度之寫碼單位、預測單位以及最小單位中的至少一者。對應於經寫碼深度之寫碼單位可包括含有相同編碼資訊之預測單位以及最小單位中的至少一者。
因此，藉由比較鄰近資料單位之編碼資訊而判定鄰近資料單位是否包含於對應於經寫碼深度的同一寫碼單位中。又，對應於經寫碼深度之相應寫碼單位是藉由使用資料單位之編碼資訊而判定，且由此最大寫碼單位中之經寫碼深度的分佈可得以判定。
因此，若當前寫碼單位是基於鄰近資料單位之編碼資訊而預測，則鄰近於當前寫碼單位的較深寫碼單位中之資料單位的編碼資訊可直接被參考且使用。
或者，若當前寫碼單位是基於鄰近資料單位之編碼資訊而預測，則使用資料單位的經編碼資訊來搜尋鄰近於當前寫碼單位之資料單位，且所搜尋之鄰近寫碼單位可被參考以用於預測當前寫碼單位。
圖13為用於描述根據表1之編碼模式資訊的在寫碼單位、預測單位或分區，與變換單位之間的關係的圖式。
最大寫碼單位1300包含經寫碼深度之寫碼單位1302、1304、1306、1312、1314、1316以及1318。此處，由於寫碼單位1318為經寫碼深度之寫碼單位，因此分割資訊可設定為0。關於具有尺寸2N×2N之寫碼單位1318之分區類型的資訊可設定如下分區類型的其中之一，包括：具有尺寸2N×2N之分區類型1322、具有尺寸2N×N之分區類型1324、具有尺寸N×2N之分區類型1326、具有尺寸N×N之分區類型1328、具有尺寸2N×nU之分區類型1332、具有尺寸2N×nD之分區類型1334、具有尺寸nL×2N之分區類型1336，以及具有尺寸nR×2N的分區類型1338。
當分區類型設定為對稱(亦即，分區類型1322、1324、1326或1328)時，若變換單位之分割資訊(TU尺寸旗標)為0，則具有尺寸2N×2N之變換單位1342經設定，且若TU尺寸旗標為1，則具有尺寸N×N的變換單位1344經設定。
當分區類型設定為非對稱(亦即，分區類型1332、1334、1336或1338)時，若TU尺寸旗標為0，則具有尺寸2N×2N之變換單位1352經設定，且若TU尺寸旗標為1，則具有尺寸N/2×N/2的變換單位1354經設定。
下文中，將詳細描述藉由圖4之影像編碼器400以及圖5之影像解碼器500所執行的預測操作。根據本發明之實施例的自亮度成分預測單位來預測色度成分預測單位之處理程序，可藉由圖4之畫面內預測器410以及圖5的畫面內預測器550在新的畫面內預測模式中執行。自亮度成分預測單位來預測色度成分預測單位之畫面內預測模式可被稱為Intra_FromLuma模式。
一般而言，色彩視訊信號需要每像素至少三個色彩成分以表達色彩。色彩空間包含各種類型，諸如：RGB色彩空間，其中色彩視訊信號之每一實例經由表示紅色、綠色以及藍色之相對比率的三個像素值來指示；以及YCbCr色彩空間與YUV色彩空間，其中考慮人類視覺系統(human visual system；HVS)對亮度成分比對色度成分敏感，亮度成分與色度成分在色彩視訊信號中彼此分開。一般視訊編碼/解碼方法是藉由將視訊信號劃分為多個色彩 成分，而編碼以及解碼視訊信號。在包含此多個色彩成分之此視訊信號中，均一相關性可存在於表達同一像素的色彩成分之間。舉例而言，在同一區塊中的亮度成分(Y)之值以及色度成分(Cb以及Cr)之值可具有類似圖案(parttern)。
因此，根據本發明之實施例的預測裝置在當前色度預測單位之處理被執行之前，藉由使用經編碼且還原之鄰近亮度像素以及經還原的鄰近色度像素，而可獲得指示在亮度信號與色度信號之間的線性相關性的參數，且藉由使用所獲得之參數，而自先前編碼且還原之鄰近亮度像素單位產生當前色度預測單位的預測值。根據本發明之實施例，在根據色彩格式考慮在亮度預測單位與色度預測單位之間的尺寸差異的同時，不同的降取樣方法應用於亮度預測單位的內像素、鄰近上部像素以及鄰近左側像素，以取樣對應於色度像素的亮度像素。本發明之實施例提供一種方法，其藉由防止對硬體為負擔的除法運算且僅使用移位、乘法、加法、減法運算並存取查找表，而有效地獲得指示在亮度信號與色度信號之間的線性相關性的參數。又，本發明之實施例提供一種方法，其藉由將在獲得參數之同時將所需的值預先儲存於查找表中，且藉由參考查找表而獲得參數來降低輸送量。下文中，相應色度成分之像素自亮度成分之像素預測，但一般熟習此項技術者將顯而易見，本發明之實施例可應用於諸如RGB色彩空間之其他色彩空間，而取代YCbCr色彩空間。
圖14為根據本發明之實施例之畫面內預測裝置1400的方塊圖。
參看圖14，畫面內預測裝置1400包含取樣單元1410、參數獲得單元1420以及預測執行單元1430。
當亮度預測單位之尺寸大於色度預測單位的尺寸時，取樣單元1410藉由降取樣經還原之亮度預測單位的像素以及鄰近像素而降取樣亮度信號，使得亮度預測單位之尺寸以及色度預測單位的尺寸為相同的。稍後將詳細描述降取樣亮度信號之處理程序。下文中，亮度成分之像素被稱為亮度像素，且色度成分之像素被稱為色度像素。
參數獲得單元1420基於色度預測單位的經還原之鄰近像素以及對應於色度預測單位之亮度預測單位的經還原之鄰近像素，而獲得指示在色度預測單位與亮度預測單位之間的相關性的參數。具體而言，參數獲得單元1410執行改變位元深度之按比例縮放操作(scaling operation)，以便防止在計算查找表之尺寸以及獲得參數之同時所產生的溢位(overflow)。稍後將描述參數獲得單元1410之詳細操作。
預測執行單元1430藉由使用所獲得之參數自經還原之亮度像素預測相應色度像素。
圖15A至圖15C為包含多個色彩成分之色彩格式的參考圖式，且圖16A以及圖16B為根據色彩格式之亮度預測單位以及色度預測單位的參考圖式。
圖15A至圖15C分別之4：2：0色彩格式、4：2：2色彩格 式，以及4：4：4色彩格式中的每一數目表示在水平方向上之相對取樣比率。舉例而言，在4：4：4色彩格式中，關於四個Y亮度像素1530，存在有四個Cb色度像素以及四個Cr色度像素。參看圖16A，當Y亮度預測單位之尺寸在4：4：4色彩格式中為2N×2M時，其中N以及M為整數，對應於Y亮度預測單位之Cb以及Cr色度預測單位亦具有尺寸2N×2M。在4：2：2色彩格式中，Cb以及Cr色度成分在垂直方向上具有與Y亮度成分相同之解析度，但在水平方向上具有為Y亮度成分之解析度之一半的解析度。換言之，在4：2：2色彩格式中，在水平方向上，每四個Y亮度像素1510存在兩個Cb色度像素以及兩個Cr色度像素。又，在4：2：0色彩格式中，Cb以及Cr色度成分在水平以及垂直方向上具有為Y亮度成分之解析度之一半的解析度。換言之，Cb以及Cr色度成分與Y亮度成分之像素之數目相比具有1/4的像素，且如圖16B中所示，相應的Cb以及Cr色度預測單位與在4：2：0色彩格式中具有尺寸2N×2M的Y亮度預測單位相比具有尺寸N×M，其在水平以及垂直方向上為1/2解析度。
因此，當亮度預測單位如在4：2：2或4：2：0色彩格式中大於色度預測單位時，取樣單元1410降取樣經還原之亮度預測單位以及經還原之亮度預測單位的鄰近像素，使得亮度信號與色度信號匹配1：1。
具體而言，根據本發明之實施例的取樣單元1410藉由分別對亮度預測單位之內像素、亮度預測單位之鄰近上 部像素以及亮度預測單位的鄰近左側像素應用獨立降取樣方法，而執行降取樣。降取樣方法之實例包含：自具有預定尺寸之亮度像素群組(例如，2×2亮度像素群組)選擇一像素的方法；以及獨立地判定預定亮度像素群組中之亮度像素的濾波方向(水平或垂直方向)、濾波器分接頭(filter tap)之數目以及濾波器係數，且執行濾波以將一經濾波亮度像素選擇作為經降取樣之像素的方法。因而，取樣單元1410藉由使用各種降取樣方法中之一者來降取樣亮度像素，以便匹配色度像素1：1，諸如：使用選自具有預定尺寸之亮度像素群組的在預定方向上在線上的多個鄰近亮度像素之平均值(2分接頭濾波器)的降取樣方法；使用選自具有預定尺寸之亮度像素群組的在預定方向上的多個鄰近亮度像素之經加權平均值(n分接頭濾波器)的降取樣方法；以及在具有預定尺寸之亮度像素群組中選擇在預定位置中之亮度像素的降取樣方法。舉例而言，取樣單元1410選擇待選自預定亮度像素群組之亮度像素的第一位置或亮度像素之第一濾波方法，以用於降取樣亮度預測單位之內像素；選擇待選自所述預定亮度像素群組之亮度像素的第二位置或亮度像素之第二濾波方法，以用於降取樣亮度預測單位之鄰近上部像素；以及選擇待選自所述預定亮度像素群組之亮度像素的第三位置或亮度像素之第三濾波方法，以用於降取樣亮度預測單位之鄰近左側像素。此處，用於亮度預測單位之內像素之降取樣的第一位置以及第一濾波方法、用於亮度預測單位之鄰近上部像素之降取 樣的第二位置以及第二濾波方法，以及用於亮度預測單位之鄰近左側像素之降取樣的第三位置以及第三濾波方法經獨立地判定，且由此可彼此相同或不同。又，取樣單元1410藉由對亮度預測單位之內像素、鄰近上部像素以及鄰近左側像素獨立地應用濾波方法而執行降取樣。
下文中，將描述根據本發明之實施例的降取樣亮度像素之各種方法。
圖16A為用於描述根據本發明之實施例的降取樣亮度信號之處理程序的參考圖式。
參看圖16A，取樣單元1410可將包含四個亮度像素PLM(2x,2y)、PLM(2x+1,2y)、PLM(2x,2y-1)以及P(2x+1,2y-1)之亮度像素群組1610降取樣為一個亮度像素。詳言之，取樣單元1410藉由使用三個像素計算經加權平均值而獲得對應於在(x,y)位置處之色度像素的經降取樣之亮度像素，其中x以及y各自為整數，此三個像素亦即，位於亮度像素群組1610中之左下方的亮度像素PLM(2x,2y)以及位於亮度像素PLM(2x,2y)之右側以及左側的亮度像素PLM(2x-1,2y)以及PLM(2x+1,2y)。舉例而言，對應於在(x,y)位置處之色度像素的經降取樣之亮度像素pr'(x,y)可根據方程式pr'(x,y)=(PLM(2x-1,2y)+2*PLM(2x,2y)+PLM(2x+1,2y)+2)>>2而獲得。
類似地，取樣單元1410可將包含四個亮度像素PLM(2x+2,2y)、PLM(2x+3,2y)、PLM(2x+2,2y-1)以及P(2x+3,2y-1)之亮度像素群組1620降取樣為一個亮度像 素。詳言之，取樣單元1410藉由使用三個亮度像素計算經加權平均值而獲得對應於在(x,y)位置處之色度像素的經降取樣之亮度像素，其中x以及y各自為整數，此三個亮度像素亦即，位於亮度像素群組1620中之左下方的亮度像素PLM(2x+2,2y)以及位於亮度像素PLM(2x+2,2y)之左側以及右側的亮度像素PLM(2x+1,2y)以及PLM(2x+3,2y)。舉例而言，對應於在(x+1,y)位置處之色度像素的經降取樣之亮度像素pr'(x+1,y)可根據底下方程式而獲得：pr'(x+1,y)=(PLM(2x+1,2y)+2*PLM(2x+2,2y)+PLM(2x+3,2y)+2)>>2。
在以上實施例中，取樣單元1410藉由對中心亮度像素設定權重2且對在中心亮度像素之左側以及右側的亮度像素中之每一者設定權重1計算經加權平均值來執行降取樣，但此等權重可變化，且用以計算經加權平均值之中心亮度像素以及鄰近像素的位置以及數目可改變。
圖16B為用於描述根據本發明之另一實施例的降取樣亮度信號之處理程序的參考圖式。
參看圖16B，取樣單元1410可藉由使用選自四個亮度像素PLM(2x,2y)、PLM(2x+1,2y)、PLM(2x,2y-1)以及P(2x+1,2y-1)的在預定方向上在線上之亮度像素的平均值，或藉由選擇在預定位置處的亮度像素，而獲得對應於在(x,y)位置處之色度像素的經降取樣之亮度像素pr'(x,y)，其中x以及y各自為整數。
詳言之，取樣單元1410可藉由自四個亮度像素 PLM(2x,2y)、PLM(2x+1,2y)、PLM(2x,2y-1)以及P(2x+1,2y-1)當中選擇在預定位置處之一亮度像素，而獲得經降取樣之亮度像素pr'(x,y)。或者，取樣單元1410可將在水平方向上鄰近之亮度像素PLM(2x,2y)與PLM(2x+1,2y)或亮度像素PLM(2x,2y-1)與P(2x+1,2y-1)的平均值判定為經降取樣之亮度像素pr'(x,y)。或者，取樣單元1410可將在垂直方向上鄰近之亮度像素PLM(2x,2y)與PLM(2x,2y-1)或亮度像素PLM(2x+1,2y)與P(2x+1,2y-1)的平均值判定為經降取樣之亮度像素pr'(x,y)。
取樣單元1410藉由根據亮度像素之位置不同地應用各種降取樣方法而執行降取樣，使得亮度像素與色度像素匹配1：1。
圖17A至圖17C為用於描述根據本發明之實施例的根據亮度像素之位置執行降取樣之處理程序的圖式。
參看圖17A，當亮度預測單位1710之尺寸為2nS×2nS且色度預測單位1720之尺寸為nS×nS時，其中nS為正整數，取樣單元1410對亮度預測單位1710以及鄰近像素執行降取樣，使得經降取樣之亮度預測單位以及經降取樣的鄰近像素匹配色度預測單位1720以及鄰近像素。
詳言之，RecL(x,y)(x以及y為自0至2nS-1)表示亮度預測單位1710之內亮度像素，RecL(x,-1)(x為自0至2nS-1)表示亮度預測單位1710之上部亮度像素，RecL(-1,y)(y為自0至2nS-1)表示亮度預測單位1710的左側亮度像素，且RecL'(x,y)表示對應於在(x,y)位置處之色 度像素的經降取樣之亮度像素，當於上述情形時，取樣單元1410關於亮度預測單位1710之鄰近上部像素，可根據底下方程式，獲得對應於色度預測單位1720之鄰近上部像素Pc(x,-1)的經降取樣之亮度像素RecL'(x,-1)，所述方程式即RecL'(x,-1)=(RecL(2x,-2)+RecL(2x,-1))>>1。舉例而言，取樣單元1410可藉由使用在亮度預測單位1710上方之亮度像素群組171中於位置(2x,-2)以及(2x,-1)處之亮度像素的平均值而執行降取樣。
又，取樣單元1410關於亮度預測單位1710之鄰近左側像素，可根據底下方程式，獲得對應於色度預測單位1720之鄰近左側像素Pc(-1,y)的經降取樣之亮度像素RecL'(-1,y)，所述方程式即
RecL'(-1,y)=(RecL(-2,2y)+RecL(-2,2y+1))>>1。
又，取樣單元1410關於亮度預測單位1710之內像素根據底下方程式，可獲得對應於色度預測單位1720之內像素Pc(x,y)的經降取樣之亮度像素RecL'(x,y)，所述方程式即
RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1。
參看圖17B，根據本發明之另一實施例的取樣單元1410關於亮度預測單位1730之鄰近上部像素，可根據底下方程式，獲得對應於色度預測單位之鄰近上部像素Pc(x,-1)的經降取樣之亮度像素RecL'(x,-1)，所述方程式即RecL'(x,-1)=RecL(2x,-1)。舉例而言，取樣單元1410可藉由在亮度預測單位1730上方之亮度像素群組1731中選擇 在(2x,-1)處的亮度像素而執行降取樣。
又，取樣單元1410關於亮度預測單位1730之鄰近左側像素，可根據底下方程式，獲得對應於色度預測單位之鄰近左側像素Pc(-1,y)的經降取樣之亮度像素RecL'(-1,y)，所述方程式即
RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1。
舉例而言，取樣單元1410可藉由使用包含於在亮度預測單位1730之左側的亮度像素群組1732中之亮度像素RecL(-1,2y)以及RecL(-1,2y+1)之平均值，而執行降取樣。
又，取樣單元1410關於亮度預測單位1730之內像素，可根據底下方程式，獲得對應於色度預測單位之內像素Pc(x,y)的經降取樣之亮度像素RecL'(x,y)，所述方程式即RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1。
參看圖17C，根據本發明之另一實施例的取樣單元1410關於亮度預測單位1740之鄰近上部像素，可根據方程式RecL'(x,-1)=RecL(2x,-1)，獲得對應於色度預測單位之鄰近上部像素Pc(x,-1)的經降取樣之亮度像素RecL'(x,-1)。舉例而言，取樣單元1410可藉由選擇包含於在亮度預測單位1740上方之亮度像素群組1741中的在(2x,-1)處之亮度像素而執行降取樣。
又，取樣單元1410關於亮度預測單位1740之鄰近左側像素，可根據底下方程式，獲得對應於色度預測單位之鄰近左側像素Pc(-1,y)的經降取樣之亮度像素RecL'(-1,y)，所述方程式即
RecL'(-1,y)=(RecL(-2,2y)+RecL(-2,2y+1))>>1。
舉例而言，取樣單元1410可藉由使用包含於在亮度預測單位1740之左側的亮度像素群組1742中之亮度像素RecL(-2,2y)以及RecL(-2,2y+1)之平均值，而執行降取樣。
又，取樣單元1410關於亮度預測單位1740之內像素，可根據底下方程式，獲得對應於色度預測單位之內像素Pc(x,y)的經降取樣之亮度像素RecL'(x,y)，所述方程式即
RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1。
根據本發明之另一實施例的取樣單元1410關於亮度預測單位之鄰近上部像素，可根據底下方程式，獲得對應於色度預測單位之鄰近上部像素Pc(x,-1)的經降取樣之亮度像素RecL'(x,-1)，所述方程式即
RecL'(x,-1)=(RecL(2x-1,-1)+2*RecL(2x,-1)+RecL(2x+1,-1)+2)>>2。
如上文參看圖16A所述，關於亮度預測單位之鄰近上部亮度像素，取樣單元1410可藉由底下方式來執行降取樣，所述方式為：透過對中心亮度像素設定權重2且對在中心亮度像素之左側以及右側的亮度像素中之每一者設定權重1，來計算經加權平均值。
又，取樣單元1410關於亮度預測單位之鄰近左側像素，可根據方程式
RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1，獲得對應於色度預測單位之鄰近左側像素Pc(-1,y)的經降取樣之 亮度像素RecL'(-1,y)；且關於亮度預測單位之內像素，可根據方程式RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1，獲得對應於色度預測單位之鄰近內像素Pc(x,y)的經降取樣之亮度像素RecL'(x,y)。
因而，根據本發明之實施例的取樣單元1410藉由根據亮度像素之位置應用各種取樣方法而獲得對應於色度像素的經降取樣之亮度像素。
上文所述之取樣單元1410可僅在4：2：2或4：2：0色彩格式中執行降取樣，且在4：4：4色彩格式中跳過降取樣，此是因為亮度像素與色度像素匹配1：1。
在4：4：4色彩格式中，由於U成分信號以及V成分信號與Y成分信號相比相對具有更窄的頻帶，因此，取代降取樣濾波器，低頻帶通過濾波器(low band pass filter)可另外應用於經還原之亮度信號以改良預測效率。
下文中，現將描述藉由使用經由降取樣與色度信號1：1匹配之亮度信號，來預測色度信號的處理程序。假設亮度信號經降取樣，以便1：1匹配色度信號。
圖18A以及圖18B為用於描述根據本發明之實施例的獲得指示在亮度信號與色度信號之間的相關性之參數的處理程序以及預測色度信號之處理程序的參考圖式。
彼此對應之亮度像素以及色度像素具有預定相關性，例如，線性相關性。參看圖18A以及圖18B，當Rec_L'(x,y)表示在預先還原之亮度預測單位1820中於(x,y)位置處的像素時，預測執行單元1430可藉由根據下文之方 程式1，使用亮度信號與色度信號之間的線性關係，而獲得色度預測單位1810的在(x,y)位置處之預測值Pred_c(x,y)。
[方程式1]Pred_c(x,y)=a．Rec_L'(x,y)+b
在方程式1中，a表示指示權重之參數，且b表示指示偏移之參數。a以及b之值可經由使用色度預測單位1810之鄰近像素Rec_c(i)1811以及1812(其中i為自0至2nS-1)，以及預先儲存之亮度預測單位1820的鄰近像素Rec_L'(i)1821以及1822之計算而獲得，如方程式2以及3中所示。
在方程式2以及3中，I表示色度預測單位1810或預先儲存之亮度預測單位1820的鄰近上部像素以及左側像素之數目，且如圖18A以及圖18B中所示，當色度預測單位1810以及預先儲存之亮度預測單位1820的尺寸為nS×nS時，I為2nS。圖18A以及圖18B表示上部像素以及左側像素用作鄰近像素之狀況，但若鄰近右側或下部像 素在當前預測單位之前經處理且還原，則鄰近右側或下部像素亦可用以獲得a以及b的值。又，為了將乘法或除法運算替換為移位運算，鄰近像素之數目I可為2的乘冪(power)。一般而言，由於定義預測單位之尺寸的nS之值為2的乘冪，因此I亦具有為2的乘冪之值。
同時，浮點運算(floating point operation)用以藉由使用方程式2來以高的資料準確度計算a的值。然而，當a之值具有浮點值時，方程式2包含浮點除法(floating point division)，且由此運算之複雜性增大。因此，根據本發明之實施例的參數獲得單元1420計算參數a'以及b'，以在防止溢位的同時簡化運算，參數a'以及b'是根據藉由改變方程式2以及方程式3所獲得之整數運算演算法而按比例縮放的。
詳言之，為了避免浮點運算，藉由向上按比例縮放(up-scaling)a之值且將a之值捨入na個位元所獲得的整數a'以取代方程式2中之a的值而被使用，如下文之方程式4中所示。
根據方程式4，構成浮點數之a的值可經由左移運算(<<)藉由向上按比例縮放以及捨入，而改變為整數a'。可藉由考慮資料準確度以及計算複雜性來設定na個位元。舉例而言，na可為13。又，根據方程式3之b的值亦可改變為藉由改變且捨入方程式4中之a'的值所獲得之整 數b'。當整數a'以及b'被使用時，方程式1可改變為下文之方程式5。
[方程式5]Pred_c(x,y)=(a'．Rec_L'(x,y)>>na)+b'
同時，為了基於方程式4計算整數a'，需要計算A1/A2。可使用近似值A1'以及A2'而取代A1以及A2，近似值A1'以及A2'是藉由將A1以及A2之排除預定數目個上部位元的位元改變為0所產生。詳言之，藉由將A1之排除上部nA1個位元的位元改變為0所產生之近似值A1'，以及藉由將A2之排除上部nA2個位元的位元改變為0所產生之近似值A2'，可藉由下文的方程式6以及7分別表示。
在方程式6中，[.]運算指示下取整數運算(floor operation)，亦即，選擇小於在[]內部之值的最大整數之運算，rA1=max(bdepth(A1)-nA1,0)且rA2=max(bdepth(A2)-nA2,0)。bdepth(A1)以及bdepth(A2)分別指示A1以及A2之位元深度。又，可在考慮在乘法期間所產生之位元之數目的同時設定nA1，以便防止溢位，且例如，nA1可為15。又，nA2與待稍後描述之查找表之尺寸相關，且例如，nA2在基於64個變數的查找表中可為6。
圖19為用於描述根據本發明之實施例的獲得近似值 A2'之處理程序的圖式。
如圖19中所示，假設A2之位元深度為27且整體位元深度為32。當nA2=6且rA2=max(27-6,0)=21時，為A2之上部6個位元的'101011' 1910經由[A2>>21]運算而被擷取。當2rA2(亦即，221)再次乘法運算至[A2>>21]之值時，排除上部6個位元之剩餘的21個位元具有值0，且由此近似值A2'得以獲得。
當方程式6以及方程式7應用於方程式4時，獲得方程式8。
在方程式8中，可考慮資料準確度以及運算複雜性來判定ntable，且例如，ntable可為15。
在方程式8中，包含除法運算。為了防止除 法運算，之結果值可儲存於預定查找表中而替代 於除法運算，且a'之值可藉由參考預定查找表根據方程式8而獲得。當因而使用預定查找表時，a'之值可僅經由乘法以及移位運算而獲得，而無需在基於方程式8計算a'的同時執行除法運算。
圖20為根據本發明之實施例之查找表的參考圖式。
當nA2=6時，之狀況的數目等於A2之上部 6個位元之狀況的數目。換言之，可藉由使用具有2^(nA2)=2^6(亦即，總共64)個元素之查找表來判定 。因此，參數獲得單元1420可藉由使用儲存對 應於A2之上部6個位元之64個變數的之查找 表而獲得，如圖20中所示。當得以獲 得時，參數獲得單元1420可藉由使用基於方程式8之乘法以及移位運算而計算a'的值。
又，參數獲得單元1420可藉由使用所獲得之a'值根據方程式9來計算b'的值。
當I為2的乘冪時，基於方程式9之b'值可在無除法運算的情況下計算。若由於使用上部左側鄰近像素或上部右側鄰近像素來取代圖18A以及18B中所示之鄰近像素而用作鄰近像素，因此I並非2的乘冪，則(1/I)之值可儲存於查找表中，且b'之值可藉由用方程式之分子根據查找表對(1/I)的值進行乘法運算而獲得。
基於方程式8之a'值可經限幅(clip)，使得根據方程 式5之乘法運算在預定位元內執行。舉例而言，當根據方程式5之乘法運算在16個位元中執行時，a'之值限幅於範圍[-2-15,215-1]內。當na為13時，a之實際值可限於範圍[-4,4)，以便防止誤差。
同時，為了在參數獲得單元1420基於方程式8計算a'之值的同時減小捨位誤差(rounding error)，na可根據A1以及A2之值適應性地判定而取代成為常數。舉例而言，na可根據下文之方程式10而判定。
[方程式10]na=rA2+ntable-rA1
當方程式10取代方程式8時，下文之方程式11可得以獲得。
為了將a'之值維持為預定位元，a'之位元深度可能必須經調整。舉例而言，為了將a'之位元深度維持為a(a_bits)個位元，當用於調整a'之位元深度的變數bitAdjust根據方程式bitAdjust=max(0,bdepth(abs(a'))-(a_bits-1))而獲得時，參數獲得單元1420經由a'=a'>>bitAdjust而減小a'的位元深度。為了將a'之值維持為低於8個位元，a_bits的典型值可為7或8。取代方程式11的na，藉由將下文之方程式12之na應用於方程式5而將a'之值維持於預定位元內的同時，可減小值a'的捨位誤差。
[方程式12]na=rA2+ntable-rA1-bitAdjust
因而，根據本發明之實施例的參數獲得單元1420根據方程式8以及方程式9獲得a'以及b'的值，所述a'以及b'的值用於定義在亮度信號與色度信號之間的相關性。當獲得a'以及b'之值時，預測執行單元1430基於方程式5自經還原之亮度像素，產生相應色度像素的預測值。
同時，上文之方程式2可表達為下文之方程式13。
在方程式13中，CL、C、L以及LL之值可根據下文之方程式14而計算。
為了在根據方程式13計算a之值的同時防止溢位，參數獲得單元1420執行按比例縮小(de-scaling)以減少CL、C、L以及LL之值之位元的數目。
舉例而言，當樣本(諸如，Rec_L'(i)或Rec_c(i))之位元的數目為ns時，A1以及A2之最大位元bitsmax根據下文的方程式15而計算。
[方程式15]bits max=(n s +bdepth(I))．2+1
為了將最大位元bitsmax維持為預定A個位元，其中A為整數，位元深度需要減少超過預定A個位元的數個位元。舉例而言，當A=32時，位元調整參數bitAdjustA可藉由下文之方程式16表示。
[方程式16]bitAdjust A =max(bits max-32,0)
藉由應用方程式16，參數獲得單元1420根據下文之方程式17按比例縮放A1以及A1的值。
[方程式17]A1=I．[CL>>bitAdjustA]-[L>>bitAdjustA/2]．[C>>bitAdjustA/2] A2=I．[LL>>bitAdjustA]-[L>>bitAdjustA/2]．[L>>bitAdjustA/2]
若I為2的乘冪，則位元調整參數bitAdjust2A可根據下文之方程式18而重新定義。
[方程式18]bitAdjust2A=(bitAdjustA+1)/2
藉由使用方程式18之位元調整參數bitAdjust2A，參數獲得單元1420可在計算A1以及A2之值之前，根據下文的方程式19按比例縮小CL、C、LL、L以及I的值。
[方程式19] CL=[CL>>bitAdjust2A] C=[C>>bitAdjust2A] LL=[LL>>bitAdjust2A] L=[L>>bitAdjust2A] I=[I>>bitAdjust2A]
因而，在考慮A1以及A2之值之範圍的同時，根據本發明之另一實施例的參數獲得單元1420藉由根據方程式19按比例縮小用以計算A1以及A2之值的CL、C、LL、L以及I之值，而減小位元深度，使得不產生溢位。
同時，根據本發明之另一實施例的參數獲得單元1420基於定義色度預測單位1810以及預先儲存之亮度預測單位1820之尺寸的nS以及Rec_C(i)的位元深度BitDepthC，而獲得藉由下文之方程式20所定義的參數k3。
[方程式20]k3=Max(0,BitDepthC+log2(nS)-14)
在計算A1以及A2之值的同時，參數獲得單元1420根據方程式21按比例縮小CL、C、LL以及L的值以便防止溢位。
[方程式21]CL=CL>>k3 C=C>>k3 LL=LL>>k3 L=L>>k3
又，參數獲得單元1420基於參數k3以及nS獲得藉 由下文之方程式22所定義的參數k2。
[方程式22]k2=log2(nS>>k3)
又，參數獲得單元1420可藉由使用根據上文之方程式21按比例縮小之CL、C、LL以及L的值以及根據方程式21之參數k2而根據下文之方程式23獲得A1以及A2的值。
[方程式23]A1=(LC<<k2)-L*C A2=(LL<<k2)-L*L
參數獲得單元1420可產生A1'以及A2'之值，而所述A1'以及A2'之值是藉由根據下文之方程式24向下按比例縮放A1以及A2之值所獲得，使得A1以及A2之值表達於預定範圍的位元內。
[方程式24]A1'=A1>>Max(0,log2(abs(A1))-14) A2'=abs(A2>>Max(0,log2(abs(A2))-5))
因而，當獲得A1'以及A2'之值時，參數獲得單元1420根據以下演算法獲得權重a以及偏移b的值，所述權重a以及偏移b的值為指示在亮度信號與色度信號之間的線性相關性。
{
k1=Max(0,log2(abs(A2))-5)-Max(0,log2(abs(A1))-14)+2；a=A2'<1？0：Clip3(-215,215-1,A1'*1mDiv+(1<<(k1-1))>>k1； a=a>>Max(0,log2(abs(a))-6)；k=13-Max(0,log2(abs(a))-6)；b=(L-((a*C)>>k1)+(1<<(k2-1)))>>k2；
}
在以上演算法中，常數可經判定，使得權重a之值以7位元資料來表達。1mDiv表示根據方程式23之A2'所判定的預定值。
當權重a以及偏移b之值根據以上演算法而判定時，根據本發明之另一實施例的預測執行單元1430根據下文之方程式25獲得對應於經還原之亮度信號Rec_L'(x,y)的色度信號之預測值Pred_C(x,y)。
[方程式25]Pred_C(x,y)=(a．Rec_L'(x,y)>>k)+b
此處，k可為13。考慮色度信號之位元深度，預測執行單元1430可如下文之方程式26中所示而限幅(clip)根據方程式25之色度信號的預測值Pred_C(x,y)，使得預測值Pred_C(x,y)存在於色度信號之值的範圍內。
[方程式26]Pred_C(x,y)=Clap1c(a．Rec_L'(x,y)>>k)+b
圖21為說明根據本發明之實施例的預測色度成分影像之方法的流程圖。
參看圖21，在操作2110中，在根據色彩格式考慮彼此對應之亮度預測單位的尺寸以及色度預測單位的尺寸的同時，取樣單元1410降取樣預先編碼且還原之亮度預測單 位以及預先編碼且還原之亮度預測單位的鄰近像素。如上文所述，關於亮度預測單位之內像素、亮度預測單位之鄰近上部像素以及亮度預測單位之鄰近左側像素中的每一者，取樣單元1410藉由應用各種降取樣方法而將亮度像素降取樣為1：1匹配色度像素，所述降取樣方法諸如：使用選自具有預定尺寸之亮度像素群組的在預定方向的線上之多個鄰近亮度像素之平均值的降取樣方法；使用選自具有預定尺寸之亮度像素群組的位於預定方向上之多個鄰近亮度像素之經加權平均值的降取樣方法；以及在具有預定尺寸之亮度像素群組中選擇在預定位置處之亮度像素的降取樣方法。
在操作2120中，基於亮度預測單位的經降取樣之鄰近像素以及經預測之色度預測單位的經還原之鄰近像素，而獲得指示在亮度預測單位與色度預測單位之間的相關性的參數。如上文所述，參數獲得單元1420藉由使用色度預測單位的經還原之鄰近像素以及亮度預測單位的經還原之鄰近像素，根據方程式2以及方程式3計算權重a以及偏移b的值。具體而言，參數獲得單元1420可改變權重a以及偏移b之位元深度，以便改良資料準確度且可防止在計算操作期間產生的溢位。又，參數獲得單元1420藉由底下方法來獲得權重a以及偏移b的值，所述方法即，藉由按比例縮放在計算權重a以及偏移b之值的同時所使用之變數或將變數替換為近似值，而僅藉由使用排除除法運算的乘法、減法以及移位運算。
在操作2130中，預測執行單元藉由使用所獲得之參數自經降取樣之亮度預測單位，獲得對應於經降取樣之亮度預測單位的色度預測單位之預測值。如上文所述，預測執行單元1430自基於方程式1所還原之亮度信號，而預測相應色度信號。又，預測執行單元1430可藉由向上按比例縮放權重a以及偏移b之值，以便如方程式7中所示，執行整數運算而非使用浮點的運算來執行預測。
根據本發明之實施例，可藉由使用在亮度信號與色度信號之間的相關性來改良預測效率。
又，根據本發明之實施例，在藉由在無需執行除法運算之情況下所獲得的參數而改良運算速度的同時，可減小預測所需的輸送量，所述所獲得的參數用於定義在亮度信號與色度信號之間的線性關係。
此外，根據本發明之實施例，在維持資料準確度的同時能夠防止底下情況的溢位，即在獲得參數之同時可能會產生的溢位。
本發明之實施例可寫為電腦程式，且可在藉由使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體之實例包含磁性儲存媒體(例如，ROM、軟性磁碟、硬碟等)、光學記錄媒體(例如，CD-ROM或DVD)，以及儲存媒體。
儘管已參考本發明之較佳實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專利範圍所界定的本發明之精神以及範疇的情況 下，可在本發明中進行形式以及細節上的各種改變。較佳實施例應僅在描述性意義上考慮且並非用於限制目的。因此，本發明之範疇並非藉由本發明之詳細描述界定而是藉由所附申請專利範圍界定，且在範疇內之所有差異將解釋為包含於本發明中。
100‧‧‧視訊編碼裝置
110‧‧‧最大寫碼單位分割器
120‧‧‧寫碼單位判定器
130‧‧‧輸出單元
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料以及編碼資訊擷取器
230‧‧‧影像資料解碼器
310‧‧‧視訊資料
315、325、335、630、640、650、710、720、930、960、1012、1018、1020、1024、1026、1028、1030、1040、1042、1044、1046、1302、1304、1306、1312、1314、1316、1318、CU、CU_1、CU_(d-1)‧‧‧寫碼單位
320、330‧‧‧視訊資料
400‧‧‧影像編碼器
405‧‧‧當前圖框
410‧‧‧畫面內預測器
420‧‧‧運動估計器
425‧‧‧運動補償器
430‧‧‧變換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆變換器
480‧‧‧解區塊單元
490‧‧‧迴路濾波單元
495‧‧‧參考圖框
500‧‧‧影像解碼器
505‧‧‧位元串流
510‧‧‧剖析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆變換器
550‧‧‧畫面內預測器
560‧‧‧運動補償器
570‧‧‧解區塊單元
580‧‧‧迴路濾波單元
585‧‧‧參考圖框
595‧‧‧經還原圖框
600‧‧‧階層結構
610‧‧‧寫碼單位/編碼單位/分區/最大寫碼單位
612、614、616、622、624、626、632、634、636、642、644、646、652、654、656、802、804、806、808‧‧‧分區
620‧‧‧寫碼單位/分區
800、810、820‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
822‧‧‧第一畫面內變換單位
824‧‧‧第二畫面內變換單位
826‧‧‧第一畫面間變換單位
828‧‧‧第二畫面內變換單位
900‧‧‧寫碼單位/當前最大寫碼單位
910、940、990‧‧‧預測單位
912、914、916、918、942、944、946、948、992、994、996、998、1322、1324、1326、1328、1332、1334、1336、1338‧‧‧分區類型
920、950、970‧‧‧操作
980‧‧‧寫碼單位/最小寫碼單位
999‧‧‧資料單位
1010、1015、1016、1022、1032、1048、1050、1052、1054‧‧‧寫碼單位/編碼單位
1060‧‧‧預測單位
1070‧‧‧變換單位
1300‧‧‧最大寫碼單位
1342、1344、1352、1354‧‧‧變換單位
1400‧‧‧畫面內預測裝置
1410‧‧‧取樣單元
1420‧‧‧參數獲得單元
1430‧‧‧預測執行單元
1510、1530‧‧‧Y亮度像素
1610、1620、171、1731、1732、1741、1742‧‧‧亮度像素群組
1710、1720、1730、1740‧‧‧亮度預測單位
1810‧‧‧色度預測單位
1811、1812‧‧‧鄰近像素Rec_c(i)
1820‧‧‧預先還原之亮度預測單位
1821、1822‧‧‧鄰近像素Rec_L'(i)
1910‧‧‧'101011'
CU_0‧‧‧當前寫碼單位
2110~2130‧‧‧操作
圖1為根據本發明之實施例的用於編碼視訊之裝置的方塊圖。
圖2為根據本發明之實施例的用於解碼視訊之裝置的方塊圖。
圖3為用於描述根據本發明之實施例的寫碼單位之概念的圖式。
圖4為根據本發明之實施例的基於寫碼單位之影像編碼器的方塊圖。
圖5為根據本發明之實施例的基於寫碼單位之影像解碼器的方塊圖。
圖6為說明根據本發明之實施例的根據深度之較深寫碼單位以及分區的圖式。
圖7為用於描述根據本發明之實施例的在寫碼單位與變換單位之間的關係的圖式。
圖8為用於描述根據本發明之實施例的對應於經寫碼深度之寫碼單位之編碼資訊的圖式。
圖9為根據本發明之實施例的根據深度之較深寫碼單位的圖式。
圖10至圖12為用於描述根據本發明之實施例的在寫碼單位、預測單位與變換單位之間的關係的圖式。
圖13為用於描述根據表1之編碼模式資訊的在寫碼
單位、預測單位或分區，與變換單位之間的關係的圖式。
圖14為根據本發明之實施例之畫面內預測裝置的方塊圖。
圖15A至圖15C為色彩格式之參考圖式。
圖16A以及圖16B為根據色彩格式之亮度預測單位以及色度預測單位的參考圖式。
圖17A至圖17C為用於描述根據本發明之實施例的根據亮度像素之位置執行降取樣之處理程序的圖式。
圖18A以及圖18B為用於描述根據本發明之實施例的獲得指示在亮度信號與色度信號之間的相關性之參數的處理程序以及預測色度信號之處理程序的參考圖式。
圖19為用於描述根據本發明之實施例的獲得近似值之處理程序的圖式。
圖20為根據本發明之實施例之查找表的參考圖式。
圖21為說明根據本發明之實施例的預測色度成分影像之方法的流程圖。
2110~2130‧‧‧操作

Claims (15)

  1. 一種藉由使用亮度成分影像預測色度成分影像的方法，所述方法包括：根據色彩格式考慮彼此對應之亮度預測單位的尺寸以及色度預測單位的尺寸，降取樣所述亮度預測單位的內像素以及所述亮度預測單位的鄰近像素，其中所述亮度預測單位已預先編碼且預先還原；基於所述亮度預測單位的所述經降取樣之鄰近像素以及經預測之色度預測單位的經還原之鄰近像素，獲得參數，所述參數指示在所述亮度預測單位與所述經預測之色度預測單位之間的相關性；以及藉由使用所述所獲得之參數自所述經降取樣之亮度預測單位，獲得對應於所述經降取樣之亮度預測單位的色度預測單位之預測值；其中所述降取樣包括：選擇待選自預定亮度像素群組之亮度像素的第一位置或亮度像素之第一濾波方法，以降取樣關於所述亮度預測單位之所述內像素；選擇待選自所述預定亮度像素群組之亮度像素的第二位置或亮度像素之第二濾波方法，以降取樣關於所述亮度預測單位之鄰近上部像素；以及選擇待選自所述預定亮度像素群組之亮度像素的第三位置或亮度像素之第三濾波方法，以降取樣關於所述亮度預測單位之鄰近左側像素。
  2. 如申請專利範圍第1項所述之方法，其中獨立地選擇：用於降取樣關於所述亮度預測單位之所述內像素的所述第一位置以及所述第一濾波方法、用於降取樣關於所述亮度預測單位之所述鄰近上部像素的所述第二位置以及所述第二濾波方法，以及用於降取樣關於所述亮度預測單位之所述鄰近左側像素的所述第三位置以及所述第三濾波方法。
  3. 如申請專利範圍第1項所述之方法，其中所述第一位置至所述第三位置各自指示獨立地選自2×2亮度像素群組中之亮度像素當中的亮度像素之相對位置，以及所述第一濾波方法至所述第三濾波方法各自為濾波方向、濾波器分接頭之數目以及濾波器係數經獨立地選擇之濾波方法。
  4. 如申請專利範圍第2項所述之方法，其中，當所述亮度預測單位之所述尺寸為2nS×2nS時，其中nS為正整數，對應於所述亮度預測單位之所述色度預測單位的所述尺寸為nS×nS，所述亮度預測單位的內像素為RecL(x,y)，其中x以及y各自為自0至2nS-1，所述亮度預測單位之上部像素為RecL(x,-1)，其中x為自0至2nS-1，所述亮度預測單位之左側像素為RecL(-1,y)，其中y為自0至2nS-1，且對應於在(x,y)處之色度像素的經降取樣之亮度像素為RecL'(x,y)；關於所述亮度預測單位之鄰近上部像素，對應於所述色度預測單位之鄰近上部像素Pc(x,-1)的經降取樣之亮度 像素RecL(x,-1)是根據底下方程式而獲得：RecL'(x,-1)=(RecL(2x-1,-1)+2*RecL(2x,-1)+RecL(2x+1,-1)+2)>>2；關於所述亮度預測單位之鄰近左側像素，對應於所述色度預測單位之鄰近左側像素Pc(-1,y)的經降取樣之亮度像素RecL'(-1,y)是根據底下方程式而獲得：RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1；以及關於所述亮度預測單位之所述內像素，對應於所述色度預測單位之內像素Pc(x,y)的經降取樣之亮度像素RecL'(x,y)是根據底下方程式而獲得：RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1。
  5. 如申請專利範圍第2項所述之方法，其中，當所述亮度預測單位的所述尺寸為2nS×2nS時，其中nS為正整數，對應於所述亮度預測單位之所述色度預測單位的所述尺寸為nS×nS，所述亮度預測單位的內像素為RecL(x,y)，其中x以及y各自為自0至2nS-1，所述亮度預測單位之上部像素為RecL(x,-1)，其中x為自0至2nS-1，所述亮度預測單位之左側像素為RecL(-1,y)，其中y為自0至2nS-1，且對應於在(x,y)處之色度像素的經降取樣之亮度像素為RecL'(x,y)；關於所述亮度預測單位之鄰近上部像素，對應於所述色度預測單位之鄰近上部像素Pc(x,-1)的經降取樣之亮度像素RecL'(x,-1)根據底下方程式而獲得：RecL'(x,-1)=RecL(2x,-1)； 關於所述亮度預測單位之鄰近左側像素，對應於所述色度預測單位之鄰近左側像素Pc(-1,y)的經降取樣之亮度像素RecL'(-1,y)是根據底下方程式而獲得：RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1；以及關於所述亮度預測單位之所述內像素，對應於所述色度預測單位之內像素Pc(x,y)的經降取樣之亮度像素RecL'(x,y)是根據底下方程式而獲得RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1。
  6. 如申請專利範圍第2項所述之方法，其中，當所述亮度預測單位之所述尺寸為2nS×2nS時，其中nS為正整數，對應於所述亮度預測單位之所述色度預測單位的所述尺寸為nS×nS，所述亮度預測單位的內像素為RecL(x,y)，其中x以及y各自為自0至2nS-1，所述亮度預測單位之上部像素為RecL(x,-1)，其中x為自0至2nS-1，所述亮度預測單位之左側像素為RecL(-1,y)，其中y為自0至2nS-1，且對應於在(x,y)處之色度像素的經降取樣之亮度像素為RecL'(x,y)；關於所述亮度預測單位之鄰近上部像素，對應於所述色度預測單位之鄰近上部像素Pc(x,-1)的經降取樣之亮度像素RecL'(x,-1)是根據底下方程式而獲得：RecL'(x,-1)=RecL(2x,-1)；關於所述亮度預測單位之鄰近左側像素，對應於所述色度預測單位之鄰近左側像素Pc(-1,y)的經降取樣之亮度像素RecL'(-1,y)是根據底下方程式而獲得： RecL'(-1,y)=(RecL(-2,2y)+RecL(-2,2y+1))>>1；以及關於所述亮度預測單位之所述內像素，對應於所述色度預測單位之內像素Pc(x,y)的經降取樣之亮度像素RecL'(x,y)是根據底下方程式而獲得：RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1。
  7. 如申請專利範圍第2項所述之方法，其中，當所述亮度預測單位之所述尺寸為2nS×2nS時，其中nS為正整數，對應於所述亮度預測單位之所述色度預測單位的所述尺寸為nS×nS，所述亮度預測單位的內像素為RecL(x,y)，其中x以及y各自為自0至2nS-1，所述亮度預測單位之上部像素為RecL(x,-1)，其中x為自0至2nS-1，所述亮度預測單位之左側像素為RecL(-1,y)，其中y為自0至2nS-1，且對應於在(x,y)處之色度像素的經降取樣之亮度像素為RecL'(x,y)；關於所述亮度預測單位之鄰近上部像素，對應於所述色度預測單位之鄰近上部像素Pc(x,-1)的經降取樣之亮度像素RecL'(x,-1)是根據底下方程式而獲得：RecL'(x,-1)=(RecL(2x,-2)+RecL(2x,-1))>>1；關於所述亮度預測單位之鄰近左側像素，對應於所述色度預測單位之鄰近左側像素Pc(-1,y)的經降取樣之亮度像素RecL'(-1,y)是根據底下方程式而獲得：RecL'(-1,y)=(RecL(-2,2y)+RecL(-2,2y+1))>>1；以及關於所述亮度預測單位之所述內像素，對應於所述色度預測單位之內像素Pc(x,y)的經降取樣之亮度像素 RecL'(x,y)是根據底下方程式而獲得：RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1。
  8. 如申請專利範圍第1項所述之方法，其中所述參數包括權重以及偏移值，所述權重以及所述偏移值定義在所述亮度預測單位之經還原像素與所述色度預測單位之相應像素之間的線性關係。
  9. 如申請專利範圍第8項所述之方法，其中，當所述亮度預測單位之在經降取樣之(x,y)位置處的經還原像素為Rec_L'(x,y)時，所述色度預測單位之在(x,y)位置處的像素之預測值為Pred_C(x,y)，所述權重為a，且所述偏移值為b，所述相關性是根據底下方程式而定義：Pred_C(x,y)=a*Rec_L'(x,y)+b。
  10. 如申請專利範圍第9項所述之方法，其中，當所述亮度預測單位之I個鄰近經還原像素為Rec_L'(i)，其中I為自0至I-1之整數，且所述色度預測單位的I個鄰近經還原像素為Rec_C(i)時，所述權重a根據如下方程式而判定：
  11. 如申請專利範圍第9項所述之方法，其中所述偏移值b根據如下方程式而判定：
  12. 一種用於藉由使用亮度成分影像預測色度成分影像之裝置，所述裝置包括：取樣單元，根據色彩格式考慮彼此對應之亮度預測單位的尺寸以及色度預測單位的尺寸，降取樣所述亮度預測單位的內像素以及所述亮度預測單位的鄰近像素，其中所述亮度預測單位已預先編碼且預先還原；參數獲得單元，基於所述亮度預測單位的所述經降取樣之鄰近像素以及經預測之色度預測單位的經還原之鄰近像素，獲得參數，所述參數指示在所述亮度預測單位與所述經預測之色度預測單位之間的相關性；以及預測執行單元，藉由使用所述所獲得之參數自所述經降取樣之亮度預測單位，獲得對應於所述經降取樣之亮度預測單位的色度預測單位之預測值，其中所述取樣單元選擇待選自預定亮度像素群組之亮度像素的第一位置或亮度像素之第一濾波方法，以降取樣關於所述亮度預測單位之所述內像素；選擇待選自所述預定亮度像素群組之亮度像素的第二位置或亮度像素之第二濾波方法，以降取樣關於所述亮度預測單位之鄰近上部像素；以及選擇待選自所述預定亮度像素群組之亮度像素的第三位置或亮度像素之第三濾波方法，以降取樣關於所述亮度預測單位之鄰近左側像素。
  13. 如申請專利範圍第12項所述之裝置，其中所述取 樣單元獨立地選擇：用於降取樣關於所述亮度預測單位之所述內像素的所述第一位置以及所述第一濾波方法、用於降取樣關於所述亮度預測單位之所述鄰近上部像素進的所述第二位置以及所述第二濾波方法，以及用於降取樣關於所述亮度預測單位之所述鄰近左側像素的所述第三位置以及所述第三濾波方法。
  14. 如申請專利範圍第12項所述之裝置，其中所述第一位置至所述第三位置各自指示獨立地選自2×2亮度像素群組中之亮度像素當中的亮度像素之相對位置，以及所述第一濾波方法至所述第三濾波方法各自為濾波方向、濾波器分接頭之數目以及濾波器係數經獨立地選擇之濾波方法。
  15. 如申請專利範圍第13項所述之裝置，其中，當所述亮度預測單位之所述尺寸為2nS×2nS時，其中nS為正整數，對應於所述亮度預測單位之所述色度預測單位的所述尺寸為nS×nS，所述亮度預測單位的內像素為RecL(x,y)，其中x以及y各自為自0至2nS-1，所述亮度預測單位之上部像素為RecL(x,-1)，其中x為自0至2nS-1，所述亮度預測單位之左側像素為RecL(-1,y)，其中y為自0至2nS-1，且對應於在(x,y)處之色度像素的經降取樣之亮度像素為RecL'(x,y)；所述取樣單元關於所述亮度預測單元之鄰近上部像素，獲得對應於所述色度預測單元之鄰近上部像素Pc(x,-1)的經降取樣之亮度像素RecL(x,-1)，所述亮度像素 RecL(x,-1)的獲得是根據方程式：RecL'(x,-1)=(RecL(2x-1,-1)+2*RecL(2x,-1)+RecL(2x+1,-1)+2)>>2；所述取樣單元關於所述亮度預測單元之鄰近左側像素，獲得對應於所述色度預測單位之鄰近左側像素Pc(-1,y)的經降取樣之亮度像素RecL'(-1,y)，所述亮度像素RecL'(-1,y)的獲得是根據方程式：RecL'(-1,y)=(RecL(-1,2y)+RecL(-1,2y+1))>>1；以及所述取樣單元關於所述亮度預測單元之所述內像素，獲得對應於所述色度預測單位之內像素Pc(x,y)的經降取樣之亮度像素RecL'(x,y)，所述亮度像素RecL'(x,y)的獲得是根據方程式：RecL'(x,y)=(RecL(2x,2y)+RecL(2x,2y+1))>>1。
TW101123373A 2011-06-28 2012-06-28 使用亮度成分影像的預測色度成分影像用的裝置與方法 TW201309036A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161501985P 2011-06-28 2011-06-28

Publications (1)

Publication Number Publication Date
TW201309036A true TW201309036A (zh) 2013-02-16

Family

ID=47424693

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101123373A TW201309036A (zh) 2011-06-28 2012-06-28 使用亮度成分影像的預測色度成分影像用的裝置與方法

Country Status (14)

Country Link
US (1) US9674521B2 (zh)
EP (1) EP2725794A4 (zh)
JP (1) JP5890520B2 (zh)
KR (1) KR101756843B1 (zh)
CN (1) CN103782596A (zh)
AU (1) AU2012276410A1 (zh)
BR (1) BR112013033707A2 (zh)
CA (1) CA2840488A1 (zh)
MX (1) MX2014000163A (zh)
MY (1) MY160463A (zh)
RU (1) RU2604669C2 (zh)
SG (1) SG10201408745YA (zh)
TW (1) TW201309036A (zh)
WO (1) WO2013002589A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI554081B (zh) * 2013-04-08 2016-10-11 高通公司 基於位元深度之取樣適應性偏移縮放
TWI629897B (zh) * 2016-02-22 2018-07-11 聯發科技（新加坡）私人有限公司 用於視訊編碼之色度預測的區域化亮度預測模式繼承之方法及裝置

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
WO2013102293A1 (en) * 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
TWI597968B (zh) 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
US20140198855A1 (en) * 2013-01-14 2014-07-17 Qualcomm Incorporated Square block prediction
WO2014163462A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
CN104184981B (zh) * 2014-08-27 2017-12-15 深圳市华星光电技术有限公司 一种基于缩减像素采样处理的低解析度显示方法及设备
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
US9743092B2 (en) * 2015-10-13 2017-08-22 Nokia Technologies Oy Video coding with helper data for spatial intra-prediction
CN105306944B (zh) * 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
US11277604B2 (en) 2016-07-14 2022-03-15 Samsung Electronics Co., Ltd. Chroma intra prediction method and device therefor
US20190200021A1 (en) * 2016-09-22 2019-06-27 Lg Electronics Inc. Illumination compensation-based inter-prediction method and apparatus in image coding system
US20200045322A1 (en) * 2016-10-04 2020-02-06 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
CN109804625A (zh) 2016-10-04 2019-05-24 韩国电子通信研究院 对图像编码/解码的方法和装置及存储比特流的记录介质
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
WO2018221631A1 (ja) * 2017-06-02 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
WO2018236028A1 (ko) * 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
GB2564466B (en) * 2017-07-13 2020-01-08 Advanced Risc Mach Ltd Storing YUV texture data in a cache in a graphics processing system
CN109274969B (zh) 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
WO2019054200A1 (ja) * 2017-09-15 2019-03-21 ソニー株式会社 画像処理装置および方法
US10726519B2 (en) 2017-09-25 2020-07-28 Arm Limited Cache arrangement for graphics processing systems
CN111602400B (zh) 2018-01-15 2024-04-19 有限公司B1影像技术研究所 用于色度分量的帧内预测编码/解码方法和装置
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
WO2019194500A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
KR101956756B1 (ko) * 2018-06-12 2019-03-11 광운대학교 산학협력단 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
DK3707898T3 (da) 2018-07-13 2021-05-03 Ericsson Telefon Ab L M Valg af transformation i en videokoder og/eller videoafkoder
EP3815377B1 (en) * 2018-07-16 2022-12-28 Huawei Technologies Co., Ltd. Video encoder, video decoder, and corresponding encoding and decoding methods
CN109005408B (zh) * 2018-08-01 2020-05-29 北京奇艺世纪科技有限公司 一种帧内预测方法、装置及电子设备
CN117915101A (zh) 2018-09-05 2024-04-19 华为技术有限公司 色度块预测方法以及设备
WO2020060256A1 (ko) 2018-09-22 2020-03-26 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측을 사용하는 영상 디코딩 방법 및 그 장치
CN116708834A (zh) * 2018-10-04 2023-09-05 Lg电子株式会社 图像编码/解码设备和用于发送图像的数据的设备
MX2021003853A (es) * 2018-10-05 2021-09-08 Huawei Tech Co Ltd Método y dispositivo de intrapredicción.
US10939118B2 (en) 2018-10-26 2021-03-02 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
KR20210089133A (ko) 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측에 대한 단순화된 파라미터 유도
KR102524061B1 (ko) * 2018-11-23 2023-04-21 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CA3121671A1 (en) 2018-12-07 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
KR102556960B1 (ko) * 2018-12-20 2023-07-18 엘지디스플레이 주식회사 샘플링 된 색차 성분의 복원 장치
CA3125393A1 (en) * 2018-12-31 2020-07-09 Huawei Technologies Co., Ltd. Method and apparatus of cross-component linear modeling for intra prediction
CN113273212A (zh) * 2019-01-02 2021-08-17 夏普株式会社 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
JP2022521698A (ja) 2019-02-22 2022-04-12 北京字節跳動網絡技術有限公司 イントラ予測のための隣接サンプル選択
CN117041552A (zh) * 2019-02-22 2023-11-10 华为技术有限公司 使用线性模型进行帧内预测的方法及装置
CA3128769C (en) 2019-02-24 2023-01-24 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
WO2020180119A1 (ko) * 2019-03-06 2020-09-10 엘지전자 주식회사 Cclm 예측에 기반한 영상 디코딩 방법 및 그 장치
EP3941046A4 (en) 2019-03-14 2022-12-21 LG Electronics Inc. IMAGE CODING/DECODING METHOD AND APPARATUS FOR PERFORMING INTRA PREDICTION, AND BITSTREAM TRANSMISSION METHOD
WO2020192642A1 (en) 2019-03-24 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
MX2022003836A (es) * 2019-10-05 2022-05-12 Beijing Bytedance Network Tech Co Ltd Se?alizacion basada en los niveles de las herramientas de codificacion de video.
KR20230107417A (ko) * 2019-12-30 2023-07-14 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 데이터의 크로마 및 루마 성분의 교차 성분결정
US11625332B2 (en) 2020-01-14 2023-04-11 Arm Limited Cache miss handling for read operations in data processing systems
US11205243B2 (en) 2020-01-14 2021-12-21 Arm Limited Data processing systems
US11789867B2 (en) 2020-01-14 2023-10-17 Arm Limited Cache arrangement for data processing systems
US11443142B2 (en) 2020-02-14 2022-09-13 Samsung Electronics Co., Ltd. In-storage-based data processing using machine learning
CN116569550A (zh) * 2020-10-30 2023-08-08 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器及存储介质
US20220392114A1 (en) 2021-06-08 2022-12-08 Tencent America LLC Method and apparatus for calculating distance based weighted average for point cloud coding
WO2023056360A1 (en) * 2021-09-30 2023-04-06 Bytedance Inc. Method, apparatus and medium for video processing
CN116456102B (zh) * 2023-06-20 2023-10-03 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US7236524B2 (en) 2002-05-28 2007-06-26 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode communication
JP2004056786A (ja) * 2003-06-16 2004-02-19 Sony Corp 画像情報符号化装置および復号装置
US7970219B2 (en) 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
KR101424969B1 (ko) 2005-07-15 2014-08-04 삼성전자주식회사 영상 복호화 방법
US8111756B2 (en) 2006-08-30 2012-02-07 Jiun-In Guo Method for reducing computational complexity of video compression standard
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
TW200845758A (en) 2007-05-03 2008-11-16 Nat Univ Chung Cheng Fast intra coding algorithms for dynamic definition adjustment
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
CN101394565B (zh) 2008-10-20 2011-08-17 成都九洲电子信息系统有限责任公司 一种帧内预测方法
CN101494792A (zh) * 2009-01-15 2009-07-29 北京航空航天大学 一种基于边缘特征的h.264/avc帧内预测方法
KR101601840B1 (ko) 2009-02-23 2016-03-22 에스케이 텔레콤주식회사 채널 상관 관계를 이용한 영상 부호화/복호화 장치 및 방법과 그를 위한 컴퓨터로 읽을 수 있는 기록매체
US10291938B2 (en) 2009-10-05 2019-05-14 Interdigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
CN105635737B (zh) 2010-04-09 2019-03-15 Lg电子株式会社 处理视频数据的方法和装置
CN101902653B (zh) * 2010-06-25 2013-04-24 杭州爱威芯科技有限公司 一种基于亮度样本的方向预测的场内yc分离方法
US9467689B2 (en) * 2010-07-08 2016-10-11 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
AU2011308105A1 (en) 2010-10-01 2013-05-02 Samsung Electronics Co., Ltd. Image intra prediction method and apparatus
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI554081B (zh) * 2013-04-08 2016-10-11 高通公司 基於位元深度之取樣適應性偏移縮放
US10334253B2 (en) 2013-04-08 2019-06-25 Qualcomm Incorporated Sample adaptive offset scaling based on bit-depth
TWI629897B (zh) * 2016-02-22 2018-07-11 聯發科技（新加坡）私人有限公司 用於視訊編碼之色度預測的區域化亮度預測模式繼承之方法及裝置

Also Published As

Publication number Publication date
EP2725794A2 (en) 2014-04-30
WO2013002589A2 (ko) 2013-01-03
US20140140401A1 (en) 2014-05-22
KR101756843B1 (ko) 2017-07-11
RU2604669C2 (ru) 2016-12-10
CA2840488A1 (en) 2013-01-03
RU2014102591A (ru) 2015-08-10
EP2725794A4 (en) 2015-03-04
US9674521B2 (en) 2017-06-06
CN103782596A (zh) 2014-05-07
WO2013002589A3 (ko) 2013-03-14
JP2014523698A (ja) 2014-09-11
SG10201408745YA (en) 2015-02-27
BR112013033707A2 (pt) 2017-06-27
MY160463A (en) 2017-03-15
AU2012276410A1 (en) 2014-02-06
JP5890520B2 (ja) 2016-03-22
MX2014000163A (es) 2014-02-19
KR20130004133A (ko) 2013-01-09

Similar Documents

Publication Publication Date Title
TW201309036A (zh) 使用亮度成分影像的預測色度成分影像用的裝置與方法
US11070811B2 (en) Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
KR102040317B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
RU2595947C2 (ru) Определение режима внутрикадрового предсказания блока кодирования изображения и блока декодирования изображения
TWI669955B (zh) 視訊解碼/編碼裝置與方法、儲存位元串流的記錄媒體
TWI597969B (zh) 視訊解碼裝置
US20130182761A1 (en) Image intra prediction method and apparatus
US11632546B2 (en) Method and device for effective video encoding/decoding via local lighting compensation
CN102934445B (zh) 基于分段对图像编码和解码的方法和设备
AU2015255215B2 (en) Image processing apparatus and method
KR20120061035A (ko) 영상의 인트라 예측 방법 및 장치