TW201330638A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW201330638A
TW201330638A TW101135582A TW101135582A TW201330638A TW 201330638 A TW201330638 A TW 201330638A TW 101135582 A TW101135582 A TW 101135582A TW 101135582 A TW101135582 A TW 101135582A TW 201330638 A TW201330638 A TW 201330638A
Authority
TW
Taiwan
Prior art keywords
unit
size
inter
coding unit
image
Prior art date
Application number
TW101135582A
Other languages
English (en)
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201330638A publication Critical patent/TW201330638A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明揭露一種影像成像裝置，包括一最小編碼單元(coding unit)資訊取得單元，被架構以取得指出在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中、解碼藉由編碼影像資料所得到之編碼資料中為最小編碼單元之最小編碼單元尺寸的資訊；以及一控制資訊取得單元，被架構以取得控制資訊，以根據該最小編碼單元資訊取得單元所取得之資訊所指出之該最小編碼單元的尺寸來控制為圖框間預測(inter prediction)處理之增量之圖框間預測單元的最小尺寸。

Description

影像處理裝置及方法
本發明係關於一種影像處理裝置與方法，且具體地係關於一種進行動作預測/補償處理的影像處理裝置與方法。
近幾年來，已經取得廣泛使用的裝置，其適用譬如MPEG(動畫專家組織)或類似的格式，其係處理影像資訊當作數位訊號，並且利用影像資訊所特有的冗餘，以便能夠在當時進行高度有效的資訊傳送與儲存，以藉由譬如分開餘弦轉換或類似的正交轉換與動作補償來壓縮影像，以當作兩資訊分佈，譬如在一般家庭中的廣播與資訊接收。
特別地，MPEG2(ISO(國際標準化組織)/IEC(國際電機工業委員會)13818-2)係被定義為一般目的的影像編碼格式，其係並且為包含交錯式掃描影像與連續式掃描影像兩者以及標準解析度影像與高清晰度影像的標準。例如，MPEG2現在已經藉由廣範圍的應用而被廣泛地應用於專業用途與消費用途。藉由應用MPEG2壓縮格式，假若標準解析度的交錯式掃描影像具有720×480像素，4至8Mbps(每秒百萬位元)的代碼數量(位元速率)會被分配。同樣地，藉由應用MPEG2壓縮格式，假若例如高解析度的交錯式掃描影像具有1920×1088像素，18至22 Mbps的代碼數量(位元速率)會被分配，藉此，高壓縮速率與良好的影像品質則可被實施。
以MPEG2，適於廣播用途的高影像品質編碼主要用作一目標，但比MPEG1之代碼數量更低的代碼數量(位元速率)，亦即，具有更高壓縮速率的編碼格式則不會被處理。根據個人數位助理的擴展，令人期盼地，此一編碼格式的需求將從今後增加，而且因應此，MPEG4編碼格式的標準化則會被進行。關於影像編碼格式，其規格係在1998年12月以國際標準ISO/IEC 14496-2確認。
更者，在近幾年，稱為H.26L(ITU-T(國際電信聯盟電信標準部門)Q6/16VCEG(視頻編碼專家組))之標準的標準化已經進展，最初意圖用於視訊會議用途的影像編碼。關於H.26L，可理解到，相較於根據相關技術的編碼格式，譬如MPEG2或MPEG4，雖然更大的運算量被要求用於其編碼與解碼，但是更高的編碼效率則會被實施。同樣地，目前，做為MPEG4的部份活動，以此H.26L來同樣利用不由H.26L所支撐功能的標準化會被當作一基礎，以實施更高的編碼效率，以被進行當作加強壓縮視頻編碼的結合模組。
作為標準化的進度表，H.264與MPEG-4 Part 10(高級視頻編碼，在下文被寫成AVC)在2003年3月變成一種國際標準。
現在，以AVC而言，具有巨方塊與次巨方塊的階層結構會以用於編碼的處理增量(編碼之增量)來規定。不過，16×16像素的巨方塊尺寸對譬如UHD(超高清晰度；4000×2000像素)的大型影像圖框而言並非理想，其係將藉 由下一代的編碼方法來處理。
於是，以HEVC(高效率視頻編碼)，其係為後AVC編碼格式，編碼單元(CU)係以巨方塊編碼的替代增量來規定(例如見Benjamin Bross、Woo-Jin Han、Jens-Rainer Ohm、Gary J.Sullivan、Thomas Wiegand所提出的〝高效率視頻編碼的工作草案〞JCTVC-F803_d0，ITU-T SG16 WP3的視頻編碼聯合合作組(JVT-VC)以及ISO/IEC JTC1/SC29/WG第16次會議：Torino,IT，2011年7月14-22日)。
在HEVC的情形中，以SPS(序列參數組)而言，CU的最大尺寸(LCU(最大編碼單元))以及最小尺寸(SCU(最小編碼單元))係以兩語法元素來規定，譬如log2_min_coding_block_size_minus3以及log2_diff_max_min_coding_block_size。
同樣地，此SPS規定-預測單元(PU)。此PU指出具有圖框內預測之圖框內預測方塊的尺寸(處理增量)，並且指出具有圖框間預測之動作補償方塊的尺寸(處理增量)。更者，SPS同樣規定一轉換單元(TU)。此TU指出正交轉換(處理增量)的尺寸。
在圖框間預測(圖框間預測單元)之PU的情形中，譬如2N×2N、2N×N、N×2N與N×N之四種形態的尺寸可關於尺寸係為2N×2N的CU來設定。
現在，SPS規定inter_4×4_enable_flag，其係為關於此圖框間預測之單元尺寸的旗標資訊。假若此旗標值為〝0〞，4×4方塊尺寸的使用係在圖框間預測單元中被禁止，其具有影像壓縮資訊。
現在，假若指定為log2_min_coding_block_size_minus3的SCU之尺寸是除了8×8以外，亦即，假若log2_min_coding_block_size_minus3！=0，則沒有任何圖框間4×4存在以用於PU(不存在任何圖框間預測的4×4方塊尺寸PU)。
不過，在根據Benjamin Bross、Woo-Jin Han、Jens-Rainer Ohm、Gary J.Sullivan、Thomas Wiegand所提出〝高效率視頻編碼的工作草案4〞之所設計方法的情形中，JCTVC-F803_d0，ITU-T SG16 WP3的視頻編碼聯合合作組(JVT-VC)以及ISO/IEC JTC1/SC29/WG第116次會議：Torino,IT，2011年7月14-22日，甚至在此一情形中，係以SPS傳送inter_4×4_enable_flag。也就是說，冗餘資訊會被傳送，其可導致在編碼效率中令人不希望的衰退。
吾人發現藉由inter_4×4_enable_flag來抑制編碼效率的減少是令人滿意的，藉由根據SCU的尺寸設定來控制inter_4×4_enable_flag的傳送。
根據一種實施例，一種影像處理裝置包括：一最小編碼單元(coding unit)資訊取得單元，被架構以取得指出在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中、解碼藉由編碼影像資料所得到之編碼資料中係為最小編碼單元之最小編碼單元尺寸的資訊；以及一控制資訊取得單元，被架構以取得控制資訊，以根據該最小編碼單元資訊取得單元所取得之資訊所指出之該最小編 碼單元的尺寸來控制為圖框間預測(inter prediction)處理之增量之圖框間預測單元的最小尺寸。
若該最小編碼單元資訊取得單元所取得之資訊所指出之該最小編碼單元的尺寸並非最小尺寸，該控制資訊取得單元省略該控制資訊的取得。
該控制資訊係為一旗標，以指定是否將該最小編碼單元可採用之最小尺寸分為二(垂直與水平兩者)的區域當作圖框間預測單元的最小尺寸。
該最小編碼單元可採用之最小尺寸為8×8。
本發明的一種實施例係為一種影像處理裝置的影像處理方法，包括：一最小編碼單元資訊取得單元，取得指出在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中為最小編碼單元之最小編碼單元尺寸的資訊；以及一控制資訊取得單元，取得控制資訊，以根據該取得資訊所指出之該最小編碼單元的尺寸，控制為圖框間預測處理之增量之圖框間預測單元的最小尺寸。
根據一種實施例，一種影像處理裝置，包括：一控制資訊設定單元，被架構以設定控制資訊，以根據由所取得資訊所指出為最小編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中為圖框間預測處理之增量之圖框間預測單元的最小尺寸；以及一傳送單元，被架構以傳送由該控制資訊設定單元所設定的控制資訊。
當該最小編碼單元的尺寸不是該最小編碼單元可採用的最小尺寸時，該控制資訊設定單元可省略控制資訊之設定。
該控制資訊係為一旗標，以指定是否將該最小編碼單元可採用之最小尺寸分為二(垂直與水平兩者)的區域當作圖框間預測單元的最小尺寸。
該最小編碼單元可採用之最小尺寸為8×8。
該影像處理裝置，進一步包括：一最小編碼單元設定單元，其係被架構以設定最小編碼單元的尺寸；其中根據該最小編碼單元設定單元所設定之最小編碼單元的尺寸，該控制資訊設定單元設定該控制資訊；且其中該傳送單元進一步傳送指出由該最小編碼單元設定單元所設定之最小編碼單元尺寸的資訊。
該影像處理裝置，進一步包括：一最大編碼單元設定單元，其設定為最大編碼單元之最大編碼單元的尺寸，以及根據該設定最大編碼單元的尺寸與由最小編碼單元設定單元所設定之該最小編碼單元的尺寸，設定指出該最大編碼單元之尺寸的資訊；其中該傳送單元進一步傳送指出該最大編碼單元設定單元所設定之最大編碼單元尺寸的資訊。
該傳送單元儲存該控制資訊於序列參數組，以便被傳送。
根據一種實施例，一種影像處理裝置的影像處理方法，包括：一控制資訊設定單元，設定控制資訊，以根據由 所取得資訊所指出為最小編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中、為圖框間預測之處理之增量中圖框間預測單元的最小尺寸；以及一傳送單元，傳送該設定之控制資訊。
根據一種實施例，一種影像處理裝置，包括：一控制資訊取得單元，被架構以取得控制資訊，以用做為參考之最小尺寸的編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之解碼藉由編碼影像資料所得到編碼資料中為圖框間預測處理增量之圖框間預測單元的最小尺寸；以及一圖框間預測單元設定，被架構以根據該控制資訊取得單元所取得的控制資訊，來設定該圖框間預測單元的最小尺寸。
根據一種實施例，一種影像處理裝置的影像處理方法，包括：一控制資訊取得單元，取得控制資訊，以用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中、在解碼編碼影像資料所得到編碼資料中為圖框間預測之處理增量之圖框間預測單元的尺寸；以及一圖框間預測單元設定單元，根據所取得的控制資訊，來設定該圖框間預測單元的最小尺寸。
根據一種實施例，一種影像處理裝置，包括：一控制資訊設定單元，被架構以設定控制資訊，用做為參考之最 小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料圖像之階層結構之編碼單元的增量中、在影像資料編碼中係為圖框間預測處理增量之圖框間預測單元的最小尺寸；以及一傳送單元，被架構以傳送由該控制資訊設定單元所設定的控制資訊。
不管最小編碼單元的尺寸，該控制資訊設定單元會進行控制資訊的設定。
該控制資訊係為一旗標，以指定是否將該最小編碼單元之尺寸分為二(垂直與水平兩者)的區域當作圖框間預測單元的最小尺寸。
該傳送單元儲存該控制資訊於一序列參數組，以便被傳送。
根據一種實施例，一種影像處理裝置的影像處理方法，包括：一控制資訊取得單元，設定控制資訊，以用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中係為圖框間預測處理增量之圖框間預測單元的最小尺寸；以及一傳送單元，傳送該設定控制資訊。
根據一部份的以上架構，取得指出在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中為最小編碼單元之最小編碼單元尺寸的資訊，取得控制資訊，以根據該取得資訊所指出之該最小編碼單元的尺寸，控制為圖框間預測處理之增量之圖框間預 測單元的最小尺寸。
根據一部份的以上架構，將設定控制資訊設定，以根據由所取得資訊所指出為最小編碼單元之最小編碼單元的尺寸，以控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中為圖框間預測處理之增量之圖框間預測單元的最小尺寸，以及將該設定控制資訊傳送。
根據一部份的以上架構，取得控制資訊，以用做為參考之最小編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之解碼藉由編碼影像資料所得到編碼資料中為圖框間預測處理增量之圖框間預測單元的尺寸；以及根據所取得的控制資訊，來設定該圖框間預測單元的最小尺寸。
根據一部份的以上架構，設定控制資訊，用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料圖像之階層結構之編碼單元的增量中、在影像資料編碼中係為圖框間預測處理增量之圖框間預測單元的最小尺寸；以及傳送由該設定的控制資訊。
根據以上架構，處理一影像。特別地，抑制編碼效率的減少。
下文將說明本發明的實施例。要注意的是，說明將按以下順序來進行。
1.第一實施例(影像編碼裝置/影像解碼裝置)
2.第二實施例(影像編碼裝置/影像解碼裝置)
3.第三實施例(電腦)
4.第四實施例(電視接收器)
5.第五實施例(蜂巢式電話)
6.第六實施例(記錄/播放裝置)
7.第七實施例(成像設備)
1.第一實施例 影像編碼裝置
圖1為顯示影像編碼裝置之主要架構實例的方塊圖，該影像編碼裝置係為應用本技術的影像處理裝置。在圖1所示的影像編碼裝置100可將移動影像的影像資料編碼，譬如以HEVC(高效率視頻編碼)編碼格式以及例如H.264與MPEG(移動圖像專家組)4 Part10(AVC(高級視頻編碼)編碼格式。)
如圖1所示的影像編碼裝置100具有A/D(類比/數位)轉換單元101、螢幕重新安排緩衝器102、計算單元103、正交轉換單元104、量化單元105、無損編碼單元106、以及儲存緩衝器107。該影像編碼裝置100同樣具有反向量化單元108、反向正交轉換單元109、計算單元110、迴路過濾器111、圖框記憶體112、選擇單元113、圖框內預測單元114、動作預測/補償單元115、預測影像選擇單元116以及速率控制單元117。再者，該影像編碼裝置100 具有一單元尺寸設定單元121。
A/D轉換單元101進行輸入影像資料的A/D轉換，並且於轉換到螢幕重新安排緩衝器102以後供應該影像資料(數位資料)以便被儲存。根據GOP(圖像組)，螢幕重新安排緩衝器102會按所儲存的順序來重新安排該圖框的影像，以顯示成用於編碼的圖框順序，並且將已被重新安排之圖框順序相關的影像供應到計算單元103。螢幕重新安排緩衝器102將圖框影像供應到計算單元103，每一預定部份區域則充當做編碼處理的處理增量(編碼增量)。
同樣地，螢幕重新安排緩衝器102供應該影像，按相同方式、藉由每一部份區域，其圖框順序則會被同樣地重新安排到圖框內預測單元114與動作預測/補償單元115。
計算單元103從自螢幕重新安排緩衝器102讀出的影像減去從圖框內預測單元114與動作預測/補償單元115經由預測影像選擇單元116所供應的預測影像，並且輸出其差異資訊到正交轉換單元104。例如，在進行圖框內編碼相關的影像情形中，計算單元103從自螢幕重新安排緩衝器102讀出的影像減去從圖框內預測單元114所供應的預測影像。同樣例如，在進行圖框間編碼的情形中，計算單元103從自螢幕重新安排緩衝器102讀出的影像減去從動作預測/補償單元115所供應的預測影像。
正交轉換單元104會使從計算單元103供應的差異資訊受到正交轉換，譬如分開的餘旋轉換、Karhunen-Loeve 轉換或類似者。要注意的是，此正交轉換的方法是選擇性的。正交轉換單元104會將正交轉換所得到的轉換係數供應到量化單元105。
量化單元105會將從正交轉換單元104所供應的轉換係數量化。量化單元105會將該量化的轉換係數供應到無損編碼單元106。
無損編碼單元106會將藉由任一編碼格式而在量化單元105上被量化的轉換係數編碼。係數資料係在速率控制單元117的控制下被量化，以致於此編碼數量將是速率控制單元117已設定(或近似目標值)之處之目標值。
同樣地，無損編碼單元106從圖框內預測單元114獲取圖框內預測資訊，包括指出圖框內預測模組等等的資訊，並且從動作預測/補償單元115獲取圖框間預測資訊，包括指出圖框間預測模組的資訊或者動作向量資訊等等。更者，無損編碼單元106獲取在迴路過濾器111上所使用的過濾器係數或類似者。
無損編碼單元106同樣從單元尺寸設定單元121獲取關於該單元尺寸的設定資訊。例如，無損編碼單元106獲得在單元尺寸設定單元121上所設定的log2_min_coding_block_size_minus3或者log2_diff_max_min_coding_block_size，以當作與該單元尺寸相關的設定資訊。同樣地，根據稍後所說明的情況，無損編碼單元106可從單元尺寸設定單元121獲得inter_4×4_enable_flag。
無損編碼單元106以任何編碼形式將這些種種形態的 資訊編碼，並且將它們做成一部份編碼資料的標題資訊(多工化)。例如，無損編碼單元106包括以上所說明的log2_min_coding_block_size_minus3、log2_diff_max_min_coding_block_size、以及inter_4×4_enable_flag於該序列參數組(SPS)中。
無損編碼單元106供應藉由編碼所獲得的編碼資料並且儲存於儲存緩衝器107中。無損編碼單元106之編碼格式的實例包括可變長度編碼、算術編碼或類似者。可變長度編碼的實例包括以H.264/AVC格式來規定的CAVLC(適應性變動長度編碼)。算術編碼的實例例如包括CABAC(前文參考之適應性二元算術編碼)。
儲存緩衝器107暫時固持從無損編碼單元106所供應的編碼資料。以預定的時序，儲存緩衝器107會輸出該固持的編碼資料，以例如當作一位元流，而到一記錄裝置(記錄媒體)或傳送路徑或在該圖式中沒顯示的下游類似者。於是，該編碼種種形態的資訊可被供應到一裝置，該裝置可將藉由影像編碼裝置100所編碼與獲得之影像資料的編碼資料解碼(下文，同樣稱為解碼側裝置)。
同樣地，從量化單元105輸出的量化轉換係數可同樣被供應到反向量化單元108。該反向量化單元108以對應在量化單元105上之量化的方法來進行該量化轉換係數的反向量化，並且將所獲得的轉換係數供應到反向正交轉換單元109。
反向正交轉換單元109以對應透過正交轉換單元104之正交轉換的方法，將來自反向量化單元108所供應的轉 換係數，進行反向正交轉換。受到該反向正交轉換的該輸出(局部恢復的差異資訊)會被供應到計算單元110。
計算單元110將從反向正交轉換單元109所供應的反向正交轉換結果，亦即從圖框內預測單元114所供應的預測影像或者經由預測影像選擇單元116的動作預測/補償單元115，添加到該局部恢復差異資訊，並且獲得一局部重建影像(在下文，稱為重建影像)。該重建影像會被供應到迴路過濾器111或者圖框記憶體112。
迴路過濾器111包括解塊過濾器、適應性迴路過濾器或者類似者，並且適當地進行關於從計算單元110所供應之重建影像的過濾處理。例如，藉由進行關於重建影像的解塊過濾器處理，迴路過濾器111可從該重建影像移除方塊雜訊。同樣地，例如，關於該解塊過濾器處理結果(已進行方塊雜訊之移除的重建影像)，迴路過濾器111可藉由使用維納(Wiener)過濾器來進行迴路過濾處理而進行影像品質之改善。
要注意的是，迴路過濾器111可進一步進行關於重建影像的其他選擇性過濾處理。同樣地，適當地，迴路過濾器111可將以過濾處理所使用之過濾係數等等的資訊供應到無損編碼單元106，以便被編碼。迴路過濾器111將該過濾處理結果(下文，稱為解碼影像)供應到該圖框記憶體112。
圖框記憶體112各自儲存從計算單元110供應的重建影像以及從迴路過濾器111供應的解碼影像。以一預定時 序或依據來自譬如圖框內預測單元114的外部請求，圖框記憶體112將該儲存重建影像經由選擇單元113供應到圖框內預測單元114。同樣地，以一預定時序或依據來自譬如動作預測/補償單元115的外部請求，圖框記憶體112將所儲存的解碼影像經由選擇單元113供應到動作預測/補償單元115。
選擇單元113指出來自圖框記憶體112之影像輸出的來源。例如，在圖框內預測的情形中，選擇單元113從圖框記憶體112讀出尚未進行過濾處理的影像(重建影像)，並且以週邊畫素供應到圖框間預測單元114。
同樣地，例如，在圖框間預測的情形中，選擇單元113從受到過濾處理的圖框記憶體112讀出影像(解碼影像)，並且將此供應到動作預測/補償單元115以做為一參考影像。
一從圖框記憶體112獲得放置在欲處理區域週邊上之週邊區域的影像(週邊影像)時，圖框內預測單元114會使用週邊影像的像素值並且進行圖框內預測(圖框內-螢幕預測)，該圖框內預測基本上以當作處理增量的預測單元(PU)來產生預測影像。圖框內預測單元114可以事先準備的多重模組(圖框內預測模組)來進行此圖框內預測。
圖框內預測單元114會以全部候選圖框內預測模組來產生預測影像，並且使用從螢幕重新安排緩衝器102供應的輸入影像來評估每一預測影像的成本函數值，並且選出一最佳模組。當選出最佳圖框內預測模組時，圖框內預測 單元114則將以最佳模組產生的預測影像供應到預測影像選擇單元116。
同樣地，圖框內預測單元114適當地將包括關於圖框內預測之資訊的圖框內預測資訊，譬如最佳圖框內預測模組或類似者，供應且編碼到無損編碼單元106。
動作預測/補償單元115，使用從螢幕重新安排緩衝器102供應的輸入影像與從圖框記憶體112供應的參考影像，來進行動作預測(圖框間預測)，基本上做為處理增量的PU(圖框間PU)，根據所檢測的動作向量來進行動作補償處理，並且產生預測影像(圖框間預測影像資訊)。動作預測/補償單元115會以事先準備的多重模組(圖框間預測模組)來進行此圖框間預測。
動作預測/補償單元115依據關於由單元尺寸設定單元121所設定之單元尺寸的資訊來設定每一PU的尺寸，並且以當作處理增量的PU來進行處理。
動作預測/補償單元115於全部候選圖框間預測模組中產生一預測影像，評估每一預測影像的成本函數值，並且選出最佳模組。當選出最佳圖框間預測模組時，動作預測/補償單元115會將以最佳模組產生的預測影像供應到預測影像選擇單元116。
同樣地，動作預測/補償單元115將包括關於圖框間預測之資訊的圖框間預測資訊，譬如最佳圖框間預測模組，供應且編碼到無損編碼單元106。
預測影像選擇單元116選出預測影像的來源，以供應 到計算單元103與計算單元110。例如，在圖框內編碼的情形中，預測影像選擇單元116選出圖框內預測單元114做為預測影像的來源，並且將從圖框內預測單元114供應的預測影像供應到計算單元103與計算單元110。同樣地，例如，在圖框間編碼的情形中，預測影像選擇單元116選出動作預測/補償單元115做為預測影像的來源，並且將從該動作預測/補償單元115供應的預測影像供應到計算單元103與計算單元110。
速率控制單元117控制量化單元105之量化移動的速率，以致於依據被儲存在儲存緩衝器107中之編碼資料的編碼數量，溢流(overflow)或欠流(underflow)不會發生。
單元尺寸設定單元121進行關於該單元尺寸的設定，以被視為是在該解碼側裝置的動作預測/補償單元115或者該動作預測/補償單元上。單元尺寸設定單元121將設定資訊供應到動作預測/補償單元115。同樣地，單元尺寸設定單元121將該設定資訊供應到無損編碼單元106，並且藉由添加(多工化)到該編碼資料來傳送它。
編碼單元
在下文，首先將說明以HEVC編碼格式來規定的編碼單元。該編碼單元(CU)同樣稱為編碼樹方塊(CTB)，而且係為在圖像增量中影像之階層結構的部份區域，其以在AVC中的巨型方塊提供相同的服務。亦即，CU為編碼處理的增量(編碼單元)。CU的尺寸並非固定，而且將會被 規定於每一序列中的影像壓縮資訊中，然而，巨型方塊的尺寸會被固定在16×16像素。
特別地，具有最大尺寸的CU會被稱為最大編碼單元(LCU)，且具有最小尺寸的CU會被稱為最小編碼單元(SCU)。亦即，LCU為最大的編碼增量，而SCU為最小的編碼增量。例如，這些區域的尺寸將被指定於被包括在影像壓縮資訊中的序列參數組中，但卻被限制於由二的冪次方所代表之方形的尺寸。亦即，特定階層級的方形CU被2×2分成四個的每一區域會變成下一階層級的方形CU。
在HEVC中所定義之編碼單元的實例被顯示於圖2中。在圖2的實例中，LCU的尺寸為128(2N(N=64))且最大階層深度為5(深度=4)。假若分開旗標的值為〝1〞，2N×2N尺寸的CU會被分為N×N尺寸的CU，其對應下一個階層級。
更者，CU會被分為預測單元(PU)，其為圖框內或圖框間預測之處理增量的區域(圖像增量中影像的部份區域)，並且CU同樣地被分為轉換單元(TU)，其為正交轉換處理增量的區域。
在圖框間預測之PU(圖框間預測單元)的情形中，2N×2N、2N×N、N×2N與N×N的四種形態尺寸可關於尺寸為2N×2N的CU而被設定。亦即，就一個CU而言，可定義與CU相同尺寸的一個PU、將CU垂直或水平分成兩個的兩個PU、或者將CU垂直與水平分成兩個的四個PU。
影像編碼裝置100進行關於編碼的每一處理於圖像增 量中之這些影像的部份區域上，作為處理增量。下文，將說明影像編碼裝置100使用定義於HEVC中之CU做為編碼增量的情形。亦即，LCU為最大編碼增量，且SCU為最小編碼增量。不過，藉由影像編碼裝置100之編碼來處理每一處理的增量為選擇性地，非限制於此。例如，在AVC中所定義的巨型方塊與次巨型方塊可被使用當作處理增量。
要注意的是，在下文，〝該(部份)區域〞包括上述種種區域的全部或任一個(例如，巨型方塊、次巨型方塊、LCU、CU、SCU、PU、TU與類似者)。通常，除了以上所說明以外的增量可被包括，且適當地，根據說明內容，不切實際的增量為被排除的單元。
參數之傳送
圖3為顯示HEVC編碼格式之序列參數組之語法實例的圖式。在HEVC編碼格式的情形中，譬如log2_min_coding_block_size_minus3與log2_diff_max_min_coding_block_size的參數可被儲存在如圖3所示的序列參數組中。log2_min_coding_block_size_minus3為定義SCU尺寸的參數，並且顯示具有〝二冪次方之指數-3〞之SCU的尺寸。例如，在SCU尺寸為8×8的情形中，log2_min_coding_block_size_minus3的值被設定為〝0〞(因為8=23，3-3=0)。同樣地，例如，在SCU尺寸為16×16的情形中，log2_min_coding_block_size_minus3的值被設定為〝1〞(16=24，所以4-3=1)。
要注意的是，SCU所採用尺寸的範圍為選擇性地，但是，在下文中，在SCU所採用尺寸之範圍中的下限(可設定最小尺寸)係以8×8來說明。
log2_diff_max_min_coding_block_size為定義LCU尺寸的參數，且LCU尺寸係以SCU尺寸之間的相關比率(二冪次方的指數)來表達。例如，在LCU為64×64對SCU為8×8的情形中，log2_diff_max_min_coding_block_size的值被設定為〝3〞(64=8×23)。同樣地，例如，在LCU為128×128對SCU為8×8的情形中，log2_diff_max_min_coding_block_size的值被設定為〝4〞(128=8×24)。
同樣地，在HEVC編碼格式的情形中，inter_4×4_enable_flag被儲存在序列參數組中，如圖3所示，inter_4×4_enable_flag為控制資訊以控制圖框間預測(圖框間PU)之處理增量的最小尺寸。更具體地，inter_4×4_enable_flag為一旗標，以定義4×4是否被當作圖框間預測編碼增量的最小尺寸(是否被禁止)。4×4為在SCU最小尺寸(8×8)各別被垂直與水平分為二之情形中的尺寸。根據該使用可行性設定，inter_4×4_enable_flag的值被設定為〝0〞或〝1〞。
假若log2_min_coding_block_size_minus3中所指定之SCU的尺寸並非最小(例如，8×8)，或者在為log2_min_coding_block_size_minus3！=0的情形中，圖框間4×4並不存在以用於PU(4×4方塊尺寸之圖框間預測的PU不存在)。亦即，在本情形中，inter_4×4_enable_flag不被使用(在動作預測/補償處理中，此inter_4×4_enable_flag的值不會被參考)。
不過，在根據Benjamin Bross、Woo-Jin Han、Jens-Rainer Ohm、Gary J.Sullivan、Thomas Wiegand〝高效率視頻編碼的工作草案4〞JCTVC-F803_d0、ITU-T SG16 WP3的視頻編碼聯合合作組(JVT-VC)以及ISO/IEC JTC1/SC29/WG第16次會議：Torino,IT，2011年7月14-22日所提出方法的情形中，inter_4×4_enable_flag被包括在序列參數組中並且以SPS傳送，既使它是在此一情形。也就是說，冗餘的資料將被無效地傳送，藉此令人不希望地減少編碼效率。僅當SCU尺寸被設定在4×4時，也就是，僅當為log2_min_coding_block_size_minus3=0時，使用inter_4×4_enable_flag的值。
因此，影像編碼裝置100根據SCU的尺寸設定(亦即，log2_min_coding_block_size_minus3的值)控制inter_4×4_enable_flag是否被傳送。更具體地，連同僅當設定SCU於8×8時，單元尺寸設定單元121設定SCU與LCU的尺寸，或者僅當為log2_min_coding_block_size_minus3=0時，設定inter_4×4_enable_flag。在SCU被設定成大於8×8尺寸的情形中(在log2_min_coding_block_size_minus3！=0的情形中)，單元尺寸設定單元121會省略inter_4×4_enable_flag之設定。在inter_4×4_enable_flag被設定之情形中，單元尺寸設定單元121會將inter_4×4_enable_flag供應到無損編碼單元106，並且傳送到包括在SPS中的解碼側裝置。
亦即，影像編碼裝置100進行SPS的語法，如圖4所示的實例。如圖4的語法所示，只有在 log2_min_coding_block_size_minus3==0的情形中，inter_4×4_enable_flag才會被SPS儲存。
當SCU的尺寸不是最小時，這會省略inter_4×4_enable_flag的傳送，如此，影像編碼裝置100則可抑制起由於inter_4×4_enable_flag之令人不希望的編碼效率減少。
單元尺寸設定單元
圖5為顯示單元尺寸設定單元121之主要架構實例的方塊圖。如圖5所示，單元尺寸設定單元121具有一SCU尺寸設定單元151、一LCU尺寸設定單元152以及一旗標設定單元153。
SCU尺寸設定單元151以動作預測/補償單元115來設定圖框間預測的SCU尺寸。例如，依據譬如使用者設定、硬體性能、規範(profile)層級或類似者的任一資訊，SCU尺寸設定單元151可設定SCU尺寸。SCU尺寸設定單元151供應指出該設定SCU尺寸的資訊到動作預測/補償單元115、LCU尺寸設定單元152、與旗標設定單元153。
同樣地，SCU尺寸設定單元151從以上所設定的SCU尺寸設定參數log2_min_coding_block_size_minus3的值。例如，SCU尺寸設定單元151設定該設定SCU尺寸之〝二的冪次方指數-3〞為log2_min_coding_block_size_minus3的值。log2_min_coding_block_size_minus3充分地能夠獨特地顯示SCU尺寸，且該值的計算方法是選擇性的。SCU尺寸設 定單元151將已設定之log2_min_coding_block_size_minus3供應到無損編碼單元106，以致於被儲存在序列參數組(SPS)中並且被傳送到該解碼側裝置。
LCU尺寸設定單元152藉由動作預測/補償單元115來設定圖框間預測的LCU尺寸。依據譬如使用者設定、硬體性能、規範層級或類似者的任一資訊，LCU尺寸設定單元152設定在SCU尺寸設定單元151中所設定的SCU尺寸，以及例如LCU尺寸。LCU尺寸設定單元152將已設定之LCU尺寸供應到動作預測/補償單元115。
同樣地，LCU尺寸設定單元152從已設定之LCU尺寸與SCU尺寸來設定log2_diff_max_min_coding_block_size的值。例如，LCU尺寸設定單元152將LCU尺寸與SCU尺寸之間的相對比率(二的冪次方指數)設定為log2_diff_max_min_coding_block_size。LCU尺寸設定單元152將以此方式所設定的該參數log2_diff_max_min_coding_block_size供應到無損編碼單元106，以致於被儲存在被傳送到該解碼側裝置的序列參數組(SPS)中。
旗標設定單元153藉由動作預測/補償單元115進行關於圖框間預測之最小單元尺寸的設定。亦即，旗標設定單元153設定inter_4×4_enable_flag的值。inter_4×4_enable_flag為指出為最小單元尺寸的4×4尺寸是否可被應用的旗標。如以上所說明，SCU的最小尺寸為8×8，如此該最小單元尺寸為4×4，其為最小SCU在垂直與水平兩者被分為二之情形的尺寸。
依據譬如使用者指令、硬體性能、規範層級與類似者的資訊(inter_4×4_enable_flag之值可被設定)，旗標設定單元153決定該最小單元尺寸是否可被應用。
不過，僅當SCU尺寸是8×8時，該旗標設定單元153進行設定inter_4×4_enable_flag。當SCU尺寸大於8×8時，旗標設定單元153省略inter_4×4_enable_flag之設定。
要注意可進行一安排：旗標設定單元153可從SCU尺寸設定單元151獲得log2_min_coding_block_size_minus3，並且僅當該值是0時設定inter_4×4_enable_flag。換句話說，在log2_min_coding_block_size_minus3！=0的情形中，旗標設定單元153可省略inter_4×4_enable_flag之設定。
旗標設定單元153將已設定之inter_4×4_enable_flag供應到動作預測/補償單元115。同樣地，旗標設定單元153亦將已設定之inter_4×4_enable_flag供應到無損編碼單元106，以便被儲存在序列參數組(SPS)中並且被傳送到解碼側裝置。
因此，可進行一安排：單元尺寸設定單元121僅當inter_4×4_enable_flag被使用時傳送inter_4×4_enable_flag。因此，影像編碼裝置100可抑制令人不希望的編碼效率之減少。
編碼處理的流程
接著，將說明由以上所說明之影像編碼裝置100所進 行每一處理的流程。編碼處理之流程的實例將首先參考圖6的流程圖來說明。
在步驟S101中，單元尺寸設定單元121可進行關於單元尺寸的設定。例如，單元尺寸設定單元121設定SCU與LCU的尺寸，並且進行被包括在序列參數組且被傳送之資訊的設定，譬如log2_min_coding_block_size_minus3、log2_diff_max_min_coding_block_size以及inter_4×4_enable_flag。
在步驟S102中，A/D轉換單元101進行輸入影像A/D轉換的A/D轉換。在步驟S103中，螢幕重新安排緩衝器102儲存已經進行A/D轉換的影像並且進行從顯示每一圖像之順序至編碼每一圖像之順序的重新安排。
在步驟S104中，圖框內預測單元114進行圖框內預測模組的圖框內預測處理。
在步驟S105中，動作預測/補償單元115進行圖框間動作預測處理，以用圖框間預測模組來進行動作預測或動作補償。
在步驟S106中，依據已經從圖框內預測單元114與動作預測/補償單元115輸出的每一成本函數值，預測影像選擇單元116決定最佳的預測模組。也就是說，預測影像選擇單元116選擇由圖框內預測單元114所產生之預測影像與由動作預測/補償單元115所產生之預測影像的任一個。
在步驟S107中，計算單元103計算藉由步驟S102之處理所重新安排的影像與藉由步驟S106之處理所選出之 預測影像之間的差。關於該差異資料，相較於最初影像資料，資料數量會減少。因此，相較於僅依照影像之現在樣子來編碼之情形，資料數量可被壓縮。
在步驟S108中，正交轉換單元104進行由步驟S103之處理所產生差異資訊的正交轉換。具體地，譬如分開餘弦轉換、Karhunen-Loeve轉換、或類似者的正交轉換可被進行，且該轉換係數可被輸出。在步驟S109中，量化單元105可將步驟108之處理所得到的正交轉換係數量化。
藉由步驟S109之處理所量化的差異資訊會如下文被局部解碼。亦即，在步驟S110中，以對應步驟S108之量化的格式，反向量化單元108會將步驟S108處理所量化的正交轉換係數反向量化。在步驟S111中，以對應步驟S108處理的格式，反向正交轉換單元109會進行由步驟S110之處理所得到正交轉換係數的反向正交轉換。
在步驟S112中，計算單元110會將該預測影像添加到局部解碼差異資訊，並且產生局部解碼影像(對應到計算單元103之輸入的影像)。在步驟S113中，迴路過濾器111進行由步驟S112之處理所產生影像的過濾。藉此可將方塊雜訊移除。
在步驟S114中，圖框記憶體112儲存該影像，方塊雜訊之移除則藉由步驟S113的處理來進行。要注意的是，不受到迴路過濾器111之過濾處理的影像會從計算單元110被供應到圖框記憶體112，並且儲存。被儲存在此圖框記憶體112中的影像係被使用於步驟S104的處理以及 步驟S105的處理。
在步驟S115中，無損編碼單元106會將步驟S109之處理所量化的轉換係數編碼並且產生編碼資料。亦即，譬如可變長度編碼或算術編碼的無損編碼係在該差異影像上進行(在圖框間的情形中為次要差異影像)。
要注意的是，無損編碼單元106會將與步驟S106之處理所選出之預測影像之預測模組相關的資訊編碼，並且添加到藉由將該差異影像編碼所得到的編碼資料。例如，當選出圖框內預測模組時，無損編碼單元106會將圖框內預測模組資訊編碼。同樣地，例如，當選出圖框間預測模組時，無損編碼單元106會將圖框間預測模組資訊編碼。此資訊會被添加(多工化)到該編碼資料，例如，以當作標題資訊或類似者。
同樣地，無損編碼單元106將關於在步驟S101中所設定之單元尺寸的資訊(log2_min_coding_block_size_minus3、log2_diff_max_min_coding_block_size以及inter_4×4_enable_flag或類似者)編碼，其係隨後會被包括在序列參數組(SPS)中並且被添加(多工化)到該編碼資料。
在步驟S116，儲存緩衝器107儲存由步驟S115之處理所產生的編碼資料。被儲存在儲存緩衝器107中的編碼資料會被適當地讀出並且經由任一傳送通道(不僅包括通訊路徑，還包括儲存媒體或類似者)被傳送到解碼側裝置。
在步驟S117中，速率控制單元117控制量化單元 105之量化操作的速率，以致於依據透過步驟S116的處理而被儲存在儲存緩衝器107中的壓縮影像，溢流或欠流不會發生。
當步驟S117的處理結束時，編碼處理會結束。
單元尺寸設定處理的流程
參考圖7的流程圖，接下來將說明在圖6步驟S101中所執行之該單元尺寸設定處理的流程實例。
當該單元尺寸設定處理已經開始時，SCU尺寸設定單元151會在步驟S131中設定SCU尺寸。在步驟S132中，依據在步驟S131中所設定的SCU尺寸，SCU尺寸設定單元151會設定指出SCU尺寸的參數log2_min_coding_block_size_minus3。
在步驟S133中，SCU尺寸設定單元151將藉由步驟S132之處理所設定的log2_min_coding_block_size_minus3供應到無損編碼單元106，藉此被傳送到解碼側裝置。
在步驟S134中，LCU尺寸設定單元152設定LCU尺寸。在步驟S135中，依據在步驟S131中所設定的SCU尺寸與在步驟S134中所設定的LCU尺寸，LCU尺寸設定單元152會設定指出LCU尺寸的參數log2_diff_max_min_coding_block_size。
在步驟S136中，SCU尺寸設定單元151會將藉由步驟S135之處理所設定的log2_diff_max_min_coding_block_size供應到無損編碼單元106，藉此傳送到解碼側裝置。
在步驟S137中，旗標設定單元153決定藉由步驟 S131之處理所設定的SCU尺寸是否在SCU尺寸設定所採用數值的範圍中為最小(8×8)。假若決定為最小(8×8)的話，旗標設定單元153會前進到步驟S138中的處理。
在步驟S138中，旗標設定單元153設定inter_4×4_enable_flag。在步驟S139中，旗標設定單元153將藉由步驟S138之處理所設定的inter_4×4_enable_flag供應到無損編碼單元106，從而傳送到解碼側裝置。當步驟S139的處理結束時，旗標設定單元153會結束該單元尺寸設定處理並且將該處理回到圖6。
同樣地，在步驟S137中，當藉由步驟S131之處理所設定的SCU尺寸被決定為在可被採用數值範圍中並非最小時，旗標設定單元153會結束該單元尺寸設定處理並且回到圖6的處理。
影像編碼裝置100可使inter_4×4_enable_flag於僅當它藉由執行以上所說明之每一處理而被使用時被傳送，藉此藉由傳送冗餘資訊來抑制令人不希望之編碼效率的減少。
影像解碼裝置
圖8為顯示影像解碼裝置之主要架構實例的方塊圖，該影像解碼裝置係為應用本技術的影像處理裝置。在圖8所示的影像解碼裝置200對應以上所說明的影像編碼裝置100，並且將影像編碼裝置100所編碼並產生之影像資料的位元流(編碼資料)正確地解碼，並且產生一解碼影像。
影像解碼裝置200具有儲存緩衝器201、無損解碼單元202、反向量化單元203、反向正交轉換單元204、計算單元205、迴路過濾器206、螢幕重新安排緩衝器207以及D/A轉換單元208，如圖8所示。同樣地，影像解碼裝置200具有圖框記憶體209、選擇單元210、圖框內預測單元211、動作預測/補償單元212與選擇單元213。更者，影像解碼裝置200具有單元尺寸設定解碼單元221。
儲存緩衝器201儲存已經被傳送的編碼資料並且以預定時序將其編碼資料供應到無損解碼單元202。無損解碼單元202將藉由從儲存緩衝器201所供應之圖1無損編碼單元106所編碼的資訊解碼，其所具有的格式則對應無損編碼單元106的編碼格式。無損解碼單元202會將已經被解碼並且獲得之該差異影像的量化係數資料供應到反向量化單元203。
同樣地，無損解碼單元202參考與藉由解碼該編碼資料所獲得之最佳預測模組相關的資訊，並且決定圖框內預測模組已經被最佳預測模組所選出或者圖框間預測模組已經被選出。也就是說，無損解碼單元202決定相關於被傳送之解碼資料所採取的預測模組為圖框內預測或是圖框間預測。
依據所決定的結果，無損解碼單元202將相關於預測模組的資訊供應到圖框內預測單元211或者動作預測/補償單元212。例如，無損解碼單元202供應該圖框內預測資訊，該資訊為相關於所選出之圖框內預測模組的資訊， 其係當該圖框內預測模組被選擇當作在影像編碼裝置100中之最佳預測模組時、從該解碼側被供應到圖框內預測單元211。同樣地，無損解碼單元202供應該圖框間預測資訊，該資訊為相關於所選出之圖框間預測模組的資訊，其係當該圖框間預測模組被選擇當作在影像編碼裝置100中之最佳預測模組時、從該編碼側被供應到動作預測/補償單元212。
無損解碼單元202從該序列參數組(SPS)擷取關於該單元尺寸的資訊，該資訊已經被進一步添加(多工化)到編碼資料並且供應到單元尺寸設定解碼單元221。
以對應圖1量化單元105之量化格式的格式(與反向量化單元108相同的格式)，反向量化單元203進行藉由無損解碼單元202所解碼而獲得之量化係數資料的反向量化。反向量化單元203將藉由此一反向量化而得到的係數資料供應到反向正交轉換單元204。
反向正交轉換單元204以對應圖1正交轉換單元104之正交轉換格式的格式使從反向量化單元203供應之係數資料受到正交轉換。在影像編碼裝置100上接受正交轉換以前，反向正交轉換單元204會獲得對應該差異影像的差異影像。
藉由受到正交轉換而得到的差異影像會被供應到計算單元205。同樣地，預測影像會經由選擇單元213從圖框內預測單元211或動作預測/補償單元212被供應到該計算單元205。
函數單元205添加該差異影像與預測影像，並且在預測影像被擷取以前，從影像編碼單元100的計算單元103，獲得對應該影像的重建影像。計算單元205會將該重建影像供應到迴路過濾器206。
迴路過濾器206進行迴路過濾處理，包括適當地將在所供應重建影像上的類似者解塊過濾處理或者適應性迴路過濾處理，並且產生一解碼影像。例如，迴路過濾器206藉由對重建影像進行解塊過濾處理來移除方塊雜訊。同樣地，例如，關於解塊過濾器處理結果(已進行方塊失真之移除的重建影像)，藉由使用維納過濾器來進行迴路過濾器處理，迴路過濾器206可進行圖像改善。
要注意地，迴路過濾器206所進行的該種過濾處理為選擇性的，並且為除了以上所說明以外的過濾處理。同樣地，迴路過濾器206可使用從圖1之影像編碼裝置100供應的過濾係數來進行過濾處理。
迴路過濾器206將係過濾處理結果的解碼影像供應到螢幕重新安排緩衝器207與圖框記憶體209。要注意的是，藉由此迴路過濾器206的過濾處理可被省略。亦即，計算單元205的輸出可被儲存在圖框記憶體209中而沒有受到過濾處理。例如，圖框內預測單元211使用被包括在此影像中之像素的像素值做為週邊像素的像素值。
螢幕重新安排緩衝器207進行所供應之解碼影像的重新安排。亦即，藉由圖1之螢幕重新安排緩衝器102而被重新安排用於解碼順序的圖框順序會按最初顯示之順序被 重新安排。D/A轉換單元208進行從螢幕重新安排緩衝器207所供應之解碼影像的D/A轉換，且D/A轉換單元208輸出到未顯示的顯示器，以便被顯示。
圖框記憶體209儲存欲被供應的供應重建影像與解碼影像。同樣地，以一預定時序或依據來自譬如圖框內預測單元211與動作預測/補償單元212的外部請求，圖框記憶體209將該儲存重建影像與解碼影像經由選擇單元210而供應到圖框內預測單元211與動作預測/補償單元212。
圖框內預測單元211基本上進行與圖2之圖框內預測單元114相同的處理。不過，僅關於預測影像已經藉由圖框內預測而在編碼時序上產生的區域，圖框內預測單元211會進行圖框內預測。
依據從無損解碼單元202所供應的圖框間預測資訊，動作預測/補償單元212可藉由進行圖框間預測(包括動作預測與動作補償)來產生一預測影像。要注意的是，依據從無損解碼單元202所供應的圖框間預測資訊，僅關於圖框間預測已經在編碼時序上進行的區域，該動作預測/補償單元212可進行圖框間預測。同樣地，動作預測/補償單元212使用藉由該單元尺寸設定解碼單元221、LCU尺寸與inter_4×4_enable_flag所設定的SCU尺寸來設定圖框間PU尺寸(預測處理單元的區域)，並且進行圖框間預測。
圖框內預測單元211或者動作預測/補償單元212，經由選擇單元213，將在預測處理增量中之每一區域所產生 的預測影像供應到計算單元205。
選擇單元213會將從圖框內預測單元211所供應的預測影像或者從動作預測/補償單元212所供應的預測影像供應到計算單元205。
單元尺寸設定解碼單元211可得到關於該單元尺寸的資訊，其係從無損解碼單元202中之編碼資料的序列參數組(SPS)被擷取與解碼。依據所取得的資訊，單元尺寸設定解碼單元221會重建SCU尺寸、LCU尺寸與inter_4×4_enable_flag的值。單元尺寸設定解碼單元221會將那些重建值供應到動作預測/補償單元212。動作預測/補償單元212會使用那些資訊來進行圖框間預測。
要注意的是，旗標inter_4×4_enable_flag僅當SCU尺寸為8×8時被參考。亦即，此旗標不會另外被使用(被參考)。如以上所說明，僅當inter_4×4_enable_flag在動作預測/補償單元212中被參考時，影像編碼裝置100會使此旗標被傳送。
相較之下，依據該重建SCU尺寸，單元尺寸設定解碼單元221會準確地理解此旗標是否被傳送。因此，單元尺寸設定解碼單元221可準確地解碼inter_4×4_enable_flag。亦即，在inter_4×4_enable_flag的值藉由動作預測/補償單元212被參考的情況中，單元尺寸設定解碼單元221可解碼inter_4×4_enable_flag，並且提供到動作預測/補償單元212。因此，甚至在不使用inter_4×4_enable_flag的傳送如以上所說明被省略之情況中，動作預測/補償單元212 可準確地進行圖框間預測。因此，影像解碼單元200可實施inter_4×4_enable_flag的更有效傳送控制，並可藉由冗餘資訊的傳送來實施解碼效率減少的抑制。
單元尺寸設定解碼單元
圖9為顯示圖8之單元尺寸設定解碼單元221之主要架構實例的方塊圖。如圖9所示，單元尺寸設定解碼單元221具有SCU尺寸解碼單元251、LCU尺寸解碼單元252與旗標解碼單元253。
SCU尺寸解碼單元251獲得從在無損解碼單元202中之序列參數組所擷取的log2_min_coding_block_size_minus3，並且依據該值，在解碼時，重建在圖框間預測中所採取的SCU尺寸。
從影像編碼裝置100所供應的log2_min_coding_block_size_minus3，為唯一代表在編碼時、在圖框間預測所採取之SCU尺寸的資訊。例如，SCU尺寸之〝二的冪次方的指數-3〞係被設定為log2_min_coding_block_size_minus3。因此，SCU尺寸解碼單元251可輕易地從此值重建SCU尺寸。SCU尺寸解碼單元251將指出該重建SCU尺寸的資訊供應到動作預測/補償單元212、LCU尺寸解碼單元252、與旗標解碼單元253。
LCU尺寸解碼單元252獲得從在無損解碼單元202中之序列參數組所擷取的log2_diff_max_min_coding_block_size ，並且依據那值以及指出從SCU尺寸解碼單元251所供應之SCU尺寸的資訊，重建在編碼時之在圖框間預測中所採取的LCU尺寸。
從影像解碼裝置100所供應的log2_diff_max_min_coding_block_size，其為依據SCU尺寸、在解碼時、代表在圖框間預測中所採取之LCU尺寸的資訊。例如，與LCU尺寸以及SCU尺寸相關的比率(二的冪次方的指數)係被設定為此log2_min_coding_block_size_minus3。因此，LCU尺寸解碼單元251可輕易地重建來自此值的LCU尺寸以及欲從SCU尺寸解碼單元251所供應的SCU尺寸。LCU尺寸解碼單元252將指出該重建LCU尺寸的資訊供應到動作預測/補償單元212。
依據指出從SCU尺寸解碼單元251所供應SCU尺寸的資訊，旗標解碼單元253會得到從在無損解碼單元202中之序列參數組所擷取的inter_4×4_enable_flag。
因為inter_4×4_enable_flag僅當SCU尺寸為8×8時被傳送，所以藉由參考SCU尺寸，旗標解碼單元253可確保inter_4×4_enable_flag之傳送的存在或不存在。當決定傳送inter_4×4_enable_flag時，亦即，SCU尺寸為8×8，旗標解碼單元253可從無損解碼單元202取得inter_4×4_enable_flag並且將它供應到動作預測/補償單元212。要注意的是，假若決定inter_4×4_enable_flag不被傳送的話，亦即，SCU尺寸不為8×8，那麼旗標解碼單元253則不會獲得inter_4×4_enable_flag。
因此，單元尺寸設定解碼單元221可將被包括在序列參數組並且被傳送之相關於該單元尺寸的種種資訊正確地解碼，並且可提供恰當的資訊到動作預測/補償單元212。因此，動作預測/補償單元212可正確地進行圖框間預測處理。因此，影像解碼裝置200可實施inter_4×4_enable_flag之更有效的傳送控制，並可實施編碼效率減少之抑制。
解碼處理的流程
接著，現在將對以上所說明之影像解碼裝置200所進行之每一處理的流程進行說明。參考圖10的流程圖，首先將說明解碼處理流程的實例。
在解碼處理一開始時，在步驟S201中，儲存緩衝器201可儲存所傳送的編碼資料。在步驟S202中，無損解碼單元202可將從儲存緩衝器201所供應的編碼資料解碼。亦即，藉由圖1之無損編碼單元106所編碼的I圖像、P圖像與B圖像會被解碼。
此時，移動向量資訊、參考圖框資訊、預測模組資訊(圖框內預測模組或圖框間預測模組)、以及譬如旗標或量化參數的資訊亦會被解碼。
當預測模組資訊為圖框內預測模組資訊的時候，該預測模組資訊會被供應到圖框內預測單元211。當預測模組資訊為圖框間預測模組資訊的時候，對應該預測模組資訊的動作向量資訊會被供應到動作預測/補償單元212。
在步驟S203中，單元尺寸設定解碼單元221會進行 單元尺寸解碼設定處理，以將關於被包括在序列參數組中之單元尺寸的種種資訊解碼。
在步驟S204中，反向量化單元203使將得到之由無損解碼單元202所解碼的被量化的正交轉換係數受到反向量化，其係反向量化單元203使用藉由步驟S204之處理所重建的量化參數來進行反向量化處理。
在步驟S205中，用對應圖1之正交轉換單元204之方法的方法，在藉由反向量化單元203所進行之反向量化所得到之正交轉換係數上，反向正交轉換單元204可進行反向正交轉換。藉此，對應圖1之正交轉換單元104之輸入(計算單元103之輸出)的差異資訊已經被解碼。
在步驟S206中，對應從無損解碼單元202所供應的預測模組資訊，圖框內預測單元211或動作預測/補償單元212可進行每一影像的預測處理。亦即，當圖框內預測模組資訊從無損解碼單元202被供應時，圖框內預測單元211可進行圖框內預測模組的圖框內預測處理。同樣地，當從無損解碼單元202供應圖框間預測模組資訊時，使用與藉由步驟S203之處理所得到之單元尺寸有關的種種資訊，動作預測/補償單元212會進行圖框間預測處理(包括動作預測與動作補償)。
在步驟S207中，計算單元205會將藉由步驟S206之處理所得到的預測影像添加到藉由步驟S204之處理所得到的差異資訊。藉此，可將最初影像資料解碼。
在步驟S208中，迴路過濾器206可適當地進行迴路 過濾處理，包括在藉由步驟S207之處理所得到之重建影像上的解方塊過濾處理或適應性迴路過濾處理或類似者。
在步驟S209中，螢幕重新安排緩衝器207會進行解碼影像資料之圖框的重新安排。亦即，藉由解碼影像資料之影像編碼裝置100之螢幕重新安排緩衝器102(圖1)而被重新安排用於編碼的圖框順序，其係按最初顯示順序被重新安排。
在步驟S210中，D/A轉換單元208使解碼影像資料受到D/A轉換，在此該圖框已經被重新排列在螢幕重新排列緩衝器207中。此解碼影像資料會被輸出到未顯示的顯示器，且該影像會被顯示。
在步驟S211中，圖框記憶體209儲存一受到藉由步驟S208之處理之過濾的一解碼影像。
接著，在圖10之步驟S203所進行之單元尺寸設定解碼處理的流程實例，其係將參考圖11的流程圖來說明。
當該單元設定解碼處理開始時，在步驟S231中，SCU尺寸解碼單元251會取得在步驟S202中被解碼的log2_min_coding_block_size_minus3。在步驟232中，使用藉由步驟S231之處理而得到之log2_min_coding_block_size_minus3的值，SCU尺寸解碼單元251會設定(重建)SCU尺寸。
在步驟S233中，LCU尺寸解碼單元252會取得在步驟S202中被解碼的log2_diff_max_min_coding_block_size。
在步驟S234中，依據在步驟S232中被重建之SCU尺寸的值以及藉由步驟S233之處理而得到的 log2_diff_max_min_coding_block_size，LCU尺寸解碼單元252會設定LCU尺寸。
在步驟S235中，旗標解碼單元253決定藉由步驟S232之處理而得到的SCU尺寸是否在所採取的範圍中為最小(8×8)。當決定SCU尺寸為最小時(8×8)，旗標解碼單元253會將處理前進到步驟S236。
在步驟S236中，旗標解碼單元253會取得在步驟S202中被解碼的inter_4×4_enable_flag。當步驟S236的處理結束時，旗標解碼單元253會結束該單元尺寸設定解碼處理並且將該處理回到圖10。
同樣地，當在步驟S235中決定SCU尺寸不是最小時(8×8)，旗標解碼單元253會結束該單元尺寸設定解碼處理並且回到圖10的處理。
藉由進行以上所說明的種種處理，單元尺寸設定解碼單元221可將相關於該單元尺寸、被包括在序列參數組並且被傳送的種種資訊準確地解碼，並且可提供恰當資訊到動作預測/補償單元212。藉此，動作預測/補償單元212可準確地進行圖框間預測處理。因此，影像解碼裝置200可實施inter_4×4_enable_flag之更有效率的傳送控制，並可藉由傳送冗餘資訊來實施抑制編碼效率之減少。
要注意的是，在上文，SCU的最小尺寸已經被描述為8×8，但是SCU尺寸的範圍為選擇性的。也就是，SCU的最小尺寸可能是除了8×8以外的尺寸。因此，定義inter_4×4_enable_flag是否將被當作(是否被禁止)圖框 間預測之單元(圖框間PU)尺寸的該單元尺寸，其為在將SCU之最小尺寸分為二(垂直與水平兩者)之情況中(在可採取範圍中)的尺寸。
例如，在SCU的最小尺寸為16×16的情況中，inter_4×4_enable_flag係定義8×8是否可被應用(是否可被禁止)的旗標。換言之，可使用定義8×8是否可被應用(是否被禁止)的旗標inter_4×4_enable_flag，以取代inter_4×4_enable_flag。
2.第二實施例 單元尺寸設定單元
在上文，已經用inter_4×4_enable_flag為一旗標來進 行說明，以定義是否把在將SCU的最小尺寸分為二(垂直與水平兩者)之情況中的尺寸應用(是否禁止)當作圖框間預測單元的尺寸。
例如，指出已經將任一尺寸的SCU分為四個之N×N尺寸的區域是否被設定做為圖框間預測之PU的旗標可被傳送，其係與用在圖12中所示的實例相同，以取代inter_4×4_enable_flag。
圖12為顯示序列參數組之語法實例的圖。在圖12實例的情況中，可規定smallest_inter_N×N_enable_flag，以取代inter_4×4_enable_flag。smallest_inter_N×N_enable_flag為依據任一尺寸SCU來控制為圖框間預測處理增量之圖框間PU之最小尺寸的資訊。更具體地，smallest_inter_N×N_enable_flag為顯示N×N尺寸是否被承認作為針對2N×2N尺寸SCU之 圖框間PU最小尺寸的旗標。
亦即，在本情況中，不管SCU的尺寸，此smallest_inter_N×N_enable_flag會被傳送到解碼側而沒有失敗。因此，影像解碼裝置200可定義PU尺寸可輕易採用的數值範圍，而不需要參考此smallest_inter_N×N_enable_flag來決定SCU尺寸。
此情況的影像編碼裝置100基本上具有與用以上所說明之圖1實例情況相同的架構。不過，單元尺寸設定單元121的架構係不同的。
單元尺寸設定單元
圖13為顯示此情況之單元尺寸設定單元121之主要架構實例的方塊圖。如圖13所示，此情況的單元尺寸設定單元121具有與圖5實例大致相似的架構，但卻具有旗標設定單元353與PU尺寸設定單元354，以取代旗標設定單元153。
依據譬如使用者設定、硬體性能、規範層級與類似者的任一資訊，旗標設定部353決定在SCU各被分為四個(垂直與水平分為兩個)之情況中，部份區域的尺寸(N×N)是否被允許當作圖框間預測的PU尺寸，並且設定smallest_inter_N×N_enable_flag，其為指出所決定之結果的旗標資訊。旗標設定單元353會將已設定之smallest_inter_N×N_enable_flag供應到PU尺寸設定單元354。同樣地，旗標設定單元353會將已設定之smallest_inter_N×N_enable_flag供應到 無損編碼單元106，並且使它儲存在序列參數組(SPS)並且傳送到該解碼側裝置。
根據smallest_inter_N×N_enable_flag的值，PU尺寸設定單元354決定圖框間-PU尺寸的最小尺寸。例如，在SCU已經在垂直與水平兩者分為二之情況中之將部份區域的尺寸(N×N)允許當作圖框間預測之PU尺寸而藉由此旗標來進行規格說明的情況中，PU尺寸設定單元354採取N×N為PU的最小尺寸。同樣地，在SCU已經在垂直與水平分為二之情況中之不將部份區域的尺寸(N×N)允許當作圖框間預測之PU尺寸而來進行規格說明的情況中，PU尺寸設定單元354採取2N×N或N×2N為PU的最小尺寸。PU尺寸設定單元354將指出PU之最小尺寸的資訊供應到動作預測/補償單元115。動作預測/補償單元115設定PU為大於該設定值的尺寸並且進行圖框間預測。
單元尺寸設定單元121可將無關SCU之尺寸而被參考的smallest_inter_N×N_enable_flag傳送到該解碼側，於是，以此方式，影像編碼單元100可抑制起因於冗餘資訊傳送之解碼效率的減少。
單元尺寸設定處理的流程
本情況之單元尺寸設定處理的流程實例將參考圖14的流程圖來說明。如在圖14中所示，關於此情況，步驟S301至步驟S306的每一處理會被執行，其係與用在圖7中之步驟S131至S136的每一處理相同。
在步驟S307中，依據無關SCU尺寸的任一資訊，旗標設定單元353設定smallest_inter_N×N_enable_flag。在步驟S308中，旗標設定部份353將smallest_inter_N×N_enable_flag供應到無損編碼單元106，並且使它被傳送到解碼側，以做為一序列參數組。
在步驟S309中，根據藉由步驟S307之處理而設定的smallest_inter_N×N_enable_flag，PU尺寸設定單元354設定了PU尺寸的下限(最小尺寸)。例如，在SCU於垂直與水平兩者分為二之情況中之將部份區域的尺寸(N×N)允許當作圖框間預測之PU尺寸而藉由此旗標來進行規格說明的情況中，PU尺寸設定單元354採取N×N為PU的最小尺寸。同樣地，在當SCU在垂直與水平分為二時之不將部份區域的尺寸(N×N)允許當作圖框間預測之PU尺寸而來進行規格說明的情況中，PU尺寸設定單元354採取2N×N或N×2N為PU的最小尺寸。此值可被使用於動作預測/補償單元115的圖框間預測。
當步驟S309的處理結束時，PU尺寸設定單元354會結束該單元尺寸設定處理並且將該處理回到圖6。
藉由透過進行以上所說明之處理來傳送冗餘資訊，該影像編碼裝置100可抑制編碼效率的減少。
單元尺寸設定解碼單元
現在將對在此情況中的影像解碼裝置進行說明。在此情況中的影像解碼單元200基本上具有與以上所說明之圖 8實例之情況相同的架構。不過，單元尺寸設定解碼單元221的架構係不同的。
圖15為顯示在本情況中之單元尺寸設定解碼單元221之主要架構實例的方塊圖。如圖15所示，在本情況中的單元尺寸設定單元221基本上具有與圖9實例情況相同的架構，但卻具有旗標解碼單元453與PU尺寸設定單元454，以取代旗標解碼單元253。
在無損解碼單元202中，旗標解碼單元453取得從序列參數組所擷取到的smallest_inter_N×N_enable_flag。旗標解碼單元453將所取得的smallest_inter_N×N_enable_flag供應到PU尺寸設定單元454。
根據所供應的smallest_inter_N×N_enable_flag，PU尺寸設定單元454設定PU尺寸的下限(最小尺寸)。例如，在當SCU於垂直與水平兩者分為二時之將部份區域的尺寸(N×N)允許當作圖框間預測之PU尺寸而藉由此旗標來進行規格說明的情況中，PU尺寸設定單元454採取N×N為PU的最小尺寸。同樣地，在當SCU在垂直與水平兩者分為二時之不將部份區域的尺寸(N×N)允許當作圖框間預測之PU尺寸而來進行規格說明的情況中，PU尺寸設定單元454採取2N×N或N×2N為PU的最小尺寸。PU尺寸設定單元454將指出PU最小尺寸的資訊供應到動作預測/補償單元212。動作預測/補償單元212將PU設定成比該設定值更大的尺寸並且進行圖框間預測。
單元尺寸設定解碼單元221因此取得無關SCU尺寸 而傳送的smallest_inter_N×N_enable_flag並且可依據此值設定PU尺寸的下限，藉此影像解碼裝置200可實施起因於冗餘資訊傳送之編碼效率減少的抑制。
單元尺寸設定解碼處理的流程
本情況之單元尺寸設定解碼處理的流程實例將參考圖16的流程圖來說明。如圖16所示，關於此情況，可進行步驟S401至步驟S404的每一處理，其係與圖11的步驟S231至步驟S234的每一處理相同。
在步驟S405中，旗標解碼單元453取得smallest_inter_N×N_enable_flag。在步驟S406中，根據在步驟S405中所取得之smallest_inter_N×N_enable_flag，PU尺寸設定單元454設定PU尺寸的下限(最小尺寸)。例如，在當SCU於垂直與水平兩者分為二時之將部份區域的尺寸(N×N)允許當作圖框間預測之PU尺寸而藉由此旗標來進行規格說明的情況中，PU尺寸設定單元454採取N×N為PU的最小尺寸。同樣地，在當SCU在垂直與水平兩者分為二時之不將部份區域的尺寸(N×N)允許當作圖框間預測之PU尺寸而來進行規格說明時，PU尺寸設定單元454採取2N×N或N×2N為PU的最小尺寸。此值可被使用於動作預測/補償單元212的圖框間預測。
當步驟S406的處理結束時，PU尺寸設定單元454結束該單元尺寸設定處理並且將該處理回到圖10。
藉由透過進行以上所說明之處理來傳送冗餘資訊，影 像解碼裝置200可實施編碼效率減少的抑制。
3.第三實施例 電腦
上述處理的序列可藉由硬體來實施並且可藉由軟體來實施。在本情況中，例如，可製造一架構，如圖17所示的電腦。
在圖17中，根據被儲存在ROM(唯讀記憶體)802中的程式或者從儲存單元813被下載到RAM(隨機存取記憶體)803的程式，電腦800的CPU(中央處理單元)801可執行種種處理。在CPU 801執行種種處理時所使用的資料可被適當地儲存在RAM803中。
CPU 801、ROM 802與RAM 803可經由804被互相連接。輸入/輸出界面810亦可被連接到此匯流排804。
譬如鍵盤、滑鼠或類似者的輸入單元811、由CRT(陰極射線管)、LCD(液晶顯示器)或類似者所製成的顯示器、喇叭或類似者所製成的輸出單元812、由硬碟或類似者所架構的儲存單元813、以及由數據機或類似物所架構的通訊單元814，其係會被連接到輸入/輸出界面810。通訊單元814經由包括網際網路的網路來進行通訊處理。
驅動器815同樣適當地被連接到輸入/輸出界面810，且譬如磁碟、雷射光碟、磁光光碟、半導體記憶體或類似者的可移動媒體821可被適當地安裝，且藉由它們來讀取的電腦程式則會適當地安裝在記憶體813中。
假若擁有由軟體所執行之以上所說明的處理系列的話，組成該軟體的程式則可藉由網路或記錄媒體來安裝。
例如，如圖17所示，本記錄媒體不僅由磁碟(包括軟性磁碟)、光碟(包括CD-ROM(袖珍型光碟-唯讀記憶體)、DVD(數位多功能光碟))、磁光光碟(包括MD(迷你磁碟))的可移動媒體821所構成，其記錄被分配以傳送一程式給使用者的程式，其係與該裝置主體或者譬如半導體記憶體等所製成的可移動媒體821分隔，同樣地亦由被包括在儲存單元813中的ROM 802或硬碟所構成，其中已記錄在事先安裝在該裝置主體部之狀態中被傳送到使用者的程式。
要注意的是，電腦執行的程式可為關於哪一處理以按照在本說明書中所說明之順序的時序方式來進行的處理，或者係為關於哪一處理按平行方式或者以適當時序(譬如當進行電台呼叫時)或類似者來進行的程式。
同樣地，依本說明，不用說，描繪被記錄在記錄媒體中之程式的步驟包括以按照所說明順序之時序方式來進行的處理，並且同樣地包括平行或各別被進行的處理，並且不會特別限制以時序方式來進行處理。
同樣地，在本說明中，術語〝系統〞意指由複數個裝置所構成的整個系統。
同樣地，在以上被描述為一裝置(或者處理單元)的架構可被分開並且以複數個裝置(或者處理單元)來架構。或者，以上述複數個裝置(或者處理單元)來描繪的架構可被整合成以一個裝置(或者處理單元)來架構。同樣地，不用 說，除了上述架構以外的架構可被添加到每一裝置(或者每一處理單元)的架構。更者，一特定裝置(或一處理單元)的部份架構可被包括在其他裝置(或其它處理單元)的架構中，假如該架構如同操作與整個系統實質相同的話。亦即，本技術的實施例不限於所說明的實施例，且種種變更可在不背離本技術的本質下產生。
根據上述實施例所設計的影像編碼裝置100(圖1)與影像解碼裝置200(圖8)可被施加到各種電子裝置，譬如有線廣播，諸如衛星廣播、有線電視與類似者、藉由在網際網路上傳送與蜂巢式傳送之傳送到終端中的收發器或接收器、記錄影像到媒體的記錄裝置(譬如光碟、磁碟與快閃記憶體)、或者從這些儲存媒體播放影像的播放裝置。以下，將說明四個應用實例。
4.第四實施例 電視接收器
圖18顯示應用上述實施例之電視接收器之概略性架構的實例。電視接收器900係由天線901、調諧器902、解多工器903、解碼器904、視頻訊號處理單元905、顯示單元906與聲音訊號處理單元907、喇叭908、外部界面909、控制單元910、使用者界面911與匯流排912所構成。
調諧器902從經由天線901所接收的廣播訊號擷取希望通道之訊號並且將所擷取訊號解調。調諧器902隨後將藉由該解調所得到之編碼位元流輸出到解多工器903。也 就是說，調諧器902充當做接收該編碼流(在此該影像會被編碼)之電視接收器900中的傳送單元。
解多工器903將從編碼位元流所觀看到之程式的視頻流與聲音流分開，並且將每一分開流輸出到解碼器904。同樣地，解多工器903從編碼位元流擷取輔助資料，譬如EPG(電子節目表)，並且將所擷取的資料供應到控制單元910。要注意的是，當編碼位元流被擾亂時，解多工器903可進行恢復。
解碼器904將來自解多工器903的視頻流與聲音流輸入解碼。解碼器904隨後將藉由解碼處理所產生的視頻資料輸出到視頻訊號處理單元905。同樣地，解碼器904將藉由解碼處理所產生的聲音資料輸出到該聲音訊號處理單元907。
視頻訊號處理單元905播放從解碼器904輸入的視頻資料，並且顯示一圖像在顯示單元906上。同樣地，視頻訊號處理單元905將經由一網路所供應的應用螢幕顯示在顯示單元906上。同樣地，根據該設定，視頻訊號處理單元905可進行例如額外的處理，譬如相關於視頻資料的雜訊減少。更者，例如，視頻訊號處理單元905可產生一GUI(圖形使用者界面)影像，譬如選單、按鈕、或游標，並且將所產生影像重疊在輸出影像上。
顯示單元906係藉由從視頻訊號處理單元905所供應的驅動訊號來驅動，並且顯示視頻或影像在顯示裝置的圖像螢幕上(例如，液晶顯示器或電漿顯示器、OELD(有機電 致發光顯示器)或類似者)。
音頻訊號處理單元907進行重播處理，譬如D/A轉換，以及關於來自解碼器904所輸入之音頻資料的放大，並且產生從喇叭908輸出的聲音。同樣地，音頻訊號處理單元907可進行額外的處理，譬如關於音頻資料的雜訊減少。
外部界面909為將外部裝置或網路連接到電視接收器900的界面。例如，經由外部界面909所接收的視頻流或音頻流可藉由解碼器904來解碼。亦即，外部界面909同樣充當做在電視接收器900中的傳送單元，其係接收該編碼流，在此一影像會被編碼。
控制單元910具有處理器，譬如CPU，以及記憶體，譬如RAM與ROM。該記憶體儲存由CPU所執行的程式、程式資料、EPG資料以及經由網路取得的資料。例如，藉由該記憶體所儲存的程式係在電視接收器900開始時由CPU所讀取與執行。根據例如藉由執行程式而從使用者界面911輸入的操作訊號，CPU可控制電視接收器900的操作。
使用者界面911係被連接到控制單元910。例如，使用者界面911具有按鈕切換器、與用於遙控控制訊號的接收器，以供使用者操作電視接收器900。使用者界面911經過這些元件來檢測透過使用者的操作，並且產生一操作訊號，並且將所產生的操作訊號輸出到控制單元910。
匯流排912相互連接調諧器902、解多工器903、解 碼器904、視頻訊號處理單元905、音頻訊號處理單元907、外部界面909與控制單元910。
在因此被架構的電視接收器900中，解碼器904具有根據該實施例所設計之影像解碼裝置200(圖8)的功能。因此，根據SCU尺寸(log2_min_coding_block_size_minus3的值)，解碼器904可決定是否傳送inter_4×4_enable_flag。因此，藉由傳送冗餘資訊，電視接收器900可實施編碼效率減少之抑制。
5.第五實施例 蜂巢式電話
圖19顯示應用該實施例之蜂巢式電話之概略架構的實例。蜂巢式電話920係由天線921、通訊單元922、音頻編解碼器923、喇叭924、麥克風925、照相機單元926、影像處理單元927、多工分隔單元928、記錄重放單元929、顯示單元930、控制單元931、操作單元932與匯流排933所構成。
天線921係被連接到通訊單元922。喇叭924與麥克風925係被連接到音頻編解碼器923。操作單元932係被連接到控制單元931。匯流排933相互連接通訊單元922、音頻編解碼器923、照相機單元926、影像處理單元927、多工分隔單元928、記錄/重放單元929、顯示單元930與控制單元931。
藉由包括聲音呼叫模組、資料傳送模組、攝影模組與 視訊電話模組的各種操作模組，蜂巢式電話920進行譬如音頻訊號的傳送與接收、E-mail或影像資料的傳送與接收、影像的成像與資料的記錄之操作。
在聲音呼叫模組中，藉由麥克風925所產生的類比音頻訊號會被供應到音頻編解碼器923。音頻編解碼器923將類比聲音訊號轉換成音頻資料並且受到A/D轉換成被轉換的音頻資料並且壓縮。該音頻編解碼器923隨後在壓縮以後將該音頻資料輸出到通訊單元922。通訊單元922編碼並且調節該音頻資料並且產生傳送訊號。通訊單元922隨後經由天線921將所產生的傳送訊號傳送到基地台(未顯示)。同樣地，通訊單元922會將經由天線921接收的無線電訊號放大並且進行頻率轉換與取得接收訊號。通訊單元922隨後調節與解碼該接收訊號並且產生音頻資料並將所產生的音頻資料輸出到音頻編解碼器923。音頻編解碼器923會將該音頻資料解壓縮並且進行D/A轉換並且產生類比音頻訊號。音頻編解碼器923會將所產生的音頻訊號供應到喇叭924以便輸出音頻。
同樣地，例如，在資料通訊模組中，根據使用者經由操作單元932的操作，控制單元931會產生組成電子郵件的特徵資料。同樣地，控制單元931造成顯示單元930顯示內文。同樣地，控制單元931根據經由操作單元932之來自使用者的傳送指令來產生電子郵件資料，並且將所產生的電子郵件資料輸出到通訊單元922。通訊單元922將該電子郵件資料編碼與調節並且產生傳送訊號。通訊單元 922隨後經由天線921將所產生的傳送訊號傳送到基地台(未顯示)。同樣地，通訊單元922將經由天線921所接收的無線電訊號放大並且進行頻率轉換以及取得接收訊號。通訊單元922隨後解碼並且調節所接收的訊號並且將電子郵件資料重新儲存且將重新儲存的電子郵件資料輸出到控制單元931。控制單元931將電子郵件的內容顯示在顯示單元930上並且同樣地導致記錄/重放單元929的儲存媒體儲存該電子郵件資料。
記錄/重放單元929具有可讀/可寫的任何儲存媒體。例如，該儲存媒體為內建儲存媒體，譬如RAM或快閃記憶體、或者為外部安裝的儲存媒體，譬如硬碟、磁碟、磁光光碟、光碟、USB(通用串列匯流排)記憶體、或記憶卡。
同樣地，例如，照相機單元926將一物體成像，並產生影像資料，並以快門模式將所產生的影像資料輸出到影像處理單元927。影像處理單元927將從照相機單元926輸入的影像資料編碼並且儲存該編碼流於記錄/重放單元929的儲存媒體中。
同樣地，例如，多工分開單元928將由影像處理單元927所編碼的視頻流以及從音頻編解碼器923輸入的音頻流多工化、以視訊電話模式將一多工化流輸出到通訊單元922。通訊單元922編碼並且調節該流並且產生傳送訊號。通訊單元922隨後經由天線921將所產生的傳送訊號傳送到基地台(沒顯示)。同樣地，通訊單元922將經由天線921所接收到的無線電訊號放大並且進行頻率轉換以及取 得接收訊號。編碼位元流係被包括在這些傳送訊號與接收訊號中。通訊單元922隨後將所接收的訊號解調並且解碼，以重新儲存該流，並且將該重新儲存流輸出到多工分開單元928。多工分開單元928將該視頻流和音頻流與輸入流分開，並且將該視頻流輸出到影像處理單元927，並且該音頻流輸出到聲音解編碼器923。影像處理單元927將一視頻流解碼並且產生視頻資料。該視頻資料係被供應到顯示單元930，且一系列的影像會被顯示在顯示單元930上。音頻解編碼器923將該音頻流解壓縮並且進行D/A轉換以產生類比音頻訊號。音頻解編碼器923隨後將所產生的音頻訊號供應到喇叭924以輸出音頻。
在因此所架構的蜂巢式電話920中，影像處理單元927具有影像編碼裝置100(圖1)相關於該實施例的功能以及影像解碼裝置200(圖8)的功能。因此，可進行一排列，以致於相關於用蜂巢式電話920來編碼與解碼的影像，影像處理單元927根據SCU尺寸進行inter_4×4_enable_flag的傳送(僅當被使用時)。因此，蜂巢式電話920可抑制起因於冗餘資訊傳送之令人不希望的編碼效率減少。
並且，雖然以蜂巢式電話920來進行以上說明，但可使用可應用本技術可應用的影像解碼裝置與影像編碼裝置，例如，PDA(個人數位助理)、智慧型手機、UMPC(超級移動個人電腦)、輕省筆電、膝上型電腦或類似者，只要該裝置具有與本蜂巢式電話920相同之成像功能與通訊功能。
6.第六實施例 記錄/重放裝置
圖20顯示應用本實施例之記錄/重放裝置之概要性架構的實例。記錄/重放裝置940可例如將所接收廣播程式的音頻資料與視頻資料解碼，並且記錄到該記錄媒體。同樣地，記錄/重放裝置940例如將從其他裝置取得的音頻資料與視頻資料解碼，並且可記錄到該記錄媒體。同樣地，例如，根據該使用者的指令，記錄/重放裝置940可從監視器與喇叭播放被記錄在記錄媒體中的資料。此時，記錄/重放裝置940會將音頻資料與視頻資料解碼。
記錄/重放裝置940包括調諧器941、外部界面942、編碼器943、HDD(硬碟驅動)944、磁碟驅動945、選擇器946、解碼器947、OSD(螢幕顯示器)948、控制單元949與使用者界面950。
調諧器941從經由天線(沒顯示)所接收的廣播訊號擷取希望通道的訊號，並且將所擷取的訊號解調。而且調諧器941會將藉由解調所得到的編碼位元流輸出到選擇器946。亦即，調諧器941充當做在記錄/重放裝置940中的傳送單元。
外部界面942為將一外部裝置或網路連接到記錄/重放裝置940的界面。例如，外部界面942為IEEE(電氣及電子工程師學會)1394界面、網路界面、USB界面或者快閃記憶體界面。例如，經由外部界面942所收到的視頻資 料與音頻資料為到解碼器943的輸入。亦即，外部界面942充當做在記錄/重放裝置940中的傳送單元。
當從外部界面942輸入的視頻資料與音頻資料不被解碼的時候，解碼器943可將視頻資料與音頻資料解碼。解碼器943隨後將一編碼位元流輸出到選擇器946。
HDD 944將其中譬如視頻與音頻之內容資料已經被壓縮的編碼位元流、各種程式與其他資料記錄在內部硬碟。同樣地，當將來自硬碟的視頻與音頻重放時，HDD 944會讀取這些資料。
硬碟945進行至所安裝記錄媒體之資料的記錄與讀取。例如，安裝在磁碟驅動器945上的記錄媒體，其為DVD光碟(DVD-影片、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW或類似者)或藍光(註冊商標)光碟。
當記錄視頻與音頻時，選擇器946會選出從調諧器941或編碼器943輸入的一編碼位元流，並且將所選出的編碼位元流輸出到HDD 944或磁碟驅動器945。同樣地，當視頻與音頻重放時，選擇器946會將從HDD 944或磁碟驅動器945所輸入的編碼位元流輸出到解碼器947。
解碼器947會將該編碼位元流解碼並且產生視頻資料與音頻資料。解碼器947隨後將所產生的視頻資料輸出到OSD 948。同樣地，解碼器904將所產生的音頻資料輸出到外面的喇叭。
OSD 948會播放從解碼器947輸入的視頻資料並且顯示視頻。同樣地，OSD 948可重疊例如GUI的影像，譬如 選單、按鈕或游標於要顯示的視頻中。
控制單元949具有譬如CPU的處理器與譬如RAM與ROM的記憶體。該記憶體儲存由CPU所執行的一程式與程式資料。例如，由記憶體所儲存的程式係當記錄/重放裝置940開始時藉由CPU來讀取並且執行。根據例如藉由執行一程式之從使用者界面950輸入的操作訊號，CPU控制記錄/重放裝置940的操作。
使用者界面950係被連接到控制單元949。例如，使用者界面950具有按鈕與切換器與遙控控制訊號的接收器，以供使用者操作該記錄/重放裝置940。使用者界面950檢測透過使用者經由這些元件的操作並且產生操作訊號並且將所產生的操作訊號輸出到控制單元949。
在因此所架構的記錄/重放裝置940中，編碼器943具有影像編碼裝置100(圖1)相關於該實施例的功能。同樣地，解碼器947具有影像解碼裝置200(圖8)相關於該實施例的功能。因此，可進行一排列，其中，相關於以記錄/重放裝置940來編碼與解碼的影像，根據SCU尺寸，編碼器943與解碼器947進行inter_4×4_enable_flag的傳送(僅當被使用時)。因此，記錄/重放裝置940可抑制起因於傳送冗餘資料之令人不希望的編碼效率減少。
7.第七實施例 成像設備
圖21顯示應用該實施例之成像設備概略性架構的實 例。成像設備960將一物體成像、產生一影像、編碼影像資料並且記錄到一記錄媒體。
成像設備960係由光學方塊961、成像單元962、訊號處理器963、影像處理單元964、顯示單元965、外部界面966、記憶體967、媒體驅動器968、OSD 969、控制單元970、使用者界面971與匯流排972所架構。
光學方塊961係被連接到成像單元962。成像單元962係被連接到訊號處理器963。該顯示單元965係被連接到影像處理單元964。使用者界面971係被連接到控制單元970。匯流排972相互連接影像處理單元964、外部界面966、記憶體967、媒體驅動器968、OSD 969與控制單元970。
光學方塊961具有一聚焦透鏡與光圈機械等等。光學方塊961將該物體的光學影像成像在成像單元962的成像面上。成像單元962具有影像感應器，譬如CCD或者CMOS，並且藉由光電轉換，將該成像面上所成像的光學影像轉換成像像訊號，以當作電訊號。成像單元962隨後輸出影像訊號到訊號處理單元963。
訊號處理器963進行各種照相機訊號處理，譬如對從成像單元962所輸入影像訊號的KNEE校正、伽瑪校正、與顏色校正。訊號處理器963將在照相機訊號處理以後的影像資料輸出到影像處理單元964。
影像處理單元964將從訊號處理器963輸入的影像資料編碼並且產生編碼資料。影像處理單元964隨後將所產 生的編碼資料輸出到外部界面966或者媒體驅動器968。同樣地，影像處理單元964將從外部界面966或者媒體驅動器968輸入的編碼資料解碼，並且產生影像資料。影像處理單元964隨後將所產生的影像資料輸出到顯示單元965。同樣地，進行一安排：影像處理單元964將從訊號處理器963輸入的影像資料輸出到顯示單元965並將該影像顯示。同樣地，影像處理單元964可將從OSD 969所取得之用於顯示的資料重疊在欲被輸出到顯示單元965的影像上。
OSD 969例如產生一GUI(圖形使用者界面)影像，譬如選單、按鈕、或游標，並且將所產生影像輸出在影像處理單元964上。
外部界面966係例如以USB輸入與輸出端被架構。例如，當列印影像時，外部界面966將一印表機連接到成像設備960。同樣地，驅動器會被適當地連接到外部界面966。可移除媒體，譬如磁碟或光碟，例如會被安裝在驅動器上，且從可移除媒體讀出的程式可被安裝在成像設備960中。更者，外部界面966係以連接到網路(譬如區域網路或網際網路)的網路界面來架構。亦即，外部界面966充當坐在成像設備960中的傳送單元。
例如，被安裝到媒體驅動器968上的記錄媒體為任何可讀/可寫可移動媒體，譬如磁碟、磁光光碟、光碟或半導體記憶體。同樣地，非可攜式儲存單元可被架構，在此譬如內建硬碟驅動器或SSD(固態驅動器)的記憶媒體例如 會被固定地安裝到媒體驅動器968上。
控制單元970具有譬如CPU的處理器以及譬如RAM與ROM的儲存裝置。該記憶體儲存由CUP所執行的程式以及資料。例如，被儲存在記憶體中的程式係藉由CPU之當成像設備960開始時被讀取並且被執行。根據例如藉由執行該程式之從使用者界面971所輸入的操作訊號，CPU可控制成像設備960之操作。
使用者界面971係被連接到控制單元970。例如，使用者界面971具有一按鈕與一切換器供使用者操作成像設備960。使用者界面971檢測藉由使用者經由這些元件的操作、產生操作訊號並且將所產生的操作訊號輸出到控制單元970。
在因此所架構的成像設備960中，影像處理單元964具有相關於該實施例之影像編碼裝置100(圖1)的功能以及影像解碼裝置200的功能(圖8)。因此，根據與用成像設備960來編碼與解碼之影像相關的SCU尺寸，影像處理單元964可被製成以便傳送inter_4×4_enable_flag(僅當被使用時)。因此，該成像設備960可抑制起因於冗餘資料傳送之令人不希望的編碼效率減少。
理所當然，施加本技術的影像編碼裝置與影像解碼裝置，其係可被應用到除了以上所說明裝置以外的裝置與系統。
要注意的是，在本說明書中，已經說明一實例，在該實例中，量化參數可從編碼側被傳送到解碼側。用傳送量 化矩陣參數的方法，在不被多工化成編碼位元流之下，這以與編碼位元流相關的不同資料被傳送並且記錄。在此，術語〝相關〞意味著被包括在該位元流的該影像(或者包括切片或方塊的部份影像)可被連結到對應當解碼時之影像的資訊。亦即，該資訊可與該影像(或者位元流)不同地被傳送在傳送通道上。同樣地，該資訊可被記錄到記錄媒體(或者相同記錄媒體的另一記錄區域)，其係與該影像(或位元流)不同。更者，該資訊與該影像(或位元流)例如可與複數個圖框、一個圖框、或圖框中之一部分的增量互相有關。
已經參考附圖，來進行有關本揭露較佳實施例的說明，但是本揭露的技術範圍不限於此實例。不用說，根據本揭露的實施例，在本揭露技術領域中具有通常知識的人將能夠得到在技術觀念範圍內的各種修改與改變，而且令人理解的是，這些同樣屬於本揭露的技術範圍。
要注意的是，本技術可採用以下架構。
(1)影像成像裝置，包括：一最小編碼單元(coding unit)資訊取得單元，被架構以取得指出在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中、解碼藉由編碼影像資料所得到之編碼資料中係為最小編碼單元之最小編碼單元尺寸的資訊；以及一控制資訊取得單元，被架構以取得控制資訊，以根據該最小編碼單元資訊取得單元所取得之資訊所指出 之該最小編碼單元的尺寸來控制為圖框間預測(inter prediction)處理之增量之圖框間預測單元的最小尺寸。
(2)如(1)之影像處理裝置，其中若該最小編碼單元資訊取得單元所取得之資訊所指出之該最小編碼單元的尺寸並非最小尺寸，該控制資訊取得單元省略該控制資訊的取得。
(3)如(1)之影像處理裝置，其中該控制資訊係為一旗標，以指定是否將該最小編碼單元可採用之最小尺寸分為二(垂直與水平兩者)的區域當作圖框間預測單元的最小尺寸。
(4)如(1)之影像處理裝置，其中該最小編碼單元可採用之最小尺寸為8×8。
(5)一種影像處理裝置的影像處理方法，包括：一最小編碼單元資訊取得單元，取得指出在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中為最小編碼單元之最小編碼單元尺寸的資訊；以及一控制資訊取得單元，取得控制資訊，以根據該取得資訊所指出之該最小編碼單元的尺寸，控制為圖框間預測處理之增量之圖框間預測單元的最小尺寸。
(6)一種影像處理裝置，包括：一控制資訊設定單元，被架構以設定控制資訊，以根據由所取得資訊所指出為最小編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中為圖框間預測處理之增量之圖框間預測單元的最小尺寸；以及 一傳送單元，被架構以傳送由該控制資訊設定單元所設定的控制資訊。
(7)如(6)之影像處理裝置，其中當該最小編碼單元的尺寸不是該最小編碼單元可採用的最小尺寸時，該控制資訊設定單元可省略控制資訊之設定。
(8)如(6)之影像處理裝置，其中該控制資訊係為一旗標，以指定是否將該最小編碼單元可採用之最小尺寸分為二(垂直與水平兩者)的區域當作圖框間預測單元的最小尺寸。
(9)如(6)之影像處理裝置，其中該最小編碼單元可採用之最小尺寸為8×8。
(10)如(6)之影像處理裝置，進一步包括：一最小編碼單元設定單元，其係被架構以設定最小編碼單元的尺寸；其中根據該最小編碼單元設定單元所設定之最小編碼單元的尺寸，該控制資訊設定單元設定該控制資訊；且其中該傳送單元進一步傳送指出由該最小編碼單元設定單元所設定之最小編碼單元尺寸的資訊。
(11)如(10)之影像處理裝置，進一步包括：一最大編碼單元設定單元，其設定為最大編碼單元之最大編碼單元的尺寸，以及根據該設定最大編碼單元的尺寸與由最小編碼單元設定單元所設定之該最小編碼單元的尺寸，設定指出該最大編碼單元之尺寸的資訊；其中該傳送單元進一步傳送指出該最大編碼單元設定 單元所設定之最大編碼單元尺寸的資訊。
(12)如(6)之影像處理裝置，其中該傳送單元儲存該控制資訊於序列參數組，以便被傳送。
(13)一種影像處理裝置的影像處理方法，包括：一控制資訊設定單元，設定控制資訊，以根據由所取得資訊所指出為最小編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中、為圖框間預測之處理之增量中圖框間預測單元的最小尺寸；以及一傳送單元，傳送該設定之控制資訊。
(14)一種影像處理裝置，包括：一控制資訊取得單元，被架構以取得控制資訊，以用做為參考之最小尺寸的編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之解碼藉由編碼影像資料所得到編碼資料中為圖框間預測處理增量之圖框間預測單元的最小尺寸；以及一圖框間預測單元設定，被架構以根據該控制資訊取得單元所取得的控制資訊，來設定該圖框間預測單元的最小尺寸。
(15)一種影像處理裝置的影像處理方法，包括：一控制資訊取得單元，取得控制資訊，以用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量 中、在解碼編碼影像資料所得到編碼資料中為圖框間預測之處理增量之圖框間預測單元的尺寸；以及一圖框間預測單元設定單元，根據所取得的控制資訊，來設定該圖框間預測單元的最小尺寸。
(16)一種影像處理裝置，包括：一控制資訊設定單元，被架構以設定控制資訊，用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料圖像之階層結構之編碼單元的增量中、在影像資料編碼中係為圖框間預測處理增加之圖框間預測單元的最小尺寸；以及一傳送單元，被架構以傳送由該控制資訊設定單元所設定的控制資訊。
(17)如(16)之影像處理裝置，其中不管最小編碼單元的尺寸，該控制資訊設定單元會進行控制資訊的設定。
(18)如(16)之影像處理裝置，其中該控制資訊係為一旗標，以指定是否將該最小編碼單元之尺寸分為二(垂直與水平兩者)的區域當作圖框間預測單元的最小尺寸。
(19)如(16)之影像處理裝置，其中該傳送單元儲存該控制資訊於一序列參數組，以便被傳送。
(20)一種影像處理裝置的影像處理方法，包括：一控制資訊取得單元，設定控制資訊，以用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中係為圖框間預測處理增量之圖框間預 測單元的最小尺寸；以及一傳送單元，傳送該設定控制資訊。
本揭露包含與日本專利局於2011年10月7日提出申請之日本優先權專利申請案JP2011-223250中所揭露者相關的主題，全部內容在此以引用方式併入本文。
那些熟諳該技藝者應該理解到，種種修改、組合、次組合與變更可依據設計需求規格與其他因素來發生，只要它們在附加申請專利範圍或其等同物的範圍內。
100‧‧‧影像編碼裝置
101‧‧‧類比/數位轉換單元
102‧‧‧螢幕重新安排緩衝器
103‧‧‧計算單元
104‧‧‧正交轉換單元
105‧‧‧量化單元
106‧‧‧無損編碼單元
107‧‧‧儲存緩衝器
108‧‧‧反向量化單元
109‧‧‧反向正交轉換單元
110‧‧‧計算單元
111‧‧‧迴路過濾器
112‧‧‧圖框記憶體
113‧‧‧選擇單元
114‧‧‧圖框內預測單元
115‧‧‧動作預測/補償單元
116‧‧‧預測影像選擇單元
117‧‧‧速率控制單元
121‧‧‧單元尺寸設定單元
151‧‧‧最小編碼單元尺寸設定單元
152‧‧‧最大編碼單元尺寸設定單元
153‧‧‧旗標設定單元
200‧‧‧影像解碼裝置
201‧‧‧儲存緩衝器
202‧‧‧無損解碼單元
203‧‧‧反向量化單元
204‧‧‧反向正交轉換單元
205‧‧‧計算單元
206‧‧‧迴路過濾器
207‧‧‧螢幕重新安排緩衝器
208‧‧‧數位/類比轉換單元
209‧‧‧圖框記憶體
210‧‧‧選擇單元
211‧‧‧圖框內預測單元
212‧‧‧動作預測/補償單元
213‧‧‧選擇單元
221‧‧‧單元尺寸設定解碼單元
251‧‧‧最小編碼單元尺寸解碼單元
252‧‧‧最大編碼單元尺寸解碼單元
253‧‧‧旗標解碼單元
353‧‧‧旗標設定單元
354‧‧‧預測單元尺寸設定單元
453‧‧‧旗標解碼單元
454‧‧‧預測單元尺寸設定單元
800‧‧‧電腦
801‧‧‧中央處理單元
802‧‧‧唯讀記憶體
803‧‧‧隨機存取記憶體
804‧‧‧匯流排
810‧‧‧輸入/輸出界面
811‧‧‧輸入單元
812‧‧‧輸出單元
813‧‧‧儲存單元
814‧‧‧通訊單元
815‧‧‧驅動器
821‧‧‧可移動媒體
900‧‧‧電視接收器
901‧‧‧天線
902‧‧‧調諧器
903‧‧‧解多工器
904‧‧‧解碼器
905‧‧‧視頻訊號處理單元
906‧‧‧顯示單元
907‧‧‧聲音訊號處理單元
908‧‧‧喇叭
909‧‧‧外部界面
910‧‧‧控制單元
911‧‧‧使用者界面
912‧‧‧匯流排
920‧‧‧蜂巢式電話
921‧‧‧天線
922‧‧‧通訊單元
923‧‧‧音頻編解碼器
924‧‧‧喇叭
925‧‧‧麥克風
926‧‧‧照相機單元
927‧‧‧影像處理單元
928‧‧‧多工分隔單元
929‧‧‧記錄重放單元
930‧‧‧顯示單元
931‧‧‧控制單元
932‧‧‧操作單元
933‧‧‧匯流排
940‧‧‧記錄/重放裝置
941‧‧‧調諧器
942‧‧‧外部界面
943‧‧‧編碼器
944‧‧‧硬碟驅動
945‧‧‧磁碟驅動
946‧‧‧選擇器
947‧‧‧解碼器
948‧‧‧螢幕顯示器
949‧‧‧控制單元
950‧‧‧使用者界面
960‧‧‧成像設備
961‧‧‧光學方塊
962‧‧‧成像單元
963‧‧‧訊號處理器
964‧‧‧影像處理單元
965‧‧‧顯示單元
966‧‧‧外部界面
967‧‧‧記憶體
968‧‧‧媒體驅動器
969‧‧‧螢幕顯示器
970‧‧‧控制單元
971‧‧‧使用者界面
972‧‧‧匯流排
圖1為顯示影像編碼裝置之主要架構實例的方塊圖；圖2為用來說明編碼單元之架構實例的圖式；圖3為顯示HEVC之序列參數組之句法實例的圖式；圖4為顯示應用本技術之序列參數組之句法實例的圖式；圖5為顯示單元尺寸設定單元之主要架構實例的方塊圖；圖6為說明編碼處理之流程實例的流程圖；圖7為說明單元尺寸設定處理之流程實例的流程圖；圖8為顯示影像解碼裝置之主要架構實例的方塊圖；圖9為顯示一單元尺寸設定解碼單元之主要架構實例的方塊圖；圖10為說明解碼處理之流程實例的流程圖；圖11為說明單元尺寸設定解碼處理之流程實例的流 程圖；圖12係為顯示應用本技術之序列參數組之另一語法實例的圖式；圖13為顯示單元尺寸設定單元之另一架構實例的方塊圖；圖14為說明單元尺寸設定處理之另一流程實例的流程圖；圖15為顯示單元尺寸設定解碼單元之另一架構的方塊圖；圖16為說明單元尺寸設定解碼處理之另一流程實例的流程圖；圖17為顯示電腦之主要架構實例的方塊圖；圖18為顯示電視接收器之主要架構實例的方塊圖；圖19為顯示一行動端之主要架構實例的方塊圖；圖20為顯示記錄/播放裝置之主要架構實例的方塊圖；以及圖21為顯示一成像設備之主要架構實例的方塊圖。
106‧‧‧無損編碼單元
115‧‧‧動作預測/補償單元
121‧‧‧單元尺寸設定單元
151‧‧‧最小編碼單元尺寸設定單元
152‧‧‧最大編碼單元尺寸設定單元
153‧‧‧旗標設定單元

Claims (20)

  1. 一種影像處理裝置，包含：一最小編碼單元(coding unit)資訊取得單元，被架構以取得指出在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中、解碼藉由編碼影像資料所得到之編碼資料中為最小編碼單元之最小編碼單元尺寸的資訊；以及一控制資訊取得單元，被架構以取得控制資訊，以根據該最小編碼單元資訊取得單元所取得之資訊所指出之該最小編碼單元的尺寸來控制為圖框間預測(inter prediction)處理之增量之圖框間預測單元的最小尺寸。
  2. 如申請專利範圍第1項之影像處理裝置，其中若該最小編碼單元資訊取得單元所取得之資訊所指出之該最小編碼單元的尺寸並非最小尺寸，該控制資訊取得單元省略該控制資訊的取得。
  3. 如申請專利範圍第1項之影像處理裝置，其中該控制資訊為一旗標，以指定是否將該最小編碼單元可採用之最小尺寸分為二(垂直與水平兩者)的區域當作該圖框間預測單元的最小尺寸。
  4. 如申請專利範圍第1項之影像處理裝置，其中該最小編碼單元可採用之最小尺寸為8×8。
  5. 一種影像處理裝置的影像處理方法，包含：一最小編碼單元資訊取得單元取得指出在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量 中之影像資料編碼中為最小編碼單元之最小編碼單元尺寸的資訊；以及一控制資訊取得單元取得控制資訊，以根據該取得資訊所指出之該最小編碼單元的尺寸，控制為圖框間預測處理之增量之圖框間預測單元的最小尺寸。
  6. 一種影像處理裝置，包含：一控制資訊設定單元，被架構以設定控制資訊，以根據由所取得資訊所指出為最小編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中為圖框間預測處理之增量之圖框間預測單元的最小尺寸；以及一傳送單元，被架構以傳送由該控制資訊設定單元所設定的控制資訊。
  7. 如申請專利範圍第6項之影像處理裝置，其中當該最小編碼單元的尺寸不是該最小編碼單元可採用的最小尺寸時，該控制資訊設定單元可省略控制資訊之設定。
  8. 如申請專利範圍第6項之影像處理裝置，其中該控制資訊為一旗標，以指定是否將該最小編碼單元可採用之最小尺寸分為二(垂直與水平兩者)的區域當作該圖框間預測單元的最小尺寸。
  9. 如申請專利範圍第6項之影像處理裝置，其中該最小編碼單元可採用之最小尺寸為8×8。
  10. 如申請專利範圍第6項之影像處理裝置，進一步包含： 一最小編碼單元設定單元，其被架構以設定最小編碼單元的尺寸；其中根據該最小編碼單元設定單元所設定之最小編碼單元的尺寸，該控制資訊設定單元設定該控制資訊；且其中該傳送單元進一步傳送指出由該最小編碼單元設定單元所設定之最小編碼單元尺寸的資訊。
  11. 如申請專利範圍第10項之影像處理裝置，進一步包含：一最大編碼單元設定單元，其設定為最大編碼單元之最大編碼單元的尺寸，以及根據所設定之最大編碼單元的尺寸與由最小編碼單元設定單元所設定之該最小編碼單元的尺寸，設定指出該最大編碼單元之尺寸的資訊；其中該傳送單元進一步傳送指出該最大編碼單元設定單元所設定之最大編碼單元尺寸的資訊。
  12. 如申請專利範圍第6項之影像處理裝置，其中該傳送單元儲存該控制資訊於序列參數組，以便被傳送。
  13. 一種影像處理裝置的影像處理方法，包含：一控制資訊設定單元設定控制資訊，以根據由所取得資訊所指出為最小編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中、為圖框間預測之處理之增量中圖框間預測單元的最小尺寸；以及一傳送單元，傳送所設定之控制資訊。
  14. 一種影像處理裝置，包含：一控制資訊取得單元，被架構以取得控制資訊，以用做為參考之最小尺寸的編碼單元之最小編碼單元的尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之解碼藉由編碼影像資料所得到之編碼資料中為圖框間預測處理增量之圖框間預測單元的最小尺寸；以及一圖框間預測單元設定，被架構以根據該控制資訊取得單元所取得的控制資訊，來設定該圖框間預測單元的最小尺寸。
  15. 一種影像處理裝置的影像處理方法，包含：一控制資訊取得單元取得控制資訊，以用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中、在解碼編碼影像資料所得到之編碼資料中為圖框間預測之處理增量之圖框間預測單元的尺寸；以及一圖框間預測單元設定單元根據所取得的控制資訊來設定該圖框間預測單元的最小尺寸。
  16. 一種影像處理裝置，包含：一控制資訊設定單元，被架構以設定控制資訊，用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料圖像之階層結構之編碼單元的增量中、在影像資料編碼中為圖框間預測處理增加之圖框間預測單元的最小尺寸；以及 一傳送單元，被架構以傳送由該控制資訊設定單元所設定的控制資訊。
  17. 如申請專利範圍第16項之影像處理裝置，其中不管最小編碼單元的尺寸，該控制資訊設定單元會進行控制資訊的設定。
  18. 如申請專利範圍第16項之影像處理裝置，其中該控制資訊為一旗標，以指定是否將該最小編碼單元之尺寸分為二(垂直與水平兩者)的區域當作圖框間預測單元的最小尺寸。
  19. 如申請專利範圍第16項之影像處理裝置，其中該傳送單元儲存該控制資訊於一序列參數組，以便被傳送。
  20. 一種影像處理裝置的影像處理方法，包含：一控制資訊取得單元設定控制資訊，以用做為參考之最小編碼單元的最小編碼單元尺寸，控制在處理已經分為複數個之影像資料之圖像之階層結構之編碼單元的增量中之影像資料編碼中為圖框間預測處理增量之圖框間預測單元的最小尺寸；以及一傳送單元傳送該設定控制資訊。
TW101135582A 2011-10-07 2012-09-27 影像處理裝置及方法 TW201330638A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011223250A JP2013085096A (ja) 2011-10-07 2011-10-07 画像処理装置および方法

Publications (1)

Publication Number Publication Date
TW201330638A true TW201330638A (zh) 2013-07-16

Family

ID=48043614

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101135582A TW201330638A (zh) 2011-10-07 2012-09-27 影像處理裝置及方法

Country Status (7)

Country Link
US (1) US10397583B2 (zh)
EP (1) EP2765772A4 (zh)
JP (1) JP2013085096A (zh)
CN (1) CN103843344A (zh)
AR (1) AR088055A1 (zh)
TW (1) TW201330638A (zh)
WO (1) WO2013051453A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603413B1 (ko) * 2014-03-28 2016-03-28 경희대학교 산학협력단 깊이 정보를 이용한 비디오 부호화 방법 및 장치
CN105681788B (zh) * 2016-04-07 2019-05-03 中星技术股份有限公司 视频编码方法和视频编码装置
EP3761640A4 (en) * 2018-02-28 2022-01-12 Samsung Electronics Co., Ltd. CODING METHOD AND DEVICE ASSOCIATED, AND DECODED METHOD AND DEVICE ASSOCIATED
JP7414008B2 (ja) * 2018-12-28 2024-01-16 ソニーグループ株式会社 画像処理装置および方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1909505B1 (en) * 2002-11-25 2013-06-19 Panasonic Corporation Motion compensation method, picture coding method and picture decoding method
US6979400B2 (en) * 2003-07-10 2005-12-27 Zodiac Pool Care, Inc. Automatic swimming pool cleaners with shaped floats and water-temperature or -pressure indicators and water-circulation systems incorporating such indicators
JP3880985B2 (ja) * 2004-08-05 2007-02-14 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
JP4250638B2 (ja) * 2006-06-30 2009-04-08 株式会社東芝 動画像符号化装置及びその方法
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
US20120020580A1 (en) * 2009-01-29 2012-01-26 Hisao Sasai Image coding method and image decoding method
EA024522B1 (ru) * 2009-04-08 2016-09-30 Шарп Кабусики Кайся Устройство и способ кодирования видеокадров и устройство и способ декодирования видеокадров
KR20110061468A (ko) * 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
US8942282B2 (en) * 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
DK2624567T3 (da) * 2010-09-27 2020-04-14 Lg Electronics Inc Blokinddelingsfremgangsmåde og afkodningsindretning
WO2012042884A1 (ja) * 2010-09-29 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
WO2012042893A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US8654860B2 (en) * 2010-11-01 2014-02-18 Mediatek Inc. Apparatus and method for high efficiency video coding using flexible slice structure
US8526495B2 (en) * 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
US9380314B2 (en) * 2010-12-20 2016-06-28 Texas Instruments Incorporated Pixel retrieval for frame reconstruction
US9049452B2 (en) * 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
US20130016769A1 (en) * 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
CN103797794B (zh) * 2011-09-16 2017-11-03 寰发股份有限公司 用于编码的方法和装置

Also Published As

Publication number Publication date
WO2013051453A1 (ja) 2013-04-11
US10397583B2 (en) 2019-08-27
CN103843344A (zh) 2014-06-04
EP2765772A1 (en) 2014-08-13
EP2765772A4 (en) 2016-03-30
JP2013085096A (ja) 2013-05-09
AR088055A1 (es) 2014-05-07
US20140247874A1 (en) 2014-09-04

Similar Documents

Publication Publication Date Title
JP6075485B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP6521013B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN107071432B (zh) 图像处理设备和方法
JP5942990B2 (ja) 画像処理装置および方法
JP6256340B2 (ja) 画像処理装置および方法、並びにプログラム
JP2013150173A (ja) 画像処理装置および方法
JP5982734B2 (ja) 画像処理装置および方法
JPWO2014002821A1 (ja) 画像処理装置および方法
WO2013108688A1 (ja) 画像処理装置および方法
WO2013031574A1 (ja) 画像処理装置および方法
TW201330638A (zh) 影像處理裝置及方法
JP5787135B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
JP6233655B2 (ja) 画像処理装置および方法
US10412417B2 (en) Image processing device and method capable of performing an encoding process or a decoding process on an image at high speed
WO2013065567A1 (ja) 画像処理装置および方法
JP2013074491A (ja) 画像処理装置および方法
JP6217997B2 (ja) 画像処理装置および方法
JP2018029347A (ja) 画像処理装置および方法
WO2013002111A1 (ja) 画像処理装置および方法
CN103220513A (zh) 图像处理设备和方法
JP2019146225A (ja) 画像処理装置および方法
WO2014156707A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法