TWI572193B - An image coding method, an image coding apparatus, an image decoding method, an image decoding apparatus, and an image coding / decoding apparatus - Google Patents

An image coding method, an image coding apparatus, an image decoding method, an image decoding apparatus, and an image coding / decoding apparatus Download PDF

Info

Publication number
TWI572193B
TWI572193B TW101104188A TW101104188A TWI572193B TW I572193 B TWI572193 B TW I572193B TW 101104188 A TW101104188 A TW 101104188A TW 101104188 A TW101104188 A TW 101104188A TW I572193 B TWI572193 B TW I572193B
Authority
TW
Taiwan
Prior art keywords
context
coefficient
unit
decoding
zero coefficient
Prior art date
Application number
TW101104188A
Other languages
English (en)
Other versions
TW201246939A (en
Inventor
Hisao Sasai
Takahiro Nishi
Youji Shibahara
Toshiyasu Sugio
Original Assignee
Sun Patent Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust filed Critical Sun Patent Trust
Publication of TW201246939A publication Critical patent/TW201246939A/zh
Application granted granted Critical
Publication of TWI572193B publication Critical patent/TWI572193B/zh

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4006—Conversion to or from arithmetic code
    • H03M7/4012—Binary arithmetic codes
    • H03M7/4018—Context adapative binary arithmetic codes [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置及圖像編碼解碼裝置 發明領域
本發明係有關於一種圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置及圖像編碼解碼裝置，特別是有關於一種執行算術編碼及算術解碼中之一者或兩者之圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置及圖像編碼解碼裝置。
發明背景
近來，提供透過網際網路之服務業(例如：視訊會議、數位視訊放送、及包含影像內容之串流之視訊．隨選(on demand)式的服務)之應用程式在增加之中。該等應用程式依賴影像資料之傳輸。該等應用程式傳輸影像資料時，大部分的影像資料是透過以往有限頻寬的傳輸路徑來傳輸。另外，該等應用程式在記錄影像資料時，大部分的影像資料是記錄在以往記錄容量有限的記錄媒體中。為了透過以往的傳輸路徑來傳輸影像資料，或是在以往的記錄媒體記錄影像資料，壓縮或刪減影像資料之資料量是不可或缺的。
於是，為了壓縮影像資料，有多種影像編碼規格被開發出來。這些影像編碼規格，例如有標示為H.26X之ITU-T(國際電信聯盟遠程通訊標準化組)規格、及標示為MPEG-X之ISO(國際標準化組織)/IEC(國際電工委員會)規格。最新且最進步的影像編碼規格，現在是標示為 H.264/AVC或MPEG-4 AVC之規格(參見非專利文獻1及非專利文獻2)。
H.264/AVC規格中之編碼處理，在概略的區分下是以預測、轉換、量子化、及熵編碼(entropy coding)所構成。熵編碼是自用於預測之資訊或已量子化之資訊，削減冗長之資訊。已知之熵編碼有變動長度編碼(variable-length coding)、適應性編碼、固定長編碼等等。變動長度編碼中包含有霍夫曼編碼(Huffman Coding)、遊程編碼(run-length encoding)、及算術編碼等。
其中，算術編碼是計算符號(symbol)之產生機率同時決定輸出符號之方式。由於算術編碼中符號是對應圖像資料(data)的特徵來決定，因此一般認為與使用固定之編碼表(encoding table)之霍夫曼編碼等相比之下，其編碼效率較高。
特別是，上下文參考之適應性二元算術編碼(CABAC：Context-based Adaptive Binary Arithmetic Coding)是隨著依圖像資料特徵決定之上下文(context)逐次更新符號之產生機率，同時對二元(binary)訊號進行算術編碼，因此可達成高編碼效率。
【非專利文獻1】ISO/IEC 14496-10「MPEG-4 Part10 Advanced Video Coding」
【非專利文獻2】Thomas Wiegand et al、”Overview of the H.264/AVC Video Coding Standard”、IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY、JULY 2003、PP.1-19.
發明概要
但是，CABAC中難以妥適地決定上下文(context)。例如，若對符號產生機率大不相同的二元訊號使用同一上下文時，就會降低預測符號產生機率的正確性，結果，就會造成編碼效率惡化的問題。
在此，本發明要解決以上習知技術的問題，以提供一種在上下文參考之適應性二元算術編碼方式中，可妥適地決定用於算數編碼之上下文，而可提高編碼效率之圖像編碼方法及圖像解碼方法等為本發明之目的。
為達成上述目的，本發明之一態樣之圖像編碼方法，係一種對圖像資料進行壓縮編碼之圖像編碼方法，包含有：二元化步驟，係將前述圖像資料之頻率區域之處理單位中所包含之複數係數二元化，以產生二元訊號者；上下文決定步驟，係根據前述處理單位中所包含之非零係數中，掃瞄順序在最後的非零係數之位置，來決定用以對前述複數係數進行算數編碼之上下文者；算術編碼步驟，係利用已決定之前述上下文所對應之機率資訊，對前述二元訊號進行算術編碼者；及更新步驟，係根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊者。
為達成上述目的，本發明之一態樣之圖像編碼裝置， 係一種對圖像資料進行壓縮編碼之圖像編碼裝置，包含有：二元化部，係對前述圖像資料進行頻率轉換所得到之頻率區域之處理單位中包含的複數係數進行二元化，以產生二元訊號者；上下文控制部，係根據前述處理單位中所包含之非零係數中，掃瞄順序在最後的非零係數之位置，來決定用以對前述複數係數進行算數編碼之上下文，並根據前述二元訊號，來更新已決定之前述上下文所對應之機率資訊者；及二元算術編碼部，係利用已決定之前述上下文所對應之機率資訊，對前述二元訊號進行算術編碼者。
為達成上述目的，本發明之一態樣之圖像解碼方法，係一種對已壓縮編碼之圖像資料進行解碼之圖像解碼方法，包含有：上下文決定步驟，係根據前述圖像資料之頻率區域之處理單位中所包含之非零係數中，掃瞄順序在最後的非零係數之位置，來決定用來對前述處理單位所包含之複數係數之輸入訊號進行算術解碼之上下文者；算術解碼步驟，係利用已決定前述上下文所對應之機率資訊，對前述輸入訊號進行算術解碼，以產生二元訊號；更新步驟，係根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊者；係數復原步驟，係利用前述二元訊號，復原前述處理單位所包含之複數係數者。
為達成上述目的，本發明之一態樣之圖像解碼裝置，係一種對已壓縮編碼之圖像資料進行解碼之圖像解碼裝置，包含有：上下文控制部，係根據前述圖像資料之頻率區域之處 理單位中所包含之非零係數中，掃瞄順序在最後的非零係數之位置，來決定用來對前述處理單位所包含之複數係數所對應之輸入訊號進行算術解碼之上下文，並根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊者；二元算數解碼部，係利用已決定之前述上下文所對應之機率資訊，對前述輸入訊號進行算術解碼，以產生二元訊號者；及係數復原部，係利用前述二元訊號，復原前述處理單位所包含之複數係數者。
為達成上述目的，本發明之一態樣之圖像解碼裝置，係包含上述圖像編碼裝置與上述圖像解碼裝置。
根據本發明，可在上下文參考之適應性二元算術編碼方式中，妥適地決定用於算術編碼之上下文，可提高編碼效率。
圖式簡單說明
第1圖係顯示以往之算術編碼裝置之構成之塊狀圖。
第2圖係顯示以往之算術編碼方法之流程圖。
第3圖(a)、(b)係用以說明以往之算術編碼方法之略示圖。
第4圖係顯示本發明之實施形態1中之算術編碼部之一構成例之塊狀圖。
第5圖係顯示本發明之實施形態1中算術編碼部之處理動作之一例之流程圖。
第6圖係顯示本發明之實施形態1之符號產生機率對照 表之一例之圖。
第7圖係顯示本發明之實施形態1之上下文對照表之一例之圖。
第8圖(a)~(e)是用來說明本發明之實施形態1之二元化方法之一例之略示圖。
第9圖A係顯示本發明之實施形態1之終端位置資訊之二元化結果之一例之圖。
第9圖B係顯示本發明之實施形態1之終端位置資訊之二元化結果之一例之圖。
第9圖C係顯示本發明之實施形態1之終端位置資訊之二元化結果之一例之圖。
第9圖D係顯示本發明之實施形態1之終端位置資訊之二元化結果之一例之圖。
第10圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之一例之流程圖。
第11圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之一例之流程圖。
第12圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之另一例之流程圖。
第13圖係顯示本發明實施形態1中係數資訊之算術編碼方法之一例之流程圖。
第14圖係顯示本發明之實施形態1之圖像編碼裝置之構成之一例之塊狀圖。
第15圖係顯示本發明之一態様之算術編碼部之構成之 一例之塊狀圖。
第16圖係顯示本發明之一態様之算術編碼部之處理動作之流程圖。
第17圖係顯示本發明之實施形態2之算術解碼部之構成之一例之塊狀圖。
第18圖係顯示本發明之實施形態2之算術解碼部之處理動作之一例之流程圖。
第19圖係顯示本發明之實施形態2之終端位置資訊之算術解碼方法之一例之流程圖。
第20圖係顯示本發明之實施形態2之終端位置資訊之算術解碼方法之另一例之流程圖。
第21圖係顯示本發明之實施形態2之係數資訊之算術解碼方法之一例之流程圖。
第22圖係顯示本發明之實施形態3之圖像解碼裝置之構成之一例之塊狀圖。
第23圖係顯示本發明之一態様之算術解碼部之構成之一例之塊狀圖。
第24圖係顯示本發明之一態様之算術解碼部之處理動作之流程圖。
第25圖係顯示實現內容發信服務之內容供給系統全體構成之圖。
第26圖是數位放送用系統之全體構成圖。
第27圖係顯示電視之構成例之塊狀圖。
第28圖係顯示自光碟讀出或寫入資料時之資訊播放/ 記錄部之構成之塊狀圖。
第29圖係顯示光碟，即記錄媒體之構造例之圖。
第30圖(a)係顯示行動電話之一例之圖。
第30圖(b)係顯示行動電話之構成例之塊狀圖。
第31圖係顯示多重化資料之構成之圖。
第32圖是概略地顯示各串流在多重化資料之是如何被多重化之圖。
第33圖是更詳細顯示視訊串流是如何儲存於PES封包列之之圖。
第34圖係顯示多重化資料中TS封包來源風封包之構造之圖。
第35圖係顯示PMT之資料構成之圖。
第36圖係顯示多重化資料資訊之內部構成之圖。
第37圖係顯示串流属性資訊之內部構成之圖。
第38圖係顯示對影像資料進行識別之步驟之圖。
第39圖係顯示實現各實施形態之動圖像編碼方法及動圖像解碼方法之積體電路之構成例之塊狀圖。
第40圖係顯示切換驅動頻率之構成之圖。
第41圖係顯示識別影像資料以切換驅動頻率之步驟之圖。
第42圖係顯示影像資料之規格與驅動頻率相互對應之查詢對照表之一例之圖。
第43圖(a)係顯示將訊號處理部之模組共用化之構成之一例之圖。
第43圖(b)係顯示將訊號處理部之模組共用化之構成之另一例之圖。
用以實施發明之最佳形態
最初，先說明本發明之緣由。
首先，利用第1圖~第3圖，說明以往對於已量子化之係數資訊(也就是量子化係數)進行算術編碼之動作。在此，對量子化係數之算術編碼中，特別是指出哪個是值為零的係數(零係數)、哪個是值不為零的係數(非零係數)之資訊之算數編碼作說明。
第1圖係顯示以往之H.264/AVC中算術編碼部之構成之塊狀圖。算術編碼部500是對量子化係數進行算術編碼。如第1圖所示，算術編碼部500包含有量子化係數取得部501、係數二元化部502、上下文控制部503、及二元算術編碼部504。又，上下文控制部503包含有用來儲存上下文所對應之符號產生機率之記憶體。
如第2圖所示，量子化係數取得部502首先取得係數訊號Coeff(步驟S901)。在此，係數訊號Coeff包含有作為編碼對象之區塊(處理單位)所對應之複數之量子化係數。也就是說，係數訊號Coeff就相當於頻率區域之處理單位。具體來說，係數訊號Coeff例如第3圖(a)所示，顯示量子化係數群。
接著，量子化係數取得部501將取得之係數訊號Coeff輸出至係數二元化部502。接著，係數二元化部502對取得之係數訊號Coeff中所包含之複數之量子化係數，以預先決 定好的順序(掃瞄順序SC，例如第3圖(a)所示往復順序)讀取。接著，係數二元化部502對讀取出來的量子化係數(處理對象係數)進行二元化(Binarization)。
在此，係數二元化部502將指出哪個處理對象係數是零係數、哪個處理對象係數是非零係數之資訊(SignificantFlag)(例如指出非零係數為1、零係數為0之二元資訊(symbol))產生作為二元訊號之一部分，且係數二元化部502將SignificantFlag輸出至二元算術編碼部504。
另外，上下文控制部503取得處理對象係數之係數位置資訊CS與訊號種類資訊SE(例如區塊尺寸資訊)。且上下文控制部503根據係數位置資訊CS與訊號種類資訊SE，將SignificantFlag之算術編碼所必須之符號產生機率輸出至二元算術編碼部504。
二元算術編碼部504利用上述說明的符號產生機率，對SignificantFlag進行算術編碼。(步驟S902)。當處理對象係數為零係數時(步驟S903為NO)，係數二元化部502依掃瞄順序對下個量子化係數所對應之SignificantFlag進行與上述同樣之算術編碼。
另一方面，當處理對象係數為非零係數時(步驟S903為YES)，係數二元化部502將指出係數訊號Coeff中包含的非零係數中，此處理對象係數是否為掃瞄順序下最後的非零係數之資訊(LastFlag)(例如指出是最後之非零係數時為1，不是最後之非零係數時為0之二元資訊)產生作為二元訊號中之另一部分。且係數二元化部502將LastFlag輸出至二元 算術編碼部504。
又，上下文控制部503與SignificantFlag時同樣地，將LastFlag之算術編碼所必須的符號產生機率輸出至二元算術編碼部504。
二元算術編碼部504利用以上說明之符號產生機率，對LastFlag進行算術編碼(步驟S90)。在此，若處理對象係數不是最後之非零係數時(步驟S905為NO)，係數二元化部502對掃瞄順序中下一個量子化係數所對應之SignificantFlag進行與上述相同之算術編碼。另一方面，若處理對象係數是最後之非零係數時，(步驟S905為YES)，結束對係數訊號Coeff之SignificantFlag及LastFlag之編碼。
又，例如第3圖(a)所示之係數訊號Coeff經上述說明之算術編碼時，對如第3圖(b)所示之二元訊號進行二元算數編碼。在此，上段所示之訊號為SignificantFlag，下段所示之訊號為LastFlag。以由左到右之順序對此二元訊號進行二元算數編碼。
又，上下文控制部503自係數二元化部502取得二元訊號。且上下文控制部503在二元訊號所包含之每一個二元符號(symbol)受二元算數編碼時，根據該二元符號更新使用於二元算數編碼之上下文所對應之符號產生機率。
如上所述，係數訊號Coeff受到算術編碼。但是，上述之算術編碼中，上下文控制部503自對象訊號之訊號種類資訊妥適地決定上下文是非常困難的。
例如，在對區塊尺寸單位之量子化係數進行算術編碼 時，隨著量子化係數之區塊內之各位置決定相異之上下文。即使在區塊尺寸增大的時候，上下文仍然在各相同的位置決定。如此，在上下文被細分化的時候，對應該上下文之機率資訊之更新處理之產生頻率下降，而算術編碼之優點，也就是配合圖像資料之特徵來進行控制將變得困難，使編碼效率惡化。
又，由於SignificantFlag之編碼與LastFlag之編碼是交互進行，因此處理步驟之轉換頻繁地發生，致使處理效率降低。
對此，可考慮SignificantFlag之前先對指出掃瞄順序在最後的非零係數之位置之資訊進行編碼，來取代LastFlag。如此，則必須要妥適地控制上下文，提高編碼效率。
於是，本發明之一態樣之圖像編碼方法，係一種對圖像資料進行壓縮編碼之圖像編碼方法，包含有：二元化步驟，係將前述圖像資料之頻率區域之處理單位中所包含之複數係數二元化，以產生二元訊號者；上下文決定步驟，係根據前述處理單位中所包含之非零係數中，掃瞄順序在最後的非零係數之位置，來決定用以對前述複數係數進行算數編碼之上下文者；算術編碼步驟，係利用已決定之前述上下文所對應之機率資訊，對前述二元訊號進行算術編碼者；及更新步驟，係根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊者。
藉此，可根據掃瞄順序在最後的非零係數之位置，決定使用於複數係數之算術編碼之上下文。一般來說，若最 後之非零係數之位置不同，則對包含於處理單位中之複數係數二元化可得到之二元訊號之符號產生機率也多半不同。因此，藉由根據最後之非零係數之位置來決定上下文，可利用更適切的機率資訊來進行算術編碼，而可提高編碼效率。
另外，本發明之另一態樣之圖像編碼方法中，前述最後之非零係數之位置，是以2維之垂直座標系來表示，前述上下文決定步驟中，宜根據表示前述最後之非零係數位置之2個座標值中之至少一者，來決定前述上下文。
藉此，最後之非零係數之位置以2維之垂直座標系來表示時，可利用座標值來容易地決定上下文。
又，本發明之另一態樣之圖像編碼方法中，前述上下文決定步驟宜根據前述2個座標值之和來決定前述上下文。
藉此，可根據座標值之來決定上下文。也就是說，可根據最後之非零係數之位置所對應之頻率成分之大小，來妥適地決定上下文。
又，本發明之另一態樣之圖像編碼方法中，前述上下文決定步驟宜根據前述2個座標值中較大者之座標值，來決定前述上下文。
藉此，可根據座標值之最大值來決定上下文。也就是說，可根據最後之非零係數之位置所對應之頻率成分所含有之高頻率成分之大小，來妥適地決定上下文。
又，本發明之另一態樣之圖像編碼方法中，前述二元化步驟是以前述掃瞄順序之逆順序來對表示前述處理單位 中包含的非零係數之大小之水準(level)進行二元化，以產生前述二元訊號；前述上下文決定步驟是對每個包含於前述處理單位中之非零係數，根據前述掃瞄順序之逆順序下位於該非零係數以前之非零係數中，具有超過預定值之水準值之非零係數之數量、以及前述最後之非零係數之位置，來決定用以將該非零係數算術編碼之上下文。
藉此，除了掃瞄順序在最後的非零係數之位置外，更可根據前述掃瞄順序之逆順序下位於該非零係數以前之非零係數中，具有超過預定值之水準值之非零係數之數量，來決定上下文。如此，在根據具有超過預定值之水準值之非零係數之數量來決定上下文時，在掃瞄順序之逆順序下最初讀出的非零係數之位置(也就是掃瞄順序在最後的非零係數之位置)將對符號產生機率有大影響。因此，藉由根據掃瞄順序在最後的非零係數之位置與具有超過預定值之水準值之非零係數之數量之組合，來決定上下文，可更妥適地利用機率資訊進行算術編碼，進而提高編碼效率。
又，本發明之一態樣之圖像編碼裝置，是一種對圖像資料進行壓縮編碼之圖像編碼裝置，包含有二元化部、上下文控制部、及二元算術編碼部，該二元化部藉由對前述圖像資料由頻率轉換取得之頻率區域之處理單位所包含之複數係數進行二元化，以產生二元訊號；該上下文控制部根據前述處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置，決定用以對前述複數係數進行算術編碼之上下文，並根據前述二元訊號，更新已決定之前述上下 文所對應之機率資訊；該二元算術編碼部利用已決定之前述上下文所對應之機率資訊，對前述二元訊號進行算術編碼。
藉此構成，可達成與上述圖像編碼方法同樣之效果。
又，本發明之一態樣之圖像解碼方法，係一種對已壓縮編碼之圖像資料進行解碼之圖像解碼方法，包含有如下步驟：根據前述圖像資料之頻率區域之處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置，決定用以對前述處理單位所包含之複數係數之所對應之輸入訊號進行算術解碼之上下文之上下文決定步驟；藉由利用已決定之前述上下文所對應之機率資訊，對前述輸入訊號進行算術解碼，以產生二元訊號之算術解碼步驟；根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊之更新步驟；及利用前述二元訊號，復原包含在前述處理單位中之複數係數之係數復原步驟。
藉此，可根據掃瞄順序在最後的非零係數之位置，決定用以對複數係數所對應之輸入訊號進行算術解碼之上下文。一般來說，若最後之非零係數之位置不同，則對處理單位所包含之複數係數進行二元化後取得之二元訊號之符號產生機率也常會不同。因此，藉由根據最後之非零係數之位置來決定上下文，即可利用更妥適之機率資訊來對已算術編碼之輸入訊號進行算術解碼。因此，可以較高之編碼效率來對已編碼之輸入訊號進行妥適的解碼。
又，本發明之另一態樣之圖像解碼方法，宜將前述最 後之非零係數之位置，以二維直角座標系來表示，而在前述上下文決定步驟中，根據顯示前述最後之非零係數之位置之2個座標值中較小之一者，來決定前述上下文。
藉此，當最後之非零係數之位置，以二維直角座標系來表示時，可利用座標值來輕易地決定上下文。
又，本發明之另一態樣之圖像解碼方法，在前述上下文決定步驟中，可根據前述2個座標值之和來決定前述上下文。
藉此，可根據座標值之和來決定上下文。也就是說，根據對應最後之非零係數之位置之頻率成分之大小，來妥適地決定前述上下文。
又，本發明之另一態樣之圖像解碼方法，在前述上下文決定步驟中，可只根據前述2個座標值中較大者之座標值來決定前述上下文。
藉此，可根據座標值之最大值來決定上下文。也就是說，根據對應最後之非零係數之位置之頻率成分中所包含之高頻率成分之大小，來妥適地決定前述上下文。
又，本發明之另一態樣之圖像解碼方法，在前述輸入訊號中，對應於顯示包含在前述處理單位中之非零係數之大小之水準之訊號，是以前述掃瞄順序之逆順序包含在其中，而在前述上下文決定步驟中，對前述處理單位所包含之每個非零係數，根據前述掃瞄順序之逆順序下位在該非零係數以前之非零係數中，具有超過預定值之水準值之非零係數之數量，以及前述最後之非零係數之位置，決定用 以對該非零係數所對應之輸入訊號進行算術解碼之上下文。
藉此，可根據除了掃瞄順序在最後的非零係數之位置，以及前述掃瞄順序之逆順序下位在該非零係數以前之非零係數中，具有超過預定值之水準值之非零係數之數量，來決定上下文。如此，在根據具有超過預定值之水準值之非零係數之數量來決定上下文時， 掃瞄順序之逆順序下最初讀出之非零係數之位置(也就是掃瞄順序在最後的非零係數之位置)將對符號產生機率有重大的影響。因此，藉由根據掃瞄順序在最後的非零係數之位置與具有超過預定值之水準值之非零係數之數量之組合，來決定上下文，可利用更妥適之機率資訊，來對已算術編碼之輸入訊號進行算術解碼。因此，可以較高之編碼效率來對已編碼之輸入訊號進行妥適的解碼。
又，本發明之態樣之圖像解碼裝置，是對已壓縮編碼之圖像資料進行解碼之圖像解碼裝置，包含有上下文控制部、二元算數解碼部、及係數復原部，前述上下文控制部根據前述圖像資料之頻率區域之處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置，決定用以對前述處理單位所包含之複數係數所對應之輸入訊號進行算術解碼之上下文，並根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊；前述二元算數解碼部藉由利用已決定之前述上下文所對應之機率資訊，對前述輸入訊號進行算術解碼，以產生二元訊號；前述係數復原部利用前述 二元訊號，復原前述處理單位所包含之複數係數。
藉此構成，可達到與上述圖像解碼方法同様之効果。
又，本發明之一態様之圖像編碼解碼裝置，是具有上述圖像編碼裝置與上述圖像解碼裝置。
藉此構成，可達到與上述圖像編碼方法及上述圖像解碼方法同様之効果。
以下參考圖面說明本發明之實施形態。又，以下說明之實施形態，皆是表示本發明之理想之一具體例。也就是說，在以下之實施形態中指出之數值、形狀、材料、構成要素、構成要素之配置及連接形態、步驟、步驟之順序等，都只是本發明之一例，而非限定本發明之主旨。又，關於以下之實施形態中之構成要素中，未記載於顯示本發明之最上位概念之獨立專利請求範圍中之構成要素，是說明作為構成較佳實施形態時可隨意構成之構成要素。
(實施形態1)
以下說明本發明之實施形態1之算術編碼方法之概要。本實施形態之算術編碼方法，在對頻率區域之處理單位(區塊/block)所包含之複數係數進行算術編碼時，根據顯示掃瞄順序在最後的非零係數之位置(終端位置)之終端位置資訊，來決定用以對複數係數進行算術編碼之上下文。並利用如此決定之上下文所對應之符號產生機率，對複數之係數進行算術編碼。藉此，可使用根據統計資訊之符號產生機率，來提高編碼效率。更進一步，由於可妥適地設定上下文之數量，因此可妥適地設定應維持之符號產生機 率之數量，而可減少實際應用時之記憶體容量。
又，在終端位置資訊之算術編碼中，由於可利用妥適之符號產生機率，因此可提高編碼效率。
以上是對本實施形態之算術編碼方法之概要之說明。
接著，說明本實施形態之算術編碼部之構造。第4圖係顯示本發明之實施形態1之算術編碼部100之構成之一例之塊狀圖。又，如後述，本發明之實施形態1之算術編碼部100，相當於對圖像資料進行壓縮編碼之圖像編碼裝置之一部分。
如第4圖所示，算術編碼部100具有：量子化係數取得部101、終端位置二元化部102、係數二元化部103、上下文控制部104、及二元算術編碼部105。
算術編碼部100對作為編碼對象之係數訊號Coeff進行算術編碼，以產生並輸出輸出訊號OB。又，算術編碼部100有對應係數訊號Coeff之訊號資訊SE輸入。
量子化係數取得部101取得係數訊號Coeff，對終端位置二元化部102及上下文控制部104輸出係數關連訊號CS。
終端位置二元化部102根據取得之係數關連訊號CS，以預先決定之順序(掃瞄順序)對最後之非零係數之位置資訊(終端位置資訊)進行二元化。終端位置二元化部102將已二元化之終端位置資訊(對應終端位置資訊之二元訊號)輸出至二元算術編碼部105。
在此，終端位置是指係數訊號Coeff所包含之非零係數中掃瞄順序在最後的非零係數之位置。也就是說，終端位 置是指當係數訊號Coeff所包含之複數係數依預定順序讀取時，最後讀取到之非零係數之位置。
另外，關於將終端位置資訊二元化之方法，將在後面詳述。
係數二元化部103，是對係數訊號Coeff所包含之複數係數進行二元化。具體來說，係數二元化部103是根據預定之掃瞄順序讀取複數之係數，並將顯示讀出之係數是零係數或非零係數之資訊(SignificantFlag)輸出作為二元訊號。
更進一步，係數二元化部103在讀出之係數為非零係數時，將顯示該非零係數之大小之資訊(Level)二元化並輸出作為二元訊號。又，係數二元化部103在讀出之係數是非零係數時將顯示該非零係數之正負之資訊(Sign)輸出作為二元訊號。
上下文控制部104根據訊號資訊SE及係數關連訊號CS，決定用以對來自終端位置二元化部102及係數二元化部103之二元訊號進行算術編碼之上下文。而上下文控制部104將對應決定之上下文之符號產生機率輸出至二元算術編碼部105。
在此，符號產生機率是指用於二元訊號之算術編碼之機率資訊。又，機率資訊例如是顯示符號產生機率之值之索引，或者是符號產生機率之值。
又，複數之符號產生機率，是儲存在上下文控制部104所具有之記憶體(圖未示)。上下文控制部104例如藉由參考符號產生機率對照表，以從記憶體中儲存之複數之符號產 生機率中標定對應上下文之符號產生機率。符號產生機率對照表是用來使上下文與機率資訊相互對應之對照表。又，關於符號產生機率對照表及上下文決定之詳細內容，將在後面詳述。
二元算術編碼部105是利用自上下文控制部104取得之符號產生機率，對自終端位置二元化部102及係數二元化部103取得之二元訊號進行算術編碼。
接著，利用第5圖來說明如上述構成之算術編碼部100之動作。第5圖係顯示本發明之實施形態1之算術編碼部100之處理動作之一例之流程圖。
首先，二元算術編碼部105利用符號產生機率，對取得自終端位置二元化部102之終端位置資訊所對應之二元訊號進行算術編碼(步驟S101)。而二元算術編碼部將算術編碼結果輸出作為輸出訊號OB。
接著，係數二元化部103取得係數關連訊號CS。而係數二元化部103依預先決定之(掃瞄順序)，讀出取得之係數關連訊號CS所顯示之複數之量子化係數，並將顯示讀出之係數是零係數或是非零係數之資訊(SignificantFlag)(例如顯示非零係數為1，零係數為0之二元資訊(symbol))輸出作為二元訊號。
上下文控制部104根據終端位置資訊，自訊號資訊SE及係數關連訊號CS中決定用來對SignificantFlag進行算術編碼之上下文(步驟S102)。也就是說，上下文控制部104根據終端位置，來決定用以對係數進行算術編碼之。而上下 文控制部104將已決定之所對應之符號產生機率輸出至二元算術編碼部105。關於在此決定上下文之詳細內容，將在後面詳述。
二元算術編碼部105利用自上下文控制部104取得之符號產生機率，對自係數二元化部103取得之SignificantFlag(二元訊號)進行算術編碼(步驟S103)。而二元算術編碼部105將算術編碼結果輸出作為輸出訊號OB。
在此，說明上下文控制部104具有之符號產生機率對照表。第6圖係顯示本發明之實施形態1之符號產生機率對照表之一例之圖。
符號產生機率對照表是將上下文與符號產生機率相互對應之對照表。第6圖中之上下文索引(ctxIdx)是代表上下文之索引。具體來說，上下文索引是編碼中之宏區塊之周邊資訊，或者是區塊內已經過編碼之資訊，又或者是對應編碼之二元訊號之位元位置而決定之索引。
各索引所顯示之登錄(entry)，包含有顯示符號產生機率之機率資訊(pStateIdx)、及顯示發生機率高之符號(Most Probable Symbol)之符號(valMPS)。該等登錄與H.264規格所示之登錄是相同的。也就是說，pStateIdx是顯示符號產生機率之值之索引。上下文控制部104更進一步具有對應pStateIdx之符號產生機率之值之對照表。
又，在此之符號產生機率是以顯示符號產生機率之索引(pStateIdx)與上下文(ctxIdx)互相對應之對照表來管理，亦可與上下文直接對應來管理。此時，符號產生機率之值 例如可以16位元精度(0-65535)來表示，而可處理比上述對照表之管理更詳細之值。
接著，說明上下文控制部104所具有之上下文對照表。第7圖係顯示本發明之實施形態1之上下文對照表之一例。
上下文對照表，是複數之種類與上下文相互對應之表格。第7圖之上下文對照表，是將對訊號種類資訊SE加入條件後之種類SE’與上下文索引互相對應。上下文控制部104是藉由參考此上下文對照表來決定上下文。
接著，說明本實施形態之二元化方法。第8圖是用來說明本發明之實施形態1之二元化方法之一例之略示圖。
第8圖(a)顯示係數訊號Coeff及掃瞄順序SC之一例。如第8圖(A)所示，係數訊號Coeff代表對圖像資料進行頻率轉換而取得之頻率區域之處理單位。在此，處理單位是複數之係數
對應對應頻率成分而配置成行列狀。處理單位中所包含之係數為量子化係數時，處理單位也被稱為量子化係數值群。
又，如第8圖(a)所示，掃瞄順序SC是用以讀取時預先決定之順利序。在此，舉出鋸齒狀的順序作為掃瞄順序SC之一例。
第8圖(b)是顯示以掃瞄順序SC將第8圖(a)中所示之處理單位所包含之全部係數讀出時取得之係數列(Val)。又，第8圖(c)是顯示指出係數列所包含之各係數是零係數或非零係數之資訊(SignificantFlag)排列而成之訊號(Sig)。
又，由於本實施形態中是終端位置資訊先進行編碼，因此終端位置(以Last表示之位置)之SignificantFlag可不必編碼。也就是說，自第8圖(c)中左端之符號(symbol)至終端位置左邊第1個符號為止之二元訊號將被算術編碼。藉此，可以減少1個位元之二元資訊，而可提高編碼效率。
第8圖(d)是顯示指出非零係數大小之資訊(Level)、及指出非零係數之正負之資訊(Sign)。在此，舉例說明Sign以”0”來表示正(+)，以”1”來表示負(-)。
又，在此Level之編碼中，由於已經可從SignificantFlag得知為非零係數，因此可自第8圖(d)所示之值減去1後之值來進行二元化與編碼。
又，在對Level進行算術編碼時，Level也可自終端位置開始，以掃瞄順序之逆順序來讀出。此時，也可以在每一次水準值超過一定值時，改變用於算術編碼之上下文。
也就是說，係數二元化部103也可以藉由以掃瞄順序之逆順序對Level進行二元化，來產生二元訊號。此時，上下文控制部104對每個非零係數，根據掃瞄順序之逆順序下位於該非零係數以前之非零係數中，具有超出預定值之Level之非零係數之數量，與最後之非零係數之位置，來決定用以對該非零係數之Level進行算術編碼之上下文。
如此，算術編碼部100藉由每次係數值之大小超出預定大小，就切換上下文，可利用妥適之上下文來進行算術編碼，可提高編碼效率。此時，藉由也根據最後之非零係數之位置來決定上下文，亦可根據非零係數之分布來妥適地 決定上下文，可更進一步提高編碼效率。
第8圖(e)及(f)顯示、終端位置資訊(LastPos)二元化之一例。第8圖(a)之中，終端位置在以直流成分之位置表示為原點(0,0)之二維直角座標系中，表示為(3,2)。
第8圖(e)所示之二元化方法中，顯示此終端位置之X座標值及Y座標值分別被二元化。在此，X座標值”3”被二元化成為”0001”，Y座標值”2”被二元化成為“001”。又，X座標值及Y座標值未必要以此方式來二元化。例如，亦可將X座標值”3”二元化成為”1110”，Y座標值”2”二元化成為“110”。
第8圖(f)所示之其他二元化方法中，最初是短座標值被二元化。短座標(short coordinate)是指顯示終端位置之X座標及Y座標之中，數值被二元化時之編碼長度較短側之座標。而短座標相反側之座標則稱為長座標(long coordinate)。又，X座標及Y座標之值相同時，以任一者之座標作為短座標皆可。
接著，二元化X座標及Y座標之差距。以下將此差距稱為差距座標(diff coordinate)。
最後，付加短座標旗標(short flag)，即指出X座標及Y座標中何者為短座標之資訊。
如第8圖(f)所示，將短座標值二元化時，比將長座標值二元化時更可縮短二元訊號之編碼長度。而且，在短座標值之後編碼之差距座標值，將因已編碼之短座標值而限定可取得值之。例如，當短座標值小時，差距座標值可能取 得較大之值，但當短座標值大時，差距座標值只可能取得較小之值，因此可縮小可取得值之範圍。在此，上下文控制部104藉由根據短座標值，進行後述之差距座標值之上下文控制，可妥適地決定用於差距座標值之上下文。如上述，藉由對差距座標值進行算術編碼，而非長座標值，可提高編碼效率。
又，藉由在對短座標旗標編碼前先對前述差距座標值進行編碼，例如在差距座標值為零時，可省略對短座標旗標之編碼。因此，可縮短二元訊號之編碼長度，可提高編碼效率。
在此，對第8圖(e)及(f)之二元化方法中，對種種終端位置資訊進行二元化之具體例，作更詳細之說明。
第9圖A~第9圖D分別顯示本發明之實施形態1之終端位置資訊之二元化結果之一例。以下將第8圖(e)之二元化方法稱為第1二元化方法；第8圖(f)之二元化方法稱為第2二元化方法。第9圖A~第9圖D中，(a)顯示以第1二元化方法進行二元化之結果，(b)顯示以第2二元化方法進行二元化之結果。
第9圖A顯示終端位置之座標為(4,5)時之二元化結果例。此時，(a)之下二元訊號之編碼長度為”11”。另一方面，(b)之下二元訊號之編碼長度為”8”。這是因為在第9圖A之場合，差距值之編碼長度與短座標旗標之編碼長度之和比長座標值之編碼長度更短。
第9圖B顯示終端位置之座標為(2,2)時之二元化結果 例。此時，(a)之下二元訊號之編碼長度為”6”。另一方面，(b)由於不需要短座標旗標，因此二元訊號之編碼長度為”4”。
第9圖C顯示終端位置之座標為(3,1)時之二元化結果例。此時，(a)之下二元訊號之編碼長度為”6”。而(b)之下二元訊號之編碼長度為”6”。也就是說，(a)之二元訊號與(b)之二元訊號具有相同之編碼長度。但是，即使在這個場合，也因為後述之上下文控制，而使第2二元化方法比第1二元化方法更可提高編碼效率。
第9圖D顯示終端位置之座標為(2,0)時之二元化結果例。此時，(a)之下二元訊號之編碼長度為”4”。另一方面，(b)之下二元訊號之編碼長度為”5”。也就是說，第2二元化方法之編碼長度比第1二元化方法更長。這是只有在其中一者之座標值為”0”的時候才會發生。但是，即使在這個場合，也因為後述之上下文控制，而有可能使第2二元化方法比第1二元化方法更可提高編碼效率。
接著，說明終端位置資訊之編碼順序。首先，說明以前述第1二元化方法對終端位置資訊進行二元化時之編碼方法。
第10圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之一例之流程圖。
首先，二元算術編碼部105利用自上下文控制部104輸入之符號產生機率，對X座標所對應之二元訊號進行算術編碼(步驟S201)。此時，上下文控制部104決定對X座標所對 應之二元訊號進行算術編碼時使用之上下文，並將取得自已決定之上下文所對應之機率資訊之符號產生機率輸出至二元算術編碼部105。
接著，二元算術編碼部105與X座標時同樣地，對Y座標所對應之二元訊號進行算術編碼(步驟S202)。此時與X座標時同樣地，上下文控制部104決定對Y座標所對應之二元訊號進行算術編碼時使用之上下文，並將取得自已決定之上下文所對應之機率資訊之符號產生機率輸出至二元算術編碼部105。
在此，詳細說明步驟S201及S202中之上下文決定。
例如，在包含於二元訊號中之符號是以左起之順序進行算術編碼時，上下文控制部104是根據該符號之順序(位元位置)來決定上下文。此時，上下文控制部104例如可自對應處理對象區塊尺寸之上下文組中，根據位元位置來決定上下文。在此，上下文組是包含至少一個上下文之上下文之集合。
也就是說，即使位元位置相同，上下文控制部104仍可對區塊尺寸不同之符號決定互異之上下文。在此，上下文控制部104未必要對每一個位元位置之符號，以此方法來決定上下文。
例如，上下文控制部104在既定之順序起始之位元位置之符號，雖然區塊尺寸相異但只要位元位置相同，亦可決定同一之上下文。也就是說，上下文控制部104對至既定之順序為止之位元位置之符號，可隨著區塊尺寸來決定相異 之上下文，而對既定之順序起始之符號，對複數之區塊尺寸決定共通之上下文。此時，與對全部之位元位置之符號隨著區塊尺寸決定相異上下文之方法相比，可減少上下文之數量，而達成減少用於保存機率資訊等之記憶體容量。
又，上下文控制部104例如亦可對自最左邊起至一定之順序(例如第2個)為止之位元位置之符號，隨著位元位置不同來決定上下文，並對該一定數量以後之位元位置之符號，決定共通之上下文。此時，與對全部之位元位置分配相異之上下文時相比，可減少上下文之數量，而達成減少用於保存機率資訊等之記憶體容量。
又例如上下文控制部104可更自最左邊起至一定之順序(例如第10個)以上之位元位置之符號，不決定上下文，而將固定符號產生機率(例如50%等)輸出至二元算術編碼部105。
又，上下文控制部104亦可以與X座標時不同之方法來決定用於Y座標所對應之二元訊號之算術編碼之上下文。例如上下文控制部104亦可根據已編碼完成之X座標值，來決定用於Y座標所對應之二元訊號之算術編碼之上下文。具體來說，上下文控制部104例如可配合X座標值所對應之水準(例如小、中、大中任一者)，來決定用於Y座標值編碼之上下文。
藉此，在決定上下文之際，可利用X座標值與Y座標值間之相關性。一般來說，Y座標值常與X座標值有很高的相關性。例如，當X座標值小時，Y座標值多半也是小的； 而當X座標值大時，Y座標值多半也是大的。如此，藉由利用X座標值與Y座標值間之相關性來決定上下文，可詳細導出符號產生機率，而可提高編碼效率。
又，用於X座標或Y座標所對應之二元訊號之算術編碼之上下文之決定方法並不限於上述方法，例如，上下文控制部104亦可根據X座標及Y座標中之一者所對應之二元訊號所包含之符號，來決定用於另一者所對應之二元訊號之上下文。
具體來說，上下文控制部104可根據X座標所對應之二元訊號之左起第1個符號之值，來決定用於Y座標所對應之二元訊號中左起第1個符號之上下文。更進一步，上下文控制部104亦可根據Y座標所對應之二元訊號之左起第1個符號之值，來決定用於X座標所對應之二元訊號中左起第2個符號之上下文。如此，對X座標所對應之二元訊號所包含之符號與Y座標所對應之二元訊號所包含之符號交互地進行算術編碼之處理流程，將利用第11圖來說明。
第11圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之一例之流程圖。在此，舉出終端位置資訊為(1,2)之狀況為例來進行說明。當終端位置資訊為(1,2)時，X座標所對應之二元訊號為”01”，Y座標所對應之二元訊號為”001”。
首先，上下文控制部104對X座標所對應之二元訊號所包含之最初之符號決定上下文，並將已決定之上下文所對應之符號產生機率輸出至二元算術編碼部105。而二元算術 編碼部105利用取得自上下文控制部104之符號產生機率，對X座標所對應之二元訊號所包含之最初之符號進行算術編碼(步驟S251)。上下文控制部104根據X座標所對應之二元訊號所包含之最初之符號，更新已決定之上下文所對應之符號產生機率。
接著，根據此X座標所對應之二元訊號所包含之最初之符號，決定對Y座標所對應之二元訊號所包含之最初之符號之上下文，並將已決定之上下文所對應之符號產生機率輸出至二元算術編碼部105。而二元算術編碼部105利用取得自上下文控制部104之符號產生機率，對Y座標所對應之二元訊號所包含之最初之符號進行算術編碼(步驟S252)。更進一步，上下文控制部104根據Y座標所對應之二元訊號所包含之最初之符號，更新已決定之上下文所對應之符號產生機率。
具體來說，由於X座標所對應之二元訊號所包含之最初之符號為”0”，因此上下文控制部104自預先決定之複數之上下文中選出一個上下文”CTX-0”，作為用於Y座標所對應之二元訊號所包含之最初之符號之上下文。例如，當X座標之二元訊號所包含之最初之符號為”1”時，上下文控制部104自預先決定之複數之上下文中選出另一個上下文”CTX-1”，作為用於Y座標所對應之二元訊號所包含之最初之符號之上下文。
接著，上下文控制部104根據Y座標所對應之二元訊號所包含之最初之符號，決定對X座標所對應之二元訊號所包 含之左起第2個符號之上下文，並將已決定之上下文所對應之符號產生機率輸出至二元算術編碼部105。而二元算術編碼部105利用取得自上下文控制部104之符號產生機率，對X座標所對應之二元訊號所包含之左起第2個符號進行算術編碼(步驟S253)。更進一步，上下文控制部104根據X座標所對應之二元訊號所包含之左起第2個符號，更新已決定之上下文所對應之符號產生機率。
接著，上下文控制部104根據X座標所對應之二元訊號所包含之左起第2個符號，決定針對Y座標所對應之二元訊號所包含之左起第2個訊號之上下文，並將已決定之上下文所對應之符號產生機率輸出至二元算術編碼部105。而二元算術編碼部105利用取得自上下文控制部104之符號產生機率，對Y座標所對應之二元訊號所包含之左起第2個符號進行算術編碼(步驟S254)。更進一步，上下文控制部104根據Y座標所對應之二元訊號所包含之左起第2個符號，更新已決定之上下文所對應之符號產生機率。
此時，X座標所對應之二元訊號之編碼已完畢。在此，上下文控制部104根據X座標所對應之二元訊號所包含之左起第3個符號並不存在之資訊，決定對Y座標所對應之二元訊號所包含之左起第3個符號之上下文，並將已決定之上下文所對應之符號產生機率輸出至二元算術編碼部105。而二元算術編碼部105利用取得自上下文控制部104之符號產生機率，對Y座標所對應之二元訊號所包含之左起第3個符號進行算術編碼(步驟S255)。更進一步，上下文控制部104 根據Y座標所對應之二元訊號所包含之左起第3個符號，更新已決定之上下文所對應之符號產生機率。
又，第11圖之中，是根據剛才進行算術編碼之符號，切換編碼對象符號之上下文，但上下文之決定方法不限於此，例如，上下文控制部104亦可在二元訊號所包含之複數符號中，只根據X座標所對應之二元訊號所包含之最初之符號來切換上下文。又，亦可根據X座標及Y座標所對應之二元訊號中分別包含之最初之符號來切換上下文。藉此，與根據各符號來切換上下文之方法相比，可減少用於切換上下文之處理，因此可縮小電路之規模。
接著，說明以前述之第2二元化方法將終端位置資訊二元化時之編碼方法。
第12圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之另一例之流程圖。
首先，二元算術編碼部105利用輸入自上下文控制部104之符號產生機率，對短座標所對應之二元訊號進行算術編碼(步驟S301)。此時，上下文控制部104決定用於短座標所對應之二元訊號之算術編碼之上下文，並將從已決定之上下文所對應之機率資訊取得之符號產生機率輸出至二元算術編碼部105。
例如，以左起之順序對二元訊號所包含之符號進行算術編碼時，上下文控制部104根據該符號之順序(位元位置)來決定上下文。又，例如，上下文控制部104亦可根據位元位置以及處理對象區塊尺寸，來決定上下文。也就是說， 即使位元位置相同，上下文控制部104仍可以上下文隨著區塊尺寸不同而有差異之方式，來決定上下文。
又，上下文控制部104例如亦可對自最左邊起至一定之順序(例如第2個)為止之位元位置之符號，隨著位元位置不同來決定上下文，並對該一定數量以後之位元位置之符號，決定共通之上下文。此時，與對全部之位元位置分配相異之上下文時相比，可減少上下文之數量，而達成減少用於保存機率資訊等之記憶體容量。
又例如上下文控制部104可更自最左邊起至一定之順序(例如第10個)以上之位元位置之符號，不決定上下文，而將固定符號產生機率(例如50%等)輸出至二元算術編碼部105。
接著，終端位置二元化部102藉由對長座標值進行短座標值之減算，來算出差距座標值(步驟S302)。而終端位置二元化部102藉由對差距座標值進行二元化，來產生對應差距座標值之二元訊號。產生之二元訊號將輸出至上下文控制部104及二元算術編碼部105。
接著，二元算術編碼部105利用輸入自上下文控制部104之符號產生機率，對差距座標值所對應之二元訊號進行算術編碼(步驟S303。此時，上下文控制部104決定用於差距座標所對應之二元訊號之算術編碼，並將從已決定之上下文所對應之機率資訊取得之符號產生機率輸出至二元算術編碼部105。
例如，在對二元訊號所包含之符號以左起之順序進行 算術編碼時，上下文控制部104與前述之短座標值之編碼時同様地，根據該符號之順序(位元位置)來決定上下文。又，上下文控制部104，例如，亦可根據位元位置以及處理對象區塊尺寸，來決定上下文。也就是說，即使位元位置相同，上下文控制部104仍可以上下文隨著區塊尺寸不同而有差異之方式，來決定上下文。
但是，因為這是差距座標值之算術編碼，因此上下文控制部104亦可決定以複數之區塊尺寸中一部份區塊尺寸共通之上下文，作為用於差距座標值之上下文。例如，對於16＊16之區塊尺寸與32＊32之區塊尺寸，可以利用共通之上下文。藉此，與對全部之區塊尺寸分配互異之上下文之狀況相比，可減少上下文之數量，而達成減少用於保存機率資訊等之記憶體容量。
又，上下文控制部104，例如，亦可對最左端起至一定數(例如第2個)為止之位元位置之符號，對每個位元位置決定不同之上下文，而對該一定數以後之位元位置之符號，決定共通之上下文。此時，與對全部位元位置分配互異之上下文之狀況相比，可減少上下文之數量，而達成減少用於保存機率資訊等之記憶體容量。
又例如，上下文控制部104可更自最左邊起至一定之順序(例如第10個)以上之位元位置之符號，不決定上下文，而將固定符號產生機率(例如50%等)輸出至二元算術編碼部105。
又，上下文控制部104亦可根據已編碼完成之短座標 值，來決定用於差距座標值之上下文。例如，當短座標值在一定值以下(例如”3”)時，差距座標值有可能是很大之值。另一方面，當短座標值在一定值以上(例如”10”)時，差距座標值是較小值之可能性高。因此，依短座標值之大小來利用不同之上下文，較可妥適地推定符號產生機率。又，此時之閾值(一定值)亦可隨著區塊尺寸來改變。這是因為座標值可取得之範圍因區塊尺寸而有差異。藉此，可期待更高之編碼效率。
在此，當差距座標值為”0”時(步驟S304為YES)、因為沒有必要區別短座標值與長座標值，故結束編碼處理。另一方面，當差距座標值不是”0”時(步驟S304為NO)，二元算術編碼部105對表示先前已編碼完成之短座標值是X座標或是Y座標之資訊，即短座標旗標(例如是X座標時為”0”，是Y座標時為”1”)進行二元算數編碼(步驟S305)。
此時，上下文控制部104亦可以隨著區塊尺寸不同而每不同之方式來決定用於短座標旗標之上下文，但不限於此。例如，即使區塊尺寸不同，但水平方向與垂直方向之係數之傾向相同時，X座標及Y座標中某一者之為短座標之傾向也相同之狀況很多。因此，上下文控制部104在決定用於短座標旗標之上下文時，亦可在區塊尺寸相異之下決定相同之上下文。此時，與對全部之區塊尺寸分配不同上下文之狀況相比，可減少上下文之數量，而達成減少用於保存機率資訊等之記憶體容量。
又，上下文控制部104亦可以複數之區塊尺寸中一部分 之區塊尺寸決定共通上下文之方式，來決定用於短座標旗標之上下文。例如，上下文控制部104亦可以對4＊4尺寸之區塊之上下文與其他尺寸之區塊之共通上下文相異之方式，來決定用於短座標旗標之上下文。另外，上下文控制部104亦可在(4＊4)、(8＊8)、及(16＊16與32＊32)等3種區塊尺寸間切換上下文。藉此來決定上下文，可達到更高之編碼效率。
接著，利用第13圖，詳細說明對係數資訊之一例之SignificantFlag進行算術編碼時之處理。
第13圖係顯示本發明實施形態1中係數資訊之算術編碼方法之一例之流程圖。
首先，算術編碼部100以前述方法對終端位置資訊(LastPos)進行編碼(步驟S401)。接著，當自LastPos取得之值在閾值TH以下時(步驟S402為YES)，上下文控制部104選擇專為非零係數只存在於低頻率區域中之狀況設定之上下文組(步驟S403)。
另一方面，當自LastPos取得之值比閾值TH大時，(步驟S402為NO)、上下文控制部104選擇專為高頻率區域也存在有非零係數之之狀況設定之上下文組(步驟S404)。
接著，上下文控制部104自已選擇之上下文組中，以預先決定之方法來決定用於SignificantFlag之上下文。而二元算術編碼部105利用已決定之上下文所對應之符號產生機率，對SignificantFlag進行算術編碼(步驟S405)。
在此，LastPos以二維直角座標系表示時，取得自 LastPos值是可自表示LastPos之2個座標值中至少一者中取得之值。也就是說，上下文控制部104是根據表示最後之非零係數之位置之2個座標值中之至少一者來決定上下文。
更具體來說，自LastPos取得之值，例如是表示LastPos之2個座標值之和。也就是說，上下文控制部104根據2個座標值之和來決定上下文。此時，上下文控制部104在步驟S402中，將(X座標值+Y座標值)與閾值TH比較即可。藉此上下文控制部104例如在閾值TH為”5”時，可以連結(0,5)、(1,4)、(2,3)、(3,2)、(4,1)、(5,0)之線為邊界，來切換上下文組。
又取得自LastPos值亦可以是，例如，表示LastPos之2個座標值中較大者之座標值。也就是說，上下文控制部104亦可只根據2個座標值中較大者之座標值，來決定上下文。此時，上下文控制部104在步驟S402中，只要比較MAX(X座標值、Y座標值)與閾值TH即可。例如，當閾值TH為”5”時，上下文控制部104可以連結(0,5)及(5,5)之直線與連結(5,0)及(5,5)之直線為邊界，來切換上下文組。
又，取得自LastPos值，例如亦可以是2個座標值之算數平均值或值或幾何平均值等。
又，在此之閾值TH只有1個，但閾值TH亦可以有複數個。藉由具有複數個閾值TH，可根據LastPos，進行3個以上上下文組之切換。此時可以更精密地預測符號產生機率，因此可期待提高編碼效率。
又，在步驟S405中，二元算術編碼部105對第8圖(c)中 表示Last位置之前之符號依掃瞄順序進行算術編碼即可。不對Last所示位置之SignificantFlag進行算術編碼是因為，藉由LastPos以Last表示之位置之係數是非零係數，是不證自明的。
又，步驟S405中，上下文控制部104是由步驟S403或S404中決定之上下文組中，決定對SignificantFlag進行算術編碼時使用之上下文。具體來說，上下文控制部104例如是根據SignificantFlag之係數位置來決定上下文。又例如，上下文控制部104亦可根據頻率區域之處理單位中，與處理對象係數相鄰之零係數或非零係數(以下單獨稱為「鄰接零係數」或「鄰接非零係數」)之數量來決定上下文。ω
又例如，上下文控制部104亦可根據係數位置與鄰接零係數或鄰接非零係數之數量兩者來決定上下文。更具體來說，上下文控制部104亦可例如，在低頻率區域根據係數位置來決定上下文，而在高頻率區域中根據鄰接零係數或鄰接非零係數之數量來決定上下文。
又，算術編碼部100亦可由終端位置開始以逆掃瞄順序對SignificantFlag進行算術編碼。此時，可預估隨著對每個非零係數進行編碼，非零係數產生之機率將增高。對此，上下文控制部104可根據編碼順序，決定用於SignificantFlag之上下文。此時，宜根據上述之預估，設定各上下文所對應之符號產生機率之初期值。藉此可更提高編碼效率。
又，上述之中，上下文控制部104是在先選擇上下文組 之後再決定上下文，但未必要如此先選擇上下文組。也就是說，上下文控制部104也可以不選擇上下文組，而根據終端位置，從複數之上下文中選擇1個上下文，決定為對SignificantFlag進行算術編碼時使用之上下文。
又，指出以上說明之閾值之資訊，或二元化方法，或上下文之決定方法之，也可以記錄在位元串流之前頭(串流首標)。藉此，可依照圖像之特徴，改變二元化方法或上下文之組合，而可期待更提高之編碼效率。
又，記錄於前述首標之單位，可以不以串流為單位，亦可以是對應片段(slice)或畫面(picture)為之單位。此時，與以串流為單位記錄之狀況相比，由於可以更精密地控制算術編碼方法，而可期待更提高編碼效率。
又，上述之中，是對SignificantFlag之算術編碼進行說明，但Level及Sign也可以與SignificantFlag同樣地進行算術編碼。也就是說，上下文控制部104可根據最後之非零係數之位置，決定在對SignificantFlag、Level、及Sign中至少一者進行算術編碼時之上下文。
又，本發明之實施形態1之算術編碼部100，可具有用來對圖像資料進行壓縮編碼之圖像編碼裝置。第14圖係顯示本發明之實施形態1之圖像編碼裝置200之構成之一例之塊狀圖。
圖像編碼裝置200，對圖像資料進行壓縮編碼。例如，圖像資料隨著每個區塊以輸入訊號之形式輸入圖像編碼裝置200。圖像編碼裝置200對輸入之輸入訊號進行轉換、量 子化及熵編碼，以產生編碼訊號。
如第14圖所示，圖像編碼裝置200具有：減算器205、轉換．量子化部210、熵編碼部220、逆量子化．逆轉換部203、加算器235、去方塊濾波器240、記憶體250、畫面內預測部260、動態檢測部270、動態補償部280、及畫面內/畫面間切換開關290。
減算器205算出輸入訊號與預測訊號之差距，也就是算出預測誤差。
轉換．量子化部210藉由轉換空間領域之預測誤差，產生頻率區域之轉換係數。例如，轉換．量子化部210對預測誤差進行DCT(Discrete Cosine Transform)轉換，產生轉換係數。更進一步，轉換．量子化部210藉由將轉換係數量子化，以產生量子化係數。
熵編碼部220藉由對量子化係數進行熵編碼，產生編碼訊號。又，熵編碼部220對由動態檢測部270所檢測到的動態資料(例如，動態向量)進行編碼，將其包含在編碼訊號中輸出。
逆量子化．逆轉換部230藉由對量子化係數進行逆量子化，以復原成為轉換係數。更進一步，逆量子化．逆轉換部230藉由將已復原之轉換係數進行逆轉換，以復原預測誤差。又已復原之預測誤差因量子化而有失去資訊，因此與減算器205所產生之預測誤差並不一致。也就是說，已復原之預測誤差中包含有量子化誤差。
加算器235藉由對已復原之預測誤差加算預測訊號，以 產生局地解碼圖像。
去方塊濾波器240對產生之局地解碼圖像進行去方塊濾波處理。
記憶體250是用來儲存用於動態補償之参考圖像之記憶體。具體來說，記憶體250儲存經去方塊濾波處理之局地解碼圖像。
畫面內預測部260藉由進行畫面內預測，產生預測訊號(畫面內預測訊號)。具體來說，畫面內預測部260藉由參考加算器235所產生之局地解碼圖像中，編碼對象區塊(輸入訊號)之周圍之圖像，以進行畫面內預測，來產生畫面內預測訊號。
動態檢測部270檢測出輸入訊號及儲存在記憶體250中之参考圖像間之動態資料(例如，動態向量)。
動態補償部280藉由根據檢測出的動態資進行動態補償，產生預測訊號(畫面間預測訊號)。
畫面內/畫面間切換開關290選擇畫面內預測訊號及畫面間預測訊號中之任一者，並將選擇之訊號作為預測訊號輸出至減算器205及加算器235。
藉由以上構成，本發明之實施形態1之圖像編碼裝置200對圖像資料進行壓縮編碼。
又，第14圖中，本發明之實施形態1之算術編碼部100可具有熵編碼部220。也就是說，算術編碼部100將量子化係數作為輸入訊號SI進行二元化及算術編碼。又，訊號種類資訊SE是指出量子化係數之係數位置、第14圖中所示之 動態資料、或畫面內預測部260所使用之畫面內預測方向等之資訊。
如上，本發明之實施形態1之圖像編碼裝置及圖像編碼方法，在終端位置資訊與係數資訊進行編碼時，進行妥適之二元化，而可妥適地決定對二元化結果進行算術編碼時使用之上下文。
藉此，可縮短作為編碼對象之二元訊號之編碼長度，減少上下文之數量，同時可將反映全體之統計資訊之機率資訊利用作為編碼機率資訊，因此可提高編碼效率。也就是說，可縮小用以儲存對每個上下文進行儲存之機率資訊之記憶體容量，同時提高編碼效率。
又，上述算術編碼方法所包含之處理並不必全部執行。也就是說，在本實施形態中，終端位置資訊之算術編碼及係數資訊之算術編碼兩者都包含有特殊之處理，但例如也可以包含其中一者特殊之處理。
例如，算術編碼部根據終端位置，決定用以對複數之係數進行算術編碼之上下文，並利用該上下文所對應之上下文，來對二元訊號進行算術編碼。以下說明此算術編碼部。
第15圖係顯示本發明之一態様之算術編碼部10構成之一例之塊狀圖。算術編碼部10對圖像資料進行壓縮編碼。如第15圖所示，算術編碼部10具有：二元化部11、上下文控制部12、二元算術編碼部13。對於算術編碼部10之各構成要素，將利用第16圖詳細說明。
第16圖係顯示本發明之一態様之算術編碼部10之處理動作之流程圖。
首先，二元化部11藉由對頻率區域之處理單位所包含之複數係數進行二元化，產生二元訊號(S11)。具體來說、二元化部11例如產生分別對應SignificantFlag、Level、及Sign之二元訊號。
上下文控制部12根據處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置，來決定對複數之係數進行算術編碼時使用之上下文(S12)。上下文是指用以標定指出二元訊號所包含之符號值之發生機率之機率資訊之資訊。上下文控制部12儲存有分別對應複數之上下文之機率資訊。
二元算術編碼部13利用已決定之上下文所對應之機率資訊，對二元訊號進行算術編碼(S13)。具體來說，二元算術編碼部13自上下文控制部12取得記憶體中儲存之複數之機率資訊中，已決定之上下文所對應之機率資訊。而二元算術編碼部13利用取得之機率資訊，對二元訊號進行算術編碼。
上下文控制部12根據二元訊號，更新已決定之上下文所對應之機率資訊(S14)。也就是說，上下文控制部12根據二元訊號所包含之符號之值，更新記憶體所儲存之機率資訊中，已決定之上下文所對應之機率資訊。
如上，第15圖及第16圖中所示之算術編碼部10也可以根據掃瞄順序在最後的非零係數之位置，妥適地決定對複 數之係數進行算術編碼時使用之上下文，因此，可提高編碼效率。
(實施形態2)
接著，說明本發明之實施形態2之算術解碼方法之概要。本實施形態之算術解碼方法，是在對已算術編碼之複數係數進行算術解碼時、根據表示掃瞄順序在最後的非零係數之位置之終端位置資訊，來決定對複數之係數進行算術解碼時使用之上下文。並利用已決定之上下文所對應之符號產生機率，對複數之係數進行算術解碼。藉此，可利用根據於統計資訊之符號產生機率，而可提高編碼效率。更進一步，可妥適地設定上下文之數量，並可妥適地設定應具有之符號產生機率之數量，而在實際應用時可減少記憶體容量。
又，在對終端位置資訊進行算術解碼時，也可以妥適地利用符號產生機率，而可提高編碼效率。
以上是說明本實施形態之算術解碼方法之概要。
接著，說明本實施形態之算術解碼部之構成。第17圖係顯示本發明之實施形態2之算術解碼部300之構成之一例之塊狀圖。又，如後述，本發明之實施形態2之算術解碼部300相當於對已壓縮編碼之編碼圖像資料進行解碼之圖像解碼裝置之一部分。
算術解碼部300接收量子化係數所對應之輸入訊號BS、輸入訊號BS之訊號種類資訊SE等之輸入，作為解碼對象。算術解碼部300藉由進行輸入訊號BS之解碼處理，復原 係數訊號Coeff。
如第17圖所示，算術解碼部300具有二元算數解碼部301、上下文控制部302、及量子化係數復原部303。
二元算數解碼部301利用取得自上下文控制部302之符號產生機率，藉由對終端位置資訊及係數資訊所對應之輸入訊號BS進行算術解碼，產生二元訊號。
上下文控制部302具有儲存複數之符號產生機率之記憶體(圖未示)等。上下文控制部302例如藉由參考符號產生機率對照表，自記憶體中儲存之複數之符號產生機率中，標定對應上下文之符號產生機率。符號產生機率對照表是上下文與機率資訊相互對應之對照表。符號產生機率對照表是例如第5圖所示之對照表。由於符號產生機率對照表之詳細內容同實施形態1，故省略其詳細說明。
又，上下文控制部302更具有上下文對照表。上下文對照表是將解碼對象訊號之種類與上下文相互對應之對照表。上下文對照表是例如第6圖所示之對照表。上下文對照表之詳細內容同實施形態1，故省略其詳細說明。
量子化係數復原部303是利用由二元算數解碼部301產生之二元訊號，復原複數之係數(頻率區域之處理單位)。
接著，利用第18圖，說明具有如上所述構成之算術解碼部300之動作。第18圖係顯示本發明之實施形態2之算術解碼部300之處理動作之一例之流程圖。
二元算數解碼部301首先取得終端係數資訊(LastPos)所對應之輸入訊號(位元串流)。上下文控制部302取得已取 得之輸入訊號所對應之訊號種類訊號SE。而上下文控制部302根據訊號種類，來決定對終端位置資訊進行算術解碼時使用之上下文。更進一步，上下文控制部302將已決定之上下文所對應之符號產生機率輸出至二元算數解碼部301。
二元算數解碼部301根據符號產生機率，對已取得之輸入訊號進行算術解碼，解碼出終端位置資訊(步驟S501)。已解碼之終端係數資訊被輸出至量子化係數復原部303。具體來說，二元算數解碼部301對已算術編碼之二元訊號所包含之符號逐一進行算術解碼。因此，解碼處理將重覆至全部之符號之終端係數資訊都解碼完成為止。此時，上下文之控制方法是與編碼時所利用之方法是相同之方法。具體來說，上下文之控制方法與實施形態1中說明之方法相同。
接著，二元算數解碼部301取得SignificantFlag所對應之輸入訊號(位元串流)。上下文控制部302取得已取得之輸入訊號所對應之訊號種類訊號SE。而上下文控制部302根據訊號種類，來決定對SignificantFlag進行算術解碼時使用之上下文。更進一步，上下文控制部302將已決定之上下文所對應之符號產生機率輸出至二元算數解碼部301。
又，此時，上下文控制部302根據既已解碼完成之終端位置資訊、來決定上下文(步驟S502)。也就是說，上下文控制部302根據掃瞄順序在最後的非零係數之位置，來決定對處理單位所包含之複數係數所對應之輸入訊號進行算術解碼時使用之上下文。又，上下文之控制方法，是與編碼時使用之方法相同之方法。具體來說，上下文之控制方法是 與實施形態1中說明之方法是相同之方法。
二元算數解碼部301根據符號產生機率，對取得之輸入訊號進行算術解碼，解碼出SignificantFlag(步驟S503)。解碼出之SignificantFlag將被輸出至量子化係數復原部303。具體來說，二元算數解碼部301將已算術編碼之二元訊號所包含之SignificantFlag逐一進行解碼。因此，解碼處理將重覆至全部之SignificantFlag都解碼完成為止。
最後，量子化係數復原部303根據已取得之終端位置資訊與SignificantFlag，復原係數訊號Coeff。更具體來說，量子化係數復原部303除了該等資訊外，也配合Level及Sign之組合，復原複數之量子化係數。此Level及Sign之解碼方法，例如可以是H.264規格中決定之方法。
以上是關於本實施形態之算術解碼部300之構成之說明。
接著，說明終端位置資訊(LastPos)所對應之輸入訊號之算術解碼方法。首先，說明在編碼時，終端位置資訊以第1二元化方法(實施形態1之第8圖(e))二元化之狀況下之算術解碼方法。
第19圖係顯示本發明之實施形態2之終端位置資訊之算術解碼方法之一例之流程圖。
首先，上下文控制部302以與實施形態1中之方法同樣之法來決定上下文。接著，上下文控制部302將已決定之上下文所對應之符號產生機率輸出至二元算數解碼部301。二元算數解碼部301利用取得自上下文控制部302之符號產生 機率，對X座標所對應之輸入訊號進行算術解碼(步驟S601)。
接著，上下文控制部302以與實施形態1中之方法同様之方法來決定上下文。而上下文控制部302將已決定之上下文所對應之符號產生機率輸出至二元算數解碼部301。二元算數解碼部301利用取得自上下文控制部302之符號產生機率，對Y座標所對應之輸入訊號進行算術解碼(步驟S602)。
又，編碼時，在根據X座標及Y座標中一之者所對應之二元訊號所包含之符號，決定用於另一者所對應之二元訊號之上下文時，第19圖之步驟S601與S602應隨著每個符號重覆。又，上下文之決定方法之詳細內容，同實施形態1說明之方法。
接著，說明編碼時，終端位置資訊以第2二元化方法(實施形態1之第8圖(f))二元化之狀況下之算術解碼方法。
第20圖係顯示本發明之實施形態2之終端位置資訊之算術解碼方法之另一例之流程圖。
首先，上下文控制部302是以實施形態1中同様之方法，來決定對短座標所對應之輸入訊號進行算術解碼時使用之上下文。而上下文控制部302將已決定之上下文所對應之符號產生機率輸出至二元算數解碼部301。二元算數解碼部301利用取得自上下文控制部302之符號產生機率，對短座標所對應之輸入訊號進行算術解碼(步驟S701)。
接著，此時，上下文控制部302以實施形態1中之方法同樣之方法，來決定對差距座標所對應之輸入訊號進行算 術解碼時使用之上下文。而上下文控制部302將已決定之上下文所對應之符號產生機率輸出至二元算數解碼部301。二元算數解碼部301利用取得自上下文控制部302之符號產生機率，對差距座標所對應之輸入訊號進行算術解碼(步驟S702)。
在此，對差距座標所對應之輸入訊號進行算術解碼取得之差距座標值為”0”(步驟S703為YES)時，結束解碼處理。這是因為X座標值與Y座標值相同，因此沒有必要區分在步驟S701解碼取得之座標值是X座標值或是Y座標值。
另一方面，當差距座標值非為”0”(步驟S703為NO)時，二元算數解碼部301對短座標旗標所對應之輸入訊號進行算術解碼(步驟S704)。此時，上下文控制部302與實施形態1同様地決定上下文，將已決定之上下文所對應之符號產生機率輸出至二元算數解碼部301。
接著，說明係數資訊一例之SignificantFlag所對應之輸入訊號之算術解碼方法。
第21圖係顯示本發明之實施形態2之係數資訊之算術解碼方法之一例之流程圖。
首先，二元算數解碼部301以前述方法對終端位置資訊(LastPos)進行解碼(步驟S801)。接著，在取得自LastPos之值在閾值TH以下時(步驟S802為YES)，上下文控制部302選擇專為非零係數只存在於低頻率區域之狀況設定之上下文組(步驟S803)。
另一方面，當取得自LastPos之值比閾值TH大(步驟 S802為NO)時，上下文控制部302選擇專為高頻率區域中也存在有非零係數之狀況設定之上下文組(步驟S804)。
接著，上下文控制部302自已選擇之上下文組中，根據預先決定之手段來決定對SignificantFlag所對應之輸入訊號進行算術解碼時使用之上下文。而二元算數解碼部301利用已決定之上下文所對應之符號產生機率，對SignificantFlag所對應之輸入訊號進行算術解碼(步驟S805)。
在此，當LastPos以二維直角座標系表示時，取得自LastPos之值是可從表示LastPos之2個座標值中至少一者取得之值。也就是說，上下文控制部302是根據表示最後之非零係數之位置之2個座標值中至少一者，來決定上下文。
具體來說，取得自LastPos之值，例如是表示LastPos之2個座標值之和。也就是說，上下文控制部302是根據2個座標值之和來決定上下文。此時，上下文控制部104在步驟S402中，只要比較(X座標值+Y座標值)與閾值TH即可。藉此，上下文控制部302例如在閾值TH為”5”時，以連結(0,5)、(1,4)、(2,3)、(3,2)、(4,1)、(5,0)之線為邊界，來切換上下文組。
又，取得自LastPos之值，例如可以是表示LastPos之2個座標值中較大者之座標值。也就是說，上下文控制部302亦可只根據2個座標值中較大者之座標值來決定上下文。此時，上下文控制部104在步驟S402中，只要比較MAX(X座標值、Y座標值)與閾值TH即可。例如，當閾值TH為”5” 時，上下文控制部302以連結(0,5)及(5,5)之直線、及連結(5,0)及(5,5)之直線為邊界，來切換上下文組。
又，在此之閾值TH只有1個，但閾值也可以是複數個。藉由利用複數個閾值TH，可根據LastPos，切換3個以上之上下文組。此時，可更精密地預測符號產生機率，因此，可期待提高編碼效率。
又，上下文之決定方法必須是與編碼時所使用之方法同一之方法。
又，步驟S805中，二元算數解碼部301對依掃瞄順序對位在第8圖(c)之Last所示之位置前方之符號列進行算術編碼而取得之輸入訊號，進行算術解碼即可。此時，上下文控制部302如實施形態1之說明，根據係數位置來決定上下文。又例如，上下文控制部302亦可根據鄰接零係數或鄰接非零係數之數量，來決定上下文。
又例如，上下文控制部302可根據係數位置及鄰接零係數或鄰接非零係數之數量雙方，來決定上下文。更具體來說，上下文控制部302例如可在低頻率區域根據係數位置來決定上下文，而在高頻率區域根據鄰接零係數或鄰接非零係數之數量來決定上下文。
又，在SignificantFlag是自終端位置以逆掃瞄順序編碼時，算術解碼部300只要同樣地以逆掃瞄順序來進行解碼處理即可。此時，可預估隨著每個非零係數之編碼，非零係數之產生機率會增高。而上下文控制部302根據編碼順序，來決定用於SignificantFlag所對應之輸入訊號之上下文即 可。此時，可根據上述之預估，設定各上下文所對應之符號產生機率之初期值。藉此，可更提高編碼效率。
又，如上述，上下文控制部302是先選擇上下文組之後再決定上下文，但未必要如此選擇上下文組。也就是說，上下文控制部302也可以不選擇上下文組，而根據終端位置自複數之上下文中選擇1個上下文，來決定對SignificantFlag所對應之輸入訊號進行算術解碼時使用之上下文。
又，如上述，是說明SignificantFlag所對應之輸入訊號之算術解碼，Level或Sign所對應之輸入訊號，也可以與SignificantFlag同様地進行算術解碼。也就是說，上下文控制部302可根據最後之非零係數之位置，決定對SignificantFlag、Level、及Sign中之至少一者所對應之輸入訊號進行算術解碼時使用之上下文。
又，上下文控制部302取得由二元算數解碼部301所解碼得到之二元訊號，隨著每次執行二元化算術解碼，進行在算術解碼時使用之上下文所對應之符號產生機率之更新處理。符號產生機率之更新處理，例如可以使用H.264規格所示之方法同樣之方法。
藉由採用上述方法，可利用提高編碼效率之編碼訊號，來進行解碼。
又，本發明之實施形態2之算術解碼部300，可具有對已壓縮編碼之編碼圖像資料進行解碼之圖像解碼裝置。第22圖係顯示本發明之實施形態3之圖像解碼裝置400之構成 之一例之塊狀圖。
圖像解碼裝置400對已壓縮編碼之編碼圖像資料進行解碼。例如，編碼圖像資料隨著每個區塊以輸入訊號之形式輸入圖像解碼裝置400。圖像解碼裝置400藉由對輸入之解碼對象訊號進行熵解碼、逆量子化及逆轉換，以復原圖像資料。
如第22圖所示，圖像解碼裝置400具有：熵解碼部410、逆量子化．逆轉換部420、加算器425、去方塊濾波器430、記憶體440、畫面內預測部450、動態補償部460、及畫面內/畫面間切換開關470。
熵解碼部410藉由對輸入訊號(輸入串流)進行熵解碼，以復原量子化係數。又，在此之輸入訊號(輸入串流)是解碼對象訊號，相當於編碼圖像資料中每個區塊之資料。又，熵解碼部410自輸入訊號中取得動態資料，並將取得之動態資料輸出至動態補償部460。
逆量子化．逆轉換部420藉由對熵解碼部410所復原之量子化係數進行逆量子化，以復原轉換係數。且逆量子化．逆轉換部420藉由對已復原之轉換係數進行逆轉換，以復原預測誤差。
加算器425對已復原之預測誤差與預測訊號進行加算，以產生解碼圖像。
去方塊濾波器430對已產生之解碼圖像進行去方塊濾波處理。經過去方塊濾波處理之解碼圖像，被輸出作為解碼訊號。
記憶體440是用來儲存用於動態補償之参考圖像之記憶體。具體來說，記憶體440儲存有經過去方塊濾波處理後之解碼圖像。
畫面內預測部450藉由進行畫面內預測，以產生預測訊號(畫面內預測訊號)。具體來說，畫面內預測部450參考由加算器425所產生之解碼圖像中解碼對象區塊(輸入訊號)周圍之圖像，來進行畫面內預測，以產生畫面內預測訊號。
動態補償部460藉由根據來自熵解碼部410之動態資料，來進行動態補償，以產生預測訊號(畫面間預測訊號)。
畫面內/畫面間切換開關470選擇畫面內預測訊號及畫面間預測訊號中之任一者，並將選擇之訊號輸出至加算器425，作為預測訊號。
藉由以上構成，本發明之實施形態2之圖像解碼裝置400可對已壓縮編碼之編碼圖像資料進行解碼。
又，第22圖中，本發明之實施形態2之算術解碼部300可具有熵解碼部410。也就是說，算術解碼部300將已預測編碼之編碼圖像資料視為輸入串流IS，進行算術解碼及多值化。又，訊號種類資訊SE是指出量子化係數之位置、動態資料、或畫面內預測部450所使用之畫面內預測方向等之資訊。
又，如上述說明，閾值之資訊、或二元化方法、或指出上下文之選擇方法之資訊若記錄在位元串流之先頭(串流首標)，則算術解碼部300可讀取該記錄之資訊，並改變二元化方法與上下文之組合。藉此，可對更提高編碼效率 之編碼串流進行解碼。
又，前述首標中記錄之單位，若是對應片段(slice)或畫面(picture)之單位，亦可同樣地解碼。
如上述，本發明之實施形態2之圖像解碼裝置及圖像解碼方法，可在對終端位置資訊與係數資訊所對應之輸入訊號進行算術解碼之際，妥適地決定上下文。
藉此可對提高編碼效率之輸入訊號正確地進行解碼。具體來說，如實施形態1中，可利用反映全體之統計資訊作為機率資訊，而可提高編碼效率。也就是說，可縮小儲存每個上下文之記憶體容量，同時可提高編碼效率。
本發明之實施形態2之圖像解碼裝置及圖像解碼方法，可對如此提高編碼效率之訊號，進行正確之解碼。
又，如上述之算術解碼方法並沒有必要全部執行。也就是說，在本實施形態之中，是對終端位置資訊及係數資訊雙方進行特殊之處理，但例如也可以只對其中一者進行特殊之算術解碼。
例如，算術解碼部可根據終端位置，決定對複數之係數所對應之輸入訊號進行算術解碼時使用之上下文，並利用該上下文所對應之上下文來對輸入訊號進行算術解碼即可。以下說明如此之算術解碼部。
第23圖係顯示本發明之一態様之算術解碼部20之構成之一例之塊狀圖。算術解碼部20是對已壓縮編碼之圖像資料進行解碼。如第23圖所示，算術解碼部20具有二元算數解碼部21、上下文控制部22、及係數復原部23。關於算術 解碼部20之各構成要素，將利用第24圖作詳細之說明。
第24圖係顯示本發明之一態様之算術解碼部20之處理動作之流程圖。
首先，上下文控制部22根據頻率區域之處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置，決定對處理單位所包含之複數係數所對應之輸入訊號進行算術解碼時使用之上下文(S21)。複數係數所對應之輸入訊號，例如是指對SignificantFlag、Level、及Sign等所分別對應之二元訊號進行算術編碼而取得之訊號。
二元算數解碼部21藉由利用已決定之上下文所對應之機率資訊，來對輸入訊號進行算術解碼，以產生二元訊號(S22)。具體來說、二元算數解碼部21自上下文控制部22，取得記憶體中儲存之複數之機率資訊中、已決定之上下文所對應之機率資訊。而二元算數解碼部21利用取得之機率資訊，對輸入訊號進行算術解碼。
上下文控制部22根據二元訊號更新已決定之上下文所對應之機率資訊(S23)。也就是說，上下文控制部22根據二元訊號所包含之符號之值，更新儲存於記憶體之機率資訊中，已決定之上下文所對應之機率資訊。
係數復原部23利用二元訊號，復原處理單位所包含之複數係數(S24)。具體來說，係數復原部23藉由對Level所對應之二元訊號進行多值化，以復原Level。且係數復原部23根據最後之非零係數之位置及SignificantFlag、Level、Sign等，來復原處理單位。
如上，第23圖及第24圖所示之算術解碼部20，也可以根據掃瞄順序在最後的非零係數之位置，妥適地決定對複數之係數所對應之輸入訊號進行算術解碼時使用之上下文。因此，算術解碼部20可以對由高編碼效率編碼而成之輸入訊號進行妥適的解碼。
(實施形態3)
藉由將執行上述各實施形態之動圖像編碼方法(圖像編碼方法)或者是動圖像解碼方法(圖像解碼方法)之構成之程式記錄於記錄媒體中，可在獨立之電腦系統中輕易地實施上述各實施形態所示之處理。記錄媒體可以是磁碟、光碟、光磁碟、晶片卡(IC Card)、半導體記憶體等，只要是可記錄程式者即可。
更進一步，在此說明用上述各實施形態所示之動圖像編碼方法(圖像編碼方法)或動圖像解碼方法(圖像解碼方法)之應用例及利用應用例之系統。該系統之特徵在於具有一圖像編碼解碼裝置，且該圖像編碼解碼裝置具有利用圖像編碼方法之圖像編碼裝置，及利用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置。關於系統之其他構成，可視情況作妥適之變更。
第25圖係顯示實現內容發信服務之內容供給系統ex100全體構成之圖。通訊服務之提供領域被分割為適當的大小，且各區域(cell)內分別設置有基地台ex106、ex107、ex108、ex109、ex110，是為固定無線發信台。
此內容供給系統ex100是透過網際網路服務供應者 ex102及電話網ex104連接至網際網路ex101，以及基地台ex106至ex110，連接到電腦ex111、PDA(Personal Digital Assistant)ex112、攝影機ex113、行動電話ex114、遊戲機ex115等各機器。
但是，內容供給系統ex100並不限於如第25圖之構成，亦可以與任意要素組合連接。又，亦可以不透過作為固定無線發信台之基地台ex106至ex110，而令各機器透過電話網ex104直接連接。又，亦可令各機器透過近距離無線等方式來直接相互連接。
攝影機ex113是數位視訊攝影機等可拍攝動畫之機器，照相機ex116是數位相機等可拍攝静止畫面或拍攝動畫之機器。又，行動電話ex114可以是採用GSM(登録商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)方式通訊之行動電話機，又或者是PHS(Personal Handyphone System)等，皆不受限制。
內容供給系統ex100中，攝影機ex113等可藉由透過基地台ex109、電話網ex104來連接串流伺服器ex103，而可進行即時放送。即時放送時，對於使用者利用攝影機ex113所拍攝之內容(例如，音樂演奏會之影像等)，進行上述各實施形態中說明之編碼處理(也就是，發揮本發明之圖像編碼裝置之機能)，傳輸至串流伺服器ex103。另一方面，串流伺 服器ex103對於有要求之客戶端，串流放送傳輸來之內容資料。而客戶端就是可對經過上述編碼處理之資訊進行解碼之電腦ex111、PDAex112、攝影機ex113、行動電話ex114、遊戲機ex115等。各機器接收放送來之資料後，對接收之資料進行解碼處理並播放(也就是，發揮本發明之圖像解碼裝置之機能)。
又，拍攝之資料之編碼處理可以由攝影機ex113執行，也可以在進行資料發送處理之串流伺服器ex103執行，也可以相互分擔來執行。同様地，對放送來之資料之解碼處理可以在客戶端執行，可以在串流伺服器ex103執行，也可以相互分擔來執行。又，不限於攝影機ex113，由照相機ex116所拍攝之静止圖像及/或動圖像資料，也可以透過電腦ex111傳輸至串流伺服器ex103。此時之編碼處理可以由照相機ex116、電腦ex111、串流伺服器ex103之任一者來執行，也可以相互分擔來執行。
又，該等編碼．解碼處理，一般的是由電腦ex111或各機器所具有之LSIex500進行處理。LSIex500可以是單晶片或由複數之晶片所構成。又，也可將動圖像編碼．解碼用之軟體內建在電腦ex111等可讀取之任意記錄媒體(CD-ROM、軟碟、硬碟)中，以利用該軟體來進行編碼．解碼處理。更進一步，若行動電話ex114等具有攝影機時，也可傳輸以該攝影機取得之動畫資料。此時之動畫資料，是由行動電話ex114所具有之LSIex500來進行編碼處理之資料。
又，串流伺服器ex103可以是複數之伺服器或複數之電腦，也可以將資料分散來處理、記錄、發送。
如上述，內容供給系統ex100中，已編碼之可以由客戶端來接收並播放。如此之內容供給系統ex100中，可令使用者所傳輸之資訊即時地由客戶端來接收並解碼與播放，如此不具有特別權利或設備之使用者，也可以做到個人放送。
又，除了內容供給系統ex100之例以外，也可以如第26圖所示，至少在數位放送用系統ex200中應用上述各實施形態中之動圖像編碼裝置(圖像編碼裝置)或動圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在放送台ex201將影像資料與音樂資料等進行多重化後之多重化資料，透過電波來通訊或傳輸至衛星ex202。此影像資料即是由上述記各實施形態中說明之動圖像編碼方法所編碼而成之資料(也就是，由本發明之圖像編碼裝置所編碼而成之)。接收到此資料之放送衛星ex202發射放送用之電波，而此電波將由可接收衛星放送之家庭之天線ex204所接收。而被接收之多重化資料將由電視(接收機)ex300或機上盒(STB)ex217等裝置來解碼並播放(也就是，發揮本發明之圖像解碼裝置之機能)。
又，讀取DVD、BD等記錄媒體ex250中記錄之多重化資料並解碼、或對影像訊號進行編碼，且視情況與音樂訊號多重化以寫入記錄媒體ex250之錄放影機ex218中也可以應用上述各實施形態所示之動圖像解碼裝置或動圖像編碼 裝置。此時，播放之影像訊號由顯示器ex219來顯示，並可藉由記錄有多重化資料之記錄媒體ex250而可在其他裝置或系統播放影像訊號。又，連接有線電視用之纜線ex203或衛星/地面電視放送之天線ex204之機上盒ex217內，亦可裝設動圖像解碼裝置，如此可在電視之顯示器ex219來顯示。此時，亦可不設於機上盒，而在電視內設置動圖像解碼裝置。
第27圖係顯示利用上述各實施形態中說明之動圖像解碼方法及動圖像編碼方法之電視(接收機)ex300之圖。電視ex300具有：透過接收上述放送之天線ex204或纜線ex203等，取得或輸出影像資料與聲音資料多重化而成之多重化資料之選台器ex301、對接收到之多重化資料進行解調，或對將傳輸至外部之多重化資料進行調變之調變/解調部ex302、及將已解調之多重化資料分離為影像資料與聲音資料，或將由訊號處理部ex306編碼後之影像資料與聲音資料進行多重化之多重/分離部ex303。
又，電視ex300更包含有：具有對聲音資料、影像資料分別進行解碼，或對該等資訊進行編碼之聲音訊號處理部ex304、影像訊號處理部ex305(發揮本發明之圖像編碼裝置或圖像解碼裝置之機能)之訊號處理部ex306；及具有輸出解碼完成之聲音訊號之揚聲器ex307、顯示解碼完成之影像訊號之顯示器等之表示部ex308之輸出部ex309。更進一步，電視ex300具有操作介面部ex317，而操作介面部ex317具有接收使用者操作之輸入之操作輸入部ex312等。更進一 步，電視ex300具有統整地控制各部之控制部ex310、對各部供應電力之電源電路部ex311。操作介面部ex317除了操作輸入部ex312以外，也可具有連接錄/放影機ex218等外部機器之橋接件ex313、可安裝SD卡等記錄媒體ex216之插槽部ex314、用來連接硬碟等外部記錄媒體之驅動程式ex315、用來連接電話網之數據機ex316等。又，記錄媒體ex316是藉由收容有非揮發性/揮發性之半導體記憶體元件而可記錄電磁資訊者。電視ex300之各部是透過同步匯流排來相互連接。
首先，對電視ex300對藉由天線ex204等自外部取得之多重化資料進行解碼、播放之構成進行說明。電視ex300自遠端控制器ex220等接受使用者操作，並根據具有CPU等之控制部ex310之控制，將調變/解調部ex302解調出之多重化資料以多重/分離部ex303進行分離。更進一步，電視ex300將分離出之聲音資料以聲音訊號處理部ex304進行解碼，並利用上述各實施形態中說明之解碼方法將分離出之影像資料以影像訊號處理部ex305進行解碼。解碼而成之聲音訊號、影像訊號分別由輸出部ex309往外部輸出。輸出時，可將該等訊號暫存於緩衝區ex318、ex319等，以使聲音訊號與影像訊號可同步播放。另外，電視ex300除了放送等之外，也可以從磁/光碟、SD卡等之記錄媒體ex250、ex216等讀出多重化資料。接著，說明電視ex300對聲音訊號或影像訊號進行編碼，以傳輸至外部或寫入記錄媒體等之構成。電視ex300自遠端控制器ex220等接受使用者操作，根 據控制部ex310之控制，聲音訊號處理部ex304對聲音訊號進行編碼，而影像訊號處理部ex305利用上述各實施形態中說明之編碼方法，對影像訊號進行編碼。編碼完成之聲音訊號、影像訊號由多重/分離部ex303多重化之後輸出至外部。在進行多重化時，可將該等訊號暫存於緩衝區ex318、ex319等，以使聲音訊號與影像訊號同步。又，緩衝區ex318、ex319、ex320、ex321可以如圖示一般具有複數個，也可以構成為共用一個比上之緩衝區。更進一步，除了圖示之外，例如調變/解調部ex302或多重/分離部ex303間之處理等，也可以在緩衝區暫存資料，以避免系統之溢位、欠位。
又，電視ex300除了從放送等或記錄媒體等取得聲音資料、影像資料之外，也可以具有接收來自麥克風或攝影機之影音輸入之構成，而對自該等取得之資料進行編碼處理。又，在此是說明電視ex300可進行上述之編碼處理、多重化、及外部輸出之構成，但也可以構成為不可執行該等處理，而只進行前述接收、解碼處理、外部輸出之構成。
又，當以錄/放影機ex218自記錄媒體讀出或寫入多重化資料時，上述解碼處理或編碼處理者以由電視ex300或錄/放影機ex218中之任一者來進行，也可以由電視ex300及錄/放影機ex218相互分擔來進行。
例如，第28圖係顯示自光碟讀出或寫入資料時之資訊播放/記錄部ex400之構成。資訊播放/記錄部ex400具有以下說明之要素ex401、ex402、ex403、ex404、ex405、ex406、 及ex407。光碟讀取頭ex401對光碟，也就是記錄媒體ex250之記錄面照射雷射光點，以寫入資訊、或檢測來自記錄媒體ex250之記錄面之反射光，以讀取資訊。調變記錄部ex402電子驅動內藏於光碟讀取頭ex401中之半導體雷射，並對應記錄資訊進行雷射光之調變。播放解調部ex403増幅內藏於光碟讀取頭ex401中之光感測器電子檢測反射自記錄面之反射光之播放訊號，分離記錄在記錄媒體ex250中之訊號成分並進行解調，播放必要之資訊。緩衝區ex404暫存將記錄在記錄媒體ex250中之資訊及自記錄媒體ex250播放之資訊。磁碟馬達ex405令記錄媒體ex250旋轉。伺服控制部ex406控制磁碟馬達ex405之旋轉驅動，同時將光碟讀取頭ex401移動至預定之資訊軌，進行雷射光點之追蹤處理。系統控制部ex407對資訊播放/記錄部ex400進行全體之控制。上述讀取或寫入處理中，系統控制部ex407利用儲存於緩衝區ex404中之各種資訊，或視情況產生、追加新的資訊，同時令調變記錄部ex402、播放解調部ex403、伺服控制部ex406協調動作，以透過光碟讀取頭ex401，達成執行資訊之記錄播放。系統控制部ex407例如可以微處理器來構成，藉由執行讀出或寫入之程式，以執行該等處理。
以上是對光碟讀取頭ex401照射雷射光點之說明，但亦可是利用近場光來達到更高密度記錄之構成。
第29圖係顯示光碟，即記錄媒體ex250之略示圖。記錄媒體ex250之記錄面形成有螺旋狀之導溝(groove)，資訊軌ex230上，已記錄有配合溝之形狀變化表示光碟上之絶対位 置之位址資訊。此位址資訊包含標定記錄資料之單位之記錄區塊ex231之位置之資訊，而在進行記錄或播放之裝置中，可藉由播放資訊軌ex230、讀取位址資訊，以標定記錄區塊。又，記錄媒體ex250包含有資料記錄區域ex233、內周區域ex232、外周區域ex234。用於記錄使用者資料之領域屬於資料記錄領域ex122，而配置在資料記錄領域ex233之內周或外周之內周領域ex232與外周領域ex234，是用於記錄使用者資料以外之特定用途。資訊播放/記錄部ex400對如此之記錄媒體ex250之資料記錄領域ex233，進行經編碼之聲音資料、影像資料或者該等資料經多重化之多重化資料之讀寫。
以上是舉出1層之DVD、BD等光碟為例來說明，但不限於此，亦可以是多層構造而在表面以外也可記錄之光碟。又，也可以是在光碟之同一位置而利用各種相異波長之顏色之光來記錄資訊、或從各種角度在相異之資訊進行記錄等，具有多層次之記錄/播放構造之光碟。
又，在數位放送用系統ex200中，亦可以是具有天線ex205之車ex210自衛星ex202等接收資料，並由車ex210所具有之行車導航ex211等之顯示裝置來播放動畫。又，行車導航ex211之構成例如可以考慮是第27圖所示之構成中，加入GPS接收部之構成，且同様之構成也可以考慮應用在電腦ex111或行動電話ex114等。
第30圖(a)是顯示利用上述實施形態中說明之動圖像解碼方法及動圖像編碼方法之行動電話ex114之圖。行動電話 ex114具有與基地台ex110間進行電波之傳送/接收之天線ex350、可拍攝影像、静畫之攝影部ex365、具有可顯示攝影部ex365所拍攝之影像或天線ex350所接收之影像等經解碼後之資料之液晶顯示器等之顯示部ex358。行動電話ex114更進一步包含具有操作按鍵部ex366之本體部、具有用於輸出聲音之揚聲器等之聲音輸出部ex357、具有用於輸入聲音之麥克風等之聲音輸入部ex356、用於儲存拍攝之影像、静畫、録音之聲音、或接收之影像、静畫、郵件等經過編碼之資料或已經解碼之資料之記憶體部ex367、及作為與同様可儲存資料之記錄媒體間之介面部之插槽部ex364。
更進一步，利用第30圖(b)，說明行動電話ex114之構成例。行動電話ex114中，
電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、攝影介面部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多重/分離部ex353、聲音訊號處理部ex354、插槽部ex364、以及記憶體部ex367等，透過匯流排ex370相互連接於對具有顯示部ex358及操作按鍵部ex366之本體部之各部分進行統整控制之主控制部ex360上。
電源電路部ex361，在使用者之操作下結束通話或電源鍵被操作為開狀態時，由電池組對各部供應電力，以將行動電話ex114啟動成為可作動之狀態。
行動電話ex114根據具有CPU、ROM、RAM之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354 將聲音輸入部ex356所接收之聲音訊號轉換成數位聲音訊號，並以調變/解調部ex352對其進行展頻處理，更以發送/接收部ex351進行數位類比轉換處理及頻率轉換處理後，透過天線ex350來發送。又，行動電話ex114在聲音通話模式時，將透過天線ex350所接收到之接收資料増幅並進行頻率轉換處理及類比數位轉換處理，再以調變/解調部ex352進行反展頻處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，將其自聲音輸出部ex357輸出。
而在資料通訊模式下發送電子郵件時，由本體部之操作按鍵部ex366等之操作所輸入之電子郵件之文字資料，透過操作輸入控制部ex362輸出至主控制部ex360。主控制部ex360以調變/解調部ex352對文字資料進行展頻處理，再以發送/接收部ex351進行數位類比轉換處理及頻率轉換處理之後，透過天線ex350發送至基地台ex110。接收電子郵件時，對接收到之資料進行與此大約相反之處理，並輸出至顯示部ex358。
在資料通訊模式下發送影像、静畫、或影像及聲音時，影像訊號處理部ex355依上述各實施形態所示之動圖像編碼方法對供應自攝影部ex365之影像訊號進行壓縮編碼(也就是，發揮本發明之圖像編碼裝置之機能)，並將編碼完成之影像資料輸出至多重/分離部ex353。又，聲音訊號處理部ex354將攝影部ex365在拍攝影像、静畫等時，聲音輸入部ex356所接收之聲音訊號進行編碼，並將編碼完成之聲音資料輸出至多重/分離部ex353。
多重/分離部ex353將供應自影像訊號處理部ex355之經編碼之影像資料，與供應自聲音訊號處理部ex354之經編碼之聲音資料，依預定之方式進行多重化後，將得到之多重化資料以調變/解調部(調變/解調電路部)ex352進行展頻處理，再以發送/接收部ex351進行數位類比轉換處理及頻率轉換處理後，透過天線ex350來發送。
在資料通訊模式下若接收到連結網頁等之動圖像檔案資料，或接收到附件是影像或聲音之電子郵件時，為對透過天線ex350接收到之多重化資料進行解碼，多重/分離部ex353藉由將多重化資料分離而分出影像資料之位元串流與聲音資料之位元串流，再透過同步匯流排ex370將經編碼之影像資料供應至影像訊號處理部ex355，同時將經編碼之聲音資料供應至聲音訊號處理部ex354。影像訊號處理部ex355藉由依上述各實施形態中所示之動圖像編碼方法對對應之動圖像解碼方法進行解碼，解碼出影像訊號(也就是，發揮本發明之圖像解碼裝置之機能)，並透過LCD控制部ex359，從顯示部ex358顯示例如連結到網頁之動圖像檔案所包含之影像、静畫。又，聲音訊號處理部ex354對聲音訊號進行，以聲音輸出部ex357輸出聲音。
又，上述行動電話ex114等之終端，與電視ex300同様地，除了同時具有編碼器．解碼器雙方之送接收型終端外，也可以考慮只具有編碼器之發送終端、或只具有解碼器之接收終端等3種應用形式。更進一步，在數位放送用系統ex200中，是說明接收、發送將影像資料與音樂資料等經 過多重化之多重化資料，但聲音資料以外與影像有關連文字資料等，也可以是受多重化之資料，而也未必要是多重化資料，亦可以是影像資料本身。
如此，以上各實施形態所示之動圖像編碼方法或者動圖像解碼方法可以用於上述之各種機器．系統，藉此可得到上述各實施形態中說明之効果。
又，本發明並不受上述實施形態所限定，可在不超出本發明範圍之下，作各種改變或修正。
(實施形態4)
上述各實施形態中所示之動圖像編碼方法或裝置，與以MPEG-2、MPEG4-AVC、VC-1等相異規格為準之動圖像編碼方法或裝置等，可以適需要妥適地切換，來產生影像資料。
在此，在產生以各不相同之規格為準之複數之影像資料時，在進行解碼之際，必須選擇對應各規格之解碼方法。但是，就會有無法識別欲解碼之影像資料是以哪個規格為準，而無法選擇適當之解碼方法之問題。
為解決此問題，令影像資料與聲音資料經多重化之多重化資料之構成中，含有指出影像資料是以哪個規格為準之識別資訊。以下說明含有以上述各實施形態中所示之動圖像編碼方法或裝置產生之影像資料之多重化資料之具體構成。多重化資料是MPEG-2傳輸串流形式之數位串流。
第31圖係顯示多重化資料之構成之圖。第31圖所示之多重化資料，是對視訊串流、音訊串流、表示圖形串流 (PG)、互動圖形串流等之中，1個以上進行多重化而取得。其中，視訊串流表示電影之主影像及副影像；音訊串流(IG)表示電影之主聲道部分及與該主聲道混合之副聲道；表示圖形串流表示電影之字幕。在此之主影像是指畫面中顯示之通常影像，副影像是指主影像之中以小畫面顯示之影像。又，互動圖形串流是指藉由在畫面上配置GUI構件來製成之對話畫面。視訊串流是由上述各實施形態中所示之動圖像編碼方法或裝置、或由習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之動圖像編碼方法或裝置所編碼而成。音訊串流是由DolbyAC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或線性PCM等方式編碼而成。
包含在多重化資料中之各串流是由PID來識別。例如，用於電影之影像之視訊串流分配為0x1011，音訊串流分配為自0x1100至0x111F為止，表示圖形分配為0x1200至0x121F為止，互動圖形串流分配為0x1400至0x141F為止，用於電影之副影像之視訊串流分配為0x1B00至0x1B1F為止，用於與主聲道混合之副聲道之音訊串流分配為0x1A00至0x1A1F為止。
第32圖是概略地顯示多重化資料之多重化方法之圖。首先，將由複數之視訊框所構成之視訊串流ex235、由複數之音訊框所構成之音訊串流ex238，分別轉換成PES封包列ex236及ex239、與TS封包ex237及ex240。同樣地，將表示圖形串流ex241及互動圖形ex244之資料分別轉換成PES封包列ex242及ex245，並進而轉換成TS封包ex243及ex246。 多重化資料ex247是將該等之TS封包多重化成為1條串流來構成。
第33圖更詳細顯示視訊串流是如何儲存在PES封包列之中。第33圖中之第1段是顯示視訊串流之視訊框列。第2段是顯示PES封包列。如第33圖之箭頭yy1，yy2，yy3，yy4所示，視訊串流中之複數作為Video Presentation Unit之I畫面、B畫面、P畫面是隨著畫面分割，儲存於PES封包之有效負載中。各PES封包具有PES首標，而PES首標中儲存有PTS(Presentation Time-Stamp)即畫面之表示時刻、及DTS(Decoding Time-Stamp)即畫面之解碼時刻。
第34圖係顯示多重化資料最終的寫入之TS封包之形式。TS封包是由具識別串流之PID等資訊之4字元之TS首標、及儲存資料之184字元之TS有效負載，所構成之長度為188字元之固定長度封包，上述PES封包被分割而儲存於TS有效負載之中。若是BD-ROM，TS封包被付與4字元之TP_Extra_Header，構成192字元之來源封包構成，寫入多重化資料。TP_Extra_Header中記載有ATS(Arrival_Time_Stamp)等資訊。ATS表示該TS封包對於解碼器之PID濾波器之開始傳輸時刻。多重化資料如第34圖下段所示，是由來源封包排列構成，而多重化資料從前頭開始加算之編號被稱為SPN(來源封包編號/Source Packet Number)。
又，包含於多重化資料中之TS封包，除了影像．聲音．字幕等串流之外，也具有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多重化資料中利用之PMT之PID為何，而PAT本身之PID登録為0。PMT具有多重化資料所包含之影像．聲音．字幕等各串流之PID與各PID所對應之串流之屬性資訊，並具有關於多重化資料之各種記述子。記述子中有表示多重化資料容許複製或不容許複製之複製控制資訊等。PCR具有該PCR封包被傳輸至解碼器之ATS所對應之STC時間之資訊，以令ATS之時間軸ATC(Arrival Time Clock)與PTS．DTS之時間軸STC(System Time Clock)可同步。
第35圖是詳細說明PMT之資料構造之圖。PMT之前頭配置有記錄該PMT所包含之資料長度等之PMT首標。而在其後配置有複數與多重化資料有關之記述子。上述複製控制資訊等就記載為記述子。在記述子之後配置有複數與多重化資料所包含之各串流有關之串流資訊。串流資訊是由記載有用來識別串流之壓縮編碼等之串流方式、串流之PID、串流之屬性資訊(如框率、縱橫比等)之串流記述子所構成。串流記述子之數量與多重化資料中存在之串流數量相同。
在記錄於記錄媒體等時，上述多重化資料與多重化資料資訊檔案共同被記錄。
多重化資料資訊檔案是如第36圖所示之多重化資料之管理資訊，與多重化資料是1對1之相互對應，由多重化資料資訊、串流屬性資訊及登錄表(entry map)所構成。
多重化資料資訊如第36圖所示，由系統率(system rate)、播放開始時刻、播放終了時刻所構成。系統率表示多重化資料對於後述之系統目標解碼器之PID濾波器之最大傳輸率。多重化資料中所包含之ATS之間隔被設定為系統率以下。播放開始時刻是多重化資料前頭之視訊框之PTS，播放終了時刻是設定為自多重化資料尾端之視訊框之PTS加上1個框之播放間隔。
串流屬性資訊如第37圖所示，關於多重化資料所包含之各串流之屬性資訊，隨著每個PID登録在其中。屬性資訊隨著視訊串流、音訊串流、表示圖形串流、互動圖形串流而具有不同之資訊。視訊串流屬性資訊包含有：該視訊串流是由何種壓縮編碼壓縮者、構成視訊串流之個別畫面資料之解析度為何、縱橫比為何、框率為何等之資訊。音訊串流屬性資訊包含有：該音訊串流是由何種壓縮編碼構成者、該音訊串流所包含之頻道數量是多少、對應何種語言、取樣頻率為多少等資訊。該等資訊是播放器在播放之前進行解碼器之初始化時利用。
本實施形態是利用在上述多重化資料中，PMT所包含之串流方式。又，當記錄媒體記錄有多重化資料時，利用多重化資料資訊中所包含之視訊串流屬性資訊。具體來說，在上述各實施形態中所示之動圖像編碼方法或裝置中，加入對PMT所包含之串流方式或視訊串流屬性資訊，設定是否為上述各實施形態中所示之動圖像編碼方法或裝置所產生之影像資料之固有資訊之步驟或手段。藉此構 成，即可識別是由上述各實施形態中所示之動圖像編碼方法或裝置所產生之影像資料，或是以其他規格為準之影像資料。
又，第38圖係顯示本實施形態中之動圖像解碼方法之步驟。步驟exS100中，自多重化資料取得PMT所包含之串流方式、或多重化資料資訊所包含之視訊串流屬性資訊。接著，在步驟exS101中，判斷串流方式或視訊串流屬性資訊是否是由上述各實施形態中所示之動圖像編碼方法或裝置所產生之多重化資料。而當判斷串流方式或視訊串流屬性資訊是由上述各實施形態中所示之動圖像編碼方法或裝置所產生者時，在步驟exS102中，依上述各實施形態中所示之動圖像解碼方法進行解碼。又，當串流方式或視訊串流屬性資訊指出是以習知之MPEG-2、MPEG4-AVC、VC-1中中某個規格為準者時、在步驟exS103中，依以習知之規格為準之動圖像解碼方法進行解碼。
如此，藉由對串流方式或視訊串流屬性資訊設定新的固有值，可在進行解碼之際，判斷是否可以上述各實施形態中所示之動圖像解碼方法或裝置進行。因此，縱然是輸入有以不同規格為準之多重化資料之狀況，也可以選擇妥適之解碼方法或裝置，因此可進行解碼而不會產生錯誤。又，本實施形態中所示之動圖像編碼方法或裝置、或動圖像解碼方法或裝置，皆可適用於上述之各種機器．系統。
(實施形態5)
上述各實施形態中所示之動圖像編碼方法及裝置、動 圖像解碼方法及裝置，標準來說可利用LSI，即積體電路來達成。例如，第39圖係顯示單晶片化之LSIex500之構成。LSIex500具有下述之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509等，而各要素是透過匯流排ex510來連接。電源電路部ex505在電源為開狀態時對各部供應電力而啟動成為可動作之狀態。
例如，進行編碼處理時，LSIex500根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，影音訊號透過AV I/Oex509輸入麥克風ex117或攝影機ex113等。輸入之影音訊號暫時儲存在SRAM等之外部記憶體ex511。根據控制部ex501之控制，儲存之資料將配合處理量及處理速度，例如可適當地分成複數次送往訊號處理部ex507，在訊號處理部ex507進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理即上述各實施形態中所說明之編碼處理。訊號處理部ex507更進一步，視狀況需要而對編碼完成之聲音資料及編碼完成之影像資料進行多重化等處理，自串流I/O ex506輸出至外部。在此輸出之多重化資料可能送往基地台ex107，或是寫入記錄媒體ex215。又，在進行多重化時，可在緩衝區ex508中暫存資料，以使其可同步。
又，上述是說明記憶體ex511是屬於LSIex500外部之構成，但也可以是包含在LSIex500內部中之構成。且緩衝區ex508不限於1個，也可以具備複數之緩衝區。又，LSIex500 可以單晶片化，也可以將其複數晶片化。
又，上述是說明控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等構成，但控制部ex501之構成不以此為限。例如，訊號處理部ex507可以是更具有CPU之構成。藉由在訊號處理部ex507之內部設置CPU，可更提高處理速度。又，其他的例子如在構成聲音訊號處理部時，可令CPUex502就是訊號處理部ex507、或是訊號處理部ex507之一部分。此時，控制部ex501就是具有CPUex502作為訊號處理部ex507，或是訊號處理部ex507之一部分之構成。
在此，雖然是稱之為LSI，但隨著積體規模之差別，也可稱為IC、系統LSI(System LSI)、超級LSI(Super LSI)、極大LSI(Ultra LSI)等。
又，積體電路化之也不限於LSI，也可以専用電路或是汎用處理器來達成。也可以在LSI製造後，利用可程式化之FPGA(Field Programmable Gate Array)，或可對LSI內部之電路核(cell)之連接或設定作重建之可重組態處理器(reconfigurable processor)。
更進一步，若因半導體技術之進歩或衍生出其他技術，而出現有取代LSI之積體電路化技術，當然也可以利用該技術來進行機能區塊之積體化。也有適用於生化技術之可能性。
(實施形態6)
在對上述各實施形態中所示之動圖像編碼方法或裝置 所產生之影像資料進行解碼時，與根據習知之MPEG-2、MPEG4-AVC、VC-1等規格進行影像資料之解碼相比，有可能増加處理量。因此，LSIex500之中，有需要將CPUex502之驅動頻率設定為比以習知之規格為準之影像資料進行解碼時之驅動頻率更高之驅動頻率。但是，若提高驅動頻率，則有耗電量增高的問題。
為解決此問題，電視ex300、LSIex500等之動圖像解碼裝置，可構成為識別影像資料是以哪個規格為準者，並依此規格來切換驅動頻率。第40圖係顯示本實施形態之構成ex800。驅動頻率切換部ex803在影像資料是由上述各實施形態中所示之動圖像編碼方法或裝置所產生時，將驅動頻率設定為較高。而對於執行上述各實施形態中所示之動圖像解碼方法之解碼處理部ex801，下達對影像資料進行解碼之表示。另一方面，當影像資料是以習知之規格為準之影像資料時，將驅動頻率設定為與影像資料由上述各實施形態中所示之動圖像編碼方法或裝置所產生時相比之下較低之驅動頻率。接著，對以習知之規格為準之解碼處理部ex802，下達對影像資料進行解碼之表示。
更具體來說，驅動頻率切換部ex803是由第39圖之CPUex502與驅動頻率控制部ex512所構成。而執行上述各實施形態中所示之動圖像解碼方法之解碼處理部ex801、及以習知之規格為準之解碼處理部ex802，是相當於第39圖之訊號處理部ex507。CPUex502識別影像資料是以哪個規格為準者。而根據來自CPUex502之訊號，驅動頻率控制部 ex512設定驅動頻率。又，訊號處理部ex507根據來自CPUex502之訊號，進行影像資料之解碼。在此，影像資料之識別例如可考慮利用實施形態4中記載之識別資訊。關於識別資訊，並不限於實施形態4中記載者，只要是可識別影像資料是以何種規格為準之資訊即可。例如，在可根據識別影像資料是用於電視，或是用於磁碟或光碟者之外部訊號，來識別影像資料是以哪個規格為準者時，亦可根據此外部訊號來識別。又，CPUex502中驅動頻率之選擇，例如，可考慮根據如第42圖中影像資料之規格與驅動頻率相互對應之查詢對照表來進行。先在查詢對照表儲存在緩衝區ex508或LSI之內部記憶體，CPUex502即可藉由參考此查詢對照表，來選擇驅動頻率。
第41圖係顯示實施本實施形態之方法之步驟。首先，步驟exS200中，訊號處理部ex507自多重化資料取得識別資訊。接著，步驟exS201中，CPUex502根據識別資訊識別影像資料是否是由上述各實施形態中所示之編碼方法或裝置所產生者。若影像資料是由上述各實施形態中所示之編碼方法或裝置所產生者時，在步驟exS202中，CPUex502將驅動頻率設定為較高之訊號輸出給驅動頻率控制部ex512。而驅動頻率控制部ex512就設定較高之驅動頻率。另一方面，若顯示是以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之影像資料時，在步驟exS203中，CPUex502將驅動頻率設定為較低之訊號輸出給驅動頻率控制部ex512。而驅動頻率控制部ex512就設定與影像資料為上述 各實施形態中所示之編碼方法或裝置所產生時相比之下較低之驅動頻率。
更進一步，可藉由對應驅動頻率之切換，改變供應給LSIex500或含有LSIex500之裝置之電壓，而可更提高省電效果。例如，可考慮在將驅動頻率設定為較低時，隨之將供應給LSIex500或含有LSIex500之裝置之電壓，設定為比將驅動頻率設定為較高時低之電壓。
又，驅動頻率之設定方法，也可以是在解碼之處理量大時，將驅動頻率設定為較高，而在解碼之處理量小時，將驅動頻率設定為較低，而不現於上述之設定方法。例如，在對當以MPEG4-AVC規格為準之影像資料進行解碼時之處理量比對上述各實施形態中所示之動圖像編碼方法或裝置所產生之影像資料進行解碼之處理量更大時，驅動頻率之設定就可考慮為與上述相反。
更進一步，驅動頻率之設定方法並不限於將驅動頻率降低之構成。例如，也可考慮當識別資訊指出影像資料是由上述各實施形態中所示之動圖像編碼方法或裝置所產生時，將供應給LSIex500或包含LSIex500之裝置之電壓設定為較高，而在識別資訊指出影像資料是由以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之影像資料時，將供應給LSIex500或包含LSIex500之裝置之電壓設定為較低。又，其他例子例如有當識別資訊指出影像資料是由上述各實施形態中所示之動圖像編碼方法或裝置所產生時，不停止驅動CPUex502，而在在識別資訊指出影像資料是由 以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之影像資料時，因處理尚有餘裕而暫時停止驅動CPUex502。縱然在識別資訊指出影像資料是由上述各實施形態中所示之動圖像編碼方法或裝置所產生時，若處理尚有餘裕，也可以暫時停止驅動CPUex502。此時，可考慮將停止時間設定為比識別資訊指出影像資料是由以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之影像資料時之停止時間短。
如此，可藉由對應影像資料所根據之規格來切換驅動頻率，以追求省電化。另外，若是利用電池來驅動LSIex500或包含LSIex500之裝置時，除了省電化，也可延長電池之壽命。
(實施形態7)
有時，電視機或行動電話等上述之機器．系統系統會輸入有以相異規格為準之複數影像資料。如此，為了在以相異規格為準之複數之影像資料輸入時仍可進行解碼，LSIex500之訊號處理部ex507必須對應複數之規格。但是，若個別使用分別對應各規格之訊號處理部ex507，則LSIex500之電路規模將過大，而且會產生增加成本的問題。
為解決此問題，可採取用來執行上述各實施形態中所示之動圖像解碼方法之解碼處理部，與以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之解碼處理部，兩者之一部分共用化之構成。此構成例以第43圖(a)之ex900來表示。例如，上述各實施形態中所示之動圖像解碼方法，與以 MPEG4-AVC規格為準之動圖像解碼方法相比，其熵編碼、逆量子化、去方塊濾波器、動態補償等之處理中之處理內容有一部分是共通的。可考慮對於共通之處理內容，可共用對應MPEG4-AVC規格之解碼處理部ex902，而對不對應MPEG4-AVC規格，而是本發明所特有之其他處理內容，則利用専用之解碼處理部ex901之構成。特別是，本發明在熵解碼具有特徴，例如可考慮在熵解碼時利用専用之解碼處理部ex901，而對於其他之逆頻率轉換、逆量子化、去方塊濾波器、動態補償中之任一、或者全部之處理，則共同利用解碼處理部。關於解碼處理部之共用化，可以是對於共通之處理內容，與用來執行上述各實施形態中所示之動圖像解碼方法之解碼處理部共用，而對於MPEG4-AVC規格所特有之處理內容，則利用専用之解碼處理部之構成。
另外，第43圖(b)之ex1000顯示對處理之一部分共用化之其他例。在此例中，是利用對應本發明所特有之處理內容之専用之解碼處理部ex1001、對應其他習知規格所特有之處理內容之専用之解碼處理部ex1002、及對應本發明之動圖像解碼方法與其他之習知規格之動圖像解碼方法所共通之處理內容之共用之解碼處理部ex1003之構成。在此，専用之解碼處理部ex1001、ex1002未必要是專為本發明或其他習知規格所特有之處理內容而特別設計者，也可以是可執行其他汎用處理之處理部。又，本實施形態之構成也可以應用於LSIex500。
如此，對於本發明之動圖像解碼方法，及與習知規格 之動圖像解碼方法共通之處理內容，可藉由共用解碼處理部，可縮小LSI之電路規模，且可以縮小成本。
10‧‧‧算術編碼部
100‧‧‧算術編碼部
101‧‧‧量子化係數取得部
102‧‧‧終端位置二元化部
103‧‧‧係數二元化部
104‧‧‧上下文控制部
105‧‧‧二元算術編碼部
11‧‧‧二元化部
12‧‧‧上下文控制部
13‧‧‧二元算術編碼部
20‧‧‧算術解碼部
200‧‧‧圖像編碼裝置
205‧‧‧減算器
21‧‧‧二元算數解碼部
210‧‧‧量子化部
22‧‧‧上下文控制部
220‧‧‧熵編碼部
23‧‧‧係數復原部
230‧‧‧逆轉換部
235‧‧‧加算器
240‧‧‧去方塊濾波器
250‧‧‧記憶體
260‧‧‧畫面內預測部
270‧‧‧動態檢測部
280‧‧‧動態補償部
290‧‧‧畫面內/畫面間切換開關
300‧‧‧算術解碼部
301‧‧‧二元算數解碼部
302‧‧‧上下文控制部
303‧‧‧量子化係數復原部
400‧‧‧圖像解碼裝置
410‧‧‧熵解碼部
420‧‧‧逆轉換部
425‧‧‧加算器
430‧‧‧去方塊濾波器
440‧‧‧記憶體
450‧‧‧畫面內預測部
460‧‧‧動態補償部
470‧‧‧畫面內/畫面間切換開關
500‧‧‧算術編碼部
501‧‧‧量子化係數取得部
502‧‧‧係數二元化部
503‧‧‧上下文控制部
504‧‧‧二元算術編碼部
第1圖係顯示以往之算術編碼裝置之構成之塊狀圖。
第2圖係顯示以往之算術編碼方法之流程圖。
第3圖(a)、(b)係用以說明以往之算術編碼方法之略示圖。
第4圖係顯示本發明之實施形態1中之算術編碼部之一構成例之塊狀圖。
第5圖係顯示本發明之實施形態1中算術編碼部之處理動作之一例之流程圖。
第6圖係顯示本發明之實施形態1之符號產生機率對照表之一例之圖。
第7圖係顯示本發明之實施形態1之上下文對照表之一例之圖。
第8圖(a)~(e)是用來說明本發明之實施形態1之二元化方法之一例之略示圖。
第9圖A係顯示本發明之實施形態1之終端位置資訊之二元化結果之一例之圖。
第9圖B係顯示本發明之實施形態1之終端位置資訊之二元化結果之一例之圖。
第9圖C係顯示本發明之實施形態1之終端位置資訊之二元化結果之一例之圖。
第9圖D係顯示本發明之實施形態1之終端位置資訊之二元化結果之一例之圖。
第10圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之一例之流程圖。
第11圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之一例之流程圖。
第12圖係顯示本發明之實施形態1之終端位置資訊之算術編碼方法之另一例之流程圖。
第13圖係顯示本發明實施形態1中係數資訊之算術編碼方法之一例之流程圖。
第14圖係顯示本發明之實施形態1之圖像編碼裝置之構成之一例之塊狀圖。
第15圖係顯示本發明之一態様之算術編碼部之構成之一例之塊狀圖。
第16圖係顯示本發明之一態様之算術編碼部之處理動作之流程圖。
第17圖係顯示本發明之實施形態2之算術解碼部之構成之一例之塊狀圖。
第18圖係顯示本發明之實施形態2之算術解碼部之處理動作之一例之流程圖。
第19圖係顯示本發明之實施形態2之終端位置資訊之算術解碼方法之一例之流程圖。
第20圖係顯示本發明之實施形態2之終端位置資訊之算術解碼方法之另一例之流程圖。
第21圖係顯示本發明之實施形態2之係數資訊之算術解碼方法之一例之流程圖。
第22圖係顯示本發明之實施形態3之圖像解碼裝置之構成之一例之塊狀圖。
第23圖係顯示本發明之一態様之算術解碼部之構成之一例之塊狀圖。
第24圖係顯示本發明之一態様之算術解碼部之處理動作之流程圖。
第25圖係顯示實現內容發信服務之內容供給系統全體構成之圖。
第26圖是數位放送用系統之全體構成圖。
第27圖係顯示電視之構成例之塊狀圖。
第28圖係顯示自光碟讀出或寫入資料時之資訊播放/記錄部之構成之塊狀圖。
第29圖係顯示光碟，即記錄媒體之構造例之圖。
第30圖(a)係顯示行動電話之一例之圖。
第30圖(b)係顯示行動電話之構成例之塊狀圖。
第31圖係顯示多重化資料之構成之圖。
第32圖是概略地顯示各串流在多重化資料之是如何被多重化之圖。
第33圖是更詳細顯示視訊串流是如何儲存於PES封包列之之圖。
第34圖係顯示多重化資料中TS封包來源風封包之構造之圖。
第35圖係顯示PMT之資料構成之圖。
第36圖係顯示多重化資料資訊之內部構成之圖。
第37圖係顯示串流属性資訊之內部構成之圖。
第38圖係顯示對影像資料進行識別之步驟之圖。
第39圖係顯示實現各實施形態之動圖像編碼方法及動圖像解碼方法之積體電路之構成例之塊狀圖。
第40圖係顯示切換驅動頻率之構成之圖。
第41圖係顯示識別影像資料以切換驅動頻率之步驟之圖。
第42圖係顯示影像資料之規格與驅動頻率相互對應之查詢對照表之一例之圖。
第43圖(a)係顯示將訊號處理部之模組共用化之構成之一例之圖。
第43圖(b)係顯示將訊號處理部之模組共用化之構成之另一例之圖。
S11‧‧‧二元化
S12‧‧‧決定上下文
S13‧‧‧二元算術編碼
S14‧‧‧更新上下文

Claims (11)

  1. 一種圖像編碼方法，係對圖像資料進行壓縮編碼者，包含有：二元化步驟，係將前述圖像資料之頻率區域之處理單位中所包含之複數係數二元化，以產生二元訊號者；上下文決定步驟，係從對應於前述處理單位中所包含之非零係數中掃瞄順序在最後的非零係數之位置的上下文組之中，決定用以對前述複數係數之各係數進行算數編碼之上下文者；算術編碼步驟，係利用已決定之前述上下文所對應之機率資訊，對前述二元訊號進行算術編碼者；及更新步驟，係根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊者，其中前述最後之非零係數之位置，是以二維直角座標系來表示，且在前述上下文決定步驟是根據表示前述最後之非零係數之位置的2個座標值之和來決定前述上下文。
  2. 一種圖像編碼方法，係對圖像資料進行壓縮編碼者，包含有：二元化步驟，係將前述圖像資料之頻率區域之處理單位中所包含之複數係數二元化，以產生二元訊號者；上下文決定步驟，係從對應於前述處理單位中所包含之非零係數中掃瞄順序在最後的非零係數之位置的上下文組之中，決定用以對前述複數係數之各係數進行 算數編碼之上下文者；算術編碼步驟，係利用已決定之前述上下文所對應之機率資訊，對前述二元訊號進行算術編碼者；及更新步驟，係根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊者，其中前述最後之非零係數之位置，是以二維直角座標系來表示，且在前述上下文決定步驟是根據表示前述最後之非零係數之位置的2個座標值中較大者之座標值來決定前述上下文。
  3. 如申請專利範圍第1項或第2項之圖像編碼方法，其中在前述二元化步驟是以前述掃瞄順序之逆順序來對表示前述處理單位中包含的非零係數之大小之水準進行二元化，以產生前述二元訊號，前述上下文決定步驟是對每個包含於前述處理單位中之非零係數，根據前述掃瞄順序之逆順序下位於該非零係數以前之非零係數中，具有超過預定值之水準值之非零係數之數量、以及前述最後之非零係數之位置，來決定用以將該非零係數算術編碼之上下文。
  4. 一種圖像編碼裝置，係對圖像資料進行壓縮編碼者，包含有：二元化部，係將對前述圖像資料做頻率轉換所得到之頻率區域之處理單位所包含之複數係數進行二元化，以產生二元訊號； 上下文控制部，係從對應於前述處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置的上下文組之中，決定用以對前述複數係數之各係數進行算術編碼之上下文，並根據前述二元訊號，來更新已決定之前述上下文所對應之機率資訊；二元算術編碼部，利用已決定之前述上下文所對應之機率資訊，對前述二元訊號進行算術編碼，其中前述最後之非零係數之位置，是以二維直角座標系來表示，且前述上下文控制部會根據表示前述最後之非零係數之位置的2個座標值之和來決定前述上下文。
  5. 一種圖像解碼方法，係對已壓縮編碼之圖像資料進行解碼者，包含有：上下文決定步驟，係從對應於前述圖像資料之頻率區域之處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置的上下文組之中，決定用以對前述處理單位所包含之複數係數之各係數所對應之輸入訊號進行算術解碼之上下文；算術解碼步驟，係藉由利用已決定之前述上下文所對應之機率資訊，對前述輸入訊號進行算術解碼，以產生二元訊號；更新步驟，係根據前述二元訊號，來更新已決定之前述上下文所對應之機率資訊；及係數復原步驟，係利用前述二元訊號，復原包含在 前述處理單位中之複數係數，其中前述最後之非零係數之位置，是以二維直角座標系來表示，在前述上下文決定步驟是根據表示前述最後之非零係數之位置之2個座標值之和來決定前述上下文。
  6. 一種圖像解碼方法，係對已壓縮編碼之圖像資料進行解碼者，包含有：上下文決定步驟，係從對應於前述圖像資料之頻率區域之處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置的上下文組之中，決定用以對前述處理單位所包含之複數係數之各係數所對應之輸入訊號進行算術解碼之上下文；算術解碼步驟，係藉由利用已決定之前述上下文所對應之機率資訊，對前述輸入訊號進行算術解碼，以產生二元訊號；更新步驟，係根據前述二元訊號，來更新已決定之前述上下文所對應之機率資訊；及係數復原步驟，係利用前述二元訊號，復原包含在前述處理單位中之複數係數，其中前述最後之非零係數之位置，是以二維直角座標系來表示，在前述上下文決定步驟是只根據表示前述最後之非零係數之位置之2個座標值中較大者之座標值來決定前述上下文。
  7. 如申請專利範圍第5項或第6項之圖像解碼方法，在前述輸入訊號中，對應於顯示包含在前述處理單位中之非零係數之大小之水準之訊號，是以前述掃瞄順序之逆順序包含在其中，前述上下文決定步驟中，係對每個包含於前述處理單位中之非零係數，根據前述掃瞄順序之逆順序下位在該非零係數以前之非零係數中，具有超過預定值之水準值之非零係數之數量，以及前述最後之非零係數之位置，決定用以對該非零係數所對應之輸入訊號進行算術解碼之上下文。
  8. 一種圖像解碼裝置，係對已壓縮編碼之圖像資料進行解碼者，包含有：上下文控制部，係從對應於前述圖像資料之頻率區域之處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置的上下文組之中，決定用以對前述處理單位所包含之複數係數之各係數所對應之輸入訊號進行算術解碼之上下文，並根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊；二元算數解碼部，係藉由利用已決定之前述上下文所對應之機率資訊，對前述輸入訊號進行算術解碼，以產生二元訊號；及係數復原部，係利用前述二元訊號，復原前述處理單位所包含之複數係數，其中前述最後之非零係數之位置，是以二維直角座 標系來表示，且前述上下文控制部會根據表示前述最後之非零係數之位置的2個座標值之和來決定前述上下文。
  9. 一種圖像編碼解碼裝置，係具有如申請專利範圍第4項之圖像編碼裝置，及如申請專利範圍第8項之圖像解碼裝置。
  10. 一種圖像編碼裝置，係對圖像資料進行壓縮編碼者，包含有：二元化部，係將對前述圖像資料做頻率轉換所得到之頻率區域之處理單位所包含之複數係數進行二元化，以產生二元訊號；上下文控制部，係從對應於前述處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置的上下文組之中，決定用以對前述複數係數之各係數進行算術編碼之上下文，並根據前述二元訊號，來更新已決定之前述上下文所對應之機率資訊；二元算術編碼部，利用已決定之前述上下文所對應之機率資訊，對前述二元訊號進行算術編碼，其中前述最後之非零係數之位置，是以二維直角座標系來表示，且前述上下文控制部只會根據表示前述最後之非零係數之位置的2個座標值中較大者之座標值來決定前述上下文。
  11. 一種圖像解碼裝置，係對已壓縮編碼之圖像資料進行解 碼者，包含有：上下文控制部，係從對應於前述圖像資料之頻率區域之處理單位所包含之非零係數中掃瞄順序在最後的非零係數之位置的上下文組之中，決定用以對前述處理單位所包含之複數係數之各係數所對應之輸入訊號進行算術解碼之上下文，並根據前述二元訊號，更新已決定之前述上下文所對應之機率資訊；二元算數解碼部，係藉由利用已決定之前述上下文所對應之機率資訊，對前述輸入訊號進行算術解碼，以產生二元訊號；及係數復原部，係利用前述二元訊號，復原前述處理單位所包含之複數係數，其中前述最後之非零係數之位置，是以二維直角座標系來表示，且前述上下文控制部只會根據表示前述最後之非零係數之位置的2個座標值中較大者之座標值來決定前述上下文。
TW101104188A 2011-02-10 2012-02-09 An image coding method, an image coding apparatus, an image decoding method, an image decoding apparatus, and an image coding / decoding apparatus TWI572193B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161441374P 2011-02-10 2011-02-10
US201161441341P 2011-02-10 2011-02-10

Publications (2)

Publication Number Publication Date
TW201246939A TW201246939A (en) 2012-11-16
TWI572193B true TWI572193B (zh) 2017-02-21

Family

ID=46636919

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101104188A TWI572193B (zh) 2011-02-10 2012-02-09 An image coding method, an image coding apparatus, an image decoding method, an image decoding apparatus, and an image coding / decoding apparatus

Country Status (3)

Country Link
US (1) US20120207400A1 (zh)
TW (1) TWI572193B (zh)
WO (1) WO2012108205A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102667923B (zh) 2009-10-20 2014-11-05 弗兰霍菲尔运输应用研究公司 音频编码器、音频解码器、用于将音频信息编码的方法、用于将音频信息解码的方法
SG182466A1 (en) 2010-01-12 2012-08-30 Fraunhofer Ges Forschung Audio encoder, audio decoder, method for encoding and audio information, method for decoding an audio information and computer program using a modification of a number representation of a numeric previous context value
US9042440B2 (en) * 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US10499059B2 (en) 2011-03-08 2019-12-03 Velos Media, Llc Coding of transform coefficients for video coding
US9167253B2 (en) 2011-06-28 2015-10-20 Qualcomm Incorporated Derivation of the position in scan order of the last significant transform coefficient in video coding
US8891630B2 (en) 2011-10-24 2014-11-18 Blackberry Limited Significance map encoding and decoding using partition set based context assignment
KR102073868B1 (ko) 2011-11-07 2020-02-05 타지반 투 엘엘씨 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 화상 부호화 복호 장치
CN107257462B (zh) * 2012-03-26 2020-04-28 Jvc 建伍株式会社 图像解码装置、图像解码方法、接收装置
TWI613908B (zh) 2012-04-13 2018-02-01 Jvc Kenwood Corp 影像解碼裝置、影像解碼方法、影像解碼程式
US9124872B2 (en) 2012-04-16 2015-09-01 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
TWI606719B (zh) * 2012-05-31 2017-11-21 Jvc Kenwood Corp Video encoding device, video encoding method, and video encoding program
EP2941000B1 (en) * 2012-12-27 2020-11-04 NEC Corporation Video coding device, video coding method, and video coding program
US20150372805A1 (en) * 2014-06-23 2015-12-24 Qualcomm Incorporated Asynchronous pulse modulation for threshold-based signal coding
TWI589151B (zh) * 2014-10-03 2017-06-21 Sitronix Technology Corp Image data compression device and its compression method
US10448035B2 (en) * 2015-11-11 2019-10-15 Nec Corporation Information compression device, information compression method, non-volatile recording medium, and video coding device
KR20180089290A (ko) * 2017-01-31 2018-08-08 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
US20190208225A1 (en) * 2018-01-02 2019-07-04 Qualcomm Incorporated Sign prediction in video coding
CN112204972B (zh) * 2018-03-29 2023-09-05 弗劳恩霍夫应用研究促进协会 变换系数块编码
US20210385303A1 (en) * 2020-06-09 2021-12-09 Qualcomm Incorporated Attribute residual coding in g-pcc

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496143B2 (en) * 2002-05-02 2009-02-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and arrangement for coding transform coefficients in picture and/or video coders and decoders and a corresponding computer program and a corresponding computer-readable storage medium
TW200952493A (en) * 2008-02-21 2009-12-16 Qualcomm Inc Two pass quantization for CABAC coders

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3764457B2 (ja) * 2001-11-16 2006-04-05 株式会社エヌ・ティ・ティ・ドコモ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
US20120163448A1 (en) * 2010-12-22 2012-06-28 Qualcomm Incorporated Coding the position of a last significant coefficient of a video block in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496143B2 (en) * 2002-05-02 2009-02-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and arrangement for coding transform coefficients in picture and/or video coders and decoders and a corresponding computer program and a corresponding computer-readable storage medium
TW200952493A (en) * 2008-02-21 2009-12-16 Qualcomm Inc Two pass quantization for CABAC coders

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J. Sole, R. Joshi, I. S. Chong, M. Coban, M. Karczewicz, "Parallel Context Processing for the significance map in high coding efficiency", JCTVC-D262, 2011/01/21 *

Also Published As

Publication number Publication date
US20120207400A1 (en) 2012-08-16
WO2012108205A1 (ja) 2012-08-16
TW201246939A (en) 2012-11-16

Similar Documents

Publication Publication Date Title
TWI572193B (zh) An image coding method, an image coding apparatus, an image decoding method, an image decoding apparatus, and an image coding / decoding apparatus
JP6210396B2 (ja) 復号方法および復号装置
TWI554947B (zh) 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、及動態圖像解碼裝置
EP2779648A1 (en) Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
EP2739053B1 (en) Video decoding method, video decoding apparatus
WO2012096185A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および画像符号化復号装置
PH12016502481B1 (en) Image coding method, image coding apparatus, image decoding method and image decoding apparatus
AU2017225114B2 (en) Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
JP6489337B2 (ja) 算術復号方法および算術符号化方法
TW201347543A (zh) 圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置、及圖像編碼解碼裝置
TW201401886A (zh) 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置
KR101888218B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 화상 부호화 복호 장치
JP6002973B2 (ja) 画像符号化方法および画像復号方法
WO2012105267A1 (ja) 画像符号化方法
WO2011135829A1 (ja) 符号化方法及び復号方法