JP4211780B2 - Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method - Google Patents
Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method Download PDFInfo
- Publication number
- JP4211780B2 JP4211780B2 JP2005374008A JP2005374008A JP4211780B2 JP 4211780 B2 JP4211780 B2 JP 4211780B2 JP 2005374008 A JP2005374008 A JP 2005374008A JP 2005374008 A JP2005374008 A JP 2005374008A JP 4211780 B2 JP4211780 B2 JP 4211780B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- digital signal
- encoding
- arithmetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、映像圧縮符号化技術や圧縮映像データ伝送技術等に用いられるデジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法に関する。 The present invention relates to a digital signal encoding device, a digital signal decoding device, a digital signal arithmetic encoding method, and a digital signal arithmetic decoding method used for video compression encoding technology, compressed video data transmission technology, and the like.
従来、MPEGやITU-T H.26xなどの国際標準映像符号化方式では、エントロピー符号化としてハフマン符号化が採用されている。ハフマン符号化は、個々の情報源シンボルが個別の符号語として表現される必要がある場合、最適な符号化性能を与えるが、一方で映像信号のように局所的に信号の振る舞いが変動し情報源シンボルの生起確率が変動する場合に対しては最適性が保証されないという問題がある。このような場合に、個々の情報源シンボルの生起確率に動的に適応し、複数のシンボルをまとめて1つの符号語で表現する方法として算術符号化が提案されている。Mark Nelson, "Arithmetic Coding + Statistical Modeling = Data Compression Part 1 - Arithmetic Coding", Dr. Dobb's Journal, February 1991.を引用して算術符号化の考え方について簡単に説明する。ここでは、アルファベット文字を情報源シンボルとする情報源を考え、"BILL GATES"というメッセージを算術符号化することを考える。このとき、個々の文字の生起確率は図20のように定義される。また、同図の値域に示すように、[0,1]の区間で定義される確率数直線上の区域を一意に定める。次いで、符号化処理に入る。はじめに文字"B"の符号化を行うが、これは、確率数直線上の範囲[0.2,0.3]を特定することに該当する。したがって、文字"B"には値域[0.2,0.3]の上限(High)と下限(Low)の値の組が対応することになる。次いで、"I"の符号化に際しては、"B"の符号化で特定された値域[0.2,0.3]を改めて[0,1]区間とみなし、その中の[0.5,0.6]の区間を特定する。つまり、算術符号化の処理過程は、確率数直線の値域の絞込みを行うことに相当する。各文字に対してこの処理を繰り返すと、図21に示すように、"BILL GATES"の算術符号化結果は、文字"S"の符号化を終了した時点でのLow値「0.2572167752」として表現される。 Conventionally, Huffman coding is adopted as entropy coding in international standard video coding schemes such as MPEG and ITU-T H.26x. Huffman coding gives optimum coding performance when individual source symbols need to be expressed as individual codewords, but on the other hand, the signal behavior varies locally like video signals There is a problem that the optimality is not guaranteed when the occurrence probability of the source symbol varies. In such a case, arithmetic coding has been proposed as a method of dynamically adapting to the occurrence probability of each information source symbol and expressing a plurality of symbols together by one code word. A brief explanation of the concept of arithmetic coding is given by citing Mark Nelson, "Arithmetic Coding + Statistical Modeling = Data Compression Part 1-Arithmetic Coding", Dr. Dobb's Journal, February 1991. Here, consider an information source that uses alphabetic characters as an information source symbol, and consider arithmetically encoding the message “BILL GATES”. At this time, the occurrence probability of each character is defined as shown in FIG. Also, as shown in the range of values in the figure, the area on the probability number straight line defined by the interval [0, 1] is uniquely determined. Next, the encoding process is started. First, the character “B” is encoded, which corresponds to specifying the range [0.2, 0.3] on the probability number line. Therefore, the letter “B” corresponds to a set of upper limit (High) and lower limit (Low) values in the range [0.2, 0.3]. Next, when encoding "I", the range [0.2, 0.3] specified by the encoding of "B" is again considered as the [0, 1] section, and the section of [0.5, 0.6] is specified. To do. That is, the arithmetic encoding process corresponds to narrowing down the range of probability line. When this process is repeated for each character, as shown in FIG. 21, the arithmetic encoding result of “BILL GATES” is expressed as a low value “0.2572167752” when encoding of the character “S” is completed. The
復号処理もこの逆を考えればよく、はじめに符号化結果「0.2572167752」が確率数直線上のどの文字が割り当てられている値域に該当するかを調べ、"B"を得る。その後、"B"のLow値を差し引いた後に値域で除算を行い、「0.572167752」を得る。この結果、[0.5,0.6]の区間に対応する文字"I"を復号することが可能となる。以降、この処理を繰り返して"BILL GATES"と復号することができる。以上の処理より、算術符号化によれば、果てしなく長いメッセージの符号化であっても最終的に1つの符号語へマッピングされることになる。実際の実装上は、無限の小数点精度を扱うことができないこと、符号化・復号プロセスに乗除算が必要で演算負荷が高いなどの問題から、例えば、符号語表現として整数型レジスタを利用した浮動小数点演算を行うこととし、上記Low値の生起確率を2のべき乗で近似して乗除算をシフト演算に置き換えるなどの工夫がなされている。算術符号化によれば、理想的には上記のプロセスによって情報源シンボルの生起確率によく適合したエントロピー符号化が可能である。特に、生起確率が動的に変動する場合には、生起確率の変動の様子をトレースして図20のテーブルを適宜更新することで、ハフマン符号化に比べて高い符号化効率を得ることができる。 The reverse of the decoding process may be considered. First, the encoding result “0.2572167752” is checked to which value range on the probability number line is assigned, and “B” is obtained. After that, after subtracting the low value of “B”, division is performed in the range to obtain “0.572167752”. As a result, the character “I” corresponding to the interval [0.5, 0.6] can be decoded. Thereafter, this process can be repeated to decode “BILL GATES”. From the above processing, according to arithmetic coding, even endless message encoding is finally mapped to one codeword. Due to the fact that infinite decimal point precision cannot be handled in actual implementation, multiplication and division are necessary for the encoding / decoding process, and the calculation load is high, for example, floating using an integer register as a codeword representation Decimal points are calculated, and measures such as replacing the multiplication and division with shift operations by approximating the occurrence probability of the low value by a power of 2 have been made. According to the arithmetic coding, ideally, entropy coding that is well suited to the occurrence probability of the information source symbol is possible by the above-described process. In particular, when the occurrence probability changes dynamically, it is possible to obtain higher encoding efficiency than Huffman encoding by tracing the state of occurrence probability change and appropriately updating the table of FIG. .
ところで、エントロピー符号化される映像信号を伝送する際には、通常、伝送誤りに伴う映像の乱れを最小限に抑えるため、映像の各フレームを部分領域に分割し、再同期可能な単位、例えばMPEG-2スライス構造等で伝送することが多い。 By the way, when transmitting an entropy-encoded video signal, usually, in order to minimize the disturbance of the video due to transmission errors, each frame of the video is divided into partial areas and resynchronized units, for example, It is often transmitted with MPEG-2 slice structure.
しかし、ハフマン符号化では、個々の符号化対象シンボルは整数ビット長の符号語にマップされるため、該当する符号語をまとめて伝送単位として定義するだけでよいが、算術符号化では、明示的に符号化プロセスを中断するための特殊符号が必要となるばかりでなく、符号化を再開する際にそれ以前までのシンボルの生起確率の学習過程を一度リセットして符号を確定するためのビットを排出する必要が生じるため、中断の前後での符号化効率の低下を招く可能性がある。さらに、もし算術符号化処理が1映像フレーム中リセットされずに符号化され、伝送時にパケットデータなどの小単位に分割せざるを得ないような場合には、あるパケットの復号処理は直前パケットのデータなしに実施することができず、伝送誤りや遅延などに起因するパケットロスが発生した場合に著しく映像品質が劣化するという問題がある。 However, in Huffman coding, each encoding target symbol is mapped to an integer bit length codeword, so it is only necessary to collectively define the corresponding codeword as a transmission unit. In addition to requiring a special code for interrupting the encoding process, when resuming encoding, the learning process of the probability of occurrence of the previous symbol is reset once and the bit for determining the code is set. Since it needs to be discharged, there is a possibility that the encoding efficiency is lowered before and after the interruption. Furthermore, if the arithmetic encoding process is encoded without being reset in one video frame and it must be divided into small units such as packet data at the time of transmission, the decoding process for a certain packet There is a problem that the video quality is significantly deteriorated when packet loss due to transmission errors or delays cannot be performed without data.
そこで、本発明は、上記従来技術に述べたように、映像符号化のエントロピー符号化として算術符号化を用いる際に問題となる符号化効率と誤り耐性の最適トレードオフを決定する仕組みを備えるデジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法を提供することを目的とする。なお、本発明は、算術符号化を用いる装置や方法等全般に対して適用可能である。 Therefore, as described in the above prior art, the present invention is a digital having a mechanism for determining an optimal trade-off between coding efficiency and error resilience, which is a problem when arithmetic coding is used as entropy coding for video coding. It is an object of the present invention to provide a signal encoding device, a digital signal decoding device, a digital signal arithmetic encoding method, and a digital signal arithmetic decoding method. Note that the present invention is applicable to all devices and methods using arithmetic coding.
上記課題を解決するため、本発明では、デジタル信号を所定単位に分割して圧縮符号化を行うデジタル信号符号化装置において、所定単位のデジタル信号を算術符号化によって圧縮する算術符号化部を備え、当該算術符号化部は、ある伝送単位の符号化が終了した時点における算術符号化状態を表現する情報を、次の伝送単位のデータの一部として多重化するデジタル信号符号化装置であることを特徴とする。 In order to solve the above-described problems, the present invention provides an arithmetic coding unit that compresses a predetermined unit of a digital signal by arithmetic coding in a digital signal encoding apparatus that performs compression encoding by dividing a digital signal into predetermined units. The arithmetic encoding unit is a digital signal encoding apparatus that multiplexes information representing the arithmetic encoding state at the time when encoding of a certain transmission unit is completed as part of data of the next transmission unit. It is characterized by.
特に、上記算術符号化部は、所定単位のデジタル信号を、1つまたは複数の隣接する伝送単位に含まれる信号との間の依存関係に基づいて、符号化シンボルの生起確率を定めて算術符号化するデジタル信号符号化装置であることを特徴とする。 In particular, the arithmetic coding unit determines an occurrence probability of a coded symbol based on a dependency relationship between a digital signal of a predetermined unit and a signal included in one or a plurality of adjacent transmission units. It is a digital signal encoding device to be converted.
また、上記算術符号化部は、符号化されるシンボルの出現頻度をカウントすることで上記生起確率を学習するデジタル信号符号化装置であることを特徴とする。 The arithmetic coding unit is a digital signal coding device that learns the occurrence probability by counting the appearance frequency of the symbol to be coded.
また、上記算術符号化状態を表現する情報とは、算術符号化過程を示すレジスタ値のリセットの有無を示すレジスタリセットフラグと、レジスタ値をリセットしない場合のみ付加する初期レジスタ値とであるデジタル信号符号化装置であることを特徴とする。 The information representing the arithmetic coding state is a digital signal which is a register reset flag indicating whether or not a register value indicating the arithmetic coding process is reset and an initial register value added only when the register value is not reset. It is an encoding device.
また、デジタル信号を所定単位に分割して圧縮符号化を行うデジタル信号符号化装置において、所定単位のデジタル信号を算術符号化によって圧縮する算術符号化部を備え、当該算術符号化部は、所定単位のデジタル信号を、1つまたは複数の隣接する伝送単位に含まれる信号との間の依存関係に基づいて、符号化シンボルの生起確率を定めるとともに、符号化されるシンボルの出現頻度をカウントすることで上記生起確率を学習し、ある伝送単位の符号化が終了した時点における生起確率学習状態を表現する情報を、次の伝送単位データの一部として多重化するデジタル信号符号化装置であることを特徴とする。 Further, a digital signal encoding apparatus that performs compression encoding by dividing a digital signal into predetermined units includes an arithmetic encoding unit that compresses a predetermined unit of digital signal by arithmetic encoding, and the arithmetic encoding unit includes a predetermined unit Determines the probability of occurrence of a coded symbol and counts the frequency of occurrence of the symbol to be coded based on the dependency between the digital signal of the unit and a signal included in one or more adjacent transmission units The digital signal encoding device that learns the occurrence probability and multiplexes information representing the occurrence probability learning state at the time when encoding of a certain transmission unit is completed as a part of the next transmission unit data. It is characterized by.
特に、生起確率学習状態を表現する情報とは、符号化シンボルの生起確率の変動要因となる他の情報との依存関係をモデル化したコンテクストモデル状態を示す情報であるデジタル信号符号化装置であることを特徴とする。 In particular, the information representing the occurrence probability learning state is a digital signal encoding device that is information indicating a context model state obtained by modeling a dependency relationship with other information that causes variation in the occurrence probability of the encoded symbol. It is characterized by that.
また、上記デジタル信号は映像信号であって、上記伝送単位は映像フレーム内の1ないし複数個のマクロブロックから構成されるスライスであるデジタル信号符号化装置であることを特徴とする。 The digital signal may be a video signal, and the transmission unit may be a digital signal encoding device that is a slice composed of one or more macroblocks in a video frame.
また、上記デジタル信号は映像信号であって、上記伝送単位は上記スライス内に含まれる符号化データの種別に応じて再構成される符号化データ単位であるデジタル信号符号化装置であることを特徴とする。 The digital signal is a video signal, and the transmission unit is a digital signal encoding device that is an encoded data unit reconfigured according to the type of encoded data included in the slice. And
また、上記デジタル信号は映像信号であって、上記伝送単位は映像フレームであるデジタル信号符号化装置であることを特徴とする。 The digital signal is a video signal, and the transmission unit is a digital signal encoding device which is a video frame.
また、圧縮符号化されたデジタル信号を所定単位で受信して復号を行うデジタル信号復号装置において、所定単位の圧縮デジタル信号を算術符号化のプロセスに基づいて復号する算術復号部を備え、当該算術復号部は、ある伝送単位の復号開始時に、該伝送単位データの一部として多重化される算術符号化状態を表現する情報に基づいて、復号動作の初期化を行うデジタル信号復号装置であることを特徴とする。 In addition, in a digital signal decoding apparatus that receives and decodes a compression-coded digital signal in a predetermined unit, the digital signal decoding apparatus includes an arithmetic decoding unit that decodes the compressed digital signal in a predetermined unit based on an arithmetic coding process. The decoding unit is a digital signal decoding device that initializes a decoding operation based on information representing an arithmetic coding state multiplexed as a part of transmission unit data at the start of decoding of a certain transmission unit. It is characterized by.
特に、上記算術復号部は、所定単位の圧縮デジタル信号の復号に際して、1つまたは複数の隣接する伝送単位に含まれる信号との間の依存関係に基づいて、復号シンボルの生起確率を定めて復号を行うデジタル信号復号装置であることを特徴とする。 In particular, the arithmetic decoding unit determines a probability of occurrence of a decoded symbol based on a dependency relationship between signals included in one or a plurality of adjacent transmission units when decoding a compressed digital signal of a predetermined unit. It is a digital signal decoding device that performs.
特に、上記算術復号部は、復号されたシンボルの出現頻度をカウントすることで上記生起確率を学習するデジタル信号復号装置であることを特徴とする。 In particular, the arithmetic decoding unit is a digital signal decoding device that learns the occurrence probability by counting the appearance frequency of decoded symbols.
また、圧縮符号化されたデジタル信号を所定単位で受信して復号を行うデジタル信号復号装置において、所定単位の圧縮デジタル信号を算術符号化のプロセスに基づいて復号する算術復号部を備え、当該算術復号部は、ある伝送単位の復号開始時に、該伝送単位データの一部として多重化されるシンボル生起確率学習状態を表現する情報に基づいて、該伝送単位の復号に用いる生起確率の初期化を行うとともに、所定単位の圧縮デジタル信号の復号に際して、1つまたは複数の隣接する伝送単位に含まれる信号との間の依存関係に基づいて復号シンボルの生起確率を定めるとともに、復号されるシンボルの出現頻度をカウントすることで上記生起確率を学習し復号を行うデジタル信号復号装置であることを特徴とする。 In addition, in a digital signal decoding apparatus that receives and decodes a compression-coded digital signal in a predetermined unit, the digital signal decoding apparatus includes an arithmetic decoding unit that decodes the compressed digital signal in a predetermined unit based on an arithmetic coding process. The decoding unit initializes the occurrence probability used for decoding the transmission unit based on information representing the symbol occurrence probability learning state multiplexed as part of the transmission unit data at the start of decoding of the transmission unit. And, when decoding a compressed digital signal of a predetermined unit, determines the probability of occurrence of a decoded symbol based on the dependency between signals included in one or a plurality of adjacent transmission units, and the appearance of a symbol to be decoded It is a digital signal decoding device that learns the occurrence probability by counting the frequency and performs decoding.
特に、上記デジタル信号は映像信号であって、上記伝送単位は映像フレーム内の1ないし複数個のマクロブロックから構成されるスライスであるデジタル信号復号装置であることを特徴とする。 In particular, the digital signal is a video signal, and the transmission unit is a digital signal decoding device which is a slice composed of one or a plurality of macroblocks in a video frame.
また、上記デジタル信号は映像信号であって、上記伝送単位は上記スライス内に含まれる符号化データの種別に応じて再構成される符号化データ単位であるデジタル信号復号装置であることを特徴とする。 The digital signal may be a video signal, and the transmission unit may be a digital signal decoding device that is an encoded data unit reconfigured according to the type of encoded data included in the slice. To do.
また、上記デジタル信号は映像信号であって、上記伝送単位は映像フレームであるデジタル信号復号装置であることを特徴とする。 The digital signal is a video signal, and the transmission unit is a digital signal decoding device which is a video frame.
また、デジタル信号を所定単位に分割して圧縮符号化を行う際のデジタル信号算術符号化方法であって、
所定単位のデジタル信号を算術符号化によって圧縮した際、ある伝送単位の符号化が終了した時点における算術符号化状態を表現する情報を、次の伝送単位のデータの一部として多重化するデジタル信号復号装置であることを特徴とする。
Also, a digital signal arithmetic encoding method when performing compression encoding by dividing a digital signal into predetermined units,
A digital signal that multiplexes information representing the arithmetic coding state at the time when encoding of a certain transmission unit is completed as part of the data of the next transmission unit when the digital signal of a predetermined unit is compressed by arithmetic coding It is a decoding device.
また、デジタル信号を所定単位に分割して圧縮符号化を行う際のデジタル信号算術符号化方法であって、所定単位のデジタル信号を算術符号化によって圧縮した際、所定単位のデジタル信号を、1つまたは複数の隣接する伝送単位に含まれる信号との間の依存関係に基づいて、符号化シンボルの生起確率を定めるとともに、符号化されるシンボルの出現頻度をカウントすることで上記生起確率を学習し、ある伝送単位の符号化が終了した時点における生起確率学習状態を表現する情報を、次の伝送単位データの一部として多重化するデジタル信号算術符号化方法ことを特徴とする。 In addition, a digital signal arithmetic coding method for compressing and encoding a digital signal by dividing the digital signal into predetermined units. When the digital signal of a predetermined unit is compressed by arithmetic encoding, the digital signal of the predetermined unit is 1 Based on the dependency between signals contained in one or more adjacent transmission units, the occurrence probability of the encoded symbol is determined and the occurrence probability is learned by counting the appearance frequency of the encoded symbol. The digital signal arithmetic coding method multiplexes information expressing the occurrence probability learning state at the time when encoding of a certain transmission unit is completed as a part of the next transmission unit data.
また、圧縮符号化されたデジタル信号を所定単位で受信して復号を行う際のデジタル信号算術復号方法であって、所定単位の圧縮デジタル信号を算術符号化のプロセスに基づいて復号する際、ある伝送単位の復号開始時に、該伝送単位データの一部として多重化される算術符号化状態を表現する情報に基づいて、復号動作の初期化を行うデジタル信号算術復号方法であることを特徴とする。 Also, a digital signal arithmetic decoding method for receiving and decoding a compression-encoded digital signal in a predetermined unit, when decoding a predetermined unit of a compressed digital signal based on an arithmetic encoding process A digital signal arithmetic decoding method for initializing a decoding operation based on information representing an arithmetic coding state multiplexed as part of the transmission unit data at the start of decoding of the transmission unit. .
また、圧縮符号化されたデジタル信号を所定単位で受信して復号を行う際のデジタル信号算術復号方法であって、所定単位の圧縮デジタル信号を算術符号化のプロセスに基づいて復号する際、ある伝送単位の復号開始時に、該伝送単位データの一部として多重化されるシンボル生起確率学習状態を表現する情報に基づいて、該伝送単位の復号に用いる生起確率の初期化を行うとともに、所定単位の圧縮デジタル信号の復号に際して、1つまたは複数の隣接する伝送単位に含まれる信号との間の依存関係に基づいて復号シンボルの生起確率を定めるとともに、復号されるシンボルの出現頻度をカウントすることで上記生起確率を学習し復号を行うデジタル信号算術復号方法であることを特徴とする。 Also, a digital signal arithmetic decoding method for receiving and decoding a compression-encoded digital signal in a predetermined unit, when decoding a predetermined unit of a compressed digital signal based on an arithmetic encoding process At the start of decoding of a transmission unit, initialization of the occurrence probability used for decoding of the transmission unit is performed based on information representing a symbol occurrence probability learning state multiplexed as a part of the transmission unit data. Determining the probability of occurrence of a decoded symbol based on the dependency between signals included in one or more adjacent transmission units and counting the frequency of appearance of the decoded symbol In the digital signal arithmetic decoding method, the occurrence probability is learned and decoded.
本発明のディジタル信号符号化装置およびディジタル信号算術符号化方法によれば、所定伝送単位のデジタル信号を算術符号化によって圧縮する際、ある伝送単位の符号化が終了した時点における算術符号化状態を表現する情報を、次の伝送単位のデータの一部として多重化するようにしたり、あるいは1つまたは複数の隣接する伝送単位に含まれる信号との間の依存関係に基づいて、符号化シンボルの生起確率を定めるとともに、符号化されるシンボルの出現頻度をカウントすることで上記生起確率を学習し、ある伝送単位の符号化が終了した時点における生起確率学習状態を表現する情報を、次の伝送単位データの一部として多重化するようにしたので、それ以前の算術符号化状態またはシンボル生起確率学習状態をリセットすることなく引き継いで符号化を継続することができ、誤り耐性を確保しつつ、算術符号化の符号化効率を高めた符号化を実施することが可能となる。 According to the digital signal encoding apparatus and the digital signal arithmetic encoding method of the present invention, when a digital signal of a predetermined transmission unit is compressed by arithmetic encoding, the arithmetic encoding state at the time when encoding of a certain transmission unit ends is determined. The information to be expressed may be multiplexed as part of the data of the next transmission unit, or based on the dependency between signals included in one or more adjacent transmission units, The occurrence probability is determined and the occurrence probability is learned by counting the appearance frequency of the symbol to be encoded, and information representing the occurrence probability learning state at the time when encoding of a certain transmission unit is completed is transmitted to the next transmission. Since it is multiplexed as part of the unit data, it is not necessary to reset the previous arithmetic coding state or symbol occurrence probability learning state. Which takes over can continue encoding, while maintaining the error resilience, it is possible to implement the enhanced encoding the coding efficiency of arithmetic coding.
また、本発明のディジタル信号復号装置およびディジタル信号算術復号方法によれば、ある伝送単位の復号開始時に、該伝送単位データの一部として多重化される算術符号化状態を表現する情報に基づいて、復号動作の初期化を行ったり、あるいはある伝送単位の復号開始時に、該伝送単位データの一部として多重化されるシンボル生起確率学習状態を表現する情報に基づいて、該伝送単位の復号に用いる生起確率の初期化を行うとともに、所定伝送単位の圧縮デジタル信号の復号に際して、1つまたは複数の隣接する伝送単位に含まれる信号との間の依存関係に基づいて復号シンボルの生起確率を定めるとともに、復号されるシンボルの出現頻度をカウントすることで上記生起確率を学習し復号を行うので、符号化装置側で前の伝送単位の算術符号化状態またはシンボル生起確率学習状態をリセットすることなく引き継いで符号化をした場合でも、正しく復号することが可能となる。 Further, according to the digital signal decoding apparatus and the digital signal arithmetic decoding method of the present invention, when decoding of a certain transmission unit is started, based on information expressing an arithmetic coding state multiplexed as a part of the transmission unit data. , Decoding of the transmission unit based on information representing a symbol occurrence probability learning state multiplexed as a part of the transmission unit data at the start of decoding operation or decoding start of a certain transmission unit Initializing the occurrence probability to be used, and determining the occurrence probability of a decoded symbol based on the dependency between signals included in one or more adjacent transmission units when decoding a compressed digital signal of a predetermined transmission unit At the same time, the occurrence probability is learned and counted by counting the appearance frequency of the symbol to be decoded. Even when the taken over by coding without resetting the operative coding state or symbol occurrence probability learning status, it is possible to decode correctly.
実施の形態.1
本実施の形態1では、映像フレームを16×16画素の矩形領域(以下、マクロブロック)に均等分割した単位で符号化を行う映像符号化方式に算術符号化を適用する例として、D. Marpe他, "Video Compression Using Context-Based Adaptive Arithmetic Coding", International Conference on Image Processing 2001に開示される事例を用いて本発明の説明を行う。
Embodiment. 1
In the first embodiment, D. Marpe is applied as an example in which arithmetic coding is applied to a video coding method in which a video frame is coded in a unit equally divided into 16 × 16 pixel rectangular areas (hereinafter referred to as macroblocks). The present invention will be described using an example disclosed in “Video Compression Using Context-Based Adaptive Arithmetic Coding”, International Conference on Image Processing 2001.
図1に、本実施の形態1における映像符号化装置の構成を示す。
図1において、本実施の形態1の映像符号化装置は、動き検出部2、フレームメモリ3a、算術符号化部6、動き補償部7、空間予測部10a、符号化モード判定部12、直交変換部15、量子化部16、逆量子化部18、逆直交変換部19、符号化制御部22、送信バッファ24、減算器51、切替部52、加算器53を有している。
FIG. 1 shows the configuration of the video encoding apparatus according to the first embodiment.
In FIG. 1, the video coding apparatus according to the first embodiment includes a
図2に、本実施の形態1における映像復号装置の構成を示す。
図2において、本実施の形態1の映像復号装置は、フレームメモリ3b、動き補償部7、空間予測部10b、逆量子化部18、逆直交変換部19、算術復号部27、切替部54、加算器55を有している。
FIG. 2 shows the configuration of the video decoding apparatus according to the first embodiment.
2, the video decoding apparatus according to the first embodiment includes a frame memory 3b, a
これらの図において、算術符号化部6および算術復号部27の動作が本発明のポイントとなるが、まずこれらの図に基づいて符号化装置ならびに復号装置全体の動作について説明する。
In these drawings, the operations of the
1.符号化装置の動作概要
図1の符号化装置において、入力映像信号1は、個々の映像フレームがマクロブロックに分割された単位で入力されるものとし、まず、動き検出部2において、フレームメモリ3aに格納される参照画像4を用いてマクロブロック単位に動きベクトル5が検出される。動きベクトル5に基づいて動き補償部7において時間予測画像8が得られ、入力信号1との差分をとることによって時間予測残差信号9が得られる。一方、入力信号1は空間予測部10aにおいて、同一映像フレーム内の空間的な近傍領域からの予測が行われ、空間予測残差信号11が生成される。
1. 1. Overview of Operation of Encoding Device In the encoding device of FIG. 1, it is assumed that an
符号化モード判定部12では、時間予測残差信号9を符号化する動き予測モード、あるいは、その特殊例として、動きベクトルゼロ、時間予測残差信号成分なしのケースであるスキップモード、空間予測残差信号11を符号化するイントラモードの中から、当該マクロブロックをもっとも効率よく符号化することができるモードを選択する。
In the encoding
この符号化モード情報13は符号化対象情報として算術符号化部6に受け渡される。符号化モード情報13としてイントラモードが選択される場合は、上記空間予測部10aにおいて用いられたイントラ予測モード14が符号化対象情報として算術符号化部6に受け渡される。動き予測モードが選択される場合は、動きベクトル5が符号化対象情報として算術符号化部6に受け渡される。
The
符号化モード判定部12において選択された符号化対象信号は、直交変換部15、量子化部16を経て、直交変換係数データ17として算術符号化部6へ受け渡される。直交変換係数データ17は、逆量子化部18、逆直交変換部19を経たのち、切替部52にて符号化モード情報13に従って空間予測画像20、すなわち空間予測部10aの内部で空間予測残差信号11を生成するために用いられた空間予測画像の候補のうち、空間予測モード14を用いて生成された予測画像か、時間予測画像8かのいずれかを選択した信号と加算されて局所復号画像21へ戻される。局所復号画像21は以降のフレームの動き予測に用いられるため、参照画像データとしてフレームメモリ3aへ格納される。
The encoding target signal selected by the encoding
量子化部16では、符号化制御部22において決定される量子化ステップパラメータ23によって与えられる粒度で直交変換係数データの量子化を行う。この量子化ステップパラメータ23を調整することで出力の符号化レートと、品質のバランスとをとることになる。一般には、算術符号化の後、伝送直前の送信バッファ24に蓄積される符号化データの占有量を一定時間ごとに確認し、その残量25に応じて量子化ステップパラメータ23のパラメータ調整が行われる。例えば、バッファ残量が多い場合は、レートを抑え気味に、バッファ残量に余裕がある場合はレートを高めにして品質を向上させるようにする。
The quantization unit 16 quantizes the orthogonal transform coefficient data with a granularity given by the
算術符号化部6は、後述する手順に従って動きベクトル5、符号化モード情報13、空間予測モード14、直交変換係数データ17などの符号化対象データのエントロピー符号化を行い、送信バッファ24経由で、映像圧縮データ26として伝送・記録される。
The
2.復号装置の動作概要
図2に示した復号装置では、映像圧縮データ26を受け取ると、算術復号部27にて後述するエントロピー復号処理が行われて、動きベクトル5、符号化モード情報13、空間予測モード14、直交変換係数データ17、量子化ステップパラメータ23などが復元される。直交変換係数データ17、量子化ステップパラメータ23は、符号化側と同じ逆量子化部18と逆直交変換部19によって局所復号される。符号化モード情報13によって、時間方向の予測か、空間方向の予測かが選択され、時間方向の予測の場合は動き補償部7において復号された動きベクトル5を用いて時間予測画像8を復元する。空間方向の予測が選択される場合は、空間予測部10bを用いて空間予測画像11が復元される。ここで、符号化装置側の空間予測部10aと、復号装置側の空間予測部10bとの違いは、前者が、とりうるすべての空間予測モードの種別に対して最も効率のよく空間予測モード14を特定する処理を含むのに対し、後者は与えられた空間予測モード14から空間予測画像20を生成する処理のみに限定されることである。
2. Operation Overview of Decoding Device In the decoding device shown in FIG. 2, when video compressed
切替部54では、時間予測画像8か、空間予測画像11のいずれかが符号化モード情報13に基づいて予測画像として決定され、これを加算器55にて逆直交変換部19の出力である局所復号信号と加算することによって復号画像21を得る。復号画像21は以降のフレームの予測画像生成に用いられるため、フレームメモリ3bに格納される。フレームメモリ3aと3bの違いは符号化装置、復号装置のそれぞれに搭載されるものという区別を単に意味するだけである。
In the switching unit 54, either the
3.算術符号化・復号処理
以下、本発明のポイントである算術符号化および復号処理について詳細に説明する。符号化処理は、図1の算術符号化部6において行われ、復号処理は図2の算術復号部27において行われる。
3. Arithmetic Coding / Decoding Processing The arithmetic coding and decoding processing that is the point of the present invention will be described in detail below. The encoding process is performed in the
図3に、算術符号化部6の内部構成を示す。
図3において、本実施の形態1における算術符号化部6は、符号化対象データである動きベクトル5、符号化モード情報13、空間予測モード14、直交変換係数データ17などの個々のデータタイプに対して定義されるコンテクストモデル(後述)を定めるコンテクストモデル決定部28、各符号化対象データタイプについて定められる二値化規則に従って多値データを二値データに変換する二値化部29、二値化後の個々の二値化系列binの値(0 or 1)の生起確率を与える生起確率生成部30、生成された生起確率に基づいて算術符号化を実行する符号化部31、算術符号化を中断するタイミングを通知するとともにそのタイミングで伝送単位となるデータを構成する伝送単位生成部35、とを有している。
FIG. 3 shows the internal configuration of the
In FIG. 3, the
図4に、図3に示す算術符号化部6の動作フローを示す。
図4を参照して、図3に示す算術符号化部6の動作を詳細に説明する。
FIG. 4 shows an operation flow of the
With reference to FIG. 4, the operation of the
1) コンテクストモデル決定処理(ステップS1)
コンテクストモデルとは、情報源(符号化)シンボルの生起確率の変動要因となる他の情報との依存関係をモデル化したものであり、この依存関係に対応して生起確率の状態を切り替えることで、よりシンボルの実際の生起確率に適応した符号化を行うことが可能となる。
1) Context model determination process (step S1)
A context model is a model of the dependency relationship with other information that causes fluctuations in the occurrence probability of an information source (encoded) symbol. By switching the state of the occurrence probability according to this dependency relationship, Thus, it is possible to perform encoding adapted to the actual occurrence probability of the symbol.
図5にコンテクストモデル(ctx)の概念を示す。なお、同図では情報源シンボルは二値とした。同図の0〜2というctxの選択肢は、このctxを用いる情報源シンボルの生起確率の状態が、状況に応じて変化するであろうことを想定して定義されている。本実施の形態1における映像符号化で言えば、あるマクロブロックにおける符号化データと、その周辺のマクロブロックの符号化データとの間の依存関係に応じてctxの値が切り替えられる。 FIG. 5 shows the concept of the context model (ctx). In the figure, the information source symbol is binary. The ctx options of 0 to 2 in the figure are defined on the assumption that the state of the occurrence probability of the information source symbol using this ctx will change according to the situation. In the case of video coding in the first embodiment, the value of ctx is switched according to the dependency between coded data in a certain macroblock and coded data of the surrounding macroblocks.
図6に、例えば、D. Marpe他, "Video Compression Using Context-Based Adaptive Arithmetic Coding", International Conference on Image Processing 2001に開示されるマクロブロックの動きベクトルに関するコンテクストモデルの例を示す。同図において、ブロックCの動きベクトルが符号化対象で、正確には、ブロックCの動きベクトルを近傍から予測した予測差分値mvdk(C)が符号化される。ctx_mvd(C,k)がコンテクストモデルを示す。mvdk(A)はブロックAにおける動きベクトル予測差分値、mvdk(B)はブロックBにおける動きベクトル予測差分値をそれぞれ示し、コンテクストモデルの切り替え評価値ek(C)の定義に用いられる。評価値ek(C)は、近傍の動きベクトルのばらつき具合を示すことになり、一般的にはこのばらつきが小さい場合にはmvdk(C)は小さく、逆にek(C)が大きい場合はmvdk(C)も大きくなる傾向がある。したがって、mvdk(C)のシンボル生起確率は、ek(C)に基づいて適応化されることが望ましい。この生起確率のバリエーションセットがコンテクストモデルであり、このケースでは3種類の生起確率バリエーションがある、といえる。 FIG. 6 shows an example of a context model related to a motion vector of a macroblock disclosed in, for example, D. Marpe et al., “Video Compression Using Context-Based Adaptive Arithmetic Coding”, International Conference on Image Processing 2001. In the figure, the motion vector of block C is the encoding target, and more precisely, the prediction difference value mvd k (C) obtained by predicting the motion vector of block C from the vicinity is encoded. ctx_mvd (C, k) indicates a context model. mvd k (A) represents the motion vector prediction difference value in block A, and mvd k (B) represents the motion vector prediction difference value in block B, and is used to define the context model switching evaluation value e k (C). The evaluation value e k (C) indicates the degree of variation of neighboring motion vectors. Generally, when this variation is small, mvd k (C) is small, and conversely, e k (C) is large. In the case, mvd k (C) also tends to increase. Therefore, it is desirable that the symbol occurrence probability of mvd k (C) is adapted based on e k (C). This variation set of occurrence probability is a context model, and in this case, it can be said that there are three types of occurrence probability variations.
この他、符号化モード情報13、空間予測モード14、直交変換係数データ17などの符号化対象データそれぞれについてあらかじめコンテクストモデルが定義され、符号化装置の算術符号化部6と、復号装置の算術復号部27とで共有される。図3に示す算術符号化部6のコンテクストモデル決定部28では、このような符号化対象データの種別に基づいてあらかじめ定められたモデルを選択する処理を行う。なお、コンテクストモデルの中のどの生起確率バリエーションを選択するかは下記3)の生起確率生成処理に該当するので、そこで説明する。
In addition, a context model is defined in advance for each encoding target data such as the
2) 二値化処理(ステップS2)
コンテクストモデルは、符号化対象データを二値化部29にて二値系列化し、二値系列の各bin(バイナリ位置)に応じて定められる。二値化の規則は、各符号化データの取りうる値のおおまかな分布に従い、可変長の二値系列への変換を行う。二値化は、本来多値を取りうる符号化対象データをそのまま算術符号化するよりもbin単位で符号化することにより確率数直線分割数を削減でき演算を簡略化できる、コンテクストモデルのスリム化が可能になるなどのメリットがある。
2) Binarization (Step S2)
The context model is determined in accordance with each bin (binary position) of the binary sequence after the data to be encoded is binarized by the
3) 生起確率生成処理(ステップS3)
上記1), 2)のプロセスで、多値の符号化対象データの二値化と、各binに適用するコンテクストモデルの設定が完了し、符号化準備が整う。各コンテクストモデルには、0/1の各値に対する生起確率のバリエーションが含まれているので、図4に示すように、生起確率生成部30は、ステップS1で決定されたコンテクストモデルを参照して各binにおける0/1生起確率の生成処理を行う。
3) Occurrence probability generation process (step S3)
In the above processes 1) and 2), the binarization of the multi-value encoding target data and the setting of the context model applied to each bin are completed, and the preparation for encoding is completed. Since each context model includes variations in occurrence probability for each value of 0/1, the occurrence
図6に、生起確率選択のための評価値ek(C)の一例を示す。生起確率生成部30は、図6のek(C)に示したような生起確率選択のための評価値を定め、これに従って、参照するコンテクストモデルの選択肢の中からどの生起確率バリエーションを現在の符号化に用いるかを決定する。
FIG. 6 shows an example of the evaluation value e k (C) for selecting the occurrence probability. The occurrence
4) 符号化処理(ステップS3〜S7)
3)によって、算術符号化プロセスに必要な確率数直線上の0/1各値の生起確率が得られるため、従来例にあげたプロセスにしたがって符号化部31において算術符号化を行う(ステップS4)。また、実際の符号化値(0 or 1)32は、生起確率生成部30へフィードバックされ、使用したコンテクストモデルの生起確率バリエーション部分の更新のため、0/1発生頻度のカウントが行われる(ステップS5)。例えば、ある特定のコンテクストモデル内の生起確率バリエーションを用いて100個のbinの符号化処理が行われた時点で、当該生起確率バリエーションにおける0/1の生起確率がそれぞれ0.25, 0.75であったとする。ここで、同じ生起確率バリエーションを用いて1が符号化されると、1の出現頻度が更新され、0/1の生起確率は0.247、0.752に変化する。このメカニズムにより、実際の生起確率に適応した効率的な符号化を行うことが可能となる。
4) Encoding process (steps S3 to S7)
Since the occurrence probability of each value of 0/1 on the probability number line necessary for the arithmetic encoding process is obtained by 3), the
また、符号化部31にて新たに生成される符号化値(0 or 1)32の算術符号33は、伝送単位生成部35へ送られ、下記6)に述べるように、伝送単位を構成するデータとして多重される(ステップS6)。また、1つの符号化対象データの二値系列bin全体に対して符号化処理を終了したか否かを判断し(ステップS7)、終了していなければ(ステップS7“N”)、ステップS3に戻り各binにおける生起確率の生成処理以降の処理を行う一方、終了していれば(ステップS7“Y”)、さらに次に説明する伝送単位生成処理へ移行する。
Also, the arithmetic code 33 of the encoded value (0 or 1) 32 newly generated by the
5) 伝送単位生成処理(ステップS8〜S9)
算術符号化は、複数の符号化対象データの系列を1つの符号語へ変換するが、映像信号はフレーム間での動き予測を行ったり、フレーム単位での表示を行ったりするため、フレームを単位として復号画像を生成してフレームメモリ内部の更新を行う必要がある。したがって、算術符号化された圧縮データ上でフレームという単位の切れ目を明確に判断できる必要がある。さらに、音声・オーディオなどの他のメディアとの多重や、パケット伝送などの目的から、フレーム内のさらに細かい単位で圧縮データを区切って伝送する必要もある。この例としては、一般にスライス構造、すなわち複数のマクロブロックをラスタスキャン順にグルーピングした単位が挙げられる。
5) Transmission unit generation processing (steps S8 to S9)
Arithmetic coding converts a sequence of a plurality of data to be encoded into one codeword, but video signals perform motion prediction between frames or display in units of frames, so that units of frames are used. It is necessary to generate a decoded image and update the frame memory. Therefore, it is necessary to be able to clearly determine the unit breaks of frames on the arithmetically encoded compressed data. Furthermore, for the purpose of multiplexing with other media such as voice / audio, packet transmission, etc., it is also necessary to divide and transmit the compressed data in smaller units within the frame. An example of this is generally a slice structure, that is, a unit in which a plurality of macroblocks are grouped in raster scan order.
図7にスライス構造の例を示す。点線で囲まれる矩形がマクロブロックに該当する。一般にスライス構造は、復号時の再同期の単位として扱われる。端的な例として、スライスデータをそのままIP伝送用のパケットペイロードにマップすることがある。映像など伝送遅延があまり許容されないリアルタイムメディアのIP伝送には、RTP(Realtime Transport Protocol)が用いられることが多い。RTPパケットはヘッダ部分にタイムスタンプが付与され、ペイロード部分に映像のスライスデータがマッピングされて伝送されることが多い。例えば、Kikuchi他、"RTP Payload Format for MPEG-4 Audio/Visual Streams", RFC 3016では、MPEG-4映像圧縮データをMPEG-4のスライス(ビデオパケット)の単位でRTPペイロードにマップする方法が規定されている。RTPはUDPパケットとして伝送されるため、一般に再送制御がなく、パケットロスが発生した場合にはスライスデータがまるまる復号装置へ届かないことがある。もしも、そのあとのスライスデータがこの廃棄されたスライスの情報に依存した符号化を行っているならば、それが仮に正常に復号装置に届いたとしても正常復号することができなくなる。このため、任意のスライスはその先頭から何の依存関係にもとらわれずに正常に復号を行えるようにする必要がある。例えば、一般に、Slice5の符号化を行うにあたって、その上部に位置するSlice3や左に位置するSlice4のマクロブロック群の情報を利用した符号化を行うようにはしない。 FIG. 7 shows an example of a slice structure. A rectangle surrounded by a dotted line corresponds to a macroblock. In general, the slice structure is handled as a unit of resynchronization at the time of decoding. As a simple example, there is a case where slice data is directly mapped to a packet payload for IP transmission. RTP (Realtime Transport Protocol) is often used for IP transmission of real-time media that does not allow much transmission delay such as video. RTP packets are often transmitted with a time stamp added to the header portion and video slice data mapped to the payload portion. For example, Kikuchi et al., "RTP Payload Format for MPEG-4 Audio / Visual Streams", RFC 3016, specifies a method for mapping MPEG-4 video compressed data to RTP payload in units of MPEG-4 slices (video packets). Has been. Since RTP is transmitted as a UDP packet, there is generally no retransmission control, and when packet loss occurs, slice data may not reach the entire decoding device. If the subsequent slice data is encoded depending on the information of the discarded slice, it cannot be normally decoded even if it normally reaches the decoding device. For this reason, an arbitrary slice needs to be able to be normally decoded without being bound by any dependency from the beginning. For example, in general, when encoding Slice5, encoding is not performed using the information of the macroblock group of Slice3 positioned at the top or Slice4 positioned on the left.
一方で、算術符号化の効率を向上させるには、周辺の状況に基づいてシンボルの生起確率を適応させたり、確率数直線の分割過程を保持しつづけることが望ましい。例えば、Slice5をSlice4とまったく独立に符号化するには、Slice4の最終マクロブロックの算術符号化が終了した時点での確率数直線分割状況、すなわち、算術符号化における符号語を表現するレジスタ値を保持することができず、Slice5ではレジスタを初期状態にリセットしたのち符号化を再開することになる。これにより、Slice4の末尾とSlice5の先頭との間に存在する相関が利用できず、符号化効率の低下を招くことがある。つまり、符号化効率の低下を犠牲にして、伝送誤りなどに起因するスライスデータの予期せぬロスに対する耐性を向上させるように設計するのが一般的である。
On the other hand, in order to improve the efficiency of arithmetic coding, it is desirable to adapt the probability of symbol occurrence based on the surrounding situation or keep the process of dividing the probability number line. For example, to encode Slice5 completely independently of Slice4, the probability number straight line division situation at the time when arithmetic coding of the final macroblock of Slice4 is completed, i.e., a register value representing a codeword in arithmetic coding is set. In
本発明に係る実施の形態1の伝送単位生成部35では、この設計の適応性を向上させる方法ならびに装置を提供する。すなわち、伝送誤りなどによるスライスデータのロスの確率が極めて低いケースでは、算術符号化に関わるスライス間の依存関係を常時断ち切ることをせず、積極的に利用できるようにする。一方、スライスデータのロスの可能性が高い場合には、スライス間の依存関係を断ち切ることができるようにして、伝送単位での符号化効率を適応的に制御できるようにする。
The
つまり、本実施の形態1における伝送単位生成部35では、符号化装置内部の制御信号として、伝送単位を区切るタイミングを伝送単位指示信号36を受け取り、この伝送単位指示信号36が入力するタイミングに基づいて、符号化部31から入力される算術符号33の符号語を区切って伝送単位のデータを生成する。
That is, the transmission
具体的には、本実施の形態1における伝送単位生成部35は、符号化値32の算術符号33を逐次、伝送単位構成ビットとして多重していく(ステップS6)とともに、伝送単位内に含まれうるマクロブロックの分だけデータの符号化が終了したか否かを、上記伝送単位指示信号36によって判断し(ステップS8)、伝送単位内のすべての符号化が終了していないと判断した場合には(ステップS8"N")、ステップS1へ戻りコンテクストモデル決定以降の処理を行う。
Specifically, the
これに対し、伝送単位内のすべての符号化が終了したと判断した場合(ステップS8"Y")、伝送単位生成部35は、次の伝送単位データのヘッダ情報として以下の2つの情報を付加する(ステップS9)。
On the other hand, when it is determined that all the encodings within the transmission unit have been completed (step S8 “Y”), the transmission
1.次の伝送単位において、確率数直線分割状況、すなわち符号語表現のため算術符号化過程を示すレジスタ値をリセットするか否かを示す“レジスタリセットフラグ”。尚、最初に生成される伝送単位では、このレジスタリセットフラグは、常に「リセットを行う」ことを指示するように設定される。 1. “Register reset flag” indicating whether or not to reset the register value indicating the arithmetic coding process for the codeword representation in the next transmission unit. In the first transmission unit to be generated, this register reset flag is set so as to always instruct to “reset”.
2.上記1.のレジスタリセットフラグが「リセットを行わない」ことを示す場合にのみ、次の伝送単位の算術符号化および復号の開始時に用いるレジスタ値として用いるべき、その時点でのレジスタ値である“初期レジスタ値”。なお、この初期レジスタ値は、図3に示すように、符号化部31から伝送単位生成部35へ入力される初期レジスタ値34である。
2. Above 1. The initial register value, which is the current register value to be used as the register value to be used at the start of arithmetic encoding and decoding of the next transmission unit only when the register reset flag of “1” indicates “not reset” ”. This initial register value is an
図8に、スライス構造の映像圧縮データであるスライス映像圧縮データのビットストリームシンタックスを示す。
図8に示すように、スライス映像圧縮データ毎に、各スライス映像圧縮データのヘッダであるスライスヘッダデータには、スライス開始コードの他、上記1.のレジスタリセットフラグと、上記1.のレジスタリセットフラグが「リセットを行わない」ことを示す場合にのみ多重する初期レジスタ値とが設けられている。
FIG. 8 shows a bit stream syntax of slice video compression data which is video compression data having a slice structure.
As shown in FIG. 8, for each slice video compressed data, the slice header data, which is the header of each slice video compressed data, includes the above-described 1. Register reset flag and 1. above. And an initial register value that is multiplexed only when the register reset flag indicates "no reset".
以上2つの付加情報によれば、直前のスライスがロスした場合であっても、自身のスライスヘッダデータに含まれるレジスタリセットフラグと、初期レジスタ値とのレジスタ初期化のための値を用いることによって、スライス間であっても算術符号語の連続性を保った符号化を行うことができ、符号化効率を保つことが可能となる。 According to the above two additional information, even when the previous slice is lost, the register reset flag included in the slice header data of itself and the value for register initialization of the initial register value are used. Even between slices, it is possible to perform coding while maintaining the continuity of arithmetic codewords, and it is possible to maintain coding efficiency.
なお、図8ではスライスヘッダデータと、スライス映像圧縮データとが同一ストリーム上に多重されているが、図9に示すように、スライスヘッダデータは別のストリームの形でオフラインで伝送され、スライス映像圧縮データには、対応するスライスヘッダデータのID情報をつけるように構成してもよい。同図では、ストリームをIPプロトコルにしたがって伝送する例を示しており、ヘッダデータ部分を信頼性の高いTCP/IPで伝送し、映像圧縮データ部分を低遅延のRTP/UDP/IPで伝送する例を示している。図9の構成に従うヘッダ、伝送単位の分離伝送形式によれば、RTP/UDP/IPで伝送するデータは必ずしもスライスというデータ単位に分割されていなくてもよい。スライスでは、基本的にはそのスライスで単独に復号を再開できるように、近傍領域の映像信号との依存関係(コンテクストモデル)をすべてリセットする必要があるが、これは映像符号化効率の低下を招く。この図11に示すように、初期レジスタ状態をTCP/IPで伝送することができれば、映像信号自体はフレーム内のあらゆるコンテクストモデルを利用しながら符号化を行い、RTPパケット化を行う段階で算術符号化されたデータを分割して伝送すればよい。従って、この仕組みによれば、算術符号化処理過程は回線の状況によらず安定的に獲得することができるので、スライス構造に制約されない符号化を行ったビットストリームを、高い誤り耐性を保って伝送することが可能である。 In FIG. 8, the slice header data and the slice video compressed data are multiplexed on the same stream. However, as shown in FIG. 9, the slice header data is transmitted offline in the form of another stream, and the slice video is transmitted. You may comprise so that ID information of corresponding slice header data may be attached to compressed data. The figure shows an example of transmitting a stream according to the IP protocol. An example of transmitting the header data portion with reliable TCP / IP and transmitting the video compression data portion with low-latency RTP / UDP / IP Is shown. According to the separated transmission format of the header and transmission unit according to the configuration of FIG. 9, the data transmitted by RTP / UDP / IP does not necessarily have to be divided into data units called slices. In a slice, it is basically necessary to reset all the dependencies (context model) with the video signal in the neighboring area so that decoding can be resumed independently in that slice, but this reduces the video coding efficiency. Invite. As shown in FIG. 11, if the initial register state can be transmitted by TCP / IP, the video signal itself is encoded using all context models in the frame, and the arithmetic code is used at the stage of RTP packetization. Divided data may be divided and transmitted. Therefore, according to this mechanism, since the arithmetic coding process can be stably acquired regardless of the line condition, a bit stream that has been coded without being restricted by the slice structure can be maintained with high error tolerance. It is possible to transmit.
この他、図10に示すように、レジスタリセットフラグならびに初期レジスタ値のシンタックスを使用するかどうかを、より上位のレイヤで示すように構成してもよい。図10では、複数の映像フレームから構成される映像シーケンスの単位で付与されるヘッダ情報に、レジスタリセットフラグならびに初期レジスタ値のシンタックスを使用するかどうかを示すレジスタリセット制御フラグを多重した例を示している。例えば、回線の品質が悪く、映像シーケンスを通じてレジスタリセットを行うほうが安定した映像伝送が可能であると判断する場合、レジスタリセット制御フラグを「映像シーケンスを通じて、常にスライスの先頭ではレジスタはリセットする」ことを示す値にセットする。このとき、スライスの単位での多重化対象となるレジスタリセットフラグや初期レジスタ値についてはスライスレベルでの多重は必要なくなる。これによって、ある特定の伝送条件(回線の誤り率など)が継続するような場合は、映像シーケンスの単位でレジスタリセットの制御を行うようにすれば、スライスの単位で伝送するオーバヘッド情報を低減することができる。もちろん、レジスタリセット制御フラグは第Nフレーム、第N+1フレームなどで示される、映像シーケンス中の任意の映像フレームのヘッダ情報に付与してもよい。 In addition, as shown in FIG. 10, whether to use the syntax of the register reset flag and the initial register value may be configured to be shown in a higher layer. In FIG. 10, an example in which a register reset flag and a register reset control flag indicating whether or not to use the syntax of an initial register value are multiplexed in header information given in units of a video sequence composed of a plurality of video frames. Show. For example, if the line quality is poor and it is determined that register transmission through the video sequence is more stable, the register reset control flag should be set to “Always reset the register at the beginning of the slice through the video sequence”. Set to a value indicating. At this time, the register reset flag and the initial register value to be multiplexed in units of slices do not need to be multiplexed at the slice level. As a result, when certain specific transmission conditions (such as line error rate) continue, if register reset control is performed in units of video sequences, overhead information transmitted in units of slices is reduced. be able to. Of course, the register reset control flag may be added to header information of an arbitrary video frame in the video sequence indicated by the Nth frame, the (N + 1) th frame, or the like.
図11に、算術復号部27の内部構成を示す。この実施の形態1の復号装置の算術復号部27は、受信した伝送単位ごとに、そのヘッダに含まれる算術符号化過程に関する付加情報に基づいて、算術復号処理の初期化を行う伝送単位復号初期化部37、算術復号の過程に基づいて、動きベクトル5、符号化モード情報13、空間予測モード14、直交変換係数データ17などの復号対象データのタイプを特定して、それぞれに符号化装置と共通定義されるコンテクストモデルを定めるコンテクストモデル決定部28、復号対象データのタイプに基づいて定まる二値化規則を生成する二値化部29、二値化規則とコンテクストモデルに従って、個々のbin(0 or 1)の生起確率を与える生起確率生成部30、生成された生起確率に基づいて算術復号を実行し、その結果得られる二値系列と、上記二値化規則とから、動きベクトル5、符号化モード情報13、空間予測モード14、直交変換係数データ17などのデータを復号する復号部38、とを有している。
FIG. 11 shows the internal configuration of the
図12に、図11に示す算術復号部27の動作フローを示す。
図12を参照して、図11に示す算術復号部27の動作を詳細に説明する。
FIG. 12 shows an operation flow of the
The operation of the
6) 伝送単位復号初期化処理(S10)
図8に示したように、スライスなどの伝送単位ごとに多重される、算術符号化過程を示すレジスタ値のリセットの有無を示すレジスタリセットフラグと、ならびに初期レジスタ値34とに基づいて、復号部38における算術復号開始状態の初期化を行う(ステップS10)。レジスタ値をリセットする場合は、初期レジスタ値34は使用されない。
6) Transmission unit decoding initialization process (S10)
As shown in FIG. 8, based on a register reset flag indicating whether or not a register value indicating an arithmetic encoding process is reset and multiplexed on a transmission unit such as a slice, and an
7) コンテクストモデル決定処理、二値化処理、生起確率生成処理
これらのプロセスは、それぞれ、図11に示すコンテクストモデル決定部28、二値化部29、生起確率生成部30によって行われるが、符号化装置側のプロセス1)〜3)にて示すコンテクストモデル決定処理S1、二値化処理S2、生起確率生成処理S3と同様なので、それぞれ同じステップ番号を付して、これらの説明は省略するものとする。
7) Context model determination process, binarization process, occurrence probability generation process These processes are performed by the context
8) 算術復号処理(S11)
これから復号しようとするbinの生起確率が7)までのプロセスで確定するため、復号部38において、従来例に示した算術復号処理のプロセスにしたがって、binの値を復元すると共に(ステップS11)、符号化装置側の処理と同様に0/1発生頻度をカウントしてbinの生起確率を更新し(ステップS5)、二値化規則で定められる二値系列パターンと比較することにより復号したbinの値が確定したか否かを判断する(ステップS12)。二値化規則で定められる二値系列パターンと比較して復号したbinの値が確定しなければ(ステップS12"N")、再度、ステップS3の各binにおける0/1生起確率生成処理以降の処理を行う(ステップS3,S11,S5,S12)。その一方、二値化規則で定められる二値系列パターンとの合致の確認により復号した各binの値が確定した場合には(ステップS12"Y")、合致したパターンが指し示すデータ値を復号データ値として出力し、スライスなどの伝送単位全てについて復号完了していなければ(ステップS13"N")、伝送単位すべてについて復号するため、ステップS1のコンテクストモデル決定処理以降の処理を繰り返し行うようにする。
8) Arithmetic decoding process (S11)
Since the occurrence probability of bins to be decoded is determined in the process up to 7), the decoding unit 38 restores the bin value according to the arithmetic decoding process shown in the conventional example (step S11), Similar to the processing on the encoding device side, the occurrence frequency of bin is updated by counting the occurrence frequency of 0/1 (step S5), and the bin bin decoded by comparing with the binary sequence pattern defined by the binarization rule It is determined whether or not the value is confirmed (step S12). If the bin value decoded in comparison with the binary sequence pattern defined by the binarization rule is not confirmed (step S12 "N"), again after the 0/1 occurrence probability generation process in each bin in step S3 Processing is performed (steps S3, S11, S5, S12). On the other hand, when the value of each decoded bin is confirmed by confirming the match with the binary sequence pattern determined by the binarization rule (step S12 “Y”), the data value indicated by the matched pattern is the decoded data. Output as a value, and if decoding has not been completed for all transmission units such as slices (step S13 "N"), in order to decode all transmission units, the processing after the context model determination processing in step S1 is repeated. .
以上の本実施の形態1による算術符号化ならびに算術復号処理を備えた映像符号化・復号装置によれば、スライスなどの細かい伝送単位に区切って映像圧縮データを伝送する際も、スライスヘッダデータとして算術符号化過程を示すレジスタ値のリセットの有無を示すレジスタリセットフラグと、ならびに初期レジスタ値34とを付加するようにしたので、算術符号化の符号化プロセスの連続性を断ち切ることなく符号化を行うことが可能となり、伝送誤りへの耐性を高めながら符号化効率を保つことが可能となると共に、その復号が可能となる。
According to the video encoding / decoding device provided with the arithmetic coding and arithmetic decoding processes according to the first embodiment described above, even when video compressed data is transmitted divided into fine transmission units such as slices, as slice header data Since the register reset flag indicating whether or not the register value indicating the arithmetic encoding process is reset and the
なお、本実施の形態1では、伝送単位としてスライス構造を想定しているが、映像フレームを伝送単位としても本発明を適用可能である。 In the first embodiment, a slice structure is assumed as a transmission unit, but the present invention can also be applied to a video frame as a transmission unit.
実施の形態2.
本実施の形態2では、算術符号化部6および算術復号部27の別の形態について述べる。本実施の形態2では、算術符号化過程の符号語の状態を表すレジスタ値だけでなく、コンテクストモデル内の生起確率バリエーションに対する学習状態、すなわち生起確率生成部30におけるbinの生起確率更新処理によるコンテクストモデル内の生起確率バリエーションに対する学習状態も、スライスヘッダに多重することを特徴とする。
In the second embodiment, another form of the
つまり、例えば実施の形態1で説明した図6において、例えばブロックCの算術符号化の効率を向上させるためには、このブロックCの例えば上部に位置するブロックBの動きベクトルの情報を生起確率バリエーション決定のために使用する。したがって、もし、ブロックCとブロックBが異なるスライスに位置付けられるとすれば、ブロックBの情報を生起確率決定プロセスで使用することを禁ずる必要がある。このことは、コンテクストモデルによる生起確率適応化による符号化効率が低下することを意味する。そこで、本実施の形態2では、この設計の適応性を向上させる方法ならびに装置を提供するもので、伝送誤りなどによるスライスデータのロスの確率が極めて低いケースでは、算術符号化に関わるスライス間の依存関係を常時断ち切ることをせず、積極的に利用できるようにする一方、スライスデータのロスの可能性が高い場合には、スライス間の依存関係を断ち切ることができるようにして、伝送単位での符号化効率を適応的に制御できるようにするものである。 That is, for example, in FIG. 6 described in the first embodiment, in order to improve the efficiency of arithmetic coding of block C, for example, information on the motion vector of block B located at the upper part of block C is used as the occurrence probability variation. Use for decision. Therefore, if block C and block B are located in different slices, it is necessary to prohibit the use of block B information in the occurrence probability determination process. This means that the coding efficiency due to the occurrence probability adaptation by the context model is lowered. Therefore, the second embodiment provides a method and apparatus for improving the adaptability of this design. In the case where the probability of loss of slice data due to a transmission error or the like is extremely low, between the slices related to arithmetic coding. While making it possible to actively use without continually severing the dependency relationship, if there is a high possibility of losing slice data, the dependency relationship between slices can be severed in transmission units. The coding efficiency can be adaptively controlled.
図13に、本実施の形態2における算術符号化部6の内部構成を示す。本実施の形態2における算術符号化部6が、図3に示す実施の形態1の算術符号化部6と異なるのは、生起確率生成部30が、スライスヘッダへの多重化の対象とされるコンテクストモデルの状態39を伝送単位生成部35へ受け渡す点だけである。
FIG. 13 shows an internal configuration of
図14に、本実施の形態2における算術符号化部6の動作フローを示す。図4に示す実施の形態1の算術符号化部6の動作フローと比較すると明らかだが、それと異なる点は、ステップS3の各binにおける0/1生起確率生成処理におけるコンテクストモデル状態39、すなわち生起確率生成部30におけるbinの生起確率更新処理によるコンテクストモデル内の生起確率バリエーションに対する学習状態39も、ステップS4のバイナリ算術符号化処理におけるレジスタ値と同様に、ステップS9の伝送単位生成部35における次伝送単位のヘッダ構成処理においてスライスヘッダに多重する点だけである。
FIG. 14 shows an operation flow of the
図15により、コンテクストモデルの状態39の意味について説明する。
図15は、k番目の伝送単位内にn個のマクロブロックがある場合で、各マクロブロックに対して1度だけ使用されるコンテクストモデルctxが定義されており、各マクロブロック対してctxの生起確率が変動する様子を示している。コンテクストモデルの状態39が次の伝送単位へ引き継がれるという意味は、この図15に示すように、k番目の伝送単位の最終状態ctxk(n-1)がk+1番目の伝送単位におけるctxの初期状態、すなわちctxk+1(n-1)=0,1,2における値0,1の生起確率po,p1をctxk(n-1)=0,1,2における値0,1の生起確率po,pと等しくすることを意味する。このために、伝送単位生成部35において、ctxk(n-1)の状態を示すデータが、k+1番目の伝送単位におけるヘッダ情報の一部として伝送されるように構成する。
The meaning of the state 39 of the context model will be described with reference to FIG.
FIG. 15 shows a case where there are n macroblocks in the k-th transmission unit, and a context model ctx that is used only once for each macroblock is defined. The occurrence of ctx is generated for each macroblock. It shows how the probability varies. The meaning that the state 39 of the context model is succeeded to the next transmission unit means that the final state ctx k (n−1) of the kth transmission unit is ctx in the k + 1th transmission unit, as shown in FIG. The occurrence probability po, p1 of the
図16に、本実施の形態2のビットストリームシンタックスの一例を示す。同図に示すように、本実施の形態2では、スライス映像圧縮データ毎のスライスヘッダデータに、図8に示す実施の形態1と同様のスライス開始コード、レジスタリセットフラグ、初期レジスタ値に加えて、直前のスライスのコンテクストモデル状態を示す情報を付加するようにしている。ただし、本実施の形態2では、レジスタリセットフラグを、初期レジスタ値の多重化有無だけでなく、コンテクストモデル状態データの多重化有無の意味も含ませるようにしてい。尚、コンテクストモデル状態データの多重化有無を示す情報としては、ジスタリセットフラグではなく、別のフラグをもうけるように構成しても勿論よい。また、実施の形態1でも説明したが、同図では、スライスヘッダデータと、スライス映像圧縮データとが同一ストリーム上に多重されているが、スライスヘッダは別のストリームの形でオフラインで伝送され、圧縮データには、対応するスライスヘッダデータのID情報をつけるように構成してもよい。 FIG. 16 shows an example of the bit stream syntax according to the second embodiment. As shown in the figure, in the second embodiment, in addition to the slice start code, the register reset flag, and the initial register value similar to the first embodiment shown in FIG. The information indicating the context model state of the immediately preceding slice is added. However, in the second embodiment, the register reset flag includes not only the presence / absence of multiplexing of the initial register value but also the meaning of whether or not the context model state data is multiplexed. Of course, the information indicating whether or not the context model state data is multiplexed may be configured to have another flag instead of the register reset flag. In addition, as described in the first embodiment, in the same figure, slice header data and slice video compression data are multiplexed on the same stream, but the slice header is transmitted offline in the form of another stream, You may comprise so that ID information of corresponding slice header data may be attached to compressed data.
図17に、本実施の形態2における算術復号部27の内部構成を示す。この図17に示す本実施の形態2における算術復号部7が、図11に示す実施の形態1の算術復号部27と異なるのは、伝送単位復号初期化部37が、スライスヘッダに多重化される、直前スライスのコンテクストモデルの状態39を生起確率生成部30へ受け渡し、コンテクストモデルの状態を直前のスライスから引き継ぐ構成となっている点だけである。
FIG. 17 shows the internal configuration of the
図18に、本実施の形態2における算術復号部27の動作フローを示す。図12に示す実施の形態1の算術復号部27の動作フローと比較すると明らかだが、それと異なる点は、ステップS10の各伝送単位復号初期化処理においてスライスヘッダから復号したコンテクストモデル状態39が、ステップS3の処理、すなわちステップS1で決定されたコンテクストモデルを参照して各binにおける0/1生起確率の生成処理を行う処理へ出力されて、生起確率生成部30における0/1生起確率の生成処理に用いられる点である。
FIG. 18 shows an operation flow of the
なお、スライスヘッダで受け渡すコンテクストモデルの状態については、コンテクストモデルの数が極めて多い場合にはスライスヘッダのオーバヘッドになるため、符号化効率への寄与が著しいコンテクストモデルを選択して、その状態を多重化するように構成してもよい。例えば、動きベクトルや直交変換係数データは、全符号量中に占める割合が多いので、これらのコンテクストモデルについてだけ状態を引き継ぐように構成する、などが考えられる。また、状態を引き継ぐコンテクストモデルの種別を明示的にビットストリームに多重するように構成し、映像の局所的な状況に応じて重要なコンテクストモデルについてのみ選択的に状態引継ぎを行うようにしてもよい。 Note that the context model state passed in the slice header is the overhead of the slice header when the number of context models is extremely large, so select a context model that contributes significantly to the coding efficiency and change its state. You may comprise so that it may multiplex. For example, since motion vectors and orthogonal transform coefficient data occupy a large proportion of the total code amount, it may be configured to take over the state only for these context models. In addition, it is possible to explicitly multiplex the type of context model that inherits the state into the bitstream, and selectively carry out the state inheritance only for an important context model according to the local situation of the video. .
以上の構成による本実施の形態2による映像符号化装置・復号装置によれば、細かい伝送単位に区切って映像圧縮データを伝送する際、スライスヘッダデータとして算術符号化過程を示すレジスタ値のリセットの有無を示すレジスタリセットフラグと、初期レジスタ値34と、直前スライスのコンテクストモデル状態を示す情報を付加するようにしたので、算術符号化の符号化プロセスの連続性を断ち切ることなく符号化を行うことが可能となり、伝送誤りへの耐性を高めながら符号化効率を保つことが可能となる。なお、本実施の形態では、伝送単位としてスライス構造を想定しているが、映像フレームを伝送単位としても本発明を適用可能である。
According to the video encoding device / decoding device according to the second embodiment having the above-described configuration, when video compressed data is transmitted divided into fine transmission units, reset of a register value indicating an arithmetic encoding process as slice header data is performed. Since the register reset flag indicating presence / absence,
特に、本実施の形態2では、直前スライスのコンテクストモデル状態を示す情報を付加しているので、例えば図6においてブロックCと、このブロックC直前のブロックBとが異なるスライスに位置付けられたとしても、ブロックCの生起確率決定プロセスにてブロックBのコンテクストモデル状態を利用して、コンテクストモデルによる生起確率適応化による符号化効率を向上させることができる。つまり、伝送誤りなどにより、スライスデータのロスの確率が極めて低いケースでは、算術符号化に関わるスライス間の依存関係を常時断ち切ることをせず、直前スライスのコンテクストモデル状態までも積極的に利用できるようにする一方、スライスデータのロスの可能性が高い場合には、直前スライスのコンテクストモデル状態は利用せずに、スライス間の依存関係を断ち切ることができるようにして、伝送単位での符号化効率を適応的に制御できることになる。
In particular, in
なお、本実施の形態2の場合、図16に示すビットストリームシンタックスのように、スライスデータ毎に、実施の形態1のレジスタリセットフラグおよび初期レジスタ値の付加と並列に、直前スライスの各データのコンテクストモデル状態を示す情報をスライスヘッダデータとして付加するように説明したが、実施の形態1のレジスタリセットフラグおよび初期レジスタ値は付加せずに省略して、直前スライスの各データのコンテクストモデル状態を示す情報のみをスライスヘッダデータとして付加するようにしても良いし、また、実施の形態1のレジスタリセットフラグおよび初期レジスタ値の付加と並列に設けるか否かに関わらず、コンテクストモデル状態リセットフラグ(図19参照)を設けるようにして、このコンテクストモデル状態リセットフラグがオフ、すなわちリセットを行わない場合のみ直前スライスの各データのコンテクストモデル状態を示す情報を付加して復号時に利用させるようにしても勿論良い。 In the case of the second embodiment, as in the bit stream syntax shown in FIG. 16, for each slice data, each data of the immediately preceding slice is parallel to the addition of the register reset flag and the initial register value of the first embodiment. In the above description, information indicating the context model state of the first slice is added as slice header data. However, the register reset flag and the initial register value of the first embodiment are omitted without being added, and the context model state of each data of the immediately preceding slice is omitted. Only the information indicating the above may be added as slice header data, and the context model state reset flag regardless of whether it is provided in parallel with the addition of the register reset flag and the initial register value of the first embodiment. (See Fig. 19), this context model Status reset flag is off, i.e. course may be allowed to use in decoding by adding information indicating the context model status of each data immediately preceding slice only if not reset.
実施の形態3.
本実施の形態3では、伝送単位を、符号化されるデータのタイプ別にグルーピングするデータパーティショニング形式で構成する例について述べる。例えば、Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG において検討される映像符号化方式仕様ドラフトWorking Draft Number 2, Revision 3, JVT-B118r3に開示されるデータパーティショニングを例にとると、図7に示すようなスライス構造を単位として、その内部に存在するマクロブロック数分だけ、特定のタイプのデータをグルーピングして構成されるデータ単位をスライスデータの形で伝送する方式が示されている。グルーピングして構成されるデータ単位であるスライスデータのデータタイプとして、例えば、以下に示す0〜7のデータタイプがある。
In the third embodiment, an example will be described in which transmission units are configured in a data partitioning format for grouping by type of data to be encoded. Take, for example, the data partitioning disclosed in Draft
0 TYPE_HEADER ピクチャ(フレーム)またはスライスヘッダ
1 TYPE_MBHEADER マクロブロックヘッダ情報(符号化モード情報など)
2 TYPE_MVD 動きベクトル
3 TYPE_CBP CBP(マクロブロック内の有効直交変換係数分布)
4 TYPE_2x2DC 直交変換係数データ(1)
5 TYPE_COEFF_Y 直交変換係数データ(2)
6 TYPE_COEFF_C 直交変換係数データ(3)
7 TYPE_EOS ストリーム終了識別情報
0 TYPE_HEADER Picture (frame) or slice header
1 TYPE_MBHEADER Macroblock header information (encoding mode information, etc.)
2 TYPE_MVD motion vector
3 TYPE_CBP CBP (Effective orthogonal transform coefficient distribution in macroblock)
4 TYPE_2x2DC orthogonal transform coefficient data (1)
5 TYPE_COEFF_Y Orthogonal transformation coefficient data (2)
6 TYPE_COEFF_C Orthogonal transformation coefficient data (3)
7 TYPE_EOS Stream end identification information
例えば、データタイプ2のTYPE_MVDのスライスでは、その内部のマクロブロック数分、動きベクトル情報だけを集めたデータをスライスデータとして伝送する。したがって、第k番目のスライスのTYPE_MVDのデータに続いて、第k+1番目のスライスのTYPE_MVDデータを復号する場合には、第k番目のスライス末尾における動きベクトルに関するコンテクストモデルの状態だけを、第k+1番目のスライスのTYPE_MVDデータを送るためのスライスのヘッダに多重しておけば、動きベクトルの算術符号化のためのコンテクストモデル学習状態を引き継ぐことが可能である。
For example, in a TYPE_MVD slice of
図19に、本実施の形態3におけるデータタイプ別にグルーピングした場合のビットストリームシンタックスの一例を示す。図19では、例えば、データタイプ2のTYPE_MVDのスライスの場合である動きベクトルをスライスデータとして多重する場合には、そのスライスヘッダ中に、スライス開始コードや、TYPE_MVDを示すデータタイプID、コンテクストモデル状態リセットフラグおよび直前スライスの動きベクトル用コンテクストモデル状態を示す情報を付加する。
FIG. 19 shows an example of the bitstream syntax when grouped by data type in the third embodiment. In FIG. 19, for example, when a motion vector that is a slice of TYPE_MVD of
また、例えば、データタイプ5のTYPE_COEFF_Yの直交変換係数データ(2)の直交変換係数データ(2)のみをスライスデータとして多重する場合には、そのスライスヘッダ中に、スライス開始コードや、TYPE_COEFF_Yを示すデータタイプID、コンテクストモデル状態リセットフラグおよび直前スライスの直交変換係数データ用コンテクストモデル状態を示す情報を付加するようにする。なお、同図ではスライスヘッダデータと圧縮データとが同一ストリーム上に多重されているが、スライスヘッダは別のストリームの形でオフラインで伝送され、圧縮データには、対応するスライスヘッダデータのID情報をつけるように構成してもよい。
For example, when only orthogonal transform coefficient data (2) of orthogonal transform coefficient data (2) of TYPE_COEFF_Y of
また、本実施の形態3における算術符号化部6は、図13の構成において、伝送単位生成部35が上記データパーティショニングの規則にしたがってスライス内のマクロブロックデータの再構成を行い、各データタイプの種別を表すID情報と、各データタイプに対応するコンテクストモデルの学習状態を多重するように構成すればよい。また、本実施の形態における算術復号部27は、図17の構成において、伝送単位復号初期化部37が、スライスヘッダに多重されるデータタイプ種別IDをコンテクストモデル決定部28へ通知することで使用するコンテクストモデルを決定し、かつコンテクストモデル学習状態を生起確率生成部30へ通知することでコンテクストモデルの学習状態39をスライス間で引き継いで算術復号を行うように構成すればよい。
In addition, in the configuration of FIG. 13, the
以上の実施の形態3に述べた映像符号化装置および映像復号装置によれば、映像信号を所定のデータタイプでグループ化した伝送単位に分割して圧縮符号化を行う場合でも、当該伝送単位に属する映像信号を算術符号化する際に、それ以前の所定のデータタイプでグループ化した伝送単位におけるシンボル生起確率学習状態をリセットすることなく引き継いで符号化を継続するようにしたので、所定のデータタイプでグループ化した場合でも、誤り耐性を確保しつつ、算術符号化の符号化効率を高めた符号化を実施することが可能となる。 According to the video encoding device and the video decoding device described in the third embodiment, even when compression encoding is performed by dividing a video signal into transmission units grouped by a predetermined data type, When performing arithmetic coding of the video signal to which it belongs, the encoding has been continued without resetting the symbol occurrence probability learning state in the transmission unit grouped with the previous predetermined data type. Even when grouped by type, it is possible to perform coding with improved coding efficiency of arithmetic coding while ensuring error tolerance.
なお、本実施の形態3では、伝送単位としてスライス構造ごとのデータタイプ種別を想定しているが、映像フレーム単位でのデータタイプ種別ごとの伝送を想定しても本発明を適用可能である。 In the third embodiment, the data type classification for each slice structure is assumed as a transmission unit. However, the present invention can be applied even when transmission for each data type classification in a video frame unit is assumed.
また、図19に示す本実施の形態3のビットストリームシンタックスの一例の場合、データタイプ毎のスライスデータ毎に、コンテクストモデル状態リセットフラグ、およびそのフラグがオフの場合の直前スライスの各データのコンテクストモデル状態を示す情報をスライスヘッダデータとして付加するように説明したが、図16に示す実施の形態2のビットストリームシンタックスの一例の場合と同様に、各データタイプのスライスデータ毎に、レジスタリセットフラグおよび初期レジスタ値の付加と並列に、コンテクストモデル状態リセットフラグ、およびそのフラグがオフの場合の直前スライスの各データのコンテクストモデル状態を示す情報をスライスヘッダデータとして付加しても良いしまた、レジスタリセットフラグおよび初期レジスタ値の付加と並列に設けるか否かに関わらず、コンテクストモデル状態リセットフラグを省略して、常に直前スライスの各データのコンテクストモデル状態を示す情報を付加して復号時に利用させるようにしても勿論良い。 Further, in the example of the bit stream syntax of the third embodiment shown in FIG. 19, for each slice data for each data type, the context model state reset flag and each data of the immediately preceding slice when the flag is off The information indicating the context model state has been described as being added as slice header data. However, as in the example of the bit stream syntax of the second embodiment illustrated in FIG. 16, a register is provided for each slice data of each data type. In parallel with the addition of the reset flag and initial register value, the context model state reset flag and information indicating the context model state of each data of the immediately preceding slice when the flag is off may be added as slice header data. , Register reset flag and initial Regardless of whether or not it is provided in parallel with the addition of the register value, the context model state reset flag is omitted, and information indicating the context model state of each data of the immediately preceding slice is always added and used at the time of decoding. Of course it is good.
また、以上の実施の形態1〜3では、ディジタル信号として、映像データを一例に説明したが、本発明では、これに限らず、映像データのディジタル信号だけでなく、音声のディジタル信号や、静止画のディジタル信号、さらにはテキストのディジタル信号や、これらを任意に組み合わせたマルチメディアデータのディジタル信号にも適用可能である。 In the first to third embodiments described above, video data has been described as an example of a digital signal. However, the present invention is not limited to this, and is not limited to this. The present invention can also be applied to a digital signal of a picture, a digital signal of a text, and a digital signal of multimedia data obtained by arbitrarily combining these.
また、以上の実施の形態1,2では、ディジタル信号の伝送単位としてスライス、実施の形態3では、スライス内でデータのタイプ別にパーティショニングしたデータタイプ等の所定伝送単位を一例に説明したが、本発明では、これに限らず複数のスライスが集まって構成される1画像(ピクチャ)、すなわち1映像フレームを単位を所定伝送単位とするようにしても良いし、また通信以外の蓄積系などへの使用を想定して、所定の伝送単位ではなく、所定の蓄積単位でも勿論よい。 In the first and second embodiments, the transmission unit of the digital signal is described as a slice, and in the third embodiment, a predetermined transmission unit such as a data type partitioned by data type in the slice is described as an example. In the present invention, the present invention is not limited to this, and one image (picture) composed of a plurality of slices, that is, one video frame may be set as a predetermined transmission unit, or to a storage system other than communication. As a matter of course, a predetermined storage unit may be used instead of a predetermined transmission unit.
2 動き検出部、3a,3b フレームメモリ、6 算術符号化部、7 動き補償部、10a,10b 空間予測部、12 符号化モード判定部、15 直交変換部、16 量子化部、18 逆量子化部、19 逆直交変換部、22 符号化制御部、24 送信バッファ、51 減算器、52 切替部、53 加算器、切替部54、加算器55。
2 motion detection unit, 3a, 3b frame memory, 6 arithmetic coding unit, 7 motion compensation unit, 10a, 10b spatial prediction unit, 12 coding mode determination unit, 15 orthogonal transform unit, 16 quantization unit, 18
Claims (2)
前記所定単位の圧縮デジタル信号を、複数のコンテクストモデルの中から復号対象データのタイプごとに使用するコンテクストモデルを定めて算術符号化のプロセスに基づいて復号する算術復号部を備え、
当該算術復号部は、ある所定単位のデータの一部として多重化され、上記復号対象データのタイプに対応づけられたコンテクストモデルの生起確率の初期状態を表す情報に基づいて、コンテクストモデルの生起確率状態の初期化を行い、算術復号過程を示すレジスタ値の初期化情報を復号し、該レジスタ値の初期化情報に基づいてレジスタ値の初期化を行い、前記初期化された生起確率状態と前記初期化されたレジスタ値から前記所定単位データの復号を行うことを特徴とするデジタル信号復号装置。 In a digital signal decoding apparatus that receives and decodes a compression-coded digital signal in a predetermined unit,
An arithmetic decoding unit configured to decode the predetermined unit of the compressed digital signal based on an arithmetic encoding process by determining a context model to be used for each type of data to be decoded from among a plurality of context models;
The arithmetic decoding unit generates the context model occurrence probability based on the information representing the initial state of the context model occurrence probability that is multiplexed as a part of a predetermined unit of data and is associated with the type of data to be decoded. Initializing the state, decoding the initialization information of the register value indicating the arithmetic decoding process, initializing the register value based on the initialization information of the register value, the initialized occurrence probability state and the A digital signal decoding apparatus, wherein the predetermined unit data is decoded from an initialized register value.
前記所定単位の圧縮デジタル信号を、複数のコンテクストモデルの中から復号対象データのタイプごとに使用するコンテクストモデルを定めて算術符号化のプロセスに基づいて復号するとともに、
ある所定単位のデータの一部として多重化され、上記復号対象データのタイプに対応づけられたコンテクストモデルの生起確率の初期状態を表す情報に基づいて、コンテクストモデルの生起確率状態の初期化を行い、算術復号過程を示すレジスタ値の初期化情報を復号し、該レジスタ値の初期化情報に基づいてレジスタ値の初期化を行い、前記初期化された生起確率状態と前記初期化されたレジスタ値から前記所定単位データの復号を行うことを特徴とするデジタル信号算術復号方法。 A digital signal arithmetic decoding method for receiving and decoding a compression-coded digital signal in a predetermined unit,
The predetermined unit of the compressed digital signal is decoded based on an arithmetic coding process by defining a context model to be used for each type of data to be decoded from among a plurality of context models,
The context model occurrence probability state is initialized based on information representing the initial state of the context model occurrence probability that is multiplexed as part of a predetermined unit of data and is associated with the type of data to be decoded. The register value initialization information indicating the arithmetic decoding process is decoded, the register value is initialized based on the register value initialization information, the initialized occurrence probability state and the initialized register value The digital signal arithmetic decoding method, wherein the predetermined unit data is decoded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005374008A JP4211780B2 (en) | 2005-12-27 | 2005-12-27 | Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005374008A JP4211780B2 (en) | 2005-12-27 | 2005-12-27 | Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002124114A Division JP3807342B2 (en) | 2002-04-25 | 2002-04-25 | Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008182582A Division JP4211873B2 (en) | 2008-07-14 | 2008-07-14 | Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006180521A JP2006180521A (en) | 2006-07-06 |
JP4211780B2 true JP4211780B2 (en) | 2009-01-21 |
Family
ID=36734108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005374008A Expired - Lifetime JP4211780B2 (en) | 2005-12-27 | 2005-12-27 | Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4211780B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4865662B2 (en) * | 2007-09-26 | 2012-02-01 | キヤノン株式会社 | Entropy encoding apparatus, entropy encoding method, and computer program |
JP4875024B2 (en) | 2008-05-09 | 2012-02-15 | 株式会社東芝 | Image information transmission device |
CA2871268C (en) * | 2008-07-11 | 2015-11-03 | Nikolaus Rettelbach | Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program |
ES2796552T3 (en) | 2008-07-11 | 2020-11-27 | Fraunhofer Ges Forschung | Audio signal synthesizer and audio signal encoder |
TWI752680B (en) | 2012-04-13 | 2022-01-11 | 美商Ge影像壓縮有限公司 | Decoder and method for reconstructing a picture from a datastream, encoder and method for coding a picture into a datastream, and related computer program and machine accessible medium |
CN115442623B (en) | 2012-06-29 | 2024-08-23 | Ge视频压缩有限责任公司 | Method for decoding video data stream, storage medium, encoder, decoder |
JP5638581B2 (en) * | 2012-09-19 | 2014-12-10 | 株式会社Nttドコモ | Moving picture coding apparatus, method and program, and moving picture decoding apparatus, method and program |
-
2005
- 2005-12-27 JP JP2005374008A patent/JP4211780B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2006180521A (en) | 2006-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3807342B2 (en) | Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method | |
US9350996B2 (en) | Method and apparatus for last coefficient indexing for high efficiency video coding | |
CN1801944B (en) | Method and device for coding and decoding video | |
JP4211780B2 (en) | Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method | |
JP4133346B2 (en) | Intra coding of video data blocks by selection of prediction type | |
JP4211873B2 (en) | Digital signal encoding apparatus, digital signal decoding apparatus, digital signal arithmetic encoding method, and digital signal arithmetic decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081020 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4211780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |