JP4361836B2 - Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program - Google Patents

Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program Download PDF

Info

Publication number
JP4361836B2
JP4361836B2 JP2004168426A JP2004168426A JP4361836B2 JP 4361836 B2 JP4361836 B2 JP 4361836B2 JP 2004168426 A JP2004168426 A JP 2004168426A JP 2004168426 A JP2004168426 A JP 2004168426A JP 4361836 B2 JP4361836 B2 JP 4361836B2
Authority
JP
Japan
Prior art keywords
encoding
sum
block
stage
code amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004168426A
Other languages
Japanese (ja)
Other versions
JP2005348308A (en
Inventor
靖之 中島
豊 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004168426A priority Critical patent/JP4361836B2/en
Publication of JP2005348308A publication Critical patent/JP2005348308A/en
Application granted granted Critical
Publication of JP4361836B2 publication Critical patent/JP4361836B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は,動画像符号化技術に関し,特に,動画像を与えられた符号量でH.264またはMPEG−4,MPEG−2などの規格に基づき効率的に符号化するために,符号化を複数回の段階に分けて,いずれの段階においてもそれ以前の段階における符号化情報を用いて,より高い符号化効率を達成する動画像符号化技術に関するものである。   The present invention relates to a moving image coding technique, and in particular, H.264 with a given code amount. In order to efficiently encode based on standards such as H.264, MPEG-4, MPEG-2, etc., the encoding is divided into a plurality of stages, and the encoding information in the previous stage is used at any stage. The present invention relates to a moving picture coding technique that achieves higher coding efficiency.

例えば,下記の非特許文献1に記載されたMPEG−2映像符号化方式に基づき,効率的に符号化するために,符号化を複数回の段階に分けて行う方法の一つに,第1の段階においては,全ての画像領域で同一の量子化パラメータ値を用いて符号化し,発生符号量から各領域の複雑さを予測し,第2の段階以降においては,各領域において,複雑さに基づく量子化パラメータ値を決定し,符号化の効率を高めるという方法がある。   For example, based on the MPEG-2 video encoding method described in Non-Patent Document 1 below, one of the methods for performing encoding in a plurality of stages in order to perform efficient encoding is the first method. In this stage, encoding is performed using the same quantization parameter value in all image areas, and the complexity of each area is predicted from the amount of generated codes. There is a method of determining the quantization parameter value based on the coding efficiency and increasing the coding efficiency.

符号量歪みDと符号量Rを算出して符号化シンタックスを決定するH.264映像符号化方式においては,符号化を複数回の段階に分けて行って符号化効率を高める方法は提案されていない。なお,符号化シンタックスとは,符号化の文字(“1”または“0”)がどのように配列されているかという符号化の構文を意味する。
MPEG-2 International Standard ISO/IEC 13818-2 1995.
A code amount distortion D and a code amount R are calculated to determine an encoding syntax. In the H.264 video encoding method, a method for improving encoding efficiency by performing encoding in a plurality of stages has not been proposed. The encoding syntax means an encoding syntax indicating how the encoding characters (“1” or “0”) are arranged.
MPEG-2 International Standard ISO / IEC 13818-2 1995.

ラグランジュ未定乗数法の観点からは,ラグランジュ乗数λをなるべく定数に保ったまま符号量歪みDと符号量Rを算出してD+λRを最小にするような符号化シンタックスを選択していくのが最も効率の高い符号化方法である。   From the viewpoint of the Lagrange multiplier method, it is best to select a coding syntax that minimizes D + λR by calculating the code amount distortion D and the code amount R while keeping the Lagrange multiplier λ as constant as possible. This is an efficient encoding method.

ところが1回の段階の符号化だけでは,目標符号量に近い符号量を与える符号化ができたとしても,ラグランジュ乗数λが一定に近いことは保証されていない。また,目標符号量に近い符号量を与え,かつラグランジュ乗数λを一定に近い値に保つために,複数の段階で符号化を行う場合には,多くの符号化の段階が必要になることから,符号化に必要な計算量が膨大になるという問題がある。   However, it is not guaranteed that the Lagrangian multiplier λ is close to a constant even if the encoding that gives a code amount close to the target code amount can be achieved by only one stage of encoding. In addition, in order to give a code amount close to the target code amount and keep the Lagrangian multiplier λ at a constant value, many encoding steps are required when encoding is performed in a plurality of steps. There is a problem that the amount of calculation required for encoding becomes enormous.

本発明は,上記従来技術の問題点を解決し,複数回の段階で符号化を行う際の,符号化に必要な計算量の増加を抑える動画像符号化を実現することを目的とする。   An object of the present invention is to solve the above-described problems of the prior art and to realize moving picture encoding that suppresses an increase in the amount of calculation required for encoding when encoding is performed in a plurality of stages.

上記問題点を解決するために,本発明は,各符号化の段階において,複数のラグランジュ乗数λに対してD+λRを最小化する符号化シンタックスを選択することを特徴とする。これにより,符号量Rのλ依存性を算出し,目標符号量に近い符号量を与えるλの値をなるべく少ない段階で決定することができる。   In order to solve the above problems, the present invention is characterized in that, at each encoding stage, an encoding syntax that minimizes D + λR is selected for a plurality of Lagrange multipliers λ. Thereby, the λ dependency of the code amount R can be calculated, and the value of λ giving a code amount close to the target code amount can be determined in as few steps as possible.

また,本発明は,目標符号量より大きい符号量と小さい符号量を与える少なくとも2通り以上のλを選出し,段階が増すごとにλの最大値と最小値の差を小さくすることを特徴とする。これにより,Rのλ依存性をモデル化することなく,目標符号量に近い符号量を与えるλの値を決定することができる。   Further, the present invention is characterized in that at least two or more kinds of λ that give a code amount larger than a target code amount and a small code amount are selected, and the difference between the maximum value and the minimum value of λ is reduced as the number of steps increases. To do. As a result, the value of λ giving a code amount close to the target code amount can be determined without modeling the λ dependency of R.

複数のラグランジュ乗数λに対してD+λRを最小化する符号化シンタックスを選択する過程においては,各候補となる符号化シンタックスに対して,複数のλに対するD+λRを連続して計算することができ,かつ,その符号化シンタックスが,あるλについて,D+λRを最小化するかだけを確かめればよいので,計算量の増加はそれほど大きくない。   In the process of selecting an encoding syntax that minimizes D + λR for a plurality of Lagrangian multipliers λ, D + λR for a plurality of λs can be continuously calculated for each candidate encoding syntax. In addition, since it is only necessary to confirm whether or not the encoding syntax minimizes D + λR for a certain λ, the increase in the amount of calculation is not so large.

すなわち,第1の本発明は,符号量歪みDと符号量Rを算出して符号化シンタックスを決定する動画像符号化方法において,L,M,Nを2以上の整数,iを1からLまでの整数,jを1からMまでの整数,kを1から(N−1)までの整数として,第kの段階においては,第jのブロックに対してL個のラグランジュ乗数λ1,j,k ,λ2,j,k ,λ3,j,k ,…,λL,j,k を選出し,第jのブロックを符号化するための候補となる符号化シンタックスの中から,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスをi=1,2,3,…,Lのそれぞれに対して選出し,同様にして第(j+1)のブロックを処理することをjが1からMになるまで繰り返し,第kの段階における符号化情報を保持し,第(k+1)の段階では,第1の段階から第kの段階までの間に保持された符号化情報を用いてλi,j,k+1 を決定し,第Nの段階では,第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λ1,j,N R,D+λ2,j,N R,D+λ3,j,N R,…,D+λL,j,N Rのいずれかを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力することをjが1からMになるまで繰り返すことを特徴とする。 That is, according to the first aspect of the present invention, in the moving picture coding method for calculating the code amount distortion D and the code amount R and determining the coding syntax, L, M, and N are integers of 2 or more, and i is from 1. In the k-th stage, L Lagrange multipliers λ 1, for the jth block, where L is an integer, j is an integer from 1 to M, and k is an integer from 1 to (N−1) . j, k , λ 2, j, k , λ 3, j, k ,..., λ L, j, k are selected from among the encoding syntaxes that are candidates for encoding the j th block. , The coding syntax that minimizes D + λ i, j, k R in the j-th block is selected for each of i = 1, 2, 3,..., L, and the (j + 1) -th block is similarly selected. Is repeated until j becomes 1 to M, the encoded information at the k-th stage is held, and at the (k + 1) -th stage, the first With coded information which is held between the floor up to the stage of the k lambda i, j, determining the k + 1, at the stage of the N, are candidates for encoding a block of the j Coding that minimizes any one of D + λ1 , j, NR , D + λ2 , j, NR , D + λ3 , j, NR ,..., D + λL , j, NR from the encoding syntax. The output of the syntax as an encoded stream for the j-th block is repeated until j becomes 1 to M.

また,第2の本発明は,第1の本発明において,第1のブロックから第Mのブロックまでの全体の目標符号量をRtargetとし,第kの段階において,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスにおける符号量をRi,j,k ,jが1からMまでのRi,j,k の和をRi,sum,k としたとき,Ri,sum,k とRtargetとの差の絶対値がある値より小さくなり,かつj=1,2,3,…,Mとしたときのλi,j,k がある範囲内に収まっているときのi,kをそれぞれi0 ,Nとして,第Nの段階では,第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λi0,j,NRを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力することをjが1からMになるまで繰り返すことを特徴とする。 The second aspect of the present invention is the first aspect of the present invention, wherein the overall target code amount from the first block to the Mth block is Rtarget, and D + λ i in the jth block at the kth stage. , j, k When the code amount in the encoding syntax that minimizes R is R i, j, k , and the sum of R i, j, k where j is 1 to M is R i, sum, k , The absolute value of the difference between R i, sum, k and R target is smaller than a certain value, and λ i, j, k when j = 1, 2, 3,. I and k are i 0 and N, respectively, and in the Nth stage, D + λ i0, j, N R is selected from the encoding syntaxes that are candidates for encoding the jth block. It is characterized in that the encoding syntax to be minimized is output as an encoded stream for the j-th block until j becomes 1 to M. The

また,第3の本発明は,第1の本発明において,第kの段階において,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスにおける符号量をRi,j,k ,jが1からMまでのRi,j,k の和をRi,sum,k としたとき,λi,1,k =λi,2,k =λi,3,k =,…,=λi,M,k が全てのiとkについて成立するようにラグランジュ乗数を定め,全てのiについてのλi,1,k と,全てのiについてのRi,sum,k を,第kの段階において符号化情報として保持することを特徴とする。 The third of the present invention, in the first invention, the in k stages of the block in the D + lambda i, j of the j, k code amount in encoding syntax to minimize R R i, j , k , j is the sum of R i, j, k from 1 to M , where R i, sum, k is λ i, 1, k = λ i, 2, k = λ i, 3, k = ,..., Λ i, M, k is set so that Lagrange multipliers hold for all i and k, and λ i, 1, k for all i and R i, sum, k for all i. Is stored as encoded information in the k-th stage.

また,第4の本発明は,第1の本発明において,第kの段階において,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスにおける符号量をRi,j,k ,jが1からMまでのRi,j,k の和をRi,sum,k としたとき,λ1,j,k <λ2,j,k <λ3,j,k <……<λL,j,k が全てのkについて成立し,かつi=1,2,3,…,LとしたときのRi,sum,k の最大値はRtargetより大きく,かつi=1,2,3,…,LとしたときのRi,sum,k の最小値はRtargetより小さくなるようにラグランジュ乗数を定め,第kの段階までに保持されているRi,sum,k とRtargetの値から,λ1,j,k ≦λ1,j,k+1 かつλL,j,k+1 ≦λL,j,k かつλL,j,k+1 −λ1,j,k+1 <λL,j,k −λ1,j,k が成り立つようにλi,j,k+1 (i=1,2,3,…,Lかつj=1,2,3,…,M)を定めることを特徴とする。 The fourth of the present invention, in the first invention, the in k stages of the block in the D + lambda i, j of the j, k code amount in encoding syntax to minimize R R i, j , k , j is the sum of R i, j, k from 1 to M , where R i, sum, k is λ 1, j, k2, j, k3, j, k < ...... <λ L, j, k holds for all k, and when i = 1, 2, 3,..., L , the maximum value of R i, sum, k is greater than R target and i = 1, 2, 3, ..., L, the Lagrange multiplier is determined so that the minimum value of R i, sum, k is smaller than R target , and R i, sum held up to the k-th stage , k and R target from the values λ 1, j, k ≦ λ 1, j, k + 1 and λ L, j, k + 1 ≦ λ L, j, k and λ L, j, k + 1 − λ i, j, k + 1 (i = 1, 2, 3,..., L and j = 1 so that λ 1, j, k + 1L, j, k −λ 1, j, k , 2, 3, ..., M) .

また,第5の本発明は,第3の本発明において,L=3とし,R2,sum,k <Rtargetの場合にはλ1,1,k+1 =λ1,1,k かつλ2,1,k+1 =(λ1,1,k +λ2,1,k )/2かつλ3,1,k+1 =λ2,1,k とし,R2,sum,k >Rtargetの場合にはλ1,1,k+1 =λ2,1,k かつλ2,1,k+1 =(λ2,1,k +λ3,1,k )/2かつλ3,1,k+1 =λ3,1,k とし,R2,sum,k とRtargetの差の絶対値がある値より小さくなった時のkをNとして符号化ストリームを出力することを特徴とする。 The fifth aspect of the present invention is the same as the third aspect of the present invention, in which L = 3, and when R 2, sum, k <R target , λ 1,1, k + 1 = λ 1,1, k and λ 2,1, k + 1 = (λ 1,1, k + λ 2,1, k ) / 2 and λ 3,1, k + 1 = λ 2,1, k , R 2, sum, k > In the case of R target , λ 1,1, k + 1 = λ 2,1, k and λ 2,1, k + 1 = (λ 2,1, k + λ 3,1, k ) / 2 and λ 3 , 1, k + 1 = λ 3, 1, k, and when the absolute value of the difference between R 2, sum, k and R target becomes smaller than a certain value, k is output as N and the encoded stream is output. Features.

また,第6の本発明は,第1の本発明において,Pを1以上の整数,pを1からPまでの整数としたとき,第kの段階において,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスをi=1,2,3,…,Lのそれぞれに対して選出し,i=1,2,3,…,Lについてのλi,j,k とRi,j,k (ただし,Ri,j,k は第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスにおける符号量)の関係から,第jのブロックにおけるRのλ依存性を表すP個のパラメータCj,k,1 ,Cj,k,2 ,Cj,k,3 ,…,Cj,k,P を算出し,全てのj,pについてのCj,k,p を符号化情報として保持することを特徴とする。 In the sixth aspect of the present invention, in the first aspect of the present invention, when P is an integer of 1 or more and p is an integer from 1 to P, in the k-th stage, D + λ i, j in the j-th block , k R is selected for each of i = 1, 2, 3,..., L, and λ i, j, k for i = 1, 2, 3 ,. And R i, j, k (where R i, j, k is the code amount in the coding syntax that minimizes D + λ i, j, k R in the j-th block), P parameters C j, k, 1 , C j, k, 2 , C j, k, 3 ,..., C j, k, P representing the λ dependence of R are calculated, and for all j and p C j, k, p is stored as encoded information.

また,第7の本発明は,第6の本発明において,P=1とし,i=1,2,3,…,Lについてのλi,j,k とRi,j,k の関係から,第jのブロックにおけるRのλ依存性として,R=Cj,k,1 /(λ1/2 )としたときのCj,k,1 を算出し,jが1からMまでのCj,k,1 の和をCsum,k,1 としたとき,第(k+1)の段階において,λ1,j,k+1 ,λ2,j,k+1 ,λ3,j,k+1 ,…,λL,j,k+1 のいずれかが(Csum,k,1 /Rtarget2 と等しくなるようにλi,j,k+1 を選出することを特徴とする。 Further, the seventh aspect of the present invention is the same as the sixth aspect of the present invention, in which P = 1, and from the relationship between λ i, j, k and R i, j, k for i = 1, 2, 3,. as lambda dependence of R in the block of the j, C of R = C j, k, 1 / (λ 1/2) and then C j when the, k, 1 calculates, j is from 1 to M When the sum of j, k, 1 is C sum, k, 1 , in the (k + 1) th stage, λ 1, j, k + 1 , λ 2, j, k + 1 , λ 3, j, k Λ i, j, k + 1 is selected such that any one of +1 ,..., Λ L, j, k + 1 is equal to (C sum, k, 1 / R target ) 2 .

また,第の本発明は,第1の本発明において,L,Mがkについて可変であることを特徴とする。 The eighth invention is characterized in that, in the first invention, L and M are variable with respect to k.

また,第の本発明は,各第kの段階毎に,第3の本発明の方法か第6の本発明の方法かのいずれかの方法を選択することを特徴とする。 Further, the ninth aspect of the present invention is characterized in that any one of the method of the third aspect of the present invention or the method of the sixth aspect of the present invention is selected for each k-th stage.

図1は,本発明の動画像符号化装置の構成例を示す図である。動画像符号化装置1は,画像入力部10,ラグランジュ乗数λの候補選出部11,各ラグランジュ乗数λi,j,k に対するシンタックス選出部12−i(i=1,2,…,L),ラグランジュ乗数λの評価部13,符号化ストリーム出力部14からなる。 FIG. 1 is a diagram illustrating a configuration example of a moving image encoding apparatus according to the present invention. The moving image encoding apparatus 1 includes an image input unit 10, a Lagrange multiplier λ candidate selection unit 11, and a syntax selection unit 12-i (i = 1, 2,..., L) for each Lagrange multiplier λ i, j, k . , A Lagrange multiplier λ evaluation unit 13, and an encoded stream output unit 14.

画像入力部10は,符号化対象の画像信号を入力する。λの候補選出部11は,各符号化対象ブロック(j)ごとに,例えば目標符号量より大きい符号量と小さい符号量を与える少なくとも2通り以上のラグランジュ乗数λの候補を選出する。ここでは,段階(k)が増すごとにラグランジュ乗数λの最大値と最小値の差が小さくなるようにラグランジュ乗数λの選出を行う。   The image input unit 10 inputs an image signal to be encoded. The λ candidate selection unit 11 selects, for each encoding target block (j), for example, at least two or more Lagrange multipliers λ candidates that provide a code amount larger than a target code amount and a smaller code amount. Here, the Lagrange multiplier λ is selected so that the difference between the maximum value and the minimum value of the Lagrange multiplier λ becomes smaller as the stage (k) increases.

各ラグランジュ乗数λi,j,k に対するシンタックス選出部12−iは,L個のラグランジュ乗数λi,j,k に対し,それぞれD+λi,j,k Rを最小化する符号化シンタックスを選出する。ラグランジュ乗数λの評価部13は,各ラグランジュ乗数λ1,j,k ,λ2,j,k ,…,λL,j,k を評価し,所定の段階数になるまで,または所定の終了条件が満たされるまで,ラグランジュ乗数λの候補選出部11,各ラグランジュ乗数λi,j,k に対するシンタックス選出部12−iおよびラグランジュ乗数λの評価の処理を繰り返す制御を行う。 The syntax selection unit 12-i for each Lagrange multiplier λ i, j, k has an encoding syntax for minimizing D + λ i, j, k R for each of the L Lagrange multipliers λ i, j, k. elect. The Lagrangian multiplier λ evaluation unit 13 evaluates each Lagrange multiplier λ 1, j, k , λ 2, j, k ,..., Λ L, j, k until a predetermined number of steps is reached or a predetermined end. Until the condition is satisfied, the Lagrange multiplier λ candidate selection unit 11, the syntax selection unit 12-i for each Lagrange multiplier λ i, j, k, and the Lagrange multiplier λ evaluation process are repeated.

符号化ストリーム出力部14は,第N段階目の最終的なラグランジュ乗数λi,j,N からD+λi,j,N Rを最小にする符号化シンタックスを,j=1からMまでのM個の符号化対象ブロックについて符号化ストリームとして出力する。 The encoded stream output unit 14 has an encoding syntax for minimizing D + λ i, j, N R from the final Lagrange multipliers λ i, j, N at the N-th stage, M from j = 1 to M. The encoded target blocks are output as encoded streams.

図2は,第1の本発明の符号化処理フローの一例を示す図である。符号量歪みDと符号量Rを算出して符号化シンタックスを決定する動画像符号化処理において,L,M,Nを2以上の整数,iを1からLまでの整数,jを1からMまでの整数,kを1から(N−1)までの整数とする。   FIG. 2 is a diagram showing an example of an encoding process flow according to the first aspect of the present invention. In the moving image encoding process for calculating the code amount distortion D and the code amount R and determining the encoding syntax, L, M, and N are integers of 2 or more, i is an integer from 1 to L, and j is 1 An integer up to M and k is an integer from 1 to (N−1).

第kの段階の第jのブロックの処理が開始されると,第(k−1)の段階までに保持された符号化情報をもとに,i=1,2,3,…,Lに対して,ラグランジュ乗数λi,j,k を選出する(ステップS1〜S5)。なお,第1の段階(k=1)においては,あらかじめ定められたL個のラグランジュ乗数λi,j,1 を初期値として与える。 When the processing of the j-th block at the k-th stage is started, i = 1, 2, 3,..., L based on the encoded information held up to the (k−1) -th stage. On the other hand, a Lagrange multiplier λ i, j, k is selected (steps S1 to S5). In the first stage (k = 1), L Lagrange multipliers λ i, j, 1 determined in advance are given as initial values.

第kの段階の第jのブロックの処理においては,i=1,2,3,…,Lのそれぞれに対して,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスを選出する(ステップS6)。 In the processing of the j-th block at the k-th stage, for each of i = 1, 2, 3,..., L, an encoding thin that minimizes D + λ i, j, k R in the j-th block. A tax is selected (step S6).

未処理のブロックがある場合には(ステップS7),jをインクリメントして(ステップS8),ステップS4に戻り,処理したブロックが最後のブロックの場合(j=Mの場合)には,第k段階の符号化情報をメモリに記憶し保持する(ステップS9)。   If there is an unprocessed block (step S7), j is incremented (step S8), and the process returns to step S4. If the processed block is the last block (if j = M), the kth The encoded information of the stage is stored and held in the memory (step S9).

未実行の段階がある場合には(ステップS10),kをインクリメントして(ステップS11),ステップS3に戻り,最後の段階である場合(k=Nの場合)には,第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λi,j,N Rを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力することをj=1からMまで繰り返す(ステップS12)。 If there is an unexecuted stage (step S10), k is incremented (step S11), and the process returns to step S3. If it is the last stage (when k = N), the jth block is From j = 1, the encoding syntax that minimizes D + λ i, j, N R is output as an encoded stream for the j-th block from among the encoding syntaxes that are candidates for encoding. Repeat until M (step S12).

本発明によれば,符号量歪みDと符号量Rを算出して符号化シンタックスを決定する動画像符号化装置で,かつ,符号化を複数回の段階に分けて,いずれの段階においてもそれ以前の段階における符号化情報を用いて高い符号化効率を達成する動画像符号化装置において,計算量の微小な増加で,より高効率な動画像の映像符号化を行うことができる。   According to the present invention, a moving picture coding apparatus that calculates the coding amount distortion D and the coding amount R and determines the coding syntax, and the coding is divided into a plurality of stages, and at any stage. In a moving picture coding apparatus that achieves high coding efficiency using coding information in the previous stage, it is possible to perform more efficient moving picture video coding with a small increase in the amount of calculation.

〔第1の実施の形態〕
図3は,本発明の第1の実施の形態における符号化処理フローの一例である。第1の実施の形態は,第1〜第5の本発明を同時に採用した場合に対応する。
[First Embodiment]
FIG. 3 is an example of an encoding process flow according to the first embodiment of the present invention. The first embodiment corresponds to the case of employing the first to fifth present onset light simultaneously.

第1の実施の形態では,符号量歪みDと符号量Rを算出して符号化シンタックスを決定する動画像符号化処理において,M,Nを2以上の整数,iを1から3までの整数,jを1からMまでの整数,kを1から(N−1)までの整数として,λi,1,k =λi,2,k =λi,3,k =,…,=λi,M,k が全てのiとkについて成立するようにラグランジュ乗数を定める。 In the first embodiment, M and N are integers greater than or equal to 2 and i is an integer from 1 to 3 in a video encoding process for calculating the code amount distortion D and the code amount R and determining the encoding syntax. An integer, j is an integer from 1 to M, k is an integer from 1 to (N−1), and λ i, 1, k = λ i, 2, k = λ i, 3, k =,. Lagrange multipliers are determined so that λ i, M, k holds for all i and k.

また,第1のブロックから第Mのブロックまでの全体の目標符号量をRtargetとし,第kの段階において,第jのブロックにおけるD+λi,1,k を最小にする符号化シンタックスにおける符号量をRi,j,k ,j=1からMまでのRi,j,k の和をRi,sum,k とすると,λ1,1,k <λ2,1,k <λ3,1,k が全てのkについて成立し,かつi=1,2,3としたときのRi,sum,k の最大値はRtargetより大きく,かつi=1,2,3としたときのRi,sum,k の最小値はRtargetより小さくなるようにラグランジュ乗数を定める。 In the coding syntax that minimizes D + λ i, 1, k R in the j-th block in the k-th stage, R target is the total target code amount from the first block to the M-th block. When the code amount is R i, j, k and the sum of R i, j, k from j = 1 to M is R i, sum, k , λ 1,1, k2,1, k3, 1, k is satisfied for all k, and R i when the i = 1,2,3, sum, maximum value of k was set at R greater than target, and i = 1, 2, 3 The Lagrange multiplier is determined so that the minimum value of R i, sum, k is smaller than R target .

第kの段階が開始されると,第(k−1)の段階までに保持された符号化情報(R2,sum,k-1 )とRtargetの大小関係に応じて,i=1,2,3に対してλi,1,k を選出する(ステップS21〜S24)。ステップS24の処理については,後に第(k+1)の段階を例にとって詳述する。なお,第1の段階においては,前の段階までに保持された符号化情報は存在しないので,λ1,1,1 <λ2,1,1 <λ3,1,1 かつR1,sum,1 >Rtarget>R3,sum,1 となるように,初期値として定めた3個のラグランジュ乗数λ1,1,1 ,λ2,1,1 ,λ3,1,1 を選出する。 When the k-th stage is started, i = 1, 1, depending on the magnitude relationship between the encoded information (R 2, sum, k-1 ) and R target held up to the (k-1) -th stage. Λ i, 1, k is selected for 2 and 3 (steps S21 to S24). The processing in step S24 will be described in detail later by taking the (k + 1) th stage as an example. In the first stage, the encoded information does not exist held until before step, λ 1,1,1 <λ 2,1,1 <λ 3,1,1 and R 1, sum , 1> R target> R 3 , sum, 1 and so as to three of the Lagrangian multiplier determined as an initial value lambda 1, 1, 1, lambda 2,1,1, selects the lambda 3,1,1 .

第jのブロックに対して第jのブロックを符号化するための候補となる符号化シンタックスの中から,第jのブロックにおけるD+λi,1,k Rを最小にする符号化シンタックスをi=1,2,3のそれぞれに対して選出し(ステップS26),同様にして第(j+1)のブロックを処理することをjが1からMになるまで繰り返し(ステップS27,S28),符号化情報としてR2,sum,k を保持する(ステップS29)。 An encoding syntax that minimizes D + λ i, 1, k R in the j-th block is selected from the encoding syntaxes that are candidates for encoding the j-th block with respect to the j-th block. = 1, 2, and 3 are selected (step S26), and the (j + 1) th block is processed in the same manner until j becomes 1 to M (steps S27 and S28). R 2, sum, k is held as information (step S29).

第(k+1)の段階では,上記ステップS24において,R2,sum,k <Rtargetの場合にはλ1,1,k+1 =λ1,1,k かつλ2,1,k+1 =(λ1,1,k +λ2,1,k )/2かつλ3,1,k+1 =λ2,1,k とし,R2,sum,k >Rtargetの場合にはλ1,1,k+1 =λ2,1,k かつλ2,1,k+1 =(λ2,1,k +λ3,1,k )/2かつλ3,1,k+1 =λ3,1,k とする。 At the stage of the (k + 1), at step S24, R 2, sum, k <λ 1,1 in the case of R target, k + 1 = λ 1,1, k cutlet λ 2,1, k + 1 = (Λ 1,1, k + λ 2,1, k ) / 2 and λ 3,1, k + 1 = λ 2,1, k , and if R 2, sum, k > R target λ 1 , 1, k + 1 = λ 2,1, k and λ 2,1, k + 1 = (λ 2,1, k + λ 3,1, k ) / 2 and λ 3,1, k + 1 = λ 3,1, k .

2,sum,k とRtargetの差の絶対値がある値より小さいかを判断し(ステップS30),R2,sum,k とRtargetの差の絶対値がある値より小さくない場合にはkをインクリメントして(ステップS31),次の段階の処理を行う。kが大きくなるにつれて,R2,sum,k とRtargetの差の絶対値は小さくなるので,R2,sum,k とRtargetの差の絶対値がある値より小さくなったときのkをNとして,最後の段階である第Nの段階では,第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λ2,j,N Rを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力することをj=1からMまで繰り返す(ステップS32)。 It is determined whether the absolute value of the difference between R2 , sum, k and Rtarget is smaller than a certain value (step S30), and the absolute value of the difference between R2 , sum, k and Rtarget is not smaller than a certain value. Increments k (step S31) and performs the next stage of processing. As k increases, R 2, sum, since the absolute value of the difference between k and R target becomes smaller, the k when it becomes smaller than R 2, sum, there is an absolute value difference values k and R target N is an encoding syntax that minimizes D + λ 2, j, N R among encoding syntaxes that are candidates for encoding the j-th block in the N-th stage, which is the last stage. Are output as an encoded stream for the j-th block from j = 1 to M (step S32).

なお,上記の過程で,λ1,1,k+1 とλ3,1,k+1 の値は,λ1,1,k またはλ2,1,k またはλ3,1,k に等しいので,第(k+1)の段階では,第jのブロックを符号化するための候補となる符号化シンタックスの中から,第jのブロックにおけるD+λi,1,k Rを最小にする符号化シンタックスをi=1,2,3のそれぞれに対して選出する必要はなく,i=2についてのみ選出すれば十分である。 In the above process, the values of λ 1,1, k + 1 and λ 3,1, k + 1 are equal to λ 1,1, k or λ 2,1, k or λ 3,1, k . Therefore, in the (k + 1) -th stage, the coding syntax that minimizes D + λ i, 1, k R in the j-th block from among the coding syntaxes that are candidates for coding the j-th block. It is not necessary to select a tax for each of i = 1, 2, 3; it is sufficient to select only for i = 2.

上記第1の実施の形態では,第1の本発明におけるLを3とし,R2,sum,k <Rtargetの場合にはλ1,1,k+1 =λ1,1,k かつλ2,1,k+1 =(λ1,1,k +λ2,1,k )/2かつλ3,1,k+1 =λ2,1,k とし,R2,sum,k >Rtargetの場合にはλ1,1,k+1 =λ2,1,k かつλ2,1,k+1 =(λ2,1,k +λ3,1,k )/2かつλ3,1,k+1 =λ3,1,k とする例を述べたが,必ずしもこの式に限定されず,またLも3に限定されず,λ1,1,k ≦λ1,1,k+1 かつλL,1,k+1 ≦λL,1,k かつλL,1,k+1 −λ1,1,k+1 <λL,1,k −λ1,1,k が成り立つような別の式を用いても良いことは言うまでもない。 In the first embodiment, L in the first aspect of the present invention is 3, and when R 2, sum, k <R target , λ 1,1, k + 1 = λ 1,1, k and λ 2,1, k + 1 = (λ 1,1, k + λ 2,1, k ) / 2 and λ 3,1, k + 1 = λ 2,1, k , R 2, sum, k > R In the case of target , λ 1,1, k + 1 = λ 2,1, k and λ 2,1, k + 1 = (λ 2,1, k + λ 3,1, k ) / 2 and λ 3, Although an example in which 1, k + 1 = λ 3,1, k has been described, it is not necessarily limited to this expression, and L is not limited to 3, and λ 1,1, k ≦ λ 1,1, k +1 and λ L, 1, k + 1 ≤λ L, 1, k and λ L, 1, k + 1 −λ 1,1, k + 1L, 1, k −λ 1,1, k It goes without saying that another formula that holds can be used.

第1の実施の形態では,λ1,1,k <λ2,1,k <λ3,1,k <,…,<λL,1,k が全てのkについて成立し,かつi=1,2,3,…,LとしたときのRi,sum,k の最大値はRtargetより大きく,かつi=1,2,3,…,LとしたときのRi,sum,k の最小値はRtargetより小さくなるようにラグランジュ乗数を定める第4の本発明を用いた例を述べたが,必ずしもλi,1,k の大小関係がこの式に従う必要はなく,Ri,sum,k とRtargetの差の絶対値がある値より小さくなり,かつj=1,2,3,…,Mとしたときのλi,j,k がある範囲内に収まるような他の方法を用いても良いことは言うまでもない。 In the first embodiment, λ 1,1, k2,1, k3,1, k <,..., <Λ L, 1, k holds for all k, and i = The maximum value of R i, sum, k when 1, 2, 3,..., L is larger than R target and R i, sum, k when i = 1, 2, 3 ,. Although the example using the fourth aspect of the present invention in which the Lagrange multiplier is determined so that the minimum value of R i is smaller than R target has been described , the magnitude relationship of λ i, 1, k does not necessarily follow this equation, and R i, Others such that the absolute value of the difference between sum, k and R target is smaller than a certain value, and λ i, j, k is within a certain range when j = 1, 2, 3,. It goes without saying that the method may be used.

〔第2の実施の形態〕
第2の実施の形態は,第1の本発明,第2の本発明,第6の本発明,第7の本発明を同時に採用した場合に対応する。第2の実施の形態における符号化処理フローを図4に示す。
[Second Embodiment]
The second embodiment corresponds to the case where the first invention, the second invention, the sixth invention, and the seventh invention are simultaneously employed. FIG. 4 shows an encoding processing flow in the second embodiment.

符号量歪みDと符号量Rを算出して符号化シンタックスを決定する動画像符号化装置において,L,M,Nを2以上の整数,iを1からLまでの整数,jを1からMまでの整数,kを1から(N−1)までの整数,第1のブロックから第Mのブロックまでの全体の目標符号量をRtargetとし,第kの段階において,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスにおける符号量をRi,j,k ,j=1からMまでのRi,j,k の和をRi,sum,k とする。 In a moving picture coding apparatus that calculates a coding amount distortion D and a coding amount R to determine a coding syntax, L, M, and N are integers of 2 or more, i is an integer from 1 to L, and j is 1 An integer up to M, k is an integer from 1 to (N−1), an overall target code amount from the first block to the Mth block is R target, and in the kth stage, in the jth block D + λ i, j, k Let R i, j, k be the code amount in the coding syntax that minimizes R , and R i, sum, k be the sum of R i, j, k from j = 1 to M. .

第kの段階においては,第(k−1)の段階までに保持された符号化情報をもとに,第jのブロックに対してL個のラグランジュ乗数λ1,j,k ,λ2,j,k ,λ3,j,k ,…,λL,j,k を選出する(ステップS41〜S45)。ステップS45の処理については,後に第(k+1)の段階を例にとって詳述する。なお,ステップS45において,k=1の場合には初期値λi,j,1 を与える。 In the k-th stage, L Lagrangian multipliers λ 1, j, k , λ 2, for the j-th block based on the coding information held up to the (k−1) -th stage . j, k , λ 3, j, k ,..., λ L, j, k are selected (steps S41 to S45). The processing in step S45 will be described in detail later by taking the (k + 1) th stage as an example. In step S45, if k = 1, the initial value λ i, j, 1 is given.

第jのブロックを符号化するための候補となる符号化シンタックスの中から,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスをi=1,2,3,…,Lのそれぞれに対して選出する(ステップS46)。 Among the encoding syntaxes that are candidates for encoding the j-th block, the encoding syntax that minimizes D + λ i, j, k R in the j-th block is i = 1, 2, 3, .., L are selected (step S46).

次にi=1,2,3,…,Lについてのλi,j,k とRi,j,k の関係から,第jのブロックにおけるRのλ依存性として,R=Cj,k,1 /(λ1/2 )としたときのCj,k,1 を最小2乗法などの方法から算出する(ステップS47)。 Next, from the relationship between λ i, j, k and R i, j, k for i = 1, 2, 3,..., L, R = C j, k as the λ dependency of R in the j-th block. , 1 / (λ 1/2 ), C j, k, 1 is calculated from a method such as the least squares method (step S47).

同様にして第(j+1)のブロックを処理することをjが1からMになるまで繰り返し(ステップS49),j=1からMまでのCj,k,1 の和をCsum,k,1 とし,符号化情報としてCsum,k,1 を保持する(ステップS50)。 Similarly, the processing of the (j + 1) -th block is repeated until j becomes 1 to M (step S49), and the sum of C j, k, 1 from j = 1 to M is calculated as C sum, k, 1 And Csum, k, 1 is held as encoded information (step S50).

第kの段階が最後の段階であるかを判断し(ステップS51),最後の段階でなければ,第(k+1)の段階の処理を行う(ステップS52)。最後の段階かどうかの判断は,Ri,sum,k とRtargetの差の絶対値がある値より小さくなり,かつj=1,2,3,…,Mとしたときのλi,j,k がある範囲内に収まっているかどうかにより行う。 It is determined whether the k-th stage is the last stage (step S51). If the k-th stage is not the last stage, the process of the (k + 1) -th stage is performed (step S52). The determination as to whether or not it is the last stage is λ i, j when the absolute value of the difference between R i, sum, k and R target is smaller than a certain value and j = 1, 2, 3 ,. , depending on whether k is within a certain range.

第(k+1)の段階では,上記ステップS45において,λ1,j,k+1 ,λ2,j,k+1 ,λ3,j,k+1 ,…,λL,j,k+1 のいずれかが(Csum,k,1 /Rtarget2 と等しくなるようにλi,j,k+1 を選出することにより,Rtargetに近い符号量を与えるラグランジュ乗数の収束を早める。 In the (k + 1) th stage, in step S45, λ 1, j, k + 1 , λ 2, j, k + 1 , λ 3, j, k + 1 ,..., Λ L, j, k + 1 By selecting λ i, j, k + 1 so that either of them becomes equal to (C sum, k, 1 / R target ) 2 , the convergence of the Lagrange multiplier giving the code amount close to R target is accelerated.

i,sum,k とRtargetの差の絶対値がある値より小さくなり,かつj=1,2,3,…,Mとしたときのλi,j,k がある範囲内に収まっているときのi,kをそれぞれi0 ,Nとして,最後の段階である第Nの段階では,第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λi0,j,NRを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力することをj=1からMまで繰り返す(ステップS53)。 The absolute value of the difference between R i, sum, k and R target is smaller than a certain value, and λ i, j, k is within a certain range when j = 1, 2, 3,. Where i and k are i 0 and N, respectively, and in the Nth stage, which is the last stage, D + λ i0, j from among the encoding syntaxes that are candidates for encoding the jth block. , N R is repeatedly output from j = 1 to M to output the encoded syntax as an encoded stream for the j-th block (step S53).

第2の実施の形態では,第jのブロックにおけるRのλ依存性として,R=Cj,k,1 /(λ1/2 )としたときのCj,k,1 を算出する例を述べたが,必ずしもこの式に限定されず,Rのλ依存性として別の式を用いても良いことは言うまでもない。どのような式を用いるかは,実験などによって得られた情報をもとに定めることができる。 In the second embodiment, an example of calculating C j, k, 1 when R = C j, k, 1 / (λ 1/2 ) is assumed as the λ dependency of R in the j-th block. As described above, it is not necessarily limited to this formula, and it goes without saying that another formula may be used as the λ dependence of R. The formula to be used can be determined based on information obtained through experiments.

第2の実施の形態では,第jのブロックにおけるRのλ依存性として,パラメータ数Pが1である場合の例を述べたが,必ずしもP=1に限定されず,複数のパラメータを含むRのλ依存性の式を用いても良いことは言うまでもない。   In the second embodiment, an example in which the number of parameters P is 1 is described as the λ dependency of R in the j-th block. However, the number of parameters P is not necessarily limited to 1, and an R including a plurality of parameters is used. It goes without saying that the λ-dependency formula may be used.

〔第3の実施の形態〕
本発明の第3の実施の形態は,第1の本発明,第の本発明,第の本発明を同時に採用した場合に対応する。第1の段階から第N’の段階においては第6の本発明の方法を用いてλi,j,k を算出するが,モデルが当てはまらない画像などkを大きくしてもRi,sum,k とRtargetの差の絶対値がある値より小さくならない場合には,第(N’+1)段階以降においては,第3の本発明の方法を用いてRi,sum,k とRtargetの差の絶対値を確実に小さくする。
[Third Embodiment]
The third embodiment of the present invention corresponds to the case where the first invention, the eighth invention, and the ninth invention are employed at the same time. From the first stage to the N'th stage, λ i, j, k is calculated using the method of the sixth aspect of the present invention. However, even if k is increased, such as an image to which the model does not apply , R i, sum, If the absolute value of the difference between k and R target does not become smaller than a certain value, after the (N ′ + 1) th stage, the method of the third aspect of the present invention is used for R i, sum, k and R target . Make sure that the absolute value of the difference is small.

第1〜第3の実施の形態として,本発明のいくつかを組み合わせた代表的な方法を説明したが,以上の説明から第1ないし第の本発明の他の組み合わせについても容易に実施できることは明らかである。 As the first to third embodiments, the representative method combining some of the present invention has been described, but from the above description, other combinations of the first to ninth present invention can be easily implemented. Is clear.

以上の動画像符号化の処理は,ハードウェアやファームウェアによって実現することができるだけでなく,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。   The above moving image encoding processing can be realized not only by hardware and firmware but also by a computer and a software program, and the program is recorded on a computer-readable recording medium and provided. Or can be provided through a network.

動画像符号化装置の構成例を示す図である。It is a figure which shows the structural example of a moving image encoder. 符号化処理フローの例を示す図である。It is a figure which shows the example of an encoding process flow. 符号化処理フローの例を示す図である。It is a figure which shows the example of an encoding process flow. 符号化処理フローの例を示す図である。It is a figure which shows the example of an encoding process flow.

符号の説明Explanation of symbols

1 動画像符号化装置
10 画像入力部
11 λの候補選出部
12−i λi,j,k に対するシンタックス選出部(i=1,2,…,L)
13 λの評価部
14 符号化ストリーム出力部
DESCRIPTION OF SYMBOLS 1 Moving image encoder 10 Image input part 11 λ candidate selection part 12-i Syntax selection part (i = 1, 2,..., L) for λ i, j, k
13 Evaluation unit for λ 14 Encoded stream output unit

Claims (13)

符号量歪みDと符号量Rとを算出して,ラグランジュ乗数λをもとにD+λRを最小にする符号化シンタックスを決定する符号化装置による動画像符号化方法において,
L,M,Nを2以上の整数,iを1からLまでの整数,jを1からMまでの整数,kを1からNまでの整数とし,第1のブロックから第Mのブロックまでの全体の目標符号量をR target とし,第kの段階の第jのブロックにおけるD+λ i,j,k Rを最小にする符号化シンタックスにおける符号量をR i,j,k ,jが1からMまでのR i,j,k の和をR i,sum,k として,
第kの段階では,
第jのブロックに対して,第(k−1)の段階で保持された符号量R i,sum,k-1 符号化情報を用いて,前記目標符号量R target と前記符号量R i,sum,k-1 との大小関係から,L個のラグランジュ乗数λ i,j,k の最大値と最小値との差が,第(k−1)の段階におけるL個のラグランジュ乗数λ i,j,k-1 の最大値と最小値との差より小さい値となるように,前記L個のラグランジュ乗数λi,j,k (ただし,k=1の場合には初期値として与えられたL個のラグランジュ乗数λi,j,1 )を選出するステップと,
第jのブロックを符号化するための候補となる符号化シンタックスの中から,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスを,i=1,2,3,…,Lのそれぞれに対して選出するステップとを,jが1からMになるまで繰り返し,
第kの段階における前記選択した符号化シンタックスにおける符号量R i,sum,k 符号化情報を保持し,kに1を加算して次の段階に移行する処理をkが1からNになるまで繰り返し,
第Nの段階では,
第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λ1,j,N R,D+λ2,j,N R,D+λ3,j,N R,…,D+λL,j,N Rのいずれかを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力するステップを,jが1からMになるまで繰り返す
ことを特徴とする動画像符号化方法。
In a video encoding method by an encoding device that calculates a code amount distortion D and a code amount R and determines an encoding syntax that minimizes D + λR based on a Lagrange multiplier λ,
L, M, N are integers of 2 or more, i is an integer from 1 to L, j is an integer from 1 to M, k is an integer from 1 to N , and the first block to the Mth block Let R target be the overall target code amount, and let R i, j, k , j be from 1 in the encoding syntax that minimizes D + λ i, j, k R in the j-th block at the k-th stage. Let R i, sum, k be the sum of R i, j, k up to M ,
In the k-th stage,
The block of the j, the (k-1) code quantity is retained at the stage of R i, sum, using the coded information of k-1, the target code amount R target and the code amount R From the magnitude relationship with i, sum, k-1 , the difference between the maximum and minimum values of L Lagrange multipliers λ i, j, k is L Lagrange multipliers λ in the (k−1) -th stage. The L Lagrange multipliers λ i, j, k (provided as initial values when k = 1 so that the difference between the maximum and minimum values of i, j, k−1 is smaller) Selecting the given L Lagrange multipliers λ i, j, 1 ),
Among the encoding syntaxes that are candidates for encoding the j-th block, the encoding syntax that minimizes D + λ i, j, k R in the j-th block is i = 1, 2, 3 ,..., L are repeatedly selected until j becomes 1 to M.
The process of holding the encoding information of the code amount R i, sum, k in the selected encoding syntax in the k-th stage, adding 1 to k, and moving to the next stage is changed from k to 1 Repeat until
In the Nth stage,
D + λ 1, j, N R, D + λ 2, j, N R, D + λ 3, j, N R,..., D + λ L, out of the encoding syntaxes that are candidates for encoding the j th block . moving picture encoding method for minimizing one of j and N R as an encoded stream for the j-th block is repeated until j becomes 1 to M. .
請求項1記載の動画像符号化方法において,
前記符号量i,sum,k 前記目標符号量targetとの差の絶対値がある値より小さくなり,かつj=1,2,3,…,Mとしたときのλi,j,k がある範囲内に収まっているときのiをi0 ,kをNとして,
第Nの段階では,
第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λi0,j,NRを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力するステップを,jが1からMになるまで繰り返す
ことを特徴とする動画像符号化方法。
The moving image encoding method according to claim 1,
Λ i, j, when the absolute value of the difference between the code amount R i, sum, k and the target code amount R target is smaller than a certain value and j = 1, 2, 3,. When k is within a certain range, i is i 0 and k is N.
In the Nth stage,
A step of outputting an encoding syntax that minimizes D + λ i0, j, N R as an encoded stream for the j-th block from among encoding syntaxes that are candidates for encoding the j-th block Is repeated until j becomes 1 to M.
請求項1または請求項2記載の動画像符号化方法において,
前記ラグランジュ乗数は,全てのiとkについてλi,1,k =λi,2,k =λi,3,k =,…,=λi,M,k が成立するように定められたものであ
ことを特徴とする動画像符号化方法。
In the moving image encoding method according to claim 1 or 2,
The Lagrangian multiplier is determined so that λ i, 1, k = λ i, 2, k = λ i, 3, k =, ..., = λ i, M, k holds for all i and k. moving picture coding method, characterized in that Monodea Ru.
請求項2または請求項3記載の動画像符号化方法において,
第kの段階において前記L個のラグランジュ乗数λi,j,k を選出するステップでは,
λ1,j,k <λ2,j,k <λ3,j,k <……<λL,j,k が全てのj,kについて成立し,かつi=1,2,3,…,LとしたときのRi,sum,k の最大値はRtargetより大きく,かつi=1,2,3,…,LとしたときのRi,sum,k の最小値はRtargetより小さくなるようにラグランジュ乗数λi,j,k を定めるとともに,
第2の段階以降の第kの段階において,第(k−1)の段階までに保持されている符号量i,sum,k-1 前記目標符号量targetの値から,λ1,1,k-1 ≦λ1,1,k かつλL,1,k ≦λL,1,k-1 かつλL,1,k −λ1,1,k <λL,1,k-1 −λ1,1,k-1 が成り立つようにλi,1,k (i=1,2,3,…,L)を定める
ことを特徴とする動画像符号化方法。
In the moving image encoding method according to claim 2 or 3,
In the step of selecting the previous Symbol L number of Lagrange multiplier λ i, j, k Te stage smell of the k,
λ 1, j, k2, j, k3, j, k ≦ <λ L, j, k holds for all j and k, and i = 1, 2, 3,. , L , the maximum value of R i, sum, k is greater than R target and i = 1,2,3, ..., L , the minimum value of R i, sum, k is determined from R target The Lagrange multiplier λ i, j, k is determined to be small,
From the value of the code amount R i, sum, k−1 and the target code amount R target held until the (k−1) -th stage in the k-th stage after the second stage, λ 1, 1, k-1 ≤λ 1,1, k and λ L, 1, k ≤λ L, 1, k-1 and λ L, 1, k −λ 1,1, kL, 1, k- Λ i, 1, k (i = 1, 2, 3,..., L) is determined such that 1− λ 1,1, k−1 holds.
請求項3記載の動画像符号化方法において,
前記Lは3であり,第kの段階においては,λ1,j,k <λ2,j,k <λ3,j,k かつR1,sum,k >Rtarget>R3,sum,k となるように3個のラグランジュ乗数λ1,j,k ,λ2,j,k ,λ3,j,k を選出し,
第2の段階以降の第kの段階において,R2,sum,k-1 <Rtargetの場合にはλ1,1,k =λ1,1,k-1 かつλ2,1,k =(λ1,1,k-1 +λ2,1,k-1 )/2かつλ3,1,k =λ2,1,k-1 とし,R2,sum,k-1 >Rtargetの場合にはλ1,1,k =λ2,1,k-1 かつλ2,1,k =(λ2,1,k-1 +λ3,1,k-1 )/2かつλ3,1,k =λ3,1,k-1 とし,
前記符号量2,sum,k 前記目標符号量targetの差の絶対値がある値より小さくなった時のkをNとして,前記第Nの段階により符号化ストリームを出力する
ことを特徴とする動画像符号化方法。
In the moving image encoding method according to claim 3,
L is 3, and in the k-th stage, λ 1, j, k2, j, k3, j, k and R 1, sum, k > R target > R 3, sum, three Lagrange multipliers so that the k λ 1, j, k, λ 2, j, k, λ 3, j, elected k,
In the k-th stage after the second stage, if R 2, sum, k-1 <R target , λ 1,1, k = λ 1,1, k-1 and λ 2,1, k = (Λ 1,1, k-1 + λ 2,1, k-1 ) / 2 and λ 3,1, k = λ 2,1, k-1 and R 2, sum, k-1 > R target In this case, λ 1,1, k = λ 2,1, k-1 and λ 2,1, k = (λ 2,1, k-1 + λ 3,1, k-1 ) / 2 and λ 3, 1, k = λ 3,1, k-1
The encoded stream is output in the Nth stage, where k is N when the absolute value of the difference between the code amount R2 , sum, k and the target code amount Rtarget is smaller than a certain value. A video encoding method.
符号量歪みDと符号量Rとを算出して,ラグランジュ乗数λをもとにD+λRを最小にする符号化シンタックスを決定する符号化装置による動画像符号化方法において,
L,M,Nを2以上の整数,iを1からLまでの整数,jを1からMまでの整数,kを1からNまでの整数とし,Pを1以上の整数,pを1からPまでの整数として,第1のブロックから第Mのブロックまでの全体の目標符号量をR target とし,第kの段階の第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスにおける符号量をRi,j,k ,jが1からMまでのR i,j,k の和をR i,sum,k ,符号量Rのλ依存性を表す予め定められた式のP個のパラメータをC j,k,p ,jが1からMまでのC j,k,p の和をC sum,k,p として,
第kの段階では,
第jのブロックに対して,第(k−1)の段階で保持されたパラメータの和C sum,k-1,p の符号化情報を用いて,前記目標符号量R target と前記パラメータの和C sum,k-1,p とから,L個のラグランジュ乗数λ i,j,k の最大値と最小値との差が,第(k−1)の段階におけるL個のラグランジュ乗数λ i,j,k-1 の最大値と最小値との差より小さい値となるように,前記L個のラグランジュ乗数λ i,j,k (ただし,k=1の場合には初期値として与えられたL個のラグランジュ乗数λ i,j,1 )を選出するステップと,
第jのブロックを符号化するための候補となる符号化シンタックスの中から,第jのブロックにおけるD+λ i,j,k Rを最小にする符号化シンタックスを,i=1,2,3,…,Lのそれぞれに対して選出するステップと,
前記L個のラグランジュ乗数λi,j,k 前記選択した符号化シンタックスにおける符号量i,j,k との関係から,第jのブロックにおける符号量Rのλ依存性を表す予め定められた式のP個のパラメータを j,k,p を算出するステップとを,jが1からMになるまで繰り返し,
第kの段階における前記算出したP個のパラメータC j,k,p の和C sum,k,p の符号化情報を保持し,kに1を加算して次の段階に移行する処理をkが1からNになるまで繰り返し,
第Nの段階では,
第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λ 1,j,N R,D+λ 2,j,N R,D+λ 3,j,N R,…,D+λ L,j,N Rのいずれかを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力するステップを,jが1からMになるまで繰り返す
ことを特徴とする動画像符号化方法。
In a video encoding method by an encoding device that calculates a code amount distortion D and a code amount R and determines an encoding syntax that minimizes D + λR based on a Lagrange multiplier λ,
L, M, N are integers of 2 or more, i is an integer from 1 to L, j is an integer from 1 to M, k is an integer from 1 to N, P is an integer of 1 or more, and p is from 1 and an integer of up to P, and the target code amount of the whole from the first block to the block in the M and R target, to the D in the j blocks + lambda i, j of stages of the k, the k R to the minimum The encoding amount in the encoding syntax is R i, j, k , where j is 1 to M , the sum of R i, j, k is R i, sum, k , and the λ dependency of the encoding amount R is predetermined. other expressions of P parameters C j, k, p, C j from j 1 to M, k, the sum of p C sum, k, as p,
In the k-th stage,
For the j-th block, using the encoding information of the sum C sum, k−1, p of the parameters held in the (k−1) -th stage, the sum of the target code amount R target and the parameters From Csum, k-1, p , the difference between the maximum and minimum values of the L Lagrange multipliers λ i, j, k is the L Lagrange multipliers λ i, The L Lagrange multipliers λ i, j, k (provided as initial values when k = 1 so that the difference between the maximum value and the minimum value of j, k-1 is smaller ) Selecting L Lagrange multipliers λ i, j, 1 );
Among the encoding syntaxes that are candidates for encoding the j-th block, the encoding syntax that minimizes D + λ i, j, k R in the j-th block is i = 1, 2, 3 , ..., L to select for each
Based on the relationship between the L Lagrange multipliers λ i, j, k and the code amount R i, j, k in the selected coding syntax , a predetermined value representing the λ dependency of the code amount R in the j-th block is determined. Repeating the step of calculating C j, k, p for the P parameters of the given expression until j becomes 1 to M,
A process of holding the encoding information of the sum C sum, k, p of the calculated P parameters C j, k, p in the k-th stage, adding 1 to k, and moving to the next stage is performed. Repeat until 1 goes to N,
In the Nth stage,
D + λ 1, j, N R, D + λ 2, j, N R, D + λ 3, j, N R,..., D + λ L, out of the encoding syntaxes that are candidates for encoding the j th block . A video encoding method characterized by repeating the step of outputting an encoding syntax that minimizes one of j and N R as an encoded stream for the j-th block until j becomes 1 to M. .
請求項6記載の動画像符号化方法において,
前記Pは1であり,i=1,2,3,…,Lについてのλi,j,k とRi,j,k の関係から,第jのブロックにおける符号量Rのλ依存性として,R=Cj,k,1 /(λ1/2 )としたときのCj,k,1 を算出し,
jが1からMまでのCj,k,1 の和をCsum,k,1 としたとき,第kの段階において,λ1,j,k ,λ2,j,k ,λ3,j,k ,…,λL,j,k のいずれかが(Csum,k-1,1 /Rtarget2 と等しくなるようにλi,j,k を選出する
ことを特徴とする動画像符号化方法。
In the moving image encoding method according to claim 6,
P is 1, and from the relationship between λ i, j, k and R i, j, k for i = 1, 2, 3,..., L, the λ dependency of the code amount R in the j-th block , R = C j, k, 1 / (λ 1/2 ), C j, k, 1 is calculated,
When the sum of C j, k, 1 where j is 1 to M is C sum, k, 1 , at the kth stage, λ 1, j, k , λ 2, j, k , λ 3, j , k ,..., λ L , j, k is selected so that λ i, j, k is selected to be equal to (C sum, k−1,1 / R target ) 2 Encoding method.
請求項1記載の動画像符号化方法において,
前記L,Mがkについて可変である
ことを特徴とする動画像符号化方法。
The moving image encoding method according to claim 1,
The moving picture coding method, wherein L and M are variable with respect to k.
各第kの段階毎に,請求項3記載の動画像符号化方法か請求項6記載の動画像符号化方法かのいずれかの方法を選択する
ことを特徴とする動画像符号化方法。
A moving picture coding method, wherein either the moving picture coding method according to claim 3 or the moving picture coding method according to claim 6 is selected for each k-th stage.
符号量歪みDと符号量Rとを算出して,ラグランジュ乗数λをもとにD+λRを最小にする符号化シンタックスを決定する動画像符号化装置において,
符号化対象の画像を入力する画像入力手段と,
L,M,Nを2以上の整数,iを1からLまでの整数,jを1からMまでの整数,kを1からNまでの整数とし,第1のブロックから第Mのブロックまでの全体の目標符号量をR target とし,第kの段階の第jのブロックにおけるD+λ i,j,k Rを最小にする符号化シンタックスにおける符号量をR i,j,k ,jが1からMまでのR i,j,k の和をR i,sum,k として,
kが1から(N−1)までの各第kの段階において,第jのブロックに対して,第(k−1)の段階で保持された符号量R i,sum,k-1 符号化情報を用いて,前記目標符号量R target と前記符号量R i,sum,k-1 との大小関係から,L個のラグランジュ乗数λ i,j,k の最大値と最小値との差が,第(k−1)の段階におけるL個のラグランジュ乗数λ i,j,k-1 の最大値と最小値との差より小さい値となるように,前記L個のラグランジュ乗数λi,j,k (ただし,k=1の場合には初期値として与えられたL個のラグランジュ乗数λi,j,1 )を選出するラグランジュ乗数の候補選出手段と,
選出されたラグランジュ乗数λi,j,k (i=1,2,3,…,L)のそれぞれに対して,第jのブロックにおけるD+λi,j,k Rを最小にする符号化シンタックスを選出するシンタックス選出手段と,
前記シンタックス選出手段による第kの段階における前記選択した符号化シンタックスにおける符号量R i,sum,k 符号化情報を保持し,前記ラグランジュ乗数の候補選出手段と前記ラグランジュ乗数に対するシンタックス選択手段による処理を,kが1からNになるまで繰り返す制御を行う評価手段と,
第Nの段階において前記第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λ1,j,N R,D+λ2,j,N R,D+λ3,j,N R,…,D+λL,j,N Rのいずれかを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力する符号化ストリーム出力手段とを備える
ことを特徴とする動画像符号化装置。
In a video encoding device that calculates a code amount distortion D and a code amount R and determines an encoding syntax that minimizes D + λR based on a Lagrange multiplier λ,
An image input means for inputting an image to be encoded;
L, M, N are integers of 2 or more, i is an integer from 1 to L, j is an integer from 1 to M, k is an integer from 1 to N , and the first block to the Mth block Let R target be the overall target code amount, and let R i, j, k , j be from 1 in the encoding syntax that minimizes D + λ i, j, k R in the j-th block at the k-th stage. Let R i, sum, k be the sum of R i, j, k up to M ,
k is the phase of each of the k from 1 to (N-1), the block of the j, the (k-1) retained by the code amount R i at the stage of, sum, k-1 of Using the encoding information , the maximum and minimum values of L Lagrange multipliers λ i, j, k are calculated from the magnitude relationship between the target code amount R target and the code amount R i, sum, k−1 . difference, so that the difference value smaller than the first L number of Lagrange multipliers lambda i, j, the maximum value of the k-1 and the minimum value in the stage of (k-1), the L Lagrangian multiplier lambda i , j, k (where K = 1, L Lagrange multipliers λ i, j, 1 given as initial values) are selected as Lagrange multiplier candidate selection means;
For each selected Lagrange multiplier λ i, j, k (i = 1, 2, 3,..., L), an encoding syntax that minimizes D + λ i, j, k R in the jth block. A syntax selection means for selecting
Encoding information of the code amount R i, sum, k in the selected encoding syntax in the k-th stage by the syntax selection means is held, and syntax selection for the Lagrange multiplier candidate selection means and the Lagrange multiplier Evaluation means for performing control by repeating the processing by the means until k becomes 1 to N;
D + λ 1, j, N R, D + λ 2, j, N R, D + λ 3, j, N R among the encoding syntaxes that are candidates for encoding the j th block in the Nth stage. ,..., D + λ L, j, N is provided with encoded stream output means for outputting an encoded syntax that minimizes any one of R as an encoded stream for the j-th block. Device.
符号量歪みDと符号量Rとを算出して,ラグランジュ乗数λをもとにD+λRを最小にする符号化シンタックスを決定する動画像符号化装置において,In a video encoding device that calculates a code amount distortion D and a code amount R and determines an encoding syntax that minimizes D + λR based on a Lagrange multiplier λ,
符号化対象の画像を入力する画像入力手段と,An image input means for inputting an image to be encoded;
L,M,Nを2以上の整数,iを1からLまでの整数,jを1からMまでの整数,kを1からNまでの整数とし,Pを1以上の整数,pを1からPまでの整数として,第1のブロックから第Mのブロックまでの全体の目標符号量をRL, M, and N are integers of 2 or more, i is an integer from 1 to L, j is an integer from 1 to M, k is an integer from 1 to N, P is an integer of 1 or more, and p is from 1 As an integer up to P, the total target code amount from the first block to the M-th block is R targettarget とし,第kの段階の第jのブロックにおけるD+λD + λ in the j-th block at the k-th stage i,j,k i, j, k Rを最小にする符号化シンタックスにおける符号量をRLet R be the amount of code in the coding syntax that minimizes R i,j,k i, j, k ,jが1からMまでのR, J is R from 1 to M i,j,k i, j, k の和をRThe sum of R i,sum,k i, sum, k ,符号量Rのλ依存性を表す予め定められた式のP個のパラメータをC, P parameters of a predetermined formula representing the λ dependency of the code amount R are represented by C j,k,p j, k, p ,jが1からMまでのC, J from 1 to M j,k,p j, k, p の和をCThe sum of C sum,k,p sum, k, p として,As
kが1から(N−1)までの各第kの段階において,第jのブロックに対して,第(k−1)の段階で保持されたパラメータの和CThe sum C of the parameters held in the (k−1) -th stage for the j-th block in each k-th stage from k = 1 to (N−1). sum,k-1,p sum, k-1, p の符号化情報を用いて,前記目標符号量RIs used to encode the target code amount R targettarget と前記パラメータの和CAnd the sum C of the parameters sum,k-1,p sum, k-1, p とから,L個のラグランジュ乗数λAnd L Lagrange multipliers λ i,j,k i, j, k の最大値と最小値との差が,第(k−1)の段階におけるL個のラグランジュ乗数λIs the L Lagrange multipliers λ in the (k−1) th stage. i,j,k-1 i, j, k-1 の最大値と最小値との差より小さい値となるように,前記L個のラグランジュ乗数λL Lagrange multipliers λ so that the difference is smaller than the difference between the maximum value and the minimum value of i,j,k i, j, k (ただし,k=1の場合には初期値として与えられたL個のラグランジュ乗数λ(However, when k = 1, L Lagrange multipliers λ given as initial values are used. i,j,1 i, j, 1 )を選出するラグランジュ乗数の候補選出手段と,) Candidate selection means for selecting Lagrange multipliers,
第jのブロックを符号化するための候補となる符号化シンタックスの中から,第jのブロックにおけるD+λAmong the encoding syntaxes that are candidates for encoding the j-th block, D + λ in the j-th block i,j,k i, j, k Rを最小にする符号化シンタックスを,i=1,2,3,…,Lのそれぞれに対して選出し,前記L個のラグランジュ乗数λAn encoding syntax that minimizes R is selected for each of i = 1, 2, 3,..., L, and the L Lagrange multipliers λ are selected. i,j,k i, j, k と前記選択した符号化シンタックスにおける符号量RAnd the code amount R in the selected coding syntax i,j,k i, j, k との関係から,第jのブロックにおける符号量Rのλ依存性を表す予め定められた式のP個のパラメータをCFrom the relationship with the above, P parameters of a predetermined formula representing the λ dependency of the code amount R in the j-th block are represented by C j,k,p j, k, p を算出するシンタックス選出手段と,A syntax selection means for calculating
前記シンタックス選出手段により算出した第kの段階におけるP個のパラメータCP parameters C at the k-th stage calculated by the syntax selection means j,k,p j, k, p の和CSum C sum,k,p sum, k, p の符号化情報を保持し,前記ラグランジュ乗数の候補選出手段と前記ラグランジュ乗数に対するシンタックス選択手段による処理を,kが1からNになるまで繰り返す制御を行う評価手段と,Evaluation means for holding the encoding information of the Lagrangian multiplier and processing by the syntax selection means for the Lagrangian multiplier until k becomes 1 to N.
第Nの段階において前記第jのブロックを符号化するための候補となる符号化シンタックスの中から,D+λAmong the encoding syntaxes that are candidates for encoding the j-th block in the N-th stage, D + λ 1,j,N 1, j, N R,D+λR, D + λ 2,j,N 2, j, N R,D+λR, D + λ 3,j,N 3, j, N R,…,D+λR, ..., D + λ L,j,N L, j, N Rのいずれかを最小にする符号化シンタックスを,第jのブロックに対する符号化ストリームとして出力する符号化ストリーム出力手段とを備えるCoding stream output means for outputting a coding syntax that minimizes any of R as a coded stream for the j-th block.
ことを特徴とする動画像符号化装置。A moving picture coding apparatus characterized by the above.
請求項1ないし請求項のいずれか1項に記載の動画像符号化方法を,コンピュータに実行させるための動画像符号化プログラム。 A moving picture coding program for causing a computer to execute the moving picture coding method according to any one of claims 1 to 9 . 請求項1ないし請求項のいずれか1項に記載の動画像符号化方法を,コンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which a moving image encoding program for causing a computer to execute the moving image encoding method according to any one of claims 1 to 9 is recorded.
JP2004168426A 2004-06-07 2004-06-07 Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program Expired - Fee Related JP4361836B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004168426A JP4361836B2 (en) 2004-06-07 2004-06-07 Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004168426A JP4361836B2 (en) 2004-06-07 2004-06-07 Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program

Publications (2)

Publication Number Publication Date
JP2005348308A JP2005348308A (en) 2005-12-15
JP4361836B2 true JP4361836B2 (en) 2009-11-11

Family

ID=35500225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004168426A Expired - Fee Related JP4361836B2 (en) 2004-06-07 2004-06-07 Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program

Country Status (1)

Country Link
JP (1) JP4361836B2 (en)

Also Published As

Publication number Publication date
JP2005348308A (en) 2005-12-15

Similar Documents

Publication Publication Date Title
KR101978194B1 (en) Systems and methods for processing a digital image
JP4569840B2 (en) Image coding apparatus and image coding method
EP1672928B1 (en) Video encoder and method for encoding a video signal
JP4898467B2 (en) Coding mode determination method and apparatus for variable block size motion prediction
EP2475175A2 (en) Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
CN101584215B (en) Integrated spatial-temporal prediction
TW200833123A (en) Method and apparatus for encoding image
EP0827345A1 (en) Image encoding system
US9641850B2 (en) Video compression device
JP2007189276A (en) Image compression apparatus and image compression program
KR102012906B1 (en) Systems and methods for processing a block of a digital image
CN101300850A (en) Determination of coding parameters for a hybrid coding scheme
US8396308B2 (en) Image coding based on interpolation information
JP5270592B2 (en) Image coding apparatus, image coding method, and image coding program
JP2005260588A5 (en)
KR101718969B1 (en) Early Block Size Decision Scheme Fast HEVC Intra Prediction
US11245924B2 (en) Methods and devices for coding and decoding a data stream representative of at least one image
KR20170126934A (en) Content-Adaptive B-Picture Pattern Video Encoding
US8331437B2 (en) Coding apparatus, coding method, coding program and recording medium
JP4361836B2 (en) Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program
EP3499890A1 (en) Deep learning based image partitioning for video compression
JP4188878B2 (en) Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program
JPH11331852A (en) Reversible coding method and reversible coder
JP2009071472A (en) Image encoding method, image decoding method, image encoder, image decoder and semiconductor integrated circuit
US7953147B1 (en) Iteration based method and/or apparatus for offline high quality encoding of multimedia content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081107

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090813

R150 Certificate of patent or registration of utility model

Ref document number: 4361836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130821

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees