JP3785199B2 - 画像信号を符号化するためのデバイス - Google Patents
画像信号を符号化するためのデバイス Download PDFInfo
- Publication number
- JP3785199B2 JP3785199B2 JP29488394A JP29488394A JP3785199B2 JP 3785199 B2 JP3785199 B2 JP 3785199B2 JP 29488394 A JP29488394 A JP 29488394A JP 29488394 A JP29488394 A JP 29488394A JP 3785199 B2 JP3785199 B2 JP 3785199B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- bits
- step size
- target value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は画像信号を符号化するためのデバイスに関する。より詳しくは、本発明は画像のグループを符号化するためのデバイスに関し、画像のグループのうちのある画像は独立の符号化に従い、そして他の画像は動き補償された予測符号化に従う。
【０００２】
【従来の技術】
冒頭のパラグラフに記述されたタイプのデバイスは、ＭＰＥＧエンコーダの名前によって概知であり、そしてとりわけ、“Coding og moving pictures and associated audio for digital storage media up to about 1.5 Mbit/s", ISO/IEC IS 11172 に、そしてより詳しくは、“MPEG 2 Test Model 5", ISO/IEC JTC1/SC29/WG11/N0400, April 1993に記述されている。
【０００３】
【発明が解決しようとする課題】
画像信号を符号化するための概知のデバイスは、各画像を複数のサブ画像に分割する手段と、各サブ画像を係数に変成する画像変成器、および係数を印加されたステップサイズで量子化する量子化器を具えたエンコーダとを含んでいる。個別の画像かまたは動き補償された差分画像がエンコーダに印加される。少なくとも、画像のグループ（ＧＯＰ）のうちの１つの画像はイントラフレーム（すなわち、独立に）符号化される。そのような画像はＩ画像と呼ばれる。他の画像は動き補償されたインターフレーム（すなわち、予測的）符号化を受ける。前方向の予測においては用語Ｐ画像が時々使われ、両方向の予測においては用語Ｂ画像が時々使われる。しばしば生じているＧＯＰの分割は、例えば、連続“ＩＢＢＰＢＢＰＢＢＰＢＢ”である。
【０００４】
さらに、デバイスは、印加された画像を符号化するビットの数に対する目標値に従ってステップサイズを制御する制御手段を含んでいる。制御手段は、分離した画像に対しつくられたビットの数におけるばく大な広がりにもかかわらず、その（制御手段）の目的に対して一定のビットレートを得なければならない。ＧＯＰ当たり平均して一定のビットの数を発生させるために、文書MPEG 2 Test Model 5 は、既知のデバイスは画像の複雑さに依存して各画像のビットの数に対する目標値を計算していると述べている。上記複雑さは、同じタイプ（Ｉ，Ｐ，Ｂ）の前の画像の符号化結果を参照して固定される。しかしながら、この前の画像は比較的古くてもよい。例えば、ＧＯＰ“ＩＢＢＰＢＢＰＢＢＰＢＢ”における前のＩの画像は、時間的に常に１２画像後に位置している。概知のデバイスは、画像の複雑さが受ける時間的変化にもかかわらず、平均のビットレートを一定に保つためのゆっくりした制御を行う制御手段を含んでいる。これはＧＯＰ当たり多数のビットに大きな変動を引き起こす。概知のデバイスは、記録された信号の編集や異なった速度での表示が画像の少なくとも必要な数当たり一定のビットの数を必要とするために、記録のためのビットストリームを生成するのには適当でない。
本発明の目的は、上述した欠点を除去することである。
【０００５】
本発明によれば、デバイスは、少なくとも一つの独立したＩ画像及び複数の動き補償された差分Ｐ又はＢ画像を有する画像のグループとして画像信号を符号化し、前記画像のグループが、ほぼ所望のビット数で符号化されるデバイスであって、
前記グループの各画像を複数のサブ画像に分割する手段と、
前記グループの独立したＩ画像及び前記グループの動き補償された差分Ｐ又はＢ画像を選択的に符号化し、各サブ画像の画素値をＤＣＴ係数に変換する画像変換器と、適用された量子化ステップサイズを用いて前記係数を量子化する量子化器とを具えるＭＰＥＧエンコーダと、
固定された量子化ステップサイズを用いて、前記グループのＩ，Ｐ又はＢ画像の各々を符号化する付加的なＭＰＥＧエンコーダと、
前記画像の各々に対して前記ＭＰＥＧエンコーダによって生成される目標値のビット数を、前記Ｉ，Ｐ又はＢ画像の各々に対して前記付加的なＭＰＥＧエンコーダによって生成されるビット数、Ｉ，Ｐ又はＢである前記画像のタイプ及び前記画像のグループに対する前記所望のビット数に依存して計算する計算手段と、
前記適用された量子化サイズを前記目標値に従って制御して、前記画像のグループを、前記所望のビット数の前記ＭＰＥＧエンコーダによって符号化する制御手段とを具える。これによって、現在の画像の複雑さは、目標値を計算する際に考慮される。これは、ＧＯＰ当たりのビット数の変動をかなりの程度減少する。
【０００６】
固定のステップサイズを有する付加的なエンコーダの使用は、それ自体、１９９２年１１月の日本におけるＨＤＴＶシンポジウムでもたれた講演“Hardware Implementation of the Framestore and Datarate Control for a Digital HDTV-VCR"から概知であることに留意されたい。しかしながら、この発表は信号のイントラフレーム符号化に関し、その結果Ｉ画像のみが得られる。付加的なエンコーダはＩ画像のビットの数の相対的な分配を決定するだけで、目標値（完全なイントラフレーム符号化に関しては、すべての画像に対する目標値は等しく、前もって知られている）を計算するための計算手段に組み合されない。
【０００７】
前記付加的なＭＰＥＧエンコーダの前記固定された量子化ステップサイズが、以前に符号化されたＰ画像の量子化ステップサイズであり得る。特に、前記付加的なＭＰＥＧエンコーダの前記固定された量子化ステップサイズが、以前に符号化された同一タイプのＩ，Ｐ又はＢ画像の平均の量子化ステップサイズである場合、画像の各タイプのための現実的な目標値が得られる。
【０００８】
デバイスの好ましい実施例においては、前記計算手段が、前記付加的なＭＰＥＧエンコーダによって前記サブ画像に対して発生したビット数に比例して前記サブ画像の間で前記目標値を比例的に分配して、局部目標値を取得する分配回路を具える。制御手段は、各サブ画像に対する局部目標値に従ってステップサイズを制御するために適応されている。このようにして、サブ画像に対する必要なビットのプロフィールが得られる。例えば、上から下までに澄んだ青空、テラスハウスと非常に細かい花壇を含んでいる画像は、分配回路が、より多くのビットがより詳細でそしてより符号化しにくいようなサブ画像において費されることを予知するため、最適に符号化され得る。こうして画像における画質の一様な分配が得られる。
【０００９】
デバイスによってつくられたビットストリームは、係数データだけでなく量子化とは独立した情報も含んでいる。ＭＰＥＧのシンタックス（syntax）は、とりわけブロックの動きベクトルと、ビットの連続がブロックのイントラフレーム符号化でつくられているかインターフレーム符号化でつくられているかを示す制御ビットを含んでいる。あるサブ画像に対しては、この“オーバヘッド”に対して要求されるビットは、このサブ画像が伝送されるビットの数のかなりの小片を構成するかも知れない。サブ画像のための目標値がかなりの程度までオーバヘッドビットに費やされるのを防ぐために、計算手段は、付加的なエンコーダによってこれらサブ画像に対して発生され量子化に依存したビットの数に比例してサブ画像の中に目標値を分配するための分配回路を含んでいる。この方法において、画像における画質の一層良好な分配が得られる。
【００１０】
デバイスの非常に好ましい実施例においては、制御手段が、各サブ画像に対する累積的な目標値とエンコーダによってつくられたビットの数との間の差を表している制御信号を形成するための手段によって構成されている。こうして形成された制御信号は比例積分制御回路に印加される。そのような回路はどんな静的誤差も導入しないし、その結果ＧＯＰ当たりのビットの数は狭い範囲内で一定である。この実施例の手段によって得られたビットストリームは、記録と引き続く編集と異なったスピードでの表示のために卓越して適している。
本発明のこれらおよび他の要旨は、以下に記述される実施例から明らかになり、そして実施例を参照して明瞭になるであろう。
【００１１】
【実施例】
以下に添付図面を参照し実施例により本発明を詳細に説明する。
図１は、本発明による画像信号を符号化するためのデバイスを示している。デバイスは、各画像が例えば８×８画素のブロックに分割されるメモリ１を含んでいる。隣接ブロックのあらかじめ決められた数、例えば８×８の輝度サンプルの４ブロックと８×８の色度サンプルの２ブロックがサブ画像を構成する。ありきたりのＭＰＥＧシンタックスに従って、そのようなサブ画像は、以下においてはまたマクロブロックと呼ばれる。
【００１２】
８×８のサンプルのブロックは画像遅延器１０を介してエンコーダ２に印加される。このエンコーダは、減算回路２１と、各ブロックを８×８の係数に変成するための画像変成器２２、係数をステップサイズＱ1 で量子化するための量子化器２３、および量子化された係数を可変長の符号語に符号化するための可変長エンコーダ２４を含んでいる。エンコーダはさらに、動き補償された予測画像を形成するための予測ループを含んでいる。このループは逆量子化器２５、逆画像変成器２６、加算回路２７、画像メモリ２８および動き推定器２９を含んでいる。
【００１３】
ブロックのすべての係数が同じステップサイズで量子化される必要はないことに留意されたい。量子化ステップはまた、係数によって表される空間周波数に依存し得る。その場合においては、“ステップサイズ”の表現は、係数のブロックに対して明確な量子化ステップを固定するパラメータを意味していると理解される。
【００１４】
得られた可変長の符号語の連続は、係数ビットの量子化に依存したビットストリームｑ1 を構成する。このビットストリームは形成される他の情報、とりわけ動き推定器２９によってつくられる動きベクトルによって形成される他の情報とマルチプレクサ３において組み合わされる。他の情報は、以下において“オーバヘッド”と呼ばれ、図面においてｖ1 で表示される。組み合わされたビットストリームは、そこからそれ（ビットストリーム）がチャンネルビットレートｆchでで読まれるバッファ４に印加される。
【００１５】
デバイスは、前述の文書“Coding of moving pictures and associated audio for digital storage media up to about 1.5 Mbit/s " に記述されているように今まで概知のＭＰＥＧエンコーダを構成してきた。画像信号は画像（ＧＯＰｓ）のグループの形態で送信される。各ＧＯＰは、少なくとも１個のイントラフレーム符号化画像（Ｉ画像）、多数の予測符号化画像（Ｐ画像）および多数の二方向性の予測符号化画像（Ｂ画像）を含んでいる。Ｉ画像を符号化するとき、減算器２１は動作せずそして画素の各ブロックは個別に符号化される。ＰおよびＢ画像に対しては、動き推定器２９は予測ブロックを供給しそして差のブロックが符号化される。もし、供給された画像のブロックと予測画像メモリ２８におけるその周囲との間に十分な一致がない（すなわち、あまりに大きな動きがあるとき）ならば、ＰおよびＢ画像のブロックはまたイントラフレーム符号化を受けることができる。ブロックの供給された符号化モードに関する情報はまたオーバヘッド情報ｖi に収容される。
【００１６】
本発明に従って、デバイスはさらに、付加的なエンコーダ８と、それに接続され画像を符号化するためのビットの数に対する“グローバル（gloval）目標値”を計算するための計算回路９とを含んでいる。付加的なエンコーダ８はまた、以下プリアナライザ（preanalyser ）と呼ばれる。それは量子化に依存したビットストリームｑ2 とオーバヘッド情報ｖ2 とを形成する。プリアナライザは異なった形態をもつことができる。それは以下において、ビットレート制御なしのＭＰＥＧエンコーダであると仮定されよう。プリアナライザはそのときエンコーダ２と同じタイプであり、それ故より詳細には示さない。それは後に説明されるステップサイズ決定回路１１から量子化ステップサイズＱ2 を受信する。しかしながら、ステップサイズＱ2 は１つの画像中は不要であるが画像から画像へに関しては異なっているかも知れないことはすでに注意した。
【００１７】
図２は、計算回路９の実施例を線図的に示している。それは係数ビットストリームｑ2 とプリアナライザによってつくられたオーバヘッドビットストリームｖ2 とを組み合わせるためにマルチプレクサ９１を含んでいる。組み合わされたビットストリームは、画像のサブ画像ｎのためにプリアナライザによって発生されたビットＢn の数を計数するカウンタ９２に印加される。別のカウンタ９３は完全な画像で費やされるビットの全数Ｓ＝ΣＢa を計数する。Ｓは乗算器９４においてステップサイズＱ2 倍される。積は印加された画像の複雑さを表わす複雑値Ｘである。上記複雑値は画像（Ｉ，Ｐ，Ｂ）の各タイプに対して独立に決められ、次の公式で表される：
ＸI ＝ＳI ×Ｑ2I，ＸP ＝ＳP ×Ｑ2PそしてＸB ＝ＳB ×Ｑ2B （１）
複雑値はグローバル目標値Ｔを計算するための計算回路９５に印加される。計算回路によって行われる計算に関して以下の考慮が払われる：
【００１８】
（Ａ）ビットＲの全数は、タイプＩのＮI 画像、タイプＰのＮP 画像およびタイプＢのＮB 画像を含んでいるＧＯＰに対して利用できる。目的は次式が満足されるように各タイプの画像に対してグローバル目標値ＴI ，ＴP ，ＴB を分配することである：
Ｒ＝ＮI ・ＴI ＋ＮP ・ＴP ＋ＮB ・ＴB （２）
【００１９】
（Ｂ）もし、対応するステップサイズＱI ，ＱP およびＱB が次の与えられた比にあるならば、異なった符号化のタイプ（Ｉ，Ｐ，Ｂ）は等しい画像の質に帰着することが仮定されている：
ＱP ＝ＫP ・ＱI そしてＱB ＝Ｋb ・ＱI （３）
画像のＰとＢの符号化で得られたビットＳP ，ＳB の数とこの画像のＩの符号化で得られたビットＳI の数との間の関係は、（１）式と（３）式から次のようになる：
【数１】
【００２０】
（Ｃ）同じ関係が、画像の異なったタイプに対するグローバル目標値に対して、次のように適用可能であると仮定される：
【数２】
Ｉ画像に対するグローバル目標値Ｔ1 のための次の公式は、（２）式および（４）式から引き出される：
【数３】
【００２１】
（Ｄ）ＧＯＰの最後の（または唯一の）Ｉ画像に対するグローバル目標値が固定され、そして画像ができる限りそれらに一致して符号化されて後、他のＰおよびＢ画像に対する目標値も、もし望まれるならば、ＧＯＰに対して適用できるビットの残っている数に適合され得る。その場合においては、等式（２）は次に変わる：
Ｒl ＝ｎP ・ＴP ＋ｎB ・ＴB
式において、ｎP とｎB はまだＧＯＰ中で符号化されるべきＰおよびＢ画像の数を表し、Ｒl はまだ適用できるビットの数を表している。さて、次の公式が目標値ＴP およびＴB について引き出される：
【数４】
【００２２】
画像のグローバル目標値は、関連した画像が画像遅延器１０を経由して実際の符号化のためにエンコーダ２（図１）に供給される以前に計算回路９５によって計算される。計算は次のようにして達成される：
【００２３】
（Ｉ）Ｉ画像の符号化中に、計算回路は乗算器９４からこの画像の複雑値ＸI を受信する。目標値ＴI は等式（５）によって計算される。この等式における複雑値ＸP およびＸB は、最も新しい前のＰまたはＢ画像のあらかじめ計算された複雑値によって形成される。これらのあらかじめ計算された複雑値は、図２において、Ｘprevによって表示されている。それらは前の画像の符号化にあたってメモリ（図示せず）に記憶されている。
【００２４】
（Ｐ）Ｐ画像の符号化中に、計算回路９５は乗算器９４からこの画像の複雑値ＸP を受信する。目標値ＴP は等式（４）によって計算されるか、または、もしＧＯＰがもはやどんな別のＩ画像をも含まないならば、等式（６）によって計算される。ＸP よりほかの複雑値は、最も新しい前の関連したタイプの画像のあらかじめ計算された複雑値によって再び形成される。
【００２５】
（Ｂ）Ｂ画像の符号化中に、計算回路９５は乗算器９４からこの画像の複雑値ＸB を受信する。目標値ＴB は等式（４）または（６）によって計算される。
【００２６】
分配回路９６は、画像のマクロブロックの中にグローバル目標値Ｔを引き続き分配する。この目的のために、分配回路は各マクロブロックｎに対して“ローカル（local ）目標値”Ｔn を計算する。簡単な実施例においては、分配回路は、ターゲット値Ｔを画像のすべてのＮ個のマクロブロックの中に平等に次の公式で表されるように分配する：
【数５】
【００２７】
しかしながら、各マクロブロックに対するローカル目標値Ｔｎは、好ましくはプリアナライザによってこれらのマクロブロックのためにつくられたビットＢn の数に比例していて、次の公式で表わされる：
【数６】
さて、マクロブロックに対するローカル目標値は、このマクロブロックの相対的な複雑さに従っている。こうしていわば、より多くのビットが、このサブ画像がより細かいようなサブ画像上で費やされるということが“予知される”。これは全画像を通して一様な画像の質を与える。
【００２８】
図３は計算回路９の別な実施例を示している。この実施例においては、プリアナライザの係数ビットの数とオーバヘッドビットの数が各マクロブロックｎに対して分離して計数される。この目的のために、計算回路は、量子化に依存したビットストリームｑ2 における係数ビットＣn の数とオーバヘッドｖ2 におけるビットＯn の数を、マクロブロックずつ計数するために分離したカウンタ９２ａと９２ｂを含んでいる。さらに、カウンタ９３ａと９３ｂは画像全体を通してビットΣＣn およびΣＯn の数を計数する。加算器９７は、完全な画像につきプリアナライザによって費やされるビットの全数Ｓ＝ΣＢn が再び得られるように両方の数を合計する。図２に関してすでに記述したように、乗算器９４は供給した画像の複雑値Ｘを決め、そして計算回路９５は画像に対するグローバル目標値を計算する。
【００２９】
さて、分配回路９６は図２におけるとは異なった構造を有している。それは次の公式に従ってスケールファクタＦをきめるスケーリング回路９６１を含んでいる：
【数７】
ローカル目標値Ｔn は、各マクロブロックｎに対して係数ビットＣn の数にスケールファクタＦを乗算し（乗算器９６２）、そしてそれにオーバヘッドビットＯn の数を加算する（加算器９６３）ことによって引続いて得られる。言い替えれば、この実施例においては、各マクロブロックに対するローカル目標値Ｔn は次の公式によって決定される：
Ｔn ＝Ｆ×Ｃn ＋Ｏn （８）
【００３０】
等式（８）に従ったターゲット値は、そのときマクロブロックのあまりの多くのビットがオーバヘッドデータに費やされるのが避けられるという理由から、等式（７）に従ったそれよりもより適している。これは例示の方法によって明瞭になるであろう。このきわめて単純化した例において、画像は２つのマクロブロックを含んでいる。完全な画像に対するグローバル目標値は、Ｔ＝２５０ビットである。プリアナライザは次の方法で画像に対し５００ビットを生成した：
【表１】
【００３１】
図２の実施例において、ローカル目標値Ｔ1 ＝２００およびＴ2 ＝５０が、等式（７）に従って得られる。エンコーダはプリアナライザと同程度に多くのオーバヘッドビットを生成するという（現実の）仮定にもとづいて、これは次のようになる：
【表２】
【００３２】
図３の実施例において、ローカル目標値Ｔ1 ＝１８３およびＴ2 ＝６７が、等式（８）（式中においてＦ＝０．３３）に従って得られる。エンコーダはいま生成する：
【表３】
図３に示される実施例に従ったマクロブロック中でのグローバル目標値の分配は、こうして図２に示される実施例よりもより一定の画像の質を与える。
【００３３】
目標値Ｔn は制御回路７に印加される（図１参照）。図４はこの制御回路のとりうる実施例を示している。それは、各マクロブロックに対してローカル目標値Ｔn と望ましい平均値Ｔav間の差を決定する減算器７１を含んでいる。Ｔavは、ＧＯＰ当たりのビットＲの数、ＧＯＰにおける画像の数および画像当たりのマクロブロックの数から直接に伴っている固定した値を有する。得られた差はカウンタ７２によって蓄積される。カウンタ７２の出力信号は、それがあったように、デバイスの出力バッファ４（図１参照）の望ましいパッキング（packing ）密度ｂ′（ビットの数において）を形成する。制御回路はさらに、望ましいパッキング密度ｂ′がバッファの実際のパッキング密度と比較される減算器７３を含んでいる。ビットの２つの数の間の差は制御信号を構成する。この制御信号は第１の乗算器７４によって制御ファクタＫP を乗算され、そして第２の乗算器７５によって制御ファクタＫi を乗算される。第２の乗算器７５の出力は積分器７６に印加される。加算器７７は乗算器７４と積分器７６の出力を加算する。
【００３４】
図４に示される制御回路の要素７４−７７は、制御信号において残余を生成することなく、エンコーダ２（図１参照）に供給するためにステップサイズＱ1 を制御する比例積分（ＰＩ）制御を構成する。各ＧＯＰに対するビットＲの望ましい数はデバイスについて０．０３％の正確度内で達成されることをテストが証明した。デバイスの出力信号はそれ故、後の編集の容易さを許して、記録のために卓越して適している。
【００３５】
制御ファクタＫP およびＫi は定数であるかも知れない。ＭＰＥＧエンコーダは、しかしながら、一定でない利得をもっているプロセスとして考えられ得る。これを説明するために、図５は、複雑さＸ＝Ｃ・Ｑの３つの異なった画像に対して、係数ビットＣの数と平均ステップサイズＱとの間の関係を示している。微分係数ｄＣ／ｄＱはＭＰＥＧエンコーダの利得の尺度である。さらに特に、エンコーダの利得は次のように定義される：
【数８】
図から明らかなように、利得は複雑さＸ（この故に、画像内容に）にだけでなくステップサイズＱにも依存する。一定の制御ファクタＫP およびＫi は、最も複雑な信号に対してさえ、制御プロセスの不安定はないというような大きさにされる。
【００３６】
制御プロセスは、利得の変化が制御ファクタにおける逆の変化によって補償され、言い替えれば、制御ファクタと利得の積が一定であるときはすべての状況のもとに安定である。それ故、望ましい制御ファクタＫP およびＫi は次式によって構成される：
【数９】
ここに、ｃP およびｃi は適当な定数である。図４において７８および７９によって示される要素は、それらに従ってそれぞれ制御ファクタＫP およびＫi を発生するように適用されている。この目的のために、それらはステップサイズＱ1 と同様に、エンコーダからのビットストリームｑ1 （そこからつくられたビットの数を引き出すため）を受信する。
【００３７】
図６は、プリアナライザ８（図１参照）のための“固定した”ステップサイズＱ2 を発生させるステップサイズ決定回路１１のとり得る実施例を示している。それは、エンコーダ２によって量子化されている（Ｉ，Ｐ，Ｂ）画像の各タイプに対する平均ステップサイズＱI,av，ＱP,avおよびＱB,avを決定する回路１１１を含んでいる。簡単であるが有用なデバイスの実施例において、平均ステップサイズＱP,avは各画像のためにプリアナライザに供給される。また、シーンの変化後において、この選択は画像の複雑さの十分な見積りを生ずる。代案の実施例において、Ｉ，ＰおよびＢ画像のプリアナリシスは、それぞれ平均ステップサイズＱI,aV，ＱP,aVおよびＱB,aVで行われる。この目的のために、ステップサイズ決定回路は、適切な平均ステップサイズが選択信号ＳＬに従って選択されるセレクタ１１２を含んでいる。シーン変化後では、しかしながら、次のＩ画像のプリアナシスは平均ステップサイズＱP,aVで行われる。事実、もしＰ画像のマクロブロックの１つのあらかじめ定められた数よりももっと多くが予測画像に十分似ていないならば、シーン変化が生じたと考えられる。この目的のために、シーン変化検出器１１３はオーバヘッドビットストリームｖ1 を受信し、Ｐ画像におけるインターフレーム符号化されたマクロブロックの数を計数し、そしてこの数が例えば５０％よりも多いかどうかを決定する。制御回路１１４は、画像のタイプ（Ｉ，Ｐ，Ｂ）と同様に検出信号を受信し、そして選択信号ＳＬを供給する。さて、ステップサイズＱ2 は次のように画像のタイプとシーン変化に依存する：
【００３８】
【表４】
【図面の簡単な説明】
【図１】本発明によるビデオ信号を符号化するためのデバイスを示している。
【図２】図１に示される計算回路の実施例を示している。
【図３】図１に示される計算回路の実施例を示している。
【図４】図１に示される制御回路の実施例を示している。
【図５】図４に示される制御回路の動作を説明するための線図を示している。
【図６】図１に示されるステップサイズ決定回路の実施例を示している。
【符号の説明】
１ メモリ
２ エンコーダ
３ マルチプレクサ
４ バッファ
７ 制御回路
８ 付加的なエンコーダ（プリアナライザ）
９ 計算回路
１０ 画像遅延器
１１ ステップサイズ決定回路
２１ 減算回路
２２ 画像変成器
２３ 量子化器
２４ 可変長エンコーダ
２５ 逆量子化器
２６ 逆画像変成器
２７ 加算回路
２８ 画像メモリ
２９ 動き推定器
７１，７３ 減算器
７２ カウンタ
７４，７５ 乗算器
７６ 積分器
７７ 加算器
７８，７９ 要素
９１ マルチプレクサ
９２，９２ａ，９２ｂ，９３，９３ａ，９３ｂ カウンタ
９４，９６２ 乗算器
９５ 計算回路
９６ 分配回路
９７，９６３ 加算器
９６１ スケーリング回路
１１１ 平均ステップサイズを決定する回路
１１２ セレクタ
１１３ シーン変化検出器
１１４ 制御回路
Ｑ1 ，Ｑ2 量子化ステップサイズ
ｑ1 ，ｑ2 量子化に依存したビットストリーム
ｖ1 ，ｖ2 オーバヘッド情報
ｆch チャンネルビットレート
Ｂn プリアナライザによって発生されたビット
Ｓ 完全な画像で費やされるビットの全数
Ｘ 複雑値
Ｘprev あらかじめ計算された複雑値
Ｔ グローバル目標値
Ｔn ローカル目標値
Ｃ，Ｃn 係数ビットの数
Ｏn オーバヘッドのビットの数
Ｆ スケールファクタ
ｂ 実際のパッキング密度
ｂ′ 望ましいパッキング密度
ＫP ，Ｋi 制御ファクタ
ＳＬ 選択信号
【産業上の利用分野】
本発明は画像信号を符号化するためのデバイスに関する。より詳しくは、本発明は画像のグループを符号化するためのデバイスに関し、画像のグループのうちのある画像は独立の符号化に従い、そして他の画像は動き補償された予測符号化に従う。
【０００２】
【従来の技術】
冒頭のパラグラフに記述されたタイプのデバイスは、ＭＰＥＧエンコーダの名前によって概知であり、そしてとりわけ、“Coding og moving pictures and associated audio for digital storage media up to about 1.5 Mbit/s", ISO/IEC IS 11172 に、そしてより詳しくは、“MPEG 2 Test Model 5", ISO/IEC JTC1/SC29/WG11/N0400, April 1993に記述されている。
【０００３】
【発明が解決しようとする課題】
画像信号を符号化するための概知のデバイスは、各画像を複数のサブ画像に分割する手段と、各サブ画像を係数に変成する画像変成器、および係数を印加されたステップサイズで量子化する量子化器を具えたエンコーダとを含んでいる。個別の画像かまたは動き補償された差分画像がエンコーダに印加される。少なくとも、画像のグループ（ＧＯＰ）のうちの１つの画像はイントラフレーム（すなわち、独立に）符号化される。そのような画像はＩ画像と呼ばれる。他の画像は動き補償されたインターフレーム（すなわち、予測的）符号化を受ける。前方向の予測においては用語Ｐ画像が時々使われ、両方向の予測においては用語Ｂ画像が時々使われる。しばしば生じているＧＯＰの分割は、例えば、連続“ＩＢＢＰＢＢＰＢＢＰＢＢ”である。
【０００４】
さらに、デバイスは、印加された画像を符号化するビットの数に対する目標値に従ってステップサイズを制御する制御手段を含んでいる。制御手段は、分離した画像に対しつくられたビットの数におけるばく大な広がりにもかかわらず、その（制御手段）の目的に対して一定のビットレートを得なければならない。ＧＯＰ当たり平均して一定のビットの数を発生させるために、文書MPEG 2 Test Model 5 は、既知のデバイスは画像の複雑さに依存して各画像のビットの数に対する目標値を計算していると述べている。上記複雑さは、同じタイプ（Ｉ，Ｐ，Ｂ）の前の画像の符号化結果を参照して固定される。しかしながら、この前の画像は比較的古くてもよい。例えば、ＧＯＰ“ＩＢＢＰＢＢＰＢＢＰＢＢ”における前のＩの画像は、時間的に常に１２画像後に位置している。概知のデバイスは、画像の複雑さが受ける時間的変化にもかかわらず、平均のビットレートを一定に保つためのゆっくりした制御を行う制御手段を含んでいる。これはＧＯＰ当たり多数のビットに大きな変動を引き起こす。概知のデバイスは、記録された信号の編集や異なった速度での表示が画像の少なくとも必要な数当たり一定のビットの数を必要とするために、記録のためのビットストリームを生成するのには適当でない。
本発明の目的は、上述した欠点を除去することである。
【０００５】
本発明によれば、デバイスは、少なくとも一つの独立したＩ画像及び複数の動き補償された差分Ｐ又はＢ画像を有する画像のグループとして画像信号を符号化し、前記画像のグループが、ほぼ所望のビット数で符号化されるデバイスであって、
前記グループの各画像を複数のサブ画像に分割する手段と、
前記グループの独立したＩ画像及び前記グループの動き補償された差分Ｐ又はＢ画像を選択的に符号化し、各サブ画像の画素値をＤＣＴ係数に変換する画像変換器と、適用された量子化ステップサイズを用いて前記係数を量子化する量子化器とを具えるＭＰＥＧエンコーダと、
固定された量子化ステップサイズを用いて、前記グループのＩ，Ｐ又はＢ画像の各々を符号化する付加的なＭＰＥＧエンコーダと、
前記画像の各々に対して前記ＭＰＥＧエンコーダによって生成される目標値のビット数を、前記Ｉ，Ｐ又はＢ画像の各々に対して前記付加的なＭＰＥＧエンコーダによって生成されるビット数、Ｉ，Ｐ又はＢである前記画像のタイプ及び前記画像のグループに対する前記所望のビット数に依存して計算する計算手段と、
前記適用された量子化サイズを前記目標値に従って制御して、前記画像のグループを、前記所望のビット数の前記ＭＰＥＧエンコーダによって符号化する制御手段とを具える。これによって、現在の画像の複雑さは、目標値を計算する際に考慮される。これは、ＧＯＰ当たりのビット数の変動をかなりの程度減少する。
【０００６】
固定のステップサイズを有する付加的なエンコーダの使用は、それ自体、１９９２年１１月の日本におけるＨＤＴＶシンポジウムでもたれた講演“Hardware Implementation of the Framestore and Datarate Control for a Digital HDTV-VCR"から概知であることに留意されたい。しかしながら、この発表は信号のイントラフレーム符号化に関し、その結果Ｉ画像のみが得られる。付加的なエンコーダはＩ画像のビットの数の相対的な分配を決定するだけで、目標値（完全なイントラフレーム符号化に関しては、すべての画像に対する目標値は等しく、前もって知られている）を計算するための計算手段に組み合されない。
【０００７】
前記付加的なＭＰＥＧエンコーダの前記固定された量子化ステップサイズが、以前に符号化されたＰ画像の量子化ステップサイズであり得る。特に、前記付加的なＭＰＥＧエンコーダの前記固定された量子化ステップサイズが、以前に符号化された同一タイプのＩ，Ｐ又はＢ画像の平均の量子化ステップサイズである場合、画像の各タイプのための現実的な目標値が得られる。
【０００８】
デバイスの好ましい実施例においては、前記計算手段が、前記付加的なＭＰＥＧエンコーダによって前記サブ画像に対して発生したビット数に比例して前記サブ画像の間で前記目標値を比例的に分配して、局部目標値を取得する分配回路を具える。制御手段は、各サブ画像に対する局部目標値に従ってステップサイズを制御するために適応されている。このようにして、サブ画像に対する必要なビットのプロフィールが得られる。例えば、上から下までに澄んだ青空、テラスハウスと非常に細かい花壇を含んでいる画像は、分配回路が、より多くのビットがより詳細でそしてより符号化しにくいようなサブ画像において費されることを予知するため、最適に符号化され得る。こうして画像における画質の一様な分配が得られる。
【０００９】
デバイスによってつくられたビットストリームは、係数データだけでなく量子化とは独立した情報も含んでいる。ＭＰＥＧのシンタックス（syntax）は、とりわけブロックの動きベクトルと、ビットの連続がブロックのイントラフレーム符号化でつくられているかインターフレーム符号化でつくられているかを示す制御ビットを含んでいる。あるサブ画像に対しては、この“オーバヘッド”に対して要求されるビットは、このサブ画像が伝送されるビットの数のかなりの小片を構成するかも知れない。サブ画像のための目標値がかなりの程度までオーバヘッドビットに費やされるのを防ぐために、計算手段は、付加的なエンコーダによってこれらサブ画像に対して発生され量子化に依存したビットの数に比例してサブ画像の中に目標値を分配するための分配回路を含んでいる。この方法において、画像における画質の一層良好な分配が得られる。
【００１０】
デバイスの非常に好ましい実施例においては、制御手段が、各サブ画像に対する累積的な目標値とエンコーダによってつくられたビットの数との間の差を表している制御信号を形成するための手段によって構成されている。こうして形成された制御信号は比例積分制御回路に印加される。そのような回路はどんな静的誤差も導入しないし、その結果ＧＯＰ当たりのビットの数は狭い範囲内で一定である。この実施例の手段によって得られたビットストリームは、記録と引き続く編集と異なったスピードでの表示のために卓越して適している。
本発明のこれらおよび他の要旨は、以下に記述される実施例から明らかになり、そして実施例を参照して明瞭になるであろう。
【００１１】
【実施例】
以下に添付図面を参照し実施例により本発明を詳細に説明する。
図１は、本発明による画像信号を符号化するためのデバイスを示している。デバイスは、各画像が例えば８×８画素のブロックに分割されるメモリ１を含んでいる。隣接ブロックのあらかじめ決められた数、例えば８×８の輝度サンプルの４ブロックと８×８の色度サンプルの２ブロックがサブ画像を構成する。ありきたりのＭＰＥＧシンタックスに従って、そのようなサブ画像は、以下においてはまたマクロブロックと呼ばれる。
【００１２】
８×８のサンプルのブロックは画像遅延器１０を介してエンコーダ２に印加される。このエンコーダは、減算回路２１と、各ブロックを８×８の係数に変成するための画像変成器２２、係数をステップサイズＱ1 で量子化するための量子化器２３、および量子化された係数を可変長の符号語に符号化するための可変長エンコーダ２４を含んでいる。エンコーダはさらに、動き補償された予測画像を形成するための予測ループを含んでいる。このループは逆量子化器２５、逆画像変成器２６、加算回路２７、画像メモリ２８および動き推定器２９を含んでいる。
【００１３】
ブロックのすべての係数が同じステップサイズで量子化される必要はないことに留意されたい。量子化ステップはまた、係数によって表される空間周波数に依存し得る。その場合においては、“ステップサイズ”の表現は、係数のブロックに対して明確な量子化ステップを固定するパラメータを意味していると理解される。
【００１４】
得られた可変長の符号語の連続は、係数ビットの量子化に依存したビットストリームｑ1 を構成する。このビットストリームは形成される他の情報、とりわけ動き推定器２９によってつくられる動きベクトルによって形成される他の情報とマルチプレクサ３において組み合わされる。他の情報は、以下において“オーバヘッド”と呼ばれ、図面においてｖ1 で表示される。組み合わされたビットストリームは、そこからそれ（ビットストリーム）がチャンネルビットレートｆchでで読まれるバッファ４に印加される。
【００１５】
デバイスは、前述の文書“Coding of moving pictures and associated audio for digital storage media up to about 1.5 Mbit/s " に記述されているように今まで概知のＭＰＥＧエンコーダを構成してきた。画像信号は画像（ＧＯＰｓ）のグループの形態で送信される。各ＧＯＰは、少なくとも１個のイントラフレーム符号化画像（Ｉ画像）、多数の予測符号化画像（Ｐ画像）および多数の二方向性の予測符号化画像（Ｂ画像）を含んでいる。Ｉ画像を符号化するとき、減算器２１は動作せずそして画素の各ブロックは個別に符号化される。ＰおよびＢ画像に対しては、動き推定器２９は予測ブロックを供給しそして差のブロックが符号化される。もし、供給された画像のブロックと予測画像メモリ２８におけるその周囲との間に十分な一致がない（すなわち、あまりに大きな動きがあるとき）ならば、ＰおよびＢ画像のブロックはまたイントラフレーム符号化を受けることができる。ブロックの供給された符号化モードに関する情報はまたオーバヘッド情報ｖi に収容される。
【００１６】
本発明に従って、デバイスはさらに、付加的なエンコーダ８と、それに接続され画像を符号化するためのビットの数に対する“グローバル（gloval）目標値”を計算するための計算回路９とを含んでいる。付加的なエンコーダ８はまた、以下プリアナライザ（preanalyser ）と呼ばれる。それは量子化に依存したビットストリームｑ2 とオーバヘッド情報ｖ2 とを形成する。プリアナライザは異なった形態をもつことができる。それは以下において、ビットレート制御なしのＭＰＥＧエンコーダであると仮定されよう。プリアナライザはそのときエンコーダ２と同じタイプであり、それ故より詳細には示さない。それは後に説明されるステップサイズ決定回路１１から量子化ステップサイズＱ2 を受信する。しかしながら、ステップサイズＱ2 は１つの画像中は不要であるが画像から画像へに関しては異なっているかも知れないことはすでに注意した。
【００１７】
図２は、計算回路９の実施例を線図的に示している。それは係数ビットストリームｑ2 とプリアナライザによってつくられたオーバヘッドビットストリームｖ2 とを組み合わせるためにマルチプレクサ９１を含んでいる。組み合わされたビットストリームは、画像のサブ画像ｎのためにプリアナライザによって発生されたビットＢn の数を計数するカウンタ９２に印加される。別のカウンタ９３は完全な画像で費やされるビットの全数Ｓ＝ΣＢa を計数する。Ｓは乗算器９４においてステップサイズＱ2 倍される。積は印加された画像の複雑さを表わす複雑値Ｘである。上記複雑値は画像（Ｉ，Ｐ，Ｂ）の各タイプに対して独立に決められ、次の公式で表される：
ＸI ＝ＳI ×Ｑ2I，ＸP ＝ＳP ×Ｑ2PそしてＸB ＝ＳB ×Ｑ2B （１）
複雑値はグローバル目標値Ｔを計算するための計算回路９５に印加される。計算回路によって行われる計算に関して以下の考慮が払われる：
【００１８】
（Ａ）ビットＲの全数は、タイプＩのＮI 画像、タイプＰのＮP 画像およびタイプＢのＮB 画像を含んでいるＧＯＰに対して利用できる。目的は次式が満足されるように各タイプの画像に対してグローバル目標値ＴI ，ＴP ，ＴB を分配することである：
Ｒ＝ＮI ・ＴI ＋ＮP ・ＴP ＋ＮB ・ＴB （２）
【００１９】
（Ｂ）もし、対応するステップサイズＱI ，ＱP およびＱB が次の与えられた比にあるならば、異なった符号化のタイプ（Ｉ，Ｐ，Ｂ）は等しい画像の質に帰着することが仮定されている：
ＱP ＝ＫP ・ＱI そしてＱB ＝Ｋb ・ＱI （３）
画像のＰとＢの符号化で得られたビットＳP ，ＳB の数とこの画像のＩの符号化で得られたビットＳI の数との間の関係は、（１）式と（３）式から次のようになる：
【数１】
（Ｃ）同じ関係が、画像の異なったタイプに対するグローバル目標値に対して、次のように適用可能であると仮定される：
【数２】
【数３】
（Ｄ）ＧＯＰの最後の（または唯一の）Ｉ画像に対するグローバル目標値が固定され、そして画像ができる限りそれらに一致して符号化されて後、他のＰおよびＢ画像に対する目標値も、もし望まれるならば、ＧＯＰに対して適用できるビットの残っている数に適合され得る。その場合においては、等式（２）は次に変わる：
Ｒl ＝ｎP ・ＴP ＋ｎB ・ＴB
式において、ｎP とｎB はまだＧＯＰ中で符号化されるべきＰおよびＢ画像の数を表し、Ｒl はまだ適用できるビットの数を表している。さて、次の公式が目標値ＴP およびＴB について引き出される：
【数４】
画像のグローバル目標値は、関連した画像が画像遅延器１０を経由して実際の符号化のためにエンコーダ２（図１）に供給される以前に計算回路９５によって計算される。計算は次のようにして達成される：
【００２３】
（Ｉ）Ｉ画像の符号化中に、計算回路は乗算器９４からこの画像の複雑値ＸI を受信する。目標値ＴI は等式（５）によって計算される。この等式における複雑値ＸP およびＸB は、最も新しい前のＰまたはＢ画像のあらかじめ計算された複雑値によって形成される。これらのあらかじめ計算された複雑値は、図２において、Ｘprevによって表示されている。それらは前の画像の符号化にあたってメモリ（図示せず）に記憶されている。
【００２４】
（Ｐ）Ｐ画像の符号化中に、計算回路９５は乗算器９４からこの画像の複雑値ＸP を受信する。目標値ＴP は等式（４）によって計算されるか、または、もしＧＯＰがもはやどんな別のＩ画像をも含まないならば、等式（６）によって計算される。ＸP よりほかの複雑値は、最も新しい前の関連したタイプの画像のあらかじめ計算された複雑値によって再び形成される。
【００２５】
（Ｂ）Ｂ画像の符号化中に、計算回路９５は乗算器９４からこの画像の複雑値ＸB を受信する。目標値ＴB は等式（４）または（６）によって計算される。
【００２６】
分配回路９６は、画像のマクロブロックの中にグローバル目標値Ｔを引き続き分配する。この目的のために、分配回路は各マクロブロックｎに対して“ローカル（local ）目標値”Ｔn を計算する。簡単な実施例においては、分配回路は、ターゲット値Ｔを画像のすべてのＮ個のマクロブロックの中に平等に次の公式で表されるように分配する：
【数５】
しかしながら、各マクロブロックに対するローカル目標値Ｔｎは、好ましくはプリアナライザによってこれらのマクロブロックのためにつくられたビットＢn の数に比例していて、次の公式で表わされる：
【数６】
【００２８】
図３は計算回路９の別な実施例を示している。この実施例においては、プリアナライザの係数ビットの数とオーバヘッドビットの数が各マクロブロックｎに対して分離して計数される。この目的のために、計算回路は、量子化に依存したビットストリームｑ2 における係数ビットＣn の数とオーバヘッドｖ2 におけるビットＯn の数を、マクロブロックずつ計数するために分離したカウンタ９２ａと９２ｂを含んでいる。さらに、カウンタ９３ａと９３ｂは画像全体を通してビットΣＣn およびΣＯn の数を計数する。加算器９７は、完全な画像につきプリアナライザによって費やされるビットの全数Ｓ＝ΣＢn が再び得られるように両方の数を合計する。図２に関してすでに記述したように、乗算器９４は供給した画像の複雑値Ｘを決め、そして計算回路９５は画像に対するグローバル目標値を計算する。
【００２９】
さて、分配回路９６は図２におけるとは異なった構造を有している。それは次の公式に従ってスケールファクタＦをきめるスケーリング回路９６１を含んでいる：
【数７】
Ｔn ＝Ｆ×Ｃn ＋Ｏn （８）
【００３０】
等式（８）に従ったターゲット値は、そのときマクロブロックのあまりの多くのビットがオーバヘッドデータに費やされるのが避けられるという理由から、等式（７）に従ったそれよりもより適している。これは例示の方法によって明瞭になるであろう。このきわめて単純化した例において、画像は２つのマクロブロックを含んでいる。完全な画像に対するグローバル目標値は、Ｔ＝２５０ビットである。プリアナライザは次の方法で画像に対し５００ビットを生成した：
【表１】
図２の実施例において、ローカル目標値Ｔ1 ＝２００およびＴ2 ＝５０が、等式（７）に従って得られる。エンコーダはプリアナライザと同程度に多くのオーバヘッドビットを生成するという（現実の）仮定にもとづいて、これは次のようになる：
【表２】
図３の実施例において、ローカル目標値Ｔ1 ＝１８３およびＴ2 ＝６７が、等式（８）（式中においてＦ＝０．３３）に従って得られる。エンコーダはいま生成する：
【表３】
【００３３】
目標値Ｔn は制御回路７に印加される（図１参照）。図４はこの制御回路のとりうる実施例を示している。それは、各マクロブロックに対してローカル目標値Ｔn と望ましい平均値Ｔav間の差を決定する減算器７１を含んでいる。Ｔavは、ＧＯＰ当たりのビットＲの数、ＧＯＰにおける画像の数および画像当たりのマクロブロックの数から直接に伴っている固定した値を有する。得られた差はカウンタ７２によって蓄積される。カウンタ７２の出力信号は、それがあったように、デバイスの出力バッファ４（図１参照）の望ましいパッキング（packing ）密度ｂ′（ビットの数において）を形成する。制御回路はさらに、望ましいパッキング密度ｂ′がバッファの実際のパッキング密度と比較される減算器７３を含んでいる。ビットの２つの数の間の差は制御信号を構成する。この制御信号は第１の乗算器７４によって制御ファクタＫP を乗算され、そして第２の乗算器７５によって制御ファクタＫi を乗算される。第２の乗算器７５の出力は積分器７６に印加される。加算器７７は乗算器７４と積分器７６の出力を加算する。
【００３４】
図４に示される制御回路の要素７４−７７は、制御信号において残余を生成することなく、エンコーダ２（図１参照）に供給するためにステップサイズＱ1 を制御する比例積分（ＰＩ）制御を構成する。各ＧＯＰに対するビットＲの望ましい数はデバイスについて０．０３％の正確度内で達成されることをテストが証明した。デバイスの出力信号はそれ故、後の編集の容易さを許して、記録のために卓越して適している。
【００３５】
制御ファクタＫP およびＫi は定数であるかも知れない。ＭＰＥＧエンコーダは、しかしながら、一定でない利得をもっているプロセスとして考えられ得る。これを説明するために、図５は、複雑さＸ＝Ｃ・Ｑの３つの異なった画像に対して、係数ビットＣの数と平均ステップサイズＱとの間の関係を示している。微分係数ｄＣ／ｄＱはＭＰＥＧエンコーダの利得の尺度である。さらに特に、エンコーダの利得は次のように定義される：
【数８】
【００３６】
制御プロセスは、利得の変化が制御ファクタにおける逆の変化によって補償され、言い替えれば、制御ファクタと利得の積が一定であるときはすべての状況のもとに安定である。それ故、望ましい制御ファクタＫP およびＫi は次式によって構成される：
【数９】
【００３７】
図６は、プリアナライザ８（図１参照）のための“固定した”ステップサイズＱ2 を発生させるステップサイズ決定回路１１のとり得る実施例を示している。それは、エンコーダ２によって量子化されている（Ｉ，Ｐ，Ｂ）画像の各タイプに対する平均ステップサイズＱI,av，ＱP,avおよびＱB,avを決定する回路１１１を含んでいる。簡単であるが有用なデバイスの実施例において、平均ステップサイズＱP,avは各画像のためにプリアナライザに供給される。また、シーンの変化後において、この選択は画像の複雑さの十分な見積りを生ずる。代案の実施例において、Ｉ，ＰおよびＢ画像のプリアナリシスは、それぞれ平均ステップサイズＱI,aV，ＱP,aVおよびＱB,aVで行われる。この目的のために、ステップサイズ決定回路は、適切な平均ステップサイズが選択信号ＳＬに従って選択されるセレクタ１１２を含んでいる。シーン変化後では、しかしながら、次のＩ画像のプリアナシスは平均ステップサイズＱP,aVで行われる。事実、もしＰ画像のマクロブロックの１つのあらかじめ定められた数よりももっと多くが予測画像に十分似ていないならば、シーン変化が生じたと考えられる。この目的のために、シーン変化検出器１１３はオーバヘッドビットストリームｖ1 を受信し、Ｐ画像におけるインターフレーム符号化されたマクロブロックの数を計数し、そしてこの数が例えば５０％よりも多いかどうかを決定する。制御回路１１４は、画像のタイプ（Ｉ，Ｐ，Ｂ）と同様に検出信号を受信し、そして選択信号ＳＬを供給する。さて、ステップサイズＱ2 は次のように画像のタイプとシーン変化に依存する：
【００３８】
【表４】
【図面の簡単な説明】
【図１】本発明によるビデオ信号を符号化するためのデバイスを示している。
【図２】図１に示される計算回路の実施例を示している。
【図３】図１に示される計算回路の実施例を示している。
【図４】図１に示される制御回路の実施例を示している。
【図５】図４に示される制御回路の動作を説明するための線図を示している。
【図６】図１に示されるステップサイズ決定回路の実施例を示している。
【符号の説明】
１ メモリ
２ エンコーダ
３ マルチプレクサ
４ バッファ
７ 制御回路
８ 付加的なエンコーダ（プリアナライザ）
９ 計算回路
１０ 画像遅延器
１１ ステップサイズ決定回路
２１ 減算回路
２２ 画像変成器
２３ 量子化器
２４ 可変長エンコーダ
２５ 逆量子化器
２６ 逆画像変成器
２７ 加算回路
２８ 画像メモリ
２９ 動き推定器
７１，７３ 減算器
７２ カウンタ
７４，７５ 乗算器
７６ 積分器
７７ 加算器
７８，７９ 要素
９１ マルチプレクサ
９２，９２ａ，９２ｂ，９３，９３ａ，９３ｂ カウンタ
９４，９６２ 乗算器
９５ 計算回路
９６ 分配回路
９７，９６３ 加算器
９６１ スケーリング回路
１１１ 平均ステップサイズを決定する回路
１１２ セレクタ
１１３ シーン変化検出器
１１４ 制御回路
Ｑ1 ，Ｑ2 量子化ステップサイズ
ｑ1 ，ｑ2 量子化に依存したビットストリーム
ｖ1 ，ｖ2 オーバヘッド情報
ｆch チャンネルビットレート
Ｂn プリアナライザによって発生されたビット
Ｓ 完全な画像で費やされるビットの全数
Ｘ 複雑値
Ｘprev あらかじめ計算された複雑値
Ｔ グローバル目標値
Ｔn ローカル目標値
Ｃ，Ｃn 係数ビットの数
Ｏn オーバヘッドのビットの数
Ｆ スケールファクタ
ｂ 実際のパッキング密度
ｂ′ 望ましいパッキング密度
ＫP ，Ｋi 制御ファクタ
ＳＬ 選択信号
Claims (5)
- 少なくとも一つの独立したＩ画像及び複数の動き補償された差分Ｐ又はＢ画像を有する画像のグループとして画像信号を符号化し、前記画像のグループが、ほぼ所望のビット数で符号化されるデバイスであって、
前記グループの各画像を複数のサブ画像に分割する手段と、
前記グループの独立したＩ画像及び前記グループの動き補償された差分Ｐ又はＢ画像を選択的に符号化し、各サブ画像の画素値をＤＣＴ係数に変換する画像変換器と、適用された量子化ステップサイズを用いて前記係数を量子化する量子化器とを具えるＭＰＥＧエンコーダと、
固定された量子化ステップサイズを用いて、前記グループのＩ，Ｐ又はＢ画像の各々を符号化する付加的なＭＰＥＧエンコーダと、
前記画像の各々に対して前記ＭＰＥＧエンコーダによって生成される目標値のビット数を、前記Ｉ，Ｐ又はＢ画像の各々に対して前記付加的なＭＰＥＧエンコーダによって生成されるビット数、Ｉ，Ｐ又はＢである前記画像のタイプ及び前記画像のグループに対する前記所望のビット数に依存して計算する計算手段と、
前記適用された量子化サイズを前記目標値に従って制御して、前記画像のグループを、前記所望のビット数の前記ＭＰＥＧエンコーダによって符号化する制御手段とを具えることを特徴とする画像信号を符号化するためのデバイス。 - 請求項１記載のデバイスにおいて、前記付加的なＭＰＥＧエンコーダの前記固定された量子化ステップサイズが、以前に符号化されたＰ画像の量子化ステップサイズであることを特徴とする画像信号を符号化するためのデバイス。
- 請求項１記載のデバイスにおいて、前記付加的なＭＰＥＧエンコーダの前記固定された量子化ステップサイズが、以前に符号化された同一タイプのＩ，Ｐ又はＢ画像の平均の量子化ステップサイズであることを特徴とする画像信号を符号化するためのデバイス。
- 請求項３記載のデバイスにおいて、シーン変化の後に続く最初のＩ画像に対する前記付加的なＭＰＥＧエンコーダの前記固定された量子化ステップサイズが、以前に符号化されたＰ画像の平均の量子化ステップサイズを具えることを特徴とする画像信号を符号化するためのデバイス。
- 請求項１乃至４のいずれか１項記載のデバイスにおいて、前記計算手段が、前記付加的なＭＰＥＧエンコーダによって前記サブ画像に対して発生したビット数に比例して前記サブ画像の間で前記目標値を比例的に分配して、局部目標値を取得する分配回路を具え、前記制御手段を、前記サブ画像の各々に対する局部目標値に従って前記適用された量子化ステップサイズを制御することを特徴とする画像信号を符号化するためのデバイス。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BE09301321 | 1993-11-30 | ||
| BE9301321A BE1007808A3 (nl) | 1993-11-30 | 1993-11-30 | Inrichting voor het coderen van een videosignaal. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07203463A JPH07203463A (ja) | 1995-08-04 |
| JP3785199B2 true JP3785199B2 (ja) | 2006-06-14 |
Family
ID=3887596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29488394A Expired - Lifetime JP3785199B2 (ja) | 1993-11-30 | 1994-11-29 | 画像信号を符号化するためのデバイス |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5757434A (ja) |
| EP (1) | EP0655868B1 (ja) |
| JP (1) | JP3785199B2 (ja) |
| BE (1) | BE1007808A3 (ja) |
| DE (1) | DE69412431T2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0755610B1 (en) * | 1995-02-15 | 2000-04-12 | Koninklijke Philips Electronics N.V. | Method and device for transcoding video signals |
| KR0153671B1 (ko) * | 1995-06-30 | 1998-11-16 | 배순훈 | 고선명 텔레비젼 엔코더의 레이트 콘트롤러 |
| US5926222A (en) * | 1995-09-28 | 1999-07-20 | Intel Corporation | Bitrate estimator for selecting quantization levels for image encoding |
| US5646689A (en) * | 1995-10-23 | 1997-07-08 | Lucent Technologies Inc. | Video encoder with feedback control |
| JPH10513028A (ja) * | 1995-11-15 | 1998-12-08 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビットレート制御方法 |
| JP3682353B2 (ja) * | 1996-02-29 | 2005-08-10 | 株式会社リコー | 画像圧縮方法および画像圧縮装置 |
| US6100931A (en) * | 1996-03-19 | 2000-08-08 | Sony Corporation | Method and apparatus for controlling a target amount of code and for compressing video data |
| JP3934712B2 (ja) * | 1996-09-27 | 2007-06-20 | 日本ビクター株式会社 | 映像信号符号化方法及び装置 |
| JPH10164581A (ja) * | 1996-12-03 | 1998-06-19 | Sony Corp | 画像信号符号化方法及び装置、信号記録媒体 |
| JP2000513167A (ja) * | 1997-01-13 | 2000-10-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ディジタルビデオ信号内に補足データを埋め込む方法及び装置 |
| US6111991A (en) * | 1998-01-16 | 2000-08-29 | Sharp Laboratories Of America | Method and apparatus for optimizing quantizer values in an image encoder |
| KR100756596B1 (ko) * | 1997-07-08 | 2007-09-10 | 소니 가부시끼 가이샤 | 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 |
| TW501022B (en) * | 1998-03-16 | 2002-09-01 | Mitsubishi Electric Corp | Moving picture coding system |
| US6141380A (en) * | 1998-09-18 | 2000-10-31 | Sarnoff Corporation | Frame-level rate control for video compression |
| JP3393595B2 (ja) * | 1998-09-25 | 2003-04-07 | 日本電信電話株式会社 | 動画像符号化装置および動画像符号化方法 |
| EP1005233A1 (en) * | 1998-10-12 | 2000-05-31 | STMicroelectronics S.r.l. | Constant bit-rate coding control in a video coder by way of pre-analysis of the slices of the pictures |
| KR20030014677A (ko) * | 2001-03-29 | 2003-02-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 코딩 방법 및 대응하는 인코딩 장치 |
| US7099389B1 (en) * | 2002-12-10 | 2006-08-29 | Tut Systems, Inc. | Rate control with picture-based lookahead window |
| FR2851111B1 (fr) | 2003-02-10 | 2005-07-22 | Nextream France | Dispositif de codage d'un flux de donnees video |
| JP5282692B2 (ja) | 2009-07-27 | 2013-09-04 | ソニー株式会社 | 画像符号化装置と画像符号化方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5146324A (en) * | 1990-07-31 | 1992-09-08 | Ampex Corporation | Data compression using a feedforward quantization estimator |
| US5038209A (en) * | 1990-09-27 | 1991-08-06 | At&T Bell Laboratories | Adaptive buffer/quantizer control for transform video coders |
| SG94709A1 (en) * | 1991-02-07 | 2003-03-18 | Canon Kk | Image encoding apparatus |
| CA2068751C (en) * | 1991-05-24 | 1998-05-19 | Tokumichi Murakami | Image coding system |
| KR930003757A (ko) * | 1991-07-31 | 1993-02-24 | 오오가 노리오 | 영상 신호 전송 장치 및 방법 |
| US5144424A (en) * | 1991-10-15 | 1992-09-01 | Thomson Consumer Electronics, Inc. | Apparatus for video data quantization control |
| US5214507A (en) * | 1991-11-08 | 1993-05-25 | At&T Bell Laboratories | Video signal quantization for an mpeg like coding environment |
| US5231484A (en) * | 1991-11-08 | 1993-07-27 | International Business Machines Corporation | Motion video compression system with adaptive bit allocation and quantization |
| US5506623A (en) * | 1991-12-19 | 1996-04-09 | Sony Corporation | Data compression methods and systems with quantization distortion measurement means |
| US5241383A (en) * | 1992-05-13 | 1993-08-31 | Bell Communications Research, Inc. | Pseudo-constant bit rate video coding with quantization parameter adjustment |
| JP2940304B2 (ja) * | 1992-06-15 | 1999-08-25 | 松下電器産業株式会社 | 高能率符号化装置および高能率符号化方法および高能率符号化装置の復号装置 |
| US5291281A (en) * | 1992-06-18 | 1994-03-01 | General Instrument Corporation | Adaptive coding level control for video compression systems |
| JP2551305B2 (ja) * | 1992-09-11 | 1996-11-06 | 日本電気株式会社 | 動画像符号化制御方式 |
| US5543844A (en) * | 1992-11-25 | 1996-08-06 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for coding image data |
| US5426463A (en) * | 1993-02-22 | 1995-06-20 | Rca Thomson Licensing Corporation | Apparatus for controlling quantizing in a video signal compressor |
| BE1007807A3 (nl) * | 1993-11-30 | 1995-10-24 | Philips Electronics Nv | Inrichting voor het coderen van een videosignaal. |
-
1993
- 1993-11-30 BE BE9301321A patent/BE1007808A3/nl not_active IP Right Cessation
-
1994
- 1994-11-22 DE DE69412431T patent/DE69412431T2/de not_active Expired - Lifetime
- 1994-11-22 EP EP94203396A patent/EP0655868B1/en not_active Expired - Lifetime
- 1994-11-29 JP JP29488394A patent/JP3785199B2/ja not_active Expired - Lifetime
- 1994-11-29 US US08/346,941 patent/US5757434A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07203463A (ja) | 1995-08-04 |
| US5757434A (en) | 1998-05-26 |
| BE1007808A3 (nl) | 1995-10-24 |
| EP0655868A1 (en) | 1995-05-31 |
| DE69412431D1 (de) | 1998-09-17 |
| DE69412431T2 (de) | 1999-03-25 |
| EP0655868B1 (en) | 1998-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3785199B2 (ja) | 画像信号を符号化するためのデバイス | |
| US5606371A (en) | Video signal coding with proportionally integrating quantization control | |
| US5805224A (en) | Method and device for transcoding video signals | |
| US5956426A (en) | Multi-coding apparatus | |
| KR100766740B1 (ko) | 부호화 히스토리 정보를 이용하는 데이터 변환 장치 및 방법 | |
| EP0912063B1 (en) | A method for computational graceful degradation in an audiovisual compression system | |
| US6546050B2 (en) | Video encoding method and apparatus | |
| JP3358620B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP4156040B2 (ja) | 送信チャネルを介して複数のテレビジョン信号を送信する装置 | |
| KR20000071026A (ko) | 코딩 시스템내에서 속도 제어를 최적화하기 위한 장치 및 방법 | |
| US7373004B2 (en) | Apparatus for constant quality rate control in video compression and target bit allocator thereof | |
| US6314139B1 (en) | Method of inserting editable point and encoder apparatus applying the same | |
| JP3980659B2 (ja) | 動画像符号化方法及び装置、動画像復号化方法及び装置。 | |
| EP0520789B1 (en) | Video coder and coding method | |
| US7254176B2 (en) | Apparatus for variable bit rate control in video compression and target bit allocator thereof | |
| JPH1013826A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体 | |
| JPH11252572A (ja) | 符号量配分装置 | |
| JP3899552B2 (ja) | 画像データ圧縮装置およびその方法 | |
| JP2900927B2 (ja) | 符号化方法及び符号化装置 | |
| CN101409835A (zh) | 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置 | |
| JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
| JP3770466B2 (ja) | 画像符号化レート変換装置及び画像符号化レート変換方法 | |
| JP3899553B2 (ja) | 画像データ圧縮装置およびその方法 | |
| JP2001258028A (ja) | 映像符号化装置及び方法 | |
| JPH10191354A (ja) | 動画像符号化装置及び動画像復号化システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041221 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20051109 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20051115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090324 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140324 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |