JP3952509B2 - 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した媒体 - Google Patents
画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した媒体 Download PDFInfo
- Publication number
- JP3952509B2 JP3952509B2 JP53694297A JP53694297A JP3952509B2 JP 3952509 B2 JP3952509 B2 JP 3952509B2 JP 53694297 A JP53694297 A JP 53694297A JP 53694297 A JP53694297 A JP 53694297A JP 3952509 B2 JP3952509 B2 JP 3952509B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- encoding
- threshold value
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 47
- 230000008569 process Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 13
- 238000013139 quantization Methods 0.000 description 54
- 239000013598 vector Substances 0.000 description 42
- 238000006243 chemical reaction Methods 0.000 description 40
- 238000001514 detection method Methods 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 14
- 230000002457 bidirectional effect Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008707 rearrangement Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 102100031798 Protein eva-1 homolog A Human genes 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 102100022907 Acrosin-binding protein Human genes 0.000 description 1
- 101000756551 Homo sapiens Acrosin-binding protein Proteins 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
技術分野
本発明は画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した媒体に関し、特に画像を圧縮符号化して画像復号装置に伝送する場合に適用して好適なものである。
背景技術
画像符号化装置側で画像データを符号化・圧縮して伝送すると共に、画像復号化装置側で伝送されて来た画像データを伸張・復号化する通信システムや、画像データを圧縮して記録すると共に、再生時には圧縮された画像データを伸張して出力する圧縮画像記録再生装置等において、画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式が用いられている。この双方向予測符号化方式では、双方向予測を用いることで符号化効率を向上させている。双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化及び双方向予測符号化の３つのタイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチヤ（intra coded picture）、Ｐピクチヤ（predictive coded picture）及びＢピクチヤ（bidirectionally predictive coded picture）と呼ばれる。
ところで、上述のＭＰＥＧ規格で採用されている双方向予測符号化方式等を用いて画像データを圧縮符号化する画像符号化装置では、圧縮符号化された画像データを伸張する画像復号化装置の持つ入力バツフアの容量を破錠させないことを検証するために、画像復号化装置側の入力バツフアを画像符号化装置側から仮想的に考えた復号化保証用バツフアすなわちＶＢＶ（Video Buffering Verfier）バツフアを想定し、このＶＢＶバツフアのデータ占有量が許容値をオーバフロー又はアンダフローしないように、画像符号化装置におけるデータの発生量を制御している（オーム社発行の「テレビジヨン学会マルチメデイア選書 ＭＰＥＧ」の第１１５ページ参照）。
すなわち画像符号化装置から固定のビツトレートで符号化データを伝送する場合、図１に示すように、指定されたビツトレートで画像データのビツトストリームがＶＢＶバツフアに入力されるときに、このＶＢＶバツフア内のデータ占有量がアンダフロー及びオーバフローしないような状態で、ＶＢＶバツフアから画像データを発生させる。
画像復号装置においては、画像符号化装置から伝送されるビツトストリームをＶＢＶバツフアを通して１フレーム分の画像データを単位として復号化する。かくして画像符号化装置から伝送される符号化データのビツトレートが一定であつても、データ量が異なるピクチヤを確実に復号化できる。例えばフレーム内の画像データを用いて符号化したフレーム（すなわちイントラ符号化されたＩピクチヤは、時間的に前後のフレームから動き補償を用いて符号化されたフレーム（すなわちＰピクチヤ又はＢピクチヤ）に比してフレーム当たりの符号量が多いが、ＶＢＶバツフアアンダフローやオーバフローをしない状態で復号化ができれば、各ピクチヤを確実に復号化できる。
図１において、各線分ｘの傾きは伝送するデータストリームの固定ビツトレートを示し、当該各線分ｘの各位置ｘ1はＶＢＶバツフアにおけるデータ占有量を表している。また線分ｙは１フレーム分のデータがＶＢＶバツフアからＩピクチヤ、Ｂピクチヤ及びＰピクチヤとして読み出されたことにより、ＶＢＶバツフアのデータ占有量が急に減少することを示している。
ところが図２に示すように、所定のデータ占有量の範囲を越えるデータをもつたピクチヤがＶＢＶバツフアから発生したとき、ＶＢＶバツフアにアンダフローが発生する。このことは、目標符号発生量はレート制御によつて設定されてはいるが、伝送されて来た画像の複雑さや、動きの激しさによつて実際の符号発生量が目標符号発生量より大きくなつた場合に当該ピクチヤを復号するためのデータが不足（図中「０」以下の部分に相当）するので画像を復号できないことを意味する。
このＶＢＶバツフアの動作については、ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）13818-2（ＭＰＥＧ２のビデオパート）のAnnexＣに記述されているが、ＶＢＶバツフアにアンダフロー及びオーバフローが発生したときの画像復号装置の動作については記述されていない。
ＶＢＶバツフアにアンダフローが発生すること防止する方法として、ＶＢＶバツフアに固定のしきい値を設定し、ＶＢＶバツフア内のデータ占有量がこのしきい値を下回るようなピクチヤについてはスキツプする（画像に対する符号化処理を停止する）ことにより、ＶＢＶバツフアにアンダフローが発生することを防止する方法が提案されている。
ところがこの方法では、どの画像符号化タイプのピクチヤに対しても同じようにスキツプ処理が行われる可能性がある。この場合、特に復号の際の画質上最も重要な画像データを含むＩピクチヤはＰピクチヤ及びＢピクチヤより符号発生量（すなわちデータ量）が多いため、Ｐピクチヤ及びＢピクチヤよりもスキツプ処理される可能性が高くなることが考えられる。このようにＩピクチヤがスキツプされた場合には、スキツプされたＩピクチヤを予測画像とするＰピクチヤ及びＢピクチヤの画質に影響が及ぶため全体の画質が劣化するおそれがあつた。
発明の開示
本発明は以上の点を考慮してなされたもので、画質を劣化させずに復号化保証用バツフアにおけるアンダフローの発生を防止することができる画像符号化装置及び画像符号化方法を提案しようとするものである。
かかる課題を解決するため本発明においては、入力画像信号を符号化処理して得た符号化画像データを復号手段の入力バツフアに所定のビツトレートで伝送する画像符号化装置において、入力画像信号をＩピクチヤ、Ｐピクチヤ又はＢピクチヤを構成する符号化画像データに符号化処理して入力バツフアに伝送する符号化手段と、入力バツフアを復号化保証用の仮想バツフアとして、当該仮想バツフアのデータ占有量を判定するために、Ｉピクチヤ、Ｐピクチヤ及びＢピクチヤの符号化処理に対応する第１のしきい値、第２のしきい値及び第３のしきい値を設定し、符号化手段によつてＩピクチヤ、Ｐピクチヤ又はＢピクチヤの符号化処理時の発生符号量が、当該Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤの復号時における仮想バツフアのデータ占有量が第１のしきい値、第２のしきい値又は第３のしきい値より下回わる関係になつたとき、現在実行している符号化処理を停止するように符号化手段をスキツプ制御する制御手段とを具え、第１のしきい値、第２のしきい値及び第３のしきい値の値は、当該第１のしきい値、第２のしきい値及び第３のしきい値の順に高くなるように設定されている。
かくして画質に対する影響を極力抑えながら、画像復号化装置における入力バツフアに対応する仮想的なバツフアのアンダフローを防止することができるという効果を奏する。
【図面の簡単な説明】
図１はＶＢＶバツフアにおけるデータ占有量の推移の説明に供する略線図である。
図２はＶＢＶバツフアにおけるアンダフローの説明に供する略線図である。図３は本発明の第１の実施の形態である画像符号化装置及び画像復号装置の概略構成を示すブロツク図である。
図４はＶＢＶバツフアにおけるデータ占有量が第１のしきい値を下回つた場合のデータ占有量の推移の説明に供する略線図である。
図５はＶＢＶバツフアにおけるデータ占有量が第２のしきい値を下回つた場合のデータ占有量の推移の説明に供する略線図である。
図６はＶＢＶバツフアにおけるデータ占有量が第３のしきい値を下回つた場合のデータ占有量の推移の説明に供する略線図である。
図７は符号化制御回路の動作の説明に供するフローチヤートである。
図８は本発明の第２の実施の形態である画像符号化装置の概略の構成を示すブロツク図である。
図９は図８の画像符号化装置の詳細な構成を示すブロツク図である。
図１０は図９の符号化制御部の動作の説明に供するフローチヤートである。
発明を実施するための最良の形態
（1） 第１の実施の形態
図３において、１は全体として画像符号化装置を示し、入力端子Ｗ１から入力した入力画像信号Ｓ１が画像タイプ指定回路２に入力される。
画像タイプ指定回路２は入力される画像信号Ｓ１の各フレームをＩピクチヤ、Ｐピクチヤ又はＢピクチヤのうちのどの画像符号化タイプのピクチヤとして処理するかを指定して画像符号化並替え回路３に送出する。この画像符号化装置１は、例えば15個のフレームをグループ・オブ・ピクチヤ（ＧＯＰ）として、これを１単位として符号化処理を実行する。
画像符号化順序並替え回路３は指定された画像符号化タイプに従つて各フレームを符号化する順番に並び替えて画像信号Ｓ２としてスキヤンコンバータ４に送出すると共に、画像符号化タイプデータＳ３を予測モード決定回路５、動きベクトル検出回路６及び符号化制御回路７に送出する。また画像符号化並替え回路３は現在符号化されているフレームの動きベクトルを検出するために現在画像と、当該現在画像より時間的に過去にある画像（以下、これを過去参照画像と呼ぶ）及び又は現在画像より時間的に未来にある画像（以下、これを未来参照画像と呼ぶ）とを表す画像信号Ｓ４を動きベクトル検出回路６に送出する。
スキヤンコンバータ４は、入力されるフレームをブロツクフオーマツトの信号に変換し、この１フレームの信号を16ラインを１単位としてＮ個のスライスに区分する。各スライスは16×16の画素に対応する輝度信号によつて構成されるＭ個のマクロブロツクに分割される。これら各マクロブロツクにはアドレス（可変長符号（インクリメント値））が付加されており、このアドレスは各マクロブロツクの位置を表すものである。この場合、ピクチヤ中で最初に伝送されるマクロブロツクのアドレスは番号そのものを表し、これに続くマクロブロツクのアドレスは、当該マクロブロツクの絶対アドレスとその１つ前に伝送されたマクロブロツクの絶対アドレスとの差を表している。
動きベクトル検出回路６は画像信号Ｓ２の各フレームに同期した画像符号化タイプデータＳ３に従つて各フレームの画像データをフレーム内符号化によるＩピクチヤ、フレーム間順方向予測符号化によるＰピクチヤ又は双方向予測符号化によるＢピクチヤとして処理する。かくして、Ｉピクチヤとして処理されるフレームの画像データは、動きベクトル検出回路６から過去参照画像を格納する過去参照画像メモリ（図示せず）に格納され、Ｂピクチヤとして処理されるフレームの画像データは現在画像を格納する現在画像メモリ（図示せず）に格納され、Ｐピクチヤとして処理されるフレームの画像データは未来参照画像を格納する未来参照画像メモリ（図示せず）に格納される。
ここで次のタイミングにおいて、Ｂピクチヤ又はＰピクチヤとして処理すべきフレームが動きベクトル検出回路６に入力されたとき、これまでに未来参照画像メモリに格納されていた最初のＰピクチヤの画像データは過去参照画像メモリに格納される。また次のＢピクチヤの画像データは現在画像メモリに格納され、次のＰピクチヤの画像データは未来参照画像メモリに格納される。以降このような動作が順次繰り返される。
動きベクトル検出回路６は順方向予測における動きベクトル及びそのときの動きベクトル推定残差でなる動きベクトルデータＳ５を予測モード決定回路５に送出する。また動きベクトル検出回路６は、Ｂピクチヤの場合には、逆方向予測における動きベクトル及びそのときの動きベクトル推定残差でなる動きベクトルデータＳ５を送出する。
予測モード決定回路５はイントラモード、順方向予測モード、逆方向予測モード又は双方向予測モードのうちどの予測モードを選択するかを決定する。
ここでイントラモードは、符号化対象となるフレームの画像データをそのまま伝送データとして伝送する処理であり、順方向予測モードは、過去参照画像との予測残差と順方向動きベクトルとを伝送する処理である。また逆方向予測モードは、未来参照画像との予測残差と逆方向動きベクトルとを伝送する処理であり、双方向予測モードは、過去参照画像と未来参照画像の２つの予測画像の平均値との予測残差と順方向及び逆方向の２つの動きベクトルとを伝送する処理である。Ｂピクチヤの場合には、これら４種類の予測モードをマクロブロツク単位で切り換える。
予測モード決定回路５は画像符号化並替え回路３から送出される画像符号化タイプデータＳ３に基づいて、Ｉピクチヤの場合にはイントラモードを選択し、Ｐピクチヤの場合にはイントラモード又は順方向予測モードのいずれかの予測モードを選択し、Ｂピクチヤの場合には、イントラモード、順方向予測モード、逆方向予測モード又は双方向予測モードのうちいずれかの予測モードを選択し、選択した予測モードを表す予測モードデータＳ６を演算回路８に送出する。
演算回路８はスキヤンコンバータ４より読み出されたマクロブロツクＳ７に対して、予測モードデータＳ６に基づいてイントラ、順方向予測、逆方向予測又は双方向予測の演算を行う。
演算回路８はマクロブロツクＳ７としてＩピクチヤとして処理すべきフレームの画像データが入力された場合、当該画像データをイントラ符号化してＤＣＴ（Discrete Cosine Transform、離散コサイン変換）変換回路９に送出する。ＤＣＴ変換回路９はイントラ符号化された画像データをＤＣＴ変換係数に変換して量子化回路１０に送出する。
量子化回路１０は各ＤＣＴ変換係数を符号化制御回路７から指定された量子化ステツプで量子化して可変長符号化回路１１及び逆量子化回路１２に送出する。
可変長符号化回路１１は量子化された画像データ、予測モード決定回路５から送出される予測モードデータＳ６及び動きベクトル検出回路６から送出される動きベクトルデータＳ５を例えばハフマン符号などの可変長符号に変換して伝送路（図示せず）を介して画像復号装置１３に伝送すると共に、符号化制御回路７に与える。また可変長符号化回路１１は各マクロブロツクのインクリメント値をカウントする。
逆量子化回路１２は量子化された画像データを量子化時における量子化ステツプに応じて逆量子化して逆ＤＣＴ変換回路１４に送出する。逆ＤＣＴ変換回路１４は逆量子化回路１２からの出力を逆ＤＣＴ変換処理をする。逆ＤＣＴ変換回路１４からの出力は演算器１５を介してフレームメモリ１６内の過去参照画像を格納する過去参照画像記憶部（図示せず）に格納される。
次に演算回路８にスキヤンコンバータ４からＰピクチヤとして処理すべきフレームの画像データが入力され、予測モード決定回路５から送出される予測モードデータＳ６がイントラモードの場合、当該フレームの画像データは、上述のＩピクチヤの場合と同様にイントラ符号化されてＤＣＴ変換回路９、量子化回路１０及び可変長符号化回路１１を介して画像復号装置１３に伝送されると共に、符号化制御回路７に与えられ、さらに逆量子化回路１２、逆ＤＣＴ変換回路１４及び演算器１５を介してフレームメモリ１６内の未来参照画像を格納する未来参照画像記憶部（図示せず）に格納される。
予測モードデータＳ６が順方向予測モードを表している場合には、フレームメモリ１６の過去参照画像記憶部に格納されている画像データ（この場合Ｉピクチヤの画像データ）が読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される順方向の動きベクトルデータＳ５に対応して動き補償する。
すなわち動き補償回路１７は、順方向予測モードの場合、フレームメモリ１６の過去参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から順方向の動きベクトルデータＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータＳ７から、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データを減算して、予測残差としての差分データを得、この差分データをＤＣＴ変換回路９に送出する。この差分データはＤＣＴ変換回路９、量子化回路１０及び可変長符号化回路１１を介して画像復号装置１３に伝送されると共に、符号化制御回路７に与えられる。またこの差分データは逆量子化回路１２及び逆ＤＣＴ変換回路１４によつて局所的に復号されて演算器１５に送出される。
演算器１５は逆ＤＣＴ変換回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算する。これにより局所的に復号したＰピクチヤの画像データが得られる。このＰピクチヤの画像データはフレームメモリ１６内の未来参照画像を格納する未来参照画像記憶部に格納される。
次に演算回路８にスキヤンコンバータ４からＢピクチヤとして処理すべきフレームの画像データが入力され、予測モード決定回路５から送出される予測モードデータＳ６がイントラモード又は順方向予測モードの場合、当該フレームの画像データは上述のＰピクチヤの場合と同様に処理される。これに対して予測モードデータＳ６が逆方向予測モードに設定された場合には、フレームメモリ１６の未来参照画像記憶部に格納されている画像データ（この場合Ｐピクチヤの画像データ）が読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される逆方向の動きベクトルデータＳ５に対応して動き補償する。
すなわち動き補償回路１７は、逆方向予測モードのとき、フレームメモリ１６の未来参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から動きベクトルデータＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータから、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データを減算して予測残差としての差分データを得、この差分データをＤＣＴ変換回路９に送出する。
このとき、演算器１５は逆ＤＣＴ変換回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算することにより、局所的に復号したＢピクチヤの画像データを得る。
双方向予測モードの場合には、フレームメモリ１６の過去参照画像記憶部に格納されている画像データ（この場合Ｉピクチヤの画像データ）と、未来参照画像記憶部に格納されている画像データ（この場合Ｐピクチヤの画像データ）とが読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される順方向の動きベクトル及び逆方向の動きベクトルでなる動きベクトルデータＳ５に対応して動き補償する。
すなわち動き補償回路１７は、双方向予測モードの場合、フレームメモリ１６の過去参照画像記憶部と未来参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から順方向の動きベクトル及び逆方向の動きベクトルでなる動きベクトルデータＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータから、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データの平均値を減算して予測残差としての差分データを得、この差分データをＤＣＴ変換回路９に送出する。
このとき、演算器１５は逆ＤＣＴ変換回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算することにより、局所的に復号したＢピクチヤの画像データを得る。ここでＢピクチヤは他の画像の予測画像として使用されないので、フレームメモリ１６には格納されない。
画像復号装置１３は画像符号化装置１から固定のビツトレートで伝送されるビツトストリームをデコーダバツフア１８に一旦格納した後、所定のタイミングで当該デコーダバツフア１８から１フレーム分の画像データを読み出して復号部１９において順次復号し、復号されたフレームを原画像の順序に並び替えて例えばデイスプレイ上に表示させる。
ここでデコーダバツフア１８は、画像符号化装置１から仮想的に考えた復号化保証用バツフア（すなわちＶＢＶバツフア）を構成し、画像符号化装置１は、復号部１９がデコーダバツフア１８から画像データを読み出すタイミングが分かるようになされている。
この実施例の場合、符号化制御回路７は可変長符号化回路１１から送出される可変長符号化された画像データの符号発生量をマクロブロツク単位で演算すると共にインクリメント値をカウントする。また符号化制御回路７は目標符号化発生量を表す量子化ステツプ制御信号Ｓ８を量子化回路１０に与えることにより１フレーム当たりの符号発生量を制御する。
さらに符号化制御回路７はＶＢＶバツフアとして機能するデコーダバツフア１８におけるデータ占有量のしきい値として、第３のしきい値、第２のしきい値及び第１のしきい値を有する。これら第３、第２及び第１のしきい値は、それぞれＢピクチヤ、Ｐピクチヤ及びＩピクチヤに対応している。またこれらしきい値の値は、画像を復号する際の画像符号化タイプの重要度の低い順に高くなるように、第３のしきい値＞第２のしきい値＞第１のしきい値に設定されている。かくして、符号化制御回路７は、Ｂピクチヤが符号化されているときに、可変長符号化回路１１から送出される画像データの符号発生量に基づき、デコーダバツフア１８よつて形成されるＶＢＶバツフアにおけるデータ占有量が第３のしきい値を下回るような符号量を有する画像データが発生した場合には、量子化回路１０にスキツプ実行信号Ｓ９を送出して、当該符号化中のＢピクチヤのこれ以降の画像データをマクロブロツク単位でスキツプさせその結果データ占有量の傾下を抑えるようになされている。
ここで、スキツプするとは、現在実行されている符号化処理を停止させることをいう。
このような処理をしたとき、デコーダバツフア１８によつて形成されるＶＢＶバツフア１８におけるデータ占有量は、図４に示すように推移する。図４に示す太線部分は、画像データがスキツプされたことを示し、図５及び図６についても同様である。
この場合、量子化回路１０はスキツプ信号Ｓ９を受けると、内部に設けられたスキツプスイツチをオン動作させることにより画像データをスキツプする。この場合、符号化制御回路７はスキツプするマクロブロツクについてのアドレス情報Ｓ１０を可変長符号化回路１１に送出する。量子化回路１０からの符号（ビツト）発生はなくなる。また量子化回路１０は画像データをスキツプしない場合には、スキツプスイツチをオフ動作させることにより画像データを量子化する。
ここで符号化制御回路７は、画像復号装置１３の復号部１９がデコーダバツフア１８からデータを読み出すタイミングを知つており、しかも可変長符号化回路１１からの送出される画像データの符号発生量を演算し、これによりデコーダバツフア１８に現在格納されているデータ量を知ることができる。
可変長符号化回路１１は画像データがスキツプされていない場合には、インクリメント値をカウントすると共にアドレス情報と共に画像データを符号化制御回路７及び画像復号装置１３に伝送する。これに対して可変長符号化回路１１は、画像データがスキツプされた場合には、インクリメント値はカウントするがスキツプされたマクロブロツクについてのアドレス情報は出力せず、行及び列方向に並べられた複数のマクロブロツクの行方向における最初のマクロブロツクのアドレス情報（以下、これを先頭アドレス情報と呼ぶ）と、行方向における最後のマクロブロツクのアドレス情報（以下、これを最終アドレス情報と呼ぶ）だけは可変長符号化して符号化制御回路７及び画像復号装置１３に伝送する。
これにより符号化制御回路７及び画像復号装置１３はどの画像符号化タイプの画像データがスキツプされたかを知ることができる。ここで可変長符号化回路１１に対する先頭アドレス情報及び最終アドレス情報の指定は、符号化制御回路７が指定信号Ｓ１０を可変長符号化回路１１に送出することにより行われる。
また符号化制御回路７は、Ｐピクチヤが符号化されているときに、可変長符号化回路１１から送出される画像データの符号発生量に基づき、デコーダバツフア１８におけるデータ占有量が第２のしきい値を下回るような符号発生量を有する画像データが発生した場合には、量子化回路１０にスキツプ実行信号Ｓ９を送出して、当該符号化中のＰピクチヤのこれ以降の画像データをマクロブロツク単位でスキツプさせる。
ここで符号化制御回路７は、Ｐピクチヤをスキツプさせた場合には、デコーダバツフア１８におけるデータ占有量がそれぞれ対応するしきい値を越えている場合でも、当該スキツプされたＰピクチヤを予測画像として復号化の際に用いるＢピクチヤ及びＰピクチヤは全てスキツプさせるようになされている。これは、図５に示すように、ＰピクチヤＰ3が前のＰピクチヤＰ2を予測画像としているためである。すなわちＰピクチヤＰ2は符号化の途中からスキツプされているため、画像データとしては不十分なものとなり、このＰピクチヤＰ2を用いて復号化される復号後のＰピクチヤＰ3の画質が劣化するからである。このことはＢピクチヤＢ5及びＢピクチヤＢ6についても同様である。従つて次のＩピクチヤの符号化まで画像データがスキツプされている。
また図５において、ＢピクチヤＢ3、ＢピクチヤＢ4、ＰピクチヤＰ3、ＢクピチヤＢ5及びＢピクチヤＢ6がそれぞれスキツプされているのにもかかわらず、データ量が太線の分だけ減つているのは、上述した先頭アドレス情報及び最終アドレス情報が読み出されているからである。このことは図６についても同様である。
さらに符号化制御回路７は、Ｉピクチヤが符号化されているときに、可変長符号化回路１１から送出される画像データの符号発生量に基づき、デコーダバツフア１８におけるデータのバツフア占有量が第１のしきい値を下回るような符号量を有する画像データが発生した場合、量子化回路１０にスキツプ実行信号Ｓ９を送出して、当該符号化中のＩピクチヤのこれ以降の画像データをマクロブロツク単位でＤＣ成分のみのマクロブロツクとして符号化する。この場合、符号化制御回路７は次のＩピクチヤの符号化までＢピクチヤ及びＰピクチヤをスキツプさせるように量子化回路１０を制御する。
これは、図６に示すように、例えばＰピクチヤＰ2は前のＩピクチヤＩ1を予測画像としているためである。すなわちＩピクチヤＩ1は符号化の途中からＤＣ成分のみの符号化とされているため、画像データとしては不十分なものとなり、このＩピクチヤＩ1を用いて復号化される復号後のＰピクチヤＰ2の画質が劣化するからである。このことは、ＩピクチヤＩ1やＰピクチヤＰ2を復号化の際に用いるＢピクチヤＢ3、ＢピクチヤＢ4、ＢピクチヤＢ5及びＢピクチヤＢ6についても同様である。従つて次のＩピクチヤの符号化まで画像データがスキツプされている。
ここで図４〜図６に示す太線は、結果としてスキツプされたマクロブロツク又はＤＣ成分のみのイントラマクロプロックで構成されることになる。
また符号化制御回路７は、上述のように画像データをスキツプさせた場合、スキツプさせた分だけ、以降の画像データに対する目標符号発生量を多く割り当てるように、目標符号発生量制御信号Ｓ８によつて量子化回路１０を制御する。この場合、符号化制御回路７は画像を復号する際の重要度が高い画像符号化タイプ、すなわちＩピクチヤ、Ｐピクチヤの順に目標符号発生量を多く割り当てる。
画像復号装置１３は、画像符号化装置１でピクチヤがスキツプされた場合でも、伝送されてくるアドレス情報に基づいてどのマクロブロツクがスキツプされたかを判別することができ、これによりスキツプされた場合には、前のフレームをそのまま表示するようになされている。
符号化制御回路７の動作について図７を用いて説明する。
符号化制御回路７は、ステツプＳＰ１より動作を開始して、ステツプＳＰ２において、これから符号化するピクチヤ（以下、これを符号化対象ピクチヤと呼ぶ）がどの画像符号化タイプかを画像符号化並替え回路３から送出される画像符号化タイプデータＳ３に基づいて判定した後、ステツプＳＰ３に進む。
符号化制御回路７は、ステツプＳＰ３において、スキツプ判定フラグがセツトされているピクチヤ（以下、これをスキツプピクチヤと呼ぶ）の画像符号化タイプと、符号化対象ピクチヤの画像符号化タイプとに基づいて、符号化対象ピクチヤをスキツプするか否かを判定する。ここでスキツプ判定フラグは、後述するように、スキツプピクチヤに対して設定されるフラグを表す。
このステツプＳＰ３において、符号化対象ピクチヤをスキツプするか否かを判定するのは、スキツプピクチヤが符号化対象ピクチヤの予測画像であるか否かを判定するためである。すなわち上述したように、符号化対象ピクチヤの予測画像がスキツプされている場合には、この予測画像を用いて復号化されるピクチヤの画質に影響を与えるため、符号化対象ピクチヤを符号化しているときに、デコーダバツフア１８におけるデータ占有量が当該符号化対象ピクチヤの画像符号化タイプに対応するしきい値を下回つていない場合でもスキツプさせる必要があるからである。例えばＰピクチヤＰ3（図５）を符号化対象ピクチヤとした場合、当該ＰピクチヤＰ3の予測画像となるＰピクチヤＰ2はスキツプされているからである。
ステヅプＳＰ３において、符号化制御回路７が否定結果を得ると、ステツプＳＰ４に進み、スキツプ判定フラグをリセツトする。ここでスキツプ判定フラグをリセツトするのは、ステツプ判定フラグをセツトしたままであると、スキツプを行つてはならないピクチヤの画像データがスキツプされることを防止するためである。
続いて符号化制御回路７はステツプＳＰ５において目標符号発生量を計算した後、ステツプＳＰ６に進んで符号化対象ピクチヤをマクロブロツク単位で符号化させる。次に符号化制御回路７はステツプＳＰ７において、デコーダバツフア１８における現在のデータ占有量を計算した後、ステツプＳＰ８に進む。
ステツプＳＰ８において、符号化制御回路７は、ステツプＳＰ７において計算したデコーダバツフア１８におけるデータ占有量が符号化対象ピクチヤに対応するしきい値を下回つているか否かを判定し、否定結果を得ると、ステツプＳＰ９に進む。ステツプＳＰ９において、符号化制御回路７は、符号化対象ピクチヤについて１フレーム分符号化されたか否かを判定し、否定結果を得るとステツプＳＰ６に戻つて、ステツプＳＰ６からステツプＳＰ９までの処理ループを実行する。
符号化制御回路７は、ステツプＳＰ３において符号化対象ピクチヤをスキツプさせると判定した場合にはステツプＳＰ１０に進み、先頭アドレス情報及び最終アドレス情報を除いて当該符号化対象ピクチヤをスキツプさせ、符号化対象ピクチヤがＩピクチヤの場合にはＤＣ成分のみのマクロブロツクとして符号化させる。また符号化制御回路７は、ステツプＳＰ８においてデコーダバツフア１８におけるデータ占有量が符号化対象ピクチヤに対応するしきい値を下回つた場合には、これ以降の符号化対象ピクチヤの画像データをマクロブロツク単位でスキツプさせる。
続いて符号化制御回路７は、ステツプＳＰ１１に進んで、符号化対象ピクチヤについて１フレーム分の符号化が終了したか否かを判定する。
符号化制御回路７はステツプＳＰ１１において否定結果を得ると、ステツプＳＰ１０に戻つて、ステツプＳＰ１０及びステツプＳＰ１１の処理ループを実行し、肯定結果を得るとステツプＳＰ１２に進む。ステツプＳＰ１２において、符号化制御回路７は、スキツプしたピクチヤに対して、対応するスキツプ判定フラグをセツトした後、ステツプＳＰ２に戻り、画像信号Ｓ１を全て処理するまで上述の動作を繰り返す。
以上の構成において、この画像符号化装置１では、可変長符号化回路１１からの画像データの符号発生量に基づき、Ｂピクチヤを符号化しているときに、デコーダバツフア１８におけるデータ占有量が第３のしきい値を下回るような符号量を有する画像データが発生した場合には、当該符号化中のＢピクチヤのこれ以降の画像データがマクロブロツク単位でスキツプされるので、デコーダバツフア１８において次のＰピクチヤの画像データのためのＶＢＶバツフアのデータ占有量が確保される。
またこの画像符号化装置１では、可変長符号化回路１１からの画像データの符号発生量に基づき、Ｐピクチヤを符号化しているときに、デコーダバツフア１８におけるデータ占有量が第２のしきい値を下回るような符号量を有する画像データが発生した場合には、当該符号化中のＰピクチヤのこれ以降の画像データがマクロブロツク単位でスキツプされるので、デコーダバツフア１８においてＩピクチヤの画像データのためのＶＢＶバツフアのデータ占有量が確保される。
またＰピクチヤがスキツプされた場合には、当該Ｐピクチヤを予測画像とするＰピクチヤ及びＢピクチヤが全てスキツプされるので、画質の劣化を防止することができる。
さらにこの画像符号化装置１では、可変長符号化回路１１からの画像データの符号発生量に基づき、Ｉピクチヤを符号化しているときに、デコーダバツフア１８におけるデータ占有量が第１のしきい値を下回るような符号量を有する画像データが発生した場合には、当該符号化中のＩピクチヤのこれ以降の画像データがマクロブロツク単位でスキツプされるので、デコーダバツフア１８において次のＩピクチヤの画像データのためのＶＢＶバツフアのデータ占有量が確保される。またＩピクチヤがスキツプされた場合には、次のＩピクチヤの符号化時まで全てのＰピクチヤ及びＢピクチヤがスキツプされるので、画質の劣化を防止することができる。
従つてこの画像符号化装置１では、画像を復号化する際の重要度が低い画像符号化タイプのピクチヤを優先的にスキツプさせているので、デコーダバツフア１８において、次に重要度の高い画像符号化タイプのピクチヤのためのＶＢＶバツフアのデータ占有量を確保することができる。
またこの画像符号化装置１では、画像を復号する際の重要度が低い画像符号化タイプのピクチヤを優先的にスキツプさせているので、画像を復号する際の重要度が高い画像符号化タイプのピクチヤに対してスキツプさせた分だけ目標符号発生量を多く割り当てることができ、画質の劣化を防止し得る。この場合、画像の絵柄が複雑なときには特に有効である。
さらに符号化装置１側で画像復号装置１３側の画像のフリーズ状態を制御することができる。
以上の構成によれば、ＶＢＶバツフアにおけるデータ占有量のしきい値として、Ｂピクチヤ、Ｐピクチヤ及びＩピクチヤにそれぞれ対応させて第３のしきい値、第２のしきい値及び第１のしきい値を設定すると共に、第３のしきい値、第２のしきい値、第１のしきい値の順にしきい値の値が大きくなるようにこれら第３、第２及び第１のしきい値の値を設定することにより、画像を復号する際の重要度の低い画像符号化タイプのピクチヤを優先的にスキツプさせる。
これにより、ＶＢＶバツフアにおいて、画像を復号化する際の重要度が高い画像符号化タイプのピクチヤのデータ占有量を優先的に確保することができ、その結果、画質を劣化させずにＶＢＶバツフアにおけるアンダフローの発生を確実に防止することができる画像符号化装置を実現し得る。
なお上述の第１の実施の形態においては、可変長符号化回路１１における符号化方式としてハフマン符号を用いた場合について述べたが、本発明はこれに限らず、可変長符号化回路１１における符号化としてこの他種々の符号化方式を適用し得る。
また上述の第１の実施の形態においては、例えば15個のフレームをグループ・オブ・ピクチヤ（ＧＯＰ）としこれを１単位として処理するようにした場合について述べたが、本発明はこれに限らず、ＧＯＰを構成するフレームの数としてこの他種々の数でＧＯＰを構成してもよい。
さらに上述の第１の実施の形態においては、各画像をフレーム単位で符号化した場合について述べたが、本発明はこれに限らず、フイールド単位、又はフレーム単位とフイールド単位を混在させて符号化するようにしてもよい。すなわちノンインタレース走査方式に対応させ得るようにしてもよい。
さらに上述の第１の実施の形態においては、符号化対象となる画像の画像符号化タイプを判定する画像符号化タイプ判定手段として、画像符号化並替え回路３及び符号化制御回路７を用いた場合について述べたが、本発明はこれに限らず、画像符号化タイプ判定手段として、この他種々の画像符号化タイプ判定手段を適用し得る。
さらに上述の第１の実施の形態においては、画像符号化タイプ判定手段の出力に基づいて、第１、第２又は第３の画像を符号化する符号化手段として、画像符号化タイプ指定回路２、画像符号化順序並替え回路３、スキヤンコンバータ４、予測モード決定回路５、動きベクトル検出回路６、符号化制御回路７、演算回路８、ＤＣＴ変換回路９、量子化回路１０、可変長符号化回路１１、逆量子化回路１２、逆ＤＣＴ変換回路１４、演算器１５、フレームメモリ１６及び動き補償回路１７を用いた場合について述べたが、本発明はこれに限らず、符号化手段としてこの他種々の第１の符号化手段を適用し得る。
さらに上述の第１の実施の形態においては、符号化された画像の符号発生量を演算し、当該演算結果に基づき、画像復号装置のバツフアにおける符号化された画像のデータ占有量が、第１、第２及び第３の画像にそれぞれ対応させて設定されたデータ占有量の第１、第２及び第３のしきい値のうち、現在符号化されている第１、第２又は第８の画像に対応する第１、第２又は第３のしきい値を下回るような符号発生量が発生した場合、現在符号化されている第１、第２又は第３の画像に対する符号化処理を停止させるように、符号化手段を制御する符号化制御手段として、符号化制御回路７を用いた場合について述べたが、本発明はこれに限らず、符号化制御手段としてこの他種々の符号化制御手段を適用し得る。
さらに上述の第１の実施の形態においては、画像データを３つの符号化タイプ、すなわちＩピクチヤ、Ｐピクチヤ及びＢピクチヤの画像に符号化するようにしたが、本発明はこれに限らず、３つの符号化タイプのうちから２つの符号化タイプ、すなわちＩピクチヤ及びＰピクチヤ、又はＩピクチヤ及びＢピクチヤを用いて画像を符号化するようにしても、上述の第１の実施の形態と同様の効果を得ることができる。
因に、ＶＢＶバツフアにおけるデータ占有量のしきい値として、Ｉピクチヤに対応する第１のしきい値を設定すると共に、Ｐピクチヤ又はＢピクチヤに対応する第２又は第３のしきい値として第１のしきい値より大きい値のしきい値を設定するようにしたことにより、画像を復号化する際にＩピクチヤより重要度の低いＰピクチヤ又はＢピクチヤを優先的にスキツプさせることができる。
これにより、ＶＢＶバツフアにおいて、画像を復号化する際の重要度が高い画像符号化タイプのピクチヤのデータ占有量を優先的に確保することができ、その結果、画質を劣化させずにＶＢＶバツフアにおけるアンダフローの発生を確実に防止することができる画像符号化装置を実現し得る。
（2） 第２の実施の形態
図８において、画像符号化装置２５は、入力画像信号Ｓ２５をエンコーダ制御部２６において圧縮符号化のための前処理等の処理をした後、ＦＩＦＯ（先入れ先出し）メモリ２７において出力データを所定時間だけ遅延する。このＦＩＦＯメモリ１２の出力データは符号化手段としてのエンコーダ２８によつて、ピクチヤごとに画像符号化タイプ、すなわちピクチヤタイプに応じた符号化方法によつて圧縮符号化されて、圧縮画像データＳ２６として出力される。
エンコーダ２８には動き検出回路３０によつてエンコーダ制御部２６の出力データに基づいて検出された動きベクトルが与えられ、かくしてエンコーダ２８から出力される発生ビツト量データＳ２７と、エンコーダ制御部２６から出力されるイントラＡＣデータＳ２８と、動き検出回路３０から出力されるＭＥ残差データＳ２９とに基づいて符号化制御部３１によつて制御される。
図８に示す画像符号化装置２５は、圧縮符号化する前の画像データの特徴に基づいて発生符号量の制御を行うフイードフオワード型のレート制御を行うように構成されている。
ここで、ＭＥ残差とは、動き予測誤差をピクチヤ全体について絶対値和あるいは自乗和したものであり、ＭＥ残差データＳ２９は、ＭＥ残差を求めるためのデータである。
符号化制御部３１は、互いにバス３２を介して接続されたＣＰＵ（中央処理装置）３３、ＲＯＭ（read only memory）３４及びＲＡＭ（randam access memory）３５を有するコンピユータによつて構成され、ＣＰＵ３３が、ＲＡＭ３５をワーキングエリアとして、ＲＯＭ３４に格納されたプログラムを実行することによつて、符号化制御部３１における各機能を実現する。ＲＯＭ３４は、本発明に係る画像符号化制御用プログラムを記憶したものであり、ＩＣ（集積回路）でも良いし、ハードデイスク、フロツピイデイスク等の磁気デイスクを記録媒体とする記憶装置でも良いし、ＣＤ（コンパクトデイスク）−ＲＯＭ等の光デイスクを記録媒体とする記憶装置でも良いし、その他の種類の記録媒体を用いる記憶装置でも良い。いずれの場合にも、ＩＣや種々の記録媒体は、本発明にかかる画像符号化制御用プログラムを記録した媒体に相当する。
エンコーダ制御部２６は、図９に示すように、入力画像信号Ｓ２５を入力し、符号化する順番に従つてピクチヤ（Ｉピクチヤ、Ｐピクチヤ、Ｂピクチヤ）の順番を並べ替える画像並べ替え回路４１と、この画像並べ替え回路４１の出力データを入力し、フレーム構造かフイールド構造かを判別し、判別結果に応じた走査変換及び１６×１６画素のマクロブロツク化を行う走査変換・マクロブロツク化回路４２と、この走査変換・マクロブロツク化回路４２の出力データを入力し、ＩピクチヤにおけるイントラＡＣを算出し、イントラＡＣデータＳ２８を符号化制御部３１に送ると共に、走査変換・マクロブロツク化回路４２の出力データをＦＩＦＯメモリ２７及び動き検出回路３０に送るイントラＡＶ演算回路４３とを有する。
ここで、イントラＡＣは、Ｉピクチヤにおいて、８×８画素のＤＣＴ変換（離散コサイン変換）ブロツク内の各画素の画素値とＤＣＴ変換ブロツク内の画素値の平均値との差分の絶対値の総和として定義され、絵柄の複雑さを表すものである。
エンコーダ２８は、減算回路４４において、ＦＩＦＯメモリ２７の出力データと予測画素データとの差分をとり、この減算回路４４の出力データに対して、ＤＣＴ変換回路４５においてＤＣＴ変換ブロツク単位でＤＣＴ変換を行うことにより、ＤＣＴ変換係数を出力し、このＤＣＴ変換回路４５の出力データを量子化回路４６によつて量子化した後、可変長符号化回路４７によつて可変長符号化する。この可変長符号化回路４７の出力データはバツフアメモリ４８によつて一旦保持され、一定のビツトレートのビツトストリームからなる圧縮画像データＳ２６として出力される。
量子化回路４６の出力データは逆量子化回路４９によつて逆量子化され、この逆量子化回路４９の出力データに対して逆ＤＣＴ変換回路５０が逆ＤＣＴ変換を行う。この逆ＤＣＴ変換回路５０の出力データは加算回路５１によつて予測画像データとを加算され、この加算回路５１の出力データを動き補償回路５２において保持し、動き検出回路３０から送られる動きベクトルに応じて動き補償を行つて予測画像データを減算回路４４及び加算回路５１に出力する。
バツフアメモリ４８は、可変長符号化回路４７より発生されるビツト量を表す発生ビツト量データＳ２７を符号化制御部３１に送るようになつている。
動き検出回路３０は、エンコーダ制御部２６の出力データに基づいて、圧縮符号化の対象となるピクチヤの注目マクロブロツクと、参照されるピクチヤにおいて注目マクロブロツクとの間の画素値の差分の絶対値和又は自乗和が最小となるマクロブロツクを探して、動きベクトルを検出して動き補償回路５２に送る。また、動き検出回路３０は、動きベクトルを求める際に、最小となつたマクロブロツク間における画素値の差分の絶対値和又は自乗和を、ＭＥ残差データＳ２９として符号化制御部３１に送る。
符号化制御部３１は、動き検出回路３０からのＭＥ残差データＳ２９をピクチヤ全体について足し合わせた値であるＭＥ残差をＭＥ残差計算部６１において算出し、このＭＥ残差計算部６１によつて算出されたＭＥ残差とイントラＡＣ演算回路４３からのイントラＡＣデータＳ２８とに基づいて、符号化難易度計算部４２によつてピクチヤの符号化の難易度を表す符号化難易度を算出する。バツフアメモリ４８からの発生ビツト量データＳ２７はこの第２の実施の形態に係る画像符号化装置２５によつて圧縮符号化された画像データを伸張する画像復号化装置における入力バツフアに対応する仮想的なバツフアであるＶＢＶバツフアのデータ占有量を、ＶＢＶバツフア占有量計算部６２において算出する。なお、ＭＥ残差は、映像の動きの速さ及び絵柄の複雑さを表す。
符号化制御部３１は、さらに、符号化難易度計算部６３によつて算出された符号化難易度とＶＢＶバツフア占有量計算部６２によつて算出されたＶＢＶバツフアの占有量とに基づいて目標符号量を決定すると共に、ＶＢＶバツフアのアンダフローを防止するために画像に対する符号化処理を停止するスキツプを行うか否かの判定を行う目標符号量決定部６４を有し、エンコーダ２８における発生符号化量が目標符号量決定部６４によつて決定された目標符号量となるように量子化回路４６における量子化特性値に対応する量子化インデツクスを量子化インデツクス決定部６５において決定して量子化回路４６に送る。かくして目標符号量決定部６４によつてスキツプを行うと判定された場合には、スキツプ制御部６６が量子化回路４６及び可変長符号化回路４７を制御してスキツプを行わせる。
ここで、符号化難易度について説明する。符号化難易度は、ピクチヤの符号化の難易度を表すものであるが、これは、同じ画質を保つために必要なデータ量の比率と言い換えることができる。符号化難易度を数値化する方法は種々考えられるが、この第２の実施の形態では、ＩピクチヤについてはイントラＡＣを用いて符号化難易度を求め、Ｐピクチヤ及びＢピクチヤについてはＭＥ残差を用いて符号化難易度を求める。前述のように、イントラＡＣは絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さ及び絵柄の複雑さを表し、これらは符号化の難易度と強い相関があるので、イントラＡＣやＭＥ残差を変数とする一次関数等により、イントラＡＣやＭＥ残差から符号化難易度を算出することができる。
次に、符号化難易度に基づいてＶＢＶバツフアのアンダフローの危険度を判定する方法について説明する。すでに説明したように、ＶＢＶバツフアのアンダフローが発生するのは、目標符号量に対して発生符号量が大きく上回るような場合である。このようなことは、ビツトレートに対して入力画像の符号化難易度が非常に大きい場合に生じる。そこで、ＶＢＶバツフアのアンダフローの危険度を判定するためのパラメータとしては、ビツトレートに対する符号化難易度の比率を用いるのが適当である。また、さらに、ＶＢＶバツフアのアンダフローの危険度を判定するためには、これから符号化する予定の数枚以内のピクチヤにおける、上記ビツトレートに対する符号化難易度の比率を見ることが重要である。これは、符号化難易度は、ピクチヤタイプによつて変動するからである。そこで、この第２の実施の形態では、ＶＢＶバツフアのアンダフローの危険度を判定するためのパラメータとして、次式によつて定義されるパラメータｘを用いる。
ｘ＝ΣＤk／Ｇ ……（１）
ここで、Ｄkはピクチヤｋの符号化難易度を表し、ｋはピクチヤの符号化順を表し、次に符号化する予定のピクチヤをｋ＝１とする。Σはｋ＝１からＮ（Ｎは１ＧＯＰ（グループ・オブ・ピクチヤ）分のピクチヤの枚数）までの総和を意味する。また、Ｇは次式、
Ｇ＝（〔ビツトレート〕×Ｎ）／〔ピクチヤレート〕 ……（２）
によつて定義される。
（２）式において、〔ビツトレート〕は、通信回線の伝送容量や記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビツト量）を表し、〔ピクチヤレート〕は、１秒当たりのピクチヤの枚数（例えばＮＴＳＣ圏では３０、ＰＡＬ圏では２５）である。従つて、Ｇは、Ｎ枚分のピクチヤに対応する時間に割り当てられるデータ量（ビツト量）を表し、ｘは、Ｎ枚分のピクチヤに対応する時間に割り当てられるデータ量（ビツト量）に対するＮ枚分のピクチヤの符号化難易度Ｄkの和の比率を表す。
なお、必ずしもＮ枚分のピクチヤを用いてｘを求める必要はなく、Ｎより大きい数や小さい数の枚数分のピクチヤを用いてｘを求めるようにしても良い。ただし、Ｎよりもあまり大きい数をとるとアンダフローの危険度の判定が精度が落ち、Ｎよりもあまり小さい数をとるとパラメータｘの変動が大きくなることに留意する必要がある。
次に、第２の実施の形態に係る画像符号化装置２５の動作について説明する。入力画像信号Ｓ２５は、エンコーダ制御部２６に入力される。エンコーダ制御部２６では、まず、画像並べ替え回路４１によつて、符号化する順番に従つてピクチヤ（Ｉピクチヤ、Ｐピクチヤ、Ｂピクチヤ）の順番を並べ替え、次に、走査変換・マクロブロツク化回路４２によつて、フレーム構造かフイールド構造かを判別し、判別結果に応じた走査変換及びマクロブロツク化を行い、次に、Ｉピクチヤの場合には、イントラＡＣ演算回路４３によつてイントラＡＣを算出してイントラＡＣデータＳ２８を符号化制御部３１に送る。また、走査変換・マクロブロツク回路４２の出力データは、イントラＡＣ演算回路４３を経て、ＦＩＦＯメモリ２７及び動き検出回路３０に送られる。
ＦＩＦＯメモリ２７は、符号化難易度計算部６３において、符号化が終了したピクチヤに引き続くＮ枚分のピクチヤの符号化難易度を算出するのに必要な時間だけ、入力した画像データを遅延して、エンコーダ２８に出力する。動き検出回路３０は、動きベクトルを検出して動き補償回路５２に送ると共に、ＭＥ残差データＳ２９をＭＥ残差計算部６１に送る。
Ｉピクチヤの場合には、エンコーダ２８では、減算回路４４において予測画像データとの差分をとることなく、ＦＩＦＯメモリ２７の出力データをそのままＤＣＴ変換回路４５に入力してＤＣＴ変換を行い、量子化回路４６によつてＤＣＴ変換係数を量子化し、可変長符号化回路４７によつて量子化回路４６の出力データを可変長符号化し、バツフアメモリ４８によつて可変長符号化回路４７の出力データを一旦保持し、一定のビツトレートのビツトストリームからなる圧縮画像データＳ２６として出力する。
また、逆量子化回路４９によつて量子化回路４６の出力データを逆量子化し、逆ＤＣＴ変換回路５０によつて逆量子化回路４９の出力データに対して逆ＤＣＴ変換を行い、逆ＤＣＴ変換回路５０の出力画像データを加算回路５１を介して動き補償回路５２に入力して保持させる。
Ｐピクチヤの場合には、エンコーダ２８では、動き補償回路５２によつて、保持している過去のＩピクチヤ又はＰピクチヤに対応する画像データと動き検出回路３０からの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路４４及び加算回路５１に出力する。また、減算回路４４によつて、ＦＩＦＯメモリ２７の出力データと動き補償回路５２からの予測画像データとの差分をとり、ＤＣＴ変換回路４５によつてＤＣＴ変換を行い、量子化回路４６によつてＤＣＴ変換係数を量子化し、可変長符号化回路４７によつて量子化回路４６の出力データを可変長符号化し、バツフアメモリ４８によつて可変長符号化回路４７の出力データを一旦保持し圧縮画像データＳ２６として出力する。また、逆量子化回路４９によつて量子化回路４６の出力データを逆量子化し、逆ＤＣＴ変換回路５０によつて逆量子化回路４９の出力データに対して逆ＤＣＴ変換を行い、加算回路５１によつて逆ＤＣＴ変換回路５０の出力データと予測画像データとを加算し、動き補償回路５２に入力して保持させる。
Ｂピクチヤの場合には、エンコーダ２８では、動き補償回路５２によつて、保持している過去及び未来のＩピクチヤ又はＰピクチヤに対応する２つの画像データと動き検出回路３０からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路４４及び加算回路５１に出力する。また、減算回路４４によつて、ＦＩＦＯメモリ２７の出力データと動き補償回路５２からの予測画像データとの差分をとり、ＤＣＴ変換回路４５によつてＤＣＴ変換を行い、量子化回路４６によつてＤＣＴ変換係数を量子化し、可変長符号化回路４７によつて量子化回路４６の出力データを可変長符号化し、バツフアメモリ４８によつて可変長符号化回路４７の出力データを一旦保持し、圧縮画像データＳ２６として出力する。なお、Ｂピクチヤは動き補償回路５２に保持させない。
なお、バツフアメモリ４８は可変長符号化回路４７より発生されるビツト量を表す発生ビツト量データＳ２７を符号化制御部３１に送る。
次に、図１０のフローチヤートを参照して、符号化制御部３１の動作について説明する。この動作では、まず、符号化難易度計算部６３によつて、イントラＡＣ演算回路４３からのイントラＡＣデータＳ２８とＭＥ残差計算部６１で算出したＭＥ残差より、符号化難易度を計算し、パラメータｘを求める（ステツプＳＰ２１）。なお、パラメータｘは、今から符号化する予定のピクチヤに引き続くＮ枚分のピクチヤの符号化難易度に基づいて算出される。
次に、スキツプフラグが“１”か否かを判断する（ステツプＳＰ２２）。スキツプフラグは、“１”のとき、今から符号化する予定のピクチヤをスキツプすることを示し、“０”のとき、今から符号化する予定のピクチヤをスキツプしないことを示す。
スキツプフラグが“０”の場合（ステツプＳＰ２２において否定結果が得られた場合）には、目標符号量決定部６４によつて、パラメータｘとＶＢＶバツフア占有量計算部６２によつて算出されているＶＢＶバツフアの占有量とに基づいて、ピクチヤｊの目標符号量を計算し（ステツプＳＰ２３）、量子化インデツクス決定部６５に送る。なお、ピクチヤｊは、今から符号化するピクチヤを意味する。
次に、量子化インデツス決定部６５によつて、エンコーダ２８における発生符号量が目標符号量決定部６４によつて決定された目標符号量となるように量子化回路４６における量子化特定値に対応する量子化インデツクスを決定し、量子化回路４６に送る。これに応じて、ピクチヤｊの符号化が行われる（ステツプＳＰ２４）。
一方、スキツプフラグ“１”の場合（ステツプＳＰ２２において肯定結果が得られた場合）には、目標符号量決定部６４は、ピクチヤｊをスキツプすることをスキツプ制御部６６に指示し、これに応じて、スキツプ制御部６６は、前のフレームを表示するように処理する（ステツプＳＰ２５）。すなわち、スキツプ制御部６６は、量子化回路４６を制御してマクロブロツク単位でスキツプを行わせると共に、可変長符号化回路４７に対してスキツプするマクロブロツクのアドレス情報を送る。これに応じて、可変長符号化回路４７は、スキツプするための情報を符号化して出力する。このようにして、ピクチヤｊは、スキツプされたマクロブロツクであるスキツプマクロブロツクで構成されるピクチヤとして符号化される。
ステツプＳＰ２４又はステツプＳＰ２５が終了したら、ＶＢＶバツフア占有量計算部６２によつて、ステツプＳＰ２４又はステツプＳＰ２５による発生ビツト量からＶＢＶバツフアの占有量Ｂjを計算する（ステツプＳＰ２６）。なお、ＶＢＶバツフアの占有量Ｂjは、ピクチヤｊの符号化前のＶＢＶバツフアの占有量からピクチヤｊによる発生ビツト量を引き、Ｉピクチヤ間の時間にＶＢＶバツフアに蓄積されるビツト量を加算することによつて得ることができる。次に、次のピクチヤのピクチヤタイプを判定する（ステツプＳＰ２７）。ピクチヤタイプがＢピクチヤの場合には、ＶＢＶバツフアの占有量ＢjがＢピクチヤに対する占有量判定用しきい値Ｔｈ（Ｂ）より小さいか否かを判別する（ステツプＳＰ２８）。ピクチヤタイプがＰピクチヤの場合には、ＶＢＶバツフアの占有量ＢjがＰピクチヤに対する占有量判定用しきい値Ｔｈ（Ｐ）より小さいか否かを判断する（ステツプＳＰ２９）。ピクチヤタイプがＩピクチヤの場合には、ＶＢＶバツフアの占有量ＢjがＩピクチヤに対する占有量判定用しきい値Ｔｈ（Ｉ）より小さいか否かを判断する（ステツプＳＰ３０）。なお、占有量判定用しきい値は、Ｔｈ（Ｂ）＞Ｔｈ（Ｐ）＞Ｔｈ（Ｉ）となるように設定されている。
ＢjがＴｈ（Ｂ）より小さくない場合（ステツプＳＰ２８において否定結果が得られる場合）、ＢjがＴｈ（Ｐ）より小さくない場合（ステツプＳＰ２９において否定結果が得られた場合）又はＢjがＴｈ（Ｉ）より小さくない場合（ステツプＳＰ３０において否定結果が得られる場合）は、次のピクチヤをスキツプする必要がないので、スキツプフラグを“０”にする（ステツプＳＰ３１）。
ＢjがＴｈ（Ｂ）より小さい場合（ステツプＳＰ２８において肯定結果が得られる場合）、ＢjがＴｈ（Ｐ）より小さい場合（ステツプＳＰ２９において肯定結果が得られた場合）又はＢjがＴｈ（Ｉ）より小さい場合（ステツプＳＰ３０において肯定結果が得られた場合）は、パラメータｘが所定の符号化難易度判定用しきい値Ｔｈ（ｘ）を越えているか否かを判断する（ステツプＳＰ３２）。なお、しきい値Ｔｈ（ｘ）は、目標符号量に対して発生符号量が大きく上回つてしまうほど難しい絵柄か否かを判別するためのしきい値である。ｘがＴｈ（ｘ）を越えていない場合（Ｎ）は、絵柄は今後さほど難しくないことを意味し、次のピクチヤをスキツプする必要がないので、スキツプフラグを“０”にする（ステツプＳＰ３１）。逆に、ｘがＴｈ（ｘ）を越えている場合（肯定結果が得られる場合）は、今後も難しい絵柄が続くことを意味するので、この場合はＶＢＶバツフアのアンダフローの危険性が高いと判断して、次のピクチヤをスキツプするために、スキツプフラグを“１”にする（ステツプＳＰ３３）。
スキツプフラグの設定（ステツプＳＰ３１、ステツプＳＰ３３）が終了したら、次のピクチヤの処理のために、ｊ＋１を新たなｊとして（ステツプＳＰ３４）、メインルーチンにリターンする（ステツプＳＰ３５）。
以上説明したように、第２の実施の形態に係る画像符号化装置２５によれば、ピクチヤタイプ別にＶＢＶバツフアの占有量判定用しきい値を設定し、Ｂピクチヤ、Ｐピクチヤ、Ｉピクチヤの順に優先的にスキツプするようにすると共に、符号化が終了したピクチヤに引き続く数枚のピクチヤの符号化難易度に基づいてスキツプを行うか否かを判定するようにしたので、入力画像の絵柄が難しくなり、ＶＢＶバツフアのアンダフローが発生しそうな場合に、画質に対する影響の少ないＢピクチヤを優先的にスキツプすると共に、実際にはＶＢＶバツフアのアンダフローが発生しないような場合にはピクチヤのスキツプを行わないようにすることができ、画質に対する影響を極力抑えながら、ＶＢＶバツフアのアンダフローを防止することができる。
なお、本発明は、上述の第２の実施の形態に限定されず、例えば、符号化難易度に基づいてスキツプを行うか否かを判定する際に、実施の形態で用いたパラメータｘの他に、符号化難易度が増加傾向にあるのか減少傾向にあるのかという変化傾向の情報も加えて判定することで、今後の入力画像の絵柄の難しさの予測精度を更に向上させて、スキツプを行うか否かの判定をより適切に行うことができる。すなわち、例えば、今は符号化難易度が大きくても符号化難易度が減少傾向にある場合にはスキツプを行わなくともＶＢＶバツフアのアンダフローが発生しない場合もあるので、このような場合にはスキツプを行わないようにすることでスキツプを極力少なくすることが可能となる。なお、符号化難易度の変化傾向の情報は、例えば、時系列的に求まつた符号化難易度を最小自乗法等により直線近似し、その傾きから求めることができる。この場合、符号化難易度の変化傾向の情報は、例えば、図９における符号化難易度計算部６３において求める。
また、上記第２の実施の形態では、図８に示したように、エンコーダ２８の他に別のエンコーダを設けることなく、圧縮符号化する前の画像データの特徴に基づいて発生符号量の制御を行うフイードフオワード型のレート制御を行う構成としたが、本発明は、圧縮符号化後のデータ量を見積もるためにエンコーダ２８とは別の１バス目のエンコーダを設けて、この１バス目のエンコーダによつて圧縮符号化することによつて見積もられたデータ量に基づいて２バス目のエンコーダ２８における発生符号量の制御を行うフイードフオワード型のレート制御を行う構成にも適用することができる。この場合には、１バス目のエンコーダによつて圧縮符号化することによつて得られた発生符号量に基づいて符号化難易度を求めることが可能である。
更に、本発明は、フイードフオワード型のレート制御を行う構成に限らず、既に圧縮符号化したピクチヤの符号化難易度に基づいて今後のピクチヤの符号化難易度を予測することで、ＭＰＥＧ方式の圧縮アルゴリズムとして有名なＴＭ５（test model 5:ISO/IEC JTC/SC29（1993））等で代表されるような、過去に圧縮符号化して得られた発生符号量に基づいて発生符号量の制御を行うフイードバツク型のレート制御を行う構成にも適用することができる。この場合、例えば、過去に圧縮符号化したピクチヤのグローバル・コンプレキシテイ（Global Complexity）の傾向を分析し、直線近似等によつて今後の数枚分のピクチヤの符号化難易度を予測し、この予測した符号化難易度に基づいて実施の形態で用いたパラメータｘの値を求め、実施の形態と同様にパラメータｘの値に基づいてスキツプを行うか否かを判定するようにすれば良い。
なお、グローバル・コンプレキシテイとは、画面の複雑さを示すパラメータであり、符号化の難易度と相関があり、具体的にはピクチヤの圧縮符号化時の発生符号量とピクチヤの圧縮符号化時の平均量子化スケールコード（量子化特性値）との積として求められる（例えば、オーム社発行の「テレビジヨン学会マルチメデイア選書 ＭＰＥＧ」の第１１１ページ参照）。
また、フイードフオワード型のレート制御を行う構成において直線近似等によつて符号化難易度の変化傾向を求める場合や、フイードバツク型のレート制御を行う構成において直線近似等によつて今後の数枚分のピクチヤの符号化難易度を予測する場合において、シーンチエンジ時には符号化難易度の連続性がなくなるので、シーンチエンジ時には、符号化難易度の変化傾向を求める処理や符号化難易度を予測する処理をシーンチエンジ前までで完結させ、シーンチエンジ後に新たに処理を行うようにすれば、より精度が向上する。
また、符号化難易度は、実施の形態で挙げたイントラＡＣやＭＥ残差等を用いたものに限らず、ピクチヤの符号化の難易度を表すものであれば、他のパラメータでも良い。
また、上記第２の実施の形態では、ピクチヤタイプ別にＶＢＶバツフアの占有量判定用しきい値を変えているが、本発明はＶＢＶバツフアの占有量判定用しきい値がピクチヤタイプによらずに一定である場合も含む。
産業上の利用可能性
本発明は、送信側で画像データを圧縮して送信すると共に、受信側で圧縮された画像データを伸張する通信システムや、画像データを圧縮して記録すると共に、再生時には圧縮された画像データを伸張して出力する圧縮画像記録再生装置等に利用できる。
本発明は画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した媒体に関し、特に画像を圧縮符号化して画像復号装置に伝送する場合に適用して好適なものである。
背景技術
画像符号化装置側で画像データを符号化・圧縮して伝送すると共に、画像復号化装置側で伝送されて来た画像データを伸張・復号化する通信システムや、画像データを圧縮して記録すると共に、再生時には圧縮された画像データを伸張して出力する圧縮画像記録再生装置等において、画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式が用いられている。この双方向予測符号化方式では、双方向予測を用いることで符号化効率を向上させている。双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化及び双方向予測符号化の３つのタイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチヤ（intra coded picture）、Ｐピクチヤ（predictive coded picture）及びＢピクチヤ（bidirectionally predictive coded picture）と呼ばれる。
ところで、上述のＭＰＥＧ規格で採用されている双方向予測符号化方式等を用いて画像データを圧縮符号化する画像符号化装置では、圧縮符号化された画像データを伸張する画像復号化装置の持つ入力バツフアの容量を破錠させないことを検証するために、画像復号化装置側の入力バツフアを画像符号化装置側から仮想的に考えた復号化保証用バツフアすなわちＶＢＶ（Video Buffering Verfier）バツフアを想定し、このＶＢＶバツフアのデータ占有量が許容値をオーバフロー又はアンダフローしないように、画像符号化装置におけるデータの発生量を制御している（オーム社発行の「テレビジヨン学会マルチメデイア選書 ＭＰＥＧ」の第１１５ページ参照）。
すなわち画像符号化装置から固定のビツトレートで符号化データを伝送する場合、図１に示すように、指定されたビツトレートで画像データのビツトストリームがＶＢＶバツフアに入力されるときに、このＶＢＶバツフア内のデータ占有量がアンダフロー及びオーバフローしないような状態で、ＶＢＶバツフアから画像データを発生させる。
画像復号装置においては、画像符号化装置から伝送されるビツトストリームをＶＢＶバツフアを通して１フレーム分の画像データを単位として復号化する。かくして画像符号化装置から伝送される符号化データのビツトレートが一定であつても、データ量が異なるピクチヤを確実に復号化できる。例えばフレーム内の画像データを用いて符号化したフレーム（すなわちイントラ符号化されたＩピクチヤは、時間的に前後のフレームから動き補償を用いて符号化されたフレーム（すなわちＰピクチヤ又はＢピクチヤ）に比してフレーム当たりの符号量が多いが、ＶＢＶバツフアアンダフローやオーバフローをしない状態で復号化ができれば、各ピクチヤを確実に復号化できる。
図１において、各線分ｘの傾きは伝送するデータストリームの固定ビツトレートを示し、当該各線分ｘの各位置ｘ1はＶＢＶバツフアにおけるデータ占有量を表している。また線分ｙは１フレーム分のデータがＶＢＶバツフアからＩピクチヤ、Ｂピクチヤ及びＰピクチヤとして読み出されたことにより、ＶＢＶバツフアのデータ占有量が急に減少することを示している。
ところが図２に示すように、所定のデータ占有量の範囲を越えるデータをもつたピクチヤがＶＢＶバツフアから発生したとき、ＶＢＶバツフアにアンダフローが発生する。このことは、目標符号発生量はレート制御によつて設定されてはいるが、伝送されて来た画像の複雑さや、動きの激しさによつて実際の符号発生量が目標符号発生量より大きくなつた場合に当該ピクチヤを復号するためのデータが不足（図中「０」以下の部分に相当）するので画像を復号できないことを意味する。
このＶＢＶバツフアの動作については、ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）13818-2（ＭＰＥＧ２のビデオパート）のAnnexＣに記述されているが、ＶＢＶバツフアにアンダフロー及びオーバフローが発生したときの画像復号装置の動作については記述されていない。
ＶＢＶバツフアにアンダフローが発生すること防止する方法として、ＶＢＶバツフアに固定のしきい値を設定し、ＶＢＶバツフア内のデータ占有量がこのしきい値を下回るようなピクチヤについてはスキツプする（画像に対する符号化処理を停止する）ことにより、ＶＢＶバツフアにアンダフローが発生することを防止する方法が提案されている。
ところがこの方法では、どの画像符号化タイプのピクチヤに対しても同じようにスキツプ処理が行われる可能性がある。この場合、特に復号の際の画質上最も重要な画像データを含むＩピクチヤはＰピクチヤ及びＢピクチヤより符号発生量（すなわちデータ量）が多いため、Ｐピクチヤ及びＢピクチヤよりもスキツプ処理される可能性が高くなることが考えられる。このようにＩピクチヤがスキツプされた場合には、スキツプされたＩピクチヤを予測画像とするＰピクチヤ及びＢピクチヤの画質に影響が及ぶため全体の画質が劣化するおそれがあつた。
発明の開示
本発明は以上の点を考慮してなされたもので、画質を劣化させずに復号化保証用バツフアにおけるアンダフローの発生を防止することができる画像符号化装置及び画像符号化方法を提案しようとするものである。
かかる課題を解決するため本発明においては、入力画像信号を符号化処理して得た符号化画像データを復号手段の入力バツフアに所定のビツトレートで伝送する画像符号化装置において、入力画像信号をＩピクチヤ、Ｐピクチヤ又はＢピクチヤを構成する符号化画像データに符号化処理して入力バツフアに伝送する符号化手段と、入力バツフアを復号化保証用の仮想バツフアとして、当該仮想バツフアのデータ占有量を判定するために、Ｉピクチヤ、Ｐピクチヤ及びＢピクチヤの符号化処理に対応する第１のしきい値、第２のしきい値及び第３のしきい値を設定し、符号化手段によつてＩピクチヤ、Ｐピクチヤ又はＢピクチヤの符号化処理時の発生符号量が、当該Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤの復号時における仮想バツフアのデータ占有量が第１のしきい値、第２のしきい値又は第３のしきい値より下回わる関係になつたとき、現在実行している符号化処理を停止するように符号化手段をスキツプ制御する制御手段とを具え、第１のしきい値、第２のしきい値及び第３のしきい値の値は、当該第１のしきい値、第２のしきい値及び第３のしきい値の順に高くなるように設定されている。
かくして画質に対する影響を極力抑えながら、画像復号化装置における入力バツフアに対応する仮想的なバツフアのアンダフローを防止することができるという効果を奏する。
【図面の簡単な説明】
図１はＶＢＶバツフアにおけるデータ占有量の推移の説明に供する略線図である。
図２はＶＢＶバツフアにおけるアンダフローの説明に供する略線図である。図３は本発明の第１の実施の形態である画像符号化装置及び画像復号装置の概略構成を示すブロツク図である。
図４はＶＢＶバツフアにおけるデータ占有量が第１のしきい値を下回つた場合のデータ占有量の推移の説明に供する略線図である。
図５はＶＢＶバツフアにおけるデータ占有量が第２のしきい値を下回つた場合のデータ占有量の推移の説明に供する略線図である。
図６はＶＢＶバツフアにおけるデータ占有量が第３のしきい値を下回つた場合のデータ占有量の推移の説明に供する略線図である。
図７は符号化制御回路の動作の説明に供するフローチヤートである。
図８は本発明の第２の実施の形態である画像符号化装置の概略の構成を示すブロツク図である。
図９は図８の画像符号化装置の詳細な構成を示すブロツク図である。
図１０は図９の符号化制御部の動作の説明に供するフローチヤートである。
発明を実施するための最良の形態
（1） 第１の実施の形態
図３において、１は全体として画像符号化装置を示し、入力端子Ｗ１から入力した入力画像信号Ｓ１が画像タイプ指定回路２に入力される。
画像タイプ指定回路２は入力される画像信号Ｓ１の各フレームをＩピクチヤ、Ｐピクチヤ又はＢピクチヤのうちのどの画像符号化タイプのピクチヤとして処理するかを指定して画像符号化並替え回路３に送出する。この画像符号化装置１は、例えば15個のフレームをグループ・オブ・ピクチヤ（ＧＯＰ）として、これを１単位として符号化処理を実行する。
画像符号化順序並替え回路３は指定された画像符号化タイプに従つて各フレームを符号化する順番に並び替えて画像信号Ｓ２としてスキヤンコンバータ４に送出すると共に、画像符号化タイプデータＳ３を予測モード決定回路５、動きベクトル検出回路６及び符号化制御回路７に送出する。また画像符号化並替え回路３は現在符号化されているフレームの動きベクトルを検出するために現在画像と、当該現在画像より時間的に過去にある画像（以下、これを過去参照画像と呼ぶ）及び又は現在画像より時間的に未来にある画像（以下、これを未来参照画像と呼ぶ）とを表す画像信号Ｓ４を動きベクトル検出回路６に送出する。
スキヤンコンバータ４は、入力されるフレームをブロツクフオーマツトの信号に変換し、この１フレームの信号を16ラインを１単位としてＮ個のスライスに区分する。各スライスは16×16の画素に対応する輝度信号によつて構成されるＭ個のマクロブロツクに分割される。これら各マクロブロツクにはアドレス（可変長符号（インクリメント値））が付加されており、このアドレスは各マクロブロツクの位置を表すものである。この場合、ピクチヤ中で最初に伝送されるマクロブロツクのアドレスは番号そのものを表し、これに続くマクロブロツクのアドレスは、当該マクロブロツクの絶対アドレスとその１つ前に伝送されたマクロブロツクの絶対アドレスとの差を表している。
動きベクトル検出回路６は画像信号Ｓ２の各フレームに同期した画像符号化タイプデータＳ３に従つて各フレームの画像データをフレーム内符号化によるＩピクチヤ、フレーム間順方向予測符号化によるＰピクチヤ又は双方向予測符号化によるＢピクチヤとして処理する。かくして、Ｉピクチヤとして処理されるフレームの画像データは、動きベクトル検出回路６から過去参照画像を格納する過去参照画像メモリ（図示せず）に格納され、Ｂピクチヤとして処理されるフレームの画像データは現在画像を格納する現在画像メモリ（図示せず）に格納され、Ｐピクチヤとして処理されるフレームの画像データは未来参照画像を格納する未来参照画像メモリ（図示せず）に格納される。
ここで次のタイミングにおいて、Ｂピクチヤ又はＰピクチヤとして処理すべきフレームが動きベクトル検出回路６に入力されたとき、これまでに未来参照画像メモリに格納されていた最初のＰピクチヤの画像データは過去参照画像メモリに格納される。また次のＢピクチヤの画像データは現在画像メモリに格納され、次のＰピクチヤの画像データは未来参照画像メモリに格納される。以降このような動作が順次繰り返される。
動きベクトル検出回路６は順方向予測における動きベクトル及びそのときの動きベクトル推定残差でなる動きベクトルデータＳ５を予測モード決定回路５に送出する。また動きベクトル検出回路６は、Ｂピクチヤの場合には、逆方向予測における動きベクトル及びそのときの動きベクトル推定残差でなる動きベクトルデータＳ５を送出する。
予測モード決定回路５はイントラモード、順方向予測モード、逆方向予測モード又は双方向予測モードのうちどの予測モードを選択するかを決定する。
ここでイントラモードは、符号化対象となるフレームの画像データをそのまま伝送データとして伝送する処理であり、順方向予測モードは、過去参照画像との予測残差と順方向動きベクトルとを伝送する処理である。また逆方向予測モードは、未来参照画像との予測残差と逆方向動きベクトルとを伝送する処理であり、双方向予測モードは、過去参照画像と未来参照画像の２つの予測画像の平均値との予測残差と順方向及び逆方向の２つの動きベクトルとを伝送する処理である。Ｂピクチヤの場合には、これら４種類の予測モードをマクロブロツク単位で切り換える。
予測モード決定回路５は画像符号化並替え回路３から送出される画像符号化タイプデータＳ３に基づいて、Ｉピクチヤの場合にはイントラモードを選択し、Ｐピクチヤの場合にはイントラモード又は順方向予測モードのいずれかの予測モードを選択し、Ｂピクチヤの場合には、イントラモード、順方向予測モード、逆方向予測モード又は双方向予測モードのうちいずれかの予測モードを選択し、選択した予測モードを表す予測モードデータＳ６を演算回路８に送出する。
演算回路８はスキヤンコンバータ４より読み出されたマクロブロツクＳ７に対して、予測モードデータＳ６に基づいてイントラ、順方向予測、逆方向予測又は双方向予測の演算を行う。
演算回路８はマクロブロツクＳ７としてＩピクチヤとして処理すべきフレームの画像データが入力された場合、当該画像データをイントラ符号化してＤＣＴ（Discrete Cosine Transform、離散コサイン変換）変換回路９に送出する。ＤＣＴ変換回路９はイントラ符号化された画像データをＤＣＴ変換係数に変換して量子化回路１０に送出する。
量子化回路１０は各ＤＣＴ変換係数を符号化制御回路７から指定された量子化ステツプで量子化して可変長符号化回路１１及び逆量子化回路１２に送出する。
可変長符号化回路１１は量子化された画像データ、予測モード決定回路５から送出される予測モードデータＳ６及び動きベクトル検出回路６から送出される動きベクトルデータＳ５を例えばハフマン符号などの可変長符号に変換して伝送路（図示せず）を介して画像復号装置１３に伝送すると共に、符号化制御回路７に与える。また可変長符号化回路１１は各マクロブロツクのインクリメント値をカウントする。
逆量子化回路１２は量子化された画像データを量子化時における量子化ステツプに応じて逆量子化して逆ＤＣＴ変換回路１４に送出する。逆ＤＣＴ変換回路１４は逆量子化回路１２からの出力を逆ＤＣＴ変換処理をする。逆ＤＣＴ変換回路１４からの出力は演算器１５を介してフレームメモリ１６内の過去参照画像を格納する過去参照画像記憶部（図示せず）に格納される。
次に演算回路８にスキヤンコンバータ４からＰピクチヤとして処理すべきフレームの画像データが入力され、予測モード決定回路５から送出される予測モードデータＳ６がイントラモードの場合、当該フレームの画像データは、上述のＩピクチヤの場合と同様にイントラ符号化されてＤＣＴ変換回路９、量子化回路１０及び可変長符号化回路１１を介して画像復号装置１３に伝送されると共に、符号化制御回路７に与えられ、さらに逆量子化回路１２、逆ＤＣＴ変換回路１４及び演算器１５を介してフレームメモリ１６内の未来参照画像を格納する未来参照画像記憶部（図示せず）に格納される。
予測モードデータＳ６が順方向予測モードを表している場合には、フレームメモリ１６の過去参照画像記憶部に格納されている画像データ（この場合Ｉピクチヤの画像データ）が読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される順方向の動きベクトルデータＳ５に対応して動き補償する。
すなわち動き補償回路１７は、順方向予測モードの場合、フレームメモリ１６の過去参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から順方向の動きベクトルデータＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータＳ７から、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データを減算して、予測残差としての差分データを得、この差分データをＤＣＴ変換回路９に送出する。この差分データはＤＣＴ変換回路９、量子化回路１０及び可変長符号化回路１１を介して画像復号装置１３に伝送されると共に、符号化制御回路７に与えられる。またこの差分データは逆量子化回路１２及び逆ＤＣＴ変換回路１４によつて局所的に復号されて演算器１５に送出される。
演算器１５は逆ＤＣＴ変換回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算する。これにより局所的に復号したＰピクチヤの画像データが得られる。このＰピクチヤの画像データはフレームメモリ１６内の未来参照画像を格納する未来参照画像記憶部に格納される。
次に演算回路８にスキヤンコンバータ４からＢピクチヤとして処理すべきフレームの画像データが入力され、予測モード決定回路５から送出される予測モードデータＳ６がイントラモード又は順方向予測モードの場合、当該フレームの画像データは上述のＰピクチヤの場合と同様に処理される。これに対して予測モードデータＳ６が逆方向予測モードに設定された場合には、フレームメモリ１６の未来参照画像記憶部に格納されている画像データ（この場合Ｐピクチヤの画像データ）が読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される逆方向の動きベクトルデータＳ５に対応して動き補償する。
すなわち動き補償回路１７は、逆方向予測モードのとき、フレームメモリ１６の未来参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から動きベクトルデータＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータから、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データを減算して予測残差としての差分データを得、この差分データをＤＣＴ変換回路９に送出する。
このとき、演算器１５は逆ＤＣＴ変換回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算することにより、局所的に復号したＢピクチヤの画像データを得る。
双方向予測モードの場合には、フレームメモリ１６の過去参照画像記憶部に格納されている画像データ（この場合Ｉピクチヤの画像データ）と、未来参照画像記憶部に格納されている画像データ（この場合Ｐピクチヤの画像データ）とが読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される順方向の動きベクトル及び逆方向の動きベクトルでなる動きベクトルデータＳ５に対応して動き補償する。
すなわち動き補償回路１７は、双方向予測モードの場合、フレームメモリ１６の過去参照画像記憶部と未来参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から順方向の動きベクトル及び逆方向の動きベクトルでなる動きベクトルデータＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータから、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データの平均値を減算して予測残差としての差分データを得、この差分データをＤＣＴ変換回路９に送出する。
このとき、演算器１５は逆ＤＣＴ変換回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算することにより、局所的に復号したＢピクチヤの画像データを得る。ここでＢピクチヤは他の画像の予測画像として使用されないので、フレームメモリ１６には格納されない。
画像復号装置１３は画像符号化装置１から固定のビツトレートで伝送されるビツトストリームをデコーダバツフア１８に一旦格納した後、所定のタイミングで当該デコーダバツフア１８から１フレーム分の画像データを読み出して復号部１９において順次復号し、復号されたフレームを原画像の順序に並び替えて例えばデイスプレイ上に表示させる。
ここでデコーダバツフア１８は、画像符号化装置１から仮想的に考えた復号化保証用バツフア（すなわちＶＢＶバツフア）を構成し、画像符号化装置１は、復号部１９がデコーダバツフア１８から画像データを読み出すタイミングが分かるようになされている。
この実施例の場合、符号化制御回路７は可変長符号化回路１１から送出される可変長符号化された画像データの符号発生量をマクロブロツク単位で演算すると共にインクリメント値をカウントする。また符号化制御回路７は目標符号化発生量を表す量子化ステツプ制御信号Ｓ８を量子化回路１０に与えることにより１フレーム当たりの符号発生量を制御する。
さらに符号化制御回路７はＶＢＶバツフアとして機能するデコーダバツフア１８におけるデータ占有量のしきい値として、第３のしきい値、第２のしきい値及び第１のしきい値を有する。これら第３、第２及び第１のしきい値は、それぞれＢピクチヤ、Ｐピクチヤ及びＩピクチヤに対応している。またこれらしきい値の値は、画像を復号する際の画像符号化タイプの重要度の低い順に高くなるように、第３のしきい値＞第２のしきい値＞第１のしきい値に設定されている。かくして、符号化制御回路７は、Ｂピクチヤが符号化されているときに、可変長符号化回路１１から送出される画像データの符号発生量に基づき、デコーダバツフア１８よつて形成されるＶＢＶバツフアにおけるデータ占有量が第３のしきい値を下回るような符号量を有する画像データが発生した場合には、量子化回路１０にスキツプ実行信号Ｓ９を送出して、当該符号化中のＢピクチヤのこれ以降の画像データをマクロブロツク単位でスキツプさせその結果データ占有量の傾下を抑えるようになされている。
ここで、スキツプするとは、現在実行されている符号化処理を停止させることをいう。
このような処理をしたとき、デコーダバツフア１８によつて形成されるＶＢＶバツフア１８におけるデータ占有量は、図４に示すように推移する。図４に示す太線部分は、画像データがスキツプされたことを示し、図５及び図６についても同様である。
この場合、量子化回路１０はスキツプ信号Ｓ９を受けると、内部に設けられたスキツプスイツチをオン動作させることにより画像データをスキツプする。この場合、符号化制御回路７はスキツプするマクロブロツクについてのアドレス情報Ｓ１０を可変長符号化回路１１に送出する。量子化回路１０からの符号（ビツト）発生はなくなる。また量子化回路１０は画像データをスキツプしない場合には、スキツプスイツチをオフ動作させることにより画像データを量子化する。
ここで符号化制御回路７は、画像復号装置１３の復号部１９がデコーダバツフア１８からデータを読み出すタイミングを知つており、しかも可変長符号化回路１１からの送出される画像データの符号発生量を演算し、これによりデコーダバツフア１８に現在格納されているデータ量を知ることができる。
可変長符号化回路１１は画像データがスキツプされていない場合には、インクリメント値をカウントすると共にアドレス情報と共に画像データを符号化制御回路７及び画像復号装置１３に伝送する。これに対して可変長符号化回路１１は、画像データがスキツプされた場合には、インクリメント値はカウントするがスキツプされたマクロブロツクについてのアドレス情報は出力せず、行及び列方向に並べられた複数のマクロブロツクの行方向における最初のマクロブロツクのアドレス情報（以下、これを先頭アドレス情報と呼ぶ）と、行方向における最後のマクロブロツクのアドレス情報（以下、これを最終アドレス情報と呼ぶ）だけは可変長符号化して符号化制御回路７及び画像復号装置１３に伝送する。
これにより符号化制御回路７及び画像復号装置１３はどの画像符号化タイプの画像データがスキツプされたかを知ることができる。ここで可変長符号化回路１１に対する先頭アドレス情報及び最終アドレス情報の指定は、符号化制御回路７が指定信号Ｓ１０を可変長符号化回路１１に送出することにより行われる。
また符号化制御回路７は、Ｐピクチヤが符号化されているときに、可変長符号化回路１１から送出される画像データの符号発生量に基づき、デコーダバツフア１８におけるデータ占有量が第２のしきい値を下回るような符号発生量を有する画像データが発生した場合には、量子化回路１０にスキツプ実行信号Ｓ９を送出して、当該符号化中のＰピクチヤのこれ以降の画像データをマクロブロツク単位でスキツプさせる。
ここで符号化制御回路７は、Ｐピクチヤをスキツプさせた場合には、デコーダバツフア１８におけるデータ占有量がそれぞれ対応するしきい値を越えている場合でも、当該スキツプされたＰピクチヤを予測画像として復号化の際に用いるＢピクチヤ及びＰピクチヤは全てスキツプさせるようになされている。これは、図５に示すように、ＰピクチヤＰ3が前のＰピクチヤＰ2を予測画像としているためである。すなわちＰピクチヤＰ2は符号化の途中からスキツプされているため、画像データとしては不十分なものとなり、このＰピクチヤＰ2を用いて復号化される復号後のＰピクチヤＰ3の画質が劣化するからである。このことはＢピクチヤＢ5及びＢピクチヤＢ6についても同様である。従つて次のＩピクチヤの符号化まで画像データがスキツプされている。
また図５において、ＢピクチヤＢ3、ＢピクチヤＢ4、ＰピクチヤＰ3、ＢクピチヤＢ5及びＢピクチヤＢ6がそれぞれスキツプされているのにもかかわらず、データ量が太線の分だけ減つているのは、上述した先頭アドレス情報及び最終アドレス情報が読み出されているからである。このことは図６についても同様である。
さらに符号化制御回路７は、Ｉピクチヤが符号化されているときに、可変長符号化回路１１から送出される画像データの符号発生量に基づき、デコーダバツフア１８におけるデータのバツフア占有量が第１のしきい値を下回るような符号量を有する画像データが発生した場合、量子化回路１０にスキツプ実行信号Ｓ９を送出して、当該符号化中のＩピクチヤのこれ以降の画像データをマクロブロツク単位でＤＣ成分のみのマクロブロツクとして符号化する。この場合、符号化制御回路７は次のＩピクチヤの符号化までＢピクチヤ及びＰピクチヤをスキツプさせるように量子化回路１０を制御する。
これは、図６に示すように、例えばＰピクチヤＰ2は前のＩピクチヤＩ1を予測画像としているためである。すなわちＩピクチヤＩ1は符号化の途中からＤＣ成分のみの符号化とされているため、画像データとしては不十分なものとなり、このＩピクチヤＩ1を用いて復号化される復号後のＰピクチヤＰ2の画質が劣化するからである。このことは、ＩピクチヤＩ1やＰピクチヤＰ2を復号化の際に用いるＢピクチヤＢ3、ＢピクチヤＢ4、ＢピクチヤＢ5及びＢピクチヤＢ6についても同様である。従つて次のＩピクチヤの符号化まで画像データがスキツプされている。
ここで図４〜図６に示す太線は、結果としてスキツプされたマクロブロツク又はＤＣ成分のみのイントラマクロプロックで構成されることになる。
また符号化制御回路７は、上述のように画像データをスキツプさせた場合、スキツプさせた分だけ、以降の画像データに対する目標符号発生量を多く割り当てるように、目標符号発生量制御信号Ｓ８によつて量子化回路１０を制御する。この場合、符号化制御回路７は画像を復号する際の重要度が高い画像符号化タイプ、すなわちＩピクチヤ、Ｐピクチヤの順に目標符号発生量を多く割り当てる。
画像復号装置１３は、画像符号化装置１でピクチヤがスキツプされた場合でも、伝送されてくるアドレス情報に基づいてどのマクロブロツクがスキツプされたかを判別することができ、これによりスキツプされた場合には、前のフレームをそのまま表示するようになされている。
符号化制御回路７の動作について図７を用いて説明する。
符号化制御回路７は、ステツプＳＰ１より動作を開始して、ステツプＳＰ２において、これから符号化するピクチヤ（以下、これを符号化対象ピクチヤと呼ぶ）がどの画像符号化タイプかを画像符号化並替え回路３から送出される画像符号化タイプデータＳ３に基づいて判定した後、ステツプＳＰ３に進む。
符号化制御回路７は、ステツプＳＰ３において、スキツプ判定フラグがセツトされているピクチヤ（以下、これをスキツプピクチヤと呼ぶ）の画像符号化タイプと、符号化対象ピクチヤの画像符号化タイプとに基づいて、符号化対象ピクチヤをスキツプするか否かを判定する。ここでスキツプ判定フラグは、後述するように、スキツプピクチヤに対して設定されるフラグを表す。
このステツプＳＰ３において、符号化対象ピクチヤをスキツプするか否かを判定するのは、スキツプピクチヤが符号化対象ピクチヤの予測画像であるか否かを判定するためである。すなわち上述したように、符号化対象ピクチヤの予測画像がスキツプされている場合には、この予測画像を用いて復号化されるピクチヤの画質に影響を与えるため、符号化対象ピクチヤを符号化しているときに、デコーダバツフア１８におけるデータ占有量が当該符号化対象ピクチヤの画像符号化タイプに対応するしきい値を下回つていない場合でもスキツプさせる必要があるからである。例えばＰピクチヤＰ3（図５）を符号化対象ピクチヤとした場合、当該ＰピクチヤＰ3の予測画像となるＰピクチヤＰ2はスキツプされているからである。
ステヅプＳＰ３において、符号化制御回路７が否定結果を得ると、ステツプＳＰ４に進み、スキツプ判定フラグをリセツトする。ここでスキツプ判定フラグをリセツトするのは、ステツプ判定フラグをセツトしたままであると、スキツプを行つてはならないピクチヤの画像データがスキツプされることを防止するためである。
続いて符号化制御回路７はステツプＳＰ５において目標符号発生量を計算した後、ステツプＳＰ６に進んで符号化対象ピクチヤをマクロブロツク単位で符号化させる。次に符号化制御回路７はステツプＳＰ７において、デコーダバツフア１８における現在のデータ占有量を計算した後、ステツプＳＰ８に進む。
ステツプＳＰ８において、符号化制御回路７は、ステツプＳＰ７において計算したデコーダバツフア１８におけるデータ占有量が符号化対象ピクチヤに対応するしきい値を下回つているか否かを判定し、否定結果を得ると、ステツプＳＰ９に進む。ステツプＳＰ９において、符号化制御回路７は、符号化対象ピクチヤについて１フレーム分符号化されたか否かを判定し、否定結果を得るとステツプＳＰ６に戻つて、ステツプＳＰ６からステツプＳＰ９までの処理ループを実行する。
符号化制御回路７は、ステツプＳＰ３において符号化対象ピクチヤをスキツプさせると判定した場合にはステツプＳＰ１０に進み、先頭アドレス情報及び最終アドレス情報を除いて当該符号化対象ピクチヤをスキツプさせ、符号化対象ピクチヤがＩピクチヤの場合にはＤＣ成分のみのマクロブロツクとして符号化させる。また符号化制御回路７は、ステツプＳＰ８においてデコーダバツフア１８におけるデータ占有量が符号化対象ピクチヤに対応するしきい値を下回つた場合には、これ以降の符号化対象ピクチヤの画像データをマクロブロツク単位でスキツプさせる。
続いて符号化制御回路７は、ステツプＳＰ１１に進んで、符号化対象ピクチヤについて１フレーム分の符号化が終了したか否かを判定する。
符号化制御回路７はステツプＳＰ１１において否定結果を得ると、ステツプＳＰ１０に戻つて、ステツプＳＰ１０及びステツプＳＰ１１の処理ループを実行し、肯定結果を得るとステツプＳＰ１２に進む。ステツプＳＰ１２において、符号化制御回路７は、スキツプしたピクチヤに対して、対応するスキツプ判定フラグをセツトした後、ステツプＳＰ２に戻り、画像信号Ｓ１を全て処理するまで上述の動作を繰り返す。
以上の構成において、この画像符号化装置１では、可変長符号化回路１１からの画像データの符号発生量に基づき、Ｂピクチヤを符号化しているときに、デコーダバツフア１８におけるデータ占有量が第３のしきい値を下回るような符号量を有する画像データが発生した場合には、当該符号化中のＢピクチヤのこれ以降の画像データがマクロブロツク単位でスキツプされるので、デコーダバツフア１８において次のＰピクチヤの画像データのためのＶＢＶバツフアのデータ占有量が確保される。
またこの画像符号化装置１では、可変長符号化回路１１からの画像データの符号発生量に基づき、Ｐピクチヤを符号化しているときに、デコーダバツフア１８におけるデータ占有量が第２のしきい値を下回るような符号量を有する画像データが発生した場合には、当該符号化中のＰピクチヤのこれ以降の画像データがマクロブロツク単位でスキツプされるので、デコーダバツフア１８においてＩピクチヤの画像データのためのＶＢＶバツフアのデータ占有量が確保される。
またＰピクチヤがスキツプされた場合には、当該Ｐピクチヤを予測画像とするＰピクチヤ及びＢピクチヤが全てスキツプされるので、画質の劣化を防止することができる。
さらにこの画像符号化装置１では、可変長符号化回路１１からの画像データの符号発生量に基づき、Ｉピクチヤを符号化しているときに、デコーダバツフア１８におけるデータ占有量が第１のしきい値を下回るような符号量を有する画像データが発生した場合には、当該符号化中のＩピクチヤのこれ以降の画像データがマクロブロツク単位でスキツプされるので、デコーダバツフア１８において次のＩピクチヤの画像データのためのＶＢＶバツフアのデータ占有量が確保される。またＩピクチヤがスキツプされた場合には、次のＩピクチヤの符号化時まで全てのＰピクチヤ及びＢピクチヤがスキツプされるので、画質の劣化を防止することができる。
従つてこの画像符号化装置１では、画像を復号化する際の重要度が低い画像符号化タイプのピクチヤを優先的にスキツプさせているので、デコーダバツフア１８において、次に重要度の高い画像符号化タイプのピクチヤのためのＶＢＶバツフアのデータ占有量を確保することができる。
またこの画像符号化装置１では、画像を復号する際の重要度が低い画像符号化タイプのピクチヤを優先的にスキツプさせているので、画像を復号する際の重要度が高い画像符号化タイプのピクチヤに対してスキツプさせた分だけ目標符号発生量を多く割り当てることができ、画質の劣化を防止し得る。この場合、画像の絵柄が複雑なときには特に有効である。
さらに符号化装置１側で画像復号装置１３側の画像のフリーズ状態を制御することができる。
以上の構成によれば、ＶＢＶバツフアにおけるデータ占有量のしきい値として、Ｂピクチヤ、Ｐピクチヤ及びＩピクチヤにそれぞれ対応させて第３のしきい値、第２のしきい値及び第１のしきい値を設定すると共に、第３のしきい値、第２のしきい値、第１のしきい値の順にしきい値の値が大きくなるようにこれら第３、第２及び第１のしきい値の値を設定することにより、画像を復号する際の重要度の低い画像符号化タイプのピクチヤを優先的にスキツプさせる。
これにより、ＶＢＶバツフアにおいて、画像を復号化する際の重要度が高い画像符号化タイプのピクチヤのデータ占有量を優先的に確保することができ、その結果、画質を劣化させずにＶＢＶバツフアにおけるアンダフローの発生を確実に防止することができる画像符号化装置を実現し得る。
なお上述の第１の実施の形態においては、可変長符号化回路１１における符号化方式としてハフマン符号を用いた場合について述べたが、本発明はこれに限らず、可変長符号化回路１１における符号化としてこの他種々の符号化方式を適用し得る。
また上述の第１の実施の形態においては、例えば15個のフレームをグループ・オブ・ピクチヤ（ＧＯＰ）としこれを１単位として処理するようにした場合について述べたが、本発明はこれに限らず、ＧＯＰを構成するフレームの数としてこの他種々の数でＧＯＰを構成してもよい。
さらに上述の第１の実施の形態においては、各画像をフレーム単位で符号化した場合について述べたが、本発明はこれに限らず、フイールド単位、又はフレーム単位とフイールド単位を混在させて符号化するようにしてもよい。すなわちノンインタレース走査方式に対応させ得るようにしてもよい。
さらに上述の第１の実施の形態においては、符号化対象となる画像の画像符号化タイプを判定する画像符号化タイプ判定手段として、画像符号化並替え回路３及び符号化制御回路７を用いた場合について述べたが、本発明はこれに限らず、画像符号化タイプ判定手段として、この他種々の画像符号化タイプ判定手段を適用し得る。
さらに上述の第１の実施の形態においては、画像符号化タイプ判定手段の出力に基づいて、第１、第２又は第３の画像を符号化する符号化手段として、画像符号化タイプ指定回路２、画像符号化順序並替え回路３、スキヤンコンバータ４、予測モード決定回路５、動きベクトル検出回路６、符号化制御回路７、演算回路８、ＤＣＴ変換回路９、量子化回路１０、可変長符号化回路１１、逆量子化回路１２、逆ＤＣＴ変換回路１４、演算器１５、フレームメモリ１６及び動き補償回路１７を用いた場合について述べたが、本発明はこれに限らず、符号化手段としてこの他種々の第１の符号化手段を適用し得る。
さらに上述の第１の実施の形態においては、符号化された画像の符号発生量を演算し、当該演算結果に基づき、画像復号装置のバツフアにおける符号化された画像のデータ占有量が、第１、第２及び第３の画像にそれぞれ対応させて設定されたデータ占有量の第１、第２及び第３のしきい値のうち、現在符号化されている第１、第２又は第８の画像に対応する第１、第２又は第３のしきい値を下回るような符号発生量が発生した場合、現在符号化されている第１、第２又は第３の画像に対する符号化処理を停止させるように、符号化手段を制御する符号化制御手段として、符号化制御回路７を用いた場合について述べたが、本発明はこれに限らず、符号化制御手段としてこの他種々の符号化制御手段を適用し得る。
さらに上述の第１の実施の形態においては、画像データを３つの符号化タイプ、すなわちＩピクチヤ、Ｐピクチヤ及びＢピクチヤの画像に符号化するようにしたが、本発明はこれに限らず、３つの符号化タイプのうちから２つの符号化タイプ、すなわちＩピクチヤ及びＰピクチヤ、又はＩピクチヤ及びＢピクチヤを用いて画像を符号化するようにしても、上述の第１の実施の形態と同様の効果を得ることができる。
因に、ＶＢＶバツフアにおけるデータ占有量のしきい値として、Ｉピクチヤに対応する第１のしきい値を設定すると共に、Ｐピクチヤ又はＢピクチヤに対応する第２又は第３のしきい値として第１のしきい値より大きい値のしきい値を設定するようにしたことにより、画像を復号化する際にＩピクチヤより重要度の低いＰピクチヤ又はＢピクチヤを優先的にスキツプさせることができる。
これにより、ＶＢＶバツフアにおいて、画像を復号化する際の重要度が高い画像符号化タイプのピクチヤのデータ占有量を優先的に確保することができ、その結果、画質を劣化させずにＶＢＶバツフアにおけるアンダフローの発生を確実に防止することができる画像符号化装置を実現し得る。
（2） 第２の実施の形態
図８において、画像符号化装置２５は、入力画像信号Ｓ２５をエンコーダ制御部２６において圧縮符号化のための前処理等の処理をした後、ＦＩＦＯ（先入れ先出し）メモリ２７において出力データを所定時間だけ遅延する。このＦＩＦＯメモリ１２の出力データは符号化手段としてのエンコーダ２８によつて、ピクチヤごとに画像符号化タイプ、すなわちピクチヤタイプに応じた符号化方法によつて圧縮符号化されて、圧縮画像データＳ２６として出力される。
エンコーダ２８には動き検出回路３０によつてエンコーダ制御部２６の出力データに基づいて検出された動きベクトルが与えられ、かくしてエンコーダ２８から出力される発生ビツト量データＳ２７と、エンコーダ制御部２６から出力されるイントラＡＣデータＳ２８と、動き検出回路３０から出力されるＭＥ残差データＳ２９とに基づいて符号化制御部３１によつて制御される。
図８に示す画像符号化装置２５は、圧縮符号化する前の画像データの特徴に基づいて発生符号量の制御を行うフイードフオワード型のレート制御を行うように構成されている。
ここで、ＭＥ残差とは、動き予測誤差をピクチヤ全体について絶対値和あるいは自乗和したものであり、ＭＥ残差データＳ２９は、ＭＥ残差を求めるためのデータである。
符号化制御部３１は、互いにバス３２を介して接続されたＣＰＵ（中央処理装置）３３、ＲＯＭ（read only memory）３４及びＲＡＭ（randam access memory）３５を有するコンピユータによつて構成され、ＣＰＵ３３が、ＲＡＭ３５をワーキングエリアとして、ＲＯＭ３４に格納されたプログラムを実行することによつて、符号化制御部３１における各機能を実現する。ＲＯＭ３４は、本発明に係る画像符号化制御用プログラムを記憶したものであり、ＩＣ（集積回路）でも良いし、ハードデイスク、フロツピイデイスク等の磁気デイスクを記録媒体とする記憶装置でも良いし、ＣＤ（コンパクトデイスク）−ＲＯＭ等の光デイスクを記録媒体とする記憶装置でも良いし、その他の種類の記録媒体を用いる記憶装置でも良い。いずれの場合にも、ＩＣや種々の記録媒体は、本発明にかかる画像符号化制御用プログラムを記録した媒体に相当する。
エンコーダ制御部２６は、図９に示すように、入力画像信号Ｓ２５を入力し、符号化する順番に従つてピクチヤ（Ｉピクチヤ、Ｐピクチヤ、Ｂピクチヤ）の順番を並べ替える画像並べ替え回路４１と、この画像並べ替え回路４１の出力データを入力し、フレーム構造かフイールド構造かを判別し、判別結果に応じた走査変換及び１６×１６画素のマクロブロツク化を行う走査変換・マクロブロツク化回路４２と、この走査変換・マクロブロツク化回路４２の出力データを入力し、ＩピクチヤにおけるイントラＡＣを算出し、イントラＡＣデータＳ２８を符号化制御部３１に送ると共に、走査変換・マクロブロツク化回路４２の出力データをＦＩＦＯメモリ２７及び動き検出回路３０に送るイントラＡＶ演算回路４３とを有する。
ここで、イントラＡＣは、Ｉピクチヤにおいて、８×８画素のＤＣＴ変換（離散コサイン変換）ブロツク内の各画素の画素値とＤＣＴ変換ブロツク内の画素値の平均値との差分の絶対値の総和として定義され、絵柄の複雑さを表すものである。
エンコーダ２８は、減算回路４４において、ＦＩＦＯメモリ２７の出力データと予測画素データとの差分をとり、この減算回路４４の出力データに対して、ＤＣＴ変換回路４５においてＤＣＴ変換ブロツク単位でＤＣＴ変換を行うことにより、ＤＣＴ変換係数を出力し、このＤＣＴ変換回路４５の出力データを量子化回路４６によつて量子化した後、可変長符号化回路４７によつて可変長符号化する。この可変長符号化回路４７の出力データはバツフアメモリ４８によつて一旦保持され、一定のビツトレートのビツトストリームからなる圧縮画像データＳ２６として出力される。
量子化回路４６の出力データは逆量子化回路４９によつて逆量子化され、この逆量子化回路４９の出力データに対して逆ＤＣＴ変換回路５０が逆ＤＣＴ変換を行う。この逆ＤＣＴ変換回路５０の出力データは加算回路５１によつて予測画像データとを加算され、この加算回路５１の出力データを動き補償回路５２において保持し、動き検出回路３０から送られる動きベクトルに応じて動き補償を行つて予測画像データを減算回路４４及び加算回路５１に出力する。
バツフアメモリ４８は、可変長符号化回路４７より発生されるビツト量を表す発生ビツト量データＳ２７を符号化制御部３１に送るようになつている。
動き検出回路３０は、エンコーダ制御部２６の出力データに基づいて、圧縮符号化の対象となるピクチヤの注目マクロブロツクと、参照されるピクチヤにおいて注目マクロブロツクとの間の画素値の差分の絶対値和又は自乗和が最小となるマクロブロツクを探して、動きベクトルを検出して動き補償回路５２に送る。また、動き検出回路３０は、動きベクトルを求める際に、最小となつたマクロブロツク間における画素値の差分の絶対値和又は自乗和を、ＭＥ残差データＳ２９として符号化制御部３１に送る。
符号化制御部３１は、動き検出回路３０からのＭＥ残差データＳ２９をピクチヤ全体について足し合わせた値であるＭＥ残差をＭＥ残差計算部６１において算出し、このＭＥ残差計算部６１によつて算出されたＭＥ残差とイントラＡＣ演算回路４３からのイントラＡＣデータＳ２８とに基づいて、符号化難易度計算部４２によつてピクチヤの符号化の難易度を表す符号化難易度を算出する。バツフアメモリ４８からの発生ビツト量データＳ２７はこの第２の実施の形態に係る画像符号化装置２５によつて圧縮符号化された画像データを伸張する画像復号化装置における入力バツフアに対応する仮想的なバツフアであるＶＢＶバツフアのデータ占有量を、ＶＢＶバツフア占有量計算部６２において算出する。なお、ＭＥ残差は、映像の動きの速さ及び絵柄の複雑さを表す。
符号化制御部３１は、さらに、符号化難易度計算部６３によつて算出された符号化難易度とＶＢＶバツフア占有量計算部６２によつて算出されたＶＢＶバツフアの占有量とに基づいて目標符号量を決定すると共に、ＶＢＶバツフアのアンダフローを防止するために画像に対する符号化処理を停止するスキツプを行うか否かの判定を行う目標符号量決定部６４を有し、エンコーダ２８における発生符号化量が目標符号量決定部６４によつて決定された目標符号量となるように量子化回路４６における量子化特性値に対応する量子化インデツクスを量子化インデツクス決定部６５において決定して量子化回路４６に送る。かくして目標符号量決定部６４によつてスキツプを行うと判定された場合には、スキツプ制御部６６が量子化回路４６及び可変長符号化回路４７を制御してスキツプを行わせる。
ここで、符号化難易度について説明する。符号化難易度は、ピクチヤの符号化の難易度を表すものであるが、これは、同じ画質を保つために必要なデータ量の比率と言い換えることができる。符号化難易度を数値化する方法は種々考えられるが、この第２の実施の形態では、ＩピクチヤについてはイントラＡＣを用いて符号化難易度を求め、Ｐピクチヤ及びＢピクチヤについてはＭＥ残差を用いて符号化難易度を求める。前述のように、イントラＡＣは絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さ及び絵柄の複雑さを表し、これらは符号化の難易度と強い相関があるので、イントラＡＣやＭＥ残差を変数とする一次関数等により、イントラＡＣやＭＥ残差から符号化難易度を算出することができる。
次に、符号化難易度に基づいてＶＢＶバツフアのアンダフローの危険度を判定する方法について説明する。すでに説明したように、ＶＢＶバツフアのアンダフローが発生するのは、目標符号量に対して発生符号量が大きく上回るような場合である。このようなことは、ビツトレートに対して入力画像の符号化難易度が非常に大きい場合に生じる。そこで、ＶＢＶバツフアのアンダフローの危険度を判定するためのパラメータとしては、ビツトレートに対する符号化難易度の比率を用いるのが適当である。また、さらに、ＶＢＶバツフアのアンダフローの危険度を判定するためには、これから符号化する予定の数枚以内のピクチヤにおける、上記ビツトレートに対する符号化難易度の比率を見ることが重要である。これは、符号化難易度は、ピクチヤタイプによつて変動するからである。そこで、この第２の実施の形態では、ＶＢＶバツフアのアンダフローの危険度を判定するためのパラメータとして、次式によつて定義されるパラメータｘを用いる。
ｘ＝ΣＤk／Ｇ ……（１）
ここで、Ｄkはピクチヤｋの符号化難易度を表し、ｋはピクチヤの符号化順を表し、次に符号化する予定のピクチヤをｋ＝１とする。Σはｋ＝１からＮ（Ｎは１ＧＯＰ（グループ・オブ・ピクチヤ）分のピクチヤの枚数）までの総和を意味する。また、Ｇは次式、
Ｇ＝（〔ビツトレート〕×Ｎ）／〔ピクチヤレート〕 ……（２）
によつて定義される。
（２）式において、〔ビツトレート〕は、通信回線の伝送容量や記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビツト量）を表し、〔ピクチヤレート〕は、１秒当たりのピクチヤの枚数（例えばＮＴＳＣ圏では３０、ＰＡＬ圏では２５）である。従つて、Ｇは、Ｎ枚分のピクチヤに対応する時間に割り当てられるデータ量（ビツト量）を表し、ｘは、Ｎ枚分のピクチヤに対応する時間に割り当てられるデータ量（ビツト量）に対するＮ枚分のピクチヤの符号化難易度Ｄkの和の比率を表す。
なお、必ずしもＮ枚分のピクチヤを用いてｘを求める必要はなく、Ｎより大きい数や小さい数の枚数分のピクチヤを用いてｘを求めるようにしても良い。ただし、Ｎよりもあまり大きい数をとるとアンダフローの危険度の判定が精度が落ち、Ｎよりもあまり小さい数をとるとパラメータｘの変動が大きくなることに留意する必要がある。
次に、第２の実施の形態に係る画像符号化装置２５の動作について説明する。入力画像信号Ｓ２５は、エンコーダ制御部２６に入力される。エンコーダ制御部２６では、まず、画像並べ替え回路４１によつて、符号化する順番に従つてピクチヤ（Ｉピクチヤ、Ｐピクチヤ、Ｂピクチヤ）の順番を並べ替え、次に、走査変換・マクロブロツク化回路４２によつて、フレーム構造かフイールド構造かを判別し、判別結果に応じた走査変換及びマクロブロツク化を行い、次に、Ｉピクチヤの場合には、イントラＡＣ演算回路４３によつてイントラＡＣを算出してイントラＡＣデータＳ２８を符号化制御部３１に送る。また、走査変換・マクロブロツク回路４２の出力データは、イントラＡＣ演算回路４３を経て、ＦＩＦＯメモリ２７及び動き検出回路３０に送られる。
ＦＩＦＯメモリ２７は、符号化難易度計算部６３において、符号化が終了したピクチヤに引き続くＮ枚分のピクチヤの符号化難易度を算出するのに必要な時間だけ、入力した画像データを遅延して、エンコーダ２８に出力する。動き検出回路３０は、動きベクトルを検出して動き補償回路５２に送ると共に、ＭＥ残差データＳ２９をＭＥ残差計算部６１に送る。
Ｉピクチヤの場合には、エンコーダ２８では、減算回路４４において予測画像データとの差分をとることなく、ＦＩＦＯメモリ２７の出力データをそのままＤＣＴ変換回路４５に入力してＤＣＴ変換を行い、量子化回路４６によつてＤＣＴ変換係数を量子化し、可変長符号化回路４７によつて量子化回路４６の出力データを可変長符号化し、バツフアメモリ４８によつて可変長符号化回路４７の出力データを一旦保持し、一定のビツトレートのビツトストリームからなる圧縮画像データＳ２６として出力する。
また、逆量子化回路４９によつて量子化回路４６の出力データを逆量子化し、逆ＤＣＴ変換回路５０によつて逆量子化回路４９の出力データに対して逆ＤＣＴ変換を行い、逆ＤＣＴ変換回路５０の出力画像データを加算回路５１を介して動き補償回路５２に入力して保持させる。
Ｐピクチヤの場合には、エンコーダ２８では、動き補償回路５２によつて、保持している過去のＩピクチヤ又はＰピクチヤに対応する画像データと動き検出回路３０からの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路４４及び加算回路５１に出力する。また、減算回路４４によつて、ＦＩＦＯメモリ２７の出力データと動き補償回路５２からの予測画像データとの差分をとり、ＤＣＴ変換回路４５によつてＤＣＴ変換を行い、量子化回路４６によつてＤＣＴ変換係数を量子化し、可変長符号化回路４７によつて量子化回路４６の出力データを可変長符号化し、バツフアメモリ４８によつて可変長符号化回路４７の出力データを一旦保持し圧縮画像データＳ２６として出力する。また、逆量子化回路４９によつて量子化回路４６の出力データを逆量子化し、逆ＤＣＴ変換回路５０によつて逆量子化回路４９の出力データに対して逆ＤＣＴ変換を行い、加算回路５１によつて逆ＤＣＴ変換回路５０の出力データと予測画像データとを加算し、動き補償回路５２に入力して保持させる。
Ｂピクチヤの場合には、エンコーダ２８では、動き補償回路５２によつて、保持している過去及び未来のＩピクチヤ又はＰピクチヤに対応する２つの画像データと動き検出回路３０からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路４４及び加算回路５１に出力する。また、減算回路４４によつて、ＦＩＦＯメモリ２７の出力データと動き補償回路５２からの予測画像データとの差分をとり、ＤＣＴ変換回路４５によつてＤＣＴ変換を行い、量子化回路４６によつてＤＣＴ変換係数を量子化し、可変長符号化回路４７によつて量子化回路４６の出力データを可変長符号化し、バツフアメモリ４８によつて可変長符号化回路４７の出力データを一旦保持し、圧縮画像データＳ２６として出力する。なお、Ｂピクチヤは動き補償回路５２に保持させない。
なお、バツフアメモリ４８は可変長符号化回路４７より発生されるビツト量を表す発生ビツト量データＳ２７を符号化制御部３１に送る。
次に、図１０のフローチヤートを参照して、符号化制御部３１の動作について説明する。この動作では、まず、符号化難易度計算部６３によつて、イントラＡＣ演算回路４３からのイントラＡＣデータＳ２８とＭＥ残差計算部６１で算出したＭＥ残差より、符号化難易度を計算し、パラメータｘを求める（ステツプＳＰ２１）。なお、パラメータｘは、今から符号化する予定のピクチヤに引き続くＮ枚分のピクチヤの符号化難易度に基づいて算出される。
次に、スキツプフラグが“１”か否かを判断する（ステツプＳＰ２２）。スキツプフラグは、“１”のとき、今から符号化する予定のピクチヤをスキツプすることを示し、“０”のとき、今から符号化する予定のピクチヤをスキツプしないことを示す。
スキツプフラグが“０”の場合（ステツプＳＰ２２において否定結果が得られた場合）には、目標符号量決定部６４によつて、パラメータｘとＶＢＶバツフア占有量計算部６２によつて算出されているＶＢＶバツフアの占有量とに基づいて、ピクチヤｊの目標符号量を計算し（ステツプＳＰ２３）、量子化インデツクス決定部６５に送る。なお、ピクチヤｊは、今から符号化するピクチヤを意味する。
次に、量子化インデツス決定部６５によつて、エンコーダ２８における発生符号量が目標符号量決定部６４によつて決定された目標符号量となるように量子化回路４６における量子化特定値に対応する量子化インデツクスを決定し、量子化回路４６に送る。これに応じて、ピクチヤｊの符号化が行われる（ステツプＳＰ２４）。
一方、スキツプフラグ“１”の場合（ステツプＳＰ２２において肯定結果が得られた場合）には、目標符号量決定部６４は、ピクチヤｊをスキツプすることをスキツプ制御部６６に指示し、これに応じて、スキツプ制御部６６は、前のフレームを表示するように処理する（ステツプＳＰ２５）。すなわち、スキツプ制御部６６は、量子化回路４６を制御してマクロブロツク単位でスキツプを行わせると共に、可変長符号化回路４７に対してスキツプするマクロブロツクのアドレス情報を送る。これに応じて、可変長符号化回路４７は、スキツプするための情報を符号化して出力する。このようにして、ピクチヤｊは、スキツプされたマクロブロツクであるスキツプマクロブロツクで構成されるピクチヤとして符号化される。
ステツプＳＰ２４又はステツプＳＰ２５が終了したら、ＶＢＶバツフア占有量計算部６２によつて、ステツプＳＰ２４又はステツプＳＰ２５による発生ビツト量からＶＢＶバツフアの占有量Ｂjを計算する（ステツプＳＰ２６）。なお、ＶＢＶバツフアの占有量Ｂjは、ピクチヤｊの符号化前のＶＢＶバツフアの占有量からピクチヤｊによる発生ビツト量を引き、Ｉピクチヤ間の時間にＶＢＶバツフアに蓄積されるビツト量を加算することによつて得ることができる。次に、次のピクチヤのピクチヤタイプを判定する（ステツプＳＰ２７）。ピクチヤタイプがＢピクチヤの場合には、ＶＢＶバツフアの占有量ＢjがＢピクチヤに対する占有量判定用しきい値Ｔｈ（Ｂ）より小さいか否かを判別する（ステツプＳＰ２８）。ピクチヤタイプがＰピクチヤの場合には、ＶＢＶバツフアの占有量ＢjがＰピクチヤに対する占有量判定用しきい値Ｔｈ（Ｐ）より小さいか否かを判断する（ステツプＳＰ２９）。ピクチヤタイプがＩピクチヤの場合には、ＶＢＶバツフアの占有量ＢjがＩピクチヤに対する占有量判定用しきい値Ｔｈ（Ｉ）より小さいか否かを判断する（ステツプＳＰ３０）。なお、占有量判定用しきい値は、Ｔｈ（Ｂ）＞Ｔｈ（Ｐ）＞Ｔｈ（Ｉ）となるように設定されている。
ＢjがＴｈ（Ｂ）より小さくない場合（ステツプＳＰ２８において否定結果が得られる場合）、ＢjがＴｈ（Ｐ）より小さくない場合（ステツプＳＰ２９において否定結果が得られた場合）又はＢjがＴｈ（Ｉ）より小さくない場合（ステツプＳＰ３０において否定結果が得られる場合）は、次のピクチヤをスキツプする必要がないので、スキツプフラグを“０”にする（ステツプＳＰ３１）。
ＢjがＴｈ（Ｂ）より小さい場合（ステツプＳＰ２８において肯定結果が得られる場合）、ＢjがＴｈ（Ｐ）より小さい場合（ステツプＳＰ２９において肯定結果が得られた場合）又はＢjがＴｈ（Ｉ）より小さい場合（ステツプＳＰ３０において肯定結果が得られた場合）は、パラメータｘが所定の符号化難易度判定用しきい値Ｔｈ（ｘ）を越えているか否かを判断する（ステツプＳＰ３２）。なお、しきい値Ｔｈ（ｘ）は、目標符号量に対して発生符号量が大きく上回つてしまうほど難しい絵柄か否かを判別するためのしきい値である。ｘがＴｈ（ｘ）を越えていない場合（Ｎ）は、絵柄は今後さほど難しくないことを意味し、次のピクチヤをスキツプする必要がないので、スキツプフラグを“０”にする（ステツプＳＰ３１）。逆に、ｘがＴｈ（ｘ）を越えている場合（肯定結果が得られる場合）は、今後も難しい絵柄が続くことを意味するので、この場合はＶＢＶバツフアのアンダフローの危険性が高いと判断して、次のピクチヤをスキツプするために、スキツプフラグを“１”にする（ステツプＳＰ３３）。
スキツプフラグの設定（ステツプＳＰ３１、ステツプＳＰ３３）が終了したら、次のピクチヤの処理のために、ｊ＋１を新たなｊとして（ステツプＳＰ３４）、メインルーチンにリターンする（ステツプＳＰ３５）。
以上説明したように、第２の実施の形態に係る画像符号化装置２５によれば、ピクチヤタイプ別にＶＢＶバツフアの占有量判定用しきい値を設定し、Ｂピクチヤ、Ｐピクチヤ、Ｉピクチヤの順に優先的にスキツプするようにすると共に、符号化が終了したピクチヤに引き続く数枚のピクチヤの符号化難易度に基づいてスキツプを行うか否かを判定するようにしたので、入力画像の絵柄が難しくなり、ＶＢＶバツフアのアンダフローが発生しそうな場合に、画質に対する影響の少ないＢピクチヤを優先的にスキツプすると共に、実際にはＶＢＶバツフアのアンダフローが発生しないような場合にはピクチヤのスキツプを行わないようにすることができ、画質に対する影響を極力抑えながら、ＶＢＶバツフアのアンダフローを防止することができる。
なお、本発明は、上述の第２の実施の形態に限定されず、例えば、符号化難易度に基づいてスキツプを行うか否かを判定する際に、実施の形態で用いたパラメータｘの他に、符号化難易度が増加傾向にあるのか減少傾向にあるのかという変化傾向の情報も加えて判定することで、今後の入力画像の絵柄の難しさの予測精度を更に向上させて、スキツプを行うか否かの判定をより適切に行うことができる。すなわち、例えば、今は符号化難易度が大きくても符号化難易度が減少傾向にある場合にはスキツプを行わなくともＶＢＶバツフアのアンダフローが発生しない場合もあるので、このような場合にはスキツプを行わないようにすることでスキツプを極力少なくすることが可能となる。なお、符号化難易度の変化傾向の情報は、例えば、時系列的に求まつた符号化難易度を最小自乗法等により直線近似し、その傾きから求めることができる。この場合、符号化難易度の変化傾向の情報は、例えば、図９における符号化難易度計算部６３において求める。
また、上記第２の実施の形態では、図８に示したように、エンコーダ２８の他に別のエンコーダを設けることなく、圧縮符号化する前の画像データの特徴に基づいて発生符号量の制御を行うフイードフオワード型のレート制御を行う構成としたが、本発明は、圧縮符号化後のデータ量を見積もるためにエンコーダ２８とは別の１バス目のエンコーダを設けて、この１バス目のエンコーダによつて圧縮符号化することによつて見積もられたデータ量に基づいて２バス目のエンコーダ２８における発生符号量の制御を行うフイードフオワード型のレート制御を行う構成にも適用することができる。この場合には、１バス目のエンコーダによつて圧縮符号化することによつて得られた発生符号量に基づいて符号化難易度を求めることが可能である。
更に、本発明は、フイードフオワード型のレート制御を行う構成に限らず、既に圧縮符号化したピクチヤの符号化難易度に基づいて今後のピクチヤの符号化難易度を予測することで、ＭＰＥＧ方式の圧縮アルゴリズムとして有名なＴＭ５（test model 5:ISO/IEC JTC/SC29（1993））等で代表されるような、過去に圧縮符号化して得られた発生符号量に基づいて発生符号量の制御を行うフイードバツク型のレート制御を行う構成にも適用することができる。この場合、例えば、過去に圧縮符号化したピクチヤのグローバル・コンプレキシテイ（Global Complexity）の傾向を分析し、直線近似等によつて今後の数枚分のピクチヤの符号化難易度を予測し、この予測した符号化難易度に基づいて実施の形態で用いたパラメータｘの値を求め、実施の形態と同様にパラメータｘの値に基づいてスキツプを行うか否かを判定するようにすれば良い。
なお、グローバル・コンプレキシテイとは、画面の複雑さを示すパラメータであり、符号化の難易度と相関があり、具体的にはピクチヤの圧縮符号化時の発生符号量とピクチヤの圧縮符号化時の平均量子化スケールコード（量子化特性値）との積として求められる（例えば、オーム社発行の「テレビジヨン学会マルチメデイア選書 ＭＰＥＧ」の第１１１ページ参照）。
また、フイードフオワード型のレート制御を行う構成において直線近似等によつて符号化難易度の変化傾向を求める場合や、フイードバツク型のレート制御を行う構成において直線近似等によつて今後の数枚分のピクチヤの符号化難易度を予測する場合において、シーンチエンジ時には符号化難易度の連続性がなくなるので、シーンチエンジ時には、符号化難易度の変化傾向を求める処理や符号化難易度を予測する処理をシーンチエンジ前までで完結させ、シーンチエンジ後に新たに処理を行うようにすれば、より精度が向上する。
また、符号化難易度は、実施の形態で挙げたイントラＡＣやＭＥ残差等を用いたものに限らず、ピクチヤの符号化の難易度を表すものであれば、他のパラメータでも良い。
また、上記第２の実施の形態では、ピクチヤタイプ別にＶＢＶバツフアの占有量判定用しきい値を変えているが、本発明はＶＢＶバツフアの占有量判定用しきい値がピクチヤタイプによらずに一定である場合も含む。
産業上の利用可能性
本発明は、送信側で画像データを圧縮して送信すると共に、受信側で圧縮された画像データを伸張する通信システムや、画像データを圧縮して記録すると共に、再生時には圧縮された画像データを伸張して出力する圧縮画像記録再生装置等に利用できる。
Claims (10)
- 入力画像信号を符号化処理する画像符号化装置において、
上記入力画像信号をＩピクチヤ、Ｐピクチヤ及びＢピクチヤを構成する符号化画像データに符号化処理する符号化手段と、
上記符号化画像データを復号する復号手段の入力バッファに対応する仮想バツフアのデータ占有量を判定するために、Ｉピクチヤに対応する第１のしきい値、Ｐピクチヤに対応する第２のしきい値及びＢピクチヤに対応する第３のしきい値を、上記第３のしきい値＞上記第２のしきい値＞上記第１のしきい値となるように設定するしきい値設定手段と、
上記符号化手段によつてＢピクチヤの符号化処理時の発生符号量が、上記しきい値設定手段により設定された上記第３のしきい値より下回わる場合に、現在実行している符号化処理を停止するように上記符号化手段を制御する制御手段と
を具えることを特徴とする画像符号化装置。 - 上記制御手段は、上記符号化手段によつてＰピクチヤの符号化処理時の発生符号量が、上記しきい値設定手段により設定された上記第２のしきい値より下回わる場合に、現在実行している符号化処理を停止するように上記符号化手段を制御する
請求の範囲第１項に記載の画像符号化装置。 - 上記制御手段は、上記符号化手段によつてＩピクチヤの符号化処理時の発生符号量が、上記しきい値設定手段により設定された上記第１のしきい値より下回わる場合に、現在実行している符号化処理を停止するように上記符号化手段を制御する
請求の範囲第１項に記載の画像符号化装置。 - 上記制御手段は、現在符号化処理されている符号化対象ピクチャをマクロブロック単位でスキツプして符号化処理するように、上記符号化手段を制御する
請求の範囲第１項に記載の画像符号化装置。 - 上記制御手段は、符号化処理されている符号化対象ピクチャがＩピクチャである場合に、該Ｉピクチャ〜次のＩピクチャまでに存在するＰピクチャ及びＢピクチャをマクロブロック単位でDC成分のみのマクロブロックとして符号化処理するように、上記符号化手段を制御する
請求の範囲第３項に記載の画像符号化装置。 - 上記制御手段は、現在実符号化処理している符号化対象ピクチヤの参照予測ピクチャが符号化されていなかつた場合に、上記参照予測ピクチャを用いて復号化される全てのピクチヤに対する上記符号化処理を停止させるように、上記符号化手段を制御する
請求の範囲第１項に記載の画像符号化装置。 - 上記制御手段は、上記符号化処理を停止させた分だけ、停止させた以降の上記符号化画像データに対する目標符号量を多く割り当てるように、上記符号化手段を制御する
請求の範囲第１項に記載の画像符号化装置。 - 上記符号化データはＭＰＥＧ規格に準じたデータであり、
上記仮想バツフアはＶＢＶバツフアである
請求の範囲第１項に記載の画像符号化装置。 - 入力画像信号を符号化処理して得た符号化画像データを復号手段の入力バツフアに所定のビツトレートで伝送する画像符号化方法において、
上記入力画像信号を符号化手段によつてＩピクチヤ、Ｐピクチヤ又はＢピクチヤを構成する符号化画像データに符号化処理して上記入力バツフアに伝送するステツプと、
制御手段において、上記入力バツフアを復号化保証用の仮想バツフアとして、当該仮想バツフアのデータ占有量を判定するために、上記Ｉピクチヤ、上記Ｐピクチヤ及び上記Ｂピクチヤの符号化処理に対応する第１のしきい値、第２のしきい値及び第３のしきい値を設定し、上記符号化手段によつて上記Ｉピクチヤ、上記Ｐピクチヤ又は上記Ｂピクチヤの符号化処理時の発生符号量が、当該Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤの復号時における上記仮想バツフアのデータ占有量が上記第１のしきい値、上記第２のしきい値又は上記第３のしきい値より下回わる関係になつたとき、現在実行している符号化処理を停止するように上記符号化手段をスキツプ制御するステツプと
を具え、
上記第１のしきい値、上記第２のしきい値及び上記第３のしきい値の値は、当該第１のしきい値、第２のしきい値及び第３のしきい値の順に高くなるように設定されている
ことを特徴とする画像符号化方法。 - 入力画像信号を符号化処理して得た符号化画像データを復号手段の入力バツフアに所定のビツトレートで伝送する画像符号化方法において、
上記入力画像信号を符号化手段によつてＩピクチヤ、Ｐピクチヤ又はＢピクチヤを構成する符号化画像データに符号化処理して上記入力バツフアに伝送するステツプと、
制御手段において、上記入力バツフアを復号化保証用の仮想バツフアとして、当該仮想バツフアのデータ占有量を判定するために、上記Ｉピクチヤ、上記Ｐピクチヤ及び上記Ｂピクチヤの符号化処理に対応する第１のしきい値、第２のしきい値及び第３のしきい値を設定し、上記符号化手段によつて上記Ｉピクチヤ、上記Ｐピクチヤ又は上記Ｂピクチヤの符号化処理時の発生符号量が、当該Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤの復号時における上記仮想バツフアのデータ占有量が上記第１のしきい値、上記第２のしきい値又は上記第３のしきい値より下回わる関係になつたとき、現在実行している符号化処理を停止するように上記符号化手段をスキツプ制御するステツプと
を含み、
上記第１のしきい値、上記第２のしきい値及び上記第３のしきい値の値は、当該第１のしきい値、第２のしきい値及び第３のしきい値の順に高くなるように設定されている
処理をコンピユータに実行させるプログラムを記録した媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11570996 | 1996-04-12 | ||
| JP25972996 | 1996-09-30 | ||
| PCT/JP1997/001266 WO1997039588A1 (en) | 1996-04-12 | 1997-04-11 | Image encoder, image encoding method and medium on which image encoding program is recorded |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006216994A Division JP4345024B2 (ja) | 1996-04-12 | 2006-08-09 | 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3952509B2 true JP3952509B2 (ja) | 2007-08-01 |
Family
ID=26454175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP53694297A Expired - Fee Related JP3952509B2 (ja) | 1996-04-12 | 1997-04-11 | 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した媒体 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US6347117B1 (ja) |
| EP (2) | EP1677546B1 (ja) |
| JP (1) | JP3952509B2 (ja) |
| KR (1) | KR100495716B1 (ja) |
| CN (1) | CN1116768C (ja) |
| DE (1) | DE69738878D1 (ja) |
| WO (1) | WO1997039588A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10349073B2 (en) | 2015-09-10 | 2019-07-09 | Kabushiki Kaisha Toshiba | Decoding device, image transmission system, and decoding method |
| US11729801B2 (en) * | 2019-08-16 | 2023-08-15 | Qualcomm Incorporated | Dynamic HARQ-ACK codebook construction for multiple active semi-persistent scheduling configurations |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3588970B2 (ja) | 1997-04-30 | 2004-11-17 | ソニー株式会社 | 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法 |
| WO1999038262A1 (en) * | 1998-01-21 | 1999-07-29 | Matsushita Electric Industrial Co., Ltd. | Variable-length encoder |
| GB2333657B (en) * | 1998-01-22 | 2002-08-21 | Snell & Wilcox Ltd | Video signal compression |
| WO1999066725A1 (en) | 1998-06-16 | 1999-12-23 | United Video Properties, Inc. | Interactive television program guide with simultaneous watch and record capabilities |
| US6567117B1 (en) * | 1998-09-09 | 2003-05-20 | Nippon Telegraph And Telephone Corporation | Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method |
| JP4053668B2 (ja) * | 1998-09-16 | 2008-02-27 | パイオニア株式会社 | 情報記録装置及び情報記録方法 |
| GB2346282B (en) | 1999-01-28 | 2003-02-19 | Snell & Wilcox Ltd | Bit rate control in compression encoding |
| US6526097B1 (en) * | 1999-02-03 | 2003-02-25 | Sarnoff Corporation | Frame-level rate control for plug-in video codecs |
| US6567554B1 (en) | 1999-03-12 | 2003-05-20 | Victor Company Of Japan, Limited | Data coding method and apparatus therefor |
| CN1159916C (zh) * | 1999-06-22 | 2004-07-28 | 日本胜利株式会社 | 活动图象编码装置及其方法 |
| US6639942B1 (en) * | 1999-10-21 | 2003-10-28 | Toshiba America Electronic Components, Inc. | Method and apparatus for estimating and controlling the number of bits |
| JP2001148858A (ja) * | 1999-11-18 | 2001-05-29 | Sony Corp | 画像情報変換装置及び画像情報変換方法 |
| KR100585647B1 (ko) * | 1999-12-30 | 2006-06-07 | 엘지전자 주식회사 | 엠펙 비디오 디코더에서의 매크로 블록 애더 제어 방법 |
| CN1322759C (zh) * | 2000-04-27 | 2007-06-20 | 三菱电机株式会社 | 编码装置和编码方法 |
| GB0013273D0 (en) * | 2000-06-01 | 2000-07-26 | Philips Electronics Nv | Video signal encoding and buffer management |
| KR100345447B1 (ko) * | 2000-09-27 | 2002-07-26 | 한국전자통신연구원 | 스트리밍 서비스를 위한 가변 비트율 처리 방법 |
| US20040105492A1 (en) * | 2001-01-22 | 2004-06-03 | Goh Kwong Huang | Method and apparatus for video buffer verifier underflow and overflow control |
| JP3641214B2 (ja) | 2001-02-28 | 2005-04-20 | 株式会社東芝 | 動画像符号化装置および動画像符号化方法 |
| US7054362B1 (en) | 2001-05-29 | 2006-05-30 | Cisco Technology, Inc. | Methods and apparatus for updating a reduction ratio |
| US7266150B2 (en) * | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| KR100475412B1 (ko) * | 2002-03-11 | 2005-03-10 | 주식회사 럭스퍼트 | 상부 펌핑방식의 광소자 |
| US7483488B1 (en) * | 2002-05-30 | 2009-01-27 | Intervideo, Inc. | Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model |
| US7418037B1 (en) * | 2002-07-15 | 2008-08-26 | Apple Inc. | Method of performing rate control for a compression system |
| US7046729B2 (en) * | 2002-08-27 | 2006-05-16 | Ess Technology, Inc. | Bit rate control for motion compensated video compression system |
| US7940843B1 (en) | 2002-12-16 | 2011-05-10 | Apple Inc. | Method of implementing improved rate control for a multimedia compression and encoding system |
| US7804897B1 (en) | 2002-12-16 | 2010-09-28 | Apple Inc. | Method for implementing an improved quantizer in a multimedia compression and encoding system |
| JP4179917B2 (ja) * | 2003-04-22 | 2008-11-12 | 株式会社東芝 | 動画像符号化装置及び方法 |
| US20050013496A1 (en) * | 2003-07-16 | 2005-01-20 | Bruls Wilhelmus Hendrikus Alfonsus | Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder |
| JP2005080004A (ja) * | 2003-09-01 | 2005-03-24 | Sony Corp | 動画像符号化装置 |
| CN1312930C (zh) * | 2003-12-03 | 2007-04-25 | 明基电通股份有限公司 | 传输视频的方法及装置 |
| US7818444B2 (en) | 2004-04-30 | 2010-10-19 | Move Networks, Inc. | Apparatus, system, and method for multi-bitrate content streaming |
| US8295347B2 (en) | 2004-08-25 | 2012-10-23 | Sony Corporation | Information processing apparatus and information processing method, recording medium, and program |
| JP4492484B2 (ja) | 2005-08-22 | 2010-06-30 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| US8842660B2 (en) * | 2006-03-31 | 2014-09-23 | Microsoft Corporation | VoIP variable metadata |
| JP5078852B2 (ja) * | 2007-12-06 | 2012-11-21 | キヤノン株式会社 | 動画像符号化装置及び動画像符号化方法 |
| CA2798008C (en) * | 2010-05-06 | 2015-10-20 | Nippon Telegraph And Telephone Corporation | Method for controlling video encoding if a decoder underflow condition is detected |
| BR112012028184A2 (pt) | 2010-05-07 | 2016-08-02 | Nippon Telegraph & Telephone | método de controle de codificação de vídeo, aparelho de codificação de vídeo e programa de codificação de vídeo |
| JP5879555B2 (ja) * | 2010-05-10 | 2016-03-08 | パナソニックＩｐマネジメント株式会社 | 動画像符号化装置 |
| US9979970B2 (en) * | 2014-08-08 | 2018-05-22 | Qualcomm Incorporated | System and method for determining buffer fullness for display stream compression |
| US9942552B2 (en) | 2015-06-12 | 2018-04-10 | Intel Corporation | Low bitrate video coding |
| MX2018010460A (es) * | 2016-03-09 | 2019-01-14 | Sony Corp | Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion. |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2617631B2 (ja) * | 1991-05-15 | 1997-06-04 | 富士通株式会社 | 画像復号化システム |
| JP3187097B2 (ja) * | 1991-10-17 | 2001-07-11 | 株式会社東芝 | 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置 |
| US5317397A (en) | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
| JPH0514876A (ja) * | 1991-07-05 | 1993-01-22 | Hitachi Ltd | 動画像符号化方式 |
| US5231484A (en) * | 1991-11-08 | 1993-07-27 | International Business Machines Corporation | Motion video compression system with adaptive bit allocation and quantization |
| SE468736B (sv) | 1991-11-15 | 1993-03-08 | Televerket | Foerfarande och apparat foer bildkodning med oeverhoppning av bilder och/eller komponenter |
| US5255090A (en) * | 1991-11-19 | 1993-10-19 | Scientific-Atlanta, Inc. | Progressive transmission of vector quantized data |
| JP2871316B2 (ja) * | 1992-07-10 | 1999-03-17 | 日本ビクター株式会社 | 動画像符号化装置 |
| EP0892562A3 (en) * | 1993-04-09 | 1999-01-27 | Sony Corporation | Picture encoding method, picture encoding apparatus and picture recording medium |
| US5592225A (en) * | 1993-09-30 | 1997-01-07 | Matsushita Electric Industrial Co., Ltd. | Device and method for controlling coding |
| DE4343450A1 (de) * | 1993-12-20 | 1995-06-22 | Philips Patentverwaltung | Coder zur segmentweisen Codierung eines Eingangssignals |
| JPH07226935A (ja) * | 1994-02-14 | 1995-08-22 | Mitsubishi Electric Corp | 画像情報圧縮装置 |
| US5754241A (en) | 1994-11-18 | 1998-05-19 | Sanyo Electric Co., Ltd | Video decoder capable of controlling encoded video data |
| JP3203169B2 (ja) | 1994-11-18 | 2001-08-27 | 三洋電機株式会社 | Ｍｐｅｇビデオデコーダ |
| JP3203168B2 (ja) * | 1994-11-30 | 2001-08-27 | 三洋電機株式会社 | Ｍｐｅｇビデオデコーダ |
| US5619341A (en) * | 1995-02-23 | 1997-04-08 | Motorola, Inc. | Method and apparatus for preventing overflow and underflow of an encoder buffer in a video compression system |
| JP3182329B2 (ja) * | 1995-11-15 | 2001-07-03 | 株式会社東芝 | 符号化データ編集装置とデータ復号装置 |
| EP0784409A3 (en) * | 1996-01-11 | 2001-11-14 | Sony Corporation | Video coding and multiplexing |
| US5719632A (en) * | 1996-01-25 | 1998-02-17 | Ibm Corporation | Motion video compression system with buffer empty/fill look-ahead bit allocation |
| JPH10164581A (ja) * | 1996-12-03 | 1998-06-19 | Sony Corp | 画像信号符号化方法及び装置、信号記録媒体 |
| JPH10285548A (ja) * | 1997-04-03 | 1998-10-23 | Sony Corp | 符号化装置及び方法、復号装置及び方法、編集方法 |
| KR100239422B1 (ko) * | 1997-10-28 | 2000-01-15 | 김영환 | 반도체 소자 및 제조 방법 |
-
1997
- 1997-04-11 KR KR1019970709318A patent/KR100495716B1/ko not_active IP Right Cessation
- 1997-04-11 EP EP20060075816 patent/EP1677546B1/en not_active Expired - Lifetime
- 1997-04-11 CN CN97190337A patent/CN1116768C/zh not_active Expired - Fee Related
- 1997-04-11 DE DE69738878T patent/DE69738878D1/de not_active Expired - Lifetime
- 1997-04-11 WO PCT/JP1997/001266 patent/WO1997039588A1/ja active IP Right Grant
- 1997-04-11 JP JP53694297A patent/JP3952509B2/ja not_active Expired - Fee Related
- 1997-04-11 EP EP97915713A patent/EP0836329A4/en not_active Withdrawn
- 1997-12-10 US US08/988,550 patent/US6347117B1/en not_active Expired - Lifetime
-
2001
- 2001-09-24 US US09/963,075 patent/US6535556B1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10349073B2 (en) | 2015-09-10 | 2019-07-09 | Kabushiki Kaisha Toshiba | Decoding device, image transmission system, and decoding method |
| US11729801B2 (en) * | 2019-08-16 | 2023-08-15 | Qualcomm Incorporated | Dynamic HARQ-ACK codebook construction for multiple active semi-persistent scheduling configurations |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69738878D1 (de) | 2008-09-11 |
| EP0836329A1 (en) | 1998-04-15 |
| US6347117B1 (en) | 2002-02-12 |
| CN1116768C (zh) | 2003-07-30 |
| EP1677546A1 (en) | 2006-07-05 |
| KR100495716B1 (ko) | 2005-11-25 |
| KR19990022849A (ko) | 1999-03-25 |
| EP1677546B1 (en) | 2008-07-30 |
| US6535556B1 (en) | 2003-03-18 |
| CN1188582A (zh) | 1998-07-22 |
| WO1997039588A1 (en) | 1997-10-23 |
| EP0836329A4 (en) | 2002-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3952509B2 (ja) | 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した媒体 | |
| JP4198206B2 (ja) | 動き依存予測を使用したビデオ情報の圧縮方法と装置 | |
| JP3436507B2 (ja) | ビットレート制御方法 | |
| US6167088A (en) | Method and apparatus for performing adaptive encoding rate control of a video information stream including 3:2 pull-down video information | |
| US6628713B1 (en) | Method and device for data encoding and method for data transmission | |
| JP2002511669A (ja) | 映像データストリームの適応的符号化方法と装置 | |
| JP4345024B2 (ja) | 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体 | |
| US8228988B2 (en) | Encoding device, encoding method, decoding device, and decoding method | |
| US6271774B1 (en) | Picture data processor, picture data decoder and picture data encoder, and methods thereof | |
| JP2001128179A (ja) | 動画像符号化装置および方法 | |
| JP3240024B2 (ja) | 画像処理方法 | |
| JPH06350995A (ja) | 動画像処理方法 | |
| JP4120934B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP3951152B2 (ja) | 画像符号化装置および方法 | |
| JPH10108197A (ja) | 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体 | |
| KR19990082486A (ko) | 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법 | |
| US6760292B1 (en) | Disc recorder for recording coded data to be reproduced in real time and method of doing the same | |
| JP3937248B2 (ja) | 映像信号符号化方法及び映像信号符号化装置 | |
| JPH114445A (ja) | 画像符号化装置および方法 | |
| JPH114444A (ja) | 画像符号化装置および方法 | |
| JP3852442B2 (ja) | データ符号化方法及び装置 | |
| JP2007020216A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 | |
| JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP4404232B2 (ja) | 量子化方法、量子化装置、量子化ステツプ決定方法及び量子化ステツプ決定装置 | |
| JP4000581B2 (ja) | 画像符号化装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070423 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |