JP4447805B2 - 画像符号化装置および方法、記録媒体、並びにプログラム - Google Patents

画像符号化装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4447805B2
JP4447805B2 JP2001241542A JP2001241542A JP4447805B2 JP 4447805 B2 JP4447805 B2 JP 4447805B2 JP 2001241542 A JP2001241542 A JP 2001241542A JP 2001241542 A JP2001241542 A JP 2001241542A JP 4447805 B2 JP4447805 B2 JP 4447805B2
Authority
JP
Japan
Prior art keywords
block
parameter
value
motion vector
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001241542A
Other languages
English (en)
Other versions
JP2003061096A (ja
Inventor
英彦 森貞
誠 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001241542A priority Critical patent/JP4447805B2/ja
Priority to CNB028028147A priority patent/CN1276663C/zh
Priority to US10/398,540 priority patent/US7539246B2/en
Priority to PCT/JP2002/008035 priority patent/WO2003017674A1/ja
Priority to KR10-2003-7004952A priority patent/KR20040030425A/ko
Priority to EP02755864A priority patent/EP1418761A4/en
Publication of JP2003061096A publication Critical patent/JP2003061096A/ja
Application granted granted Critical
Publication of JP4447805B2 publication Critical patent/JP4447805B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および方法、記録媒体、並びにプログラムに関し、特に、画像の画質を向上させるようにした画像符号化装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
最近、MPEG(Moving Picture Experts Group)に代表される画像圧縮技術が発達してきた。
【０００３】
図１は、このようなMPEGを使用した従来の画像符号化装置１の構成を示している。
【０００４】
マクロブロック分割部１１は、フレームデータを入力し、マクロブロック（以下、MBと記述する）のデータに変換し、変換したMBのデータを、減算部１９、量子化スケール決定部１８、および参照画像生成部１７にそれぞれ出力する。
【０００５】
減算部１９は、マクロブロック分割部１１より入力したMBのデータから、参照画像生成部１７より入力した参照画像データを減算し（MBのデータに参照画像データを逆極性で加算し）、差分のデータをDCT部１２に出力する。
【０００６】
DCT部１２は、減算部１９より入力した差分のデータを、DCT（Discrete Consign Transform：離散コサイン変換）処理をしてDCT係数に変換し、量子化部１３に出力する。
【０００７】
量子化部１３は、DCT部１２より入力したDCT係数を、量子スケール決定部１８より入力した量子化スケールに基づき量子化し、VLC部１４およびデコード部１６に出力する。
【０００８】
VLC部１４は、量子化部１３より入力した量子化されたデータを、可変長符号化の処理をしてVLC (Variable Length Code)に変換し、送信バッファ部１５に出力する。
【０００９】
送信バッファ部１５は、入力したVLCを、量子化スケール決定部１８に出力する。また、送信バッファ部１５は、フレーム全体のVLCを入力したとき、それらのVLCを、フレーム単位のデータに変換し、ビットストリームデータとして外部に出力する。
【００１０】
デコード部１６において、逆量子化部２１は、量子化部１３より入力した量子化されたデータを、逆量子化し、逆DCT部２２に出力する。
【００１１】
逆DCT部２２は、逆量子化部２１より入力した逆量子化されたデータを、逆DCT処理をして元の画像データに変換し、参照画像生成部１７の加算部３４に出力する。
【００１２】
参照画像生成部１７において、加算部３４は、逆DCT部２２より入力した画像データと、動き補償バッファ部３１より入力したその画像データに対応する参照画像データとを加算し、動き補償部３２を介して、動き補償バッファ部３１に出力する。
【００１３】
動き補償バッファ部３１は、動き補償部３２を介して、加算部３４より入力した画像データを、次のフレームの予測画像データとして記憶する。
【００１４】
動き検出・演算部３３は、マクロブロック分割部１１より入力したMBのデータに対応する動きベクトルを検出し、動き補償部３２に出力する。
【００１５】
動き補償部３２は、動き検出・演算部３３より入力した動きベクトルを基に、動き補償の処理を行う。即ち、動き補償部３２は、動き補償バッファ部３１にあらかじめ記憶されている予測画像データのうち、動き検出・演算部３３より入力した動きベクトルを基に、減算部１９に入力されたMBのデータに対応する参照画像データを読み出し、減算部１９に出力する。
【００１６】
量子化スケール決定部１８において、コンプレックシティ演算部４６は、送信バッファ部１５より入力したVLCを基に、そのVLCの複雑さを表すパラメータとしてのコンプレックシティ（complexity）を演算し、コンプレックシティバッファ部４５に出力する。
【００１７】
コンプレックシティバッファ部４５は、コンプレックシティ演算部４６より入力したコンプレックシティを一時記憶し、目標符号量演算部４１に適宜出力する。
【００１８】
目標符号量演算部４１は、コンプレックシティバッファ部４５より入力したコンプレックシティを基に、目標符号量を演算し、量子化インデックス演算部４２に出力する。
【００１９】
量子化インデックス演算部４２は、目標符号量演算部４１より入力した目標符号量を基に、量子化インデックスを演算し、量子化スケール演算部４３に出力する。
【００２０】
アクティビティ演算部４４は、マクロブロック分割部１１より入力した各MBのデータの複雑さを表すパラメータとしてのアクティビティを演算し、量子化スケール演算部４３に出力する。
【００２１】
量子化スケール演算部４３は、量子化インデックス演算部４２より入力した量子化インデックス、およびアクティビティ演算部４４より入力したアクティビティを基に、量子化スケールを演算し、量子化部１３に出力する。
【００２２】
次に、画像符号化装置１の動作について、説明する。
【００２３】
フレームデータは、マクロブロック分割部１１に入力され、MB単位のデータに変換され、減算部１９に出力される。
【００２４】
減算部１９に入力されたMBのデータから、参照画像生成部１７より減算部１９に入力された参照画像データが減算され、差分のデータがDCT部１２に出力される。
【００２５】
DCT部１２に入力された差分のデータは、DCT係数に変換され、量子化部１３に出力される。量子化部１３に入力されたDCT係数は、量子化スケール演算部４３より量子化部１３に入力された量子化スケールに基づき量子化された後、VLC部１４に入力される。
【００２６】
VLC部１４に入力された量子化されたデータは、VLCに変換され、送信バッファ部１５に出力される。
【００２７】
送信バッファ部１５に入力されたVLCは、コンプレックシティ演算部４６に出力される。また、フレーム全体のVLCが、送信バッファ部１５に入力されたとき、それらのVLCは、フレーム単位のデータに変換され、ビットストリームデータとして外部に出力される。
【００２８】
量子化部１３より逆量子化部２１に入力された量子化されたデータは、逆量子化され、逆DCT部２２に出力される。逆DCT部２２に入力された逆量子化されたデータは、元の画像データに変換され、加算部３４に出力される。
【００２９】
加算部３４に入力された画像データは、あらかじめ動き補償バッファ部３１に記憶されていた参照画像データ(減算部１９において、MBのデータから減算された参照画像データ)と加算され、復号される。
【００３０】
復号されたMBのデータは、動き補償部３２を介して、動き補償バッファ部３１に入力され、次に処理されるフレームのMBの予測画像データとして記憶される。
【００３１】
動き検出・演算部３３は、マクロブロック分割部１１より入力したMBのデータに対応する動きベクトルを検出し、動き補償部３２に出力する。
【００３２】
動き補償部３２において、動き検出・演算部３３より入力された動きベクトルに対応した動き補償の処理が行われる。即ち、動き補償バッファ部３１にあらかじめ記憶されている予測画像データのうち、MBの位置からその動きベクトルに対応する分だけずらした位置の予測画像データが読み出され、それがMBの参照画像データとして、減算部１９に出力される。
【００３３】
量子化スケール決定部１８において、次の３処理、即ち、MPEGにおけるいわゆるTM５（Test Model ５）の処理が行われることにより、MBの量子化スケールが演算され、量子化部１３に出力される。
【００３４】
（ステップ１）
目標符号量演算部４１において、コンプレックシティバッファ部４５より入力されたk-1番目に処理されたMB（以下、k-1番目に処理されたMBを、MB-k-1と称する）のVLCのコンプレックシテイの値を基に、MB-kの目標符号量が演算され、量子化インデックス演算部４２に出力される。
【００３５】
（ステップ２）
量子化インデックス演算部４２において、目標符号量４１より入力されたMB-kの目標符号量を基に、MB-kの仮想バッファ占有量が演算される。
【００３６】
さらに、そのMB-kの仮想バッファ占有量を基に、MB-kの量子化インデックスが演算され、量子化スケール演算部４３に出力される。
【００３７】
（ステップ３）
量子化スケール演算部４３において、量子化インデックス演算部４２より入力されたMB-kの量子化インデックス、およびアクティビティ演算部４４より入力されたMB-kのアクティビティの値を基に、量子化スケールが演算され、量子化部１３に出力される。
【００３８】
上述したTM５の（ステップ２）において、MB-kの量子化インデックス（以下、Q-kと記述する）は、次の２式により演算される。
【００３９】
d-k＝d0＋Bk-1−（Tk×（k−1）／mbcnt） （１）
Q-k＝d-k×31／r （２）
【００４０】
式（１）は、MB-kの仮想バッファ占有量（以下、d-kと記述する）を求める式である。
【００４１】
d0は、フレーム先頭での初期仮想バッファ占有量を表しており、Bk-1は、前のMB、即ちMB-k-1までの発生ビット量を表しており、mbcntは、１フレームあたりのMBの総数を表しており、また、TkはMB-kの目標符号量を表している。
【００４２】
式（２）は、Q-kを求める式である。
【００４３】
rは、量子化スケール決定部１８のフィードバックの応答速度を調整するパラメータを表しており、リアクションパラメータと称されている。
【００４４】
【発明が解決しようとする課題】
上述したような式（１）および式（２）で演算される各MBの量子化インデックスは、次のような問題点がある。
【００４５】
即ち、量子化スケール決定部１８のフィードバックループにより演算される各MBの量子化インデックスは、各MBの発生符号量が全て均一であるという前提に基づいて、演算される。
【００４６】
その結果、各MBの発生符号量が均一でない場合、フレーム内での各量子化インデックスが安定化しないという問題点がある。
【００４７】
例えば、図２Ａのフレーム５１が、情報量、即ち発生ビット量の多いＭＢ群５２、および発生ビット量の少ないMB群５３から構成される総計mbcnt個のMBに分割されたとする。
【００４８】
そして、図１の画像符号化装置１により、変換されたMB-1乃至MB-mbcntのデータが、それぞれ符号化されたとする。
【００４９】
その場合、上述した式（１）により演算されるd-１乃至d-mbcnt（MB-1乃至MB-mbcntの仮想バッファ占有量）は、図２Bの線５４に示されるようになる。
【００５０】
なお、図２Bの縦軸は、仮想バッファ占有量dを表しており、横軸は、MBの符号化処理の順番k（kは、１乃至mbcnt）を表している。
【００５１】
即ち、図２Bの線５４に示されるように、符号化の処理の前半（kが小の場合）は、その処理の順番に従い(kが増えるに従い)、仮想バッファ占有量d-kは増加していく。一方、符号化の処理の後半（kが大の場合）は、その処理の順番に従い(kが増え、mbcntに近づくに従い)、仮想バッファ占有量d-kは減少していく。
【００５２】
従って、上述した式（２）に示されるように、量子化インデックスQ-kは、仮想バッファ占有量d-kに比例することから、演算された量子化インデックスQ-1乃至Q-ｍbcntは、kの値によりそれぞればらついた値になる。
【００５３】
即ち、画像符号化装置１により演算された各MBの量子化インデックスは、フレーム内で安定化しない。
【００５４】
その結果、図１の画像符号化装置１により符号化されたフレームの視覚特性、即ち画質は、劣化する。
【００５５】
本発明は、このような状況に鑑みてなされたものであり、画像の画質を向上させることができるようにするものである。
【００５６】
本発明の第１の画像符号化装置は、動きベクトル残差を表すパラメータの値を演算する第１の演算手段と、第１の演算手段により演算されたパラメータの値を記憶する記憶手段と、記憶手段により記憶されたパラメータの値の加重値に基づいて、ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算手段とを備え、第１の演算手段は、パラメータの値があらかじめ設定されている所定の閾値以上である場合、閾値を上記パラメータの値とし、フレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、動きベクトルを使用しないブロックのパラメータの値とし、第２の演算手段は、フレームの符号化処理の前に、記憶手段により記憶されたパラメータの値の総和を演算し、フレーム内で順次符号化されるブロックの量子化インデックスを演算するとき、当該ブロックの符号化前に符号化されたブロックからパラメータの部分和を演算し、パラメータの総和と部分和の比に基づいて、ブロックの量子化インデックスを演算することを特徴とする。
【００５７】
本発明の画像符号化装置では、前記パラメータは、前記ブロックの複雑さを表すアクティビティであるようにすることができる。
本発明の画像符号化装置では、前記パラメータは、前記ブロックの動きベクトル残差であるようにすることができる。
【００５８】
本発明の第１の画像符号化方法は、動きベクトル残差を表すパラメータの値を演算する第１の演算ステップと、第１の演算ステップの処理により演算されたパラメータの値を記憶する記憶ステップと、記憶ステップの処理により記憶されたパラメータの値の加算値に基づいて、ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、第１の演算ステップは、パラメータの値があらかじめ設定されている所定の閾値以上である場合、閾値をパラメータの値とし、上記フレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、動きベクトルを使用しないブロックの上記パラメータの値とするステップを含み、第２の演算ステップは、フレームの符号化処理の前に、記憶ステップの処理により記憶されたパラメータの値の総和を演算し、フレーム内で順次符号化されるブロックの量子化インデックスを演算するとき、当該ブロックの符号化前に符号化されたブロックからパラメータの部分和を演算し、パラメータの総和と部分和の比に基づいて、ブロックの量子化インデックスを演算するステップを含むことを特徴とする。
本発明の第１の記録媒体のプログラムおよび本発明の第１のプログラムは、上述した本発明の第１の画像符号化方法にかかる各ステップを含むことを特徴する。
【００５９】
本発明の第２の画像符号化装置は、動きベクトル残差を表すパラメータの値を演算する第１の演算手段と、第１の演算手段により演算されたパラメータの値を記憶する記憶手段と、記憶手段により記憶されたパラメータの値に基づいて、ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算手段とを備え、第１の演算手段は、画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、動きベクトルを使用しないブロックのパラメータの値とすることを特徴とする。
【００６０】
本発明の第２の画像符号化方法は、動きベクトル残差を表すパラメータの値を演算する第１の演算ステップと、第１の演算ステップの処理により演算されたパラメータの値を記憶する記憶ステップと、記憶ステップの処理により記憶されたパラメータの値に基づいて、ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、第１の演算ステップは、画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、動きベクトルを使用しないブロックのパラメータの値とするステップを含むことを特徴とする。
本発明の第２の記録媒体のプログラムおよび本発明の第２のプログラムは、上述した本発明の第２の画像符号化方法にかかる各ステップを含むことを特徴する。
【００６１】
本発明の第３の画像符号化装置は、動きベクトル残差を表す第一のパラメータおよびアクティビティを表す第二のパラメータの値を演算する第１の演算手段と、第１の演算手段により演算された第一および第二のパラメータの値を記憶する記憶手段と、記憶手段により記憶された第一または第二のパラメータの値に基づいて、ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算手段とを備え、画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、第２の演算手段は、動きベクトルを使用しないブロックについて上記第１の演算手段により求められた第二のパラメータの値に基づいて上記量子化インデックスを演算し、動きベクトルを使用するブロックについて上記第１の演算手段により求められた上記第一のパラメータの値に基づいて上記量子化インデックスを演算することを特徴とする。
【００６２】
第２の演算手段は、画像のフレームの符号化処理の前に、記憶手段により記憶されたパラメータの値の総和を演算し、フレーム内で順次符号化されるブロックの量子化インデックスを演算するとき、当該ブロックの符号化前に符号化されたブロックからパラメータの部分和を演算し、パラメータの総和と部分和の比に基づいて、ブロックの量子化インデックスを演算することができる。
【００６３】
第２の演算手段は、画像のフレームの符号化処理の前に、記憶手段により記憶された第一または第二のパラメータの値のパラメータ毎の総和を演算し、フレーム内で順次符号化されるブロックの量子化インデックスを演算するとき、当該ブロックの符号化前に符号化されたブロックから第一または第二のパラメータのパラメータ毎の部分和を演算し、第一または第二のパラメータのパラメータ毎の総和と部分和の比に基づいて、ブロックの量子化インデックスを演算することができる。
【００６４】
本発明の第３の画像符号化方法は、動きベクトル残差を表す第一のパラメータおよびアクティビティを表す第二のパラメータの値を演算する第１の演算ステップと、第１の演算ステップの処理により演算された第一および第二のパラメータの値を記憶する記憶ステップと、記憶ステップの処理により記憶された第一または第二のパラメータの値に基づいて、ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、第２の演算ステップは、動きベクトルを使用しないブロックについて上記第１の演算ステップの処理により求められた第二のパラメータの値に基づいて上記量子化インデックスを演算し、動きベクトルを使用するブロックについて上記第１の演算ステップの処理により求められた第一のパラメータの値に基づいて上記量子化インデックスを演算するステップを含むことを特徴とする。
本発明の第３の記録媒体のプログラムおよび本発明の第３のプログラムは、上述した本発明の第３の画像符号化方法にかかる各ステップを含むことを特徴する。
【００６５】
本発明においては、ブロックの複雑さを表すパラメータの値に基づいて、ブロックの量子化インデックスが演算される。
【００６６】
【発明の実施の形態】
図３は、本発明が適用される画像符号化装置６１の構成例を表している。図１の従来の画像符号化装置１に対応する部分には、対応する符号を付してあり、その説明は適宜省略する。
【００６７】
動き検出・演算部３３は、マクロブロック分割部１１より入力した各MBのデータに対応する動きベクトル（MBの動きベクトル）を検出し、動き補償部３２に出力すると共に、各MBの動きベクトル残差を演算し、動きベクトル残差総和演算部７１および動きベクトル残差バッファ部７２に出力する。
【００６８】
動きベクトル残差総和演算部７１は、動き検出・演算部３３より入力した各MBの動きベクトル残差の総和を演算し、動きベクトル残差バッファ部７２に出力する。
【００６９】
動きベクトル残差バッファ部７２は、動きベクトル残差総和演算部７１より入力した各MBの動きベクトル残差の総和、および 動き検出・演算部３３より入力した各MBの動きベクトル残差を一時記憶し、量子化インデックス演算部４２に適宜出力する。
【００７０】
アクティビティ演算部４４は、マクロブロック分割部１１より入力した各MBのデータに対応するアクティビティ（各MBのアクティビティ）を演算し、さらに、その各MBのアクティビティの総和を演算する。そして、アクティビティ演算部４４は、各MBのアクティビティ、および各MBのアクティビティの総和をアクティビティバッファ部７３に出力する。
【００７１】
アクティビティバッファ部７３は、アクティビティ演算部４４より入力した各MBのアクティビティ、および各MBのアクティビティの総和を一時記録し、量子化インデックス演算部４２、および量子化スケール演算部４３に適宜出力する。
【００７２】
その他の構成は、図１における場合と同様である。
【００７３】
次に、図４のフローチャートを参照して、図３の画像符号化装置６１の量子化スケール決定部１８の動作を説明する（その他の処理は、図１における場合と同様であるので、その説明を省略する）。
【００７４】
上述したように、マクロブロック分割部１１は、フレームデータを入力し、入力したフレームデータをMBのデータに変換する。
【００７５】
この例においては、１つのフレームデータが、mbcnt個のMBのデータに変換されたものとする。
【００７６】
マクロブロック分割部１１は、MB-1乃至MB-mbcntのデータを、アクティビティ演算部４４、および動き検出・演算部３３にそれぞれ順番に出力する。
【００７７】
そこで、ステップＳ１０１において、アクティビティ演算部４４は、マクロブロック分割部１１より入力したMB-1乃至MB-mbcntのデータを基に、それらのアクティビティ（以下、MB-kのアクティビティをactivity-kと記述する）を演算する。
【００７８】
さらに、アクティビティ演算部４４は、アクティビティactivity-1乃至activity-mbcntの総和（以下、activity-sumと記述する）を演算し、アクティビティactivity-k１乃至activity-mbcnt、およびアクティビティの総和activity-sumをアクティビティバッファ部７３に出力する。
【００７９】
ステップＳ１０２において、アクティビティバッファ部７３は、アクティビティ演算部４４より入力したアクティビティactivity-1乃至activity-mbcnt、およびアクティビティの総和activity-sumを記憶する。
【００８０】
一方、動き検出・演算部３３は、上述したように、マクロブロック分割部１１より入力したMB-1乃至MB-mbcntのデータを基に、それらの動きベクトル残差（以下、MB-kの動きベクトル残差をbdv-kと記述する）を演算し、動きベクトル残差総和演算部７１、および動きベクトル残差バッファ部７２に出力する。
【００８１】
なお、この例においては、動き検出・演算部３３は、MBkの動きベクトル残差bdv-kを以下のように演算するものとする。
【００８２】
即ち、前方向、および後方向の動きベクトル残差を、それぞれbdv-k_fwd、およびbdv-k_bwdとした場合、予測タイプが前方向のとき、bdv-k＝bdv-k_fwdと演算し、予測タイプが後方向のとき、bdv-k＝bdv-k_bwdと演算し、予測タイプが双方向のとき、bdv-k＝（bdv-k_fwd＋bdv-k_bwd）／２と演算する。
【００８３】
そこで、ステップＳ１０３において、動きベクトル残差総和演算部７１は、動き検出・演算部３３より入力した動きベクトル残差bdv-１乃至bdv-mbcntの総和（以下、bdv-sumと記述する）を演算し、動きベクトル残差バッファ部７２に出力する。
【００８４】
ステップＳ１０４において、動きベクトル残差バッファ部７２は、動き検出・演算部３３より入力した動きベクトル残差bdv-1乃至bdv-mbcnt、および動きベクトル残差総和演算部７１より入力した動きベクトル残差の総和bdv-sumを記憶する。
【００８５】
なお、ステップＳ１０１乃至Ｓ１０４の処理が、MB１のデータが符号化される処理の前に終了されれば、ステップＳ１０１およびＳ１０２、並びにステップＳ１０３およびＳ１０４の処理の順番は限定されない。
【００８６】
ステップＳ１０１乃至Ｓ１０４の処理が完了した場合、ステップＳ１０５において、カウンタ（図示せず）は、カウント値を１に初期設定する。
【００８７】
その後、ステップＳ１０６乃至ステップＳ１０９の処理において、MB-jの量子化スケール（以下、MQUANT-jと記述する）が量子化スケール決定部１８により演算された場合、ステップＳ１１０において、カウンタは、カウント値jを１だけインクリメントする。
【００８８】
なお、ステップＳ１０６乃至Ｓ１０９の処理の詳細は、後述する。
【００８９】
そして、ステップＳ１１１において、量子化スケール決定部１８の判定部（図示せず）は、カウント値jがmbcntを越えたか否かを判定する。
【００９０】
カウント値jがmbcntを越えたと判定された場合、量子化スケール決定部１８は、その処理を終了する。
【００９１】
カウント値jがmbcntを越えていないと判定された場合(カウント値jがmbcntと等しいか、それより小さいと判定された場合)、量子化スケール決定部１８は、ステップＳ１０６に戻り、それ以降の処理を繰り返す。
【００９２】
例えばj＝kの場合、量子化スケール決定部１８は、上述したように、ステップＳ１０６乃至Ｓ１０９の処理において、量子化スケールMQUANT-kを演算する。
【００９３】
即ち、ステップＳ１０６において、目標符号量演算部４１は、コンプレックシティバッファ部４５より供給されるコンプレックシティに基づいて、MB-kの目標符号量（以下、Tkと記述する）を演算し、量子化インデックス演算部４２に出力する。
【００９４】
ステップＳ１０７において、量子化インデックス演算部４２は、目標符号量演算部４１より入力した目標符号量Tk、並びに動きベクトル残差バッファ部７２より入力した動きベクトル残差bdv-１乃至bdv-k-1、および動きベクトル残差の総和bdv-sumを基して、次のようにMB-kの仮想バッファ占有量（以下、d-kと記述する）を演算する。
【００９５】
ただし、この例においては、フレームが、動きベクトルを使用するMB（以下、interMBと記述する）のみから構成されているものとする。
【００９６】
はじめに、量子化インデックス演算部４２は、動きベクトル残差バッファ部７２より入力したフレーム内の処理済みのMBの動きベクトル残差の総和、即ちbdv-1乃至bdv-k-1までの総和（以下、bdv-sum_pk-1と記述する）を演算する。
【００９７】
そして、量子化インデックス演算部４２は、次の式（３）により、仮想バッファ占有量d-kを演算する。
【００９８】
d-k＝d0＋Bk-1−（Tk×bdvsun_pk-1／bdv-sum） （３）
【００９９】
なお、式（１）同様、d0はフレーム先頭での初期仮想バッファ占有量、Bk-1は、MB-k-1までの発生ビット量を示している。
【０１００】
ステップＳ１０８において、量子化インデックス演算部４２は、上述した式（２）により、MB-kの量子化インデックス（以下、Q-kと記述する）を演算し、量子化スケール演算部４３に出力する。
【０１０１】
なお、量子化インデックス演算部４２は、アクティビティバッファ部７３から出力されたアクティビティactivity-１乃至activity-k-1、およびアクティビティの総和activity-sumも入力するが、それらについては後述する。
【０１０２】
ステップＳ１０９において、量子化スケール演算部４３は、量子化インデックス演算部４２より入力した量子化インデックスQ-k、およびアクティビティバッファ部７３より入力したアクティビティactivity-kを基に、量子化スケールMQUANT-kを演算し、量子化部１３に出力する。
【０１０３】
そして、上述したように、ステップＳ１１０において、カウンタが、j＝k+1とカウントし、量子化スケール決定部１８は、ステップＳ１０６乃至Ｓ１０９の処理を繰り返し、量子化スケールMQUANT-k+1をさらに演算する。
【０１０４】
なお、動き検出・演算部３３により演算された動きベクトル残差bdv-k（kは、１乃至mbcntの任意の数）が所定の閾値以上である場合、上述したステップＳ１０３の処理において、動きベクトル残差総和演算部７１は、その閾値を動きベクトル残差bdv-kの値として、動きベクトル残差の総和bdv-sumを演算し、その動きベクトル残差の総和bdv-sum、および動きベクトルbdv-kの値として閾値を動きベクトル残差バッファ部７２に出力してもよい。
【０１０５】
上述したように、従来の図１の画像符号化装置１が有する仮想バッファ占有量d-kを演算する式（１）の右辺の第３項は、処理済みのMB数（k−1）をフレーム内のMBの総数(mbcnt)で除算する項である。
【０１０６】
一方、本発明が適用される図３の画像符号化装置６１が有するMB-kの仮想バッファ占有量d-k を演算する式（３）の右辺の第３項は、動きベクトル残差の分布により加重平均を乗算する項である。
【０１０７】
例えば、図５Ａのフレーム５１（即ち図２Ａのフレーム５１と同等のフレーム）が、情報量、即ち発生ビット量の多いＭＢ群５２、および発生ビット量の少ないMB群５３から構成される総計mbcnt個のMBに分割されたとする。
【０１０８】
そして、本発明が適用される図３の画像符号化装置６１により、変換されたMB-1乃至MB-mbcntのデータがそれぞれ符号化がされたとする。
【０１０９】
その場合、上述した式（３）を用いて演算される仮想バッファ占有量d-1乃至d-mbcntは、図５Bの線１２１に示されるようになる。
【０１１０】
なお、図５Bの縦軸および横軸は、図２Bのそれらと同様に仮想バッファ占有量dとMBの符号化処理の順番kを、それぞれ表している。
【０１１１】
図５Bの線１２１に示されるように、仮想バッファ占有量d-１乃至d-mbcntの各々は、ほぼ均一の値に演算さる。
【０１１２】
このように、図３の画像符号化装置６１は、仮想バッファ占有量d-１乃至d-mbcntを、各MB-1乃至MB-mbcntの発生情報量（ビット量）の違いを吸収してそれぞれ演算することができる。
【０１１３】
従って、仮想バッファ占有量d-k （kは、１乃至mbcntの任意の数）を基に演算される量子化インデックスQ-kは、kの値によらず安定化された値となることができる。
【０１１４】
即ち、画像符号化装置６１により演算された各MBの量子化インデックスは、フレーム内で安定化することができる。
【０１１５】
その結果、図３の画像符号化装置６１は、従来の図１の画像符号化装置１に比べて、画像の視覚特性、即ち画質を向上させることができる。
【０１１６】
なお、上述した例においては、フレーム内のMBは、全てinterMBで構成されていたが、フレーム内に動きベクトルを使用しないMB（以下、intraMBと記述する）が含まれて構成されてもよい。
【０１１７】
例えば、フレーム内のMBが、intraMBのみで構成されている場合、図３の量子化インデックス演算部４２は、上述した図４のステップＳ１０６の処理において、動きベクトル残差bdv-１乃至bdv-k-1（ kは、１乃至mbcntの任意の値）、および動きベクトル残差の総和bdv-sumではなく、アクティビティactivity-１乃至activity-k-1、およびアクティビティの総和activity-sumを使用して、仮想バッファ占有量d-kを演算してもよい。
【０１１８】
即ち、上述した式（３）のbdv-sum_pk-1を、activity-sum_pk-1(アクティビティactivity-1乃至activity-k-1の総和)に変換させ、bdv-sumを、activity-sum（アクティビティactivity-1乃至activity-mbcntの総和）に変換させてもよい。
【０１１９】
一方、フレーム内のMBが、interMBおよびintraMBが混在されて構成されている場合、ステップＳ１０３の処理において、図３の動きベクトル残差総和演算部７１は、intraMB-k(kは、１乃至mbcntのうち任意の数)の動きベクトル残差bdv-kを所定の固定値として、動きベクトル残差の総和bdv-sumを演算し、動きベクトル残差の総和bdv-sum、および固定値を動きベクトル残差bdv-kの値として、動きベクトル残差バッファ部７２に出力してもよい。
【０１２０】
なお、その固定値は、各interMBの動きベクトル残差の値の最大値程度に設定されるのが好適である。
【０１２１】
さらに、ステップＳ１０６の処理において、量子化インデックス演算部４２は、MB-kがinterMBであるかまたはintraMBであるかを判定して、interMBであると判定した場合、動きベクトル残差を使用して、即ち、上述した式（３）にbdv-sum_pk-1およびbdv-sumを代入して仮想バッファ占有量d-kを演算してもよい。
【０１２２】
一方、量子化インデックス演算部４２は、intraMBであると判定した場合、アクティビティを使用して、即ち、式（３）にactivity-sum_pk-1およびactivity-sumを代入して仮想バッファ占有量d-kを演算してもよい。
【０１２３】
上述した一連の処理においては、例えば、各フレームのデータが、Iピクチャのデータ、Pピクチャのデータ、およびBピクチャのデータのいずれかのピクチャとされた場合、以下のような順番でマクロブロック分割部１１に各フレームのデータが所定の周期（図６の例では、１／３０［ｓ］）で入力されたとき、そのフレームのデータは以下のような順番で符号化される。
【０１２４】
以下、Iピクチャは、Iと記述し、Pピクチャは、Pと記述し、Bピクチャは、Bと記述し、その処理の順番を右側に付する。
【０１２５】
即ち、図６に示されるように、（B-(-2)，B-(-1)，I-0，B-1，B-2，P-3，B-4，B-5，P-6，…）の順番に、マクロブロック分割部１１に各フレームのデータが入力されたとする。ただし、I-0が入力された時刻を基準（０）とする。
【０１２６】
この場合、時刻0において、動き検出・演算部３３は、B-(-2)の動きベクトルを検出し、また動きベクトル残差を演算する。その後、下記の順番に１フレームごと動きベクトルが検出され、また動きベクトル残差が演算される。
【０１２７】
即ち、時刻０を基準に１フレーム毎に、（B-(-2)，B-(-1)，I-0，P-3，B-1，B-2，P-6，B-4，B-5，…）の順番に、動きベクトルが検出され、また動きベクトル残差が演算される。
【０１２８】
このように、Bピクチャ（例えば、B-1およびB-2、または、B-4およびB-5など）より前に、Pピクチャ（例えば、B-1およびB-2に対してはP-3、または、B-4およびB-5に対してはP-3）の動きベクトルが検出され、また動きベクトル残差が演算される。
【０１２９】
そして、上述した動きベクトルが検出され、動きベクトル残差が演算される順序、即ち、（B-(-2)，B-(-1)，I-0，P-3，B-1，B-2，P-6，B-4，B-5，…）の順序に、各フレームのデータが符号化され、送信バッファ部１５より出力される（換言すれば、符号化が行われる前に、それに必要な動きベクトルとその残差の演算が完了している必要がある）。
【０１３０】
なお、B-(-2)のフレームのデータが符号化され、送信バッファ部１５より出力されるタイミングは、時刻１であり、その後１フレーム毎に上述した順番に各フレームのデータは処理されて、符号化されていく。
【０１３１】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、画像符号化装置１３１は、図７に示されるようなパーソナルコンピュータにより構成される。
【０１３２】
図７において、CPU（Central Processing Unit）１４１は、ROM（Read Only Memory）１４２に記憶されているプログラム、または記憶部１４８からRAM（Random Access Memory）１４３にロードされたプログラムに従って各種の処理を実行する。RAM１４３にはまた、CPU１４１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３３】
CPU１４１、ROM１４２、およびRAM１４３は、バス１４４を介して相互に接続されている。このバス１４４にはまた、入出力インタフェース１４５も接続されている。
【０１３４】
入出力インタフェース１４５には、キーボード、マウスなどよりなる入力部１４６、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１４７、ハードディスクなどより構成される記憶部１４８、モデム、ターミナルアダプタなどより構成される通信部１４９が接続されている。通信部１４９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３５】
入出力インタフェース１４５にはまた、必要に応じてドライブ１５０が接続され、磁気ディスク１６１、光ディスク１６２、光磁気ディスク１６３、或いは半導体メモリ１６４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１４８にインストールされる。
【０１３６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３７】
この記録媒体は、図７に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記憶されている磁気ディスク１６１（フロッピディスクを含む）、光ディスク１６２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク１６３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ１６４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM１４２や、記憶部１４８に含まれるハードディスクなどで構成される。
【０１３８】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３９】
【発明の効果】
以上のごとく、本発明によれば、ブロックの複雑さを表すパラメータの値に基づいて、ブロックの量子化インデックスを演算するようにしたので、画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】従来の画像符号化装置の構成例を示すブロック図である。
【図２】図１の画像符号化装置により演算された仮想バッファ占有量の例を示す図である。
【図３】本発明が適用される画像符号化装置の構成例を示すブロック図である。
【図４】図３の画像符号化装置の量子化スケール決定部の処理を説明するフローチャートである。
【図５】図３の画像符号化装置により演算された仮想バッファ占有量の例を示す図である。
【図６】図３の画像符号化装置により符号化されるフレームの処理の順番を説明する表である。
【図７】本発明が適用される画像符号化装置の構成例を示すブロック図である。
【符号の説明】
１１ マクロブロック分割部， １３ 量子化部， ４２ 量子化インデックス演算部， ４３ 量子化スケール演算部，４４ アクティビティ演算部， ７１ 動きベクトル残差総和演算部， ７２ 動きベクトル残差バッファ部， ７３ アクティビティバッファ部， ７４ マクロブロックバッファ部

Claims (13)

  1. 画像のフレームを複数のブロックに分割し、上記ブロックを単位として符号化する画像符号化装置において、
    動きベクトル残差を表すパラメータの値を演算する第１の演算手段と、
    上記第１の演算手段により演算された上記パラメータの値を記憶する記憶手段と、
    上記記憶手段により記憶された上記パラメータの値の加算値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算手段とを備え、
    上記第１の演算手段は、
    上記パラメータの値があらかじめ設定されている所定の閾値以上である場合、上記閾値を上記パラメータの値とし、
    上記フレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、上記動きベクトルを使用しないブロックの上記パラメータの値とし、
    上記第２の演算手段は、
    上記フレームの符号化処理の前に、上記記憶手段により記憶された上記パラメータの値の総和を演算し、
    上記フレーム内で順次符号化される上記ブロックの上記量子化インデックスを演算するとき、当該ブロックの符号化前に符号化された上記ブロックから上記パラメータの部分和を演算し、上記パラメータの上記総和と上記部分和の比に基づいて、上記ブロックの量子化インデックスを演算する
    ことを特徴とする画像符号化装置。
  2. 画像のフレームを複数のブロックに分割し、上記ブロックを単位として符号化する画像符号化装置の画像符号化方法において、
    動きベクトル残差を表すパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記パラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記パラメータの値の加算値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記第１の演算ステップは、
    上記パラメータの値があらかじめ設定されている所定の閾値以上である場合、上記閾値を上記パラメータの値とし、
    上記フレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、上記動きベクトルを使用しないブロックの上記パラメータの値とする
    ステップを含み、
    上記第２の演算ステップは、
    上記フレームの符号化処理の前に、上記記憶ステップの処理により記憶された上記パラメータの値の総和を演算し、
    上記フレーム内で順次符号化される上記ブロックの上記量子化インデックスを演算するとき、当該ブロックの符号化前に符号化された上記ブロックから上記パラメータの部分和を演算し、上記パラメータの上記総和と上記部分和の比に基づいて、上記ブロックの量子化インデックスを演算する
    ステップを含む
    ことを特徴とする画像符号化方法。
  3. 画像のフレームを複数のブロックに分割し、上記ブロックを単位として符号化する処理を制御するコンピュータに実行させるプログラムであって、
    動きベクトル残差を表すパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記パラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記パラメータの値の加算値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記第１の演算ステップは、
    上記パラメータの値があらかじめ設定されている所定の閾値以上である場合、上記閾値を上記パラメータの値とし、
    上記フレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、上記動きベクトルを使用しないブロックの上記パラメータの値とする
    ステップを含み、
    上記第２の演算ステップは、
    上記フレームの符号化処理の前に、上記記憶ステップの処理により記憶された上記パラメータの値の総和を演算し、
    上記フレーム内で順次符号化される上記ブロックの上記量子化インデックスを演算するとき、当該ブロックの符号化前に符号化された上記ブロックから上記パラメータの部分和を演算し、上記パラメータの上記総和と上記部分和の比に基づいて、上記ブロックの量子化インデックスを演算する
    ステップを含む
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  4. 画像のフレームを複数のブロックに分割し、上記ブロックを単位として符号化する処理を制御するコンピュータに実行させるプログラムであって、
    動きベクトル残差を表すパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記パラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記パラメータの値の加算値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記第１の演算ステップは、
    上記パラメータの値があらかじめ設定されている所定の閾値以上である場合、上記閾値を上記パラメータの値とし、
    上記フレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、上記動きベクトルを使用しないブロックの上記パラメータの値とする
    ステップを含み、
    上記第２の演算ステップは、
    上記フレームの符号化処理の前に、上記記憶ステップの処理により記憶された上記パラメータの値の総和を演算し、
    上記フレーム内で順次符号化される上記ブロックの上記量子化インデックスを演算するとき、当該ブロックの符号化前に符号化された上記ブロックから上記パラメータの部分和を演算し、上記パラメータの上記総和と上記部分和の比に基づいて、上記ブロックの量子化インデックスを演算する
    ステップを含む
    ことを特徴とするプログラム。
  5. 画像をブロックを単位として符号化する画像符号化装置において、
    動きベクトル残差を表すパラメータの値を演算する第１の演算手段と、
    上記第１の演算手段により演算された上記パラメータの値を記憶する記憶手段と、
    上記記憶手段により記憶された上記パラメータの値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算手段とを備え、
    上記第１の演算手段は、上記画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、上記動きベクトルを使用しないブロックの上記パラメータの値とする
    ことを特徴とする画像符号化装置。
  6. 画像をブロックを単位として符号化する画像符号化装置の画像符号化方法において、
    動きベクトル残差を表すパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記パラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記パラメータの値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記第１の演算ステップは、上記画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、動きベクトルを使用しないブロックの上記パラメータの値とするステップを含む
    ことを特徴とする画像符号化方法。
  7. 画像をブロックを単位として符号化する処理を制御するコンピュータに実行させるプログラムであって、
    動きベクトル残差を表すパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記パラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記パラメータの値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記第１の演算ステップは、上記画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、動きベクトルを使用しないブロックの上記パラメータの値とするステップを含む
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  8. 画像をブロックを単位として符号化する処理を制御するコンピュータに実行させるプログラムであって、
    動きベクトル残差を表すパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記パラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記パラメータの値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記第１の演算ステップは、上記画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、あらかじめ設定されている所定の固有値を、上記動きベクトルを使用しないブロックの上記パラメータの値とするステップを含む
    ことを特徴とするプログラム。
  9. 画像をブロックを単位として符号化する画像符号化装置において、
    動きベクトル残差を表す第一のパラメータおよびアクティビティを表す第二のパラメータの値を演算する第１の演算手段と、
    上記第１の演算手段により演算された上記第一および第二のパラメータの値を記憶する記憶手段と、
    上記記憶手段により記憶された上記第一または第二のパラメータの値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算手段とを備え、
    上記画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、上記第２の演算手段は、動きベクトルを使用しないブロックについて上記第１の演算手段により求められた上記第二のパラメータの値に基づいて上記量子化インデックスを演算し、動きベクトルを使用するブロックについて上記第１の演算手段により求められた上記第一のパラメータの値に基づいて上記量子化インデックスを演算する
    ことを特徴とする画像符号化装置。
  10. 上記第２の演算手段は、上記画像のフレームの符号化処理の前に、上記記憶手段により記憶された上記第一または第二のパラメータの値のパラメータ毎の総和を演算し、
    上記フレーム内で順次符号化される上記ブロックの上記量子化インデックスを演算するとき、当該ブロックの符号化前に符号化された上記ブロックから上記第一または第二のパラメータのパラメータ毎の部分和を演算し、上記第一または第二のパラメータのパラメータ毎の上記総和と上記部分和の比に基づいて、上記ブロックの上記量子化インデックスを演算する
    ことを特徴とする請求項９に記載の画像符号化装置
  11. 画像をブロックを単位として符号化する画像符号化装置の画像符号化方法において、
    動きベクトル残差を表す第一のパラメータおよびアクティビティを表す第二のパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記第一および第二のパラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記第一または第二のパラメータの値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、上記第２の演算ステップは、動きベクトルを使用しないブロックについて上記第１の演算ステップの処理により求められた上記第二のパラメータの値に基づいて上記量子化インデックスを演算し、動きベクトルを使用するブロックについて上記第１の演算ステップの処理により求められた上記第一のパラメータの値に基づいて上記量子化インデックスを演算するステップを含む
    ことを特徴とする画像符号化方法。
  12. 画像をブロックを単位として符号化する処理を制御するコンピュータに実行させるプログラムであって、
    動きベクトル残差を表す第一のパラメータおよびアクティビティを表す第二のパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記第一および第二のパラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記第一または第二のパラメータの値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、上記第２の演算ステップは、動きベクトルを使用しないブロックについて上記第１の演算ステップの処理により求められた上記第二のパラメータの値に基づいて上記量子化インデックスを演算し、動きベクトルを使用するブロックについて上記第１の演算ステップの処理により求められた上記第一のパラメータの値に基づいて上記量子化インデックスを演算するステップを含む
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  13. 画像をブロックを単位として符号化する処理を制御するコンピュータに実行させるプログラムであって、
    動きベクトル残差を表す第一のパラメータおよびアクティビティを表す第二のパラメータの値を演算する第１の演算ステップと、
    上記第１の演算ステップの処理により演算された上記第一および第二のパラメータの値を記憶する記憶ステップと、
    上記記憶ステップの処理により記憶された上記第一または第二のパラメータの値に基づいて、上記ブロックの量子化スケールを演算するための量子化インデックスを演算する第２の演算ステップとを含み、
    上記画像のフレームが、動きベクトルを使用しないブロックと使用するブロックを含む場合、上記第２の演算ステップは、動きベクトルを使用しないブロックについて上記第１の演算ステップの処理により求められた上記第二のパラメータの値に基づいて上記量子化インデックスを演算し、動きベクトルを使用するブロックについて上記第１の演算ステップの処理により求められた上記第一のパラメータの値に基づいて上記量子化インデックスを演算するステップを含む
    ことを特徴とするプログラム。
JP2001241542A 2001-08-09 2001-08-09 画像符号化装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4447805B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001241542A JP4447805B2 (ja) 2001-08-09 2001-08-09 画像符号化装置および方法、記録媒体、並びにプログラム
CNB028028147A CN1276663C (zh) 2001-08-09 2002-08-06 图像编码装置和方法
US10/398,540 US7539246B2 (en) 2001-08-09 2002-08-06 Image encoding apparatus and method
PCT/JP2002/008035 WO2003017674A1 (en) 2001-08-09 2002-08-06 Image encoding apparatus and method
KR10-2003-7004952A KR20040030425A (ko) 2001-08-09 2002-08-06 화상 부호화 장치 및 방법
EP02755864A EP1418761A4 (en) 2001-08-09 2002-08-06 BILDCODING DEVICE AND METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001241542A JP4447805B2 (ja) 2001-08-09 2001-08-09 画像符号化装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2003061096A JP2003061096A (ja) 2003-02-28
JP4447805B2 true JP4447805B2 (ja) 2010-04-07

Family

ID=19071963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001241542A Expired - Fee Related JP4447805B2 (ja) 2001-08-09 2001-08-09 画像符号化装置および方法、記録媒体、並びにプログラム

Country Status (6)

Country Link
US (1) US7539246B2 (ja)
EP (1) EP1418761A4 (ja)
JP (1) JP4447805B2 (ja)
KR (1) KR20040030425A (ja)
CN (1) CN1276663C (ja)
WO (1) WO2003017674A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4650173B2 (ja) * 2005-09-05 2011-03-16 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
DE102013013065A1 (de) * 2013-08-06 2015-02-12 Daimler Ag Verfahren zum Bestimmen eines Geschwindigkeitsvektors für ein Gestenerkennungssystem in einem Kraftwagen und Vorrichtung zum Durchführen des Verfahrens
KR102503900B1 (ko) 2015-10-05 2023-02-27 삼성전자주식회사 양자화 파라미터를 적응적으로 결정하는 인코더 및 이를 포함하는 애플리케이션 프로세서

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640208A (en) * 1991-06-27 1997-06-17 Sony Corporation Video signal encoding in accordance with stored parameters
JPH06165151A (ja) * 1992-11-25 1994-06-10 Matsushita Electric Ind Co Ltd 映像符号量制御装置
US5493513A (en) * 1993-11-24 1996-02-20 Intel Corporation Process, apparatus and system for encoding video signals using motion estimation
JP2873781B2 (ja) * 1994-08-17 1999-03-24 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 動画像符号量制御方法と装置
GB2342525B (en) 1995-10-30 2000-06-28 Sony Uk Ltd Image quantisation based on image activity
JP3173369B2 (ja) 1996-04-25 2001-06-04 松下電器産業株式会社 画像圧縮符号化装置
DE69713549T2 (de) * 1996-04-25 2003-01-16 Matsushita Electric Ind Co Ltd Gerät und Verfahren zur Bewegtbildkodierung
FR2753330B1 (fr) 1996-09-06 1998-11-27 Thomson Multimedia Sa Procede de quantification pour codage video
JPH1118083A (ja) * 1997-06-25 1999-01-22 Sony Corp ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
US6100940A (en) * 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
WO1999059344A1 (en) * 1998-05-12 1999-11-18 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Conditional masking for video encoder
US20020015513A1 (en) * 1998-07-15 2002-02-07 Sony Corporation Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded
CN1159916C (zh) * 1999-06-22 2004-07-28 日本胜利株式会社 活动图象编码装置及其方法

Also Published As

Publication number Publication date
KR20040030425A (ko) 2004-04-09
US7539246B2 (en) 2009-05-26
US20040062528A1 (en) 2004-04-01
EP1418761A1 (en) 2004-05-12
EP1418761A4 (en) 2009-01-07
WO2003017674A1 (en) 2003-02-27
CN1473437A (zh) 2004-02-04
JP2003061096A (ja) 2003-02-28
CN1276663C (zh) 2006-09-20

Similar Documents

Publication Publication Date Title
JP3854933B2 (ja) 固定演算量を有する動映像符号化方法及びその装置
JP2963416B2 (ja) 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置
JP4256574B2 (ja) 画像信号符号化方法および画像信号符号化装置
US7123654B2 (en) Method and apparatus to encode a moving image with fixed computational complexity
US20050243930A1 (en) Video encoding method and apparatus
US7809198B2 (en) Coding apparatus having rate control to prevent buffer breakdown
JP2004511976A (ja) ディジタルビデオ記録のためのビデオビットレート制御方法及び装置
US6879632B1 (en) Apparatus for and method of variable bit rate video coding
JP2004521533A (ja) ビット・バジェットを使用してビデオ符号化のレート制御を行う方法
JP4447805B2 (ja) 画像符号化装置および方法、記録媒体、並びにプログラム
JP3094003B2 (ja) 固定伝送率ｍｐｅｇ映像送信機用伝送率制御方法およびその装置
JP3978810B2 (ja) 符号化方法およびこれを使用した符号化装置
US6141449A (en) Coding mode determination system
US7649940B2 (en) Image encoding apparatus and method
JP3149673B2 (ja) 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク
KR100266708B1 (ko) 양방향 예측 픽쳐의 조건부 보충 부호화 방법
JP3769788B2 (ja) 画像信号伝送装置および方法
JP4273385B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP2000050254A (ja) 改良された適応性のあるビデオ符号化方法
JPH09327023A (ja) フレーム内／フレーム間符号化切替方法および画像符号化装置
JP4273386B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP3675002B2 (ja) 画像信号伝送装置および方法
JP2003153271A (ja) 動画像符号列変換装置、動画像符号列変換方法、およびそのプログラム
JPH11331850A (ja) 動画像符号化方式
JPH07312754A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060516

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070420

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070517

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091211

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees