JPWO2007043609A1 - 画像符号化方法及び、これを用いた装置とコンピュータプログラム - Google Patents

画像符号化方法及び、これを用いた装置とコンピュータプログラム Download PDF

Info

Publication number
JPWO2007043609A1
JPWO2007043609A1 JP2007539979A JP2007539979A JPWO2007043609A1 JP WO2007043609 A1 JPWO2007043609 A1 JP WO2007043609A1 JP 2007539979 A JP2007539979 A JP 2007539979A JP 2007539979 A JP2007539979 A JP 2007539979A JP WO2007043609 A1 JPWO2007043609 A1 JP WO2007043609A1
Authority
JP
Japan
Prior art keywords
image
encoding
output
image block
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007539979A
Other languages
English (en)
Other versions
JP4973871B2 (ja
Inventor
慶一 蝶野
慶一 蝶野
裕三 仙田
裕三 仙田
義弘 宮本
義弘 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007539979A priority Critical patent/JP4973871B2/ja
Publication of JPWO2007043609A1 publication Critical patent/JPWO2007043609A1/ja
Application granted granted Critical
Publication of JP4973871B2 publication Critical patent/JP4973871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Abstract

画像を周波数領域に変換して量子化した変換量子化値をエントロピー符号化する際、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を、画像符号化装置の出力とする。これにより、符号化装置の回路規模を大きくすることなく、再符号化による符号化遅延を一定の時間に保証することを可能とし、主観的にも高画質な画像符号化装置を提供することができる。

Description

本発明は、可変長符号化や算術符号化などのエントロピー符号化に基づいた画像符号化技術に関し、特に、画像符号化装置に適用して好適なものである。
従来、画像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の画像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。
前記の画像符号化方式として近年規格化されたISO/IEC 14496-10 Advanced Video Codingがあり（非特許文献１ ISO/IEC 14496-10 Advanced Video Coding）、前記AVC符号器の参照モデルとしてJoint Model方式が知られている（以後、従来の画像符号化装置とよぶ）。
図１を参照して、ディジタル化された画像フレームを入力とし、ビットストリームを出力する、従来の画像符号化装置の構成と動作を説明する。
図１を参照すると、従来の画像符号化装置は、原画像フレームバッファ1000、MB符号化装置2000、レート制御装置3000、復号画像フレームバッファ4000で構成される。
原画像フレームバッファ1000は、画像フレームがQCIF(Quarter Common Intermediate Format)の場合、図２に示すような画像データを格納する。画像フレームは、MB(Macro Block)とよばれる16x16画素の輝度画素と、8x8画素のCrとCbの色差画素を構成要素とする画素ブロックに分割される。
MB符号化装置2000は、通常、画像フレームの左上から右下へのラスタスキャン順で、前記MBを符号化する。
レート制御装置3000は、MB符号化装置2000のビットストリームの出力ビット数を監視して、MB符号化装置2000に供給する量子化パラメータを調整し、出力ビットストリームが目標のビット数に近づくようにレート制御する。具体的には、ビットストリームのビット数が目標のビット数よりも多くなると、量子化幅を大とする量子化パラメータをMB符号化装置2000に供給し、逆にビットストリームのビット数が目標のビット数よりも少なくなると量子化幅を小とする量子化パラメータをMB符号化装置2000に供給する。
復号画像フレームバッファ4000は、MB符号化装置2000の復号画像を、以降の符号化（予測）に利用するために、MB符号化装置2000が1MBの符号化を完了したタイミングで、MB符号化装置2000の復号画像を読み込んで格納する。
続いて、MB符号化装置2000の内部構成と動作を詳細に説明する。
図１を参照すると、MB符号化装置2000は、Read装置2100(原画像MBメモリ2110、参照画像メモリ2120)、予測装置2200、Venc装置2300(変換/量子化装置2310、逆量子化/逆変換装置2320、復号画像MBメモリ2330)、EC装置2400(エントロピー符号化装置2410、出力バッファ2420、制御装置2430、Context複製メモリ2440)で構成される。
原画像MBメモリ2110は、原画像フレームバッファ1000に格納された画像フレームから、符号化対象MBの画像(以後、単純に原画像orgと呼ぶ)を読み込んで格納する。
参照画像メモリ2120は、符号化対象MBを予測して符号化するために必要な画像(以後、単純に参照画像refと呼ぶ)を、復号画像フレームバッファ4000から読み込んで格納する。
予測装置2200は、復号画像フレームバッファ4000および後述する復号画像メモリ2330に格納された参照画像から、原画像を好適に符号化できる予測パラメータparamを検出し、後述する予測画像predと予測誤差画像peを生成する。前記予測パラメータは、エントロピー符号化装置2410に供給される。予測誤差画像peは、後述する変換/量子化装置2310に供給される。予測誤差画像peは、後述する逆量子化/逆変換装置2320の出力に加算されて、復号画像MBメモリ2330に復号画像として格納される。
ただし、後述する原画像PCM再符号化が発生した場合、復号画像MBメモリ2330には、原画像MBメモリ2110から供給される原画像が復号画像として格納される。
ここで、前記予測には、フレーム内予測とフレーム間予測の２種類がある。フレーム内予測/フレーム間予測での予測画像と、予測誤差画像を以下で説明する。
フレーム内予測は、現在の符号化対象画像フレームと表示時刻が同一の過去の復号画像を参照し、画像フレーム内（空間方向）での画素の相関を利用して、予測画像predを生成する。一例として、MBを更に細かく分割した4x4画素ブロックサイズでのフレーム内予測を図３に示す(色差やその他の場合でのフレーム内予測については、非特許文献１ ISO/IEC 14496-10 Advanced Video Codingの8.3節 Intra prediction processを参照)。
図３のintra_dirは、フレーム内予測の方向などを示す画面内予測方向パラメータである。予測装置2200は、フレーム内予測を選択すると、画面内予測方向パラメータintra_dirに従い予測画像predを生成する。以後の説明のために、フレーム内予測を、

Figure 2007043609
と定義する。ここで、intra_prediction()は、画面内予測方向パラメータintra_dirに従い、参照画像refから、フレーム内予測画像を生成する関数である。
一方のフレーム間予測は、現在の符号化対象画像フレームと表示時刻が異なる過去の復号画像を参照し、画像フレーム間（時間方向）の相関を利用して、予測画像predを生成する。フレーム間予測の一例として、16x16画素ブロックのフレーム間予測を図４に示す(その他の画素ブロックサイズなどのフレーム間予測については、非特許文献１ ISO/IEC 14496-10 Advanced Video Codingの8.4節 Inter prediction processを参照)。
図４の動きベクトルmv_x、mv_yは、フレーム間予測の予測パラメータである。予測装置2200は、フレーム間予測を選択すると、動きベクトルmv_x、mv_yに従い予測画像predを生成する。以後の説明のために、フレーム間予測を、

Figure 2007043609
と定義する。ここで、inter_prediction()は、動きベクトルmv_x、mv_yに従い、参照画像refから、フレーム間予測画像を生成する関数である。なお、AVCにおいては、動きベクトルの画素精度は１/4画素である。
予測装置2200は、式(3)のコスト関数（予測評価値）を利用して、上述した予測画像predを生成する予測パラメータparamを検出する。ここで、予測パラメータとは、フレーム内予測であれば前記の画面内予測方向intra_dir、フレーム間予測であれば前記の動きベクトルmv_x、mv_yなどである(その他の予測パラメータについては、非特許文献１ ISO/IEC 14496-10 Advanced Video Codingの7節 Syntax and semanticsを参照)。

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609
ただし、QPはMBの量子化パラメータ、idx は図２のMB内部での4x4ブロックの番号、

Figure 2007043609

はidxに対応する4x4ブロックの左上角のMB内部での座標を示す。
検出された予測パラメータparamに対応する予測画像predと、原画像orgの差分を予測誤差画像peと呼ぶ（式(6)）。
以上で、フレーム内予測/フレーム間予測での予測画像と、予測誤差画像の説明を終わる。
続いて、変換/量子化装置2230は、前記の予測装置2200から供給される予測誤差peを、MBよりも細かいブロックの単位（以後、変換ブロックとよぶ）で周波数変換し、空間領域から周波数領域に変換する。前記周波数領域に変換された予測誤差画像を変換係数Tと呼ぶ。
さらに、変換/量子化装置2230は、前記の変換係数Tを、レート制御装置3000から供給される量子化パラメータQPに対応する量子化幅で量子化する。前記量子化された変換係数は、一般的に変換量子化値Lと呼ばれる。変換量子化値Lは、以降の符号化のために逆量子化/逆変換装置2330へ、ビットストリーム形成のためにEC装置2400に供給される。
まず、逆量子化/逆変換装置2330に供給される変換量子化値Lに着目して、以降の動作を説明する。
逆量子化/逆変換装置2330は、変換/量子化装置2230から供給される前記変換量子化値Lを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。前記元の空間領域に戻された予測誤差画像を再構築予測誤差画像pe_recと呼ぶ。
逆量子化/逆変換装置2330から供給される前記再構築予測誤差画像pe_recには、予測装置2200から供給される予測画像peが加算されて(式(8))、復号画像として復号画像MBメモリ2330に格納される。復号画像MBメモリ2330に格納された復号画像recは、以降に、予測装置2200や復号画像フレームバッファ4000に読み込まれて参照画像となる。

Figure 2007043609

続いて、EC装置2400に供給される変換量子化値Lに着目して、以降の動作を説明する。
EC装置2400は、エントロピー符号化装置2410、出力バッファ2420、制御装置2430、Context複製メモリ2440で構成される。
エントロピー符号化装置2410は、入力データをエントロピー符号化して、出力ビットを出力バッファ2420に供給する。制御装置2430は、エントロピー符号化装置2410の出力ビット数を監視して、他の装置の動作を制御する。Context複製メモリ2440は、後述するContextデータの複製を格納するメモリである。
各装置の動作を説明する。
制御装置2430は、エントロピー符号化装置2410の出力ビット数を監視し、制御信号(エントロピー符号化制御信号、出力バッファ制御信号)を介して、エントロピー符号化装置2410および出力バッファ2420を制御する。
1MBすべての入力データをエントロピー符号化して、その出力ビット数がAVC規格で定められる上限ビット数(非特許文献１ ISO/IEC 14496-10 Advanced Video Coding Annex A A.3 Levelsを参照すると3200bit))を超えなかった場合、制御装置2430は、出力バッファ制御信号によって出力バッファ2420に格納されたビットをMBの符号化データとして出力させる。なお、前記の規格で定められる1MBあたりの上限ビット数を単純に規定値と呼ぶ。
一方、1MBの入力データをエントロピー符号化した出力ビット数が規定値を超えた瞬間に、制御装置2430は、エントロピー符号化制御信号によってエントロピー符号化装置2410を一旦停止させて、出力バッファ制御信号によって出力バッファ2420のビットを全て廃棄する（つまり、この時点での出力バッファ2420の中身を符号化データとしない）。前記ビット廃棄の後、制御装置2430は、エントロピー符号化制御信号によってエントロピー符号化装置2410を起動させて、規定値以下のビット数となるように入力画像データを再符号化させる。
続いて、エントロピー符号化装置2410の内部構成と動作を説明する。
図５を参照すると、エントロピー符号化装置2410は、2進化装置24100、算術コーダ24101、Context Modeling装置24102、スイッチ24103SW、24104SWで構成される。
再符号化を行わない場合と、再符号化を行う場合に分けて、エントロピー符号化装置2410の動作を説明する。
まず、再符号化を行わない場合を説明する。
エントロピー符号化装置2410は、まず、以降の再符号化に対応するために、処理対象MBをエントロピー符号化する直前に、Context Modeling装置24102に格納されたContextデータすべてを、Context複製メモリ2440に保存する。続いて、エントロピー符号化装置2410は、スイッチ24103SWを経由して予測装置2200から供給される予測パラメータ、および変換/量子化装置2310から供給される変換量子化値を2進化装置24100によって2進数化し（以後、前記2進化されたデータを以後、binと呼ぶ）、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いて前記binを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出ながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。
ここで、AVCにおけるContextデータとは、エントロピー符号化されるシンボル(bin)ごとのMPS(Most Probable SyMBol）の1bitと、LPS(Least Probable SyMBol）の確率pLPSの値を格納した確率テーブルのインデックス(State)の6bitのデータである(詳細については、非特許文献１ ISO/IEC 14496-10 Advanced Video Codingの9.3節 CABAC parsing process for slice dataを参照)。Contextデータは、通常画像フレーム内の先頭MBなどで初期化されて、以降の算術符号化でその値が更新され続ける。
続いて、再符号化を行う場合を説明する。
エントロピー符号化装置2410は、まず、入力データに対するエントロピー符号化の処理を一旦停止させる、続いて、Context複製メモリ2440に保存されたContextデータをContext Modeling装置24102に読み込む。その後、2進化装置24100は、PCM(Pulse Code Modulation)の開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いて前記binを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。前記PCMの開始を示す予測パラメータのbinを算術符号化し終えた後に、24104SWを切り換えて、原画像MBメモリ2110に格納された画像を読み込んでPCMのまま再符号化して、出力バッファ2420に書き出す。
再符号化の処理として、前記の変換処理を適用していない原画像をPCMで再符号化する処理を原画像PCM再符号化と呼ぶ(例えば、特許文献１ 特開2004-13521)。前記、原画像PCM再符号化を利用すれば、変換や予測が全く効かない画像を無歪みで、規定値以下の一定のビット数で符号化できるので、符号化装置のエントロピー符号化装置だけでなく、復号側のエントロピー復号化装置の処理時間をある一定時間に保証できると言われている。
以上で、EC装置2400の動作説明を終わる。
以上の説明したMB符号化を逐次実行することで、従来の画像符号化装置は、ビットストリームを生成する。
特開2004-13521号公報 ISO/IEC 14496-10 Advanced Video Coding
前述した、AVCなどのMB単位の画像符号化では、以下の図６のようにMB符号化装置2000内部のRead装置2100、予測装置2200、Venc装置2300、EC装置2400をパイプライン動作させることで、効率的な符号化処理ができる。なお、AVCのようにフレーム内予測を利用する符号化では、隣接MBの画素を参照して予測符号化するので、隣接MB間にも予測の依存関係（図６の“→”）がある。
ところで、エントロピー符号化(EC)によってMBのビット数が規定値を超えた場合、そのビット数を規定値以下にするために、再符号化処理として前記の原画像PCM再符号化を実行する。
しかしながら、パイプライン動作においては、直前MB(MB(i-1))に対して原画像PCM再符号化を要求した時点では、後続MB(MB(i))に対する原画像の読み込みによって、直前MBの原画像が原画像MBメモリ2110に存在しない。よって、パイプライン動作では、直前MBの原画像を原画像フレームバッファ1000から原画像MBメモリ2100に再度読み込まなければならない。
また、直前MB(MB(i-1))が原画像PCM再符号化されたことで、後続MBの参照画像が（直前MBの復号画像を原画像に置き換えたことで）元の値と異なるので、上述した予測の依存関係が崩れる。よって、パイプライン動作では、後続MBの予測も再度実行しなければならない。
これらの結果、従来方式の画像符号化装置をパイプライン動作させた場合、再符号化が発生した瞬間に、図７のパイプラインインストールが発生する。
図７のパイプラインストールが多発すると、画像フレーム全体の符号化が完了する時間が、無視できないほど遅延（以後、符号化遅延と呼ぶ）する。ゆえに、従来の符号化装置を単純にパイプライン動作させた場合には、実時間で画像フレームの符号化を完了させることを保証できない。
もちろん、MB符号化装置2000を複数備えれば、前記の符号化遅延を回避できるが、符号化装置の回路規模が大きくなるといった別の課題がある。
また、前記原画像PCM再符号化では、原画像PCM再符号化によって原画像で再構築されたMBの周波数特性が、復号画像で再構築された周辺MBと異なるために、主観的な違和感を生じるといった画質上の問題もある。この問題は、MB符号化装置2000を複数備えるだけでは、回避できない。
そこで、本発明は、上記の課題に鑑みてみてなされたものであり、符号化装置の回路規模を大きくすることなく、再符号化による符号化遅延を一定の時間に保証することが可能で、主観的にも高画質な画像符号化装置を提供することを目的とする。
上記課題を解決する第１の発明は、画像符号化装置であって、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を、前記画像符号化装置の出力とすることを特徴とする。
上記課題を解決する第２の発明は、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化するエントロピー符号化手段と、画像を非エントロピー符号化する非エントロピー符号化手段とを備える画像符号化装置であって、前記エントロピー符号化の出力符号ビット数が規定量を超えた場合に、前記画像符号化装置の出力が、前記変換量子化値を再構築して得た画像を前記非エントロピー符号化手段が非エントロピー符号化して得た符号化データであることを特徴とする。
上記課題を解決する第３の発明は、入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段と、前記エントロピー符号化手段の出力ビットを監視する手段とを備える画像符号化装置であって、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、この出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築手段の復号画像を符号化データとして出力する再符号化手段を具備することを特徴とする。
上記課題を解決する第４の発明は、上記第３の発明において、前記画像ブロックを予測符号化するパラメータを検出する手段と、前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段とを具備することを特徴とする。
上記課題を解決する第５の発明は、入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記画像ブロックを予測符号化するパラメータを検出する手段と、前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段を具備することを特徴とする。
上記課題を解決する第６の発明は、上記第４、５の発明において、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定する手段を具備することを特徴とする。
上記課題を解決する第７の発明は、上記第６の発明において、前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する第２のビット数推定手段と、前記第２のビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段とを具備することを特徴とする。
上記課題を解決する第８の発明は、入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定するビット数推定手段と、前記ビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段とを具備することを特徴とする。
上記課題を解決する第９の発明は、画像符号化方法であって、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとすることを特徴とする。
上記課題を解決する第１０の発明は、画像符号化方法であって、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとすることを特徴とする。
上記課題を解決する第１１の発明は、画像符号化方法であって、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理とを具備することを特徴とする。
上記課題を解決する第１２の発明は、上記第１１の発明において、前記画像ブロックを予測符号化する予測パラメータを検出する処理と、前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理とを具備することを特徴とする。
上記課題を解決する第１３の発明は、画像符号化方法であって、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記画像ブロックを予測符号化する予測パラメータを検出する処理と、前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理とを具備することを特徴とする。
上記課題を解決する第１４の発明は、上記第１２、１３の発明において、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする。
上記課題を解決する第１５の発明は、上記第１４の発明において、量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを具備することを特徴とする。
上記課題を解決する第１６の発明は、画像符号化方法であって、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、前記量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを具備することを特徴とする。
上記課題を解決する第１７の発明は、画像符号化のプログラムであって、前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとする処理を、情報処理装置に実行させることを特徴とする。
上記課題を解決する第１８の発明は、画像符号化方法のプログラムであって、前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとする処理を、情報処理装置に実行させることを特徴とする。
上記課題を解決する第１９の発明は、画像符号化方法のプログラムであって、前記プログラムは、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理とを情報処理装置に実行させることを特徴とする。
上記課題を解決する第２０の発明は、上記第１９の発明において、前記プログラムは、前記画像ブロックを予測符号化する予測パラメータを検出する処理と、前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理とを情報処理装置に実行させることを特徴とする。
上記課題を解決する第２１の発明は、画像符号化方法のプログラムであって、前記プログラムは、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記画像ブロックを予測符号化する予測パラメータを検出する処理と、前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理とを情報処理装置に実行させることを特徴とする。
上記課題を解決する第２２の発明は、上記２０、２１の発明において、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする。
上記課題を解決する第２３の発明は、上記第２２の発明において、前記プログラムは、量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを情報処理装置に実行させることを特徴とする。
上記課題を解決する第２４の発明は、画像符号化方法のプログラムであって、前記プログラムは、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、前記量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを情報処理装置に実行させることを特徴とする。
本発明の画像符号化装置では、PCM再符号化において、変換および量子化が適用された復号画像を用いる。この効果により、PCM再符号化が発生しても、後続MBの符号化処理をやり直す必要がなく、パイプラインストールによる符号化遅延を従来よりも格段に短縮できる。
また、本発明の画像符号化装置では、PCM符号化が発生しても、復号画像によってMBの画像が再構築されるので、周辺MBとの周波数特性も同一となり、主観的な違和感を生じる問題も原理的に生じない。
さらには、処理対象MBのエントロピー符号化後の出力ビット数をエントロピー符号化の前に予測し、エントロピー符号化後の出力ビット数が規定値を変えないように符号化することで、再符号化を完全に回避することができる。つまり、再符号化によるパイプラインストールが発生しないので、符号化遅延を一定の時間に保証することができる。
以上の効果により、本発明は、再符号化のパイプラインストールによる符号化遅延を一定の時間に保証することが可能で、なおかつ主観的にも高画質な画像符号化装置を提供することができる。
図１は従来の画像符号化装置を示す図である。 図２は画像フレーム(4:2:0フォーマット)の構成を説明する為の図である。 図３はフレーム内予測の一例を示す図である。 図４はフレーム間予測の一例を示す図である。 図５はエントロピー符号化装置を示す図である。 図６はパイプラインによる符号化を説明する為の図である。 図７はパイプラインストールを説明する為の図である。 図８は第１の実施の形態の画像符号化装置を説明する為の図である。 図９は第１の実施の形態のEC装置動作フローチャートである。 図１０は実施の形態のパイプライン動作を説明する為の図である。 図１１は第２の実施の形態の画像符号化装置を説明する為の図である。 図１２は第２の実施の形態のEC装置動作フローチャートである。 図１３は本実施の形態におけるパイプラインの動作を説明する為の図である。 図１４は第３の実施の形態の画像符号化装置のブロック図である。 図１５は第３の実施の形態のEC装置動作フローチャートである。 図１６は第４の実施の形態の画像符号化装置のブロック図である。 図１７は第４の実施の形態のレート制御装置動作フローチャートである。 図１８は第５の実施の形態の画像符号化装置のブロック図である。 図１９はBlock bit推定装置の動作フローチャートである。 図２０はスキャン位置を説明する為の図である。 図２１はデータ変調装置の動作フローチャートである。 図２２は第５の実施の形態の画像符号化装置のブロック図である。 図２３は情報処理装置の構成を示す図である。
符号の説明
1000 原画像フレームバッファ
2000 MB符号化装置
3000 レート制御装置
4000 復号画像フレームバッファ
5000 スイッチ
（１）第１の実施の形態
本発明の第1の実施の形態の画像符号化装置の構成を図８に示す。
図１の従来の画像符号化装置と比較すると、発明の画像符号化装置は、制御装置2430が供給するエントロピー符号化制御信号によって動作するスイッチSW5000を備える。また、発明のEC装置2400（エントロピー符号化装置2410）は、図１の原画像MBメモリ2110から供給される原画像の代わりに、復号画像MBメモリ2330、もしくは復号画像フレームバッファ4000からSW5000を経由して供給される復号画像を入力とするため、従来のEC装置2400と動作が異なる。
スイッチSW5000は、制御装置2430から供給されるエントロピー符号化制御信号によって制御されており、エントロピー符号化制御信号から復号画像の伝送を要求されたとき、復号画像をエントロピー符号化装置2410に供給する。具体的には、復号画像MBメモリ2330に現在のエントロピー符号化対象MBの復号画像が残っていれば、復号画像MBメモリ2330に格納された復号画像をエントロピー符号化装置2410に供給し、復号画像MBメモリ2330に現在のエントロピー符号化対象MBの復号画像が残っていなければ、復号画像フレームバッファ4000に格納された現在のエントロピー符号化対象MBの復号画像をエントロピー符号化装置2410に供給する。
発明の画像符号化装置における、その他の装置（原画像フレームバッファ1000、Read装置2100、予測装置2200、Venc装置2300、レート制御装置3000、復号画像フレームバッファ4000）は、図１の従来と同一である。よって、以下では、発明の特徴部であるEC装置2400の動作について図９のフローチャートを参照して説明する。
ステップS10000では、以降の再符号化に対応するために、処理対象MBをエントロピー符号化する直前に、Context Modeling装置24102に格納された現時点でのContextデータすべてを、Context複製メモリ2440に保存する。
ステップS10001では、スイッチ24103SWを経由して入力される入力データを2進化装置24100によって2進数化し(binを生成し)、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。入力データに対応する全てのbinを算術符号化した後、ステップS10002に進む。
ステップS10002では、1MBすべての入力データのエントロピー符号化（算術符号化）が完了したかを判断する。1MBすべての入力データのエントロピー符号化が完了した場合、処理を終了して、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。エントロピー符号化が完了していない場合には、ステップS10003に進む。
ステップS10003では、入力データをエントロピー符号化した現時点での出力ビット数bitが、規定値MB_bit_th以下か否かを判断する。規定値MB_bit_th以下であればステップS10001に進み、以下でなければステップS10004に進む（なお、ステップS10004からS10008は復号画像をPCMで再符号化する再符号化処理なので、以後、復号画像PCM再符号化と呼ぶ）。
ステップS10004では、瞬時に、Read装置2100、予測装置2200、Venc装置2300、エントロピー符号化装置2410を緊急停止させる（それぞれの装置の内部状態はそのまま）。その後、ステップS10005に進む。
ステップS10005では、現時点での出力バッファ2420の中身を符号化データとしないように、出力バッファ2420のビットを全て廃棄する。続いて、ステップS10006に進む。
ステップS10006では、以降のエントロピー符号化のために、Context複製メモリ2440に保存されたContextデータをContext Modeling装置24102に読み込む。続いて、ステップS10007に進む。
ステップS10007では、SW5000から供給される復号画像をPCMで再符号化する。まず、制御装置2430は、エントロピー符号化装置2410を起動させる。その後、2進化装置24100は、PCMの開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記のbinに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。その後、24104SWを切り換えて、SW5000から供給される復号画像を読み込んで、復号画像をPCMのまま再符号化して、出力バッファ2420に書き出す。前記復号画像は、変換/量子化装置2310で変換および量子化された出力データから再構築した画像である。続いて、ステップS10008に進む。
ステップS10008では、Read装置2100、予測装置2200、Venc装置2300の緊急停止を解除する。その後、ECを終了し、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。
以上で、発明の特徴部であるEC装置2400の動作説明を終了する。
本発明の画像符号化装置では、PCM再符号化において、原画像ではなく、変換および量子化が適用された復号画像を用いる。この効果により、従来の画像符号化装置で必要であった、原画像の再読み込みは不要となる。さらには、PCM再符号化に後続するMBの参照画像もPCM再符号化前と完全一致するので、前記後続MBで予測をやり直す必要もない。これらの結果、発明の画像符号化装置では、PCM再符号化が発生しても、パイプラインストールによる符号化遅延が、従来よりも格段に短くなる（図１０）。その上、本発明のPCM符号化では復号画像によってMBの画像が再構築されるので、周辺MBとの周波数特性も同一となり、主観的な違和感を生じる問題も原理的に生じない。
また、発明の画像符号化装置では、MB符号化装置2000の数も1個のままであり、スイッチSW5000はほとんど回路規模に影響を与えない。
以上の説明から、本発明によって、画像符号化装置の回路規模を大きくすることなく、再符号化による符号化遅延を格段に短縮し、なおかつ主観的にも高画質な画像符号化装置を提供することができる。
（２）第２の実施の形態
処理対象MBに対するエントロピー符号化後のビット数をエントロピー符号化の前に推定し、推定したビット数が規定値を超そうな場合、後述する復号画像PCM符号化を処理対象MBに適用することで、符号化遅延をさらに短縮する発明の第2実施形態の画像符号化装置の構成を図１１に示す。
図８の本発明の第１の実施形態の画像符号化装置と比較すると、本発明の第２の実施形態の画像符号化装置は、MB bit推定装置2450を備える。また、発明のEC装置2400（エントロピー符号化装置2410）は、MB bit推定装置2450から供給される推定ビット数を入力とするため、発明の第１実施形態のEC装置2400と動作が異なる。
MB bit推定装置2450は、レート制御装置3000から供給される量子化パラメータQPと、予測装置2200から供給される式(3)の予測評価値Costから、式(9)によって処理対象MBのエントロピー符号化後の出力ビット数MB_est_bitを推定する。

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609
式(9)は、文献(蝶野他、” H.264の量子化特性に関する一検討,”FIT 2004, J-062, 2004)から導出した関数である。ただし、αは0より大きい1以下の数、βは1以上の数、fは0より大きい1未満の数である。
本発明の第２実施の形態の画像符号化装置における、EC装置2400以外の装置は、図８の発明の第１の実施形態と同一である。よって、以下では、発明の特徴部であるEC装置2400の動作について図１２のフローチャートを参照して説明する。
ステップS20000では、推定ビット数MB_est_bitが規定値MB_bit_th以下か否かを判断する。以下であれば、ステップS10000。以下でなければ、ステップS20001に進む。
以降に記述するステップS10000からステップS10008は、発明の第１実施形態と同一であるが、再度記述する。
ステップS10000では、以降の再符号化に対応するために、処理対象MBをエントロピー符号化する直前に、Context Modeling装置24102に格納された現時点でのContextデータすべてを、Context複製メモリ2440に保存する。
ステップS10001では、スイッチ24103SWを経由して入力される入力データを2進化装置24100によって2進数化し(binを生成し)、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。入力データに対応する全てのbinを算術符号化した後、ステップS10002に進む。
ステップS10002では、1MBすべての入力データのエントロピー符号化（算術符号化）が完了したかを判断する。1MBすべての入力データのエントロピー符号化が完了した場合、処理を終了して、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。エントロピー符号化が完了していない場合には、ステップS10003に進む。
ステップS10003では、入力データをエントロピー符号化した現時点での出力ビット数bitが、規定値MB_bit_th以下か否かを判断する。規定値MB_bit_th以下であればステップS10001に進み、以下でなければステップS10004に進む（なお、ステップS10004からS10008は復号画像をPCMで再符号化する再符号化処理なので、以後、復号画像PCM再符号化と呼ぶ）。
ステップS10004では、瞬時に、Read装置2100、予測装置2200、Venc装置2300、エントロピー符号化装置2410を緊急停止させる（それぞれの装置の内部状態はそのまま）。その後、ステップS10005に進む。
ステップS10005では、現時点での出力バッファ2420の中身を符号化データとしないように、出力バッファ2420のビットを全て廃棄する。続いて、ステップS10006に進む。
ステップS10006では、以降のエントロピー符号化のために、Context複製メモリ2440に保存されたContextデータをContext Modeling装置24102に読み込む。続いて、ステップS10007に進む。
ステップS10007では、SW5000から供給される復号画像をPCMで再符号化する。まず、制御装置2430は、エントロピー符号化装置2410を起動させる。その後、2進化装置24100は、PCMの開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記のbinに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。その後、24104SWを切り換えて、SW5000から供給される復号画像を読み込んで、復号画像をPCMのまま再符号化して、出力バッファ2420に書き出す。前記復号画像は、変換/量子化装置2310で変換および量子化された出力データから再構築した画像である。続いて、ステップS10008に進む。
ステップS10008では、Read装置2100、予測装置2200、Venc装置2300の緊急停止を解除する。その後、ECを終了し、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。
ステップS20001では、SW5000から供給される復号画像をPCMで符号化する（再符号化とはならないので、復号画像PCM符号化と呼ぶ）。まず、2進化装置24100は、PCMの開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記のbinに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。その後、24104SWを切り換えて、SW5000から供給される復号画像を読み込んで、復号画像をPCMのまま再符号化して、出力バッファ2420に書き出す。前記復号画像は、変換/量子化装置2310で変換および量子化された出力データから再構築した画像である。その後、ECを終了し、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。
以上で、本実施形態におけるEC装置2400の動作説明を終了する。
本実施形態の画像符号化装置では、処理対象MBに対するエントロピー符号化後のビット数をエントロピー符号化の前に推定し、推定ビット数が規定値を超えそうな場合、エントロピー符号化後のビット数が必ず規定値以下となることを保証できる復号画像PCM符号化を処理対象MBに適用する。この結果、再符号化が原理的に発生しないので、本実施形態の画像符号化装置は、符号化遅延をさらに短縮できる（図１３）。
また、式(9) のパラメータαを符号化対象フレームのエンコードの残り時間に応じて、例えば、残り時間が短ければαを小さく(0に近づける)、そうでなければαを大きく（1に近づける）することで、符号化遅延を一定時間に収まるように制御できることは言うまでもない。
（３）第３の実施の形態
上述した第２の実施形態の画像符号化装置において、式(9) のパラメータαを小さく設定して規定値MB_bit_thに対して十分なマージン見込んだ推定ビット数MB_est_bitを設定すれば、エントロピー符号化の出力ビット数が規定値MB_bit_thを決して超えない。つまり、再符号化は不要となる。
この場合、再符号化が不要になる分、図１１のContext複製メモリ2440は不要となり、エントロピー符号化の出力ビット数を監視する必要もない。この結果、画像符号化装置をよりシンプルに構成できる（図１４）。
この構成の場合での、EC装置2400の動作を図１５を参照して説明する。
ステップS20000では、推定ビット数MB_est_bitが規定値MB_bit_th以下か否かを判断する。以下であれば、ステップS10000。以下でなければ、ステップS20001に進む。
ステップS10001では、スイッチ24103SWを経由して入力される入力データを2進化装置24100によって2進数化し(binを生成し)、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。入力データに対応する全てのbinを算術符号化した後、ステップS10002に進む。
ステップS10002では、1MBすべての入力データのエントロピー符号化（算術符号化）が完了したかを判断する。1MBすべての入力データのエントロピー符号化が完了した場合、処理を終了して、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。エントロピー符号化が完了していない場合には、ステップS10001に進む。
ステップS20001では、SW5000から供給される復号画像をPCMで符号化する（再符号化とはならないので、復号画像PCM符号化と呼ぶ）。まず、2進化装置24100は、PCMの開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記のbinに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。その後、24104SWを切り換えて、SW5000から供給される復号画像を読み込んで、復号画像をPCMのまま再符号化して、出力バッファ2420に書き出す。前記復号画像は、変換/量子化装置2310で変換および量子化された出力データから再構築した画像である。その後、ECを終了し、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。
以上で、本実施形態におけるEC装置2400の動作説明を終了する。
本実施形態の画像符号化装置においては、再符号化は不要となる。この結果、発明の第2実施形態の画像符号化装置で必要であったContext複製メモリ2440や、エントロピー符号化の出力ビット数を監視する手段も必要もない。この結果、本実施形態の画像符号化装置は、従来よりもさらに回路構成をシンプルにできるメリットがある。
（４）第４の実施の形態
上述した第３の実施の形態の画像符号化装置では、レート制御装置3000の想定以上のビット数がPCM符号化によって発生した場合に、以降のMBに割り当てる符号量が減少し、以降に符号化するMBの画質が低下する可能性がある。そこで、前記の画質低下を防ぐことが可能な、発明の第４の実施の形態の画像符号化装置の構成を図１６に示す。
図１４の発明の第３実施の形態の画像符号化装置と比較すると、発明の第４実施の形態の画像符号化装置は、レート制御装置3000にMB bit推定装置2450から推定ビット数が供給される。このため、レート制御装置3000と動作が従来と異なる。
レート制御装置3000は、MB符号化装置2000のビットストリームの出力ビット数だけでなく、MB bit推定装置2450から供給される推定ビット数も利用して、量子化パラメータを変更する。
MB bit推定装置2450は、前記変更された量子化パラメータを利用して推定ビット数を式(9)で再計算して、再計算した推定ビット数を制御装置2430に供給する。
レート制御装置3000以外の装置は、図１４の発明の第３の実施の形態と同一である。よって、以下では、発明の特徴部であるレート制御装置3000の動作について図１７のフローチャートを参照して説明する。
ステップS30000では、式(17)によって処理対象MBに対する量子化パラメータQPを計算する。

Figure 2007043609

Figure 2007043609

Figure 2007043609

ここで、qp_picは符号化対象フレームに対する量子化パラメータ、Bitrateは目標のビットレート、Framerateは画像のフレームレート、cur_pic_bitは符号化対象フレームを符号化した現時点での発生ビット数、target_pic_bitは符号化対象フレームの目標符号量、pic_MB_sizeは符号化対象フレームに含まれるMBの数、MB_nuMBerは符号化対象フレーム内で今まで符号化したMBの個数である。
続いて、ステップS3000１に進む。
ステップS30001では、ステップS30000で計算した量子化パラメータqpに対する推定ビット数MB_est_bitが規定値MB_bit_thを超えるか否か（条件１）、MBの最大割り当てビット数MB_tar_max_bit（式(20)、γは1以上の数）が規定値MB_bit_th未満か否か（条件2）を判断する。前記条件１と条件２が成立した場合は、ステップS300002に進み、成立しなかった場合はステップS30000で計算した量子化パラメータqpを変換/量子化装置2310に供給する。

Figure 2007043609

ステップS30002では、式(21)によって、ステップS3000の量子化パラメータqpを更新し、更新した量子化パラメータqpを変換/量子化装置2310に供給する。

Figure 2007043609
ここで、qp _thは、MB_tar_max_bit以下を満たす式(9)のMB_est_bitに対応する量子化パラメータQPの最小値である。
以上で、本実施形態におけるレート制御装置3000の動作説明を終了する。
本実施形態の画像符号化装置では、式(9)から処理対象MBに対するエントロピー符号化後のビット数を推定し、レート制御装置3000の想定以上のビット数がPCM符号化によって発生しないように制御できる。この結果、PCM符号化が突然発生して、以降のMBに割り当てる符号量が減少し、以降に符号化するMBの画質が低下してしまう課題を解決できる。
（５）第５の実施の形態
上述した発明の第４の実施の形態の画像符号化装置において、レート制御装置3000が推定ビット数を利用して量子化パラメータを制御しても、エントロピー符号化後の出力ビット数を完全に規定値以下にできない場合がある。これに対処可能な、発明の第５の実施の形態の画像符号化装置の構成を図１８に示す。
図１６の第４の実施の形態の画像符号化装置と比較すると、第５の実施の形態の画像符号化装置は、Block bit推定装置2340、データ変調装置2350を備える。ただし、Block bit推定装置2340およびデータ変調装置2350以外の装置は、図１６の発明の第４の実施の形態のと同一である（ただし、後述するBlock bit推定装置2340およびデータ変調装置2350の機能により、エントロピー符号化後の出力ビット数は必ず規定値MB_bit_th以下となるので、MB bit推定装置2450は、規定値MB_bit_th以下となる値の推定ビット数MB_est_bitを制御装置2430に供給するものとする）。よって、以下では、発明の特徴部であるBlock bit推定装置2340およびデータ変調装置2350について説明する。
Block bit推定装置2340は、変換/量子化装置2310から供給される変換量子化値Lを監視し、変換ブロックのエントロピー符号化後の出力ビット数を推定する（以後、前記推定されたビット数をブロック推定ビット数block_est_bitと呼ぶ）。前記ブロック推定ビット数block_est_ bitを利用して、変換量子化値Lの廃棄位置(disp_scan_pos)を検出する。
データ変調装置2350は、Block bit推定装置2340から供給される変換量子化値Lの廃棄位置(disp_scan_pos)に従って、変換/量子化装置2310から供給される変換量子化値Lに後述する廃棄処理を適用し、廃棄処理を適用した変換量子化値Lを逆量子化/逆変換装置2320およびエントロピー符号化装置2410に供給する。
まず、発明の動作説明のために変換量子化値Lを説明する。
AVCにおける変換/量子化装置2230は、予測装置2200から供給される予測誤差peを、MBよりも細かい4x4ブロックの単位（変換ブロック）で、以下の式(22)によって周波数変換し、変換係数Tと計算する。ただし、idxは図２のMB内部での4x4ブロックの番号である。

Figure 2007043609
さらに、変換係数Tは、レート制御装置3000から供給される量子化パラメータQPを用いて式(23)で量子化し、変換量子化値Lを得る。

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609
ここで、式(26)のfintraは0以上1未満の数、finterは0以上1未満の数である。
以上で、変換量子化値Lの説明を終了する。
図１９のフローチャートを参照して、Block bit推定装置2340の動作を説明する。
まず、block bit推定処理に先立って、ブロック推定ビット数block_est_bit=0、スキャン位置scan_pos=-1, 変換量子化値Lの廃棄開始位置を示すスキャン位置disp_scan_pos=-1とする。ここでスキャン位置とは、図２０に示す変換ブロック内での変換量子化値のエントロピー符号化順序である。
ステップS40000では、scan_posを1インクリメントする。
ステップS40001では、scan_posに対応する変換量子化値L(idx)xyから、式(27)によってblock_est_bitを更新する。

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609

Figure 2007043609

ただし、abs(x)はxの絶対値を返す関数、int(x)はｘの最も近い整数に切り捨てる関数、pos_x(scan_pos)は図２０のスキャン位置scan_posに対応するブロック内のx座標を返す関数、pos_y(scan_pos)は図２０のスキャン位置scan_posに対応するブロック内のy座標を返す関数とする。なお、式(29)の処理は、変換量子化値Lを、エントロピー符号化装置で２進数化した際のbin数を計算することを意味する。
ステップS40002では、block_est_bitが、式(32)の変換ブロック上限ビット数block_bit_thを超えるか否か判断する。

Figure 2007043609
ここで、αは0より大きい1以下の数、header_bit(param)は予測装置2000が供給する予測パラメータparamをエントロピー符号化した際のビット数を返す関数、block_numは1MBに含まれる変換ブロックの個数でAVCではblock_num =24である。
block_est_bitが、block_bit_thを超えなかった場合にはステップS40003に進み、超えた場合にはステップS40004に進む。
S40003では、スキャンが終了（scan_pos=15）か否かを判断する。スキャンが終了であれば処理を終了し、終了でなければステップS40000に進む。
S40004では、disp_scan_pos=scan_posとして、処理を終了する。
以上で、Block bit推定装置2340の動作説明を終了する。
続いて、図２１のフローチャートを参照して、データ変調装置2350の動作を説明する。
ステップS50000では、Block bit推定装置2340から供給される廃棄位置disp_scan_posから、変換量子化値の廃棄を行うか否かを判断する。disp_scan_posが-1であれば、廃棄せずに処理を終了する（変換量子化値Lの値は不変）。一方、disp_scan_posが-1でなければステップS50001に進む。
ステップS50001では、式(33)によって変換量子化値の廃棄を行う。

Figure 2007043609

ここで、s_pos(x,y)は図２０の4x4ブロック内の座標(x,y)に対応するスキャン位置を返す関数である。
以上で、データ変調装置2350の動作説明を終了する。
上述した変換量子化値の廃棄によって、1変換ブロックあたりのエントロピー符号化の出力ビット数をblock_bit_th（式(32)）以下に出来る。この結果、1MBあたりのエントロピー符号化の出力ビット数も、必ず規定値MB_bit_th以下となる。
以上の作用により、本実施形態の画像符号化装置では、レート制御装置3000が如何なる量子化パラメータを設定しても、エントロピー符号化後の出力ビット数を完全に規定値MB_bit_th以下にできる。
なお、本実施形態では、レート制御装置3000が如何なる量子化パラメータを設定しても、エントロピー符号化後の出力ビット数を完全に規定値MB_bit_th以下となるので、実質的に復号画像PCM符号化を行う必要がない。すなわち、図１８の構成から復号画像PCM符号化の機能を省略して、図２２のように画像符号化装置を構成できる。この構成の場合、画像符号化装置の回路規模をより小さくできるメリットがある。
（６）第６の実施の形態
さらには上述した実施の形態においては、上述した説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図２３に示す情報処理システムは、プロセッサA1001，プログラムメモリA1002，記憶媒体A1003およびA1004からなる。記憶媒体A1003およびA1004は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。

Claims (24)

  1. 画像符号化装置であって、
    画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を、前記画像符号化装置の出力とすることを特徴とする画像符号化装置。
  2. 画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化するエントロピー符号化手段と、画像を非エントロピー符号化する非エントロピー符号化手段とを備える画像符号化装置であって、
    前記エントロピー符号化の出力符号ビット数が規定量を超えた場合に、前記画像符号化装置の出力が、前記変換量子化値を再構築して得た画像を前記非エントロピー符号化手段が非エントロピー符号化して得た符号化データであることを特徴とする画像符号化装置。
  3. 入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段と、前記エントロピー符号化手段の出力ビットを監視する手段とを備える画像符号化装置であって、
    処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、この出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築手段の復号画像を符号化データとして出力する再符号化手段を具備することを特徴とする画像符号化装置。
  4. 前記画像ブロックを予測符号化するパラメータを検出する手段と、
    前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、
    前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段と
    を具備することを特徴とする請求項３に記載の画像符号化装置。
  5. 入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記画像ブロックを予測符号化するパラメータを検出する手段と、前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、
    前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段を具備することを特徴とする画像符号化装置。
  6. 前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定する手段を具備することを特徴とする請求項４又は請求項５に記載の画像符号化装置。
  7. 前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する第２のビット数推定手段と、
    前記第２のビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段と
    を具備することを特徴とする請求項６に記載の画像符号化装置。
  8. 入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、
    前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定するビット数推定手段と、
    前記ビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段と
    を具備することを特徴とする画像符号化装置。
  9. 画像符号化方法であって、
    画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとすることを特徴とする画像符号化方法。
  10. 画像符号化方法であって、
    画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとすることを特徴とする画像符号化方法。
  11. 入力画像フレームを画像ブロックに分割する処理と、
    前記画像ブロックを予測する処理と、
    前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
    前記量子化されたデータから復号画像を再構築する処理と、
    前記量子化されたデータをエントロピー符号化する処理と、
    処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理と
    を具備することを特徴とする画像符号化方法。
  12. 前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
    前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
    前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
    を具備することを特徴とする請求項１１に記載の画像符号化方法。
  13. 入力画像フレームを画像ブロックに分割する処理と、
    前記画像ブロックを予測する処理と、
    前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
    前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
    前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
    前記量子化されたデータから復号画像を再構築する処理と、
    前記量子化されたデータをエントロピー符号化する処理と、
    前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
    を具備することを特徴とする画像符号化方法。
  14. 前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする請求項１２又は請求項１３に記載の画像符号化方法。
  15. 量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
    前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
    を具備することを特徴とする請求項１４に記載の画像符号化方法。
  16. 入力画像フレームを画像ブロックに分割する処理と、
    前記画像ブロックを予測する処理と、
    前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
    前記量子化されたデータから復号画像を再構築する処理と、
    前記量子化されたデータをエントロピー符号化する処理と、
    前記量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
    前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
    を具備することを特徴とする画像符号化方法。
  17. 画像符号化のプログラムであって、
    前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとする処理を、情報処理装置に実行させることを特徴とするプログラム。
  18. 画像符号化方法のプログラムであって、
    前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとする処理を、情報処理装置に実行させることを特徴とするプログラム。
  19. 画像符号化方法のプログラムであって、
    前記プログラムは、
    入力画像フレームを画像ブロックに分割する処理と、
    前記画像ブロックを予測する処理と、
    前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
    前記量子化されたデータから復号画像を再構築する処理と、
    前記量子化されたデータをエントロピー符号化する処理と、
    処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理と
    を情報処理装置に実行させることを特徴とするプログラム。
  20. 前記プログラムは、
    前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
    前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
    前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
    を情報処理装置に実行させることを特徴とする請求項１９に記載のプログラム。
  21. 画像符号化方法のプログラムであって、
    前記プログラムは、
    入力画像フレームを画像ブロックに分割する処理と、
    前記画像ブロックを予測する処理と、
    前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
    前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
    前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
    前記量子化されたデータから復号画像を再構築する処理と、
    前記量子化されたデータをエントロピー符号化する処理と、
    前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
    を情報処理装置に実行させることを特徴とするプログラム。
  22. 前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする請求項２０又は請求項２１に記載のプログラム。
  23. 前記プログラムは、量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
    前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
    を情報処理装置に実行させることを特徴とする請求項２２に記載のプログラム。
  24. 画像符号化方法のプログラムであって、
    前記プログラムは、
    入力画像フレームを画像ブロックに分割する処理と、
    前記画像ブロックを予測する処理と、
    前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
    前記量子化されたデータから復号画像を再構築する処理と、
    前記量子化されたデータをエントロピー符号化する処理と、
    前記量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
    前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
    を情報処理装置に実行させることを特徴とするプログラム。

JP2007539979A 2005-10-14 2006-10-12 画像符号化方法及び、これを用いた装置とコンピュータプログラム Active JP4973871B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007539979A JP4973871B2 (ja) 2005-10-14 2006-10-12 画像符号化方法及び、これを用いた装置とコンピュータプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005300933 2005-10-14
JP2005300933 2005-10-14
PCT/JP2006/320379 WO2007043609A1 (ja) 2005-10-14 2006-10-12 画像符号化方法及び、これを用いた装置とコンピュータプログラム
JP2007539979A JP4973871B2 (ja) 2005-10-14 2006-10-12 画像符号化方法及び、これを用いた装置とコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2007043609A1 true JPWO2007043609A1 (ja) 2009-04-16
JP4973871B2 JP4973871B2 (ja) 2012-07-11

Family

ID=37942834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007539979A Active JP4973871B2 (ja) 2005-10-14 2006-10-12 画像符号化方法及び、これを用いた装置とコンピュータプログラム

Country Status (6)

Country Link
US (1) US8416850B2 (ja)
EP (2) EP1947862B1 (ja)
JP (1) JP4973871B2 (ja)
KR (1) KR100978767B1 (ja)
CN (1) CN101288313B (ja)
WO (1) WO2007043609A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005163A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
EP2124343A4 (en) * 2006-12-14 2012-01-11 Nec Corp METHOD, DEVICE AND VIDEO PROGRAMMING PROGRAM
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
KR101148614B1 (ko) * 2007-09-06 2012-05-25 닛본 덴끼 가부시끼가이샤 영상 부호화 장치 및 영상 부호화 방법
US8401071B2 (en) * 2007-12-19 2013-03-19 Sony Corporation Virtually lossless video data compression
JP4915350B2 (ja) * 2008-01-16 2012-04-11 日本電気株式会社 エントロピ符号化器、映像符号化装置、映像符号化方法および映像符号化プログラム
US8542748B2 (en) * 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
WO2010038212A2 (en) * 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
US20120014431A1 (en) * 2010-07-14 2012-01-19 Jie Zhao Methods and Systems for Parallel Video Encoding and Parallel Video Decoding
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
US9300975B2 (en) * 2011-09-11 2016-03-29 Texas Instruments Incorporated Concurrent access shared buffer in a video encoder
JP5949778B2 (ja) * 2011-11-01 2016-07-13 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
LT3793200T (lt) * 2012-04-13 2023-02-27 Ge Video Compression, Llc Vaizdo kodavimas su maža delsa
AU2013283173B2 (en) 2012-06-29 2016-03-24 Ge Video Compression, Llc Video data stream concept

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347954B2 (ja) * 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
CN1158050A (zh) * 1995-12-27 1997-08-27 汤姆森消费电子有限公司 图像数据压缩系统和方法
JPH1098710A (ja) 1996-09-24 1998-04-14 Hitachi Ltd 信号処理装置
JPH10243399A (ja) * 1997-02-25 1998-09-11 Sharp Corp 符号量制御装置及び該符号量制御装置を含む動画像符号化装置
JP3843581B2 (ja) 1998-03-05 2006-11-08 富士ゼロックス株式会社 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法
JP2000244925A (ja) 1999-02-24 2000-09-08 Fuji Xerox Co Ltd 画像処理装置および画像処理方法
JP3561655B2 (ja) 1999-03-23 2004-09-02 三洋電機株式会社 エンコーダ
US6628716B1 (en) * 1999-06-29 2003-09-30 Intel Corporation Hardware efficient wavelet-based video compression scheme
JP4042597B2 (ja) * 2002-03-28 2008-02-06 ソニー株式会社 画像符号化装置及び方法、プログラム、記録媒体
JP2003304404A (ja) * 2002-04-09 2003-10-24 Canon Inc 画像符号化装置
US7242713B2 (en) 2002-05-02 2007-07-10 Microsoft Corporation 2-D transforms for image and video coding
US7483488B1 (en) * 2002-05-30 2009-01-27 Intervideo, Inc. Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model
CN1225126C (zh) * 2002-10-09 2005-10-26 中国科学院计算技术研究所 用于视频编码的新型空间预测方法及其装置
JP4240283B2 (ja) 2002-10-10 2009-03-18 ソニー株式会社 復号装置及び復号方法
US7864839B2 (en) * 2005-04-01 2011-01-04 Broadcom Corporation Method and system for rate control in a video encoder
JPWO2006118288A1 (ja) * 2005-05-03 2008-12-18 松下電器産業株式会社 動画像符号化方法、動画像復号化方法およびその装置
JP2007089035A (ja) * 2005-09-26 2007-04-05 Toshiba Corp 動画像符号化方法、装置及びプログラム

Also Published As

Publication number Publication date
KR20080046237A (ko) 2008-05-26
JP4973871B2 (ja) 2012-07-11
EP1947862A4 (en) 2010-12-15
CN101288313A (zh) 2008-10-15
EP1947862B1 (en) 2016-04-27
WO2007043609B1 (ja) 2007-07-19
WO2007043609A1 (ja) 2007-04-19
EP2566160A3 (en) 2013-08-21
US8416850B2 (en) 2013-04-09
EP2566160A2 (en) 2013-03-06
US20090279604A1 (en) 2009-11-12
CN101288313B (zh) 2011-09-14
EP1947862A1 (en) 2008-07-23
KR100978767B1 (ko) 2010-08-30

Similar Documents

Publication Publication Date Title
JP4973871B2 (ja) 画像符号化方法及び、これを用いた装置とコンピュータプログラム
JP5045950B2 (ja) 映像符号化方法、映像符号化装置および映像符号化プログラム
CN114467304A (zh) 用于视频编码技术的时间信令
KR102344167B1 (ko) 참조 화상 리스트 변경 정보를 조건부로 시그널링하는 기법
US7602851B2 (en) Intelligent differential quantization of video coding
JP5330647B2 (ja) 適応参照画像の発生
KR100850706B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
CN102271257B (zh) 图像处理设备
KR102218696B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
KR20110071231A (ko) 부호화 방법, 복호화 방법 및 장치
JP2007306619A (ja) ビデオ画像を処理するコンピュータ実行方法及び記録媒体
JP2006304307A5 (ja)
JP5746193B2 (ja) 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101450645B1 (ko) 비디오 비트율 제어 방법 및 장치
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
KR20140022122A (ko) 율―왜곡 최적화를 이용한 비디오 부호화 방법 및 장치
KR20150105347A (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
JPH11513873A (ja) ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法
KR100924779B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
JPH09289642A (ja) ビデオ信号符号化方法、ビデオ信号復号化方法及び装置
JP4390009B2 (ja) 符号化装置及び方法、画像処理システム
JP2022070176A (ja) 符号化装置及びプログラム
JP2024509680A (ja) ドリフトを抑制するビデオ符号化の概念
CN113132734A (zh) 一种编码、解码方法、装置及其设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120314

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120327

R150 Certificate of patent or registration of utility model

Ref document number: 4973871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3