JP4118180B2 - 符号化復号化システム - Google Patents
符号化復号化システム Download PDFInfo
- Publication number
- JP4118180B2 JP4118180B2 JP2003088217A JP2003088217A JP4118180B2 JP 4118180 B2 JP4118180 B2 JP 4118180B2 JP 2003088217 A JP2003088217 A JP 2003088217A JP 2003088217 A JP2003088217 A JP 2003088217A JP 4118180 B2 JP4118180 B2 JP 4118180B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- decoding
- reference image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、放送、通信分野で使用される符号化復号化システムに関する。
【０００２】
【従来の技術】
【０００３】
従来では、復号化器において、１枚以上前の参照画像を使用し、復号動作を行うためには、各参照画像の全てを保存しておくことが必要であり、メモリ容量が嵩むという問題がある。
【０００４】
【発明が解決しようとする課題】
この発明は、復号化器側で、参照画像を保存するためのメモリ容量の低減化が図れる符号化復号化システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、１枚前以上の参照画像を使用する符号化器と、符号化器で符号化されたデータを復号化する復号化器とを備えた符号化復号化システムにおいて、符号化器は、何枚前の参照画像を参照したかという情報および動きベクトルを、符号化している画像の符号化データに、復号用情報として多重する第１手段、ならびに復号化の際に参照画像内の２枚以上後のフレームから参照される参照部分に関する大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させる第２手段を備えており、復号化器は、復号用情報を用いて復号した１枚後又は１枚前のフレームから参照される参照画像のみをフレームメモリに格納する第３手段、当該参照画像に対する参照位置情報を用いて当該参照画像内の２枚以上後のフレームから参照される参照部分を別メモリに格納する第４手段、ならびに画像を復号する際に、フレームメモリに格納された参照画像及び別メモリに格納された参照部分を参照する第５手段を備えていることを特徴とする。
【０００６】
請求項２に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を算出し、算出した最大公約数的な参照領域の大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【０００７】
請求項３に記載された発明は、請求項２に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を別メモリに格納するものであることを特徴とする。
【０００８】
請求項４に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を含む最小の矩形領域を算出し、算出した矩形領域の大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【０００９】
請求項５に記載された発明は、請求項４に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を含む最小の矩形領域を別メモリに格納するものであることを特徴とする。
【００１０】
請求項６に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を含む最小の矩形領域を算出し、算出した矩形領域の大きさおよび位置を示す情報および矩形領域内の必要部分と不必要部分とを識別するための情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【００１１】
請求項７に記載された発明は、請求項６に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を含む最小の矩形領域内の必要部分のみを別メモリに格納するものであることを特徴とする。
【００１２】
請求項８に記載の発明は、請求項６乃至７に記載の符号化復号化システムにおいて、矩形領域内の必要部分と不必要部分とを識別するための情報が、〔必要部分の連続数、不必要部分の連続数、必要部分の連続数、不必要部分の連続数、…〕の形式のラン情報であることを特徴とする。
【００１３】
請求項９に記載の発明は、請求項１乃至８に記載の符号化復号化システムにおいて、第４手段は、フレームメモリへの参照画像の書き込み時またはフレームメモリからの再生画像の読み出し時に、参照部分を別メモリに格納することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照して、 この発明をＭＰＥＧ方式の符号化復号化システムに適用した場合の実施の形態について説明する。
【００１５】
〔１〕本願発明の基本的な考え方についての説明
【００１６】
符号化器では、１フレーム内の各マクロブロック単位に対する参照画像として、複数枚の過去のフレーム内の画像中のマクロブロックを用いることができる。このような場合、復号化器側に参照画像の全てを記憶すればよいが、その分フレームメモリが必要となる。
【００１７】
この発明では、基本的には、２枚前以前の参照画像においては、参照される部分のみを復号化器側の別メモリに保存することにより、復号化器側のメモリ量を低減させるようにする。このためには、従来の符号化器から復号化器に送られる復号用情報に加えて、２枚前以前の参照画像に関して参照される部分のみを別メモリに保存させるための情報（参照位置情報）が必要となる。
【００１８】
なお、画像の前後とは、原画像が符号化のために並び替えが行われた後の画像（フレーム）の並び順を基準とした場合の前後をいう。
【００１９】
〔２〕符号化器の説明
【００２０】
図１は、符号化器の構成を示している。
【００２１】
図１において、１０１は第１の選択回路、１０２は減算回路、１０３はＤＣＴ（Discrete Cosin Transfer)変換回路（直交変換回路）、１０４は量子化回路、１０５はエントロピ符号化回路（可変長符号化回路）、１０６は多重化回路（MUX)、１０７は出力バッファである。また、１０８は逆量子化回路、１０９は逆ＤＣＴ変換回路（逆直交変換回路）、１１０は加算回路、１１１〜１１６はフレームメモリ、１１７は動き補償回路、１１８は第２の選択回路、１１９は動き予測回路である。また、１２０はエンコードコントロール回路である。
【００２２】
符号化器には、原画像が符号化のために並び替えが行われた後の画像データが、１６×１６の大きさのマクロブロック(MB)単位で入力される。第１の選択回路１０１は、入力画像データの画像タイプ（Ｉピクチャ，Ｐピクチャ、Ｂピクチャ）に応じて、入力画像データをＤＣＴ変換回路１０３または減算回路１０２に送るための回路であり、エンコードコントロール回路１２０によって制御される。具体的には、入力画像データの画像タイプがＩピクチャの場合には、入力画像データをＤＣＴ変換回路１０３に送り、入力画像データの画像タイプがＰまたはＢピクチャの場合には、入力画像データを減算回路１０２に送る。減算回路１０２の出力は、ＤＣＴ変換回路１０３に送られる。
【００２３】
ＤＣＴ変換回路１０３に入力された画像データは、８×８の大きさのサブブロック単位で、ＤＣＴが行われる。ＤＣＴ変換回路１０３から出力されるＤＣＴ係数は、量子化回路１０４によって量子化され、量子化されたＤＣＴ係数が得られる。
【００２４】
量子化されたＤＣＴ係数は、ジクザクスキャンまたはオルタネートスキャンされて１次元に並べられ、エントロピ符号化回路１０５によって符号化される。エントロピ符号化回路１０５によって得られた符号は、多重化回路１０６に送られ、エンコードコントロール回路１２０から送られてくる制御情報および動き予測回路１１９から送られてくる動きベクトル(MV)の可変長符号からなる復号用情報が多重された後、出力バッファ１０７に蓄積される。出力バッファ１０７から出力されるデータに、エンコードコントロール回路１２０から送られてくる参照位置情報が多重され、符号化ストリームとして出力される。なお、出力バッファ１０７内において、参照位置情報を多重するようにしてもよい。
【００２５】
量子化回路１０４で得られた量子化されたＤＣＴ係数は、逆量子化回路１０８、逆ＤＣＴ変換回路１０９および加算回路１１０によって復号化され、参照画像としてフレームメモリ１１１〜１１６に蓄積される。この例では、５枚の参照画像が前参照画像として利用され、１枚の参照画像が後参照画像として利用される。ただし、Ｂピクチャは参照画像として用いられないので、フレームメモリ１１１〜１１６には蓄積されない。つまり、ＩピクチャおよびＰピクチャのみがフレームメモリ１１１〜１１６に蓄積される。
【００２６】
第２の選択回路１１８は、イントラ符号化（フレーム内符号化）とインター符号化（フレーム間符号化）を選択するための回路であり、エンコードコントロール回路１２０によって制御される。
【００２７】
動き予測回路１１９は、例えば、次のような動作を行う。つまり、符号化の対象となるマクロブロックを含むフレームに対して過去５枚のフレームの中から、ブロックマッチング等の動き検出方法によって、対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出する。また、動き予測回路１１９は、検出した誤差の最も小さい予測マクロブロックと対象マクロブロックとの差分（予測誤差）に対する符号量（インター符号化した場合の符号量）と、対象マクロブロックをイントラ符号化した場合の符号量とを比較する。そして、符号量が小さい方の符号化モードを、対象マクロブロックに対する符号化モードとして決定する。
【００２８】
対象マクロブロックに対する符号化モードとしてインター符号化が選択された場合には、検出した誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトル(MV)となる。動き補償回路１１７は、動き予測回路１１９によって検出された誤差の最も小さい予測マクロブロックを含む参照画像を、動き予測回路１１９によって検出された動きベクトル(MV)に基づいて動き補償して、最適な予測マクロブロックを取得し、減算回路１０２および第２の選択回路１１８に送る。
【００２９】
これ以後は、インター符号化が選択された場合について説明する。動き予測回路１１９によって得られる情報、つまり、符号化モード（マクロブロック・タイプ）、参照画像が現フレームに対して何フレーム前の画像であるかという情報（参照画像特定情報）、２枚以前の参照画像が使用される場合には採用された予測マクロブロックの位置情報をエンコードコントロール回路１２０に送る。
【００３０】
エンコードコントロール回路１２０は、対象マクロブロックに対するマクロブロック・タイプおよび参照画像特定情報を含む制御情報等を、多重化回路１０６に送る。多重化回路１０６は、エントロピ符号化回路１０５から送られてきた符号に、エンコードコントロール回路１２０から送られてくる制御情報および動き予測回路１１９から送られてくる動きベクトル(MV)の可変長符号からなる復号用情報を多重する。
【００３１】
１フレーム内の全てのマクロブロックに対する符号化が行われると、エンコードコントロール回路１２０は、後述するように、出力バッファ１０７内に存在するＩピクチャまたはＰピクチャに関して、それより後に符号化されるフレームから２枚前以前の参照画像として採用される可能性がなくなったときに、それまでに２枚前以前の参照画像として採用された際の参照部分を示す参照位置情報を生成する。
【００３２】
出力バッファ１０７の出口では、出力バッファ１０７から出力される１フレーム分の符号化データおよび復号用情報からなるデータの前または後に、当該符号化データに対応する参照位置情報が付加される。出力バッファ１０７には、通常、複数フレーム分の符号化データが蓄積されるが、この実施の形態においては、ＩピクチャまたはＰピクチャのピクチャに関して、合計５フレーム分以上のピクチャが出力バッファ１０７に蓄積されるようにしておく必要がある。
【００３３】
〔２−１〕参照位置情報の生成方法についての説明
【００３４】
時間的および空間的に近い複数のブロックの参照先は、同じ参照画像内の近い部分となることが多く、参照部分が重なる場合が多い。このため、２枚前以前の参照画像における各マクロブロック毎の参照部分を、それぞれ別々に復号化器側の別メモリに保存させると、重複したデータが別メモリに保存されてしまう場合がある。そのような場合には、別メモリの使用効率が悪くなる。
【００３５】
そこで、同じ参照画像内の複数のマクロブロック単位の参照部分間で重なる部分が存在する場合、それらの参照部分を画素位置に関して論理和をとることによって最大公約数的な参照領域を算出し、算出した最大公約数的な参照領域内の画像データを別メモリに保存させるようにすることによって、重複部分の画像データが別メモリに重複して保存されないようにする。
【００３６】
今、符号化器に入力されるＩピクチャまたはＰピクチャの順番を、入力順序の早いものから、フレーム１、フレーム２、フレーム３、フレーム４、フレーム５、フレーム６とすると、フレーム１に対応する復号化画像を２枚前以前の参照画像として用いることができるのは、フレーム３〜フレーム６の画像である。つまり、１枚の参照画像は、２枚前以前の参照画像として、４つのフレームから参照される可能性がある。１枚の参照画像が４つのフレームから２枚前以前の参照画像として用いられた場合には、４つのフレームから参照された部分全体の位置情報の論理和をとる。フレーム１に対する復号化画像に対する参照部分全体の位置情報の論理和は、フレーム６の画像に対する符号化が行われた後に、行われる。
【００３７】
図２は、ある参照画像が、３つのフレーム（ａ，ｂ，ｃフレーム）から２枚前以前の参照画像として参照された場合の例を示している。
【００３８】
図２において、１はａフレームからの参照部分を示している。この例では、２つのマクロブロックがａフレームからの２枚前以前の参照部分として参照参照されている。また、この例では、斜線で示すように、これらの２つのマクロブロックは、一部が重複している。それらの参照部分を画素位置に関して論理和をとると、図２の２に示すようになる。３は、ｂフレームからの参照部分を示している。ｂフレームからの参照部分を画素位置に関して論理和をとると、図２の４に示すようになる。５はｃフレームからの参照部分を示している。ｃフレームからの参照部分を画素位置に関して論理和をとると、図２の６に示すようになる。
【００３９】
さらに、該当参照画像における２枚前以前の参照部分の全てに関して重なりを除去する必要がある。上記のようにして得られた各論理和結果（図２の２、４、６）を重ねると、図２の７に示すようになる。図２の２、４、６で示される各論理和結果を、さらに画素位置に関して論理和をとることにより、図２の８に示すような参照領域が得られる。
【００４０】
ところで、参照部分を画素位置に関して論理和をとることによって得られる参照領域内の画像データを画素毎に順番に別メモリに保存していく場合、どの位置の画素が別メモリのどのアドレスに割り当てられているかという情報がないと、読み出しの際、正しく読み出せない可能性がある。
【００４１】
そこで、参照部分を画素位置に関して論理和をとることによって得られる参照領域を含む最小の矩形領域を想定する。例えば、参照領域が、図３（ａ）に示すような場合には、参照領域を含む最小の矩形領域は図３（ｂ）に太線で示すような領域となる。
【００４２】
そして、その矩形領域を表す位置情報（矩形領域の左上頂点の座標）と、矩形領域の大きさ（垂直方向画素数および水平方向画素数）と、矩形領域内の参照領域の画素単位の位置情報とを生成する。矩形領域内の参照領域の画素単位の位置情報としては、ラン情報を用いることができる。
【００４３】
ラン情報は、例えば、矩形領域内を左から右に水平走査するといった動作を、垂直方向上から下に向かって行うことにより、〔必要部分の連続数（必要部分が最初に無ければ０とする），不必要部分の連続数，必要部分の連続数，……，必要部分の連続数，不必要部分の連続数（最後に無ければ０とする）〕の形式で生成される。
【００４４】
図３（ｂ）の例では、ラン情報は、〔４，２，１７，１，３，３〕となる。図３（ｂ）の例では、矩形領域を表す位置情報は、左上頂点の座標（３，３）と、矩形領域の大きさ（５×６）となる。
【００４５】
矩形領域を表す位置情報とラン情報とが、参照位置情報となる。
【００４６】
〔３〕復号化器の説明
【００４７】
図４は、復号化器の構成を示している。
【００４８】
図４において、２０１は入力バッファ、２０２はエントロピ復号化回路、２０３は逆量子化回路、２０４は逆ＤＣＴ回路（逆直交変換回路）、２０５は加算回路、２０６は動き補償回路、２０７は第１の選択回路である。また、２０８は第２の選択回路、２０９は第１のフレームメモリ、２１０は第２のフレームメモリ、２１１は第３の選択回路、２１２は別メモリ、２１３は第４の選択回路、２２０はデコードコントロール回路、２２１はアドレス計算部である。
【００４９】
符号化されたストリームは入力バッファ２０１に一時的に蓄積された後、エントロピ復号化回路２０２に送られる。エントロピ復号化回路２０２によって、量子化ＤＣＴ係数、復号用情報（符号化モード（マクロブロック・タイプ）、参照画像特定情報、動きベクトル(MV)等）、参照位置情報等が抽出される。復号用情報、参照位置情報は、デコードコントロール回路２２０に送られる。復号用情報中の動きベクトル(MV)等は、動き補償回路２０６にも送られる。
【００５０】
復号された８×８のサブブロック単位の量子化ＤＣＴ係数は、逆量子化回路２０３によってＤＣＴ係数に変換された後、逆ＤＣＴ回路２０４によって逆ＤＣＴが行われる。
【００５１】
逆ＤＣＴ回路２０４によって生成されたマクロブロック単位の予測誤差データには、そのマクロブロック・タイプに応じた参照画像データが加算器２０５によって加算されて、再生画像データが生成される。参照画像データは、第４の選択回路２１３および動き補償回路２０６を介して加算器２０５に送られる。ただし、逆ＤＣＴ回路２０４から出力されたデータがイントラに対する再生画像データである場合には、参照画像データは加算されない。
【００５２】
逆ＤＣＴ回路２０４または加算器２０５によって得られたマクロブロック単位の再生画像データが、Ｂピクチャに対する再生画像データである場合には、その再生画像データは第１の選択回路２０７に送られる。
【００５３】
逆ＤＣＴ回路２０４または加算器２０５によって得られたマクロブロック単位の再生画像データが、ＩピクチャまたはＰピクチャに対する再生画像データである場合には、第２の選択回路２０８を介して第１のフレームメモリ２０９または第２のフレームメモリ２１０に格納されるとともに、その再生画像データの一部が符号化時に２枚前以前の参照画像として用いられている場合には、参照位置情報を基に、２枚前以前の参照画像として用いられている領域が、第２の選択回路２０８および第３の選択回路２１１を介して別メモリ２１２に格納される。
【００５４】
第１のフレームメモリ２０９または第２のフレームメモリ２１０には、現在復号されているフレームの直前、直後の参照画像が格納される。別メモリ２１２には、現在復号されているフレームの２枚前以前の参照画像が格納される。なお、別メモリ２１２上の６枚以上前のデータは、例えば、ＦＩＦＯの要領で消去（オーバーライト）されていく。
【００５５】
逆ＤＣＴ回路２０４から出力されるデータがインター符号化に対する予測誤差データである場合には、第１のフレームメモリ２０９、第２のフレームメモリ２１０または別メモリ２１２から参照領域が読み出され、第４の選択回路２１３および動き補償回路２０６を介して加算器２０５に送られる。
【００５６】
第１の選択回路には、第１のフレームメモリ２０９に格納されたＩピクチャまたはＰピクチャに対する再生画像データ、および第２のフレームメモリ２１０に格納されたＩピクチャまたはＰピクチャに対する再生画像データも送られる。第１の選択回路は、加算器２０５から送られてくるＢピクチャに対する再生画像データ、第１のフレームメモリ２０９に格納されたＩピクチャまたはＰピクチャに対する再生画像データ、第２のフレームメモリ２１０に格納されたＩピクチャまたはＰピクチャに対する再生画像データが、原画像の順序と同じ順番で出力されるように制御される。
【００５７】
なお、別メモリ２１２に必要部分を書き込むタイミングとしては、上述したように、参照画像が復号されてフレームメモリ２０９、２１０に格納されるときに行なってもよいし、フレームメモリ２０９、２１０に格納された参照画像を第１の選択回路２０７に送るためにフレームメモリ２０９、２１０から読み出されるときに行ってもよい。
【００５８】
次に、別メモリ２１２への参照画像の必要部分の書き込み処理について説明する。この処理は、デコードコントロール回路２２０およびアドレス計算部２２１によって行われる。
【００５９】
ここでは、説明の便宜上、参照部分の最小単位がマクロブロック単位であるものとして説明する。
【００６０】
まず、後のフレームの復号時に参照される参照領域を含む最小矩形領域を表す位置情報（矩形領域の左上頂点の座標と矩形領域の大きさ）およびラン情報を、参照位置情報から得る。これにより、矩形領域が元画像（参照画像）のどこに位置するのか、および矩形領域内の必要部分（参照領域）を把握する。
【００６１】
復号化器での復号動作は、フレームの左上のマクロブロックから右に向かって、そして右端にきたら下の列へ移ってマクロブロック単位で行われる。そこで、参照画像が復号される場合には、そのマクロブロックが将来参照されることになる参照領域に含まれているか否かを判別する。復号されたマクロブロックが参照領域に含まれている場合には、その復号されたマクロブロックをフレームメモリ２０９または２１０に格納するとともに、別メモリ２１２に保存する。この際、デコードコントロール回路２２０は、何フレーム前の参照領域の最初の画素が、別メモリ２１２内のどのアドレスから保存されたかを表す情報をデコードコントロール回路２２０内に保存しておく。
【００６２】
次に、別メモリ２１２からの参照画像の読み出し処理について説明する。この処理は、デコードコントロール回路２２０およびアドレス計算部２２１によって行われる。
【００６３】
別メモリ２１２には、２枚前以前の参照画像の参照領域が格納されている。そこで、まず、２枚以上前の参照画像に関する（動き補償用）の動きベクトル(MV)を、参照領域を含む矩形領域に合わせた値へ変換する。つまり、次式（１）に基づいて、動き補償用の動きベクトル（相対ベクトル）（ｐ，ｑ）を、画像左上を基準とした、絶対ベクトル（ｘ，ｙ）に変換する。
【００６４】
（ｘ，ｙ）＝（α，β）＋（ｐ，ｑ） …（１）
【００６５】
上記式（１）において、（α，β）は現在復号しているマクロブロックの座標である。そして、次式（２）で示すように、得られた絶対ベクトル（ｘ，ｙ）から、参照領域を含む最小の矩形領域の左上を基準とした位置ベクトル（ｘ’，ｙ’）に変換する。
【００６６】
（ｘ’，ｙ’）＝（ｘ，ｙ）−（ａ，ｂ） …（２）
【００６７】
上記式（２）において、（ａ，ｂ）は矩形の左上の座標を示している。
【００６８】
そして、別メモリ２１２上の該当アドレス（参照領域の最初の画素を特定するためのアドレス）、換算した動きベクトル、ラン情報（矩形領域内の参照領域を特定するためのラン情報）を用いて、参照領域の読み出しを行う。
【００６９】
上記実施の形態では、別メモリ２１２には、矩形領域内の必要部分（参照領域）のみが格納されているが、矩形領域内の不要部分をも含めて矩形領域全体を格納するようにしてもよい。なお、書き込み時および読み出し時においては、ラン情報を基に必要画素のアドレスが算出される。
【００７０】
また、参照部分の最小単位がマクロブロック単位であるものとして説明したが、参照部分の最小単位がマクロブロック単位以下の単位であっても、この発明を適用することができる。
【００７１】
上記では、ＭＰＥＧ２を基本とした符号化器および復号化器に適用した場合の実施の形態について説明したが、本願発明は符号化方式や符号化器および復号化器の形態にかかわらず適用することが可能である。
【００７２】
【発明の効果】
この発明によれば、復号化器側で、参照画像を保存するためのメモリ容量の低減化が図れるようになる。
【図面の簡単な説明】
【図１】符号化器の構成を示すブロック図である。
【図２】ある参照画像が、３つのフレーム（ａ、ｂ，ｃフレーム）から２枚前以前の参照画像として参照された場合の例を示す模式図である。
【図３】参照部分の位置情報の論理和によって規定される参照領域を含む最小の矩形領域を示す模式図である。
【図４】復号化器の構成を示すブロック図である。
【符号の説明】
１０６ 多重化回路
１０７ 出力バッファ
１１１〜１１６ フレームメモリ
１２０ エンコードコントロール回路
２０９ 第１のフレームメモリ、
２１０ 第２のフレームメモリ、
２１２ 別メモリ
２２０ デコードコントロール回路
２２１ アドレス計算部
【発明の属する技術分野】
この発明は、放送、通信分野で使用される符号化復号化システムに関する。
【０００２】
【従来の技術】
【０００３】
従来では、復号化器において、１枚以上前の参照画像を使用し、復号動作を行うためには、各参照画像の全てを保存しておくことが必要であり、メモリ容量が嵩むという問題がある。
【０００４】
【発明が解決しようとする課題】
この発明は、復号化器側で、参照画像を保存するためのメモリ容量の低減化が図れる符号化復号化システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、１枚前以上の参照画像を使用する符号化器と、符号化器で符号化されたデータを復号化する復号化器とを備えた符号化復号化システムにおいて、符号化器は、何枚前の参照画像を参照したかという情報および動きベクトルを、符号化している画像の符号化データに、復号用情報として多重する第１手段、ならびに復号化の際に参照画像内の２枚以上後のフレームから参照される参照部分に関する大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させる第２手段を備えており、復号化器は、復号用情報を用いて復号した１枚後又は１枚前のフレームから参照される参照画像のみをフレームメモリに格納する第３手段、当該参照画像に対する参照位置情報を用いて当該参照画像内の２枚以上後のフレームから参照される参照部分を別メモリに格納する第４手段、ならびに画像を復号する際に、フレームメモリに格納された参照画像及び別メモリに格納された参照部分を参照する第５手段を備えていることを特徴とする。
【０００６】
請求項２に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を算出し、算出した最大公約数的な参照領域の大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【０００７】
請求項３に記載された発明は、請求項２に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を別メモリに格納するものであることを特徴とする。
【０００８】
請求項４に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を含む最小の矩形領域を算出し、算出した矩形領域の大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【０００９】
請求項５に記載された発明は、請求項４に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を含む最小の矩形領域を別メモリに格納するものであることを特徴とする。
【００１０】
請求項６に記載された発明は、請求項１に記載の符号化復号化システムにおいて、第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を含む最小の矩形領域を算出し、算出した矩形領域の大きさおよび位置を示す情報および矩形領域内の必要部分と不必要部分とを識別するための情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする。
【００１１】
請求項７に記載された発明は、請求項６に記載の符号化復号化システムにおいて、第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を含む最小の矩形領域内の必要部分のみを別メモリに格納するものであることを特徴とする。
【００１２】
請求項８に記載の発明は、請求項６乃至７に記載の符号化復号化システムにおいて、矩形領域内の必要部分と不必要部分とを識別するための情報が、〔必要部分の連続数、不必要部分の連続数、必要部分の連続数、不必要部分の連続数、…〕の形式のラン情報であることを特徴とする。
【００１３】
請求項９に記載の発明は、請求項１乃至８に記載の符号化復号化システムにおいて、第４手段は、フレームメモリへの参照画像の書き込み時またはフレームメモリからの再生画像の読み出し時に、参照部分を別メモリに格納することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照して、 この発明をＭＰＥＧ方式の符号化復号化システムに適用した場合の実施の形態について説明する。
【００１５】
〔１〕本願発明の基本的な考え方についての説明
【００１６】
符号化器では、１フレーム内の各マクロブロック単位に対する参照画像として、複数枚の過去のフレーム内の画像中のマクロブロックを用いることができる。このような場合、復号化器側に参照画像の全てを記憶すればよいが、その分フレームメモリが必要となる。
【００１７】
この発明では、基本的には、２枚前以前の参照画像においては、参照される部分のみを復号化器側の別メモリに保存することにより、復号化器側のメモリ量を低減させるようにする。このためには、従来の符号化器から復号化器に送られる復号用情報に加えて、２枚前以前の参照画像に関して参照される部分のみを別メモリに保存させるための情報（参照位置情報）が必要となる。
【００１８】
なお、画像の前後とは、原画像が符号化のために並び替えが行われた後の画像（フレーム）の並び順を基準とした場合の前後をいう。
【００１９】
〔２〕符号化器の説明
【００２０】
図１は、符号化器の構成を示している。
【００２１】
図１において、１０１は第１の選択回路、１０２は減算回路、１０３はＤＣＴ（Discrete Cosin Transfer)変換回路（直交変換回路）、１０４は量子化回路、１０５はエントロピ符号化回路（可変長符号化回路）、１０６は多重化回路（MUX)、１０７は出力バッファである。また、１０８は逆量子化回路、１０９は逆ＤＣＴ変換回路（逆直交変換回路）、１１０は加算回路、１１１〜１１６はフレームメモリ、１１７は動き補償回路、１１８は第２の選択回路、１１９は動き予測回路である。また、１２０はエンコードコントロール回路である。
【００２２】
符号化器には、原画像が符号化のために並び替えが行われた後の画像データが、１６×１６の大きさのマクロブロック(MB)単位で入力される。第１の選択回路１０１は、入力画像データの画像タイプ（Ｉピクチャ，Ｐピクチャ、Ｂピクチャ）に応じて、入力画像データをＤＣＴ変換回路１０３または減算回路１０２に送るための回路であり、エンコードコントロール回路１２０によって制御される。具体的には、入力画像データの画像タイプがＩピクチャの場合には、入力画像データをＤＣＴ変換回路１０３に送り、入力画像データの画像タイプがＰまたはＢピクチャの場合には、入力画像データを減算回路１０２に送る。減算回路１０２の出力は、ＤＣＴ変換回路１０３に送られる。
【００２３】
ＤＣＴ変換回路１０３に入力された画像データは、８×８の大きさのサブブロック単位で、ＤＣＴが行われる。ＤＣＴ変換回路１０３から出力されるＤＣＴ係数は、量子化回路１０４によって量子化され、量子化されたＤＣＴ係数が得られる。
【００２４】
量子化されたＤＣＴ係数は、ジクザクスキャンまたはオルタネートスキャンされて１次元に並べられ、エントロピ符号化回路１０５によって符号化される。エントロピ符号化回路１０５によって得られた符号は、多重化回路１０６に送られ、エンコードコントロール回路１２０から送られてくる制御情報および動き予測回路１１９から送られてくる動きベクトル(MV)の可変長符号からなる復号用情報が多重された後、出力バッファ１０７に蓄積される。出力バッファ１０７から出力されるデータに、エンコードコントロール回路１２０から送られてくる参照位置情報が多重され、符号化ストリームとして出力される。なお、出力バッファ１０７内において、参照位置情報を多重するようにしてもよい。
【００２５】
量子化回路１０４で得られた量子化されたＤＣＴ係数は、逆量子化回路１０８、逆ＤＣＴ変換回路１０９および加算回路１１０によって復号化され、参照画像としてフレームメモリ１１１〜１１６に蓄積される。この例では、５枚の参照画像が前参照画像として利用され、１枚の参照画像が後参照画像として利用される。ただし、Ｂピクチャは参照画像として用いられないので、フレームメモリ１１１〜１１６には蓄積されない。つまり、ＩピクチャおよびＰピクチャのみがフレームメモリ１１１〜１１６に蓄積される。
【００２６】
第２の選択回路１１８は、イントラ符号化（フレーム内符号化）とインター符号化（フレーム間符号化）を選択するための回路であり、エンコードコントロール回路１２０によって制御される。
【００２７】
動き予測回路１１９は、例えば、次のような動作を行う。つまり、符号化の対象となるマクロブロックを含むフレームに対して過去５枚のフレームの中から、ブロックマッチング等の動き検出方法によって、対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出する。また、動き予測回路１１９は、検出した誤差の最も小さい予測マクロブロックと対象マクロブロックとの差分（予測誤差）に対する符号量（インター符号化した場合の符号量）と、対象マクロブロックをイントラ符号化した場合の符号量とを比較する。そして、符号量が小さい方の符号化モードを、対象マクロブロックに対する符号化モードとして決定する。
【００２８】
対象マクロブロックに対する符号化モードとしてインター符号化が選択された場合には、検出した誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトル(MV)となる。動き補償回路１１７は、動き予測回路１１９によって検出された誤差の最も小さい予測マクロブロックを含む参照画像を、動き予測回路１１９によって検出された動きベクトル(MV)に基づいて動き補償して、最適な予測マクロブロックを取得し、減算回路１０２および第２の選択回路１１８に送る。
【００２９】
これ以後は、インター符号化が選択された場合について説明する。動き予測回路１１９によって得られる情報、つまり、符号化モード（マクロブロック・タイプ）、参照画像が現フレームに対して何フレーム前の画像であるかという情報（参照画像特定情報）、２枚以前の参照画像が使用される場合には採用された予測マクロブロックの位置情報をエンコードコントロール回路１２０に送る。
【００３０】
エンコードコントロール回路１２０は、対象マクロブロックに対するマクロブロック・タイプおよび参照画像特定情報を含む制御情報等を、多重化回路１０６に送る。多重化回路１０６は、エントロピ符号化回路１０５から送られてきた符号に、エンコードコントロール回路１２０から送られてくる制御情報および動き予測回路１１９から送られてくる動きベクトル(MV)の可変長符号からなる復号用情報を多重する。
【００３１】
１フレーム内の全てのマクロブロックに対する符号化が行われると、エンコードコントロール回路１２０は、後述するように、出力バッファ１０７内に存在するＩピクチャまたはＰピクチャに関して、それより後に符号化されるフレームから２枚前以前の参照画像として採用される可能性がなくなったときに、それまでに２枚前以前の参照画像として採用された際の参照部分を示す参照位置情報を生成する。
【００３２】
出力バッファ１０７の出口では、出力バッファ１０７から出力される１フレーム分の符号化データおよび復号用情報からなるデータの前または後に、当該符号化データに対応する参照位置情報が付加される。出力バッファ１０７には、通常、複数フレーム分の符号化データが蓄積されるが、この実施の形態においては、ＩピクチャまたはＰピクチャのピクチャに関して、合計５フレーム分以上のピクチャが出力バッファ１０７に蓄積されるようにしておく必要がある。
【００３３】
〔２−１〕参照位置情報の生成方法についての説明
【００３４】
時間的および空間的に近い複数のブロックの参照先は、同じ参照画像内の近い部分となることが多く、参照部分が重なる場合が多い。このため、２枚前以前の参照画像における各マクロブロック毎の参照部分を、それぞれ別々に復号化器側の別メモリに保存させると、重複したデータが別メモリに保存されてしまう場合がある。そのような場合には、別メモリの使用効率が悪くなる。
【００３５】
そこで、同じ参照画像内の複数のマクロブロック単位の参照部分間で重なる部分が存在する場合、それらの参照部分を画素位置に関して論理和をとることによって最大公約数的な参照領域を算出し、算出した最大公約数的な参照領域内の画像データを別メモリに保存させるようにすることによって、重複部分の画像データが別メモリに重複して保存されないようにする。
【００３６】
今、符号化器に入力されるＩピクチャまたはＰピクチャの順番を、入力順序の早いものから、フレーム１、フレーム２、フレーム３、フレーム４、フレーム５、フレーム６とすると、フレーム１に対応する復号化画像を２枚前以前の参照画像として用いることができるのは、フレーム３〜フレーム６の画像である。つまり、１枚の参照画像は、２枚前以前の参照画像として、４つのフレームから参照される可能性がある。１枚の参照画像が４つのフレームから２枚前以前の参照画像として用いられた場合には、４つのフレームから参照された部分全体の位置情報の論理和をとる。フレーム１に対する復号化画像に対する参照部分全体の位置情報の論理和は、フレーム６の画像に対する符号化が行われた後に、行われる。
【００３７】
図２は、ある参照画像が、３つのフレーム（ａ，ｂ，ｃフレーム）から２枚前以前の参照画像として参照された場合の例を示している。
【００３８】
図２において、１はａフレームからの参照部分を示している。この例では、２つのマクロブロックがａフレームからの２枚前以前の参照部分として参照参照されている。また、この例では、斜線で示すように、これらの２つのマクロブロックは、一部が重複している。それらの参照部分を画素位置に関して論理和をとると、図２の２に示すようになる。３は、ｂフレームからの参照部分を示している。ｂフレームからの参照部分を画素位置に関して論理和をとると、図２の４に示すようになる。５はｃフレームからの参照部分を示している。ｃフレームからの参照部分を画素位置に関して論理和をとると、図２の６に示すようになる。
【００３９】
さらに、該当参照画像における２枚前以前の参照部分の全てに関して重なりを除去する必要がある。上記のようにして得られた各論理和結果（図２の２、４、６）を重ねると、図２の７に示すようになる。図２の２、４、６で示される各論理和結果を、さらに画素位置に関して論理和をとることにより、図２の８に示すような参照領域が得られる。
【００４０】
ところで、参照部分を画素位置に関して論理和をとることによって得られる参照領域内の画像データを画素毎に順番に別メモリに保存していく場合、どの位置の画素が別メモリのどのアドレスに割り当てられているかという情報がないと、読み出しの際、正しく読み出せない可能性がある。
【００４１】
そこで、参照部分を画素位置に関して論理和をとることによって得られる参照領域を含む最小の矩形領域を想定する。例えば、参照領域が、図３（ａ）に示すような場合には、参照領域を含む最小の矩形領域は図３（ｂ）に太線で示すような領域となる。
【００４２】
そして、その矩形領域を表す位置情報（矩形領域の左上頂点の座標）と、矩形領域の大きさ（垂直方向画素数および水平方向画素数）と、矩形領域内の参照領域の画素単位の位置情報とを生成する。矩形領域内の参照領域の画素単位の位置情報としては、ラン情報を用いることができる。
【００４３】
ラン情報は、例えば、矩形領域内を左から右に水平走査するといった動作を、垂直方向上から下に向かって行うことにより、〔必要部分の連続数（必要部分が最初に無ければ０とする），不必要部分の連続数，必要部分の連続数，……，必要部分の連続数，不必要部分の連続数（最後に無ければ０とする）〕の形式で生成される。
【００４４】
図３（ｂ）の例では、ラン情報は、〔４，２，１７，１，３，３〕となる。図３（ｂ）の例では、矩形領域を表す位置情報は、左上頂点の座標（３，３）と、矩形領域の大きさ（５×６）となる。
【００４５】
矩形領域を表す位置情報とラン情報とが、参照位置情報となる。
【００４６】
〔３〕復号化器の説明
【００４７】
図４は、復号化器の構成を示している。
【００４８】
図４において、２０１は入力バッファ、２０２はエントロピ復号化回路、２０３は逆量子化回路、２０４は逆ＤＣＴ回路（逆直交変換回路）、２０５は加算回路、２０６は動き補償回路、２０７は第１の選択回路である。また、２０８は第２の選択回路、２０９は第１のフレームメモリ、２１０は第２のフレームメモリ、２１１は第３の選択回路、２１２は別メモリ、２１３は第４の選択回路、２２０はデコードコントロール回路、２２１はアドレス計算部である。
【００４９】
符号化されたストリームは入力バッファ２０１に一時的に蓄積された後、エントロピ復号化回路２０２に送られる。エントロピ復号化回路２０２によって、量子化ＤＣＴ係数、復号用情報（符号化モード（マクロブロック・タイプ）、参照画像特定情報、動きベクトル(MV)等）、参照位置情報等が抽出される。復号用情報、参照位置情報は、デコードコントロール回路２２０に送られる。復号用情報中の動きベクトル(MV)等は、動き補償回路２０６にも送られる。
【００５０】
復号された８×８のサブブロック単位の量子化ＤＣＴ係数は、逆量子化回路２０３によってＤＣＴ係数に変換された後、逆ＤＣＴ回路２０４によって逆ＤＣＴが行われる。
【００５１】
逆ＤＣＴ回路２０４によって生成されたマクロブロック単位の予測誤差データには、そのマクロブロック・タイプに応じた参照画像データが加算器２０５によって加算されて、再生画像データが生成される。参照画像データは、第４の選択回路２１３および動き補償回路２０６を介して加算器２０５に送られる。ただし、逆ＤＣＴ回路２０４から出力されたデータがイントラに対する再生画像データである場合には、参照画像データは加算されない。
【００５２】
逆ＤＣＴ回路２０４または加算器２０５によって得られたマクロブロック単位の再生画像データが、Ｂピクチャに対する再生画像データである場合には、その再生画像データは第１の選択回路２０７に送られる。
【００５３】
逆ＤＣＴ回路２０４または加算器２０５によって得られたマクロブロック単位の再生画像データが、ＩピクチャまたはＰピクチャに対する再生画像データである場合には、第２の選択回路２０８を介して第１のフレームメモリ２０９または第２のフレームメモリ２１０に格納されるとともに、その再生画像データの一部が符号化時に２枚前以前の参照画像として用いられている場合には、参照位置情報を基に、２枚前以前の参照画像として用いられている領域が、第２の選択回路２０８および第３の選択回路２１１を介して別メモリ２１２に格納される。
【００５４】
第１のフレームメモリ２０９または第２のフレームメモリ２１０には、現在復号されているフレームの直前、直後の参照画像が格納される。別メモリ２１２には、現在復号されているフレームの２枚前以前の参照画像が格納される。なお、別メモリ２１２上の６枚以上前のデータは、例えば、ＦＩＦＯの要領で消去（オーバーライト）されていく。
【００５５】
逆ＤＣＴ回路２０４から出力されるデータがインター符号化に対する予測誤差データである場合には、第１のフレームメモリ２０９、第２のフレームメモリ２１０または別メモリ２１２から参照領域が読み出され、第４の選択回路２１３および動き補償回路２０６を介して加算器２０５に送られる。
【００５６】
第１の選択回路には、第１のフレームメモリ２０９に格納されたＩピクチャまたはＰピクチャに対する再生画像データ、および第２のフレームメモリ２１０に格納されたＩピクチャまたはＰピクチャに対する再生画像データも送られる。第１の選択回路は、加算器２０５から送られてくるＢピクチャに対する再生画像データ、第１のフレームメモリ２０９に格納されたＩピクチャまたはＰピクチャに対する再生画像データ、第２のフレームメモリ２１０に格納されたＩピクチャまたはＰピクチャに対する再生画像データが、原画像の順序と同じ順番で出力されるように制御される。
【００５７】
なお、別メモリ２１２に必要部分を書き込むタイミングとしては、上述したように、参照画像が復号されてフレームメモリ２０９、２１０に格納されるときに行なってもよいし、フレームメモリ２０９、２１０に格納された参照画像を第１の選択回路２０７に送るためにフレームメモリ２０９、２１０から読み出されるときに行ってもよい。
【００５８】
次に、別メモリ２１２への参照画像の必要部分の書き込み処理について説明する。この処理は、デコードコントロール回路２２０およびアドレス計算部２２１によって行われる。
【００５９】
ここでは、説明の便宜上、参照部分の最小単位がマクロブロック単位であるものとして説明する。
【００６０】
まず、後のフレームの復号時に参照される参照領域を含む最小矩形領域を表す位置情報（矩形領域の左上頂点の座標と矩形領域の大きさ）およびラン情報を、参照位置情報から得る。これにより、矩形領域が元画像（参照画像）のどこに位置するのか、および矩形領域内の必要部分（参照領域）を把握する。
【００６１】
復号化器での復号動作は、フレームの左上のマクロブロックから右に向かって、そして右端にきたら下の列へ移ってマクロブロック単位で行われる。そこで、参照画像が復号される場合には、そのマクロブロックが将来参照されることになる参照領域に含まれているか否かを判別する。復号されたマクロブロックが参照領域に含まれている場合には、その復号されたマクロブロックをフレームメモリ２０９または２１０に格納するとともに、別メモリ２１２に保存する。この際、デコードコントロール回路２２０は、何フレーム前の参照領域の最初の画素が、別メモリ２１２内のどのアドレスから保存されたかを表す情報をデコードコントロール回路２２０内に保存しておく。
【００６２】
次に、別メモリ２１２からの参照画像の読み出し処理について説明する。この処理は、デコードコントロール回路２２０およびアドレス計算部２２１によって行われる。
【００６３】
別メモリ２１２には、２枚前以前の参照画像の参照領域が格納されている。そこで、まず、２枚以上前の参照画像に関する（動き補償用）の動きベクトル(MV)を、参照領域を含む矩形領域に合わせた値へ変換する。つまり、次式（１）に基づいて、動き補償用の動きベクトル（相対ベクトル）（ｐ，ｑ）を、画像左上を基準とした、絶対ベクトル（ｘ，ｙ）に変換する。
【００６４】
（ｘ，ｙ）＝（α，β）＋（ｐ，ｑ） …（１）
【００６５】
上記式（１）において、（α，β）は現在復号しているマクロブロックの座標である。そして、次式（２）で示すように、得られた絶対ベクトル（ｘ，ｙ）から、参照領域を含む最小の矩形領域の左上を基準とした位置ベクトル（ｘ’，ｙ’）に変換する。
【００６６】
（ｘ’，ｙ’）＝（ｘ，ｙ）−（ａ，ｂ） …（２）
【００６７】
上記式（２）において、（ａ，ｂ）は矩形の左上の座標を示している。
【００６８】
そして、別メモリ２１２上の該当アドレス（参照領域の最初の画素を特定するためのアドレス）、換算した動きベクトル、ラン情報（矩形領域内の参照領域を特定するためのラン情報）を用いて、参照領域の読み出しを行う。
【００６９】
上記実施の形態では、別メモリ２１２には、矩形領域内の必要部分（参照領域）のみが格納されているが、矩形領域内の不要部分をも含めて矩形領域全体を格納するようにしてもよい。なお、書き込み時および読み出し時においては、ラン情報を基に必要画素のアドレスが算出される。
【００７０】
また、参照部分の最小単位がマクロブロック単位であるものとして説明したが、参照部分の最小単位がマクロブロック単位以下の単位であっても、この発明を適用することができる。
【００７１】
上記では、ＭＰＥＧ２を基本とした符号化器および復号化器に適用した場合の実施の形態について説明したが、本願発明は符号化方式や符号化器および復号化器の形態にかかわらず適用することが可能である。
【００７２】
【発明の効果】
この発明によれば、復号化器側で、参照画像を保存するためのメモリ容量の低減化が図れるようになる。
【図面の簡単な説明】
【図１】符号化器の構成を示すブロック図である。
【図２】ある参照画像が、３つのフレーム（ａ、ｂ，ｃフレーム）から２枚前以前の参照画像として参照された場合の例を示す模式図である。
【図３】参照部分の位置情報の論理和によって規定される参照領域を含む最小の矩形領域を示す模式図である。
【図４】復号化器の構成を示すブロック図である。
【符号の説明】
１０６ 多重化回路
１０７ 出力バッファ
１１１〜１１６ フレームメモリ
１２０ エンコードコントロール回路
２０９ 第１のフレームメモリ、
２１０ 第２のフレームメモリ、
２１２ 別メモリ
２２０ デコードコントロール回路
２２１ アドレス計算部
Claims (11)
- １枚前以上の参照画像を使用する符号化器と、符号化器で符号化されたデータを復号化する復号化器とを備えた符号化復号化システムにおいて、
符号化器は、
何枚前の参照画像を参照したかという情報および動きベクトルを、符号化している画像の符号化データに、復号用情報として多重する第１手段、
ならびに復号化の際に参照画像内の２枚以上後のフレームから参照される参照部分に関する大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させる第２手段を備えており、
復号化器は、
復号用情報を用いて復号した１枚後又は１枚前のフレームから参照される参照画像をフレームメモリに格納する第３手段、
当該参照画像に対する参照位置情報を用いて当該参照画像内の２枚以上後のフレームから参照される参照部分を別メモリに格納する第４手段、
ならびに、画像を復号する際に、フレームメモリに格納された参照画像及び別メモリに格納された参照部分を参照する第５手段を備えていることを特徴とする符号化復号化システム。 - 第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を算出し、算出した最大公約数的な参照領域の大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする請求項１に記載の符号化復号化システム。
- 第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を別メモリに格納するものであることを特徴とする請求項２に記載の符号化復号化システム。
- 第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を含む最小の矩形領域を算出し、算出した矩形領域の大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする請求項１に記載の符号化復号化システム。
- 第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を含む最小の矩形領域を別メモリに格納するものであることを特徴とする請求項４に記載の符号化復号化システム。
- 第２手段は、複数の参照部分に重なる部分が存在する場合には、それらの参照部分を画素位置に関して論理和をとることによって、最大公約数的な参照領域を含む最小の矩形領域を算出し、算出した矩形領域の大きさおよび位置を示す情報および矩形領域内の必要部分と不必要部分とを識別するための情報を参照位置情報として、符号化ストリーム中に多重させるものであることを特徴とする請求項１に記載の符号化復号化システム。
- 第４手段は、参照画像に対する参照位置情報を用いて当該参照画像内の最大公約数的な参照領域を含む最小の矩形領域内の必要部分のみを別メモリに格納するものであることを特徴とする請求項６に記載の符号化復号化システム。
- 矩形領域内の必要部分と不必要部分とを識別するための情報が、〔必要部分の連続数、不必要部分の連続数、必要部分の連続数、不必要部分の連続数、…〕の形式のラン情報であることを特徴とする請求項６乃至７に記載の符号化復号化システム。
- 第４手段は、フレームメモリへの参照画像の書き込み時またはフレームメモリからの再生画像の読み出し時に、参照部分を別メモリに格納することを特徴とする請求項１乃至８に記載の符号化復号化システム。
- 何枚前の参照画像を参照したかという情報および動きベクトルを、符号化している画像の符号化データに、復号用情報として多重する第１手段、
ならびに参照画像内の２枚以上後のフレームから参照される参照部分に関する大きさおよび位置を示す情報を参照位置情報として、符号化ストリーム中に多重させる第２手段を備えていることを特徴とする符号化器。 - 何枚前の参照画像を参照したかという情報および動きベクトルが復号用情報として多重され、参照画像内の２枚以上後のフレームから参照される参照部分に関する大きさおよび位置を示す情報が参照位置情報として多重された符号化データを復号化する復号化器であって、
復号用情報を用いて復号した１枚後又は１枚前のフレームから参照される参照画像をフレームメモリに格納する手段、
当該参照画像に対する参照位置情報を用いて当該参照画像内の参照部分を別メモリに格納する手段、
ならびに画像を復号する際に、フレームメモリに格納された参照画像及び別メモリに格納された参照部分を参照する手段を備えていることを特徴とする復号化器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003088217A JP4118180B2 (ja) | 2003-03-27 | 2003-03-27 | 符号化復号化システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003088217A JP4118180B2 (ja) | 2003-03-27 | 2003-03-27 | 符号化復号化システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004297528A JP2004297528A (ja) | 2004-10-21 |
| JP4118180B2 true JP4118180B2 (ja) | 2008-07-16 |
Family
ID=33402408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003088217A Expired - Fee Related JP4118180B2 (ja) | 2003-03-27 | 2003-03-27 | 符号化復号化システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4118180B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5346584B2 (ja) | 2006-09-26 | 2013-11-20 | パナソニック株式会社 | 復号装置、復号方法、復号プログラム及び集積回路 |
-
2003
- 2003-03-27 JP JP2003088217A patent/JP4118180B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004297528A (ja) | 2004-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11109050B2 (en) | Video encoding and decoding | |
| KR101227667B1 (ko) | 오버랩 평활화 및 인-루프 디블록킹의 구분적 프로세싱 | |
| JP4752631B2 (ja) | 画像符号化装置、及び画像符号化方法 | |
| EP1879388B1 (en) | Video information recording device, video information recording method, video information recording program, and recording medium containing the video information recording program | |
| RU2004119839A (ru) | Компенсация глобального движения для видеоизображений | |
| JPH0537915A (ja) | 画像信号符号化方法と画像信号符号化装置 | |
| JP2004056823A (ja) | 動きベクトル符号化／復号化方法及びその装置 | |
| CN101563927A (zh) | 用于对视频图像的块进行解码的方法 | |
| WO1993013626A1 (en) | Image data coding method, image data decoding method, image data coding device, image data decoding device, and image recording medium | |
| JPH07143494A (ja) | 動画像符号化方法 | |
| US7248633B2 (en) | Image decoding device and image decoding method | |
| JP4118180B2 (ja) | 符号化復号化システム | |
| JP4708821B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体 | |
| JPH10145237A (ja) | 圧縮データ復号装置 | |
| JP2947103B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2000032468A (ja) | 画像符号化方法および動き補償モード選択プログラムを記録した記録媒体 | |
| JP2000261809A (ja) | 画像特徴に応じた画像符号化装置 | |
| JP2010035025A (ja) | 符号化装置およびその方法 | |
| JP4519723B2 (ja) | 動きベクトルを利用する動画像データの符号化または復号化装置 | |
| JP2008042701A (ja) | 画像データ処理方法および処理装置 | |
| JPH05308628A (ja) | 動画像符号化装置 | |
| JP3671286B2 (ja) | 画像処理方法，画像処理装置，及びデータ記憶媒体 | |
| JP3976975B2 (ja) | 画像処理装置及びその方法と記憶媒体 | |
| JPH1023415A (ja) | 画像符号化復号方法および装置 | |
| JP3129279B2 (ja) | 符号化装置および符号化方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070613 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070809 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070810 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070810 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070809 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080422 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |