JP4616057B2

JP4616057B2 - 画像符号化装置及び画像符号化方法

Info

Publication number: JP4616057B2
Application number: JP2005116048A
Authority: JP
Inventors: 洋人河内
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2005-04-13
Filing date: 2005-04-13
Publication date: 2011-01-19
Anticipated expiration: 2025-04-13
Also published as: JP2006295721A

Description

本発明は画面内予測符号化が用いられる高効率画像圧縮符号化を行う画像符号化装置及び画像符号化方法に関する。

従来、動画像の圧縮符号化方式としてＭＰＥＧ２（Moving Picture Experts Group phase2）方式に代表される画面間予測符号化を用いた方式が多く利用されている。

近年、ＨＤＴＶ（High Definition TeleVision）など従来よりも高精細で情報量の多い画像フォーマットによる放送や、媒体への記録が行われるようになってきた。例えばＨＤＴＶフォーマットの１つである１０８０ｉは有効表示領域が１９２０画素×１０８０ラインであり、従来のアナログテレビ放送の７２０画素×４８０ラインと比較しても遥かに情報量が増加している。

上記１０８０ｉなどの情報量の多いＨＤＴＶフォーマットの画像をＭＰＥＧ２方式により圧縮符号化する場合には、単体の符号化装置では処理しきれないことがあり、特許文献１のように入力画像を分割して、それぞれの分割領域ごとに符号化装置を用意し処理を行うことがあった。
特開平７−２７４１８０号公報

このような情報量の多い画像を、さらに高効率圧縮符号化する方式として画面間予測符号化に加えて画面内予測符号化を用いた方式が用いられることがある。例えば、ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication sector）規格のＨ．２６４がある。

画面内予測符号化とは、同一画面内で、符号化済みの情報との相関をとることにより符号化する方法であり、従来のＭＰＥＧ２方式では採り入れられていなかったが、これを採用することでＭＰＥＧ２方式よりも高効率に圧縮符号化が行える。ただし、演算量が増加するためＨＤＴＶなどでは、単体の符号化器の能力では符号化できないことがあり、画像を分割して複数の符号化器に符号化を行わせることがある。

画面内予測符号化を分割した画像に対して行うと、分割した画像間の境界を符号化する際に、分割画像間で符号化済み画像を予測画像として参照する必要になることがある。例えば、図１のように横に３分割して符号化する場合、各分割領域Ａ，Ｂ，Ｃそれぞれの左上端より右方向に向かって、１６×１６画素のマクロブロック単位や４×４画素単位など複数×複数画素単位で画面内予測符号化処理は行われることが多い。

特許文献１記載の方法では、３つの符号化器がそれぞれ担当する分割領域Ａ，Ｂ，Ｃにおいて、図２のように同一の画面をほぼ同一の時刻に符号化する。ここで、図２のＰ１〜Ｐ４は、符号化する画面の順序を表し、Ｐ１が１枚目、Ｐ２が２枚目、Ｐ３が３枚目、Ｐ４が４枚目を表す。画面内予測符号化は同一の画面内の符号化済みの画素を使用して予測するため、領域Ｂの上端を符号化しようとした時に、まだ符号化が終了していない領域Ａの下端の画素を予測画素として使用する可能性がある。しかし、当該画素は符号化が終了していないため予測画素として使用できない。このため、図１のような分割のとき、特許文献１記載の方法で画面内予測符号化しようとすると、画像に応じて適切な予測を行った画面内予測符号化ができない可能性があり、分割境界で圧縮率や画質の低下が起ることがあった。

そこで本発明では、例えば入力画像を分割して画面内予測符号化する符号化装置において、分割境界での圧縮率や画質の低下を軽減できるような画像符号化装置及び画像符号化方法を提供することを課題とする。

上記課題を解決するために、請求項１に記載の発明は、入力画像を複数に分割する分割手段と、分割した画像のそれぞれに対応して設けられ、かつ前記分割手段から入力した分割画像を符号化するとともに、局部復号情報を記憶する記憶手段を備えた複数の符号化器と、を備えた画像符号化装置において、複数の符号化器のうち少なくとも一つの符号化器が画面内予測符号化を行い、前記少なくとも一つの符号化器の符号化の開始を他の一つの符号化器の前記記憶手段に記憶された前記局部復号情報を参照して画面内予測符号化することを可能とする時間だけ前記他の一つの符号化器よりも後にずらす遅延手段と、各前記記憶手段同士を接続して前記他の一つの符号化器の前記記憶手段に記憶された局部復号情報を前記少なくとも一つの符号化器の前記記憶手段へ出力して参照可能とする接続手段と、を備えたことを特徴としている。

請求項４に記載の発明は、入力画像を複数に分割して複数の符号化器にそれぞれ入力して、この分割画像を前記符号化器内の局部復号情報を用いて符号化する画像符号化方法において、前記複数の符号化器のうち画面内予測符号化を行う少なくとも一つの符号化器が他の一つの符号化器の前記局部復号情報を参照可能とし、前記分割画像のうち前記少なくとも一つの符号化器による分割画像の画面内予測符号化の開始を他の一つの符号化器による分割画像の前記局部復号情報を参照して画面内予測符号化することを可能とする時間分後にずらすことを特徴としている。

以下、本発明の一実施形態を説明する。本発明の一実施形態にかかる画像符号化装置は、入力画像を複数に分割する分割手段と、分割した画像のそれぞれに対応して設けられ、かつ前記分割手段から入力した分割画像を符号化するとともに、局部復号情報を記憶する記憶手段を備えた複数の符号化器と、を備えた画像符号化装置において、複数の符号化器のうち少なくとも一つの符号化器が画面内予測符号化を行い、少なくとも一つの符号化器の符号化の開始を他の一つの符号化器の記憶手段に記憶された局部復号情報を参照して画面内予測符号化することを可能とする時間だけ他の一つの符号化器よりも後にずらす遅延手段と、各前記記憶手段同士を接続して他の一つの符号化器の記憶手段に記憶された局部復号情報を少なくとも一つの符号化器の記憶手段へ出力して参照可能とする接続手段と、を備える。このように、入力画像を複数に分割した際に、複数の符号化器のうち少なくとも１つが画面内予測符号化するために、各符号化器の開始を少なくとも一つの符号化器の符号化の開始を他の一つの符号化器の記憶手段に記憶された局部復号情報を参照して画面内予測符号化することを可能とする時間だけ他の一つの符号化器よりも後にずらす遅延手段を設け、さらに各符号化器内の記憶手段同士を接続することで、分割の境界でも局部復号化情報を、接続手段により各符号化器内の記憶手段を共有できるため、画面内予測符号化をより効率的に使用することができ、従来よりも圧縮率や画質を向上させることができる。

また、前記少なくとも一つの符号化器と前記他の一つの符号化器との符号化の開始の時間差は、前記少なくとも一つの符号化器と前記他の一つの符号化器との分割画像の符号化にかかる所要時間のうち長い方の所要時間としてもよい。

また、前記符号化器から画面内予測符号化された情報が入力され、同一の画像の分割画像からなる画面内予測符号化された情報が、同時期に出力するように出力時期を調整する出力調整手段を備えてもよい。

また、本発明の一実施形態にかかる画像符号化方法は、複数の符号化器にそれぞれ入力して、この分割画像を符号化器内の局部復号情報を用いて符号化する画像符号化方法において、複数の符号化器のうち画面内予測符号化を行う少なくとも一つの符号化器が他の一つの符号化器の局部復号情報を参照可能として、分割画像のうち少なくとも一つの符号化器による分割画像の画面内予測符号化の開始を、他の一つの符号化器による分割画像の局部復号情報を参照して画面内予測符号化することを可能とする時間分後にずらしている。このように、入力画像を複数に分割した際に、複数の符号化器のうち少なくとも１つが画面内予測符号化するために、各符号化器の開始を少なくとも一つの符号化器の符号化の開始を他の一つの符号化器の局部復号情報を参照して画面内予測符号化することを可能とする時間だけ他の一つの符号化器よりも後にずらすことで、分割の境界でも局部復号化情報を、各符号化器内の局部復号情報を共有できるため、画面内予測符号化をより効率的に使用することができ、従来よりも圧縮率や画質を向上させることができる。

また、前記少なくとも一つの分割画像の画面内予測符号化と前記他の一つの分割画像の符号化との開始の時間差は、前記少なくとも一つの分割画像と前記他の一つの分割画像の符号化にかかる時間のうち長い方の時間であってもよい。

本発明の一実施例にかかる画像符号化装置１は、図３に示すように、入力端子１０と、分割手段としての画像分割器２０と、遅延手段としての入力バッファ３０〜３２と、符号化器４０〜４２と、出力調整手段としての出力バッファ８０〜８２と、合成手段としての符号化信号合成器９０と、出力端子１００とを備えている。

画像分割器２０は、入力端子１０から入力された画像を図４のように横に３分割して、分割した画像（以下分割画像と記す）を入力バッファ３０〜３２へそれぞれ出力している。

入力バッファ３０〜３２はランダムアクセスが可能なメモリであり、入力バッファ３０は図４のＡ領域を１画面分、入力バッファ３１は図２のＢ領域を２画面分、入力バッファ３２は図４のＣ領域を３画面分の画像をそれぞれ記憶しておくことができる。このように各入力バッファの記憶容量に差を持たせることにより、入力バッファ３１は入力バッファ３０よりも１画面分、入力バッファ３２は入力バッファ３１よりも１画面分ずらしてそれぞれが接続されている符号化器より読み出されて画面内予測符号化ができる。こうして、入力バッファ３０〜３２は少なくとも二つの符号化器の分割画像の画面内予測符号化の開始をずらしている。また、符号化器４０〜４２が読み出す際は、１６×１６画素のマクロブロック単位で読み出す。

符号化器４０は画面内予測部５０と、減算器５１と、動き補償部５２と、動きベクトル検出部５３と、画面内／画面間予測モード切替え部５４と、符号化部５６と、局部復号部５７と、局部復号情報を記憶する記憶手段としてのフレームメモリ５８と、エントロピー符号化部５９とからなる。

画面内予測部５０は、入力バッファ３０から読み出した現画面のマクロブロックを４×４画素の領域に分割して、Ｈ．２６４における画面内予測符号化方法の９種類のモードからその領域に合った適切なモードを選択し符号化する方法で画面内予測符号化し、予測画素と現画素との予測誤差（差分値）を出力する。

ここで、Ｈ．２６４における画面内予測符号化方法を説明する。Ｈ．２６４では画面内予測符号化方法として１６×１６画素のマクロブロックを１６個の４×４画素の領域に分割して行う方法と、１６×１６画素のマクロブロックに対して行う方法の２通りが規定されているが、本実施例で行う４×４画素の領域に対して画面内予測符号化する方法を説明する。Ｈ．２６４では、４×４画素の領域に対して図５に示すように９種類のモードが規定されており、各領域毎にこれらの中から適切なモードを選択し符号化することができる。例えば図５（ａ）のＭｏｄｅ０は、画面内予測符号化対象画素ｙより先に符号化後復号化された画素ｘと、画面内予測符号化対象画素ｙを矢印ｑに沿ってそれぞれの差をとり、それら差分値を符号化する。復号化する際は、差分値に画素ｘの値を加算することにより復号化できる。このように、Ｍｏｄｅ０では、予測画素として符号化領域の上段の同じ列の画素を使用して符号化する。図５（ｂ）のＭｏｄｅ１および図５（ｄ）のＭｏｄｅ３〜（ｉ）のＭｏｄｅ８は矢印の向きが異なる以外はＭｏｄｅ０と同様に行う。図５（ｃ）のＭｏｄｅ２は画素ｘの平均値と画素ｙとの差分値を符号化する。

画面内／画面間予測モード切替え部５４は、画面内予測を行う画面の場合は画面内予測部５０の出力を符号化部５６へ出力し、画面間予測を行う画面の場合は減算器５１の出力を符号化部５６へ出力するように符号化制御部５５が制御する。

符号化部５６は、画面内／画面間予測モード切替え部５４の出力を例えば直交変換符号化する。直交変換符号化された符号化データは量子化し符号量を低減して、エントロピー符号化部５９および局部復号部５７へ出力する。直交変換符号化は、Ｈ．２６４では、ＭＰＥＧ２等で行われていた８×８画素単位の離散コサイン変換（ＤＣＴ）に代わり、４×４画素単位の整数変換（Integer Transform）が行われる。本実施例においても整数変換を行う。量子化する際の量子化ステップは、符号化制御部５５により符号量に応じて変更される。

エントロピー符号化部５９は、符号化部５６および動きベクトル検出部５３より入力された符号化データおよび動きベクトルをエントロピー符号化する。Ｈ．２６４では、指数ゴロム符号およびＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）やＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）という符号を使用する。本実施例においても、指数ゴロム符号およびＣＡＶＬＣやＣＡＢＡＣを使用してエントロピー符号化する。エントロピー符号化により符号量を更に低減された符号化データは、符号化制御部５５により所定の符号化レートに制御され、符号化器４０の出力として出力バッファ８０に出力される。

局部復号部５７は、符号化部５６の出力を、逆量子化および直交変換復号化し、復号してフレームメモリ５８へ出力する。直交変換復号化としては、Ｈ．２６４では逆整数変換が行われ、本実施例においても逆整数変換を行う。この逆整数変換後の出力は予測誤差である。画面内予測の場合は予測画素との差分値であるので、予測画素と差分値を加算し画素値を復号してフレームメモリ５８に出力する。画面間予測の場合は動き補償された前画面との差分値であるので、動き補償部５２で動き補償されたデータと差分値を加算し、次の画面で使用する前画面の画像データとして復号しフレームメモリ５８に出力する。

フレームメモリ５８は、局部復号部５７で復号された復号化データを格納する。また、画面内予測か画面間予測かのモードにより、画面内予測部５０か、動きベクトル検出部５３および動き補償部５２へ復号化データを出力する。また、符号化器４１または４２より復号化データの要求があった場合は、信号線６０を介して符号化器４１または４２へ復号化データを出力する。画面内予測部５０または動きベクトル検出部５３において符号化器４１または４２内のフレームメモリ５８の復号化データが必要になった場合は、符号化器４１または符号化器４２内のフレームメモリ５８へ復号化データの要求を行い、信号線６０を介して入力される復号化データを画面内予測部５０または動きベクトル検出部５３へ出力する。

動きベクトル検出部５３は、入力画像である現画面とフレームメモリ５８から読み出した前画面より、１６×１６画素のマクロブロック毎に動きベクトルを求め動き補償部５２およびエントロピー符号化部５９へ出力する。動きベクトルは、例えば、全探索型動きベクトル検出による探索領域と符号化するマクロブロックとのマッチング計算により求める。

動き補償部５２は、動きベクトル検出部５３で求めた動きベクトルに基づいて、フレームメモリ５８から出力された前画面を動き補償し減算器５１へ出力する。

減算器５１は、動き補償部５２で動き補償された前画面と、入力画像である現画面とを減算し予測誤差（差分値）を出力する。

符号化制御部５５は、符号化器４０内の他の機能部への制御（画面内予測モードか画面間予測モードかの切替えや、発生符号量に基づく符号化レートの調整等）を行う。

符号化器４１および４２の構成および内部にある各機能部は、符号化器４０および符号化器４０内の各機能部と同一であるため、符号化器４０と同一の符号を付して説明を省略する。

出力バッファ８０〜８２はＦＩＦＯ（First In First Out）メモリで構成され、出力バッファ８０が３画面分、出力バッファ８１が２画面分、出力バッファ８２が１画面分の符号化データを記憶することが出来る。このように各出力バッファの容量を変えて設定することで各符号化器４０〜４２を、それぞれ１画面ずつ遅延させて動作させることによる時間差を吸収し、出力時期を調整することができる。このように、出力バッファ８０〜８２は、同一の画像の分割画像からなる画面内予測符号化された情報が、同時期に出力するように出力時期を調整する。

符号化信号合成器９０は出力バッファ８０〜８２の出力を合成して１画面のデータに構成し、出力端子１００から出力する。

本実施例においては、符号化器４０〜４２の各フレームメモリ５８を接続する接続手段としての信号線６０が設けられている。これにより各フレームメモリ５８の記憶データを符号化器４０〜４２が共用でき、画面内予測部５０および動きベクトル検出部５３は、各フレームメモリ５８の記憶データを用いて画面内予測や動きベクトルの検出が行える。

次に、このような構成からなる符号化装置の画面内予測符号化を行う際の動作を図７を参照して説明する。

まず、画像分割器２０は、入力端子１０より入力された入力画像に対し、図４のように横に３つに分割して入力バッファ３０〜３２へ出力する。

入力バッファ３０は、図４のＡの領域を１画面分記憶する。入力バッファ３１は図４のＢの領域を２画面分記憶する。入力バッファ３２は図４のＣの領域を３画面分記憶する。

図７の時刻ｔ１では、符号化器４０は、入力バッファ３０がマクロブロックの読み出しが可能な量（１６ライン以上）を記憶したため、画面内予測符号化するためにマクロブロック単位で入力バッファから読み出す。この時、画面内／画面間予測モード切替え部５４は画面内予測部５０の出力が符号化部５６に入力されるように符号化制御部５５によって切替えられている。なお、時刻ｔ１では符号化器４１および４２はまだ動作しない。

画面内予測部５０は、入力バッファ３０より読み出されたマクロブロックを、図６の矢印ｓに示す順序で、４×４画素単位に上述した図５の９種類のモードから適切なモードを選択し、フレームメモリ５８より読み出した予測画素を用いる画面内予測符号化方法により予測誤差を算出し出力する。

画面内予測部５０から出力された予測誤差は、画面内／画面間予測モード切替え部５４を経由して符号化部５６に入力され、まず、４×４画素単位の整数変換を行い、次いで量子化し符合量を削減する。

量子化した符号化データはエントロピー符号化部５９にて、指数ゴロム符号およびＣＡＶＬＣなどにより可変長符号化された後、符号化制御部５５により所定の符号化レートに制御され、出力バッファ８０へ出力される。出力バッファ８０では符号化器４２が１画面目の符号化を終了するまで符号化データを記憶する。

一方、符号化部５６の出力である量子化後の符号化データは局部復号部５７にも出力される。局部出力部６１内では入力された符号化データを逆量子化、逆整数変換を行い画面内予測部５０の出力値（予測誤差）に戻し、さらに９つの画面内予測モードのうち使用したモードに合った予測画素と加算することで、符号化データを復号する。復号化されたデータはフレームメモリ５８に出力される。

フレームメモリ５８は復号化データを記憶し、画面内予測部５０の要求に従って画面内予測符号化に必要な予測画素のデータを出力する。

上述のような画面内予測符号化を１画面目の各マクロブロックに対して行う。符号化器４０は１画面目が終了すると、２画面目を符号化する。２画面目は後述する画面間予測符号化を行う。

次に図７の時刻ｔ２では、符号化器４０が２画面目の符号化を行い、同時に符号化器４１は、入力バッファ３１から１画面目をマクロブロック単位に読み出し、符号化器４０と同様に画面内予測符号化する。符号化器４１で符号化されたデータは出力バッファ８１に出力され、出力バッファ８１では符号化器４２が１画面目の符号化を終了するまで記憶する。なお、時刻ｔ２では符号化器４２はまだ動作しない。

符号化器４１が符号化する図４のＢ領域上端の４×４画素の領域に対して画面内予測符号化する際に、信号線６０を使用して符号化器４０内のフレームメモリ５８にアクセスすることにより、上方向の予測画素を使用して符号化することができる。

詳細には、まず、図４のＢ領域上端の４×４画素で上方向の予測画素の参照を行うこととなった場合、符号化器４１内の画面内予測部５０は、フレームメモリ５８に対して予測画素の要求を行う。フレームメモリ５８は要求された予測画素が符号化器４０内のフレームメモリ５８に記憶されているデータであることを検出すると、符号化器４０内のフレームメモリ５８に対して予測画素データの要求を行う。符号化器４０内のフレームメモリ５８は符号化器４１内のフレームメモリ５８の要求に対して予測画素データを信号線６０へ出力する。符号化器４１内のフレームメモリ５８は信号線６０から入力された予測画素データを画面内予測部５０へ出力し、画面内予測部５０において画面内予測が行われる。

次に図７の時刻ｔ３では、符号化器４０は３画面目の画面間予測符号化を開始し、符号化器４１は２画面目の画面間予測符号化を開始し、符号化器４２は１画面目の画面内予測符号化を開始する。符号化器４２の符号化データは出力バッファ８２に出力する。

符号化器４２の画面内予測符号化も符号化器４１と同様に、信号線６０より符号化器４１内のフレームメモリ５８のデータにアクセスすることにより符号化器４２が符号化する領域（図４のＣ領域）の上端における上方向の予測画素を参照した符号化ができる。

符号化信号合成器９０では、出力バッファ８０〜８２に１画面目の符号化データが揃うと、出力バッファ８０の符号化データ（図４のＡ領域）、出力バッファ８１の符号化データ（図４のＢ領域）、出力バッファ８２の符号化データ（図４のＣ領域）の順にデータを合成し出力端子１００より符号化データを出力する。

このように動作させることで、図７に示すように画面を分割して、後から画面内予測符号化する符号化器が画面内予測符号化することを可能とする時間以上の１画面期間ずつ各符号化器をずらして処理することになり、符号化器４０で符号化した画面Ｐ１の局部復号データを符号化器４１で使用でき（矢印ｒ１）、符号化器４１で符号化した画面Ｐ１の局部復号データを符号化器４２で使用できるようになる（矢印ｒ２）。これによって、分割領域の境界において画像に応じた適切な画面内予測符号化のモードが選択可能となり、圧縮率の低下や画質の低下を軽減することができる。

こうして、画面内予測符号化の開始の時間差は、後から画面内予測符号化する符号化器が、先に符号化した符号化器の局部復号情報を参照して画面内予測符号化することを可能とする時間となり、本実施例では、各符号化器が分割画像の画面内予測符号化にかかる所要時間となる。

なお、本実施例では４×４画素単位で画面内予測符号化を行ったが、Ｈ．２６４で規定されている１６×１６画素単位でも同様に行えることは言うまでもなく、画面内予測符号化の単位によらず分割境界を越える参照を行うような画面内予測符号化に適用できる。

次に、本実施例で画面間予測符号化を行う際の動作を図８〜図１０を参照して説明する。

図８の時刻ｔ２では、符号化器４０が１画面目の符号化を終了し、２画面目をマクロブロック単位で入力バッファ３０から読み出す。この時、画面内／画面間予測モード切替え部５４は減算器５１の出力が符号化部５６に入力されるように符号化制御部５５によって切替えられている。

入力された２画面目のマクロブロックは、動きベクトル検出部５３においてフレームメモリ５８にある１画面目の復号画像において、予め設定された領域を全探索型動きベクトル検出により探索し動きベクトルを求める。動き補償部５２は、求められた動きベクトルに基づいてフレームメモリ５８にある１画面目の復号画像を動き補償し、減算器５１において入力画像との差分をとり、予測誤差として画面内／画面間予測モード切替え部５４を経由して符号化部５６へ出力する。

符号化部５６では画面内予測符号化時と同様に、整数変換および量子化し、エントロピー符号化部５９および局部復号部５７へ出力する。

量子化された符号化データは、エントロピー符号化部５９でも画面内予測符号化時と同様に、指数ゴロム符号およびＣＡＶＬＣ等により可変長符号化された後、符号化制御部５５により所定の符号化レートに制御され、出力バッファ８０へ出力される。

局部復号部５７は、符号化部５６からの量子化された符号化データを逆量子化、逆整数変換し、減算器５１の出力である予測誤差に復号する。復号された予測誤差は、動き補償部５２で動き補償されたデータと加算されて２画面目の復号化データとしてフレームメモリ５８に出力する。

フレームメモリ５８は、局部復号部５７で復号された２画面目の復号化データを次の３画面目との画面間予測符号化を行うために記憶する。

上述のような画面間予測符号化を２画面内の各マクロブロックに対して行う。符号化器４０は２画面目が終了すると、３画面目を符号化する。３画面目も画面間予測符号化する。

符号化器４０が画面間予測符号化する際に、動きベクトルの探索範囲として符号化器４１が符号化した領域（図４のＢ領域）が含まれることがある。その場合は、信号線６０を通して符号化器４１内のフレームメモリ５８より当該データを読み出す。これにより、図８に示すように、符号化器４０において画面Ｐ２の動きベクトル探索時に符号化器４０が符号化した前画面である画面Ｐ１のデータを参照するだけでなく（矢印ｒ３）、符号化器４１が符号化した画面Ｐ１のデータも参照することが可能となる（矢印ｒ４）。

符号化器４０の動きベクトル探索において図４のＢ領域を探索することとなった場合の動作の詳細を説明する。符号化器４０内の動きベクトル検出部５３は、フレームメモリ５８に対して探索領域のデータの要求を行う。符号化器４０内のフレームメモリ５８は要求された探索領域のデータが符号化器４１内のフレームメモリ５８に記憶されているデータであることを検出すると、符号化器４１内のフレームメモリ５８に対して探索領域のデータの要求を行う。符号化器４１内のフレームメモリ５８は符号化器４０内のフレームメモリ５８の要求に対して探索領域のデータを信号線６０へ出力する。符号化器４０内のフレームメモリ５８は信号線６０から入力された探索領域のデータを動きベクトル検出部５３へ出力し、動きベクトル検出部５３において動きベクトルの探索が行われる。

符号化器４１の２画面目の画面間予測符号化も、符号化器４０と同様に行われる。この場合は、図９の時刻ｔ３に示すように、符号化器４１において画面Ｐ２の動きベクトル探索時に符号化器４１が符号化した前画面である画面Ｐ１のデータを参照するだけでなく（矢印ｒ６）、符号化器４０が符号化した画面Ｐ１のデータおよび、符号化器４２が符号化した画面Ｐ１のデータも参照することが可能となり（矢印ｒ５、ｒ７）、分割境界を越えた動きベクトルを求めることができる。この場合も信号線６０を通して探索領域のデータを符号化器４０内のフレームメモリ５８や符号化器４２内のフレームメモリ５８から読み出す。

符号化器４２の２画面目の画面間予測符号化も、符号化器４０および４１と同様に行われる。この場合は、図１０の時刻ｔ４に示すように、符号化器４２において画面Ｐ２の動きベクトル探索時に符号化器４２が符号化した前画面である画面Ｐ１のデータを参照するだけでなく（矢印ｒ１０）、符号化器４０が符号化した画面Ｐ１のデータおよび、符号化器４１が符号化した画面Ｐ１のデータも参照することが可能となり（矢印ｒ８、ｒ９）、分割境界を越えた動きベクトルを求めることができる。この場合も信号線６０を通して探索領域のデータを符号化器４０内のフレームメモリ５８や符号化器４１内のフレームメモリ５８から読み出す。

なお、各フレームメモリ５８は符号化器４０〜４２をずらして動作させているため、図１０の矢印ｒ８のように参照する場合は、数枚前のデータまで保存することになる。また、本実施例では画面間予測符号化の際に１画面前のデータを参照する例を示したが、符号化済みの画像であれば複数前からの参照も可能である。このようにフレームメモリ５８は、動きベクトルの探索範囲や参照画面数に合わせて、記憶する画面の枚数や容量を決定するとよい。

このように本実施例では、画面内予測符号化だけでなく、画面間予測符号化時にも分割境界を越えたデータの参照が行える。そのため、画面間予測符号化時にも分割境界で圧縮率の低下や画質の低下を軽減することができる。

なお、入力バッファ３０〜３２はランダムアクセスが可能なメモリでなく、ＦＩＦＯとし、符号化器４０〜４２に、水平走査順に入力された画像データを画面内予測部５０や、動きベクトル検出部５３に出力するためのマクロブロック形式に変換する回路を設けてもよい。或いは画像分割器２０で、水平走査順に入力された画像データをマクロブロック形式に変換し、ＦＩＦＯとした入力バッファ３０〜３２に出力するようにしてもよい。

また、入力バッファの容量は、入力バッファ３０が１画面分、入力バッファ３１が２画面分、入力バッファ３２が３画面分に限らず、入力バッファ３１、３２は、それぞれが接続されている符号化器４１、４２が画面内予測符号化処理を行うために必要な時間以上ずれて動作できるだけの容量があればよく、入力バッファ３０は、符号化器４０が画面内予測符号化処理を行うのに必要なデータが揃うだけの容量があればよい。

また、符号化器４１が画面内予測符号化を始めるタイミングは、符号化器４０が２画面目の画面内予測符号化を開始したときに限らず、符号化器４０が符号化を始めてから符号化器４１が符号化器４０のフレームメモリ５８のデータを使用して画面内予測符号化処理を行える時間以降であればよい。符号化器４２が画面内予測符号化を始めるタイミングも同様に、符号化器４１が２画面目の画面内予測符号化を開始したときに限らず、符号化器４１が符号化を始めてから符号化器４２が符号化器４１のフレームメモリ５８のデータを使用して画面内予測符号化処理を行える時間以降であればよい。

また、出力バッファ８０〜８２の容量は、出力バッファ８０が３画面分、出力バッファ８１が２画面分、出力バッファ８２が１画面分に限らず、符号化器４１、４２が画面内予測符号化処理を行うために必要な時間以上ずらして動作させた分を吸収・調整し、同時期に出力できるだけの容量があればよい。

また、符号化信号合成器９０は、出力バッファ８０〜８２の全てで１画面分の符号化データが揃ってから出力端子１００に出力することに限らず、出力バッファ８０、出力バッファ８１、出力バッファ８２の順で出力できればよい。

さらに、上記実施例では、画面を横に３分割していたが、分割数を３に限らないことは言うまでも無く、縦に分割したり、図１１のように縦２分割、横２分割の４分割等としてもよい。この場合は画面内予測においては上方向だけでなく左方向からの予測時にも他のフレームメモリのデータを参照できる。

ただし、各符号化器をずらして符号化処理をさせているため、図８に示すように時刻ｔ２において、符号化器４０の２枚目の画面Ｐ２の画面間予測符号化時に、符号化器４２が符号化する１枚目の画面Ｐ１は参照できない。このように、横に分割した場合は画面下方向、縦に分割した場合は画面右方向の参照範囲が限られてしまうことがある。そのため、分割画像の大きさは、画面間予測符号化時における各符号化器の動きベクトルの探索範囲より小さくしすぎない方が好ましい。

また、複数の符号化器のうち、少なくとも２つの符号化器の画面内予測符号化の開始がずれればよい。つまり、上記実施例で符号化器４０と符号化器４１をずらして、符号化器４２は符号化器４０と同じタイミングで動作させてもよい。或いは符号化器４０と符号化器４１をずらして、符号化器４２は符号化器４１と同じタイミングで動作させてもよい。しかし、この場合は画面間予測符号化時に符号化器４１と符号化器４２間でフレームメモリ５８の共有ができないため、図４の領域Ｂと領域Ｃの分割境界で圧縮率や画質の低下が起る。ずらして動作させない分割境界が画面中央に近いと圧縮率や画質の低下が目立ち易いため、同じタイミングで動作させる場合は、画面の端に近い分割画像間（例えば上端と下端等）で行うことが好ましい。

また、上記実施例では符号化器４０〜４２は全て画面内予測符号化を行っていたが、それに限らず、少なくとも一つの符号化器が画面内予測符号化を行えばよい。例えば符号化器４１のみが画面内予測符号化を行った場合は、符号化器４１が請求項１に記載した一つの符号化器となり、符号化器４０と４２が他の一つの符号化器となる。符号化器４２のみが画面内予測符号化を行った場合は、符号化器４２が請求項１に記載した一つの符号化器となり、符号化器４０と４１が他の一つの符号化器となる。符号化器４１が画面内予測符号化を行う場合の符号化開始の時間差は、後から画面内予測符号化する一つの符号化器としての符号化器４１が、先に符号化した他の一つの符号化器としての符号化器４０の局部復号情報としてのフレームメモリ５８の復号化データを参照して画面内予測符号化を行える時間が好ましく、さらに好ましくは一つの符号化器としての符号化器４１と他の一つの符号化器としての符号化器４０、４２が分割画像の符号化にかかる所要時間のうち長い方とした方がよい。符号化器４２が画面内予測符号化を行う場合の符号化開始の時間差は、後から画面内予測符号化する一つの符号化器としての符号化器４２が、先に符号化した他の一つの符号化器としての符号化器４１の局部復号情報としてのフレームメモリ５８の復号化データを参照して画面内予測符号化を行える時間が好ましく、さらに好ましくは一つの符号化器としての符号化器４２と他の一つの符号化器としての符号化器４０、４１が分割画像の符号化にかかる所要時間のうち長い方とした方がよい。

本発明は、例えば図１２のように、放送局等においてテレビカメラで撮影した画像を、送信機に出力する前に適用して圧縮符号化すれば、高効率に画質の低下の少ない画像を送信することができる。

また、例えば図１３のように、アナログテレビ放送やビデオカメラで撮影した画像等の非圧縮の画像を、光ディスクやハードディスクなどの記録媒体に記録する前に本発明を適用して圧縮符号化すれば、高効率に画質の低下の少ない画像を記録することができる。

また、例えば図１４のように、地上デジタル放送などの圧縮符号化されたデジタル放送を、Ｈ．２６４などの従来より高効率な圧縮符号化に再圧縮符号化する際に本発明を適用すれば、入力画像の画質の低下を抑えつつ、さらに高い圧縮率で符号化することができる。そして、それを再放送すれば、携帯端末などの比較的低い通信速度の端末でも画質の低下が少なく地上デジタル放送などを視聴することができ、再放送の代わりに再圧縮符号化後のデータを光ディスクやハードディスクなどの記録媒体に記録すれば、再圧縮符号化する前よりも多くの情報を記録することができる。

前述した実施例によれば、以下の符号化装置および符号化方法が得られる。

（付記１）入力画像を複数に分割する画像分割器２０と、分割した画像のそれぞれに対応して設けられ、かつ前記画像分割器２０から入力した分割画像を符号化するとともに、局部復号情報を記憶するフレームメモリ５８を備えた複数の符号化器４０〜４２と、を備えた画像符号化装置１において、
複数の符号化器４０〜４２のうち少なくとも一つの符号化器が画面内予測符号化を行い、
前記符号化器４１の符号化の開始を前記符号化器４０のフレームメモリ５８に記憶された局部復号情報を参照して画面内予測符号化することを可能とする時間だけ後に前記符号化器４０よりも後ろにずらす入力バッファ３１と、
各前記フレームメモリ５８同士を接続して前記符号化器４０のフレームメモリ５８に記憶された局部復号情報を前記符号化器４１のフレームメモリ５８へ出力して参照可能とする信号線６０と、
を備えたことを特徴とする画像符号化装置１。

（付記２）前記符号化器４１と前記符号化器４０との符号化の開始の時間差は、前記符号化器４０、４１が分割画像の符号化にかかる所要時間のうち長い方の所要時間であることを特徴とする付記１記載の画像符号化装置１。

（付記３）前記符号化器４０〜４２から画面内予測符号化された情報が入力され、同一の画像の分割画像からなる画面内予測符号化された情報が、同時期に出力するように出力時期を調整する出力バッファ８０〜８２を備えたことを特徴とする付記１〜２に記載の画像符号化装置１。

（付記４）入力画像を複数に分割して複数の符号化器４０〜４２にそれぞれ入力して、この分割画像を符号化器４０〜４２内の局部復号情報を用いて符号化する画像符号化方法において、
前記複数の符号化器４０〜４２のうち画面内予測符号化を行う少なくとも一つの符号化器４１が他の一つの符号化器４０の前記局部復号情報を参照可能とし、
前記分割画像のうち前記少なくとも一つの符号化器４１による分割画像の画面内予測符号化の開始を、他の一つの符号化器４０による分割画像の前記局部復号情報を参照して画面内予測符号化することを可能とする時間分後にずらすことを特徴とする画像符号化方法。

（付記５）前記符号化器４１と前記符号化器４０との符号化の開始の時間差は、前記符号化器４０、４１が分割画像の符号化にかかる所要時間のうち長い方の所要時間であることを特徴とする付記４記載の画像符号化方法。

なお、本発明は、画面を複数に分割して少なくとも一つの分割画面が画面内予測符号化する符号化装置または符号化方法であれば、Ｈ．２６４に限らず適用できる。

従来技術において画像を３分割した場合の説明図である。図１に示された３分割した画像を３つの符号化器で符号化する際の説明図である。本発明の一実施例にかかる画像符号化装置のブロック図である。図３に示された画像符号化装置の画像分割器が入力画像を３分割した場合を示す説明図である。Ｈ．２６４における画面内予測符号化のモードの説明図である。Ｈ．２６４におけるマクロブロック内での画面内予測符号化の順序の説明図である。図３に示される画像符号化装置の画面内予測符号化時の分割画像間の予測方向の説明図である。図３に示される画像符号化装置の画面間予測符号化時の符号化器の予測方向の説明図である。図３に示される画像符号化装置の画面間予測符号化時の符号化器の予測方向の説明図である。図３に示される画像符号化装置の画面間予測符号化時の符号化器の予測方向の説明図である。図３に示された画像分割器の入力画像の他の分割方法を示す説明図である。本発明の適用例を示す説明図である。図１２とは別の適用例を示す説明図である。図１１、１２とは別の適用例を示す説明図である。

符号の説明

１画像符号化装置
２０画像分割器（分割手段）
３０〜３２入力バッファ（遅延手段）
４０〜４２符号化器
５８フレームメモリ（記憶手段）
６０信号線（接続手段）
８０〜８２出力バッファ（出力調整手段）
９０符号化信号合成器（合成手段）

Claims

入力画像を複数に分割する分割手段と、分割した画像のそれぞれに対応して設けられ、かつ前記分割手段から入力した分割画像を符号化するとともに、局部復号情報を記憶する記憶手段を備えた複数の符号化器と、を備えた画像符号化装置において、
複数の符号化器のうち少なくとも一つの符号化器が画面内予測符号化を行い、
前記少なくとも一つの符号化器の符号化の開始を他の一つの符号化器の前記記憶手段に記憶された前記局部復号情報を参照して画面内予測符号化することを可能とする時間だけ前記他の一つの符号化器よりも後にずらす遅延手段と、
各前記記憶手段同士を接続して前記他の一つの符号化器の前記記憶手段に記憶された局部復号情報を前記少なくとも一つの符号化器の前記記憶手段へ出力して参照可能とする接続手段と、
を備えたことを特徴とする画像符号化装置。
前記少なくとも一つの符号化器と前記他の一つの符号化器との符号化の開始の時間差は、前記少なくとも一つの符号化器と前記他の一つの符号化器との分割画像の符号化にかかる所要時間のうち長い方の所要時間であることを特徴とする請求項１記載の画像符号化装置。
前記符号化器から画面内予測符号化された情報が入力され、同一の画像の分割画像からなる画面内予測符号化された情報が、同時期に出力するように出力時期を調整する出力調整手段を備えたことを特徴とする請求項１または２に記載の画像符号化装置。
入力画像を複数に分割して複数の符号化器にそれぞれ入力して、この分割画像を前記符号化器内の局部復号情報を用いて符号化する画像符号化方法において、
前記複数の符号化器のうち画面内予測符号化を行う少なくとも一つの符号化器が他の一つの符号化器の前記局部復号情報を参照可能とし、
前記分割画像のうち前記少なくとも一つの符号化器による分割画像の画面内予測符号化の開始を、他の一つの符号化器による分割画像の前記局部復号情報を参照して画面内予測符号化することを可能とする時間分後にずらすことを特徴とする画像符号化方法。
前記少なくとも一つの分割画像の画面内予測符号化と前記他の一つの分割画像の符号化との開始の時間差は、前記少なくとも一つの分割画像と前記他の一つの分割画像の符号化にかかる時間のうち長い方の時間であることを特徴とする請求項４記載の画像符号化方法。