JP4834772B2 - 画像符号化方法および画像符号化装置 - Google Patents

Description

本発明は画像符号化方法および画像符号化装置に関する。特に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４ ＡＶＣ方式によって、または、ＩＴＵ−Ｔ Ｈ．２６４方式によって画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する画像符号化方法および画像符号化装置に関する。

近年、音声、画像およびその他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオおよび電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形あるいは、音声、特に画像等を同時に関連づけて表すことをいう。上記従来の情報メディアをマルチメディアの対象とするには、その情報をデジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をデジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトである。それに対し、音声の場合は、１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画の場合については、１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となる。それ故、上記情報メディアでその膨大な情報をデジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合デジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によって実用化されている。しかし、テレビ・カメラの映像をそのままのデジタル情報量でＩＳＤＮにて送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）によって勧告されたＨ．２６１あるいはＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術では、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）によって標準化された動画像信号圧縮の国際規格である。ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｉｔ／ｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では、対象とする品質を中程度の品質、すなわち伝送速度が主として約１．５Ｍｂｉｔ／ｓで実現できる程度の品質としたことから、さらなる高画質化の要求をみたすべくＭＰＥＧ−２が規格化された。ＭＰＥＧ−２では、動画像信号を２〜１５Ｍｂｉｔ／ｓでＴＶ放送品質を実現する。

さらに、現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、さらに物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４は、ＭＰＥＧ−１、およびＭＰＥＧ−２を上回る圧縮率を達成し、さらに物体単位で符号化、復号化および操作を可能とする。

このＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、インタレース画像も含む高ビットレートの符号化方法も含む、より汎用的な符号化に拡張された。さらに、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔとによって共同で、より高圧縮率の画像符号化方式として、ＭＰＥＧ−４ ＡＶＣおよびＩＴＵ−Ｔ Ｈ．２６４が規格化された。

ここで、画像信号は同じ時刻の画素の集合であるピクチャ（フレームまたはフィールドとも呼ばれる）が連続したものであると考えることができる。また、画素は、ピクチャ内での近傍画素との相関が強いことから、ピクチャ内の画素の相関を利用した圧縮が行われる。さらに、連続するピクチャ間では、画素の相関も強いことから、ピクチャ間の画素の相関を利用した圧縮も行われる。ここで、ピクチャ間の画素の相関とピクチャ内の画素の相関を利用した圧縮をインター符号化と呼び、ピクチャ間の画素の相関を用いないがピクチャ内の画素の相関を利用した圧縮をイントラ符号化と呼ぶ。このインター符号化は、ピクチャ間の相関を利用しているので、イントラ符号化よりも高い圧縮率を実現できる。

また、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣおよびＨ．２６４では、２次元の矩形領域の画素の集合であるブロック（もしくはマクロブロック）を構成し、ブロック単位でイントラ符号化とインター符号化とが切り替えられる。

一方、ＡＤＳＬまたは光ファイバを用いた高速ネットワーク環境が普及しており、これにより一般家庭でも数Ｍｂｉｔ／ｓを越えるビットレートで送受信が可能となっている。さらに、今後数年で数十Ｍｂｉｔ／ｓでの送受信が可能になる見込みである。それにより、上記の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でもＴＶ放送品質およびＨＤＴＶ放送品質のＴＶ電話およびＴＶ会議システムの導入が進むと予想される。

ところで、ネットワークを介して符号化した画像データ、すなわちストリームを伝送する際には、ネットワーク輻輳などでストリームの一部が消失する可能性がある。ストリームの一部が消失した場合には、受信側で消失したストリームに対応する箇所の画像を正しく復号できない。さらに、ピクチャ間の画素の相関を利用した圧縮では正しく復号できない状態が後続のピクチャにも伝播する。つまり、画質劣化が後続のピクチャにも伝播する。そこで、ブロックを複数まとめた符号化単位であるスライスが定義された。スライスは独立に符号化および復号処理が可能な最小単位であり、ストリームの一部が消失してもスライス単位で復号処理ができる。

図１は、ＭＰＥＧ−２規格のスライス分割方法を用いた場合におけるスライスとブロックとの関係を説明する図である。図１に示すピクチャ（１フレーム）は、複数のブロックで構成されている。また、ピクチャを構成するブロックの中で、同じ行のブロックは１つのスライスを構成している。例えば、斜線をつけたスライスは、Ｉスライスであり、その他のスライスはＰスライスである。Ｉスライスは、イントラ符号化のブロックのみで構成されるスライスであり、Ｐスライスはインター符号化またはイントラ符号化のブロックで構成されるスライスである。

なお、Ｈ．２６４規格では、一般に、Ｉスライスは、スライス内の画素の相関のみを利用して符号化されるスライスを意味し、Ｐスライスは、スライス内の画素相関とスライス間の画素相関とを利用して符号化されるスライスを意味する。ここで、スライス間とは、当該スライスと当該スライス以外のスライスとの間のことであり、当該スライスを含むピクチャとは異なるピクチャのスライスとの間であってもよい。別の言い方をすると、Ｉスライスは、周囲（当該スライスの外側）の画像信号からの予測符号化を用いない、すなわちイントラ符号化されるイントラ・マクロブロックのみを集めたスライスであり、Ｐスライスは、予測符号化によって圧縮効率を高めた、すなわちインター符号化されるインター・マクロブロックとイントラ・マクロブロックとが混在して構成されるスライスである。

なお、１つのピクチャ内でＨ．２６４規格で規定するＩスライスとＰスライスとの混在を許容しない運用規格も存在する。そこで、本明細書のＩスライスとは、意図的にスライス内の画素の相関のみを利用して符号化した特殊なＰスライスも、便宜上Ｉスライスと呼ぶことにする。

図２は、ピクチャにおける複数のブロックの符号化順を説明するための図である。この図１に示すピクチャにおけるブロックは、図２で示す順序、すなわち、ピクチャ内において、スライス単位内では左から右へ、かつ、スライス単位で上から下への順序で符号化されてストリームが生成される。

しかし、たとえ当該スライスのストリームを伝送路上での消失なく受信し、スライス単位で復号処理がされたとしても、復号処理された画素が正しく復号できるとは限らない。当該スライスがイントラ符号化されている場合には、以前にストリームの消失により正しく復号できていなくても、イントラ符号化されているスライスのストリームのみで画素を正しく復号できる。しかし、消失したストリームの次のピクチャを復号する際に、当該スライスがインター符号化されている場合には、直前に復号したピクチャを参照して復号を行うので、以前にストリーム消失で画質劣化があるピクチャを参照して復号すると正しく画素を復号できない。

このように、ストリームが消失した場合に、消失したストリームの次のピクチャがインター符号化されていると正しく復号できず、さらに再帰的に後続のピクチャも正しく復号できなくなる課題がある。

そこで、以下に説明する方法で、画質劣化が再帰的に伝播することを防止する。

図３は、時間順に連続するピクチャのスライス分割例を示す図である。ここで、斜線をつけたスライスは、図１と同様に、Ｉスライスであり、その他のスライスはＰスライスである。スライスは行単位である。また、図３（ａ）〜図３（ｌ）は時間順に連続するピクチャである。すなわち、図３では、図３（ａ）が時間順に最初のピクチャであり、図３（ｌ）が時間順に最後のピクチャである。図３において、Ｉスライスの位置は、時間順に次のピクチャでは１行下に移動し、最下位行に移動した次は最上位行に戻っている（図３（ｊ）から図３（ｋ））。

このように、ストリーム消失に強いＩスライスと、ストリーム消失には弱いが圧縮率の良いインター符号化を含むＰスライスでピクチャを構成し、Ｉスライスの位置を時間順にピクチャ内で循環する。それにより、ある時点でストリームが消失してＰスライスの画質が劣化しても、ストリームが消失したＰスライスの位置のスライスが、時間順に後のピクチャでＩスライスとなった際に、ピクチャが正しく復号される。すなわち、画像劣化のあったストリームを回復できる。それ故、画質劣化が無限に伝播することを防止できる。

次に、図３に示した画質劣化の伝播防止を実現する画像符号化装置８００について説明する。

図４は、ＭＰＥＧ−２規格のスライス分割方法を用いた場合における画像符号化装置８００の構成を示すブロック図である。

画像符号化装置８００は、ブロック数カウンタ部８０２と、イントラ／インター決定部８０４と、スライス決定部８０６と、ビデオ・エンコーダ８０８とを備える。

ブロック数カウンタ部８０２は、ビデオ・エンコーダ８０８が符号化対象とするピクチャにおけるブロック数を計測する。また、ブロック数カウンタ部８０２は、ビデオ・エンコーダ８０８が符号化対象とするピクチャのブロックがピクチャのどの位置に対応するかをイントラ／インター決定部８０４とスライス決定部８０６とに通知する。

イントラ／インター決定部８０４は、ブロック数カウンタ部８０２から通知されたブロック位置から、ビデオ・エンコーダ８０８が符号化対象とするピクチャのスライスがＩスライスかＰスライスのいずれであるかを決定する。イントラ／インター決定部８０４は、決定したスライスの種類（ＩスライスまたはＰスライス）をビデオ・エンコーダ８０８に通知する。

スライス決定部８０６は、ブロック位置取得部８０６２とスライス境界決定部８０６６とを備える。

スライス決定部８０６は、ブロック数カウンタ部８０２から通知されたブロック位置から、スライスの境界であるか、すなわちスライスを構成するブロックの行の位置の中で、通知されたブロックが最後の位置かどうかを決定する。スライス決定部８０６は、ブロック数カウンタ部８０２から通知されたブロック位置をブロック位置取得部８０６２で取得し、スライス境界決定部８０６６で、通知されたブロック位置がスライス単位の区切りかどうかを決定する。スライス境界決定部８０６６は、決定したブロック位置の情報（スライス単位の区切りであるかどうか）をビデオ・エンコーダ８０８に通知する。

ビデオ・エンコーダ８０８は、スライス決定部８０６におけるスライス境界決定部８０６６から通知されたスライスの境界（スライス単位）と、イントラ／インター決定部８０４で通知されたスライスの種類とに基づいて、ブロック単位に入力画像ＶＩＮをそのスライスで使用可能な符号化方法（イントラ符号化もしくはインター符号化）で符号化する。ビデオ・エンコーダ８０８は、符号化した入力画像ＶＩＮをストリームＳＴＲとしてパケット化部８２０に出力する。

ここで、上述したように、ＭＰＥＧ−２規格のスライスを用いているので、ビデオ・エンコーダ８０８が符号化するピクチャのスライス単位は、ピクチャを構成する複数のブロックの行単位である。

パケット化部８２０は、ストリームＳＴＲをネットワークの伝送に適した形式に変換する。

図５は、ＭＰＥＧ−４規格のスライス分割方法を用いた場合におけるスライスとブロックとの関係の１例を説明する図である。ＭＰＥＧ−４規格では、スライスを図１に示したＭＰＥＧ−２規格のスライスのように行単位にすることもできるが、スライスを符号化したビット数が一定となるようにスライスを構成する制御がよく用いられている。従って、スライスの形状は図１で示したような矩形とは限らない。また、スライスに含まれるブロック数も入力される画像信号の絵柄によって可変となる。

ここで、図５に示すピクチャ（１フレーム）は、複数のブロックで構成されている。また、ピクチャを構成するブロックの中で、太い線で囲まれた複数のブロックが１つのスライスを構成している。例えば、斜線をつけた複数のブロックの中で太い線で囲まれた複数のブロックは、Ｉスライスであり、その他の太い線で囲まれた複数のブロックは、Ｐスライスである。

また、斜線がある複数のブロックは、イントラ符号化される位置のブロックであることを示している。ＭＰＥＧ−４規格では、斜線で示すイントラ符号化の位置は、スライスの単位とは一致しなくてもよいため、図５では、その１例を示している。

図６は、時間順に連続するピクチャのスライス分割例を示す図である。斜線がある位置のブロックは、Ｉスライスを含みイントラ符号化されるブロックであり、その他の太い線で囲まれた複数のブロック（スライス）はＰスライスである。また、図６（ａ）〜図６（ｌ）は時間順に連続するピクチャである。このように、図３と同様に、ストリーム消失に強いＩスライスと、ストリーム消失には弱いが圧縮率の良いインター符号化を含むＰスライスでピクチャを構成し、Ｉスライスを含むイントラ符号化の位置を時間順にピクチャ内で循環する。それにより、画質劣化が再帰的に伝播することを防止する。

次に、図６に示した画質劣化の伝播防止を実現する画像符号化装置９００について説明する。

図７は、ＭＰＥＧ−４規格のスライス分割方法を用いた場合における画像符号化装置８００の構成を示すブロック図である。

画像符号化装置９００は、ブロック数カウンタ部８０２と、イントラ／インター決定部８０４と、スライスサイズ決定部９０６と、ビデオ・エンコーダ９０８とを備える。図７において、図４におけるＭＰＥＧ−２の画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。

ビデオ・エンコーダ９０８は、スライスサイズ決定部９０６で通知されるスライスの境界（スライス単位）と、イントラ／インター決定部８０４で通知されたスライスの種類とに基づいて、ブロック単位に入力画像ＶＩＮを使用可能な符号化方法（イントラ符号化もしくはインター符号化）で符号化する。ビデオ・エンコーダ９０８は、符号化した入力画像ＶＩＮをストリームＳＴＲとしてパケット化部８２０に出力すると同時に、符号化したビット数をスライスサイズ決定部９０６に通知する。

スライスサイズ決定部９０６は、スライス境界決定部９０６６と符号化ビット数カウンタ部９０６８とを備える。スライスサイズ決定部９０６は、ビデオ・エンコーダ９０８から通知されたビット数を符号化ビット数カウンタ部９０６８で取得し、通知されたビット数からビデオ・エンコーダ９０８が符号化しているブロックがスライス単位の区切りのブロックかどうかをスライス境界決定部９０６６で決定する。

符号化ビット数カウンタ部９０６８は、取得したビデオ・エンコーダ９０８から通知されたビット数あるいは、その通知されたビット数が所定のビット数になった時点の情報をスライス境界決定部９０６６に通知する。

スライス境界決定部９０６６は、符号化ビット数カウンタ部９０６８から通知されたビット数の情報から対象ブロックをスライスの最後のブロック、すなわちスライス単位の区切りとなるブロックであるかを判断する。スライス境界決定部９０６６は、判断結果であるブロックがスライスの境界であることをビデオ・エンコーダ９０８に通知する。

なお、図５および図６に示すように、斜線で示すイントラ符号化の位置は、ピクチャ毎に上位置から下位置に移動するが、スライスの単位とは一致しない。

以上のように、ピクチャをスライスで分割すると、ネットワークのストリーム消失による画質劣化防止に有効である。

ここで、ストリームをスライス単位でネットワーク伝送する場合のビット数について例を挙げて説明する。

図８は、時間順に連続するピクチャのスライス分割例を示す図であり、図９Ａおよび図９Ｂは、時間順に各スライスを符号化したビット数の例を示す図である。図９Ａおよび図９Ｂでは、ストリームを図８で示すスライス単位でネットワーク伝送する場合に、時間順に各スライスを符号化したビット数の例を示している。

図８に示すように、例えばピクチャは５つのスライスで構成されており、１つのＩスライスと４つのＰスライスを含んでいるとする。

Ｉスライスのビット数は、Ｐスライスのビット数より多く、一般に数倍〜１０倍程度のビット数が発生する。図９Ａでは、ピクチャを構成するスライスを上から下の順序で符号化し、横軸に時刻、縦軸に当該スライスの符号化で発生するビット数の大きさのイメージを図示している。図８および図９Ａから分かるように、ピクチャを構成するＩスライスが時間順に上から下の順序、すなわち、周期的に循環する。

また、図９Ｂは、時間順に連続する複数のピクチャを符号化し、これらピクチャを符号化順に一定のビットレートで伝送している様子を示している。ここで、図９Ｂでは、横軸方向の幅（長さ）がビット数の大きさであり、そのスライスのデータ伝送に必要な時間を示している。各ピクチャに同数のＩスライスが含まれることで、各ピクチャ単位でのビット数はほぼ同じになる。

ＭＰＥＧ−２規格書：ＩＳＯ／ＩＥＣ １３８１８−２、"Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ Ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ：Ｖｉｄｅｏ"、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ、Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ、Ｄｅｃｅｍｂｅｒ ２０００ ＭＰＥＧ−４規格書：ＩＳＯ／ＩＥＣ １４４９６−２、"Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ Ｏｆ Ａｕｄｉｏ−Ｖｉｓｕａｌ Ｏｂｊｅｃｔｓ−Ｐａｒｔ ２：Ｖｉｓｕａｌ"、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ、Ｔｈｉｒｄ Ｅｄｉｔｉｏｎ、Ｊｕｌｙ ２００４

ビット数の多いＩスライスのビット数を少なくするにはＩスライスを構成するマクロブロック数を少なくすればよいが、単純にスライスに含まれるブロック数を少なくするとピクチャあたりのスライス数が多くなり、次のような問題がある。

１）スライス符号化の初期化に必要な処理量が多くなる。これは、圧縮率が非常に高くＨ．２６４で使用されている算術符号化のように、スライス先頭での変数の初期化処理が多い符号化で特に問題になる。

２）ピクチャに占めるスライス・ヘッダ（スライスに含まれるマクロブロックの復号に必要な共通データ）の符号量が多くなり、圧縮効率が悪くなる。これは、特に低ビットレート符号化で問題になる。

３）スライス単位で初期化が必要となるため、画像符号化をハードウェアで実現する場合にブロック単位の符号化処理のパイプライン処理も初期化される。よって、パイプライン処理が中断する頻度が多くなる。

また、上述したようなＭＰＥＧ−２規格のスライスまたはＭＰＥＧ−４規格のスライスを用いてピクチャをスライス数で分割する場合には、下記で示す問題がある。

１）ＭＰＥＧ−２規格のスライスを用いる場合は、ピクチャ内の１行の複数のブロックが１スライスという制約があり、基本的に変更できない。

また、ＭＰＥＧ−２の考え方を独自に拡張し、ピクチャあたりのスライス数を少なくするために、複数のＫ行にある複数のブロックを１スライスとして拡張したとすると、全スライスの大きさは同じになるので、Ｉスライスの大きさも大きくなってしまう。すなわち、Ｉスライスを構成するブロックの数が多くなる。言い換えると、インター符号化よりもビット数が多いイントラ符号化のみからなるＩスライスのビット数が特に大きくなる。復号がスライス単位であることを考慮すると、Ｉスライス自身がストリーム消失してしまう頻度が高くなり、Ｉスライスによる画質劣化の伝播防止が有効に動作しなくなってしまう。

２）ＭＰＥＧ−４規格のスライスを用いる場合は、ビット数が一定になるようにスライス単位に分割される。しかしながら、スライスの境界が実際に符号化したビット数で決定されるため、ブロックを符号化するまでスライス境界の位置が決定できない。従って、スライス単位の並列化処理構成で高速な画像符号化装置を実現できず、ブロック単位で逐次符号化を行う低速な画像符号化装置になる。

さらに、ブロック単位の符号化処理をパイプライン処理で実現する場合には、対象ブロックの符号化が完了してスライス分割を決定する時点では（本来は次のスライスに含めるべき）後続のブロックの符号化処理が既にパイプライン処理が行われていることになる。従って、後続のブロックの符号化処理からパイプライン処理のやり直しが必要となり、パイプライン処理に適さない。

また、さらに、図９Ａで示したように各ピクチャに同数のＩスライスを含む場合、時間順に連続する複数のピクチャを符号化し、符号化したこれらピクチャを符号化順にネットワーク伝送するとき、図９ＢのピクチャＮ＋４とピクチャＮ＋５とでＩスライスが２回連続して伝送されることになる。

符号化では、直前に符号化したＩスライスあるいはＰスライスで発生したビット数に基づき、これから符号化するＩスライスあるいはＰスライスのビット数を予測することで符号化の制御を行う。しかし、下記に示す場合には予測が困難であり、短時間の平均ビット数が一定となるように制御することが難しい。

１）予測するスライスのピクチャ内の位置が直前に符号化した位置と大きく異なる場合、特にピクチャ内の最上位置と最下位置との場合
２）ピクチャ内の位置によって絵柄が大きく違う画像あるいは動きの大きい動画など、ピクチャ内位置あるいはピクチャ間で画像の統計的特徴が異なる場合

１）、２）の場合では、符号化画質を良くするためのＩスライスと、Ｐスライスとの必要なビット数比率がピクチャ内の符号化位置あるいは、符号化するピクチャ単位で大きく異なる。そのため、図９Ｂで示すピクチャＮ＋４とピクチャＮ＋５とのように、特に多くのビット数が発生するＩスライスを連続して符号化する場合には、一定のビット数にする符号化制御が難しく、所望のビット数にうまく制御できない。そのため、ビット数が一定にできない場合や、ビット数を無理に一定にすると大きな画質劣化も発生してしまう場合がある。

そこで、本発明は、上記問題点に鑑みてなされたものであり、パイプライン化あるいは並列化を阻害することなく、ストリーム消失の頻度を低めつつ、処理量削減と圧縮率とを向上する画像符号化方法および画像符号化装置を実現することを目的とする。

上記の課題を解決するために、本発明に係る画像符号化装置は、画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する画像符号化装置であって、スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライス間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、ピクチャを分割する分割手段と、前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化手段とを備え、前記分割手段は、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、前記時間順に連続する複数のピクチャにおいて、Ｉスライスに含まれるブロック数と、当該Ｉスライスおよびその次のＩスライスの間に含まれる１つ以上のＰスライスに含まれるブロック数との和が所定値となるよう前記複数のピクチャのそれぞれを分割することを特徴とする。

この構成により、ある時点でストリームが消失してＰスライスの画質が劣化しても、ストリームが消失したＰスライスの位置のスライスが、時間順に後のピクチャでＩスライスとなった際に、ピクチャが正しく復号することができ、画質劣化が無限に伝播することを防止できる。また、ＩスライスとＰスライスの発生するビット数に偏りがあったとしてもビット数の多いＩスライスでのビット数の振れを周期的なものとすることができる。すなわち、ビット数に偏りのあるＩスライスが連続してネットワーク伝送されないようにできるので、ネットワーク伝送するビット数を平準化することができる。それにより、パイプライン化あるいは並列化を阻害することなく、ストリーム消失の頻度を低めつつ、処理量削減と圧縮率とを向上する画像符号化方法および画像符号化装置を実現できる。

また、前記分割手段は、さらに、前記ピクチャを、ブロック数Ｍ（Ｍは０以上の整数）からなるＩスライスと、前記ピクチャ内の特定位置にあるＰスライスを除く、ブロック数Ｎ（Ｎは１以上の整数、かつ、Ｍ＜Ｎ）からなる複数のＰスライスとに分割するとしてもよい。

この構成により、Ｉスライスのブロック数を少なくし、Ｐスライスのブロック数を多くすることで、ピクチャ内のスライス数を少なくできるので、ピクチャ全体で処理量削減と圧縮率向上とを実現することができる。

また、前記分割手段は、さらに、前記時間順に連続する複数のピクチャにおいて、予め設定された数のピクチャ毎にＩスライスの位置が一方端から他方端への移動が繰り返されるように、前記ピクチャをＩスライスとＰスライスとに分割し、前記符号化手段は、前記Ｉスライスを当該スライス内の画素相関を利用して符号化し、前記Ｐスライスを当該スライス内の画素相関、または当該スライスと他のスライスとの間の画素相関を利用して符号化することにより、前記時間順に連続する複数のピクチャの符号化データを生成する符号化データ生成部と、前記時間順に連続する複数のピクチャに共通のデータと、前記時間順に連続する複数のピクチャの符号化データとを含むストリームを生成するストリーム生成部とを備え、前記ストリーム生成手段は、前記Ｉスライスが前記一方端に位置するピクチャが符号化された符号化データの直前に、前記共通のデータを配置するとしてもよい。

この構成により、Ｉスライスがピクチャの一方端に位置するピクチャの直前に複数ピクチャに共通するデータを配置することで、画像復号化装置による途中再生時には、ピクチャの一方端から他方端に向かい画像が正しく表示される領域が広がっていく。この表示方法は、画面のスクロールと同様であり、日常よく目にする表示方法と似ているので視聴者が違和感を受け難い。このように、本発明に係る画像符号化方法は、途中再生時において、視聴者が違和感を受け難い映像が表示される動画像ストリームを生成できる。

また、上記の課題を解決するために、本発明に係る画像符号化装置は、画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する画像符号化装置であって、スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライス間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、前記ピクチャを分割する分割手段と、前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化手段とを備え、前記分割手段は、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、当該複数のピクチャのそれぞれを、ブロック数Ｍ（Ｍは０以上の整数）からなるＩスライスと、当該ピクチャ内の特定位置にあるＰスライスを除く、ブロック数Ｎ（Ｎは１以上の整数、かつ、Ｍ＜Ｎ）からなる複数のＰスライスとに分割することを特徴とする。

この構成により、Ｉスライスのブロック数を少なくし、Ｐスライスのブロック数を多くすることで、ピクチャ内のスライス数を少なくできるので、ピクチャ全体で処理量削減と圧縮率向上とを実現することができる。また、スライスを予め定めたブロック数で分割することができるので、パイプライン化および並列化を阻害しない。さらに、ある時点でストリームが消失してＰスライスの画質が劣化しても、ストリームが消失したＰスライスの位置のスライスが、時間順に後のピクチャでＩスライスとなった際に、ピクチャが正しく復号することができ、画質劣化が無限に伝播することを防止できる。それにより、パイプライン化あるいは並列化を阻害することなく、ストリーム消失の頻度を低めつつ、処理量削減と圧縮率とを向上する画像符号化方法および画像符号化装置を実現できる。

また、前記分割手段は、符号化対象のブロック数を示すカウント値をカウントするブロック数カウンタ手段と、前記ブロック数カウンタがカウントしたブロック数に基づいて、対象スライスの種類を決定するイントラ／インター決定手段とを備え、前記分割手段は、前記イントラ／インター決定手段で決定したスライスの種類と前記カウントしたブロック数とに基づいて、前記複数のピクチャのそれぞれにおける前記Ｉスライスと前記複数のＰスライスとの分割位置を決定することで、前記複数のピクチャのそれぞれを分割してもよい。

この構成により、イントラ／インター決定手段により決定された対象スライスの種類に応じて、対象スライスを構成するブロックの数を決定し、分割することができる。

また、前記分割手段は、前記複数のピクチャのそれぞれの内のブロックの符号化順でＩスライスの直前に位置するＰスライスを、ブロック数Ｌ（Ｌは１以上の整数、かつ、Ｌ＜Ｎ）からなる前記特定位置のＰスライスとして、分割してもよい。

また、前記分割手段は、前記複数のピクチャのそれぞれの内のブロックの符号化順でＩスライスの直後に位置するＰスライスを、ブロック数Ｊ（Ｊは１以上の整数、かつ、Ｊ＜Ｎ）からなる前記特定位置のＰスライスとして、分割してもよい。

また、前記分割手段は、前記複数のピクチャのそれぞれの内で最下位行に位置するＰスライスを、ブロック数Ｋ（Ｋは１以上の整数、かつ、Ｋ＜Ｎ）からなる前記特定位置のＰスライスとして、分割してもよい。

この構成により、ピクチャ内にある特定の位置のＰスライスの大きさを調整することで、他の位置のＰスライスに含むブロック数は一定値Ｎとできるので、ピクチャ内のスライス数を少なくすることができる。

また、前記分割手段は、前記Ｉスライスを、前記ピクチャの行を構成するブロック数の１／２以下のブロック数Ｍ（Ｍは０以上の整数）からなるスライスに分割してもよい。

それにより、Ｉスライスを構成するブロック数を少なくして符号化時のビット数を少なくしつつ、ピクチャ内の全スライス数を少なくすることができる。

また、前記分割手段は、前記Ｉスライスを、前記ピクチャの行を構成するブロック数に等しいブロック数Ｍ（Ｍは０以上の整数）からなるスライスに分割してもよい。

それにより、Ｉスライスを符号化処理が容易な行単位の最小ブロックサイズとして符号化時のビット数を少なくしつつ、ピクチャ内のスライス数を少なくすることができる。

また、前記分割手段は、さらに、前記時間順に連続する複数のピクチャの中の一定数のピクチャの中で、少なくとも１つのピクチャを、ブロック数が０からなるＩスライスと、複数のＰスライスとに分割してもよい。

それにより、ストリーム中で、符号化されたＩスライスのビット位置を調整することができる。例えばＩスライスとＰスライスの発生するビット数に偏りがあり、Ｉスライスのビット数がＰスライスのビット数よりも特に大きい場合には、ＩスライスとＩスライスの間のＰスライス数を増やすことでＩスライスを符号化する頻度を少なくすることができるので、ネットワーク上での伝送ビットレートを低減することができる。

また、前記分割手段は、Ｉスライスの位置がピクチャ内で最下位行のピクチャの次のピクチャを、Ｉスライスを含まない複数のＰスライスのみに分割してもよい。つまり、前記分割手段は、Ｉスライスの位置がピクチャ内で最下位行のピクチャの次のピクチャで、ブロック数が０のＩスライスと、複数のＰスライスとに分割してもよい。

それにより、ストリーム中で、符号化されたＩスライスのビット位置をほぼ等間隔とすることができる。例えばＩスライスとＰスライスの発生するビット数に偏りがあったとしても周期的な変動になるため、ネットワーク上でのストリーム消失を低減することができる。

また、前記分割手段は、前記時間順に連続する複数のピクチャにおいて、ピクチャにおけるＩスライスに含まれるブロック数と、当該Ｉスライスおよび当該ピクチャの次のピクチャにおけるＩスライスの間に含まれる１つ以上のＰスライスに含まれるブロック数との和が所定値となるよう、前記複数のピクチャのそれぞれを分割してもよい。

それにより、ＩスライスとＰスライスの発生するビット数に偏りがあったとしてもＩスライスでのビット数の振れを周期的なものとすることができる。すなわち、ビット数に偏りのあるＩスライスが連続してネットワーク伝送されないようにできるので、ネットワーク伝送するビット数を平準化することができる。

また、本発明の画像符号化方法は、画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する画像符号化方法であって、スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライス間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、前記ピクチャを分割する分割ステップと、前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化ステップとを含み、前記分割ステップは、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、当該複数のピクチャのそれぞれを、ブロック数Ｍ（Ｍは０以上の整数）からなるＩスライスと、当該ピクチャ内の特定位置にあるＰスライスを除く、ブロック数Ｎ（Ｎは１以上の整数、かつ、Ｍ＜Ｎ）からなる複数のＰスライスとに分割することを特徴とする。

また、上記の課題を解決するために、本発明に係る画像符号化装置は、画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する画像符号化装置であって、スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライス間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、前記ピクチャを分割する分割手段と、前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化手段とを備え、前記分割手段は、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、前記時間順に連続する複数のピクチャにおいて、Ｉスライスに含まれるブロック数と、当該Ｉスライスおよびその次のＩスライスの間に含まれる１つ以上のＰスライスに含まれるブロック数との和が所定値となるよう前記複数のピクチャのそれぞれを分割することを特徴とする。

この構成により、ＩスライスとＩスライスの間に含まれるＰスライスのブロック数が同じになる。特に、Ｐスライスを構成するブロック数を一定数とすれば、ＩスライスとＰスライスの区別なく、任意のスライス位置から連続する所定数のスライスに含まれるＩスライスとＰスライスの個数を一定にすることができるので、スライス符号化の都度、所定スライス数のビット数が一定となるよう符号化制御をすることで、符号化対象画像が急な動きを含む場合あるいは、シーンチェンジなどの画像の統計量が大きく変化する場合でも、画質の大きな劣化なく平均ビット数が一定となる符号化制御が容易に実現できる。

また、前記分割手段は、さらに、前記時間順に連続する複数のピクチャの中の一定数のピクチャの中で、少なくとも１つのピクチャを、Ｉスライスを含まない複数のＰスライスに分割してもよい。つまり、前記分割手段は、さらに、前記時間順に連続する複数のピクチャの中の一定数のピクチャの中で、少なくとも１つのピクチャを、ブロック数が０からなるＩスライスと、複数のＰスライスとに分割してもよい。

また、上記の課題を解決するために、本発明の画像符号化方法は、画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する画像符号化方法であって、スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライス間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、前記ピクチャを分割する分割ステップと、前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化ステップとを含み、前記分割ステップは、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、前記時間順に連続する複数のピクチャにおいて、Ｉスライスに含まれるブロック数と、当該Ｉスライスおよびその次のＩスライスの間に含まれる１つ以上のＰスライスに含まれるブロック数との和が所定値となるよう前記複数のピクチャのそれぞれを分割することを特徴とする。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体あるいはインターネット等の通信媒体を介して配信してもよい。

本発明によれば、パイプライン化あるいは並列化を阻害することなく、ストリーム消失の頻度を低めつつ、処理量削減と圧縮率とを向上する画像符号化方法および画像符号化装置を提供することが可能となる。

具体的には、本発明に係る画像符号化方法および画像符号化装置では、Ｉスライスの大きさ（ブロック数）をＰスライスの大きさ（ブロック数）よりも小さくなるようスライスに分割する。それにより、（１）ピクチャのスライス数を少なくし、スライス分割による処理量増加と圧縮率劣化を防止、（２）Ｉスライスのブロック数が少ないので、Ｉスライスのビット数は少なく、画質劣化の伝播防止に重要なＩスライスがストリーム消失の影響を受けにくい、という効果が得られる。

図１は、ＭＰＥＧ−２のスライスとブロックの関係の説明図である。 図２は、ピクチャにおける複数のブロックの符号化順の説明図である。 図３は、時間順に連続するピクチャのスライス分割例を示す図である。 図４は、ＭＰＥＧ−２規格のスライス分割方法を用いた場合における画像符号化装置８００の構成を示すブロック図である。 図５は、ＭＰＥＧ−４規格のスライス分割方法を用いた場合におけるスライスとブロックとの関係の１例を説明する図である。 図６は、時間順に連続するピクチャのスライス分割例を示す図である。 図７は、ＭＰＥＧ−４規格のスライス分割方法を用いた場合における画像符号化装置の構成を示すブロック図である。 図８は、時間順に連続するピクチャのスライス分割例を示す図である。 図９Ａは、時間順に各スライスを符号化したビット数の例を示す図である。 図９Ｂは、時間順に各スライスを符号化したビット数の例を示す図である。 図１０は、本発明のスライス分割方法を用いた場合における画像符号化装置の構成を示すブロック図である。 図１１は、本発明の実施の形態１におけるスライス分割方法を用いた場合のスライスとブロックとの関係を説明する図である。 図１２は、本発明の実施の形態１における時間順に連続するピクチャのスライス分割例を示す図である。 図１３Ａは、本発明の実施の形態１におけるストリームをネットワーク伝送する場合を説明するための図である。 図１３Ｂは、本発明の実施の形態１におけるストリームをネットワーク伝送する場合を説明するための図である。 図１４は、本発明の実施の形態１における画像符号化装置が符号化する場合の処理を説明するフローチャートである。 図１５は、本発明の実施の形態２における時間順に連続するピクチャのスライス分割例を示す図である。 図１６は、本発明の実施の形態２における画像符号化装置が符号化する場合の処理を説明するフローチャートである。 図１７は、本発明の実施の形態３における時間順に連続するピクチャのスライス分割例を示す図である。 図１８は、本発明の実施の形態３における画像符号化装置が符号化する場合の処理を説明するフローチャートである。 図１９は、本発明の実施の形態４における時間順に連続するピクチャのスライス分割例を示す図である。 図２０は、本発明の実施の形態５における時間順に連続するピクチャのスライス分割例を示す図である。 図２１は、本発明の実施の形態６における時間順に連続するピクチャのスライス分割例を示す図である。 図２２Ａは、本発明の実施の形態６における時間順に各スライスを符号化したビット数の例を示す図である。 図２２Ｂは、本発明の実施の形態６における時間順に各スライスを符号化したビット数の例を示す図である。 図２３は、本発明の実施の形態６における画像符号化装置が符号化する場合の処理を説明するフローチャートである。 図２４は、本発明の実施の形態６における画像符号化装置が符号化する場合の処理を説明するフローチャートである。 図２５は、本発明の実施の形態７における時間順に連続するピクチャのスライス分割例を示す図である。 図２６は、本発明の実施の形態７における時間順に連続するピクチャのスライス分割例を示す図である。 図２７Ａは、本発明の実施の形態７における時間順に各スライスを符号化したビット数の例を示す図である。 図２７Ｂは、本発明の実施の形態７における時間順に各スライスを符号化したビット数の例を示す図である。 図２８は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割例を示す図である。 図２９は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割例を示す図である。 図３０は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割例を示す図である。 図３１は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割例を示す図である。 図３２は、本発明の実施の形態７における時間順に連続するピクチャのスライス分割の変形例を示す図である。 図３３Ａは、図３２における時間順に各スライスを符号化したビット数の例を示す図である。 図３３Ｂは、図３２における時間順に各スライスを符号化したビット数の例を示す図である。 図３４は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割の変形例を示す図である。 図３５は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割の変形例を示す図である。 図３６は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割の変形例を示す図である。 図３７は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割の変形例を示す図である。 図３８は、ＭＰＥＧ−２におけるＧＯＰ構造を示す図である。 図３９は、ＭＰＥＧ−２におけるストリーム構造を示す図である。 図４０は、Ｈ．２６４におけるピクチャのスライス構成を示す図である。 図４１は、本発明の実施の形態８に係る、画像符号化装置のブロック図である。 図４２は、本発明の実施の形態９に係る、画像符号化装置のブロック図である。 図４３は、本発明の実施の形態９に係る各ピクチャのスライス分割例を示す図である。 図４４は、本発明の実施の形態９に係る、ストリームの構造を示す図である。 図４５は、本発明の実施の形態９に係る、スライス分割においてＧＯＰの最初から正しく復号できるスライスを示す図である。 図４６は、本発明の実施の形態９に係るストリームが符号化された際の表示例を示す図である。 図４７は、ＧＯＰ先頭ピクチャの最初にＩスライスが位置しない場合に正しく復号できるスライスを示す図である。 図４８Ａは、本発明の実施の形態９に係る、参照ピクチャと対象ピクチャとの関係を示す図である。 図４８Ｂは、本発明の実施の形態９に係る、参照ピクチャと対象ピクチャとの関係を示す図である。 図４８Ｃは、ＧＯＰ先頭ピクチャの最初にＩスライスが位置しない場合の参照ピクチャと対象ピクチャとの関係を示す図である。 図４８Ｄは、ＧＯＰ先頭ピクチャの最初にＩスライスが位置しない場合の参照ピクチャと対象ピクチャとの関係を示す図である。 図４９は、本発明の実施の形態９に係る、画像符号化装置によるスライス符号化の流れを示すフローチャートである。 図５０は、本発明の実施の形態１０に係る、各ピクチャのスライス分割例を示す図である。 図５１は、本発明の実施の形態１０に係る、ストリームの構造を示す図である。 図５２は、本発明の実施の形態１１に係る、各ピクチャのスライス分割例を示す図である。 図５３は、本発明の実施の形態１１に係る、ストリームの構造を示す図である。 図５４は、本発明の実施の形態１２に係る、各ピクチャのスライス分割例を示す図である。 図５５は、本発明の実施の形態１２に係る、各ピクチャのスライス分割の変形例を示す図である。 図５６は、本発明の実施の形態１３に係る、各ピクチャのスライス分割例を示す図である。 図５７Ａは、本発明の実施の形態１４に係る、記録媒体の構成を示す図である。 図５７Ｂは、本発明の実施の形態１４に係る、記録媒体の構成を示す図である。 図５７Ｃは、本発明の実施の形態１４に係る、コンピュータシステムの構成を示す図である。

以下、本発明の実施の形態について、図を用いて説明する。

図１０は、本発明のスライス分割方法を用いた場合における画像符号化装置１００の構成を示すブロック図である。

画像符号化装置１００は、ブロック数カウンタ部１０２と、イントラ／インター決定部１０４と、スライスサイズ決定部１０６と、ビデオ・エンコーダ１０８とを備える。

ブロック数カウンタ部１０２は、符号化するスライスにおけるブロック数を計測する。

また、ブロック数カウンタ部１０２は、ビデオ・エンコーダ１０８が符号化対象とするスライスのブロック数、すなわち、スライス内でいくつ目のブロックであるかをイントラ／インター決定部１０４とスライスサイズ決定部１０６とに通知する。

イントラ／インター決定部１０４は、ブロック数カウンタ部１０２から通知されたブロック数から、ビデオ・エンコーダ１０８が符号化対象とするスライスがＩスライスかＰスライスかのいずれであるかを決定する。

イントラ／インター決定部１０４は、決定したスライスの種類（ＩスライスまたはＰスライス）をビデオ・エンコーダ１０８とスライス種類取得部１０６４に通知する。

スライスサイズ決定部１０６は、ブロック数取得部１０６２とスライス種類取得部１０６４と、参照部１０６５と、スライス分割位置決定部１０６６とを備える。

スライス種類取得部１０６４は、イントラ／インター決定部１０４から通知されたビデオ・エンコーダ８０８が符号化対象とするスライスの種類（ＩスライスかＰスライス）を取得する。

ブロック数取得部１０６２は、ブロック数カウンタ部１０２から通知されたビデオ・エンコーダ８０８が符号化対象とするスライスのブロック数を取得する。

スライス分割位置決定部１０６６は、スライス種類取得部１０６４が取得したスライスの種類に基づきブロック数取得部１０６２が取得したブロック数から、ビデオ・エンコーダ１０８が符号化対象とするスライス単位の区切りのブロック（以下、スライス分割位置と記載）であるかどうかを決定する。

スライス分割位置決定部１０６６は、決定したスライス分割位置をビデオ・エンコーダ８０８に通知する。スライス分割位置決定部１０６６から通知されるスライス分割位置によりビデオ・エンコーダ１０８でスライスに分割される。具体的には、スライス分割位置決定部１０６６は、スライス種類取得部１０６４が取得したスライスの種類がＩスライスである場合、ブロック数カウンタ部１０２から通知されたスライス内のブロック数がＭ個になった時点をスライス分割位置と決定し、ビデオ・エンコーダ１０８に通知する。

スライス分割位置決定部１０６６は、スライス種類取得部１０６４が取得したスライスの種類がＰスライスである場合、ブロック数カウンタ部１０２から通知されたブロック数がＮ個（Ｎ＞Ｍ）になった時点をスライス分割位置と決定し、ビデオ・エンコーダ１０８に通知する。ここで、ＮおよびＭは整数である。

ここでは、スライス分割位置決定部１０６６は、参照部１０６５に保存されているテーブルなどに記載されたルールに基づいてスライス分割位置を決定している。参照部１０６５では、例えば、Ｐスライスならブロック数がＮ個（Ｎ＞Ｍ）になった時点をＰスライス分割位置とし、Ｉスライスならブロック数がＭ個（Ｎ＞Ｍ）になった時点をＩスライス分割位置とする等のスライス分割位置決定ルールを記載したテーブルが保存されている。

ビデオ・エンコーダ１０８は、スライスサイズ決定部１０６で通知されるスライス分割位置毎のスライス単位で、かつイントラ／インター決定部１０４で通知されたスライスの種類に基づいて、ブロック単位に入力画像ＶＩＮを使用可能な符号化方法（イントラ符号化もしくはインター符号化）で、符号化する。ビデオ・エンコーダ１０８は、符号化した入力画像ＶＩＮをストリームＳＴＲとしてパケット化部２００に出力する。

パケット化部２００は、ストリームＳＴＲをネットワークの伝送に適した形式に変換する。例えば、ストリームＳＴＲをスライス単位で１つのネットワーク伝送単位に変換する。ここで、ストリームＳＴＲにおいて１つのスライスを複数のネットワーク伝送単位に変換してもよい。

（実施の形態１）
図１１は、本発明の実施の形態１におけるスライス分割方法を用いた場合のスライスとブロックとの関係を説明する図である。図１１に示すピクチャ（１フレーム）は、複数のブロックで構成されている。ピクチャを構成するブロックの中で、斜線をつけた複数のブロックの領域は、スライスであり、Ｉスライスである。その他の太い線で囲まれた複数のブロックは、スライスであり、Ｐスライスである。ここでは、ピクチャはＩスライスとＰスライスとで構成される例を示している。図１のＭＰＥＧ−２規格のスライス分割方法と本発明におけるスライス分割方法との違いは、Ｉスライスに含まれるブロック数がＰスライスに含まれるブロック数よりも少ない（スライスサイズが小さい）ことである。

図１２は、本発明の実施の形態１における時間順に連続するピクチャのスライス分割例を示す図である。ここで、斜線をつけたスライスは、Ｉスライスであり、その他のスライスはＰスライスである。

図１２（ａ）〜図１２（ｌ）はこの順で時間順に連続するピクチャである。Ｉスライスの位置が、時間順に次のピクチャでは１行下に移動する。ＰスライスとＰスライスの間の分割位置は、Ｉスライスの位置によらず固定である。すなわち、スライス分割位置決定部１０６６は、Ｐスライスを構成するブロック数は原則として一定となるようスライス分割位置を決定している。しかしながら、ピクチャ内のＩスライスの直前および直後のＰスライスでは、Ｉスライスが挿入されることでＰスライスに含まれるブロック数が、例外的に少なくなる。そのため、スライス分割位置決定部１０６６は、例外的に少なくなるこの場合を許容してスライス分割位置を決定している。また、ピクチャのブロック数が等サイズのＰスライスで分割できない場合は、ピクチャの最下位行のＰスライスも例外的にブロック数が少なくなる。スライス分割位置決定部１０６６は、同様に、例外的に少なくなるこの場合を許容してスライス分割位置を決定している。

このように、Ｉスライスのブロック数を少なくし、Ｐスライスのブロック数を多くすることで、ピクチャ内のスライス数を少なくできる。さらに、イントラ符号化のブロックのみで構成されるＩスライスをピクチャ単位で巡回的に移動することができるので、ストリームの消失に強い画像符号化を行うことができる。すなわち、ある時点でストリームが消失してＰスライスの画質が劣化しても、ストリームが消失したＰスライスのピクチャ内の水平・垂直位置のスライスが、時間順に後のピクチャでＩスライスとなった際に、ピクチャが正しく復号することができ、画像劣化のあったストリームを回復できる。

また、図１２で示すように、ピクチャ内のＩスライスの位置が、最下位行に移動した次のピクチャは、Ｉスライスを含まないＰスライスのみのピクチャとして符号化され、次のピクチャで最上位行に戻るように符号化される（図１２（ｊ）から図１２（ｌ））。すなわち、スライスサイズ決定部１０６は、スライス決定したスライス分割位置が、ビデオ・エンコーダ１０８が符号化するスライスが、Ｉスライスで、かつピクチャの最下位行であった場合に、ビデオ・エンコーダ１０８が次に符号化するピクチャは、Ｉスライスを含まないＰスライスのみで構成するようビデオ・エンコーダ１０８に通知する。ビデオ・エンコーダ１０８は、スライスサイズ決定部１０６の通知に基づいて、例えば直前のピクチャと同じスライス分割位置で、かつ、Ｐスライスのみで構成するピクチャを符号化する。

なお、Ｉスライスを含まないＰスライスのみのピクチャを、ブロック数が０であるＩスライスと１つ以上のＰスライスとで構成されるピクチャと表現してもよい。

また、Ｉスライスを含まないＰスライスのみのピクチャとして符号化する方法は、参照部１０６５に保存されているテーブルに記載されたルールに基づいている。

これにより、ピクチャのＩスライスと、次のピクチャのＩスライスとの間にあるＰスライスの符号化されるブロック数は、Ｉスライスが循環する過程（例えば図１２（ａ）から図１２（ｌ））で一定になる。その結果、ストリーム中で、符号化されたビット数の多いＩスライスのビット位置がほぼ等間隔となる。それ故、例えば、ストリームＳＴＲをスライス単位でネットワーク伝送する場合に、ネットワーク伝送するビット数を平準化することができる。

ビットレートが低い場合あるいは、複雑な動きの少ない画像信号では、Ｉスライスのビット数と比べてＰスライスのビット数が非常に少なくなる。イントラ符号化のブロックあたりのビット数が、インター符号化のビット数の１０倍以上になることも多く、Ｐスライスのブロック数をＩスライスのブロック数より多くしても、Ｉスライスのビット数が非常に多くなることがある。ストリーム中で、符号化されたＩスライスのビット位置をほぼ等間隔とすることで、ＩスライスとＰスライスの発生するビット数に偏りがあったとしても周期的な変動になるため、ネットワークの送受信バッファでその変動を吸収しやすくなり、変動が大きい場合に発生頻度が高くなるネットワークでのストリーム消失を低減することができる。

このように、ストリーム消失に強いＩスライスと、ストリーム消失には弱いが圧縮率の良いインター符号化を含むＰスライスとでピクチャを構成し、Ｉスライスの位置を時間順にピクチャ内で循環する。例えば、ある時点でストリームが消失してＰスライスの画質が劣化すると、ストリームが消失したＰスライスの位置のスライスは、後に続くピクチャでＩスライスとなるまで画質劣化が伝播する。しかし、ストリームが消失したそのピクチャでの位置のスライスが、時間順に後のピクチャでＩスライスとなったときには、Ｉスライスはスライス内の画素の相関のみを利用して符号化されるスライスであるので、ピクチャのその位置でのスライスが正しく復号される。すなわち、画像劣化のあったストリームが回復される。それ故、画質劣化が無限に伝播することを防止できる。

なお、より確実に画質劣化の伝播を防止するためには、各ピクチャ（例えば図１２（ａ）から図１２（ｌ））におけるＰスライスが参照する（画素相関を利用する）範囲が、各ピクチャ（例えば図１２（ａ）から図１２（ｌ））におけるそのＰスライスよりも上（先頭）側に位置するＰスライスまたはＩスライスに限定するとよい。しかし、そのような限定をしない場合であっても、一般的に参照するのは時間的に近い（例えば直前の）ピクチャの同じ位置のスライスであることが多いことから、以前に生じた画質劣化が、画質劣化を生じた画素と同じ位置の画素を含むスライスがＩスライスであるピクチャ以降のピクチャにまで伝播する可能性は低減する。

ここで、ストリームをネットワーク伝送する場合のビット数の振れを図１３Ａおよび図１３Ｂに示す。

図１３Ａおよび図１３Ｂは、本発明の実施の形態１におけるストリームをネットワーク伝送する場合を説明するための図である。

図１３Ａでは、比較のために従来例として、ストリームをピクチャ単位（フレーム単位）でネットワーク伝送する場合を示す図である。

図１３Ｂは、ストリームをスライス単位でネットワーク伝送する場合を示す図である。

本発明では、Ｉスライスのブロック数をＰスライスのブロック数よりも少なくしているので、図１３Ｂに示すように、ＩスライスとＰスライスとのビット数の大きさの隔たりを少なくできる。また、ＩスライスとＰスライスの発生するビット数に偏りがあったとしてもＩスライスでのビット数の振れは周期的なものとなる。そのため、ネットワーク伝送するビット数を平準化することができる。

ここで、上述したように、図１２（ｋ）においてＩスライスを含まないＰスライスのみのピクチャとして符号化する。それにより、図１３Ｂで示すフレーム毎だけでなく、連続したフレーム（ストリーム）を符号化した場合に、フレーム境界付近で、Ｉスライスが連続して符号化されて、大きなビット数が連続しないようにすることができる。すなわち、Ｉスライスでのビット数の振れを周期的にすることで、ネットワーク伝送するビット数を平準化できる。

なお、図１２から明らかなように、ピクチャのスライスの境界となるマクロブロック位置はピクチャ毎に（巡回するが）固定的に決定されており、入力の画像信号の内容に依存しない。従って、スライス単位で符号化処理を並列化し、高速な画像符号化装置を実現することが可能である。

図１４は、本発明の実施の形態１における画像符号化装置１００が符号化する場合の処理を説明するフローチャートである。

まず、スライスサイズ決定部１０６は、ビデオ・エンコーダ１０８の符号化対象スライスがＩスライスであるかを判定する（Ｓ１０１）。具体的には、スライス分割位置決定部１０６６は、スライス種類取得部１０６４に取得されたスライスの種類を判定する。

スライス種類取得部１０６４が取得したスライスの種類がＩスライスである場合（Ｓ１０１の“はい”の場合）、スライス分割位置決定部１０６６は、参照部１０６５に保存されているルールに基づいて、スライス分割位置をＭブロック目と決定する。すなわち、スライス分割位置決定部１０６６は、ブロック数取得部１０６２に取得されたブロック数から、Ｉスライスの開始となるブロックからＭブロック目をスライス分割位置と決定する。スライス分割位置決定部１０６６から通知されるスライス分割位置に基づいて、ビデオ・エンコーダ８０８は、ＩスライスのスライスサイズをＭブロックとして符号化する（Ｓ１０４）。

次に、スライス種類取得部１０６４に取得されたスライスの種類がＩスライスでない場合（Ｓ１０１の“いいえ”の場合）、すなわち、スライス種類取得部１０６４に取得された符号化対象スライスの種類がＰスライスである場合、スライス分割位置決定部１０６６は、符号化対象スライスがピクチャ最後（最下位行）のスライスであるかどうかを判定する（Ｓ１０２）。すなわち、スライス分割位置決定部１０６６は、ブロック数取得部１０６２に取得されたブロック数から、符号化対象スライスがピクチャ最後のスライス位置であるかを判定する。

符号化対象スライスがピクチャ最後のスライスである場合、スライス分割位置決定部１０６６は、参照部１０６５に保存されているルールに基づいて、スライス分割位置をＮ以下（Ｎ＞Ｍ）のブロック目と決定する。スライス分割位置決定部１０６６から通知されるスライス分割位置に基づいて、ビデオ・エンコーダ８０８は、ピクチャ最後のＰスライスのスライスサイズをＮ以下（Ｎ＞Ｍ）のブロック数として符号化する（Ｓ１０５）。ピクチャ最後のＰスライスのスライスサイズ、すなわちピクチャ最後のＰスライスを構成するブロック数はピクチャのブロック数で決定される。例えば、ピクチャがＬブロックで構成される場合には、ＬをＮで除算した余りの数が最後のスライスのブロック数になる。

次に、符号化対象スライスがピクチャ最後のスライスでない場合、スライス分割位置決定部１０６６は、ブロック数取得部１０６２に取得されたブロック数とスライス種類取得部１０６４に取得されたスライスの種類に基づいて、符号化対象のＰスライスのピクチャ内での位置がＩスライスの直前もしくは直後のスライスであるかどうかを判定する（Ｓ１０３）。

符号化対象スライスが、Ｉスライスの直前もしくは直後のスライスである場合、図１２に示すようにＩスライス挿入によってＰスライスのブロック数がＮより少なくなるので、そのブロック数に応じたスライスにする（Ｓ１０５）。すなわち、符号化対象ＰスライスがＩスライスの直前もしくは直後のスライスである場合、スライス分割位置決定部１０６６は、ブロック数取得部１０６２に取得されたブロック数とスライス種類取得部１０６４に取得されたスライスの種類とに基づいて、スライスを構成するブロックの数をＮ以下として、Ｉスライスの直前もしくは直後であるＰスライスのスライス分割位置を決定する。

次に、符号化対象スライスが、Ｉスライスの直前でも直後でもないスライスの場合、Ｎブロック数でスライスを構成する（Ｓ１０６）。すなわち、スライス分割位置決定部１０６６は、ブロック数取得部１０６２に取得されたブロック数とスライス種類取得部１０６４に取得されたスライスの種類とに基づいて、Ｐスライスを構成するブロックの数をＮとしてＩスライスの直前もしくは直後でないＰスライスのスライス分割位置を決定する。

なお、図１４を用いて説明した、Ｓ１０１、Ｓ１０２およびＳ１０３の判定順序は、スライスを構成するブロック数が上述で記述した内容と変わらない範囲で入れ替えても構わない。例えば、Ｓ１０２とＳ１０３の順序は入れ替え可能である。

以上、本実施の形態１によれば、ある時点でストリームが消失してＰスライスの画質が劣化しても、ストリームが消失したＰスライスの位置のスライスが、時間順に後のピクチャでＩスライスとなった際に、ピクチャが正しく復号することができ、画像劣化のあったストリームを回復できる。それ故、画質劣化が無限に伝播することを防止できる。さらに、スライスのブロック数を少なくし、Ｐスライスのブロック数を多くすることで、ピクチャ内のスライス数を少なくできる。スライスの分割位置がピクチャ単位で決まっているため、パイプライン化あるいは並列化を阻害することなく、ストリーム消失の頻度を低めつつ、処理量削減と圧縮率とを向上する画像符号化方法および画像符号化装置を実現できる。

なお、本発明におけるスライス単位で符号化の並列処理を行うためには、画像符号化装置１００を複数個準備し、各並列単位におけるブロック数カウンタ部１０２で上述したようにブロック数を計算すればよい。例えば、図１１と図１２のスライス分割例において２つで並列化する場合は、ピクチャの上半分の６行と、下半分の４行のブロックに分割し、上半分と下半分の処理を並列化することができる。つまり、本実施の形態１では、Ｐスライスのピクチャ内での境界位置は原則固定である。そのため、単純にブロック数でピクチャを固定の境界位置で分割して、複数の処理ユニット（プロセッサもしくはハードウェア）で処理させることで、スライス単位で処理を並列化することができる。

（実施の形態２）
次に、実施の形態２について、以下説明する。なお、実施の形態１と同じ構成および同じ動作については説明を省略する。

図１５は、本発明の実施の形態２における時間順に連続するピクチャのスライス分割例を示す図である。ここで、斜線をつけたスライスは、Ｉスライスであり、その他のスライスはＰスライスである。図１２における実施の形態１のスライス分割方法と図１５における本実施の形態２のスライス分割方法との違いは、Ｉスライスの直後のＰスライスの大きさが一定（Ｎブロック）であり、Ｉスライスより下のＰスライスの境界位置（スライス分割位置）がＩスライスの行数だけ下に移動することである。

そのため、本実施の形態２では、ピクチャを構成するスライス数が実施の形態１より少ないのが特徴である。例えば、図１２と図１５とを比較する。図１２（ａ）と図１５（ａ）、図１２（ｂ）と図１５（ｂ）、図１２（ｄ）と図１５（ｄ）並びに、図１２（ｅ）と図１５（ｅ）を比較すると図１５で示される実施の形態２におけるピクチャを構成するスライス数が少ない。従って、ピクチャを構成するスライス数が削減でき、処理量削減あるいは圧縮率向上の効果が得られる。

図１６は、本発明の実施の形態２における画像符号化装置１００が符号化する場合の処理を説明するフローチャートである。なお、図１４で説明した処理と同じ処理の箇所は同じ記号を付し、説明を省略する。

本実施の形態２ではＩスライス直後の位置でのＰスライスのブロック数は、ピクチャ内最後の位置の場合でのＰスライスを除外するとＮブロックである。よって、図１４のＳ１０３の代わりに、Ｉスライスの直前のスライスであれば、図１５に示すようにＩスライス挿入によってＰスライスのブロック数がＮより少なくなるので、そのブロック数に応じたスライスにする（Ｓ１１０）。すなわち、符号化対象ＰスライスがＩスライスの直前のスライスである場合、スライス分割位置決定部１０６６は、ブロック数取得部１０６２に取得されたブロック数とスライス種類取得部１０６４に取得されたスライスの種類とに基づいて、スライスを構成するブロックの数をＮ以下として、Ｉスライスの直前であるＰスライスのスライス分割位置を決定する。

（実施の形態３）
次に、実施の形態３について、以下説明する。なお、実施の形態１および２と同じ構成および同じ動作については説明を省略する。

図１７は、本発明の実施の形態３における時間順に連続するピクチャのスライス分割例を示す図である。ここで、斜線をつけたスライスは、Ｉスライスであり、その他のスライスはＰスライスである。

実施の形態１では、最下位行がＩスライスのピクチャと最上位行がＩスライスのピクチャの間のピクチャを除き、全てのピクチャにＩスライスを含む例を示した。本実施の形態３では、ネットワークの品質が高く、Ｉスライスの挿入頻度が少なくてもよい場合を想定する。その場合には、図１７に示すように、Ｉスライスを含まないピクチャを定期的に挿入する。

ところで、一般的には、ストリームを再生する場合において、２秒間のストリームの中に１つ以上Ｉピクチャを挿入するのが望ましいといわれている。例えば、ストリーム再生１秒間に３０フレームが必要とする場合には、６０フレーム毎に１枚のＩピクチャが必要ということになる。ここでは、ピクチャ単位でなく、スライス単位での伝送を想定しているので、６０フレーム単位で、ピクチャ内でのＩスライスの位置が時間順に移動、すなわち、周期的に循環すればよい。

それ故、図１７に示すように、時間順に連続する２ピクチャ毎に、Ｉスライスを含まないピクチャを定期的に挿入しても、ストリーム再生に影響はない。したがって、ネットワークの品質が高くて、Ｉスライスの挿入頻度が少なくてもよい場合には、ビット数の多いイントラ符号化のブロック数を削減し、圧縮率を向上できる。

図１８は、本発明の実施の形態３における画像符号化装置１００が符号化する場合の処理を説明するフローチャートである。なお、図１４で説明した処理と同じ処理の箇所は同じ記号を付し、説明を省略する。

まず、最初にスライスサイズ決定部１０６は、ビデオ・エンコーダ１０８の符号化対象ブロックを含むピクチャにＩスライスを含めるかどうかを決定する（Ｓ２００）。

ここで、符号化対象ブロックを含むピクチャにＩスライスを含めるかどうかは、参照部１０６５に保存されたテーブルに記載されたルールに基づいてスライス分割位置決定部１０６６が決定する。ここでは、例えば図１７に示すように、２ピクチャ毎にＩスライスを含まないピクチャがあるように決定している。

スライスサイズ決定部１０６が、ビデオ・エンコーダ１０８の符号化対象ブロックを含むピクチャにＩスライスを含むと決定した場合は（Ｓ２００の“はい”の場合）、実施の形態１における図１４のフローチャートと同じ処理になるので、説明を省略する。

次に、スライスサイズ決定部１０６が、ビデオ・エンコーダ１０８の符号化対象ブロックを含むピクチャにＩスライスを含めないと決定した場合（Ｓ２００の“いいえ”の場合）、スライスサイズ決定部１０６は、ビデオ・エンコーダ１０８の符号化対象スライスのピクチャ内の位置が最下位かどうかを判定する（Ｓ２０１）。

ビデオ・エンコーダ１０８は、スライスサイズ決定部１０６からの判定結果の通知に基づいて、ピクチャ内で最下位行以外のＰスライスのブロック数をＮブロックとして符号化し（Ｓ１０６）、最下位行のＰスライスは、符号化対象のピクチャと時間順に直前もしくは直後のピクチャの最下位行のＰスライスのブロック数と同じにして符号化する（Ｓ１０５）。

（実施の形態４）
次に、実施の形態４について、以下説明する。なお、実施の形態１および実施の形態２と同じ構成および同じ動作については説明を省略する。

図１９は、本発明の実施の形態４における時間順に連続するピクチャのスライス分割例を示す図である。ここで、斜線をつけたスライスは、Ｉスライスであり、その他のスライスはＰスライスである。図１５における実施の形態２のスライス分割方法と図１９における本実施の形態４のスライス分割方法との違いは、実施の形態２のスライス分割方法に加えて、Ｉスライスを含まないピクチャを定期的に挿入している点にある。例えば、図１９（ｆ）、図１９（ｈ）および図１９（ｌ）がそれに相当する。

実施の形態２のように、ピクチャ全体のＰスライスの境界がＩスライスの挿入位置に応じて移動する場合は、実施の形態３に示すように、Ｉスライスを含まないピクチャのＰスライスの境界位置を固定的に決定することはできない。それ故、実施の形態４では、ピクチャがＩスライスを含まない場合には、符号化対象のピクチャと時間順に直前のＰスライスの境界と同じ位置をスライス分割位置とするＰスライスにする。

なお、ピクチャがＩスライスを含まない場合において、符号化対象のピクチャと時間順に直後のＰスライスの境界と同じ位置をスライス分割位置とするＰスライスに分割してもよい。また、実施の形態３におけるＩスライスを含まないピクチャと同じ位置を固定的にスライス分割位置とするＰスライスに分割してもよい。

（実施の形態５）
次に、実施の形態５について、以下説明する。なお、実施の形態１〜実施の形態４と同じ構成および同じ動作については説明を省略する。

図２０は、本発明の実施の形態５における時間順に連続するピクチャのスライス分割例を示す図である。ここで、斜線をつけたスライスは、Ｉスライスであり、その他のスライスはＰスライスである。

ここまで（実施の形態１〜実施の形態４）の説明では、Ｉスライスを構成するブロックは、ピクチャを構成するブロックの行単位である場合について説明した。しかし、Ｉスライスを構成するブロックは、ピクチャを構成するブロックの行単位でなく、ピクチャを構成するブロックの行の途中の一部のブロックであってもよい。図２０では、Ｉスライスを、ピクチャを構成するブロックの行の半分のブロックであるとし、ピクチャ毎に左半分がＩスライスの場合と右半分がＩスライスの場合を交互に符号化する。

このようにすることで、ネットワークの品質が高く、Ｉスライスの挿入頻度が少なくてもよい場合には、ビット数の多いイントラ符号化のブロック数を削減し、圧縮率を向上できる。

（実施の形態６）
次に、実施の形態６について説明する。実施の形態１〜実施の形態５では、Ｉスライスを構成するブロック数がＰスライスを構成するブロック数より少ない場合について、説明した。実施の形態６では、Ｉスライスを構成するブロック数がＰスライスを構成するブロック数と同じ場合を前提に説明する。

図２１は、本発明の実施の形態６における時間順に連続するピクチャのスライス分割例を示す図である。ここで、斜線をつけたスライスは、Ｉスライスであり、その他のスライスはＰスライスである。また、ここでは、それぞれのピクチャは５つのスライスで構成される。

図２１において、ピクチャＮからピクチャＮ＋９は、この順で時間順に連続するピクチャである。Ｉスライスの位置は、ピクチャＮからピクチャＮ＋４まで順番にピクチャ内での位置が１つずつ下に移動し、ピクチャＮ＋４でピクチャ内での最下位置になる。ピクチャＮ＋５では、Ｉスライスを含まずＰスライスのみとなっている。ピクチャＮ＋６では、ピクチャ内での最上位置がＩスライスの位置となっている。このように、図２１では、時間順に連続するピクチャ内のＩスライスの位置が移動する。

図２２Ａおよび図２２Ｂは、本発明の実施の形態６における時間順に各スライスを符号化したビット数の例を示す図である。図２２Ａおよび図２２Ｂでは、ストリームを図２１で示すスライス単位でネットワーク伝送する場合に、時間順に各スライスを符号化したビット数の例を示している。図２２Ａは、図２１で示すピクチャを構成するスライスを上から下の順序で符号化し、横軸に時刻、縦軸に当該スライスの符号化で発生するビット数の大きさのイメージを図示している。図２１および図２２Ａから分かるように、ピクチャを構成するＩスライスが時間順に上から下の順序、すなわち、周期的に循環する。

また、図２２Ｂは、時間順に連続する複数のピクチャを符号化し、これらピクチャを符号化順に一定のビットレートで伝送している様子を示している。ここで、図２２Ｂでは、横軸方向の幅（長さ）がビット数の大きさを示している。

ところで、上述したように、各ピクチャに同数のＩスライスを含む図９Ｂに示す従来例の場合では、ピクチャＮ＋４とピクチャＮ＋５の間でＩスライスが２回連続する。これに対して、図２２Ｂに示す実施の形態６の場合、ピクチャＮ＋４、ピクチャＮ＋５、ピクチャＮ＋６の間でも、Ｉスライスとその次のＩスライスとの間のＰスライスは５個と固定である。すなわち、ストリームをスライス単位でネットワーク伝送する場合に、Ｉスライスが２回連続することがないようにすることで、ネットワーク伝送するビット数を平準化している。

実施の形態６におけるスライス構造では、図２２Ｂの区間Ａ〜区間Ｅに示すように、いずれの区間での６個のスライス、すなわちどの連続する６個のスライスにも、１つのＩスライスと５つのＰスライスとが含まれることになる。

従って、スライス単位で１つのネットワーク伝送単位に変換して符号化制御を行う場合、“連続する６つのスライスのビット数の和が一定値”となるように符号化を制御すれば、いずれの区間でも一定のビット数となる符号化制御ができる。すなわち、ネットワーク伝送するビット数を平準化することができる。

ここで、例えば、連続する６つのスライスのビット数の和をΣＢＩＴとし、１つのＩスライスと１つのＰスライスとの符号化で発生するビット数を、それぞれＲＩ、ＲＰとする。

まず、区間ＡにおけるＩスライスであるスライス０をＢＩＴ０（＝ΣＢＩＴ×ＲＩ／（ＲＩ＋５×ＲＰ））ビットで符号化しようとして制御した結果、実際に符号化で発生したビットがＢＩＴ０＋ΔＢＩＴ０ビットであるとする。この場合、区間Ａでは、ΔＢＩＴ０だけビット数が変化していることになる。

なお、区間ＡではΔＢＩＴ０だけビット数が変化したため、区間Ｂでは、ΣＢＩＴ−ΔＢＩＴ０ビットを割り当てる。また、実際に発生したビット数ＢＩＴ０＋ΔＢＩＴ０に基づいて、ＲＩを更新する。

次に、スライス１をＢＩＴ１（＝（ΣＢＩＴ−ΔＢＩＴ０）×ＲＰ／（ＲＩ＋５×ＲＰ））ビットで符号化しようとして制御した結果、実際に符号化で発生したビットがＢＩＴ１＋ΔＢＩＴ１ビットであるとする。この場合、区間ＢではΔＢＩＴ１だけビット数が変化していることになるため、上述同様に、区間ＣではΣＢＩＴ−ΔＢＩＴ１ビットを割り当てる。また、実際に発生したビット数ＢＩＴ１＋ΔＢＩＴ１に基づいて、ＲＰを更新する。

次に、スライス２をＢＩＴ２（＝（ΣＢＩＴ−ΔＢＩＴ１）×ＲＰ／（ＲＩ＋５×ＲＰ））ビットで符号化しようとして制御した結果、実際に符号化で発生したビットがＢＩＴ２＋ΔＢＩＴ２ビットであるとする。この場合、区間ＣではΔＢＩＴ２だけビット数が変化していることになるため、上述同様に、区間ＣではΣＢＩＴ−ΔＢＩＴ１ビットを割り当てる。また、実際に発生したビット数ＢＩＴ２＋ΔＢＩＴ２に基づいて、ＲＰを更新する。

次に、上述同様に、スライス３以降を符号化して、変動したビット数を、符号化したスライスが属する区間の次の区間で調整する。また、実際に発生したスライスのビット数に基づいて、ＲＰまたはＲＩを更新する。

以上のようにして、実際に発生したスライスのビット数に基づいて、ＲＩまたはＲＰを更新することで、符号化対象画像が急な動きを含む場合あるいは、シーンチェンジなどの画像の統計量が大きく変化する場合でも、簡単な計算式で符号化対象スライスのビット数を導出でき、スライス単位のビット数を適切に制御することができる。

なお、ここで特に重要なことは、画像の統計量によって発生するビット数の変動があるものの、Ｉスライスのビット数はＰスライスのビット数よりも遥かに大きいことである。その結果、実際に発生したビット数の誤差（ΔＢＩＴ０、ΔＢＩＴ１、ΔＢＩＴ２、など）の大きさは、Ｉスライスの場合に大きくなる。

図９Ｂで示した従来例のように、ネットワーク伝送時に、Ｉスライスが連続すると大きな誤差変化が連続するため、画質劣化しやすくなるだけでなく、符号化制御が難しくなり一定のビットレートにすることが困難になる。そこで、実施の形態６では、時間順に連続する複数のピクチャにおいて、あるピクチャのＩスライスと次のピクチャのＩスライスとの間にあるＰスライスの個数またはブロック数を一定にする。それにより、ネットワーク伝送のために符号化するときに、実際に発生したビット数の誤差の変化量が抑制できる。

図２３は、本発明の実施の形態６における画像符号化装置１００が符号化する場合の処理を説明するフローチャートである。

イントラ／インター決定部１０４は、ブロック数カウンタ部１０２から通知されたブロック数から、ビデオ・エンコーダ１０８が符号化対象とするスライスがＩスライスかＰスライスかのいずれであるかを決定する。実施の形態６では、イントラ／インター決定部１０４は、Ｐスライスの行数を示す値をカウンタＬとして保持している。イントラ／インター決定部１０４は、ブロック数カウンタ部１０２から通知されたブロック数と、カウンタＬを用いてスライスの種類を決定する。

まず、イントラ／インター決定部１０４は、Ｐスライスの行数を示す値であるカウンタＬを０で初期化（Ｓ３０２）した後、イントラ／インター決定部１０４は、ビデオ・エンコーダ１０８の符号化対象スライスがＩスライスであるかを判定する。すなわち、イントラ／インター決定部１０４は、Ｐスライス行数を示す値であるカウンタＬが０以下であるかどうかを判定する（Ｓ３０４）。

次に、イントラ／インター決定部１０４は、カウンタＬが０以下である場合（Ｓ３０４の“はい”の場合）、ビデオ・エンコーダ１０８が符号化対象とするスライスの種類はＩスライスであると決定する。ビデオ・エンコーダ１０８は、スライスサイズ決定部１０６で通知されるスライス分割位置と、イントラ／インター決定部１０４で通知されたスライスの種類とに基づき、符号化対象とするスライスをＩスライスで符号化する（Ｓ３０６）。

ビデオ・エンコーダ１０８が、符号化対象とするスライスをＩスライスで符号化した後、イントラ／インター決定部１０４は、カウンタＬに、連続するピクチャにおけるＩスライス挿入間隔である、Ｉスライスとその次のＩスライスとの間のＰスライスの行数の合計の値を代入する（Ｓ３０７）。

次に、イントラ／インター決定部１０４は、ビデオ・エンコーダ１０８が全ピクチャに対して符号化が完了したかどうかを確認する（Ｓ３１６）。

なお、イントラ／インター決定部１０４は、カウンタＬが０より大きい場合（Ｓ３０４の“いいえ”の場合）、ビデオ・エンコーダ１０８が符号化対象とするスライスの種類はＰスライスであると決定する。ビデオ・エンコーダ１０８は、スライスサイズ決定部１０６で通知されるスライス分割位置と、イントラ／インター決定部１０４で通知されたスライスの種類とに基づき、符号化対象とするスライスをＰスライスで符号化する（Ｓ３１２）。

ビデオ・エンコーダ１０８が、符号化対象とするスライスをＰスライスで符号化した後、イントラ／インター決定部１０４は、カウンタＬから、符号化したＰスライスの行数を減算する（Ｓ３１３）。

次に、イントラ／インター決定部１０４は、ビデオ・エンコーダ１０８が全ピクチャに対して符号化が完了したかどうかを確認する（Ｓ３１６）。完了していない場合には（Ｓ３１６の“いいえ”の場合）、Ｓ３０４〜Ｓ３１３の処理を全ての画像に対して繰り返す。

以上のように、本発明の実施の形態６における画像符号化装置１００は、符号化する場合に、連続するピクチャにおけるＩスライスとその次のＩスライスとの間に一定数のＰスライスを挿入することができる。

図２４は、本発明の実施の形態６における画像符号化装置１００が符号化する場合の処理を説明するフローチャートである。図２４は、図２３をさらに詳細にしたものであり、図２３と同じ動作をする処理は同じ番号を付し、説明は省略する。

ここで、連続する所定数のスライスのビット数の和、すなわちＩスライスのビット数と、Ｉスライスとその次のＩスライスの間にあるＰスライスの個数分のビット数との和をΣＢＩＴとする。

ここで、スライス分割位置決定部１０６６は、スライス種類取得部１０６４に取得されたスライスの種類と、ブロック数取得部１０６２に取得されたブロック数とに基づき、ビデオ・エンコーダ１０８が符号化対象とするスライスのスライス分割位置を決定する。実施の形態６では、スライス分割位置決定部１０６６は、スライス分割位置を決定するために用いるΣＢＩＴの変動値であるΔＢＩＴと、Ｉスライスのビット数の値を示すＰＩとＰスライスのビット数の値を示すＰＲとを保持している。

まず、イントラ／インター決定部１０４は、Ｐスライス行数を示す値であるカウンタＬを０で初期化する。また、スライス分割位置決定部１０６６は、ΣＢＩＴの変動値であるΔＢＩＴを０で初期化し、Ｉスライスのビット数の値を示すＰＩとＰスライスのビット数の値を示すＰＲに初期値を代入する（Ｓ３０３）。

次に、イントラ／インター決定部１０４は、ビデオ・エンコーダ１０８の符号化対象スライスがＩスライスであるかを判定する。すなわち、イントラ／インター決定部１０４は、Ｐスライス行数を示す値であるカウンタＬが０以下であるかどうかを判定する（Ｓ３０４）。

イントラ／インター決定部１０４は、カウンタＬが０以下である場合（Ｓ３０４の“はい”の場合）、ビデオ・エンコーダ１０８が符号化対象とするスライスの種類はＩスライスであると決定する。スライスサイズ決定部１０６におけるスライス分割位置決定部１０６６は、Ｌが０以下である場合、（ΣＢＩＴ−ΔＢＩＴ）×ＲＩ／（ＲＩ＋ＮＰ×ＲＰ）のビット数をＩスライスに割り当てる（Ｓ３０５）。すなわち、スライス種類取得部１０６４に取得されたスライスの種類がＩスライスである場合、スライスサイズ決定部１０６は、上述したビット数でスライス分割位置を決定し、決定したスライス分割位置をビデオ・エンコーダ１０８に通知する。ここで、ＮＰは、連続するピクチャにおけるＩスライスとその次のＩスライスとの間にあるＰスライスの個数である。

次に、ビデオ・エンコーダ１０８は、スライスサイズ決定部１０６で通知されるスライス分割位置と、イントラ／インター決定部１０４で通知されたスライスの種類とに基づき、符号化対象とするスライスをＩスライスで符号化する（Ｓ３０６）。

ビデオ・エンコーダ１０８が、符号化対象とするスライスをＩスライスで符号化した後、イントラ／インター決定部１０４は、カウンタＬに、連続するピクチャにおけるＩスライス挿入間隔である、Ｉスライスとその次のＩスライスとの間のＰスライスの行数の合計の値を代入する（Ｓ３０７）。

ここで、スライス分割位置決定部１０６６は、ビデオ・エンコーダ１０８がＩスライスの符号に割り当てたビット数（ΣＢＩＴ−ΔＢＩＴ）×ＲＩ／（ＲＩ＋ＮＰ×ＲＰ）と、実際にＩスライスを符号化したビット数との差のビット数を保持しているΔＢＩＴに代入する（Ｓ３０８）。

また、スライス分割位置決定部１０６６は、ビデオ・エンコーダ１０８がＩスライスを符号化したビット数を保持しているＲＩに代入する（Ｓ３０９）。

次に、イントラ／インター決定部１０４は、ビデオ・エンコーダ１０８が全ピクチャに対して符号化が完了したかどうかを確認する（Ｓ３１６）。

なお、Ｓ３０４において、カウンタＬが０より大きければ（Ｓ３０４の“いいえ”の場合）、イントラ／インター決定部１０４は、ビデオ・エンコーダ１０８が符号化対象とするスライスの種類はＰスライスであると決定する。スライスサイズ決定部１０６におけるスライス分割位置決定部１０６６は、カウンタＬが０より大きい場合、（ΣＢＩＴ−ΔＢＩＴ）×ＲＰ／（ＲＩ＋ＮＰ×ＲＰ）のビット数をＰスライスに割り当てる（Ｓ３１１）。すなわち、スライス種類取得部１０６４に取得されたスライスの種類がＰスライスである場合、スライスサイズ決定部１０６は、上述したビット数でスライス分割位置を決定し、決定したスライス分割位置をビデオ・エンコーダ１０８に通知する。

次に、ビデオ・エンコーダ１０８は、スライスサイズ決定部１０６で通知されるスライス分割位置と、イントラ／インター決定部１０４で通知されたスライスの種類とに基づき、符号化対象とするスライスをＰスライスで符号化する（Ｓ３１２）。

ビデオ・エンコーダ１０８が、符号化対象とするスライスをＰスライスで符号化した後、イントラ／インター決定部１０４は、カウンタＬから、符号化したＰスライスの行数を減算する（Ｓ３１３）。

ここで、スライス分割位置決定部１０６６は、ビデオ・エンコーダ１０８がＰスライスの符号に割り当てたビット数（ΣＢＩＴ−ΔＢＩＴ）×ＲＰ／（ＲＩ＋ＮＰ×ＲＰ）と、実際にＰスライスを符号化したビット数との差のビット数を保持しているΔＢＩＴに代入する（Ｓ３１４）。

また、スライス分割位置決定部１０６６は、ビデオ・エンコーダ１０８がＰスライスを符号化したビット数をＲＰに代入する（Ｓ３１５）。

次に、イントラ／インター決定部１０４は、ビデオ・エンコーダ１０８が全ピクチャに対して符号化が完了したかどうかを確認する（Ｓ３１６）。完了していない場合には（Ｓ３１６の“いいえ”の場合）、Ｓ３０４〜Ｓ３１５の処理を全ての画像に対して繰り返す（Ｓ３１６）。

以上のように、本発明の実施の形態６における画像符号化装置１００は、連続するピクチャにおけるＩスライスとその次のＩスライスとの間に一定数のＰスライスを挿入し、スライスに適切なビット割り当てを行った符号化を行う。

以上、実施の形態６によれば、ある時点でストリームが消失してＰスライスの画質が劣化しても、ストリームが消失したＰスライスの位置のスライスが、時間順に後のピクチャでＩスライスとなった際に、ピクチャが正しく復号することができ、画像劣化のあったストリームを回復できる。それ故、その画質劣化が無限に伝播することを防止できる。さらに、ネットワーク伝送するビット数を平準化することができるので、パイプライン化あるいは並列化を阻害することなく、ストリーム消失の頻度を低めつつ、処理量削減と圧縮率とを向上することができる。

なお、図２３および図２４で示す処理を行う際には、スライス分割位置決定部１０６６が決定するＩスライスおよびＰスライスの分割位置は、同じブロック数の時点をスライス分割位置と決定することを前提に説明している。しかしながら、実施の形態１〜５と同様に、ＩスライスおよびＰスライスで異なるブロック数の時点をＩスライスおよびＰスライスのスライス分割位置としてもよく、その場合も本発明の範囲内に含まれる。

また、実施の形態６では、説明を簡単にするために、Ｉスライスを構成するブロック数とＰスライスを構成するブロック数とが同じ場合を前提に説明したが、それに限定されない。例えば、Ｉスライスを構成するブロック数よりもＰスライスを構成するブロック数が多くてもよい。さらに、実施の形態１〜５で示したように、ピクチャ内のＩスライスの位置によりＰスライスを構成するブロック数が調整されるようにＰスライスを構成するブロック数は一定でなくてよい。

（実施の形態７）
次に、実施の形態７について説明する。

図２５は、本発明の実施の形態７における時間順に連続するピクチャのスライス分割例を示す図である。

図２１における実施の形態６のスライス分割方法と図２５における本実施の形態４のスライス分割方法との違いは、実施の形態６のスライス分割方法に加えて、Ｉスライスを含まないピクチャを定期的に挿入している点にある。例えば、図２５におけるピクチャＮ＋１、ピクチャＮ＋３、ピクチャＮ＋５、ピクチャＮ＋９およびピクチャＮ＋１２がそれに相当する。

このように、Ｉスライスを含まないピクチャを定期的に挿入している場合も、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間にあるＰスライスのブロック数を一定にすることで、実施の形態６と同様の効果が得られる。

なお、上述したように、ピクチャを構成するスライス数が一定、かつ、ＩスライスとＰスライスとを構成するブロック数が一定の場合に、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間のＰスライス数を一定にすることで、実施の形態６と同様の効果が得られる。言い換えると、時間順に連続するピクチャにおけるＩスライスがピクチャ内で最大１つである図２５の例の場合に限らない。時間的に連続するピクチャ内におけるＩスライスが２つ以上でもよい。また時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間にあるＰスライスの個数は１０である、図２５の例の場合に限らない。ピクチャを構成するスライス数が一定、かつ、ＩスライスとＰスライスとを構成するブロック数が一定の場合に、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間のＰスライス数を一定にすればよい。以下、その例を示す。

図２６は、本発明の実施の形態７における時間順に連続するピクチャのスライス分割例を示す図である。図２７Ａおよび図２７Ｂは、本発明の実施の形態７における時間順に各スライスを符号化したビット数の例を示す図である。

図２１におけるスライス分割方法と図２６におけるスライス分割方法との違いは、時間順に連続するピクチャにおけるＩスライスがピクチャ内で最大１つではなく２つである点である。また、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間にあるＰスライスの個数は２個である。この場合でも、図２７Ａおよび図２７Ｂに示すように、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間のＰスライス数を一定（ここでは２個）にすることで、ネットワーク伝送するビット数を平準化することができ、実施の形態６と同様の効果が得られる。

また、図２８、図２９、図３０および図３１は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割例を示す図である。

図２８におけるスライス分割方法では、時間順に連続するピクチャにおけるＩスライスがピクチャ内で最大２つである。また、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間にあるＰスライスの個数は２個および１個である。

図２９および図３０におけるスライス分割方法では、時間順に連続するピクチャにおけるＩスライスがピクチャ内で最大２つである。また、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスの間にあるＰスライスの個数とその次のＩスライスとその次の次のＩスライスの間にあるＰスライスの個数は３個および２個である。

図３１におけるスライス分割方法では、時間順に連続するピクチャにおけるＩスライスがピクチャ内で最大３つである。また、時間順に連続するピクチャにおける３つのＩスライスの間にあるＰスライスの個数は３個、３個および２個である。

これらの場合でも、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間のＰスライス数を一定にすることができるので、ネットワーク伝送するビット数を平準化することができ、実施の形態６と同様の効果が得られる。

なお、ピクチャ内のＩスライスの位置が最下位行に移動する次のピクチャが、Ｉスライスを含まないＰスライスのみのピクチャとして符号化することでビットの平準化を図ってもよい。その例を変形例として以下に説明する。

図３２は、本発明の実施の形態７における時間順に連続するピクチャのスライス分割の変形例を示す図である。図３３Ａおよび図３３Ｂは、図３２における時間順に各スライスを符号化したビット数の例を示す図である。

図２１におけるスライス分割方法と図３２におけるスライス分割方法との違いは、時間順に連続するピクチャのそれぞれに含まれるＩスライスが１つではなく２つである点である。また、ピクチャ内のＩスライスの位置が、最下位行に移動した次のピクチャは、Ｉスライスを含まないＰスライスのみのピクチャとして符号化され、次のピクチャで最上位行に戻るように符号化される。この場合でも、図３３Ａおよび図３３Ｂに示すように、ビット数に偏りのあるＩスライスが連続してネットワーク伝送されないようにできるので、ネットワーク伝送するビット数を平準化することができる。図３２におけるスライス分割方法では、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間のＰスライス数を一定にする場合に比べて、ビット数の偏りがあり、平準化という点では劣るが、Ｉスライスが連続することがないため、ネットワークでのストリーム消失を低減することができる。

また、図３４は、図３５、図３６および図３７は、本発明の実施の形態７における時間順に連続するピクチャの別のスライス分割の変形例を示す図である。

図３４、図３５および図３６におけるスライス分割方法では、時間順に連続するピクチャにおけるＩスライスがピクチャ内で最大２つである。また、ピクチャ内のＩスライスの位置が、最下位行に移動した次のピクチャ（図３４ではピクチャＮ＋３）は、Ｉスライスを含まないＰスライスのみのピクチャとして符号化され、次のピクチャ（図３４ではピクチャＮ＋４）で最上位行に戻るように符号化される。ここで、図３４に示すように各ピクチャにおけるＩスライスの間にあるＰスライスの個数は一定（図３４では２個および１個）である。

図３７におけるスライス分割方法では、時間順に連続するピクチャにおけるＩスライスがピクチャ内で最大３つであり、その他は図３４、図３５および図３６と同様である。

なお、スライス分割方法は図２６〜図３７に示す例に限定されない。時間順に連続するピクチャのそれぞれに含まれる複数のＩスライスの位置は違っていてもよい。また、時間順に連続するピクチャのそれぞれに含まれるスライス数も、それぞれのピクチャに含まれるＩスライスの数も任意に決めてよい。

以上、実施の形態７によれば、ある時点でストリームが消失してＰスライスの画質が劣化しても、ストリームが消失したＰスライスの位置のスライスが、時間順に後のピクチャでＩスライスとなった際に、ピクチャが正しく復号することができ、画像劣化のあったストリームを回復できる。それ故、画質劣化が無限に伝播することを防止できる。それにより、パイプライン化あるいは並列化を阻害することなく、ストリーム消失の頻度を低めつつ、処理量削減と圧縮率とを向上する画像符号化方法および画像符号化装置を実現できる。

また、時間順に連続するピクチャにおけるＩスライスとその次のＩスライスとの間のＰスライスのブロック数を一定にすることで、連続した所定数のスライス単位で一定のビットレートとなる制御が容易になり、動きの大きい動画あるいは、シーンチェンジを含む動画に対しても、大きな画質劣化なく一定のビットレートでの符号化が実現できるので、ストリーム消失の頻度をさらに低めることができる。

（実施の形態８）
実施の形態１〜７では、時間順に連続するピクチャにおいて、Ｉスライスの位置をピクチャ毎に、ピクチャの上端から下端に移動させることにより、画質劣化が無限に伝播することを防止する画像符号化方法および画像化装置について説明した。実施の形態１〜７における画像符号化装置は、ある時点でストリームが消失してＰスライスの画質が劣化しても、ストリームが消失したＰスライスの位置のスライスが、時間順に後のピクチャでＩスライスとなった際に、ピクチャが正しく復号することができる。それにより、画質劣化が無限に伝播することを防止できる。

しかし、実施の形態１〜７の画像符号化装置によるストリームでは、ピクチャがＩスライスとＰスライスとを含む構成をとるため、Ｉスライスのみを含むＩピクチャが存在せず、ＭＰＥＧ−２の場合におけるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造を明確に定義できない。そのため、このストリームを受けて視聴する視聴者が、このストリームを途中再生するとき、視聴者が違和感を受ける映像が表示される可能性がある。

以下、ＧＯＰ構造について説明したのち、視聴者が違和感を受ける可能性について説明する。

ピクチャ間の画素の相関を利用した圧縮を行うと、前のピクチャの画素がないと正しく画素が復号できなくなる。そこで、ピクチャ内の画素の相関を利用した圧縮のみが行われるピクチャであるＩ（イントラ）ピクチャと、ピクチャ間の画素の相関を利用した圧縮が行われるピクチャであるＰ（インター）ピクチャを組み合わせた符号化を用いるＧＯＰ構造がＭＰＥＧ−１やＭＰＥＧ−２で導入されている。このＧＯＰ構造を用いることで、Ｉピクチャ以降のピクチャを正しく復号できる。

図３８は、ＭＰＥＧ−２のピクチャのＧＯＰ構造を示す図である。図３８に示すようにＩピクチャ１５０１とそれに続く複数のＰピクチャ１５０２とで構成されるピクチャ群をＧＯＰと呼ぶ。ＧＯＰの先頭はＩピクチャ１５０１であるから、ＧＯＰをまたぐピクチャ間の画素の相関を利用した圧縮は行われない。これにより、受信側の画像復号化装置は、ＧＯＰ単位でピクチャを正しく復号することが可能である。このＧＯＰは、ランダムアクセス時、および途中から復号を開始する場合の復号開始単位として、画像復号化装置が用いることができる。

また、ネットワークを介して符号化した画像データ、すなわちストリームを伝送する際に、ネットワーク輻輳などによりストリームの一部が消失した場合には、受信側で消失したストリームに対応する箇所の画像を正しく復号できない。さらに、ピクチャ間の画素の相関を利用した圧縮では正しく復号できない状態が後続のピクチャ復号にも影響する。つまり、画質劣化が後続のピクチャにも伝播する。しかし、ＧＯＰ構造では、ＧＯＰをまたぐピクチャ間の画素の相関を利用した圧縮は行われないので、ＧＯＰ単位で画質劣化の伝播も停止する。

図３９は、ＭＰＥＧ−２のストリーム構造を示す図である。図３９に示すように、Ｉピクチャ５０１の符号化データ１５１１、およびＰピクチャ１５０２の符号化データ１５１２は、それぞれ図３８に示すＧＯＰを構成する順序でストリームに配置される。また、Ｉピクチャ１５０１の符号化データ１５１１およびＰピクチャ１５０２の符号化データ１５１２のそれぞれは、複数のスライスの符号化データを含む。ここで、スライスとは、ブロックを複数まとめた符号化単位である。

Ｉピクチャ１５０１は、ピクチャ内の画素の相関を利用した圧縮のみが行われる複数のＩ（イントラ）スライス１５２１で構成される。Ｐピクチャ１５０２は、ピクチャ間の画素の相関を利用した圧縮が行われる複数のＰ（インター）スライス１５２２で構成される。つまり、Ｉピクチャ１５０１の符号化データ１５１１は、複数のＩスライス１５２１の符号化データ１５１４を含み、Ｐピクチャ５０２の符号化データ１５１２は、複数のＰスライス１５２２の符号化データ１５１４を含む。

このＩスライス１５２１は、当該Ｉスライス１５２１内の画素相関を利用して符号化されるスライス内符号化により符号化される。また、Ｐスライス１５２２は、スライス内符号化、または、当該Ｐスライス１５２２と他のスライスとの間の画素相関を利用して符号化されるスライス間符号化により符号化される。つまり、Ｐスライス１５２２は、当該Ｐスライス１５２２内の画素相関、または当該ピクチャ内の当該Ｐスライス１５２２以外のスライスとの間の画素相関、または当該Ｐスライス１５２２と他のピクチャとの間の画素相関を利用して符号化される。

さらに、ＧＯＰの先頭には、ＧＯＰ内の全てのピクチャに共通に用いられる共通データ１５１３が付与される。従って、画像復号化装置は、ＧＯＰ単位でストリームを正しく取得できれば、ＧＯＰに含まれるピクチャを全て正しく復号できる。

このように、画像復号化装置は、ランダムアクセス時、および途中再生時には、このＧＯＰ単位でストリームを再生できる。

一方、Ｈ．２６４では、１つのピクチャにＩスライス１５２１とＰスライス１５２２とを混在可能である。なお、Ｈ．２６４においても、ＭＰＥＧ−２と同様に、Ｉスライス１５２１は、スライス内符号化され、Ｐスライス１５２２は、スライス内符号化、またはスライス間符号化される。

図４０は、Ｈ．２６４におけるピクチャにおけるスライス分割例を示す図である。図４０に示すように、Ｈ．２６４では、ＭＰＥＧ−２と異なり、ピクチャをＩスライス１５２１とＰスライス１５２２とで構成することが可能である。ここでＩスライス１５２１は、画面間の画素の相関を利用しないで符号化されるので、以前のピクチャの画素の有無に関わらず正しく復号できる。

しかし、図４０に示すように各ピクチャがＩスライス１５２１とＰスライス１５２２とを含む場合、ＭＰＥＧ−２の場合のように、Ｉスライス１５２１のみを含むＩピクチャ１５０１が存在しない。これにより、Ｉピクチャ１５０１の直前に共通データ１５１３を配置できない。つまり、実施の形態１〜７における画像符号化方法では、明確にＧＯＰを定義できないため、途中再生時に、視聴者が違和感を受ける映像が表示される可能性がある。

具体的には、Ｉスライス１５２１がピクチャの中央付近に位置する場合、当該中央付近の画像のみが最初に表示されるために、視聴者が違和感を受ける可能性がある。

そこで、以下では、実施の形態１〜７における画像符号化装置が、さらに、途中再生された場合に、視聴者が違和感を受け難い映像が表示される動画像ストリームを生成する例について説明する。

図４１は、本発明に係る画像符号化装置１０００の構成を示すブロック図である。

画像符号化装置１０００は、ブロック数カウンタ部１１０３と、イントラ／インター決定部１１０４と、スライスサイズ決定部１０６と、ビデオ・エンコーダ１０８と、共通データ生成判定部１１０６と、共通データ生成部１１０７とを備える。なお、図１０と同様の要素には同一の符号を付しており、詳細な説明は省略する。

ブロック数カウンタ部１１０３は、符号化するブロック数をカウントすることにより、符号化対象ブロックがピクチャのどの位置に対応するかを計測する。また、ブロック数カウンタ部１１０３は、符号化対象ブロックがピクチャのどの位置に対応するかを示すブロック位置情報を生成し、生成したブロック位置情報をイントラ／インター決定部１１０４および共通データ生成判定部１１０６に通知する。

イントラ／インター決定部１１０４は、ブロック数カウンタ部１０２から通知されたブロック位置情報を用いて、符号化対象のスライスがＩスライスかＰスライスかのいずれであるかを決定する。言い換えると、イントラ／インター決定部１１０４は、符号化対象ピクチャをＩスライスとＰスライスとに分割する。

また、イントラ／インター決定部１１０４は、決定したスライスの種類（ＩスライスまたはＰスライス）を示すスライス情報をビデオ・エンコーダ１０８におけるスライス符号化部１１０５および共通データ生成判定部１１０６に通知する。

スライスサイズ決定部１０６は、実施の形態１〜７で説明したのと同じ構成要素であるので説明を省略する。

共通データ生成判定部１１０６は、イントラ／インター決定部１１０４から符号化対象スライスがＩスライスであることが通知された場合、ブロック数カウンタ部１１０３により通知されたブロック位置情報を用いて、符号化対象のＩスライスがピクチャの上端に位置するか否かを判定する。また、共通データ生成判定部１１０６は、判定結果を共通データ生成部１１０７に通知する。

共通データ生成部１１０７は、共通データ生成判定部１１０６により符号化対象スライスが、Ｉスライスであり、かつピクチャの上端に位置するスライスであることが通知された場合、複数ピクチャに共通のデータを符号化することにより共通データを生成する。

ビデオ・エンコーダ１０８は、スライス符号化部１１０５と、ストリーム生成部１１０８とから構成される。ビデオ・エンコーダ１０８は、スライスサイズ決定部１０６で通知されるスライス分割位置毎のスライス単位で、かつイントラ／インター決定部１０４で通知されたスライスの種類を示すスライス情報に基づいて、ブロック単位に入力画像を使用可能な符号化方法（イントラ符号化もしくはインター符号化）で、符号化する。

具体的には、スライス符号化部１１０５は、スライスサイズ決定部１０６で通知されるスライス分割位置毎のスライス単位で、かつ、イントラ／インター決定部１１０４から通知されたスライス情報に基づいて、入力画像をＩスライスまたはＰスライスとして符号化することによりスライス単位の符号化データを生成する。ストリーム生成部１１０８は、共通データ生成部１１０７が共通データを生成した場合、共通データ生成部１１０７が生成した共通データ１２１１の次にスライス符号化部１１０５が符号化した符号化データを配置したストリームを出力する。また、ストリーム生成部１１０８は、共通データ生成部１１０７が共通データを生成しない場合は、スライス符号化部１１０５が符号化した符号化データのみを配置したストリームを出力する。

以上の構成により、画像符号化装置１０００は、実施の形態１〜７で示したように、時間順に連続するピクチャにおいて、Ｉスライスの位置をピクチャ毎に、ピクチャの上端から下端に移動させる。さらに、画像符号化装置１０００は、複数ピクチャに共通のデータをＩスライスの位置が上端のピクチャの直前に配置したストリームを生成する。このストリームを途中再生した場合、ピクチャの上端から下端に向かい画像が正しく表示される領域が広がっていくので、視聴者の違和感を低減できる。

なお、画像符号化装置１０００において、Ｉスライスの位置をピクチャ毎に、ピクチャの上端から下端に移動させる方法は、下記の１）または２）でもよく１）および２）を組み合わせた方法でもよい。

１）Ｉスライスを構成するブロック数よりもＰスライスを構成するブロック数を大きくする。
２）連続するピクチャにおけるＩスライスとその次のＩスライスとの間に挿入するＰスライスを一定にする。

また、画像符号化装置１０００において、スライスサイズ決定部１０６を明示的に備えないとしてもよい。その場合、画像符号化装置において、Ｉスライスの位置をピクチャ毎に、ピクチャの上端から下端に移動させるとして、複数ピクチャに共通のデータをＩスライスの位置が上端のピクチャの直前に配置したストリームを生成させてもよい。その場合の画像符号化装置を前提に以下の実施の形態を説明する。

（実施の形態９）
本発明の実施の形態９に係る画像符号化装置１１００は、Ｉスライスの位置をピクチャ毎に、ピクチャの上端から下端に移動させる。さらに、画像符号化装置１１００は、複数ピクチャに共通のデータをＩスライスの位置が上端のピクチャの直前に配置したストリームを生成する。このストリームを途中再生した場合、ピクチャの上端から下端に向かい画像が正しく表示される領域が広がっていくので、視聴者の違和感を低減できる。また、実施の形態９では、各ピクチャを行単位でスライス分割することを前提に以下説明する。

まず、本発明の実施の形態９に係る画像符号化装置１１００の構成を説明する。

図４２は、本発明の実施の形態９に係る画像符号化装置１１００の構成を示すブロック図である。

図４２に示す画像符号化装置１１００は、入力画像１１０１に含まれる複数のピクチャの各々を、それぞれが複数ブロックを含む複数のスライスに分割する。さらに、画像符号化装置１１００は、分割した各スライスをブロック単位で符号化し、符号化した符号化データを含むストリーム１１０２を生成し、生成したストリーム１１０２を出力する。

この画像符号化装置１１００は、ブロック数カウンタ部１１０３と、イントラ／インター決定部１１０４と、スライス符号化部１１０５と、共通データ生成判定部１１０６と、共通データ生成部１１０７と、ストリーム生成部１１０８とを備える。

ブロック数カウンタ部１１０３は、符号化するブロック数をカウントすることにより、符号化対象ブロックがピクチャのどの位置に対応するかを計測する。また、ブロック数カウンタ部１１０３は、符号化対象ブロックがピクチャのどの位置に対応するかを示すブロック位置情報を生成し、生成したブロック位置情報をイントラ／インター決定部１１０４および共通データ生成判定部１１０６に通知する。

イントラ／インター決定部１１０４は、ブロック数カウンタ部１１０３から通知されたブロック位置情報を用いて、符号化対象のスライスがＩスライス１２０１かＰスライス１２０２かを決定する。言い換えると、イントラ／インター決定部１１０４は、符号化対象ピクチャをＩスライス１２０１とＰスライス１２０２とに分割する。

具体的には、イントラ／インター決定部１１０４は、連続する複数のピクチャにおいて、Ｉスライス１２０１の位置がピクチャの上端から下端へとピクチャ間で、表示順に順次移動するように（ずれるように）、符号化対象スライスをＩスライス１２０１またはＰスライス１２０２に決定する。さらに、イントラ／インター決定部１１０４は、予め設定された数のピクチャ毎にＩスライス１２０１の上端から下端への移動が繰り返されるように、符号化対象スライスをＩスライス１２０１またはＰスライス１２０２に決定する。

また、イントラ／インター決定部１１０４は、決定した、符号化対象スライスがＩスライス１２０１であるかＰスライス１２０２であるかを示すスライス情報をスライス符号化部１１０５および共通データ生成判定部１１０６に通知する。

図４３は、画像符号化装置１１００によるピクチャ１２００のスライス分割例を示す図である。図４３に示すピクチャ１２００ａ〜１２００ｌは、この順に連続するピクチャである。なお、複数のピクチャ１２００ａ〜１２００ｌを特に区別しない場合には、ピクチャ１２００と記す。

図４３に示すように、複数のピクチャ１２００は、それぞれ（斜線で塗りつぶした）Ｉスライス１２０１と、（斜線で塗りつぶしていない）Ｐスライス１２０２とを含む。ここで、Ｉスライス１２０１は、（ピクチャ１２００内の）当該Ｉスライス１２０１内の画素の相関を利用した圧縮（スライス内符号化）のみが行われるスライスである。そして、Ｐスライス１２０２は、当該Ｐスライス１２０２内の画素の相関（スライス内符号化）、または当該Ｐスライス１２０２と当該ピクチャ１２００に含まれる当該Ｐスライス１２０２以外のスライスとの画素の相関、または当該Ｐスライス１２０２と他のピクチャ１２００との間の画素の相関を利用した圧縮（スライス間符号化）が行われるスライスである。つまり、Ｉスライス１２０１は、スライス内符号化が行われるブロックのみを含み、Ｐスライス１２０２は、スライス間符号化が行われるブロックのみを含む、または、スライス内符号化が行われるブロックとスライス間符号化が行われるブロックとを含む。

また、ピクチャ１２００ａでは、Ｉスライス１２０１はピクチャ１２００ａの上端に位置し、次のピクチャ１２００ｂではＩスライス１２０１の位置は１スライス下に移動する。また、Ｉスライス１２０１の位置は、ピクチャ１２００毎に順次、１スライス下に移動する。Ｉスライス１２０１が下端に移動したピクチャ１２００ｊの次のピクチャ１２００ｋでは、Ｉスライス１２０１は上端に戻る。

本発明の実施の形態９では、Ｉスライス１２０１が１行目に位置するピクチャ１２００ａおよび１２００ｋをＧＯＰの先頭のピクチャとする。従って、図４３では、ピクチャ１２００ａ〜１２００ｊが１つのＧＯＰを構成し、ピクチャ１２００ｋ以降は別のＧＯＰを構成する。

このように、本発明の実施の形態９における各ピクチャ１２００は、参照ピクチャのストリーム消失に強いＩスライス１２０１と、参照ピクチャのストリーム消失には弱いが圧縮率の良いＰスライス１２０２とを含む。さらに、ピクチャ内におけるＩスライス１２０１の位置は、ピクチャ毎に循環される。これにより、ストリームの一部がネットワーク伝送中にパケットロス等で消失することによりＰスライス１２０２の画質が劣化しても、次に画質劣化が生じた位置にＩスライス１２０１が位置するピクチャにおいて、画質劣化なく復号できる。このように、本発明の実施の形態９に係る画像符号化装置１００は、画質劣化が無限に伝播することを防止できる。

また、本発明の実施の形態９では、Ｐスライス１２０２と比べてビット数の多いＩスライス１２０１が全てのピクチャに同等数（同等ブロック数）含まれる。これにより、各ピクチャ単位でのビット数はほぼ一定になる。ここで、符号化したストリームを、ネットワークを介して、一定ビットレートで伝送する場合、受信側が、受信したストリームを復号し、復号したピクチャを一定間隔で途切れなく表示するためには、最も伝送に時間がかかるピクチャ１２００を伝送し終わるのに必要な時間分だけの遅延時間が必要になる。よって、本発明の実施の形態９では、ピクチャ単位のビット数を一定にする（Ｉスライス１２０１が多いピクチャをなくす）ことで、ピクチャ１２００のビット数の最大値を小さくできるので、ピクチャ１２００の伝送にかかる時間の最大値を小さくでき、これにより遅延時間を削減できる。

スライス符号化部１１０５は、入力画像１１０１をイントラ／インター決定部１１０４から通知されたスライス情報に基づいて、Ｉスライス１２０１またはＰスライス１２０２として符号化することによりスライス単位の符号化データ（以下、スライス符号化データ）を生成する。具体的には、スライス符号化部１１０５は、Ｉスライス１２０１を当該Ｉスライス１２０１内の画素相関を利用してブロック単位で符号化する。そして、スライス符号化部１１０５は、Ｐスライス１２０２を、当該Ｐスライス１２０２内の画素相関、または当該Ｐスライス１２０２と当該ピクチャ１２００に含まれる当該Ｐスライス１２０２以外のスライスとの画素相関、または当該Ｐスライス１２０２と他のピクチャとの間の画素相関を利用してブロック単位で符号化する。これらにより、ピクチャ単位の符号化データ（以下、ピクチャ符号化データ）を生成する。このピクチャ符号化データは、複数のスライス符号化データを含む。

共通データ生成判定部１１０６は、イントラ／インター決定部１１０４から符号化対象スライスがＩスライス１２０１であることが通知された場合、ブロック数カウンタ部１１０３により通知されたブロック位置情報を用いて、符号化対象のＩスライス１２０１がピクチャの上端に位置するか否かを判定する。また、共通データ生成判定部１１０６は、判定結果を共通データ生成部１１０７に通知する。

共通データ生成部１１０７は、共通データ生成判定部１１０６により符号化対象スライスが、Ｉスライス１２０１であり、かつピクチャの上端に位置するスライスであることが通知された場合、複数ピクチャに共通のデータを符号化することにより共通データ１２１１を生成する。

ストリーム生成部１１０８は、共通データ生成部１１０７が共通データ１２１１を生成した場合、共通データ生成部１１０７が生成した共通データ１２１１の次にスライス符号化部１１０５が符号化した符号化データを配置したストリーム１１０２を出力する。また、ストリーム生成部１１０８は、共通データ生成部１１０７が共通データ１２１１を生成しない場合は、スライス符号化部１１０５が符号化した符号化データのみを配置したストリーム１１０２を出力する。つまり、ストリーム生成部１１０８は、Ｉスライス１２０１が一方端に位置するピクチャが符号化されたピクチャ符号化データの直前に、共通データ１２１１を配置する。また、ストリーム生成部１１０８は、Ｉスライス１２０１が一方端に位置するピクチャが符号化されたピクチャ符号化データの直前以外には共通データ１２１１を配置しない。

図４４は、本発明の実施の形態９に画像符号化装置１１００により生成された符号化ストリーム１１０２の構造を示す図である。また、図４４は、図４２に示すピクチャを符号化した場合のストリーム１１０２の構成を示す図である。

図４４に示すように、ストリーム１１０２は、共通データ１２１１と、複数のピクチャ符号化データ１２１２ａ〜１２１２ｊとを含む。複数のピクチャ符号化データ１２１２ａ〜１２１２ｊは、それぞれ複数のピクチャ１２００ａ〜１２００ｊが符号化された符号化データである。また、ストリーム１１０２において、ピクチャ１２００ａ〜１２００ｊの順序でピクチャ符号化データ１２１２ａ〜１２１２ｊが配置される。なお、複数のピクチャ符号化データ１２１２ａ〜１２１２ｊを特に区別しない場合には、ピクチャ符号化データ１２１２と記す。

各ピクチャ符号化データ１２１２は、複数のスライス符号化データ１２１３を含む。複数のスライス符号化データ１２１３は、それぞれ、Ｉスライス１２０１またはＰスライス１２０２が符号化されたデータである。つまり、各ピクチャ符号化データ１２１２は、それぞれ、Ｉスライス１２０１が符号化されたスライス符号化データ１２１３と、Ｐスライス１２０２が符号化されたスライス符号化データ１２１３とを含む。

また、各ピクチャ符号化データ１２１２内での、Ｉスライス１２０１が符号化されたスライス符号化データ１２１３の位置は、ピクチャ符号化データ１２１２内の先頭から末尾へピクチャ符号化データ１２１２間で順次移動する。また、ＧＯＰ毎に先頭から末尾への移動が繰り返されるように配置される。

また、ＧＯＰの先頭に、共通データ１２１１と、ＧＯＰの先頭であることを示す識別子（図示せず）とが配置される。つまり、Ｉスライス１２０１が符号化されたスライス符号化データ１２１３が、ピクチャ符号化データ１２１２内で先頭に位置するピクチャ符号化データ１２１２ａの直前に、共通データ１２１１と上記識別子とが配置される。

この共通データ１２１１は、画像復号化装置における、ＧＯＰに含まれるピクチャの復号化に共通に用いられるデータが符号化されたデータである。具体的には、当該共通に用いられるデータは、ピクチャの画像サイズ、参照ピクチャの情報、および量子化マトリックス等を含む。ここで、参照ピクチャの情報とは、各ピクチャが参照可能なピクチャの範囲（最大何枚前までのピクチャを参照可能か、およびどのピクチャを参照可能か）等を示す情報である。なお、共通データ１２１１は、ストリーム１１０２に含まれるピクチャの復号化に共通に用いられるデータともいえる。

また、画像復号化装置では、この共通データ１２１１を取得するまでは、ピクチャ１２００を正しく符号化できない。つまり、画像復号化装置は、途中再生等を行う場合には、共通データ１２１１以降に配置されたピクチャのみを正しく復号したうえで、表示できる。言い換えると、画像復号化装置は、途中再生等を行う場合に、ＧＯＰ単位でピクチャを復号できる。

ここで、本発明の実施の形態９では、ＭＰＥＧ−２の場合と異なり、ＧＯＰの先頭ピクチャ１２００ａがＰスライス１２０２を含む。従って、インター符号化が行われるＰスライス１２０２は、ＧＯＰの最初のピクチャ１２００ａでは正しく復号することができない。一方、Ｉスライス１２０１は正しく復号できる。よって、正しく復号されたＩスライス１２０１を参照する、後続のピクチャに含まれるＰスライス１２０２も正しく復号できる。

図４５は、本発明の実施の形態９におけるスライス分割でＧＯＰの最初から正しく復号できるスライスを説明するための図である。図４５に示すように、正しく復号できるスライス１２０４は、ＧＯＰの先頭のピクチャ１２００ａでは最初の１スライス（Ｉスライス１２０１）だけであるが、後続のピクチャ１２００になるにつれ、徐々に下方のスライスも正しく復号できるようになる。これにより、ＧＯＰの最後のピクチャ１２００ｊでは全てのスライスを正しく復号できる。

なお、このように確実に正しく復号できるのは、Ｐスライス１２０２が参照する（画素相関を利用する）範囲が、各ピクチャ１２００においてＩスライス１２０１よりも上（先頭）側に位置するスライスまたはＩスライス１２０１に限定される場合である。従って、Ｐスライス１２０２を符号化する際は、Ｉスライス１２０１よりも上（先頭）側に位置するスライスまたはＩスライス１２０１内の画素を参照するスライス間符号化か、スライス内符号化を行うことが望ましい。しかし、そのような限定がない場合であっても、一般的に参照するのは時間的に近い（例えば直前の）ピクチャの同じ位置のスライスであることが多いことから、以前に生じたエラーが、エラーを生じた画素と同じ位置の画素を含むスライスがＩスライスであるピクチャ以降のピクチャにまで伝播する可能性は大幅に低減する。

このように、ストリーム１１０２を復号する場合、画像復号化装置は、ピクチャ１２００の上端から徐々に正しい画像を復号し表示できる。

図４６は、画像復号化装置によるストリーム１１０２の表示例を示す図である。

図４６に示すように、ピクチャ１２００の上端から下方に向けて徐々に画像が表示される領域が広がっていく。この表示方法は、画面のスクロールと同様であり、日常よく目にする表示方法と似ているので視聴者が違和感を受け難い。このように、本発明に係る画像符号化装置１１００は、ＧＯＰを途中復号の開始位置として使用してそれ以降のＧＯＰを連続して復号する、いわゆる途中再生時において、視聴者が違和感を受け難い映像を画像復号化装置が表示できる動画像ストリーム１１０２を生成できる。

ここで、画像復号化装置がＧＯＰ単位でランダムに復号する場合には、ＧＯＰの最後のピクチャ１２００ｊまでは、全ての画像が正しく復号できないので、ランダムアクセスに対して本発明は必ずしも適しているとはいえない。しかしながら、上述したように、本発明は、途中再生用途の場合は、ピクチャ１２００ｋ以降に位置するＧＯＰのスライスは全て正しく復号でき、かつ途中再生開始時の、視聴者の違和感を低減できる。さらに、ネットワーク伝送におけるストリーム消失が生じた場合も、ＧＯＰは連続的に復号される。つまり、本発明は、ストリーム消失が生じた場合にも、画像復号化装置が、ピクチャに含まれる全てのスライスを２つ目のＧＯＰから正しく復号できるという効果を有する。

さらに、ＧＯＰにおいて、Ｉスライス１２０１の位置をピクチャ１２００の上端位置から開始するのには、もう１つの利点がある。

図４７は、比較のための図であり、上から３スライス目にＩスライス１２０１が位置するピクチャがＧＯＰ先頭の場合に正しく復号できるスライスを説明するための図である。図４７に示すピクチャ１２１５ａ〜１２１５ｆは、この順に連続したピクチャであり、ピクチャ１２１５ａはＧＯＰの先頭ピクチャである。

図４８Ａ〜Ｄは、本発明の実施の形態９における参照ピクチャと対象ピクチャとの関係を示す図である。図４８Ａおよび図４８Ｂは、本発明のようにＧＯＰの先頭ピクチャの上端にＩスライス１２０１が位置する場合の例であり、図４８Ｃおよび図４８Ｄは、ＧＯＰの先頭ピクチャの上から３スライス目にＩスライス１２０１が位置する場合の例である。

Ｐスライス１２０２を正しく復号するためには、参照ピクチャにおいて正しく復号したＩスライス１２０１または正しく復号できるＰスライス１２０２を参照した符号化が行われているか、スライス内の画素を参照した符号化が行われていなければならない。スライス間の画素を参照して復号する場合に、本発明の場合では、図４５に示すように、処理するピクチャ１２００のＩスライス１２０１の位置より上の位置のスライスは全て正しく復号できる。よって、図４８Ａおよび図４８Ｂに示すように対象ピクチャにおいてＰスライス１２０２が参照可能な参照ピクチャのスライスは、“対象ピクチャにおけるＩスライス１２０１から上の位置のスライスの画素のみを参照した符号化を行う”という簡単な規則になるので、符号化装置の実装が容易である。

一方、ＧＯＰの先頭ピクチャが上から４スライス目にＩスライス１２０１が位置する場合、図４７に示すように上から３スライス目よりも上のスライスは正しく復号できていない。よって、図４８Ｃおよび図４８Ｄに示すように、対象ピクチャのＰスライス１２０２が参照可能な参照ピクチャのスライスは、“対象ピクチャにおけるＩスライス１２０１から上の位置のスライスであり、かつ上から４スライス目から下に位置するスライス”という規則になり条件が増えるので実装が複雑になる。

例えば、本発明に対応する図４８Ａおよび図４８Ｂに示すＰスライス１２０２ａおよび１２０２ｂでは、“対象ピクチャにおけるＩスライス１２０１から上の位置のスライスの画素のみを参照した符号化を行う”という規則のみに従い、参照可能なスライスを判定できる。

一方、図４８Ｄに示すＰスライス１２０２ｄでは、上記と同様に、“対象ピクチャにおけるＩスライス１２０１から上の位置のスライスの画素のみを参照した符号化を行う”という規則のみに従い、当該Ｐスライス１２０２ｄと同じ位置、および直前と直後との位置にあるスライスを参照可能と判定できる。しかしながら、図４８Ｃに示すＰスライス１２０２ｃでは、参照可能なスライスを判定するために、さらに、“上から４スライス目から下に位置するスライスの画素のみを参照した符号化を行う”という規定が必要になる。

このように、本発明では、ＧＯＰの先頭ピクチャの上端にＩスライス１２０１を配置することにより、Ｐスライスの参照先のピクチャを容易に制御することができる。

また、上記制御により、Ｐスライス１２０２は、当該Ｐスライス１２０２内の画素相関、または当該Ｐスライス１２０２と、当該ピクチャにおけるＩスライス１２０１の位置から当該ピクチャの上端の位置までのスライスとの間の画素相関、または他のピクチャにおけるＩスライスの位置から当該他のピクチャの上端に位置するスライスまでのスライスと、当該スライスとの間の画素相関を利用してブロック単位で符号化される。

次に、画像符号化装置１１００の動作の流れを説明する。

図４９は、画像符号化装置１１００によるスライス符号化動作の流れを示すフローチャートである。

まず、イントラ／インター決定部１１０４は、符号化対象ピクチャを複数のスライスに分割する（Ｓ１１０１）。次に、イントラ／インター決定部１１０４は、符号化対象スライスがＩスライス１２０１およびＰスライス１２０２のいずれであるかを判定する（Ｓ１１０２）。

符号化対象スライスがＩスライス１２０１の場合（Ｓ１１０２でＹｅｓ）、共通データ生成判定部１１０６は、符号化対象のＩスライス１２０１がピクチャの先頭のスライスであるか否かを判定する（Ｓ１１０３）。

符号化対象のＩスライス１２０１がピクチャ先頭のスライスの場合（Ｓ１１０３でＹｅｓ）、共通データ生成部１１０７は、複数ピクチャに共通のデータを符号化することで、共通データ１２１１を生成する（Ｓ１１０４）。また、スライス符号化部１１０５は、符号化対象のＩスライス１２０１を符号化することによりスライス符号化データを生成する（Ｓ１１０５）。

一方、符号化対象スライスがＩスライス１２０１でない場合（Ｐスライス１２０２の場合）（Ｓ１１０２でＮｏ）、および符号化対象のＩスライス１２０１がピクチャの先頭スライスでない場合（Ｓ１１０３でＮｏ）、共通データ生成部１１０７は、共通データ１２１１を生成しない。また、スライス符号化部１１０５は、符号化対象スライスを符号化することによりスライス符号化データを生成する（Ｓ１１０５）。

次に、ストリーム生成部１１０８は、共通データ生成部１１０７が共通データ１２１１を生成した場合（Ｓ１１０４）、共通データ１２１１の次にスライス符号化部１１０５が符号化したスライス符号化データを配置したストリーム１１０２を出力する。また、ストリーム生成部１１０８は、共通データ生成部１１０７が共通データ１２１１を生成しない場合は、スライス符号化部１１０５が符号化したスライス符号化データのみを配置したストリーム１１０２を出力する（Ｓ１１０６）。

以上より、本発明の実施の形態９に係る画像符号化装置１１００は、Ｉスライス１２０１がピクチャの上端に位置するピクチャの直前に共通データ１２１１を配置したストリーム１１０２を生成する。これにより、画像復号化装置による途中再生時には、ピクチャの上端から下端に向かい画像が正しく表示される領域が広がっていく。この表示方法は、画面のスクロールと同様であり、日常よく目にする表示方法と似ているので視聴者が違和感を受け難い。このように、本発明に係る画像符号化方法は、途中再生時において、視聴者が違和感を受け難い映像が表示されるストリーム１１０２を生成できる。

（実施の形態１０）
本発明の実施の形態１０では、スライス分割の変形例について説明する。

図５０は、本発明の実施の形態１０における各ピクチャのスライス分割例を示す図である。上述した実施の形態９では、図４３に示すように各ピクチャを行単位でスライス分割する例を示した。実施の形態１０では、図５０に示すようにスライスが行の途中で分割される。この場合も、実施の形態９と同様に、ピクチャの最初のスライス（左上端）がＩスライス１２０１となるピクチャ１２２０ａをＧＯＰの先頭ピクチャとする。

図５０に示すピクチャ１２２０ａ〜１２２０ｖは、この順に連続するピクチャである。また、ピクチャ１２２０ａ〜１２２０ｔが１つのＧＯＰを構成し、ピクチャ１２２０ｕ以降が次のＧＯＰを構成する。つまり、Ｉスライス１２０１の位置がピクチャの左上端から右下端へピクチャ毎に順次移動する。また、ＧＯＰ単位で当該移動が繰り返される。

図５１は、本発明の実施の形態１０におけるストリーム１１０２の構造を示す図である。また、図５１は、図５０に示すピクチャを符号化した場合のストリーム１１０２の構成を示す図である。

図５１に示すように、ストリーム１１０２は、共通データ１２１１と、複数のピクチャ符号化データ１２３２ａ〜１２３２ｖとを含む。複数のピクチャ符号化データ１２３２ａ〜１２３２ｖは、それぞれ複数のピクチャ１２２０ａ〜１２２０ｖが符号化されたデータである。また、ストリーム１１０２において、ピクチャ１２２０ａ〜１２２０ｖの順序でピクチャ符号化データ１２３２ａ〜１２３２ｖが配置される。

各ピクチャ符号化データ１２３２ａ〜１２３２ｖは、複数のスライスが符号化されたスライス符号化データ１２３３を含む。複数のスライス符号化データ１２３３は、それぞれ、Ｉスライス１２０１またはＰスライス１２０２が符号化されたデータである。

また、実施の形態９と同様に、ＧＯＰの先頭に、共通データ１２１１と、ＧＯＰの先頭であることを示す識別子（図示せず）とが配置される。

以上の構成でも、実施の形態９と同様の効果を得ることができる。

なお、ここでは、１つの行を２個のスライスに分割する例を述べたが、１つの行を３個以上のスライスに分割してもよい。また、スライスの分割は、任意の単位で行ってもよい。例えば、２つの行を３個のスライスに分割してもよい。

また、１つのピクチャを複数行からなるスライスに分割し、同様にＧＯＰの先頭ピクチャの最初のスライスをＩスライス１２０１としてもよい。

また、分割単位はピクチャ毎に異なってもよい。ただし、Ｉスライス１２０１の大きさがピクチャ毎に異なると符号化レートは変動する。

（実施の形態１１）
本発明の実施の形態１１では、スライス分割の変形例について説明する。

図５２は、本発明の実施の形態１１における各ピクチャのスライス分割例を示す図である。上述した実施の形態９では、図４３に示すように全てのピクチャ１２００がＩスライス１２０１を含む例を示した。実施の形態１１では、図５２に示すようにＩスライス１２０１を含まないピクチャがＧＯＰに含まれる。この場合も、実施の形態９と同様にピクチャの最初のスライスがＩスライス１２０１となるピクチャをＧＯＰの先頭ピクチャとする。

図５２に示すピクチャ１２４０ａ〜１２４０ｖは、この順に連続するピクチャである。また、ピクチャ１２４０ａ〜１２４０ｔが１つのＧＯＰを構成し、ピクチャ１２４０ｕ以降が次のＧＯＰを構成する。

図５２に示すように連続するピクチャにおいて、Ｉスライス１２０１を含むピクチャと、Ｉスライス１２０１を含まない（Ｐスライス１２０２のみを含む）ピクチャとが交互に配置される。さらに、Ｉスライス１２０１を含むピクチャにおいて、Ｉスライス１２０１の位置がピクチャの上端から下端へ順次移動する。また、ＧＯＰ単位で当該移動が繰り返される。

図５３は、本発明の実施の形態１１におけるストリーム１１０２の構造を示す図である。また、図５３は、図５２に示すピクチャを符号化した場合のストリーム１１０２の構成を示す図である。

図５３に示すように、ストリーム１１０２は、共通データ１２１１と、複数のピクチャ符号化データ１２５２ａ〜１２５２ｔとを含む。複数のピクチャ符号化データ１２５２ａ〜１２５２ｔは、それぞれ複数のピクチャ１２４０ａ〜１２４０ｖが符号化されたデータである。また、ストリーム１１０２において、ピクチャ１２４０ａ〜１２４０ｖの順序でピクチャ符号化データ１２５２ａ〜１２５２ｔが配置される。

各ピクチャ符号化データ１２５２ａ〜１２５２ｔは、複数のスライスがそれぞれ符号化された複数のスライス符号化データ１２５３を含む。複数のスライス符号化データ１２５３は、それぞれ、Ｉスライス１２０１またはＰスライス１２０２が符号化されたデータである。

また、実施の形態９と同様に、ＧＯＰの先頭に、共通データ１２１１と、ＧＯＰの先頭であることを示す識別子（図示せず）とが配置される。

以上の構成でも、実施の形態９と同様の効果を得ることができる。

なお、ここではＩスライス１２０１を含むピクチャと、Ｉスライス１２０１を含まないピクチャとが交互に配置される例を述べたが、これに限らず、ＧＯＰにＩスライス１２０１を含まないピクチャが１個以上含まれる場合も、実施の形態９と同様の効果を得ることができる。

（実施の形態１２）
本発明の実施の形態１２では、スライス分割の変形例について説明する。

上述した実施の形態９では、図４３に示すように各ピクチャ１２００が１つのＩスライス１２０１を含む例を示した。実施の形態１１では、各ピクチャが２つのＩスライス１２０１を含む例を説明する。この場合も、実施の形態９と同様にピクチャの最初のスライスがＩスライス１２０１となるピクチャをＧＯＰの先頭ピクチャとする。

図５４は、本発明の実施の形態１２における各ピクチャのスライス分割例を示す図である。

図５４に示すピクチャ１２６０ａ〜１２６０ｆは、この順に連続するピクチャである。また、ピクチャ１２６０ａ〜１２６０ｅが１つのＧＯＰを構成し、ピクチャ１２６０ｆ以降が次のＧＯＰを構成する。また、図５４に示すように、各ピクチャ１２６０ａ〜１２６０ｅは、連続した２つのＩスライス１２０１を含む。さらに、連続した２つのＩスライス１２０１の位置がピクチャの上端から下端へ順次移動する。また、ＧＯＰ単位で当該移動が繰り返される。

図５４に示す構造を用いた場合でも、実施の形態９と同様の効果を得ることができる。

なお、本発明の実施の形態１２におけるストリーム１１０２の構造は、上述した実施の形態９におけるストリーム１１０２の構成と同様である。具体的には、ストリーム１１０２は、共通データ１２１１と、複数のピクチャ１２６０ａ〜１２６０ｅが符号化された複数のピクチャ符号化データとを含む。また、実施の形態９と同様に、ＧＯＰの先頭に、共通データ１２１１と、ＧＯＰの先頭であることを示す識別子（図示せず）とが配置される。

また、ここではＩスライス１２０１が連続して配置される例を述べたが、各ピクチャは連続しない複数のＩスライス１２０１を含んでもよい。

図５５は、本発明の実施の形態１２における各ピクチャのスライス分割例の変形例を示す図である。

図５５に示すピクチャ１２７０ａ〜１２７０ｆは、この順に連続するピクチャである。また、ピクチャ１２７０ａ〜１２７０ｅが１つのＧＯＰを構成し、ピクチャ１２７０ｆ以降が次のＧＯＰを構成する。

図５５に示すように、各ピクチャ１２７０ａ〜１２７０ｅは、２つのＩスライス１２０１を含む。この２つのＩスライス１２０１は、１個以上のＰスライス１２０２を挟んで配置される。例えば、当該２つのＩスライス１２０１の間には、４つのＰスライス１２０２が配置される。

図５５に示す構造を用いた場合でも、実施の形態９と同様の効果を得ることができる。

なお、各ピクチャは、２個以上のＩスライス１２０１を含んでもよい。

（実施の形態１３）
本発明の実施の形態１３では、スライス分割の変形例について説明する。

図５６は、本発明の実施の形態１３における各ピクチャのスライス分割例を示す図である。上述した実施の形態９では、図４３に示すように各ピクチャ１２００に含まれるＩスライス１２０１とＰスライス１２０２との大きさ（含まれるブロック数）が同じ場合の例を示した。実施の形態１３では、図５６に示すようにＰスライス１２０２がＩスライス１２０１より大きい。この場合も、実施の形態９と同様にピクチャの最初のスライスがＩスライス１２０１となるピクチャをＧＯＰの先頭ピクチャとする。

図５６に示すピクチャ１２８０ａ〜１２８０ｌは、この順に連続するピクチャである。また、ピクチャ１２８０ａ〜１２８０ｋが１つのＧＯＰを構成し、ピクチャ１２８０ｌ以降が次のＧＯＰを構成する。

また、Ｉスライス１２０１の位置がピクチャの上端から下端へピクチャ毎に順次移動する。また、ＧＯＰ単位で当該移動が繰り返される。

図５６に示す構造を用いた場合でも、実施の形態９と同様の効果を得ることができる。

また、各ピクチャ１２８０ａ〜１２８０ｊおよび１２８０ｌは、Ｉスライス１２０１より大きいＰスライス１２０２を含む。

このように、Ｐスライス１２０２を大きくすることで、ピクチャに含まれるスライスの数を少なくできる。これにより、スライス先頭での初期化の回数を削減できるので、符号化の際の処理量を低減できる。また、スライスヘッダの符号量を削減できるので、圧縮効率を向上できる。

ここで、Ｉスライス１２０１とＰスライス１２０２との大きさが等しい場合、Ｉスライス１２０１のビット数は、Ｐスライス１２０２のビット数より多くなる。例えば、Ｉスライス１２０１のビット数は、Ｐスライス１２０２のビット数の２〜１０倍のビット数になる。これに対して、本発明の実施の形態１３では、Ｐスライス１２０２をＩスライス１２０１より大きくすることで、Ｉスライス１２０１とＰスライス１２０２とのビット数の差を縮めることができる。

また、図４５に示すピクチャ１２００ａ〜１２００ｌでは、各ピクチャ１２００に含まれるＩスライス１２０１の間隔が、等間隔にならないという問題がある。具体的には、ピクチャ１２００ａのＩスライス１２０１と、ピクチャ１２００ｂのＩスライス１２０１との間には、１ピクチャ分のブロックを含む複数のＰスライス１２０２が配置される。しかしながら、ピクチャ１２００ｊのＩスライス１２０１と、ピクチャ１２００ｋのＩスライス２０１とは連続して配置される。つまり、短時間における平均ビット数が一定とならない。

ここで、符号化の際には、直前に発生したビット数に基づき、これから符号化するスライスの符号化後のビット数を予測することが行われる。上述したように、短時間における平均ビット数が一定とならない場合には、当該ビット数の予測が困難となるという問題がある。

これに対して、本発明の実施の形態１３では、ＧＯＰの最後のピクチャ１２８０ｋは、Ｉスライス１２０１を含まない。これにより、ピクチャ１２８０ｊのＩスライス１２０１と、その次のＩスライス１２０１である、ピクチャ１２８０ｌのＩスライス１２０１との間に配置されるＰスライス１２０２の大きさを同じにできる。よって、符号化の際のビット数の予測を容易に行うことができる。

なお、本発明の実施の形態１３におけるストリーム１１０２の構造は、上述した実施の形態９におけるストリーム１１０２の構成と同様である。具体的には、ストリーム１１０２は、共通データ１２１１と、複数のピクチャ１２８０ａ〜１２８０ｌが符号化された複数の符号化データとを含む。また、実施の形態９と同様に、ＧＯＰの先頭に、共通データ１２１１と、ＧＯＰの先頭であることを示す識別子（図示せず）とが配置される。

なお、上記実施の形態１０〜１３において、Ｉスライス１２０１が、ＧＯＰ毎に、ピクチャの上端（左上端）から下端（右下端）に移動する例を説明したが、下端（右下端）から上端（左上端）に移動してもよい。つまり、Ｉスライス１２０１は、ＧＯＰ毎にピクチャの一方端から他方端へ移動すればよい。

また、ストリーム生成部１１０８は、ストリーム１１０２において、共通データ１２１１を、Ｉスライス１２０１がピクチャの上端（一方端）に位置するピクチャの直前に常に配置する必要はない。言い換えると、上述したＧＯＰを複数含むピクチャを１つのＧＯＰとしてもよい。つまり、１つのＧＯＰ内で、ピクチャの一方端から他方端へＩスライス１２０１の移動が複数回繰り返されてもよい。

また、上記実施の形態１０〜１３において、スライス分割の変形例を個別に説明したが、上記実施の形態１０〜１３の変形例を組み合わせてもよい。

（実施の形態１４）
本発明の実施の形態１４では、上記実施の形態１〜１３で示した画像符号化装置を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録することにより、上記実施の形態１〜１３で示した処理を、独立したコンピュータシステムにおいて実施する例を説明する。

図５７Ａ〜図５７Ｃは、上記各実施の形態の画像符号化装置を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図５７Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。図５７Ｂは、フレキシブルディスク１３００を正面からみた外観、フレキシブルディスク１３００の断面構造、およびディスク１３０１を示す図である。

フレキシブルディスク１３００は、ケース１３０２と、ケース１３０２内に内蔵されるディスク１３０１とを備える。ディスク１３０１の表面には、同心円状に外周から内周に向かって複数のトラック１３０３が形成される。各トラック１３０３は角度方向に１６のセクタ１３０４に分割される。従って、ディスク１３０１上に割り当てられた領域に、上記プログラムが記録されている。

また、図５７Ｃは、フレキシブルディスク１３００への上記プログラムの記録、およびフレキシブルディスク１３００からの上記プログラムの読み出しおよび再生を行うコンピュータシステム１３１０の構成を示す図である。例えば画像符号化装置１０００を実現する上記プログラムをフレキシブルディスク１３００に記録する場合は、コンピュータシステム１３１０は、上記プログラムを、フレキシブルディスクドライブ１３１１を介してフレキシブルディスク１３００に書き込む。

また、フレキシブルディスク１３００内のプログラムを実行することにより画像符号化装置１０００の機能をコンピュータシステム１３１０中に構築する場合は、フレキシブルディスクドライブ１３１１によりプログラムをフレキシブルディスク１３００から読み出し、コンピュータシステム１３１０に転送する。コンピュータシステム１３１０は、転送されたプログラムを実行することにより、上述した画像符号化装置１０００の機能を実現する。

なお、上記説明では、記録媒体としてフレキシブルディスク１３００を例に説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。また、コンピュータシステム１３１０に着脱可能な記録媒体に限らず、コンピュータシステム１３１０が備えるＨＤＤ（ハードディスク・ドライブ）、不揮発性メモリ、ＲＡＭおよびＲＯＭに記録されるプログラムを、コンピュータシステム１３１０が実行してもよい。さらに、コンピュータシステム１３１０は有線または無線の通信網を介して取得したプログラムを実行してもよい。

また、上述した実施の形態１〜１３に示す画像符号化装置に関しても、同様に、コンピュータシステム１３１０で実現可能である。

なお、図４１に示す画像符号化装置１０００に含まれる各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。

以上、本発明の画像符号化方法および画像符号化装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものあるいは、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、動画像復号化装置に利用でき、特に、ネットワークを利用した動画像双方向通信あるいは、動画像配信、監視カメラなど、動画像を符号化する通信機器あるいはセット機器に利用することができる。

１００、８００、９００、１０００、１１００ 画像符号化装置
１０２、８０２、１１０３ ブロック数カウンタ部
１０４、８０４、１１０４ イントラ／インター決定部
１０６、９０６ スライスサイズ決定部
１０８、８０８、９０８ ビデオ・エンコーダ
２００、８２０ パケット化部
８０６ スライス決定部
１０６２ ブロック数取得部
１０６４ スライス種類取得部
１０６５ 参照部
１０６６ スライス分割位置決定部
１１０１ 入力画像
１１０２ ストリーム
１１０５ スライス符号化部
１１０６ 共通データ生成判定部
１１０７ 共通データ生成部
１１０８ ストリーム生成部
１２００、１２００ａ〜１２００ｌ、１２１５ａ〜１２１５ｆ、１２２０ａ〜１２２０ｖ、１２４０ａ〜１２４０ｖ、１２６０ａ〜１２６０ｆ、１２７０ａ〜１２７０ｆ、１２８０ａ〜１２８０ｌ ピクチャ
１２０１、１５２１ Ｉスライス
１２０２、１２０２ａ、１２０２ｂ、１２０２ｃ、１２０２ｄ、１５２２ Ｐスライス
１２０４ 正しく復号できるスライス
１２１１、１５１３ 共通データ
１２１２、１２１２ａ〜１２１２ｊ、１２３２ａ〜１２３２ｖ、１２５２ａ〜１２５２ｔ ピクチャ符号化データ
１２１３、１２３３、１２５３ スライス符号化データ
１３００ フレキシブルディスク
１３０１ ディスク
１３０２ ケース
１３０３ トラック
１３０４ セクタ
１３１０ コンピュータシステム
１３１１ フレキシブルディスクドライブ
１５０１ Ｉピクチャ
１５０２ Ｐピクチャ
１５１１、１５１２、１５１４ 符号化データ
８０６２ ブロック位置取得部
８０６６、９０６６ スライス境界決定部
９０６８ 符号化ビット数カウンタ部

Claims (9)

1. 画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する画像符号化装置であって、
   スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライス間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、ピクチャを分割する分割手段と、
   前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化手段とを備え、
   前記分割手段は、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、前記時間順に連続する複数のピクチャにおいて、Ｉスライスに含まれるブロック数と、当該Ｉスライスおよびその次のＩスライスの間に含まれる１つ以上のＰスライスに含まれるブロック数との和が所定値となるよう前記複数のピクチャのそれぞれを分割する
   ことを特徴とする画像符号化装置。
2. 前記分割手段は、前記時間順に連続する複数のピクチャにおいて、所定のＩスライスとその次のＩスライスとの間に含まれるＰスライスの数が所定値となるよう前記複数のピクチャのそれぞれを分割する
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記複数のピクチャはそれぞれ、少なくとも２つのＩスライスを含み、
   前記分割手段は、前記時間順に連続する複数のピクチャにおいて、所定のピクチャ内での前記２つのＩスライスのうち、Ｉスライスと、その次のＩスライスとの間に含まれるＰスライスのブロック数が所定値となるよう前記複数のピクチャのそれぞれを分割する
   ことを特徴とする請求項１記載の画像符号化装置。
4. 前記分割手段は、さらに、前記時間順に連続する複数のピクチャの中の一定数のピクチャの中で、少なくとも１つのピクチャを、Ｉスライスを含まない複数のＰスライスに分割する
   ことを特徴とする請求項１記載の画像符号化装置。
5. 前記分割手段は、さらに、
   前記ピクチャを、ブロック数Ｍ（Ｍは０以上の整数）からなるＩスライスと、前記ピクチャ内の特定位置にあるＰスライスを除く、ブロック数Ｎ（Ｎは１以上の整数、かつ、Ｍ＜Ｎ）からなる複数のＰスライスとに分割する
   ことを特徴とする請求項１記載の画像符号化装置。
6. 前記分割手段は、さらに、
   前記時間順に連続する複数のピクチャにおいて、予め設定された数のピクチャ毎にＩスライスの位置が一方端から他方端への移動が繰り返されるように、前記ピクチャをＩスライスとＰスライスとに分割し、
   前記符号化手段は、
   前記Ｉスライスを当該スライス内の画素相関を利用して符号化し、前記Ｐスライスを当該スライス内の画素相関、または当該スライスと他のスライスとの間の画素相関を利用して符号化することにより、前記時間順に連続する複数のピクチャの符号化データを生成する符号化データ生成部と、
   前記時間順に連続する複数のピクチャに共通のデータと、前記時間順に連続する複数のピクチャの符号化データとを含むストリームを生成するストリーム生成部とを備え、
   前記ストリーム生成手段は、前記Ｉスライスが前記一方端に位置するピクチャが符号化された符号化データの直前に、前記共通のデータを配置する
   ことを特徴とする請求項１記載の画像符号化装置。
7. 画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する画像符号化方法であって、
   スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライス間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、ピクチャを分割する分割ステップと、
   前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化ステップとを含み、
   前記分割ステップは、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、前記時間順に連続する複数のピクチャにおいて、Ｉスライスに含まれるブロック数と、当該Ｉスライスおよびその次のＩスライスの間に含まれる１つ以上のＰスライスに含まれるブロック数との和が所定値となるよう前記複数のピクチャのそれぞれを分割する
   ことを特徴とする画像符号化方法。
8. 画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化するためのプログラムであって、
   スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライスの間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、ピクチャを分割する分割ステップと、
   前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化ステップとを含み、
   前記分割ステップは、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、前記時間順に連続する複数のピクチャにおいて、Ｉスライスに含まれるブロック数と、当該Ｉスライスおよびその次のＩスライスの間に含まれる１つ以上のＰスライスに含まれるブロック数との和が所定値となるよう前記複数のピクチャのそれぞれを分割する
   ことをコンピュータに実行させるためのプログラム。
9. 画像信号を複数ブロックからなるスライスに分割し、各スライスをブロック単位で符号化する集積回路であって、
   スライス内の画素相関を利用して符号化される、複数ブロックからなるＩ（イントラ）スライスと、スライス内の画素相関とスライス間の画素相関とを利用して符号化される、複数ブロックからなるＰ（インター）スライスとに、ピクチャを分割する分割手段と、
   前記各スライスをブロック単位で符号化してゆくことにより、時間順に連続する複数のピクチャを符号化する符号化手段とを備え、
   前記分割手段は、前記時間順に連続する複数のピクチャの中の一定数のピクチャで、当該複数のピクチャ内でのＩスライスの位置が循環するように、前記時間順に連続する複数のピクチャそれぞれのピクチャ内でのＩスライスの位置を変更し、かつ、前記時間順に連続する複数のピクチャにおいて、Ｉスライスと、その次のＩスライスの間に含まれる１つ以上のＰスライスとに含まれるブロック数の和が所定値となるよう前記複数のピクチャのそれぞれを分割する
   ことを特徴とする集積回路。

Images