JPWO2010035505A1 - 動画像符号化方法および動画像符号化装置 - Google Patents

Abstract

本発明に係る動画像符号化装置は、動画像信号から、量子化ステップとそれよりも小さいステップ幅の小量子化ステップとを導出するＱＰ導出部（１０６）と、小量子化ステップを用いて量子化されるべき第１ブロック群の、ピクチャ内における位置を決定する小ＱＰ位置決定部（１０４）と、その位置の第１ブロック群を、小量子化ステップを用いて量子化し、ピクチャに含まれるその位置以外の第２ブロック群を、量子化ステップを用いて量子化して符号化するビデオ・エンコーダ（１１０）とを備え、小ＱＰ位置決定部（１０４）は、時間順に連続する複数のピクチャの中のうち一定数のピクチャ毎に、複数のピクチャ内の第１ブロック群の位置が符号化順方向で循環するように、複数のピクチャそれぞれのピクチャ内での第１ブロック群の位置を決定する。

Description

本発明は動画像符号化方法および動画像符号化装置に関する。本発明は、特に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４方式で、または、ＩＴＵ−Ｔ Ｈ．２６４方式にて画像信号をブロック単位で符号化する動画像符号化方法および動画像符号化装置に関する。

近年、音声、画像およびその他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオおよび電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形または音声、特に画像等を同時に関連づけて表すことをいう。上記従来の情報メディアをマルチメディアの対象とするには、その情報をデジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をデジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトである。それに対し、音声の場合は、１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画の場合については、１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となる。それ故、上記情報メディアでその膨大な情報をデジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、６４Ｋｂｉｔｓ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合デジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によって実用化されている。しかし、テレビ・カメラの映像をそのままのデジタル情報量でＩＳＤＮにて送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）によって勧告されたＨ．２６１またはＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術では、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）によって標準化された動画像信号圧縮の国際規格である。ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｉｔｓ／ｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では、対象とする品質を中程度の品質、すなわち伝送速度が主として約１．５Ｍｂｉｔｓ／ｓで実現できる程度の品質としたことから、さらに高画質化の要求をみたすべくＭＰＥＧ−２が規格化されている。ＭＰＥＧ−２では、動画像信号を２〜１５Ｍｂｉｔｓ／ｓでＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）放送品質を実現する。さらに、現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、さらに物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化されている。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、インタレース画像も含む高ビットレートの符号化方法も含む、より汎用的な符号化に拡張されている。さらに、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔとによって共同で、より高圧縮率の画像符号化方式として、ＭＰＥＧ−４ ＡＶＣおよびＩＴＵ−Ｔ Ｈ．２６４が規格化されている。

画像信号は同じ時刻の画素の集合であるピクチャ（フレームまたはフィールドとも呼ばれる）が連続したものであると考えることができる。画素は、ピクチャ内での近傍画素との相関が強いことから、ピクチャ内の画素の相関を利用した圧縮が行われる。また、連続するピクチャ間では、画素の相関も強いことから、ピクチャ間の画素の相関を利用した圧縮も行われる。ピクチャ間の画素の相関とピクチャ内の画素の相関を利用した圧縮をインター符号化、ピクチャ間の画素の相関を用いないがピクチャ内の画素の相関を利用した圧縮をイントラ符号化と呼ぶ。ピクチャ間の相関を利用しているため、インター符号化の方が、イントラ符号化よりも圧縮できる。ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣおよびＨ．２６４では、２次元の矩形領域の画素の集合であるブロック（もしくはマクロブロック）を構成し、ブロック単位でイントラ符号化とインター符号化とを切り替える。

イントラ符号化の場合は、ピクチャ内の画素ブロックもしくはピクチャ内の画素の相関を利用した予測誤差のブロックが構成される。インター符号化の場合は、ピクチャ間の相関を利用した予測誤差のブロックが構成される。そして、ピクチャを構成するこれらブロックに対してＤＣＴ（ディスクリート・コサイン変換）などの２次元直交変換が行われ、２次元直交変換されたブロックの周波数成分は所定の量子化ステップ（幅）で量子化される。量子化した結果、得られる量子化値は可変長符号化されて、例えばネットワークに伝送される。

なお、量子化する際、量子化ステップが大きいと画像符号化歪が大きくなるが高圧縮となり、量子化ステップが小さいと画像符号化歪が小さくなるが低圧縮となる。ここで、量子化ステップとは、量子化する際の量子化幅であり、どの程度細かく量子化を行うかを示す。

また、動画像を符号化する場合には、通常、１秒当たりのデータ量を示すビットレートが一定となるように、かつ、ピクチャ内で量子化ステップがほぼ一定となるように、量子化ステップを導出する。ビットレートを一定にするのは、符号化したストリームを伝送するネットワークの伝送ビットレートが一定のためである。これは、符号化歪がピクチャ内の位置（水平位置、垂直位置）によって符号化歪の大きさにばらつきがある場合、即ちピクチャ内で量子化ステップがほぼ一様でないと符号化歪が目立ちやすいためである。

このように、一般に、動画像を符号化する場合には、ピクチャ内で量子化ステップが一様となるように制御する。この制御には、符号化歪が一様となり、特定の箇所で符号化歪が目立ちにくいという長所がある。

一方、ネットワークにおいて、ＡＤＳＬまたは光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数Ｍｂｉｔｓ／ｓを越えるビットレートでの送受信が可能となっている。また、今後数年で数十Ｍｂｉｔｓ／ｓでの送受信が可能になる見込みである。そのため、上記の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でもＴＶ放送品質、ＨＤＴＶ品質、将来的にはスーパーＨＤＴＶ品質のＴＶ電話・ＴＶ会議システムの導入が進むと予想される。

ところで、ネットワークを介して符号化した画像データ、すなわちストリームを伝送する際には、ネットワーク輻輳などでストリームの一部が消失する可能性がある。ストリームの一部が消失した場合には、受信側で消失したストリームに対応する箇所の画像を正しく復号できないので、画質劣化が発生する。さらに、次ピクチャ以降も、消失したストリームに対応する箇所の画像を参照してインター符号化したストリーム復号も画質劣化が発生する。そこで、ブロックを複数まとめた符号化単位であるスライスが定義された。スライスは独立に符号化および復号処理が可能な最小単位であり、ストリームの一部が消失してもスライス単位で復号処理ができる。そのため、例えば、図２２に示すように、ピクチャを例えば５行のスライスに分割し、その中の一つのスライスをＩスライスとして、時間的に連続するピクチャにおいてピクチャ内のＩスライスの位置を循環させる技術がある。ここで、Ｉスライスとは、イントラ符号化されたスライスである。この技術により、ネットワーク輻輳などでストリームの一部が消失した場合でも、その影響を受けずに、受信側で正しく復号できるようになる。すなわち、上述したＩスライスの循環により、ネットワーク輻輳などで生じるエラーがインター符号化で次以降のピクチャの復号に影響することを止めることができる。

図２３は、ＭＰＥＧ−２規格のスライス分割方法を用いた場合におけるスライスとブロックとの関係を説明する図である。図２３に示すピクチャ（１フレーム）は、複数のブロックで構成されている。また、ピクチャを構成するブロックの中で、同じ行のブロックは１つのスライスを構成している。

図２４は、ピクチャにおける複数のブロックの符号化順を説明するための図である。この図２３に示すピクチャにおけるブロックは、図２４で示す順序、すなわち、ピクチャ内において、スライス単位内では左から右へ、かつ、スライス単位で上から下への順序で符号化される。このような符号化順序によりピクチャにおけるブロックを符号化して、ストリームが生成される。

ＭＰＥＧ−２規格書：ＩＳＯ／ＩＥＣ １３８１８−２、"Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ − Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ Ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ：Ｖｉｄｅｏ"、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ、Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ、Ｄｅｃｅｍｂｅｒ ２０００

しかしながら、一般に、動画像すなわち連続する複数のピクチャを高圧縮率でインター符号化する場合、連続する複数のピクチャの中のうちのいずれかのピクチャが符号化歪の大きいピクチャのとき、そのピクチャの符号化順で後のピクチャは、その符号化歪の大きいピクチャとの画面間相関を利用した圧縮を行うことになる。そのため、その後のピクチャの符号化歪も大きくなってしまうので、特に動きの少ない動画像では視覚的に符号化歪が目立つようになる。

そこで、本発明は、上記問題点に鑑みてなされたものであり、特にネットワーク輻輳などの影響によるストリームの消失が少ない場合に、画面間相関を利用したインター符号化の符号化歪を小さくする動画像符号化方法および動画像符号化装置を実現することを目的とする。

上記の課題を解決するために、本発明に係る動画像符号化装置は、動画像信号における時間順に連続する複数のピクチャを、量子化ステップを用いてブロック単位で量子化して符号化する動画像符号化装置であって、前記動画像信号に基づいて、量子化ステップと当該量子化ステップよりも小さいステップ幅の小量子化ステップとを導出する量子化ステップ導出部と、前記小量子化ステップを用いて量子化されるべき１以上のブロックによって構成される第１ブロック群の、当該ピクチャ内における位置を決定する位置決定部と、前記位置決定部が決定した前記位置における前記第１ブロック群を、前記小量子化ステップを用いて量子化し、前記ピクチャに含まれる前記位置以外の１以上のブロックによって構成される第２ブロック群を、前記量子化ステップを用いて量子化して符号化する符号化部とを備え、前記位置決定部は、前記時間順に連続する複数のピクチャの中のうち時間順に連続する一定数のピクチャ毎において、当該複数のピクチャ内における前記第１ブロック群の位置が符号化順方向で循環するように、当該複数のピクチャそれぞれのピクチャ内における前記第１ブロック群の位置を決定することを特徴とする。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したりすることもできる。また、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

本発明によれば、画面間相関を利用したインター符号化の符号化歪を小さくする動画像符号化方法および動画像符号化装置を実現することができる。

具体的には、小さい量子化ステップで符号化するスライスまたはブロックをピクチャに配置し、連続するピクチャにおけるピクチャ内でのその位置を符号化順に移動させることで、小さい量子化ステップで符号化するスライスまたはブロックを一定周期で循環させる。それにより、一定周期となる連続するピクチャで、ピクチャを構成する全てのスライスまたはブロックの位置で符号化歪の小さいインター符号化が行われることになる。

ここで、下記１）２）であるため、動きの少ないブロックでの符号化歪が小さくなり、視覚的に符号化歪が目立たなくなる効果を奏する。

１）動画像の動きの少ないブロックでは、画素相関を利用するピクチャ（参照ピクチャ）の符号化歪が小さいほど、インター符号化の圧縮率が向上し、符号化歪も小さくなる。従って、小さい量子化ステップで符号化を行うことで、それを参照して符号化するピクチャの符号化歪も小さくなる。

２）動きの少ないブロックでは、動きの大きなブロックよりも、画像を目で追従しやすいので符号化歪が目立ちやすい。

さらに、連続するピクチャにおいて、それぞれのピクチャを構成する一部のブロックの量子化ステップのみを小さくすることで、それぞれのピクチャを符号化した際のビット数もほぼ一定とすることができるので、一定のビットレートのネットワークで伝送することが可能となる。

なお、ピクチャ内で量子化ステップがほぼ一様でないと符号化歪が目立ちやすいが、本発明ではその問題も回避できる。これは下記の理由による。

１）小さい量子化ステップで符号化するスライス位置は循環しており、ピクチャ全体が必ず小さい量子化ステップで符号化される機会がある。

２）インター符号化で小さな量子化ステップを参照した符号化では、量子化ステップが小さくなくても符号化歪が目立たないことが多い。なお、これは、一般に画像は動きが小さいほどインター符号化の符号化歪は参照画像の符号化歪と同じくらい小さくなり、動きが大きい場合はピクチャで同じ量子化ステップでなくても画質劣化が目立ちにくいためである。

図１は、本発明の実施の形態１における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図２は、本発明の実施の形態１における効果を説明するための図である。 図３Ａは、本発明の実施の形態１における時間順に各スライスを符号化してストリームを送信する場合のビット数を示す図である。 図３Ｂは、本発明の実施の形態１における時間順に各スライスを符号化してストリームを送信する場合のビット数を示す図である。 図４は、本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。 図５は、本発明の実施の形態１における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。 図６は、本発明の実施の形態２における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図７は、本発明の実施の形態３における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図８は、本発明の実施の形態４における時間順に連続するピクチャへの小ＱＰブロック挿入例を示す図である。 図９は、本発明の実施の形態４における動画像符号化装置の構成を示すブロック図である。 図１０は、本発明の実施の形態４における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。 図１１は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰブロック挿入例を示す図である。 図１２は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入の別の例を示す図である。 図１３は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入のさらに別の例を示す図である。 図１４は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入のさらに別の例を示す図である。 図１５は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入のさらに別の例を示す図である。 図１６Ａは、本発明の実施の形態６における時間順に連続するピクチャへのＩスライスの挿入例を説明するための図である。 図１６Ｂは、本発明の実施の形態６における時間順に連続するピクチャへのＩスライスまたは小ＱＰスライスの挿入例を説明するための図である。 図１７は、本発明の実施の形態６における動画像符号化装置の構成を示すブロック図である。 図１８は、本発明の実施の形態６における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。 図１９は、本発明の実施の形態７における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図２０は、本発明の実施の形態８における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図２１Ａは、上記各実施の形態の動画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 図２１Ｂは、上記各実施の形態の動画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 図２１Ｃは、上記各実施の形態の動画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 図２２は、時間順に連続するピクチャへのＩスライス挿入例を示す図である。 図２３は、ＭＰＥＧ−２のスライスとブロックの関係の説明図である。 図２４は、ピクチャにおけるブロックの符号化順の説明図である。

以下、本発明の実施の形態について、図を用いて説明する。

（実施の形態１）
図１は、本発明の実施の形態１における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。

図１に示すように、ピクチャＮからピクチャＮ＋９は、この順で時間順に連続するピクチャであり、ピクチャ（１フレーム）は、複数のスライスで構成されている。ここでは、それぞれのピクチャは５つのスライスで構成されている。

ピクチャを構成するブロックの中で、斜線をつけたスライスは、量子化ステップが通常より小さくされたスライス（以下、小ＱＰスライスと記載。）である。斜線のついていないその他のスライスは、量子化ステップが小さくされないすなわち通常の量子化ステップのスライス（以下、通常ＱＰスライスと記載。）である。ここで、通常の量子化ステップとは、上述したように、動画像を符号化する場合に、１秒当たりのデータ量を示すビットレートが一定となるように、かつ、ピクチャ内で量子化ステップがほぼ一定となるように、通常通り導出された量子化ステップである。なお、小ＱＰスライスの量子化ステップの大きさと、通常ＱＰスライスの量子化ステップの大きさはピクチャ単位で異なってもよい。

このように、ピクチャにおける量子化ステップの大きさが、特定のスライスに対してではあるが、スライス単位で変更される。

図１に示すように、実施の形態１では、周期的にすなわち時間的に連続するピクチャにおけるピクチャに量子化ステップの小さい小ＱＰスライスを含め、時間的に連続するピクチャ毎にピクチャ内での小ＱＰスライスの位置を移動する。具体的には、小ＱＰスライスの位置は、ピクチャＮからピクチャＮ＋４まで順番にピクチャ内での位置が１つずつ下に移動し、ピクチャＮ＋４でピクチャ内での最下位置になる。ピクチャＮ＋５では、小ＱＰスライスを含まず通常ＱＰスライスのみとなる。ピクチャＮ＋６では、ピクチャ内での最上位置が小ＱＰスライスの位置となる。このように、図１では、時間順に連続する一定数のピクチャ毎にピクチャ内の小ＱＰスライスの位置が移動する。

ここで、図１に示すように、時間順に連続するピクチャにおいて、ピクチャ内のブロックの符号化順序で、小ＱＰスライスと次の小ＱＰスライスとの間に含まれるスライスの個数（すなわちブロック数）は一定値である。なお、ここで符号化順序とは、図１９で示したピクチャにおけるブロックの符号化順である。

ところで、世の中の動画像では、ＴＶ会議、コンサートおよび監視カメラなどはもとより、ムービーおよび風景の撮影でも、動画像の全領域内で動きの多い部分は少ない。すなわち、世の中の動画像信号の大部分は、一部の領域のみ動いているか全領域でも殆ど動きのない動画像信号になる場合が殆どである。また、動きのない領域では、ピクチャ間の相関が非常に高く、参照ピクチャと符号化対象ピクチャとの差は殆どない。差が殆どない場合には、差を符号化しなくても符号化歪が大きくならないことになる。

従って、インター符号化では、動きが殆どない領域で参照ピクチャと符号化対象ピクチャとの差を符号化する場合、参照ピクチャの符号化歪が小さければピクチャ間の差の符号化が不要である。そのため、符号化対象ピクチャの量子化ステップが大きくても符号化対象ピクチャの符号化歪は小さくなる。

図２は、本発明の実施の形態１における効果を説明するための図である。

小さい量子化ステップ（以下、小量子化ステップと記載。）で量子化した斜線で示す小ＱＰスライスの符号化歪は通常の量子化ステップ（以下、通常量子化ステップと記載。）で量子化した通常ＱＰスライスよりも小さい。言い換えると、小ＱＰスライスの予測符号化した場合には、通常ＱＰスライスの予測符号化した場合に比べて、原画像との差分がより小さい復号画像を再生することができる。さらに、後続の画像が復号画像を参照して通常ＱＰスライスとして符号化される場合には、原画像と復号画像との差分が後続の画像の復号画像にも残存する。

従って、小ＱＰスライスを参照して符号化する通常ＱＰスライスは、動きが殆どない領域では、量子化ステップが通常の大きさであっても、通常ＱＰスライスを参照して符号化する通常ＱＰスライスよりも参照ピクチャにおける符号化歪の影響が小さいので符号化歪が小さくなる。

このような理由から、小ＱＰスライスを参照して符号化すると、通常ＱＰスライスの符号化歪は小さくなる。符号化歪の小さくなった通常ＱＰスライスを参照して符号化するさらに後続の画像の通常ＱＰスライスは、量子化ステップが通常の大きさでも、符号化歪の小さくなっていない通常ＱＰスライスを参照して符号化するさらに後続の画像の通常ＱＰスライスよりも符号化歪は小さくなる。

従って、図２に示すように、時間順に連続するピクチャにおいて、ある時点のピクチャで小ＱＰスライスとされた位置のスライスは、後に続くピクチャでも、符号化歪が小さくなる。つまり、時間順に連続するピクチャにおけるピクチャに小ＱＰスライスを配置し、ピクチャ内でのその位置を、連続するピクチャで符号化順に移動させることで、ピクチャ内での小ＱＰスライスの位置を一定周期で循環させる。それにより、ピクチャ内の全てのスライス位置において、一定周期で符号化歪の小さい符号化が行われることになる。

このように、動きが小さい、もしくは動きが殆どない動画像では、上記のようにすることで、符号化歪を小さくすることができ、視覚的にも符号化歪が目立たなくなる。

図３Ａおよび図３Ｂは、本発明の実施の形態１における時間順に各スライスを符号化してストリームを送信する場合のビット数を示す図である。

図３Ａは、図１で示されるピクチャを構成するスライスを上記の符号化順に符号化する際に、発生するビット数を示している。ここで、図３Ａでは、横軸に符号化順序（時刻）、縦軸にビット数の大きさを示している。

小ＱＰスライスの圧縮率は、他の通常ＱＰスライスの圧縮率より低い。そのため、符号化する場合、小ＱＰスライスのビット数の大きさは、通常ＱＰスライスのビット数よりも大きくなる。

このように符号化したスライスを、スライス単位で一定のビットレートで伝送する際には、量子化ステップの小さな小ＱＰスライスは、他の通常ＱＰスライスよりも符号化したデータの伝送に時間がかかることになる。

図３Ｂは、図３Ａの符号化データを一定のビットレートで伝送する際の伝送を、横軸に時間軸で記載して図示したものである。図３Ｂは、時間順に連続する複数のピクチャを符号化し、これらピクチャを符号化順に一定のビットレートで伝送している様子を示している。

図３Ａおよび図３Ｂに示すように、ピクチャＮ＋４、ピクチャＮ＋５およびピクチャＮ＋６の間でも、小ＱＰスライスとその次の小ＱＰスライスとの間の通常ＱＰスライスは５個と固定である。すなわち、ストリームをスライス単位でネットワーク伝送する場合に、ビット数の大きな小ＱＰスライスが２回連続することがないようにされている。それにより、ネットワーク伝送するビット数が平準化されている。具体的には、図３Ｂにおける区間Ａ〜区間Ｅに示されるように、いずれの区間での６個のスライス、すなわちどの連続する６個のスライスにも、１つの小ＱＰスライスと５つの通常ＱＰスライスとが含まれている。

従って、小ＱＰスライスとその次の小ＱＰスライスに含まれるスライスの個数が一定のため、ネットワーク伝送するビット数が平準化される。すなわち、スライスのビット数の変換の仕方が周期的で、各ピクチャがほぼ一定の時間で伝送する制御が容易であることがわかる。

なお、このようなビット数が平準化される効果は、図１、図２において、画像の１番下のスライスを小ＱＰスライスにしたピクチャ（ピクチャＮ＋４）の次のピクチャを、どのスライスの小ＱＰスライスとしないピクチャ（ピクチャＮ＋５）としたことによるものである。仮に、ビット数の平準化を図らないのであれば、どのスライスの小ＱＰスライスとしないピクチャを挿入する必要はない（後述の実施の形態３を参照のこと）。

次に、上述を実現する機能構成を備える動画像符号化装置について説明する。

図４は、本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。

動画像符号化装置１００は、行数カウンタ部１０２と、量子化ステップを通常よりも小さく（小量子化ステップに）するスライス位置を決定する小ＱＰ位置決定部１０４と、通常量子化ステップを導出するＱＰ導出部１０６と、通常量子化ステップを補正するＱＰ補正部１０８と、ビデオ・エンコーダ１１０とを備える。

行数カウンタ部１０２は、ビデオ・エンコーダ１１０が符号化対象とするスライスにおける行数を計測する。

小ＱＰ位置決定部１０４は、行数カウンタ部１０２から通知された行数から、ビデオ・エンコーダ１１０が符号化対象とするスライスを符号化する際の量子化ステップを通常通りの大きさにする（通常量子化ステップ）か、通常よりも小さくする（小量子化ステップ）かを決定する。

ＱＰ導出部１０６は、ビデオ・エンコーダ１１０が過去に符号化したスライスのビット数に基づき、ビデオ・エンコーダ１１０が符号化対象とするスライスの通常量子化ステップを導出する。ここで導出される量子化ステップにより符号化されるスライスは、上記でいう通常ＱＰスライスとなる。

なお、通常量子化ステップを導出する場合、一般に、実際に符号化された際に発生したビット数が伝送ビットレートよりも多い場合は、量子化ステップをやや大きくして導出する。反対に、実際に符号化された際に発生したビット数が伝送ビットレートよりも少ない場合は、量子化ステップをやや小さくして導出する。

ＱＰ導出部１０６は、上記のようにすることで、伝送ビットレートとビデオ・エンコーダ１１０が符号化対象のスライスを符号化する際に発生するビット数とが一致するように微調整をしながら通常量子化ステップを導出する。

なお、量子化ステップは、スライス単位で変更されても、ブロック単位で変更されてもよい。

ＱＰ補正部１０８は、小ＱＰ位置決定部１０４が、量子化ステップを通常（通常量子化ステップ）より小さくすべき小ＱＰスライスであると判定した場合は、ＱＰ導出部１０６で導出した通常量子化ステップを小さくする補正を行う。ＱＰ補正部１０８は、補正して小さくした小量子化ステップで符号化対象のスライスを符号化するようビデオ・エンコーダ１１０に通知する。

また、ＱＰ補正部１０８は、小ＱＰ位置決定部１０４が、通常量子化ステップより小さくすべき小ＱＰスライスではないと判定する場合は、ＱＰ導出部１０６で導出した通常量子化ステップで符号化対象のスライスを符号化するようビデオ・エンコーダ１１０に通知する。

なお、ここではＱＰ導出部１０６で導出した通常量子化ステップが補正され小さくされる度合いは、固定値であるとしている。例えば通常量子化ステップの値から定数を減算したり、通常量子化ステップの値に定数を乗算したりする方法が実装容易である。

また、補正した小量子化ステップが小さくなりすぎないように、すなわちＱＰ補正部１０８で補正した小量子化ステップが所定値未満とならないように所定の最小値でクロップする方法も有効である。もちろん、上記の方法に加えて適用してもよい。

ビデオ・エンコーダ１１０は、ＱＰ補正部１０８から通知される量子化ステップを用いて、ブロック単位で入力画像ＶＩＮを符号化（イントラ符号化またはインター符号化）する。

また、ビデオ・エンコーダ１１０は、符号化した入力画像ＶＩＮをストリームＳＴＲとしてパケット化部３００に出力する。

なお、パケット化部３００は、ストリームＳＴＲをネットワークの伝送に適した形式に変換する。パケット化部３００は、例えば、ストリームＳＴＲをスライス単位で１つのネットワーク伝送単位に変換する。このとき、パケット化部３００は、ストリームＳＴＲを１つのスライスを複数のネットワーク伝送単位に変換してもよい。

以上のように、動画像符号化装置１００は構成される。

次に、以上のように構成される動画像符号化装置１００が行う符号化処理について説明する。

なお、ＱＰ導出部１０６で導出した通常量子化ステップは、数スライス単位もしくはピクチャ単位でビット数が一定となるように通常量子化ステップを導出するのがよい。これは、ＱＰ補正部１０８で小量子化ステップに補正したスライスで多いビット数が発生したとしても、その直後に符号化するスライスで急に通常量子化ステップを大きくして画質劣化が発生することを防止するためである。

図５は、本発明の実施の形態１における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。

まず、行数カウンタ部１０２は、ビデオ・エンコーダ１１０が符号化対象とするスライスにおける行数を示す値であるカウンタＬを０で初期化する（Ｓ１０２）。

次に、小ＱＰ位置決定部１０４は、ビデオ・エンコーダ１１０が符号化対象とするスライスを符号化する際の量子化ステップを、通常量子化ステップにするか、小量子化ステップにするかを決定する。

具体的には、まず、小ＱＰ位置決定部１０４は、カウンタＬが０以下であるかどうかを判定する（Ｓ１０４）。

次に、小ＱＰ位置決定部１０４は、カウンタＬが０以下である場合（Ｓ１０４のはいの場合）、ビデオ・エンコーダ１１０が符号化対象とするスライスを符号化する際の量子化ステップを、通常量子化ステップよりも小さな小量子化ステップに決定する。ビデオ・エンコーダ１１０は、小ＱＰ位置決定部１０４により決定された小量子化ステップを用いて符号化対象とするスライスを符号化する（Ｓ１０６）。

ビデオ・エンコーダ１１０が、小ＱＰ位置決定部１０４により決定された小量子化ステップを用いて符号化した場合、行数カウンタ部１０２は、カウンタＬに連続するピクチャにおける小ＱＰスライス挿入間隔を代入する（Ｓ１０８）。ここで、小ＱＰスライス挿入間隔とは、時間的に連続するピクチャ内または間における小ＱＰスライスとその次の小ＱＰスライスとの間に挿入される通常ＱＰスライスの行数の値（総数）である。

次に、小ＱＰ位置決定部１０４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ１１４）。

なお、小ＱＰ位置決定部１０４は、カウンタＬが０より大きい場合（Ｓ１０４のいいえの場合）、ビデオ・エンコーダ１１０が符号化対象とするスライスを符号化する際の量子化ステップを、通常量子化ステップのままであると決定する。ビデオ・エンコーダ１１０は、小ＱＰ位置決定部１０４により決定された通常量子化ステップを用いて符号化対象とするスライスを符号化する（Ｓ１１０）。

ビデオ・エンコーダ１１０が、小ＱＰ位置決定部１０４により決定された通常量子化ステップを用いて符号化した場合は、行数カウンタ部１０２は、カウンタＬから、ビデオ・エンコーダ１１０が符号化した通常ＱＰスライスの行数を減算する（Ｓ１１２）。

次に、小ＱＰ位置決定部１０４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ１１４）。完了していない場合には（Ｓ１１４のいいえの場合）、Ｓ１０４〜Ｓ１１４の処理を全ての画像に対して繰り返す。

以上のようにして、実施の形態１における動画像符号化装置１００は、符号化処理を行い、連続するピクチャにおける小ＱＰスライスとその次の小ＱＰスライスとの間に、一定数のスライスを挿入することができる。

上述したように、動きが小さいもしくは動きが殆どない動画像では、動きの大きな動画像よりも、画像を目で追従しやすいので符号化歪が目立ちやすい。しかし、動きが小さいもしくは動きが殆どない動画像でも、画素相関を利用するのに用いるスライス（参照スライス）の符号化歪が小さいほど、符号化歪も小さくなる。

従って、実施の形態１によれば通常よりも小さい量子化ステップで符号化する小ＱＰスライスを、時間順に連続するピクチャにおけるピクチャ内に配置し、ピクチャ内でのその位置を、時間的に連続する一定数のピクチャ毎に符号化順で移動させることで、ピクチャ内での小ＱＰスライスの位置を一定周期で循環させる。それにより、ピクチャ内の全てのスライス位置において、一定周期で符号化歪の小さい符号化が行われることになるので、動きが小さいもしくは動きが殆どない動画像での符号化歪が小さくなり、視覚的に符号化歪が目立たなくなる。

また、各ピクチャにおいて、ピクチャ内の一部のスライスにおける量子化ステップのみを小さくすることで、各ピクチャを符号化したビット数もほぼ一定となり、一定のビットレートのネットワークで伝送することが可能となる。

なお、通常量子化ステップから小量子化ステップへと補正する度合いは、固定値であるとして説明したがそれに限らない。例えば、小量子化ステップの値を予め決めていてもよく、導出される通常量子化ステップの値を半分にした値を小量子化ステップとしてもよい。また、さらに、小量子化ステップの値を、ビットレートに合わせて可変としてもよい。

（実施の形態２）
次に、実施の形態２について説明する。なお、実施の形態１と同じ構成および同じ動作については説明を省略する。

図６は、本発明の実施の形態２における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。ここで、斜線をつけたスライスは、小ＱＰスライスであり、その他のスライスは通常ＱＰスライスである。

図６では、図１に示した場合と異なり、量子化ステップが通常より小さな小ＱＰスライスを含まないピクチャが定期的（周期的）に挿入されている。具体的には、図６に示す例では、時間順に連続する一定周期のピクチャ（ピクチャＮ〜ピクチャＮ＋１０）において、図１に示した場合（図１ではピクチャＮ〜ピクチャＮ＋５）に加えて、小ＱＰスライスを含まないピクチャが１つおきに挿入されている。従って、図６に示すように、時間順に連続する一定周期のピクチャにおいて、小ＱＰスライスを含まないピクチャが、ピクチャＮ＋１、ピクチャＮ＋３、ピクチャＮ＋５、ピクチャＮ＋７、ピクチャＮ＋９およびピクチャＮ＋１０として、挿入されている。

通常ＱＰスライスからなるピクチャに小ＱＰスライスを導入すると、通常ＱＰスライスのみからなるピクチャに比べわずかではあるがビット数は大きくなる。そのため、低ビットレートでの伝送が必要な場合は、周期的に小ＱＰスライスを含まないピクチャ（通常ＱＰのみからなるピクチャ）を挿入することで、複数フレーム単位での平均ビットレートの増加を抑えつつ、かつ小ＱＰスライス導入による符号化歪を削減することができる効果が得られる。

ただし、周期的に小ＱＰスライスを含まないピクチャを挿入する場合、小ＱＰスライスが配置されるピクチャ内での位置が一巡りするまでのピクチャ数（ピクチャＮ〜ピクチャＮ＋１０の１１ピクチャ）が、図１に示す場合のピクチャ数（ピクチャＮ〜ピクチャＮ＋６の７ピクチャ）よりも多くなる。そのため、例えば動きが少ない動画像を復号化するとき、図６に示す場合と、図１に示す場合とを比べるとわかるように、ピクチャ全体の符号化歪が小さくなるまでの時間（一定周期）が長くなる。

（実施の形態３）
次に、実施の形態３について説明する。なお、実施の形態１と同じ構成および同じ動作については説明を省略する。

図７は、本発明の実施の形態３における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。ここで、斜線をつけたスライスは、小ＱＰスライスであり、その他のスライスは通常ＱＰスライスである。

図７では、図１に示した場合と異なり、小ＱＰスライスを含まないピクチャが挿入されない。すなわち、図７に示す例では、時間順に連続するピクチャ（ピクチャＮ〜ピクチャＮ＋９）において、小ＱＰスライスを含まないピクチャは挿入されず、全てのピクチャ（ピクチャＮ〜ピクチャＮ＋９）に小ＱＰスライスを含む。

従って、図７に示すピクチャＮ＋４における小ＱＰなスライス（ピクチャ最下位置）の符号化直後に、ピクチャＮ＋５における小ＱＰスライス（ピクチャ最上位置）の符号化が行われてネットワークに伝送されるため、ビット数の多いスライスが連続することになる。

実施の形態１のように符号化と伝送とをスライス単位で行うのではなく、ピクチャ単位でネットワークへの伝送を行う場合には、ピクチャ単位で一定のビット数となるようにするのが効率的である。

従って、ピクチャ単位でネットワークの伝送を行う場合は、図１のように小ＱＰスライスの間隔を一定にするのではなく、図７に示すように時間順に連続するピクチャそれぞれに小ＱＰスライスを含むように、動画像符号化装置１００は量子化ステップの制御を行うとしてもよい。

（実施の形態４）
次に、実施の形態４について説明する。なお、実施の形態１と同じ構成および同じ動作については説明を省略する。

実施の形態１〜３では、動きが小さいもしくは動きが殆どない動画像でも視覚的に符号化歪を目立たなくするために、動画像符号化装置１００がスライス単位で量子化ステップを通常よりも小さくする例を示した。実施の形態４では、スライス単位ではなく、ブロック単位で量子化ステップを通常よりも小さくする場合の例を示す。ブロック単位にすることで、スライスの大きさとは関係なく、量子化ステップを小さくするブロックの数を変えることができる。なお、スライス構造とは関係なく、各ピクチャにおいて通常の量子化ステップよりも小さくされた量子化ステップ（小量子化ステップ）を参照して符号化される一定数のブロック数からなるブロックを、以下、小ＱＰブロックと記載する。

図８は、本発明の実施の形態４における時間順に連続するピクチャへの小ＱＰブロック挿入例を示す図である。ここで、斜線をつけた領域は、小ＱＰブロックであり、その他のスライスまたは領域（ブロック）は、通常ＱＰスライスまたは通常量子化ステップにより符号化される領域（ブロック）である。

小ＱＰブロックの位置は、図８に示すように、時間順に連続するピクチャにおいて符号化順序の方向に移動する。すなわち、小ＱＰブロックの位置は、ピクチャＮから順番にピクチャ内での小ＱＰブロックの大きさ（一定数のブロック数）毎に移動する。このように、小ＱＰブロックの位置は、スライス構造とは無関係に移動する。小ＱＰブロックは、例えばピクチャＮ＋１に示すように２つのスライスをまたがっていてもよい。また、小ＱＰブロックは、符号化順の方向に一定数のブロック数になっていればよいので、ピクチャＮ＋５とピクチャＮ＋６とに示されるように、２つのピクチャをまたがって位置していてもよい。

以上のように、スライス単位でなく、ブロック単位で量子化ステップを変更できる符号化装置の構成が実現できる場合には、実施の形態４のように、時間順に連続するピクチャにおいて、図８に示すように小ＱＰブロックの位置が移動するのがよい。

次に、上記を実現する機能構成を備える動画像符号化装置について説明する。

図９は、本発明の実施の形態４における動画像符号化装置の構成を示すブロック図である。なお、図５と同様の要素には同一の符号を付しており、詳細な説明は省略する。

動画像符号化装置２００は、ブロック数カウンタ部２０２と、量子化ステップを通常よりも小さく（小量子化ステップに）するブロック位置を決定する小ＱＰ位置決定部２０４と、通常量子化ステップを導出するＱＰ導出部１０６と、通常量子化ステップを補正するＱＰ補正部１０８と、ビデオ・エンコーダ１１０とを備える。

図９に示す動画像符号化装置２００は、図４に示す動画像符号化装置１００に対して小ＱＰ位置決定部１０４と、行数カウンタ部１０２との構成が異なる。

具体的には、動画像符号化装置２００では、スライスを構成する行数ではなく、ブロック数をブロック数カウンタ部２０２で計測し、計測したブロック数によって小量子化ステップとするブロックを小ＱＰ位置決定部２０４で決定する。

その他の構成についても、量子化ステップをスライス単位ではなく、ブロック単位で変更する点を除けば、図５で上述したのと同様であるため、説明を省略する。

以上のように、動画像符号化装置２００は構成される。

なお、ＱＰ導出部１０６で導出した通常量子化ステップは、数スライス単位もしくはピクチャ単位でビット数が一定となるように通常量子化ステップを導出するのがよい。これは、ＱＰ補正部１０８で小量子化ステップに補正したブロックで多いビット数が発生したとしても、その直後に符号化するブロックで急に通常量子化ステップを大きくして画質劣化が発生することを防止するためである。

次に、以上のように構成される動画像符号化装置２００が行う符号化処理について説明する。

図１０は、本発明の実施の形態４における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。

まず、ブロック数カウンタ部２０２は、ビデオ・エンコーダ１１０が符号化対象とするブロックにおけるブロック数を示す値であるカウンタＢを０で初期化する（Ｓ２０２）。

次に、小ＱＰ位置決定部２０４は、ビデオ・エンコーダ１１０が符号化対象とするブロックを符号化する際の量子化ステップを、通常量子化ステップにするか、小量子化ステップにするかを決定する。

具体的には、まず、小ＱＰ位置決定部２０４は、カウンタＢが０以下であるかどうかを判定する（Ｓ２０４）。

次に、小ＱＰ位置決定部２０４は、カウンタＢが０以下である場合（Ｓ２０４のはいの場合）、ビデオ・エンコーダ１１０が符号化対象とするブロックを符号化する際の量子化ステップを、通常量子化ステップよりも小さな小量子化ステップに決定する。ビデオ・エンコーダ１１０は、小ＱＰ位置決定部２０４により決定された小量子化ステップを用いて符号化対象とするブロックを符号化する（Ｓ２０６）。

ビデオ・エンコーダ１１０が、小ＱＰ位置決定部２０４により決定された小量子化ステップを用いて符号化した場合、ブロック数カウンタ部２０２は、カウンタＢに連続するピクチャにおける小ＱＰブロックの挿入間隔を代入する（Ｓ２０８）。ここで、小ＱＰブロック挿入間隔とは、時間的に連続するピクチャ内または間における小ＱＰブロックとその次の小ＱＰブロックとの間に挿入されるブロック数の値（総数）である。

次に、小ＱＰ位置決定部２０４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ２１４）。

なお、小ＱＰ位置決定部２０４は、カウンタＢが０より大きい場合（Ｓ２０４のいいえの場合）、ビデオ・エンコーダ１１０が符号化対象とするブロックを符号化する際の量子化ステップを、通常量子化ステップのままであると決定する。ビデオ・エンコーダ１１０は、小ＱＰ位置決定部２０４により決定された通常量子化ステップを用いて符号化対象とするピクチャのブロック符号化する（Ｓ２１０）。

ビデオ・エンコーダ１１０が、小ＱＰ位置決定部２０４により決定された通常量子化ステップを用いて符号化した場合は、ブロック数カウンタ部２０２は、カウンタＢからビデオ・エンコーダ１１０が符号化したブロック数を減算する（Ｓ２１２）。

次に、小ＱＰ位置決定部２０４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ２１４）。完了していない場合には（Ｓ２１４のいいえの場合）、Ｓ２０４〜Ｓ２１４の処理を全ての画像に対して繰り返す。

以上のようにして、実施の形態４における動画像符号化装置２００は、符号化処理を行い、連続するピクチャにおける小ＱＰブロックとその次の小ＱＰブロックとの間に、一定数のブロックを挿入することができる。

（実施の形態５）
次に、実施の形態５について説明する。なお、実施の形態１〜４と同じ構成および同じ動作については説明を省略する。

図１１は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰブロック挿入例を示す図である。ここで、斜線をつけた領域は、小ＱＰブロックである。また、実線で囲まれた領域は、スライスである。

上述の実施の形態１〜実施の形態４の説明では、ピクチャを構成するスライスは、行単位であった。しかし、ピクチャを構成するスライスは、図１１に示すように、同ピクチャ内に複数行あってもよく、さらに行の途中にスライス境界があってもよい。また、ピクチャを構成するスライスの大きさは、符号化する画像の内容に応じて変更してもよい。

例えば、画像に細かな絵柄が多く圧縮が困難な場合は、ピクチャを構成するスライスに含まれるブロック数を小さくし、平坦な絵柄で圧縮が容易な場合はスライスに含まれるブロック数を大きくする。これにより、ピクチャを構成するスライスのビット数をほぼ一定とすることができる。

図１２は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入の別の例を示す図である。ここで、斜線をつけたスライスは、小ＱＰスライスであり、その他のスライスは通常ＱＰスライスである。

図１における小ＱＰスライス挿入方法と図１２における小ＱＰスライス挿入方法との違いは、時間順に連続するピクチャのそれぞれに含まれる小ＱＰスライスが１つではなく２つであることである。

図１２は、符号化する時間順で、小ＱＰスライスと次の小ＱＰスライスとの間に、通常ＱＰスライスが２つ入っているように、小ＱＰスライスを配置している例である。この場合でも、時間順に連続するピクチャにおける小ＱＰスライスとその次の小ＱＰスライスとの間の通常ＱＰスライス数を一定にすることで、ネットワーク伝送するビット数を平準化することができ、実施の形態１と同様の効果が得られる。

図１３、図１４および図１５は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入のさらに別の例を示す図である。

図１３に示すように、時間順に連続するピクチャに含まれる２つの小ＱＰスライスの位置は図１２と違っていてもよい。図１３は、時間順に連続するピクチャにおいて、小ＱＰスライスの位置を１スライス分ずつ下へ移動させていき、ピクチャの一番下の位置に小ＱＰスライスがあるピクチャの直後を、最上位置に小ＱＰスライスがあるピクチャとしている例である。ネットワーク伝送するビット数をスライス単位で平準化するのではなく、ピクチャ単位で平準化する場合には、各ピクチャに２つずつ小ＱＰスライスを含むこの構成が好ましい。

また、時間順に連続するピクチャのそれぞれに含まれるスライス数が５つでなくても、それぞれのピクチャに含まれる小ＱＰスライスが１または２つでなくてもよい。例えば図１４および図１５に示すように、時間順に連続するピクチャのそれぞれに含まれるスライス数が６個で、それぞれのピクチャに含まれる小ＱＰスライスが２つであってもよい。また上記同様に、図１４および図１５に示すように、小ＱＰスライスの挿入される位置が違っていてもよい。

図１４は、符号化する時間順で、小ＱＰスライスと次の小ＱＰスライスとの間にある、通常ＱＰスライスの数が、２、３、２、３・・・となるように、小ＱＰスライスを配置している例である。ネットワーク伝送するビット数を平準化することができ、実施の形態１と同様の効果が得られる。

図１５は、時間順に連続するピクチャにおいて、小ＱＰスライスの位置を１スライス分ずつ下へ移動させていき、ピクチャの一番下の位置に小ＱＰスライスがあるピクチャの直後を、最上位置に小ＱＰスライスがあるピクチャとしている例である。ネットワーク伝送するビット数をスライス単位で平準化するのではなく、ピクチャ単位で平準化する場合には、各ピクチャに２つずつ小ＱＰスライスを含むこの構成が好ましい。

（実施の形態６）
次に、実施の形態６について説明する。

実施の形態１〜実施の形態５では、視覚的に符号化歪が目立たなくすることができる構成および方法、すなわち動きが小さいもしくは動きが殆どない動画像での符号化歪を小さくすることができる構成および方法について説明した。しかし、ネットワークを介してストリームを伝送する際に、例えばネットワーク輻輳などでストリームの一部が消失してしまう場合がある。その場合には、まずネットワーク輻輳などにより生じるエラーが伝搬しないようにする（エラーを止める）必要がある。本実施の形態６では、例えばネットワーク輻輳などでストリームの一部が消失してしまう場合を考慮した構成および方法を説明する。

図１６Ａおよび図１６Ｂは、本発明の実施の形態６における時間順に連続するピクチャへのＩスライスまたは小ＱＰブロックの挿入例を説明するための図である。

以下、時間順に連続するピクチャにおいて、小ＱＰスライスまたはＩスライスなどの特定のスライスが１ピクチャの全ての位置に循環して配置される一定数のピクチャ数の単位を、スライス循環のピクチャ数単位と呼び、ｓＧＯＰと記載する。例えば、ｓＧＯＰは、図１６Ａおよび図１６Ｂでは、時間順に連続するピクチャにおいて、ピクチャにおけるIスライスの位置が最上位置であるピクチャから、Ｉスライス位置が循環して、次に最上位置であるピクチャの１つ前のピクチャまでに要したピクチャ数となる。

図１６Ａに示すように、従来、時間的に連続するピクチャにおいて、それぞれのピクチャ内におけるＩスライスの位置を循環させる技術がある。この技術では、Ｉピクチャでなく、Ｉスライスを循環させることにより、ネットワーク伝送するビット数を平準化する。このようにして、インター符号化を使用しないＩスライスを挿入することでネットワーク輻輳などでストリームの一部が消失してしまうことで生じるエラーが、インター符号化で伝播することを止めることができる。

それに対して、本実施の形態６では、まずネットワーク輻輳などにより生じるエラーが伝搬しないようにして（エラーを止めて）から、動きが小さいもしくは動きが殆どない動画像での符号化歪を小さくする。

すなわち、図１６Ｂに示すように、時間順に連続するピクチャにおいて、最初のｓＧＯＰ（スライス循環のピクチャ数単位）では、Ｉスライスを循環させ、その後、小ＱＰスライスをｓＧＯＰ毎に循環させる。

具体的には、時間的に連続するピクチャにおいて、ピクチャを例えば５行のスライスに分割し、その中の一つのスライスをＩスライスとして、最初のｓＧＯＰにおいて５つのピクチャでＩスライスの位置を循環させる。そして、次のピクチャはＰスライス（通常ＱＰスライス）のみのピクチャとする。次に、Ｉスライスの位置だった場所に小ＱＰスライスを挿入し、小ＱＰスライスをｓＧＯＰ毎に循環させる。

このように、時間的に連続するピクチャにおいて、Ｉスライスまたは小ＱＰスライスの位置をｓＧＯＰ毎に循環させる。

つまり、以下のようにＩスライスまたは小ＱＰスライスの位置をｓＧＯＰ毎に循環させる。

１）循環する特定のスライス位置には、Ｉスライスか、小ＱＰスライス（Ｐスライス）のいずれかを含む。

２）Ｉスライスまたは小ＱＰスライス（Ｐスライス）を挿入する位置は同じ規則である。

従って、通常のＰスライスよりもビット数（データ）が多い、Ｉスライスと小ＱＰスライスとが同じ周期で挿入されるので、ピクチャ単位のビット数の変動も周期的となり、ネットワーク伝送する場合の平均ビットレートの変動が少なくなる。

それにより、ネットワーク伝送する場合のデータ（ストリーム）のビットレートが一定となるので、送受信バッファが小さくてすみ、低遅延で伝送できる。また、ネットワーク伝送するデータ（ストリーム）のビットレートの変動が少ないので、ネットワーク輻輳などで生じるデータの消失の影響が低減できる。

ネットワーク輻輳などによるデータ消失の有無は、ネットワーク通信部で検出できることが多いので、データ消失を検出した期間はＩスライスのｓＧＯＰとし、データ消失を検出しない期間は小ＱＰスライスのｓＧＯＰとするのが最も効率が良い。

次に、上述を実現する機能構成を備える動画像符号化装置について説明する。

図１７は、本発明の実施の形態６における動画像符号化装置の構成を示すブロック図である。図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図１７に示す動画像符号化装置１５０は、図４に示す動画像符号化装置１００に対して、Ｉスライス・小ＱＰスライス共通位置決定部１５４とＩ／Ｐスライス判定部１５５との構成が異なる。

Ｉスライス・小ＱＰスライス共通位置決定部１５４は、Ｉスライスまたは小ＱＰスライスにする位置を決定する。具体的には、行数カウンタ部１０２から通知された行数から、ビデオ・エンコーダ１１０が符号化対象とするスライスを通常ＱＰスライスにするまたはＩスライスもしくは小ＱＰスライスにするかを決定する。

Ｉ／Ｐスライス判定部１５５は、ビデオ・エンコーダ１１０が符号化対象とするスライスをＩスライスまたはＰスライスとする判定を行う。

具体的には、Ｉ／Ｐスライス判定部１５５は、予め定められた時間間隔毎にまたは不定期にリフレッシュ要求を取得した場合に、ビデオ・エンコーダ１１０が符号化対象とするスライスをＩスライスとする判定を行う。ここで、リフレッシュ要求とは、イントラ符号化されたスライスの挿入要求すなわちＩスライスの挿入要求である。このリフレッシュ要求は、例えばネットワーク伝送中にデータが消失した場合の画質劣化を修復するために、受信装置側より送信装置側である動画像符号化装置１５０に出力され、Ｉ／Ｐスライス判定部１５５が取得する。また、このリフレッシュ要求は、予め定めされた時間間隔毎にＩ／Ｐスライス判定部１５５に取得される。

なお、Ｉ／Ｐスライス判定部１５５は、リフレッシュ要求を取得した場合、ビデオ・エンコーダ１１０が符号化対象とするスライスにおいて、時間順に連続するピクチャのｓＧＯＰ分（スライス循環のピクチャ数単位分）を、Ｉスライスとする判定を行う。また、この受信装置側は、動画像符号化装置１５０により符号化されたストリームを復号化する動画像復号化装置等である。

また、上記以外の場合には、Ｉ／Ｐスライス判定部１５５は、ビデオ・エンコーダ１１０が符号化対象とするスライスをＰスライスとする判定を行う。

ビデオ・エンコーダ１１０は、Ｉ／Ｐスライス判定部１５５の判定に従い、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定された位置のスライスをＩスライスまたはＰスライスで符号化する。ここで、ビデオ・エンコーダ１１０は、符号化対象とするスライスをＩスライスで符号化する際には、ＱＰ補正部１０８から通知される小量子化ステップではなくＱＰ導出部１０６で導出した通常量子化ステップを用いて符号化する。それに対して、符号化対象とするスライスを小ＱＰスライスで符号化する際には、ＱＰ補正部１０８から通知される小量子化ステップを用いて符号化する。

以上のように、動画像符号化装置１５０は構成される。

次に、以上のように構成される動画像符号化装置１５０が行う符号化処理について説明する。

図１８は、本発明の実施の形態６における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。

まず、行数カウンタ部１０２は、ビデオ・エンコーダ１１０が符号化対象とするスライスにおける行数を示す値であるカウンタＬを０で初期化する（Ｓ３０２）。

次に、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、Ｉスライスまたは小ＱＰスライスにする位置を決定する。言い換えると、行数カウンタ部１０２から通知された行数から、ビデオ・エンコーダ１１０が符号化対象とするスライスを通常ＱＰスライスにする、または、Ｉスライスもしくは小ＱＰスライスにするかを決定する。

具体的には、まず、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、カウンタＬが０以下であるかどうかを判定する（Ｓ３０４）。

次に、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、カウンタＬが０以下である場合（Ｓ３０４のはいの場合）、ビデオ・エンコーダ１１０が符号化対象とするスライスをＩスライスで符号化するか否かを判定する（Ｓ３０５）。

具体的には、Ｉ／Ｐスライス判定部１５５は、予め定められた時間毎にまたは不定期にリフレッシュ要求を取得した場合、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定され、ビデオ・エンコーダ１１０が符号化対象とするｓＧＯＰのスライスをＩスライスとする判定を行う。それ以外の場合には、Ｉ／Ｐスライス判定部１５５は、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定され、ビデオ・エンコーダ１１０が符号化対象とするスライスをＰスライスとする判定を行う。

次に、符号化対象とするスライスがＩスライスで符号化されると判定された場合（Ｓ３０５のはいの場合）、ビデオ・エンコーダ１１０は、ＱＰ導出部１０６で導出した通常量子化ステップを用いて、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定された位置のスライスをＩスライスで符号化する（Ｓ３０７）。

一方、符号化対象とするスライスがＩスライスで符号化されないと判定された場合（Ｓ３０５のいいえの場合）、ビデオ・エンコーダ１１０は、ＱＰ補正部１０８から通知される小量子化ステップを用いて符号化対象とするスライスを小ＱＰスライスのＰスライスで符号化する（Ｓ３０６）。

次に、ビデオ・エンコーダ１１０が、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定された位置のスライスをＩスライスまたは小ＱＰスライスで符号化した場合に、行数カウンタ部１０２は、カウンタＬに連続するピクチャにおけるＩスライス・小ＱＰスライス共通挿入間隔を代入する（Ｓ３０８）。ここで、Ｉスライス・小ＱＰスライス共通挿入間隔とは、時間的に連続するピクチャ内または間におけるＩスライスまたは小ＱＰスライスとその次のＩスライスまたは小ＱＰスライスとの間に挿入されるスライスの行数の値（総数）である。

次に、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ３１４）。

なお、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、カウンタＬが０より大きい場合（Ｓ３０４のいいえの場合）、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、行数カウンタ部１０２から通知された行数から、ビデオ・エンコーダ１１０が符号化対象とするスライスを通常ＱＰスライスのＰスライスにすると決定する。

次いで、ビデオ・エンコーダ１１０は、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定された位置のスライスを通常量子化ステップを用いて通常ＱＰスライスで符号化する（Ｓ３１０）。そして、行数カウンタ部１０２は、カウンタＬから、ビデオ・エンコーダ１１０が符号化したスライス（通常ＱＰスライス）の行数を減算する（Ｓ３１２）。

次に、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ３１４）。完了していない場合には（Ｓ３１４のいいえの場合）、Ｓ３０４〜Ｓ３１４の処理を全ての画像に対して繰り返す。

以上のようにして、実施の形態６における動画像符号化装置１５０は、符号化処理を行い、連続するピクチャにおけるＩスライスまたは小ＱＰスライスとその次のＩスライスまたは小ＱＰスライスとの間に、一定数のスライスを挿入することができる。

以上、実施の形態６によれば、ネットワーク輻輳などにより生じるエラーが伝搬しないようにするとともに、視覚的に符号化歪が目立たなくなるように、動きが小さいもしくは動きが殆どない動画像での符号化歪を小さくする動画像符号化装置１５０を実現することができる。

なお、実施の形態６では、ｓＧＯＰ毎に通常ＱＰスライスのみを含むピクチャを挿入するという実施の形態１の例を組み合わせた場合の例を説明したがそれに限らない。実施の形態２〜実施の形態５のうちのいずれの方法と代替して組み合わせてもよい。

また、実施の形態６では、実装上容易であり好ましい例として、時間順に連続するピクチャに、小ＱＰスライスとＩスライスとを排他的に挿入する場合について説明したが、それに限られない。すなわち、時間順に連続するピクチャに、小ＱＰスライスとＩスライスとを同時に挿入しても構わない。その場合、同様に、小ＱＰスライスは、実施の形態１〜実施の形態５で記載したように挿入して循環させ、かつ、Ｉスライスは、リフレッシュ要求があった後の最初のｓＧＯＰのみに挿入して循環させればよい。

また、実施の形態６では、時間順に連続するピクチャに、ＱＰスライスまたはＩスライスが循環する例について説明したが、それに限られない。スライスの替わりに複数の画素またはブロックからなるブロック群でもよい。その場合、小ＱＰスライスを小ＱＰブロックに、ＩスライスをＩブロック（イントラ符号化されたブロック群）とすればよい。

さらに、ビデオ・エンコーダ１１０は、符号化対象とするスライスをＩスライスで符号化する際には、ＱＰ補正部１０８から通知される小量子化ステップではなくＱＰ導出部１０６で導出した通常量子化ステップを用いて符号化するとしたが、スライス単位のビット数の変動が多少許容できる用途においては、Ｉスライスも小量子化ステップで符号化して画質を向上させてもよい。

（実施の形態７）
次に、実施の形態７について説明する。

図１９は、本発明の実施の形態７における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。

実施の形態１〜実施の形態６では、小ＱＰスライスと通常ＱＰスライスとの大きさ（スライスを構成するブロック数または画素数）が等しい場合を主に説明したが、それに限られない。図１９に示されるように、ピクチャに挿入される小ＱＰスライスの大きさは、通常ＱＰスライスよりも小さくてもよい。

このようにすることで、ブロックあたりのビット数の多い小ＱＰスライスを構成するスライス単位でのビット数が少なくすることができる。

ここで、スライス単位でネットワーク伝送を行う場合は、通常ＱＰスライスと小ＱＰスライスとの、スライス当たりのビット数をほぼ同じにするのが好ましい。これは、上述のようにスライスを時間的にも空間的にも等間隔でネットワーク伝送を行えば、ビットレートをほぼ一定にすることができるからである。

以上のように、ネットワーク伝送するデータ（ストリーム）のビットレートを一定にすることができるので、送受信バッファが小さくでき、低遅延で伝送することができる。また、ネットワーク伝送するデータ（ストリーム）のビットレートの変動が少ないので、ネットワーク輻輳によるデータの消失が低減できる。

（実施の形態８）
例えばインタレース画像に応じた画像信号には、フレームで構成されるピクチャが連続したものだけでなくフィールドで構成されるピクチャが連続したものもある。実施の形態１〜実施の形態６では、フレームで構成されているピクチャを例に挙げて説明したが、それに限らない。フィールドで構成されているピクチャでもよく、上述の方法を同様に適用すればよい。以下、その場合を実施の形態８として説明する。

図２０は、本発明の実施の形態８における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。

インタレース画像は、１枚の画像がトップフィールドとボトムフィールドとで構成される。図１９に示すように、インタレース画像が例えばトップフィールドから開始される場合には、トップフィールドのみにＩスライスまたは小ＱＰスライスを挿入すればよい。

このように、片方のフィールドのみにＩスライスを挿入してｓＧＯＰで循環させることにより、ネットワーク輻輳などにより発生するエラー伝搬を止めることができる。また、ビット数の多いＩスライスと同じ間隔（周期）で小ＱＰスライスが挿入されることで、ネットワーク伝送する場合の平均ビットレートの変動を抑えることができる。

それにより、ネットワーク伝送するデータ（ストリーム）のビットレートを一定にすることができるので、送受信バッファが小さくでき、低遅延で伝送することができる。また、ネットワーク伝送するデータ（ストリーム）のビットレートの変動が少なくなるので、ネットワーク輻輳などによるデータの消失が低減できる。

なお、片方のフィールドとしてトップフィールドだけにＩスライスまた小ＱＰスライスを挿入する場合を例に挙げたがそれに限られない。ボトムフィールドだけにＩスライスまた小ＱＰスライスを挿入してもよい。

（実施の形態９）
次に、実施の形態９について説明する。

ここでは、上記各実施の形態で示した動画像符号化装置１００、１５０または２００を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにする。それにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２１Ａ〜図２１Ｃは、上記各実施の形態の動画像符号化装置１００、１５０または２００を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図２１Ｂは、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図２１Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図２１Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化装置１００、１５０または２００を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムを、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化装置１００、１５０または２００をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上、本発明によれば、小さい量子化ステップで符号化する小ＱＰスライス（または小ＱＰブロック）、時間順に連続するピクチャにおけるピクチャに配置し、ピクチャ内でのその位置を、連続するピクチャで符号化順に移動させることで、ピクチャ内での小ＱＰスライス（または小ＱＰブロック）の位置を一定周期で循環させる。

それにより、ピクチャ内の全てのスライス位置において、一定周期で符号化歪の小さい符号化が行われることになるので、動きが小さいもしくは動きが殆どない動画像での符号化歪が小さくなり、視覚的に符号化歪が目立たなくなる。

これは、ピクチャにおける所定の位置のスライスを、一旦、小ＱＰスライスで符号化し、所定の位置のスライスの符号化歪を小さくすることで、その所定の位置のスライスが次に通常ＱＰスライスで符号化されても符号化歪が大きくならない（画質が損なわれない）からである。これは、特に、インター符号化で残差の少ない画像（動きが少ない、もしくは画素が平行移動などの単純な動きしかしない）の符号化処理を行うときに効果を奏する。

また、各ピクチャにおいて、ピクチャ内の一部のスライスの量子化ステップのみを小さくすることで、各ピクチャを符号化したビット数もほぼ一定となり、一定のビットレートのネットワークで伝送することが可能となる。

さらに、本発明はスライス単位やブロック単位で量子化ステップを変化させる別の量子化方法と組み合わせて使用してもよい。その場合には、スライス単位やブロック単位で量子化ステップが多少増減するが、一定周期で相対的に量子化ステップの小さなスライス（小ＱＰスライスまたは小ＱＰブロック）の位置が循環する。

なお、小ＱＰスライスまたは小ＱＰブロックにおいて、小量子化ステップが小さくなりすぎないように、下記のような下限値処理が行われるのが好ましい。それにより、規格で許容される最小の量子化ステップの値より小さくなったり、視覚的に画質劣化がわからない程度の小さい量子化ステップになったりすることを防止することができる。

１）ＱＰ補正部１０８で補正された小量子化ステップの値を所定の最小値でクロップする。

２）ＱＰ導出部１０６で導出された量子化ステップの値が小さいほど、ＱＰ補正部１０８で補正される補正量を少なくする。

また、小ＱＰスライスまたは小ＱＰブロックにおいて、量子化ステップの下げ値幅は、以下のようにピクチャ単位の平均ビットレートに応じて変えるとしてもよい。ここで、量子化ステップの下げ値幅は、通常量子化ステップの値と小量子化ステップの値との差を意味している。

１）ピクチャ単位の平均ビットレートが高い場合には、画質を優先して、量子化ステップの下げ値幅を大きくする。

２）ピクチャ単位の平均ビットレートが低い場合には、量子化ステップの下げ値幅を小さくする。

これは、ピクチャ単位の平均ビットレートが高い場合には、ビット数が増えることよりも画質を優先させることができるからである。一方、ピクチャ単位の平均ビットレートが低い場合には、シーンチェンジなどで画像の圧縮の困難さが変わったとき、量子化ステップの値が小さくなるとビット数が増えるので、他の通常ＱＰスライスでも吸収できないビット数になり、ピクチャ単位の平均ビットレートを一定にできない可能性が高いためである。

また、ブロック図（図１または図９）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。また、各機能ブロックのうち、符号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。

以上、本発明の動画像符号化方法および動画像符号化装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、動画像復号化装置に利用でき、特に、ネットワークを利用した動画像双方向通信や、動画像配信、監視カメラなど、動画像を符号化する通信機器やセット機器に利用することができる。

１００、１５０、２００ 動画像符号化装置
１０２ 行数カウンタ部
１０４、２０４ 小ＱＰ位置決定部
１０６ ＱＰ導出部
１０８ ＱＰ補正部
１１０ ビデオ・エンコーダ
１５４ Ｉスライス・小ＱＰスライス共通位置決定部
１５５ Ｉ／Ｐスライス判定部
２０２ ブロック数カウンタ部
３００ パケット化部

本発明は動画像符号化方法および動画像符号化装置に関する。本発明は、特に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４方式で、または、ＩＴＵ−Ｔ Ｈ．２６４方式にて画像信号をブロック単位で符号化する動画像符号化方法および動画像符号化装置に関する。

近年、音声、画像およびその他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオおよび電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形または音声、特に画像等を同時に関連づけて表すことをいう。上記従来の情報メディアをマルチメディアの対象とするには、その情報をデジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をデジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトである。それに対し、音声の場合は、１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画の場合については、１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となる。それ故、上記情報メディアでその膨大な情報をデジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、６４Ｋｂｉｔｓ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合デジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によって実用化されている。しかし、テレビ・カメラの映像をそのままのデジタル情報量でＩＳＤＮにて送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）によって勧告されたＨ．２６１またはＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術では、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）によって標準化された動画像信号圧縮の国際規格である。ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｉｔｓ／ｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では、対象とする品質を中程度の品質、すなわち伝送速度が主として約１．５Ｍｂｉｔｓ／ｓで実現できる程度の品質としたことから、さらに高画質化の要求をみたすべくＭＰＥＧ−２が規格化されている。ＭＰＥＧ−２では、動画像信号を２〜１５Ｍｂｉｔｓ／ｓでＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）放送品質を実現する。さらに、現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、さらに物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化されている。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、インタレース画像も含む高ビットレートの符号化方法も含む、より汎用的な符号化に拡張されている。さらに、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔとによって共同で、より高圧縮率の画像符号化方式として、ＭＰＥＧ−４ ＡＶＣおよびＩＴＵ−Ｔ Ｈ．２６４が規格化されている。

画像信号は同じ時刻の画素の集合であるピクチャ（フレームまたはフィールドとも呼ばれる）が連続したものであると考えることができる。画素は、ピクチャ内での近傍画素との相関が強いことから、ピクチャ内の画素の相関を利用した圧縮が行われる。また、連続するピクチャ間では、画素の相関も強いことから、ピクチャ間の画素の相関を利用した圧縮も行われる。ピクチャ間の画素の相関とピクチャ内の画素の相関を利用した圧縮をインター符号化、ピクチャ間の画素の相関を用いないがピクチャ内の画素の相関を利用した圧縮をイントラ符号化と呼ぶ。ピクチャ間の相関を利用しているため、インター符号化の方が、イントラ符号化よりも圧縮できる。ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣおよびＨ．２６４では、２次元の矩形領域の画素の集合であるブロック（もしくはマクロブロック）を構成し、ブロック単位でイントラ符号化とインター符号化とを切り替える。

イントラ符号化の場合は、ピクチャ内の画素ブロックもしくはピクチャ内の画素の相関を利用した予測誤差のブロックが構成される。インター符号化の場合は、ピクチャ間の相関を利用した予測誤差のブロックが構成される。そして、ピクチャを構成するこれらブロックに対してＤＣＴ（ディスクリート・コサイン変換）などの２次元直交変換が行われ、２次元直交変換されたブロックの周波数成分は所定の量子化ステップ（幅）で量子化される。量子化した結果、得られる量子化値は可変長符号化されて、例えばネットワークに伝送される。

なお、量子化する際、量子化ステップが大きいと画像符号化歪が大きくなるが高圧縮となり、量子化ステップが小さいと画像符号化歪が小さくなるが低圧縮となる。ここで、量子化ステップとは、量子化する際の量子化幅であり、どの程度細かく量子化を行うかを示す。

また、動画像を符号化する場合には、通常、１秒当たりのデータ量を示すビットレートが一定となるように、かつ、ピクチャ内で量子化ステップがほぼ一定となるように、量子化ステップを導出する。ビットレートを一定にするのは、符号化したストリームを伝送するネットワークの伝送ビットレートが一定のためである。これは、符号化歪がピクチャ内の位置（水平位置、垂直位置）によって符号化歪の大きさにばらつきがある場合、即ちピクチャ内で量子化ステップがほぼ一様でないと符号化歪が目立ちやすいためである。

このように、一般に、動画像を符号化する場合には、ピクチャ内で量子化ステップが一様となるように制御する。この制御には、符号化歪が一様となり、特定の箇所で符号化歪が目立ちにくいという長所がある。

一方、ネットワークにおいて、ＡＤＳＬまたは光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数Ｍｂｉｔｓ／ｓを越えるビットレートでの送受信が可能となっている。また、今後数年で数十Ｍｂｉｔｓ／ｓでの送受信が可能になる見込みである。そのため、上記の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でもＴＶ放送品質、ＨＤＴＶ品質、将来的にはスーパーＨＤＴＶ品質のＴＶ電話・ＴＶ会議システムの導入が進むと予想される。

ところで、ネットワークを介して符号化した画像データ、すなわちストリームを伝送する際には、ネットワーク輻輳などでストリームの一部が消失する可能性がある。ストリームの一部が消失した場合には、受信側で消失したストリームに対応する箇所の画像を正しく復号できないので、画質劣化が発生する。さらに、次ピクチャ以降も、消失したストリームに対応する箇所の画像を参照してインター符号化したストリーム復号も画質劣化が発生する。そこで、ブロックを複数まとめた符号化単位であるスライスが定義された。スライスは独立に符号化および復号処理が可能な最小単位であり、ストリームの一部が消失してもスライス単位で復号処理ができる。そのため、例えば、図２２に示すように、ピクチャを例えば５行のスライスに分割し、その中の一つのスライスをＩスライスとして、時間的に連続するピクチャにおいてピクチャ内のＩスライスの位置を循環させる技術がある。ここで、Ｉスライスとは、イントラ符号化されたスライスである。この技術により、ネットワーク輻輳などでストリームの一部が消失した場合でも、その影響を受けずに、受信側で正しく復号できるようになる。すなわち、上述したＩスライスの循環により、ネットワーク輻輳などで生じるエラーがインター符号化で次以降のピクチャの復号に影響することを止めることができる。

図２３は、ＭＰＥＧ−２規格のスライス分割方法を用いた場合におけるスライスとブロックとの関係を説明する図である。図２３に示すピクチャ（１フレーム）は、複数のブロックで構成されている。また、ピクチャを構成するブロックの中で、同じ行のブロックは１つのスライスを構成している。

図２４は、ピクチャにおける複数のブロックの符号化順を説明するための図である。この図２３に示すピクチャにおけるブロックは、図２４で示す順序、すなわち、ピクチャ内において、スライス単位内では左から右へ、かつ、スライス単位で上から下への順序で符号化される。このような符号化順序によりピクチャにおけるブロックを符号化して、ストリームが生成される。

ＭＰＥＧ−２規格書：ＩＳＯ／ＩＥＣ １３８１８−２、"Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ − Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ Ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ：Ｖｉｄｅｏ"、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ、Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ、Ｄｅｃｅｍｂｅｒ ２０００

しかしながら、一般に、動画像すなわち連続する複数のピクチャを高圧縮率でインター符号化する場合、連続する複数のピクチャの中のうちのいずれかのピクチャが符号化歪の大きいピクチャのとき、そのピクチャの符号化順で後のピクチャは、その符号化歪の大きいピクチャとの画面間相関を利用した圧縮を行うことになる。そのため、その後のピクチャの符号化歪も大きくなってしまうので、特に動きの少ない動画像では視覚的に符号化歪が目立つようになる。

そこで、本発明は、上記問題点に鑑みてなされたものであり、特にネットワーク輻輳などの影響によるストリームの消失が少ない場合に、画面間相関を利用したインター符号化の符号化歪を小さくする動画像符号化方法および動画像符号化装置を実現することを目的とする。

上記の課題を解決するために、本発明に係る動画像符号化装置は、動画像信号における時間順に連続する複数のピクチャを、量子化ステップを用いてブロック単位で量子化して符号化する動画像符号化装置であって、前記動画像信号に基づいて、量子化ステップと当該量子化ステップよりも小さいステップ幅の小量子化ステップとを導出する量子化ステップ導出部と、前記小量子化ステップを用いて量子化されるべき１以上のブロックによって構成される第１ブロック群の、当該ピクチャ内における位置を決定する位置決定部と、前記位置決定部が決定した前記位置における前記第１ブロック群を、前記小量子化ステップを用いて量子化し、前記ピクチャに含まれる前記位置以外の１以上のブロックによって構成される第２ブロック群を、前記量子化ステップを用いて量子化して符号化する符号化部とを備え、前記位置決定部は、前記時間順に連続する複数のピクチャの中のうち時間順に連続する一定数のピクチャ毎において、当該複数のピクチャ内における前記第１ブロック群の位置が符号化順方向で循環するように、当該複数のピクチャそれぞれのピクチャ内における前記第１ブロック群の位置を決定することを特徴とする。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したりすることもできる。また、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

本発明によれば、画面間相関を利用したインター符号化の符号化歪を小さくする動画像符号化方法および動画像符号化装置を実現することができる。

具体的には、小さい量子化ステップで符号化するスライスまたはブロックをピクチャに配置し、連続するピクチャにおけるピクチャ内でのその位置を符号化順に移動させることで、小さい量子化ステップで符号化するスライスまたはブロックを一定周期で循環させる。それにより、一定周期となる連続するピクチャで、ピクチャを構成する全てのスライスまたはブロックの位置で符号化歪の小さいインター符号化が行われることになる。

ここで、下記１）２）であるため、動きの少ないブロックでの符号化歪が小さくなり、視覚的に符号化歪が目立たなくなる効果を奏する。

１）動画像の動きの少ないブロックでは、画素相関を利用するピクチャ（参照ピクチャ）の符号化歪が小さいほど、インター符号化の圧縮率が向上し、符号化歪も小さくなる。従って、小さい量子化ステップで符号化を行うことで、それを参照して符号化するピクチャの符号化歪も小さくなる。

２）動きの少ないブロックでは、動きの大きなブロックよりも、画像を目で追従しやすいので符号化歪が目立ちやすい。

さらに、連続するピクチャにおいて、それぞれのピクチャを構成する一部のブロックの量子化ステップのみを小さくすることで、それぞれのピクチャを符号化した際のビット数もほぼ一定とすることができるので、一定のビットレートのネットワークで伝送することが可能となる。

なお、ピクチャ内で量子化ステップがほぼ一様でないと符号化歪が目立ちやすいが、本発明ではその問題も回避できる。これは下記の理由による。

１）小さい量子化ステップで符号化するスライス位置は循環しており、ピクチャ全体が必ず小さい量子化ステップで符号化される機会がある。

２）インター符号化で小さな量子化ステップを参照した符号化では、量子化ステップが小さくなくても符号化歪が目立たないことが多い。なお、これは、一般に画像は動きが小さいほどインター符号化の符号化歪は参照画像の符号化歪と同じくらい小さくなり、動きが大きい場合はピクチャで同じ量子化ステップでなくても画質劣化が目立ちにくいためである。

図１は、本発明の実施の形態１における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図２は、本発明の実施の形態１における効果を説明するための図である。 図３Ａは、本発明の実施の形態１における時間順に各スライスを符号化してストリームを送信する場合のビット数を示す図である。 図３Ｂは、本発明の実施の形態１における時間順に各スライスを符号化してストリームを送信する場合のビット数を示す図である。 図４は、本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。 図５は、本発明の実施の形態１における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。 図６は、本発明の実施の形態２における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図７は、本発明の実施の形態３における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図８は、本発明の実施の形態４における時間順に連続するピクチャへの小ＱＰブロック挿入例を示す図である。 図９は、本発明の実施の形態４における動画像符号化装置の構成を示すブロック図である。 図１０は、本発明の実施の形態４における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。 図１１は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰブロック挿入例を示す図である。 図１２は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入の別の例を示す図である。 図１３は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入のさらに別の例を示す図である。 図１４は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入のさらに別の例を示す図である。 図１５は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入のさらに別の例を示す図である。 図１６Ａは、本発明の実施の形態６における時間順に連続するピクチャへのＩスライスの挿入例を説明するための図である。 図１６Ｂは、本発明の実施の形態６における時間順に連続するピクチャへのＩスライスまたは小ＱＰスライスの挿入例を説明するための図である。 図１７は、本発明の実施の形態６における動画像符号化装置の構成を示すブロック図である。 図１８は、本発明の実施の形態６における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。 図１９は、本発明の実施の形態７における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図２０は、本発明の実施の形態８における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。 図２１Ａは、上記各実施の形態の動画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 図２１Ｂは、上記各実施の形態の動画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 図２１Ｃは、上記各実施の形態の動画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 図２２は、時間順に連続するピクチャへのＩスライス挿入例を示す図である。 図２３は、ＭＰＥＧ−２のスライスとブロックの関係の説明図である。 図２４は、ピクチャにおけるブロックの符号化順の説明図である。

以下、本発明の実施の形態について、図を用いて説明する。

（実施の形態１）
図１は、本発明の実施の形態１における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。

図１に示すように、ピクチャＮからピクチャＮ＋９は、この順で時間順に連続するピクチャであり、ピクチャ（１フレーム）は、複数のスライスで構成されている。ここでは、それぞれのピクチャは５つのスライスで構成されている。

ピクチャを構成するブロックの中で、斜線をつけたスライスは、量子化ステップが通常より小さくされたスライス（以下、小ＱＰスライスと記載。）である。斜線のついていないその他のスライスは、量子化ステップが小さくされないすなわち通常の量子化ステップのスライス（以下、通常ＱＰスライスと記載。）である。ここで、通常の量子化ステップとは、上述したように、動画像を符号化する場合に、１秒当たりのデータ量を示すビットレートが一定となるように、かつ、ピクチャ内で量子化ステップがほぼ一定となるように、通常通り導出された量子化ステップである。なお、小ＱＰスライスの量子化ステップの大きさと、通常ＱＰスライスの量子化ステップの大きさはピクチャ単位で異なってもよい。

このように、ピクチャにおける量子化ステップの大きさが、特定のスライスに対してではあるが、スライス単位で変更される。

図１に示すように、実施の形態１では、周期的にすなわち時間的に連続するピクチャにおけるピクチャに量子化ステップの小さい小ＱＰスライスを含め、時間的に連続するピクチャ毎にピクチャ内での小ＱＰスライスの位置を移動する。具体的には、小ＱＰスライスの位置は、ピクチャＮからピクチャＮ＋４まで順番にピクチャ内での位置が１つずつ下に移動し、ピクチャＮ＋４でピクチャ内での最下位置になる。ピクチャＮ＋５では、小ＱＰスライスを含まず通常ＱＰスライスのみとなる。ピクチャＮ＋６では、ピクチャ内での最上位置が小ＱＰスライスの位置となる。このように、図１では、時間順に連続する一定数のピクチャ毎にピクチャ内の小ＱＰスライスの位置が移動する。

ここで、図１に示すように、時間順に連続するピクチャにおいて、ピクチャ内のブロックの符号化順序で、小ＱＰスライスと次の小ＱＰスライスとの間に含まれるスライスの個数（すなわちブロック数）は一定値である。なお、ここで符号化順序とは、図１９で示したピクチャにおけるブロックの符号化順である。

ところで、世の中の動画像では、ＴＶ会議、コンサートおよび監視カメラなどはもとより、ムービーおよび風景の撮影でも、動画像の全領域内で動きの多い部分は少ない。すなわち、世の中の動画像信号の大部分は、一部の領域のみ動いているか全領域でも殆ど動きのない動画像信号になる場合が殆どである。また、動きのない領域では、ピクチャ間の相関が非常に高く、参照ピクチャと符号化対象ピクチャとの差は殆どない。差が殆どない場合には、差を符号化しなくても符号化歪が大きくならないことになる。

従って、インター符号化では、動きが殆どない領域で参照ピクチャと符号化対象ピクチャとの差を符号化する場合、参照ピクチャの符号化歪が小さければピクチャ間の差の符号化が不要である。そのため、符号化対象ピクチャの量子化ステップが大きくても符号化対象ピクチャの符号化歪は小さくなる。

図２は、本発明の実施の形態１における効果を説明するための図である。

小さい量子化ステップ（以下、小量子化ステップと記載。）で量子化した斜線で示す小ＱＰスライスの符号化歪は通常の量子化ステップ（以下、通常量子化ステップと記載。）で量子化した通常ＱＰスライスよりも小さい。言い換えると、小ＱＰスライスの予測符号化した場合には、通常ＱＰスライスの予測符号化した場合に比べて、原画像との差分がより小さい復号画像を再生することができる。さらに、後続の画像が復号画像を参照して通常ＱＰスライスとして符号化される場合には、原画像と復号画像との差分が後続の画像の復号画像にも残存する。

従って、小ＱＰスライスを参照して符号化する通常ＱＰスライスは、動きが殆どない領域では、量子化ステップが通常の大きさであっても、通常ＱＰスライスを参照して符号化する通常ＱＰスライスよりも参照ピクチャにおける符号化歪の影響が小さいので符号化歪が小さくなる。

このような理由から、小ＱＰスライスを参照して符号化すると、通常ＱＰスライスの符号化歪は小さくなる。符号化歪の小さくなった通常ＱＰスライスを参照して符号化するさらに後続の画像の通常ＱＰスライスは、量子化ステップが通常の大きさでも、符号化歪の小さくなっていない通常ＱＰスライスを参照して符号化するさらに後続の画像の通常ＱＰスライスよりも符号化歪は小さくなる。

従って、図２に示すように、時間順に連続するピクチャにおいて、ある時点のピクチャで小ＱＰスライスとされた位置のスライスは、後に続くピクチャでも、符号化歪が小さくなる。つまり、時間順に連続するピクチャにおけるピクチャに小ＱＰスライスを配置し、ピクチャ内でのその位置を、連続するピクチャで符号化順に移動させることで、ピクチャ内での小ＱＰスライスの位置を一定周期で循環させる。それにより、ピクチャ内の全てのスライス位置において、一定周期で符号化歪の小さい符号化が行われることになる。

このように、動きが小さい、もしくは動きが殆どない動画像では、上記のようにすることで、符号化歪を小さくすることができ、視覚的にも符号化歪が目立たなくなる。

図３Ａおよび図３Ｂは、本発明の実施の形態１における時間順に各スライスを符号化してストリームを送信する場合のビット数を示す図である。

図３Ａは、図１で示されるピクチャを構成するスライスを上記の符号化順に符号化する際に、発生するビット数を示している。ここで、図３Ａでは、横軸に符号化順序（時刻）、縦軸にビット数の大きさを示している。

小ＱＰスライスの圧縮率は、他の通常ＱＰスライスの圧縮率より低い。そのため、符号化する場合、小ＱＰスライスのビット数の大きさは、通常ＱＰスライスのビット数よりも大きくなる。

このように符号化したスライスを、スライス単位で一定のビットレートで伝送する際には、量子化ステップの小さな小ＱＰスライスは、他の通常ＱＰスライスよりも符号化したデータの伝送に時間がかかることになる。

図３Ｂは、図３Ａの符号化データを一定のビットレートで伝送する際の伝送を、横軸に時間軸で記載して図示したものである。図３Ｂは、時間順に連続する複数のピクチャを符号化し、これらピクチャを符号化順に一定のビットレートで伝送している様子を示している。

図３Ａおよび図３Ｂに示すように、ピクチャＮ＋４、ピクチャＮ＋５およびピクチャＮ＋６の間でも、小ＱＰスライスとその次の小ＱＰスライスとの間の通常ＱＰスライスは５個と固定である。すなわち、ストリームをスライス単位でネットワーク伝送する場合に、ビット数の大きな小ＱＰスライスが２回連続することがないようにされている。それにより、ネットワーク伝送するビット数が平準化されている。具体的には、図３Ｂにおける区間Ａ〜区間Ｅに示されるように、いずれの区間での６個のスライス、すなわちどの連続する６個のスライスにも、１つの小ＱＰスライスと５つの通常ＱＰスライスとが含まれている。

従って、小ＱＰスライスとその次の小ＱＰスライスに含まれるスライスの個数が一定のため、ネットワーク伝送するビット数が平準化される。すなわち、スライスのビット数の変換の仕方が周期的で、各ピクチャがほぼ一定の時間で伝送する制御が容易であることがわかる。

なお、このようなビット数が平準化される効果は、図１、図２において、画像の１番下のスライスを小ＱＰスライスにしたピクチャ（ピクチャＮ＋４）の次のピクチャを、どのスライスの小ＱＰスライスとしないピクチャ（ピクチャＮ＋５）としたことによるものである。仮に、ビット数の平準化を図らないのであれば、どのスライスの小ＱＰスライスとしないピクチャを挿入する必要はない（後述の実施の形態３を参照のこと）。

次に、上述を実現する機能構成を備える動画像符号化装置について説明する。

図４は、本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。

動画像符号化装置１００は、行数カウンタ部１０２と、量子化ステップを通常よりも小さく（小量子化ステップに）するスライス位置を決定する小ＱＰ位置決定部１０４と、通常量子化ステップを導出するＱＰ導出部１０６と、通常量子化ステップを補正するＱＰ補正部１０８と、ビデオ・エンコーダ１１０とを備える。

行数カウンタ部１０２は、ビデオ・エンコーダ１１０が符号化対象とするスライスにおける行数を計測する。

小ＱＰ位置決定部１０４は、行数カウンタ部１０２から通知された行数から、ビデオ・エンコーダ１１０が符号化対象とするスライスを符号化する際の量子化ステップを通常通りの大きさにする（通常量子化ステップ）か、通常よりも小さくする（小量子化ステップ）かを決定する。

ＱＰ導出部１０６は、ビデオ・エンコーダ１１０が過去に符号化したスライスのビット数に基づき、ビデオ・エンコーダ１１０が符号化対象とするスライスの通常量子化ステップを導出する。ここで導出される量子化ステップにより符号化されるスライスは、上記でいう通常ＱＰスライスとなる。

なお、通常量子化ステップを導出する場合、一般に、実際に符号化された際に発生したビット数が伝送ビットレートよりも多い場合は、量子化ステップをやや大きくして導出する。反対に、実際に符号化された際に発生したビット数が伝送ビットレートよりも少ない場合は、量子化ステップをやや小さくして導出する。

ＱＰ導出部１０６は、上記のようにすることで、伝送ビットレートとビデオ・エンコーダ１１０が符号化対象のスライスを符号化する際に発生するビット数とが一致するように微調整をしながら通常量子化ステップを導出する。

なお、量子化ステップは、スライス単位で変更されても、ブロック単位で変更されてもよい。

ＱＰ補正部１０８は、小ＱＰ位置決定部１０４が、量子化ステップを通常（通常量子化ステップ）より小さくすべき小ＱＰスライスであると判定した場合は、ＱＰ導出部１０６で導出した通常量子化ステップを小さくする補正を行う。ＱＰ補正部１０８は、補正して小さくした小量子化ステップで符号化対象のスライスを符号化するようビデオ・エンコーダ１１０に通知する。

また、ＱＰ補正部１０８は、小ＱＰ位置決定部１０４が、通常量子化ステップより小さくすべき小ＱＰスライスではないと判定する場合は、ＱＰ導出部１０６で導出した通常量子化ステップで符号化対象のスライスを符号化するようビデオ・エンコーダ１１０に通知する。

なお、ここではＱＰ導出部１０６で導出した通常量子化ステップが補正され小さくされる度合いは、固定値であるとしている。例えば通常量子化ステップの値から定数を減算したり、通常量子化ステップの値に定数を乗算したりする方法が実装容易である。

また、補正した小量子化ステップが小さくなりすぎないように、すなわちＱＰ補正部１０８で補正した小量子化ステップが所定値未満とならないように所定の最小値でクロップする方法も有効である。もちろん、上記の方法に加えて適用してもよい。

ビデオ・エンコーダ１１０は、ＱＰ補正部１０８から通知される量子化ステップを用いて、ブロック単位で入力画像ＶＩＮを符号化（イントラ符号化またはインター符号化）する。

また、ビデオ・エンコーダ１１０は、符号化した入力画像ＶＩＮをストリームＳＴＲとしてパケット化部３００に出力する。

なお、パケット化部３００は、ストリームＳＴＲをネットワークの伝送に適した形式に変換する。パケット化部３００は、例えば、ストリームＳＴＲをスライス単位で１つのネットワーク伝送単位に変換する。このとき、パケット化部３００は、ストリームＳＴＲを１つのスライスを複数のネットワーク伝送単位に変換してもよい。

以上のように、動画像符号化装置１００は構成される。

次に、以上のように構成される動画像符号化装置１００が行う符号化処理について説明する。

なお、ＱＰ導出部１０６で導出した通常量子化ステップは、数スライス単位もしくはピクチャ単位でビット数が一定となるように通常量子化ステップを導出するのがよい。これは、ＱＰ補正部１０８で小量子化ステップに補正したスライスで多いビット数が発生したとしても、その直後に符号化するスライスで急に通常量子化ステップを大きくして画質劣化が発生することを防止するためである。

図５は、本発明の実施の形態１における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。

まず、行数カウンタ部１０２は、ビデオ・エンコーダ１１０が符号化対象とするスライスにおける行数を示す値であるカウンタＬを０で初期化する（Ｓ１０２）。

次に、小ＱＰ位置決定部１０４は、ビデオ・エンコーダ１１０が符号化対象とするスライスを符号化する際の量子化ステップを、通常量子化ステップにするか、小量子化ステップにするかを決定する。

具体的には、まず、小ＱＰ位置決定部１０４は、カウンタＬが０以下であるかどうかを判定する（Ｓ１０４）。

次に、小ＱＰ位置決定部１０４は、カウンタＬが０以下である場合（Ｓ１０４のはいの場合）、ビデオ・エンコーダ１１０が符号化対象とするスライスを符号化する際の量子化ステップを、通常量子化ステップよりも小さな小量子化ステップに決定する。ビデオ・エンコーダ１１０は、小ＱＰ位置決定部１０４により決定された小量子化ステップを用いて符号化対象とするスライスを符号化する（Ｓ１０６）。

ビデオ・エンコーダ１１０が、小ＱＰ位置決定部１０４により決定された小量子化ステップを用いて符号化した場合、行数カウンタ部１０２は、カウンタＬに連続するピクチャにおける小ＱＰスライス挿入間隔を代入する（Ｓ１０８）。ここで、小ＱＰスライス挿入間隔とは、時間的に連続するピクチャ内または間における小ＱＰスライスとその次の小ＱＰスライスとの間に挿入される通常ＱＰスライスの行数の値（総数）である。

次に、小ＱＰ位置決定部１０４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ１１４）。

なお、小ＱＰ位置決定部１０４は、カウンタＬが０より大きい場合（Ｓ１０４のいいえの場合）、ビデオ・エンコーダ１１０が符号化対象とするスライスを符号化する際の量子化ステップを、通常量子化ステップのままであると決定する。ビデオ・エンコーダ１１０は、小ＱＰ位置決定部１０４により決定された通常量子化ステップを用いて符号化対象とするスライスを符号化する（Ｓ１１０）。

ビデオ・エンコーダ１１０が、小ＱＰ位置決定部１０４により決定された通常量子化ステップを用いて符号化した場合は、行数カウンタ部１０２は、カウンタＬから、ビデオ・エンコーダ１１０が符号化した通常ＱＰスライスの行数を減算する（Ｓ１１２）。

次に、小ＱＰ位置決定部１０４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ１１４）。完了していない場合には（Ｓ１１４のいいえの場合）、Ｓ１０４〜Ｓ１１４の処理を全ての画像に対して繰り返す。

以上のようにして、実施の形態１における動画像符号化装置１００は、符号化処理を行い、連続するピクチャにおける小ＱＰスライスとその次の小ＱＰスライスとの間に、一定数のスライスを挿入することができる。

上述したように、動きが小さいもしくは動きが殆どない動画像では、動きの大きな動画像よりも、画像を目で追従しやすいので符号化歪が目立ちやすい。しかし、動きが小さいもしくは動きが殆どない動画像でも、画素相関を利用するのに用いるスライス（参照スライス）の符号化歪が小さいほど、符号化歪も小さくなる。

従って、実施の形態１によれば通常よりも小さい量子化ステップで符号化する小ＱＰスライスを、時間順に連続するピクチャにおけるピクチャ内に配置し、ピクチャ内でのその位置を、時間的に連続する一定数のピクチャ毎に符号化順で移動させることで、ピクチャ内での小ＱＰスライスの位置を一定周期で循環させる。それにより、ピクチャ内の全てのスライス位置において、一定周期で符号化歪の小さい符号化が行われることになるので、動きが小さいもしくは動きが殆どない動画像での符号化歪が小さくなり、視覚的に符号化歪が目立たなくなる。

また、各ピクチャにおいて、ピクチャ内の一部のスライスにおける量子化ステップのみを小さくすることで、各ピクチャを符号化したビット数もほぼ一定となり、一定のビットレートのネットワークで伝送することが可能となる。

なお、通常量子化ステップから小量子化ステップへと補正する度合いは、固定値であるとして説明したがそれに限らない。例えば、小量子化ステップの値を予め決めていてもよく、導出される通常量子化ステップの値を半分にした値を小量子化ステップとしてもよい。また、さらに、小量子化ステップの値を、ビットレートに合わせて可変としてもよい。

（実施の形態２）
次に、実施の形態２について説明する。なお、実施の形態１と同じ構成および同じ動作については説明を省略する。

図６は、本発明の実施の形態２における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。ここで、斜線をつけたスライスは、小ＱＰスライスであり、その他のスライスは通常ＱＰスライスである。

図６では、図１に示した場合と異なり、量子化ステップが通常より小さな小ＱＰスライスを含まないピクチャが定期的（周期的）に挿入されている。具体的には、図６に示す例では、時間順に連続する一定周期のピクチャ（ピクチャＮ〜ピクチャＮ＋１０）において、図１に示した場合（図１ではピクチャＮ〜ピクチャＮ＋５）に加えて、小ＱＰスライスを含まないピクチャが１つおきに挿入されている。従って、図６に示すように、時間順に連続する一定周期のピクチャにおいて、小ＱＰスライスを含まないピクチャが、ピクチャＮ＋１、ピクチャＮ＋３、ピクチャＮ＋５、ピクチャＮ＋７、ピクチャＮ＋９およびピクチャＮ＋１０として、挿入されている。

通常ＱＰスライスからなるピクチャに小ＱＰスライスを導入すると、通常ＱＰスライスのみからなるピクチャに比べわずかではあるがビット数は大きくなる。そのため、低ビットレートでの伝送が必要な場合は、周期的に小ＱＰスライスを含まないピクチャ（通常ＱＰのみからなるピクチャ）を挿入することで、複数フレーム単位での平均ビットレートの増加を抑えつつ、かつ小ＱＰスライス導入による符号化歪を削減することができる効果が得られる。

ただし、周期的に小ＱＰスライスを含まないピクチャを挿入する場合、小ＱＰスライスが配置されるピクチャ内での位置が一巡りするまでのピクチャ数（ピクチャＮ〜ピクチャＮ＋１０の１１ピクチャ）が、図１に示す場合のピクチャ数（ピクチャＮ〜ピクチャＮ＋６の７ピクチャ）よりも多くなる。そのため、例えば動きが少ない動画像を復号化するとき、図６に示す場合と、図１に示す場合とを比べるとわかるように、ピクチャ全体の符号化歪が小さくなるまでの時間（一定周期）が長くなる。

（実施の形態３）
次に、実施の形態３について説明する。なお、実施の形態１と同じ構成および同じ動作については説明を省略する。

図７は、本発明の実施の形態３における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。ここで、斜線をつけたスライスは、小ＱＰスライスであり、その他のスライスは通常ＱＰスライスである。

図７では、図１に示した場合と異なり、小ＱＰスライスを含まないピクチャが挿入されない。すなわち、図７に示す例では、時間順に連続するピクチャ（ピクチャＮ〜ピクチャＮ＋９）において、小ＱＰスライスを含まないピクチャは挿入されず、全てのピクチャ（ピクチャＮ〜ピクチャＮ＋９）に小ＱＰスライスを含む。

従って、図７に示すピクチャＮ＋４における小ＱＰなスライス（ピクチャ最下位置）の符号化直後に、ピクチャＮ＋５における小ＱＰスライス（ピクチャ最上位置）の符号化が行われてネットワークに伝送されるため、ビット数の多いスライスが連続することになる。

実施の形態１のように符号化と伝送とをスライス単位で行うのではなく、ピクチャ単位でネットワークへの伝送を行う場合には、ピクチャ単位で一定のビット数となるようにするのが効率的である。

従って、ピクチャ単位でネットワークの伝送を行う場合は、図１のように小ＱＰスライスの間隔を一定にするのではなく、図７に示すように時間順に連続するピクチャそれぞれに小ＱＰスライスを含むように、動画像符号化装置１００は量子化ステップの制御を行うとしてもよい。

（実施の形態４）
次に、実施の形態４について説明する。なお、実施の形態１と同じ構成および同じ動作については説明を省略する。

実施の形態１〜３では、動きが小さいもしくは動きが殆どない動画像でも視覚的に符号化歪を目立たなくするために、動画像符号化装置１００がスライス単位で量子化ステップを通常よりも小さくする例を示した。実施の形態４では、スライス単位ではなく、ブロック単位で量子化ステップを通常よりも小さくする場合の例を示す。ブロック単位にすることで、スライスの大きさとは関係なく、量子化ステップを小さくするブロックの数を変えることができる。なお、スライス構造とは関係なく、各ピクチャにおいて通常の量子化ステップよりも小さくされた量子化ステップ（小量子化ステップ）を参照して符号化される一定数のブロック数からなるブロックを、以下、小ＱＰブロックと記載する。

図８は、本発明の実施の形態４における時間順に連続するピクチャへの小ＱＰブロック挿入例を示す図である。ここで、斜線をつけた領域は、小ＱＰブロックであり、その他のスライスまたは領域（ブロック）は、通常ＱＰスライスまたは通常量子化ステップにより符号化される領域（ブロック）である。

小ＱＰブロックの位置は、図８に示すように、時間順に連続するピクチャにおいて符号化順序の方向に移動する。すなわち、小ＱＰブロックの位置は、ピクチャＮから順番にピクチャ内での小ＱＰブロックの大きさ（一定数のブロック数）毎に移動する。このように、小ＱＰブロックの位置は、スライス構造とは無関係に移動する。小ＱＰブロックは、例えばピクチャＮ＋１に示すように２つのスライスをまたがっていてもよい。また、小ＱＰブロックは、符号化順の方向に一定数のブロック数になっていればよいので、ピクチャＮ＋５とピクチャＮ＋６とに示されるように、２つのピクチャをまたがって位置していてもよい。

以上のように、スライス単位でなく、ブロック単位で量子化ステップを変更できる符号化装置の構成が実現できる場合には、実施の形態４のように、時間順に連続するピクチャにおいて、図８に示すように小ＱＰブロックの位置が移動するのがよい。

次に、上記を実現する機能構成を備える動画像符号化装置について説明する。

図９は、本発明の実施の形態４における動画像符号化装置の構成を示すブロック図である。なお、図５と同様の要素には同一の符号を付しており、詳細な説明は省略する。

動画像符号化装置２００は、ブロック数カウンタ部２０２と、量子化ステップを通常よりも小さく（小量子化ステップに）するブロック位置を決定する小ＱＰ位置決定部２０４と、通常量子化ステップを導出するＱＰ導出部１０６と、通常量子化ステップを補正するＱＰ補正部１０８と、ビデオ・エンコーダ１１０とを備える。

図９に示す動画像符号化装置２００は、図４に示す動画像符号化装置１００に対して小ＱＰ位置決定部１０４と、行数カウンタ部１０２との構成が異なる。

具体的には、動画像符号化装置２００では、スライスを構成する行数ではなく、ブロック数をブロック数カウンタ部２０２で計測し、計測したブロック数によって小量子化ステップとするブロックを小ＱＰ位置決定部２０４で決定する。

その他の構成についても、量子化ステップをスライス単位ではなく、ブロック単位で変更する点を除けば、図５で上述したのと同様であるため、説明を省略する。

以上のように、動画像符号化装置２００は構成される。

なお、ＱＰ導出部１０６で導出した通常量子化ステップは、数スライス単位もしくはピクチャ単位でビット数が一定となるように通常量子化ステップを導出するのがよい。これは、ＱＰ補正部１０８で小量子化ステップに補正したブロックで多いビット数が発生したとしても、その直後に符号化するブロックで急に通常量子化ステップを大きくして画質劣化が発生することを防止するためである。

次に、以上のように構成される動画像符号化装置２００が行う符号化処理について説明する。

図１０は、本発明の実施の形態４における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。

まず、ブロック数カウンタ部２０２は、ビデオ・エンコーダ１１０が符号化対象とするブロックにおけるブロック数を示す値であるカウンタＢを０で初期化する（Ｓ２０２）。

次に、小ＱＰ位置決定部２０４は、ビデオ・エンコーダ１１０が符号化対象とするブロックを符号化する際の量子化ステップを、通常量子化ステップにするか、小量子化ステップにするかを決定する。

具体的には、まず、小ＱＰ位置決定部２０４は、カウンタＢが０以下であるかどうかを判定する（Ｓ２０４）。

次に、小ＱＰ位置決定部２０４は、カウンタＢが０以下である場合（Ｓ２０４のはいの場合）、ビデオ・エンコーダ１１０が符号化対象とするブロックを符号化する際の量子化ステップを、通常量子化ステップよりも小さな小量子化ステップに決定する。ビデオ・エンコーダ１１０は、小ＱＰ位置決定部２０４により決定された小量子化ステップを用いて符号化対象とするブロックを符号化する（Ｓ２０６）。

ビデオ・エンコーダ１１０が、小ＱＰ位置決定部２０４により決定された小量子化ステップを用いて符号化した場合、ブロック数カウンタ部２０２は、カウンタＢに連続するピクチャにおける小ＱＰブロックの挿入間隔を代入する（Ｓ２０８）。ここで、小ＱＰブロック挿入間隔とは、時間的に連続するピクチャ内または間における小ＱＰブロックとその次の小ＱＰブロックとの間に挿入されるブロック数の値（総数）である。

次に、小ＱＰ位置決定部２０４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ２１４）。

なお、小ＱＰ位置決定部２０４は、カウンタＢが０より大きい場合（Ｓ２０４のいいえの場合）、ビデオ・エンコーダ１１０が符号化対象とするブロックを符号化する際の量子化ステップを、通常量子化ステップのままであると決定する。ビデオ・エンコーダ１１０は、小ＱＰ位置決定部２０４により決定された通常量子化ステップを用いて符号化対象とするピクチャのブロック符号化する（Ｓ２１０）。

ビデオ・エンコーダ１１０が、小ＱＰ位置決定部２０４により決定された通常量子化ステップを用いて符号化した場合は、ブロック数カウンタ部２０２は、カウンタＢからビデオ・エンコーダ１１０が符号化したブロック数を減算する（Ｓ２１２）。

次に、小ＱＰ位置決定部２０４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ２１４）。完了していない場合には（Ｓ２１４のいいえの場合）、Ｓ２０４〜Ｓ２１４の処理を全ての画像に対して繰り返す。

以上のようにして、実施の形態４における動画像符号化装置２００は、符号化処理を行い、連続するピクチャにおける小ＱＰブロックとその次の小ＱＰブロックとの間に、一定数のブロックを挿入することができる。

（実施の形態５）
次に、実施の形態５について説明する。なお、実施の形態１〜４と同じ構成および同じ動作については説明を省略する。

図１１は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰブロック挿入例を示す図である。ここで、斜線をつけた領域は、小ＱＰブロックである。また、実線で囲まれた領域は、スライスである。

上述の実施の形態１〜実施の形態４の説明では、ピクチャを構成するスライスは、行単位であった。しかし、ピクチャを構成するスライスは、図１１に示すように、同ピクチャ内に複数行あってもよく、さらに行の途中にスライス境界があってもよい。また、ピクチャを構成するスライスの大きさは、符号化する画像の内容に応じて変更してもよい。

例えば、画像に細かな絵柄が多く圧縮が困難な場合は、ピクチャを構成するスライスに含まれるブロック数を小さくし、平坦な絵柄で圧縮が容易な場合はスライスに含まれるブロック数を大きくする。これにより、ピクチャを構成するスライスのビット数をほぼ一定とすることができる。

図１２は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入の別の例を示す図である。ここで、斜線をつけたスライスは、小ＱＰスライスであり、その他のスライスは通常ＱＰスライスである。

図１における小ＱＰスライス挿入方法と図１２における小ＱＰスライス挿入方法との違いは、時間順に連続するピクチャのそれぞれに含まれる小ＱＰスライスが１つではなく２つであることである。

図１２は、符号化する時間順で、小ＱＰスライスと次の小ＱＰスライスとの間に、通常ＱＰスライスが２つ入っているように、小ＱＰスライスを配置している例である。この場合でも、時間順に連続するピクチャにおける小ＱＰスライスとその次の小ＱＰスライスとの間の通常ＱＰスライス数を一定にすることで、ネットワーク伝送するビット数を平準化することができ、実施の形態１と同様の効果が得られる。

図１３、図１４および図１５は、本発明の実施の形態５における時間順に連続するピクチャへの小ＱＰスライス挿入のさらに別の例を示す図である。

図１３に示すように、時間順に連続するピクチャに含まれる２つの小ＱＰスライスの位置は図１２と違っていてもよい。図１３は、時間順に連続するピクチャにおいて、小ＱＰスライスの位置を１スライス分ずつ下へ移動させていき、ピクチャの一番下の位置に小ＱＰスライスがあるピクチャの直後を、最上位置に小ＱＰスライスがあるピクチャとしている例である。ネットワーク伝送するビット数をスライス単位で平準化するのではなく、ピクチャ単位で平準化する場合には、各ピクチャに２つずつ小ＱＰスライスを含むこの構成が好ましい。

また、時間順に連続するピクチャのそれぞれに含まれるスライス数が５つでなくても、それぞれのピクチャに含まれる小ＱＰスライスが１または２つでなくてもよい。例えば図１４および図１５に示すように、時間順に連続するピクチャのそれぞれに含まれるスライス数が６個で、それぞれのピクチャに含まれる小ＱＰスライスが２つであってもよい。また上記同様に、図１４および図１５に示すように、小ＱＰスライスの挿入される位置が違っていてもよい。

図１４は、符号化する時間順で、小ＱＰスライスと次の小ＱＰスライスとの間にある、通常ＱＰスライスの数が、２、３、２、３・・・となるように、小ＱＰスライスを配置している例である。ネットワーク伝送するビット数を平準化することができ、実施の形態１と同様の効果が得られる。

図１５は、時間順に連続するピクチャにおいて、小ＱＰスライスの位置を１スライス分ずつ下へ移動させていき、ピクチャの一番下の位置に小ＱＰスライスがあるピクチャの直後を、最上位置に小ＱＰスライスがあるピクチャとしている例である。ネットワーク伝送するビット数をスライス単位で平準化するのではなく、ピクチャ単位で平準化する場合には、各ピクチャに２つずつ小ＱＰスライスを含むこの構成が好ましい。

（実施の形態６）
次に、実施の形態６について説明する。

実施の形態１〜実施の形態５では、視覚的に符号化歪が目立たなくすることができる構成および方法、すなわち動きが小さいもしくは動きが殆どない動画像での符号化歪を小さくすることができる構成および方法について説明した。しかし、ネットワークを介してストリームを伝送する際に、例えばネットワーク輻輳などでストリームの一部が消失してしまう場合がある。その場合には、まずネットワーク輻輳などにより生じるエラーが伝搬しないようにする（エラーを止める）必要がある。本実施の形態６では、例えばネットワーク輻輳などでストリームの一部が消失してしまう場合を考慮した構成および方法を説明する。

図１６Ａおよび図１６Ｂは、本発明の実施の形態６における時間順に連続するピクチャへのＩスライスまたは小ＱＰブロックの挿入例を説明するための図である。

以下、時間順に連続するピクチャにおいて、小ＱＰスライスまたはＩスライスなどの特定のスライスが１ピクチャの全ての位置に循環して配置される一定数のピクチャ数の単位を、スライス循環のピクチャ数単位と呼び、ｓＧＯＰと記載する。例えば、ｓＧＯＰは、図１６Ａおよび図１６Ｂでは、時間順に連続するピクチャにおいて、ピクチャにおけるIスライスの位置が最上位置であるピクチャから、Ｉスライス位置が循環して、次に最上位置であるピクチャの１つ前のピクチャまでに要したピクチャ数となる。

図１６Ａに示すように、従来、時間的に連続するピクチャにおいて、それぞれのピクチャ内におけるＩスライスの位置を循環させる技術がある。この技術では、Ｉピクチャでなく、Ｉスライスを循環させることにより、ネットワーク伝送するビット数を平準化する。このようにして、インター符号化を使用しないＩスライスを挿入することでネットワーク輻輳などでストリームの一部が消失してしまうことで生じるエラーが、インター符号化で伝播することを止めることができる。

それに対して、本実施の形態６では、まずネットワーク輻輳などにより生じるエラーが伝搬しないようにして（エラーを止めて）から、動きが小さいもしくは動きが殆どない動画像での符号化歪を小さくする。

すなわち、図１６Ｂに示すように、時間順に連続するピクチャにおいて、最初のｓＧＯＰ（スライス循環のピクチャ数単位）では、Ｉスライスを循環させ、その後、小ＱＰスライスをｓＧＯＰ毎に循環させる。

具体的には、時間的に連続するピクチャにおいて、ピクチャを例えば５行のスライスに分割し、その中の一つのスライスをＩスライスとして、最初のｓＧＯＰにおいて５つのピクチャでＩスライスの位置を循環させる。そして、次のピクチャはＰスライス（通常ＱＰスライス）のみのピクチャとする。次に、Ｉスライスの位置だった場所に小ＱＰスライスを挿入し、小ＱＰスライスをｓＧＯＰ毎に循環させる。

このように、時間的に連続するピクチャにおいて、Ｉスライスまたは小ＱＰスライスの位置をｓＧＯＰ毎に循環させる。

つまり、以下のようにＩスライスまたは小ＱＰスライスの位置をｓＧＯＰ毎に循環させる。

１）循環する特定のスライス位置には、Ｉスライスか、小ＱＰスライス（Ｐスライス）のいずれかを含む。

２）Ｉスライスまたは小ＱＰスライス（Ｐスライス）を挿入する位置は同じ規則である。

従って、通常のＰスライスよりもビット数（データ）が多い、Ｉスライスと小ＱＰスライスとが同じ周期で挿入されるので、ピクチャ単位のビット数の変動も周期的となり、ネットワーク伝送する場合の平均ビットレートの変動が少なくなる。

それにより、ネットワーク伝送する場合のデータ（ストリーム）のビットレートが一定となるので、送受信バッファが小さくてすみ、低遅延で伝送できる。また、ネットワーク伝送するデータ（ストリーム）のビットレートの変動が少ないので、ネットワーク輻輳などで生じるデータの消失の影響が低減できる。

ネットワーク輻輳などによるデータ消失の有無は、ネットワーク通信部で検出できることが多いので、データ消失を検出した期間はＩスライスのｓＧＯＰとし、データ消失を検出しない期間は小ＱＰスライスのｓＧＯＰとするのが最も効率が良い。

次に、上述を実現する機能構成を備える動画像符号化装置について説明する。

図１７は、本発明の実施の形態６における動画像符号化装置の構成を示すブロック図である。図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図１７に示す動画像符号化装置１５０は、図４に示す動画像符号化装置１００に対して、Ｉスライス・小ＱＰスライス共通位置決定部１５４とＩ／Ｐスライス判定部１５５との構成が異なる。

Ｉスライス・小ＱＰスライス共通位置決定部１５４は、Ｉスライスまたは小ＱＰスライスにする位置を決定する。具体的には、行数カウンタ部１０２から通知された行数から、ビデオ・エンコーダ１１０が符号化対象とするスライスを通常ＱＰスライスにするまたはＩスライスもしくは小ＱＰスライスにするかを決定する。

Ｉ／Ｐスライス判定部１５５は、ビデオ・エンコーダ１１０が符号化対象とするスライスをＩスライスまたはＰスライスとする判定を行う。

具体的には、Ｉ／Ｐスライス判定部１５５は、予め定められた時間間隔毎にまたは不定期にリフレッシュ要求を取得した場合に、ビデオ・エンコーダ１１０が符号化対象とするスライスをＩスライスとする判定を行う。ここで、リフレッシュ要求とは、イントラ符号化されたスライスの挿入要求すなわちＩスライスの挿入要求である。このリフレッシュ要求は、例えばネットワーク伝送中にデータが消失した場合の画質劣化を修復するために、受信装置側より送信装置側である動画像符号化装置１５０に出力され、Ｉ／Ｐスライス判定部１５５が取得する。また、このリフレッシュ要求は、予め定めされた時間間隔毎にＩ／Ｐスライス判定部１５５に取得される。

なお、Ｉ／Ｐスライス判定部１５５は、リフレッシュ要求を取得した場合、ビデオ・エンコーダ１１０が符号化対象とするスライスにおいて、時間順に連続するピクチャのｓＧＯＰ分（スライス循環のピクチャ数単位分）を、Ｉスライスとする判定を行う。また、この受信装置側は、動画像符号化装置１５０により符号化されたストリームを復号化する動画像復号化装置等である。

また、上記以外の場合には、Ｉ／Ｐスライス判定部１５５は、ビデオ・エンコーダ１１０が符号化対象とするスライスをＰスライスとする判定を行う。

ビデオ・エンコーダ１１０は、Ｉ／Ｐスライス判定部１５５の判定に従い、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定された位置のスライスをＩスライスまたはＰスライスで符号化する。ここで、ビデオ・エンコーダ１１０は、符号化対象とするスライスをＩスライスで符号化する際には、ＱＰ補正部１０８から通知される小量子化ステップではなくＱＰ導出部１０６で導出した通常量子化ステップを用いて符号化する。それに対して、符号化対象とするスライスを小ＱＰスライスで符号化する際には、ＱＰ補正部１０８から通知される小量子化ステップを用いて符号化する。

以上のように、動画像符号化装置１５０は構成される。

次に、以上のように構成される動画像符号化装置１５０が行う符号化処理について説明する。

図１８は、本発明の実施の形態６における動画像符号化装置で符号化する場合の処理を説明するフローチャートである。

まず、行数カウンタ部１０２は、ビデオ・エンコーダ１１０が符号化対象とするスライスにおける行数を示す値であるカウンタＬを０で初期化する（Ｓ３０２）。

次に、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、Ｉスライスまたは小ＱＰスライスにする位置を決定する。言い換えると、行数カウンタ部１０２から通知された行数から、ビデオ・エンコーダ１１０が符号化対象とするスライスを通常ＱＰスライスにする、または、Ｉスライスもしくは小ＱＰスライスにするかを決定する。

具体的には、まず、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、カウンタＬが０以下であるかどうかを判定する（Ｓ３０４）。

次に、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、カウンタＬが０以下である場合（Ｓ３０４のはいの場合）、ビデオ・エンコーダ１１０が符号化対象とするスライスをＩスライスで符号化するか否かを判定する（Ｓ３０５）。

具体的には、Ｉ／Ｐスライス判定部１５５は、予め定められた時間毎にまたは不定期にリフレッシュ要求を取得した場合、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定され、ビデオ・エンコーダ１１０が符号化対象とするｓＧＯＰのスライスをＩスライスとする判定を行う。それ以外の場合には、Ｉ／Ｐスライス判定部１５５は、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定され、ビデオ・エンコーダ１１０が符号化対象とするスライスをＰスライスとする判定を行う。

次に、符号化対象とするスライスがＩスライスで符号化されると判定された場合（Ｓ３０５のはいの場合）、ビデオ・エンコーダ１１０は、ＱＰ導出部１０６で導出した通常量子化ステップを用いて、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定された位置のスライスをＩスライスで符号化する（Ｓ３０７）。

一方、符号化対象とするスライスがＩスライスで符号化されないと判定された場合（Ｓ３０５のいいえの場合）、ビデオ・エンコーダ１１０は、ＱＰ補正部１０８から通知される小量子化ステップを用いて符号化対象とするスライスを小ＱＰスライスのＰスライスで符号化する（Ｓ３０６）。

次に、ビデオ・エンコーダ１１０が、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定された位置のスライスをＩスライスまたは小ＱＰスライスで符号化した場合に、行数カウンタ部１０２は、カウンタＬに連続するピクチャにおけるＩスライス・小ＱＰスライス共通挿入間隔を代入する（Ｓ３０８）。ここで、Ｉスライス・小ＱＰスライス共通挿入間隔とは、時間的に連続するピクチャ内または間におけるＩスライスまたは小ＱＰスライスとその次のＩスライスまたは小ＱＰスライスとの間に挿入されるスライスの行数の値（総数）である。

次に、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ３１４）。

なお、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、カウンタＬが０より大きい場合（Ｓ３０４のいいえの場合）、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、行数カウンタ部１０２から通知された行数から、ビデオ・エンコーダ１１０が符号化対象とするスライスを通常ＱＰスライスのＰスライスにすると決定する。

次いで、ビデオ・エンコーダ１１０は、Ｉスライス・小ＱＰスライス共通位置決定部１５４により決定された位置のスライスを通常量子化ステップを用いて通常ＱＰスライスで符号化する（Ｓ３１０）。そして、行数カウンタ部１０２は、カウンタＬから、ビデオ・エンコーダ１１０が符号化したスライス（通常ＱＰスライス）の行数を減算する（Ｓ３１２）。

次に、Ｉスライス・小ＱＰスライス共通位置決定部１５４は、ビデオ・エンコーダ１１０が全ピクチャに対して符号化を完了したかどうかを確認する（Ｓ３１４）。完了していない場合には（Ｓ３１４のいいえの場合）、Ｓ３０４〜Ｓ３１４の処理を全ての画像に対して繰り返す。

以上のようにして、実施の形態６における動画像符号化装置１５０は、符号化処理を行い、連続するピクチャにおけるＩスライスまたは小ＱＰスライスとその次のＩスライスまたは小ＱＰスライスとの間に、一定数のスライスを挿入することができる。

以上、実施の形態６によれば、ネットワーク輻輳などにより生じるエラーが伝搬しないようにするとともに、視覚的に符号化歪が目立たなくなるように、動きが小さいもしくは動きが殆どない動画像での符号化歪を小さくする動画像符号化装置１５０を実現することができる。

なお、実施の形態６では、ｓＧＯＰ毎に通常ＱＰスライスのみを含むピクチャを挿入するという実施の形態１の例を組み合わせた場合の例を説明したがそれに限らない。実施の形態２〜実施の形態５のうちのいずれの方法と代替して組み合わせてもよい。

また、実施の形態６では、実装上容易であり好ましい例として、時間順に連続するピクチャに、小ＱＰスライスとＩスライスとを排他的に挿入する場合について説明したが、それに限られない。すなわち、時間順に連続するピクチャに、小ＱＰスライスとＩスライスとを同時に挿入しても構わない。その場合、同様に、小ＱＰスライスは、実施の形態１〜実施の形態５で記載したように挿入して循環させ、かつ、Ｉスライスは、リフレッシュ要求があった後の最初のｓＧＯＰのみに挿入して循環させればよい。

また、実施の形態６では、時間順に連続するピクチャに、ＱＰスライスまたはＩスライスが循環する例について説明したが、それに限られない。スライスの替わりに複数の画素またはブロックからなるブロック群でもよい。その場合、小ＱＰスライスを小ＱＰブロックに、ＩスライスをＩブロック（イントラ符号化されたブロック群）とすればよい。

さらに、ビデオ・エンコーダ１１０は、符号化対象とするスライスをＩスライスで符号化する際には、ＱＰ補正部１０８から通知される小量子化ステップではなくＱＰ導出部１０６で導出した通常量子化ステップを用いて符号化するとしたが、スライス単位のビット数の変動が多少許容できる用途においては、Ｉスライスも小量子化ステップで符号化して画質を向上させてもよい。

（実施の形態７）
次に、実施の形態７について説明する。

図１９は、本発明の実施の形態７における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。

実施の形態１〜実施の形態６では、小ＱＰスライスと通常ＱＰスライスとの大きさ（スライスを構成するブロック数または画素数）が等しい場合を主に説明したが、それに限られない。図１９に示されるように、ピクチャに挿入される小ＱＰスライスの大きさは、通常ＱＰスライスよりも小さくてもよい。

このようにすることで、ブロックあたりのビット数の多い小ＱＰスライスを構成するスライス単位でのビット数が少なくすることができる。

ここで、スライス単位でネットワーク伝送を行う場合は、通常ＱＰスライスと小ＱＰスライスとの、スライス当たりのビット数をほぼ同じにするのが好ましい。これは、上述のようにスライスを時間的にも空間的にも等間隔でネットワーク伝送を行えば、ビットレートをほぼ一定にすることができるからである。

以上のように、ネットワーク伝送するデータ（ストリーム）のビットレートを一定にすることができるので、送受信バッファが小さくでき、低遅延で伝送することができる。また、ネットワーク伝送するデータ（ストリーム）のビットレートの変動が少ないので、ネットワーク輻輳によるデータの消失が低減できる。

（実施の形態８）
例えばインタレース画像に応じた画像信号には、フレームで構成されるピクチャが連続したものだけでなくフィールドで構成されるピクチャが連続したものもある。実施の形態１〜実施の形態６では、フレームで構成されているピクチャを例に挙げて説明したが、それに限らない。フィールドで構成されているピクチャでもよく、上述の方法を同様に適用すればよい。以下、その場合を実施の形態８として説明する。

図２０は、本発明の実施の形態８における時間順に連続するピクチャへの小ＱＰスライス挿入例を示す図である。

インタレース画像は、１枚の画像がトップフィールドとボトムフィールドとで構成される。図１９に示すように、インタレース画像が例えばトップフィールドから開始される場合には、トップフィールドのみにＩスライスまたは小ＱＰスライスを挿入すればよい。

このように、片方のフィールドのみにＩスライスを挿入してｓＧＯＰで循環させることにより、ネットワーク輻輳などにより発生するエラー伝搬を止めることができる。また、ビット数の多いＩスライスと同じ間隔（周期）で小ＱＰスライスが挿入されることで、ネットワーク伝送する場合の平均ビットレートの変動を抑えることができる。

それにより、ネットワーク伝送するデータ（ストリーム）のビットレートを一定にすることができるので、送受信バッファが小さくでき、低遅延で伝送することができる。また、ネットワーク伝送するデータ（ストリーム）のビットレートの変動が少なくなるので、ネットワーク輻輳などによるデータの消失が低減できる。

なお、片方のフィールドとしてトップフィールドだけにＩスライスまた小ＱＰスライスを挿入する場合を例に挙げたがそれに限られない。ボトムフィールドだけにＩスライスまた小ＱＰスライスを挿入してもよい。

（実施の形態９）
次に、実施の形態９について説明する。

ここでは、上記各実施の形態で示した動画像符号化装置１００、１５０または２００を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにする。それにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２１Ａ〜図２１Ｃは、上記各実施の形態の動画像符号化装置１００、１５０または２００を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図２１Ｂは、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図２１Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図２１Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化装置１００、１５０または２００を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムを、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化装置１００、１５０または２００をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上、本発明によれば、小さい量子化ステップで符号化する小ＱＰスライス（または小ＱＰブロック）、時間順に連続するピクチャにおけるピクチャに配置し、ピクチャ内でのその位置を、連続するピクチャで符号化順に移動させることで、ピクチャ内での小ＱＰスライス（または小ＱＰブロック）の位置を一定周期で循環させる。

それにより、ピクチャ内の全てのスライス位置において、一定周期で符号化歪の小さい符号化が行われることになるので、動きが小さいもしくは動きが殆どない動画像での符号化歪が小さくなり、視覚的に符号化歪が目立たなくなる。

これは、ピクチャにおける所定の位置のスライスを、一旦、小ＱＰスライスで符号化し、所定の位置のスライスの符号化歪を小さくすることで、その所定の位置のスライスが次に通常ＱＰスライスで符号化されても符号化歪が大きくならない（画質が損なわれない）からである。これは、特に、インター符号化で残差の少ない画像（動きが少ない、もしくは画素が平行移動などの単純な動きしかしない）の符号化処理を行うときに効果を奏する。

また、各ピクチャにおいて、ピクチャ内の一部のスライスの量子化ステップのみを小さくすることで、各ピクチャを符号化したビット数もほぼ一定となり、一定のビットレートのネットワークで伝送することが可能となる。

さらに、本発明はスライス単位やブロック単位で量子化ステップを変化させる別の量子化方法と組み合わせて使用してもよい。その場合には、スライス単位やブロック単位で量子化ステップが多少増減するが、一定周期で相対的に量子化ステップの小さなスライス（小ＱＰスライスまたは小ＱＰブロック）の位置が循環する。

なお、小ＱＰスライスまたは小ＱＰブロックにおいて、小量子化ステップが小さくなりすぎないように、下記のような下限値処理が行われるのが好ましい。それにより、規格で許容される最小の量子化ステップの値より小さくなったり、視覚的に画質劣化がわからない程度の小さい量子化ステップになったりすることを防止することができる。

１）ＱＰ補正部１０８で補正された小量子化ステップの値を所定の最小値でクロップする。

２）ＱＰ導出部１０６で導出された量子化ステップの値が小さいほど、ＱＰ補正部１０８で補正される補正量を少なくする。

また、小ＱＰスライスまたは小ＱＰブロックにおいて、量子化ステップの下げ値幅は、以下のようにピクチャ単位の平均ビットレートに応じて変えるとしてもよい。ここで、量子化ステップの下げ値幅は、通常量子化ステップの値と小量子化ステップの値との差を意味している。

１）ピクチャ単位の平均ビットレートが高い場合には、画質を優先して、量子化ステップの下げ値幅を大きくする。

２）ピクチャ単位の平均ビットレートが低い場合には、量子化ステップの下げ値幅を小さくする。

これは、ピクチャ単位の平均ビットレートが高い場合には、ビット数が増えることよりも画質を優先させることができるからである。一方、ピクチャ単位の平均ビットレートが低い場合には、シーンチェンジなどで画像の圧縮の困難さが変わったとき、量子化ステップの値が小さくなるとビット数が増えるので、他の通常ＱＰスライスでも吸収できないビット数になり、ピクチャ単位の平均ビットレートを一定にできない可能性が高いためである。

また、ブロック図（図１または図９）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。また、各機能ブロックのうち、符号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。

以上、本発明の動画像符号化方法および動画像符号化装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、動画像復号化装置に利用でき、特に、ネットワークを利用した動画像双方向通信や、動画像配信、監視カメラなど、動画像を符号化する通信機器やセット機器に利用することができる。

１００、１５０、２００ 動画像符号化装置
１０２ 行数カウンタ部
１０４、２０４ 小ＱＰ位置決定部
１０６ ＱＰ導出部
１０８ ＱＰ補正部
１１０ ビデオ・エンコーダ
１５４ Ｉスライス・小ＱＰスライス共通位置決定部
１５５ Ｉ／Ｐスライス判定部
２０２ ブロック数カウンタ部
３００ パケット化部

Claims (15)

1. 動画像信号における時間順に連続する複数のピクチャを、量子化ステップを用いてブロック単位で量子化して符号化する動画像符号化装置であって、
   前記動画像信号に基づいて、量子化ステップと当該量子化ステップよりも小さいステップ幅の小量子化ステップとを導出する量子化ステップ導出部と、
   前記小量子化ステップを用いて量子化されるべき１以上のブロックによって構成される第１ブロック群の、当該ピクチャ内における位置を決定する位置決定部と、
   前記位置決定部が決定した前記位置における前記第１ブロック群を、前記小量子化ステップを用いて量子化し、前記ピクチャに含まれる前記位置以外の１以上のブロックによって構成される第２ブロック群を、前記量子化ステップを用いて量子化して符号化する符号化部とを備え、
   前記位置決定部は、前記時間順に連続する複数のピクチャの中のうち時間順に連続する一定数のピクチャ毎に、当該複数のピクチャ内における前記第１ブロック群の位置が符号化順方向で循環するように、当該複数のピクチャそれぞれのピクチャ内における前記第１ブロック群の位置を決定する
   ことを特徴とする動画像符号化装置。
2. 前記動画像符号化装置は、さらに、
   前記位置決定部により決定された前記位置における前記第１ブロック群を、イントラ符号化すべき第３ブロック群とするか否かを判定する判定部とを備え、
   前記判定部は、イントラ符号化されたブロック群の挿入要求を示すリフレッシュ要求を取得した場合に、時間順に最初の前記一定数のピクチャ内において、前記位置決定部により決定された前記位置における前記第１ブロック群を、イントラ符号化すべき第３ブロック群にすると判定し、
   前記符号化部は、前記判定部により判定された前記第３ブロック群を、前記量子化ステップを用いてイントラ符号化する
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記判定部は、前記動画像符号化装置により符号化されたストリームを復号化する動画像復号化装置により出力された前記リフレッシュ要求を取得する
   ことを特徴とする請求項２に記載の動画像符号化装置。
4. 前記判定部は、所定の時間間隔毎に前記リフレッシュ要求を取得する
   ことを特徴とする請求項２に記載の動画像符号化装置。
5. 前記量子化ステップ導出部は、
   前記動画像信号に基づいて量子化ステップを算出する量子化ステップ算出部と、
   前記量子化ステップ導出部が算出した量子化ステップよりも小さいステップ幅の小量子化ステップを算出する小量子化ステップ算出部とを備える
   ことを特徴とする請求項１〜４のいずれかに記載の動画像符号化装置。
6. 前記符号化部は、前記小量子化ステップを用いて量子化する前記第１ブロック群と、前記量子化ステップを用いて量子化する前記ピクチャに含まれる前記第２ブロック群とを、少なくともピクチャ間の画素値予測を伴って符号化する
   ことを特徴とする請求項５に記載の動画像符号化装置。
7. 前記位置決定部は、前記一定数のピクチャにおいて、前記第１ブロック群の位置が符号化順方向にピクチャ内の最後の位置となるピクチャの、次のピクチャ内での前記第１ブロック群の位置はないと決定し、
   前記符号化部は、前記位置決定部により前記第１ブロック群の位置がないと決定された前記第２ブロック群のみを含めるピクチャを、前記量子化ステップを用いて量子化して符号化する
   ことを特徴とする請求項６に記載の動画像符号化装置。
8. 前記位置決定部は、さらに、前記時間順に連続する複数のピクチャにおける周期的なピクチャにおいて、当該ピクチャ内における前記第１ブロック群の位置はないと決定し、
   前記符号化部は、前記位置決定部により前記第１ブロック群の位置がないと決定された前記第２ブロック群のみを含める当該ピクチャを、前記量子化ステップを用いて量子化して符号化する
   ことを特徴とする請求項６に記載の動画像符号化装置。
9. 前記位置決定部は、当該複数のピクチャそれぞれのピクチャ内における前記第１ブロック群の位置を、ピクチャ毎に決定する
   ことを特徴とする請求項６記載の動画像符号化装置。
10. 前記第１ブロック群は複数あり、
    前記位置決定部は、当該複数のピクチャそれぞれのピクチャ内における、複数の前記第１ブロック群の位置を決定する
    ことを特徴とする請求項６に記載の動画像符号化装置。
11. 前記動画像符号化装置は、前記複数のピクチャを１以上のブロックによって構成される複数のスライスに分割するスライス分割手段を備える
    ことを特徴とする請求項７に記載の動画像符号化装置。
12. 前記時間順に連続する複数の複数のピクチャはそれぞれ、１以上のブロックによって構成される複数のスライスに分割され、
    前記位置決定部は、ピクチャを構成する複数のスライスの中で、前記小量子化ステップを用いて量子化されるべき前記第１ブロック群から構成される第１スライスの、当該ピクチャ内の位置を決定し、かつ、前記時間順に連続する複数のピクチャの中のうち時間順に連続する一定数のピクチャ毎において、符号化順方向に、当該複数のピクチャ内における当該第１スライスの位置が循環するように、当該複数のピクチャそれぞれのピクチャ内における前記第１スライスの位置を決定し、
    前記符号化部は、前記位置決定部が決定した前記位置の前記第１スライスを構成する前記第１ブロック群を、前記小量子化ステップを用いて量子化し、前記ピクチャに含まれる前記位置以外の複数のスライスを構成する前記第２ブロック群を、前記量子化ステップを用いて、量子化して符号化する
    ことを特徴とする請求項５に記載の動画像符号化装置。
13. 動画像信号における時間順に連続する複数のピクチャを、量子化ステップを用いてブロック単位で量子化して符号化する動画像符号化方法であって、
    前記動画像信号に基づいて量子化ステップと当該量子化ステップよりも小さいステップ幅の小量子化ステップとが導出される量子化ステップ導出ステップと、
    前記小量子化ステップを用いて量子化されるべき１以上のブロックで構成される第１ブロック群の、当該ピクチャ内における位置が決定される位置決定ステップと、
    前記位置決定ステップにおいて決定された前記位置における前記第１ブロック群が、前記小量子化ステップを用いて量子化され、前記ピクチャに含まれる前記位置以外の１以上のブロックで構成される第２ブロック群が、前記量子化ステップを用いて量子化されて符号化される符号化ステップとを含み、
    前記位置決定ステップでは、前記時間順に連続する複数のピクチャの中のうち時間順に連続する一定数のピクチャ毎に、当該複数のピクチャ内における前記第１ブロック群の位置が符号化順方向で循環するように、当該複数のピクチャそれぞれのピクチャ内における前記第１ブロック群の位置が決定される
    ことを特徴とする動画像符号化方法。
14. 動画像信号における時間順に連続する複数のピクチャを、量子化ステップを用いてブロック単位で量子化して符号化するためのプログラムであって、
    前記動画像信号に基づいて、量子化ステップと当該量子化ステップよりも小さいステップ幅の小量子化ステップとが導出される量子化ステップ導出ステップと、
    前記小量子化ステップを用いて量子化されるべき１以上のブロックで構成される第１ブロック群の、当該ピクチャ内における位置が決定される位置決定ステップと、
    前記位置決定ステップにおいて決定された前記位置における前記第１ブロック群が、前記小量子化ステップを用いて量子化され、前記ピクチャに含まれる前記位置以外の１以上のブロックで構成される第２ブロック群が、前記量子化ステップを用いて量子化されて符号化される符号化ステップとを含み、
    前記位置決定ステップでは、前記時間順に連続する複数のピクチャの中のうち時間順に連続する一定数のピクチャ毎において、当該複数のピクチャ内における前記第１ブロック群の位置が符号化順方向で循環するように、当該複数のピクチャそれぞれのピクチャ内での前記第１ブロック群の位置が決定されること
    をコンピュータに実行させるためのプログラム。
15. 動画像信号における時間順に連続する複数のピクチャを、量子化ステップを用いてブロック単位で量子化して符号化する集積回路であって、
    前記動画像信号に基づいて量子化ステップと当該量子化ステップよりも小さいステップ幅の小量子化ステップとを導出する量子化ステップ導出部と、
    前記小量子化ステップを用いて量子化されるべき１以上のブロックで構成される第１ブロック群の、当該ピクチャ内における位置を決定する位置決定部と、
    前記位置決定部が決定した前記位置における前記第１ブロック群を、前記小量子化ステップを用いて量子化し、前記ピクチャに含まれる前記位置以外の１以上のブロックで構成される第２ブロック群を、前記量子化ステップを用いて量子化して符号化する符号化部とを備え、
    前記位置決定部は、前記時間順に連続する複数のピクチャの中のうち時間順に連続する一定数のピクチャ毎において、当該複数のピクチャ内における前記第１ブロック群の位置が符号化順方向で循環するように、当該複数のピクチャそれぞれのピクチャ内での前記第１ブロック群の位置を決定する
    ことを特徴とする集積回路。

Images