JP5939251B2 - 動画像符号化方法及び動画像符号化装置並びにプログラム - Google Patents

Description

本発明は、動画像の符号化技術、より具体的には、動画像に対して、スライス分割を行って符号化する技術に関する。

近年、動画像の符号化技術は広く普及し、デジタル放送、光学ディスクによる映像コンテンツ頒布、インターネット等を経由した映像配信など幅広い用途に利用されている。動画像信号を低ビットレート、高圧縮率かつ高画質で符号化して符号化データを生成したり、符号化された動画像を復号化したりする技術として、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が標準化したＨ．２６１、Ｈ．２６３や、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）のＶＣ−１などが国際標準規格として広く用 いられている。

さらに、近年ＩＴＵとＩＳＯが共同で規格化を行ったＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以降Ｈ．２６４と表記する）がある（非特許文献１）。Ｈ．２６４は、従来の動画像符号化技術に比べ、さらなる圧縮効率向上、画質向上を実現できることが知られている。

映像品質の向上と伝送レートの低減に対する要求に応えるため、符号化技術は複雑化しており、符号化処理の負荷は増大している。このため、例えば最新の国際標準方式であるＨ．２６４方式でフルハイビジョン（１９２０×１０８０画素）映像をリアルタイム符号化しようとすると、通常のＣＰＵのソフトウェアだけでは実現できず、何らかのアクセラレータを併用することが現実的である。ＰＣ（パーソナルコンピュータ）のプラットフォームでアクセラレータとして有望なものにＧＰＧＰＵ（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ Ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が知られている。ＧＰＧＰＵは、３次元グラフィックス処理に利用されていたＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を他の用途にも活用しようというもので、大規模なベクトル演算で非常に高い性能を持つＧＰＵの特性とマッチする処理であれば、ＣＰＵと比較して数倍〜数十倍に高速化できる場合がある。

図８は、Ｈ．２６４方式の動画像符号化装置の一般的な例を示す。図示のように、該動画像符号化装置１００は、動き探索部１０１、動き補償部１０２、イントラ予測モード判定部１０３、イントラ予測部１０４、選択部１０５、整数変換部１０６、量子化部１０７、逆量子化部１０８、逆整数変換部１０９、可変長符号化部１１０、デブロックフィルタ部１１１、フレームバッファ１１２、減算部１１３、加算部１１４を備え、入力された画像（以下入力画像という）を順次符号化してビットストリームを得て出力する。なお、動画像符号化装置１００では、全ての機能ブロックの処理は、ＣＰＵにより行われる。

Ｈ．２６４方式では、圧縮効率向上および画質向上の目的で、同一画像内の近傍の画素情報を用いて予測を行うイントラ予測（画面内予測）、符号化結果の画像に発生した符号化ノイズを低減するデブロックフィルタの技術も採用されている。フレームバッファ１１２には、過去に符号化済みのフレームの画像データが記憶されている。入力画像に対して、マクロブロック（ＭＢ）と呼ばれる１６×１６画素のブロック単位で符号化処理が行われる。

動き探索（ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）部１０１は、入力画像とフレームバッファ１１２に格納されている符号済み画像との間で対応する画像ブロックの位置変化を検出し、その位置変化に相当する動きベクトル情報を出力する。動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）部１０２は、フレームバッファ１１２に格納されている符号済み画像と、動き探索部１０１から供給される動きベクトル情報を用いて動き補償処理を行い、動き補償予測画像を出力する。

イントラ予測モード判定部１０３は、入力画像と、該入力画像内の符号化済みマクロブロックの画像情報とに基づいて適切なイントラ予測モードを選択し、選択したモードを示す情報（イントラ予測モード情報）を出力する。イントラ予測（ＩＰ：Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）部１０４は、該入力画像内の符号化済みマクロブロックの画像情報と、イントラ予測モード判定部１０３から供給されるイントラ予測モード情報とを用いてイントラ予測処理を行い、イントラ予測画像を出力する。

選択部１０５は、動き補償部１０２から供給される動き補償予測画像と、イントラ予測部１０４から供給されるイントラ予測画像から適切なものを選択して予測画像として出力する。動き補償予測画像を選択する場合はＩｎｔｅｒモード、イントラ予測画像を選択する場合はＩｎｔｒａモードと呼ばれることがある。

減算部１１３は、入力画像から、選択部１０５から出力される予測画像を減算し、予測誤差画像を出力する。整数変換（ＤＩＴ：Ｄｉｓｃｒｅｔｅ Ｉｎｔｅｇｅｒ Ｔｒａｎｓｆｏｒｍ）部１０６は、この予測誤差画像に対して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と同様な直交変換処理を行って直交変換係数列を得て出力する。

量子化（Ｑ：Ｑｕａｎｔｉｚｅ）部１０７は、整数変換部１０６からの直交変換系列を量子化し、量子化された直交変換係数列を出力する。

可変長符号化（ＶＬＣ：Ｖａｒｉａｂｌｅ−Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）部１１０は、量子化部１０７からの量子化された直交変換係数列を所定の規則で符号化し、符号化結果のビットストリームを出力する。このビットストリームは、Ｈ．２６４方式の符号化装置の出力ビットストリームである。

また、量子化部１０７により量子化された直交変換係数列は、逆量子化（ＩＱ：Ｉｎｖｅｒｓｅ Ｑｕｎａｔｉｚａｔｉｏｎ）部１０８にも出力され、逆量子化部１０８による逆量子化処理の後、逆整数変換（ＩＤＩＴ：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｉｎｔｅｇｅｒ Ｔｒａｎｓｆｏｒｍ）部１０９による逆整数変換処理が施されて、加算部１１４で、選択部１０５から出力される予測画像と加算されてデブロックフィルタ部１１１でデブロックフィルタ処理が行われる。デブロックフィルタ部１１１が得たデータは、ローカルデコード画像であり、フレームバッファ１１２に記憶され、後続フレームの符号化に利用される。

なお、イントラ予測モード判定部１０３と選択部１０５による選択は、様々な方法があるが、一般的には、より符号化効率が高くなるほうを選択するようになっている。
動画像符号化装置１００の上述した各機能ブロックの処理内容は、例えば非特許文献２にも開示されており、ここではさらなる詳細な説明を省略する。

図８に示す動画像符号化装置１００の各機能ブロックのうちに、一般的に、動き探索部１０１が行う動き探索と、イントラ予測モード判定部１０３が行うイントラ予測モード判定の処理量が特に大きい。そのため、動き探索とイントラ予測モード判定の処理をＧＰＵ等のアクセラレータにオフロードすることによって高速化を図ることができる。図９を参照して、動き探索、イントラ予測モード判定をＧＰＵにオフロードする場合を説明する。

図９は、図８における動き探索部１０１、イントラ予測モード判定部１０３、及び動き探索部１０１による動き探索の結果を利用する動き補償部１０２の処理をＧＰＵにオフロードし、ＣＰＵによりそれ以降の処理を行うように動画像符号化装置を構成する場合の例を示す。なお、図８と比較しやすいように、図９と図８に対して、同一の機能を担う機能ブロックに対して同一の符号を付与している。

図９に示すように、該動画像符号化装置２００では、ＧＰＵは、動き探索部１０１、イントラ予測モード判定部２０３、動き補償部１０２の処理を行い、他の処理は、ＣＰＵにより行われる。

動画像符号化装置２００において、イントラ予測モード判定を行うイントラ予測モード判定部２０３は、動画像符号化装置１００におけるイントラ予測モード判定部１０３と異なる。ここで、その理由を説明する。

ＣＰＵとＧＰＵ間のデータ通信は一般的に時間がかかるため、ＧＰＵからＣＰＵへの処理結果の転送は、まとまった量例えば１画面分単位に行われることが考えられる。すなわち、ＧＰＵは、１画面分の動き探索、動き補償、イントラ予測モード判定処理を行い、１画面分の処理結果をＣＰＵに一括転送し、ＣＰＵは、該１画面分の後続の処理を行う。この場合、イントラ予測モード判定部２０３は、同一画像内の符号化済みマクロブロックの画像情報を利用することが出来ないため、動画像符号化装置１００におけるイントラ予測モード判定部１０３と異なり、入力画像の情報のみを用いて適切なイントラ予測モードを選択するように動作する。

なお、動画像符号化装置２００において、イントラ予測モード判定処理はＧＰＵにより行われるが、その結果を用いたイントラ予測処理は動画像符号化装置１００と同様にＣＰＵにより行われる。これは、イントラ予測を行うためには処理中の画像ブロック（１６×１６または８×８または４×４画素サイズ）に隣接する画像ブロックのＤＩＴ−Ｑ−ＩＱ−ＩＤＩＴ処理の結果が必要なためである。

通常の画像は空間的に相似する絵柄が連続することが多いため、Ｈ．２６４のイントラ予測は、処理対象ブロックと隣接するブロックの画像データを複製して処理対象ブロックの画像を予測し、高い予測効果を得ることができる。予測モードとしては、種々の絵柄に適応するため、例えば４×４ブロックの場合、図１０に示すような９方向の予測モードがある。イントラ予測モード判定は、この９モードのうち予測結果が最良となるモードを決定する処理で、画像の各ブロックで上記の９モードの予測結果を評価して最善のものを選ぶため処理量が大きい。ここで、画面外の画像は予測元として利用できないため、画面の端、画面を分割した場合の分割境界ではイントラ予測の動作が変わる。例えば画面上端では、上側の画像を利用するモード０、３、４、５、６、７を選択することができず、またモード２を選択した場合は特殊な動作となる。

また、例えば特許文献１と特許文献２に記載されたように、Ｈ．２６４では画面をスライスと呼ばれる小領域に分割して各々のスライスを独立に符号化することができる。この場合、スライス外部の画像は予測元として利用できないため、スライス境界に関しても上記と同じくイントラ予測の動作が変わる。

図１１に示す従来の動画像符号化装置３００を参照して、画面をスライスに分割して符号化する場合の処理を具体的に説明する。分かりやすいように、図１１は、Ｉｎｔｒａモードすなわちイントラ予測画像が選択された場合の処理構成に限定しており、また図８に示す動画像符号化装置１００における減算部１１３、整数変換部１０６、量子化部１０７、逆量子化部１０８、逆整数変換部１０９、加算部１１４、可変長符号化部１１０をまとめてブロック符号化部３０３としている。また、スライスを用いる場合の動作を説明するために、スライス分割構造制御部３０１を加えている。

図１１に示すように、イントラ予測モード判定部３１０は最適モード判定部３２０を備える。最適モード判定部３２０は、入力画像の情報と、スライス分割構造制御部３０１から供給される画面のスライス分割構造の情報を用いて適切なイントラ予測モードを判定してイントラ予測モード情報を出力する。

イントラ予測部３０２は、イントラ予測モード判定部３１０から供給されるイントラ予測モード情報と、スライス分割構造制御部３０１から供給される画面のスライス分割構造の情報と、符号済み画像記憶部３０４から供給される符号済み画像の情報を用いてイントラ予測処理を行い、イントラ予測画像を出力する。

ブロック符号化部３０３は、入力画像と、イントラ予測部３０２から供給されるイントラ予測画像とを用いてＤＩＴ−Ｑ−ＩＱ−ＩＤＩＴといった一連の符号化処理を行い、ビットストリームと符号化済み画像を出力する。符号済み画像記憶部３０４は、ブロック符号化部３０３から供給される符号化済み画像を記憶する。

スライス分割構造制御部３０１は、ブロック符号化部３０３から出力されるビットストリームを用いてスライス分割位置を決定し、画面のスライス分割構造の情報を出力する。

スライス分割をして符号化することは、エラーの発生する伝送路を用いて映像通信を行う場合における伝送路エラーの影響を軽減する効用がある。Ｈ．２６４等ではビットストリームに可変長符号を用いているため、伝送路エラー等によりビット誤りが発生すると、ビット誤り発生位置より後ろのビットストリームを正常に復号できなくなるため、該ビット誤りの影響は、画面の後続の領域に伝播する。図１２は、エラーの影響範囲を説明するための図である。

図１２の左側は、スライス分割をしない場合のエラーの影響範囲を示す。図示のように、この場合、エラーの影響はエラー発生位置より後続の全ての領域に及ぶ。一方、図１２の右側に示すように、スライス分割をする場合には、エラーの影響はエラーが発生したスライス内に限定される。

伝送路にＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網を用いる場合、１スライスのデータサイズがＰａｔｈ ＭＴＵ（１パケットで伝送可能な最大のデータサイズ）以内に収まるようにスライス分割するのが一般的である。これは、スライスが複数パケットにまたがると、パケットロスによるエラー率が高くなるためである。このため、動画像を符号化する際に、符号化結果のビットストリームのデータサイズを監視し、１つのスライスに含まれるデータサイズが所定の値を超えたらスライスをさらに分割する、という動的スライス分割処理が行われている。動画像符号化装置３００におけるスライス分割構造制御部３０１は、この役割を担うものである。

特開２００７−３１８７２６号公報 特開２００５−１９１７０６号公報

ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ 「Ａｄｖａｎｃｅd ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、２００５年３月 Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ、Ｄｏｃｕｍｅｎｔ ＪＶＴ−Ｏ０７９、「Ｔｅｘｔ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｍｏｄｅ Ｒｅｆｅｒｅｎｃｅ Ｅｎｃｏｄｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｄｅｃｏｄｉｎｇ Ｃｏｎｃｅａｌｍｅｎｔ Ｍｅｔｈｏｄ」、２００５年４月

ここで、図９の動画像符号化装置２００のように負荷の大きい処理をＧＰＵにオフロードすると共に、図１１に示す動画像符号化装置３００のようにスライス分割を行う場合について考える。この場合、図１１に示す動画像符号化装置３００は、図１３に示すように、イントラ予測モード判定部３１０の処理はＧＰＵにより行われ、スライス分割構造制御部３０１を含む他の機能ブロックの処理はＣＰＵにより行われる。

前述したように、ＧＰＵが１画面分を処理し、１画面分の処理結果をまとめてＣＰＵに送ることが行われる。この場合、ＣＰＵでスライス分割の制御をしたとしても、ＧＰＵが担うイントラ予測モード判定は既に１画面分の処理が完了しているため、スライス分割の結果をイントラ予測モード判定にフィードバックできないという問題がある。

例えば、ＧＰＵは、何らかのスライス分割構造を仮定して、その構造で最適なイントラ予測モードを１画面分まとめて決定しＣＰＵに送る。ＣＰＵは、ＧＰＵからのイントラ予測モード情報に基づいてイントラ予測してブロック符号化処理を行い、処理結果を可変長符号化してビットストリームを出力する。また、ＣＰＵは、動的スライス分割のために、この出力ビットストリームのデータサイズを監視して、所定の値を超えたらスライス分割する。

前述したように、イントラ予測の動作はスライス境界で変化する。そのため、動的スライス分割によりスライス分割構造が変更された場合には、本来は新しいスライス分割構造に基づいてイントラ予測モード判定処理をやり直す必要がある。しかし、イントラ予測モード判定は、既に１画面分の処理が完了しているためやり直すことは困難である。理論的にはやり直すことも可能であるが、ＣＰＵ−ＧＰＵ間の通信コスト増大や処理やり直しによる演算量増加などの発生により、効率が低下してしまう問題がある。一方、ＣＰＵにより決定されたのと異なるスライス分割構造に基づいて行ったイントラ予測モード判定の結果をそのまま利用すると、規格違反のデータ（ビットストリーム）が生成されたり、画質が著しく低下したりするなどの問題がある。

本発明は、上記事情を鑑みてなされたものであり、動的にスライス分割構造を変更しても、画質と効率の低下を回避可能な動画像符号化技術を提供する。

本発明の１つの態様は、夫々のピクチャを複数のスライスに分割して符号化する動画像符号化装置である。該動画像符号化装置は、スライス分割構造制御部、前段処理部、後段処理部を備える。

スライス分割構造制御部は、ピクチャを複数のスライスに分割する際の分割位置を示すスライス分割構造を決定する。

前段処理部は、ピクチャの符号化の前段部分の処理となる前段処理を行う。該前段処理は、スライス分割構造が異なる場合に処理結果が異なり得る。

後段処理部は、前段処理部の処理結果に基づいて、符号化の後段部分の処理となる後段処理を行って符号化結果を得る。

前段処理部は、スライス分割構造制御部が決定し得る複数のスライス分割構造毎に前段処理を行い、上記複数のスライス分割構造毎の処理結果を得る。

後段処理部は、前段処理部が得た複数のスライス分割構造毎の処理結果から、スライス分割構造制御部が決定したスライス分割構造に合致する処理結果を選択し、選択した処理結果に基づいて後段処理を行う。

なお、上記態様の装置をシステムや方法に置き換えて表現したもの、コンピュータを該装置として実行せしめるプログラムなども、本発明の態様としては有効である。

本発明にかかる技術によれば、動画像符号化時に、動的にスライス分割構造を変更しても、画質と効率の低下を回避できる。

本発明にかかる技術的な原理を説明するための図である。 図１に示す動画像符号化装置における前段処理をＧＰＵにオフロードした場合を説明するための図である。 本発明の第１の実施の形態にかかる動画像符号化装置を示す図である。 スライス構造と、選択可能なイントラ予測モード数との関係の例を示す図である。 図３に示す動画像符号化装置におけるイントラ予測モード判定部が後段処理部に出力した処理結果の例を示す図である。 本発明の第２の実施の形態にかかる動画像符号化装置を示す図である。 図６に示す動画像符号化装置におけるイントラ予測モード判定処理とブロック符号化処理のタイミング関係の例を示すタイミングチャートである。 Ｈ．２６４方式の通常の動画像符号化装置の例を示す図である。 図８に示す動画像符号化装置の一部の処理をＣＰＵにオフロードした場合を説明するための図である。 イントラ予測モードの例を示す図である。 スライス分割を行う動画像符号化装置の例の略図である。 スライス分割を行う場合と行わない場合におけるエラーの影響範囲の違いを説明するための図である。 従来技術の問題点を説明するための図である。

以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

本発明の具体的な実施の態様を説明する前に、まず、図１に示す動画像符号化装置４００を参照して、本発明にかかる技術の原理を説明する。

図１に示す動画像符号化装置４００は、動画像に対してピクチャＰ（フレームまたはフィールド）毎に符号化して符号化結果となるビットストリームＢＳＭを得るものであり、符号化に際しては、該ピクチャＰを複数のスライスに分割してスライス毎に符号化する。以下の説明において、ピクチャＰを複数のスライスに分割する際の分割位置を「スライス分割構造」という。なお、スライスは、符号化単位となるマクロブロック（以下単にＭＢともいう）を１つ以上含む領域である。

動画像符号化装置４００は、前段処理部４１０、後段処理部４２０、スライス分割構造制御部４３０を備える。

前段処理部４１０は、ピクチャＰの符号化の前段部分の処理（前段処理）を行うものであり、該前段処理は、スライス分割構造が異なる場合に処理結果が異なり得る。例えば、前述したように、Ｈ．２６４規格に準拠した符号化を行う際に、スライス分割構造が異なるとスライス境界も異なるため、イントラ予測モードを決定する際に選択可能なイントラ予測モードも異なる。そのため、この前段処理は、イントラ予測モードの決定を含む処理とすることができる。

後段処理部４２０は、ピクチャＰの符号化の後段部分の処理（後段処理）を行うものであり、前段処理部４１０の処理結果に基づいて後段処理を行う。

スライス分割構造制御部４３０は、ピクチャＰを分割する際の分割位置、すなわちスライス分割構造を決定するものであり、複数のスライス分割構造（Ｓ１、Ｓ２、・・・）から決定されたスライス分割構造Ｓを決定して後段処理部４２０に通知する。

前段処理部４１０は、スライス分割構造制御部４３０が決定し得る複数のスライス分割構造Ｓ１、Ｓ２、・・・毎に前段処理を行って、これらの複数のスライス分割構造毎の処理結果（Ｒ１、Ｒ２、・・・）を得る。例えば、前段処理部４１０は、前段処理としてイントラ予測モードの判定を行う場合に、上記複数のスライス分割構造毎に、各ＭＢのイントラ予測モードを決定し、決定したイントラ予測モードを示すイントラ予測モード情報を後段処理部４２０に出力する。

後段処理部４２０は、前段処理部４１０が得た複数のスライス分割構造毎の処理結果（Ｒ１、Ｒ２、・・・）から、スライス分割構造制御部４３０が決定したスライス分割構造Ｓに合致する処理結果を選択し、選択した処理結果に基づいて後段処理を行う。

例えば、前段処理部４１０がスライス分割構造制御部４３０により決定し得る複数のスライス分割構造毎のイントラ予測モード情報を得るものである場合に、後段処理部４２０は、前段処理部４１０からの複数のスライス分割構造毎のイントラ予測モード情報から、スライス分割構造制御部４３０により決定された決定されたスライス分割構造Ｓに対応するイントラ予測モード情報を選択して、後段処理として、選択した該イントラ予測モード情報が示すイントラ予測モードで該ＭＢのイントラ予測を行う。

つまり、動画像符号化装置４００において、前段処理部４１０は、スライス分割構造制御部４３０により決定し得る複数のスライス分割構造毎に前段処理を行って、これらのスライス分割構造毎の処理結果（Ｒ１、Ｒ２、・・・）を後段処理部４２０に出力し、後段処理部４２０は、これらの複数の処理結果からスライス分割構造制御部４３０が決定したスライス分割構造Ｓに対応する処理結果を選択して後段処理を行う。そのため、スライス分割構造制御部４３０が動的にスライス分割構造を変更しても、前段処理部４１０による前段処理のやり直しの必要が無く、動画像符号化装置全体の効率が良い。また、後段処理部４２０は、スライス分割構造制御部４３０が実際に決定したスライス分割構造Ｓに対応した前段処理部４１０の処理結果を選択して後段処理を行うので、画質の劣化を防ぐことができる。

なお、スライス分割構造制御部４３０は、動的にスライス分割構造を変更可能なものであり、その変更の方法は、従来知られているいかなる方法であってもよい。例えば、ＩＰネットワークによるパケット通信によりビットストリームＢＳＭを伝送するシステムの場合には、スライス分割構造制御部４３０は、ビットストリームＢＳＭのデータサイズを監視し、１スライスのデータサイズがパケットサイズより小さい所定の閾値以下になるようにスライス分割構造を決定すればよい。

本発明の技術は、動画像を符号化する際の一部の処理をＣＰＵ以外の別の装置（例えばＧＰＵ）にオフロードする場合において、効率の低下を防ぐ効果がさらに顕著である。これについて、図２を参照して説明する。なお、図２において、図１における機能ブロックと同様の機能を担うものについて、図１における該機能ブロックと同様の符号を付与している。

図２に示す動画像符号化装置５００は、図１に示す動画像符号化装置４００と同様に、前段処理部４１０、後段処理部４２０、スライス分割構造制御部４３０を備える。

これらの機能ブロックのうちに、前段処理部４１０はＧＰＵに設けられており、後段処理部４２０とスライス分割構造制御部４３０はＣＰＵに設けられている。すなわち、前段処理部４１０により行われる処理は、ＣＰＵからＧＰＵにオフロードされている。

この場合、前段処理部４１０は、前段処理の結果を後段処理部４２０に送信する必要があるため、ＧＰＵとＣＰＵ間で通信が行われる。この場合、通信時間を節約するために、前段処理部４１０が１度の通信で、１画面分の前段処理の結果を一括して後段処理部４２０に送信するようになっているとする。

前段処理部４１０は、１画面分の前段処理の結果には、スライス分割構造制御部４３０が決定し得る複数のスライス分割構造に夫々対応する前段処理の結果が含まれるため、後段処理部４２０は、これらの処理結果から、スライス分割構造制御部４３０が実際に決定した決定されたスライス分割構造Ｓに対応する処理結果を選択して後段処理を行う。そのため、スライス分割構造制御部４３０が動的にスライス分割構造Ｓを変更しても、変更されたスライス分割構造Ｓに対応する前段処理の結果を再度前段処理部４１０から受け取る必要が無い。従って、前段処理部４１０の処理をＣＰＵからＧＰＵにオフロードした場合には、動画像符号化装置４００と同様の効果を得ることができると共に、通信のやり直しの必要もないため、効率向上の点においてより有利である。

以上に説明した原理を踏まえて、本発明の技術を具現化した実施の形態を説明する。
＜第１の実施の形態＞
図３は、本発明の第１の実施の形態にかかる動画像符号化装置６００を示す。動画像符号化装置６００は、Ｈ．２６４入力画像となるピクチャＰを符号化するものであり、イントラ予測モード判定部６１０、スライス分割構造制御部６５０、選択部６６０、イントラ予測部６７０、ブロック符号化部６８０、符号化済み画像記憶部６９０を備える。これらの機能ブロックのうちに、イントラ予測モード判定部６１０は、ＧＰＵがプログラムを実行することにより構成され、他の各機能ブロックは、ＣＰＵがプログラムを実行することにより構成される。

また、動画像符号化装置６００に対して、図１１のときと同じように、Ｉｎｔｒａモードすなわちイントラ予測画像が選択された場合の処理構成に限定しており、図８に示す動画像符号化装置１００における減算部１１３、整数変換部１０６、量子化部１０７、逆量子化部１０８、逆整数変換部１０９、加算部１１４、可変長符号化部１１０をまとめてブロック符号化部６８０としている。すなわち、イントラ予測部６７０は、イントラ予測モード情報Ｒと、スライス分割構造制御部６５０から供給されるスライス分割構造Ｓと、符号化済み画像記憶部６９０に格納された符号化済み画像とに基づいてイントラ予測画像Ｐ０を作成してブロック符号化部６８０に出力する。なお、スライス分割構造Ｓについては、後に、スライス分割構造制御部６５０の動作と共に説明する。また、ブロック符号化部６８０は、ＭＢ毎に符号化して得た符号化済み画像Ｐ１を符号化済み画像記憶部６９０に出力すると共に、符号化済み画像Ｐ１に対してさらに可変長符号化を行って符号化結果となるビットストリームＢＳＭを得て出力する。符号化済み画像記憶部６９０は、ブロック符号化部６８０からの符号化済み画像Ｐ１を一時的に格納してイントラ予測部６７０に供する。

なお、動画像符号化装置６００におけるイントラ予測部６７０、ブロック符号化部６８０、符号化済み画像記憶部６９０は、図１１に示す動画像符号化装置３００におけるイントラ予測部３０２、ブロック符号化部３０３、符号化済み画像記憶部３０４と夫々同様の処理を行うものであり、ここで詳細な説明を省略する。

スライス分割構造制御部６５０は、スライス分割構造を決定するものであり、動的にスライス分割構造を変更可能である。本実施の形態の動画像符号化装置６００において、スライス分割構造制御部６５０は、ビットストリームＢＳＭのデータサイズを監視し、１スライス分のデータサイズが所定の閾値以下になるようにスライス分割構造を決定する。なお、この所定の閾値は、例えばビットストリームＢＳＭを伝送する際のパケットサイズより小さい値に設定されている。また、スライス分割構造制御部６５０は、想定可能なｎ通り（ｎ≧２）のスライス分割構造（Ｓ１、Ｓ２、・・・、Ｓｎ）の中からスライス分割構造Ｓを決定する。

スライス分割構造制御部６５０は、決定したスライス分割構造Ｓを選択部６６０とイントラ予測部６７０に出力する。

選択部６６０は、イントラ予測モード判定部６１０がピクチャＰについて送信されてきたｎ通りのイントラ予測モード情報（Ｒ１、Ｒ２、・・・Ｒｎ）の中から、イントラ予測モード情報Ｒを選択してイントラ予測部６７０に供する。詳細については後述するが、イントラ予測モード情報Ｒ１、Ｒ２、・・・、Ｒｎは、スライス分割構造制御部６５０が決定しうるｎ通りのスライス分割構造Ｓ１、Ｓ２、・・・、Ｓｎに夫々対応し、選択部６６０は、イントラ予測モード情報Ｒ１、Ｒ２、・・・、Ｒｎから、スライス分割構造制御部６５０が決定したスライス分割構造Ｓに対応するものをイントラ予測モード情報Ｒとして選択する。

イントラ予測モード判定部６１０は、前段処理部に該当し、ｎ個の最適モード判定部６２（６２ａ、６２ｂ、・・・、６２ｎ）と、スライス分割構造列挙部６３０と、送信部６４０を備える。

スライス分割構造列挙部７２０は、ピクチャＰにおける処理対象のマクロブロックの該ピクチャＰ内での位置に基づいて想定可能な複数のスライス分割構造、すなわちスライス分割構造制御部６５０が決定し得るスライス分割構造Ｓ１、Ｓ２、・・・、Ｓｎを列挙して、ｎ個の最適モード判定部６２ａ、６２ｂ、・・・、６２ｎに夫々出力する。

前述したように、選択可能なイントラ予測モードの数やイントラ予測の動作は、処理対象のマクロブロックとスライス境界の位置関係によって変化するため、イントラ予測モード判定の結果すなわち選択するイントラ予測モードもマクロブロックの位置とスライス分割構造に応じて異なり得る。イントラ予測モード判定部６１０の各最適モード判定部は、当該マクロブロックの位置と、スライス分割構造列挙部６３０から供されたスライス分割構造とに基づいて当該マイクロブロックの最適なモード（例えば符号化効率が最も良いイントラ予測モード）を決定して、決定したイントラ予測モードを示すイントラ予測モード情報を送信部６４０に出力する。

図４は、スライス分割構造の複数の例と、それぞれの例において選択可能なイントラ予測モードの数を示している。イントラ予測に関連するのは、処理対象のマクロブロックの左、左上、上、右上の４個の周辺マクロブロックで、これらのマクロブロックが同じスライスに含まれるか否かによってイントラ予測の動作が変化する。例えば、図４に示す構造Ｓ１の場合、４個の周辺マクロブロックが全て同じスライスにあるため、図１０に示す９個のモードをすべて利用することができる。一方、構造Ｓ２の場合、左上のマクロブロックが異なるスライスに属するため、イントラ予測の予測元には利用できず、図１０に示す９個のモードのうちの左上マクロブロックを用いるモード４、５、６は利用できなくなり、選択可能なイントラ予測モード数は６となる。

従って、イントラ予測モード判定部６１０の各最適モード判定部６２ａが出力するイントラ予測モード情報は、スライス分割構造によって異なる場合がある。

送信部６４０は、各最適モード判定部６２ａ、６２ｂ、・・・、６２ｎが出力するイントラ予測モード情報を１画面（すなわち１ピクチャ）分毎に一括して選択部６６０に出力する。図５は、イントラ予測モード判定部６１０の送信部６４０が選択部６６０に出力したイントラ予測モード情報の例を示す。なお、該例において、ｎが５であるとする。

図示のように、例えば、マクロブロックＮの場合、スライス分割構造が構造Ｓ１である場合には最適なイントラ予測モードがモード４に判定されており、スライス分割構造Ｓ２とＳ５である場合には、最適なイントラ予測モードがモード２に判定されている。また、スライス分割構造が構造Ｓ３とＳ４である場合には、最適なイントラ予測モードがモード１に判定されている。

図５に示すようなイントラ予測モード情報から、選択部６６０は、スライス分割構造制御部６５０が実際に決定したスライス分割構造Ｓに対応するイントラ予測モード情報（イントラ予測モード情報Ｒ）を選択してイントラ予測部６７０に出力する。例えば、スライス分割構造制御部６５０が決定したスライス分割構造ＳがマクロブロックＮの位置でＳ１である場合に、選択部７０１は、マクロブロックＮに対して、モード４を選択し、またマクロブロック（Ｎ＋１）の位置でＳ１である場合にマクロブロック（Ｎ＋１）に対してモード６を選択する。

イントラ予測部６７０は、選択部６６０が選択したイントラ予測モード情報Ｒを用いてイントラ予測を行い、イントラ予測画像Ｐ０を得てブロック符号化部６８０に出力する。

ブロック符号化部６８０と符号化済み画像記憶部６９０については、図１１に示す動画像符号化装置３００におけるブロック符号化部３０３と符号化済み画像記憶部３０４と夫々同じ動作をする。

本実施の形態の動画像符号化装置６００は、本発明の原理を説明するための図２に示す動画像符号化装置５００を具現化したものであり、動画像符号化装置５００により得られる全ての効果を発揮することができ、動画像の符号化に際して、動的にスライス分割構造を変更しても、画質と効率の低下を回避できる。
＜第２の実施の形態＞

図６は、本発明の第２の実施の形態にかかる動画像符号化装置７００を示す。動画像符号化装置７００は、画像記憶部７１０と処理結果記憶部７２０をさらに備え、イントラ予測モード判定部６１０と、他の機能ブロックとは、並行して異なるピクチャを処理可能である点を除き、図３に示す動画像符号化装置６００と同様である。

動画像符号化装置７００において、画像記憶部７１０は、後段処理部（ここではブロック符号化部６８０）による現在のピクチャの処理中に、後続の１つ以上のピクチャを一時的に記憶すると共に、ブロック符号化部６８０が現在のピクチャの処理の完了後に、一時記憶中の次のピクチャをブロック符号化部６８０に供する。また、処理結果記憶部７２０は、送信部６４０から送信されてきた上記１つ以上のピクチャ毎に、スライス分割構造毎の処理結果（イントラ予測モード情報Ｒ１、Ｒ２、・・・、Ｒｎ）を一時的に記憶すると共に、ブロック符号化部６８０が現在のピクチャの処理の完了後に、一時記憶中の次のピクチャの処理結果を選択部６６０に供する。

画像記憶部７１０と処理結果記憶部７２０を備えることにより、イントラ予測モード判定部６１０とブロック符号化部６８０は、並行して異なるピクチャを処理することができる。図７を参照して詳細に説明する。

図７は、イントラ予測モード判定部６１０とブロック符号化部６８０の動作タイミングの例を示すタイミングチャートである。まず、ピクチャ０がイントラ予測モード判定部６１０に入力される。イントラ予測モード判定部６１０の各最適モード判定部は、スライス分割構造列挙部６３０から供されたスライス分割構造に応じてピクチャ０の各ＭＢのイントラ予測モード情報を得て送信部６４０に出力する。送信部６４０は、ピクチャ０のスライス分割構造毎のイントラ予測モード情報を一括して処理結果記憶部７２０に出力する。また、ピクチャ０は画像記憶部７１０に格納される。

これにて、イントラ予測モード判定部６１０によるピクチャ０に対する処理が完了し、ブロック符号化部６８０を含む後段処理部は、画像記憶部７１０に格納されたピクチャ０と、スライス分割構造制御部６５０に格納されたピクチャ０のイントラ予測モード情報（Ｒ１、Ｒ２、・・・、Ｒｎ）を用いてピクチャ０の各ＭＢの符号化を行う。並行して、イントラ予測モード判定部６１０は、次のピクチャ（ピクチャ１）に対して処理を行う。

すなわち、ブロック符号化部６８０を含む後段処理部がピクチャ０を処理する際に、画像記憶部７１０にはピクチャ０が記憶されている。また、前段処理部となるイントラ予測モード判定部６１０はピクチャ１の処理を行い、処理が完了すれば、処理結果を処理結果記憶部７２０に送信する。また、ピクチャ１は画像記憶部７１０に格納される。

このように、本発明の第２の実施の形態にかかる動画像符号化装置７００は、図１に示す第１の実施の形態にかかる動画像符号化装置６００と同様の効果を得ることができると共に、イントラ予測モード判定とブロック符号化の処理を夫々異なるピクチャに対して並行に実行することができるので、符号化処理全体の効率がより向上する。

また、図７の例に示すように、例えばピクチャ０のブロック符号化処理に時間がかかった場合でも、イントラ予測モード判定処理は後続のピクチャの処理を開始することができ、ブロック符号化処理の完了を待つ必要がなく、処理リソースを有効に動作させることができる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

例えば、第１と第２の実施の形態は、本発明にかかる技術をＨ．２６４符号化方式に適用した場合の例であるが、本発明にかかる技術は、ＶＣ−１等の他の異なる符号化方式や、国際標準の動画像符号化方式等に含まれない符号化方式に適用することもできる。

また、分かりやすいように、第１と第２の実施の形態は、本発明の技術における「前段処理」と「後段処理」を夫々「イントラ予測モード判定」と「イントラ予測」にした場合の例であるが、イントラ予測以外にも、スライス分割構造によって動作が変化する種々の処理に対しても適用することができる。

また、図２では、例として５種類のスライス分割構造を列挙する場合について説明したが、スライス分割構造は図２に示す例に限定されるものではなく、この５種類のうちの一部のみを用いたり、より多くの種類のスライス分割構造を用いたりすることも考えられる。

また、第１と第２の実施の形態において、負荷が大きい処理をＧＰＵにオフロードする場合の例について説明したが、オフロードするのはＧＰＵに限定されず、別のＣＰＵや、ＦＰＧＡ、専用ＬＳＩ回路など、後段処理を担うＣＰＵとは別の装置を用いることも考えられる。

また、第１と第２の実施の形態の動画像符号化装置に対して、ＧＰＵが、ＣＰＵとの１回の通信により１ピクチャ分の処理結果を一括して行う場合を説明したが、１ピクチャ分より小さい単位で複数回の通信を行うように処理結果をＣＰＵに送信するようにしてもよい。

この出願は、２０１１年６月２２日に出願された日本出願特願２０１１−１３８１２０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 動画像符号化装置 １０１ 動き探索部
１０２ 動き補償部 １０３ イントラ予測モード判定部
１０４ イントラ予測部 １０５ 選択部
１０６ 整数変換部 １０７ 量子化部
１０８ 逆量子化部 １０９ 逆整数変換部
１１０ 可変長符号化部 １１１ デブロックフィルタ部
１１２ フレームバッファ １１３ 減算部
１１４ 加算部 ２００ 動画像符号化装置
２０３ イントラ予測モード判定部 ３００ 動画像符号化装置
３０１ スライス分割構造制御部 ３０２ イントラ予測部
３０３ ブロック符号化部 ３０４ 符号化済み画像記憶部
３１０ イントラ予測モード判定部 ３２０ 最適モード判定部
４００ 動画像符号化装置 ４１０ 前段処理部
４２０ 後段処理部 ４３０ スライス分割構造制御部
５００ 動画像符号化装置 ６００ 動画像符号化装置
６１０ イントラ予測モード判定部 ６２ａ〜６２ｎ 最適モード判定部
６３０ スライス分割構造列挙部 ６４０ 送信部
６５０ スライス分割構造制御部 ６６０ 選択部
６７０ イントラ予測部 ６８０ ブロック符号化部
６９０ 符号化済み画像記憶部 ７００ 動画像符号化装置
７１０ 画像記憶部 ７２０ 処理結果記憶部
ＢＳＭ ビットストリーム Ｐ ピクチャ
Ｐ０ イントラ予測画像 Ｐ１ 符号化済み画像
Ｒ イントラ予測モード情報 Ｒ１〜Ｒｎ イントラ予測モード情報
Ｓ スライス分割構造 Ｓ１〜Ｓｎ スライス分割構造

Claims (10)

1. 夫々のピクチャを複数のスライスに分割して符号化する動画像符号化装置において、
   前記ピクチャを複数のスライスに分割する際の分割位置を示すスライス分割構造を決定するスライス分割構造制御手段と、
   前記ピクチャの符号化の前段部分の処理であって、前記スライス分割構造が異なる場合に処理結果が異なり得る前段処理行う前段処理手段と、
   該前段処理手段の処理結果に基づいて、前記符号化の後段部分の処理となる後段処理を行って符号化結果を得る後段処理手段とを備え、
   前記前段処理手段は、前記スライス分割構造制御手段が決定し得る複数のスライス分割構造毎に前記前段処理を行い、前記複数のスライス分割構造毎の処理結果を得、
   前記後段処理手段は、前記前段処理手段が得た前記複数のスライス分割構造毎の処理結果から、前記スライス分割構造制御手段が決定したスライス分割構造に合致する処理結果を選択し、選択した前記処理結果に基づいて前記後段処理を行うことを特徴とする動画像符号化装置。
2. 前記前段処理は、イントラ予測モードを決定する処理を含み、
   前記後段処理は、イントラ予測処理を含むことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記スライス分割構造制御手段と前記後段処理手段は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に設けられており、
   前記前段処理手段は、
   前記ＣＰＵの外部に設けられており、
   ピクチャ毎に、前記複数のスライス分割構造毎の処理結果を一括して前記後段処理手段に送信することを特徴とする請求項１または２に記載の動画像符号化装置。
4. 前記スライス分割構造制御手段は、前記後段処理手段が得た前記符号化結果に基づいて前記スライス分割構造を動的に決定することを特徴とする請求項１から３のいずれか１項に記載の動画像符号化装置。
5. 前記スライス分割構造制御手段は、前記符号化結果となるビットストリームのデータサイズを監視し、１スライスのデータサイズが所定の閾値以下になるように前記スライス分割構造を決定することを特徴とする請求項３に記載の動画像符号化装置。
6. 前記後段処理手段による現在のピクチャの処理中に、
   後続の１つ以上のピクチャを一時的に記憶する画像記憶手段と、
   前記１つ以上のピクチャに対して前記前段処理手段が得た複数のスライス分割構造毎の処理結果を一時的に記憶する処理結果記憶手段とを、
   さらに備えることを特徴とする請求項１から５のいずれか１項に記載の動画像符号化装置。
7. 夫々のピクチャを複数のスライスに分割して符号化する動画像符号化方法において、
   前記ピクチャを複数のスライスに分割する際の分割位置を示すスライス分割構造を決定するスライス分割構造制御処理をし、
   前記ピクチャの符号化の前段部分の処理であって、スライス分割構造が異なる場合に処理結果が異なり得る前段処理を、前記スライス分割構造処理により決定し得る複数のスライス分割構造毎に行って、前記複数のスライス分割構造毎の処理結果を得、
   前記前段処理により得た前記複数のスライス分割構造毎の処理結果から、前記スライス分割構造制御処理により決定したスライス分割構造に合致する処理結果を選択し、選択した前記処理結果に基づいて、前記ピクチャの符号化の後段部分の処理となる後段処理を行って符号化結果を得ることを特徴とする動画像符号化方法。
8. 前記前段処理は、イントラ予測モードを決定する処理を含み、
   前記後段処理は、イントラ予測処理を含むことを特徴とする請求項７に記載の動画像符号化方法。
9. 前記スライス分割構造制御処理と前記後段処理は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により行い、
   前記前段処理は、前記ＣＰＵ以外の装置により行い、
   ピクチャ毎に、前記複数のスライス分割構造毎の処理結果を前記ＣＰＵ以外の装置から一括して前記ＣＰＵに送信することを特徴とする請求項７または８に記載の動画像符号化方法。
10. 夫々のピクチャを複数のスライスに分割して符号化する動画像符号化処理をコンピュータに実行せしめるプログラムであって、
    前記動画像符号化処理は、
    前記ピクチャを複数のスライスに分割する際の分割位置を示すスライス分割構造を決定するスライス分割構造制御処理をし、
    前記ピクチャの符号化の前段部分の処理であって、スライス分割構造が異なる場合に処理結果が異なり得る前段処理を、前記スライス分割構造処理により決定し得る複数のスライス分割構造毎に行って、前記複数のスライス分割構造毎の処理結果を得、
    前記前段処理により得た前記複数のスライス分割構造毎の処理結果から、前記スライス分割構造制御処理により決定したスライス分割構造に合致する処理結果を選択し、選択した前記処理結果に基づいて、前記ピクチャの符号化の後段部分の処理となる後段処理を行って符号化結果を得る処理であることを特徴とするプログラム。

Images