JP6098226B2 - 画像符号化装置および画像復号装置 - Google Patents

Description

この発明は、動画像データを通信路を利用して送受信する際に、通信路の帯域幅に合わせて画像データを圧縮する画像符号化装置と圧縮された画像データを伸長する画像復号装置に関するものである。

動画像の符号化には、Ｈ．２６４やＭＰＥＧ−２などの国際標準方式が存在し、インターネットでの映像配信やデジタル放送、デジタルビデオカメラ等、数多くの用途で使用されている。これらの方式では、動き補償予測や直交変換などの処理の組み合わせによって画像を１／１００以下のデータサイズに圧縮することが可能である。

近年、Ｈ．２６４やＭＰＥＧ−２よりもさらに圧縮率の高いＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの新しい方式の標準化も進められている。ＨＥＶＣでは、フィルタリング処理や画素値に対するオフセット補正によって圧縮による画像歪みを軽減するＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）やＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）などの新たな手法の採用が検討されている。

動画像をインターネット等の通信路を介してリアルタイムに伝送したり、Ｂｌｕ−ｒａｙ（商標）などの記録媒体に保存したりする場合、通信路の帯域や記録媒体の容量に合わせて符号化装置から出力されるデータのビットレートをコントロールするレート制御技術が重要となる。レート制御の代表的な方法としては、ＱＰ値（Ｑｕａｎｔｉｓａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）などの符号化パラメータを符号化装置で調整する方法や、動画を構成するフレームの一部を間引く方法（コマ落とし）などが存在する。また、ＭＶＣ（Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ）などのスケーラブル符号化方式を用いて、通信路の混雑具合や記録媒体の残量に応じて、伝送または記録するデータ量を制御する方法もある。

簡易的なスケーラブル符号化方法として、動画像の各フレームを水平方向と垂直方向に各々１／２に間引き、かつ位相が１画素ずれた４つの画像に分割することでスケーラブル符号化を実現する方法と、４つの画像で符号化パラメータを共有化するスケーラブル符号化装置が開示されている（例えば、特許文献１）。

特開２００９−２９６３００号公報

以上のような方法により、通信路の帯域や記録媒体の残量に合わせて、画像データのビットレートないしデータサイズを制御することができるが、極めて狭帯域の通信路を利用して画像伝送する場合には、ＱＰ値等の符号化パラメータの制御のみでは、圧縮方式の性能上、目標のビットレートまで低減させることができないことがあり、フレームのコマ落としなどの方法と併用する必要があった。しかし、コマ落としを行うと画像コンテンツの動きの滑らかさが損なわれ、主観的に違和感のある画像になってしまう問題があった。

また、ＭＶＣなどのスケーラブル符号化方式を用いれば、時間方向にフレームを間引く以外に、画像の解像度を間引くなどの選択肢を確保できるため、単純にコマ落としするよりも柔軟にビットレートと画質を制御することができる。ただし、スケーラブル符号化は、通常の符号化に比べて処理が複雑であり、またスケーラブル符号化に対応したデバイスも少ないため、画像符号化装置及び復号装置の実現が難しいという課題があった。

また、特許文献１では、４つの分割画像を各々個別に符号化し、各圧縮画像データ（ビットストリーム）を後段で多重する構成となっており、第２〜４の符号化部にて第１の符号化部における符号化情報を利用できるが、４つの分割画像間の相関を利用して圧縮率を高める手段を持たないため、高い圧縮率を実現することはできなかった。また、分割画像の一部を破棄する手段や、破棄した分割画像を復元する手段を持たないため、高画質を維持したまま可変的にビットレートを制御することが困難であった。

本発明は、上記のような課題を解決するためになされたもので、通信路の帯域や記録媒体の残量等に応じて柔軟にビットレートを制御することを可能とし、また、低ビットレートで符号化する場合にも、分割画像間の相関を利用して圧縮率を高められるとともに、高い画質を維持することを可能とすることを目的とする。

この発明に係るメッセージ通信装置は、入力される動画像データのフレームを蓄積し、小ブロックに区切って小ブロック内の画素位置による分類に基づいて分割した複数の符号化対象の小画面画像を時系列に出力するフレーム蓄積部Ａと、前記符号化対象の小画面画像と予測画像の差分画像を圧縮した圧縮データを生成する圧縮部と、前記圧縮データを伸長し、予測画像と加算した伸長データを生成する伸長部と、前記伸長データを補正して局所復号画像を生成する補正部と、前記局所復号画像を符号化済みの小画面画像として蓄積し、前記符号化対象の小画面画像に対する参照画像となる小画面画像を出力するフレーム蓄積部Ｂと、前記符号化対象の小画面画像を参照したイントラ予測または前記符号化済みの小画面画像を参照したインター予測により前記予測画像を生成する予測画像生成部と、前記圧縮データを可変長符号化して符号化データを生成し、前記符号化データに付加情報を多重化したビットストリームを生成する符号化部と、前記ビットストリームを通信路に送信し、前記通信路の状態に応じて目標ビットレートを決定する通信路状態監視部と、前記目標ビットレートに基づいて、前記フレーム蓄積部Ａと前記フレーム蓄積部Ｂに分割情報を指示し、符号化パラメータとともに前記付加情報として前記符号化部に出力し、前記符号化対象の小画面画像ごとに間引くか否かを判定する符号化制御部とを備え、前記符号化制御部が前記符号化対象の小画面画像を間引くと判定したとき、前記符号化制御部は、同一フレームに属する前記符号化済みの小画面画像に対する補正処理によって前記符号化対象の小画面画像を復元する復元パラメータを生成して前記符号化部に指示するとともに、同一フレームに属する前記符号化済みの小画面画像を参照してオフセット情報によるオフセット補正処理を前記補正部に指示し、前記補正部は、同一フレームに属する前記符号化済みの小画面画像の画素と前記符号化対象の小画面画像の画素とのオフセット情報を算出して前記符号化部に前記復元パラメータとして通知し、前記符号化部は、前記符号化対象の小画面画像をスキップモードで符号化し、前記復元パラメータをビットストリームに多重化する。

本発明によれば、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター（フレーム間）符号化、復号済みの小画面画像を参照してインター（フレーム間）復号を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化（圧縮）を実現することができるという効果を奏する。また、通信路の帯域や記録媒体の残量等に応じて柔軟にビットレートを制御することを可能とし、また、低ビットレートで符号化する場合にも、分割画像間の相関を利用して圧縮率を高められるとともに、高い画質を維持することができる。

この発明の実施の形態１に係る画像符号化装置の一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置のフレーム蓄積部Ａの一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置のフレーム蓄積部による動画像データのフレームを複数の小画面画像に分割する処理の一例を示す説明図である。 この発明の実施の形態１に係る画像符号化装置のフレーム蓄積部による分割した小画面画像を時系列に並び替える処理の一例を示す説明図である。 この発明の実施の形態１に係る画像符号化装置の圧縮部の一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置の伸長部の一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置の補正部の一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置のフレーム蓄積部Ｂの一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置の予測画像生成部の一例を示す構成図である。 この発明の実施の形態１に係る画像符号化装置における時系列に送出される小画面画像を符号化する場合のＧＯＰ構造と参照画像の一例を示す説明図である。 この発明の実施の形態１に係る画像復号装置の一例を示す構成図である。 この発明の実施の形態１に係る画像復号装置の伸長部の一例を示す構成図である。 この発明の実施の形態１に係る画像復号装置の補正部の一例を示す構成図である。 この発明の実施の形態１に係る画像復号装置のフレーム蓄積部の一例を示す構成図である。 この発明の実施の形態１に係る画像復号装置の予測画像生成部の一例を示す構成図である。 この発明の実施の形態１に係る画像復号装置における複数の小画面画像を動画像データのフレームに合成する処理の一例を示す説明図である。 この発明の実施の形態２に係る画像符号化装置の一例を示す構成図である。 この発明の実施の形態２に係る画像符号化装置の補正部の一例を示す構成図である。 この発明の実施の形態２に係る画像符号化装置の補正部によるＡＬＦによる近似画像を生成する処理の一例を示す説明図である。 この発明の実施の形態２に係る画像復号装置の一例を示す構成図である。 この発明の実施の形態２に係る画像復号装置の補正部の一例を示す構成図である。 この発明の実施の形態３に係る画像符号化装置の一例を示す構成図である。 この発明の実施の形態３に係る画像符号化装置の予測画像生成部の一例を示す構成図である。 この発明の実施の形態３に係る画像符号化装置の予測画像生成部による符号化パラメータの共有フラグ情報を適用した処理の一例を示す説明図である。 この発明の実施の形態３に係る画像復号装置の一例を示す構成図である。 この発明の実施の形態３に係る画像復号装置の予測画像生成部の一例を示す構成図である。 この発明の実施の形態４に係る画像符号化装置のフレーム蓄積部Ｂによる符号化対象画像の大きさに合わせた参照画像を生成する処理の一例を示す説明図である。

この発明は、テレビ映像や家庭用ビデオカメラ等で撮像した動画像データをインターネットや衛星回線などの通信路を利用して送受信する際に、通信路の帯域幅や記録媒体の容量に合わせて画像データを圧縮する画像符号化装置と圧縮された画像データを伸長する画像復号装置に関するものである。以下に、この発明の実施の形態について説明する。

実施の形態１．
この発明の実施の形態１に係る画像符号化装置および画像復号装置について説明する。

図１は、この発明の実施の形態１に係る画像符号化装置の一例を示す構成図である。図において、画像符号化装置は、第１のフレーム蓄積部（フレーム蓄積部Ａ）１１、圧縮部１２、伸長部１３、補正部１４、第２のフレーム蓄積部（フレーム蓄積部Ｂ）１５、予測画像生成部１６、符号化部１７、通信路状態監視部１８、符号化制御部３１から構成される。

フレーム蓄積部Ａ１１は、入力される動画像データのフレームを蓄積し、小ブロックに区切って小ブロック内の画素位置による分類に基づいて分割した複数の小画面画像に分割し、時系列に符号化対象の小画面画像ごとに出力する。圧縮部１２は、符号化対象の小画面画像と予測画像の差分画像を圧縮した圧縮データを生成する。伸長部１３は、圧縮データを伸長し、予測画像と加算した伸長データを生成する。補正部１４は、伸長データを補正して局所復号画像を生成する。フレーム蓄積部Ｂ１５は、局所復号画像を符号化済みの小画面画像として蓄積し、符号化対象の小画面画像に対する参照画像となる小画面画像を出力する。予測画像生成部１６は、符号化対象の小画面画像を参照したイントラ（フレーム内）予測または符号化済みの小画面画像を参照したインター（フレーム間）予測により予測画像を生成する。符号化部１７は、圧縮データを可変長符号化して符号化データを生成するとともに、符号化データに付加情報を多重化したビットストリームを生成する。通信路状態監視部１８は、符号化部１７が生成したビットストリームを通信路に送信し、通信路の状態に応じて目標ビットレートを決定する。符号化制御部３１は、通信路状態監視部１８が決定した目標ビットレートに基づいて、符号化パラメータを設定し、付加情報として符号化部１７に出力するとともに、フレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、補正部１４、フレーム蓄積部Ｂ１５、予測画像生成部１６、符号化部１７を制御する。

この画像符号化装置について、より詳細に説明する。

図２は、この発明の実施の形態１に係る画像符号化装置のフレーム蓄積部Ａの一例を示す構成図である。図において、フレーム蓄積部Ａ１１は、フレーム蓄積手段Ａとして、画像蓄積部Ａ１１１、画像入出力制御部Ａ１１２から構成される。画像蓄積部Ａ１１１は、入力される動画像データのフレームを蓄積する。画像入出力制御部Ａ１１２は、画像蓄積部Ａ１１１に蓄積された動画像データのフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割した複数の小画面画像を符号化対象の小画面画像ごとに画像蓄積部Ａ１１１から時系列に出力させる。ここで、フレーム蓄積部Ａ１１は、画像データのフレームをどのように分割するかについて、符号化制御部３１から分割情報で指示される。この分割情報は、小画面画像のサイズ、分割数、またフレームレートの情報を含む。

図３は、この発明の実施の形態１に係る画像符号化装置のフレーム蓄積部による動画像データのフレームを複数の小画面画像に分割する処理の一例を示す説明図である。図において、例えば動画像データのフレームを水平方向２画素×垂直方向２画素の小ブロックに区切り、各小ブロック内の画素位置による分類に基づいて４つの小画面画像に分割することを示している。各小ブロック中の画素を偶数行／偶数列に位置するＰ１（ブロック左上の「○」画素）、偶数行／奇数列に位置するＰ２（ブロック右上の「△」画素）、奇数行／偶数列に位置するＰ３（ブロック左下の「□」画素）、奇数行／奇数列に位置するＰ４（ブロック右下の「×」画素）に分類し、各ブロックの同一の分類となる画素をそれぞれ集めた４つの小画面画像として再構成することで動画像データのフレームを分割するものである。

ここで、動画像データのフレームを区切った小ブロックは、図３に示した水平方向２画素×垂直方向２画素のブロックに限らず、任意のブロックサイズが設定でき、そのブロックの構成画素数により小画面画像の総数（分割数）は異なってくる。例えば、水平方向Ｍ画素×垂直方向Ｎ画素（Ｍ、Ｎは任意の整数）とし、フレーム内の各画素の水平座標をＭ、また垂直座標をＮで除算したときの各剰余（０〜Ｍ−１、０〜Ｎ−１）の組合せにより画素位置を分類して、動画像データのフレームを（Ｍ×Ｎ）個の小画面画像に分割することができる。分割情報は、フレームごとに切り替えてもよい。

図３では、Ｍ＝Ｎ＝２の例として、水平座標と垂直座標のそれぞれを２で除算したときの剰余（０または１）による分類を用いた４つの小画面画像への分割に相当する。なお、分割情報は、例えば各フレームの水平分割数と垂直分割数を表すパラメータをＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やＰＰＳに追加する。同設定により、フレーム内の各画素は、水平分割数Ｈ＿Ｄｉｖ、垂直分割数Ｖ＿Ｄｉｖとして、以下のように分類し、次式の同一分類番号の画素を集めて小画面画像を構成する。演算子％は剰余を示し、Ａ％ＢでＡをＢで割った剰余を演算するものとする。ここでは、分類番号の順番で小画面を時系列に並ぶものとする。

座標（Ｘ、Ｙ）の画素の分類番号＝
（Ｙ％Ｖ＿Ｄｉｖ）×Ｈ＿Ｄｉｖ＋（Ｘ％Ｈ＿Ｄｉｖ）

なお、フレーム蓄積部Ａ１１の画像蓄積部Ａ１１１内部では、入力時点で分割方法があらかじめ分かっていれば、動画像データのフレームを複数の小画面画像に割り振った各領域に分割が済んだ状態で蓄積し、各小画面画像を時系列に出力しても、また入力時点では１つのフレームのまま蓄積し、出力時点で動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて各小画面画像の対象画素を時系列に出力していっても構わない。

図４は、この発明の実施の形態１に係る画像符号化装置のフレーム蓄積部による分割した小画面画像を時系列に並び替える処理の一例を示す説明図である。図において、例えば、動画像データのフレーム＃１、＃２、＃３を受け取り（上段）、小画面画像＃１Ｐ１〜＃１Ｐ４、＃２Ｐ１〜＃２Ｐ４、＃３Ｐ１〜＃３Ｐ４に分割し（中段）、分割した小画面画像を＃１Ｐ１、＃１Ｐ２、＃１Ｐ３、＃１Ｐ４、＃２Ｐ１、・・・、＃２Ｐ４、＃３Ｐ１、・・・、＃３Ｐ４の順に時系列に並び替えて送り出す（下段）という各手順の概要を示している。

ここで、フレーム蓄積部Ａ１１は、分割された小画面画像＃１Ｐ１〜＃１Ｐ４を＃１Ｐ１、＃１Ｐ２、＃１Ｐ３、＃１Ｐ４（左上、右上、左下、右下）の順に時系列に並び替えて送り出しているが、この順番に限らず、例えば＃１Ｐ１、＃１Ｐ４、＃１Ｐ２、＃１Ｐ３（左上、右下、右上、左下）のような順番で送出してもよく、固定の順番でなければ、画像復号装置との事前の情報共有やビットストリームへの付加情報による通知などで送出順序が判断できるようにすることで任意に設定することができる。送出順序の設定は、ビットストリーム全体を単位としてもよいし、フレームごとを単位としても構わない。

図５は、この発明の実施の形態１に係る画像符号化装置の圧縮部の一例を示す構成図である。図において、圧縮部１２は、圧縮手段として、減算部１２１、直交変換部１２２、量子化部１２３から構成される。減算部１２１は、符号化対象の小画面画像から予測画像を減算することで、差分画像（＝小画面画像−予測画像）を生成する。直交変換部１２２は、差分画像を直交変換処理する。例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等を行う。量子化部１２３は、差分画像の直交変換した変換係数を量子化することで、量子化後の変換係数を圧縮データとして出力する。

図６は、この発明の実施の形態１に係る画像符号化装置の伸長部の一例を示す構成図である。図において、伸長部１３は、伸長手段として、逆量子化部１３１、逆直交変換部１３２、加算部１３３から構成される。逆量子化部１３１は、図５の圧縮部１２の量子化部１２３における量子化に対応して、圧縮データを逆量子化する。逆直交変換部１３２は、図５の圧縮部１２の直交変換部１２２における直交変換に対応して、逆量子化した圧縮データを逆直交変換する。加算部１３３は、図５の圧縮部１２の減算部１２１における減算に対応して、逆直交変換したデータに予測画像を加算して伸長データを生成する。この伸長データは、補正前の局所復号画像である。

図７は、この発明の実施の形態１に係る画像符号化装置の補正部の一例を示す構成図である。図において、補正部１４は、補正手段として、デブロッキングフィルタ部１４１から構成される。デブロッキングフィルタ部１４１は、伸長データにデブロッキング処理を適用して局所復号画像を生成する。

図８は、この発明の実施の形態１に係る画像符号化装置のフレーム蓄積部Ｂの一例を示す構成図である。図において、フレーム蓄積部Ｂ１５は、フレーム蓄積手段Ｂとして、画像蓄積部Ｂ１５１、画像入出力制御部Ｂ１５２から構成される。画像蓄積部Ｂ１５１は、符号化済みの小画面画像の復号画像（局所復号画像）を蓄積する。画像入出力制御部Ｂ１５２は、符号化済みの小画面画像の復号画像を蓄積するとき、動画像データのフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割された小画面画像が元の動画像データのフレームを構成するように合成して画像蓄積部Ｂ１５１に蓄積させ、画像蓄積部Ｂ１５１に蓄積された符号化済みの小画面画像の復号画像のフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割した小画面画像をインター予測処理（動き補償予測処理）の参照画像として出力する。

なお、フレーム蓄積部Ｂ１５の画像蓄積部Ｂ１５１内部では、入力時点で符号化済みの小画面画像の復号画像を複数の小画面画像に割り振った各領域に分割が済んだ状態のまま蓄積し、参照する各小画面画像を出力しても、また入力時点で複数の符号化済みの小画面画像の復号画像を一旦１つのフレームを構成するように戻し、出力時に動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて、参照する各小画面画像の対象画素を再度出力していっても構わない。以下、局所復号画像としてフレーム蓄積部Ｂ１５に蓄積された符号化済みの小画面画像の復号画像を単に符号化済みの小画面画像と記す。

図９は、この発明の実施の形態１に係る画像符号化装置の予測画像生成部の一例を示す構成図である。図において、予測画像生成部１６は、予測画像生成手段として、イントラ予測部１６１、インター予測部１６２、予測モード選択部１６３から構成される。イントラ予測部１６１は、イントラ予測処理による少なくとも１つの予測画像を生成する。インター予測部１６２は、フレーム蓄積部Ｂ１５に蓄積された符号化済みの小画面画像（局所復号画像）を参照画像として動き探索を実施して動きベクトルを算出するインター予測処理（動き補償予測処理）による少なくとも１つの予測画像を生成する。インター予測処理とイントラ予測処理は、それぞれ少なくとも１つの予測処理を含み、その結果として複数の予測画像が生成される。予測モード選択部１６３は、例えば最も符号化効率が高い予測モードを選択して、その予測画像を圧縮部１２および伸長部１３に出力する。この予測画像生成部１６から出力された予測画像を生成した予測処理（インター予測処理またはイントラ予測処理）により、画像符号化装置がイントラ符号化およびインター符号化のいずれで符号化するかが決定することになる。

図１０は、この発明の実施の形態１に係る画像符号化装置における時系列に送出される小画面画像を符号化する場合のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造と参照画像の一例を示す説明図である。図において、例えばＨ．２６４やＨＥＶＣを用いて小画面画像を符号化する場合では、過去に符号化したフレーム（以下、符号化済みのフレームという）の小画面画像を動き補償予測の参照画像に用いて符号化することができる。さらに、この発明の実施の形態１に係る画像符号化装置においては、同一フレーム内を含めた符号化済みの小画面画像も動き補償予測の参照画像として用いて符号化することができる。この図１０では、小画面画像＃１Ｐ２、Ｐ３、Ｐ４の符号化に同一フレーム内の符号化済みの小画面画像＃１Ｐ１を参照画像として用いる例を示している。また、小画面画像＃２Ｐ１の符号化に符号化済みのフレームの小画面画像＃１Ｐ１〜Ｐ４のいずれかを参照画像として用い、小画面画像＃２Ｐ２、Ｐ３、Ｐ４の符号化に符号化済みのフレームの小画面画像＃１Ｐ１〜Ｐ４のいずれかまたは同一フレーム内の符号化済みの小画面画像＃２Ｐ１を参照画像として用いる例を示している。なお、ここでは符号化対象のフレーム＃２の小画面画像から参照可能な符号化済みの小画面画像の候補として、同一フレーム＃２の符号化済みの小画面画像以外に、符号化済みのフレーム＃１の小画面画像を参照する例を示したが、フレーム＃１に限定するものではなく、フレーム＃１より前の符号化済みのフレームがあるときには、その小画面画像を参照しても構わない。

また、図１０に示されるＧＯＰを構成する小画面画像の符号化では、小画面画像＃１Ｐ１をＩピクチャとしてイントラ（フレーム内）予測し、残る小画面画像＃１Ｐ２、Ｐ３、Ｐ４をＢピクチャとして小画面画像＃１Ｐ１を参照してインター（フレーム間）予測する。なお、小画面画像＃１Ｐ２、Ｐ３、Ｐ４は、Ｐピクチャとして小画面画像＃１Ｐ１を参照してインター（フレーム間）予測してもよい。また、Ｉピクチャとしてイントラ（フレーム内）予測する小画面画像は、最初に送出される小画面画像＃１Ｐ１のみに限らず、同一フレーム内の小画面画像＃１Ｐ２、Ｐ３、Ｐ４の一部またはすべてを含めてもよい。このように小画面画像の符号化を適用したフレーム＃１は、フレーム単体で復号が可能なものとなるため、例えばデジタル放送の運用規格のように、０．５〜１秒に１回イントラフレームを挿入してリフレッシュポイントを確保したい場合に、フレーム全体を１つのＩピクチャとして符号化するものと等価な効果を奏することができる。また、フレーム全体をＩピクチャとして符号化するよりも高い圧縮率が得られる。

符号化部１７は、圧縮データを可変長符号化して符号化データを生成するとともに、符号化データに付加情報を多重化したビットストリームを生成する。この符号化部１７は、符号化手段として構成される。符号化方式は、例えばハフマン符号化や算術符号化等がある。なお、付加情報として、従来の画像符号化装置にもある付加情報は図示していないが、予測モード、動きベクトル情報、直交変換情報、量子化情報等を含む符号化パラメータがビットストリームに多重化される。

ここで、符号化部１７は、予測画像生成部１６が符号化済みのフレームに属する小画面画像または符号化対象のフレームに属する符号化済みの小画面画像を参照してインター（フレーム間）予測により生成した予測画像に基づく圧縮データを符号化するとき、インター（フレーム間）符号化となり、また符号化対象の小画面画像の復号画像を参照してイントラ（フレーム内）予測により生成した予測画像に基づく圧縮データを符号化するとき、イントラ（フレーム内）符号化となる。同一フレームに属する少なくとも１つの符号化対象の小画面画像を単独でイントラ（フレーム内）符号化し、残る符号化対象の小画面画像を符号化済みの小画面画像を参照してインター（フレーム間）符号化してもよい。このとき、符号化部１７は、同一フレームに属する符号化済みの小画面画像に参照を限定してインター（フレーム間）符号化するようにしてもよい。

なお、符号化部１７では、インター（フレーム間）符号化する場合は、同一フレームに属する符号化済みの小画面画像または符号化済みのフレームに属する小画面画像を参照して生成した予測画像に基づいて、符号化対象の小画面画像をＢピクチャまたはＰピクチャとして符号化することができる。フレームをイントラ（フレーム内）符号化する場合は、各小画面画像をＩピクチャとして符号化してもよいし、またフレーム内でインター（フレーム間）符号化する小画面画像に対する参照画像を同一フレーム内の符号化済みの小画面画像に限定してＢピクチャまたはＰピクチャとして符号化してもよい。例えば、図１０のフレーム＃１のように、最初に符号化する小画面画像＃１Ｐ１は、Ｉピクチャとしてイントラ（フレーム内）符号化し、残る小画面画像＃１Ｐ２〜Ｐ４は、小画面画像＃１Ｐ１を参照画像にしたＢピクチャとして符号化することで、フレーム単独で復号が可能になるＩピクチャと同等の符号化が実現できる。このとき、少なくとも最初に符号化する小画面画像をＩピクチャとしてイントラ（フレーム内）符号化すればよく、Ｉピクチャとする小画面画像は１つに限らなくてよい。なお、符号化対象のフレームに対して、一部の小画面画像がＩピクチャとして符号化されていても、他の小画面画像が符号化済みのフレームに属する小画面画像を参照してインター（フレーム間）符号化しているときには、符号化対象のフレームはインター（フレーム間）符号化を適用したものとして扱う。

通信路状態監視部１８は、符号化部１７が生成したビットストリームを通信路に送信し、通信路の状態に応じて目標ビットレートを決定する。この通信路状態監視部１８は、通信路状態監視手段として構成される。通信路状態監視部１８は、符号化部１７からビットストリームを受け取り、通信路に送出する蓄積手段（図示せず）であるバッファと当該バッファの蓄積状態の監視手段（図示せず）を含み、通信路の帯域や輻輳状態を監視することで、バッファから通信路に対するビットストリームのデータ出力の実効速度とバッファに蓄積されたビットストリームのデータ量から目標ビットレートを算出する。算出結果は、符号化制御部３１へ出力する。目標ビットレートの算出には、例えば次に示す目標ビットレートの算出式を用いればよい。なお、式中のバッファ蓄積許容時間は、画像符号化装置として許容される遅延時間であり、画像符号化装置の使用条件などに応じて設定する。

目標ビットレート＝バッファからのデータ出力速度（または伝送路帯域幅）
−（バッファ蓄積量／バッファ蓄積許容時間） ［ｂｉｔ／ｓｅｃｏｎｄ］

符号化制御部３１は、通信路状態監視部１８が決定した目標ビットレートに基づいて、符号化パラメータを設定し、フレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、補正部１４、フレーム蓄積部Ｂ１５、予測画像生成部１６、符号化部１７を制御するとともに、ビットストリームへの付加情報を符号化部１７に通知する。この符号化制御部３１は、符号化制御手段として構成される。

付加情報には、例えば分割情報としてブロックのサイズおよびフレームの分割数の少なくとも一方を含む。フレーム蓄積部Ａ１１およびフレーム蓄積部Ｂ１５には、分割情報を指定して、動画像データのフレームを複数の小画面画像に分割させて小画面画像を出力させる。また、圧縮部１２、伸長部１３には、直交変換、逆直交変換のための変換係数、量子化、逆量子化のための量子化ステップサイズを指定して制御する（図示せず）。また、付加情報には、符号化制御部３１以外から符号化部１７に通知されるものとして、予測画像生成部１６から予測画像の生成に適用した予測モードの情報などもある（図示せず）。

なお、この発明の実施の形態１に係る画像符号化装置の構成図として説明した図１では、画像符号化装置の構成要素であるフレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、補正部１４、フレーム蓄積部Ｂ１５、予測画像生成部１６、符号化部１７、通信路状態監視部１８、符号化制御部３１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。

画像符号化装置がコンピュータで構成される場合、フレーム蓄積部Ａ１１の画像蓄積部Ａ１１１、フレーム蓄積部Ｂ１５の画像蓄積部Ｂ１５１をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、フレーム蓄積部Ａ１１の画像入出力制御部Ａ１１２、圧縮部１２、伸長部１３、補正部１４、フレーム蓄積部Ｂ１５の画像入出力制御部Ｂ１５２、予測画像生成部１６、符号化部１７、通信路状態監視部１８、符号化制御部３１の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

図１１は、この発明の実施の形態１に係る画像復号装置の一例を示す構成図である。図において、画像復号装置は、復号部５１、伸長部５２、補正部５３、フレーム蓄積部５４、予測画像生成部５５、復号制御部７１から構成される。

復号部５１は、画像符号化装置から通信路を介して受信したビットストリームから付加情報を分離した符号化データを可変長復号し、圧縮データを生成する。伸長部５２は、圧縮データを伸長し、予測画像と加算した伸長データを生成する。補正部５３は、伸長データを補正して局所復号画像を生成する。フレーム蓄積部５４は、局所復号画像を復号済みの小画面画像として蓄積し、復号対象の小画面画像に対する参照画像となる小画面画像および動画像データを出力する。予測画像生成部５５は、復号対象の小画面画像を参照したイントラ（フレーム内）予測または復号済みの小画面画像を参照したインター（フレーム間）予測により予測画像を生成する。復号制御部７１は、復号部５１からビットストリームから分離した付加情報を受け取って、復号部５１、伸長部５２、補正部５３、フレーム蓄積部５４、予測画像生成部５５を制御する。

この画像復号装置について、より詳細に説明する。

復号部５１は、画像符号化装置から通信路を介して受信したビットストリームから付加情報を分離した符号化データを可変長復号し、圧縮データを生成する。ビットストリームから分離した付加情報は、復号制御部７１に出力する。この復号部５１は、復号手段として構成される。復号方式は、この発明の実施の形態１に係る画像符号化装置における図１の符号化部１７において適用した符号化方式（例えばハフマン符号化や算術符号化等）に対応した復号方式を適用する。

復号部５１は、画像符号化装置１０の符号化部１７が生成したビットストリームを入力として、復号制御部７１から付加情報に基づいて指示された予測モードや動きベクトル等の符号化パラメータから復号済みのフレームに属する小画面画像または復号対象のフレームに属する復号済みの小画面画像を参照して予測画像生成部５５がインター（フレーム間）予測により生成した予測画像に基づいて符号化データを復号するとき、インター（フレーム間）復号となり、また復号対象の小画面画像の復号画像を参照して予測画像生成部５５がイントラ（フレーム内）予測により生成した予測画像に基づいて符号化データを復号するとき、イントラ（フレーム内）復号となる。ここで、復号対象の小画面画像をイントラ（フレーム内）復号するかまたはインター（フレーム間）復号するかは、画像符号化装置１０において小画面画像を符号化する際に、イントラ（フレーム内）符号化とインター（フレーム間）符号化のどちらを適用してビットストリームを生成したかによる。

なお、復号部５１では、イントラ（フレーム内）復号する場合は、復号対象の小画面画像をＩピクチャとして復号し、インター（フレーム間）復号する場合は、同一フレームに属する復号済みのフレームに属する小画面画像を参照して復号対象の小画面画像をＢピクチャまたはＰピクチャとして復号することができる。

図１２は、この発明の実施の形態１に係る画像復号装置の伸長部の一例を示す構成図である。図において、伸長部５２は、伸長手段として、逆量子化部５２１、逆直交変換部５２２、加算部５２３から構成され、この発明の実施の形態１に係る画像符号化装置における図６の伸長部１３と同様の構成を持つ。逆量子化部５２１は、この発明の実施の形態１に係る画像符号化装置における図５の量子化部１２３における量子化に対応した図６の逆量子化部１３１と同様に、圧縮データを逆量子化する。逆直交変換部５２２は、この発明の実施の形態１に係る画像符号化装置における図５の直交変換部１２２における直交変換に対応した図６の逆直交変換部１３２と同様に、逆量子化した圧縮データを逆直交変換する。加算部５２３は、この発明の実施の形態１に係る画像符号化装置における図５の減算部１２１における減算に対応した図６の加算部１３３と同様に、逆直交変換したデータに予測画像を加算して伸長データを生成する。この伸長データは、補正前の局所復号画像である。

図１３は、この発明の実施の形態１に係る画像復号装置の補正部の一例を示す構成図である。図において、補正部５３は、補正手段として、デブロッキングフィルタ部５３１から構成され、この発明の実施の形態１に係る画像符号化装置における図７の補正部１４と同様の構成を持つ。デブロッキングフィルタ部５３１は、伸長データにデブロッキング処理を適用して局所復号画像を生成する。

図１４は、この発明の実施の形態１に係る画像復号装置のフレーム蓄積部の一例を示す構成図である。図において、フレーム蓄積部５４は、フレーム蓄積手段として、画像蓄積部５４１、画像入出力制御部５４２から構成される。画像蓄積部５４１は、復号済みの小画面画像（局所復号画像）を蓄積する。画像入出力制御部５４２は、復号済みの小画面画像を蓄積するとき、動画像データのフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割された小画面画像が元の動画像データのフレームを構成するように合成して画像蓄積部５４１に蓄積させ、画像蓄積部５４１に蓄積された復号済みの動画像データのフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割した小画面画像をインター予測処理（動き補償予測処理）の参照画像として出力する。また、画像入出力制御部５４２は、画像蓄積部５４１に蓄積された復号された動画像データを出力させる。

なお、フレーム蓄積部５４の画像蓄積部５４１内部では、画像符号化装置のフレーム蓄積部Ｂ１５の画像蓄積部Ｂ１５１と同様に、入力時点で復号済みの小画面画像（局所復号画像）を複数の小画面画像に割り振った各領域に分割が済んだ状態のまま蓄積し、参照する各小画面画像を出力しても、また入力時点で複数の復号済みの小画面画像を一旦１つのフレームを構成するように戻し、出力時に動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて、参照する各小画面画像の対象画素を再度出力していっても構わない。一方、再生する動画像データは、小画面画像単位ではなく、合成したフレーム単位で出力するため、入力時点、出力時点のどちらで複数の小画面画像を１つのフレームに合成するか、予測のための参照処理、再生のための合成処理の負荷状況をみて設計すればよい。メモリに余裕がある場合には、フレーム単位と複数の小画面画像単位で並列に蓄積して出力できるようにしてもよい。

図１５は、この発明の実施の形態１に係る画像復号装置の予測画像生成部の一例を示す構成図である。図において、予測画像生成部５５は、予測画像生成手段として、イントラ予測部５５１、インター予測部５５２、予測モード選択部５５３から構成される。イントラ予測部５５１は、イントラ予測処理による少なくとも１つの予測画像を生成する。インター予測部５５２は、フレーム蓄積部５４に蓄積された復号済みの小画面画像（局所復号画像）を参照画像として動き探索を実施して動きベクトルを算出するインター予測処理（動き補償予測処理）による少なくとも１つの予測画像を生成する。予測モード選択部５５３は、ビットストリームで通知された予測モードからイントラ予測部５５１またはインター予測部５５２を選択して予測画像を生成させ、その予測画像を伸長部５２に出力する。

復号制御部７１は、復号部５１からビットストリームから分離した付加情報を受け取って、符号化パラメータに対応する復号パラメータを設定し、復号部５１、伸長部５２、補正部５３、フレーム蓄積部５４、予測画像生成部５５を制御する。

付加情報には、例えば分割情報、逆直交変換のための変換係数、逆量子化のための量子化ステップサイズなどの情報を含む。フレーム蓄積部５４には、分割情報を指定して、復号された複数の小画面画像を合成して動画像データのフレームを再構成させ、複数の小画面画像に分割させて小画面画像を出力させる。また、伸長部５２には、変換係数、量子化ステップサイズを指定して制御する（図示せず）。また、付加情報には、予測画像生成部５５に通知する予測画像の生成に適用する予測モードの情報などもある（図示せず）。

なお、この発明の実施の形態１に係る画像復号装置の構成図として説明した図１１では、画像復号装置の構成要素である復号部５１、伸長部５２、補正部５３、フレーム蓄積部５４、予測画像生成部５５、復号制御部７１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。

画像復号装置がコンピュータで構成される場合、フレーム蓄積部５４の画像蓄積部５４１をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、復号部５１、伸長部５２、補正部５３、フレーム蓄積部５４の画像入出力制御部５４２、予測画像生成部５５、復号制御部７１の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

以上のように、この発明の実施の形態１に係る画像符号化装置および画像復号装置によれば、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター（フレーム間）予測、復号済みの小画面画像を参照してインター（フレーム間）予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化（圧縮）を実現することができるという効果を奏する。

また、この発明の実施の形態１に係る画像符号化装置および画像復号装置によれば、動画像データのフレームに対して、同一フレームに属する少なくとも１つの符号化対象の小画面画像をイントラ（フレーム内）予測し、残る符号化対象の小画面画像を同一フレームに属する符号化済みの小画面画像を参照してインター（フレーム間）予測するようにしたので、フレーム単体で復号が可能なものとなるため、フレーム全体を１つのＩピクチャとして符号化するものと等価に扱うことができ、動画像データに復号エラーが発生してもリフレッシュポイントを確保することができるという効果を奏する。また、フレーム全体をＩピクチャとして符号化するよりも高い圧縮率を得ることができる。

実施の形態２．
先に説明したこの発明の実施の形態１に係る画像符号化装置および画像復号装置は、動画像データのフレームを複数の小画面画像に分割して、時系列に小画面画像を符号化し、該符号化の際に、同一フレームに属する符号化済みの小画面画像を参照してインター（フレーム間）符号化を行い、同一フレームに属する小画面画像間の相関を利用した効率的な符号化（圧縮）を実現するものであった。

次に、この発明の実施の形態２に係る画像符号化装置および画像復号装置では、さらに、符号化対象の小画面画像を符号化する代わりに、同一フレームに属する符号化済みの小画面画像を参照して、参照する小画面画像と符号化対象の小画面画像の差分であるオフセット情報を用いて、参照する小画面画像に対してオフセット補正処理を行い、またフレーム分割時の小画面画像の画素の位置関係に基づいて符号化済みの小画面画像から同一フレームに属する他の小画面画像を生成するフィルタリング係数を用いて、参照する小画面画像に対してフィルタリング処理を行うものを説明する。

図１７は、この発明の実施の形態２に係る画像符号化装置の一例を示す構成図である。図において、画像符号化装置は、フレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、補正部１４、フレーム蓄積部Ｂ１５、予測画像生成部１６、符号化部１７、通信路状態監視部１８、符号化制御部３１から構成される。

補正部１４は、同一フレーム内で参照する符号化済みの小画面画像と符号化対象の小画面画像との差分であるオフセット情報と参照する符号化済みの小画面画像に対するフィルタリング情報とを含む復元パラメータとを符号化部１７に出力するとともに、復元パラメータにより参照する符号化済みの小画面画像を補正した局所復号画像を生成する。符号化部１７は、圧縮データを符号化して符号化データを生成するとともに、復元パラメータのオフセット情報とフィルタリング情報とを含めた付加情報を符号化データに多重化したビットストリームを出力する。また、符号化部１７は、オフセット情報とフィルタリング情報の少なくとも一方の復元パラメータを使用して符号化するとき、符号化対象の小画面画像を符号化せず、スキップモードを示す情報を符号化する。符号化制御部３１は、通信路状態監視部１８が決定した目標ビットレートに基づいて、オフセット情報とフィルタリング情報を含む復元パラメータを設定し、フレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、補正部１４、フレーム蓄積部Ｂ１５、予測画像生成部１６、符号化部１７を制御する。また、符号化制御部３１は、補正部１４にオフセット情報とフィルタリング情報による補正を適用するか否かを示すフラグ情報を処理単位ごとに指示するとともに、符号化部１７にスキップモードによる符号化を指示する。他のフレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、フレーム蓄積部Ｂ１５、予測画像生成部１６、通信路状態監視部１８は、図１で説明したこの発明の実施の形態１に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。

なお、符号化部１７は、付加情報に含める復元パラメータのオフセット情報をそのまま付加してもよいし、符号化して付加してもよい。また、補正部１４は、同一フレーム内で参照する符号化済みの小画面画像が自由に選択できるとき、その符号化済みの小画面画像を選択するための情報も復元パラメータに含めてもよい。さらに、復元パラメータのフィルタリング情報は、符号化対象の小画面画像の符号化ごとに参照する符号化済みの小画面画像に対する位相情報のみ付加してもよい。位相情報に対応したフィルタリング処理のためのフィルタ係数は、例えば適用に先立って、例えば符号化対象の小画面画像の符号化開始時または開始した後でも最初に適用する前に画像復号装置へ送付してもよいし、また画像符号化装置と画像復号装置で共通のフィルタ係数の生成手段を補正部１４／補正部５３または符号化制御部３１／復号制御部７１のいずれかに備えることで共通のフィルタ係数の生成に必要な最小限の情報のみ送付するようにしてもよい。また、符号化制御部３１から補正部１４に指示するフラグ情報は、補正部１４から復元パラメータに含めても、符号化制御部３１から符号化部１７にフラグ情報を付加情報に直接含めるように指示しても構わない。フラグ情報は、符号化対象の小画面画像の符号化におけるオフセット補正処理とフィルタリング補正処理の適用有無を示す情報、また符号化に際して適用するときには例えば符号化ブロックなどの符号化単位ごとの適用有無を示す情報として画像符号化装置から画像復号装置へビットストリームに付加して通知し、オフセット補正処理とフィルタリング補正処理で個々に設定してもよい。また、符号化制御部３１から補正処理の適用が指示されても、例えば誤差自乗和等の評価値で適用しない方が画質や符号長の観点から好ましいと判断され、ビットレートも許容できるときには、補正部１４によりフラグ情報を修正し、符号化部１７へ直接または符号化制御部３１を介して通知してもよい。

この画像符号化装置について、より詳細に説明する。

図１８は、この発明の実施の形態２に係る画像符号化装置の補正部の一例を示す構成図である。図において、補正部１４は、補正手段として、デブロッキングフィルタ部１４１、オフセット補正処理部（ＳＡＯ処理部）１４２、フィルタリング補正処理部（ＡＬＦ処理部）１４３、パラメータ設定部１４４から構成される。

デブロッキングフィルタ部１４１は、この発明の実施の形態１に係る画像符号化装置における図７の補正部１４のデブロッキングフィルタ部１４１と同様に、伸長データにデブロッキング処理を適用する。

ＳＡＯ処理部１４２は、符号化制御部３１からオフセット情報による補正を適用することを通知されたとき、同一フレームに属する符号化済みの小画面画像とフレーム蓄積部Ａ１１から得た符号化対象の小画面画像との差分であるオフセット情報を符号化部１７に出力し、同一フレームに属する符号化済みの小画面画像をオフセット補正処理した小画面画像を生成する。また、符号化制御部３１からオフセット情報による補正を適用することを通知されていないときには、デブロッキングフィルタ部１４１により伸長データにデブロッキング処理を適用した小画面画像をそのまま出力する。

ＡＬＦ処理部１４３は、符号化制御部３１からフィルタリング情報による補正を適用することを通知されたとき、ＳＡＯ処理部１４２から出力された小画面画像にフィルタリング処理した局部復号画像を生成する。また、符号化制御部３１からフィルタリング情報による補正を適用することを通知されていないときには、ＳＡＯ処理部１４２から出力された小画面画像を局部復号画像としてそのまま出力する。

このように、ＳＡＯ処理部１４２から出力される小画面画像は、（１）符号化済みの小画面画像を参照画像としてオフセット補正処理を実行した小画面画像の場合と、（２）伸長データにデブロッキング処理を適用した小画面画像のまま、オフセット補正処理を実行しない小画面画像の場合がある。

また、ＡＬＦ処理部１４３から出力される小画面画像は、（１）符号化済みの小画面画像を参照画像としてオフセット補正処理とフィルタリング補正処理の両方を実行した小画面画像の場合と、（２）符号化済みの復号画像を参照画像としてオフセット補正処理のみ実行し、フィルタリング補正処理を実行していない小画面画像の場合と、（３）符号化済みの小画面画像を参照画像としてフィルタリング処理のみ実行した小画面画像の場合と、（４）伸長データにデブロッキング処理を適用した小画面画像のまま、オフセット補正処理とフィルタリング補正処理の両方とも実行しない小画面画像の場合がある。

これらの小画面画像の出力は、オフセット情報とフィルタリング情報による補正処理を適用するか否かを示すフラグ情報の組合せで区別される。オフセット情報とフィルタリング情報による補正処理のいずれかを行うときには、符号化済みの小画面画像を参照画像とすることで、符号化対象の小画面画像の符号化は、スキップモードで扱われて間引かれる。スキップモードで符号化されているか否かは、オフセット情報とフィルタリング情報による補正処理を適用するフラグ情報の少なくともいずれかの適用設定により確認でき、またスキップモードの適用有無を示すフラグ情報を別途設けても構わない。

符号化制御部３１では、目標ビットレートに応じて、フレームごとにスキップモードを適用したオフセット補正処理とフィルタリング補正処理による間引きする分割小画面の数を決定してもよい。基本的には、目標ビットレートが低くなるほど、間引きする分割小画面の数を多くする。このとき、全フレームを同じ方針で間引くのではなく、Ｉピクチャを含むフレームなど後続フレームで参照されるフレームでは間引き数を少なくするなど、フレームごとに重み付けをすることで、間引きによる画質劣化を抑えることができる。また、画像の絵柄が複雑な場合（画像信号の周波数が高い場合）は、フィルタリング補正処理による画像復元効果が低下しやすいため、間引きを少なくするような適応処理を行ってもよい。また、参照画像と間引き対象画像との画素位置の差に基づいて、フィルタリング補正処理のフィルタリング係数、また参照画像と間引き対象画像との画素レベルの差に基づいてオフセット補正処理のオフセット情報の符号化時の圧縮率を決定してもよい。

また、全フレームで間引く小画面画像の位置（位相）を共通化するのではなく、フレームごとに間引く位置を切り替えてもよい。例えば、図３に示したＰ１〜Ｐ４の小画面のうち、同一フレームで３つの小画面画像を間引くのであれば、間引く小画面画像の符号化順を後方に入れ替えるとともに、第１フレームではＰ２、Ｐ３、Ｐ４、第２フレームではＰ１、Ｐ３、Ｐ４、第３フレームではＰ１、Ｐ２、Ｐ４を間引くようにする。このようにすることで、特定の画素位置の情報のみ欠落するといったことが抑えられ、画像復号装置側で超解像処理を実施する場合に、画像の復元効果を高めることができる。

図１９は、この発明の実施の形態２に係る画像符号化装置の補正部によるＡＬＦによる近似画像を生成する処理の一例を示す説明図である。図において、動画像のフレーム＃１を分割した小画面画像＃１Ｐ１〜＃１Ｐ４において、小画面画像＃１Ｐ１は間引かず、小画面画像＃１Ｐ２〜Ｐ４を間引いて符号化する例を示している。小画面画像＃１Ｐ２は、小画面画像＃１Ｐ１を参照画像としてスキップモードで符号化し、さらにＡＬＦパラメータとして、画素位置を０．５画素右にシフトするようなフィルタ係数を設定する。画像復号装置で小画面画像＃１Ｐ２の圧縮画像を復号すると、ＡＬＦ処理前の復号画像は小画面画像＃１Ｐ１と等価なものとなり、当該画像に対して０．５画素右に位相シフトさせるＡＬＦ処理後の復号画像は、本来の小画面画像＃１Ｐ２の画素位置に相当する画素が生成される。当該画素は小画面画像＃１Ｐ２の本来の画素とは等価ではないが、近似のものとなる。同様に、小画面画像＃１Ｐ３では、画素位置を０．５画素下にシフトするようなフィルタ係数を使用し、小画面画像＃１Ｐ４では画素位置を０．５画素ずつ右下にシフトするようなフィルタ係数を使用することで、画像復号装置では小画面画像＃１Ｐ３、＃１Ｐ４の近似画像が生成される。

図２０は、この発明の実施の形態２に係る画像復号装置の一例を示す構成図である。図において、画像復号装置は、復号部５１、伸長部５２、補正部５３、フレーム蓄積部５４、予測画像生成部５５、復号制御部７１から構成される。

復号部５１は、画像符号化装置から通信路を介して受信したビットストリームを付加情報と符号化データとに分離し、付加情報に含まれる復元パラメータを補正部５３に出力し、他の付加情報を復号制御部７１に出力するとともに、符号化データを復号し、圧縮データを生成する。補正部５３は、復号部５１から受け取った復元パラメータのオフセット情報と復号制御部７１から受け取った復元パラメータに基づいて伸長データを補正した局所復号画像を生成する。復号制御部７１は、復号部５１からビットストリームから分離して受け取った付加情報を受け取って、付加情報に含まれた復元パラメータを補正部５３に送信する。他の伸長部５２、フレーム蓄積部５４、予測画像生成部５５は、図１１で説明したこの発明の実施の形態１に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。

なお、復号部５１は、付加情報から分離した復元パラメータに含まれるオフセット情報が符号化されたものであれば復号して補正部に出力する。また、補正部５３は、同一フレーム内で参照する復号済みの小画面画像が自由に選択できるとき、その復号済みの小画面画像を選択するための情報を復元パラメータから得る。さらに、復元パラメータのフィルタリング情報は、復号対象の小画面画像の復号ごとに参照する復号済みの小画面画像に対する位相情報が付加されていれば得る。位相情報に対応したフィルタリング処理のためのフィルタ係数は、例えば適用に先立って画像符号化装置から受け取ってもよいし、また画像符号化装置と画像復号装置で共通のフィルタ係数の生成手段を補正部１４および補正部５３、または、符号化制御部３１および復号制御部７１に備えることで共通のフィルタ係数の生成に必要な最小限の情報のみ受け取るようにしてもよい。また、規定のフィルタ係数のセットを画像符号化装置と画像復号装置で共通知識として有していてもよい。また、補正部５３に指示されるフラグ情報は、補正部１４が受け取った復元パラメータから得ても、復号部５１から復号制御部７１を介して得てもよい。

この画像復号装置について、より詳細に説明する。

図２１は、この発明の実施の形態２に係る画像復号装置の補正部の一例を示す構成図である。図において、補正部５３は、補正手段として、デブロッキングフィルタ部５３１、オフセット補正処理部（ＳＡＯ処理部）５３２、フィルタリング補正処理部（ＡＬＦ処理部）５３３、パラメータ設定部５３４から構成される。

デブロッキングフィルタ部５３１は、この発明の実施の形態１に係る画像復号装置における図１３の補正部５３のデブロッキングフィルタ部５３１と同様に、伸長データにデブロッキング処理を適用する。

ＳＡＯ処理部５３２は、復号制御部７１からオフセット情報による補正を適用することを通知されたとき、同一フレームに属する復号済みの小画面画像と復号対象の小画面画像との差分であるオフセット情報を復号部５１から得て、同一フレームに属する復号済みの小画面画像をオフセット補正処理した小画面画像を生成する。また、復号制御部７１からオフセット情報による補正を適用することを通知されていないときには、デブロッキングフィルタ部５３１により伸長データにデブロッキング処理を適用した小画面画像をそのまま出力する。

ＡＬＦ処理部５３３は、復号制御部７１からフィルタリング情報による補正を適用することを通知されたとき、ＳＡＯ処理部５３２が出力した小画面画像にフィルタリング処理した局部復号画像を生成する。また、復号制御部７１からフィルタリング情報による補正を適用することを通知されていないときには、ＳＡＯ処理部５３２から出力された小画面画像を局部復号画像としてそのまま出力する。

この発明の実施の形態２に係る画像符号化装置の補正部１４におけるＳＡＯ処理部１４２、ＡＬＦ処理部１４３では、オフセット情報とフィルタリング情報の少なくとも一方を使用して符号化するとき、符号化対象の小画面画像を符号化せず、例えばスキップモードを示す情報と、同一フレームに属する符号化済みの小画面画像から参照する参照画像を示す情報と、その参照画像と符号化対象の小画面画像との差分であるオフセット補正処理のオフセット情報、フィルタリング補正処理のフィルタ係数や位相情報といった通知された補正処理の適用に必要な情報がビットストリームに多重化される。なお、同一フレームに属する符号化済みの小画面画像から参照するのではなく、スキップモードを適用しないで、デブロッキングフィルタ部５３１がデブロッキングフィルタ処理した小画面画像を参照画像として、オフセット補正処理やフィルタリング処理を適用できるようにしてもよい。画像復号装置の補正部５３におけるＳＡＯ処理部５３２、ＡＬＦ処理部５３３では、画像符号化装置の補正部１４に対応して、ビットストリームに多重化された情報を得て、参照画像にオフセット補正処理とフィルタリング補正処理の少なくとも一方を使用して復号対象の小画面画像を生成する。なお、同一フレームに属する符号化済みの小画面画像から参照するのではなく、スキップモードを適用しないで、デブロッキングフィルタ部５３１がデブロッキングフィルタ処理した小画面画像を参照画像として、オフセット補正処理やフィルタリング処理を適用できるようにしてもよい。

なお、画像符号化装置の符号化制御部３１から補正部１４に指示するフラグ情報の挿入は、符号化ブロック等の各種処理単位、小画面画像等のピクチャ（フレーム）単位のいずれでも構わない。フラグ情報は、適用することを示す値（例えば１）、適用しないことを示す値（例えば０）とし、ＳＡＯ処理、ＡＬＦ処理の適用有無を示すフラグ情報を例えば符号化対象画像のフレームごと、あるいは同一フレーム内の小画面画像ごと、小画面画像内のブロックごとに通知する。なお、上位（例えば符号化対象のフレーム）で適用するとフラグ情報を示した場合は、それより下位（例えば小画面画像）の各単位ではフラグ情報を示すものとする。また、上位で適用しないとフラグ情報を示した場合は、それより下位の各単位ではフラグ情報を示す必要はない。なお、ＳＡＯ処理、ＡＬＦ処理の機能の適用が決まっているときは、上位でフラグ情報によって適用を明示しなくても、最下位の処理単位（例えば小画面画像のブロック）ごとに適用有無を示すフラグ情報を示すだけでもよい。同様に、画像復号装置の補正部５３に指示されるフラグ情報の抽出は、画像符号化装置に対応して、復号ブロック等の各種処理単位、小画面画像等のピクチャ（フレーム）単位のいずれでも構わない。

また、画像符号化装置の補正部１４は、同一フレーム内に限定せず、また符号化済みのフレームを含めて、参照する符号化済みの小画面画像を自由に選択できるとき、その符号化済みの小画面画像を選択するための情報も復元パラメータに含めてもよい。同様に、画像復号装置の補正部５３は、画像符号化装置に対応して、同一フレーム内に限定せず、また復号済みのフレームを含めて、参照する復号済みの小画面画像を自由に選択できるとき、その復号済みの小画面画像を選択するための情報を復元パラメータから得てもよい。

また、画像復号装置の補正部５３は、小画面画像の間引きによる解像度の低下を補正するために、例えばシャープネスや超解像処理などの既知の方式による精細化処理を行ってもよい。ここで、フレーム内で間引かれずに残存する小画面の数（有効小画面数）によってシャープネスや超解像処理の強度の切り替える手段を設けることで、間引きの影響もよるフレーム間の画質の変動を抑制することができる。

なお、この発明の実施の形態２に係る画像符号化装置および画像復号装置では、補正部にＳＡＯ処理部、ＡＬＦ処理部の２つを有するものを説明したが、いずれか一方のみに対応した画像符号化装置および画像復号装置を構成しても構わない。

以上のように、この発明の実施の形態２に係る画像符号化装置および画像復号装置によれば、この発明の実施の形態１に係る画像符号化装置および画像復号装置と同様に、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター（フレーム間）予測、復号済みの小画面画像を参照してインター（フレーム間）予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化（圧縮）を実現することができるという効果を奏する。

また、この発明の実施の形態２に係る画像符号化装置および画像復号装置によれば、同一フレームに属する一部の小画面画像をスキップモードで符号化し、参照画像に対する符号化対象の小画面画像との差分であるオフセット情報を符号化して送信して、参照画像をオフセット補正処理して小画面画像を復号させるようにしたので、画像の画質が向上するとともに、効率的な符号化（圧縮）を実現することができるという効果を奏する。

また、この発明の実施の形態２に係る画像符号化装置および画像復号装置によれば、同一フレームに属する一部の小画面画像をスキップモードで符号化し、同一フレームに属する符号化済みまたは復号済みの小画面画像をフィルタリング処理して小画面画像を復号させるようにしたので、効率的な符号化（圧縮）を実現することができるという効果を奏する。

実施の形態３．
この発明の実施の形態３に係る画像符号化装置および画像復号装置では、この発明の実施の形態１に係る画像符号化装置および画像復号装置に対して、同一フレーム内の符号化済みの小画面画像を符号化、または復号済みの小画面画像を復号した際の符号化パラメータを蓄積しておき、他の小画面画像の符号化または復号に適用するものを説明する。

図２２は、この発明の実施の形態３に係る画像符号化装置の一例を示す構成図である。図において、画像符号化装置は、フレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、補正部１４、フレーム蓄積部Ｂ１５、予測画像生成部１６、符号化部１７、通信路状態監視部１８、符号化制御部３１から構成される。

予測画像生成部１６は、符号化対象の小画面画像を参照したフレーム内予測または符号化済みの小画面画像を参照したフレーム間予測により予測画像を生成するとともに、予測画像生成に適用した符号化パラメータを同一フレームに属する小画面画像間で共有する。符号化制御部３１は、通信路状態監視部１８が決定した目標ビットレートに基づいて、符号化パラメータを設定し、同一フレームに属する小画面画像間で符号化パラメータを共有するか否かを示すフラグ情報を予測画像生成部１６に指示するとともに、フレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、補正部１４、フレーム蓄積部Ｂ１５、予測画像生成部１６、符号化部１７を制御する。他のフレーム蓄積部Ａ１１、圧縮部１２、伸長部１３、フレーム蓄積部Ｂ１５、通信路状態監視部１８は、図１で説明したこの発明の実施の形態１に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。

この画像符号化装置について、より詳細に説明する。

図２３は、この発明の実施の形態３に係る画像符号化装置の予測画像生成部の一例を示す構成図である。図において、予測画像生成部１６は、予測画像生成手段として、イントラ予測部１６１、インター予測部１６２、予測モード選択部１６３、符号化パラメータ蓄積部１６４から構成される。イントラ予測部１６１、インター予測部１６２は、図９で説明したこの発明の実施の形態１に係る画像符号化装置の予測画像生成部を示す構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。予測モード選択部１６３は、例えば符号化ブロック単位で最も符号化効率が高い予測モード、または符号化制御部３１から通知された共有フラグ情報が同一フレームに属する小画面画像間で符号化パラメータを共有すること示す場合、すでに共有すべき符号化パラメータがあれば、その符号化パラメータによる予測モードを選択して、その予測画像を圧縮部１２および伸長部１３に出力する。符号化パラメータ蓄積部１６４は、例えば同一フレームで共有すべき符号化パラメータがない最初の符号化対象の小画面画像において適用された符号化パラメータを蓄積し、共有すべき符号化パラメータがある符号化対象の小画面画像において符号化パラメータを参照させる。

共有する符号化パラメータは、単に予測モードだけでなく、ブロックサイズ、動き補償予測を用いた場合はその動きベクトル等の最初の符号化対象の小画面画像において適用された符号化パラメータが蓄積される。なお、符号化制御部３１から通知される共有フラグ情報は、共有することを示す値（例えば１）、共有しないことを示す値（例えば０）とし、予め決まった符号化パラメータセットでの共有有無について示してもよいし、また各符号化パラメータの共有有無を示す情報を例えば符号化対象画像のフレームごと、あるいは同一フレーム内の小画面画像ごと、小画面画像内のブロックごとに通知されるようにしても構わない。なお、上位（例えば符号化対象のフレーム）で符号化パラメータの共有を使用するとフラグ情報を示した場合は、それより下位（例えば小画面画像）の各単位ではフラグ情報を示すものとする。また、上位で使用しないと共有フラグを示した場合は、それより下位の各単位では共有フラグを示す必要はない。なお、符号化パラメータの共有機能の適用が決まっているときは、上位でフラグ情報によって共有を明示しなくても、最下位の処理単位（例えば小画面画像のブロック）ごとに共有有無を示すフラグ情報を示すだけでもよい。このとき、符号化制御部３１は、通知すべき符号化パラメータの共有有無を示す共有フラグ情報をビットストリームに多重化される付加情報に含めるように指示する。

ここで、同一フレームに属する小画面画像間で符号化パラメータを共有する場合、共有する符号化パラメータが予測モードであれば、先に判定してイントラ予測部１６１、インター予測部１６２のいずれかが予測画像を生成し、予測モード選択部１６３に選択されるようにしてもよい。動きベクトル等の共有が設定されていれば、適宜参照して予測画像を生成する。また、イントラ予測部１６１、インター予測部１６２が通常通り生成した予測画像のうち、予測モード選択部１６３が共有する符号化パラメータの予測モードで生成された予測画像を選択してもよい。

図２４は、この発明の実施の形態３に係る画像符号化装置の予測画像生成部による符号化パラメータの共有フラグ情報を適用した処理の一例を示す説明図である。ここで、フレーム内で共有する符号化パラメータは動きベクトルや予測モードなどである。共有フラグ情報が０の場合は、符号化パラメータを共有しないので、小画面画像Ｐ２は単独で符号化を行う。また、共有フラグ情報が１の場合は、符号化パラメータを共有するので、小画面画像Ｐ２は、先に符号化した小画面画像Ｐ１における同一ブロック位置（例えばブロックＢｌｋ３）で符号化に用いた符号化パラメータを適用して符号化を行う。

図２５は、この発明の実施の形態３に係る画像復号装置の一例を示す構成図である。図において、画像復号装置は、復号部５１、伸長部５２、補正部５３、フレーム蓄積部５４、予測画像生成部５５、復号制御部７１から構成される。

復号部５１は、画像符号化装置から通信路を介して受信したビットストリームを付加情報と符号化データとに分離し、付加情報を復号制御部７１に出力するとともに、符号化データを復号して圧縮データを生成する。伸長部５２、補正部５３、フレーム蓄積部５４、予測画像生成部５５は、図１１で説明したこの発明の実施の形態１に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。予測画像生成部５５は、復号対象の小画面画像を参照したフレーム内予測または復号済みの小画面画像を参照したフレーム間予測により予測画像を生成するとともに、予測画像生成に適用した符号化パラメータを同一フレームに属する小画面画像間で共有する。復号制御部７１は、復号部５１からビットストリームから分離した付加情報を受け取って、付加情報に含まれる共有フラグ情報を補正部５３に送信するとともに、図１１で説明したこの発明の実施の形態１に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に、復号部５１、伸長部５２、補正部５３、フレーム蓄積部５４、予測画像生成部５５を制御する。

この画像復号装置について、より詳細に説明する。

図２６は、この発明の実施の形態３に係る画像復号装置の予測画像生成部の一例を示す構成図である。図において、予測画像生成部５５は、予測画像生成手段として、イントラ予測部５５１、インター予測部５５２、予測モード選択部５５３、符号化パラメータ蓄積部５５４から構成される。イントラ予測部５５１、インター予測部５５２は、図１５で説明したこの発明の実施の形態１に係る画像復号装置の予測画像生成部を示す構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。予測モード選択部５５３は、例えば最も符号化効率が高い予測モード、または符号化制御部３１から通知された共有フラグ情報が同一フレームに属する小画面画像間で符号化パラメータを共有すること示す場合、すでに共有すべき符号化パラメータがあれば、その符号化パラメータによる予測モードを選択して、その予測画像を伸長部５２に出力する。符号化パラメータ蓄積部５５４は、例えば同一フレームで共有すべき符号化パラメータがない最初の復号対象の小画面画像において適用された符号化パラメータを蓄積し、共有すべき符号化パラメータがある復号対象の小画面画像において符号化パラメータを参照させる。

なお、符号化パラメータ蓄積部１６４、符号化パラメータ蓄積部５５４における符号化パラメータの蓄積容量に余裕があれば、同一フレーム内の小画面画像間の符号化パラメータの共有に限らず、符号化済みのフレームに属する小画面画像との符号化パラメータの共有することも可能である。また、フレーム内の複数の小画面画像の各符号化パラメータを蓄積し、フレーム内に残る他の小画面画像では選択して共有できるようにしてもよい。

以上のように、この発明の実施の形態３に係る画像符号化装置および画像復号装置によれば、この発明の実施の形態１に係る画像符号化装置および画像復号装置と同様に、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター（フレーム間）予測、復号済みの小画面画像を参照してインター（フレーム間）予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化（圧縮）を実現することができるという効果を奏する。

また、この発明の実施の形態３に係る画像符号化装置および画像復号装置によれば、同一フレーム内の符号化済みの小画面画像を符号化した際の符号化パラメータを蓄積しておき、他の小画面画像の符号化に適用することで、画像符号化装置において同一フレームに属する少なくとも１つの符号化対象の小画面画像を除き、他の小画面画像ごとに動きベクトルの探索を不要とし、画像符号化装置の処理負荷を低減できるとともに、動き補償予測や予測モード選択が符号化パラメータの参照で行えるため、ビットストリーム中の当該符号化パラメータのデータ量が削減でき、圧縮率を向上できるという効果を奏する。

実施の形態４．
この発明の実施の形態１に係る画像符号化装置および画像復号装置では、画像符号化装置が符号化対象フレームを複数の小画面画像に分割し、時系列に並び替えて符号化し、画像復号装置が復号対象フレームを複数の小画面画像として復号し、１つのフレームに合成するものを説明した。この発明の実施の形態４に係る画像符号化装置および画像復号装置では、画像符号化装置が符号化対象フレームを１つのフレームのまま、または複数に分割した小画面画像ごとに符号化単位を切り替えながら符号化し、画像復号装置が符号化単位に適応して１つのフレームのまま、または複数に分割した小画面画像ごとに復号単位を切り替えながら復号するものを説明する。

この発明の実施の形態４に係る画像符号化装置、画像復号装置を示す構成図は、図１、図１１に示したこの発明の実施の形態１に係る画像符号化装置、画像復号装置を示す構成図と同様であるが、フレーム蓄積部Ａ１１、フレーム蓄積部Ｂ１５における符号化対象画像の符号化単位、フレーム蓄積部５４における復号対象画像の復号単位を切り替えて画像出力する点が異なっている。

図２７は、この発明の実施の形態４に係る画像符号化装置のフレーム蓄積部Ｂによる符号化対象画像の大きさに合わせた参照画像を生成する処理の一例を示す説明図である。

図において、上段は、受け取った動画像データ（ピクチャ）のフレーム＃１、＃２、＃３を含むＧＯＰ構造の符号化単位の一例であり、フレーム＃１、＃３がフレームのまま、フレーム＃２が４つの小画面画像＃２Ｐ１〜＃２Ｐ４に分割されて符号化されることを示している。

中段は、フレーム＃２の各小画面画像がフレーム＃１を参照して符号化する際には、フレーム＃１をフレーム＃２と同様の小画面画像＃１Ｐ１〜＃１Ｐ４に分割し、参照画像とすることを示している。例えば、小画面画像＃２Ｐ１は、参照画像リスト（リファレンスピクチャリスト）記載の小画面画像＃１Ｐ１〜＃１Ｐ４のいずれかを参照画像として選択できる。なお、小画面画像＃２Ｐ２以降は、参照画像リスト（リファレンスピクチャリスト）に同一フレームに属する符号化済みの小画面画像を追加して候補としてもよい。

下段は、フレーム＃３が小画面画像の単位で復号されたフレーム＃２を参照して符号化する際には、フレーム＃３に合わせて小画面画像＃２Ｐ１〜＃２Ｐ４を１つのフレームに合成し、参照画像とすることを示している。

このような符号化対象画像と参照画像の符号化単位、復号対象画像と参照画像の復号単位を合致させるために、フレームに対する小画面画像への分割または小画面画像の合成をフレーム蓄積部Ａ１１、フレーム蓄積部Ｂ１５、フレーム蓄積部５４が内部で実行する。

画像符号化装置のフレーム蓄積部Ａ１１の画像蓄積部Ａ１１１内部では、入力時点で分割方法があらかじめ分かっていれば、動画像データのフレームを複数の小画面画像に割り振った各領域に分割が済んだ状態で蓄積し、各小画面画像を時系列に出力しても、また入力時点では１つのフレームのまま蓄積し、出力時点で動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて各小画面画像の対象画素を時系列に出力していっても構わない。メモリに余裕がある場合には、フレーム単位と複数の小画面画像単位で並列に蓄積して出力できるようにしてもよい。

また、画像符号化装置のフレーム蓄積部Ｂ１５の画像蓄積部Ｂ１５１内部では、入力時点で復号済みの小画面画像（局所復号画像）を複数の小画面画像に割り振った各領域に分割が済んだ状態のまま蓄積し、参照する各小画面画像を出力しても、また入力時点で複数の復号済みの小画面画像を一旦１つのフレームを構成するように戻し、出力時に動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて、参照する各小画面画像の対象画素を再度出力していっても構わない。メモリに余裕がある場合には、フレーム単位と複数の小画面画像単位で並列に蓄積して出力できるようにしてもよい。

また、画像復号装置のフレーム蓄積部５４の画像蓄積部５４１内部では、画像符号化装置のフレーム蓄積部Ｂ１５の画像蓄積部Ｂ１５１と同様に、入力時点で復号済みの小画面画像（局所復号画像）を複数の小画面画像に割り振った各領域に分割が済んだ状態のまま蓄積し、参照する各小画面画像を出力しても、また入力時点で複数の復号済みの小画面画像を一旦１つのフレームを構成するように戻し、出力時に動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて、参照する各小画面画像の対象画素を再度出力していっても構わない。一方、再生する動画像データは、小画面画像単位ではなく、合成したフレーム単位で出力するため、入力時点、出力時点のどちらで複数の小画面画像を１つのフレームに合成するか、予測のための参照処理、再生のための合成処理の負荷状況をみて設計することもできる。メモリに余裕がある場合には、フレーム単位と複数の小画面画像単位で並列に蓄積して出力できるようにしてもよい。

なお、符号化対象画像と参照画像の符号化単位、復号対象画像と参照画像の復号単位の不整合がないように、画像符号化装置の符号化制御部３１が分割フラグ情報をフレーム蓄積部Ａ１１、フレーム蓄積部Ｂ１５に指示し、付加情報の一部としてビットストリームに多重化して通知することで、画像復号装置の復号制御部７１が分割フラグ情報をフレーム蓄積部５４に指示できる。なお、符号化制御部３１から通知される分割フラグ情報は、分割することを示す値（例えば１）、分割しないことを示す値（例えば０）で示し、分割数が自由に選択できるとき、例えば分割数や小画面画像サイズを合わせて通知することで、３種以上のフレーム分割状況から選択して適用する画像符号化装置及び画像復号装置にも対応できる。

以上のように、この発明の実施の形態４に係る画像符号化装置および画像復号装置によれば、この発明の実施の形態１に係る画像符号化装置および画像復号装置と同様に、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター（フレーム間）予測、復号済みの小画面画像を参照してインター（フレーム間）予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化（圧縮）を実現することができるという効果を奏する。

また、この発明の実施の形態４に係る画像符号化装置および画像復号装置によれば、画像符号化装置における参照画像の符号化単位が符号化対象画像の符号化単位と異なるとき、フレーム蓄積部Ａ１１、フレーム蓄積部Ｂ１５が符号化単位を合致させるように変換するようにしたので、符号化対象画像と参照画像との符号化単位の不整合があるときでも符号化することができるという効果を奏する。また、画像復号装置における参照画像の復号単位が復号対象画像の復号単位と異なるとき、フレーム蓄積部５４が復号単位を合致させるように変換するようにしたので、復号対象画像と参照画像との復号単位の不整合があるときでも復号することができるという効果を奏する。

なお、この発明に係る画像符号化装置において、この発明の実施の形態２に係る画像符号化装置におけるオフセット補正およびフィルタリング補正、この発明の実施の形態３に係る画像符号化装置の符号化パラメータの共有、この発明の実施の形態４に係る画像符号化装置の符号化対象画像と参照画像との符号化単位の変換のうち、いくつかをこの発明の実施の形態１に係る画像符号化装置に組み合わせて構成してもよい。同様に、この発明に係る画像復号装置において、この発明の実施の形態２に係る画像復号装置におけるオフセット補正、フィルタリング補正、この発明の実施の形態３に係る画像復号装置の符号化パラメータの共有、この発明の実施の形態４に係る画像復号装置の復号対象画像と参照画像との復号単位の変換のうち、いくつかをこの発明の実施の形態１に係る画像復号装置に組み合わせて構成してもよい。

この発明に係る画像符号化装置および画像復号装置において、フレームの分割情報、オフセット補正処理の適用有無を示す情報、フィルタリング補正処理の適用有無を示す情報、符号化パラメータの共有有無を示す情報などは、それぞれの情報を適用するフレーム、小画面画像、画像内のブロックや領域が画像符号化装置や画像復号装置で予め規定した共通知識や例えばビットシーケンスの最初に最小限の通知を行って情報共有し、それぞれ一意の設定で適用することができる処理については、処理ごとに通知する必要がないことは記載するまでもない。

このように、この発明に係る画像符号化装置および画像復号装置によれば、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター（フレーム間）予測、復号済みの小画面画像を参照してインター（フレーム間）予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化（圧縮）を実現することができるという効果を奏する。また、通信路の帯域や記録媒体の残量等に応じて柔軟にビットレートを制御することを可能とし、また、低ビットレートで符号化する場合にも、分割画像間の相関を利用して圧縮率を高められるとともに、高い画質を維持することが可能となる。

１１ 第１のフレーム蓄積部（フレーム蓄積部Ａ、フレーム蓄積手段Ａ）、１２ 圧縮部（圧縮手段）、１３ 伸長部（伸長手段）、１４ 補正部（補正手段）、１５ 第２のフレーム蓄積部（フレーム蓄積部Ｂ、フレーム蓄積手段Ｂ）、１６ 予測画像生成部（予測画像生成手段）、１７ 符号化部（符号化手段）、１８ 通信路状態監視部（通信路状態監視手段）、３１ 符号化制御部（符号化制御手段）、５１ 復号部（復号手段）、５２ 伸長部（伸長手段）、５３ 補正部（補正手段）、５４ フレーム蓄積部（フレーム蓄積手段）、５５ 予測画像生成部（予測画像生成手段）、７１ 復号制御部（復号制御手段）、１１１ 画像蓄積部Ａ、１１２ 画像入出力制御部Ａ、１２１ 減算部、１２２ 直交変換部、１２３ 量子化部、１３１ 逆量子化部、１３２ 逆直交変換部、１３３ 加算部、１４１ デブロッキングフィルタ部、１４２ オフセット補正処理部（ＳＡＯ処理部）、１４３ フィルタリング補正処理部（ＡＬＦ処理部）、１５１ 画像蓄積部Ｂ、１５２ 画像入出力制御部Ｂ、１６１ イントラ予測部、１６２ インター予測部、１６３ 予測モード選択部、１６４ 符号化パラメータ蓄積部、５３１ デブロッキングフィルタ部、５３２ オフセット補正処理部（ＳＡＯ処理部）、５３３ フィルタリング補正処理部（ＡＬＦ処理部）、５４１ 画像蓄積部、５４２ 画像入出力制御部、５５１ イントラ予測部、５５２ インター予測部、５５３ 予測モード選択部、５５４ 符号化パラメータ蓄積部。

Claims (6)

1. 入力される動画像データのフレームを蓄積し、小ブロックに区切って小ブロック内の画素位置による分類に基づいて分割した複数の符号化対象の小画面画像を時系列に出力する第１のフレーム蓄積部と、
   前記符号化対象の小画面画像と予測画像の差分画像を圧縮した圧縮データを生成する圧縮部と、
   前記圧縮データを伸長し、前記予測画像と加算した伸長データを生成する伸長部と、
   前記伸長データを補正して局所復号画像を生成する補正部と、
   前記局所復号画像を符号化済みの小画面画像として蓄積する第２のフレーム蓄積部と、
   前記符号化対象の小画面画像を参照したイントラ予測または前記符号化済みの小画面画像を参照したインター予測により前記予測画像を生成する予測画像生成部と、
   前記圧縮データを可変長符号化して符号化データを生成し、前記符号化データに付加情報を多重化したビットストリームを生成する符号化部と、
   前記ビットストリームを通信路に送信し、前記通信路の状態に応じて目標ビットレートを決定する通信路状態監視部と、
   前記目標ビットレートに基づいて、前記第１のフレーム蓄積部と前記第２のフレーム蓄積部に分割情報を指示し、符号化パラメータとともに前記付加情報として前記符号化部に出力し、前記符号化対象の小画面画像ごとに間引くか否かを判定する符号化制御部と
   を備え、
   前記符号化制御部が前記符号化対象の小画面画像を間引くと判定したとき、
   前記符号化制御部は、同一フレームに属する前記符号化済みの小画面画像に対する補正処理によって前記符号化対象の小画面画像を復元する復元パラメータを生成して前記符号化部に指示するとともに、同一フレームに属する前記符号化済みの小画面画像を参照してオフセット情報によるオフセット補正処理を前記補正部に指示し、
   前記補正部は、同一フレームに属する前記符号化済みの小画面画像の画素と前記符号化対象の小画面画像の画素とのオフセット情報を算出して前記符号化部に前記復元パラメータとして通知し、
   前記符号化部は、前記符号化対象の小画面画像をスキップモードで符号化し、前記復元パラメータを前記ビットストリームに多重化する画像符号化装置。
2. 前記符号化制御部が、前記符号化対象の小画面画像を間引くと判定したとき、
   前記符号化制御部は、同一フレームに属する前記符号化済みの小画面画像を参照し、参照した前記符号化済みの小画面画像の画素位置から前記符号化対象の小画面画像の画素位置へと位相シフトさせるフィルタリング補正処理のフィルタ係数を前記復元パラメータとして生成して指示し、
   前記補正部は、前記復元パラメータのフィルタ係数に基づいて、前記符号化済みの小画面画像から前記符号化対象の小画面画像を復元する請求項１に記載の画像符号化装置。
3. 入力される動画像データのフレームを蓄積し、小ブロックに区切って小ブロック内の画素位置による分類に基づいて分割した複数の符号化対象の小画面画像を時系列に出力する第１のフレーム蓄積部と、
   前記符号化対象の小画面画像と予測画像の差分画像を圧縮した圧縮データを生成する圧縮部と、
   前記圧縮データを伸長し、前記予測画像と加算した伸長データを生成する伸長部と、
   前記伸長データを補正して局所復号画像を生成する補正部と、
   前記局所復号画像を符号化済みの小画面画像として蓄積する第２のフレーム蓄積部と、
   前記符号化対象の小画面画像を参照したイントラ予測または前記符号化済みの小画面画像を参照したインター予測により前記予測画像を生成する予測画像生成部と、
   前記圧縮データを可変長符号化して符号化データを生成し、前記符号化データに付加情報を多重化したビットストリームを生成する符号化部と、
   前記ビットストリームを通信路に送信し、前記通信路の状態に応じて目標ビットレートを決定する通信路状態監視部と、
   前記目標ビットレートに基づいて、前記第１のフレーム蓄積部と前記第２のフレーム蓄積部に分割情報を指示し、符号化パラメータとともに前記付加情報として前記符号化部に出力し、前記符号化対象の小画面画像の符号化パラメータを共有するか否かを判定する符号化制御部と
   を備え、
   前記符号化制御部が前記符号化パラメータを共有すると判定したとき、
   前記予測画像生成部は、同一フレームに属する少なくとも１つの前記符号化対象の小画面画像で適用した共有すべき符号化パラメータを残る前記符号化対象の小画面画像にも適用して前記予測画像を生成し、
   前記符号化部は、前記共有すべき符号化パラメータを残る前記符号化対象の小画面画像にも適用して前記圧縮データを可変符号化する画像符号化装置。
4. ビットストリームから付加情報を分離した符号化データを可変長復号し、圧縮データを生成する復号部と、
   前記圧縮データを伸長し、予測画像と加算した伸長データを生成する伸長部と、
   前記伸長データを補正して局所復号画像を生成する補正部と、
   前記局所復号画像を復号済みの小画面画像として蓄積し、動画像データを出力するフレーム蓄積部と、
   復号対象の小画面画像を参照したイントラ予測または前記復号済みの小画面画像を参照したインター予測により前記予測画像を生成する予測画像生成部と、
   前記復号部から前記ビットストリームから分離した前記付加情報を受け取って、前記フレーム蓄積部に分割情報を指示し、前記復号対象の小画面画像がスキップモードで復号されたとき、前記付加情報に含まれた同一フレームに属する前記復号済みの小画面画像に対する補正処理によって前記復号対象の小画面画像を復元する復元パラメータを前記補正部に指示する復号制御部と
   を備え、
   前記補正部は、前記復元パラメータに基づいて、同一フレームに属する前記復号済みの小画面画像を参照し、参照した前記復号済みの小画面画像の画素と前記復号対象の小画面画像の画素のオフセット情報によるオフセット補正処理によって、前記復号済みの小画面画像から前記復号対象の小画面画像を復元する画像復号装置。
5. 前記復号対象の小画面画像がスキップモードで復号されたとき、
   前記補正部は、前記復元パラメータであって、同一フレームに属する前記復号済みの小画面画像を参照し、参照した前記復号済みの小画面画像の画素位置から前記復号対象の小画面画像の画素位置へと位相シフトさせるフィルタ係数に基づくフィルタリング補正処理によって、前記復号済みの小画面画像から前記復号対象の小画面画像を復元する請求項４に記載の画像復号装置。
6. ビットストリームから付加情報を分離した符号化データを可変長復号し、圧縮データを生成する復号部と、
   前記圧縮データを伸長し、予測画像と加算した伸長データを生成する伸長部と、
   前記伸長データを補正して局所復号画像を生成する補正部と、
   前記局所復号画像を復号済みの小画面画像として蓄積し、動画像データを出力するフレーム蓄積部と、
   復号対象の小画面画像を参照したイントラ予測または前記復号済みの小画面画像を参照したインター予測により前記予測画像を生成する予測画像生成部と、
   前記復号部から前記ビットストリームから分離した前記付加情報を受け取って、前記フレーム蓄積部に分割情報を指示し、前記付加情報に含まれた前記復号対象の小画面画像間にて符号化パラメータを共有するか否かを示す情報を前記予測画像生成部と前記復号部に指示する復号制御部と
   を備え、
   前記復号制御部から前記符号化パラメータを共有すると指示されたとき、
   前記予測画像生成部は、同一フレームに属する少なくとも１つの前記復号対象の小画面画像で適用した共有すべき符号化パラメータを残る前記復号対象の小画面画像にも適用して前記予測画像を生成し、
   前記復号部は、前記共有すべき符号化パラメータを残る前記復号対象の小画面画像にも適用して前記圧縮データを可変長復号する画像復号装置。

Images