この発明は、テレビ映像や家庭用ビデオカメラ等で撮像した動画像データをインターネットや衛星回線などの通信路を利用して送受信する際に、通信路の帯域幅や記録媒体の容量に合わせて画像データを圧縮する画像符号化装置と圧縮された画像データを伸長する画像復号装置に関するものである。以下に、この発明の実施の形態について説明する。
実施の形態1.
この発明の実施の形態1に係る画像符号化装置および画像復号装置について説明する。
図1は、この発明の実施の形態1に係る画像符号化装置の一例を示す構成図である。図において、画像符号化装置は、第1のフレーム蓄積部(フレーム蓄積部A)11、圧縮部12、伸長部13、補正部14、第2のフレーム蓄積部(フレーム蓄積部B)15、予測画像生成部16、符号化部17、通信路状態監視部18、符号化制御部31から構成される。
フレーム蓄積部A11は、入力される動画像データのフレームを蓄積し、小ブロックに区切って小ブロック内の画素位置による分類に基づいて分割した複数の小画面画像に分割し、時系列に符号化対象の小画面画像ごとに出力する。圧縮部12は、符号化対象の小画面画像と予測画像の差分画像を圧縮した圧縮データを生成する。伸長部13は、圧縮データを伸長し、予測画像と加算した伸長データを生成する。補正部14は、伸長データを補正して局所復号画像を生成する。フレーム蓄積部B15は、局所復号画像を符号化済みの小画面画像として蓄積し、符号化対象の小画面画像に対する参照画像となる小画面画像を出力する。予測画像生成部16は、符号化対象の小画面画像を参照したイントラ(フレーム内)予測または符号化済みの小画面画像を参照したインター(フレーム間)予測により予測画像を生成する。符号化部17は、圧縮データを可変長符号化して符号化データを生成するとともに、符号化データに付加情報を多重化したビットストリームを生成する。通信路状態監視部18は、符号化部17が生成したビットストリームを通信路に送信し、通信路の状態に応じて目標ビットレートを決定する。符号化制御部31は、通信路状態監視部18が決定した目標ビットレートに基づいて、符号化パラメータを設定し、付加情報として符号化部17に出力するとともに、フレーム蓄積部A11、圧縮部12、伸長部13、補正部14、フレーム蓄積部B15、予測画像生成部16、符号化部17を制御する。
この画像符号化装置について、より詳細に説明する。
図2は、この発明の実施の形態1に係る画像符号化装置のフレーム蓄積部Aの一例を示す構成図である。図において、フレーム蓄積部A11は、フレーム蓄積手段Aとして、画像蓄積部A111、画像入出力制御部A112から構成される。画像蓄積部A111は、入力される動画像データのフレームを蓄積する。画像入出力制御部A112は、画像蓄積部A111に蓄積された動画像データのフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割した複数の小画面画像を符号化対象の小画面画像ごとに画像蓄積部A111から時系列に出力させる。ここで、フレーム蓄積部A11は、画像データのフレームをどのように分割するかについて、符号化制御部31から分割情報で指示される。この分割情報は、小画面画像のサイズ、分割数、またフレームレートの情報を含む。
図3は、この発明の実施の形態1に係る画像符号化装置のフレーム蓄積部による動画像データのフレームを複数の小画面画像に分割する処理の一例を示す説明図である。図において、例えば動画像データのフレームを水平方向2画素×垂直方向2画素の小ブロックに区切り、各小ブロック内の画素位置による分類に基づいて4つの小画面画像に分割することを示している。各小ブロック中の画素を偶数行/偶数列に位置するP1(ブロック左上の「○」画素)、偶数行/奇数列に位置するP2(ブロック右上の「△」画素)、奇数行/偶数列に位置するP3(ブロック左下の「□」画素)、奇数行/奇数列に位置するP4(ブロック右下の「×」画素)に分類し、各ブロックの同一の分類となる画素をそれぞれ集めた4つの小画面画像として再構成することで動画像データのフレームを分割するものである。
ここで、動画像データのフレームを区切った小ブロックは、図3に示した水平方向2画素×垂直方向2画素のブロックに限らず、任意のブロックサイズが設定でき、そのブロックの構成画素数により小画面画像の総数(分割数)は異なってくる。例えば、水平方向M画素×垂直方向N画素(M、Nは任意の整数)とし、フレーム内の各画素の水平座標をM、また垂直座標をNで除算したときの各剰余(0〜M−1、0〜N−1)の組合せにより画素位置を分類して、動画像データのフレームを(M×N)個の小画面画像に分割することができる。分割情報は、フレームごとに切り替えてもよい。
図3では、M=N=2の例として、水平座標と垂直座標のそれぞれを2で除算したときの剰余(0または1)による分類を用いた4つの小画面画像への分割に相当する。なお、分割情報は、例えば各フレームの水平分割数と垂直分割数を表すパラメータをSPS(Sequence Parameter Set)やPPSに追加する。同設定により、フレーム内の各画素は、水平分割数H_Div、垂直分割数V_Divとして、以下のように分類し、次式の同一分類番号の画素を集めて小画面画像を構成する。演算子%は剰余を示し、A%BでAをBで割った剰余を演算するものとする。ここでは、分類番号の順番で小画面を時系列に並ぶものとする。
座標(X、Y)の画素の分類番号=
(Y%V_Div)×H_Div+(X%H_Div)
なお、フレーム蓄積部A11の画像蓄積部A111内部では、入力時点で分割方法があらかじめ分かっていれば、動画像データのフレームを複数の小画面画像に割り振った各領域に分割が済んだ状態で蓄積し、各小画面画像を時系列に出力しても、また入力時点では1つのフレームのまま蓄積し、出力時点で動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて各小画面画像の対象画素を時系列に出力していっても構わない。
図4は、この発明の実施の形態1に係る画像符号化装置のフレーム蓄積部による分割した小画面画像を時系列に並び替える処理の一例を示す説明図である。図において、例えば、動画像データのフレーム#1、#2、#3を受け取り(上段)、小画面画像#1P1〜#1P4、#2P1〜#2P4、#3P1〜#3P4に分割し(中段)、分割した小画面画像を#1P1、#1P2、#1P3、#1P4、#2P1、・・・、#2P4、#3P1、・・・、#3P4の順に時系列に並び替えて送り出す(下段)という各手順の概要を示している。
ここで、フレーム蓄積部A11は、分割された小画面画像#1P1〜#1P4を#1P1、#1P2、#1P3、#1P4(左上、右上、左下、右下)の順に時系列に並び替えて送り出しているが、この順番に限らず、例えば#1P1、#1P4、#1P2、#1P3(左上、右下、右上、左下)のような順番で送出してもよく、固定の順番でなければ、画像復号装置との事前の情報共有やビットストリームへの付加情報による通知などで送出順序が判断できるようにすることで任意に設定することができる。送出順序の設定は、ビットストリーム全体を単位としてもよいし、フレームごとを単位としても構わない。
図5は、この発明の実施の形態1に係る画像符号化装置の圧縮部の一例を示す構成図である。図において、圧縮部12は、圧縮手段として、減算部121、直交変換部122、量子化部123から構成される。減算部121は、符号化対象の小画面画像から予測画像を減算することで、差分画像(=小画面画像−予測画像)を生成する。直交変換部122は、差分画像を直交変換処理する。例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等を行う。量子化部123は、差分画像の直交変換した変換係数を量子化することで、量子化後の変換係数を圧縮データとして出力する。
図6は、この発明の実施の形態1に係る画像符号化装置の伸長部の一例を示す構成図である。図において、伸長部13は、伸長手段として、逆量子化部131、逆直交変換部132、加算部133から構成される。逆量子化部131は、図5の圧縮部12の量子化部123における量子化に対応して、圧縮データを逆量子化する。逆直交変換部132は、図5の圧縮部12の直交変換部122における直交変換に対応して、逆量子化した圧縮データを逆直交変換する。加算部133は、図5の圧縮部12の減算部121における減算に対応して、逆直交変換したデータに予測画像を加算して伸長データを生成する。この伸長データは、補正前の局所復号画像である。
図7は、この発明の実施の形態1に係る画像符号化装置の補正部の一例を示す構成図である。図において、補正部14は、補正手段として、デブロッキングフィルタ部141から構成される。デブロッキングフィルタ部141は、伸長データにデブロッキング処理を適用して局所復号画像を生成する。
図8は、この発明の実施の形態1に係る画像符号化装置のフレーム蓄積部Bの一例を示す構成図である。図において、フレーム蓄積部B15は、フレーム蓄積手段Bとして、画像蓄積部B151、画像入出力制御部B152から構成される。画像蓄積部B151は、符号化済みの小画面画像の復号画像(局所復号画像)を蓄積する。画像入出力制御部B152は、符号化済みの小画面画像の復号画像を蓄積するとき、動画像データのフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割された小画面画像が元の動画像データのフレームを構成するように合成して画像蓄積部B151に蓄積させ、画像蓄積部B151に蓄積された符号化済みの小画面画像の復号画像のフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割した小画面画像をインター予測処理(動き補償予測処理)の参照画像として出力する。
なお、フレーム蓄積部B15の画像蓄積部B151内部では、入力時点で符号化済みの小画面画像の復号画像を複数の小画面画像に割り振った各領域に分割が済んだ状態のまま蓄積し、参照する各小画面画像を出力しても、また入力時点で複数の符号化済みの小画面画像の復号画像を一旦1つのフレームを構成するように戻し、出力時に動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて、参照する各小画面画像の対象画素を再度出力していっても構わない。以下、局所復号画像としてフレーム蓄積部B15に蓄積された符号化済みの小画面画像の復号画像を単に符号化済みの小画面画像と記す。
図9は、この発明の実施の形態1に係る画像符号化装置の予測画像生成部の一例を示す構成図である。図において、予測画像生成部16は、予測画像生成手段として、イントラ予測部161、インター予測部162、予測モード選択部163から構成される。イントラ予測部161は、イントラ予測処理による少なくとも1つの予測画像を生成する。インター予測部162は、フレーム蓄積部B15に蓄積された符号化済みの小画面画像(局所復号画像)を参照画像として動き探索を実施して動きベクトルを算出するインター予測処理(動き補償予測処理)による少なくとも1つの予測画像を生成する。インター予測処理とイントラ予測処理は、それぞれ少なくとも1つの予測処理を含み、その結果として複数の予測画像が生成される。予測モード選択部163は、例えば最も符号化効率が高い予測モードを選択して、その予測画像を圧縮部12および伸長部13に出力する。この予測画像生成部16から出力された予測画像を生成した予測処理(インター予測処理またはイントラ予測処理)により、画像符号化装置がイントラ符号化およびインター符号化のいずれで符号化するかが決定することになる。
図10は、この発明の実施の形態1に係る画像符号化装置における時系列に送出される小画面画像を符号化する場合のGOP(Group Of Pictures)構造と参照画像の一例を示す説明図である。図において、例えばH.264やHEVCを用いて小画面画像を符号化する場合では、過去に符号化したフレーム(以下、符号化済みのフレームという)の小画面画像を動き補償予測の参照画像に用いて符号化することができる。さらに、この発明の実施の形態1に係る画像符号化装置においては、同一フレーム内を含めた符号化済みの小画面画像も動き補償予測の参照画像として用いて符号化することができる。この図10では、小画面画像#1P2、P3、P4の符号化に同一フレーム内の符号化済みの小画面画像#1P1を参照画像として用いる例を示している。また、小画面画像#2P1の符号化に符号化済みのフレームの小画面画像#1P1〜P4のいずれかを参照画像として用い、小画面画像#2P2、P3、P4の符号化に符号化済みのフレームの小画面画像#1P1〜P4のいずれかまたは同一フレーム内の符号化済みの小画面画像#2P1を参照画像として用いる例を示している。なお、ここでは符号化対象のフレーム#2の小画面画像から参照可能な符号化済みの小画面画像の候補として、同一フレーム#2の符号化済みの小画面画像以外に、符号化済みのフレーム#1の小画面画像を参照する例を示したが、フレーム#1に限定するものではなく、フレーム#1より前の符号化済みのフレームがあるときには、その小画面画像を参照しても構わない。
また、図10に示されるGOPを構成する小画面画像の符号化では、小画面画像#1P1をIピクチャとしてイントラ(フレーム内)予測し、残る小画面画像#1P2、P3、P4をBピクチャとして小画面画像#1P1を参照してインター(フレーム間)予測する。なお、小画面画像#1P2、P3、P4は、Pピクチャとして小画面画像#1P1を参照してインター(フレーム間)予測してもよい。また、Iピクチャとしてイントラ(フレーム内)予測する小画面画像は、最初に送出される小画面画像#1P1のみに限らず、同一フレーム内の小画面画像#1P2、P3、P4の一部またはすべてを含めてもよい。このように小画面画像の符号化を適用したフレーム#1は、フレーム単体で復号が可能なものとなるため、例えばデジタル放送の運用規格のように、0.5〜1秒に1回イントラフレームを挿入してリフレッシュポイントを確保したい場合に、フレーム全体を1つのIピクチャとして符号化するものと等価な効果を奏することができる。また、フレーム全体をIピクチャとして符号化するよりも高い圧縮率が得られる。
符号化部17は、圧縮データを可変長符号化して符号化データを生成するとともに、符号化データに付加情報を多重化したビットストリームを生成する。この符号化部17は、符号化手段として構成される。符号化方式は、例えばハフマン符号化や算術符号化等がある。なお、付加情報として、従来の画像符号化装置にもある付加情報は図示していないが、予測モード、動きベクトル情報、直交変換情報、量子化情報等を含む符号化パラメータがビットストリームに多重化される。
ここで、符号化部17は、予測画像生成部16が符号化済みのフレームに属する小画面画像または符号化対象のフレームに属する符号化済みの小画面画像を参照してインター(フレーム間)予測により生成した予測画像に基づく圧縮データを符号化するとき、インター(フレーム間)符号化となり、また符号化対象の小画面画像の復号画像を参照してイントラ(フレーム内)予測により生成した予測画像に基づく圧縮データを符号化するとき、イントラ(フレーム内)符号化となる。同一フレームに属する少なくとも1つの符号化対象の小画面画像を単独でイントラ(フレーム内)符号化し、残る符号化対象の小画面画像を符号化済みの小画面画像を参照してインター(フレーム間)符号化してもよい。このとき、符号化部17は、同一フレームに属する符号化済みの小画面画像に参照を限定してインター(フレーム間)符号化するようにしてもよい。
なお、符号化部17では、インター(フレーム間)符号化する場合は、同一フレームに属する符号化済みの小画面画像または符号化済みのフレームに属する小画面画像を参照して生成した予測画像に基づいて、符号化対象の小画面画像をBピクチャまたはPピクチャとして符号化することができる。フレームをイントラ(フレーム内)符号化する場合は、各小画面画像をIピクチャとして符号化してもよいし、またフレーム内でインター(フレーム間)符号化する小画面画像に対する参照画像を同一フレーム内の符号化済みの小画面画像に限定してBピクチャまたはPピクチャとして符号化してもよい。例えば、図10のフレーム#1のように、最初に符号化する小画面画像#1P1は、Iピクチャとしてイントラ(フレーム内)符号化し、残る小画面画像#1P2〜P4は、小画面画像#1P1を参照画像にしたBピクチャとして符号化することで、フレーム単独で復号が可能になるIピクチャと同等の符号化が実現できる。このとき、少なくとも最初に符号化する小画面画像をIピクチャとしてイントラ(フレーム内)符号化すればよく、Iピクチャとする小画面画像は1つに限らなくてよい。なお、符号化対象のフレームに対して、一部の小画面画像がIピクチャとして符号化されていても、他の小画面画像が符号化済みのフレームに属する小画面画像を参照してインター(フレーム間)符号化しているときには、符号化対象のフレームはインター(フレーム間)符号化を適用したものとして扱う。
通信路状態監視部18は、符号化部17が生成したビットストリームを通信路に送信し、通信路の状態に応じて目標ビットレートを決定する。この通信路状態監視部18は、通信路状態監視手段として構成される。通信路状態監視部18は、符号化部17からビットストリームを受け取り、通信路に送出する蓄積手段(図示せず)であるバッファと当該バッファの蓄積状態の監視手段(図示せず)を含み、通信路の帯域や輻輳状態を監視することで、バッファから通信路に対するビットストリームのデータ出力の実効速度とバッファに蓄積されたビットストリームのデータ量から目標ビットレートを算出する。算出結果は、符号化制御部31へ出力する。目標ビットレートの算出には、例えば次に示す目標ビットレートの算出式を用いればよい。なお、式中のバッファ蓄積許容時間は、画像符号化装置として許容される遅延時間であり、画像符号化装置の使用条件などに応じて設定する。
目標ビットレート=バッファからのデータ出力速度(または伝送路帯域幅)
−(バッファ蓄積量/バッファ蓄積許容時間) [bit/second]
符号化制御部31は、通信路状態監視部18が決定した目標ビットレートに基づいて、符号化パラメータを設定し、フレーム蓄積部A11、圧縮部12、伸長部13、補正部14、フレーム蓄積部B15、予測画像生成部16、符号化部17を制御するとともに、ビットストリームへの付加情報を符号化部17に通知する。この符号化制御部31は、符号化制御手段として構成される。
付加情報には、例えば分割情報としてブロックのサイズおよびフレームの分割数の少なくとも一方を含む。フレーム蓄積部A11およびフレーム蓄積部B15には、分割情報を指定して、動画像データのフレームを複数の小画面画像に分割させて小画面画像を出力させる。また、圧縮部12、伸長部13には、直交変換、逆直交変換のための変換係数、量子化、逆量子化のための量子化ステップサイズを指定して制御する(図示せず)。また、付加情報には、符号化制御部31以外から符号化部17に通知されるものとして、予測画像生成部16から予測画像の生成に適用した予測モードの情報などもある(図示せず)。
なお、この発明の実施の形態1に係る画像符号化装置の構成図として説明した図1では、画像符号化装置の構成要素であるフレーム蓄積部A11、圧縮部12、伸長部13、補正部14、フレーム蓄積部B15、予測画像生成部16、符号化部17、通信路状態監視部18、符号化制御部31のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置がコンピュータで構成される場合、フレーム蓄積部A11の画像蓄積部A111、フレーム蓄積部B15の画像蓄積部B151をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、フレーム蓄積部A11の画像入出力制御部A112、圧縮部12、伸長部13、補正部14、フレーム蓄積部B15の画像入出力制御部B152、予測画像生成部16、符号化部17、通信路状態監視部18、符号化制御部31の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図11は、この発明の実施の形態1に係る画像復号装置の一例を示す構成図である。図において、画像復号装置は、復号部51、伸長部52、補正部53、フレーム蓄積部54、予測画像生成部55、復号制御部71から構成される。
復号部51は、画像符号化装置から通信路を介して受信したビットストリームから付加情報を分離した符号化データを可変長復号し、圧縮データを生成する。伸長部52は、圧縮データを伸長し、予測画像と加算した伸長データを生成する。補正部53は、伸長データを補正して局所復号画像を生成する。フレーム蓄積部54は、局所復号画像を復号済みの小画面画像として蓄積し、復号対象の小画面画像に対する参照画像となる小画面画像および動画像データを出力する。予測画像生成部55は、復号対象の小画面画像を参照したイントラ(フレーム内)予測または復号済みの小画面画像を参照したインター(フレーム間)予測により予測画像を生成する。復号制御部71は、復号部51からビットストリームから分離した付加情報を受け取って、復号部51、伸長部52、補正部53、フレーム蓄積部54、予測画像生成部55を制御する。
この画像復号装置について、より詳細に説明する。
復号部51は、画像符号化装置から通信路を介して受信したビットストリームから付加情報を分離した符号化データを可変長復号し、圧縮データを生成する。ビットストリームから分離した付加情報は、復号制御部71に出力する。この復号部51は、復号手段として構成される。復号方式は、この発明の実施の形態1に係る画像符号化装置における図1の符号化部17において適用した符号化方式(例えばハフマン符号化や算術符号化等)に対応した復号方式を適用する。
復号部51は、画像符号化装置10の符号化部17が生成したビットストリームを入力として、復号制御部71から付加情報に基づいて指示された予測モードや動きベクトル等の符号化パラメータから復号済みのフレームに属する小画面画像または復号対象のフレームに属する復号済みの小画面画像を参照して予測画像生成部55がインター(フレーム間)予測により生成した予測画像に基づいて符号化データを復号するとき、インター(フレーム間)復号となり、また復号対象の小画面画像の復号画像を参照して予測画像生成部55がイントラ(フレーム内)予測により生成した予測画像に基づいて符号化データを復号するとき、イントラ(フレーム内)復号となる。ここで、復号対象の小画面画像をイントラ(フレーム内)復号するかまたはインター(フレーム間)復号するかは、画像符号化装置10において小画面画像を符号化する際に、イントラ(フレーム内)符号化とインター(フレーム間)符号化のどちらを適用してビットストリームを生成したかによる。
なお、復号部51では、イントラ(フレーム内)復号する場合は、復号対象の小画面画像をIピクチャとして復号し、インター(フレーム間)復号する場合は、同一フレームに属する復号済みのフレームに属する小画面画像を参照して復号対象の小画面画像をBピクチャまたはPピクチャとして復号することができる。
図12は、この発明の実施の形態1に係る画像復号装置の伸長部の一例を示す構成図である。図において、伸長部52は、伸長手段として、逆量子化部521、逆直交変換部522、加算部523から構成され、この発明の実施の形態1に係る画像符号化装置における図6の伸長部13と同様の構成を持つ。逆量子化部521は、この発明の実施の形態1に係る画像符号化装置における図5の量子化部123における量子化に対応した図6の逆量子化部131と同様に、圧縮データを逆量子化する。逆直交変換部522は、この発明の実施の形態1に係る画像符号化装置における図5の直交変換部122における直交変換に対応した図6の逆直交変換部132と同様に、逆量子化した圧縮データを逆直交変換する。加算部523は、この発明の実施の形態1に係る画像符号化装置における図5の減算部121における減算に対応した図6の加算部133と同様に、逆直交変換したデータに予測画像を加算して伸長データを生成する。この伸長データは、補正前の局所復号画像である。
図13は、この発明の実施の形態1に係る画像復号装置の補正部の一例を示す構成図である。図において、補正部53は、補正手段として、デブロッキングフィルタ部531から構成され、この発明の実施の形態1に係る画像符号化装置における図7の補正部14と同様の構成を持つ。デブロッキングフィルタ部531は、伸長データにデブロッキング処理を適用して局所復号画像を生成する。
図14は、この発明の実施の形態1に係る画像復号装置のフレーム蓄積部の一例を示す構成図である。図において、フレーム蓄積部54は、フレーム蓄積手段として、画像蓄積部541、画像入出力制御部542から構成される。画像蓄積部541は、復号済みの小画面画像(局所復号画像)を蓄積する。画像入出力制御部542は、復号済みの小画面画像を蓄積するとき、動画像データのフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割された小画面画像が元の動画像データのフレームを構成するように合成して画像蓄積部541に蓄積させ、画像蓄積部541に蓄積された復号済みの動画像データのフレームをブロックに区切ってブロック内の画素位置による分類に基づいて分割した小画面画像をインター予測処理(動き補償予測処理)の参照画像として出力する。また、画像入出力制御部542は、画像蓄積部541に蓄積された復号された動画像データを出力させる。
なお、フレーム蓄積部54の画像蓄積部541内部では、画像符号化装置のフレーム蓄積部B15の画像蓄積部B151と同様に、入力時点で復号済みの小画面画像(局所復号画像)を複数の小画面画像に割り振った各領域に分割が済んだ状態のまま蓄積し、参照する各小画面画像を出力しても、また入力時点で複数の復号済みの小画面画像を一旦1つのフレームを構成するように戻し、出力時に動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて、参照する各小画面画像の対象画素を再度出力していっても構わない。一方、再生する動画像データは、小画面画像単位ではなく、合成したフレーム単位で出力するため、入力時点、出力時点のどちらで複数の小画面画像を1つのフレームに合成するか、予測のための参照処理、再生のための合成処理の負荷状況をみて設計すればよい。メモリに余裕がある場合には、フレーム単位と複数の小画面画像単位で並列に蓄積して出力できるようにしてもよい。
図15は、この発明の実施の形態1に係る画像復号装置の予測画像生成部の一例を示す構成図である。図において、予測画像生成部55は、予測画像生成手段として、イントラ予測部551、インター予測部552、予測モード選択部553から構成される。イントラ予測部551は、イントラ予測処理による少なくとも1つの予測画像を生成する。インター予測部552は、フレーム蓄積部54に蓄積された復号済みの小画面画像(局所復号画像)を参照画像として動き探索を実施して動きベクトルを算出するインター予測処理(動き補償予測処理)による少なくとも1つの予測画像を生成する。予測モード選択部553は、ビットストリームで通知された予測モードからイントラ予測部551またはインター予測部552を選択して予測画像を生成させ、その予測画像を伸長部52に出力する。
復号制御部71は、復号部51からビットストリームから分離した付加情報を受け取って、符号化パラメータに対応する復号パラメータを設定し、復号部51、伸長部52、補正部53、フレーム蓄積部54、予測画像生成部55を制御する。
付加情報には、例えば分割情報、逆直交変換のための変換係数、逆量子化のための量子化ステップサイズなどの情報を含む。フレーム蓄積部54には、分割情報を指定して、復号された複数の小画面画像を合成して動画像データのフレームを再構成させ、複数の小画面画像に分割させて小画面画像を出力させる。また、伸長部52には、変換係数、量子化ステップサイズを指定して制御する(図示せず)。また、付加情報には、予測画像生成部55に通知する予測画像の生成に適用する予測モードの情報などもある(図示せず)。
なお、この発明の実施の形態1に係る画像復号装置の構成図として説明した図11では、画像復号装置の構成要素である復号部51、伸長部52、補正部53、フレーム蓄積部54、予測画像生成部55、復号制御部71のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像復号装置がコンピュータで構成される場合、フレーム蓄積部54の画像蓄積部541をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、復号部51、伸長部52、補正部53、フレーム蓄積部54の画像入出力制御部542、予測画像生成部55、復号制御部71の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
以上のように、この発明の実施の形態1に係る画像符号化装置および画像復号装置によれば、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター(フレーム間)予測、復号済みの小画面画像を参照してインター(フレーム間)予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化(圧縮)を実現することができるという効果を奏する。
また、この発明の実施の形態1に係る画像符号化装置および画像復号装置によれば、動画像データのフレームに対して、同一フレームに属する少なくとも1つの符号化対象の小画面画像をイントラ(フレーム内)予測し、残る符号化対象の小画面画像を同一フレームに属する符号化済みの小画面画像を参照してインター(フレーム間)予測するようにしたので、フレーム単体で復号が可能なものとなるため、フレーム全体を1つのIピクチャとして符号化するものと等価に扱うことができ、動画像データに復号エラーが発生してもリフレッシュポイントを確保することができるという効果を奏する。また、フレーム全体をIピクチャとして符号化するよりも高い圧縮率を得ることができる。
実施の形態2.
先に説明したこの発明の実施の形態1に係る画像符号化装置および画像復号装置は、動画像データのフレームを複数の小画面画像に分割して、時系列に小画面画像を符号化し、該符号化の際に、同一フレームに属する符号化済みの小画面画像を参照してインター(フレーム間)符号化を行い、同一フレームに属する小画面画像間の相関を利用した効率的な符号化(圧縮)を実現するものであった。
次に、この発明の実施の形態2に係る画像符号化装置および画像復号装置では、さらに、符号化対象の小画面画像を符号化する代わりに、同一フレームに属する符号化済みの小画面画像を参照して、参照する小画面画像と符号化対象の小画面画像の差分であるオフセット情報を用いて、参照する小画面画像に対してオフセット補正処理を行い、またフレーム分割時の小画面画像の画素の位置関係に基づいて符号化済みの小画面画像から同一フレームに属する他の小画面画像を生成するフィルタリング係数を用いて、参照する小画面画像に対してフィルタリング処理を行うものを説明する。
図17は、この発明の実施の形態2に係る画像符号化装置の一例を示す構成図である。図において、画像符号化装置は、フレーム蓄積部A11、圧縮部12、伸長部13、補正部14、フレーム蓄積部B15、予測画像生成部16、符号化部17、通信路状態監視部18、符号化制御部31から構成される。
補正部14は、同一フレーム内で参照する符号化済みの小画面画像と符号化対象の小画面画像との差分であるオフセット情報と参照する符号化済みの小画面画像に対するフィルタリング情報とを含む復元パラメータとを符号化部17に出力するとともに、復元パラメータにより参照する符号化済みの小画面画像を補正した局所復号画像を生成する。符号化部17は、圧縮データを符号化して符号化データを生成するとともに、復元パラメータのオフセット情報とフィルタリング情報とを含めた付加情報を符号化データに多重化したビットストリームを出力する。また、符号化部17は、オフセット情報とフィルタリング情報の少なくとも一方の復元パラメータを使用して符号化するとき、符号化対象の小画面画像を符号化せず、スキップモードを示す情報を符号化する。符号化制御部31は、通信路状態監視部18が決定した目標ビットレートに基づいて、オフセット情報とフィルタリング情報を含む復元パラメータを設定し、フレーム蓄積部A11、圧縮部12、伸長部13、補正部14、フレーム蓄積部B15、予測画像生成部16、符号化部17を制御する。また、符号化制御部31は、補正部14にオフセット情報とフィルタリング情報による補正を適用するか否かを示すフラグ情報を処理単位ごとに指示するとともに、符号化部17にスキップモードによる符号化を指示する。他のフレーム蓄積部A11、圧縮部12、伸長部13、フレーム蓄積部B15、予測画像生成部16、通信路状態監視部18は、図1で説明したこの発明の実施の形態1に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。
なお、符号化部17は、付加情報に含める復元パラメータのオフセット情報をそのまま付加してもよいし、符号化して付加してもよい。また、補正部14は、同一フレーム内で参照する符号化済みの小画面画像が自由に選択できるとき、その符号化済みの小画面画像を選択するための情報も復元パラメータに含めてもよい。さらに、復元パラメータのフィルタリング情報は、符号化対象の小画面画像の符号化ごとに参照する符号化済みの小画面画像に対する位相情報のみ付加してもよい。位相情報に対応したフィルタリング処理のためのフィルタ係数は、例えば適用に先立って、例えば符号化対象の小画面画像の符号化開始時または開始した後でも最初に適用する前に画像復号装置へ送付してもよいし、また画像符号化装置と画像復号装置で共通のフィルタ係数の生成手段を補正部14/補正部53または符号化制御部31/復号制御部71のいずれかに備えることで共通のフィルタ係数の生成に必要な最小限の情報のみ送付するようにしてもよい。また、符号化制御部31から補正部14に指示するフラグ情報は、補正部14から復元パラメータに含めても、符号化制御部31から符号化部17にフラグ情報を付加情報に直接含めるように指示しても構わない。フラグ情報は、符号化対象の小画面画像の符号化におけるオフセット補正処理とフィルタリング補正処理の適用有無を示す情報、また符号化に際して適用するときには例えば符号化ブロックなどの符号化単位ごとの適用有無を示す情報として画像符号化装置から画像復号装置へビットストリームに付加して通知し、オフセット補正処理とフィルタリング補正処理で個々に設定してもよい。また、符号化制御部31から補正処理の適用が指示されても、例えば誤差自乗和等の評価値で適用しない方が画質や符号長の観点から好ましいと判断され、ビットレートも許容できるときには、補正部14によりフラグ情報を修正し、符号化部17へ直接または符号化制御部31を介して通知してもよい。
この画像符号化装置について、より詳細に説明する。
図18は、この発明の実施の形態2に係る画像符号化装置の補正部の一例を示す構成図である。図において、補正部14は、補正手段として、デブロッキングフィルタ部141、オフセット補正処理部(SAO処理部)142、フィルタリング補正処理部(ALF処理部)143、パラメータ設定部144から構成される。
デブロッキングフィルタ部141は、この発明の実施の形態1に係る画像符号化装置における図7の補正部14のデブロッキングフィルタ部141と同様に、伸長データにデブロッキング処理を適用する。
SAO処理部142は、符号化制御部31からオフセット情報による補正を適用することを通知されたとき、同一フレームに属する符号化済みの小画面画像とフレーム蓄積部A11から得た符号化対象の小画面画像との差分であるオフセット情報を符号化部17に出力し、同一フレームに属する符号化済みの小画面画像をオフセット補正処理した小画面画像を生成する。また、符号化制御部31からオフセット情報による補正を適用することを通知されていないときには、デブロッキングフィルタ部141により伸長データにデブロッキング処理を適用した小画面画像をそのまま出力する。
ALF処理部143は、符号化制御部31からフィルタリング情報による補正を適用することを通知されたとき、SAO処理部142から出力された小画面画像にフィルタリング処理した局部復号画像を生成する。また、符号化制御部31からフィルタリング情報による補正を適用することを通知されていないときには、SAO処理部142から出力された小画面画像を局部復号画像としてそのまま出力する。
このように、SAO処理部142から出力される小画面画像は、(1)符号化済みの小画面画像を参照画像としてオフセット補正処理を実行した小画面画像の場合と、(2)伸長データにデブロッキング処理を適用した小画面画像のまま、オフセット補正処理を実行しない小画面画像の場合がある。
また、ALF処理部143から出力される小画面画像は、(1)符号化済みの小画面画像を参照画像としてオフセット補正処理とフィルタリング補正処理の両方を実行した小画面画像の場合と、(2)符号化済みの復号画像を参照画像としてオフセット補正処理のみ実行し、フィルタリング補正処理を実行していない小画面画像の場合と、(3)符号化済みの小画面画像を参照画像としてフィルタリング処理のみ実行した小画面画像の場合と、(4)伸長データにデブロッキング処理を適用した小画面画像のまま、オフセット補正処理とフィルタリング補正処理の両方とも実行しない小画面画像の場合がある。
これらの小画面画像の出力は、オフセット情報とフィルタリング情報による補正処理を適用するか否かを示すフラグ情報の組合せで区別される。オフセット情報とフィルタリング情報による補正処理のいずれかを行うときには、符号化済みの小画面画像を参照画像とすることで、符号化対象の小画面画像の符号化は、スキップモードで扱われて間引かれる。スキップモードで符号化されているか否かは、オフセット情報とフィルタリング情報による補正処理を適用するフラグ情報の少なくともいずれかの適用設定により確認でき、またスキップモードの適用有無を示すフラグ情報を別途設けても構わない。
符号化制御部31では、目標ビットレートに応じて、フレームごとにスキップモードを適用したオフセット補正処理とフィルタリング補正処理による間引きする分割小画面の数を決定してもよい。基本的には、目標ビットレートが低くなるほど、間引きする分割小画面の数を多くする。このとき、全フレームを同じ方針で間引くのではなく、Iピクチャを含むフレームなど後続フレームで参照されるフレームでは間引き数を少なくするなど、フレームごとに重み付けをすることで、間引きによる画質劣化を抑えることができる。また、画像の絵柄が複雑な場合(画像信号の周波数が高い場合)は、フィルタリング補正処理による画像復元効果が低下しやすいため、間引きを少なくするような適応処理を行ってもよい。また、参照画像と間引き対象画像との画素位置の差に基づいて、フィルタリング補正処理のフィルタリング係数、また参照画像と間引き対象画像との画素レベルの差に基づいてオフセット補正処理のオフセット情報の符号化時の圧縮率を決定してもよい。
また、全フレームで間引く小画面画像の位置(位相)を共通化するのではなく、フレームごとに間引く位置を切り替えてもよい。例えば、図3に示したP1〜P4の小画面のうち、同一フレームで3つの小画面画像を間引くのであれば、間引く小画面画像の符号化順を後方に入れ替えるとともに、第1フレームではP2、P3、P4、第2フレームではP1、P3、P4、第3フレームではP1、P2、P4を間引くようにする。このようにすることで、特定の画素位置の情報のみ欠落するといったことが抑えられ、画像復号装置側で超解像処理を実施する場合に、画像の復元効果を高めることができる。
図19は、この発明の実施の形態2に係る画像符号化装置の補正部によるALFによる近似画像を生成する処理の一例を示す説明図である。図において、動画像のフレーム#1を分割した小画面画像#1P1〜#1P4において、小画面画像#1P1は間引かず、小画面画像#1P2〜P4を間引いて符号化する例を示している。小画面画像#1P2は、小画面画像#1P1を参照画像としてスキップモードで符号化し、さらにALFパラメータとして、画素位置を0.5画素右にシフトするようなフィルタ係数を設定する。画像復号装置で小画面画像#1P2の圧縮画像を復号すると、ALF処理前の復号画像は小画面画像#1P1と等価なものとなり、当該画像に対して0.5画素右に位相シフトさせるALF処理後の復号画像は、本来の小画面画像#1P2の画素位置に相当する画素が生成される。当該画素は小画面画像#1P2の本来の画素とは等価ではないが、近似のものとなる。同様に、小画面画像#1P3では、画素位置を0.5画素下にシフトするようなフィルタ係数を使用し、小画面画像#1P4では画素位置を0.5画素ずつ右下にシフトするようなフィルタ係数を使用することで、画像復号装置では小画面画像#1P3、#1P4の近似画像が生成される。
図20は、この発明の実施の形態2に係る画像復号装置の一例を示す構成図である。図において、画像復号装置は、復号部51、伸長部52、補正部53、フレーム蓄積部54、予測画像生成部55、復号制御部71から構成される。
復号部51は、画像符号化装置から通信路を介して受信したビットストリームを付加情報と符号化データとに分離し、付加情報に含まれる復元パラメータを補正部53に出力し、他の付加情報を復号制御部71に出力するとともに、符号化データを復号し、圧縮データを生成する。補正部53は、復号部51から受け取った復元パラメータのオフセット情報と復号制御部71から受け取った復元パラメータに基づいて伸長データを補正した局所復号画像を生成する。復号制御部71は、復号部51からビットストリームから分離して受け取った付加情報を受け取って、付加情報に含まれた復元パラメータを補正部53に送信する。他の伸長部52、フレーム蓄積部54、予測画像生成部55は、図11で説明したこの発明の実施の形態1に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。
なお、復号部51は、付加情報から分離した復元パラメータに含まれるオフセット情報が符号化されたものであれば復号して補正部に出力する。また、補正部53は、同一フレーム内で参照する復号済みの小画面画像が自由に選択できるとき、その復号済みの小画面画像を選択するための情報を復元パラメータから得る。さらに、復元パラメータのフィルタリング情報は、復号対象の小画面画像の復号ごとに参照する復号済みの小画面画像に対する位相情報が付加されていれば得る。位相情報に対応したフィルタリング処理のためのフィルタ係数は、例えば適用に先立って画像符号化装置から受け取ってもよいし、また画像符号化装置と画像復号装置で共通のフィルタ係数の生成手段を補正部14および補正部53、または、符号化制御部31および復号制御部71に備えることで共通のフィルタ係数の生成に必要な最小限の情報のみ受け取るようにしてもよい。また、規定のフィルタ係数のセットを画像符号化装置と画像復号装置で共通知識として有していてもよい。また、補正部53に指示されるフラグ情報は、補正部14が受け取った復元パラメータから得ても、復号部51から復号制御部71を介して得てもよい。
この画像復号装置について、より詳細に説明する。
図21は、この発明の実施の形態2に係る画像復号装置の補正部の一例を示す構成図である。図において、補正部53は、補正手段として、デブロッキングフィルタ部531、オフセット補正処理部(SAO処理部)532、フィルタリング補正処理部(ALF処理部)533、パラメータ設定部534から構成される。
デブロッキングフィルタ部531は、この発明の実施の形態1に係る画像復号装置における図13の補正部53のデブロッキングフィルタ部531と同様に、伸長データにデブロッキング処理を適用する。
SAO処理部532は、復号制御部71からオフセット情報による補正を適用することを通知されたとき、同一フレームに属する復号済みの小画面画像と復号対象の小画面画像との差分であるオフセット情報を復号部51から得て、同一フレームに属する復号済みの小画面画像をオフセット補正処理した小画面画像を生成する。また、復号制御部71からオフセット情報による補正を適用することを通知されていないときには、デブロッキングフィルタ部531により伸長データにデブロッキング処理を適用した小画面画像をそのまま出力する。
ALF処理部533は、復号制御部71からフィルタリング情報による補正を適用することを通知されたとき、SAO処理部532が出力した小画面画像にフィルタリング処理した局部復号画像を生成する。また、復号制御部71からフィルタリング情報による補正を適用することを通知されていないときには、SAO処理部532から出力された小画面画像を局部復号画像としてそのまま出力する。
この発明の実施の形態2に係る画像符号化装置の補正部14におけるSAO処理部142、ALF処理部143では、オフセット情報とフィルタリング情報の少なくとも一方を使用して符号化するとき、符号化対象の小画面画像を符号化せず、例えばスキップモードを示す情報と、同一フレームに属する符号化済みの小画面画像から参照する参照画像を示す情報と、その参照画像と符号化対象の小画面画像との差分であるオフセット補正処理のオフセット情報、フィルタリング補正処理のフィルタ係数や位相情報といった通知された補正処理の適用に必要な情報がビットストリームに多重化される。なお、同一フレームに属する符号化済みの小画面画像から参照するのではなく、スキップモードを適用しないで、デブロッキングフィルタ部531がデブロッキングフィルタ処理した小画面画像を参照画像として、オフセット補正処理やフィルタリング処理を適用できるようにしてもよい。画像復号装置の補正部53におけるSAO処理部532、ALF処理部533では、画像符号化装置の補正部14に対応して、ビットストリームに多重化された情報を得て、参照画像にオフセット補正処理とフィルタリング補正処理の少なくとも一方を使用して復号対象の小画面画像を生成する。なお、同一フレームに属する符号化済みの小画面画像から参照するのではなく、スキップモードを適用しないで、デブロッキングフィルタ部531がデブロッキングフィルタ処理した小画面画像を参照画像として、オフセット補正処理やフィルタリング処理を適用できるようにしてもよい。
なお、画像符号化装置の符号化制御部31から補正部14に指示するフラグ情報の挿入は、符号化ブロック等の各種処理単位、小画面画像等のピクチャ(フレーム)単位のいずれでも構わない。フラグ情報は、適用することを示す値(例えば1)、適用しないことを示す値(例えば0)とし、SAO処理、ALF処理の適用有無を示すフラグ情報を例えば符号化対象画像のフレームごと、あるいは同一フレーム内の小画面画像ごと、小画面画像内のブロックごとに通知する。なお、上位(例えば符号化対象のフレーム)で適用するとフラグ情報を示した場合は、それより下位(例えば小画面画像)の各単位ではフラグ情報を示すものとする。また、上位で適用しないとフラグ情報を示した場合は、それより下位の各単位ではフラグ情報を示す必要はない。なお、SAO処理、ALF処理の機能の適用が決まっているときは、上位でフラグ情報によって適用を明示しなくても、最下位の処理単位(例えば小画面画像のブロック)ごとに適用有無を示すフラグ情報を示すだけでもよい。同様に、画像復号装置の補正部53に指示されるフラグ情報の抽出は、画像符号化装置に対応して、復号ブロック等の各種処理単位、小画面画像等のピクチャ(フレーム)単位のいずれでも構わない。
また、画像符号化装置の補正部14は、同一フレーム内に限定せず、また符号化済みのフレームを含めて、参照する符号化済みの小画面画像を自由に選択できるとき、その符号化済みの小画面画像を選択するための情報も復元パラメータに含めてもよい。同様に、画像復号装置の補正部53は、画像符号化装置に対応して、同一フレーム内に限定せず、また復号済みのフレームを含めて、参照する復号済みの小画面画像を自由に選択できるとき、その復号済みの小画面画像を選択するための情報を復元パラメータから得てもよい。
また、画像復号装置の補正部53は、小画面画像の間引きによる解像度の低下を補正するために、例えばシャープネスや超解像処理などの既知の方式による精細化処理を行ってもよい。ここで、フレーム内で間引かれずに残存する小画面の数(有効小画面数)によってシャープネスや超解像処理の強度の切り替える手段を設けることで、間引きの影響もよるフレーム間の画質の変動を抑制することができる。
なお、この発明の実施の形態2に係る画像符号化装置および画像復号装置では、補正部にSAO処理部、ALF処理部の2つを有するものを説明したが、いずれか一方のみに対応した画像符号化装置および画像復号装置を構成しても構わない。
以上のように、この発明の実施の形態2に係る画像符号化装置および画像復号装置によれば、この発明の実施の形態1に係る画像符号化装置および画像復号装置と同様に、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター(フレーム間)予測、復号済みの小画面画像を参照してインター(フレーム間)予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化(圧縮)を実現することができるという効果を奏する。
また、この発明の実施の形態2に係る画像符号化装置および画像復号装置によれば、同一フレームに属する一部の小画面画像をスキップモードで符号化し、参照画像に対する符号化対象の小画面画像との差分であるオフセット情報を符号化して送信して、参照画像をオフセット補正処理して小画面画像を復号させるようにしたので、画像の画質が向上するとともに、効率的な符号化(圧縮)を実現することができるという効果を奏する。
また、この発明の実施の形態2に係る画像符号化装置および画像復号装置によれば、同一フレームに属する一部の小画面画像をスキップモードで符号化し、同一フレームに属する符号化済みまたは復号済みの小画面画像をフィルタリング処理して小画面画像を復号させるようにしたので、効率的な符号化(圧縮)を実現することができるという効果を奏する。
実施の形態3.
この発明の実施の形態3に係る画像符号化装置および画像復号装置では、この発明の実施の形態1に係る画像符号化装置および画像復号装置に対して、同一フレーム内の符号化済みの小画面画像を符号化、または復号済みの小画面画像を復号した際の符号化パラメータを蓄積しておき、他の小画面画像の符号化または復号に適用するものを説明する。
図22は、この発明の実施の形態3に係る画像符号化装置の一例を示す構成図である。図において、画像符号化装置は、フレーム蓄積部A11、圧縮部12、伸長部13、補正部14、フレーム蓄積部B15、予測画像生成部16、符号化部17、通信路状態監視部18、符号化制御部31から構成される。
予測画像生成部16は、符号化対象の小画面画像を参照したフレーム内予測または符号化済みの小画面画像を参照したフレーム間予測により予測画像を生成するとともに、予測画像生成に適用した符号化パラメータを同一フレームに属する小画面画像間で共有する。符号化制御部31は、通信路状態監視部18が決定した目標ビットレートに基づいて、符号化パラメータを設定し、同一フレームに属する小画面画像間で符号化パラメータを共有するか否かを示すフラグ情報を予測画像生成部16に指示するとともに、フレーム蓄積部A11、圧縮部12、伸長部13、補正部14、フレーム蓄積部B15、予測画像生成部16、符号化部17を制御する。他のフレーム蓄積部A11、圧縮部12、伸長部13、フレーム蓄積部B15、通信路状態監視部18は、図1で説明したこの発明の実施の形態1に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。
この画像符号化装置について、より詳細に説明する。
図23は、この発明の実施の形態3に係る画像符号化装置の予測画像生成部の一例を示す構成図である。図において、予測画像生成部16は、予測画像生成手段として、イントラ予測部161、インター予測部162、予測モード選択部163、符号化パラメータ蓄積部164から構成される。イントラ予測部161、インター予測部162は、図9で説明したこの発明の実施の形態1に係る画像符号化装置の予測画像生成部を示す構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。予測モード選択部163は、例えば符号化ブロック単位で最も符号化効率が高い予測モード、または符号化制御部31から通知された共有フラグ情報が同一フレームに属する小画面画像間で符号化パラメータを共有すること示す場合、すでに共有すべき符号化パラメータがあれば、その符号化パラメータによる予測モードを選択して、その予測画像を圧縮部12および伸長部13に出力する。符号化パラメータ蓄積部164は、例えば同一フレームで共有すべき符号化パラメータがない最初の符号化対象の小画面画像において適用された符号化パラメータを蓄積し、共有すべき符号化パラメータがある符号化対象の小画面画像において符号化パラメータを参照させる。
共有する符号化パラメータは、単に予測モードだけでなく、ブロックサイズ、動き補償予測を用いた場合はその動きベクトル等の最初の符号化対象の小画面画像において適用された符号化パラメータが蓄積される。なお、符号化制御部31から通知される共有フラグ情報は、共有することを示す値(例えば1)、共有しないことを示す値(例えば0)とし、予め決まった符号化パラメータセットでの共有有無について示してもよいし、また各符号化パラメータの共有有無を示す情報を例えば符号化対象画像のフレームごと、あるいは同一フレーム内の小画面画像ごと、小画面画像内のブロックごとに通知されるようにしても構わない。なお、上位(例えば符号化対象のフレーム)で符号化パラメータの共有を使用するとフラグ情報を示した場合は、それより下位(例えば小画面画像)の各単位ではフラグ情報を示すものとする。また、上位で使用しないと共有フラグを示した場合は、それより下位の各単位では共有フラグを示す必要はない。なお、符号化パラメータの共有機能の適用が決まっているときは、上位でフラグ情報によって共有を明示しなくても、最下位の処理単位(例えば小画面画像のブロック)ごとに共有有無を示すフラグ情報を示すだけでもよい。このとき、符号化制御部31は、通知すべき符号化パラメータの共有有無を示す共有フラグ情報をビットストリームに多重化される付加情報に含めるように指示する。
ここで、同一フレームに属する小画面画像間で符号化パラメータを共有する場合、共有する符号化パラメータが予測モードであれば、先に判定してイントラ予測部161、インター予測部162のいずれかが予測画像を生成し、予測モード選択部163に選択されるようにしてもよい。動きベクトル等の共有が設定されていれば、適宜参照して予測画像を生成する。また、イントラ予測部161、インター予測部162が通常通り生成した予測画像のうち、予測モード選択部163が共有する符号化パラメータの予測モードで生成された予測画像を選択してもよい。
図24は、この発明の実施の形態3に係る画像符号化装置の予測画像生成部による符号化パラメータの共有フラグ情報を適用した処理の一例を示す説明図である。ここで、フレーム内で共有する符号化パラメータは動きベクトルや予測モードなどである。共有フラグ情報が0の場合は、符号化パラメータを共有しないので、小画面画像P2は単独で符号化を行う。また、共有フラグ情報が1の場合は、符号化パラメータを共有するので、小画面画像P2は、先に符号化した小画面画像P1における同一ブロック位置(例えばブロックBlk3)で符号化に用いた符号化パラメータを適用して符号化を行う。
図25は、この発明の実施の形態3に係る画像復号装置の一例を示す構成図である。図において、画像復号装置は、復号部51、伸長部52、補正部53、フレーム蓄積部54、予測画像生成部55、復号制御部71から構成される。
復号部51は、画像符号化装置から通信路を介して受信したビットストリームを付加情報と符号化データとに分離し、付加情報を復号制御部71に出力するとともに、符号化データを復号して圧縮データを生成する。伸長部52、補正部53、フレーム蓄積部54、予測画像生成部55は、図11で説明したこの発明の実施の形態1に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。予測画像生成部55は、復号対象の小画面画像を参照したフレーム内予測または復号済みの小画面画像を参照したフレーム間予測により予測画像を生成するとともに、予測画像生成に適用した符号化パラメータを同一フレームに属する小画面画像間で共有する。復号制御部71は、復号部51からビットストリームから分離した付加情報を受け取って、付加情報に含まれる共有フラグ情報を補正部53に送信するとともに、図11で説明したこの発明の実施の形態1に係る画像符号化装置の構成図に示した同一符号の構成要素と同様に、復号部51、伸長部52、補正部53、フレーム蓄積部54、予測画像生成部55を制御する。
この画像復号装置について、より詳細に説明する。
図26は、この発明の実施の形態3に係る画像復号装置の予測画像生成部の一例を示す構成図である。図において、予測画像生成部55は、予測画像生成手段として、イントラ予測部551、インター予測部552、予測モード選択部553、符号化パラメータ蓄積部554から構成される。イントラ予測部551、インター予測部552は、図15で説明したこの発明の実施の形態1に係る画像復号装置の予測画像生成部を示す構成図に示した同一符号の構成要素と同様に動作し、機能するものであり、その説明を省略する。予測モード選択部553は、例えば最も符号化効率が高い予測モード、または符号化制御部31から通知された共有フラグ情報が同一フレームに属する小画面画像間で符号化パラメータを共有すること示す場合、すでに共有すべき符号化パラメータがあれば、その符号化パラメータによる予測モードを選択して、その予測画像を伸長部52に出力する。符号化パラメータ蓄積部554は、例えば同一フレームで共有すべき符号化パラメータがない最初の復号対象の小画面画像において適用された符号化パラメータを蓄積し、共有すべき符号化パラメータがある復号対象の小画面画像において符号化パラメータを参照させる。
なお、符号化パラメータ蓄積部164、符号化パラメータ蓄積部554における符号化パラメータの蓄積容量に余裕があれば、同一フレーム内の小画面画像間の符号化パラメータの共有に限らず、符号化済みのフレームに属する小画面画像との符号化パラメータの共有することも可能である。また、フレーム内の複数の小画面画像の各符号化パラメータを蓄積し、フレーム内に残る他の小画面画像では選択して共有できるようにしてもよい。
以上のように、この発明の実施の形態3に係る画像符号化装置および画像復号装置によれば、この発明の実施の形態1に係る画像符号化装置および画像復号装置と同様に、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター(フレーム間)予測、復号済みの小画面画像を参照してインター(フレーム間)予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化(圧縮)を実現することができるという効果を奏する。
また、この発明の実施の形態3に係る画像符号化装置および画像復号装置によれば、同一フレーム内の符号化済みの小画面画像を符号化した際の符号化パラメータを蓄積しておき、他の小画面画像の符号化に適用することで、画像符号化装置において同一フレームに属する少なくとも1つの符号化対象の小画面画像を除き、他の小画面画像ごとに動きベクトルの探索を不要とし、画像符号化装置の処理負荷を低減できるとともに、動き補償予測や予測モード選択が符号化パラメータの参照で行えるため、ビットストリーム中の当該符号化パラメータのデータ量が削減でき、圧縮率を向上できるという効果を奏する。
実施の形態4.
この発明の実施の形態1に係る画像符号化装置および画像復号装置では、画像符号化装置が符号化対象フレームを複数の小画面画像に分割し、時系列に並び替えて符号化し、画像復号装置が復号対象フレームを複数の小画面画像として復号し、1つのフレームに合成するものを説明した。この発明の実施の形態4に係る画像符号化装置および画像復号装置では、画像符号化装置が符号化対象フレームを1つのフレームのまま、または複数に分割した小画面画像ごとに符号化単位を切り替えながら符号化し、画像復号装置が符号化単位に適応して1つのフレームのまま、または複数に分割した小画面画像ごとに復号単位を切り替えながら復号するものを説明する。
この発明の実施の形態4に係る画像符号化装置、画像復号装置を示す構成図は、図1、図11に示したこの発明の実施の形態1に係る画像符号化装置、画像復号装置を示す構成図と同様であるが、フレーム蓄積部A11、フレーム蓄積部B15における符号化対象画像の符号化単位、フレーム蓄積部54における復号対象画像の復号単位を切り替えて画像出力する点が異なっている。
図27は、この発明の実施の形態4に係る画像符号化装置のフレーム蓄積部Bによる符号化対象画像の大きさに合わせた参照画像を生成する処理の一例を示す説明図である。
図において、上段は、受け取った動画像データ(ピクチャ)のフレーム#1、#2、#3を含むGOP構造の符号化単位の一例であり、フレーム#1、#3がフレームのまま、フレーム#2が4つの小画面画像#2P1〜#2P4に分割されて符号化されることを示している。
中段は、フレーム#2の各小画面画像がフレーム#1を参照して符号化する際には、フレーム#1をフレーム#2と同様の小画面画像#1P1〜#1P4に分割し、参照画像とすることを示している。例えば、小画面画像#2P1は、参照画像リスト(リファレンスピクチャリスト)記載の小画面画像#1P1〜#1P4のいずれかを参照画像として選択できる。なお、小画面画像#2P2以降は、参照画像リスト(リファレンスピクチャリスト)に同一フレームに属する符号化済みの小画面画像を追加して候補としてもよい。
下段は、フレーム#3が小画面画像の単位で復号されたフレーム#2を参照して符号化する際には、フレーム#3に合わせて小画面画像#2P1〜#2P4を1つのフレームに合成し、参照画像とすることを示している。
このような符号化対象画像と参照画像の符号化単位、復号対象画像と参照画像の復号単位を合致させるために、フレームに対する小画面画像への分割または小画面画像の合成をフレーム蓄積部A11、フレーム蓄積部B15、フレーム蓄積部54が内部で実行する。
画像符号化装置のフレーム蓄積部A11の画像蓄積部A111内部では、入力時点で分割方法があらかじめ分かっていれば、動画像データのフレームを複数の小画面画像に割り振った各領域に分割が済んだ状態で蓄積し、各小画面画像を時系列に出力しても、また入力時点では1つのフレームのまま蓄積し、出力時点で動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて各小画面画像の対象画素を時系列に出力していっても構わない。メモリに余裕がある場合には、フレーム単位と複数の小画面画像単位で並列に蓄積して出力できるようにしてもよい。
また、画像符号化装置のフレーム蓄積部B15の画像蓄積部B151内部では、入力時点で復号済みの小画面画像(局所復号画像)を複数の小画面画像に割り振った各領域に分割が済んだ状態のまま蓄積し、参照する各小画面画像を出力しても、また入力時点で複数の復号済みの小画面画像を一旦1つのフレームを構成するように戻し、出力時に動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて、参照する各小画面画像の対象画素を再度出力していっても構わない。メモリに余裕がある場合には、フレーム単位と複数の小画面画像単位で並列に蓄積して出力できるようにしてもよい。
また、画像復号装置のフレーム蓄積部54の画像蓄積部541内部では、画像符号化装置のフレーム蓄積部B15の画像蓄積部B151と同様に、入力時点で復号済みの小画面画像(局所復号画像)を複数の小画面画像に割り振った各領域に分割が済んだ状態のまま蓄積し、参照する各小画面画像を出力しても、また入力時点で複数の復号済みの小画面画像を一旦1つのフレームを構成するように戻し、出力時に動画像データのフレームを区切ったブロック内の画素位置による分類に基づいて、参照する各小画面画像の対象画素を再度出力していっても構わない。一方、再生する動画像データは、小画面画像単位ではなく、合成したフレーム単位で出力するため、入力時点、出力時点のどちらで複数の小画面画像を1つのフレームに合成するか、予測のための参照処理、再生のための合成処理の負荷状況をみて設計することもできる。メモリに余裕がある場合には、フレーム単位と複数の小画面画像単位で並列に蓄積して出力できるようにしてもよい。
なお、符号化対象画像と参照画像の符号化単位、復号対象画像と参照画像の復号単位の不整合がないように、画像符号化装置の符号化制御部31が分割フラグ情報をフレーム蓄積部A11、フレーム蓄積部B15に指示し、付加情報の一部としてビットストリームに多重化して通知することで、画像復号装置の復号制御部71が分割フラグ情報をフレーム蓄積部54に指示できる。なお、符号化制御部31から通知される分割フラグ情報は、分割することを示す値(例えば1)、分割しないことを示す値(例えば0)で示し、分割数が自由に選択できるとき、例えば分割数や小画面画像サイズを合わせて通知することで、3種以上のフレーム分割状況から選択して適用する画像符号化装置及び画像復号装置にも対応できる。
以上のように、この発明の実施の形態4に係る画像符号化装置および画像復号装置によれば、この発明の実施の形態1に係る画像符号化装置および画像復号装置と同様に、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター(フレーム間)予測、復号済みの小画面画像を参照してインター(フレーム間)予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化(圧縮)を実現することができるという効果を奏する。
また、この発明の実施の形態4に係る画像符号化装置および画像復号装置によれば、画像符号化装置における参照画像の符号化単位が符号化対象画像の符号化単位と異なるとき、フレーム蓄積部A11、フレーム蓄積部B15が符号化単位を合致させるように変換するようにしたので、符号化対象画像と参照画像との符号化単位の不整合があるときでも符号化することができるという効果を奏する。また、画像復号装置における参照画像の復号単位が復号対象画像の復号単位と異なるとき、フレーム蓄積部54が復号単位を合致させるように変換するようにしたので、復号対象画像と参照画像との復号単位の不整合があるときでも復号することができるという効果を奏する。
なお、この発明に係る画像符号化装置において、この発明の実施の形態2に係る画像符号化装置におけるオフセット補正およびフィルタリング補正、この発明の実施の形態3に係る画像符号化装置の符号化パラメータの共有、この発明の実施の形態4に係る画像符号化装置の符号化対象画像と参照画像との符号化単位の変換のうち、いくつかをこの発明の実施の形態1に係る画像符号化装置に組み合わせて構成してもよい。同様に、この発明に係る画像復号装置において、この発明の実施の形態2に係る画像復号装置におけるオフセット補正、フィルタリング補正、この発明の実施の形態3に係る画像復号装置の符号化パラメータの共有、この発明の実施の形態4に係る画像復号装置の復号対象画像と参照画像との復号単位の変換のうち、いくつかをこの発明の実施の形態1に係る画像復号装置に組み合わせて構成してもよい。
この発明に係る画像符号化装置および画像復号装置において、フレームの分割情報、オフセット補正処理の適用有無を示す情報、フィルタリング補正処理の適用有無を示す情報、符号化パラメータの共有有無を示す情報などは、それぞれの情報を適用するフレーム、小画面画像、画像内のブロックや領域が画像符号化装置や画像復号装置で予め規定した共通知識や例えばビットシーケンスの最初に最小限の通知を行って情報共有し、それぞれ一意の設定で適用することができる処理については、処理ごとに通知する必要がないことは記載するまでもない。
このように、この発明に係る画像符号化装置および画像復号装置によれば、動画像データのフレームを複数の小画面画像に分割し、同一フレームに属する小画面画像を含めた符号化済みの小画面画像を参照してインター(フレーム間)予測、復号済みの小画面画像を参照してインター(フレーム間)予測を行うようにしたので、同一フレームに属する小画面画像間の相関を利用した効率的な符号化(圧縮)を実現することができるという効果を奏する。また、通信路の帯域や記録媒体の残量等に応じて柔軟にビットレートを制御することを可能とし、また、低ビットレートで符号化する場合にも、分割画像間の相関を利用して圧縮率を高められるとともに、高い画質を維持することが可能となる。