JP2024057980A

JP2024057980A - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Info

Publication number: JP2024057980A
Application number: JP2022165024A
Authority: JP
Inventors: 孝明石川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-10-13
Filing date: 2022-10-13
Publication date: 2024-04-25
Also published as: WO2024079965A1

Abstract

【課題】ズームシーン等において、インター予測に用いる参照フレームの画面外画素をより精度よく生成し、符号化効率を改善する。【解決手段】符号化対象の第１のフレーム内の着目ブロックに対し、第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測部と、当該予測画像に対する着目ブロックの予測誤差データを符号化する符号化部と、第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、第２のフレームの境界外の画素を補間する補間部と、第１のフレームより前のフレームの解像度を変更する変換部とを含む。【選択図】図１

Description

本発明は、画像の符号化／復号技術に関するものである。

動画像の圧縮記録の符号化方式として、ＶＶＣ（Versatile Video Coding）符号化方式（以下、単にＶＶＣと記す）が知られている。ＶＶＣでは符号化効率向上のため、ＣＴＵ（Coding Tree Unit）と呼ばれる基本ブロックを、従来の正方形だけではなく、長方形のサブブロックへと分割する。

また、ＶＶＣでは、ズームシーン等における効率的なインター予測を可能とする目的から、スケーリングウィンドウと呼ばれる参照ピクチャの空間解像度を制御する技術が採用されている。さらに、ＶＶＣを代表とする動画像符号化では、インター予測において画面境界外の画素を参照するため、画面境界外の画素を補間する必要がある。特許文献１では、タイル単位の符号化処理における画面境界外の画素の補間技術が開示されている。

近年、ＶＶＣを標準化したＪＶＥＴ（Joint Video Experts Team）では、ＶＶＣを上回る符号化効率や高画質化を達成するための新たな符号化技術の検討が進められている。その一つの技術として、符号化効率の向上を目的として、インター予測に用いる参照ピクチャの画面境界外に位置する画素を、前記の参照ピクチャとは異なる参照ピクチャの画面境界内に位置する画素を用いて生成する新たな外挿手法（以下、動き補償画素補間と呼称する）の導入が検討されている。

特開２０１８－０５００８５号公報

ＶＶＣでは、スケーリングウィンドウと呼ばれる技術が採用されており、各ピクチャにスケール処理に基づいた矩形領域を設定することができる。インター予測において、各フレームに設定されたスケーリングウィンドウのサイズを比較することで、フレーム間に生じるオブジェクトの拡大又は縮小を考慮したインター予測が可能になる。

また、ＶＶＣでは、インター予測を用いた予測画像を生成するために、参照ピクチャの画面境界外に位置する画素の情報を用いる場合がある。画面境界外の画素は符号化対象ではないため、符号化及び復号処理の双方に共通する補間方法として、参照ピクチャの画面境界の内側に位置する画素を単純に複製する補間を用いる。これに対して、ＪＶＥＴでは、参照フレームの画面境界外の画素を画面境界内のブロックが有する動き情報を用いて、前記の参照フレームとは異なる参照フレームの画面境界内の画素から生成する動き補償画素補間が検討されている。

しかしながら、参照ピクチャにスケーリングウィンドウが設定され、参照ピクチャの拡大又は縮小を伴う場合や、参照ピクチャの画面境界内のブロックが動き情報を有していない場合ついては動き補償画素補間を適用しない。そのため、インター予測における予測精度を向上できないという問題がある。

本発明はかかる問題に鑑みなされたものであり、解像度変換を伴うインター予測における動き補償画素の補間精度を、これまでよりも向上させ、もって高効率で符号化する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
符号化対象の第１のフレーム内の着目ブロックに対し、前記第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測手段と、
前記予測画像に対する前記着目ブロックの予測誤差を符号化する符号化手段と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間手段と、
前記第１のフレームより前のフレームの解像度を変更する変換手段とを有する。

本発明によれば、インター予測に用いる参照フレームの画面外画素をより精度よく生成し、符号化効率を改善することができる。

実施形態における画像符号化装置のブロック構成図。実施形態における画像復号装置のブロック構成図。実施形態における符号化処理を示すフローチャート。実施形態における画像復号処理を示すフローチャート。実施形態の画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成図。ビットストリーム構造の一例を示す図。本実施形態で用いられるサブブロック分割例を示す図。単純複製画素補間の一例を示す図。動き補償画素補間による画面外画素補間の一例を示す図。参照ピクチャの解像度変換を伴う動き補償画素補間による画面外画素補間の一例を示す図。参照ピクチャの解像度変換を伴う動き補償画素補間による画面外画素補間の一例を示す図。動き補償画素補間により補間されない画面境界外画素の画素生成の一例を示す図。境界ブロックに隣接するブロック情報を用いて動き補償画素補間により画面外画素補間する一例を示す図。本実施形態における動き補償画素補間の高速化処理の例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は実施形態の画像符号化装置を示すブロック図である。同図において、制御部１００はＣＰＵ、及び、ＣＰＵが実行するプログラムを格納するメモリで構成され、装置全体の制御を司る。端子１０１は画像データを入力する入力端子である。端子１０１には、符号化対象の動画像データの発生源が接続される。動画像データの発生源の種類は特に問わないが、典型的には、撮像部、或いは、符号化対象の動画像画像データを記憶する記憶装置である。

ブロック分割部１０２は、端子１０１を介して受信した１フレームの画像を複数の基本ブロックに分割し、基本ブロック単位のブロック画像を後段に出力する。

生成部１０３は、参照ピクチャの解像度変換に用いるオフセット情報などを生成し、解像度変換部１１３および統合符号化部１１１へ出力する。本実施形態において、オフセット情報とは、各ピクチャにおけるスケーリングウィンドウを設定するための情報であり、当該ピクチャの拡大率又は縮小率を算出するために生成される情報である（以降、解像度変換制御情報と呼称する）。解像度変換制御情報の生成方法については特に限定しないが、ユーザが解像度変換制御情報を入力してもよいし、映像の撮像デバイスにおいて検出されるズームイン・ズームアウト等の動作から導出される情報を解像度変換制御情報として入力してもよいし、或いは、初期値としてあらかじめ指定された解像度変換制御情報を使用してもよい。

予測部１０４は、基本ブロックを分割することによりサブブロックを生成する。そして、予測部１０４は、サブブロック単位でフレーム内予測であるイントラ予測やフレーム間予測であるインター予測のいずれを行うのかを決定する。予測部１０４は、補間部１１４から供給される画面境界外の画素が補間された画像（以降、補間画像と呼称する）を適宜参照して、予測画像データを生成する。さらに、予測部１０４は、符号化対象の画像データと生成された予測画像データとから、予測誤差を算出し、その予測誤差を変換・量子化部１０５に出力する。また、予測部１０４は、予測に必要な情報、例えばサブブロック分割、予測モードや動きベクトル等の情報も予測誤差と併せて出力する。以下ではこの予測に必要な情報を予測情報と呼称する。また、予測部１０４は、予測情報を補間部１１４にも出力する。

変換・量子化部１０５は、サブブロック単位で予測誤差データの直交変換を行い、得られた変換係数に対して、設定された量子化パラメータを用いて量子化を行い、残差係数を得る。なお、量子化パラメータは、直交変換によって得られた変換係数の量子化に用いるパラメータである。

逆量子化・逆変換部１０６は、変換・量子化部１０５から出力された残差係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差データを再生する。

フレームメモリ１０８は、再生された画像データを格納するメモリである。

解像度変換部１１３は、フレームメモリ１０８に格納された画像を解像度変換制御情報に基づいて拡大又は縮小し、その拡大または縮小後の画像を、解像度変換画像として出力する。

補間部１１４は、解像度変換部１１３が出力する解像度変換画像と、予測部１０４が出力する予測情報と、フレームメモリ１０８に格納されたフィルタ画像を適宜参照し、補間画像データを生成する。そして、補間部１１４は、生成した補間画像データを予測部１０４及び画像再生部１０７に出力する。なお、補間部１１４は、生成した画面外画素の情報を含む画像データを補間画像としてフレームメモリ１０８に格納してもよい。また、補間部１１４は、フレームメモリ１０８から生成済みの補間画像を取り出し、予測部１０４及び画像再生部１０７に出力してもよい。

画像再生部１０７は、予測部１０４から出力された予測情報に基づいて、補間部１１４が出力する補間画像データと、予測誤差データとから再生画像データを生成する。

インループフィルタ部１０９は、再生画像に対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。

符号化部１１０は、変換・量子化部１０５から出力された残差係数および予測部１０４から出力された予測情報を符号化して、符号データを生成する。

統合符号化部１１１は、生成部１０３の出力である解像度変換制御情報を符号化して、ヘッダ符号データを生成する。さらに統合符号化部１１１は、符号化部１１０から出力された符号データと合わせて、ビットストリームを形成する。

端子１１２は、統合符号化部１１１で生成されたビットストリームを外部に出力する出力端子である。出力先の種類としては、ネットワーク、もしくは記憶装置（記録媒体を含む）である。

以上、実施形態における画像符号化装置の構成と基本的な動作を説明した。次に、画像符号化装置による画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成とするが、１フレーム分の静止画像データを入力する構成としても構わない。

画像の符号化に先立ち、生成部１０３は、解像度変換制御情報を生成する。本実施形態おける解像度変換制御情報は、現ピクチャの水平サイズ及び垂直サイズと、現ピクチャのスケーリングウィンドウを表すオフセット情報、水平方向及び垂直方向の解像度変換倍率が含まれる。現ピクチャの水平サイズ及び垂直サイズは、端子１０１から入力された画像の水平方向の画素数及び垂直方向の画素数である。次に、スケーリングウィンドウを表すオフセット情報とは、現ピクチャに対するスケーリングウインドウの位置とサイズを規定する情報である。本実施形態では、スケーリングウインドウの位置とサイズを、現ピクチャの左辺、右辺、上辺、下辺の各辺からスケーリングウインドウの各辺までの距離を用いて規定し、これをオフセット情報とする。各辺に対するオフセットは、画素数で表現される。また、同オフセットは、ピクチャの画面境界から中心に向かう正の値で表され、画面境界から外に向かう値を負の値で表す。以降の説明では、各辺に対するオフセットを、左辺オフセット、右辺オフセット、上辺オフセット、下辺オフセットと表す。さらに、現ピクチャのオフセットをオフセットＣ、参照ピクチャのオフセットをオフセットＲとして区別する。

続いて、生成部１０３は、前述の各辺に対するオフセットを用いて、現ピクチャに対する参照ピクチャの拡大率又は縮小率を表す解像度変換倍率を水平方向と垂直方向についてそれぞれ算出する。

例えば、水平方向の解像度変換倍率は、次式で算出される。
水平方向の解像度変換倍率＝（参照ピクチャの水平サイズ－左辺オフセットＲ－右辺オフセットＲ）／（現ピクチャの水平サイズ－左辺オフセットＣ－右辺オフセットＣ）
また、垂直方向の解像度変換倍率は、次式で算出される。
垂直方向の解像度変換倍率＝（参照ピクチャの垂直サイズ－上辺オフセットＲ－下辺オフセットＲ）／（現ピクチャの垂直サイズ－上辺オフセットＣ－下辺オフセットＣ）
このような算出式を用いて、現ピクチャの符号化において参照可能なすべての参照ピクチャについて、現ピクチャに対する解像度変換倍率が算出される。生成部１０３は、このように算出した解像度変換倍率を解像度変換制御情報に格納し、解像度変換制御情報を解像度変換部１１３及び統合符号化部１１１に出力する。

端子１０１から入力された１フレーム分の画像データはブロック分割部１０２に供給される。

ブロック分割部１０２では、入力された画像データを複数の基本ブロックに分割し、基本ブロック単位の画像を予測部１０４に出力する。

予測部１０４は、ブロック分割部１０２から入力された画像データ（基本ブロックの画像）に対し、予測処理を実行する。具体的には、予測部１０４は、まず、入力した基本ブロックサイズの画像を、さらに細かいサブブロックへの分割処理（サブブロック分割処理）を行う。

図７（ａ）乃至（ｆ）に、基本ブロックのサブブロックへの分割例を示す。太線の枠の参照符号７００は基本ブロックを表しており、説明を簡易にするため、基本ブロックのサイズを３２×３２画素の構成とし、太線の枠内の各四角形はサブブロックを表すものとする。図７（ａ）は、１つのサブブロックが基本ブロックと同じサイズの例である。

図７（ｂ）は、４つの正方形サブブロックへの分割例を示している。基本ブロックのサイズが３２×３２画素としているので、図７（ｂ）の４つのサブブロックそれぞれのサイズは１６×１６画素となる。また、図７（ｃ）～（ｆ）は、サブ分割によって得られる長方形サブブロックの種類の例を表している。図７（ｃ）では、基本ブロックを、１６×３２画素サイズの縦長の２つの長方形のサブブロックへの分割例を示している。図７（ｄ）は、３２×１６画素の横長の２つの長方形のサブブロックに分割されている。また、図７（ｅ）、（ｆ）は、１：２：１の比で長方形サブブロックに分割されている。このように、本実施形態では、正方形だけではなく、長方形のサブブロックを用いて符号化処理が行われる。

予測部１０４は、処理対象の各サブブロックに対し、予測モードを決定する。具体的には、予測部１０４は、処理対象のサブブロックを含む現ピクチャの符号化済みの画素を用いるイントラ予測、あるいは、現ピクチャとは異なる符号化済みピクチャの画素を用いるインター予測のいずれを用いるかの予測モードを決定する。そして、予測部１０４は、決定した予測モードおよび符号化済の画素から予測画像データを生成する。さらに予測部１０４は、入力された画像データと生成した予測画像データとから予測誤差データを生成し、生成した予測誤差データを変換・量子化部１０５に出力する。なお、補間部１１４が、参照ピクチャの画面境界外の画素を画素補間により生成してもよいし、或いは、補間部１１４が、符号化済みの画素を解像度変換することで参照ピクチャの画面境界外の画素を生成してもよい。このような解像度変換を伴うインター予測における動き補償画素補間による画面境界外の画素の生成方法については後述する。また、予測部１０４は、サブブロック分割や予測モードなどの情報を予測情報として、符号化部１１０、画像再生部１０７に出力する。

変換・量子化部１０５は、予測部１０４によって予測処理が行われたサブブロックの予測誤差データに対して周波数変換を行い、さらに量子化を行う。量子化に使用される量子化パラメータの値自体の決定方法については、特に限定はしないが、ユーザが量子化パラメータを入力しても良いし、入力画像の特性から算出しても、初期値として予め指定されたものを使用しても良い。

逆量子化・逆変換部１０６は、入力された残差係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して予測誤差データを再生する。そして、逆量子化・逆変換部１０６は、再生した予測誤差データを画像再生部１０７に出力する。なお、逆量子化・逆変換部１０６がサブブロックの逆量子化処理を行う際に用いる量子化パラメータは、変換・量子化部１０５がそのサブブロックを量子化する際に用いた量子化パラメータと同一である。

画像再生部１０７は、予測部１０４から入力した予測情報に基づいて、補間部１１４から供給された補間画像を適宜参照し、予測画像を生成する。そして、画像再生部１０７は、生成された予測画像と、逆量子化・逆変換部１０６が生成した予測誤差データから画像データを再生し、その再生した画像データをフレームメモリ１０８に格納する。

インループフィルタ部１０９は、フレームメモリ１０８から再生画像を読み出しデブロッキングフィルタなどのインループフィルタ処理を行う。インループフィルタ処理は、予測部１０４の予測モードや変換・量子化部１０５で利用される量子化パラメータの値、さらに量子化後の処理サブブロックに非ゼロの値が存在の有無、あるいはサブブロック分割情報に基づいて行われる。インループフィルタ部１０９は、フィルタ処理して得た画像データを再びフレームメモリ１０８に再格納する。

解像度変換部１１３は、フレームメモリ１０８に格納された画像を解像度変換制御情報に基づいて拡大又は縮小する。そして、解像度変換部１１３は、拡大又は縮小後の画像を、解像度変換画像として出力する。

ここで、参照ピクチャにスケーリングウィンドウが設定され、現ピクチャにスケーリングウィンドウが設定されない場合、参照ピクチャの拡大又は縮小処理について一例を用いて説明する。例えば、現ピクチャと参照ピクチャの水平サイズが１９２０画素、垂直サイズが１０８０画素であるとする。そして、参照ピクチャに設定された左辺オフセットと右辺オフセットがそれぞれ２４０画素、上辺オフセットと下辺オフセットがそれぞれ１３５画素とする。また、現ピクチャにはオフセットが設定されていないとする。この場合、水平、垂直方向それぞれの解像度変換倍率は、前述の解像度変換倍率の算出式を用いて次式のようになる。
・水平方向の解像度変換倍率＝（１９２０－２４０－２４０）／１９２０＝０．７５
・垂直方向の解像度変換倍率＝（１０８０－１３５－１３５）／１０８０＝０．７５

解像度変換倍率は、現ピクチャのうちオフセットを適用した矩形領域を基準として、参照ピクチャのうちオフセットを適用した矩形領域がどのようなサイズであるかを表している。上記の場合、現ピクチャに対して、参照ピクチャが０．７５、すなわち３／４倍に縮小された状態にある。したがって、この場合は、解像度変換部１１３は、解像度変換倍率の逆数である４／３倍の倍率で参照ピクチャを拡大することで解像度変換画像を生成する。そして、解像度変換部１１３は、生成した解像度変換画像を補間部１１４へ出力する。解像度変換に用いる補間フィルタ又は間引きフィルタ（以降、解像度変換フィルタと呼称する）は特に限定しないが、ユーザが一つ以上の解像度変換フィルタを入力してもよいし、初期値として予め指定されたものを使用してもよい。また、解像度変換部１１３は、解像度変換倍率に応じて複数の解像度変換フィルタを切り替えて解像度変換画像を生成してもよい。このように、解像度変換倍率に基づいて参照ピクチャを拡大又は縮小することで、ズームイン又はズームアウトシーンにおける映像のオブジェクトの拡大又は縮小に追随したインター予測が可能となる。

上記の例では、現ピクチャにオフセットが設定されていないものとしたが、本実施形態はこれに限定されず、現ピクチャにスケーリングウィンドウが設定されていてもよい。例えば、現ピクチャと参照ピクチャの水平サイズが１９２０画素、垂直サイズが１０８０画素であるとする。また、参照ピクチャに設定された左辺オフセットと右辺オフセットがそれぞれ５１０画素、上辺オフセットと下辺オフセットがそれぞれ２７０画素とする。また、現ピクチャに設定された左辺オフセットと右辺オフセットがそれぞれ３６０画素、上辺オフセットと下辺オフセットがそれぞれ１８０画素とする。かかる条件の場合、水平、垂直方向それぞれの解像度変換倍率は次のようになる。
・水平方向の解像度変換倍率＝（１９２０－５１０－５１０）／（１９２０－３６０－３６０）＝０．７５
・垂直方向の解像度変換倍率＝（１０８０－２７０－２７０）／（１０８０－１８０－１８０）＝０．７５
このように、前述の現ピクチャにオフセットを設定しない場合と同一の解像度変換倍率を指定することもできる。

また、現ピクチャと参照ピクチャの各々の水平サイズ及び垂直サイズが異なる画素数であっても構わない。例えば、現ピクチャの水平サイズが１９２０画素、垂直サイズが１０８０画素であり、参照ピクチャの水平サイズが９６０画素、垂直サイズが５４０画素であり、現ピクチャと参照ピクチャにスケーリングウィンドウが設定されていないとする。この場合、水平、垂直方向それぞれの解像度変換倍率は次のようになる。
水平方向の解像度変換倍率＝（９６０－０－０）／（１９２０－０－０）＝０．５
垂直方向の解像度変換倍率＝（５４０－０－０）／（１０８０－０－０）＝０．５

このように、現ピクチャと参照ピクチャが異なる画素数の画像であっても解像度変換倍率を指定でき、結果として、一部の区間が、他の区間よりも拡大又は縮小された画像で構成された映像であっても、補間部１１４は、動き補償画素補間を用いて参照ピクチャの画面境界外の画素を生成できる。

補間部１１４は、解像度変換部１１３が出力する解像度変換画像と、予測部１０４が出力する予測情報と、フレームメモリ１０８に格納されたフィルタ画像を適宜参照し、現ピクチャの画面境界外の画素を補間した画像データを生成する。補間部１１４は、現ピクチャの画面境界外の画素を補間するために、予測部１０４が出力する予測情報を用いて、画面外画素の補間に必要な画素の位置を特定し、画面外画素を生成する。そして、補間部１１４は、生成した画像データを予測部１０４及び画像再生部１０７に出力する。画面外画素の情報は、フィルタ画像を参照する度に生成しても構わないし、一度算出した画面外画素の情報を当該のフィルタ画像に関連付けた補間画像としてフレームメモリ１０８に格納してもよい。

補間部１１４は、前記画像データを生成するために、まず、画面外画素を補間する対象となる現ピクチャのフィルタ画像をフレームメモリ１０８から取り出し、予測部１０４から入力される現ピクチャの符号化に用いた予測情報と共に保持する。続いて、補間部１１４は、前記現ピクチャのフィルタ画像の画面境界の内側に接するすべてのサブブロックについての予測モードを予測情報から読み出す。そして、補間部１１４は、読み出した現ピクチャの画面境界に内側から接する各ブロック（以降、境界ブロックと呼称する）の予測モードの状態に応じて、前記現ピクチャのフィルタ画像の画面境界外の画素補間方法を決定する。本実施形態では、画面外画素の画素補間の方法として、参照ピクチャの画面境界内の画素を同じ参照ピクチャの画面境界外に単純に複製することで生成する補間（以降、単純複製画素補間と呼称する）、或いは、参照ピクチャの画面境界内の画素を前記参照ピクチャとは異なる参照ピクチャの画面境界内の画素を用いて生成する動き補償画素補間を用いる。単純複製画素補間と動き補償画素補間の詳細な処理は後述する。

ここで、参照ピクチャの解像度変換を伴うインター予測における動き補償画素補間を用いて、画面境界外の画素を生成する方法について、図１０Ａ及び図１０Ｂを参照して説明する。

図１０Ａ及び図１０Ｂは、予測部１０４が、符号化対象サブブロック１００２をインター予測により符号化する場合を表している。太枠１００１は、符号化対象である現ピクチャであり、太枠１０１１は参照ピクチャである。細枠１０１０は、参照ピクチャ１０１１の画面境界外の画素を有する領域であり、単純複製画素補間或いは動き補償画素補間により画面境界外の画素が生成されている。参照ピクチャ１０１１の矩形領域１０１２は、予測部１０４がインター予測によって生成した、符号化対象サブブロック１００２の予測ブロックを表している。境界ブロック１０１３の左辺と境界ブロック１０１４の左辺は、参照ピクチャ１０１１の左辺に内側から接しており、境界ブロック１０１３と境界ブロック１０１４の予測モードが、インター予測であるとする。また、矩形領域１０１５と矩形領域１０１６は、単純複製画素補間或いは動き補償画素補間により生成された画素で満たされている。なお、補間部１１４は、境界ブロックの上辺が参照ピクチャの上辺に内側から接する場合、境界ブロックの右辺が参照ピクチャの右辺に内側から接する場合、境界ブロックの下辺が参照ピクチャの下辺に内側から接する場合についても、境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、単純複製画素補間或いは動き補償画素補間を用いて参照ピクチャ１０１１の画面境界外の画素を生成している。また、補間部１１４は、動き補償画素補間を用いる場合、動き補償画素補間を用いて生成しない参照ピクチャの画面境界外の画素を、参照ピクチャの画面境界の画素を用いて単純複製画素補間により生成している。そして、各境界ブロックの動き補償画素補間では、各境界ブロックの動き情報に基づき、参照ピクチャの画面境界内の内側に接するすべての境界ブロックの各々について、動き補償画素補間を用いて参照ピクチャの画面境界外に位置する画素を生成している。さらに、各境界ブロックの処理おいて、他の境界ブロックの動き情報を参照せずに参照ピクチャの画面境界外に位置する画素を生成している。

図１０Ａの場合、ピクチャ１０２１は、参照ピクチャ１０１１の境界ブロックのインター予測に使用されているフィルタ画像であり、フレームメモリ１０８から取り出したピクチャである。さらに、そのピクチャの画面境界内の画素値が、動き補償画素補間により、参照ピクチャの画面境界外の画素の生成に利用されるピクチャである（以降、補間用画像と呼称する）。補間用画像１０２１と参照ピクチャ１０１１には、スケーリングウィンドウが設定されておらず、すべてのオフセットが０である。そのため、解像度変換倍率は水平、垂直方向とも１であり、境界ブロック１０１３のインター予測において、補間用画像１０２１を解像度変換する必要がない。結果として、予測画像１０１２の内側に位置する境界ブロック１０１３に対応する予測ブロック１０２３は、補間用画像１０２１の画面境界の内側に位置している。同様に、予測画像１０１２の内側に位置する境界ブロック１０１４に対応する予測ブロック１０２４は、補間用画像１０２１の画面境界の内側に位置している。したがって、補間部１１４は、補間用画像１０２１の矩形領域１０２５の画素群を用いて、参照ピクチャの画面境界外に位置する矩形領域１０１５の画素を生成している。同様に、補間部１１４は補間用画像１０２１の矩形領域１０２６の画素群を用いて、参照ピクチャの画面境界外に位置する矩形領域１０１６の画素を生成している。したがって、補間部１１４は、サブブロック１００２のインター予測により参照された参照ピクチャ１０１１の予測ブロック１０１２を構成する参照ピクチャの画面境界外の画素を、補間用画像１０２１の画面境界内の画素を用いて動き補償画素補間により生成する。さらに補間部１１４は、参照ピクチャ１０１１のすべての境界ブロックについて、動き補償画素補間を実行して生成した参照ピクチャの画面境界外が補間済みである参照ピクチャを補間画像としてフレームメモリ１０８に格納する。

図１０Ｂの場合、補間用画像１０２１と参照ピクチャ１０１１に設定されたスケーリングウィンドウのオフセットのいずれかが０以外である。すなわち、境界ブロック１０１３のインター予測において、補間用画像１０２１を解像度変換する必要がある。そのため、予測画像１０１２の内側に位置する境界ブロック１０１３に対応する予測ブロック１０２３は、補間用画像１０２１ではなく、補間用画像１０２１と参照ピクチャ１０１１のオフセット情報に基づき解像度変換した解像度変換画像（以降、解像度変換済み補間用画像と呼称する）の画面境界の内側に位置している。同様に、予測画像１０１２の内側に位置する境界ブロック１０１４に対応する予測ブロック１０２４は、補間用画像１０２１ではなく、解像度変換済み補間用画像１０２２の画面境界の内側に位置している。

ここで、補間用画像１０２１から解像度変換済み補間用画像１０２２を生成する処理について説明する。説明を簡易にするために、補間用画像１０２１には、スケーリングウィンドウが設定され、現ピクチャ１００１及び参照ピクチャ１０１１にはスケーリングウィンドウが設定されていないとする。ただし、本実施形態はこれに限定されない。現ピクチャ１００１及び参照ピクチャ１０１１にスケーリングウィンドウが設定されてもよい。図１０Ｂの例では、参照ピクチャ１０１１と補間用画像１０２１の水平サイズが１９２０画素、垂直サイズが１０８０画素であり、補間用画像１０２１に設定された左辺オフセットと右辺オフセットがそれぞれ２４０画素、上辺オフセットと下辺オフセットがそれぞれ１３５画素とする。また、参照ピクチャの四辺のオフセットはそれぞれ０画素である。この場合、解像度変換倍率は前述の計算式を用いて水平方向及び垂直方向について０．７５となる。したがって、解像度変換済み補間用画像１０２２は、補間用画像１０２１を０．７５の逆数である４／３倍に拡大した画像である。このように、参照ピクチャ１０１１と補間用画像１０２１に設定されたオフセット情報に基づいて、解像度変換済み補間用画像１０２２は、補間用画像１０２１から生成されている。

図１０Ｂにおいて、参照ピクチャ１０１１の矩形領域１０１２は、予測部１０４がインター予測によって生成した符号化対象サブブロック１００２の予測ブロックを表している。また、矩形領域１０１２に含まれる参照ピクチャ１０１１の境界ブロック１０１３及び１０１４の予測モードがインター予測であり、解像度変換済み補間用画像１０２２の画面境界内の領域１０２３及び１０２４に対して動きベクトルが発生している。また、境界ブロック１０１３及び１０１４の左辺は参照ピクチャ１０１１の左辺に内側から接している。このとき、参照ピクチャ１０１１の境界ブロックが本来参照する補間用画像１０２１、又は、参照ピクチャ１０１１のいずれかにはオフセットが設定されているため、境界ブロック１０１３及び１０１４のインター予測に用いられている予測画像は、補間用画像１０２１ではなく、補間用画像１０２１を前述のとおりに解像度変換した解像度変換済み補間用画像１０２２である。そのため、境界ブロック１０１３に対応する予測ブロック１０２３は、解像度変換済み補間用画像１０２２の画面境界の内側に位置している。また同様に、境界ブロック１０１４に対応する予測ブロック１０２４も、解像度変換済み補間用画像１０２２の画面境界の内側に位置している。さらに、矩形領域１０１２の一部の画素群は、参照ピクチャ１０１１の画面境界外の画素で構成される矩形領域１０１５及び矩形領域１０１６の画素である。矩形領域１０１５及び矩形領域１０１６の画素は、前述の単純複製画素補間或いは動き補償画素補間を用いて生成されている。具体的には、境界ブロック１０１３の左方に位置する矩形領域１０１５の画素群が、境界ブロック１０１３が参照する解像度変換済み補間用画像１０２２の画面境界内に位置する矩形領域１０２５を用いて生成されている。同様に、境界ブロック１０１４の左方に位置する矩形領域１０１６の画素群が、境界ブロック１０１４が参照する解像度変換済み補間用画像１０２２の画面境界内に位置する矩形領域１０２６を用いて生成されている。この場合、したがって、補間部１１４は、サブブロック１００２のインター予測により参照された参照ピクチャ１０１１の予測ブロック１０１２を構成する参照ピクチャの画面境界外の画素を、解像度変換済み補間用画像１０２２の画面境界内の画素を用いて動き補償画素補間により生成する。さらに補間部１１４は、参照ピクチャ１０１１のすべての境界ブロックについて、動き補償画素補間を実行して生成した参照ピクチャの画面境界外が補間済みである参照ピクチャを補間画像としてフレームメモリ１０８に格納する。

図１に戻り、符号化部１１０は、ブロック単位で、変換・量子化部１０５で生成された残差係数、予測部１０４から入力された予測情報をエントロピー符号化し、符号データを生成する。

エントロピー符号化の方法は特に問わないが、典型的には、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された符号データは統合符号化部１１１に出力される。量子化情報を構成する量子化パラメータの符号化においては、符号化対象のサブブロックの量子化パラメータと当該サブブロックよりも前に符号化されたサブブロックの量子化パラメータを用いて算出する予測値との差分値を示す識別子が符号化される。本実施形態では、符号化順で当該サブブロックの直前に符号化された量子化パラメータを予測値として、当該サブブロックの量子化パラメータとの差分値を計算するものとするが、量子化パラメータの予測値はこれに限定されない。当該サブブロックの左または上に隣接しているサブブロックの量子化パラメータを予測値としても良いし、平均値など複数のサブブロックの量子化パラメータから算出される値を予測値としても構わない。さらに、処理対象サブブロックが、基本ブロック行における最初の基本ブロックに属するサブブロックのうち、符号化順で最初のサブブロックである場合は、直上の基本ブロック中のサブブロックの量子化パラメータを予測値としてもよい。これにより、基本ブロック行単位での並列処理が可能となる。なお、基本ブロック行における最初の基本ブロックとは、左側にピクチャ境界またはタイル境界が存在する基本ブロックのことを示す。

統合符号化部１１１は、解像度変換制御情報を符号化する。本実施形態では、解像度変換制御情報には、現ピクチャの水平画素数と垂直画素数、オフセット情報として、左辺オフセット、右辺オフセット、上辺オフセット、下辺オフセットが含まれる。各オフセットは画素数であり、正負を表す符号を有する。また、統合符号化部１１１は、動き補償画素補間の実行を示すフラグも符号化する。具体的には、動き補償画素補間を実行する場合には、フラグとして１を符号化し、動き補償画素補間を実行しない場合には０を符号化する。

解像度変換制御情報と動き補償画素補間の実行を示すフラグの符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。また、統合符号化部１１１は、これらの符号や符号化部１１０から入力された符号データなどを多重化してビットストリームを形成する。最終的には、ビットストリームは端子１１２から外部に出力される。

図６（ａ）に符号化された解像度変換制御情報を含んだビットストリームのデータ構造の例を示す。解像度変換制御情報は、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。本実施形態では、図６（ａ）に示されるようにピクチャのヘッダ部分に含まれるものとする。ただし、解像度変換制御情報が格納される位置はこれに限られず、図６（ｂ）に示されるように、シーケンスのヘッダ部分に含まれても構わない。

ここで、単純複製画素補間について図８を参照して説明する。図８は、参照ピクチャの画面境界内の画素を、同じ参照ピクチャの画面境界外に単純に複製することで生成する単純複製画素補間の一例を示している。太線の枠８０１は、参照ピクチャの画面境界を表し、細線の枠８０２が参照ピクチャの画面境界外の領域を表している。符合ＡからＴまで記号が付された各円は、画面境界内及び画面境界外の画素を表している。また、連続する３つの黒丸は、画面境界外の画素の表記の省略を表す。単純複製画素補間では、参照ピクチャの画面境界に接し、かつ、参照ピクチャの画面境界の内側に位置する画素を、ピクチャ境界の法線方向に対して単純に複製することにより、参照ピクチャの画面境界外の画素を生成する。例えば、参照ピクチャの左辺における画面境界において、上から３番目に位置する画面境界内の画素はＣである。この場合、当該の画素Ｃは、参照ピクチャ左辺の法線、すなわち、参照ピクチャの画面境界外の左方に向けて、連続して同じ値Ｃが複製され、参照ピクチャの画面境界外の画素が生成される。同様に、参照ピクチャの右辺における画面境界においては、右方に向けて画面境界内の画素を複製し、参照ピクチャの上辺における画面境界においては、上方に向けて画面内境界内の画素を複製し、また、参照ピクチャの下辺における画面境界においては、下方に向けて画面境界内の画素を複製することで、参照ピクチャの画面境界外の画素が生成される。なお、左辺、右辺、上辺、下辺の法線上に位置しない画素である参照ピクチャの左上、右上、左下、右下の領域における画素は、参照ピクチャの画面境界内の四隅に位置する画素を用いて生成する。具体的には、左上の領域の画素は、画面境界内左上の画素Ａを単純に複製する。同様に、右上の領域の画素は、画面境界内右上の画素Ｋを単純に複製し、左下の領域の画素は、画面境界内左下の画素Ｆを単純に複製し、右下の領域の画素は、画面境界内右下の画素Ｐを単純に複製する。このような単純複製画素補間を用いることで、各参照ピクチャの画面境界外の画素値を高速に生成できる。

次に、動き補償画素補間について、図９を用いて詳細に説明する。図９は、現ピクチャのフィルタ画像の画面境界外の画素を、フレームバッファ１０８から取り出したフィルタ画像の画面境界内の画素を用いて生成する補間の一例を示している。前記取り出したフィルタ画像は、現ピクチャの符号化対象の各サブブロックがインター予測により参照するインループフィルタ処理済みであるフィルタ画像、又は、補間部１１４により画面境界外の画素が生成済みである補間画像である。太枠９０１は、参照元となる現ピクチャのフィルタ画像（以降、現フィルタ画像と呼称する）の画面境界を表し、細線の枠９０２が現フィルタ画像の画面境界外の領域を表している。また、領域９０３は現フィルタ画像の画面境界の左辺に内側から接する境界ブロックである。簡単のため、図９では４×４画素の正方形ブロックである場合を示しているが、本実施形態はこれに限定されない。例えば、８×８画素の正方形ブロックを用いてもよいし、８×１６画素の矩形ブロックとしてもよい。以降では、正方形ブロックのサイズをＮ×Ｎ画素で表す。図９のように境界ブロックの左辺が現フィルタ画像の左辺に内側から接する場合、現フィルタ画像の境界ブロックの外側に隣接する矩形領域９０４は、現フィルタ画像の左辺に外側から接する。この場合、矩形領域９０４の右辺は、境界ブロックの左辺と同一の線分である。

図９の太線９０５は、フレームバッファ１０８から取り出した前述の現フィルタ画像とは異なり、現フィルタ画像の境界ブロックがインター予測により参照しているフィルタ画像（以降、参照フィルタ画像と呼称する）の画面境界を表し、領域９０６は、参照フィルタ画像の内側に位置する正方形ブロックである。補間部１１４は、境界ブロック９０３の予測情報に基づいて、境界ブロック９０３の参照先である正方形ブロック９０６の位置を特定する。正方形ブロック９０６は、境界ブロック９０３の予測誤差の算出に使われたブロックであるため、境界ブロック９０３と正方形ブロック９０６は同一のブロックサイズである。さらに、太線の枠９０７は、正方形ブロック９０６の左辺と、参照フィルタ画像の画面境界９０５の同じく左辺が成す矩形領域であり、それらの２辺が成す距離をＭとする。図９ではＭ＝５の場合を示している。また、矩形領域９０７の右辺と正方形ブロック９０６の左辺は同一の線分であるから、矩形領域９０７の垂直サイズは正方ブロック９０７と同じくＮ画素である。したがって、矩形領域９０７は、Ｍ×Ｎ画素の矩形領域である。

水平サイズＭと垂直サイズＮで指定される矩形領域９０７の内側は、参照フィルタ画像の画面境界内の画素で満たされている。図９の場合、０から１９までの番号が付された各円は、太線９０７の矩形領域を満たす画素群である。また、図９の例では同画素群は、５×４（＝２０）画素で構成している。このように、特定した参照フィルタ画像の矩形領域９０７の画素群を、現フィルタ画像において、矩形領域９０７と同じサイズの矩形領域９０４の生成に用いる。矩形領域９０４に含まれる画素の生成は、単純に参照フィルタ画像の矩形領域９０７の画素と同じ値を複製してもよいし、鮮鋭化フィルタや平滑化フィルタなどを適用してもよい。

このように、現フィルタ画像の画面境界外の領域９０２に属する画素が、動き補償画素補間により生成されるが、領域９０２のすべての画素が生成されるとは限らない。画面境界外の画素のうち値が未定の画素は、単純複製画素補間を用いて生成する。例えば、正方ブロック９０６の左辺が、参照フィルタ画像９０５の左辺の左方に位置する場合において、境界ブロック９０３が、参照フィルタ画像９０５の画面境界外を参照しているため、参照フィルタ画像の画面境界内において特定した矩形領域９０７は、画素が１つも存在しない。必然的に現フィルタ画像の矩形領域９０４に対応する画素も存在しないため、この場合には、単純複製画素補間を用いて、境界ブロック９０３の左方の画面境界外の画素を生成する。また、動き補償画素補間により生成された矩形領域９０４の画素群のさらに外側に位置する画素について、単純複製画素補間を用いて画素を生成する。そして、境界ブロックの上辺が現フィルタ画像の上辺に内側から接する場合、境界ブロックの右辺が現フィルタ画像の右辺に内側から接する場合、境界ブロックの下辺が現フィルタ画像の下辺に内側から接する場合についても、前述の境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成する。これにより、現フィルタ画像の左方、右方、上方、下方に位置する画面境界画素を生成する。なお、左上、右上、左下、右下の領域に存在する画素は、前述の単純複製画素補間を用いて画面境界外の画素を生成する。

このように、補間部１１４は、前述の単純複製画素補間或いは動き補償画素補間を用いて現ピクチャの画面境界外の画素を補間し、処理結果を補間画像としてフレームメモリ１０８に出力する。

図３は、本実施形態に係る画像符号化装置における符号化処理を示すフローチャートである。

まず、Ｓ３０１にて、生成部１０３は、解像度変換部１１３による参照ピクチャを解像度変換するためのオフセット情報を決定する。そして、生成部１０３は、その情報を解像度変換制御情報とする。この解像度変換制御情報を符号化するため、生成部１０３はその情報を統合符号化部１１１に出力する。

Ｓ３０２にて、ブロック分割部１０２はフレーム単位の入力画像を基本ブロック単位に分割する。

Ｓ３０３にて、予測部１０４はＳ３０１にて生成された基本ブロック単位の画像データに対して分割処理を行い、サブブロックを生成する。そして予測部１０４は、その生成されたサブブロック単位で予測処理を行い、ブロック分割や予測モードなどの予測情報及び予測画像データを生成する。そして、予測部１０４は、入力された画像データと、生成した予測画像データとから、予測誤差データを算出する。具体的には、予測部１０４は、サブブロックの予測モードにインター予測を設定する。そして、予測部１０４は、補間部１１４が補間用画像の画面境界内の画素を用いて生成した参照ピクチャの画面境界外の画素を含む予測ブロックを生成する。さらに、予測部１０４は、その予測ブロックとサブブロックとの情報から、予測誤差データを生成する。或いは、生成部１０３は解像度変換制御情報に含まれる現ピクチャのオフセット情報と、各参照ピクチャのオフセット情報を用いて、参照可能な各参照ピクチャの現ピクチャに対する解像度変換倍率を算出する。そして、前記の解像度変換倍率に基づいて補間用画像を変換した解像度変換済み補間用画像を生成する。この場合、予測部１０４は、サブブロックの予測モードにインター予測を設定する。そして、予測部１０４は、補間部１１４が解像度変換済み補間用画像の画面境界内の画素を用いて生成した参照ピクチャの画面境界外の画素を含む予測ブロックを生成する。さらに、予測部１０４はその予測ブロックとサブブロックとの情報から、予測誤差データを生成する。

Ｓ３０４にて、変換・量子化部１０５は、Ｓ３０３で算出された予測誤差データを直交変換して変換係数を生成する。そして、変換・量子化部１０５は、量子化パラメータを用いて変換係数の量子化を行い、残差係数を生成する。

Ｓ３０５にて、逆量子化・逆変換部１０６は、Ｓ３０４で生成された残差係数を逆量子化・逆直交変換し、予測誤差を再生する。本ステップでの逆量子化処理では、Ｓ３０４で用いられた量子化パラメータと同一のものが用いられる。

Ｓ３０６にて、画像再生部１０７は、Ｓ３０３で生成された予測情報に基づいて予測画像を再生する。画像再生部１０７は、さらに再生された予測画像と、Ｓ３０５で生成された予測誤差から画像データを再生する。

Ｓ３０７にて、符号化部１１０は、ブロックの分割情報とともに、Ｓ３０３で生成された予測情報およびＳ３０４で生成された残差係数を符号化し、符号データを生成する。符号化部１１０は、さらに量子化パラメータ等の他の符号データも含め、ビットストリームを生成する。

Ｓ３０８にて、画像符号化装置の制御部１００は、着目フレーム（現ピクチャ）内の全ての基本ブロックの符号化が終了したか否かの判定を行う。制御部１００は、終了したと判定した場合は、処理をＳ３０９に進める。また、制御部１００は、未処理の基本ブロックが存在すると判定した場合は、次の基本ブロックの符号化を行うため、処理をＳ３０３に戻す。

Ｓ３０９にて、インループフィルタ部１０９は、Ｓ３０６で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像（フィルタ画像）を生成する。

Ｓ３１０にて、解像度変換部１１３は、現ピクチャのフィルタ画像と、現ピクチャの境界ブロックがインター予測で参照する参照ピクチャをフレームメモリ１０８から取り出し、また、生成部１０３から供給される解像度変換制御情報を用いて、参照ピクチャを拡大又は縮小し、解像度変換画像を生成する。続いて補間部１１４は、現ピクチャのフィルタ画像の境界ブロックに隣接する、現ピクチャのフィルタ画像の画面境界外に位置する画素群を、単純複製画素補間、或いは、動き補償画素補間を用いて生成する。各境界ブロックについて、動き補償画素補間を用いる場合には、解像度変換画像の画面境界内に位置する画素を用いて画面境界外の画素を生成する。そして、補間部１１４は、画面境界外の画素が生成された補間画像をフレームメモリ１０８に格納し、処理を終了する。

以上の構成と動作により、特にＳ３０１において解像度変換制御情報を生成し、Ｓ３１０において、前記解像度変換制御情報に基づいて参照ピクチャを拡大又は縮小することで動き補償画素補間における予測画像の生成精度を向上させることができ、さらには、そのような予測画像を用いることで予測誤差を小さくできる。結果として、生成されるビットストリーム全体のデータ量を抑えつつ、符号化された画像の画質を向上させることができる。

なお、本実施形態では、動き補償画素補間を用いて生成しない参照ピクチャの画面境界外の画素を、参照ピクチャの画面境界内の画素を用いて生成するとしたが、これに限定されない。参照ピクチャの画面境界から最も遠い場所に位置する画面境界外の動き補償画素補間により算出した画素を終端画素とし、その終端画素をさらに複製してもよいし、或いは、終端画素と、単純複製画素補間で用いる画面境界内側の画素との平均値をさらに複製してもよい。図１１を参照して具体的な例を説明する。

図１１の太枠１１０１は、参照ピクチャであり、細枠１１０２は、参照ピクチャの画面境界外の領域を表している。領域１１０３は境界ブロックであり、境界ブロックの左辺が参照ピクチャの左辺に内側から接している。領域１１０４は、動き補償画素補間により、参照ピクチャよりも前に符号化されたピクチャの画素を用いて生成されており、その右辺が参照ピクチャの左辺に外側から接している。領域１１０４の内部は、０～９の番号を有する１０個の画素で満たされている。このうち、画素０と画素５が終端画素である。この場合において、領域１１０４の外側に位置する画素Ｙは、画素Ｖと同じ値でもよいし、終端画素０と同じ値でもよい。あるいは、画素Ｖと終端画素０の平均値を用いてもよい。あるいは、画素Ｖが存在する境界ブロックの左辺の法線上の画素群で、前記法線上の画素群で、領域１１０３に含まれる画素Ｖを含む画素群の平均値、中央値、最大値、最小値のいずれかを用いて画素Ｙを算出してもよい。或いは、領域１１０４に含まれる画素群、すなわち、画素０～４の平均値、中央値、最大値、最小値、のいずれかを用いて画素Ｙを算出してもよい。或いは、前記法線上の画素群で領域１１０３と領域１１０４を含む画素群の平均値、中央値、最大値、最小値、のいずれかを用いて画素Ｙを算出してもよい。さらには、前記領域１１０４の画素群を用いて算出した値と、前記領域１１０３の画素群を用いて算出した値の平均値、中央値、最大値、最小値のいずれかを用いて画素Ｙを算出してもよい。また同様に、画素Ｚを画素Ｗが存在する境界ブロックの左辺の法線上の画素を用いて算出してもよい。結果として、算出に用いる画素群の特性に応じて平均値、中央値、最大値、最小値を選択することで精度よく補間画素を生成できる。すなわち、算出に用いる画素群の画素値が変動している場合には平均値を用いることで変動の影響を受けない精度の高い画素を生成でき、中央値を用いる場合は、外れ値の影響を受けない精度の高い画素を生成できる。また、算出に用いる画素群のうち、単純複製画素補間で用いる画面境界内側の画素又は終端画素の値が、他の値より著しく小さな値の場合には最大値を用い、また、単純複製画素補間で用いる画面境界内側の画素又は終端画素の値が、他の値より著しく大きい値の場合には最小値を用いることで、局所的なノイズの影響を避けることができる。なお、境界ブロックの上辺が参照ピクチャの上辺に内側から接する場合、境界ブロックの右辺が参照ピクチャの右辺に内側から接する場合、境界ブロックの下辺が参照ピクチャの下辺に内側から接する場合についても、前述の境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成してもよい。このように、動き補償補間により生成された画素群の値を考慮して、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成することで、画面境界外において補間した画素同士の不連続性が低減され、符号化対象のサブブロックの予測誤差信号を効率よく符号化可能となる。

また、本実施形形態ではさらに、左上、右上、左下、右下の領域における画素は、参照ピクチャの画面境界内の四隅に位置する画素を用いて生成するとしたが、これに限定されない。参照ピクチャの四隅の画素の外側に位置する画素を用いて算出してもよい。図１１を用いて、具体的な例を説明する。図１１の各矩形領域は前述の説明と同じであるから説明を省略する。ただし、領域１１１１は、参照ピクチャ１１０１の左上隅に位置する境界ブロック１１０５がインター予測により参照している補間用画像であり、領域１１１５は、境界ブロック１１０５に対応する予測ブロックである。

参照ピクチャ１１０１の左上隅の画素Ａに対して、画素１０、１２、２０、２４の各画素が動き補償画素補間により生成されているとする。この場合、参照ピクチャ１１０１の画素１１、２１、２２、２３は、補間用画像１１１１の画素１１、２１、２２、２３から生成してもよい。これにより、画素Ａを単純複製するよりも精度よく参照ピクチャの左上に位置する画素を生成できる。或いは、画素１０と画素１２の平均値を用いて、画素１１を生成してもよい。或いは、画素１０と画素１２と画素Ａの平均値、中央値のいずれかの値を用いて、画素１１を生成してもよい。また、画素２０と画素２４の平均値を用いて、画素２１～画素２３を生成してもよい。或いは、画素２０と画素２４と画素Ａの平均値、中央値のいずれかの値を用いて、画素２１～画素２３を生成してもよい。平均値を用いることで参照ピクチャ左方と上方の信号の状態を反映した画素を生成でき、中央値を用いる場合は、外れ値の影響を受けない画素を生成できる。

参照ピクチャ１１０１の右上隅の画素Ｋに対して、画素５０、５２、６０、６４の各画素が動き補償画素補間により生成されているとする。この場合、参照ピクチャ１１０１の画素５１、６１、６２、６３は、補間用画像１１１１の画素５１、６１、６２、６３から生成してもよい。これにより、画素Ｋを単純複製するよりも精度よく参照ピクチャの右上に位置する画素を生成できる。或いは、画素５０と画素５２の平均値を用いて、画素５１を生成してもよい。或いは、画素５０と画素５２と画素Ｋの平均値、中央値のいずれかの値を用いて、画素５１を生成してもよい。また、画素６０と画素６４の平均値を用いて、画素６１～画素６３を生成してもよい。或いは、画素６０と画素６４と画素Ｋの平均値、中央値のいずれかの値を用いて、画素６１～画素６３を生成してもよい。平均値を用いることで参照ピクチャ上方と右方の信号の状態を反映した画素を生成でき、中央値を用いる場合は、外れ値の影響を受けない画素を生成できる。

参照ピクチャ１１０１の左下隅の画素Ｆに対して、画素３０、３２、４０、４４の各画素が動き補償画素補間により生成されているとする。この場合、参照ピクチャ１１０１の画素３１、４１、４２、４３は、補間用画像１１１１の画素３１、４１、４２、４３から生成してもよい。これにより、画素Ｆを単純複製するよりも精度よく参照ピクチャの左上に位置する画素を生成できる。或いは、画素３０と画素３２の平均値を用いて、画素３１を生成してもよい。或いは、画素３０と画素３２と画素Ｆの平均値、中央値のいずれかの値を用いて、画素３１を生成してもよい。また、画素４０と画素４４の平均値を用いて、画素４１～画素４３を生成してもよい。或いは、画素４０と画素４４と画素Ｆの平均値、中央値のいずれかの値を用いて、画素４１～画素４３を生成してもよい。平均値を用いることで参照ピクチャ左方と下方の信号の状態を反映した画素を生成でき、中央値を用いる場合は、外れ値の影響を受けない画素を生成できる。

参照ピクチャ１１０１の右下隅の画素Ｐに対して、画素７０、７２、８０、８４の各画素が動き補償画素補間により生成されているとする。この場合、参照ピクチャ１１０１の画素７１、８１、８２、８３は、補間用画像１１１１の画素７１、８１、８２、８３から生成してもよい。これにより、画素Ｐを単純複製するよりも精度よく参照ピクチャの左上に位置する画素を生成できる。或いは、画素７０と画素７２の平均値を用いて、画素７１を生成してもよい。或いは、画素７０と画素７２と画素Ｐの平均値、中央値のいずれかの値を用いて、画素７１を生成してもよい。また、画素８０と画素８４の平均値を用いて、画素８１～画素８３を生成してもよい。或いは、画素８０と画素８４と画素Ｐの平均値、中央値のいずれかの値を用いて、画素８１～画素８３を生成してもよい。平均値を用いることで参照ピクチャ右方と下方の信号の状態を反映した画素を生成でき、中央値を用いる場合は、外れ値の影響を受けない画素を生成できる。

このように、動き補償補間により生成された画素群の値を考慮して、動き補償画素補間を用いて生成した画素群に囲まれる参照ピクチャの左上、右上、左下、右下に位置する画素を生成することで、画面境界外において補間した画素同士の不連続性が低減され、符号化対象のサブブロックの予測誤差信号を効率よく符号化可能となる。

なお、本実施形態では、各境界ブロックの動き情報に基づき、他の境界ブロックの動き情報を参照せずに参照ピクチャの画面境界外に位置する画素を生成すると説明したが、本実施形態はこれに限定されない。処理対象の境界ブロックの上下、又は、左右に位置する境界ブロックの動き情報を参照して動き補償画素補間を実行してもよい。図１２を用いて具体例を説明する。太枠１２１１は参照ピクチャの画面境界であり、細枠１２１０が、参照ピクチャ１２１１の境界外の領域を表す。また、境界ブロック１２１２、１２１３、１２１４の左辺が、参照ピクチャの左辺に内側から接しており、各境界ブロックに対応する領域１２１５、１２１６、１２１７は、動き補償画素補間により、参照ピクチャよりも前に符号化されたピクチャを解像度変換して得られる解像度変換済み補間用画像１２２１の画面境界内に位置する画素を用いて生成されており、それぞれの右辺が参照ピクチャの左辺に外側から接している。参照ピクチャ１２１１の内側に位置する各境界ブロックを、左上から右下に向けて順次、各境界ブロックの予測情報に基づいて、解像度変換済み補間用画像１２２１の画面境界内に位置するインター予測に用いた解像度変換済み補間用画像１２２１の矩形領域を特定する。図１２では、境界ブロック１２１２、１２１３、１２１４に対応するインター予測に用いられた領域を、ブロック１２２２、１２２３、１２２４で表し、各々のブロックに隣接する矩形領域１２２５、１２２６、１２２７が、参照ピクチャの画面領域外の画素群である領域１２１５、１２１６、１２１７の生成に使われるとする。さらに、領域１２１２と領域１２１４の動きベクトルが同一であるとする。この場合、境界ブロック１２１３の動き情報が指し示すインター予測に用いられた領域である領域１２２３は、境界ブロック１２２２と１２２４に隣接していない。一方、領域１２１２と領域１２１４の動きベクトルが同一であり、領域１２１２と領域１２１４との相対位置関係が、領域１２２２と領域１２２４との相対位置関係と一致している。スケーリングウィンドウを設定するズームシーンでは、解像度変換により画面内のオブジェクトが同等の大きさに拡大又は縮小されているため、インター予測で生じる動きベクトルは、画面全体のグローバルな動きを反映していると考えられる。したがって、このような場合には、領域１２１６の画素を領域１２２６の画素ではなく、領域１２２５と領域１２２７に挟まれた領域１２２８を用いて生成してもよい。このように、参照ピクチャの左辺について、隣接する境界ブロックの動き情報を用いて、処理対象の境界ブロックの動き補償画素補間の補正処理を実行する場合には、参照ピクチャの左辺の補正処理の実行を示すフラグとして１を符号化し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を符号化してもよい。なお、境界ブロックの右辺が参照ピクチャの右辺に内側から接する場合、境界ブロックの上辺が参照ピクチャの上辺に内側から接する場合、境界ブロックの下辺が参照ピクチャの下辺に内側から接する場合についても、前述の境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成してもよい。その場合、さらに、参照ピクチャの右辺の補正処理の実行を示すフラグとして１を符号化し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を符号化してもよい。或いは、参照ピクチャの上辺の補正処理の実行を示すフラグとして１を符号化し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を符号化してもよい。参照ピクチャの下辺の補正処理の実行を示すフラグとして１を符号化し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を符号化してもよい。このように、参照ピクチャの各辺について補正処理の有無を制御することで、補正処理により補間精度が向上する辺のみに補間処理の実行を限定することが可能となる。このように処理することで、画面境界外において補間した画素の補間精度が向上し、符号化対象のサブブロックの予測誤差信号を効率よく符号化可能となる。

なお、本実施形態では、各境界ブロックの動き情報に基づき、参照ピクチャの画面境界内の内側に接するすべての境界ブロックの各々について、動き補償画素補間を用いて参照ピクチャの画面境界外に位置する画素を生成すると説明したが、本実施形態はこれに限定されない。参照ピクチャの周囲の各辺について、四隅の境界ブロックに隣接する各矩形領域に挟まれる矩形領域について、一括して画面境界外の画素を生成してもよい。図１３（ａ）、（ｂ）を参照して具体例を説明する。

図１３（ａ），（ｂ）の太枠１３１１は参照ピクチャの画面境界であり、細枠１３１０が、参照ピクチャ１３１１の境界外の領域を表す。また、境界ブロック１３１２、１３１３の左辺が、参照ピクチャの左辺に内側から接している。また、各境界ブロックに対応する領域１３１４、１３１５は、動き補償画素補間により、参照ピクチャよりも前に符号化されたピクチャを解像度変換して得られる解像度変換済み補間用画像１３２１の画面境界内に位置する画素を用いて生成されている。そして、領域１３１４，１３１５は、それぞれの右辺が参照ピクチャの左辺に外側から接している。まず左上隅、右上隅、左下隅、右下隅に位置する境界ブロックについて動き補償画素補間を実行する。続いて、参照ピクチャ１３１１の内側に位置する各境界ブロックのうち左上隅、右上隅、左下隅、右下隅に位置する境界ブロック以外の各境界ブロックについて、左上から右下に向けて順次、各境界ブロックの予測情報に基づいて、解像度変換済み補間用画像１３２１の画面境界内に位置するインター予測に用いた解像度変換済み補間用画像１３２１の矩形領域を特定する。図１３では、境界ブロック１３１２、１３１３に対応するインター予測に用いられた領域を、予測ブロック１３２２、１３２３で表し、各々の予測ブロックに隣接する矩形領域１３２４、１３２５が、参照ピクチャの画面領域外の画素群である領域１３１４、１３１５の生成に使われるとする。さらに、領域１３１２と領域１３１４の動きベクトルが同一であるとする。

図１３（ａ）の場合、境界ブロック１３１２と境界ブロック１３１３の動きベクトルが同一であり、領域１３１４と領域１３１５との相対位置関係が、領域１３２４と領域１３２５との相対位置関係と一致している。スケーリングウィンドウを設定するズームシーンでは、解像度変換により画面内のオブジェクトが同等の大きさに拡大又は縮小されているため、インター予測で生じる動きベクトルは、画面全体のグローバルな動きを反映していると考えられる。したがって、このような場合には、領域１３２４と領域１３２５に挟まれた領域１３２６を用いて領域１３１６の領域を生成してもよい。このように、境界ブロック１３１２と境界ブロック１３１３に挟まれる境界ブロックの各々について動き補償画素補間を実行することなく、参照ピクチャの画面境界の左方に位置する画素を補間する一括した補間処理を実行する場合には、一括した補間処理の実行を示すフラグとして１を符号化し、一括した補間処理を実行しない場合には、一括した補間処理を実行しないフラグとして０を符号化してもよい。

図１３（ｂ）の場合、境界ブロック１３１２と境界ブロック１３１３の動きベクトルが同一であり、領域１３１４と領域１３１５との相対位置関係が、領域１３２４と領域１３２５との相対位置関係と一致している。スケーリングウィンドウを設定するズームシーンでは、解像度変換により画面内のオブジェクトが同等の大きさに拡大又は縮小されているため、インター予測で生じる動きベクトルは、画面全体のグローバルな動きを反映していると考えられる。したがって、このような場合には、領域１３２４と領域１３２５に挟まれた領域１３２６を用いて領域１３１６の領域を生成してもよい。ただし、図１３（ｂ）の場合は、領域１３２６に含まれる画素群の一部は、解像度変換済み補間用画像１３２１の画面境界外の画素であるので、この場合は、領域１３２６と解像度変換済み補間用画像１３２１の領域が重なる領域に含まれる画素のみを領域１３１６に複製してもよい。また、領域１３１６のうち、複製された画素以外の画素は、前述の単純反復画素補間を用いて画素を補間してもよい。このように、境界ブロック１３１２と境界ブロック１３１３に挟まれる境界ブロックの各々について動き補償画素補間を実行することなく、参照ピクチャの画面境界の左方に位置する画素を補間する一括補間処理を実行する場合には、一括した補間処理の実行を示すフラグとして１を符号化し、一括した補間処理を実行しない場合には、一括した補間処理を実行しないフラグとして０を符号化してもよい。

なお、境界ブロックの右辺が参照ピクチャの右辺に内側から接する場合、境界ブロックの上辺が参照ピクチャの上辺に内側から接する場合、境界ブロックの下辺が参照ピクチャの下辺に内側から接する場合についても、前述の境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成してもよい。その場合、さらに、参照ピクチャの右辺の補正処理の実行を示すフラグとして１を符号化し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を符号化してもよい。或いは、参照ピクチャの上辺の補正処理の実行を示すフラグとして１を符号化し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を符号化してもよい。参照ピクチャの下辺の補正処理の実行を示すフラグとして１を符号化し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を符号化してもよい。このように、参照ピクチャの各辺について補正処理の有無を制御することで、補正処理により補間精度が向上する辺のみに補間処理の実行を限定することが可能となる。

このように処理することで、すべての境界ブロックではなく、参照ピクチャの四隅に位置する境界ブロックの処理結果に基づいて、そのほかの境界ブロックの動き補償画素補間の実行を制御可能となり、一括した画素補間を実行する場合においてより少ない処理量で参照ピクチャの画面境界の外側の画素を生成可能になる。

なお、本実施形態では画像データがフレーム単位で入力されて、符号化処理をしてビットストリームを生成し出力する構成としたが、符号化処理の対象は画像データに限定されない。例えば、物体認識などの機械学習に用いられる特徴量データを２次元の形状で入力し、符号化処理をしてビットストリームを符号化する構成としてもよい。これにより、機械学習に用いられる特徴量データを効率よく符号化すること可能となる。

［第２の実施形態］
上記第１の実施形態の画像符号化装置が出力した符号データ（ビットストリーム）を復号する画像復号装置を第２の実施形態として説明する。

図２は、第２の実施形態における画像復号装置の構成を示すブロック構成図である。制御部２００は、ＣＰＵ、及び、ＣＰＵが実行するプログラムを格納するメモリで構成され、装置全体の制御を司る。

端子２０１は、符号化されたビットストリームを入力する入力端子である。分離復号部２０２は、端子２０１を介して入力したビットストリームから復号処理に関する情報や残差係数に関する符号データに分離する。また、分離復号部２０２は、ビットストリームのヘッダ部に存在する符号データを復号する。本実施形態の分離復号部２０２は、解像度変換制御情報を復号し、後段に出力する。分離復号部２０２は、図１の統合符号化部１１１と逆の動作を行うと考えると分かり易い。

復号部２０３は、分離復号部２０２から出力された符号データを復号することで、残差係数および予測情報を取得する。

逆量子化・逆変換部２０４は、ブロック単位で入力された残差係数に対して逆量子化を行い、さらに逆直交変換を行うことにより予測誤差を取得する。

フレームメモリ２０６は、再生されたピクチャの画像データを格納するメモリである。

画像再生部２０５は、復号部２０３から入力された予測情報と、補間部２１０から入力される補間画像データを用いて予測画像データを生成する。そして、画像再生部２０５は、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差データから再生画像データを生成し、出力する。

インループフィルタ部２０７は、図１のインループフィルタ部１０９同様、再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像を出力する。

解像度変換部２０９は、フレームメモリ２０６に格納されたフィルタ画像を解像度変換制御情報に基づいて拡大又は縮小し、解像度変換画像を生成し、解像度変換画像として出力する。

補間部２１０は、解像度変換部２０９が出力する解像度変換画像と、復号部２０３が出力する予測情報と、フレームメモリ２０６に格納されたフィルタ画像を適宜参照し、補間画像データを生成する。そして、補間部２１０は、生成した補間画像データを画像再生部２０５に出力する。なお、補間部２１０は、生成した画面外画素の情報を含む画像データを補間画像としてフレームメモリ２０６に格納してもよい。また、補間部２１０は、フレームメモリ２０６から生成済みの補間画像を取り出し、画像生成部２０５に出力してもよい。

フレームメモリ２０６に格納された現フレームの画像データは、端子２０８を介して外部に出力される。

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態の画像復号装置は、第１の実施形態の画像符号化装置で生成されたビットストリームを復号する。

図２において、制御部２００は画像復号装置全体を制御するプロセッサであり、端子２０１から入力されたビットストリームは分離復号部２０２に入力される。

分離復号部２０２は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。具体的には、分離復号部２０２は、まず、図６（ａ）に示されるビットストリームのピクチャヘッダから解像度変換制御情報を復号する。そして、分離復号部２０２は、復号して得た解像度変換制御情報を解像度変換部２０９に出力する。さらに、分離復号部２０２は、ピクチャデータのブロック単位の符号データを復号部２０３に出力する。なお、復号した解像度変換制御情報は、現ピクチャの水平サイズ及び垂直サイズと、現ピクチャのスケーリングウィンドウを表すオフセット情報が含まれている。オフセット情報は、現ピクチャの左辺、右辺、上辺、下辺の各辺からの距離に対応するオフセットである。各辺に対するオフセットは、画素数で表現される。また、同オフセットは、ピクチャの画面境界から中心に向けて正の値で表され、画面境界から外に向けて負の値で表される。現ピクチャに対する参照ピクチャの拡大率又は縮小率を表す解像度変換倍率を水平方向と垂直方向についてそれぞれ算出する。水平、及び、垂直方向の解像度変換倍率は次式に従ってえられる。
・水平方向の解像度変換倍率＝（参照ピクチャの水平サイズ－左辺オフセットＲ－右辺オフセットＲ）／（現ピクチャの水平サイズ－左辺オフセットＣ－右辺オフセットＣ）
・垂直方向の解像度変換倍率＝（参照ピクチャの垂直サイズ－上辺オフセットＲ－下辺オフセットＲ）／（現ピクチャの垂直サイズ－上辺オフセットＣ－下辺オフセットＣ）
分離復号部２０２は、上式に従って、現ピクチャの復号において参照可能なすべての参照ピクチャについて、現ピクチャに対する解像度変換倍率を算出する。

復号部２０３は、符号データを復号し、残差係数、予測情報および量子化パラメータを取得する。そして、復号部２０３は、残差係数や量子化パラメータを逆量子化・逆変換部２０４に出力し、取得された予測情報を画像再生部２０５に出力する。

逆量子化・逆変換部２０４は、入力された残差係数に対し逆量子化を行って直交変換係数を生成する。更に、逆量子化・逆変換部２０４は、生成した直交変換係数に対して逆直交変換を施して予測誤差を再生する。なお、逆量子化・逆変換部２０４による各サブブロックの逆量子化で用いる量子化パラメータは、符号化側で用いた量子化パラメータと同じである。逆量子化・逆変換部２０４は、取得した予測情報を画像再生部２０５に出力する。

画像再生部２０５は、補間部２１０から入力される画面境界外の画素が生成済みの補間画像と、復号部２０３から入力された予測情報に基づいて予測画像を生成する。そして、画像再生部２０５は、この予測画像と、逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、再生した画像データをフレームメモリ２０６に格納する。フレームメモリ２０６に格納された画像データは、後続する復号対象のサブブロックを復号時の予測の際の参照に用いられる。

本実施形態では、予測画像の生成において参照ピクチャの画面境界外の画素が、単純複製画素補間、或いは、参照ピクチャの解像度変換を伴うインター予測における動き補償画素補間を用いて生成されている。具体的な生成方法について、図１０Ａおよび図１０Ｂを参照して説明する。図１０Ａおよび図１０Ｂは、復号部２０３が、復号対象サブブロック１００２をインター予測により復号する場合を表している。太枠１００１は、復号対象である現ピクチャであり、太枠１０１１は、現ピクチャのサブブロックが参照する参照ピクチャである。細枠１０１０は、参照ピクチャ１０１１の画面境界外の画素を有する領域であり、単純複製画素補間或いは動き補償画素補間により画面境界外の画素が生成されている。参照ピクチャ１０１１の矩形領域１０１２は、画像再生部２０５が予測情報に基づいて特定した、復号対象サブブロック１００２の予測ブロックを表している。境界ブロック１０１３の左辺と境界ブロック１０１４の左辺は、参照ピクチャ１０１１の左辺に内側から接している。また、境界ブロック１０１３と境界ブロック１０１４の予測モードが、インター予測であるとする。また、矩形領域１０１５と矩形領域１０１６は、単純複製画素補間或いは動き補償画素補間により生成された画素で満たされている。なお、境界ブロックの上辺が参照ピクチャの上辺に内側から接する場合がある。また、境界ブロックの右辺が参照ピクチャの右辺に内側から接する場合がある。更にまた、境界ブロックの下辺が参照ピクチャの下辺に内側から接する場合がある。いずれの場合でも、補間部２１０は、境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、単純複製画素補間或いは動き補償画素補間を用いて参照ピクチャ１０１１の画面境界外の画素を生成する。また、補間部２１０は、動き補償画素補間を用いる場合、動き補償画素補間を用いて生成しない参照ピクチャの画面境界外の画素を、参照ピクチャの画面境界の画素を用いて単純複製画素補間により生成する。そして、補間部２１０は、各境界ブロックの動き補償画素補間では、各境界ブロックの動き情報に基づき、参照ピクチャの画面境界内の内側に接するすべての境界ブロックの各々について、動き補償画素補間を用いて参照ピクチャの画面境界外に位置する画素を生成する。さらに、補間部２１０は、各境界ブロックの処理おいて、他の境界ブロックの動き情報を参照せずに参照ピクチャの画面境界外に位置する画素を生成する。

図１０Ａの場合、ピクチャ１０２１は、参照ピクチャ１０１１の境界ブロックのインター予測に使用されているフィルタ画像であり、フレームメモリ２０６から取り出したピクチャである。さらに、そのピクチャ１０２１の画面境界内の画素値が、動き補償画素補間により、参照ピクチャ１０１１の画面境界外の画素の生成に利用されるピクチャである（以降、補間用画像と呼称する）。補間用画像１０２１と参照ピクチャ１０１１には、スケーリングウィンドウが設定されておらず、すべてのオフセットが０である。そのため、解像度変換倍率は水平、垂直方向とも１であり、境界ブロック１０１３のインター予測において、補間用画像１０２１を解像度変換する必要がない。結果として、予測画像１０１２の内側に位置する境界ブロック１０１３に対応する予測ブロック１０２３は、補間用画像１０２１の画面境界の内側に位置している。同様に、予測画像１０１２の内側に位置する境界ブロック１０１４に対応する予測ブロック１０２４は、補間用画像１０２１の画面境界の内側に位置している。したがって、補間部２１０は補間用画像１０２１の矩形領域１０２５の画素群を用いて、参照ピクチャの画面境界外に位置する矩形領域１０１５の画素を生成する。同様に、補間部２１０は、補間用画像１０２１の矩形領域１０２６の画素群を用いて、参照ピクチャの画面境界外に位置する矩形領域１０１６の画素を生成する。したがって、補間部２１０は、サブブロック１００２のインター予測により参照された参照ピクチャ１０１１の予測ブロック１０１２を構成する参照ピクチャの画面境界外の画素を、補間用画像１０２１の画面境界内の画素を用いて動き補償画素補間により生成する。さらに補間部２１０は、参照ピクチャ１０１１のすべての境界ブロックについて、動き補償画素補間を実行して生成した参照ピクチャの画面境界外が補間済みである参照ピクチャを補間画像としてフレームメモリ２０６に格納する。

図１０Ｂの場合、補間用画像１０２１と参照ピクチャ１０１１に設定されたスケーリングウィンドウのオフセットのいずれかが０以外である。すなわち、境界ブロック１０１３のインター予測において、補間用画像１０２１を解像度変換する必要がある。そのため、予測画像１０１２の内側に位置する境界ブロック１０１３に対応する予測ブロック１０２３は、補間用画像１０２１ではなく、補間用画像１０２１と参照ピクチャ１０１１のオフセット情報に基づき解像度変換した解像度変換済み補間用画像の画面境界の内側に位置している。同様に、予測画像１０１２の内側に位置する境界ブロック１０１４に対応する予測ブロック１０２４は、補間用画像１０２１ではなく、解像度変換済み補間用画像１０２２の画面境界の内側に位置している。

ここで、補間用画像１０２１から解像度変換済み補間用画像１０２２を生成する処理について説明する。説明を簡易にするために、補間用画像１０２１には、スケーリングウィンドウが設定され、現ピクチャ１００１及び参照ピクチャ１０１１にはスケーリングウィンドウが設定されていないとする。ただし、これに限定されず、現ピクチャ１００１及び参照ピクチャ１０１１にスケーリングウィンドウが設定されてもよい。図１０Ｂの例では、参照ピクチャ１０１１と補間用画像１０２１の水平サイズが１９２０画素、垂直サイズが１０８０画素である。また、補間用画像１０２１に設定された左辺オフセットと右辺オフセットがそれぞれ２４０画素、上辺オフセットと下辺オフセットがそれぞれ１３５画素とする。また、参照ピクチャ１０１１の四辺のオフセットはそれぞれ０画素である。この場合、解像度変換倍率は前述の計算式を用いて水平方向及び垂直方向について０．７５となる。したがって、解像度変換済み補間用画像１０２２は、補間用画像１０２１を０．７５の逆数である４／３倍に拡大した画像である。このように、参照ピクチャ１０１１と補間用画像１０２１に設定されたオフセット情報に基づいて、解像度変換済み補間用画像１０２２は、補間用画像１０２１から生成されている。

図１０Ｂにおいて、参照ピクチャ１０１１の矩形領域１０１２は、画面再生部２０５がインター予測によって生成した復号対象サブブロック１００２の予測ブロックを表している。また、矩形領域１０１２に含まれる参照ピクチャ１０１１の境界ブロック１０１３及び１０１４の予測モードがインター予測であり、解像度変換済み補間用画像１０２２の画面境界内の領域１０２３及び１０２４に対して動きベクトルが発生している。また、境界ブロック１０１３及び１０１４の左辺は参照ピクチャ１０１１の左辺に内側から接している。このとき、参照ピクチャ１０１１の境界ブロックが本来参照する補間用画像１０２１、又は、参照ピクチャ１０１１のいずれかにはオフセットが設定されている。このため、境界ブロック１０１３及び１０１４のインター予測に用いられている予測画像は、補間用画像１０２１ではなく、補間用画像１０２１を前述のとおりに解像度変換した解像度変換済み補間用画像１０２２である。そのため、境界ブロック１０１３に対応する予測ブロック１０２３は、解像度変換済み補間用画像１０２２の画面境界の内側に位置している。また同様に、境界ブロック１０１４に対応する予測ブロック１０２４も解像度変換済み補間用画像１０２２の画面境界の内側に位置している。さらに、矩形領域１０１２の一部の画素群は、参照ピクチャ１０１１の画面境界外の画素で構成される矩形領域１０１５及び矩形領域１０１６の画素である。矩形領域１０１５及び矩形領域１０１６の画素は、前述の単純複製画素補間或いは動き補償画素補間を用いて生成されている。具体的には、境界ブロック１０１３の左方に位置する矩形領域１０１５の画素群が、境界ブロック１０１３が参照する解像度変換済み補間用画像１０２２の画面境界内に位置する矩形領域１０２５を用いて生成されている。同様に、境界ブロック１０１４の左方に位置する矩形領域１０１６の画素群が、境界ブロック１０１４が参照する解像度変換済み補間用画像１０２２の画面境界内に位置する矩形領域１０２６を用いて生成されている。したがって、補間部２１０は、サブブロック１００２のインター予測により参照された参照ピクチャ１０１１の予測ブロック１０１２を構成する参照ピクチャの画面境界外の画素を、解像度変換済み補間用画像１０２２の画面境界内の画素を用いて動き補償画素補間により生成する。さらに補間部２１０は、参照ピクチャ１０１１のすべての境界ブロックについて、動き補償画素補間を実行して生成した参照ピクチャの画面境界外が補間済みである参照ピクチャを補間画像としてフレームメモリ２０６に格納する。

インループフィルタ部２０７は、図１の符号化装置におけるインループフィルタ１０９と同様、フレームメモリ２０６から再生画像を読み出し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。そして、インループフィルタ部２０７は、フィルタ処理後の画像を再びフレームメモリ２０６に格納し、更新する。

解像度変換部２０９は、フレームメモリ２０６に格納された画像を解像度変換制御情報に基づいて拡大又は縮小する。そして、解像度変換部２０９は、拡大又は縮小後の画像を、解像度変換画像として出力する。解像度変換に用いる解像度変換フィルタは特に限定しないが、ユーザが一つ以上の解像度変換フィルタを入力してもよいし、初期値として予め指定されたものを使用してもよい。また、解像度変換部２０９は、オフセット情報を用いて算出される解像度変換倍率に応じて複数の解像度変換フィルタを切り替えて解像度変換画像を生成してもよい。

補間部２１０は、解像度変換部２０９が出力する解像度変換画像と、復号部２０３が出力する予測情報と、フレームメモリ２０６に格納されたフィルタ画像を適宜参照し、分離復号部２０２が復号した動き補償画素補間の実行を示すフラグの値に応じて、単純複製画素補間或いは動き補償画素補間を用いて現ピクチャの画面境界外の画素を補間した画像データを生成する。具体的には、復号したフラグが１である場合、補間部２１０は、画面境界外の画素を動き補償画素補間により画像データを生成する。復号したフラグが０である場合、補間部２１０は、画面境界外の画素を単純複製画素補間により画像データを生成する。そして、補間部２１０は、生成した画像データを補間画像として画像再生部２０５に出力する。また、生成した画像データにフィルタ画像の画面外画素の情報が含まれる場合、補間部２１０は、生成した画面外画素の情報を含む画像データを補間画像としてフレームメモリ２０６に出力してもよい。単純複製画素補間及び動き補償画素補間の処理の詳細は、第１の実施形態の画像符号化装置と同じであるため説明を省略する。

フレームメモリ２０６に格納された再生画像は、最終的には端子２０８から外部に出力される。

図４は、本実施形態における画像復号装置の画像の復号処理を示すフローチャートである。

Ｓ４０１にて、分離復号部２０２は、入力したビットストリームからヘッダ部分の符号データを復号し、解像度変換制御情報を取得する。また、分離復号部２０２は、復号処理に関する情報や係数に関する符号データに分離する。本実施形態では、解像度変換に関する情報として、復号対象である現ピクチャの水平サイズ及び垂直サイズと、現ピクチャのオフセット情報を復号する。具体的には、分離復号部２０２は、解像度変換制御情報として、現ピクチャの水平画素数と垂直画素数、オフセット情報として、左辺オフセット、右辺オフセット、上辺オフセット、下辺オフセットを復号する。各オフセットは画素数であり、正負を表す符号を有する。また、分離復号部２０２は、動き補償画素補間の実行を示すフラグも復号する。すなわち、動き補償画素補間を実行する場合には、フラグとして１が復号され、動き補償画素補間を実行しない場合には０が復号される。

Ｓ４０２にて、復号部２０３は、Ｓ４０１で分離された符号データを復号し、ブロックの分割情報、残差係数、予測情報および量子化パラメータを取得する。

Ｓ４０３にて、逆量子化・逆変換部２０４は、サブブロック単位で残差係数に対し逆量子化を行い、さらに逆直交変換を行うことにより、予測誤差を取得する。

Ｓ４０４にて、画像再生部２０５は、Ｓ４０２で取得された予測情報に基づいて予測画像を生成する。更に、画像再生部２０５は、生成された予測画像と、Ｓ４０３で生成された予測誤差から画像データを再生し、フレームメモリ２０６に格納する。

Ｓ４０５にて、画像復号装置の制御部２００は、フレーム内の全てのブロックの復号が終了したか否かの判定を行う。制御部２００は、全ブロックの復号が終了していると判定した場合は処理をＳ４０６に進める。制御部２００は、未だ復号していないブロックが存在すると判定した場合は、そのブロックを対象とする復号処理を行うため、処理をＳ４０２に戻す。

Ｓ４０６にて、インループフィルタ部２０７は、Ｓ４０４で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、フレームメモリ２０６に再格納する。

Ｓ４０７にて、解像度変換部２０９は、現ピクチャのフィルタ画像と、現ピクチャの境界ブロックがインター予測で参照する参照ピクチャをフレームメモリ２０６から取り出し、また、分離復号部２０２から供給される解像度変換制御情報を用いて、参照ピクチャを拡大又は縮小し、解像度変換画像を生成する。
続いて補間部２１０は、現ピクチャのフィルタ画像の境界ブロックに隣接する、現ピクチャのフィルタ画像の画面境界外に位置する画素群を、単純複製画素補間、或いは、動き補償画素補間を用いて生成する。補間部２１０は、各境界ブロックについて、動き補償画素補間を用いる場合には、解像度変換画像の画面境界内に位置する画素を用いて画面境界外の画素を生成する。そして、補間部２１０は、画面境界外の画素が生成された補間画像をフレームメモリ２０６に格納し、処理を終了する。

以上の構成と動作により、解像度変換制御情報に基づいて参照ピクチャを拡大又は縮小することで、動き補償画素補間における予測画像の生成精度を向上させることができ、さらには、そのような予測画像を用いることで予測誤差信号をより少ない符号量で表現したビットストリームを復号することができる。

なお、本実施形態では、動き補償画素補間を用いて生成しない参照ピクチャの画面境界外の画素を、参照ピクチャの画面境界内の画素を用いて生成するとしたが、これに限定されない。参照ピクチャの画面境界から最も遠い場所に位置する画面境界外の動き補償画素補間により算出した画素を終端画素とし、その終端画素をさらに複製してもよいし、或いは、終端画素と、単純複製画素補間で用いる画面境界内側の画素との平均値をさらに複製してもよい。図１１を用いて、具体的な例を説明する。

図１１の太枠１１０１は、参照ピクチャであり、細枠１１０２は、参照ピクチャの画面境界外の領域を表している。領域１１０３は境界ブロックであり、境界ブロックの左辺が参照ピクチャの左辺に内側から接している。領域１１０４は、動き補償画素補間により、参照ピクチャよりも前に復号されたピクチャの画素を用いて生成されており、その右辺が参照ピクチャの左辺に外側から接している。領域１１０４の内部は、０～９の番号を有する１０個の画素で満たされている。このうち、画素０と画素５が終端画素である。この場合において、領域１１０４の外側に位置する画素Ｙは、画素Ｖと同じ値でもよいし、終端画素０と同じ値でもよい。あるいは、画素Ｖと終端画素０の平均値を用いてもよい。あるいは、画素Ｖが存在する境界ブロックの左辺の法線上の画素群で、前記法線上の画素群で、領域１１０３に含まれる画素Ｖを含む画素群の平均値、中央値、最大値、最小値のいずれかを用いて画素Ｙを算出してもよい。或いは、領域１１０４に含まれる画素群、すなわち、画素０～４の平均値、中央値、最大値、最小値、のいずれかを用いて画素Ｙを算出してもよい。或いは、前記法線上の画素群で領域１１０３と領域１１０４を含む画素群の平均値、中央値、最大値、最小値、のいずれかを用いて画素Ｙを算出してもよい。さらには、前記領域１１０４の画素群を用いて算出した値と、前記領域１１０３の画素群を用いて算出した値の平均値、中央値、最大値、最小値のいずれかを用いて画素Ｙを算出してもよい。また同様に、画素Ｚを画素Ｗが存在する境界ブロックの左辺の法線上の画素を用いて算出してもよい。結果として、算出に用いる画素群の特性に応じて平均値、中央値、最大値、最小値を選択することで精度よく補間画素を生成できる。すなわち、算出に用いる画素群の画素値が変動している場合には平均値を用いることで変動の影響を受けない精度の高い画素を生成でき、中央値を用いる場合は、外れ値の影響を受けない画素を生成できる。また、算出に用いる画素群のうち、単純複製画素補間で用いる画面境界内側の画素又は終端画素の値が、他の値より著しく小さな値の場合には最大値を用い、また、単純複製画素補間で用いる画面境界内側の画素又は終端画素の値が、他の値より著しく大きい値の場合には最小値を用いることで、局所的なノイズの影響を避けることができる。なお、境界ブロックの上辺が参照ピクチャの上辺に内側から接する場合、境界ブロックの右辺が参照ピクチャの右辺に内側から接する場合、境界ブロックの下辺が参照ピクチャの下辺に内側から接する場合についても、前述の境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成してもよい。このように、動き補償補間により生成された画素群の値を考慮して、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成することで、画面境界外において補間した画素同士の不連続性が低減され、符号化対象のサブブロックの予測誤差信号をより少ない符号量で表現したビットストリームを復号可能となる。

このように、動き補償補間により生成された画素群の値を考慮して、動き補償画素補間を用いて生成した画素群に囲まれる参照ピクチャの左上、右上、左下、右下に位置する画素を生成することで、画面境界外において補間した画素同士の不連続性が低減され、符号化対象のサブブロックの予測誤差信号をより少ない符号量で表現したビットストリームを復号可能となる。

なお、本実施形態では、各境界ブロックの動き情報に基づき、他の境界ブロックの動き情報を参照せずに参照ピクチャの画面境界外に位置する画素を生成すると説明したが、本実施形態はこれに限定されない。処理対象の境界ブロックの上下、又は、左右に位置する境界ブロックの動き情報を参照して動き補償画素補間を実行してもよい。図１２を用いて具体例を説明する。太枠１２１１は参照ピクチャの画面境界であり、細枠１２１０が、参照ピクチャ１２１１の境界外の領域を表す。また、境界ブロック１２１２、１２１３、１２１４の左辺が、参照ピクチャの左辺に内側から接している。境界ブロック１２１２，１２１３，１２１４それぞれに対応する領域１２１５、１２１６、１２１７は、動き補償画素補間により、参照ピクチャよりも前に復号されたピクチャを解像度変換して得られる解像度変換済み補間用画像１２２１の画面境界内に位置する画素を用いて生成されており、それぞれの右辺が参照ピクチャの左辺に外側から接している。参照ピクチャ１２１１の内側に位置する各境界ブロックを、左上から右下に向けて順次、各境界ブロックの予測情報に基づいて、解像度変換済み補間用画像１２２１の画面境界内に位置するインター予測に用いた解像度変換済み補間用画像１２２１の矩形領域を特定する。図１２では、境界ブロック１２１２、１２１３、１２１４に対応するインター予測に用いられた領域を、ブロック１２２２、１２２３、１２２４で表し、各々のブロックに隣接する矩形領域１２２５、１２２６、１２２７が、参照ピクチャの画面領域外の画素群である領域１２１５、１２１６、１２１７の生成に使われるとする。さらに、領域１２１２と領域１２１４の動きベクトルが同一であるとする。この場合、境界ブロック１２１３の動き情報が指し示すインター予測に用いられた領域である領域１２２３は、境界ブロック１２２２と１２２４に隣接していない。一方、領域１２１２と領域１２１４の動きベクトルが同一であり、領域１２１２と領域１２１４との相対位置関係が、領域１２２２と領域１２２４との相対位置関係と一致している。スケーリングウィンドウを設定するズームシーンでは、解像度変換により画面内のオブジェクトが同等の大きさに拡大又は縮小されているため、インター予測で生じる動きベクトルは、画面全体のグローバルな動きを反映していると考えられる。したがって、このような場合には、領域１２１６の画素を領域１２２６の画素ではなく、領域１２２５と領域１２２７に挟まれた領域１２２８を用いて生成してもよい。このように、参照ピクチャの左辺について、隣接する境界ブロックの動き情報を用いて、処理対象の境界ブロックの動き補償画素補間の補正処理を実行する場合には、参照ピクチャの左辺の補正処理の実行を示すフラグとして１を復号し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を復号してもよい。

なお、境界ブロックの上辺が参照ピクチャの上辺に内側から接する場合、境界ブロックの右辺が参照ピクチャの右辺に内側から接する場合、境界ブロックの下辺が参照ピクチャの下辺に内側から接する場合についても、前述の境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成してもよい。さらに、参照ピクチャの右辺の補正処理の実行を示すフラグとして１を復号し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を復号してもよい。或いは、参照ピクチャの上辺の補正処理の実行を示すフラグとして１を復号し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を復号してもよい。参照ピクチャの下辺の補正処理の実行を示すフラグとして１を復号し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を復号してもよい。このように、参照ピクチャの各辺について補正処理の有無を制御することで、補正処理により補間精度が向上する辺のみに補間処理の実行を限定することが可能となる。このように処理することで、画面境界外において補間した画素の補間精度が向上し、符号化対象のサブブロックの予測誤差信号をより少ない符号量で表現したビットストリームを復号可能となる。

なお、本実施形態では、各境界ブロックの動き情報に基づき、参照ピクチャの画面境界内の内側に接するすべての境界ブロックの各々について、動き補償画素補間を用いて参照ピクチャの画面境界外に位置する画素を生成すると説明したが、これに限定されない。参照ピクチャの周囲の各辺について、四隅の境界ブロックに隣接する各矩形領域に挟まれる矩形領域について、一括して画面境界外の画素を生成してもよい。図１３（ａ）、（ｂ）を用いて具体例を説明する。図１３（ａ）、（ｂ）の太枠１３１１は参照ピクチャの画面境界であり、細枠１３１０が、参照ピクチャ１３１１の境界外の領域を表す。また、境界ブロック１３１２、１３１３の左辺が、参照ピクチャの左辺に内側から接しており、各境界ブロックに対応する領域１３１４、１３１５は、動き補償画素補間により、参照ピクチャよりも前に復号されたピクチャを解像度変換して得られる解像度変換済み補間用画像１３２１の画面境界内に位置する画素を用いて生成されており、それぞれの右辺が参照ピクチャの左辺に外側から接している。まず左上隅、右上隅、左下隅、右下隅に位置する境界ブロックについて動き補償画素補間を実行する。続いて、参照ピクチャ１３１１の内側に位置する各境界ブロックのうち左上隅、右上隅、左下隅、右下隅に位置する境界ブロック以外の各境界ブロックについて、左上から右下に向けて順次、各境界ブロックの予測情報に基づいて、解像度変換済み補間用画像１３２１の画面境界内に位置するインター予測に用いた解像度変換済み補間用画像１３２１の矩形領域を特定する。図１３では、境界ブロック１３１２、１３１３に対応するインター予測に用いられた領域を、予測ブロック１３２２、１３２３で表し、各々の予測ブロックに隣接する矩形領域１３２４、１３２５が、参照ピクチャの画面領域外の画素群である領域１３１４、１３１５の生成に使われるとする。さらに、領域１３１２と領域１３１４の動きベクトルが同一であるとする。

図１３（ａ）の場合、境界ブロック１３１２と境界ブロック１３１３の動きベクトルが同一であり、領域１３１４と領域１３１５との相対位置関係が、領域１３２４と領域１３２５との相対位置関係と一致している。スケーリングウィンドウを設定するズームシーンでは、解像度変換により画面内のオブジェクトが同等の大きさに拡大又は縮小されているため、インター予測で生じる動きベクトルは、画面全体のグローバルな動きを反映していると考えられる。したがって、このような場合には、領域１３２４と領域１３２５に挟まれた領域１３２６を用いて領域１３１６の領域を生成してもよい。このように、境界ブロック１３１２と境界ブロック１３１３に挟まれる境界ブロックの各々について動き補償画素補間を実行することなく、参照ピクチャの画面境界の左方に位置する画素を補間する一括した補間処理を実行する場合には、一括した補間処理の実行を示すフラグとして１を復号し、一括した補間処理を実行しない場合には、一括した補間処理を実行しないフラグとして０を復号してもよい。

図１３（ｂ）の場合、境界ブロック１３１２と境界ブロック１３１３の動きベクトルが同一であり、領域１３１４と領域１３１５との相対位置関係が、領域１３２４と領域１３２５との相対位置関係と一致している。スケーリングウィンドウを設定するズームシーンでは、解像度変換により画面内のオブジェクトが同等の大きさに拡大又は縮小されているため、インター予測で生じる動きベクトルは、画面全体のグローバルな動きを反映していると考えられる。したがって、このような場合には、領域１３２４と領域１３２５に挟まれた領域１３２６を用いて領域１３１６の領域を生成してもよい。ただし、図１３（ｂ）の場合は、領域１３２６に含まれる画素群の一部は、解像度変換済み補間用画像１３２１の画面境界外の画素であるので、この場合は、領域１３２６と解像度変換済み補間用画像１３２１の領域が重なる領域に含まれる画素のみを領域１３１６に複製してもよい。また、領域１３１６のうち、複製された画素以外の画素は、前述の単純反復画素補間を用いて画素を補間してもよい。このように、境界ブロック１３１２と境界ブロック１３１３に挟まれる境界ブロックの各々について動き補償画素補間を実行することなく、参照ピクチャの画面境界の左方に位置する画素を補間する一括補間処理を実行する場合には、一括した補間処理の実行を示すフラグとして１を復号し、一括した補間処理を実行しない場合には、一括した補間処理を実行しないフラグとして０を復号してもよい。

なお、境界ブロックの上辺が参照ピクチャの上辺に内側から接する場合、境界ブロックの右辺が参照ピクチャの右辺に内側から接する場合、境界ブロックの下辺が参照ピクチャの下辺に内側から接する場合についても、前述の境界ブロックの左辺が参照ピクチャの左辺に内側から接する場合と同様に、動き補償画素補間を用いて生成した画素群の外側に位置する画素を生成してもよい。その場合、さらに、参照ピクチャの右辺の補正処理の実行を示すフラグとして１を復号し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を復号してもよい。或いは、参照ピクチャの上辺の補正処理の実行を示すフラグとして１を復号し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を復号してもよい。参照ピクチャの下辺の補正処理の実行を示すフラグとして１を復号し、補正処理を実行しない場合には、補正処理を実行しないフラグとして０を復号してもよい。このように、参照ピクチャの各辺について補正処理の有無を制御することで、補正処理により補間精度が向上する辺のみに補間処理の実行を限定することが可能となる。

さらに、本実施形態では画像データがフレーム単位で入力されて、符号化処理をして生成されたビットストリームを復号する構成としたが、復号処理の対象は画像データを符号化したビットストリームに限定されない。例えば、物体認識などの機械学習に用いられる特徴量データを２次元の形状で入力し、符号化処理をして生成されたビットストリームを復号する構成としても良い。これにより、機械学習に用いられる特徴量データを効率よく符号化したビットストリームを復号することが可能となる。

［第３の実施形態］
上記第１の実施形態では、画像符号化装置が図１に示したハードウェアを持つものとして説明した。また、第２の実施形態では、画像復号装置が図２に示したハードウェアを持つものとして説明した。しかし、図１、図２に示す各処理部で行う処理をコンピュータプログラムでもって実現させても構わない。第３の実施形態では、コンピュータプログラムにより実現する例を説明する。

図５は、上記第１、第２の実施形態で示された装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。

ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ５０１が中心となってその制御、処理を行う。

本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

本発明は静止画・動画の符号化・復号を行う符号化装置・復号装置に用いられる。特に、インター予測において参照ピクチャの画面境界外の画素を生成する符号化方式および復号方式に適用が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムを含む。
（項目１）
符号化対象の第１のフレーム内の着目ブロックに対し、前記第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測手段と、
前記予測画像に対する前記着目ブロックの予測誤差を符号化する符号化手段と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間手段と、
前記第１のフレームより前のフレームの解像度を変更する変換手段とを有する
ことを特徴とする画像符号化装置。
（項目２）
前記第１のフレームより前のフレームは、前記第２のフレーム、又は、前記第３のフレームである
ことを特徴とする項目１に記載の画像符号化装置。
（項目３）
前記第１のフレームより前のフレームは、前記第２のフレーム、及び、前記第３のフレームを含む
ことを特徴とする項目１に記載の画像符号化装置。
（項目４）
画像符号化方法であって、
符号化対象の第１のフレーム内の着目ブロックに対し、前記第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測工程と、
前記予測画像に対する前記着目ブロックの予測誤差を符号化する符号化工程と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間工程と、
前記第１のフレームより前のフレームの解像度を変更する変換工程とを有する
ことを特徴とする画像符号化方法。
（項目５）
コンピュータが読み込み実行することで、前記コンピュータに、項目４に記載の方法の各工程を実行させるためのプログラム。
（項目６）
符号化データを復号することで、第１のフレーム内の着目ブロックの予測誤差データを取得する復号手段と、
前記第１のフレームより前に復号した第２のフレームを参照して予測画像を生成する生成手段と、
前記予測誤差データと前記予測画像から前記着目ブロックの画像を再生する再生手段と
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に復号した第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間手段と、
前記第１のフレームより前のフレームの解像度を変更する解像度変換手段とを有する含む
ことを特徴とする画像復号装置。
（項目７）
前記第１のフレームより前のフレームは、前記第２のフレーム、又は、前記第３のフレームである
ことを特徴とする項目６に記載の画像復号装置。
（項目８）
前記第１のフレームより前のフレームは、前記第２のフレーム、及び、前記第３のフレームを含む
ことを特徴とする項目６に記載の画像復号装置。
（項目９）
画像復号方法であって、
符号化データを復号することで、第１のフレーム内の着目ブロックの予測誤差データを取得する復号工程と、
前記第１のフレームより前に復号した第２のフレームを参照して予測画像を生成する生成工程と、
前記予測誤差データと前記予測画像から前記着目ブロックの画像を再生する再生工程と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に復号した第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間工程と、
前記第１のフレームより前のフレームの解像度を変更する変換工程とを有する
ことを特徴とする画像復号方法。
（項目１０）
コンピュータが読み込み実行することで、前記コンピュータに、項目９に記載の方法の各工程を実行させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために項目を添付する。

１０１…入力端子、１０２…ブロック分割部、１０３…解像度変換部、１０４…予測部、１０５…変換・量子化部、１０６…逆量子化・逆変換部、１０７…画像再生部、１０８…フレームメモリ、１０９…インループフィルタ部、１１０…符号化部、１１１…統合符号化部、１１２…出力端子、１１３…解像度変換部、１１４…補間部
３…解像度変換部、１１４…補間部

Claims

符号化対象の第１のフレーム内の着目ブロックに対し、前記第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測手段と、
前記予測画像に対する前記着目ブロックの予測誤差を符号化する符号化手段と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間手段と、
前記第１のフレームより前のフレームの解像度を変更する変換手段とを有する
ことを特徴とする画像符号化装置。
前記第１のフレームより前のフレームは、前記第２のフレーム、又は、前記１第３のフレームである
ことを特徴とする請求項１に記載の画像符号化装置。
前記第１のフレームより前のフレームは、前記第２のフレーム、及び、前記第３のフレームを含む
ことを特徴とする請求項１に記載の画像符号化装置。
画像符号化方法であって、
符号化対象の第１のフレーム内の着目ブロックに対し、前記第１のフレームより前に符号化した第２のフレームを参照して予測画像を生成する予測工程と、
前記予測画像に対する前記着目ブロックの予測誤差を符号化する符号化工程と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に符号化された第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間工程と、
前記第１のフレームより前のフレームの解像度を変更する変換工程とを有する
ことを特徴とする画像符号化方法。
コンピュータが読み込み実行することで、前記コンピュータに、請求項４に記載の方法の各工程を実行させるためのプログラム。
符号化データを復号することで、第１のフレーム内の着目ブロックの予測誤差データを取得する復号手段と、
前記第１のフレームより前に復号した第２のフレームを参照して予測画像を生成する生成手段と、
前記予測誤差データと前記予測画像から前記着目ブロックの画像を再生する再生手段と
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に復号した第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間手段と、
前記第１のフレームより前のフレームの解像度を変更する変換手段とを有する
ことを特徴とする画像復号装置。
前記第１のフレームより前のフレームは、前記第２のフレーム、又は、前記第３のフレームである
ことを特徴とする請求項６に記載の画像復号装置。
前記第１のフレームより前のフレームは、前記第２のフレーム、及び、前記第３のフレームを含む
ことを特徴とする請求項６に記載の画像復号装置。
画像復号方法であって、
符号化データを復号することで、第１のフレーム内の着目ブロックの予測誤差データを取得する復号工程と、
前記第１のフレームより前に復号した第２のフレームを参照して予測画像を生成する生成工程と、
前記予測誤差データと前記予測画像から前記着目ブロックの画像を再生する再生工程と、
前記第２のフレームの境界の外の画素を参照する場合に、当該第２のフレームより前に復号した第３のフレームの画素を用いて、前記第２のフレームの境界外の画素を補間する補間工程と、
前記第１のフレームより前のフレームの解像度を変更する変換工程とを有する
ことを特徴とする画像復号方法。
コンピュータが読み込み実行することで、前記コンピュータに、請求項９に記載の方法の各工程を実行させるためのプログラム。