JP7352364B2 - 動画像符号化装置、動画像復号装置及びプログラム - Google Patents

Description

本発明は、動画像を符号化する動画像符号化装置、符号化信号を復号する動画像復号装置、及びこれらのプログラムに関し、特に、画面間予測効率を高めるために、符号化に起因するぼやけを超解像補償しながら画面間予測を行う技術に関する。

従来、解像度の高い４Ｋまたは８Ｋの動画像を対象とした動画圧縮方式の標準規格として、H.265/HEVC（High Efficiency Video Coding）が知られている（例えば非特許文献１を参照）。このH.265/HEVCの規格は、符号化されたフレームを用いて動きを予測し、予測残差の信号を直交変換して符号化する、動き補償及び直交変換の技術を基本としている。

図９は、従来の動画像符号化装置の構成例を示すブロック図であり、H.265/HEVCの標準規格に従った符号化側の構成を示している。この動画像符号化装置１００は、減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、インループフィルタ１１７、画面間予測部１１８、スイッチ１１９及びエントロピー符号化部１２０を備えている。画面間予測部１１８は、画面間予測手段１２１及びフレームメモリ１２２を備えている。

動画像符号化装置１００は、入力動画像に対し、フレーム毎に符号化処理を行い、符号化信号を生成して出力する装置である。

入力動画像のフレームは、減算部１１０により、画面内予測部１１６または画面間予測部１１８により生成された予測画像との間で減算処理が施される。これにより、残差画像が生成される。

残差画像は、直交変換部１１１による直交変換処理、量子化部１１２による量子化処理、及びエントロピー符号化部１２０によりエントロピー符号化が施され、符号化信号として出力される。

一方、量子化部１１２により量子化処理が施された量子化インデックス列は、逆量子化部１１３による逆量子化処理、逆直交変換部１１４による逆直交変換処理が施される。これにより、復号残差画像が生成される。

復号残差画像は、加算部１１５により、予測画像との間で加算処理が施される。加算部１１５による加算結果の画像は、画面内予測部１１６による画面内予測処理が施される。また、加算結果の画像は、インループフィルタ１１７によるフィルタ処理が施され、局部復号フレームとして画面間予測部１１８のフレームメモリ１２２に格納される。

フレームメモリ１２２に格納された局部復号フレームは、画面間予測手段１２１により過去の局部復号フレームとして読み出される。そして、現在の局部復号フレーム（入力動画像のフレーム）を基準ピクチャとし、過去の局部復号フレームを参照ピクチャとして、画面間予測処理が行われる。

画面内予測部１１６による画面内予測処理にて生成された画像、及び画面間予測手段１２１による画面間予測処理にて生成された画像のうち、いずれか一方がスイッチ１１９により選択され、予測画像として減算部１１０及び加算部１１５へ入力される。

このような動き補償及び直交変換を基本とした動画像符号化技術において、符号化効率を向上させるための技術が提案されている。例えば、画像を縮小してから符号化及び伝送を行い、復号後に超解像復元し、また、画像の複雑度に応じて最適な折り返し周波数を設定して伝送することで、超解像画質を高める技術がある（例えば、特許文献１を参照）。

特許第６３４４８００号公報

大久保榮、鈴木輝彦、高村誠之、中條健、「インプレス標準教科書シリーズ H.265/HEVC教科書」、インプレスジャパン

図９に示した従来の動画像符号化装置１００において、入力動画像のＩ，Ｐ，Ｂフレームのうち最初のＩフレームに対し、画面内予測部１１６にて画面内予測処理が行われる。この画面内予測処理では、Ｉフレームがブロック領域に分割され、直交変換部１１１にて直交変換が行われ、その高周波パワ一を低減するために、量子化部１１２にて量子化マトリクスが乗算される。これにより、非可逆圧縮とはなるが、多くの情報量を削減することができる。

以降のＰ，Ｂフレームに対しては、過去の画面内予測処理及び画面間予測処理により得られた局部復号フレームを利用して、画面間予測部１１８にて画面間予測処理が行われ、また、フレーム内の一部では画面内予測部１１６にて画面内予測処理が行われる。

このような符号化処理においては、基本的に、符号化順が後のフレームほど、符号化に起因するぼやけ量が大きくなり易い。このため、従来の画面間予測処理では、符号化効率が低下し、符号化画質が劣化し易いという問題があった。

そして、このぼやけを補償するために、超解像フレームを用いた画面間予測を行う手法が想定される。しかし、この手法では、多数の超解像度による超解像フレームを用意しなければならないため、回路規模及び処理時間が増加するという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、超解像画像の種類を増やすことなく、符号化に起因するぼやけを補償しながら画面間予測を行うことが可能な動画像符号化装置、動画像復号装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の動画像符号化装置は、入力動画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換、量子化及びエントロピー符号化を行い、符号化信号を生成して出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像にフィルタ処理を施して局部復号フレームを生成し、当該局部復号フレームを用いて画面間予測を行い、前記予測画像を生成する動画像符号化装置において、前記局部復号フレームに基づいて超解像フレームを生成し、前記画面間予測により、所定領域毎に、前記局部復号フレームの前記予測画像及び前記超解像フレームの前記予測画像を生成し、これらの前記予測画像のうちのいずれか一つを選択する画面間予測部を備え、前記画面間予測部が、前記超解像フレームを生成する際に用いる超解像度を算出する超解像度算出手段と、前記局部復号フレームをウェーブレット分解し、ウェーブレット分解後の画像における水平、垂直及び対角の高周波帯域における全ての位相位置の要素値に対し、前記超解像度算出手段により算出された前記超解像度を乗算し、乗算後の画像をウェーブレット再構成することで超解像処理を行い、前記超解像フレームを生成する超解像処理手段と、現在の前記局部復号フレームを基準ピクチャとし、過去の前記局部復号フレーム及び前記超解像処理手段により生成された過去の前記超解像フレームを参照ピクチャとして前記画面間予測を行い、前記所定領域毎に、前記局部復号フレームの前記予測画像、及び前記超解像フレームの前記予測画像を生成する画面間予測手段と、前記所定領域毎に、前記局部復号フレームの前記予測画像及び前記超解像フレームの前記予測画像のうちのいずれか一方を選択する選択手段と、を備え、前記超解像度算出手段が、前記入力動画像のフレームに含まれるＩフレームからの符号化順の番号を符号化順番号として、前記符号化順番号、または、前記入力動画像の前記フレームのＱＰオフセット値、または、前記符号化順番号及び前記ＱＰオフセット値に基づいて、前記超解像度を算出する、ことを特徴とする。

また、請求項２の動画像符号化装置は、請求項１に記載の動画像符号化装置において、さらに、前記入力動画像のＩフレームに対して前記直交変換、前記量子化、前記逆量子化及び前記逆直交変換が行われた復号フレームに基づいて、高周波パワーを算出する第１高周波パワー算出部を備え、前記超解像度算出手段が、前記第１高周波パワー算出部により算出された前記高周波パワー、または、前記高周波パワー及び前記符号化順番号、または、前記高周波パワー及び前記ＱＰオフセット値、または、前記高周波パワー、前記符号化順番号及び前記ＱＰオフセット値に基づいて、前記超解像度を算出する、ことを特徴とする。

また、請求項３の動画像符号化装置は、請求項１に記載の動画像符号化装置において、さらに、前記入力動画像のＩフレームについての前記加算後画像に前記フィルタ処理が施された前記局部復号フレームに基づいて、高周波パワーを算出する第２高周波パワー算出部を備え、前記超解像度算出手段が、前記第２高周波パワー算出部により算出された前記高周波パワー、または、前記高周波パワー及び前記符号化順番号、または、前記高周波パワー及び前記ＱＰオフセット値、または、前記高周波パワー、前記符号化順番号及び前記ＱＰオフセット値に基づいて、前記超解像度を算出する、ことを特徴とする。

さらに、請求項４の動画像復号装置は、動画像の符号化信号を入力し、当該符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行い復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、前記加算後画像にフィルタ処理を施して復号フレームを生成することで、元の前記動画像を復元し、前記復号フレームを用いて画面間予測を行い、前記予測画像を生成する動画像復号装置において、前記符号化信号に、局部復号フレームの予測画像及び超解像フレームの予測画像から選択した一つの前記予測画像の種類、及び前記超解像フレームを生成する際の超解像度のパラメータが含まれている場合に、前記復号フレームをウェーブレット分解し、ウェーブレット分解後の画像における水平、垂直及び対角の高周波帯域における全ての位相位置の要素値に対し、前記パラメータに含まれる前記超解像度を乗算し、乗算後の画像をウェーブレット再構成することで超解像処理を行い、超解像フレームを生成し、前記画面間予測により、所定領域毎に、前記パラメータに含まれる前記予測画像の種類に従って、前記復号フレーム及び前記超解像フレームのうちのいずれか一つの前記予測画像を生成する画面間予測部、を備えたことを特徴とする。

さらに、請求項５のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の動画像符号化装置として機能させることを特徴とする。

また、請求項６のプログラムは、コンピュータを、請求項４に記載の動画像復号装置として機能させることを特徴とする。

以上のように、本発明によれば、超解像画像の種類を増やすことなく、符号化に起因するぼやけを補償しながら画面間予測を行うことが可能となる。

本発明の実施形態による動画像符号化装置の構成例を示すブロック図である。 高周波パワー算出部の処理例を説明する図である。 動画像符号化装置に備えた画面間予測部の構成例を示すブロック図である。 動画像符号化装置に備えた画面間予測部の処理例を示すフローチャートある。 超解像度算出手段が用いる参照ピクチャセット情報及びＱＰオフセット値Ｑ_offの例を説明する図である。 超解像処理手段の処理例（ステップＳ４０４）を説明する図である。 本発明の実施形態による動画像復号装置の構成例を示すブロック図である。 動画像復号装置に備えた画面間予測部の構成例を示すブロック図である。 従来の動画像符号化装置の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、Ｉフレームの局部復号フレームが持つ周波数スペクトルパワー、Ｉフレームからの符号化順の番号、及びＱＰオフセット値Ｑ_offのうちのいずれかのデータに基づいて、画面間予測処理に用いる超解像フレームの超解像度を算出することを特徴とする。

これにより、一つの超解像フレームを用いてぼやけ補償を行えば済む。したがって、超解像画像の種類を増やすことなく、符号化に起因するぼやけを補償しながら画面間予測を行うことが可能となる。

また、復号側は、符号化側からパラメータとして送られてきた超解像度を用いて超解像フレームを生成し、当該超解像フレームを用いて画面間予測を行う。これにより、超解像画像の種類を増やすことなく、符号化に起因するぼやけを補償しながら画面間予測を行うことが可能となる。

〔動画像符号化装置〕
まず、本発明の実施形態による動画像符号化装置について説明する。図１は、本発明の実施形態による動画像符号化装置の構成例を示すブロック図である。この動画像符号化装置１は、減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、高周波パワー算出部１０、インループフィルタ１１７、画面間予測部１１、スイッチ１１９及びエントロピー符号化部１２０を備えている。尚、図１には、本発明に関連する構成部のみを示しており、関連しない構成部は省略してある。

減算部１１０は、入力動画像のフレーム（Ｉフレーム、Ｐフレーム及びＢフレーム）を入力すると共に、スイッチ１１９から当該フレームの予測画像を入力する。そして、減算部１１０は、入力動画像のフレームから予測画像を減算し、減算結果の残差画像を生成し、残差画像を直交変換部１１１に出力する。

直交変換部１１１は、減算部１１０から残差画像を入力し、残差画像に対し直交変換を行い、変換係数列を生成する。そして、直交変換部１１１は、変換係数列を量子化部１１２に出力する。

量子化部１１２は、直交変換部１１１から変換係数列を入力し、変換係数列に対し量子化を行い、量子化インデックス列を生成する。そして、量子化部１１２は、量子化インデックス列を逆量子化部１１３及びエントロピー符号化部１２０に出力する。

逆量子化部１１３は、量子化部１１２から量子化インデックス列を入力し、量子化部１１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部１１３は、変換係数列を逆直交変換部１１４に出力する。

逆直交変換部１１４は、逆量子化部１１３から変換係数列を入力し、直交変換部１１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部１１４は、復号残差画像を加算部１１５に出力する。

加算部１１５は、逆直交変換部１１４から復号残差画像を入力すると共に、スイッチ１１９から予測画像を入力する。そして、加算部１１５は、予測画像に復号残差画像を加算し、加算後の画像（加算後画像）を画面内予測部１１６、高周波パワー算出部１０及びインループフィルタ１１７に出力する。

画面内予測部１１６は、加算部１１５から加算後画像を入力し、所定領域毎に、加算後画像に画面内予測処理を施し、画面内予測結果を生成し、所定領域毎の画面内予測結果をスイッチ１１９に出力する。

高周波パワー算出部１０は、加算部１１５から、加算後画像のうちＩフレームの復号画像（Ｉフレーム復号画像）を入力し、Ｉフレーム復号画像に基づいて高周波パワーｐを算出し、Ｉフレーム復号画像の高周波パワーｐを画面間予測部１１に出力する。高周波パワー算出部１０の詳細については後述する。

ここで、Ｉフレーム復号画像は、入力動画像のＩフレームに対し、直交変換部１１１の処理、量子化部１１２の処理、逆量子化部１１３の処理及び逆直交変換部１１４の処理が行われることにより得られた復号画像である。

インループフィルタ１１７は、加算部１１５から加算後画像を入力し、加算後画像にフィルタ処理を施し、局部復号フレームＫを生成する。そして、インループフィルタ１１７は、局部復号フレームＫを画面間予測部１１に出力する。

これにより、加算後画像がＩフレームの場合、Ｉフレームの局部復号フレームＫが生成され、加算後画像がＰフレームの場合、Ｐフレームの局部復号フレームＫが生成され、加算後画像がＢフレームの場合、Ｂフレームの局部復号フレームＫが生成される。

画面間予測部１１は、高周波パワー算出部１０から、Ｉフレーム復号画像の高周波パワーｐを入力すると共に、インループフィルタ１１７から局部復号フレームＫを入力する。また、画面間予測部１１は、予め設定された参照ピクチャオフセット情報及びＱＰ（Quality of Picture）オフセット値Ｑ_offを入力する。参照ピクチャオフセット情報及びＱＰオフセット値Ｑ_offの詳細については後述する。

画面間予測部１１は、高周波パワーｐ、参照ピクチャオフセット情報及びＱＰオフセット値に基づいて超解像度αを算出し、局部復号フレームＫに対し、超解像度αを用いて超解像処理を行い、超解像フレームＣを生成する。

これにより、画面間予測部１１に入力された局部復号フレームＫがＩフレームの局部復号フレームＫの場合、Ｉフレームの超解像フレームＣが生成され、Ｐフレームの局部復号フレームＫの場合、Ｐフレームの超解像フレームＣが生成される。また、Ｂフレームの局部復号フレームＫの場合、Ｂフレームの超解像フレームＣが生成される。

画面間予測部１１は、所定領域毎に、現在の局部復号フレームＫ（入力動画像のＰ，Ｂフレーム）である基準ピクチャ、並びに局部復号フレームＫ及び超解像フレームＣの参照ピクチャを用いて、画面間予測を行う。画面間予測部１１は、所定領域毎に、局部復号フレームＫ及び超解像フレームＣのそれぞれについて、予測画像ＫＹ，ＣＹ、予測誤差ＫＥ，ＣＥ及び動きベクトル等を求める。

これにより、Ｐフレームの画面間予測処理が行われた場合、Ｐフレームの局部復号フレームＫについての予測画像ＫＹ及び予測誤差ＫＥ、並びにＰフレームの超解像フレームＣについての予測画像ＣＹ及び予測誤差ＣＥが得られる。また、Ｂフレームの画面間予測処理が行われた場合、Ｂフレームの局部復号フレームＫについての予測画像ＫＹ及び予測誤差ＫＥ、並びにＢフレームの超解像フレームＣについての予測画像ＣＹ及び予測誤差ＣＥが得られる。

画面間予測部１１は、所定領域毎に、予測誤差ＫＥ，ＣＥのうち最小（小さい方）の予測画像を選択し、所定領域毎に選択した予測画像を、所定領域毎の画面間予測結果としてスイッチ１１９に出力する。

また、画面間予測部１１は、フレーム毎に算出した超解像度αをパラメータに設定すると共に、所定領域毎に予測画像を選択する処理において、所定領域毎に実際に選択した予測画像の種類、算出した動きベクトル等をパラメータに設定する。予測画像の種類は、復号フレーム及び超解像フレームのうちのいずれか一つを示す。そして、画面間予測部１１は、パラメータをエントロピー符号化部１２０に出力する。画面間予測部１１の詳細については後述する。

スイッチ１１９は、画面内予測部１１６から所定領域毎の画面内予測結果を入力すると共に、画面間予測部１１から所定領域毎の画面間予測結果を入力し、いずれか一方を選択し、予測画像として減算部１１０及び加算部１１５に出力する。

エントロピー符号化部１２０は、量子化部１１２から量子化インデックス列を入力すると共に、画面間予測部１１からパラメータを入力し、さらに、直交変換部１１１等からパラメータを入力する。そして、エントロピー符号化部１２０は、量子化インデックス列及びパラメータに対しエントロピー符号化を行い、符号化信号を生成する。エントロピー符号化部１２０は、符号化信号を、後述する動画像復号装置２へ出力する。

〔高周波パワー算出部１０〕
次に、図１に示した高周波パワー算出部１０について詳細に説明する。図２は、高周波パワー算出部１０の処理例を示す図である。

高周波パワー算出部１０は、加算部１１５からＩフレーム復号画像を入力し（ステップＳ２０１）、Ｉフレーム復号画像を１階ウェーブレット分解する（ステップＳ２０２）。

高周波パワー算出部１０は、１階ウェーブレット分解後の画像について、水平、垂直及び対角の高周波帯域における全ての位相位置の要素値（画素値）を用いて、ＲＭＳ（Root Mean Square：二乗平均平方根）値を算出する（ステップＳ２０３）。

高周波パワー算出部１０は、Ｉフレーム復号画像の高周波帯域のＲＭＳ値を正規化し、Ｉフレーム復号画像の高周波パワーｐを求め、Ｉフレーム復号画像の高周波パワーｐを画面間予測部１１に出力する（ステップＳ２０４）。

このように、高周波パワー算出部１０により、Ｉフレーム復号画像からその高周波パワーｐが算出される。高周波パワーｐは、Ｉフレーム復号画像の劣化具合いを示すパワー値であり、パワー値が大きいほど、劣化が小さく、パワー値が小さいほど、劣化が大きいことを示している。また、高周波パワーｐは、後述する超解像度算出手段１２において、ＧＯＰ（Group Of Picture）を構成する全てのフレームに対する超解像度αを算出する際に用いられる。

〔画面間予測部１１〕
次に、図１に示した画面間予測部１１について詳細に説明する。図３は、動画像符号化装置１に備えた画面間予測部１１の構成例を示すブロック図であり、図４は、動画像符号化装置１に備えた画面間予測部１１の処理例を示すフローチャートである。

この画面間予測部１１は、超解像度算出手段１２、超解像処理手段１３、フレームメモリ１４、画面間予測手段１５、選択手段１６及びパラメータ処理手段１７を備えている。尚、図３には、本発明に関連する構成部のみを示しており、関連しない構成部は省略してある。

画面間予測部１１は、高周波パワー算出部１０からＩフレーム復号画像の高周波パワーｐを入力する（ステップＳ４０１）。また、画面間予測部１１は、インループフィルタ１１７から局部復号フレームＫ（Ｉ，Ｐ，Ｂ）を入力し、局部復号フレームＫをフレームメモリ１４に格納する（ステップＳ４０２）。

局部復号フレームＫ（Ｉ，Ｐ，Ｂ）は、Ｉフレームの局部復号フレームＫ、Ｐフレームの局部復号フレームＫ、及びＢフレームの局部復号フレームＫを示す。これにより、フレームメモリ１４には、Ｉフレームの局部復号フレームＫ、Ｐフレームの局部復号フレームＫ、及びＢフレームの局部復号フレームＫが格納される。

超解像度算出手段１２は、予め設定された参照ピクチャオフセット情報及びＱＰオフセット値Ｑ_offを入力し、後述する処理にて、高周波パワーｐ、参照ピクチャオフセット情報及びＱＰオフセット値Ｑ_offに基づいて、超解像度αを算出する（ステップＳ４０３）。そして、超解像度算出手段１２は、超解像度αを超解像処理手段１３に出力する。

超解像処理手段１３は、超解像度算出手段１２から超解像度αを入力すると共に、局部復号フレームＫ（Ｉ，Ｐ，Ｂ）を入力する。そして、超解像処理手段１３は、局部復号フレームＫ（Ｉ，Ｐ，Ｂ）に対し、超解像度αを用いた超解像処理を行い、超解像フレームＣ（Ｉ，Ｐ，Ｂ）を生成し、超解像フレームＣ（Ｉ，Ｐ，Ｂ）をフレームメモリ１４に格納する（ステップＳ４０４）。

超解像フレームＣ（Ｉ，Ｐ，Ｂ）は、Ｉフレームの超解像フレームＣ、Ｐフレームの超解像フレームＣ、及びＢフレームの超解像フレームＣを示す。これにより、フレームメモリ１４には、局部復号フレームＫ（Ｉ，Ｂ，Ｐ）に加え、Ｉフレームの超解像フレームＣ、Ｐフレームの超解像フレームＣ、及びＢフレームの超解像フレームＣが格納される。

画面間予測手段１５は、フレームメモリ１４に格納された局部復号フレームＫ（Ｉ，Ｐ，Ｂ）及び超解像フレームＣ（Ｉ，Ｐ，Ｂ）を過去の局部復号フレームＫ（Ｉ，Ｐ，Ｂ）及び超解像フレームＣ（Ｉ，Ｐ，Ｂ）とし、これを参照ピクチャとして読み出す（ステップＳ４０５）。また、画面間予測手段１５は、現在の局部復号フレームＫ（入力動画像のＰ，Ｂフレーム）を入力する。

画面間予測手段１５は、現在の局部復号フレームＫを基準ピクチャとして、基準ピクチャ及び参照ピクチャを用いて、所定領域毎に、例えばブロックマッチング法にて、予測画像ＫＹ，ＣＹ（Ｐ，Ｂ）及び予測誤差ＫＥ，ＣＥ（Ｐ，Ｂ）を生成する（ステップＳ４０６）。そして、画面間予測手段１５は、予測画像ＫＹ，ＣＹ（Ｐ，Ｂ）及び予測誤差ＫＥ，ＣＥ（Ｐ，Ｂ）を選択手段１６に出力する。

所定領域は、例えばslice（スライス）領域、CTU（Coding Tree Unit：コーディングツリーユニット）領域、CU（Coding Unit：コーディングユニット）領域である。

予測画像ＫＹ，ＣＹ（Ｐ）は、Ｐフレームの局部復号フレームＫの予測画像ＫＹ、Ｐフレームの超解像フレームＣの予測画像ＣＹを示す。予測画像ＫＹ，ＣＹ（Ｂ）は、Ｂフレームの局部復号フレームＫの予測画像ＫＹ、Ｂフレームの超解像フレームＣの予測画像ＣＹを示す。また、予測誤差ＫＥ，ＣＥ（Ｐ）は、Ｐフレームの局部復号フレームＫの予測誤差ＫＥ、Ｐフレームの超解像フレームＣの予測誤差ＣＥを示す。予測誤差ＫＥ，ＣＥ（Ｂ）は、Ｂフレームの局部復号フレームＫの予測誤差ＫＥ、Ｂフレームの超解像フレームＣの予測誤差ＣＥを示す。

選択手段１６は、画面間予測手段１５から予測画像ＫＹ，ＣＹ（Ｐ，Ｂ）及び予測誤差ＫＥ，ＣＥ（Ｐ，Ｂ）を入力する。そして、選択手段１６は、所定領域毎に、予測画像ＫＹ，ＣＹのうち、予測誤差ＫＥ，ＣＥのＲＤコストが最小となる予測画像（小さい方の予測画像）を選択する（ステップＳ４０７）。選択手段１６は、所定領域毎に選択した予測画像を、所定領域毎の画面間予測結果としてスイッチ１１９に出力する（ステップＳ４０８）。

パラメータ処理手段１７は、超解像度算出手段１２によりフレーム毎に算出された超解像度αをパラメータに設定する。また、パラメータ処理手段１７は、選択手段１６により所定領域毎に選択された予測画像の種類、画面間予測手段１５により算出された動きベクトル等をパラメータに設定する。そして、パラメータ処理手段１７は、パラメータをエントロピー符号化部１２０に出力する。

このように、Ｐフレームの画面間予測処理が行われた場合、Ｐフレームの局部復号フレームＫについての予測画像ＫＹ及び予測誤差ＫＥ、並びにＰフレームの超解像フレームＣについての予測画像ＣＹ及び予測誤差ＣＥが得られる。そして、予測画像ＫＹ，ＣＹのうち予測誤差ＫＥ，ＣＥのＲＤコストが最小となる予測画像が選択され、画面間予測結果として出力される。Ｂフレームについても同様である。

〔超解像度算出手段１２〕
次に、図３に示した超解像度算出手段１２の処理（図４のステップＳ４０３）について詳細に説明する。前述のとおり、超解像度算出手段１２は、高周波パワーｐ、参照ピクチャオフセット情報及びＱＰオフセット値Ｑ_offに基づいて、超解像度αを算出する。

図５は、超解像度算出手段１２が用いる参照ピクチャセット情報及びＱＰオフセット値Ｑ_offの例を説明する図である。参照ピクチャセット情報は、ＧＯＰにおいて、画面間予測処理に用いる参照ピクチャの情報により構成される。参照ピクチャセット情報には、フレームの入力順の番号（入力順番号）、フレームの符号化順の番号（符号化順番号）ｎ、フレームの種類及び参照関係の情報が含まれる。

入力順番号は、ＧＯＰにおけるフレームの順番を示し、符号化順番号ｎは、符号化処理が行われるフレームの順番を示す。符号化順番号ｎが大きいほど、Ｉフレームから離れていることを意味する。

ＱＰオフセット値Ｑ_offは、フレームの画質を表す値であり、フレーム毎に設定される。ＱＰオフセット値Ｑ_offが大きいほど、画質が悪く、ＱＰオフセット値Ｑ_offが小さいほど、画質が良いことを示す。このように、参照ピクチャセット情報及びＱＰオフセット値Ｑ_offは、ＧＯＰを構成するフレーム毎に予め設定される。

図５を参照して、例えば、参照ピクチャセット情報において、入力順番号＝０及び符号化順番号ｎ＝０のフレームはＩフレームである。このＩフレームは、入力順番号＝１，２，４，８，１６（符号化順番号ｎ＝５，４，３，２，１）のＢフレームに参照されることを示している。このＩフレームのＱＰオフセット値Ｑ_offは０である。

超解像度算出手段１２は、高周波パワーｐが大きければ大きいほど、小さい値の超解像度αを算出（設定）し、高周波パワーｐが小さければ小さいほど、大きい値の超解像度αを算出する。高周波パワーｐが大きい場合、符号化に起因するフレームのぼやけの程度は小さく、高周波パワーｐが小さい場合、ぼやけの程度は大きいからである。この高周波パワーｐは、ＧＯＰを構成する各フレームの超解像度αを算出する際に用いられる。

超解像度算出手段１２は、符号化順番号ｎが大きければ大きいほど、大きい値の超解像度αを算出し、符号化順番号ｎが小さければ小さいほど、小さい値の超解像度αを算出する。符号化順番号ｎが大きい場合、符号化に起因するフレームのぼやけの程度は大きく、符号化順番号ｎが小さい場合、ぼやけの程度は小さいからである。

超解像度算出手段１２は、ＱＰオフセット値Ｑ_offが大きければ大きいほど（画質が悪いほど）、大きい値の超解像度αを算出し、ＱＰオフセット値Ｑ_offが小さければ小さいほど（画質が良いほど）、小さい値の超解像度αを算出する。ＱＰオフセット値Ｑ_offが大きい場合、符号化に起因するフレームのぼやけの程度は大きく、ＱＰオフセット値Ｑ_offが小さい場合、ぼやけの程度は小さいからである。

具体的には、超解像度算出手段１２は、高周波パワーｐ、符号化順番号ｎ、ＱＰオフセット値Ｑ_off等を用いた以下の式にて、符号化順番号ｎのフレームについての超解像度α_nを算出する。
［数１］
α_n＝ａ（１／ｐ）（ｎ／ｎ_max）（Ｑ_off／Ｑ_off-max） ・・・（１）

ここで、ａはパラメータであり、ｎ_maxは、イントラフレームであるＩフレームの周期、すなわち符号化順番号ｎの最大値であり、Ｑ_off-maxは、ＱＰオフセット値Ｑ_offの最大値である。超解像度α_nは、１以上の実数である。

図５を参照して、例えば符号化順番号ｎ＝３の超解像度α₃は、前記式（１）に対してｎ_max＝１６，Ｑ_off＝４、Ｑ_off-max＝６を代入して算出される。

このように、超解像度算出手段１２により、高周波パワーｐが大きい場合、符号化順番号ｎが小さい場合、またはＱＰオフセット値Ｑ_offが小さい場合、符号化に起因するぼやけが小さいとして、小さい値の超解像度αが算出される。一方、高周波パワーｐが小さい場合、符号化順番号ｎが大きい場合、またはＱＰオフセット値Ｑ_offが大きい場合、符号化に起因するぼやけが大きいとして、大きい値の超解像度αが算出される。

〔超解像処理手段１３〕
次に、図３に示した超解像処理手段１３の処理（図４のステップＳ４０４）について詳細に説明する。前述のとおり、超解像処理手段１３は、局部復号フレームＫ（Ｉ，Ｐ，Ｂ）に対し、超解像度αを用いた超解像処理を行い、超解像フレームＣ（Ｉ，Ｐ，Ｂ）を生成する。

図６は、超解像処理手段１３の処理例を説明する図であり、図４のステップＳ４０４の詳細を示している。

超解像処理手段１３は、インループフィルタ１１７から局部復号フレームＫ（Ｉ，Ｐ，Ｂ）を入力し（ステップＳ６０１）、例えば局部復号フレームＫを１階ウェーブレット分解する（ステップＳ６０２）。

超解像処理手段１３は、１階ウェーブレット分解後の画像について、水平、垂直及び対角の高周波帯域における全ての位相位置の要素値（画素値）に対し、超解像度αを乗算する（ステップＳ６０３）。

超解像処理手段１３は、１階ウェーブレット分解後の乗算後画像を１階ウェーブレット再構成する（ステップＳ６０４）。そして、超解像処理手段１３は、超解像フレームＣ（Ｉ，Ｐ，Ｂ）を生成し、超解像フレームＣ（Ｉ，Ｐ，Ｂ）をフレームメモリ１４に格納する（ステップＳ６０５）。

このように、超解像処理手段１３により、Ｉフレームの局部復号フレームＫについてＩフレームの超解像フレームＣが生成され、Ｐフレームの局部復号フレームＫについてＰフレームの超解像フレームＣが生成される。また、Ｂフレームの局部復号フレームＫについてＢフレームの超解像フレームＣが生成される。

以上のように、本発明の実施形態の動画像符号化装置１によれば、高周波パワー算出部１０は、Ｉフレーム復号画像を１階ウェーブレット分解し、水平、垂直及び対角の高周波帯域における全ての位相位置の要素値を用いて、ＲＭＳ値を算出する。そして、高周波パワー算出部１０は、ＲＭＳ値を正規化して、Ｉフレーム復号画像の高周波パワーｐを求める。

画面間予測部１１の超解像度算出手段１２は、高周波パワーｐ、参照ピクチャオフセット情報に含まれる符号化順番号ｎ、及びＱＰオフセット値Ｑ_offに基づいて、前記式（１）にて超解像度αを算出する。

画面間予測部１１の超解像処理手段１３は、局部復号フレームＫ（Ｉ，Ｐ，Ｂ）毎に、局部復号フレームＫに対し、超解像度αを用いた超解像処理を施し、超解像フレームＣ（Ｉ，Ｐ，Ｂ）を生成し、フレームメモリ１４に格納する。

画面間予測部１１の画面間予測手段１５は、ＰフレームまたはＢフレームのそれぞれについて画面間予測を行う。具体的には、画面間予測手段１５は、現在の局部復号フレームＫ（Ｐ，Ｂ）である基準ピクチャと、フレームメモリ１４から読み出した過去の局部復号フレームＫ（Ｉ，Ｐ，Ｂ）及び超解像フレームＣ（Ｉ，Ｐ，Ｂ）である参照ピクチャとに基づいて、所定領域毎に、画面間予測を行い予測画像ＫＹ，ＣＹ及び予測誤差ＫＥ，ＣＥを求める。

画面間予測部１１の選択手段１６は、所定領域毎に、予測画像ＫＹ，ＣＹのうちのいずれか一方、この場合は、予測誤差ＫＥ，ＣＥのＲＤコストが最小となる予測画像（小さい方の予測画像）を選択し、これを画面間予測結果として出力する。

このように、画面間予測処理に用いる参照ピクチャとして、局部復号フレームＫに加え、当該局部復号フレームＫの種類（Ｉ，Ｐ，Ｂ）に対応した一つの超解像フレームＣが生成される。この超解像フレームＣは、高周波パワーｐ、符号化順番号ｎ及びＱＰオフセット値Ｑ_offから算出された超解像度αに基づいて、生成される。

ここで、高周波パワーｐが大きい場合、符号化順番号ｎが小さい場合、またはＱＰオフセット値Ｑ_offが小さい場合、符号化に起因するぼやけが小さいとして、小さい値の超解像度αを用いた超解像フレームＣが生成される。一方、高周波パワーｐが小さい場合、符号化順番号ｎが大きい場合、またはＱＰオフセット値Ｑ_offが大きい場合、符号化に起因するぼやけが大きいとして、大きい値の超解像度αを用いた超解像フレームＣが生成される。

このように、超解像画像の種類を増やすことなく、符号化に起因するぼやけを補償しながら画面間予測を行うことが可能となる。

〔動画像復号装置〕
次に、本発明の実施形態による動画像復号装置について説明する。図７は、本発明の実施形態による動画像復号装置の構成例を示すブロック図である。この動画像復号装置２は、エントロピー復号部２０、逆量子化部２１、逆直交変換部２２、加算部２３、画面内予測部２４、インループフィルタ２５、画面間予測部２６及びスイッチ２７を備えている。尚、図７には、本発明に関連する構成部のみを示しており、関連しない構成部は省略してある。

エントロピー復号部２０は、図１に示した動画像符号化装置１から出力された符号化信号を入力し、図１に示したエントロピー符号化部１２０の逆の処理を行うことで、符号化信号に対しエントロピー復号を行い、量子化インデックス列及びパラメータを生成する。

エントロピー復号部２０は、量子化インデックス列を逆量子化部２１に出力する。また、エントロピー復号部２０は、フレーム毎の超解像度α、並びに所定領域毎に選択された予測画像の種類及び算出された動きベクトルを含むパラメータを画面間予測部２６に出力すると共に、他のパラメータを逆量子化部２１等に出力する。

逆量子化部２１は、エントロピー復号部２０から量子化インデックス列を入力し、図１に示した量子化部１１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部２１は、変換係数列を逆直交変換部２２に出力する。

逆直交変換部２２は、逆量子化部２１から変換係数列を入力し、図１に示した直交変換部１１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部２２は、復号残差画像を加算部２３に出力する。

加算部２３は、逆直交変換部２２から復号残差画像を入力すると共に、スイッチ２７から予測画像を入力する。そして、加算部２３は、予測画像に復号残差画像を加算し、加算後の画像（加算後画像）を画面内予測部２４及びインループフィルタ２５に出力する。

画面内予測部２４は、加算部２３から加算後画像を入力し、図１に示した画面内予測部１１６と同様の処理を行うことで、所定領域毎に、加算後画像に画面内予測処理を施し、所定領域毎の画面内予測結果をスイッチ２７に出力する。また、画面内予測部２４は、加算後画像を復号画像として出力する。これにより、元の動画像が復元される。

インループフィルタ２５は、加算部２３から加算後画像を入力し、図１に示したインループフィルタ１１７と同様の処理を行うことで、加算後画像にフィルタ処理を施し、復号フレームＫ’を生成する。そして、インループフィルタ２５は、復号フレームＫ’を画面間予測部２６に出力する。

画面間予測部２６は、インループフィルタ２５から復号フレームＫ’を入力すると共に、エントロピー復号部２０から、超解像度α、並びに所定領域毎に選択された予測画像の種類及び動きベクトル等のパラメータを入力する。

画面間予測部２６は、パラメータに基づいて所定の画面間予測を行うことで、復号フレームＫ’の予測画像ＫＹ’及び超解像フレームＣ’の予測画像ＣＹ’のうちのいずれか一つの予測画像を生成する。そして、画面間予測部２６は、これを所定領域毎の画面間予測結果としてスイッチ２７に出力する。また、画面間予測部２６は、復号フレームＫ’を復号画像として出力する。これにより、元の動画像が復元される。画面間予測部２６の詳細については後述する。

スイッチ２７は、画面内予測部２４から所定領域毎の画面内予測結果を入力すると共に、画面間予測部２６から所定領域毎の画面間予測結果を入力し、いずれか一方を選択し、予測画像として加算部２３に出力する。

〔画面間予測部２６〕
次に、図７に示した画面間予測部２６について詳細に説明する。図８は、動画像復号装置２に備えた画面間予測部２６の構成例を示すブロック図である。この画面間予測部２６は、超解像処理手段３０、フレームメモリ３１、画面間予測手段３２及びパラメータ処理手段３３を備えている。尚、図８には、本発明に関連する構成部のみを示しており、関連しない構成部は省略してある。

画面間予測部２６は、インループフィルタ２５から復号フレームＫ’（Ｉ，Ｐ，Ｂ）を入力し、復号フレームＫ’をフレームメモリ３１に格納する。

画面間予測部２６のパラメータ処理手段３３は、エントロピー復号部２０から、フレーム毎の超解像度α、並びに所定領域毎に選択された予測画像の種類及び算出された動きベクトル等のパラメータを入力する。パラメータ処理手段３３は、超解像度αを超解像処理手段３０に出力すると共に、予測画像の種類及び動きベクトル等を画面間予測手段３２に出力する。前述のとおり、予測画像の種類は、復号フレーム及び超解像フレームのうちのいずれか一つを示す。

超解像処理手段３０は、パラメータ処理手段３３から超解像度αを入力し、復号フレームＫ’（Ｉ，Ｐ，Ｂ）に対し、図３に示した超解像処理手段１３と同様に、超解像度αを用いた超解像処理を施し、超解像フレームＣ’（Ｉ，Ｐ，Ｂ）を生成する。超解像処理手段３０は、超解像フレームＣ’をフレームメモリ３１に格納する。

超解像フレームＣ’（Ｉ，Ｐ，Ｂ）は、Ｉフレームの超解像フレームＣ’、Ｐフレームの超解像フレームＣ’、及びＢフレームの超解像フレームＣ’を示す。これにより、フレームメモリ３１には、復号フレームＫ’（Ｉ，Ｂ，Ｐ）に加え、Ｉフレームの超解像フレームＣ’、Ｐフレームの超解像フレームＣ’、及びＢフレームの超解像フレームＣ’が格納される。

画面間予測手段３２は、パラメータ処理手段３３から予測画像の種類及び動きベクトル等を入力し、予測画像の種類が復号フレームを示している場合、フレームメモリ３１に格納された復号フレームＫ’を過去の復号フレームＫ’として読み出す。

また、画面間予測手段３２は、予測画像の種類が超解像フレームを示している場合、フレームメモリ３１に格納された超解像フレームＣ’を過去の超解像フレームＣ’として読み出す。

画面間予測手段３２は、過去の復号フレームＫ’または過去の超解像フレームＣ’、及び動きベクトルに基づいて、画面間予測を行い、所定領域毎に、予測画像を求める。所定領域は、図３と同様に、例えばslice領域、CTU領域、CU領域である。

画面間予測手段３２は、所定領域毎の予測画像を画面間予測結果としてスイッチ２７に出力する。

また、図示しない読み出し部は、フレームメモリ３１から復号フレームＫ’を読み出し、これを復号画像として出力する。

以上のように、本発明の実施形態の動画像復号装置２によれば、画面間予測部２６の超解像処理手段３０は、復号フレームＫ’に基づき、動画像符号化装置１から送信されたパラメータに含まれる超解像度αを用いて超解像フレームＣ’を生成する。そして、超解像処理手段３０は、超解像フレームＣ’をフレームメモリ３１に格納する。

画面間予測手段３２は、パラメータに含まれる予測画像の種類に従い、フレームメモリ３１から復号フレームＫ’または超解像フレームＣ’を過去のフレームとして読み出す。そして、画面間予測手段３２は、読み出した過去のフレーム、及びパラメータに含まれる動きベクトルに基づいて、画面間予測を行い、所定領域毎に予測画像を求め、これを画面間予測結果として出力する。

このように、動画像復号装置２により、動画像符号化装置１から送信されたパラメータに含まれる超解像度αに従い、動画像符号化装置１にて生成された超解像フレームＣと同等の超解像フレームＣ’が生成される。また、動画像復号装置２により、動画像符号化装置１から送信されたパラメータに含まれる予測画像の種類に従い、復号フレームＫ’または超解像フレームＣ’を用いて画面間予測処理が行われる。そして、動画像符号化装置１にて選択された予測画像と同じ種類の予測画像が生成され、復号画像が生成される。

このように、超解像画像の種類を増やすことなく、符号化に起因するぼやけを補償しながら画面間予測を行うことが可能となる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

例えば前記実施形態では、動画像符号化装置１の画面間予測部１１の超解像度算出手段１２は、高周波パワーｐ、符号化順番号ｎ及びＱＰオフセット値Ｑ_offに基づいて、前記式（１）にて超解像度αを算出するようにした。

これに対し、超解像度算出手段１２は、高周波パワーｐ、符号化順番号ｎ及びＱＰオフセット値Ｑ_offのうちのいずれか一つのデータに基づいて、超解像度αを算出するようにしてもよい。また、超解像度算出手段１２は、高周波パワーｐ、符号化順番号ｎ及びＱＰオフセット値Ｑ_offのうちの２つのデータに基づいて、超解像度αを算出するようにしてもよい。

例えば、超解像度算出手段１２は、以下の式にて、符号化順番号ｎ及びＱＰオフセット値Ｑ_offに基づいて、超解像度αを算出する。
［数２］
α_n＝ａ（ｎ／ｎ_max）（Ｑ_off／Ｑ_off-max） ・・・（２）
この場合、動画像符号化装置１は、図１に示した構成において、高周波パワー算出部１０を備える必要がない。

また、前記実施形態では、高周波パワー算出部１０は、加算部１１５からＩフレーム復号画像を入力し、Ｉフレーム復号画像に基づいて高周波パワーｐを算出するようにした。このＩフレーム復号画像は、入力動画像のＩフレームに対し、直交変換部１１１の処理、量子化部１１２の処理、逆量子化部１１３の処理及び逆直交変換部１１４の処理が行われることにより得られた復号画像である。

これに対し、高周波パワー算出部１０は、インループフィルタ１１７からＩフレームの局部復号フレームを入力し、インループフィルタ１１７によりフィルタ処理が行われたＩフレームの局部復号フレームに基づいて、高周波パワーｐを算出するようにしてもよい。

尚、本発明の実施形態による動画像符号化装置１及び動画像復号装置２のハードウェア構成としては、通常のコンピュータを使用することができる。動画像符号化装置１及び動画像復号装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

動画像符号化装置１に備えた減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、高周波パワー算出部１０、インループフィルタ１１７、画面間予測部１１、スイッチ１１９及びエントロピー符号化部１２０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、動画像復号装置２に備えたエントロピー復号部２０、逆量子化部２１、逆直交変換部２２、加算部２３、画面内予測部２４、インループフィルタ２５、画面間予測部２６及びスイッチ２７も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１，１００ 動画像符号化装置
２ 動画像復号装置
１０ 高周波パワー算出部
１１，２６，１１８ 画面間予測部
１２ 超解像度算出手段
１３，３０ 超解像処理手段
１４，３１，１２２ フレームメモリ
１５，３２，１２１ 画面間予測手段
１６ 選択手段
１７，３３ パラメータ処理手段
２０ エントロピー復号部
２１，１１３ 逆量子化部
２２，１１４ 逆直交変換部
２３，１１５ 加算部
２４，１１６ 画面内予測部
２５，１１７ インループフィルタ
２７，１１９ スイッチ
１１０ 減算部
１１１ 直交変換部
１１２ 量子化部
１２０ エントロピー符号化部
ｐ 高周波パワー
α 超解像度
ｎ 符号化順番号
ｎ_max Ｉフレームの周期（符号化順番号ｎの最大値）
Ｑ_off ＱＰオフセット値
Ｑ_off-max ＱＰオフセット値Ｑ_offの最大値
Ｋ 局部復号フレーム
Ｋ’ 復号フレーム
Ｃ，Ｃ’ 超解像フレーム
ＫＹ 局部復号フレームＫの予測画像
ＣＹ 超解像フレームＣの予測画像
ＫＥ 局部復号フレームＫの予測誤差
ＣＥ 超解像フレームＣの予測誤差

Claims (6)

1. 入力動画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換、量子化及びエントロピー符号化を行い、符号化信号を生成して出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像にフィルタ処理を施して局部復号フレームを生成し、当該局部復号フレームを用いて画面間予測を行い、前記予測画像を生成する動画像符号化装置において、
   前記局部復号フレームに基づいて超解像フレームを生成し、前記画面間予測により、所定領域毎に、前記局部復号フレームの前記予測画像及び前記超解像フレームの前記予測画像を生成し、これらの前記予測画像のうちのいずれか一つを選択する画面間予測部を備え、
   前記画面間予測部は、
   前記超解像フレームを生成する際に用いる超解像度を算出する超解像度算出手段と、
   前記局部復号フレームをウェーブレット分解し、ウェーブレット分解後の画像における水平、垂直及び対角の高周波帯域における全ての位相位置の要素値に対し、前記超解像度算出手段により算出された前記超解像度を乗算し、乗算後の画像をウェーブレット再構成することで超解像処理を行い、前記超解像フレームを生成する超解像処理手段と、
   現在の前記局部復号フレームを基準ピクチャとし、過去の前記局部復号フレーム及び前記超解像処理手段により生成された過去の前記超解像フレームを参照ピクチャとして前記画面間予測を行い、前記所定領域毎に、前記局部復号フレームの前記予測画像、及び前記超解像フレームの前記予測画像を生成する画面間予測手段と、
   前記所定領域毎に、前記局部復号フレームの前記予測画像及び前記超解像フレームの前記予測画像のうちのいずれか一方を選択する選択手段と、を備え、
   前記超解像度算出手段は、
   前記入力動画像のフレームに含まれるＩフレームからの符号化順の番号を符号化順番号として、前記符号化順番号、または、前記入力動画像の前記フレームのＱＰオフセット値、または、前記符号化順番号及び前記ＱＰオフセット値に基づいて、前記超解像度を算出する、ことを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   さらに、前記入力動画像のＩフレームに対して前記直交変換、前記量子化、前記逆量子化及び前記逆直交変換が行われた復号フレームに基づいて、高周波パワーを算出する第１高周波パワー算出部を備え、
   前記超解像度算出手段は、
   前記第１高周波パワー算出部により算出された前記高周波パワー、または、前記高周波パワー及び前記符号化順番号、または、前記高周波パワー及び前記ＱＰオフセット値、または、前記高周波パワー、前記符号化順番号及び前記ＱＰオフセット値に基づいて、前記超解像度を算出する、ことを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置において、
   さらに、前記入力動画像のＩフレームについての前記加算後画像に前記フィルタ処理が施された前記局部復号フレームに基づいて、高周波パワーを算出する第２高周波パワー算出部を備え、
   前記超解像度算出手段は、
   前記第２高周波パワー算出部により算出された前記高周波パワー、または、前記高周波パワー及び前記符号化順番号、または、前記高周波パワー及び前記ＱＰオフセット値、または、前記高周波パワー、前記符号化順番号及び前記ＱＰオフセット値に基づいて、前記超解像度を算出する、ことを特徴とする動画像符号化装置。
4. 動画像の符号化信号を入力し、当該符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行い復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、前記加算後画像にフィルタ処理を施して復号フレームを生成することで、元の前記動画像を復元し、前記復号フレームを用いて画面間予測を行い、前記予測画像を生成する動画像復号装置において、
   前記符号化信号に、局部復号フレームの予測画像及び超解像フレームの予測画像から選択した一つの前記予測画像の種類、及び前記超解像フレームを生成する際の超解像度のパラメータが含まれている場合に、
   前記復号フレームをウェーブレット分解し、ウェーブレット分解後の画像における水平、垂直及び対角の高周波帯域における全ての位相位置の要素値に対し、前記パラメータに含まれる前記超解像度を乗算し、乗算後の画像をウェーブレット再構成することで超解像処理を行い、超解像フレームを生成し、前記画面間予測により、所定領域毎に、前記パラメータに含まれる前記予測画像の種類に従って、前記復号フレーム及び前記超解像フレームのうちのいずれか一つの前記予測画像を生成する画面間予測部、を備えたことを特徴とする動画像復号装置。
5. コンピュータを、請求項１から３までのいずれか一項に記載の動画像符号化装置として機能させるためのプログラム。
6. コンピュータを、請求項４に記載の動画像復号装置として機能させるためのプログラム。

Images