JP5393573B2 - 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム - Google Patents

動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム Download PDF

Info

Publication number
JP5393573B2
JP5393573B2 JP2010089629A JP2010089629A JP5393573B2 JP 5393573 B2 JP5393573 B2 JP 5393573B2 JP 2010089629 A JP2010089629 A JP 2010089629A JP 2010089629 A JP2010089629 A JP 2010089629A JP 5393573 B2 JP5393573 B2 JP 5393573B2
Authority
JP
Japan
Prior art keywords
blocks
image
filter
parameters
filter strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010089629A
Other languages
English (en)
Other versions
JP2011223262A (ja
Inventor
暁 藤林
チュンセン ブン
カヌムリ サンディープ
ティオケン タン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2010089629A priority Critical patent/JP5393573B2/ja
Priority to PCT/JP2011/058439 priority patent/WO2011125942A1/ja
Priority to EP11765842A priority patent/EP2557794A1/en
Priority to CN2011800175439A priority patent/CN102823252A/zh
Priority to TW100112327A priority patent/TW201143461A/zh
Publication of JP2011223262A publication Critical patent/JP2011223262A/ja
Priority to US13/646,310 priority patent/US20130028322A1/en
Application granted granted Critical
Publication of JP5393573B2 publication Critical patent/JP5393573B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラムに関する。
動画像データの伝送や蓄積を効率よく行うために圧縮符号化技術が用いられる。動画像の場合にはMPEG1〜4やH.261〜H.264の方式が広く用いられている。これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化および復号の処理が行なわれる。符号化効率を高めるために以下のような予測符号化方法が用いられる。
画面内予測の符号化では、符号化処理が行われる対象ブロックと同じ画面内にあり且つその対象ブロックに隣接する既再生の画像信号(過去に圧縮された画像データを復元した信号)を用いて予測信号を生成した上で、対象ブロックの信号からその予測信号を減算した差分信号を符号化する。画面間予測の符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照し、信号の変位(動き)を検索し、その変位分を補償して予測信号を生成し、対象ブロックの信号からその予測信号を減算した差分信号を符号化する。動きの検索および補償を行うために参照される既再生の画像を参照画像という。
双方向画面間予測では、対象画像の前に表示される過去の画像(表示時間順に並べた場合に対象画像よりも前に位置する画像)だけではなくて、対象画像の後に表示される未来の画像も併せて参照する場合がある。ここで、その未来画像は対象画像より先に符号化し、予め再生しておく必要がある。過去の画像および未来の画像から取得した予測信号を平均化することによって、隠れていて新たに現れる物体の信号を予測すると同時に、双方の予測信号に含まれている雑音を軽減する効果がある。
さらに、H.264の画面間予測符号化では、過去に符号化して再生された複数の参照画像を参照して動き検索することで、誤差の最も少ない画像信号を対象ブロックの最適な予測信号として選択する。そして、対象ブロックの画素信号と最適な予測信号との差分を求め、その差分値に対して離散コサイン変換(DCT)を実行し量子化した上でエントロピー符号化する。このエントロピー符号化と同時に、対象ブロックに対する最適な予測信号をどの参照画像のどの領域から取得するかに関する情報(これらの情報はそれぞれ、参照インデックスおよび動きベクトルという)も合わせて符号化する。H.264では、再生画像は4ないし5枚の参照画像としてフレームメモリまたは再生画像バッファに格納される。
ここで、差分信号に対して量子化が行われるため、差分信号を復号した際に量子化歪が発生する。この量子化歪によって再生画像自体の品質が低下する。また画面間予測を用いる符号化方式においてはこの量子化歪が、当該再生画像を参照画像として利用する符号化対象画像の品質低下に繋がる。
画像をブロックに分割する符号化方式において、これらの量子化歪はブロックの境界部分で発生しやすい。このような歪はブロック歪と呼ばれる。そのためH.264では、処理を行うブロック境界の条件に応じてフィルタ強度を調整するデブロッキングフィルタが利用されている。このデブロッキングフィルタは、境界となる画素が所属するブロックタイプ(画面間予測または画面内予測)や予測信号の生成に利用された情報(動きベクトルおよび参照インデックス)に違いがあるか、およびその境界がマクロブロックの境界かどうかを判定してブロック境界の強度を決定し、その強度に応じてフィルタ対象となる画素の数およびフィルタの種類を決めることで定まる。
ブロック歪やリンギング歪などのような特定の量子化歪に対して有効なフィルタが多い中で、下記特許文献1にはより一般的に量子化歪を除去する非線形フィルタを利用する符号化方法が開示されている。当該特許文献1に記載のフィルタは、符号化方式に利用される情報である予測モードの違いや動きベクトルの大きさも用いて、再生画像から得られる期待値に基づき量子化歪を抑制するものである。
また、下記特許文献2には、フェードイン(暗い画像がだんだん明るくなる映像)やフェードアウト(明るい映像がだんだん暗くなって消えていく映像)などに代表される映像の明るさが時間的に変化する場合に、明るさに対する重みを利用して予測を行う輝度補償予測(Intensity Compensationとも呼ばれる)をブロック単位に利用する方式が提案されている。本方式によれば輝度補償予測に関する二種類のパラメータをブロック単位で設定し、次式(1)を用いて予測信号を生成する。ここで、PIC(i,j)はブロック位置(i,j)の輝度補償予測信号、P(i,j)は当該ブロック位置における通常の予測信号である。また、weight(i,j),offset(i,j)はブロック(i,j)における予測信号の輝度を変更するために利用される重み及びオフセット(補正値)であり、これら二種類のパラメータはICパラメータとも呼ばれる。
IC(i,j)=weight(i,j)×P(i,j)+offset(i,j) …(1)
米国特許出願公開第2006/0153301号明細書 国際公開第2006/128072号パフレット
ブロック毎に輝度補償予測が行われる符号化方式では、明度が変わることで歪が強調されてしまう場合がある。従来技術においては、各ブロックの輝度補償予測に用いられるパラメータの大きさを考慮せずに、ブロック歪除去のフィルタ強度や量子化歪除去に関するパラメータが設定されてフィルタ処理を行っている。そのため、過度にフィルタ処理が行われるために画質がぼやけるなどの画質低下を招いたり、フィルタ強度が不足することでブロック歪や量子化歪の除去が十分に行われず、やはり画質の低下を招いたりすることがある。
そこで本発明は、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現する動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラムを提供することを目的とする。
本発明の動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力手段により入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化手段と、符号化手段により生成された圧縮データを復号することで画像を再生画像として復元する復元手段と、ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の画像を符号化するために用いる参照画像として記憶する記憶手段と、を備える。
本発明の動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力ステップにおいて入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化ステップと、符号化ステップにおいて生成された圧縮データを復号することで画像を再生画像として復元する復元ステップと、ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元ステップにおいて復元された再生画像に対してフィルタ処理を実行するフィルタ処理ステップと、フィルタ処理ステップにおいてフィルタ処理が実行された再生画像を、後続の画像を符号化するために用いる参照画像として動画像予測符号化装置の記憶手段に格納する格納ステップと、を含むことを特徴とする。
本発明の動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力手段により入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化手段と、符号化手段により生成された圧縮データを復号することで画像を再生画像として復元する復元手段と、ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の画像を符号化するために用いる参照画像として記憶する記憶手段と、して機能させる。
このような動画像予測符号化装置、動画像予測符号化方法、及び動画像予測符号化プログラムによれば、ブロック間の輝度補償予測に関するパラメータに基づいてフィルタ強度及びフィルタ処理対象領域が決められた上で、再生画像に対するフィルタ処理が実行される。そして、その処理が施された再生画像が、後続の画像を符号化する際に用いられる参照画像として保存される。このように、輝度補償予測に関するパラメータをフィルタ処理の際に考慮することで、ブロック間に輝度補償予測の違いが生じてもその違いに応じたフィルタ処理を行うことができる。その結果、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現することができる。
本発明の動画像予測符号化装置では、フィルタ処理手段が、互いに隣接するブロック間でパラメータが異なるか否かを判定し、当該判定の結果に基づいてフィルタ強度及びフィルタ処理対象領域を決定してもよい。
本発明の動画像予測符号化方法において、フィルタ処理ステップでは、互いに隣接するブロック間でパラメータが異なるか否かが判定され、当該判定の結果に基づいてフィルタ強度及びフィルタ処理対象領域が決定されてもよい。
このような場合には、互いに隣接するブロック間におけるパラメータの差異に基づいてフィルタ強度及びフィルタ処理対象領域が決定されるので、ブロックの境界部分で発生しやすいブロック歪を抑えることができる。その結果、再生画質の品質や画像の予測効率を向上させることができる。
本発明の動画像予測符号化装置では、輝度補償予測に関するパラメータが、少なくとも第1のパラメータ及び第2のパラメータを含み、フィルタ処理手段が、互いに隣接するブロック間で第1及び第2のパラメータを比較し、当該第1及び第2のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりもフィルタ強度を大きくしてもよい。
本発明の動画像予測符号化方法では、輝度補償予測に関するパラメータが、少なくとも第1のパラメータ及び第2のパラメータを含み、フィルタ処理ステップでは、互いに隣接するブロック間で第1及び第2のパラメータが比較され、当該第1及び第2のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりもフィルタ強度が大きく設定されてもよい。
本発明の動画像予測符号化装置では、フィルタ処理手段が、互いに隣接するブロック間で第1及び第2のパラメータを比較すると共に当該ブロック間で動きベクトルの差を比較し、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第1のフィルタ強度とし、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第2のフィルタ強度とし、当該第1及び第2のパラメータの一方のみが当該ブロック間で異なる場合には第3のフィルタ強度とし、第1のフィルタ強度の方が第2のフィルタ強度よりも大きく、第2のフィルタ強度の方が第3のフィルタ強度よりも大きくてもよい。
本発明の動画像予測符号化方法において、フィルタ処理ステップでは、互いに隣接するブロック間で第1及び第2のパラメータが比較されると共に当該ブロック間で動きベクトルの差が比較され、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第1のフィルタ強度が設定され、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第2のフィルタ強度が設定され、当該第1及び第2のパラメータの一方のみが当該ブロック間で異なる場合には第3のフィルタ強度が設定され、第1のフィルタ強度の方が第2のフィルタ強度よりも大きく、第2のフィルタ強度の方が第3のフィルタ強度よりも大きくてもよい。
本発明の動画像予測符号化装置では、第1、第2及び第3のフィルタ強度がいずれも、互いに隣接するブロックの少なくとも一方が画面内予測により符号化された場合に設定されるフィルタ強度よりも小さくてもよい。
本発明の動画像予測符号化方法では、第1、第2及び第3のフィルタ強度がいずれも、互いに隣接するブロックの少なくとも一方が画面内予測により符号化された場合に設定されるフィルタ強度よりも小さくてもよい。
本発明の動画像予測符号化装置では、第1及び第2のパラメータが、ブロックの予測信号の画素値を変更するための重み及びオフセットであってもよい。
本発明の動画像予測符号化方法では、第1及び第2のパラメータが、ブロックの予測信号の画素値を変更するための重み及びオフセットであってもよい。
これらの場合には、輝度補償予測に関する二種類のパラメータの相違の態様を考慮してフィルタ強度及びフィルタ処理対象領域が決定されるので、より適切なフィルタ処理を行うことができる。
本発明の動画像予測復号装置は、動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第1の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第2の圧縮データとを入力する入力手段と、入力手段により入力された第1及び第2の圧縮データを復号することで、画像を再生画像として復元すると共に、ブロック間の輝度補償予測に関するパラメータを復元する復元手段と、復元手段により復元されたブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の画像を復元するために用いる参照画像として記憶する記憶手段と、を備える。
本発明の動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第1の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第2の圧縮データとを入力する入力ステップと、入力ステップにおいて入力された第1及び第2の圧縮データを復号することで、画像を再生画像として復元すると共に、ブロック間の輝度補償予測に関するパラメータを復元する復元ステップと、復元ステップにおいて復元されたブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元ステップにおいて復元された再生画像に対してフィルタ処理を実行するフィルタ処理ステップと、フィルタ処理ステップにおいてフィルタ処理が実行された再生画像を、後続の画像を復元するために用いる参照画像として動画像予測復号装置の記憶手段に格納する格納ステップと、を含むことを特徴とする。
本発明の動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第1の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第2の圧縮データとを入力する入力手段と、入力手段により入力された第1及び第2の圧縮データを復号することで、画像を再生画像として復元すると共に、ブロック間の輝度補償予測に関するパラメータを復元する復元手段と、復元手段により復元されたブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の画像を復元するために用いる参照画像として記憶する記憶手段と、して機能させる。
このような動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラムによれば、ブロック間の輝度補償予測に関するパラメータに基づいてフィルタ強度及びフィルタ処理対象領域が決められた上で、再生画像に対するフィルタ処理が実行される。そして、その処理が施された再生画像が、後続の画像を復元する際に用いられる参照画像として保存される。このように、輝度補償予測に関するパラメータをフィルタ処理の際に考慮することで、ブロック間に輝度補償予測の違いが生じてもその違いに応じたフィルタ処理を行うことができる。その結果、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現することができる。
本発明の動画像予測復号装置では、フィルタ処理手段が、互いに隣接するブロック間でパラメータが異なるか否かを判定し、当該判定の結果に基づいてフィルタ強度及びフィルタ処理対象領域を決定してもよい。
本発明の動画像予測復号方法において、フィルタ処理ステップでは、互いに隣接するブロック間でパラメータが異なるか否かが判定され、当該判定の結果に基づいてフィルタ強度及びフィルタ処理対象領域が決定されてもよい。
このような場合には、互いに隣接するブロック間におけるパラメータの差異に基づいてフィルタ強度及びフィルタ処理対象領域が決定されるので、ブロックの境界部分で発生しやすいブロック歪を抑えることができる。その結果、再生画質の品質や画像の予測効率を向上させることができる。
本発明の動画像予測復号装置では、輝度補償予測に関するパラメータが、少なくとも第1のパラメータ及び第2のパラメータを含み、フィルタ処理手段が、互いに隣接するブロック間で第1及び第2のパラメータを比較し、当該第1及び第2のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりもフィルタ強度を大きくしてもよい。
本発明の動画像予測復号方法では、輝度補償予測に関するパラメータが、少なくとも第1のパラメータ及び第2のパラメータを含み、フィルタ処理ステップでは、互いに隣接するブロック間で第1及び第2のパラメータが比較され、当該第1及び第2のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりもフィルタ強度が大きく設定されてもよい。
本発明の動画像予測復号装置では、フィルタ処理手段が、互いに隣接するブロック間で第1及び第2のパラメータを比較すると共に当該ブロック間で動きベクトルの差を比較し、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第1のフィルタ強度とし、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第2のフィルタ強度とし、当該第1及び第2のパラメータの一方のみが当該ブロック間で異なる場合には第3のフィルタ強度とし、第1のフィルタ強度の方が第2のフィルタ強度よりも大きく、第2のフィルタ強度の方が第3のフィルタ強度よりも大きくしてもよい。
本発明の動画像予測復号方法において、フィルタ処理ステップでは、互いに隣接するブロック間で第1及び第2のパラメータが比較されると共に当該ブロック間で動きベクトルの差が比較され、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第1のフィルタ強度が設定され、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第2のフィルタ強度が設定され、当該第1及び第2のパラメータの一方のみが当該ブロック間で異なる場合には第3のフィルタ強度が設定され、第1のフィルタ強度の方が第2のフィルタ強度よりも大きく、第2のフィルタ強度の方が第3のフィルタ強度よりも大きくてもよい。
本発明の動画像予測復号装置では、第1、第2及び第3のフィルタ強度がいずれも、互いに隣接するブロックの少なくとも一方が画面内予測により符号化された場合に設定されるフィルタ強度よりも小さくてもよい。
本発明の動画像予測復号方法では、第1、第2及び第3のフィルタ強度がいずれも、互いに隣接するブロックの少なくとも一方が画面内予測により符号化された場合に設定されるフィルタ強度よりも小さくてもよい。
本発明の動画像予測復号装置では、第1及び第2のパラメータが、ブロックの予測信号の画素値を変更するための重み及びオフセットであってもよい。
本発明の動画像予測復号方法では、第1及び第2のパラメータが、ブロックの予測信号の画素値を変更するための重み及びオフセットであってもよい。
これらの場合には、輝度補償予測に関する二種類のパラメータの相違の態様を考慮してフィルタ強度及びフィルタ処理対象領域が決定されるので、より適切なフィルタ処理を行うことができる。
このような動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラムによれば、輝度補償予測に関するパラメータを考慮してフィルタ処理が行われるので、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現することができる。
実施形態に係る動画像予測符号化装置を示すブロック図である。 図1に示すフィルタ処理器の機能構成を示すブロック図である。 図2における強度決定器の処理を説明するための図である。 図2おける強度決定器の処理を示すフローチャートである。 図2に示す歪除去処理器の機能構成を示すブロック図である。 図5に示す歪除去器の処理を説明するための図である。 図5に示す歪除去器の処理を説明するための図である。 図2に示すマスク処理器の処理(マスク関数)を説明するための図である。 図1に示すフィルタ処理器113の動作を示すフローチャートである。 実施形態に係る動画像予測復号装置を示すブロック図である。 実施形態に係る動画像予測符号化プログラムを示す図である。 図11に示すフィルタ処理モジュールの詳細を示す図である。 実施形態に係る動画像予測復号プログラムを示すブロック図である。 プログラムを実行するコンピュータのハードウェア構成を示す図である。 プログラムの配布方法を示す図である。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
まず、図1〜8を用いて、実施形態に係る動画像予測符号化装置の機能および構成を説明する。図1は実施形態に係る動画像予測符号化装置1(以下では単に符号化装置1ともいう)の機能構成を示すブロック図である。図2はフィルタ処理器113の機能構成を示すブロック図である。図3は強度決定器301の処理を説明するための図である。図4は強度決定器301の処理を示すフローチャートである。図5は歪除去処理器302の機能構成を示すブロック図である。図6,7は歪除去器302bの処理を説明するための図である。図8はマスク処理器303の処理(マスク関数)を説明するための図である。
符号化装置1は、機能的構成要素として入力端子(入力手段)101、ブロック分割器102、予測信号生成器103、フレームメモリ(記憶手段)104、減算器105、変換器106、量子化器107、逆量子化器108、逆変換器109、加算器110、エントロピー符号化器111、出力端子112、及びフィルタ処理器(フィルタ処理手段)113を備えている。予測信号生成器103、減算器105、変換器106、量子化器107、及びエントロピー符号化器111は、符号化ステップを実行する符号化手段に対応する。逆量子化器108、逆変換器109及び加算器110は、復元ステップを実行する復元手段に対応する。
入力端子101は、動画像を構成する複数毎の画像の信号の入力を受け付けてブロック分割器102に出力する手段である。すなわち、入力端子101は入力ステップを実行する。
ブロック分割器102は、入力端子101から入力された画像を複数の領域(ブロック)に分割する手段である。ブロック分割器102は複数毎の画像のそれぞれに対してこの分割処理を実行する。この分割処理により生成される各ブロックに対して符号化処理が実行されることになる。以下では、ブロック分割器102で生成されるブロックを対象ブロックともいう。本実施形態ではブロック分割器102は各画像を8×8の画素からなるブロックに分割するが、これ以外の大きさ又は形のブロック(例えば4×4や16×16の画素からなるブロック)に分割してもよい。ブロック分割器102は対象ブロックの信号を予測信号生成器103及び減算器105に出力する。
予測信号生成器103は、対象ブロックに対する予測信号を生成する手段である。本実施形態では、予測信号生成器103は画面間予測と画面内予測という二種類の予測方法のうちの少なくとも一つを用いて予測信号を生成する。
まず画面間予測の場合について説明する。予測信号生成器103は、過去に符号化された後に復元された再生画像を参照画像として用い、この参照画像から、対象ブロックに対する誤差が最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。ここで、この参照画像は、後述する歪除去完了画像である。このとき予測信号生成器103は場合に応じて、対象ブロックを再分割し、再分割後の各小領域に対して画面間予測方法を決定してもよい。例えば、予測信号生成器103は8×8の対象ブロックを4×4の小領域に再分割してもよい。この場合、予測信号生成器103は、各種の分割方法の中から対象ブロック全体に対して最も効率の良い分割方法を選択し、選択した方法を用いて各小領域の動き情報を決定する。
予測信号生成器103は、ブロック分割器102から入力された対象ブロックの信号と、フレームメモリから入力された参照画像とを用いて予測信号を生成する。ここで、参照画像は、過去に符号化され復元された複数の画像であり、その詳細は、従来技術であるMPEG−2,4あるいはH.264のいずれかの方法と同じである。
予測信号生成器103は上記のように決定した動き情報及び小領域の分割方法をエントロピー符号化器111及びフィルタ処理器113に出力する。また、予測信号生成器103は、予測信号を複数の参照画像の中のどの参照画像から取得するかを示す情報(リファレンス・インデックス)もエントロピー符号化器111に出力する。本実施形態では、4ないし5枚の再生画像がフレームメモリ104に格納され、予測信号生成器103はそれらの再生画像を参照画像として用いる。
予測信号生成器103は、小領域の分割方法及びそれぞれの小領域に対応する、参照画像及び動き情報に基づいて、フレームメモリ104から参照画像の信号を取得し、輝度補償予測が行われた予測信号をブロック毎に生成する。予測信号生成器103はこのように生成した画面間予測の予測信号(画面間予測信号)を減算器105及び加算器110に出力する。予測信号生成器103における画面間予測信号の生成方法としては、従来技術であるH.264の方法に加え、対象ブロック毎に輝度補償予測を用いて予測信号を生成する方法がある。
次に画面内予測の場合について説明する。予測信号生成器103は、対象ブロックに空間的に隣接する既再生の画素値を用いて予測信号(画面内予測信号)を生成し、その予測信号を減算器105及び加算器110に出力する。
画面間予測及び画面内予測の双方を用いた場合には、予測信号生成器103は求めた画面間予測信号及び画面内予測信号から誤差の最も小さい信号を選択し、選択した予測信号を減算器105及び加算器110に出力する。
このような予測信号の出力に加えて、予測信号生成器103は、輝度補償予測に関するパラメータを含む、予測信号生成に必要な情報もエントロピー符号化器111及びフィルタ処理器113に出力する。
減算器105は、ブロック分割器102から入力された対象ブロックの信号から、予測信号生成器103から入力された予測信号を減算して残差信号を生成する手段である。変換器106は、その残差信号を離散コサイン変換することで変換係数を生成する手段である。量子化器107は、その変換係数を量子化してエントロピー符号化器111、逆量子化器108、及びフィルタ処理器113に出力する手段である。エントロピー符号化器111は、量子化された変換係数や、予測方法に関する情報を符号化し、圧縮データ(第1及び第2の圧縮データ)として出力端子112に出力する手段である。出力端子112は、エントロピー符号化器111から入力された圧縮データを動画像予測復号装置2に向けて出力(送信)する手段である。
後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、減算器105、変換器106及び量子化器107により圧縮された対象ブロックの信号は、逆量子化器108、逆変換器109及び加算器110により逆処理されることで復元される。逆量子化器108は、量子化された変換係数に対して逆量子化することで変換係数を復元する手段である。逆変換器109は復元された変換係数に対して逆離散コサイン変換を実行することで残差信号を復元する手段である。加算器110は、復元された残差信号と予測信号生成器103から入力された予測信号とを加算して対象ブロックの信号を復元(再生)する手段である。加算器110は復元した対象ブロックの信号をフィルタ処理器113に出力する。本実施形態では変換器106及び逆変換器109を用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器106及び逆変換器109がなくてもよい。
フィルタ処理器113は、復元された対象ブロックの信号から成る再生画像に対してフィルタ処理を実行し、当該処理を施した再生画像をフレームメモリ104に格納する手段である。本実施形態において、フィルタ処理器113は非線形フィルタとして動作する。図2に示すように、このフィルタ処理器113は、強度決定器301、歪除去処理器302、及びマスク処理器303を備えている。
強度決定器301は、隣接する二つの対象ブロックの境界における歪除去に用いるフィルタ強度を定めるためのモードを決定する手段である。本実施形態において、フィルタ強度とは、後述する閾値Tの大きさのことである。このモードはブロック境界毎に定められるものであり、簡単に「歪除去モード」ということもできる。
以下では、図3に示すように左右もしくは上下に互いに隣接する二つの対象ブロックをブロックAおよびブロックBと定義する。強度決定器301は、ブロックA,Bの符号化方法(画面内予測による符号化、または画面間予測による符号化)や符号化状況(非零の変換係数の有無、動きベクトルの差の大きさ、ICパラメータ(重み及びオフセット)の差の大きさ)に基づいて定義された下記のモードを予め記憶している。ここで、符号化方法や符号化状況に関する情報は予測信号生成器103又は量子化器107から強度決定器301に入力される。以下では、非零の変換係数を単に非零係数という。
INTRA_QUANT(ブロックAまたはBが画面内予測で符号化されたブロックである場合)
PRED_SIGINF(ブロックA,Bの双方が画面間予測で符号化されており、両ブロックの非零係数の数の合計が第1の所定値C以上の場合)
PRED_MOT(ブロックA,Bの双方が画面間予測で符号化されており、両ブロックの非零係数の数の合計が第1の所定値C未満で、かつ両ブロックの水平方向もしくは垂直方向の動き情報の差が第2の所定値D以上の場合)
PRED_QUANT(ブロックA,Bの双方が画面間予測で符号化されており、両ブロックの非零係数の数の合計が第1の所定値C未満で、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D未満の場合)
IC_STRONG(ブロックA,Bの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のICパラメータが共に両ブロック間で異なり、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上の場合)
IC_INTERMED(ブロックA,Bの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のICパラメータが共に両ブロック間で異なり、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D未満の場合)
IC_WEAK(ブロックA,Bの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のICパラメータのうちの一つのみが両ブロック間で異なり、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上の場合)
MOT_DISC(ブロックA,Bの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のICパラメータが両ブロック間で同じであり、かつ水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上である場合)
SKIP(ブロックA,Bの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のICパラメータが両ブロック間で同じであり、かつ水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D未満である場合、あるいは、ブロックA,Bの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のICパラメータのうちの一つのみが両ブロック間で異なり、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D未満の場合)
ここで、本実施形態では、第1の所定値Cが64であり、第2の所定値Dが4である。
図4のフローチャートを用いて、強度決定器301におけるモード決定処理を詳細に説明する。まず、強度決定器301はブロックA,Bに対するモードをSKIPに初期設定する(ステップS01)。続いて、強度決定器301はブロックAおよびブロックBのいずれかが画面内予測で生成されたブロック(イントラブロック)かどうかを判定する(ステップS02)。ここでいずれかのブロックがイントラブロックであれば、強度決定器301はモードをINTRA_QUANTに設定する(ステップS03)。
一方、ブロックA,B共に画面間予測で生成されたブロック(インターブロック)であれば、強度決定器301は、ブロックAまたはBに非零係数が含まれているか否かの判定を行い(ステップS04)、非零係数が存在する場合には非零係数の個数を判定する(ステップS05)。ステップS05において、ブロックAおよびBに含まれる非零係数の個数の合計が第1の所定値C以上であれば、強度決定器301はモードをPRED_SIGINFに設定する(ステップS06)。一方、当該合計が第1の所定値C未満の場合には、強度決定器301は更に、ブロックAおよびBの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上であるか否かを判定する(ステップS07)。
ステップS07において、水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上であれば、強度決定器301はモードをPRED_MOTに設定し(ステップS08)、そうでなければ、モードをPRED_QUANTに設定する(ステップS09)。
以上に対し、ステップS04において、ブロックA,B共に非零係数を含んでいなければ、強度決定器301はブロックA,Bの間でICパラメータに差があるか否かを判定する(ステップS10)。本実施形態では、ICパラメータとして、上記式(1)で示される重み及びオフセットがあるものとする。
ステップS10においてICパラメータに差がある場合には、強度決定器301は更に、ブロックA,B間で重み及びオフセットの双方が異なるか否かを判定すると共に(ステップS11)、ブロックAおよびブロックBの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上であるか否かを判定する(ステップS12,S15)。
ブロックA,B間で重み及びオフセットの双方が異なり、且つ動きベクトルの絶対値の差が第2の所定値D以上の場合には、強度決定器301はモードをIC_STRONGに設定する(ステップS13)。ブロックA,B間で重み及びオフセットの双方が異なり、且つ動きベクトルの絶対値の差が第2の所定値D未満の場合には、強度決定器301はモードをIC_INTERMEDに設定する(ステップS14)。
一方、ブロックA,B間で重み及びオフセットのうちの一つのみが異なり、且つブロックAおよびBの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上の場合には、強度決定器301はモードをIC_WEAKに設定する(ステップS16)。
以上に対し、ステップS10において二種類のICパラメータが同一であれば、強度決定器301はブロックAおよびBの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上か否かを判定する(ステップS17)。このとき、その差が第2の所定値D以上であれば、強度決定器301はモードをMOT_DISCに設定する(ステップS18)。
なお、本実施形態では、ブロックA,B間で重み及びオフセットのうちの一つのみが異なり、且つブロックAおよびBの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第2の所定値D以上の場合には、強度決定器301はモードをIC_WEAKに設定したが、IC_WEAKの設定方法はこれに限定されない。具体的には、強度決定器301は、ブロックA,B間で重み及びオフセットのうちの一つのみが異なる場合に、ブロックAおよびBの水平方向もしくは垂直方向の動きベクトルの絶対値の差を検査することなくモードをIC_WEAKに設定してもよい。
強度決定器301はこのように決定したモードの情報を歪除去処理器302及びマスク処理器303に出力する。
ここで、強度決定器301に関する変形例をいくつか示す。まず、本実施形態では第1の所定値Cを64とし、第2の所定値Dを4としたが、値C,Dの決定方法はこれに限定されない。
第1の所定値Cに関していえば、例えば、前に予測した画像に含まれていた非零係数の個数の平均値や最頻値を用いてもよい。また、符号化装置1の外部から入力された任意の値を用いてもよい。外部からの値を用いる場合には、符号化装置1はその値を符号化して復号装置2に送信すればよい。
第2の所定値Dに関していえば、例えば、前に予測した画像における動きベクトルの平均値や最頻値を用いてもよい。また、動きベクトルを探索する精度(1/2画素精度、1/4画素精度、1/8画素精度、1/16画素精度など)により第2の所定値Dを変更してもよい。また、符号化装置1の外部から入力された任意の値を用いてもよい。外部からの値を用いる場合には、符号化装置1はその値を符号化して復号装置2に送信すればよい。また、本実施形態では上記ステップS07,S12,S15,S17の処理において第2の所定値Dを同じとしたが、その値Dを各ステップの処理において変えてもよい。
本実施形態ではブロックAおよびBの水平方向もしくは垂直方向の動きベクトルの絶対値の差に基づき判定を行ったが、動きベクトルに基づく判定の方法はこれに限定されない。例えば、垂直方向および水平方向の双方の動きベクトルから算出される対象ブロックの動きベクトルの絶対値の差に基づいて判定してもよい。また、ブロックAおよびBのどちらか一方が双方向予測によって生成されている場合には、片方向予測により生成された他方のブロックに存在しない動きベクトルを0として判定処理を実行してもよい。
強度決定器301における処理手順は図4に示すものに限定されない。例えば、各判断処理の実行順を変えてもよい。
本実施形態では、強度決定器301は対象ブロックの境界に対してモードを決定したが、対象ブロックがさらに分割されて当該ブロック内に異なるサイズの小領域が生じた場合には、強度決定器301はその小領域の境界に対してモードを決めてもよい。また、その際のモードは上記のモードに限るものではなく、新たなモードを用意してもよい。
図2に戻って、歪除去処理器302は再生画像内の歪を除去する手段である。図5に示すように、この歪除去処理器302は線形変換器302a、歪除去器302b、逆線形変換器302c、及び歪除去画像生成器302dを備えている。
線形変換器302aは、加算器110から入力された再生画像yに対して線形変換(直交変換)を実行する手段である。ここで、再生画像yの大きさをN×Lとする。ただし、N、Lは任意の正数であり、N=Lであってもよい。線形変換処理を実行するために、線形変換器302aはn×n行列のある特定の直交変換H(jは対象ブロック数)を予め内部に記憶している。線形変換器302aは再生画像yに対して、基点となる左上端の画素位置を1画素ずつずらしながら再生画像yに対する直交変換をM回実行することで、M個の直交変換係数d1:M=Hyを取得する。ここで、Mは再生画像yを構成する画素の個数である。ここで、線形変換器302aは直交変換Hとしてn×nのDCT(nは2以上の整数)を利用する。線形変換器302aは直交変換係数d1:Mを歪除去器302bに出力する。本実施形態では、値nが対象ブロックの一辺のサイズと同じであるとする。
以下に、線形変換器302aに関する変形例をいくつか示す。まず、本実施形態では対象ブロックと同じ大きさの直交変換行列を用いたが、当該ブロックよりも大きい又は小さいサイズの直交変換行列を用いてもよい。また、本実施形態では直交変換としてn×nのDCTを示したが変換の種類はこれに限定されず、例えばアダマール変換や整数変換などを用いてもよい。また、二次元ではなく一次元の変換行列を用いて直交変換を行ってもよい。また、m×nの行列(m,nは1以上の整数、m≠n)を用いて直交変換を行ってもよい。
本実施形態では直交変換を利用しているが、線形変換の種類はこれに限定されず、非直交変換や、ブロック境界を定めることなく変換を行う非ブロック変換を用いてもよい。
本実施形態では直交変換処理を複数回繰り返したが、その処理を一回だけ行うように線形変換器302aを構成してもよい。
歪除去器302bは、画像信号の直交変換係数d1:Mをそのまま保持するか又は所定値に置換するかを決定することで予測変換係数を生成し、その予測変換係数を逆直交変換することで画像信号内の量子化歪を除去する手段である。本実施形態では、置換する場合の所定値を0とする。
歪除去器302bは、強度決定器301から入力されたブロック境界毎のモード情報に基づいて、歪除去に用いる閾値(フィルタ強度)を決定する手段である。本実施形態では、歪除去器302bは量子化ステップサイズに基づいてマスター閾値Tmasterを設定し、入力されたモードと歪除去の対象となる画素信号(輝度又は色差)とに応じて最終的な閾値Tを決定する。その際に歪除去器302bは、マスター閾値Tmasterにあらかじめ設定された比率テーブルの値を乗算することで閾値Tを決定する。歪除去器302bは比率テーブルの内容を予め記憶している。本実施形態では下記の比率テーブルを利用する。
Figure 0005393573

例えば、PRED_SIGINFが選択された場合には、輝度信号に対する閾値はT=0.32×Tmasterとなり、色差信号に対する閾値はT=0.16×Tmasterとなる。
上記比率テーブルで規定される比率は、映像の品質が客観的もしくは主観的に良くなるように、実験を通して設定されていることが望ましい。また、SKIPモードに対する比率は輝度及び色差の双方に対して0であることが望ましい。また、SKIP以外のモードにおいては、輝度に対する比率と色差に対する比率とは互いに異なることが望ましい。
ICパラメータに基づく三つのモードIC_STRONG,IC_INTERMED,IC_WEAKに対する比率の具体値は上記比率テーブルで示されるものに限らないが、これらのモードについての比率の大小関係はIC_STRONG>IC_INTERMED>IC_WEAKであることが望ましい。すなわち、IC_STRONGに対応する閾値(第1のフィルタ強度)がIC_INTERMEDに対応する閾値(第2のフィルタ強度)よりも大きく、IC_INTERMEDに対応する閾値がIC_WEAKに対応する閾値(第3のフィルタ強度)よりも大きいことが望ましい。
また、IC_STRONG,IC_INTERMED,IC_WEAKの比率は少なくともINTRA_QUANTよりも小さい方が望ましい。すなわち、IC_STRONG,IC_INTERMED,IC_WEAKに対応する各閾値はいずれも、互いに隣接する対象ブロックの少なくとも一方が画面内予測により符号化された場合に設定される閾値よりも小さい方が好ましい。
歪除去器302bは、直交変換行列で示されるブロック(直交変換係数ブロック)と対象ブロックとの間の大きさの大小関係や、直交変換係数ブロックが複数の対象ブロックをまたぐか否かによって歪除去モードを選択する。ここで、直交変換係数ブロックは、一の歪除去処理を適用する範囲、すなわち歪除去の処理単位であるといえる。歪除去モードを選択する処理について図6,7を用いながら説明する。
まず、図6を用いて、直交変換係数ブロックの大きさが対象ブロックの大きさ以下である場合の処理を説明する。図6(a)に示すように、直交変換係数ブロックLyが複数の対象ブロックLa,Lbをまたぐ場合には、歪除去器302bは垂直方向のブロック境界Ba、及び水平方向の境界Bb,Bcのそれぞれについて選択された歪除去モードのうち、歪除去の程度が最も弱いモード(対応する閾値が小さい方のモード)、すなわち上記比率テーブルにおける比率が最も低いモードが選択されることが望ましい。ここで、境界Bbは対象ブロックLbに接する境界であり、境界Bcは対象ブロックLaに接する境界である。
一方、図6(b)に示すように直交変換係数ブロックLyが対象ブロックLbと全く同じ位置となって直交変換係数ブロックLyがまたぐブロック境界が存在しない場合には、歪除去器302bは対象ブロックLbの左辺Ba及び上辺Bbの二つの境界に対応する歪除去モードのうち対応する閾値が大きい方のモード、すなわち上記比率テーブルにおける比率が高い方のモードを選択する。もっとも、図6(b)のような場合のモードの選択方法はこれに限定されない。例えば、歪除去器302bは図6(b)における境界Ba,Bbに対応する歪除去モードのうち、対応する閾値が小さい方のモードを選択してもよい。また、歪除去器302bは対象ブロックの右辺や下辺に対応する歪除去モードから一のモードを選択してもよい。
次に、図7を用いて、直交変換係数ブロックが対象ブロックよりも大きい場合(例えば対象ブロックの大きさがB×Bであるのに対して、直交変換係数ブロックの大きさが2B×2Bである場合)の処理を説明する。この場合には、歪除去器302bは直交変換係数ブロックLz内に存在する複数の境界(図7の例では、水平方向の境界Ha〜Hf及び垂直方向の境界Va〜Vf)に対応するモードのうち最も低い閾値が設定されるモードを選択する。もっとも、図7のような場合のモードの選択方法はこれに限定されない。例えば、歪除去器302bは複数のモードのうち過去に最も多く選択されたモードや平均的な閾値を有するモードを選択してもよい。
このように選択したモードに応じて上記のように決定した閾値Tを用いて、歪除去器302bは直交変換係数d1:Mのそれぞれについて当該係数が閾値Tよりも大きいか否かを判定する。そして歪除去器302bは、i番目の直交変換係数d1:M(i)が閾値Tよりも小さければ当該係数d1:M(i)を所定値0に設定し、そうでなければ当該係数d1:M(i)をそのまま維持する。歪除去器302bはこのような処理をすべての直交変換係数d1:Mに対して行うことで歪除去後のM個の直交変換係数c1:Mを取得し、当該係数c1:Mを逆線形変換器302cに出力する。
以下に、歪除去器302bに関する変形例をいくつか示す。本実施形態では、歪除去器302bはマスター閾値Tmasterに比率テーブル内の値を乗算して最終的な閾値Tを決定したが、歪除去器302b初めから量子化ステップサイズに応じた閾値Tを用意しておいてもよい。
本実施形態では、マスター閾値Tmasterを量子化ステップサイズに基づき決定しているが、マスター閾値の決定方法はこれに限定されない。例えば、他の符号化パラメータや、直交変換および歪処理の際に得られる情報なども用いてマスター閾値Tmasterを決定してもよい。また、符号化装置1の外部から入力されたマスター閾値Tmasterを用いてもよい。外部からの値を用いる場合には、符号化装置1はその値を符号化して復号装置2に送信し、復号装置2はそのマスター閾値Tmasterを再生して利用することになる。
本実施形態では一定条件下で直交変換係数d1:Mを所定値0に置換したが、置換処理の方法はこれに限定されない。例えば、歪除去器302bは直交変換係数d1:Mを半分にすることで歪除去直交変換係数c1:Mを得てもよいし、0以外の所定値に置換してもよい。また、歪除去器302bは直交変換係数d1:Mの位置に応じて置換方法を変更してもよい。
逆線形変換器302cは、歪除去直交変換係数c1:Mに対して線形変換Hを用いた逆直交変換を行い、この逆変換によって得られた歪除去ブロック
Figure 0005393573
(以下ではこれを^x1:Mと表す)を歪除去画像生成器302dに出力する手段である。
歪除去画像生成器302dは、入力された歪除去ブロック^x1:Mを組み合わせることで、歪を除去した画像(歪除去画像)
Figure 0005393573
(以下ではこれを^Xと表す)を生成する手段である。具体的には、歪除去画像生成器302dは歪除去ブロック^x1:Mの平均値(相加平均)を求めることで歪除去画像^Xを生成する。歪除去画像生成器302dは生成された歪除去画像^Xをマスク処理器303に出力する。
以下に、歪除去画像生成器302dに関する変形例をいくつか示す。本実施形態では相加平均を用いたが、歪除去画像の生成方法はこれに限定されない。例えば、歪除去画像生成器302dは重み付け平均値を求めることで歪除去画像を生成してもよい。その際には、各線形変換処理の途中で得られた情報に基づいて決定された重み付け係数、例えば閾値Tを用いて所定値に置換された直交変換係数の個数に応じて決定された重み付け係数を用いてもよい。
本実施形態では、歪除去画像生成器302dは再生画像信号の画素毎に得られた直交変換係数を処理したが、直交変換係数を処理する方法はこれに限定されない。例えば、歪除去画像生成器302dは再生画像の一列毎もしくは一行毎に得られた直交変換係数を処理してもよいし、市松模様状に抜き出した再生信号の画素毎に得られた当該係数を処理してもよい。また、歪除去画像生成器302dは、フィルタ処理器113に入力される再生画像毎に、直交変換係数を得る際の画素の位置を変えてもよい。
本実施形態では、歪除去画像生成器302dは上記のような歪除去処理を一回のみ行ったが、当該処理を複数回繰り返すことで歪を除去してもよい。このとき、繰返し回数はあらかじめ設定されていてもよいし、符号化に関する情報(例えば量子化パラメータ)に応じて都度変えてもよい。また、符号化装置1の外部から入力された繰返し回数を用いてもよい。外部からの値を用いる場合には、符号化装置1はその値を符号化して復号装置2に送信すればよい。
ここで、歪除去処理器302に関する変形例を示す。歪除去処理器302は上記以外の手法により歪除去を行ってもよい。例えば、歪除去処理器302はH.264で利用されるデブロッキングフィルタを用いてもよく、この場合には、モードに応じてブロック境界強度が決定されてもよい。また、歪除去処理器302はモードに応じてフィルタの種類およびフィルタ処理に用いられる画素数を直接決定してもよい。
図2に戻って、マスク処理器303は、強度決定器301から入力されたモード情報に基づいてマスク関数を決定し、当該マスク関数を用いてマスク処理を行う。具体的には、マスク処理器303は、マスク関数に応じて設定された画素について、加算器110から直接入力される再生画像yの画素と、歪除去処理器302から入力される歪除去画像^Xの画素とのうちどちらの画素を用いるかを決める。
まずマスク処理器303は、入力されたモードに基づいて、各対象ブロックについてマスク関数を決定する。ここでマスク関数とは対象ブロックの境界を中心とする所定範囲の画素領域であり、当該領域内において再生画像yの画素が歪除去画像^Xの画素に置換される。すなわち、マスク関数はフィルタ処理対象領域である。本実施形態ではマスク処理器303は下記のマスクテーブルを予め記憶しており、このテーブルに従ってマスク関数を決定する。
Figure 0005393573

上記マスクテーブルにおける値0は、歪除去画像との置換を行わないことを意味する。また、値1は、図8(a)で示される、対象ブロックLp,Lqの境界Bの周囲1画素分を覆うマスク関数Maを意味し、値2は、図8(b)で示される、対象ブロックLp,L1の境界Bの周囲2画素分を覆うマスク関数Mbを意味する。
以下に、マスク処理器303に関する変形例をいくつか示す。マスク処理器303は上記マスクテーブルとは異なる方法でマスク関数を決定してもよい。また、マスク処理器303は図8に示すものとは異なるマスク関数を用いてもよく、また、一種類あるいは3種類以上のマスク関数を用いてもよい。例えば、マスク処理器303は、再生画像yの全体が歪除去画像^Xと置換されるようなマスク関数を用いてもよい。
本実施形態では、各モードにおいて輝度及び色差に対して同一のマスク関数を定義したが、一のモード内において輝度と色差とで異なるマスク関数を定義されてもよい。
マスク処理器303は、モードに応じて選択したマスク関数を用いて、当該関数に対応する再生画像yの領域内の画素を歪除去画像^Xの画素に置換する。そして、マスク処理器303はこのようにマスク処理を行った再生画像を歪除去完了画像
Figure 0005393573
(以下ではこれを^Xfinalと表す)としてフレームメモリ104に格納する。
次に、図9を用いて、フィルタ処理器113の動作を説明するとともに本実施形態に係る動画像予測符号化方法、特にフィルタ処理ステップについて説明する。図9はフィルタ処理器113の動作を示すフローチャートである。
まず、フィルタ処理器113は加算器110から再生画像yを取得すると共に、予測信号生成器103及び量子化器107から、利用可能な符号化パラメータを取得する(ステップS101)。利用可能な符号化パラメータとしては、量子化パラメータや、動き情報(動きベクトル及び参照インデックス)、モード情報、ブロックの分割方法を示す情報、輝度補償予測に関するICパラメータなどが挙げられる。
続いて、強度決定器301が符号化パラメータに基づき対象ブロックの境界における歪除去のモードを決定する(ステップS102)。
続いて、歪除去処理器302による処理が実行される。まず、線形変換器302aが再生画像yに対して線形変換Hを実行することで、直交変換係数d1:Mを取得する(ステップS103)。ここでは、線形変換器302aは直交変換Hとしてn×nのDCT(nは2以上の整数)を用いている。続いて、歪除去器302bが強度決定器301から入力されたモードに基づいて閾値Tを決定し、各直交変換係数d1:Mに対してその閾値Tによる歪除去処理を行うことで歪除去直交変換係数c1:Mを求める(ステップS104)。続いて、逆線形変換器302cが歪除去直交変換係数c1:Mに対して逆線形変換を行うことで歪除去ブロック^x1:Mを生成する(ステップS105)。そして、歪除去画像生成器302dが歪除去ブロック^x1:Mを組み合わせることで歪除去画像^Xを生成する(ステップS106)。
続いて、マスク処理器303が強度決定器301から入力されたモードに基づいてマスク関数を決定し、そのマスク関数を用いて再生画像yおよび歪除去画像^Xに対するマスク処理を実行する(ステップS107)。そして、マスク処理器303は歪除去完了画像^Xfinalをフレームメモリ104に格納する(ステップS108、格納ステップ)。
次に、図10を用いて、実施形態に係る動画像予測復号装置の機能及び構成を説明する。図10は実施形態に係る動画像予測復号装置2(本明細書では単に復号装置2ともいう)の機能構成を示すブロック図である。復号装置2は、機能的構成要素として入力端子(入力手段)201、データ解析器202、逆量子化器203、逆変換器204、加算器205、出力端子206、フレームメモリ(記憶手段)207、予測信号生成器208、及びフィルタ処理器(フィルタ処理手段)209を備えている。逆量子化器203、逆変換器204、及び加算器205は、復元ステップを実行する復元手段に対応する。なお、逆変換器204に代わる他の変換処理を用いてもよいし、逆変換器204を省略してもよい。
入力端子201は、符号化装置1から送られてきた圧縮データを受信してデータ解析器202に出力する手段である。すなわち、入力端子201は入力ステップを実行する。この圧縮データには、残差信号に関する量子化された変換係数や、予測信号の生成に関連する情報などが含まれている。予測信号の生成に関連する情報としては、画面間予測に関しては、ブロック分割に関する情報(ブロックのサイズ)や、動き情報、リファレンス・インデックス、輝度補償予測に関するICパラメータがある。画面内予測に関しては、周辺の既再生の画素から対象ブロックの画素を生成する外挿方法に関する情報がある。
データ解析器202は、圧縮データを解析してエントロピー復号処理を行うことで、量子化された変換係数や予測信号の生成に関連する情報を抽出する手段である。データ解析器202は抽出したこれらの情報を逆量子化器203、予測信号生成器208、及びフィルタ処理器209に出力する。
逆量子化器203は量子化された変換係数を逆量子化することで変換係数を生成し、生成した変換係数を逆変換器204に出力する手段である。逆変換器204は入力された変換係数を逆離散コサイン変換することで残差信号を再生し、その残差信号を加算器205に出力する手段である。
予測信号生成器208は、対象ブロックに対する予測信号を生成する手段である。予測信号の生成に関連する情報がデータ解析器202から入力されると、予測信号生成器208はフレームメモリ207にアクセスして複数の参照画像を読み出し、その参照画像を構成する参照信号と入力情報とに基づいて予測信号を生成する。ここでの予測信号の生成方法は、符号化装置1の予測信号生成器103で実行されるものと同様であるので、詳細な説明は省略する。予測信号生成器208は生成した予測信号を加算器205に出力する。
加算器205は、逆変換器204から入力された残差信号と予測信号生成器208から入力された予測信号とを加算して対象ブロックの信号を再生する手段である。加算器205は生成した信号をフィルタ処理器209に出力する。
フィルタ処理器209は、再生画像に対してフィルタ処理を実行し、当該処理を施した再生画像を出力端子206及びフレームメモリ207に出力する手段である。フィルタ処理器209は、加算器205から入力された再生画像の信号と、データ解析器202から入力された、符号化方法や符号化状況に関する情報(輝度補償予測に関するICパラメータなど)とに基づいてフィルタ処理を実行する。フィルタ処理器209の構成および機能、及びそこで行われる処理は符号化装置1のフィルタ処理器113と同様であるので、詳細な説明は省略する。フィルタ処理器209は、生成した歪除去完了画像^Xfinalを出力端子206に出力すると共に、当該画像^Xfinalをフレームメモリ207に格納する。すなわち、フィルタ処理器209はフィルタ処理ステップ及び格納ステップを実行する。
出力端子206は、歪除去完了画像^Xfinalを外部に出力する手段である。例えば、出力端子206はその画像^Xfinalを表示装置(図示せず)に出力する。
次に、図11,12を用いて、コンピュータを上記符号化装置1として機能させるための動画像予測符号化プログラムを説明する。図11は動画像予測符号化プログラムP1(以下では単に符号化プログラムP1ともいう)の構成を示す図である。図12はフィルタ変換モジュールP113の詳細な構成を示す図である。
図11に示すように、符号化プログラムP1は、メインモジュールP10、入力モジュールP101、ブロック分割モジュールP102、予測信号生成モジュールP103、画像記憶モジュールP104、減算モジュールP105、変換モジュールP106、量子化モジュールP107、逆量子化モジュールP108、逆変換モジュールP109、加算モジュールP110、エントロピー符号化モジュールP111、出力モジュールP112、及びフィルタ処理モジュールP113を含んでいる。
このうち、フィルタ処理モジュールP113は、図12に示すように、強度決定モジュールP301、歪除去処理モジュールP302、及びマスク処理モジュールP303を含んでいる。歪除去処理モジュールは、線形変換モジュールP302a、歪除去モジュールP302b、逆線形変換モジュールP302c、及び歪除去画像生成モジュールP302dを含んでいる。
メインモジュールP10は、動画像予測符号化処理の全体を統括する機能を有する。入力モジュールP101、ブロック分割モジュールP102、予測信号生成モジュールP103、画像記憶モジュールP104、減算モジュールP105、変換モジュールP106、量子化モジュールP107、逆量子化モジュールP108、逆変換モジュールP109、加算モジュールP110、エントロピー符号化モジュールP111、出力モジュールP112、及びフィルタ処理モジュールP113がコンピュータに実行させる機能は、上述した入力端子101、ブロック分割器102、予測信号生成器103、フレームメモリ104、減算器105、変換器106、量子化器107、逆量子化器108、逆変換器109、加算器110、エントロピー符号化器111、出力端子112、及びフィルタ処理器113の機能と同様である。
フィルタ処理モジュールP113を構成する各モジュールの機能はそれぞれ、上述した強度決定器301、歪除去処理器302(線形変換器302a、歪除去器302b、逆線形変換器302c、及び歪除去画像生成器302d)、及びマスク処理器303の機能と同様である。
次に、図13を用いて、コンピュータを上記復号装置2として機能させるための動画像予測復号プログラムを説明する。図13は動画像予測復号プログラムP2(以下では単に復号プログラムP2ともいう)の構成を示す図である。
図13に示されるように、復号プログラムP2は、メインモジュールP20、入力モジュールP201、データ解析モジュールP202、逆量子化モジュールP203、逆変換モジュールP204、加算モジュールP205、出力モジュールP206、画像記憶モジュールP207、予測信号生成モジュールP208、及びフィルタ処理モジュールP209を含んでいる。フィルタ処理モジュールP209の構成は、図12に示すフィルタ処理モジュールP113と同様であるので、詳細な説明は省略する。
メインモジュールP20は、動画像予測復号処理の全体を統括する機能を有する。入力モジュールP201、データ解析モジュールP202、逆量子化モジュールP203、逆変換モジュールP204、加算モジュールP205、出力モジュールP206、画像記憶モジュールP207、予測信号生成モジュールP208、及びフィルタ処理モジュールP209がコンピュータに実行させる機能は、上述した入力端子201、データ解析器202、逆量子化器203、逆変換器204、加算器205、出力端子206、フレームメモリ207、予測信号生成器208、及びフィルタ処理器209の機能と同様である。
上記のように構成された符号化プログラムP1及び復号プログラムP2は、図14,15に示す記録媒体Mに記録可能であり、図14に示すコンピュータ30により実行される。もっとも、これらのプログラムを実行する機器は、DVDプレーヤやセットトップボックス、携帯電話などであってもよい。
図14に示すように、コンピュータ30は、フレキシブルディスクドライブ装置やCD−ROMドライブ装置、DVDドライブ装置等の読取装置31と、オペレーティングシステムを常駐させた作業用メモリ(RAM)32と、記録媒体Mに記憶されたプログラムを記憶するメモリ33と、ディスプレイ34と、入力装置であるマウス35及びキーボード36と、データ等の送受信を行うための通信装置37と、プログラムの実行を制御するCPU38とを備えている。
コンピュータ30は、記録媒体Mが読取装置31に挿入されると、記録媒体Mに格納された符号化プログラムP1にアクセス可能になり、当該プログラムP1によって、本発明に係る符号化装置1として動作することが可能になる。同様に、コンピュータ30は、記録媒体Mが読取装置31に挿入されると、記録媒体Mに格納された復号プログラムP2にアクセス可能になり、当該プログラムP2によって、本発明に係る復号装置2として動作することが可能になる。
図15に示すように、符号化プログラムP1又は復号プログラムP2は、搬送波に重畳されたデータ信号40としてネットワークを介して提供されるものであってもよい。この場合コンピュータ30は、通信装置37によって受信された符号化プログラムP1又は復号プログラムP2をメモリ33に格納して実行することができる。
以上説明したように、本実施形態によれば、対象ブロック間の輝度補償予測に関するパラメータ(重み及びオフセット(ICパラメータ))に基づいて、フィルタ強度の一種である閾値Tや、フィルタ処理対象領域を示すマスク関数が決められた上で、再生画像に対するフィルタ処理が実行される。そして、その処理が施された再生画像が、符号化装置1においては後続の画像を符号化する際に用いられる参照画像として、復号装置2においては後続の画像を復元する際に用いられる参照画像として、それぞれ保存される。このように、輝度補償予測に関するパラメータをフィルタ処理の際に考慮することで、ブロック間に輝度補償予測の違いが生じてもその違いに応じたフィルタ処理を行うことができる。その結果、例えば、過度のフィルタ処理が行われたり、フィルタ強度が不足したりする現象を抑えて、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現することができる。
また、本実施形態によれば、互いに隣接するブロック間におけるパラメータの差異に基づいてフィルタ強度(閾値T)及びフィルタ処理対象領域(マスク関数)が決定されるので、ブロックの境界部分で発生しやすいブロック歪を抑えることができる。その結果、再生画質の品質や画像の予測効率を向上させることができる。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
上記実施形態では、輝度補償予測に用いられるパラメータとして重み及びオフセットの二つのICパラメータを用いたが、フィルタ強度及びフィルタ処理対象領域を決めるために用いるパラメータの種類はこれに限定されない。例えば、オフセットのみ又は重みのみであったり、三つ以上の輝度補償予測に関するパラメータを用いたり、他の種類のパラメータに基づいてフィルタ強度及びフィルタ処理対象領域を決めてもよい。
上記実施形態ではブロック毎に輝度補償予測を行ったが、画面全体で同一の輝度補償予測を行う場合にも本発明を適用可能である。その場合には、画面毎に異なる輝度補償予測を考慮すればよい。
上記実施形態では輝度補償予測を示したが、色差に対して同様な重み付け補償予測を用いる場合にも同様に本発明を適用することができる。
上記実施形態ではフィルタ強度として閾値Tを示したが、フィルタ処理手段により決定されるフィルタ強度の種類はこれに限定されない。フィルタ処理手段は、閾値T以外の他の基準値をフィルタ強度として用いて上記のようなフィルタ処理を実行してもよい。
上記実施形態ではフィルタ処理器113,209をループ内フィルタとして利用したが、フィルタ処理器をポストフィルタとして用いてもよい。
1…動画像予測符号化装置、2…動画像予測復号装置、101…入力端子、102…ブロック分割器、103…予測信号生成器、104…フレームメモリ、105…減算器、106…変換器、107…量子化器、108…逆量子化器、109…逆変換器、110…加算器、111…エントロピー符号化器、112…出力端子、113…フィルタ処理器、201…入力端子、202…データ解析器、203…逆量子化器、204…逆変換器、205…加算器、206…出力端子、207…フレームメモリ、208…予測信号生成器、209…フィルタ処理器、301 強度決定器、302…歪除去処理器、302a…線形変換器、302b…歪除去器、302c…逆線形変換器、302d…歪除去画像生成器、303…マスク処理器、P1…動画像予測符号化プログラム、P10…メインモジュール、P101…入力モジュール、P102…ブロック分割モジュール、P103…予測信号生成モジュール、P104…画像記憶モジュール、P105…減算モジュール、P106…変換モジュール、P107…量子化モジュール、P108…逆量子化モジュール、P109…逆変換モジュール、P110…加算モジュール、P111…エントロピー符号化モジュール、P112…出力モジュール、P113…フィルタ処理モジュール、P2…動画像予測復号プログラム、P20…メインモジュール、P201…入力モジュール、P202…データ解析モジュール、P203…逆量子化モジュール、P204…逆変換モジュール、P205…加算モジュール、P206…出力モジュール、P207…画像記憶モジュール、P208…予測信号生成モジュール、P209…フィルタ処理モジュール、P301…強度決定モジュール、P302…歪除去処理モジュール、P302a…線形変換モジュール、P302b…歪除去モジュール、P302c…逆線形変換モジュール、P302d…歪除去画像生成モジュール、P303…マスク処理モジュール。

Claims (26)

  1. 動画像を構成する複数の画像を入力する入力手段と、
    前記入力手段により入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化手段と、
    前記符号化手段により生成された圧縮データを復号することで前記画像を再生画像として復元する復元手段と、
    前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、
    前記フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の前記画像を符号化するために用いる参照画像として記憶する記憶手段と、
    を備える動画像予測符号化装置。
  2. 前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記パラメータが異なるか否かを判定し、当該判定の結果に基づいて前記フィルタ強度及び前記フィルタ処理対象領域を決定する、
    請求項1に記載の動画像予測符号化装置。
  3. 前記輝度補償予測に関するパラメータが、少なくとも第1のパラメータ及び第2のパラメータを含み、
    前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記第1及び第2のパラメータを比較し、当該第1及び第2のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりも前記フィルタ強度を大きくする、
    請求項2に記載の動画像予測符号化装置。
  4. 前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記第1及び第2のパラメータを比較すると共に当該ブロック間で動きベクトルの差を比較し、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第1のフィルタ強度とし、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第2のフィルタ強度とし、当該第1及び第2のパラメータの一方のみが当該ブロック間で異なる場合には第3のフィルタ強度とし、
    前記第1のフィルタ強度の方が前記第2のフィルタ強度よりも大きく、前記第2のフィルタ強度の方が前記第3のフィルタ強度よりも大きい、
    請求項3に記載の動画像予測符号化装置。
  5. 前記第1、第2及び第3のフィルタ強度がいずれも、前記互いに隣接するブロックの少なくとも一方が前記画面内予測により符号化された場合に設定されるフィルタ強度よりも小さい、
    請求項4に記載の動画像予測符号化装置。
  6. 前記第1及び第2のパラメータが、前記ブロックの予測信号の画素値を変更するための重み及びオフセットである、
    請求項3〜5のいずれか一項に記載の動画像予測符号化装置。
  7. 動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第1の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第2の圧縮データとを入力する入力手段と、
    前記入力手段により入力された第1及び第2の圧縮データを復号することで、前記画像を再生画像として復元すると共に、前記ブロック間の輝度補償予測に関するパラメータを復元する復元手段と、
    前記復元手段により復元された前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、
    前記フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の前記画像を復元するために用いる参照画像として記憶する記憶手段と、
    を備える動画像予測復号装置。
  8. 前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記パラメータが異なるか否かを判定し、当該判定の結果に基づいて前記フィルタ強度及び前記フィルタ処理対象領域を決定する、
    請求項7に記載の動画像予測復号装置。
  9. 前記輝度補償予測に関するパラメータが、少なくとも第1のパラメータ及び第2のパラメータを含み、
    前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記第1及び第2のパラメータを比較し、当該第1及び第2のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりも前記フィルタ強度を大きくする、
    請求項8に記載の動画像予測復号装置。
  10. 前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記第1及び第2のパラメータを比較すると共に当該ブロック間で動きベクトルの差を比較し、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第1のフィルタ強度とし、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第2のフィルタ強度とし、当該第1及び第2のパラメータの一方のみが当該ブロック間で異なる場合には第3のフィルタ強度とし、
    前記第1のフィルタ強度の方が前記第2のフィルタ強度よりも大きく、前記第2のフィルタ強度の方が前記第3のフィルタ強度よりも大きい、
    請求項9に記載の動画像予測復号装置。
  11. 前記第1、第2及び第3のフィルタ強度がいずれも、前記互いに隣接するブロックの少なくとも一方が前記画面内予測により符号化された場合に設定されるフィルタ強度よりも小さい、
    請求項10に記載の動画像予測復号装置。
  12. 前記第1及び第2のパラメータが、前記ブロックの予測信号の画素値を変更するための重み及びオフセットである、
    請求項9〜11のいずれか一項に記載の動画像予測復号装置。
  13. 動画像予測符号化装置により実行される動画像予測符号化方法であって、
    動画像を構成する複数の画像を入力する入力ステップと、
    前記入力ステップにおいて入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化ステップと、
    前記符号化ステップにおいて生成された圧縮データを復号することで前記画像を再生画像として復元する復元ステップと、
    前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元ステップにおいて復元された再生画像に対してフィルタ処理を実行するフィルタ処理ステップと、
    前記フィルタ処理ステップにおいてフィルタ処理が実行された再生画像を、後続の前記画像を符号化するために用いる参照画像として前記動画像予測符号化装置の記憶手段に格納する格納ステップと、
    を含むことを特徴とする動画像予測符号化方法。
  14. 前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記パラメータが異なるか否かが判定され、当該判定の結果に基づいて前記フィルタ強度及び前記フィルタ処理対象領域が決定される、
    請求項13に記載の動画像予測符号化方法。
  15. 前記輝度補償予測に関するパラメータが、少なくとも第1のパラメータ及び第2のパラメータを含み、
    前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記第1及び第2のパラメータが比較され、当該第1及び第2のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりも前記フィルタ強度が大きく設定される、
    請求項14に記載の動画像予測符号化方法。
  16. 前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記第1及び第2のパラメータが比較されると共に当該ブロック間で動きベクトルの差が比較され、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第1のフィルタ強度が設定され、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第2のフィルタ強度が設定され、当該第1及び第2のパラメータの一方のみが当該ブロック間で異なる場合には第3のフィルタ強度が設定され、
    前記第1のフィルタ強度の方が前記第2のフィルタ強度よりも大きく、前記第2のフィルタ強度の方が前記第3のフィルタ強度よりも大きい、
    請求項15に記載の動画像予測符号化方法。
  17. 前記第1、第2及び第3のフィルタ強度がいずれも、前記互いに隣接するブロックの少なくとも一方が前記画面内予測により符号化された場合に設定されるフィルタ強度よりも小さい、
    請求項16に記載の動画像予測符号化方法。
  18. 前記第1及び第2のパラメータが、前記ブロックの予測信号の画素値を変更するための重み及びオフセットである、
    請求項15〜17のいずれか一項に記載の動画像予測符号化方法。
  19. 動画像予測復号装置により実行される動画像予測復号方法であって、
    動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第1の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第2の圧縮データとを入力する入力ステップと、
    前記入力ステップにおいて入力された第1及び第2の圧縮データを復号することで、前記画像を再生画像として復元すると共に、前記ブロック間の輝度補償予測に関するパラメータを復元する復元ステップと、
    前記復元ステップにおいて復元された前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元ステップにおいて復元された再生画像に対してフィルタ処理を実行するフィルタ処理ステップと、
    前記フィルタ処理ステップにおいてフィルタ処理が実行された再生画像を、後続の前記画像を復元するために用いる参照画像として前記動画像予測復号装置の記憶手段に格納する格納ステップと、
    を含むことを特徴とする動画像予測復号方法。
  20. 前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記パラメータが異なるか否かが判定され、当該判定の結果に基づいて前記フィルタ強度及び前記フィルタ処理対象領域が決定される、
    請求項19に記載の動画像予測復号方法。
  21. 前記輝度補償予測に関するパラメータが、少なくとも第1のパラメータ及び第2のパラメータを含み、
    前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記第1及び第2のパラメータが比較され、当該第1及び第2のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりも前記フィルタ強度が大きく設定される、
    請求項20に記載の動画像予測復号方法。
  22. 前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記第1及び第2のパラメータが比較されると共に当該ブロック間で動きベクトルの差が比較され、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第1のフィルタ強度が設定され、当該第1及び第2のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第2のフィルタ強度が設定され、当該第1及び第2のパラメータの一方のみが当該ブロック間で異なる場合には第3のフィルタ強度が設定され、
    前記第1のフィルタ強度の方が前記第2のフィルタ強度よりも大きく、前記第2のフィルタ強度の方が前記第3のフィルタ強度よりも大きい、
    請求項21に記載の動画像予測復号方法。
  23. 前記第1、第2及び第3のフィルタ強度がいずれも、前記互いに隣接するブロックの少なくとも一方が前記画面内予測により符号化された場合に設定されるフィルタ強度よりも小さい、
    請求項22に記載の動画像予測復号方法。
  24. 前記第1及び第2のパラメータが、前記ブロックの予測信号の画素値を変更するための重み及びオフセットである、
    請求項21〜23のいずれか一項に記載の動画像予測復号方法。
  25. コンピュータを、
    動画像を構成する複数の画像を入力する入力手段と、
    前記入力手段により入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化手段と、
    前記符号化手段により生成された圧縮データを復号することで前記画像を再生画像として復元する復元手段と、
    前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、
    前記フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の前記画像を符号化するために用いる参照画像として記憶する記憶手段と、
    して機能させる動画像予測符号化プログラム。
  26. コンピュータを、
    動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第1の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第2の圧縮データとを入力する入力手段と、
    前記入力手段により入力された第1及び第2の圧縮データを復号することで、前記画像を再生画像として復元すると共に、前記ブロック間の輝度補償予測に関するパラメータを復元する復元手段と、
    前記復元手段により復元された前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、
    前記フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の前記画像を復元するために用いる参照画像として記憶する記憶手段と、
    して機能させる動画像予測復号プログラム。
JP2010089629A 2010-04-08 2010-04-08 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム Expired - Fee Related JP5393573B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010089629A JP5393573B2 (ja) 2010-04-08 2010-04-08 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
PCT/JP2011/058439 WO2011125942A1 (ja) 2010-04-08 2011-04-01 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
EP11765842A EP2557794A1 (en) 2010-04-08 2011-04-01 Moving image prediction encoder apparatus, moving image prediction decoder apparatus, moving image prediction encoding method, moving image prediction decoding method, moving image prediction encoding program, and moving image prediction decoding program
CN2011800175439A CN102823252A (zh) 2010-04-08 2011-04-01 动态图像预测编码装置、动态图像预测解码装置、动态图像预测编码方法、动态图像预测解码方法、动态图像预测编码程序及动态图像预测解码程序
TW100112327A TW201143461A (en) 2010-04-08 2011-04-08 Moving image prediction encoder apparatus, moving image prediction decoder apparatus, moving image prediction encoding method, moving image prediction decoding method, moving image prediction encoding program, and moving image prediction decoding pro
US13/646,310 US20130028322A1 (en) 2010-04-08 2012-10-05 Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010089629A JP5393573B2 (ja) 2010-04-08 2010-04-08 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム

Publications (2)

Publication Number Publication Date
JP2011223262A JP2011223262A (ja) 2011-11-04
JP5393573B2 true JP5393573B2 (ja) 2014-01-22

Family

ID=44762880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010089629A Expired - Fee Related JP5393573B2 (ja) 2010-04-08 2010-04-08 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム

Country Status (6)

Country Link
US (1) US20130028322A1 (ja)
EP (1) EP2557794A1 (ja)
JP (1) JP5393573B2 (ja)
CN (1) CN102823252A (ja)
TW (1) TW201143461A (ja)
WO (1) WO2011125942A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2533539A2 (en) * 2010-02-02 2012-12-12 Humax Co., Ltd. Image encoding/decoding method for rate-distortion optimization and apparatus for performing same
CN106941608B (zh) 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
TWI726579B (zh) * 2011-12-21 2021-05-01 日商Jvc建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、動態影像解碼裝置、及動態影像解碼方法
CN107371021B (zh) * 2011-12-28 2020-01-24 Jvc 建伍株式会社 动图像编码装置、动图像编码方法以及存储介质
TWI666915B (zh) * 2012-04-06 2019-07-21 日商Jvc建伍股份有限公司 Image coding device, image coding method, and recording medium storing image coding program
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Nttドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
CN105579972A (zh) * 2013-01-24 2016-05-11 加州理工学院 一次写入存储器中的联合重写和错误校正
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
WO2014163453A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN105532005B (zh) * 2013-07-12 2019-04-26 三星电子株式会社 用于层间编码的方法和设备以及用于使用残差预测对视频进行层间解码的方法和设备
KR102199461B1 (ko) * 2013-07-15 2021-01-06 삼성전자주식회사 적응적 휘도 보상을 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9111336B2 (en) 2013-09-19 2015-08-18 At&T Intellectual Property I, Lp Method and apparatus for image filtering
KR102264679B1 (ko) * 2013-10-14 2021-06-14 삼성전자주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
CN112584140A (zh) * 2014-11-27 2021-03-30 株式会社Kt 对视频信号进行解码或编码的方法
KR102171119B1 (ko) * 2015-11-05 2020-10-28 삼성전자주식회사 복수개의 블록 기반의 파이프라인을 이용한 데이터 처리 속도 개선 장치 및 그 동작 방법
CN116760984A (zh) * 2019-04-26 2023-09-15 华为技术有限公司 用于指示色度量化参数映射函数的方法和装置
CN110636288B (zh) * 2019-09-27 2023-11-14 腾讯科技(深圳)有限公司 视频解码、编码方法和装置及电子设备
CN110572675B (zh) * 2019-09-27 2023-11-14 腾讯科技(深圳)有限公司 视频解码、编码方法和装置、存储介质与解码器、编码器
CN114868386A (zh) * 2020-12-03 2022-08-05 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0710103B2 (ja) * 1987-06-11 1995-02-01 三菱電機株式会社 画像符号化伝送装置
CN1738429A (zh) * 2001-09-12 2006-02-22 松下电器产业株式会社 图像解码方法
US7463684B2 (en) * 2002-05-03 2008-12-09 Microsoft Corporation Fading estimation/compensation
KR100995445B1 (ko) * 2003-08-19 2010-11-18 파나소닉 주식회사 동영상 부호화 방법 및 동영상 복호화 방법
US7924918B2 (en) * 2004-11-29 2011-04-12 Ntt Docomo, Inc. Temporal prediction in video coding
US8218634B2 (en) 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
JP4592562B2 (ja) * 2005-11-01 2010-12-01 シャープ株式会社 画像復号装置
CN101371571B (zh) * 2006-01-12 2013-06-19 Lg电子株式会社 处理多视图视频
JP4649355B2 (ja) * 2006-03-27 2011-03-09 富士通株式会社 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
CN101911705B (zh) * 2007-12-28 2012-08-29 夏普株式会社 运动图像编码装置及运动图像解码装置

Also Published As

Publication number Publication date
EP2557794A1 (en) 2013-02-13
CN102823252A (zh) 2012-12-12
TW201143461A (en) 2011-12-01
JP2011223262A (ja) 2011-11-04
WO2011125942A1 (ja) 2011-10-13
US20130028322A1 (en) 2013-01-31

Similar Documents

Publication Publication Date Title
JP5393573B2 (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
RU2715017C1 (ru) Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
JP5542680B2 (ja) 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP7085044B2 (ja) 画像予測復号方法
JP5781313B2 (ja) 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CA2750552C (en) Device, method and program for image prediction encoding, device, method and program for image prediction decoding, and encoding/decoding system and method
JP2009529845A (ja) 最適の予測モードを適応的に適用して動画を符号化する方法及び装置、動画を復号化する方法及び装置
JP2009027541A (ja) 画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラム
KR20100119562A (ko) 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
KR20070096737A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JPWO2010001999A1 (ja) 動画像符号化/復号化方法及び装置
JP2012034213A (ja) 画像処理装置、画像処理システムおよび画像処理方法
CN102742273A (zh) 图像处理装置和方法
JP6109354B2 (ja) 画像復号装置、方法及びプログラム
JP5893711B2 (ja) 画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラム
JP5775959B2 (ja) 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
JP2010010768A (ja) 画像符号化装置及び画像符号化方法
JP5318827B2 (ja) 画像予測符号化装置、方法およびプログラム、並びに、画像予測復号装置、方法およびプログラム
JP5646713B2 (ja) 画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラム
JP5922513B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2012170140A (ja) 画像符号化装置及び画像復号装置
JP5256095B2 (ja) 圧縮画像ノイズ除去装置と再生装置
JP2008017295A (ja) カラー画像符号化方法、装置及びプログラム、並びに、カラー画像復号方法、装置及びプログラム
WO2011089876A1 (ja) 映像復号化装置、映像復号化方法、および映像復号化用集積回路装置
JP2012147269A (ja) 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131015

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees