JP7510792B2 - 学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置 - Google Patents
学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置 Download PDFInfo
- Publication number
- JP7510792B2 JP7510792B2 JP2020104629A JP2020104629A JP7510792B2 JP 7510792 B2 JP7510792 B2 JP 7510792B2 JP 2020104629 A JP2020104629 A JP 2020104629A JP 2020104629 A JP2020104629 A JP 2020104629A JP 7510792 B2 JP7510792 B2 JP 7510792B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- learning
- image
- loop filter
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 115
- 230000008569 process Effects 0.000 claims description 102
- 238000012545 processing Methods 0.000 claims description 85
- 238000004364 calculation method Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 43
- 238000000354 decomposition reaction Methods 0.000 claims description 27
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000001303 quality assessment method Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 description 40
- 239000013598 vector Substances 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置に関する。
従来の2次元符号化方式として、AVC/H.264やHEVC/H.265が知られている。これらの2次元符号化方式では、量子化処理によって生じる符号化歪み(ブロック歪み)を低減するデブロッキングフィルタが実装されている(非特許文献1)。加えて、これらの2次元符号化方式では、デブロッキングフィルタの適用後、SAO(Sample Adaptive Offset)処理が行われる(非特許文献2)。これらのデブロッキングフィルタ及びSAO処理は、ループフィルタと呼ばれている。これらループフィルタを用いることで、視覚的な画質向上を実現できると共に、予測画像への画質劣化の伝搬を防ぐことができる。
HEVC/H.265を例として、デブロッキングフィルタ処理について説明する。図13に示すように、デブロッキングフィルタ処理は、8×8画素のブロックP,Qの境界を対象とする。なお、図13では、8×8画素のブロックP,Qのうち、4×4画素分の画素pijのみを図示した(0≦i≦3,0≦j≦3)。その際、図14に示す条件の下、境界強度Bs(Boundary Strength)が決定される。この境界強度Bsの値が1以上であったとき、図13の各画素に式(1)を適用し、このブロック境界がエッジ領域であるのかを判定する。そして、対象のブロックが式(1)の条件に合わない場合、そのブロック境界がエッジ領域であると判定され、そのブロック境界にはデブロッキングフィルタ処理を適用しない。なお、式(1)のβは、隣接するブロックP,Qの量子化パラメータの平均値に連動しており、βが大きくなるほどデブロッキングフィルタ処理が適用されやすくなる。
HEVC/H.265を例として、SAO処理について説明する。SAO処理は、デブロッキングフィルタ処理の後にCTU(Coding Tree Unit)単位で行われており、画素ごとにオフセット値を加算することで画質を向上させるものである。SAO処理には、エッジ・オフセット及びバンド・オフセットという、2種類のモードがある。図15に示すように、エッジ・オフセットでは、画素a~cのエッジ方向に応じた4種類のクラスでオフセットを行う。また、バンド・オフセットでは、図示しない32種類のバンドに分割した画素値のレンジに対してオフセットを行う。
ここで、従来のループフィルタを、ニューラルネットワークを用いたフィルタ処理に置き換えた手法が提案されている(特許文献1,2)。特許文献1,2に記載の手法では、前記したループフィルタの代わりに畳込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いて、画素値の変換などのフィルタ処理を行っている。
大久保榮著、「H.265/HEVC教科書」、株式会社インプレス、2013、p.150-157
大久保榮著、「H.265/HEVC教科書」、株式会社インプレス、2013、p.157-161
しかしながら、従来のループフィルタは、処理量が膨大になるという問題がある。例えば、HEVC/H.265では、映像符号化処理の際、デブロッキングフィルタの適用後にSAO処理を行っており、段階的に1つ1つのループフィルタを適用しているため処理量が膨大になる。さらに、各ループフィルタの適用/非適用やSAO処理におけるモードの種類は、様々な処理を経て判定されるために処理量が膨大になってしまう。
また、特許文献1,2記載の手法は、CNNによるフィルタ処理の実績が乏しく、従来のループフィルタを継続して利用したいという強い要望もある。
また、特許文献1,2記載の手法は、CNNによるフィルタ処理の実績が乏しく、従来のループフィルタを継続して利用したいという強い要望もある。
本発明は、ループフィルタの処理量を抑制できる学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置を提供することを課題とする。
前記課題を解決するため、本発明に係る学習装置は、符号化装置又は復号装置画が備えるループフィルタを制御する学習モデルのパラメータを学習する学習装置であって、学習画像入力部と、教師データ入力部と、学習部とを備える構成とした。
かかる構成によれば、学習画像入力部は、学習画像を入力する。
また、教師データ入力部は、学習画像の画質評価指標に基づいて、予め算出された学習画像にループフィルタの適否を示す教師データを入力する。
そして、学習部は、学習画像を学習モデルに入力して得られた判定結果と教師データとの誤差を算出し、算出した誤差が最小となるように学習モデルのパラメータを更新する。
また、教師データ入力部は、学習画像の画質評価指標に基づいて、予め算出された学習画像にループフィルタの適否を示す教師データを入力する。
そして、学習部は、学習画像を学習モデルに入力して得られた判定結果と教師データとの誤差を算出し、算出した誤差が最小となるように学習モデルのパラメータを更新する。
このように、学習装置は、様々な画像に対してループフィルタの適否を制御できるパラメータを学習できる。そして、符号化装置や復号装置では、この最適なパラメータが反映された学習モデルを用いるので、不要な画像にまでループフィルタを適用してしまう事態を防止し、ループフィルタの処理量を抑制できる。
また、前記課題を解決するため、本発明に係るループフィルタ制御装置は、符号化装置又は復号装置が備えるループフィルタを制御するループフィルタ制御装置であって、判定部と、制御部とを備える構成とした。
かかる構成によれば、判定部は、前記した学習装置で学習したパラメータが反映された学習モデルに判定対象画像を入力し、ループフィルタの適否を判定する。
そして、制御部は、判定部の判定結果に基づいて、ループフィルタの適否を制御する。
そして、制御部は、判定部の判定結果に基づいて、ループフィルタの適否を制御する。
このように、ループフィルタ制御装置は、最適なパラメータが反映された学習モデルを用いるので、様々な画像に対してループフィルタの適否を制御できる。これにより、ループフィルタ制御装置は、不要な画像にまでループフィルタを適用してしまう事態を防止し、ループフィルタの処理量を抑制できる。
また、前記課題を解決するため、本発明に係る復号装置は、ループフィルタを備え、符号化装置で符号化された画像を復号する復号装置であって、前記したループフィルタ制御装置を備える構成とした。
かかる構成によれば、復号装置は、最適なパラメータが反映された学習モデルを用いるので、様々な画像に対してループフィルタの適否を制御できる。これにより、復号装置は、不要な画像にまでループフィルタを適用してしまう事態を防止し、ループフィルタの処理量を抑制できる。
なお、本発明は、コンピュータを、前記した学習装置又はループフィルタ制御装置として機能させるためのプログラムで実現することもできる。
本発明によれば、ループフィルタの適否を制御するための最適なパラメータが反映された学習モデルを用いるので、ループフィルタの処理量を抑制できる。
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、各実施形態において、同一の手段には同一の符号を付し、説明を省略することがある。
(第1実施形態)
[学習装置の構成]
図1を参照し、第1実施形態に係る学習装置1の構成について説明する。
以下の各実施形態では、2次元符号化方式がHEVC/H.265であり、ループフィルタ4(図6)をデブロッキングフィルタ処理及びSAO処理で構成したものとして説明する。
[学習装置の構成]
図1を参照し、第1実施形態に係る学習装置1の構成について説明する。
以下の各実施形態では、2次元符号化方式がHEVC/H.265であり、ループフィルタ4(図6)をデブロッキングフィルタ処理及びSAO処理で構成したものとして説明する。
学習装置1は、後記する符号化装置2や復号装置5が備えるループフィルタ4の適否を制御する学習モデル13のパラメータを学習するものである。図1に示すように、学習装置1は、フレーム取得部(学習画像入力部)10と、教師データ取得部(教師データ入力部)11と、学習部12とを備える。
なお、「ON」はループフィルタ4を適用することを示し、「OFF」はループフィルタ4を適用しないことを示す。
なお、「ON」はループフィルタ4を適用することを示し、「OFF」はループフィルタ4を適用しないことを示す。
フレーム取得部10は、学習画像を取得(入力)し、取得した学習画像を学習部12に出力するものである。例えば、フレーム取得部10としては、学習画像をフレーム単位で記憶するフレームメモリがあげられる。
ここで、学習画像とは、学習モデル13のパラメータの学習に用いる2次元画像(動画像)のことであり、その内容は特に制限されない。例えば、学習画像として、既知のデータセットを用いることができる。
教師データ取得部11は、学習画像の教師データをフレーム単位で取得(入力)し、取得した教師データを学習部12に出力するものである。
ここで、教師データは、学習画像の画質評価指標に基づいて予め算出された、学習画像にループフィルタ4の適否を示すデータである。また、画質評価指標とは、学習画像の画質を評価する指標のことであり、例えば、ピーク信号対雑音比(PSNR:peak signal-to-noise ratio)である。なお、教師データの生成手法は、詳細を後記する。
ここで、教師データは、学習画像の画質評価指標に基づいて予め算出された、学習画像にループフィルタ4の適否を示すデータである。また、画質評価指標とは、学習画像の画質を評価する指標のことであり、例えば、ピーク信号対雑音比(PSNR:peak signal-to-noise ratio)である。なお、教師データの生成手法は、詳細を後記する。
ループフィルタ4の適否は、デブロッキングフィルタ処理及びSAO処理それぞれのON/OFFを組み合わせた4パターンとなる。従って、教師データは、図2に示すように、デブロッキングフィルタ処理及びSAO処理それぞれのON/OFFを示す4パターンで表される。具体的には、教師データは、デブロッキングフィルタ処理及びSAO処理の両方がONの「1,0,0,0」、デブロッキングフィルタ処理のみONの「0,1,0,0」、SAO処理のみONの「0,0,1,0」、デブロッキングフィルタ処理及びSAO処理の両方がOFFの「0,0,0,1」という、1-of-Kベクトルで表される。この1-of-Kベクトルでは、「1」がONを示し、「0」がOFFを示す。
なお、図2では、デブロッキングフィルタ処理を「DF」、SAO処理を「SAO」と略記した。
なお、図2では、デブロッキングフィルタ処理を「DF」、SAO処理を「SAO」と略記した。
学習部12は、学習画像を学習モデル13に入力して得られた判定結果と教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル13のパラメータを更新するものである。図1に示すように、学習部12は、学習モデル13と、誤差算出部14とを備える。
学習モデル13は、ループフィルタ4の適否を判定するものであり、そのモデル自体は特に制限されない。例えば、学習モデル13は、一般的な学習用のニューラルネットワークで構成できる。図3には、ニューラルネットワーク9の一例を図示した。このニューラルネットワーク9は、入力層90、1層以上の隠れ層91、及び、出力層92で構成されており、重みやバイアスといったパラメータを有する。また、学習モデル13は、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)としてもよい。この畳み込みニューラルネットワークは、畳み込み層、活性化層、プーリング層、及び、ソフトマックス層で構成されている(不図示)。本実施形態では、学習モデル13が畳み込みニューラルネットワークで構成されていることとする。
学習モデル13が出力する判定結果は、学習画像に対する4の適否を示す。つまり、学習モデル13の判定結果は、デブロッキングフィルタ処理及びSAO処理それぞれのON/OFFを示す4パターンに分類される確率を示す。例えば、学習モデル13にある学習画像を入力したときの判定結果が「0.2,0.5,0.1,0.2」の場合を考える。この場合、デブロッキングフィルタ処理及びSAO処理の両方がONの確率が0.2、デブロッキングフィルタ処理のみONの確率が0.5、SAO処理のみONの確率が0.1、デブロッキングフィルタ処理及びSAO処理の両方がOFFの確率が0.2である。
誤差算出部14は、学習モデル13が出力した判定結果と教師データとの誤差を算出するものである。ここで、誤差算出部14は、二乗和誤差、交差エントロピー誤差等の一般的な損失関数を用いて、誤差を算出する。例えば、誤差算出部14は、ある学習画像の判定結果「0.2,0.5,0.1,0.2」と、その学習画像の教師データである1-of-Kベクトル「0,1,0,0」との誤差を算出する。
すなわち、学習部12は、誤差算出部14で算出した誤差が最小となるように学習モデル13のパラメータ(重み、バイアス)を更新し、最適化したパラメータを符号化装置2や復号装置5に出力する。このとき、学習部12は、所定の回数(例えば、100万回)学習を行ってもよい。また、学習部12は、誤差が所定の値以下になるまで学習を行い、その誤差が所定の値以下になったら学習を終了してもよい。さらに、学習部12は、例えば、100個の教師データを用いてパラメータの更新を10000回繰り返すミニバッチで学習を行ってもよい。
[学習装置の動作]
図4を参照し、学習装置1の動作について説明する。
図4に示すように、ステップS1において、フレーム取得部10は、学習画像をフレーム単位で取得する。
ステップS2において、教師データ取得部11は、学習画像の教師データをフレーム単位で取得する。
図4を参照し、学習装置1の動作について説明する。
図4に示すように、ステップS1において、フレーム取得部10は、学習画像をフレーム単位で取得する。
ステップS2において、教師データ取得部11は、学習画像の教師データをフレーム単位で取得する。
ステップS3において、学習モデル13は、学習画像を学習モデル13に入力し、学習モデル13から判定結果を取得する。
ステップS4において、誤差算出部14は、学習モデル13から取得した判定結果と教師データとの誤差を算出する。
ステップS5において、学習部12は、ステップS4で算出した誤差が最小となるように学習モデル13のパラメータを更新する。
ステップS4において、誤差算出部14は、学習モデル13から取得した判定結果と教師データとの誤差を算出する。
ステップS5において、学習部12は、ステップS4で算出した誤差が最小となるように学習モデル13のパラメータを更新する。
ステップS6において、学習部12は、学習を終了するか否かを判定する。例えば、学習部12は、学習回数が所定の値以上になった場合、学習を終了すると判定する。また、学習部12は、ステップS4で算出した誤差が所定の値以下になった場合、学習を終了すると判定してもよい。
学習を終了しない場合(ステップS6でNo)、学習装置1は、ステップS3の処理に戻る。
学習を終了する場合(ステップS6でYes)、学習装置1は、ステップS7の処理に進む。
学習を終了する場合(ステップS6でYes)、学習装置1は、ステップS7の処理に進む。
ステップS7において、学習部12は、学習画像の全フレームが終了したか否かを判定する。
全フレームが終了していない場合(ステップS7でNo)、学習装置1は、ステップS1の処理に戻り、学習画像の次フレームを取得する。
全フレームが終了した場合(ステップS7でYes)、学習装置1は、処理を終了する。
全フレームが終了していない場合(ステップS7でNo)、学習装置1は、ステップS1の処理に戻り、学習画像の次フレームを取得する。
全フレームが終了した場合(ステップS7でYes)、学習装置1は、処理を終了する。
[作用・効果]
以上のように、学習装置1は、様々な画像に対してループフィルタ4の適否を制御できる学習モデル13のパラメータを学習できる。そして、後記する符号化装置や復号装置では、この最適なパラメータが反映された学習モデル31(図7)を用いるので、不要な画像にまでループフィルタ4を適用してしまう事態を防止し、ループフィルタ4の処理量を抑制できる。
以上のように、学習装置1は、様々な画像に対してループフィルタ4の適否を制御できる学習モデル13のパラメータを学習できる。そして、後記する符号化装置や復号装置では、この最適なパラメータが反映された学習モデル31(図7)を用いるので、不要な画像にまでループフィルタ4を適用してしまう事態を防止し、ループフィルタ4の処理量を抑制できる。
(変形例1)
図5を参照し、変形例1に係る学習装置1Bについて、第1実施形態と異なる点を説明する。この学習装置1Bは、学習画像から教師データを生成する点が第1実施形態と異なる。
図5を参照し、変形例1に係る学習装置1Bについて、第1実施形態と異なる点を説明する。この学習装置1Bは、学習画像から教師データを生成する点が第1実施形態と異なる。
図5に示すように、学習装置1Bは、フレーム取得部10Bと、教師データ取得部11と、学習部12と、PSNR算出部(ピーク信号対雑音比算出部)15と、教師データ生成部16とを備える。なお、教師データ取得部11及び学習部12は、第1実施形態と同様のため、説明を省略する。
ここで、デブロッキングフィルタ処理及びSAO処理それぞれの適否が異なる4パターン分、学習画像(原画像)を符号化及び復号した符号化画像を予め生成しておく。つまり、デブロッキングフィルタ処理及びSAO処理の両方がONの符号化画像と、デブロッキングフィルタ処理のみONの符号化画像と、SAO処理のみONの符号化画像と、デブロッキングフィルタ処理及びSAO処理の両方がOFFの符号化画像とを予め生成しておく。
フレーム取得部10Bは、学習画像及び符号化画像をフレーム単位で取得する。そして、フレーム取得部10Bは、取得した学習画像を学習部12に出力し、取得した学習画像及び符号化画像をPSNR算出部15に出力する。
PSNR算出部15は、デブロッキングフィルタ処理及びSAO処理それぞれの適否が異なる4パターン分について、符号化及び復号する前後の学習画像の間でピーク信号対雑音比を算出するものである。そして、PSNR算出部15は、4パターン分のピーク信号対雑音比を教師データ生成部16に出力する。
ここで、PSNR算出部15は、フレーム取得部10Bから入力した学習画像(原画像)と4パターン分の符号化画像との間でピーク信号対雑音比を算出する。具体的には、PSNR算出部15は、デブロッキングフィルタ処理及びSAO処理の両方がONの符号化画像と学習画像との間でピーク信号対雑音比を算出する。また、PSNR算出部15は、デブロッキングフィルタ処理のみONの符号化画像と学習画像との間でピーク信号対雑音比を算出する。また、PSNR算出部15は、SAO処理のみONの符号化画像と学習画像との間でピーク信号対雑音比を算出する。さらに、PSNR算出部15は、デブロッキングフィルタ処理及びSAO処理の両方がOFFの符号化画像と学習画像との間でピーク信号対雑音比を算出する。
なお、ピーク信号対雑音比は、主要な符号化方式の符号化制御(レート-ひずみの最適化)で多数採用されている。さらに、ピーク信号対雑音比を改善すれば、画質が向上すると考えられる。そこで、本実施形態では、画質評価指標としてピーク信号対雑音比を用いることとした。
教師データ生成部16は、PSNR算出部15から入力したピーク信号対雑音比が最大となるパターンで、デブロッキングフィルタ処理及びSAO処理それぞれの適否を示す教師データを生成するものである。例えば、4パターン分のピーク信号対雑音比のうち、デブロッキングフィルタ処理のみONのピーク信号対雑音比が最大の場合を考える。この場合、教師データ生成部16は、教師データとして、デブロッキングフィルタ処理のみONを示す1-of-Kベクトル「0,1,0,0」を生成する。そして、教師データ生成部16は、生成した教師データを教師データ取得部11に出力する。
なお、2パターン以上でピーク信号対雑音比が同一となる場合もある。この場合、教師データ生成部16は、処理時間が最短となるパターンで、デブロッキングフィルタ処理及びSAO処理それぞれの適否を示す教師データを生成すればよい。
[作用・効果]
以上のように、学習装置1Bは、第1実施形態と同様の効果に加え、学習画像の教師データを生成できるので、学習モデル13のパラメータを効率よく学習できる。
以上のように、学習装置1Bは、第1実施形態と同様の効果に加え、学習画像の教師データを生成できるので、学習モデル13のパラメータを効率よく学習できる。
(第2実施形態)
[符号化装置の構成]
図6を参照し、第2実施形態に係る符号化装置2の構成について説明する。
符号化装置2は、HEVC/H.265等の2次元符号化方式で原画像を符号化するものである。このとき、符号化装置2は、学習装置1から入力した最適パラメータが反映された学習モデル31(図7)を用いて、原画像に対するループフィルタ4の適否を制御する。
[符号化装置の構成]
図6を参照し、第2実施形態に係る符号化装置2の構成について説明する。
符号化装置2は、HEVC/H.265等の2次元符号化方式で原画像を符号化するものである。このとき、符号化装置2は、学習装置1から入力した最適パラメータが反映された学習モデル31(図7)を用いて、原画像に対するループフィルタ4の適否を制御する。
ここで、原画像とは、符号化装置2で符号化する前の2次元画像(動画像)であり、その内容は特に制限されない。本実施形態では、原画像が、後記するループフィルタ制御部3の判定対象画像となる。
図6に示すように、符号化装置2は、ループフィルタ制御部(ループフィルタ制御装置)3と、ループフィルタ4と、ブロック分割部20と、減算部21と、変換部22と、量子化部23と、エントロピー符号化部24と、逆量子化・逆変換部25と、合成部26と、動き検出部27と、予測部28とを備える。なお、ループフィルタ制御部3及びループフィルタ4以外の各手段は、一般的なものであるため、簡単に説明する。
ブロック分割部20は、ループフィルタ制御部3から入力した原画像をブロックに分割するものである。例えば、ブロックのサイズは、32×32画素、16×16画素、8×8画素、又は、4×4画素である。ブロックの形状は正方形に限らず、長方形であってもよい。HEVC/H.265の場合、ブロック分割部20は、原画像を符号化ツリーユニット(CTU)というブロックに分割した後、各CTUを符号化ユニット(CU)というブロックに分割する。
減算部21は、ブロック分割部20から入力したブロックと予測部28から入力した予測画像(予測ブロック)との間で画素単位の差分を示す予測残差を算出するものである。具体的には、減算部21は、ブロックの各画素値から予測画像の各画素値を減算することで、予測残差を算出する。
変換部22は、減算部21から入力した予測残差に対して直交変換を行って変換係数を算出するものである。具体的には、変換部22は、離散コサイン変換、離散サイン変換、カルーネンレーブ変換等の直交変換を行うことで変換係数を算出する。
量子化部23は、変換部22から入力した変換係数を量子化パラメータ(Qp)及び量子化行列を用いて量子化し、量子化変換係数を算出するものである。この量子化パラメータは、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。また、量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。
エントロピー符号化部24は、量子化部23から入力した量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ(ビットストリーム)を生成するものである。エントロピー符号化には、ハフマン符号やコンテキスト適応型2値算術符号を用いることができる。また、この符号化データは、復号装置5に出力される。
なお、エントロピー符号化部24には、ループフィルタ4からフィルタ処理に関する制御情報や、予測部28から予測に関する制御情報が入力されることがある。この場合、エントロピー符号化部24は、これらの制御情報のエントロピー符号化も行う。
逆量子化・逆変換部25は、ブロック単位で逆量子化処理及び逆直交変換処理を行うものである。つまり、逆量子化・逆変換部25は、量子化部23の量子化処理に対応する逆量子化処理と、変換部22の直交変換処理に対応する逆直交変換処理とを行う。具体的には、逆量子化・逆変換部25は、量子化部23から入力した量子化変換係数を、量子化パラメータ(Qp)及び量子化行列を用いて逆量子化することで、変換係数を復元する。そして、逆量子化・逆変換部25は、復元した変換係数に対して逆直交変換を行って予測残差を復元する(復元予測残差)。例えば、変換部22が離散コサイン変換を行った場合、逆量子化・逆変換部25は、逆離散コサイン変換を逆直交変換として行う。
合成部26は、逆量子化・逆変換部25から入力した復元予測残差と予測部28から入力した予測画像とを画素単位で合成する。具体的には、合成部26は、復元予測残差の各画素値と予測画像の各画素値とを加算してブロックを再構成(復号)する。この再構成画像は、復号画像又はローカル復号画像と呼ばれることがある。
動き検出部27は、ブロック分割部20から入力した原画像とフィルタ処理後の再構成画像との間で、ブロック毎に動きベクトルを検出するものである。例えば、動き検出部27は、原画像とフィルタ処理後の再構成画像との間でブロックマッチングを行って、動きベクトルを検出する。
予測部28は、ブロック単位で予測を行うものであり、イントラ予測部280と、動き補償部281と、切替部282とを備える。
イントラ予測部280は、合成部26から入力した再構成画像のうち、予測対象のブロックに隣接する復号済み参照画素を参照してイントラ予測画像を生成するものである。ことのき、イントラ予測部280は、予め規定された複数のイントラ予測モードの中から、対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。
動き補償部281は、動き検出部27から入力した動きベクトル情報に基づいて、フィルタ処理後の再構成画像を参照画像としてインター予測(動き補償)を行うことで、インター予測画像を生成する。具体的には、動き補償部281は、複数の参照画像を用いるインター予測(双予測)や、1つの参照画像を用いるインター予測(片方向予測)の中から、最適なインター予測方法を選択しインター予測を行う。
切替部282は、イントラ予測部280から入力したイントラ予測画像と、動き補償部281から入力したインター予測画像とを切り替えて、予測画像として合成26に出力するものである。
ループフィルタ制御部3は、外部から入力した原画像(判定対象画像)を用いて、符号化装置2のループフィルタ4を制御するものである。なお、ループフィルタ制御部3の詳細は、後記する。
ループフィルタ4は、合成部26から入力した再構成画像に対してフィルタ処理を行うものであり、デブロッキングフィルタ40と、SAO処理部41とを備える。また、ループフィルタ4は、フィルタ処理に関する情報をエントロピー符号化部24に出力する。
デブロッキングフィルタ40は、後記するループフィルタ制御部3からの指令に基づいて、デブロッキングフィルタ処理を行うものである。このデブロッキングフィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減する処理であり、隣接するブロックの境界における信号のギャップを平滑化するものである。なお、デブロッキングフィルタ40は、ループフィルタ制御部3からの指令に応じてデブロッキングフィルタ処理をON/OFFする以外、従来と同様である。
SAO処理部41は、ループフィルタ制御部3からの指令に基づいて、SAO処理を行うものである。例えば、SAO処理は、HEVC/H.265で採用されている画質改善フィルタ処理である。このSAO処理では、ブロック内の画素の隣接画素との相対的な関係により各画素をカテゴリ分けし、それぞれのカテゴリについて画質を向上させるためのオフセット値を算出し、同じカテゴリに属する各画素にオフセット値を付与する。なお、SAO処理部41は、ループフィルタ制御部3からの指令に応じてSAO処理をON/OFFする以外、従来と同様である。
[ループフィルタ制御部の構成]
図7を参照し、ループフィルタ制御部3の構成を説明する。
図7に示すように、ループフィルタ制御部3は、判定部30と、制御部32とを備える。
図7を参照し、ループフィルタ制御部3の構成を説明する。
図7に示すように、ループフィルタ制御部3は、判定部30と、制御部32とを備える。
判定部30は、最適パラメータが反映された学習モデル31に判定対象画像を入力し、ループフィルタ4の適否を判定するものである。そして、判定部30は、ループフィルタ4の適否を示す制御情報を制御部32に出力する。
ここで、学習モデル31は、学習装置1の学習モデル13(図1)と同一構成である。また、学習モデル31の判定結果は、デブロッキングフィルタ処理及びSAO処理をON/OFFする4パターンのそれぞれに分類される確率を示す。
すなわち、判定部30は、判定対象画像を構成する各画素の画素値を学習モデル31に入力し、学習モデル31から判定結果を取得する。そして、判定部30は、判定結果を参照し、4パターンのうちの確率が最大となるパターンで、デブロッキングフィルタ処理及びSAO処理をON/OFFする制御情報を生成する。この制御情報は、図2の教師データと同様、デブロッキングフィルタ処理及びSAO処理のON/OFFを示す1-of-Kベクトルである。例えば、ある判定対象画像の判定結果が「0.2,0.5,0.1,0.2」の場合、デブロッキングフィルタ処理のみONとなる確率が最大である。この場合、判定部30は、制御情報として、デブロッキングフィルタ処理のみONを示す1-of-Kベクトル「0,1,0,0」を生成する。
制御部32は、判定部30の判定結果に基づいて、判定対象画像に対するループフィルタ4の適否を制御するものである。つまり、制御部32は、以下で説明するように、判定部30から入力した制御情報に従って、デブロッキングフィルタ40及びSAO処理部41にON/OFFを指令する。
<制御部の動作>
図8を参照し、制御部32の動作を説明する。
図8に示すように、ステップS10において、制御部32は、判定対象画像に対応した制御情報を判定部30から取得する。
図8を参照し、制御部32の動作を説明する。
図8に示すように、ステップS10において、制御部32は、判定対象画像に対応した制御情報を判定部30から取得する。
ステップS11において、制御部32は、制御情報を参照し、デブロッキングフィルタ処理のON/OFFを判定する。
デブロッキングフィルタ処理がONの場合、制御部32は、ステップS12の処理に進む。
デブロッキングフィルタ処理がOFFの場合、制御部32は、ステップS13の処理に進む。
デブロッキングフィルタ処理がONの場合、制御部32は、ステップS12の処理に進む。
デブロッキングフィルタ処理がOFFの場合、制御部32は、ステップS13の処理に進む。
ステップS12において、制御部32は、制御情報を参照し、SAO処理のON/OFFを判定する。
SAO処理がONの場合、制御部32は、ステップS14の処理に進む。
SAO処理がOFFの場合、制御部32は、ステップS15の処理に進む。
SAO処理がONの場合、制御部32は、ステップS14の処理に進む。
SAO処理がOFFの場合、制御部32は、ステップS15の処理に進む。
ステップS13において、制御部32は、制御情報を参照し、SAO処理のON/OFFを判定する。
SAO処理がONの場合、制御部32は、ステップS16の処理に進む。
SAO処理がOFFの場合、制御部32は、ステップS17の処理に進む。
SAO処理がONの場合、制御部32は、ステップS16の処理に進む。
SAO処理がOFFの場合、制御部32は、ステップS17の処理に進む。
ステップS14において、制御部32は、デブロッキングフィルタ処理及びSAO処理の両方をONに指令する。
ステップS15において、制御部32は、デブロッキングフィルタ処理をON、SAO処理をOFFに指令する。
ステップS16において、制御部32は、デブロッキングフィルタ処理をOFF、SAO処理をONに指令する。
ステップS16において、制御部32は、デブロッキングフィルタ処理及びSAO処理の両方をOFFに指令する。
ステップS15において、制御部32は、デブロッキングフィルタ処理をON、SAO処理をOFFに指令する。
ステップS16において、制御部32は、デブロッキングフィルタ処理をOFF、SAO処理をONに指令する。
ステップS16において、制御部32は、デブロッキングフィルタ処理及びSAO処理の両方をOFFに指令する。
[作用・効果]
以上のように、符号化装置2は、最適なパラメータが反映された学習モデル31を用いるので、様々な画像に対してループフィルタ4の適否を制御できる。これにより、符号化装置2は、不要な画像にまでループフィルタ4を適用してしまう事態を防止し、ループフィルタ4の処理量を抑制できる。
以上のように、符号化装置2は、最適なパラメータが反映された学習モデル31を用いるので、様々な画像に対してループフィルタ4の適否を制御できる。これにより、符号化装置2は、不要な画像にまでループフィルタ4を適用してしまう事態を防止し、ループフィルタ4の処理量を抑制できる。
(変形例2)
図9を参照し、変形例2に係る符号化装置2Bについて、第2実施形態と異なる点を説明する。
符号化装置2Bは、原画像ではなく再構成画像をループフィルタ制御部3に入力する点が第2実施形態と異なる。つまり、符号化装置2Bは、ループフィルタ制御部3の配置が第2実施形態と異なる。
図9を参照し、変形例2に係る符号化装置2Bについて、第2実施形態と異なる点を説明する。
符号化装置2Bは、原画像ではなく再構成画像をループフィルタ制御部3に入力する点が第2実施形態と異なる。つまり、符号化装置2Bは、ループフィルタ制御部3の配置が第2実施形態と異なる。
図9に示すように、符号化装置2Bは、ループフィルタ制御部3と、ループフィルタ4と、ブロック分割部20と、減算部21と、変換部22と、量子化部23と、エントロピー符号化部24と、逆量子化・逆変換部25と、合成部26と、動き検出部27と、予測部28とを備える。
ループフィルタ制御部3は、合成部26の後段に配置されており、合成部26から入力した再構成画像に対して、ループフィルタ4を制御するものである。本実施形態では、再構成画像が、ループフィルタ制御部3の判定対象画像となる。
なお、ループフィルタ制御部3の配置以外、第2実施形態と同様のため、これ以上の説明を省略する。
なお、ループフィルタ制御部3の配置以外、第2実施形態と同様のため、これ以上の説明を省略する。
(第3実施形態)
[復号装置の構成]
図10を参照し、第3実施形態に係る復号装置5の構成について説明する。
復号装置5は、符号化装置2から入力した符号化データを復号するものである。このとき、復号装置5は、学習装置1から入力した最適パラメータが反映された学習モデル31(図7)を用いて、ループフィルタ4の適否を制御する。
[復号装置の構成]
図10を参照し、第3実施形態に係る復号装置5の構成について説明する。
復号装置5は、符号化装置2から入力した符号化データを復号するものである。このとき、復号装置5は、学習装置1から入力した最適パラメータが反映された学習モデル31(図7)を用いて、ループフィルタ4の適否を制御する。
図10に示すように、復号装置5は、ループフィルタ制御部3と、ループフィルタ4と、エントロピー符号化復号部50と、逆量子化部51と、逆変換部52と、合成部53と、予測部54と、復号画像バッファ55とを備える。
なお、ループフィルタ制御部3及びループフィルタ4以外の各手段は、一般的なものであるため、簡単に説明する。また、ループフィルタ制御部3及びループフィルタ4は、第2実施形態と同様のため、説明を省略する。
なお、ループフィルタ制御部3及びループフィルタ4以外の各手段は、一般的なものであるため、簡単に説明する。また、ループフィルタ制御部3及びループフィルタ4は、第2実施形態と同様のため、説明を省略する。
エントロピー符号化復号部50は、符号化装置2から入力した符号化データを復号し、量子化変換係数を逆量子化部51に出力するものである。また、エントロピー符号化復号部50は、イントラ予測及びインター予測に関する制御情報を取得し、予測部54に出力する。
逆量子化部51は、図6の量子化部23が行う量子化処理に対応する逆量子化処理を行うものである。具体的には、逆量子化部51は、エントロピー符号化復号部50から入力した量子化変換係数を、量子化パラメータ(Qp)及び量子化行列を用いて逆量子化することで、変換係数を復元する。
逆変換部52は、図6の変換部22が行う直交変換処理に対応する逆直交変換処理を行うものである。具体的には、逆変換部52は、逆量子化部51から入力した変換係数に対して逆直交変換を行って予測残差を復元する(復元予測残差)。
合成部53は、逆変換部52から入力した復元予測残差と予測部54から入力した予測画像とを画素単位で合成する。具体的には、合成部53は、復元予測残差の各画素値と予測画像の各画素値とを加算してブロックを再構成(復号)し、ブロック単位で再構成画像を生成する。
予測部54は、ブロック単位で予測を行うものであり、イントラ予測部540と、動き補償部541と、切替部542とを備える。
イントラ予測部540は、復号画像バッファ55に記憶されている再構成画像を参照し、エントロピー符号化復号部50から入力した制御情報に従ってイントラ予測を行うことで、イントラ予測画像を生成するものである。
動き補償部541は、復号画像バッファ55に記憶されている再構成画像を参照画像としてインター予測(動き補償)を行うことで、インター予測画像を生成するものである。具体的には、エントロピー符号化復号部50から入力した制御情報(動きベクトル情報)に従ってインター予測を行う。
切替部542は、イントラ予測部540から入力したイントラ予測画像と、動き補償部541から入力したインター予測画像とを切り替えて、予測画像として合成部53に出力するものである。
復号画像バッファ55は、ループフィルタ4から入力した再構成画像を記憶するものである。例えば、復号画像バッファ55としては、再構成画像をフレーム単位で記憶するフレームメモリがあげられる。また、復号画像バッファ55は、再構成画像を復号装置5の外部に出力する。
[作用・効果]
以上のように、復号装置5は、最適なパラメータが反映された学習モデル31を用いるので、様々な画像に対してループフィルタ4の適否を制御できる。これにより、復号装置5は、不要な画像にまでループフィルタ4を適用してしまう事態を防止し、ループフィルタ4の処理量を抑制できる。
以上のように、復号装置5は、最適なパラメータが反映された学習モデル31を用いるので、様々な画像に対してループフィルタ4の適否を制御できる。これにより、復号装置5は、不要な画像にまでループフィルタ4を適用してしまう事態を防止し、ループフィルタ4の処理量を抑制できる。
(変形例3)
図11及び図12を参照し、変形例3に係る学習装置1C及びループフィルタ制御部3Cについて、各実施形態と異なる点を説明する。この変形例3では、画像の各画素の画素値に加え、画像の周波数分解値及び画像特徴量も利用する点が各実施形態と異なる。
図11及び図12を参照し、変形例3に係る学習装置1C及びループフィルタ制御部3Cについて、各実施形態と異なる点を説明する。この変形例3では、画像の各画素の画素値に加え、画像の周波数分解値及び画像特徴量も利用する点が各実施形態と異なる。
[学習装置]
図11に示すように、学習装置1Cは、フレーム取得部10と、教師データ取得部11と、学習部12Cと、周波数分解部17と、画像特徴量算出部18とを備える。なお、フレーム取得部10及び教師データ取得部11は、第1実施形態と同様のため、説明を省略する。
図11に示すように、学習装置1Cは、フレーム取得部10と、教師データ取得部11と、学習部12Cと、周波数分解部17と、画像特徴量算出部18とを備える。なお、フレーム取得部10及び教師データ取得部11は、第1実施形態と同様のため、説明を省略する。
周波数分解部17は、フレーム取得部10から入力した学習画像を周波数分解するものである。例えば、周波数分解部17は、学習画像に周波数変換処理を施し、学習画像の各フレームから周波数分解値(空間周波数成分)を算出する。そして、周波数分解部17は、算出した周波数分解値を学習部12Cに出力する。
画像特徴量算出部18は、フレーム取得部10から入力した学習画像から画像特徴量を算出するものである。例えば、画像特徴量算出部18は、学習画像から、動きベクトル、エッジ、SIFT、SURF等の画像特徴量を算出する。さらに、画像特徴量算出部18は、2種類以上の画像特徴量を組み合わせた多次元の画像特徴量を算出してもよい。そして、画像特徴量算出部18は、算出した画像特徴量を学習部12Cに出力する。
学習部12Cは、学習画像の画素値、周波数分解値及び画像特徴量を学習モデル13に入力して得られた判定結果と教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル13のパラメータを更新するものである。すなわち、学習部12Cは、学習画像を構成する各画素の画素値と、その学習画像の周波数分解値及び画像特徴量とを学習モデル13に入力し、ループフィルタ4の適否を示す判定結果を学習モデル13から取得する。そして、学習部12Cは、その判定結果と教師データとの誤差を誤差算出部14で算出し、その誤差が最小となるように学習モデル13のパラメータを更新し、最適化したパラメータ(最適パラメータ)を出力する。
なお、教師データは、第1実施形態と同様のため、説明を省略する。すなわち、学習画像の周波数分解値及び画像特徴量からは教師データを生成しない。
なお、教師データは、第1実施形態と同様のため、説明を省略する。すなわち、学習画像の周波数分解値及び画像特徴量からは教師データを生成しない。
[ループフィルタ制御部]
図12に示すように、ループフィルタ制御部3Cは、判定部30Cと、制御部32と、周波数分解部33と、画像特徴量算出部34とを備える。なお、制御部32は、第2実施形態と同様のため、説明を省略する。
図12に示すように、ループフィルタ制御部3Cは、判定部30Cと、制御部32と、周波数分解部33と、画像特徴量算出部34とを備える。なお、制御部32は、第2実施形態と同様のため、説明を省略する。
周波数分解部33は、図11の周波数分解部17と同様、判定対象画像を周波数分解するものである。そして、周波数分解部33は、算出した周波数分解値を判定部30Bに出力する。
画像特徴量算出部34は、図11の画像特徴量算出部18と同様、判定対象画像から画像特徴量を算出するものである。そして、画像特徴量算出部34は、算出した画像特徴量を判定部30Cに出力する。
判定部30Cは、判定対象画像の画素値、周波数分解値及び画像特徴量を学習モデル31に入力し、学習モデル31から判定結果を取得する。そして、判定部30Bは、判定結果を参照し、4パターンのうちの確率が最大となるパターンで、デブロッキングフィルタ処理及びSAO処理をON/OFFする制御情報を生成する。
[作用・効果]
以上のように、学習装置1C及びループフィルタ制御部3Cは、画像の画素値の他、画像の周波数分解値及び画像特徴量も利用することで、より高精度にループフィルタ4の適否を制御できる。
以上のように、学習装置1C及びループフィルタ制御部3Cは、画像の画素値の他、画像の周波数分解値及び画像特徴量も利用することで、より高精度にループフィルタ4の適否を制御できる。
(変形例4)
図5及び図7を参照し、変形例4に係る学習装置1及びループフィルタ制御部3について、各実施形態と異なる点を説明する。この変形例4では、ループフィルタ4の適否に加え、デブロッキングフィルタ処理の強弱も制御する点が各実施形態と異なる。
図5及び図7を参照し、変形例4に係る学習装置1及びループフィルタ制御部3について、各実施形態と異なる点を説明する。この変形例4では、ループフィルタ4の適否に加え、デブロッキングフィルタ処理の強弱も制御する点が各実施形態と異なる。
[学習装置]
ここで、デブロッキングフィルタ処理では、ストロングフィルタ又はウィークフィルタの何れかを選択することで、その強弱を変えることができる。そこで、学習画像から、ストロングフィルタ及びウィークフィルタの各モードで符号化及び復号した符号化画像を予め生成しておく。つまり、ストロングフィルタを適用した符号化画像と、ウィークフィルタを適用した符号化画像とを予め生成しておく。
ここで、デブロッキングフィルタ処理では、ストロングフィルタ又はウィークフィルタの何れかを選択することで、その強弱を変えることができる。そこで、学習画像から、ストロングフィルタ及びウィークフィルタの各モードで符号化及び復号した符号化画像を予め生成しておく。つまり、ストロングフィルタを適用した符号化画像と、ウィークフィルタを適用した符号化画像とを予め生成しておく。
図5のPSNR算出部15は、デブロッキングフィルタ処理で選択されるストロングフィルタ又はウィークフィルタのモード毎に、符号化及び復号する前後の学習画像のピーク信号対雑音比を算出する。具体的には、PSNR算出部15は、フレーム取得部10Bから入力した学習画像と各モードの符号化画像との間でピーク信号対雑音比を算出する。まず、PSNR算出部15は、ストロングフィルタを適用した符号化画像と学習画像との間でピーク信号対雑音比を算出する。また、PSNR算出部15は、ウィークフィルタを適用した符号化画像と学習画像との間でピーク信号対雑音比を算出する。
教師データ生成部16は、PSNR算出部15から入力したピーク信号対雑音比が最大となるモードで、デブロッキングフィルタ処理の強弱を示す教師データを生成する。例えば、ウィークフィルタよりストロングフィルタを適用したときのピーク信号対雑音比が大きい場合、教師データ生成部16は、教師データとして、ストロングフィルタの選択を示す1-of-Kベクトル「1,0」を生成する。
学習部12は、デブロッキングフィルタ処理の強弱を制御する学習モデル13のパラメータを学習する。具体的には、学習部12は、学習画像を学習モデル13に入力して得られた判定結果と、デブロッキングフィルタ処理の強弱を示す教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル13のパラメータを更新する。
学習モデル13が出力する判定結果は、学習画像に対するデブロッキングフィルタ処理の強弱を示す。つまり、学習モデル13の判定結果は、学習画像に対して、ストロングフィルタ及びウィークフィルタを選択する確率を示す。例えば、ある学習画像の判定結果が「0.8,0.2」の場合を考える。この場合、ストロングフィルタを選択する確率が0.8、ウィークフィルタを選択する確率が0.2であることを示す。
誤差算出部14は、学習モデル13が出力した判定結果と、デブロッキングフィルタ処理の強弱を示す教師データとの誤差を算出するものである。例えば、誤差算出部14は、ある学習画像の判定結果「0.8,0.2」と、その学習画像の教師データである1-of-Kベクトル「1,0」との誤差を算出する。
[ループフィルタ制御部の構成]
図7の判定部30は、最適パラメータが反映された学習モデル31を用いて、デブロッキングフィルタ処理の強弱を判定する。ここで、学習モデル31の判定結果は、判定対象画像に対して、ストロングフィルタ及びウィークフィルタのそれぞれを選択する確率を示す。
図7の判定部30は、最適パラメータが反映された学習モデル31を用いて、デブロッキングフィルタ処理の強弱を判定する。ここで、学習モデル31の判定結果は、判定対象画像に対して、ストロングフィルタ及びウィークフィルタのそれぞれを選択する確率を示す。
すなわち、判定部30は、判定対象画像を学習モデル31に入力し、学習モデル31から判定結果を取得する。そして、判定部30は、判定結果を参照し、2モードのうちの確率が最大となるモードで制御情報を生成する。この制御情報は、ストロングフィルタ又はウィークフィルタの選択を示す1-of-Kベクトルである。例えば、ある判定対象画像の判定結果が「0.8,0.2」の場合、ウィークフィルタよりストロングフィルタを選択する確率が大きくなる。この場合、判定部30は、制御情報として、ストロングフィルタの選択を示す1-of-Kベクトル「1,0」を生成する。
制御部32は、判定部30の判定結果に基づいて、デブロッキングフィルタ処理の強弱を制御する。具体的には、制御部32は、判定部30から入力した制御情報に従って、デブロッキングフィルタ40にストロングフィルタ又はウィークフィルタの選択を指令する。
[作用・効果]
以上のように、変形例4に係る学習装置1及びループフィルタ制御部3は、高精度にデブロッキングフィルタ処理の強弱も制御できる。
以上のように、変形例4に係る学習装置1及びループフィルタ制御部3は、高精度にデブロッキングフィルタ処理の強弱も制御できる。
(変形例5)
図5及び図7を参照し、変形例5に係る学習装置1及びループフィルタ制御部3について、各実施形態と異なる点を説明する。この変形例4では、ループフィルタ4の適否に加え、SAO処理のオフセット値も制御する点が各実施形態と異なる。
図5及び図7を参照し、変形例5に係る学習装置1及びループフィルタ制御部3について、各実施形態と異なる点を説明する。この変形例4では、ループフィルタ4の適否に加え、SAO処理のオフセット値も制御する点が各実施形態と異なる。
ここで、SAO処理では、適応的にオフセット値を加算することで、符号化劣化を低減できる。そこで、学習画像から、様々なオフセット値のSAO処理で符号化及び復号した符号化画像を予め生成しておく。
図5のPSNR算出部15は、SAO処理のオフセット値毎に、符号化及び復号する前後の学習画像のピーク信号対雑音比する。具体的には、PSNR算出部15は、フレーム取得部10Bから入力した学習画像と各オフセット値の符号化画像との間でピーク信号対雑音比を算出する。
教師データ生成部16は、ピーク信号対雑音比が最大となるオフセット値を示す教師データを生成する。例えば、教師データ生成部16は、教師データとして、ピーク信号対雑音比が最大となるオフセット値を1、他のオフセット値を0とした1-of-Kベクトルを生成する。
学習部12は、SAO処理のオフセット値を制御する学習モデル13のパラメータを学習する。具体的には、学習部12は、学習画像を学習モデル13に入力して得られた判定結果と、SAO処理のオフセット値を示す教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル13のパラメータを更新する。学習モデル13が出力する判定結果は、学習画像に対して、SAO処理で各オフセット値を取る確率を示す。
誤差算出部14は、学習モデル13が出力した判定結果と、SAO処理のオフセット値を示す教師データとの誤差を算出する。
[ループフィルタ制御部の構成]
図7の判定部30は、最適パラメータが反映された学習モデル31を用いて、SAO処理のオフセット値を判定する。ここで、学習モデル31の判定結果は、ある判定対象画像に対して、SAO処理で各オフセット値を取る確率を示す。すなわち、判定部30は、判定対象画像を学習モデル31に入力し、学習モデル31から判定結果を取得する。そして、判定部30は、判定結果を参照し、確率が最大となるオフセット値を示す制御情報を生成する。
図7の判定部30は、最適パラメータが反映された学習モデル31を用いて、SAO処理のオフセット値を判定する。ここで、学習モデル31の判定結果は、ある判定対象画像に対して、SAO処理で各オフセット値を取る確率を示す。すなわち、判定部30は、判定対象画像を学習モデル31に入力し、学習モデル31から判定結果を取得する。そして、判定部30は、判定結果を参照し、確率が最大となるオフセット値を示す制御情報を生成する。
制御部32は、判定部30の判定結果に基づいて、SAO処理のオフセット値を制御する。具体的には、制御部32は、判定部30から入力した制御情報が示すオフセット値によるSAO処理をSAO処理部に指令する。
[作用・効果]
以上のように、変形例5に係る学習装置1及びループフィルタ制御部3は、高精度にSAO処理のオフセット値も制御できる。
以上のように、変形例5に係る学習装置1及びループフィルタ制御部3は、高精度にSAO処理のオフセット値も制御できる。
以上、本発明の各実施形態を詳述してきたが、本発明はこれらに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、画質評価指標がピーク信号対雑音比であるものとして説明したが、これに限定されない。例えば、画質評価指標として、SSIM(structural similarity)を用いてもよい。
前記した各実施形態では、画質評価指標がピーク信号対雑音比であるものとして説明したが、これに限定されない。例えば、画質評価指標として、SSIM(structural similarity)を用いてもよい。
前記した各実施形態では、2次元符号化方式がHEVC/H.265であるものとして説明したが、これに限定されない。例えば、2次元符号化方式が、VVC/H.266であってもよい。
前記した各実施形態では、デブロッキングフィルタ処理及びSAO処理という2種類のループフィルタを説明したが、これに限定されない。例えば、VVC/H.266のようなALF(Adaptive Loop Filter)処理を追加し、3種類のループフィルタとしてもよい。
前記した各実施形態では、デブロッキングフィルタ処理及びSAO処理という2種類のループフィルタを説明したが、これに限定されない。例えば、VVC/H.266のようなALF(Adaptive Loop Filter)処理を追加し、3種類のループフィルタとしてもよい。
前記した各実施形態では、符号化装置又は復号装置がループフィルタ制御部を備えるものとして説明したが、これに限定されない。つまり、ループフィルタ制御部は、独立したループフィルタ制御装置として実装することもできる。
また、コンピュータが備えるCPU、メモリ、ハードディスク等のハードウェア資源を、前記した学習装置又はループフィルタ制御装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
1,1B,1C 学習装置
10,10B フレーム取得部(学習画像入力部)
11 教師データ取得部(教師データ入力部)
12,12C 学習部
13 学習モデル
14 誤差算出部
15 PSNR算出部(ピーク信号対雑音比算出部)
16 教師データ生成部
17 周波数分解部
18 画像特徴量算出部
2,2B 符号化装置
20 ブロック分割部
21 減算部
22 変換部
23 量子化部
24 エントロピー符号化部
25 逆量子化・逆変換部
26 合成部
27 動き検出部
28 予測部
280 イントラ予測部
281 動き補償部
282 切替部
3,3C ループフィルタ制御部(ループフィルタ制御装置)
30,30C 判定部
31 学習モデル
32 制御部
4 ループフィルタ
40 デブロッキングフィルタ
41 SAO処理部
5 復号装置
50 エントロピー符号化復号部
51 逆量子化部
52 逆変換部
53 合成部
54 予測部
540 イントラ予測部
541 動き補償部
542 切替部
55 復号画像バッファ
10,10B フレーム取得部(学習画像入力部)
11 教師データ取得部(教師データ入力部)
12,12C 学習部
13 学習モデル
14 誤差算出部
15 PSNR算出部(ピーク信号対雑音比算出部)
16 教師データ生成部
17 周波数分解部
18 画像特徴量算出部
2,2B 符号化装置
20 ブロック分割部
21 減算部
22 変換部
23 量子化部
24 エントロピー符号化部
25 逆量子化・逆変換部
26 合成部
27 動き検出部
28 予測部
280 イントラ予測部
281 動き補償部
282 切替部
3,3C ループフィルタ制御部(ループフィルタ制御装置)
30,30C 判定部
31 学習モデル
32 制御部
4 ループフィルタ
40 デブロッキングフィルタ
41 SAO処理部
5 復号装置
50 エントロピー符号化復号部
51 逆量子化部
52 逆変換部
53 合成部
54 予測部
540 イントラ予測部
541 動き補償部
542 切替部
55 復号画像バッファ
Claims (13)
- 符号化装置又は復号装置が備えるループフィルタを制御する学習モデルのパラメータを学習する学習装置であって、
学習画像を入力する学習画像入力部と、
前記学習画像の画質評価指標に基づいて、予め算出された前記学習画像に前記ループフィルタの適否を示す教師データを入力する教師データ入力部と、
前記学習画像を前記学習モデルに入力して得られた判定結果と前記教師データとの誤差を算出し、算出した前記誤差が最小となるように前記学習モデルのパラメータを更新する学習部と、
を備えることを特徴とする学習装置。 - 前記ループフィルタは、デブロッキングフィルタ処理及びSAO処理で構成し、
前記画質評価指標は、ピーク信号対雑音比であり、
前記ループフィルタを構成する前記デブロッキングフィルタ処理及び前記SAO処理それぞれの適否が異なる4パターン分について、符号化及び復号する前後の前記学習画像の間でピーク信号対雑音比を算出するピーク信号対雑音比算出部と、
前記ピーク信号対雑音比が最大となるパターンで前記デブロッキングフィルタ処理及び前記SAO処理の適否を示す前記教師データを生成する教師データ生成部と、
を備えることを特徴とする請求項1に記載の学習装置。 - 前記ピーク信号対雑音比算出部は、前記デブロッキングフィルタ処理で選択するストロングフィルタ又はウィークフィルタを示すモード毎に、符号化及び復号する前後の前記学習画像の間でピーク信号対雑音比を算出し、
前記教師データ生成部は、前記ピーク信号対雑音比が最大となるモードで前記デブロッキングフィルタ処理の強弱を示す前記教師データを生成し、
前記学習部は、前記デブロッキングフィルタ処理の強弱を制御する前記学習モデルのパラメータを学習することを特徴とする請求項2に記載の学習装置。 - 前記ピーク信号対雑音比算出部は、前記SAO処理のオフセット値毎に、符号化及び復号する前後の前記学習画像の間でピーク信号対雑音比を算出し、
前記教師データ生成部は、前記ピーク信号対雑音比が最大となるオフセット値を示す前記教師データを生成し、
前記学習部は、前記SAO処理のオフセット値を制御する前記学習モデルのパラメータを学習することを特徴とする請求項2又は請求項3に記載の学習装置。 - 前記学習画像を周波数分解する周波数分解部と、
前記学習画像の画像特徴量を算出する画像特徴量算出部と、を備え、
前記学習部は、前記学習画像の周波数分解値及び画像特徴量を前記学習モデルに入力して得られた前記判定結果と前記教師データとの誤差を算出し、算出した前記誤差が最小となるように前記学習モデルのパラメータを更新することを特徴とする請求項1から請求項4の何れか一項に記載の学習装置。 - 符号化装置又は復号装置が備えるループフィルタを制御するループフィルタ制御装置であって、
請求項1に記載の学習装置で学習したパラメータが反映された学習モデルに判定対象画像を入力し、前記ループフィルタの適否を判定する判定部と、
前記判定部の判定結果に基づいて、前記ループフィルタの適否を制御する制御部と、
を備えることを特徴とするループフィルタ制御装置。 - 前記ループフィルタは、デブロッキングフィルタ処理およびSAO処理で構成し、
前記判定部は、前記学習モデルに前記判定対象画像を入力し、前記ループフィルタを構成する前記デブロッキングフィルタ処理及び前記SAO処理それぞれの適否を判定し、
前記制御部は、前記判定部の判定結果に基づいて、前記デブロッキングフィルタ処理及び前記SAO処理それぞれの適否を制御することを特徴とする請求項6に記載のループフィルタ制御装置。 - 前記判定部は、請求項3に記載の学習装置で学習したパラメータが反映された学習モデルに前記判定対象画像を入力し、前記デブロッキングフィルタ処理の強弱を判定し、
前記制御部は、前記判定部の判定結果に基づいて、前記デブロッキングフィルタ処理の強弱を制御することを特徴とする請求項7に記載のループフィルタ制御装置。 - 前記判定部は、請求項4に記載の学習装置で学習したパラメータが反映された学習モデルに前記判定対象画像を入力し、前記SAO処理のオフセット値を判定し、
前記制御部は、前記判定部の判定結果に基づいて、前記SAO処理のオフセット値を制御することを特徴とする請求項7又は請求項8に記載のループフィルタ制御装置。 - 前記判定対象画像を周波数分解する周波数分解部と、
前記判定対象画像の画像特徴量を算出する周波数分解部と、を備え、
前記判定部は、前記判定対象画像の周波数分解値及び画像特徴量を前記学習モデルに入力し、前記判定対象画像に対する前記ループフィルタの適否を判定する請求項6から請求項9の何れか一項に記載のループフィルタ制御装置。 - ループフィルタを備え、符号化装置で符号化された画像を復号する復号装置であって、
請求項6から請求項10の何れか一項に記載のループフィルタ制御装置、
を備えることを特徴とする復号装置。 - コンピュータを、請求項1から請求項5の何れか一項に記載の学習装置として機能させるためのプログラム。
- コンピュータを、請求項6から請求項10の何れか一項に記載のループフィルタ制御装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020104629A JP7510792B2 (ja) | 2020-06-17 | 2020-06-17 | 学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020104629A JP7510792B2 (ja) | 2020-06-17 | 2020-06-17 | 学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021197683A JP2021197683A (ja) | 2021-12-27 |
JP7510792B2 true JP7510792B2 (ja) | 2024-07-04 |
Family
ID=79196064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020104629A Active JP7510792B2 (ja) | 2020-06-17 | 2020-06-17 | 学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7510792B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002283A1 (ja) | 2015-07-01 | 2017-01-05 | パナソニックIpマネジメント株式会社 | 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置 |
JP2018532318A (ja) | 2015-09-14 | 2018-11-01 | メディアテック シンガポール ピーティーイー エルティーディー | ビデオ符号化における進化型デブロッキングフィルターの方法およびその装置 |
JP2020198463A (ja) | 2019-05-30 | 2020-12-10 | 富士通株式会社 | 符号化プログラム、復号プログラム、符号化装置、復号装置、符号化方法及び復号方法 |
-
2020
- 2020-06-17 JP JP2020104629A patent/JP7510792B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002283A1 (ja) | 2015-07-01 | 2017-01-05 | パナソニックIpマネジメント株式会社 | 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置 |
JP2018532318A (ja) | 2015-09-14 | 2018-11-01 | メディアテック シンガポール ピーティーイー エルティーディー | ビデオ符号化における進化型デブロッキングフィルターの方法およびその装置 |
JP2020198463A (ja) | 2019-05-30 | 2020-12-10 | 富士通株式会社 | 符号化プログラム、復号プログラム、符号化装置、復号装置、符号化方法及び復号方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021197683A (ja) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6974516B2 (ja) | 復元ブロック生成方法、予測情報符号化方法、ビットストリーム、コンピュータ可読媒体 | |
KR102035565B1 (ko) | 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치 | |
JP6158998B2 (ja) | 映像復号化装置 | |
CN103270700B (zh) | 使用平面表达的增强帧内预测编码 | |
JP5750579B2 (ja) | イントラ予測モード復号化方法及び装置 | |
KR20240068078A (ko) | 모드-인식 딥 러닝을 갖는 필터링을 위한 방법 및 장치 | |
US20200137384A1 (en) | Generative adversarial network based intra prediction for video coding | |
JP2024057033A (ja) | 画像復号装置及び画像復号方法 | |
CN104685874A (zh) | 用于在高效率视频编解码中处理分区模式的设备和方法 | |
JP2015136174A (ja) | 映像復号化装置 | |
US8243802B2 (en) | Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program | |
US20150245068A1 (en) | Tsm rate-distortion optimizing method, encoding method and device using the same, and apparatus for processing picture | |
KR101615643B1 (ko) | 픽처들의 압축 | |
KR20140124443A (ko) | 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치 | |
US20230262251A1 (en) | Picture prediction method, encoder, decoder and computer storage medium | |
JP4901450B2 (ja) | 動画像符号化装置 | |
JP4829019B2 (ja) | 通信端末装置 | |
WO2015115645A1 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2023168518A (ja) | 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム | |
CN114830663A (zh) | 变换方法、编码器、解码器以及存储介质 | |
KR20140124442A (ko) | 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치 | |
JP7510792B2 (ja) | 学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置 | |
JP6269137B2 (ja) | 動画像復号装置及びプログラム | |
KR20200013660A (ko) | 적어도 하나의 이미지를 나타내는 데이터 스트림을 인코딩 및 디코딩하는 방법 및 장치 | |
CN117221535A (zh) | 帧内预测方法、编码器、解码器以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240624 |