JP6785053B2 - 復号装置、及び復号プログラム - Google Patents

復号装置、及び復号プログラム Download PDF

Info

Publication number
JP6785053B2
JP6785053B2 JP2016075792A JP2016075792A JP6785053B2 JP 6785053 B2 JP6785053 B2 JP 6785053B2 JP 2016075792 A JP2016075792 A JP 2016075792A JP 2016075792 A JP2016075792 A JP 2016075792A JP 6785053 B2 JP6785053 B2 JP 6785053B2
Authority
JP
Japan
Prior art keywords
unit
quantization
band component
coding
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016075792A
Other languages
English (en)
Other versions
JP2017188768A (ja
Inventor
俊枝 三須
俊枝 三須
市ヶ谷 敦郎
敦郎 市ヶ谷
菊文 神田
菊文 神田
境田 慎一
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2016075792A priority Critical patent/JP6785053B2/ja
Publication of JP2017188768A publication Critical patent/JP2017188768A/ja
Application granted granted Critical
Publication of JP6785053B2 publication Critical patent/JP6785053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像や映像の圧縮符号化・復号に関するものであって、特にサブバンド分割後の帯域ごとに変換および量子化を適用する方式に関する。
従来、映像や画像のデータ圧縮の方式としてハイブリッド符号化方式が用いられている。ハイブリッド符号化方式では、符号化装置は、まず、映像のフレームや画像をブロックに分割する。次に、符号化装置は、分割したブロックごとに離散コサイン変換(DCT;Discrete Cosine Transform)などの変換を施し、その変換結果である変換係数を量子化する。そして、符号化装置は、量子化された変換係数をエントロピー符号化する。
ISO/IEC 23008−2,ITU−T H.265(以下、「HEVC/H.265」と称する。)では、小さな輝度ブロックのイントラ予測の残差信号を符号化するために、離散コサイン変換に加えて、離散サイン変換も利用される(例えば、特許文献1)。
特許第5302256号公報
ところで、自然画像の主成分ベクトルであるカルーネン・レーベ変換基底は、自然画像の信号の統計的性質から、離散コサイン変換基底により近似可能である。これを根拠として、従来のハイブリッド符号化方式では、離散コサイン変換が多用されてきた。しかしながら、特に映像の符号化では、符号化装置は、フレーム間やフレーム内の相関を利用して予測処理を行い、その予測残差に対して変換処理を行うことが一般的になってきている。この予測残差信号は、自然画像とは統計的性質を異にするため、離散コサイン変換基底は、予測残差信号に対しては、必ずしも最適な基底とは限らない。
そこで、方向予測によるイントラ予測において、参照画素に近い対象ブロック内の残差値がゼロに近くなることに着目し、その境界条件から奇関数の基底である離散サイン変換を用いることが提案されている。この方法は、HEVC/H.265において採用され、効を奏している。しかしながら、特にブロックの大きさが大きい場合には、ブロック内の低域成分と高域成分とで統計的性質が異なり、両者を同一の基底関数で扱うことは非効率である。
本発明のいくつかの態様は、符号化効率を向上させつつ、画質の低下を抑制することができる符号化装置、復号装置、符号化プログラム、及び復号プログラムを提供することを目的の一つとする。
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする符号化装置、復号装置、符号化プログラム、及び復号プログラムを提供することを目的の一つとする。
上述した課題を解決するために、本発明の一態様は、映像符号化における予測残差信号
又は画像信号を少なくとも第1帯域成分と第2帯域成分とに分割する帯域成分取得部と、前記帯域成分取得部が取得した第1帯域成分と第2帯域成分とに対して、量子化と逆量子化との量子化・逆量子化処理を実行する量子化処理部と、前記量子化処理部による量子化・逆量子化処理後の第1帯域成分と第2帯域成分との少なくともいずれかを用いて、前記帯域成分取得部が取得した第1帯域成分に一致又は類似する帯域成分を取得するための補正パラメータを生成する補正パラメータ部と、を備える符号化装置である。
また、本発明の一態様は、上記符号化装置において、前記帯域成分取得部は、前記第1帯域成分を、第1変換基底を用いて変換し、前記第2帯域成分を、前記第1変換基底とは異なる第2変換基底を用いて変換する。
また、本発明の一態様は、上記符号化装置において、前記量子化処理部は、前記第1帯域成分と前記第2帯域成分とに対して、異なる量子化幅と異なる量子化テーブルとの少なくともいずれかにより、量子化処理と逆量子化処理とを行う。
また、本発明の一態様は、上記符号化装置により生成された補正パラメータを取得する第1取得部と、前記量子化・逆量子化処理後の前記第1帯域成分と第2帯域成分とを取得する第2取得部と、前記第1取得部が取得した前記補正パラメータと、前記第2取得部が取得した量子化・逆量子化処理後の前記第1帯域成分と前記第2帯域成分とに基づいて、前記量子化・逆量子化処理前の前記第1帯域成分に一致又は類似する帯域成分を取得する補正部と、を備える復号装置である。
また、本発明の一態様は、コンピュータに、映像符号化における予測残差信号又は画像信号を少なくとも第1帯域成分と第2帯域成分とに分割する第1ステップと、前記第1ステップにおいて取得した第1帯域成分と第2帯域成分とに対して、量子化と逆量子化との量子化・逆量子化処理を実行する第2ステップと、前記第2ステップにおいて取得した量子化・逆量子化処理後の第1帯域成分と第2帯域成分との少なくともいずれかを用いて、前記第1ステップにおいて取得した第1帯域成分に一致又は類似する帯域成分を取得するための補正パラメータを生成する第3ステップと、を実行させるための符号化プログラムである。
また、本発明の一態様は、コンピュータに、上記符号化プログラムにより生成された補正パラメータを取得させる第4ステップと、前記量子化・逆量子化処理後の前記第1帯域成分と第2帯域成分とを取得させる第5ステップと、前記第4ステップにおいて取得した前記補正パラメータと、前記第5ステップにおいて取得した量子化・逆量子化処理後の前記第1帯域成分と前記第2帯域成分とに基づいて、前記量子化・逆量子化処理前の前記第1帯域成分に一致又は類似する帯域成分を取得する第6ステップと、を実行させるための復号プログラムである。
本発明の一態様によれば、符号化効率を向上させつつ、画質の低下を抑制することができる。
本発明の第1の実施形態に係る符号化システムの全体構成を示すブロック図である。 同実施形態に係る符号化装置の符号化制御部の構成を示すブロック図である。 同実施形態に係る符号化対象ブロックの一例を示す模式図である。 同実施形態に係る符号化対象ブロックのサブバンドブロックの例を示す模式図である。 同実施形態に係る符号化装置の補正パラメータ部の構成を示すブロック図である。 同実施形態に係る復号装置の復号制御部の構成を示すブロック図である。 同実施形態に係る復号装置の補正部の構成を示すブロック図である。 同実施形態に係る符号化装置による残差符号化処理の流れの一例を示すフローチャートである。 同実施形態に係る復号装置による残差復号処理の流れの一例を示すフローチャートである。
以下、本発明の実施形態について、図面を参照して説明する。
[第1の実施形態]
本発明の第1の実施形態に係る符号化システム1について説明する。
ここでは、まず、符号化システム1の概要について説明する。
図1は、符号化システム1の全体構成を示すブロック図である。
符号化システム1は、画像を、HEVC/H.265に準拠した方式により、圧縮符号化(以下、単に「符号化」と称する。)及び復号するシステムである。以下では、一例として、符号化システム1が、映像(動画像)を符号化及び復号する場合について説明するが、符号化システム1は、静止画像を復号化及び復号してもよい。
符号化システム1は、符号化装置10と、復号装置30と、を備える。
符号化装置10は、CPU(Central Processing Unit)等を含むコンピュータシステムを備える装置であり、例えば、サーバ装置等の電子機器である。符号化装置10は、映像信号を符号化する。この符号化では、インター予測、イントラ予測等の各種予測が行われる。符号化装置10は、各種予測の予測残差信号を、さらに符号化する残差符号化処理を実行する。
復号装置30は、CPU等を含むコンピュータシステムを備える装置であり、例えば、テレビ、セットトップボックス、パーソナルコンピュータ等の電子機器である。復号装置30は、符号化装置10が符号化した映像を復号する。
ここで、符号化装置10による残差符号化処理の概要について説明する。
まず、符号化装置10は、映像信号を、複数の周波数帯域に分割する。以下では、周波数帯域ごとの信号成分を、帯域成分と称することがある。次に、符号化装置10は、各帯域成分に対して変換処理を行い、変換係数を取得する。次に、符号化装置10は、取得した各変換係数に対して量子化処理を行う。量子化処理が行われた各変換係数は、エントロピー符号化され、復号装置30に伝送される。
他方、符号化装置10は、量子化処理を行った各変換係数に対して逆量子化処理および逆変換処理を適用する。これにより、周波数帯域ごとに、変換処理前の帯域成分に相当する帯域成分が得られる。以下では、変換処理及び量子化処理を適用する前の帯域成分を、処理前帯域成分と称し、逆量子化処理および逆変換処理を適用した帯域成分を、処理後帯域成分と称する。処理後帯域成分は、処理前帯域成分に相当するが、処理後帯域成分には、量子化処理による量子化誤差が含まれる。特に高周波数の帯域成分は、劣化しやすい。そのため、一般的には、処理前帯域成分と処理後帯域成分とは、一致しない。
ここで、符号化装置10は、複数の処理後帯域成分のうち、ある帯域の帯域成分を、別の帯域の帯域成分を用いて決定する。例えば、符号化装置10は、低周波数の帯域成分と、高周波数の帯域成分との2種類の帯域成分が得られる場合、高周波数の処理後帯域成分を用いるか、低周波数の処理後帯域成分から抽出した高周波数の帯域成分を用いるか、これらの2つを組み合わせるかを、高周波数の処理前帯域成分との比較により判定する。そして、符号化装置10は、この選択結果を示す補正パラメータをエントロピー符号化して、復号装置30に伝送する。これにより、復号装置30は、映像信号の復号するときに、処理前帯域成分により近い帯域成分を取得することができる。
以上のように、符号化装置10は、映像符号化における予測残差信号又は画像信号を少なくとも高周波数の帯域成分と低周波数の帯域成分とに分割する。また、符号化装置10は、高周波数の帯域成分と低周波数の帯域成分とに対して、量子化と逆量子化との量子化・逆量子化処理を実行する。また、量子化・逆量子化処理後の高周波数の帯域成分と低周波数の帯域成分との少なくともいずれかを用いて、高周波数の帯域成分に一致又は類似する帯域成分を取得するための補正パラメータを生成する。
これにより、符号化システム1は、符号化効率を向上させつつ、画質の劣化を抑制することができる。
以上が、符号化システム1の概要についての説明である。
次に、符号化装置10の構成について説明する。
符号化装置10は、映像信号取得部11と、符号出力部12と、符号化側記憶部13と、符号化制御部14と、を備える。
映像信号取得部11は、例えば、通信制御用IC(Integrated Circuit)を備え、符号化する対象の映像信号を、他の装置から取得する。
符号出力部12は、例えば、通信制御用ICを備え、符号出力を他の装置(例えば、復号装置30)に出力する。符号出力とは、エントロピー符号化された映像信号と補正パラメータとを含む情報である。
符号化側記憶部13は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)等を備える。また、符号化側記憶部13は、HDD(Hard Disc Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュメモリ等を備えてもよい。符号化側記憶部13は、符号化装置10が備えるCPUが実行するための各種プログラムやCPUが実行した処理の結果などを記憶する。例えば、符号化側記憶部13は、映像信号を符号化するための符号化プログラムを備える。
符号化制御部14は、映像信号の符号化を実行する。符号化制御部14は、例えば、符号化装置10が備えるCPUが、符号化プログラムを実行することにより機能する。
図2は、符号化制御部14の構成を示すブロック図である。
符号化制御部14は、ブロック分割部141と、減算部142と、帯域分割部143と、変換・量子化部144と、逆量子化・逆変換部145と、補正パラメータ部15と、エントロピー符号化部146と、帯域合成部147と、加算部148と、フレームメモリ149と、予測部150と、を備える。
これらのうち、変換・量子化部144と逆量子化・逆変換部145と、補正パラメータ部15と、は、それぞれ、予測残差信号の分割数に応じた数が設けられる。以下では、一例として、予測残差信号を、1つの低周波数の帯域成分LLと、3つの高周波数の帯域成分LH、HL、HHとの、計4つの帯域成分に分割して処理する場合について説明する。この場合は、図2に示すように、符号化制御部14は、4つの変換・量子化部144(第1変換・量子化部144−1、第2変換・量子化部144−2、第3変換・量子化部144−3、第4変換・量子化部144−4)と、4つの逆量子化・逆変換部145(第1逆量子化・逆変換部145−1、第2逆量子化・逆変換部145−2、第3逆量子化・逆変換部145−3、第4逆量子化・逆変換部145−4)と、3つの補正パラメータ部15(第2補正パラメータ部15−2、第3補正パラメータ部15−3、第4補正パラメータ部15−4)と、を備える。つまり、予測残差信号の分割数をN(Nは、2以上の整数)とすると、符号化制御部14は、N個の変換・量子化部144と、N個の逆量子化・逆変換部145と、(N−1)個の補正パラメータ部15と、を備える。
ブロック分割部141は、入力映像の処理対象フレームを空間的に分割し、分割結果の部分領域(ブロック)を、減算部142に出力する。ここで、空間的に分割とは、固定的な形状及び大きさのブロックにする分割であっても構わないし、複数の異なる形状のブロックや複数の異なる大きさのブロックにする分割であっても構わない。以下では、一例として、固定的なブロックの形状や大きさによって分割がなされるものとして説明する。また、ここでは、一例として、ブロックの形状は、例えば、各辺が処理対象フレームの水平軸及び垂直軸と平行な長方形(正方形を含む)である場合について説明する。
減算部142は、ブロック分割部141から出力されたブロックと、後述する予測部150からの予測ブロックとの間で、位置(座標)が対応する画素ごとに画素値の減算を実行する。これにより、減算部142は、画素値列からなる残差ブロック(すなわち、予測残差信号)を生成する。減算部142は、生成した残差ブロックを帯域分割部143に出力する。
帯域分割部143は、残差ブロック内の2次元画素値列を、4つの信号成分(処理前帯域成分)に帯域分割する。ここで、帯域分割とは、信号成分を、その周波数帯域で分割することをいう。帯域分割部143が出力する4つの処理前帯域成分は、好ましくは、互いに独立な2次元画素値列とし、これらを合成することにより帯域分割前の残差ブロック内の2次元画素値列が再構成可能なものとする。以下では、一例として、帯域分割部143は、4種類の2次元基底関数による直交変換及び再標本化を行い、それぞれの変換結果である2次元画素値列(処理前帯域成分)を、第1変換・量子化部144−1、第2変換・量子化部144−2、第3変換・量子化部144−3、第4変換・量子化部144−4に出力する場合について説明する。
ここで、帯域分割部143が直交変換と再標本化とを行う場合の基底関数の例について説明する。帯域分割部143は、例えば、以下に示す2次元Haar基底の4つの関数(1)〜(4)を用いて、直交変換と再標本化とを行う。
Figure 0006785053
ここで、座標(x,y)は残差ブロック内における座標を示し、x∈{0,1,…,B−1}、y∈{0,1,…,B−1}である。水平画素数Bは、残差ブロックの水平方向の画素数を示す。また、垂直画素数Bは、残差ブロックの垂直方向の画素数を示す。ここでは一例として、画素数B、Bは2以上の偶数とする。画素値R(x,y)は、残差ブロックの座標(x,y)における画素値を示す。
式(1)〜(4)による変換を実行すると、式(1)〜(4)のそれぞれにより、水平方向に(B/2)画素の長さを有し、垂直方向に(B/2)画素を有する4つの帯域成分が抽出される。以下では、式(1)により抽出される低周波数の帯域成分を第1ブロック(LLブロック)と称する。また、式(2)により抽出される高周波数の帯域成分を第2ブロック(HLブロック)と称する。また、式(3)により抽出される高周波数の帯域成分を第3ブロック(LHブロック)と称する。また、式(4)により抽出される高周波数の帯域成分を第4ブロック(HHブロック)と称する。
ここで、図3、4を参照して、式(1)〜(4)の変換により得られる帯域成分について説明する。
図3は、残差ブロックの一例を示す模式図である。図4は、第1〜第4ブロックの一例を示す模式図である。
図3に示す例において、残差ブロックは、水平方向に16画素の長さを有し、垂直方向に16画素の長さを有するブロックである。この残差ブロックに対して、式(1)に示す変換を行うと、低周波成分が抽出され、図4(a)に示す第1ブロックが得られる。また、式(2)に示す変換を行うと、水平方向のエッジが抽出され、図4(b)に示す第2ブロックが得られる。また、式(3)に示す変換を行うと、垂直方向のエッジが抽出され、図4(c)に示す第3ブロックが得られる。また、式(4)に示す変換を行うと、対角方向のエッジが抽出され、図4(d)に示す第4ブロックが得られる。なお、図4に示す例において、帯域分割後のブロックの各辺は、残差ブロックの各辺の半分の長さとしているが、これには限られない。帯域分割後のブロックの各辺は、例えば、残差ブロックの各辺と同じ長さと同じであってもよい。この場合、符号化効率は低下するが、画質を向上させることができる。
帯域分割部143は、高周波数の帯域成分である第2〜第4ブロックを、それぞれ対応する第2補正パラメータ部15−2〜第4補正パラメータ部15−4に出力する。
図2に戻り、符号化制御部14の説明を続ける。
変換・量子化部144は、帯域成分に対して、直交変換処理と変換係数の量子化処理とを実行する。この直交変換処理と量子化処理とには、HEVC/H.265等の公知の技術を適用してよい。変換処理の基底関数は、第1変換・量子化部144−1〜第4変換・量子化部144−4において、同じであってもよいし、互いに異なっていてよい。また、量子化処理に用いる量子化テーブルは、第1変換・量子化部144−1〜第4変換・量子化部144−4において、同じであってもよいし、互いに異なっていてもよい。
第n変換・量子化部144−n(nは、1以上N以下の整数)は、第nブロックに対する処理を行い、量子化インデックスを、エントロピー符号化部146と、第n逆量子化・逆変換部145−nとに出力する。以下では、第n変換・量子化部144−nによる処理前のブロック(処理前帯域成分)を、第n帯域分割ブロックSと称する。第n帯域分割ブロックSは、直交変換処理や量子化処理等による情報劣化のないブロックである。
逆量子化・逆変換部145は、変換・量子化部144と対を為す構成であり、変換・量子化部144による処理結果に対して、逆量子化処理と、逆変換処理とを実行する。例えば、図2に示す例において、第n逆量子化・逆変換部145−nは、第n変換・量子化部144−nによる処理結果に対して、第n変換・量子化部144−nによる量子化処理とは逆の逆量子化処理を実行した後、第n変換・量子化部144−nによる直交変換とは逆の変換を実行する。第1逆量子化・逆変換部145−1は、処理結果を、補正パラメータ部15と、帯域合成部147とに出力する。また、第2逆量子化・逆変換部145−2〜第4逆量子化・逆変換部145−4は、処理結果を、それぞれ対応する第2補正パラメータ部15−2〜第4補正パラメータ部15−4と、帯域合成部147とに出力する。
以下では、第n逆量子化・逆変換部145−nが出力するブロック(処理後帯域成分)を、第n帯域分割復号ブロックDnと称する。
補正パラメータ部15は、複数の帯域分割復号ブロックのうち、低周波数の帯域成分を用いて、高周波の帯域成分を補正する。ここでいう補正とは、高周波の帯域成分に対して変更を加えたり、別のものに置き換えたりすることをいう。補正パラメータ部15による処理について、具体的に説明する。第n補正パラメータ部15−nは、第n帯域分割ブロックSと、第1帯域分割復号ブロックDと、第n帯域分割復号ブロックDとを取得する。そして、第n補正パラメータ部15−nは、第1帯域分割復号ブロックDと第n帯域分割復号ブロックDとを用いて、第n補正済ブロックCの候補を複数算出する。ここで、第n補正済ブロックCとは、復号時に、第n帯域分割復号ブロックDに代えて用いられるブロックである。ただし、第n補正済ブロックCは、第n帯域分割復号ブロックDと一致する場合もある。第n補正パラメータ部15−nは、複数の第n補正済ブロックCの候補(以下、候補ブロックと称する。)を、それぞれ、第n帯域分割ブロックSと比較する。次に、第n補正パラメータ部15−nは、複数の候補ブロックのうち、最も第n帯域分割ブロックSに近いものを選択する。第n補正パラメータ部15−nは、選択した候補ブロックを、第n補正済ブロックCとして、帯域合成部147に出力する。また、第n補正パラメータ部15−nは、選択結果を示す補正パラメータをエントロピー符号化部146に出力する。補正パラメータは、例えば、選択された候補ブロックのインデクスを示す。
ここで、補正パラメータ部15について、より詳細に説明する。
図5は、第n補正パラメータ部15−nの構成を示すブロック図である。
第n補正パラメータ部15−nは、M個(Mは2以上の整数)のディジタルフィルタΦ (m)と、第n比較部152−nと、第n選択部153−nと、を備える。ここでは、一例として、第n補正パラメータ部15−nが、4個のディジタルフィルタΦ (1)〜ディジタルフィルタΦ (4)を備える場合(すなわち、M=4)について説明する。
ディジタルフィルタΦ (m)は、第1帯域分割復号ブロックDと第n帯域分割復号ブロックDとを入力とし、候補ブロックC (m)を出力する。
ここで、第n補正パラメータ部15−nによる処理を数式で表現すると、下記の式(5)により表される。
Figure 0006785053
ここで、要素a (m)(p,q)と要素b (m)(r,s)とは、それぞれ、ディジタルフィルタΦ (m)の係数である。また、定数p、p、q、q、r、r、s、及びsはディジタルフィルタΦ (m)を適用する範囲を指定する定数である。なお、D(i+p,j+q)、D(i+r,j+s)が、第n帯域分割復号ブロックDの外の画素値を参照する場合には、その画素値を既定の値(例えば、0)としてもよいし、第n帯域分割復号ブロックDの外に、既に復号済みの画像領域が存在する場合には、当該復号済みの画素値を参照しても構わない。
ここでは、一例として、例えば、p=q=r=s=−1、p=q=r=s=1とする場合について説明する。この場合、ディジタルフィルタΦ (m)の第1帯域分割復号ブロックDに対する係数行列Aと、第n帯域分割復号ブロックDに対する係数行列Bとは、それぞれ、以下の式(6)、(7)により表される。
Figure 0006785053
ここで、図2に示す第2補正パラメータ部15−2〜第4補正パラメータ部15−4における係数行列Aと、係数行列Bとの具体的な設定例について説明する。
第2補正パラメータ部15−2が備える4つのディジタルフィルタΦ (m)の係数行列A (m)と、係数行列B (m)とは、例えば、以下の式(8)〜(15)に示すように設定されてよい。
Figure 0006785053
また、第3補正パラメータ部15−3が備える4つのディジタルフィルタΦ (m)の係数行列A (m)と、係数行列B(m)とは、例えば、以下の式(16)〜(23)に示すように設定されてよい。
Figure 0006785053
また、第4補正パラメータ部15−4が備える4つのディジタルフィルタΦ (m)の係数行列A (m)と、係数行列B (m)とは、例えば、以下の式(24)〜(31)に示すように設定されてよい。
Figure 0006785053
これらの設定によれば、m=1の場合、第2補正パラメータ部15−2〜第4補正パラメータ部15−4は、候補ブロックC (m)として、全ての要素が0のブロックを出力する。また、m=2の場合、第2補正パラメータ部15−2〜第4補正パラメータ部15−4は、候補ブロックC(m)として、水平方向、垂直方向、又は対角方向における第1帯域分割復号ブロックDからのエッジの検出結果を出力する。また、m=4の場合、第2補正パラメータ部15−2〜第4補正パラメータ部15−4は、候補ブロックC (m)として、第2帯域分割復号ブロックD〜第4帯域分割復号ブロックDを出力する。また、m=3の場合、第2補正パラメータ部15−2〜第4補正パラメータ部15−4は、候補ブロックC (m)として、m=2の場合とm=4の場合との中間的な画素値列を出力する。
以上が、ディジタルフィルタΦ (m)の係数行列の設定例についての説明である。
第n比較部152−nは、ディジタルフィルタΦ (1)〜ディジタルフィルタΦ (4)が出力した4つの候補ブロックC (m)のそれぞれと、第n帯域分割ブロックSとを比較し、最も類似度が高かった候補ブロックC (m)のインデックスmを、第n補正パラメータPとして出力する。ここで、類似度は、例えば、二乗誤差等の公知の手法により算出されてよい。類似度を二乗誤差により算出する場合、第n補正パラメータPは、下記の式(32)により算出される。
Figure 0006785053
第n選択部32−nは、第n比較部152−nから出力される第n補正パラメータPを取得する。そして、第n選択部153−nは、候補ブロックC (2)〜C (M)の中から、第n補正パラメータPが示す候補ブロックC (m)を選択し、補正済ブロックCとして出力する。すなわち、第n選択部32−nは、下記の式(33)に基づいて、第n補正済みブロックCを選択する。
Figure 0006785053
そして、第n選択部153−nは、選択した第n補正済みブロックCを出力する。
以上が、補正パラメータ部15の構成についての説明である。
図2に戻り、符号化制御部14の構成についての説明を続ける。
エントロピー符号化部146は、第1変換・量子化部144−1〜第4変換・量子化部144−4から出力される量子化インデックスと、第2補正パラメータ部15−2〜第4補正パラメータ部15−4から出力される補正パラメータに対して、エントロピー符号化による可逆圧縮を行う。そして、エントロピー符号化部146は、その結果を符号出力として出力する。ここで、エントロピー符号化には、公知の任意の手法が用いられてよい。例えば、ハフマン符号化や算術符号化、それらの派生であるコンテキスト適応型可変長符号化(CAVLC;Context−based Adaptive Variable Length Coding)、コンテキスト適応型二値算術符号化(CABAC; Context・based Adaptive Binary Arithmetic Coding)等を、エントロピー符号化に適用してよい。
帯域合成部147は、第1帯域分割復号ブロックDと、第2補正済ブロックC〜第4補正済ブロックCを帯域合成し、復号残差ブロックを生成する。帯域合成において、帯域合成部147は、帯域分割部143による帯域分割と対になる手法を適用することが好ましい。例えば、帯域分割部143において、式(1)〜(4)による帯域分割を行う場合、帯域合成部147は、下記の式(34)〜(37)による帯域合成を行う。
Figure 0006785053
このように、帯域分割部143の各出力を帯域合成部147に入力するよう接続した場合に、帯域分割部143への入力信号と同一の信号が帯域合成部147から出力されることが好ましい。
加算部148は、復号残差ブロックと予測ブロックとにおいて、位置(座標)が対応する画素ごとに画素値の和を計算する。そして、加算部148は、算出した画素値列のブロックを、復号ブロックとして出力する。
フレームメモリ149は、ブロック分割部141が分割したブロックごとの処理結果である復号ブロックを、メモリに書き込み、復号フレーム(復号画像)を順次構成する。
予測部150は、フレームメモリ149において既に構成されている別のフレーム(ブロック分割部141が分割したフレームとは別の時刻のフレーム)、又は、フレームメモリ149において構成中のフレーム(ブロック分割部141が分割したフレームと同時刻のフレーム)から、フレーム間予測、フレーム内予測によって予測対象のブロックの画素値列を予測する。そして、予測結果のブロックを、予測ブロックとして出力する。ここで、フレーム間予測には、例えば、動き補償予測等を適用してよい。また、フレーム内予測には、例えば、方向性予測や平均値予測、平面予測、イントラブロックコピー予測等を適用してよい。
以上が、符号化装置10の構成についての説明である。
次に、復号装置30の構成について説明する。
図1に示すように、復号装置30は、符号出力取得部31と、再生部32と、復号側記憶部33と、復号制御部34と、を備える。
符号出力取得部31は、例えば、通信制御用ICを備え、符号化装置10により出力された符号出力を取得する。
再生部32は、例えば、液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイなどの表示装置を備え、復号された映像信号により、映像を表示する。
復号側記憶部33は、例えば、ROM、RAM等を備える。また、復号側記憶部33は、HDD、EEPROM、フラッシュメモリ等を備えてもよい。復号側記憶部33は、復号装置30が備えるCPUが実行するための各種プログラムやCPUが実行した処理の結果などを記憶する。例えば、復号側記憶部33は、符号出力を復号するための復号プログラムを備える。
復号制御部34は、符号化装置10による符号出力の復号を実行する。復号制御部34は、例えば、復号装置30が備えるCPUが、復号プログラムを実行することにより機能する。
図6は、復号制御部34の構成を示すブロック図である。
復号制御部34は、エントロピー復号部341と、逆量子化・逆変換部342と、補正部35と、帯域合成部343と、加算部344と、フレームメモリ345と、予測部346とを備える。
エントロピー復号部341は、符号化装置10のエントロピー符号化部146と対を為す構成である。エントロピー復号部341は、符号出力から、エントロピー符号化された量子化インデックス、補償パラメータ等を再生する。
逆量子化・逆変換部342は、符号化装置10の逆量子化・逆変換部145と同様の構成であり、逆量子化処理、逆変換処理を実行する。復号制御部34は、符号化装置10の逆量子化・逆変換部145と同数の逆量子化・逆変換部342を備える。例えば、図6に示す例の場合、復号制御部34は、符号化装置10の第1逆量子化・逆変換部145−1〜第4逆量子化・逆変換部145−4に対応する第1逆量子化・逆変換部342−1〜第4逆量子化・逆変換部342−4を備える。そして、第n逆量子化・逆変換部342−nは、符号化装置10の第n逆量子化・逆変換部145−nと同様に、第n帯域分割復号ブロックDを出力する。なお、符号化装置10の第n変換・量子化部144−nの出力が、エントロピー符号化部146及びエントロピー復号部341を経て、第n逆量子化・逆変換部342−nへ入力される。
補正部35−nは、nが2以上の場合に、第1帯域分割復号ブロックDと、第n帯域分割復号ブロックDと、第n補正パラメータとを用いて第n補正済ブロックCを出力する。
ここで、補正部35について、より詳細に説明する。
図7は、第n補正部35−nの構成を示すブロック図である。
第n補正部35−nは、M個のディジタルフィルタΨ (m)と、第n選択部352−nと、を備える。
ディジタルフィルタΨ (m)は、符号化装置10のディジタルフィルタΦ (m)と同様の構成である。つまり、ディジタルフィルタΨ (m)は、第1帯域分割復号ブロックDと、第n帯域分割復号ブロックDとの入力に対して、候補ブロックC (m)を出力する。
第n選択部352−nは、符号化装置10の第n選択部153−nと同様の構成である。つまり、第n選択部352−nは、エントロピー復号部341から第n補正パラメータPを取得する。そして、第n選択部352−nは、候補ブロックC (2)〜C (M)の中から、第n補正パラメータPが示す候補ブロックC (m)を選択し、補正済ブロックCとして出力する。
帯域合成部343は、第1帯域分割復号ブロックDと、第2補正済ブロックC〜第n補正済ブロックCとを帯域合成し、復号残差ブロックとして出力する。
以上が、補正部35の構成についての説明である。
帯域合成部343、加算部344、フレームメモリ345、予測部346は、それぞれ、符号化装置10の帯域合成部147、加算部148、フレームメモリ149、予測部150と同様の構成であるため、説明を省略する。なお、フレームメモリ345は、映像フレーム内の全てのブロックが復号された場合は、必要に応じて映像フレームの順序を整理し、映像出力する。
以上が、復号装置30の構成についての説明である。
次に、符号化装置10の動作について説明する。
図8は、符号化装置10による残差符号化処理の流れの一例を示すフローチャートである。
ここでは、空間的に分割された各ブロックに対する処理について説明する。
(ステップS100)符号化制御部14は、ブロックごとの予測残差信号(残差ブロック)を取得する。その後、符号化制御部14は、ステップS102に処理を進める。
(ステップS102)符号化制御部14は、残差ブロックを周波数帯域ごとに分割し、複数の帯域成分を取得する。その後、符号化制御部14は、ステップS104に処理を進める。
(ステップS104)符号化制御部14は、帯域成分ごとに直交変換処理、量子化処理を実行する。その後、符号化制御部14は、ステップS106に処理を進める。
(ステップS106)符号化制御部14は、帯域成分ごとに、逆量子化処理、逆変換処理を実行する。その後、符号化制御部14は、ステップS108に処理を進める。
(ステップS108)符号化制御部14は、補正パラメータを生成する。その後、符号化制御部14は、ステップS110に処理を進める。
(ステップS110)符号化制御部14は、ステップS104の処理により生成した量子化インデックスと、ステップS108の処理により生成した補正パラメータとを、エントロピー符号化する。その後、符号化制御部14は、図8に示す処理を終了する。
以上が、符号化装置10の動作についての説明である。
次に、復号装置30の動作について説明する。
図9は、復号装置30による残差復号処理の流れの一例を示すフローチャートである。
ここでは、空間的に分割された各ブロックを復号する処理について説明する。
(ステップS300)復号制御部34は、符号出力をエントロピー復号し、量子化インデックスと、補正パラメータを取得する。その後、復号制御部34は、ステップS302に処理を進める。
(ステップS302)復号制御部34は、変換処理、量子化処理された各帯域成分に対して、逆量子化処理、逆変換処理を実行し、各帯域成分を復号する。その後、復号制御部34は、ステップS304に処理を進める。
(ステップS304)復号制御部34は、復号した各帯域成分を、補正パラメータを用いて補正する。その後、復号制御部34は、ステップS306に処理を進める。
(ステップS306)復号制御部34は、補正後の各帯域成分を帯域合成し、残差ブロックを復号する。その後、復号制御部34は、ステップS308に処理を進める。
(ステップS308)復号制御部34は、残差ブロックと予測ブロックとを合成し、分割された画像ブロックを復号する。その後、復号制御部34は、図9に示す処理を終了する。
以上が、復号装置30の動作についての説明である。
以上説明したように、本実施形態に係る符号化装置10は、映像符号化における予測残差信号又は画像信号を少なくとも第1帯域成分と第2帯域成分とに分割する帯域分割部143と、帯域分割部143が取得した第1帯域成分と第2帯域成分とに対して、量子化と逆量子化との量子化・逆量子化処理を実行する変換・量子化部144及び逆量子化・逆変換部145と、変換・量子化部144及び逆量子化・逆変換部145による量子化・逆量子化処理後の第1帯域成分と第2帯域成分との少なくともいずれかを用いて、帯域分割部143が取得した第1帯域成分に一致又は類似する帯域成分を取得するための補正パラメータを生成する補正パラメータ部15と、を備える。
また、本実施形態に係る復号装置30は、符号化装置10により生成された補正パラメータを取得するエントロピー復号部341と、量子化・逆量子化処理後の第1帯域成分と第2帯域成分とを取得する逆量子化・逆変換部342と、エントロピー復号部341が取得した補正パラメータと、逆量子化・逆変換部342が取得した量子化・逆量子化処理後の第1帯域成分と第2帯域成分とに基づいて、量子化・逆量子化処理前の第1帯域成分に一致又は類似する帯域成分を取得する補正部35と、を備える。
これにより、符号化システム1は、或る帯域成分を他の帯域成分から生成することができる。例えば、特に高圧縮時の映像の圧縮伝送において、低周波数の帯域成分を、相対的に大きい情報量で重点的に符号化伝送し、高周波数の帯域成分は、低周波数の帯域成分から補完的に生成することが可能となるため、符号化効率が向上する。また、例えば、高周波数の帯域成分を、低周波数の帯域成分により補正することにより、量子化、逆量子化前の帯域成分をより高い精度で再現することができる。従って、符号化システム1は、符号化効率を向上させつつ、画質の低下を抑制することができる。
[変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせてもよいし、任意に分離して異なる装置に設けられてもよい。
なお、上述した実施形態では、符号化装置10は、フレーム内予測やフレーム間予測を行う場合について説明したが、符号化装置10は、フレーム内予測やフレーム間予測を行わなくてもよい。例えば、符号化装置10が、フレーム内の予測処理を有しない静止画像用の符号化装置である場合、フレーム内及びフレーム間の予測処理を行わない映像用の符号化装置である場合等には、符号化装置10は、減算部142と、フレームメモリ149と、予測部150と、を備える必要はない。この場合は、例えば、ブロック分割部141の出力が、帯域分割部143に入力されるように構成する。
なお、上述した実施形態では、一例として、処理対象フレームを、固定的な形状および大きさのブロックに分割する場合について説明したが、これには限らない。処理対象フレームを、複数の異なる形状のブロックや複数の異なる大きさのブロックに分割する場合には、符号化装置10は、どのような形状、大きさのブロックに分割するのかを、例えば、レート歪特性の最適化処理により決定してもよい。
なお、上述した実施形態では、一例として、変換・量子化部144が、各帯域成分に同じ既定関数を用いて変換を行う場合について説明したが、これには限られない。例えば、第1変換・量子化部144−1は、第1ブロック(LLブロック)に対して、水平方向と垂直方向との両方について離散コサイン変換を適用する。また、第2変換・量子化部144−2は、第2ブロック(HLブロック)に対して、水平方向については離散サイン変換を適用し、垂直方向については離散コサイン変換を適用する。また、第3変換・量子化部144−3は、第3ブロック(LHブロック)に対して、水平方向については離散コサイン変換を適用し、垂直方向については離散サイン変換を適用する。また、第4変換・量子化部144−4は、第4ブロック(HHブロック)に対して、水平方向と垂直方向との両方について離散サイン変換を適用する。このようにすることで、式(1)に示す帯域分割において、加算により低域を抽出した軸方向には離散コサイン変換が適用され、また、減算により高域を抽出した軸方向には離散サイン変換が適用されることとなる。ただし、各帯域成分に適用する変換は、上述したものに限られず、任意に変更されてよい。例えば、離散コサイン変換のType−1〜Type−3のいずれかが適用されてもよい。
このように、符号化装置10の帯域分割部143は、第1帯域成分(例えば、高周波数帯域成分)を、第1変換基底(例えば、離散サイン変換)を用いて変換し、第2帯域成分(例えば、低周波数帯域成分)を、第1変換基底とは異なる第2変換基底(例えば、離散コサイン変換)を用いて変換する。
これにより、符号化システム1は、低域成分と高域成分との信号の性質に応じて基底関数を設定することができる。従って、符号化システム1は、符号化効率を向上させることができる。
また、符号化装置10は、帯域成分ごとに、量子化幅を変更してもよい。例えば、変換・量子化部144は、高周波数の帯域成分である第2〜第4帯域成分については、低周波数の帯域成分である第1帯域成分よりも粗く量子化したり、変換係数の打ち切りを早めたりする。ここで、粗く量子化するとは、量子化幅を広げて、情報量を少なくすることである。また、変換係数の打ち切りを早めるとは、高周波数側の変換係数については、情報を切り捨て、表現しないことである。また、符号化装置10は、所々のブロック位置やときどきのフレームにおいて、第2〜第4帯域成分の情報を切り捨てて伝送しない場合があっても構わない。このように、符号化装置10は、各帯域成分を表現するのに異なる情報量を割当ててもよい。これにより、符号化装置10は、符号化における圧縮効率をさらに向上させることができる。
また、符号化装置10は、帯域成分ごとに、異なる量子化テーブルを用いてもよい。この場合は、例えば、帯域成分ごとの成分の偏りに応じて、値の割当てを設定してもよい。これにより、同じ量子化インデックスであっても、帯域成分ごとに異なる変換係数を表現することができる。従って、各帯域成分の特性を考慮した量子化テーブルを設定することにより、符号化効率を低下させることなく、画質を向上させることができる。
なお、上述した実施形態において、種々の変更が加えられてもよい。例えば、第n逆量子化・逆変換部145−n、逆量子化・逆変換部342−nが出力する第n帯域分割復号ブロックDnに対して、スムージング等のフィルタ処理を適用してもよい。
また、上述の符号化装置10、復号装置30の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより符号化装置10、復号装置30としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した符号化装置10、復号装置30の機能の一部または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1…符号化システム、10…符号化装置、11…映像信号取得部、12…符号出力部、13…符号化側記憶部、34…復号制御部、141…ブロック分割部、143…帯域分割部、144…変換・量子化部、145…逆量子化・逆変換部、146…エントロピー符号化部、147…帯域合成部、15…補正パラメータ部、30…復号装置、31…符号出力取得部、32…再生部、33…復号側記憶部、34…復号制御部、341…エントロピー復号部、342…逆量子化・逆変換部、35…補正部、343…帯域合成部

Claims (2)

  1. 符号化装置により生成された補正パラメータを取得する第1取得部と、
    前記符号化装置が量子化・逆量子化処理後の第1帯域成分と第2帯域成分とを取得する第2取得部と、
    前記第1取得部が取得した前記補正パラメータと、前記第2取得部が取得した量子化・逆量子化処理後の前記第1帯域成分と前記第2帯域成分とに基づいて、子化・逆量子化処理前の前記第1帯域成分に一致又は類似する帯域成分を取得する補正部と、
    を備える復号装置であって、
    前記符号化装置は、
    映像符号化における予測残差信号又は画像信号を少なくとも第1帯域成分と第2帯域成分とに分割する帯域成分取得部と、
    前記帯域成分取得部が取得した第1帯域成分と第2帯域成分とに対して、量子化と逆量子化との量子化・逆量子化処理を実行する量子化処理部と、
    前記量子化処理部による量子化・逆量子化処理後の第1帯域成分と第2帯域成分との少なくともいずれかを用いて、前記帯域成分取得部が取得した第1帯域成分に一致又は類似する帯域成分を取得するための補正パラメータを生成する補正パラメータ部と、
    を備える、
    復号装置。
  2. コンピュータを、
    請求項1に記載の復号装置、
    として機能させるための復号プログラム。
JP2016075792A 2016-04-05 2016-04-05 復号装置、及び復号プログラム Active JP6785053B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016075792A JP6785053B2 (ja) 2016-04-05 2016-04-05 復号装置、及び復号プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016075792A JP6785053B2 (ja) 2016-04-05 2016-04-05 復号装置、及び復号プログラム

Publications (2)

Publication Number Publication Date
JP2017188768A JP2017188768A (ja) 2017-10-12
JP6785053B2 true JP6785053B2 (ja) 2020-11-18

Family

ID=60046568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016075792A Active JP6785053B2 (ja) 2016-04-05 2016-04-05 復号装置、及び復号プログラム

Country Status (1)

Country Link
JP (1) JP6785053B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022016726A (ja) * 2018-11-16 2022-01-25 ソニーグループ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
JP2017188768A (ja) 2017-10-12

Similar Documents

Publication Publication Date Title
CN106464877B (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
US10200689B2 (en) Quantized pulse code modulation in video coding
US9386305B2 (en) Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
KR101915155B1 (ko) 이미지들을 인코딩 및 디코딩하기 위한 방법,인코딩 및 디코딩 디바이스,및 대응하는 컴퓨터 프로그램들
US20130101033A1 (en) Coding non-symmetric distributions of data
EP3020187A2 (en) Rice parameter initialization for coefficient level coding in video coding process
US20120236931A1 (en) Transform coefficient scan
JP2014506752A (ja) 高性能ビデオコード化(hevc)におけるコード化単位についての量子化パラメータの変化の信号伝達
US20130089138A1 (en) Coding syntax elements using vlc codewords
CN108419077B (zh) 用于执行样本自适应偏移处理的图像处理方法和设备
WO2012044440A1 (en) Variable length coding of video block coefficients
US10750175B2 (en) Quantization partitioning for enhanced image compression
JP7438317B2 (ja) 映像エンコードの方法、映像デコードの方法、電子装置、非一時的なコンピュータ可読記憶媒体及びコンピュータプログラム
TW201919398A (zh) 視頻數據解碼方法及裝置
US9338456B2 (en) Coding syntax elements using VLC codewords
JP6785053B2 (ja) 復号装置、及び復号プログラム
WO2011161823A1 (ja) 動画像符号化方法および復号方法
CN115190301A (zh) 图像的基于块的预测编码和解码
JP6423680B2 (ja) 画質改善装置、画質改善システム、及び画質改善プログラム
JP6727900B2 (ja) 符号化装置、復号装置、及びプログラム
CN116074531A (zh) 解码方法、编码方法及装置
CN117356093A (zh) 视频编码中的量化等级二值化
CN116668705A (zh) 一种图像解码方法、编码方法及装置
JP2018107534A (ja) 映像符号化装置、映像符号化方法、映像復号装置、及び映像復号方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201026

R150 Certificate of patent or registration of utility model

Ref document number: 6785053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150