JP6555814B2 - 直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム - Google Patents

直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム Download PDF

Info

Publication number
JP6555814B2
JP6555814B2 JP2015162866A JP2015162866A JP6555814B2 JP 6555814 B2 JP6555814 B2 JP 6555814B2 JP 2015162866 A JP2015162866 A JP 2015162866A JP 2015162866 A JP2015162866 A JP 2015162866A JP 6555814 B2 JP6555814 B2 JP 6555814B2
Authority
JP
Japan
Prior art keywords
point
inverse
unit
orthogonal transform
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015162866A
Other languages
English (en)
Other versions
JP2017041786A (ja
Inventor
市ヶ谷 敦郎
敦郎 市ヶ谷
境田 慎一
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2015162866A priority Critical patent/JP6555814B2/ja
Publication of JP2017041786A publication Critical patent/JP2017041786A/ja
Application granted granted Critical
Publication of JP6555814B2 publication Critical patent/JP6555814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Complex Calculations (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、直交変換の技術に関する。
MPEG(Moving Picture Experts Group)の映像符号化方式は、映像信号を離散コサイン変換(Discrete Cosine Transform:DCT)に代表される直交変換を使用して空間周波数に変換することにより、効率的な情報圧縮を実現する。DCTや離散サイン変換(Discrete Sine Transform:DST)の従来の技術として、例えば非特許文献1や特許文献1,2,3などが知られている。
最新のMPEG−H HEVC/H.265の映像符号化方式では、2次元の直交変換を「4×4」から「32×32」までの画素ブロックサイズで行うことができる。これにより、映像信号に適した画素ブロックサイズで直交変換を適用することができるので、よりきめ細かい符号化制御を行うことが可能である。また、4K(3840×2160)や8K(7680×4320)と呼ばれるUHD(Ultra High Definition)映像は、情報量の多い精細な映像表現が可能となる一方で精細感の必要のない領域も増えることから、精細感のダイナミックレンジの広い映像となる。このような映像信号に対しては、映像領域に適した符号化ブロックのサイズを選択することによって符号化効率が改善する。例えば、複数のサイズの画素ブロックの単位で符号化制御を行うMPEG−H HEVC/H.265の映像符号化方式によれば、前世代のMPEG−4 AVC/H.264の映像符号化方式に比べて約2倍の符号化性能を達成しており、特にUHD映像に対してその効果が高い。
しかし、MPEG−H HEVC/H.265の映像符号化方式は、CU(Coding Unit)と呼ばれる符号化ブロックのサイズが最大「64×64」の画素ブロックサイズであるのに対して、TU(Transform Unit)と呼ばれる直交変換ブロックのサイズが最大「32×32」の画素ブロックサイズと小さい。このことは、特に解像度の高い8K映像や信号変化が極端であるCG(Computer Graphics)映像に対して、符号化効率の向上を十分に達成しきれていない原因の一つとして考えられる。そのような8K映像やCG映像に対しては、「64×64」を超える「128×128」の画素ブロックサイズで符号化を行うことによって、符号化効率がさらに向上することが知られている。
特開2012−147205号公報 特開平2−116969号公報 特表2014−509108号公報
W.Chen, C.H.Smith, and S.C.Fralick, "A fast computational algorithm for the discrete cosine transform," IEEE Trans. Commun., vol.COM-25, pp.1004-1009, Sept. 1977.
しかし、上述したDCTやDSTの従来の技術では、直交変換ブロックのサイズを「32×32」の画素ブロックサイズよりも大きくすることが難しいという課題があった。これは、従来の技術では、より大サイズの直交変換をバタフライ演算に代表される再帰的な処理を有する高速アルゴリズムを使用して行う場合、所要メモリ量が増大するので、CPU(Central Processing Unit)内部のキャッシュメモリではメモリ量が不足し、十分な処理速度が得られなくなる可能性があるからである。
本発明は、このような事情を考慮してなされたものであり、直交変換の大サイズ化における所要メモリ量の増大を抑制することにより、直交変換の大サイズ化の実現に寄与することができる、直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラムを提供することを課題とする。
(1)本発明の一態様は、直交変換ブロックサイズが「N×N、但し、Nは4以上の整数」であるN点の直交変換を行う直交変換処理装置において、N個の入力値において並びが連続する入力値のペアの和を各々算出する加算部と、N個の入力値において並びが連続する入力値のペアの差を各々算出する減算部と、前記加算部の加算結果を入力値に使用して、直交変換ブロックサイズが「N/2×N/2」である離散コサイン変換の演算を行うN/2点DCT演算部と、前記減算部の減算結果を入力値に使用して、直交変換ブロックサイズが「N/2×N/2」である離散サイン変換の演算を行うN/2点DST演算部と、前記N点の直交変換に対応する所定のマトリックス係数を格納するマトリックス係数記憶部と、前記N/2点DCT演算部からの出力値と前記N/2点DST演算部からの出力値に対して、前記マトリックス係数を使用して2行2列のマトリックス演算を行う2×2マトリックス演算部と、を備える直交変換処理装置である。
(2)本発明の一態様は、複数の直交変換ブロックサイズ(N点)の直交変換を行う前記直交変換処理装置であり、前記複数の直交変換ブロックサイズ(N点)に各々対応する前記N/2点DCT演算部及び前記N/2点DST演算部を備え、前記複数の直交変換ブロックサイズ(N点)に各々対応する前記N/2点DCT演算部及び前記N/2点DST演算部で前記加算部と前記減算部を共用する、直交変換処理装置である。
(3)本発明の一態様は、逆直交変換ブロックサイズが「N×N、但し、Nは4以上の整数」であるN点の逆直交変換を行う逆直交変換処理装置において、前記N点の逆直交変換に対応する所定の逆マトリックス係数を格納する逆マトリックス係数記憶部と、2個の入力値に対して、前記逆マトリックス係数を使用して2行2列のマトリックス演算を行う2×2逆マトリックス演算部と、前記2×2逆マトリックス演算部からの2個の出力値のうちの一方である第1の出力値を入力値に使用して、逆直交変換ブロックサイズが「N/2×N/2」である逆離散コサイン変換の演算を行うN/2点IDCT演算部と、前記2×2逆マトリックス演算部からの2個の出力値のうちのもう一方である第2の出力値を入力値に使用して、逆直交変換ブロックサイズが「N/2×N/2」である逆離散サイン変換の演算を行うN/2点IDST演算部と、前記N/2点IDCT演算部からの出力値と前記N/2点IDST演算部からの出力値を使用して、逆変換後の信号を生成する逆変換信号生成部と、を備える逆直交変換処理装置である。
(4)本発明の一態様は、直交変換により変換した信号から符号化信号を生成する符号化装置において、上記(1)又は(2)のいずれかの直交変換処理装置を備える符号化装置である。
(5)本発明の一態様は、直交変換により変換された信号から生成された符号化信号を復号する復号装置において、上記(3)の逆直交変換処理装置を備える復号装置である。
(6)本発明の一態様は、直交変換ブロックサイズが「N×N、但し、Nは4以上の整数」であるN点の直交変換を行うためのコンピュータプログラムであって、N個の入力値において並びが連続する入力値のペアの和を各々算出する加算機能と、N個の入力値において並びが連続する入力値のペアの差を各々算出する減算機能と、前記加算機能の加算結果を入力値に使用して、直交変換ブロックサイズが「N/2×N/2」である離散コサイン変換の演算を行うN/2点DCT演算機能と、前記減算機能の減算結果を入力値に使用して、直交変換ブロックサイズが「N/2×N/2」である離散サイン変換の演算を行うN/2点DST演算機能と、前記N点の直交変換に対応する所定のマトリックス係数を格納するマトリックス係数記憶機能と、前記N/2点DCT演算機能からの出力値と前記N/2点DST演算機能からの出力値に対して、前記マトリックス係数を使用して2行2列のマトリックス演算を行う2×2マトリックス演算機能と、をコンピュータに実現させるためのコンピュータプログラムである。
(7)本発明の一態様は、逆直交変換ブロックサイズが「N×N、但し、Nは4以上の整数」であるN点の逆直交変換を行うためのコンピュータプログラムであって、前記N点の逆直交変換に対応する所定の逆マトリックス係数を格納する逆マトリックス係数記憶機能と、2個の入力値に対して、前記逆マトリックス係数を使用して2行2列のマトリックス演算を行う2×2逆マトリックス演算機能と、前記2×2逆マトリックス演算機能からの2個の出力値のうちの一方である第1の出力値を入力値に使用して、逆直交変換ブロックサイズが「N/2×N/2」である逆離散コサイン変換の演算を行うN/2点IDCT演算機能と、前記2×2逆マトリックス演算機能からの2個の出力値のうちのもう一方である第2の出力値を入力値に使用して、逆直交変換ブロックサイズが「N/2×N/2」である逆離散サイン変換の演算を行うN/2点IDST演算機能と、前記N/2点IDCT演算機能からの出力値と前記N/2点IDST演算機能からの出力値を使用して、逆変換後の信号を生成する逆変換信号生成機能と、をコンピュータに実現させるためのコンピュータプログラムである。
本発明によれば、直交変換の大サイズ化における所要メモリ量の増大を抑制することができる。これにより、直交変換の大サイズ化の実現に寄与することができる。
本発明の一実施形態に係る64点直交変換処理装置1の実施例を示す構成図である。 本発明の一実施形態に係る64点逆直交変換処理装置2の実施例を示す構成図である。 本発明の一実施形態に係る直交変換処理装置の変形例を説明するための構成図である。 本発明の一実施形態に係る符号化装置100の実施例を示す構成図である。 本発明の一実施形態に係る復号装置200の実施例を示す構成図である。 従来の映像符号化方式における直交変換について説明するための構成図である。 本発明の一実施形態における直交変換について説明するための構成図である。
以下、図面を参照し、本発明の実施形態について説明する。
[基本原理]
まず、本実施形態に係る基本原理を説明する。直交変換の例として、離散コサイン変換(DCT)及び離散サイン変換(DST)を挙げて説明する。直交変換は、三角関数であるコサイン関数及びサイン関数を変換核に使用して、時間領域の信号を周波数領域の信号に変換する変換処理である。直交変換の演算式は、三角関数の加法定理を用いることによって、より低周波成分の組み合わせに展開することができる。例えば、直交変換ブロックのサイズである直交変換ブロックサイズが「N×N」であるN点DCTの演算式は、展開によって式(1)で表される。但し、Nは4以上の整数である。
Figure 0006555814
また、同様の展開によって、直交変換ブロックサイズが「N×N」であるN点DSTの演算式は式(2)で表される。但し、Nは4以上の整数である。
Figure 0006555814
また、逆離散コサイン変換(Inverse Discrete Cosine Transform:IDCT)は、同様の展開によって、逆直交変換ブロックのサイズである逆直交変換ブロックサイズが「N×N」であるN点IDCTの演算式は式(3)で表される。但し、Nは4以上の整数である。
Figure 0006555814
また、逆離散サイン変換(Inverse Discrete Sine Transform:IDST)は、同様の展開によって、逆直交変換ブロックサイズが「N×N」であるN点IDSTの演算式は式(4)で表される。但し、Nは4以上の整数である。
Figure 0006555814
上記のIDCTの式(3)により得られたP(k)及びQ(k)から、逆変換後の信号x’(k)は式(5)で表される。同様に、上記のIDSTの式(4)により得られたP(k)及びQ(k)から、逆変換後の信号x’(k)は式(5)で表される。
Figure 0006555814
上述の三角関数の加法定理を用いた展開を利用することによって、直交変換ブロックサイズが「N×N」であるN点の直交変換を、順次、直交変換ブロックサイズが「(N/2)×(N/2)」であるN/2点の直交変換に展開することができる。例えば、64点DCTは、上記の式(1)により、32点DCTと32点DSTと2行2列のマトリックス係数から構成される演算式に展開することができる。これにより、64点DCTの演算処理は、32点DCTの演算処理と、32点DSTの演算処理と、2行2列のマトリックス演算処理とから構成することができる。32点DCTの演算処理及び32点DSTの演算処理には、公知のバタフライ演算などの高速アルゴリズムを利用することができる。2行2列のマトリックス係数は、ポイント数Nと変数kの値で決まる定数として予め準備することができる。これにより、2行2列のマトリックス係数を参照テーブル(Look Up Table:LUT)にしてROM(リードオンリメモリ)等のメモリに格納することができる。
本実施形態によれば、64点DCTにおいて、バタフライ演算などの再帰的な処理を有する高速アルゴリズムを適用する直交変換の直交変換ブロックサイズを「32×32」に低減することができる。これは、64点DCTを実現する際の所要メモリ量の増大を抑制できることを意味する。これにより、64点DCTを実現する際に、CPU内部のキャッシュメモリのメモリ量で所要メモリ量をまかなうことができるようになり、十分な処理速度を得ることが可能になる。このことは、64点DCTの実現性を高める。64点DSTについても同様である。また、64点IDCT及び64点IDSTについても同様である。
[直交変換処理装置の実施例]
次に、本実施形態に係る直交変換処理装置、及び逆直交変換処理装置の実施例について説明する。直交変換の例として、DCT及びDSTを挙げて説明する。
図1は、本実施形態に係る64点直交変換処理装置1の実施例を示す構成図である。ここでは、図1に示す64点直交変換処理装置1により、64点DCTを実現する場合を例に挙げて説明する。図1に示す64点直交変換処理装置1は、32個の加算部11−0〜31と、32個の減算部12−0〜31と、32点DCT演算部13と、32点DST演算部14と、2×2マトリックス演算部15と、LUT_16を備える。64点直交変換処理装置1には、64個の入力値x〜x63が入力される。
加算部11−0〜31は、入力値x〜x63において並びが連続する入力値のペアである入力値x2nと入力値x2n+1の和を各々算出する。但し、nは0から31までの整数である。加算部11−nは、入力値x2nと入力値x2n+1を加算する。例えば、加算部11−0は入力値xと入力値xを加算する。加算部11−1は入力値xと入力値xを加算する。加算部11−31は入力値x62と入力値x63を加算する。各加算部11−0〜31の加算結果である和は32点DCT演算部13へ出力される。
減算部12−0〜31は、入力値x〜x63におい並びが連続する入力値のペアである入力値x2nと入力値x2n+1の差を各々算出する。但し、nは0から31までの整数である。減算部12−nは、入力値x2nから入力値x2n+1を減算する。例えば、減算部12−0は入力値xから入力値xを減算する。減算部12−1は入力値xから入力値xを減算する。減算部12−31は入力値x62から入力値x63を減算する。各減算部12−0〜31の減算結果である差は32点DST演算部14へ出力される。
32点DCT演算部13は、加算部11−0〜31から出力された加算結果を入力値に使用して、32点DCTの演算を行う。32点DCT演算部13は、公知のバタフライ演算などの高速アルゴリズムを利用して構成される。32点DCT演算部13は、32点DCTの演算結果である値P(k)を2×2マトリックス演算部15へ出力する。
32点DST演算部14は、減算部12−0〜31から出力された減算結果を入力値に使用して、32点DSTの演算を行う。32点DST演算部14は、公知のバタフライ演算などの高速アルゴリズムを利用して構成される。32点DST演算部14は、32点DSTの演算結果である値Q(k)を2×2マトリックス演算部15へ出力する。
2×2マトリックス演算部15は、32点DCT演算部13から出力された値P(k)と32点DST演算部14から出力された値Q(k)を入力値に使用して、2行2列のマトリックス演算を行う。2行2列のマトリックス演算には、入力値に使用する値P(k),Q(k)に対応するマトリックス係数が使用される。LUT_16は、各kに対応するマトリックス係数を予め格納するマトリックス係数記憶部である。LUT_16に格納されるマトリックス係数は、上記の式(1)においてNが64である場合の各kのマトリックス係数である。各kのマトリックス係数は、2行2列の行列の要素が上記の式(1)により予め算出された値を有する。
2×2マトリックス演算部15は、LUT_16に格納されるマトリックス係数のうち、2行2列のマトリックス演算の入力値に使用する値P(k),Q(k)のkに対応するマトリックス係数を使用して、マトリックス係数と値P(k),Q(k)との行列の積を算出する。2×2マトリックス演算部15は、マトリックス演算結果である出力値X(k),X(N−k)を出力する。但し、Nは64であり、kは1から31までの整数である。なお、2×2マトリックス演算部15は、出力値X(0)とX(32)については上記の式(1)により算出した値を出力する。
上記の図1に示す64点直交変換処理装置1は、上記の式(1)に示すN点DCTの演算式であってNが64である64点DCTの演算式を演算する機能を備える。
図2は、本実施形態に係る64点逆直交変換処理装置2の実施例を示す構成図である。ここでは、図2に示す64点逆直交変換処理装置2により、64点IDCTを実現する場合を例に挙げて説明する。図2に示す64点逆直交変換処理装置2は、上記の図1に示す64点直交変換処理装置1の64点DCTの逆変換である64点IDCTを行う。図2に示す64点逆直交変換処理装置2は、2×2逆マトリックス演算部21と、LUT_22と、32点IDCT演算部23と、32点IDST演算部24と、32個の加算部25−0〜31と、32個の減算部26−0〜31と、64個の1/2倍部27−0〜31−a,27−0〜31−bを備える。64点逆直交変換処理装置2には、入力値X(k),X(N−k)が入力される。但し、Nは64である。
2×2逆マトリックス演算部21は、入力値X(k),X(N−k)に対する2行2列のマトリックス演算を行う。この2行2列のマトリックス演算には、入力値X(k),X(N−k)に対応する逆マトリックス係数が使用される。LUT_22は、各kに対応する逆マトリックス係数を予め格納する逆マトリックス係数記憶部である。LUT_22に格納される逆マトリックス係数は、上記の式(3)においてNが64である場合の各kの逆マトリックス係数である。各kの逆マトリックス係数は、2行2列の行列の要素が上記の式(3)により予め算出された値を有する。
2×2逆マトリックス演算部21は、LUT_22に格納される逆マトリックス係数のうち、2行2列の逆マトリックス演算の入力値X(k),X(N−k)のkに対応する逆マトリックス係数を使用して、逆マトリックス係数と入力値X(k),X(N−k)との行列の積を算出する。2×2逆マトリックス演算部21は、マトリックス演算結果である値P(k),Q(k)のうち、値P(k)を32点IDCT演算部23へ出力し、値Q(k)を32点IDST演算部24へ出力する。
32点IDCT演算部23は、2×2逆マトリックス演算部21から出力された値P(k)を入力値に使用して、32点IDCTの演算を行う。32点IDCT演算部23は、公知のバタフライ演算などの高速アルゴリズムを利用して構成される。32点IDCT演算部23は、32点IDCTの演算結果である値y(n)を出力する。但し、nは0から31までの整数である。
32点IDST演算部24は、2×2逆マトリックス演算部21から出力された値Q(k)を入力値に使用して、32点IDSTの演算を行う。32点IDST演算部24は、公知のバタフライ演算などの高速アルゴリズムを利用して構成される。32点IDST演算部24は、32点IDSTの演算結果である値z(n)を出力する。但し、nは0から31までの整数である。各nの値y(n)と値z(n)は、各nに対応する加算部25−nと減算部26−nに入力される。
加算部25−nは値y(n)と値z(n)を加算する。1/2倍部27−n−aは、加算部25−nの加算結果である和を1/2倍する。1/2倍部27−n−aによる1/2倍の結果の値は出力値x’(2n)として64点逆直交変換処理装置2から出力される。但し、nは0から31までの整数である。これにより、出力値x’,x’,x’,・・・,x’62が64点逆直交変換処理装置2から出力される。加算部25−nと1/2倍部27−n−aは、上記の式(5)に示すx’(2n)の演算式に対応する。
減算部26−nは値y(n)から値z(n)を減算する。1/2倍部27−n−bは、減算部26−nの減算結果である差を1/2倍する。1/2倍部27−n−bによる1/2倍の結果の値は出力値x’(2n+1)として64点逆直交変換処理装置2から出力される。但し、nは0から31までの整数である。これにより、出力値x’,x’,x’,・・・,x’63が64点逆直交変換処理装置2から出力される。減算部26−nと1/2倍部27−n−bは、上記の式(5)に示すx’(2n+1)の演算式に対応する。
なお、加算部25−0〜31と減算部26−0〜31と1/2倍部27−0〜31−a,27−0〜31−bは、逆変換信号生成部に対応する。
上記の図2に示す64点逆直交変換処理装置2は、上記の式(3)に示すN点IDCTの演算式であってNが64である64点IDCTの演算式を演算する機能を備える。
なお、CPUを使用して64点直交変換処理装置1を構成する場合、32点DCT演算部13及び32点DST演算部14の所要メモリ量に足りるメモリ量のキャッシュメモリを有するCPUを使用することが好ましい。これにより、32点DCT演算部13及び32点DST演算部14の演算処理を並列で高速に実行することができる。64点逆直交変換処理装置2についても同様である。
上述の図1に示す64点直交変換処理装置1によれば、従来に比して少ないメモリ量で高速に64点DCTの演算処理を行うことができる。また、上述の図2に示す64点逆直交変換処理装置2によれば、従来に比して少ないメモリ量で高速に64点IDCTの演算処理を行うことができる。
なお、上述の図1及び図2では上記の式(1)及び式(3)においてNが64である64点DCT及び64点IDCTを例にして説明したが、64点以外の他のN点DCT及びN点IDCTについても同様に適用可能である。例えば、Nが128である128点DCTについても、図1の構成と同様にして、64個の加算器と64個の減算器と64点DCT演算部と64点DST演算部と2×2マトリックス演算部とLUTから128点直交変換処理装置を構成することができる。128点IDCTについても、図2の構成と同様にして、2×2逆マトリックス演算部とLUTと64点DCT演算部と64点DST演算部と64個の加算器と64個の減算器と128個の1/2倍部から128点逆直交変換処理装置を構成することができる。また、N点DST及びN点IDSTについても、同様にして、N点直交変換処理装置及びN点逆直交変換処理装置を構成することができる。
なお、上記の式(1)と式(2)を比較すれば明らかなように、N点DCTとN点DSTで異なる点はマトリックス係数のみである。このことから、上記の図1に示す64点直交変換処理装置1により、64点DCTと64点DSTの両方の演算処理を行うようにしてもよい。この場合、LUT_16が64点DCTと64点DSTの両方のマトリックス係数を格納する。そして、2×2マトリックス演算部15が、64点DCT時と64点DST時で、LUT_16から読み出すマトリックス係数を切換える。また、N点IDCTとN点IDSTについても同様であり、上記の図2に示す64点逆直交変換処理装置2により、64点IDCTと64点IDSTの両方の演算処理を行うようにしてもよい。
本実施例によれば、直交変換の大サイズ化における所要メモリ量の増大を抑制することができる。これにより、直交変換の大サイズ化の実現に寄与することができるという効果が得られる。
[直交変換処理装置の変形例]
図3は、本発明の本実施形態に係る直交変換処理装置の変形例を説明するための構成図である。図3では、本実施形態に係るN点直交変換処理装置におけるN/2点DST演算部を、N/2点DCT演算部44−2により構成している。図3に示すN/2点DCT演算部44−1は、本実施形態に係るN点直交変換処理装置に元々備わるものである。
DST演算部をDCT演算部により構成する技術は、例えば特許文献1に記載されている。特許文献1に記載される技術を例えば上記の図1に示す64点直交変換処理装置1に適用することにより、64点直交変換処理装置1における32点DST演算部14を32点DCT演算部により構成することができる。
ここでは、図3において、Nが64である場合を例に挙げて説明する。図3に示す32点DCT演算部44−1は、上記の図1に示す64点直交変換処理装置1における32点DCT演算部13に対応する。同様に、図3に示す加算部41−0〜31は、上記の図1に示す64点直交変換処理装置1における加算部11−0〜31に対応する。
一方、図3に示す32点DCT演算部44−2は、上記の図1に示す64点直交変換処理装置1における32点DST演算部14を実現するために設けられる。また、16個の符号反転部43−1,3,5,7,・・・,29,31をさらに設ける。図3に示す減算部42−0〜31は、上記の図1に示す64点直交変換処理装置1における減算部12−0〜31に対応する。32個の減算部42−0〜31の減算結果のうち、16個の減算部42−0,2,4,6,・・・,28,30の減算結果は、そのまま32点DCT演算部44−2に入力される。32個の減算部42−0〜31の減算結果のうち、残りの16個の減算部42−1,3,5,7,・・・,29,31の減算結果は、16個の符号反転部43−1,3,5,7,・・・,29,31により符号が反転されてから32点DCT演算部44−2に入力される。符号反転部43−1,3,5,7,・・・,29,31は入力された値の符号を反転させる。
本変形例によれば、本実施形態に係るN点直交変換処理装置において、N/2点DST演算部をN/2点DCT演算部により構成することができる。これにより、N点直交変換処理装置における構成の簡略化ができ、また、演算部の利用効率を向上させることができる。なお、N点直交変換処理装置は、N点DCT若しくはN点DSTを実現するものであってもよく、又は、N点DCTとN点DSTの両方を実現するものであってもよい。
また、本実施形態に係るN点逆直交変換処理装置についても同様にして、N/2点IDST演算部をN/2点IDCT演算部により構成してもよい。IDST演算部をIDCT演算部により構成する技術は、例えば特許文献1に記載されている。N点逆直交変換処理装置は、N点IDCT若しくはN点IDSTを実現するものであってもよく、又は、N点IDCTとN点IDSTの両方を実現するものであってもよい。
[符号化装置、及び復号装置の実施例]
次に、本実施形態に係る符号化装置、及び復号装置の実施例について説明する。符号化装置、及び復号装置の例として、映像信号の符号化装置、及び復号装置を挙げて説明する。
図4は、本実施形態に係る符号化装置100の実施例を示す構成図である。図4に示す符号化装置100は、画面分割部101と、減算部102と、変換部103と、量子化部104と、エントロピー符号化部105と、逆量子化部106と、逆変換部107と、加算部108と、ループフィルタ109と、イントラ予測部110と、動き補償予測部111と、切り替え部112を備える。
画面分割部101は、符号化対象となる映像信号を入力し、この入力信号を符号化処理の処理単位のブロックに分割する。画面分割部101は分割したブロックの信号を減算部102へ出力する。減算部102は、画面分割部101から入力された信号から、切り替え部112から入力された信号を減算する。減算部102は、減算結果の信号を変換部103へ出力する。
変換部103は、減算部102から入力された信号に対して直交変換を行い、直交変換の結果の信号を量子化部104へ出力する。変換部103が行う直交変換は、DCT若しくはDSTのいずれか一方であってもよく、又は、DCTとDSTの両方であってもよい。変換部103がDCTとDSTの両方を行う場合には、変換部103は、DCTの結果又はDSTの結果のいずれか一方を選択して量子化部104へ出力する。変換部103がDCTの結果又はDSTの結果のいずれか一方を選択する際には、変換部103は例えば符号化効率のよい方を選択してもよい。DCTの結果として出力される信号はDCT係数である。DSTの結果として出力される信号はDST係数である。
量子化部104は、変換部103から入力された信号に対して量子化を行い、量子化した信号をエントロピー符号化部105及び逆量子化部106へ出力する。エントロピー符号化部105は、量子化部104から入力された信号に対してエントロピー符号化を行い、符号化信号を出力する。
逆量子化部106は、量子化部104から入力された信号に対して逆量子化を行い、逆量子化した信号を逆変換部107へ出力する。逆変換部107は、逆量子化部106から入力された信号に対して逆直交変換を行い、逆直交変換の結果の信号を加算部108へ出力する。逆変換部107が行う逆直交変換は、変換部103が行った直交変換の逆変換である。加算部108は、逆変換部107から入力された信号と切り替え部112から入力された信号を加算し、加算結果の信号をループフィルタ109へ出力する。
ループフィルタ109は、加算部108から入力された信号に対して平滑化等のフィルタリングを行い、フィルタリング結果の信号をイントラ予測部110及び動き補償予測部111へ出力する。イントラ予測部110は、ループフィルタ109から入力された信号に対してイントラ予測を行い、イントラ予測結果の信号を切り替え部112へ出力する。動き補償予測部111は、ループフィルタ109から入力された信号に対して動き補償予測を行い、動き補償予測結果の信号を切り替え部112へ出力する。切り替え部112は、イントラ予測部110から入力された信号又は動き補償予測部111から入力された信号のいずれを出力するかを切り替える。切り替え部112から出力された信号は、減算部102及び加算部108へ入力される。
図4に示す符号化装置100において、変換部103は、本実施形態の直交変換処理装置を備える。また、逆変換部107は、本実施形態の逆直交変換処理装置を備える。これにより、符号化装置100における直交変換及び逆直交変換の所要メモリ量が削減可能である。
図5は、本実施形態に係る復号装置200の実施例を示す構成図である。図5に示す復号装置200は、上記の図4の符号化装置100の符号化に対応する復号を行う。図5に示す復号装置200は、エントロピー復号部201と、逆量子化部202と、逆変換部203と、加算部204と、画面結合部205と、ループフィルタ206と、イントラ予測部207と、動き予測部208と、切り替え部209を備える。
エントロピー復号部201は、復号対象となる符号化信号を入力し、この入力した符号化信号に対してエントロピー復号を行う。エントロピー復号部201は、エントロピー復号結果の信号を逆量子化部202へ出力する。逆量子化部202は、エントロピー復号部201から入力された信号に対して逆量子化を行い、逆量子化した信号を逆変換部203へ出力する。
逆変換部203は、逆量子化部202から入力された信号に対して逆直交変換を行い、逆直交変換の結果の信号を加算部204へ出力する。逆変換部107が行う逆直交変換は、上記の図4に示す変換部103が行った直交変換の逆変換である。加算部204は、逆変換部203から入力された信号と切り替え部209から入力された信号を加算し、加算結果の信号を画面結合部205及びループフィルタ206へ出力する。画面結合部205は、加算部204から入力された信号から構成される復号処理の処理単位のブロックを結合して映像信号を生成する。画面結合部205は、生成した映像信号を復号信号として出力する。
ループフィルタ206は、加算部204から入力された信号に対して超解像処理を行い、超解像処理結果の信号をイントラ予測部207及び動き予測部208へ出力する。イントラ予測部207は、ループフィルタ206から入力された信号に対してイントラ予測を行い、イントラ予測結果の信号を切り替え部209へ出力する。動き予測部208は、ループフィルタ206から入力された信号に対して動き予測を行い、動き予測結果の信号を切り替え部209へ出力する。切り替え部209は、イントラ予測部207から入力された信号又は動き予測部208から入力された信号のいずれを出力するかを切り替える。切り替え部209の切り替え制御は、加算部204の加算結果に基づいて行われる。切り替え部209から出力された信号は、加算部204へ入力される。
図5に示す復号装置200において、逆変換部203は、本実施形態の逆直交変換処理装置を備える。これにより、復号装置200における逆直交変換の所要メモリ量が削減可能である。
次に、本実施形態に係る符号化装置100における効果の一つを説明する。映像信号の符号化では、映像信号に適した画素ブロックサイズで直交変換を適用することが、よりきめ細かい符号化制御を行うことができることから好ましい。例えば、MPEG−H HEVC/H.265の映像符号化方式では、2次元の直交変換を「4×4」から「32×32」までの画素ブロックサイズで行うことができる。このことから、符号化装置100において、複数の画素ブロックサイズの直交変換を行うようにしてもよい。例えば、上記の図4に示す変換部103を、複数の画素ブロックサイズの直交変換を行う構成にする。また、上記の図4に示す逆変換部107及び図5に示す逆変換部203を、複数の画素ブロックサイズの逆直交変換を行う構成にする。このとき、本実施形態の直交変換処理装置によれば、以下に示す効果が得られる。
図6は従来の映像符号化方式における直交変換について説明するための構成図である。従来の映像符号化方式としては、例えばMPEG−H HEVC/H.265の映像符号化方式である。図6(a)には8点DCTにおけるバタフライ演算の第一段目の構成が示され、図6(b)には4点DCTにおけるバタフライ演算の第一段目の構成が示される。図6(a)と図6(b)を比較すれば明らかなように、図6(a)に示す8点DCTにおけるバタフライ演算の出力値と、図6(b)に示す4点DCTの二つ分におけるバタフライ演算の出力値とは異なる。このため、図6(a)に示す8点DCTにおけるバタフライ演算の構成と、図6(b)に示す4点DCTにおけるバタフライ演算の構成では、共通化できる部分がない。したがって、従来の技術では、複数の画素ブロックサイズの直交変換を行う場合に、全ての画素ブロックサイズのバタフライ演算の構成を備える必要があった。
図7は、本実施形態における直交変換について説明するための構成図である。図7(a)には、8点DCTにおける4点DCT演算部及び4点DST演算部の前段の4個の加算部と4個の減算部の構成が示される。図7(b)には、4点DCTの二つ分に対して、2点DCT演算部及び2点DST演算部の前段の2個の加算部と2個の減算部の二組の構成が示される。図7(a)と図7(b)を比較すれば明らかなように、図7(a)に示す8点DCTにおける4点DCT演算部及び4点DST演算部の前段の構成の出力値と、図7(b)に示す4点DCTの二つ分における2点DCT演算部及び2点DST演算部の前段の構成の出力値とは同じである。このため、図7(a)に示す8点DCTにおける4点DCT演算部及び4点DST演算部の前段の構成と、図7(b)に示す4点DCTの二つ分における2点DCT演算部及び2点DST演算部の前段の構成を共通化することができる。
したがって、本実施形態によれば、複数の画素ブロックサイズの直交変換を行う場合に、少なくとも、最大の画素ブロックサイズのN点DCTにおけるN/2点DCT演算部及びN/2点DST演算部の前段のN/2個の加算部とN/2個の減算部の構成を備えればよい。例えば、本実施形態において、図7に示すように「8×8」の画素ブロックサイズの8点DCTと「4×4」の画素ブロックサイズの4点DCTの両方を行う場合に、8点DCTにおける4点DCT演算部及び4点DST演算部の前段の4個の加算部と4個の減算部の構成を4点DCTと共用し、4点DCTにおける2点DCT演算部及び2点DST演算部への入力には該4個の加算部と4個の減算部の出力値を使用する。これにより、本実施形態によれば、複数の画素ブロックサイズの直交変換を行う場合に、全ての画素ブロックサイズについての該前段の加算部と減算部の構成を備える必要がない。
上記の図6及び図7を参照して説明したように、本実施形態によれば、符号化装置100において複数の画素ブロックサイズの直交変換を行う場合に、装置構成を簡略化することができるという効果が得られる。
なお、本実施形態に係る直交変換処理装置は、専用のハードウェアにより実現されるものであってもよく、又は、メモリ及びCPUにより構成され、直交変換処理装置の機能を実現するためのコンピュータプログラムをCPUが実行することによりその機能を実現させるものであってもよい。本実施形態に係る逆直交変換処理装置についても同様である。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述した実施形態に係る直交変換処理装置、及び逆直交変換処理装置において、DCT及びDSTなどの直交変換は実数演算に限定されない。例えば、MPEG−H HEVC/H.265やMPEG−4 AVC/H.264などの映像符号化方式で採用されている整数DCTや整数DSTにも同様に適用可能である。
また、上述した実施形態は、DCTベースの各種の映像符号化方式に適用することができる。例えば、MPEG−2、MPEG−4 AVC/H.264、MPEG−H HEVC/H.265などの映像符号化方式に適用することができる。
また、上述した実施形態では、映像信号を符号化する符号化装置及び該符号化装置に対応する復号装置に適用したが、これに限定されない。上述した実施形態は、直交変換により変換した信号から符号化信号を生成する符号化装置、及び、直交変換により変換された信号から生成された符号化信号を復号する復号装置に適用可能である。
また、上述した直交変換処理装置又は逆直交変換処理装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disk)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1,3…64点直交変換処理装置、2…64点逆直交変換処理装置、11−0〜31,25−0〜31,41−0〜N/2−1,108,204…加算部、12−0〜31,26−0〜31,42−0〜N/2−1,102…減算部、13…32点DCT演算部、14…32点DST演算部、15,33−1,33−2…2×2マトリックス演算部、16,34…LUT(マトリックス係数記憶部)、21…2×2逆マトリックス演算部、22…LUT(逆マトリックス係数記憶部)、23…32点IDCT演算部、24…32点IDST演算部、27−0〜31−a,27−0〜31−b…1/2倍部、31−1,31−2…16点DCT演算部、32−1,32−2…16点DST演算部、43−1〜N/2−1…符号反転部、44−1…N/2DCT演算部、44−2…N/2DCT演算部、100…符号化装置、101…画面分割部、103…変換部、104…量子化部、105…エントロピー符号化部、106,202…逆量子化部、107,203…逆変換部、109,206…ループフィルタ、110,207…イントラ予測部、111…動き補償予測部、112,209…切り替え部、200…復号装置、201…エントロピー復号部、205…画面結合部、208…動き予測部

Claims (7)

  1. 直交変換ブロックサイズが「N×N、但し、Nは4以上の整数」であるN点の直交変換を行う直交変換処理装置において、
    N個の入力値において並びが連続する入力値のペアの和を各々算出する加算部と、
    N個の入力値において並びが連続する入力値のペアの差を各々算出する減算部と、
    前記加算部の加算結果を入力値に使用して、直交変換ブロックサイズが「N/2×N/2」である離散コサイン変換の演算を行うN/2点DCT演算部と、
    前記減算部の減算結果を入力値に使用して、直交変換ブロックサイズが「N/2×N/2」である離散サイン変換の演算を行うN/2点DST演算部と、
    前記N点の直交変換に対応する所定のマトリックス係数を格納するマトリックス係数記憶部と、
    前記N/2点DCT演算部からの出力値と前記N/2点DST演算部からの出力値に対して、前記マトリックス係数を使用して2行2列のマトリックス演算を行う2×2マトリックス演算部と、
    を備える直交変換処理装置。
  2. 複数の直交変換ブロックサイズ(N点)の直交変換を行う前記直交変換処理装置であり、
    前記複数の直交変換ブロックサイズ(N点)に各々対応する前記N/2点DCT演算部及び前記N/2点DST演算部を備え、
    前記複数の直交変換ブロックサイズ(N点)に各々対応する前記N/2点DCT演算部及び前記N/2点DST演算部で前記加算部と前記減算部を共用する、
    請求項1に記載の直交変換処理装置。
  3. 逆直交変換ブロックサイズが「N×N、但し、Nは4以上の整数」であるN点の逆直交変換を行う逆直交変換処理装置において、
    前記N点の逆直交変換に対応する所定の逆マトリックス係数を格納する逆マトリックス係数記憶部と、
    2個の入力値に対して、前記逆マトリックス係数を使用して2行2列のマトリックス演算を行う2×2逆マトリックス演算部と、
    前記2×2逆マトリックス演算部からの2個の出力値のうちの一方である第1の出力値を入力値に使用して、逆直交変換ブロックサイズが「N/2×N/2」である逆離散コサイン変換の演算を行うN/2点IDCT演算部と、
    前記2×2逆マトリックス演算部からの2個の出力値のうちのもう一方である第2の出力値を入力値に使用して、逆直交変換ブロックサイズが「N/2×N/2」である逆離散サイン変換の演算を行うN/2点IDST演算部と、
    前記N/2点IDCT演算部からの出力値と前記N/2点IDST演算部からの出力値を使用して、逆変換後の信号を生成する逆変換信号生成部と、
    を備える逆直交変換処理装置。
  4. 直交変換により変換した信号から符号化信号を生成する符号化装置において、
    請求項1又は2のいずれか1項に記載の直交変換処理装置を備える符号化装置。
  5. 直交変換により変換された信号から生成された符号化信号を復号する復号装置において、
    請求項3に記載の逆直交変換処理装置を備える復号装置。
  6. 直交変換ブロックサイズが「N×N、但し、Nは4以上の整数」であるN点の直交変換を行うためのコンピュータプログラムであって、
    N個の入力値において並びが連続する入力値のペアの和を各々算出する加算機能と、
    N個の入力値において並びが連続する入力値のペアの差を各々算出する減算機能と、
    前記加算機能の加算結果を入力値に使用して、直交変換ブロックサイズが「N/2×N/2」である離散コサイン変換の演算を行うN/2点DCT演算機能と、
    前記減算機能の減算結果を入力値に使用して、直交変換ブロックサイズが「N/2×N/2」である離散サイン変換の演算を行うN/2点DST演算機能と、
    前記N点の直交変換に対応する所定のマトリックス係数を格納するマトリックス係数記憶機能と、
    前記N/2点DCT演算機能からの出力値と前記N/2点DST演算機能からの出力値に対して、前記マトリックス係数を使用して2行2列のマトリックス演算を行う2×2マトリックス演算機能と、
    をコンピュータに実現させるためのコンピュータプログラム。
  7. 逆直交変換ブロックサイズが「N×N、但し、Nは4以上の整数」であるN点の逆直交変換を行うためのコンピュータプログラムであって、
    前記N点の逆直交変換に対応する所定の逆マトリックス係数を格納する逆マトリックス係数記憶機能と、
    2個の入力値に対して、前記逆マトリックス係数を使用して2行2列のマトリックス演算を行う2×2逆マトリックス演算機能と、
    前記2×2逆マトリックス演算機能からの2個の出力値のうちの一方である第1の出力値を入力値に使用して、逆直交変換ブロックサイズが「N/2×N/2」である逆離散コサイン変換の演算を行うN/2点IDCT演算機能と、
    前記2×2逆マトリックス演算機能からの2個の出力値のうちのもう一方である第2の出力値を入力値に使用して、逆直交変換ブロックサイズが「N/2×N/2」である逆離散サイン変換の演算を行うN/2点IDST演算機能と、
    前記N/2点IDCT演算機能からの出力値と前記N/2点IDST演算機能からの出力値を使用して、逆変換後の信号を生成する逆変換信号生成機能と、
    をコンピュータに実現させるためのコンピュータプログラム。
JP2015162866A 2015-08-20 2015-08-20 直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム Active JP6555814B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015162866A JP6555814B2 (ja) 2015-08-20 2015-08-20 直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015162866A JP6555814B2 (ja) 2015-08-20 2015-08-20 直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2017041786A JP2017041786A (ja) 2017-02-23
JP6555814B2 true JP6555814B2 (ja) 2019-08-07

Family

ID=58203564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015162866A Active JP6555814B2 (ja) 2015-08-20 2015-08-20 直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6555814B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278240B (zh) * 2017-12-15 2024-06-07 Lg电子株式会社 图像编解码方法和发送方法及非暂态计算机可读存储介质
TWI718625B (zh) * 2019-08-16 2021-02-11 瑞昱半導體股份有限公司 應用於離散及逆離散正弦餘弦變換的運算電路

Also Published As

Publication number Publication date
JP2017041786A (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
KR100809354B1 (ko) 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
KR100965704B1 (ko) 이미지 및 비디오 코딩을 위한 2d 변환
JP2015522988A (ja) 連続座標系を活用する動き補償および動き予測
KR20120098500A (ko) 영상의 변환 및 역변환 방법, 및 이를 이용한 영상의 부호화 및 복호화 장치
MX2008008987A (es) Transformadas con factores comunes.
KR20040005962A (ko) 버터플라이 프로세서를 이용하여 이산 코사인 변환을인코딩하고 계산하는 장치 및 방법
JP6555814B2 (ja) 直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム
Puchala Approximate calculation of 8-point DCT for various scenarios of practical applications
Zheng et al. Research in a fast DCT algorithm based on JPEG
KR101300300B1 (ko) 오더-n 변환으로부터 오더-2n 변환을 생성하는 시스템 및 방법
JP4515534B2 (ja) 画素値を抽出する方法および装置
JP2013110747A (ja) 画素ブロックを符号化して再構成する方法及び対応する装置
WO2023011005A1 (zh) 图像处理方法及装置、电子设备和存储介质
JP2013110747A5 (ja)
KR101412964B1 (ko) Hevc를 위한 저면적 고성능 다중모드 1d 변환블록 및 이를 이용한 데이터 처리방법
JP6541260B2 (ja) 変換処理装置、逆変換処理装置、符号化装置、復号装置、及びコンピュータプログラム
Abdollahi et al. High compression rate, based on the RLS adaptive algorithm in progressive image transmission
KR20100083554A (ko) 이산여현변환/역이산여현변환 방법 및 장치
US8467619B2 (en) Image compressing apparatus, image compressing method, image decompressing apparatus, and storage medium
JP6004852B2 (ja) ピクセルブロックを符号化及び再構成する方法と装置
KR101423083B1 (ko) Hevc 복호기용 역변환기 설계 방법
JP2012147205A (ja) 離散サイン変換回路、逆離散サイン変換回路、併用回路、符号化装置、復号装置及びプログラム
JP2014523673A (ja) 映像の変換方法及びその装置、逆変換方法及びその装置
KR101786921B1 (ko) 고속 움직임 추정을 위한 장치 및 방법
Belghith et al. FPGA-based implementation of the VVC low-frequency non-separable transform

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180702

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181026

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R150 Certificate of patent or registration of utility model

Ref document number: 6555814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250