JP6300565B2 - 動画像符号化装置、プログラム、および、集積回路 - Google Patents
動画像符号化装置、プログラム、および、集積回路 Download PDFInfo
- Publication number
- JP6300565B2 JP6300565B2 JP2014029686A JP2014029686A JP6300565B2 JP 6300565 B2 JP6300565 B2 JP 6300565B2 JP 2014029686 A JP2014029686 A JP 2014029686A JP 2014029686 A JP2014029686 A JP 2014029686A JP 6300565 B2 JP6300565 B2 JP 6300565B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- frequency component
- unit
- noise determination
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 192
- 230000008569 process Effects 0.000 claims description 176
- 238000013139 quantization Methods 0.000 claims description 163
- 238000012545 processing Methods 0.000 claims description 139
- 230000009466 transformation Effects 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000010354 integration Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 description 38
- 230000004048 modification Effects 0.000 description 38
- 101100063435 Caenorhabditis elegans din-1 gene Proteins 0.000 description 25
- 238000007906 compression Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000012447 hatching Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
Description
量子化パラメータ小領域QP_S:QP_min≦QP<QP_th1
量子化パラメータ中領域QP_M:QP_th1≦QP<QP_th2
量子化パラメータ大領域QP_L:QP_th2≦QP<QP_max
として設定する。
(1)複雑度取得部により取得された現フレーム画像の複雑度により、現フレーム画像が複雑なフレーム画像であり、かつ、
ノイズ判定部によるノイズ判定結果により、現フレーム画像がノイズを多いフレーム画像であると判定された場合、
量子化処理により用いられる量子化パラメータ値が、量子化パラメータ大領域QP_Lに含まれる値に設定されるように、符号化部に指示する符号量調整信号を生成し、
(2)複雑度取得部により取得された現フレーム画像の複雑度により、現フレーム画像が複雑なフレーム画像であり、かつ、
ノイズ判定部によるノイズ判定結果により、現フレーム画像がノイズを多いフレーム画像ではないと判定された場合、
量子化処理により用いられる量子化パラメータ値が、量子化パラメータ中領域QP_Mに含まれる値に設定されるように、符号化部に指示する符号量調整信号を生成し、
(3)複雑度取得部により取得された現フレーム画像の複雑度により、現フレーム画像が複雑なフレーム画像ではなく、かつ、
ノイズ判定部によるノイズ判定結果により、現フレーム画像がノイズを多いフレーム画像であると判定された場合、
量子化処理により用いられる量子化パラメータ値が、量子化パラメータ中領域QP_Mに含まれる値に設定されるように、符号化部に指示する符号量調整信号を生成し、
(4)複雑度取得部により取得された現フレーム画像の複雑度により、現フレーム画像が複雑なフレーム画像ではなく、かつ、
ノイズ判定部によるノイズ判定結果により、現フレーム画像がノイズを多いフレーム画像ではないと判定された場合、
量子化処理により用いられる量子化パラメータ値が、量子化パラメータ小領域QP_Sに含まれる値に設定されるように、符号化部に指示する符号量調整信号を生成する。
第1実施形態について、図面を参照しながら、以下、説明する。
図1は、第1実施形態に係る動画像符号化装置1000の概略構成図である。
以上のように構成された動画像符号化装置1000の動作について、以下、説明する。
ここで、複雑度取得部2による複雑度cmplxの取得処理について、説明する。
AC(x,y,i)=AC(x,y,i)/DC(i)
により、正規化した交流成分を示すDCT係数データAC(x,y,i)を取得する。この処理を、複雑度取得部2は、1フレーム画像に含まれる全てのDCTブロック(N個のDCTブロック)について実行する。
(1)複雑度取得部2は、
Sum_M/(Sum_L+Sum_M+Sum_H)>Th1
Th1:閾値
である場合、現フレーム画像(処理対象のフレーム画像)が複雑であると判断し、複雑度cmplxを、
cmplx=1
に設定する。
cmplx=0
に設定する。
(2)複雑度取得部2は、
(Sum_M+Sum_H)/(Sum_L+Sum_M+Sum_H)>Th2
Th2:閾値
である場合、現フレーム画像(処理対象のフレーム画像)が複雑であると判断し、複雑度cmplxを、
cmplx=1
に設定する。
cmplx=0
に設定する。
(3)複雑度取得部2は、
Sum_M/(Sum_L+Sum_M)>Th3
Th3:閾値
である場合、現フレーム画像(処理対象のフレーム画像)が複雑であると判断し、複雑度cmplxを、
cmplx=1
に設定する。
cmplx=0
に設定する。
さらに、複雑度取得部2は、上記処理(以下、「全体判定処理」という。)により、複雑度cmplxが「0」に設定された場合、つまり、現フレーム画像が複雑ではないと判定された場合、以下の分割画像領域を用いた判定処理(以下、「分割判定処理」という。)を行うようにしてもよい。この分割判定処理について、図4を用いて説明する。
(1)複雑度取得部2は、
Sum_M/(Sum_L+Sum_M+Sum_H)>Th1
Th1:閾値
である場合、処理対象の分割画像領域が複雑な画像領域であると判断し、分割領域複雑度cmplx_dを、
cmplx_d=1
に設定する。
cmplx_d=0
に設定する。
(2)複雑度取得部2は、
(Sum_M+Sum_H)/(Sum_L+Sum_M+Sum_H)>Th2
Th2:閾値
である場合、処理対象の分割画像領域が複雑な画像領域であると判断し、分割領域複雑度cmplx_dを、
cmplx_d=1
に設定する。
cmplx_d=0
に設定する。
(3)複雑度取得部2は、
Sum_M/(Sum_L+Sum_M)>Th3
Th3:閾値
である場合、処理対象の分割画像領域が複雑な画像領域であると判断し、分割領域複雑度cmplx_dを、
cmplx_d=1
に設定する。
cmplx_d=0
に設定する。
Th_num1:閾値
である場合、すなわち、分割画像領域が複雑な画像領域であると判定された分割画像領域数が所定の数Th_num1より多い場合、当該フレーム画像F1(現フレーム画像F1)が複雑であると判断し、複雑度取得部2は、
cmplx=1
に設定する。
次に、ノイズ判定部3によるノイズ判定処理について、説明する。
AC(x,y,i)=AC(x,y,i)/DC(i)
により、正規化した交流成分を示すDCT係数データAC(x,y,i)を取得する。
H1(i)/L1(i)>Th4
Th4:閾値
であり、かつ、
H1(i)>Th5
Th5:閾値
である場合、ノイズ判定部3は、ノイズ判定結果フラグf_noisy(i)を「1」に設定する。
Th_num2:閾値
である場合、すなわち、「ノイズあり」(ノイズが多い)と判定されたDCTブロック数が所定の数Th_num2より多い場合、当該フレーム画像F1(現フレーム画像F1)は、「ノイズあり」(ノイズが多い)と判断し、ノイズ判定結果値noisyを、
noisy=1
に設定する。
noisy=0
に設定する。
さらに、ノイズ判定部3は、上記処理(以下、「ノイズ判定の全体判定処理」という。)により、ノイズ判定結果値noisyが「0」に設定された場合、つまり、現フレーム画像が「ノイズなし」(ノイズが少ない)と判定された場合、以下の分割画像領域を用いた判定処理(以下、「ノイズ判定の分割判定処理」という。)を行うようにしてもよい。このノイズ判定の分割判定処理について、図4を用いて説明する。
H1(i)/L1(i)>Th4
Th4:閾値
であり、かつ、
H1(i)>Th5
Th5:閾値
である場合、ノイズ判定部3は、ノイズ判定結果フラグf_noisy(i)を「1」に設定する。
Th_num3:閾値
である場合、すなわち、「ノイズあり」(ノイズが多い)と判定されたDCTブロック数が所定の数Th_num3より多い場合、当該分割画像領域は、「ノイズあり」(ノイズが多い)と判断し、分割画像領域のノイズ判定結果値noisy_dを、
noisy_d=1
に設定する。
noisy_d=0
に設定する。
Th_num4:閾値
である場合、すなわち、分割画像領域が「ノイズあり」(ノイズが多い)と判定された分割画像領域数が所定の数Th_num4より多い場合、当該フレーム画像F1(現フレーム画像F1)が「ノイズあり」(ノイズが多い)と判断し、ノイズ判定部3は、現フレーム画像F1のノイズ判定結果値noisyを、
noisy=1
に設定する。なお、分割画像領域の数がn1(図4の場合、n1=9)の場合、
Th_num4=Th_num2/n1
としてもよい。
QP_min≦QP≦QP_max
QP_min:QP値の最小値
QP_max:QP値の最大値
で規定される範囲の値をとるものとする。また、図7に示すように、量子化パラメータ値QPを調整するための分割範囲QP_S、QP_M、および、QP_Lが設定されているものとする。分割範囲QP_S、QP_M、および、QP_Lは、値QP_th1およびQP_th2により、以下のように設定される。
設定範囲QP_M:QP_th1≦QP<QP_th2
設定範囲QP_L:QP_th2≦QP<QP_max
QP_min<QP_th1<QP_th2<QP_max
また、量子化パラメータ値QPは、正の値をとるものとする。そして、例えば、量子化パラメータ値QPと量子化ステップ値の対数とが比例する。
(1)ノイズ判定結果値noisy=1であり、かつ、複雑度cmplx=1である場合、符号量調整部4は、符号化部6での量子化処理における量子化パラメータ値が大きな値(例えば、図7の分割範囲QP_Lに含まれるQP値)に設定されるように指示する符号量調整信号ADJを生成する。
(2)ノイズ判定結果値noisy=0であり、かつ、複雑度cmplx=1である場合、符号量調整部4は、符号化部6での量子化処理における量子化パラメータ値が中程度の値(例えば、図7の分割範囲QP_Mに含まれるQP値)に設定されるように指示する符号量調整信号ADJを生成する。
(3)ノイズ判定結果値noisy=1であり、かつ、複雑度cmplx=0である場合、符号量調整部4は、符号化部6での量子化処理における量子化パラメータ値が中程度の値(例えば、図7の分割範囲QP_Mに含まれるQP値)に設定されるように指示する符号量調整信号ADJを生成する。
(4)ノイズ判定結果値noisy=0であり、かつ、複雑度cmplx=0である場合、符号量調整部4は、符号化部6での量子化処理における量子化パラメータ値が小さな値(例えば、図7の分割範囲QP_Sに含まれるQP値)に設定されるように指示する符号量調整信号ADJを生成する。
(1)現フレームと過去(k1−1)個(k1:2以上の自然数)のフレームの合計k1個のフレーム画像のノイズ判定結果値noisy_past(0)〜noisy_past(k1−1)のうち、k2個以上のノイズ判定結果値が「1」である場合、符号量調整部4は、ノイズ判定結果値noisy_termを、
noisy_term=1
と設定する。
noisy_term=0
と設定する。
(2)現フレームと過去(k3−1)個(k3:2以上の自然数)のフレームの合計k3個のフレーム画像のノイズ判定結果値noisy_past(0)〜noisy_past(k3−1)が全て「1」である場合、符号量調整部4は、ノイズ判定結果値noisy_termを、
noisy_term=1
と設定する。
noisy_term=0
と設定する。
(1)ノイズ判定結果値noisy_term=1であり、かつ、複雑度cmplx=1である場合、符号量調整部4は、符号化部6での量子化処理における量子化パラメータ値が大きな値(例えば、図7の分割範囲QP_Lに含まれるQP値)に設定されるように指示する符号量調整信号ADJを生成する。
(2)ノイズ判定結果値noisy_term=0であり、かつ、複雑度cmplx=1である場合、符号量調整部4は、符号化部6での量子化処理における量子化パラメータ値が中程度の値(例えば、図7の分割範囲QP_Mに含まれるQP値)に設定されるように指示する符号量調整信号ADJを生成する。
(3)ノイズ判定結果値noisy_term=1であり、かつ、複雑度cmplx=0である場合、符号量調整部4は、符号化部6での量子化処理における量子化パラメータ値が中程度の値(例えば、図7の分割範囲QP_Mに含まれるQP値)に設定されるように指示する符号量調整信号ADJを生成する。
(4)ノイズ判定結果値noisy_term=0であり、かつ、複雑度cmplx=0である場合、符号量調整部4は、符号化部6での量子化処理における量子化パラメータ値が小さな値(例えば、図7の分割範囲QP_Sに含まれるQP値)に設定されるように指示する符号量調整信号ADJを生成する。
(1)量子化パラメータ値QP_tmpが、符号量調整信号ADJにより指示されているQP値の範囲に属する値である場合、量子化パラメータ決定部62は、
QP=QP_tmp
として、量子化パラメータ値QPを取得する。
(2)一方、量子化パラメータ値QP_tmpが、符号量調整信号ADJにより指示されているQP値の範囲に属する値ではない場合、量子化パラメータ決定部62は、符号量調整信号ADJにより指示されているQP値の範囲に含まれる値をQP1(例えば、符号量調整信号ADJにより指示されているQP値の範囲の中央値)とすると、
QP=QP1
として、量子化パラメータ値QPを取得する。
次に、第1実施形態の第1変形例について、説明する。
AC(x,y,i)=AC(x,y,i)/DC(i)
により、正規化した交流成分を示すDCT係数データAC(x,y,i)を取得する。この処理を、ノイズ判定部3は、1フレーム画像に含まれる全てのDCTブロック(N個のDCTブロック)について実行する。
H1/L1>Th_A1
Th_A1:閾値
であり、かつ、
H1>Th_A2
Th_A2:閾値
である場合、ノイズ判定部3は、ノイズ判定結果値noisyを「1」に設定する。
さらに、ノイズ判定部3は、上記処理(以下、「ノイズ判定の全体判定処理(第1変形例)」という。)により、ノイズ判定結果値noisyが「0」に設定された場合、つまり、現フレーム画像が「ノイズなし」(ノイズが少ない)と判定された場合、以下の分割画像領域を用いた判定処理(以下、「ノイズ判定の分割判定処理(第1変形例)」という。)を行うようにしてもよい。このノイズ判定の分割判定処理について、図4を用いて説明する。
H1/L1>Th_A3
Th_A3:閾値
であり、かつ、
H1>Th_A4
Th_A4:閾値
である場合、ノイズ判定部3は、処理対象の分割画像領域についてのノイズ判定結果値noisy_dを「1」に設定する。
Th_numA1:閾値
である場合、すなわち、分割画像領域が「ノイズあり」(ノイズが多い)と判定された分割画像領域数が所定の数Th_numA1より多い場合、当該フレーム画像F1(現フレーム画像F1)が「ノイズあり」(ノイズが多い)と判断し、ノイズ判定部3は、
noisy=1
に設定する。
次に、第1実施形態の第2変形例について、説明する。
AC(x,y,i)=AC(x,y,i)/DC(i)
により、正規化した交流成分を示すDCT係数データAC(x,y,i)を取得する。
H1(i)/L1(i)>Th10
Th10:閾値
(条件2:水平方向エッジ成分が多いか否かの判定条件)
H1(i)/Lh(i)>Th_h
Th_h:閾値
(条件3:垂直方向エッジ成分が多いか否かの判定条件)
H1(i)/Lv(i)>Th_v
Th_v:閾値
なお、上記(条件1)〜(条件3)のいずれかを満たす場合、ノイズ判定結果フラグf_noisy(i)を「1」に設定するようにしてもよい。また、上記(条件1)〜(条件3)のいずれか2つを満たす場合、ノイズ判定結果フラグf_noisy(i)を「1」に設定するようにしてもよい。
AC(x,y)>Th_20
Th_20:閾値(例えば、Th_20=Aveとしてもよい。)
であり、かつ、
DCT係数データAC(x,y)に隣接する8つのDCT係数データAC(x−1,y−1)、AC(x,y−1)、AC(x+1,y−1)、AC(x−1,y)、AC(x+1,y)、AC(x−1,y+1)、AC(x,y+1)、AC(x+1,y+1)のうち、その値が平均値Aveよりも大きいデータが、D1個未満である場合、
ノイズ判定部3は、当該DCT係数データAC(x,y)が、孤立周波数成分であると判定する。
AC(x,y)>Th_21
Th_21:閾値
であり、かつ、
DCT係数データAC(x,y)に隣接する5つのDCT係数データのうち、その値が平均値Aveよりも大きいデータが、D2個未満である場合、
ノイズ判定部3は、当該DCT係数データAC(x,y)が、孤立周波数成分であると判定する。
Th_num22:閾値
である場合、すなわち、「ノイズあり」(ノイズが多い)と判定されたDCTブロック数が所定の数Th_num22より多い場合、当該フレーム画像F1(現フレーム画像F1)は、「ノイズあり」(ノイズが多い)と判断し、ノイズ判定結果値noisyを、
noisy=1
に設定する。
noisy=0
に設定する。
さらに、ノイズ判定部3は、上記処理(以下、「ノイズ判定の全体判定処理(第2変形例)」という。)により、ノイズ判定結果値noisyが「0」に設定された場合、つまり、現フレーム画像が「ノイズなし」(ノイズが少ない)と判定された場合、以下の分割画像領域を用いた判定処理(以下、「ノイズ判定の分割判定処理(第2変形例)」という。)を行うようにしてもよい。このノイズ判定の分割判定処理について、図4を用いて説明する。
H1(i)/L1(i)>Th10
Th10:閾値
(条件2:水平方向エッジ成分が多いか否かの判定条件)
H1(i)/Lh(i)>Th_h
Th_h:閾値
(条件3:垂直方向エッジ成分が多いか否かの判定条件)
H1(i)/Lv(i)>Th_v
Th_v:閾値
一方、上記以外の場合、ノイズ判定部3は、ノイズ判定結果フラグf_noisy(i)を「0」に設定する。
Th_num23:閾値
である場合、すなわち、「ノイズあり」(ノイズが多い)と判定されたDCTブロック数が所定の数Th_num23より多い場合、当該分割画像領域は、「ノイズあり」(ノイズが多い)と判断し、分割画像領域のノイズ判定結果値noisy_dを、
noisy_d=1
に設定する。
noisy_d=0
に設定する。
Th_num23:閾値
である場合、すなわち、分割画像領域が「ノイズあり」(ノイズが多い)と判定された分割画像領域数が所定の数Th_num23より多い場合、当該フレーム画像F1(現フレーム画像F1)が「ノイズあり」(ノイズが多い)と判断し、ノイズ判定部3は、現フレーム画像F1のノイズ判定結果値noisyを、
noisy=1
に設定する。なお、分割画像領域の数がn1(図4の場合、n1=9)の場合、
Th_num23=Th_num22/n1
としてもよい。
上記実施形態(変形例を含む)において、「直交変換」は、DCT変換を例に説明したが、これに限定されることはなく、直交変換は、例えば、整数変換や、高速フーリエ変換(FFT)や、ウェーブレット変換等であってもよい。
1 第1直交変換部
2 複雑度取得部
3 ノイズ判定部
4 符号量調整部
5 色空間変換部
6 符号化部
61 符号化処理部
613 量子化部
62 量子化パラメータ決定部
Claims (11)
- 複数のフレーム画像から構成される入力動画像に対して、直交変換を行う第1直交変換部と、
前記第1直交変換部による直交変換により取得された周波数成分データに基づいて、前記入力動画像の複雑度を取得する複雑度取得部と、
前記第1直交変換部による直交変換により取得された周波数成分データに基づいて、前記入力動画像に含まれるノイズについての判定を行うノイズ判定部と、
前記複雑度取得部により取得された前記複雑度と、前記ノイズ判定部によるノイズ判定結果とに基づいて、符号量調整信号を生成する符号量調整部と、
前記入力動画像に対して、量子化処理を含む符号化処理を実行する符号化部であって、前記符号量調整部により生成された前記符号量調整信号に基づいて決定された量子化パラメータ値に基づいて、前記量子化処理を行う前記符号化部と、
を備え、
前記ノイズ判定部は、
前記第1直交変換部による直交変換が実行される単位である直交変換ブロックごとに、前記直交変換により取得される低域周波数成分データを含むノイズ判定用低域領域と、前記直交変換により取得される高域周波数成分データを含むノイズ判定用高域領域と、を設定し、
前記直交変換ブロックごとに、前記ノイズ判定用低域領域に含まれる前記低域周波数成分データを加算することで、ノイズ判定用低域成分積算値を取得し、
前記直交変換ブロックごとに、前記ノイズ判定用高域領域に含まれる前記高域周波数成分データを加算することで、ノイズ判定用高域成分積算値を取得し、
取得した、前記ノイズ判定用低域成分積算値、および、前記ノイズ判定用高域成分積算値に基づいて、前記直交変換ブロックに対応する、直交変換前の画像ブロックにノイズが多く含まれるか否かを判定するブロック単位ノイズ判定処理を行い、
処理対象である現フレーム画像に含まれる前記直交変換ブロックに対して、前記ブロック単位ノイズ判定処理を行ったときに、ノイズが多く含まれると判定された前記直交変換ブロックの数が所定の値TH1より多い場合、前記現フレーム画像は、ノイズを多く含むフレーム画像であると判定する全画面判定処理を行い、
前記全画面判定処理において、前記現フレーム画像がノイズを多く含むフレーム画像ではないと判定された場合、前記現フレーム画像をN分割(N:2以上の自然数)した分割画像領域ごとに、前記ブロック単位ノイズ判定処理を行い、ノイズが多く含まれると判定された前記直交変換ブロックの数が所定の値TH2より多い場合、当該分割画像領域は、ノイズを多く含む分割画像領域であると判定する分割判定処理を実行し、
N個(N:2以上の自然数)の分割画像領域に対して、前記分割判定処理を実行したときに、ノイズを多く含む分割画像領域であると判定された分割画像領域の数が所定の数TH3より多い場合、前記現フレーム画像は、ノイズを多く含むフレーム画像であると判定する、
動画像符号化装置。 - 前記複雑度取得部は、
前記第1直交変換部による直交変換により取得される周波数領域において、低域周波数成分データを含む低域領域と、中域周波数成分データを含む中域領域と、高域周波数成分データを含む高域領域と、を設定し、
処理対象である現フレーム画像において、前記低域領域に含まれる前記低域周波数成分データを加算することで、低域成分積算値を取得し、
前記現フレーム画像において、前記中域領域に含まれる前記中域周波数成分データを加算することで、中域成分積算値を取得し、
前記現フレーム画像において、前記高域領域に含まれる前記高域周波数成分データを加算することで、高域成分積算値を取得し、
取得した、前記低域成分積算値、前記中域成分積算値、および、前記高域成分積算値に基づいて、前記現フレーム画像の複雑度を取得する、
請求項1に記載の動画像符号化装置。 - 前記ノイズ判定部は、
前記ブロック単位ノイズ判定処理において、前記ノイズ判定用高域成分積算値が所定の値よりも大きい場合にのみ、前記直交変換ブロックに対応する、直交変換前の画像ブロックにノイズが多く含まれると判定する、
請求項1又は2に記載の動画像符号化装置。 - 前記ノイズ判定部は、
前記第1直交変換部による直交変換により取得される周波数領域において、前記直交変換により取得される低域周波数成分データを含む全画面ノイズ判定用低域領域と、前記直交変換により取得される高域周波数成分データを含む全画面ノイズ判定用高域領域と、を設定し、
処理対象である現フレーム画像において、前記全画面ノイズ判定用低域領域に含まれる前記低域周波数成分データを加算することで、全画面ノイズ判定用低域成分積算値を取得し、
前記現フレーム画像において、前記全画面ノイズ判定用高域領域に含まれる前記高域周波数成分データを加算することで、全画面ノイズ判定用高域成分積算値を取得し、
取得した、前記全画面ノイズ判定用低域成分積算値、および、前記全画面ノイズ判定用高域成分積算値に基づいて、前記現フレーム画像にノイズが多く含まれるか否かを判定する全画面判定処理を行う、
請求項1又は2に記載の動画像符号化装置。 - 前記ノイズ判定部は、
前記全画面判定処理において、前記ノイズ判定用高域成分積算値が所定の値よりも大きい場合に、前記現フレーム画像にノイズが多く含まれると判定する、
請求項4に記載の動画像符号化装置。 - 前記ノイズ判定部は、
前記全画面判定処理において、前記現フレーム画像がノイズを多く含むフレーム画像ではないと判定された場合、
前記現フレーム画像をN分割(N:2以上の自然数)した分割画像領域の各分割画像領域において、前記ノイズ判定用低域領域に含まれる前記低域周波数成分データを加算することで、ノイズ判定用低域成分積算値を取得するとともに、前記ノイズ判定用高域領域に含まれる前記高域周波数成分データを加算することで、ノイズ判定用高域成分積算値を取得し、
取得した、前記ノイズ判定用低域成分積算値、および、前記ノイズ判定用高域成分積算値に基づいて、前記分割画像領域ごとに、ノイズが多く含まれるか否かを判定し、
ノイズを多く含む分割画像領域であると判定された分割画像領域の数が所定の数TH4より多い場合、前記現フレーム画像は、ノイズを多く含むフレーム画像であると判定する、
請求項4又は5に記載の動画像符号化装置。 - 前記ノイズ判定部は、
前記第1直交変換部による直交変換が実行される単位である直交変換ブロックごとに、前記直交変換により取得される水平低域周波数成分データを含むノイズ判定用水平低域領域と、前記直交変換により取得される垂直低域周波数成分データを含むノイズ判定用垂直低域領域と、を設定し、
前記直交変換ブロックごとに、前記ノイズ判定用水平低域領域に含まれる前記水平低域周波数成分データを加算することで、ノイズ判定用水平低域成分積算値を取得し、
前記直交変換ブロックごとに、前記ノイズ判定用垂直低域領域に含まれる前記垂直低域周波数成分データを加算することで、ノイズ判定用垂直低域成分積算値を取得し、
前記ノイズ判定用低域成分積算値、前記ノイズ判定用水平低域成分積算値、前記ノイズ判定用垂直低域成分積算値、および、前記ノイズ判定用高域成分積算値に基づいて、前記直交変換ブロックに対応する、直交変換前の画像ブロックにノイズが多く含まれるか否かを判定することで前記ブロック単位ノイズ判定処理を行い、
処理対象である現フレーム画像に含まれる前記直交変換ブロックに対して、前記ブロック単位ノイズ判定処理を行ったときに、ノイズが多く含まれると判定された前記直交変換ブロックの数が所定の値TH5より多い場合、前記現フレーム画像は、ノイズを多く含むフレーム画像であると判定することで前記全画面判定処理を行う、
請求項1又は2に記載の動画像符号化装置。 - 前記ノイズ判定部は、
前記ブロック単位ノイズ判定処理において、
前記直交変換ブロックごとに、周囲に隣接する周波数成分データよりも突出してレベルの大きい周波数成分データの数を、孤立周波数成分データ数として検出し、検出した孤立周波数成分データ数が所定の値TH8よりも大きい場合、前記直交変換ブロックに対応する、直交変換前の画像ブロックにノイズが多く含まれると判定する、
請求項1から7のいずれかに記載の動画像符号化装置。 - 前記符号化部は、
量子化パラメータ値QPの取り得る最小値をQP_minとし、量子化パラメータ値QPの取り得る最大値をQP_maxとし、閾値QP_th1、QP_th2(QP_min<QP_th1<QP_th2<QP_max)とし、量子化パラメータ小領域QP_Sと、量子化パラメータ中領域QP_Mと、量子化パラメータ大領域QP_Lと、を、
量子化パラメータ小領域QP_S:QP_min≦QP<QP_th1
量子化パラメータ中領域QP_M:QP_th1≦QP<QP_th2
量子化パラメータ大領域QP_L:QP_th2≦QP<QP_max
として設定し、
前記符号量調整部は、
(1)前記複雑度取得部により取得された現フレーム画像の複雑度により、現フレーム画像が複雑なフレーム画像であり、かつ、
前記ノイズ判定部によるノイズ判定結果により、現フレーム画像がノイズを多いフレーム画像であると判定された場合、
前記量子化処理により用いられる前記量子化パラメータ値が、前記量子化パラメータ大領域QP_Lに含まれる値に設定されるように、前記符号化部に指示する前記符号量調整信号を生成し、
(2)前記複雑度取得部により取得された現フレーム画像の複雑度により、現フレーム画像が複雑なフレーム画像であり、かつ、
前記ノイズ判定部によるノイズ判定結果により、現フレーム画像がノイズを多いフレーム画像ではないと判定された場合、
前記量子化処理により用いられる前記量子化パラメータ値が、前記量子化パラメータ中領域QP_Mに含まれる値に設定されるように、前記符号化部に指示する前記符号量調整信号を生成し、
(3)前記複雑度取得部により取得された現フレーム画像の複雑度により、現フレーム画像が複雑なフレーム画像ではなく、かつ、
前記ノイズ判定部によるノイズ判定結果により、現フレーム画像がノイズを多いフレーム画像であると判定された場合、
前記量子化処理により用いられる前記量子化パラメータ値が、前記量子化パラメータ中領域QP_Mに含まれる値に設定されるように、前記符号化部に指示する前記符号量調整信号を生成し、
(4)前記複雑度取得部により取得された現フレーム画像の複雑度により、現フレーム画像が複雑なフレーム画像ではなく、かつ、
前記ノイズ判定部によるノイズ判定結果により、現フレーム画像がノイズを多いフレーム画像ではないと判定された場合、
前記量子化処理により用いられる前記量子化パラメータ値が、前記量子化パラメータ小領域QP_Sに含まれる値に設定されるように、前記符号化部に指示する前記符号量調整信号を生成する、
請求項1から8のいずれかに記載の動画像符号化装置。 - 複数のフレーム画像から構成される入力動画像に対して、直交変換を行う第1直交変換ステップと、
前記第1直交変換ステップによる直交変換により取得された周波数成分データに基づいて、前記入力動画像の複雑度を取得する複雑度取得ステップと、
前記第1直交変換ステップによる直交変換により取得された周波数成分データに基づいて、前記入力動画像に含まれるノイズについての判定を行うノイズ判定ステップと、
前記複雑度取得ステップにより取得された前記複雑度と、前記ノイズ判定ステップによるノイズ判定結果とに基づいて、符号量調整信号を生成する符号量調整ステップと、
前記入力動画像に対して、量子化処理を含む符号化処理を実行する符号化ステップであって、前記符号量調整ステップにより生成された前記符号量調整信号に基づいて決定された量子化パラメータ値に基づいて、前記量子化処理を行う前記符号化ステップと、
を備え、
前記ノイズ判定ステップは、
前記第1直交変換ステップによる直交変換が実行される単位である直交変換ブロックごとに、前記直交変換により取得される低域周波数成分データを含むノイズ判定用低域領域と、前記直交変換により取得される高域周波数成分データを含むノイズ判定用高域領域と、を設定し、
前記直交変換ブロックごとに、前記ノイズ判定用低域領域に含まれる前記低域周波数成分データを加算することで、ノイズ判定用低域成分積算値を取得し、
前記直交変換ブロックごとに、前記ノイズ判定用高域領域に含まれる前記高域周波数成分データを加算することで、ノイズ判定用高域成分積算値を取得し、
取得した、前記ノイズ判定用低域成分積算値、および、前記ノイズ判定用高域成分積算値に基づいて、前記直交変換ブロックに対応する、直交変換前の画像ブロックにノイズが多く含まれるか否かを判定するブロック単位ノイズ判定処理を行い、
処理対象である現フレーム画像に含まれる前記直交変換ブロックに対して、前記ブロック単位ノイズ判定処理を行ったときに、ノイズが多く含まれると判定された前記直交変換ブロックの数が所定の値TH1より多い場合、前記現フレーム画像は、ノイズを多く含むフレーム画像であると判定する全画面判定処理を行い、
前記全画面判定処理において、前記現フレーム画像がノイズを多く含むフレーム画像ではないと判定された場合、前記現フレーム画像をN分割(N:2以上の自然数)した分割画像領域ごとに、前記ブロック単位ノイズ判定処理を行い、ノイズが多く含まれると判定された前記直交変換ブロックの数が所定の値TH2より多い場合、当該分割画像領域は、ノイズを多く含む分割画像領域であると判定する分割判定処理を実行し、
N個(N:2以上の自然数)の分割画像領域に対して、前記分割判定処理を実行したときに、ノイズを多く含む分割画像領域であると判定された分割画像領域の数が所定の数TH3より多い場合、前記現フレーム画像は、ノイズを多く含むフレーム画像であると判定する、
動画像符号化方法をコンピュータに実行させるためのプログラム。 - 複数のフレーム画像から構成される入力動画像に対して、直交変換を行う第1直交変換部と、
前記第1直交変換部による直交変換により取得された周波数成分データに基づいて、前記入力動画像の複雑度を取得する複雑度取得部と、
前記第1直交変換部による直交変換により取得された周波数成分データに基づいて、前記入力動画像に含まれるノイズについての判定を行うノイズ判定部と、
前記複雑度取得部により取得された前記複雑度と、前記ノイズ判定部によるノイズ判定結果とに基づいて、符号量調整信号を生成する符号量調整部と、
前記入力動画像に対して、量子化処理を含む符号化処理を実行する符号化部であって、前記符号量調整部により生成された前記符号量調整信号に基づいて決定された量子化パラメータ値に基づいて、前記量子化処理を行う前記符号化部と、
を備え、
前記ノイズ判定部は、
前記第1直交変換部による直交変換が実行される単位である直交変換ブロックごとに、前記直交変換により取得される低域周波数成分データを含むノイズ判定用低域領域と、前記直交変換により取得される高域周波数成分データを含むノイズ判定用高域領域と、を設定し、
前記直交変換ブロックごとに、前記ノイズ判定用低域領域に含まれる前記低域周波数成分データを加算することで、ノイズ判定用低域成分積算値を取得し、
前記直交変換ブロックごとに、前記ノイズ判定用高域領域に含まれる前記高域周波数成分データを加算することで、ノイズ判定用高域成分積算値を取得し、
取得した、前記ノイズ判定用低域成分積算値、および、前記ノイズ判定用高域成分積算値に基づいて、前記直交変換ブロックに対応する、直交変換前の画像ブロックにノイズが多く含まれるか否かを判定するブロック単位ノイズ判定処理を行い、
処理対象である現フレーム画像に含まれる前記直交変換ブロックに対して、前記ブロック単位ノイズ判定処理を行ったときに、ノイズが多く含まれると判定された前記直交変換ブロックの数が所定の値TH1より多い場合、前記現フレーム画像は、ノイズを多く含むフレーム画像であると判定する全画面判定処理を行い、
前記全画面判定処理において、前記現フレーム画像がノイズを多く含むフレーム画像ではないと判定された場合、前記現フレーム画像をN分割(N:2以上の自然数)した分割画像領域ごとに、前記ブロック単位ノイズ判定処理を行い、ノイズが多く含まれると判定された前記直交変換ブロックの数が所定の値TH2より多い場合、当該分割画像領域は、ノイズを多く含む分割画像領域であると判定する分割判定処理を実行し、
N個(N:2以上の自然数)の分割画像領域に対して、前記分割判定処理を実行したときに、ノイズを多く含む分割画像領域であると判定された分割画像領域の数が所定の数TH3より多い場合、前記現フレーム画像は、ノイズを多く含むフレーム画像であると判定する、
集積回路。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014029686A JP6300565B2 (ja) | 2014-02-19 | 2014-02-19 | 動画像符号化装置、プログラム、および、集積回路 |
US14/594,507 US10057576B2 (en) | 2014-02-19 | 2015-01-12 | Moving image coding apparatus, moving image coding method, storage medium, and integrated circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014029686A JP6300565B2 (ja) | 2014-02-19 | 2014-02-19 | 動画像符号化装置、プログラム、および、集積回路 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015154454A JP2015154454A (ja) | 2015-08-24 |
JP2015154454A5 JP2015154454A5 (ja) | 2017-03-02 |
JP6300565B2 true JP6300565B2 (ja) | 2018-03-28 |
Family
ID=53799299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014029686A Active JP6300565B2 (ja) | 2014-02-19 | 2014-02-19 | 動画像符号化装置、プログラム、および、集積回路 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10057576B2 (ja) |
JP (1) | JP6300565B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9552628B2 (en) * | 2014-03-12 | 2017-01-24 | Megachips Corporation | Image processor |
US10356408B2 (en) * | 2015-11-27 | 2019-07-16 | Canon Kabushiki Kaisha | Image encoding apparatus and method of controlling the same |
CN107113430B (zh) * | 2016-10-12 | 2019-04-30 | 深圳市大疆创新科技有限公司 | 码率控制的方法、计算机系统和装置 |
KR102366520B1 (ko) * | 2017-10-30 | 2022-02-23 | 한화테크윈 주식회사 | 영상의 노이즈 레벨 결정 방법 |
US10791343B2 (en) * | 2018-03-13 | 2020-09-29 | Google Llc | Mixed noise and fine texture synthesis in lossy image compression |
CN110830801B (zh) * | 2018-08-13 | 2021-10-01 | 华为技术有限公司 | 视频编码速率控制方法以及相关装置 |
US10652552B1 (en) * | 2019-02-01 | 2020-05-12 | Google Llc | Efficient noise reduction coding |
KR20210017185A (ko) * | 2019-08-07 | 2021-02-17 | 한국전자통신연구원 | 심층 신경망을 기반으로 영상의 압축 포아송 잡음을 제거하는 방법 및 장치 |
WO2021230707A1 (ko) * | 2020-05-15 | 2021-11-18 | 삼성전자 주식회사 | 압축 영상의 노이즈를 추출하는 방법 및 장치, 압축 영상의 노이즈를 저감하는 방법 및 장치 |
US20220312018A1 (en) * | 2021-03-23 | 2022-09-29 | Samsung Electronics Co., Ltd. | Electronic device to encode video with max quantum parameter control and the method thereof |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3347409B2 (ja) * | 1993-08-26 | 2002-11-20 | キヤノン株式会社 | 画像符号化装置及びその方法 |
US6222881B1 (en) * | 1994-10-18 | 2001-04-24 | Intel Corporation | Using numbers of non-zero quantized transform signals and signal differences to determine when to encode video signals using inter-frame or intra-frame encoding |
JPH09238342A (ja) * | 1996-03-01 | 1997-09-09 | Canon Inc | 画像符号化装置及び方法 |
US7177358B2 (en) * | 2000-06-27 | 2007-02-13 | Mitsubishi Denki Kabushiki Kaisha | Picture coding apparatus, and picture coding method |
US7869500B2 (en) * | 2004-04-27 | 2011-01-11 | Broadcom Corporation | Video encoder and method for detecting and encoding noise |
JP4196929B2 (ja) * | 2004-10-19 | 2008-12-17 | 日本ビクター株式会社 | ノイズ検出装置及びノイズ検出プログラム |
US8363717B2 (en) * | 2005-05-17 | 2013-01-29 | Canon Kabushiki Kaisha | Image processing apparatus |
US7920628B2 (en) * | 2005-07-29 | 2011-04-05 | Broadcom Corporation | Noise filter for video compression |
DE602007010493D1 (de) * | 2006-09-29 | 2010-12-23 | Thomson Licensing | Räumliche Maskierung unter Verwendung eines örtlichen Aktivitätsmaßes |
JP2009044483A (ja) * | 2007-08-09 | 2009-02-26 | Panasonic Corp | 画像符号化装置 |
US9049446B2 (en) * | 2008-12-17 | 2015-06-02 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive quantization based on bit ratio |
JP5039017B2 (ja) * | 2008-12-22 | 2012-10-03 | 日本放送協会 | ノイズレベル検出装置 |
JP5091880B2 (ja) * | 2009-01-16 | 2012-12-05 | 日本放送協会 | 動画像ノイズ除去装置および動画像ノイズ除去プログラム |
JP5251774B2 (ja) | 2009-07-27 | 2013-07-31 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
JP6339811B2 (ja) * | 2014-01-27 | 2018-06-06 | 株式会社メガチップス | ノイズ判定装置、ノイズ判定方法 |
JP6199749B2 (ja) * | 2014-01-16 | 2017-09-20 | 株式会社メガチップス | ノイズ判定装置およびノイズ判定方法 |
-
2014
- 2014-02-19 JP JP2014029686A patent/JP6300565B2/ja active Active
-
2015
- 2015-01-12 US US14/594,507 patent/US10057576B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20150237375A1 (en) | 2015-08-20 |
US10057576B2 (en) | 2018-08-21 |
JP2015154454A (ja) | 2015-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6300565B2 (ja) | 動画像符号化装置、プログラム、および、集積回路 | |
JP4565010B2 (ja) | 画像復号装置および画像復号方法 | |
JP5215951B2 (ja) | 符号化装置及びその制御方法、コンピュータプログラム | |
JP4804107B2 (ja) | 画像符号化装置、画像符号化方法及びそのプログラム | |
US20130028322A1 (en) | Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method | |
JP6149707B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置 | |
WO2014139396A1 (en) | Video coding method using at least evaluated visual quality and related video coding apparatus | |
US11336896B2 (en) | Image encoding apparatus and image decoding apparatus, methods of controlling the same, and non-transitory computer-readable storage medium | |
JP2007049680A (ja) | イメージ圧縮デバイス及びその方法 | |
JP2005159419A (ja) | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP5491506B2 (ja) | ダーク・ノイズ・アーチファクトを検出する方法および装置 | |
CN108156461B (zh) | 一种Bayer图像压缩方法及装置 | |
JP2018137542A (ja) | 符号化装置、符号化方法、及び、プログラム | |
US10419775B2 (en) | Moving image encoding apparatus, image capturing apparatus, moving image encoding method, and non-transitory computer readable storage medium | |
JP2018032909A (ja) | 画像符号化装置及びその制御方法及び撮像装置及びプログラム | |
JP6313614B2 (ja) | 動画像符号化装置及びその制御方法 | |
JP6152642B2 (ja) | 動画像圧縮装置、動画像復号装置およびプログラム | |
JP5165084B2 (ja) | 画像符号化装置 | |
JP2020005228A (ja) | ループフィルタ制御装置、画像符号化装置、画像復号装置、及びプログラム | |
JP6200220B2 (ja) | 画像処理装置、符号化装置、復号装置、及びプログラム | |
JP2005303362A (ja) | 画像符号化装置及びプログラム | |
KR100771138B1 (ko) | 촬영 장치 및 영상 보정 방법 | |
JP4763413B2 (ja) | 画像改善装置 | |
JP6265705B2 (ja) | 画像符号化装置及び画像符号化方法 | |
JP2015019319A (ja) | 符号化装置、符号化方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6300565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |