JP7483964B2 - 画像符号化装置、画像復号装置、及びプログラム - Google Patents
画像符号化装置、画像復号装置、及びプログラム Download PDFInfo
- Publication number
- JP7483964B2 JP7483964B2 JP2023020232A JP2023020232A JP7483964B2 JP 7483964 B2 JP7483964 B2 JP 7483964B2 JP 2023020232 A JP2023020232 A JP 2023020232A JP 2023020232 A JP2023020232 A JP 2023020232A JP 7483964 B2 JP7483964 B2 JP 7483964B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- orthogonal transform
- prediction
- transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 23
- 230000003044 adaptive effect Effects 0.000 description 93
- 238000013139 quantization Methods 0.000 description 62
- 230000009466 transformation Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 101150089388 dct-5 gene Proteins 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
的に予測残差のエネルギーを集中させる場合であっても、適用する直交変換としてDST-7を決定してしまう場合があるため、符号化効率が低下してしまう問題がある。
第1実施形態に係る画像符号化装置及び画像復号装置について説明する。第1実施形態に係る画像符号化装置及び画像復号装置は、MPEGに代表される動画の符号化及び復号を行う。
図1は、第1実施形態に係る画像符号化装置1の構成を示す図である。図1に示すように、画像符号化装置1は、ブロック分割部100と、減算部110と、変換・量子化部120と、エントロピー符号化部130と、逆量子化・逆変換部140と、合成部150と、メモリ160と、予測部170と、評価部180と、決定部190とを備える。
Arithmetic Coding;コンテキスト適応型2値算術符号)等を用いることができる。なお、エントロピー符号化部130は、予測部170から予測に関する制御情報が入力され、入力された制御情報のエントロピー符号化も行う。
図2は、インター予測の一例を示す図である。図2(a)はインター予測の一例としての双予測を示し、図2(b)は双予測により生成される予測画像の一例を示す。
ィルタやハイパスフィルタ等による信号強調処理を併用して予測画像を生成してもよい。ここで、参照画像1は円の絵柄を含み、参照画像2は円の絵柄を含まないため、参照画像1及び2を平均化して予測画像を生成すると、予測画像における円の絵柄は、参照画像1に比べて信号が半減する。
図3は、評価部180の構成の一例を示す図である。図3に示すように、評価部180は、差分算出部(減算部)180aと、正規化部180bと、調整部180cとを備える。
パラメータ(Qp)に基づいて正規化差分値(重み)を調整する。
図4は、第1実施形態に係る適応変換生成部191の動作を示す図である。適応変換生成部191は、評価部180から入力された誤差マップを用いて、予測残差に対して垂直方向に適用する垂直適応直交変換及び水平方向に適用する水平適応直交変換を主成分分析により生成する。
91は、生成した垂直適応直交変換を垂直方向に適用して得られた行列を行ベクトルの集合とみなして共分散行列を生成し、その固有ベクトルを算出する。適応変換生成部191は、得られた固有ベクトルを水平適応直交変換として出力する。
図5は、第1実施形態に係る画像復号装置2の構成を示す図である。図5に示すように、画像復号装置2は、エントロピー符号復号部200と、逆量子化・逆変換部210と、合成部220と、メモリ230と、予測部240と、評価部250と、決定部260とを備える。
4参照)を行う。逆変換部212は、決定部260から入力された逆直交変換に従って逆直交変換処理を行う。
第1実施形態に係る画像符号化装置1は、フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する。画像符号化装置1は、複数の参照画像を用いて対象画像を予測して予測画像を生成する予測部170と、当該複数の参照画像間の類似度を画素単位で評価することにより、予測画像における誤差の分布を示す誤差マップを生成する評価部180と、対象ブロックと予測画像との差分を示す予測残差を画素単位で算出する減算部110と、予測残差に適用する直交変換を誤差マップに基づいて決定する決定部190と、決定された直交変換によって予測残差に対する直交変換処理を行う変換部121とを備える。決定部190は、マップ情報に基づいて直交変換を生成する適応変換生成部191を備える。
第2実施形態に係る画像符号化装置1及び画像復号装置2について、第1実施形態との相違点を主として説明する。
図6は、第2実施形態に係る画像符号化装置1の構成を示す図である。図6に示すように、第2実施形態に係る画像符号化装置1は、決定部190の構成が第1実施形態とは異なる。決定部190は、第1実施形態と同様に、誤差マップの主成分分析(図4参照)により直交変換を生成する適応変換生成部191を備える。第2実施形態において、決定部190は、候補選択部(第1選択部)192と、直交変換選択部(第2選択部)193とをさらに備える。
変換及び水平適応直交変換)を候補選択部192に出力する。
図7は、第2実施形態に係る画像復号装置2の構成を示す図である。図7に示すように、第2実施形態に係る画像復号装置2は、決定部260の構成が第1実施形態とは異なる。決定部260は、第1実施形態と同様に、誤差マップの主成分分析(図4参照)により直交変換を生成する適応変換生成部261を備える。第2実施形態において、決定部260は、候補選択部(第1選択部)262と、直交変換選択部(第2選択部)263とをさらに備える。
第2実施形態に係る画像符号化装置1において、決定部190は、誤差マップの主成分分析により直交変換を生成する適応変換生成部191と、予め規定された複数種類の直交変換の中から、生成された直交変換との相関が高い順に1つ以上の直交変換候補を選択する候補選択部192と、1つ以上の直交変換候補の中から予測残差に適用する直交変換を選択する直交変換選択部193とを備える。エントロピー符号化部130は、1つ以上の直交変換候補の中から直交変換選択部193が選択した直交変換を示すインデックスを符号化する。
第3実施形態に係る画像符号化装置1及び画像復号装置2について、第1実施形態及び第2実施形態との相違点を主として説明する。
図8は、第3実施形態に係る画像符号化装置1の構成を示す図である。図8に示すように、第3実施形態に係る画像符号化装置1は、決定部190が特徴量評価部191aを備える点で第2実施形態とは異なる。特徴量評価部191aは、評価部180から入力された誤差マップの特徴量を評価し、評価結果を候補選択部192に出力する。
いずれも当てはまらないとき、DCT-8及びDST-7を水平適応直交変換候補として選択する。
いずれも当てはまらないとき、DCT-8及びDST-7を垂直適応直交変換候補として選択する。
図10は、第3実施形態に係る画像復号装置2の構成を示す図である。図10に示すように、第3実施形態に係る画像復号装置2は、決定部260が特徴量評価部261aを備える点で第2実施形態とは異なる。特徴量評価部261aは、画像符号化装置1の特徴量評価部191aと同様な動作を行う(図9参照)。
第3実施形態に係る画像符号化装置1において、決定部190は、誤差マップの特徴量を評価する特徴量評価部191aと、評価された特徴量に基づいて、予め規定された複数種類の直交変換の中から1つ以上の直交変換候補を選択する候補選択部192と、1つ以上の直交変換候補の中から予測残差に適用する直交変換を選択する直交変換選択部193とを備える。エントロピー符号化部130は、1つ以上の直交変換候補の中から直交変換選択部193が選択した直交変換を示すインデックスを符号化する。
上述した第1乃至第3実施形態において、一次元の直交変換を用いて垂直方向及び垂直方向で別々に変換処理を行う一例について説明した。しかしながら、一次元の直交変換に代えて二次元の直交変換を用いて垂直方向及び垂直方向の変換処理をまとめて行ってもよい。
2 :画像復号装置
100 :ブロック分割部
110 :減算部
120 :変換・量子化部
121 :変換部
122 :量子化部
130 :エントロピー符号化部
140 :逆量子化・逆変換部
141 :逆量子化部
142 :逆変換部
150 :合成部
160 :メモリ
170 :予測部
171 :イントラ予測部
172 :インター予測部
173 :切替部
180 :評価部
180a :差分算出部
180b :正規化部
180c :調整部
190 :決定部
191 :適応変換生成部
191a :特徴量評価部
192 :候補選択部
193 :直交変換選択部
200 :エントロピー符号復号部
210 :逆量子化・逆変換部
211 :逆量子化部
212 :逆変換部
220 :合成部
230 :メモリ
240 :予測部
241 :イントラ予測部
242 :インター予測部
243 :切替部
250 :評価部
260 :決定部
261 :適応変換生成部
261a :特徴量評価部
262 :候補選択部
263 :直交変換選択部
Claims (4)
- フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する画像符号化装置であって、
前記現画像を前記ブロックに分割するブロック分割を行うブロック分割部と、
複数の参照画像を用いて前記対象画像を双予測により予測して予測画像を生成する予測部と、
前記予測部が前記双予測を行う場合、前記ブロック分割により前記ブロックのサイズが決定された後において、前記複数の参照画像間の類似度を示す差分絶対値和を前記ブロックよりも小さい領域単位であって複数の画素からなる前記領域単位で算出する評価部と、を備え、
前記評価部が前記領域単位で算出した前記差分絶対値和に基づいて符号化の処理を制御することを特徴とする画像符号化装置。 - フレーム単位の現画像を分割して得られたブロック単位の対象画像を復号する画像復号装置であって、
複数の参照画像を用いて前記対象画像を双予測により予測して予測画像を生成する予測部と、
前記予測部が前記双予測を行う場合、符号化側でブロック分割によりサイズが決定された前記ブロックについて、前記複数の参照画像間の類似度を示す差分絶対値和を前記ブロックよりも小さい領域単位であって複数の画素からなる前記領域単位で算出する評価部と、を備え、
前記評価部が前記領域単位で算出した前記差分絶対値和に基づいて復号の処理を制御することを特徴とする画像復号装置。 - コンピュータを請求項1に記載の画像符号化装置として機能させることを特徴とするプログラム。
- コンピュータを請求項2に記載の画像復号装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023020232A JP7483964B2 (ja) | 2018-08-15 | 2023-02-13 | 画像符号化装置、画像復号装置、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018152991A JP7249111B2 (ja) | 2018-08-15 | 2018-08-15 | 画像符号化装置、画像復号装置、及びプログラム |
JP2023020232A JP7483964B2 (ja) | 2018-08-15 | 2023-02-13 | 画像符号化装置、画像復号装置、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018152991A Division JP7249111B2 (ja) | 2018-08-15 | 2018-08-15 | 画像符号化装置、画像復号装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023053272A JP2023053272A (ja) | 2023-04-12 |
JP7483964B2 true JP7483964B2 (ja) | 2024-05-15 |
Family
ID=69620422
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018152991A Active JP7249111B2 (ja) | 2018-08-15 | 2018-08-15 | 画像符号化装置、画像復号装置、及びプログラム |
JP2023020232A Active JP7483964B2 (ja) | 2018-08-15 | 2023-02-13 | 画像符号化装置、画像復号装置、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018152991A Active JP7249111B2 (ja) | 2018-08-15 | 2018-08-15 | 画像符号化装置、画像復号装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7249111B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417972A (zh) * | 2020-10-23 | 2021-02-26 | 奥比中光科技集团股份有限公司 | 一种热图解码方法、人体关节点估计方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059785A (ja) | 1998-08-06 | 2000-02-25 | Hitachi Ltd | 予測復号装置 |
JP2003204550A (ja) | 2002-01-07 | 2003-07-18 | Mitsubishi Electric Corp | 動画像符号化装置および動画像復号装置 |
WO2010010942A1 (ja) | 2008-07-25 | 2010-01-28 | ソニー株式会社 | 画像処理装置および方法 |
WO2010087807A1 (en) | 2009-01-27 | 2010-08-05 | Thomson Licensing | Methods and apparatus for transform selection in video encoding and decoding |
WO2011080806A1 (ja) | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
WO2011080807A1 (ja) | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
JP2016213615A (ja) | 2015-05-01 | 2016-12-15 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
-
2018
- 2018-08-15 JP JP2018152991A patent/JP7249111B2/ja active Active
-
2023
- 2023-02-13 JP JP2023020232A patent/JP7483964B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059785A (ja) | 1998-08-06 | 2000-02-25 | Hitachi Ltd | 予測復号装置 |
JP2003204550A (ja) | 2002-01-07 | 2003-07-18 | Mitsubishi Electric Corp | 動画像符号化装置および動画像復号装置 |
WO2010010942A1 (ja) | 2008-07-25 | 2010-01-28 | ソニー株式会社 | 画像処理装置および方法 |
WO2010087807A1 (en) | 2009-01-27 | 2010-08-05 | Thomson Licensing | Methods and apparatus for transform selection in video encoding and decoding |
WO2011080806A1 (ja) | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
WO2011080807A1 (ja) | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
JP2016213615A (ja) | 2015-05-01 | 2016-12-15 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020028067A (ja) | 2020-02-20 |
JP7249111B2 (ja) | 2023-03-30 |
JP2023053272A (ja) | 2023-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10110905B2 (en) | TSM rate-distortion optimizing method, encoding method and device using the same, and apparatus for processing picture | |
JP6042001B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
US20210014489A1 (en) | Intra prediction device, image encoding device, image decoding device and program | |
US20240040128A1 (en) | Image encoding device, image decoding device and program | |
JP7483964B2 (ja) | 画像符号化装置、画像復号装置、及びプログラム | |
JP2023168518A (ja) | 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム | |
JP2023126531A (ja) | 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム | |
JP2023123811A (ja) | 画像復号装置及び画像復号方法 | |
JP7332385B2 (ja) | イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム | |
JP7228980B2 (ja) | 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム | |
WO2020059616A1 (ja) | 画像符号化装置、画像復号装置、及びプログラム | |
JP2022066678A (ja) | イントラ予測装置、符号化装置、復号装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7483964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |